Las métricas de evaluación de un modelo son un tema que siempre trae confusión a la hora de analizar la viabilidad de un proyecto. La mayor parte de las veces hay un foco casi total en lograr un cierto nivel de accuracy, pero en general es un valor que no importa tanto como otros. En este post explico brevemente que significan cada una de las métricas más comunes.

Problema de ejemplo: tengo un conjunto de imágenes de perros que pueden ser de tres razas: caniche, labrador y chihuahua.

Accuracy: cuantas imágenes de las tres razas de perro identifiqué correctamente del total.

(*) Para que la accuracy sea una buena medida de lo bien que funciona un modelo el dataset debe estar balanceado. es decir debe contar con una cantidad parecida de imágenes de cada categoría. Porque si el dataset tiene 950 fotos de chihuahuas, 50 de labradores y las 50 restantes de caniches y yo construyo un modelo que predice que todas las imágenes son de chihuahuas voy a tener una accuracy del 90%.

Precision: cuantas imágenes de las que identifiqué como labradores son realmente de labradores.

Recall: cuantas imágenes de labradores identifiqué correctamente como labradores del total de imágenes de labradores.

F-score: combina Precision y Recall para generar una medida de cuan bien está funcionando el modelo.