Una medida fundamental en la ciencia de la información y la inteligencia artificial es la precisión en la predicción de los modelos que se desarrollan.
Sin embargo, evaluar la precisión de un modelo no es sencillo.
Los resultados pueden ser polarizados hacia los verdaderos positivos o los falsos negativos, presentando un panorama engañoso de su desempeño real. En este contexto, la métrica de evaluación Sprint F1 proporciona una evaluación más clara y balanceada. Sprint F1 es el promedio ponderado de la precisión y recuperación (recall), un valor que varía entre 0 y 1. También llamada como `F-score`, es una métrica estadística que sirve para medir la exactitud de las pruebas, especialmente en circunstancias donde los conjuntos de datos están desbalanceados.
Para entender plenamente esta métrica, es importante entender algunas terminologías utilizadas.
1.
Precisión: Este es el número de verdaderos positivos (los casos en los que la hipótesis resultó ser verdadera) frente al número total de resultados positivos (tanto verdadero positivo como falso positivo).
Recall (recuperación): Este es el número de verdaderos positivos frente a los falsos negativos y verdaderos positivos. Otra forma de decirlo es que significa que es la cantidad de resultados positivos que nuestro modelo puede recuperar de los datos. F1 Score: Esta es una representación ponderada de la precisión y recall de tal manera que el mejor puntaje es 1. El puntaje F1 es útil en situaciones donde se quiere buscar un equilibrio entre precisión y recall. El puntaje F1 se calcula utilizando la fórmula F1 = 2(Precisión * Recall) / (Precisión + Recall). Si el conjunto de datos está muy desbalanceado, el puntaje F1 es útil ya que considera tanto la precisión como el recall. Por ejemplo, si estamos tratando de construir un modelo de detección de spam, nos preocuparía tanto evitar los falsos positivos (etiquetar un correo electrónico legítimo como spam) como los falsos negativos (no detectar un correo electrónico de spam).
El enfoque central del Sprint F1 se basa en lograr la mejor medida de rendimiento en términos de precisión y recall en escenarios donde el número de instancias de dos clases es extremadamente desbalanceado.
Un desafío importante en el uso de la métrica de Sprint F1 es su aplicabilidad en casos de múltiples clases. Aunque no siempre es la mejor medida, por lo que no debe usarse en todos los contextos. Al final, las necesidades específicas de un problema determinado decidirán cuál será la medida más apropiada; puede ser la precisión, recall, AUC / ROC o Sprint F1 entre otros. Además, el puntaje F1 no es útil si se prefiere en gran medida precisión sobre recall o viceversa. En resumen, mientras que la precisión y el recall son conceptos valiosos y ampliamente utilizados en la ciencia de los datos, la métrica del puntaje F1 proporciona un mayor nivel de evaluación y un enfoque de precisión equilibrada.
Posibilita una visión más completa y realista del rendimiento de un modelo, especialmente en circunstancias en las que los datos pueden estar desbalanceados. Es un elemento sólido para cualquier caja de herramientas de ciencia de datos y mejora la capacidad de los modelos para ofrecer percepciones precisas y útiles.
