Mean Average Precision (MAP) em Machine Learning

O Que é Mean Average Precision? Mean Average Precision (MAP) é uma métrica de avaliação em machine learning comumente usada para medir a performance de sistemas de recomendação e busca. Um outro caso de uso interessante é na avaliação de modelos de segmentação de imagem, onde você precisa detectar e segmentar vários objetos em uma mesma imagem. Uma analogia mais divertida para lembrar o que é a MAP é a seguinte:...

January 17, 2023 · 6 min · Mario Filho

NDCG (Normalized Discounted Cumulative Gain) em Machine Learning

O Que é NDCG? O NDCG é uma métrica de avaliação de desempenho que é especialmente útil para modelos de machine learning de ranking. Ela é muito usada em sistemas de busca e recomendação. Eu mesmo a usava para avaliar os sistemas de ranking de freelancers quando trabalhei na Upwork. Ele mede a qualidade de uma lista de resultados retornada pelo modelo em relação aos itens que o usuário realmente indicou como relevantes....

January 14, 2023 · 9 min · Mario Filho

MAPE (Erro Absoluto Percentual Médio) em Machine Learning

O Que é Erro Absoluto Percentual Médio ou MAPE? Erro absoluto percentual médio (MAPE) é uma métrica para avaliar modelos de regressão em machine learning. Ela é bastante utilizada na previsão de séries temporais, como previsão de demanda e precificação de ativos financeiros. O MAPE é expressado em porcentagem, que é fácil de entender para a maioria das pessoas e ajuda na comunicação de resultados para pessoas que não têm conhecimento técnico em machine learning....

January 11, 2023 · 8 min · Mario Filho

MAE (Erro Médio Absoluto) Em Machine Learning

O Que é Erro Médio Absoluto ou MAE? O erro médio absoluto (MAE) é uma métrica utilizada para avaliar o desempenho de modelos de regressão em machine learning. Ela mede a média da diferença absoluta entre os valores previstos pelo modelo e os valores observados. Imagine que você tenha um modelo de machine learning que foi treinado para prever o consumo de combustível de uma frota de veículos. Se o modelo prevê que um determinado veículo vai consumir 10 litros de combustível para percorrer 100 quilômetros, mas o consumo real foi de 12 litros, o erro absoluto da previsão seria de 2 litros....

January 10, 2023 · 5 min · Mario Filho

RMSE (Raiz Do Erro Quadrático Médio) Em Machine Learning

O Que é RMSE? A raiz do erro quadrático médio (RMSE ou root mean-square error em inglês) é uma métrica de avaliação amplamente utilizada e reconhecida na comunidade de machine learning para medir o desempenho de modelos de regressão. Ela é muito útil quando você precisa explicar o desempenho de um modelo para outras pessoas do time, pois elas já estarão acostumadas a trabalhar com essa métrica. Ela é calculada tomando-se a raiz quadrada da média dos quadrados dos erros, onde o erro bruto é a diferença entre o valor previsto pelo modelo e o valor real....

January 9, 2023 · 9 min · Mario Filho

Guia Completo da Log Loss (Perda Logarítmica) em Machine Learning

Índice O Que é Log Loss (Perda Logarítmica) e Como Interpretá-la? Qual a Fórmula da Log Loss? Classificação Binária Classificação Multiclasse Log Loss Durante o Treino vs Validação Como Calcular Log Loss Usando Scikit-learn em Python Como Calcular Log Loss Em R Diferenças Entre Log Loss e ROC AUC O Que é Log Loss (Perda Logarítmica) e Como Interpretá-la? Log loss (ou perda logarítmica) é uma métrica de avaliação de modelos de classificação em machine learning, tanto binários quanto multiclasse....

January 5, 2023 · 7 min · Mario Filho

Guia Completo Sobre ROC AUC Em Machine Learning

O Que É ROC AUC? ROC AUC é uma métrica de avaliação em machine learning usada para avaliar o desempenho de modelos de classificação. Seu nome significa Área Sob A Curva Característica de Operação do Receptor. Parece complicada, mas vou te explicar de maneira simples. Pense nesta curva como um gráfico que mostra a fração de positivos verdadeiros no eixo Y e a fração de falsos positivos no eixo X para diferentes pontos de corte da previsão atribuída pelo modelo aos exemplos....

January 4, 2023 · 10 min · Mario Filho

Precisão, Recall e F1 Score Em Machine Learning

Se você está começando a trabalhar com machine learning, é importante saber como avaliar o desempenho dos seus modelos. Existe uma infinidade de métricas de avaliação e neste artigo, vamos nos concentrar em três das mais populares para avaliar modelos de classificação: precisão, recall e F1 score. A precisão mede a quantidade de vezes que o seu modelo acerta em relação ao total de vezes que ele tenta acertar. O recall mede a quantidade de vezes que o seu modelo acerta em relação ao total de vezes que ele deveria ter acertado....

January 3, 2023 · 8 min · Mario Filho

O Que É Acurácia Em Machine Learning?

Acurácia é uma métrica de avaliação muito popular para descobrir a performance de um modelo de machine learning em uma tarefa de classificação. Costumo pensar nela como “taxa de acerto” do modelo. Ela é calculada dividindo o número de previsões corretas pelo número total de previsões. Por exemplo, imagine que você treinou um modelo de machine learning para prever se uma pessoa tem uma doença ou não, com base em alguns sintomas....

January 1, 2023 · 8 min · Mario Filho

As Métricas Mais Populares para Avaliar Modelos de Machine Learning

Durante o processo de criação de um modelo de machine learning nós precisamos medir a qualidade dele de acordo com o objetivo da tarefa. Existem funções matemáticas que nos ajudam a avaliar a capacidade de erro e acerto dos nossos modelos, e agora você conhecerá algumas das mais utilizadas. Neste artigo, usarei a palavra métrica para me referir a essas funções. Tão importante quanto saber escolher um bom modelo, é saber escolher a métrica correta para decidir qual é o melhor entre eles....

May 6, 2018 · 10 min · Mario Filho