O que é generalizar
Aprendizado estatístico busca uma função que relacione entradas a saídas a partir de dados. O objetivo não é acertar os dados de treino, e sim acertar dados novos da mesma distribuição. Essa capacidade se chama generalização. Mede-se pelo erro em dados não vistos, chamado erro de generalização ou erro de teste.
Um filtro de spam treinado com e-mails antigos deve classificar bem e-mails que chegam amanhã.
Overfitting e underfitting
Overfitting (sobreajuste) ocorre quando o modelo decora o treino, inclusive o ruído: erro de treino baixo e erro de teste alto. Underfitting (subajuste) ocorre quando o modelo é simples demais: erro alto no treino e no teste. O ponto ideal fica entre os dois.
Um polinômio de grau 15 passando exatamente por 16 pontos ruidosos tende a sobreajustar.
Trade-off viés-variância
O erro esperado de previsão se decompõe em viés ao quadrado, variância e ruído irredutível. Viés alto vem de suposições simplistas e leva ao underfitting. Variância alta vem de sensibilidade excessiva aos dados de treino e leva ao overfitting. Aumentar a complexidade costuma reduzir o viés e elevar a variância.
Regressão linear para um padrão curvo tem viés alto; árvore de decisão sem poda tem variância alta.
Na plataforma, cada ideia vem com uma pergunta de checagem, flashcards para revisar e questões da banca.