Underfitting innebär att modellen är för enkel för att kunna lära sig av träningsdatan. Detta kan leda till att modellen inte presterar tillräckligt bra på vare sig träningsdatan eller nya data.
Ett exempel på underfitting kan vara att modellen inte har tillräckligt med lager eller parametrar för att representera den komplexitet som finns i datan.
För att undvika overfitting och underfitting är det viktigt att hitta en balans mellan en modell som är tillräckligt enkel för att undvika overfitting, men tillräckligt komplex för att lära sig från datan och undvika underfitting. En metod för att hitta denna balans är att använda en del av träningsdatan som valideringsdata för att utvärdera modellen och göra justeringar vid behov.