Live 07 - Intro to Machine Learning.pdf

✅ วันนี้เนื้อหาเรียนกันแน่นมาก 555+ สรุปใจความสำคัญวันนี้นะครับ

• ML เป็น experimentation ต้องลอง ถึงจะรู้
• Resampling มีสามแบบ คือ boot LOOCV และ cv
• K-Fold Cross Validation คือรูปแบบ resampling ที่เรานิยมใช้กันเยอะสุดในงาน classical ML ปกติเราจะใช้ K=5 หรือ K=10
• KNN = K-Nearest Neighbors เป็นโมเดลพื้นฐานที่เราใช้ได้ทั้ง regression/ classification
• ค่า K ใน KNN algorithm เรียกว่า "hyperparameter" ที่เราสามารถจูนได้
• ยิ่ง algorithms ไหนมีค่า hyperparameters เยอะๆ จะยิ่งจูนยากขึ้น (เพราะเราต้อง search หา the best/ optimal combinations)
• วิธีการจูนค่า hyperparameters ใน caret ทำได้สองแบบคือ tuneLength หรือ tuneGrid

💯 ปัญหาใหญ่สุดของการเทรนโมเดล ML คือเรื่อง Overfitting

เราอยากให้ train error กับ test error มีค่าใกล้เคียงกัน ไม่ดิฟกันเยอะเกินไป ถ้า train error ต่ำแต่ test error สูงเกินกว่าที่เรารับได้ (ขึ้นอยู่กับ context) แปลว่าโมเดลเรากำลัง overfitting อยู่

Overfitting คือการที่โมเดลของเราเรียนรู้ train data ดีเกินไป จนไม่สามารถนำไปใช้กับ test/ unseen data ได้

วิธีการลด overfitting หลักๆคือจูน hyperparameter ให้เหมาะสม เก็บข้อมูลมากขึ้น หรือเปลี่ยน ML algorithm เลย

โมเดลตระกูล regression จะเจอปัญหา overfitting น้อยกว่าแบบอื่นหน่อย เพราะว่าโมเดลมัน simple/ อธิบายได้ง่าย business เลยชอบโมเดลตระกูลนี้ถึงแม้ว่า performance จะไม่ได้ดีที่สุด

🌵 ตัวอย่าง code แอดใช้ resampling: repeatedcv คือการเทรนโมเดลด้วย K-Fold แบบซ้ำกันตามจำนวน repeats ที่เรากำหนดนะครับ

• template ตอนเทรนโมเดลใน caret คือเขียนง่ายมาก แค่เราเรียน method ใน train() ก็จะได้โมเดลใหม่เลย เช่น lm (linear regression), glm (logistic regression), knn, rpart (decision tree) เป็นต้น
• ctrl คือ train control object หลักๆคือเปลี่ยน resampling method
• ใน train() สามารถปรับค่าพารามิเตอร์ได้หลากหลายมากๆ ทุกการเปลี่ยนแปลงส่งผลต่อ model performance หมดเลย

ความยากของการเทรนโมเดล ML แอดว่ามีอยู่สอง moments