0510.6205    למידת מכונה סטטיסטית   Statistical Machine Learning

סילבוס: חוקי החלטה ביסיאניים. שערוך פרמטרים על פי שיטת הסבירות המרבית ועל פי השיטה הביסיאנית. מזהים לא פרמטריים, שערום לא פרמטרי של צפיפות פילוג, חלונות Parzen, שיטת השכנים הקרובים. מודלים ליניאריים לרגרסיה ולזיהוי, ריבועים פחותים, רגולריזציה, logistic regression. פונקציות גרעין, sparse kernel methods, maximum margin classifiers, support vector machines. לימוד לא מונחה, שיטות הקבצה, אלגוריתם K ממוצעים. אלגוריתם expectation-maximization (EM), שימושים לאמידת הפרמטרים של מודל עירובים. בחירת אופנים לייצוג ולהבחנה בין קבוצות, principal components analysis (PCA). מודלים מרקוביים ומודלים מרקוביים חבויים (HMM), זיהוי ואמידת פרמטרי HMM. רשתות עיצביות, למידה עמוקה. שיטות דגימה, Markov chain Monte Carlo, Metropolis chains, Gibbs sampling. מודלים גרפיים, מכונת בולצמן, restricted Boltzmann machine, deep belief networks.

Syllabus: Bayesian decision rules. Parameter estimation using maximum likelihood and using the Bayesian approach. Non-parametric classifiers, Parzen windows, nearest neighbors classification. Linear models for regression and classification, least squares, regularization, logistic regression. Kernel methods, sparse kernel methods, maximum margin classifiers, support vector machines. Unsupervised learning, clustering methods, K-means algorithm, expectation-maximization (EM) algorithm, applications to mixture models parameter estimation. Principal components analysis (PCA). Markov and hidden Markov models (HMM), parameter estimation and classification. Neural networks, deep learning. Sampling methods, Markov chain Monte Carlo, Metropolis chains, Gibbs sampling. Graphical models, Boltzmann machine, restricted Boltzmann machine, deep belief networks.

ספרות:

Pattern Recognition and Machine Learning, C. M. Bishop, Springer, 2006.

Machine Learning: A Probabilistic Perspective, K. P. Murphy, The MIT Press, 2012.