סילבוס הקורס למידה עמוקה - תשע"ט, פקולטה למדעים מדויקים, אוניברסיטת ת"א

שנה"ל תשע"ט

למידה עמוקה
Deep Learning

0368-4488-01

מדעים מדויקים


סמ' א'	1000-1200	'ב	006	שיעור	פרופ וולף ליאור

D:\Inetpub\shared\yedion\syllabus\03\2018\0368\0368448801_desc.txt סילבוס מקוצר הרשמה ידנית -- קישור באתר המרצה הקורס יערך במתכונת שונה מאוד מהקורסים המוכרים לכם מהאוניברסיטה, בצורה של כיתת אמן. מוטיבציה: אין נושא במדעי המחשב עם יותר חומר חופשי ומצויין מאשר למידה עמוקה. למשל, במהלך שלושת השבועות הראשונים, תדרשו להשלים בעצמכם את החומר של מרבית הקורס הזה: http://cs231n.stanford.edu/syllabus.html. בנוסף, התחום מאוד דינאמי ומתפתח יותר מהר מכל תחום אחר במדעים מדוייקים והנדסה, ולכן חשובה מסגרת פתוחה. כיצד יערכו השיעורים: במתכונת של דיון ודו שיח סוקרטי (השאלות ישאלו בשני הכיוונים ובצורה נעימה) סביב חומר הקריאה אותו תדרשו לדעת לפני השיעורים, סביב הפרוייקטים של הקבוצה שלכם, וסביב נושאים אותם יבחרו להעלות הסטודנטים. מדי פעם תוצג מצגת כדי לקדם את הדיון. מחויבויות הסטודנטים: (1) נוכחות חובה. (2) לקרוא את חומר הקריאה לפני השיעור ולגלות בקיאות בחומר (יופעלו סנקציות). (3) תרגילים קבוצתיים (כ-3 סטודנטים בקבוצה). התרגילים הינם מחקריים ומאתגרים ולפי תחומי עניין. הקורס מחייב שימוש ב-gpu. יש כיום שני דרכים עיקריות להשיג גישה -- א. דרך המנחה שלכם בתואר. ב. בתשלום לשרותי ענן. לצערי, אין באפשרותנו כיום לתמוך בסטודנטים באמצעות משאבי gpus. אנחנו מנסים להשיג מן הגורן ומן היקב, אבל כלל לא בטוח שנצליח. קבלה: באישור המרצה. הקורס מיועד לתלמידי מחקר עם עניין אמיתי בלמידה עמוקה ורקע כלשהו בלמידה חישובית. תנתן עדיפות למדעי המחשב (חובה תקנונית) ותתאפשר השתתפות של סטודנטים מצטיינים מתואר ראשון באישור המזכירות. ציון: לפי הפרוייקטים, השתתפות, תרומה אמיתית לדיון, בקיאות בחומר כפי שמתגלה בשיעורים. לפחות פרוייקט אחד ראוי לפרסום במקום נכבד נדרש על מנת לקבל ציון מעל 92. ציון בין 85-92 ידרוש פרוייקט שהוא לפחות מימוש מלא כולל ניסוי מקיף של מאמר מורכב מספיק שכבר פורסם. נושאים: רשתות עמוקות בראייה ממוחשבת. רשתות עמוקות בNLP. רשתות עמוקות בSPEECH. למידה לא מפוקחת למשל עם GANs. מודלים של attention ורשתות זכרון. מידע נוסף: הframework של הקורס הינו pytorch צוות הקורס: ליאור וולף אליה נחמני Course description The course will include the following topics: Introduction to Neural Networks, backpropagation Convolutional Neural Networks Understanding and visualizing Convolutional Neural Networks Transfer learning and fine-tuning Convolutional Neural Networks Recursive Neural Networks for sequence analysis Reinforcement learning and Deep Neural Networks

ש"ס: 3.0

סילבוס מקוצר

**הרשמה ידנית -- קישור באתר המרצה**

הקורס יערך במתכונת שונה מאוד מהקורסים המוכרים לכם מהאוניברסיטה, בצורה של כיתת אמן.

מוטיבציה: אין נושא במדעי המחשב עם יותר חומר חופשי ומצויין מאשר למידה עמוקה. למשל, במהלך שלושת השבועות הראשונים, תדרשו להשלים בעצמכם את החומר של מרבית הקורס הזה: http://cs231n.stanford.edu/syllabus.html. בנוסף, התחום מאוד דינאמי ומתפתח יותר מהר מכל תחום אחר במדעים מדוייקים והנדסה, ולכן חשובה מסגרת פתוחה.

כיצד יערכו השיעורים: במתכונת של דיון ודו שיח סוקרטי (השאלות ישאלו בשני הכיוונים ובצורה נעימה) סביב חומר הקריאה אותו תדרשו לדעת לפני השיעורים, סביב הפרוייקטים של הקבוצה שלכם, וסביב נושאים אותם יבחרו להעלות הסטודנטים. מדי פעם תוצג מצגת כדי לקדם את הדיון.

מחויבויות הסטודנטים: (1) נוכחות חובה. (2) לקרוא את חומר הקריאה לפני השיעור ולגלות בקיאות בחומר (יופעלו סנקציות). (3) תרגילים קבוצתיים (כ-3 סטודנטים בקבוצה). התרגילים הינם מחקריים ומאתגרים ולפי תחומי עניין.

הקורס מחייב שימוש ב-gpu. יש כיום שני דרכים עיקריות להשיג גישה -- א. דרך המנחה שלכם בתואר. ב. בתשלום לשרותי ענן.
לצערי, אין באפשרותנו כיום לתמוך בסטודנטים באמצעות משאבי gpus. אנחנו מנסים להשיג מן הגורן ומן היקב, אבל כלל לא בטוח שנצליח.

קבלה: באישור המרצה. הקורס מיועד לתלמידי מחקר עם עניין אמיתי בלמידה עמוקה ורקע כלשהו בלמידה חישובית. תנתן עדיפות למדעי המחשב (חובה תקנונית) ותתאפשר השתתפות של סטודנטים מצטיינים מתואר ראשון באישור המזכירות.

ציון: לפי הפרוייקטים, השתתפות, תרומה אמיתית לדיון, בקיאות בחומר כפי שמתגלה בשיעורים. לפחות פרוייקט אחד ראוי לפרסום במקום נכבד נדרש על מנת לקבל ציון מעל 92. ציון בין 85-92 ידרוש פרוייקט שהוא לפחות מימוש מלא כולל ניסוי מקיף של מאמר מורכב מספיק שכבר פורסם.

נושאים: רשתות עמוקות בראייה ממוחשבת. רשתות עמוקות בNLP. רשתות עמוקות בSPEECH. למידה לא מפוקחת למשל עם GANs. מודלים של attention ורשתות זכרון.

מידע נוסף: הframework של הקורס הינו pytorch

צוות הקורס:
ליאור וולף
אליה נחמני

Course description

The course will include the following topics:

Introduction to Neural Networks, backpropagation

Convolutional Neural Networks

Understanding and visualizing Convolutional Neural Networks

Transfer learning and fine-tuning Convolutional Neural Networks

Recursive Neural Networks for sequence analysis

Reinforcement learning and Deep Neural Networks

להצהרת הנגישות