 שנה"ל תשע"ד | |||||||||||||||||||||||||||||||||
 |
 |
||||||||||||||||||||||||||||||||
|
סמינר למידה: חישוביות וקוגניציה
Learning Seminar:Comutation and Cognition |
0627-3777-01 | ||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| מדעי הרוח | בלשנות כללית | |||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||
סילבוס מקוצר
למידה: חישוביות וקוגניציהחלק א: חישוביות. בחלקו הראשון של הסמסטר נעסוק בגישות מתמטיות וחישוביות ללמידה. נבחן את משפט גולד המראה כי תחת הנחות מסוימות, אפילו מחלקות פשוטות של שפות אינן ניתנות ללמידה. מכאן נעבור לדיון בגישות הסתברותיות ללמידה, כדוגמת הרחבתו ההסתברותית של הורנינג למודל של גולד ופרדיגמת הלמידה בקירוב של וליאנט. נדון ברשתות עצביות מלאכותיות, שהוצעו כמודל כללי ללמידה בהשראת הביולוגיה. כמו כן נדון בשיטות מונטה–קרלו ובאלגוריתמים גנטיים המשמשים לחיפוש במרחבי השערות גדולים. את חלקו המתמטי של הסמסטר נסיים עם המושגים של סיבוכיות קולמוגורוב ואינדוקציית סולומונוף המאפשרים לכמת את המידע המגולם בקלט נתון.
חלק ב: קוגניציה. בחלקו השני של הסמסטר נבחן תוצאות ניסוייות לגבי מה שבני אדם ואורגניזמים אחרים מסוגלים ללמוד. נדון בניסויים שהובילו ביהיוויוריסטים כדוגמת ווטסון וסקינר לאמץ גישה אמפיריציסטית רדיקלית ובעובדות שגרמו לאתולוגים כלורנץ וטינברגן להדגיש את מרכזיותו של האינסטינקט. נבחן תוצאות המראות כי בני אדם מצליחים לחלץ תבניות סטטיסטיות מסוימות מתוך קלט בלתי מעובד אך נכשלים בחילוץ תבניות אחרות, השונות מן הראשונות אך במקצת. נסיים את הסמסטר בשימוש בטיפולוגיה לבחינת חלוקת העבודה בין המולד לנלמד ובנקודת המבט על קשר זה המוצעת על ידי גישות אבולוציוניות לשינוי שפה.
דרישות: נוכחות והשתתפות, קריאה, ועבודה סמינריונית
דרישות קדם: בלשנות חישובית מתקדמים
Course description
Learning: computation and cognition
Part I: Computation. In the first half of the semester we will explore mathematical and computational approaches to learning and learnability. We will study Gold's theorem from 1967 that shows that under certain assumptions, learning of even very simple classes of languages is impossible. We will proceed to discuss probabilistic approaches to learning, such as Horning's modification of Gold's paradigm and Valiant's paradigm of Probably Approximately Correct learning. We will discuss artificial neural networks, which have been proposed as a general, biologically motivated approach to learning. We will also cover Monte Carlo methods and genetic algorithms, which have been used to search through large and complex spaces of hypotheses. We will end the mathematical part of the semester with the notions of Kolmogorov Complexity and Solomonoff Induction, which allow us to quantify the total amount of information in a given input.
Part II: Cognition. In the second half of the semester we will look at experimental attempts to determine what can and cannot be learned. We will review the experiments that led behaviorists such as Watson and Skinner to adopt a radical empiricist approach and the evidence that convinced ethologists such as Lorenz and Tinbergen to emphasize instinct. We will examine results that show that humans are very good at extracting certain kinds of statistical regularities from unanalyzed data but very bad at learning other, seemingly similar patterns. We will end the semester by looking at what can be said about the division of labor between innateness and learning based on typological generalizations and at the nuanced view on this connection offered by evolutionary approaches to language change.
Requirements: attendance and participation, reading, and a research paper
Prerequisites: Advanced Computational Linguistics
Part I: Computation. In the first half of the semester we will explore mathematical and computational approaches to learning and learnability. We will study Gold's theorem from 1967 that shows that under certain assumptions, learning of even very simple classes of languages is impossible. We will proceed to discuss probabilistic approaches to learning, such as Horning's modification of Gold's paradigm and Valiant's paradigm of Probably Approximately Correct learning. We will discuss artificial neural networks, which have been proposed as a general, biologically motivated approach to learning. We will also cover Monte Carlo methods and genetic algorithms, which have been used to search through large and complex spaces of hypotheses. We will end the mathematical part of the semester with the notions of Kolmogorov Complexity and Solomonoff Induction, which allow us to quantify the total amount of information in a given input.
Part II: Cognition. In the second half of the semester we will look at experimental attempts to determine what can and cannot be learned. We will review the experiments that led behaviorists such as Watson and Skinner to adopt a radical empiricist approach and the evidence that convinced ethologists such as Lorenz and Tinbergen to emphasize instinct. We will examine results that show that humans are very good at extracting certain kinds of statistical regularities from unanalyzed data but very bad at learning other, seemingly similar patterns. We will end the semester by looking at what can be said about the division of labor between innateness and learning based on typological generalizations and at the nuanced view on this connection offered by evolutionary approaches to language change.
Requirements: attendance and participation, reading, and a research paper
Prerequisites: Advanced Computational Linguistics