MyOOPS開放式課程
請加入會員以使用更多個人化功能
來自全球頂尖大學的開放式課程,現在由世界各國的數千名義工志工為您翻譯成中文。請免費享用!
課程來源:MIT
     

9.520 2003春季課程:統計學習理論及應用(Statistical Learning Theory and Applications, Spring 2003)


翻譯:周科
編輯:馬景文   劉慕華


Design of a system that will function the same way as a human visual system.
設計並建立一個與人類視覺系統有相同功能的系統,但不會沒有耐性,而且更為精確。(圖片由麻省理工學院大腦與認知科學系Poggio實驗室提供。)
Designing and building a system that will function the same way as a human visual system, but without getting bored, and with a greater degree of accuracy. (Image courtesy of Poggio Laboratory, MIT Department of Brain and Cognitive Sciences.)

課程重點

支持向量機(Support vector machines)已被證明是十分有用的分類網路。司機利用支持向量機來避開行人,是這項技術在全球範圍首先被廣泛應用的領域之一。

Support vector machines have proven to be very useful in classification networks. These SVMs are now being used by drivers for pedestrian avoidance. This is one of the first truly universal applications of this technology.

本課程是為了計畫在計算神經科學領域工作的高年級研究生開設。作業集中在一些使電腦更有效解決問題的功能。可供學生選擇的專題題目是基於這領域仍未解決的問題。課程結束後,學生應當可以解決這些問題的一二,也能對其他問題架構解決方法。

This course is for upper-level graduate students who are planning careers in computational neuroscience. The assignments focus on some of the functions needed to make problem-solving more efficient for computer systems. The project topics students can choose from are based on unsolved problems in the field today. By the conclusion of this course, students should be able to solve one or two of these problems, and should be able to frame an approach to the rest of them.

課程描述

由基於稀疏資料的多變數函數逼近理論入手,從現代統計學習理論的觀點關注有指導學習的問題。導出一些基本工具,如正則化包括用於回歸和分類的支持向量機。用穩定性理論和VC理論推導泛化邊界。討論增強(boosting)和特徵提取(feature selection)等相關問題。檢視在一些領域的應用:電腦視覺、電腦圖形學、文本分類和生物資訊學。課程計劃包括期末專題和實作應用和練習,與課程主題描述技術的實際應用快速增長並行。

Focuses on the problem of supervised learning from the perspective of modern statistical learning theory starting with the theory of multivariate function approximation from sparse data. Develops basic tools such as Regularization including Support Vector Machines for regression and classification. Derives generalization bounds using both stability and VC theory. Discusses topics such as boosting and feature selection. Examines applications in several areas: computer vision, computer graphics, text classification and bioinformatics. Final projects and hands-on applications and exercises are planned, paralleling the rapidly increasing practical uses of the techniques described in the subject.

師資

講師:
Tomaso Poggio 教授
Sayan Mukherjee 博士
Ryan Rifkin 博士
Alex Rakhlin

上課時數

教師授課:
每週2節
每節1.5小時

程度

研究所

其他資源

下載課程
 

回應

告訴我們您對本課程或「開放式課程網頁」的建議。

聲明

麻省理工學院開放式課程認可開放式課程計畫(OOPS)的翻譯計畫,開放式課程計畫(OOPS)乃是運用其獨立團隊、獨立資源、獨立流程進行翻譯計畫之團隊。

所有麻省理工學院開放式課程之材料皆以麻省理工學院開放式課程創作共享授權發佈,所有之翻譯資料皆由開放式課程計畫(OOPS)所提供,並由其負翻譯品質之責任。

此處麻省理工學院開放式課程之資料乃由 開放式課程計畫(OOPS) 譯為正體中文。麻省理工學院開放式課程在此聲明,不論是否遭遇或發現相關議題,麻省理工學院開放式課程、麻省理工學院教師、麻省理工學院校方並不對翻譯正確度及完整性作保證。上述單位並對翻譯後之資料不作明示或默許對任一特定目的之適合性之保證、非侵權之保證、或永不出錯之保證。麻省理工學院校方、麻省理工學院開放式課程對翻譯上之不正確不負任何責任。由翻譯所引發任何關於此等資料之不正確或其他瑕疵,皆由開放式課程計畫(OOPS)負全責,而非麻省理工學院開放式課程之責。

原文聲明


 















































課程描述
我們引出本課程的主題,把從樣例中學習的問題轉化成從稀疏資料中逼近多變數函數的問題。我們展現課程理論部分的概貌和刻劃經典正則化理論及其演算法(包括支援向量機)和學習理論之間的聯繫,兩者是課程的中心。我們提到近幾個月的理論發展,為理論基礎提供新觀點。我們簡單介紹一些不同應用,如電腦視覺、電腦圖形學、金融和神經科學。
先修條件
18.02,9.641,6.893〔課程〕或教師許可。實際上,較高水準的數學技巧是必需的。熟悉機率和泛函分析有助學習本課程。我們儘量把數學先修部份減至最低,但是介紹複雜內容時步伐較快。
評分
有兩個問題集,一次MATLAB ®作業和期末專題。要得到學分,你必須按時上課,努力完成所有問題集和專題。ct.
問題集

兩個問題集參見作業

專題

一些最有希望的專題:

小資料集的假設檢驗
MED和正則化的聯繫
支援向量機理論和實驗的特徵提取
貝葉斯分類規則和支援向量機
用於分類輸入輸出隱馬可夫模型與直接分類的比較
重用測試集資料挖掘邊界
大規模非線性最小平方正則化
基於視角的分類
局部與全局分類器的比較:實驗和理論
再生核希爾伯特空間不變數衡量古代數學
集中實驗(點乘和平方距離的比較)
解分類:樹結構的泛化實驗
核的合成與選擇
正則化的貝葉斯解釋以及在具體支援向量機中的應用
歸納法的歷史:從Kant到Popper以及現狀
貝葉斯先驗

資源

麻省理工學院的生物和計算學習中心(CBCL) ,自成立以來就堅信學習是生物和人工智慧中的智慧問題核心,並且是理解人類大腦如何工作和製造智慧型機器的大門。CBCL(生物和計算學習中心)以跨學科方法研究學習問題,主要目標是孕育數學、工程學和神經科學有關學習的嚴肅研究。CBCL(生物和計算學習中心)屬於麻省理工學院的大腦與認知科學系 ,並與McGovern大腦研究所 和麻省理工學院的 人工智慧實驗室 有聯繫。

MATLAB®是MathWorks公司的商標。

Course Description
We introduce and motivate the main theme of the course, setting the problem of learning from examples as the problem of approximating a multivariate function from sparse data. We present an overview of the theoretical part of the course and sketch the connection between classical Regularization Theory and its algorithms -- including Support Vector Machines -- and Learning Theory, the two cornerstones of the course. We mention theoretical developments during the last few months that provide a new perspective on the foundations of the theory. We briefly describe several different applications ranging from vision to computer graphics, to finance and neuroscience.
Prerequisites
18.02, 9.641, 6.893 or permission of instructor. In practice, a substantial level of mathematical maturity is necessary. Familiarity with probability and functional analysis will be very helpful. We try to keep the mathematical prerequisites to a minimum, but we will introduce complicated material at a fast pace.
Grading
There will be two problem sets, a MATLAB® assignment, and a final project. To receive credit, you must attend regularly, and put in effort on all problem sets and the project.
Problem Sets

See the assignments page for the two problem sets.

Projects

Some of the most promising projects:

Hypothesis testing with small sets
Connection between MED and regularization
Feature selection for SVMs theory and experiments
Bayes classification rule and SVMs
IOHMMs evaluation of HMMs for classification vs. direct classification
Reusing the test set datamining bounds
Large-scale nonlinear least square regularization
Viewbased classification
Local vs. global classifiers experiments and theory
RKHS invariance to measure historical math
Concentration experiments (dot product vs. square distance)
Decorrelating classifiers: experiments about generalization using a tree of stumps
Kernel synthesis and selection
Bayesian interpretation of regularization and in particular of SVMs
History of induction from Kant to Popper and current state
Bayesian Priorhood

Resources

The Center for Biological and Computational Learning (CBCL) at MIT was founded with the belief that learning is at the very core of the problem of intelligence, both biological and artificial, and is the gateway to understanding how the human brain works and to making intelligent machines. CBCL studies the problem of learning within a multidisciplinary approach. Its main goal is to nurture serious research on the mathematics, the engineering and the neuroscience of learning. CBCL is based in the Department of Brain and Cognitive Sciences at MIT and is associated with the McGovern Institute for Brain Research and with the Artificial Intelligence Laboratory at MIT.

MATLAB® is a trademark of The MathWorks, Inc.



課程表底部有三堂課:兩個數學營和一個額外題目。如學生需要這背景以理解下一系列的講座和問題時,這〔三堂課〕才會給出。
There are three sessions, two Math Camps and an extra topic, at the bottom of the calendar. These will be given when students require the background needed to understand the next series of lectures and problems.
        課       課程單元        
     
  1       課程概覽
The Course at a Glance
 
     
     
  2       學習問題觀點
The Learning Problem in Perspective
 
     
     
  3       正則化和再生核希爾伯特空間
Regularization and Reproducing Kernel Hilbert Spaces
 
     
     
  4       回歸和最小二乘方分類
Regression and Least-Squares Classification
 
     
     
  5       支援向量機分類
Support Vector Machines for Classification
 
     
     
  6       泛化邊界;穩定性簡介
Generalization Bounds, Intro to Stability
 
     
     
  7       Tikhonov正則化的穩定性
Stability of Tikhonov Regularization
 
     
     
  8       函數類一致性和一致收斂
Consistency and Uniform Convergence over Function Classes
 
     
     
  9       一致收斂的必要和充分條件
Necessary and Sufficient Conditions for Uniform Convergence
 
     
     
  10       裝袋和增強
Bagging and Boosting
 
     
     
  11       電腦視覺,物體檢測
Computer Vision, Object Detection
 
     
     
  12       整理零散
Loose Ends
 
     
     
  13       逼近論
Approximation Theory
 
     
     
  14       再生核希爾伯特空間,Mercer定理,無界領域,小波
RKHS, Mercer Thm, Unbounded Domains, Frames and Wavelets
 
     
     
  15       生物資訊學
Bioinformatics
 
     
     
  16       文本
Text
 
     
     
  17       正則化網路
Regularization Networks
 
     
     
  18       視頻的形變模型
Morphable Models for Video
 
     
     
  19       留一逼近
Leave-One-Out Approximations
 
     
     
  20       貝葉斯解釋
Bayesian Interpretations
 
     
     
  21       多類分類
Multiclass Classification
 
     
     
  22       穩定性和Glivenko-Cantelli類
Stability and Glivenko-Cantelli Classes
 
     
     
  23       對稱, Rademacher平均
Symmetrization, Rademacher Averages
 
     
     
  24       專題報告
Project Presentations
 
     
     
  25       專題報告
Project Presentations
 
     
     
  數學營
Math
Camp
      Lagrange Multipliers/Convex Optimization  
     
     
  數學營
Math
Camp
      Functional Analysis  
     
     
  額外題目
Extra
Topic
      支援向量機基本原則
SVM Rules of Thumb















































































































本課程沒有教科書。所有必需資訊會在每節課以幻燈片發表。以下列出的書本和論文是十分有用的一般參考資料,特別是理論角度。額外閱讀材料列 課堂講稿PDF文件。
There is no textbook for this course. All the required information will be presented in the slides associated with each class. The books and articles listed below are useful general reference reading, especially from the theoretical viewpoint. Additional readings are listed in the lecture note PDF files.

Cristianini, N.和J. Shawe-Taylor. 《支持向量機導論》 Cambridge, 2000
Cristianini, N., and J. Shawe-Taylor. Introduction To Support Vector Machines. Cambridge, 2000.

Cucker, F.和S. Smale.〈關於學習的數學基礎〉 《美國數學學會通訊》 2002
Cucker, F., and S. Smale. "On The Mathematical Foundations of Learning." Bulletin of the American Mathematical Society. 2002.

Devroye, L., L. Gyorfi和G. Lugosi.《模式識別的機率理論》Springer, 1997.
Devroye, L., L. Gyorfi, and G. Lugosi. A Probabilistic Theory of Pattern Recognition. Springer, 1997.

Evgeniou, T., M. Pontil和T. Poggio.〈正則化網路和支援向量機〉《計算數學的進展》2000.
Evgeniou, T., M. Pontil, and T. Poggio. "Regularization Networks and Support Vector Machines." Advances in Computational Mathematics. 2000.

Poggio, T.和S. Smale.〈學習的數學:處理數據〉《美國數學協會公告》2003
Poggio, T., and S. Smale. "The Mathematics of Learning: Dealing with Data." Notices of the AMS. 2003.

Vapnik, V. N.《統計學習理論的本質》Springer,1995
Vapnik, V. N. The Nature of Statistical Learning Theory. Springer, 1995.

———.《統計學習理論》Wiley,1998
———. Statistical Learning Theory. Wiley, 1998.

 

這是問題集的例子和課程專題。
問題集

問題集1:核希爾伯特空間 (PDF)
問題集2:徑向基函數插值方法 (PDF)

專題 (PDF)

就期末專題,學生從以下的建議題目自選一題,解決所描述的問題。如果學生願意,可以請教授或助教批準自己提出的專題意見。

題目

小資料集的假設檢驗
MED和正則化的聯繫
支援向量機理論和實驗的特徵提取
貝葉斯分類規則和支援向量機
用於分類輸入輸出隱馬可夫模型與直接分類的比較
重用測試集資料挖掘邊界
大規模非線性最小平方正則化
基於視角的分類
局部與全局分類器的比較:實驗和理論
再生核希爾伯特空間不變數衡量古代數學
集中實驗(點乘和平方距離的比較)
解分類:樹結構的泛化實驗
核的合成與選擇
正則化的貝葉斯解釋以及在具體支援向量機中的應用
歸納的歷史從Kant到Popper以及現狀
貝葉斯先驗

 


These are examples of problem sets and a project for the class.
Problem Sets

Problem Set 1: Kernel Hilbert Spaces (PDF)
Problem Set 2: RBF Interpolation Schemes (PDF)

Project (PDF)

For the final project, students select from one of the following suggested topics, and solve the problem that is described. If students prefer, they can bring their own project ideas to the professor or TAs for approval.

Topics:

Hypothesis testing with small sets
Connection between MED and regularization
Feature selection for SVMs theory and experiments
Bayes classification rule and SVMs
IOHMMs evaluation of HMMs for classification vs. direct classification
Reusing the test set datamining bounds
Large-scale nonlinear least square regularization
Viewbased classification
Local vs. global classifiers experiments and theory
RKHS invariance to measure historical math
Concentration experiments (dot product vs. square distance)
Decorrelating classifiers: experiments about generalization using a tree of stumps
Kernel synthesis and selection
Bayesian interpretation of regularization and in particular of SVMs
History of induction from Kant to Popper and current state
Bayesian Priorhood


回應

告訴我們這些 .ZIP檔如何協助你進行教導與學習。

.ZIP檔案中的課程內容與「麻省理工開放式課程」所出版的材料一樣,必需依照創作共享理念授權同意書規範。

為了離線或窄頻使用者,「麻省理工開放式課程」免費提供了完整的課程檔案下載。「麻省理工開放式課程」永遠是免費開放的電子出版品,你的捐款將可以讓我們維持更高的出版品質,及提供免費下載.ZIP檔案。請閱讀本頁以了解如何在經濟上支援我們。「麻省理工開放式課程」檔案下載的文件內容與課程網頁版本相同,讓你在本機上就可以瀏覽OCW課程材料。

課程下載

9-520Spring-2003.zip

下載課程的方法

點擊上方的連結來並開始下載 .ZIP 檔案。
使用解壓縮軟體,像是WinZipStuffIt來開啟.ZIP檔。解壓縮後,請依「麻省理工開放式課程」各課程內容需求,選用相應軟體來處理課程內容。你所下載的各課程首頁會列出所需軟體。
完成後,.ZIP即被下載並存放在你的電腦上。若已安裝解壓縮軟體,即可依軟體指示在電腦上開啟並將.ZIP檔案解開。

尋找並使用課程內容

開啟.ZIP並解壓縮後,就可使用瀏覽器開啟「麻省理工開放式課程」的html網頁。解壓後根目錄下的 Welcome.htm 檔案會將你導向該課程首頁。

.ZIP檔案中的課程內容與「麻省理工開放式課程」所出版的材料一樣,必需依照創作共享理念授權同意書規範。

常見問答集

下載一門課要多久? 
麻省理工開放式課程的.ZIP檔案大小約介於 1MB 到 100MB間,多為 25MB-30MB。下載.ZIP檔案時可能佔用您一些時間,所需時間依您網路的連線速度而定。

為什麼.ZIP檔案裏少了某些課程材料,像是影片課程或模擬媒體? 
像是影片、Java Applet等材料,以及一些沒有直接放在「麻省理工開放式課程」伺服主機上的特殊內容,在.ZIP裏亦不直接收錄,而是以連結的形式提供。你可以瀏覽內容網頁來下載這些影音檔案,請閱讀開放式系統說明網頁的我能夠把RealPlayer的影像檔案儲存到我的硬碟嗎?

如果下載課程時發生問題,我該找誰?

請寄信到 意見反應信箱ocw@mit.edu


留下您對本課程的評論
標題:
您目前為非會員,留言名稱將顯示「匿名非會員」
只能進行20字留言

留言內容:

驗證碼請輸入0 + 0 =

標籤

現有標籤:1
新增標籤:


有關本課程的討論

課程討論
影片,教材無法下載

Anonymous, 2015-07-22 10:21:13
課程討論
影片不能下載zip
Anonymous, 2012-06-19 17:49:10

Creative Commons授權條款 本站一切著作係採用 Creative Commons 授權條款授權。
協助推廣單位: