主要的概念有 :增長函數(growth function)、對分(dichotomy)、打散(shattering)和中斷點(break point)
增長函數 : 增長函數表示空間H對m個數據所能賦予標記的最大可能結果數
假設現在有A、B兩點,考慮二分類的情況,可能的值有:AA、AB、BA和BB,所以這裡增長函數為4。
對分 : 假定我們的Hypothesis Set H是一個Binary function的集合當我們將一個大小為N的sample data set記做 $ x1,x2,…,x_{N} $ ,做為H中的一個hypothesis h的輸入的時候,我們就會得到一個長度為N的tuple,形如 $(h(x1),h(x2),…,h(x_N))$。
而這個tuple中的每個元素都是+1或者-1,我們把這樣的一個tuple就稱作為一個Dichotomy,然後我們定義,對於一個Hypothesis Set H來說 $H(x1,x2,…,x_N)$是H在sample$(x1,x2,…,x_N)$上所有Dichotomy 的集合打散 : 指的是假設空間H能實現數據集D上全部示例的對分,以二元分類來看即增長函數為$2^m$
Vapink-Chervonenkis Dimension : 在於我們以前是無法約束hypothesis的數量的。在Hoeffding’s Inequality中, $P[|E_{in}-E_{out}|>\epsilon]\leq2Me^{-2\epsilon^2N}$ 其中的M,也就是Hypothesis Set H的勢為無窮大,在Generalization Bound中, $E_{out}\leq E_{in}(g)+(\frac{1}{2N}ln\frac{2M}{\delta})^{0.5}$ ,M也是無窮大,導致無法判斷學習的可行性,所以我們必須找到有限的M
Growth function : Growth function是指針對任意N個點的最多的dichotomy數,而前面的集合M是指對於特定的一個data set所能產生的dichotomy的集合,也就是說$m_H(N) = max|H(x1,x2,…,x_N)|$
定義H為一個平面中的所有直線,若一個點在直線的一邊,則return +1,否則return -1。
N=3時,Growth function的值為8
N=4時,Growth function的值為14,所以
$ m_H(N)<2^N$
如果break point存在,$m_{H}(N)$就是一个polynomial對於這個例子,break point 為 4
這樣一來我們的Hoeffding’s Inequality和Generalizaiton Bound就明顯可以很好地收斂,換句話說,如果break point存在,我們就可以說,Learning是可行的。