芥末堆芥末堆

自適應(yīng)學(xué)習(xí)的兩種設(shè)計(jì)方案:知識(shí)點(diǎn)間和知識(shí)點(diǎn)內(nèi)

作者:馮俊晨 發(fā)布時(shí)間:

自適應(yīng)學(xué)習(xí)的兩種設(shè)計(jì)方案:知識(shí)點(diǎn)間和知識(shí)點(diǎn)內(nèi)

作者:馮俊晨 發(fā)布時(shí)間:

摘要:自適應(yīng)學(xué)習(xí)的實(shí)現(xiàn),遠(yuǎn)不止題庫+算法那么簡(jiǎn)單。

books-1245690_1280.jpg

圖片來源:pixabay

芥末堆注:2016年是自適應(yīng)學(xué)習(xí)頗受關(guān)注的一年,在芥末堆上,圍繞“自適應(yīng)學(xué)習(xí)是否是K12的救世主”,引來了多位業(yè)內(nèi)人士的投稿探討。公眾號(hào)“愛行知”今日發(fā)布了一篇文章,詳述了自適應(yīng)學(xué)習(xí)有關(guān)知識(shí)點(diǎn)間和知識(shí)點(diǎn)內(nèi)的兩種設(shè)計(jì)方案。

李子說明:

去年JC一篇文章,曾經(jīng)發(fā)起行業(yè)內(nèi)關(guān)于“自適應(yīng)學(xué)習(xí)是否是救世主”的討論。當(dāng)時(shí)頗有一些專家參與。

今年春節(jié),JC根據(jù)自己的研究經(jīng)歷,重新寫就了一篇他對(duì)自適應(yīng)學(xué)習(xí)的兩種設(shè)計(jì)方案的思考和總結(jié)。值得這個(gè)研究方向的童鞋參考和探討。

作為背景,我把和JC第一稿時(shí)討論的若干問題簡(jiǎn)要放在這里,可以供大家發(fā)散:

(1)目前基于我自己課程設(shè)計(jì)的進(jìn)展和要求,許多時(shí)候我是把孩子的發(fā)現(xiàn)能力和知識(shí)建構(gòu)過程(及伴生要求)當(dāng)做教育目標(biāo)的,我不確認(rèn)知識(shí)點(diǎn)和知識(shí)圖譜是否能夠完備描述這種學(xué)習(xí)過程——或者需要多大程度的重新定義。所以我也不太確認(rèn)在這種課程和學(xué)習(xí)架構(gòu)下,自適應(yīng)學(xué)習(xí)應(yīng)當(dāng)怎樣設(shè)計(jì)。(當(dāng)然需要坦承的是,目前這種架構(gòu)的課程體系和學(xué)習(xí)本身還非常不成熟,遑論一個(gè)可以相互促進(jìn)的計(jì)算機(jī)自適應(yīng)系統(tǒng)。但未來我會(huì)集中精力投入到這個(gè)方向)

(2)和自適應(yīng)學(xué)習(xí)系統(tǒng)優(yōu)化最相關(guān)的是優(yōu)化目標(biāo)的確定,也就是文中的“掌握程度(Mastery)”的概念。我們都承認(rèn)這個(gè)概念是一個(gè)樸素的非嚴(yán)格數(shù)學(xué)意義上定義的概念,而且我們倆基本一致的是,最本真的掌握程度的確定需要教師和實(shí)證實(shí)驗(yàn)的緊密結(jié)合——而這不像“點(diǎn)擊率”那么直觀和方便,所以這有兩個(gè)判斷:其一,自適應(yīng)學(xué)習(xí)的迭代優(yōu)化一定是一個(gè)緩慢的過程(指的是在效果認(rèn)定和優(yōu)化層面,不是指技術(shù)系統(tǒng)的細(xì)節(jié));其二,目前大部分國內(nèi)的系統(tǒng)都沒有經(jīng)歷足夠的優(yōu)化過程。

也期待方家針對(duì)這篇文章或者任何有興致的觀點(diǎn)進(jìn)行反饋和探討。我會(huì)邀請(qǐng)JC和其他幾位童鞋保持關(guān)注。新年第一篇,給大家拜個(gè)晚年(文后紅包我會(huì)轉(zhuǎn)給JC)。

這篇文章將介紹兩種自適應(yīng)學(xué)習(xí)方案:“知識(shí)點(diǎn)間”(between knowledge points)自適應(yīng)和“知識(shí)點(diǎn)內(nèi)”(within knowledge points)自適應(yīng)。知識(shí)點(diǎn)間自適應(yīng)適合推薦引擎可以控制課程進(jìn)度的學(xué)習(xí)場(chǎng)景。知識(shí)點(diǎn)內(nèi)自適應(yīng)適合推薦引擎無法控制課程進(jìn)度但是有豐富題庫的學(xué)習(xí)場(chǎng)景。

1.知識(shí)點(diǎn)間自適應(yīng)

知識(shí)點(diǎn)間自適應(yīng)方案主要對(duì)于知識(shí)點(diǎn)的學(xué)習(xí)順序進(jìn)行優(yōu)化。大部分“基于知識(shí)圖譜”的自適應(yīng)學(xué)習(xí)都屬于這個(gè)大類下。

這種自適應(yīng)方案的核心問題是:

假設(shè)有一個(gè)知識(shí)點(diǎn)集合,是否存在一個(gè)學(xué)習(xí)路徑,使得學(xué)生在掌握前置知識(shí)點(diǎn)的前提下,必然能夠沿著這個(gè)學(xué)習(xí)路徑掌握所有的知識(shí)點(diǎn)?

比如說,Khan Academy構(gòu)建了一張數(shù)學(xué)知識(shí)圖譜,為每一個(gè)知識(shí)點(diǎn)都刻畫了一個(gè)學(xué)習(xí)路徑。它的暗含假設(shè)是,如果一個(gè)學(xué)生掌握了這個(gè)路徑上的全部前置知識(shí)點(diǎn),他必然可以通過練習(xí)掌握這個(gè)知識(shí)點(diǎn)。因此,只要按圖索驥,就可以避免Khan所擔(dān)心的知識(shí)網(wǎng)絡(luò)“奶酪式”成長(zhǎng)(aka都是洞)的問題。

因?yàn)橹R(shí)圖譜上的學(xué)習(xí)路徑是唯一的,Khan Academy的自適應(yīng)僅局限于對(duì)于學(xué)習(xí)速度的自適應(yīng)。如果學(xué)生A花了一周還沒有學(xué)會(huì)幾何法求解空間二面角,他應(yīng)該花更長(zhǎng)的時(shí)間來鞏固這個(gè)知識(shí)點(diǎn)直到掌握。如果學(xué)生B花了一天就學(xué)會(huì)了,他應(yīng)該繼續(xù)去學(xué)別的內(nèi)容。這相對(duì)于統(tǒng)一步調(diào)的課堂教學(xué)而言,的確是一個(gè)實(shí)質(zhì)性的改進(jìn)。但是,Khan Academy式的知識(shí)圖譜不能針對(duì)掌握水平分布進(jìn)行自適應(yīng)。如果學(xué)生A并不擅長(zhǎng)幾何思考,但是熟練地掌握了空間直角坐標(biāo)系,為什么他不能通過空間直角坐標(biāo)系來解決這個(gè)問題呢?

上述例子展示了繪制知識(shí)圖譜所面臨的巨大挑戰(zhàn)。知識(shí)圖譜是否只有一種畫法?同一個(gè)知識(shí)點(diǎn)是否只有一條路徑?ALEKS從理論上為這兩個(gè)問題提供了解答。即使知識(shí)圖譜不只有一個(gè),通往同一個(gè)知識(shí)點(diǎn)的路徑不只有一條,可以學(xué)會(huì)全部知識(shí)點(diǎn)的可行路徑依然存在。但是可行路徑的數(shù)量級(jí)可能在千萬級(jí)。

僅僅有知識(shí)圖譜并不足夠,系統(tǒng)還需要對(duì)于學(xué)生在每個(gè)知識(shí)點(diǎn)上的掌握程度進(jìn)行診斷。掌握程度(mastery)之所以困難,是因?yàn)樗且粋€(gè)不可見的抽象構(gòu)架。學(xué)界和業(yè)界對(duì)于該如何定義“掌握”存在比較大的分歧。例如,老版的Khan Academy用了最簡(jiǎn)單的“連對(duì)10個(gè)就算掌握”的規(guī)則。Duolingo也使用預(yù)測(cè)正確率作為用戶掌握某個(gè)詞匯或者語法的依據(jù)。從智能教學(xué)系統(tǒng)科班出身的自適應(yīng)系統(tǒng),例如卡耐基學(xué)習(xí)出品的Cognitive Tutor或者Knewton,都使用結(jié)構(gòu)模型來定義掌握程度和做題結(jié)果的關(guān)聯(lián),從而部分抵消題目特性對(duì)于掌握程度推斷的影響。例如,75分到底是掌握水平高,還是掌握水平低呢?如果平均分是60分(題目偏難),75分可能說明學(xué)生的水平相當(dāng)不錯(cuò);如果平均分是90分(題目偏易),75分可能說明學(xué)生的水平相當(dāng)糟糕。

傳統(tǒng)的知識(shí)點(diǎn)間自適應(yīng)系統(tǒng)只對(duì)于學(xué)生做過題的知識(shí)點(diǎn)進(jìn)行掌握程度推斷。更復(fù)雜的一點(diǎn)自適應(yīng)系統(tǒng),(例如Knewton),會(huì)使用知識(shí)點(diǎn)間的關(guān)聯(lián)關(guān)系來推斷學(xué)生未做過題的知識(shí)點(diǎn)的掌握程度。這種關(guān)聯(lián)推斷只能算是錦上添花。盡管它降低了學(xué)生學(xué)習(xí)整個(gè)圖譜所需要完成的最低做題量,但是它并沒有提供探索可行學(xué)習(xí)路徑的更好辦法。

“知識(shí)點(diǎn)間自適應(yīng)”是一個(gè)在直覺上合理并且在技術(shù)上成熟的設(shè)計(jì)方案。今天我們?cè)谥袊吹降淖赃m應(yīng)學(xué)習(xí)系統(tǒng),大部分屬于這個(gè)類別。然而,“知識(shí)點(diǎn)間自適應(yīng)”系統(tǒng)在美國的實(shí)際使用中效果差強(qiáng)人意。Eric Taylor 對(duì)智能學(xué)習(xí)系統(tǒng)的實(shí)證效果進(jìn)行了綜述,發(fā)現(xiàn)大部分混合教學(xué)并沒有取得比課堂教學(xué)更好的教學(xué)效果。筆者認(rèn)為原因有三:

第一,教材本身內(nèi)含了一個(gè)設(shè)計(jì)良好的知識(shí)圖譜和學(xué)習(xí)路徑;由第三方教學(xué)專家構(gòu)建的圖譜和路徑,未必有久經(jīng)考驗(yàn)的教材版本效果更好。

第二,“知識(shí)點(diǎn)間自適應(yīng)”要求老師允許學(xué)生以不同的速度學(xué)習(xí),從而出現(xiàn)自然的教學(xué)分層現(xiàn)象。不論從政治環(huán)境上,還是從老師的教學(xué)負(fù)擔(dān)上,教學(xué)分層都只能是一個(gè)“看上去很美”的教學(xué)設(shè)想。由于大部分知識(shí)點(diǎn)間自適應(yīng)系統(tǒng)并沒有ALEKS那樣的基于掌握水平的自適應(yīng),而只有基于速度的自適應(yīng),不允許學(xué)習(xí)速度分化,事實(shí)上扼殺了自適應(yīng)系統(tǒng)的優(yōu)勢(shì)。

第三,知識(shí)點(diǎn)間自適應(yīng)和老師的替代性超過互補(bǔ)性,因此老師使用自適應(yīng)系統(tǒng)后偷懶也可能是效果不章的原因之一。

2.知識(shí)點(diǎn)內(nèi)自適應(yīng)

知識(shí)點(diǎn)內(nèi)自適應(yīng)方案在給定知識(shí)點(diǎn)內(nèi)的不同題目之間進(jìn)行篩選和排序。筆者認(rèn)為這與國內(nèi)大部分題庫產(chǎn)品比較類似。筆者不能確定它們是否采用了這種自適應(yīng)設(shè)計(jì)方案,因?yàn)樗鼈儗?duì)于自己的方法論諱莫如深。

“知識(shí)點(diǎn)內(nèi)自適應(yīng)”是一種頗具中國特色的產(chǎn)品形態(tài)。在美國,由于可公開獲得的題庫不論在數(shù)量上和質(zhì)量上都難以盡如人意,因此大部分自適應(yīng)學(xué)習(xí)系統(tǒng)在知識(shí)點(diǎn)內(nèi)都采用計(jì)算機(jī)出題的模式,包括Khan Academy,Duolingo,Cognitive Tutor和ALEKS。這些題目本身高度雷同,因此并不存在太多的自適應(yīng)空間。但是這種可控程度較高的練習(xí)題生成方式基本沒有被中國的教育互聯(lián)網(wǎng)公司采用。筆者認(rèn)為一方面是成本的考量,另一方面也是用戶體驗(yàn)的考量。從成本上說,在國內(nèi)獲取一個(gè)數(shù)目客觀、質(zhì)量尚可的題庫較挨個(gè)知識(shí)點(diǎn)寫生成器要便宜的多,也要快得多。從用戶體驗(yàn)上說,家長(zhǎng)和老師可能更希望練習(xí)題目應(yīng)該類似于考試題目(特別是初高中學(xué)段)。此外,國內(nèi)教學(xué)環(huán)境對(duì)于“超綱”比較敏感,知識(shí)點(diǎn)間自適應(yīng)在不能自由選擇教學(xué)進(jìn)度的前提下并沒有太大用武之地。因此,利用一個(gè)數(shù)量龐大且品質(zhì)參差不齊的題庫進(jìn)行知識(shí)點(diǎn)內(nèi)練習(xí)(和教學(xué))推薦,是一個(gè)非常具有中國特色的技術(shù)問題。

這類推薦系統(tǒng)需要回答的核心問題是:

假設(shè)有一個(gè)題庫,是否存在一個(gè)練習(xí)路徑,使得學(xué)生以最少的做題量達(dá)到某個(gè)預(yù)先指定的熟練程度?

這里有兩點(diǎn)值得強(qiáng)調(diào):

第一,這個(gè)問題與傳統(tǒng)上的計(jì)算機(jī)輔助測(cè)試(Computerized Adaptive Testing),比如ETS的TOEFL和GRE,具有本質(zhì)的區(qū)別。CAT的問題是,假設(shè)被試者能力不變,給定一個(gè)題庫,是否存在一個(gè)測(cè)試路徑,使得系統(tǒng)以最少的題量將學(xué)生能力估計(jì)到某個(gè)預(yù)先指定的熟練程度。因?yàn)镃AT從根本假設(shè)上否定了通過練習(xí)進(jìn)行學(xué)習(xí)(learning through practice)的可能性,因此使用IRT/CAT做推薦引擎的知識(shí)點(diǎn)內(nèi)自適應(yīng)學(xué)習(xí)產(chǎn)品都有一點(diǎn)“掛羊頭賣狗肉”的嫌疑(但是知識(shí)點(diǎn)間自適應(yīng)系統(tǒng)并不存在這個(gè)問題)。

第二,這個(gè)問題與傳統(tǒng)上的協(xié)同推薦算法,比如淘寶,具有本質(zhì)區(qū)別。協(xié)同推薦的問題是,假設(shè)每一個(gè)用戶的偏好不變但是用戶之間的偏好不同,是否存在一個(gè)辦法可以通過用戶的行為對(duì)于用戶進(jìn)行分類,從而為每一個(gè)類別的用戶提供更適合其偏好的產(chǎn)品或服務(wù)。與CAT系統(tǒng)一樣,協(xié)同推薦算法從根本上否定了學(xué)習(xí)的可能性,因此其推薦邏輯不具有教學(xué)邏輯。因?yàn)橛泻湍泐愃谱鲱}記錄的學(xué)生做錯(cuò)了這道題,所以你也應(yīng)該試試這道題。這是一個(gè)非常糟糕的教學(xué)邏輯(如果有任何教學(xué)邏輯的話)。

知識(shí)點(diǎn)內(nèi)自適應(yīng)可以說是一個(gè)還有待進(jìn)一步研究的領(lǐng)域。筆者在此僅闡述一個(gè)理論框架。

一個(gè)描述動(dòng)態(tài)學(xué)習(xí)的系統(tǒng)首先要定義什么叫“學(xué)習(xí)”(learning)。一個(gè)直觀的辦法是把學(xué)習(xí)和掌握程度(mastery)聯(lián)系起來,將其定義為低掌握程度到高掌握程度的轉(zhuǎn)換概率。每一個(gè)掌握程度由一套可觀察的表現(xiàn)來定義。比如,給定一道題,90分以上是精通,60-90是掌握,60以下是未掌握。學(xué)習(xí)可以定義為從“未掌握”到“掌握”的概率(漸悟),也可以定義為從“未掌握”到“精通”的概率(頓悟)。這并不是唯一的定義方法,但可能是最簡(jiǎn)單但是不失普遍性的定義方法。

定義了學(xué)習(xí),就可以定義“學(xué)習(xí)差異性”(learning heterogeneity)。差異性是構(gòu)造自適應(yīng)系統(tǒng)的根本原因,否則最優(yōu)的教學(xué)方案會(huì)是千人一面而不是千人千面。學(xué)習(xí)差異性可以抽象成:

(1)水平差異性:目標(biāo)是“精通”,題目對(duì)于“未掌握”和“掌握”的學(xué)習(xí)者的效果應(yīng)該不同。

(2)速度差異性:目標(biāo)是精通,起點(diǎn)是“掌握”,題目對(duì)于一個(gè)快速學(xué)習(xí)者和慢速學(xué)習(xí)者的效果應(yīng)該不同。

如果接受這套定義,接下來有兩個(gè)重要的實(shí)際問題需要回答:

(1)上述定義系統(tǒng)中的參數(shù)是否可以被數(shù)據(jù)估計(jì)?

(2)如果估計(jì)了這些參數(shù),如何構(gòu)建一個(gè)推薦邏輯?

遺憾的是,筆者自己的研究表明,問題(1)的答案可能是否定的。只有在特定的題目順序結(jié)構(gòu)下,題目的參數(shù)和用戶的類型才能被估計(jì)。但是如果我們忽視速度差異性,問題(1)的答案可能是肯定的。

問題(2)與其說是一個(gè)技術(shù)問題,不如說是一個(gè)教學(xué)問題。筆者認(rèn)為,推薦邏輯應(yīng)該由“測(cè)評(píng)-教學(xué)”的兩步循環(huán)來構(gòu)成。在測(cè)評(píng)環(huán)節(jié),練習(xí)推薦側(cè)重于題目的區(qū)分度和測(cè)量精度,從而區(qū)分用戶的不同類型;在教學(xué)環(huán)節(jié),根據(jù)學(xué)生類型,練習(xí)推薦側(cè)重于題目的教學(xué)效果。在下一個(gè)測(cè)評(píng)環(huán)境,練習(xí)推薦再測(cè)試學(xué)生的水平和類型,如此循環(huán)往復(fù),直到學(xué)生達(dá)到指定的熟練程度為止。

此外,練習(xí)推薦也應(yīng)該注意對(duì)于用戶留存的影響,如果學(xué)生不持續(xù)地投入地練習(xí),不論推薦邏輯再優(yōu)秀,也無法展現(xiàn)其應(yīng)有的效果。

1、本文是 芥末堆網(wǎng)轉(zhuǎn)載文章,原文:愛行知;
2、芥末堆不接受通過公關(guān)費(fèi)、車馬費(fèi)等任何形式發(fā)布失實(shí)文章,只呈現(xiàn)有價(jià)值的內(nèi)容給讀者;
3、如果你也從事教育,并希望被芥末堆報(bào)道,請(qǐng)您 填寫信息告訴我們。
來源:愛行知
芥末堆商務(wù)合作:王老師 18710003484
  • 自適應(yīng)學(xué)習(xí)的兩種設(shè)計(jì)方案:知識(shí)點(diǎn)間和知識(shí)點(diǎn)內(nèi)分享二維碼