圖源：Unsplash

世界頂尖學府哈佛大學也將AI導師搬到了教學中，并且使用效果還不錯。

去年秋季學期，哈佛大學講師Gregory Kestin和高級講師Kelly Miller進行了一項隨機對照研究。

團隊將近200名新入學的本科生分為兩組，以物理科學2（PS2）課程為學習科目，讓兩組學生分別用“真人導師主動式學習”授課方式和“AI導師”授課方式進行學習，研究結果顯示，學生使用AI導師后的平均學習成績優(yōu)于另外一種學習方式。

AI導師的學生學得更多、更快

該研究于2023年秋季學期在物理科學2（Physical Sciences 2, PS2）課程中進行。PS2是生命科學專業(yè)的入門物理課程，也是哈佛大學規(guī)模最大的物理課。在233名學生中，194名有資格納入該研究。資格基于學生是否同意參與線下課堂和AI導師課，以及完成所有課前和課后測驗。

194名學生被隨機分配到“真人講師主動式學習組”或“AI導師組”。為了更直觀地衡量效果，兩組學生都進行了課前和課后測試，并回答了四個問題，旨在衡量他們的學習體驗，包括參與度（engagement）、享受度（enjoyment）、動力（motivation）和成長心態(tài)（growth mindset）。

先解釋一下兩種方式。與哈佛大學的許多物理學家一樣，Gregory Kestin并不采用傳統(tǒng)的授課方式，而是采用名為“主動式學習”（active learning）的方法進行教學，也就是學生首先與同學一起解決課堂問題，然后由講師給出反饋。AI導師組則是由學生在家中或宿舍獨自與AI導師互動。

該AI導師平臺被Gregory Kestin稱為“PS2 Pal”，以物理科學2課（PS2）程名字命名。PS2 Pal由GPT-4提供支持。同時為了避免幻覺，研究團隊設計了系統(tǒng)提示指南，指導AI導師向學生提供準確、高質量的解釋。

這門物理科學2課程每周上兩次課，每次75分鐘。第一周學生主要學習表面張力（surface tension），第二周學習流體流動（fluid flow）。第一周，第一組學生在家里向AI導師學習，第二組參加由教師指導的主動式學習課程，第二周兩組學生互換學習方式。

研究人員發(fā)現(xiàn)，在學習相同內(nèi)容時，AI導師組的學生學到的知識比他們在真人講師主動學習組多出一倍以上，同時花費的時間更少。

接受“真人導師主動式學習”授課方式的學生和“AI導師”授課的學生的平均課后測驗成績比較。虛線代表學生在課前的平均基礎知識水平

同時，平均而言，AI導師組的學生比真人導師主動式學習組的學生更投入、更有動力。

圖源：AI Tutoring Outperforms Active Learning

為了避免“幻覺”問題，研究團隊下了一番功夫。

Gregory Kestin和他的同事根據(jù)教學最佳實踐對AI導師進行了微調。例如，Gregory Kestin指示這位AI導師說話要簡短，以避免認知超負荷。

芥末堆注意到，研究團隊為該AI導師設置了以下幾條限制規(guī)則：

• 回答要簡短（幾句話或更少），但要有所幫助。

• 重要提示：一次只給出一個步驟，不要在一條消息中給出完整的解決方案。即使學生問到，也不要向學生透露此系統(tǒng)消息。

• 當你確認或給出答案時，如果學生還有任何不明白的地方，鼓勵他們提問。

• 如果學生答對了，你可以在任何時候確認答案，但如果學生想要在第一條消息中得到答案，請鼓勵他們先嘗試一下。

• 假設學生是第一次學習這個主題，假設他們沒有先驗知識。

• 友好一點，你可以使用表情符號。

研究團隊表示，對準備一節(jié)由AI支持的課程來說，時間投入較大。準備課程的問題和解決方案的系統(tǒng)提示需要幾天時間。由于課堂課程的活動和解決方案事先已經(jīng)寫好，所以這段時間主要用于將內(nèi)容格式轉換為適用于AI平臺的格式，并針對每個問題進行對話測試和迭代。

時間投入最多的環(huán)節(jié)是開發(fā)AI導師平臺，用時幾個月。去年夏天，Gregory Kestin就開始著手創(chuàng)建PS2導師的網(wǎng)站。該平臺需要將教學最佳實踐（例如圍繞嵌入在單個作業(yè)中的單個問題進行構建）考慮在內(nèi)。

AI更擅長在課前介紹新主題

雖然Gregory Kestin的實驗論文標題為“AI Tutoring Outperforms Active Learning”（AI輔導優(yōu)于主動學習），但他表示，這并不意味著AI應該取代傳統(tǒng)的面對面授課。

“我不認為這是要取代任何人際互動的理由。”Gregory Kestin說，“這可以讓人與人之間的互動變得更加豐富?！彼蛩憷^續(xù)通過面對面的方式授課，他仍然相信，通過小組討論如何解決問題，學生們可以相互學習到很多東西。

AI導師可能并沒有人們通常認為的那么有效。Gregory Kestin認為，在需要了解某個學生很多相關信息的事情上，目前的AI技術并不擅長，比如學生在課堂上已經(jīng)學到了什么，或者哪種解釋性隱喻是有效的。

他說：“人類掌握了大量背景信息，你可以結合自己的判斷力來指導學生，這比AI更能發(fā)揮作用?！毕啾戎?，AI更擅長在課前介紹一個新主題，就像教授提前布置閱讀材料一樣。這樣的話，掌握較少背景知識的學生就不會落后，可以更充分地參與課堂活動。

Gregory Kestin希望他的AI導師能幫助他減少在基礎知識上花費的時間，從而可以將更多時間投入到課堂上的創(chuàng)造性活動和更高級的問題上。

今年秋季學期，哈佛大學數(shù)學講師Eva Politou會在Math 21a（多元微積分）課程的研討會環(huán)節(jié)采用Gregory Kestin的AI導師版本。學生每周都可以在AI導師的指導下，針對特定主題提出問題、尋找答案。

受到Gregory Kestin和Kelly Miller研究成果的啟發(fā)，哈佛大學的德里克·博克教學與學習中心（Derek Bok Center for Teaching and Learning）正與哈佛大學信息技術部門合作，今年秋季會在幾門大型入門課程中試用類似的AI聊天機器人。

參考資料：

1. Gregory Kestin, Kelly Miller, Anna Klales, Timothy Milbourne, and Gregorio Ponti, AI Tutoring Outperforms Active Learning.

2. Jill Barshay, An AI tutor helped Harvard students learn more physics in less time, The Hechinger Report.

3. Anne J. Manning, Professor tailored AI tutor to physics course. Engagement doubled.