芥末堆芥末堆

用AI一鍵搞定雅思口語 | 扣子coze.cn最佳實踐 Vol.1

作者:昆布 發(fā)布時間:

用AI一鍵搞定雅思口語 | 扣子coze.cn最佳實踐 Vol.1

作者:昆布 發(fā)布時間:

摘要:一鍵復(fù)制創(chuàng)造屬于你的24小時口語專家。

7.png

??Bot現(xiàn)已開源,一鍵復(fù)制創(chuàng)造屬于你的24小時口語專家

8.gif

9.jpg掃碼體驗/復(fù)刻雅思口語專家

提到備考雅思

第一反應(yīng)是不是擼起袖子報個班?

等等打?。?/p>

現(xiàn)在流行的“電子專家”不會還有人不知道吧?

全能專家助你雅思保7爭8,輕松拿捏!

還能1V1口語陪練,免費(fèi)的?。。?!

沒有語言環(huán)境,那就自己創(chuàng)造!

---嚴(yán)肅分割線---下面,讓我們帶你五步搭建你的 AI 口語產(chǎn)品!

                                                                                                                                                 

Step 1:明確產(chǎn)品價值

經(jīng)過與伙伴的深入討論,我們明確了雅思 AI 口語陪練產(chǎn)品的市場價值:

1. 明確市場價值

用戶畫像高度重合

  • 雅思考試市場年規(guī)??蛇_(dá)數(shù)十億元人民幣,包含報名費(fèi)、培訓(xùn)費(fèi)等。

用戶驅(qū)動力強(qiáng)

  • 雅思考生具有強(qiáng)烈的自我驅(qū)動力,對新產(chǎn)品接受度高。

用戶痛點明顯口語是中國考生的主要難點,缺乏語言環(huán)境尤為不利;

  • 口語能力對申請出國留學(xué)的學(xué)生來說是面試成功的關(guān)鍵因素之一。

訓(xùn)練場景高留存率

  • 雅思口語的訓(xùn)練場景有短期高頻的需求,題庫難度要求考生至少預(yù)留一周以上準(zhǔn)備時間。

產(chǎn)品迭代增量可控

  • 每年1月、5月、9月更新,新增內(nèi)容占30%,替換70%;

  • Part 1題庫包括30-50道題,Part 2和Part 3的題庫涵蓋50-60道題。

2. 明確可實現(xiàn)性

基于對大模型的了解,口語陪練產(chǎn)品與大模型能力高度契合。語言訓(xùn)練非常符合Transformer架構(gòu)的特性,是其最佳實踐之一。

10.jpg

Step 2:明確產(chǎn)品功能框架

為了做一款針對雅思口語訓(xùn)練的AI產(chǎn)品,我們首先需要明確雅思口語的考試結(jié)構(gòu)&備考方式:

考試結(jié)構(gòu)

  • Part1(4-5分鐘): 日常口語交流,范圍覆蓋工作、學(xué)習(xí)、興趣愛好、家庭等;

  • Part2(3-4分鐘):根據(jù)考題準(zhǔn)備1 分鐘,并進(jìn)行 2 分鐘左右的陳述;

  • Part3(4-5分鐘):基于 Part 2 的話題,和考官進(jìn)行更深入、更抽象和更具思辨性的討論。

備考方式

  • 題庫復(fù)習(xí);

  • 教學(xué)反饋(實時打分、優(yōu)化建議、范文梳理);

  • 考試模擬;

  • 口語素材輔助整理,串題輔導(dǎo);

  • 訓(xùn)練進(jìn)度管理。

11.png

產(chǎn)品功能框架

來,掌聲送給這位全能的專家!

(靴靴大家?(? ???ω??? ?)?)

Step 3:功能開發(fā)

利用Prompt工程和多Agent機(jī)制,我們完成了整個產(chǎn)品的功能設(shè)計。整體的功能實現(xiàn)思路如下:

1. 利用COT+Fewshot,讓模型能夠基本準(zhǔn)確執(zhí)行任務(wù)鏈路。

以Part1的出題Prompt為例:

19.png

2. 通過Prompt結(jié)構(gòu)性的優(yōu)化,使得模型具備準(zhǔn)確召回,并處理特殊情況的能力。

以題庫的結(jié)構(gòu)化邏輯為例,我們通過準(zhǔn)確定義的Markdown語言邏輯,讓模型實現(xiàn)的復(fù)雜的題庫召回:

20.png
下面看看效果實現(xiàn)?

多 Agent 設(shè)計

在多 Agent 的跳轉(zhuǎn)邏輯設(shè)定中,在Part1/2的模型中,我們選擇了“在當(dāng)前節(jié)點的運(yùn)行過程中識別”的模式,讓Part之間的跳轉(zhuǎn)決策后置,讓跳轉(zhuǎn)行為更為可控。但是對于希望用戶能夠沉浸完成正常考試的“模擬考試”節(jié)點,我們選擇了“獨立于當(dāng)前節(jié)點的模型識別-大語言模型”模式,增加跳轉(zhuǎn)決策受到Prompt影響的權(quán)重,對跳轉(zhuǎn)行為做出了更多強(qiáng)制性的限制。下面是我們用于“模擬考試”節(jié)點的提示詞:

17.jpg多Agent設(shè)計

Step 4:能力評測與迭代

通過模擬不同類型的用戶行為,來制定Bot功能的評測集,從而衡量Bot表現(xiàn)是否符合預(yù)期。下面是制定評測集的思路:

Session 1: 模擬學(xué)霸類用戶對 Part 1/2/3 進(jìn)行評測

重點評測方向:

  • 回復(fù)的準(zhǔn)確性與穩(wěn)定性;

  • 逐句優(yōu)化的穩(wěn)定性;

  • 在引入一定干擾情況下,測試 Bot 的記憶能力至穩(wěn)定。

Session 2: 模擬口語較差用戶對 Part 1/2/3進(jìn)行評測

重點評測方向:

  • 回復(fù)的準(zhǔn)確性與穩(wěn)定性;

  • 逐句優(yōu)化的穩(wěn)定性;

  • 在存在較多干擾情況下,測試 Bot 的記憶能力上限。

Session 3: 模擬準(zhǔn)備初期用戶梳理 Part 2 材料與串題

重點評測方向:

  • 梳理提問思路是否合理;

  • 材料整理的質(zhì)量;

  • 串題的準(zhǔn)確性。

Step 5:數(shù)據(jù)回收&優(yōu)化

根據(jù)多輪真實用戶的反饋,我們針對性地對Prompt和功能邏輯做了優(yōu)化,從而在語氣優(yōu)化和細(xì)節(jié)處理方面更有把握。

Bot上線后,已經(jīng)有大約4500名用戶使用,人均對話輪數(shù)超過10輪,人均對話時長超過10分鐘,更懂同學(xué)們的Bot,就更厲害哦~

最最最最后!

歡迎大家打開扣子 Bot 進(jìn)行雅思口語的練習(xí)

給我們真實反饋!

我們也將整體配置在我們的 Bot 商店公開了

一起創(chuàng)造更多 AI + 語言的場景!

掃碼加入交流群

18.png


1、本文是 芥末堆網(wǎng)原創(chuàng)文章,轉(zhuǎn)載可點擊 芥末堆內(nèi)容合作 了解詳情,未經(jīng)授權(quán)拒絕一切形式轉(zhuǎn)載,違者必究;
2、芥末堆不接受通過公關(guān)費(fèi)、車馬費(fèi)等任何形式發(fā)布失實文章,只呈現(xiàn)有價值的內(nèi)容給讀者;
3、如果你也從事教育,并希望被芥末堆報道,請您 填寫信息告訴我們。
來源: 芥末堆
芥末堆商務(wù)合作:王老師 18710003484
  • 用AI一鍵搞定雅思口語 | 扣子coze.cn最佳實踐 Vol.1分享二維碼