29页干货PPT,教育行业p4以上运营、教研、技术、产品必看

29页干货PPT,教育行业p4以上运营、教研、技术、产品必看插图
目前就职于天学网,任核心算法部研发经理。很高兴和大家一起分享英语语法学习,以及计算机辅助英语语法纠错(GEC)这个话题。
本次分享会涉及六个方面:
【Why AI】教育信息化是从业者的机会,也是政府和投资人关注的方向。随着在线教育产品的普及,很多从事非技术岗位的朋友对英语口语发音评测/英语语法纠错等等「人工智能教育产品」背后的「黑科技」感到好奇。
【Why GEC】今天的讲座切入点是考雅思这个应用场景,落地点是「英语语法纠错」这个应用,主要想做的还是介绍「AI 教育产品」背后的技术,给感兴趣的朋友一张理论和落地路径的地图。
【分享综述】这次分享首先介绍什么是 CALL 系统,以及搭建 CALL 系统时考虑的两方面因素:用户需求与技术路线。之后从用户和技术两个视角入手,介绍英语语法学习体验,人工智能/自然语言处理技术,最后介绍语法纠错系统搭建。
【用户视角】用户方面,以我个人的雅思备考经历作为切入点,讲述各个分数段学习者的语法学习体验,以及作文批改中针对语法的反馈如何帮助我学习英语。
【技术指南】技术方面,我会简要介绍人工智能发展历程和代表技术,之后对自然语言处理做简要科普。让非技术背景的老师看到 CALL 系统背后的理论脉络与技术框架,起到提纲挈领,抛砖引玉的作用。
【工程实践】最后,通过英语语法纠错这个人工智能应用,我会介绍AI/NLP技术如何应用到教育产品里,在工程化时会遇到什么问题,以及如何做好人工智能的项目管理。
29页PPT

 CALL系统(Computer Assisted Language Learning,利用计算机技术辅助学习者便捷高效学习语言的技术) 

o 当我们想要设计一个 CALL System 的时候,应当考虑两个方面的问题
产品层面:落地场景是什么?需求是什么?解决了用户的什么问题?如何融入产品体系?
技术层面:技术选型?系统设计?模块设计?各个功能点/模块的技术指标上限下限?如何形成数据闭环?

                                                                                           01

 需求分析:从3个方面入手

o 当考试标准:如果是应试产品,需要吃透评分标准
o 学习者:(to C 产品的)用户
K12教育:长跑,夯实基础的时候
§ 如何增加用户粘性?
出国考试:离最终期限不足6个月时候刷分
§ 如何找出学习瓶颈,快速提高成绩?
o 教师:to C 教学产品扮演的角色
传授知识:教学法 + 产品体系 + 测评技术
§ 「教 – 学 – 练 – 考」环节中扮演不同角色
§ 老师 – 助教 – 陪练 – 考官
给予反馈:计算机技术发挥作用
§ 减少教师的人工工作量
§ 基于统计数据的「精准反馈」

                                                                                           02

 AI+ 教育的现实考虑

o 注意:不同于「传统」技术,不恰当的AI模块设计会增加系统中的黑盒,带来技术债
o Reference:
[1] Hidden Technical Debt in Machine Learning Systems(Google Inc,NIPS 2017)
[2] 文因互联 CEO 鲍捷:确保搞砸人工智能项目的十种方法

                                                                                           03

 雅思考试语法备考经历

o 雅思写作语法项评分标准
 Grammatical Range and Accuracy
o 雅思作文备考感受
CEFR:分数可以映射,各个考试难度不同
Teacher:「The band is very wide.」
Learner:「小作文靠背,大作文靠套路 + 改错」
雅思7分经验:词汇语法四六级水平,语法用法几乎全对,少见「Chinglish」表达,行文流畅有理有据
o 如何在雅思口语写作题型中提升语法水平
精细化批改与反馈:精雕细琢,打磨词汇语法正确性
语法用法知识点总结回顾:巩固强化,用新的语言习惯代替旧的,不正确的语言习惯

                                                                                           04

 雅思语法评分标准

o 衡量角度
语法结构多样性
语法使用准确性
o 5分作文
简单句掌握得比较好,准确度高
能写几种复杂句,出错影响理解(偏主观的标准)
o 6分作文
简单句复杂句混用,比较死板,缺乏变化
复杂句经常出错,凑合能看懂
o 7分作文
能以一定的灵活性使用复杂的语法结构
大部分句子都是对的,只有少量语法错误

                                                                                           05

 雅思语法提升经验(Band 6 – Band 6.5)

o 6.0分 – 6.5 分
稳步提升:刷视频课程,语法书,官方范文,积累好词好句,学习新语法结构
心得:中国考生输出能力弱是缺乏语言环境造成的,多看范文,通过模仿可以无意识地习得语言结构,以高强度的输入带动输出
o 6.5分稳定期
瓶颈期:考了很多次都是 6.5,老师也说雅思「The band is very wide.」,尤其突破 7 分不容易
原因:对于语法,现在掌握的句式结构已经够用了,要做到几乎 0 错误,并注意长短句搭配,灵活变化
对策:多写多练,适量批改,定期总结意见反馈。发现自己的问题后,扫一遍范文库,学习高分考生的写作方式。重视高频错误,同样的错误不犯第二次
心得:在总结之后,发现自己总是重复在犯某些语法错误,其他错误比较分散,而且是话题相关的。养成新习惯需要一段时间,以及反复的有意识的练习,通过不断重复改正高频,习惯性的错误

                                                                                           06

 雅思语法提升经验(Band 6.5-Band 7.5)

o 6.5分 – 7分
发力点:消灭大部分词汇语法错误之后,作文表达顺畅很多,可以把关注点转移到行文逻辑上来。评分标准里提到语法结构的「多样性」,掌握熟练之后,可以用恰当的衔接词/从句,为全文的逻辑链条服务了
心得:相比起 6.5分 的作文,7分作文看起来更加通顺,逻辑上更加自洽,语法不会成为表达的障碍。作文批改的重心也从挑错转移到谋篇布局上
o 7分 – 7.5分
发力点:阅读英文原版期刊,比如 The Economist,学习论证技巧和行文风格
心得:语法冲刺8分,需要学习更加复杂的语法结构,并且能运用自如。句子长短搭配,从句衔接,逻辑关系,都给人一种顺理成章的感觉。这时候语法几乎没有错误,语言风格符合外国人的阅读习惯,不会出现别扭的长难句,或者全是短句等等
                                                                                           07

 AI发展史以及代表技术(1)

o 1950s – 1960s:早期探索阶段
技术:规则系统,模板匹配,启发式搜索
应用:机器翻译,问答系统,自动证明
§ Weizenbaum’s ELIZA and Turing Test
o 1960s – 1970s:理论繁荣期
技术:知识表示与推理,统计方法,句法分析
应用:语义理解,篇章语用研究
o 1970s – 1980s:早期落地应用
背景:美苏冷战,DARPA项目
应用:人机自然语言交互,语音识别,统计语言模型
                                                                                           08

 AI发展史以及代表技术(2)

o 1980s – 1990s:AI 寒冬期
 原因:外界对人工智能研究进展的失望
 技术沉淀:强化学习,神经网络表示与学习
o 1990s – 2000s:理性发展期
技术:SVM,遗传算法和仿生学,概率图模型
应用:机器视觉,信息检索,机器人
o 2000s 至今:蓬勃发展的「Modern AI」
技术:知识图谱,深度学习,迁移学习,元学习……
应用:商业落地应用,如推荐系统,对话系统……
                                                                                           09

 人工智能历史综述书籍

o 尼克:《人工智能简史》
中文科普书籍,有参考文献
o Nils.J.Nilsson:The Quest for Artifical Intelligence: A History of Ideas and Achievements
英文综述教材,详细介绍人工智能历史分期,以及各个时期的里程碑事件,代表技术,以及实际应用
o Margaret Boden:Mind as Machine: A History of Cognitive Science
两卷本大部头,从认知的角度探讨心智科学发展史,不是很偏技术,适合对人工智能哲学感兴趣的阅读
                                                                                           10

 自然语言处理科普

o Natural Language Processing(NLP,以计算机处理自然语言的研究领域)
研究方向
§ 基础技术:词法分析(分词,归一化,词性标注),句法分析,语篇分析,知识图谱……
§ 一般应用:机器翻译,问答系统,对话系统……
§ 教育应用:单词学习,发音评测,语法纠错……
学术会议
§ 基础技术:ACL,EMNLP,COLING,NAACL
§ 教育应用:BEA,SLaTE,各种 Shared Tasks
                                                                                           11

 什么是「自然语言」

o 思考:什么是「语言」
o 人类的语言
语言是由词汇按一定的语法所构成的复杂的符号系统,它包括语音系统、词汇系统和语法系统
语言是人类所特有的交际工具,随着人类社会而产生和发展
o 语言的两大特点,对应语言研究的两大方法论
约定俗成,规则特点 —— 「形式主义」
发展变化,统计特性 —— 「经验主义」
                                                                                           12

 自然语言中的语法现象

o 广义的「语法」分为三个部分
词法:各种词性(形容词,冠词 etc)的正确使用
句法:使用正确的句式结构(Syntax)
用法:固定搭配,易混淆词辨析,篇章风格 etc
o 问题:谁来认定某种用法的「正确性」?
制定语法规则:语委,学校,教科书,权威词典
新闻报刊出版物,edited corpus
某个语言社区 Native Speaker 的实际使用方式
§ Language – 8 语法问答社区
                                                                                           13

 语言学家关于语法的理论

o 词法理论
形态学,语义学,词性标注,搭配理论
o 依存文法
L.Tesniere :《结构句法基础》(1959年)
语义分析中经常用到,关注词与词之间的语义关系
o 转换-生成文法
Chomsky :《最简方案》(1992年)
关注句子成分和相互关系,提出了一套完备的符号生成理论,从起始节点和一套规则,生成整个句子
借鉴计算机的方法,以符号运算定义了「语言」,和 Context Free Grammar 理论相通,便于计算机处理
                                                                                           14

 什么是「机器语言」

o 计算机中的自然语言
机器能理解的语言:0/1
程序设计对自然语言的表示:字符串
§ 字符编码方案:ASCII,GB18030,UTF8
§ 数据结构与「类型」
string / char * / wchar_t *
§ 语言特性,编译环境
Python:动态类型
o 问题:为什么网页里会出现乱码?
计算机处理文本,并不像看上去那么直观,涉及到字符编码转换这样「打开黑盒」的知识
                                                                                           15

 斤拷」的故事:文本处理有多麻烦

o Tips:在各种搜索框里输入「锟斤拷」,总能找到东西
o Unicode和老编码体系的转化过程中,有一些字,用Unicode是没法表示的,这就需要 Unicode 引入占位符
U+FFFD REPLACEMENT CHARACTER
o U+FFFD 的 UTF-8编码是0xEFBFBD,重复多次形成:EFBFBDEFBFBDEFBF……
o GBK/CP936/GB2312/GB18030的环境中,一个汉字对应 2 个字节编码,最终的结果就是:「锟斤拷」
锟(0xEFBF),斤(0xBDEF),拷(0xBFBD) 
任何一项技术从理论到落地的系统,都有漫长的打磨过程,才能把系统中的各种「毛刺」(badcase)磨平,给用户平滑顺畅的体验
所以产品迭代中出现「锟斤拷」「UNK」 「???」这样影响用户体验的细节,要有耐心一点点修复,对于注重成品品控的教育行业尤其如此
                                                                                           16

 NLP 技术路线综述(1)

o 规则系统
在NLP领域,规则系统具有强大的威力,正则表达式,模版库,都可以看作规则系统的衍生方案
对于语法纠错,准确率最高的技术方案就是规则库
优势:容易做到较高的准确度,加入模糊规则和推理之后,也能有一定的泛化能力
不足:case 覆盖面相对较小,需要人工干预的量相对较大,或者购买可靠的知识源
                                                                                           17

 

 NLP 技术路线综述(2)

o 统计方法
在NLP领域,统计方法通常与语料库语言学结合,从大量语料中估计某种模式的分布规律
优点:可以结合贝叶斯先验知识,对语料中罕见模式进行平滑
不足:模型参数依赖于结构设计和语料分布,一旦出现训练/测试不匹配,或者模型结构有问题,新测试集上的泛化性能会有损失
                                                                                           18

 

 NLP 技术路线综述(3)

o 深度学习
优势:深度学习是典型的「黑盒」模块,对于图像/语音任务来说,深度学习替代了传统的手工设计特征,可以根据任务需求从原始输入中「自动学习特征」,大大简化了特征选择和设计的工作量
缺点:高度依赖训练数据的分布,如何和「先验知识」进行整合,还是一个开放的问题,黑盒模型也对策略调整带来挑战
                                                                                       19

 NLP 技术路线综述(4)

o 句法分析
和规则一样,句法分析是典型的「形式主义」方法
NLP 中常用的句法分析是「成分句法分析」和「依存文法分析」,前者用来分析各个粒度的句子组成成分(词性,短语,从句,句子),后者用来分析句子中各个词汇之间的语义关系,比如施事者/受事者
o 语言模型
链式分解
二元文法(Bigram)
如何估计各个条件概率?
统计语言模型依赖语料库,属于「经验主义」方法
                                                                                       20

 NLP 入门参考书籍

o O’Reilly:Natural Language Processing with Python
借助 NLTK 工具包介绍 NLP,便于上手体验
o Dan Jurafsky and James H. Martin:Speech and Language Processing, 2nd Edition
o Chris Manning and Hinrich Schütze, Foundations of Statistical Natural Language Processing, 1999.
经典的 NLP 入门书,有点老,Motivation 讲得很好
o 宗成庆:统计自然语言处理(第2版)
中文教材,系统地介绍 NLP 的理论和模型,以及中文信息处理的工作
                                                                                       21

 英语语法纠错技术综述

o 任务分类:GED vs GEC
语法错误检测(Grammatical Error Detection)
§ 只检测语法错误位置,不提示修改意见
语法错误纠正(Grammatical Error Correction)
§ 检测位置 + 给出修改意见(改成什么)
§ 细致的 Feedback 信息可以在产品中进一步设计
o 衡量指标
准确率:系统给的100个修改建议中,有多少是正确的
召回率:文章中存在100个语法错误,有多少能被系统找出来,并给予正确的修改建议
o 技术路线
规则系统,语言模型,深度学习,机器翻译
                                                                                       22

 基于规则系统的语法纠错

o 正则表达式:匹配特定模式
几千条规则,底层是正则引擎,单条规则类似文本编辑器的「Find and Replace」
(O|o)n (a|an) other hand -> $1n the other hand
§ Feedback:「on the other hand」 为固定搭配,建议将 $2 改为 the
o 句法分析:确定词性,划分短语/从句等句法结构
词性:编写与冠词/名词/介词有关的规则
短语:比如检测冠词错误,需要定位名词短语(NP)
从句:句法结构检测,这部分挑战比较大
                                                                                       23

 基于语言模型的语法纠错

o 对于搭配,易混淆词等等功能点,语言模型很有用
N-Gram 语言模型做局部概率预测
语言模型来源:用大批量 Native Corpus 训练得到,可以模拟 Native Speaker 的写作习惯,用水平比较高的 Learner’s Corpus 做Adaptation
§ 语料越多越好,解决数据稀疏问题
o 策略问题:语言模型返回 top N 候选,需要设计筛选策略
可以用固定概率,相对概率,Top1 – Top2 等等
o 部署问题:篇章中 Query 量大,可以用分布式 Key/Value 部署,初始化 Engine 时候批量查询
                                                                                       24
 

 基于深度学习的语法纠错

o 基于 context2vector 模型,做给定语境下中间词的分类
举例:用户输入 a bird is singing on the tree
首先,通过句法分析,匹配 a bird is singing on/PREP the tree 这样的介词搭配模式
然后,通过模型做预测,看模型给出的概率 Top 5 的介词列表各自是什么
最后,通过后置策略(看绝对/相对/差值概率)确定后续是否给出「介词错误」的反馈,以及修改建议
o 这个技术可以用来处理短语搭配,易混淆词等语法现象
                                                                                       25

 基于机器翻译的语法纠错

o 建模思想
之前的纠错路线,都把语法纠错问题分成两步走,第一步检测错误位置,第二步给出修改建议
机器翻译则反其道而行之,输入带语法错误的句子,通过用作文批改平行语料训练的「翻译模型」,直接输出修改后的句子,然后再用序列对齐的算法,计算出哪些地方做了修改
o 优势:输出端有语言模型,可以用 Native Speaker 模型确保找出的整个句子符合良好的语言习惯
o 缺点:机器翻译往往有 reorder 模型,重调序之后的句子可能跟原始句子差异较大
                                                                                       26
 

 模型前置/后置策略的搭配与迭代

o 模型 + 前置/后置策略
Motivation:统计/深度学习模型的计算量比规则引擎大很多,而且不一定能保证输出的准确率
解决方案:引入前置分流型策略,后置后处理策略,定期添加修复 badcase 的策略
o 迭代管理
引入策略之后,需要在批量用户数据上检测该策略的触发率,覆盖率
对于执行类策略,需要测试单条策略的准确率/召回率
每次迭代完模型之后,要检查既有策略是否仍然适用
                                                                                       27

 多模块修改意见融合

o Motivation:在给出所有修改建议之后,每个位置分为「不修改 | 修改意见1 | 修改意见2」几种选择,希望对这些排列组合得到的修改建议中,选取最优路径
举例:Eating fruits are->is good to->for/at you/your health->healthy.  (12条路径)
o 统计语言模型方法:概率高者胜出
用语言模型的链式分解特性计算句子概率,选出概率最高的路径
此时整个句子的处理已经结束,可以引入比较笨重的大语言模型,确保正确性,部署方式可以参照之前提到的分布式 Key/Value 方式,用另一个 service
                                                                                       28
 

 语法纠错 Reference

o Zheng Yuan. 2017. Grammatical error correction in non-native English. PhD thesis
包含语法纠错领域全面的综述,以及利用机器翻译(SMT & NMT)做语法纠错的系统设计方案
o Ted Briscoe:剑桥 ALTA 项目负责人之一,做文本评测,英语语法检测与纠错
o Hwee Tou Ng:新加坡 NUS 教授,做 GEC 时间比较久
                                                                                       29