计算机模型可以改善人机交互,了解儿童如何学习语言
科技

孩子们通过观察环境来学习语言,倾听周围的人,和连接这些点之间他们看到和听到的东西。除此之外,这可以帮助孩子们建立语言的词序,例如主语和动词在句子中的位置。

句法和语义解析器的任务


在计算中,学习语言是句法和语义解析器的任务。这些系统被人类训练句子注释,描述文字背后的结构和含义。

解析器在网络搜索中变得越来越重要,自然语言数据库查询,和语音识别系统如Alexa和Siri。很快,它们也可以用于家庭机器人。

但收集注释数据可以耗时和困难的不太常见的语言。此外,人类并不总是在注释上达成一致,注释本身可能无法准确反映人们的自然语言。

最近的一篇论文中提出了在自然语言处理会议,经验方法麻省理工学院的研究人员描述了一种解析器,它通过观察学习来更接近地模仿儿童的语言习得过程。这可能大大扩展解析器的功能。

学习语言结构,解析器观察标题视频,没有其他信息,和同事与记录对象和动作。给了一个新的句子,解析器可以使用它了解的结构语言来准确地预测一个句子的意思,没有视频。

弱监督的方法


这种“弱监督”方法——意味着它需要有限的培训数据——模仿儿童如何观察周围的世界和学习语言,没有人提供直接上下文。

这种方法可以扩大类型的数据,减少所需的努力训练解析器,根据研究人员。一些直接带注释的句子,例如,可以结合许多加字幕视频,更容易得到,以提高性能。

未来,解析器可以用来改善人类和个人机器人之间的自然交互。一个机器人配备了解析器,例如,可以不断地观察其环境来加强其对口头指令的理解,包括当不完全清楚语法或口语句子。

”人们用不完整的句子互相交谈,继续思考,语言混乱。你想在家里有一个能适应他们特殊说话方式的机器人……而且还能理解他们的意思,”说作者安德烈•不停计算机科学与人工智能实验室(CSAIL)和大脑中心的研究员,思想,和机器在麻省理工学院麦戈文研究所(CBMM)。

更好地了解儿童学习语言


解析器也可以帮助研究人员更好地了解儿童学习语言。”孩子有权获得多余的,从不同形式互补信息,包括听父母和兄弟姐妹谈论世界,以及触觉信息和视觉信息,(帮助他或她)来理解世界,”作者鲍里斯·卡茨说,CSAIL的首席研究科学家和信息实验室小组负责人。

”这是一个神奇的难题,同时处理所有这些感觉输入。这项工作是大的一块让给了解这种学习发生在世界。””

本文的合著者:第一作者坎迪斯•罗斯电气工程与计算机科学系和CSAIL的研究生,CBMM一位研究员;Yevgeni Berzak博士的17岁,脑和认知科学系计算心理语言学组的博士后;和CSAIL的研究生Battushig Myanganbayar。

视觉学习者


为他们的工作,研究人员结合语义解析器与计算机视觉组件培训对象,人,和活动识别的视频。

语义解析器通常在句子注释的代码将意味着每个单词和单词之间的关系。有些被训练在静态图像或计算机模拟。

新的解析器是第一个被训练使用视频,罗斯说。在某种程度上,视频是在减少歧义更有用。如果解析器是不确定,说,一个动作或对象在一个句子,它可以参考视频进行清理。

”有时间组件——对象相互作用和与人——和高级属性你不会看到静态图像或只是在语言,”罗斯说。

研究人员汇编了一组约400个视频,描述了人们的一些行为。包括拾起或放下物体,并走向一个对象。参与者在众包平台Mechanical Turk然后提供1,200个字幕。

“不需要太多数据”


他们拨出840 video-caption例子训练和调优,和360年用于测试。使用基于视觉的解析的一个优势是”你不需要那么多的数据——尽管如果你(的数据),可以扩大规模巨大的数据集,”不停说。

在训练中,研究人员给解析器的目标确定一个句子准确地描述一个给定的视频。他们把视频和解析器匹配的标题。

解析器提取标题的逻辑数学表达式可能的含义。句子,”女人是捡起一个苹果,”例如,可表示为:λxy。女人X,pick_up x y,苹果y。

这些表情和视频输入到计算机视觉算法,被称为“句子追踪,”由Barbu和其他研究人员开发。

看着每个视频帧算法跟踪对象和人们如何改变随着时间的推移,所述确定行为是否打出来。通过这种方式,它决定了如果视频的意思可能是真的。

连接这些点


表示对象最接近匹配的表达式,人类,和行动成为最有可能的标题的意思。

的表达,最初,可能指的是许多不同的对象和操作视频,但是,这组可能的含义充当一个训练信号,帮助解析器不断地挖掘可能的含义。

”假设所有句子必须遵循相同的规则,他们都来自同一种语言,看到很多字幕视频,你可以进一步缩小词义范围,”不停说。

简而言之,解析器通过被动观察学习:确定一个视频的标题是正确的,解析器必须确定标题的最高概率含义。

”唯一的方法是通过这个中间步骤来判断一个视频的句子是否正确,”这句话是什么意思?否则,你不知道如何连接这两个,”不停说。

找出一些中间表示


”我们不给系统这个句子的意思。我们说,有一个句子,一段视频。这句话是真实的视频。找出一些中间表示,使它真正的视频。””

培训为所学的单词生成句法和语义语法。给了一个新的句子,解析器不再需要视频,但利用它的语法和词汇来确定句子结构和意义。

最终,这个过程是学习”就像你是个孩子,”不停说。”你看到你周围的世界,听到人们对学习意义。有一天,我可以给你一个句子,问它是什么意思,即使没有视觉效果,你知道的意思。””

”这项研究正是自然语言处理的正确方向,”Stefanie Tellex说,布朗大学的计算机科学教授他的重点是帮助机器人使用自然语言与人类进行交流。

”解释语言,接地我们需要语义表征,但这不是可行的,让它可以在训练时间。相反,这项工作从加字幕视频捕捉表示成分结构使用上下文。这是我一直在等的报纸!””

在今后的工作中,研究人员感兴趣的是建模的交互,不仅仅是被动观察。”孩子们在学习时与环境互动。我们的想法是有一个模型,也会运用知觉学习,”罗斯说。

//www.bjgzb.com/wp-content/uploads/2018/11/a-aaaakids.jpg//www.bjgzb.com/wp-content/uploads/2018/11/a-aaaakids-300x300.jpg大卫baillie gifford科技人工智能,计算,麻省理工学院机器人
孩子们通过观察环境来学习语言,倾听周围的人,和连接这些点之间他们看到和听到的东西。除此之外,这可以帮助孩子们建立语言的词序,例如主语和动词在句子中的位置,句法和语义分析的任务…