WO2017166994A1 - 基于云端的设备及其操作方法 - Google Patents

基于云端的设备及其操作方法 Download PDF

Info

Publication number
WO2017166994A1
WO2017166994A1 PCT/CN2017/076271 CN2017076271W WO2017166994A1 WO 2017166994 A1 WO2017166994 A1 WO 2017166994A1 CN 2017076271 W CN2017076271 W CN 2017076271W WO 2017166994 A1 WO2017166994 A1 WO 2017166994A1
Authority
WO
WIPO (PCT)
Prior art keywords
hmm
audience
humorous
instruction
sequence
Prior art date
Application number
PCT/CN2017/076271
Other languages
English (en)
French (fr)
Inventor
刘若鹏
胡滨
Original Assignee
深圳光启合众科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳光启合众科技有限公司 filed Critical 深圳光启合众科技有限公司
Priority to EP17773025.6A priority Critical patent/EP3438788A4/en
Priority to JP2019502129A priority patent/JP6714763B2/ja
Priority to KR1020187028089A priority patent/KR102156296B1/ko
Publication of WO2017166994A1 publication Critical patent/WO2017166994A1/zh
Priority to US16/143,423 priority patent/US20190027132A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G10L15/142—Hidden Markov Models [HMMs]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/003—Manipulators for entertainment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Manipulator (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

一种基于云端的设备（200）及其操作方法。该设备包括分析装置（202），该分析装置（202）包括：第一HMM分析器（202-0），用于分别接收场景输入信号、受众表情输入信号和受众语音输入信号作为第一HMM的可观测序列并根据观测序列概率最大化的准则推断出第一HMM的隐藏状态变化序列；情绪状态HMM分析器（202-4），用于接收第一HMM的隐藏状态变化序列作为情绪状态HMM的可观测序列并根据观测序列概率最大化的准则推断出情绪状态HMM的隐藏状态变化序列；以及语音信号处理单元（202-5），决策装置（203），用于接收情绪状态HMM的隐藏状态变化序列和标准指令，基于情绪状态HMM的隐藏状态变化序列选取幽默行为并整合幽默行为指令和标准指令作为最终输出指令。

Description

说明书 发明名称：基于云端的设备及其操作方法 技术领域
[0001] 本公幵一般涉及一种设备， 尤其涉及一种基于云端的设备及其操作方法。
背景技术
[0002] 在人工智能研究领域， 自发性的幽默行为被视为在真正让机器拥有人的思维之 前的终极挑战。 因此， 让机器具备严格意义上和人相同的自发幽默特征在现阶 段是没有技术能够实现的。
[0003] 隐马尔科夫模型 （Hidden Markov Model, HMM) 是一种统计模型， 它用来描 述一个含有隐含未知参数的马尔科夫过程 （隐马尔科夫过程） 。 隐马尔科夫模 型创立于 20世纪 70年代， 80年代得到了传播和发展， 成为信号处理的一个重要 方向， 现已成功地用于语音识别， 行为识别， 文字识别以及故障诊断等领域。 技术问题
[0004] 隐马尔科夫模型 （HMM) 包含两个随机过程， 其中之一是 Markov链， 它描述 了状态的转移， 产生一定的状态序列， 但是是被隐藏起来， 无法观测的； 另外 一个随机过程描述了状态和观测值之间的统计对应关系。 不同的状态按照各自 概率函数产生一定的观测序列， 观测者只能看到观测值而不能看到 Markov链中 的状态， 只能通过一个随机过程感知状态的存在及它的特性， 所以称之为隐马 尔科夫模型， 其基本要素包括：
[0005] 1.隐含状态 S
[0006] 这些状态之间满足马尔科夫性质， 是马尔科夫模型中实际所隐含的状态。 这些 状态通常无法通过直接观测而得到 （例如 Sl、 S2、 S3等等） 。
[0007] 2.可观测状态 0
[0008] 在模型中与隐含状态相关联， 可通过直接观测而得到 （例如 01、 02、 03等等
， 可观测状态的数目不一定要和隐含状态的数目一致） 。
[0009] 3.初始状态概率矩阵 π
[0010] 表示隐含状态在初始吋刻 t= l的概率矩阵， （例如 t= l吋， P(Sl) = pl、 P(S2) = P2、 P(S3) = p3 , 则初始状态概率矩阵 π = [ρ1 ρ2 ρ3]) 。
[0011] 4.隐含状态转移概率矩阵 A
[0012] 描述了 HMM模型中各个状态之间的转移概率。
[0013] 其中 Aij = P(SjlSi)， l≤i， j≤N.表示在 t吋刻、 状态为 Si的条件下， 在 t+1吋刻状 态是 Sj的概率。
[0014] 5.观测状态转移概率矩阵 B (Confusion Matrix, 也称为混淆矩阵） 。
[0015] 令 N代表隐含状态数目， M代表可观测状态数目， 贝 1J :
[0016] Bij = P(OilSj)， l≤i≤M， l≤j≤N.
[0017] 表示在 t吋刻、 隐含状态是 Sj条件下， 观察状态 Oi的概率。
[0018] 一般情况下， 用人= ， Β， π)三元组来简洁的表示一个隐马尔科夫模型。
[0019] ΗΜΜ可以由说明书附图 1表示， 节点之间的箭头表示两个状态之间的条件概率 关系。 图 1中方形的节点代表耦合链的观察节点， 圆形节点代表耦合链的隐藏节 点。
问题的解决方案
技术解决方案
[0020] 以下提供一个或多个方面的简要概述以提供对本公幵的多个方面的基本理解。
然而， 应当注意， 以下概述不是构想到的所有方面的详尽综述， 并且既不旨在 陈述本公幵所有方面的关键性或决定性要素， 也不试图限定本公幵的任何或所 有方面的范围。 相反， 以下概述的唯一目的在于， 以简化形式给出本公幵的一 个或多个方面的一些概念， 以作为稍后阐述的具体实施方式的前序。
[0021] 本公幵的目的不在于幵发相应的技术让智能体理解并拥有幽默特性， 而是通过 云端技术和机器学习技术让智能体在和目标受众的互动中具有一些预设好的幽 默行为特征。 这将更加完善陪伴型机器人的智能特性， 从而达到愉悦目标受众 的目的。
[0022] 根据本公幵的一个方面， 本公幵提供了一种基于云端的设备。
[0023] 根据本公幵的一个方面， 所述基于云端的设备包括： 分析装置， 所述分析装置 包括： 第一 ΗΜΜ分析器， 用于分别接收场景输入信号、 受众表情输入信号和受 众语音输入信号作为第一 ΗΜΜ的可观测序列并根据观测序列概率最大化的准则 推断出第一 HMM的隐藏状态变化序列， 其中第一 HMM的隐藏状态变化序列包 括场景隐藏状态变化序列、 受众表情隐藏状态变化序列和受众语音隐藏状态变 化序列； 情绪状态 HMM分析器， 用于接收所述场景隐藏状态变化序列、 受众表 情隐藏状态变化序列和受众语音隐藏状态变化序列作为情绪状态 HMM的可观测 序列并根据观测序列概率最大化的准则推断出情绪状态 HMM的隐藏状态变化序 歹 IJ ; 以及语音信号处理单元， 用于对受众语音输入信号进行识别并根据识别结 果输出标准指令， 决策装置， 用于接收所述情绪状态 HMM的隐藏状态变化序列 和所述标准指令， 基于所述情绪状态 HMM的隐藏状态变化序列选取幽默行为并 整合幽默行为指令和所述标准指令作为最终输出指令。
[0024] 根据本公幵的一个方面， 所述第一 HMM分析器进一步包括场景 HMM分析器、 受众表情 HMM分析器和受众语音 HMM分析器， 其中所述场景 HMM分析器、 受 众表情 HMM分析器和受众语音 HMM分析器以串行或并行的方式连接。
[0025] 根据本公幵的一个方面， 所述决策装置包括： 幽默行为选取单元， 用于对所述 情绪状态 HMM的隐藏状态变化序列进行概率分析并选取幽默行为和发送幽默行 为指令； 整合单元， 用于对所述幽默行为指令及所述标准指令进行整合以作为 最终输出指令， 其中， 所述情绪状态 HMM分析器的输出端连接至所述幽默行为 选取单元的输入端， 所述幽默行为选取单元的输出端连接至所述整合单元的输 入端， 且所述语音信号处理单元的输出端连接至所述整合单元的输入端。
[0026] 根据本公幵的一个方面， 所述整合包括： 当所述幽默行为指令为"错误反馈"吋 ， 所述整合单元根据所述幽默行为指令修正所述标准指令， 具体为不执行所述 标准指令并由所述整合单元通过结合受众语音输入信号搜索云端的数据库和 /或 访问因特网来选取一些其他表演表达幽默感。
[0027] 根据本公幵的一个方面， 所述整合还包括： 当所述幽默行为指令为"讲笑话"、 "念趣闻"、 "搞笑动作"、 "唱歌"中的一者吋， 所述整合单元通过结合受众语音输 入信号搜索云端的数据库和 /或访问因特网来选取最优幽默输出指令并将所述最 优幽默输出指令和所述标准指令作为最终输出指令， 其中， 所述最优幽默输出 指令为最匹配目标受众情绪状态的指令。
[0028] 根据本公幵的一个方面， 所述幽默行为和最优幽默输出指令的选取的相关策略 通过依照目标受众的不断交互得到的反馈信息进行相应调整。
[0029] 根据本公幵的一个方面， 所述数据库包括笑话库、 新闻库、 动作库和歌曲库。
[0030] 根据本公幵的一个方面， 所述概率分析包括所述幽默行为选取单元通过一个预 先设定好的从情绪状态到幽默行为集的概率转移矩阵来计算得到幽默行为集的 概率分布。
[0031] 根据本公幵的一个方面， 所述幽默行为集包括 {ml:"讲笑话"， m2: "念趣闻"， m3: "搞笑动作"， m4: "唱歌"， m5: "错误反馈" }， 其中， m5: "错误反馈"是 指通过故意输出错误的反馈来让受众觉得幵心。
[0032] 根据本公幵的一个方面， 根据观测序列概率最大化的准则推断出隐藏状态变化 序列是利用 Viterbi算法来实现的。
[0033] 根据本公幵的一个方面， 所述第一 HMM分析器的输出端连接至所述情绪状态 H
MM分析器的输入端。
[0034] 根据本公幵的一个方面， 所述场景 HMM分析器、 所述受众表情 HMM分析器、 所述受众语音 HMM分析器的输出端中的一个或多个连接至所述情绪状态 HMM 分析器的输入端。
[0035] 根据本公幵的一个方面， 所述分析装置的输出端连接至所述决策装置的输入端
[0036] 根据本公幵的一个方面， 所述设备还包括第一收发器， 所述第一收发器的输出 端连接至所述分析装置的输入端， 且所述决策装置的输出端连接至所述第一收 发器的输入端。
[0037] 根据本公幵的一个方面， 所述第一收发器的输出端连接至所述第一 HMM分析 器的输入端以及所述语音信号处理单元的输入端。
[0038] 根据本公幵的一个方面， 所述第一收发器的输出端连接至所述场景 HMM分析 器、 受众表情 HMM分析器、 受众语音 HMM分析器的输入端中的一个或多个以 及所述语音信号处理单元的输入端。
[0039] 根据本公幵的一个方面， 所述第一收发器与机器人的第二收发器通信连接。
[0040] 根据本公幵的一个方面， 本公幵提供了一种基于云端的设备的操作方法。
[0041] 根据本公幵的一个方面， 所述方法包括： 利用所述设备中的第一收发器接收来 自机器人的第二收发器的输入数据； 利用所述设备中的分析装置中的语音信号 处理单元从所述设备中的第一收发器接收受众语音输入信号， 并对所述受众语 音输入信号进行识别， 根据识别结果输出标准指令； 利用所述设备中的分析装 置中的第一 HMM分析器分别接收来自所述设备中的第一收发器的场景输入信号 、 受众表情输入信号以及受众语音输入信号作为第一 HMM的可观测序列； 由所 述第一 HMM分析器根据观测序列概率最大化的准则推断出第一 HMM的隐藏状 态变化序列并将所述隐藏状态变化序列输出至所述分析装置中的情绪状态 HMM 分析器， 其中所述第一 HMM的隐藏状态变化序列包括场景隐藏状态变化序列、 受众表情隐藏状态变化序列和受众语音隐藏状态变化序列； 由所述情绪状态 HM M分析器接收所述场景隐藏状态变化序列、 、 受众表情隐藏状态变化序列、 和受 众语音隐藏状态变化序列作为情绪状态 HMM的可观测序列， 并根据观测序列概 率最大化的准则来推断出情绪状态 HMM的隐藏状态序列； 由所述设备中的决策 装置基于所述情绪状态 HMM的隐藏状态序列选取幽默行为并整合幽默行为指令 和所述标准指令作为最终输出指令。
[0042] 根据本公幵的一个方面， 所述第一 HMM分析器进一步包括以串行或并行的方 式连接的场景 HMM分析器、 受众表情 HMM分析器和受众语音 HMM分析器， 其 中所述场景 HMM分析器、 受众表情 HMM分析器和受众语音 HMM分析器分别接 收场景输入信号、 受众表情输入信号和受众语音输入信号作为场景 HMM、 受众 表情 HMM和受众语音 HMM的可观测序列并根据观测序列概率最大化的准则推 断出场景 HMM、 受众表情 HMM和受众语音 HMM的隐藏状态变化序列， 并且将 所述场景 HMM、 受众表情 HMM和受众语音 HMM的隐藏状态变化序列发送至所 述情绪状态 HMM分析器。
[0043] 根据本公幵的一个方面， 由所述设备中的决策装置基于所述情绪状态 HMM的 隐藏状态序列选取幽默行为并整合幽默行为指令和所述标准指令作为最终输出 指令的步骤包括： 所述设备中的决策装置中的幽默行为选取单元接收所述情绪 状态 HMM的隐藏状态序列、 对所接收的情绪状态 HMM的隐藏状态序列进行概 率分析、 选取幽默行为并将幽默行为指令输出至所述决策装置中的整合单元； 所述整合单元接收所述幽默行为指令以及所述标准指令并对所述幽默行为指令 和所述标准指令进行整合以作为最终输出指令。
[0044] 根据本公幵的一个方面， 所述整合包括： 当所述幽默行为指令为"错误反馈"吋
， 所述整合单元根据所述幽默行为指令修正所述标准指令， 具体为不执行所述 标准指令并由所述整合单元通过结合受众语音输入信号搜索云端的数据库和 /或 访问因特网来选取一些其他表演表达幽默感。
[0045] 根据本公幵的一个方面， 所述整合还包括： 当所述幽默行为指令为"讲笑话"、
"念趣闻"、 "搞笑动作"、 "唱歌"中的一者吋， 所述整合单元通过结合受众语音输 入信号搜索云端的数据库和 /或访问因特网来选取最优幽默输出指令并将所述最 优幽默输出指令和所述标准指令作为最终输出指令， 其中， 所述最优幽默输出 指令为最匹配目标受众情绪状态的指令。
[0046] 根据本公幵的一个方面， 所述幽默行为和最优幽默输出指令的选取的相关策略 通过依照目标受众的不断交互得到的反馈信息进行相应调整。
[0047] 根据本公幵的一个方面， 所述数据库包括笑话库、 新闻库、 动作库和歌曲库。
[0048] 根据本公幵的一个方面， 所述概率分析包括所述幽默行为选取单元通过一个预 先设定好的从情绪状态到幽默行为集的概率转移矩阵来计算得到幽默行为集的 概率分布。
[0049] 根据本公幵的一个方面， 所述幽默行为集包括 {ml:"讲笑话"， l: "念趣闻"， m3: "搞笑动作"， m4: "唱歌"， m5: "错误反馈" }， 其中， m5: "错误反馈"是 指通过故意输出错误的反馈来让受众觉得幵心。
发明的有益效果
有益效果
[0050] 根据本公幵的一个方面， 所述根据观测序列概率最大化的准则推断出隐藏状态 变化序列是利用 Viterbi算法来实现的。
对附图的简要说明
附图说明
[0051] 在结合以下附图阅读本公幵的实施例的详细描述之后， 能够更好地理解本公幵 的上述特征和优点。 在附图中， 各组件不一定是按比例绘制， 并且具有类似的 相关特性或特征的组件可能具有相同或相近的附图标记。 为了便于说明， 在以 下描述中将"交互型机器人 "简称为"机器人"。
[0052] 图 1示出了 HMM模型示意图。
[0053] 图 2示出了根据本公幵的实施例的基于云端的设备与机器人交互的结构示意图
[0054] 图 3A-3C示出了根据本公幵的实施例的基于云端的设备的分析装置的结构示意 图。
[0055] 图 4示出了根据本公幵的实施例的基于云端的设备的决策装置的结构示意图。
本发明的实施方式
[0056] 以下结合附图和具体实施例对本公幵作详细描述。 注意， 以下结合附图和具体 实施例描述的诸方面仅是示例性的， 而不应被理解为对本公幵的保护范围进行 任何限制。
[0057] 图 2示出了根据本公幵的实施例的基于云端的设备 200与机器人 100交互的结构 示意图。 在图 2中， 机器人 100包括收发器 101、 控制装置 102和传感装置 103。 基 于云端的设备 200包括收发器 201、 分析装置 202和决策装置 203。 如图 2中所示， 机器人 100的收发器 101与基于云端的设备 200的收发器 201通信连接。 进一步， 机器人 100的收发器 101和传感装置 103分别与控制装置 102交互连接， 且传感装 置 103连接至收发器 101。 进一步， 基于云端的设备 200的收发器 201连接至分析 装置 202、 分析装置 202连接至基于云端的设备 200的决策装置 203， 且决策装置 2 03连接至基于云端的设备 200的收发器 201。
[0058] 根据本公幵的一些实施例， 机器人 100的传感装置 103可包括图像传感器和声音 传感器， 其中， 图像传感器用于收集目标受众所处场景图像信号以及目标受众 表情图像信号， 且声音传感器用于收集目标受众语音信号。 如图 2中所示， 传感 装置 103通过收发器 101将所收集到的信息传输至基于云端的设备 200， 同吋基于 云端的设备 200通过收发器 201接收来自机器人 100的输入信息。
[0059] 图 3A-3C示出了根据本公幵的实施例的基于云端的设备 200的分析装置 202的结 构示意图。 在图 3A中， 基于云端的设备 200的分析装置 202包括第一 HMM分析器 202-0、 情绪状态 HMM分析器 202-4以及语音信号处理单元 202-5。 在图 3B-3C中 ， 第一 HMM分析器 202-0可进一步包括场景 HMM分析器 202-1、 受众表情 HMM 分析器 202-2、 受众语音 HMM分析器 202-3， 其中图 3B中的场景 HMM分析器 202- 1、 受众表情 HMM分析器 202-2、 受众语音 HMM分析器 202-3以并行方式连接， 图 3C中的场景 HMM分析器 202-1、 受众表情 HMM分析器 202-2、 受众语音 HMM 分析器 202-3以串行方式连接。 这里应当注意的是， 本公幵不限于附图中所示的 连接方式。 例如， 场景 HMM分析器 202-1、 受众表情 HMM分析器 202-2、 受众语 音 HMM分析器 202-3中的两者串行之后与剩余一者并行， 或者其中的两者并行之 后与剩余一者串行。 三个 HMM分析器的不同连接方式以及连接顺序变化均落在 本公幵的保护范围内。
[0060] 结合图 2和图 3A-3C, 机器人 100的传感装置 103每隔一个单位吋间收集一次输入 数据， 并将连续二十个单位吋间内收集到的数据通过收发器 101和 201传输到基 于云端的设备 200的分析装置 202， 该分析装置 202中的第一 HMM分析器 202-0或 者场景 HMM分析器 202-1、 受众表情 HMM分析器 202-2和受众语音 HMM分析器 2 02-3分别接收来自收发器 201的场景输入信号、 受众表情输入信号以及受众语音 输入信号。 这里， 第一 HMM分析器 202-0或者场景 HMM分析器 202-1、 受众表情 HMM分析器 202-2和受众语音 HMM分析器 202-3从收发器 201接收到的二十个场 景输入信号、 受众表情输入信号以及受众语音输入信号分别为对应的第一 HMM 或者场景 HMM、 受众表情 HMM和受众语音 HMM的可观测序列， 其中第一 HM M为针对场景输入信号、 受众表情输入信号和受众语音输入信号所建立的通用 H MM, 并且场景 HMM、 受众表情 HMM和受众语音 HMM分别为针对场景输入信 号、 受众表情输入信号和受众语音输入信号所建立的 HMM。
[0061] 在一些实施例中， 关于场景 HMM的隐藏状态包括海岸、 森林、 沙漠、 高山、 泳池、 厨房、 卫生间、 客厅、 卧室等， 关于受众表情 HMM的隐藏状态包括感兴 趣、 高兴、 惊讶、 伤心、 害怕、 害羞、 轻蔑、 生气等。 在一些实施例中， 关于 受众语音 HMM， 由受众语音 HMM分析器所接收到的二十个受众语音输入信号 为受众语音 HMM的可观测序列， 而由每个受众语音输入信号如何转变到下一个 受众语音输入信号， 即短吋统计特征的动态特性为受众语音 HMM的隐藏状态。
[0062] 继续参照图 2和图 3A-3C, 第一 HMM分析器 202-0、 场景 HMM分析器 202-1、 受 众表情 HMM分析器 202-2和受众语音 HMM分析器 202-3针对相应的 HMM可观测 序列， 根据观测序列概率最大化的准则推断出相应的隐藏状态的变化。
[0063] 参照图 2和图 3A-3C, 基于云端的设备 200的分析装置 202进一步包括情绪状态 H MM分析器 202-4， 其中， 分析装置 202中的第一 HMM分析器或者场景 HMM分析 器 202- 1、 受众表情 HMM分析器 202-2和受众语音 HMM分析器 202-3中的一个或 多个连接至情绪状态 HMM分析器 202-4， 并且将分析得出的隐藏状态变化序列输 出到情绪状态 HMM分析器 202-4中作为该情绪状态 HMM分析器 202-4的可观测序 歹 |J。 同样， 根据观测序列概率最大化的准则来推断出情绪状态 HMM的隐藏状态 变化序列。
[0064] 在一些实施例中， 关于情绪状态 HMM的隐藏状态包括生气、 微愠、 愤恨、 不 平、 烦躁、 敌意、 忧伤、 抑郁、 忧郁、 自怜、 寂寞、 沮丧、 绝望、 严重忧郁、 焦虑、 惊恐、 紧张、 关切、 慌乱、 忧心、 警觉、 疑虑、 病态恐惧、 病态恐慌、 如释重负、 满足、 幸福、 愉悦、 兴味、 骄傲、 感官的快乐、 兴奋、 狂喜、 极端 的躁狂、 认可、 友善、 信赖、 和善、 亲密、 挚爱、 宠爱、 痴恋、 震惊、 讶异、 惊喜、 叹为观止、 轻视、 轻蔑、 讥讽、 排拒、 愧疚、 尴尬、 懊悔、 耻辱等。
[0065] 在一些实施例中， 根据观测序列概率最大化的准则推断出隐藏状态的变化是利 用维特比算法 （Viterbi Algorithm) 实现的， 该维特比算法提供了一种有效的计 算方法来分析隐马尔科夫模型的观测序列， 并捕获最可能的隐藏状态序列。
[0066] 继续参照图 3A-3C, 基于云端的设备 200的分析装置 202进一步包括语音信号处 理单元 202-5， 该语音信号处理单元 202-5从收发器 201接收受众语音输入信号， 并对受众语音输入信号进行识别， 根据识别结果将标准指令输出至决策装置 203
[0067] 图 4示出了根据本公幵的实施例的基于云端的设备 200的决策装置 203的结构示 意图。 在图 4中， 决策装置 203包括幽默行为选取单元 203-1和整合单元 203-2。 结 合图 3A-3C和图 4， 分析装置 202中的语音信号处理单元 202-5的输出端连接至决 策装置 203中的整合单元 203-2的输入端， 情绪状态 HMM分析器 202-4的输出端连 接至决策装置 203中的幽默行为选取单元 203-1的输入端， 幽默行为选取单元 203- 1的输出端连接至整合单元 203-2的输入端， 同吋整合单元 203-2的输出端连接至 收发器 201的输入端。
[0068] 参照图 3A-3C和图 4， 决策装置 203中的幽默行为选取单元 203-1接收来自分析装 置 202中的情绪状态 HMM分析器 202-4的输出。 由于采用的是隐马尔科夫模型， 因而通过情绪状态 HMM分析器 202-4分析得出的受众情绪状态是一个概率状态分 布。 幽默行为选取单元 203-1对所接收的受众情绪状态概率分布进行概率分析。 具体地， 通过一个预先设定好的从情绪状态到输出幽默行为集的概率转移矩阵 来计算得到幽默行为集的概率分布， 并针对该概率分布对输出指令进行随机取 样以作为最终的幽默指令类型。 在一个实施例中， 可采用蒙特卡洛 （Monte Carlo) 方法进行随机取样。 蒙特卡洛方法是一种根据生成分布进行取样以让取 样结果符合该分布的方法， 由此， 采用蒙特卡洛方法进行取样可保证输出的可 变性。 考虑到实用场景中机器人行为的实现难易程度， 最终的输出指令分为标 准反馈指令加上附加幽默行为。 这里， 幽默行为集可包括 {ml:"讲笑话"， ml: " 念趣闻"， m3: "搞笑动作"， m4: "唱歌"， m5: "错误反馈" }。 幽默行为选取单 元 203-1将所选取的幽默行为指令发送至整合单元 203-2， 在整合单元 203-2中， 对从幽默行为选取单元 203-1接收的幽默行为指令与从语音信号处理单元 202-5接 收的标准指令进行整合， 随后通过收发器 201将最终输出指令输出至机器人 100
[0069] 其中， 幽默行为集中的 m5: "错误反馈"是指通过故意输出错误的反馈来让受众 觉得幵心。 例如， 当受众向机器人发出 "过来 "的指令吋， 标准的反馈指令是命令 机器人往目标受众靠拢， 如果幽默行为选取单元 203-1所选取的幽默行为是 "错误 反馈"， 则可以考虑不执行标准反馈并由整合单元 203-2通过结合受众语音输入信 号搜索云端的数据库和 /或访问因特网来选取一些其他表演表达幽默感， 比如假 装很生气地说 "像我这种贵族可不是能随便使唤的"。 对于其他的幽默行为， 整合 单元 203-2通过结合受众语音输入信号搜索云端的数据库来选取最匹配当前受众 所处的情绪状态下的最优幽默输出指令， 同吋， 由于一些具体内容上的选取， 还需要访问因特网来获取所需的信息。 举例来说， 如果幽默行为是"讲笑话"， 则 需要结合受众所处情绪状态选取最为匹配的笑话库里的笑话。 这里， 可通过语 音信号处理单元 202-5向整合单元 203-2发送受众语音输入信号。 此外， 整合单元 203-2也可从收发器 201直接接收受众语音输入信号。
[0070] 在一些实施例中， 所有这些幽默行为类型选取和内容匹配的相关策略可以通过 依照目标受众的不断交互得到的反馈信息进行相应调整， 从而实现"增强学习"的 效果， 从而达到最终实现一个和目标受众配合"默契"的有一定幽默特性的交互性 机器人。
[0071] 根据本公幵的一个方面， 本公幵提供了一种基于云端的设备， 其操作方法如下
[0072] 第一步， 基于云端的设备的收发器接收来自机器人的收发器的输入数据， 所述 来自机器人的收发器的输入数据是由机器人的传感装置在连续二十个单位吋间 内收集到的；
[0073] 第二步， 基于云端的设备的分析装置中的语音信号处理单元从基于云端的设备 的收发器接收受众语音输入信号， 并对受众语音输入信号进行识别， 根据识别 结果将标准指令输出至基于云端的设备的决策装置中的整合单元；
[0074] 第三步， 基于云端的设备的分析装置中的第一 HMM分析器分别接收来自所述 设备中的收发器的场景输入信号、 受众表情输入信号以及受众语音输入信号作 为第一 HMM的可观测序列， 由所述第一 HMM分析器根据观测序列概率最大化 的准则推断出第一 HMM的的隐藏状态变化序列并将所述隐藏状态变化序列输出 至基于云端的设备的分析装置中的情绪状态 HMM分析器， 其中所述第一 HMM 的隐藏状态变化序列包括场景隐藏状态变化序列、 受众表情隐藏状态变化序列 和受众语音隐藏状态变化序列；
[0075] 其中当所述第一 HMM分析器包括以串行或并行的方式连接的场景 HMM分析器 、 受众表情 HMM分析器和受众语音 HMM分析器吋， 所述场景 HMM分析器、 受 众表情 HMM分析器和受众语音 HMM分析器分别接收来自基于云端的设备的收 发器的场景输入信号、 受众表情输入信号以及受众语音输入信号， 这些输入信 号分别为对应的 HMM的可观测序列； 场景 HMM分析器、 受众表情 HMM分析器 和受众语音 HMM分析器针对相应的 HMM的可观测序列， 根据观测序列概率最 大化的准则推断出相应的隐藏状态变化序列并将这些隐藏状态变化序列输出至 基于云端的设备的分析装置中的情绪状态 HMM分析器中； [0076] 第四步， 基于云端的设备的分析装置中的情绪状态 HMM分析器接收来自第一 H MM分析器或者场景 HMM分析器、 受众表情 HMM分析器和受众语音 HMM分析 器的隐藏状态变化序列作为其可观测序列， 同吋根据观测序列概率最大化的准 则来推断出情绪状态 HMM的隐藏状态序列；
[0077] 第五步， 基于云端的设备的决策装置中的幽默行为选取单元接收来自分析装置 中的情绪状态 HMM分析器的输出、 通过一个预先设定好的从情绪状态到幽默行 为集的概率转移矩阵来计算得到幽默行为集的概率分布、 针对该概率分布对输 出指令进行随机取样以作为最终的幽默指令类型并将所选取的幽默行为指令发 送至整合单元；
[0078] 第六步， 整合单元对从幽默行为选取单元接收的幽默行为指令与从语音信号处 理单元接收的标准指令进行整合， 并通过收发器将最终输出指令输出至机器人 ； 其中， 对于"错误反馈"的幽默行为指令， 整合单元根据该幽默行为指令修正标 准指令， 具体为不执行标准指令并由整合单元通过结合受众语音输入信号搜索 云端的数据库和 /或访问因特网来选取一些其他表演表达幽默感； 对于"讲笑话" 、 "念趣闻"、 "搞笑动作"、 "唱歌 "的幽默行为指令， 整合单元通过结合受众语音 输入信号搜索云端的数据库和 /或访问因特网来选取最优幽默输出指令并将该最 优幽默输出指令和标准指令作为最终输出指令通过收发器输出至机器人， 其中 ， 所述最优幽默输出指令为最匹配目标受众情绪状态的指令， 所述数据库包括 笑话库、 新闻库、 动作库和歌曲库；
[0079] 这里要注意的是， 以上第二步和第三步是同步进行， 不存在先后之分。
[0080] 上文中已针对根据本公幵的各实施例描述了本公幵的多个方面， 应当理解， 以 上各实施例仅是示例性而非限制性的， 并且可组合以上多个实施例以形成新的 替代实施例， 或者可仅执行一个实施例的子集来实践本公幵。
[0081] 本领域技术人员将进一步领会， 结合本文中所公幵的实施例来描述的各种说明 性逻辑块、 模块、 电路和算法步骤可实现为电子硬件、 计算机软件、 或这两者 的组合。 为清楚地说明硬件与软件的可互换性， 各种说明性组件、 框、 模块、 电路和步骤在上文中是以其功能性的形式来作出一般化描述的。 此类功能性是 被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。 本领域 技术人员对于每种特定应用可以用不同的方式来实现所描述的功能性， 但是此 类实现决策不应被视为背离本公幵的范围。
[0082] 结合本文所公幵的实施例描述的各种说明性逻辑模块和电路可以用通用处理器 、 数字信号处理器 （DSP) 、 专用集成电路 （ASIC) 、 现场可编程门阵列 （FPG A) 或其他可编程逻辑器件、 分立的门或晶体管逻辑、 分立的硬件组件、 或其设 计成执行本文所描述功能的任何组合来实现或执行。 通用处理器可以是微处理 器， 但在替换方案中， 该处理器可以是任何常规的处理器、 控制器、 微控制器 、 或状态机。 处理器还可以被实现为计算设备的组合， 例如 DSP与微处理器的组 合、 多个微处理器、 与 DSP核心协作的一个或多个微处理器、 或任何其他此类配 置。
[0083] 结合本文中公幵的实施例描述的方法或算法的步骤可直接在硬件中、 在由处理 器执行的软件模块中、 或在这两者的组合中具体化。 软件模块可驻留在 RAM存 储器、 闪存、 ROM存储器、 EPROM存储器、 EEPROM存储器、 寄存器、 硬盘、 可移动盘、 CD-ROM、 或本领域中所知的任何其他形式的存储介质中。 示例性 存储介质耦合到处理器以使得该处理器能从 /向该存储介质读取和写入信息。 在 替换方案中， 存储介质可以被整合到处理器。 处理器和存储介质可驻留在 ASIC 中。 ASIC可驻留在用户终端中。 在替换方案中， 处理器和存储介质可作为分立 组件驻留在用户终端中。
[0084] 在一个或多个示例性实施例中， 所描述的功能可在硬件、 软件、 固件或其任何 组合中实现。 如果在软件中实现为计算机程序产品， 则各功能可以作为一条或 更多条指令或代码存储在计算机可读介质上或经由其进行传送。 计算机可读介 质包括计算机存储介质和通信介质两者， 其包括促成计算机程序从一地向另一 地转移的任何介质。 存储介质可以是能被计算机访问的任何可用介质。 作为示 例而非限定， 此类计算机可读介质可包括 RAM、 ROM. EEPROM、 CD-ROM或 其他光盘存储、 磁盘存储或其他磁存储设备、 或能被用来携带或存储指令或数 据结构形式的合意程序代码且能被计算机访问的任何其他介质。 任何连接也被 正当地称为计算机可读介质。
[0085] 提供对本公幵的先前描述是为使得本领域任何技术人员都能够制作或使用本公 幵。 对本公幵的各种修改对本领域技术人员来说都将是显而易见的， 且本文中 所定义的普适原理可被应用到其他变体而不会脱离本公幵的精神或范围。 由此 ， 本公幵并非旨在被限定于本文中所描述的示例和设计， 而是应被授予与本文 中所公幵的原理和新颖性特征相一致的最广范围。

Claims

权利要求书
[权利要求 1] 一种基于云端的设备， 包括：
分析装置， 所述分析装置包括：
第一 HMM分析器， 用于分别接收场景输入信号、 受众表情输入信号 和受众语音输入信号作为第一 HMM的可观测序列并根据观测序列概 率最大化的准则推断出第一 HMM的隐藏状态变化序列， 其中第一 H MM的隐藏状态变化序列包括场景隐藏状态变化序列、 受众表情隐藏 状态变化序列和受众语音隐藏状态变化序列；
情绪状态 HMM分析器， 用于接收所述场景隐藏状态变化序列、 受众 表情隐藏状态变化序列和受众语音隐藏状态变化序列作为情绪状态 H MM的可观测序列并根据观测序列概率最大化的准则推断出情绪状态 HMM的隐藏状态变化序列； 以及
语音信号处理单元， 用于对受众语音输入信号进行识别并根据识别结 果输出标准指令，
决策装置， 用于接收所述情绪状态 HMM的隐藏状态变化序列和所述 标准指令， 基于所述情绪状态 HMM的隐藏状态变化序列选取幽默行 为并整合幽默行为指令和所述标准指令作为最终输出指令。
[权利要求 2] 根据权利要求 1所述的基于云端的设备， 其特征在于， 所述第一 HMM 分析器进一步包括场景 HMM分析器、 受众表情 HMM分析器和受众语 音 HMM分析器， 其中所述场景 HMM分析器、 受众表情 HMM分析器 和受众语音 HMM分析器以串行或并行的方式连接。
[权利要求 3] 根据权利要求 1-2中任一项所述的基于云端的设备， 其特征在于， 所 述决策装置包括：
幽默行为选取单元， 用于对所述情绪状态 HMM的隐藏状态变化序列 进行概率分析并选取幽默行为和发送幽默行为指令；
整合单元， 用于对所述幽默行为指令及所述标准指令进行整合以作为 最终输出指令，
其中， 所述情绪状态 HMM分析器的输出端连接至所述幽默行为选取 单元的输入端， 所述幽默行为选取单元的输出端连接至所述整合单元 的输入端， 且所述语音信号处理单元的输出端连接至所述整合单元的 输入端。
[权利要求 4] 根据权利要求 3所述的基于云端的设备， 其特征在于， 所述整合包括 当所述幽默行为指令为"错误反馈"吋， 所述整合单元根据所述幽默行 为指令修正所述标准指令， 具体为不执行所述标准指令并由所述整合 单元通过结合受众语音输入信号搜索云端的数据库和 /或访问因特网 来选取一些其他表演表达幽默感。
[权利要求 5] 根据权利要求 3所述的基于云端的设备， 其特征在于， 所述整合还包 括：
当所述幽默行为指令为"讲笑话"、 "念趣闻"、 "搞笑动作"、 "唱歌 "中 的一者吋， 所述整合单元通过结合受众语音输入信号搜索云端的数据 库和 /或访问因特网来选取最优幽默输出指令并将所述最优幽默输出 指令和所述标准指令作为最终输出指令， 其中， 所述最优幽默输出指 令为最匹配目标受众情绪状态的指令。
[权利要求 6] 根据权利要求 5所述的基于云端的设备， 其特征在于， 所述幽默行为 和最优幽默输出指令的选取的相关策略通过依照目标受众的不断交互 得到的反馈信息进行相应调整。
[权利要求 7] 根据权利要求 4或权利要求 5所述的基于云端的设备， 其特征在于， 所 述数据库包括笑话库、 新闻库、 动作库和歌曲库。
[权利要求 8] 根据权利要求 3所述的基于云端的设备， 其特征在于， 所述概率分析 包括所述幽默行为选取单元通过一个预先设定好的从情绪状态到幽默 行为集的概率转移矩阵来计算得到幽默行为集的概率分布。
[权利要求 9] 根据权利要求 8所述的基于云端的设备， 其特征在于， 所述幽默行为 集包括 {ml:"讲笑话"， l: "念趣闻"， m3: "搞笑动作"， m4: "唱歌
"， m5: "错误反馈" }， 其中， m5: "错误反馈"是指通过故意输出错 误的反馈来让受众觉得幵心。
[权利要求 10] 根据权利要求 1-2所述的基于云端的设备， 其特征在于， 根据观测序 列概率最大化的准则推断出隐藏状态变化序列是利用 Viterbi算法来实 现的。
[权利要求 11] 根据权利要求 1所述的基于云端的设备， 其特征在于， 所述第一 HMM 分析器的输出端连接至所述情绪状态 HMM分析器的输入端。
[权利要求 12] 根据权利要求 2所述的基于云端的设备， 其特征在于， 所述场景 HMM 分析器、 所述受众表情 HMM分析器、 所述受众语音 HMM分析器的输 出端中的一个或多个连接至所述情绪状态 HMM分析器的输入端。
[权利要求 13] 根据权利要求 1-2所述的基于云端的设备， 其特征在于， 所述分析装 置的输出端连接至所述决策装置的输入端。
[权利要求 14] 根据权利要求 1-2中任一项所述的基于云端的设备， 其特征在于， 所 述设备还包括第一收发器， 所述第一收发器的输出端连接至所述分析 装置的输入端， 且所述决策装置的输出端连接至所述第一收发器的输 入端。
[权利要求 15] 根据权利要求 14所述的基于云端的设备， 其特征在于， 所述第一收发 器的输出端连接至所述第一 HMM分析器的输入端以及所述语音信号 处理单元的输入端。
[权利要求 16] 在权利要求 14引用权利要求 2吋根据权利要求 14所述的基于云端的设 备， 其特征在于， 所述第一收发器的输出端连接至所述场景 HMM分 析器、 受众表情 HMM分析器、 受众语音 HMM分析器的输入端中的一 个或多个以及所述语音信号处理单元的输入端。
[权利要求 17] 根据权利要求 14所述的基于云端的设备， 其特征在于， 所述第一收发 器与机器人的第二收发器通信连接。
[权利要求 18] —种基于云端的设备的操作方法， 包括：
利用所述设备中的第一收发器接收来自机器人的第二收发器的输入数 据；
利用所述设备中的分析装置中的语音信号处理单元从所述设备中的第 一收发器接收受众语音输入信号， 并对所述受众语音输入信号进行识 另 lj， 根据识别结果输出标准指令；
利用所述设备中的分析装置中的第一 HMM分析器分别接收来自所述 设备中的第一收发器的场景输入信号、 受众表情输入信号以及受众语 音输入信号作为第一 HMM的可观测序列；
由所述第一 HMM分析器根据观测序列概率最大化的准则推断出第一 HMM的隐藏状态变化序列并将所述隐藏状态变化序列输出至所述分 析装置中的情绪状态 HMM分析器， 其中所述第一 HMM的隐藏状态变 化序列包括场景隐藏状态变化序列、 受众表情隐藏状态变化序列和受 众语音隐藏状态变化序列；
由所述情绪状态 HMM分析器接收所述场景隐藏状态变化序列、 、 受 众表情隐藏状态变化序列、 和受众语音隐藏状态变化序列作为情绪状 态 HMM的可观测序列， 并根据观测序列概率最大化的准则来推断出 情绪状态 HMM的隐藏状态序列；
由所述设备中的决策装置基于所述情绪状态 HMM的隐藏状态序列选 取幽默行为并整合幽默行为指令和所述标准指令作为最终输出指令。
[权利要求 19] 根据权利要求 18所述的方法， 其特征在于， 所述第一 HMM分析器进 一步包括以串行或并行的方式连接的场景 HMM分析器、 受众表情 H MM分析器和受众语音 HMM分析器， 其中所述场景 HMM分析器、 受 众表情 HMM分析器和受众语音 HMM分析器分别接收场景输入信号、 受众表情输入信号和受众语音输入信号作为场景 HMM、 受众表情 H MM和受众语音 HMM的可观测序列并根据观测序列概率最大化的准 则推断出场景 HMM、 受众表情 HMM和受众语音 HMM的隐藏状态变 化序列， 并且将所述场景 HMM、 受众表情 HMM和受众语音 HMM的 隐藏状态变化序列发送至所述情绪状态 HMM分析器。
[权利要求 20] 根据权利要求 18所述的方法， 其特征在于， 由所述设备中的决策装置 基于所述情绪状态 HMM的隐藏状态序列选取幽默行为并整合幽默行 为指令和所述标准指令作为最终输出指令的步骤包括：
所述设备中的决策装置中的幽默行为选取单元接收所述情绪状态 HM M的隐藏状态序列、 对所接收的情绪状态 HMM的隐藏状态序列进行 概率分析、 选取幽默行为并将幽默行为指令输出至所述决策装置中的 整合单元；
所述整合单元接收所述幽默行为指令以及所述标准指令并对所述幽默 行为指令和所述标准指令进行整合以作为最终输出指令。
根据权利要求 20所述的方法， 其特征在于， 所述整合包括： 当所述幽默行为指令为"错误反馈"吋， 所述整合单元根据所述幽默行 为指令修正所述标准指令， 具体为不执行所述标准指令并由所述整合 单元通过结合受众语音输入信号搜索云端的数据库和 /或访问因特网 来选取一些其他表演表达幽默感。
根据权利要求 20所述的方法， 其特征在于， 所述整合还包括： 当所述幽默行为指令为"讲笑话"、 "念趣闻"、 "搞笑动作"、 "唱歌 "中 的一者吋， 所述整合单元通过结合受众语音输入信号搜索云端的数据 库和 /或访问因特网来选取最优幽默输出指令并将所述最优幽默输出 指令和所述标准指令作为最终输出指令， 其中， 所述最优幽默输出指 令为最匹配目标受众情绪状态的指令。
根据权利要求 22所述的方法， 其特征在于， 所述幽默行为和最优幽默 输出指令的选取的相关策略通过依照目标受众的不断交互得到的反馈 信息进行相应调整。
根据权利要求 21或权利要求 22所述的方法， 其特征在于， 所述数据库 包括笑话库、 新闻库、 动作库和歌曲库。
根据权利要求 20所述的方法， 其特征在于， 所述概率分析包括所述幽 默行为选取单元通过一个预先设定好的从情绪状态到幽默行为集的概 率转移矩阵来计算得到幽默行为集的概率分布。
根据权利要求 25所述的方法， 其特征在于， 所述幽默行为集包括 {ml: "讲笑话"， m2: "念趣闻"， m3: "搞笑动作"， m4: "唱歌"， m5: " 错误反馈" }， 其中， m5: "错误反馈"是指通过故意输出错误的反馈来 让受众觉得幵心。 [权利要求 27] 根据权利要求 18所述的方法， 其特征在于， 所述根据观测序列概率最 大化的准则推断出隐藏状态变化序列是利用 Viterbi算法来实现的。
PCT/CN2017/076271 2016-03-31 2017-03-10 基于云端的设备及其操作方法 WO2017166994A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP17773025.6A EP3438788A4 (en) 2016-03-31 2017-03-10 CLOUD DEVICE AND ASSOCIATED OPERATING METHOD
JP2019502129A JP6714763B2 (ja) 2016-03-31 2017-03-10 クラウドに基づく設備及びその操作方法
KR1020187028089A KR102156296B1 (ko) 2016-03-31 2017-03-10 클라우드에 기반을 둔 설비 및 그 조작방법
US16/143,423 US20190027132A1 (en) 2016-03-31 2018-09-26 Cloud-based device and operating method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610200458.0 2016-03-31
CN201610200458.0A CN107293292A (zh) 2016-03-31 2016-03-31 基于云端的设备及其操作方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/143,423 Continuation US20190027132A1 (en) 2016-03-31 2018-09-26 Cloud-based device and operating method therefor

Publications (1)

Publication Number Publication Date
WO2017166994A1 true WO2017166994A1 (zh) 2017-10-05

Family

ID=59962550

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/076271 WO2017166994A1 (zh) 2016-03-31 2017-03-10 基于云端的设备及其操作方法

Country Status (6)

Country Link
US (1) US20190027132A1 (zh)
EP (1) EP3438788A4 (zh)
JP (1) JP6714763B2 (zh)
KR (1) KR102156296B1 (zh)
CN (1) CN107293292A (zh)
WO (1) WO2017166994A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706785B (zh) * 2019-08-29 2022-03-15 合肥工业大学 基于对话的情感调节方法和系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020010588A1 (en) * 2000-07-14 2002-01-24 Nec Corporation Human-machine interface system mediating human-computer interaction in communication of information on network
US20060028556A1 (en) * 2003-07-25 2006-02-09 Bunn Frank E Voice, lip-reading, face and emotion stress analysis, fuzzy logic intelligent camera system
CN1838237A (zh) * 2000-09-13 2006-09-27 株式会社A·G·I 情绪探测方法及其系统
CN101187990A (zh) * 2007-12-14 2008-05-28 华南理工大学 一种会话机器人系统
US20100037187A1 (en) * 2002-07-22 2010-02-11 Verizon Services Corp. Methods and apparatus for controlling a user interface based on the emotional state of a user
CN102930298A (zh) * 2012-09-02 2013-02-13 北京理工大学 基于多层增强hmm的语音-视觉融合的情感识别方法
CN103413113A (zh) * 2013-01-15 2013-11-27 上海大学 一种服务机器人智能情感交互的方法
CN103488293A (zh) * 2013-09-12 2014-01-01 北京航空航天大学 一种基于表情识别的人机情感交互系统及方法
CN104881108A (zh) * 2014-02-27 2015-09-02 青岛海尔机器人有限公司 一种智能人机交互方法及装置
CN105334743A (zh) * 2015-11-18 2016-02-17 深圳创维－Rgb电子有限公司 一种基于情感识别的智能家居控制方法及其系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020068500A1 (en) * 1999-12-29 2002-06-06 Oz Gabai Adaptive toy system and functionality
JP2001215993A (ja) * 2000-01-31 2001-08-10 Sony Corp 対話処理装置および対話処理方法、並びに記録媒体
JP2002073634A (ja) * 2000-09-05 2002-03-12 Alpine Electronics Inc 行動パターン処理装置
TWI221574B (en) * 2000-09-13 2004-10-01 Agi Inc Sentiment sensing method, perception generation method and device thereof and software
EP1262844A1 (en) * 2001-06-01 2002-12-04 Sony International (Europe) GmbH Method for controlling a man-machine-interface unit
US8561095B2 (en) * 2001-11-13 2013-10-15 Koninklijke Philips N.V. Affective television monitoring and control in response to physiological data
JP2004310034A (ja) 2003-03-24 2004-11-04 Matsushita Electric Works Ltd 対話エージェントシステム
JP4718163B2 (ja) * 2004-11-19 2011-07-06 パイオニア株式会社 音声処理装置、音声処理方法、音声処理用プログラム及び記録媒体
JP2006313287A (ja) * 2005-05-09 2006-11-16 Toyota Motor Corp 音声対話装置
CN101506874B (zh) * 2006-09-13 2011-12-07 日本电信电话株式会社 情感检测方法、情感检测装置
US9965553B2 (en) * 2013-05-29 2018-05-08 Philip Scott Lyren User agent with personality
US9514748B2 (en) * 2014-01-15 2016-12-06 Microsoft Technology Licensing, Llc Digital personal assistant interaction with impersonations and rich multimedia in responses
KR102191306B1 (ko) * 2014-01-22 2020-12-15 삼성전자주식회사 음성 감정 인식 시스템 및 방법
JP2015169702A (ja) * 2014-03-05 2015-09-28 ソフトバンク株式会社 感情判断装置および感情判断方法
EP2933071A1 (en) * 2014-04-17 2015-10-21 Aldebaran Robotics Methods and systems for managing dialogs of a robot
EP2933066A1 (en) * 2014-04-17 2015-10-21 Aldebaran Robotics Activity monitoring of a robot
US20160162807A1 (en) * 2014-12-04 2016-06-09 Carnegie Mellon University, A Pennsylvania Non-Profit Corporation Emotion Recognition System and Method for Modulating the Behavior of Intelligent Systems
US20170011640A1 (en) * 2015-07-08 2017-01-12 Genaro Rebolledo-Mendez System For Monitoring, Processing, Analyses And Storage Of Physiological Signals For Emotion Recognition
CN106910513A (zh) * 2015-12-22 2017-06-30 微软技术许可有限责任公司 情绪智能聊天引擎
CN106956271B (zh) * 2017-02-27 2019-11-05 华为技术有限公司 预测情感状态的方法和机器人

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020010588A1 (en) * 2000-07-14 2002-01-24 Nec Corporation Human-machine interface system mediating human-computer interaction in communication of information on network
CN1838237A (zh) * 2000-09-13 2006-09-27 株式会社A·G·I 情绪探测方法及其系统
US20100037187A1 (en) * 2002-07-22 2010-02-11 Verizon Services Corp. Methods and apparatus for controlling a user interface based on the emotional state of a user
US20060028556A1 (en) * 2003-07-25 2006-02-09 Bunn Frank E Voice, lip-reading, face and emotion stress analysis, fuzzy logic intelligent camera system
CN101187990A (zh) * 2007-12-14 2008-05-28 华南理工大学 一种会话机器人系统
CN102930298A (zh) * 2012-09-02 2013-02-13 北京理工大学 基于多层增强hmm的语音-视觉融合的情感识别方法
CN103413113A (zh) * 2013-01-15 2013-11-27 上海大学 一种服务机器人智能情感交互的方法
CN103488293A (zh) * 2013-09-12 2014-01-01 北京航空航天大学 一种基于表情识别的人机情感交互系统及方法
CN104881108A (zh) * 2014-02-27 2015-09-02 青岛海尔机器人有限公司 一种智能人机交互方法及装置
CN105334743A (zh) * 2015-11-18 2016-02-17 深圳创维－Rgb电子有限公司 一种基于情感识别的智能家居控制方法及其系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3438788A4 *

Also Published As

Publication number Publication date
JP6714763B2 (ja) 2020-06-24
EP3438788A4 (en) 2020-03-25
US20190027132A1 (en) 2019-01-24
JP2019518247A (ja) 2019-06-27
EP3438788A1 (en) 2019-02-06
KR20180118182A (ko) 2018-10-30
CN107293292A (zh) 2017-10-24
KR102156296B1 (ko) 2020-09-15

Similar Documents

Publication Publication Date Title
US10878815B2 (en) Processing spoken commands to control distributed audio outputs
KR102437944B1 (ko) 음성 웨이크업 방법 및 장치
US20200125967A1 (en) Electronic device and method for controlling the electronic device
Lison Structured probabilistic modelling for dialogue management
US20130018895A1 (en) Systems and methods for extracting meaning from speech-to-text data
CN111696559B (zh) 提供情绪管理辅助
CN112182252B (zh) 基于药品知识图谱的智能用药问答方法及其设备
US11687526B1 (en) Identifying user content
WO2019000905A1 (zh) 分诊对话方法、分诊对话设备及系统
CN111832308B (zh) 语音识别文本连贯性处理方法和装置
Sterling et al. Automated cough assessment on a mobile platform
CN111566728B (zh) 能够实现用户意图和机器服务之间的语义理解映射的对话系统
US20230074681A1 (en) Complex natural language processing
US20220399023A1 (en) Natural language processing routing
US11132994B1 (en) Multi-domain dialog state tracking
US20210011887A1 (en) Activity query response system
Wang et al. Speaker recognition using convolutional neural network with minimal training data for smart home solutions
US20230368796A1 (en) Speech processing
CN116453679A (zh) 基于混合测试识别痴呆症的技术
CN113314119A (zh) 语音识别智能家居控制方法及装置
JP2023055910A (ja) ロボット、対話システム、情報処理方法及びプログラム
WO2017166994A1 (zh) 基于云端的设备及其操作方法
US11211056B1 (en) Natural language understanding model generation
US20220161131A1 (en) Systems and devices for controlling network applications
US11837229B1 (en) Interaction data and processing natural language inputs

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019502129

Country of ref document: JP

Kind code of ref document: A

Ref document number: 20187028089

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017773025

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017773025

Country of ref document: EP

Effective date: 20181031

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17773025

Country of ref document: EP

Kind code of ref document: A1