JP6995566B2 - ロボット対話システム及びロボット対話システムの制御方法 - Google Patents
ロボット対話システム及びロボット対話システムの制御方法 Download PDFInfo
- Publication number
- JP6995566B2 JP6995566B2 JP2017212761A JP2017212761A JP6995566B2 JP 6995566 B2 JP6995566 B2 JP 6995566B2 JP 2017212761 A JP2017212761 A JP 2017212761A JP 2017212761 A JP2017212761 A JP 2017212761A JP 6995566 B2 JP6995566 B2 JP 6995566B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- cost
- action
- difference
- certainty
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 45
- 230000009471 action Effects 0.000 claims description 78
- 238000004364 calculation method Methods 0.000 claims description 24
- 230000002452 interceptive effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 description 34
- 230000008569 process Effects 0.000 description 25
- 230000007704 transition Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 15
- 230000015572 biosynthetic process Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 230000006399 behavior Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 235000012054 meals Nutrition 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/008—Manipulators for service tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- General Health & Medical Sciences (AREA)
- Manipulator (AREA)
Description
音声合成プログラム233の音声合成処理については、周知または公知の技術を適用すれば良いので、詳述しない。
ただし、S(A,B),I(A,B),D(A,B)はそれぞれ、AをBに変更する文字置換コスト、文字挿入コスト、文字削除コストである。
20a、20b サービスロボット
30 ロボット対話サーバ
50 シナリオ生成装置
231 メインプログラム
232 音声認識プログラム
233 音声合成プログラム
234 移動プログラム
331 ロボット制御プログラム
332 コスト計算プログラム
341 状態テーブル
342、541 コストテーブル
343、542 シナリオ
531 シナリオ生成プログラム
Claims (10)
- プロセッサと記憶装置を有して利用者と対話するロボットと、
プロセッサと記憶装置を有して前記ロボットを制御する対話サーバと、
前記対話サーバと前記ロボットを接続するネットワークと、
を含むロボット対話システムであって、
前記ロボットは、
音声情報によって前記利用者と対話を行う音声情報対話部と、
移動先を受け付けて、当該移動先へロボットを移動させる移動装置と、
前記音声情報対話部が受け付けた発話内容と、前記発話内容から算出した確信度を前記対話サーバへ送信し、当該発話内容に対する行動を前記対話サーバから受信して、前記音声情報対話部と前記移動装置を制御する制御部と、を有し、
前記対話サーバは、
前記ロボットに実行させる前記行動を前記発話内容に応じて予め設定したシナリオ情報と、
前記行動の種類に応じて前記ロボットのコストを予め設定したコスト情報と、
前記ロボットから受信した前記発話内容のうち、発話の種類を格納する項目名と、前記発話内容に対応する前記行動を格納する候補値と、前記発話内容に対応する確信度を有する状態情報と、
前記ロボットから前記発話内容と前記確信度を受け付けて、前記ロボットに実行させる前記行動を決定して前記ロボットに指令するロボット制御部と、
前記コスト情報と前記状態情報に基づいて前記ロボットの前記行動のコストを算出するコスト計算部と、を有し、
前記ロボット制御部は、
前記ロボットから受信した前記発話内容に対応する前記発話の種類を前記項目名に格納し、前記発話内容に対応する前記行動を前記候補値に格納し、前記発話内容に対応する確信度を前記状態情報の前記確信度に格納し、
前記状態情報から前記項目名の種類が異なる前記候補値の組み合わせを第1の候補値と第2の候補値として選択し、前記第1の候補値の確信度と前記第2の候補値の確信度の積を当該組み合わせの確信度Rとして算出し、前記確信度Rが最も高い前記候補値の組み合わせを新たな第1の行動として選択し、現在の前記ロボットの状態で前記新たな第1の行動を実行した場合のコストを差異コストC1として前記コスト計算部に算出させ、
前記状態情報から前記項目名の種類が異なる前記候補値の組み合わせの前記確信度Rが最も高い前記第1の候補値と前記第2の候補値の組み合わせを除いた前記状態情報について、前記項目名の種類が異なる前記候補値の組み合わせを第3の候補値と第4の候補値として選択し、前記第3の候補値の確信度と第4の候補値の確信度の積を当該組み合わせの前記確信度Rとして算出し、前記算出した前記組み合わせの前記確信度Rが最も高い前記候補値の組み合わせを新たな第2の行動として選択し、現在の前記ロボットの状態で前記新たな前記第2の行動を実行した場合のコストを差異コストC2として前記コスト計算部に算出させ、
前記差異コストC1と前記差異コストC2のうちコストが最小となる候補値の組み合わせを新たな行動として選択することを特徴とするロボット対話システム。 - 請求項1に記載のロボット対話システムであって、
前記コスト計算部は、
前記ロボットの位置と前記第1の行動の目的地の距離に基づいて前記差異コストC1を計算し、前記ロボットの位置と前記第2の行動の目的地の距離に基づいて前記差異コストC2を計算することを特徴とするロボット対話システム。 - 請求項1に記載のロボット対話システムであって、
前記コスト計算部は、
前記ロボットが前記利用者に対して発言する文章の文言と内容の違いを基準として前記差異コストC1と前記差異コストC2を計算することを特徴とするロボット対話システム。 - 請求項1に記載のロボット対話システムであって、
前記コスト計算部は、
前記ロボットの個体の違いを基準として前記差異コストC1と前記差異コストC2を計算することを特徴とするロボット対話システム。 - 請求項1に記載のロボット対話システムであって、
前記シナリオ情報を生成するシナリオ生成装置をさらに有し、
前記シナリオ生成装置は、
生成された前記シナリオ情報に対して前記コスト計算部にコストを計算させる指示を自動的に挿入することを特徴とするロボット対話システム。 - プロセッサと記憶装置を有して利用者と対話するロボットと、プロセッサと記憶装置を有して前記ロボットを制御する対話サーバを含むロボット対話システムの制御方法であって、
前記ロボットが、前記利用者の問い合わせから音声認識により発話内容と確信度を算出し、前記対話サーバに送信する第1のステップと、
前記対話サーバが、前記ロボットから前記発話内容と前記確信度を受け付けて、項目名と候補値と確信度を有する状態情報に、前記発話内容から取得した発話の種類を前記項目名に格納し、前記発話内容から取得した行動を前記候補値に格納し、前記発話内容に対応する確信度を前記状態情報の確信度に格納する第2のステップと、
前記対話サーバが、前記状態情報から前記項目名の種類が異なる候補値の組み合わせを第1の候補値と第2の候補値として選択し、前記第1の候補値と前記第2の候補値の確信度の積を当該組み合わせの確信度Rとして算出し、前記確信度Rが最も高い前記候補値の組み合わせを新たな第1の行動として選択し、現在の前記ロボットの状態で前記新たな第1の行動を実行した場合のコストを差異コストC1として算出する第3のステップと、
前記対話サーバが、前記状態情報から前記項目名の種類が異なる前記候補値の組み合わせの前記確信度Rが最も高い前記第1の候補値と前記第2の候補値の組み合わせを除いた前記状態情報について、前記項目名の種類が異なる前記候補値の組み合わせを第3の候補値と第4の候補値として選択して、前記第3の候補値と第4の候補値の確信度の積を当該組み合わせの確信度Rとして算出し、前記算出した前記組み合わせの前記確信度Rが最も高い前記候補値の組み合わせを新たな第2の行動として選択し、現在の前記ロボットの状態で前記新たな前記第2の行動を実行した場合のコストを差異コストC2として算出する第4のステップと、
前記対話サーバが、前記差異コストC1と、前記差異コストC2のうちコストが最小となる候補値の組み合わせを新たな行動として選択する第5のステップと、
を含むことを特徴とするロボット対話システムの制御方法。 - 請求項6に記載のロボット対話システムの制御方法であって、
前記第3のステップは、
前記ロボットの位置と前記第1の行動の目的地の距離に基づいて前記差異コストC1を計算し、
前記第4のステップは、
前記ロボットの位置と前記第2の行動の目的地の距離に基づいて前記差異コストC2を計算することを特徴とするロボット対話システムの制御方法。 - 請求項6に記載のロボット対話システムの制御方法であって、
前記第3のステップは、
前記ロボットが前記利用者に対して発言する文章の文言と内容の違いを基準として前記差異コストC1を計算し、
前記第4のステップは、
前記ロボットが前記利用者に対して発言する文章の文言と内容の違いを基準として前記差異コストC2を計算することを特徴とするロボット対話システムの制御方法。 - 請求項6に記載のロボット対話システムの制御方法であって、
前記第3のステップは、
前記ロボットの個体の違いを基準として前記差異コストC1を計算し、
前記第4のステップは、
前記ロボットの個体の違いを基準として前記差異コストC2を計算することを特徴とするロボット対話システムの制御方法。 - 請求項6に記載のロボット対話システムの制御方法であって、
シナリオ情報を生成するシナリオ生成装置が、生成された前記シナリオ情報に対してコストを計算させる指示を自動的に挿入するステップをさらに含むことを特徴とするロボット対話システムの制御方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017212761A JP6995566B2 (ja) | 2017-11-02 | 2017-11-02 | ロボット対話システム及びロボット対話システムの制御方法 |
CN201811256088.8A CN109754794A (zh) | 2017-11-02 | 2018-10-26 | 机器人对话系统和机器人对话系统的控制方法 |
EP18203092.4A EP3480814A1 (en) | 2017-11-02 | 2018-10-29 | Robot dialogue system and control method of robot dialogue system |
US16/174,592 US20190126488A1 (en) | 2017-11-02 | 2018-10-30 | Robot dialogue system and control method of robot dialogue system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017212761A JP6995566B2 (ja) | 2017-11-02 | 2017-11-02 | ロボット対話システム及びロボット対話システムの制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019084598A JP2019084598A (ja) | 2019-06-06 |
JP6995566B2 true JP6995566B2 (ja) | 2022-02-04 |
Family
ID=64082941
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017212761A Active JP6995566B2 (ja) | 2017-11-02 | 2017-11-02 | ロボット対話システム及びロボット対話システムの制御方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20190126488A1 (ja) |
EP (1) | EP3480814A1 (ja) |
JP (1) | JP6995566B2 (ja) |
CN (1) | CN109754794A (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10866783B2 (en) * | 2011-08-21 | 2020-12-15 | Transenterix Europe S.A.R.L. | Vocally activated surgical control system |
KR20210113488A (ko) * | 2020-03-05 | 2021-09-16 | 삼성전자주식회사 | 사용 로그 분석에 의한 보이스 에이전트의 새 기능을 자동적으로 추출하는 방법 및 장치 |
KR20230111061A (ko) * | 2022-01-17 | 2023-07-25 | 삼성전자주식회사 | 로봇 및 이의 제어 방법 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011227237A (ja) | 2010-04-19 | 2011-11-10 | Honda Motor Co Ltd | コミュニケーションロボット |
WO2014087495A1 (ja) | 2012-12-05 | 2014-06-12 | 株式会社日立製作所 | 音声対話ロボット、音声対話ロボットシステム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101137205B1 (ko) * | 2002-03-15 | 2012-07-06 | 소니 주식회사 | 로봇의 행동 제어 시스템 및 행동 제어 방법, 및 로봇 장치 |
JP2006172280A (ja) | 2004-12-17 | 2006-06-29 | Keywalker Inc | 自動対話その他の自動応答出力作成方法及び自動対話その他の自動応答出力作成装置 |
JP5695199B2 (ja) * | 2010-08-30 | 2015-04-01 | 本田技研工業株式会社 | 対話システムにおける思考追跡および行動選択 |
US9570064B2 (en) | 2012-11-08 | 2017-02-14 | Nec Corporation | Conversation-sentence generation device, conversation-sentence generation method, and conversation-sentence generation program |
WO2014073613A1 (ja) | 2012-11-08 | 2014-05-15 | 日本電気株式会社 | 会話文生成装置、会話文生成方法及び会話文生成プログラム |
CN104008160A (zh) * | 2014-05-29 | 2014-08-27 | 吴春尧 | 一种实现并行话题控制的模糊推理聊天机器人方法和系统 |
JP6391386B2 (ja) * | 2014-09-22 | 2018-09-19 | シャープ株式会社 | サーバ、サーバの制御方法およびサーバ制御プログラム |
CN105563484B (zh) * | 2015-12-08 | 2018-04-10 | 深圳达闼科技控股有限公司 | 一种云机器人系统、机器人和机器人云平台 |
CN105788593B (zh) * | 2016-02-29 | 2019-12-10 | 中国科学院声学研究所 | 生成对话策略的方法及系统 |
-
2017
- 2017-11-02 JP JP2017212761A patent/JP6995566B2/ja active Active
-
2018
- 2018-10-26 CN CN201811256088.8A patent/CN109754794A/zh active Pending
- 2018-10-29 EP EP18203092.4A patent/EP3480814A1/en not_active Withdrawn
- 2018-10-30 US US16/174,592 patent/US20190126488A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011227237A (ja) | 2010-04-19 | 2011-11-10 | Honda Motor Co Ltd | コミュニケーションロボット |
WO2014087495A1 (ja) | 2012-12-05 | 2014-06-12 | 株式会社日立製作所 | 音声対話ロボット、音声対話ロボットシステム |
Also Published As
Publication number | Publication date |
---|---|
US20190126488A1 (en) | 2019-05-02 |
JP2019084598A (ja) | 2019-06-06 |
EP3480814A1 (en) | 2019-05-08 |
CN109754794A (zh) | 2019-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6995566B2 (ja) | ロボット対話システム及びロボット対話システムの制御方法 | |
JP6616473B2 (ja) | ページを制御する方法および装置 | |
KR101949497B1 (ko) | 사용자 발화의 표현법을 파악하여 기기의 동작이나 컨텐츠 제공 범위를 조정하여 제공하는 사용자 명령 처리 방법 및 시스템 | |
US7533025B2 (en) | Method and apparatus for dynamic modification of command weights in a natural language understanding system | |
KR20190042098A (ko) | 디바이스 토폴로지에 기초한 음성 명령 프로세싱 | |
US20060123358A1 (en) | Method and system for generating input grammars for multi-modal dialog systems | |
US20060155546A1 (en) | Method and system for controlling input modalities in a multimodal dialog system | |
US20090287488A1 (en) | Text display, text display method, and program | |
US10152298B1 (en) | Confidence estimation based on frequency | |
WO2015163068A1 (ja) | 情報処理装置、情報処理方法及びコンピュータプログラム | |
US10540973B2 (en) | Electronic device for performing operation corresponding to voice input | |
AU2019201441B2 (en) | Electronic device for processing user voice input | |
JPWO2012105231A1 (ja) | モデル適応化装置、モデル適応化方法およびモデル適応化用プログラム | |
JP4581441B2 (ja) | 家電機器システム、家電機器および音声認識方法 | |
CN111460117B (zh) | 对话机器人意图语料生成方法、装置、介质及电子设备 | |
JP2005266192A5 (ja) | ||
US11373648B2 (en) | Control device, control system, and non-transitory computer readable medium | |
US20210035575A1 (en) | Electronic apparatus, and method of controlling to execute function according to voice command thereof | |
US20200050670A1 (en) | Dialogue method, dialogue system, and program | |
JPWO2017051627A1 (ja) | 音声発話装置、音声発話方法及びプログラム | |
US20210241771A1 (en) | Electronic device and method for controlling the electronic device thereof | |
JP4521631B2 (ja) | 木構造辞書を記録した記憶媒体、及び木構造辞書の言語スコアテーブル作成プログラム | |
JP2018174416A (ja) | 多言語振分装置、多言語振分方法、及びプログラム | |
CN114386432A (zh) | 语义识别方法、装置、机器人和智能设备 | |
KR102283196B1 (ko) | 항공기용 음성 인식 기반 처리 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210126 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210326 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210511 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6995566 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |