JP7117970B2 - 案内ロボットシステム及び案内方法 - Google Patents
案内ロボットシステム及び案内方法 Download PDFInfo
- Publication number
- JP7117970B2 JP7117970B2 JP2018195515A JP2018195515A JP7117970B2 JP 7117970 B2 JP7117970 B2 JP 7117970B2 JP 2018195515 A JP2018195515 A JP 2018195515A JP 2018195515 A JP2018195515 A JP 2018195515A JP 7117970 B2 JP7117970 B2 JP 7117970B2
- Authority
- JP
- Japan
- Prior art keywords
- language
- reliability
- unit
- speech
- languages
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/008—Manipulators for service tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
- Machine Translation (AREA)
Description
また、ロボットにおける言語の切替方法に関しては、複数言語に対応する音声認識部で音声を認識し、その認識結果に対する信頼度を算出して、最も高い信頼度の言語へ切り替える技術が提案されている(例えば、特許文献2参照)。
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
以下、図面を参照して、本発明の実施の形態例(以下、「本例」と称する)である案内ロボットシステムと、その言語選択方法について説明する。
図1は、案内ロボットシステム全体の構成例を示した図である。案内ロボットシステム1は、ロボット100と、ロボット制御装置200と、ネットワークを介してロボット制御装置200に接続されるロボット管理サーバ300から構成される。
また、建物2内に複数のロボット100が配置される場合、それぞれのロボット100が異なる案内サービスを行うようにしてもよい。
図2は、ロボット100の構成例を示す図である。ロボット100は、CPU(Central Processing Unit)110、記憶装置120,入出力装置130及び通信インターフェース140を備える。
CPU110は、ロボット100の各部の処理の制御を行う。記憶装置120には、様々なソフトウェアモジュールやデータが記憶されている。
入出力装置130は、周囲の映像や画像を撮影するカメラ131と、周囲の音を収音するマイク132を備える。また、入出力装置130は、ロボット100の傾きや回転などの姿勢を検出するジャイロセンサ133と、周囲の物体との距離を測定する測域センサ134と、音声を発するスピーカー135と、ロボット100の移動を行ったり、関節を可動させたりする駆動機構136を備える。
ロボット100は、通信インターフェース140で受信したロボット制御装置200からの制御指令に基づいて、駆動制御部121、会話制御部122、及び入出力部123を制御し、案内サービスを実施する。
図3は、ロボット管理サーバ300の構成例を示す図である。ロボット管理サーバ300は、CPU310と、ロボット配置管理部321を含む記憶装置320と、通信インターフェース330を備える。
ロボット管理サーバ300は、通信インターフェース330を介して、ロボット制御装置200と接続され、ロボット制御装置200を介してロボット配置管理部321により各ロボットの状態を管理する。
図4は、ロボット制御装置200の構成例を示す図である。ロボット制御装置200は、各部の処理を制御するCPU210と、各ソフトウェアモジュール、テーブル等のデータを記憶する記憶装置220と、ロボット100及びロボット管理サーバ300と相互通信を行う通信インターフェース211を備える。
この入出力データ処理部230は、ロボット100から受信したデータの処理及びロボット100並びにロボット管理サーバ300へ送信するデータの処理を行う部分である。
画像取得部233は、ロボット100から受信した画像データを処理し、動作出力部234は、ロボット100を稼働させるためのデータを出力する処理を行う。
また、測域データ取得部235は、ロボット100から受信した測域センサの出力を処理し、エラー出力部は、ロボット管理サーバ300へ送信するエラーログに関するデータの処理を行う。
対面検知部250は、ロボット100の前に対面している人がいることを検知する。すなわち、対面検知部250は、ロボット100のカメラ131及び測域センサ134から得られる画像情報及び障害物情報を取得し、これらの情報に基づいて、ロボット100が利用者と対面状態になっているか否かを検知する。
図5は、本例の案内ロボットシステムにおける、言語選択を含む会話機能の一例を表した図であり、音声処理部260、言語選択部270及び会話処理部280の機能を示している。
音声処理部260は、第一言語音声処理部261、第二言語音声処理部262、及び第三言語音声処理部263を備える。
第二言語音声処理部262は、例えば英語を処理する処理部であり、第二言語音声認識部2621及び第二言語信頼度算出部2622を含む。
第三言語音声処理部263は、例えば中国語を処理する処理部であり、第三言語音声認識部2631及び第三言語信頼度算出部2632を含む。
第二言語音声処理部262は、第二言語音声認識部2621で音声データを音声認識して第二言語である英語でテキスト化し、第二言語信頼度算出部2622でその信頼度を算出する。
第三言語音声処理部263は、第三言語音声認識部2631で音声データを音声認識して第三言語である中国語でテキスト化し、第三言語信頼度算出部2632でその信頼度を算出する。
この信頼度の算出方法には、いくつかの方法が考えられるが、例えば、駒谷、河原著「音声認識結果の信頼度を用いた効率的な確認・誘導を行う対話処理」(情報処理学会論文誌、Vol.43、No.10、pp3078-3086)が知られている。
キーワード照合部271は、各言語の音声認識結果のテキストとキーワードテーブル274に登録された各言語のキーワードとを照合し、一致するキーワードとその言語を求める。信頼度比較部272は、各言語の信頼度を比較し、信頼度が最も高い言語を求める。選択言語格納部273には、キーワード照合部271における照合の結果、キーワードが一致した言語が格納されるとともに、信頼度比較部272で求められた信頼度の最も高い言語が格納される。
ここで、クローズドクエスチョン形式の会話とは、回答範囲を限定した質問を行う会話形式を意味し、オープンクエスチョン形式の会話とは、回答に制約を設けずに相手に自由に答えさせる質問を行う会話形式を意味する。クローズドクエスチョン形式の会話を行うことで、利用者が言語選択部270の選択言語格納部273に格納された言語で発話することが期待される。
第三言語会話作成部283は、入力されたテキストに対してクローズドクエスチョン会話テーブル284もしくはオープンクエスチョン会話テーブル285に基づいて第三言語(例えば、中国語)のシステム発話を作成する。
音声出力部232は、会話処理部280で作成されたシステム発話をロボット100に送信し、ロボット100に第一言語、第二言語または第三言語のいずれかの言語で発話させる。
図6は、本例の案内ロボットシステム1の処理のうち、国際空港利用者に対する言語選択を含む会話処理の一例を示すフローチャートである。なお、会話処理は、利用者がロボット100に対面し、ロボット制御装置200が対面検知することにより開始される。
なお、ステップS1で音声取得がなされない場合(S1のNO)には、ロボット100に対して音声入力がなされるまで待機する。
ステップS8のキーワード照合部271の処理で、第一から第三のどの言語のキーワードにも一致しない場合(S8のNO)には、第一言語から第三言語に対して信頼度比較部272にて信頼度が閾値以上の言語があるか否かが判定される(S9)。
なお、閾値は、0~1の間の任意の値に設定することができるものであるが、例えば閾値を「0.5」に設定した場合には、第一言語から第三言語のすべての信頼度が「0.5」以下であれば、その中の最も高い信頼度(例えば、0.45)を持つ言語が選択言語格納部273に格納されることになる。
ステップS11で、クローズドクエスチョンのシステム発話が作成されると、ロボット制御装置200の音声出力部232がロボット100へ音声データを送信し、ロボット100はスピーカー135でその音声データを再生して発話する(S12)。
ステップS13で音声が取得された場合(S13のYES)には、ロボット制御装置200は、ロボット100と利用者との会話成立をリトライし、リトライ回数が所定の回数を超えたか否かを判定する(S14)。
ステップS17で、オープンクエスチョン形式のシステム発話が作成されると、音声出力部232は、ロボット100へ音声データを送信し、ロボット100はスピーカー135でその音声データを再生して発話する(S18)。
ステップS19で、ロボット100と利用者との会話が成立し、会話終了フラグが「TRUE」であると判定された場合(S19のYES)には、会話処理を終了し、ステップS1に戻る。
つまり、最も高い第一言語(日本語)の信頼度が「0.8」で、第二言語(英語)の信頼度が「0.7」であるような場合には、差が「0.1」になって微差になる。この場合には、利用者の話す言語が第一言語(日本語)なのか第二言語(英語)なのかを判定しにくい。
一方、最も高い第一言語(日本語)の信頼度が「0.5」で、第二言語(英語)の信頼度が「0.1」であれば、その差は「0.4」になって微差ではなくなってくる。このような場合には、利用者の話す言語は第一言語(日本語)であると判定することができる。
すなわち、複数言語の音声認識の信頼度がいずれも閾値より低い場合には、システムが利用者に対してクローズドクエスチョン形式の問いかけを行い、利用者の発話内容を限定するようにしている。
図7は、第一言語を日本語、第二言語を英語、第三言語を中国語とした国際空港での利用における言語選択部270のキーワードテーブル274の一例を示している。キーワードテーブル274には、第一言語(日本語)として、「はい」、「よろしいです」が格納されており、またこれらの日本語に対応する第二言語(英語)、及び第三言語(中国語)の言葉も格納されている。
すなわち、クローズドクエスチョン会話テーブル284のシステム発話には、利用者がキーワードテーブル274に登録されているキーワードを発話するように誘導するシステム発話が登録される。例えば、第一言語(日本語)としては、キーワードテーブルに登録されている「はい」を発話することを期待して、「日本語でよかったでしょうか?」や、「使用したい言語を教えてください」などの、定型の質問文が登録される。同様に、第二言語(英語)と第三言語(中国語)に関しても同じ意味の定型の質問文が登録される。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
100…(案内)ロボット、
110…CPU、120…記憶装置、121…駆動制御部、122…会話制御部、123…入出力部、130…入出力装置、131…カメラ、132…マイク、133…ジャイロセンサ、134…測域センサ、135…スピーカー、136…駆動機構、140…通信インターフェース、
200…ロボット制御装置、
210…CPU、211…通信インターフェース、220…記憶装置、230…入出力データ処理部、231…音声取得部、232…音声出力部、233…画像取得部、234…動作出力部、235…測域データ取得部、236…エラー出力部、240…サービスフロー処理部、250…対面検知部、260…音声処理部、261…第一言語音声処理部、2611…第一言語音声認識部、2612…第一言語信頼度算出部、262…第二言語音声処理部、2621…第二言語音声認識部、2622…第二言語信頼度算出部、263…第三言語音声処理部、2631…第三言語音声認識部、2632…第三言語信頼度算出部、270…言語選択部、271…キーワード照合部、272…信頼度比較部、273…選択言語格納部、274…キーワードテーブル、280…会話処理部、281…第一言語会話作成部、282…第二言語会話作成部、283…第三言語会話作成部、284…クローズドクエスチョン会話テーブル、285…オープンクエスチョン会話テーブル
300…ロボット管理サーバ
310…CPU、320…記憶装置、321…ロボット配置管理部、330…通信インターフェース
Claims (4)
- 複数言語の会話を用いて案内サービスを行う案内ロボットシステムであって、
音声を取得する音声取得部と、
前記音声取得部で取得した音声に対して複数言語の音声認識を行う音声認識部と、
前記音声認識部で得た前記複数言語の音声認識結果を事前に登録したキーワードに照合して一致する言語を得るキーワード照合部と、
前記音声取得部で取得した音声に対する複数言語の信頼度を算出する信頼度算出部と、
前記キーワード照合部による照合で一致した言語があるときには、前記一致した言語を選択し、前記キーワード照合部で登録したキーワードに一致する言語がなかったときには、前記信頼度算出部で算出した信頼度の最も高い言語を選択する言語選択部と、
前記信頼度算出部で得た信頼度の内、最も信頼度が高い言語の信頼度が閾値よりも小さい場合にクローズドクエスチョン形式の会話とし、最も信頼度が高い言語の信頼度が前記閾値よりも大きい場合にオープンクエスチョン形式の会話とするように切り替える会話処理部と、を備える、
案内ロボットシステム。 - 複数言語の会話を用いて案内サービスを行う案内ロボットシステムであって、
音声を取得する音声取得部と、
前記音声取得部で取得した音声に対して複数言語の音声認識を行う音声認識部と、
前記音声認識部で得た前記複数言語の音声認識結果を事前に登録したキーワードに照合して一致する言語を得るキーワード照合部と、
前記音声取得部で取得した音声に対する複数言語の信頼度を算出する信頼度算出部と、
前記キーワード照合部による照合で一致した言語があるときには、前記一致した言語を選択し、前記キーワード照合部で登録したキーワードに一致する言語がなかったときには、前記信頼度算出部で算出した信頼度の最も高い言語を選択する言語選択部と、
前記信頼度算出部で得た信頼度に対して、最も信頼度が高い言語の信頼度とその他の言語の信頼度との差が閾値よりも小さい場合にクローズドクエスチョン形式の会話とし、最も信頼度が高い言語の信頼度とその他の言語の信頼度との差が前記閾値よりも大きい場合にオープンクエスチョン形式の会話とするように切り替える会話処理部と、を備える
案内ロボットシステム。 - 複数言語の会話を用いて案内ロボットが案内サービスを行う案内方法であって、
案内ロボットの音声取得部で音声を取得するステップと、
前記音声取得部で取得した音声に対して音声認識部で複数言語の音声認識を行うステップと、
前記音声認識部で得た複数言語の音声認識結果を、キーワード照合部で事前に登録したキーワードに照合して一致する言語を得るステップと、
前記音声取得部で取得した音声に対する複数言語の信頼度を信頼度算出部により算出するステップと、
前記キーワード照合部による照合で一致した言語があるときには、前記音声取得部で取得した前記一致した言語を、言語選択部で選択し、前記キーワード照合部で登録したキーワードに一致する言語がなかったときには、前記信頼度算出部で算出した信頼度の最も高い言語を、前記言語選択部により選択するステップと、
前記信頼度算出部で得た信頼度の内、最も信頼度が高い言語の信頼度が閾値よりも小さい場合にクローズドクエスチョン形式の会話とし、最も信頼度が高い言語の信頼度が前記閾値よりも大きい場合にオープンクエスチョン形式の会話とするように会話処理部により切り替えるステップと、を含む、
案内方法。 - 複数言語の会話を用いて案内ロボットが案内サービスを行う案内方法であって、
案内ロボットの音声取得部で音声を取得するステップと、
前記音声取得部で取得した音声に対して音声認識部で複数言語の音声認識を行うステップと、
前記音声認識部で得た複数言語の音声認識結果を、キーワード照合部で事前に登録したキーワードに照合して一致する言語を得るステップと、
前記音声取得部で取得した音声に対する複数言語の信頼度を信頼度算出部により算出するステップと、
前記キーワード照合部による照合で一致した言語があるときには、前記音声取得部で取得した前記一致した言語を、言語選択部で選択し、前記キーワード照合部で登録したキーワードに一致する言語がなかったときには、前記信頼度算出部で算出した信頼度の最も高い言語を前記言語選択部により選択するステップと、
前記信頼度算出部で得た信頼度に対して、最も信頼度が高い言語の信頼度とその他の言語の信頼度との差が閾値よりも小さい場合にクローズドクエスチョン形式の会話とし、最も信頼度が高い言語の信頼度とその他の言語の信頼度との差が前記閾値よりも大きい場合にオープンクエスチョン形式の会話とするように会話処理部により切り替えるステップと、を含む、
案内方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018195515A JP7117970B2 (ja) | 2018-10-17 | 2018-10-17 | 案内ロボットシステム及び案内方法 |
CN201910951048.3A CN111055291B (zh) | 2018-10-17 | 2019-10-08 | 引导机器人系统和引导方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018195515A JP7117970B2 (ja) | 2018-10-17 | 2018-10-17 | 案内ロボットシステム及び案内方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020064168A JP2020064168A (ja) | 2020-04-23 |
JP2020064168A5 JP2020064168A5 (ja) | 2021-03-18 |
JP7117970B2 true JP7117970B2 (ja) | 2022-08-15 |
Family
ID=70297741
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018195515A Active JP7117970B2 (ja) | 2018-10-17 | 2018-10-17 | 案内ロボットシステム及び案内方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7117970B2 (ja) |
CN (1) | CN111055291B (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111626706A (zh) * | 2020-05-27 | 2020-09-04 | 中国联合网络通信集团有限公司 | 用户意图识别方法及设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004272363A (ja) | 2003-03-05 | 2004-09-30 | Canon Inc | 音声入出力装置 |
JP2006030282A (ja) | 2004-07-12 | 2006-02-02 | Nissan Motor Co Ltd | 対話理解装置 |
JP2006039120A (ja) | 2004-07-26 | 2006-02-09 | Sony Corp | 対話装置および対話方法、並びにプログラムおよび記録媒体 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0673800U (ja) * | 1993-03-30 | 1994-10-18 | 富士通テン株式会社 | 音声認識装置 |
JP4292646B2 (ja) * | 1999-09-16 | 2009-07-08 | 株式会社デンソー | ユーザインタフェース装置、ナビゲーションシステム、情報処理装置及び記録媒体 |
DE112009004313B4 (de) * | 2009-01-28 | 2016-09-22 | Mitsubishi Electric Corp. | Stimmerkennungseinrichtung |
JP5250066B2 (ja) * | 2011-03-04 | 2013-07-31 | 東芝テック株式会社 | 情報処理装置およびプログラム |
-
2018
- 2018-10-17 JP JP2018195515A patent/JP7117970B2/ja active Active
-
2019
- 2019-10-08 CN CN201910951048.3A patent/CN111055291B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004272363A (ja) | 2003-03-05 | 2004-09-30 | Canon Inc | 音声入出力装置 |
JP2006030282A (ja) | 2004-07-12 | 2006-02-02 | Nissan Motor Co Ltd | 対話理解装置 |
JP2006039120A (ja) | 2004-07-26 | 2006-02-09 | Sony Corp | 対話装置および対話方法、並びにプログラムおよび記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP2020064168A (ja) | 2020-04-23 |
CN111055291A (zh) | 2020-04-24 |
CN111055291B (zh) | 2022-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6887031B2 (ja) | 方法、電子装置、家庭用機器ネットワークおよび記憶媒体 | |
US8731928B2 (en) | Speaker adaptation of vocabulary for speech recognition | |
US10019992B2 (en) | Speech-controlled actions based on keywords and context thereof | |
US7684985B2 (en) | Techniques for disambiguating speech input using multimodal interfaces | |
US9466286B1 (en) | Transitioning an electronic device between device states | |
KR102396983B1 (ko) | 문법 교정 방법 및 장치 | |
JP6966979B2 (ja) | 対話システムの制御方法、対話システム及びプログラム | |
JP7113047B2 (ja) | 人工知能基盤の自動応答方法およびシステム | |
JP2008009153A (ja) | 音声対話システム | |
US11862153B1 (en) | System for recognizing and responding to environmental noises | |
JP6985221B2 (ja) | 音声認識装置及び音声認識方法 | |
US20170076626A1 (en) | System and Method for Dynamic Response to User Interaction | |
JP7117970B2 (ja) | 案内ロボットシステム及び案内方法 | |
US20180012602A1 (en) | System and methods for pronunciation analysis-based speaker verification | |
Sharan et al. | Implementation and testing of voice control in a mobile robot for navigation | |
US20170270923A1 (en) | Voice processing device and voice processing method | |
JP3837061B2 (ja) | 音信号認識システムおよび音信号認識方法並びに当該音信号認識システムを用いた対話制御システムおよび対話制御方法 | |
US11862168B1 (en) | Speaker disambiguation and transcription from multiple audio feeds | |
JP2008145989A (ja) | 音声識別装置および音声識別方法 | |
US11942094B2 (en) | Hybrid multilingual text-dependent and text-independent speaker verification | |
US20190121610A1 (en) | User Interface For Hands Free Interaction | |
KR20180066513A (ko) | 자동 통역 방법 및 장치, 및 기계 번역 방법 | |
JP2020201322A (ja) | 案内ロボットシステム及び会話作成方法 | |
JP6866731B2 (ja) | 音声認識装置、音声認識方法、及びプログラム | |
US20180012603A1 (en) | System and methods for pronunciation analysis-based non-native speaker verification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210120 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211019 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220301 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220328 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220726 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220802 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7117970 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |