JP7207425B2 - 対話装置、対話システムおよび対話プログラム - Google Patents
対話装置、対話システムおよび対話プログラム Download PDFInfo
- Publication number
- JP7207425B2 JP7207425B2 JP2020560701A JP2020560701A JP7207425B2 JP 7207425 B2 JP7207425 B2 JP 7207425B2 JP 2020560701 A JP2020560701 A JP 2020560701A JP 2020560701 A JP2020560701 A JP 2020560701A JP 7207425 B2 JP7207425 B2 JP 7207425B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- unit
- input
- occupant
- taro
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 9
- 230000004044 response Effects 0.000 description 140
- 244000205754 Colocasia esculenta Species 0.000 description 86
- 235000006481 Colocasia esculenta Nutrition 0.000 description 86
- 238000013473 artificial intelligence Methods 0.000 description 79
- 238000004891 communication Methods 0.000 description 45
- 230000006870 function Effects 0.000 description 26
- 230000006399 behavior Effects 0.000 description 21
- 230000002452 interceptive effect Effects 0.000 description 18
- 230000005540 biological transmission Effects 0.000 description 8
- 239000000284 extract Substances 0.000 description 8
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 235000015927 pasta Nutrition 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000002860 competitive effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 208000008918 voyeurism Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3605—Destination input or retrieval
- G01C21/3608—Destination input or retrieval using speech input, e.g. using speech recognition
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3605—Destination input or retrieval
- G01C21/3617—Destination input or retrieval using user history, behaviour, conditions or preferences, e.g. predicted or inferred from previous use or current movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Social Psychology (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Navigation (AREA)
Description
本発明の第2の態様によると、対話機能を有する対話システムは、質問を認識し、前記質問に対する回答を出力する対話システムにおいて、標準的な第1回答を出力する第1回答モードと、周囲環境を考慮した第2回答を出力する第2回答モードと、を有する対話部と、質問者のジェスチャーを認識する認識部と、前記ジェスチャーが認識された場合、前記第1回答モードから前記第2回答モードへ切り替える制御を行う制御部とを備える。
本発明の第3の態様によると、対話プログラムは、発話者と音声対話を行う対話装置に搭載されるコンピュータに実行させるプログラムであって、周囲の環境を認識する処理と、情報を入力する処理と、前記入力された第1情報に応答する第2情報を生成する処理と、前記第1情報を発した発話者を特定する処理と、前記第2情報が、前記認識された周囲の環境もしくは前記特定された発話者にとって好ましい情報か否かを判断し、好ましいと判断された前記第2情報を出力する処理と、を実行させる。
本実施の形態では、車両の乗員が、音声によりナビゲーション装置200に案内を要求する状況を例に説明する。対話システムは、入出力装置10、人工知能(Artificial Intelligence)110、データベース120、およびナビゲーション装置200により構成される。入出力装置10、人工知能110、データベース120は、ネットワーク100を介して接続されている。
なお、入出力装置10およびナビゲーション装置200は、一体に構成してもよい。一体に構成した場合、一体構成したナビゲーション装置200がネットワーク100に接続される。
また、ナビゲーション装置200を設ける代わりに、ナビゲーションサービスを提供するクラウドサーバーをネットワーク100に接続可能に設け、入出力装置10とクラウドサーバーとをネットワーク100を介して接続する構成にしてもよい。
入出力装置10は、発話者が発した音声を入力するとともに、対話システムで合成された音声を出力する。図2は、入出力装置10の構成を例示する図である。入出力装置10は、入力部20、出力部30、認識部40、制御部50、通信部60、および情報選択部70を備える。
入力部20は、入出力装置10のユーザ、本実施の形態では車両の乗員からの発話音声を受け付ける機能を有する。このため、入力部20は、音声を入力して電気的な音声信号に変換するマイクロフォン21と、入力された音声を認識する音声認識部22とを含んで構成される。音声認識部22は、入力された音声をテキスト情報に変換(テキスト化)することもできる。
なお、入力部20のマイクロフォン21は、たとえば、乗員の着座位置に合わせて集音できるように、複数台が配置されていてもよい。
出力部30は、車両の乗員に対して音声情報や視覚情報を提供する機能を有する。このため、出力部30は、スピーカ31と表示部32を含んで構成される。スピーカ31は、音声情報として合成音声を再生する。合成音声は、出力部30により、たとえば上記テキスト情報を読み上げ処理するなどして生成される。出力部30は、入力された音声をテキスト情報に変換することなしに、音声信号に基づく再生音声をスピーカ31から再生させることもできる。
また、液晶ディスプレー装置などで構成される表示部32は、視覚情報としてテキスト画面を表示する。テキスト画面は、テキスト情報に基づいて生成される。
認識部40は、車両の乗員の特定に用いられる情報を得るための画像認識機能を有する。このため、認識部40は、静止画像または動画像を撮像するカメラ41を含んで構成される。認識部40は、カメラ41によって撮像された画像に基づき、車内の人物の顔を認識し、顔部分の画像から得た特徴量情報を記憶する。記憶された特徴量情報は、乗員の特定に用いられる。
また、認識部40は、乗員のID、たとえば免許証等の情報(番号等)を取得する読み取り装置42を含んでもよい。認識部40は、読み取り装置42によって取得した情報と、カメラ41によって撮像された乗員の顔画像に基づく特徴量情報とを対応づけて記憶する。この対応付けは、たとえば、読み取り装置42による情報の取得と、カメラ41による乗員の撮像とを対でおこなうようなアルゴリズムを採用すればよい。記憶された、読み取り装置42による取得情報およびこの情報に対応づけられた特徴量情報は、乗員の特定に用いられる。
なお、認識部40に備えられるカメラ41は、1台に限定されない。カメラ41は、たとえば、車内の座席ごとに複数のカメラ41が配置されていてもよい。
制御部50は、たとえばマイクロプロセッサ又はマイクロコンピュータ等により構成され、入出力装置10が備える各構成の動作を制御する機能を有する。制御部50は、入力部20による入力制御、出力部30による出力制御、認識部40による認識制御、通信部60による通信制御、情報選択部70による選択制御などを行う。
通信部60は、外部機器としてのナビゲーション装置200、人工知能110、およびデータベース120と通信を行う機能を有する。通信部60は、制御部50からの指示に基づき、ナビゲーション装置200に対して目的地を探索させる指示や、目的地へルート案内させる指示を送信する。また、通信部60は、制御部50からの指示に基づき、人工知能110との間で音声信号やテキスト情報を送受信する。さらにまた、通信部60は、制御部50からの指示に基づき、データベース120との間でデータを送受信する。通信部60とネットワーク100との間は、有線又は無線により接続可能である。
通信部60はさらに、乗員が携帯するスマートフォン(不図示)とBluetooh(登録商標)などの近距離無線通信を行うこともできる。
情報選択部70は、出力部30から車両の乗員に提供される情報を選択する機能を有する。情報選択部70は、たとえば、ナビゲーション装置200によって複数の目的地が得られた場合には、乗員に提供する目的地を選択する。たとえば、情報選択部70は合理的な観点により、現在位置から近い目的地を選ぶ。
このように、情報選択部70は、人工知能110によって生成された応答文を車内で提供するか否かを判断する判断部としても機能する。
図3は、人工知能110の構成を例示する図である。人工知能110は、音声認識部111、回答生成部112、音声合成部113、制御部114、および通信部115を備える。
音声認識部111は、通信部115によって受信された入出力装置10からの音声信号を入力し、入力された音声を認識する機能を有する。音声認識部111はさらに、入力された音声をテキスト情報に変換(テキスト化)する。なお、通信部115によって入出力装置10からのテキスト情報が受信された場合には、音声認識部111によるテキスト化処理は省略される。
回答生成部112は、テキスト情報に基づいて、乗員の発話意図を抽出する機能を有する。たとえば、「イタリアンレストランへ行きたい。」、「イタリアンレストランへ案内して。」、「イタリアンレストランがいいな。」などの場合は、「イタリアンレストランを探して。」という発話意図とする。
音声合成部113は、応答テキスト情報を読み上げ処理するなどして合成音声を生成する機能を有する。合成音声は、通信部115を介して入出力装置10へ送信される。
なお、入出力装置10から送信されたテキスト情報が通信部115によって受信されている場合には、音声合成部113による合成音声を生成する処理は省略される。そのため、回答生成部112で生成された応答テキスト情報が、通信部115を介して入出力装置10へ送信される。
制御部114は、たとえばコンピュータ装置等により構成され、人工知能110が備える各構成の動作を制御する機能を有する。また、本実施の形態に係る制御部114は、各構成による処理の結果を構成間で連携する機能を有する。
通信部115は、外部機器としての入出力装置10と通信を行う機能を有する。本実施の形態に係る通信部115は、たとえば、入出力装置10と音声信号を送受する音声通話を実現したり、入出力装置10とテキスト情報を送受したりする。
図4は、データベース120の構成を例示する図である。データベース120は、行動情報DB121、関係情報DB122、制御部123、および通信部124を備える。
行動情報DB121は、入出力装置10のユーザの行動に関する情報を記憶するデータベースである。本実施の形態に係る行動情報DB121は、たとえば、ユーザのID、氏名、生年月日、職業、性別、出身地、性格、趣味、などの基本情報と、ユーザの行動履歴などを記憶する。行動履歴は、通勤(通学)履歴や、飲食店、販売店、ジム、理容店、病院、学校(セミナー、塾など)等の利用履歴を含む。
関係情報DB122は、ユーザの人間関係に関する情報を記憶するデータベースである。本実施の形態に係る関係情報DB122は、たとえば、ユーザのID、氏名、生年月日、職業、性別、出身地、性格、趣味、などの基本情報と、ユーザの家族、恋人、友人、仕事仲間、趣味仲間に関する情報などを記憶する。
制御部123は、たとえばマイクロプロセッサ又はマイクロコンピュータ等により構成され、データベース120が備える各構成を制御する機能を有する。本実施の形態に係る制御部123は、たとえば、入出力装置10からの要求信号に基づいて、行動情報DB121や関係情報DB122に記憶される情報を検索し、当該情報を取得することができる。
通信部124は、外部機器としての入出力装置10、および人工知能110と通信を行う機能を有する。通信部124は、たとえば、入出力装置10からユーザIDなどの基本情報を受信し、当該情報に基づいて行動情報DB121および関係情報DB122を参照し、ユーザに関する情報を入出力装置10に送信する。
本実施の形態では、入出力装置10のユーザの名前を太郎とする。太郎は、たとえば、入出力装置10が搭載されている車両に、恋人の花子とともに乗車しているものとする。そのため、対話システムは太郎および花子と対話を行う。
なお、対話システムは、太郎あるいは花子からの発声(「OK, 〇×」や「Hey,□△」など)に基づいて対話を開始してもよい。
人工知能110は、ナビゲーション装置200による探索結果に基づき、X店とY店とZ店の種々の情報を、たとえば、飲食店の情報を提供する不図示のポータルサイトから取得してもよい。
候補1「X店は、ランチタイムサービスがあります。約1ヶ月前に、太郎様と花子様をご案内しました。」
候補2「X店は、ランチタイムサービスがあります。約2ヶ月前に、太郎様とさくら様と次郎様をご案内しました。」
候補3「Y店は、パスタが評判です。約2ヶ月前に、太郎様をご案内しました。」
候補4「Y店は、パスタが評判です。約2週間前に、太郎様と○○会社のQ様をご案内しました。」
候補5「Y店は、パスタが評判です。約半年前に、太郎様とD様をご案内しました。」
候補6「Z店は、カルパッチョとワインが評判です。でも、運転者はお酒を飲むことができません。」
これらの応答文の候補は、応答テキスト情報として人工知能110から入出力装置10へ送られる。この時点では、応答文の候補が出力部30から再生されることはなく、いずれの応答文の候補も太郎および花子に伝えられない。
つまり、この例の場合において、太郎および花子の両者にとって好ましい回答文は候補1や候補3(候補1が太郎あるいは花子によって選択されなかったときには候補3を次に推奨する)、好ましくない回答文は候補2および候補6となる。候補4や候補5については、同伴した人物Q、Dが男性であった場合(あるいは同席者に仮に女性が含まれるとしても一対一ではなくてグループだった場合)には好ましい回答文として選択してもよい。人物Q、Dの属性データ(性別など)については、太郎のスマートフォンの電子メール(メッセンジャーアプリを含む)における送受信履歴および送受信内容(相手名、アポイントメント、日時、店名を含めたやりとりなど)から推測することができよう。
なお、回答文の候補を選択するパラメータとしては、太郎と花子(つまり発話者もしくは発話者と同席者)の過去の行動履歴を参酌してもよい。たとえば過去に訪れた店舗のうち、「料理・味」、「雰囲気」、「接客サービス」、「コストパフォーマンス」を評価項目とした総合評価が高いものから優先的に候補とするのが好ましいだろう。これらの一連の評価は、太郎あるいは花子のスマートフォンに記録された行動履歴(会話履歴を含むライフログなど)あるいは太郎もしくは花子が行なったウェブサイト上での店舗評価を参酌するとよい。
図5は、上記対話例において、対話システムが実行する動作の流れを説明するフローチャートである。入出力装置10の制御部50は、たとえば、車両のシステムオン操作が行われると、図5による処理を開始させる。
本実施の形態では、対話動作の流れを入出力装置10の制御部50による処理の流れとして説明するが、入出力装置10以外の他の機器の制御部と分担して行う構成にしてもよい。
1.制御部50に、認識部40のカメラ41に写る車内の人物の顔画像に基づいて得られた特徴量情報が、認識部40から入力される。
2.制御部50に、認識部40の読み取り装置42によって取得された情報が、認識部40から入力される。
なお、制御部50に、入力部20のマイクロフォン21に入力された乗員の音声に基づいて得られた声紋情報が、入力部20から入力されるようにしてもよい。
関係情報DB122に格納される太郎の人間関係に関する情報には、たとえば、太郎とスマートフォンの通信履歴などが有用である。通信履歴からは、特定の通信相手との通話やデータの送受信の頻度がわかるからである。一般に、送受信の頻度が高いほど、通話相手や送受信の相手と親密度が高いといえる。
なお、制御部50は、乗員による発話音声が入力部20によってテキスト情報に変換されなかった場合、乗員による発話音声をそのまま音声信号としてネットワーク100を介して人工知能110へ送信する。上述したように、音声信号を受信した人工知能110は、音声認識部111によって音声認識を行い、受信した音声信号をテキスト情報に変換する。人工知能110の音声認識部111の音声認識力は、入出力装置10の音声認識部22の音声認識力よりも高度な認識精度を有している場合、入出力装置10で音声認識ができなかったとしても、人工知能110で正しく音声認識が行われる。
なお、人工知能110から送信された応答テキスト情報が一つであった場合でも、判断規則にしたがって選択可か、選択不可かを判別する。選択可であれば、情報選択部70は、その応答テキスト情報を乗員に提供する応答文として採用するが、選択不可の場合は、「検索できませんでした。再度、入力してください」のような応答文を選択する。
ステップ200において、制御部50は、音声対話の終了か否かを判定する。制御部50は、たとえば、車両のシステムオフ操作が行われると、制御部50は、乗員との音声対話を終了させる。制御部50は、音声対話を終了することを人工知能110へネットワーク100を介して送信する。
一方、制御部50は、車両のシステムオフ操作が行われない場合は、ステップS150へ戻り、上述した処理を繰り返す。
人工知能110は、入出力装置10から特定された乗員を示す情報を受信すると、応答文を応答テキスト情報として生成する。回答生成部112には、応答文の生成規則や、発話意図に対する応答文のパターンを格納する情報記憶部112aが含まれている。そのため、回答生成部112は、様々な態様で、応答テキスト情報を生成することができる。
上述したように、回答生成部112は、複数の応答文(応答テキスト情報)を生成するものとする。複数の応答文を生成する理由は、太郎にとってより好ましい応答文を選択可能にするためである。
情報選択部70は、情報記憶部71に格納されている判断規則に基づいて、人工知能110から送信された複数の応答テキスト情報から一つの応答テキスト情報を、乗員に提供する応答文として選択する。判断規則を例示すると、以下の通りである。
情報選択部70は、乗員の中の発話者と入出力装置10との対話の内容が、発話者以外の乗員に聞かれる可能性がある場合には、発話者にとって好ましい応答テキスト情報を選ぶ。以下に、いくつかの場面を例示する。
車内に太郎と恋人Aが乗車していて、かつ、人工知能110から送信された応答テキスト情報に、太郎と恋人A以外の他の人物B(第三者)に関連する内容が含まれている場合、情報選択部70は、人工知能110から送信された応答テキスト情報から太郎と恋人Aとに関連する応答テキスト情報を選ぶ。換言すると、情報選択部70は、人工知能110から送信された応答テキスト情報から人物Bに関連する応答テキスト情報を除外する。第三者に関連する内容とは、応答テキスト情報に、第三者の名称や言動が含まれていることをいう。
車内に太郎と太郎の家族(全員)が乗車していて、かつ、人工知能110から送信された応答テキスト情報に、太郎の家族の一部Cに関連する内容が含まれている場合、情報選択部70は、人工知能110から送信された応答テキスト情報から太郎と家族(全員)とに関連する応答テキスト情報を選ぶ。換言すると、情報選択部70は、人工知能110から送信された応答テキスト情報から太郎の家族の一部Cに関連する応答テキスト情報を除外する。
車内に太郎と太郎の家族の一部Cが乗車していて、かつ、人工知能110から送信された応答テキスト情報に、乗車しなかった太郎の家族D(第三者)に関連する内容が含まれている場合、情報選択部70は、人工知能110から送信された応答テキスト情報から太郎と家族Cとに関連する応答テキスト情報を選ぶ。換言すると、情報選択部70は、人工知能110から送信された応答テキスト情報から家族Dに関連する応答テキスト情報を除外する。
車内に太郎と人物P1および人物P2が乗車していて、かつ、人工知能110から送信された応答テキスト情報に、太郎の仕事上の関係があるQ3会社の人物P3(第三者)に関連する内容が含まれている場合、情報選択部70は、人工知能110から送信された応答テキスト情報から太郎と人物P1と人物P2とに関連する応答テキスト情報を選ぶ。換言すると、情報選択部70は、人工知能110から送信された応答テキスト情報から、乗車していない人物P3に関連する応答テキスト情報を除外する。
情報選択部70は、乗員の中の発話者と入出力装置10との対話の内容が、発話者以外に聞かれる可能性がない場合には、合理的な観点のみに基づいて応答テキスト情報を選ぶ。以下に、想定される場面を例示する。
車内に太郎のみが存在し、太郎以外に乗員がいない場合には、情報選択部70は、人工知能110から送信された全ての応答テキスト情報に対して合理的な観点から順位を付け、最も順位が高い応答テキスト情報を選ぶ。同乗者がいなければ、同乗者の気分を害するか否かを考慮する必要がないからである。
入出力装置10の制御部50に対し、図5に例示した処理を実行させるプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムを入出力装置10へ供給してもよい。「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。「コンピュータシステム」とは、OS(Operating System)や周辺機器のハードウェアを含むものとする。
コンピュータ952は、上記プログラムを提供するサーバーコンピュータであり、ハードディスク等の記録媒体954にプログラムを格納している。通信回線900は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ952は、記録媒体954からプログラムを読み出し、通信回線900を介してプログラムを入出力装置10に送信する。すなわち、プログラムをデータ信号として搬送波により搬送して、通信回線900を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。
(1)人物と音声対話を行う対話装置は、周囲の人物を認識する認識部40と、情報を音声により入出力する入力部20および出力部30と、入力部20に入力された発話意図に応答する応答文を人工知能110から取得する制御部50と、発話意図を発した人物(太郎)を特定する認識部40と、応答文が特定された人物(太郎)にとって好ましい情報か否かを判断し、好ましいと判断された応答文を出力部30から出力させる制御部50とを備える対話機能を有する。このように構成したので、上記例における太郎が他の乗員に知られたくない情報が出力部30から再生されることを防止できる。
(変形例1)
以上では、車両に搭載されたナビゲーションの一つの機能としての対話装置を一例として説明した。しかし、本発明はこのような一例に限定されず、家庭内などで単独の商品として使用される対話装置(スマートフォン、さらには、AIスピーカあるいはスマートスピーカと呼ばれる、AIアシスタント機能を備えたスピーカ、さらには感情認識ヒューマノイドロボットなど)にも適用できる。
たとえば、家庭で使用されることを想定した対話装置について以下、説明する。
前提として、この家族は、父親、母親、長男、次男の4人家族である。
問題となるシチュエーションは、母親と子供たちには父親に知られたくない秘密事項があり、対話装置の周囲に家族全員がそろっている場合、上記秘密事項に関連した情報は対話装置から出力しないようにする。この場合、母親が秘密事項を特定する情報を対話装置の選択情報部70に設定し、父親が一緒に対話装置を利用するときには、秘密情報を出力しないようにすればよい。たとえば、父親が、母親の体重について対話装置に質問した場合は「その質問にはお答えできません」といったように対話装置は返答を拒否するだろう。一方で、母親がダイエット中であることが家族で共有化されている場合(日常の家族の会話内容を対話装置がモニタリングしており、対話装置がそのことを認識している場合)にあっては、あえて母親の体重(必要に応じて実際の体重よりも少なめの値)を回答することもあろう。さらには、父親と母親との親密度(仲の良さ)に応じて、母親の体重を回答するか否かを選択してもよいだろう。その親密度を測るパラメータとしては、たとえば対話装置がモニタリングしている日常生活における夫婦間の会話量(笑い声や笑顔の頻度などをも含む)を参酌するのがよいだろう。親密度を測るその他のパラメータとしては、家族であれば、メール送受信回数(電話連絡回数も含む)、外食の頻度、互いの名前を呼び合う回数などが考えられる。他人であれば、互いの家族構成を知っているか否か、互いの趣味を知っているか否か、年賀状のやりとりを毎年行っているか否かなどのパラメータを加味してもよいだろう。家族構成を知っているか否か、趣味を知っているか否かについてはウェアラブルのライフログカメラ(あるいはレコーダ)の記録情報に基づいて判断できるであろうし、年賀状のやりとりをしているか否かは、年賀状データベースを参酌すればよい。
あるいは、企業の一部門で使用されることを想定した対話装置について以下、説明する。前提として、この部門に所属する部員は、第1課長の小林、第1課の課員である鈴木、山田、第2課長の山本、第2課の課員である斎藤とする。
問題となるシチュエーションは、第1課と第2課は、社内で売り上げを争う間柄であり、第1課と第2課に所属する課長、課員が対話装置を一緒に利用する場合、互いに知られたくない秘密事項に関連した情報は対話装置から出力しないようにする。この場合、第1課および第2課の所属員が秘密事項を特定する情報を対話装置の選択情報部70に設定し、第1課と第2課が一緒に対話装置を利用するときには、秘密情報を出力しないようにすればよい。
なお、秘密事項を特定する情報は、機械学習などで対話装置自身が設定するようにしてもよい。
対話装置の周囲の人物以外の人物に関する情報,たとえば、対話装置の周囲にいない人物の名称や言動はすべて好ましくない情報として対話装置から出力しないようにしてもよい。
したがって、人口知能は、機械学習、深層学習などを通して以下のような学習を行う。すなわち、対話装置が認識した家族の構成員、同一企業の同一部門や異なる部門の所属員、利害関係がある複数の企業の所属員、交友関係がある人物などに関して、人間関係を悪化させる情報、気分を害する情報、競争あるいは競合関係にある情報、秘密性の高い情報を学習する。そして、学習内容にしたがって、対話装置の周囲の人物にとって好ましくない情報を出力しないにようにした。換言すると、好ましい情報だけを出力するようにした。
たとえば、対話装置が発話者(質問者)を認識できても、それ以外の人物を認識できない(人物であると認識できるがそれが誰なのか認証できるまでには至らない)場合には、対話装置が回答する前に「太郎さん、あなた以外に見知らぬ方がいらっしゃいますが、このまま回答してもよろしいですか?」といったように発話者に回答の事前承諾を得てもよい。
Claims (11)
- 車両の乗員の要求入力に基づいて行先推奨を行うナビゲーション装置であって、
前記車両の乗員の認識を行う認識部と、
前記要求入力に対応する前記行先推奨の候補を示す候補情報であって、前記要求入力より前に行先推奨が行われた際における前記車両の乗員の情報を対応付けた前記候補情報を導出し、
導出した前記候補情報から、前記認識部が認識した乗員に好ましくない情報を含む候補情報を除外した候補情報の中から行先推奨を行うように制御する制御部と、
を備えたナビゲーション装置。 - 前記乗員の認識は、画像認識によって行われることを特徴とする請求項1に記載のナビゲーション装置。
- 前記制御部は、前記乗員の認識結果に基づいて乗員が単数の場合と複数の場合とで前記行先推奨の内容を変更することを特徴とする請求項1または請求項2に記載のナビゲーション装置。
- 前記制御部は、前記乗員が複数の場合は単数の場合より前記行先推奨の内容を制限することを特徴とする請求項1~請求項3の何れか1項に記載のナビゲーション装置。
- 前記制御部は、前記乗員の認識結果により特定された単数もしくは複数の乗員の各種行動履歴を示す行動情報に基づいて前記行先推奨を行うことを特徴とする請求項1~請求項4の何れか1項に記載のナビゲーション装置。
- 前記認識部が認識した乗員に好ましくない情報は、前記要求入力した乗員と他の乗員との間における人間関係を悪化させる情報である請求項1~請求項5の何れか1項に記載のナビゲーション装置。
- さらに、音声認識部を備え、
前記乗員の発する音声を、前記音声認識部が認識することにより、前記要求入力がなされることを特徴とする請求項1~請求項6の何れか1項に記載のナビゲーション装置。 - 音声出力部をさらに備え、
前記行先推奨は、前記音声出力部から、音声の出力により行われることを特徴とする請求項1~請求項7の何れか1項に記載のナビゲーション装置。 - 前記認識部は、
前記乗員のジェスチャーを認識し、
前記制御部は前記ジェスチャーの認識結果により前記行先推奨の内容を制御することを特徴とする請求項1~請求項8の何れか1項に記載のナビゲーション装置。 - 請求項1~請求項9の何れか1項のナビゲーション装置を搭載した車両。
- 車両の乗員の要求入力に基づいて行先推奨を行うナビゲーション方法であって、
前記車両の乗員の認識を行い、
前記要求入力に対応する前記行先推奨の候補を示す候補情報であって、前記要求入力より前に行先推奨が行われた際における前記車両の乗員の情報を対応付けた前記候補情報を導出し、
導出した前記候補情報から、認識した乗員に好ましくない情報を含む候補情報を除外した候補情報の中から行先推奨を行うように制御する
処理をコンピュータが実行するナビゲーション方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/046791 WO2020129182A1 (ja) | 2018-12-19 | 2018-12-19 | 対話装置、対話システムおよび対話プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020129182A1 JPWO2020129182A1 (ja) | 2021-10-14 |
JP7207425B2 true JP7207425B2 (ja) | 2023-01-18 |
Family
ID=71101155
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020560701A Active JP7207425B2 (ja) | 2018-12-19 | 2018-12-19 | 対話装置、対話システムおよび対話プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210404830A1 (ja) |
JP (1) | JP7207425B2 (ja) |
WO (1) | WO2020129182A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4213481A4 (en) * | 2020-09-10 | 2023-11-01 | Nissan Motor Co., Ltd. | INFORMATION OUTPUT DEVICE AND INFORMATION OUTPUT METHOD |
CN115461810A (zh) * | 2021-04-09 | 2022-12-09 | 松下知识产权经营株式会社 | 对发话设备进行控制的方法、服务器、发话设备以及程序 |
JP7350384B1 (ja) | 2022-05-30 | 2023-09-26 | 真由美 稲場 | 対話システム、及び対話方法 |
CN115840806B (zh) * | 2022-12-16 | 2023-09-05 | 深圳市人马互动科技有限公司 | 基于自然语言交互获取剧情信息的方法及相关装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009282704A (ja) | 2008-05-21 | 2009-12-03 | Denso Corp | 自動車用情報提供システム |
WO2016158792A1 (ja) | 2015-03-31 | 2016-10-06 | ソニー株式会社 | 情報処理装置、制御方法、およびプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120215641A1 (en) * | 2011-02-17 | 2012-08-23 | Honda Motor Co., Ltd. | System and method for determining destination characteristics of vehicle operators |
US8688290B2 (en) * | 2011-12-27 | 2014-04-01 | Toyota Motor Enginerring & Manufacturing North America, Inc. | Predictive destination entry for a navigation system |
WO2014172380A1 (en) * | 2013-04-15 | 2014-10-23 | Flextronics Ap, Llc | Altered map routes based on user profile information |
US9591396B2 (en) * | 2015-01-21 | 2017-03-07 | Lg Electronics Inc. | Ear set device |
US9610510B2 (en) * | 2015-07-21 | 2017-04-04 | Disney Enterprises, Inc. | Sensing and managing vehicle behavior based on occupant awareness |
US20190207946A1 (en) * | 2016-12-20 | 2019-07-04 | Google Inc. | Conditional provision of access by interactive assistant modules |
-
2018
- 2018-12-19 WO PCT/JP2018/046791 patent/WO2020129182A1/ja active Application Filing
- 2018-12-19 JP JP2020560701A patent/JP7207425B2/ja active Active
- 2018-12-19 US US17/294,539 patent/US20210404830A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009282704A (ja) | 2008-05-21 | 2009-12-03 | Denso Corp | 自動車用情報提供システム |
WO2016158792A1 (ja) | 2015-03-31 | 2016-10-06 | ソニー株式会社 | 情報処理装置、制御方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2020129182A1 (ja) | 2021-10-14 |
US20210404830A1 (en) | 2021-12-30 |
WO2020129182A1 (ja) | 2020-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11575784B1 (en) | System and method for modifying the operational state of a telecommunication application using conversational processing | |
JP7207425B2 (ja) | 対話装置、対話システムおよび対話プログラム | |
KR102050334B1 (ko) | 언어 모델을 사용한, 메시지들에서 수신되는 이미지들에 대한 자동적인 제안 응답들 | |
CN110998725B (zh) | 在对话中生成响应 | |
US10375236B1 (en) | Computer control of online social interactions based on conversation processing | |
US11093536B2 (en) | Explicit signals personalized search | |
US20180070203A1 (en) | Global contact synchronization | |
US20150278730A1 (en) | Situational and global context aware calendar, communications, and relationship management | |
CN108205627A (zh) | 交互式助理模块对访问的有条件提供 | |
CN106910513A (zh) | 情绪智能聊天引擎 | |
WO2017163515A1 (ja) | 情報処理システム、情報処理装置、情報処理方法、および記録媒体 | |
US20170316451A1 (en) | Information processing apparatus and information processing method | |
WO2020209230A1 (ja) | 情報処理システム、情報処理方法、及びプログラム | |
KR102359228B1 (ko) | 맞춤형 대화 연결 서비스 제공방법 | |
US11961516B1 (en) | System and method for modifying operations of telecommunication devices using conversation processing | |
US20240233717A9 (en) | System and method for modifying operations of telecommunication devices using conversation processing | |
McCain | A Qualitative Investigation of Electronic Technology Effects on Interpersonal Communication Satisfaction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210518 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220621 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220822 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221219 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7207425 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |