WO2020129182A1 - 対話装置、対話システムおよび対話プログラム - Google Patents
対話装置、対話システムおよび対話プログラム Download PDFInfo
- Publication number
- WO2020129182A1 WO2020129182A1 PCT/JP2018/046791 JP2018046791W WO2020129182A1 WO 2020129182 A1 WO2020129182 A1 WO 2020129182A1 JP 2018046791 W JP2018046791 W JP 2018046791W WO 2020129182 A1 WO2020129182 A1 WO 2020129182A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information
- unit
- dialogue
- input
- speaker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3605—Destination input or retrieval
- G01C21/3608—Destination input or retrieval using speech input, e.g. using speech recognition
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3605—Destination input or retrieval
- G01C21/3617—Destination input or retrieval using user history, behaviour, conditions or preferences, e.g. predicted or inferred from previous use or current movement
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Definitions
- an algorithm such that the reading device 42 obtains information and the camera 41 takes an image of an occupant may be adopted.
- the stored information acquired by the reading device 42 and the characteristic amount information associated with this information are used to identify an occupant.
- the number of cameras 41 included in the recognition unit 40 is not limited to one.
- the camera 41 for example, a plurality of cameras 41 may be arranged for each seat in the vehicle.
- FIG. 3 is a diagram illustrating a configuration of the artificial intelligence 110.
- the artificial intelligence 110 includes a voice recognition unit 111, an answer generation unit 112, a voice synthesis unit 113, a control unit 114, and a communication unit 115.
- the communication unit 115 has a function of communicating with the input/output device 10 as an external device.
- Communication unit 115 realizes, for example, a voice call for transmitting/receiving a voice signal to/from input/output device 10, and transmits/receives text information to/from input/output device 10.
- the answer sentence that is preferable to both Taro and Hanako is Candidate 1 or Candidate 3 (If Candidate 1 is not selected by Taro or Hanako, Candidate 3 is recommended next), and the unfavorable answer sentence is Candidate 2 and candidate 6 are obtained.
- Candidates 4 and 5 are selected as preferred answer sentences when the accompanying persons Q and D are male (or even if the accompanying persons include a woman, but are not a one-on-one group). May be.
- the answer generation unit 112 of the artificial intelligence 110 again generates the response sentence “Shall I help you?”. Since these response sentences are transmitted from the artificial intelligence 110 to the input/output device 10 and reproduced from the output unit 30, they are transmitted to Taro and Hanako. After that, the dialogue can be repeated in the same manner.
- FIG. 5 is a flowchart for explaining the flow of operations executed by the dialogue system in the above-mentioned dialogue example.
- the control unit 50 of the input/output device 10 starts the process shown in FIG. 5, for example, when the system-on operation of the vehicle is performed.
- the flow of the interactive operation is described as the flow of processing by the control unit 50 of the input/output device 10, but it may be configured to be shared with the control units of devices other than the input/output device 10. ..
- step S110 of FIG. 5 the control unit 50 detects the occupant of the vehicle by inputting the following information. 1.
- the feature amount information obtained based on the face image of the person in the vehicle captured by the camera 41 of the recognition unit 40 is input to the control unit 50 from the recognition unit 40.
- the information acquired by the reading device 42 of the recognition unit 40 is input to the control unit 50 from the recognition unit 40.
- the voiceprint information obtained based on the voice of the occupant input to the microphone 21 of the input unit 20 may be input to the control unit 50 from the input unit 20.
- Example 1 When the occupant is Taro and Taro's lover A, Taro and lover A are in the car, and the response text information transmitted from the artificial intelligence 110 is a person other than Taro and lover A.
- the information selection unit 70 selects response text information related to Taro and lover A from the response text information transmitted from the artificial intelligence 110. In other words, the information selection unit 70 excludes the response text information related to the person B from the response text information transmitted from the artificial intelligence 110.
- the content related to the third party means that the response text information includes the third party's name and behavior.
- Example 4 When the occupant is the person P1 of the company Q1 and the person P2 of the company Q2 having a business relationship with Taro and the person P1 and the person P2 in the vehicle, and the artificial intelligence 110
- the information selection unit 70 transmits the information from the artificial intelligence 110.
- the response text information related to Taro, the person P1 and the person P2 is selected from the response text information.
- the information selection unit 70 excludes the response text information related to the person P3 who has not boarded, from the response text information transmitted from the artificial intelligence 110.
- the information selecting unit 70 may output the response text information based on only a rational viewpoint. Choose. The following is an example of a possible scene.
- the problematic situation is that if mothers and children have secrets that the father does not want the father to know, and if the entire family is around the dialogue device, the information related to the above secrets should not be output from the dialogue device.
- the mother may set the information specifying the confidential matter in the selection information section 70 of the dialogue device so that the secret information is not output when the father uses the dialogue device together.
- Other parameters for measuring the degree of intimacy may be the number of times emails are sent and received (including the number of telephone contacts), the frequency of eating out, and the number of times each other's names are called in the case of a family. Others may consider parameters such as whether they know each other's family structure, whether they know each other's hobbies, and whether they exchange New Year's cards every year. Whether you know the family structure or whether you know your hobbies can be judged based on the recorded information of the wearable life log camera (or recorder), and whether you are exchanging New Year's cards, You can refer to the New Year's card database.
- Modification 3 Information about persons other than the person around the dialogue device, for example, names and behaviors of persons not around the dialogue device may not be output from the dialogue device as unfavorable information.
- the interactive device is always set to a state where there is no limit on the answers, and the gesture of the speaker (for example, the gesture "Shih" with the index finger attached to the mouth) is recognized for the first time. It is also possible to limit the answers (confidential mode).
- This secret mode is continuously set after the gesture of the speaker is recognized and until the use of the interactive device is completed. Of course, this secret mode may be set/released by button operation.
- the individual usage patterns of the navigation device used in the vehicle space or the smart speaker used in the home or the like have been described.
- these navigation devices are connected to the smart speaker in the home
- the present invention can be applied to a case where a navigation device, a home smart speaker, and a glasses-type wearable device (including VR goggles) are three-way connected (such as using an information service such as telematics).
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Social Psychology (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Navigation (AREA)
Abstract
Description
本発明の第2の態様によると、対話機能を有する対話システムは、質問を認識し、前記質問に対する回答を出力する対話システムにおいて、標準的な第1回答を出力する第1回答モードと、周囲環境を考慮した第2回答を出力する第2回答モードと、を有する対話部と、質問者のジェスチャーを認識する認識部と、前記ジェスチャーが認識された場合、前記第1回答モードから前記第2回答モードへ切り替える制御を行う制御部とを備える。
本発明の第3の態様によると、対話プログラムは、発話者と音声対話を行う対話装置に搭載されるコンピュータに実行させるプログラムであって、周囲の環境を認識する処理と、情報を入力する処理と、前記入力された第1情報に応答する第2情報を生成する処理と、前記第1情報を発した発話者を特定する処理と、前記第2情報が、前記認識された周囲の環境もしくは前記特定された発話者にとって好ましい情報か否かを判断し、好ましいと判断された前記第2情報を出力する処理と、を実行させる。
本実施の形態では、車両の乗員が、音声によりナビゲーション装置200に案内を要求する状況を例に説明する。対話システムは、入出力装置10、人工知能(Artificial Intelligence)110、データベース120、およびナビゲーション装置200により構成される。入出力装置10、人工知能110、データベース120は、ネットワーク100を介して接続されている。
なお、入出力装置10およびナビゲーション装置200は、一体に構成してもよい。一体に構成した場合、一体構成したナビゲーション装置200がネットワーク100に接続される。
また、ナビゲーション装置200を設ける代わりに、ナビゲーションサービスを提供するクラウドサーバーをネットワーク100に接続可能に設け、入出力装置10とクラウドサーバーとをネットワーク100を介して接続する構成にしてもよい。
入出力装置10は、発話者が発した音声を入力するとともに、対話システムで合成された音声を出力する。図2は、入出力装置10の構成を例示する図である。入出力装置10は、入力部20、出力部30、認識部40、制御部50、通信部60、および情報選択部70を備える。
入力部20は、入出力装置10のユーザ、本実施の形態では車両の乗員からの発話音声を受け付ける機能を有する。このため、入力部20は、音声を入力して電気的な音声信号に変換するマイクロフォン21と、入力された音声を認識する音声認識部22とを含んで構成される。音声認識部22は、入力された音声をテキスト情報に変換(テキスト化)することもできる。
なお、入力部20のマイクロフォン21は、たとえば、乗員の着座位置に合わせて集音できるように、複数台が配置されていてもよい。
出力部30は、車両の乗員に対して音声情報や視覚情報を提供する機能を有する。このため、出力部30は、スピーカ31と表示部32を含んで構成される。スピーカ31は、音声情報として合成音声を再生する。合成音声は、出力部30により、たとえば上記テキスト情報を読み上げ処理するなどして生成される。出力部30は、入力された音声をテキスト情報に変換することなしに、音声信号に基づく再生音声をスピーカ31から再生させることもできる。
また、液晶ディスプレー装置などで構成される表示部32は、視覚情報としてテキスト画面を表示する。テキスト画面は、テキスト情報に基づいて生成される。
認識部40は、車両の乗員の特定に用いられる情報を得るための画像認識機能を有する。このため、認識部40は、静止画像または動画像を撮像するカメラ41を含んで構成される。認識部40は、カメラ41によって撮像された画像に基づき、車内の人物の顔を認識し、顔部分の画像から得た特徴量情報を記憶する。記憶された特徴量情報は、乗員の特定に用いられる。
また、認識部40は、乗員のID、たとえば免許証等の情報(番号等)を取得する読み取り装置42を含んでもよい。認識部40は、読み取り装置42によって取得した情報と、カメラ41によって撮像された乗員の顔画像に基づく特徴量情報とを対応づけて記憶する。この対応付けは、たとえば、読み取り装置42による情報の取得と、カメラ41による乗員の撮像とを対でおこなうようなアルゴリズムを採用すればよい。記憶された、読み取り装置42による取得情報およびこの情報に対応づけられた特徴量情報は、乗員の特定に用いられる。
なお、認識部40に備えられるカメラ41は、1台に限定されない。カメラ41は、たとえば、車内の座席ごとに複数のカメラ41が配置されていてもよい。
制御部50は、たとえばマイクロプロセッサ又はマイクロコンピュータ等により構成され、入出力装置10が備える各構成の動作を制御する機能を有する。制御部50は、入力部20による入力制御、出力部30による出力制御、認識部40による認識制御、通信部60による通信制御、情報選択部70による選択制御などを行う。
通信部60は、外部機器としてのナビゲーション装置200、人工知能110、およびデータベース120と通信を行う機能を有する。通信部60は、制御部50からの指示に基づき、ナビゲーション装置200に対して目的地を探索させる指示や、目的地へルート案内させる指示を送信する。また、通信部60は、制御部50からの指示に基づき、人工知能110との間で音声信号やテキスト情報を送受信する。さらにまた、通信部60は、制御部50からの指示に基づき、データベース120との間でデータを送受信する。通信部60とネットワーク100との間は、有線又は無線により接続可能である。
通信部60はさらに、乗員が携帯するスマートフォン(不図示)とBluetooh(登録商標)などの近距離無線通信を行うこともできる。
情報選択部70は、出力部30から車両の乗員に提供される情報を選択する機能を有する。情報選択部70は、たとえば、ナビゲーション装置200によって複数の目的地が得られた場合には、乗員に提供する目的地を選択する。たとえば、情報選択部70は合理的な観点により、現在位置から近い目的地を選ぶ。
このように、情報選択部70は、人工知能110によって生成された応答文を車内で提供するか否かを判断する判断部としても機能する。
図3は、人工知能110の構成を例示する図である。人工知能110は、音声認識部111、回答生成部112、音声合成部113、制御部114、および通信部115を備える。
音声認識部111は、通信部115によって受信された入出力装置10からの音声信号を入力し、入力された音声を認識する機能を有する。音声認識部111はさらに、入力された音声をテキスト情報に変換(テキスト化)する。なお、通信部115によって入出力装置10からのテキスト情報が受信された場合には、音声認識部111によるテキスト化処理は省略される。
回答生成部112は、テキスト情報に基づいて、乗員の発話意図を抽出する機能を有する。たとえば、「イタリアンレストランへ行きたい。」、「イタリアンレストランへ案内して。」、「イタリアンレストランがいいな。」などの場合は、「イタリアンレストランを探して。」という発話意図とする。
音声合成部113は、応答テキスト情報を読み上げ処理するなどして合成音声を生成する機能を有する。合成音声は、通信部115を介して入出力装置10へ送信される。
なお、入出力装置10から送信されたテキスト情報が通信部115によって受信されている場合には、音声合成部113による合成音声を生成する処理は省略される。そのため、回答生成部112で生成された応答テキスト情報が、通信部115を介して入出力装置10へ送信される。
制御部114は、たとえばコンピュータ装置等により構成され、人工知能110が備える各構成の動作を制御する機能を有する。また、本実施の形態に係る制御部114は、各構成による処理の結果を構成間で連携する機能を有する。
通信部115は、外部機器としての入出力装置10と通信を行う機能を有する。本実施の形態に係る通信部115は、たとえば、入出力装置10と音声信号を送受する音声通話を実現したり、入出力装置10とテキスト情報を送受したりする。
図4は、データベース120の構成を例示する図である。データベース120は、行動情報DB121、関係情報DB122、制御部123、および通信部124を備える。
行動情報DB121は、入出力装置10のユーザの行動に関する情報を記憶するデータベースである。本実施の形態に係る行動情報DB121は、たとえば、ユーザのID、氏名、生年月日、職業、性別、出身地、性格、趣味、などの基本情報と、ユーザの行動履歴などを記憶する。行動履歴は、通勤(通学)履歴や、飲食店、販売店、ジム、理容店、病院、学校(セミナー、塾など)等の利用履歴を含む。
関係情報DB122は、ユーザの人間関係に関する情報を記憶するデータベースである。本実施の形態に係る関係情報DB122は、たとえば、ユーザのID、氏名、生年月日、職業、性別、出身地、性格、趣味、などの基本情報と、ユーザの家族、恋人、友人、仕事仲間、趣味仲間に関する情報などを記憶する。
制御部123は、たとえばマイクロプロセッサ又はマイクロコンピュータ等により構成され、データベース120が備える各構成を制御する機能を有する。本実施の形態に係る制御部123は、たとえば、入出力装置10からの要求信号に基づいて、行動情報DB121や関係情報DB122に記憶される情報を検索し、当該情報を取得することができる。
通信部124は、外部機器としての入出力装置10、および人工知能110と通信を行う機能を有する。通信部124は、たとえば、入出力装置10からユーザIDなどの基本情報を受信し、当該情報に基づいて行動情報DB121および関係情報DB122を参照し、ユーザに関する情報を入出力装置10に送信する。
本実施の形態では、入出力装置10のユーザの名前を太郎とする。太郎は、たとえば、入出力装置10が搭載されている車両に、恋人の花子とともに乗車しているものとする。そのため、対話システムは太郎および花子と対話を行う。
なお、対話システムは、太郎あるいは花子からの発声(「OK, 〇×」や「Hey,□△」など)に基づいて対話を開始してもよい。
人工知能110は、ナビゲーション装置200による探索結果に基づき、X店とY店とZ店の種々の情報を、たとえば、飲食店の情報を提供する不図示のポータルサイトから取得してもよい。
候補1「X店は、ランチタイムサービスがあります。約1ヶ月前に、太郎様と花子様をご案内しました。」
候補2「X店は、ランチタイムサービスがあります。約2ヶ月前に、太郎様とさくら様と次郎様をご案内しました。」
候補3「Y店は、パスタが評判です。約2ヶ月前に、太郎様をご案内しました。」
候補4「Y店は、パスタが評判です。約2週間前に、太郎様と○○会社のQ様をご案内しました。」
候補5「Y店は、パスタが評判です。約半年前に、太郎様とD様をご案内しました。」
候補6「Z店は、カルパッチョとワインが評判です。でも、運転者はお酒を飲むことができません。」
これらの応答文の候補は、応答テキスト情報として人工知能110から入出力装置10へ送られる。この時点では、応答文の候補が出力部30から再生されることはなく、いずれの応答文の候補も太郎および花子に伝えられない。
つまり、この例の場合において、太郎および花子の両者にとって好ましい回答文は候補1や候補3(候補1が太郎あるいは花子によって選択されなかったときには候補3を次に推奨する)、好ましくない回答文は候補2および候補6となる。候補4や候補5については、同伴した人物Q、Dが男性であった場合(あるいは同席者に仮に女性が含まれるとしても一対一ではなくてグループだった場合)には好ましい回答文として選択してもよい。人物Q、Dの属性データ(性別など)については、太郎のスマートフォンの電子メール(メッセンジャーアプリを含む)における送受信履歴および送受信内容(相手名、アポイントメント、日時、店名を含めたやりとりなど)から推測することができよう。
なお、回答文の候補を選択するパラメータとしては、太郎と花子(つまり発話者もしくは発話者と同席者)の過去の行動履歴を参酌してもよい。たとえば過去に訪れた店舗のうち、「料理・味」、「雰囲気」、「接客サービス」、「コストパフォーマンス」を評価項目とした総合評価が高いものから優先的に候補とするのが好ましいだろう。これらの一連の評価は、太郎あるいは花子のスマートフォンに記録された行動履歴(会話履歴を含むライフログなど)あるいは太郎もしくは花子が行なったウェブサイト上での店舗評価を参酌するとよい。
図5は、上記対話例において、対話システムが実行する動作の流れを説明するフローチャートである。入出力装置10の制御部50は、たとえば、車両のシステムオン操作が行われると、図5による処理を開始させる。
本実施の形態では、対話動作の流れを入出力装置10の制御部50による処理の流れとして説明するが、入出力装置10以外の他の機器の制御部と分担して行う構成にしてもよい。
1.制御部50に、認識部40のカメラ41に写る車内の人物の顔画像に基づいて得られた特徴量情報が、認識部40から入力される。
2.制御部50に、認識部40の読み取り装置42によって取得された情報が、認識部40から入力される。
なお、制御部50に、入力部20のマイクロフォン21に入力された乗員の音声に基づいて得られた声紋情報が、入力部20から入力されるようにしてもよい。
関係情報DB122に格納される太郎の人間関係に関する情報には、たとえば、太郎とスマートフォンの通信履歴などが有用である。通信履歴からは、特定の通信相手との通話やデータの送受信の頻度がわかるからである。一般に、送受信の頻度が高いほど、通話相手や送受信の相手と親密度が高いといえる。
なお、制御部50は、乗員による発話音声が入力部20によってテキスト情報に変換されなかった場合、乗員による発話音声をそのまま音声信号としてネットワーク100を介して人工知能110へ送信する。上述したように、音声信号を受信した人工知能110は、音声認識部111によって音声認識を行い、受信した音声信号をテキスト情報に変換する。人工知能110の音声認識部111の音声認識力は、入出力装置10の音声認識部22の音声認識力よりも高度な認識精度を有している場合、入出力装置10で音声認識ができなかったとしても、人工知能110で正しく音声認識が行われる。
なお、人工知能110から送信された応答テキスト情報が一つであった場合でも、判断規則にしたがって選択可か、選択不可かを判別する。選択可であれば、情報選択部70は、その応答テキスト情報を乗員に提供する応答文として採用するが、選択不可の場合は、「検索できませんでした。再度、入力してください」のような応答文を選択する。
ステップ200において、制御部50は、音声対話の終了か否かを判定する。制御部50は、たとえば、車両のシステムオフ操作が行われると、制御部50は、乗員との音声対話を終了させる。制御部50は、音声対話を終了することを人工知能110へネットワーク100を介して送信する。
一方、制御部50は、車両のシステムオフ操作が行われない場合は、ステップS150へ戻り、上述した処理を繰り返す。
人工知能110は、入出力装置10から特定された乗員を示す情報を受信すると、応答文を応答テキスト情報として生成する。回答生成部112には、応答文の生成規則や、発話意図に対する応答文のパターンを格納する情報記憶部112aが含まれている。そのため、回答生成部112は、様々な態様で、応答テキスト情報を生成することができる。
上述したように、回答生成部112は、複数の応答文(応答テキスト情報)を生成するものとする。複数の応答文を生成する理由は、太郎にとってより好ましい応答文を選択可能にするためである。
情報選択部70は、情報記憶部71に格納されている判断規則に基づいて、人工知能110から送信された複数の応答テキスト情報から一つの応答テキスト情報を、乗員に提供する応答文として選択する。判断規則を例示すると、以下の通りである。
情報選択部70は、乗員の中の発話者と入出力装置10との対話の内容が、発話者以外の乗員に聞かれる可能性がある場合には、発話者にとって好ましい応答テキスト情報を選ぶ。以下に、いくつかの場面を例示する。
車内に太郎と恋人Aが乗車していて、かつ、人工知能110から送信された応答テキスト情報に、太郎と恋人A以外の他の人物B(第三者)に関連する内容が含まれている場合、情報選択部70は、人工知能110から送信された応答テキスト情報から太郎と恋人Aとに関連する応答テキスト情報を選ぶ。換言すると、情報選択部70は、人工知能110から送信された応答テキスト情報から人物Bに関連する応答テキスト情報を除外する。第三者に関連する内容とは、応答テキスト情報に、第三者の名称や言動が含まれていることをいう。
車内に太郎と太郎の家族(全員)が乗車していて、かつ、人工知能110から送信された応答テキスト情報に、太郎の家族の一部Cに関連する内容が含まれている場合、情報選択部70は、人工知能110から送信された応答テキスト情報から太郎と家族(全員)とに関連する応答テキスト情報を選ぶ。換言すると、情報選択部70は、人工知能110から送信された応答テキスト情報から太郎の家族の一部Cに関連する応答テキスト情報を除外する。
車内に太郎と太郎の家族の一部Cが乗車していて、かつ、人工知能110から送信された応答テキスト情報に、乗車しなかった太郎の家族D(第三者)に関連する内容が含まれている場合、情報選択部70は、人工知能110から送信された応答テキスト情報から太郎と家族Cとに関連する応答テキスト情報を選ぶ。換言すると、情報選択部70は、人工知能110から送信された応答テキスト情報から家族Dに関連する応答テキスト情報を除外する。
車内に太郎と人物P1および人物P2が乗車していて、かつ、人工知能110から送信された応答テキスト情報に、太郎の仕事上の関係があるQ3会社の人物P3(第三者)に関連する内容が含まれている場合、情報選択部70は、人工知能110から送信された応答テキスト情報から太郎と人物P1と人物P2とに関連する応答テキスト情報を選ぶ。換言すると、情報選択部70は、人工知能110から送信された応答テキスト情報から、乗車していない人物P3に関連する応答テキスト情報を除外する。
情報選択部70は、乗員の中の発話者と入出力装置10との対話の内容が、発話者以外に聞かれる可能性がない場合には、合理的な観点のみに基づいて応答テキスト情報を選ぶ。以下に、想定される場面を例示する。
車内に太郎のみが存在し、太郎以外に乗員がいない場合には、情報選択部70は、人工知能110から送信された全ての応答テキスト情報に対して合理的な観点から順位を付け、最も順位が高い応答テキスト情報を選ぶ。同乗者がいなければ、同乗者の気分を害するか否かを考慮する必要がないからである。
入出力装置10の制御部50に対し、図5に例示した処理を実行させるプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムを入出力装置10へ供給してもよい。「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。「コンピュータシステム」とは、OS(Operating System)や周辺機器のハードウェアを含むものとする。
コンピュータ952は、上記プログラムを提供するサーバーコンピュータであり、ハードディスク等の記録媒体954にプログラムを格納している。通信回線900は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ952は、記録媒体954からプログラムを読み出し、通信回線900を介してプログラムを入出力装置10に送信する。すなわち、プログラムをデータ信号として搬送波により搬送して、通信回線900を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。
(1)人物と音声対話を行う対話装置は、周囲の人物を認識する認識部40と、情報を音声により入出力する入力部20および出力部30と、入力部20に入力された発話意図に応答する応答文を人工知能110から取得する制御部50と、発話意図を発した人物(太郎)を特定する認識部40と、応答文が特定された人物(太郎)にとって好ましい情報か否かを判断し、好ましいと判断された応答文を出力部30から出力させる制御部50とを備える対話機能を有する。このように構成したので、上記例における太郎が他の乗員に知られたくない情報が出力部30から再生されることを防止できる。
(変形例1)
以上では、車両に搭載されたナビゲーションの一つの機能としての対話装置を一例として説明した。しかし、本発明はこのような一例に限定されず、家庭内などで単独の商品として使用される対話装置(スマートフォン、さらには、AIスピーカあるいはスマートスピーカと呼ばれる、AIアシスタント機能を備えたスピーカ、さらには感情認識ヒューマノイドロボットなど)にも適用できる。
たとえば、家庭で使用されることを想定した対話装置について以下、説明する。
前提として、この家族は、父親、母親、長男、次男の4人家族である。
問題となるシチュエーションは、母親と子供たちには父親に知られたくない秘密事項があり、対話装置の周囲に家族全員がそろっている場合、上記秘密事項に関連した情報は対話装置から出力しないようにする。この場合、母親が秘密事項を特定する情報を対話装置の選択情報部70に設定し、父親が一緒に対話装置を利用するときには、秘密情報を出力しないようにすればよい。たとえば、父親が、母親の体重について対話装置に質問した場合は「その質問にはお答えできません」といったように対話装置は返答を拒否するだろう。一方で、母親がダイエット中であることが家族で共有化されている場合(日常の家族の会話内容を対話装置がモニタリングしており、対話装置がそのことを認識している場合)にあっては、あえて母親の体重(必要に応じて実際の体重よりも少なめの値)を回答することもあろう。さらには、父親と母親との親密度(仲の良さ)に応じて、母親の体重を回答するか否かを選択してもよいだろう。その親密度を測るパラメータとしては、たとえば対話装置がモニタリングしている日常生活における夫婦間の会話量(笑い声や笑顔の頻度などをも含む)を参酌するのがよいだろう。親密度を測るその他のパラメータとしては、家族であれば、メール送受信回数(電話連絡回数も含む)、外食の頻度、互いの名前を呼び合う回数などが考えられる。他人であれば、互いの家族構成を知っているか否か、互いの趣味を知っているか否か、年賀状のやりとりを毎年行っているか否かなどのパラメータを加味してもよいだろう。家族構成を知っているか否か、趣味を知っているか否かについてはウェアラブルのライフログカメラ(あるいはレコーダ)の記録情報に基づいて判断できるであろうし、年賀状のやりとりをしているか否かは、年賀状データベースを参酌すればよい。
あるいは、企業の一部門で使用されることを想定した対話装置について以下、説明する。前提として、この部門に所属する部員は、第1課長の小林、第1課の課員である鈴木、山田、第2課長の山本、第2課の課員である斎藤とする。
問題となるシチュエーションは、第1課と第2課は、社内で売り上げを争う間柄であり、第1課と第2課に所属する課長、課員が対話装置を一緒に利用する場合、互いに知られたくない秘密事項に関連した情報は対話装置から出力しないようにする。この場合、第1課および第2課の所属員が秘密事項を特定する情報を対話装置の選択情報部70に設定し、第1課と第2課が一緒に対話装置を利用するときには、秘密情報を出力しないようにすればよい。
なお、秘密事項を特定する情報は、機械学習などで対話装置自身が設定するようにしてもよい。
対話装置の周囲の人物以外の人物に関する情報,たとえば、対話装置の周囲にいない人物の名称や言動はすべて好ましくない情報として対話装置から出力しないようにしてもよい。
したがって、人口知能は、機械学習、深層学習などを通して以下のような学習を行う。すなわち、対話装置が認識した家族の構成員、同一企業の同一部門や異なる部門の所属員、利害関係がある複数の企業の所属員、交友関係がある人物などに関して、人間関係を悪化させる情報、気分を害する情報、競争あるいは競合関係にある情報、秘密性の高い情報を学習する。そして、学習内容にしたがって、対話装置の周囲の人物にとって好ましくない情報を出力しないにようにした。換言すると、好ましい情報だけを出力するようにした。
たとえば、対話装置が発話者(質問者)を認識できても、それ以外の人物を認識できない(人物であると認識できるがそれが誰なのか認証できるまでには至らない)場合には、対話装置が回答する前に「太郎さん、あなた以外に見知らぬ方がいらっしゃいますが、このまま回答してもよろしいですか?」といったように発話者に回答の事前承諾を得てもよい。
Claims (10)
- 発話者と音声対話を行う対話装置であって、
前記発話者の周囲の対象者を認識する認識部と、
情報を音声により入出力する入出力部と、
前記入出力部に入力された第1情報に応答する第2情報を生成する情報生成部と、
前記第1情報を発した発話者を特定する特定部と、
前記第2情報が前記特定部で特定された発話者にとって好ましい情報か否かを判断し、好ましいと判断された前記第2情報を前記入出力部から出力させる制御部とを備える、
対話機能を有する対話装置。 - 請求項1に記載の対話装置において、
前記発話者および前記対象者は、人物もしくは自律的に自動作業を行うロボットもしくはユーザの分身となる仮想キャラクターのいずれかを含む、対話装置。 - 請求項1または2に記載の対話装置において、
前記情報生成部は、前記第1情報に応答する複数の情報を生成し、
前記制御部は、前記認識部で認識された対象者に関連する複数の情報を前記複数の情報の中から選択し、選択した情報のうち前記特定部で特定された発話者にとって好ましい情報を前記複数の情報の中から選択し、選択した情報を前記第2情報として前記入出力部から出力させる、対話装置。 - 請求項3に記載の対話装置において、
前記制御部は、前記特定部で特定された発話者にとって好ましいか否かを、前記情報が前記認識部で認識されている全ての対象者に知られてよいか否かにより判断する、対話装置。 - 請求項3または4に記載の対話装置において、
前記制御部は、前記認識部によって認識されていない対象者の名称を含む前記情報を好ましくないと判断する、対話装置。 - 請求項3から5のいずれか一項に記載の対話装置において、
前記制御部は、前記認識部によって認識されていない対象者の言動を含む前記情報を好ましくないと判断する、対話装置。 - 質問を認識し、前記質問に対する回答を出力する対話システムにおいて、
標準的な第1回答を出力する第1回答モードと、周囲環境を考慮した第2回答を出力する第2回答モードと、を有する対話部と、
質問者のジェスチャーを認識する認識部と、
前記ジェスチャーが認識された場合、前記第1回答モードから前記第2回答モードへ切り替える制御を行う制御部とを備える、
対話機能を有する対話システム。 - 請求項7に記載の対話システムにおいて、
前記第1回答モードは、前記質問に対する前記第1回答を「何もせずにそのまま」出力し、
前記第2回答モードは、(1)前記質問に対する前記第1回答を質問者だけが認識できるように出力、もしくは(2)前記第1回答を前記質問者だけが認識できるように出力した後に、前記第2回答を前記質問者を含む他のすべての対象者に出力する、対話システム。 - 発話者と音声対話を行う対話装置に搭載されるコンピュータに、
周囲の環境を認識する処理と、
情報を入力する処理と、
前記入力された第1情報に応答する第2情報を生成する処理と、
前記第1情報を発した発話者を特定する処理と、
前記第2情報が、前記認識された周囲の環境もしくは前記特定された発話者にとって好ましい情報か否かを判断し、好ましいと判断された前記第2情報を出力する処理と、
を実行させるためのプログラム。 - 請求項9に記載のプログラムにおいて、
前記周囲の環境を認識する処理は、前記第1情報を発した発話者の周囲に他の対象者が存在するか否かを検出し、さらにその対象者が何者であるかを認識する、プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/294,539 US12247841B2 (en) | 2018-12-19 | 2018-12-19 | Navigation device, vehicle, navigation method, and non-transitory storage medium |
| PCT/JP2018/046791 WO2020129182A1 (ja) | 2018-12-19 | 2018-12-19 | 対話装置、対話システムおよび対話プログラム |
| JP2020560701A JP7207425B2 (ja) | 2018-12-19 | 2018-12-19 | 対話装置、対話システムおよび対話プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2018/046791 WO2020129182A1 (ja) | 2018-12-19 | 2018-12-19 | 対話装置、対話システムおよび対話プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2020129182A1 true WO2020129182A1 (ja) | 2020-06-25 |
Family
ID=71101155
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2018/046791 Ceased WO2020129182A1 (ja) | 2018-12-19 | 2018-12-19 | 対話装置、対話システムおよび対話プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US12247841B2 (ja) |
| JP (1) | JP7207425B2 (ja) |
| WO (1) | WO2020129182A1 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022053862A1 (ja) * | 2020-09-10 | 2022-03-17 | 日産自動車株式会社 | 情報出力装置及び情報出力方法 |
| JPWO2022215284A1 (ja) * | 2021-04-09 | 2022-10-13 | ||
| JP7350384B1 (ja) | 2022-05-30 | 2023-09-26 | 真由美 稲場 | 対話システム、及び対話方法 |
| WO2024190445A1 (ja) * | 2023-03-13 | 2024-09-19 | ソフトバンクグループ株式会社 | 行動制御システム及びプログラム |
| JP2025049240A (ja) * | 2023-09-21 | 2025-04-03 | ソフトバンクグループ株式会社 | システム |
| JP7761307B1 (ja) | 2024-11-05 | 2025-10-28 | ユカイ工学株式会社 | 対話システム、対話方法、対話プログラムおよび対話デバイス |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115840806B (zh) * | 2022-12-16 | 2023-09-05 | 深圳市人马互动科技有限公司 | 基于自然语言交互获取剧情信息的方法及相关装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016158792A1 (ja) * | 2015-03-31 | 2016-10-06 | ソニー株式会社 | 情報処理装置、制御方法、およびプログラム |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4547721B2 (ja) | 2008-05-21 | 2010-09-22 | 株式会社デンソー | 自動車用情報提供システム |
| US20120215641A1 (en) * | 2011-02-17 | 2012-08-23 | Honda Motor Co., Ltd. | System and method for determining destination characteristics of vehicle operators |
| KR101749143B1 (ko) * | 2011-12-26 | 2017-06-20 | 인텔 코포레이션 | 탑승자 오디오 및 시각적 입력의 차량 기반 결정 |
| US8688290B2 (en) * | 2011-12-27 | 2014-04-01 | Toyota Motor Enginerring & Manufacturing North America, Inc. | Predictive destination entry for a navigation system |
| US8880270B1 (en) * | 2013-01-08 | 2014-11-04 | Google Inc. | Location-aware notifications and applications for autonomous vehicles |
| CN104321620A (zh) * | 2013-04-15 | 2015-01-28 | 弗莱克斯电子有限责任公司 | 基于用户简档信息通过改变的地图路线进行行为修改 |
| EP3048805B1 (en) * | 2015-01-21 | 2020-09-16 | LG Electronics Inc. | Ear set device |
| JP6678315B2 (ja) | 2015-04-24 | 2020-04-08 | パナソニックIpマネジメント株式会社 | 音声再生方法、音声対話装置及び音声対話プログラム |
| CN106067996B (zh) | 2015-04-24 | 2019-09-17 | 松下知识产权经营株式会社 | 语音再现方法、语音对话装置 |
| US9610510B2 (en) * | 2015-07-21 | 2017-04-04 | Disney Enterprises, Inc. | Sensing and managing vehicle behavior based on occupant awareness |
| US20170166055A1 (en) * | 2015-12-10 | 2017-06-15 | Myine Electronics, Inc. | Methods and Systems for Interactive Passenger Notification |
| US20190207946A1 (en) * | 2016-12-20 | 2019-07-04 | Google Inc. | Conditional provision of access by interactive assistant modules |
-
2018
- 2018-12-19 WO PCT/JP2018/046791 patent/WO2020129182A1/ja not_active Ceased
- 2018-12-19 US US17/294,539 patent/US12247841B2/en active Active
- 2018-12-19 JP JP2020560701A patent/JP7207425B2/ja active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016158792A1 (ja) * | 2015-03-31 | 2016-10-06 | ソニー株式会社 | 情報処理装置、制御方法、およびプログラム |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11841980B2 (en) | 2020-09-10 | 2023-12-12 | Nissan Motor Co., Ltd. | Information output device and method of controlling information output based on vehicle occupancy |
| JPWO2022053862A1 (ja) * | 2020-09-10 | 2022-03-17 | ||
| CN116325715A (zh) * | 2020-09-10 | 2023-06-23 | 日产自动车株式会社 | 信息输出装置和信息输出方法 |
| WO2022053862A1 (ja) * | 2020-09-10 | 2022-03-17 | 日産自動車株式会社 | 情報出力装置及び情報出力方法 |
| JP7450045B2 (ja) | 2020-09-10 | 2024-03-14 | 日産自動車株式会社 | 情報出力装置及び情報出力方法 |
| JPWO2022215284A1 (ja) * | 2021-04-09 | 2022-10-13 | ||
| JP7398683B2 (ja) | 2021-04-09 | 2023-12-15 | パナソニックIpマネジメント株式会社 | 発話機器を制御する方法、サーバ、発話機器、およびプログラム |
| JP7350384B1 (ja) | 2022-05-30 | 2023-09-26 | 真由美 稲場 | 対話システム、及び対話方法 |
| JP2023175269A (ja) * | 2022-05-30 | 2023-12-12 | 真由美 稲場 | 対話システム、及び対話方法 |
| WO2024190445A1 (ja) * | 2023-03-13 | 2024-09-19 | ソフトバンクグループ株式会社 | 行動制御システム及びプログラム |
| JP2025049240A (ja) * | 2023-09-21 | 2025-04-03 | ソフトバンクグループ株式会社 | システム |
| JP7761307B1 (ja) | 2024-11-05 | 2025-10-28 | ユカイ工学株式会社 | 対話システム、対話方法、対話プログラムおよび対話デバイス |
| JP2026081427A (ja) * | 2024-11-05 | 2026-05-19 | ユカイ工学株式会社 | 対話システム、対話方法、対話プログラムおよび対話デバイス |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7207425B2 (ja) | 2023-01-18 |
| US20210404830A1 (en) | 2021-12-30 |
| US12247841B2 (en) | 2025-03-11 |
| JPWO2020129182A1 (ja) | 2021-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7207425B2 (ja) | 対話装置、対話システムおよび対話プログラム | |
| US11575784B1 (en) | System and method for modifying the operational state of a telecommunication application using conversational processing | |
| CN110998725B (zh) | 在对话中生成响应 | |
| US10530923B1 (en) | Computer control of online social interactions based on conversation processing | |
| CN108205627A (zh) | 交互式助理模块对访问的有条件提供 | |
| US20140316779A1 (en) | Observation platform for using structured communications | |
| JPWO2017163515A1 (ja) | 情報処理システム、情報処理装置、情報処理方法、および記録媒体 | |
| KR20190086056A (ko) | 메시징 애플리케이션들을 위한 자동적인 제안들 및 다른 콘텐츠 | |
| US20160231718A1 (en) | Personal Proximity with Preferences | |
| US20170024682A1 (en) | Remote travel service | |
| CN109643313A (zh) | 信息处理设备、信息处理方法和程序 | |
| US11922930B1 (en) | System and method for contextualized communication events and notifications for project management based on conversation processing | |
| US12041061B2 (en) | Information processing system and information processing method | |
| KR101829754B1 (ko) | 커플 매칭 서비스를 제공하는 장치, 그 단말기 및 커플 매칭 서비스 제공 방법 | |
| US20260139956A1 (en) | Information processing method, computer, and recording medium | |
| JP7655322B2 (ja) | 情報処理装置、情報処理方法、プログラム、および情報処理システム | |
| JP2024159682A (ja) | エージェントシステム、プログラム、スマートグラス | |
| McCain | A QUALITATIVE INVESTIGATION OF ELECTRONIC TECHNOLOGY EFFECTS ON INTERPERSONAL COMMUNICATION SATISFACTION | |
| JPWO2016046865A1 (ja) | ソーシャルネットワークシステム及びサーバ | |
| JP2025001599A (ja) | 制御システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18943446 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2020560701 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 18943446 Country of ref document: EP Kind code of ref document: A1 |
|
| WWG | Wipo information: grant in national office |
Ref document number: 17294539 Country of ref document: US |