JP7266432B2 - エージェント装置、エージェント装置の制御方法、およびプログラム - Google Patents
エージェント装置、エージェント装置の制御方法、およびプログラム Download PDFInfo
- Publication number
- JP7266432B2 JP7266432B2 JP2019047757A JP2019047757A JP7266432B2 JP 7266432 B2 JP7266432 B2 JP 7266432B2 JP 2019047757 A JP2019047757 A JP 2019047757A JP 2019047757 A JP2019047757 A JP 2019047757A JP 7266432 B2 JP7266432 B2 JP 7266432B2
- Authority
- JP
- Japan
- Prior art keywords
- occupant
- activation
- unit
- vehicle
- agent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 100
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 230000004913 activation Effects 0.000 claims description 134
- 238000012545 processing Methods 0.000 claims description 85
- 230000004044 response Effects 0.000 claims description 80
- 238000001514 detection method Methods 0.000 claims description 41
- 230000008569 process Effects 0.000 claims description 39
- 230000003213 activating effect Effects 0.000 claims description 11
- 239000003795 chemical substances by application Substances 0.000 description 320
- 230000006870 function Effects 0.000 description 157
- 238000004891 communication Methods 0.000 description 35
- 238000010586 diagram Methods 0.000 description 30
- 230000008859 change Effects 0.000 description 27
- 238000003058 natural language processing Methods 0.000 description 8
- 239000008186 active pharmaceutical agent Substances 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 230000006266 hibernation Effects 0.000 description 4
- 235000019640 taste Nutrition 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000007958 sleep Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/06—Decision making techniques; Pattern matching strategies
- G10L17/14—Use of phonemic categorisation or speech recognition prior to speaker recognition or verification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
- B60R25/01—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles operating on vehicle systems or fittings, e.g. on doors, seats or windscreens
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
- B60R25/20—Means to switch the anti-theft system on or off
- B60R25/25—Means to switch the anti-theft system on or off using biometry
- B60R25/257—Voice recognition
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
- B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
- B60R25/31—Detection related to theft or to other events relevant to anti-theft systems of human presence inside or outside the vehicle
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
- G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/24—Speech recognition using non-acoustical features
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/24—Speech recognition using non-acoustical features
- G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L2015/088—Word spotting
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Mechanical Engineering (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Game Theory and Decision Science (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Navigation (AREA)
- User Interface Of Digital Computer (AREA)
Description
(1):この発明の一態様に係るエージェント装置は、車両の車室内で収音された乗員の音声に応じて、音声による応答を含むサービスを提供する一以上のエージェント機能部と、前記乗員による入力を受け付ける受付部と、前記受付部により受け付けられた内容に基づいて、前記エージェント機能部の起動方法を変更または追加する起動方法設定部と、を備えるエージェント装置である。
図1は、エージェント装置100を含むエージェントシステム1の構成図である。エージェントシステム1は、例えば、エージェント装置100と、複数のエージェントサーバ200-1、200-2、200-3、…とを備える。符号の末尾のハイフン以下の数字は、エージェントを区別するための識別子であるものとする。いずれのエージェントサーバであるかを区別しない場合、単にエージェントサーバ200と称する場合がある。図1では3つのエージェントサーバ200を示しているが、エージェントサーバ200の数は2つであってもよいし、4つ以上であってもよい。それぞれのエージェントサーバ200は、互いに異なるエージェントシステムの提供者が運営するものである。従って、本発明におけるエージェントは、互いに異なる提供者により実現されるエージェントである。提供者としては、例えば、自動車メーカー、ネットワークサービス事業者、電子商取引事業者、携帯端末の販売者などが挙げられ、任意の主体(法人、団体、個人等)がエージェントシステムの提供者となり得る。
[車両]
図2は、第1実施形態に係るエージェント装置100の構成と、車両Mに搭載された機器とを示す図である。車両Mには、例えば、一以上のマイク10と、表示・操作装置20と、スピーカユニット30と、ナビゲーション装置40と、車両機器50と、車載通信装置60と、乗員認識装置80と、エージェント装置100とが搭載される。また、スマートフォンなどの汎用通信装置70が車室内に持ち込まれ、通信装置として使用される場合がある。これらの装置は、CAN(Controller Area Network)通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図2に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。
図2に戻り、エージェント装置100は、管理部110と、記憶部120と、エージェント機能部150-1、150-2、150-3と、ペアリングアプリ実行部152とを備える。管理部110は、例えば、音響処理部112と、エージェントごとWU(Wake Up)判定部113と、ウエイクアップワード設定部114と、モード設定部115と、表示制御部116と、音声制御部118と、生成部119とを備える。いずれのエージェント機能部であるかを区別しない場合、単にエージェント機能部150と称する。3つのエージェント機能部150を示しているのは、図1におけるエージェントサーバ200の数に対応させた一例に過ぎず、エージェント機能部150の数は、2つであってもよいし、4つ以上であってもよい。図2に示すソフトウェア配置は説明のために簡易に示しており、実際には、例えば、エージェント機能部150と車載通信装置60の間に管理部110が介在してもよいし、任意に改変することができる。
図6は、エージェントサーバ200の構成と、エージェント装置100の構成の一部とを示す図である。以下、エージェントサーバ200の構成と共にエージェント機能部150等の動作について説明する。ここでは、エージェント装置100からネットワークNWまでの物理的な通信についての説明を省略する。
ウエイクアップワード設定部114が、エージェント機能部150の起動方法の変更または追加を行う処理について説明する。以下、一例として、ウエイクアップワードの変更が行わる例について説明する。
これにより、本フローチャートの1ルーチンの処理が終了する。
図9は、エージェント機能部150が起動する処理の一例を示すフローチャートである。本処理は、例えば、図7のフローチャートの処理において、ウエイクアップワードが変更された後に実行される処理である。
図10は、汎用通信装置70とエージェント装置100とにより実行される処理の流れのフローチャートの一例を示す図である。まず、汎用通信装置70とエージェント装置100とがペアリングを行って、互いに通信する(ステップS300、S400)。次に、エージェント装置100の生成部119が、汎用通信装置70に情報の提供を依頼する(ステップS402)。生成部119が提供を依頼する情報は、例えば、乗員または乗員に関連ある人物(または動物)の、名前や、苗字、氏名、愛称、通称、これらを特定するための情報である。以下、上記の情報を総称して、「特定ワード候補」という場合がある。生成部119が提供を依頼する情報は、例えば、汎用通信装置70に記憶された連絡先一覧情報や、連絡先一覧情報のうち所定頻度で連絡が行われた連絡先の情報である。
エージェント機能部150は、ウエイクアップワードが男性または女性を示すワード(または名称)であると推定される場合、推定結果に基づいて音声による応答を含むサービスを提供する。推定結果に基づいて音声による応答を含むサービスを提供するとは、例えば、エージェント機能部150が、推定結果が男性の名称である場合、音声による応答を男性調の声色、または口調で提供し、推定結果が女性の名称である場合、音声による応答を女性調の声色、または口調で提供するである。
以下、第2実施形態について説明する。第2実施形態では、エージェント装置100は、起動に用いられたウエイクアップワードに応じて、応答する際に参照する情報を変更する。以下、第1実施形態との相違点を中心に説明する。
図14は、乗員認識装置80とエージェント装置100とにより実行される処理の流れのフローチャートの一例を示す図(その1)である。本処理において、乗員認識装置80の車室内カメラは、所定間隔で車室内の風景を撮像しているものとする。
図16は、乗員認識装置80とエージェント装置100とにより実行される処理の流れのフローチャートの一例を示す図(その2)である。本処理は、エージェント装置100が、乗員検知装置80の検知結果に基づいて、特定ウエイクアップワード(第1起動キーワード)を起動キーワードとして設定した第1乗員とは異なる乗員により特定ウエイクアップワードが入力されたと判定された場合、特定ウエイクアップワードに応じて起動せず、乗員検知装置80の検知結果に基づいて、第1乗員により特定ウエイクアップワードが入力されたと判定された場合、特定ウエイクアップワードに応じて起動する。本処理において、乗員認識装置80の車室内カメラは、所定間隔で車室内の風景を撮像しているものとする。
図17は、エージェント装置100により実行される応答処理における処理の一部の流れの一例を示すフローチャートである。エージェント機能部150は、エージェント機能部150が特定ウエイクアップワードとは異なる起動キーワードで起動した場合、特定ウエイクアップワードで起動した際の動作履歴を参照しない。本フローチャートの処理は、例えば、エージェント機能部150が起動した後に実行される処理(例えば、ステップS706の処理で起動した際に行われる処理)である。
これにより、本フローチャートの1ルーチンの処理が終了する。
図19は、変形例のエージェント装置100Bの機能構成の一例を示す図である。エージェント装置100Bは、管理部110に代えて、管理部110-1~110-3を備える。管理部110-1~110-3のそれぞれは、管理部110と同様の機能構成を備える。管理部110-1~110-3のそれぞれは、例えば、対応するエージェント機能部150の起動方法の変更または追加を行う。
ウエイクアップワード設定部114が、乗員が行った行動に基づいて、エージェント機能部150の起動方法の変更または追加を行ってもよい。行動とは、例えば、手拍子や、視線の動き、ジェスチャーなどである。例えば、ウエイクアップワード設定部114が、乗員認識装置80により認識された乗員の行動が、エージェント機能部150の起動方法の変更または追加を行う行動である場合、その行動をエージェント機能部150の起動のトリガーとして設定する。この場合、エージェントごとWU判定部113がエージェント機能部150の起動のトリガーである行動が乗員によって行われた場合、対応するエージェント機能部150を起動させる。
Claims (16)
- 車両の車室内で収音された乗員の音声に応じて、音声による応答を含むサービスを提供する一以上のエージェント機能部と、
前記乗員による入力を受け付ける受付部と、
前記受付部により受け付けられた内容に基づいて、前記エージェント機能部の起動方法を変更または追加する起動方法設定部と、を備え、
前記エージェント機能部は、前記音声に含まれ、前記起動方法設定部によって設定された起動方法に基づく起動キーワードに応じて起動し、
前記起動方法設定部は、記憶部に記憶された特定ワードを起動キーワードから除外し、
前記特定ワードは、記憶部に記憶された前記車両の前記乗員に関連ある人物の、名前、苗字、氏名、愛称、または通称のうち、一部または全部を含む、
エージェント装置。 - 前記エージェント装置は、前記車両の前記乗員に関連ある人物の、名前、苗字、氏名、愛称、または通称のうち、一部または全部を、前記特定ワードとして前記記憶部に記憶させる、
請求項1に記載のエージェント装置。 - 前記エージェント機能部は、前記設定された起動キーワードが男性を示すワードであると推定される場合、推定の結果に基づいて前記音声による応答を含むサービスを提供する、
請求項1または2に記載のエージェント装置。 - 前記エージェント機能部は、前記推定の結果に基づいて、前記音声による応答を男性調の声色、または口調で提供する、
請求項3に記載のエージェント装置。 - 前記エージェント機能部は、前記設定された起動キーワードが女性を示すワードであると推定される場合、前記推定の結果に基づいて前記音声による応答を含むサービスを提供する、
請求項1から4のうちいずれか1項に記載のエージェント装置。 - 前記エージェント機能部は、前記推定の結果に基づいて、前記音声による応答を女性調の声色、または口調で提供する、
請求項5に記載のエージェント装置。 - 前記車両の乗員を検知する乗員検知部を更に備え、
前記エージェント機能部は、
前記乗員検知部の検知結果に基づいて、前記受付部を介して第1起動キーワードを起動キーワードとして設定した第1乗員とは異なる乗員により前記第1起動キーワードが入力されたと判定された場合、前記第1起動キーワードに応じて起動せず、
前記乗員検知部の検知結果に基づいて、前記受付部を介して第1乗員により前記第1起動キーワードが入力されたと判定された場合、前記第1起動キーワードに応じて起動する、
請求項1から6のうちいずれか1項に記載のエージェント装置。 - 車両の車室内で収音された乗員の音声に応じて、音声による応答を含むサービスを提供する一以上のエージェント機能部と、
前記乗員による入力を受け付ける受付部と、
前記受付部により受け付けられた内容に基づいて、前記エージェント機能部の起動方法を変更または追加する起動方法設定部と、
前記車両の乗員を検知する乗員検知部と、を備え、
前記エージェント機能部は、
前記音声に含まれ、前記起動方法設定部によって設定された起動方法に基づく起動キーワードに応じて起動し、
前記乗員検知部の検知結果に基づいて、第1起動キーワードが入力された場合において、前記第1起動キーワードに対応付けられた第1乗員以外の乗員が前記車両の車室内に存在すると判定された場合、前記第1起動キーワードに応じて起動せず、
前記乗員検知部の検知結果に基づいて、前記第1起動キーワードが入力された場合において、前記第1起動キーワードに対応付けられた第1乗員以外の乗員が前記車両の車室内に存在しないと判定された場合、前記第1起動キーワードに応じて起動する、
エージェント装置。 - 前記エージェント機能部は、前記エージェント機能部が前記第1起動キーワードとは異なる起動キーワードで起動した場合、前記第1起動キーワードで起動した際の動作履歴を参照しない、
請求項8に記載のエージェント装置。 - 車両の車室内で収音された乗員の音声に応じて、音声による応答を含むサービスを提供する一以上のエージェント機能部と、
前記乗員による入力を受け付ける受付部と、
前記受付部により受け付けられた内容に基づいて、前記エージェント機能部の起動方法を変更または追加する起動方法設定部と、
乗員を撮像する車室内カメラと、
第1乗員が撮像された画像から抽出された特徴量と前記第1乗員の識別情報とが対応付けられた第1参照情報を参照して、前記受付部を介して第1起動キーワードが入力されたときに前記車室内カメラにより撮像された画像を取得して、取得した画像から抽出された特徴量が前記第1乗員の識別情報に対応付けられた特徴量に合致するか否かを判定する乗員検知部と、を備え、
前記第1起動キーワードは、前記第1乗員が設定した前記エージェント機能部を起動させる起動キーワードであり、
前記エージェント機能部は、
前記第1起動キーワードが入力された時に、前記乗員検知部が前記画像から抽出された特徴量が前記第1乗員の識別情報に対応付けられた特徴量に合致しないと判定したことによって前記第1乗員が前記第1起動キーワードを入力していないと判定した場合、前記第1起動キーワードに応じて起動せず、
前記第1起動キーワードが入力された時に、前記乗員検知部が前記画像から抽出された特徴量が前記第1乗員の識別情報に対応付けられた特徴量に合致すると判定したことによって前記第1乗員が前記第1起動キーワードを入力したと判定した場合、前記第1起動キーワードに応じて起動する、
エージェント装置。 - コンピュータが、
車両の乗員による入力を受け付ける受付部により受け付けられた内容に基づいて、前記車両の車室内で収音された乗員の音声に応じて、音声による応答を含むサービスを提供し、前記音声に含まれ、設定された起動方法に基づく起動キーワードに応じて起動する一以上のエージェント機能部の起動方法を変更または追加する処理と、
記憶部に記憶された特定ワードを起動キーワードから除外する処理と、を実行し、
前記特定ワードは、記憶部に記憶された前記車両の前記乗員に関連ある人物の、名前、苗字、氏名、愛称、または通称のうち、一部または全部を含む、
エージェント装置の制御方法。 - コンピュータに、
車両の乗員による入力を受け付ける受付部により受け付けられた内容に基づいて、前記車両の車室内で収音された乗員の音声に応じて、音声による応答を含むサービスを提供し、前記音声に含まれ、設定された起動方法に基づく起動キーワードに応じて起動する一以上のエージェント機能部の起動方法を変更または追加する処理と、
記憶部に記憶された特定ワードを起動キーワードから除外する処理と、を実行させ、
前記特定ワードは、記憶部に記憶された前記車両の前記乗員に関連ある人物の、名前、苗字、氏名、愛称、または通称のうち、一部または全部を含む、
プログラム。 - コンピュータが、
車両の乗員による入力を受け付ける受付部により受け付けられた内容に基づいて、前記車両の車室内で収音された乗員の音声に応じて、音声による応答を含むサービスを提供し、前記音声に含まれ、設定された起動方法に基づく起動キーワードに応じて起動する一以上のエージェント機能部の起動方法を変更または追加する処理と、
前記車両の乗員を検知する乗員検知部の検知結果に基づいて、第1起動キーワードが入力された場合において、前記第1起動キーワードに対応付けられた第1乗員以外の乗員が前記車両の車室内に存在すると判定された場合、前記第1起動キーワードに応じて前記エージェント機能部を起動させず、
前記乗員検知部の検知結果に基づいて、前記第1起動キーワードが入力された場合において、前記第1起動キーワードに対応付けられた第1乗員以外の乗員が前記車両の車室内に存在しないと判定された場合、前記第1起動キーワードに応じて前記エージェント機能部を起動させる、処理と、
を実行するエージェント装置の制御方法。 - コンピュータに、
車両の乗員による入力を受け付ける受付部により受け付けられた内容に基づいて、前記車両の車室内で収音された乗員の音声に応じて、音声による応答を含むサービスを提供し、前記音声に含まれ、設定された起動方法に基づく起動キーワードに応じて起動する一以上のエージェント機能部の起動方法を変更または追加する処理と、
前記車両の乗員を検知する乗員検知部の検知結果に基づいて、第1起動キーワードが入力された場合において、前記第1起動キーワードに対応付けられた第1乗員以外の乗員が前記車両の車室内に存在すると判定された場合、前記第1起動キーワードに応じて前記エージェント機能部を起動させず、
前記乗員検知部の検知結果に基づいて、前記第1起動キーワードが入力された場合において、前記第1起動キーワードに対応付けられた第1乗員以外の乗員が前記車両の車室内に存在しないと判定された場合、前記第1起動キーワードに応じて前記エージェント機能部を起動させる、処理と、
を実行させるプログラム。 - コンピュータが、
車両の乗員による入力を受け付ける受付部により受け付けられた内容に基づいて、前記車両の車室内で収音された乗員の音声に応じて、音声による応答を含むサービスを提供する一以上のエージェント機能部の起動方法を変更または追加する処理と、
第1乗員が撮像された画像から抽出された特徴量と前記第1乗員の識別情報とが対応付けられた第1参照情報を参照して、前記受付部を介して前記第1乗員が設定した前記エージェント機能部を起動させる第1起動キーワードが入力されたときに乗員を撮像する車室内カメラにより撮像された画像を取得して、取得した画像から抽出された特徴量が前記第1乗員の識別情報に対応付けられた特徴量に合致するか否かを判定する処理と、
前記第1起動キーワードが入力された時に、前記判定する処理において前記画像から抽出された特徴量が前記第1乗員の識別情報に対応付けられた特徴量に合致しないと判定したことによって前記第1乗員が前記第1起動キーワードを入力していないと判定した場合、前記第1起動キーワードに応じて起動せず、
前記第1起動キーワードが入力された時に、前記判定する処理において前記画像から抽出された特徴量が前記第1乗員の識別情報に対応付けられた特徴量に合致すると判定したことによって前記第1乗員が前記第1起動キーワードを入力したと判定した場合、前記第1起動キーワードに応じて起動する処理と、
を実行するエージェント装置の制御方法。 - コンピュータに、
車両の乗員による入力を受け付ける受付部により受け付けられた内容に基づいて、前記車両の車室内で収音された乗員の音声に応じて、音声による応答を含むサービスを提供する一以上のエージェント機能部の起動方法を変更または追加する処理と、
第1乗員が撮像された画像から抽出された特徴量と前記第1乗員の識別情報とが対応付けられた第1参照情報を参照して、前記受付部を介して前記第1乗員が設定した前記エージェント機能部を起動させる第1起動キーワードが入力されたときに乗員を撮像する車室内カメラにより撮像された画像を取得して、取得した画像から抽出された特徴量が前記第1乗員の識別情報に対応付けられた特徴量に合致するか否かを判定する処理と、
前記第1起動キーワードが入力された時に、前記判定する処理において前記画像から抽出された特徴量が前記第1乗員の識別情報に対応付けられた特徴量に合致しないと判定したことによって前記第1乗員が前記第1起動キーワードを入力していないと判定した場合、前記第1起動キーワードに応じて起動せず、
前記第1起動キーワードが入力された時に、前記判定する処理において前記画像から抽出された特徴量が前記第1乗員の識別情報に対応付けられた特徴量に合致すると判定したことによって前記第1乗員が前記第1起動キーワードを入力したと判定した場合、前記第1起動キーワードに応じて起動する処理と、
を実行させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019047757A JP7266432B2 (ja) | 2019-03-14 | 2019-03-14 | エージェント装置、エージェント装置の制御方法、およびプログラム |
CN202010164047.7A CN111696560A (zh) | 2019-03-14 | 2020-03-10 | 智能体装置、智能体装置的控制方法及存储介质 |
US16/816,325 US11380325B2 (en) | 2019-03-14 | 2020-03-12 | Agent device, system, control method of agent device, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019047757A JP7266432B2 (ja) | 2019-03-14 | 2019-03-14 | エージェント装置、エージェント装置の制御方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020147214A JP2020147214A (ja) | 2020-09-17 |
JP7266432B2 true JP7266432B2 (ja) | 2023-04-28 |
Family
ID=72430161
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019047757A Active JP7266432B2 (ja) | 2019-03-14 | 2019-03-14 | エージェント装置、エージェント装置の制御方法、およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11380325B2 (ja) |
JP (1) | JP7266432B2 (ja) |
CN (1) | CN111696560A (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021002493A1 (ko) * | 2019-07-01 | 2021-01-07 | 엘지전자 주식회사 | 지능형 게이트웨이 장치 및 그를 포함하는 제어 시스템 |
US11590929B2 (en) * | 2020-05-05 | 2023-02-28 | Nvidia Corporation | Systems and methods for performing commands in a vehicle using speech and image recognition |
WO2022085625A1 (ja) * | 2020-10-19 | 2022-04-28 | 株式会社Preferred Robotics | 自律走行車 |
JPWO2022254669A1 (ja) * | 2021-06-03 | 2022-12-08 | ||
WO2024009465A1 (ja) * | 2022-07-07 | 2024-01-11 | パイオニア株式会社 | 音声認識装置、プログラム、音声認識方法、及び音声認識システム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000080828A (ja) | 1998-09-07 | 2000-03-21 | Denso Corp | 車両制御装置 |
JP2001256036A (ja) | 2000-03-03 | 2001-09-21 | Ever Prospect Internatl Ltd | 機器との情報授受方法及び当該方法を適用した対話機能を有する機器並びにこれら機器を複合させたライフサポートシステム |
JP2007522488A (ja) | 2003-12-23 | 2007-08-09 | ダイムラークライスラー・アクチェンゲゼルシャフト | 車両用の制御システム |
JP2010221930A (ja) | 2009-03-25 | 2010-10-07 | Toyota Motor Corp | 車両用ユーザー操作補助装置 |
JP2016151608A (ja) | 2015-02-16 | 2016-08-22 | アルパイン株式会社 | 電子装置、情報端末システム、音声認識機能の起動プログラムおよび音声認識機能の起動方法 |
JP2016218852A (ja) | 2015-05-22 | 2016-12-22 | ソニー株式会社 | 情報処理装置および情報処理方法、並びにプログラム |
JP2018156044A (ja) | 2017-03-21 | 2018-10-04 | 株式会社東芝 | 音声認識装置、音声認識方法及び音声認識プログラム |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7881934B2 (en) * | 2003-09-12 | 2011-02-01 | Toyota Infotechnology Center Co., Ltd. | Method and system for adjusting the voice prompt of an interactive system based upon the user's state |
JP4645310B2 (ja) | 2005-06-02 | 2011-03-09 | 株式会社デンソー | エージェントキャラクタ表示を利用した表示システム |
US8214219B2 (en) * | 2006-09-15 | 2012-07-03 | Volkswagen Of America, Inc. | Speech communications system for a vehicle and method of operating a speech communications system for a vehicle |
US7747446B2 (en) * | 2006-12-12 | 2010-06-29 | Nuance Communications, Inc. | Voice recognition interactive system with a confirmation capability |
CN104428766B (zh) * | 2012-07-03 | 2017-07-11 | 三菱电机株式会社 | 语音识别装置 |
US9275637B1 (en) * | 2012-11-06 | 2016-03-01 | Amazon Technologies, Inc. | Wake word evaluation |
US9865255B2 (en) * | 2013-08-29 | 2018-01-09 | Panasonic Intellectual Property Corporation Of America | Speech recognition method and speech recognition apparatus |
JP6233650B2 (ja) * | 2014-05-20 | 2017-11-22 | パナソニックIpマネジメント株式会社 | 操作補助装置および操作補助方法 |
US9697828B1 (en) * | 2014-06-20 | 2017-07-04 | Amazon Technologies, Inc. | Keyword detection modeling using contextual and environmental information |
US9263042B1 (en) * | 2014-07-25 | 2016-02-16 | Google Inc. | Providing pre-computed hotword models |
CN105575395A (zh) * | 2014-10-14 | 2016-05-11 | 中兴通讯股份有限公司 | 语音唤醒方法及装置、终端及其处理方法 |
CN107949880A (zh) * | 2015-09-09 | 2018-04-20 | 三菱电机株式会社 | 车载用语音识别装置以及车载设备 |
US10083685B2 (en) * | 2015-10-13 | 2018-09-25 | GM Global Technology Operations LLC | Dynamically adding or removing functionality to speech recognition systems |
US9747926B2 (en) * | 2015-10-16 | 2017-08-29 | Google Inc. | Hotword recognition |
US11600269B2 (en) * | 2016-06-15 | 2023-03-07 | Cerence Operating Company | Techniques for wake-up word recognition and related systems and methods |
US10474800B2 (en) * | 2016-11-16 | 2019-11-12 | Bank Of America Corporation | Generating alerts based on vehicle system privacy mode |
US11164570B2 (en) * | 2017-01-17 | 2021-11-02 | Ford Global Technologies, Llc | Voice assistant tracking and activation |
CN106847283A (zh) * | 2017-02-28 | 2017-06-13 | 广东美的制冷设备有限公司 | 智能家电控制方法和装置 |
CN107220532B (zh) * | 2017-04-08 | 2020-10-23 | 网易(杭州)网络有限公司 | 用于通过声音识别用户身份的方法及设备 |
CN107600075A (zh) * | 2017-08-23 | 2018-01-19 | 深圳市沃特沃德股份有限公司 | 车载系统的控制方法和装置 |
US10269350B1 (en) * | 2017-10-16 | 2019-04-23 | GM Global Technology Operations LLC | Responsive activation of a vehicle feature |
US20190237067A1 (en) * | 2018-01-31 | 2019-08-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | Multi-channel voice recognition for a vehicle environment |
CN108958810A (zh) * | 2018-02-09 | 2018-12-07 | 北京猎户星空科技有限公司 | 一种基于声纹的用户识别方法、装置及设备 |
JP6984480B2 (ja) * | 2018-02-20 | 2021-12-22 | トヨタ自動車株式会社 | 情報処理装置および情報処理方法 |
CN109166571B (zh) * | 2018-08-06 | 2020-11-24 | 广东美的厨房电器制造有限公司 | 家电设备的唤醒词训练方法、装置及家电设备 |
US10896686B2 (en) * | 2019-05-29 | 2021-01-19 | Capital One Services, Llc | Methods and systems for providing images for facilitating communication |
-
2019
- 2019-03-14 JP JP2019047757A patent/JP7266432B2/ja active Active
-
2020
- 2020-03-10 CN CN202010164047.7A patent/CN111696560A/zh active Pending
- 2020-03-12 US US16/816,325 patent/US11380325B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000080828A (ja) | 1998-09-07 | 2000-03-21 | Denso Corp | 車両制御装置 |
JP2001256036A (ja) | 2000-03-03 | 2001-09-21 | Ever Prospect Internatl Ltd | 機器との情報授受方法及び当該方法を適用した対話機能を有する機器並びにこれら機器を複合させたライフサポートシステム |
JP2007522488A (ja) | 2003-12-23 | 2007-08-09 | ダイムラークライスラー・アクチェンゲゼルシャフト | 車両用の制御システム |
JP2010221930A (ja) | 2009-03-25 | 2010-10-07 | Toyota Motor Corp | 車両用ユーザー操作補助装置 |
JP2016151608A (ja) | 2015-02-16 | 2016-08-22 | アルパイン株式会社 | 電子装置、情報端末システム、音声認識機能の起動プログラムおよび音声認識機能の起動方法 |
JP2016218852A (ja) | 2015-05-22 | 2016-12-22 | ソニー株式会社 | 情報処理装置および情報処理方法、並びにプログラム |
JP2018156044A (ja) | 2017-03-21 | 2018-10-04 | 株式会社東芝 | 音声認識装置、音声認識方法及び音声認識プログラム |
Also Published As
Publication number | Publication date |
---|---|
US11380325B2 (en) | 2022-07-05 |
CN111696560A (zh) | 2020-09-22 |
JP2020147214A (ja) | 2020-09-17 |
US20200321000A1 (en) | 2020-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7266432B2 (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
JP7340940B2 (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
JP7211856B2 (ja) | エージェント装置、エージェントシステム、サーバ装置、エージェント装置の制御方法、およびプログラム | |
CN111559328B (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
CN111746435B (zh) | 信息提供装置、信息提供方法及存储介质 | |
JP7340943B2 (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
JP7222757B2 (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
CN111717142A (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
CN111667824A (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
US11437035B2 (en) | Agent device, method for controlling agent device, and storage medium | |
CN111667823B (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
CN111661065B (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
CN111724778B (zh) | 车载装置、车载装置的控制方法及存储介质 | |
JP7239365B2 (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
JP7245695B2 (ja) | サーバ装置、情報提供システム、および情報提供方法 | |
CN111559317B (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
JP2020152298A (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
JP7280074B2 (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
JP7169921B2 (ja) | エージェント装置、エージェントシステム、エージェント装置の制御方法、およびプログラム | |
JP7274901B2 (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
JP7297483B2 (ja) | エージェントシステム、サーバ装置、エージェントシステムの制御方法、およびプログラム | |
CN111824174A (zh) | 智能体装置、智能体装置的控制方法及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230404 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230418 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7266432 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |