JP6612707B2

JP6612707B2 - 情報提供装置

Info

Publication number: JP6612707B2
Application number: JP2016194995A
Authority: JP
Inventors: 智子新谷; 博光湯原; 英輔相馬; 紳一郎後藤
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2016-09-30
Filing date: 2016-09-30
Publication date: 2019-11-27
Anticipated expiration: 2036-09-30
Also published as: CN107886970A; CN107886970B; US20180096699A1; JP2018059960A

Description

本発明は、車両の運転者と車両内のコンピュータとの意思疎通またはコミュニケーションを実行する装置に関する。

車両の搭乗者の会話から車内の盛り上がりを判定して搭乗者に娯楽を提供する技術が公知である。（特許文献１参照）この従来例ではオーディオデータの振幅により盛り上がりを判定している。

特開２００２−１９３１５０号公報

しかし、車内の盛り上がりをオーディオデータの振幅のみに頼ったのではあまりに機械的で必ずしも乗員に受け入れられるタイミングとは限らない。また、提供する娯楽が予め設定されたものであったので、その場の会話に即したものとは限らない。仮に会話中に新たに得られた情報などを提供するものであれば、その場の会話により即したものとなると思われる。

そこで、本発明は、車両の乗員同士の会話の盛り上がりを把握して、そこから当該乗員の関心が高いと思われるキーワードを基に、より適当な情報を当該乗員に対してよりタイミング良く提供することができる装置を提供することを目的とする。

本発明の情報提供装置は、車両の乗員に対して情報を提供する情報提供装置であって、前記乗員の状態を表わす乗員状態情報に基づいて前記乗員の感情を推定する感情推定・判定部と、前記感情推定・判定部により推定された前記乗員の感情が盛り上りを表わしていると判定された場合、前記乗員の感情が盛り上りを表わしていると判定された時点よりも一定時間だけ過去の対象時間帯において出現した対象キーワードを指定したうえで出力する対象キーワード指定部と、前記感情推定・判定部により推定された、前記対象キーワードに対する前記乗員の感情が肯定を表わす場合、前記対象キーワードに関連する情報を取得したうえで出力する情報生成部と、を備えていることを特徴とする。

本発明の情報提供装置が、前記情報生成部により出力された前記情報および前記感情推定・判定部により推定された、当該情報に対する前記乗員の反応を表わす感情を関連付けて記憶する記憶部をさらに備え、前記情報生成部が、前記記憶部により関連付けて記憶されている前記情報および前記乗員の反応感情に基づき、新たな情報を決定することが好ましい。

本発明の情報提供装置によれば、車両の乗員が発したキーワードおよびその感情に鑑みて、より適当な情報をより適切なタイミングで当該乗員に対して提供することができる。

基本システムの構成説明図。エージェント装置の構成説明図。携帯端末装置の構成説明図。本発明の一実施形態としての情報提供装置の構成説明図。情報提供装置の機能説明図。既存のプルチックモデルに関する説明図。

（基本システムの構成）
本発明の一実施形態としての情報提供装置４（図４参照）は、図１に示されている基本システムの構成要素のうち少なくとも一部により構成されている。基本システムは、車両Ｘ（移動体）に搭載されているエージェント装置１、乗員により車両Ｘの内部に持ち込み可能な携帯端末装置２（例えばスマートホン）およびサーバ３により構成されている。エージェント装置１、携帯端末装置２およびサーバ３は無線通信網（例えばインターネット）を通じて相互に無線通信する機能を備えている。エージェント装置１および携帯端末装置２は、同一の車両Ｘの空間内に共存するなど、物理的に近接している場合、近接無線方式（例えばＢｌｕｅｔｏｏｔｈ（「Ｂｌｕｅｔｏｏｔｈ」は登録商標））により相互に無線通信する機能を備えている。

（エージェント装置の構成）
エージェント装置１は、例えば図２に示されているように、制御部１００、センサ部１１（ＧＰＳセンサ１１１、車速センサ１１２およびジャイロセンサ１１３を備えている。また、車内外の温度センサ、シートまたはハンドルの温度センサまたは加速度センサが含まれていてもよい。）、車両情報部１２、記憶部１３、無線部１４（近接無線通信部１４１および無線通信網通信部１４２を備えている。）、表示部１５、操作入力部１６、オーディオ部１７（音声出力部）、ナビゲーション部１８、撮像部１９１（車内カメラ）および音声入力部１９２（マイク）および計時部（時計）１９３を備えている。時計は後述のＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）の時刻情報を用いるものであってもよい。

車両情報部１２は、ＣＡＮ−ＢＵＳ（ＣＡＮ）などの車内ネットワークを通じて車両情報を取得する。車両情報には、例えばイグニッションスイッチのＯＮ／ＯＦＦ、安全装置系の動作状況（ＡＤＡＳ（ＡｄｖａｎｃｅｄＤｒｉｖｉｎｇＡｓｓｉｓｔａｎｔＳｙｓｔｅｍ）、ＡＢＳ（ＡｎｔｉｌｏｃｋＢｒａｋｅＳｙｓｔｅｍ）およびエアバッグなど）の情報が含まれている。操作入力部１６は、スイッチ押下等の操作のほか、乗員の感情推定に利用可能なステアリング、アクセルペダルまたはブレーキペダルの操作量、窓およびエアコンの操作（温度設定値または車内外の温度センサの測定値）などの入力を検知する。エージェント装置１の記憶部１３は、車両の運転中、乗員の音声情報を継続的に記憶するために十分な記憶容量を備えるものである。また、サーバ３に各種情報が記憶されていてもよい。

（携帯端末装置の構成）
携帯端末装置２は、例えば図３に示されているように、制御部２００、センサ部２１（ＧＰＳセンサ２１１およびジャイロセンサ２１３を備えている。また、端末周辺の温度を測る温度センサまたは加速度センサが含まれていてもよい。）、記憶部２３（データ記憶部２３１およびアプリケーション記憶部２３２を備えている。）、無線部２４（近接無線通信部２４１および無線通信網通信部２４２を備えている。）、表示部２５、操作入力部２６、音声出力部２７、撮像部２９１（カメラ）および音声入力部２９２（マイク）および計時部（時計）２９３を備えている。時計は後述のＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）の時刻情報を用いるものであってもよい。

携帯端末装置２は、エージェント装置１と共通する構成要素を備えている。携帯端末装置２は、車両情報を取得する構成要素（図２／車両情報部１２参照）を備えていないが、例えば近接無線通信部２４１を通じてエージェント装置１から車両情報を取得することが可能である。また、アプリケーション記憶部２３２に記憶されているアプリケーション（ソフトウェア）にしたがって、エージェント装置１のオーディオ部１７およびナビゲーション部１８のそれぞれと同様の機能を携帯端末装置２が備えていてもよい。

（情報提供装置の構成）
図４に示されている本発明の一実施形態としての情報提供装置４は、エージェント装置１および携帯端末装置２のうち一方または両方により構成されている。ここで「情報」とは、会話がなされているその場の雰囲気や乗員の感情にそったもの（情報）、乗員の関心の高いもの（情報）や乗員にとって利用価値の高いと思われるもの（情報）などを包含する概念である。

情報提供装置４の一部の構成要素がエージェント装置１の構成要素であり、情報提供装置４のその他の構成要素が携帯端末装置２の構成要素であり、相互の構成要素を補完し合うようにエージェント装置１および携帯端末装置２が連携してもよい。例えば、エージェント装置１の記憶容量を比較的大きく設定できることを利用して、情報を携帯端末装置２からエージェント装置１に送信し、大容量の情報を蓄積する構成としてもよい。携帯端末装置２のアプリケーションプログラムなどの機能が比較的頻繁にバージョンアップされ、あるいは、乗員情報を日常的に随時取得しやすいことから携帯端末装置２で取得された判断結果および情報をエージェント装置１に送信する構成としてもよい。エージェント装置１からの指示で携帯端末装置２により情報を提供する構成としてもよい。

符号に関してＮ₁（Ｎ₂）という記載は、構成要素Ｎ₁および構成要素Ｎ₂のうち一方または両方により構成されていることまたは実行されていることを表わしている。

情報提供装置４は、制御部１００（２００）を含み、その働きにより必要に応じて、センサ部１１（２２）、車両情報部１２、無線部１４（２４）、操作入力部１６、オーディオ部１７、ナビゲーション部１８、撮像部１９１（２９１）、音声入力部１９２（２９２）、計時部（時計）１９３、さらには記憶部１３（２３）から情報または蓄積情報を取得し、また、必要に応じて、表示部１５（２５）または音声出力部１７（２７）から情報（コンテンツ）を提供する。また、情報提供装置４の使用に伴う乗員最適化のため必要な情報を記憶部１３（２３）に記憶する。

情報提供装置４は、情報取得部４１０と、情報処理部４２０と、を備えている。記憶部１３（２３）は、履歴記憶部４４１と、反応記憶部４４２と、を備えている。

情報取得部４１０は、乗員情報取得部４１１、車内状況情報取得部４１２、オーディオ作動状態情報取得部４１３、交通状況情報取得部４１４および外部情報取得部４１５を備えている。

乗員情報取得部４１１は、撮像部１９１（２９１）、音声入力部１９２（２９２）、オーディオ部１７、ナビゲーション部１８および時計４０２からの出力信号に基づき、車両Ｘの運転者などの乗員に関する情報を乗員情報として取得する。

乗員情報取得部４１１は、撮像部１９１（２９１）、音声入力部１９２（２９２）、および時計４０２からの出力信号に基づき、車両Ｘの乗員を含む乗員に関する情報を取得する。オーディオ作動状態情報取得部４１３は、オーディオ部１７の作動状態に関する情報をオーディオ作動状態情報として取得する。交通状況情報取得部４１４は、サーバ３およびナビゲーション部１８と連携することにより車両Ｘに関する交通状況情報を取得する。

撮像部１９１（２９１）により撮像された、乗員（特に車両Ｘの運転者または主乗員（第１乗員））がオーディオ部１７から出力されている音楽のリズムに合わせて身体の一部（例えば頭部）を周期的に動かしている様子など、その所作を表わす動画が乗員情報として取得されてもよい。音声入力部１９２（２９２）により検出された、乗員の鼻歌が乗員情報として取得されてもよい。撮像部１９１（２９１）により撮像された、ナビゲーション部１８の出力画像変更または音声出力に応じた乗員（第１乗員）の視線の動きなどの反応を表わす動画が乗員情報として取得されてもよい。オーディオ作動状態情報取得部４１３により取得された、オーディオ部１７から出力されている音楽情報に関する情報が乗員情報として取得されてもよい。

車内状況情報取得部４１２が、車内状況情報を取得する。撮像部１９１（２９１）により撮像された、乗員（特に車両Ｘの運転者（第１乗員）の同乗者または副乗員（第２乗員））が、眼を閉じている様子、車外を眺めている様子、またはスマートホンの操作をしている様子など、その所作を表わす動画が車内状況情報として取得されてもよい。音声入力部１９２（２９２）により検出された、第１乗員および第２乗員の会話または第２乗員の発話の内容が乗員情報として取得されてもよい。

交通状況情報取得部４１４が、交通状況情報を取得する。サーバ３から情報提供装置４に対して送信された、ナビゲーションルートまたはこれを包含する領域に含まれる道路またはこれを構成するリンクの移動コスト（距離、移動所要時間、交通渋滞度またはエネルギー消費量）が交通状況情報として取得されてもよい。ナビゲーションルートは、現在地おり構成され、現在地点または出発地点から目的地点まで連続する複数のリンクにナビゲーション部１８もしくは携帯端末装置２のナビゲーション機能、またはサーバ３によって計算される。情報提供装置４の現在地点は、ＧＰＳセンサ１１１（２１１）によって測定される。出発地点および目的地点は、操作入力部１６（２６）または音声入力部１９２（２９２）を通じて乗員により設定される。

情報処理部４２０は、盛り上り判定部４２１（感情推定・判定部４２１１および文章特徴抽出部４２１２を備えている。）と、対象キーワード指定部４２３と、検索処理部４２４と、情報生成部４３０と、フィードバック情報生成部４４０と、を備えている。

盛り上り判定部４２１は、乗員の会話を含む車内状況情報または１次情報を常時取得し、盛り上がりの有無を把握する。「大好きである」または「愛らしい」などの乗員の感情を認識し、「盛り上がり」を認識する。乗員同士の会話が続いている中で、感情に特徴は認識されないものの、同じキーワードが繰り返されている状態から「盛り上がっている」と判定される。感情推定・判定部４２１１は、情報取得部４１０により取得された車内状況情報および交通状況情報のうち少なくとも１つである乗員状態情報に基づき、乗員の感情を推定する。文章特徴抽出部４２１２は、乗員の発話内容を表わす文章の特徴を抽出する。対象キーワード指定部４２３は、感情推定・判定部４２１１により推定された乗員の感情が高揚（盛り上がりなど）を表わす場合、検索処理部４２４により検索された対象キーワードを、表示部１５（２５）および音声出力部１７（２７）のうち少なくとも一方を通じて出力する。情報生成部４３０は、感情推定・判定部４２１１により推定された、対象キーワードに対する乗員の感情が肯定（共感など）を表わす場合、対象キーワードに関連する情報を取得したうえで、表示部１５（２５）および音声出力部１７（２７）のうち少なくとも一方を通じて出力する。情報は、記憶部１３（２３）から取得されてもよく、または無線通信網を介してサーバ３から取得されてもよい。フィードバック情報生成部４４０は、フィードバック情報を生成する。

記憶部１３（２３）は、情報生成部４３０により出力された情報および感情推定・判定部４２１１により推定された、当該情報に対する乗員の反応を表わす感情を関連付けて記憶する。情報生成部４３０は、記憶部１３（２３）により関連付けて記憶されている情報および乗員の反応感情に基づき、新たな情報を決定する。

（情報提供装置の作用）
前記構成の情報提供装置４の作用または機能について説明する。

情報取得部４１０が、車両Ｘの乗員である乗員の音声情報またはライブデータを取得する（図５／ＳＴＥＰ１０２）。音声入力部１９２（２９２）により検出された、車両Ｘのキャビンスペースにいる一または複数の乗員の発話または会話が音声情報として取得される。

感情推定・判定部４２１１が、情報取得部４１０により取得された乗員情報、車内状況情報および交通状況情報のうち少なくとも１つである乗員状態情報（第１情報）に基づき、乗員の第１の感情（感情値）を推定または抽出する（図５／ＳＴＥＰ１０４）。具体的には、第１情報を入力として、ディープラーニングまたはサポートベクターマシン等の機械学習により作成されたフィルターが用いられて、乗員の感情値が推定される。例えば、複数の乗員が会話を楽しんでいる様子を示す動画または音声情報が乗員状態情報に含まれている場合、当該複数の乗員の感情値が高く推定される。感情の推定は公知または新規の感情モデルに基づいて実行されてもよい。図６は公知のプルチックの感情モデルを簡略的にしましたものである。４組８種の感情に分類され、それは放射の８方向Ｌ１〜・・Ｌ５〜Ｌ８に「喜び、悲しみ、怒り、恐れ、嫌悪、信頼、驚き、期待」が表示され円の中心に寄るほど（Ｃ１→Ｃ３）感情の程度が強いものとして表現されている。

盛り上り判定部４２１が、車両Ｘの乗員同士の会話を含む情報に基づき、車両Ｘの乗員の感情または雰囲気が盛り上がっているか否かを判定する（図５／ＳＴＥＰ１０６）。この処理は、盛り上り有無の１次判定処理に該当する。例えば、乗員の会話内容に基づいて「大好きである」「愛らしい」などの感情を当該乗員が抱いていることが推定された場合、乗員が盛り上がっていると判定される。また、この盛り上がりの判定は、複数人に限らず、独り言でも適用可能である。肯定の判定は、一つの文章で行われるのではなく、他人または自分でもやや間をおいて「うん。そうそう。いいね」と肯定を示すもので、笑い声でも良い。

当該１次判定結果が否定的である場合（図５／ＳＴＥＰ１０６‥ＮＯ）、盛り上り判定部４２１が、乗員同士の会話が続いている中で、感情に特徴は認識されないものの、文章特徴抽出部４２１２により抽出された同一のキーワードまたは語句が（指定回数以上にわたり）繰り返されているか否かを判定する（図５／ＳＴＥＰ１０８）。この処理は、盛り上り有無の２次判定処理に該当する。同一のキーワードまたは語句が繰り返されている場合、乗員が盛り上がっていると判定される。

車両Ｘの乗員が盛り上がっていないと判定された場合（図５／ＳＴＥＰ１０６‥ＮＯまたはＳＴＥＰ１０８‥ＮＯ）、乗員の音声情報取得以降の処理が繰り返される（図５／ＳＴＥＰ１０２→ＳＴＥＰ１０４→ＳＴＥＰ１０６→ＳＴＥＰ１０８参照）。

その一方、車両Ｘの乗員が盛り上がっている（または同一のキーワードまたは語句が繰り返されている）と判定された場合（図５／ＳＴＥＰ１０６‥ＹＥＳまたはＳＴＥＰ１０８‥ＹＥＳ）、対象キーワード指定部４２３が、乗員の盛り上がっていると判定された時点よりも過去の一定の時間帯（数秒から数十秒の範囲の長さ）を特定する。当該閾値以上の推定感情値が出現した時点よりも一定時間（例えば１分間）だけ過去の対象時間帯を決定する（図５／ＳＴＥＰ１１０）。対象キーワード指定部４２３が、対象時間帯における音声情報から抽出されたキーワードの中から対象キーワードを指定したうえで、表示部１５（２５）および音声出力部１７（２７）のうち少なくとも一方を通じて出力する（図５／ＳＴＥＰ１１２）。

情報取得部４１０が、対象キーワードに接した際の乗員の状態を表わす乗員状態情報を取得し、感情推定・判定部４２１１が、当該乗員状態情報（第２情報）に基づいて当該乗員の反応から第２の感情を推定する（図５／ＳＴＥＰ１１４）。具体的には、第２情報を入力として、ディープラーニングまたはサポートベクターマシン等の機械学習により作成されたフィルターが用いられて、乗員の感情が推定される。感情の推定は公知の感情モデル（図６参照）または新規の感情モデルに基づいて実行されてもよい。第２情報は、感情値の評価基礎である第１情報（図５／ＳＴＥＰ１０６参照）と同一であってもよく異なっていてもよい。

例えば、「いいね」、「賛成」または「行ってみよう」などの肯定的なキーワードが含まれている音声情報が第２情報に含まれている場合、乗員の反応感情が肯定であると推定される可能性が高くなる。これとは逆に、「いまいち」、「反対」または「やめとく」などの否定的なキーワードが含まれている音声情報が第２情報に含まれている場合、乗員の反応感情が否定であると推定される可能性が高くなる。

情報生成部４３０が、感情推定・判定部４２１１により推定された、対象キーワードに対する乗員の第２の感情が肯定（共感など）を表わすか否かを判定する（図５／ＳＴＥＰ１１６）。乗員の第２の感情が否定など、肯定を表わしていないと判定された場合（図５／ＳＴＥＰ１１６‥ＮＯ）、盛り上りの有無判定以降の処理が繰り返される（図５／ＳＴＥＰ１０６→‥→ＳＴＥＰ１１６参照）。その一方、乗員の反応感情が肯定を表わしていると判定された場合（図５／ＳＴＥＰ１１６‥ＹＥＳ）、情報生成部４３０が、対象キーワードに関連する情報を取得する（図５／ＳＴＥＰ１１８）。当該情報が、外部情報源からその都度検索されてもよく、外部情報源から頻繁に得られる（自動的に送られてくる）外部情報が一旦記憶部１３（２３）に記憶され、その中から情報が選択されてもよい。情報生成部４３０が、表示部１５（２５）および音声出力部１７（２７）のうち少なくとも一方を通じて当該情報を出力する（図５／ＳＴＥＰ１２０）。当該出力情報は、「車両Ｘの乗員同士の会話内容に合った情報」または「車両Ｘの乗員の雰囲気に合った情報」として提供される。

情報取得部４１０が、情報に接した際の乗員の状態を表わす乗員状態情報を取得し、感情推定・判定部４２１１が、当該乗員状態情報（第３情報）に基づいて当該乗員の反応から第３の感情を推定する（図５／ＳＴＥＰ１２２）。具体的には、第３情報を入力として、ディープラーニングまたはサポートベクターマシン等の機械学習により作成されたフィルターが用いられて、乗員の第３の感情が推定される。感情の推定は公知の感情モデル（図６参照）または新規の感情モデルに基づいて実行されてもよい。第３情報は、感情推定基礎である第１情報（図５／ＳＴＥＰ１０６参照）および第２情報と同一であってもよく異なっていてもよい。

そして、フィードバック情報生成部４４０が、出力情報と、これに対する乗員の第３の感情とを関連付けて記憶部１３（２３）に記憶させる（図５／ＳＴＥＰ１２４）。情報生成部４３０は、記憶部１３（２３）により関連付けて記憶されている情報および乗員の反応感情に基づき、新たな対象キーワードまたはこれに応じた情報を決定することができる（図５／ＳＴＥＰ１１２およびＳＴＥＰ１１８参照）。

（情報提供装置の機能（変形例））
他の実施形態では、キーワードが抽出された後、情報生成部４３０によって当該キーワードに応じた情報が取得されたうえでキーワードおよび情報が関連付けられて記憶部１３（２３）に記憶保持されてもよい。そして、対象キーワードに対する乗員の第２の感情が肯定的であると判定された場合（図５／ＳＴＥＰ１１６‥ＹＥＳ参照）、当該対象キーワードに関連付けられている情報が記憶部１３（２３）から読み出され、表示部１５（２５）および音声出力部１７（２７）のうち少なくとも一方を通じて出力されてもよい（図５／ＳＴＥＰ１２０参照）。

（効果）
本発明の情報提供装置４によれば、車両の乗員が発したキーワードおよびその感情に鑑みて、より適当な情報をより適切なタイミングで当該乗員に対して提供することができる。

１‥エージェント装置、２‥携帯端末装置、３‥サーバ、４‥情報提供装置、１１‥センサ部、１１１‥ＧＰＳセンサ、１１２‥車速センサ、１１３‥ジャイロセンサ、１２‥車両情報部、１３‥記憶部、１４‥無線部、１４１‥近接無線通信部、１４２‥無線通信網通信部、１５‥表示部、１６‥操作入力部、１７‥オーディオ部、１８‥ナビゲーション部、１９１‥撮像部（車内カメラ）、１９２‥音声入力部（マイク）、２１‥センサ部、２１１‥ＧＰＳセンサ、２１３‥ジャイロセンサ、２３‥記憶部、２３１‥データ記憶部、２３２‥アプリケーション記憶部、２４‥無線部、２４１‥近接無線通信部、２４２‥無線通信網通信部、２５‥表示部、２６‥操作入力部、２７‥音声出力部、２９１‥撮像部（カメラ）、２９２‥音声入力部（マイク）、４１１‥乗員情報取得部、４１２‥車内状況情報取得部、４１３‥オーディオ作動状態情報取得部、４１４‥交通状況情報取得部、４２１‥盛り上り判定部、４２２‥働きかけ内容決定部、４３０‥情報生成部、４４１‥履歴記憶部、４４２‥反応記憶部、Ｘ‥車両（移動体）。

Claims

車両の乗員に対して情報を提供する情報提供装置であって、
前記乗員の状態を表わす乗員状態情報に基づいて前記乗員の感情を推定する感情推定・判定部と、
前記感情推定・判定部により推定された前記乗員の感情が盛り上りを表わしていると判定された場合、前記乗員の感情が盛り上りを表わしていると判定された時点よりも一定時間だけ過去の対象時間帯において出現した対象キーワードを指定したうえで出力する対象キーワード指定部と、
前記感情推定・判定部により推定された、前記対象キーワードに対する前記乗員の感情が肯定を表わす場合、前記対象キーワードに関連する情報を取得したうえで出力する情報生成部と、を備えていることを特徴とする情報提供装置。
請求項１記載の情報提供装置において、
前記情報生成部により出力された前記情報および前記感情推定・判定部により推定された、当該情報に対する前記乗員の反応を表わす感情を関連付けて記憶する記憶部をさらに備え、
前記情報生成部が、前記記憶部により関連付けて記憶されている前記情報および前記乗員の反応感情に基づき、新たな情報を決定することを特徴とする情報提供装置。
請求項１または記載の情報提供装置を備えていることを特徴とする移動体。