JP2024025227A - 情報処理方法及び情報処理装置 - Google Patents

情報処理方法及び情報処理装置 Download PDF

Info

Publication number
JP2024025227A
JP2024025227A JP2022128493A JP2022128493A JP2024025227A JP 2024025227 A JP2024025227 A JP 2024025227A JP 2022128493 A JP2022128493 A JP 2022128493A JP 2022128493 A JP2022128493 A JP 2022128493A JP 2024025227 A JP2024025227 A JP 2024025227A
Authority
JP
Japan
Prior art keywords
agent
vehicle
image
information processing
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022128493A
Other languages
English (en)
Inventor
睿申 夏
Ruishen Xia
沙織 小野
Saori Ono
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renault SAS
Nissan Motor Co Ltd
Original Assignee
Renault SAS
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renault SAS, Nissan Motor Co Ltd filed Critical Renault SAS
Priority to JP2022128493A priority Critical patent/JP2024025227A/ja
Publication of JP2024025227A publication Critical patent/JP2024025227A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Navigation (AREA)
  • Instrument Panels (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】エージェントを用いて、車両に乗車するユーザに対象物に関する情報を報知する場合に、報知対象となる対象物の位置を的確に指し示す。【解決手段】エージェント機器200、エージェント画像を表示する表示装置群300を設置可能な車両C1に乗車するユーザU1に対象物に関する情報を報知する情報処理方法である。この情報処理方法は、エージェント機器200の動作状態、表示装置群300の表示状態を制御する制御処理を含む。この制御処理では、対象物に関する情報をユーザU1に報知する場合に、その対象物とエージェント機器200との位置関係と、その対象物の数と、その対象物の動作状態とのうちの少なくとも1つに基づいて、エージェント機器200を用いてその対象物を指し示してその情報を報知する第1報知と、エージェント画像を用いてその対象物を指し示してその情報を報知する第2報知とを切り替える。【選択図】図8

Description

本発明は、車両に乗車するユーザに対象物に関する情報を報知する情報処理方法及び情報処理装置に関する。
従来、ロボットを用いて各種の報知を実行する技術が存在する。例えば、ダッシュボードに配設された小型のロボットとして、擬人化されたエージェント機器を用いて、運転者に危険回避行動を促す技術が提案されている(例えば、特許文献1参照)。
特開2018-32204号公報
ここで、エージェント機器は、3次元のロボットとしての振る舞いによりユーザに対して効果的な演出ができ、よりユーザの目を引くことが知られている。そこで、エージェント機器を用いて、車両に乗車するユーザに何らかの対象物に関する情報を報知することが考えられる。しかし、エージェント機器の動作によっては、報知対象となる対象物の位置を的確に指し示すことが難しいことも想定される。
本発明は、エージェントを用いて、車両に乗車するユーザに対象物に関する情報を報知する場合に、報知対象となる対象物の位置を的確に指し示すことを目的とする。
本発明の一態様は、所定動作により所定方向を指し示すことが可能な部材を備えるエージェント機器と、エージェント機器に対応する画像であって車両内又は車両外に存在する物体を指し示す表示態様としてのエージェント画像を表示する表示装置とを設置可能な車両に乗車するユーザに対象物に関する情報を報知する情報処理方法である。この情報処理方法は、エージェント機器の動作状態と、表示装置の表示状態とを制御する制御処理を含み、制御処理では、ユーザに情報を報知する場合に、対象物とエージェント機器との位置関係と、対象物の数と、対象物の動作状態とのうちの少なくとも1つに基づいて、エージェント機器を用いて当該対象物を指し示して情報を報知する第1報知と、エージェント画像を用いて当該対象物を指し示して情報を報知する第2報知とを切り替える。
本発明によれば、エージェントを用いて、車両に乗車するユーザに対象物に関する情報を報知する場合に、報知対象となる対象物の位置を的確に指し示すことができる。
図1は、車両の車室内の構成例を簡略化して示す図である。 図2は、車両の車室内の構成例を簡略化して示す図である。 図3は、車両の車室内の構成例を示す図である。 図4は、エージェント機器の外観構成の一例を簡略化して示す斜視図である。 図5は、車両に設置されている情報処理システムのシステム構成の一例を示す図である。 図6は、車両を所定の駐車スペースに駐車させる際に、第1表示装置の表示部に表示される車両周囲画像の一例を示す図である。 図7は、車両に設置されているナビゲーション装置を用いて目的地を設定した場合に、第1表示装置の表示部に表示される地図画像の一例を示す図である。 図8は、情報処理装置におけるエージェント切替処理の一例を示すフローチャートである。 図9は、情報処理装置におけるエージェント切替処理の一例を示すフローチャートである。 図10は、車両の設備をユーザが探している場合に、第1表示装置の表示部に表示される案内画像の一例を示す図である。 図11は、後部座席ユーザとのコミュニケーションが必要になったことに応じて、第2表示装置の表示部にエージェント画像を表示させる場合の表示例を示す図である。 図12は、情報処理装置におけるエージェント切替処理の一例を示すフローチャートである。 図13は、情報処理装置におけるエージェント切替処理の一例を示すフローチャートである。 図14は、情報処理装置におけるエージェント切替処理の一例を示すフローチャートである。 図15は、情報処理装置におけるエージェント切替処理の一例を示すフローチャートである。 図16は、車両の前方に存在する対象物の数に応じて、フロントウインドの表示領域に表示させる場合の表示遷移例を示す図である。 図17は、情報処理装置におけるエージェント切替処理の一例を示すフローチャートである。 図18は、情報処理装置におけるエージェント切替処理の一例を示すフローチャートである。
以下、添付図面を参照しながら本発明の実施形態について説明する。
[エージェント機器の設置例]
図1及び図2は、車両C1の車室内の構成例を簡略化して示す図である。なお、図1では、運転席11、助手席12(図2参照)よりも前側を、車両C1の後ろ側から見た場合の外観構成例を示し、図2では、後部座席よりも前側を、車両C1の後ろ側から見た場合の外観構成例を示す。また、図1及び図2では、説明を容易にするため、ダッシュボード2、ステアリングホイール3、フロントウインド4、バックミラー5、サイドミラー6、7、USB(Universal Serial Bus)ポート8、車内カメラ101、エージェント機器200、第1表示装置310、第2表示装置320以外の図示は省略する。なお、USBポート8は、USB接続を行う電子機器のプラグを差し込む差込口を意味する。
エージェント機器200は、車両C1のダッシュボード2上に設置される小型のロボットである。本実施形態では、人間を模したロボットをエージェント機器200とする例を示す。なお、図1及び図2では、ダッシュボード2上にエージェント機器200を設置する例を示すが、これに限定されない。例えば、フロントウインド4の上部にエージェント機器200を設置してもよい。また、図1及び図2では、人間を模したロボットをエージェント機器200とする例を示すが、これに限定されない。例えば、ウサギ、豚等のような動物を模したロボット、仮想物の生物(例えばアニメのキャラクターの顔)を模したロボット、他の物体(例えばテレビ型の機器、ラジオ型の機器)を模したロボットをエージェント機器200としてもよい。
エージェント機器200は、情報処理装置110(図5参照)からの指示に基づいて各種の動作を実行する。例えば、エージェント機器200は、情報処理装置110の制御に基づいて、ユーザU1が運転操作をする際における運転支援に関する各種情報を出力する。この運転支援として、前方又は後方の動体の報知等が想定される。例えば、前方の動体の報知として、「この先踏切だから気を付けてよ」と音声出力したり、「前方に人がいるよ」と音声出力したりすることができる。このように、エージェント機器200は、運転支援を実行する。
ここで、報知は、何らかの情報を伝えたり、知らせたりすることを意味する。なお、本実施形態で示す報知については、通知、伝達等と称してもよい。
第1表示装置310は、運転席11、助手席12に着座した乗員が見られるように、車両C1のダッシュボード2の中央部分に設けられる表示装置である。第2表示装置320は、車両C1の後部座席に着座した乗員が見られるように、車両C1の内部の天井の中央付近に設けられる表示装置である。第2表示装置320として、例えば、支持部材41を用いて天井に取り付けられるフリップダウン式の表示装置、すなわち、折り畳み式の表示装置を用いることができる。なお、図1、図2に示す例では、少なくとも2つの第1表示装置310、第2表示装置320を車両C1に設置する例を示すが、1または3以上の表示装置を車両C1に設置してもよい。また、各表示装置の設置場所については、図1及び図2に示す例に限定されず、適宜変更可能である。
第1表示装置310、第2表示装置320には、情報処理装置110(図5参照)の制御に基づいて各種画像が表示される。第1表示装置310、第2表示装置320として、例えば、ユーザによるタッチ操作によりユーザ操作を受け付けることが可能なタッチパネルを用いることができる。例えば、第1表示装置310、第2表示装置320として、表示部等のユーザインタフェースを備える各種機器(例えばスマートフォン、タブレット端末、カーナビゲーション装置、IVI(In-Vehicle Infotainment))を用いることが可能である。また、第1表示装置310、第2表示装置320には、エージェント機器200に対応するエージェント画像を表示部311、321に表示させ、そのエージェント画像を用いてユーザU1に対する報知をすることが可能である。なお、エージェント画像の表示例については、図6、図7、図10、図11に示す。
車内カメラ101は、車両C1の内部の天井に設けられ、車両C1の内部の被写体を撮像して画像(画像データ)を生成するものである。なお、車内カメラ101は、例えば、被写体を撮像することが可能な1または複数のカメラ機器や画像センサにより構成される。例えば、フロントウインド4の上部、すなわち、バックミラー5の上側に車内カメラ101を設けることができる。なお、この例では、少なくとも1つの車内カメラ101を備える例を示すが、2以上の撮像装置を備え、これらの撮像装置のうちの全部又は一部の画像を用いてもよい。また、各撮像装置の設置場所については、図1に示す例に限定されず、適宜変更可能である。また、車両C1の全方位に存在する被写体と、車両C1の内部の被写体とを取得可能な1または複数の機器、例えば、360度カメラを用いてもよい。
[HUDの構成例]
図3は、車両C1の車室内の構成例を示す図である。なお、図3では、車両C1の左右方向の左側から見た場合の車両C1の内部の断面を簡略化して示し、ステアリングホイール3、フロントウインド4、車内カメラ101、第3表示装置330以外の図示は省略する。
図3に示すように、ダッシュボード2の上部において、フロントウインド4との境界付近には、車両C1のHUD(Head Up Display)を実現するための第3表示装置330が設けられている。
第3表示装置330は、フロントウインド4の表示領域331に光を投射して、その反射光を利用してユーザU1に虚像を見せるHUD表示を実現するための表示装置、例えばプロジェクタ、光学系である。すなわち、第3表示装置330からフロントウインド4の表示領域331に投射された光は、フロントウインド4により反射され、その反射光がユーザU1の眼に向かう。そして、表示領域331に投射されてユーザU1の眼に入った反射光は、フロントウインド4越しに見える実際の物体とともに、その物体に重畳されて表示される。このように、第3表示装置330は、フロントウインド4を用いて虚像を表示することにより、HUD表示を実現する。
例えば、第3表示装置330は、情報処理装置110(図5参照)の制御に基づいて、車両C1に関する各種車両情報を表示領域331に表示させる。例えば、図16(B)に示すように、車両C1の前方に存在する複数の歩行者451乃至453を報知するためのエージェント画像461乃至463を表示させる。
フロントウインド4は、車両C1の前部に設けられたシールド(例えば、フロントガラス)であって、車両C1のHUDの表示媒体として機能する。
また、フロントウインド4については、ガラスを用いて形成してもよく、他の部材を用いて形成してもよい。例えば、フロントウインド4として、後側ガラスと前側ガラスと中間膜とによって構成される合わせガラスを用いる場合には、中間膜の断面をくさび形に成形することにより、光の屈折を制御することができる。すなわち、後側ガラス及び前側ガラスが断面視でハの字となるように、合わせガラスが形成される。これにより、フロントウインド4をHUDの表示媒体として機能させることができる。
なお、図3では、フロントウインド4をHUDとして機能させる場合の例を示すが、他のシールドについてもHUDとして機能させてもよい。例えば、後方シールド、サイドシールドの付近における所定位置に表示装置を設け、後方シールド、サイドシールドをHUDとして機能させてもよい。
[エージェント機器の外観構成例]
図4は、エージェント機器200の外観構成の一例を簡略化して示す斜視図である。本実施形態では、エージェント機器200がオン状態である場合には、活動状態及び休止状態の何れかの状態に切り替える例を示す。すなわち、情報処理装置110(図5参照)は、エージェント機器200の動作状態として、活動状態と休止状態との何れかを切り替える制御を実行する。なお、車両C1のオン操作に応じて、エージェント機器200をオン状態とすることが可能である。また、エージェント機器200に関するユーザ操作に応じて、エージェント機器200をオン状態とすることが可能である。なお、車両C1のオンオフ操作は、車両C1の起動又は停止に関するスタートキーのオン操作又はオフ操作を意味する。
図4(A)には、活動状態のエージェント機器200の正面図を示す。図4(B)には、休止状態のエージェント機器200の正面図を示す。なお、図4(A)に示すエージェント機器200は、図1、図2に示すエージェント機器200に対応する。
エージェント機器200は、略箱状の本体部210の上部に略球状の顔部220が設けられ、本体部210の左右方向の側部に棒状体の腕部211、212が設けられているロボット機器である。また、本体部210の表面には、各種画像、例えば模様213が表示される。また、顔部220の表面には、各種画像、例えば口部221、眼部222が表示される。本実施形態では、車両C1のダッシュボード2上に、眼部222が車内側を見る方向にエージェント機器200が設置される例を示す。また、エージェント機器200の口部221、眼部222が表示されている側をエージェント機器200の前側と称し、エージェント機器200の前側とは反対側をエージェント機器200の後側と称して説明する。また、エージェント機器200において、腕部211が設けられている側をエージェント機器200の右側と称し、腕部212が設けられている側をエージェント機器200の左側と称して説明する。
図4(C)には、顔部220が右側を向き、腕部211の先端が右方向を指し示す場合のエージェント機器200の正面図を示す。図4(D)には、顔部220が左側を向き、腕部212の先端が左方向を指し示す場合のエージェント機器200の正面図を示す。図4(E)には、顔部220が上側を向き、腕部211の先端が上方向を指し示す場合のエージェント機器200の正面図を示す。
顔部220は、顔部220の中心部分を回動中心として、エージェント機器200の上下方向、左右方向に回動する。例えば、図4(C)(D)に示すように、顔部220が左右方向に回動する。また、例えば、図4(B)(E)に示すように、顔部220が上下方向に回動する。このように、エージェント機器200には、顔部220を駆動させるための駆動装置が設けられる。そして、エージェント機器200の顔部220を左右方向に回転移動させたり、顔部220を上下方向に回転移動させたり、顔部220を左右方向に揺らせたり、顔部220を上下方向に揺らせたりすることが可能となる。
腕部211は、本体部210における腕部211の取付部分を回動中心として、エージェント機器200の前後方向、左右方向、上下方向に回動する。また、腕部211の中央部分は、その中央部分を回動中心として、エージェント機器200の前後方向、左右方向、上下方向に回動する。同様に、腕部212は、本体部210における腕部212の取付部分を回動中心として、エージェント機器200の前後方向、左右方向、上下方向に回動する。また、腕部212の中央部分は、その中央部分を回動中心として、エージェント機器200の前後方向、左右方向、上下方向に回動する。
このように、腕部211の取付部分、中央部分には、腕部211を駆動させるための駆動装置が設けられる。そして、腕部211を上下方向に移動させたり、腕部211を前後方向に移動させたり、腕部211を上下方向に揺らせたり、腕部211を前後方向に揺らせたりすることが可能となる。また、腕部212の取付部分、中央部分には、腕部212を駆動させるための駆動装置が設けられる。そして、腕部212を上下方向に移動させたり、腕部212を前後方向に移動させたり、腕部212を上下方向に揺らせたり、腕部212を前後方向に揺らせたりすることが可能となる。
なお、エージェント機器200の各部を駆動させる駆動装置については、情報処理装置110(図5参照)の制御に基づいて各動作が実行される。
また、本実施形態では、説明を容易にするため、対象物を指し示す部材として、腕部211、212を用いる例を示す。ただし、対象物を指し示す部材として、エージェント機器200に手、指及び腕を模した部材を設け、これらを用いて対象物を指し示してもよい。また、エージェント機器200に手、指及び腕のうちの少なくとも1つを模した部材を設け、これらを用いて対象物を指し示してもよい。
また、本体部210、顔部220の表面の少なくとも一部には、各種画像を表示することが可能な表示媒体が設置されている。この表示媒体として、例えば、発光シート、液晶表示器、有機EL(Electro Luminescence)等の各種表示媒体を使用可能である。例えば、図4(A)、(C)乃至(E)に示すように、通常の眼部222を表示させることができる。また、例えば、図4(B)に示すように、閉じたような眼部222を表示させることができる。また、例えば、図4(A)(B)に示すように、通常の口部221を表示させることができる。また、例えば、図4(C)乃至(E)に示すように、怒ったような口部221を表示させることができる。このように、本実施形態では、エージェント機器200の各部のうちの少なくとも一部を変化させる動作態様と、エージェント機器200の表面のうちの少なくとも一部の表示状態を変化させる表示態様とによりエージェント機器200を変化させることが可能である。また、その変化を見た車両C1のユーザU1は、エージェント機器200が何らかの動きをしていると認識可能となる。なお、休止状態のエージェント機器200として、例えば、眼部222が消えて顔部220が下がったような状態、シャットダウン状態等とすることが可能である。
なお、これらのエージェント機器200の動作態様は、一例であり、他の動作態様とすることも可能である。例えば、ダッシュボード2上の所定範囲内において、エージェント機器200をスライド移動させることも可能である。例えば、エージェント機器200を前後左右方向にスライド移動させることも可能である。また、例えば、エージェント機器200を一時的に浮かせるような演出も可能である。
[情報処理システムの構成例]
図5は、車両C1に設置されている情報処理システム100のシステム構成の一例を示す図である。
情報処理システム100は、車内カメラ101と、前方カメラ102と、後方カメラ103と、車速センサ104と、位置情報取得センサ105と、音声入力部106と、センサ類107と、情報処理装置110と、エージェント機器200と、表示装置群300とを備える。なお、情報処理装置110及びエージェント機器200は、有線通信又は無線通信を利用した通信方式によって接続される。また、情報処理装置110及び表示装置群300は、有線通信又は無線通信を利用した通信方式によって接続される。また、情報処理装置110は、無線通信を利用した通信方式によってネットワークに接続されている。ネットワークは、公衆回線網、インターネット等のネットワークである。なお、エージェント機器200についても、無線通信を利用した通信方式によってネットワークに接続してもよい。
車内カメラ101、前方カメラ102、後方カメラ103は、情報処理装置110の制御に基づいて、被写体を撮像して画像(画像データ)を生成するものであり、生成された画像に関する画像情報を情報処理装置110に出力する。車内カメラ101は、車両C1の内部に設けられ、車両C1の内部の被写体を撮像して画像(画像データ)を生成する。また、前方カメラ102は、車両C1の前方に設けられ、車両C1の前方の被写体を撮像して画像(画像データ)を生成する。また、後方カメラ103は、車両C1の後方に設けられ、車両C1の後方の被写体を撮像して画像(画像データ)を生成する。なお、車内カメラ101、前方カメラ102、後方カメラ103は、例えば、被写体を撮像することが可能な1または複数のカメラ機器や画像センサにより構成される。なお、これらのカメラのうちの少なくとも1つとして、例えば、車両C1の全方位に存在する被写体と、車両C1の内部の被写体とを取得可能な1または複数の機器、例えば、360度カメラを用いてもよい。
車速センサ104は、車両C1の速度を取得するセンサであり、取得された車両C1の速度を情報処理装置110に出力する。
位置情報取得センサ105は、車両C1が存在する位置に関する位置情報を取得するものであり、取得された位置情報を情報処理装置110に出力する。例えば、GNSS(Global Navigation Satellite System:全球測位衛星システム)を利用して位置情報を取得するGNSS受信機により実現できる。また、その位置情報には、GNSS信号の受信時における緯度、経度、高度等の位置に関する各データが含まれる。また、他の位置情報の取得方法により位置情報を取得してもよい。例えば、周囲に存在するアクセスポイントや基地局からの情報を用いて位置情報を導き出してもよい。また、ビーコンを用いて位置情報を取得してもよい。例えば、車速センサ104又は位置情報取得センサ105により取得された情報に基づいて、車両C1の状態、例えば、走行中、停止中、後進中を判定可能である。
音声入力部106は、車両C1の内部または外部に設けられ、情報処理装置110の制御に基づいて、車両C1の周囲の音(車外の音)及び車内の音を取得するものであり、取得された音に関する音情報を情報処理装置110に出力する。音声入力部106として、例えば、1または複数のマイクや音取得センサを用いることができる。
センサ類107は、車両C1に設置されている各種のセンサであり、各センサにより取得された検出情報を情報処理装置110に出力する。センサ類は、例えば、加速度センサ、着座センサ等である。また、例えば、車両C1の周囲に存在する物体を検出するセンサ類107として、ソナー(Sonar)、ライダー(LIDAR(Light Detection and Ranging))、レーダーを用いることが可能である。ソナー、ライダー、レーダーは、車両C1の周囲に存在する物体と、その物体までの距離とを測定するセンサである。例えば、レーザ光、ミリ波等を車両C1の周囲に照射してその反射波を受波して観測することにより、物体との距離を測定することが可能となる。なお、これらは一例であり、他のセンサを用いてもよい。また、これらのうちの一部のセンサのみを用いてもよい。
制御部120は、記憶部130に記憶されている各種プログラムに基づいて各部を制御するものである。制御部120は、例えば、CPU(Central Processing Unit)等の処理装置により実現される。なお、車両C1の車両ECU(Electronic Control Unit)を制御部120としても使用してもよく、車両ECUとは異なる処理装置を制御部120として設けてもよい。
制御部120は、車内カメラ101、前方カメラ102、後方カメラ103、車速センサ104、位置情報取得センサ105、音声入力部106、センサ類107等から出力された各情報に基づいて、エージェント機器200の動作状態と、表示装置群300の表示状態とを制御する制御処理を実行する。具体的には、制御部120は、切替判定部121と、エージェント機器制御部122と、表示制御部123とを備える。
切替判定部121は、ユーザU1に情報を報知する場合に、エージェント機器200を用いて対象物を指し示して情報を報知する第1報知と、エージェント画像を用いて対象物を指し示して情報を報知する第2報知とを切り替える切替処理を実行する。例えば、切替判定部121は、車内カメラ101、前方カメラ102、後方カメラ103、車速センサ104、位置情報取得センサ105、音声入力部106、センサ類107等から出力された各情報に基づいて、その切替処理を実行する。例えば、切替判定部121は、対象物とエージェント機器200との位置関係と、対象物の数と、対象物の動作状態とのうちの少なくとも1つに基づいて、その切替処理を実行する。
例えば、切替判定部121は、腕部211、212の動作により対象物の位置を報知する際の腕部211、212の先端とその対象物との距離を算出する。そして、切替判定部121は、腕部211、212の先端と対象物との距離が所定値よりも大きい場合には、第2報知を実行するための切替処理を行う。この切替処理例を図8、図12、図14、図17に示す。このように、切替判定部121は、ユーザU1に対象物に関する情報を報知する前に、エージェント機器200の腕部211、212の動作によって対象物の位置を報知する際のエージェント機器200の動作を算出し、その動作に基づいて切替処理を実行する。なお、ここで示すエージェント機器200の動作は、対象物の位置にエージェント機器200の腕部211、212の先端を向ける指さし動作を意味する。なお、腕部211、212の先端とその対象物との距離については、エージェント機器200とその対象物との距離の値から、腕部211又は212の長さの値を減算することにより求めることが可能である。なお、腕部211、212の先端とその対象物との距離を算出する代わりに、エージェント機器200とその対象物との距離を算出して用いてもよい。
また、例えば、切替判定部121は、腕部211、212の動作により対象物の位置を報知する際の腕部211、212の先端と対象物との間に車両C1の構成部品が障害物として存在するか否かを判定する。そして、切替判定部121は、腕部211、212の先端と対象物との間に障害物が存在する場合には、第2報知を実行するための切替処理を行う。この切替処理例を図8、図12、図14に示す。
また、例えば、切替判定部121は、報知対象となる対象物の変化速度(すなわち移動速度)を算出し、その対象物の変化速度が所定値よりも大きい場合には、第2報知を実行するための切替処理を行う。なお、報知対象となる対象物の変化速度については、前方カメラ102により取得された画像、又は、センサ類107により取得された検出情報に基づいて検出可能である。
また、例えば、切替判定部121は、指し示す対象物が複数存在する場合には、第2報知を実行するための切替処理を行う。この切替処理例を図17に示す。
また、例えば、切替判定部121は、表示装置群300により表示されているコンテンツに、指し示す対象物が含まれる場合には、第2報知を実行するための切替処理を行う。この切替処理例を図8、図12、図14に示す。
エージェント機器制御部122は、エージェント機器200の動作状態を制御するものである。例えば、エージェント機器制御部122は、切替判定部121により第1報知をするための切替処理が実行された場合には、エージェント機器200を用いて対象物を指し示して情報を報知する第1報知を実行する。
表示制御部123は、表示装置群300に含まれる各表示装置(第1表示装置310、第2表示装置320、第3表示装置330)の表示状態を制御するものである。例えば、表示制御部123は、切替判定部121により第2報知をするための切替処理が実行された場合には、表示装置群300に含まれる各表示装置のうちの少なくとも1つによりエージェント画像を表示させ、このエージェント画像を用いて対象物を指し示して情報を報知する第2報知を実行する。この表示例については、図6、図7、図10、図11、図16に示す。
記憶部130は、各種情報を記憶する記憶媒体である。例えば、記憶部130には制御部120が各種処理を行うために必要となる各種情報(例えば、制御プログラム、地図情報DB131、設備情報DB132)が記憶される。また、記憶部130には、通信部(図示省略)を介して取得された各種情報が記憶される。記憶部130として、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)、または、これらの組み合わせを用いることができる。
地図情報DB131には、車両C1の経路案内に必要となる道路に関する道路情報等の地図情報が格納されている。その地図情報には、道路の勾配、道路の交差点、道路の車線数、道幅情報、道路の起伏情報が含まれる。また、地図情報には、速度制限、一方通行等を示す道路標識、横断歩道、区画線等を示す道路標示も含まれる。また、地図情報には、道路構造物(例えば信号機、電信柱)、建物等の設備情報、周囲の観光案内情報等を含めてもよい。また、設備情報DB132には、車両C1に設けられている各設備を示す設備画像と、その設備を含む車内の画像(案内画像)とが関連付けて格納されている。なお、地図情報DB131、設備情報DB132については、車両C1が備える記憶部130に記憶して用いてもよく、所定のネットワーク、例えばインターネットを介して外部機器から取得して用いてもよい。
ここで、ダッシュボード2上に設置されたエージェント機器200は、擬生物化された3次元のロボットであるため、第1表示装置310に表示される画像よりも、車両C1に乗車するユーザU1に認識される存在感が高いと想定される。このため、例えば、何らかの対象物をユーザU1に報知する場合には、エージェント機器200を用いて報知をすることが考えられる。例えば、図4(C)乃至(E)に示すように、報知対象となる対象物の方向を腕部211、212の先端が指し示すことにより、その対象物の位置をユーザU1に通知することが考えられる。しかし、例えば、エージェント機器200の腕部211、212を用いて、エージェント機器200から遠い位置に存在する対象物の位置を報知する場合には、その対象物の位置を正確に差し示すことが困難であり、その対象物をユーザU1に認識させることが困難であることも想定される。また、例えば、エージェント機器200と対象物との間に障害物が存在するような場合についても、その対象物の位置を正確に差し示すことが困難であり、その対象物をユーザU1に認識させることが困難であることも想定される。このように、ダッシュボード2上に設置されたエージェント機器200を用いて対象物を報知する場合において、対象物とエージェント機器200との位置関係、対象物の数、対象物の動作状態等によっては、その対象物の報知が困難となるシーンが想定される。そこで、本実施形態では、対象物とエージェント機器200との位置関係、対象物の数、対象物の動作状態等に応じて、エージェント機器200と、表示装置群300の各表示装置によるエージェント画像の表示とを切り替えて、対象物の報知を適切に実行するようにする。
[車両の後進時に対象物を報知する例]
図6は、車両C1を所定の駐車スペースに駐車させる際に、第1表示装置310の表示部311に表示される車両周囲画像の一例を示す図である。図6では、車両C1を所定の駐車スペースに駐車させる際に、車両C1の後進中にユーザU1の死角に何らかの物体が検出された場合の例を示す。何らかの物体は、例えば、人、自転車、動物(例えば猫、犬)等である。例えば、車両C1のピラーが障害物となり、ユーザU1の死角を生じさせることも想定される。また、車両C1の周囲の物体については、センサ類117に含まれる各センサ、例えばソナー、ライダー、レーダーにより検出可能である。
図6では、車両周囲画像として、車両C1を上側から見た場合の上面画像400と、車両C1の後部から車両C1の後方を見た場合の後方画像410とを表示する例を示す。なお、上面画像400については、公知の画像処理技術を用いて表示可能である。また、後方画像410については、後方カメラ103により取得された画像に基づいて表示可能である。
上面画像400には、車両C1に対応する車両画像401と、車両C1の駐車スペースの両側に駐車している車両に対応する車両画像402、403と、各駐車スペースの領域を示す白線404と、ユーザU1の運転を支援する支援画像405とが表示される。
後方画像410には、ユーザU1の運転を支援する支援画像411と、車両C1の駐車スペースの両側に駐車している車両に対応する車両画像412、413と、各駐車スペースの領域を示す白線414とが表示される。また、後方画像410には、エージェント画像415が表示される。なお、後方画像410に含まれる車両画像412、413、白線414は、後方カメラ103により取得された画像に基づいて表示される。
例えば、車両C1が後進している場合に、車両C1の後方に物体(例えば人、猫)が侵入した場合には、その物体をセンサ類117により検出可能である。この場合には、センサ類117により検出された物体をユーザU1に通知することが可能である。例えば、エージェント機器200の腕部211を用いて、車両C1の左後方の物体の位置を指し示すことが考えられる。しかし、エージェント機器200の腕部211を用いて、車両C1の左後方に存在する物体の位置を指し示したとしても、エージェント機器200と車両C1の左後方に存在する物体との距離が離れているため、ユーザU1には大雑把な方向のみが伝わることが想定される。すなわち、エージェント機器200の腕部211を用いて、車両C1の左後方に存在する物体の位置を指し示したとしても、その物体の位置の精度が低く伝わることが想定される。この場合には、例えば、ユーザU1を基準として死角となる位置にその物体が存在するときには、ユーザU1が直接見ることができず、ユーザU1は何もなかったと判断するおそれもある。また、その物体の存在をユーザU1に適切に通知することが困難であることも想定される。このように、車両C1の後進中に、車両C1の後方の死角となる位置に物体が侵入した場合には、どの方向から物体が侵入するのかをエージェント機器200からユーザU1に伝えることが困難であることが想定される。
そこで、本実施形態では、車両C1の後進中に、車両C1の後方の死角となる位置に物体が侵入した場合には、その物体の存在を第1表示装置310に表示してユーザU1に伝えるようにする。具体的には、後方画像410にエージェント画像415を表示し、車両C1の後方に侵入した物体の位置をエージェント画像415が指し示すことにより、ユーザU1に伝えるようにする。すなわち、本実施形態では、車両C1の周囲に存在する危険のある対象物を検出し、かつ、その対象物がユーザU1から見えない位置に存在する場合に、その対象物の存在及び位置をユーザU1に適切に知らせるようにする。
図6に示す例では、車両C1の右側の車両(車両画像413)側に物体が検出された場合の例を示す。このような場合には、その物体が検出された位置をエージェント画像415が指し示す表示態様とする。具体的には、エージェント画像415が左腕416を左側に伸ばして、その車両(車両画像413)側に存在する物体の位置を指し示すようにする。また、車両C1の後方に物体が検出されたことを音声情報S1により通知してもよい。なお、車両C1の後方における物体の位置については、センサ類117に含まれる各センサ、例えばソナー、ライダー、レーダーにより検出可能である。
このように、ダッシュボード2に設置されたエージェント機器200から見えない位置に物体(例えば子供、猫)が検出された場合には、エージェント機器200からエージェント画像415に切り替える。そして、エージェント画像415を用いて、その物体の位置をユーザU1に教えるようにする。この場合に、例えば、周囲の安全を確認して、ここの死角に何か入ったから気を付けて、等の音声情報S1を出力してもよい。
なお、エージェント機器200及びエージェント画像415の切替タイミングについては、図8、図9を参照して詳細に説明する。
[ナビゲーション装置の目的地を報知する例]
図7は、車両C1に設置されているナビゲーション装置を用いて目的地を設定した場合に、第1表示装置310の表示部311に表示される地図画像420の一例を示す図である。図7では、第1表示装置310がナビゲーション機能を備える場合の例を示す。
図7に示すように、地図画像420には、ユーザU1により設定された目的地の周辺を含む地図上に、目的地を示す目的地画像421が表示される。なお、目的地の設定方法については、公知の設定技術を用いることが可能である。例えば、目的地を示す文字をユーザが入力することにより目的地を設定することが可能である。また、例えば、地図上において目的地をユーザが指定することにより目的地を設定することが可能である。また、目的地を示す音声をユーザが発した場合に、その音声を音声認識技術により取得して目的地を設定することが可能である。
例えば、ユーザU1が音声認識技術等を用いて音声で目的地を設定した場合に、その目的地の位置をユーザU1に通知することが可能である。この場合に、例えば、エージェント機器200の腕部211、212を用いて、第1表示装置310の表示部311に表示される目的地の位置を指し示すことが考えられる。しかし、エージェント機器200の腕部211、212を用いて、表示部311に表示される目的地の位置を指し示したとしても、エージェント機器200と表示部311との距離が離れているため、その目的地の位置の精度が低く伝わることが想定される。
そこで、本実施形態では、ユーザU1が音声認識技術等を用いて目的地を設定した場合には、その目的地の位置をエージェント画像422が地図上で指し示すことにより、ユーザU1に伝えるようにする。具体的には、地図画像420にエージェント画像422を表示し、目的地の位置をエージェント画像422の左腕423が指し示すことにより、ユーザU1に伝えるようにする。
図7に示す例では、地図画像420に重ねて表示される目的地画像421をエージェント画像422の左腕423が指し示す表示態様とする。具体的には、エージェント画像422が左腕423を左側に伸ばして、目的地画像421を指し示すようにする。また、目的地が設定されたことを音声情報S2により通知してもよい。
ここで、エージェント機器200及びエージェント画像422の切替タイミングについて説明する。エージェント機器200からエージェント画像422への切替タイミングは、例えば、ユーザによる目的地設定が終了し、その目的地の確認のため、ユーザに目的地に関する情報を提供するタイミングとすることができる。例えば、ユーザU1が音声認識技術を用いて目的地を設定する場合には、ユーザU1が目的地を示す音声を発してその目的地が情報処理装置110において認識されたタイミングとすることができる。このように、第1表示装置310の表示部311に表示されているコンテンツ(例えば、地図画像420)に含まれる対象物(例えば、目的地画像421)に対してユーザU1に注意を向けてほしいタイミングを、エージェント機器200からエージェント画像422への切替タイミングとすることができる。
一方、エージェント画像422からエージェント機器200への切替タイミングは、例えば、ユーザによる目的地の確認が終了したタイミングとすることができる。なお、ユーザによる目的地の確認終了については、ユーザによる何らかの操作、例えば確認終了ボタンの押下操作、ユーザからの確認終了に関する音声による終了確認等を用いることが可能である。
[車両の後進時の動作例]
図8は、情報処理装置110におけるエージェント切替処理の一例を示すフローチャートである。また、このエージェント切替処理は、記憶部130に記憶されているプログラムに基づいて実行される。なお、図9、図12乃至図15、図17、図18に示すエージェント切替処理についても同様に、記憶部130に記憶されているプログラムに基づいて実行される。また、このエージェント切替処理は、車両C1の後進操作、例えばRレンジにするシフトレバー操作がされた場合に実行される。また、このエージェント切替処理では、図1乃至図7を適宜参照して説明する。
ステップS501において、切替判定部121は、後方カメラ103、センサ類107等から出力された各情報に基づいて、車両C1のリスクポテンシャルを算出する。このリスクポテンシャルは、車両C1の潜在的な各種リスクを示す指標である。車両C1の潜在的な各種リスクは、例えば、周囲に存在する物体と車両C1との衝突可能性である。この場合には、その衝突可能性を示す値をリスクポテンシャルとすることが可能である。例えば、車両C1が車庫入れのため、後進している場合において、車両C1の後方に障害物、移動体等が検出されたときに、リスクポテンシャルが高い値となる。また、例えば、車両C1が走行中において、車両C1の前方の横断歩道に歩行者等が検出されたときに、リスクポテンシャルが高い値となる。なお、車両C1の周囲において検出された物体と車両C1との衝突可能性は、例えば、車両C1に対するその物体の相対速度、車両C1とその物体との距離等に基づいて算出可能である。
なお、図8に示す例では、車両C1の進行方向においてユーザU1の死角に対象物が存在する場合に、リスクポテンシャルが高い値となるものとする。
ステップS502において、切替判定部121は、後方カメラ103、センサ類107等から出力された各情報に基づいて、車両C1の進行方向においてユーザU1の死角に対象物が存在するか否かを判定する。すなわち、ステップS501で算出されたリスクポテンシャルが閾値以上であるか否かが判定される。そして、リスクポテンシャルが閾値以上である場合には、車両C1の進行方向においてユーザU1の死角に対象物が存在すると判定される。ユーザU1の死角に対象物が存在する場合には、ステップS503に進む。一方、ユーザU1の死角に対象物が存在しない場合には、エージェント切替処理の動作を終了する。
ステップS503において、エージェント機器制御部122は、エージェント機器200を停止させる停止演出処理を実行する。例えば、エージェント機器200をシャットダウンさせる動作を実行する。また、エージェント機器200の表面における各表示を順次又は同時に消去してもよい。そして、例えば、図3(B)に示す休止状態とする。
ステップS504において、表示制御部123は、エージェント画像を第1表示装置310の表示部311に表示させる表示処理を実行する。この場合に、例えば、表示部311においてエージェント画像を登場させる登場シーンの演出を実行してもよい。また、表示部311に表示させるエージェント画像については、この切替時におけるエージェント機器200の外観と同じ外観(例えば、同じ色、同じ形状)とすることが好ましい。また、この切替時にエージェント機器200が発していた音声と同じ音声をエージェント画像が発する演出を実行してもよく、この切替時にエージェント機器200が発していた会話と同じ会話をエージェント画像が話し始める演出を実行してもよい。また、この切替時にエージェント機器200が保持している情報と同じ情報をエージェント画像が保持していることをユーザU1に示す演出を実行してもよい。
このように、エージェント機器200がユーザU1に情報を示す際に、予め定めた特定の条件が成立すると、エージェント機器200からエージェント画像に切り替えるようにする。この切り替えの際には、エージェント機器200をシャットダウンさせてから、エージェント画像を登場させることが好ましい。この場合には、所定の演出を実行してもよい。例えば、もともと何もないところにエージェント画像が飛び込む演出、寝ているエージェント画像が起きだす演出等を実行することが可能である。また、例えば、第1表示装置310の上側に設置されているエージェント機器200がシャットダウンして第1表示装置310の表示部311に移動してくるような演出を実行してもよい。例えば、エージェント機器200がシャットダウンした直後に、第1表示装置310の表示部311の上側からエージェント画像が下りてくるような表示態様とすることが可能である。
このように、エージェント機器200が休止した後にエージェント画像が動き出すことにより、エージェント機器200及びエージェント画像の一体感、連続性を演出することができる。例えば、エージェント機器200とエージェント画像との外見表示を同一又は略同一とすることにより、これらが同一であるとユーザU1に認識させることができ、エージェント機器200がエージェント画像に変化したような印象を与えることができる。これにより、エージェント機器200の信頼性をエージェント画像に引き継ぐことができる。すなわち、エージェント機器200及びエージェント画像の信頼性を高めることができる。
このように、本実施形態では、エージェント機器200及びエージェント画像のうちの何れか一方のみを活動状態とし、他方を休止状態とする。なお、エージェント画像の活動状態は、表示装置群300の何れかに表示されている状態を意味する。また、エージェント画像の休止状態は、表示装置群300の何れにも表示されていない状態、又は、表示装置群300の何れかに表示されているが活動していない表示態様となっている状態を意味する。このように、エージェント機器200及びエージェント画像のうちの何れか一方のみを活動状態とし、他方を休止状態とすることにより、例えば、エージェントの魂が乗り移るような演出を実行することができ、エージェント機器200及びエージェント画像が同一であるとユーザU1に認識させることができる。
なお、エージェント機器200及びエージェント画像の双方を活動状態としてもよく、エージェント機器200及びエージェント画像の双方を休止状態としてもよい。この場合には、エージェント機器200及びエージェント画像のうちの何れかを活動状態に近い状態とすることが好ましい。
なお、図8では、車両C1を後進させる場合に、車両C1の後方においてユーザU1の死角に対象物が存在することを条件に、エージェント機器200からエージェント画像への切り替えを実行する例を示した。ただし、車両C1の後進操作がされたことを条件に、エージェント機器200からエージェント画像への切り替えを実行してもよい。すなわち、車両C1の後進操作がされたタイミングを、エージェント機器200からエージェント画像への切り替えタイミングとすることができる。このように、切り替えタイミングを設定することにより、仮に、車両C1の後方においてユーザU1の死角に対象物が検出されなくても、ユーザU1は、エージェント機器200が正常に機能していることを把握可能となる。また、エージェント機器200及びエージェント画像の安心感を高めることが可能となる。このように、車両C1の後進操作がされたことを条件にエージェント画像を表示させる場合には、エージェント機器200に安全確認をしている演出を実行させてもよい。この場合に、気を付けて等の音声出力をエージェント機器200に実行させてもよい。
図6、図8では、車両C1を後進させる場合に、エージェント機器200の代わりに、第1表示装置310にエージェント画像415を表示させて、車両C1の後方に存在する物体の存在を報知する例を示した。ここで、ユーザによっては、車両C1を後進させる場合に、第1表示装置310に表示される後方画像を見る代わりに、バックミラーを見たり、リアウインドを介して後方を直接見たりすることも想定される。このような場合には、ユーザの視線に基づいて、エージェント画像415を表示させる位置を変更することにより、報知効果を高めることができると考えられる。そこで、ここでは、車両C1を後進させる場合に、ユーザの視線に基づいて、エージェント画像415を表示させる表示装置を変更する例を示す。なお、ここで示すバックミラーには、車両C1の後方を確認可能なルームミラー等の各ミラーも含むものとする。
例えば、車両C1のバックミラー5、サイドミラー6、7として、鏡の代わりに、後方カメラ103により取得された車両C1の後方の画像を表示することが可能な表示装置を用いる場合を想定する。また、車両C1のリアウインド(図示省略)、サイドウインド(図示省略)として、虚像を表示することによりHUD表示を実現するHUD機能を備えるものを用いる場合を想定する。
また、車両C1を後進させる場合に、車内カメラ101により取得された画像に基づいて、切替判定部121は、ユーザU1がどこを見ているかを判定する。すなわち、切替判定部121は、ユーザU1の視線を検出し、その視線の方向を特定する。この視線検出については、公知の画像認識技術を用いることが可能である。そして、表示制御部123は、ユーザU1の視線の方向に対応する位置に存在する表示装置にエージェント画像を表示して、車両C1の後方に存在する物体を報知するようにする。例えば、ユーザU1がバックミラー5を見ながら、車両C1を後進させている場合には、バックミラー5に表示されている後方画像にエージェント画像を重ねて表示させ、このエージェント画像を用いて車両C1の後方に存在する物体を報知する。また、例えば、ユーザU1がサイドミラー6を見ながら、車両C1を後進させている場合には、サイドミラー6に表示されている後方画像にエージェント画像を重ねて表示させ、このエージェント画像を用いて車両C1の後方に存在する物体を報知する。また、例えば、ユーザU1がリアウインドを介して後方を直接見ながら、車両C1を後進させている場合には、リアウインドのHUD表示領域にエージェント画像を重ねて表示させ、このエージェント画像を用いて車両C1の後方に存在する物体を報知する。また、例えば、ユーザU1がサイドウインドを介して後方を直接見ながら、車両C1を後進させている場合には、サイドウインドのHUD表示領域にエージェント画像を重ねて表示させ、このエージェント画像を用いて車両C1の後方に存在する物体を報知する。なお、車両C1を後進させる場合には、ユーザU1の視線が順次変化することが想定される。このように、ユーザU1の視線が順次変化した場合には、その変化に応じて、エージェント画像を表示させる位置を順次変更することができる。
[車両の後進終了時の動作例]
図9は、情報処理装置110におけるエージェント切替処理の一例を示すフローチャートである。このエージェント切替処理は、車両C1の後進操作がされ、エージェント画像を表示する表示処理がされた後に実行される。また、このエージェント切替処理では、図1乃至図8を適宜参照して説明する。
ステップS511において、切替判定部121は、シフトレバーの操作がされたことを検出する。
ステップS512において、切替判定部121は、ステップS511で検出されたシフトレバーの操作がPレンジに入れる操作であったか否かを判定する。すなわち、車両C1の駐車が完了したか否かが判定される。Pレンジに入れる操作であった場合には、ステップS513に進む。一方、Pレンジに入れる操作でなかった場合には、エージェント切替処理の動作を終了する。
ステップS513において、表示制御部123は、第1表示装置310の表示部311に表示されているエージェント画像に、立ち去る振る舞いの演出を実行させる。例えば、表示部311に表示されているエージェント画像が手を振る動作を行い、エージェント画像がさよならを言う終了シーンを実行する。
ステップS514において、エージェント機器制御部122は、蘇る振る舞いの演出をエージェント機器200に実行させる。例えば、エージェント機器200を活動状態とさせる動作を実行する。また、エージェント機器200の表面における各表示を順次活動状態とする。これにより、例えば、図3(A)に示す活動状態とする。
このように、車両C1の駐車が完了したタイミングで、エージェント画像からエージェント機器200への切り替えが実行される。
[車両の設備を報知する例]
図10は、車両C1の設備をユーザU1が探している場合に、第1表示装置310の表示部311に表示される案内画像430の一例を示す図である。図10では、ユーザU1がUSBポート8(図1参照)を探している場合の例を示す。例えば、車両C1が新車であり、ユーザU1が車両C1の各部にまだ詳しくないことも想定される。このような場合には、エージェント機器200は、車両C1の各設備の位置を教えることが可能である。
例えば、車両C1に設置されているUSBポート8をユーザU1が探している場合には、ユーザU1がUSBポート8を探していることを、音声入力部106により取得されたユーザU1の音声に基づいて検出可能である。例えば、ユーザU1が「USBはどこ」を発した場合には、その音声「USBはどこ」を音声入力部106が取得し、その音声「USBはどこ」に基づいて、切替判定部121は、ユーザU1がUSBポート8を探していることを検出可能である。この音声に基づく情報取得については、公知の音声認識技術を採用することが可能である。
例えば、エージェント機器200の腕部211、212を用いて、車両C1のUSBポート8の位置を指し示すことが考えられる。しかし、エージェント機器200の腕部211、212を用いて、車両C1の第1表示装置310の下方に存在するUSBポート8の位置を指し示したとしても、エージェント機器200とUSBポート8との距離が離れているため、ユーザU1には大雑把な方向のみが伝わることが想定される。すなわち、エージェント機器200の腕部211、212を用いて、車両C1の下方に存在するUSBポート8の位置を指し示したとしても、USBポート8の位置の精度が低く伝わることが想定される。この場合には、例えば、ユーザU1が車両C1に詳しくないときには、ユーザU1がUSBポート8の位置を知ることができず、ユーザU1はUSBポート8を使用することができないおそれもある。このように、エージェント機器200から離れている位置に存在する車両C1の設備をユーザU1に案内する場合には、エージェント機器200からユーザU1に伝えることが困難であることが想定される。
また、例えば、ユーザU1が探している設備が後部座席側に存在することも想定される。このような場合に、エージェント機器200の腕部211、212を用いて、その設備の位置を指し示したとしても、エージェント機器200とその設備との距離が離れているため、ユーザU1には大雑把な方向のみが伝わることが想定される。また、エージェント機器200の腕部211、212を用いて、その設備の位置を指し示したとしても、後部座席のシートがその指し示す方向を妨害するおそれもある。この場合には、エージェント機器200が後部座席のシートを指し示しているのか、後部座席側に存在する設備を指し示しているのかをユーザU1が認識することができず、ユーザU1が戸惑うおそれもある。
そこで、本実施形態では、エージェント機器200から離れている位置に存在する車両C1の設備をユーザU1に案内する場合には、その設備の存在を第1表示装置310に表示してユーザU1に伝えるようにする。具体的には、ユーザU1に案内する設備の画像(設備画像431)を含む車内又は車外の画像(案内画像430)とともにエージェント画像432を表示し、設備画像431をエージェント画像432が指し示すことにより、ユーザU1に伝えるようにする。なお、設備画像431については、対象となる設備に基づいて、設備情報DB132(図5参照)から抽出される。
図10に示す例では、USBポート8を示す設備画像431をエージェント画像432の左腕433が指し示す表示態様とする。具体的には、エージェント画像432が左腕433を左側に伸ばして、設備画像431を指し示すようにする。また、ユーザU1が探している設備をエージェント画像432が指し示していることを音声情報S3により通知してもよい。
図10では、第1表示装置310に設備画像431を表示する例を示したが、車両C1に関する他の情報、例えば、車両C1の説明書を表示する場合についても同様に、エージェント画像を用いて所定箇所を指し示すことが可能である。
[車両の後部座席のユーザがエージェントとコミュニケーションを取りたい場合の例]
例えば、車両C1の後部座席に乗車しているユーザ(以下、後部座席ユーザと称する)が、エージェント機器200とコミュニケーションを取りたいと考えることも想定される。又は、エージェント機器200が、後部座席ユーザとインタラクションする必要が生じることも想定される。このような場合には、エージェント機器200と後部座席ユーザとの距離が離れているため、エージェント機器200と後部座席ユーザとの間で円滑なコミュニケーションを実現することが困難となることも想定される。そこで、エージェント機器200と後部座席ユーザとの間で、何らかのやり取り、交流が必要となる場合には、後部座席側に設置されている第2表示装置320にエージェント画像を表示して、このエージェント画像と後部座席ユーザとの間で、コミュニケーションを取ることが可能である。例えば、後部座席ユーザが、エージェント機器200とコミュニケーションを取りたいと考えた場合には、そのユーザが何らかの操作、例えば第2表示装置320におけるタッチ操作、又は、その旨の音声を発する。この場合には、そのユーザの操作等に基づいて、情報処理装置110は、エージェント機器200からエージェント画像への切り替えを行うことが可能である。
図11は、後部座席ユーザとのコミュニケーションが必要になったことに応じて、第2表示装置320の表示部321にエージェント画像441を表示させる場合の表示例を示す図である。図11では、後部座席ユーザからの要求に応じて、第2表示装置320の表示部321に表示されたエージェント画像441が、車両C1の周囲を案内する場合の表示例を示す。なお、車両C1の周囲の環境については、位置情報取得センサ105により取得された車両C1の現在地に基づいて、地図情報DB131(図5参照)から取得可能である。
例えば、エージェント機器200と後部座席ユーザとの間でコミュニケーションが必要となった場合等において、エージェント機器200を用いて、後部座席ユーザに各種通知等を行うことが考えられる。例えば、エージェント機器200と後部座席ユーザとの間で、何らかの遊びをする場合には、後部座席ユーザの方向をエージェント機器200が指し示すことが可能である。しかし、後部座席ユーザとエージェント機器200との距離が離れており、後部座席のシートがその指し示す方向を妨害するおそれもある。この場合には、エージェント機器200が後部座席のシートを指し示しているのか、後部座席ユーザを指し示しているのかを後部座席ユーザが認識することができず、後部座席ユーザが戸惑うおそれもある。また、エージェント機器200を用いて、後部座席ユーザに各種通知等を行う場合についても同様に、エージェント機器200が指し示す方向を後部座席ユーザが適切に認識できず、後部座席ユーザが戸惑うおそれもある。
そこで、本実施形態では、エージェント機器200と後部座席ユーザとの間でコミュニケーションが必要となった場合等には、エージェント機器200の代わりに第2表示装置320の表示部321にエージェント画像441を表示させる。そして、エージェント画像441を用いてエージェント機器200と後部座席ユーザとの間でコミュニケーションを実現するようにする。例えば、エージェント画像441を用いて車両C1の周囲を案内することが可能である。
例えば、図11に示すように、後部座席ユーザからの要求に応じた画像(例えば、観光案内画像440)を第2表示装置320の表示部321に表示させるとともに、観光案内画像440にエージェント画像441を重ねて表示させる。そして、所定の観光施設(例えば、ABC城)の方向をエージェント画像441の左腕442で指し示すようにする。また、所定の観光施設(例えば、ABC城)をエージェント画像441が指し示していることを音声情報S4により通知してもよい。
[車両の設備を報知する場合の動作例]
図12は、情報処理装置110におけるエージェント切替処理の一例を示すフローチャートである。また、このエージェント切替処理は、制御周期毎に常時実行される。また、このエージェント切替処理では、図1乃至図11を適宜参照して説明する。
ステップS521において、切替判定部121は、音声入力部106により取得された音声情報に基づいて、ユーザU1が発した音声を認識する音声認識処理を実行する。この音声認識処理は、例えば、公知の音声認識技術を採用することが可能である。
ステップS522において、切替判定部121は、ステップS521で認識されたユーザU1の音声が車両C1の設備を探す音声であるか否かを判定する。すなわち、切替判定部121は、ユーザU1が探している設備(対象設備)を検出する。例えば、車両C1の設備を探す際のキーワード(例えば、USBどこ)を記憶部130に予め記憶しておく。そして、切替判定部121は、ステップS521で認識されたユーザU1の音声と、記憶部130に格納されているキーワードとの一致度(又は類似度)に基づいて、ユーザU1の音声が車両C1の設備を探す音声であるか否かを判定する。この音声の類似判定については、公知の音声認識技術を採用することが可能である。ユーザU1の音声が車両C1の設備を探す音声である場合には、ステップS523に進む。一方、ユーザU1の音声が車両C1の設備を探す音声でない場合には、エージェント切替処理の動作を終了する。
ステップS523において、切替判定部121は、ステップS522で検出されたユーザU1が探している設備(対象設備)と、エージェント機器200との位置関係が所定条件を満たすか否かを判定する。例えば、対象設備とエージェント機器200との距離が閾値以上離れている場合には、対象設備とエージェント機器200との位置関係が所定条件を満たすと判定される。また、例えば、対象設備とエージェント機器200との間に、何らかの障害物、例えば、後部座席のシートが存在する場合には、対象設備とエージェント機器200との位置関係が所定条件を満たすと判定される。また、例えば、対象設備が後部座席よりも後方に存在する場合には、所定条件を満たすと判定される。このように、エージェント機器200が対象設備を指し示すことが困難であると想定される場合には、所定条件を満たすと判定される。
一方、対象設備とエージェント機器200との距離が閾値未満であり、かつ、エージェント機器200が対象設備を指し示すことが可能である場合には、対象設備とエージェント機器200との位置関係が所定条件を満たさないと判定される。このように、エージェント機器200が対象設備を指し示すことが可能であると想定される場合には、所定条件を満たさないと判定される。例えば、対象設備がエージェント機器200の足元に存在する場合には、エージェント機器200が対象設備を指し示すことが可能であるため、所定条件を満たさないと判定される。なお、これらの車両C1の設備とエージェント機器200とが所定条件を満たすか否かを示す情報については、記憶部130に予め格納しておき、用いることができる。
対象設備とエージェント機器200との位置関係が所定条件を満たす場合には、ステップS524に進む。一方、対象設備とエージェント機器200との位置関係が所定条件を満たさない場合には、エージェント切替処理の動作を終了する。
ステップS524において、エージェント機器制御部122は、エージェント機器200を停止させる停止演出処理を実行する。この停止演出処理は、図8に示す停止演出処理(ステップS503)に対応するため、ここでの詳細な説明を省略する。
ステップS525において、表示制御部123は、エージェント画像を第1表示装置310の表示部311に表示させる表示処理を実行する。この表示処理では、対象設備の設備画像を含む案内画像を第1表示装置310の表示部311に表示させるとともに、案内画像にエージェント画像を重ねて表示させる。例えば、図10に示すように、案内画像430にエージェント画像432を重ねて表示させ、対象設備(USBポート8)の設備画像431をエージェント画像432の左腕433で指し示すようにする。なお、この表示処理におけるエージェント画像の登場シーン等については、図8に示す表示処理(ステップS504)に対応するため、ここでの詳細な説明を省略する。
[設備案内終了時の動作例]
図13は、情報処理装置110におけるエージェント切替処理の一例を示すフローチャートである。このエージェント切替処理は、設備を案内する案内画像にエージェント画像を重ねて表示する表示処理がされた後に実行される。また、このエージェント切替処理では、図1乃至図12を適宜参照して説明する。
ステップS531において、切替判定部121は、設備案内に関する所定操作がされたことを検出する。この所定操作は、例えば、ユーザU1による何らかの手動操作(例えば、第1表示装置310の表示部311をタッチするタッチ操作)を検出することにより判定される。また、例えば、対象設備をユーザが使用する行動(例えば、ユーザU1がUSBポート8にUSB端子を差し込む行動)を検出することにより判定してもよい。また、例えば、ユーザU1が発する音声に基づいて、所定操作を判定してもよい。
ステップS532において、切替判定部121は、ステップS531で検出された所定操作に基づいて、設備探しが終了したか否かを判定する。すなわち、ステップS531で検出された所定操作が設備案内終了操作であるか否かが判定される。例えば、ユーザU1が音声「USBあった」を発した場合には、その音声に基づいて設備案内終了操作があったことを判定することが可能である。また、例えば、エージェント画像からの質問に対するユーザU1の反応に基づいて設備案内終了操作を判定してもよい。例えば、エージェント画像が音声「USBあったかい」を出力した後に、ユーザU1が音声「あった」を発した場合、ユーザがうなずく行動をした場合等に、それらの行動に基づいて、設備案内終了操作を判定してもよい。このように、設備案内終了操作は、ユーザ操作、ユーザの行動、ユーザのふるまい等に基づいて判定可能である。
設備探しが終了した場合には、ステップS533に進む。一方、設備探しが終了していない場合には、エージェント切替処理の動作を終了する。
ステップS533において、表示制御部123は、第1表示装置310の表示部311に表示されているエージェント画像に、立ち去る振る舞いの演出を実行させる。この演出処理は、図9に示す演出処理(ステップS513)に対応するため、ここでの詳細な説明を省略する。
ステップS534において、エージェント機器制御部122は、蘇る振る舞いの演出をエージェント機器200に実行させる。この演出処理は、図9に示す演出処理(ステップS514)に対応するため、ここでの詳細な説明を省略する。
[後部座席ユーザに報知する場合の動作例]
図14は、情報処理装置110におけるエージェント切替処理の一例を示すフローチャートである。また、このエージェント切替処理は、制御周期毎に常時実行される。また、このエージェント切替処理では、図1乃至図13を適宜参照して説明する。
ステップS541において、切替判定部121は、音声入力部106により取得された音声情報に基づいて、ユーザU1が発した音声を認識する音声認識処理を実行する。この音声認識処理は、図12に示す演出処理(ステップS521)に対応するため、ここでの詳細な説明を省略する。
ステップS542において、切替判定部121は、ステップS541で認識されたユーザU1の音声が車両C1の後部座席からの特定音声であるか否かを判定する。例えば、音声入力部106として、複数のマイクを車両C1の内部に設置し、これらの複数のマイクで収音された音声に基づいて、その音声を発したユーザの位置及び方向を判定可能である。また、特定音声は、例えば、後部座席ユーザがエージェント機器200を呼ぶ声(例えば、おーいエージェント)、後部座席ユーザが何らかの動作をエージェント機器200に要求する声(例えば、観光案内してよ)とすることができる。
例えば、特定音声に対応するキーワード(例えば、おーいエージェント、観光案内してよ)を記憶部130に予め記憶しておく。そして、切替判定部121は、ステップS541で認識されたユーザU1の音声と、記憶部130に格納されているキーワードとの一致度(又は類似度)に基づいて、ユーザU1の音声が特定音声であるか否かを判定する。この音声の類似判定については、公知の音声認識技術を採用することが可能である。ユーザU1の音声が車両C1の後部座席からの特定音声である場合には、ステップS543に進む。一方、ユーザU1の音声が車両C1の後部座席からの特定音声でない場合には、エージェント切替処理の動作を終了する。
ステップS543において、エージェント機器制御部122は、エージェント機器200を停止させる停止演出処理を実行する。この停止演出処理は、図8に示す停止演出処理(ステップS503)に対応するため、ここでの詳細な説明を省略する。
ステップS544において、表示制御部123は、エージェント画像を第2表示装置320の表示部321に表示させる表示処理を実行する。この表示処理では、後部座席ユーザからの要求に応じた画像(例えば、観光案内画像)を第2表示装置320の表示部321に表示させるとともに、その画像にエージェント画像を重ねて表示させる。例えば、図11に示すように、第2表示装置320の表示部321に表示される観光案内画像440にエージェント画像441を重ねて表示させ、所定の観光施設(例えば、ABC城)の方向をエージェント画像441の左腕442で指し示すようにする。なお、この表示処理におけるエージェント画像の登場シーン等については、図8に示す表示処理(ステップS504)に対応するため、ここでの詳細な説明を省略する。
[後部座席表示終了時の動作例]
図15は、情報処理装置110におけるエージェント切替処理の一例を示すフローチャートである。このエージェント切替処理は、第2表示装置320の表示部321にエージェント画像を表示する表示処理がされた後に実行される。また、このエージェント切替処理では、図1乃至図14を適宜参照して説明する。
ステップS551において、切替判定部121は、第2表示装置320の表示部321において所定操作がされたことを検出する。この所定操作は、例えば、ユーザU1による何らかの手動操作(例えば、第2表示装置320の表示部321をタッチするタッチ操作)を検出することにより判定される。また、例えば、ユーザU1が発する音声に基づいて、所定操作を判定してもよい。
ステップS552において、切替判定部121は、ステップS551で検出された所定操作に基づいて、戻す操作がされたか否かを判定する。すなわち、ステップS551で検出された所定操作が戻す操作であるか否かが判定される。例えば、ユーザU1が音声「エージェントを戻して」を発した場合には、その音声に基づいて戻す操作があったことを判定可能である。また、例えば、エージェント画像からの質問に対する後部座席ユーザの反応に基づいて、戻す操作があったことを判定してもよい。例えば、エージェント画像が音声「エージェントとまだ遊ぶかい」を出力した後に、ユーザU1が音声「もういい」を発した場合、ユーザがうなずく行動をした場合等に、それらの行動に基づいて、戻す操作があったことを判定してもよい。このように、戻す操作があったか否かについては、ユーザ操作、ユーザの行動、ユーザのふるまい等に基づいて判定可能である。
戻す操作がされた場合には、ステップS553に進む。一方、戻す操作がされていない場合には、エージェント切替処理の動作を終了する。
ステップS553において、表示制御部123は、第2表示装置320の表示部321に表示されているエージェント画像に、立ち去る振る舞いの演出を実行させる。この演出処理は、図9に示す演出処理(ステップS513)に対応するため、ここでの詳細な説明を省略する。
ステップS554において、エージェント機器制御部122は、蘇る振る舞いの演出をエージェント機器200に実行させる。この演出処理は、図9に示す演出処理(ステップS514)に対応するため、ここでの詳細な説明を省略する。
[車両の前方に存在する複数の対象物を報知する例]
図16は、車両C1の前方に存在する対象物の数に応じて、フロントウインド4の表示領域331に表示させる場合の表示遷移例を示す図である。図16では、車両C1が交差点で停止中において、最初に車両C1の前方に1人の歩行者451が存在し、その後に、車両C1の前方に複数人の歩行者451乃至453が存在することになった場合の表示遷移例を示す。なお、車両C1の周囲の物体については、センサ類117により検出可能である。
例えば、車両C1が交差点で停止中である場合、車両C1が車庫を出る場合等において、車両C1の前方に移動体、例えば歩行者、動物等が存在することも想定される。例えば、横断歩道を歩く人、車両C1の進路に入る人、車両C1の進路に近い人、他の車両、移動する他の物体、車両C1と交錯する可能性のある他の物体等を対象物とすることが可能である。
このような場合には、車両C1のユーザU1は、前方の移動体に注意を払う必要がある。この場合に、エージェント機器200を用いて、車両C1の前方に存在する移動体をユーザU1に通知することが考えられる。例えば、車両C1の前方に1つの移動体が存在する場合には、その移動体の方向をエージェント機器200が指し示すことにより、その移動体の位置をユーザに通知することが可能である。この例を図16(A)に示す。しかし、例えば、車両C1の前方に複数の移動体が存在する場合には、その移動体の方向をエージェント機器200が同時に指し示すことが困難であることも想定される。すなわち、一台のエージェント機器200が全ての注意対象物に同時にユーザU1の注意を促すことは困難であることが想定される。そこで、このような場合には、エージェント機器200の代わりにエージェント画像を用いて、全ての注意対象物を同時にユーザU1に通知して、ユーザU1の注意を促すようにする。この例を図16(B)に示す。
図16(A)には、車両C1の前方に1つの対象物、例えば歩行者451が存在する場合に、エージェント機器200を用いてその対象物の存在をユーザU1に通知する例を示す。例えば、エージェント機器200の腕部211を用いて、対象物が存在する方向を腕部211で指し示すようにする。また、車両C1の前方に物体が検出されたことを音声情報S5により通知してもよい。
図16(B)には、車両C1の前方に複数の対象物、例えば複数の歩行者451乃至453が存在する場合に、フロントウインド4の表示領域331に表示させるエージェント画像461乃至463を用いてそれらの各対象物の存在をユーザU1に通知する例を示す。例えば、エージェント画像461乃至463の腕部を用いて、対象物が存在する方向を各腕部で指し示すようにする。このように、フロントウインド4の表示領域331にエージェント画像461乃至463を表示させる場合には、エージェント機器200を休止状態とする。この場合に、例えば、エージェント機器200からエージェント画像461乃至463に遷移したことを示す遷移画像(例えば、矢印画像465乃至467)を表示させてもよい。また、車両C1の前方に複数の物体が検出されたことを音声情報S6により通知してもよい。
図16では、車両C1の前方に複数の対象物が検出された場合に、エージェント画像を用いてそれらの各対象物の存在をユーザU1に通知する例を示した。ここで、車両C1の前方に1つの対象物が検出された場合でも、その対象物が早く移動しているようなときには、その対象物の移動速度にエージェント機器200の腕部211、212の移動が追い付かないことも想定される。例えば、腕部211、212の先端の位置の変化速度を所定値よりも大きくする制御を実行する場合には、実際の腕部211、212がその変化速度にならないことも想定され、腕部211、212の先端を用いた第1報知を適切に実行できないことも想定される。そこで、車両C1の前方に1つの対象物が検出された場合でも、その対象物が早く移動しているようなときには、エージェント画像を用いてその対象物の存在をユーザU1に通知してもよい。なお、対象物の移動速度については、前方カメラ102により取得された画像、又は、センサ類107により取得された検出情報に基づいて検出可能である。
例えば、切替判定部121は、車両C1の前方に1つの対象物が検出された場合には、その対象物の移動速度を検出する。そして、切替判定部121は、車両C1の前方に移動速度が閾値以上となる対象物が存在する場合には、フロントウインド4の表示領域331にエージェント画像を表示させ、その対象物を指し示すようにする。
なお、切替判定部121は、車両C1の前方に存在する対象物の位置を報知する際の腕部211、212の先端の位置の変化速度に基づいて、フロントウインド4の表示領域331にエージェント画像を表示させるか否かを判定してもよい。例えば、切替判定部121は、エージェント機器200の腕部211、212の動作により、車両C1の前方に存在する対象物の位置を報知する際の腕部211、212の先端の位置の変化速度を算出する。この腕部211、212の先端の位置の変化速度については、車両C1の前方に存在する対象物の位置及び移動速度に基づいて算出可能である。そして、切替判定部121は、腕部211、212の位置の変化速度が閾値よりも大きい場合には、フロントウインド4の表示領域331にエージェント画像を表示させ、その各対象物を指し示すようにする。
[複数の対象物に報知する場合の動作例]
図17は、情報処理装置110におけるエージェント切替処理の一例を示すフローチャートである。また、このエージェント切替処理は、制御周期毎に常時実行される。また、このエージェント切替処理では、図1乃至図16を適宜参照して説明する。
ステップS561において、切替判定部121は、前方カメラ102、センサ類107により取得された各情報に基づいて、車両C1の周囲に存在する対象物を検出する。
ステップS542において、切替判定部121は、ステップS541で複数の対象物が検出されたか否かを判定する。複数の対象物が検出された場合には、ステップS563に進む。一方、複数の対象物が検出されていない場合(すなわち、1つの対象物が検出された場合又は対象物が検出されなかった場合)には、エージェント切替処理の動作を終了する。
ステップS563において、エージェント機器制御部122は、エージェント機器200を停止させる停止演出処理を実行する。この停止演出処理は、図8に示す停止演出処理(ステップS503)に対応するため、ここでの詳細な説明を省略する。
ステップS564において、表示制御部123は、第3表示装置330を制御してフロントウインド4の表示領域331にエージェント画像を表示させる表示処理を実行する。この表示処理では、ステップS541で検出された複数の対象物のそれぞれを指し示すように、複数の対象物のそれぞれに関連付けてエージェント画像を表示させる。例えば、図16(B)に示すように、フロントウインド4の表示領域331にエージェント画像461乃至463を重ねて表示させ、歩行者451乃至453をエージェント画像461乃至463の腕部で指し示すようにする。
なお、この表示処理では、図16(B)に示すように、エージェント機器200を停止させるタイミングで、エージェント機器200からエージェント画像461乃至463に遷移することを示す遷移画像(例えば、矢印画像465乃至467)を表示させてもよい。また、この表示処理におけるエージェント画像の他の登場シーン等については、図8に示す表示処理(ステップS504)に対応するため、ここでの詳細な説明を省略する。
[複数の対象物報知終了時の動作例]
図18は、情報処理装置110におけるエージェント切替処理の一例を示すフローチャートである。このエージェント切替処理は、複数の対象物に関連付けて複数のエージェント画像を表示する表示処理がされた後に実行される。また、このエージェント切替処理では、図1乃至図17を適宜参照して説明する。
ステップS571において、切替判定部121は、フロントウインド4の表示領域331にエージェント画像を表示させてから所定時間が経過したか否かを判定する。エージェント画像を表示させてから所定時間が経過した場合には、ステップS572に進む。一方、エージェント画像を表示させてから所定時間が経過していない場合には、エージェント切替処理の動作を終了する。
ステップS572において、切替判定部121は、前方カメラ102、センサ類107により取得された各情報に基づいて、車両C1の周囲に存在する対象物を検出する。
ステップS573において、切替判定部121は、ステップS572で複数の対象物が検出されたか否かを判定する。複数の対象物が検出された場合には、エージェント切替処理の動作を終了する。一方、複数の対象物が検出されていない場合(すなわち、1つの対象物が検出された場合又は対象物が検出されなかった場合)には、ステップS574に進む。
ステップS574において、表示制御部123は、フロントウインド4の表示領域331に表示されているエージェント画像に、立ち去る振る舞いの演出を実行させる。この演出処理は、図9に示す演出処理(ステップS513)に対応するため、ここでの詳細な説明を省略する。
ステップS575において、エージェント機器制御部122は、蘇る振る舞いの演出をエージェント機器200に実行させる。この演出処理は、図9に示す演出処理(ステップS514)に対応するため、ここでの詳細な説明を省略する。
なお、図18に示す例では、複数の対象物が検出された後に、1つの対象物のみが検出された場合には、エージェント画像からエージェント機器200への切り替えを実行する。ただし、複数の対象物が検出された後に、少なくとも1つの対象物が継続して検出されている場合には、その継続して検出されている対象物を追従するようにエージェント画像の表示を継続してもよい。
[豊かな表現が必要なシーンでエージェント画像を表示させる例]
ここで、エージェントに豊かな表現をさせたいことも想定される。例えば、車両C1が電気自動車である場合を想定する。この場合に、車両C1が充電中に、エージェントの背景に稲妻を出現させると、エージェントがエネルギーをチャージしているような演出とすることが可能である。また、このような演出により、車両C1が充電中であることをユーザU1に認識させることができる。また、車両C1が充電中である時間帯にユーザU1に面白さを与えることができる。このように、エージェントに豊かな表現をさせることが必要なシーンにおいて、3次元のエージェント機器200では、その表現を実現することが困難となることが想定される。そこで、エージェントに豊かな表現をさせることが必要となる場合には、第1表示装置310にエージェント画像を表示して、このエージェント画像に豊かな表現をさせることが可能である。すなわち、第1表示装置310における表示画面の背景を利用して面白い表現をすることが可能である。この例におけるエージェント機器200及びエージェント画像の切り替えタイミングについて説明する。例えば、エージェントに豊かな表現をさせることが必要なシーン(例えば、エージェントの背景に稲妻が現れ、エネルギーをチャージしているような演出をするシーン)となった場合に、エージェント機器200からエージェント画像への切り替えタイミングとすることができる。また、例えば、エージェントに豊かな表現をさせることが不要となった場合、エージェント画像の表示から所定時間が経過した場合等に、エージェント画像からエージェント機器200への切り替えタイミングとすることができる。
なお、本実施形態では、第1表示装置310に表示されている地図画像に含まれる目的地画像を指し示す場合、第1表示装置310に表示されている案内画像に含まれる設備(例えば、USBポート8)を指し示す場合等に、エージェント画像を用いて指し示す例を示した。ただし、表示装置群300に含まれる各表示装置に表示されるコンテンツに、指し示す対象物が含まれる他の場合においても同様に、その対象物をエージェント画像を用いて指し示してもよい。例えば、第1表示装置310に表示される漫画動画に含まれるキャラクタを指し示す場合に、そのキャラクタをエージェント画像を用いて指し示してもよい。すなわち、制御部120は、表示装置群300に含まれる各表示装置に表示されるコンテンツに所定の対象物が含まれる場合には、エージェント画像を用いた報知(第2報知)を実行してもよい。
ここで、運転中のユーザU1を邪魔しないように、存在感が低いエージェント画像の表示を基本状態とすることも考えられる。この場合には、予め定めた特定の条件が成立した場合に、エージェント機器200及びエージェント画像の切り替えを実行することができる。例えば、車両C1の運転中には、エージェント画像を表示させる。そして、車両C1が停止したタイミングでエージェント機器200への切り替えを実行する。
ここで、実体を持った3次元のエージェント機器200では、ロボットとしてのふるまいによりユーザU1に対して効果的な演出を実現することができる。これにより、ユーザU1の目をより引くことが知られている。しかし、エージェント機器200の腕部211、212の大きさ及び形状には限りがあり、腕部211、212の動作、向き等によって対象物の位置を的確に示すことが難しい場合がある。また、エージェント機器200に手、指及び腕を模した部材を設けた場合についても同様に、手、指及び腕の大きさ及び形状には限りがあるため、対象物の位置を的確に示すことが困難となることが想定される。
また、例えば、エージェント機器200では、注意を引くことが難しいシーンも想定される。例えば、指差しの精度が求められるシーンでは、エージェント機器200を用いてユーザU1の注意を引くことが難しいと考えられる。すなわち、ダッシュボード2上に設置されているエージェント機器200のままだと、サポートできることが限られる。
そこで、本実施形態では、エージェント機器200の指差し精度が必要な場合には、エージェント機器200からエージェント画像に切り替えるようにする。このように、エージェント機器200及びエージェント画像を併用し、同じエージェントが常に一貫してサポートしてくれているような演出を実行することが可能となる。これにより、ユーザU1の受容性と共感を高める演出を実現することが可能となる。
また、エージェント機器200がユーザU1に情報を提供する際に、予め定めた特定の条件が成立した場合には、エージェント機器200からエージェント画像に切り替え、その情報をエージェント画像を用いて提供することができる。また、所定のタイミングでエージェント画像からエージェント機器200に切り替えるようにする。このように、本実施形態では、エージェントを用いて、車両C1に乗車するユーザU1に対象物に関する情報を報知する場合に、その報知対象となる対象物の位置を的確に指し示すことが可能となる。
なお、本実施形態では、車両C1に設置されている表示装置群300を用いてエージェント画像を表示する例を示した。ただし、車両C1に設置可能な表示装置、車両C1に乗車するユーザが所持する表示装置にエージェント画像を表示する場合についても本実施形態を適用可能である。車両C1に設置可能な表示装置、車両C1に乗車するユーザが所持する表示装置は、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ等の電子機器、情報処理装置である。例えば、車両C1の後部座席のユーザが所持するスマートフォンにエージェント画像が乗り移るような演出をして表示させてもよい。
なお、本実施形態では、車両C1に設置されているエージェント機器200を用いる例を示した。ただし、車両C1から取り外し可能なエージェント機器を用いる場合についても本実施形態を適用可能である。例えば、携帯型のエージェント機器を所持するユーザU1が、車両C1に乗車するときには、車両C1のダッシュボード2上にそのエージェント機器を設置し、車両C1から降りる場合には、ユーザU1がそのエージェント機器を所持して持ち歩くことも想定される。
すなわち、本実施形態は、エージェント機器と、各エージェント画像を表示する表示装置とを設置可能な車両C1に備えられる情報処理装置に適用可能である。
また、本実施形態では、HUD機能を備える車両C1にエージェント画像を表示する例を示したが、HUD機能を備えない車両C1についても本実施形態を適用可能である。
なお、以上では、エージェント機器200及びエージェント画像の切り替え処理等を情報処理装置110(又は情報処理システム100)において実行する例を示したが、それらの各処理の全部又は一部を他の機器において実行してもよい。この場合には、それらの各処理の一部を実行する各機器により情報処理システムが構成される。例えば、車載機器、ユーザU1が使用可能な機器(例えば、スマートフォン、タブレット端末、パーソナルコンピュータ、カーナビゲーション装置、IVI)、インターネット等の所定のネットワークを介して接続可能なサーバ等の各種情報処理装置、各種電子機器を用いて各処理の少なくとも一部を実行させることができる。
また、情報処理装置110(又は情報処理システム100)の機能を実行可能な情報処理システムの一部(又は全部)については、インターネット等の所定のネットワークを介して提供可能なアプリケーションにより提供されてもよい。このアプリケーションは、例えばSaaS(Software as a Service)である。
[本実施形態の構成例及びその効果]
本実施形態に係る情報処理方法は、所定方向を指し示すことが可能な腕部211、212(部材の一例)を備えるエージェント機器200と、エージェント機器200に対応する画像であって車両C1内又は車両C1外に存在する物体を指し示す表示態様としてのエージェント画像415、422、432、441、461乃至463を表示する表示装置群300とを設置可能な車両C1に乗車するユーザU1に対象物に関する情報を報知する情報処理方法である。この情報処理方法は、エージェント機器200の動作状態と、表示装置群300の表示状態とを制御する制御処理(ステップS501乃至S504、S511乃至S514、S521乃至S525、S531乃至S534、S541乃至S544、S551乃至S554、S561乃至S564、S571乃至S575)を含む。この制御処理では、車両C1に乗車するユーザU1に対象物(例えば、車両C1の後方の物体、目的地、車両C1の設備、観光案内の施設、車両C1の前方の物体)に関する情報を報知する場合に、その対象物とエージェント機器200との位置関係と、その対象物の数と、その対象物の動作状態とのうちの少なくとも1つに基づいて、エージェント機器200を用いてその対象物を指し示してその情報を報知する第1報知と、エージェント画像を用いてその対象物を指し示してその情報を報知する第2報知とを切り替える。また、本実施形態に係るプログラムは、これらの各処理をコンピュータに実行させるプログラムである。言い換えると、本実施形態に係るプログラムは、情報処理装置110が実行可能な各機能をコンピュータに実現させるプログラムである。
この構成によれば、車両C1に乗車するユーザU1に対象物に関する情報を報知する場合に、その対象物とエージェント機器200との位置関係等に基づいて、エージェント機器200を用いた第1報知と、エージェント画像を用いた第2報知とを切り替えることができる。これにより、エージェント機器200及びエージェント画像のうちから、適切なエージェントを用いて、報知対象となる対象物の位置を的確に指し示すことができる。
本実施形態に係る情報処理方法では、第1報知を実行する場合には、対象物(例えば、車両C1の後方の物体、目的地、車両C1の設備、観光案内の施設、車両C1の前方の物体)を指し示す腕部211、212(部材の一例)の動作によりその対象物の位置を報知し、第2報知を実行する場合には、その対象物を指し示すエージェント画像の表示態様によりその対象物の位置を報知する。
この構成によれば、エージェント機器200又はエージェント画像を用いて、車両C1に乗車するユーザU1に対象物に関する情報を報知する場合に、その報知対象となる対象物の位置を的確に指し示すことができる。
本実施形態に係る情報処理方法において、制御処理(ステップS501乃至S504、S521乃至S525、S541乃至S544、S561乃至S564)では、腕部211、212(部材の一例)の動作により対象物の位置を報知する際の腕部211、212の先端とその対象物との距離を算出し、その先端とその対象物との距離が所定値よりも大きい場合には、第2報知を実行する。なお、エージェント機器200の動作により対象物の位置を報知する際のエージェント機器200とその対象物との距離を算出し、エージェント機器200とその対象物との距離が所定値よりも大きい場合に、第2報知を実行してもよい。
この構成によれば、腕部211、212の先端とその対象物との距離が比較的離れている場合には、エージェント画像を用いた第2報知を実行するため、その対象物の位置を的確に指し示すことができる。
本実施形態に係る情報処理方法において、制御処理(ステップS501乃至S504、S521乃至S525、S541乃至S544、S561乃至S564)では、腕部211、212(部材の一例)の動作により対象物の位置を報知する際の腕部211、212の先端とその対象物との間に車両C1の構成部品が障害物として存在するか否かを判定し、腕部211、212の先端とその対象物との間に障害物が存在する場合には、第2報知を実行する。なお、エージェント機器200の動作により対象物の位置を報知する際のエージェント機器200とその対象物との間に車両C1の構成部品が障害物として存在するか否かを判定し、エージェント機器200とその対象物との間に障害物が存在する場合に、第2報知を実行してもよい。
この構成によれば、腕部211、212の先端とその対象物との間に障害物が存在する場合には、その障害物が邪魔になるため、エージェント画像を用いた第2報知を実行する。これにより、その対象物の位置を的確に指し示すことができる。
本実施形態に係る情報処理方法において、制御処理(ステップS501乃至S504、S521乃至S525、S541乃至S544、S561乃至S564)では、対象物の変化速度を算出し、その対象物の変化速度が所定値よりも大きい場合には、第2報知を実行する。
この構成によれば、腕部211、212の先端の位置の変化速度が所定値よりも大きくなることが推定できる場合には、エージェント画像を用いた第2報知を実行するため、その対象物の位置を的確に指し示すことができる。
本実施形態に係る情報処理方法において、制御処理(ステップS561乃至S564)では、対象物が複数存在する場合には、第2報知を実行する。
この構成によれば、対象物が複数存在する場合には、エージェント画像を用いた第2報知を実行するため、その対象物の位置を的確に指し示すことができる。
本実施形態に係る情報処理方法において、制御処理(ステップS501乃至S504、S521乃至S525、S541乃至S544、S561乃至S564)では、表示装置群300に表示されているコンテンツに対象物が含まれる場合には、第2報知を実行する。
この構成によれば、表示装置群300に表示されているコンテンツに対象物が含まれる場合には、エージェント画像を用いた第2報知を実行するため、腕部211、212の先端を用いた第1報知よりも、その対象物の位置を的確に指し示すことができる。
本実施形態に係る情報処理方法において、制御処理(ステップS501乃至S504、S511乃至S514、S521乃至S525、S531乃至S534、S541乃至S544、S551乃至S554、S561乃至S564、S571乃至S575)では、エージェント機器200の動作状態として活動状態と休止状態との何れかを切り替える制御を実行し、第1報知を実行する場合には、エージェント機器200を活動状態とし、かつ、表示装置群300の表示状態をエージェント画像を表示しない状態とし、第2報知を実行する場合には、エージェント機器200を休止状態とし、かつ、表示装置群300の表示状態をエージェント画像を表示する状態とする。
この構成によれば、エージェント機器200及びエージェント画像のうちの何れか一方のみを活動状態とし、他方を休止状態とすることにより、例えば、エージェントの魂が乗り移るような演出を実行することができ、エージェント機器200及びエージェント画像が同一であるとユーザU1に認識させることができる。これにより、エージェント機器200及びエージェント画像の一体感、連続性を演出することができ、エージェント機器200及びエージェント画像の信頼性を高めることができる。
本実施形態に係る情報処理方法において、制御処理(ステップS511乃至S514、S531乃至S534、S551乃至S554、S571乃至S575)では、第2報知により情報の報知が終了したと判定すると、エージェント機器200を活動状態に切り替え、かつ、表示装置群300の表示状態をエージェント画像を表示しない状態に切り替える。
この構成によれば、対象物の位置を的確に指し示すため、エージェント画像を用いて第2報知を実行した後には、エージェント機器200を用いて第1報知を実行するようにする。これにより、エージェント機器200及びエージェント画像の一体感、連続性を演出することができ、エージェント機器200及びエージェント画像の信頼性を高めることができる。
本実施形態に係る情報処理方法では、エージェント機器200は、擬生物化されたロボットであり、腕部211、212(部材の一例)は、手、指及び腕のうちの少なくとも1つを模した部材である。制御処理(ステップS514、S534、S554、S575)では、第1報知を実行する場合には、対象物を指し示す腕部211、212の動作によりその対象物の位置を報知する。
この構成によれば、エージェント機器200の腕部211、212の動作により対象物の位置を指し示すため、その対象物の位置を的確に指し示すことができる。
情報処理装置110は、所定方向を指し示すことが可能な腕部211、212(部材の一例)を備えるエージェント機器200と、エージェント機器200に対応する画像であって車両C1内又は車両C1外に存在する物体を指し示す表示態様としてのエージェント画像415、422、432、441、461乃至463を表示する表示装置群300とを設置可能な車両C1に備えられる情報処理装置である。情報処理装置110は、エージェント機器200の動作状態と、表示装置群300の表示状態とを制御する制御部120を備える。制御部120は、車両C1に乗車するユーザU1に対象物(例えば、車両C1の後方の物体、目的地、車両C1の設備、観光案内の施設、車両C1の前方の物体)に関する情報を報知する場合に、その対象物とエージェント機器200との位置関係と、その対象物の数と、その対象物の動作状態とのうちの少なくとも1つに基づいて、エージェント機器200を用いてその対象物を指し示してその情報を報知する第1報知と、エージェント画像を用いてその対象物を指し示してその情報を報知する第2報知とを切り替える。
この構成によれば、車両C1に乗車するユーザU1に対象物に関する情報を報知する場合に、その対象物とエージェント機器200との位置関係等に基づいて、エージェント機器200を用いた第1報知と、エージェント画像を用いた第2報知とを切り替えることができる。これにより、エージェント機器200及びエージェント画像のうちから、適切なエージェントを用いて、報知対象となる対象物の位置を的確に指し示すことができる。
なお、本実施形態で示した各処理手順は、本実施形態を実現するための一例を示したものであり、本実施形態を実現可能な範囲で各処理手順の一部の順序を入れ替えてもよく、各処理手順の一部を省略したり他の処理手順を追加したりしてもよい。
なお、本実施形態で示した各処理は、各処理手順をコンピュータに実行させるためのプログラムに基づいて実行されるものである。このため、本実施形態は、それらの各処理を実行する機能を実現するプログラム、そのプログラムを記憶する記録媒体の実施形態としても把握することができる。例えば、情報処理装置に新機能を追加するためのアップデート処理により、そのプログラムを情報処理装置の記憶装置に記憶させることができる。これにより、そのアップデートされた情報処理装置に本実施形態で示した各処理を実施させることが可能となる。
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。
100 情報処理システム、110 情報処理装置、120 制御部、121 切替判定部、122 エージェント機器制御部、123 表示制御部、130 記憶部、131 地図情報DB、132 設備情報DB、200 エージェント機器、300 表示装置群、310 第1表示装置、320 第2表示装置、330 第3表示装置

Claims (11)

  1. 所定動作により所定方向を指し示すことが可能な部材を備えるエージェント機器と、前記エージェント機器に対応する画像であって車両内又は車両外に存在する物体を指し示す表示態様としてのエージェント画像を表示する表示装置とを設置可能な車両に乗車するユーザに対象物に関する情報を報知する情報処理方法であって、
    前記エージェント機器の動作状態と、前記表示装置の表示状態とを制御する制御処理を含み、
    前記制御処理では、前記ユーザに前記情報を報知する場合に、前記対象物と前記エージェント機器との位置関係と、前記対象物の数と、前記対象物の動作状態とのうちの少なくとも1つに基づいて、前記エージェント機器を用いて当該対象物を指し示して前記情報を報知する第1報知と、前記エージェント画像を用いて当該対象物を指し示して前記情報を報知する第2報知とを切り替える、
    情報処理方法。
  2. 請求項1に記載の情報処理方法であって、
    前記第1報知を実行する場合には、前記対象物を指し示す前記部材の動作により前記対象物の位置を報知し、
    前記第2報知を実行する場合には、前記対象物を指し示す前記エージェント画像の表示態様により前記対象物の位置を報知する、
    情報処理方法。
  3. 請求項2に記載の情報処理方法であって、
    前記制御処理では、前記部材の動作により前記対象物の位置を報知する際の前記部材の先端と前記対象物との距離を算出し、
    前記先端と前記対象物との距離が所定値よりも大きい場合には、前記第2報知を実行する、
    情報処理方法。
  4. 請求項2に記載の情報処理方法であって、
    前記制御処理では、前記部材の動作により前記対象物の位置を報知する際の前記部材の先端と前記対象物との間に前記車両の構成部品が障害物として存在するか否かを判定し、
    前記先端と前記対象物との間に前記障害物が存在する場合には、前記第2報知を実行する、
    情報処理方法。
  5. 請求項1に記載の情報処理方法であって、
    前記制御処理では、前記対象物の変化速度を算出し、
    前記対象物の変化速度が所定値よりも大きい場合には、前記第2報知を実行する、
    情報処理方法。
  6. 請求項1に記載の情報処理方法であって、
    前記制御処理では、前記対象物が複数存在する場合には、前記第2報知を実行する、
    情報処理方法。
  7. 請求項1に記載の情報処理方法であって、
    前記制御処理では、前記表示装置に表示されているコンテンツに前記対象物が含まれる場合には、前記第2報知を実行する、
    情報処理方法。
  8. 請求項1から7の何れかに記載の情報処理方法であって、
    前記制御処理では、前記エージェント機器の動作状態として活動状態と休止状態との何れかを切り替える制御を実行し、
    前記第1報知を実行する場合には、前記エージェント機器を前記活動状態とし、かつ、前記表示装置の表示状態を前記エージェント画像を表示しない状態とし、
    前記第2報知を実行する場合には、前記エージェント機器を前記休止状態とし、かつ、前記表示装置の表示状態を前記エージェント画像を表示する状態とする、
    情報処理方法。
  9. 請求項8に記載の情報処理方法であって、
    前記制御処理では、前記第2報知により前記情報の報知が終了したと判定すると、前記エージェント機器を前記活動状態に切り替え、かつ、前記表示装置の表示状態を前記エージェント画像を表示しない状態に切り替える、
    情報処理方法。
  10. 請求項1から7の何れかに記載の情報処理方法であって、
    前記エージェント機器は、擬生物化されたロボットであり、
    前記部材は、手、指及び腕のうちの少なくとも1つを模した部材であり、
    前記制御処理では、前記第1報知を実行する場合には、前記対象物を指し示す前記部材の動作により前記対象物の位置を報知する、
    情報処理方法。
  11. 所定方向を指し示すことが可能な部材を備えるエージェント機器と、前記エージェント機器に対応する画像であって車両内又は車両外に存在する物体を指し示す表示態様としてのエージェント画像を表示する表示装置とを設置可能な車両に備えられる情報処理装置であって、
    前記エージェント機器の動作状態と、前記表示装置の表示状態とを制御する制御部を備え、
    前記制御部は、前記車両に乗車するユーザに対象物に関する情報を報知する場合に、前記対象物と前記エージェント機器との位置関係と、前記対象物の数と、前記対象物の動作状態とのうちの少なくとも1つに基づいて、前記エージェント機器を用いて当該対象物を指し示して前記情報を報知する第1報知と、前記エージェント画像を用いて当該対象物を指し示して前記情報を報知する第2報知とを切り替える、
    情報処理装置。
JP2022128493A 2022-08-10 2022-08-10 情報処理方法及び情報処理装置 Pending JP2024025227A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022128493A JP2024025227A (ja) 2022-08-10 2022-08-10 情報処理方法及び情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022128493A JP2024025227A (ja) 2022-08-10 2022-08-10 情報処理方法及び情報処理装置

Publications (1)

Publication Number Publication Date
JP2024025227A true JP2024025227A (ja) 2024-02-26

Family

ID=90011096

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022128493A Pending JP2024025227A (ja) 2022-08-10 2022-08-10 情報処理方法及び情報処理装置

Country Status (1)

Country Link
JP (1) JP2024025227A (ja)

Similar Documents

Publication Publication Date Title
US20230311749A1 (en) Communication between autonomous vehicle and external observers
US10488218B2 (en) Vehicle user interface apparatus and vehicle
US20170315556A1 (en) Vehicle control system, vehicle control method, and vehicle control program
JP6831190B2 (ja) 自動運転車両の制御システム及び制御方法
JP6544320B2 (ja) 自動運転車両の制御システム及び制御方法
JP2019196171A (ja) 自動運転制御装置
US20190232952A1 (en) Autonomous parking system and vehicle
CN111319557B (zh) 报告装置
CN109249928A (zh) 车辆和用于控制车辆的方法
KR20190001145A (ko) 차량용 인터페이스 시스템
US10474907B2 (en) Apparatus that presents result of recognition of recognition target
CN114641668A (zh) 拼车应用程序中的增强现实寻路
CN107650796A (zh) 基于车辆传感器数据呈现车载媒体内容的系统、方法和设备
JP6839625B2 (ja) 飛行体、通信端末、及びプログラム
JP6720924B2 (ja) 車外報知装置
JP7423837B2 (ja) 自動運転車用情報提示装置
US20190258247A1 (en) Remote vehicle control device, remote vehicle control system, and remote vehicle control method
JP6840035B2 (ja) 車両制御システム
WO2008038376A1 (fr) Dispositif de reconnaissance de signal, procédé de reconnaissance de signal, programme de reconnaissance de signal, et support d'enregistrement
JP2019081450A (ja) 表示装置、表示制御方法、及びプログラム
JP2024025227A (ja) 情報処理方法及び情報処理装置
JP2020142753A (ja) 表示装置、表示制御方法、およびプログラム
KR102089955B1 (ko) 차량에 구비된 차량용 로봇 및 차량용 로봇의 제어방법
JP6727400B2 (ja) 表示制御装置及び表示制御方法
WO2024042359A1 (ja) 情報処理方法及び情報処理装置