以下に、本開示の情報処理方法、情報処理システム及びプログラムについて、その実施形態を示す図面に基づいて詳述する。
(実施形態1)
車両内部の状況及び車両外部(車両周辺)の状況に応じたコンテンツを車両内で再生する情報処理システムについて説明する。本実施形態では、コンテンツは、画像、音声(音楽)、光(照明光)、振動、芳香、空調(風)のいずれかによるコンテンツであってもよく、これらの複数を組み合わせて一体として構成されたコンテンツであってもよい。また、本実施形態のコンテンツは、映画、ドラマ、アニメ、音楽ライブ等のエンターテインメントコンテンツ、商品又はサービスを宣伝するための広告コンテンツ等、どのようなコンテンツであってもよいが、視聴(体験)するユーザに感情の変化が起きるようなコンテンツであることが望ましい。例えば、視聴(体験)したユーザがワクワクする(気持ちが高揚する)コンテンツ、ドキドキする(胸が高鳴る)コンテンツ、怒りがおさまる(冷静になる)コンテンツ等、感情の変化を起こさせるようなコンテンツが望ましい。本実施形態における車両は自動車又はバス等の移動体であり、運転者による操作に従って走行する車両であってもよく、自動走行できるように構成された自動走行車両であってもよい。図1は情報処理システムの構成例を示す模式図である。本実施形態の情報処理システムは、サーバ10及び車両に搭載された車載装置20を含み、サーバ10及び車載装置20は、インターネット等のネットワークNに接続可能であり、ネットワークNを介して情報の送受信を行う。
サーバ10は、種々の情報処理及び情報の送受信が可能な情報処理装置であり、例えばサーバコンピュータ又はパーソナルコンピュータを用いて構成されている。サーバ10は、複数台設けられて分散処理するように構成されていてもよく、1台のサーバ内に設けられた複数の仮想マシンによって実現されていてもよく、クラウドサーバを用いて実現されていてもよい。車載装置20は、サーバ10が提供するコンテンツ配信サービスを利用するユーザが乗車する車両に搭載されている装置であり、複数台の車両にそれぞれ設けられている。車載装置20は、種々の情報処理及び情報の送受信が可能な情報処理装置であり、例えばパーソナルコンピュータ、タブレット端末、スマートフォン、カーナビゲーション装置を用いて構成されている。なお、車載装置20は、専用の装置によって構成されていてもよい。
本実施形態の情報処理システムでは、複数のイベントのそれぞれについて、イベントに適合する条件(イベント発生条件)及び複数のコンテンツが対応付けて登録してある。車載装置20は、車両内部(車内)の状況及び車両外部(車外)の状況に基づいて、いずれかのイベントの発生条件を満たすか否かを判断しており、いずれかのイベントの発生条件を満たす場合、イベントの発生をサーバ10に通知する。サーバ10は、いずれかのイベントが発生した車両(車載装置20)に対して、イベントに対応するコンテンツを送信(配信)し、車載装置20は、サーバ10から送信されてくるコンテンツを受信して再生する。また車載装置20は、コンテンツを視聴するユーザ(車両の乗車者)の反応を検出してサーバ10に通知し、サーバ10は、車両内のユーザの反応に応じて、送信するコンテンツを適宜切り替える。なお、車内の状況とは、例えば乗車人数、乗車者の属性及び着座位置、乗車者の動作及び感情等の情報を含む。また車外の状況とは、例えば日時(年月日、季節、曜日、時間帯等)、現在地、車両周辺の環境(周辺地図、景色、音)、天気(気温、湿度、降水量、日照時間等)、走行速度・走行方角、出発地・目的地等の情報を含む。
図2はサーバ10の構成例を示すブロック図である。サーバ10は、制御部11、記憶部12、通信部13、入力部14、表示部15、読み取り部16等を含み、これらの各部はバスを介して相互に接続されている。制御部11は、CPU(Central Processing Unit)、MPU(Micro-Processing Unit)又はGPU(Graphics Processing Unit)等の1又は複数のプロセッサを含む。制御部11は、記憶部12に記憶してある制御プログラム12Pを適宜実行することにより、サーバ10が行うべき種々の情報処理及び制御処理等を実行する。
記憶部12は、RAM(Random Access Memory)、フラッシュメモリ、ハードディスク、SSD(Solid State Drive)等を含む。記憶部12は、制御部11が実行する制御プログラム12P及び制御プログラム12Pの実行に必要な各種のデータ等を予め記憶している。また記憶部12は、制御部11が制御プログラム12Pを実行する際に発生するデータ等を一時的に記憶する。また記憶部12は、後述するユーザDB(データベース)12a及びコンテンツDB12bを記憶する。ユーザDB12a及びコンテンツDB12bは、サーバ10に接続された他の記憶装置に記憶されてもよく、サーバ10が通信可能な他の記憶装置に記憶されていてもよい。
通信部13は、有線通信又は無線通信によってネットワークNに接続するためのインタフェースであり、ネットワークNを介して他の装置との間で情報の送受信を行う。入力部14は、例えばマウス及びキーボードを含み、サーバ10を使用するユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部11へ送出する。表示部15は、液晶ディスプレイ又は有機ELディスプレイ等であり、制御部11からの指示に従って各種の情報を表示する。入力部14及び表示部15は一体として構成されたタッチパネルであってもよい。
読み取り部16は、CD(Compact Disc)-ROM、DVD(Digital Versatile Disc)-ROM、USB(Universal Serial Bus)メモリ、SD(Secure Digital)カード等を含む可搬型記憶媒体1aに記憶された情報を読み取る。記憶部12に記憶される制御プログラム12P及び各種のデータは、制御部11が読み取り部16を介して可搬型記憶媒体1aから読み取って記憶部12に記憶してもよい。また、記憶部12に記憶される制御プログラム12P及び各種のデータは、制御部11が通信部13を介して他の装置からダウンロードして記憶部12に記憶してもよい。
図3はサーバ10に記憶されるDB12a~12bの構成例を示す模式図である。図3AはユーザDB12aを、図3BはコンテンツDB12bをそれぞれ示す。ユーザDB12aは、サーバ10が提供するコンテンツ配信サービスを利用するためにユーザ登録を行ったユーザに関する情報を記憶する。図3Aに示すユーザDB12aは、ユーザID列、ユーザ情報列、イベント発生履歴列等を含み、ユーザIDに対応付けてユーザに関する情報を記憶する。ユーザID列は、各ユーザに予め割り当てられた識別情報(ユーザID)を記憶する。ユーザ情報列は、ユーザの性別及び年齢等の属性情報、家族構成及び趣味嗜好等の個人情報、ユーザが使用する車載装置20と通信するための宛先情報等を記憶する。イベント発生履歴列は、ユーザが車両に乗車中に発生したイベントに関する履歴情報を記憶する。履歴情報は、イベントが発生した日時、発生したイベントのイベントID、ユーザの車両(車載装置20)へ送信されたコンテンツのコンテンツID、各コンテンツの視聴時におけるユーザの反応等を含む。なお、イベントの発生日時は、イベント発生条件を満たした日時であってもよく、イベントが発生してから終了又は次のイベントが発生するまでの時間帯であってもよい。ユーザの反応は、コンテンツの視聴時(視聴中)におけるユーザの動作(ジェスチャー、姿勢又は行動)及び感情(感情情報)を含む。履歴情報は、イベントが発生した場所(位置)、イベント発生時の車両内の雰囲気(乗車者の感情等)、各コンテンツの再生日時等を更に含んでもよい。ユーザDB12aに記憶されるユーザIDは、新たなユーザが登録された場合に、制御部11によって発行されて記憶される。ユーザDB12aに記憶されるユーザ情報は、制御部11が通信部13又は入力部14を介して追加又は変更の指示を取得した場合に、制御部11によって追加又は変更される。ユーザDB12aに記憶されるイベント発生履歴は、制御部11が通信部13を介してイベントの発生を通知された場合、通信部13を介してイベントに対応するコンテンツを車載装置20へ送信した場合、通信部13を介してユーザの反応を通知された場合に、制御部11によって記憶される。ユーザDB12aの記憶内容は図3Aに示す例に限定されず、例えばユーザの車両に関する情報が記憶されていてもよい。
コンテンツDB12bは、車両に発生したイベントに応じて車載装置20に提供されるコンテンツを記憶する。図3Bに示すコンテンツDB12bは、イベントID列、コンテンツID列、コンテンツデータ列、対応反応列等を含み、イベントIDに対応付けて各イベントの発生時に提供されるコンテンツに関する情報を記憶する。イベントID列は、各イベントに予め割り当てられた識別情報(イベントID)を記憶する。コンテンツID列は、各イベントに対応付けられたコンテンツに予め割り当てられた識別情報(コンテンツID)を記憶する。コンテンツIDは例えば、各イベントに対応付けられた複数のコンテンツに対してデフォルトで設定された再生順序に従ったIDを用いる。なお、コンテンツDB12bに再生順序列を設け、各コンテンツの再生順序を記憶する構成としてもよく、この場合、コンテンツIDは任意のIDを用いることができる。コンテンツデータ列は、コンテンツIDに対応するコンテンツデータを記憶する。コンテンツデータは、画像コンテンツ、音声コンテンツ、光(照明光)によるコンテンツ、振動によるコンテンツ、芳香によるコンテンツ、空調(風)によるコンテンツ、又は、これらの複数を組み合わせたコンテンツを含む。例えば画像コンテンツ及び音声コンテンツを含む動画コンテンツであってもよく、動画コンテンツに更に動画コンテンツの内容に応じた光、振動、芳香又は空調によるコンテンツが追加されたコンテンツであってもよい。光によるコンテンツは、照明光の色、強度、又は点滅速度等によって規定され、振動によるコンテンツは、振動パターン、振動の強度、又は継続時間等によって規定され、芳香によるコンテンツは、芳香の種類、強度、又は継続時間等によって規定される。また、空調によるコンテンツは、車両に設けられた空調機器から吹き出される空気(風)の温度もしくは湿度の高低、風量の多少、風向、又は継続時間等によって規定される。コンテンツデータは、コンテンツDB12bに記憶されるほかに、記憶部12の所定領域又は他の記憶装置に記憶されてもよく、この場合、コンテンツデータ列は、コンテンツデータを読み出すための情報(例えば記憶場所を示すファイル名)を記憶する。対応反応列は、各コンテンツを配信する際に適したユーザの反応に関する情報を記憶し、ユーザの反応は、ユーザの動作(ジェスチャー、姿勢又は行動)及び感情(雰囲気)を含む。コンテンツDB12bに記憶されるイベントIDは、新たなイベントが登録された場合に、制御部11によって発行されて記憶される。コンテンツDB12bに記憶されるコンテンツID、コンテンツデータ及び対応反応は、制御部11が通信部13又は入力部14を介して追加又は変更の指示を取得した場合に、制御部11によって追加又は変更される。コンテンツDB12bの記憶内容は図3Bに示す例に限定されず、例えば各イベントの発生条件が記憶されていてもよい。また、コンテンツDB12bはユーザ毎に設定されてもよく、この場合、コンテンツDB12bにユーザID列を設け、ユーザIDに対応付けて各イベントのコンテンツが記憶される構成としてもよい。更に、ユーザ毎にコンテンツDB12bが設定される場合、コンテンツDB12bを車載装置20に記憶させてもよい。
図4は車載装置20の構成例を示すブロック図、図5は車両内部の構成例を示す模式図である。図5は後部座席側からフロントウィンドウを見たときの車内の状態を簡単に示しており、ダッシュボード、インストルメントパネル、ドア等の図示を省略している。本実施形態の車両は、フロントウィンドウの左右端にそれぞれAピラーを介してサイドウィンドウ(左サイドウィンドウ、右サイドウィンドウ)が設けられており、フロントウィンドウ及び2つのサイドウィンドウの上端を連結するようにルーフが設けられている。また図5に示す車両は、フロントウィンドウに対向して乗車者が座るように2つの前部座席が設けられており、前部座席に着座した乗車者が視認できる位置に表示部25が設けられている。なお、車両に設けられる座席は、位置を移動できるよう設置されていてもよく、例えば1つの前部座席をフロントウィンドウの真正面に配置できるように構成されていてもよい。また、進行方向の左側の座席を左サイドウィンドウに向けて、右側の座席を右サイドウィンドウに向けて配置できるように構成されていてもよい。更に、各座席が折り畳み可能に構成されていてもよく、この場合、不要な座席を折り畳んでおくことが可能となる。表示部25は、前部座席及び後部座席に着座した乗車者が視認できる位置に設けられていればよく、複数箇所に設けられていてもよい。また図5に示す車両は、フロントウィンドウ及びルーフの境界部分の中央部と、左サイドウィンドウ及びルーフの境界部分の適宜位置と、右サイドウィンドウ及びルーフの境界部分の適宜位置とにそれぞれカメラ27が設けられている。カメラ27は、前部座席及び後部座席に着座した乗車者を撮影できる位置に設けられていればよく、図5に示す位置以外の位置に設けられていてもよい。更に図5に示す車両は、フロントウィンドウ及びルーフの境界部分の適宜位置に照明部30が設けられている。照明部30は、車内の空間を発光色で彩ることができる位置に設けられていればよく、例えばルーフの適宜位置又は乗車者の足元に近い位置等に設けられていてもよい。
図5では図示しないが、本実施形態の車両には、マイク28、スピーカ29、振動を発生させる振動発生部31、芳香を発生させる芳香発生部32、及び風を発生させる空調制御部33が車内の適宜位置に設けられている。また、本実施形態の車両には、カメラ27が車内の乗車者を撮影できる位置に設けられているほかに、車外の風景を撮影できる位置にも設けられていてもよい。また、マイク28が車内の乗車者の発話音声を収集できる位置に設けられているほかに、車外の音を収集できる位置にも設けられていてもよい。また、本実施形態の車両には、車両周辺の香り(匂い)を収集する装置が車両外面の適宜位置に設けられていてもよい。なお、香りを収集する装置は車載装置20に内蔵されていてもよく、車載装置20に外付けされていてもよい。
図4に示すように車載装置20は、制御部21、記憶部22、通信部23、入力部24、表示部25、測位部26、カメラ27、マイク28、スピーカ29、照明部30、振動発生部31、芳香発生部32、空調制御部33、バイタルデータ取得部34等を含み、これらの各部はバスを介して相互に接続されている。車載装置20の制御部21、記憶部22、通信部23、入力部24及び表示部25のそれぞれは、サーバ10の制御部11、記憶部12、通信部13、入力部14及び表示部15と同様の構成であるので詳細な説明は省略する。車載装置20の記憶部22は、制御部21が実行する制御プログラム22Pに加え、地図データ22D及び後述するイベントDB22aを記憶している。地図データ22Dは、車両が走行する可能性のある場所の地図データであればよく、地図データを記憶している他のサーバから車両の走行に伴って逐次ダウンロードする地図データであってもよい。地図データには、地形、道路、交差点、観光地、各種の店舗、農産物の生産地、水産物の産地(水揚げした漁港)等に関する情報が含まれる。
車載装置20の入力部24は、マイク28を介した音声入力によってユーザによる操作を受け付ける構成でもよい。車載装置20の表示部25(コンテンツ再生部)は、液晶ディスプレイ又は有機ELディスプレイのほかに、ガラスに情報を映し出す(投影する)ヘッドアップディスプレイ、又はプロジェクタであってもよい。なお、表示部25がヘッドアップディスプレイである場合、フロントウィンドウ、リアウィンドウ及びサイドウィンドウ(車両窓)の一部の領域又は全領域に情報を映し出してもよく、ルーフがガラス又は透明な合成樹脂製の板で構成されている場合、ルーフの一部の領域又は全領域に情報を映し出してもよい。
測位部26は、車載装置20(又は車両)の現在地を検出し、現在地を示す現在地情報(例えば経度及び緯度の座標値)を取得し、取得した現在地情報を制御部21へ送出する。測位部26は、例えばGPS(Global Positioning System )衛星から送信される電波を、車載装置20又は車両に設けられたGPSアンテナ(図示せず)を介して受信し、受信した電波に基づいて現在地を検出する。なお、現在地の検出方法はGPS衛星からの電波に基づく方法に限らない。測位部26は、検出した現在地及び地図データ22Dに基づいて、検出した現在地が地図上のどこであるのか、車両が走行中の道路及び交差点を特定できる。また測位部26は、ジャイロセンサ等を有し、車両の進行方向(例えば、東西南北で示される方角)を特定できる。
カメラ27は、制御部21からの指示に従って撮影する撮像装置であり、取得した撮影画像(画像データ)を記憶部22へ送出して記憶させる。カメラ27は、車載装置20に内蔵されていてもよく、車載装置20に外付けされていてもよい。外付けされる場合、車載装置20は、外部カメラの接続が可能な接続部、又は外部カメラとの無線通信が可能な無線通信部を備え、外部カメラが撮影した画像データを接続部又は無線通信部を介して取得する。
マイク28は、制御部21からの指示に従って集音する集音装置であり、取得した音声データを記憶部22へ送出して記憶させる。マイク28は、車内に設けられて車内の音声を収集するマイクと、例えば車両の外面に設けられて車外の音声を収集するマイクとを有する。車内の音声は例えば車両内の乗車者が発話する音声、車両内でスピーカ29から出力される音声等を含む。車外の音声は例えば車両の周囲の物音、人声、雨音、サイレン音等を含む。マイク28は、車載装置20に内蔵されていてもよく、車載装置20に外付けされていてもよい。外付けされる場合、車載装置20は、外部マイクの接続が可能な接続部、又は外部マイクとの無線通信が可能な無線通信部を備え、外部マイクが収集した音声データを接続部又は無線通信部を介して取得する。
スピーカ29(コンテンツ再生部)は、制御部21からの指示に従って音声出力する音声出力部であり、制御部21が指示する音声又は音楽を出力する。スピーカ29は、車載装置20に内蔵されていてもよく、車載装置20に外付けされていてもよい。外付けされる場合、車載装置20は、外部スピーカの接続が可能な接続部、又は外部スピーカとの無線通信が可能な無線通信部を備え、接続部又は無線通信部は、制御部21からの指示に従った音声信号(音楽信号)を外部スピーカへ送出し、外部スピーカに音声又は音楽を出力させる。
照明部30は、白色、赤色、青色、緑色等のいずれかの色又は複数色の光を発するライトを有し、制御部21からの指示に従った色の光を発する。照明部30は、車載装置20に内蔵されていてもよく、車載装置20に外付けされていてもよい。外付けされる場合、車載装置20は、外部ライトの接続が可能な接続部、又は外部ライトとの無線通信が可能な無線通信部を備え、接続部又は無線通信部は、制御部21からの発光指示を外部ライトへ送出し、外部ライトを発光させる。
振動発生部31は、例えば複数パターンの振動を発生させることができるバイブレータを有し、制御部21からの指示に従ったパターンの振動をバイブレータによって発生させる。振動発生部31は、例えば各座席に設けられており、各座席に対して同じパターンの振動を発生させるように構成されていてもよく、それぞれ異なるパターンの振動を発生させるように構成されていてもよい。振動発生部31は、車載装置20に内蔵されていてもよく、車載装置20に外付けされていてもよい。外付けされる場合、車載装置20は、外部バイブレータの接続が可能な接続部、又は外部バイブレータとの無線通信が可能な無線通信部を備え、接続部又は無線通信部は、制御部21からの振動指示を外部バイブレータへ送出し、外部バイブレータを振動させる。
芳香発生部32は、例えば複数種類の芳香剤又はアロマオイルを貯蔵する貯蔵タンクと、貯蔵タンク内の芳香剤又はアロマオイルを放出(噴霧)する放出部とを有する芳香発生デバイスを有し、制御部21からの指示に従った芳香(香り)を芳香発生デバイスによって発生させる。芳香発生部32は、車載装置20に内蔵されていてもよく、車載装置20に外付けされていてもよい。外付けされる場合、車載装置20は、外部の芳香発生デバイスの接続が可能な接続部、又は外部の芳香発生デバイスとの無線通信が可能な無線通信部を備え、接続部又は無線通信部は、制御部21からの芳香発生指示を外部の芳香発生デバイスへ送出し、外部の芳香発生デバイスによって芳香を発生させる。
空調制御部33は、車両内の空気の温度及び湿度等を調整する空調機器(エアーコンディショナー)から放出される空気の状態を制御する空調制御デバイスであり、制御部21からの指示に従った空気(風)を空調機器に放出させる。空調制御部33は、空調機器から放出される空気の温度、湿度、風量、風向等の空調条件を制御する。また空調機器は、例えばコンプレッサーで圧縮した圧縮空気を噴射するエアブラスト機能を有しており、空調制御部33は、空調機器から噴射される空気の風量(風力)を制御できる。バイタルデータ取得部34は、制御部21からの指示に従って乗車者のバイタルデータを取得し、取得したバイタルデータを記憶部22へ送出して記憶させる。バイタルデータは例えば体温、心拍(脈拍)、心電図、呼吸の状態等を含む。バイタルデータ取得部34は例えば、乗車者のバイタルデータを計測する計測器(図示せず)を有し、計測器によって計測されたバイタルデータを取得する。なお、計測器は、例えば車両のハンドル又はアームレスト(肘掛け)等に設けられ、ハンドルを把持する乗車者(運転者)の手、又はアームレストに載置された乗車者の手又は腕からバイタルデータを計測するように構成されていてもよい。計測器は車載装置20に内蔵されていてもよく、車載装置20に外付けされていてもよい。またバイタルデータ取得部34は、計測器を有する構成のほかに、計測器との通信が可能な通信器を有し、計測器が計測したバイタルデータを通信器にて取得する構成でもよい。この場合、計測器は例えば腕時計型のウェアラブルデバイスであってもよく、乗車者の手首、腕等に装着されて使用される。なお、乗車者のバイタルデータは、例えば乗車者を撮影した画像を解析して取得されてもよく、乗車者の顔画像を分析して得られる乗車者の表情を含んでいてもよい。
図6はイベントDB22aの構成例を示す模式図である。イベントDB22aは、複数のイベントのそれぞれについてイベントの発生条件を記憶する。図6に示すイベントDB22aは、イベントID列及び発生条件列等を含む。イベントID列は、各イベントの識別情報(イベントID)を記憶する。発生条件列は、それぞれのイベントが発生したとする発生条件に関する情報を記憶する。発生条件は、車内に関する条件(車内条件)と、車外に関する条件(車外条件)とを含む。車内条件は例えば車両内の乗車者の着座位置、各着座位置の乗車者の属性(性別及び年齢等)、関係性(親密度)、動作及び感情、各乗車者の着座位置の相対関係等、車内の状況に関する条件を含む。例えば前部座席に20代の男女2人が乗車していること、車両内に子供(例えば10歳以下)が乗車していること、各乗車者が喜び、悲しみ、恐怖、リラックス等の所定の感情であること等を車内条件に用いることができる。車外条件は例えば現在日時(季節、曜日、時間帯等)、天気、車両の現在地、走行速度及び走行方角、出発地及び目的地、車両周辺の景色、音及び香り(匂い)等、車外の状況に関する条件を含む。例えば所定の店舗までの距離が所定距離以内となったこと、走行場所(現在地)が所定の町内であること、平均的な走行速度が所定速度以上又は以下であること、所定季節の所定時間帯又は所定天気であること等を車外条件に用いることができる。イベントDB22aに記憶されるイベントIDは、新たなイベントの発生条件が登録される場合に、制御部21によって発行されて記憶される。イベントDB22aに記憶される発生条件は、制御部21が通信部23又は入力部24を介して追加又は変更の指示を取得した場合に、制御部21によって追加又は変更される。なお、各イベントの発生条件は、例えばサーバ10のコンテンツDB12bに一旦登録された後に、イベントIDに対応付けてサーバ10から車載装置20へ送信され、車載装置20のイベントDB22aに登録されてもよい。イベントDB22aの記憶内容は図6に示す例に限定されない。例えば各イベントに対応するコンテンツデータ及び各コンテンツを配信(再生)する際に適したユーザの反応(対応反応)が予めダウンロードされてイベントDB22aに記憶されていてもよい。また、イベントの発生条件のほかに、発生中のイベントが中断したとする中断条件に関する情報、発生中のイベントが完了したとする完了条件に関する情報、他のイベントに切り替えるための切替条件に関する情報等がイベントDB22aに記憶されていてもよい。
本実施形態では、各車両で発生したイベントの発生履歴は、サーバ10のユーザDB12aにユーザIDに対応付けて記憶される構成とする。これにより、同じユーザが異なる車両に乗車する場合であっても、サーバ10に登録してあるイベント発生履歴を考慮したコンテンツを、ユーザが乗車する車両に提供することが可能となる。このほかに、各車両で発生したイベントの発生履歴を車載装置20のイベントDB22a又は記憶部22に記憶する構成としてもよい。この場合、車載装置20は、イベント発生の有無を判定する際に、過去のイベント発生履歴を参照することが可能となる。
以下に、上述した構成の情報処理システムにおいて、車両で発生したイベントに応じたコンテンツをサーバ10が車載装置20に提供する処理について説明する。図7及び図8はコンテンツの提供処理手順の一例を示すフローチャート、図9は車外情報の取得処理手順の一例を示すフローチャート、図10は車内情報の取得処理手順の一例を示すフローチャートである。図7及び図8では左側に車載装置20が行う処理を、右側にサーバ10が行う処理をそれぞれ示す。図9に示す車外情報の取得処理は、図7中のステップS12の処理であり、図10に示す車内情報の取得処理は、図7中のステップS13の処理である。以下の処理は、車載装置20の記憶部22に記憶してある制御プログラム22Pに従って制御部21によって実現され、サーバ10の記憶部12に記憶してある制御プログラム12Pに従って制御部11によって実現される。以下の処理の一部を専用のハードウェア回路で実現してもよい。
本実施形態の情報処理システムにおいて、車載装置20は、動作を開始した場合、定期的に車両の内外の状態に関する情報(状態情報)を収集し、収集した状態情報に基づいていずれかのイベントの発生条件を満たすか否かを判断する。なお、状態情報は車両外部(車外)の状態に関する情報(車外情報)及び車両内部(車内)の状態に関する情報(車内情報)を含む。いずれかのイベントの発生条件を満たすと判断した場合、車載装置20はサーバ10に発生イベントを通知し、サーバ10は、発生イベントに対応するコンテンツを車載装置20に提供する。なお、車載装置20が動作を開始した場合とは、車両が走行を開始した場合であってもよく、車両が停車中又は駐車中であってもよい。また車両が自動走行できるように構成された自動走行車両である場合、車両が自動走行を開始した場合であってもよい。
車載装置20の制御部21は、車外情報及び車内情報を取得するタイミングが到来したか否かを判断する(S11)。制御部21は定期的に車外情報及び車内情報を取得しており、直近の取得処理の実行から所定時間が経過したか否かに応じて、実行タイミングが到来したか否かを判断する。取得タイミングが到来していないと判断した場合(S11:NO)、制御部21は他の処理を行いつつ待機する。取得タイミングが到来したと判断した場合(S11:YES)、制御部21は、車外情報の取得処理を行う(S12)。
図9に示す車外情報の取得処理において、制御部21は、この時点での日時情報を取得する(S31)。例えば車載装置20は時計を有しており、制御部21は、時計が示す日時情報(年月日、時、分、秒、曜日)を取得する。次に制御部21は、この時点での車両(車載装置20)の位置情報(現在地情報)を測位部26によって取得し(S32)、車両の現在地情報に基づいて、車両の周辺地図を地図データ22Dから取得する(S33)。例えば制御部21は車両周囲の所定範囲内(例えば10km以内)の地図データを取得する。また制御部21は、車両の現在地の天気情報(気温、湿度、降水量、日照時間等)を取得する(S34)。例えば制御部21は、ネットワークN経由で天気情報(気象情報)を公開しているウェブサーバ(図示せず)から現在地の天気情報を取得してもよく、車両に気温、湿度、降水量、日照時間等を検知するセンサが設けてある場合、各センサから検知結果を取得してもよい。なお、制御部21は、現在の天気情報を取得してもよく、現在から所定時間後(例えば1時間後)までの天気情報を取得してもよい。
また制御部21は、車両の走行速度及び走行方向の方角を取得する(S35)。例えば制御部21は、車両に設けられている速度センサ(図示せず)が検知した速度(走行速度)を取得し、測位部26が検知した走行方向の方角を取得する。また制御部21は、車両の出発地及び目的地を取得する(S36)。例えば制御部21は、車両が走行を開始した時点で測位部26が検知した位置情報を出発地の情報として取得し、車内に設けられたナビゲーション装置に設定された目的地を車両の目的地として取得する。なお、出発地の情報は、車両が走行を開始した際に一度取得すればよく、目的地の情報は、ナビゲーション装置に目的地が設定された際に、又は目的地が変更された際に取得すればよい。また制御部21は、車外の風景を撮影できる位置に設けられたカメラ27によって車両周辺の撮影画像を取得し(S37)、車外の音を収集できる位置に設けられたマイク28によって車両周辺の音声を取得する(S38)。そして制御部21は、車両周辺の画像及び音声に基づいて、車両周辺の環境情報を取得する(S39)。例えば制御部21は、車両周辺の環境が商業施設の多い繁華街であるか、閑静な住宅街であるか、田舎の田園風景であるか、海辺であるか、山道であるか等、街並み及び人の様子等を検出する。なお、車両に香り(匂い)を収集する装置が設けられている場合、制御部21は、車両周辺の香り(匂い)を取得し、取得した香りも考慮して周辺環境を判定してもよい。制御部21は、上述した情報を含む車外情報を取得する都度、記憶部22に記憶しておく。なお、車外情報は、上述した情報のほかに、車外の状況に関する情報、車外から取得できる情報等を含んでいてもよい。
制御部21は、図7に示す処理に戻り、車内情報の取得処理を行う(S13)。図10に示す車内情報の取得処理において、制御部21は、乗車者の着座位置を検出する(S51)。例えば車両内の各座席に着座センサが設けられている場合、制御部21は、それぞれの着座センサによる検知結果に基づいて、各座席に乗車者が着座しているか否かを判断する。また、制御部21は、車内をカメラ27で撮影し、得られた撮影画像に基づいて、各座席に乗車者が着座しているか否かを判断してもよい。この場合、ステップS52の処理後にステップS51の処理を行えばよい。
次に制御部21は、各座席に着座している乗車者をカメラ27にて撮影し、撮影画像を取得する(S52)。また制御部21は、各座席に着座している乗車者の発話音声をマイク28にて取得する(S53)。更に制御部21は、各座席に着座している乗車者のバイタルデータをバイタルデータ取得部34にて取得する(S54)。各座席に対応付けてカメラ27、マイク28及びバイタルデータ取得部34(計測器)が設けられている場合、制御部21は、それぞれのカメラ27、マイク28及びバイタルデータ取得部34によって各座席に着座している乗車者の撮影画像、発話音声及びバイタルデータを取得できる。制御部21は、各乗車者の撮影画像及び/又は発話音声に基づいて、各乗車者の属性を検出する(S55)。例えば制御部21は、テンプレートマッチング技術によって撮影画像中の乗車者の属性を検出する。具体的には、属性(性別及び年齢層)毎に、一般的な人の顔又は上半身の画像に基づくテンプレートを予め記憶部22に登録しておき、制御部21は、撮影画像からいずれかのテンプレートに一致する領域を検知した場合、検知したテンプレートに対応する属性を撮影画像中の乗車者の属性に特定する。また、属性(性別及び年齢層)毎に、一般的な人の発話音声の音声信号に基づくテンプレートを予め記憶部22に登録しておき、制御部21は、マイク28を介して取得した発話音声からいずれかのテンプレートに一致する音声信号を検知した場合、検知したテンプレートに対応する属性を、発話音声を集音した乗車者の属性に特定する。なお、制御部21は、撮影画像に基づいて特定した乗車者の属性と、発話音声に基づいて特定した乗車者の属性とを考慮して、最終的な乗車者の属性を特定してもよい。
なお、制御部21は、機械学習によって構築されたニューラルネットワークを用いて、各乗車者の撮影画像及び/又は発話音声に基づいて、各乗車者の属性を検出してもよい。例えばCNN(Convolution Neural Network)モデルで構成され、撮影画像が入力された場合に、撮影画像中の被写体(乗車者)の性別及び年齢層を出力するように学習された学習モデルを用いてもよい。この場合、制御部21は、ステップS52で取得した撮影画像を学習済みの学習モデルに入力し、学習モデルからの出力情報に基づいて、撮影画像中の乗車者の性別及び年齢層を特定することができる。また、CNNモデル、RNN(Recurrent Neural Network)モデル等で構成され、発話音声が入力された場合に、発話者(乗車者)の性別及び年齢層を出力するように学習された学習モデルを用いてもよい。この場合、制御部21は、ステップS53で取得した発話音声を学習済みの学習モデルに入力し、学習モデルからの出力情報に基づいて、発話音声に係る発話者の性別及び年齢層を特定することができる。ここでも、制御部21は、撮影画像に基づいて特定した乗車者の属性と、発話音声に基づいて特定した乗車者の属性とを考慮して、最終的な乗車者の属性を特定してもよい。なお、制御部21は、ステップS54で取得した各乗車者のバイタルデータも考慮して、各乗車者の属性を検出してもよい。
次に制御部21は、各乗車者の撮影画像に基づいて、各乗車者の動作を検出する(S56)。例えば制御部21は、撮影画像中の被写体(乗車者)の頭部、手、腕又は胴体等の各部を検出し、時系列の撮影画像において乗車者の各部の移動軌跡を検出する。また、乗車者が行う可能性のある各動作に対応付けて、乗車者の各部の移動軌跡を予め記憶部22に登録しておき、制御部21は、検出した乗車者の各部の移動軌跡に一致する動作を特定する。例えば制御部21は、乗車者がうなずく動作、手を振る動作、腕を回す動作等を行ったか否かを検出する。ここでも制御部21は、ニューラルネットワークを用いて撮影画像中の乗車者の動作を検出してもよい。例えばCNNモデル又はRNNモデルで構成され、撮影画像が入力された場合に、撮影画像中の被写体(乗車者)が行った動きに関する情報を出力するように学習された学習モデルを用いてもよい。この場合、制御部21は、ステップS52で取得した撮影画像を学習済みの学習モデルに入力し、学習モデルからの出力情報に基づいて、撮影画像中の乗車者の動きを特定することができる。
次に制御部21は、各乗車者の撮影画像及び/又は発話音声に基づいて、各乗車者の感情を検出する(S57)。例えば制御部21は、Microsoft社製のEmotion APIのように撮影画像から被写体の感情を検出するアプリケーションプログラムを用いて、撮影画像中の乗車者の感情を検出する。また制御部21は、乗車者の発話音声(会話音声)から乗車者の声のトーン及び強さ、話すスピード等の情報を抽出し、抽出した情報に基づいて乗車者の感情を検出する。乗車者の感情は例えば喜び、悲しみ、怒り、嫌悪、驚き、リラックス等を含み、各感情について例えば10点満点(10点が最高で0点が最低)の数値で表される。なお、制御部21は、乗車者の撮影画像及び発話音声に加えて、乗車者のバイタルデータを分析することによって乗車者の感情を検出してもよい。例えば制御部21は、乗車者のバイタルデータから心拍数又は呼吸の状態等を抽出し、抽出した情報に基づいて乗車者の感情を検出してもよい。ここでも制御部21は、ニューラルネットワークを用いて乗車者の感情を検出してもよい。例えばCNNモデルで構成され、乗車者の撮影画像及び/又は発話音声が入力された場合に、乗車者の感情に関する情報を出力するように学習された学習モデルを用いてもよい。この場合、制御部21は、ステップS52で取得した撮影画像及び/又はステップS53で取得した発話音声を学習済みの学習モデルに入力し、学習モデルからの出力情報に基づいて、乗車者の感情を推定することができる。また、乗車者の撮影画像及び/又は発話音声に加えてバイタルデータが入力された場合に、乗車者の感情に関する情報を出力するように学習された学習モデルを用いてもよい。乗車者は車両の走行中は着座位置を移動しない可能性が高いので、各乗車者の着座位置、各座席に着座している乗車者の属性は、例えば車両が走行を開始した際に一度取得すればよい。なお、各乗車者の着座位置及び属性も定期的に取得してもよく、この場合、車載装置20が動作中(例えば車両の走行中)に乗車者が着座位置を移動した場合であっても、各座席に着座している乗車者の属性を逐次更新できる。上述した処理により、制御部21は、車内の各座席について、乗車者の着座の有無、着座している乗車者の属性、動作及び感情等を含む車内情報を取得し、上述した車内情報を取得する都度、記憶部22に記憶しておく。なお、車内情報は、上述した情報のほかに、車内の状況に関する情報、車内で取得できる情報等を含んでいてもよい。
制御部21は、図7に示す処理に戻り、ステップS12で取得した車外情報と、ステップS13で取得した車内情報とに基づいて、いずれかのイベントの発生条件を満たすか否かを判断する(S14)。具体的には、制御部21は、イベントDB22aに記憶してある各イベントの発生条件(車外条件又は車内条件)に対して、取得した車外情報及び車内情報が適合するか否かを判断し、いずれかのイベントの発生条件に適合する場合、このイベントの発生条件を満たすと判断する。これにより、例えば車両の現在地(位置情報)、季節、時間帯、天候、走行速度、出発地及び目的地、車両周辺の景色及び音等の車外情報、又は、乗車人数、各乗車者(ユーザ)の着座位置、属性、動作及び感情等の車内情報に基づいて、いずれかのイベントの発生条件を満たすか否かを判断できる。制御部21は、いずれのイベントの発生条件にも適合しない(イベント発生条件を満たさない)と判断した場合(S14:NO)、ステップS11の処理に戻る。制御部21は、取得タイミングが到来する都度、ステップS12~S14の処理を行い、車外情報及び車内情報を取得し、いずれかのイベントの発生条件を満たすか否かを判断する処理を繰り返す。
いずれかのイベントの発生条件を満たすと判断した場合(S14:YES)、制御部21は、イベントの発生をサーバ10に通知する(S15)。例えば制御部21は、この車両に乗車しているユーザのユーザID、車載装置20の宛先情報、発生したイベントのイベントIDを対応付けてサーバ10へ送信する。なお、ユーザID及び車載装置20の宛先情報は予め記憶部22に記憶してあってもよく、入力部24を介して入力されてもよい。サーバ10の制御部11は、車載装置20からイベントの発生を通知された場合、車載装置20から受信したユーザIDに対応付けて、このときの日時及び受信したイベントIDをイベント発生履歴としてユーザDB12aに記憶しておく。
制御部11は、車載装置20から通知されたイベント、即ち、車載装置20が搭載されている車両で発生したイベントに対応するコンテンツをコンテンツDB12bから読み出す(S16)。例えば制御部11は、イベントに対応するコンテンツのうちで、コンテンツIDが最小(最初)のコンテンツを読み出す。そして制御部11(再生処理部)は、読み出したコンテンツを車載装置20へ送信し(S17)、車載装置20に再生させる。制御部11は、車載装置20へ送信したコンテンツのコンテンツIDを、ユーザID及びイベントIDに対応付けてユーザDB12aに記憶しておく。これにより、サーバ10が車載装置20へ送信したコンテンツの送信履歴をユーザDB12aに記憶しておくことができる。なお、制御部11は、コンテンツIDに対応付けてコンテンツの送信日時をユーザDB12aに記憶しておいてもよい。
車載装置20の制御部21は、サーバ10から受信したコンテンツを再生する(S18)。例えば制御部21は、コンテンツに画像コンテンツが含まれる場合、画像コンテンツを表示部25に表示させ、コンテンツに音声コンテンツが含まれる場合、音声コンテンツをスピーカ29から音声出力させる。また制御部21は、コンテンツに光によるコンテンツが含まれる場合、光によるコンテンツに従って照明部30を点灯又は点滅させ、コンテンツに振動によるコンテンツが含まれる場合、振動によるコンテンツに従って振動発生部31にて振動を発生させる。更に制御部21は、コンテンツに芳香によるコンテンツが含まれる場合、芳香によるコンテンツに従って芳香発生部32にて芳香を発生させる。更に制御部21は、コンテンツに空調(空気、風)によるコンテンツが含まれる場合、空調によるコンテンツに従って空調制御部33によって風を発生させる。
車載装置20の制御部21は、サーバ10から受信するコンテンツの再生中においても、ステップS12,S13の処理を定期的に繰り返し、車外情報及び車内情報を収集する。よって、制御部21(検出部)は、再生されたコンテンツを視聴(体感)する乗車者の動作及び感情(反応)を逐次検出できる。そして、制御部21は、コンテンツの再生中に逐次取得する乗車者の反応(動作及び感情)に基づいてユーザの反応に変化が生じたか否かを判断する(S19)。例えば制御部21は、定期的に検出する各乗車者の感情が変化したか否かを判断し、変化した場合、ユーザ(乗車者)の反応に変化が生じたと判断する。また制御部21は、各乗車者の動作が変化したか否かを判断し、変化した場合、乗車者の反応に変化が生じたと判断する。制御部21は、ユーザ(乗車者)の反応に変化が生じたと判断した場合(S19:YES)、ユーザの反応を示す反応情報をサーバ10へ送信する(S20)。例えば制御部21は、ユーザのユーザID、再生中のコンテンツのコンテンツID、ユーザの反応を示す反応情報を対応付けてサーバ10へ送信する。なお、反応情報は、変化後の反応(例えばユーザの感情又は動作)を示す情報であってもよく、変化前後の反応をそれぞれ示す情報であってもよい。ここで、各コンテンツには、反応の変化を検出すべき検出対象のユーザが設定されていてもよく、この場合、制御部21は、車両内の乗車者から、検出対象のユーザを特定し、特定したユーザの反応に変化が生じたか否かを判断してもよい。この場合、コンテンツDB12bに記憶してある各コンテンツの対応反応(配信する際に適したユーザの反応)の情報に、検出対象のユーザの情報及びこのユーザの反応を含める。検出対象のユーザの情報は例えば、年齢又は性別等を含む属性情報、着座位置、目的地(行き先)等を含んでもよい。これにより、コンテンツを視聴する乗車者のうちで、例えば子供(所定年齢以下の乗車者)、又は助手席に着座しているユーザ等、コンテンツに応じたユーザの反応を検出することができる。なお、検出対象のユーザとして複数のユーザが登録され、各ユーザに対して優先順位が設定されていてもよい。例えば、優先順位1番に助手席のユーザが設定され、優先順位2番に運転席のユーザが設定されている場合、助手席に着座するユーザがいる場合には、このユーザの反応を検出し、助手席に着座するユーザがいない場合には、運転席に着座するユーザ(運転手)の反応を検出してもよい。
サーバ10の制御部11は、車載装置20からユーザの反応情報を受信した場合、車載装置20から受信したユーザID及びコンテンツIDに対応付けて、受信した反応情報をイベント発生履歴のユーザ反応としてユーザDB12aに記憶しておく。そして制御部11は、車載装置20から受信したユーザの反応情報に基づいて、現在車載装置20へ送信中のコンテンツの送信を中止すべきか否かを判断する(S21)。例えば制御部11は、車載装置20へ送信中のコンテンツを配信する際に適したユーザの反応(対応反応)をコンテンツDB12bから読み出す。そして制御部11は、車載装置20から受信したユーザの反応が、コンテンツDB12bから読み出した対応反応に一致するか否かを判断し、一致しない場合、コンテンツの送信を中止すべきであると判断する。なお、制御部11は、車載装置20から受信したユーザの反応が、コンテンツDB12bから読み出した対応反応に一致する場合、コンテンツの送信を中止する必要はないと判断してもよい。
コンテンツの送信を中止する必要はないと判断した場合(S21:NO)、制御部11は、ステップS17の処理に戻り、車両で発生しているイベントに対応するコンテンツの車載装置20への送信を継続する。これにより、車載装置20は、サーバ10から提供されるコンテンツの再生を継続する。なお、各イベントに対応付けられている複数のコンテンツにはデフォルトで再生順序(配信順序)が設定されており、制御部11は、1つのコンテンツの送信を完了した場合、次の再生順序のコンテンツをコンテンツDB12bから読み出して車載装置20への送信を開始する。これにより、サーバ10は、ユーザの反応が各コンテンツの対応反応に一致する場合、即ち、ユーザの反応がコンテンツ配信に適した反応である場合、予め設定された再生順序で各コンテンツを車載装置20へ送信する。
コンテンツの送信を中止すべきであると判断した場合(S21:YES)、制御部11は、同じイベントに対応するコンテンツのうちで、現在のユーザの反応に適したコンテンツをコンテンツDB12bから読み出し(S22)、車載装置20へ送信する(S17)。例えば制御部11は、コンテンツDB12bに記憶してある各コンテンツの対応反応から、車載装置20から受信したユーザの反応に一致する対応反応を特定し、特定した対応反応に対応するコンテンツを、このユーザに提供すべきコンテンツとして読み出し、車載装置20へ提供する。また、制御部11は、ユーザDB12aに登録してある各コンテンツに対する過去のユーザの反応を考慮して、現在のユーザの反応に適したコンテンツを特定してもよい。よって、制御部11は、コンテンツを視聴(体験)する乗車者の反応に応じて、再生中のコンテンツの再生継続又は再生終了を制御し、再生終了した場合には次に再生すべきコンテンツを特定する処理(コンテンツ制御)を行うコンテンツ制御部として動作する。これにより、サーバ10は、ユーザの反応に応じたコンテンツを車載装置20経由でユーザに提供できる。なお、車載装置20から受信したユーザの反応に一致する対応反応に対応するコンテンツが複数ある場合、例えばコンテンツIDの順に読み出してもよい。なお、制御部11は、車載装置20に対するコンテンツの送信を開始した後、送信を開始したコンテンツのコンテンツIDを、ユーザID及びイベントIDに対応付けてユーザDB12aに記憶しておく。また制御部11は、コンテンツIDに対応付けてコンテンツの送信日時をユーザDB12aに記憶しておいてもよい。
なお、ステップS22において、制御部11は、ニューラルネットワークを用いて、ユーザの反応に適したコンテンツを特定してもよい。例えばCNNモデルで構成され、乗車者の感情、現在日時、現在地等の情報が入力された場合に、乗車者に提供すべきコンテンツに関する情報(例えばコンテンツID、コンテンツのタイプ、コンテンツの提供に適したユーザの反応)を出力するように学習された学習モデルを用いてもよい。この場合、制御部11は、車載装置20がステップS57で取得した乗車者の感情、ステップS31で取得した日時情報、ステップS32で取得した現在地情報等を取得し、これらの情報を学習済みの学習モデルに入力し、学習モデルからの出力情報に基づいて、乗車者に提供すべきコンテンツを特定することができる。なお、各乗車者の着座位置、属性、感情、動作等を含む車内情報と、現在日時、現在地、天気、走行速度、走行方角、目的地、車両周辺の環境等を含む車外情報とが入力された場合に、乗車者に提供すべきコンテンツに関する情報を出力するように学習された学習モデルを用いてもよい。この場合、制御部11は、車載装置20がステップS12で取得した車外情報、及びステップS13で取得した車内情報を取得し、車外情報及び車内情報を学習済みの学習モデルに入力し、学習モデルからの出力情報に基づいて、乗車者に提供すべきコンテンツを特定することができる。
車載装置20の制御部21は、サーバ10から送信されるコンテンツに対して、ステップS18~S20の処理を行う。即ち、制御部21は、サーバ10から受信したコンテンツを再生し(S18)、このときのユーザの反応に変化が生じたか否かを判断し(S19)、変化が生じた場合に(S19:YES)、ユーザの反応をサーバ10へ送信する(S20)。これにより、サーバ10は、1つのイベントに対応付けられている複数のコンテンツを、ユーザの反応に応じた順序で車載装置20へ提供でき、車載装置20で再生させることができる。
車載装置20の制御部21は、コンテンツの再生中にユーザの反応に変化が生じていないと判断した場合(S19:NO)、ステップS20の処理をスキップし、サーバ10から送信されてくる1つのコンテンツが終了したか否かを判断する(S23)。例えば各コンテンツは最初及び最後にそれぞれ最初又は最後を示す情報が付与されており、制御部21は、コンテンツの最後を示す情報をサーバ10から受信した場合、再生中のコンテンツが終了したと判断する。再生中のコンテンツが終了していないと判断した場合(S23:NO)、制御部21は、ステップS18の処理に戻り、サーバ10から送信されてくるコンテンツの再生を継続する。
制御部21は、再生中のコンテンツが終了したと判断した場合(S23:YES)、この時点のユーザの反応を検出し(S24)、検出した反応を示す反応情報をサーバ10へ送信する(S25)。ここでは、制御部21は、定期的に収集する車内情報に基づいて、この時点のユーザの反応(動作及び感情)を検出し、ユーザのユーザID、再生が終了したコンテンツのコンテンツID、ユーザの反応情報を対応付けてサーバ10へ送信する。サーバ10の制御部11は、車載装置20からユーザの反応情報を受信した場合、受信したユーザID及びコンテンツIDに対応付けて、受信した反応情報をイベント発生履歴のユーザ反応としてユーザDB12aに記憶しておく(S26)。
車載装置20の制御部21は、上述した一連の処理を終了すべきか否かを判断しており(S27)、終了すべきでないと判断した場合(S27:NO)、ステップS18の処理に戻る。そして、制御部21は、サーバ10から逐次送信されてくるコンテンツを受信して再生し(S18)、上述した処理を繰り返す。これにより、サーバ10は、車両で発生したイベントに対応するコンテンツであり、ユーザの反応に応じたコンテンツを車載装置20に提供することができ、車載装置20を介してユーザに提供できる。制御部21は、上述した一連の処理を終了すべきであると判断した場合(S27:YES)、処理を終了する。
上述した処理により、車載装置20が定期的に取得する車外情報及び車内情報に基づいていずれかのイベントが車両に発生したと判断された場合に、車両に発生したイベントに対応するコンテンツが車載装置20で再生される。よって、車両内のユーザ(乗車者)は車両に発生したイベントに応じたコンテンツを車載装置20で視聴(体験)することができる。例えば所定の住所に車両が進入したというイベント発生条件に対応付けて、所定の住所に関するコンテンツを登録しておくことにより、車両が所定の住所に進入した場合に、所定の住所に対応付けられているコンテンツを車載装置20に再生させることができる。具体的には、所定の場所に対応付けて、所定場所に関する画像及び音声(音楽)を含む動画コンテンツを登録しておくことにより、車両が所定の場所を走行した場合に、その場所の画像及び音楽が再生される。なお、コンテンツは、画像及び音声だけでなく、画像又は音声に応じた光(照明光)、振動、芳香又は空調によるコンテンツを含んでもよい。これにより、車両の走行場所(現在地)に応じた画像を表示することができ、音声を出力することができ、光、振動、芳香及び風を発生させることができる。なお、例えば乗車者に怒りの感情が生じたというイベント発生条件に対応付けて、空調機器から吹き出される空気(風)の温度を所定温度下げるというコンテンツを登録しておくことにより、乗車者に怒りの感情が生じた場合に、空調機器から吹き出される空気の温度を所定温度下げることができ、その結果、乗車者の怒りが鎮まる可能性が期待できる。また、車両の走行速度(イベント発生条件)に応じて空調機器から吹き出される風量を登録しておくことにより、車両の走行速度に応じた風量に制御することができ、車両の外面が受ける空気抵抗を車内で感じる(体験する)ことが可能となる。
また、交差点、橋、トンネル、高速道路等の所定場所に車両が進入したというイベント発生条件に対応付けて、所定場所に対応するコンテンツを登録しておいてもよい。この場合、車両が所定場所を走行中に、所定場所に対応付けられているコンテンツを車載装置20に再生させることができる。また、所定の店舗までの距離が所定距離以下となったというイベント発生条件に対応付けて、この店舗の広告に関するコンテンツを登録しておいてもよい。この場合、所定の店舗までの距離が所定距離以下となったときに、この店舗の広告に関するコンテンツを車載装置20に再生させることができる。また、目的地が海水浴場で目的地までの距離が所定距離以下となったというイベント発生条件に対応付けて、海水浴で使用する浮輪又はパラソル等を販売する店舗の広告、又は、浮輪やパラソル等の購入を促す広告に関するコンテンツを登録しておいてもよい。この場合、目的地の海水浴場までの距離が所定距離以下となったときに、近隣の店舗の広告、又は、浮輪やパラソル等の購入を促す広告に関するコンテンツを車載装置20に再生させることができる。また、目的地に所定場所が設定されたというイベント発生条件に対応付けて、所定場所に関するコンテンツを登録しておいてもよい。この場合、目的地に所定場所が設定されたときに、目的地に到着するまでの間、所定場所に関するコンテンツを車載装置20に再生させることができる。また、乗車者にネガティブな感情(例えば悲しみ、怒り、嫌悪等)が生じたというイベント発生条件に対応付けて、乗車者の気持ちを明るくするためのコンテンツを登録しておいてもよい。この場合、乗車者にネガティブな感情が発生したときに、乗車者の気持ちを明るくするためのコンテンツを車載装置20に再生させることができる。また、車両が走行中又は停車中であるというイベント発生条件に対応付けてそれぞれ異なるコンテンツを登録しておいてもよく、この場合、車両の状態(走行中又は停車中)に応じたコンテンツを車載装置20に再生させることができる。
また、所定の店舗までの距離が所定距離以下となったときに乗車者に喜びの感情が生じたというイベント発生条件に対応付けて、この店舗で使用できるクーポンに関するコンテンツを登録しておいてもよい。この場合、所定の店舗までの距離が所定距離以下となったときに乗車者に喜びの感情が生じていれば、この店舗のクーポンに関するコンテンツを車載装置20に再生でき、クーポンを提供することができる。このように、車両の位置情報と乗車者の感情とを組み合わせた条件をイベント発生条件に設定しておいてもよい。更に、車両周囲にコスモス畑があるというイベント発生条件、又は車両周囲でコスモスの香りがするというイベント発生条件に対応付けて、コスモスの香り(芳香)を発生させるというコンテンツを登録しておいてもよい。この場合、車両がコスモス畑の近くを走行したときに、コスモスの香り(芳香)を車載装置20の芳香発生部32にて発生させることができる。この場合、車両の窓及びドアを閉めている場合であっても、車両内のユーザが、車両外と同様の芳香を体験することが可能となる。
更に、20代の男女が前部座席に着座しており、2人に喜びの感情が生じているというイベント発生条件に対応付けて、ロマンチックなコンテンツを登録しておいてもよい。この場合、前部座席に着座している20代の男女に喜びの感情が生じたときに、ロマンチックなコンテンツを車載装置20に再生させることができる。なお、20代の男女が前部座席に着座しているというイベント発生条件と、60代の男女が前部座席に着座しているというイベント発生条件とにおいて異なるコンテンツを登録しておくことにより、年齢層に応じたコンテンツの提供が可能となる。例えば、60代の男女が前部座席に着座しているというイベント発生条件に対応付けて、60代の男女が20代の頃に流行った音楽を登録しておいてもよい。また、車両周辺で緊急車両のサイレン音が発生しているというイベント発生条件に対応付けて、緊急車両が接近していることを通知するためのコンテンツ、又は緊急車両に道路を譲ることを通知するためのコンテンツを登録しておいてもよい。この場合、緊急車両が接近してきたときに、対応するコンテンツを車載装置20に再生させることにより、緊急車両の接近を乗車者に通知できる。
また、各座席に着座する乗車者の属性に応じたコンテンツを登録しておいてもよく、この場合、各乗車者が着座する位置に応じて異なるコンテンツを再生させることが可能となる。例えば、前部座席(助手席)に大人が着座している場合と、子供が着座している場合とにおいて、前部座席から視認可能な表示部25に表示される画像コンテンツを異ならせることが可能である。また、表示部25が複数設けられている場合、1人の乗車者が前部座席に着座している場合と、後部座席に着座している場合とにおいて、この乗車者に提供する画像コンテンツをこの乗車者が視認可能な表示部25に表示させることが可能である。
上述したように、本実施形態では、車内情報及び車外情報を組み合わせて設定された発生条件に基づいて、車両にいずれのイベントが発生しているかが判断され、車両に発生したイベントに応じたコンテンツを車載装置20にて再生することができる。よって、車両の走行場所(現在地)、季節、時間帯、天候、乗車人数、各乗車者の属性、着座位置及び感情等に基づくイベント発生条件を設定しておくことにより、車両に発生したイベントに応じて異なるコンテンツを再生させることができる。なお、各イベントに対応するコンテンツは、ユーザ毎に登録しておいてもよく、この場合、同様のイベントが発生した場合であっても、ユーザ毎に異なるコンテンツを再生させることが可能となる。また、各イベントの発生条件はユーザ毎に登録しておいてもよく、この場合、ユーザ毎に異なる条件でイベント発生の有無を判断できる。
本実施形態では、車載装置20は、サーバ10から提供されるコンテンツの再生中にユーザの反応を検出しており、ユーザの反応に応じて再生対象のコンテンツを適宜切り替えることができる。例えば、コンテンツを視聴するユーザの感情がリラックスから嫌悪に変化した場合、サーバ10は、車載装置20に提供中のコンテンツの送信を停止し、異なるコンテンツの送信を開始する。また、コンテンツを視聴するユーザに恐怖の感情が生じた場合に、サーバ10は、異なるコンテンツの送信を開始することにより、乗車者に恐怖を感じさせないコンテンツに切り替えることが可能となる。なお、各コンテンツを送信する際に適したユーザの反応がサーバ10(コンテンツDB12b)に登録してあり、サーバ10は、コンテンツDB12bの登録内容と、ユーザの現時点での反応とに基づいて、ユーザに提供すべきコンテンツを適切に選択できる。これにより、コンテンツを視聴するユーザ(車両の乗車者)の反応(感情及び行動)に応じたコンテンツを提供することができる。なお、ユーザの反応は、身体的な反応(ジェスチャー又は行動)であってもよく、精神的な反応(感情)であってもよい。
本実施形態では、画像、音声、光(照明光)、振動、芳香又は空調等によるコンテンツを車載装置20にて出力(再生)することにより、車両内の乗車者を楽しませ、また、怒りや興奮等のネガティブな感情の平常化を促すことが期待できる。即ち、コンテンツによって、車両内の乗車者の感情に変化を起こさせることが可能となる。本実施形態では、各コンテンツの再生中又は再生終了時に、ユーザの反応(感情及び行動等)をユーザ毎にサーバ10(ユーザDB12a)に登録しておく。これにより、次回以降にユーザが車両を利用する際に、ユーザの過去の反応を考慮したコンテンツの提供が可能となる。
本実施形態において、車両で発生したイベントに応じたコンテンツの提供処理は、図7及び図8に示す処理に限定されない。例えば、車載装置20が搭載された車両の車種に応じたコンテンツが提供される構成とすることもできる。この場合、サーバ10の記憶部12は、車種毎のコンテンツDB12を記憶している。なお、図3Bに示すコンテンツDB12bに車種情報(車種ID)列を設け、車種情報(車種ID)に対応付けて、各イベントのコンテンツデータが記憶される構成でもよい。また車載装置20の記憶部22には、車載装置20が搭載されている車両の車種情報(車種ID)が登録(記憶)されている。図11は、コンテンツの提供処理手順の他の例を示すフローチャートである。図11に示す処理は、図7及び図8に示す処理において、ステップS14のYESとステップS15との間にステップS161を追加したものである。なお、図11では、図8中の各ステップの図示を省略する。図11に示す処理では、車載装置20の制御部21は、いずれかのイベントの発生条件を満たすと判断した場合(S14:YES)、記憶部22に記憶してある車種情報を読み出す(S161)。そして、制御部21は、乗車者(ユーザ)のユーザID、車載装置20の宛先情報、及び発生したイベントのイベントIDと、車種情報とを対応付けてサーバ10へ送信することにより、イベントの発生をサーバ10に通知する(S15)。サーバ10の制御部11は、車載装置20から受信した車種情報に対応するコンテンツDB12bから、車載装置20から通知されたイベントに対応するコンテンツを読み出し(S16)、車載装置20へ送信する(S17)。図11に示す処理によれば、サーバ10は、車両の車種に応じたコンテンツの提供が可能となる。よって、同じイベントが発生した場合であっても、車種に応じて異なるコンテンツの提供が可能となる。なお、車種情報は、予め記憶部22に記憶されている構成に限定されず、例えば入力部24を介したユーザ操作によって取得されてもよく、車両に搭載された他の車載機器から取得されてもよい。
本実施形態の車載装置20による車内情報の取得処理において、乗車者の撮影画像、発話音声又はバイタルデータに基づいて乗車者の属性、動作及び感情を検出する処理を、例えば他のサーバで行う構成としてもよい。この場合、車載装置20は、乗車者の撮影画像、発話音声又はバイタルデータを取得する都度、他のサーバへ送信し、他のサーバが乗車者の撮影画像、発話音声又はバイタルデータに基づいて乗車者の属性、動作及び感情を検出する。そして、車載装置20は、他のサーバで検出された乗車者の属性、動作及び感情を取得する。このような構成の場合、車載装置20における処理負担を軽減することができる。
本実施形態では、車両に発生したイベントに対応するコンテンツをサーバ10から車載装置20へ提供する構成であるが、この構成に限定されない。例えばイベント毎にコンテンツを分類せずに、複数のコンテンツの中から、車両の乗車者の反応に応じたコンテンツをサーバ10から車載装置20へ提供する構成としてもよい。例えば各コンテンツを提供する際に最適な乗車者の感情毎にコンテンツを用意しておき、車両にいずれのイベントが発生したか否かの判断は行わずに、サーバ10は、車載装置20から通知される乗車者の反応に応じたコンテンツを車載装置20へ提供する。この場合でも、乗車者の反応に応じたコンテンツを適宜切り替えて乗車者に提供できる。
(実施形態2)
車両のウィンドウに設けられた表示部25(ディスプレイ)で画像コンテンツを再生する情報処理システムについて説明する。本実施形態の情報処理システムでは、車載装置20の表示部25は、透明なウィンドウにコンテンツを投影するヘッドアップディスプレイ、又は、ウィンドウのガラスと一体に構成されたディスプレイである。よって、本実施形態の車載装置20では、車内の乗車者は、ウィンドウを通して視認できる車外の風景の上に、表示部25に表示される画像コンテンツが重ねて表示された状態を見ることができる。なお、表示部25が設けられるウィンドウは、フロントウィンドウ、リアウィンドウ及びサイドウィンドウのいずれであってもよく、ルーフがガラス又は透明な合成樹脂製の板で構成されている場合、ルーフにも表示部25が設けられていてもよい。
本実施形態の情報処理システムは、実施形態1の情報処理システムと同様の装置にて実現可能であるので、構成についての説明は省略する。なお、本実施形態のサーバ10の記憶部12に記憶してあるコンテンツDB12bは、実施形態1のコンテンツDB12bの構成と若干異なる。図12は実施形態2のコンテンツDB12bの構成例を示す模式図である。図12に示すコンテンツDB12bは、図3Bに示す実施形態1のコンテンツDB12bの構成に加えて、重ね合わせ条件列を含む。重ね合わせ条件列は、コンテンツIDに対応付けて、各コンテンツを表示部25に表示させて車外の景色に重ね合わせる際の条件に関する情報を記憶し、例えば、コンテンツを重ねて表示させるべき店舗又は建物の情報、景色の情報(山道、海辺、ビル等の街並みの情報)、住所等を記憶する。なお、車外の景色に重ねて表示する必要がないコンテンツについては、重ね合わせ条件は登録されていなくてもよい。重ね合わせ条件は、制御部11が通信部13又は入力部14を介して追加又は変更の指示を取得した場合に、制御部11によって追加又は変更される。本実施形態のコンテンツDB12bの記憶内容は図12に示す例に限定されない。
本実施形態の情報処理システムにおいて、サーバ10及び車載装置20は、図7~10に示す処理と同様の処理を実行する。これにより、車載装置20は、車外情報及び車内情報に基づいてイベント発生の有無を検出し、いずれかのイベントが発生した場合、発生したイベントに応じたコンテンツがサーバ10から車載装置20へ提供され、車載装置20で再生される。本実施形態の情報処理システムでは、画像コンテンツが、ウィンドウから車外を見た景色に重ね合わせて表示されるので、車載装置20は、画像コンテンツを表示部25に表示する際に、画像コンテンツの表示位置を特定する必要がある。
図13は、画像コンテンツの表示処理手順の一例を示すフローチャート、図14は画像コンテンツの表示例を示す模式図である。図13に示す処理は、車載装置20の制御部21が、例えば図8中のステップS18でサーバ10から受信した画像コンテンツを表示部25に表示させる際に実行するものである。本実施形態の情報処理システムにおいて、車載装置20の制御部21は、サーバ10から画像コンテンツを受信したか否かを判断しており(S61)、受信していないと判断した場合(S61:NO)、受信するまで待機する。なお、制御部21は、画像コンテンツ以外のコンテンツ、例えば音声コンテンツ、光、振動、芳香又は空調によるコンテンツをサーバ10から受信した場合、スピーカ29、照明部30、振動発生部31、芳香発生部32、空調制御部33にてそれぞれコンテンツの再生を行う。
制御部21は、画像コンテンツを受信したと判断した場合(S61:YES)、受信した画像コンテンツに重ね合わせ条件が設定されているか否かを判断する(S62)。なお、本実施形態では、サーバ10の制御部11は、イベントに対応するコンテンツ又はユーザの反応に応じたコンテンツを車載装置20へ送信する際に、コンテンツに設定されている重ね合わせ条件をコンテンツと共に送信する。よって、制御部21は、画像コンテンツと共に重ね合わせ条件を受信したか否かに応じて、受信した画像コンテンツに重ね合わせ条件が設定されているか否かを判断できる。重ね合わせ条件が設定されていないと判断した場合(S62:NO)、制御部21は、ステップS68に処理を移行し、受信した画像コンテンツを表示部25に表示する(S68)。このとき制御部21は、表示部25に対してデフォルトで設定されている表示領域に画像コンテンツを表示してもよい。
重ね合わせ条件が設定されていると判断した場合(S62:YES)、制御部21は、車両の現在地の周辺の地図データを地図データ22Dから読み出す(S63)。例えば制御部21は、車両の前方の数10kmの範囲内の地図データを読み出す。そして制御部21は、地図データに含まれる建物、店舗等のオブジェクトに、重ね合わせ条件に合致するオブジェクトが存在するか否かを判断する(S64)。例えば重ね合わせ条件として所定の店舗(例えば所定のコンビニエンスストア)が設定されている場合、制御部21は、地図データに所定の店舗(所定のコンビニエンスストア)が含まれるか否かを判断する。また、重ね合わせ条件として山道、海辺等の所定の景色(風景)が設定されている場合、制御部21は、地図データに所定の景色が含まれるか否かを判断する。重ね合わせ条件に合致するオブジェクトが存在しないと判断した場合(S64:NO)、制御部21は、ステップS61の処理に戻り、サーバ10から順次受信する画像コンテンツに対して、ステップS62~S64の処理を行う。なお、本実施形態では、地図データ中のオブジェクトに重ね合わせ条件に合致するオブジェクトが存在するか否かを判断するが、この構成に限定されない。例えば車載装置20は、カメラ27で車外の景色を撮影した景色画像に基づいて、景色画像中に重ね合わせ条件に合致するオブジェクトが存在するか否かを判断してもよい。具体的には、重ね合わせ条件に合致するオブジェクトが所定のコンビニエンスストアである場合、車載装置20は、カメラ27で撮影した景色画像中に所定のコンビニエンスストアの看板が含まれるか否かを検出し、検出できた場合、景色画像中に重ね合わせ条件に合致するオブジェクトが存在すると判断してもよい。この場合、地図データ中に載っていないオブジェクトについても、重ね合わせ条件に合致するオブジェクトの特定が可能となる。
重ね合わせ条件に合致するオブジェクトが存在すると判断した場合(S64:YES)、制御部21は、カメラ27にて車外の景色を撮影する(S65)。ここでは、画像コンテンツを表示させる表示部25が設けられたウィンドウを介して車内の乗車者が車外を見た場合の景色と同等の景色を撮影する。具体的には、前部座席(運転席又は助手席)に着座している乗車者がフロントウィンドウを介して車外を見た場合と同等の景色、後部座席に着座している乗車者がサイドウィンドウを介して車外を見た場合と同等の景色等を撮影する。なお、カメラ27は、車内の各座席の乗車者が各ウィンドウを介して車外を見た場合と同等の景色を撮影できる位置にそれぞれ設けられている。
制御部21は、撮影した車両周辺の景色画像中に含まれるオブジェクトから、重ね合わせ条件に合致するオブジェクトを特定する(S66)。このとき制御部21は、景色画像中の各オブジェクトに対して、地図データ中の各オブジェクトを対応付けることにより、景色画像中の重ね合わせ条件に合致するオブジェクトを特定する。なお、景色画像中の各オブジェクトに対して、地図データ中の各オブジェクトを対応付ける場合、制御部21は、例えば景色画像中に、地図データ中の各オブジェクトを示す情報(例えば所定の店舗の看板)を検出し、検出した情報に対して地図データ中の各オブジェクトを対応付ける。制御部21は、特定した重ね合わせ条件に合致するオブジェクトの景色画像中の位置に基づいて、表示部25の表示領域に対して画像コンテンツを表示すべき位置を特定する(S67)。ここでは制御部21は、それぞれのウィンドウを介して車外を見た場合と同等の景色画像に対して画像コンテンツを重ねて表示すべき位置を特定する。そして制御部21は、重ね合わせ条件に合致するオブジェクトが景色画像に含まれるウィンドウに設けられた表示部25に対して、特定した表示位置に画像コンテンツを表示する(S68)。
図14Aは前部座席からフロントウィンドウ越しに車外を見た場合の景色を示し、図14Bは図14Aの景色に3つの画像コンテンツCが重ねて表示された状態を示す。図14Bに示す例は、所定の店舗で販売されている商品(浮輪又はビーチサンダル)を示す画像コンテンツCに対して、重ね合わせ条件として所定の店舗が設定されている場合の表示例である。この場合、前部座席からフロントウィンドウ越しに車外を見た場合の景色に対して、景色中の所定の店舗に重なる位置に、商品(浮輪又はビーチサンダル)を示す画像コンテンツCが表示されている。また、図14Bに示す例では、「海水浴グッズを買って行きませんか?」のメッセージを表示するための画像コンテンツCに対して重ね合わせ条件が設定されていない場合の表示例であり、このメッセージの画像コンテンツは適宜位置に表示される。図14Bでは表示領域の左上の位置に表示されているが、表示位置はこれに限定されない。このようにウィンドウ越しに視認できる景色に対して画像コンテンツCを重ねて表示させることにより、景色中の各オブジェクトに関する情報を画像コンテンツCによって乗車者に提供することが可能となる。
制御部21は、サーバ10から画像コンテンツを受信する都度、上述した処理を行い、表示部25の適宜位置に画像コンテンツを表示させる。上述した処理により、車載装置20は、車両のウィンドウに設けられた表示部25に画像コンテンツを表示させることができ、その際に、ウィンドウ越しに見える景色に重ねて適切な位置に画像コンテンツを表示させることができる。よって、乗車者は、ウィンドウ越しに景色を確認すると共に、景色中の各オブジェクトに関する情報を画像コンテンツにて提供を受けることができる。また、本実施形態では、目的地に所定場所が設定されたというイベント発生条件に対応付けて、所定場所に関するコンテンツを登録しておいた場合、目的地に所定場所が設定されたときに、目的地に到着するまでの間、所定場所に関するコンテンツを車載装置20に再生させることができる。このとき、車載装置20は、ウィンドウ越しに見える景色において、車両から所定場所を結ぶ方向に対応する位置に画像コンテンツを表示させてもよい。この場合、乗車者は目的地の方向を認識しつつ車両での移動を楽しむことが可能となる。なお、本実施形態においても、車両に発生したイベントに応じたコンテンツがサーバ10から車載装置20へ提供され、車載装置20で再生される。また、車内で再生されるコンテンツに対する乗車者の反応に応じて、サーバ10から提供されるコンテンツが適宜変更されるので、乗車者の反応に適したコンテンツの提供が可能となる。なお、車両のウィンドウに設けられた表示部25に画像コンテンツを表示させる場合、ウィンドウ越しに視認できる景色に重ねて表示する必要はない。例えば車両の運転の邪魔にならない領域に画像コンテンツを表示させればよく、画像コンテンツを表示させる領域が予め設定されていてもよい。
本実施形態においても実施形態1と同様の効果が得られる。また本実施形態では、車両のウィンドウに設けられた表示部25に画像コンテンツを表示する際に、ウィンドウ越しに視認される景色中の各オブジェクトに対応付けて表示することが可能である。よって、乗車者はウィンドウ越しに景色を視認すると共に、景色中の各オブジェクトに関する情報を画像コンテンツにて得ることが可能となる。また、本実施形態の情報処理システムにおいても、実施形態1で適宜説明した変形例の適用が可能である。なお、本実施形態において、車載装置20は、車両のウィンドウに設けられた表示部25に画像コンテンツを表示する際に、画像コンテンツの透過性(透過率)を上昇させて表示するように構成されていてもよく、画像コンテンツを間欠的に表示するように構成されていてもよい。このような構成とした場合、特にフロントウィンドウに設けられた表示部25に画像コンテンツを表示する場合であっても、画像コンテンツが車両の運転の妨げとならないように表示することが可能となる。例えば、車載装置20は、画像コンテンツの透過率を所定値(例えば50%)以上に設定して表示する構成であってもよく、数十秒毎に数秒間だけ画像コンテンツを表示する構成であってもよい。また、車両のそれぞれのウィンドウに設けられた表示部25に対して、画像コンテンツが表示される表示領域が固定されていてもよく、ウィンドウに対する画像コンテンツの表示領域の割合が所定値以下に制限されていてもよい。
(実施形態3)
車両のフロントウィンドウ、リアウィンドウ、左右のサイドウィンドウ、及びルーフに表示部25(ディスプレイ)が設けられている情報処理システムについて説明する。本実施形態においても、車内の乗車者は、ウィンドウを通して視認できる車外の風景の上に、表示部25に表示される画像コンテンツが重ねて表示された状態を見る。本実施形態の情報処理システムは、実施形態2の情報処理システムと同様の装置にて実現可能であるので、構成についての詳細な説明は省略する。
図15は実施形態3の車載装置20の構成例を示すブロック図である。本実施形態の車載装置20は、図4に示す実施形態1の車載装置20と同様の構成を有している。本実施形態の車載装置20において、表示部25は、フロントウィンドウに設けられたフロントディスプレイ25a、リアウィンドウに設けられたリアディスプレイ25b、左サイドウィンドウに設けられた左サイドディスプレイ25c、右サイドウィンドウに設けられた右サイドディスプレイ25d、及びルーフに設けられたルーフディスプレイ25eを含む。
また、本実施形態の車載装置20において、カメラ27は、車内の乗車者を撮影するための車内用カメラ27aと、車両の周囲(車外)の景色を撮影するための車外用カメラ27bとを含む。車内用カメラ27aは、それぞれの座席に着座している乗車者を撮影できる位置にそれぞれ設けられていてもよく、複数の座席に着座している複数の乗車者を1つのカメラで撮影するように構成されていてもよい。車外用カメラ27bは、車両の前後、左右及び上方の全方向を撮影できるカメラであり、例えば車両の前方を撮影するための前方カメラ、車両の後方を撮影するための後方カメラ、車両の左側を撮影するための左側カメラ、車両の右側を撮影するための右側カメラ、車両の上方を撮影するための上方カメラを有していてもよい。また、車外用カメラ27bは、全方位カメラ(360度カメラ)で構成されていてもよく、全方位カメラは例えば車両の屋根の上に設けられていてもよい。
本実施形態の情報処理システムにおいて、サーバ10及び車載装置20は、図7~10に示す処理と同様の処理を実行する。これにより、車載装置20は、車外情報及び車内情報に基づいてイベント発生の有無を検出し、いずれかのイベントが発生した場合、発生したイベントに応じたコンテンツがサーバ10から車載装置20へ提供され、車載装置20で再生される。なお、本実施形態の情報処理システムでは、画像コンテンツは、フロントディスプレイ25a、リアディスプレイ25b、サイドディスプレイ25c,25d又はルーフディスプレイ25eのいずれか又は複数に表示され、それぞれのウィンドウから車外を見た景色に重ね合わせて画像コンテンツが表示される。本実施形態において、画像コンテンツの表示処理は、図13で示す実施形態2とは異なるので、異なる箇所のみ説明する。
図16は実施形態3の画像コンテンツの表示処理手順の一例を示すフローチャート、図17は画像コンテンツの表示例を示す模式図である。図16に示す処理は、図13に示す処理において、ステップS65~S67の代わりにステップS71~S75を追加したものである。また、図16に示す処理も、車載装置20の制御部21が、例えば図8中のステップS18でサーバ10から受信した画像コンテンツを表示部25で再生する際に実行するものである。
本実施形態の情報処理システムにおいて、車載装置20の制御部21は、図13に示したステップS61~S64の処理を行う。これにより、制御部21は、サーバ10から画像コンテンツを受信した場合に、画像コンテンツに重ね合わせ条件が設定されていなければ、画像コンテンツを所定の表示領域に表示する(S68)。なお、所定の表示領域は、例えばフロントディスプレイ25aの助手席側の領域であってもよく、その他のディスプレイ25b~25eの適宜の領域であってもよい。一方、画像コンテンツに重ね合わせ条件が設定されていれば、制御部21は、車両周辺の地図データ中に、重ね合わせ条件に合致するオブジェクトが存在するか否かを判断する。
地図データ中に重ね合わせ条件に合致するオブジェクトが存在すると判断した場合(S64:YES)、制御部21は、カメラ27にて車両周囲の景色を撮影する(S71)。ここでは、制御部21は、車両の前後及び左右の全方位の景色を撮影する。そして制御部21は、撮影した車両周囲の全方位の景色画像中に含まれるオブジェクトから、重ね合わせ条件に合致するオブジェクト(合致オブジェクト)を特定する(S72)。このとき制御部21は、景色画像中の各オブジェクトに対して、地図データ中の各オブジェクトを対応付けることにより、景色画像中の合致オブジェクトを特定する。なお、景色画像中の各オブジェクトに対して、地図データ中の各オブジェクトを対応付ける場合、制御部21は、例えば景色画像中に、地図データ中の各オブジェクトを示す情報(例えば所定の店舗の看板)を検出し、検出した情報に対して地図データ中の各オブジェクトを対応付ける。次に制御部21は、特定した合致オブジェクトの景色画像中の位置に基づいて、画像コンテンツを表示すべきディスプレイ25a~25eを特定する(S73)。例えば制御部21は、特定した合致オブジェクトが車両の前方を撮影した前方画像に含まれる場合、画像コンテンツを表示すべきディスプレイとしてフロントディスプレイ25aを特定する。なお、カメラ27が車両の全方位を撮影する全方位カメラである場合、制御部21は、例えば車両内の所定位置(例えば運転席)と景色画像中の合致オブジェクトとを結んだ場合に介在するウィンドウを特定し、特定したウィンドウに設けられているディスプレイを、表示対象のディスプレイに特定する。
制御部21は、特定したディスプレイの表示領域に対して画像コンテンツを表示すべき位置を特定する(S74)。ここでは制御部21は、特定したディスプレイの表示領域において、合致オブジェクトを視認できるウィンドウを介して車外を見た場合と同等の景色画像に対して画像コンテンツを重ねて表示すべき位置を特定する。そして制御部21は、特定したディスプレイ(表示部25)に対して、特定した表示位置に画像コンテンツを表示する(S75)。図17Aの上側は車内からフロントディスプレイ25a越しに車外を見た状態を示しており、下側は車内から左サイドディスプレイ25c越しに車外を見た状態を示している。図17Aに示す例では、車両の前方に画像コンテンツを重ねて表示すべきオブジェクトが存在しており、2つのオブジェクト(建物、店舗)に画像コンテンツCが重なるように表示されている。一方、車両の左側には画像コンテンツを重ねて表示すべきオブジェクトは存在しないので、左サイドディスプレイ25cには画像コンテンツは表示されていない。
ステップS75の処理後、制御部21は、ステップS71の処理に戻り、ステップS71~S75の処理を繰り返す。具体的には、制御部21は、車両周囲の景色を撮影し、景色画像中に、重ね合わせ条件に合致するオブジェクトを特定し、特定したオブジェクトに画像コンテンツを重ねて表示できるディスプレイ(ウィンドウ)及び表示位置を特定し、特定したディスプレイ及び表示位置に画像コンテンツを表示する。図17Bの上側は車内からフロントディスプレイ25a越しに車外を見た状態を示しており、下側は車内から左サイドディスプレイ25c越しに車外を見た状態を示している。図17Bに示す例は、図17Aの状態から車両が前進することにより周囲の景色が変わった状態を示している。図17Bに示す例では、車両の前方には画像コンテンツを重ねて表示すべきオブジェクトは存在しないので、フロントディスプレイ25aには画像コンテンツは表示されていない。一方、車両の左側には画像コンテンツを重ねて表示すべきオブジェクトが存在しており、2つのオブジェクト(建物、店舗)に画像コンテンツCが重なるように表示されている。
制御部21は、ステップS72で、景色画像中に、重ね合わせ条件に合致するオブジェクトを特定できなくなるまで、上述した処理を繰り返す。これにより、サーバ10から受信した画像コンテンツを、ディスプレイ(ウィンドウ)越しに視認できる景色に重ねて表示させることができ、景色中の各オブジェクトに関する情報を画像コンテンツCによって乗車者に提供することができる。制御部21は、サーバ10から画像コンテンツを受信する都度、上述した処理を行い、いずれかのディスプレイ25a~25eの適宜位置に画像コンテンツを表示させる。
本実施形態においても上述した各実施形態と同様の効果が得られる。また本実施形態では、サーバ10から受信した画像コンテンツが、この画像コンテンツを重ねて表示すべきオブジェクト(建物、店舗等)に対応するディスプレイ(ウィンドウ)及び位置に表示される。よって、乗車者は、ディスプレイ(ウィンドウ)越しに視認できる景色中のオブジェクトに関する情報を画像コンテンツにて提供を受けることができる。本実施形態においても、車両に発生したイベントに応じたコンテンツがサーバ10から車載装置20へ提供され、車載装置20で再生される。また、車内で再生されるコンテンツに対する乗車者の反応に応じて、サーバ10から提供されるコンテンツが適宜変更されるので、乗車者の反応に適したコンテンツの提供が可能となる。また、本実施形態の情報処理システムにおいても、上述した各実施形態で適宜説明した変形例の適用が可能である。
上述した実施形態2,3のように車両の複数ウィンドウに表示部25(ディスプレイ)が設けられている構成において、走行中、停車中又は駐車中等の車両の走行状態、車両の走行速度、自動走行が可能な車両の場合には自動運転機能による自動走行中(自動運転中)であるか否かに応じて、画像コンテンツを表示するディスプレイを切り替えるように構成されていてもよい。例えば車両が走行中である場合にはサイドウィンドウに設けられたディスプレイのみを画像コンテンツの表示対象とし、車両が駐車中である場合には全てのウィンドウに設けられたディスプレイを表示対象とするように、表示対象のディスプレイを切り替えてもよい。このような構成とした場合、車両走行時には運転者の運転を阻害せずに画像コンテンツを表示させることができ、駐車時には全てのディスプレイを用いた画像コンテンツの再生が可能となる。
今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。