JP7043818B2 - 情報処理方法及び情報処理装置 - Google Patents

Description

本発明は、情報処理方法及び情報処理装置に関する。

車内に発生した音声を収集する音声収集手段と、車内において乗員が着座した座席の位置を着座位置として特定する着座位置特定手段と、収集した音声、および、特定した着座位置に基づいて、車内に存在する乗員のうち発話者を推定する発話者推定手段と、収集した音声に基づいて、発話者による会話の内容を推定する会話内容推定手段と、特定した着座位置、推定した発話者、および、推定した会話内容に基づいて、車内に存在する乗員の構成を推定する乗員構成推定手段と、推定した会話内容、および、推定した乗員構成に基づいて、乗員の行動目的を推定する行動目的推定手段と、推定した乗員構成、および、推定した行動目的に基づいて、推奨するサービスをレコメンドサービスとして決定するレコメンドサービス決定手段と、を備える車載装置が知られている（特許文献１）。

特開２０１２－１３３５３０号公報

従来技術では、乗員の着座位置や会話内容から乗員の構成を推定するだけでなく、乗員の会話から乗員の行動目的を推定しなければ、車内に推奨するサービスを決定することができず、乗車してから車内に推奨するサービスを提供するまでに時間がかかる、という問題がある。

本発明が解決しようとする課題は、乗車してから時間をかけることなく車内に最適なサービスを決定することが可能な情報処理方法及び情報処理装置を提供することである。

本発明は、車両の室内を撮像するカメラから車内の撮像画像を取得し、車内の撮像画像に基づいて、車内に存在する人物の特徴を推定し、車内の人数と車内の人物の特徴が関連付けられた車内の人員構成を推定し、車内で利用されたサービスを特定し、車内の人員構成と車内でのサービスが関連付けられた車内での利用履歴を記憶装置に蓄積させ、蓄積された車内での利用履歴から、サービスごとに、利用される傾向にある車内の人数及び車内の人物の特徴の組み合わせを特定することで、車内の人員構成ごとに利用される傾向にあるサービスを特定することで、上記課題を解決する。

本発明によれば、乗車してから時間をかけることなく車内に最適なサービスを決定することができる。

図１は、本実施形態において、情報提供システムのブロック構成図を示す図である。 図２は、車内人員構成推定処理を説明するための図（Ａ）と、車外人員構成推定処理を説明するため図（Ｂ）である。 図３は、データベースに蓄積されたサービスの利用履歴を説明するための図である。 図４は、車載装置が車内での利用履歴情報をデータセンタに送信するまでのフローチャートである。 図５は、外部装置が車外での利用履歴情報をデータセンタに送信するまでのフローチャートである。 図６は、人員構成ごとに最適なサービスを特定する処理を説明するためのフローチャートである。 図７Ａは、車両に乗車してから車内の人員構成に最適なサービスが提供されるまでの処理を説明するためのフローチャートである。 図７Ｂは、車両に乗車してから車内の人員構成に最適なサービスが提供されるまでの処理を説明するためのフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。

本実施形態では、本発明に係る情報処理装置を、車両に搭載された車載装置１００と、車両の外部に設置された外部装置２００と、データセンタ３００と協動する情報提供処理システムに適用した場合を例にして説明する。

図１は、情報提供システム１のブロック構成を示す図である。本実施形態の情報提供システム１は、車載装置１００と、外部装置２００と、データセンタ３００を備える。情報提供システム１、車載装置１００、外部装置２００、及びこれらが備える各装置は、ＣＰＵなどの演算処理装置を備え、演算処理を実行するコンピュータである。

まず、車載装置１００について説明する。本実施形態の車載装置１００は、車載カメラ１１０、車載マイク１２０、車載操作機器群１３０、車載ディスプレイ１４０、車載スピーカ１５０、車載通信装置１６０、及び車載制御装置１７０を備えている。車載装置１００を構成する各装置は、相互に情報の授受を行うためにＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続されている。

車載カメラ１１０は、車両の室内に設けられ、室内の様子を撮像する。車載カメラ１１０は、撮像画像を車載制御装置１７０に出力する。車載カメラ１１０の設置位置及び車載カメラ１１０の数は、特に限定されない。例えば、車載カメラ１１０は、インストルメンタルパネルに設けられ、前方座席に着座する人物を撮像する。また、例えば、車載カメラ１１０は、ルームミラーの近傍に設けられ、後方座席に着座する人物を撮像する。また、例えば、車載カメラ１１０は、車両後方に設けられ、車両前方に設けられた車載ディスプレイ１４０が表示する画面を撮像する。車載ディスプレイ１４０が表示する内容の詳細については後述する。

車載マイク１２０は、車両の室内に設けられ、車内に発生した音声を収集する。車載マイク１２０は、収集した音声をデジタル信号に変換し、音声情報として車載制御装置１７０に出力する。車載マイク１２０の設置位置及び車載マイク１２０の数は、特に限定されない。例えば、車載マイク１２０は、座席ごとに座席の所定位置に設けられ、車内での会話、車載スピーカ１５０から出力される音楽等を収集する。車載スピーカ１５０が出力する内容の詳細については後述する。

車載操作機器群１３０は、車載ディスプレイ１４０の近傍に設けられ、車載ディスプレイ１４０が表示する映像の内容を変更したり、車載スピーカ１５０から出力される音声の音量を調整したりする。車載操作機器群１３０としては、例えば、機械的なスイッチや車載ディスプレイ１４０に設けられているタッチパネルスイッチなどから構成されている。車載操作機器群１３０は、車内の人物による操作情報を、車載制御装置１７０に出力する。

車載ディスプレイ１４０は、車両の室内に設けられ、車載操作機器群１３０からの操作情報に応じて、例えば、テレビ番組、映画、ナビゲーションシステムにおけるルート案内用の画面等の映像を表示する。また、車両がインターネット接続可能な場合、車載ディスプレイ１４０には、例えば、ウェブサイトが表示される。車載ディスプレイ１４０としては、液晶ディスプレイが一例として挙げられる。

車載スピーカ１５０は、車両の室内に設けられ、車載操作機器群１３０からの操作情報に応じて、例えば、音楽、ラジオ番組、その他映像データに基づく音声を出力する。また、車両がインターネット接続可能な場合、車載スピーカ１５０は、インターネットラジオのラジオ番組を出力する。

車載ディスプレイ１４０及び車載スピーカ１５０には、車載操作機器群１３０から車載制御装置１７０を介して操作情報が入力される。車載ディスプレイ１４０は、操作情報に応じた映像や動画を表示し、車載スピーカ１５０は、操作情報に応じた音声を出力する。

例えば、車内の人物がナビゲーションシステムを利用するために車載操作機器群１３０を操作した場合、車載ディスプレイ１４０には、ルート案内用の画面や操作用の画面等が表示されるとともに、車載スピーカ１５０からは、ルート案内を行う音声や交通情報を伝える音声が出力される。

また、例えば、車内の人物がテレビ番組を見るために車載操作機器群１３０を操作した場合、車載ディスプレイ１４０には、テレビ番組の映像が表示されるとともに、車載スピーカ１５０からは、テレビ番組の映像に対応する音声が出力される。テレビ番組には、娯楽を目的とした番組、時事ニュースを伝える番組、道路の工事情報又は渋滞情報などの道路情報を伝える番組、天気予報を伝える番組などが含まれる。

また、例えば、車内の人物が音楽又はラジオ番組を流すために車載操作機器群１３０を操作した場合、車載スピーカ１５０からは、音楽又はラジオ番組が出力される。ラジオ番組には、テレビ番組と同様に、娯楽を目的とした番組、時事ニュースを伝える番組、道路の工事情報又は渋滞情報などの道路情報を伝える番組、天気予報を伝える番組などが含まれる。また、音楽には、クラッシック音楽、ポピュラー音楽、民族音楽などの各ジャンルの音楽が含まれる。

また、車載ディスプレイ１４０には、データセンタ３００から車載通信装置１６０及び車載制御装置１７０を介して現在の車内の人員構成に最適なサービスを案内する情報（以下、サービス案内情報という）が入力される。車載ディスプレイ１４０は、サービス案内情報を車内の人物に提示する。なお、データセンタ３００から送信されるサービス案内情報の詳細については後述する。

車載通信装置１６０は、電話回線網やインターネット回線網などを介して、データセンタ３００のサーバ通信装置３１０と通信可能な装置である。車載通信装置１６０には、後述する、車内の人員構成の情報及び車内でのサービス利用履歴の情報（以下、車内での利用履歴情報という）が入力され、車載通信装置１６０は、これらの情報を、サーバ通信装置３１０に送信する。車載通信装置１６０は、これらの情報をプローブ情報に含めることができ、プローブ情報としてこれらの情報をサーバ通信装置３１０に送信してもよい。また、車載通信装置１６０は、サーバ通信装置３１０からサービス案内情報を受信し、受信したサービス案内情報を、車載制御装置１７０に出力する。なお、車内の人員構成の情報及び車内でのサービス利用履歴情報の詳細については後述する。

また、車載通信装置１６０には、車内の人員構成の情報と、車内での利用履歴情報は、非同期タイミングで入力される。後述する車載制御装置１７０は、イグニッションがオンになったタイミングや、車両が発進するタイミングにおいて、車内の人員構成の情報を、車載通信装置１６０に対して出力する。これにより、車両が発進する前や発進直後に、車内の人員構成の情報がデータセンタ３００に送信される。一方、車載制御装置１７０は、イグニッションがオフになったタイミングや、所定の時間が経過したタイミングにおいて、車内での利用履歴情報を、車載通信装置１６０に対して出力する。つまり、車載通信装置１６０は、データセンタ３００のサーバ通信装置３１０に対して、車内での利用履歴情報を送信するよりも先に、車内の人員構成の情報を送信する。

車載制御装置１７０は、車内の人員構成を推定して車内での利用履歴情報を生成するための装置である。具体的に、車載制御装置１７０は、車内サービス利用履歴生成処理を実行させるプログラムが格納されたＲＯＭ（Read Only Memory）と、このＲＯＭに格納されたプログラムを実行することで、車内サービス利用履歴生成処理を実行する動作回路としてのＣＰＵ（Central Processing Unit）と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）と、を備えるコンピュータである。

具体的に、本実施形態の車載制御装置１７０は、以下の処理を実行することで、車内での利用履歴情報を生成する。車載制御装置１７０は、車内の人物の特徴を推定する車内人物特徴推定処理と、車内の人員構成を推定する車内人員構成推定処理と、車内で利用されているサービスを特定する車内サービス特定処理と、これらの処理結果に基づいて車内での利用履歴情報を生成する車内サービス利用履歴生成処理と、を実行する。

車載制御装置１７０は、上記各機能を実現するために、又は各処理を実行するためのソフトウェアと、上述したハードウェアの協働により各機能を実行する。

まず、車内人物特徴推定処理について説明する。車載制御装置１７０は、車載カメラ１１０の撮像画像に基づいて、車内に存在する人物の特徴を推定する。車内の人物の特徴には、性別及び年齢が含まれる。例えば、車載制御装置１７０は、車載カメラ１１０の撮像画像に対して画像処理を実行することで、撮像画像に写る人物の複数の特徴点（目、鼻、口、髪の毛等）を抽出する。そして、車載制御装置１７０は、抽出した車内の人物の特徴点を、予め定められた特徴パターンであって、性別を判別するための特徴パターンに照合することで、車内の人物の性別を推定することができる。同様に、車載制御装置１７０は、車内の人物の特徴点を、予め定められた特徴パターンであって、年齢を推定するための特徴パターンに照合することで、車内の人物の年齢を推定することができる。

車載制御装置１７０が推定する年齢の精度は、特に限定されない。車載制御装置１７０は、画像処理の能力や車載カメラ１１０の撮像精度に応じて、推定する年齢の精度を適宜変更することができる。例えば、車載制御装置１７０は、１０歳～１９歳の範囲を「１０代」、２０歳～２９歳の範囲を「２０代」と、１０歳単位でカテゴライズされた特徴パターンを予め記憶装置に格納しておくことで、車内の人物の年代を推定することができる。なお、車内人物特徴推定処理は、上述した方法に限られず、車載制御装置１７０は、本願出願時に知られた車内人物特徴推定処理を適宜に用いることができる。

次に、車内人員構成推定処理について説明する。車載制御装置１７０は、車載カメラ１１０の撮像画像と、車内人物特徴推定処理の処理結果に基づいて、車内の人員構成を推定する。例えば、車載制御装置１７０は、車載カメラ１１０の撮像画像から、車内の人数を検出する。そして、車載制御装置１７０は、検出した車内の人数と、車内人物特徴推定処理の処理結果（性別及び年齢）が関連付けられた車内の人員構成を推定する。

図２（Ａ）を参照しながら、車内人員構成推定処理の処理結果の一例について説明する。図２（Ａ）は、車内人員構成推定処理を説明するための図である。図２（Ａ）は、運転者を含めた４名が乗車している場合の車載制御装置１７０の処理結果を示している。この例において、車載制御装置１７０は、まず、車載カメラ１１０の撮像画像から車内の人数が４名であることを検出する。次に、車載制御装置１７０は、上述した車内人物特徴推定処理を、４名それぞれに対して実行することで、図２（Ａ）に示すように、「２０代男性：１名、３０代女性：１名、５０代男性：１名、６０代男性：１名の計４名」と、車内の人員構成を推定する。

このように、本実施形態では、車載制御装置１７０は、車載カメラ１１０の撮像画像が入力されるタイミングで、車内の人員構成を推定することができる。そのため、乗車したタイミングや、イグニッションがオンになったタイミング等の車両が発進する前のタイミングにおいても、車両の人員構成を推定することができる。また、車載カメラ１１０の撮像画像のみを利用するため、車内での会話が行われない場合であっても、車内の人員構成を推定することができる。

車載制御装置１７０は、車内の人員構成を推定すると、車載通信装置１６０を介して、車内の人員構成の情報をデータセンタ３００のサーバ通信装置３１０へ送信する。なお、車載制御装置１７０は、車内の人員構成の情報に、車載カメラ１１０の撮像画像そのものを含めることもできる。これにより、後述するデータセンタ３００のサーバ処理装置３３０は、撮像画像に写る人物が過去に乗車履歴のある人物か否かを判定することができる。

再び、図１に戻り、車載制御装置１７０の車内サービス特定処理について説明する。車載制御装置１７０は、車内で利用されているサービスを特定する。本実施形態における車内で利用されているサービスとは、車載ディスプレイ１４０及び車載スピーカ１５０の少なくとも何れか一方を利用したサービスである。車内で利用可能なサービスとしては、映像再生、音楽再生、道路情報提供、天気情報提供が一例として挙げられる。映像再生には、上述したテレビ番組の再生や映画の再生が含まれ、音楽再生には、上述した各ジャンルの音楽の再生が含まれる。また、道路情報の提供には、テレビ番組による道路情報の提供だけでなく、ラジオ番組による道路情報の提供も含まれる。天気情報提供も同様に、テレビ番組による天気予報の提供だけでなく、ラジオ番組による天気予報の提供も含まれる。

車載制御装置１７０は、車載カメラ１１０からの撮像画像、車載マイク１２０からの音声情報、車載操作機器群１３０からの操作情報に基づいて、サービスの種類（映像再生、音楽再生等）を特定するだけでなく、それぞれのサービスの具体的な内容（番組名、曲名）についても特定する。例えば、予めテレビ番組及びラジオ番組の番組表の情報を、ＲＯＭ等の記憶装置に記憶させておく。そして、車載制御装置１７０は、車載操作機器群１３０からの操作情報に基づき、車内の人物が設定したテレビのチャンネルを特定し、記憶装置に記憶された番組情報と照合することで、現在放映されているテレビ番組の内容を具体的に特定することができる。また、例えば、予めあらゆるジャンルの楽曲情報を、ＲＯＭ等の記憶装置に記憶させておく。そして、車載制御装置１７０は、車載マイク１２０からの音声情報を、記憶装置に記憶された楽曲情報と照合することで、現在車内で流れている音楽のジャンル及び曲名を特定することができる。

次に、車内サービス利用履歴生成処理について説明する。車載制御装置１７０は、上述した各処理の結果に基づいて、車内で利用されているサービスの履歴を、車内での利用履歴情報として生成する。車載制御装置１７０は、推定した車内の人員構成と、特定した車内で利用されているサービスとを関連付けた情報を、車内での利用履歴情報とする。車載制御装置１７０は、車載通信装置１６０を介して、車内での利用履歴情報をデータセンタ３００のサーバ通信装置３１０へ送信する。

次に、外部装置２００について説明する。本実施形態の外部装置２００は、車外に存在する人物に対して、映像再生や音楽再生等のサービスを提供する装置である。外部装置２００の設置場所は特に限定されず、設置場所としては、商業施設又は公共施設等の施設に限られず、家庭内であってもよい。外部装置２００としては、人工知能（ＡＩ：Artificial intelligence）が搭載されたスマートスピーカが例示できる。外部装置２００は、外部カメラ２１０、外部マイク２２０、外部操作機器群２３０、外部ディスプレイ２４０、外部スピーカ２５０、外部通信装置２６０、及び外部制御装置２７０を備える。外部装置２００を構成する各装置は、相互に情報の授受を行うため、ＬＡＮ等の信号線で接続されているか、又はＷｉｆｉやＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信により通信可能となっている。

なお、本実施形態では、外部装置２００は、上述した車載装置１００と比べて、同じ機能を持つ装置を含んでいるため、以降では、車載装置１００と重複する内容については、車載装置１００で行った説明を一部援用する。また、外部装置２００が設けられている「車外」とは、車両の室外のことである。

外部カメラ２１０は、車外に設けられ、外部装置２００の周辺の様子を撮像する。外部カメラ２１０は、撮像画像を外部制御装置２７０に出力する。外部カメラ２０１の数は、特に限定されない。

外部マイク２２０は、車外に設けられ、外部装置２００の周辺で発生した音声を収集する。外部マイク２２０は、収集した音声をデジタル信号に変換し、音声情報として外部制御装置２７０に出力する。

外部操作機器群２３０は、例えば、外部ディスプレイ２４０の近傍に設けられ、外部ディスプレイ２４０が表示する映像の内容を変更したり、外部スピーカ２５０から出力される音声の音量を調整したりする。外部操作機器群２３０としては、外部ディスプレイ２４０に設けられているタッチパネルであってもよいし、その他各装置とは異なる装置として、外部装置２００を遠隔操作可能なリモコンであってもよい。

外部ディスプレイ２４０は、車外に設けられ、外部操作機器群２３０からの操作情報に応じて、例えば、テレビ番組、映画等の映像や、インターネットを介して配信される動画を表示する。外部スピーカ２５０は、車外に設けられ、外部操作機器群２３０からの操作情報に応じて、例えば、音楽、ラジオ番組、その他映像データに基づく音声を出力する。外部装置２００がインターネット接続可能な場合、外部ディスプレイ２４０は、ウェブサイトや外部装置２００が備えるアプリケーションの画面を表示することができる。また、外部スピーカ２５０は、インターネットラジオのラジオ番組を出力することができる。

外部ディスプレイ２４０及び外部スピーカ２５０には、外部操作機器群２３０から外部制御装置２７０を介して操作情報が入力される。外部ディスプレイ２４０は、操作情報に応じた映像や動画を表示し、外部スピーカ２５０は、操作情報に応じた音声を出力する。

例えば、家庭のリビングにおいて、家族の一人が音楽又はラジオ番組を流すために外部操作機器群２３０を操作した場合、外部スピーカ２５０からは、外部操作機器群２３０の操作に応じた、音楽又はラジオ番組が出力される。なお、音楽には、上述した各ジャンルの音楽が含まれ、また、ラジオ番組には、娯楽を目的とした番組、時事ニュースを伝える番組、天気予報を伝える番組などが含まれる。

外部通信装置２６０は、車載通信装置１６０と同様に、電話回線網やインターネット回線網などを介して、データセンタ３００のサーバ通信装置３１０と通信可能な装置である。外部通信装置２６０には、後述する車外でのサービス利用履歴の情報（以降、車外での利用履歴情報という）が入力され、外部通信装置２６０は、サーバ通信装置３１０と通信可能なタイミングにおいて、車外での利用履歴情報を、サーバ通信装置３１０に送信する。

外部制御装置２７０は、車外での利用履歴情報を生成するための装置である。具体的に、外部制御装置２７０は、車外サービス利用履歴生成処理を実行させるプログラムが格納されたＲＯＭ（Read Only Memory）と、このＲＯＭに格納されたプログラムを実行することで、車外サービス利用履歴生成処理を実行する動作回路としてのＣＰＵ（Central Processing Unit）と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）と、を備えるコンピュータである。

具体的に、本実施形態の外部制御装置２７０は、以下の処理を実行することで、車外での利用履歴情報を生成する。外部制御装置２７０は、車外の人物の特徴を推定する車外人物特徴推定処理と、車外の人員構成を推定する車外人員構成推定処理と、車内で利用されているサービスを特定する車内サービス特定処理と、これらの処理結果に基づいて車外での利用履歴情報を生成する車外サービス利用履歴生成処理と、を実行する。

なお、本実施形態では、外部制御装置２７０が実行する各処理は、車載制御装置１７０が実行する各処理と比べて、処理の対象が車内から車外に変更されている点以外は同じものとする。以降では、各処理において、車載制御装置１７０と重複する内容については、車載制御装置１７０で行った説明を一部援用する。

まず、車外人物特徴推定処理について説明する。外部制御装置２７０は、外部カメラ２１０の撮像画像に基づいて、車外に存在する人物の特徴を推定する。車外の人物の特徴には、性別及び年齢が含まれる。車外人物特徴推定処理は、車載制御装置１７０の車内人物特徴推定処理と同じ処理方法であってもよいし、異なる処理方法でもよい。

次に、車外人員構成推定処理について説明する。外部制御装置２７０は、外部カメラ２１０が撮像した車外の撮像画像と、車外人物特徴推定処理の処理結果に基づいて、車外の人員構成を推定する。例えば、外部制御装置２７０は、外部カメラ２１０の撮像画像から、外部装置２００の周辺に存在する車外の人数を検出する。そして、外部制御装置２７０は、検出した車外の人数と、車外人物特徴推定処理の処理結果（性別及び年齢）が関連付けられた車外の人員構成を推定する。

図２（Ｂ）を参照しながら、車外人員構成推定処理の処理結果の一例について説明する。図２（Ｂ）は、車外人員構成推定処理を説明するための図である。図２（Ｂ）は、家庭内に４名がいる場合の外部制御装置２７０の処理結果を示している。この例において、外部制御装置２７０は、まず、外部カメラ２１０の撮像画像から外部装置２００の周辺に存在する人数が４名であることを検出する。次に、外部制御装置２７０は、上述した車外人物特徴推定処理を、４名それぞれに対して実行することで、図２（Ｂ）に示すように、「１０歳未満女性：１名、１０歳未満男性：１名、１０代女性：１名、５０代男性の計４名」と、車外の人員構成を推定する。このように、本実施形態では、外部制御装置２７０は、車外の人数と、車外の人物の性別及び年齢が関連付けられた車外の人員構成を推定する。

再び、図１に戻り、外部制御装置２７０の車外サービス特定処理について説明する。外部制御装置２７０は、車外で利用されているサービスを特定する。本実施形態における車外で利用されているサービスとは、外部ディスプレイ２４０及び外部スピーカ２５０の少なくとも何れか一方を利用したサービスである。車外で利用可能なサービスとしては、映像再生、音楽再生、天気情報提供が一例として挙げられる。

外部制御装置２７０は、車載制御装置１７０と同様に、外部カメラ２１０からの撮像画像、外部マイク２２０からの音声情報、外部操作機器群２３０からの操作情報に基づいて、サービスの種類（映像再生、音楽再生等）を特定するだけでなく、それぞれのサービスの具体的な内容（番組名、曲名）についても特定する。また、外部装置２００がインターネット接続可能な場合、外部制御装置２７０は、外部装置２００がアクセスしているウェブサイトの情報を取得して、サービスの具体的な内容、例えば、ソーシャルネットワークサービス等を特定することができる。

次に、車外サービス利用履歴生成処理について説明する。外部制御装置２７０は、上述した各処理の結果に基づいて、車外で利用されているサービスの履歴を、車外での利用履歴情報として生成する。外部制御装置２７０は、推定した車外の人員構成と、特定した車外で利用されているサービスとを関連付けた情報を、車外での利用履歴情報とする。外部制御装置２７０は、外部通信装置２６０を介して、車外での利用履歴情報をデータセンタ３００のサーバ通信装置３１０へ送信する。

次に、データセンタ３００について説明する。データセンタ３００は、各種のコンピュータやデータ通信などの装置が設置されている施設である。データセンタ３００は、図１に示すように、サーバ通信装置３１０、データベース３２０、及びサーバ処理装置３３０を備える。

サーバ通信装置３１０は、電話回線網又はインターネット回線網などを介して、車載装置１００の車載通信装置１６０及び外部装置２００の外部通信装置２６０と通信可能となっている。サーバ通信装置３１０は、複数の車両のそれぞれに搭載された複数の車載通信装置１６０と通信し、各車両から、車内の人員構成の情報及び車内での利用履歴情報を受信する。サーバ通信装置３１０は、各車両から受信した車内の人員構成の情報及び車内での利用履歴情報をサーバ処理装置３３０に出力する。

また、サーバ通信装置３１０は、各施設（商業施設、公共施設）や各家庭のそれぞれに設けられた複数の外部通信装置２６０と通信し、各施設又は各家庭から車外での利用履歴情報を受信する。サーバ通信装置３１０は、各施設等から受信した車外での利用履歴情報をサーバ処理装置３３０に出力する。

データベース３２０は、複数の車両から取得した車内での利用履歴情報、及び複数の施設等から取得した車外での利用履歴情報を格納しているデータベースである。データベース３２０には、サーバ通信装置３１０からサーバ処理装置３３０を介して、逐次、車内での利用履歴情報及び車外での利用履歴情報が入力されるため、２種類の利用履歴情報は、時間の経過とともにデータベース３２０に蓄積されていく。また、データベース３２０には、２種類の利用履歴情報は、互いに判別できるような形式で格納されている。

サーバ処理装置３３０は、車内の人員構成ごとに最適なサービスを特定するためのプログラムを格納したＲＯＭと、このＲＯＭに格納されたプログラムを実行するＣＰＵと、アクセス可能な記憶装置として機能するＲＡＭとから構成される。サーバ処理装置３３０は、ＲＯＭに格納されたプログラムをＣＰＵにより実行することにより、車載装置１００から送信された車内での利用履歴情報、及び外部装置２００から送信された車外での利用履歴情報を格納する利用履歴格納処理と、車内の人員構成ごとに利用される傾向にあるサービスを分析する利用履歴分析処理と、車載装置１００が搭載された車両内の人員構成に基づいて、サービス案内情報を車載装置１００に提供する情報提供処理と、を実行する。

まず、利用履歴格納処理について説明する。サーバ処理装置３３０は、サーバ通信装置３１０から入力される車内での利用履歴情報及び車外での利用履歴情報を、データベース３２０に格納する。また、サーバ処理装置３３０は、２種類の利用履歴情報の送信元が車載装置１００又は外部装置２００かを識別することができ、２種類の利用履歴情報を判別して、データベース３２０に格納する。また、サーバ処理装置３３０は、利用履歴情報に含まれる人員構成に基づいて、性別ごと、年齢ごと、人数ごとに、データベース３２０に蓄積された利用履歴情報を並べ替える等の統計処理を実行することができる。

図３は、データベース３２０に蓄積された車内での利用履歴情報の一例である。図３に示すように、データベース３２０には、車内で利用されたサービスの種別及びサービスの具体的な内容が、車内の人数、車内の人物の性別、及び車内の人物の年齢と関連付けられて蓄積されている。例えば、図３の「車内で利用されたサービス」の列について、１行目には、サービスの種別として「音楽の再生」と、音楽の具体的な内容として「曲名Ａ」が示されている。２行目には、「テレビ番組の再生」及び「番組名Ａ」が示されている。

また、図３には、各サービスを利用した際の車内の人員構成の情報として、「人数」、「性別」、「年齢」が示されている。例えば、「番組名Ａのテレビ番組の再生」のサービスには、６０代の男性１名、６０代の女性１名の計２名が関連付けられている。

次に、利用履歴分析処理について説明する。サーバ処理装置３３０は、データベース３２０に蓄積された利用履歴情報を分析することで、車内の人員構成ごとに最適なサービスを特定する。サーバ処理装置３３０は、車内での利用履歴情報と車外での利用履歴情報のどちらか一方のデータを分析してもよいし、２種類の利用履歴情報を併せたデータを分析してもよい。ここでは、車内での利用履歴情報の分析を例に挙げて説明する。

サーバ処理装置３３０は、車内の人員構成ごとに利用される傾向にあるサービスを分析する。例えば、サーバ処理装置３３０は、データベース３２０から車内での利用履歴情報を取得し、一のサービスに対してクラスタリング処理を実行し、車内の人員構成の情報を構成するパラメータごとに（人数ごと、性別ごと、年齢ごと）グループ化する。そして、サーバ処理装置３３０は、グループ化されたそれぞれについて、統計処理を実行して、人数ごと、性別ごと、年齢ごとに当該サービスが利用される傾向を分析する。サーバ処理装置３３０は、分析された、一のサービスに対して利用される傾向にある人数、性別、及び年齢の組み合わせを、一のサービスに対する特徴量として算出する。サーバ処理装置３３０は、サービスごとに上述した処理を繰り返すことで、車内の人員構成ごとに利用される傾向にあるサービスを分析する。

また、サーバ処理装置３３０は、所定の周期毎に、すなわち、最新の利用履歴情報がデータベース３２０に蓄積されていくたびに、上述した分析処理を繰り返す。これにより、車内の人員構成と利用される傾向にあるサービスの関係性を学習することができる。そして、サーバ処理装置３３０は、各周期における分析結果の分布が所定の範囲内に収まると、利用されるサービスの傾向の変動が収束したと判断して、人数、性別、及び年齢の組み合わせに応じて、最適なサービスを特定する。

また、サーバ処理装置３３０は、車内の人員構成ごとに一の最適なサービスを特定するだけでなく、車内の人員構成ごとに利用される傾向にある可能性がある複数のサービス候補を特定する。例えば、サーバ処理装置３３０は、利用された実績のあるサービスの中から、利用される傾向にある人数、性別、及び年齢の組み合わせ数が多いサービスの順に優先順位を付け、利用される可能性が高い複数のサービス候補を抽出する。なお、車内での利用履歴情報の分析方法は、上述した方法に限定されず、サーバ処理装置３３０は、本願出願時における分析方法の技術を適宜に用いることができる。

サーバ処理装置３３０は、車内での利用履歴情報の分析が終了すると、車内の人員構成ごとに最適なサービス、車内の人員構成ごとに利用される可能性がある複数のサービス候補、各サービスの特徴量（利用される傾向にある人数、性別、及び年齢の組み合わせ）のそれぞれを、データベース３２０に格納する。また、サーバ処理装置３３０は、車外での利用履歴情報に対しても、上述の処理と同様の処理を実行することで、車外の人員構成ごとに最適なサービス、車外の人員構成ごとに利用される可能性がある複数のサービス候補、各サービスの特徴量を、データベース３２０に格納する。

次に、情報提供処理について説明する。まず、サーバ処理装置３３０は、車載装置１００から送信された情報から、現在の車内に過去に乗車した経験がある人物が存在するか否かを判定する。サーバ処理装置３３０は、車内の人員構成のうち車載カメラ１１０の撮像画像から乗車経験者が存在するか否かを判定し、運転者を除く乗車経験者が同乗者として１人でも含まれている場合、データベース３２０から、当該乗車経験者が過去に車内で利用したサービスを抽出する。そして、サーバ処理装置３３０は、抽出したサービスを最適なサービスとして特定し、サービス案内情報とする。

次に、現在の車内には乗車経験者が存在しない場合について説明する。この場合、サーバ処理装置３３０は、現在の車内の人員構成に最適なサービスを特定し、サービス案内情報とする。例えば、サーバ処理装置３３０は、車載装置１００から、現在の車内の人員構成の情報が入力されると、データベース３２０に格納された車内での利用履歴情報の分析結果を参照する。そして、サーバ処理装置３３０は、分析結果の中に、現在の車内の人員構成に最適なサービスが含まれている場合、当該サービスを最適なサービスとして特定する。反対に、サーバ処理装置３３０は、車内での利用履歴情報の分析結果には、最適なサービスが含まれていない場合、車外での利用履歴情報の分析結果を参照する。そして、サーバ処理装置３３０は、分析結果の中に、現在の車内の人員構成に最適なサービスが含まれている場合、当該サービスを最適なサービスとして特定する。

また、サーバ処理装置３３０は、いずれの利用履歴情報の分析結果にも現在の車内の人員構成に最適なサービスが含まれていない場合、車内での利用履歴情報の分析結果から、現在の人員構成において利用される可能性がある複数のサービス候補であって、優先度が付されている複数のサービス候補を抽出し、サービス案内情報とする。

サーバ処理装置３３０は、上述した各処理により得られたサービス案内情報を、サーバ通信装置３１０を介して車載装置１００に送信する。車載装置１００は、受信したサービス案内情報を車載ディスプレイ１４０に表示することで、車内の人物に対して、現在の車内の人員構成に最適なサービスの情報、現在の車内の人員構成において利用される可能性がある複数のサービス候補の情報、又は、過去に利用したサービスの情報を提示することができる。サービス案内情報には、映像再生、音楽再生等のサービスの種別と、番組名、曲名などのサービスの具体的な内容が含まれる。

次に、図４を参照しながら、車載装置１００が車内での利用履歴情報をデータセンタ３００に送信するまでの動作について説明する。図４は、車載装置１００が車内での利用履歴情報をデータセンタ３００に送信するまでのフローチャートである。図４に示すフローチャートの処理は、各車両に搭載された車載装置１００によりそれぞれ実行される。

まず、ステップＳ１０１では、車載制御装置１７０は、車載カメラ１１０から車内の撮像画像を取得する。車載カメラ１１０が車載装置１００に複数設けられている場合、車載制御装置１７０は、各車載カメラ１１０から撮像画像を取得する。

ステップＳ１０２では、車載制御装置１７０は、ステップＳ１０１にて取得した車内の撮像画像に基づいて、車内に存在する人物の特徴を推定する。車内の人物の特徴には、車内の人物の性別及び車内の人物の年齢が含まれる。車載制御装置１７０は、車内に複数の人物が存在する場合、一人ずつ特徴を推定する。また、このステップにおいて、車載制御装置１７０は、撮像画像から車内に存在する人物を検出し、車内の人数を算出する。

ステップＳ１０３では、車載制御装置１７０は、車内の人員構成を推定する。車内の人員構成には、ステップＳ１０２にて算出した車内の人数と、同ステップにて、推定した車内の人物の特徴が関連付づけられている（図２（Ａ）参照）。

ステップＳ１０４では、車載制御装置１７０は、車内で利用されているサービスを特定する。例えば、車載制御装置１７０は、車載カメラ１１０から入力される撮像画像から、車載ディスプレイ１４０の画面を検出することで、車内で再生されているテレビ番組の番組名を特定する。また、例えば、車載制御装置１７０は、車載マイク１２０から入力される音声情報から、車内で再生されている音楽の曲名を特定する。

ステップＳ１０５では、車載制御装置１７０は、車内で利用されているサービスの履歴として、車内での利用履歴情報を作成する。車載制御装置１７０は、ステップＳ１０３で推定した車内の人員構成と、ステップＳ１０４で特定した車内で利用されているサービスを関連付けて、車内での利用履歴情報とする。これにより、車内の人員構成と、その人員構成において利用されたサービスが対応づけられる。

ステップＳ１０６では、車載制御装置１７０は、ステップＳ１０５にて生成した車内での利用履歴情報を、データセンタ３００に送信する。ステップＳ１０６が終了すると、車載装置１００が車内での利用履歴情報をデータセンタ３００に送信するまでの処理は終了する。

次に、図５を参照しながら、外部装置２００が車外での利用履歴情報をデータセンタ３００に送信するまでの動作について説明する。図５は、外部装置２００が車外での利用履歴情報をデータセンタ３００に送信するまでのフローチャートである。図５に示すフローチャートの処理は、各施設又は各家庭に設けられた外部装置２００によりそれぞれ実行される。

まず、ステップＳ２０１では、外部制御装置２７０は、外部カメラ２１０から車外の撮像画像を取得する。外部カメラ２１０が外部装置２００に複数設けられている場合、車載制御装置１７０は、各車載カメラ１１０から撮像画像を取得する。

ステップＳ２０２では、外部制御装置２７０は、ステップＳ２０１にて取得した車外の撮像画像に基づいて、車外に存在する人物の特徴を推定する。車外の人物の特徴には、車外の人物の性別及び車外の人物の年齢が含まれる。外部制御装置２７０は、外部装置２００の周辺に複数の人物が存在する場合、一人ずつ特徴を推定する。また、このステップにおいて、外部制御装置２７０は、撮像画像から外部装置２００の周辺に存在する人物を検出し、車外の人数を算出する。

ステップＳ２０３では、外部制御装置２７０は、車外の人員構成を推定する。車外の人員構成には、ステップＳ２０２にて算出した車外の人数と、同ステップにて、推定した車外の人物の特徴が関連付づけられている（図２（Ｂ）参照）。

ステップＳ２０４では、外部制御装置２７０は、車外で利用されているサービスを特定する。例えば、外部制御装置２７０は、外部マイク２２０から入力される音声情報から、家庭内や施設内で再生されている音楽の曲名を特定する。

ステップＳ２０５では、外部制御装置２７０は、車外で利用されているサービスの履歴として、車外での利用履歴情報を作成する。外部制御装置２７０は、ステップＳ２０３で推定した車外の人員構成と、ステップＳ２０４で特定した車外で利用されているサービスを関連付けて、車外での利用履歴情報とする。これにより、車外の人員構成と、その人員構成において利用されたサービスが対応づけられる。

ステップＳ２０６では、外部制御装置２７０は、ステップＳ２０５にて生成した車外での利用履歴情報を、データセンタ３００に送信する。ステップＳ２０６が終了すると、外部装置２００が車外での利用履歴情報をデータセンタ３００に送信するまでの処理は終了する。

次に、図６を参照しながら、人員構成ごとに最適なサービスを特定する動作について説明する。図６は、人員構成ごとに最適なサービスを特定する処理を説明するためのフローチャートである。図６に示すフローチャートの処理は、データセンタ３００のサーバ処理装置３３０により実行される。

ステップＳ３０１では、サーバ処理装置３３０は、車載装置１００から送信される車内での利用履歴情報（図４参照）、及び外部装置２００から送信される車外での利用履歴情報（図５参照）を収集し、データベース３２０に蓄積させる。なお、サーバ処理装置３３０が２種類の利用履歴情報を収集する期間は、特に限定されない。データベース３２０には、利用されたサービス、人数、性別、年齢が判別される形式で利用履歴情報が蓄積されていく（図３参照）。

ステップＳ３０２では、サーバ処理装置３３０は、ステップＳ３０１にてデータベース３２０に蓄積された、各車両の車内での利用履歴情報から、車内での人員構成と利用される傾向にあるサービスについて分析する。例えば、サーバ処理装置３３０は、車内で利用された一のサービスに対してクラスタリング処理により、車内の人員構成の情報を構成するパラメータごとに（人数ごと、性別ごと、年齢ごと）グループ化する。そして、サーバ処理装置３３０は、グループ化されたそれぞれに対して、一のサービスが利用される傾向を分析し、一のサービスに対して人数、性別、及び年齢の組み合わせで表せる、一のサービスに対する特徴量を算出する。サーバ処理装置３３０は、サービスごとに上述した処理を実行することで、各サービスに対する特徴量を算出する。

また、サーバ処理装置３３０は、このステップにおいて、車外での利用履歴情報についても、上述した車内での利用履歴情報と同様に、車外の人員構成ごとに利用される傾向にあるサービスについて分析する。

ステップＳ３０３では、サーバ処理装置３３０は、ステップＳ３０２にて得られた分析結果に基づいて、人員構成ごとに最適なサービスを特定する。また、このステップにおいて、サーバ処理装置３３０は、ステップＳ３０２にて得られた分析結果に基づいて、データベース３２０から、人員構成ごとに利用される可能性がある複数のサービス候補であって、利用される可能性が高い順に優先度が付された複数のサービス候補を抽出する。

ステップＳ３０４では、サーバ処理装置３３０は、ステップ３０２にて得られた分析結果、及びステップＳ３０３にて特定された人員構成ごとに最適なサービスを、データベース３２０に格納する。ステップＳ３０４が終了すると、サーバ処理装置３３０が人員構成ごとに最適なサービスを特定する処理は終了する。

次に、図７Ａ、図７Ｂを参照しながら、車両に乗車してから車内の人員構成に最適なサービスが提供されるまでの処理について説明する。図７Ａ、図７Ｂは、車両に乗車してから車内の人員構成に最適なサービスが提供するまでの処理を説明するためのフローチャートである。図７Ａに示すステップＳ５０１～Ｓ５０５、及びステップＳ５０８の処理と、図７Ｂに示すステップＳ５１２～Ｓ５１４の処理は、特定の車両に搭載された車載装置１００により実行される。また、図７Ａに示すステップＳ５０６、ステップＳ５０７、及びステップＳ５０９～Ｓ５１１の処理は、データセンタ３００のサーバ処理装置３３０により実行される。

ステップＳ５０１では、車載制御装置１７０は、車載カメラ１１０から、現在の車内の撮像画像を取得する。車載制御装置１７０は、例えば、一又は複数の人物が乗車したタイミング、又は車両が発進するタイミングにおいて、車載カメラ１１０から現在の車内の撮像画像を取得する。なお、このステップは、図４のステップＳ１０１に対応する。

ステップＳ５０２では、車載制御装置１７０は、ステップＳ５０１にて取得した現在の車内の撮像画像に基づいて、現在の車内に存在する人物の特徴を推定する。なお、このステップは、図４のステップＳ１０２に対応する。

ステップＳ５０３では、車載制御装置１７０は、現在の車内の人員構成を推定する。なお、このステップは、図４のステップＳ１０３に対応する。

ステップＳ５０４では、車載制御装置１７０は、ステップＳ５０１にて取得した現在の車内の撮像画像から、過去に乗車経験がある人物が乗車しているか否かを判定する。現在の車内に過去に乗車経験がある人物が検出されなかった場合、ステップＳ５０５へ進み、過去に乗車経験がある人物が検出された場合、ステップＳ５０８へ進む。

ステップＳ５０５では、車載制御装置１７０は、ステップＳ５０３にて推定した現在の車内の人員構成の情報を、データセンタ３００に送信する。

ステップＳ５０４にて、過去に乗車経験がある人物が検出された場合、ステップＳ５０８へ進む。ステップＳ５０８では、車載制御装置１７０は、ステップＳ５０４にて検出された乗車経験がある人物の情報を、データセンタ３００に送信する。

ステップＳ５０５又はステップＳ５０８が終了すると、車載装置１００は、データセンタ３００からの応答が来るまで待機する。

ステップＳ５０５にて、車載装置１００から現在の車内の人員構成の情報がデータセンタ３００に送信されると、ステップＳ５０６に進む。ステップＳ５０６では、サーバ処理装置３３０は、サーバ通信装置３１０を介して、ステップＳ５０５にて車載装置１００から送信された現在の車内の人員構成の情報を受信する。

ステップＳ５０７では、サーバ処理装置３３０は、ステップＳ５０６にて受信した現在の車内の人員構成に対して、最適なサービスをデータベース３２０から抽出する。なお、このステップにおいて、サーバ処理装置３３０は、データベース３２０から現在の車内の人員構成において利用される可能性が高い複数のサービス候補を抽出してもよい。サーバ処理装置３３０は、最適なサービス及び複数のサービス候補の少なくともいずれか一方を含むサービス案内情報を作成する。

ステップＳ５０８にて車載装置１００から乗車経験がある人物の情報がデータセンタ３００に送信されると、ステップＳ５０９に進む。ステップＳ５０９では、サーバ処理装置３３０は、サーバ通信装置３１０を介して、ステップＳ５０８にて車載装置１００から送信された乗車経験がある人物の情報を受信する。

ステップＳ５１０では、サーバ処理装置３３０は、データベース３２０から乗車経験がある人物が過去に利用したサービスを抽出する。なお、該当するサービスが複数存在する場合、サーバ処理装置３３０は、複数のサービスに利用頻度が高い順に優先順位をつけることができる。サーバ処理装置３３０は、乗車経験がある人物が過去に利用したサービスを含むサービス案内情報を作成する。

ステップＳ５１１では、サーバ処理装置３３０は、ステップＳ５０７又はステップＳ５１０にて作成されたサービス案内情報を車載装置１００へ送信する。

ステップＳ５１２では、車載制御装置１７０は、データセンタ３００から車載通信装置１６０を介して、サービス案内情報を受信する。

ステップＳ５１３では、車載制御装置１７０は、サービス案内情報を受信したことを車載ディスプレイ１４０に表示させ、車内の人物にサービス案内情報に含まれるサービスを利用するか否かの選択を促す。例えば、車載制御装置１７０は、車載ディスプレイ１４０にサービス案内情報に含まれるサービスを表示させるとともに、利用するか否かの選択画面を表示させる。車内の人物がサービス案内情報を利用することを選択すると、ステップＳ５１４へ進み、車内の人物がサービス案内情報を利用しないことを選択すると、情報提供の処理は終了する。

ステップＳ５１４では、車載制御装置１７０は、ステップ５１２にて受信したサービス案内情報を出力する。車載制御装置１７０は、サービス案内情報に含まれる最適なサービスを、車載ディスプレイ１４０及び車載スピーカ１５０の少なくとも一方を利用して車内に提供する。例えば、車載制御装置１７０は、曲名Ａの音楽を車載スピーカ１５０から出力させる。これにより、例えば、子供がいない夫婦と親戚の子供が同乗する場面であっても、夫婦が子供の年代の音楽を知らなくても、親戚の子供には馴染みがある音楽を車内に流すことができる。

また、このステップにおいて、車載制御装置１７０は、サービス案内情報に含まれる複数のサービス候補をリスト化し、車載ディスプレイ１４０にサービス候補のリストを表示させてもよい。これにより、車内の人物は車内の複数のサービス候補の中から最適なサービスを選択することができる。

また、このステップにおいて、車載制御装置１７０は、過去に乗車経験がある人物が以前に利用したサービスを、車載ディスプレイ１４０及び車載スピーカ１５０の少なくとも一方を利用して車内に提供してもよい。ステップＳ５１４が終了すると、乗車してから車内の人員構成に最適なサービスが提供されるまでの処理は終了する。

以上のように、本実施形態では、車載装置１００は、車両の室内を撮像する車載カメラ１１０から車内の撮像画像を取得し、車内の撮像画像に基づいて、車内に存在する人物の特徴を推定し、車内の人数と車内の人物の特徴が関連付けられた車内の人員構成を推定し、車内で利用されたサービスを特定し、車内の人員構成と車内でのサービスが関連付けられた車内での利用履歴情報をデータセンタ３００に送信する。データセンタ３００では、サーバ処理装置３３０は、車内での利用履歴情報をデータベース３２０に蓄積させ、蓄積された車内での利用履歴情報を分析することで車内の人員構成ごとに最適なサービスを特定する。これにより、様々な車内の人員構成に対応したサービスの提供が可能となるとともに、乗車してから時間をかけることなく車内に最適なサービスの決定をすることができる。

また、本実施形態では、車載装置１００は、車内の人物の特徴として車内の人物の性別及び年齢を推定する。これらの特徴は、車載カメラ１１０の撮像画像のみを用いて車内の人物の特徴を推定され、人員構成に含まれる各パラメータを、複雑な装置を用いることなく容易に推定することができる。

さらに、本実施形態では、外部装置２００は、車両の室外を撮像する外部カメラ２１０から車外の撮像画像を取得し、車外の撮像画像に基づいて、車外に存在する人物の特徴を推定し、車外の人数と車外の人物の特徴が関連付けられた車外の人員構成を推定し、車外で利用されたサービスを特定し、車外の人員構成と車外でのサービスが関連付けられた車外での利用履歴情報をデータセンタ３００に送信する。データセンタ３００では、サーバ処理装置３３０は、車外での利用履歴情報をデータベース３２０に蓄積させ、車内での利用履歴情報及び車外で利用履歴情報を分析することで車内の人員構成ごとに最適なサービスを特定する。車外での利用履歴情報には、施設や家庭内で利用されたサービスを含むため、例えば、現在の流行に合わせたサービスであっても提供することが可能になる。

また、本実施形態では、車載装置１００は、複数の車載カメラ１１０から取得した複数の車内の撮像画像に基づいて、車内の人物の特徴を推定する。これにより、車内の人物の特徴を精度良く推定することができる。

さらに、本実施形態では、車載装置１００は、車載カメラ１１０から現在の車内の撮像画像を取得し、現在の車内の撮像画像に基づいて、現在の車内に存在する人物の特徴を推定し、現在の車内の人数と現在の車内の人物の特徴が関連付けられた現在の車内の人員構成を推定し、現在の車内の人員構成の情報をデータセンタ３００に送信する。データセンタ３００では、サーバ処理装置３３０は、データベース３２０に蓄積された、車内の人員構成ごと特定された最適なサービスの中から、現在の車内の人員構成に最適なサービスを選択して車載装置１００に送信する。車載装置１００では、車載制御装置１７０は、データセンタ３００から受信した現在の人員構成に最適なサービスを車内に提供する。これにより、乗車してから時間をかけることなく車内に最適なサービスを提供することができる。

また、本実施形態では、車載装置１００は、データセンタ３００から受信した最適なサービスを車内に提供するか否かの選択を車内の人物に促す。これにより、車内の人物は必要に応じてデータセンタ３００からのサービス案内情報を利用することができる。

さらに、本実施形態では、車載装置１００は、車載カメラ１１０が撮像した車内の撮像画像から、過去に乗車経験がある人物を検出した場合、乗車経験がある人物の情報をデータセンタ３００に送信する。データセンタ３００では、データベース３２０から、乗車経験がある人物が過去に利用したサービスを抽出して車載装置１００に送信する。車載装置１００では、車載制御装置１７０は、車内に抽出したサービスを提供する。これにより、乗車経験がある各個人の好みに合ったサービスを車内に提供することができる。

また、本実施形態では、サーバ処理装置３３０は、データベース３２０に蓄積された分析結果に基づいて、現在の車内の人員構成に適した複数のサービス候補を抽出する。また、サーバ処理装置３３０は、抽出した複数のサービスに対して、現在の車内の人員構成で利用される可能性が高い順に優先度を付ける。車載装置１００では、優先度が付された複数のサービス候補が車内に提示される。これにより、初めて乗車する人がいる場合であっても、この乗員の好みに近いサービスを提案することができる。

なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態において開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

例えば、上述の実施形態では、車内で利用されるサービスとして、車載ディスプレイ１４０及び車載スピーカ１５０の少なくとも何れか一方を利用したサービスを例に挙げて説明したが、車内で利用されるサービスはこれに限定されない。例えば、車内で利用されるサービスは、車内の人物が所有する端末装置を利用したサービスであってもよい。端末装置としては、携帯電話、スマートフォン、ノートパソコン、タブレットパソコン等のインターネット接続可能な装置が一例として挙げられる。また、端末装置を利用したサービスとしては、アプリケーションを用いて再生される音楽、テレビ番組や、インターネットブラウザが表示するウェブサイト等が一例として挙げられる。

端末装置を利用したサービスを車内で利用している場合、車載装置１００は、車載カメラ１１０が撮像する車内の撮像画像、車載マイク１２０が収集する音声情報から、端末装置を利用したサービスの種別及び具体的な内容を特定する。また、この場合、データセンタ３００からのサービス案内の送信先は、車載装置１００ではなく端末装置であってもよい。このように、端末装置を利用したサービスを対象にすることで、データセンタ３００側では、端末装置の仕様により利用することができないサービスを、分析対象から予め取り除くことができる。これにより、サービスの出力装置の仕様に合わず、実際には利用できないサービスの情報を車内に提示するのを防ぐことができる。

また、例えば、上述した実施形態では、外部装置２００が特定するサービスの対象は、外部装置２００そのものが提供しているサービスであったが、これに限られない。例えば、外部装置２００は、外部カメラ２１０が撮像する車外の撮像画像や外部マイク２２０が収集する音声情報から、外部装置２００の周辺に設けられた装置や機器が提供しているサービスを特定することができる。例えば、外部装置２００が商業施設に設けられていれば、外部装置２００は、外部マイク２２０により商業施設内に流れる音楽を特定することができる。また、例えば、外部装置２００が家庭内に設けられていれば、外部装置２００は、外部カメラ２１０によりテレビで放映されている番組を特定することができる。外部装置２００が特定するサービスの対象を広げることで、データベース３２０には多種多様のサービスが蓄積される。その結果、様々な人員構成に対応することが可能な最適なサービスを車内に提供することができる。

また、例えば、上述した実施形態では、車載装置１００側では、車内の人物の特徴を推定したり、車内の人員構成を推定したりする構成を例に挙げて説明したが、車内の人物の特徴を推定すること、車内の人員構成を推定することは、データセンタ３００であってもよい。例えば、車載装置１００は、車載カメラ１１０が撮像した車内の撮像画像をデータセンタ３００に送信し、サーバ処理装置３３０側で、車内の人物の特徴や車内の人員構成を推定してもよい。

また、例えば、上述した実施形態では、本発明に係る情報処理装置を、情報提供システム１を構成する、車載制御装置１７０と、データベース３２０と、サーバ処理装置３３０の構成を例に説明したが、本発明はこれに限定されるものではない。例えば、データセンタ３００が備える、データベース３２０と、サーバ処理装置３３０を車載装置１００が備えていてもよい。

また、例えば、上述した実施形態では、本発明に係るコントローラを、車載制御装置１７０とサーバ処理装置３３０の構成を例に説明したが、本発明はこれに限定されるものではない。

１…情報提供システム
１００…車載装置
１１０…車載カメラ
１２０…車載マイク
１３０…車載操作機器群
１４０…車載ディスプレイ
１５０…車載スピーカ
１６０…車載通信装置
２００…外部装置
２１０…外部カメラ
２２０…外部マイク
２３０…外部操作機器群
２４０…外部ディスプレイ
２５０…外部スピーカ
２６０…外部通信装置
３００…データセンタ
３１０…サーバ通信装置
３２０…データベース
３３０…サーバ処理装置

Claims (10)

1. コントローラと記憶装置を用いた情報処理方法であって、
   車両の室内を撮像するカメラから車内の撮像画像を取得し、
   前記車内の撮像画像に基づいて、前記車内に存在する人物の特徴を推定し、
   前記車内の人数と前記車内の人物の特徴が関連付けられた車内の人員構成を推定し、
   前記車内で利用されたサービスを特定し、
   前記車内の人員構成と前記車内での前記サービスが関連付けられた車内での利用履歴を前記記憶装置に蓄積させ、
   蓄積された前記車内での利用履歴から、前記サービスごとに、利用される傾向にある前記人数及び前記人物の組み合わせを特定することで、前記車内の人員構成ごとに利用される傾向にあるサービスを特定し、
   前記車内の撮像画像から過去に前記車両に乗車経験がある人物が検出されない場合、現在の前記車内の人員構成で利用される傾向にあるサービスを出力する情報処理方法。
2. 請求項１に記載の情報処理方法であって、
   前記車内に存在する人物の特徴は、性別及び年齢である情報処理方法。
3. 請求項１又は２に記載の情報処理方法であって、
   前記サービスは、端末装置で利用可能なサービスである情報処理方法。
4. 請求項１～３の何れか一項に記載の情報処理方法であって、
   前記車両の室外を撮像するカメラから車外の撮像画像を取得し、
   前記車外の撮像画像に基づいて、前記車外に存在する人物の特徴を推定し、
   前記車外の人数と前記車外の人物の特徴が関連付けられた車外の人員構成を推定し、
   前記車外で利用されたサービスを特定し、
   前記車外の人員構成と前記車外での前記サービスが関連付けられた車外での利用履歴を前記記憶装置に蓄積させ、
   蓄積された前記車内での利用履歴及び前記車外での利用履歴を分析することで前記車内の人員構成ごとに利用される傾向にあるサービスを特定する情報処理方法。
5. 請求項１～４の何れか一項に記載の情報処理方法であって、
   前記車両の室内を撮像する複数のカメラから複数の車内の撮像画像を取得し、
   前記複数の車内の撮像画像に基づいて前記車内に存在する人物の特徴を推定する情報処理方法。
6. 請求項１～５の何れか一項に記載の情報処理方法であって、
   前記車内の前記カメラから現在の車内の撮像画像を取得し、
   前記現在の車内の撮像画像に基づいて、現在の車内に存在する人物の特徴を推定し、
   現在の前記車内の人数と現在の前記車内の人物の特徴が関連付けられた現在の車内の人員構成を推定し、
   車内の人員構成ごとに特定された利用される傾向にあるサービスの中から、現在の車内の人員構成で利用される傾向にあるサービスを出力する情報処理方法。
7. 請求項６に記載の情報処理方法であって、
   前記車内に存在する人物の選択に応じて、前記利用される傾向にあるサービスを出力するか否かを切り替える情報処理方法。
8. 請求項６又は７に記載の情報処理方法であって、
   前記現在の車内の撮像画像から、過去に前記車両に乗車経験がある人物が検出された場合、過去に前記車内で利用されたサービスを出力する情報処理方法。
9. 請求項６～８の何れか一項に記載の情報処理方法であって、
   前記記憶装置に蓄積された情報から、前記現在の車内の人員構成で利用される傾向にある複数のサービスの候補を抽出し、
   前記複数のサービスの候補に、前記現在の車内の人員構成で利用される可能性が高い順に優先度を付け、
   優先度が付された前記複数のサービスの候補を出力する情報処理方法。
10. 情報処理を実行するコントローラと、
    記憶装置を備え、
    前記コントローラは、
    車両の室内を撮像するカメラから車内の撮像画像を取得し、
    前記車内の撮像画像に基づいて、前記車内に存在する人物の特徴を推定し、
    前記車内の人数と前記車内の人物の特徴が関連付けられた車内の人員構成を推定し、
    前記車内で利用されたサービスを特定し、
    前記車内の人員構成と前記車内での前記サービスが関連付けられた車内での利用履歴を前記記憶装置に蓄積させ、
    蓄積された前記車内での利用履歴から、前記サービスごとに、利用される傾向にある前記人数及び前記人物の組み合わせを特定することで、前記車内の人員構成ごとに利用される傾向にあるサービスを特定し、
    前記車内の撮像画像から過去に前記車両に乗車経験がある人物が検出されない場合、現在の前記車内の人員構成で利用される傾向にあるサービスを出力する情報処理装置。
    

Images