以下、添付図面を参照して、本願の開示する車載装置および表示方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。
まず、図1A~図1Cを用いて、実施形態に係る車載装置および表示方法の概要について説明する。図1Aは、車載システムの概要を示す図である。図1Bは、表示方法の概要を示す図である。図1Cは、表示画像の遷移図の一例を示す図である。なお、実施形態に係る表示方法は、図1Aに示す各車載装置1と、管理サーバ100とがデータを送受信することで実行される。
図1Aに示すように、実施形態に係る通信システムSは、各車両Cに搭載された車載装置1と、管理サーバ100とを含む。車載装置1は、例えば、通信機能を備えたドライブレコーダである。車載装置1は、撮像したカメラ画像や、車両Cの位置情報、走行状態に関する情報などを所定周期で管理サーバ100へ送信する。
管理サーバ100は、各車載装置1から送信された情報を例えば、データベースで管理するサーバ装置である。また、車載装置1は、他の車載装置1で撮像されたカメラ画像を管理サーバ100を介さずにリアルタイムで受信することも可能である。
尚、ここでいうリアルタイムとは、配信車両が受信車両へ送信するカメラ画像を、配信車両が取得した時間と同じ時間、または少なくとも受信遅れが感じないレベルで配信車両と受信車両間でカメラ映像が送受される状態をリアルタイムと定義している。
ところで、近年、ネットワークの普及に伴い、車載装置が、他の車載装置で撮像されたカメラ画像を取得し、車内のディスプレイに表示する車載システムが普及しつつある。しかしながら、従来技術においては、ユーザビリティの向上を図るうえで改善の余地があった。
例えば、従来技術においては、カメラ画像を取得する車載装置を選択するためのユーザ操作を必要とし、また、ユーザがカメラ画像の撮像位置を把握するのが容易でなかった。
そこで、実施形態に係る表示方法では、ユーザがカメラ画像の要求を意図するシチュエーションを検出し、シチュエーションに基づく目的地点のカメラ画像を取得するとともに、取得したカメラ画像の表示に先立って、目的地点の俯瞰画像を表示する。
具体的には、図1Bに示すように、例えば、車両Cが渋滞に遭遇したシチュエーションを想定する。かかるシチュエーションにおいては、車両Cの乗員は、「渋滞の原因は何だろう」と思考することがある。
このため、実施形態に係る表示方法では、車両Cが渋滞に遭遇するというシチュエーションを検出すると(ステップS1)、シチュエーションに基づく目的地点が撮像されたカメラ画像である目的画像を取得する(ステップS2)。
例えば、実施形態に係る表示方法では、車両Cの位置情報や、渋滞情報に基づき、車両Cが渋滞に遭遇するシチュエーションを検出することができる。
上記の例において、目的地点は、渋滞の先頭であり、車載装置1は、目的地点の通過車両の車載装置1から目的画像を受信することとなる。実施形態に係る表示方法では、目的画像をユーザへ提示することで、ユーザは、渋滞の原因を特定することが可能となる。
さらに、実施形態に係る表示方法では、目的地点の俯瞰画像を表示した後に、目的画像を表示させる表示制御を行う(ステップS3)。具体的には、図1Cに示すように、実施形態に係る表示方法では、例えば、現在表示中のナビゲーション画像Lnから目的地点の俯瞰画像Lv1~Lv2を経て、目的画像Ltを表示させる。
なお、俯瞰画像Lv1および俯瞰画像Lv2は、縮尺が異なる俯瞰画像Lvであり、俯瞰画像Lv2の方が俯瞰画像Lv1よりも縮尺が小さい画像である。すなわち、同図に示す例では、実施形態に係る表示方法において、目的地点を徐々にズームアップした俯瞰画像Lvを表示させた後に、目的地点の目的画像Ltが表示される。
このように、実施形態に係る表示方法では、ユーザがカメラ画像の要求を意図するシチュエーションを検出し、シチュエーションに基づく目的地点のカメラ画像を取得する。これにより、ユーザ操作が不要となる。
また、実施形態に係る表示方法では、目的画像Ltに先立って、目的地点を示す俯瞰画像を表示させる。特に、実施形態に係る表示方法では、目的地点をシステム側で選別するため、乗員に対して目的地点を早急に認識させるうえで、俯瞰画像が有効となる。
これにより、ユーザが目的地点を容易に把握することができる。したがって、実施形態に係る表示方法によれば、ユーザビリティを向上させることが可能となる。なお、同図に示す例では、説明の便宜上、2種類の俯瞰画像Lvを示しているが、3種類以上の俯瞰画像Lvを用いることにしてもよい。
例えば、自車両付近の周囲状況(自車両付近を中心としたやや広域の俯瞰画像)~自車両と目的地点の位置関係(自車両付近と目的地付近の両方を含む広域の俯瞰画像)~目的地点付近の周囲状況(目的地点付近を中心としたやや広域の俯瞰画像)の順で表示を徐々に変化させることにより、道路状況等の全貌・詳細を知ることができる。また、詳細図に衛星写真等の実画を用いる等、適宜実画とイラスト画を切り替えることにより、情報の特性に応じたわかりやすい表示となる。
次に、図2を用いて実施形態に係る車載装置1の構成例について説明する。図2は、車載装置1のブロック図である。図2に示すように、実施形態に車載装置1は、カメラ31、車載センサ32、GPS(Global Positioning System)装置33、ナビゲーション装置34および端末装置35が接続される。
カメラ31は、車両Cの周囲を撮像するカメラであり、所定のフレームレートでカメラ画像を生成する。車載センサ32は、車両Cの走行状態や、エンジン等の各種車載機器の状態等を検出する各種センサである。
具体的には、例えばCAN‐BUS(車内LAN)上に流れる、車速、ブレーキ、ステアリング操舵角度、ヨーレート等が含まれ、車両の走行状態に関する情報だけでなく、車両を識別するための情報も含まれる。
GPS装置33は、車両の現在地を測位する装置である。ナビゲーション装置34は、乗員によって設定された車両Cの目的地までの走行経路を設定する装置である。端末装置35は、所謂テレマティクスサービスを実現するために例えば、携帯通信網を介して車載装置1と管理サーバ100との間で情報を送受信するための通信機能を備えた通信モジュールである。便宜上、車載装置1と別体で図示しているが車載装置1に含まれる構成であってもよい。また、を車両Cの乗員が所有するスマートフォン、タブレット端末等の可搬性の通信機器であってもよい。さらには、端末装置35にGPS装置33が一体となった構成でもよい。
また、図2に示すように、車載装置1は、出力した映像やカメラ画像などの画像を表示する表示装置50に接続される。表示装置50は、表示部51および操作部52を備える。
表示部51は、例えば、有機ELや、液晶ディスプレイで構成されたタッチパネルディスプレイであり、車載装置1から出力される映像信号を表示する。なお、表示部51は、目的地画像表示部の一例である。操作部52は、表示部51に表示された映像または画像に基づき、乗員からの所定操作を受け付ける。
例えば、操作部52は、配信車両の選択操作などを受け付けることができる。また、操作部52は、カメラ画像を時系列に並べたカメラ映像の再生、停止、巻き戻し等の各種操作を受け付けることも可能である。また、ユーザは、操作部52を介して、過去に撮像されたカメラ画像の配信を要求することも可能である。
すなわち、実施形態に係る通信システムSでは、カメラ画像のリアルタイム配信に加え、過去に撮像されたカメラ画像を後から配信することも可能である。なお、操作部52を例えば、表示装置50とは別に設けることにしてもよい。
図2に示すように、車載装置1は、制御部10と、記憶部20とを備える。制御部10は、送信部11と、検出部12と、補正部13と、受信部14と、生成部15と、表示制御部16とを備える。
制御部10は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、入出力ポートなどを有するコンピュータや各種の回路を含む。
コンピュータのCPUは、例えば、ROMに記憶されたプログラムを読み出して実行することによって、制御部10の送信部11、検出部12、補正部13、受信部14、生成部15および表示制御部16として機能する。
また、制御部10の送信部11、検出部12、補正部13、受信部14、生成部15および表示制御部16の少なくともいずれか一部または全部をASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等のハードウェアで構成することもできる。
また、記憶部20は、例えば、RAMやHDDに対応する。RAMやHDDは、送信リスト情報21、検出条件情報22、地図情報23および俯瞰画像情報24を記憶する。なお、車載装置1は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。
送信リスト情報21は、各車載装置1が管理サーバ100へ送信するデータのリストに関する情報である。図3は、送信リスト情報21の具体例を示す図である。図3に示すように、送信リスト情報21には、位置情報、センサ情報、画像情報、エリア情報、経路情報、検索履歴情報などが含まれる。
送信リスト情報21は、各車載装置1が管理サーバ100へ送信するデータのリストに関する情報である。図3は、送信リスト情報21の具体例を示す図である。図3に示すように、送信リスト情報21には、位置情報、車両情報、映像情報、エリア情報、経路情報、検索履歴情報などが含まれる。
位置情報は、車両の現在地に関する情報であり、車載装置1がGPS装置33から通知される情報である。車両情報は、車載センサ32によって検出された各種車両情報の値に関する情報である。
映像情報は、カメラ31によって撮像されたカメラ画像に関する情報である。エリア情報は、ナビゲーション装置34のナビゲーション画像に表示されるエリアに関する情報である。例えば、エリア情報は、ナビゲーション画像の更新毎に、管理サーバ100へ通知される。
経路情報は、ナビゲーション装置34において設定された目的地および目的地までの走行予定経路に関する情報である。検索履歴情報は、例えば、端末装置35によって検索されたWeb検索履歴に関する情報である。例えば、車載装置1は、端末装置35から検索履歴情報を取得することができる。なお、図3に示す送信リスト情報21は、一例であり、任意に変更することにしてもよい。
図2の説明に戻り、検出条件情報22について説明する。検出条件情報22は、自車両の乗員がカメラ画像の要求を意図するシチュエーションを検出するための検出条件に関する情報である。図4は、検出条件情報22の一例を示す図である。
図4に示すように、検出条件情報22は、条件ID、シチュエーションおよび目的地点などが互いに対応付けられた情報である。条件IDは、検出条件を識別するための識別子である。シチュエーションは、検出条件を示す局面を示す。また、目的地点は、カメラ画像を取得すべき、撮像地点を示す。
図4に示す例において、条件ID「0001」のシチュエーションは、車両Cの渋滞遭遇であり、目的地点は、渋滞の先頭である。条件ID「0001」は、渋滞の原因が知りたいと考える乗員の心理に基づくものである。
また、条件ID「0002」のシチュエーションは、例えば、高速道路などにおける本線合流前であり、目的地点は、本線への合流地点である。条件ID「0002」は、合流地点の混雑状況を知りたいと考える乗員の心理に基づくものである。
また、条件ID「0003」のシチュエーションは、目的地周辺到着であり、目的地点は、目的地付近の駐車場である。条件ID「0003」は、目的地周辺の駐車場の混雑状況を知りたいと考える乗員の心理に基づくものである。
また、条件ID「0004」のシチュエーションは、目的地設定であり、目的地点は、目的地である。条件ID「0004」は、目的地の現在の様子を知りたいと考えるユーザの心理に基づくものである。条件ID「0004」においては、例えば、目的地が店舗である場合、ユーザは、目的地の混雑状況のみならず、現在、営業しているかを事前に把握することができる。
また、条件ID「0005」のシチュエーションは、現在地の天候の変化であり、目的地点は、目的地周辺である。条件ID「0005」は、現在地の天候が変化したが、目的地の天候はどうなったかを知りたいと考える乗員の思考に基づくものである。
なお、図4に示す検出条件は、一例であり、任意に変更することができる。また、シチュエーションや、目的地点をさらに細分化することにしてもよい。例えば、条件ID「0004」のシチュエーションにおける「目的地設定」を「目的地として店舗を設定」とすることなど、適宜変更することが可能である。
図2の説明に戻り、地図情報23について説明する。地図情報23は、道路や建造物の位置を示す地図に関する情報である。俯瞰画像情報24は、例えば、地図を上空から見た俯瞰画像に関する情報である。例えば、俯瞰画像情報24には、衛星写真や航空写真などの実画像や、かかる実画像を模造したイラスト画像が含まれる。
制御部10は、上記のシチュエーションを検出し、シチュエーションに基づく目的地点の目的画像を取得するとともに、目的画像に先立って、目的地点の俯瞰画像Lvを表示させる。
送信部11は、撮像したカメラ画像や、車両Cの位置情報、走行状態に関する情報などを所定周期で管理サーバ100へ送信する。具体的には、送信部11は、記憶部20に記憶された送信リスト情報21に基づき、送信データを生成し、管理サーバ100へ送信する。
この際、送信部11は、送信リスト情報21に記載された情報が含まれる送信データを生成する必要はなく、データを選別して送信データを生成することにしてもよい。具体的には、例えば、送信部11は、車両情報に含まれる、例えば急ブレーキが踏まれた時に検出されるブレーキ情報や急舵角操作の時に検出されるステアリング操舵に関する情報や、映像情報を送信することにしてもよい。
また、ここでは便宜上、急ブレーキが踏まれた時や急操舵操作時と言った各シーンと、各シーンに対する単一の車両情報を組み合わせた情報および映像情報を送信することと記載しているが、各シーンを細かく判定するために、各シーンに紐づく車両情報を少なくとも2つ以上用いて判定したり、少なくとも2つ以上の変化率などを判定基準として用いてもよい。
検出部12は、自車両の乗員がカメラ画像の要求を意図するシチュエーションを所定の検出条件に基づいて検出する。具体的には、例えば、検出部12は、例えば、車載センサ32や、GPS装置33、ナビゲーション装置34および端末装置35から入力されるデータを解析し、検出条件情報22に合致するシチュエーションを検出する。
また、検出部12は、渋滞情報や交通規制などの交通情報や、天候情報などといった外部サーバから送信される情報に基づき、上記のシチュエーションを検出することもできる。
具体的には、図4に示したように、検出部12は、条件ID「0001」において、自車両が渋滞に遭遇することを自車両の走行経路や、渋滞情報に基づいて検出することができる。
また、図4に示した条件ID「0002」~「0004」においては、自車両の走行経路および現在地と、地図情報とに基づいて検出することができる。また、条件ID「0005」においては、現在地の天候の変化を天候情報に基づいて検出することが可能である。
検出部12は、上記のシチュエーションを検出すると、目的地点を撮像可能な車両の選定を管理サーバ100に対して要求する。また、検出部12は、例えば、図4の条件ID「0001」に示すように、目的地点Ptが車載装置1側で判別できない場合、目的地点の選定を車両の選定とあわせて管理サーバ100に対して要求する。
一方、検出部12は、条件ID「0002」に示すように、目的地点が車載装置1側で判別可能である場合、目的地点の位置情報を後段の処理に回す。
図2の説明に戻り、補正部13について説明する。補正部13は、受信部14によって受信されたカメラ画像に基づいて、検出条件情報22を補正する。例えば、補正部13は、カメラ画像に対する乗員の反応に基づいて検出条件を補正することができる。
例えば、補正部13は、表示装置50にてカメラ画像を表示後のユーザ操作に応じて、検出条件情報22を補正することができる。図5は、補正部13による処理の具体例を示す図である。
図5に示す例では、補正部13が、検出条件情報22における条件ID「0001」の目的地点を補正する場合について説明する。図5に示すように、補正部13は、目的地点として「渋滞の先頭」が撮像されたカメラ画像を表示したものの、乗員が望む目的地点が「先頭の渋滞」でなかった場合、目的地点を補正する。
例えば、補正部13は、「渋滞の先頭」のカメラ画像を表示後に、目的地点の指定を受け付ける受付画面を表示し、乗員から目的地点の指定を受け付ける。そして、補正部13は、乗員によって指定された目的地点に基づいて、検出条件情報22を補正する。
同図に示す例では、目的地点を「渋滞の先頭」から「迂回ルート」へ補正する場合を例示する。このように、補正部13は、検出条件情報22を補正することで、各乗員に適したシチュエーションで、シチュエーションに適した目的地点のカメラ画像を提供することが可能となる。
なお、図4に示す各シチュエーション毎の目的地点候補を優先順位を付加して設定しておき、例えば第1優先順位のカメラ映像を表示すると共に、下位優先順位の目的地点の選択スィッチを表示し、ユーザが下位優先順位の目的地点を選択操作した場合に当該選択した目的地点のカメラ映像を表示する方法等により、検出条件情報22を補正したカメラ映像を表示することが可能となる。
なお、ここでは、説明を簡単にするため、補正部13が、目的地点を補正する場合について説明したが、シチュエーションを補正したり、新たな検出条件を作成したりすることもできる。
また、補正部13は、周囲の交通状況や天候情報などの外部因子に基づき、シチュエーションおよび目的地点のパターンを学習し、学習結果に基づいて検出条件情報22を補正することにしてもよい。
図2の説明に戻り、受信部14について説明する。受信部14は、目的地点が撮像されたカメラ画像である目的画像を受信する。具体的には、受信部14は、検出部12によって上記のシチュエーションが検出された場合、目的地点を撮像する車両に搭載された車載装置1のIPアドレスを受信する。
そして、受信部14は、送信部11に対してIPアドレスに基づき、目的地点を撮像可能な車両に搭載された車載装置1(以下、配信車両と記載する)との接続要求の送信を指示する。これにより、受信部14は、配信車両から送信される目的画像を受信することとなる。
ここで、目的画像は、リアルタイム配信されるカメラ画像であるが、受信部14は、過去の所定時刻に遡及してカメラ画像を受信することも可能である。この場合、受信部14は、送信部11に対して、管理サーバ100から目的画像の送信要求の送信を指示する。
なお、この場合、管理サーバ100は各車両のカメラ映像を収集しておくことが必要であるが、シチュエーションの発生場所付近・発生日時前後の映像情報だけを収集・保存するようにし、またその保管期間も所定期間長とすることにより、記憶容量を低減することができる。なお、車両側装置も最新の所定期間分だけカメラ映像を保存するようにしておくことにより、管理サーバ100のカメラ映像送信要求に対応することができ、また記憶容量も抑えることができる。
これにより、現在のみならず、過去の目的画像を受信することが可能となる。したがって、通信システムSの利便性を向上させることが可能となる。すなわち、受信部14は、例えば、事故の発生時刻における事故現場のカメラ画像などを目的画像として受信することも可能である。
生成部15は、目的画像に先立って表示される例えば、上述の俯瞰画像や視点画像を生成する。図6~図9は、生成部15による処理の具体例を示す図である。なお、以下では、生成部15が、目的地点Ptの位置情報を既に取得しているものとして説明する。
まず、図6および図7を用いて、生成部15による俯瞰画像の生成処理について説明する。なお、図6のAに示す表示画像は、表示装置50に表示される画像を示し、図6のBに示す画像種別は、表示装置50に表示される画像の種別を示す。
また、図6のCに示す拡大率は、表示装置50に表示される画像の拡大率を示す。そして、図6のDに示す中心位置は俯瞰画像の中心位置を示す。また、ここでは、時刻t11において、俯瞰画像の表示が開始される場合について説明する。
図6のAに示すように、時刻t11以前は、表示装置50には、ナビゲーション画像が表示され、その後、俯瞰画像を経て、目的画像が表示される。ここで、例えば、ナビゲーション画像は、イラスト画像であり、目的画像は、実画像(写真または映像)である。
このため、図6のBに示すように、生成部15は、イラスト画像の俯瞰画像を生成し、その後、実画像の俯瞰画像を生成する。すなわち、イラスト画像であるナビゲーション画像から実画像である目的画像へ一度に切り替えるのではなく、俯瞰画像をイラスト画像と実画像との緩衝材として用いる。
これにより、イラスト画像から実画像に切り替わる際にユーザに与える違和感を軽減することができる。
また、図6のCに示すように、生成部15は、俯瞰画像が表示される時刻t11から拡大率を徐々に縮小した(徐々に広域地図化)のちに、俯瞰画像の拡大率を徐々に拡大する(徐々に詳細地図化)。このとき、生成部15は、自車両の現在地および目的地点を含む広域画像から徐々に目的地点を拡大した狭域画像を生成する。
この俯瞰画像表示の際の俯瞰画像(地図)の中心位置は、図6Dに示すように、時刻t11から所定期間は移動せずに自車両位置とし、拡大率だけが徐々に縮小される。その後、俯瞰画像(地図)の中心位置は徐々に目的地点に移動し、拡大率が徐々に拡大して最高拡大率に達する少し前に目的地点に達する。つまり、自車両周囲のある程度広い範囲の確認が出来たのちに地図の移動が始まり、目的位置のある程度広い範囲の確認が出来たのちに目的位置近傍の詳細が確認できる状況となるので、全貌・詳細が把握しやすい表示が実現できる。
このように、生成部15は、広域画像および狭域画像を生成する。そして、表示制御部16は、広域画像、狭域画像の順に順次、表示装置50に表示させる。これにより、自車両の乗員に対して、自車両および目的地点の位置関係を容易に把握させることが可能となる。
具体的には、図7に示すように、生成部15は、表示領域の中心が現在地Pnとなる表示領域Da1の広域画像を生成し、その後、例えば、縮尺を変更せずに、表示領域の中心が目的地点Ptである表示領域Da2の広域画像を生成する。その後、生成部15は、目的地点Ptを中心として表示領域Da2を徐々に拡大した狭域画像を生成する。
つまり、表示遷移状態を詳述すると、自車両位置の中心の詳細地図から広域地図にその中心位置が徐々に目的地点に移動するように画像が変化し、ついには自車両位置と目的地点の両方が表示される広域地図となる。なお、地図画像については徐々にイラスト画像から実画像に徐々に変化する、あるいは所定タイミングで切り替わる方式であってもよい。その後、地図画像の中心は徐々に目的地点に接近し、また広域地図から詳細地図と変化する。そして、最後には目的地点の車両のカメラ撮影映像が表示される。
さらに、目的地点の車両のカメラ撮影映像は現在映像、所謂ライブ映像であってもよいが、事故等のイベント発生時点前後まで撮影時間が移動する映像(所謂、巻き戻し再生)や、ユーザ操作により撮影時間を変更した映像でも効果的な映像表示となり、これら表示形態を選択できるようにしてもよい。
なお、生成部15は、表示領域Da1の広域画像を省略して、表示領域Da2の広域画像から生成することにしてもよい。また、広域画像には、自車両の現在地が含まれないことにしてもよい。
また、図8に示すように、生成部15は、俯瞰画像において、俯瞰画像の表示領域に存在する周辺車両の位置・移動状況等を示すアニメーション画像を生成することも可能である。具体的には、例えば、生成部15は、俯瞰画像における表示領域に関する情報を管理サーバ100へ通知し、管理サーバ100から表示領域に存在する周辺画像の実際の走行速度、走行向きなどに関する走行情報を取得する。
そして、生成部15は、上記の走行情報に基づき、周辺車両を示すアニメーション画像Ic1~Ic3を生成する。また、生成部15は、各アニメーション画像Ic1~Ic3に対して、進行方向を示す矢印A1~A3を生成する。
矢印A1~A3は、それぞれ周辺車両の走行する向きを示し、矢印A1~A3の色(ここではハッチング)は、自車両に対する各周辺車両の相対速度を示す。例えば、矢印A1は、自車両よりも周辺車両の速度が速いことを示し、矢印A2は、自車両よりも周辺車両の速度が遅いことを示す。また、矢印A3は、周辺車両の速度が自車両と同等であることを示す。
このように、生成部15は、アニメーション画像Icや矢印Aを生成することで、自車両の乗員に対して、周辺車両の現在(過去画像である場合は当時)の様子を容易に把握させることが可能となる。なお、ここでは、各矢印A1~A3の色によって、周辺車両の走行速度を示す場合について説明したが、例えば、走行速度によって矢印の長さや太さや大きさを変更するなど、その他、実際に走行している車両の挙動を実際の映像でない別の画で模擬していることを特徴とするような手法を用いることにしてもよい。
ところで、生成部15は、自車両の現在地から目的地点までの経路上を仮想的に移動する視点画像を生成することも可能である。具体的には、図9に示すように、自車両MCが渋滞の先頭である目的地点Ptの目的画像を受信する場合を想定する。
この場合、例えば、生成部15は、自車両MCから目的地点Ptまでの経路上を移動する視点画像Lpを生成する。具体的には、生成部15は、図9に示す仮想カメラVcを矢印に沿って移動させた視点画像Lp1~Lp3を生成することができる。
例えば、生成部15は、各前方車両からカメラ画像を受信して、受信したカメラ画像を撮像位置に応じて繋ぎ合わせることで、視点画像Lp1~Lp3を生成することができる。また、反対車線を走行する車両の撮影映像を逆方向に再生すると言った方法も、中間地点の概要を知ると言った程度の簡易的表示としては有効である。
また、生成部15は、前方車両の位置情報に基づき、各前方車両のポリゴン画像を生成し、生成したポリゴン画像を例えば、3次元の地図画像に重畳することで、視点画像Lp1~Lp3を生成することにしてもよい。
このように、生成部15は、視点画像Lpを生成することで、自車両MCの乗員に対して、現在地から目的地点Ptまでの距離感や経路を容易に把握させることができる。
図2の説明に戻り、表示制御部16について説明する。表示制御部16は、目的地点Ptの俯瞰画像を経て、受信部14によって受信された目的画像を表示させる。
具体的には、表示制御部16は、例えば、検出部12によって上記のシチュエーションが検出された場合に、生成部15によって生成された俯瞰画像を表示させ、俯瞰画像を経て、目的画像を表示させる。
表示制御部16は、例えば、表示装置50にナビゲーション画像が表示中である場合、徐々に倍率を縮小する俯瞰画像を表示させ、その後、目的地点Ptを拡大して示す俯瞰画像を表示させる。このとき、上述のように、俯瞰画像においては、イラスト画像から実画像へ切り替わることとなる。
また、表示制御部16は、俯瞰画像において、アニメーション画像Ic(図8参照)を重畳して表示させたり、表示制御部16は、俯瞰画像を表示させた後、視点画像Lp(図9参照)を表示させたりすることも可能である。また、表示形態(位置・縮尺等)は維持したまま、時間軸を移動した映像を表示することも、映像の収集・編集条件を規定することにより可能である。このような表示を行うことにより、道路状態や発生イベントの全貌や詳細をいろんな視点、切り口から把握することができる。
次に、図10を用いて実施形態に係る管理サーバ100の構成例について説明する。図10は、管理サーバ100のブロック図である。図10に示すように、管理サーバ100は、交通情報サーバ201、天候情報サーバ202およびSNS(Social Networking Service)サーバ203に接続される。なお、交通情報サーバ201、天候情報サーバ202およびSNSサーバ203は、外部装置の一例である。
交通情報サーバ201は、渋滞に関する情報や交通規制に関する情報、交通事故に関する情報等を管理するサーバである。天候情報サーバ202は、天候に関する情報を管理するサーバであり、ゲリラ豪雨に関する情報などを管理サーバ100へ通知する。SNSサーバ203は、SNSを管理するサーバである。
管理サーバ100は、各車載装置1の現在地に関する情報や、各車載装置1で撮像されたカメラ画像等を管理するサーバ装置である。図10に示すように、管理サーバ100は、制御部110と、記憶部120とを備える。
制御部110は、取得部111と、選択部112と、通知部113とを備える。制御部110は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、入出力ポートなどを有するコンピュータや各種の回路を含む。
コンピュータのCPUは、例えば、ROMに記憶されたプログラムを読み出して実行することによって、制御部110の取得部111、選択部112および通知部113として機能する。
また、制御部110の取得部111、選択部112および通知部113の少なくともいずれか一部または全部をASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等のハードウェアで構成することもできる。
また、記憶部120は、例えば、RAMやHDDに対応する。RAMやHDDは、ユーザ情報DB121、位置情報DB122、車両情報DB123、画像情報DB124および検出条件DB125を記憶する。なお、管理サーバ100は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。
ユーザ情報DB121は、例えば、各車載装置1が搭載される車両の乗員(例えば、所有者)に関するデータベースである。例えば、ユーザ情報DB121には、車載装置ID、IPアドレス、現在地、目的地、走行経路等が互いに対応付けられたテーブルを記憶する。
位置情報DB122は、各車両Cの位置情報を管理するデータベースである。例えば、位置情報DB122には、各車両Cの位置情報の履歴が車載装置1毎に記憶される。
車両情報DB123は、各車載装置1から送信される各車両Cの車載センサ32によって検出されたセンサ値等の車両情報を管理するデータベースである。例えば、車両情報DB123には、車載装置1毎に時系列のセンサ値等の車両情報が記憶される。
画像情報DB124は、各車載装置1から送信されるカメラ画像を管理するデータベースである。例えば、画像情報DB124には、カメラ画像に対して、車載装置ID、撮像時刻、撮像位置に関する情報が対応付けられて記憶される。検出条件DB125は、各車載装置1で記憶された検出条件情報22(図2参照)を管理するデータベースである。
制御部110は、各車載装置1から送信される目的地点Ptを撮像可能な車両(配信車両)の選定要求や目的地点Ptの選定要求に基づき、配信車両や目的地点Ptの選定を行う。
取得部111は、各車載装置1から所定の周期で送信される各種情報を取得する。具体的には、取得部111は、各車載装置1から位置情報を取得し、位置情報DB122へ格納する。
また、取得部111は、各車載装置1から車載センサのセンサ値等の車両情報を取得し、車両情報DB123へ格納する。また、取得部111は、各車載装置1からカメラ画像を取得し、画像情報DB124へ格納する。
選択部112は、上述の配信車両の選定要求や目的地点Ptの選定要求に基づき、配信車両や目的地点Ptを選択する。選択部112は、車載装置1から目的地点Ptが指定される場合、配信車両をユーザ情報DB121の現在地や走行経路等に基づいて選択する。
なお、選択部112は、目的地点Ptを撮像可能な車両が複数存在する場合、複数の配信車両を選択することにしてもよいし、例えば、所定条件に基づき、1つの配信車両を選択することにしてもよい。
また、選択部112は、車両毎に目的地点Ptの撮像時刻(通過時刻)が異なる場合、時刻毎に異なる車両を配信車両として選択することもできる。
また、選択部112は、渋滞の先頭など、車載装置1側で目的地点Ptを判別できない場合、例えば、各車両の走行情報や交通情報サーバ101から通知される交通情報に基づいて目的地点Ptを選択することもできる。
また、選択部112は、車載装置1から過去のカメラ画像を要求された場合、要求されたカメラ画像を画像情報DB124から選択することも可能である。
通知部113は、選択部112による選択結果を各車載装置1へ通知する。具体的には、通知部113は、選択部112によって選択された配信車両のIPアドレスや、目的地点Ptの位置情報に関する情報等を目的画像を受信する受信車両に対して通知する。また、通知部113は、選択部112によって画像情報DB124から選択されたカメラ画像を上記の受信車両に対して送信することも可能である。
次に、図11を用いて、実施形態に係る車載装置1および管理サーバ100が実行する処理手順について説明する。図11は、車載装置1が実行する処理手順を示すフローチャートである。なお、以下に示す処理手順は、車載装置1によって繰り返し実行される。
図11に示すように、車載装置1は、まず、自車両の乗員がカメラ画像の要求を意図するシチュエーションを検出したか否かを判定する(ステップS101)。ここで、車載装置1は、上記のシチュエーションを検出した場合(ステップS101,Yes)、配信車両や管理サーバ100に対して、目的画像の配信を要求する(ステップS102)。
続いて、車載装置1は、目的地点Ptの俯瞰画像を生成し(ステップS103)、ステップS103にて生成した俯瞰画像を表示する(ステップS104)。なお、この処理による俯瞰画像は目的地点Ptの俯瞰画像であるが、俯瞰画像の中心地点や縮尺、またイラスト/実画像を変化させる場合は、それらの条件にあった映像の選択・収集や映像加工処理を行うことになる。その後、車載装置1は、受信した目的画像を表示して(ステップS105)、処理を終了する。
また、車載装置1は、ステップS101の判定処理において、上記のシチュエーションを検出していない場合(ステップS101,No)、ステップS101の処理を継続して行う。
次に、図12を用いて、実施形態に係る管理サーバ100が実行する処理手順について説明する。図12は、管理サーバ100が実行する処理手順を示すフローチャートである。なお、以下に示す処理手順は、管理サーバ100によって繰り返し実行される。
図12に示すように、管理サーバ100は、各車載装置1から送信される配信要求を取得したか否かを判定する(ステップS201)。管理サーバ100は、配信要求を取得した場合(ステップS201,Yes)、配信要求によって指定された目的画像は過去画像か否かを判定する(ステップS202)。
管理サーバ100は、配信要求によって指定された目的画像は過去画像でなかった場合(ステップS202,No)、配信車両を選択し(ステップS203)、配信要求を送信した車載装置1に対して、配信車両に関する情報を通知して(ステップS204)、処理を終了する。
また、管理サーバ100は、ステップS201の判定処理において、配信要求を取得しなかった場合(ステップS201,No)、ステップS201の処理を継続して行う。また、管理サーバ100は、ステップS202の判定処理において、配信要求によって指定された目的画像は過去画像であった場合(ステップS202,Yes)、画像情報DB124から選択した指定され過去画像を配信して(ステップS205)、処理を終了する。
なお、管理サーバ100は、保有・収集した映像データを選択・加工することにより、位置・縮尺・時間を変えた映像を生成することができ、配信要求のあった映像条件に従った映像を生成して配信することになる。
上述したように、実施形態に係る車載装置1は、検出部12と、表示部51(目的地画像表示部の一例)と、表示制御部16とを備える。検出部12は、目的地点付近のカメラ画像の表示要望に該当するシチュエーションを検出する。
表示部51は、検出部12によって検出されたシチュエーションに基づく目的地点付近が撮像されたカメラ画像である目的画像を表示する。表示制御部16は、目的地点付近の俯瞰画像を経て、目的画像を表示するように表示制御を行う。したがって、実施形態に係る車載装置1によれば、ユーザビリティを向上させることができる。
ところで、上述した実施形態では、各車両に搭載された車載装置1間で、カメラ画像の送受信を行う場合について説明したが、これに限定されるものではない。すなわち、各車載装置1は、常に管理サーバ100を介してカメラ画像の送受信を行うことにしてもよい。
また、車載装置1間の通信については、例えば、Wi-Fi(登録商標)などの近距離無線通信を用いるなど、車両間の距離に応じて適宜変更することにしてもよい。さらに、カメラ映像の伝送のかかる遅延時間を減らすために、Wi-Fiおよび携帯電話網の両方の通信を使用し、所謂リンクアグリゲーションを用いてカメラ映像やカメラ映像に紐づく車両情報、位置情報を配信先車両または管理サーバ100へ送信する構成であってもよい。
また、上述した実施形態では、受信車両が車両で撮像されたカメラ画像を受信する場合について説明したが、これに限定されるものではない。すなわち、受信車両は、街路灯や信号機と言ったインフラ設備に設置された固定カメラで撮像されたカメラ画像を受信することにしてもよい。
また、実施形態に係る配信システムSにおいては、管理サーバ100の機能の一部または全てを各車載装置1で担う構成とすることにしてもよいし、あるいは、各車載装置1の機能の一部または全てを管理サーバ100が担う構成とすることにしてもよい。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な様態は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲および、その均等物によって定義される統括的な発明の概念の精神または範囲から逸脱することなく、様々な変化が可能である。