以下、添付図面を参照して、本願の開示する車載装置、配信システムおよび映像受信方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。
まず、図1Aおよび図1Bを用いて、実施形態に係る配信システムおよび映像受信方法の概要について説明する。図1Aは、配信システムの構成例を示す図である。図1Bは、映像受信方法の概要を示す図である。なお、かかる映像受信方法は、図1Aに示す管理装置100と、複数の車載装置1とが互いにデータを送受信することで実行される。
図1Aに示すように、実施形態に係る配信システムSは、各車両に搭載された車載装置1と、管理装置100とを含む。車載装置1は、例えば、通信機能を備えたドライブレコーダである。車載装置1は、車両情報を所定周期で管理装置100へ送信する。例えば、車両情報には、撮像したカメラ映像や、車両の位置情報、走行状態に関する情報などが含まれる。
管理装置100は、各車載装置1から送信された車両情報を車両情報データベースで管理するサーバ装置である。
実施形態に係る配信システムSは、各車載装置1が他の車載装置1で撮像されたカメラ映像(1フレームのカメラ画像を含む)を受信し、受信したカメラ映像を表示することで、他地点のカメラ映像をリアルタイムで乗員に提供することが可能である。
ところで、近年、ネットワークの普及に伴い、車載装置が、他の車載装置で撮像されたカメラ映像を取得し、車内のディスプレイに表示する車載システムが普及しつつある。しかしながら、従来技術においては、他地点のカメラ映像を迅速に表示するうえで改善の余地があった。
具体的には、従来技術では、カメラ映像の受信側の車載装置に対するユーザ操作をトリガとして、カメラ映像の配信側の車載装置の選別や、車載装置間の通信接続が開始される。このため、ユーザが配信されたカメラ映像を視聴するまでに遅延時間が生じる。
そこで、実施形態に係る配信システムSでは、カメラ映像の表示候補となる候補カメラを予め選択しておき、カメラ映像を受信する受信側の車載装置1と、候補カメラとの通信接続を予め開始しておくこととした。
例えば、図1Bに示す例において、車両C3がこれから渋滞に進入するシーンを想定する。この場合、管理装置100は、各車載装置1から送信される車両情報に基づいて、渋滞の発生を把握するとともに、車両C3がこれから渋滞に進入することを予測する。
そして、管理装置100は、車両C3の車載装置1に対して、渋滞の発生区間や渋滞の発生区間内に存在する車載装置1の位置情報、ネットワークアドレス等に関する情報を送信する(ステップS1)。
車両C3の車載装置1は、管理装置100から取得した位置情報に基づいて、カメラ映像の配信候補となる候補カメラを選択する(ステップS2)。ここで、車両C3の車載装置1は、例えば、車両C3が実際に渋滞区間で停車する際に、渋滞の先頭を撮像可能なカメラ(ここでは、車両C1の車載装置1とする)、すなわち、渋滞の発生原因を撮像可能なカメラを候補カメラとして選択したり、渋滞を抜けた先の地点を撮像可能なカメラを候補カメラとして選択したりすることができる。
つまり、ステップS2の処理では、車両C3の乗員が現在の状況を確認したい地点を撮像可能なカメラを候補カメラとして予め選択する。
その後、車両C3の車載装置1は、選択した候補カメラとの通信接続を確立し、カメラ映像の受信を開始する(ステップS3)。詳細は後述するが、車両C3の車載装置1は、カメラ映像の受信を開始すると、受信したカメラ映像を再生するビューワーアプリを起動し、バックグラウンドにて再生を開始しておく。この際、バックグラウンドにて再生されるカメラ映像は実際には表示されない。
その後、車両C3の車載装置1は、所定の表示条件が成立した場合に、受信したカメラ映像を表示する(ステップS4)。ここでの表示条件とは、例えば、候補カメラによって撮像されたカメラ映像の表示準備完了後に所定のユーザ操作を受け付けたことを示す。
より詳しくは、車両C3の車載装置1は、カメラ映像を表示する準備が完了した後に、車両C3が停車すると、ユーザ操作を受け付けるボタンを表示する。そして、乗員によって表示したボタンが選択された場合に、表示条件が成立したと判定する。
つまり、実施形態に係る映像受信方法では、カメラ映像を表示するための前処理を済ませておき、表示条件が成立した場合に、カメラ映像を表示する。
このように、実施形態に係る映像受信方法では、車両C3の乗員が他地点のカメラ映像を所望するシーンを予測し、かかる予測に基づいて、カメラ映像の受信および再生を予め開始しておく。そして、実施形態に係る映像受信方法では、表示条件が成立した段階で、カメラ映像を表示する。
したがって、実施形態に係る映像受信方法によれば、他地点のカメラ映像を迅速に表示することができる。なお、ここでは、車両C3が渋滞へ進入する場合を例に挙げて説明したが、これに限定されるものではなく、その他の例については後述する。また、以下では、カメラ映像を受信する車載装置1側の車両について自車両と記載し、その他の車両について他車両と記載する場合がある。
次に、図2を用いて実施形態に係る車載装置1の構成例について説明する。図2は、車載装置1のブロック図である。図2に示すように、実施形態に係る車載装置1は、カメラ101、車載センサ102、GPS(Global Positioning System)装置103、ナビゲーション装置104および端末装置105が接続される。
カメラ101は、車両Cの周囲を撮像するカメラであり、所定のフレームレートでカメラ映像を生成する。車載センサ102は、車両Cの走行状態を検出する各種センサであり、例えば、速度センサ、ブレーキセンサ、舵角センサ、Gセンサ等を含む。
GPS装置103は、GPSアンテナ(不図示)から送信される測位信号に基づいて、車両の現在地を測位する。ナビゲーション装置104は、乗員によって設定された車両Cの目的地までの走行経路を設定する装置である。端末装置105は、車両Cの乗員が所有するスマートフォン、タブレット端末等の可搬性の通信機器である。
また、図2に示すように、車載装置1は、車載装置1が出力したカメラ映像などの画像を表示する表示装置50に接続される。表示装置50は、表示部51および操作部52を備える。
表示部51は、例えば、有機ELや、液晶ディスプレイで構成されたタッチパネルディスプレイであり、車載装置1から出力される映像信号を表示する。操作部52は、表示部51に表示された画像に基づき、乗員からの所定操作を受け付ける。
操作部52は、カメラ映像の再生、停止、巻き戻し等の各種操作を受け付けることも可能である。また、ユーザは、操作部52を介して、過去に撮像されたカメラ映像の配信を要求することも可能である。
すなわち、実施形態に係る配信システムSでは、カメラ映像のリアルタイム配信に加え、過去に撮像されたカメラ映像の録画配信を行うこともできる。なお、操作部52を例えば、表示装置50とは別に設けることにしてもよい。
図2に示すように、車載装置1は、通信部2と、記憶部3と、制御部4とを備える。通信部2は、例えばNIC等によって実現される。通信部2は、所定のネットワークと無線で接続され、ネットワークを介して、他の車載装置1をはじめとする各種カメラや、管理装置100との間で情報の送受信を行う。
記憶部3は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、図2の例では、送信リスト情報31、カメラ位置情報32および地図情報33を記憶する。
送信リスト情報31は、各車載装置1が管理装置100へ車両情報を送信する際のデータのリストに関する情報である。図3は、送信リスト情報31の具体例を示す図である。図3に示すように、送信リスト情報31には、位置情報、センサ情報、エリア情報、経路情報などが含まれる。
位置情報は、車両の現在地に関する情報であり、車載装置1がGPS装置103から通知される情報である。センサ情報は、車載センサ102によって検出された各種センサ値に関する情報である。
エリア情報は、ナビゲーション装置104のナビゲーション画像に表示されるエリアに関する情報である。例えば、エリア情報は、ナビゲーション画像の更新毎に、管理装置100へ通知される。
経路情報は、ナビゲーション装置104において設定された目的地および目的地までの走行予定経路に関する情報である。なお、図3に示す送信リスト情報31は、一例であり、任意に変更することにしてもよい。
図2の説明に戻り、カメラ位置情報32について説明する。カメラ位置情報32は、各カメラに関する情報である。図4は、カメラ位置情報32の一例を示す図である。図4に示すように、カメラ位置情報32は、カメラID、カメラ種別、IPアドレス、現在地、撮像向きおよび候補フラグ等を互いに関連付けた情報である。
カメラIDは、配信システムSに登録された各カメラを識別する識別子を示す。カメラ種別は、対応するカメラの種別を示す。図4の例では、カメラ種別として、定点カメラまたは車載カメラのいずれかが付与される。定点カメラは、例えば、道路等に設置されたカメラを示し、車載カメラは、各車両に搭載されたカメラを示す。
IPアドレスは、対応するカメラに割り当てられたネットワーク上のアドレスを示す。現在地は、対応するカメラの現在地を示し、撮像向きは、対応するカメラの撮像向きを示す。
定点カメラの現在地および撮像向きは、基本的に変化しないのに対して、車載カメラの現在地および撮像向きは、車両の移動に伴い所定周期で更新されることになる。この際、撮像向きは、例えば、車両の進行方向に基づいて推定することができる。
候補フラグは、対応するカメラが候補カメラとして選択されたか否かを示すフラグである。例えば、候補カメラとして選択された場合に「1」、候補カメラとして選択されていない場合に「0」が付与される。
図2の説明に戻り、地図情報33について説明する。地図情報33は、各道路の道路種別などを含む地図に関する情報である。なお、地図情報33には、コンビニ、レストラン、観光名所などといった各種施設に関する情報が含まれる。
また、地図情報33には、例えば、渋滞地点、事故多発地点、急ブレーキ多発地点などといった情報を含むようにしてもよい。かかる情報は、例えば、管理装置100から取得することができる。
続いて、制御部4について説明する。制御部4は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、入出力ポートなどを有するコンピュータや各種の回路を含む。
コンピュータのCPUは、例えば、ROMに記憶されたプログラムを読み出して実行することによって、制御部4の送信部41、受信部42、選択部43、再生部44、生成部45および表示制御部46として機能する。
また、制御部4の送信部41、受信部42、選択部43、再生部44、生成部45および表示制御部46の少なくともいずれか一部または全部をASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等のハードウェアで構成することもできる。
送信部41は、車両Cに関する車両情報を所定周期で管理装置100へ送信する。具体的には、送信部41は、記憶部30に記憶された送信リスト情報31に基づき、車両情報を生成し、管理装置100へ送信する。
この際、送信部41は、送信リスト情報31に記載された全ての情報が含まれる車両情報を生成する必要はなく、データを選別して送信データを生成することにしてもよい。例えば、送信部41は、急ブレーキや急舵角を検出した場合にのみ、センサ情報や画像情報を送信することにしてもよい。また、送信部41は、自装置が候補カメラとして選択された場合に、カメラ映像を送信する。
受信部42は、選択部43によって選択された候補カメラとの通信接続を確立し、当該候補カメラによって撮像されたカメラ映像の受信を開始する。まず、受信部42は、所定エリア内に存在する各候補カメラの位置情報を管理装置100から受信し、受信した位置情報に基づいて、記憶部3のカメラ位置情報32を更新する。
ここで、所定エリアとは、例えば、ナビゲーション装置104によって生成されるナビゲーション画像に含まれるエリアや、自車両の現在地から所定範囲内のエリアである。また、所定エリアをナビゲーション装置104に設定された目的地までの経路上とすることにしてもよい。
受信部42は、後述する選択部43によって候補カメラが選択された場合に、選択された候補カメラに対して通信接続の接続要求を送信部41に対して指示する。その後、受信部42は、候補カメラとの通信接続が確立すると、候補カメラで撮像されたカメラ映像の受信を開始する。なお、受信部42は、候補カメラの位置情報や撮像向き(進行方向)をカメラ映像とともにあわせて受信し、受信毎にカメラ位置情報32を更新する。
受信部42は、候補カメラとして選択された車載カメラまたは定点カメラからカメラ映像を受信する。これにより、多様な角度から他地点を撮像したカメラ映像を受信することができる。例えば、車載カメラおよび定点カメラそれぞれで同一の地点を撮像した場合、それぞれ異なる画角のカメラ映像を撮像することになる。
また、受信部42は、カメラ映像の受信を開始すると、カメラ映像を再生するビュワーアプリ(後述の再生部44に対応)を起動させる。そして、再生部44にて、バックグランド再生を開始させる。
なお、バックグラウンド再生時に再生するカメラ映像は、表示装置50に基本的に表示されないので、受信部42は、バックグラウンド再生時のカメラ映像について、低容量画像を受信することにしてもよい。
なお、低容量画像とは、実際に表示装置50に表示されるカメラ映像に比べて、フレームレートが低いカメラ映像、解像度が低いカメラ映像、ビットレートが低いカメラ映像のいずれか一つを含むカメラ映像である。これにより、通信負荷を抑えつつ、カメラ映像を受信することが可能となる。
選択部43は、複数のカメラそれぞれの位置を示す位置情報に基づいて、複数のカメラから候補カメラを選択し、カメラ位置情報32の候補フラグを更新する。また、選択部43は、表示条件に紐付けられたトリガを検知した場合に、候補カメラの選択処理を開始する。
言い換えれば、車載装置1は、表示条件に紐付けられたトリガを検知した場合に、カメラ映像を表示するまでの一連の処理を開始し、表示条件が成立した場合に、カメラ映像の表示を開始する。
選択部43は、表示条件の成立前に発生する所定のイベントを上記のトリガとして検知する。選択部43は、検出した上記のトリガに基づき、乗員が他地点のカメラ映像を所望するシーンを予測する。これにより、乗員が他地点のカメラ映像を所望した時点(表示条件が成立した時点)で、カメラ映像を速やかに表示することが可能となる。
本実施形態において、表示条件に紐付けられたトリガには、自車両による渋滞区間への進入(以下、第1トリガと記載)や、ナビゲーション装置104に対する目的地設定(以下、第2トリガと記載)が含まれる。以下、上記の第1トリガ、および第2トリガを例に挙げて説明する。
選択部43は、管理装置100から送信される渋滞情報に基づいて第1トリガを検知し、ナビゲーション装置104から通知される目的地設定に基づく設定信号に基づいて第2トリガを検知することができる。
続いて、候補カメラの選択処理の具体例について説明する。図5および図6は、候補カメラ選択の具体例を示す図である。まず、図5を用いて、上記の第1トリガに基づいて候補車両をする場合について説明する。
図5に示す例では、現在地から走行予定経路R1に沿って走行した場合に、渋滞区間を通過するシーンを示す。この場合、まず、選択部43は、注目地点Ptを設定する。
ここで、注目地点Ptとは、自車両の乗員による現在の状況把握を希望することが見込まれる地点である。図5に示す例では、渋滞区間の先頭および後端に注目地点Pt1、Pt2をそれぞれ設定し、走行予定経路R1と、走行予定経路R1に対する迂回路R2との分岐点に注目地点Pt3、迂回路R2上に注目地点Pt4を設定した場面を示す。さらに、渋滞区間を抜けた後の地点に注目地点Pt5を設定している場面を示す。
なお、選択部43は、走行予定経路R1および迂回路R2に関する情報をナビゲーション装置104から取得し、渋滞区間に関する情報は管理装置100から取得することができる。
その後、選択部43は、注目地点Ptを設定すると、カメラ位置情報32を参照し、各カメラの位置情報に基づいて、設定した注目地点Ptをそれぞれ通過予定の他車両に搭載された車載カメラや、注目地点Ptを撮像可能な定点カメラを候補カメラとして選択する。
このように、選択部43は、自車両の渋滞区間への進入が予測されたことをトリガとして、候補カメラの選択処理を開始することで、自車両が実際に渋滞に遭遇した場合に、速やかに他地点のカメラ映像を表示することが可能となる。
また、選択部43は、渋滞区間内および渋滞区間の先に位置するカメラを候補カメラとして選択することで、渋滞区間の現在の様子に加えて、渋滞を抜けた先の現在の様子を乗員に対して容易に認識させることが可能となる。
また、選択部43は、迂回路R2に存在するカメラを候補カメラとして選択することで、渋滞区間に加えて、迂回路R2の現在の様子を乗員に認識させることが可能となる。特に、乗員による走行予定経路R1をそのまま走行すべきか、迂回路R2へ進路を変えるべきかの判断を容易にすることができる。
なお、この際、選択部43は、例えば、休憩地点(例えば、サービスエリアなど)を注目地点Ptに設定し、休憩地点に存在する他車両を候補カメラとして選択することにしてもよい。また、選択部43は、注目地点Ptを所定間隔で設定することにしてもよいし、注目地点Ptをカーブ・橋梁・トンネル等の特異点に設定することにしてもよい。
また、選択部43は、各注目地点Ptに対してそれぞれ複数の候補カメラを選択する。これは、実際に候補カメラによって撮像されたカメラ映像を表示する際に、候補カメラが注目地点Ptを既に通過済みであるおそれがあるためである。
これに対して、複数の候補カメラを選択しておくこととすれば、複数の候補カメラで注目地点Ptを順次撮像することが可能となる。言い換えれば、複数の候補カメラを選択しておくことで、1つの候補カメラを選択する場合に比べて、注目地点Ptを長い期間撮像することができる。
なお、ここでは、選択部43が、注目地点Ptを設定したうえで、候補カメラを選択する場合について説明したが、これに限定されるものではない。すなわち、単に、渋滞区間や迂回路R2を通過する候補カメラを選択することにしてもよいし、あるいは、渋滞区間や迂回路R2をそれぞれ複数の区間に分割し、分割した区間毎にそれぞれ所定数の候補カメラを選択することにしてもよい。
続いて、図6を用いて、第2トリガに基づく選択部43の処理について説明する。図6には、ユーザ操作によりナビゲーション装置104に目的地が設定され、目的地までの候補経路であるルート1~3が表示部51に表示された場面を示す。
この場合、選択部43は、各カメラの位置情報と、各ルート1~3の位置情報とを照合し、ルート1~3上に存在するカメラを候補カメラとして選択する。
この際、選択部43は、各ルート1~3上に注目地点Ptを設定し、注目地点Ptを撮像可能なカメラを候補カメラとして設定することも可能である。
選択部43は、例えば、各ルート1~3上に存在する絶景スポットなどのおススメスポットや、他車両の走行情報に基づいて注目地点Ptを設定することができる。例えば、選択部43は、おすすめスポットを注目地点Ptとして設定する場合、イベント情報や、乗員の趣味嗜好に基づいて、おすすめスポットを抽出することができる。
なお、イベント情報や、趣味嗜好に関する情報は、例えば、自車両における目的地の傾向や、自車両内の会話内容、端末装置105におけるウェブの検索履歴などから解析することができる。
また、選択部43は、他車両の走行情報に基づいて注目地点Ptを設定する場合、渋滞地点や急ブレーキ多発地点などを注目地点Ptとして設定することができる。その他、選択部43は、天候情報に基づいて注目地点Ptを設定することにしてもよい。例えば、ルート1~3のうち、いずれかにゲリラ豪雨などの局所的な大雨地帯が含まれる場合、かかる大雨地帯を注目地点Ptとして設定することにしてもよい。
ところで、注目地点Ptを設定したうえで、候補カメラ(他車両)を選択すると、候補カメラとして選択した他車両が注目地点Ptを走行する経路から外れる場合が想定される。
このため、選択部43は、候補カメラとして他車両を選択すると、かかる他車両の位置情報を監視し、注目地点Ptから外れる場合には、他車両の候補カメラの選択を解除するとともに、他の候補カメラの選択処理を再度実行するようにしてもよい。
また、選択部43は、他車両の現在の走行速度等に基づいて、各注目地点Ptの通過予定時刻を推定したうえで、候補カメラを選択することにしてもよい。具体的には、選択部43は、カメラ映像の表示条件が成立する時刻を予測し、他車両の通過予定時刻と略一致するように候補カメラを選択することにしてもよい。
また、選択部43は、例えば、他車両の走行予定経路に関する情報を取得し、候補経路から外れる予定の他車両を候補カメラの選択対象から予め除外するようにしてもよい。なお、他車両の走行予定経路に関する情報は、管理装置100や他車両の車載装置1から取得することができる。
図2の説明に戻り、再生部44について説明する。再生部44は、いわゆるビューワーアプリであり、受信部42によって受信されたカメラ映像を再生する。ここで、車載装置1は、複数の候補カメラと同時に接続する場合があるので、再生部44は、複数のカメラ映像を同時に再生する同時再生機能を備えたり、複数のビューワーアプリで構成されることが好ましい。
再生部44は、候補カメラのカメラ映像を正常に再生できた場合、すなわち、カメラ映像の表示準備が完了した場合に、候補カメラ毎に表示制御部46へスタンバイ信号を通知する。
生成部45は、ナビゲーション装置104から通知されるナビゲーション画像を加工することで、表示装置50に表示する表示画像を生成する。図7は、表示画像の一例を示す図である。各カメラが車載カメラである場合を示す。
生成部45は、カメラ位置情報32を参照し、図7に示すように、ナビゲーション画像上に存在するカメラの位置を示すアイコンA1、A2を重畳することで表示画像を生成する。
図7に示すアイコンA1、A2それぞれの向きは、対応する各車両の進行方向を示す。また、アイコンA1は、対応するカメラによって撮像されたカメラ映像の表示準備が完了したカメラであることを示す。すなわち、図7の例では、通信接続が確立した候補カメラをアイコンA1で示し、その他のカメラをアイコンA2で示す。
生成部45は、再生部44から上記のスタンバイ信号の取得毎に、対応するカメラのアイコンをアイコンA2からアイコンA1へ切り替え、通信接続を中断または終了した場合に、アイコンA1からアイコンA2へ切り替える。
また、生成部45は、カメラ種別が車載カメラである場合、各車載カメラの移動に伴って、ナビゲーション画像におけるアイコンA1、アイコンA2の位置を移動させる。なお、生成部45は、通信接続が確立した候補カメラのみをナビゲーション画像上に表示することにしてもよい。すなわち、候補カメラとして選択されていないカメラや、候補カメラとして選択されたものの、通信接続が確立していないカメラのアイコンを表示しないようにしてもよい。
なお、車載装置1は、例えば、通信接続が確立していないカメラを示すアイコンA2が乗員によって選択された場合に、アイコンA2に対応するカメラとの通信接続を開始し、カメラ映像の受信を開始することも可能である。
この場合、対応するカメラのアイコンをアイコンA2からアイコンA1へ切り替えるとともに、アイコンA1が選択された場合に、対応するカメラのカメラ映像を表示することもできる。
図2の説明に戻り、表示制御部46について説明する。表示制御部46は、所定の表示条件が成立した場合に、受信部42によって受信されたカメラ映像を表示する。ここで、表示条件は、候補カメラから受信したカメラ映像の表示準備の完了後、所定のユーザ操作を受け付けたことを示す。
まず、自車両が渋滞区間に進入する場合について説明する。表示制御部46は、再生部各候補カメラの表示準備の完了を受けて、車載センサ102から入力される信号に基づいて自車両が停車したか否かを判定する。
表示制御部46は、自車両が停車したと判定した場合、操作ボタンを表示する。なお、ここでの操作ボタンを表示するとは、単に操作ボタンを表示するのみならず、表示中の操作ボタンをアクティブ状態(選択可能な状態)へ切り替えることを含む。
その後、乗員によって操作ボタンが選択された場合に、再生部44によって再生中のカメラ映像を表示する。ここで、カメラ映像を表示するとは、再生部44によりバックグランド再生中のカメラ映像の画面階層を最前面に切り替えることを示す。つまり、表示条件が成立した場合に、画面階層の切替えのみでカメラ映像を表示することが可能となる。
これにより、受信した他地点のカメラ映像を迅速に表示することが可能となる。ここで、説明を分かりやすくするため、これまでの一連の処理について図8Aおよび図8Bを用いて説明する。図8Aおよび図8Bは、表示制御部46による処理の一例を示す図である。
図8Aに示すように、表示制御部46は、例えば、候補カメラに対する全ての前処理が完了後に、自車両が停車すると、操作ボタンBaを表示する。つまり、操作ボタンBaを表示することにより、カメラ映像の表示準備の完了を乗員に通知することとなる。
その後、表示制御部46は、乗員によって操作ボタンBaが選択された場合に、カメラ映像を表示することになる。具体的には、例えば、図8Bに示す矢印に沿って、候補カメラを順次切り替えながらカメラ映像を表示する。図8Bに示す例では、自車両から近い順に対応する候補カメラのカメラ映像を所定時間ずつ切り変えながら表示する。
これにより、複数の他地点の現在の様子を乗員に対して、順次把握させることができる。この際、表示制御部46は、例えば、現在カメラ映像を表示中の候補カメラのアイコンA1を点滅表示させて、候補カメラの位置(カメラ映像の撮像地点)を乗員に通知することも可能である。
これにより、乗員に対して、カメラ映像の撮像位置を容易に把握させることが可能となる。なお、表示中のカメラ映像の撮像地点までの距離をあわせて表示することもにしてもよい。また、表示制御部46は、例えば、乗員によってアイコンA1が選択された場合に、アイコンA1に対応する候補カメラのカメラ映像を表示することも可能である。
また、表示制御部46は、表示条件が成立した時点で、上記の注目地点Ptを撮像中のカメラ映像を表示することも可能である。例えば、各カメラ映像が注目地点Ptを撮像中か否かは、例えば、各候補カメラの現在地および撮像向きと、注目地点Ptの位置関係から判定することができる。
つまり、表示制御部46は、注目地点Ptを優先的に表示することで、重要度の高い他地点の現在の様子を乗員に対して表示することができるので、利便性の向上を図ることができる。
なお、1つの候補カメラによるカメラ映像の表示期間については、例えば、固定値とすることにしてもよいし、あるいは、カメラ映像を表示する候補カメラの個数に応じて調整することにしてもよい。
例えば、カメラ映像を表示する候補カメラの個数が多い場合には、1台当りの表示時間を短くし、かかる個数が多い場合には、1台当りの表示時間を長くするように調整することにしてもよい。
なお、表示制御部46は、全ての候補カメラのカメラ映像を表示する必要はなく、複数の候補カメラのうち、カメラ映像を表示する候補カメラを選抜することにしてもよい。例えば、表示制御部46は、各候補カメラの位置情報に基づいて、注目地点Ptを撮像するのに最も適した候補カメラのカメラ映像を表示するようにしてもよい。
続いて、ナビゲーション装置104にて目的地設定が行われる場合について説明する。かかる場合に、表示制御部46は、各候補カメラのカメラ映像の前処理の終了を待って、操作ボタンを表示し、乗員によって操作ボタンが選択された場合に、カメラ映像を表示する。
図9Aおよび図9Bは、表示制御部46による処理の一例を示す図である。図9Aに示すように、例えば、乗員によって目的地が設定されると、車載装置1は、ナビゲーション装置104から目的地までの候補経路に関する情報を取得し、選択部43による候補カメラの選択処理が開始され、カメラ映像に対する一連の前処理が実行される。
その後、表示制御部46は、上記の前処理が終了すると、図9Bに示すように、操作ボタンBa1~Ba3をそれぞれ表示する。図9Bに示す例では、3つの候補経路が存在する場合を示し、各候補経路に対して、それぞれ対応する操作ボタンBb1~Bb3を表示する場合を示す。
そして、表示制御部46は、乗員が選択した操作ボタンBbに対応するカメラ映像を表示する。図9Bに示す例では、複数の候補経路のうち、ルート3に対応する操作ボタンBb3が選択された場合を示し、ルート3上の地点(1)~(3)のカメラ映像をそれぞれ一覧表示する場合を示す。
これにより、乗員は、ルート3上の現在の状況や、ルート3上から見える風景などを事前に確認することができる。また、乗員によって操作ボタンBb1、Bb2が選択された場合には、操作ボタンBb1、Bb2それぞれに対応するルート(1)または(2)上のカメラ映像を表示することになる。
したがって、乗員が目的地までのそれぞれの候補経路を検索せずとも、各候補経路の比較を容易に行うことができ、実際に走行する経路を容易に決定することが可能となる。
また、複数の地点のカメラ映像を一覧表示することで、乗員に対して、選択された候補経路上に存在する複数の地点の現在の様子を容易に把握させることができる。
このように、各候補経路の現在の様子を乗員に対して提供することで、乗員による候補経路の選択を容易にすることができる。また、他車両の走行情報によって設定された注目地点Ptである急ブレーキ多発地点等の現在の様子を表示することで、乗員に対して、かかる急ブレーキ多発地点走行時の注意喚起を促すことも可能である。
なお、図9Bに示す例では、1つの候補経路上のカメラ映像を一覧表示する場合について説明したが、これに限定されるものではない。すなわち、複数の候補経路上のカメラ映像をそれぞれ並べて一覧表示することにしてもよい。
続いて、図10を用いて、実施形態に係る管理装置100の構成例について説明する。図10は、管理装置100のブロック図である。図10に示すように、管理装置100は、通信部5と、記憶部6と、制御部7とを備える。
通信部5は、通信部2と同様に、例えばNIC等によって実現される。通信部5は、所定のネットワークと無線で接続され、ネットワークを介して、他の車載装置1や各種カメラとの間で情報の送受信を行う。
記憶部6は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、図10の例では、車両情報データベース61と、画像情報データベース62とを備える。
車両情報データベース61は、各車載装置1から送信される車両情報を記憶するデータベースである。車両情報データベース61には、例えば、各車両の現在地、目的地、走行向き、現在の走行速度、急操舵、急ブレーキの履歴などが適宜登録される。また、車両情報データベース61には、定点カメラの位置情報などに関する情報も登録される。
画像情報データベース62は、各カメラから送信されるカメラ映像を記憶する。例えば、画像情報データベース62は、撮像したカメラのカメラID、撮像日時、撮像位置、撮像向きなどがカメラ映像に紐付けて記憶される。
続いて、制御部7について説明する。制御部7は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、入出力ポートなどを有するコンピュータや各種の回路を含む。
コンピュータのCPUは、例えば、ROMに記憶されたプログラムを読み出して実行することによって、制御部7の取得部71、予測部72および抽出部73として機能する。
また、制御部7の取得部71、予測部72および抽出部73との少なくともいずれか一部または全部をASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等のハードウェアで構成することもできる。
取得部71は、各車載装置1から車両情報を取得し、取得した車両情報に基づいて、車両情報データベース61を更新する。また、取得部71は、カメラ映像を取得し、画像情報データベース62を更新することも可能である。
また、取得部71は、各車載装置1から送信される検索要求を取得する。ここで、検索要求には、カメラの検索範囲を指定する情報が含まれる。特に本実施形態において、検索要求には、各車両のナビゲーション装置104で設定された候補経路に関する情報や、ナビゲーションの表示範囲に関する情報が含まれる。取得部71は、検索要求を取得した場合、検索範囲に関する情報を抽出部73へ通知する。
予測部72は、各車載装置1から送信される車両情報に基づいて、渋滞の発生の有無や、渋滞区間を予測する。例えば、予測部72は、各車両の現在地や、走行速度などを随時監視しておき、各道路の込み具合に基づいて、渋滞の有無を予測し、各道路における各車両の進行具合に基づいて渋滞区間を予測する。
そして、予測部72は、車両情報データベース61を参照し、推定した渋滞の有無や渋滞区間に基づき、渋滞区間に進入する車両を予測する。例えば、予測部72は、各車両の現在の走行予定経路または現在地および走行向きから渋滞区間に進入する車両を予測する。
予測部72は、渋滞区間に進入する車両を予測すると、渋滞区間に関する情報と共に、かかる車両に関する情報を抽出部73へ通知する。なお、管理装置100は、例えば、外部から通知される交通情報に基づいて、渋滞の有無や渋滞区間を把握することにしてもよい。
抽出部73は、車両情報データベース61を参照し、各カメラの位置情報に基づいて、各車載装置1へ送信するカメラに関する情報を抽出する。
抽出部73は、取得部71から上記の検索要求が通知された場合、検索要求に含まれる検索範囲内に存在するカメラを抽出し、抽出したカメラの位置情報やIPアドレス等を対応する車載装置1へ通信部5を介して送信する。
また、抽出部73は、予測部72から通知される渋滞区間に関する情報に基づいて、カメラを抽出する。この際、抽出部73は、渋滞区間内に存在するカメラに加え、上記のように、迂回路R2(図5参照)上に存在するカメラを抽出し、抽出したカメラに関する情報と渋滞区間に関する情報とを含む渋滞情報を対応する車載装置1へ送信する。
なお、迂回路R2は、1つである必要はなく、複数であってもよい。また、複数の迂回路R2に対して、優先順位を付与したうえで、優先順位の高い迂回路R2上に存在するカメラを選択することにしてもよい。
抽出部73は、例えば、優先順位は、各道路の混雑状況や、目的地までの走行距離、目的地までの所要時間等に基づいて設定する。具体的には、空いている道路の優先順位を混雑している道路に比べて高く設定したり、目的地までの走行距離が短い道路、目的地までの所要時間が短い道路の優先順位を高く設定したりすることもできる。
また、抽出部73は、各車載装置1から送信される車両情報に基づいて、注目地点Ptを抽出することも可能である。抽出部73は、例えば、急ブレーキや急操舵の多発地点を注目地点Ptとして抽出したり、複数の車両の立ち寄りスポットを注目地点Ptとして抽出したりすることができる。抽出部73によって抽出された注目地点Ptに関する情報は、各車載装置1へ送信される。
なお、抽出部73は、カメラの抽出時において、該当する車両がいない場合には、例えば、画像情報データベース62から過去のカメラ映像を抽出し、車載装置1へ送信することにしてもよい。
次に、図11Aおよび図11Bを用いて、実施形態に係る車載装置1が実行する処理手順について説明する。図11Aおよび図11Bは、実施形態に係る車載装置1が実行する処理手順を示すフローチャートである。なお、以下に示す処理手順は、車載装置1の制御部4によって繰り返し実行される。
まず、図11Aを用いて、自車両が渋滞に進入する際の車載装置1による処理手順について説明する。図11Aに示すように、車載装置1は、まず、管理装置100から渋滞情報を取得したか否かを判定し(ステップS101)、渋滞情報を取得した場合に(ステップS101,Yes)、渋滞に関するカメラの位置情報を取得する(ステップS102)。
続いて、車載装置1は、取得した位置情報に基づいて候補カメラを選択する(ステップS103)。なお、この際、車載装置1は、注目地点Ptを設定したうえで、ステップS103の処理を行うことにしてもよい。
その後、車載装置1は、候補カメラとの接続要求を行い(ステップS104)、候補カメラからカメラ映像の受信を開始する(ステップS105)。続いて、車載装置1は、受信したカメラ映像のバックグラウンド再生を開始し(ステップS106)、ステップS106までの処理が全ての候補カメラについて完了したか否かを判定する(ステップS107)。
車載装置1は、ステップS107の判定において、全ての候補カメラについて処理が完了していない場合(ステップS107,No)、ステップS104の処理へ移行し、全ての候補カメラについて処理が完了した場合(ステップS107,Yes)、車両が停車中か否かを判定する(ステップS108)。
車載装置1は、ステップS108の判定において、車両が停車中であると判定した場合(ステップS108,Yes)、操作ボタンBaを表示し(ステップS109)、乗員によって操作ボタンが選択されたか否かを判定する(ステップS110)。
また、車載装置1は、ステップS108の判定において、車両が停車していない場合や(ステップS108,No)、ステップS110の判定において、操作ボタンBaが選択されなかった場合(ステップS110,No)、ステップS108の処理へ移行する。
そして、車載装置1は、ステップS110の判定において、操作ボタンBaが選択された場合、カメラ映像を表示して(ステップS111)、処理を終了する。なお、車載装置1は、ステップS101の判定において、渋滞情報を取得していない場合(ステップS101,No)、そのまま、処理を終了する。
次に、図11Bを用いて、ナビゲーション装置104の目的地設定時における車載装置1の処理手順について説明する。図11Bに示すように、まず、車載装置1は、ナビゲーション装置104から目的地や候補経路に関する情報を示すルート情報を取得したか否かを判定する(ステップS121)。
車載装置1は、ステップS121の判定において、ルート情報を取得した場合(ステップS121,Yes)、管理装置100からルート情報に基づくカメラの位置情報を取得する(ステップS122)。
続いて、車載装置1は、取得した位置情報に基づいて候補カメラを選択し(ステップS123)、候補カメラに対して接続要求を行う(ステップS124)。その後、車載装置1は、候補カメラからカメラ映像の受信を開始し(ステップS125)、受信したカメラ映像のバックグラウンド再生を開始する(ステップS126)。
続いて、車載装置1は、ステップS126までの処理を全ての候補車両について完了したか否かを判定し(ステップS127)、全ての候補カメラについて完了した場合(ステップS127,Yes)、操作ボタンBbを表示する(ステップS128)。
また、車載装置1は、ステップS127の判定において、全ての候補カメラについて処理が終了していない場合(ステップS127,No)、ステップS124の処理へ移行する。
その後、車載装置1は、乗員によって操作ボタンBbが選択されたか否かを判定し(ステップS129)、操作ボタンBbが選択された場合に(ステップS129,Yes)、カメラ映像を表示する(ステップS130)。
そして、車載装置1は、目的地までのルートが決定済みか否かを判定し(ステップS131)、ルート決定済みである場合(ステップS131,Yes)、処理を終了する。また、車載装置1は、ステップS129の判定において、操作ボタンBbが選択されていない場合(ステップS129,No)、ステップS131の処理へ移行し、ステップS131の判定において、ルートが決定済みでない場合(ステップS131,No)、ステップS129の処理へ移行する。
次に、図12Aおよび図12Bを用いて、実施形態に係る管理装置100が実行する処理手順について説明する。図12Aおよび図12Bは、管理装置100が実行する処理手順を示すフローチャートである。なお、以下に示す処理手順は、管理装置100の制御部7によって繰り返し実行される。
まず、図12Aを用いて、渋滞予測に伴う管理装置100の一連の処理について説明する。図12Aに示すように、管理装置100は、各車載装置1から送信される車両情報に基づいて、渋滞の有無や渋滞区間などに関する渋滞予測を行う(ステップS201)。
続いて、管理装置100は、渋滞予測の結果に基づいて、渋滞区間に進入する対象車両が存在するか否かを判定し(ステップS202)、対象車両が存在する場合(ステップS202,Yes)、対象車両の車載装置1に対して、渋滞情報を送信し(ステップS203)、処理を終了する。
なお、管理装置100は、ステップS202の判定において、対象車両が存在しない場合(ステップS202,No)、ステップS203の処理を経由せず、処理を終了する。
次に、図12Bを用いて、ナビゲーション装置104の目的地設定時における管理装置100の処理手順について説明する。図12Bに示すように、管理装置100は、車載装置1からルート情報を取得したか否かを判定し(ステップS211)、ルート情報を取得した場合(ステップS211,Yes)、車載装置1に対して、ルート情報に対応するカメラの位置情報を送信し(ステップS212)、処理を終了する。
また、管理装置100は、ステップS211の判定において、ルート情報を取得していない場合(ステップS211,No)、ステップS212の処理を省略して、処理を終了する。
上述したように、実施形態に係る車載装置1は、選択部と、受信部と、表示制御部とを備える。取得部は、複数のカメラの位置情報に基づいて、複数のカメラから候補カメラを選択する。受信部は、選択部によって選択された候補カメラとの通信接続を確立し、当該候補カメラによって撮像されたカメラ映像の受信を開始する。表示制御部は、所定の表示条件が成立した場合に、受信部によって受信されたカメラ映像を表示する。
ところで、車載装置1は、例えば、複数の車載装置1から受信したカメラ映像から合成映像を生成することも可能である。
図13は、画像性画像の具体例を示す図である。なお、ここでは、車両C1の車載装置1から受信したカメラ映像L1と、車両C2の前方に位置する車両C2の車載装置1から受信したカメラ映像L2とに基づいて、合成画像Lを生成する場合について説明する。
図13に示すように、例えば、車載装置1は、車両C1のカメラ映像L1に写る車両C2の透かし画像LWを生成する。例えば、車載装置1は、カメラ映像L1に対して、所定の画像処理を行うことで、車両C2の透かし画像LWを生成する。
ここで、透かし画像LWは、車両C2の骨格を示すフレーム画像や、車両C2を透過させた半透明画像(例えば、ポリゴン画像)などである。その後、車載装置1は、車両C2から受信したカメラ映像L2に対して、透かし画像LWを重畳することで、合成画像Lを生成する。
合成画像Lは、車両C1から仮想的に見える注目地点Ptを表示するとともに、車両C2の存在を通知するものである。このような合成画像Lを生成し、表示することで、多様なコンテンツを提供することができる。
ところで、上述した実施形態では、各車両に搭載された車載装置1間で、カメラ映像の送受信を行う場合について説明したが、これに限定されるものではない。すなわち、各車載装置1は、管理装置100を介してカメラ映像の送受信を行うことにしてもよい。
また、車載装置1間の通信については、例えば、Wi-Fi(登録商標)などの近距離無線通信を用いるなど、車両間の距離に応じて適宜変更することにしてもよい。さらに、カメラ映像の伝送のかかる遅延時間を減らすために、Wi-Fiおよび携帯電話網の両方の通信を使用し、所謂リンクアグリゲーションを用いてカメラ映像やカメラ映像に紐づく車両情報、位置情報を配信先の車載装置1または管理装置100へ送信する構成であってもよい。
また、上述した実施形態では、通信確立後において、カメラ映像を受信する場合について説明したが、ダミーデータの受送信等で通信確立や通信状態の維持を行ってもよい。
また、実施形態に係る配信システムSにおいては、管理装置100の機能の一部または全てを各車載装置1で担う構成とすることにしてもよいし、あるいは、各車載装置1の機能の一部または全てを管理装置100が担う構成とすることにしてもよい。
ところで、上述した実施形態では、表示条件として所定のユーザによる操作が行われる場合について説明を行ったが、この限りではない。車両の位置や速度に基づいて自動的に表示が開始されるように表示条件を設定してもよい。例えば、渋滞区間に車両が進入した第1トリガの後所定時間が経過すると表示条件が満たされ、自動的に表示が開始されるようにしてもよい。また、渋滞区間に進入したのち、車速が低下して低速走行状態になったら表示条件が満たされ、自動的に表示が開始されるようにしてもよい。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な様態は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲および、その均等物によって定義される統括的な発明の概念の精神または範囲から逸脱することなく、様々な変化が可能である。