JPWO2015045578A1 - 情報提示システム - Google Patents

Abstract

車載カメラ（１）により撮像された車両の周辺の撮像画像を取得する画像取得機能と、前車載装置（２００）と端末装置（１００）との無線通信の遅延時間を含む遅延状態を判断する遅延状態判断機能と、車両の状態情報に基づいて遅延時間後の車両の位置においてカメラ（１）により撮像される予測画像を撮像画像から生成する予測画像生成機能と、予測画像を提示する提示機能と、を実行する制御装置（１０）を備える情報提示システム（１０００）を提供する。

Description

本発明は、車両の周囲の映像に関する情報を提示する情報提示システムに関する。
本出願は、２０１３年９月２７日に出願された日本国特許出願の特願２０１３―２００９５８に基づく優先権を主張するものであり、文献の参照による組み込みが認められる指定国については、上記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。

この種の装置に関し、車両のシフトレバーがリバース位置に操作された場合に、車両の後方の映像を表示する運転支援装置が知られている（特許文献１）。

特開２０１２−０１６２１３０号公報

しかしながら、車載装置に組み込まれていない可搬型の端末装置が、無線通信を介して取得した車載カメラの撮像画像を提示する場合に、無線通信に遅れが生じると撮像画像を提示するタイミングが遅延するという問題がある。

本発明が解決しようとする課題は、車載装置と端末装置との無線通信に遅れが生じた場合であっても、リアルタイムの車両周囲の状態を示す画像情報を端末装置に提示することである。

本発明は、車載装置と端末装置との無線通信の遅延時間を含む遅延状態と車両の状態情報とに基づいて、遅延時間後の車両の位置で撮像される予測画像を、車載カメラの撮像画像から生成し、これを提示することにより、上記課題を解決する。

本発明によれば、無線通信の遅延時間後に車載カメラで撮像されるであろう予測画像を端末装置に提示するので、車載装置と端末装置との通信に遅れが生じた場合であっても、リアルタイムの車両周囲の状態をドライバに認識させることができる。この結果、無線通信に遅延が生じた場合に過去の撮像画像が端末装置に提示されることを防止できる。

本発明に係る本実施形態の情報提示システムの構成図である。 端末装置に提示される画像情報の一例を示す図である。 無線通信の遅延を説明する図である。 無線通信の遅延に応じた予測画像の生成手法を説明するための図である。 情報提示処理の制御手順を示すフローチャート図である。

以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、車両に設けられたカメラを有する車載装置２００と、この車載装置２００と無線通信する携帯可能な端末装置１００とを備える情報提示システム１０００に適用した場合を例にして説明する。

図１は、本実施形態に係る情報提示システム１０００のブロック構成図である。情報提示システム１０００は、車載装置２００と、端末装置１００とを備える。

まず、図１に基づいて、本発明の車載装置２００について説明する。本実施形態の車載装置２００は、一又は複数のカメラ１ａ〜１ｄと、通信装置２と、車両コントローラ３と、各種の車載される装置４（各種装置４とも総称する）を備える。

カメラ１ａ〜１ｄ（総称してカメラ１とも称する。以下、同じ。）は、ＣＣＤ（Charge Coupled Devices）等の撮像素子を用いて構成される。本実施形態では、リアフィニッシャー部分やルーフスポイラー部分などの車両のリア（後方）部分の所定位置に設置されたカメラ１を備える。このカメラ１は、車両の後方の空間に存在する物体又は路面の画像（リアビュー画像）を撮影する。本実施形態における「車両の後方」には、真後ろのみならず、後方の左右側方をも含む。また、本実施形態の車載装置２００は、車両Ｖの外部の異なる位置に各々設置された複数のカメラ１ａ〜１ｄを備える。本実施形態の車載装置２００は、フロントグリル部分などの車両の前方の所定位置、左サイドミラー部分などの車両の左側方の所定位置、又は右サイドミラー部分などの車両の右側方の所定位置に設けられたカメラ１ａ〜１ｄを備える。各カメラ１は、車両周囲の異なる方向の映像をそれぞれ撮影する。本実施形態では、撮像可能範囲が広い、広角のカメラ１を使用する。

通信装置２００は、カメラ１が撮像した画像を後述する端末装置１００へ送出する。カメラ１に無線通信機能を備えさせて、外部へ撮像画像を送出してもよい。端末装置１００は、無線の通信ネットワークを介してカメラ１が撮像した撮像画像を取得する。各カメラ１が撮像した画像には、各カメラ１の配置(アドレス)に応じた識別子が付されており、端末装置１００は、各識別子に基づいて各撮像画像のそれぞれを識別できる。

車両コントローラ３は、車両の各構成から情報を取得し、車両の動作を集中的に管理する。本実施形態の車両コントローラ３は、車両の状態を示す状態情報を取得する。車両コントローラ３は、車両のステアリング制御装置４１から操舵情報を状態情報として取得し、加速度センサ４２から加速度情報又は速度情報を状態情報として取得し、車両の変速装置４４のシフトポジション情報を状態情報として取得する。車両コントローラ３は、取得した操舵情報、加速度情報（速度情報）を端末装置１００へ送出する。端末装置１００の制御装置１０は、操舵情報から車両の進行方向（進行角度）を取得する。同じく制御装置１０は、シフトポジション情報から車両が後退中か前進中かの進行方向を取得する。同じく制御装置１０は、加速度情報（速度情報）と移動時間とから車両の移動量を取得する。制御装置１０は、車両の移動方向及び移動量から、所定時間経過後の車両の位置を求めることができる。

車載装置２００が備えるカメラ１、通信装置２、車両コントローラ３、及び各装置４はＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、相互に情報の授受を行うことができる。

次に、図１に基づいて端末装置１００について説明する。本実施形態の端末装置１００は、スマートフォン、タブレット端末などの通信機能を備える可搬の携帯端末装置である。本実施形態の端末装置１００は、制御装置１０と、通信装置２０と、ディスプレイ３０とを備える。

本実施形態の通信装置２０は、外部の車載装置２００の通信装置２と相互に情報の授受を行う。通信装置２０は、車載装置２００から撮像画像、車両の状態その他の情報を取得する。

本実施形態のディスプレイ３０は、車両のカメラ１の撮像画像、後述する予測画像、無線通信の遅延状態に関する情報を提示する。図２は、端末装置１００のディスプレイ３０に車両の俯瞰画像と、後方の撮像画像を提示した例を示す図である。図２に示すように端末装置２００のディスプレイ３０の左側の画面３０Ｌには、上空の視点から車両を見下ろした俯瞰画像が提示され、ディスプレイ３０の右側の画面３０Ｒには、車両後方の撮像画像が提示されている。画面３０Ｒに示す後方の撮像画像には、車両が移動すると予測される軌道に沿うガイド線として、予想進路線Ｐ，車幅ガイド線Ｑ１，距離ガイド線Ｑ２が重畳して表示されている。なお、端末装置１００は、車両のドライバが視認しやすいように、車両のインストルメントパネルやステアリング近傍に取り付けられたホルダに設置してもよい。

本実施形態の端末装置１００が備える制御装置１０は、無線通信の遅延時間に応じた予測画像を提示するプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭ１２に格納されたプログラムを実行することで、本実施形態の端末装置１００として機能する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備えている。

本実施形態に係る端末装置１００の制御装置１０は、画像取得機能と、遅延状態判断機能と、移動体検知情報取得機能と、予測画像生成機能と、ガイド線生成機能と、提示機能と、を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行するコンピュータである。

以下、本発明の本実施形態に係る端末装置１００の制御装置１０が実現する各機能について説明する。

まず、制御装置１０の画像取得機能について説明する。本実施形態の制御装置１０は、車載カメラ１によって撮像された車両の周辺の撮像画像を通信装置２０を介して車載装置２００から取得する。特に限定されないが、本実施形態において、制御装置１０は、車両の後方側の撮像画像を取得する。制御装置１０は、前方、側方の撮像画像を取得してもよい。制御装置１０は、車載装置２００が生成した、車両の上空の仮想視点から車両を見下ろした、周囲の監視画像を取得してもよい。監視画像は、車両の異なる位置に複数配置されたカメラ１により撮像された複数の撮像画像を、車両上空の仮想視点から見下ろした投影面に投影して生成した俯瞰画像である。。制御装置１０は、取得した撮像画像や監視画像を、車両の駐車時、後退時などの状況においてディスプレイ３０に提示する情報として用いる。

制御装置１０の遅延状態判断機能について説明する。本実施形態の制御装置１０は、車載装置２００と端末装置１００との無線通信の遅延時間を含む遅延状態を判断する。遅延時間は、所定の良好な通信環境下における基準通信時間と、実際に送受信が行われる通信環境下における実測通信時間との差から求める。特に限定されないが、制御装置１０は、車載装置２００の時計４５と端末装置１００の時計１１２とを参照し、同期させてから、車載装置２００と端末装置１００との無線通信を介した情報の授受に要する実測通信時間を計測して、遅延時間を算出する。具体的には、車載装置２００から送信タイミングを付した情報を端末装置１００宛てに送信する。端末装置１００はその情報を取得したら受信確認情報を車載装置２００宛てに送信する。車載装置２００は端末装置１００へ情報を送信した送信タイミングから、端末装置１００が送出した受信確認情報を受信した受信タイミングまでの時間の半分を無線通信に要する通信時間として算出する。基準通信時間は、所定の負荷の無い通信環境下において、同様の手法により無線通信の通信時間を算出できる。実測される通信時間は、無線通信回線網にアクセスする端末装置の多さ、通信する情報量の多さなどによって刻々に変化する。このため、制御装置１０は、所定周期で通信時間を算出し、基準通信時間との差である遅延時間を継続的に算出する。本例では、車載装置２００と端末装置１００とを事前に同期させてから遅延時間を算出するので、正確な遅延時間を算出できる。

なお、遅延時間は、予め通信設備の能力に応じて決まる固定的な時間と、通信量などにより生じる変動的な時間とがある。固定的な時間については予め車載装置２００又は端末装置１００に記憶させておくことができる。処理負荷の軽減の観点からは、記憶された固定的な遅延時間を読み出して遅延状態を判断してもよい。

端末装置１００において、カメラ１の撮像画像の提示が遅れる遅延状態が発生する原因は、先述した無線通信の遅延時間だけではない。図３に示すように、撮像処理から画像の提示処理が完了するまでに要する以下の第１〜第３の時間を含む。ここにいう第１の時間は、ｔ０〜ｔ１までの車載装置２００が車両周囲を撮像する処理及び撮像画像を圧縮する処理までの時間である。第２の時間は、ｔ１〜ｔ２までの無線通信に要する時間である。第３の時間は、ｔ２〜ｔ３までの圧縮された撮像画像を解凍処理する時間と回答した撮像画像をディスプレイ３０に提示する処理に要する時間である。つまり、無線通信の遅延状態は、車載装置２００側において行われる撮像から撮像画像の送出までの時間と、車載装置２００と端末装置１００との通信時間と、端末装置１００側において行われる撮像画像の受信から提示までの時間が遅れたときに生じる。

無線通信に遅れが生じていない場合において、出願時における通信技術によれば、撮像処理から画像の提示処理が完了するまでに要する時間は１００〜５００msec程度である。このような短い時間であっても、過去の画像情報があたかも現在撮像された情報であるように提示されることは好ましくない。ましてや、通信遅延が生じることにより、撮像時間から提示時間までの時間が長くなる場合には、なおさらである。車載装置２００内部の通信網（ＣＡＮなど）で撮像画像を送受信する場合には、撮像時間から提示時間までの時間はほぼ一定であるので、これを管理することは可能である。これに対し、車載装置２００側で得られた撮像画像を、公共の無線通信を介して端末装置１００に送出し、端末装置１００のディスプレイ３０で提示する場合には、通信遅延に配慮する必要がある。また、上述した第３の時間は、端末装置１００の処理能力に大きく依存し、個人がそれぞれ所有する性能・状態の異なる端末装置１００について一律に遅延時間を定義することは困難である。

第１の時間に関し、本実施形態の制御装置１０は、端末装置１００と車載装置２００との無線通信の遅延時間を上記手法により計測する。

上述した第３の時間に関し、本実施形態の制御装置１０は、端末装置１００が撮像画像を取得してから予測画像を提示するまでに要する端末装置側処理時間を取得し、端末装置側処理時間を無線通信の遅延時間に加算して情報提示に係る遅延時間を算出し、遅延状態を判断する。特に限定されないが、端末装置側処理時間は、予め実験的に算出しておき、読み出し可能に端末装置１００に記憶させておくことが好ましい。無線通信の遅延のみならず、端末装置１００側の処理に要する時間を加算して遅延時間を算出することにより、遅延状態を正確に判断することができる。

上述した第１の時間に関し、本実施形態の制御装置１０は、車載装置２００側において行われる撮像画像の取得（撮像）から送出までに要する時間を、遅延時間に加算してもよい。無線通信の遅延のみならず、車載装置２００側の処理に要する時間を加算して遅延時間を算出することにより、遅延状態をさらに正確に判断することができる。

また、本実施形態の制御装置１０は、通信装置２の無線通信が途絶したか否かを判断し、無線通信が途絶した場合には、無線通信が途絶した旨をディスプレイ３０に提示させる。通信装置２の無線通信が途絶している状況においては、現時点における撮像画像をリアルタイムで取得することが困難となる。つまり、ディスプレイ３０に提示されている撮像画像は過去の映像である可能性が高い。本実施形態では、通信装置２の無線通信が途絶している旨を提示することにより、提示されている撮像画像がリアルタイムの画像ではないことをドライバに伝えることができる。

本実施形態の制御装置１０は、遅延状態に応じた無線通信の信頼度を判断する。遅延時間が長く、無線通信の遅延状態が悪い場合には、無線通信の信頼度は低いと判断する。他方、遅延時間が短く、無線通信の遅延状態が悪くない（通信状態が良好である）場合には、無線通信の信頼度は高いと判断する。無線通信の信頼度は、通信状態の通信時間に応じて定義することができる。通信時間が長いほど無線通信の信頼度を低く設定することができる。制御装置１０は、ディスプレイ３０に、判断した信頼度を提示する。無線通信の遅延時間が長く、無線通信の信頼度が低い状況においては、現時点における撮像画像をリアルタイムで取得することが困難となる。つまり、ディスプレイ３０に提示されている撮像画像は過去の映像である可能性が高い。本実施形態では、通信装置２の無線通信の信頼度が低い旨を提示することにより、提示されている撮像画像がリアルタイムの画像ではないことをドライバに伝えることができる。

次に、移動体検知情報取得機能について説明する。本実施形態の制御装置１０は、車両の周囲に移動体が存在するか否かの検知情報を取得する。制御装置１０は、移動体が存在するか否かの情報を、車載装置２００から取得する。車載装置２００は、移動体検出装置４３を備える。移動体検出装置４３は、車載カメラ１の撮像画像から抽出された特徴の経時的な変化に基づいて、車両周囲に移動体が存在するか否かを判断する。撮像画像に基づいて移動体を検出する手法は特に限定されず、本願の出願時に知られた手法を適宜に利用することができる。制御装置１０は、移動体が存在する旨の検知情報を取得した場合には、遅延状態を判断する。無線通信に遅延が発生していると撮像画像の提示が遅れるので、移動体が車両周囲に存在するにもかかわらず撮像画像に表れない状況は生じる場合がある。車両周囲に移動体が存在する場合には、特に無線通信の遅延に配慮する必要がある。本実施形態の制御装置１０は、車両周囲に移動体が存在する場合には、無線通信の遅延状態を判断するので、無線通信の遅延状態に応じた予測画像を提示することができる。

次に、制御装置１０の予測画像生成機能について説明する。制御装置１０は、車両の状態情報を取得し、車両の状態情報に基づいて遅延時間後の車両の位置を予測する。本実施形態の制御装置１０は、車両の操舵角と車速（又は加速度）を車両の状態情報として取得する。取得した状態情報（操舵角・速度などの状態値）で車両が移動したときの、所定時間後（遅延時間後）の車両の位置を算出する。所定の状態で所定の時間移動したときの車両の位置の算出手法は特に限定されず、出願時に知られた手法を適宜に適用することができる。

制御装置１０は、予測された車両の位置において撮像される予測画像を、取得した撮像画像から生成する。つまり、車両の移動方向及び移動量を考慮して、遅延時間が経過したときに移動した車両のカメラ１の撮像画像を予測して生成する。図４は、図２の画面３０Ｒに示す車両後方の撮像画像を示す図である。図４に示すように、タイミングtxoにおいて、所定の点P0を設定する。車両が状態情報における操舵角・速度（状態情報）で移動すると、撮像画像上の点P0は、遅延時間ty後のタイミングtx1において、点P1に移動する。本例では、車両の状態情報と遅延時間tyとから車両の後退量（移動量）を予測し、移動後の位置で車載カメラ１の撮像画像において基準点P0に対応する点P1のＲＧＢ画像情報を算出する。つまり、遅延時間ty後のタイミングtx1における撮像画像を先読み（予測）する。

制御装置１０は、ステアリング舵角から車両の移動方向を求め、速度情報から車両の移動速度を求め、車両が現在の移動方向と移動速度で移動した場合に、遅延時間経過後の車両の位置をから車載カメラ１が撮像した画像を予測する。つまり、タイミングtx0において車載カメラ１により撮像された撮像画像の点P0が、遅延時間ty経過後のタイミングtx1において撮像された撮像画像のどこに位置するかを求める。車両の移動方向及び移動量から遅延時間ty経過後のタイミングtx1におけるカメラ１の撮像画像の座標を設定する。タイミングtx0におけるメラ１の撮像画像の座標（tx0のカメラ座標）の情報を、新たに設定した座標上（tx1のカメラ座標）に座標変換する。各座標点について同様の座標変換を実行する。制御装置１０は、この処理により、取得した撮像画像から予測された車両の位置において撮像される予測画像を生成する。つまり、制御装置１０は、車両が状態情報の方向及び速度で移動し、タイミングtx0から遅延時間tyが経過したタイミングtx1において車両が存在する位置から、車載のカメラ１で撮像したら得られるであろう予測画像が生成する。

なお、説明のために、図４において、タイミングtx0において車載カメラ１により撮像された撮像画像の点P0は、遅延時間ty経過後のタイミングtx1において点P1に対応すると仮定する。予測画像は、図４に示す撮像画像の点P0が点P1に移動した画像となる。本例では車両が（車両進行方向に対して）左後方に移動するため、車両後方を映し出す予測画像が撮像画像よりも（図面の画像において右方向）にシフトするが、カメラ１は図４に示す領域よりも広い範囲を実際に撮像している。特に、広角のカメラ１を採用していれば、広い範囲の映像を含む撮像画像が取得されている。この撮像画像のうち予測画像に必要な領域について座標変換を行い、表示領域に応じて予測画像を切り出す処理を行うことにより、欠けの無い予測画像を生成できる。

制御装置１０の提示機能について説明する。制御装置１０は、生成された予測画像をディスプレイ３０に提示する。制御装置１０は、図２に示すように、ディスプレイ３０の左側領域３０Lに上空から車両を見下ろした俯瞰画像を提示し、ディスプレイ３０の右側領域３０Ｒに撮像画像又は予測画像を提示する。

本実施形態の情報提示システム１０００によれば、無線通信の遅延時間後に車載カメラで撮像されるであろう予測画像を生成するので、車載装置２００と端末装置１００との通信に遅れが生じた場合であっても、リアルタイムの車両周囲の状態を示す予測画像を提示することができる。車載カメラ１の撮像画像を端末装置１００に提示する場合に通信遅延が発生すると、端末装置１００は過去の撮像画像を提示することになる。

ディスプレイ３０の表示枠に沿って切り取られた過去の撮像画像には表れていない物体が、自車両に接近しているような状況を想定する。この状況において無線通信に遅延が発生すると、ドライバは接近する物体の存在を過去の撮像画像から認識することはできない。これに対し、本実施形態では、車両の状態情報に応じて遅延時間後に移動したときのカメラ１位置を基準に撮像画像を切り取り、予測画像を生成するので、過去のタイミングでは表示枠に入らなかった移動体であっても、遅延時間を考慮した現在のタイミングで表示枠に入る移動体については、ドライバは予測画像から認識できる。本実施形態では、無線通信に遅延が生じた場合に、過去の撮像画像を端末装置１００に提示せずに、先読みしたリアルタイムの予測画像を提示するので、過去の撮像画像には含まれない接近してくる移動体の存在をもドライバに知らせることができる。

本実施形態の制御装置１０は、車両の状態情報に基づいてその車両が移動すると予測される軌道に沿うガイド線を生成するガイド線生成機能をさらに備える。制御装置１０は、車両が移動すると予測される軌跡を示す予測進路線Ｐと、車両が移動する場合に車両の側面の位置を示す車幅ガイド線Ｑ１と、車両が移動する場合に車両の進行方向に沿う位置を示す距離ガイド線Ｑ２と、を含むガイド線を生成する。そして、制御装置１０は、図２、４に示すように、生成されたガイド線を予測画像に重畳して提示する。

その際に、本実施形態では、先述した遅延状態判断機能により判断された遅延状態に応じて、ガイド線の表示態様を変化させる。たとえば、遅延時間が長く、遅延状態が悪い、つまり無線通信の信頼度が低い場合には、無線通信の信頼度が標準値以上の場合に使用されるデフォルトの表示設定とは異なる態様で表示する。通常の表示態様とは異なる表示態様でガイド線を示すことにより、ドライバの注意を喚起できる。無線通信の信頼度が低い場合には、ガイド線の精度が低下する可能性があるものの、ガイド線の態様を変化させることにより、ドライバが周囲の状況に高度の注意を払うように仕向けることができる。

具体的に、遅延時間が長く、遅延状態が悪い場合に表示するガイド線は、遅延時間が短く、遅延状態が悪くない（無線通信の状態が良好）である場合に表示するガイド線と、色、透過度、太さ、態様（一点破線、二点鎖線）が異なるものにする。一例を挙げると、遅延時間が短く、遅延状態が悪くない（無線通信の状態が良好である）場合には、ガイド線を青色、緑色、青紫色などの相対的に目立たない後退色の線、破線、相対的に細い線で表示する。他方、遅延時間が長く、遅延状態が悪い場合には、ガイド線を赤色、実線、オレンジ色、黄色などの相対的に目立つ進出色の線、相対的に太い線で表示する。

なお、図２、４に示す例では、後方の撮像画像の予測画像を提示する例を説明したが、これに代えて、制御装置１０は、予測された車両の位置において複数のカメラ１により撮像される予測画像を、予測された位置の上空の仮想視点から車両を見下ろした投影面に投影した一の予測画像を生成し、これを提示することができる。つまり、遅延時間経過後の予測画像を、図２のディスプレイ３０の左側領域３０Ｌに示すような俯瞰画像の態様で示すことができる。予測画像は、車両の進行方向の画像についてのみ生成し、他の部分については過去の画像を用いてもよい。車両が後退している場合には、後退方向の画像についてのみ予測画像を生成し、後方の予測画像と前方及び側方の撮像画像とから俯瞰画像を生成する。本例によれば、生成された予測画像により、進行方向のみならず、車両の周囲全体の様子を確認できる。

以下、本発明の第１実施形態の情報提示システム１０００の処理手順を説明する。図５は、本実施形態に係る情報提示システム１０００の制御手順を示すフローチャートある。

ステップ１０１において、本実施形態の端末装置１００の制御装置１０は、無線通信の確立を確認する。無線通信が確立していない場合、つまり、無線通信が途絶している場合には、その旨をディスプレイ３０に表示させる。

無線通信が確立している場合には、ステップＳ１０２に進み、制御装置１０は遅延対策処理を開始する。遅延対策処理では、遅延時間経過後に撮像される予測画像を生成し、これをディスプレイ３０に表示する。本実施形態では、移動体が存在する旨の検知情報を取得した場合に、遅延対策処理を開始する。遅延対策処理のトリガは、これに限定されず、無線通信の遅延時間が所定値以上となった場合に、遅延対策処理を開始してもよい。もちろん、本処理は所定周期で繰り返されてもよい。

続くステップ１０３において、制御装置１０は、遅延状態を判断する。遅延状態は遅延時間により判断できる。遅延時間は、車載装置２００側で計測してもよいし、端末装置１００側で計測してもよい。本実施形態の端末装置１００は、車載装置２００との同期をとり、所定の情報を車載装置２００へ送出してから、車載装置の受領信号を取得するまでの時間を通信の往復に要する時間とし、その半分を通信時間として算出する。制御装置１０は、標準の状態で計測した通信時間から実測された通信時間を差し引いて、実測時における遅延時間を算出する。取得した遅延時間により遅延状態に基づいて無線通信の信頼度を判断する。遅延時間が長いほど、遅延状態が悪く、無線通信の信頼度は低い。このとき、端末装置１００側における取得した画像情報の解凍及び提示処理に係る時間を考慮して遅延時間及び遅延状態を判断する。制御装置１０は、遅延状態に関する判断結果をディスプレイ３０に提示する。ドライバに無線通信の信頼度、つまり、提示する情報の信頼度に関する情報を提供するためである。

ステップ１０４において、制御装置１０は車載装置２００からカメラ１の撮像画像と、車両の状態情報を取得する。

続くステップ１０５において、制御装置１０は予測画像を生成する。制御装置１０は、車両の状態情報に基づいて遅延時間後の車両の位置を予測し、予測された車両の位置においてカメラ１により撮像される予測画像を、取得した撮像画像から生成する。

ステップ１０６において、制御装置１０は、車両の状態情報に基づいて車両が移動すると予測される軌道に沿うガイド線を生成する。

ステップ１０７において、制御装置１０は、生成されたガイド線を、撮像画像又は予測画像に重畳してディスプレイ３０に提示する。

以上のとおり構成され、動作する本発明の実施形態に係る端末装置１００、情報提示システム１０００は、以下の効果を奏する。

[１]本実施形態の情報提示システム１０００によれば、無線通信の遅延時間後に車載カメラで撮像されるであろう画像を先読みした予測画像を生成するので、車載装置２００と端末装置１００との通信に遅れが生じた場合であっても、リアルタイムの車両周囲の状態を示す予測画像を提示することができる。この結果、無線通信に遅延が生じた場合に、端末装置に過去の撮像画像が提示されることを防止できる。

［２］本実施形態の情報提示システム１０００によれば、車載装置２００と端末装置１００とを事前に同期させてから遅延時間を算出するので、正確な遅延時間を算出できる。

［３］本実施形態の情報提示システム１０００では、無線通信の遅延のみならず、端末装置１００側の処理に要する時間を加算して遅延時間を算出することにより、遅延状態を正確に判断ができる。

［４］本実施形態の情報提示システム１０００では、通信装置２の無線通信が途絶している旨を提示することにより、提示されている撮像画像がリアルタイムの画像ではないことをドライバに伝えることができる。

［５］本実施形態の情報提示システム１０００では、通信装置２の無線通信の信頼度が低い旨を提示することにより、提示されている撮像画像がリアルタイムの画像ではないことをドライバに伝えることができる。

［６］本実施形態の情報提示システム１０００では、遅延時間が長く、遅延状態が悪い、つまり無線通信の信頼度が低い場合には、デフォルトの表示設定とは異なる態様で表示することにより、ドライバの注意を喚起する。無線通信の信頼度が低い場合には、ガイド線の精度が低下する可能性があるものの、ガイド線の態様を変化させることにより、ドライバが周囲の状況に注意を払うようにすることができる。

［７］本実施形態の情報提示システム１０００では、車両周囲に移動体が存在する場合には、無線通信の遅延状態を判断するので、特に注意すべき状況において、無線通信の遅延状態に応じた予測画像を提示することができる。

［８］本実施形態の情報提示システム１０００では、生成された予測画像により、進行方向のみならず、車両の周囲全体の様子を確認できる。

本明細書では、本発明に係る情報提示システムの一態様として端末装置１００及び情報提示システム１０００を例にして説明するが、本発明はこれに限定されるものではない。

また、本明細書では、本発明に係る情報提示システムの一態様として、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３を含む制御装置１０を備える端末装置１００と車載装置２００を備える情報提示システム１０００を一例として説明するが、これに限定されるものではない。

本明細書では、画像取得手段と、遅延状態判断手段と、予測画像生成手段と、提示手段と、ガイド線生成手段と、移動体検知情報取得手段と、を備える端末装置の一態様として、画像取得機能と、遅延状態判断機能と、予測画像生成機能と、提示機能と、ガイド線生成機能と、移動体検知情報取得機能とを実行する制御装置１０と、通信装置２０と、ディスプレイ３０とを備える端末装置１００を説明するが、これに限定されるものではない。

本明細書では、カメラと、通信機能を備える車載装置の一態様として、カメラ１と、通信装置２と、車両コントローラ３と、各種装置４とを備える車載装置２００を説明するが、これに限定されるものではない。

１０００…情報提示システム
１００…端末装置
１０…制御装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
２０…通信装置
３０…ディスプレイ
２００…車載装置
１，１ａ〜１ｄ…カメラ
２…通信装置
３…車両コントローラ
４…各種装置
４１…ステアリング制御装置
４２…加速度センサ
４３…移動体検出装置

【０００６】
０はその情報を取得したら受信確認情報を車載装置２００宛てに送信する。車載装置２００は端末装置１００へ情報を送信した送信タイミングから、端末装置１００が送出した受信確認情報を受信した受信タイミングまでの時間の半分を無線通信に要する通信時間として算出する。基準通信時間は、所定の負荷の無い通信環境下において、同様の手法により無線通信の通信時間を算出できる。実測される通信時間は、無線通信回線網にアクセスする端末装置の多さ、通信する情報量の多さなどによって刻々に変化する。このため、制御装置１０は、所定周期で通信時間を算出し、基準通信時間との差である遅延時間を継続的に算出する。本例では、車載装置２００と端末装置１００とを事前に同期させてから遅延時間を算出するので、正確な遅延時間を算出できる。
［００２４］
なお、遅延時間は、予め通信設備の能力に応じて決まる固定的な時間と、通信量などにより生じる変動的な時間とがある。固定的な時間については予め車載装置２００又は端末装置１００に記憶させておくことができる。処理負荷の軽減の観点からは、記憶された固定的な遅延時間を読み出して遅延状態を判断してもよい。
［００２５］
端末装置１００において、カメラ１の撮像画像の提示が遅れる遅延状態が発生する原因は、先述した無線通信の遅延時間だけではない。図３に示すように、撮像処理から画像の提示処理が完了するまでに要する以下の第１〜第３の時間を含む。ここにいう第１の時間は、ｔ０〜ｔ１までの車載装置２００が車両周囲を撮像する処理及び撮像画像を圧縮する処理までの時間である。第２の時間は、ｔ１〜ｔ２までの無線通信に要する時間である。第３の時間は、ｔ２〜ｔ３までの圧縮された撮像画像を解凍処理する時間と解凍した撮像画像をディスプレイ３０に提示する処理に要する時間である。つまり、無線通信の遅延状態は、車載装置２００側において行われる撮像から撮像画像の送出までの時間と、車載装置２００と端末装置１００との通信時間と、端末装置１００側において行われる撮像画像の受信から提示までの時間が遅れたときに生じる。

Claims (8)

1. 車両に設けられたカメラを有する車載装置と、前記車載装置と無線通信する携帯可能な端末装置と、を備える情報提示システムにおいて、
   前記端末装置は、前記カメラにより撮像された車両の周辺の撮像画像を取得する画像取得手段と、
   前記車載装置と前記端末装置との無線通信の遅延時間を含む遅延状態を判断する遅延状態判断手段と、
   前記車載装置から前記車両の状態情報を取得し、前記車両の状態情報に基づいて前記遅延時間後の前記車両の位置を予測し、前記予測された車両の位置において前記カメラにより撮像される予測画像を、前記取得した撮像画像から生成する予測画像生成手段と、
   前記予測画像を提示する提示手段と、を有することを特徴とする情報提示システム。
2. 前記遅延状態判断手段は、前記車載装置と前記端末装置とを同期させてから、前記車載装置と前記端末装置との無線通信を介した情報の授受に要する時間を計測して、前記遅延時間を算出することを特徴とする請求項１に記載の情報提示システム。
3. 前記遅延状態判断手段は、前記端末装置が前記撮像画像を取得してから前記予測画像を提示するまでに要する端末装置側処理時間を取得し、前記端末装置側処理時間と前記無線通信の遅延時間とを加算して情報提示に係る遅延時間を算出し、前記遅延状態を判断することを特徴とする請求項１に記載の情報提示システム。
4. 前記遅延状態判断手段は、前記無線通信が途絶したか否かを判断し、前記無線通信が途絶した場合には、前記無線通信が途絶した旨を前記提示手段に提示させることを特徴とする請求項１〜３の何れか一項に記載の情報提示システム。
5. 前記遅延状態判断手段は、前記遅延状態に応じた前記無線通信の信頼度を判断し、
   前記提示手段は、前記信頼度を提示することを特徴とする請求項１〜４の何れか一項に記載の情報提示システム。
6. 前記端末装置は、前記車両の状態情報に基づいて当該車両が移動すると予測される軌道に沿うガイド線を生成するガイド線生成手段をさらに備え、
   前記提示手段は、前記生成されたガイド線を前記予測画像に重畳して提示する際に、前記遅延状態判断手段により判断された遅延状態に応じて、前記ガイド線の表示態様を変化させることを特徴とする請求項１〜５の何れか一項に記載の情報提示システム。
7. 前記端末装置は、前記車両の周囲に移動体が存在するか否かの検知情報を取得する移動体検知情報取得手段をさらに備え、
   前記遅延状態判断手段は、前記移動体が存在するか旨の検知情報を取得した場合には、前記遅延状態を判断することを特徴とする請求項１〜６の何れか一項に記載の情報提示システム。
8. 前記カメラは、前記車両の異なる位置に複数配置され、
   前記予測画像生成手段は、前記予測された車両の位置において前記複数のカメラにより撮像される予測画像を、前記予測された位置の上空の仮想視点から当該車両を見下ろした投影面に投影した一の予測画像を生成することを特徴とする請求項１〜７の何れか一項に記載の情報提示システム。

Images