JP4233743B2 - 周辺情報表示装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、車車間、または人車間等の自車輌と対象物との間の通信により得られた情報を運転者に最適に伝達する周辺情報表示装置に関し、特に通信により与えられる情報を元に、自車輌の周辺の走行に影響を与えることが予想される対象物を特定し、当該対象物を撮像手段から得られる画像上に強調表示することにより運転者に伝達する周辺情報表示装置に関する。
【０００２】
【従来の技術】
従来、車車間、または人車間等の通信により得られた自車輌の周辺における交通情報に対する運転者への情報提供・警報等は、表示ランプやブザー等の簡単な告知手段により行なっている。このような従来技術には、特開平７−２５１６９１号公報、または特開平７−２６０９３０号公報に開示される技術がある。
特開平７−２５１６９１号公報に記載の技術では、周囲に存在する他の移動体が発信する信号を受信して移動体を検出する移動体検出装置に、移動体を検出した場合に乗員（運転者）に対して表示や警告を行う車内表示ランプ、及びブザー等の表示手段と、移動体を検出した場合に外部に対して視覚表示を行う車外表示手段を備え、他の移動体が発信する信号が所定の受信強度以上に受信された場合、他の移動体が自車輌の近傍にいると判断し、用意された車内表示ランプ、及びブザー、車外ランプにより、これを乗員、または外部に対して伝達している。
また、特開平７−２６０９３０号公報に記載の技術では、更に周囲に存在する移動体に対して信号の発信を要求する要求信号送信手段を設け、自車輌に向けて接近する移動体に対してのみ上述の信号の発信を要求し、必要のない他の移動体に信号を発信させる無駄を省いている。
【０００３】
【発明が解決しようとする課題】
しかし、上述の装置では、自車輌の周辺において移動体を検出した時の表示情報は、簡単なランプ等の表示のみであるため、自車輌の周辺に移動体が検出されたという情報だけでは、運転者はどの物体が自車輌の走行に影響を与える物体であるかを判断することが難しく、誤判断により、関係のない物体を対象物として認識する可能性があった。
【０００４】
本発明は、上記課題に鑑みてなされたもので、自車輌の走行に影響を与えることが予想される対象物を特定し、撮像手段から得られる画像上に強調表示することにより運転者に伝達する周辺情報表示装置を提供することを目的とする。より具体的には、車車間、または人車間等の自車輌と対象物との間の通信により与えられる物体毎の移動情報により、自車輌の走行に影響を与えることが予想される物体を、運転者の判断を介さず、対象物として特定し、撮像手段から得られる画像上における対象物の存在状態に応じた適切な表示形態により、運転者に対して周辺情報を伝達し、運転者の対象物の認識を容易にする周辺情報表示装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記課題を解決するために、請求項１に記載の発明は、自車輌と対象物との間の通信により得られた自車輌の周辺の情報を運転者に対して表示する周辺情報表示装置であって、通信により得られる情報を元に、撮像手段から得られる画像上の対象物を特定する特定手段（例えば実施の形態のステップＳ１１からステップＳ１４）と、特定された対象物の形状を画像中から抽出可能か否か判断する照合手段（例えば実施の形態のステップＳ２１からステップＳ２７）と、対象物の形状を画像中から抽出可能と判断した場合には抽出された対象物のエッジ部分を強調した表示を行うとともに、前記対象物の形状を画像中から抽出不可能と判断した場合には対象物が存在すると予測される点を中心にした対象物形状の輪郭表示を行う表示手段（例えば実施の形態のステップＳ３からステップＳ５）とを設けたことを特徴とする。
以上の構成により、自車輌の走行に影響を与えることが予想される他車輌、歩行者等の対象物の特定を、運転者の意志によらずに行うことで、運転者の判断という不確実性を排除することを可能とする。また、特定された対象物を実画像上に強調表示することで、運転者に対して正確、かつ認識しやすい情報として伝達することを可能とする。更に、特定された対象物の画像上の存在状態に応じて表示方法を変更することで、運転者からは目視できないような遮蔽物の向こう側に位置する対象物に関する情報も伝達可能とする。
なお、ここで「予測対象物」とは、実施の形態の周辺情報表示装置の制御装置１が特定した、運転者からは目視できないような遮蔽物の向こう側に位置する対象物のことを指す。
【０００６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。本実施の形態では、説明を簡単化するため対象物を車輌とし、周辺情報表示装置を車輌に搭載した場合の説明を行う。
図１は、本実施の形態の周辺情報表示装置の構成を示すブロック図である。図１において、符号１は、本実施の形態の周辺情報表示装置の動作を制御するマイクロコンピュータによる制御装置を示す。符号２は、ＧＰＳ（Global Positioning System ）の信号を受信するアンテナを示す。符号３は、アンテナ２で受信したＧＰＳの信号により、車輌の走行位置や走行速度を算出する自車位置評定装置を示す。符号４は、自車輌の加減速度やハンドル角度、ブレーキ・スロットルの開閉度等を検出するために車輌の各所に搭載された自車輌搭載センサを示す。符号５は、制御装置１から指示された信号を発振する発振器を示す。符号６は、発振器５の出力を希望の送信周波数へ変換する周波数混合器を示す。符号７は、周波数混合器６へ供給する周波数信号を発生するＰＬＬシンセサイザを示す。符号８は、周波数混合器６の出力を送信に必要な電力まで増幅する増幅器を示す。符号９は、増幅器８で増幅された送信信号をアンテナへ供給する送信器を示す。符号１０は、他車輌へ自車輌の情報を送信する車車間通信用の送信アンテナを示す。符号１１は、自車輌へ他車輌からの情報を受信する車車間通信用の受信アンテナを示す。符号１２は、アンテナ１１で受信した車車間通信の他車輌から自車輌への情報を、制御装置１へ入力する受信器を示す。符号１３は、車輌周辺画像を取得する車輌搭載カメラ（撮像手段）を示す。符号１４は、制御装置１から運転者へ通知したい情報を表示する情報提供装置を示す。
【０００７】
以上の構成において、本実施の形態では、各車輌に搭載された周辺情報表示装置の制御装置１が、自車位置評定装置３から取得した自車輌の走行位置や走行速度、方位、進路等の情報を、発振器５から送信器９までの送信系無線通信装置を介して送信アンテナ１０より、自車輌以外の他車輌に向けて送信している。このような状況下において、任意の車輌の周辺情報表示装置は、周辺の他車輌が送信している他車輌の走行位置や走行速度、方位、進路等の情報を、アンテナ１１と受信器１２を含む受信系無線通信装置により受信し、更に、自車位置評定装置３から自車輌の走行位置や走行速度、方位、進路等の情報を、及び自車輌搭載センサ４から自車輌の加減速度やハンドル角度、ブレーキ・スロットルの開閉度等の情報を取得し、これにより制御装置１において、当該車輌の走行に影響を与えると予想される他車輌を抽出し、これを対象車輌として特定する。
対象車輌を特定したら、当該車輌の周辺情報表示装置の制御装置１は、車輌搭載カメラ１３から実映像画像を読み込み、更に受信系無線通信装置により受信した対象車輌の位置や車種、及び自車位置評定装置３から取得した自車輌の位置や進行方向を取得し、スキャンを行う為に映像上に存在する対象車輌の大きさ、形状、対象車輌が映像上に存在する位置や範囲を特定する。次に、車輌搭載カメラ１３が撮影した対象車輌の実映像画像をスキャンし、対象車輌の形状が画像から抽出可能ならば、実映像の対象車輌のエッジ部分にマークを施した強調表示を情報提供装置１４へ表示する。また、対象車輌の実映像のエッジ処理後の画像をスキャンし、対象車輌の形状が画像から抽出不可能ならば、スキャンポイントを中心として、実映像に対象車輌のスキャン形状の輪郭表示を、交通状況を通知するメッセージと共に情報提供装置１４へ表示する。
【０００８】
次に、本実施の形態の周辺情報表示装置の制御手順を図面を用いて説明する。まず、図２を用いて、本実施の形態の周辺情報表示装置の全体の制御手順を説明する。図２は、本実施の形態の周辺情報表示装置の制御手順を示すフローチャートである。
図２において、まず自車輌の走行に影響を与えることが予想される他車輌を抽出する対象車輌抽出処理を行う（ステップＳ１）。なお、対象車輌抽出処理の詳細は後述する。
次に、対象車輌抽出処理において注意するべき対象車輌を抽出できた場合、車輌搭載カメラ１３から読み込んだ実映像画像から対象車輌をスキャンして、実映像画像上に対象車輌が存在するか否かを確認する照合判断処理を行う（ステップＳ２）。なお、照合判断処理の詳細は後述する。
そして、照合判断処理の結果、対象車輌の形状が画像から抽出可能か否かを判定する（ステップＳ３）。
ステップＳ３において、対象車輌の形状が画像から抽出可能と判断した場合（ステップＳ３のＹＥＳ）、実映像の対象車輌のエッジ部分にマークを施した強調表示を行い（ステップＳ４）、処理画像を情報提供装置１４へ表示する（ステップＳ５）。
また、ステップＳ３において、対象車輌の形状が画像から抽出不可能と判断した場合（ステップＳ３のＮＯ）、照合判断処理におけるスキャンポイントを中心に、実映像に対象車輌のスキャン形状の輪郭表示を行い（ステップＳ６）、交通状況を通知するメッセージと共に処理画像を情報提供装置１４へ表示する（ステップＳ５）。
【０００９】
次に、図面を用いて、図２のステップＳ１における周辺情報表示装置の対象車輌抽出処理の制御手順を説明する。図３は、本実施の形態の周辺情報表示装置の動作例を説明するための運転者の視野実風景の一例を示す図である。図４は、本実施の形態の周辺情報表示装置の対象車輌抽出処理の詳細な制御手順を示すフローチャートである。
例えば、今、自車輌が図３に示すような状況を走行中であって、前方から２輪車がこちらに向かって走行しているとする。このような状況下で、自車輌が２輪車の前方を横切ろうとする進路へハンドルを向けた場合の対象車輌抽出処理の動作を説明する。
図４の制御手順では、まず、対象車輌抽出処理に必要な各種情報の収集を行う（ステップＳ１１）。ここで、各種情報の収集とは、自車位置評定装置３から取得する車速、位置、方位、進路等の位置状況を判断するための情報収集（ステップＳ１１ａ）、自車輌搭載センサ４から取得するブレーキ・スロットルの開閉度の他、自車速等の車輌の運転状況を判断するための情報収集（ステップＳ１１ｂ）、受信器１２を含む受信系無線通信装置から取得する他車輌の車速、位置、方位、進路等の周囲状況を判断するための情報収集（ステップＳ１１ｃ）を指す。
次に、自車位置標定装置３から算出される自車輌の方位・自車輌の位置・差し掛かろうとしている交差点等の位置状況判断（ステップＳ１１ａ）と、自車輌搭載センサ４から得られるブレーキ・スロットル開度・自車速等の車輌運転状況判断（ステップＳ１１ｂ）と、受信系無線通信装置により得られる他車輌の位置・進行方向・差し掛かる交差点等の周囲状況判断（ステップＳ１１ｃ）の各々の判断情報内容から、自車輌の進行方向に対し進行ベクトルが交わる他車輌が存在するか否かを判定する（ステップＳ１２）。図３に示す例では、２輪車の前方を自車輌が横切ろうとするので、２輪車が自車輌の進行方向に対し進行ベクトルが交わる他車輌として認識される。
ステップＳ１２において、自車輌の進行方向に対し進行ベクトルが交わる他車輌が存在すると判定した場合（ステップＳ１２のＹＥＳ）、交わる点における推定到着時間差がある一定時間未満であるような他車輌が存在するか否かを判定する（ステップＳ１３）。
ステップＳ１３において、交わる点における推定到着時間差がある一定時間未満であるような他車輌が存在すると判定した場合（ステップＳ１３のＹＥＳ）、対象車輌として抽出し、受信信号中に含まれる車輌ＩＤにより対象車輌を特定する（ステップＳ１４）。ここでは、図３に示す例において、当該２輪車が対象車輌として特定されたとする。
【００１０】
一方、ステップＳ１２において、自車輌の進行方向に対し進行ベクトルが交わる他車輌が存在しないと判定した場合（ステップＳ１２のＮＯ）、あるいは、ステップＳ１３において、交わる点における推定到着時間差がある一定時間未満であるような他車輌が存在しないと判定した場合（ステップＳ１３のＮＯ）、ステップＳ１１へ戻り、各種情報の取得を続ける。
【００１１】
なお、上述の対象車輌の抽出において、各車輌の進行ベクトルの交わりと、交わる点への推定到着時間差は以下により求まる。すなわち、対象車輌から受信した対象車輌の位置と差し掛かろうとしている交差点等の目的場所の位置の情報から、対象車輌と目的場所のベクトルを求め、同様に、自車輌の自車位置標定装置３から算出される自車輌の位置・差し掛かろうとしている交差点等の目的場所から求めたベクトルと重ね合わせることによりベクトルの交点を求め、対象車輌に位置、及び自車輌の位置からベクトル交点までの距離を計算し、更に対象車輌から受信した対象車輌の車速度・加速度等の情報と、自車輌搭載センサ４から得られる車速度・加速度等の情報を用いて、ベクトルの交点までのお互いの到達時間を計算することにより、推定到着時間差を得ることができる。
【００１２】
次に、図面を用いて、図２のステップＳ２における周辺情報表示装置の照合判断処理の制御手順を説明する。図５は、本実施の形態の周辺情報表示装置の照合判断処理の詳細な制御手順を示すフローチャートである。
図５において、まず、車輌搭載カメラ１３から実映像画像を読み込む（ステップＳ２１）。
次に、映像上の画像と画像の境目を強調して抽出するエッジ処理を行う（ステップＳ２）。図６は、本実施の形態の周辺情報表示装置の照合判断処理で扱われる映像の一例を示す図であって、図６（ａ）は車輌搭載カメラ１３の実映像を、図６（ｂ）は実映像のエッジ処理後の画像をそれぞれ示す。
エッジ処理後の画像を取得したら、次に照合判断処理に必要な各種情報の収集を行う（ステップＳ２３）。ここで、各種情報の収集とは、受信器１２を含む受信系無線通信装置から取得する対象車輌の車速、位置、方位、進路や、車種等の情報収集（ステップＳ２３ａ）、自車位置評定装置３から取得する車速、位置、方位、進路等の情報収集（ステップＳ２３ｂ）を指す。
各種情報の収集を終えたら、対象車輌の位置と自車輌の位置とから相対距離を算出し、映像上に表示されるべき大きさを特定する。具体的に大きさを求める方法は図７を用いて説明する。図７は、本実施の形態の周辺情報表示装置の自車輌の位置、及び進行方法と、対象車輌の位置との関係を示す図である。ここで、対象車輌の物体幅ＷはステップＳ２３ａにおける情報収集において得られた車種情報から、また、位置（Ｘｖ，Ｙｖ）はステップＳ２３ａにおける情報収集において得られた対象車輌の位置から決定される。そこで、画像上の物体幅Ｗ’は、ステップＳ２３ｂにおける情報収集で得られた自車輌の位置を（Ｘｏ，Ｙｏ）、車輌搭載カメラ１３焦点距離をＬとすると、図７に示すように比率計算により
Ｗ’＝Ｗ×Ｌ／｜（Ｘｖ−Ｘｏ）｜
と表すことができる。
【００１３】
次に、ステップＳ２３ａにおける情報収集において得られた車種情報と対象車輌の位置、及びステップＳ２３ｂにおける情報収集で得られた自車輌の位置との位置関係の判断からスキャン形状を特定する（ステップＳ２５）。図８は、本実施の形態の周辺情報表示装置の照合判断処理で特定される対象車輌のスキャン形状を記録したデータベースの一例を示す図である。図８によると、データベースは、車種情報、及び自車輌と対象車輌との位置関係によるマトリクスにより、対応するスキャン形状を記録している。例えば、車種では、トラック、バス、乗用車、２輪車等が記録され、位置関係では対向車輌か前走車輌かでスキャン形状を区別している。ステップＳ２５では、図８に示すデータベースから該当するスキャン形状を抽出する。
対象車輌のスキャン形状を決定したら、次に、対象車輌のスキャン位置を特定する（ステップＳ２６）。対象車輌のスキャン位置の特定は、同様にステップＳ２３ａにおける情報収集において得られた対象車輌の位置と、ステップＳ２３ｂにおける情報収集において得られた自車輌の位置と方位により相対位置が算出できるので、対象車輌を画像上に表示した際の特性を考慮して画像上の一点を決定する。
【００１４】
対象車輌を画像上に表示した際の画像上の一点を決定することができたら、次に自車輌と対象車輌の進行状況から、スキャン範囲を決定する（ステップＳ２７）。図３に示す例では、２輪車の前方を自車輌が横切ろうとするので、自車輌の進行方向の変化から対象車輌との相対関係は図９のようになる。図９は、本実施の形態の周辺情報表示装置の照合判断処理時の自車輌進行方向と映像回転軸との関係を示す図である。図９において、符号２０は、自車輌を示す。符号２１は図３の例における２輪車を示す。符号２２は、自車輌と２輪車の双方が差し掛かろうとする交差点を示す。ここで、自車輌の位置から焦点距離Ｌにある画像上物体は、自車輌と２輪車の双方が直進している状態では図９（ａ）に示すように自車輌の右前方に位置するが、２輪車の前方を自車輌が横切ろうとする状態では図９（ｂ）に示すような自車輌の左前方に位置するように見える。従って、図９（ｂ）からもわかるように、２輪車が進行することにより、自車輌の位置から焦点距離Ｌにある画像上物体は、左方向から右方向、及び画像の奥から手前へ動くことが予想される。
従って、対象車輌のスキャン位置とスキャン範囲は図１０に示すように求まる。図１０は、本実施の形態の周辺情報表示装置の照合判断処理で特定されるスキャン位置と映像上の特性から求めたスキャン範囲を示す図である。図１０（ａ）のように求まったスキャン位置に対して、自車輌と対象車輌の進行状況から、図１０（ｂ）に示すスキャン範囲が求まる。
上述のように、対象車輌に対するスキャン条件が求まったら、車輌搭載カメラ１３が撮影した対象車輌の実映像画像のスキャンを行い（ステップＳ２８）、照合判断処理を終了する。
【００１５】
次に、本実施の形態の周辺情報表示装置における周辺情報の表示例を具体的に図面を用いて説明する
図１１は、本実施の形態の周辺情報表示装置における情報提供装置の表示画面の一例を示す図である。
図１２は、同実施の形態の周辺情報表示装置における情報提供装置の車輌内配置例を示す図である。図１２において符号５０は、運転者の邪魔にならない運転席の近傍に配置されたＮＡＶＩＤｉｓｐｌａｙを示し、自車輌の位置を運転者へ伝達して目的地へ誘導するナビゲーションシステムの情報を表示する。符号５１は、ＨＵＤ（Head Up Display ）を示し、運転者の前方のフロントガラスに情報を表示する。符号５２は、メーター一体Ｄｉｓｐｌａｙを示し、速度等の走行に必要な内容を含めた情報を表示する。
【００１６】
例えば、図３、及び図９に示す交通状況において、上述のように、走行車輌２０が対向する２輪車２１の前方を横切ろうとする場合、周辺情報表示装置が対象車輌抽出処理により、２輪車２１を自車輌の走行に影響を与えることが予想される対象車輌として特定したとする。次に、車輌搭載カメラ１３から読み込んだ実映像画像から対象車輌をスキャンして、実映像画像上に対象車輌が存在するか否かを確認する照合判断処理を行った結果、対象車輌の形状が画像から抽出可能と判断した場合、図１１（ａ）に示すように、実映像の対象車輌のエッジ部分にマークを施した強調表示を行い、処理画像を情報提供装置１４へ表示する。
また、例えば図１１（ｂ）に示すように、自車輌の前方に前走車輌があるような場合、対象車輌の２輪車は遮蔽物の向こう側に位置しており、照合判断処理において対象車輌の形状が画像から抽出不可能と判断される。このように、運転者からは目視できないような対象車輌については、図１１（ｂ）に示すように、照合判断処理におけるスキャンポイントを中心に、実映像に対象車輌のスキャン形状の輪郭表示を行い、交通状況を通知するメッセージと共に処理画像を情報提供装置１４へ表示する。
【００１７】
なお、上述の実施の形態では、自車輌の走行に影響を与えることが予想される対象物を車輌として説明を行ったが、上述の周辺情報表示装置が自車位置評定装置３から取得して送信する、車速、位置、方位、進路、差し掛かろうとする交差点の位置等の位置状況を判断するための情報と同様の情報を送受信することができれば、対象物は周辺情報表示装置を携帯した歩行者等の車輌以外の物体であっても良い。車輌以外の対象物を扱う場合、上述の図８に示したデータベースの内容に車輌以外の物体（例えば歩行者等）のスキャン形状を、更に記録しておけば良い。また、もし、周辺情報表示装置を歩行者等に携帯させる場合、歩行者等が携帯する周辺情報表示装置には、上述の自車輌搭載センサ４は必要ない。
【００１８】
【発明の効果】
以上の如く、請求項１に記載の発明によれば、自車輌の走行に影響を与えることが予想される他車輌、歩行者等の対象物の特定を、運転者の意志によらずに行うことで、運転者の判断という不確実性を排除することが可能となる。また、特定された対象物を実画像上に強調表示することで、運転者に対して正確、かつ認識しやすい情報として伝達することが可能となり、更に、特定された対象物の画像上の存在状態に応じて表示方法を変更することで、運転者からは目視できないような遮蔽物の向こう側に位置する対象物に関する情報も伝達可能となる。
【００１９】
従って、自車輌の周辺において移動体を検出した時の表示情報を、自車輌の周辺に移動体が検出されたという簡単な表示ランプによる通知だけではなく、対象物の認識を容易にする、画像上に示した正確な対象物の情報により、自車輌の周囲の情報を運転者へ通知することができるという効果が得られる。特に、運転者からは目視できないような、遮蔽物の向こう側に位置する対象物についても、その位置や形状等を運転者へ正確に通知し、運転者による認識を容易にするという効果が得られる。
【図面の簡単な説明】
【図１】 本発明の一実施の形態の周辺情報表示装置の構成を示すブロック図である。
【図２】 同実施の形態の周辺情報表示装置の制御手順を示すフローチャートである。
【図３】 同実施の形態の周辺情報表示装置の動作例を説明するための運転者の視野実風景の一例を示す図である。
【図４】 同実施の形態の周辺情報表示装置の対象車輌抽出処理の詳細な制御手順を示すフローチャートである。
【図５】 同実施の形態の周辺情報表示装置の照合判断処理の詳細な制御手順を示すフローチャートである。
【図６】 同実施の形態の周辺情報表示装置の照合判断処理で扱われる映像の一例を示す図である。
【図７】 同実施の形態の周辺情報表示装置の自車輌の位置、及び進行方法と、対象物の位置との関係を示す図である。
【図８】 同実施の形態の周辺情報表示装置の照合判断処理で特定される対象物のスキャン形状を記録したデータベースの一例を示す図である。
【図９】 同実施の形態の周辺情報表示装置の照合判断処理時の自車輌進行方向と映像回転軸との関係を示す図である。
【図１０】 同実施の形態の周辺情報表示装置の照合判断処理で特定されるスキャン位置と映像上の特性から求めたスキャン範囲を示す図である。
【図１１】 同実施の形態の周辺情報表示装置における対象物強調表示画面の一例を示す図である。
【図１２】 同実施の形態の周辺情報表示装置における情報提供装置の車輌内配置例を示す図である。
【符号の説明】
Ｓ３〜Ｓ５ 表示手段
Ｓ１１〜Ｓ１４ 特定手段
Ｓ２１〜Ｓ２７ 照合手段

Claims (1)

1. 自車輌と対象物との間の通信により得られた自車輌の周辺の情報を運転者に対して表示する周辺情報表示装置であって、
   前記通信により得られる情報を元に、撮像手段から得られる画像上の対象物を特定する特定手段と、
   特定された前記対象物の形状を画像中から抽出可能か否か判断する照合手段と、
   前記対象物の形状を画像中から抽出可能と判断した場合には抽出された対象物のエッジ部分を強調した表示を行うとともに、前記対象物の形状を画像中から抽出不可能と判断した場合には対象物が存在すると予測される点を中心にした対象物形状の輪郭表示を行う表示手段と、
   を設けたことを特徴とする周辺情報表示装置。

Images