JP3972722B2

JP3972722B2 - 車載画像処理装置

Info

Publication number: JP3972722B2
Application number: JP2002123192A
Authority: JP
Inventors: 敦佐藤; 俊宏森
Original assignee: Equos Research Co Ltd
Current assignee: Equos Research Co Ltd
Priority date: 2002-04-24
Filing date: 2002-04-24
Publication date: 2007-09-05
Anticipated expiration: 2022-04-24
Also published as: JP2003319383A

Description

【０００１】
【発明の属する技術分野】
この発明は、車両の画像処理装置にかかり、詳しくは、前方車両によって生じる死角領域の画像を生成する車載画像処理装置に関するものである。
【０００２】
【従来の技術】
走行している車両の運転者は、視界に入る進行方向の景色を確認し、認識した情況に応じて、適宜車両の運転操作を行う。例えば、運転者は、遠方の交差点の信号を認識し、自車両が通過する時の信号の色を予測して、車両の走行速度を調節する。
一方、混雑時には、自車両の前方に他車両が存在することもあり、このような場合には、前方の視界は、前方の車両によって遮られ、死角が生じることとなる。特に、前方車両がトラックやバスなど、車高の高い大型車両である場合には、特に、広範囲で視界が遮られ、運転者が認識することのできない死角領域が広くなってしまう。このような場合に、運転者は、視覚情報を視界の中に入れるために、頭部を左右を大きく動かし、或いは、車両を若干左右に移動させて視点を変えてなるなどの動作を試みる。また、前方車両のウインドー越しに前方の情況を認識し、又は車間距離を広げるなどの方法を採らざるを得ない。
【０００３】
【発明が解決しようとする課題】
しかし、運転者が頭部を左右に動かす行為は、運転操作への意識が散漫になり、運転操作を損なう恐れがあり、又、そのような行為によって、必ずしも所望の情報が得られるものでもない。さらに、混雑時には、前方車両との車間距離を広く採ることは、後続車に不快感を与え、割り込みを誘発することにもなる。
一方、前方の情報が得られないために、直前の信号を認識できず、信号が赤に変わっているにもかかわらず、交差点に進入してしまう恐れがある。また、同様に、案内板を見ることができずに、意図しないレーンに進入してしまう可能性もある。
【０００４】
さらに、運転者側においても、必要な情報が得られないことによるストレスが重なり、通常運転時に比較して、過度の疲労が蓄積するといった問題もある。
この発明は、前方車両によって生成される死角領域を補完することができる画像処理装置を提供することを目的とするものである。
【０００５】
【課題を解決するための手段】
以上のような目的は、以下の本発明により達成される。
（１）自車両の進行方向の画像を取得する撮像手段と、該撮像手段により取得した自車両の進行方向の画像を、運転者から見た視点の画像に補正する自車両画像補正手段と、前方車両が取得した進行方向の画像を、前方車両から受信する前方車両画像受信手段と、前記前方車両画像受信手段により受信した画像の撮像位置までの距離を算出する距離算出手段と、前記距離算出手段により算出した前方車両との距離に基いて、前記前方車両画像受信手段によって受信した画像を、運転者から見た視点の画像に補正する前方車両画像補正手段と、前記自車両画像補正手段により補正された画像における前記前方車両によって死角領域となっている部分に、前記前方車両補正手段により補正された画像を重ね合わせることで、前記前方車両を透過した合成画像を生成する画像合成手段とを備えることを特徴とする車載画像処理装置。
【０００７】
（２）前記自車両画像補正手段により補正された画像から前方車両の輪郭線を抽出する輪郭線抽出手段を備え、該輪郭線抽出手段により抽出された輪郭線を、前記画像合成手段により生成された合成画像に重ねることを特徴とする上記（１）に記載の車載画像処理装置。
【０００８】
（３）前方車両の車体、バンパー、ライト、ワイパー、タイヤ、座席、及び窓の形状のうち少なくとも１つを含む車体形状の輪郭線を受信する輪郭線受信手段を備え、該輪郭線受信手段により受信した前方車両の輪郭線を、前記画像合成手段により生成された合成画像に重ねることを特徴とする上記（１）に記載の車載画像処理装置。
【０００９】
（４）前記画像合成手段により生成された合成画像を、後方車両に送信する後方送信手段を備えることを特徴とする上記（１）から（３）のいずれか１に記載の車載画像処理装置。
【００１０】
【発明の実施の形態】
以下、本発明の好適実施形態について、添付図面に基づいて詳細に説明する。
【００１１】
図１は本発明の車載画像処理装置１の構成を示すブロック図である。車載画像処理装置１は、画像処理を行う演算処理装置１２と、車体に取り付けられた撮像手段としてのカメラ１３と、画像を表示する表示手段としての表示装置１４と、現在位置検出装置１５と、データ通信装置１９と、記憶装置１０とを備え、これらの装置は、システムバス１１を介して相互に接続されている。
【００１２】
カメラ１３は、Ａ/Ｄ変換器１３１を介してシステムバス１１に接続される。カメラ１３は、車両の前方（前進する場合の進行方向）に向けて取り付けられ、車両の進行方向の画像が撮影できるように取り付けられている。
カメラ１３から出力された画像信号は、Ａ/Ｄ変換器１３１によってデジタル信号に変換される。また、接続されたカメラ１３が、デジタル信号出力が可能なものである場合には、Ａ/Ｄ変換器は不要である。カメラ１３は魚眼レンズを用いている。
【００１３】
現在位置検出装置１５は、舵角センサ１５１、車速センサ１５２、ＧＰＳ受信装置１５３、方位センサ１５４、距離センサ１５５とを備えている。舵角センサ１５１は、車の操舵角を検出する。操舵角は、ハンドルの回転角または前輪の角度を検出して得られる。車速センサ１５２は、車両の走行速度を検出する。ＧＰＳ受信装置１５３は、車両の絶対位置を検出する。方位センサ１５４は、車両の向きを検出する。距離センサ１５５は、車両の移動距離を検出する。
【００１４】
記憶装置１０は、自車データを記憶する自車データ記憶部１６と、前方車両から受信したデータを記憶する受信データ記憶部１７と、自車データと受信データとを合成したデータを記憶する合成データ記憶部１８とを備えている。
【００１５】
自車データ記憶部１６は、位置データメモリ１６１と、画象データメモリ１６２と、車両データメモリ１６３と、カメラ設定データメモリ１６４と、運転者視点データメモリ１６５と、視点変換パラメータメモリ１６６と、視点変換画像データメモリ１６７とを備えている。位置データメモリ１６１は、現在位置検出装置１５で検出された自車両の位置データが記憶されるメモリである。画像データメモリ１６２は、カメラ１３が写した画像を記憶するメモリで、カメラ１３から出力される画像が連続して記憶される。車両データメモリ１６３は、車体の輪郭を表現した輪郭線データ、全長、全幅、全高などの寸法データが記憶されるメモリである。
【００１６】
カメラ設定データメモリ１６４は、カメラ１３のレンズ特性、画角、車体の基準位置からの相対位置等により特定される設置位置、同様に、車体の基準位置からの相対位置等により特定される視点位置、撮影方角等が記憶されるメモリである。レンズ特性には、例えば、撮影方式やレンズ種類、画角の範囲の像のひずみ率などが挙げられる。撮影方角は、方位センサ若しくは位置データを２つ以上取得することにより決定することができる。車体の基準位置とは、例えば、ＧＰＳ受信装置のアンテナの位置、前輪又は後輪の位置、その他方位センサ等のセンサの設置位置などが挙げられる。運転者視点データメモリ１６５は、上記車体の基準位置からの相対位置として規定される運転者の視点の位置が記憶されるメモリである。視点変換パラメータメモリ１６６は、カメラ設定データ１６４に含まれるカメラの視点位置と、運転者視点データに含まれる運転者の視点位置とから算出された相対距離が記憶されるメモリである。視点変換画像データメモリ１６７は、画像データに視点変換処理を行った後の画像データを記憶するメモリである。
【００１７】
上記車両データメモリ１６３、カメラ設定データメモリ１６４、運転者視点データメモリ１６５に記憶されている、数値が変更されることのないデータについては、後述する演算処理装置１２のリードオンリーメモリ［ＲＯＭ］１２２に記憶してあってもよい。
【００１８】
受信データ記憶部１７は、位置データメモリ１７１と、画象データメモリ１７２と、車両データメモリ１７３と、カメラ設定データメモリ１７４と、視点変換パラメータメモリ１７５と、視点変換画像データメモリ１７６とを備えている。位置データメモリ１７１は、前方車両の位置データが記憶されるメモリである。画像データメモリ１７２は、前方車両のカメラが取得した画像データが記憶されるメモリである。車両データメモリ１７３は、前方車両の車体の輪郭を表現した輪郭線データ、全長、全幅、全高などの寸法データが記憶されるメモリである。この輪郭線データは、例えば、車両を後方から見たときの輪郭線を表現した線画情報である。輪郭線の例としては、車体を象徴する部位の輪郭線であればよく、例えば、車体、バンパー、テールランプ、リヤウインドーの形状、リヤウインドウワイパー及び後部車輪等の少なくとも一つを含む輪郭線である。
【００１９】
カメラ設定データ１７４は、カメラのレンズ特性、画角、車体の基準位置からの相対位置等により特定される設置位置、同様に、車体の基準位置からの相対位置等により特定される視点位置、撮影方角等が記憶されるメモリである。視点変換パラメータメモリ１７５は、カメラ設定データ１７４に含まれる前方車両のカメラの視点位置と、運転者の視点位置とから算出された相対距離を記憶するメモリである。視点変換画像データメモリ１７６は、画像データに視点変換処理を行った後の画像データを記憶するメモリである。
【００２０】
合成データ記憶部１８は、位置データメモリ１８１と、画象データメモリ１８２と、車両データメモリ１８３と、カメラ設定データメモリ１８４とを備えている。
【００２１】
位置データメモリ１８１には、自車位置データが記憶される。画像データメモリ１８２には、自車が取得した画像データと、受信した前方車両の画像データとを合成した合成画像データが記憶される。車両データメモリ１８３には、自車データの車両データ１６３が記憶され、カメラ設定データメモリ１８４は、後に詳しく説明するが、前方車両からデータを受信し、合成が可能であった場合は、運転者視点データ１６５が記憶され、合成が不可能であった場合にはカメラ設定データ１６４が記憶される。
【００２２】
画像表示装置１４は、例えば液晶ディスプレイ等で構成され、合成データ記憶部１８の画像データ１８２に格納された合成画像が表示される。画像表示装置１４へ送られるデータは、Ｄ/Ａ変換器１４１を介してアナログ信号に変換される。また、画像表示装置１４がデジタル信号入力可能な場合には、Ｄ/Ａ変換器は不要となる。
【００２３】
データ通信装置１９は、前方車両が無線通信手段を用いて発信しているデータを受信し、受信したデータをバッファ１９１に蓄積する。蓄積された前方車両データは、バスライン１１を介して受信データ記憶部１７の各メモリへ送られる。さらに通信可能な車両が後方に存在する場合には、送信すべきデータを後方の車両に送信する。送信すべきデータについては後に詳しく説明する。
【００２４】
演算処理装置１２は、中央処理装置［ＣＰＵ（Central Processing Unit）］１２１と、リードオンリーメモリ［ＲＯＭ］１２２と、ランダムアクセスメモリ［ＲＡＭ］１２３とを備えている。中央処理装置１２１は、例えば、現在位置検出装置１５から得られた位置データや車両の向きと、受信した前方車両に関する位置データから、前方車両と自車両との相対位置についての情報を算出し、或いは、記憶装置１０から自車両の画像データ、受信した前方車両の画像データを取得し、これらのデータから合成画像データを生成するなどの作用を有する。
ＲＯＭ１２２には、例えば、中央処理装置１２１が画像処理を行うためのソフトウエア等が格納されており、ＲＡＭ１２３は、例えば、ワーキングエリアとして使用される。
【００２５】
本発明の画像処理装置は、次のような作用をする。図２は、本発明の画像処理装置を搭載した自車両２１と、その進行方向（前方）に位置する前方車両２２の位置関係を示す側面全体図である。自車両２１の前方を映すカメラ１３ａの撮影領域ａ内には、自車両２１の進行方向（前方）と同じ方向に進む前方車両２２が位置している。このような前方車両２２は、自車両２１と同様に前方を映すカメラ１３ｂを備えている。また、この前方車両２２は、自車両２１と同じ車載画像処理装置を備えており、カメラ１３ｂで取得した画像は、視点変換処理等の画像処理を行うことも可能である。また、前方車両２２は、カメラ１３ｂで撮影した画像を、後方の自車両２１へ無線通信手段を介して送信している。
【００２６】
自車両２１の撮影領域ａ内には、前方車両２２によって遮られた死角領域ｂが生成される。この死角領域ｂは、さらに、前方車両２２のカメラ１３ｂの撮影領域ｃと重なっている。従って、前方車両２２の前方に位置する信号２３は、死角領域ｂに含まれ、自車両２１側の運転者は、認識できないが、前方車両２２のカメラ１３ｂには映し出されているので、前方車両２２の画像データを取得することによって、死角領域ｂにある信号２３の色の状態を把握することができる。
カメラ１３ａ、１３ｂの設置位置は、運転者の視点の位置が最も好ましいが、この視点の位置に近い位置でもよい。例えば、バックミラーの位置の他、ダッシュボードの中央付近、座席の肩口の位置などか挙げられる。
【００２７】
以上のように構成された本発明の画像処理装置１の作用について説明する。図３は、処理装置１２の動作を示すフローチャートである。
処理の開始は、例えば、イグニッションオン、若しくは装置スイッチオン等の操作による。スイッチオンのきっかけは、この他、シフトチェンジレバーをＤ位置にセットしたときとしてもよい。
最初に、初期化処理が行われる（ステップＳ１０１）。図４は、初期化処理のサブルーチンを示すフローチャートである。初期化処理では、最初に自車データのチェックを行う（ステップＳ２０１）。この自車データとしては、車両データ、カメラ設定データ、運転者視点データである。チェックしたデータに不足データがあるか判断し（ステップＳ２０３）、不足データがある場合には、不足データの入力および記憶装置１０への書き込みを行う（ステップＳ２０５）。
【００２８】
データ不足がない場合には、視点変換パラメータを算出する（ステップＳ２０７）。視点変換パラメータは、カメラ設定データに含まれるカメラの視点位置と、運転者視点データに含まれる運転者の視点位置とから算出される。算出された視点変換パラメータを視点変換パラメータメモリ１６６に書き込む（ステップＳ２０９）。
【００２９】
画像データなどを記憶領域に書き込みができるように、画像データメモリ１６２に記憶されているデータを検索し、記憶可能領域がない場合は、次に取得するデータを上書き可能にする準備をし、また画像データと共に記憶された距離や時間などを参照して、今後使用しないデータを消去する等の、データを書き込む準備をする（ステップＳ２１１）。例えば、視点変換用画像データメモリ１６７等に格納された画像の記憶データを更新するかを判断するための設定値を監視する変数などを初期化する。
【００３０】
以上のように初期化処理（ステップＳ１０１）が終了すると、次に現在位置検出装置１５と、カメラ１３ａから、データを取得する（ステップＳ１０３）。現在位置検出装置１５からは、位置データを取得し、カメラ１３ａからは画像データを取得する。上述のように、自車両内の進行方向の画像を取得することをもって、本発明の撮像手段とする。
【００３１】
取得された位置データは、自車データ記憶部１６の、位置データメモリ１６１に書き込まれ、取得された画像データは、同じく、画象データメモリ１６２に書き込まれる（ステップＳ１０５）。自車データ記憶部１６の視点変換パラメータメモリ１６６から、視点変換パラメータを読み出す（ステップＳ１０７）。読み出した視点変換パラメータに従い、自車画像データを自車運転者視点画像に変換する（ステップＳ１０９）。例えば、カメラ設置位置と運転者視点位置との、上下方向及び左右方向における距離が予め規定されており、その距離に応じて画像データの中心点（レンズの光軸が直交する位置）から、前述の規定値に基いて補正された位置が中心となるように補正する。この補正された中心点を画像の中心位置とした画像を視点変換画像とする。このように、自車両の画像と運転者から見た視点の画像に補正することをもって、本発明の自車両画像補正手段とする。
視点変換された画像データを、視点変換画像データメモリ１６７へ書き込む（ステップＳ１１１）。
【００３２】
前方車両２２からデータ受信が可能か否か判断する（ステップＳ１１３）。データ通信が可能な距離か否かは、例えば、予め距離センサを設け、前方車両２２との距離を測定し、この測定距離から、通信の可・不可を判断する。
受信が可能である場合には、前方車両２２からデータを受信する（ステップＳ１１５）。受信するデータは、前方車両２２の位置データ、前方車両２２のカメラ１３ｂが取得した画像データ、前方車両２２のカメラ設定データ及び車両データである。車両データには、前方車両の車体、バンパー、ライト、ワイパー、タイヤ、座席、及び窓の形状のうち少なくとも１つを含む車体形状の輪郭線であり、上記車体形状の輪郭線を受信することをもって本発明の輪郭線受信手段とする。
【００３３】
受信したこれらのデータを、データ通信装置１９を介して受信バッファ１９１に受信データを格納する（ステップＳ１１７）。受信バッファ１９１からデータを読み出し、受信データ記憶部１７の位置データメモリ１７１、画象データメモリ１７２、車両データメモリ１７３、カメラ設定データメモリ１７４に、それぞれ対応するデータを受信データとして書き込む（ステップＳ１１９）。このように、前方車両が取得した進行方向の画像を、前方車両から受信することをもって、本発明の前方車両画像受信手段とする。
【００３４】
受信した画像データについて、受信画像データ視点変換処理を行う（ステップＳ１２１）。図５は、受信画像データ視点変換処理サブルーチンを示すフローチャートである。以下、受信画像データ視点変換処理について説明する。自車データ記憶部１６から、自車の位置データと運転者視点データを読み出す（ステップＳ３０１）。
【００３５】
読み出した位置データと運転者視点データに基いて、運転者視点の座標を算出する（ステップＳ３０３）。具体的には、位置データとして、ＧＰＳ受信装置１５３のアンテナの座標値が得られる。そして、ＧＰＳ受信装置１５３のアンテナを基準位置とし、この基準位置からの相対位置として規定されている運転者視点データにより、運転者視点の座標値が算出される。
【００３６】
受信データ記憶部１７から、前方車両２２の位置データとカメラ設定データを読み出す（ステップＳ３０５）。読み出した位置データとカメラ設定データから、前方車両のカメラ視点の座標値を算出する（ステップＳ３０７）。具体的には、位置データとして、前方車両２２のＧＰＳ受信装置のアンテナの座標値が得られる。そして、ＧＰＳ受信装置のアンテナを基準位置とし、この基準位置からの相対位置として規定されているカメラ設置位置（視点位置）データにより、カメラ視点の座標値が算出される。上述のように、受信した画像の撮像位置までの距離を算出することをもって、本発明の距離算出手段とする。
【００３７】
ステップＳ３０３で算出された自車両２１の運転者の視点位置の座標値と、ステップＳ３０７で算出された前方車両２２のカメラ視点座標値とから、視点変換パラメータを算出する（ステップＳ３０９）。算出された視点変換パラメータを視点変換パラメータメモリ１７５に書き込む（ステップＳ３１１）。
【００３８】
次に、受信データ記憶部１７の画像データメモリ１７２から、前方車両２２の画象データを読み出し（ステップＳ３１３）、視点変換パラメータメモリ１７５に記憶されている視点変換パラメータに基づいて、受信画像データを自車両の運転者視点画像に変換する（ステップＳ３１５）。視点変換した画像データを視点変換画像データとして、視点変換画像データメモリ１７６に書き込む（ステップＳ３１７）。上述のように、距離算出手段により算出した距離に基いて、受信した前方車両の画像を、運転者から見た視点の画像に補正することをもって、本発明の前方車両画像補正手段とする。
【００３９】
以上のような受信画像データ視点変換処理が終了すると、自車データ記憶部１６の視点変換画像データメモリ１６７と、受信データ記憶部１７の視点変換画像データメモリ１７６とから、それぞれ視点変換画像データを読み出す（ステップＳ１２３）。２つの視点変換画像データを合成する（ステップＳ１２５）。図６は、画像合成方法を示す図である。受信データ記憶部１７の視点変換画像データメモリ１７６から、視点変換画像Ｂ0を読み出して、自車両の運転者視点と、前方車両のカメラ視点との距離に応じた倍率で、視点変換画像Ｂ0を縮小する（画像Ｂ１２）。縮小した画像を自車視点変換画像Ａ0に対応する領域に重ね合わせて合成する。合成された画像ＡＢ0からは、前方車両の姿は消えている。
【００４０】
次に、輪郭線表示位置・サイズ算出処理が行われる（ステップＳ１２７）。図７は、輪郭線表示位置・サイズ算出処理サブルーチンを示すフローチャートである。受信データ記憶部１７の車両データメモリ１７３から車両データを、カメラ設定データメモリ１７４からカメラ設定データを、視点変換パラメータメモリ１７５から視点変換パラメータを読み出す（ステップＳ４０１）。さらに、自車データ記憶部１６のカメラ設置データメモリ１６４からモニターに映る視野の画角を読み出す（ステップＳ４０３）。
【００４１】
そして、ステップＳ３０９で算出した視点変換パラメータと、受信データ記憶部１７の車両データ１７３から取得した輪郭線データとによって、前方車両のカメラ視点位置を基準とした三次元輪郭線を描画生成し、画面内での輪郭線の表示位置と、表示サイズを算出する（ステップＳ４０５）。
【００４２】
図８（Ａ）は、自車両の運転者視点位置Ｔ1と、前方車両２２との位置関係を示す平面図であり、図８（Ｂ）は、同じ状態を自車両の表示画面に表示した合成画像の状態を示すものである。
【００４３】
受信した車両データから、前方車両２２の全長（９ｍ）、全幅（３ｍ）が、またカメラ設置データから、カメラ１３ｂの位置情報（幅方向の中央部で、前端から０．５ｍの位置）が取得される。また、カメラ１３ｂの座標値と、運転者視点位置の座標値から、両者の前後方向の距離（１５ｍ）と左右方向の距離（２ｍ）も算出される。また、自車両のカメラ設置データから、画面に表示される範囲のカメラ画角（６０度）が取得される。そして、以上の値から、自車両のカメラ１３ａが撮影した画像における前方車両２２後端位置での幅ａが算出される。つまり、画面に表示される範囲のカメラ画角は６０度であるから、正三角形の辺の比率√３：１より
ａ＝［｛１５−（９−０．５）｝／√３］×２＝７．５（ｍ）
また、輪郭線の画像左端からの距離ｂは、
ｂ＝７．５／２−２−３／２＝０．２５（ｍ）
となる。
【００４４】
従って、バス後部の輪郭線は画面左端から画面幅の３．３％（＝０．２５／７．５）の位置から、画面幅の４０％（＝３／７．５）の長さに大きさを調整（拡大又は縮小）すればよい。
なお、生成される輪郭線は、三次元に描画されるので、図８（Ｂ）では、前方車両の側面も画面に映し出されている。
【００４５】
なお、前方車両の輪郭線は、受信データから取得するのではなく、自車のカメラ１３ａで撮影した画像データから、前方車両２２の輪郭線のみを抽出する輪郭線抽出手段により、輪郭線を取得する構成としてもよい。輪郭線抽出手段とは、例えば、Ｓｏｂｅｌフィルタ処理やラプラシアンフィルタ処理などにより輪郭を強調する処理を行い、輪郭線のみを抽出する処理をすることができる。
【００４６】
以上のようにして算出された輪郭線画像Ｆを、ステップＳ１２５で生成された合成画像に重ね合わせる（ステップＳ１２９）。図６に示されているように、輪郭線Ｆが画面に加えられ、あたかも前方車両を透過して、前方が認識できる画像ＡＢとなる。
重ね合わせて生成された画像は、合成データとして合成データ記憶部１８の画像データメモリ１８２に書き込まれ、自車両の位置データは、位置データメモリ１８１に書き込まれ、自車両の車両データは、車両データメモリ１８３に書き込まれ、自車両のカメラ設定データと、自車運転者視点データは、カメラ設定データメモリ１８４に書き込まれる（ステップＳ１３１）。自車運転者視点データは、合成画像が生成された場合に書き込まれる。
【００４７】
合成画像データについて正像変換処理を行う（ステップＳ１３３）。図６では、説明を解かりやすくするために、正像変換処理後の画像を用い、輪郭線も立体的なものでなく平面的な表示とした。ステップＳ１２９までの画像処理は、魚眼レンズ画像のままで行われる。なお、カメラ１３ａ、１３ｂで取得した画像を最初に正像変換処理した後、ステップＳ１２９までの画像処理を行ってもよい。
【００４８】
正像変換された合成画像データは、表示装置１４へ出力される（ステップＳ１３４）。表示装置１４に出力された画像を視認することによって、運転者は、前方車両２２の向こう側の状態を視覚で把握することができる。輪郭線が重ねて表示されているので、あたかも前方車両２２を透過したように認識でき、前方車両２２との位置関係を含めて前方の情況を把握することができる。
【００４９】
また、合成データ記憶部１８に記憶されている位置データ、画像データ、車両データ、カメラ設定データは、送信バッファ１９１に格納された（ステップＳ１３５）後、データ通信装置１９によりデータ送信される（ステップＳ１３７）。上述のように、合成された画像を後方車両に送信することをもって、本発明の後方送信手段とする。送信されたデータは、自車両の後続車に受信され、後続車の受信データとして処理される。
【００５０】
一方、ステップＳ１１３で、前方車両からデータ受信が不可能であると判断した場合には、自車両の視点変換画像データを視点変換画像データメモリ１６７から読み出して、これを正像変換する（ステップＳ１４１）。正像変換された画像データは、表示装置１４へ出力される（ステップＳ１４３）。そして、自車データ記憶部１６に記憶されている位置データ、画像データ、車両データ、カメラ設定データは、送信バッファ１９１に格納され（ステップＳ１３５）、ステップＳ１３７が実行される。
【００５１】
以上のように作用する本発明の車載画像処理装置では、全ての車に搭載されるカメラの設置高さを、最も車高の低い普通車のカメラの設置高さに合わせる構成とすることができる。この場合には、視点変換処理に対する装置の負担が軽減されるので、画像処理時間が短縮できる。また、実際の画像と変換画像との差も少なくなる。
【００５２】
また、大型車両に取り付けるカメラは、車体の上部に取り付けた構成とすることもできる。この場合には、遠くまで見通した画像を得ることができる。さらに、バスやトラックのフロントガラスの内側に取り付けてもよい。この場合には、取り付けが容易となり、また、車内に設置されているために、外部からの衝撃や風雨にさらされることがないので、故障の発生を抑制できる。
【００５３】
特に輪郭線を視覚で識別できるように、輪郭線の色は、合成画像ＡＢの背景の色に対応して変化させる構成としてもよい。例えば，背景色に対して補色となる色に設定する。赤や黄色のように、特に鮮やかな色（目立つ色）を用いてもよい。夜の場合には、明度の高い色、昼間の場合には明度の低い色とする。この場合には，車幅灯のオン／オフに応じて色を切り替えればよい。さらに、色の変化は、各画素毎に行っても良いし、ある領域毎に含まれる画素の平均値に対して行っても良い。また、背景が明るいところは黒、暗いところは白といったようにもモノクロ２値で輪郭線を表現してもよい。さらに、輪郭線の表示を点滅させて、背景から際立たせるように構成することもできる。また、車間距離が一定の距離以下となった場合には、色を赤に変化させて警告する構成としてもよい。また、輪郭線のみを合成する構成に限らず、前方車両を半透明にして合成してもよい。
【００５４】
図９は、複数車線の道路を走行している状態で、後方車両が、横一列に複数台並んだ場合の状態を示す道路の平面図である。各車両２１ａ、２１ｂ、２１ｃは、それぞれ独自に前方車両２２から送信されるデータを受信し、画像処理を行い、前方車両２２を輪郭線に置き換え、合成画像に重ね合わせて表示する。
【００５５】
図１０は、複数車線の道路を走行している状態で、前方車両が、横一列に複数台並んだ場合の状態を示す道路の平面図である。この場合、後方の自車両２１は、前方車両２２ａ、２２ｂ、２２ｃからデータを受信した順に画像処理を行う。また、各車両毎に識別信号を付し、受信された信号によって前方車両を識別できるように構成すれば、直前に位置する前方車両２２ａの処理を優先して行う構成とすることもできる。
【００５６】
図１１は、対向車線を走行する車両がある場合の道路の平面図である。この場合には、送信データが、対向車線を走行する車両に拾われることのないように、送信データにカメラの撮影方向や、走行方向についてのデータも加える。そして、受信する側は、走行方向と同じ方向のデータのみ受信する構成とすることにより、対向車線の車両側の画像処理を防止できる。
【００５７】
図１２は、渋滞している状態を示す道路の平面図である。前方車両２２の前にも、車両２３が存在し、連続して車両２４が存在する場合、先頭車両２４から送信したデータを次の車両２３で受信し、合成処理、輪郭線付与処理を行った後、更に後方車両２２に送信するというプロセスを繰り返すことで、最後方の車両２１も、最前車両の画像を取得することができる。特に渋滞の場合に、前方の情況を把握するのに有益である。ここで、前方のつながっている車両が処理した全ての輪郭線を表示すると、後方の車両では輪郭線過多になり、十分な情報を表示画像から得られない恐れがある。そこで、車両毎に輪郭線の色を変更したり、直前の車両の輪郭線のみを表示する構成とすることができる。
【００５８】
【発明の効果】
請求項１に記載の発明によれば、前方車両を透過した画像が得られるので、道路状況や道路標識の見落としや死角への不安感を低減できる。また、撮像手段が、あたかも運転者の視点の位置に設置されているように画像を処理するので、表示画像が運転者の視界に近い画像となり、進行方向の道路状況が、画像から把握し易くなる。
【００５９】
請求項２に記載の発明によれば、画像から前方車両の輪郭線を抽出するので、実際の前方車両の状態に合致した輪郭線を重ねることができる。請求項３に記載の発明によれば、既に形成されている輪郭線の画像情報を受信するので、輪郭線を検出する処理が不要となり画像処理時間を短縮できる。
【００６０】
請求項４に記載の発明によれば、生成された合成画像をさらに後方車両に送信する手段を設けることで、前後方向に縦列して走行する車両間で、最前に位置する車両の画像情報を最後部の車両が受信することが可能となり、取得できる前方情況の範囲を拡大することができる。
【図面の簡単な説明】
【図１】本発明の画像処理装置の構成を示すブロック図である。
【図２】本発明の画像処理装置を搭載した２つの車両の側面図である。
【図３】本発明の画像処理装置の作用を示すフローチャートである。
【図４】本発明の画像処理装置の作用を示すフローチャートである。
【図５】本発明の画像処理装置の作用を示すフローチャートである。
【図６】画像処理の手順を示す流れ図である。
【図７】本発明の画像処理装置の作用を示すフローチャートである。
【図８】自車両の運転者視点位置と前方車両との位置関係を示す平面図と合成画面の図である。
【図９】複数車線の道路を走行している状態で、後方車両が、横一列に複数台並んだ場合の状態を示す道路の平面図である。
【図１０】複数車線の道路を走行している状態で、前方車両が、横一列に複数台並んだ場合の状態を示す道路の平面図である。
【図１１】対向車線を走行する車両がある場合の道路の平面図である。
【図１２】渋滞している状態を示す道路の平面図である。
【符号の説明】
１画像処理装置
１０記憶装置
１２演算処理装置
１３カメラ
１４画像表示装置
１５現在位置検出装置
１６自車データ記憶部
１７受信データ記憶部
１８合成データ記憶部
１９データ通信装置
２１自車両
２２前方車両

Claims

自車両の進行方向の画像を取得する撮像手段と、
該撮像手段により取得した自車両の進行方向の画像を、運転者から見た視点の画像に補正する自車両画像補正手段と、
前方車両が取得した進行方向の画像を、前方車両から受信する前方車両画像受信手段と、
前記前方車両画像受信手段により受信した画像の撮像位置までの距離を算出する距離算出手段と、
前記距離算出手段により算出した前方車両との距離に基いて、前記前方車両画像受信手段によって受信した画像を、運転者から見た視点の画像に補正する前方車両画像補正手段と、
前記自車両画像補正手段により補正された画像における前記前方車両によって死角領域となっている部分に、前記前方車両補正手段により補正された画像を重ね合わせることで、前記前方車両を透過した合成画像を生成する画像合成手段とを備えることを特徴とする車載画像処理装置。
前記自車両画像補正手段により補正された画像から前方車両の輪郭線を抽出する輪郭線抽出手段を備え、該輪郭線抽出手段により抽出された輪郭線を、前記画像合成手段により生成された合成画像に重ねることを特徴とする請求項１に記載の車載画像処理装置。
前方車両の車体、バンパー、ライト、ワイパー、タイヤ、座席、及び窓の形状のうち少なくとも１つを含む車体形状の輪郭線を受信する輪郭線受信手段を備え、該輪郭線受信手段により受信した前方車両の輪郭線を、前記画像合成手段により生成された合成画像に重ねることを特徴とする請求項１に記載の車載画像処理装置。
前記画像合成手段により生成された合成画像を、後方車両に送信する後方送信手段を備えることを特徴とする請求項１から３のいずれか１に記載の車載画像処理装置。