JP3988551B2 - 車両周囲監視装置 - Google Patents
車両周囲監視装置 Download PDFInfo
- Publication number
- JP3988551B2 JP3988551B2 JP2002195449A JP2002195449A JP3988551B2 JP 3988551 B2 JP3988551 B2 JP 3988551B2 JP 2002195449 A JP2002195449 A JP 2002195449A JP 2002195449 A JP2002195449 A JP 2002195449A JP 3988551 B2 JP3988551 B2 JP 3988551B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- obstacle
- display
- monitoring device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は車両周囲監視装置に関する。
【０００２】
【従来技術】
従来の技術として、特開２００２−２９３１４号公報に開示された技術が知られている。
【０００３】
上記従来技術は、車両に搭載されたカメラによって撮像した過去の画像から、現在の撮像領域では撮像できない画像を切り出し、切り出した過去の撮像画像を現在の画像に補完して表示することで、欠落部分の少ない画像を表示する技術が開示されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の技術は、現在の画像に過去の画像を補完するようにしていたので、表示されている補完領域の画像が必ずしも現在の状況と一致しているとは限らず、車両周囲の現在の状態を正確に報知できない可能性があった。
【０００５】
本発明は上記課題に鑑みて、車両周囲の現在の状態を正確に報知することができることを目的としている。
【０００６】
【課題を解決するための手段】
本発明は上記課題を解決するために、撮像手段で撮像された画像を前記第１の視点よりも高い第２の視点からの画像に変換する画像変換手段と、
それぞれ変換された第１時刻に撮像された第１画像と、前記第１時刻よりも時間が経過した第２時刻に撮像された第２画像とに基づいて、前記第１画像のうち、前記第２画像で撮像されない前記車両の第１周囲領域の画像を、前記第２画像に補完した第３画像を生成する画像補完手段と、
前記画像補完手段によって生成された第３画像を表示画像として表示する表示手段と、
前記第１周囲領域に障害物が存在するかどうかを検出する障害物検出手段と、
前記障害物検出手段によって第１周囲領域に障害物が検出された場合、前記第１周囲領域の画像の表示を禁止し、または前記表示画像にハッチング処理されて強調された障害物画像を重畳させて、障害物の存在を示す報知手段とを備えることで上記目的を達成する。
【０００７】
【発明の効果】
本発明によれば、時間をずらせて撮像した画像をより高い視点からの画像にそれぞれ変換し、時間経過後の第２画像に時間経過前の第１画像を補完した第３画像を表示手段によって表示すると共に、第１周囲領域に障害物が検出された場合に、当該領域の画像の表示を禁止し、またはハッチング処理した障害物画像を重畳表示により報知することにしたので、現在の状態を正確に報知することができる。
【０００８】
【発明の実施の形態】
以下、本発明の車両周囲監視装置の実施の形態を図１〜９を参照して詳細に説明する。
【０００９】
図1は本発明の車両周囲監視装置の構成を示す図である。
【００１０】
１は車両後部中央付近に配置された車載カメラであって、車両後方の定められた領域(一定領域)を所定の視点より撮像するＣＣＤカメラである。ここでは説明の簡略化のため、車載カメラ１はピンホールカメラのようにレンズ収差のないものとして扱う。
【００１１】
８は車両の速度を検出する車速センサであり、９は車両の舵角を検出する操舵角センサである。
【００１２】
１２は赤外線の送受光によって後述する補完領域に障害物が存在しているかどうかを検出するレーザレーダである。
車載カメラ１により撮像された画像と、車速センサ８により検出された車速と操舵角センサ９により検出された舵角と、レーザレーダ１２により検出された障害物の有無は各々、バックモニタＥＣＵ（エレクトリックコントロールユニット）２へと出力される。
【００１３】
以下、バックモニタＥＣＵ２について説明する。３は車載カメラ画像フレームメモリで、車載カメラ１が撮像した画像を所定のタイミング(以下、サンプルタイムと記す)で記録する。記録された画像は画像処理器Ａ４へと出力される。
【００１４】
画像処理器Ａ４は、車載カメラ画像フレームメモリ３から出力された画像に対し、車載カメラ１よりも高い視点に配置した仮想カメラ位置から地面を撮像した画像（以下、仮想カメラ画像と記す。）となるように画素の並び替えを行う。ここでは仮想カメラ画像は、上空より真下を見下ろしたように画素を並び替えるものとする。
【００１５】
この仮想カメラ画像は仮想カメラ画像フレームメモリ６へと出力される。
【００１６】
仮想カメラ画像フレームメモリ６は、仮想カメラ画像を記録するもので、ここで記録された画像は画像合成器１０へと出力される。画像合成器１０では後述する合成処理が行われ、合成画像は表示画像フレームメモリ１１で記録される。
【００１７】
表示画像フレームメモリ１１に記録された合成画像は、スーパーインポーザー１５と画像処理器Ｂ５へとそれぞれ出力される。
【００１８】
車速センサ８および操舵角センサ９からの出力に基づいて、マイコン１３は前回のサンプルタイムと今回のサンプルタイムとの間での車両の移動位置・距離を算出する。この車両の移動位置・距離に基づいて、マイコン１３は補完を行う領域を決定し、画像処理部Ｂ５へと出力する。
【００１９】
画像処理器Ｂ５は、マイコン１３から出力された補完領域の部分の画像を表示画像フレームメモリ１１から出力された合成画像から切り出す処理を行う。この切り出された画像(以下、補完画像と記す。)は補完画像フレームメモリ７へと出力される。
【００２０】
補完画像フレームメモリ７は画像処理器Ｂ５から出力された補完画像を記録する。仮想カメラ画像フレームメモリ６で記録された仮想カメラ画像および補完画像フレームメモリ７で記録された補完画像は画像合成器１０へと出力される。
【００２１】
画像合成器１０は、仮想カメラ画像と補完画像とを１つの画像に合成する。合成された合成画像は表示画像フレームメモリ１１へ記録され、記録された画像はスーパーインポーザー１５へと出力される。
【００２２】
１４はマーカー発生器で、マイコン１３の処理に基づき、様々なマーカーを発生させる。マーカー発生器１４で発生させたマーカーはスーパーインポーザー１５へと出力される。
【００２３】
スーパーインポーザー１５は、表示画像フレームメモリ１１で記録された合成画像にマーカー発生器１４で発生させたマーカーをインポーズしてバックモニタ用の表示画像を完成させる。
【００２４】
１８はシフトポジションがどの位置に選択されているかを検知するシフトポジションスイッチである。シフトポジションスイッチ１８により検知されたシフトポジションの位置とスーパーインポーザー１５による表示画像はカーナビゲーションＥＣＵ(エレクトリックコントロールユニット)へと出力される。
【００２５】
１７はカーナビゲーションモジュールで、地図表示や交差点案内などの各種処理が行われ、ナビゲーション画像が作成される。作成されたナビゲーション画面は画像切替え器１９へと出力される。
【００２６】
画像切替え器１９は、シフトポジションスイッチ１８がリバース位置を選択されている場合は、スーパーインポーザー１５より出力される表示画像を選択し、シフトポジションスイッチ１８がリバース位置以外の場合にはカーナビゲーションモジュール１７より出力されるナビゲーション画像を選択する。
【００２７】
２０はディスプレイで、車両室内のセンターコンソール付近に配置され、画像切替え器１９により選択された画像を表示する。
【００２８】
図２は画像処理器Ａ４の処理のうち、画像を車両を中心とした視点ａから車載カメラの視点ａ′に変換するための説明図である。図２において車両を中心としたワールド座標（ｘ，ｙ，z）は車両最後部中央で路面上を原点とし、車両左右方向がｘ軸で、助手席がｘ＞0、車両前後方向がｙ軸で、後ろ方向がｙ＞0、車両上下方向がｚ軸で、上方向がｚ＞0とする。ここで車載カメラ１は、車載カメラ１のレンズ位置を（0，0，ｚ0）とし、光軸はｘ軸周りのピッチ角をθp（上側が正)、ｚ軸周りのヨー角及び光軸周りのロール角を０度とする。カメラ座標はカメラの（ｘ′,ｙ′,z′）レンズ中心を原点とし、ｙ′軸はカメラ光軸で撮影を正とする。このときワールド座標からカメラ座標への座標変換の行列式は以下のとおりである。
【００２９】
以上の変換式によって車両を中心とした視点ａから車載カメラの視点ａ'に変換することができる。
【００３０】
次に図３は画像処理器Ａ４の処理のうち、上記で説明した車載カメラ１のカメラ座標（ｘ′,ｙ′,z′）から撮像面座標（ｘ″，z″）への座標に変換するための説明図である。
図３において撮像面座標（ｘ″，z″）は車載カメラ１の撮像面ｂの中心を原点Ｏ'とし、水平方向をｘ″軸、垂直方向をz″軸とする。カメラ座標から撮像面座標への座標変換は焦点距離をｆとすると次式となる。
以上の変換式によってカメラ座標から撮像面座標に変換することができる。
【００３１】
次に図４は画像処理器Ａ４の処理のうち、車載カメラ１から撮像した画像を車載カメラ１よりも高い視点にある仮想カメラから真下の地面を撮像した仮想カメラ画像に変換する処理の説明図である。
【００３２】
図４(Ａ)においてディスプレイ２０の表示領域に表示される画面の座標を（ｈ，ｖ）とする。表示領域の中心を原点とし、水平方向をｈ軸、垂直方向をｖ軸とする。この座標への変換方向は撮像面の座標（ｘ″，z″）をワールド座標の地面上の座標系、すなわちｚ＝0とした（ｘ，ｙ）座標で表す。式（1）より逆変換は、
となる。
【００３３】
式（3）と式（2）及びｚ＝0からｘ′,ｙ′,z′を消去すると、
となり、（ｘ″，z″）平面から（ｘ，ｙ）平面に変換できる。
【００３４】
以上の変換式から、仮想カメラ画像に変換することができる。
【００３５】
次に上記（ｘ，ｙ）平面の中から任意の範囲を画面上に表示させるための処理を説明する。 任意の範囲は、例えば図４(Ｂ)に示すように車両後部０．５[m]を含み、ｘ軸が幅４[m]、ｙ軸が幅３[m]のエリアとし、この任意の範囲を仮想カメラで撮影したものとして抽出し、図４(Ａ)のような画面座標に変換する。状況に応じては上記抽出範囲を運転者が可変できるようにすれば、より利便性が向上する。
【００３６】
図４(Ａ)のディスプレイ２０の表示領域は、補完領域の画像ｍと撮像画像ｎから成る。ここで仮想カメラフレームメモリ６の画素数を例えば水平を６４０画素、垂直を４８０画素とすると、（ｘ，ｙ）平面から（ｈ，ｖ）平面への変換式は次式となる。
ここで（ｈ，ｖ）平面における補完領域の画像の不等式ｖ＜ｆ(ｈ)を求める。撮像する範囲はカメラに近いほどｘ軸での幅が狭く、遠くなると広くなる。よって撮像面の左端のｘ″座標を−ｘ″0、右端のｘ″座標をｘ″0とすると、この値より絶対値の大きい範囲が撮像されない補完領域の画像となるため、式（4）よりz″を消去しｙ＜ｇ(ｘ)で表すと、
となる。
【００３７】
これを式（5）によりｈ、ｖに変換するとｖ＜ｆ(ｈ)は次式の通りとなる。
そしてサンプルタイムｔ1のタイミングで撮像し、以上の処理を行った画像が仮想カメラ画像フレームメモリ６に記録される。
【００３８】
次に画像処理部Ｂ５の処理について図５を用いて説明する。
【００３９】
サンプルタイムｔ1で撮像された画像の任意の点ｐが画面上では（ｈ1，ｖ1）に位置していたと仮定し、サンプルタイムｔ1から車両が左側方向となるサンプルタイムｔ2の（ｈ2，ｖ2）に後退した場合を説明する。
【００４０】
操舵角θｓ (右操舵が正)、ホイールベースＬ、ステアリングギア比ｎとすると、左右後輪の中心の回転半径Ｒ(右旋回が正)は次式となる。
尚、旋回時にはタイヤの横滑りによる影響が車速の２乗で発生するが、本装置が使用されるのは約１０[Km/H]以下の低速域であるため、この影響は無視できる。 更に車速をｖとすると１周期の回転角は次式となる。
そして回転半径Ｒ、操舵角θ１及びリアオーバーハング−Ｌ0により次式の座標変換式が成立し、点ｐは（ｈ1，ｖ1）から（ｈ2，ｖ2）へ移動する。
前回のサンプルタイムｔ１で記録した表示画像フレームメモリ１１の画素を式（10）により移動し、これを補完画像フレームメモリ７に記録する。
【００４１】
画像合成器１０では撮像画像ｎに関しては仮想カメラ画像フレームメモリ６で記録した仮想カメラの画像を用いて、補完領域の画像ｍに関しては補完画像用フレームメモリ７で記録した補完画像を用いて合成する。この合成画像はスーパーインポーザー１５へ送られるとともに、次回のサンプルタイムｔ3での補完処理のために画像処理器へと出力される。
以上の処理により、車両に搭載されたカメラによって撮像した過去の画像から現在、撮像できない領域に画像を補完することができる。
【００４２】
次に図６はレーザレーダ１２で障害物を検出する検出方法についての説明図である。補完領域を検出範囲とするためにレーザレーダを車両の右後端部と左後端部に設置し、発射したレーザ光が物体に反射して戻るまでの時間で距離を計測する。またレーザ光を回転スキャンさせることで、検出物体の角度情報を得ることができる。
【００４３】
（ｘL，0）に配置された左レーダが捕らえた障害物の距離ＬLと角度θLから障害物のワールド座標における位置（ｘr，ｙr）を次式で求める。
上記説明は左側の例であるが、右側の処理も同等に行う。ここでは一例としてレーザレーダの場合で説明したが、ミリ波レーダを使用してもよいし、また安価で小型であるという特徴を有するソナーを使用してもよい。
【００４４】
次に図７を用いて、本実施の形態によって、ディスプレイ２０に表示される画像について説明する。
【００４５】
ディスプレイ２０の表示領域には、自車両の後端を示す自車両マーカー２１と、自車両の予想進路を示す予想進路マーカー２２とが、車載カメラ１によって撮像された画像に加えて表示されている。
【００４６】
まず図７に示したディスプレイ２０の表示領域の右側を用いて、障害物が検出されていない場合について説明する。
【００４７】
２３は車載カメラ１によって撮像された現在(例えばサンプルタイムｔ2)の状況を示す現在画像で、２４は前回のサンプルタイムｔ1に撮像された画像に基づいて、補完処理された補完画像であり、レーザレーダ１２によって障害物が検出されていない場合には、この現在画像２３と補完画像２４とは、視認者には一つの繋がった画像として認識される。すなわち、視認者にとっては、現在画像２３と補完画像２４も車両周囲の現在の画像として認識される。なお、点線２５は、現在画像２３と補完画像２４との境界を便宜的に示す線であり、実際のディスプレイ２０には表示されていない。
【００４８】
次にディスプレイ２０の表示領域の左側を用いて、障害物が検出された場合について説明する。
【００４９】
補完画像２４は、過去の画像を用いて補完された画像であって、現在の画像ではないので、瞬間的に三輪車２６が補完画像２４が表示される車両周囲の領域へと移動してきた場合、この三輪車２６の存在をディスプレイ２０へと表示することができない。従って、レーザレーダ１２によって障害物の存在を検出した場合には、補完画像２４による表示画像部分に、ハッチング処理２７を行うことで、現在画像２３よりも強調した表示を行う。この表示を視認者が認識することで、補完画像２４部分に障害物が存在することを報知することができ、車両周囲の状況を正確に報知することができる。視認者は、この報知に基づいて、目視による確認を行うことができる。
【００５０】
以上説明したように本実施の形態においては、所定の視点から車載カメラ１によって撮像した画像を、所定の視点よりも高いカメラから撮像した画像に変換して、表示するようにしたので、視認者が車両周囲の状況を見易いという効果を有する。
【００５１】
また、過去の画像から、現在の画像では表示できない補完領域を切り出し、この補完画像を現在の画像に合成すると共に、この合成画像を仮想カメラ位置の画像に変換しているので、ディスプレイ２０に表示される画像が、表示領域の全領域に表示されることになり、違和感の少ない表示を行うことができるという効果を有する。
【００５２】
また、補完領域に存在する障害物をレーザレーダ１２で検出し、障害物が検出された場合には、補完領域にハッチング処理を行って表示し、障害物の存在を報知するようにしたので、車両周囲の状況を正確に報知することができるという効果を有する。
【００５３】
以上説明した実施の形態では、障害物が存在した場合には、補完画像２４にハッチング処理を行うようにしたが、「障害物がいます。目視して下さい。」というような文字表示を行ったり、障害物の存在をブザーによって警報音として発生させたりしてもよい。またハッチング処理に変えて補完画像を表示しない、すなわち黒色や白色の表示を行っても良い。また、障害物の存在を示す矢印を表示しても良い。
【００５４】
また上述した実施の形態では、車載カメラ１をピンホールカメラとして説明したが、広角レンズなどを使用しても同様の効果が得られる。
【００５５】
また、図８に示すように、撮像した画像内に存在する障害物、例えば駐車場に置かれたブロック２８を検出し、マーカーを表示させるようにしてもよい。また、自車両の予想軌跡内に、障害物が存在する場合には、マーカーを赤色２９として、強調させて表示してもよい。
【００５６】
また、図９に示すように、撮像する画像内に存在する障害物が車両などの移動物体３０である場合には、移動物体の移動方向をマーカー３１によって表示させるようにしても良い。この場合には、前述に画像処理器Ａ４によって、障害物の存在を検出するようにする。
【００５７】
なお上述した実施の形態では、車載カメラによって車両後方を撮像するようにしたが、車両の前方や、側方などの周囲に用いても同様の効果を有することはいうまでもない。
【００５８】
特許請求の範囲の構成要素と実施の形態の対応関係は次のとおりである。
すなわち、車載カメラ１が撮像手段を、画像処理器Ｂ５が画像補完手段を、画像処理器Ａ４が画像変換手段を、画像合成器１０が画像合成手段を、レーザレーダ１２が障害物検出手段を、スーパーインポーザー１５が重畳表示手段を、ディスプレイ２０が表示手段を、スーパーインポーザー１５およびディスプレイ２０が報知手段を、ブザーが警報手段を、画像処理器Ａ４が車両検出手段をそれぞれ構成する。尚、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。
【図面の簡単な説明】
【図１】本実施の形態において車両周囲監視装置の構成を示す図。
【図２】本実施の形態においてワールド座標からカメラ座標へ変換する説明図。
【図３】本実施の形態においてカメラ座標から撮像面座標へ変換する説明図。
【図４】本実施の形態において車載カメラで撮像した画像を車載カメラより高い視点に変換する説明図。
【図５】本実施の形態において過去の画像から現在、撮像できない領域に画像を補完する説明図。
【図６】本実施の形態においてレーザレーダによる障害物の検出方法の説明図。
【図７】本実施の形態においてディスプレイに撮像した補完領域内に存在する障害物をハッチングで強調させる説明図。
【図８】本実施の形態においてディスプレイに撮像した画像内に存在する障害物をマーカーで表示させる説明図。
【図９】本実施の形態においてディスプレイに撮像した画像内に存在する障害物の移動方向をマーカーで表示させる説明図。
【符号の説明】
1 ・・・車載カメラ
2 ・・・バックモニタＥＣＵ
3 ・・・カメラ画像フレームメモリ
4 ・・・画像処理器Ａ
5 ・・・画像処理器Ｂ
6 ・・・仮想カメラ画像フレームメモリ
7 ・・・補完画像フレームメモリ
8 ・・・車速センタ
9 ・・・操舵角センサ
10・・・画像合成器
11・・・表示画像フレームメモリ
12・・・レーザレーダ
13・・・マイコン
14・・・マーカー発生器
15・・・スーパーインポーザ
16・・・カーナビゲーションＥＣＵ
17・・・カーナビゲーションモジュール
18・・・シフトポジションスイッチ
19・・・画像切替え機
20・・・ディスプレイ
21・・・自車両マーカー
22・・・予想進路マーカー
23・・・現在画像
24・・・補完画像
25・・・点線
26・・・三輪車
27・・・ハッチング
28・・・ブロック
29・・・赤色マーカー
30・・・移動物体
31・・・移動方向マーカー
【発明の属する技術分野】
本発明は車両周囲監視装置に関する。
【０００２】
【従来技術】
従来の技術として、特開２００２−２９３１４号公報に開示された技術が知られている。
【０００３】
上記従来技術は、車両に搭載されたカメラによって撮像した過去の画像から、現在の撮像領域では撮像できない画像を切り出し、切り出した過去の撮像画像を現在の画像に補完して表示することで、欠落部分の少ない画像を表示する技術が開示されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の技術は、現在の画像に過去の画像を補完するようにしていたので、表示されている補完領域の画像が必ずしも現在の状況と一致しているとは限らず、車両周囲の現在の状態を正確に報知できない可能性があった。
【０００５】
本発明は上記課題に鑑みて、車両周囲の現在の状態を正確に報知することができることを目的としている。
【０００６】
【課題を解決するための手段】
本発明は上記課題を解決するために、撮像手段で撮像された画像を前記第１の視点よりも高い第２の視点からの画像に変換する画像変換手段と、
それぞれ変換された第１時刻に撮像された第１画像と、前記第１時刻よりも時間が経過した第２時刻に撮像された第２画像とに基づいて、前記第１画像のうち、前記第２画像で撮像されない前記車両の第１周囲領域の画像を、前記第２画像に補完した第３画像を生成する画像補完手段と、
前記画像補完手段によって生成された第３画像を表示画像として表示する表示手段と、
前記第１周囲領域に障害物が存在するかどうかを検出する障害物検出手段と、
前記障害物検出手段によって第１周囲領域に障害物が検出された場合、前記第１周囲領域の画像の表示を禁止し、または前記表示画像にハッチング処理されて強調された障害物画像を重畳させて、障害物の存在を示す報知手段とを備えることで上記目的を達成する。
【０００７】
【発明の効果】
本発明によれば、時間をずらせて撮像した画像をより高い視点からの画像にそれぞれ変換し、時間経過後の第２画像に時間経過前の第１画像を補完した第３画像を表示手段によって表示すると共に、第１周囲領域に障害物が検出された場合に、当該領域の画像の表示を禁止し、またはハッチング処理した障害物画像を重畳表示により報知することにしたので、現在の状態を正確に報知することができる。
【０００８】
【発明の実施の形態】
以下、本発明の車両周囲監視装置の実施の形態を図１〜９を参照して詳細に説明する。
【０００９】
図1は本発明の車両周囲監視装置の構成を示す図である。
【００１０】
１は車両後部中央付近に配置された車載カメラであって、車両後方の定められた領域(一定領域)を所定の視点より撮像するＣＣＤカメラである。ここでは説明の簡略化のため、車載カメラ１はピンホールカメラのようにレンズ収差のないものとして扱う。
【００１１】
８は車両の速度を検出する車速センサであり、９は車両の舵角を検出する操舵角センサである。
【００１２】
１２は赤外線の送受光によって後述する補完領域に障害物が存在しているかどうかを検出するレーザレーダである。
車載カメラ１により撮像された画像と、車速センサ８により検出された車速と操舵角センサ９により検出された舵角と、レーザレーダ１２により検出された障害物の有無は各々、バックモニタＥＣＵ（エレクトリックコントロールユニット）２へと出力される。
【００１３】
以下、バックモニタＥＣＵ２について説明する。３は車載カメラ画像フレームメモリで、車載カメラ１が撮像した画像を所定のタイミング(以下、サンプルタイムと記す)で記録する。記録された画像は画像処理器Ａ４へと出力される。
【００１４】
画像処理器Ａ４は、車載カメラ画像フレームメモリ３から出力された画像に対し、車載カメラ１よりも高い視点に配置した仮想カメラ位置から地面を撮像した画像（以下、仮想カメラ画像と記す。）となるように画素の並び替えを行う。ここでは仮想カメラ画像は、上空より真下を見下ろしたように画素を並び替えるものとする。
【００１５】
この仮想カメラ画像は仮想カメラ画像フレームメモリ６へと出力される。
【００１６】
仮想カメラ画像フレームメモリ６は、仮想カメラ画像を記録するもので、ここで記録された画像は画像合成器１０へと出力される。画像合成器１０では後述する合成処理が行われ、合成画像は表示画像フレームメモリ１１で記録される。
【００１７】
表示画像フレームメモリ１１に記録された合成画像は、スーパーインポーザー１５と画像処理器Ｂ５へとそれぞれ出力される。
【００１８】
車速センサ８および操舵角センサ９からの出力に基づいて、マイコン１３は前回のサンプルタイムと今回のサンプルタイムとの間での車両の移動位置・距離を算出する。この車両の移動位置・距離に基づいて、マイコン１３は補完を行う領域を決定し、画像処理部Ｂ５へと出力する。
【００１９】
画像処理器Ｂ５は、マイコン１３から出力された補完領域の部分の画像を表示画像フレームメモリ１１から出力された合成画像から切り出す処理を行う。この切り出された画像(以下、補完画像と記す。)は補完画像フレームメモリ７へと出力される。
【００２０】
補完画像フレームメモリ７は画像処理器Ｂ５から出力された補完画像を記録する。仮想カメラ画像フレームメモリ６で記録された仮想カメラ画像および補完画像フレームメモリ７で記録された補完画像は画像合成器１０へと出力される。
【００２１】
画像合成器１０は、仮想カメラ画像と補完画像とを１つの画像に合成する。合成された合成画像は表示画像フレームメモリ１１へ記録され、記録された画像はスーパーインポーザー１５へと出力される。
【００２２】
１４はマーカー発生器で、マイコン１３の処理に基づき、様々なマーカーを発生させる。マーカー発生器１４で発生させたマーカーはスーパーインポーザー１５へと出力される。
【００２３】
スーパーインポーザー１５は、表示画像フレームメモリ１１で記録された合成画像にマーカー発生器１４で発生させたマーカーをインポーズしてバックモニタ用の表示画像を完成させる。
【００２４】
１８はシフトポジションがどの位置に選択されているかを検知するシフトポジションスイッチである。シフトポジションスイッチ１８により検知されたシフトポジションの位置とスーパーインポーザー１５による表示画像はカーナビゲーションＥＣＵ(エレクトリックコントロールユニット)へと出力される。
【００２５】
１７はカーナビゲーションモジュールで、地図表示や交差点案内などの各種処理が行われ、ナビゲーション画像が作成される。作成されたナビゲーション画面は画像切替え器１９へと出力される。
【００２６】
画像切替え器１９は、シフトポジションスイッチ１８がリバース位置を選択されている場合は、スーパーインポーザー１５より出力される表示画像を選択し、シフトポジションスイッチ１８がリバース位置以外の場合にはカーナビゲーションモジュール１７より出力されるナビゲーション画像を選択する。
【００２７】
２０はディスプレイで、車両室内のセンターコンソール付近に配置され、画像切替え器１９により選択された画像を表示する。
【００２８】
図２は画像処理器Ａ４の処理のうち、画像を車両を中心とした視点ａから車載カメラの視点ａ′に変換するための説明図である。図２において車両を中心としたワールド座標（ｘ，ｙ，z）は車両最後部中央で路面上を原点とし、車両左右方向がｘ軸で、助手席がｘ＞0、車両前後方向がｙ軸で、後ろ方向がｙ＞0、車両上下方向がｚ軸で、上方向がｚ＞0とする。ここで車載カメラ１は、車載カメラ１のレンズ位置を（0，0，ｚ0）とし、光軸はｘ軸周りのピッチ角をθp（上側が正)、ｚ軸周りのヨー角及び光軸周りのロール角を０度とする。カメラ座標はカメラの（ｘ′,ｙ′,z′）レンズ中心を原点とし、ｙ′軸はカメラ光軸で撮影を正とする。このときワールド座標からカメラ座標への座標変換の行列式は以下のとおりである。
【００２９】
【００３０】
次に図３は画像処理器Ａ４の処理のうち、上記で説明した車載カメラ１のカメラ座標（ｘ′,ｙ′,z′）から撮像面座標（ｘ″，z″）への座標に変換するための説明図である。
図３において撮像面座標（ｘ″，z″）は車載カメラ１の撮像面ｂの中心を原点Ｏ'とし、水平方向をｘ″軸、垂直方向をz″軸とする。カメラ座標から撮像面座標への座標変換は焦点距離をｆとすると次式となる。
【００３１】
次に図４は画像処理器Ａ４の処理のうち、車載カメラ１から撮像した画像を車載カメラ１よりも高い視点にある仮想カメラから真下の地面を撮像した仮想カメラ画像に変換する処理の説明図である。
【００３２】
図４(Ａ)においてディスプレイ２０の表示領域に表示される画面の座標を（ｈ，ｖ）とする。表示領域の中心を原点とし、水平方向をｈ軸、垂直方向をｖ軸とする。この座標への変換方向は撮像面の座標（ｘ″，z″）をワールド座標の地面上の座標系、すなわちｚ＝0とした（ｘ，ｙ）座標で表す。式（1）より逆変換は、
【００３３】
式（3）と式（2）及びｚ＝0からｘ′,ｙ′,z′を消去すると、
【００３４】
以上の変換式から、仮想カメラ画像に変換することができる。
【００３５】
次に上記（ｘ，ｙ）平面の中から任意の範囲を画面上に表示させるための処理を説明する。 任意の範囲は、例えば図４(Ｂ)に示すように車両後部０．５[m]を含み、ｘ軸が幅４[m]、ｙ軸が幅３[m]のエリアとし、この任意の範囲を仮想カメラで撮影したものとして抽出し、図４(Ａ)のような画面座標に変換する。状況に応じては上記抽出範囲を運転者が可変できるようにすれば、より利便性が向上する。
【００３６】
図４(Ａ)のディスプレイ２０の表示領域は、補完領域の画像ｍと撮像画像ｎから成る。ここで仮想カメラフレームメモリ６の画素数を例えば水平を６４０画素、垂直を４８０画素とすると、（ｘ，ｙ）平面から（ｈ，ｖ）平面への変換式は次式となる。
【００３７】
これを式（5）によりｈ、ｖに変換するとｖ＜ｆ(ｈ)は次式の通りとなる。
【００３８】
次に画像処理部Ｂ５の処理について図５を用いて説明する。
【００３９】
サンプルタイムｔ1で撮像された画像の任意の点ｐが画面上では（ｈ1，ｖ1）に位置していたと仮定し、サンプルタイムｔ1から車両が左側方向となるサンプルタイムｔ2の（ｈ2，ｖ2）に後退した場合を説明する。
【００４０】
操舵角θｓ (右操舵が正)、ホイールベースＬ、ステアリングギア比ｎとすると、左右後輪の中心の回転半径Ｒ(右旋回が正)は次式となる。
【００４１】
画像合成器１０では撮像画像ｎに関しては仮想カメラ画像フレームメモリ６で記録した仮想カメラの画像を用いて、補完領域の画像ｍに関しては補完画像用フレームメモリ７で記録した補完画像を用いて合成する。この合成画像はスーパーインポーザー１５へ送られるとともに、次回のサンプルタイムｔ3での補完処理のために画像処理器へと出力される。
以上の処理により、車両に搭載されたカメラによって撮像した過去の画像から現在、撮像できない領域に画像を補完することができる。
【００４２】
次に図６はレーザレーダ１２で障害物を検出する検出方法についての説明図である。補完領域を検出範囲とするためにレーザレーダを車両の右後端部と左後端部に設置し、発射したレーザ光が物体に反射して戻るまでの時間で距離を計測する。またレーザ光を回転スキャンさせることで、検出物体の角度情報を得ることができる。
【００４３】
（ｘL，0）に配置された左レーダが捕らえた障害物の距離ＬLと角度θLから障害物のワールド座標における位置（ｘr，ｙr）を次式で求める。
【００４４】
次に図７を用いて、本実施の形態によって、ディスプレイ２０に表示される画像について説明する。
【００４５】
ディスプレイ２０の表示領域には、自車両の後端を示す自車両マーカー２１と、自車両の予想進路を示す予想進路マーカー２２とが、車載カメラ１によって撮像された画像に加えて表示されている。
【００４６】
まず図７に示したディスプレイ２０の表示領域の右側を用いて、障害物が検出されていない場合について説明する。
【００４７】
２３は車載カメラ１によって撮像された現在(例えばサンプルタイムｔ2)の状況を示す現在画像で、２４は前回のサンプルタイムｔ1に撮像された画像に基づいて、補完処理された補完画像であり、レーザレーダ１２によって障害物が検出されていない場合には、この現在画像２３と補完画像２４とは、視認者には一つの繋がった画像として認識される。すなわち、視認者にとっては、現在画像２３と補完画像２４も車両周囲の現在の画像として認識される。なお、点線２５は、現在画像２３と補完画像２４との境界を便宜的に示す線であり、実際のディスプレイ２０には表示されていない。
【００４８】
次にディスプレイ２０の表示領域の左側を用いて、障害物が検出された場合について説明する。
【００４９】
補完画像２４は、過去の画像を用いて補完された画像であって、現在の画像ではないので、瞬間的に三輪車２６が補完画像２４が表示される車両周囲の領域へと移動してきた場合、この三輪車２６の存在をディスプレイ２０へと表示することができない。従って、レーザレーダ１２によって障害物の存在を検出した場合には、補完画像２４による表示画像部分に、ハッチング処理２７を行うことで、現在画像２３よりも強調した表示を行う。この表示を視認者が認識することで、補完画像２４部分に障害物が存在することを報知することができ、車両周囲の状況を正確に報知することができる。視認者は、この報知に基づいて、目視による確認を行うことができる。
【００５０】
以上説明したように本実施の形態においては、所定の視点から車載カメラ１によって撮像した画像を、所定の視点よりも高いカメラから撮像した画像に変換して、表示するようにしたので、視認者が車両周囲の状況を見易いという効果を有する。
【００５１】
また、過去の画像から、現在の画像では表示できない補完領域を切り出し、この補完画像を現在の画像に合成すると共に、この合成画像を仮想カメラ位置の画像に変換しているので、ディスプレイ２０に表示される画像が、表示領域の全領域に表示されることになり、違和感の少ない表示を行うことができるという効果を有する。
【００５２】
また、補完領域に存在する障害物をレーザレーダ１２で検出し、障害物が検出された場合には、補完領域にハッチング処理を行って表示し、障害物の存在を報知するようにしたので、車両周囲の状況を正確に報知することができるという効果を有する。
【００５３】
以上説明した実施の形態では、障害物が存在した場合には、補完画像２４にハッチング処理を行うようにしたが、「障害物がいます。目視して下さい。」というような文字表示を行ったり、障害物の存在をブザーによって警報音として発生させたりしてもよい。またハッチング処理に変えて補完画像を表示しない、すなわち黒色や白色の表示を行っても良い。また、障害物の存在を示す矢印を表示しても良い。
【００５４】
また上述した実施の形態では、車載カメラ１をピンホールカメラとして説明したが、広角レンズなどを使用しても同様の効果が得られる。
【００５５】
また、図８に示すように、撮像した画像内に存在する障害物、例えば駐車場に置かれたブロック２８を検出し、マーカーを表示させるようにしてもよい。また、自車両の予想軌跡内に、障害物が存在する場合には、マーカーを赤色２９として、強調させて表示してもよい。
【００５６】
また、図９に示すように、撮像する画像内に存在する障害物が車両などの移動物体３０である場合には、移動物体の移動方向をマーカー３１によって表示させるようにしても良い。この場合には、前述に画像処理器Ａ４によって、障害物の存在を検出するようにする。
【００５７】
なお上述した実施の形態では、車載カメラによって車両後方を撮像するようにしたが、車両の前方や、側方などの周囲に用いても同様の効果を有することはいうまでもない。
【００５８】
特許請求の範囲の構成要素と実施の形態の対応関係は次のとおりである。
すなわち、車載カメラ１が撮像手段を、画像処理器Ｂ５が画像補完手段を、画像処理器Ａ４が画像変換手段を、画像合成器１０が画像合成手段を、レーザレーダ１２が障害物検出手段を、スーパーインポーザー１５が重畳表示手段を、ディスプレイ２０が表示手段を、スーパーインポーザー１５およびディスプレイ２０が報知手段を、ブザーが警報手段を、画像処理器Ａ４が車両検出手段をそれぞれ構成する。尚、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。
【図面の簡単な説明】
【図１】本実施の形態において車両周囲監視装置の構成を示す図。
【図２】本実施の形態においてワールド座標からカメラ座標へ変換する説明図。
【図３】本実施の形態においてカメラ座標から撮像面座標へ変換する説明図。
【図４】本実施の形態において車載カメラで撮像した画像を車載カメラより高い視点に変換する説明図。
【図５】本実施の形態において過去の画像から現在、撮像できない領域に画像を補完する説明図。
【図６】本実施の形態においてレーザレーダによる障害物の検出方法の説明図。
【図７】本実施の形態においてディスプレイに撮像した補完領域内に存在する障害物をハッチングで強調させる説明図。
【図８】本実施の形態においてディスプレイに撮像した画像内に存在する障害物をマーカーで表示させる説明図。
【図９】本実施の形態においてディスプレイに撮像した画像内に存在する障害物の移動方向をマーカーで表示させる説明図。
【符号の説明】
1 ・・・車載カメラ
2 ・・・バックモニタＥＣＵ
3 ・・・カメラ画像フレームメモリ
4 ・・・画像処理器Ａ
5 ・・・画像処理器Ｂ
6 ・・・仮想カメラ画像フレームメモリ
7 ・・・補完画像フレームメモリ
8 ・・・車速センタ
9 ・・・操舵角センサ
10・・・画像合成器
11・・・表示画像フレームメモリ
12・・・レーザレーダ
13・・・マイコン
14・・・マーカー発生器
15・・・スーパーインポーザ
16・・・カーナビゲーションＥＣＵ
17・・・カーナビゲーションモジュール
18・・・シフトポジションスイッチ
19・・・画像切替え機
20・・・ディスプレイ
21・・・自車両マーカー
22・・・予想進路マーカー
23・・・現在画像
24・・・補完画像
25・・・点線
26・・・三輪車
27・・・ハッチング
28・・・ブロック
29・・・赤色マーカー
30・・・移動物体
31・・・移動方向マーカー
Claims (6)
- 車両に搭載されて車両周囲の一定の領域を第１の視点より撮像する撮像手段と、
前記撮像手段で撮像された画像を前記第１の視点よりも高い第２の視点からの画像に変換する画像変換手段と、
第１時刻に撮像され前記画像変換手段により変換された第１画像と第１時刻よりも時間が経過した第２時刻に撮像され前記画像変換手段により変換された第２画像とに基づいて、前記第１画像のうち、前記第２画像で撮像されない前記車両の第１周囲領域の画像を、前記第２画像に補完した第３画像を生成する画像補完手段と、
前記画像補完手段によって生成された第３画像を表示画像として表示する表示手段と、
前記第１周囲領域に障害物が存在するかどうかを検出する障害物検出手段と、
前記障害物検出手段によって第１周囲領域に障害物が検出された場合、前記第１周囲領域の画像の表示を禁止し、または前記表示画像にハッチング処理されて強調された障害物画像を重畳させて、障害物の存在を示す報知手段とを備えたことを特徴とする車両周囲監視装置。 - 請求項１に記載の車両周囲監視装置において、
前記障害物検出手段は、レーザレーダ、ミリ波レーダ、ソナーの少なくとも１つであることを特徴とする車両周囲監視装置。 - 請求項１または請求項２に記載の車両周囲監視装置において、
前記表示手段は、車両の予想進路線を表示することを特徴とする車両周囲監視装置。 - 請求項１から請求項３のいずれかに記載の車両周囲監視装置において、
前記表示手段は、前記車両の一部を表示することを特徴とする車両周囲監視装置。 - 請求項１から請求項４のいずれかに記載の車両周囲監視装置において、
前記第２画像に基づいて、他車両を検出する車両検出手段を備え、
前記表示手段は、前記車両検出手段により他車両が検出された場合に、他車両を示すマーカーを表示することを特徴とした車両周囲監視装置。 - 請求項１から請求項５のいずれかに記載の車両周囲監視装置において、
前記報知手段は、前記障害物検出手段によって障害物が検出された場合に警報を行う警報手段を備えたことを特徴とする車両周囲監視装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002195449A JP3988551B2 (ja) | 2002-07-04 | 2002-07-04 | 車両周囲監視装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002195449A JP3988551B2 (ja) | 2002-07-04 | 2002-07-04 | 車両周囲監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004040523A JP2004040523A (ja) | 2004-02-05 |
| JP3988551B2 true JP3988551B2 (ja) | 2007-10-10 |
Family
ID=31703822
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002195449A Expired - Lifetime JP3988551B2 (ja) | 2002-07-04 | 2002-07-04 | 車両周囲監視装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3988551B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4310987B2 (ja) * | 2002-09-30 | 2009-08-12 | アイシン精機株式会社 | 移動体周辺監視装置 |
| JP4744995B2 (ja) * | 2005-09-08 | 2011-08-10 | クラリオン株式会社 | 車両用障害物検出装置 |
| JP2007076425A (ja) * | 2005-09-12 | 2007-03-29 | Aisin Aw Co Ltd | 駐車支援方法及び駐車支援装置 |
| JP4883977B2 (ja) * | 2005-10-05 | 2012-02-22 | アルパイン株式会社 | 車両用画像表示装置 |
| JP4687411B2 (ja) * | 2005-11-15 | 2011-05-25 | 株式会社デンソー | 車両周辺画像処理装置及びプログラム |
| JP2007158642A (ja) * | 2005-12-05 | 2007-06-21 | Alpine Electronics Inc | 車両周辺画像提供装置 |
| JP4969269B2 (ja) * | 2007-02-21 | 2012-07-04 | アルパイン株式会社 | 画像処理装置 |
| JP2009061962A (ja) * | 2007-09-07 | 2009-03-26 | Denso Corp | カメラ画像表示制御装置 |
| JP6349637B2 (ja) * | 2013-07-11 | 2018-07-04 | 株式会社デンソー | 車両用画像合成装置 |
| JP7318609B2 (ja) * | 2020-08-06 | 2023-08-01 | トヨタ自動車株式会社 | 車載検出装置 |
-
2002
- 2002-07-04 JP JP2002195449A patent/JP3988551B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004040523A (ja) | 2004-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4883977B2 (ja) | 車両用画像表示装置 | |
| EP1916846B1 (en) | Device and method for monitoring vehicle surroundings | |
| JP4914458B2 (ja) | 車両周辺表示装置 | |
| KR100936558B1 (ko) | 차량용 주변 감시 장치 및 영상 표시 방법 | |
| US8330816B2 (en) | Image processing device | |
| US8576285B2 (en) | In-vehicle image processing method and image processing apparatus | |
| JP5143235B2 (ja) | 制御装置および車両周囲監視装置 | |
| JP3695319B2 (ja) | 車両周辺モニタ装置 | |
| JP4687160B2 (ja) | 周辺監視装置 | |
| JP4687411B2 (ja) | 車両周辺画像処理装置及びプログラム | |
| JP2010183170A (ja) | 車両用表示装置 | |
| JP2000295604A (ja) | 車両用後側方監視装置 | |
| JP2006279752A (ja) | 車両直下画像表示制御装置および車両直下画像表示制御プログラム | |
| JP2004240480A (ja) | 運転支援装置 | |
| JP2013078151A (ja) | 車両用表示装置 | |
| JP3988551B2 (ja) | 車両周囲監視装置 | |
| JPH0717328A (ja) | 車両用周辺認識補助装置 | |
| US11292387B2 (en) | Towing assistance apparatus | |
| JP2004056219A (ja) | 車両周辺監視装置 | |
| JP2003252151A (ja) | 駐車支援システム | |
| JP2004312523A (ja) | 車載画像処理装置 | |
| CN113060156B (zh) | 车辆周围监视装置、车辆、车辆周围监视方法和程序 | |
| JP5605764B2 (ja) | 車両用表示装置 | |
| JP2022023870A (ja) | 表示制御装置 | |
| JP4479183B2 (ja) | 映像提示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050223 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070205 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070227 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070402 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070402 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070426 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070427 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070626 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070709 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100727 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3988551 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110727 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120727 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120727 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130727 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140727 Year of fee payment: 7 |
|
| EXPY | Cancellation because of completion of term |