JP4687411B2 - 車両周辺画像処理装置及びプログラム - Google Patents

Description

本発明は、例えば車両の後方を撮像した画像を鳥瞰画像に変換してモニタに表示できる車両周辺画像処理装置に関するものである。

従来、車両の周辺（例えば、車両後方）の様子を表示することで運転を支援する装置として、車両に取り付けたカメラの画像をそのまま表示する表示装置が知られている。この表示装置では、車両周辺の状態がある程度分かるが、自車両とモニタに表示されている画像との相対位置関係が分かり難いという問題がある。

このような問題を解決するために、車両前部に設けられたカメラによって撮像された車両前方の画像を鳥瞰画像に変換し、この鳥瞰画像に自車両の画像を合成して表示する技術が提案されている（特許文献１参照）。

また、車両後部に設けられたカメラによって撮像された車両後方の画像と、この画像を鳥瞰画像に変換した画像とを同時に表示する技術が提案されている（特許文献２参照）。
特開２００２−１２０６７５号公報 特開２００４−２５４２１９号公報

特許文献１に記載の技術のように、鳥瞰画像表示画面上で自車両の位置を固定して表示する場合、自車両の移動に伴い車両周辺の背景画像が画面上で移動する。つまり、実際には移動していない静止物体も鳥瞰画像表示画面における表示では移動しているため、この画面上では、静止物体と歩行者等の移動物体との区別がつき難い。そのため、「歩行者の発見が遅れるかもしれない。」といった不安を運転者に与える可能性がある。また、カメラによって撮像した画像を鳥瞰画像に変換した画像では、物体の形状が歪んで表示される場合がある。そのため、運転者による物体の認識が困難になり、「歩行者の発見が遅れるかもしれない。」といった不安を運転者に与える可能性がある。

このような問題は、特にバックによる駐車場進入時のように運転者の視界が制限される状況において顕著であると考えられる。
一方、特許文献２に記載の技術は、カメラ画像と鳥瞰画像を同時に表示することで運転者に分かり易い画面表示を実現しているが、上述のような静止物体と歩行者等の移動物体との区別がつきにくいという問題を解決していない。

本発明は、上述のような問題を解決するためになされており、車両周辺（例えば、車両後方）を撮像した画像から合成した鳥瞰画像表示画面上において移動物体の存在を運転者に対して分かり易く表示することで、運転者による移動物体の認識を支援することができる車両周辺画像処理装置等を提供することを目的とする。

上記目的を達成するためになされた請求項１に記載の車両周辺画像処理装置は、撮像手段によって撮像された画像（例えば、撮像手段によって撮像された現在の画像データ又は現在や過去の画像データを合成した合成画像データ等）から生成した鳥瞰画像上に、移動物体の存在を示す強調表示を合成して表示することを特徴とする。

具体的には、請求項１に記載の車両周辺画像処理装置は、車両周辺の画像を撮像する撮像手段と、画像を表示する表示手段とを備えた車両に対して、撮像手段により撮像された画像を処理して表示手段に表示する車両周辺画像処理装置であって、鳥瞰画像生成手段と、検出手段と、合成表示制御手段とを備える。

このうち、鳥瞰画像生成手段は、撮像手段により撮像された画像データに基づいて鳥瞰画像を生成する。検出手段は、撮像手段により撮像された画像データに基づいて移動物体を検出する。合成表示制御手段は、鳥瞰画像生成手段によって生成された鳥瞰画像に検出手段によって検出された移動物体の存在を示す強調表示画像を合成し、この合成された鳥瞰画像を表示手段に表示する。

なお、撮像手段により撮像された画像データに基づいて移動物体を検出するには、公知のブロックマッチング法等を利用して画像上における物体の移動量を算出し、静止物体の車両の移動に伴う画像上での移動量と異なる移動量を持つ物体を移動物体として検出すればよい。

また、強調表示画像の具体例としては、移動物体の存在を目立たせるための色のついたマークや文字等、運転者の注意を引くための種々の態様が考えられる。
このように構成された車両周辺画像処理装置によれば、鳥瞰画像に移動物体の存在を示す強調表示画像を合成して表示することによって、運転者による移動物体の認識を支援し、運転者に対して移動物体への注意を喚起することができる。したがって、運転者は、表示手段に表示された強調表示画像によって車両周辺の移動物体の存在を速やかに認識することができる。よって、例えばバックにて駐車上に進入する際のように、運転者の視界が制限されるような状況において非常に便利である。

鳥瞰画像に強調表示画像を合成する際、この強調表示画像によって移動物体が存在する位置も分かるようにすれば、運転者が、移動物体の存在だけでなく当該移動物体が存在する位置を速やかに把握することができるので好適である。

そこで、請求項２に記載の車両周辺画像処理装置のように構成するとよい。つまり、合成表示制御手段は、検出手段によって検出された移動物体の鳥瞰画像上における投影位置に強調表示画像を合成する。

これにより、運転者は、鳥瞰画像上の移動物体の位置に対応して表示された強調表示画像を見ることで移動物体の存在及びその位置を速やかに認識することができ、その移動物体に対する適切な運転対応を取ることができる。また、鳥瞰画像に自車両の画像が合成されていれば、自車両と移動物体との相対位置関係が分かり易くなるので好適である。

なお、鳥瞰画像は、路面に描かれた駐車枠等の平面的なものに対して自車両との相対位置関係が分かり易いというメリットがある。しかし、カメラ等の撮像手段によって撮像された画像を鳥瞰画像に変換する場合、立体物については高い部分ほど実際の距離より遠くに投影されるため、例えば歩行者等は、鳥瞰画像上で車両から遠ざかる方向へ細長く投影されてしまう。このような場合、移動物体の投影位置に強調表示画像を合成する際に、その合成する位置によっては、表示される強調表示画像と車両との距離が実際の距離と大きく異なる可能性がある。こうなると、運転者が移動物体と車両との距離を見誤るおそれがある。

そこで、請求項３に記載の車両周辺画像処理装置のように構成するとよい。つまり、合成表示制御手段は、検出手段によって検出された移動物体の鳥瞰画像上における投影領域のうち最も車両に近い位置に強調表示画像を合成する。

カメラ等の撮像手段によって撮像された画像から生成された鳥瞰画像においては、立体物の投影領域のうち、撮像位置（即ち、車両）から近い投影位置ほど立体物の実際の位置に近い。したがって、鳥瞰画像上に投影された移動物体の車両に最も近い位置に強調表示画像を合成すれば、表示手段上で移動物体の実際の位置により近い位置に強調表示画像を表示することができる。よって、運転者は、自車両と移動物体との相対位置関係をより正確に把握することができる。

ところで、撮像手段によって撮像された画像内に移動物体が存在しても、その移動物体が鳥瞰画像の表示範囲に含まれない場合がある。しかし、このような状況であっても移動物体の進行方向や進行速度によっては、当該移動物体が自車両に急接近してくる場合もある。したがって、鳥瞰画像の表示範囲外に移動物体が存在する場合であっても、その存在を運転者が認識できるようにすることが好ましい。

そこで、本発明の車両周辺画像処理装置においては、合成表示制御手段は、検出手段によって検出された移動物体が鳥瞰画像の表示範囲外に存在するか否かを判定し、移動物体が鳥瞰図画像の表示範囲外に存在すると判定した場合、移動物体が存在する方向を示す強調表示を鳥瞰画像に合成する。

ここで「移動物体が存在する方向を示す強調表示」としては、例えば矢印等のマークや「左後方」、「○○時の方向」といった文字等の種々の態様が考えられる。
これにより、鳥瞰画像の表示範囲外に存在する移動物体についても、運転者に対して注意を喚起することができるので、当該移動物体が急に自車両に接近してきても、運転者は適切な運転対応を行うことができる。

次に、請求項４に記載の車両周辺画像処理装置は、撮像手段により撮像される画像が自車両の後方の画像であることを特徴とする。したがって、自車両後方の鳥瞰画像を表示することにより、運転者の視界が特に制限され易いバック時において、運転者による周辺監視を有効に支援することができる。また、これによりバックによる駐車場進入を効果的に支援可能な駐車支援システムを実現できる。

以上で説明したような車両周辺画像処理装置における鳥瞰画像生成手段、検出手段、及び合成表示制御手段の各手段の機能をコンピュータシステムにて実現するには、請求項５に記載のようにコンピュータシステム側で起動するプログラムとして備えればよい。このようなプログラムは、例えば光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、ＲＯＭ、ＲＡＭ等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータにロードすることにより、上述の各手段としての機能を実現できる。

以下、本発明の一実施形態を図面に基づいて説明する。
［車両周辺画像処理装置の構成］
実施形態の車両周辺画像処理装置の基本的なシステム構成を図１及び図２に基づいて説明する。

図１は、実施形態の車両周辺画像処理装置の概略構成を示す説明図である。
図１に示すように、本実施形態の車両周辺画像処理装置は、車両の後部に配置され車両の後方の様子を連続した複数の静止デジタル画像（以下、フレームと呼ぶ）で構成される画像データとして撮像するカメラ（例えばＣＣＤカメラ）１と、自動車のダッシュボードの配置された車載モニタ（例えば液晶ディスプレイ）２と、画像処理を行う画像処理ユニット３と、カメラパラメータデータベース（ＤＢ）４とを備えている。なお、画像処理ユニット３とカメラパラメータＤＢ４は、カメラ１又は車載モニタ２と一体に構成されていてもよい。

図２は、実施形態の車両周辺画像処理装置の電気的な概略構成を示すブロック図である。
画像処理ユニット３は、コンピュータを主要部とする画像データ等の処理を行う電子制御装置であり、図２に示すように、機能的構成として鳥瞰画像生成部３１と、画像保持バッファ３２と、移動物体検出部３３と、合成描画部３４とを備える。

このうち、鳥瞰画像生成部３１は、カメラ１で撮像された原画像の画像データに対して座標変換（鳥瞰図変換）を行って鳥瞰画像を生成する。このとき、鳥瞰画像上には自車両の画像等の補助画像も適宜合成される。なお、カメラ１で撮像した画像を変換して鳥瞰画像を生成する処理は、公知技術であるので、詳しい説明は省略する。

画像保持バッファ３２は、カメラ１で撮像された複数の連続するフレームを一時的に保持する。
移動物体検出部３３は、画像保持バッファ３２に保持されている複数の連続するフレームに基づいて、画像内に存在する移動物体を検出する。移動物体の検出については、例えば、公知のブロックマッチング法を用いて、連続する複数のフレームから車両の移動に伴う静止物体の画像上での移動量を算出し、この算出した静止物体の画像上での移動量を考慮した画像差分処理を行うことで、静止物体とは異なる移動量を持つ物体のみを移動物体として検出することができる。

合成描画部３４は、鳥瞰画像生成部３１で生成された鳥瞰画像に移動物体検出部３３によって検出された移動物体の存在を示す所定の強調マークを合成して、車載モニタ２に表示する画像を描画する。

カメラパラメータＤＢ４は、鳥瞰画像生成部３１において鳥瞰画像を生成する際や、合成描画部３４において強調マークを合成する際のパラメータとなるカメラ１の取り付け高さや、取り付け角度、視野角等のカメラ１に関する諸元を記憶するためのデータベースである。これらのデータの記憶媒体としては、ハードディスク、ＲＯＭ、ＲＡＭ等を用いることができる。

本実施形態の車両周辺画像処理装置は、上述した構成を用いて、カメラ１によって撮像した画像に基づいて生成した鳥瞰画像に、カメラ１によって撮像した画像に基づいて検出した移動物体の存在を示す所定の強調マークを合成し、この合成された鳥瞰画像を車載モニタ２に表示する強調表示処理を実行する。なお、この強調表示処理の詳細な説明については後述する。

以上、実施形態の車両周辺画像処理装置の概略構成について説明したが、本実施形態における車両周辺画像処理装置の構成と特許請求の範囲に記載した構成との対応は次のとおりである。本実施形態におけるカメラ１が、特許請求の範囲における撮像手段に相当する。また、車載モニタ２が表示手段に相当する。また、鳥瞰画像生成部３１が鳥瞰画像生成手段に相当する。また、移動物体検出部３３が検出手段に相当する。また、合成描画部３４が合成表示制御手段に相当する。

以下、実施形態の車両周辺画像処理装置の画像処理ユニット３が実行する各種処理について図３のフローチャート及び図４，５の説明図に基づいて説明する。
［強調表示処理の説明］
図３は、実施形態の車両周辺画像処理装置の画像処理ユニット３が実行する強調表示処理の手順を示すフローチャートである。この画像処理は、カメラ１によって撮像した車両後方の画像に基づいて生成した鳥瞰画像に、カメラ１によって撮像した画像に基づいて検出した移動物体の存在を示す所定の強調マークを合成し、この合成された鳥瞰画像を車載モニタ２に表示する処理であり、車両の変速機がバックギアに入れられたときに開始される。

カメラ１によって撮像された画像（撮像画像）は、鳥瞰画像生成部３１及び画像保持バッファ３２へ入力される。そして、鳥瞰画像生成部３１では、カメラパラメータＤＢ４に記憶されているデータに基づいて、この入力された撮像画像をフレームごとに鳥瞰画像に変換する。

一方、移動物体検出部３３では、画像保持バッファ３２に保持されているカメラ１からの入力画像のフレームから移動物体を検出する（ステップ１０１：以下、単にＳ１０１と表記する。他のステップについても同様。）。ここでは、撮像画面内の移動物体の位置や大きさ、移動方向等が検出される。

次に、Ｓ１０１における検出結果に基づいて、撮像画像内に移動物体の少なくとも一部が存在するか否かを判定する（Ｓ１０２）。ここで、撮像画面内に移動物体の少なくとも一部が存在すると判定した場合（Ｓ１０２：ＹＥＳ）、Ｓ１０３へ移行する。一方、撮像画面内に移動物体が存在しないと判定した場合（Ｓ１０２：ＮＯ）、そのまま強調表示処理を終了する。この場合、カメラ１による撮像画像に基づいて生成された鳥瞰画像がそのまま車載モニタ２に表示される。

Ｓ１０３では、合成描画部３４がＳ１０１で検出された移動物体の鳥瞰画像上における投影領域を算出する。そして、この算出結果に基づいて、当該移動物体が鳥瞰画像の表示範囲内に存在するか否かを判定する（Ｓ１０４）。

ここで、当該移動物体が鳥瞰画像の表示範囲内に存在すると判定した場合（Ｓ１０４：ＹＥＳ）、鳥瞰画像表示範囲上の当該移動物体の投影領域において自車両との距離が最小となる位置を算出する（Ｓ１０５）。そして、鳥瞰画像生成部３１において生成された鳥瞰画像の前記算出した位置に移動物体の存在を示す強調マークを合成して、この合成した鳥瞰画像を車載モニタ２に表示する（Ｓ１０６）。

ここで、以上までで説明した処理の具体的な事例について図４に基づいて説明する。
図４は、バックによる駐車場進入時において、カメラ１による自車両後方の撮像画像と、この撮像画像に基づいて合成される鳥瞰画像とを示している。

図４に示すように、カメラ１による自車両後方の撮像画像内に移動中の歩行者が存在している。このとき、この歩行者の鳥瞰画像上の投影領域の少なくとも一部が鳥瞰画像の表示範囲内に存在する場合、当該撮像画像から生成した鳥瞰画像上における歩行者の投影領域のうち、自車両に最も近い位置（図４に示す例では、歩行者の足元付近に相当）に強調マーク１０が表示される。なお、この鳥瞰画像には自車両の画像も合成されている。

図３のフローチャートの説明に戻る。Ｓ１０４において当該移動物体が鳥瞰画像の表示範囲内に存在しないと判定した場合（Ｓ１０４：ＮＯ）、当該移動物体が存在する方向と、当該移動物体に対する警戒度を算出する（Ｓ１０７）。なお、ここでいう警戒度とは、移動物体に対して必要な警戒の度合を示すものである。この警戒度は、例えば、移動物体検出部３３において検出した移動物体の移動方向や移動速度に基づいて、自車両に急激に接近していると判定した場合は警戒度を「大」に設定し、移動物体が自車両に接近してこないと判定した場合は、警戒度を「小」に設定すればよい。

次に、Ｓ１０７において算出した移動物体の存在する方向及び警戒度に基づき、鳥瞰画像生成部３１において生成された鳥瞰画像に当該移動物体の存在する位置を示す強調マーク（本実施形態では、矢印）を、所定の位置（例えば、自車両と当該移動物体とを結ぶ直線上における歩行者寄りの表示境界付近）に位置に合成して、この合成した鳥瞰画像を車載モニタ２に表示する。ここでは、警戒度が「大」であれば比較的大きな目立つ色の強調マークを鳥瞰画像に合成し、警戒度が「小」であれば、比較的小さな強調マークを鳥瞰画像に合成する（Ｓ１０８）。

ここで、Ｓ１０１〜Ｓ１０４，Ｓ１０７，Ｓ１０８の処理の具体的な事例について図５に基づいて説明する。
図５（ａ）は、バックによる駐車場進入時において、カメラ１による自車両後方の撮像画像内に自車両に接近しない方向へ移動中の歩行者が存在しており、かつ、この歩行者が鳥瞰画像の表示範囲外に存在する場合の説明図である。

図５（ａ）に示すように、カメラ１による撮像画像内に、自車両に接近しない方向（図中の実線矢印）へ移動中の歩行者が存在している。このとき、この歩行者が鳥瞰画像の表示範囲外に存在する場合は、この歩行者が存在する方向及びこの歩行者に対する警戒度が算出される。ここでは、歩行者が車両に接近しない方向へ移動中であるので、警戒度は「小」に設定される。そして、鳥瞰画像上に歩行者が存在する方向を示す矢印形の強調マーク１０ａ（警戒度小）が、自車両と歩行者とを結ぶ直線（図中破線矢印）上における歩行者寄りの表示境界付近に表示される。

一方、図５（ｂ）は、バックによる駐車場進入時において、カメラ１による自車両後方の撮像画像内に自車両に接近する方向へ移動中の歩行者が存在しており、かつ、この歩行者が鳥瞰画像の表示範囲外に存在する場合の説明図である。

図５（ｂ）に示すように、カメラ１による撮像画像内に、自車両に接近する方向（図中の実線矢印）へ移動中の歩行者が存在している。このとき、この歩行者が鳥瞰画像の表示範囲外に存在する場合は、この歩行者が存在する方向及びこの歩行者に対する警戒度が算出される。ここでは、歩行者が車両に接近する方向へ移動中であるので、警戒度は「大」に設定される。そして、鳥瞰画像上に歩行者が存在する方向を示す矢印形の強調マーク１０ｂ（警戒度大）が、自車両と歩行者とを結ぶ直線（図中破線矢印）上における歩行者寄りの表示境界付近に表示される。

［効果］
上記実施形態の車両周辺画像処理装置によれば、以下のような効果を奏する。
カメラ１による自車両の後方の撮像画像に基づいて生成された鳥瞰画像に移動物体の存在を示す強調マークを合成して表示することによって、バックによる駐車場進入時のように運転者の視界が制限される場合において運転者による移動物体の認識を支援し、運転者に対して移動物体への注意を喚起することができる。したがって、運転者は、表示手段に表示された強調マークによって車両周辺の移動物体の存在を速やかに認識することができる。

また、鳥瞰画像上に投影された移動物体の車両に最も近い位置に強調マークを合成することで、車載モニタ２上で移動物体の実際の位置により近い位置に強調マークを表示することができる。よって、運転者は、自車両と移動物体との相対位置関係をより正確に把握することができる。

また、鳥瞰画像の表示範囲外に存在する移動物体についても、当該移動物体が存在する方向を示す強調マークを画面上に表示することで、運転者に対して注意を喚起することができる。したがって、当該移動物体が急に自車両に接近してきても、運転者は適切な運転対応を行うことができる。また、移動物体に対する警戒度に応じて強調マークの態様を変化させるので、運転者に対して適切なレベルで注意を喚起できるので便利である。

以上、本発明の実施形態について説明したが、本発明の実施形態は上記の実施形態に何ら限定されるものではなく、本発明の技術的範囲に属する限り様々な態様にて実施することが可能である。

例えば、上記実施形態では、カメラ１は自車両の後方を撮像するように構成されているが、車両の前方を撮像するような構成であってもよい。また、車両の前方又は後方に加え車両の側方も撮像できる場合には、バック又は前進によって幅寄せする際に側方の状況がよく分かるので便利である。

また、上記実施形態では、説明の便宜上、図４及び図５においてカメラ１による撮像画面上に移動物体が１つだけ存在する事例について説明しているが、移動物体が複数存在する場合は、各移動物体に対応して強調マークを複数表示する態様であってもよいことは言うまでもない。

実施形態の車両周辺画像処理装置の主要構成を示す説明図である。 実施形態の車両周辺画像処理装置の電気的な概略構成を示すブロック図である。 実施形態の車両周辺画像処理装置の画像処理ユニット３が実行する強調表示処理の手順を示すフローチャートである。 画像処理ユニット３において実行される強調表示処理の具体的事例（移動物体が鳥瞰画像表示範囲内に存在する場合）を示す説明図である。 画像処理ユニット３において実行される強調表示処理の具体的事例（移動物体が鳥瞰画像表示範囲外に存在する場合）を示す説明図である。

符号の説明

１…カメラ、２…車載モニタ、３…画像処理ユニット、４…カメラパラメータデータベース（ＤＢ）、１０，１０ａ，１０ｂ…強調マーク、３１…鳥瞰画像生成部、３２…画像保持バッファ、３３…移動物体検出部、３４…合成描画部

Claims (5)

1. 自車両周辺の画像を撮像する撮像手段と、画像を表示する表示手段とを備えた車両に対して、前記撮像手段により撮像された画像を処理して前記表示手段に表示する車両周辺画像処理装置において、
   前記撮像手段により撮像された画像データに基づいて鳥瞰画像を生成する鳥瞰画像生成手段と、
   前記撮像手段により撮像された画像データに基づいて移動物体を検出する検出手段と、
   前記鳥瞰画像生成手段によって生成された鳥瞰画像に前記検出手段によって検出された移動物体の存在を示す強調表示画像を合成し、この合成された鳥瞰画像を前記表示手段に表示する合成表示制御手段とを備え、
   前記合成表示制御手段は、前記検出手段によって検出された移動物体が前記鳥瞰画像の表示範囲外に存在するか否かを判定し、前記移動物体が前記鳥瞰図画像の表示範囲外に存在すると判定した場合、前記移動物体が存在する方向を示す強調表示を前記鳥瞰画像に合成すること
   を特徴とする車両周辺画像処理装置。
2. 請求項１に記載の車両周辺画像処理装置において、
   前記合成表示制御手段は、前記検出手段によって検出された移動物体の前記鳥瞰画像上における投影位置に前記強調表示画像を合成すること
   を特徴とする車両周辺画像処理装置。
3. 請求項２に記載の車両周辺画像処理装置において、
   前記合成表示制御手段は、前記検出手段によって検出された移動物体の前記鳥瞰画像上における投影領域のうち最も自車両に近い位置に前記強調表示画像を合成すること
   を特徴とする車両周辺画像処理装置。
4. 請求項１ないし請求項３の何れか１項に記載の車両周辺画像処理装置において、
   前記撮像手段により撮像される画像は、自車両の後方の画像であること
   を特徴とする車両周辺画像処理装置。
5. 請求項１ないし請求項４の何れか１項に記載の車両周辺画像処理装置が備える鳥瞰画像生成手段、検出手段、及び合成表示制御手段としてコンピュータを機能させるためのプログラム。

Images