JP4248570B2

JP4248570B2 - 画像処理装置並びに視界支援装置及び方法

Info

Publication number: JP4248570B2
Application number: JP2006224429A
Authority: JP
Inventors: 洋平石井
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2006-08-21
Filing date: 2006-08-21
Publication date: 2009-04-02
Anticipated expiration: 2026-08-21
Also published as: JP2008048345A

Description

本発明は、視界支援装置及び視界支援方法に関する。本発明は、特に、車両に設置された複数のカメラの撮像画像から鳥瞰図画像を生成し、各鳥瞰図画像を合成する技術に関する。また本発明は、視界支援装置に用いられる画像処理装置に関する。

自動車などの運転者にとって、バックするときには死角が生じるため後方確認が難しくなる。そこで、運転者の死角となりやすい車両の後方を監視する車載カメラを装備し、その撮像画像をカーナビゲーション等の画面に表示するシステムが既に開発されている。

また、カメラの映像を単に表示するのではなく、画像処理技術を利用して、より人間に優しい映像を見せる研究がなされている。その１つに、撮影した画像を座標変換することにより、地面の上方から眺めたような鳥瞰図画像を生成して表示するものがある。この鳥瞰図画像を表示することによって、運転者は車両後方の状況を把握し易くなる。

更に、複数のカメラから得た画像を幾何変換によって全周鳥瞰図画像に変換し、これを表示部に表示させる視界支援装置が開発されている（例えば、下記特許文献１及び２参照）。この視界支援装置では、車両全周の状況を上空から見た映像として運転者に提示することができるため、車両の周辺を３６０度死角なくカバーできるという長所がある。

この種の視界支援装置の従来例について説明する。図１６は、車両１００へのカメラの設置状況を表す、車両１００を上方から見た平面図である。図１７は、車両１００を左斜め前方から見た図である。図１７では、各カメラの視野（撮像領域）が模式的に表されている。車両１００は、運転室と運転室より高さのある荷室とから形成されるトラックである。

図１６に示す如く、車両１００の前部、後部、左側部及び右側部に、夫々、カメラ（撮像装置）１Ｆ、１Ｂ、１Ｌ及び１Ｒが取り付けられている。カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒは、夫々、前カメラ、後カメラ、左横カメラ及び右横カメラに対応する。

視界支援装置では、各カメラより得た撮像画像から鳥瞰図画像を生成し、各鳥瞰図画像を合成することにより、図１８に示すような全周鳥瞰図画像を表示装置に表示する。表示装置の表示画面上において、車両が中央に表示され、その車両の前方、後方、左側及び右側に、夫々、カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒから得た鳥瞰図画像が表示される。

ところで、各カメラの視野（撮像領域）には、図１７に示すように重なり合う部分が存在する。例えば、車両１００の左斜め前方の所定領域にて、カメラ１Ｆの視野とカメラ１Ｌの視野は重なり合う。この重なり合う部分は、図１８の符号１０１が付された領域に対応する。通常、領域１０１には、カメラ１Ｆの撮像画像に基づく映像若しくはカメラ１Ｌの撮像画像に基づく映像又はそれらの平均化映像などが表示される。

この種の視界支援装置では、地表面で画像が連続性を持つように合成処理を行うため、地表面に描かれた駐車区画の線、標識、文字などは特に問題なく表示される。これは、図１８の領域１０１でも同様である。しかし、地表面に置かれた立体物は、カメラの視点によって見え方が異なるため、それを全周鳥瞰図画像で正確且つ連続的に描写することは、原理的に困難である。

例えば、図１９に示す如く、カメラ１Ｆの視野とカメラ１Ｌの視野が重なり合う部分（空間）に立体物１０２としての人物が存在していた場合を考える。この場合、カメラ１Ｆにて立体物１０２を撮像した画像から鳥瞰図画像を生成した場合、図２０に示す如く、この鳥瞰図画像上で立体物１０２は左方向に倒れた画像となって表れる。一方、カメラ１Ｌにて立体物１０２を撮像した画像から鳥瞰図画像を生成した場合、図２１に示す如く、この鳥瞰図画像上で立体物１０２は前方に倒れた画像となって表れる。

カメラ１Ｆから得た鳥瞰図画像とカメラ１Ｌから得た鳥瞰図画像を合成する際、図２０及び図２１に示すような合成境界１０３を定めて、両鳥瞰図画像を合成境界１０３にて単純に貼り合わせた場合、その合成によって得られる全周鳥瞰図画像において、立体物１０２が消失してしまうという問題がある。

この問題を解決するために、カメラ１Ｆから得た鳥瞰図画像とカメラ１Ｌから得た鳥瞰図画像とが重なる共通領域の画像を、両鳥瞰図画像を平均化することによって生成する、という手法が考えられる。しかしながら、このような平均化を採用すると、全周鳥瞰図画像において立体物が二重像として現れてしまう。また、二重像の各像は背景画像と平均化されるため、立体物と背景の色によっては、立体物が非常に見えにくくなってしまう。

また、下記特許文献１に記載の方法では、共通領域の画像としてカメラ１Ｆから得られた鳥瞰図画像のみを採用した全周鳥瞰図画像と、共通領域の画像としてカメラ１Ｌから得られた鳥瞰図画像のみを採用した全周鳥瞰図画像と、を別個に生成し、これら２種類の全周鳥瞰図画像を左右に並べて同時に表示する。この場合の表示画像は、図２２の表示画像２００のようになる。しかしながら、この方法では、運転者が確認すべき画像が複数枚、同時に表示されるため、混乱が生じて逆に安全性が損なわれる可能性もある。

また、共通領域の画像としてカメラ１Ｆから得られた鳥瞰図画像を採用するか或いはカメラ１Ｌから得られた鳥瞰図画像を採用するかを、手動によって或いは運転操作によって切替えるという方法も考えられる。この場合、図２３に示す、表示画像２０１と表示画像２０２が切替えて表示されることになる。しかしながら、手動による切り替えは煩雑であり、また、運転操作のみに基づいて生成した映像が立体物を把握しやすい映像になるとは限らない。

特開２００３−１２５２２４号公報特開２００４−２３５９８６号公報

これらの問題は、何れも、共通領域において優先的に表示すべき画像を決定することが困難であることに起因している。鳥瞰図の連続性を維持しつつ単一の映像で立体物を的確に描写するためには、何れのカメラが立体物をより的確に捉えているか（換言すれば、何れの鳥瞰図画像が立体物をより的確に表しているか）を判断してやる必要がある。

例えば、図１９〜図２１に示すような状況の場合、カメラ１Ｆは立体物１０２としての人物の下半身しか撮像できていない一方でカメラ１Ｌは人物の全体像を撮像することができている。これは、主として、運転室上部に設置されたカメラ１Ｆよりも荷室上部に設置されたカメラ１Ｌの方が、より高い位置から立体物（人物）１０２を捉えることができていることに起因する。このような場合は、カメラ１Ｌの撮影画像を優先的に用いた映像を表示した方が車両周辺の状況把握にとって望ましい。逆に、立体物１０２の位置によっては、カメラ１Ｆの撮影画像を優先的に用いた方が良い場合もある。

そこで本発明は、車両周辺などの状況把握にとってより適した合成鳥瞰図画像を表示することのできる視界支援装置及び視界支援方法を提供することを目的とする。また、本発明は、それらに用いられる画像処理装置を提供することを目的とする。

上記目的を達成するために本発明に係る画像処理装置は、ｎ台の撮像装置（ｎは２以上の整数）によって撮像された画像の夫々を仮想視点から見た鳥瞰図画像に変換する視点変換手段と、得られた各鳥瞰図画像を合成して合成鳥瞰図画像を生成する画像合成手段と、を備え、前記合成鳥瞰図画像を表示装置に表示させるための映像信号を生成する画像処理装置において、前記画像合成手段は、合成の際に複数の鳥瞰図画像が重なり合う共通領域の画像を前記複数の鳥瞰図画像間で比較することにより、前記共通領域内における、前記複数の鳥瞰図画像間の差分領域を特定し、前記共通領域内における前記差分領域の位置に応じて、前記複数の鳥瞰図画像から１つの鳥瞰図画像を採用画像として選択し、前記合成鳥瞰図画像内の前記共通領域の画像として、前記採用画像内の前記共通領域の画像を採用することを特徴とする。

各カメラにとって、どのような位置の立体物を捉え易く、どのような位置の立体物を捉えにくいかは、各カメラの設置位置などに依存し、また、それらは異なるカメラ間で異なる。一方において、鳥瞰図画像の生成原理上、立体物は上記共通領域内で差分領域を形成する。そして、共通領域内における差分領域の位置は立体物の位置（実空間位置）に依存する。これを考慮し、立体物の位置（実空間位置）を反映した、共通領域内における差分領域の位置に応じて、上記採用画像を選択して合成鳥瞰図画像を生成するようにする。これにより、立体物をより的確に表していると予想される鳥瞰図画像が採用画像として選択され、車両周辺などの状況把握に適した映像を表示することが可能となる。

具体的には例えば、前記複数の鳥瞰図画像の夫々に対して、前記共通領域の画像の各画素位置に対応する重み値が設定され、前記複数の鳥瞰図画像間で、設定される前記重み値の一部又は全部は異なり、前記画像合成手段は、前記複数の鳥瞰図画像の夫々に関して、前記差分領域に含まれる画素に対応する前記重み値を合算して合算値を算出し、各合算値に基づいて前記採用画像を選択する。

そしてより具体的には例えば、前記画像合成手段は、前記複数の鳥瞰図画像間で前記合算値を比較することにより、前記採用画像を選択する。

また具体的には例えば、前記ｎ台の撮像装置は、車両に設置され且つ車両周辺を撮像し、前記画像合成手段は、各合算値に加えて前記車両の運転状態にも基づいて、前記採用画像を選択するようにしてもよい。

これにより、運転状態をも考慮した適切な映像を表示することが可能となる。

また例えば、前記重み値は、前記複数の鳥瞰図画像に対応する複数の撮像装置の設置位置に基づいて設定される。

そして、上記画像処理装置と、前記ｎ台の撮像装置、及び、前記表示装置の内の少なくとも一方と、を備えた視界支援装置を構成するとよい。

また、上記目的を達成するために本発明に係る視界支援方法は、ｎ台の撮像装置（ｎは２以上の整数）によって撮像された画像の夫々を仮想視点から見た鳥瞰図画像に変換し、得られた各鳥瞰図画像を合成した合成鳥瞰図画像を表示装置に表示させる視界支援方法において、合成の際に複数の鳥瞰図画像が重なり合う共通領域の画像を前記複数の鳥瞰図画像間で比較することにより、前記共通領域内における、前記複数の鳥瞰図画像間の差分領域を特定し、前記共通領域内における前記差分領域の位置に応じて、前記複数の鳥瞰図画像から１つの鳥瞰図画像を採用画像として選択し、前記合成鳥瞰図画像内の前記共通領域の画像として、前記採用画像内の前記共通領域の画像を採用することを特徴とする。

本発明によれば、車両周辺などの状況把握にとってより適した合成鳥瞰図画像を表示することができる。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

［鳥瞰図画像の生成方法］
まず、１台のカメラによって撮像された撮像画像から鳥瞰図画像を生成する方法について説明する。尚、以下の説明において、地面は水平面上にあるものとし、「高さ」は、地面を基準とした高さを表すものとする。

図１に示すように、車両１００の後部に後方斜め下向きにカメラ１が配置されている場合を考える。車両１００は、例えばトラックである。水平面とカメラ１の光軸とのなす角は、図１にθで表される角度と、θ₂で表される角度との２種類がある。角度θ₂は、一般的には、見下ろし角または俯角と呼ばれている。今、角度θを、水平面に対するカメラ１の傾き角度として捉える。９０°＜θ＜１８０°、が成立する。

図２は、カメラ座標系ＸＹＺと、カメラ１の撮像面Ｓの座標系Ｘ_buＹ_buと、２次元地面座標系Ｘ_wＺ_wを含む世界座標系Ｘ_wＹ_wＺ_wとの関係を示している。カメラ座標系ＸＹＺは、Ｘ軸、Ｙ軸及びＺ軸を座標軸とする三次元の座標系である。座標系Ｘ_buＹ_buは、Ｘ_bu軸及びＹ_bu軸を座標軸とする二次元の座標系である。２次元地面座標系Ｘ_wＺ_wは、Ｘ_w軸及びＺ_w軸を座標軸とする二次元の座標系である。世界座標系Ｘ_wＹ_wＺ_wは、Ｘ_w軸、Ｙ_w軸及びＺ_w軸を座標軸とする三次元の座標系である。

カメラ座標系ＸＹＺでは、カメラ１の光学中心を原点Ｏとして、光軸方向にＺ軸が、Ｚ軸に直交しかつ地面に平行な方向にＸ軸が、Ｚ軸およびＸ軸に直交する方向にＹ軸がとられている。撮像面Ｓの座標系Ｘ_buＹ_buでは、撮像面Ｓの中心に原点をとり、撮像面Ｓの横方向にＸ_bu軸が、撮像面Ｓの縦方向にＹ_bu軸がとられている。

世界座標系Ｘ_wＹ_wＺ_wでは、カメラ座標系ＸＹＺの原点Ｏを通る鉛直線と地面との交点を原点Ｏ_wとし、地面と垂直な方向にＹ_w軸が、カメラ座標系ＸＹＺのＸ軸と平行な方向にＸ_w軸が、Ｘ_w軸およびＹ_w軸に直交する方向にＺ_w軸がとられている。

Ｘ_w軸とＸ軸との間の平行移動量はｈであり、その平行移動の方向は鉛直線方向である。そして、Ｚ_w軸とＺ軸との成す鈍角の角度は、傾き角度θと一致する。

カメラ座標系ＸＹＺにおける座標を（ｘ，ｙ，ｚ）と表記する。ｘ、ｙ及びｚは、夫々、カメラ座標系ＸＹＺにおける、Ｘ軸成分、Ｙ軸成分及びＺ軸成分である。
世界座標系系Ｘ_wＹ_wＺ_wにおける座標を（ｘ_w，ｙ_w，ｚ_w）と表記する。ｘ_w、ｙ_w及びｚ_wは、夫々、世界座標系系Ｘ_wＹ_wＺ_wにおける、Ｘ_w軸成分、Ｙ_w軸成分及びＺ_w軸成分である。
二次元地面座標系Ｘ_wＺ_wにおける座標を（ｘ_w，ｚ_w）と表記する。ｘ_w及びｚ_wは、夫々、二次元地面座標系Ｘ_wＺ_wにおける、Ｘ_W軸成分及びＺ_W軸成分であり、それらは世界座標系系Ｘ_wＹ_wＺ_wにおけるＸ_W軸成分及びＺ_W軸成分と一致する。
撮像面Ｓの座標系Ｘ_buＹ_buにおける座標を（ｘ_bu，ｙ_bu）と表記する。ｘ_bu及びｙ_buは、夫々、撮像面Ｓの座標系Ｘ_buＹ_buにおける、Ｘ_bu軸成分及びＹ_bu軸成分である。

カメラ座標系ＸＹＺの座標（ｘ，ｙ，ｚ）と世界座標系Ｘ_wＹ_wＺ_wの座標（ｘ_w，ｙ_w，ｚ_w）との間の変換式は、次式（１）で表される。

ここで、カメラ１の焦点距離をｆとする。そうすると、撮像面Ｓの座標系Ｘ_buＹ_buの座標（ｘ_bu，ｙ_bu）と、カメラ座標系ＸＹＺの座標（ｘ，ｙ，ｚ）との間の変換式は、次式（２）で表される。

上記式（１）及び（２）から、撮像面Ｓの座標系Ｘ_buＹ_buの座標（ｘ_bu，ｙ_bu）と二次元地面座標系Ｘ_wＺ_wの座標（ｘ_w，ｚ_w）との間の変換式（３）が得られる。

また、図２には示されていないが、鳥瞰図画像についての座標系である鳥瞰図座標系Ｘ_auＹ_auを定義する。鳥瞰図座標系Ｘ_auＹ_auは、Ｘ_au軸及びＹ_au軸を座標軸とする二次元の座標系である。鳥瞰図座標系Ｘ_auＹ_auにおける座標を（ｘ_au，ｙ_au）と表記する。鳥瞰図画像は、二次元配列された複数の画素の画素信号によって表され、鳥瞰図画像上における各画素の位置は座標（ｘ_au，ｙ_au）によって表される。ｘ_au及びｙ_auは、それぞれ鳥瞰図座標系Ｘ_auＹ_auにおけるＸ_au軸成分及びＹ_au軸成分である。

鳥瞰図画像は、実際のカメラの撮像画像を仮想カメラの視点（以下、仮想視点という）から見た画像に変換したものである。より具体的には、鳥瞰図画像は、実際のカメラの撮像画像を、地上面を鉛直方向に見下ろした画像に変換したものである。撮像画像から鳥瞰図画像を生成する際の視点の変換は、一般に、視点変換と呼ばれる。

二次元地面座標系Ｘ_wＺ_wから仮想カメラの鳥瞰図座標系Ｘ_auＹ_auへの投影は、平行投影によって行われる。仮想カメラの高さ（即ち、仮想視点の高さ）をＨとすると、二次元地面座標系Ｘ_wＺ_wの座標（ｘ_w，ｚ_w）と鳥瞰図座標系Ｘ_auＹ_auの座標（ｘ_au，ｙ_au）との間の変換式は、次式（４）で表される。仮想カメラの高さＨは予め設定されている。更に、式（４）を変形することにより、下式（５）が得られる。

得られた式（５）を上記式（３）に代入すると、次式（６）が得られる。

上記式（６）から、撮像面Ｓの座標系Ｘ_buＹ_buの座標（ｘ_bu，ｙ_bu）を、鳥瞰図座標系Ｘ_auＹ_auの座標（ｘ_au，ｙ_au）に変換するための次式（７）が得られる。

撮像面Ｓの座標系Ｘ_buＹ_buの座標（ｘ_bu，ｙ_bu）は、カメラ１の撮像画像における座標を表すため、上記式（７）を用いることによってカメラ１の撮像画像は鳥瞰図画像に変換される。実際には、カメラ１の撮像画像に対して、適宜、レンズ歪み補正などの画像処理を施し、その画像処理後の撮像画像を上記式（７）を用いて鳥瞰図画像に変換する。

［全周鳥瞰図画像の生成方法の基本的な考え方］
本実施形態において、車両１００へのカメラの設置状況を表す平面図は上述の図１６と同じであるので、重複する図示を割愛する。図３及び図４は、車両１００を左斜め前方から見た図である。

図１６に示す如く、車両１００の前部、後部、左側部及び右側部に、夫々、カメラ（撮像装置）１Ｆ、１Ｂ、１Ｌ及び１Ｒが取り付けられている。以下の説明において、カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒを、夫々、前カメラ１Ｆ、後カメラ１Ｂ、左横カメラ１Ｌ及び右横カメラ１Ｒと呼ぶこともある。

また、図３及び図４に示す如く、カメラ１Ｆは、例えば車両１００のフロントミラー上部に設置され、カメラ１Ｌは、例えば車両１００の左側面の最上部に設置される。図３及び図４には示されていないが、カメラ１Ｂは、例えば車両１００の後部の最上部に設置され、カメラ１Ｒは、例えば車両１００の右側面の最上部に設置される。

カメラ１Ｆの光軸が車両１００の前方斜め下向きになるように、且つ、カメラ１Ｂの光軸が車両１００の後方斜め下向きになるように、且つ、カメラ１Ｌの光軸が車両１００の左方斜め下向きになるように、且つ、カメラ１Ｒの光軸が車両１００の右方斜め下向きになるように、カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒは車両１００に設置される。

カメラ１Ｌ及び１Ｒの高さは、カメラ１Ｆの高さよりも高いものとする。また、車両１００は、地面上に位置するものとする。

図３及び図４には、各カメラの視野、即ち、各カメラの撮像領域が示されている。各カメラは、自身の視野内の被写体を撮像した撮像画像を生成する。カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒの視野を、夫々、１２Ｆ、１２Ｂ、１２Ｌ及び１２Ｒにて表す。尚、視野１２Ｒ及び１２Ｂに関しては、図３及び図４において一部しか示されていない。

カメラ１Ｆの視野１２Ｆには、カメラ１Ｆの設置位置を基準とした、車両１００の前方の所定範囲内に位置する立体物及び車両１００の前方の地面が含まれる。
カメラ１Ｂの視野１２Ｂには、カメラ１Ｂの設置位置を基準とした、車両１００の後方の所定範囲内に位置する立体物及び車両１００の後方の地面が含まれる。
カメラ１Ｌの視野１２Ｌには、カメラ１Ｌの設置位置を基準とした、車両１００の左方の所定範囲内に位置する立体物及び車両１００の左方の地面が含まれる。
カメラ１Ｒの視野１２Ｒには、カメラ１Ｌの設置位置を基準とした、車両１００の右方の所定範囲内に位置する立体物及び車両１００の右方の地面が含まれる。

このように、各カメラの視点は異なり、各カメラの視野（画角）内に収まる被写体は異なる。また、立体物とは、人物などの高さのある物体である。地面を形成する路面などは、高さがないため立体物ではない。

カメラ１Ｆと１Ｌは、車両１００の左斜め前方の所定領域を共通して撮像する。つまり、車両１００の左斜め前方の所定領域にて視野１２Ｆ及び１２Ｌは重なり合う。この重なり合う部分を、共通視野（共通撮像空間）と呼ぶこととする。

同様に、車両１００の右斜め前方の所定領域にて視野１２Ｆと１２Ｒは重なり合ってそれらの共通視野が形成され、車両１００の左斜め後方の所定領域にて視野１２Ｂと１２Ｌは重なり合ってそれらの共通視野が形成され、車両１００の右斜め後方の所定領域にて視野１２Ｂと１２Ｒは重なり合ってそれらの共通視野が形成される。

視野１２Ｆと１２Ｌとの間の共通視野を特に共通視野１３と呼び、この共通視野１３に着目して以下の説明を行うものとする。共通視野１３以外の共通視野に関しても同様の処理が行われる。

図４には、共通視野１３が太線を用いて示されている。共通視野１３は、車両１００の左斜め前方の地面を底面とする円錐に類似した空間となっている。図４に示す如く、この共通視野１３内に立体物１４が存在するものとする。

本実施形態では、図５に示す如く、カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒから得られる撮像画像から、夫々、上記式（７）を用いて鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ及び１０Ｒを生成する。次に、カメラ１Ｂに対応する鳥瞰図画像１０Ｂを基準として、他の３つの鳥瞰図画像１０Ｆ、１０Ｌ及び１０Ｒを回転及び／又は平行移動することにより、それら（１０Ｆ、１０Ｌ及び１０Ｒ）を鳥瞰図画像１０Ｂにおける座標に変換する。これにより、各鳥瞰図画像の座標が、全周鳥瞰図画像における座標に変換される。以下、全周鳥瞰図画像における座標を、「全周鳥瞰図座標」とよぶ。

図６に、全周鳥瞰図座標上に表された鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ及び１０Ｒを示す。全周鳥瞰図座標で考えた場合、図６に示す如く、２つの鳥瞰図画像が重なり合う部分が存在する。

図６において、Ｃ_FLの符号が付された斜線領域が、全周鳥瞰図座標上において鳥瞰図画像１０Ｆと１０Ｌが重なり合う部分であり、これを共通領域Ｃ_FLと呼ぶ。鳥瞰図画像１０Ｆにおいて、共通領域Ｃ_FLにはカメラ１Ｆから見た共通視野１３（図４参照）内の被写体の画像が現れ、鳥瞰図画像１０Ｌおいて、共通領域Ｃ_FLにはカメラ１Ｌから見た共通視野１３内の被写体の画像が現れる。尚、共通領域は、複数の鳥瞰図画像が重複する重複領域と呼ぶこともできる。

共通領域Ｃ_FL以外に、鳥瞰図画像１０Ｆと１０Ｒが重なり合う共通領域Ｃ_FRと、鳥瞰図画像１０Ｂと１０Ｌが重なり合う共通領域Ｃ_BLと、鳥瞰図画像１０Ｂと１０Ｒが重なり合う共通領域Ｃ_BRとがあるが、特に、共通視野１３に対応する共通領域Ｃ_FLに着目して本実施形態の説明を行うこととする。

尚、図５及び図６において、ＸＦ軸及びＹＦ軸は、鳥瞰図画像１０Ｆの座標系の座標軸であり、それらは、Ｘ_au軸及びＹ_au軸に対応する。同様に、ＸＲ軸及びＹＲ軸は、鳥瞰図画像１０Ｒの座標系の座標軸であり、それらは、Ｘ_au軸及びＹ_au軸に対応する。同様に、ＸＬ軸及びＹＬ軸は、鳥瞰図画像１０Ｌの座標系の座標軸であり、それらは、Ｘ_au軸及びＹ_au軸に対応する。同様に、ＸＢ軸及びＹＢ軸は、鳥瞰図画像１０Ｂの座標系の座標軸であり、それらは、Ｘ_au軸及びＹ_au軸に対応する。

また、図６では、図示の簡略化上、共通領域Ｃ_FLを矩形としているが、実際には共通領域Ｃ_FLは矩形とはならない。また、各鳥瞰図画像も矩形になるとは限らない。図７に、各鳥瞰図画像が現れる領域及び共通領域Ｃ_FLを、より具体的に示す。図７（ａ）及び（ｂ）は、夫々、全周鳥瞰図座標における鳥瞰図画像１０Ｌ及び１０Ｆを表し、図７（ｃ）では、それらの共通領域Ｃ_FLが斜線領域にて示されている。但し、図７（ａ）及び（ｃ）において、車両の後部よりの画像の図示を省略している。この共通領域Ｃ_FLにおいて、２つの鳥瞰図画像を如何に合成するかが本実施形態の特徴である。

［全周鳥瞰図画像の具体的な生成方法］
図８に、本実施形態に係る視界支援装置（車両周辺視界支援装置）の全体構成図を示す。本実施形態に係る視界支援装置は、上述の如く車両１００に取り付けられるカメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒと、それらの各カメラにて得られる撮像画像から全周鳥瞰図画像を生成する画像処理部２と、画像処理部２によって生成された全周鳥瞰図画像を表示する表示部３と、を備える。全周鳥瞰図画像は、基本的には、図１８に示すものと同様である。但し、本実施形態では、上述の共通領域における合成手法に特徴がある。

カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒとして、例えばＣＣＤ（Charge Coupled Devices）を用いたカメラや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いたカメラが用いられる。画像処理部２は、例えば集積回路から形成される。表示部３は、液晶ディスプレイパネル等から形成される。カーナビゲーションシステムなどに含まれる表示装置を、視界支援装置における表示部３として流用しても良い。

図９に、図８の視界支援装置の処理手順を表すフローチャートを示す。図９に示すステップＳ２〜Ｓ６の処理は画像処理部２によって実施され、ステップＳ１の処理は各カメラと画像処理部２によって実施され、ステップＳ７の処理は画像処理部２と表示部３によって実施される。

まず、画像処理部２は、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒの撮像画像を読み込む（ステップＳ１）。次に、各撮像画像を、変換テーブルデータなどを用いて鳥瞰図画像に変換する（ステップＳ２）。これによって、上述の鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ及び１０Ｒが生成される。変換テーブルデータは、上記式（７）に従って予め設定される。尚、この際、各撮像画像にレンズ歪み補正などの必要な画像処理を施してから、鳥瞰図画像に変換するようにしてもよい。

続いて、ステップＳ３において、２つの鳥瞰図画像間の共通領域での差分画像を生成し、該差分画像を基に、２つの鳥瞰図画像間の共通領域における差分領域を検出する。図６を参照して説明したように共通領域は４つ存在するが、共通領域Ｃ_FLに特に着目して説明を行うものとする。他の共通領域についても同様の処理が施される。

共通領域Ｃ_FLに関する差分画像及び差分領域について説明する。上述したように、共通領域Ｃ_FLに対応する共通視野１３に、立体物１４が存在するものとする（図４参照）。

図１０を参照する。図１０において、符号１１１は、左横カメラ１Ｌに対応する鳥瞰図画像１０Ｌ内の共通領域Ｃ_FLの画像を表し、符号１１２は、前カメラ１Ｆに対応する鳥瞰図画像１０Ｆ内の共通領域Ｃ_FLの画像を表す。画像１１１内の斜線が付された領域１２１は、画像１１１における立体物１４の描画領域であり、画像１１２内の斜線が付された領域１２２は、画像１１２における立体物１４の描画領域である。今、説明の簡略化上、画像１１１において、領域１２１以外は一様な地面（路面など）が描画されているものとし、画像１１２において、領域１２２以外は一様な地面（路面など）が描画されているものとする。

ステップＳ３において、画像処理部２は、画像１１１と画像１１２の差分をとることにより、差分画像１１３を生成する。例えば、画像１１１及び１１２を濃淡画像として捉え、画像１１１と画像１１２の差分画像１１３を濃淡画像として生成する。差分画像１１３の各画素の画素値（画素信号の値）は、画像１１１の各画素の画素値と画像１１２の各画素の画素値の差（或いは差の絶対値）にて表される。そして、差分画像１１３から差分領域１２３を特定する。図１０において、差分領域１２３は、差分画像１１３内の、斜線が付された領域である。例えば、差分画像１１３において、差分画像１１３を形成する画素の画素信号の値が所定の閾値以上となっている領域を差分領域１２３とする。画素信号とは、画素の輝度を表す輝度信号、または、画素の色を表す色信号（色差信号など）である。

差分領域１２３は、領域１２１と領域１２２を合わせた領域となる。鳥瞰図画像への変換の際、各鳥瞰図画像が地表面において連続性を有するように所定の変換が行われるため、差分画像１１３では、立体物の存在に関与する領域にのみ或る程度の大きさを有する差分値が得られる。このため、上述の処理によって差分領域１２３を検出することが可能である。また、差分画像１１３において、エッジ検出を行って差分領域１２３を囲む輪郭を検出し、検出された輪郭の内側を差分領域１２３として特定するようにしても良い。また、画像１１１の画像１１２の夫々において個別にエッジ検出を行って、画像１１１と画像１１２の間におけるエッジ検出結果（エッジの有無）の相違を抽出し、相違のある画像部分から差分領域１２３を検出するようにしてもよい。

ステップＳ３に続くステップＳ４の処理について説明する。共通領域Ｃ_FLを例にとり、ステップＳ４の処理について説明する。他の共通領域についても同様の処理が施される。

ステップＳ４では、カメラごとに設定された重み値テーブルデータが参照される。共通領域Ｃ_FLに関しては、前カメラ１Ｆに対応する重み値テーブルデータと、左横カメラ１Ｌに対応する重み値テーブルデータが、予め設定されている。

各重み値テーブルデータには、共通領域Ｃ_FLの画像の各画素位置に対応する重み値が定義されている。例えば、共通領域Ｃ_FLを、図１１に示す如く、３つの領域ＡＲ１、ＡＲ２及びＡＲ３に分割する。そして、領域ＡＲ１に属する画素の重み値と、領域ＡＲ２に属する画素の重み値と、領域ＡＲ３に属する画素の重み値と、が各重み値テーブルデータに格納される。

共通領域Ｃ_FLの画像の画素位置との関係で定まる重み値は、異なる重み値テーブルデータ間で異なるように設定されている。図１２に、前カメラ１Ｆに対応する重み値及び左横カメラ１Ｌに対応する重み値の設定例を示す。例えば、前カメラ１Ｆに対応する重み値テーブルデータにおいて、領域ＡＲ１に属する画素の重み値Ｗ_F1は１とされ、領域ＡＲ２に属する画素の重み値Ｗ_F2は２とされ、領域ＡＲ３に属する画素の重み値Ｗ_F3は３とされる。一方、左横カメラ１Ｌに対応する重み値テーブルデータにおいて、領域ＡＲ１に属する画素の重み値Ｗ_L1は２とされ、領域ＡＲ２に属する画素の重み値Ｗ_L2は３とされ、領域ＡＲ３に属する画素の重み値Ｗ_L3は２とされる。

ステップＳ４では、カメラごと（換言すれば、鳥瞰図画像ごと）に、差分領域１２３に属する画素に対応する重み値を合算し、その合算値を重み評価値とする。説明の便宜上、図１３に示す如く、差分領域１２３を、領域１２１（図１０参照）に対応する一部差分領域１２３ａと領域１２２に対応する一部差分領域１２３ｂとに分解して考える。

図１４に、各領域ＡＲ１〜ＡＲ３に属する、一部差分領域１２３ａ内の画素数及び一部差分領域１２３ｂ内の画素数を示す。今、領域ＡＲ１、ＡＲ２及びＡＲ３に属する、一部差分領域１２３ａ内の画素数が、夫々１５、１８及び２であるとし、領域ＡＲ１、ＡＲ２及びＡＲ３に属する、一部差分領域１２３ｂ内の画素数が、夫々１２、５及び０であるとする。

この場合、前カメラ１Ｆに関する重み評価値は、
「Ｗ_F1×（１５＋１２）＋Ｗ_F2×（１８＋５）＋Ｗ_F3×（２＋０）」にて表され、
上述の如く“Ｗ_F1＝１、Ｗ_F2＝２、Ｗ_F3＝３”とした場合、「１×（１５＋１２）＋２×（１８＋５）＋３×（２＋０）＝７９」となる。
一方、左横カメラ１Ｌに関する重み評価値は、
「Ｗ_L1×（１５＋１２）＋Ｗ_L2×（１８＋５）＋Ｗ_L3×（２＋０）」にて表され、
上述の如く“Ｗ_L1＝２、Ｗ_L2＝３、Ｗ_L3＝２”とした場合、「２×（１５＋１２）＋３×（１８＋５）＋２×（２＋０）＝１２７」となる。

ステップＳ４に続くステップＳ５では、ステップＳ４にて算出された重み評価値に基づいて、共通領域の画像として採用されるべき画像を含む鳥瞰図画像を提供する優先カメラを選択する。上述のように、共通領域Ｃ_FLに関し、前カメラ１Ｆに関する重み評価値が７９且つ左横カメラ１Ｌに関する重み評価値が１２７である場合、大きい方の重み評価値に対応する左横カメラ１Ｌが優先カメラとして選択される。換言すれば、左横カメラ１Ｌに対応する鳥瞰図画像１０Ｌが採用鳥瞰図画像（採用画像）として選択される。他の共通領域に対しても同様に優先カメラが選択される。

そして、ステップＳ６において、画像処理部２は、優先カメラの選択結果に基づき、全周鳥瞰図画像を生成する。つまり、全周鳥瞰図画像内の共通領域の画像として優先カメラの撮像画像に基づく鳥瞰図画像内の共通領域の画像を採用した上で、全周鳥瞰図画像を生成する。例えば、共通領域Ｃ_FLに関し、左横カメラ１Ｌが優先カメラとして選択された場合は、鳥瞰図画像１０Ｌ内の共通領域Ｃ_FLの画像を、全周鳥瞰図画像内の共通領域Ｃ_FLの画像とする。他の共通領域についても同様である。

図１５に、得られた全周鳥瞰図画像の例を示す。この全周鳥瞰図画像には、立体物の全体像が現れている。全周鳥瞰図画像内の共通領域以外の画像に関しては、図６に示すように鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ及び１０Ｒが配置される。即ち、全周鳥瞰図画像上において、車両の描画領域の前方、後方、左方及び右方に、夫々、鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ及び１０Ｒに基づく画像が描画される。

ステップＳ６に続くステップＳ７において、画像処理部２は、ステップＳ６で生成した全周鳥瞰図画像が表示部３に表示されるように必要な映像信号を生成して表示部３に出力する。これにより、図１５に示されるような全周鳥瞰図画像が表示部３に表示される。ステップＳ７を終えるとステップＳ１に戻り、全周鳥瞰図画像を周期的に最新の画像に更新するべくステップＳ１〜Ｓ７の処理が繰り返される。

上述の重み値は、車両１００に対する各カメラの設置位置に応じて設定される。この際、車両１００の形状なども考慮される。本実施形態では、図３に示す如く、車両１００が運転室と運転室より高さのある荷室とから形成されるトラックであり、前カメラ１Ｆが運転室の上部に設置され且つ左横カメラ１Ｌがより高い位置となる荷室の上部に設置される場合を想定している。

前カメラ１Ｆは、自身に近い位置の立体物を的確に捉えることができる一方で設置位置が低いことに起因して自身から離れた位置の立体物の全体像を捉えにくい。他方、左横カメラ１Ｌは、立体物をより高い位置から見ることにより立体物の全体像を捉えやすいものの、立体物が前カメラ１Ｆに近い位置にある場合は、その立体物の全体像を捉え難くなる。

これらを考慮し、前カメラ１Ｆに比較的近い位置に立体物が存在する場合に前カメラ１Ｆが優先カメラとして選択されやすいように、図１２に示す如く、前カメラ１Ｆに近い領域において、前カメラ１Ｆ用の重み値を比較的大きく設定する。一方、前カメラ１Ｆから離れた位置に立体物が存在する場合に左横カメラ１Ｌが優先カメラとして選択されやすいように、前カメラ１Ｆから離れた領域において、左横カメラ１Ｌ用の重み値を比較的大きく設定する。

このように、重み値を各カメラの設置位置などに応じて設定することにより、図１５に示すように立体物の全体像が表示されやすくなる。つまり、運転者が車両周辺の状況を把握しやすい画像が取得できると予想されるカメラが自動的に選択されて、全周鳥瞰図画像内の共通領域の画像が形成されるため、従来よりも状況把握に適した映像を表示することが可能となる。

共通領域内における差分領域の位置及び形状が異なれば、選択される優先カメラは異なりうる。また、差分領域の形状が同じであっても、共通領域内における差分領域の位置が異なれば、選択される優先カメラは異なりうる。つまり、本実施形態では、共通領域内における差分領域の位置に応じて（換言すれば、車両１００との関係における立体物の位置に応じて）、優先カメラを選択する。この選択手法を採用することの利点は上述の説明から理解される。即ち、例えば、共通領域Ｃ_FLに関し、前カメラ１Ｆに比較的近い位置に立体物が存在する場合は前カメラ１Ｆが優先カメラとして選択されやすくなり、カメラ１Ｆから比較的離れた位置に立体物が存在する場合は立体物をより高い位置から見る横カメラ１Ｌが優先カメラとして選択されやすくなる。この結果、従来よりも状況把握に適した映像を表示することが可能となる。

また、ステップＳ５において、車両１００の運転状態に応じて上述の各重み評価値を補正し、補正された各重み評価値に基づいて優先カメラ（優先鳥瞰図画像）を選択するようにしてもよい。

運転状態とは、車両１００のギアの状態、ハンドルの操作方向（車両１００の進行方向）、速度などを含む。運転状態に関する情報は、該情報を検出するための部位（該部位は、例えば車両１００に備えられる）から画像処理部２に与えられる。

この補正前の前カメラ１Ｆ及び左横カメラ１Ｌの重み評価値を、上述の例の如く、夫々、７９及び１２７とした場合を考える。例えば、車両１００が左折している際には、前カメラ１Ｆに関する重み評価値に係数１を乗じ、左横カメラ１Ｌに関する重み評価値に係数２を乗じる。この場合、補正後の前カメラ１Ｆ及び左横カメラ１Ｌの重み評価値は、夫々、７９（＝７９×１）及び２５４（＝１２７×２）となり、７９＜２５４であるため、左横カメラ１Ｌが優先カメラとして選択される。また例えば、車両１００が前進している際には、前カメラ１Ｆに関する重み評価値に係数２を乗じ、左横カメラ１Ｌに関する重み評価値に係数１を乗じる。この場合、補正後の前カメラ１Ｆ及び左横カメラ１Ｌの重み評価値は、夫々、１５８（＝７９×２）及び１２７（＝１２７×１）となり、１５８＞１２７であるため、前カメラ１Ｆが優先カメラとして選択される。

車両１００が左折している際には、車両１００の左側の映像の必要性は比較的大きい一方で車両１００の前方の映像の必要性は比較的小さい。車両１００が前進している際には、車両１００の左側の映像の必要性は比較的小さい一方で車両１００の前方の映像の必要性は比較的大きい。これを考慮し、上述のように係数を設定して各重み評価値を補正する。これにより、運転状態をも考慮した適切な映像を表示することが可能となる。

尚、左折と前進に関して例示したが、右折や後退などの運転状態に応じても同様の考え方で重み評価値は補正される。また、車両１００のギアの状態や速度などに応じて、補正の程度などを変化させてもよい。

上述の視界支援装置は、本発明の実施形態の例に過ぎず、本発明は、様々な変形例（又は実施例）を含む。以下に、本発明に関する変形例（又は実施例）として、変形例１〜変形例５を例示する。各変形例に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［変形例１］
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の重み値は、各カメラの設置位置や各カメラが設置される車両の形状などに応じて適宜変更される。

［変形例２］
共通領域Ｃ_FLを３つの領域ＡＲ１〜ＡＲ３に分割する例を示したが、分割する領域の数は３以外であっても良い。また、カメラ１Ｆと１Ｌ（鳥瞰図画像１０Ｆと１０Ｌ）との間で、共通領域Ｃ_FLの領域の分割の仕方が同じである場合を例示したが、異なるカメラ間で該分割の仕方が異なっていても構わない。

また、このような領域の分割は必須ではない。つまり、共通領域Ｃ_FLの画像の各画素の画素位置に対応して重み値が定まればよいのであり、極端には、異なる任意の２つの画素位置に対応する重み値が全て異なっていても良い。

また、図１２に示す重み値の設定例では、同一の画素位置に対応する重み値は、カメラ１Ｆと１Ｌ（鳥瞰図画像１０Ｆと１０Ｌ）との間で全て異なっているが、一部のみが異なるようにしても構わない。

［変形例３］
また、図８の画像処理部２は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。画像処理部２にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。

［変形例４］
画像処理部２は、各カメラの撮像画像の夫々を、視点変換によって鳥瞰図画像に変換する視点変換手段と、その変換によって得られた各鳥瞰図画像を合成することにより合成鳥瞰図画像を生成する画像合成手段と、を備えている。合成鳥瞰図画像として、上述の実施形態では全周鳥瞰図画像を例示している。

［変形例５］
上述の実施形態では、車両１００としてトラックを例示しているが、本発明は、車両の種類を問わず、普通乗用車などに対しても適用可能である。

更に、複数のカメラ（例えば、上述のカメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒ）を車両以外に設置することも可能である。つまり、本発明は、建物などに設置される監視システムに対しても、適用可能である。この種の監視システムにおいても、上述の実施形態と同様、複数のカメラ間に共通視野が存在して、異なる鳥瞰図画像間で共通領域（Ｃ_FLなど）が存在するものとする。各鳥瞰図画像を合成して合成鳥瞰図画像を形成するに際、上述の実施形態と同様の手法にて優先カメラを選択するようにするとよい。共通領域を形成する複数のカメラの高さが異なる場合において、本発明は特に有効に機能する。

１台のカメラが設置された車両を横から見た平面図であり、１台のカメラによって撮像された撮像画像から鳥瞰図画像を生成する方法を説明するための図である。カメラ座標系ＸＹＺと、カメラの撮像面の座標系Ｘ_buＹ_buと、２次元地面座標系Ｘ_wＺ_wを含む世界座標系Ｘ_wＹ_wＺ_wと、の関係を表す図である。本発明の実施形態に係る、車両を左斜め前方から見た図である。本発明の実施形態に係る、車両を左斜め前方から見た図である。本発明の実施形態に係る、各鳥瞰図画像を表す図である。図５に示す各鳥瞰図画像を全周鳥瞰図画像の座標上に変換した図である。図３に示す前カメラと横カメラの撮像画像から生成される各鳥瞰図画像と、それらの共通領域を明示する図である本発明の実施形態に係る、視界支援装置の全体構成図である。図８の視界支援装置の処理手順を表すフローチャート図である。図７の共通領域における差分画像及び差分領域を表す図である。図９のステップＳ４の処理を説明するための図であり、図７の共通領域を３つの領域に分割した状態を表す図である。図９のステップＳ４の処理を説明するための図であり、図７の共通領域に関する、前カメラ用の重み値と左横カメラの用の重み値を示す図である。図９のステップＳ４の処理を説明するための図である。図９のステップＳ４の処理を説明するための図であり、図１１の各領域に属する画素数を例示する図である。図８の画像処理部によって生成される全周鳥瞰図画像の例を示す図である。複数のカメラを車両に設置した状況を表す平面図である。図１６の車両を左斜め前方から見た図である。図１６の各カメラより得た撮像画像から生成される全周鳥瞰図画像を示す図である。図１６の車両を左斜め前方から見た図である。図１８の全周鳥瞰図画像を生成する際の従来手法を説明するための図である。図１８の全周鳥瞰図画像を生成する際の従来手法を説明するための図である。従来手法を用いた場合の表示画像の例を表す図である。従来手法を用いた場合の表示画像の他の例を表す図である。

符号の説明

１、１Ｆ、１Ｂ、１Ｌ、１Ｒカメラ
２画像処理部
３表示部
１０Ｆ、１０Ｂ、１０Ｌ、１０Ｒ鳥瞰図画像
１２Ｆ、１２Ｂ、１２Ｌ、１２Ｒ視野
１３共通視野
１４立体物
Ｃ_FL 共通領域
１００車両
１１３差分画像
１２３差分領域

Claims

ｎ台の撮像装置（ｎは２以上の整数）によって撮像された画像の夫々を仮想視点から見た鳥瞰図画像に変換する視点変換手段と、
得られた各鳥瞰図画像を合成して合成鳥瞰図画像を生成する画像合成手段と、を備え、
前記合成鳥瞰図画像を表示装置に表示させるための映像信号を生成する画像処理装置において、
前記画像合成手段は、合成の際に複数の鳥瞰図画像が重なり合う共通領域の画像を前記複数の鳥瞰図画像間で比較することにより、前記共通領域内における、前記複数の鳥瞰図画像間の差分領域を特定し、
前記複数の鳥瞰図画像の夫々に対して、前記共通領域の画像の各画素位置に対応する重み値が設定され、
前記複数の鳥瞰図画像間で、設定される前記重み値の一部又は全部は異なり、
前記画像合成手段は、前記複数の鳥瞰図画像の夫々に関して、前記差分領域に含まれる画素に対応する前記重み値を合算して合算値を算出し、
各合算値に基づいて前記複数の鳥瞰図画像から１つの鳥瞰図画像を採用画像として選択し、
前記合成鳥瞰図画像内の前記共通領域の画像として、前記採用画像内の前記共通領域の画像を採用することを特徴とする画像処理装置。
前記画像合成手段は、前記複数の鳥瞰図画像間で前記合算値を比較することにより、前記採用画像を選択することを特徴とする請求項１に記載の画像処理装置。
前記ｎ台の撮像装置は、車両に設置され且つ車両周辺を撮像し、
前記画像合成手段は、各合算値に加えて前記車両の運転状態にも基づいて、前記採用画像を選択することを特徴とする請求項１に記載の画像処理装置。
前記重み値は、前記複数の鳥瞰図画像に対応する複数の撮像装置の設置位置に基づいて設定されることを特徴とする請求項１〜３の何れかに記載の画像処理装置。
請求項１〜４の何れかに記載の画像処理装置と、
前記ｎ台の撮像装置、及び、前記表示装置、の内の少なくとも一方と、
を備えたことを特徴とする視界支援装置。