JP5760999B2

JP5760999B2 - 画像処理装置及び画像処理方法

Info

Publication number: JP5760999B2
Application number: JP2011264990A
Authority: JP
Inventors: 悠日栄; 竜路岡村; 有華祖父江; 愛吉岡
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2011-12-02
Filing date: 2011-12-02
Publication date: 2015-08-12
Anticipated expiration: 2031-12-02
Also published as: JP2013118508A

Description

本発明は、複数の撮像画像を合成する画像処理装置及び画像処理方法に関する。

車両周囲を複数の撮像装置により撮像し、それらの撮像画像を合成することにより広範囲の合成画像を得る装置が提案されている。例えば、特許文献１には、車両周囲を複数の撮像装置により撮像し、それらの撮像画像を繋ぎ合せて合成することにより俯瞰画像を得る装置が開示されている。この装置では、複数の撮像装置の互いに共通する視野領域に位置する障害物について、障害物の動きを予測する。この装置は、予測結果に基づいて、俯瞰画像の繋ぎ目、境界線を変更し、障害物がより広範囲に俯瞰画像に表示されるようにする。

特開２０１１−７１９３２号公報

ところで、上記技術では、俯瞰画像の繋ぎ目、境界線上に存在する人及び車両等の障害物の周縁がずれて表示されるため、ドライバーが障害物を認識し難い。

本発明は、上記課題に鑑みてなされたものであり、合成画像の境界線上の物体の周縁のずれ量を少なくすることができる画像処理装置及び画像処理方法を提供することを目的とする。

本発明は、第１の撮像画像を撮影する第１の撮像手段と、第２の撮像画像を撮影する第２の撮像手段と、任意の仮想視点と一点透視図法における消失点とを結ぶ直線である仮想視線に垂直な平面である投影スクリーンを仮想視点からの距離を変えて複数設定する投影スクリーン設定手段と、投影スクリーン設定手段が設定した投影スクリーンそれぞれについて、仮想視線と平行であり所定の距離を隔てた第１の境界面と投影スクリーンとの交線を第１の撮像画像と第２の撮像画像との境界線である第１の境界線として、第１の撮像画像と第２の撮像画像とを投影スクリーンに投影することにより、第１の撮像画像と第２の撮像画像とを合成した第１の合成画像を複数形成する画像合成手段と、第１の合成画像それぞれについて、第１の境界線により分割される第１の物体の第１の境界線上における周縁のずれ量を評価する画像評価手段と、画像評価手段が評価した第１の合成画像それぞれの中でずれ量が最も少ない第１の合成画像を選択する画像選択手段とを備えた画像処理装置である。

この構成によれば、第１の撮像手段は第１の撮像画像を撮影し、第２の撮像手段は第２の撮像画像を撮影する。投影スクリーン設定手段は、任意の仮想視点と一点透視図法における消失点とを結ぶ直線である仮想視線に垂直な平面である投影スクリーンを仮想視点からの距離を変えて複数設定する。画像合成手段は、投影スクリーン設定手段が設定した投影スクリーンそれぞれについて、仮想視線と平行であり所定の距離を隔てた第１の境界面と投影スクリーンとの交線を第１の撮像画像と第２の撮像画像との境界線である第１の境界線として、第１の撮像画像と第２の撮像画像とを投影スクリーンに投影することにより、第１の撮像画像と第２の撮像画像とを合成した第１の合成画像を複数形成する。これにより第１の合成画像の候補を複数形成することができる。画像評価手段は、第１の合成画像それぞれについて、第１の合成画像中で第１の境界線により分割される第１の物体の第１の境界線上における周縁のずれ量を評価する。画像選択手段は、画像評価手段が評価した第１の合成画像それぞれの中でずれ量が最も少ない第１の合成画像を選択する。これにより、第１の合成画像の境界線上の物体の周縁のずれ量を少なくすることができる。

この場合、第１の撮像手段は、投影スクリーンに投影される第１の撮像画像が仮想視線と交わる第１の撮像画像を撮影し、第２の撮像手段は、投影スクリーンに投影される第２の撮像画像が仮想視線と交わらない第２の撮像画像を撮影し、画像評価手段は、第１の合成画像中で第１の境界線により分割される第１の物体がある第１の合成画像の内で、仮想視点から最も近い第１の物体が第１の境界線により分割される第１の合成画像それぞれのずれ量を評価し、画像選択手段は、画像評価手段が評価した、仮想視点から最も近い第１の物体が第１の境界線により分割される第１の合成画像それぞれの中でずれ量が最も少ない第１の合成画像を選択することが好適である。

この構成によれば、第１の撮像手段は、投影スクリーンに投影される第１の撮像画像が仮想視線と交わる第１の撮像画像を撮影し、第２の撮像手段は、投影スクリーンに投影される第２の撮像画像が仮想視線と交わらない第２の撮像画像を撮影する。このため、第１の撮像画像は第１の合成画像中で仮想視線側になり、消失点を含むものとなり、第２の撮像画像は消失点を含まず、第１の撮像画像よりも消失点に対して周辺の画像となる。画像評価手段は、第１の合成画像中で第１の境界線により分割される第１の物体がある合成画像の内で、仮想視点から最も近い第１の物体が第１の境界線により分割される第１の合成画像それぞれのずれ量を評価し、画像選択手段は、画像評価手段が評価した、仮想視点から最も近い第１の物体が第１の境界線により分割される第１の合成画像それぞれの中でずれ量が最も少ない第１の合成画像を選択する。このため、仮想視点から最も近い物体は第１の境界線上で周縁のずれ量が少なくされる。また、仮想視点から最も近い第１の物体よりも遠い第１の物体は、第１の画像中で消失点により近い側に写るため、仮想視点から最も近い第１の物体に比べてより大部分あるいは全部が第１の画像中に写ることになり、第１の合成画像中のずれの影響を小さくすることができる。

この場合、投影スクリーンに投影されたときに仮想視線と交わらない第３の撮像画像を撮影する第３の撮像手段をさらに備え、画像合成手段は、投影スクリーン設定手段が設定した投影スクリーンそれぞれについて、仮想視線と平行であり所定の距離を隔てた第２の境界面と投影スクリーンとの交線を第１の撮像画像と第３の撮像画像との境界線である第２の境界線として、第１の撮像画像と第３の撮像画像とを投影スクリーンに投影することにより、第１の撮像画像と第３の撮像画像とを合成した第２の合成画像を複数形成し、第１の合成画像それぞれと第２の合成画像それぞれとを合成して第３の合成画像を複数形成し、画像評価手段は、第３の合成画像中で、第１の境界線により分割される第１の物体があり、且つ第２の境界線により分割される第２の物体がある第３の合成画像の内で、仮想視点から最も近い第１の物体が第１の境界線により分割され、且つ仮想視点から最も近い第２の物体が第２の境界線により分割される第３の合成画像それぞれについて、第１の境界線により分割される第１の物体の第１の境界線上における周縁のずれ量と、第２の境界線により分割される第２の物体の第２の境界線上における周縁のずれ量とを評価し、画像選択手段は、第３の合成画像それぞれの中で、画像評価手段が評価した第１の物体及び第２の物体の周縁のずれ量が最も少ない第３の合成画像を選択することが好適である。

この構成によれば、第３の撮像手段は、投影スクリーンに投影されたときに仮想視線と交わらない第３の撮像画像を撮影する。このため、第２の撮像画像と同様に、第３の撮像画像は消失点を含まず、消失点を含む第１の撮像画像よりも周辺の画像となる。画像合成手段は、投影スクリーン設定手段が設定した投影スクリーンそれぞれについて、仮想視線と平行であり所定の距離を隔てた第２の境界面と投影スクリーンとの交線を第１の撮像画像と第３の撮像画像との境界線である第２の境界線として、第１の撮像画像と第３の撮像画像とを投影スクリーンに投影することにより、第１の撮像画像と第３の撮像画像とを合成した第２の合成画像を複数形成し、第１の合成画像それぞれと第２の合成画像それぞれとを合成して第３の合成画像を複数形成する。これにより第１の合成画像とは別個に第２の合成画像の候補を複数形成し、第１の合成画像と第２の合成画像とを合成して第３の合成画像を複数生成することができる。画像評価手段は、第３の合成画像中で第１の境界線により分割される第１の物体があり、且つ第２の境界線により分割される第２の物体がある第３の合成画像の内で、仮想視点から最も近い第１の物体が第１の境界線により分割され、且つ仮想視点から最も近い第２の物体が第２の境界線により分割される第３の合成画像それぞれについて、第１の境界線により分割される第１の物体の第１の境界線上における周縁のずれ量と、第２の境界線により分割される第２の物体の第２の境界線上における周縁のずれ量とを評価し、画像選択手段は、第３の合成画像それぞれの中で、画像評価手段が評価した第１の物体及び第２の物体の周縁のずれ量が最も少ない第３の合成画像を選択する。このため、仮想視点から最も近い第１の物体及び第２の物体は第１の境界線上及び第２の境界線上で周縁のずれ量が少なくされる。また、仮想視点から最も近い物体よりも遠い物体は、第１の画像中で消失点により近い側に写るため、仮想視点から最も近い物体に比べてより大部分あるいは全部が第１の画像中に写ることになり、第３の合成画像中のずれの影響を小さくすることができる。

また、本発明は、第１の撮像画像を撮影する第１の撮像工程と、第２の撮像画像を撮影する第２の撮像工程と、任意の仮想視点と一点透視図法における消失点とを結ぶ直線である仮想視線に垂直な平面である投影スクリーンを仮想視点からの距離を変えて複数設定する投影スクリーン設定工程と、投影スクリーン設定工程で設定した投影スクリーンそれぞれについて、仮想視線と平行であり所定の距離を隔てた第１の境界面と投影スクリーンとの交線を第１の撮像画像と第２の撮像画像との境界線である第１の境界線として、第１の撮像画像と第２の撮像画像とを投影スクリーンに投影することにより、第１の撮像画像と第２の撮像画像とを合成した第１の合成画像を複数形成する画像合成工程と、第１の合成画像それぞれについて、第１の境界線により分割される第１の物体の第１の境界線上における周縁のずれ量を評価する画像評価工程と、画像評価工程で評価した第１の合成画像それぞれの中でずれ量が最も少ない第１の合成画像を選択する画像選択工程とを含む画像処理方法である。

この場合、第１の撮像工程では、投影スクリーンに投影される第１の撮像画像が仮想視線と交わる第１の撮像画像を撮影し、第２の撮像工程では、投影スクリーンに投影される第２の撮像画像が仮想視線と交わらない第２の撮像画像を撮影し、画像評価工程では、第１の合成画像中で第１の境界線により分割される第１の物体がある第１の合成画像の内で、仮想視点から最も近い第１の物体が第１の境界線により分割される第１の合成画像それぞれのずれ量を評価し、画像選択工程では、画像評価工程で評価した、仮想視点から最も近い第１の物体が第１の境界線により分割される第１の合成画像それぞれの中でずれ量が最も少ない第１の合成画像を選択することが好適である。

この場合、投影スクリーンに投影されたときに仮想視線と交わらない第３の撮像画像を撮影する第３の撮像工程をさらに含み、画像合成工程では、投影スクリーン設定工程で設定した投影スクリーンそれぞれについて、仮想視線と平行であり所定の距離を隔てた第２の境界面と投影スクリーンとの交線を第１の撮像画像と第３の撮像画像との境界線である第２の境界線として、第１の撮像画像と第３の撮像画像とを投影スクリーンに投影することにより、第１の撮像画像と第３の撮像画像とを合成した第２の合成画像を複数形成し、第１の合成画像それぞれと第２の合成画像それぞれとを合成して第３の合成画像を複数形成し、画像評価工程では、第３の合成画像中で、第１の境界線により分割される第１の物体があり、且つ第２の境界線により分割される第２の物体がある第３の合成画像の内で、仮想視点から最も近い第１の物体が第１の境界線により分割され、且つ仮想視点から最も近い第２の物体が第２の境界線により分割される第３の合成画像それぞれについて、第１の境界線により分割される第１の物体の第１の境界線上における周縁のずれ量と、第２の境界線により分割される第２の物体の第２の境界線上における周縁のずれ量とを評価し、画像選択手段では、第３の合成画像それぞれの中で、画像評価工程で評価した第１の物体及び第２の物体の周縁のずれ量が最も少ない第３の合成画像を選択することが好適である。

本発明の画像処理装置及び画像処理方法によれば、合成画像の境界線上の物体の周縁のずれ量を少なくすることができる。

実施形態に係る周辺監視装置の構成を示すブロック図である。実施形態に係る周辺監視装置の動作を示すフローチャートである。各カメラの撮像範囲と後方カメラの撮像範囲における切り出し範囲を示す平面図である。後方カメラにより撮像された後方画像の切り出し範囲を示す図である。車両と投影スクリーンとの距離に対して設定される投影スクリーンの大きさと投影スクリーン上で物体の占める範囲とを示す平面図である。各障害物に対して設定された投影スクリーンを示す平面図である。合成される前の左後側方画像と後方画像とを示す図である。後方画像の大きさを投影スクリーンの距離に合せて補正する手法を示す図である。投影スクリーンの距離に合せて補正された後方画像と左後側方画像との合成画像の一例を示す図である。投影スクリーンの距離に合せて補正された後方画像と左後側方画像との合成画像の一例を示す図である。投影スクリーンの距離に合せて補正された後方画像と左後側方画像との合成画像の一例を示す図である。後方画像の切り出し範囲の左右の境界それぞれに物体が存在する場合において設定される投影スクリーンを示す平面図である。図１２の状況における合成される前の左後側方画像と後方画像と右後側方画像とを示す図である。図１２の状況における合成画像を示す図である。

以下、図面を参照して本発明の実施形態に係る画像処理装置及び画像処理方法について説明する。図１に示すように、本発明の実施形態の画像処理装置は周辺監視装置１０として実現されている。周辺監視装置１０は、車両後方を撮像する複数のカメラの撮像画像を合成した合成画像をバックミラー及びサイドミラーの替わりに車両のドライバーに対して提供する装置である。

周辺監視装置１０は、左後側方カメラ１２、後方カメラ１４、右後側方カメラ１６、ＥＣＵ２０及びディスプレイ３０を備える。左後側方カメラ１２、後方カメラ１４及び右後側方カメラ１６は、それぞれ自車両の左後側方、後方及び右後側方を所定のフレーム毎に撮像する。左後側方カメラ１２、後方カメラ１４及び右後側方カメラ１６の撮像画像は、ＥＣＵ２０により画像処理がなされる。

ＥＣＵ２０は、投影スクリーン設定部２２、画像合成部２４、画像評価部２６及び画像選択部２８を有する。投影スクリーン設定部２２は、任意の仮想視点と一点透視図法における消失点とを結ぶ直線である仮想視線に垂直な平面である投影スクリーンを仮想視点からの距離を変えて複数設定する。

画像合成部２４は、投影スクリーン設定部２２が設定した投影スクリーンそれぞれについて、仮想視線と平行であり所定の距離を隔てた境界面と投影スクリーンとの交線を左後側方カメラ１２の左後側方画像と後方カメラ１４の後方画像との境界線又は後方カメラ１４の後方画像と右後側方カメラ１６との境界線として、左後側方画像、後方画像及び右後側方画像を投影スクリーンに投影することにより、左後側方画像、後方画像及び右後側方画像の合成画像を複数形成する

画像評価部２６は、画像合成部２４が合成した合成画像それぞれについて、境界線により分割される物体の境界線上における周縁のずれ量を評価する。画像評価部２６によるずれ量の評価値は、投影スクリーン設定部２２における投影スクリーンの設定に反映される。

画像選択部２８は、画像評価部２６が評価した合成画像それぞれの中でずれ量が最も少ない合成画像を選択する。

ディスプレイ３０は、ＥＣＵ２０の画像選択部２８が選択したずれ量が最も少ない合成画像をドライバーに表示する。ディスプレイ３０は、例えば自車両のインストルメントパネルに設けられた小型のディスプレイである。

なお、本実施形態の周辺監視装置１０においては必須の構成ではないが、自車両周辺の物体を検出するライダ４０を別途備えていても良い。ライダ４０の検出結果は、ＥＣＵ２０の投影スクリーン設定部２２における投影スクリーンの設定に用いられる。

以下、本実施形態の周辺監視装置１０の動作について説明する。図２に示すように、周辺監視装置１０のＥＣＵ２０の画像合成部２４は、左後側方カメラ１２、後方カメラ１４及び右後側方カメラ１６の撮像画像を取得する（Ｓ１０１）。図３の平面図に示すように、左後側方カメラ１２は自車両１００の左後側方カメラ撮像範囲（左後側方画像）Ａ_ＲＬを撮像し、後方カメラ１４は自車両１００の後方カメラ撮像範囲（後方画像）Ａ_Ｒを撮像し、右後側方カメラ１６は自車両１００の右後側方カメラ撮像範囲（右後側方画像）Ａ_ＲＲを撮像する。

左後側方カメラ撮像範囲Ａ_ＲＬは自車両１００の左車線後方を撮像範囲とし、右後側方カメラ撮像範囲Ａ_ＲＲは自車両１００の右車線後方を撮像範囲とする。後方カメラ撮像範囲Ａ_Ｒは自車両１００が走行する自車線後方を撮像範囲とする他、左車線後方及び右車線後方を撮像範囲に含む。本実施形態では、後方カメラ撮像範囲Ａ_Ｒの内で自車線の左右の白線付近の線Ｌで区画される部分を切り出す。線Ｌで切り出された自車線分の後方画像Ａ_Ｒは、左後側方画像Ａ_ＲＬ及び右後側方画像Ａ_ＲＲと合成されて合成画像が形成される。

図４の実際の撮像画像に示すように、後方画像Ａ_Ｒにおいては、後方画像Ａ_Ｒが投影される面と垂直に交わる車線等の直線は全て一点透視図法における無限遠点である消失点ＶＰへ収束するように放射線状をなす。したがって、線Ｌは後方画像Ａ_Ｒ中で消失点ＶＰへと収束する。また、後方画像Ａ_Ｒ中において、後方画像Ａ_Ｒに平行な全ての平行線群は平行線として描かれる。例えば、路面上の線Ｌを交線とする路面に垂直な面と、後方画像Ａ_Ｒが投影される面との交線は、境界Ｂのように現れる。

本実施形態では、左後側方画像Ａ_ＲＬ、後方画像Ａ_Ｒ及び右後側方画像Ａ_ＲＲは、投影スクリーン設定部２２が設定した投影スクリーンに投影される。図５に示すように、投影スクリーンＳ１〜Ｓ３は、自車両１００の中心軸上であって自車両前方等に設定した任意の仮想視点Ｐ_０と、一点透視図法における無限遠点である消失点ＶＰとを結ぶ直線である仮想視線Ｇ_０に垂直な平面である。投影スクリーンＳ１〜Ｓ３は、仮想視点Ｐ_０からの距離ｄを変えて複数設定される。後方カメラ１４等の撮像範囲Ａ_０において、投影スクリーンＳ１〜Ｓ３に投影される撮像画像中に写る同じ物体Ｏ_１の占める割合は、投影スクリーンＳ１〜Ｓ３のいずれでも一定となる。

図４及び図５に示すように、線Ｌを交線とする路面に垂直な面は、仮想視線Ｌ_０と平行であり所定の距離を隔てた境界面を形成する。後方画像Ａ_Ｒは、当該境界面と投影スクリーンＳ１〜Ｓ３それぞれとの交線を境界Ｂとして切り出される。図４に示すように、後方画像Ａ_Ｒ中で境界Ｂは線Ｌを後方画像Ａ_Ｒの縦方向に通る平行線群である。境界Ｂにより切り出された後方画像Ａ_Ｒは、左後側方画像Ａ_ＲＬ及び右後側方画像Ａ_ＲＲと合成されて合成画像が形成される。

図２に戻り、ＥＣＵ２０の投影スクリーン設定部２２は、後方画像Ａ_Ｒについてのエッジ処理の手法により、後方画像Ａ_Ｒ中において、いずれかの投影スクリーンに係る境界Ｂ上に物体が存在するか否かを判定する（Ｓ１０２）。境界Ｂ上に物体が存在しない場合は、画像合成部２４は、左後側方画像Ａ_ＲＬ、後方画像Ａ_Ｒ及び右後側方画像Ａ_ＲＲをそのまま合成して合成画像を形成し、ディスプレイ３０に表示する（Ｓ１０８）。

境界Ｂの左右片側の境界Ｂ上のみに物体が存在する場合は（Ｓ１０３）、投影スクリーン設定部２２は、左右両側の境界Ｂについて同じ投影スクリーン候補を複数設定する（Ｓ１０４）。画像合成部２４は、投影スクリーン設定部２２が設定した各投影スクリーン上で合成画像を形成する（Ｓ１０５）。

例えば、図６に示すように、境界Ｂとなり得る自車両１００の左側の線Ｌ上に物体Ｏ_２，Ｏ_３が存在している状況を想定する。この場合、図７のように、後方画像Ａ_Ｒ中には、線Ｌ上において、仮想視点Ｐ_０により近い物体Ｏ_２は消失点ＶＰから離れて写り、仮想視点Ｐ_０により遠い物体Ｏ_３は消失点ＶＰから物体Ｏ_２よりも近い位置に写る。左後側方画像Ａ_ＲＬ中には、仮想視点Ｐ_０からより近い物体Ｏ_２のみが写る。

図８に示すように、後方画像Ａ_Ｒを切り出す境界Ｂは、投影スクリーンの仮想視点Ｐ_０からの距離により変動する。境界Ｂは、線Ｌを交線とする路面に垂直な面と投影スクリーンとの交線である。そのため、投影スクリーンの仮想視点Ｐ_０からの距離ｄが近いほど、境界Ｂは、消失点から遠くなり、後方画像Ａ_Ｒは大きく切り出される。一方、投影スクリーンの仮想視点Ｐ_０からの距離ｄが遠いほど、境界Ｂは、消失点から近くなり、後方画像Ａ_Ｒは小さく切り出される。

図９に示すように、物体Ｏ_２を通る図６の投影スクリーンＳ１よりも近くに投影スクリーンを設定した場合、後方画像Ａ_Ｒ中に写る物体Ｏ_２が大きくなり過ぎ、合成画像２００中で物体Ｏ_２の境界Ｂでのずれ量が大きくなる。一方、図１０に示すように、物体Ｏ_３を通る図６の投影スクリーンＳ２を設定した場合、後方画像Ａ_Ｒ中に物体Ｏ_２が写らなくなり、合成画像２００中で物体Ｏ_２の全体を表示することができない。

図１１に示すように、物体Ｏ_２を通る図６の投影スクリーンＳ１を設定した場合、合成画像２００中で物体Ｏ_２の境界Ｂでのずれ量を小さくすることができる。この場合、物体Ｏ_２よりも遠くの物体Ｏ_３は後方画像Ａ_Ｒ中で物体Ｏ_２よりも消失点ＶＰの近くに写る。このため、本実施形態では、投影スクリーン設定部２２は、境界Ｂ上に存在する物体の内で最も仮想視点Ｐ_０からの距離が最も近い物体を通る投影スクリーンを設定する。画像合成部２４は、境界Ｂ上に存在する物体の内で最も仮想視点Ｐ_０からの距離が最も近い物体に対して設定された投影スクリーンに、後方画像Ａ_Ｒ及び左後側方画像Ａ_ＲＬあるいは右後側方画像Ａ_ＲＲを投影して合成画像２００を形成する。

なお、左後側方画像Ａ_ＲＬ及び右後側方画像Ａ_ＲＲについては、図５について上述したように、投影スクリーンの仮想視点Ｐ_０からの距離ｄに応じて、左後側方画像Ａ_ＲＬ及び右後側方画像Ａ_ＲＲに写る物体の画面中に占める割合は変わらない。しかし、投影スクリーンの仮想視点Ｐ_０からの距離ｄに応じて、投影スクリーンに投影される左後側方画像Ａ_ＲＬ及び右後側方画像Ａ_ＲＲの大きさは変動し、それに伴い左後側方画像Ａ_ＲＬ及び右後側方画像Ａ_ＲＲに写る物体の絶対的な大きさも変動する。画像合成部２４は、投影スクリーン設定部２２により設定された投影スクリーンそれぞれについて変動した後方画像Ａ_Ｒ、左後側方画像Ａ_ＲＬ及び右後側方画像Ａ_ＲＲを投影して合成画像２００を形成する。あるいは、画像合成部２４は、投影スクリーンに合せて切り出された後方画像Ａ_Ｒに写った物体の周縁とのずれ量が最も少なくなるように、左後側方画像Ａ_ＲＬ及び右後側方画像Ａ_ＲＲの大きさを補正して、合成するようにしても良い。

図２に戻り、画像評価部２６は、境界Ｂ上に存在する物体の内で最も仮想視点Ｐ_０からの距離が最も近い物体に対して設定された投影スクリーンそれぞれに投影して形成された合成画像２００それぞれの物体の周縁のずれ量を評価する（Ｓ１０６）。画像選択部２８は、画像評価部２６は、境界Ｂ上に存在する物体の内で最も仮想視点Ｐ_０からの距離が最も近い物体に対して設定された投影スクリーンそれぞれに投影された合成画像２００の中で最もずれ量の少ない合成画像２００を選択する（Ｓ１０７）。ディスプレイ３０は、ドライバーに合成画像２００を表示する（Ｓ１０８）。

図１２に示すように、左右両側の線Ｌ上に物体Ｏ_２，Ｏ_４が存在し、境界Ｂの左右両側の境界Ｂ上に物体が存在する場合は（Ｓ１０３）、投影スクリーン設定部２２は、左右両側の境界Ｂについて左右片側ずつ別個に投影スクリーン候補を複数設定する（Ｓ１０９）。投影スクリーン設定部２２は、左側の境界Ｂ上に存在する物体及び右側の境界Ｂ上に存在する物体の中で最も仮想視点Ｐ_０から近い物体を通る投影スクリーンをそれぞれ別個に設定する。図１２及び図１３に示すように、左側の境界Ｂ（線Ｌ）上に存在する物体の内で最も近いものは物体Ｏ_２である。そこで、投影スクリーン設定部２２は、物体Ｏ_２を通る投影スクリーンＳ１を設定する。右側の境界Ｂ（線Ｌ）上に存在する物体の内で最も近いものは物体Ｏ_４である。そこで、投影スクリーン設定部２２は、物体Ｏ_４を通る投影スクリーンＳ２を設定する。このようにすると、当該投影スクリーンＳ１，Ｓ２よりも仮想視点Ｐ_０から遠い物体は、後述する後方画像左半面Ａ_Ｒ１及び後方画像右半面Ａ_Ｒ２の消失点ＶＰ寄りに位置するようになり、いずれの物体も合成画像２００に表示することができる。

図１３及び図１４に示すように、画像合成部２４は、後方画像左半面Ａ_Ｒ１について、片側の境界Ｂ上にのみ物体が存在する場合と同様にして、投影スクリーン設定部２２が設定した投影スクリーンＳ１に基づいた境界Ｂで後方画像左半面Ａ_Ｒ１を切り出す。また、画像合成部２４は、後方画像右半面Ａ_Ｒ２についても、片側の境界Ｂ上にのみ物体が存在する場合と同様にして、投影スクリーン設定部２２が設定した投影スクリーンＳ２に基づいた境界Ｂで後方画像右半面Ａ_Ｒ２を切り出す。画像合成部２４は、境界Ｂそれぞれで切り出した後方画像左半面Ａ_Ｒ１及び後方画像右半面Ａ_Ｒ２と、投影スクリーンＳ１，Ｓ２それぞれに基づいて大きさを変動させられた左後側方画像Ａ_ＲＬ及び右後側方画像Ａ_ＲＲとを投影スクリーンＳ１，Ｓ２それぞれに境界Ｂを境界として投影して合成画像２００を形成する（Ｓ１０５）。合成画像２００のずれ量の評価（Ｓ１０６）及び合成画像の選択（Ｓ１０７）は、片側の境界Ｂ上にのみ物体が存在する場合と同様にして行われる。

なお、画像評価部２６はずれ量の評価に基づいて、投影スクリーン設定部２２に投影スクリーンの仮想視点Ｐ_０からの距離ｄを調整させて投影スクリーンを設定させることができる。これにより、ずれ量を投影スクリーンの設定にフィードバックすることが可能となる。あるいは、周辺監視装置１０がライダ４０等のセンサを備えている場合は、ライダ４０等で境界Ｂ（線Ｌ）上に存在する最も仮想視点Ｐ_０から近い物体の距離ｄを測定し、投影スクリーン設定部２２は、仮想視点Ｐ_０から距離ｄの隔てた投影スクリーンを設定するようにしても良い。これにより、投影スクリーンを設定する時間と処理の負担が軽減される。

本実施形態によれば、後方カメラ１４は後方画像Ａ_Ｒを撮影し、左後側方カメラ１２，右後側方カメラ１６はそれぞれ左後側方画像Ａ_ＲＬ及び右後側方画像Ａ_ＲＲを撮影する。投影スクリーン設定部２２は、任意の仮想視点Ｐ_０と一点透視図法における消失点ＶＰとを結ぶ直線である仮想視線Ｇ_０に垂直な平面である投影スクリーンを仮想視点Ｐ_０からの距離ｄを変えて複数設定する。画像合成部２４は、投影スクリーン設定部２２が設定した投影スクリーンそれぞれについて、仮想視線Ｐ_０と平行であり所定の距離を隔てた境界面と投影スクリーンとの交線を境界Ｂとして、後方画像Ａ_Ｒ、左後側方画像Ａ_ＲＬ及び右後側方画像Ａ_ＲＲを投影スクリーンに投影することにより、後方画像Ａ_Ｒ、左後側方画像Ａ_ＲＬ及び右後側方画像Ａ_ＲＲを合成した合成画像２００を複数形成する。これにより合成画像２００の候補を複数形成することができる。画像評価部２６は、合成画像２００それぞれについて、合成画像２００中で境界Ｂにより分割される物体の境界Ｂ上における周縁のずれ量を評価する。画像選択部２８は、画像評価部２６が評価した合成画像２００それぞれの中でずれ量が最も少ない合成画像２００を選択する。これにより、合成画像２００の境界Ｂ上の物体の周縁のずれ量を少なくすることができる。

また、本実施形態では、後方カメラ１４は、投影スクリーンに投影される後方画像Ａ_Ｒが仮想視線Ｇ_０と交わる後方画像Ａ_Ｒを撮影し、左後側方カメラ１２，右後側方カメラ１６は、投影スクリーンに投影される左後側方画像Ａ_ＲＬ及び右後側方画像Ａ_ＲＲが仮想視線Ｇ_０と交わらない左後側方画像Ａ_ＲＬ及び右後側方画像Ａ_ＲＲを撮影する。このため、後方画像Ａ_Ｒは合成画像２００中で仮想視線Ｇ_０側になり、消失点ＶＰを含むものとなり、左後側方画像Ａ_ＲＬ及び右後側方画像Ａ_ＲＲは消失点ＶＰを含まず、後方画像Ａ_Ｒよりも消失点ＶＰに対して周辺の画像となる。画像評価部２６は、合成画像２００中で境界Ｂにより分割される物体がある合成画像２００の内で、仮想視点Ｐ_０から最も近い物体が境界Ｂにより分割される合成画像２００それぞれのずれ量を評価し、画像選択部２８は、画像評価部２６が評価した、仮想視点Ｐ_０から最も近い物体が境界Ｂにより分割される合成画像２００それぞれの中でずれ量が最も少ない合成画像２００を選択する。このため、仮想視点Ｐ_０から最も近い物体は境界Ｂ上で周縁のずれ量が少なくされる。また、仮想視点Ｐ_０から最も近い物体よりも遠い物体は、後方画像Ａ_Ｒ中で消失点ＶＰにより近い側に写るため、仮想視点Ｐ_０から最も近い物体に比べてより大部分あるいは全部が後方画像Ａ_Ｒ中に写ることになり、合成画像２００中のずれの影響を小さくすることができる。

また、本実施形態では、投影スクリーン設定部２２は、左右両側の境界Ｂについて左右片側ずつ別個に投影スクリーン候補を複数設定する。これにより、後方画像左半面Ａ_Ｒ１と左後側方画像Ａ_ＲＬとの合成画像、及び後方画像右半面Ａ_Ｒ２と右後側方画像Ａ_ＲＲとの合成画像の候補を複数形成することができる。投影スクリーン設定部２２は、左側の境界Ｂ上に存在する物体及び右側の境界Ｂ上に存在する物体Ｏ_２，Ｏ_４それぞれの中で最も仮想視点Ｐ_０から近い物体を通る投影スクリーンをそれぞれ別個に設定する。画像評価部２６は、合成画像２００中で各境界Ｂにより分割される物体がある合成画像２００の内で、仮想視点Ｐ_０から最も近い物体Ｏ_２，Ｏ_４が各境界Ｂにより分割される合成画像２００それぞれのずれ量を評価し、画像選択部２８は、画像評価部２６が評価した、仮想視点Ｐ_０から最も近い物体Ｏ_２，Ｏ_４が各境界Ｂにより分割される合成画像２００それぞれの中でずれ量が最も少ない合成画像２００を選択する。このため、仮想視点Ｐ_０から最も近い物体Ｏ_２，Ｏ_４は境界Ｂ上で周縁のずれ量が少なくされる。また、仮想視点Ｐ_０から最も近い物体Ｏ_２，Ｏ_４よりも遠い物体は、後方画像右半面Ａ_Ｒ２及び右後側方画像Ａ_ＲＲ中で消失点ＶＰにより近い側に写るため、仮想視点Ｐ_０から最も近い物体に比べてより大部分あるいは全部が後方画像右半面Ａ_Ｒ２及び右後側方画像Ａ_ＲＲ中に写ることになり、合成画像２００中のずれの影響を小さくすることができる。

尚、本発明は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、上記実施形態では、車両の左後側方、後方及び右後側方の３つの撮像画像を合成する態様を中心に説明したが、本発明はこれに限定されることはなく、車載以外の装置にも適用可能である。合成される画像の個数も３つに限定されない。合成される画像も必ずしも水平方向に分割された画像を合成する態様に限定されず、上部、中部、下部といった垂直方向やその他の方向に分割された画像を合成する場合にも適用可能である。

１０…周辺監視装置、１２…左後側方カメラ、１４…後方カメラ、１６…右後側方カメラ、２０…ＥＣＵ、２２…投影スクリーン設定部、２４…画像合成部、２６…画像評価部、２８…画像選択部、３０…ディスプレイ、４０…ライダ、１００…自車両、２００…合成画像。

Claims

第１の撮像画像を撮影する第１の撮像手段と、
第２の撮像画像を撮影する第２の撮像手段と、
任意の仮想視点と一点透視図法における消失点とを結ぶ直線である仮想視線に垂直な平面である投影スクリーンを前記仮想視点からの距離を変えて複数設定する投影スクリーン設定手段と、
前記投影スクリーン設定手段が設定した前記投影スクリーンそれぞれについて、前記仮想視線と平行であり所定の距離を隔てた第１の境界面と前記投影スクリーンとの交線を前記第１の撮像画像と前記第２の撮像画像との境界線である第１の境界線として、前記第１の撮像画像と前記第２の撮像画像とを前記投影スクリーンに投影することにより、前記第１の撮像画像と前記第２の撮像画像とを合成した第１の合成画像を複数形成する画像合成手段と、
前記第１の合成画像それぞれについて、前記第１の境界線により分割される第１の物体の前記第１の境界線上における周縁のずれ量を評価する画像評価手段と、
前記画像評価手段が評価した前記第１の合成画像それぞれの中で前記ずれ量が最も少ない前記第１の合成画像を選択する画像選択手段と、を備えた画像処理装置。
前記第１の撮像手段は、前記投影スクリーンに投影される前記第１の撮像画像が前記仮想視線と交わる前記第１の撮像画像を撮影し、
前記第２の撮像手段は、前記投影スクリーンに投影される前記第２の撮像画像が前記仮想視線と交わらない前記第２の撮像画像を撮影し、
前記画像評価手段は、前記第１の合成画像中で前記第１の境界線により分割される第１の物体がある前記第１の合成画像の内で、前記仮想視点から最も近い前記第１の物体が前記第１の境界線により分割される前記第１の合成画像それぞれの前記ずれ量を評価し、
前記画像選択手段は、前記画像評価手段が評価した、前記仮想視点から最も近い前記第１の物体が前記第１の境界線により分割される前記第１の合成画像それぞれの中で前記ずれ量が最も少ない前記第１の合成画像を選択する、請求項１に記載の画像処理装置。
前記投影スクリーンに投影されたときに前記仮想視線と交わらない第３の撮像画像を撮影する第３の撮像手段をさらに備え、
前記画像合成手段は、前記投影スクリーン設定手段が設定した前記投影スクリーンそれぞれについて、前記仮想視線と平行であり所定の距離を隔てた第２の境界面と前記投影スクリーンとの交線を前記第１の撮像画像と前記第３の撮像画像との境界線である第２の境界線として、前記第１の撮像画像と前記第３の撮像画像とを前記投影スクリーンに投影することにより、前記第１の撮像画像と前記第３の撮像画像とを合成した第２の合成画像を複数形成し、前記第１の合成画像それぞれと前記第２の合成画像それぞれとを合成して第３の合成画像を複数形成し、
前記画像評価手段は、前記第３の合成画像中で、前記第１の境界線により分割される前記第１の物体があり、且つ前記第２の境界線により分割される第２の物体がある前記第３の合成画像の内で、前記仮想視点から最も近い前記第１の物体が前記第１の境界線により分割され、且つ前記仮想視点から最も近い前記第２の物体が前記第２の境界線により分割される前記第３の合成画像それぞれについて、前記第１の境界線により分割される前記第１の物体の前記第１の境界線上における周縁のずれ量と、前記第２の境界線により分割される前記第２の物体の前記第２の境界線上における周縁のずれ量とを評価し、
前記画像選択手段は、前記第３の合成画像それぞれの中で、前記画像評価手段が評価した前記第１の物体及び前記第２の物体の周縁のずれ量が最も少ない前記第３の合成画像を選択する、請求項２に記載の画像処理装置。
第１の撮像画像を撮影する第１の撮像工程と、
第２の撮像画像を撮影する第２の撮像工程と、
任意の仮想視点と一点透視図法における消失点とを結ぶ直線である仮想視線に垂直な平面である投影スクリーンを前記仮想視点からの距離を変えて複数設定する投影スクリーン設定工程と、
前記投影スクリーン設定工程で設定した前記投影スクリーンそれぞれについて、前記仮想視線と平行であり所定の距離を隔てた第１の境界面と前記投影スクリーンとの交線を第１の撮像画像と第２の撮像画像との境界線である第１の境界線として、前記第１の撮像画像と前記第２の撮像画像とを前記投影スクリーンに投影することにより、前記第１の撮像画像と前記第２の撮像画像とを合成した第１の合成画像を複数形成する画像合成工程と、
前記第１の合成画像それぞれについて、前記第１の境界線により分割される第１の物体の前記第１の境界線上における周縁のずれ量を評価する画像評価工程と、
前記画像評価工程で評価した前記第１の合成画像それぞれの中で前記ずれ量が最も少ない前記第１の合成画像を選択する画像選択工程と、を含む画像処理方法。
前記第１の撮像工程では、前記投影スクリーンに投影される前記第１の撮像画像が前記仮想視線と交わる前記第１の撮像画像を撮影し、
前記第２の撮像工程では、前記投影スクリーンに投影される前記第２の撮像画像が前記仮想視線と交わらない前記第２の撮像画像を撮影し、
前記画像評価工程では、前記第１の合成画像中で前記第１の境界線により分割される前記第１の物体がある前記第１の合成画像の内で、前記仮想視点から最も近い前記第１の物体が前記第１の境界線により分割される前記第１の合成画像それぞれの前記ずれ量を評価し、
前記画像選択工程では、前記画像評価工程で評価した、前記仮想視点から最も近い前記第１の物体が前記第１の境界線により分割される前記第１の合成画像それぞれの中で前記ずれ量が最も少ない前記第１の合成画像を選択する、請求項４に記載の画像処理方法。
前記投影スクリーンに投影されたときに前記仮想視線と交わらない第３の撮像画像を撮影する第３の撮像工程をさらに含み、
前記画像合成工程では、前記投影スクリーン設定工程で設定した前記投影スクリーンそれぞれについて、前記仮想視線と平行であり所定の距離を隔てた第２の境界面と前記投影スクリーンとの交線を前記第１の撮像画像と前記第３の撮像画像との境界線である第２の境界線として、前記第１の撮像画像と前記第３の撮像画像とを前記投影スクリーンに投影することにより、前記第１の撮像画像と前記第３の撮像画像とを合成した第２の合成画像を複数形成し、前記第１の合成画像それぞれと前記第２の合成画像それぞれとを合成して第３の合成画像を複数形成し、
前記画像評価工程では、前記第３の合成画像中で、前記第１の境界線により分割される前記第１の物体があり、且つ前記第２の境界線により分割される第２の物体がある前記第３の合成画像の内で、前記仮想視点から最も近い前記第１の物体が前記第１の境界線により分割され、且つ前記仮想視点から最も近い前記第２の物体が前記第２の境界線により分割される前記第３の合成画像それぞれについて、前記第１の境界線により分割される前記第１の物体の前記第１の境界線上における周縁のずれ量と、前記第２の境界線により分割される前記第２の物体の前記第２の境界線上における周縁のずれ量とを評価し、
前記画像選択工程では、前記第３の合成画像それぞれの中で、前記画像評価工程で評価した前記第１の物体及び前記第２の物体の周縁のずれ量が最も少ない前記第３の合成画像を選択する、請求項５に記載の画像処理方法。