JP5971223B2

JP5971223B2 - 合成画像生成装置

Info

Publication number: JP5971223B2
Application number: JP2013215649A
Authority: JP
Inventors: 雅成高木
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2013-10-16
Filing date: 2013-10-16
Publication date: 2016-08-17
Anticipated expiration: 2033-10-16
Also published as: US20150103173A1; JP2015080073A

Description

本発明は、複数の画像を組み合わせた合成画像を生成する合成画像生成装置に関する。

上記の合成画像生成装置として、車両の周囲の複数のカメラで撮像した各撮像画像を取得し、これらの撮像画像に基づいて自車両の真上から見たと仮定した鳥瞰画像を生成するものが知られている（例えば、特許文献１参照）。この合成画像生成装置では、複数の撮像画像による撮像領域が重複する場合、予め設定された部位で撮像画像を切り、重複した領域の一部を削除して繋ぎ合わせることで、自然な鳥瞰画像となるようにしている。

特開２０１０−２８２６０１号公報

上記の鳥瞰画像（合成画像）は、自車両の周囲を確認するために利用されているが、この画像を、例えば、路面のペイントを抽出する際に利用することも考えられる。しかしながら、例えば、何れかの撮像画像に強い光が入り込む場合には、その撮像画像に黒つぶれ（撮像画像中の光源以外の領域が黒くなる現象）が発生し、この合成画像から路面のペイントを抽出できる領域が狭くなる。

また、カメラのレンズに汚れや水滴等が付着した場合も同様である。このような場合、合成画像を用いて路面のペイントを抽出することが難しくなるという問題点があった。
そこで、このような問題点を鑑み、自車両に搭載され、複数の撮像部にて得られた撮像画像を組み合わせた合成画像を生成する合成画像生成装置において、路面のペイントを抽出するために適した合成画像を生成できるようにすることを本発明の目的とする。

かかる目的を達成するために成された本発明の合成画像生成装置において、撮像画像取得手段は複数の撮像部にて撮像された撮像画像をそれぞれ取得する。そして、画像選択手段は取得された複数の撮像画像のうち、路面ペイントを検出するためのペイント検出領域が重複しない複数の撮像画像を選択し、画像生成手段は選択した複数の撮像画像を組み合わせた合成画像を生成する。

このような合成画像生成装置によれば、ペイント検出領域が重複しない複数の撮像画像を組み合わせた合成画像を生成することができるので、合成画像を生成する過程においてペイント検出領域を除去する必要がない。この結果、ペイント検出領域が不鮮明な画像と鮮明な画像とが混在したとしても、鮮明な画像の一部が削除されることがないので、この画像を最大限利用して路面ペイントを抽出することができる。よって、路面のペイントを検出しやすく、路面のペイントを抽出するために適した合成画像を生成することができる。

なお、上記目的を達成するためには、コンピュータを、合成画像生成装置を構成する各手段として実現するための合成画像生成プログラムとしてもよい。また、各請求項の記載は、可能な限りにおいて任意に組み合わせることができる。この際、発明の目的を達成できる範囲内において一部構成を除外してもよい。

本発明が適用された画像表示システム１の概略構成を示すブロック図である。カメラ２１〜２４の配置位置を示す鳥瞰図である。画像処理部１０（ＣＰＵ１１）が実行する白線認識処理を示すフローチャートである。実施形態において撮像画像の組み合わせを示す鳥瞰図である。雨天時に得られる合成画像の一例を示す説明図である。晴天時に得られる合成画像の一例を示す説明図である。従来構成で得られる合成画像の一例を示す説明図である。変形例において撮像画像の組み合わせを示す鳥瞰図（その１）である。変形例において撮像画像の組み合わせを示す鳥瞰図（その２）である。

以下に本発明にかかる実施の形態を図面と共に説明する。
［第１実施形態］
［本実施形態の構成］
本発明が適用された画像表示システム１は、例えば乗用車等の車両（以下、自車両ともいう。）に搭載され、複数のカメラ２１〜２４にて得られた撮像画像を組み合わせた合成画像を生成し、生成した画像から白線等の路面ペイントを認識するシステムである。

詳細には、図１に示すように、画像表示システム１は、画像処理部１０、各種カメラ２１〜２４、ディスプレイ２６、インジケータ２７、環境検出部２８を備えている。
各種カメラ２１〜２４としては、前方カメラ２１、後方カメラ２２、右カメラ２３、左カメラ２４を備えている。これらのカメラ２１〜２４は、図２等に示すハッチング部分のような撮像範囲を有する。ただし、図２等では撮像範囲を扇形（半円）で模式的に示しているが、実際の撮像範囲はこのような形状になるとは限らず、任意の形状・大きさを取り得る。

より詳細には、前方カメラ２１は例えばフロントバンパ内に配置され、自車両の前方を撮像範囲とする。後方カメラ２２は例えばリアバンパ内に配置され、自車両の後方を撮像範囲とする。

また、右カメラ２３は例えば自車両の右ミラーにおいて配置され、自車両の右側を撮像範囲とする。左カメラ２４は例えば自車両の左ミラーにおいて配置され、自車両の左側を撮像範囲とする。各カメラ２１〜２４は、例えば３３ｍｓ毎に撮像を行い、得られた撮像画像を画像処理部１０に送る。

ディスプレイ２６は、画像処理部１０から送られる映像信号に基づく画像を表示させる周知のディスプレイとして構成されている。
インジケータ２７は、画像処理部１０による表示指令に応じて、例えば白線等の路面ペイントの認識精度の高さの程度を視覚的に報知する。インジケータ２７は、例えば複数の発光部を備えており、発光させる発光部の数を認識精度に応じて変更する。路面ペイントの認識精度は、後述する白線抽出処理（Ｓ１３５）の処理の精度を示し、この精度に応じた出力が画像処理部１０からなされる。

環境検出部２８は、カメラ２１〜２４による撮像環境を検出するための構成である。環境検出部２８は、例えば、太陽等の光源の方向、カメラ２１〜２４（レンズ）の汚れの有無、雨滴や霜の有無等を検出する。なお、環境検出部２８は、後述する［その他の実施形態］にて利用する。

画像処理部１０は、ＣＰＵ１１とＲＯＭ、ＲＡＭ等のメモリ１２とを備えた周知のコンピュータとして構成されている。ＣＰＵ１１は、メモリ１２に格納されたプログラム（合成画像生成プログラムを含む）に従って、後述する白線認識処理等の各種処理を実行する。

［本実施形態の処理］
このように構成された画像表示システム１において、画像処理部１０は、図３に示す白線認識処理を実施する。白線認識処理は、例えば画像処理部１０の電源が投入されると開始される処理であり、その後、一定周期（例えば３３ｍｓ）毎に繰り返し実施される処理である。

この処理では、まず、複数のカメラ２１〜２４にて撮像された撮像画像をそれぞれ取得する（Ｓ１１０）。そして、変数ｎを１にセットし（Ｓ１１５）、ｎ組目の撮像画像を選択する（Ｓ１２０）。

ここで変数ｎは、合成画像を生成するために利用する撮像画像の組番号を示す。例えば、本実施形態の場合、１組目の撮像画像の組として、図４（ａ）に示すように、前方カメラ２１および後方カメラ２２による撮像画像を用いる。また、２組目の撮像画像の組として、図４（ｂ）に示すように、右カメラ２３および左カメラ２４による撮像画像を用いる。このようにして、取得された複数の撮像画像のうち、自車両を挟んで反対方向を撮像領域とする複数の撮像画像であって、かつ撮像範囲が重複しない複数の撮像画像を選択する。

続いて、合成鳥瞰図変換処理を実施する（Ｓ１２５）。この処理では、ｎ組目の撮像画像のそれぞれについて、自車両を真上から見たと仮定した鳥瞰図（鳥瞰画像）に変換するための幾何変換テーブルを利用して、撮像画像中の各画素の座標変換を行うことで鳥瞰図に変換した撮像画像を得る。

そして、合成鳥瞰図画像作成処理を実施する（Ｓ１３０）。この処理では、選択中の撮像画像に対応する鳥瞰図を合成することで合成鳥瞰図画像（合成画像）を得る。詳細には、合成鳥瞰図画像では、例えば、予め準備された自車両の鳥瞰画像を中心に、複数の鳥瞰図を配置する。

このようにすると、図５（ａ）に示すように走行環境が雨天の場合、前方カメラ２１および後方カメラ２２による撮像画像は、図５（ｂ）に示すようなものとなる。また、右カメラ２３および左カメラ２４による撮像画像は、図５（ｃ）に示すようなものとなる。

すなわち、本例では、何れの撮像画像においても良好に白線が目視できる撮像画像が得られる。ただし、大雨のときには、前方カメラ２１および後方カメラ２２による撮像画像のうちの一方が雨滴によって不鮮明になると考えられるが、風の方向を考慮すると、前方カメラ２１および後方カメラ２２による撮像画像のうちの他方については鮮明であると考えられる。

また、右カメラ２３および左カメラ２４による撮像画像についても同様に少なくとも一方の撮像画像については鮮明であると考えられる。したがって、これらの合成画像についてそれぞれ白線を抽出すれば、自車両の左右に存在する白線の両方を抽出できることになる。

次に、図６（ａ）に示すように走行環境が晴天であり自車両の右斜め前から日射が差している場合について考える。この場合、図６（ｂ）に示すように、前方カメラ２１による撮像画像は黒つぶれしており白線が認識できない。ただし、後方カメラ２２による撮像画像は鮮明に白線を認識できる。

また、図６（ｂ）に示すように、右カメラ２３による撮像画像は黒つぶれしており白線が認識できない。ただし、左カメラ２４による撮像画像は鮮明に白線を認識できる。
このように、自車両の周囲に太陽のような光源が存在する場合であっても、各組の撮像画像のうちの１の撮像画像は鮮明であることが期待できる。したがって、この場合においても、合成画像についてそれぞれ白線を抽出すれば、自車両の左右に存在する白線の両方を抽出できることになる。

なお、従来構成のように、４方向の撮像画像の全てを組み合わせた１つの合成画像を生成し、この際、撮像画像の重複する部位を除去する構成においては、図７（ａ）に示すように、右斜め前から日射が差している場合、図７（ｂ）に示すように、合成画像の半分程度の領域が黒つぶれしてしまうことが分かる。

特に図７（ｂ）の丸印で示す部位においては白線を認識することが困難であるが、図６（ｂ）および図６（ｃ）に示す合成画像では鮮明に白線が認識できることが分かる。
続いて、図３に戻り、白線抽出処理を実施する（Ｓ１３５）。この処理では、合成画像に対して周知のハフ変換等を実施し、白線の認識結果をその精度（信頼度）とともにメモリ１２に記録する。ここで、認識結果の精度は、エッジ（隣接する画素間で所定以上の輝度差がある部位）の数、エッジの並び方の規則性、予め設定された基準道路幅との差、等によって決まる。

続いて、変数ｎと撮像画像の組数Ｎとを比較する（Ｓ１４０）。撮像画像の組数Ｎは、本実施形態の場合には、前方カメラ２１および後方カメラ２２による撮像画像の組と、右カメラ２３および左カメラ２４による撮像画像の組とが存在するため、２となる。

変数Ｎが撮像画像の組数Ｎ未満であれば（Ｓ１４０：ＮＯ）、変数ｎをインクリメントし（Ｓ１４５）、Ｓ１２０の処理に戻る。また、変数ｎが撮像画像の組数Ｎ以上であれば（Ｓ１４０：ＹＥＳ）、白線認識結果統合処理を実施する（Ｓ１５０）。

この処理では、例えば自車両の中心を基準として左右に存在する白線のそれぞれについて、白線の認識結果の精度が最も高い線分のペアを白線として抽出する。この際、精度の高さに応じた出力をインジケータ２７に行うよう設定する。

続いて、表示処理を実施する（Ｓ１５５）。この処理では、白線認識結果（座標等）とその精度とに応じた表示を行うための信号を生成し、この信号をディスプレイ２６およびインジケータ２７に対して送信する。

このような処理が終了すると白線認識処理を終了する。
［本実施形態による効果］
以上のように詳述した画像表示システム１において、画像処理部１０は複数のカメラ２１〜２４にて撮像された撮像画像をそれぞれ取得する。そして、取得した複数の撮像画像のうち、路面ペイントを検出するためのペイント検出領域（本実施形態では撮像領域）が重複しない複数の撮像画像を選択し、選択した複数の撮像画像を組み合わせた合成画像を生成する。

このような画像表示システム１によれば、ペイント検出領域が重複しない複数の撮像画像を組み合わせた合成画像を生成することができるので、合成画像を生成する過程においてペイント検出領域を除去する必要がない。この結果、ペイント検出領域が不鮮明な画像と鮮明な画像とが混在したとしても、鮮明な画像の一部が削除されることがないので、この画像を最大限利用して路面ペイントを抽出することができる。よって、路面のペイントを検出しやすく、路面のペイントを抽出するために適した合成画像を生成することができる。

また、上記画像表示システム１において、画像処理部１０は、ペイント検出領域が重複しない複数組の撮像画像を選択し、複数組の撮像画像のそれぞれに対応する合成画像を生成する。

このような画像表示システム１によれば、路面ペイントを抽出するための合成画像を複数提供することができる。したがって、これらの合成画像を用いて路面ペイントを検出すれば、路面ペイントを抽出する精度を向上させることができる。

また、上記画像表示システム１において、画像処理部１０は、自車両を挟んで反対方向を撮像領域とする複数の撮像画像を選択する。
このような画像表示システム１によれば、撮像画像の撮像領域が重複しにくくすることができる。

さらに、上記画像表示システム１において、画像処理部１０は、合成画像として、自車両を真上から見たと仮定した鳥瞰画像を生成する。
このような画像表示システム１によれば、鳥瞰画像を提供することができるので、路面ペイントを抽出する際に歪みを考慮する処理を省くことができる。よって、合成画像から路面ペイントを抽出する処理を簡素化することができる。

また、上記画像表示システム１において画像処理部１０は、合成画像から路面ペイントを抽出する。
このような画像表示システム１によれば、上記の構成にて得られた合成画像から路面ペイントを抽出するので、精度よく路面ペイントを抽出することができる。

［その他の実施形態］
本発明は、上記の実施形態によって何ら限定して解釈されない。また、上記の実施形態の構成の一部を、課題を解決できる限りにおいて省略した態様も本発明の実施形態である。また、上記の複数の実施形態を適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言のみによって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。また、上記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。

また、上記実施形態の画像表示システム１において、画像処理部１０は、撮像環境に応じて複数の撮像画像を選択するようにしてもよい。つまり、撮像環境に応じて利用が困難であるカメラ２１〜２４を推定し、利用が困難なカメラ２１〜２４の撮像画像を除く撮像画像を利用して路面ペイントを検出するようにしてもよい。

このような画像表示システム１によれば、黒潰れした画像等の不鮮明な画像を除いた撮像画像を選択するので、路面ペイントの検出精度を向上させることができる。
さらに、上記実施形態では、撮像範囲が重複しない複数の撮像画像を選択したが、路面ペイントを検出するためのペイント検出領域（路面が写り得る領域のうちの路面ペイントを検出するために利用する距離までの領域）が重複しない複数の撮像画像を選択するようにしてもよい。

また、上記実施形態では、白線を抽出する構成について説明したが、合成画像から白線以外の路面ペイントを抽出するようにしてもよい。この場合、パターンマッチング等を利用して路面ペイントの内容を認識するようにしてもよい。

さらに、上記実施形態では、前方カメラ２１および後方カメラ２２をバンパに配置し、右カメラ２３および左カメラ２４をミラーに配置したが、これらのカメラ２１〜２４は任意の箇所および個数を選択することができる。また、カメラの方向（撮像中心軸の方向）も任意である。

例えば、２つのカメラの方向を正反対（それぞれの撮像中心軸が成す角１８０度）の場合、図８（ａ）に示すように、自車両の右前方にて右向きに配置されたカメラと、自車両の左後方にて左向きに配置されたカメラとを１組のカメラとして配置してもよい。また、図（ｂ）に示すように、自車両の右前方に配置されたカメラが右斜め前を撮像範囲とし、自車両の左後方に配置されたカメラが左斜め後を撮像範囲としてもよい。

さらに、図９（ａ）、図９（ｂ）、図９（ｃ）に示すように、各カメラの撮像中心軸が成す角を１３５度程度としてもよい。複数の撮像画像においてペイント検出領域の重複を抑制するためには、各カメラの撮像中心軸が成す角が１８０度に近い方が好ましいが、１３５度程度であっても、複数の撮像画像においてペイント検出領域の重複が避けられれば構わない。

上記のように構成しても、上記実施形態と同様の効果が得られる。
［実施形態の構成と本発明の手段との対応関係］
上記実施形態における画像処理部１０は、本発明でいう合成画像生成装置に相当し、上記実施形態におけるカメラ２１〜２４は、本発明でいう撮像部に相当する。また、上記実施形態において、画像処理部１０が実行するＳ１１０の処理は、本発明でいう撮像画像取得手段に相当し、上記実施形態におけるＳ１２０の処理は、本発明でいう画像選択手段に相当する。

さらに、上記実施形態におけるＳ１２５，Ｓ１３０の処理は、本発明でいう画像生成手段に相当し、上記実施形態におけるＳ１３５，Ｓ１５０の処理は、本発明でいう路面ペイント抽出手段に相当する。

１…画像表示システム、１０…画像処理部、１１…ＣＰＵ、１２…メモリ、２１〜２４…カメラ、２６…ディスプレイ、２７…インジケータ、２８…環境検出部。

Claims

自車両に搭載され、複数の撮像部にて得られた撮像画像を組み合わせた合成画像を生成する合成画像生成装置（１０）であって、
複数の撮像部にて撮像された撮像画像をそれぞれ取得する撮像画像取得手段（Ｓ１１０）と、
取得された複数の撮像画像のうち、路面ペイントを検出するためのペイント検出領域が重複しない複数の撮像画像を選択する画像選択手段（Ｓ１２０）と、
選択した複数の撮像画像を組み合わせた合成画像を生成する画像生成手段（Ｓ１２５，Ｓ１３０）と、
を備え、
前記画像選択手段は、撮像環境に応じて複数の撮像画像を選択すること
を特徴とする合成画像生成装置。
請求項１に記載の合成画像生成装置において、
前記画像選択手段は、前記ペイント検出領域が重複しない複数組の撮像画像を選択し、
前記画像生成手段は、前記複数組の撮像画像のそれぞれに対応する合成画像を生成すること
を特徴とする合成画像生成装置。
請求項１または請求項２に記載の合成画像生成装置において、
前記画像選択手段は、自車両を挟んで反対方向を撮像領域とする複数の撮像画像を選択すること
を特徴とする合成画像生成装置。
請求項１〜請求項３の何れか１項に記載の合成画像生成装置において、
前記画像生成手段は、前記合成画像として、自車両を真上から見たと仮定した鳥瞰画像を生成すること
を特徴とする合成画像生成装置。
請求項１〜請求項４の何れか１項に記載の合成画像生成装置において、
前記合成画像から路面ペイントを抽出する路面ペイント抽出手段（Ｓ１３５，Ｓ１５０）、
を備えたことを特徴とする合成画像生成装置。