JP3750959B2

JP3750959B2 - Parked vehicle detection method and apparatus

Info

Publication number: JP3750959B2
Application number: JP25480097A
Authority: JP
Inventors: 津雄浅井; 浩次上田; 勇夫堀場
Original assignee: Nagoya Electric Works Co Ltd
Current assignee: Nagoya Electric Works Co Ltd
Priority date: 1997-09-19
Filing date: 1997-09-19
Publication date: 2006-03-01
Anticipated expiration: 2017-09-19
Also published as: JPH1196367A

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば駐車場を撮影して車両の駐車状況を検出する際などに用いられる駐車車両検出方法とその装置に係り、特に夜間において撮影された車両のコントラストを強調するとともに、輝度の高いヘッドライトなどによるハレーションを抑え、かつ、移動中の車両やヘッドライトなどが画面中で尾を引いて画像ぼけを起こすことのない駐車車両検出方法とその装置に関する。
【０００２】
【従来の技術】
従来、夜間の駐車車両をカメラを用いて監視する場合、入射光量を増やすだけでは、ＳＮ比が低下すると同時に、ハレーションによって車両検出ができなくなるため、ヘッドライトやテールランプによる輝点情報を利用して車両検出を行なう方法が多く採用されている。しかし、ヘッドライトやテールランプなどの情報はスポット的な情報であり、その情報量が少ないため、昼間の車両検出と比較して検出精度が低下するという問題があった。
【０００３】
そこで、本発明者等は、鋭意研究の結果、上記問題を解消した駐車車両の検出方法とその装置を特願平８−０７２５７３号で提案した。この先願発明は、駐車場などの車両を撮影し、その映像信号をデジタル化したデジタル画像を時間軸方向に積分して積分画像を作成し、該積分画像からヒストグラム均等化処理による輝度変換によって輝度変換画像を作成し、該輝度変換画像を画像処理することによって駐車車両を検出するように構成したもので、高輝度部分のハレーションを抑えるとともに、低輝度域領域のコントラストを強調した画像を作成することができ、夜間における車両の検出精度を格段に向上することができたものであった。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記先願発明においても次のような問題があった。すなわち、先願発明は、撮影画像を時間軸方向に単純積分することによって積分画像を得ているため、画面中に移動物体、例えば移動車両などが存在すると、車両ボディやヘッドライトなどが尾を引いてぼけた画像になってしまい、車両を誤検知する可能性があった。
【０００５】
本発明は、このような問題を解決するためになされたもので、先願発明と同様に、高輝度部分のハレーションを抑えることができるとともに、低輝度域の車両のコントラストを強調でき、しかも、移動車両やヘッドライトなどが尾を引いて画像ぼけを起こすことがほとんどない駐車車両検出方法とその装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
一般に、単純に画像を積分するだけでは、移動体（特に車両や車両ライトなど）はただ単に加算されるだけであり，前述したように尾を引くようにぼけた画像となる。そこで、本発明者はこの現象を軽減するために、車両と路面との間に輝度差があることに注目し、まず取り込んだ初期輝度画像を基準として、次の輝度画像と初期輝度画像との輝度差を求め、その差が小さければ所定数の画像の輝度値を加算する選択積分処理を行い、一方、その差が大きければ初期輝度画像を用いる選択積分処理を行う。この処理を時間軸方向に行うことにより、輝度差が小さい初期輝度画像に対する依存性が大きい移動物体はその場にとどまると同時に、ヘッドライト等の初期輝度画像との輝度差が大きい他の領域は初期輝度画像のみが残るため先願発明と同様にＳＮ比を向上させることが可能となる。本発明は、このような考えの下に上記問題を解決したものである。
【０００７】
【課題を解決するための手段】
本発明の駐車車両検出方法は前記した目的を達成せんとするもので、請求項１の手段は、車両検出対象領域を撮影した映像信号をデジタル化した画像を時間軸方向に積分して積分画像を作成し、該積分画像から輝度変換処理によって低輝度領域のコントラストを強調した輝度変換画像を作成し、該輝度変換画像を画像処理することによって駐車車両を検出する駐車車両検出方法において、前記デジタル化した画像の複数枚の輝度画像中から輝度基準となる初期輝度画像を選定して、該初期輝度画像と他の各輝度画像との輝度の差分画像を求め、該差分画像の輝度値に変化が生じない場合には、初期輝度画像から所定数の画像の輝度値を加算する選択積分処理を行い、また、前記差分画像の輝度値に変化が生じ予め設定したしきい値よりも大きい場合には、前記初期輝度画像を用いる選択積分処理を行うことにより積分画像を作成することを特徴とする。
【０００８】
請求項２の手段は、車両検出対象領域を撮影したカラー映像信号をＲ，Ｇ，Ｂ信号に変換し、該Ｒ，Ｇ，Ｂ信号からなるＲ，Ｇ，Ｂ画像をフレーム単位で輝度画像に変換し、該得られた複数枚の輝度画像中から基準となる初期輝度画像を選定して、該初期輝度画像と他の各輝度画像との差分画像をそれぞれ求め、該得られた各差分画像の輝度値に変化が生じない場合には、所定数のＲ，Ｇ，Ｂ画像を加算し、前記差分画像の輝度値に変化が生じ予め設定したしきい値よりも大きい場合には前記初期輝度画像に対応するＲ，Ｇ，Ｂ画像を用いるＲ，Ｇ，Ｂ選択積分処理を施し、該Ｒ，Ｇ，Ｂ選択積分処理により得られたＲ，Ｇ，Ｂ積分画像を輝度画像に変換した後、この輝度画像に所定の輝度変換処理を施し、該輝度変換された輝度画像と前記Ｒ，Ｇ，Ｂ積分画像の輝度画像とを掛け算することにより輝度補正されたＲ，Ｇ，Ｂ積分画像を生成し、該輝度補正されたＲ，Ｇ，Ｂ積分画像を用いて車両を検出することを特徴とする。
【０００９】
請求項３の手段は、車両検出対象領域を俯瞰撮影するカラーカメラと、該カラーカメラまたはＲ，Ｇ，Ｂデコーダを介して出力されるＲ，Ｇ，Ｂ信号をデジタル信号に変換するＡＤ変換手段と、該デジタル化したＲ，Ｇ，Ｂ画像を各フレーム毎に輝度画像に変換して記憶する第１の輝度変換処理手段と、該得られた複数枚の輝度画像中から基準となる初期輝度画像を選定して、該初期輝度画像と他の各輝度画像との差分画像を求めて記憶する差分処理手段と、該得られた各差分画像の輝度値に変化が生じない場合には所定数のＲ，Ｇ，Ｂ画像を加算し、前記積分画像の輝度値に変化が生じ予め設定したしきい値よりも大きい場合に前記初期輝度画像に対応するＲ，Ｇ，Ｂ画像を用いるＲ，Ｇ，Ｂ選択積分処理を施すＲ，Ｇ，Ｂ選択積分処理手段と、Ｒ，Ｇ，Ｂ選択積分処理により得られたＲ，Ｇ，Ｂ積分画像を輝度画像に変換して記憶する第２の輝度変換処理手段と、該変換された輝度画像の所定の輝度変換処理を施して記憶する輝度変換処理手段と、該輝度変換された輝度画像と前記Ｒ，Ｇ，Ｂ積分画像とを掛け算することにより輝度補正されたＲ，Ｇ，Ｂ積分画像を生成して出力する掛け算手段と、該輝度補正されたＲ，Ｇ，Ｂ積分画像に所定の画像処理を施すことによって車両を検出する画像処理手段とから構成したものである。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態をカラー画像を用いる場合について図面を参照して説明する。
図１は、本発明の方法を適用して構成した本発明に係る駐車車両検出装置の第１の実施形態を示すブロック図である。図示例の駐車車両検出装置は、駐車場の昼夜車両を検出するもので、駐車場を上方から俯瞰撮影するカラーカメラ１と、車両検出用画像生成部２と、駐車車両を認識するための画像処理部３とに大別される。
【００１１】
車両検出用画像生成部２は、カラーカメラ１から送られてくるカラー映像信号をフレーム単位でＲ，Ｇ，Ｂの三原色信号に変換して出力するＲＧＢデコーダ２０１と、各Ｒ，Ｇ，Ｂ信号をデジタル信号に変換するＡＤ変換器２０２と、デジタル化されたＲ，Ｇ，Ｂ画像を記憶するＲ，Ｇ，Ｂ画像メモリ２０３と、Ｒ，Ｇ，Ｂ画像メモリ２０３に格納されたＲ，Ｇ，Ｂデジタル画像を各フレーム単位で輝度画像に変換する第１の輝度変換処理部２０４と、変換された輝度画像を記憶する第１の輝度画像メモリ２０５と、基準となる初期輝度画像と他の輝度画像との差分画像を算出する差分処理部２０６と、該得られた差分画像を記憶する差分画像メモリ２０７とを有する。
【００１２】
さらに、前記差分画像メモリ２０７に記憶されている差分画像の結果に基づいてＲ，Ｇ，Ｂ画像メモリ２０３に記憶されているＲ，Ｇ，Ｂ画像を積分することにより重み付けしたＲ，Ｇ，Ｂ積分画像を得るＲ，Ｇ，Ｂ選択積分処理部２０８と、該得られた重み付きＲ，Ｇ，Ｂ積分画像を記憶するＲ，Ｇ，Ｂ積分画像メモリ２０９と、該重み付きＲ，Ｇ，Ｂ積分画像に輝度変換処理を施して輝度画像に変換する第２の輝度変換処理部２１０と、該変換された輝度画像を記憶する第２の輝度画像メモリ２１１と、該変換された輝度画像にヒストグラム均等化処理や局所的ヒストグラム均等化処理などの所定の輝度変換処理を施してコントラストを補正する輝度変換処理部２１２と、該輝度変換された輝度画像を記憶する変換画像メモリ２１３と、該輝度変換された輝度画像と前記Ｒ，Ｇ，Ｂ積分画像メモリ２０９に格納されている重み付きＲ，Ｇ，Ｂ積分画像の掛け算を行なうことにより輝度補正された最終的な重み付きＲ，Ｇ，Ｂ積分画像を生成する掛け算器２１４と、該輝度補正された最終的な重み付きＲ，Ｇ，Ｂ積分画像を記憶する最終Ｒ，Ｇ，Ｂ画像メモリ２１５とを有する。なお、上記した車両検出用画像生成部２と画像処理部３は、ディスクリートなハードウェア回路によって構成することもできるし、マイクロコンピュータと処理プログラムを用いてソフトウェア回路により構成することもできる。
【００１３】
次に、上記構成になる駐車車両検出装置の動作を、図２のフローチャートを参照して説明する。
まず、検出対象とする駐車場の所定の駐車エリアをカラーカメラ１で俯瞰撮影する（図２のステップＳ１）。この撮影したカラー映像信号（例えば、ＮＴＳＣカラーコンポジット信号）は、ＲＧＢデコーダ２０１で三原色のＲ，Ｇ，Ｂ信号に色分解された後（ステップＳ２）、ＡＤ変換器２０２でデジタル信号に変換され、Ｒ，Ｇ，Ｂ画像メモリ２０３に記憶される（ステップＳ３）。
【００１４】
次に、第１の輝度変換処理部２０４は、前記Ｒ，Ｇ，Ｂ画像メモリ２０３に格納されている複数枚（例えば１２８枚）のフレームを構成する各Ｒ，Ｇ，Ｂ画像に対してそれぞれ輝度変換処理を施し、各Ｒ，Ｇ，Ｂ画像をフレーム単位で輝度画像に変換し（ステップＳ４）、第１の輝度画像メモリ２０５に記憶する（ステップＳ５）。
【００１５】
なお、前記輝度画像への変換処理は、例えば、下記（１）〜（４）式のいずれかを用いることにより実現できる。
ｙ＝０．３０ｒ＋０．５９ｇ＋０．１１ｂ（１）
ｙ＝max(ｒ，ｇ，ｂ）（２）
ｙ＝（ｒ＋ｇ＋ｂ）／３（３）
ｙ＝｛max(ｒ，ｇ，ｂ）＋min(ｒ，ｇ，ｂ）｝／２（４）
ただし、ｙ：濃淡輝度値
ｒ：Ｒｅｄ輝度値
ｇ：Ｇｒｅｅｎ輝度値
ｂ：Ｂｌｕｅ輝度値
【００１６】
次に、差分処理部２０６は、第１の輝度画像メモリ２０５に格納されている複数枚の輝度画像中から基準となる初期輝度画像を選択し、この選択した初期輝度画像と他の輝度画像との間で次々に差分処理を行ない、各フレーム毎に初期画像を基準とした差分画像を生成し（ステップＳ６）、差分画像メモリ２０７に記憶する（ステップＳ７）。
【００１７】
次に、Ｒ，Ｇ，Ｂ選択積分処理部２０８は、Ｒ，Ｇ，Ｂ画像メモリ２０３から、前記初期輝度画像に対応するＲ，Ｇ，Ｂ画像と、初期輝度画像との間で第１回目の差分処理を行なった輝度画像に対応するＲ，Ｇ，Ｂ画像を読み出す。そして、前記第１回目の差分処理を行なった輝度画像に対応するＲ，Ｇ，Ｂ画像に対してその差分画像に基づいて重み付けを行ない、この重み付けしたＲ，Ｇ，Ｂ画像を基準となるＲ，Ｇ，Ｂ画像に加算することにより積分処理を行ない、Ｒ，Ｇ，Ｂ積分画像を得る。なお、このような積分を本発明では「選択積分」と呼ぶものとする。
【００１８】
上記第１回目の選択積分処理が終わると、Ｒ，Ｇ，Ｂ選択積分処理部２０８は、Ｒ，Ｇ，Ｂ画像メモリ２０３から次ぎのＲ，Ｇ，Ｂ画像を読み出し、このＲ，Ｇ，Ｂ画像に対応した差分画像を用いて重み付けを行ない、この重み付けしたＲ，Ｇ，Ｂ画像を前記選択積分処理で得られたＲ，Ｇ，Ｂ積分画像に加算し、新たなＲ，Ｇ，Ｂ積分画像を得る。
【００１９】
Ｒ，Ｇ，Ｂ選択積分処理部２０８は、Ｒ，Ｇ，Ｂ画像メモリ２０３に格納されている処理対象とする複数枚のＲ，Ｇ，Ｂ画像のすべてについて上記したと同様の選択積分処理を次々に実行し、処理対象とするすべてのＲ，Ｇ，Ｂ画像を重み付けして積分したＲ，Ｇ，Ｂ積分画像を得る（ステップＳ８）。そして、このようにして最終的に得られた１枚の重み付きＲ，Ｇ，Ｂ積分画像は、Ｒ，Ｇ，Ｂ積分画像メモリ２０９に記憶される（ステップＳ９）。
【００２０】
なお、前記Ｒ，Ｇ，Ｂ選択積分処理部２０８における選択積分処理は、下記（５）〜（８）式を実行することにより実現できる。
【００２１】
【数１】

【００２２】
上記のように差分画像による重み付けを施しながら各Ｒ，Ｇ，Ｂ画像を積分処理した場合、先願発明で問題となっていた画面中の移動物体による画像ぼけをほとんど無くすことができる。すなわち、静止画像の場合には、時間方向に離れた画像同士の差分をとってもその値は０となるが、画面中に移動物体が存在する場合にはその差分は０とならず、初期輝度画像との差分に応じた値となる。
【００２３】
このように差分画像によって重み付けしながら積分処理を行った場合、静止している物体は同じ位置で同じ画像が次々と重ね合わされていくため、積分が進むにつれて画像がより鮮明になっていく一方、移動物体は減衰された画像として重ね合わされていくため、初期輝度画像中に写っている移動物体の初期画像のみが画面中に残り、移動物体が尾を引いてぼけた画像となることが無くなる。例えば、Ｒ信号について説明すると、(5)式の条件から差分画像Ｓｔ＝０の場合、(6)式がＲ＝ｒ₀＋ｒ ₁＋ｒ ₂＋・・・＋ｒ _nとなり、初期輝度画像から所定数の画像の積分が実行される。一方、差分画像Ｓｔ＞Ｔｈ（しきい値）の場合は、Ｒ＝ｒ₀（初期輝度画像）となる。
【００２４】
次に、第２の輝度変換処理部２１０は、上記選択積分処理によって得られた重み付きＲ，Ｇ，Ｂ積分画像に対して、前述した（１）〜（４）式のいずれかによる輝度変換処理を施して輝度画像に変換し（ステップＳ１０）、第２の輝度画像メモリ２１１に記憶する（ステップＳ１１）。
【００２５】
次に、輝度変換処理部２１２は、例えば、ヒストグラム均等化処理によって前記第２の輝度画像メモリ２１１に格納されている輝度画像に対して輝度変換し（ステップＳ１２）、該輝度変換処理によってコントラストを補正された輝度画像を変換画像メモリ２１３に記憶する（ステップＳ１３）。
【００２６】
上記ヒストグラム均等化処理による輝度変換方法を図３に示す。図３（Ａ）は第２の輝度画像メモリ２１１に格納されている輝度変換前の輝度画像の輝度ヒストグラムである。輝度値は８ビット２５６階調で示した。また、図３（Ｂ）は、輝度変換特性曲線である。
【００２７】
図３（Ａ）の輝度ヒストグラムから明らかなように、夜間撮影した駐車場の画像は、輝度レベルの低い暗い階調部分に多くの画素が集中しており、車両や路面などをはっきりと区別することができず、暗くてコントラストの悪い画像となっている。そこで、このような暗くてコントラストの悪い画像に、図３（Ｂ）のような輝度変換特性曲線に従った輝度変換を施してやれば、路面や車両ボディなどの低輝度部分は伸長され、一方、ヘッドライトやテールランプなどの高輝度部分はその輝度が圧縮される。この結果、高輝度部分がハレーションを起こすことがなく、しかも、コントラストのついた階調差のある鮮明な輝度画像に変換することができるものである。
【００２８】
次いで、掛け算器２１４は、Ｒ，Ｇ，Ｂ積分画像メモリ２０９から重み付きＲ，Ｇ，Ｂ積分画像を読み出すとともに、変換画像メモリ２１３から前記輝度変換後の輝度画像を読み出し、これらの画像同士の掛け算をし、輝度補正された最終的な重み付きＲ，Ｇ，Ｂ積分画像を得る（ステップＳ１４）。このようにして得られた輝度補正された最終的な重み付きＲ，Ｇ，Ｂ積分画像は、最終Ｒ，Ｇ，Ｂ画像メモリ２１５に記憶される（ステップＳ１５）。
【００２９】
上記のように、輝度変換後の輝度画像を重み付きＲ，Ｇ，Ｂ積分画像に掛け算して輝度補正してやることにより、元のＲ，Ｇ，Ｂの色比率を損なうことなくカラー画像の感度を向上することでき、ハレーションを起こすことがなく、しかも、コントラストのついた階調差のある鮮明なカラー画像を得ることができる。
【００３０】
最後に、画像処理部３は、上記のようにして得られた輝度補正された最終的な重み付きＲ，Ｇ，Ｂ積分画像に対して所定の画像処理を施し，車両検出対象エリアに存在する駐車車両を検出する（ステップＳ１６）。
【００３１】
なお、上記実施形態は、説明を簡単とするため、画像全体を一括してヒストグラム均等化処理する場合について例示したが、画像内を複数の区画に分割し、各区画毎に前記ヒストグラム均等化処理を施すいわゆる局所的ヒストグラム均等化処理によって輝度変換することもできる。この局所的ヒストグラム均等化処理を用いた場合、最適区画化することにより、背景である暗い路面に駐車した車両であっても路面より明るい車両部分の輝度をより一層向上することができるとともに、ハレーションを起こしているヘッドライトなどの高輝度部分に対してはその輝度を効果的に低減することが可能となり、画面全体を一括してヒストグラム均等化処理する場合に比べ、より車両がはっきりと表出する鮮明な画像を得ることができる。
【００３２】
さらに、輝度変換処理は、上記したヒストグラム均等化処理や局所的ヒストグラム均等化処理に限られるものではなく、例えば、予め多数の撮影画像から平均化して得られた輝度変換特性曲線をテーブルとして用意しておき、このテーブルを参照することによって輝度変換するテーブル変換処理など、その他の公知の処理方法を採用できるものである。
【００３３】
なお、ＲＧＢデコーダの機能を備えたカラーカメラが市販されており、実施の形態のように別にＲＧＢデコーダを設けることは必ずしも必要としない。
【００３４】
また、上記実施形態では、掛け算器２１４で得られる輝度補正された最終的な重み付きＲ，Ｇ，Ｂ積分画像を一旦、最終Ｒ，Ｇ，Ｂ画像メモリ２１５に記憶させるようにしたが、この最終Ｒ，Ｇ，Ｂ画像メモリ２１５は必ずしも必要ではなく、処理速度が許すならば直接画像処理部３に送るようにしてもよいものである。
【００３５】
また、上記実施形態では、駐車場の駐車車両を検出する場合を例にとって説明したが、本発明の適用範囲はこれに限定されるものではなく、道路に停車した車両検出などに適用できるものである。
【００３６】
さらに、本発明は前記したカラー画像に限定されるものではなく、図４に示す白黒画像にも適用できる。なお、図３に示すカラー画像における第１の実施の形態と同一ブロックは同一符号にダッシュを付した。そして、この図４のブロック図の動作は図５に示すフローチャートの通りであり、同じく図２に示す第１の実施の形態におけるフローチャートと近似している動作は同一符号にダッシュを付したので、動作説明については省略する。
【００３７】
【発明の効果】
以上説明したように、本発明に係る車両検出方法と装置によるときは、ヘッドライトやテールランプなどの高輝度部分のハレーションを抑えることができるとともに、低輝度域の車両ボディなどコントラストを強調することができ、しかも、画面中に存在する移動物体が尾を引いて画像ぼけを起こすというようなことも無くすことができる。このため、より正確な車両検出が可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を示すブロック図である。
【図２】前記実施の形態の処理動作のフローチャートである。
【図３】ヒストグラム均等化処理による輝度変換の説明図であって、（Ａ）は輝度変換前のヒストグラム、（Ｂ）は輝度変換特性曲線を示す図である。
【図４】本発明の第２の実施の形態を示すブロック図である。
【図５】前記第２の実施の形態の処理動作のフローチャートである。
【符号の説明】
１カラーカメラ
２車両検出用画像生成部
３画像処理部
２０１ＲＧＢデコーダ
２０２ＡＤ変換機
２０３Ｒ，Ｇ，Ｂ画像メモリ
２０４第１の輝度変換処理部
２０５第１の輝度画像メモリ
２０６差分処理部
２０７差分画像メモリ
２０８Ｒ，Ｇ，Ｂ選択積分処理部
２０９Ｒ，Ｇ，Ｂ積分画像メモリ
２１０第２の輝度変換処理部
２１１第２の輝度画像メモリ
２１２輝度変換処理部
２１３変換画像メモリ
２１４掛け算器
２１５最終Ｒ，Ｇ，Ｂ画像メモリ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a parked vehicle detection method and apparatus used when, for example, a parking lot is photographed to detect a parking situation of a vehicle, and in particular, emphasizes the contrast of a vehicle photographed at night and has high brightness. The present invention relates to a parked vehicle detection method and apparatus that suppresses halation caused by headlights, etc., and that does not cause image blur due to a moving vehicle, headlights, or the like being pulled on the screen.
[0002]
[Prior art]
Conventionally, when monitoring a parked vehicle at night using a camera, simply increasing the amount of incident light lowers the signal-to-noise ratio and at the same time makes vehicle detection impossible due to halation. Many methods for performing vehicle detection are employed. However, information such as headlights and tail lamps is spot-like information, and since the amount of information is small, there is a problem that the detection accuracy is lowered as compared with daytime vehicle detection.
[0003]
Accordingly, the inventors of the present invention have proposed in Japanese Patent Application No. 8-072573 a method and apparatus for detecting a parked vehicle that has solved the above problems as a result of intensive studies. In the prior invention, a vehicle such as a parking lot is photographed, a digital image obtained by digitizing the video signal is integrated in the time axis direction to create an integrated image, and luminance is converted from the integrated image by luminance conversion by histogram equalization processing. A conversion image is created, and a parked vehicle is detected by performing image processing on the brightness conversion image, thereby creating an image that suppresses halation in the high-brightness part and emphasizes the contrast in the low-brightness region. It was possible to improve the vehicle detection accuracy at night.
[0004]
[Problems to be solved by the invention]
However, the prior application invention has the following problems. In other words, the prior invention obtains an integrated image by simply integrating the captured image in the time axis direction. Therefore, if there is a moving object such as a moving vehicle on the screen, the vehicle body, headlight, etc. There was a possibility that the vehicle would be erroneously detected due to a blurred image.
[0005]
The present invention has been made to solve such a problem, and as in the prior application invention, it is possible to suppress the halation of the high-luminance portion and to enhance the contrast of the vehicle in the low-luminance region, It is an object of the present invention to provide a parked vehicle detection method and an apparatus thereof in which a moving vehicle, a headlight, etc. are hardly trailed to cause image blur.
[0006]
[Means for Solving the Problems]
In general, simply integrating an image simply adds a moving body (particularly a vehicle or vehicle light), resulting in a blurred image as described above. Therefore, in order to reduce this phenomenon, the present inventor noticed that there is a luminance difference between the vehicle and the road surface. First, with the captured initial luminance image as a reference, the next luminance image and the initial luminance image are compared . If the difference is small and the difference is small, a selective integration process for adding the luminance values of a predetermined number of images is performed. On the other hand, if the difference is large, a selective integration process using the initial luminance image is performed. By performing this processing in the time axis direction, moving objects that have a large dependency on the initial luminance image with a small luminance difference remain at the same place, and other areas with a large luminance difference from the initial luminance image such as a headlight Since only the initial luminance image remains, the S / N ratio can be improved as in the prior invention. The present invention solves the above-mentioned problems based on such an idea.
[0007]
[Means for Solving the Problems]
The parked vehicle detection method of the present invention achieves the above-mentioned object, and the means of claim 1 integrates an image obtained by digitizing a video signal obtained by photographing a vehicle detection target area in the time axis direction to obtain an integrated image. In the parked vehicle detection method, a brightness-converted image in which a contrast of a low-brightness region is enhanced by brightness conversion processing is generated from the integrated image, and a parked vehicle is detected by image processing of the brightness-converted image. An initial luminance image as a luminance reference is selected from a plurality of luminance images of the converted image, a difference image of luminance between the initial luminance image and each other luminance image is obtained, and the luminance value of the difference image is changed. If there are not any performs a selection integration process of adding the luminance values of the image of a predetermined number from an initial luminance image, also, than the threshold value change in the luminance value of the difference image is set in advance to occur magnitude Case, characterized by creating an integral image by performing the selection integration processing using the initial luminance image.
[0008]
According to a second aspect of the present invention, a color video signal obtained by photographing a vehicle detection target region is converted into R, G, B signals, and R, G, B images composed of the R, G, B signals are converted into luminance images in units of frames. Converting, selecting a reference initial brightness image from the obtained plurality of brightness images, obtaining a difference image between the initial brightness image and each of the other brightness images, and obtaining each difference image When no change occurs in the brightness value, a predetermined number of R, G, B images are added, and when the brightness value of the difference image changes and is greater than a preset threshold value, the initial brightness After performing R, G, B selective integration processing using R, G, B images corresponding to the images, and converting the R, G, B integrated images obtained by the R, G, B selective integration processing into luminance images The luminance image is subjected to a predetermined luminance conversion process, and the luminance image subjected to the luminance conversion and the luminance image , G, B integrated image is multiplied by the luminance image to generate a luminance corrected R, G, B integrated image, and the vehicle is detected using the luminance corrected R, G, B integrated image It is characterized by.
[0009]
According to a third aspect of the present invention, there is provided a color camera for taking a bird's-eye view of a vehicle detection target area, and an AD conversion means for converting R, G, B signals output via the color camera or an R, G, B decoder into digital signals First luminance conversion processing means for converting the digitized R, G, B image into a luminance image for each frame and storing it, and an initial luminance as a reference from the obtained plurality of luminance images Difference processing means for selecting an image and obtaining and storing a difference image between the initial luminance image and each other luminance image, and a predetermined number when the luminance value of each obtained difference image does not change R, G, and B images are added, and when the luminance value of the integrated image changes and is larger than a preset threshold value , the R, G, and B images corresponding to the initial luminance image are used. R, G, B selective integration processing A second luminance conversion processing means for converting the R, G, B integrated image obtained by the R, G, B selective integration processing into a luminance image and storing it, and a predetermined luminance conversion of the converted luminance image A luminance conversion processing means for performing processing and storing, and generating and outputting a luminance-corrected R, G, B integrated image by multiplying the luminance-converted luminance image and the R, G, B integrated image And image processing means for detecting the vehicle by performing predetermined image processing on the R, G, B integral image whose luminance has been corrected.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings in the case of using a color image.
FIG. 1 is a block diagram showing a first embodiment of a parked vehicle detection device according to the present invention configured by applying the method of the present invention. The parked vehicle detection device in the illustrated example detects day and night vehicles in a parking lot, and an image for recognizing a parked vehicle, a color camera 1 that takes a bird's-eye view of the parking lot from above, a vehicle detection image generation unit 2. It is roughly divided into the processing unit 3.
[0011]
The vehicle detection image generation unit 2 converts the color video signal sent from the color camera 1 into R, G, and B primary color signals in units of frames and outputs the signals, and the R, G, and B signals. Is converted into a digital signal, an R, G, B image memory 203 for storing digitized R, G, B images, and R, G, stored in the R, G, B image memory 203 , B a first luminance conversion processing unit 204 that converts a digital image into a luminance image in units of frames, a first luminance image memory 205 that stores the converted luminance image, a reference initial luminance image, and other A difference processing unit 206 that calculates a difference image from the luminance image, and a difference image memory 207 that stores the obtained difference image.
[0012]
Furthermore, based on the result of the difference images stored in the differential image memory 207 R, G, R, which is stored in the B picture memory 203, G, R of the B picture image is weighted by multiplication min, G R, G, B selective integration processing unit 208 for obtaining the B integral image, the R, G, B integral image memory 209 for storing the obtained weighted R, G, B integral image, the weighted R, A second luminance conversion processing unit 210 that performs luminance conversion processing on the G and B integrated images to convert them into luminance images, a second luminance image memory 211 that stores the converted luminance images, and the converted luminances A luminance conversion processing unit 212 that corrects contrast by performing predetermined luminance conversion processing such as histogram equalization processing and local histogram equalization processing on the image; a converted image memory 213 that stores the luminance image after the luminance conversion; The final weighted R, G, and B corrected for luminance by multiplying the luminance-converted luminance image and the weighted R, G, and B integrated images stored in the R, G, B integrated image memory 209. A multiplier 214 for generating a B integral image; and a final R, G, B image memory 215 for storing the final weight-corrected R, G, B integral image whose luminance has been corrected. The vehicle detection image generation unit 2 and the image processing unit 3 described above can be configured by discrete hardware circuits, or can be configured by software circuits using a microcomputer and a processing program.
[0013]
Next, the operation of the parked vehicle detection device configured as described above will be described with reference to the flowchart of FIG.
First, a predetermined parking area of a parking lot to be detected is photographed with the color camera 1 (step S1 in FIG. 2). The captured color video signal (for example, NTSC color composite signal) is separated into R, G, B signals of the three primary colors by the RGB decoder 201 (step S2), and then converted into a digital signal by the AD converter 202. It is stored in the R, G, B image memory 203 (step S3).
[0014]
Next, the first luminance conversion processing unit 204 applies to each of the R, G, B images constituting a plurality of (for example, 128) frames stored in the R, G, B image memory 203. A luminance conversion process is performed to convert each R, G, B image into a luminance image in units of frames (step S4), and stored in the first luminance image memory 205 (step S5).
[0015]
In addition, the conversion process to the said brightness | luminance image is realizable by using either the following (1)-(4) formula, for example.
y = 0.30r + 0.59g + 0.11b (1)
y = max (r, g, b) (2)
y = (r + g + b) / 3 (3)
y = {max (r, g, b) + min (r, g, b)} / 2 (4)
However, y: light / dark luminance value r: Red luminance value g: Green luminance value b: Blue luminance value
Next, the difference processing unit 206 selects a reference initial luminance image from a plurality of luminance images stored in the first luminance image memory 205, and selects the selected initial luminance image and other luminance images. Difference processing is performed one after another, and a difference image based on the initial image is generated for each frame (step S6) and stored in the difference image memory 207 (step S7).
[0017]
Next, the R, G, B selective integration processing unit 208 performs a first time between the R, G, B image corresponding to the initial luminance image and the initial luminance image from the R, G, B image memory 203. R, G, and B images corresponding to the luminance image subjected to the difference processing are read out. Then, the R, G, B image corresponding to the luminance image subjected to the first difference processing is weighted based on the difference image, and the weighted R, G, B image is used as a reference R. , G, B images are added to perform integration processing to obtain R, G, B integrated images. Note that such integration is referred to as “selective integration” in the present invention.
[0018]
When the first selective integration process is completed, the R, G, B selective integration processing unit 208 reads the next R, G, B image from the R, G, B image memory 203, and this R, G, B Weighting is performed using a difference image corresponding to the image, and the weighted R, G, B image is added to the R, G, B integral image obtained by the selection integration process, and a new R, G, B integration is performed. Get an image.
[0019]
The R, G, B selective integration processing unit 208 performs the same selective integration processing as described above for all of a plurality of R, G, B images to be processed stored in the R, G, B image memory 203. One after another, an R, G, B integrated image obtained by weighting and integrating all the R, G, B images to be processed is obtained (step S8). One weighted R, G, B integral image finally obtained in this way is stored in the R, G, B integral image memory 209 (step S9).
[0020]
The selective integration processing in the R, G, B selective integration processing unit 208 can be realized by executing the following equations (5) to (8).
[0021]
[Expression 1]

[0022]
When the R, G, B images are integrated while weighting with the difference image as described above, the image blur caused by the moving object in the screen, which has been a problem in the prior invention, can be almost eliminated. That is, in the case of a still image, even if the difference between images separated in the time direction is taken, the value is 0. However, if there is a moving object on the screen, the difference is not 0, and the initial luminance image It becomes a value according to the difference.
[0023]
When the integration process is performed while weighting with the difference image in this way, the stationary object is overlapped one after another at the same position, so the image becomes clearer as the integration proceeds, Since the moving object is superimposed as an attenuated image, only the initial image of the moving object shown in the initial luminance image remains on the screen, and the moving object does not become a blurred image with a tail. For example, to describe the R signal, if (5) from the condition of equation of the difference image St = 0, (6) formula _{_{R = r 0 + r 1 +}} r 2 + ··· + r n , and the initial luminance image The integration of a predetermined number of images is executed. On the other hand, when the difference image St> Th (threshold value), R = r ₀ (initial luminance image).
[0024]
Next, the second luminance conversion processing unit 210 performs luminance conversion according to any of the above-described formulas (1) to (4) on the weighted R, G, B integral image obtained by the selection integration processing. Processing is performed to convert to a luminance image (step S10), and the luminance image is stored in the second luminance image memory 211 (step S11).
[0025]
Next, the luminance conversion processing unit 212 performs luminance conversion on the luminance image stored in the second luminance image memory 211 by, for example, histogram equalization processing (step S12), and the contrast is converted by the luminance conversion processing. The corrected luminance image is stored in the converted image memory 213 (step S13).
[0026]
A luminance conversion method by the histogram equalization processing is shown in FIG. FIG. 3A is a luminance histogram of the luminance image before luminance conversion stored in the second luminance image memory 211. The luminance value is indicated by 8-bit 256 gradation. FIG. 3B is a luminance conversion characteristic curve.
[0027]
As is clear from the luminance histogram of FIG. 3A, the parking lot image taken at night has many pixels concentrated in the dark gradation portion with a low luminance level, and clearly distinguishes the vehicle and the road surface. The image is dark and has poor contrast. Therefore, if luminance conversion according to the luminance conversion characteristic curve as shown in FIG. 3B is applied to such a dark and poor-contrast image, the low luminance portions such as the road surface and the vehicle body are expanded, The brightness of high-intensity parts such as headlights and tail lamps is compressed. As a result, the high-luminance portion does not cause halation, and can be converted into a clear luminance image having a contrasted gradation difference.
[0028]
Next, the multiplier 214 reads the weighted R, G, B integral image from the R, G, B integral image memory 209, and also reads the luminance image after the luminance conversion from the converted image memory 213. Multiplication is performed to obtain a final weighted R, G, B integral image whose luminance has been corrected (step S14). The final luminance-corrected R, G, B integral image obtained in this way is stored in the final R, G, B image memory 215 (step S15).
[0029]
As described above, the luminance image after luminance conversion is multiplied by the weighted R, G, B integral image to correct the luminance, thereby improving the sensitivity of the color image without impairing the original color ratio of R, G, B. It is possible to improve the color image without causing halation, and to obtain a clear color image with contrast and a gradation difference.
[0030]
Finally, the image processing unit 3 performs predetermined image processing on the final luminance-corrected R, G, B integral image obtained as described above and exists in the vehicle detection target area. A parked vehicle is detected (step S16).
[0031]
In the above embodiment, for simplicity of explanation, the entire image is collectively illustrated as a histogram equalization process. However, the image is divided into a plurality of sections, and the histogram equalization process is performed for each section. Luminance conversion can also be performed by so-called local histogram equalization processing. When this local histogram equalization process is used, the brightness of a vehicle portion brighter than the road surface can be further improved by haphazating even if the vehicle is parked on a dark road surface that is the background by making the optimal sectioning. It is possible to effectively reduce the brightness of high-intensity parts such as headlights that cause the image, and the vehicle appears more clearly than when the entire screen is collectively processed with histogram equalization. A clear image can be obtained.
[0032]
Furthermore, the brightness conversion process is not limited to the above-described histogram equalization process or local histogram equalization process. For example, a brightness conversion characteristic curve obtained by averaging from a large number of captured images is prepared as a table. In addition, other known processing methods such as table conversion processing for luminance conversion by referring to this table can be adopted.
[0033]
Note that color cameras having an RGB decoder function are commercially available, and it is not always necessary to provide an RGB decoder as in the embodiment.
[0034]
Further, in the above embodiment, the final weighted R, G, B integral image with the luminance corrected obtained by the multiplier 214 is temporarily stored in the final R, G, B image memory 215. The final R, G, B image memory 215 is not necessarily required, and may be sent directly to the image processing unit 3 if the processing speed permits.
[0035]
Moreover, although the case where the parked vehicle of the parking lot was detected was described as an example in the above embodiment, the application range of the present invention is not limited to this, and can be applied to detection of a vehicle stopped on a road. is there.
[0036]
Furthermore, the present invention is not limited to the color image described above, and can also be applied to a black and white image shown in FIG. In addition, the same block as the first embodiment in the color image shown in FIG. The operation of the block diagram of FIG. 4 is as shown in the flowchart of FIG. 5, and the operation that is similar to the flowchart of the first embodiment shown in FIG. The explanation of the operation is omitted.
[0037]
【The invention's effect】
As described above, when the vehicle detection method and apparatus according to the present invention are used, it is possible to suppress halation of high-luminance portions such as headlights and tail lamps, and to enhance contrast such as low-luminance vehicle bodies. In addition, it is possible to eliminate the fact that a moving object existing in the screen pulls the tail and causes image blurring. For this reason, more accurate vehicle detection becomes possible.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a first embodiment of the present invention.
FIG. 2 is a flowchart of processing operations of the embodiment.
[Figure 3] is an explanatory view of a luminance conversion by histogram equalization process, (A) is a front luminance conversion histograms, (B) is a diagram showing a luminance conversion characteristic curve.
FIG. 4 is a block diagram showing a second embodiment of the present invention.
FIG. 5 is a flowchart of a processing operation of the second embodiment.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Color camera 2 Vehicle detection image generation part 3 Image processing part 201 RGB decoder 202 AD converter 203 R, G, B image memory 204 1st brightness | luminance conversion process part 205 1st brightness | luminance image memory 206 Difference process part 207 Difference Image memory 208 R, G, B selective integration processing unit 209 R, G, B integration image memory 210 Second luminance conversion processing unit 211 Second luminance image memory 212 Luminance conversion processing unit 213 Conversion image memory 214 Multiplier 215 Final R, G, B image memory

Claims

An integrated image is created by integrating the digitized image of the video signal captured in the vehicle detection target area in the time axis direction, and a brightness-converted image that emphasizes the contrast of the low-brightness area by brightness conversion processing is created from the integrated image. In the parked vehicle detection method for detecting a parked vehicle by performing image processing on the brightness conversion image,
By selecting an initial luminance image as a luminance reference from a plurality of luminance images of the digitized image, a difference image of luminance between the initial luminance image and each other luminance image is obtained, and a luminance value of the difference image If there is no change in the image, a selective integration process is performed in which the luminance values of a predetermined number of images are added from the initial luminance image, and the luminance value of the difference image changes and is greater than a preset threshold value. In this case, the parked vehicle detection method is characterized in that an integrated image is created by performing a selective integration process using the initial luminance image.

A color video signal obtained by photographing a vehicle detection target area is converted into R, G, B signals,
Converting the R, G, B image composed of the R, G, B signals into luminance images in units of frames;
A reference initial luminance image is selected from the obtained plurality of luminance images, and a difference image between the initial luminance image and each of the other luminance images is obtained,
When there is no change in the luminance value of each obtained difference image, a predetermined number of R, G, B images are added, and the luminance value of the difference image changes and exceeds a preset threshold value. If larger, R, G, B selective integration processing using R, G, B images corresponding to the initial luminance image is performed,
After converting the R, G, B integrated image obtained by the R, G, B selective integration processing into a luminance image, the luminance image is subjected to predetermined luminance conversion processing,
A luminance-corrected R, G, B integrated image is generated by multiplying the luminance-converted luminance image and the luminance image of the R, G, B integrated image;
A parked vehicle detection method, characterized in that a vehicle is detected using the luminance-corrected R, G, B integral image.

A color camera for bird's-eye view of the vehicle detection target area;
AD conversion means for converting R, G, B signals output via the color camera or R, G, B decoder into digital signals;
First luminance conversion processing means for converting the digitized R, G, B images into luminance images for each frame and storing them;
A difference processing means for selecting a reference initial luminance image from the plurality of obtained luminance images and obtaining and storing a difference image between the initial luminance image and each of the other luminance images;
When there is no change in the luminance value of each obtained difference image, a predetermined number of R, G, B images are added, and the luminance value of the integrated image changes and is larger than a preset threshold value. R, G, B selective integration processing means for performing R, G, B selective integration processing using R, G, B images corresponding to the initial luminance image,
Second luminance conversion processing means for converting the R, G, B integrated image obtained by the R, G, B selective integration processing into a luminance image and storing it;
A luminance conversion processing means for performing a predetermined luminance conversion process on the converted luminance image and storing the luminance image;
Multiplying means for generating and outputting a brightness-corrected R, G, B integrated image by multiplying the brightness-converted brightness image and the R, G, B integrated image;
A parking vehicle detection apparatus comprising: image processing means for detecting a vehicle by performing predetermined image processing on the luminance-corrected R, G, B integral image.