WO2015015582A1

WO2015015582A1 - 画像ノイズ低減装置、撮像装置並びに車載情報システム

Info

Publication number: WO2015015582A1
Application number: PCT/JP2013/070687
Authority: WO
Inventors: 雄一野中; 塩川　淳司
Original assignee: 日立マクセル株式会社
Priority date: 2013-07-31
Filing date: 2013-07-31
Publication date: 2015-02-05

Abstract

　ノイズが少なく視認性の良い画像を取得することができる、画像のノイズ低減装置及びそれを用いた撮像装置を提供する。　画像信号を入力し少なくとも二つ以上の第１の周波数成分と第２の周波数成分に分離する周波数分離手段と、該周波数分離手段から出力された第１の周波数成分に対してフレーム間相関により所定の比率でフィルタリングを行うフレーム間フィルタと、該フレーム間フィルタから出力された第１の周波数成分と前記周波数分離手段から出力された第２の周波数成分とを合成して画像信号を生成し出力する合成手段と、で構成する。

Description

画像ノイズ低減装置、撮像装置並びに車載情報システム

　本発明は、画像ノイズ低減装置、撮像装置並びに車載情報システムに関する。

　本技術分野の背景技術として、特許文献１がある。該公報には、「ノイズ成分を抽出するための画像を、意図的にデフォーカス状態時に撮影した画像とし、これらの画像に対し周波数領域変換手段１０２により周波数変換を行いノイズ成分抽出手段１０３でノイズ成分を抽出することにより、カメラ固有のノイズ成分をノイズ成分除去手段１０５で除去する。これにより、ＣＣＤ電荷の揺らぎなどによるノイズ（ショットノイズ）、ＣＣＤ読み出し動作によるノイズ（リセットノイズ）、アンプによるノイズを検出することが可能となる」と記載されている。

特開２００７－２７４０６４公報

　カメラで撮影した画像において、特に暗所で撮影した画像は、カメラ固有のイメージセンサや読み出し回路などのデバイスにおいてノイズが重畳され、視認性が悪化することで知られている。本発明は、上記撮影画像のノイズを抑制し、より高視認性かつ高精細な画像を得るための、画像ノイズ低減装置、撮像装置並びに車載情報システムを提供するものである。

　本願において開示される発明のうち代表的なものの概要を簡単に説明すれば次の通りである。
（１）入力画像信号を互いに異なる第一の周波数成分の信号と第二の周波数成分の信号とに分離する分離手段と、前記分離手段により分離された前記第一の周波数成分の信号に対してフレーム間相関によりフィルタリングを行うフレーム間フィルタと、前記フレーム間フィルタによりフィルタリングされた第一の周波数成分の信号と前記周波数分離手段により分離された前記第二の周波数成分の信号とを合成して出力画像信号を生成し出力する合成手段と、を有することを特徴とする画像ノイズ低減装置である。
（２）被写体からの光を所定の焦点距離で結像するレンズと、前記レンズを介した被写体からの光を光電変換し信号として出力する撮像素子と、前記撮像素子からの信号に対して所定の画像信号処理を行い画像信号として出力する画像信号処理手段と、前記画像信号処理手段からの画像信号を前記入力画像信号としてノイズ低減処理を行う（１）記載の画像ノイズ低減装置と、を有することを特徴とする撮像装置である。
（３）（２）記載の撮像装置と、前記撮像装置から出力された画像信号に対して画像信号解析を行い所定の情報を抽出する画像認識手段と、前記画像認識手段からの情報に応じて所定の警報を発する警報手段と、を有することを特徴とする車載情報システムである。

　本発明によれば、撮影画像のノイズを抑制し、より高視認性かつ高精細な画像を得ることが可能な、画像ノイズ低減装置、撮像装置並びに車載情報システムを提供することができる。

第一の実施例の画像ノイズ低減装置を示す図である。周波数分離手段の一例を示す図である。フレーム間フィルタの一例を示す図である。フレーム間フィルタにおける混合率特性の一例を示す図である。第一の実施例の画像ノイズ低減装置の変形例を示す図である。第二の実施例の画像ノイズ低減装置を示す図である。第三の実施例の画像ノイズ低減装置を示す図である。第四の実施例の画像ノイズ低減装置を示す図である。第五の実施例の撮像装置を示す図である。画像間フィルタの一例を示す図である。第六の実施例の撮像装置を示す図である。第七の実施例の車載情報システムを示す図である。

　以下、本発明の実施形態について、図面を用いて詳細に説明する。

　図１は、画像ノイズ低減装置の第一の実施例を示すものであり、周波数分離手段１０１と、フレーム間フィルタ１０２と、メモリ１０３と、合成手段１０４とを適宜用いて構成される。

　周波数分離手段１０１は、画像信号を入力し、少なくとも２種類以上の周波数の信号に変換するものとし、例えば高周波信号と低周波信号の２種類の信号に分離し出力する。周波数分離手段として、例えば図２に示すように、入力画像信号に帯域制限フィルタ２０１を適用して低周波信号を抽出し、さらに減算器２０２にて帯域制限フィルタ２０１から出力される低周波信号を入力画像信号から減算することで高周波信号を生成できる。尚、ＤＣＴやＦＦＴ、ウェーブレット等の周波数変換手段により低周波信号と高周波信号を生成するようにしてもよい。また、周波数分離手段１０１は、動画像あるいは連写静止画像など、複数のフレーム画を連続的に入力して順次周波数分離を行う。ここで入力する画像信号は、被写体の像を信号で表したものであればよく、ＲＧＢ信号、色信号または輝度信号またはその両方、可視光線や赤外線、Ｘ線、ミリ波など所定の光の波長を光電変換した信号などである。なお、ここでは高周波信号と低周波信号の２種類の信号に分離する例を示すが、これに限られず、３種類以上の信号に分離するような構成としても構わない。

　フレーム間フィルタ１０２は、フレーム間相関によりフィルタリングを行う手段であり、所定のフレーム目（Ｎフレーム目）に入力された入力画像信号の低周波信号と、メモリ１０３に保存された過去入力したフレーム目（Ｎ－ｘフレーム目：ｘ≧1）の入力画像信号の低周波信号とを所定比率で混合することでノイズを除去するものである。

　ここで、フレーム間フィルタ１０２を用いて、所定の比率で混合しノイズを除去する方法の一例について、図３、図４を用いて説明する。図３は、フレーム間フィルタ１０２の具体的な構成例を示すものであり、差分絶対値演算部３０１、混合率演算部３０２、混合部３０３を適宜用いて構成される。図３に示すように、Ｎフレーム目の低周波信号をＡ、Ｎ－ｘフレーム目の低周波信号をＢとすると、差分絶対値演算部３０１では、
（数１）Ｃ＝｜Ａ－Ｂ｜
なる演算を行い、ＡとＢの差分絶対値であるＣを出力する。次に、混合率演算部３０２では、所定の関数変換
（数２）Ｄ＝Ｆ（Ｃ）
なる演算を行い、混合率Ｄを出力する。次に、混合部３０３では、
（数３）Ｅ＝Ａ×Ｄ＋Ｂ×（１－Ｄ）
なる演算を行い、ＡとＢの信号を所定の比率Ｄで混合した低周波信号Ｅを出力する。

　混合率演算部３０２における所定の関数変換Ｆ（Ｃ）は、例えば図４に示すように、混合率Ｄの最大値を１としたとき、ＡとＢの差分絶対値であるＣの値が小さいほど混合率Ｄの値が大きくなる信号に変換すればよい。このように、混合率Ｄはフレーム間信号レベルの差に基づいて決定される。上記構成とすることで、フレーム間の低周波信号の差が小さい画素、即ちフレーム間において被写体の動きが無いもしくはその可能性が低い画素はフレーム間フィルタが強くなり、フレーム間の低周波信号の差が大きい画素、即ちフレーム間において被写体の動きがあるもしくはその可能性が高い画素はフレーム間フィルタが弱くなる。よって、被写体の動きによる残像を抑制しつつ効果的にノイズを除去することができる。

　メモリ１０３は、前述の通り、所定のフレーム目（Ｎフレーム目）を入力している際、過去入力したフレーム目（Ｎ－ｘフレーム目：ｘ≧1）の入力画像信号の低周波信号を保存しておくデータ保存領域である。尚、図１では、過去入力したフレーム目（Ｎ－ｘフレーム目：ｘ≧1）の入力画像信号の低周波信号として、フレーム間フィルタ１０２の出力信号をメモリ１０３へ保存する構成としているが、所定のフレーム目（Ｎフレーム目）と過去入力したフレーム目（Ｎ－ｘフレーム目：ｘ≧1）の各々の低周波信号についてフレーム間フィルタを適用できる構成であればよい。例えば、周波数分離手段１０１の出力である低周波信号をメモリ１０３へ保存する構成であってもよい。また、第一の実施例の変形例として、例えば、図５に示すように、合成手段１０４からの信号を保存し、低周波信号生成手段５０１を設け、メモリ１０３から読み出した画像信号に対して低周波信号を生成してフレーム間フィルタ１０２に接続する構成であってもよい。

　合成手段１０４は、周波数分離手段１０１から出力された高周波信号と、フレーム間フィルタから出力された低周波信号を逆変換して画像信号に戻すものである。例えば、周波数分離手段１０１において、図２で示す構成で高周波信号と低周波信号を生成した場合、各々を加算することで出力画像信号を得る。また、ＤＣＴやＦＦＴを用いた場合は、逆ＤＣＴや逆ＦＦＴにより画像信号を得る。
上記実施例１の構成とすれば、画像に重畳されたランダムノイズのうち、特に視感度が高い低周波ノイズのみを重点的に除去することができる。

　また、画像信号における被写体の信号成分のうち高周波成分をＳＨ、低周波成分をＳＬとし、画像信号におけるノイズ信号成分のうち高周波成分をＮＨ、低周波成分をＮＬとする。ここで、例えば、
（数４）ＳＬ＝ＳＨ
が成り立つ被写体を撮像した場合において、光学レンズを解して撮像素子にて撮像した画像信号においては、光学レンズの周波数特性により高周波が所定量減衰することから、
（数５）ＳＬ＞ＳＨ
となる。一方、撮像素子にて重畳されるノイズ成分においてホワイトノイズ成分が支配的であるとするならば、
（数６）ＮＬ＝ＮＨ
となる。
従って、画素信号である、
（数７）ＳＬ＋ＳＨ＋ＮＬ＋ＮＨ
よりも、画像信号の低周波成分である
（数８）ＳＬ＋ＮＬ
のほうが、より被写体の信号の比率が高くノイズ成分の信号の比率が低い。実施例１の構成では、画像信号の低周波成分を抽出し、該低周波成分のフレーム間差分の絶対値を基に被写体の動き検出を行う構成としており、画素間の信号レベルのフレーム間差分の絶対値を基に被写体の動き検出を行う構成に比べて、ノイズの影響を受けにくく高精度に検出可能である。従って、動きのある被写体の残像を抑制しつつノイズを効果的に除去できる。

　また、被写体の動きによる残像が発生した場合の視感度は、高周波成分よりも低周波成分のほうが低い。したがって上記実施例１の構成とすれば、フレーム間フィルタにおいて、被写体の動きによる残像が発生した場合の視感度が低い画像信号における低周波成分のみフレーム間相関により混合する構成としたことにより、画素間の信号をフレーム間相関により混合する方式に比べて、被写体の残像を目立たなくすることができる。

　また、上記実施例１の構成とすれば、動画像あるいは連写静止画像など、複数のフレーム画を連続的に入力して処理することができ、フォーカスをぼかした画像や光を遮断した状態で撮影した画像を取得することなくノイズ低減が可能である。

　図６は、画像ノイズ低減装置の第二の実施例を示す。本実施例の画像ノイズ低減装置は、実施例１における低周波信号と高周波信号の生成について、周波数を分離手段として、縮小処理手段と、拡大処理手段と、減算手段を利用した点を特徴とする。具体的には、実施例２の画像ノイズ低減装置は、第一縮小処理手段６０１、第一拡大処理手段６０２、第二縮小処理手段６０３、第二拡大処理手段６０４、フレーム間フィルタ１０２、減算器６０５、加算器６０６を適宜用いて構成される。

　第一縮小処理手段６０１は、画像信号を入力し、縮小画像の生成を行い出力する。第一拡大処理手段６０２は、第一縮小処理手段６０１から出力される縮小画像に対して拡大処理を行う。この第一縮小処理手段６０１による縮小処理と第一拡大処理手段６０２による拡大処理とにより処理された出力信号は、入力画像信号における低周波成分の信号となる。減算器６０５は、入力画像信号から第一拡大処理手段６０２より出力された低周波成分の信号を減算することで、高周波成分の信号を出力する。第一縮小処理手段６０１、第一拡大処理手段６０２、減算器６０５により、動画像あるいは連写静止画像など、複数のフレーム画を連続的に入力して順次低周波信号と高周波信号を生成するものである。

　フレーム間フィルタ１０２は、フレーム間相関によりフィルタリングを行う手段であり、所定のフレーム目（Ｎフレーム目）に入力された入力画像信号の低周波信号と、メモリ１０３に保存された過去入力したフレーム目（Ｎ－ｘフレーム目：ｘ≧1）の入力画像信号の低周波信号とを所定比率で混合することでノイズを除去するものである。ここで、過去入力したフレーム目（Ｎ－ｘフレーム目：ｘ≧1）の入力画像信号の低周波信号は、第二縮小処理手段６０３にて縮小された縮小画像をメモリ１０３に保存しておき、これを第二拡大処理手段６０４により拡大処理を行うことで取得する。所定の比率で混合する方法は、実施例1に記載のものであればよい。

　加算器６０６は、前記減算器６０５から出力された高周波信号と、前記フレーム間フィルタ１０２にてノイズ除去がなされた低周波信号を加算することで、低周波ノイズが除去された出力画像信号を出力する。

　メモリ１０３は前述の通り、所定のフレーム目（Ｎフレーム目）を入力している際、過去入力したフレーム目（Ｎ－ｘフレーム目：ｘ≧1）の入力画像信号の縮小画像を保存しておくデータ保存領域である。尚、図６では、過去入力したフレーム目（Ｎ－ｘフレーム目：ｘ≧1）の入力画像信号の低周波信号として、出力画像信号を第二縮小処理手段６０３にて縮小後の信号をメモリ１０３へ保存する構成としているが、フレーム間フィルタ１０２からの出力信号に対して第二縮小処理手段６０３にて縮小処理を行い、メモリ１０３へ保存する構成であってもよい。

　上記実施例２の構成とすれば、過去のフレーム画像について縮小した画像をメモリに保存しておく構成としたことにより、画像信号をそのままメモリへ保存しておく方式や、画像信号の所定の周波数成分を保存しておく方式に比べて、画像を保持するメモリの容量を大幅に削減することができ、回路規模の削減、電力の削減、メモリ実装面積の削減に効果がある。なお、上記実施例２におけるその他の効果は、実施例１に記載のものと同様である。

　図７は、画像ノイズ低減装置の第三の実施例を示す。本実施例における画像ノイズ低減装置は、第一縮小処理手段６０１、第一拡大処理手段６０２、第二拡大処理手段６０４、減算器６０５、加算器６０６、処理レート変換バッファ手段７０１、フレーム間フィルタ１０２、メモリ１０３を適宜用いて構成される。

　第一縮小処理手段６０１は、画像信号を入力し、縮小画像の生成を行い出力する。第一拡大処理手段６０２は、第一縮小処理手段６０１からの縮小画像に対して拡大処理を行う。この第一縮小処理手段６０１による縮小処理と第一拡大処理手段６０２による拡大処理とにより処理された出力信号は、入力画像信号における低周波成分の信号となる。減算器６０５は、入力画像信号から第一拡大処理手段６０２より出力された低周波成分の信号を減算することで、高周波成分の信号を出力する。第一縮小処理手段６０１、第一拡大処理６０２、減算器６０５により、動画像あるいは連写静止画像など、複数のフレーム画を連続的に入力して順次低周波信号と高周波信号を生成するものである。

　フレーム間フィルタ１０２は、フレーム間相関によりフィルタリングを行う手段であり、所定のフレーム目（Ｎフレーム目）に入力された入力画像信号の縮小画像と、メモリ１０３に保存された過去入力したフレーム目（Ｎ－ｘフレーム目：ｘ≧1）の入力画像信号の縮小画像とを所定比率で混合することでノイズを除去するものである。所定の比率で混合する方法は、実施例1に記載のものであればよい。

　第二拡大処理手段６０４は、フレーム間フィルタ１０２でノイズ除去された縮小画像に対し拡大処理を施し、低周波成分の信号を出力する。ここで、本実施例では、縮小後処理されるフレーム間フィルタ及びメモリは、それ以外の手段と処理量が異なることから、処理レート変換バッファ手段７０１を設け、各画像信号と同期させる構成とする。

　加算器６０６は、減算器６０５から出力された高周波信号と、第二拡大処理手段６０４から出力されたノイズ除去後の低周波信号とを加算することで、出力画像信号を生成し出力する。

　上記実施例３の構成とすれば、フレーム間フィルタを縮小画像で処理することができ、処理量の削減と消費電力の削減が可能となる。また、実施例２の構成に対して、第二縮小処理手段６０３を省くことができる。なお、上記実施例３におけるその他の効果は、実施例１または実施例２に記載のものと同様である。

　図８は、画像ノイズ低減装置の第四の実施例を示す。本実施例における画像ノイズ低減装置は、実施例２の構成に対してさらにフレーム内空間フィルタ８０１を追加した構成であり、第一縮小処理手段６０１、第一拡大処理手段６０２、第二縮小処理手段６０３、第二拡大処理手段６０４、減算器６０５、加算器６０６、メモリ１０３、の各々については、実施例２に記載のものと同様である。

　フレーム内空間フィルタ８０１は、減算器６０５から出力された画像信号の高周波成分の信号に対して、画像間相関性を用いた空間フィルタである。フレーム内空間フィルタ８０１は、ローパスフィルタなどの帯域制限フィルタや、メディアンフィルタ、バイラテラルフィルタなど、高周波のノイズ成分を低減するフィルタであればよい。

　フレーム内空間フィルタ８０１により画像信号の低周波成分のノイズを除去する場合、フィルタサイズを大きくする必要があり演算処理コストが大きくなるという課題があった。一方、フレーム間相関性を用いて画素単位で混合することによりすべての周波数成分におけるノイズを除去するフレーム間フィルタの場合、過去の画像を保存しておくメモリが必要となり、演算に必要なメモリ容量が大きくなるという課題があった。

　そこで、本実施例４の構成とすることにより、画像信号における低周波のノイズはフレーム間相関性を用いたフレーム間フィルタで除去を行うことができ、且つ縮小画像をメモリへ保存する方式としたことでメモリ容量を抑えることができる。また、画像信号における高周波のノイズはフレーム内空間フィルタで除去を行うことができ、且つ高周波のノイズのみ除去する方式としたことでフレーム内空間フィルタのフィルタサイズを小さくすることができる。よって、演算処理コスト、演算に必要なメモリ容量を抑えつつ、効果的な画像ノイズ除去が可能となる。なお、上記実施例４におけるその他の効果は、実施例１または実施例２または実施例３に記載のものと同様である。

　なお、低周波のノイズ信号はフレーム間フィルタにより除去し、高周波のノイズ信号はフレーム内空間フィルタで除去する構成とできればよく、実施例２だけではなく実施例１あるいは３でも同様の構成とすることができる。例えば実施例１に記載の周波数分離手段１０１から出力された高周波信号に対してフレーム内空間フィルタ８０１を適用する構成であってもよい。

　図９は、第五の実施例を示す。本実施例における撮像装置は、第一レンズ９０２、第一撮像素子９０３、第二レンズ９０３、第二撮像素子９０４、第一周波数分離手段１０１－１、第二周波数分離手段１０１－２、画像間フィルタ９０１、第一合成手段１０４－１、第二合成手段１０４－２を適宜用いて構成される。

　被写体の光は第一レンズ９０２を介して結像し、第一撮像素子９０３にて光電変換が行われ画像信号として出力される。同様に、被写体の光は第二レンズ９０４を介して結像し、第二撮像素子９０５にて光電変換が行われ画像信号として出力される。本実施例における撮像装置はステレオカメラであり、第一レンズ９０２および第一撮像素子９０３とを用いて構成される撮像部を左側撮像部９０６とし、第二レンズ９０４および第二撮像素子９０５とで構成される撮像部を右側撮像部９０７とし、左側撮像部９０６と右側撮像部９０７とは各々視差を付けて配置される。第一撮像素子９０３および第二撮像素子９０５は各々同期して動作し、画像信号を順次周波数分離手段１０１－１、１０１－２にそれぞれ出力する。ここで第一撮像素子９０３および第二撮像素子９０５はモノクロ信号を出力するものでよく、単板カラー撮像素子であった場合は、第一撮像素子９０３および第二撮像素子９０５からの画像信号を用いてＲＧＢ信号あるいは色・輝度信号を生成する信号処理手段を具備し、信号処理手段からのＲＧＢ信号あるいは色・輝度信号を周波数分離手段１０１－１、１０１－２へ接続する構成であってもよい。
周波数分離手段１０１－１、１０１－２は、画像信号を少なくとも２つ以上の周波数成分に分離するものであり、実施例１に記載のものと同じであればよい。

　画像間フィルタ９０１は、周波数分離手段１０１－１、１０１－２により生成された第一入力画像信号の低周波成分の信号と第二入力画像信号の低周波成分の信号とを、左右撮像部間の視差に応じて所定比率で混合することでノイズを除去し、第一入力画像信号に対するノイズ除去後の低周波成分の信号と、第二入力画像信号に対するノイズ除去後の低周波成分の信号とを出力する。

　ここで、画像間フィルタ９０１を用いて、所定の比率で混合しノイズを除去する方法の一例について、図１０、図４を用いて説明する。図１０は、画像間フィルタ９０１の具体的な構成例を示すものであり、差分絶対値演算部１００１、混合率演算部１００２、第一混合部１００３、第二混合部１００４を適宜用いて構成される。図１０に示すように、第一入力画像信号に対するノイズ除去後の低周波信号をＡ、第二入力画像信号に対するノイズ除去後の低周波信号をＢとすると、差分絶対値演算部１００１では、
（数９）Ｃ＝｜Ａ－Ｂ｜
なる演算を行い、ＡとＢの差分絶対値であるＣを出力する。次に、混合率演算部１００２では、所定の関数変換
（数１０）Ｄ＝Ｆ（Ｃ）
なる演算を行い、混合率Ｄを出力する。次に、第一混合部１００３では、
（数１１）Ｅ＝Ａ×Ｄ＋Ｂ×（１－Ｄ）
なる演算を行い、ＡとＢの信号を所定の比率Ｄで混合した第一入力画像信号に対するノイズ除去後の低周波信号Ｅを出力する。同様に、第二混合部１００４では、
（数１２）Ｆ＝Ａ×（１－Ｄ）＋Ｂ×Ｄ
なる演算を行い、ＡとＢの信号を所定の比率Ｄで混合した第二入力画像信号に対するノイズ除去後の低周波信号Ｆを出力する。

　混合率演算部１００２における所定の関数変換Ｆ（Ｃ）は、例えば図４に示すように、混合率Ｄの最大値を１としたとき、ＡとＢの差分絶対値であるＣの値が小さいほど混合率Ｄの値が大きくなる信号に変換すればよい。上記構成とすることで、左右の撮像部間の画像信号の低周波信号の差が小さい画素、即ち視差が無いもしくはその可能性が低い画素は画像間フィルタが強くなり、左右の撮像部間の画像信号の低周波信号の差が大きい画素、即ち視差あるもしくはその可能性が高い画素は画像間フィルタが弱くなる。よって、視差の差分信号を残しつつ効果的にノイズを除去することができる。

　合成手段１０４－１、１０４－２は、周波数分離手段１０１－１、１０１－２各々からの高周波成分の信号と、画像間フィルタ９０１からの対応する低周波成分の信号とを合成し出力画像信号として出力するものであり、実施例１に記載のものであればよい。

　上記実施例５の構成とすれば、各々視差を付けて２つのカメラを配列したステレオカメラにおいて、左側撮像部９０６で撮像された画像信号と右側撮像部９０７で撮像された画像信号の各々に対して、視差の差分信号を残しつつ、且つ動きのある被写体の残像を発生させることなく、低周波成分のノイズを効果的に除去することができる。
また、左右の撮像部からの画像信号の各々について、個別に前記実施例１～４に記載のノイズ低減装置によりノイズ低減を行う構成に比べて、処理コストを小さくできる。

　また、低周波画像信号は高周波画像信号に比べて、左右カメラ間の視差による信号レベルの差が小さい。したがって、画素単位の信号差分から画像間相関性を判定する方法に比べ、左右カメラ間の視差による影響が小さくなる。したがって本発明の実施例５における構成であれば、周波数分離手段にて左右撮像部間の視差に起因する信号レベルの差が小さい画像信号の低周波成分を抽出し、画像間フィルタにて該低周波成分を用いて画像間相関性を用いてフィルタリングを行うことにより、左右撮像部間の視差がある画像を混合したことによる弊害を抑制しつつ効果的なノイズ除去が可能となる。なお、上記実施例５におけるその他の効果は、実施例１～４に記載のものと同様である。

　図１１は、第六の実施例を示す。本実施例における撮像装置は、前記実施例１～４で説明した画像ノイズ低減装置のいずれか一つをノイズ低減装置１１０４とし、さらにレンズ１１０１と撮像素子１１０２と画像信号処理手段１１０３とを適宜用いて構成される。

　被写体の光はレンズ１１０１を介して結像し、撮像素子１１０２にて光電変換が行われた信号を出力し、撮像素子１１０２からの信号に対して所定の画像信号処理を行い画像信号として出力する画像信号処理手段を有し、画像処理手段からの出力信号である画像信号は、ノイズ低減装置に接続される。ここで信号処理手段１１０３はモノクロ信号を出力するものでもよく、撮像素子１１０２が少なくとも２種類以上の光の波長帯域に対応する信号を出力する撮像素子であった場合は、ＲＧＢ信号あるいは色・輝度信号を生成するものであってもよい。上記構成によれば、動きのある被写体の残像を抑制しつつノイズを効果的に除去し、視認性の高い映像を出力することができる撮像装置を提供できる。それ以外の効果に関しても、上記で述べたが画像ノイズ低減装置と同様である。

　図１２は、第七の実施例を示す。本実施例における車載情報システムは、前記実施例５および６で説明した撮像装置を、撮像装置１２０１とし、さらに画像認識手段１２０２と警告手段１２０３とを適宜用いて構成される。

　撮像装置１２０１の機能は、前記実施例５および６で説明したものであればよい。撮像装置１２０１は、車両に搭載されるものである。

　画像認識手段１２０２は、撮像装置からの出力であるノイズ除去後の画像信号に対して画像信号解析を行い所定の情報を抽出して出力する手段である。ここで、所定の情報とは例えば画像信号から車道の白線あるいは黄線を検出し、撮像装置１２０１が搭載された車両が前記車道の白線あるいは黄線を逸脱したか否かを判定し、その判定結果を出力するものである。また、所定の情報とは例えば、画像信号から車道に設置された標識あるいは信号機を検出し、撮像装置１２０１が搭載された車両が前記車道に設置された標識あるいは信号機に応じて走行がなされているか否かを判定し、その判定結果を出力するものである。また、所定の情報とは例えば、画像信号から人物あるいは障害物あるいは前方を走る車両等を検出し、撮像装置１２０１が搭載された車両と衝突する危険があるか否かを判定し、その判定結果を出力するものである。

　警告手段１２０３は、画像認識手段１２０２からの情報に応じて所定の警報を発する手段である。ここで、所定の警報とは例えば、音声によりアラームを発するものである。また、所定の警報とは例えば、光の点滅によりアラームを発するものである。また、所定の警報とは例えば、前記撮像装置１２０１から出力される画像信号に対して、文字や所定のオブジェクト画像を重畳し、ディスプレイに表示するものである。

　上記構成によれば、ノイズ低減装置を備えた撮像装置１２０１においてノイズの少ない画像を取得でき、画像認識手段１２０２においてノイズに影響されること無く高精度に情報を抽出することができ、警報手段１２０３にてより高精度に警報を発することができる車載情報システムを提供できる。なお、本実施例では撮像装置１２０１を有するとしたが、実施例１～４に記載のノイズ低減装置であってもよい。

　また、本実施例では撮像装置１２０１は車両に搭載されるものとしたが、例えば公共の場に設置し、該撮像装置１２０１で取得した画像信号をネットワークを介して車両へ伝送し、該ネットワークを介して伝送された画像信号を基に前記画像認識手段１２０２により所定の情報を抽出する構成であってもよい。上記構成によれば、各車両に対して個別に撮像装置を搭載する必要が無く、例えば事故の多く危険な場所にのみ撮像装置を設置すればよく、コストの削減が可能となる。

　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

　また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０１・・・周波数分離手段
１０２・・・フレーム間フィルタ
１０３・・・メモリ
１０４・・・合成手段
２０１・・・帯域制限フィルタ
２０２・・・減算器
３０１・・・差分絶対値演算部
３０２・・・混合率演算部
３０３・・・混合部
５０１・・・低周波信号生成手段
６０１・・・第一縮小処理手段
６０２・・・第一拡大処理手段
６０３・・・第二縮小処理手段
６０４・・・第二拡大処理手段
６０５・・・減算器
６０６・・・加算器
７０１・・・処理レート変換バッファ手段
８０１・・・フレーム内空間フィルタ
９０１・・・画像間フィルタ
９０２・・・第一レンズ
９０３・・・第一撮像素子
９０４・・・第二レンズ
９０５・・・第二撮像素子
１００１・・・差分絶対値演算部
１００２・・・混合率演算部
１００３・・・第一混合部
１００４・・・第二混合部
１１０１・・・レンズ
１１０２・・・撮像素子
１１０３・・・画像信号処理手段
１１０４・・・ノイズ低減装置
１２０１・・・撮像装置
１２０２・・・画像認識手段
１２０３・・・警報装置

Claims

入力画像信号を互いに異なる第一の周波数成分の信号と第二の周波数成分の信号とに分離する分離手段と、
前記分離手段により分離された前記第一の周波数成分の信号に対してフレーム間相関によりフィルタリングを行うフレーム間フィルタと、
前記フレーム間フィルタによりフィルタリングされた第一の周波数成分の信号と前記周波数分離手段により分離された前記第二の周波数成分の信号とを合成して出力画像信号を生成し出力する合成手段と、
を有することを特徴とする画像ノイズ低減装置。
請求項１記載の画像ノイズ低減装置であって、
前記フレーム間フィルタは、前記分離手段から出力された前記第一の周波数成分の信号のフレーム間信号レベルの差に基づいて決定された混合率に応じてフィルタリングを行うことを特徴とする画像ノイズ低減装置。
請求項１又は２記載の画像ノイズ低減装置であって、
前記分離手段は、
前記入力画像信号に対して縮小処理を行うことで縮小画像信号を生成する縮小処理手段と、
前記縮小処理手段にて生成された縮小画像信号に対して拡大処理を行うことで前記第一の周波数成分の信号を生成して出力する拡大処理手段と、
前記入力画像信号から前記拡大処理手段から出力される前記第一の周波数成分の信号を減算処理して前記第二の周波数成分の信号を生成する減算手段と、
を有することを特徴とする画像ノイズ低減装置。
請求項３記載の画像ノイズ低減装置であって、
さらに、前記縮小画像信号を保存する画像メモリと、
を有することを特徴とする画像ノイズ低減装置。
請求項３又は４記載の画像ノイズ低減装置であって、
さらに、前記縮小画像信号と前記入力画像信号および前記第一の周波数成分の信号および前記第二の周波数成分の信号および前記出力画像信号との処理を同期させる処理レート変換バッファ手段と、
を有することを特徴とする画像ノイズ低減装置。
請求項１乃至５のいずれかに記載の画像ノイズ低減装置であって、
さらに、前記分離手段から出力された前記第二の周波数成分の信号に対して画素間の相関性により画像のノイズを低減するフレーム内空間フィルタと、
を有することを特徴とする画像ノイズ低減装置。
被写体からの光を所定の焦点距離で結像するレンズと、
前記レンズを介した被写体からの光を光電変換し信号として出力する撮像素子と、
前記撮像素子からの信号に対して所定の画像信号処理を行い画像信号として出力する画像信号処理手段と、
前記画像信号処理手段からの画像信号を前記入力画像信号としてノイズ低減処理を行う前記請求項１から６のいずれかに記載の画像ノイズ低減装置と、
を有することを特徴とする撮像装置。
前記請求項７記載のいずれかの撮像装置と、
前記撮像装置から出力された画像信号に対して画像信号解析を行い所定の情報を抽出する画像認識手段と、
前記画像認識手段からの情報に応じて所定の警報を発する警報手段と、
を有することを特徴とする車載情報システム。