JP5704069B2 - 画像入力装置 - Google Patents

Description

本発明は、撮像素子等の撮像手段を備えた画像入力装置に関し、特に動画の撮像に適した画像入力装置に関するものである。

複数枚の静止画を連続して撮影して複数枚のフレームを作成し、これを所定の時間間隔で切り換えて表示することにより被写体の動きを示す動画が得られる。ところで、撮像時における撮像条件は常に一定とは限らず、又それに加えて撮像素子の暗電流や画像処理などの影響により、フレームを形成する過程でしばしばノイズが発生する。フレームよりノイズを除去する方策としては、複数のフレーム間の平均を求める方法が用いられているが、時間方向に動きの早いエッジ部分がボケてしまうという問題がある。

これに対し特許文献１には、各フレームをそれぞれ異なる解像度スケールを持つ複数のフィルタで分析し、各解像度スケールごとの各分析画像について、それぞれ当該解像度にしたがって設定された数のフレーム間の移動平均を移動平均手段において求め、その移動平均を求めるフレーム数を、低い解像度スケールで分析された画像ほど多数のフレーム間で移動平均を求めるようにし、その移動平均手段により求められた前記各解像度スケールごとの画像を合成し、元の動画像系列に基づいた動画像を得ることで、エッジのボケを防ぎながらノイズを除去する技術が開示されている。

特開平０８−１５４１８８号公報

ところが、特許文献１の従来技術によれば、各フレームをそれぞれ異なる解像度スケールを持つ複数のフィルタで分析しなくてはならず、処理に時間がかかると共に、高価なフィルタを用いることによりコストの増大を招くという問題がある。また、特許文献１の技術では、被写体が大きく変化した場合には、対応できないという問題もある。

本発明は、上述の問題に鑑みてなされたものであり、簡素な構成でありながら、エッジのボケを防ぎつつ動画のノイズ除去を行える画像入力装置を提供することを目的とする。

請求項１に記載の画像入力装置は、
被写体光を入射して画像信号に変換する撮像手段と、
前記撮像手段から順次出力された画像信号を、フレーム毎に輝度信号と色度信号に分離する分離手段と、
時間的に連続する複数のフレームにおける処理対象フレームと前記処理対象フレームに対し時間的に先行するフレーム間の被写体の変化を所定の領域毎に検出し、被写体の変化に応じて複数の状態に分類する検出手段と、
前記分離手段によって分離された、前記処理対象フレームにおける輝度信号及び色度信号の少なくとも一方に対して、所定数の前記先行するフレームの対応する輝度信号及び色度信号の少なくとも一方を用いて、前記所定の領域毎にそれぞれ、前記検出手段による分類に応じて異なる平均化処理を行う処理手段と、
前記処理手段によって処理された輝度信号と色度信号とを合成して、前記処理対象フレームに対応する画像データを形成する画像データ形成手段と、を有し、
前記先行するフレームの輝度信号と、前記処理対象フレームの輝度信号との差が、第１の閾値以下であるときは、前記検出手段は、前記被写体の変化が第１の状態であると分類し、前記処理手段は、前記輝度信号を用いて平均化処理を行い、前記先行するフレームの輝度信号と、前記処理対象フレームの輝度信号との差が、前記第１の閾値を超えたときは、前記検出手段は、前記被写体の変化が前記第１の状態よりも大きい第２の状態であると分類し、前記処理手段は、前記色度信号を用いて平均化処理を行うことを特徴とする。

例えば、殆ど静止している被写体を動画撮像した場合には、複数のフレーム相互における被写体の変化は小さいので、比較的長時間間隔のフレームにわたって輝度信号と色度信号とを平均化することで、ノイズを除去できる。ところが、高速で移動する被写体を動画撮像した場合（カメラが高速で移動する場合を含む）、複数のフレーム相互における被写体の変化は大きくなるから、長時間間隔のフレームにわたって前記輝度信号と前記色度信号とを平均化すると、エッジのボケが大きくなる可能性が高い。

これに対し本発明によれば、前記検出手段が、時間的に連続する複数のフレームにおける処理対象フレームと前記処理対象フレームに対し時間的に先行するフレーム間の被写体の変化を所定の領域毎に検出し、複数の状態として例えば第１の状態と前記第１の状態よりも被写体の変化が大きい第２の状態とに分類する際には、その被写体の変化に応じて第１の状態と第２の状態とに分類し、前記処理手段が、前記分離手段によって分離された、前記処理対象フレームにおける輝度信号及び色度信号の少なくとも一方に対して、所定数の前記先行するフレームの対応する輝度信号及び色度信号の少なくとも一方を用いて、前記所定の領域毎にそれぞれ、前記検出手段による分類に応じた平均化処理を行うので、前記検出手段が、第１の状態と分類すれば被写体の変化は比較的小さいと判断できるから、例えば平均化するフレーム数を増大させてノイズを低減でき、一方、第２の状態と分類すれば被写体の変化は比較的大きいと判断できるから、例えば平均化するフレーム数を減少もしくはゼロとするように、前記処理手段の処理内容を変更することで、エッジのボケを有効に抑えることができる。そのため、簡単な構成でエッジのボケを防ぎつつノイズを低減できる。

尚、処理対象フレームにおける輝度信号に対して平均化処理を行う際には、時間的に先行するフレームにおける輝度信号を用い、処理対象フレームにおける色度信号に対して平均化処理を行う際には、時間的に先行するフレームにおける色度信号を用いることは勿論である。

前記画像入力装置において、前記先行するフレームの輝度信号と、前記処理対象フレームの輝度信号との差が、第１の閾値以下であるときは、前記検出手段は、前記被写体の変化が第１の状態であると分類し、前記処理手段は、前記輝度信号を用いて平均化処理を行い、前記先行するフレームの輝度信号と、前記処理対象フレームの輝度信号との差が、前記第１の閾値を超えたときは、前記検出手段は、前記被写体の変化が前記第１の状態よりも大きい第２の状態であると分類し、前記処理手段は、前記色度信号を用いて平均化処理を行う。人間の視覚は、輝度信号に基づく画像のエッジのボケは比較的感知しやすいが、色度信号に基づく画像のエッジのボケは比較的感知しにくいという特性を有する。かかる特性を利用し、被写体の変化が比較的小さい第１の状態では、被写体の輪郭が変位しにくくエッジのボケが目立たないことから、前記輝度信号を用いて平均化処理を行ってノイズを低減できる。一方、被写体の変化が比較的大きい第２の状態では、被写体の輪郭が変位し易いことから、前記色度信号を用いて平均化処理を行うことでエッジのボケを防ぎつつノイズを低減できる。

請求項２に記載の画像入力装置は、請求項１に記載の画像入力装置において、前記処理手段によって輝度信号を用いて平均化処理を行う際に用いられる前記先行するフレームの前記所定数は可変であり、前記処理手段によって色度信号を用いて平均化処理を行う際に用いられる前記先行するフレームの前記所定数は固定であることを特徴とする。人間の視覚は、輝度信号に基づく画像のボケは比較的感知しやすいが、色度信号に基づく画像のボケは比較的感知しにくいという特性を有するので、色度信号を用いて平均化する処理に用いられるフレーム数は固定としてもエッジのボケが認識される恐れは低い。一方、輝度信号を用いて平均化する処理に用いられるフレーム数は、第１の閾値を超える領域が大きな割合を占めるフレームが存在した場合、それより過去のフレームは平均化処理の対象外とする（即ち平均化するフレーム数を可変とする）ことで、エッジのボケを抑えることができる。

請求項３に記載の画像入力装置は、請求項１又は２に記載の画像入力装置において、色度信号は、前記処理手段による平均化処理前、あるいは平均化処理後にローパスフィルタを通して平均化されることを特徴とする。人間の視覚は、輝度信号に基づく画像のボケは比較的感知しやすいが、色度信号に基づく画像のボケは比較的感知しにくいという特性を有するので、色度信号をローパスフィルタを通過させて、空間的な平均化を導入することで、更なるノイズ低減ができる。

請求項４に記載の画像入力装置は、請求項１〜３のいずれかに記載の画像入力装置において、前記処理手段により平均化処理される際に用いられる輝度信号又は色度信号は、前記処理対象フレームを基準とし、それに時間的に先行するフレームまでの時間差に応じて重み付けされることを特徴とする。現時点から過去に遡るに連れて、フレーム内における被写体の変化が大きくなる可能性が高まる。そこで、前記処理対象フレームを基準とし、それに先行するフレームまでの時間差に応じて、例えば徐々に小さくなるように重み付けを行うことで、現時点より遠いフレームの影響を抑制して、エッジのボケを抑えることができる。

請求項５に記載の画像入力装置は、請求項１〜４のいずれかに記載の画像入力装置において、前記先行するフレームの輝度信号と、前記処理対象フレームの輝度信号との差が、前記第１の閾値よりも大きい第２の閾値を超えたときは、前記検出手段は、被写体の変化が前記第２の状態よりも大きい第３の状態であると分類し、前記処理手段は、平均化処理を行わないことを特徴とする。例えば大きなシーンチェンジが生じた場合など、それに先行するフレームの輝度信号及び色度信号を用いて平均化ができないからである。

請求項６に記載の画像入力装置は、請求項１〜５のいずれかに記載の画像入力装置において、前記所定の領域とは、１画素であることを特徴とする。これにより画素毎に精度良くノイズの低減を行える。

請求項７に記載の画像入力装置は、請求項１〜５のいずれかに記載の画像入力装置において、前記所定の領域とは、複数の画素からなる画素ブロックであることを特徴とする。画素毎に画像処理を行う場合に比べ、処理時間の短縮を図ることができる。

請求項８に記載の画像入力装置は、
被写体光を入射して画像信号に変換する撮像手段と、
前記撮像手段から順次出力された画像信号を、フレーム毎に輝度信号と色度信号に分離する分離手段と、
時間的に連続する複数のフレームにおける処理対象フレームの前記輝度信号について、前記処理対象フレームに対し時間的に先行する所定数の先行フレームにおける対応する前記輝度信号に第１の重み付け量による重み付けを行って所定の領域毎に加算処理を行うと共に、前記処理対象フレームにおける前記色度信号について、前記処理対象フレームに対し時間的に先行する所定数の先行フレームにおける対応する前記色度信号に、前記第１の重み付け量以上である第２の重み付け量による重み付けを行って所定の領域毎に加算処理を行う処理手段と、
前記処理手段によって加算処理された輝度信号と色度信号とを合成して、前記処理対象フレームに対応する画像データを形成する画像データ形成手段と、を有し、
前記処理手段は、前記処理対象フレームを基準とし、それに時間的に先行するフレームまでの時間差が第１の時間を超えたときは、前記第１の重み付け量をゼロとするとともに、前記時間差が前記第１の時間より長い第２の時間を超えたときは、前記第２の重み付け量をゼロとすることを特徴とする。

人間の視覚は、輝度信号に基づく画像のエッジのボケは比較的感知しやすいが、色度信号に基づく画像のエッジのボケは比較的感知しにくいという特性を有する。そこで、前記処理手段が、時間的に連続する複数のフレームにおける処理対象フレームの前記輝度信号について、前記処理対象フレームに対し時間的に先行する所定数の先行フレームにおける対応する前記輝度信号に第１の重み付け量による重み付けを行って所定の領域毎に加算処理を行うと共に、前記処理対象フレームにおける前記色度信号について、前記処理対象フレームに対し時間的に先行する所定数の先行フレームにおける対応する前記色度信号に、前記第１の重み付け量以上である第２の重み付け量による重み付けを行って所定の領域毎に加算処理を行うようにすれば、エッジのボケを抑制しつつ、有効にノイズを低減できる。尚、「第１の重み付け量以上である第２の重み付け量」とは、処理対象フレームに対し時間的に先行する所定数の先行フレームにおいて、第１の重み付け量と第２の重み付け量とがそれぞれ複数個或る場合、そのうちのいずれかの重み付け量が等しい場合を含むが、全ての重み付け量が等しい場合を除くものとする。

請求項９に記載の画像入力装置は、請求項８に記載の画像入力装置において、前記処理手段は、前記処理対象フレームを基準とし、それに時間的に先行するフレームまでの時間差に応じて前記第１の重み付け量を変更することを特徴とする。現時点から過去に遡るに連れて、フレーム内における被写体の変化が大きくなる可能性が高まる。そこで、前記処理対象フレームを基準とし、それに先行するフレームまでの時間差に応じて、例えば時間差が大きくなるに従って徐々に小さくなるように重み付けを行うことで、現時点より遠いフレームの影響を抑制して、エッジのボケを抑えることができる。

請求項１０に記載の画像入力装置は、請求項８又は９に記載の画像入力装置において、前記処理手段は、前記処理対象フレームを基準とし、それに時間的に先行するフレームまでの時間差に応じて前記第２の重み付け量を変更することを特徴とする。本発明の効果は請求項９と同様である。

請求項８に記載の画像入力装置において、前記処理手段は、前記処理対象フレームを基準とし、それに時間的に先行するフレームまでの時間差が第１の時間を超えたときは、前記第１の重み付け量をゼロとすることにより、エッジのボケを有効に回避できる。

請求項８に記載の画像入力装置において、前記処理手段は、前記処理対象フレームを基準とし、それに時間的に先行するフレームまでの時間差が前記第１の時間より長い前記第２の時間を超えたときは、前記第２の重み付け量をゼロとすることにより、エッジのボケを有効に回避しつつ、有効にノイズ低減を行える。

請求項１１に記載の画像入力装置は、請求項８〜１０のいずれかに記載の画像入力装置において、前記所定の領域とは、１画素であることを特徴とする。これにより画素毎に精度良くノイズの低減を行える。

請求項１２に記載の画像入力装置は、請求項８〜１０のいずれかに記載の画像入力装置において、前記所定の領域とは、複数の画素からなる画素ブロックであることを特徴とする。画素毎に画像処理を行う場合に比べ、処理時間の短縮を図ることができる。

本発明によれば、簡素な構成でありながら、エッジのボケを防ぎつつ動画のノイズ除去を行える画像入力装置を提供することができる。

第１の実施の形態に係る画像入力装置ＭＧ１の概略図である。 画素毎に輝度値と閾値とを比較する状態を示す図である。 画素ブロック毎に輝度値と閾値とを比較する状態を示す図である。 第２の実施の形態に係る画像入力装置ＭＧ２の概略図である。 本実施の形態に用いる第１の重み付け量と第２の重み付け量とを示すグラフであるが、横軸右側に向かうに連れて過去に遡っている。 本実施の形態の変形例に用いる第１の重み付け量と第２の重み付け量とを示すグラフであるが、横軸右側に向かうに連れて過去に遡っている。

（第１の実施の形態）
図１は、第１の実施の形態に係る画像入力装置ＭＧ１の概略図である。かかる画像入力装置ＭＧ１は、車載カメラに用いることができるが、用途はそれに限られず、例えば監視カメラであっても良い。画像入力装置ＭＧ１は、撮像手段である撮像素子（例えばＣＣＤ）１０１、Ａ／Ｄ変換部１０２，分離手段である輝度・色度分離部１０３、検出手段である輝度差計算部１１１，輝度平均部１１２，色度平均部１１３、画像データ形成手段である輝度・色度合成部１０６Ａ，表示部１０７を備えている。輝度平均部１１２及び色度平均部１１３が処理手段を構成する。以下、１フレームにおける各画素の座標を（ｘ、ｙ）で表すものとする。

被写体光は、不図示のＲＧＢカラーフィルタを介して撮像素子１０１の複数の画素に結像する。これにより撮像素子１０１は、所定のタイミングで繰り返しアナログのカラー画像信号を発生させるので、Ａ／Ｄ変換部１０２は、１フレーム毎にデジタルのカラー画像信号（色信号ｄＲ，ｄＧ，ｄＢ）に変換して出力する。かかるカラー画像信号を入力した輝度・色度分離部１０３は、以下の式（１）に示すように、撮像素子１０１及びＡ／Ｄ変換部１０２を介して入力された色信号ｄＲ，ｄＧ，ｄＢを、輝度信号Ｙと色度信号Ｃｂ、Ｃｒとを含む色空間に変換する。ここで、色度信号Ｃｂは青の色度信号を示し、色度信号Ｃｒは赤の色度信号を示す。
Ｙ＝０．３ｄＲ＋０．５９ｄＧ＋０．１１ｄＢ
Ｃｂ＝−０．１７ｄＲ−０．３３ｄＧ＋０．５ｄＢ （１）
Ｃｒ＝０．５ｄＲ−０．４２ｄＧ−０．０８ｄＢ
輝度差計算部１１１は、時間軸でｔ時点の撮像である現在のフレームＦ（ｔ）に対して、それからＮ枚過去に遡った所定数のフレームＦ（ｔ−Ｎ）までの輝度信号を、画素（ｘ、ｙ）毎に記憶することができる。又、輝度差計算部１１１は、現在のフレームＦ（ｔ）の輝度信号と、それより過去のフレームＦ（ｔ−１）、Ｆ（ｔ−２）、・・・・Ｆ（ｔ−Ｎ）の輝度信号との差の絶対値を画素毎に求めると、その輝度差はΔＹ（ｔ−１）（ｘ、ｙ）、ΔＹ（ｔ−２）（ｘ、ｙ）、・・・・・・ΔＹ（ｔ−Ｎ）（ｘ、ｙ）となる。

次に、輝度差計算部１１１は、図２に示すように、各フレームの画素毎に、輝度差ΔＹ（ｔ−１）（ｘ、ｙ）、ΔＹ（ｔ−２）（ｘ、ｙ）、・・・・・・ΔＹ（ｔ−Ｎ）（ｘ、ｙ）を、第１の閾値ｔｈ１と比較する。ここで、輝度差が第１の閾値ｔｈ１以下である場合、輝度平均部１１２は、被写体の変化が比較的小さい第１の状態であると分類して、以下の（２）式に基づき、輝度信号において平均化処理を行う。ここで、フレーム毎に適用される重み付け係数ａ１は、後述する第２の実施の形態で用いる値を使用する。

一方、輝度差が第１の閾値ｔｈ１を超えているフレーム及び画素については、重み付け係数ａ１をゼロとする。これにより被写体の変化が比較的大きくなった場合に、輝度信号を平均化する処理を行わないことでエッジがぼけることを抑制できる。尚、或るフレーム及び画素の重み付け係数をゼロとした場合、それ以外の重み付け係数の和を１とすることはいうまでもない。

更に輝度差計算部１１１は、フレーム及び画素毎に、輝度差ΔＹ（ｔ−１）（ｘ、ｙ）、ΔＹ（ｔ−２）（ｘ、ｙ）、・・・・・・ΔＹ（ｔ−Ｎ）（ｘ、ｙ）を、第１の閾値ｔｈ１より大きい第２の閾値ｔｈ２（ｔｈ１＜ｔｈ２）と比較する。ここで、輝度差が第１の閾値ｔｈ１を超え第２の閾値ｔｈ２以下である場合、色度平均部１１３は、被写体の変化が第１の状態より大きくなったことで第２の状態であると分類して、以下の（３）式に基づき、色度信号において平均化処理を行う。ここで、フレーム毎に適用される重み付け係数ａ２は、後述する第２の実施の形態で用いる値を使用する。本例では、輝度差が第１の閾値ｔｈ１以下の場合も色度信号の平均化処理を行うので更なるノイズの低減ができる。

一方、輝度差が第２の閾値ｔｈ２を超えているフレーム及び画素については、被写体の変化が第２の状態より大きくなったので第３の状態であると分類して、重み付け係数ａ２をゼロとする。これによりシーンチェンジが生じた場合など、異なるシーンのフレームについて誤って平均化する処理を行うことで画像が不適切になることを回避できる。その後、輝度・色度合成部１０６Ａは、輝度平均部１１２で平均化処理された信号ＳＹ（ｔ）と、色度平均部１１３で平均化処理された信号ＳＣｒ（ｔ）、ＳＣｂ（ｔ）とに基づいて、以下の式（１’）に従い、色信号ｄＲ、ｄＧ、ｄＢを合成し、これを表示部１０７に入力することで、時間軸ｔ時点のフレームとして表示することができる。同様にして処理された、複数枚のフレームを切り換えることで動画の再生を行うことができる。
ｄＲ ＝ ＳＹ（ｔ）＋１．４０２・ＳＣｒ（ｔ）
ｄＧ ＝ ＳＹ（ｔ）−０．７１４・ＳＣｒ（ｔ）−０．３４４・ＳＣｂ（ｔ） （１’）
ｄＢ ＝ ＳＹ（ｔ）＋１．７７２・ＳＣｂ（ｔ）
図３は、本実施の形態の変形例を説明するための図である。上述した実施の形態では、画素毎に平均化処理を行っているが、本変形例では、例えば１フレーム中の１６×１６画素を１画素ブロック（座標（Ｘ、Ｙ）で表す）として、フレーム及び画素ブロック単位で平均化した輝度差ΔＹ（ｔ−１）（Ｘ、Ｙ）、ΔＹ（ｔ−２）（Ｘ、Ｙ）、・・・・・・ΔＹ（ｔ−Ｎ）（Ｘ、Ｙ）を、第１の閾値ｔｈ１及び第２の閾値ｔｈ２と比較するものである。本変形例によれば、比較の回数が減少するので、処理速度を大幅に高めることができる。

以上述べた実施の形態において、色度信号については固定したフレーム数、輝度信号については閾値を用いてフレーム数を決定して（即ち可変として）平均化することもできる。例えば、処理対象となるフレームの輝度信号に対し、過去に遡って輝度信号差が最初に閾値を超えたフレームが１１番目であったときはＮ＝１０、１５番目であったときはＮ＝１４として上述の処理を行う。輝度の変動がエッジボケへの影響が大きいので、輝度についての平均化を精度よく行うことができる。色度の変動はエッジボケへの影響が小さいので、固定したフレーム数で計算量を削減できる。

又、以上述べた実施の形態において、色度信号については、処理手段による平均化処理前、あるいは平均化処理後にローパスフィルタを通過させることで、空間的な平均と組み合わせることも出来る。色度の変動は、エッジボケへの影響が小さいので、空間的な平均を導入することで、更なるノイズ低減ができる。

更に、画素もしくは画素ブロックごとに、閾値で決めた輝度信号の平均化フレーム数と、固定値である色度信号の平均化フレーム数（最大でこのフレーム数まで平均とる）を比較して、小さい数を平均化にするフレーム数とすることもできる。閾値で決めたフレーム数と固定にしたフレーム数が混在している場合は、小さい方を選ぶことで、エッジボケの影響をより低減することができる。

更に、輝度差が第１の閾値ｔｈ１以下である場合は色度信号の平均化処理を行わないようにすることもできる。これにより処理速度を高めることができる。
（第２の実施の形態）
以下、図面を参照して本発明の実施の形態を詳細に説明する。図４は、第２の実施の形態に係る画像入力装置ＭＧ２の概略図である。かかる画像入力装置ＭＧ２は、車載カメラに用いることができるが、用途はそれに限られず、例えば監視カメラであっても良い。画像入力装置ＭＧ２は、撮像手段である撮像素子（例えばＣＣＤ）１０１、Ａ／Ｄ変換部１０２，分離手段である輝度・色度分離部１０３、輝度加重加算部１０４，色度加重加算部１０５、画像データ形成手段である輝度・色度合成部１０６Ｂ，表示部１０７を備えている。輝度加重加算部１０４及び色度加重加算部１０５が処理手段を構成する。以下、１フレームにおける各画素の座標を（ｘ、ｙ）で表すものとする。

被写体光は、不図示のＲＧＢカラーフィルタを介して撮像素子１０１の複数の画素に結像する。これにより撮像素子１０１は、所定のタイミングで繰り返しアナログのカラー画像信号を発生させるので、Ａ／Ｄ変換部１０２は、１フレーム毎にデジタルのカラー画像信号（色信号ｄＲ，ｄＧ，ｄＢ）に変換して出力する。かかるカラー画像信号を入力した輝度・色度分離部１０３は、式（１）に示すように、色信号ｄＲ，ｄＧ，ｄＢを、輝度信号Ｙと色度信号Ｃｂ、Ｃｒとを含む色空間に変換する。ここで、色度信号Ｃｂは青の色度信号を示し、色度信号Ｃｒは赤の色度信号を示す。
Ｙ＝０．３ｄＲ＋０．５９ｄＧ＋０．１１ｄＢ
Ｃｂ＝−０．１７ｄＲ−０．３３ｄＧ＋０．５ｄＢ （１）
Ｃｒ＝０．５ｄＲ−０．４２ｄＧ−０．０８ｄＢ
輝度加重加算部１０４は、時間軸でｔ時点の撮像である現在のフレームＦ（ｔ）に対して、それからＮ枚（例えば３０ｆｐｓとしてＮ／３０秒）過去に遡った所定数のフレームＦ（ｔ−Ｎ）までの輝度信号を、画素（ｘ、ｙ）毎に記憶することができ、図５に示すようなフレームに応じた重み付け係数ａ１（ｔ）〜ａ１（ｔ−Ｎ）を有している。一方、色度加重加算部１０５は、現在のフレームＦ（ｔ）に対して、Ｎ枚過去に遡った所定数のフレームＦ（ｔ−Ｎ）までの色度信号を、画素（ｘ、ｙ）毎に記憶することができ、図５に示すような重み付け係数ａ２（ｔ）〜ａ２（ｔ−Ｎ）を有している。重み付け係数ａ１、ａ２は、現在のフレームＦ（ｔ）から過去のフレームＦ（ｔ−１）、Ｆ（ｔ−２）、・・・・と遡るに連れて漸次減少し｛即ちａ１（ｔ−Ｎ）＜ａ１（ｔ−Ｎ＋１）＜…＜ａ１（ｔ−１）＜ａ１（ｔ）及びａ２（ｔ−Ｎ）＜ａ２（ｔ−Ｎ＋１）＜…＜ａ２（ｔ−１）＜ａ２（ｔ）｝、所定数のフレームにおいてはゼロとなる。但し、ａ１（ｔ−Ｎ）＋ａ１（ｔ−Ｎ＋１）＋…＋ａ１（ｔ−１）＋ａ１（ｔ）＝１であり、且つａ２（ｔ−Ｎ）＋ａ２（ｔ−Ｎ＋１）＋…＋ａ２（ｔ−１）＋ａ２（ｔ）＝１である。又、重み付け係数ａ１、ａ２は、現在のフレームＦ（ｔ）及び過去に遡って所定数のフレームＦ（ｔ−Ｎ）を除き、常に
ａ１＜ａ２である。

また、現在のフレームＦ（ｔ）においては、ａ１＞ａ２である。

輝度加重加算部１０４は、現在のフレームＦ（ｔ）についての輝度信号Ｙ（ｔ）（ｘ、ｙ）を入力し、以下の（４）式に基づき、画素（ｘ、ｙ）毎に、現在のフレームＦ（ｔ）からＮ枚過去に遡った所定数のフレームＦ（ｔ−Ｎ）までの輝度信号を加算処理して、ＳＹ（ｔ）（ｘ、ｙ）を得る。

一方、色度加重加算部１０５は、現在のフレームＦ（ｔ）についての色度信号Ｃｒ（ｔ）（ｘ、ｙ）、Ｃｂ（ｔ）（ｘ、ｙ）を入力し、以下の（５）式に基づき、画素（ｘ、ｙ）毎に、現在のフレームＦ（ｔ）からＮ枚過去に遡った所定数のフレームＦ（ｔ−Ｎ）までの色度信号を加算処理して、ＳＣｒ（ｔ）（ｘ、ｙ）、ＳＣｂ（ｔ）（ｘ、ｙ）を得る。

輝度・色度合成部１０６Ｂは、輝度加重加算部１０４から出力されたＳＹ（ｔ）と、色度加重加算部１０５から出力されたＳＣｒ（ｔ）、ＳＣｂ（ｔ）とを、（１’）式に従い、色信号ｄＲ、ｄＧ、ｄＢを求め、これらを合成して表示部１０７に入力することで、時間軸ｔ時点のフレームとして表示することができる。同様にして処理された、複数枚のフレームを切り換えることで動画の再生を行うことができる。
ｄＲ ＝ ＳＹ（ｔ）＋１．４０２・ＳＣｒ（ｔ）
ｄＧ ＝ ＳＹ（ｔ）−０．７１４・ＳＣｒ（ｔ）−０．３４４・ＳＣｂ（ｔ） （１’）
ｄＢ ＝ ＳＹ（ｔ）＋１．７７２・ＳＣｂ（ｔ）
本実施の形態によれば、輝度加重加算部１０４が、処理対象フレームＦ（ｔ）（ｘ、ｙ）における輝度信号Ｙ（ｔ）（ｘ、ｙ）について、処理対象フレームに先行する所定数のフレームＦ（ｔ−１）（ｘ、ｙ）〜Ｆ（ｔ−Ｎ）（ｘ、ｙ）における対応する輝度信号Ｙ（ｔ−１）（ｘ、ｙ）〜Ｙ（ｔ−Ｎ）（ｘ、ｙ）に、第１の重み付け量ａ１（ｔ−１）（ｘ、ｙ）〜ａ１（ｔ−Ｎ）（ｘ、ｙ）による重み付けを行って加算処理を行う（（４）式の処理）と共に、色度加重加算部１０５が、処理対象フレームＦ（ｔ）（ｘ、ｙ）における色度信号Ｃｒ（ｔ）（ｘ、ｙ）、Ｃｂ（ｔ）（ｘ、ｙ）について、処理対象フレームに先行する所定数のフレームＦ（ｔ−１）（ｘ、ｙ）〜Ｆ（ｔ−Ｎ）（ｘ、ｙ）における対応する色度信号Ｃｒ（ｔ−１）（ｘ、ｙ）〜Ｃｒ（ｔ−Ｎ）（ｘ、ｙ）、Ｃｂ（ｔ−１）（ｘ、ｙ）〜Ｃｂ（ｔ−Ｎ）（ｘ、ｙ）に、それぞれ第１の重み付け量ａ１（ｔ−１）（ｘ、ｙ）〜ａ１（ｔ−Ｎ）（ｘ、ｙ）以上である第２の重み付け量ａ２（ｔ−１）（ｘ、ｙ）〜ａ２（ｔ−Ｎ）（ｘ、ｙ）による重み付けを行って加算処理を行う（（５）式の処理）ようにしているので、第１の重み付け量を比較的小さくすることでエッジのボケを抑制しつつ、第２の重み付け量を比較的大きくすることでノイズを低減できる。尚、上記の重み付けは画素単位で行ったが、例えば１６×１６画素の画素ブロック単位で行っても良い。

図６は、本実施の形態の変形例に用いる第１の重み付け量と第２の重み付け量とを示すグラフであるが、横軸右側に向かうに連れて過去に遡っている。３０ｆｐｓの仕様では、１フレームが１／３０秒で切り換わる。つまり、現在のｔ秒から過去にＮ１秒遡る場合、その間のフレーム数はＮ１・３０枚となる。現在のフレームをＦ（ｔ）としたときに、Ｎ１秒過去に遡った時点のフレームをＦ（ｔ−ｎ１）とし、Ｎ２秒過去に遡った時点のフレームをＦ（ｔ−ｎ２）とする。本変形例においては、第１の重み付け量ａ１は、時間軸でｔ時点の撮像である現在のフレームＦ（ｔ）からリニアに減少し、それから第１の時間であるＮ１秒過去に遡った所定数番目のフレームＦ（ｔ−ｎ１）以前においてゼロとなっている。一方、第２の重み付け量ａ２は一定であるが、時間軸でｔ時点の撮像である現在のフレームＦ（ｔ）から第２の時間であるＮ２秒過去に遡った所定数番目のフレームＦ（ｔ−ｎ２）以前においてゼロとなる。尚、ｎ１＜ｎ２であることが好ましい。人間の視覚は、輝度信号に基づく画像のエッジのボケは比較的感知しやすいが、色度信号に基づく画像のエッジのボケは比較的感知しにくいという特性を利用して、エッジのボケを抑制しつつ、ノイズを低減するのである。

本発明は、車載カメラや監視カメラ等に適用可能であるが、用途はそれに限られない。

１０１ 撮像素子
１０２ Ａ／Ｄ変換部
１０３ 輝度・色度分離部
１０４ 輝度加重加算部
１０５ 色度加重加算部
１０６Ａ、１０６Ｂ 輝度・色度合成部
１０７ 表示部
１１１ 輝度差計算部
１１２ 輝度平均部
１１３ 色度平均部
ＭＧ１，ＭＧ２ 画像入力装置

Claims (12)

1. 被写体光を入射して画像信号に変換する撮像手段と、
   前記撮像手段から順次出力された画像信号を、フレーム毎に輝度信号と色度信号に分離する分離手段と、
   時間的に連続する複数のフレームにおける処理対象フレームと前記処理対象フレームに対し時間的に先行するフレーム間の被写体の変化を所定の領域毎に検出し、被写体の変化に応じて複数の状態に分類する検出手段と、
   前記分離手段によって分離された、前記処理対象フレームにおける輝度信号及び色度信号の少なくとも一方に対して、所定数の前記先行するフレームの対応する輝度信号及び色度信号の少なくとも一方を用いて、前記所定の領域毎にそれぞれ、前記検出手段による分類に応じて異なる平均化処理を行う処理手段と、
   前記処理手段によって処理された輝度信号と色度信号とを合成して、前記処理対象フレームに対応する画像データを形成する画像データ形成手段と、を有し、
   前記先行するフレームの輝度信号と、前記処理対象フレームの輝度信号との差が、第１の閾値以下であるときは、前記検出手段は、前記被写体の変化が第１の状態であると分類し、前記処理手段は、前記輝度信号を用いて平均化処理を行い、前記先行するフレームの輝度信号と、前記処理対象フレームの輝度信号との差が、前記第１の閾値を超えたときは、前記検出手段は、前記被写体の変化が前記第１の状態よりも大きい第２の状態であると分類し、前記処理手段は、前記色度信号を用いて平均化処理を行うことを特徴とする画像入力装置。
2. 前記処理手段によって輝度信号を用いて平均化処理を行う際に用いられる前記先行するフレームの前記所定数は可変であり、前記処理手段によって色度信号を用いて平均化処理を行う際に用いられる前記先行するフレームの前記所定数は固定であることを特徴とする請求項１に記載の画像入力装置。
3. 色度信号は、前記処理手段による平均化処理前、あるいは平均化処理後にローパスフィルタを通して平均化されることを特徴とする請求項１又は２に記載の画像入力装置。
4. 前記処理手段により平均化処理される際に用いられる輝度信号又は色度信号は、前記処理対象フレームを基準とし、それに時間的に先行するフレームまでの時間差に応じて重み付けされることを特徴とする請求項１〜３のいずれかに記載の画像入力装置。
5. 前記先行するフレームの輝度信号と、前記処理対象フレームの輝度信号との差が、前記第１の閾値よりも大きい第２の閾値を超えたときは、前記検出手段は、被写体の変化が前記第２の状態よりも大きい第３の状態であると分類し、前記処理手段は、平均化処理を行わないことを特徴とする請求項１〜４のいずれかに記載の画像入力装置。
6. 前記所定の領域とは、１画素であることを特徴とする請求項１〜５のいずれかに記載の画像入力装置。
7. 前記所定の領域とは、複数の画素からなる画素ブロックであることを特徴とする請求項１〜５のいずれかに記載の画像入力装置。
8. 被写体光を入射して画像信号に変換する撮像手段と、
   前記撮像手段から順次出力された画像信号を、フレーム毎に輝度信号と色度信号に分離する分離手段と、
   時間的に連続する複数のフレームにおける処理対象フレームの前記輝度信号について、前記処理対象フレームに対し時間的に先行する所定数の先行フレームにおける対応する前記輝度信号に第１の重み付け量による重み付けを行って所定の領域毎に加算処理を行うと共に、前記処理対象フレームにおける前記色度信号について、前記処理対象フレームに対し時間的に先行する所定数の先行フレームにおける対応する前記色度信号に、前記第１の重み付け量以上である第２の重み付け量による重み付けを行って所定の領域毎に加算処理を行う処理手段と、
   前記処理手段によって加算処理された輝度信号と色度信号とを合成して、前記処理対象フレームに対応する画像データを形成する画像データ形成手段と、を有し、
   前記処理手段は、前記処理対象フレームを基準とし、それに時間的に先行するフレームまでの時間差が第１の時間を超えたときは、前記第１の重み付け量をゼロとするとともに、前記時間差が前記第１の時間より長い第２の時間を超えたときは、前記第２の重み付け量をゼロとすることを特徴とする画像入力装置。
9. 前記処理手段は、前記処理対象フレームを基準とし、それに時間的に先行するフレームまでの時間差に応じて前記第１の重み付け量を変更することを特徴とする請求項８に記載の画像入力装置。
10. 前記処理手段は、前記処理対象フレームを基準とし、それに時間的に先行するフレームまでの時間差に応じて前記第２の重み付け量を変更することを特徴とする請求項８又は９に記載の画像入力装置。
11. 前記所定の領域とは、１画素であることを特徴とする請求項８〜１０のいずれかに記載の画像入力装置。
12. 前記所定の領域とは、複数の画素からなる画素ブロックであることを特徴とする請求項８〜１０のいずれかに記載の画像入力装置。