JP4941219B2 - ノイズ抑圧装置、ノイズ抑圧方法、ノイズ抑圧プログラムおよび撮像装置 - Google Patents

Description

この発明は、例えば、デジタルスチルカメラ、デジタルビデオカメラ、画像スキャナ装置などの画像処理装置において入力された画像データについてノイズを抑圧（低減）するために用いられる装置、方法、プログラム、及び、これらが適用された撮像装置に関する。

画像信号のノイズを抑圧する方法としては、様々な方法が提案され利用されている。その内、最も単純なものとしてＬＰＦ（Low Pass Filter）を利用するものがある。しかし、ＬＰＦは高周波成分を抑圧するため、そのまま利用するとノイズ抑圧だけでなく絵柄のエッジ部を劣化させ、画像全体がぼやけてしまうといった問題がある。

これに対して、特許文献１に開示されている非線形フィルタの１つであるε（イプシロン）フィルタを利用した方法は、絵柄のエッジ部を保持しながらノイズ抑圧を行うことができる。これはノイズ信号の多くは高周波で小振幅であるという性質を利用している。すなわち、図１３の一般的な画像データのイメージに示すように、画像データには、高周波で小振幅のノイズ信号（図１３において「ノイズ有り」と示した部分）が含まれる。しかし、ノイズ信号は、図１３において、「絵柄のエッジ部」として示した部分のように、大振幅の信号ではない。

そこで、図１３において点線で上下方向に範囲を示したように、画像の絵柄の振幅よりも小さい閾値幅を設定し、注目している画素（注目画素）と周辺画素との信号レベルの差分がその閾値幅より大きい場合は絵柄による差分と判断し、画像信号の平滑化は行わないようにし、一方、注目画素と周辺画素との信号レベルの差分が、その閾値幅よりも小さければノイズで生じる差分と判断して、閾値幅内の画素で平均をとることにより平滑化を行うようにする。

すなわち、図１４Ａに示すように、今、中央に位置する画素を注目画素Ｔとし、この注目画素Ｔを基準にして、当該注目画素Ｔの前後の画素が、予め決められた閾値幅の範囲内に存在するか否かを考える。図１４Ａにおいて、注目画素Ｔを基準に、予め決められた閾値幅を点線で示すと、注目画素Ｔの前後の３つずつの画素は、全て予め決められた閾値幅の範囲内に位置している。

このような場合には、注目画素Ｔは周辺の画素から平均化されたレベルに置き換えられ、各画素を同様に処理することで全ての画像について平滑化が実行され、図１４Ｂに示すように、各画素は、ノイズ成分が除去するようにされて平滑化される。これにより、画像信号により形成される画像の絵柄には影響を及ぼすことなく、ノイズ成分を除去して滑らかな画像を再生することができるようにされる。

なお、上述した特許文献１は、以下に示す通りである。
特開２００５−３１１４５５号公報

ところが、上述したεフィルタを用いたノイズ抑圧方法の場合、低照度時に画像信号がゲインアップされ、絵柄成分とノイズ成分の大きさが近づいてくると、εフィルタの閾値のレベルによっては画像中にポツポツと周りに比べレベルが突出した点（孤立点）が生じてくる。

例えば、図１５の画像データのイメージに示すように、注目画素Ｔにインパルス状に振幅の大きなノイズがのっているとき、注目画素Ｔの信号レベルと周辺画素の信号レベルとの差がεフィルタの閾値を超えてしまうので、その画素は平均化が全くされずスルーされる。一方、周辺画素は閾値内のノイズがのっておりεフィルタによって平均化されるので、平均化されなかった画素が孤立点として目立ってしまう。

すなわち、図１６Ａに示すように、注目画素Ｔがインパルス状に振幅の大きなノイズがのるなどして信号レベルが高いものである場合に、当該注目画素Ｔを基準にして、予め決められた閾値幅を点線で示すと、当該閾値幅を有する範囲には、注目画素Ｔ以外の画素は全く存在していない。

したがって、図１６Ａにおける注目画素Ｔについては、平滑化されることなくスルーされ、他の画素が注目画素となった場合には、予め決められた閾値幅の範囲内に他の画素が存在し平滑化は行われるので、図１６Ｂに示すように、図１６Ａにおける注目画素Ｔが孤立点として目に付いてしまうことになる。

そこで、このような孤立点を避けるために、εフィルタの閾値を大きくとるようにすることが考えられる。しかし、この場合には、絵柄の振幅が閾値より小さくなってしまうため、絵柄のエッジ部は劣化し画像がぼやけてしまう可能性が高くなる。

つまり、低照度時で絵柄の信号に比べてノイズ成分が比較的大きな画像信号に対して、単純なεフィルタでノイズ低減を図ろうとすると、閾値が小さくて孤立点を生じるか、閾値が大きくてエッジ部が劣化してぼやけるかのどちらかになってしまう。

また、低照度時は、被写体の素材感を表す高周波成分の振幅はノイズ成分の振幅より小さく、絵柄のエッジ部の振幅とノイズの振幅との大きさが近くなってくる。そのため，εフィルタなどを利用したノイズ抑圧を行うと、平坦部は画像本来の素材感が潰されてしまい、自然な起伏感が除去されて、いわゆる「のっぺり」とした感じの画像になってしまう場合がある。また、絵柄のエッジ部はノイズで壊され「ぎざぎざ」とした感じの画像になる場合がある。すなわち、εフィルタを用いた場合、ノイズは抑圧できるが、画像としては多少不自然になってしまう場合があると考えられる。

以上の点に鑑み、この発明の第１の目的は、例え低照度で画像信号の絵柄成分とノイズ成分の大きさが近いときであっても、処理対象の画像信号により形成される絵柄の特徴を保持しながら、孤立点を生じさせないようにノイズ抑圧（低減）を行えるようにすることを目的とする。さらに、この発明の第２の目的は、ノイズ抑圧（低減）を行うようにした場合であっても、当該ノイズ抑圧された画像信号による画像が不自然にならないようにすることを目的とする。

上記課題を解決するため、請求項１に記載の発明のノイズ低減装置は、
画像信号の供給を受けて、高域側の信号（高周波成分）と低域側の信号（低周波成分）とに分離する分離手段と、
前記分離手段で分離された前記低域側の信号に対して、平滑化処理を施す平滑化手段と、
前記分離手段で分離された前記高域側の信号に対して、コアリング用閾値以下の微小振幅の信号の振幅を０（零）にするコアリング処理と、リミッタ用閾値以上の振幅の信号を前記リミッタ用閾値以下に制限するリミッタ処理とを行う高域信号処理手段と、
前記平滑化手段で処理された低域側の信号と、前記高域信号処理手段で処理された高域側の信号とを加算処理する加算手段と
を備えることを特徴とする。

この請求項１に記載の発明のノイズ低減装置によれば、分離手段により、高域側の信号と低域側の信号とに分離され、低域側の信号は平滑化手段により平滑化処理される。具体的に平滑化手段においては、画素毎に、予め決められる閾値幅の範囲内の近隣の画素については平均化処理に用い、画素毎に、予め決められる閾値幅の範囲外の画素については平均化処理に用いないようにして、画像信号を平滑化する処理を行うことにより、ノイズ成分が低減するようにされる。

また、高域側の信号は高域信号処理手段により、いわゆるコアリング処理と、リミッタ処理とが行われ、高域側の信号に含まれるインパルス状の高振幅のノイズ成分と低振幅のノイズ成分とが除去するようにされる。そして、平滑化手段により平滑化処理された低域側の信号と高域信号処理手段によりコアリング処理及びリミッタ処理がされた高域側の信号とが、加算手段により加算されて出力するようにされる。

これにより、低域側の信号に存在するノイズ成分と高域側の信号に存在するインパルス状の高振幅のノイズ成分及び低振幅のノイズ成分とを効果的に抑圧（低減）させ、例え、低照度で画像信号の絵柄成分とノイズ成分の大きさが近いときであっても、画像信号により形成される絵柄の特徴を保持しながら、孤立点を生じさせないように、画像信号に含まれるノイズの抑圧を効果的に行うことができるようにされる。

また、請求項２に記載の発明のノイズ低減装置は、請求項１に記載のノイズ低減装置であって、
前記高域信号処理手段においては、前記コアリング用閾値から前記リミッタ用閾値までの中間振幅の信号の利得を調整できることを特徴とする。

この請求項２に記載の発明のノイズ低減装置によれば、高域側の信号の内、コアリング処理の対象にもならず、リミッタ処理の対象にもならない中振幅の信号については、利得の調整ができるようにされる。

これにより、画像信号により形成される絵柄の特徴を保持しながら、孤立点を生じさせないように、画像信号に含まれるノイズの抑圧を効果的に行うことができるようにされると共に、画像信号が形成する画像のもともとの素材感を強調したり、画像信号が有する素材感を薄く広く残すようにしたり、そのまま残すようにしたりすることもできるようにされる。

また、請求項３に記載の発明のノイズ低減装置は、請求項１に記載のノイズ低減装置であって、
前記高域信号処理手段においては、高振幅制限用閾値以上の大振幅の信号の振幅を０（零）にする高振幅制限処理を行うことを特徴とする。

この請求項３に記載の発明のノイズ低減装置によれば、高域側の信号の内の大振幅の信号については、その振幅が０（零）になるようにされる。これにより、高域側の信号に存在する必要以上に高レベル（高振幅）の不要成分については、リミッタ処理されるだけでなく、完全に除去するようにされるので、より良好にノイズ低減を行うことができるようにされる。

また、請求項４に記載の発明のノイズ低減装置は、請求項１に記載のノイズ低減装置であって、
前記加算手段から出力された画像信号に対して、ランダム信号を付加するランダム信号付加手段を備えることを特徴とする。

この請求項４に記載の発明のノイズ低減装置によれば、平滑化手段と高域信号処理手段とによりノイズが低減するようにされた画像信号に対して、ランダム信号付加手段によりランダム信号が付加するようにされる。

これにより、ノイズ抑圧（低減）がなされた画像信号による画像が、平坦部においては起伏感が無くなり、エッジ部においては、「ぎざぎざ」とした感じが残り、不自然な画像となることを防止して、ノイズ抑圧処理がなされた画像信号による画像をできるだけ自然なものとなるようにすることができるようにされる。つまり、ノイズ抑圧処理を施しても、見た目に自然な印象を受ける画像を形成するように画像信号を調整することができる。

この発明によれば、低照度時において、絵柄成分とノイズ成分の大きさが近いときでも、孤立点を生じないようにするノイズ抑圧（ノイズ低減）処理を実現することができる。

また、低照度時にεフィルタなどを利用したノイズ抑圧を行っても、ノイズ抑圧処理された画像信号に対してランダム信号を付加することにより、平坦部の「のっぺり」した感じや、エッジ部の「ぎざぎざ」した感じを目立たなくし、自然な画像を再生することができる。

以下、図を参照しながら、この発明による装置、方法、プログラムの一実施の形態について説明する。なお、この発明は、デジタルビデオカメラ、デジタルスチルカメラ、携帯電話端末などの携帯電子機器に搭載されるカメラモジュール、イメージリーダ、スキャナなどの種々の画像処理装置に適用可能なものである。

しかし、以下に説明する実施の形態においては説明を簡単にするため、動画像データの撮影が可能なデジタルビデオカメラ（撮像装置）に適用した場合を例にして説明する。また、以下に説明する撮像装置は、動画像と共に、音声についても取り込んで記録するなどすることができるものであるが、以下の実施の形態においては、説明を簡単にするため、音声信号の処理系についての説明は省略する。

［撮像装置の構成例について］
図１は、この発明による装置、方法、プログラムの一実施の形態が適用された、この実施の形態の撮像装置１００を説明するためのブロック図である。図１に示すように、この実施の形態の撮像装置は、画像信号の処理系として、レンズ部１０１、撮像素子部１０２、Ａ／Ｄ変換器１０３、検波処理部１０４、ノイズ抑圧処理部１０５、カメラ信号処理部１０６、表示処理部１０７、表示部１０８を備えると共に、制御部１１０、キー操作部１２１、外部インターフェース（以下、外部Ｉ／Ｆと略称する。）１２２、外部入出力端子１２３、記録再生処理部１２４、記録媒体１２５を備えたものである。

制御部１１０は、この実施の形態の撮像装置１００の各部を制御するものであり、ＣＰＵ（Central Processing Unit）１１１、ＲＯＭ（Read Only Memory）１１２、ＲＡＭ（Random Access Memory）１２３、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）１１４が、ＣＰＵバス１１５を通じて接続されて構成されたマイクロコンピュータである。

ここで、ＣＰＵ１１１は、後述もするＲＯＭ１１２に記憶保持されているプログラムを読み出して実行し、各部に供給する制御信号を形成して各部に供給したり、各部からの信号を受け付けて、これを処理したりするなど、制御の主体となるものである。ＲＯＭ１１２は、上述もしたように、ＣＰＵ１１１によって実行されるプログラムや処理に必要になる各種のデータ等が予め記録されたものである。

ＲＡＭ１１３は、各種の処理の途中結果を一時記憶するなど、いわゆる作業領域として用いられるものである。ＥＥＰＲＯＭ１１４は、いわゆる不揮発性メモリであり、例えば、各種の設定パラメータ、機能追加のために新たに提供されたプログラム等のこの実施の形態の撮像装置１００の電源が落とされても保持しておくべき種々の情報を記憶保持するものである。

また、キー操作部１２１は、例えば、録画スタンバイキー、録画開始キー、録画停止キー、望遠機能の調整キー、その他の各種の調整キーやファンクションキーなどを備え、ユーザーからの操作入力を受け付けて、当該操作入力を電気信号に変換し、これを制御部１１０に供給することができるものである。これにより、制御部１１０は、キー操作部１２１を通じて供給を受けたユーザーからの指示入力に応じて、この撮像装置１００の各部を制御し、ユーザーの意図する処理を行うことができるようにされる。

外部Ｉ／Ｆ１２２及び入出力端子１２３は、例えば、ＩＥＥＥ（Institute of Electrical and Electronics Engineers,Inc）１３９４規格やＵＳＢ（Universal Serial Bus）規格等に合致したものである。これら外部Ｉ／Ｆ１２２及び入出力端子１２３に対しては、同じ規格のインターフェースを備える例えばパーソナルコンピュータやＰＶＲ（Personal Video Recorder）等の外部機器を接続することができるようにされる。

記録再生処理部１２４は、制御部１１０の制御に応じて、これに供給された画像データを記録媒体１２５に記録したり、また、記録媒体１２５に記録されている画像データを読み出して、制御部１１０を通じて表示処理部１０７に供給して再生するようにしたりするなどのことができるものである。

また、記録媒体１２５は、この実施の形態の撮像装置１００においての主記録媒体であり、例えば、内蔵された半導体メモリ、半導体メモリが用いられ着脱可能とされたメモリカード、内蔵された小型のハードディスク、着脱可能とされた光ディスクなどのディスク記録媒体、着脱可能とされた磁気テープなどである。この実施の形態の撮像装置１００において、記録媒体１２５は、例えば、内蔵された小型のハードディスクである。

なお、記録媒体１２５に記録される画像データは、所定のデータ圧縮方式により圧縮処理されて記録され、また、記録媒体１２５から読み出された画像データは、当該所定のデータ圧縮方式に従って伸張処理されるが、データの圧縮処理や伸張処理は、図示しない圧縮／伸張処理部において行うようにされる。また、このような、画像データの圧縮／伸張機能を、記録再生処理部１２４に設けるようにすることも可能である。

そして、この実施の形態の撮像装置１００においては、画像信号の処理系を通じて、撮影することにより取り込んだ被写体の画像を表示部１０８の表示素子の表示画面に表示して確認しながら撮影を行い、撮影することにより得た画像信号（動画像信号）を記録媒体１２５に記録する記録機能と、記録媒体１２５に記録されている画像信号を読み出して、これを表示部１０８の表示素子の表示画面に表示するようにしたり、あるいは、外部Ｉ／Ｆ１２２及び入出力端子１２３を通じて外部機器に供給したりする再生機能とを有するものである。

［記録機能（撮影機能）および再生機能について］
まず、この実施の形態の撮像装置１００の記録機能について説明する。図１に示すように、画像信号の処理系を構成する、レンズ部１０１、撮像素子部１０２、Ａ／Ｄ変換器１０３、検波処理部１０４、ノイズ抑圧処理部１０５、カメラ信号処理部１０６、表示処理部１０７、表示部１０８のそれぞれは、共通のＣＰＵバス１１５を通じて接続されている。

そして、画像信号の処理系を構成する各処理部間のデータのやり取りは、基本的には、共通のＣＰＵバス１１５を通じて行われる。ただし、ＣＰＵバス１１５を経由せず、処理部間で直接データをやり取りする場合もある。処理部同士でＣＰＵバス１１５を経由せずに直接接続しデータの転送を行う場合は、それをひとつの処理部と見做すこともできる。

そして、キー操作部１２１を通じて、動画像の撮影を行うことが指示されると、制御部１１０が各部を制御して動画像の撮影処理を開始する。この場合、レンズ部１０１を通じて撮像素子部１０２の固体撮像素子の結像面に結像された被写体の画像は、順次に当該固体撮像素子により電気信号（アナログ動画像信号）に変換されてＡ／Ｄ変換器１０３に供給される。ここで撮像素子部１０２に設けられている固体撮像素子は、例えばＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどである。

そして、Ａ／Ｄ変換器１０３に供給されたアナログ動画像信号は、ここでデジタル動画像信号（デジタルＲａｗ動画像データ）に変換され、検波処理部１０４に供給される。なお、デジタルＲａｗ動画像データは、現像処理されていないままのデジタル動画像データを意味し、撮像素子部２からのアナログ動画像信号がデジタル信号に変換された状態の画像信号である。

検波処理部１０４は、これに供給されたＲａｗ動画像データに基づいて、露出調整処理のためのパラメータやホワイトバランス調整処理のためのパラメータなど、後段で行う種々の画像処理のための現像パラメータの集まり（現像パラメータ群）Ｐｍを生成し、この生成した現像パラメータ群を制御部１１０を通じてカメラ信号処理部１０６に供給すると共に、Ｒａｗ動画像データは、ノイズ抑圧処理部１０５に供給する。

ノイズ抑圧処理部１０５においては、詳しくは後述するが、これに供給された画像信号であるＲａｗ動画像データを高域側の信号と低域側の信号とに分離し、そのそれぞれの信号に対して、適切なノイズ抑圧処理を施し後に加算処理して全帯域のＲａｗ動画像データを復元して、これをカメラ信号処理部１０６に供給する。

カメラ信号処理部１０６では、露出調整処理、ホワイトバランス調整処理、画素毎にＲＧＢデータ（３原色データ）を形成するデモザイク処理（同時化処理）、ガンマ（γ）補正処理、輝度信号（Ｙ）と色差信号（Ｃ）への変換処理（Ｙ／Ｃ変換処理）、解像度変換処理などを行って、輝度信号および色差信号（以下、ＹＣ信号と略称する）を形成する。

カメラ信号処理部１０６で形成されたＹＣ信号は、表示処理部１０７に供給され、ここで表示部１０８に供給する形式の動画像信号に変換されて表示部１０８に供給される。これにより表示部１０８の表示素子の表示画面には、撮影するようにされた被写体の動画像が表示するようにされる。

同時に、カメラ信号処理部１０６で形成されたＹＣ信号は、例えば図示しない圧縮／伸張処理部において、圧縮処理された後、記録再生処理部１２４に供給される。記録再生処理部１２４は、これに供給された画像データを、自機に搭載されている記録媒体１２５に読み出し可能なように記録する。

なお、表示部１０８は、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬパネル（Organic Electroluminescence Panel）、ＣＲＴ（Cathode Ray Tube）などの表示素子を備え、上述したように、表示処理部からの動画像信号の供給を受けて、これに応じた動画像を自己の表示素子の表示画面に表示することができるものである。

このように、この実施の形態の撮像装置１００は、表示部１０８に搭載されている表示素子の表示画面に表示される被写体の動画像を確認しながら撮影を行い、撮影することにより得た動画像データを記録媒体１２５に記録することができるものである。

そして、キー操作部１２１を通じて、記録媒体１２５に記録された動画像データを再生することの指示入力を受け付けると、制御部１１０は、記録再生処理部１２４を制御し、再生するように指示された動画像データを読み出し、例えば図示しない圧縮／伸張処理部に供給する。そして、当該圧縮／伸張処理部において伸張処理することにより、データ圧縮前の元の動画像データを復元し、これを制御部１１０を通じて表示処理部１０７に供給する。

そして、表示処理部１０７においては、伸張処理されて復元された動画像データを、表示部１０８に供給する形式の動画像信号に変換して表示部１０８に供給する。これにより表示部１０８の表示素子の表示画面には、記録媒体１２５から読み出された動画像データに応じた動画像が表示するようにされる。

また、同時に、圧縮されたままの動画像データは、あるいは、図示しない圧縮／伸張処理部において伸張処理されて、データ圧縮前の元の動画像データに復元された動画像データは、外部Ｉ／Ｆ１２２及び入出力端子１２３を通じて、これに接続された外部機器に供給し、当該外部機器において利用するようにすることもできるようにされる。

このように、この実施の形態の撮像装置１００は、撮影することにより得た動画像データに対してノイズ抑圧処理を施して記録媒体１２５に記録したり、また、記録媒体１２５に記録した動画像データを再生して利用したりすることができるものである。

［ノイズ抑圧処理部１０５の構成と動作について］
次に、この実施の形態の撮像装置１００のノイズ抑圧処理部１０５の構成と動作について説明する。図２は、ノイズ抑圧処理部１０５を説明するためのブロック図である。図２に示すように、ノイズ抑圧処理部１０５は、ディレイライン１０５１と、分離手段を構成する減算回路１０５２及びＬＰＦ（Low Pass Filter）１０５３と、高周波信号処理手段としてのコアリング・リミッタ部１０５４と、平滑化手段としてのεフィルタ１０５５と、加算手段としての加算回路１０５６とからなるものである。

ディレイライン１０５１には、検波処理部１０４からのＲａｗ動画像データが供給される。そして、ディレイライン１０５１は、いわゆるラインバッファであり、Ｒａｗ動画像データを遅延させるようにすることによって、空間的に２次元のＲａｗ動画像データを形成して出力する。この実施の形態の撮像装置１００のノイズ抑圧処理部１０５においては、水平方向に３画素分、垂直方向に３画素分の範囲を処理単位となるようにしている。

そして、ディレイライン１０５１からの２次元のＲａｗ動画像データは、減算回路１０５２とＬＰＦ１０５３とに供給される。ＬＰＦ１０５３は、これに供給された２次元のＲａｗ動画像データから低域側の信号（Ｒａｗ動画像データの低周波成分）を抽出し、これを減算回路１０５２とεフィルタ１０５５とに供給する。

なお、ノイズ低減処理部１０５のＬＰＦ１０５３においては、図２に行列式で示した係数を用いることによって低域側の信号のみを通過させるようにしている。この例の場合には、上述もしたように、３画素×３画素の範囲を処理単位としているために、図２に示したように３行３列の係数を用いているが、これに限るものではない。この他の種々の係数を用いることが可能であり、図２に示した例以外の係数を用いた場合であっても、孤立点を生じさせないようにノイズ抑圧をすることは可能である。

減算回路１０５２には、上述もしたように、ディレイライン１０５１からの２次元のＲａｗ動画像データが供給されており、当該Ｒａｗ動画像データから、ＬＰＦ１０５３からのＲａｗ動画像データの低域側の信号を減算することにより、Ｒａｗ動画像データの高域側の信号（Ｒａｗ動画像データの高周波成分）を抽出し、これをコアリング・リミッタ部１０５４に供給する。

コアリング・リミッタ部１０５４では、減算回路１０５２からのＲａｗ動画像データの高域側の信号に対して、微小振幅信号を０（零）にするコアリング処理と、設定した閾値以上の振幅の信号を閾値で制限をかけるリミッタ処理とを行い、処理後の高域側の信号を加算回路１０５６に供給する。

一方、εフィルタ１０５５は、これに供給されたＬＰＦ１０５３からのＲａｗ動画像データの低域側の信号に対して平滑化処理を行い、処理後の低域側の信号を加算回路１０５６に供給する。εフィルタ１０５５で行われる平滑化処理は、図１３、図１４を用いて説明したように、絵柄の振幅よりも小さい閾値幅を設定し、当該閾値幅内の近隣の画素間で平均化を行うことにより、小振幅のノイズ成分を除去するものである。

最後にεフィルタ１０５５で処理された低域側の信号（低域成分）とコアリング・リミッタ部１０５４で処理された高域側の信号（高域成分）とが、加算回路１０５６で加算され、全帯域のＲａｗ動画像データとされて、カメラ信号処理部１０６に供給するようにされる。

そして、この実施の形態のノイズ抑圧処理部１０５においては、ＬＰＦ１０５３を通して高周波成分が取り除かれた低域側の信号には、図１５、図１６を用いて説明したようなインパルス状の大振幅ノイズは含まれていないため、低照度時の画像信号であっても低域成分にεフィルタを通した結果に孤立点が生じることは無く、しかも低振幅のノイズについては、図１３、図１４を用いて説明したように、適切に除去することができる。

ただし、インパルス状の大振幅ノイズは高域側の信号に含まれる。このため、εフィルタ１０５５を通した低域側の信号に高域側の信号をそのまま加算すると、孤立点が生じてしまう。そこで、それを防ぐために、高域側の信号に含まれるインパルス状の大振幅ノイズは、リミッタ処理で抑圧するようにする。さらに、高域側の信号には微小振幅の高周波ノイズが含まれているため、これをコアリング処理でつぶすようにする。

図３は、コアリング・リミッタ部１０５４で行われるリミッタ処理を説明するための図である。また、図４は、コアリング・リミッタ部１０５４で行われるコアリング処理を説明するための図である。

リミッタ処理は、図３Ａに示すように、予め決められた閾値範囲外の高レベル（高振幅）の画素データが存在する場合に、図３Ｂにおいて矢印で示すように、予め決められた閾値範囲外の画素データを閾値範囲内のデータとなるように信号レベルを抑圧（制限）することにより、インパルス状の大振幅のノイズの影響を排除するものである。

また、コアリング処理は、図４Ａに示すように、予め決められた比較的に狭い閾値範囲内の画素データには、微小振幅の高周波ノイズが含まれているものと判断し、図４Ｂにおいて矢印で示すように、その画素データの信号レベルを０（零）にして、高周波で小振幅のノイズの影響を排除するものである。

コアリング・リミッタ部１０５４で行われる高域側の信号処理について、図５を用いてさらに詳細に説明する。図５は、コアリング・リミッタ部１０５４において行われる高域側の信号に対する処理を説明するための図である。図５において、横軸はコアリング・リミッタ部１０５４への入力信号レベルを、また、縦軸はコアリング・リミッタ部１０５４からの出力信号レベルを意味している。

そして、図５において、例えば直線で示すような入力画像データ（高域側の信号）Ｎがコアリング・リミッタ部１０５４に供給されると、図３を用いて説明したようにリミッタ処理される。このリミッタ処理により、図５においては、リミッタ用閾値ＬＴ以上の入力信号が、リミッタ用閾値ＬＴにまで抑圧するようにされる。これにより、インパルス状の大振幅のノイズ信号については、リミッタ処理により抑圧するようにされる。

さらに、入力画像データ（高域側の信号）Ｎは、コアリング・リミッタ部１０５４において、図４を用いて説明したようにコアリング処理される。このコアリング処理により、図５においては、コアリング用閾値ＣＴ以下の入力信号のレベルが０（零）に抑圧するようにされる。これにより、小振幅のノイズ信号については、コアリング処理により抑圧するようにされる。

さらに、この実施の形態のノイズ抑圧処理部１０５のコアリング・リミッタ部１０５４においては、高域側の信号の中間の振幅の信号に対してはゲイン（利得）をかけられるようにする。すなわち、図５において、コアリング用閾値ＣＴからリミッタ用閾値ＬＴまでの中間の振幅の信号に対しては、抑圧の変化の度合い（高域信号処理後の画像データの傾き）を調整できるようにしている。この調整は、後述もするように制御部１１０からの制御に応じて行うことが可能である。

そして、図５において、コアリング用閾値ＣＴからリミッタ用閾値ＬＴに至るまでのグラフの傾きを値「１」より大きくすると中間の振幅の信号が強調され、傾きを値「１」より小さくすると中間の振幅の信号が減衰される。また、傾きを緩やかにすれば、コアリング範囲以外の画像データの素材感を薄く広く残すことができるようにされる。

この場合、中間の振幅の信号に対してかけるゲイン（利得）は、処理対象の画像の特性、例えば、「画像が撮影された照度」などに応じて調整すればよい。例えば、低照度時の画像であればノイズが多いので傾きを緩やかにしてノイズ成分を抑圧し、照度が高いときの画像であればノイズが少ないので傾きを緩やかにしないといったように制御される。この制御は、検波処理部１０４における検波処理の結果に基づいて、制御部１１０がノイズ抑圧処理部１０５のコアリング・リミッタ部１０５４を制御することになる。

このように、高域側の信号の内、リミッタ処理やコアリング処理の対象とならない中間の振幅（中振幅）の信号についても、適切にゲイン調整することにより、当該画像データによる画像の素材感を調整することができる。

さらに、この実施の形態のコアリング・リミッタ部１０５４においては、図５において、予め決められる高振幅制限用閾値ＨＴ以上の高振幅の信号については、その信号レベル（振幅）を０（零）に抑圧する高振幅制限処理（入力信号の高レベル成分の制限処理）を行うようにする。

高レベルの信号成分は、リミッタ処理によりリミッタ用閾値ＬＴまで抑圧（制限）されるものの、もともと不要なほど高レベルの信号であってもレベル制限されて残ってしまう。そこで、予め決められる高振幅制限用閾値ＨＴよりも高レベルの入力信号については、そのレベルを０（零）にすることによって、不必要に高レベルの信号を除去し、このような高レベルの信号が画像に及ぼす影響を抑圧することができる。

この場合においても、高振幅の信号の内、制限するようにする高振幅の信号に対してゲインの調整をできるようにしておくことによって、画像の強エッジ部を調整することができる。すなわち、図５に示すように、高振幅制限用閾値ＨＴからリミッタ用閾値ＬＴまでのグラフの傾きを制御することにより、画像がもともと有する強エッジ部を調整することができる。

このように、この実施の形態の撮像装置１００のノイズ抑圧処理部１０５においては、処理対象のＲａｗ動画像データを低域側の信号と高域側の信号とに分割し、低域側の信号については、εフィルタ１０５５を用いて平滑化することにより低振幅のノイズ信号を抑圧する。また、高域側の信号については、コアリング処理により低振幅のノイズ信号を抑圧すると共に、リミッタ処理によりインパルス状の高振幅のノイズ成分を抑圧する。

そして、上述のように、ノイズ信号を抑圧するようにした、低域側の信号と高域側の信号とを加算処理することにより、全帯域に渡って、低振幅のノイズ信号及び高振幅のノイズ信号を抑圧した高品位の画像データを形成することができるようにされる。

さらに、コアリング・リミッタ部１０５４の機能として、高域側の信号の内、コアリング処理の対象となる低レベル（低振幅）の信号とリミッタ処理の対象となる高レベル（高振幅）の信号と以外の中間レベル（中振幅）の信号については、ゲイン調整（傾き調整）することによって、画像がもともと有する素材感を調整することができる。

具体的には、図５を用いて説明したように、中振幅の信号についての調整される信号レベルの傾きを急にすれば（ゲインを大きくすれば）、中振幅の入力信号は大きく出力するようにされるので、中振幅の信号による画像の素材感を強調することができる。また、図５を用いて説明したように、中振幅の信号についての調整される信号レベルの傾きを緩やかにすれば（ゲインを小さくすれば）、中振幅の入力信号についても制限されることになり、中振幅の信号による画像の素材感を薄く広く残すことができるようにされる。また、図５を用いて説明したように、中振幅の信号についての調整される信号レベルの傾きを値「１」すれば、中振幅の信号による画像の素材感はそのままとすることができるようにされる。

さらに、コアリング・リミッタ部１０５４の機能として、高域側の信号の内、高振幅制限用閾値以上の高レベル（高振幅）の信号については、その信号レベルを０（零）にするように高振幅制限処理を行うことにより、例えば不自然なほど高レベルの入力信号は、その信号レベルが０（零）となるようにされ、画像に与える影響を除去することができる。

なお、高振幅制限処理を行う場合にも、ゲイン調整をも行うようにすることによって、画像の中振幅の信号のゲインを調整するようにした場合と同様に、画像の強エッジ部を調整することができる。

また、図２に示したノイズ抑圧処理部１０５において、減算回路１０５２及び加算回路１０５６においては、それぞれが同期する低域側の信号と高域側の信号との間で、減算や加算などの演算処理が行うようにされることは言うまでも無い。

また、εフィルタ１０５５で用いる閾値、コアリング・リミッタ部１０５４で用いるコアリング用閾値ＣＴ、リミッタ用閾値ＬＴ、高振幅制限用閾値ＨＴなどの各閾値は、例えば、検波処理部１０４においての検波処理の結果に基づいて、制御部１１０が適切な値を適応的に設定するようにすることができるようにされる。例えば、予め複数の閾値の候補を用意しておき、検波処理部１０４においての検波処理の結果に基づいて、制御部１１０が適切な値を選択するようにするなどのことが可能である。また、予め決められた閾値を固定的に用いるようにすることも可能である。

［ノイズ抑圧処理部の他の位置への配置について］
図１に示した撮像装置１００においては、ノイズ抑圧処理部１０５は、検波処理部１０４とカメラ信号処理部１０６との間に設けて、当該ノイズ抑圧処理部１０５において、Ｒａｗ動画像データに対してノイズの抑圧処理を行うようにした。しかし、これに限るものではない。この他にも、ノイズ抑圧処理部は、種々の位置に設けるようにすることができる。

図６は、ノイズ抑圧処理部を設ける位置について説明するための図であり、図７は、ノイズ抑圧処理部を設ける位置に応じて、処理対象の画像データが異なることを説明するための図である。

図１に示した撮像装置１００の場合には、上述もしたように、ノイズ抑圧処理部１０５は、検波処理部１０４とカメラ信号処理部１０６との間に設けられているので、処理対象の画像データは、Ｒａｗ動画像データということになる。Ｒａｗ動画像データは、上述もしたように、撮像素子部１０２からの信号がデジタル化されたものであるので、撮像素子部１０２で用いられているカラーフィルタに応じて、例えば、図７Ａに示すようないわゆるベイヤ（Bayer）配列とされたものである。

このため、図２に示したノイズ抑圧処理部１０５においては、１画素おきに存在する同じ色の色信号を水平方向３画素×垂直方向３画素を処理単位として、ノイズ抑圧処理を行うようにする。すなわち、図１、図２に示したノイズ抑圧処理部１０５においては、飛び飛びに存在するＲ信号、Ｇ信号、Ｂ信号のそれぞれごとに、ノイズ抑圧処理が行うようにされる。

また、図６Ａに示すように、ノイズ抑圧処理部１０５をカメラ信号処理部１０６と表示処理部１０７とに間に設けるようにすることもできる。上述もしたように、カメラ信号処理部１０６は、ＹＣ信号を形成して出力する。すなわち、図６Ａに示したノイズ抑圧処理部１０５には、図７Ｂに示すような画素毎のＹＣｂＣｒ信号（輝度信号Ｙ，青の色差信号Ｃｂ、赤の色差信号Ｃｒからなる信号）が供給するようにされるので、図１〜図５を用いて説明した実施の形態の場合と同様にノイズ抑圧処理を行うものとすれば、水平方向３画素×垂直方向３画素のＹＣｂＣｒ信号を処理単位として、ノイズ抑圧処理を行うようにすればよい。入力される画像データがＹＣ信号であるが、これを処理する構成は、図２に示した構成と変わることは無い。

また、図６Ｂに示すように、カメラ信号処理部１０６を、例えば、露出調整、ホワイトバランス調整、デモザイク処理（同時化処理）までを行うカメラ信号処理部１と、例えば、ガンマ（γ）補正、Ｙ／Ｃ変換、解像度変換等を行うカメラ信号処理部２とに分離し、これらカメラ信号処理部１とカメラ信号処理部２との間に、ノイズ抑圧処理部１０５を設けるようにすることもできる。

そして、カメラ信号処理部１からは、デモザイク処理後のＲＧＢ信号が出力される。したがって、図６Ｂに示したノイズ抑圧処理部１０５には、図７Ｃに示すような画素毎のＲＧＢ信号が供給するようにされるので、図１〜図５を用いて説明した実施の形態の場合と同様にノイズ抑圧処理を行うものとすれば、水平方向３画素×垂直方向３画素のＲＧＢ信号を処理単位として、ノイズ抑圧処理を行うようにすればよい。入力される画像データがＲＧＢ信号であるが、これを処理する構成は、図２に示した構成と変わることは無い。

このように、カメラ信号処理部１０６の後ろにノイズ抑圧処理部１０５を配置して、ＹＣ信号をノイズ抑圧処理部１０５への入力信号とする形態も可能であるし，カメラ信号処理の途中にノイズ抑圧部１０５を配置し、カメラ信号処理の中間データ（例えばＲＧＢデータ）をノイズ抑圧処理部１０５への入力信号とする形態も可能である。

すなわち、ノイズ抑圧処理部１０５は、撮像装置の種々の位置に設けるようにすることができる。そして、ノイズ抑圧処理部１０５は、どの位置に設けられた場合であっても、供給された画像データについて、低域側の信号と高域側の信号とに分離し、低域側の信号についてはεフィルタで平滑化し、高域側の信号についてはコアリング処理とリミッタ処理とを行い、処理後の低域側の信号と高域側の信号とを加算することにより、ノイズを抑制した高品位の画像データを形成することができる。

また、高域側の信号を処理する場合、コアリング・リミッタ部１０５４において、中振幅の信号のゲインを調整したり、高振幅制限処理を行ったりすることによって、より適切にノイズ成分を除去し、より高品位な画像データを形成することもできるようにされる。

［ノイズ抑圧処理部１０５の他の構成例について］
図２を用いて説明したノイズ抑圧処理部１０５は、ＬＰＦ１０５３と減算回路１０５２とを用いて、低域側の信号と高域側の信号とに分離するようにしたが、これに限るものではない。ＨＰＦ（High Pass Filter）を用いて低域側の信号と高域側の信号に分離するようにすることもできる。

図８は、ＨＰＦを用いて、低域側の信号と高域側の信号に分離する構成のノイズ抑圧処理部１０５を説明するためのブロック図である。図８に示すように、この例のノイズ抑圧処理部１０５は、図２に示したノイズ抑圧処理部１０５の減算回路１０５２とＬＰＦ１０５３とに替えて、ＨＰＦ１０５７と減算回路１０５８とを設けるようにした点を除けば、図２に示したノイズ抑圧処理部１０５と同様に構成されたものである。このこのため、図８に示したノイズ抑圧回路において、図２に示したノイズ抑圧回路と同様に構成される部分については、同じ参照符号を付し、その部分の詳細な説明については省略する。

そして、図８に示すノイズ抑圧処理部１０５の場合には、ディレイライン１０５１からのＲａｗ動画像データは、ＨＰＦ１０５７と、減算回路１０５８とに供給される。ＨＰＦ１０５７は、これに供給されたＲａｗ動画像データから高域側の信号（高域成分）を抽出し、これをコアリング・リミッタ部１０５４と減算回路１０５８とに供給する。

減算回路１０５８には、上述もしたように、ディレイライン１０５１からのＲａｗ動画像データが供給されており、当該Ｒａｗ動画像データからＨＰＦ１０５７からの高域側の信号が減算されることにより、低域側の信号が抽出され、これがεフィルタ１０５５に供給される。このように、ＬＰＦではなくＨＰＦで高域側の信号を生成し、ディレイラインの出力信号からＨＰＦから出力された高域側の信号を減算することで、低域側の信号を生成することも可能である。

コアリング・リミッタ部１０５４、εフィルタ１０５５、加算回路１０５６の各部における処理は、図２を用いて説明したノイズ抑圧処理部１０５における対応する各部と同様の処理が行われる。

このように、ＬＰＦ（Low Pass Filter）に替えて、ＨＰＦ（High Pass Filter）を用いるようにしても、画像データについて、低域側の信号と高域側の信号とに分離し、低域側の信号にはεフィルタを、高域側の信号にはコアリング処理及びリミッタ処理を、それぞれ施すようにすることができる。

［ノイズ抑圧による画像の不自然さに対する対応について］
低照度時にεフィルタなどを利用したノイズ抑圧を行うようにすると、平坦部は画像が有する元々の素材感が潰され、絵柄のエッジ部はノイズで潰されて「ぎざぎざ」になり、再生される画像に不自然さが表れてしまう場合がある。このような画像の不自然さを解消するために、ノイズ抑圧後に適度な振幅のランダム信号を付加して、再生される画像が自然な画像に見えるようにする。

このようにするのは、完全に「のっぺり」した絵柄よりも、ランダム信号がある程度のった絵柄のほうが見た目には気持ちが良く、絵柄のエッジ部の「ぎざぎざ」をランダム信号でマスクすると、人間の目には、隠れたところを予測して補間するという性質があるので、自然な絵柄のエッジを実現することができるためである。

このように、以下に説明する撮像装置においては、ノイズ低減処理後の画像データに対して、ランダム信号を付加するようにしたものである。図９は、ノイズ低減処理後の画像データに対して、ランダム信号を付加することができるようにされた撮像装置１００Ａを説明するためのブロック図である。

図９に示した撮像装置１００Ａは、カメラ信号処理部１０６と表示処理部１０７との間にランダム信号付加部１０９が設けられた点を除けば、図１に示した撮像装置１００と同様に構成されたものである。このため、図９に示す撮像装置１００Ａにおいて、図１に示した撮像装置１００と同様に構成される部分には、同じ参照符号を付し、その詳細な説明については省略する。

そして、図９に示した撮像装置１００Ａにおいては、検波処理部１０４からのＲａｗ動画像データについては、図２に示した構成を有するノイズ抑圧処理部１０５においてノイズ抑圧処理がなされた後、カメラ信号処理部１０６において所定の信号処理がなされ、ＹＣ信号が形成されて、これがランダム信号付加部１０９に供給される。

ランダム信号付加部１０９では、これに供給されたＹＣ信号に対して、適切なレベルでランダム信号を付加することにより、εフィルタなどを通じてノイズ抑圧された画像データによる画像において、起伏感がそがれることにより生じる平坦部の「のっぺり」とした感じや、ノイズで壊されることにより生じるエッジ部の「ぎざぎざ」した感じを低減させるようにしている。

図１０は、図９に示した撮像装置１００Ａのランダム信号付加部１０９の構成例を説明するためのブロック図である。図１０に示すように、ランダム信号付加部１０９は、乱数発生器１０９１と、ハイパスフィルタ１０９２と、乗算回路１０９と、加算回路１０９４とを備えたものである。

乱数発生器１０９１は、例えばＭ系列の乱数を発生させるものである。乱数発生器１０９１からの出力信号はＨＰＦ１０９２に供給され、ここで低周波成分が取り除かれた後に乗算回路１０９３に供給される。なお、ＨＰＦ１０９２によって、低周波成分を取り除くのは、低周波成分を含むランダム信号よりは、低周波成分を含まないランダム信号をＹＣ信号に付加した方が、見た目には違和感が無く、心地よいと感じる場合が多いためである。

そして、ＨＰＦ１０９２からのランダム信号に対しては、画像の明るさ（照度）や他の画像の特性に応じたゲインを乗じて、適切な信号レベルにした後に、加算回路１０９４において、カメラ信号処理部１０６からのＹＣ信号に対して加算する。なお、乗算回路１０９３におけるゲインであるが、これは、検波処理部１０３においての検波結果に基づいて、制御部１１０が適切なゲインを設定し、ランダム信号付加部１０９の乗算回路１０９３を制御するようにしている。

このように、ノイズ抑圧処理後の画像データに対して、適切な信号レベルのランダム信号を加算することにより、ノイズ抑制処理により生じた平坦部の「のっぺり」感や絵柄のエッジ部（輪郭部など）における「ぎざぎざ」感を抑制し、自然な感じを受ける画像を得るようにすることができる。

なお、ランダム信号付加部１０９の配置位置であるが、ノイズ抑圧処理部１０５の最後に位置させるようにしてもよいし、カメラ信号処理部１０６の内部に設けるようにしてもよい。また、図９に示したように、カメラ信号処理部１０６の後段に設けるようにしてもよい。前提として、ノイズ抑圧処理部１０５よりも後に位置させるようにする必要がある。

また、γ補正処理・Ｙ／Ｃ変換処理の後ろにランダム信号付加部１０９を配置するようにすれば、輝度によらず一定の振幅のランダム信号を付加することが容易であるし、また、輝度信号Ｙのみにランダム信号を付加するといったことも容易である。もちろん、輝度信号Ｙだけにランダム信号付加だけでなく，輝度信号Ｙと色差信号Ｃとで別々のランダム信号を付加するようにしてもよい。

また、この例のランダム信号付加部１０９においては、図１０を用いて説明したように、乱数発生器１０９１の出力信号についてＨＰＦ１０９２により低域成分を除去するようにしたが、ＨＰＦ１０９２を用いなくても、自然な画像を実現する効果はある。また、上述もしたように、乱数発生器１０９１の出力信号にゲインをかけられるようにしてランダム信号の振幅を任意に設定できるようにしておき、取り込まれた画像の明るさ（照度）に応じてゲインを制御することにより、より自然な画像を生成することができる。

なお、図９に示した撮像装置１００Ａの場合にも、ノイズ低減処理部１０５は、図６を用いて説明したように、種々の位置に設けることが可能である。そして、ノイズ信号付加部１０９は、上述もしたように、ノイズ抑圧処理部１０５よりも後段であって、γ補正処理やＹ／Ｃ変換処理が行われる処理部の後段に設けるようにすればよい。

［ノイズ抑圧処理及びランダム信号の付加処理のまとめ］
次に、図９に示したこの例の撮像装置１００Ａにおけるノイズ抑圧処理とランダム信号の付加処理について、図１１のフローチャートを参照しながらまとめる。図１１は、図９に示した撮像装置１００Ａにおいて行われるノイズ抑圧処理からランダム信号の付加処理までの処理について説明するためのフローチャートである。この図１１に示す処理は、撮像装置１００Ａに電源が投入され、撮影スタンバイ状態にされた場合に、制御部１１０の制御により、主にノイズ抑圧処理部１０５及びランダム信号付加部１０９において行われ、撮影中も実行するようにされる処理である。

すなわち、撮像装置１００Ａに電源が投入され、撮影スタンバイ状態にされると、制御部１１０は、撮像装置１００Ａの各部を制御し、被写体の動画像を取り込んで、いつでも記録媒体１２５に記録を開始できる準備を整えるようにする。この場合、ノイズ抑圧処理１０５においては、供給される画像データを低域側の信号と高域側の信号とに分離する処理を開始させる（ステップＳ１０１）。

そして、分離された低域側の信号と高域側の信号とのそれぞれに対して、ノイズの抑圧処理を行うようにする（ステップＳ１０２）。具体的には、分離された低域側の信号に対しては、εフィルタ１０５５を用いて平滑化処理を行うようにし（ステップＳ１０２１）、分離された高域側の信号に対しては、コアリング・リミッタ部１０５４を用いてコアリング処理とリミッタ処理とを行うようにする（ステップＳ１０２２）。

なお、ステップＳ１０２２の高域側の信号に対する処理においては、図５を用いて説明したように、高域側の信号の内、コアリング処理やリミッタ処理の対象とならない中間の振幅の信号のゲインを調整したり、さらには、高振幅制限用閾値ＨＴを設定し、高振幅制限用閾値ＨＴ以上の高振幅の信号レベルを０（零）にする高振幅制限処理を行うようにしたりすることも行われる。もちろん、高振幅制限処理を行う場合にもゲイン調整を行うことも可能である。

このようにして、ステップＳ１０２の処理により、低域側の信号と高域側の信号とのそれぞれに対して、そのそれぞれに応じて適切なノイズ抑圧処理がなされ、ノイズが適切に低減するようにされた低域側の信号と高域側の信号とが形成される。

そして、εフィルタ１０５５から出力される平滑化処理後の低域側の信号とコアリング・リミッタ部１０５４から出力されるコアリング処理及びリミッタ処理後の高域側の信号とは、加算回路１０５６で加算されて全帯域の信号に戻され（ステップＳ１０３）、カメラ信号処理部１０６に供給される。

そして、カメラ信号処理部１０５において、例えば、γ補正等の必要なカメラ信号処理が行われてＹＣ信号が形成され（ステップＳ１０４）、これがランダムノイズ付加部１０９に供給されて、ランダムノイズが付加される（ステップＳ１０５）。すなわち、ノイズ信号付加部１０９では、上述もしたように、ランダム信号が発生され、このランダム信号はＨＰＦで低域成分が除去された後に、制御部１１０からの制御に応じて適切にゲイン調整されて、ＹＣ信号に加算される。

この後、例えば、撮影スタンバイ状態や撮影状態から、通常の停止状態（撮影スタンバイ状態でも撮影状態でもなく、撮像装置１００Ａにおいて何の処理も行われておらず停止した状態）になり、当該処理を終了する状態になったか否かを判断する（ステップＳ１０６）。

ステップＳ１０６の判断処理において、終了する状態になっていないと判断したときには、ステップＳ１０２からの処理を繰り返し、ノイズ抑圧処理及びランダム信号の付加処理を続行する。ステップＳ１０６の判断処理において、当該処理を終了する状態になったと判断したときには、この図１１に示す処理を終了し、ノイズ抑圧処理及びランダム信号の付加処理を終了する。

なお、図１１に示した処理において、ステップＳ１０５のステップを削除することにより、図１に示した撮像装置１００において行われるノイズ抑圧処理に対応したフローチャートになる。

［その他］
なお、上述した実施の形態においては、この発明を撮像装置に適用した場合を例にして説明したが、これに限るものではない。例えば、図２、図８に示した構成のノイズ抑圧処理回路をＩＣ（Integrated Circuit）化し、ノイズ抑圧処理ＩＣとして種々の画像処理装置に搭載するようにすることができる。また、図１０に示したランダム信号付加部についてもＩＣ化して、ノイズ抑圧処理ＩＣと共に、種々の画像処理装置に搭載することもできる。

また、検波処理部やカメラ信号処理部などの従来からの処理回路と共に、ノイズ抑圧処理部やランダム信号付加部の機能をも備えたＩＣやＬＳＩ（Large Scale Integrated Circuit）を形成して種々の画像処理装置に搭載することができる。

なお、画像処理装置としては、上述もしたが、デジタルビデオカメラやデジタルスチルカメラなどの撮像装置、イメージリーダやスキャナなどと呼ばれる画像読み取り装置、また、Ｒａｗ画像データ、ＲＧＢデータ、ＹＣデータなどの種々の状態の画像データの供給を受けてこれを処理することが可能なパーソナルコンピュータなどの画像処理装置など、画像データを取り込んで処理する種々の画像処理装置にこの発明を適用することができる。

また、図１１に示したフローチャートにしたがって、画像信号の供給を受けて、高域側の信号と低域側の信号とに分離する分離ステップと、分離ステップにおいて分離した低域側の信号に対して、平滑化処理を施す平滑化ステップと、分離ステップにおいて分離した高域側の信号に対して、コアリング用閾値以下の微小振幅の信号の振幅を０（零）にするコアリング処理と、リミッタ用閾値以上の振幅の信号を前記リミッタ用閾値に制限するリミッタ処理とを行う高域信号処理ステップと、平滑化ステップにおいて処理した低域側の信号と、高域信号処理ステップにおいて処理した高域側の信号とを加算処理する加算ステップとを実行するプログラムを形成し、これを例えばパーソナルコンピュータなどの画像処理装置のコンピュータが実行できるようにすることによって、この発明を容易に種々の画像処理装置に適用することができる。

もちろん、高域信号処理ステップにおいては、前記コアリング用閾値から前記リミッタ用閾値までの中間振幅の信号の利得を調整できるようにしたり、高振幅制限用閾値以上の大振幅の信号の振幅を０（零）にする高振幅制限処理を行うようにしたりすることができるし、また、前記加算ステップにおいて加算処理されて形成された画像信号に対して、ランダム信号を付加するランダム信号付加ステップをさらに設けるようにすることももちろん可能である。

すなわち、少なくとも、図１、図６、図９において、二重線で示したノイズ抑圧処理部１０５、ランダム信号付加部１０９の機能は、例えば、制御部１１０のＣＰＵなどのコンピュータによって実行されるプログラム（ソフトウェア）として実現することができる。

このようなプログラムは、インターネットなどのネットワークを介して提供することも可能であるし、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、メモリカードなどの種々の記録媒体に記録して提供することも可能である。

また、上述した実施の形態においては、コアリング・リミッタ部１０５４においては、図５を用いて説明したように、中間の振幅の信号のゲイン調整と、高振幅制限用閾値ＨＴ以上の高振幅の信号については、その信号レベル（振幅）を０（零）に抑圧する高振幅制限処理とを行うものとして説明したが、いずれか一方だけを行うようにしてもよい。

また、処理対象の画像の性質に応じて、中間の振幅の信号のゲイン調整と高振幅制限処理との両方を行わないようにすることもできる。すなわち、中間の振幅の信号のゲイン調整と高振幅制限処理とは、処理対象の画像の性質、例えば明るさなどに応じて実行するか否かを制御するようにしてもよい。

また、上述した実施の形態において、ノイズ抑圧処理部１０５においては、これに供給された画像信号から分離された低域側の信号に対しては、εフィルタ１０５５を用いて平滑化するようにしたが、εフィルタの他、εフィルタの改良フィルタや他の平滑化フィルタを用いるようにしてもちろんよい。

すなわち、低域側の信号の平滑化処理は、予め決められる閾値幅の範囲内の近隣の画素については平均化処理に用い、予め決められる閾値幅の範囲外の画素については平均化処理に用いないようにして、画像信号を平滑化処理する種々のフィルタを用いることが可能である。

また、上述した実施の形態においては、ノイズ抑圧処理の処理対象の信号がＲａｗ動画像データの場合には、例えば、図７Ａに示したような、用いられているカラーフィルタに応じて、飛び飛びに存在するＲ信号、Ｇ信号、Ｂ信号のそれぞれごとに、ノイズ抑圧処理を行うものとして説明した。しかし、用いられるカラーフィルタは、図７Ａに示したものに限るものではない。

図７Ａに示した以外のカラーフィルタが用いられている場合にもこの発明を適用できることは言うまでもない。種々のカラーフィルタが用いられる場合にも、基本的には、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれごとに、ノイズ抑圧処理を行うようにすればよい。また、場合によっては、特定の色信号だけをノイズ抑圧処理の対象とすることも可能である。

また、上述した実施の形態においては、処理対象の信号がＹＣデータの場合には、例えば、図７Ｂに示したように、画素毎のＹＣｂＣｒ信号を用いるようにしたが、これに限るものではない。ＹＣデータ（ＹＣｂＣｒ信号）のフォーマットには、種々のものが存在する。図１２は、ＹＣデータ（ＹＣｂＣｒ信号）のフォーマットの他の例を説明するための図である。

カメラ信号処理部１０６から出力されるＹＣデータは、例えば、図１２Ａに示すように、４画素×４画素の範囲を処理単位とした場合に、水平方向の画素毎にＹ信号が出力され、Ｃｂ信号とＣｒ信号とが１画素おきに出力するようにされる場合（Ｙ：Ｃｂ：Ｃｒが４：２：２で出力される場合）や、図１２Ｂに示すように、４画素×４画素の範囲を処理単位とした場合に、水平方向の画素毎にＹ信号が出力され、Ｃｂ信号とＣｒ信号とのそれぞれは各処理単位の最初の水平方向の各画素においてのみ出力するようにされる場合（Ｙ：Ｃｂ：Ｃｒが４：１：１で出力される場合）等がある。すなわち、Ｙ：Ｃｂ：Ｃｒが４：１：１で出力される場合は、Ｃｂ信号とＣｒ信号とは、水平方向の４画素に１回の割合（３画素おき）に出力するようにされるものである。

このような、図１２Ａ、Ｂに示したようなＹＣデータが処理対象である場合にも、この発明を適用することができる。この場合には、図１２Ａ、Ｂのいずれの場合にも、各画素には、Ｙ信号（輝度信号）が存在するので、画素毎のＹ信号だけを処理対象とするようにしたり、あるいは、飛び飛びに存在するＹＣｂＣｒ信号だけを処理対象とするようにしたりすることが可能である。

なお、Ｙ信号だけを処理対象とする場合には、Ｙ信号は各画素に存在するので、処理単位の大きさも例えば、３画素×３画素や４画素×４画素などのように任意に設定できる。また、ＹＣｂＣｒ信号を処理単位にする場合には、図１２Ａ、図１２Ｂの場合、Ｃｂ信号、Ｃｒ信号は、水平方向には飛び飛びにしか存在しないので、水平方向の出現頻度等に応じて、処理単位を設定するようにすればよい。

例えば、処理対象のＹＣデータが、図１２Ａに示したＹ：Ｃｂ：Ｃｒが４：２：２の場合には、処理単位を３画素（垂直方向）×５画素（水平方向）のようにすればよい。また、設定される処理単位に応じて、ＬＰＦ１０５３等のフィルタ係数も調整するようにすればよい。このように、処理対象の信号がＹＣデータである場合にも、そのＹＣデータのフォーマットに応じて、適切にノイズの抑圧処理を行うことができる。また、Ｃｂ信号だけをノイズ抑圧処理の対象としたり、Ｃｒ信号だけをノイズ抑圧処理の対象としたりすることもできることは言うまでもない。

このように、この発明は、ノイズ抑圧処理の対象となる信号が、Ｒａｗ動画像データであっても、いわゆるＹＣデータであっても、またＲＧＢデータであっても、そのフォーマットに応じて適切にノイズ抑圧処理を行うようにすることができる。

この発明の一実施の形態が適用された撮像装置の構成例を説明するためのブロック図である。 図１に示したノイズ抑圧処理部１０５を説明するためのブロック図である。 コアリング・リミッタ部１０５４で行われるリミッタ処理を説明するための図である。 コアリング・リミッタ部１０５４で行われるコアリング処理を説明するための図である。 コアリング・リミッタ部１０５４において行われる高域側の信号に対する処理を説明するための図である。 ノイズ抑圧処理部を設ける位置について説明するための図である。 ノイズ抑圧処理部を設ける位置に応じて、処理対象の画像データが異なることを説明するための図である。 ＨＰＦを用いて、低域側の信号と高域側の信号に分離する構成のノイズ抑圧処理部１０５を説明するためのブロック図である。 撮像装置１００Ａを説明するためのブロック図である。 図９に示した撮像装置１００Ａのランダム信号付加部１０９の構成例を説明するためのブロック図である。 図９に示した撮像装置１００Ａにおいて行われるノイズ抑圧処理からランダム信号の付加処理までの処理について説明するためのフローチャートである。 カメラ信号処理部から出力されるＹＣｂＣｒ信号のフォーマットを説明するための図である。 一般的な画像データのイメージを示す図である。 一般的な画像データをεフィルタで処理した場合を説明するための図である。 インパルス状の高レベルのノイズを含む画像データのイメージを示す図である。 インパルス上の高レベルのノイズを含む画像データをεフィルタで処理した場合を説明するための図である。

符号の説明

１００…撮像装置、１００Ａ…撮像装置、１０１…レンズ部、１０２…撮像素子部、１０３…Ａ／Ｄ変換器、１０４…検波処理部、１０５…ノイズ抑圧処理部、１０６…カメラ信号処理部、１０７…表示処理部、１０８…表示部、１０９…ノイズ信号付加部、１１０…制御部、１２１…キー操作部、１２２…外部Ｉ／Ｆ、１２３…外部入出力端子、１２４…記録再生処理部、１２５…記録媒体、１０５１…ディレイライン、１０５２…減算回路、１０５３…ＬＰＦ、１０５４…コアリング・リミッタ部、１０５５…εフィルタ、１０５６…加算回路、１０５７…ＨＰＦ、１０５８…減算回路、１０９１…乱数発生器、１０９２…ＨＰＦ、１０９３…乗算回路、１０９４…加算回路

Claims (7)

1. 画像信号の供給を受けて、高域側の信号（高周波成分）と低域側の信号（低周波成分）とに分離する分離手段と、
   前記分離手段で分離された前記低域側の信号に対して、平滑化処理を施す平滑化手段と、
   前記分離手段で分離された前記高域側の信号に対して、コアリング用閾値以下の微小振幅の信号の振幅を０（零）にするコアリング処理と、リミッタ用閾値以上の振幅の信号を前記リミッタ用閾値以下に制限するリミッタ処理とを行う高域信号処理手段と、
   前記平滑化手段で処理された低域側の信号と、前記高域信号処理手段で処理された高域側の信号とを加算処理する加算手段と
   を備えることを特徴とするノイズ抑圧装置。
2. 請求項１に記載のノイズ抑圧装置であって、
   前記高域信号処理手段においては、前記コアリング用閾値から前記リミッタ用閾値までの中間振幅の信号の利得を調整できることを特徴とするノイズ抑圧装置。
3. 請求項１に記載のノイズ抑圧装置であって、
   前記高域信号処理手段においては、高振幅制限用閾値以上の大振幅の信号の振幅を０（零）にする高振幅制限処理を行うことを特徴とするノイズ抑圧装置。
4. 請求項１に記載のノイズ抑圧装置であって、
   前記加算手段から出力された画像信号に対して、ランダム信号を付加するランダム信号付加手段を備えることを特徴とするノイズ抑圧装置。
5. 画像信号の供給を受けて、高域側の信号（高周波成分）と低域側の信号（低周波成分）とに分離する分離工程と、
   前記分離工程において分離した前記低域側の信号に対して、平滑化処理を施す平滑化工程と、
   前記分離工程において分離した前記高域側の信号に対して、コアリング用閾値以下の微小振幅の信号の振幅を０（零）にするコアリング処理と、リミッタ用閾値以上の振幅の信号を前記リミッタ用閾値以下に制限するリミッタ処理とを行う高域信号処理工程と、
   前記平滑化工程において処理した低域側の信号と、前記高域信号処理工程において処理した高域側の信号とを加算処理する加算工程と
   を有することを特徴とするノイズ抑圧方法。
6. 画像信号を処理する画像信号処理装置に搭載されたコンピュータが実行するノイズ抑圧プログラムであって、
   画像信号の供給を受けて、高域側の信号（高周波成分）と低域側の信号（低周波成分）とに分離する分離ステップと、
   前記分離ステップにおいて分離した前記低域側の信号に対して、平滑化処理を施す平滑化ステップと、
   前記分離ステップにおいて分離した前記高域側の信号に対して、コアリング用閾値以下の微小振幅の信号の振幅を０（零）にするコアリング処理と、リミッタ用閾値以上の振幅の信号を前記リミッタ用閾値以下に制限するリミッタ処理とを行う高域信号処理ステップと、
   前記平滑化ステップにおいて処理した低域側の信号と、前記高域信号処理ステップにおいて処理した高域側の信号とを加算処理する加算ステップと
   を前記画像処理装置の前記コンピュータが実行することを特徴とするノイズ抑圧プログラム。
7. 被写体の画像を撮像し、画像信号に変換する撮像手段と、
   前記撮像素子から出力される前記画像信号の供給を受けて、高域側の信号（高周波成分）と低域側の信号（低周波成分）とに分離する分離手段と、
   前記分離手段で分離された前記低域側の信号に対して、平滑化処理を施す平滑化手段と、
   前記分離手段で分離された前記高域側の信号に対して、コアリング用閾値以下の微小振幅の信号の振幅を０（零）にするコアリング処理と、リミッタ用閾値以上の振幅の信号を前記リミッタ用閾値以下に制限するリミッタ処理とを行う高域信号処理手段と、
   前記平滑化手段で処理された低域側の信号と、前記高域信号処理手段で処理された高域側の信号とを加算処理する加算手段と
   を備えることを特徴とする撮像装置。

Images