JP5291788B2 - 撮像装置 - Google Patents

Description

本発明は、撮影した画像のノイズを除去する機能を有する撮像装置に関する。

従来、イメージセンサ等で発生するノイズの除去機能を備えた撮像装置が知られている。たとえば特許文献１に記載された撮像装置は、２次元フィルタを用いたローパスフィルタ処理によってランダムノイズを抑圧している。

２次元フィルタを用いたローパスフィルタ処理では、処理対象とする画素と、その画素の周辺に位置する複数の画素（周辺画素）とを利用して処理対象画素の画素値を決定する。具体的には、処理対象画素の画素値と各周辺画素の画素値とを利用して、処理対象画素と各周辺画素との相関の有無を判定する。そして、処理対象画素の画素値と、相関があると判断された周辺画素の画素値との加算平均値を計算して、その値を処理対象画素の画素値とする。

特開平１１−４１４９１号公報

２次元フィルタ処理によるノイズ抑圧効果は、加算平均値の算出に利用される画素の範囲に依存するため、大きな効果を得ようとすると、相関の有無の判定に利用する周辺画素を画像上の広い範囲から採用する必要がある。特に低周波のノイズを抑圧しようとすると、複数の周辺画素を広範囲から採用し、画素値を加算する必要がある。ところが、周辺画素の範囲を増やすと、各周辺画素の画素値を保持するメモリの容量や、相関検出、加減算に要する回路規模が増大する。これでは撮像装置の高コスト化を招き、また小型化の妨げとなる。

本発明の目的は、小規模の回路を用いても低周波のノイズを低減できる撮像装置を提供することである。

本発明の撮像装置は、感度に関する感度情報を取得する取得部と、第１画像データを生成する撮像部と、前記第１画像データの輝度信号および色差信号のうち、少なくとも色差信号に基づく画像のサイズを縮小して、第２画像データとして出力するズーム部と、前記第２画像データの画像ノイズを低減して、第３画像データとして出力するノイズ抑制部とを備えている。

前記ズーム部は、第１の縮小ズーム倍率を用いて前記第１画像データの色差信号に基づく画像のサイズを縮小し、さらに、前記第１の縮小ズーム倍率とは異なる第２の縮小ズーム倍率を用いて前記第１画像データの輝度信号に基づく画像のサイズを変更してもよい。

前記ズーム部は、前記第１の縮小ズーム倍率を１より小さい値に設定して前記第１画像データの色差信号に基づく画像のサイズを変更し、前記第２の縮小ズーム倍率を１に設定して前記第１画像データの輝度信号に基づく画像のサイズを変更してもよい。

前記撮像装置は、前記第３画像データに対して圧縮処理を行う圧縮部をさらに備えていてもよい。

前記ズーム部は、前記感度が所定値以上である場合、前記感度が高いほど前記第１の縮小ズーム倍率を小さく設定し、前記第１画像データの色差信号に基づく画像のサイズを縮小してもよい。

前記撮像装置は、前記第１画像データから、輝度信号と色差信号を分離しそれぞれ出力する分離部をさらに備えていてもよい。

本発明による撮像装置は、感度に関する感度情報を取得する取得部と、第１画像データを生成する撮像部と、入力された画像データに基づく画像のサイズを変更するズーム部であって、前記第１画像データの画像のサイズを縮小して、第２画像データとして出力するズーム部と、前記第２画像データの画像ノイズを低減して、第３画像データとして出力するノイズ抑圧部とを備え、前記ズーム部は、前記感度情報に応じて、前記第１画像データの画像のサイズの縮小倍率を変化させる。

前記撮像装置は、前記第１画像データのサンプリング周波数の帯域を制限する帯域調整部をさらに備えていてもよい。

本発明による撮像装置は、画像サイズに関するサイズ情報を取得する操作部と、第１画像データを生成する撮像部と、前記サイズ情報に基づいて前記第１画像データの画像のサイズを縮小して、第２画像データとして出力するズーム部と、前記第２画像データの画像ノイズを低減して、第３画像データとして出力するノイズ抑圧部と、前記第３画像データに対して圧縮処理を行う圧縮部とを備えている。

本発明による撮像装置は、画像フォーマットに関するフォーマット情報を取得する操作
部と、第１画像データを生成する撮像部と、前記フォーマット情報に基づいて前記第１画像データの画像のサイズを縮小して、第２画像データとして出力するズーム部と、前記第２画像データの画像ノイズを低減して、第３画像データとして出力するノイズ抑圧部と、前記第３画像データに対して圧縮処理を行う圧縮部とを備えている。

前記操作部は、光の色成分ごとの空間周波数の関係を表すフォーマット情報を取得してもよい。

前記撮像装置は、前記第１画像データの画像から複数の色成分信号を分離して出力する分離部をさらに備え、前記ズーム部は、前記フォーマット情報に基づいて、前記複数の色成分信号の各々に対応する色成分画像のサイズを縮小してもよい。

前記操作部は、圧縮率に関する圧縮率情報をさらに取得し、前記ノイズ抑圧部は、前記圧縮率情報によって特定される圧縮率に応じて、前記第２画像データの画像ノイズの低減方法を変更してもよい。

本発明の撮像装置によれば、画像に対して縮小処理を行った後に、ノイズリダクション（ノイズ抑圧）処理を行う。縮小処理前の画像上では広い範囲に存在していた画素が、縮小処理後の画像においては狭い範囲に含まれる。これにより、加算可能な画素数が少ない、すなわち、狭い範囲の周辺画素を利用してノイズを抑圧する小回路規模のノイズ抑圧部であっても、縮小前画像の低周波のノイズを抑圧できる。

さらに、撮像装置は縮小倍率を感度に関する感度情報に応じて変化させるため、画像に含まれ得るノイズの程度に応じて、ノイズ抑圧効果及び解像劣化のバランスを調整できる。例えば、感度が高く、ランダムノイズなどのノイズが多く発生し得る場合には、縮小処理の倍率を小さくすることで大きなノイズ抑圧効果を得ることができる。一方、感度が低く、ノイズの発生がより小さい場合には、縮小処理の倍率を大きくすることで、縮小ズームによる解像劣化が少ない画像を得ることができる。

実施形態１にかかる撮像装置１００の構成を示すブロック図である。 ２次元フィルタを用いたノイズ抑圧フィルタ１０の構成を示す図である。 同時化回路４２によって形成される信号ブロックの一例を示す図である。 撮像装置１００の処理の手順を示すフローチャートである。 図４のステップＳ１０３からＳ１１０までの処理を示す模式図である。 （ａ）は縮小処理を行う前の画像６０と２次元フィルタ処理に用いられる信号ブロック６２との関係を示す図であり、（ｂ）は縮小処理を行った後の画像６４と２次元フィルタ処理に用いられる信号ブロック６６との関係を示す図である。 撮像時のＩＳＯ感度と縮小ズーム倍率の関係を示す図である。 ＩＳＯ感度が１００に設定されている時、すなわち、電子的縮小処理を行わない時の２次元フィルタ処理による帯域制限が行われる帯域を示す模式図である。 ＩＳＯ感度が４００に設定されている時のプリフィルタ及び２次元フィルタ処理による帯域制限が行われる帯域を示す模式図である。 実施形態２による撮像装置１００の処理の概要を示す図である。 実施形態３による撮像装置１００の処理の概要を示す図である。 実施形態３による撮像装置１００の処理の概要を示す図である。

（実施形態１）
以下、添付の図面を参照しながら、本発明による撮像装置の実施形態を説明する。本実施形態による撮像装置は、たとえば、撮影した画像のデータをメモリカードに書き込む、いわゆるデジタルカメラである。

１−１． 撮像装置の構成
図１は、本実施形態にかかる撮像装置１００の構成を示すブロック図である。

撮像装置１００は、撮像部１と、バッファメモリ２と、信号処理プロセッサ（ＤＳＰ）３と、自動ゲイン制御部（ＡＧＣ）５と、Ａ／Ｄ変換器６と、マイコン１２と、操作部１３とを備えている。

撮像部１は、レンズ（図示せず）で集光して光学的信号を得て、その信号を電気的信号に変換する。撮像部１は、たとえばＣＣＤイメージセンサー、ＣＭＯＳイメージセンサー、ＮＭＯＳイメージセンサー等である。変換後の電気的信号は被写体像を、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の３色の信号によって表したアナログ信号であり、被写体像に応じたレベル（ゲイン）を有する。

ＡＧＣ５は、入力されたアナログ信号のゲインを調整する。Ａ／Ｄ変換器６は、ゲインが調整された信号をデジタル信号に変換する。このデジタル信号は、処理される前の画像データとしてＤＳＰ３に送られ、ＤＳＰ３によって処理される。バッファメモリ２は、ＤＳＰ３の処理中において、一時的にデータを保持する。

ＤＳＰ３は、Ｙ／Ｃ分離処理、縮小処理、補間処理、ノイズ抑圧処理、圧縮処理等の種々の信号処理を行う。ＤＳＰ３は、メモリコントローラ７と、ＹＣ分離部８と、補間フィルタ９と、ノイズ抑圧フィルタ１０と、圧縮部１１とを有する。

ＹＣ分離部８、補間フィルタ９、ノイズ抑圧フィルタ１０および圧縮部１１は、ＤＳＰ３が予めプログラムされた処理を実行することによって、ソフトウェア的に実現される。これらは独立して実現される機能的な構成要素であるため、図面においては機能ブロックとして記載し、本明細書においても独立した撮像装置１００の構成要素として説明する。

なお、これらはＤＳＰ３によって実現する代わりに独立したハードウェア回路によっても実現することができる。また、ＤＳＰ３と後述するマイコン１２を１つの集積回路化してもよい。

ＹＣ分離部８は、画像データの画像から複数の色成分信号、すなわち輝度信号および色差信号を分離して出力する。赤、緑、青の各色成分のレベルをＲ，Ｇ，Ｂと表したとき、輝度信号Ｙおよび色差信号ＣｂおよびＣｒは、それぞれ以下の式によって求められる。
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｃｂ＝−０．１６９Ｒ−０．３３１Ｇ＋０．５００Ｂ
Ｃｒ＝０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ

各色成分信号に対応するデータは、メモリコントローラ７を介してバッファメモリ２に一時記憶される。

補間フィルタ９は、マイコン１２からの指示に基づいて、バッファメモリ２に記憶された画像データに対して、縮小ズーム処理／拡大ズーム処理を行う。たとえば縮小ズーム処理は、画像を構成する画素を一定間隔で間引くことによって実現される。また拡大ズーム処理は、既存の画素の間に、それらの画素値の一方の画素値を有する新たな画素を補間する、または、既存の画素の間に、補間したい画素位置の、水平方向であれば左右隣接２画素、垂直方向であれば上下隣接２画素値を、補間したい画素位置からの距離に応じた重み付け加算平均した画素値を有する新たな画素を補間することによって実現される。この処理は線形内挿処理と呼ばれる。

ノイズ抑圧フィルタ１０は、後述の構成により、入力された輝度・色信号に対してノイズ抑圧処理を行って出力する。

圧縮部１１は、メモリカード４へ記憶するために、画像データを圧縮する。

プリフィルタ１４は、補間フィルタ９が縮小ズーム処理を行う前に、折り返しノイズを抑圧するための帯域制限処理を行う。

マイコン１２は、操作部１３を介したユーザーの指示に従い、これら一連の動作を制御する。

次に、ノイズ抑圧フィルタ１０の具体的な構成を説明する。

図２は、２次元フィルタを用いたノイズ抑圧フィルタ１０の構成を示す。ノイズ抑圧フィルタ１０は、入力端子４１と、同時化回路４２と、減算回路４３１〜４３８と、相関検出部４４１〜４４８と、計数回路４５と、選択部４６と、加算回路４７と、除算回路４８と、数値発生部４９と、出力端子５０とを有する。

入力端子４１から入力された画像信号は、同時化回路４２に入力される。同時化回路４２は、処理対象画素、および、処理対象画素を囲むように存在する８つの周辺画素（すなわち処理対象画素の上下左右の４方向と斜め４方向とに隣接する合計８画素）を同時化して出力する。処理対象画素および８つの周辺画素をまとめて、信号ブロックと呼ぶ。

図３は、同時化回路４２によって形成される信号ブロックの一例を示す。処理対象画素は中央のａｉｊである。

減算器４３１〜４３８は、処理対象画素と周辺画素の差分値を計算して出力する。相関検出部４４１〜４４８は、処理対象画素と周辺画素の相関を検出する。例えば、減算器出力値の絶対値が閾値より小さければ相関があるとして検出される。

計数回路４５は、相関があると判断された画素を選択部４６に通知する。また、相関があると判断した画素数を数値発生部４９に出力する。

選択部４６は、同時化回路４２の出力のうち、相関が無いと判断された周辺画素を０と置き換えて出力する。加算回路４７は選択部４６の出力を加算する。数値発生部４９は相関があると判断された周辺画素の数に１を加算し出力する。除算回路４８は加算回路４７の出力を、数値発生部４９の出力値で除算する。

数値発生部４９の出力は、加算回路４７で加算された画素の個数になる。よって、除算回路４８は、処理中の画素と、処理中の画素と相関があると判断された周辺画素との加算平均値を出力する。

以上の処理により、相関検出時の閾値よりも振幅の小さなランダムノイズが抑圧された出力信号が得られる。また、被写体のエッジのような、隣接する画素間の画素値の変化が大きいときには、その変化量が相関検出時の閾値よりも大きくなり、フィルタ処理がなされない。よって、２次元フィルタ処理による被写体のエッジのぼけを防止出来る。

１−２．撮像装置の動作
次に、本実施形態による撮像装置１００の動作を説明する。

図４は、撮像装置１００の処理の手順を示すフローチャートである。

ステップＳ１０１において、マイコン１２は、操作部１３を介したユーザーからの指示により、または露出計（図示せず）を用いて測定された露出に基づいてＩＳＯ感度を取得する。次にステップＳ１０２において、マイコン１２は操作部１３に設けられたシャッタボタン（図示せず）が押下されたかどうか監視し、シャッタボタンが押下されると、次のステップＳ１０３に進む。

ステップＳ１０３においては、撮像部１、ＡＧＣ５およびＡ／Ｄ変換器６は、マイコン１２の制御に基づいて画像データを生成する。生成された画像データは、取得されたＩＳＯ感度に応じたゲインでＡＧＣ５にてゲイン調整され、Ａ／Ｄ変換器６にてデジタル信号に変換されている。

ステップＳ１０４において、ＹＣ分離部８は、Ａ／Ｄ変換器６によってデジタル化された画像データから、輝度信号及び色信号を分離する。

ステップＳ１０５において、マイコン１２は、撮影ＩＳＯ感度に応じた縮小・拡大ズーム倍率を決定する。縮小ズーム倍率は、後述する図５に示すように撮影ＩＳＯ感度に基づいて求めることができる。一方、拡大ズーム倍率は、求めた縮小ズーム倍率の逆数となる。

ズーム倍率決定後、ステップＳ１０６において、プリフィルタ１４を利用して縮小ズーム倍率に応じたプリフィルタ処理が行われる。次のステップＳ１０７においては、補間フィルタ９によって縮小ズーム処理が行われる。

続くステップＳ１０８においては、ノイズ抑圧フィルタ１０を利用して縦３×横３画素範囲の画像相関に応じた２次元フィルタ処理が行われ、ノイズが抑圧される。

なお、上述したステップＳ１０７の縮小ズーム処理前後の画像は共通の被写体像を含んでいるが、縮小ズーム処理前後の画像データは異なっている。同様に、ステップＳ１０８の処理前後の画像は共通の被写体像を含んでいるが、画像データは異なっている。

ステップＳ１０９においては、補間フィルタ９を利用して拡大ズーム処理が行われる。

拡大ズーム処理後、画像データは圧縮部１１にて圧縮され（Ｓ１１０）、処理後の画像データがメモリカードへ記録される（Ｓ１１１）。

なお、縮小ズーム倍率が１倍である場合には、ステップＳ１０７において間引き処理が全く行われないため、ステップＳ１０６においてもプリフィルタ処理も行われない。また、ステップＳ１０９における拡大処理も行われない。

図５は、図４のステップＳ１０３からＳ１１０までの処理を模式的に示している。図５の左欄から右欄に向かって処理が進む。

まず、撮像処理によってＲＧＢの各色成分から構成される画像データが得られる。この処理はステップＳ１０３に対応する。

その後のＹＣ分離処理では、輝度（Ｙ）信号、色差（ＣｂおよびＣｒ）信号が得られる。この処理は図４のステップＳ１０４に対応する。

次の縮小処理では、Ｙ信号に対応する画像のサイズはそのままであり、色差（ＣｂおよびＣｒ）信号に対応する画像のサイズがそれぞれ縮小されている。この処理はステップＳ１０７に対応する。

そして、Ｙ信号と、縮小された色差（ＣｂおよびＣｒ）信号に対してノイズリダクション（ノイズ抑圧）処理が行われる。この処理はステップＳ１０８に対応する。ノイズリダクション処理後はステップＳ１０９に対応する拡大処理が行われる。

最後にステップＳ１１０に対応する圧縮処理が行われ、ＪＰＥＧ形式の画像ファイルが得られる。

撮像装置１００による処理の特徴のひとつは、図５に示されるように縮小処理を行った後にノイズリダクション処理を行うことにある。

図６（ａ）は、縮小処理を行う前の画像（ｘ画素＊ｙ画素）６０と２次元フィルタ処理に用いられる信号ブロック（ｐ画素＊ｑ画素）６２との関係を示す。また図６（ｂ）は、縮小処理を行った後の画像（ｘ’画素＊ｙ’画素）６４と２次元フィルタ処理に用いられる信号ブロック（ｐ画素＊ｑ画素）６６との関係を示す。ノイズ抑圧フィルタ１０は処理性能が同じであるため、処理可能な信号ブロックのサイズは、図６（ａ）および（ｂ）の両方において共通である。

従来の技術の課題として指摘したように、ノイズ抑圧効果を高めるためには、画素の相関の有無の判定に利用する周辺画素を広い範囲から採用する必要がある。

図６に示すように、縮小処理を行った後の画像サイズに対する処理可能な信号ブロックのサイズの比は、縮小処理を行う前の画像サイズに対する処理可能な信号ブロックのサイズの比よりも大きい。これは、縮小処理前の画像の広い範囲が、縮小処理後の画像上では狭い範囲に入ることを意味する。よって、周辺画素を広い範囲から採用していることと同じ意味を持つ。したがって、縮小処理を行った後にノイズ抑圧処理を行うことにより、高いノイズ抑圧効果を得ることができる。

また、図６（ａ）に示す信号ブロック６２を１単位としてｘ画素＊ｙ画素の範囲に対してノイズ抑圧処理を行うよりは、それよりも小さいｘ’画素＊ｙ’画素の範囲に対してノイズ抑圧処理を行う方が速く処理できる。

さらに、撮像装置１００は撮影ＩＳＯ感度に応じて縮小・拡大ズーム倍率を決定する、という特徴も有する。

図７は、撮像時のＩＳＯ感度と縮小ズーム倍率の関係を示す図である。図７に示す相関を示すデータは、例えば、マイコン１２に内蔵されるフラッシュＲＯＭ（図示せず）に格納されている。以下、ＩＳＯ感度が１００および４００に設定されたときを例に説明する。

１−２−１． ＩＳＯ感度１００のときの動作
ＩＳＯ感度１００時の動作を、図４および図７を適宜参照しながら説明する。

図７に示されるように、ＩＳＯ感度１００が設定されると、縮小ズーム倍率は１倍であると決定される（図４のステップＳ１０５）。ズーム倍率は縦方向、横方向のそれぞれについて決定する必要がある。以下の説明では、便宜上、ズーム倍率は縦方向、横方向のいずれも同じであるとする。ただし、縦方向、横方向のそれぞれの倍率は異なっていてもよい。縦方向、横方向のそれぞれについて図７に示される関係を設けてもよい。

倍率が１倍のとき、図４のステップＳ１０５およびＳ１０６においては、処理は実質的には行われない。ステップＳ１０８においてはノイズ抑圧処理が行われる。次のステップＳ１０９においても、処理は実質的には行われない。一方、拡大ズーム倍率は、求めた縮小ズーム倍率の逆数であり、その結果、拡大ズーム倍率も１倍になるためである。

以後の処理は図４で説明したとおりである。

１−２−２． ＩＳＯ感度４００のときの動作
先の例と同様に、ＩＳＯ感度４００時の動作を、図４および図７を適宜参照しながら説明する。

図７に示されるように、ＩＳＯ感度４００が設定されると、縮小ズーム倍率は１／２倍であると決定される（図４のステップＳ１０５）。

ズーム倍率決定後、プリフィルタ１４において縮小ズーム倍率に応じたプリフィルタ処理が行われる（ステップＳ１０６）。縮小ズーム倍率が１／２倍のときは、１／２間引き処理時の折り返しノイズを抑圧するためのフィルタ処理が行われる。たとえば、間引き前の画素のサンプリング周波数をＦｓとすると、縦横２×２画素の加算を行うフィルタ処理によって間引き前のＦｓ／４〜Ｆｓ／２の周波数が抑圧される。

プリフィルタ処理後、補間フィルタ９によって縮小ズーム処理が行われる（ステップＳ１０７）。補間は、例えば線形内挿処理により行われる。

縮小ズーム処理後、ノイズ抑圧フィルタ１０にて、縦３×横３画素範囲の画像相関に応じた２次元フィルタ処理によるノイズ抑圧が行われる（ステップＳ１０８）。

ノイズ抑圧処理後、補間フィルタ９にて拡大ズーム処理が行われる。拡大ズーム倍率は２倍に決定される。拡大ズーム処理の補間演算は、例えば線形内挿処理により行われる（ステップＳ１０９）。

上述のように、図７に示される関係に基づいてＩＳＯ感度に応じた縮小処理の倍率（および拡大処理の倍率）が決定される。

１−３． 撮像装置１００による処理の効果
本実施形態にかかる撮像装置１００によれば、電子的縮小処理を行った後にノイズ抑圧フィルタ１０による処理を行うので、ノイズ抑圧フィルタ１０は、元の画像データのうちの広範囲の領域の画素について一度に処理を行うことができる。そのため、ノイズ抑圧フィルタ１０の回路規模を小さくできる。具体的には、ＩＳＯ感度が４００に設定されている時にノイズ抑圧フィルタ１０にて参照される縦３×横３の画素範囲は、縮小ズーム処理前の画像の縦６×横６の画素範囲に相当する。

また、元の画像データのうちの広範囲の領域の画素についてフィルタ処理されるので、より低周波までのノイズ抑圧が可能になる。但し、電子的縮小処理を行うため、画像の解像度は劣化してしまう。

以下、電子的縮小処理を行った後にノイズ抑圧部による処理（フィルタ処理）を行うことにより、より低周波までのノイズ抑圧が可能になることを具体的に説明する。

図８は、ＩＳＯ感度が１００に設定されている時、すなわち、電子的縮小処理を行わない時の２次元フィルタ処理による帯域制限が行われる帯域を示す模式図である。帯域制限が行われる帯域は、水平方向の空間周波数軸上に示されている。

ＩＳＯ感度が１００のときは、プリフィルタ処理と間引き処理（又は補間処理）による解像劣化は無い。しかし、２次元フィルタ処理によるノイズ抑圧はＦｓ／６の帯域付近までしか抑圧出来ない。

したがって、電子的縮小処理を行った後にフィルタ処理を行うことにより、より低周波までのノイズ抑圧が可能になる。一方、電子的縮小処理を行わないでフィルタ処理を行えば、解像度の劣化を抑制できる。

一方、図９は、ＩＳＯ感度が４００に設定されている時、すなわち、１／２倍の電子的縮小処理を行う時のプリフィルタ及び２次元フィルタ処理による帯域制限が行われる帯域を示す模式図である。その帯域制限が行われる帯域は、水平方向の空間周波数軸上に示されている。

１／２倍の電子的縮小処理を行った後２次元フィルタ処理を行うと、プリフィルタ処理と間引き処理（又は補間処理）により、Ｆｓ／４まで帯域制限が行われ、Ｆｓ／１２〜Ｆｓ／４の帯域について２次元フィルタ処理によるノイズ抑圧が行われる。ただし、Ｆｓ／４以上の周波数は解像しなくなる。

撮像装置１００は、ＩＳＯ感度が大きいとき（たとえばＩＳＯ感度１５０以上のとき）は電子的縮小処理を行った後にフィルタ処理を行い、ＩＳＯ感度が小さいとき（たとえばＩＳＯ感度１５０より低いとき）は、電子的縮小処理を行なわないでフィルタ処理を行っていない。すなわち、ＩＳＯ感度に関する情報に応じて、補間フィルタ９による縮小処理又は拡大処理の際の倍率を調整するようにした。

これにより、解像劣化とノイズ抑圧処理効果のバランスを容易に制御できる。すなわち、ＩＳＯ感度が大きいときは、元々画像データに含まれるノイズが大きいため、解像度が劣化したとしても、ノイズ抑圧効果の大きい処理を行う必要がある。そこで、ＩＳＯ感度が大きいときは、電子的縮小処理を行った後にフィルタ処理を行うようにした。これに対して、ＩＳＯ感度が小さいときは、元々画像データに含まれるノイズが小さいため、解像度を劣化させてまで、ノイズ抑圧効果の大きい処理を行う必要はない。そこで、ＩＳＯ感度が小さいときは、電子的縮小処理を行なわないでフィルタ処理を行うようにした。

なお、本発明の実施の形態では、輝度信号と色信号とを区別していないが、輝度信号と色信号とを別々のズーム倍率としても構わない。例えば、輝度信号はＩＳＯ感度によらず縮小ズーム倍率１倍固定とする一方、色信号はＩＳＯ感度に応じて縮小ズーム倍率を変動させるとしてもよい。これにより、輝度信号は解像劣化しない一方、色信号についてはＮＲ効果の高い処理が得られる。もちろん、輝度信号の縮小ズーム倍率を色信号の縮小ズーム倍率とは独立に可変しても良い。その場合は、色信号のＮＲ効果・解像劣化とは関係なく、輝度信号のＮＲ効果・解像劣化のバランスを選択できる。

また、本発明の実施の形態では、水平・垂直方向共に同一のズーム倍率処理を行うとしたが、それぞれの方向で別々の倍率としても構わない。その場合、例えば、画素アスペクトがスクエアでない場合は、画素ピッチの狭い方の縮小ズーム倍率を小さくすることで、縦横方向の解像バランスを取った上でＮＲ効果を得ることが出来る。

また、本発明の実施の形態では、線形内挿処理により補間演算を行うとしたが、より簡単な間引き処理や近傍画素の複製処理で実現しても構わないし、より多タップのフィルタ処理による内挿処理を行っても構わない。多タップの内挿処理を行う場合は、プリフィルタ処理に相当する帯域制限を内挿処理のフィルタで代用しても構わない。

また、本実施形態１では、電子的縮小処理の後、ノイズリダクション処理、電子的拡大処理を連続的に行っているが、各処理の間に他の処理を行っても構わない。要するに、上記３つの処理を上記の順番で行えばよい。

（実施形態２）
次に、本発明の実施形態２の撮像装置による処理を説明する。なお、当該撮像装置の構成は、実施形態１による撮像装置１００と同じである。よって、図１等において示された参照符号を利用して本実施形態による撮像装置を説明する。

図１０は、本実施形態による撮像装置１００の処理の概要を示す。

本実施形態の撮像装置１００の処理は、拡大処理を行わない点において、実施形態１の撮像装置の処理と大きく相違する。拡大処理を行わない例として、たとえば、撮像装置１００において利用可能な最大画素数よりも低い画素数の画像をユーザーが希望する場合が考えられる。

以下の説明では、撮像処理によって得られたＲＧＢ画像の画素数が１０００万画素であるとする。一方、ユーザーは、記録される画像の画像サイズを指定する情報を操作部１３を介して入力しているとする。指定された画像サイズは、３００万画素であるとする。

一般的な撮像装置は、ＹＣ分離処理後の１０００万画素相当のサイズの輝度（Ｙ）信号および色差（ＣｂおよびＣｒ）信号に対して、まずノイズ抑圧処理を行う。その後、縮小処理を行って各信号について３００万画素相当のサイズの画像を生成し、最後に圧縮処理を行う。

一方、本実施形態による撮像装置１００は、実施形態１の処理と同様、まず縮小処理を行ってからノイズ抑圧処理を行い、その後圧縮する。縮小処理時には、ユーザーによって指示された画素数である３００万画素になるように画像を縮小している。これにより、実施形態１による処理の利点を得つつ、同時に最終的に得られる画像のサイズに調整しておくことができる。

（実施形態３）
次に、本発明の実施形態３の撮像装置による処理を説明する。なお、当該撮像装置の構成は、実施形態１による撮像装置１００と同じである。よって、図１等において示された参照符号を利用して本実施形態による撮像装置を説明する。

図１１および図１２は、本実施形態による撮像装置１００の処理の概要を示す。

本実施形態の撮像装置１００の処理は、実施形態２と同様、拡大処理は行わない。さらに本実施形態の撮像装置１００は、指定された画像フォーマットに応じて色差（ＣｂおよびＣｒ）信号に対応する画像のサイズを縮小する。

たとえば、図１１のように、出力される画像のフォーマットがＹ：Ｃｂ：Ｃｒ＝４：２：２と指定されたとする。Ｙ：Ｃｂ：Ｃｒ＝４：２：２とは、輝度信号（Ｙ）と色差信号（Ｃｂ）と色差信号（Ｃｒ）のサンプリング周波数の比率が４：２：２となっていることを表す。すると、プリフィルタ１４および補間フィルタ９は、色差（ＣｂおよびＣｒ）信号の画像横方向のサンプリング周波数を１／２にするよう、色差（ＣｂおよびＣｒ）信号に対応する画像を縮小する。

一方、図１２のように、出力される画像のフォーマットがＹ：Ｃｂ：Ｃｒ＝４：１：１と指定されたとする。すると、プリフィルタ１４および補間フィルタ９は、色差（ＣｂおよびＣｒ）信号の画像横方向および画像縦方向のサンプリング周波数を１／２にするよう、色差（ＣｂおよびＣｒ）信号に対応する画像を縮小する。

縮小処理の後は、ノイズ抑圧処理および、圧縮処理が行われる。

なお、Ｙ：Ｃｂ：Ｃｒ＝４：２：２または４：１：１は例である。他のフォーマットも利用することができる。

上述の実施形態２および３においては、主として縮小処理を行う際の縮小ズーム倍率の決定方法を説明し、ノイズ抑圧処理については実施形態１の説明を援用した。しかしながら、ノイズ抑圧処理の方法も、種々のパラメータに応じて変更することができる。

たとえば、ユーザーが操作部１３を介して、記録される画像の画質（圧縮率）を特定する情報を入力していたとする。画質の種類は、たとえば「高画質」、「標準画質」、「低画質」である。「高画質」の画像の圧縮率は相対的に低く、逆に「低画質」の画像の圧縮率は高い。

このとき、ノイズ抑圧フィルタ１０は、入力された画像の画質（圧縮率）を特定する情報に基づいて、ノイズであると判断する基準を変更する。具体的には、処理対象画素と周辺画素との相関の有無を決定する際の閾値を変更する。閾値を高く設定すれば、画素値の差が比較的大きくなってもノイズでないと判断されることになり、閾値を低く設定すれば、画素値の差が比較的小さくてもノイズであると判断されることになる。また、周辺画素の採用範囲を広くすることも可能である。さらに、処理対象画素からの距離に応じて、閾値を増減させてもよい。これにより、撮像装置１００は効率的に処理を行うことが可能になる。

本発明は、画像データに含まれるノイズを小規模回路で低減できるため、デジタルスチルカメラやビデオムービー、監視カメラ、カメラ付き携帯電話端末などのカメラ機能を有する電子機器に適用できる。

１ 撮像部
２ バッファメモリ
４ メモリカード
５ ゲイン制御部
６ Ａ／Ｄ変換器
７ メモリコントローラ
８ ＹＣ分離部
９ 補間フィルタ
１０ ノイズ抑圧フィルタ
１１ 圧縮部
１２ マイコン
１３ 操作部
１４ プリフィルタ

Claims (5)

1. 感度に関する感度情報を取得する取得部と、
   第１画像データを生成する撮像部と、
   前記第１画像データの輝度信号および色差信号のうち、少なくとも色差信号に基づく画像のサイズを縮小して、第２画像データとして出力するズーム部と、
   前記第２画像データの画像ノイズを低減して、第３画像データとして出力するノイズ抑制部と
   を備え、
   前記ズーム部は、第１の縮小ズーム倍率を用いて前記第１画像データの色差信号に基づく画像のサイズを縮小し、前記感度が所定値以上である場合、前記感度が高いほど前記第１の縮小ズーム倍率を小さく設定し、前記第１画像データの色差信号に基づく画像のサイズを縮小する、
   撮像装置。
2. 前記ズーム部は、さらに、前記第１の縮小ズーム倍率とは異なる第２の縮小ズーム倍率を用いて前記第１画像データの輝度信号に基づく画像のサイズを変更する、請求項１に記載の撮像装置。
3. 前記ズーム部は、前記第１の縮小ズーム倍率を１より小さい値に設定して前記第１画像データの色差信号に基づく画像のサイズを変更し、前記第２の縮小ズーム倍率を１に設定して前記第１画像データの輝度信号に基づく画像のサイズを変更する、請求項２に記載の撮像装置。
4. 前記第３画像データに対して圧縮処理を行う圧縮部をさらに備えた、請求項１に記載の撮像装置。
5. 前記第１画像データから、輝度信号と色差信号を分離しそれぞれ出力する分離部をさらに備えた、請求項１から４のいずれかに記載の撮像装置。

Images