JP6058924B2

JP6058924B2 - 画像処理装置、制御方法、及びプログラム

Info

Publication number: JP6058924B2
Application number: JP2012150750A
Authority: JP
Inventors: 貴幸原
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-07-04
Filing date: 2012-07-04
Publication date: 2017-01-11
Anticipated expiration: 2032-07-04
Also published as: JP2014014016A

Description

本発明は、画像処理装置、制御方法、及びプログラムに関し、特に画像の周波数成分ごとに信号処理を行う、所謂マルチレート信号処理に関する。

近年のデジタルカメラ等の撮像装置では、撮像素子の多画素化に伴い、撮像により得られる画像の情報量が増大している。このような画像に対してタップ数の多いＦＩＲフィルタを用いる信号処理を行う場合、回路規模が増大することがある。即ち、ＦＩＲフィルタへの信号入力のために設けられるフリップフロップやラインメモリ等の遅延素子について大容量が要求され、回路規模の増大が引き起こされる。

このような回路規模の増大を伴うことなく、ＦＩＲフィルタを適用したことと同等な効果を得る方法として、特許文献１に示されるようなマルチレート信号処理を用いる方法がある。

マルチレート信号処理では、縮小処理を伴って画像（原画像）を複数の周波数成分の画像（縮小画像）に分離し、各縮小画像に対して信号処理を行い、原画像の大きさに拡大して再び周波数合成を行うことにより、１つの画像が生成される。つまり、ＦＩＲフィルタの適用は原画像よりも画素数の少ない縮小画像に対して用いられるため、ＦＩＲフィルタのタップ数やフィルタ前に用いられる遅延素子の容量を低減することができる。このようなマルチレート信号処理を用いることで、回路規模を抑えつつ、原画像に対してＦＩＲフィルタを適用した場合と同様の効果を得ることができる。

特開２００８−０１５７８４１号公報

マルチレート信号処理の回路実現のためには、周波数成分を抽出する分析フィルタ、縮小のためのデシメータ（間引きフィルタ）、拡大のためのエキスパンダ（ゼロ挿入器及び画素値入力器）等の各種信号処理部が設けられる。それぞれの信号処理部では入力される信号のタイミングを合わせるために遅延回路が設けられるが、このような遅延回路の影響で原画像や各縮小画像の間で異なる遅延による位置ズレ（タイミングのずれ）が発生する。上述したように、マルチレート信号処理では異なるラインで生成された複数の画像を合成して１つの画像を生成するため、合成時にそれぞれのラインから入力される画像の入力タイミングが同期している必要がある。

また、ＦＩＲフィルタについても、入力される信号のタイミング合わせのために、タップ数分の遅延回路が必要となる。画像合成時のタイミング同期のためには、例えばＦＩＲフィルタに用いる遅延回路が利用できる。ＦＩＲフィルタ用の遅延回路の実現には、例えばＤＲＡＭやＳＲＡＭ等の記憶装置が用いられる。具体的には、画像を一時的に記憶装置に格納し、各種信号処理部の遅延回路による位置ズレを吸収して合成時のタイミングが同期するように記憶装置から画像を読み出すことで、遅延回路が実現できる。

一方、撮像素子では、撮像素子を構成する受光素子の数を低減するために、ベイヤー配列のような１つの隣り合う受光素子に対して異なるカラーフィルタが適用されることが一般的に行われている。マルチレート信号処理で周波数合成を行う際には、ベイヤー配列のままの画像ではなく、それぞれの周波数成分の画像に対して同時化処理が施されている必要がある。ベイヤー配列の撮像素子から得られた原画像は、図６に示されるように着目画素６０１の周囲の受光素子の出力から、該着目画素にない色成分を補間する（同時化処理）ことで、原画像と同じ画素数の例えばＲ、Ｇ１、Ｇ２、Ｂの色成分の画像を生成できる。図の例ではＢ成分の着目画素６０１の位置について、Ｒ成分、Ｇ１成分、及びＧ２成分の補間画素６０２乃至６０４が生成される。

撮像素子から出力される画像では、撮像光学系の形状による歪曲収差や撮像光学系の倍率による倍率色収差の影響により、像に歪みが生じることがある。特に倍率色収差については、色成分ごとに収差量が異なるため、これらの補正処理においてはベイヤー配列の撮像素子から得られた画像については収差の補正が行われる。

しかしながら、同時化処理が適用された画像に対してマルチレート信号処理を行う場合、マルチレート信号処理に係る回路規模が増大する可能性がある。即ち、同時化処理が適用されることで得られる画像の情報量は、各画素について２〜３の色成分の情報が追加されているため、撮像素子の出力である原画像の情報量に比べて３〜４倍の情報量を有する。つまり、マルチレート信号処理において各ラインでの遅延を吸収するために設けられるＤＲＡＭ等の記憶装置に必要となる容量が増大することになる。

これに対し、同時化処理がなされた画像を、ベイヤー配列を有する画像に再変換する（再ベイヤー化）ことで情報量を削減する方法が考えられるが、図７に示されるような問題がある。

収差の一つである倍率収差補正では、光軸からの距離、及び画素の色成分に応じて収差量が異なる。このため、まずベイヤー配列の原画像７００は各色の画像７０１ａ乃至ｄに色分離される。そして各画素の収差量分の位置補正を行いつつ、補間画素を補うことで、各色の補間画像７０２ａ乃至ｄが生成される。図７の例では、Ｒ成分の収差補正後の補間画像７０２ａ上の着目画素７２１は、Ｒ成分の収差補正前の色分離された画像７０１ａ上では、×印で示された位置７１１に存在する。収差補正後の着目画素７２１の値は、画像７０１ａ上の位置７１１の近傍に存在する４つのＲの画素の値に対して、それぞれ位置７１１からの距離に反比例した重み付け係数を掛け、これら係数を掛けた値を加算することで求められる。同様に、Ｂ成分の収差補正後の補間画像７０２ｄ上の着目画素７２２は、Ｂ成分の収差補正前の色分離された画像７０１ｄ上では、×印で示された位置７１２に存在する。収差補正後の着目画素７２２の値は、画像７０１ｄ上の位置７１２の近傍に存在する４つのＢの画素の値に対して、それぞれ位置７１２からの距離に反比例した重み付け係数を掛け、これら係数を掛けた値を加算することで求められる。このような処理を繰り返して、Ｒ成分の収差補正後の補間画像７０２ａ上の全ての画素の値と、Ｂ成分の収差補正後の補間画像７０２ｄ上の全ての画素の値を求める。なお、この例では、Ｇ１成分およびＧ２成分は収差の補正の対象とはならないため、Ｇ１成分の補間画像７０２ｂおよびＧ２成分の補間画像７０２ｃは通常の補間処理にて生成される。

このような補間画像７０２ａ乃至ｄをベイヤー配列に応じて間引いた後（画像７０３ａ乃至ｄ）に再ベイヤー化を行うと、Ｇ１成分およびＧ２成分については、原画像７００における画素の値のみが再ベイヤー化画像７０４に含まれることになるので問題はない。しかしながら、Ｒ成分およびＢ成分については、現画像７００における画素の値を用いて補間により得られた画素の値が、再ベイヤー化画像７０４に含まれることになる。つまり、再ベイヤー化により本来撮像素子から出力された原画像の画素が失われることになり、画像の高域成分の損失や、高域成分が低域に折り返ることによるモアレの発生によって画質劣化が生じる可能性がある。
なお、ここでは倍率色収差補正を例にあげて説明を行ったが、歪曲収差補正や台形歪み補正のように、画像の変形を伴う補正であれば、再ベイヤー化することによって同様の課題が生じる。

本発明は、上述の問題点に鑑みてなされたものであり、回路規模を低減してマルチレート信号処理を実現する画像処理装置、制御方法、及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備える。
それぞれの画素が複数の色成分のうちのいずれかの色成分の信号強度を示す原画像を取得して格納し、出力するタイミングを遅延させる第１の遅延手段と、第１の遅延手段により出力された原画像に対して、画像を変形する補正処理と、各画素について前記複数の色成分のそれぞれの信号強度を求める同時化処理を行う第１の処理手段と、第１の処理手段による処理が行われた画像から縮小画像を生成する縮小手段と、縮小手段により生成された縮小画像に対して所定の画像処理を行う第２の処理手段と、第２の処理手段により所定の画像処理が行われた縮小画像を拡大し、前記複数の色成分のそれぞれが原画像と同数の画素数を有する拡大画像を生成する拡大手段と、第１の遅延手段により出力された原画像に対して、画像を変形する補正処理を行う第３の処理手段と、拡大手段により生成された拡大画像と、第３の処理手段により処理が行われた原画像とに基づいて１つの合成画像を生成する合成手段と、を有し、第１の遅延手段は、拡大画像の生成に係る時間に応じて、前記第１の処理手段に前記原画像を出力するタイミングと、前記第３の処理手段に前記原画像を出力するタイミングとを異ならせることで、合成画像の生成に用いる複数の画像を合成手段に同期して受信させることを特徴とする。

このような構成により本発明によれば、回路規模を低減してマルチレート信号処理を実現することが可能となる。

本発明の実施形態１に係るマルチレート信号処理部１００の機能構成を示したブロック図ベイヤー配列及び同時化処理を説明するための図本発明の実施形態に係るデシメータの内部構成を示した図本発明の実施形態に係るエキスパンダの内部構成を示した図本発明の実施形態２に係るマルチレート信号処理部１００の機能構成を示したブロック図同時化処理において生成される画像を説明するための図収差補正と再ベイヤー化処理の弊害を説明するための図

［実施形態１］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、ベイヤー配列状にカラーフィルタが適用された撮像素子を有し、マルチレート信号処理を実行可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、隣接する画素が異なる色成分の信号強度を示す画像（原画像）を取得し、該原画像に対してマルチレート信号処理を実行することが可能な任意の機器に適用可能である。

《マルチレート信号処理部１００の構成》
図１は、本発明の実施形態に係るデジタルカメラが有するマルチレート信号処理部１００の機能構成を示すブロック図である。なお、図１では本実施形態に係るデジタルカメラの構成のうち、マルチレート信号処理部１００の構成要素のみを示して説明するが、デジタルカメラにはこの他にもＣＰＵ等の不図示の構成要素が含まれていてもよい。

マルチレート信号処理部１００には、例えばＣＣＤやＣＭＯＳセンサ等の、デジタルカメラが有する不図示の撮像素子から出力された画像（原画像）が読み出し順に応じて順次入力される。具体的には入力される画像は、撮像素子から読み出されたアナログ画像信号に対してＡ／Ｄ変換処理が適用されることにより得られるデジタル画像データが入力される。なお、本実施形態の撮像素子には、図２に示すような撮像素子を構成する光電変換素子（画素）の各々には、隣接する画素と異なるカラーフィルタが、ベイヤー配列で適用されているものとする。即ち、マルチレート信号処理部１００に入力される原画像の各画素は、Ｒ、Ｇ１、Ｇ２、Ｂのいずれかの色成分の信号出力となっている。

マルチレート信号処理部１００に入力された原画像は、２つのラインで並行して処理される。具体的にはマルチレート信号処理部１００に入力された原画像は、１つのラインでは後述する第１ＳＲＡＭ１０１に入力され、もう一方のラインでは第１前処理部１０２に入力される。

第１前処理部１０２は、入力された原画像に対して、画像の変形を伴う倍率色収差補正処理、歪曲収差補正処理、あるいは、台形歪み補正処理を含む前処理を実行する。倍率色収差補正処理、歪曲収差補正処理、あるいは、台形歪み補正を行うことで、同時化処理も行われる。同時化処理とは、ベイヤー配列を有する原画像の各画素について、該画素にない色成分の画素値を周囲の画素の画素値を用いた補間演算によって算出する処理である。同時化処理により生成される画像は、各画素についてＲ、Ｇ、Ｂの色成分（あるいはＲ、Ｇ１、Ｇ２、Ｂ）の画素値を有する画像となる。例えば図２のＲ成分の画素値を有する着目画素２０１については、同時化処理により不足しているＧ成分及びＢ成分の画素値が生成される。

第１前処理部１０２における前処理により生成された同時化画像（第１の同時化画像）は、第１デシメータ１０３に入力される。第１デシメータ１０３は、入力された画像から特定の周波数成分を有する第１の縮小画像を生成して出力する。第１デシメータ１０３は、例えば図３に示されるような２種類のフィルタ、分析フィルタ３０１及び間引きフィルタ３０２で構成される。分析フィルタ３０１は、例えばローパスフィルタであり、所定のフィルタ係数に応じて、入力された画像から特定の周波数成分の画像を出力する。また間引きフィルタ３０２は、分析フィルタ３０１から出力された特定の周波数成分の画像について、所定の間引き率に応じて画素の間引きを行うことで、第１の縮小画像を出力する。この第１の縮小画像に含まれる周波数成分の上限は、入力された画像の周波数成分の上限よりも低くなる。なお、分析フィルタ３０１のフィルタ係数や間引きフィルタ３０２の間引き率は、目的とする信号処理で必要なフィルタ内容やタップ数に基づいて設計される。

第１デシメータ１０３により生成された第１の縮小画像は、さらに２つのラインで並行して処理される。具体的には第１デシメータ１０３により生成された第１の縮小画像は、１つのラインでは後述の第２ＳＲＡＭ１０４に入力され、もう一方のラインでは第２デシメータ１０５に入力される。

第２デシメータ１０５は、第１デシメータ１０３と同様に、入力された画像から特定の周波数成分を有する第２の縮小画像を生成して出力する。第２デシメータ１０５の構成は第１デシメータ１０３と同様であってよく、分析フィルタ３０１のフィルタ係数や間引きフィルタ３０２の間引き率も同じであってもよい。つまり第２デシメータ１０５は、第１デシメータ１０３により縮小された第１の縮小画像に対して、さらに特定の周波数成分の抽出及び縮小を行う。即ち、第２デシメータ１０５は、第１デシメータ１０３から出力された第１の縮小画像とは異なる周波数成分の第２の縮小画像を生成する。この第２の縮小画像に含まれる周波数成分の上限は、第２の縮小画像の周波数成分の上限よりも低くなる。第２デシメータ１０５は、生成した第２の縮小画像を第３ＳＲＡＭ１０６に入力する。

第１ＳＲＡＭ１０１、第２ＳＲＡＭ１０４、及び第３ＳＲＡＭ１０６は、入力された画像を一時的に記憶する記憶装置である。本実施形態ではマルチレート信号処理部１００に入力された原画像、第１デシメータ１０３により生成された第１の縮小画像、及び第２デシメータ１０５により生成された第２の縮小画像の各々は、これらの記憶装置に転送される。そして該画像は、不図示のメモリアクセス器によりＣＰＵにより指示されたアドレスに格納される。また該記憶装置に格納された画像は、ＣＰＵの制御により所定のタイミングでメモリアクセス器により読み出され、ラインにおける後続のブロックに入力される。即ち、本実施形態では第１ＳＲＡＭ１０１、第２ＳＲＡＭ１０４、及び第３ＳＲＡＭ１０６は、マルチレート信号処理における各種信号処理でのタイミング制御を行う遅延回路として用いられる。

第１信号処理部１０７は、少なくとも有限インパルス応答フィルタ（ＦＩＲフィルタ）を有し、第３ＳＲＡＭ１０６から読み出されて入力された第２の縮小画像に対して、所定の信号処理を行う。本実施形態のようにマルチレート信号処理が周波数成分ごとにノイズを低減するために行われる場合は、所定の信号処理は例えばノイズ低減処理であってよい。本実施形態ではＣＰＵは、第３ＳＲＡＭ１０６からの第２の縮小画像の読み出しタイミングを制御することで、ＦＩＲフィルタのタップ数分のデータを第１信号処理部１０７に同期して入力させる。

第１エキスパンダ１０８は、入力されたノイズ低減処理がなされた第２の縮小画像を拡大し、第１の拡大画像を生成して出力する。第１エキスパンダ１０８は、例えば図４に示されるようなゼロ挿入器４０１及び画素値入力器４０２で構成される。ゼロ挿入器４０１は、入力された画像の画素間に拡大率に応じた画素分のゼロを挿入することで、まず第１の縮小画像と同数の画素数を有する画像に変換する。また画素値入力器４０２は、ゼロ挿入器４０１により挿入されたゼロの画素値を有する画素について、例えば入力された画像の対応する画素の画素値をコピーするか、あるいは、隣接する画素の画素値を用いて補間演算することで第１の拡大画像を生成する。なお、第１エキスパンダ１０８により生成された第１の拡大画像は、第２信号処理部１０９に出力される。

第２信号処理部１０９は、第１信号処理部１０７と同様に少なくともＦＩＲフィルタを有し、第２ＳＲＡＭ１０４から読み出されて入力された第１の縮小画像に対してノイズ低減処理を行う。ＣＰＵは、第２ＳＲＡＭ１０４からの第１の縮小画像の読み出しタイミングを制御することで、ＦＩＲフィルタのタップ数分のデータを第２信号処理部１０９に同期して入力させる（第２の遅延）。

また第２信号処理部１０９は不図示の合成部を有し、ノイズ低減処理がなされた第１の縮小画像と、第１エキスパンダ１０８から入力された第１の拡大画像とを合成し、得られた合成画像を出力する。このときノイズ低減処理がなされた第１の縮小画像と第１の拡大画像とは、合成部において同期して受信される必要がある。つまり、ＣＰＵは第２ＳＲＡＭ１０４からの第１の縮小画像の読み出しタイミングを、第２の縮小画像から第１の拡大画像を生成する処理に要する時間に応じて制御することで、合成部における合成対象の画像の入力タイミングを同期させる。なお、第２信号処理部１０９により生成された合成画像は、第２エキスパンダ１１０に入力されて、原画像と同数の画素数を有する第２の拡大画像に拡大された後、後述する第３信号処理部１１２に出力される。

一方、第１ＳＲＡＭ１０１に入力された原画像は、ＣＰＵにより読み出しタイミングを制御され、第２前処理部１１１に出力される（第１の遅延）。第２前処理部１１１は、入力された原画像に対して、第１前処理部１０２と同様に画像の変形を伴う倍率色収差補正処理、歪曲収差補正処理、あるいは、台形歪み補正処理を含む前処理を実行する。そして第２前処理部１１１は、この前処理によって得られた同時化画像（第２の同時化画像）を第３信号処理部１１２に出力する。

第３信号処理部１１２は少なくともＦＩＲフィルタを有しており、第２前処理部１１１から入力された第２の同時化画像に対して、第１信号処理部１０７や第２信号処理部１０９と同様にノイズ低減処理を行う。ＣＰＵは、第１ＳＲＡＭ１０１からの原画像の読み出しタイミングを制御することで、ＦＩＲフィルタのタップ数分の第２の同時化画像のデータを第３信号処理部１１２に同期して入力させる。

また第３信号処理部１１２は、第２信号処理部１０９と同様に不図示の合成部を有し、ノイズ低減処理がなされた第２の同時化画像と、第２エキスパンダ１１０から出力された第２の拡大画像とを合成し、得られた合成画像を出力する。このときノイズ低減処理がなされた第２の同時化画像と第２の拡大画像とは、第２信号処理部１０９同様に合成部において同期して受信される必要がある。即ち、ＣＰＵは第１ＳＲＡＭ１０１からの原画像の読み出しタイミングを、第１の同時化画像から第２の拡大画像を生成する処理に要する時間に応じて制御することで、合成部における合成対象の画像の入力タイミングを同期させる。

このように、本実施形態のマルチレート信号処理部１００では、異なる周波数成分の画像の各々に対してなされた処理や、該処理によって生じた遅延を考慮して、ＳＲＡＭからの各種画像の読み出しタイミングを異ならせる。このようにすることで、合成処理が行われる際に、合成対象である２つの画像を合成部において同期して受信させることができる。また原画像を同時化処理した後に縮小せずにＳＲＡＭ（第１ＳＲＡＭ１０１）に格納する構成に比べて、本実施形態のマルチレート信号処理部１００は第１ＳＲＡＭ１０１の容量を小さく設計可能である。即ち、同時化処理により原画像の３倍あるいは４倍の情報量を有する同時化画像を第１ＳＲＡＭ１０１に格納する必要がないため、第１ＳＲＡＭ１０１の容量は原画像を格納するために必要な容量があればよい。また、画像の変形を伴う倍率色収差補正処理、歪曲収差補正処理、あるいは、台形歪み補正処理を行った後の画像を再ベイヤー化する必要がないため、再ベイヤー化時の画像の高域成分の損失やモアレの発生による画質劣化が生じる心配もない。

《ＳＲＡＭ総容量の削減効果》
このことについて、具体的な数値例を用いて以下に説明する。なお、本実施形態のように画像の遅延制御のためにＳＲＡＭ等の内蔵の遅延ラインメモリを用いる構成は、例えば動画処理等のリアルタイム性が求められる処理に好適である。即ち、ＳＲＡＭはデータの読み書きに要する時間が高速であるため、順次入力されるフレームデータを処理する必要がある動画処理等に好適である。

例えば入力される動画像のフレームデータ（ベイヤー配列の原画像）が、各画素１０ビットの情報量を有する水平２０００画素のデータであるとする。このとき、原画像の水平１ラインを格納するためには、第１ＳＲＡＭ１０１には１０ビット×２０００＝２０Ｋビットの容量があればよい。

これに対し、同時化処理後の原画像（原画像と同数の画素数を有する）は、各画素が４つの色成分の情報を有するため、各画素の情報量は１０×４＝４０ビットとなる。つまり、同時化処理後の原画像の水平１ラインを格納するためには、第１ＳＲＡＭ１０１には４０×２０００＝８０Ｋビットの容量が必要となる。

一方、同時化処理後の原画像から生成する２種類の縮小画像については、再ベイヤー化を行わずに第２ＳＲＡＭ１０４あるいは第３ＳＲＡＭ１０６に格納される。第１デシメータ１０３及び第２デシメータ１０５における縮小処理が、いずれも水平方向及び垂直方向ともに画素数を１／２にする間引きを行う場合、各縮小画像の水平１ラインの格納するための容量は次のようになる。第１の縮小画像の水平１ラインを格納するためには、第２ＳＲＡＭ１０４には４０×１０００＝４０Ｋビットの容量が必要となる。また第２の縮小画像の水平１ラインを格納するためには、第３ＳＲＡＭ１０６には４０×５００＝２０Ｋビットの容量が必要となる。

即ち、原画像を第１ＳＲＡＭ１０１に格納する際に同時化処理を行うか否かにより、マルチレート信号処理部１００に必要となるＳＲＡＭの総容量は、水平１ラインについて１４０Ｋ−８０Ｋ＝６０Ｋビットの差が生じる。

なお、実際は各信号処理部には垂直フィルタが組み込まれうる。このため、該フィルタのタップ数がｎタップであれば、遅延ラインの実現に必要なＳＲＡＭの総容量はｎ倍になる。即ち、ベイヤー配列のまま原画像を第１ＳＲＡＭ１０１に格納するか否かによる、必要なＳＲＡＭの総容量の差は、該タップ数に比例して大きくなる。このため、本実施形態のようなマルチレート信号処理部１００の構成は、タップ数が大きいフィルタ処理がなされるマルチレート信号処理には好適である。

以上説明したように、本実施形態の画像処理装置は、回路規模を低減してマルチレート信号処理を実現する。具体的には画像処理装置は、隣接する画素が異なる色成分の信号強度を示す原画像を取得する。１つのラインでは、取得した原画像は同時化された後に、縮小、ノイズ低減、拡大処理を行うことで、特定の周波数成分におけるノイズ成分が低減された拡大画像に変換されて合成部に入力される。またもう１つのラインでは、取得した原画像は記憶装置に格納され、出力するタイミングが制御されることで遅延される。該遅延された原画像から生成された同時化画像と拡大画像とは合成部に同期して入力され、合成される。

なお、本実施形態ではマルチレート信号処理部１００において複数の周波数成分の画像を生成してノイズ低減処理を行う例について説明したが、本発明の適用はこれに限られるものではない。つまり、本発明の適用は、ベイヤー形式の原画像に対して、少なくとも１つの特定の周波数成分のノイズ低減処理が適用された画像の合成を行うマルチレート信号処理に適用可能である。

［実施形態２］
上述した実施形態１では、マルチレート信号処理部１００において内蔵の遅延ラインメモリであるＳＲＡＭを用いる例について説明したが、本実施形態ではマルチレート信号処理部１００の全体で共有するＤＲＡＭを用いる場合について説明する。

ＳＲＡＭは、周知のように読み出し及び書き込みに係るアクセスが高速である反面、１セルに係る回路規模がＤＲＡＭに比べて大きい。つまり、実施形態１の動画像のフレームデータのように、画素数が少ない画像については問題になりにくいが、所謂４Ｋ画像のように画素数の多い画像については回路規模が大きくなる可能性がある。このため、本実施形態ではＤＲＡＭを用いて画素数の多い画像についてのマルチレート信号処理を行うマルチレート信号処理部１００について説明する。

《マルチレート信号処理部１００の構成》
図５は、本実施形態に係るデジタルカメラが有するマルチレート信号処理部１００の機能構成を示すブロック図である。なお、図５において上述した実施形態１のマルチレート信号処理部１００の構成で説明したブロックについては同様の参照符号を付して説明を省略するものとする。以下では、本実施形態のマルチレート信号処理部１００にのみ用いられる構成について説明する。

マルチレート信号処理部１００に入力された原画像は、まずベイヤー形式のまま第１ＤＲＡＭ１２１に格納される。本実施形態では第１ＤＲＡＭ１２１と、後述する第２ＤＲＡＭ１２２及び第３ＤＲＡＭ１２３とは、デジタルカメラが有する大容量メモリである、１つのＤＲＡＭで実現される。第１ＤＲＡＭ１２１に格納された原画像について、ＣＰＵはタイミングを異ならせながら、原画像の全体に対してノイズ低減処理を行うライン用と、実施形態１における特定の周波数成分のノイズ低減処理を行なった画像を生成するライン用と２回の読み出しを行う。

また第１デシメータ１０３により生成された第１の縮小画像は、１つのラインでは第２ＤＲＡＭ１２２に入力され、もう一方のラインでは第２デシメータ１０５に入力される。第２ＤＲＡＭ１２２は、上述したようにデジタルカメラが有する大容量メモリの一部である。第２ＤＲＡＭ１２２は第１の縮小画像を格納し、第２信号処理部１０９におけるＦＩＲフィルタのタップ数及び第２信号処理部１０９の合成部における第１の拡大画像の入力タイミングを考慮して、遅延読み出しがなされる。

第２デシメータ１０５により生成された第２の縮小画像は、第３ＤＲＡＭ１２３に入力される。第３ＤＲＡＭ１２３は、第２ＤＲＡＭ１２２同様にデジタルカメラが有する大容量メモリの一部である。第３ＤＲＡＭ１２３は第２の縮小画像を格納し、第１信号処理部１０７におけるＦＩＲフィルタのタップ数を考慮して遅延読み出しがなされる。

なお、第１ＤＲＡＭ１２１についても実施形態１と同様に、ＣＰＵは第３信号処理部１１２におけるＦＩＲフィルタのタップ数、及び第３信号処理部１１２の合成部における第２の拡大画像の入力タイミングを考慮して、遅延読み出しを行う。

このように、本実施形態のマルチレート信号処理部１００では、異なる周波数成分の画像の各々に対してなされた処理や、該処理によって生じた遅延を考慮して、ＤＲＡＭからの各種画像の読み出しタイミングを異ならせる。このようにすることで、合成処理が行われる際に、合成対象である２つの画像を合成部において同期して受信させることができる。また原画像を同時化処理した後に縮小せずにＤＲＡＭ（第１ＤＲＡＭ１２１）に格納する構成に比べて、本実施形態のマルチレート信号処理部１００は第１ＤＲＡＭ１２１の容量を小さく設計可能である。即ち、同時化処理により原画像の３倍あるいは４倍の情報量を有する同時化画像を第１ＤＲＡＭ１２１に格納する必要がないため、第１ＤＲＡＭ１２１の容量は原画像を格納するために必要な容量があればよい。

《ＤＲＡＭ総容量の削減効果》
このことについて、具体的な数値例を用いて以下に説明する。

例えば入力される静止画像が各画素１０ビットの情報量を有する水平４０００画素×垂直３０００画素のデータであるとする。このとき、原画像の全体を格納するためには、第１ＤＲＡＭ１２１には１０ビット×４０００×３０００＝１２０Ｍビットの容量があればよい。

これに対し、同時化処理後の原画像（原画像と同数の画素数を有する）は、各画素が４つのいろ成分の情報を有するため、各がその情報量は１０×４＝４０ビットとなる。つまり、同時化処理後の原画像の全体を格納するためには、第１ＤＲＡＭ１２１には４０×４０００×３０００＝４８０Ｍビットの容量が必要となる。

一方、同時化処理後の原画像から生成する２種類の縮小画像については、再ベイヤー化を行わずに第２ＤＲＡＭ１２２あるいは第３ＤＲＡＭ１２３に格納される。第１デシメータ１０３及び第２デシメータ１０５における縮小処理が、いずれも水平方向及び垂直方向ともに画素数を１／２にする間引きを行う場合、各縮小画像の水平１ラインの格納するための容量は次のようになる。第１の縮小画像の水平１ラインを格納するためには、第２ＤＲＡＭ１２２には４０×２０００×１５００＝１２０Ｍビットの容量が必要となる。また第２の縮小画像の水平１ラインを格納するためには、第３ＤＲＡＭ１２３には４０×１０００×７５０＝３０Ｍビットの容量が必要となる。

即ち、原画像を第１ＤＲＡＭ１２１に格納する際に同時化処理を行うか否かにより、マルチレート信号処理部１００に必要となるＤＲＡＭの容量は、６３０Ｍ−２７０Ｍ＝３６０Ｍビットの差が生じる。

なお、本実施形態のような構成の場合は、第１前処理部１０２及び第２前処理部１１１は単一の回路で構成されていてもよい。単一の回路で実現される場合は、原画像が第１ＤＲＡＭ１２１から読み出されたタイミングに応じて、第１デシメータ１０３に出力されるか、あるいは第３信号処理部１１２に出力されるかをＣＰＵが制御するものとする。

以上説明したように、本実施形態の画像処理装置は、回路規模を低減してマルチレート信号処理を実現する。具体的には画像処理装置は、隣接する画素が異なる色成分の信号強度を示す原画像を取得し、記憶装置に格納され、出力するタイミングが制御されることで異なるラインに入力される。１つのラインでは、原画像は同時化された後に、縮小、ノイズ低減、拡大処理を行うことで、特定の周波数成分におけるノイズ成分が低減された拡大画像に変換されて合成部に入力される。またもう１つのラインでは、遅延されることにより原画像から生成された同時化画像と拡大画像とは合成部に同期して入力され、合成される。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

それぞれの画素が複数の色成分のうちのいずれかの色成分の信号強度を示す原画像を取得して格納し、出力するタイミングを遅延させる第１の遅延手段と、
前記第１の遅延手段により出力された前記原画像に対して、画像を変形する補正処理と、各画素について前記複数の色成分のそれぞれの信号強度を求める同時化処理と、を行う第１の処理手段と、
前記第１の処理手段による処理が行われた画像から縮小画像を生成する縮小手段と、
前記縮小手段により生成された前記縮小画像に対して所定の画像処理を行う第２の処理手段と、
前記第２の処理手段により前記所定の画像処理が行われた前記縮小画像を拡大し、前記複数の色成分のそれぞれが前記原画像と同数の画素数を有する拡大画像を生成する拡大手段と、
前記第１の遅延手段により出力された前記原画像に対して、画像を変形する補正処理を行う第３の処理手段と、
前記拡大手段により生成された前記拡大画像と、前記第３の処理手段により処理が行われた前記原画像とに基づいて１つの合成画像を生成する合成手段と、を有し、
前記第１の遅延手段は、前記拡大画像の生成に係る時間に応じて、前記第１の処理手段に前記原画像を出力するタイミングと、前記第３の処理手段に前記原画像を出力するタイミングとを異ならせることで、前記合成画像の生成に用いる複数の画像を前記合成手段に同期して受信させる
ことを特徴とする画像処理装置。
前記縮小画像は、前記第１の処理手段による処理が行われた画像の特定の周波数成分を抽出して縮小した画像であり、
前記所定の画像処理は、前記縮小画像に含まれるノイズを低減する処理を含む
ことを特徴とする請求項１に記載の画像処理装置。
前記縮小手段は、前記第１の処理手段による処理が行われた画像から、抽出する周波数成分及び画素数が異なる複数の前記縮小画像を生成し、
前記拡大手段は、前記複数の縮小画像の各々について前記拡大画像を生成する
ことを特徴とする請求項１または２に記載の画像処理装置。
前記第３の処理手段は、前記第１の遅延手段により出力された前記原画像に対して、各画素について前記複数の色成分のそれぞれの信号強度を求める同時化処理をさらに行い、
前記合成手段は、前記拡大画像と前記第３の処理手段により処理が行われた前記原画像とを受信し、受信した画像を前記複数の色成分ごとに合成して前記合成画像を生成する
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
前記第２の処理手段は有限インパルス応答フィルタであり、前記縮小画像を格納して出力するタイミングを遅延させる、該有限インパルス応答フィルタのタップ数分の第２の遅延手段を有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
画像処理装置の第１の遅延手段が、それぞれの画素が複数の色成分のうちのいずれかの色成分の信号強度を示す原画像を取得して格納し、出力するタイミングを遅延させる第１の遅延工程と、
前記画像処理装置の第１の処理手段が、前記第１の遅延工程において出力された前記原画像に対して、画像を変形する補正処理と、各画素について前記複数の色成分のそれぞれの信号強度を求める同時化処理と、を行う第１の処理工程と、
前記画像処理装置の縮小手段が、前記第１の処理工程における処理が行われた画像から縮小画像を生成する縮小工程と、
前記画像処理装置の第２の処理手段が、前記縮小工程において生成された前記縮小画像に対して所定の画像処理を行う第２の処理工程と、
前記画像処理装置の拡大手段が、前記第２の処理工程において前記所定の画像処理が行われた前記縮小画像を拡大し、前記複数の色成分のそれぞれが前記原画像と同数の画素数を有する拡大画像を生成する拡大工程と、
前記画像処理装置の第３の処理手段が、前記第１の遅延工程において出力された前記原画像に対して、画像を変形する処理を行う第３の処理工程と、
前記画像処理装置の合成手段が、前記拡大工程において生成された前記拡大画像と、前記第３の処理工程において処理が行われた前記原画像とに基づいて１つの合成画像を生成する合成工程と、を有し、
前記第１の遅延手段は前記第１の遅延工程において、前記拡大画像の生成に係る時間に応じて、前記第１の処理工程に係り前記原画像を出力するタイミングと、前記第３の処理工程に係り前記原画像を出力するタイミングとを異ならせることで、前記合成画像の生成に用いる複数の画像を前記合成工程において同期して受信させる
ことを特徴とする画像処理装置の制御方法。
コンピュータを、請求項１乃至５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。