JP4816129B2

JP4816129B2 - 画像処理装置及び撮像装置

Info

Publication number: JP4816129B2
Application number: JP2006044606A
Authority: JP
Inventors: 昇平坂本
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2006-02-22
Filing date: 2006-02-22
Publication date: 2011-11-16
Anticipated expiration: 2026-02-22
Also published as: JP2007228104A

Description

本発明は、撮像素子から出力された画像信号を処理する画像処理装置及び撮像装置に関する。

従来、デジタルカメラ等においては、図６（Ａ）に示す画像処理部３１が設けられている（例えば、特許文献１参照。）。この画像処理部３１は、ノイズ低減部３２と、このノイズ低減部３２の後段に順次設けられた、色補間部３３、ホワイトバランス調整部３４、ガンマ補正部（ガンマＬＵＴ）３５、色変換部３６、エッジ強調部３７の各部で構成されている。前記画像処理部３１には、ＤＭＡ（direct memory access）コントローラによりＲＡＭ上のベイヤーデータが読み出されてに入力される。そして、画像処理部３１において、ノイズ低減処理から輪郭強調処理までの一連の処理がなされ、処理結果としてのＹＵＶデータがＤＭＡコントローラによりＤＲＡＭに書き出される。

画像処理部３１の処理は、ＤＲＡＭを介することなく行われ、また、１画素／１のスループットにより処理される。この処理に際して、例えばノイズ低減部３２が５×５ピクセルのベイヤーデータにフィルタをかけて１ピクセルを出力するものである場合、ＤＭＡコントローラにより水平走査で読み出されたベイヤーデータは、ノイズ低減部３２の直前に配置された４本の、１水平ライン長のラインバッファ（図示せず）に順次入力される。そして、このラインバッファに貯められた４ライン分のベイヤーデータと現在ラインの入力データの垂直５ピクセル分のベイヤーデータをノイズ低減演算ロジックへ入力する。同様に、２次元フィルタからなる色補間部３３とエッジ強調部３７においてもリングピクセル数分のラインバッファを前段に配置する。
特開２００４−３６３８５３号公報

ところで、このような画像処理装置においては、図６（Ｂ）に示すように、複数のノイズ低減部３２を直列に設けて多段構成（図示では二段）にすることにより、低周波ノイズの低減性能を改善することができる。しかし、ノイズ低減部３２を多段にすると、その分前記ラインバッファの数を増加させる必要があり、ハードウェアのコストが増大していまう。

これを回避する方法として、図６（Ｃ）に示すように、ノイズ低減部３２とその後段部分とを分離し、ノイズ低減部３２で複数回処理した後、この複数回処理したベイヤーデータを後段の色補間部３３側に入力して、残りの画像処理を行うことが考えられる。しかし、この方法では、ノイズ低減部３２によるノイズ低減処理を複数回行わずに１回行えば充分である場合であっても、ベイヤーデータを一旦ＤＲＡＭに書き出さなくてはならない。このため、ＤＲＡＭへの書き出しに起因して消費電力が増加し、あるいは処理時間が増大するという不利が生じてしまう。

本発明は、かかる従来の課題に鑑みてなされたものであり、ハードウェアのコスト増大や消費電力の増加あるいは処理時間の増大を伴うことなく、低周波ノイズの低減性能を改善することのできる画像処理装置及び撮像装置を提供することを目的とする。

前記課題を解決するために請求項１記載の発明に係る画像処理装置は、撮像素子から出力された画像信号を処理する画像処理装置であって、前記撮像素子から出力された画像信号に対してノイズ低減処理を実行するノイズ低減処理手段と、このノイズ低減処理手段によりノイズ低減された画像信号を当該ノイズ低減処理手段に帰還させる第１の経路と、前記ノイズ低減された画像信号を後段の信号処理手段に送出する第２の経路と、これら第１の経路と第２の経路とを選択的に切り替える切替手段とを備え、前記切替手段は、前記ノイズ低減された画像信号が所定回数前記ノイズ低減処理手段に帰還されるまで前記第１の経路を維持し、前記所定回数帰還されたならば、前記第２の経路に切り替える。

したがって、切替手段により第１の経路に切り替えた状態においては、撮像素子から出力された画像信号はノイズ低減処理手段により処理されてノイズ低減処理された後、帰還されてノイズ低減処理手段によって繰り返しノイズ低減処理される。よって、ノイズ低減処理手段を多段に設ける必要がなく、ノイズ低減処理手段を多段に設けることに起因するハードウェアのコスト増大を招くことはない。また、繰り返しノイズ低減処理手段によってノイズ低減処理されることにより、低周波ノイズの低減性能が改善されることから、ハードウェアのコスト増大を伴うことなく、ノイズ低減性能を改善することができる。

また、切替手段により第２の経路に切り替えられると、ノイズ低減処理手段によりノイズ低減処理された画像信号は、後段の信号処理手段に送出される。したがって、ノイズ低減処理手段を分離して設けた場合のように、後段の信号処理手段に送出する際に、ノイズ低減処理手段により処理された画像データを一旦ＲＡＭに記憶させるシーケンスは必要ない。よって、このシーケンスに起因する消費電力の増加や、処理時間の増大を未然に防止することができる。

また、前記切替手段は、前記ノイズ低減された画像信号が所定回数前記ノイズ低減処理手段に戻されるまで前記第１の経路を維持し、前記所定回数戻されたならば、前記第２の経路に切り替える。したがって、画像信号はノイズ低減処理手段により所定回数ノイズ低減処理された時点で、後段の信号処理手段に送出される。

また、請求項２記載の発明に係る画像処理装置は、前記ノイズ低減処理手段を複数種備え、この複数種のノイズ低減処理手段からいずれかを選択する選択手段を更に備え、前記第１の経路は、前記選択手段により選択されたノイズ低減処理手段によりノイズ低減された画像信号を当該ノイズ低減処理手段に帰還させる経路である。したがって、複数種のノイズ低減処理手段からいずれかを選択して、この選択したノイズ低減処理手段により複数回のノイズ低減処理を行うことができ、より柔軟で効果的なノイズ低減が可能となる。

また、請求項３記載の発明は、被写体を撮像して画像信号を出力する撮像素子と、この撮像素子から出力された画像信号を処理する画像処理手段とを備える撮像装置であって、前記画像処理手段は、前記撮像素子から出力された画像信号に対してノイズ低減処理を実行するノイズ低減処理手段と、このノイズ低減処理手段によりノイズ低減された画像信号を当該ノイズ低減処理手段に帰還させる第１の経路と、前記ノイズ低減された画像信号を後段の信号処理手段に送出する第２の経路と、これら第１の経路と第２の経路とを選択的
に切り替える切替手段とを備える。したがって、請求項３に係る発明によれば、撮像装置において前記請求項１記載の発明と同様の作用効果を奏する。

以上説明したように本発明によれば、ノイズ低減処理手段を多段に設けることなく、繰り返しノイズ低減処理手段によってノイズ低減処理させることができる。よって、ノイズ低減処理手段を多段に設けることに起因するハードウェアのコスト増大を伴わずに、ノイズ低減性能を改善することができる。

以下、本発明の一実施の形態を図にしたがって説明する。図１は、本発明に係るデジタルカメラ１の概略構成を示すブロック図である。
このデジタルカメラ１は、撮像素子であるＣＣＤ２により被写体を撮像し、撮像により取得した被写体画像をＬＣＤ（液晶表示装置）４に表示させるとともに、撮影操作に応じて、撮像した被写体画像を画像データに変換し画像メモリ５に記録する構成である。なお、画像メモリ５は、カメラ本体に内蔵又は着脱自在なフラッシュメモリ等の不揮発性メモリである。

ＣＣＤ２は、感光部にベイヤー配列の原色フィルターが設けられたものであり、ＣＣＤ２から出力されたアナログの撮像信号は、画像処理部３においてデジタルの画像信号（ベイヤーデータ）に変換されるとともに、各種の信号処理を施されて、最終的には輝度信号（Ｙ信号）と色差信号（Ｃｂ信号、Ｃｒ信号）を含んだＹＵＶデータ、すなわちデジタルの画像信号として出力される。

画像処理部３から出力された画像信号は、撮影待機状態にあるときＬＣＤ４に送られて被写体画像として表示される。また、撮影操作時には、ＣＰＵ６によりＪＰＥＧ等の所定フォーマットに従い圧縮され画像メモリ５に記録される。画像メモリ５に記録された圧縮後の画像データは、必要に応じＣＰＵ６により読み出され、一旦伸張された後ＬＣＤ４において静止画像、或いは動画像として再生表示される。

また、デジタルカメラ１は、ＣＰＵ６が前記画像データの圧縮・伸張、及び装置全体の制御に必要とする各種の制御プログラムが記録されたＲＯＭ７と、ＣＰＵ６の作業用メモリでありまた前記ベイヤーデータを一次記憶するＲＡＭ８、キー入力部９、及びＤＭＡコントローラ１０を有している。キー入力部９は、シャッターキーや、動作モードの切り替えに使用されるモード切替キー等からなり、キー操作に応じた操作信号をＣＰＵ６へ出力する。ＤＭＡコントローラ１０は、前記ＲＡＭ８上のベイヤーデータを読み出して画像処理部３にＤＭＡ転送する。

図２は、前述した画像処理部３の詳細を示すブロック図である。画像処理部３は、ＣＣＤ２から入力したアナログの撮像信号が入力するアナログ処理部（図示せず）と、ノイズ低減部３２、画素補間部３３、色調整部３４、ガンマ補正部３５、ＹＵＶ変換部３６、輪郭強調部３７及び切替スイッチ３８の各部から構成されている。

アナログ処理部は、ＣＣＤ２から出力された撮像信号に含まれるＣＣＤ２の駆動ノイズを減少させる相関二重サンプリング回路（ＣＤＳ回路）と、ノイズ低減後における信号のゲインを調整する自動利得制御回路（ＡＧＣ回路）、ゲイン調整後の信号をデジタル信号に変換するＡ／Ｄ変換器を含み、ＣＣＤ２から入力したアナログの撮像信号をデジタルの画像信号（ベイヤーデータ）に変換する。このベイヤーデータは、ＤＭＡコントローラ１０によりＤＭＡ転送されて一旦ＲＡＭ８に書き込まれる。

ノイズ低減部３２には、ＲＡＭ８から読み出されたベイヤーデータが転送される。ノイズ低減部３２は、所謂ローパスフィルタであって、図示しないが、４ライン分のラインメモリ、５ピクセル分の遅延素子と、各遅延素子からの出力に対して減算器、絶対値算出回路、リミッタ等が接続された構成である。そして、所定の処理アルゴリズムに従ったノイズ低減処理を行うことにより、アナログ処理部３１から入力したベイヤーデータにおけるノイズを低減させる。

画素補間部３３は、前記ノイズが低減されたベイヤーデータからＲ，Ｇ，Ｂの色成分について色補間を行って全画素分のＲＧＢデータを生成する。色調整部３４は、画像を構成する全画素の色情報に基づきＲ，Ｇ，Ｂの色成分毎のゲイン調整を行うことによってホワイトバランスを調整する。ガンマ補正部３５は画像信号に対するガンマ特性（階調特性）の補正を行う。

ＹＵＶ変換部３６は、Ｒ，Ｇ，Ｂの色成分データから輝度信号（Ｙ信号）と色差信号（Ｃｂ信号、Ｃｒ信号）を含んだＹＵＶデータを生成する。輪郭強調部３７は、ハイパスフィルタ或いはマスクフィルタによりＹＵＶデータにおけるＹ信号の振幅を調整することによりエッジ強調を行い、かつエッジ強調により生じたノイズをコアリング処理等により除去し、処理後の画像信号をＣＰＵ６やＬＣＤ４へ出力する。

切替スイッチ３８は、可動接点３８ａと、この可動接点３８ａが選択的に接触する第１固定接点３８ｂ及び第２固定接点３８ｃを有している。そして、可動接点３８ａが第１固定接点３８ｂに接触することにより、ノイズ低減部３２からのベイヤーデータがＲＡＭ８を介して当該ノイズ低減部３２に帰還する第１の経路が形成される。また、可動接点３８ａが第２固定接点３８ｃに接触することにより、ノイズ低減部３２からのベイヤーデータが後段の画素補間部３３に送出される第２の経路される。なお、可動接点３８ａの接触位置はＣＰＵ６により制御されるように構成されている。

以上の構成に係る本実施の形態において、ＣＰＵ６は、ＲＯＭに格納されているプログラムに基づき、図３に示すフローチャートに従って切替スイッチ３８を制御する。前述したノイズ低減部３２の処理回数をカウントするカウンタＣをリセットする（ステップＳ１０１）。引き続き、予め設定されたノイズ低減部３２の処理回数Ｎが１回（帰還回数０回）、つまりＮ＝１であるか否かを判断する（ステップＳ１０２）。Ｎ＝１であって、予め設定されたノイズ低減部３２の処理回数Ｎが１回である場合には、ステップＳ１０７に進み、可動接点３８ａを第２固定接点３８ｃに接触させる。したがって、予め設定されたノイズ低減部３２の処理回数Ｎが１回である場合には、ノイズ低減部３２で処理されたベイヤーデータは、切替スイッチ３８を介してそのまま画素補間部３３に送出される。

しかし、Ｎ≠１である場合、予め設定されたノイズ低減部３２の処理回数Ｎが２回以上（帰還回数１回以上）である場合には、可動接点３８ａを第１固定接点３８ｂに接触させる（ステップＳ１０３）。次に、前述したノイズ低減部３２による１回のノイズ低減処理が終了したか否かを判断し（ステップＳ１０４）、終了したならばカウンタＣをインクリメントする（ステップＳ１０５）。次に、このインクリメントしたカウンタＣの値が所定値Ｎとなったか否かを判断し（ステップＳ１０６）、Ｃ＝Ｎとなるまで、ステップＳ１０４からの処理を繰り返す。そして、Ｃ＝Ｎとなったならば、可動接点３８ａを第２固定接点３８ｃに接触させる（ステップＳ１０６）。

したがって、Ｃ＝Ｎとなるまでは、ノイズ低減部３２で処理されたベイヤーデータは、ＤＭＡコントローラ１０により、切替スイッチ３８を介してＲＡＭ８に転送されて書き込まれた後、読み出されて再度ノイズ低減部３２でノイズ低減処理される。そして、ノイズ低減部３２によりＮ回のノイズ低減処理がなされると、可動接点３８ａが第２固定接点３８ｃに切り替えられることにより、ノイズ低減部３２からのベイヤーデータは、切替スイッチ３８を介して画素補間部３３に送出される。

この画素補間部３３にて、このノイズが低減されたベイヤーデータからＲ，Ｇ，Ｂの色成分について色補間を行って全画素分のＲＧＢデータを生成され、色調整部３４にて、画像を構成する全画素の色情報に基づきＲ，Ｇ，Ｂの色成分毎のゲイン調整が行われて、ホワイトバランスが調整される。さらに、ガンマ補正部３５にて、画像信号に対するガンマ特性（階調特性）の補正がなされ、ＹＵＶ変換部３６にて、Ｒ，Ｇ，Ｂの色成分データから輝度信号（Ｙ信号）と色差信号（Ｃｂ信号、Ｃｒ信号）を含んだＹＵＶデータが生成される。また、輪郭強調部３７にて、ハイパスフィルタ或いはマスクフィルタによりＹＵＶデータにおけるＹ信号の振幅を調整することによりエッジ強調され、かつエッジ強調により生じたノイズをコアリング処理等により除去され、これら処理後のＹＵＶデータがＣＰＵ６やＬＣＤ４へ出力されることとなる。

図７は、本発明の他の実施の形態における画像処理部３の構成を示すブロック図である。本実施の形態においては、画像処理部３には、第１ノイズ低減部３２１と、第２ノイズ低減部３２２とが設けられている。ここで、第１ノイズ低減部３２１は、前述したノイズ低減部３２と同一の構成であり、第２ノイズ低減部３２２は、例えばインパルス性ノイズに適したメディアンフィルタで構成されている。これら第１及び第２ノイズ低減部３２１、３２２の入力段と出力段には、選択スイッチ３９、４０が設けられている。この選択スイッチ３９、４０は同期して制御されるスイッチであって、第１及び第２ノイズ低減部３２１、３２２とのいずれかに選択的に接続し、また選択スイッチ４０は切替スイッチ３８に接続している。なお、画素補間部３３から輪郭強調部３７の構成、及び切替スイッチ３８の構成は前述した実施の形態と同様である。

以上の構成に係る本実施の形態において、ＣＰＵ６は、ＲＯＭに格納されているプログラムに基づき、図５に示すフローチャートに従って切替スイッチ３８及び選択スイッチ３９、４０を制御する。予め第１ノイズ低減部３２１が選択されているか否かを判断し（ステップＳ２０１）、選択されている場合には選択スイッチ３９、４０を第１ノイズ低減部３２１に接続させる（ステップＳ２０２）。また、第１ノイズ低減部３２１が選択されていない場合には、選択スイッチ３９、４０を第２ノイズ低減部３２２に接続させ（ステップＳ２０３）、しかる後に、ステップＳ２０４〜Ｓ２１０の処理を行う。

このステップＳ２０４〜Ｓ２１０の処理は、前述した図３におけるステップＳ１０１〜Ｓ２０７の処理と同様である。すなわち、選択された第１又は第２ノイズ低減部３２１、３２２の処理回数をカウントするカウンタＣをリセットする（ステップＳ２０４）。引き続き、予め設定された第１又は第２ノイズ低減部３２１、３２２の処理回数Ｎが１回、つまりＮ＝１であるか否かを判断する（ステップＳ２０５）。Ｎ＝１であって、予め設定された第１又は第２ノイズ低減部３２１、３２２の処理回数Ｎが１回である場合には、ステップＳ２１０に進み、可動接点３８ａを第２固定接点３８ｃに接触させる。したがって、予め設定されたノイズ低減部３２の処理回数Ｎが１回である場合には、第１又は第２ノイズ低減部３２１、３２２で処理されたベイヤーデータは、切替スイッチ３８を介してそのまま画素補間部３３に送出される。

しかし、Ｎ≠１である場合、予め設定された第１又は第２ノイズ低減部３２１、３２２の処理回数Ｎが２回以上である場合には、可動接点３８ａを第１固定接点３８ｂに接触させる（ステップＳ２０６）。次に、選択された第１又は第２ノイズ低減部３２１、３２２による１回のノイズ低減処理が終了したか否かを判断し（ステップＳ２０７）、終了したならばカウンタＣをインクリメントする（ステップＳ２０８）。次に、このインクリメントしたカウンタＣの値が所定値Ｎとなったか否かを判断し（ステップＳ２０９）、Ｃ＝Ｎとなるまで、ステップＳ２０７からの処理を繰り返す。そして、Ｃ＝Ｎとなったならば、可動接点３８ａを第２固定接点３８ｃに接触させる（ステップＳ２０９）。

したがって、Ｃ＝Ｎとなるまでは、選択された第１又は第２ノイズ低減部３２１、３２２で処理されたベイヤーデータは、ＤＭＡコントローラ１０により、切替スイッチ３８を介してＲＡＭ８に転送されて書き込まれた後、読み出されて再度選択された第１又は第２ノイズ低減部３２１、３２２でノイズ低減処理される。そして、選択された第１又は第２ノイズ低減部３２１、３２２によりＮ回のノイズ低減処理がなされると、可動接点３８ａが第２固定接点３８ｃに切り替えられることにより、ノイズ低減部３２からのベイヤーデータは、切替スイッチ３８を介して画素補間部３３に送出されることとなる。

なお、各実施の形態のおいてＮの値は、ユーザによりキー入力部９での操作により設定してもよいし、ＣＣＤ２から取り込んだ画像信号等に基づくノイズ条件によりＣＰＵ６が決定する等、どのような方法により決定してもよい。また、前述した実施の形態においては２種類のノイズ低減部を用いるようにしたが、より多種類のノイズ低減部を用いるようにしてもよい。また、本実施の形態においては、本発明を主として静止画の撮影及び記録を行うデジタルカメラに適用した場合について説明したが、本発明はこれ以外にも、デジタルビデオカメラ等のように画像信号の処理を必要とする他の映像機器においても実施可能であり、その場合においても前述した効果を得ることができる。

本発明の一実施の形態を示すデジタルカメラのブロック図である。本実施の形態における画像処理部の詳細を示すブロック図である。本実施の形態におけるスイッチ処理手順を示すフローチャートである。本発明の他の実施の形態における画像処理部の詳細を示すブロック図である。同他の実施の形態におけるスイッチ処理手順を示すフローチャートである。背景技術を示すブロック図である。

符号の説明

１デジタルカメラ
２ＣＣＤ
３画像処理部
４ＬＣＤ
６ＣＰＵ
７ＲＯＭ
８ＲＡＭ
８ＲＯＭ
９キー入力部
１０ＤＭＡコントローラ
３２ノイズ低減部
３３画素補間部
３４色調整部
３５ガンマ補正部
３６ＹＵＶ変換部
３７輪郭強調部
３８切替スイッチ
３８ａ可動接点
３８ｂ第１固定接点
３８ｃ第２固定接点
３９選択スイッチ
４０選択スイッチ
３２１第１ノイズ低減部
３２２第２ノイズ低減部
Ｎ所定値

Claims

撮像素子から出力された画像信号を処理する画像処理装置であって、
前記撮像素子から出力された画像信号に対してノイズ低減処理を実行するノイズ低減処理手段と、
このノイズ低減処理手段によりノイズ低減された画像信号を当該ノイズ低減処理手段に帰還させる第１の経路と、前記ノイズ低減された画像信号を後段の信号処理手段に送出する第２の経路と、
これら第１の経路と第２の経路とを選択的に切り替える切替手段とを備え、
前記切替手段は、前記ノイズ低減された画像信号が所定回数前記ノイズ低減処理手段に帰還されるまで前記第１の経路を維持し、前記所定回数帰還されたならば、前記第２の経路に切り替えることを特徴とする画像処理装置。
前記ノイズ低減処理手段を複数種備え、
この複数種のノイズ低減処理手段からいずれかを選択する選択手段を更に備え、
前記第１の経路は、前記選択手段により選択されたノイズ低減処理手段によりノイズ低減された画像信号を当該ノイズ低減処理手段に帰還させる経路であることを特徴とする請求項１記載の画像処理装置。
被写体を撮像して画像信号を出力する撮像素子と、この撮像素子から出力された画像信号を処理する画像処理手段とを備える撮像装置であって、
前記画像処理手段は、
前記撮像素子から出力された画像信号に対してノイズ低減処理を実行するノイズ低減処理手段と、
このノイズ低減処理手段によりノイズ低減された画像信号を当該ノイズ低減処理手段に帰還させる第１の経路と、前記ノイズ低減された画像信号を後段の信号処理手段に送出す
る第２の経路と、
これら第１の経路と第２の経路とを選択的に切り替える切替手段とを備え、
前記切替手段は、前記ノイズ低減された画像信号が所定回数前記ノイズ低減処理手段に帰還されるまで前記第１の経路を維持し、前記所定回数帰還されたならば、前記第２の経路に切り替えることを特徴とする撮像装置。