JP5121636B2 - 画像処理装置、画像処理方法、および、画像処理プログラム - Google Patents

Description

本発明は、デジタルカメラ等によって得られる画像データに対して、銀塩写真で得られるような粒状パターンを付加する技術に関する。

デジタルカメラなどで得られたデジタル画像には、撮像素子を発生の主とするノイズ成分が重畳しており、このノイズ成分が画像品質の低下を招く一原因となっている。

一方、銀塩写真においても、銀塩粒子を主要因とする粒状ノイズが発生し、デジタル画像と同様、画像品質の低下の一原因となっているが、逆に、粒状ノイズによる粒状感が、銀塩写真の表現として一定の価値を持っているという事実もある。

こうした背景の下、デジタル画像に対しても銀塩写真と同様の価値を与えるべく、銀塩粒子の視覚効果を得るため、銀塩粒子による粒状感に似せた粒状パターンをデジタル画像に重畳する技術が様々提案されている。例えば、特許文献１では、画素単位で乱数を発生させ、周波数フィルタ処理やスケール変更を行って期待する粒状度の粒状を画像に重畳させている。また、特許文献２では、均一露光されたカラーフィルムから得られた露光画像から平滑化した画像を減算することで、粒状パターンを算出している。
米国特許第５，６４１，５９６号明細書 特開平１１−８５９５５号公報

しかしながら、上記特許文献１および２では、重畳する粒状もしくは粒状パターンの算出について言及しているものの、撮影時に発生するノイズ成分を考慮して、最終的な画像として期待する粒状感を生成するために必要な画像処理方法については、全く記載がない。

本発明は、撮影時に発生するノイズ成分を考慮して、銀塩写真の粒状感を適切に再現するための技術を提供することを目的とする。

本発明のある態様に係る画像処理装置は、複数のカラーフィルタを配置した撮像素子を有する撮像装置により得られた画像データに対して、所定のノイズ低減処理を行うノイズ低減処理部と、前記所定のノイズ低減処理が行われた画像データに基づいて、１画素あたり複数の色を有する画像データを生成する同時化処理部と、前記同時化処理部によって生成された画像データに対して、所定の粒状パターンを付加する粒状パターン付加部と、前記撮像装置による撮影時の撮影感度に応じて、前記ノイズ低減処理の程度、および、前記同時化処理部によって生成された画像データに付加する前記所定の粒状パターンの強度を制御する制御部と、を備え、前記制御部は、前記撮像装置による撮影時の撮影感度が異なる場合でも、画像データに付加された前記所定の粒状パターンの粒状感が略同じになるように、前記ノイズ低減処理の程度、および、前記所定の粒状パターンの強度を制御することを特徴とする。

本発明の別の態様に係る画像処理方法は、複数のカラーフィルタを配置した撮像素子を有する撮像装置により得られた画像データに対して、所定のノイズ低減処理を行うステップと、前記所定のノイズ低減処理が行われた画像データに基づいて、１画素あたり複数の色を有する画像データを生成するステップと、生成された前記画像データに対して、所定の粒状パターンを付加するステップと、前記撮像装置による撮影時の撮影感度に応じて、前記ノイズ低減処理の程度、および、前記画像データに付加する前記所定の粒状パターンの強度を制御するステップと、を備え、前記制御するステップでは、前記撮像装置による撮影時の撮影感度が異なる場合でも、画像データに付加された前記所定の粒状パターンの粒状感が略同じになるように、前記ノイズ低減処理の程度、および、前記所定の粒状パターンの強度を制御することを特徴とする。

本発明のさらに別の態様に係る画像処理プログラムは、複数のカラーフィルタを配置した撮像素子を有する撮像装置により得られた画像データに対して、所定のノイズ低減処理を行うステップと、前記所定のノイズ低減処理が行われた画像データに基づいて、１画素あたり複数の色を有する画像データを生成するステップと、生成された前記画像データに対して、所定の粒状パターンを付加するステップと、前記撮像装置による撮影時の撮影感度に応じて、前記ノイズ低減処理の程度、および、前記画像データに付加する前記所定の粒状パターンの強度を制御するステップと、をコンピュータに実行させるための画像処理プログラムであって、前記制御するステップでは、前記撮像装置による撮影時の撮影感度が異なる場合でも、画像データに付加された前記所定の粒状パターンの粒状感が略同じになるように、前記ノイズ低減処理の程度、および、前記所定の粒状パターンの強度を制御することを特徴とする。

本発明によれば、撮像時に発生するノイズ成分を除去した上で、同時化処理を行い、その後、粒状パターンを付加する処理を行うので、銀塩写真の粒状感を適切に再現することができる。

図１は、一実施形態に係る画像処理装置を含むデジタルカメラの構成を示すブロック図である。このデジタルカメラは、撮像部１と、Ａ／Ｄ変換部２と、マイクロコンピュータ３（以下、マイコン３と呼ぶ）と、ＲＡＭ４と、ＲＯＭ５と、画像処理回路６と、操作部７と、表示部８と、メモリインターフェース９（以下、Ｉ／Ｆ９と呼ぶ）と、記録媒体１０とを備える。

撮像部１は、各画素を構成するフォトダイオードの前面に、複数のカラーフィルタが配置された単板式カラー撮像素子（以下、単に撮像素子と呼ぶ）、撮影光学系、および、これらの駆動部等から構成されている。カラーフィルタは、例えば、ベイヤー配列にて配列される。ベイヤー配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインとを有し、さらにその２つのラインを垂直方向にも交互に配置することで構成されている。撮像素子は、図示しないレンズにより集光された光を、画素を構成するフォトダイオードで受光して光電変換することで、光の量を電荷量としてＡ／Ｄ変換部２へ出力する。なお、撮像素子は、ＣＭＯＳ方式のものでもＣＣＤ方式のものでも良い。また、カラーフィルタは、ベイヤー配列以外の配列で構成されていてもよいし、Ｒ，Ｇ、Ｂ以外の色で構成されていてもよい。

Ａ/Ｄ変換部２は、撮像部１から出力された電気信号をデジタル画像信号（以後、画像データという）に変換する。

マイコン３は、デジタルカメラの全体的な制御を行う制御部である。例えば、マイコン３は、撮像部１内部の撮影光学系の焦点制御や撮像素子の露出制御、画像データを記録媒体１０に記録する際の記録制御、画像データを表示部８に表示する際の表示制御等を行う。

ＲＡＭ４は、Ａ／Ｄ変換部２において得られた画像データや、後述する画像処理回路６で処理された画像データ等の各種データが一時的に記憶される記憶部である。ＲＯＭ５には、デジタルカメラの動作に必要な各種パラメータや、銀塩粒子による粒状感に似せた粒状パターンのデータ等が記憶されている。粒状パターンのデータは、既知の方法により求めて、Ｙ（輝度）成分とＣ（色）成分とに分離して、ＲＯＭ５に格納しておく。また、ＲＯＭ５は、マイコン３にて実行する各種プログラムも記憶している。マイコン３は、ＲＯＭ５に記憶されているプログラムに従い、またＲＯＭ５から各種シーケンスに必要なパラメータを読み込み、各処理を実行する。

画像処理回路６は、ＲＡＭ４から読み出した画像データに対して様々な画像処理を施す。画像処理回路６で行う画像処理の詳細については後述する。画像処理回路６で画像処理が施された画像データは、Ｉ／Ｆ９を介して、記録媒体１０に記録される。記録媒体１０は、例えばデジタルカメラ本体に着脱可能なメモリカードからなる記録媒体であるが、これに限定されるものではない。

操作部７は、電源ボタン、レリーズボタン、各種入力キー等の操作部材である。ユーザによって、操作部７の何れかの操作部材が操作されることにより、マイコン３は、ユーザの操作に応じた各種シーケンスを実行する。電源ボタンは、当該デジタルカメラの電源のオン／オフ指示を行うための操作部材である。電源ボタンが押されたときに、マイコン３は、当該デジタルカメラの電源をオン又はオフする。レリーズボタンは、ファーストレリーズスイッチとセカンドレリーズスイッチの２段スイッチを有して構成されている。レリーズボタンが半押しされて、ファーストレリーズスイッチがオンされた場合に、マイコン３は、ＡＥ処理やＡＦ処理等の撮影準備シーケンスを行う。また、レリーズボタンが全押しされて、セカンドレリーズスイッチがオンされた場合に、マイコン３は、撮影シーケンスを実行して撮影を行う。操作部７は、また、画像の記録モードや、撮影モードを設定することができる。

バス１１は、デジタルカメラ内部で発生した各種データをデジタルカメラ内の各部に転送するための転送路である。バス１１は、撮像部１と、Ａ/Ｄ変換部２と、マイコン３と、ＲＡＭ４と、ＲＯＭ５と、画像処理回路６と、操作部７と、表示部８と、Ｉ／Ｆ９に接続されている。

図２は、画像処理回路６の詳細な構成を示すブロック図である。画像処理回路６は、第１ノイズ低減部（図では、第１ＮＲ部）２１と、ホワイトバランス補正部（図では、ＷＢ部）２２と、同時化処理部２３と、色変換部２４と、階調変換部２５と、ＹＣ変換部２６と、エッジ抽出部２７と、エッジ強調部２８と、Ｙ階調変換部２９と、Ｙ第２ノイズ低減部（図では、Ｙ第２ＮＲ部）３０、Ｃ階調変換部３１と、Ｃ第２ノイズ低減部（図では、Ｃ第２ＮＲ部）３２と、リサイズ部３３と、ＪＰＥＧ圧縮部３４と、ＪＰＥＧ伸長部３５と、加算部３６、３７と、乗算部３８、３９とを備える。

第１ノイズ低減部２１は、Ａ／Ｄ変換部２で変換されて、ＲＡＭ４に記憶されている画像データに対して、後述するノイズ低減ゲインＮＲ１に基づいて、ノイズを低減する処理を行う。このノイズ低減処理は、撮像素子の画素欠陥を補正する処理、および、撮像時に発生するランダムノイズを低減する処理である。ただし、撮像素子の画素欠陥を補正する処理、および、撮像時に発生するランダムノイズを低減する処理のうちの少なくとも一方の処理を行うようにしてもよい。

ホワイトバランス補正部２２は、ノイズ低減後の画像データのホワイトバランスを補正する処理を行う。

同時化処理部２３は、ベイヤー配列による画像データから、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データへ同時化する処理を行う。同時化された画像データは、色変換部２４で所定の色変換処理が行われた後、階調変換部２５で階調変換処理（第１の階調変換処理）が行われる。

ＹＣ変換部２６は、階調変換処理後の画像データを、Ｙ（輝度）信号とＣ（色）信号とに変換する。変換されたＹ信号は加算部３６へ出力され、Ｃ信号は加算部３７へ出力される。

エッジ抽出部２７は、第１ノイズ低減部２１でノイズ低減処理が行われた画像データから、エッジを抽出する処理を行う。エッジ強調部２８は、エッジ抽出部２７で抽出されたエッジのデータに所定のゲインを乗じるエッジ強調処理を行う。

乗算部３８は、ＲＯＭ５に格納されている粒状パターンのＹ成分データに、後述するゲインＧＲＮ＿Ｙを乗算して、加算部３６に出力する。加算部３６は、Ｙ信号に、エッジ強調部２８から入力されるエッジデータ、および、乗算部３８から入力される粒状パターンのＹ成分データを加算する。Ｙ信号は、撮影時およびＲＡＷデータ編集時にはＹＣ変換部２６から入力され、ＪＰＥＧ圧縮データ編集時には、ＲＡＭ４から入力される。加算部３６から出力されるＹ信号は、Ｙ階調変換部２９で後述する階調変換処理（第２の階調変換処理）が行われた後、Ｙ第２ノイズ低減部３０でノイズを低減する処理が行われる。

乗算部３９は、ＲＯＭ５に格納されている粒状パターンのＣ成分データに、後述するゲインＧＲＮ＿Ｃを乗算して、加算部３７に出力する。加算部３７は、Ｃ信号に、乗算部３９から入力される粒状パターンのＣ成分データを加算する。Ｃ信号は、撮影時およびＲＡＷデータ編集時にはＹＣ変換部２６から入力され、ＪＰＥＧ圧縮データ編集時には、ＲＡＭ４から入力される。加算部３７から出力されるＣ信号は、Ｃ階調変換部３１で後述する階調変換処理（第２の階調変換処理）が行われた後、Ｃ第２ノイズ低減部３２でノイズを低減する処理が行われる。

リサイズ部３３は、ノイズ低減処理後のＹ信号およびＣ信号を、記録時の画像サイズに合わせてリサイズする。ＪＰＥＧ圧縮部３４は、リサイズされたＹ信号およびＣ信号に対してＪＰＥＧ圧縮を行う。ＪＰＥＧ圧縮後のデータは、Ｉ／Ｆ９を介して記録媒体１０に記録される。ＪＰＥＧ伸長部３５は、記録媒体１０に記録されているＪＰＥＧ圧縮データを読み出して、圧縮前の状態に戻す伸長処理を行う。

＝撮影時の処理フロー＝
図３Ａおよび図３Ｂは、一実施形態に係る画像処理装置を含むデジタルカメラによる撮影時の処理フローを示すフローチャートである。ユーザによってレリーズボタンがオンされると、ステップＳ１０の処理が開始される。

ステップＳ１０では、周知の測光処理および測距処理が実行され、続くステップＳ２０では、周知の露出制御および焦点制御が実行される。ステップＳ３０では、撮像部１にて撮像処理が実行される。ステップＳ４０では、撮像部１で撮像処理が実行された後、Ａ／Ｄ変換部２でＡ／Ｄ変換処理が行われることによって得られた画像データをＲＡＭ４に一時的に格納する。

ステップＳ５０では、画像の記録形式がＪＰＥＧ形式であるか、ＲＡＷ形式であるかを判定する。画像の記録形式は、撮影前に、ユーザが操作部７を操作することにより、設定することができる。画像の記録形式がＪＰＥＧ形式であると判定すると、ステップＳ６０に進み、ＲＡＷ形式であると判定すると、図３ＢのステップＳ２５０に進む。

ステップＳ６０では、画像の記録モードが銀塩調モードであるか、通常モードであるかを判定する。銀塩調モードとは、銀塩写真と同様の視覚効果を得るために、銀塩粒子による粒状感に似せた粒状パターンを画像データに重畳するモードである。画像の記録モードは、撮影前に、ユーザが操作部７を操作することにより、設定することができる。画像の記録モードが通常モードであると判定するとステップＳ７０に進む。

ステップＳ７０では、通常モードにおけるノイズ低減ゲインＮＲ１を算出する。図４は、通常モードにおける各種ゲイン、撮像ノイズ、および、画像ノイズの一例を示す図である。各種ゲインには、第１ノイズ低減部２１でノイズ低減処理を行う際に用いるゲインＮＲ１、粒状パターンのＹ成分に乗じるゲインＧＲＮ＿Ｙ、粒状パターンのＣ成分に乗じるゲインＧＲＮ＿Ｃ、Ｙ第２ノイズ低減部３０でノイズ低減処理を行う際に用いるゲインＮＲ２＿Ｙ、および、Ｃ第２ノイズ低減部３２でノイズ低減処理を行う際に用いるゲインＮＲ２＿Ｃが含まれる。

各種ゲインは、撮影時に設定されるＩＳＯ感度に応じて決められる。例えば、ＩＳＯ感度が８００の場合には、ゲインＮＲ１は４、ゲインＮＲ２＿Ｙは２、ゲインＮＲ２＿Ｃは２となる。ただし、通常モードでは、画像データに粒状パターンを重畳させる処理を行わないため、ゲインＧＲＮ＿Ｙ、ＧＲＮ＿Ｃの欄は、空白となっている。なお、ゲインＧＲＮ＿Ｙ、ＧＲＮ＿Ｃをそれぞれ０として、粒状パターンを重畳させる処理を行うようにしてもよい。

各ＩＳＯ感度に対応する撮像ノイズは、ＩＳＯ感度１００の場合の撮像ノイズを基準としたものであり、値が小さくなるほど、ノイズが大きいことを示す。すなわち、ＩＳＯ感度が大きくなるほど、撮像ノイズは大きくなる。同様に、画像ノイズも、ＩＳＯ感度１００の場合の画像ノイズを基準としており、値が小さくなるほど、ノイズが大きいことを示している。従って、ＩＳＯ感度が大きくなるほど、画像ノイズも大きくなる。

ＲＯＭ５には、図４に示すような、各ＩＳＯ感度に応じた各種ゲインを定めたデータテーブルが格納されているので、このデータテーブルを読み出して、撮影時のＩＳＯ感度に応じたゲインＮＲ１を算出する。なお、ゲインＮＲ１の値が大きいほど、ノイズ低減処理時のノイズ低減効果は大きくなる。

一方、ステップＳ６０において、画像の記録モードが銀塩調モードであると判定すると、ステップＳ８０に進む。ステップＳ８０では、銀塩調モードにおけるノイズ低減ゲインＮＲ１を算出する。図５は、銀塩調モードにおける各種ゲイン、撮像ノイズ、および、画像ノイズの一例を示す図である。図５において、各種ゲイン、撮像ノイズ、および、画像ノイズの見方は、図４と同じである。

銀塩調モードでは、ＩＳＯ感度によらず、最終的に得られる画像データ上の粒状感を一定に保つために、ＩＳＯ感度に応じた撮像ノイズの増幅に合わせて、合成する粒状パターンの強度（ゲインＧＲＮ＿Ｙ、ＧＲＮ＿Ｃ）、および、粒状パターン合成後のノイズ低減強度（ゲインＮＲ２＿Ｙ、ＮＲ２＿Ｃ）を制御する。ここでは、ＩＳＯ感度が高くなるほど、ゲインＧＲＮ＿Ｙ、ＧＲＮ＿Ｃを小さくして、画像データに合成する粒状パターンの強度を弱くしている。図５に示すように、粒状パターン付加後の画像データの画像ノイズは、ＩＳＯ感度によらず一定になっている。

また、画像データに重畳する粒状パターンの粒状感を保つために、通常モードに比べて、ゲインＮＲ２＿Ｙ、ＮＲ２＿Ｃを弱めに設定している。さらに、粒状パターンの強度は、相対的に輝度（Ｙ）に対して、色差（Ｃ）を弱めて、色ノイズが不必要に出ないようにしている。

ＲＯＭ５には、図５に示すような、ＩＳＯ感度に応じた各種ゲインを定めたデータテーブルが格納されているので、このデータテーブルを読み出して、撮影時のＩＳＯ感度に応じたゲインＮＲ１を算出する。

ステップＳ９０では、第１ノイズ低減部２１において、ＲＡＭ４に格納されている画像データを読み出して、ステップＳ７０またはステップＳ８０で算出したノイズ低減ゲインＮＲ１を用いて、ノイズを低減する処理を行う。

ステップＳ１００では、ホワイトバランス補正部２２において、ノイズ低減処理後の画像データに対して、ホワイトバランスを補正する処理を行う。ステップＳ１１０では、同時化処理部２３において、同時化処理が行われ、ステップＳ１２０では、色変換部２４において、色変換処理が行われる。

ステップＳ１３０では、階調変換部２５において、階調変換処理を行う。ここでは、表示部８のガンマ特性を考慮して、暗部を伸長し、明部を圧縮するような階調変換処理を行う。図７は、ステップＳ１３０で階調変換処理を行う際の階調変換特性の一例を示す図である。階調変換処理を行うと、図３ＢのステップＳ１４０に進む。

ステップＳ１４０では、ＹＣ変換部２６において、階調変換処理後の画像データを、Ｙ（輝度）信号とＣ（色）信号とに変換する。

ステップＳ１５０では、画像の記録モードが銀塩調モードであるか、通常モードであるかを判定する。この判定は、ステップＳ６０の判定と同じである。画像の記録モードが通常モードであると判定するとステップＳ２１０に進み、銀塩調モードであると判定すると、ステップＳ１６０に進む。

ステップＳ１６０では、銀塩調モードにおけるゲインＧＲＮ＿Ｙ、ＧＲＮ＿Ｃを算出する。ゲインＧＲＮ＿Ｙ、ＧＲＮ＿Ｃの算出では、上述した図５に示すようなデータテーブルをＲＯＭ５から読み出して、撮影時のＩＳＯ感度に応じたゲインＧＲＮ＿Ｙ、ＧＲＮ＿Ｃを算出する。

ステップＳ１７０では、乗算部３８において、ＲＯＭ５から粒状パターンのＹ成分データを読み出し、読み出した粒状パターンのＹ成分データに、ステップＳ１６０で算出されたゲインＧＲＮ＿Ｙを乗算する。また、乗算部３９において、ＲＯＭ５から粒状パターンのＣ成分データを読み出し、読み出した粒状パターンのＣ成分データに、ステップＳ１６０で算出されたゲインＧＲＮ＿Ｃを乗算する。

ステップＳ１８０では、加算部３６において、ＹＣ変換部２６で変換されたＹ信号に、エッジ強調部２８から入力されるエッジデータ、および、乗算部３８から入力される粒状パターンのＹ成分データを加算する。また、加算部３７において、ＹＣ変換部２６で変換されたＣ信号に、乗算部３９から入力される粒状パターンのＣ成分データを加算する。

ステップＳ１９０では、Ｙ階調変換部２９において、Ｙ信号用の階調変換テーブルをＲＯＭ５から読み出すとともに、Ｃ階調変換部３１において、Ｃ信号用の階調変換テーブルをＲＯＭ５から読み出す。

図８は、Ｙ信号の階調変換処理を行う際の階調変換特性の一例を示す図である。この階調変換特性は、画像データのコントラストを強調する特性、すなわち、暗部および明部を圧縮して、中間調を伸長するような特性となっている。また、図９は、Ｃ信号の階調変換処理を行う際の階調変換特性の一例を示す図である。ＲＯＭ５には、図８に示すような階調変換特性の階調変換テーブル、および、図９に示すような階調変換特性の階調変換テーブルが格納されている。ＲＯＭ５から階調変換テーブルを読み出すと、ステップＳ２００に進む。

ステップＳ２００では、Ｙ階調変換部２９において、加算部３６から入力されるＹ信号に対して、ステップＳ１９０で読み込んだＹ信号用の階調変換テーブルを用いて、階調変換処理を行うとともに、Ｃ階調変換部３１において、加算部３７から入力されるＣ信号に対して、ステップＳ１９０で読み込んだＣ信号用の階調変換テーブルを用いて、階調変換処理を行う。

ステップＳ２１０では、Ｙ第２ノイズ低減部３０において、階調変換処理後のＹ信号に対して、ノイズを低減する処理を行うとともに、Ｃ第２ノイズ低減部３２において、階調変換処理後のＣ信号に対して、ノイズを低減する処理を行う。ノイズ低減処理では、通常モードまたは銀塩調モードに応じたゲインＮＲ２＿Ｙ、ＮＲ２＿Ｃを用いる。例えば、ステップＳ１５０の判定において、通常モードと判定した場合には、図４に示すようなデータテーブルをＲＯＭ５から読み出して、撮影時のＩＳＯ感度に応じたゲインＮＲ２＿Ｙ、ＮＲ２＿Ｃを求める。また、ステップＳ１５０の判定において、銀塩調モードと判定した場合には、図５に示すようなデータテーブルをＲＯＭ５から読み出して、撮影時のＩＳＯ感度に応じたゲインＮＲ２＿Ｙ、ＮＲ２＿Ｃを求める。Ｙ第２ノイズ低減部３０は、ゲインＮＲ２＿Ｙを用いて、Ｙ信号のノイズ低減処理を行い、Ｃ第２ノイズ低減部３２は、ゲインＮＲ２＿Ｃを用いて、Ｃ信号のノイズ低減処理を行う。

ステップＳ２２０では、リサイズ部３３において、ノイズ低減処理後のＹ信号およびＣ信号を、記録時の画像サイズに合わせてリサイズする。ステップＳ２３０では、ＪＰＥＧ圧縮部３４において、リサイズされたＹ信号およびＣ信号に対してＪＰＥＧ圧縮を行う。ステップＳ２４０では、ＪＰＥＧ圧縮されたＹ信号およびＣ信号をＲＡＭ４に格納する。

ステップＳ２５０では、画像の記録モードや露出条件などの撮影情報をフィルヘッダ情報として作成し、ステップＳ２６０では、作成されたファイルヘッダ情報を、ＪＰＥＧ圧縮されてＲＡＭ４に一時的に格納されたデータに付加して、Ｉ／Ｆ９を介して記録媒体１０に記録する。

＝ＲＡＷデータ編集時の処理フロー＝
図３Ａに示す撮影時の処理フローを示すフローチャートにおいて、ステップＳ５０で画像の記録形式がＲＡＷ形式であると判定されると、ステップＳ６０以後の画像処理は行われずに、ＲＡＷデータとして、記録媒体１０に記録される。以下では、記録媒体１０に記録されたＲＡＷデータを読み出して、画像処理を行う場合の処理について説明する。

図１０は、ＲＡＷデータの編集時の処理フローを示すフローチャートである。図１０のフローチャートにおいて、図３Ａのフローチャートで行われる処理と同じ処理を行うステップについては、同じステップ番号を付して詳しい説明は省略する。また、図１０のステップＳ１３０より後の処理は、図３Ｂに示すフローチャートの処理と同じであるため、図および説明を省略する。

ステップＳ１０００では、ＲＡＷ形式の画像データを、Ｉ／Ｆ９を介して記録媒体１０から読み出す。ステップＳ１０１０では、画像データに付加されたファイルヘッダ情報から、撮影情報を読み出す。ステップＳ４０では、読み出した画像データおよび撮影情報をＲＡＭ４に格納する。

ステップＳ６０以後の処理は、図３Ａおよび図３Ｂに示すフローチャートの処理と同じである。

＝ＪＰＥＧ圧縮データ編集時の処理＝
図３Ａおよび図３Ｂに示す撮影時の処理フローを示すフローチャートにおいて、ステップＳ６０およびステップＳ１５０の判定で画像の記録モードが通常モードであると判定された場合、画像データには、銀塩粒子による粒状感に似せた粒状パターンは重畳しない。以下では、撮影時に通常モードで記録された画像データを読み出して、銀塩粒子による粒状感に似せた粒状パターンを重畳して、記録媒体１０に記録する処理について説明する。

図１１は、ＪＰＥＧ圧縮データの編集時の処理フローを示すフローチャートである。図１１のフローチャートにおいて、図３Ａ、図３Ｂ、および、図１０のフローチャートで行われる処理と同じ処理を行うステップについては、同じステップ番号を付して詳しい説明は省略する。

ステップＳ１１００では、ＪＰＥＧ圧縮された画像データを、Ｉ／Ｆ９を介して記録媒体１０から読み出す。

ステップＳ１１１０では、ＪＰＥＧ伸長部３５において、ステップＳ１１００で読み出した画像データを、ＪＰＥＧ圧縮前の状態に戻す伸長処理を行う。伸長処理が行われた画像データ、および、ステップＳ１０１０で読み出された撮影情報は、ステップＳ４０において、ＲＡＭ４に格納される。

ステップＳ１１２０では、ＲＡＭ４に格納された画像データを表示部８に表示する。これにより、ユーザは、粒状パターンを重畳する画像を確認することができる。

ステップＳ１６０Ａでは、ＪＰＥＧ圧縮データ編集時の銀塩調モードにおけるゲインＧＲＮ＿Ｙ、ＧＲＮ＿Ｃを算出する。図６は、ＪＰＥＧ圧縮データ編集時の処理で用いるデータテーブルの一例を示す図である。図６において、各種ゲイン、撮像ノイズ、および、画像ノイズの見方は、図４、図５と同じである。

ＪＰＥＧ圧縮データ編集時は、銀塩調モードでの撮影処理時に得られる画質と同等の画質を得るため、通常モードでの撮影時のＩＳＯ感度およびゲインＮＲ１を考慮し、粒状パターンの強度（ＧＲＮ＿Ｙ、ＧＲＮ＿Ｃ）と合成後のノイズ低減強度（ＮＲ２＿Ｙ、ＮＲ＿Ｃ）を制御する。

ＲＯＭ５には、図６に示すような、ＩＳＯ感度に応じた各種ゲインを定めたデータテーブルが格納されているので、このデータテーブルを読み出して、撮影時のＩＳＯ感度に応じたゲインＧＲＮ＿Ｙ、ＧＲＮ＿Ｃを算出する。

ステップＳ２１０Ａでは、Ｙ第２ノイズ低減部３０において、階調変換処理後のＹ信号に対して、ノイズを低減する処理を行うとともに、Ｃ第２ノイズ低減部３２において、階調変換処理後のＣ信号に対して、ノイズを低減する処理を行う。ここでは、図６に示すようなデータテーブルをＲＯＭ５から読み出して、撮影時のＩＳＯ感度に応じたゲインＮＲ２＿Ｙ、ＮＲ２＿Ｃを求める。Ｙ第２ノイズ低減部３０は、求めたゲインＮＲ２＿Ｙを用いて、Ｙ信号のノイズ低減処理を行い、Ｃ第２ノイズ低減部３２は、求めたゲインＮＲ２＿Ｃを用いて、Ｃ信号のノイズ低減処理を行う。

以上、一実施形態における画像処理装置によれば、複数のカラーフィルタを配置した撮像素子を有する撮像装置により得られた画像データに対して、所定のノイズ低減処理を行い、ノイズ低減処理後の画像データに対して同時化処理を行ってから、所定の粒状パターンを付加するので、銀塩写真の粒状感を適切に再現することができる。

また、一実施形態における画像処理装置によれば、撮像装置による撮影時の撮影感度に応じて、ノイズ低減処理の程度、および、画像データに付加する所定の粒状パターンの強度を制御するので、撮影感度に応じて生じるノイズ成分を考慮して、適切な粒状パターンを付加することができる。特に、撮影時の撮影感度が異なる場合でも、画像データに付加された所定の粒状パターンの粒状感が略同じになるように、ノイズ低減処理の程度、および、所定の粒状パターンの強度を制御するので、撮影感度によらず、高解像を維持しつつ、安定的に好ましい粒状感を得ることができる。

なお、上述した実施形態の説明では、画像処理装置をデジタルスチルカメラに適用した例を挙げて説明したが、実施形態で説明した処理を実現するためのプログラムをコンピュータが実行する構成とすることもできる。すなわち、ＣＰＵ、ＲＡＭ等の主記憶装置、実施形態で説明した処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えたコンピュータにおいて、ＣＰＵが上記記憶媒体に記憶されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。

ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、上述したプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータがプログラムを実行するようにしても良い。

本発明は、上述した一実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、画像データに付加する粒状パターンの強度を決定するためのゲインＧＲＮ＿Ｙ、ＧＲＮ＿Ｃは、撮影時のＩＳＯ感度に応じて求めるようにしたが、操作部７の操作により、ユーザが任意の値に設定できるようにしてもよい。この方法によれば、ユーザの希望する強度の粒状パターンを画像データに付加することができる。また、画像上のノイズの程度に応じて、粒状パターンの強度を決定するためのゲインＧＲＮ＿Ｙ、ＧＲＮ＿Ｃを設定するようにしてもよい。

上述した実施形態では、画像データをＪＰＥＧ圧縮するものとして説明したが、画像データの圧縮方式は、ＪＰＥＧ形式に限定されることはない。

一実施形態に係る画像処理装置を含むデジタルカメラの構成を示すブロック図である。 画像処理回路の詳細な構成を示すブロック図である。 一実施形態に係る画像処理装置を含むデジタルカメラによる撮影時の処理フローの前段を示すフローチャートである。 一実施形態に係る画像処理装置を含むデジタルカメラによる撮影時の処理フローの後段を示すフローチャートである。 通常モードにおける各種ゲイン、撮像ノイズ、および、画像ノイズの一例を示す図である。 銀塩調モードにおける各種ゲイン、撮像ノイズ、および、画像ノイズの一例を示す図である。 ＪＰＥＧ圧縮データ編集時における各種ゲイン、撮像ノイズ、および、画像ノイズの一例を示す図である。 粒状パターンを合成する前に行う階調変換処理の階調変換特性の一例を示す図である。 Ｙ信号の階調変換処理を行う際の階調変換特性の一例を示す図である。 Ｃ信号の階調変換処理を行う際の階調変換特性の一例を示す図である。 ＲＡＷデータの編集時の処理フローを示すフローチャートである。 ＪＰＥＧ圧縮データの編集時の処理フローを示すフローチャートである。

符号の説明

１…撮像部、２…Ａ／Ｄ変換部、３…マイコン、４…ＲＡＭ、５…ＲＯＭ、６…画像処理回路、７…操作部、８…表示部、９…Ｉ／Ｆ、１０…記録媒体、２１…第１ノイズ低減部、２２…ホワイトバランス補正部、２３…同時化処理部、２４…色変換部、２５…階調変換部、２６…ＹＣ変換部、２７…エッジ抽出部、２８…エッジ強調部、２９…Ｙ階調変換部、３０…Ｙ第２ノイズ低減部、３１…Ｃ階調変換部、３２…Ｃ第２ノイズ低減部、３３…リサイズ部、３４…ＪＰＥＧ圧縮部、３５…ＪＰＥＧ伸長部、３６…加算部、３７…加算部、３８…乗算部、３９…乗算部

Claims (4)

1. 複数のカラーフィルタを配置した撮像素子を有する撮像装置により得られた画像データに対して、所定のノイズ低減処理を行うノイズ低減処理部と、
   前記所定のノイズ低減処理が行われた画像データに基づいて、１画素あたり複数の色を有する画像データを生成する同時化処理部と、
   前記同時化処理部によって生成された画像データに対して、所定の粒状パターンを付加する粒状パターン付加部と、
   前記撮像装置による撮影時の撮影感度に応じて、前記ノイズ低減処理の程度、および、前記同時化処理部によって生成された画像データに付加する前記所定の粒状パターンの強度を制御する制御部と、
   を備え、
   前記制御部は、前記撮像装置による撮影時の撮影感度が異なる場合でも、画像データに付加された前記所定の粒状パターンの粒状感が略同じになるように、前記ノイズ低減処理の程度、および、前記所定の粒状パターンの強度を制御することを特徴とする画像処理装置。
2. 前記ノイズ低減処理部は、前記所定のノイズ低減処理として、前記撮像素子の画素欠陥を補正する処理、および、前記撮像装置による撮影時に発生するランダムノイズを低減する処理のうちの少なくとも一方の処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 複数のカラーフィルタを配置した撮像素子を有する撮像装置により得られた画像データに対して、所定のノイズ低減処理を行うステップと、
   前記所定のノイズ低減処理が行われた画像データに基づいて、１画素あたり複数の色を有する画像データを生成するステップと、
   生成された前記画像データに対して、所定の粒状パターンを付加するステップと、
   前記撮像装置による撮影時の撮影感度に応じて、前記ノイズ低減処理の程度、および、前記画像データに付加する前記所定の粒状パターンの強度を制御するステップと、
   を備え、
   前記制御するステップでは、前記撮像装置による撮影時の撮影感度が異なる場合でも、画像データに付加された前記所定の粒状パターンの粒状感が略同じになるように、前記ノイズ低減処理の程度、および、前記所定の粒状パターンの強度を制御することを特徴とする画像処理方法。
4. 複数のカラーフィルタを配置した撮像素子を有する撮像装置により得られた画像データに対して、所定のノイズ低減処理を行うステップと、
   前記所定のノイズ低減処理が行われた画像データに基づいて、１画素あたり複数の色を有する画像データを生成するステップと、
   生成された前記画像データに対して、所定の粒状パターンを付加するステップと、
   前記撮像装置による撮影時の撮影感度に応じて、前記ノイズ低減処理の程度、および、前記画像データに付加する前記所定の粒状パターンの強度を制御するステップと、
   をコンピュータに実行させるための画像処理プログラムであって、
   前記制御するステップでは、前記撮像装置による撮影時の撮影感度が異なる場合でも、画像データに付加された前記所定の粒状パターンの粒状感が略同じになるように、前記ノイズ低減処理の程度、および、前記所定の粒状パターンの強度を制御することを特徴とする画像処理プログラム。

Images