WO2022059490A1

WO2022059490A1 - 画像処理装置、画像処理方法

Info

Publication number: WO2022059490A1
Application number: PCT/JP2021/032203
Authority: WO
Inventors: 丈史塚越
Original assignee: カシオ計算機株式会社
Priority date: 2020-09-18
Filing date: 2021-09-01
Publication date: 2022-03-24

Abstract

本発明の一実施例の画像処理装置は、画像に対する第１のノイズリダクション強度データを生成後、前記第１のノイズリダクション強度データに基づいて生成された加工データの入力に応じて前記画像に対する第２のノイズリダクション強度データを生成するノイズリダクション強度データ生成回路と、前記第２のノイズリダクション強度データに基づいて、前記画像に対してノイズリダクション処理を行うノイズリダクション処理回路と、を有する。

Description

画像処理装置、画像処理方法

　本明細書の開示は、画像処理装置及び、画像処理方法に関する。

　日本特開２０１６－１２７３８８号公報には、画像に対して階調補正及びノイズリダクション処理を行う画像処理装置が記載されている。

特開２０１６－１２７３８８号公報

　しかしながら、従来の画像処理装置は、回路規模の抑制が十分とは言えず、また、所望のノイズリダクション処理を施せない場合に画像品質の劣化を招いてしまう。

　以上のような実情を踏まえ、本発明の一側面に係る目的は、回路規模を抑制しながら、良好なノイズリダクション処理を実現することができる画像処理装置及び、画像処理方法を提供することである。

　上記の態様によれば、回路規模を抑制しながら、良好なノイズリダクション処理を実現することができる画像処理装置、画像処理方法を提供することができる。

デジタルカメラ１Ｘの一例を示す外観図である。画像処理装置１の構成を示す第１のブロック図である。画像処理装置１の構成を示す第２のブロック図である。ノイズリダクション強度データＤ９の一例を示す概念図である。ノイズリダクション強度データ生成部５０の詳細構成を示す図である。第１、第２のノイズリダクション強度データを用いたノイズリダクション処理の流れを示す概念図である。フィルタ処理部８０によるＭａｐ加工（フィルタ処理）が施される前後のノイズリダクション強度データの一例を示す図である。画像処理装置１による画像処理方法の一例を示すフローチャートである。

　図１～図８を参照して、本実施形態の画像処理装置１について詳細に説明する。なお、本実施形態の画像処理方法及び画像処理プログラムは、画像処理装置１のコンピュータ（回路構成要素）に各種処理ステップを実行させることで実現される。また、画像処理装置１は、例えば、Ｃｏｌｏｒ　Ｐｒｏｃｅｓｓ　ＰｉｐｅＬｉｎｅと呼ばれてもよい。また、画像処理装置１は、大規模集積回路（ＬＳＩ：Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）又はその一部として実装されてもよい。

　画像処理装置１は、例えば、セキュリティカメラや監視カメラなどの固定式の撮影装置に搭載されてもよいし、デジタルカメラや各種端末などの可搬式の撮影装置に搭載されてもよい。また、画像処理装置１は、撮影装置やその他の装置から有線、無線で伝送された画像、各種記憶媒体に記憶された画像に対して画像処理を施すことに特化されたものでもよい。すなわち、画像処理装置１の態様には自由度があり、各種の設計変更が可能である。

　図１は、デジタルカメラ（撮影装置）１Ｘの一例を示す外観図である。デジタルカメラ１Ｘでは、被写体からの光が、レンズ１０Ｘを介してカメラ本体１１Ｘ内に導かれ、ミラー１２Ｘで反射されて、ピントグラス１３Ｘ上に被写体の実像を結像する。この実像としての被写体像は、ペンタプリズム１４Ｘによりファインダ１５Ｘに導かれ、観察できるようになっている。ピントグラス１３Ｘとペンタプリズム１４Ｘとの間に、表示装置１６Ｘが配置され、ピントグラス１３Ｘに映った被写体像に各種情報を重ねて表示する。図１中の破線は、ファインダ１５Ｘに導かれる被写体からの光の光路を示している。デジタルカメラ１Ｘでは、ミラー１２Ｘをアップしてシャッタ１７Ｘを開けて撮像素子１８Ｘに被写体光を導いて撮影を行なうため、ミラーアップ状態では表示装置１６Ｘには被写体像が届かない構造になっている。

　デジタルカメラ１Ｘは、撮像素子１８Ｘによる撮影画像に画像処理を施す、本発明の一態様の画像処理装置１を内蔵していてもよいし、撮像素子１８Ｘによる撮影画像を有線又は無線で、本発明の一態様の外部の画像処理装置１に送信する通信部（接続端子やアンテナ等）を有していてもよい。すなわち本発明は、撮影機能を有するデジタルカメラ１Ｘに限らず、外部装置で撮影された画像を取得してノイズリダクション処理を適用可能な任意の機器にも適用可能である。換言すれば本発明は、複数の機器で構成されるシステムにも適用可能である。

　図２、図３は、画像処理装置１の構成を示す第１、第２のブロック図である。画像処理装置１は、デモザイク処理部１０と、階調補正部２０と、ＹＵＶ変換部３０と、色解析部４０と、ノイズリダクション強度データ生成部（ＮＲ強度データ生成部）５０と、ノイズリダクション処理部（ＮＲ処理部）６０と、後処理部７０とを有する。また、図２に示すように、画像処理装置１には、外部回路としてのフィルタ処理部８０と、外部メモリとしてのＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０とが接続されている。

　図２において、後述するノイズリダクション強度データ（第１、第２のノイズリダクション強度データ）を生成するための共通回路部分１００として、デモザイク処理部１０と階調補正部２０とＹＵＶ変換部３０と色解析部４０とノイズリダクション強度データ生成部５０とを実線で囲んで描いている（デモザイク処理部１０と階調補正部２０とＹＵＶ変換部３０と色解析部４０とノイズリダクション強度データ生成部５０が共通回路部分１００を構成している）。さらに、図２において、ノイズリダクション強度データ（第１、第２のノイズリダクション強度データ）の生成に寄与する装置外部（共通回路外部）２００として、フィルタ処理部８０とＤＲＡＭ９０を破線で囲んで描いている（装置外部（共通回路外部）２００にフィルタ処理部８０とＤＲＡＭ９０が含まれている）。

　デモザイク処理部１０は、階調補正前画像である入力画像（ＲＡＷ画像、Ｂａｙｅｒ画像）Ｄ１に対してデモザイク処理を施してＲＧＢ画像Ｄ２に変換する。なお、ここでは図示を省略しているが、デモザイク処理部１０の前段には、入力画像Ｄ１に対して孤立点除去処理や色収差補正を行うブロックが設けられていてもよい。

　階調補正部２０は、デモザイク処理部１０からの階調補正前のＲＧＢ画像Ｄ２に対して階調補正を行う。階調補正は、例えば、逆光などの明暗差の大きい被写体の撮影、あるいは、顔などの特定領域を明るく写したい場合などにおいて、画像解析結果により画素単位で適応的に行うものである。また、逆光補正や多重露光合成（ＨＤＲ：Ｈｉｇｈ　Ｄｙｎａｍｉｃ　Ｒａｎｇｅ）などの処理では、各画素あるいは画素ブロック毎に適応的なゲインアップ量が算出され、画像全体の階調補正を行う場合がある。さらに、ガンマ補正などでも各画素あるいは画素ブロック毎に異なるゲインアップ量が適用される場合がある。このゲインアップ量は、ＲＧＢで均一としてもよい。階調補正部２０による階調補正の態様には自由度があり、種々の設計変更が可能である。

　階調補正部２０は、階調補正を行うことにより、階調補正画像（階調補正後のＲＧＢ画像）Ｄ３と、ゲインマップデータ（Ｇａｉｎ　Ｍａｐ）Ｄ４とを出力する。ゲインマップデータＤ４は、階調補正画像Ｄ３の階調補正量に基づくデータであり、階調補正画像Ｄ３の階調補正量（ゲイン）を対数化したものに相当する。また、ゲインマップデータＤ４は、階調補正画像Ｄ３を各画素あるいは画素ブロック毎の領域に分割して、その分割領域毎の特徴値を有している。階調補正画像Ｄ３はＹＵＶ変換部３０及び色解析部４０に入力し、ゲインマップデータＤ４はノイズリダクション強度データ生成部５０に入力する。

　ＹＵＶ変換部３０は、階調補正部２０からの階調補正画像（階調補正後のＲＧＢ画像）Ｄ３をＹＵＶ変換することで、輝度データ（階調補正画像の輝度データ）Ｄ５を得る。輝度データＤ５は、階調補正画像Ｄ３を各画素あるいは画素ブロック毎の領域に分割して、その分割領域毎の特徴値を有している。輝度データＤ５は、ノイズリダクション強度データ生成部５０に入力する。また、ＹＵＶ変換部３０は、ＹＵＶ変換した階調補正画像Ｄ６をノイズリダクション処理部６０に出力する。

　色解析部４０は、階調補正部２０からの階調補正画像（階調補正後のＲＧＢ画像）Ｄ３を色解析（ＲＧＢ解析）することで、色尤度データ（階調補正画像の色尤度データ）Ｄ７を得る。色尤度データＤ７は、例えば、人間の肌や皮膚の色などの特定色の尤度を示すものである。色尤度データＤ７は、階調補正画像Ｄ３を各画素あるいは画素ブロック毎の領域に分割して、その分割領域毎の特徴値を有している。色尤度データＤ７は、ノイズリダクション強度データ生成部５０に入力する。

　ノイズリダクション強度データ生成部５０には、階調補正部２０からのゲインマップデータＤ４と、ＹＵＶ変換部３０からの輝度データＤ５と、色解析部４０からの色尤度データＤ７とが入力される。

　加えて、ノイズリダクション強度データ生成部５０には、外部マップデータＤ８としてのＡｄｄｉｔｉｏｎａｌ　Ｍａｐ及び／又はＥｘｔｒａ　Ｍａｐが入力される。Ａｄｄｉｔｉｏｎａｌ　Ｍａｐは、一旦生成済みのＮＲレベル出力Ｄ１０としてのノイズリダクション強度データ（ＮＲ強度データ）Ｄ９を「第１のノイズリダクション強度データ（第１のＮＲ強度データ）Ｄ１２」として、当該「第１のノイズリダクション強度データ（第１のＮＲ強度データ）Ｄ１２」にフィルタ処理部８０でフィルタ処理を施し、且つ、ＤＲＡＭ９０で一旦記憶したものを「加工データＤ１２Ｘ」として、ノイズリダクション強度データ生成部５０にループ（入力）させるために用いられる。つまり、第１のノイズリダクション強度データＤ１２に基づいて生成された加工データＤ１２Ｘは、外部マップデータＤ８（Ａｄｄｉｔｉｏｎａｌ　Ｍａｐ）に含まれて、ノイズリダクション強度データ生成部５０にループ（入力）される。また、ノイズリダクション強度データ生成部５０にループ（入力）された「第１のノイズリダクション強度データ（第１のＮＲ強度データ）Ｄ１２に基づいて生成された加工データＤ１２Ｘ」は、実際のノイズリダクション処理（ＮＲ処理）に適用する「第２のノイズリダクション強度データ（第２のＮＲ強度データ）Ｄ１１」の精度（信頼度）向上のために使用される。かかる点については後に詳細に説明する。Ｅｘｔｒａ　Ｍａｐは、階調補正を行う前の画像に対するＨＤＲ処理のゲイン量、例えば、ＨＤＲ処理時のゲイン量を対数化したものとすることができる。なお、図２では、外部マップデータＤ８としてのＡｄｄｉｔｉｏｎａｌ　Ｍａｐ及びＥｘｔｒａ　Ｍａｐを単一のＥｘｔｒａ　Ｍａｐとして纏めて描いており、図３では、外部マップデータＤ８としてのＡｄｄｉｔｉｏｎａｌ　Ｍａｐ及びＥｘｔｒａ　Ｍａｐを別々に描いている。

　ノイズリダクション強度データ生成部５０は、階調補正後に、画像に応じて生成される複数のデータの任意の組み合わせデータに基づいて、ノイズリダクション強度データ（ＮＲ強度データ）Ｄ９を生成する。より具体的に、ノイズリダクション強度データ生成部５０は、ＹＵＶ変換部３０からの輝度データＤ５と、色解析部４０からの色尤度データＤ７と、階調補正部２０からのゲインマップデータＤ４と、外部マップデータＤ８とを任意に組み合わせたデータに基づいて、ノイズリダクション強度データＤ９を生成する。これにより様々な条件で撮像された撮像画像に対して、良好にノイズリダクション処理がなされた良質の画像を提供することができる。このノイズリダクション強度データ生成部５０は、輝度データＤ５と、色尤度データＤ７と、ゲインマップデータＤ４と、外部マップデータＤ８と、のなかのいずれか１つのデータ及び、これらのデータを任意に組み合わせたデータのいずれかに基づいて、ノイズリダクション強度データＤ９を生成する。とりわけ、ノイズリダクション強度データ生成部５０は、上記の各データの中の少なくとも外部マップデータＤ８、すなわち、外部マップデータ用の入力回路（装置外部（共通回路外部）２００のフィルタ処理部８０とＤＲＡＭ９０）からループ（入力）された、第１のノイズリダクション強度データＤ１２を加工した加工データＤ１２Ｘに基づいて、実際のノイズリダクション処理に適用する第２のノイズリダクション強度データＤ１１を生成する。

　画像処理装置１では、デモザイク処理部１０、階調補正部２０、ＹＵＶ変換部３０、色解析部４０及びノイズリダクション強度データ生成部５０までの回路（共通回路部分１００）を共有しながら（回路規模を抑制しながら）、実際のノイズリダクション処理に適用する第２のノイズリダクション強度データＤ１１と、第２のノイズリダクション強度データの精度（信頼度）向上のために使用する第１のノイズリダクション強度データＤ１２を加工した加工した加工データＤ１２Ｘとを生成する。すなわち、ノイズリダクション強度データ生成部５０は、共通回路（共通回路部分１００）によって、画像に対する第１のノイズリダクション強度データＤ１２を生成するとともに、第１のノイズリダクション強度データＤ１２に基づいて生成された加工データＤ１２Ｘの入力に応じて、画像に対する第２のノイズリダクション強度データＤ１１を生成する。

　画像処理装置１の初期動作（一巡目動作）にあっては、ノイズリダクション強度データ生成部５０が生成したノイズリダクション強度データＤ９は、ノイズリダクションレベル出力（ＮＲレベル出力）Ｄ１０としての第１のノイズリダクション強度データＤ１２として、装置外部（共通回路外部）２００に出力される。装置外部２００に出力された第１のノイズリダクション強度データＤ１２は、フィルタ処理部（外部回路）８０によりフィルタ処理が施され、ＤＲＡＭ（外部メモリ）９０により一旦記憶された後に、「第１のノイズリダクション強度データＤ１２の加工データＤ１２Ｘ」として、外部マップデータＤ８に含まれて、ノイズリダクション強度データ生成部５０にループ（入力）される。

　フィルタ処理部８０は、例えば、ローパスフィルタ、イプシロンフィルタ、ＢｉＬａｔｅｒａｌフィルタ、ＮｏｎＬｏｃａｌＭｅａｎｓフィルタなどの各種のフィルタ処理を実行する。また、フィルタ処理部８０は、汎用的な画像処理群を搭載した回路により実現されればよく、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＤＲＰ（Ｄｙｎａｍｉｃ　Ｒｅｃｏｎｆｉｇｕｒａｂｌｅ　Ｐｒｏｃｅｓｓｏｒ）を用いることができる。

　なお、上述の説明では、フィルタ処理を施したノイズリダクション強度データＤ９を記憶した後、第１のノイズリダクション強度データＤ１２の加工データＤ１２Ｘとして、ノイズリダクション強度データ生成部５０にループ（入力）する場合を例示した。しかし、ノイズリダクション強度データＤ９をそのまま記憶し、読出後にフィルタ処理を施して、第１のノイズリダクション強度データＤ１２の加工データＤ１２Ｘとして、ノイズリダクション強度データ生成部５０にループ（入力）してもよい。

　画像処理装置１の二巡目以降の動作にあっても、「第２のノイズリダクション強度データＤ１１」を使用して実際のノイズリダクション処理を実行するまでは、ノイズリダクション強度データ生成部５０、フィルタ処理部８０、ＤＲＡＭ９０を経由した「第１のノイズリダクション強度データＤ１２及びその加工データＤ１２Ｘ」のループ（入力）が繰り返される。すなわち、ノイズリダクション強度データ生成部５０が生成するノイズリダクション強度データＤ９は、ノイズリダクション強度データ生成部５０にループ（入力）する場合には「第１のノイズリダクション強度データＤ１２及びその加工データＤ１２Ｘ」となり、ノイズリダクション処理部６０に入力する場合には「第２のノイズリダクション強度データＤ１１」となる。

　所定条件を満足すると、第１のノイズリダクション強度データＤ１２及びその加工データＤ１２Ｘのループ（入力）を終了して、ノイズリダクション強度データ生成部５０が生成したノイズリダクション強度データＤ９が「第２のノイズリダクション強度データＤ１１」としてノイズリダクション処理部６０に入力される。なお、所定条件をどのように設定するかには自由度があり、例えば、第１のノイズリダクション強度データＤ１２及びその加工データＤ１２Ｘのループ（入力）が所定回数だけ繰り返される、所定時間が経過する、第１のノイズリダクション強度データＤ１２及びその加工データＤ１２Ｘの品質が所定レベルを超えることを所定条件として設定することができる。

　このように、画像処理装置１の回路使用部分（共通回路部分１００）を必要最小限に抑えつつ、装置外部（共通回路外部）２００での演算を効率的に使用することで、回路規模を抑制しながら、第１のノイズリダクション強度データＤ１２ひいては第２のノイズリダクション強度データＤ１１の精度（信頼性）を向上させて、柔軟で適切なノイズリダクション処理に基づいた優れた画像品質を実現することができる。

　また、本実施形態では、画像処理パイプライン中、ＮＲ処理の手前にＮＲ強度のメモリ出力の機構を設けている。また、画像処理パイプライン中、ＮＲ処理の手前のＮＲ強度演算に、メモリからの入力の機構を設けている。また、メモリから入力された外部マップ（第１のノイズリダクション強度データを含んでいる）、輝度、色尤度、階調補正ゲインを再演算してＮＲ強度（第２のノイズリダクション強度データ）を生成する。また、メモリに入出力するＮＲ強度に対してフィルタ処理（イプシロンフィルタやバイラテラルフィルタ等）を施して、ＮＲ強度マップのノイズによる影響を緩和することで、よりノイズの影響を緩和した適切なＮＲ強度設定が可能となる。このように、ノイズリダクション前の輝度、色尤度、階調補正ゲインなどの値にノイズリダクションを施してＮＲ強度として扱っている。

　ノイズリダクション強度データＤ９（第１のノイズリダクション強度データＤ１２、第２のノイズリダクション強度データＤ１１）は、階調補正画像のどの部位にどの程度の階調補正が行われたか（階調補正ゲインのレベル分布）を考慮して最適化されたノイズリダクション処理を階調補正画像Ｄ６に施すためのものである。つまり、ノイズリダクション強度データＤ９（第１のノイズリダクション強度データＤ１２、第２のノイズリダクション強度データＤ１１）は、階調補正画像Ｄ３を各画素あるいは画素ブロック毎の領域に分割して、その分割領域毎に、その分割領域にどのレベルのノイズリダクション処理を施せば良いのかが対応付けられたマップ形式とすることができる。

　図４Ａ、図４Ｂは、ノイズリダクション強度データＤ９（第１のノイズリダクション強度データＤ１２、第２のノイズリダクション強度データＤ１１）の一例を示す概念図である。図４Ａ、図４Ｂでは、説明の便宜上の理由により、階調補正画像を縦５マス×横５マスの合計２５マスの分割領域に簡素化して描いている。図４Ａでは、各分割領域のノイズリダクション強度データをＨ（Ｈｉｇｈ）、Ｍ（Ｍｉｄｄｌｅ）、Ｌ（Ｌｏｗ）の三段階で描いている。図４Ｂでは、各分割領域のノイズリダクション強度データを１、２、３、４、５の五段階で描いている（数字が大きいほど強度が大きく、数字が小さいほど強度が小さいものとする）。図４Ａ、図４Ｂにおいて、階調補正の度合い（階調補正ゲインのレベル）が大きい分割領域であるほど、ノイズリダクション強度データの強度が大きく設定されており、階調補正の度合い（階調補正ゲインのレベル）が小さい分割領域であるほど、ノイズリダクション強度データの強度が小さく設定されている。なお、階調補正画像の各分割領域をどのように設定するか、ノイズリダクション強度データの強度を何段階で分割するかについては自由度があり、種々の設計変更が可能である。

　上記のようなノイズリダクション強度データＤ９（第１のノイズリダクション強度データＤ１２、第２のノイズリダクション強度データＤ１１）をどのように生成するかについては、後に詳細に説明する。

　ノイズリダクション処理部６０は、ノイズリダクション強度データ生成部５０が生成したノイズリダクション強度データＤ９（第２のノイズリダクション強度データＤ１１）（例えば図４Ａ、図４Ｂ参照）に基づいて、階調補正部２０で階調補正され、ＹＵＶ変換部３０でＹＵＶ変換された階調補正画像Ｄ６に対してノイズリダクション処理（ＮＲ処理）を行う。階調補正画像Ｄ３のどの部位にどの程度の階調補正が行われたか（階調補正ゲインのレベル分布）を考慮して最適化されたノイズリダクション強度データＤ９（第２のノイズリダクション強度データＤ１１）を使用してノイズリダクション処理を行うことにより、階調補正とノイズリダクション処理をバランス良く両立させるとともに、柔軟で適切なノイズリダクション処理に基づいた優れた画像品質を実現することができる。

　後処理部７０は、ノイズリダクション処理後のＹＵＶ画像（ＮＲ　ＹＵＶ）Ｄ１３に対して、例えば、ガンマ補正、エッジ強調処理、超解像処理などの後処理を行って出力画像（ＹＵＶ）Ｄ１４とする。なお、後処理部７０が行う後処理には自由度があり、種々の設計変更が可能である。

　図５は、ノイズリダクション強度データ生成部５０の詳細構成を示す図である。上述したように、ノイズリダクション強度データ生成部５０には、輝度データＤ５と、色尤度データＤ７と、ゲインマップデータＤ４と、外部マップデータＤ８とが入力される。外部マップデータＤ８には、ノイズリダクション強度データ生成部５０にループ（入力）される第１のノイズリダクション強度データＤ１２の加工データＤ１２Ｘが含まれる。

　ノイズリダクション強度データ生成部５０は、輝度データＤ５と色尤度データＤ７とゲインマップデータＤ４と外部マップデータＤ８の一部又は全部を選択的に通過させる選択入力部５１を有している。以下の説明では、輝度データＤ５と色尤度データＤ７とゲインマップデータＤ４と外部マップデータＤ８の全てが選択入力部５１を通過したものとして説明する。特に、第１のノイズリダクション強度データＤ１２を含む外部マップデータＤ８が選択入力部５１を通過したものとして説明する。

　なお、ノイズリダクション強度データ生成部５０から選択入力部５１を省略することも可能である。この場合、輝度データＤ５と色尤度データＤ７とゲインマップデータＤ４と外部マップデータＤ８のうち、使用するデータだけをノイズリダクション強度データ生成部５０に入力させるようにして、使用しないデータをノイズリダクション強度データ生成部５０に入力させないようにしてもよい。

　ノイズリダクション強度データ生成部５０は、選択入力部５１を通過したゲインマップデータＤ４と外部マップデータＤ８を乗算する乗算部５２を有している。ノイズリダクション強度データ生成部５０は、ゲインマップデータＤ４と、乗算部５２によるゲインマップデータＤ４と外部マップデータＤ８の乗算結果とのいずれかを選択的に通過させる選択入力部５３を有している。以下の説明では、ゲインマップデータＤ４、あるいは、乗算部５２によるゲインマップデータＤ４と外部マップデータＤ８の乗算結果を一括りにして「ゲインマップデータＤ４」と総称する（選択入力部５３の出力が「ゲインマップデータＤ４」である。）。

　なお、本実施形態において、ある２つのデータを乗算する場合に、一方のデータの入力が存在しないとき（例えば選択入力部５１を通過できなかったとき）、一方のデータが１であるとして、他方のデータをそのまま乗算結果として出力してもよい。

　ノイズリダクション強度データ生成部５０は、輝度データＤ５と、色尤度データＤ７と、ゲインマップデータＤ４と、外部マップデータＤ８とのそれぞれ（少なくともいずれか）に適用するための前段ルックアップテーブル５４を有している。より具体的に、前段ルックアップテーブル５４は、輝度データＤ５に適用される輝度データ用ルックアップテーブル（ＬＵＴ（Ｙ））５４Ａと、色尤度データＤ７に適用される色尤度データ用ルックアップテーブル（ＬＵＴ（色））５４Ｂと、ゲインマップデータＤ４に適用されるゲインマップデータ用ルックアップテーブル（ＬＵＴ（Ｇａｉｎ））５４Ｃと、外部マップデータＤ８に適用される外部マップデータ用ルックアップテーブル（ＬＵＴ（ＥＸＴ））５４Ｄと、を有している。

　ノイズリダクション強度データ生成部５０は、輝度データ用ルックアップテーブル５４Ａを通過した輝度データＤ５と色尤度データ用ルックアップテーブル５４Ｂを通過した色尤度データＤ７を乗算する乗算部５５Ａと、乗算部５５Ａによる乗算結果にゲインマップデータ用ルックアップテーブル５４Ｃを通過したゲインマップデータＤ４を乗算する乗算部５５Ｂと、乗算部５５Ｂによる乗算結果に外部マップデータ用ルックアップテーブル５４Ｄを通過した外部マップデータＤ８を乗算する乗算部５５Ｃとを有している。乗算部５５Ｃによる乗算結果は、選択入力部（Ｓｅｌ）５７に出力される。

　ノイズリダクション強度データ生成部５０は、輝度データ用ルックアップテーブル５４Ａを通過した輝度データＤ５と、色尤度データ用ルックアップテーブル５４Ｂを通過した色尤度データＤ７と、ゲインマップデータ用ルックアップテーブル５４Ｃを通過したゲインマップデータＤ４と、外部マップデータ用ルックアップテーブル５４Ｄを通過した外部マップデータＤ８との加算値を演算する加算値演算部（Ｓｕｍ）５６Ａを有している。加算値演算部５６Ａによる加算演算結果は、選択入力部（Ｓｅｌ）５７に出力される。

　ノイズリダクション強度データ生成部５０は、輝度データ用ルックアップテーブル５４Ａを通過した輝度データＤ５と、色尤度データ用ルックアップテーブル５４Ｂを通過した色尤度データＤ７と、ゲインマップデータ用ルックアップテーブル５４Ｃを通過したゲインマップデータＤ４と、外部マップデータ用ルックアップテーブル５４Ｄを通過した外部マップデータＤ８との最大値を選択的に通過させる最大値選択演算部（Ｍａｘ）５６Ｂを有している。最大値選択演算部５６Ｂによる最大値選択演算結果は、選択入力部（Ｓｅｌ）５７に出力される。

　ノイズリダクション強度データ生成部５０は、輝度データ用ルックアップテーブル５４Ａを通過した輝度データＤ５と、色尤度データ用ルックアップテーブル５４Ｂを通過した色尤度データＤ７と、ゲインマップデータ用ルックアップテーブル５４Ｃを通過したゲインマップデータＤ４と、外部マップデータ用ルックアップテーブル５４Ｄを通過した外部マップデータＤ８との最小値を選択的に通過させる最小値選択演算部（Ｍｉｎ）５６Ｃを有している。最小値選択演算部５６Ｃによる最小値選択演算結果は、選択入力部（Ｓｅｌ）５７に出力される。

　ノイズリダクション強度データ生成部５０は、選択入力部（Ｓｅｌ）５７を有している。選択入力部５７は、乗算部５５Ｃによる乗算結果と、加算値演算部５６Ａによる加算演算結果と、最大値選択演算部５６Ｂによる最大値選択演算結果と、最小値選択演算部５６Ｃによる最小値選択演算結果とのいずれか１つを選択的に通過させる。選択入力部５７が、乗算部５５Ｃによる乗算結果と、加算値演算部５６Ａによる加算演算結果と、最大値選択演算部５６Ｂによる最大値選択演算結果と、最小値選択演算部５６Ｃによる最小値選択演算結果とのいずれを選択するかについては、例えば、ランダムに決定してもよいし、使用する演算器を予め設定しておいてもよい。あるいは、選択入力部５７は、より適切なノイズリダクション強度データを生成するための何らかの基準に基づいて、乗算部５５Ｃによる乗算結果と、加算値演算部５６Ａによる加算演算結果と、最大値選択演算部５６Ｂによる最大値選択演算結果と、最小値選択演算部５６Ｃによる最小値選択演算結果とのいずれを選択するかを決定してもよい。

　ここで、乗算部５５Ａ、乗算部５５Ｂ、乗算部５５Ｃ、加算値演算部５６Ａ、最大値選択演算部５６Ｂ、最小値選択演算部５６Ｃ及び選択入力部５７は、前段ルックアップテーブル５４（５４Ａ、５４Ｂ、５４Ｃ、５４Ｄ）の各出力に加算処理と、乗算処理と、最大値選択処理と、最小値選択処理と、ランダム選択処理との少なくとも１つを適用して単一出力を演算する「演算部」として機能する。なお、図５を参照して説明した「演算部」の構成は一例にすぎず、前段ルックアップテーブル５４（５４Ａ、５４Ｂ、５４Ｃ、５４Ｄ）の各出力から単一出力を演算することができればよい。

　ノイズリダクション強度データ生成部５０は、上記の「演算部」によって演算された単一出力に適用するための後段ルックアップテーブル５８を有している。後段ルックアップテーブル５８は、上記の「演算部」によって演算された単一出力に対応する単一ルックアップテーブル（ＬＵＴ）５８Ａから構成されている。後段ルックアップテーブル５８（単一ルックアップテーブル５８Ａ）を通過した出力が、階調補正画像のどの部位にどの程度の階調補正が行われたか（階調補正ゲインのレベル分布）を考慮して最適化されたノイズリダクション強度データとなる（例えば図４Ａ、図４Ｂ）。

　このように、「演算部」を挟んだ前段と後段に、輝度データＤ５と色尤度データＤ７とゲインマップデータＤ４と外部マップデータＤ８とのそれぞれ（少なくともいずれか）に適用するための前段ルックアップテーブル５４（５４Ａ、５４Ｂ、５４Ｃ、５４Ｄ）と、前段ルックアップテーブル５４（５４Ａ、５４Ｂ、５４Ｃ、５４Ｄ）の各出力から演算した単一出力に適用するための後段ルックアップテーブル５８（５８Ａ）とを配置している。これにより、柔軟で適切な特性変換が可能になる。例えば、前段ルックアップテーブルにおいて、対数による処理を適用して広いレンジを扱うとともに、前段ルックアップテーブルの各出力から演算した単一出力に適用する後段ルックアップテーブルにおいて、対数を真数に戻すような特性変換が可能になる。あるいは、これとは逆に、前段ルックアップテーブルで真数を演算して、後段ルックアップテーブルで対数を演算してもよい。

　このように、本実施形態の画像処理装置、画像処理方法及び画像処理プログラムでは、入力画像に対して、階調補正、ノイズリダクション強度データ生成、ノイズリダクション処理の順番に行う。階調補正ブロックは、階調補正画像とともに、階調補正ゲイン(ゲインマップ)を出力する。ノイズリダクション強度データ生成ブロックは、階調補正後の画像から輝度とゲインマップを受け取り、更に色解析を行って色尤度を生成する。更に、外部から画素毎のＭａｐを入力し、ゲイン量、輝度、色尤度、外部Ｍａｐ（第１のノイズリダクション強度データの加工データを含む）のそれぞれに前段のルックアップテーブル（ＬＵＴ）を適用し、それぞれの加算、乗算、最大値、最小値などを選択し、更に後段のルックアップテーブル（ＬＵＴ）を適用した結果をノイズリダクション強度データとする。また、外部Ｍａｐは、階調補正入力前にＨＤＲ処理などでゲインを掛けた際のゲイン量を入力することもでき、その場合はゲインマップに直接加算することもできる。ＨＤＲゲインと階調補正ゲインは対数で扱うことにより、単純な加算が可能となる。ノイズリダクション強度データは、自画素と周辺画素の相関に対して係数として寄与させることで実現される。例えば、ＢｉＬａｔｅｒａｌフィルタであれば、自画素と周辺画素の差分に対する係数として、ＮｏｎＬｏｃａｌＭｅａｎｓフィルタであれば、パッチ相関に対する係数として寄与させることで、ノイズリダクション強度に応じてノイズリダクション効果の強弱を制御することができる。

　逆光補正や多重露光合成（ＨＤＲ）などの処理では、画素又は画素ブロック毎に適応的なゲインアップ量が算出され、画像全体の階調補正が行われる場合がある。また、ガンマ補正などでも画素又は画素ブロック毎に異なるゲインアップ量が適用される。これらそれぞれの状態に応じて、ノイズリダクションの強度を変えることができれば、階調補正と、ノイズリダクションをバランスよく両立させることができる。そこで、ゲイン量、輝度のみでなく、色尤度、外部マップ（第１のノイズリダクション強度データの加工データを含む）も加味した処理を可能とすることで、肌色部分の滑らかさを制御したり、自由に設定した特定領域の滑らかさを制御したりすることができる。また、外部から自由なマップ入力を可能とすることで、ゲイン、輝度、色尤度以外の要素によっても、ノイズリダクションの強度を変更でき、背景、顔、車両番号などの特定領域ボカシなどの用途にも適用できる。

　図６は、第１、第２のノイズリダクション強度データを用いたノイズリダクション処理の流れを示す概念図である。図６では、ノイズリダクション強度データ生成部５０への第１のノイズリダクション強度データＤ１２の加工データＤ１２Ｘのループ（入力）を１回のみとした場合を例示している。すなわち、一巡目のノイズリダクション強度データが「第１のノイズリダクション強度データＤ１２及びその加工データＤ１２Ｘ」となり、二巡目のノイズリダクション強度データが「第２のノイズリダクション強度データＤ１１」となる。

　ステップＳＴ１００において、画像処理装置１の共通回路部分１００（デモザイク処理部１０、階調補正部２０、ＹＵＶ変換部３０、色解析部４０及びノイズリダクション強度データ生成部５０）が、入力画像（ＲＡＷ画像、Ｂａｙｅｒ画像）による一巡目処理を実行して、一巡目のノイズリダクション強度データＤ９（第１のノイズリダクション強度データＤ１２）を出力する（ＮＲ　Ｌｅｖｅｌ出力Ｄ１０）。ステップＳＴ２００において、一巡目のノイズリダクション強度データＤ９（第１のノイズリダクション強度データＤ１２）にフィルタ処理部８０によるＭａｐ加工（フィルタ処理）が施され、ＤＲＡＭ９０へのメモリ記憶が行われる。そして、ＤＲＡＭ９０から読み出されたノイズリダクション強度データが、外部マップデータＤ８に含まれた「第１のノイズリダクション強度データＤ１２の加工データＤ１２Ｘ」として、ノイズリダクション強度データ生成部５０にループ（入力）される。フィルタ処理の前後の画像から明らかなように、第１のノイズリダクション強度データＤ１２の加工データＤ１２Ｘは、加工前の第１のノイズリダクション強度データＤ１２と比較して、ノイズによる悪影響が緩和された高品質なものとなっている。

　ステップＳＴ３００において、画像処理装置１の共通回路部分１００（デモザイク処理部１０、階調補正部２０、ＹＵＶ変換部３０、色解析部４０及びノイズリダクション強度データ生成部５０）が、入力画像（ＲＡＷ画像、Ｂａｙｅｒ画像）に二巡目処理を実行して、二巡目のノイズリダクション強度データＤ９を出力する（ＮＲ　Ｌｅｖｅｌ出力Ｄ１０）。この二巡目のノイズリダクション強度データは、一巡目処理で入力された外部マップデータＤ８に含まれた「第１のノイズリダクション強度データＤ１２の加工データＤ１２Ｘ」に基づいた「第２のノイズリダクション強度データＤ１１」である。

　そして、画像処理装置１の共通回路とは別のノイズリダクション処理部６０が、第２のノイズリダクション強度データＤ１１を用いたノイズリダクション処理を実行し、後処理部７０が後処理を実行して、ＮＲ処理後の現像出力（最終画像）となる。なお、二巡目処理では、ノイズリダクション強度データ（ＮＲ　Ｌｅｖｅｌ）が内部的に処理され、メモリ出力されることはない。メモリ出力されるのは、ノイズリダクション処理後のＹＵＶ画像（ＮＲ　ＹＵＶ）である。

　図７Ａ、図７Ｂは、フィルタ処理部８０によるＭａｐ加工（フィルタ処理）が施される前後のノイズリダクション強度データの一例を示す図である。図７Ａに示すように、フィルタ処理前のノイズリダクション強度データは、壁や人形の顔がザラザラして（粒度や解像度が荒く）ノイズの影響が大きいのに対して、図７Ｂに示すように、フィルタ処理後のノイズリダクション強度データは、壁や人形の顔が滑らかで（粒度や解像度が細かく）ノイズの影響が抑えられている。さらに、図７Ａよりも図７Ｂの方が、明暗差が大きい輪郭部がより強調されてノイズの影響が抑えられている。

　図８は、画像処理装置１による画像処理方法の一例を示すフローチャートである。図８では、ノイズリダクション強度データ生成部５０への第１のノイズリダクション強度データＤ１２の加工データＤ１２Ｘのループ（入力）を１回のみとした場合を例示している。すなわち、一巡目のノイズリダクション強度データが「第１のノイズリダクション強度データＤ１２及びその加工データＤ１２Ｘ」となり、二巡目のノイズリダクション強度データが「第２のノイズリダクション強度データＤ１１」となる。

　一巡目処理において、まず、画像処理装置１にＲＡＷ画像が入力する（ステップＳＴ１）。次いで、デモザイク処理部１０が、ＲＡＷ画像にデモザイク処理を施してＲＧＢ画像に変換する（ステップＳＴ２）。次いで、階調補正部２０が、ＲＧＢ画像に階調補正処理を施して、階調補正ＲＧＢ画像と、ゲインマップデータＤ４とを出力する（ステップＳＴ３）。次いで、ＹＵＶ変換部３０が、階調補正ＲＧＢ画像をＹＵＶ変換して輝度データＤ５を出力する（ステップＳＴ４）。次いで、色解析部４０が、階調補正ＲＧＢ画像を色解析して色尤度データ（例えば肌マップ）Ｄ７を出力する（ステップＳＴ５）。次いで、ノイズリダクション強度データ生成部５０が、入力した輝度データＤ５と色尤度データＤ７とゲインマップデータＤ４に基づいて、ノイズリダクション強度データ（ＮＲレベル）Ｄ９を生成する（ステップＳＴ６）。生成されたノイズリダクション強度データ（ＮＲレベル）Ｄ９は、画像処理装置１の装置外部（共通回路外部）２００に出力される（ステップＳＴ７）。なお、一巡目処理においては、「第１のノイズリダクション強度データＤ１２」が存在しない状態なので、外部マップデータＤ８として、「第１のノイズリダクション強度データＤ１２の加工データＤ１２Ｘ」がノイズリダクション強度データ生成部５０にループ（入力）することはない（破線参照）。

　図８のステップＳＴ１～ＳＴ７の処理は、図６のステップＳＴ１００の処理に相当する。

　一巡目処理で得られたノイズリダクション強度データ（ＮＲレベル）Ｄ９は、装置外部（共通回路外部）２００に入力される（ステップＳＴ８）。そして、装置外部（共通回路外部）２００において、ノイズリダクション強度データ（ＮＲレベル）Ｄ９が、フィルタ処理部（外部回路）８０でフィルタ処理され、ＤＲＡＭ（外部メモリ）９０で記憶される（ステップＳＴ９）。その後、記憶されたノイズリダクション強度データ（ＮＲレベル）が読み出されて、画像として出力される（ステップＳＴ１０）。このノイズリダクション強度データ（ＮＲレベル）は、加工済みＮＲレベルとしての「第１のノイズリダクション強度データＤ１２の加工データＤ１２Ｘ」として、画像処理装置１（ノイズリダクション強度データ生成部５０）にループ（入力）される。

　図８のステップＳＴ８～ＳＴ１０の処理は、図６のステップＳＴ２００の処理に相当する。

　二巡目処理において、第１のノイズリダクション強度データＤ１２の加工データＤ１２Ｘ（加工済みＮＲレベル）は、ノイズリダクション強度データ生成部５０に出力される。また、画像処理装置１にＲＡＷ画像が入力する（ステップＳＴ１１）。次いで、デモザイク処理部１０が、ＲＡＷ画像にデモザイク処理を施してＲＧＢ画像に変換する（ステップＳＴ１２）。次いで、階調補正部２０が、ＲＧＢ画像に階調補正処理を施して、階調補正ＲＧＢ画像を出力する（ステップＳＴ１３）。次いで、ＹＵＶ変換部３０が、階調補正ＲＧＢ画像をＹＵＶ変換した階調補正ＹＵＶ画像を出力する（ステップＳＴ１４）。なお、二巡目処理においては、一巡目処理において輝度データＤ５と色尤度データＤ７とゲインマップデータＤ４を既に取得済みであるため、輝度データＤ５と色尤度データＤ７とゲインマップデータＤ４を再取得あるいは再使用しない（破線参照）。ただし、必要に応じて、輝度データＤ５と色尤度データＤ７とゲインマップデータＤ４の全部又は一部を再取得あるいは再使用してもよい。

　次いで、ノイズリダクション強度データ生成部５０が、一巡目処理からループ（入力）してきた「第１のノイズリダクション強度データＤ１２の加工データＤ１２Ｘ（加工済みＮＲレベル）」に基づいて、より高精度（高信頼性）なＮＲレベルとしての「第２のノイズリダクション強度データＤ１１」を生成する（ステップＳＴ１５）。次いで、ノイズリダクション処理部６０が、「第２のノイズリダクション強度データ（ＮＲレベル）Ｄ１１」に基づいて、ＹＵＶ変換部３０からの階調補正ＹＵＶ画像に対してノイズリダクション処理（ＮＲ処理）を行う（ステップＳＴ１６）。次いで、後処理部７０が、ノイズリダクション処理後のＹＵＶ画像に対して、例えば、ガンマ補正、エッジ強調処理、超解像処理などの後処理（ＹＵＶ加工処理）を行う（ステップＳＴ１７）。最後に、後処理後のＹＵＶ画像が最終画像として出力される（ステップＳＴ１８）。

　図８のステップＳＴ１１～ＳＴ１８の処理は、図６のステップＳＴ３００の処理に相当する。

　その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。

１・・・画像処理装置
１Ｘ・・・デジタルカメラ（撮影装置）
１０・・・デモザイク処理部
２０・・・階調補正部
３０・・・ＹＵＶ変換部
４０・・・色解析部
５０・・・ノイズリダクション強度データ生成部（ＮＲ強度データ生成部）
５１・・・選択入力部
５２・・・乗算部
５３・・・選択入力部
５４・・・前段ルックアップテーブル
５４Ａ・・・輝度データ用ルックアップテーブル（ＬＵＴ（Ｙ））
５４Ｂ・・・色尤度データ用ルックアップテーブル（ＬＵＴ（色））
５４Ｃ・・・ゲインマップデータ用ルックアップテーブル（ＬＵＴ（Ｇａｉｎ））
５４Ｄ・・・外部マップデータ用ルックアップテーブル（ＬＵＴ（ＥＸＴ））
５５Ａ・・・乗算部（演算部）
５５Ｂ・・・乗算部（演算部）
５５Ｃ・・・乗算部（演算部）
５６Ａ・・・加算値演算部（Ｓｕｍ）（演算部）
５６Ｂ・・・最大値選択演算部（Ｍａｘ）（演算部）
５６Ｃ・・・最小値選択演算部（Ｍｉｎ）（演算部）
５７・・・選択入力部（Ｓｅｌ）（演算部）
５８・・・後段ルックアップテーブル
５８Ａ・・・単一ルックアップテーブル（ＬＵＴ）
６０・・・ノイズリダクション処理部（ＮＲ処理部）
７０・・・後処理部
８０・・・フィルタ処理部（外部回路）
９０・・・ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）（外部メモリ）
１００・・・共通回路部分
２００・・・装置外部（共通回路外部）

Claims

　画像に対する第１のノイズリダクション強度データを生成後、前記第１のノイズリダクション強度データに基づいて生成された加工データの入力に応じて前記画像に対する第２のノイズリダクション強度データを生成するノイズリダクション強度データ生成回路と、
　前記第２のノイズリダクション強度データに基づいて、前記画像に対してノイズリダクション処理を行うノイズリダクション処理回路と、
　を有する画像処理装置。
　外部メモリに前記第１のノイズリダクション強度データを記憶後、前記加工データが前記ノイズリダクション強度データ生成回路に入力される、
　請求項１に記載の画像処理装置。
　外部回路で前記第１のノイズリダクション強度データのフィルタ処理後に、前記加工データが前記ノイズリダクション強度データ生成回路に入力される、
　請求項１又は請求項２に記載の画像処理装置。
　前記画像に対して階調補正を行う階調補正回路をさらに有し、
　前記画像に応じて生成される複数のデータの任意の組み合わせデータに基づいて、前記ノイズリダクション強度データ生成回路は前記第１のノイズリダクション強度データを生成する、
　請求項１から請求項３のいずれかに記載の画像処理装置。
　前記階調補正された階調補正画像の輝度データと、前記階調補正画像の色尤度データと、前記階調補正画像の階調補正量に基づくゲインマップデータと、外部マップデータと、を任意に組み合わせたデータに基づいて、前記ノイズリダクション強度データ生成回路は前記第１のノイズリダクション強度データを生成する、
　ことを特徴とする請求項１から請求項４のいずれかに記載の画像処理装置。
　前記加工データは、前記ノイズリダクション強度データ生成回路に、前記外部マップデータ用の入力回路から入力される、
　請求項５に記載の画像処理装置。
　画像に対して階調補正を行う階調補正回路と、
　前記階調補正後に、前記画像に応じて生成される複数のデータの任意の組み合わせデータに基づいて、ノイズリダクション強度データを生成するノイズリダクション強度データ生成回路と、
　前記ノイズリダクション強度データに基づいて、前記階調補正された階調補正画像に対してノイズリダクション処理を行うノイズリダクション処理回路と、
　を有する画像処理装置。
　前記階調補正画像の輝度データと、前記階調補正画像の色尤度データと、前記階調補正画像の階調補正量に基づくゲインマップデータと、外部マップデータと、を任意に組み合わせたデータに基づいて、前記ノイズリダクション強度データ生成回路は前記ノイズリダクション強度データを生成する、
　請求項７に記載の画像処理装置。
　前記ノイズリダクション強度データ生成回路は、前記輝度データと、前記色尤度データと、前記ゲインマップデータと、前記外部マップデータと、の少なくともいずれかに適用するための前段ルックアップテーブルを有する、
　請求項８に記載の画像処理装置。
　前記ノイズリダクション強度データ生成回路は、前記前段ルックアップテーブルの各出力に加算処理と、乗算処理と、最大値選択処理と、最小値選択処理と、ランダム選択処理との少なくとも１つを適用して単一出力を演算する演算回路を有する、
　請求項９に記載の画像処理装置。
　前記ノイズリダクション強度データ生成回路は、前記演算回路によって演算された前記単一出力に適用するための後段ルックアップテーブルを有する、
　請求項１０に記載の画像処理装置。
　画像処理装置が、
　画像に対する第１のノイズリダクション強度データを生成後、前記第１のノイズリダクション強度データに基づいて生成された加工データの入力に応じて前記画像に対する第２のノイズリダクション強度データを生成し、
　前記第２のノイズリダクション強度データに基づいて、前記画像に対してノイズリダクション処理を行う、
　画像処理方法。
　外部メモリに前記第１のノイズリダクション強度データを出力後、前記加工データを入力する、
　請求項１２に記載の画像処理方法。
　前記第１のノイズリダクション強度データのフィルタ処理後に、前記加工データを入力する、
　請求項１２又は請求項１３に記載の画像処理方法。
　前記画像に応じて生成される複数のデータの任意の組み合わせデータに基づいて、前記第１のノイズリダクション強度データを生成する、
　請求項１２から請求項１４のいずれかに記載の画像処理方法。
　階調補正画像の輝度データと、前記階調補正画像の色尤度データと、前記階調補正画像の階調補正量に基づくゲインマップデータと、外部マップデータと、を任意に組み合わせたデータに基づいて、前記第１のノイズリダクション強度データを生成する、
　請求項１２から請求項１５のいずれかに記載の画像処理方法。
　画像処理装置が、
　画像に対して階調補正を行い、
　前記階調補正後に、前記画像に応じて生成される複数のデータの任意の組み合わせデータに基づいて、ノイズリダクション強度データを生成し、
　前記ノイズリダクション強度データに基づいて、前記階調補正された階調補正画像に対してノイズリダクション処理を行う、
　画像処理方法。
　前記階調補正画像の輝度データと、前記階調補正画像の色尤度データと、前記階調補正画像の階調補正量に基づくゲインマップデータと、外部マップデータと、を任意に組み合わせたデータに基づいて、前記ノイズリダクション強度データを生成する、
　請求項１７に記載の画像処理方法。