JP4905229B2 - 画像処理装置、画像処理方法及び画像処理用プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及び画像処理用プログラムに係り、特にカラー画像を得るために画像処理をする画像処理装置、この画像処理装置に適用される画像処理方法及び画像処理用プログラムに関する。

画像の撮影をする場合の露光量は、撮影された画像の品質を決定する重要な要素である。不適切な露光量を設定して撮影した場合、人間の目であれば視認できるにも関わらず、画像上では黒く潰れて撮影の対象を判別することができない場合がある。また、反対に反射光が画像上で白く撮像され、いわゆる白とびが発生するおそれがある。このような場合にも、撮影の対象を判別することができないことがある。

このような課題を解決し、かつ、高い画質の画像を生成する従来技術として、露光量が異なる複数の画像の明るさが適正な画像を切り出して合成し、一枚の画像を構成することが考えられる。ただし、画像の合成では、合成される画像の輝度レベルが異なるため、合成によって得られた画像における合成の境目に擬似輪郭と呼ばれる像が出現することが問題となっていた。

擬似輪郭の発生を防ぐ従来技術として、例えば、特許文献１、特許文献２が挙げられる。特許文献１は、露光量の異なる複数の画像を合成するにあたり、複数の画像においてそれぞれ明るさが適正な（潰れていない）画像の輝度レベルを一致させて複数の画像の輝度のレベルを一致させている。
また、特許文献２の発明は、色分離をする以前に複数の画像の輝度を合成することによって画像合成に使用される回路の規模を小型化するものである。
特開平７−１３１７１８号公報 特開２０００−７８５９４号公報

しかしながら、画像合成には、擬似輪郭の問題の他、画像の彩度を適正に再現できないという問題がある。特許文献１、特許文献２は、いずれも輝度レベルを調整することによって画像の白とびや潰れに対応するものであって、画像の彩度低下を解消することはできない。
図９（ａ）、（ｂ）は、合成画像において彩度が低下することを説明するための図である。図９（ａ）、（ｂ）は、いずれもオレンジ色の画像データを構成する色成分Ｒ，Ｇ，Ｂの各画像データについて、縦軸に輝度信号のレベルを示している。輝度信号のレベルの最大値は、２５５である。また、（ａ）、（ｂ）に示した画像データは、互いに露光量が異なっていて、（ａ）に示した画像データは、（ｂ）に示した画像データよりも短い時間で露光された画像の画像データである。

（ａ）に示した画像データでは、Ｒ，Ｇ，Ｂの各画像データうちＢ成分の画像データの値が２５５の１０％程度である。このような場合、ノイズ等がＢ成分の画像データの値に大きく影響し、充分な信頼性を得ることができない。一方、（ｂ）に示した画像データでは、Ｒ，Ｇ，Ｂの各画像データうちＲ，Ｇ成分の画像データの値が最大値を超えて飽和している。このため、（ｂ）に示した画像データの色相も適正であるか否かについて充分な信頼性を得ることができない。

したがって、従来技術では、図９（ａ）、（ｂ）に示した露光量の異なる画像データをどのように切替えたとしても、画像の色相を適正に再現する合成画像を生成することはできない。
本発明は、このような点に鑑みてなされたものであり、色相が適正な画像を生成することができる画像処理装置、画像処理方法及び画像処理用プログラムを提供することを目的とする。

以上の課題を解決するため、本発明の画像処理装置は、異なる露光量で撮影された複数の画像の画像データを合成し、合成画像データを生成する画像処理装置であって、異なる露光量で撮影された画像の画像データを取得する画像データ取得手段と、前記画像データ取得手段によって取得された画像データが複数の色成分の画像データで構成され、前記画像データ取得手段によって取得された露光量の異なる画像データの信頼性を、前記画像データを構成する複数の色成分の画像データごとに評価する信頼性評価手段と、前記信頼性評価手段による評価の結果得られた信頼性に基づいて、露光量の異なる前記複数の画像の画像データのいずれかから、各色成分の画像データを選択する色選択手段と、前記画像データのうちの前記色選択手段によって選択された各色成分の画像データを合成して前記合成画像データを生成する合成手段と、を備えることを特徴とする。

このような発明によれば、異なる露光量で撮影された画像の画像データであって、かつ複数の色成分で構成される画像データの信頼性を、色成分ごとに評価することができる。また、評価された信頼性に基づいて、露光量の異なる複数の画像の画像データのいずれかから、各色成分の画像データを選択し、選択された各色成分の画像データを合成して合成画像データを生成することができる。このため、画像データの各色成分について適正であると考えられる輝度信号レベルを採用して合成画像データを生成することができる。このような本発明は、適正な色相の合成画像データを生成することが可能な画像処理装置を提供することができる。

また、本発明の画像処理装置は、前記色選択手段が、前記信頼性評価手段による評価の結果得られた信頼性に基づいて、露光量が異なる複数の画像データの各々から、同一の色成分の画像データを選択し、前記色選択手段によって選択された同一の色成分の複数の画像データの混合割合を決定する混合割合決定手段をさらに備え、前記合成手段が、前記混合割合決定手段によって決定された混合割合にしたがって同一の色成分の複数の画像データを合成することを特徴とする。

このような発明によれば、光量が異なる複数の画像データから各々同一の色成分の画像データを選択し、信頼性に基づく混合割合で合成することによってこの色成分の合成画像データを生成することができる。このため、信号のノイズによって充分な信頼性を得られない色成分の画像データを採用するよりも、ノイズの影響を受け難い画像処理装置を提供することができる。

また、本発明の画像処理装置は、前記画像データ取得手段によって取得された各色成分の画像データを正規化する正規化手段をさらに備え、前記合成手段は、前記正規化手段によって正規化された画像データを合成することを特徴とする。
このような発明によれば、露光量の異なる各画像データの合成画像データに対する影響を均等にすることができるので、より適正な色相の合成画像データを生成することができる。

また、本発明の画像処理方法は、異なる露光量で撮影された複数の画像の画像データを合成し、合成画像データを生成する画像処理方法であって、異なる露光量で撮影された画像の画像データを取得する画像データ取得ステップと、前記画像データ取得ステップにおいて取得された画像データが複数の色成分の画像データで構成され、前記画像データ取得ステップにおいて取得された露光量の異なる画像データの信頼性を、前記画像データを構成する複数の色成分の画像データごとに評価する信頼性評価ステップと、前記信頼性評価ステップにおける評価の結果得られた信頼性に基づいて、露光量の異なる前記複数の画像の画像データのいずれかから、各色成分の画像データを選択する色選択ステップと、前記画像データのうちの前記色選択ステップにおいて選択された各色成分の画像データを合成して前記合成画像データを生成する合成ステップと、を含むことを特徴とする。

このような発明によれば、異なる露光量で撮影された画像の画像データであって、かつ複数の色成分で構成される画像データの信頼性を、色成分ごとに評価することができる。また、評価された信頼性に基づいて、露光量の異なる複数の画像の画像データのいずれかから、各色成分の画像データを選択し、選択された各色成分の画像データを合成して合成画像データを生成することができる。このため、画像データの各色成分について適正であると考えられる輝度信号レベルを採用して合成画像データを生成することができる。このような本発明は、適正な色相の合成画像データを生成することが可能な画像処理方法を提供することができる。

また、本発明の画像処理用プログラムは、異なる露光量で撮影された複数の画像の画像データを合成し、合成画像データを生成する画像処理をコンピュータに実行させるための画像処理用プログラムであって、コンピュータに、異なる露光量で撮影された画像の画像データを取得する画像データ取得機能と、前記画像データ取得機能によって取得された画像データが複数の色成分の画像データで構成され、前記画像データ取得機能によって取得された露光量の異なる画像データの信頼性を、前記画像データを構成する複数の色成分の画像データごとに評価する信頼性評価機能と、前記信頼性評価機能による評価の結果得られた信頼性に基づいて、露光量の異なる前記複数の画像の画像データのいずれかから、各色成分の画像データを選択する色選択機能と、前記画像データのうちの前記色選択機能によって選択された各色成分の画像データを合成して前記合成画像データを生成する合成機能と、を実現させることを特徴とする。

このような発明によれば、異なる露光量で撮影された画像の画像データであって、かつ複数の色成分で構成される画像データの信頼性を、色成分ごとに評価することができる。また、評価された信頼性に基づいて、露光量の異なる複数の画像の画像データのいずれかから、各色成分の画像データを選択し、選択された各色成分の画像データを合成して合成画像データを生成することができる。このため、画像データの各色成分について適正であると考えられる輝度信号レベルを採用して合成画像データを生成することができる。このような本発明は、適正な色相の合成画像データを生成することが可能な画像処理用プログラムを提供することができる。

以下、図を参照して本発明の画像処理装置、画像処理方法及び画像処理用プログラムに係る実施形態１、実施形態２を説明する。
(実施形態１）
図１は、実施形態１の画像処理装置の構成を説明するための図である。図示した画像処理装置は、異なる露光量で撮影された複数の画像の画像データを合成し、合成画像データを生成する画像処理装置である。そして、異なる露光量で画像を撮影し、撮影された画像の画像データを取得するＣＣＤ（Charge Coupled Device）カメラ１０１を備えている。ＣＣＤカメラ１０１によって取得された画像データは複数の色成分の画像データで構成されている。実施形態１では、画像データがＲ，Ｇ，Ｂの３色の色成分で構成され、画像データは色成分ごとに取得されている。

また、実施形態１の画像処理装置は、露光量の異なる画像データの信頼性を、画像データを構成する複数の色成分の画像データごとに評価する信号信頼度評価部１０５、露光量の異なる前記複数の画像の画像データのいずれかから、各色成分の画像データを選択し、選択された各色成分の画像データを合成して合成画像データを生成する画像合成部１０６を備えている。

実施形態１の画像処理装置は、Ｒ，Ｇ，Ｂの各画像データを各々蓄積するメモリ１０３ａ、１０３ｂ、１０３ｃを備えている。ＣＣＤカメラ１０１によって取得されたＲ，Ｇ，Ｂの画像データは、スイッチ（ＳＷ）１０２によって色成分ごとにメモリ１０３ａ〜１０３ｃのいずれかに振り分けられて蓄積される。また、画像処理装置は、蓄積された画像データの各々を読み出して正規化する正規化部１０４、画像合成部１０６によって合成された結果生成される合成画像データを表示するディスプレイ等の表示部１０７、保存する画像保存部１０８を備えている。

信号信頼度評価部１０５は、正規化部１０４によって正規化される以前の画像データの信頼性を評価する。また、画像合成部１０６は、正規化された後の画像データを合成する。
以上の構成において、ＣＣＤカメラ１０１は画像データ取得手段、信号信頼度評価部１０５は信頼性評価部、画像合成部１０６は色選択手段及び合成手段として機能する。また、正規化部１０４は、実施形態１の正規化手段として機能する。

以下、図１に示した各構成についてより詳細に説明する。
ＣＣＤカメラ１０１は、同一の撮影対象を異なる露光量で撮影して得られる複数の画像データを生成する。実施形態１では、露光時間を変更することによって異なる露光量の画像データＡ、Ｂ、Ｃを生成するものとした。画像データＡの露光時間Ｔ１、画像データＢの露光時間Ｔ２、画像データＣの露光時間Ｔ３は、
Ｔ１＜Ｔ２＜Ｔ３の関係にあって、
Ｔ１：Ｔ２：Ｔ３＝２：３：６とする。

ＣＣＤカメラ１０１は、同一の撮影対象を異なる露光量で撮影して画像データＡ、Ｂ、Ｃを生成する。ＣＣＤカメラ１０１は、受光したアナログ信号を電気信号に変換して出力する光電変換素子（ＣＣＤ）を含む撮像手段である。
また、実施形態１では、ＣＣＤカメラ１０１が出力する輝度信号レベルを画素値、画素値と、この画素値を有する画像における画素の座標とを対応付けたデータを画像データというものとする。すなわち、画像データは、画素の座標と輝度信号のレベルとによって規定されるデータである。

ここで、図２を用い、ＣＣＤカメラ１０１が同一の撮影対象を異なる露光時間で撮影する構成について説明する。
図２は、ＣＣＤカメラ１０１に搭載されるＣＣＤ２０１ａを含むセンサセルアレイ２０１を示した図である。センサセルアレイ２０１の露光領域には、ＣＣＤ２０１ａに蓄積された電荷を読み出す３つの読み出しラインＬ１、Ｌ２、Ｌ３が設けられている。ＣＣＤ２０１ａは、図中に示したスキャン方向に繰り返しスキャンされて蓄積された電荷が読み出される。

読み出しラインＬ１は、最も多くのＣＣＤに蓄積された電荷を読み出すと共にリセットする読み出しラインである。リセットを伴う読み出しは、破壊読出しとも呼ばれている。読み出しラインＬ１によって読み出された電荷のデータは、図示しないＡＦＥ（Analog Front End）を介してＡ／Ｄ変換部に入力されてデジタルデータ（画像データ）となる。読み出しラインＬ１によって読み出された電荷のデータに基づく画像データは、実施形態１で最も露光時間が長い画像データＣとなる。

また、読み出しラインＬ２によって読み出された画像データは、実施形態１の標準露光時間の画像データＢとなる。読み出しラインＬ３は、最も少ないＣＣＤに蓄積された電荷を読み出す読み出しラインである。読み出しラインＬ３によって読み出された画像データは、実施形態１で最も露光時間が短い画像データＡとなる。読み出しラインＬ２、Ｌ３による読み出しは、いずれもリセットを伴わない非破壊読み出しである。

１回の露光期間において、読み出しラインＬ１による電荷の読み出し及びリセットと読み出しラインＬ２、Ｌ３による非破壊読み出しは、それぞれ独立に実行される。
このような読み出しタイミングの制御は、電子シャッタ機能によって実現される。ただし、実施形態１は、このような構成に限定されるものでなく、ＣＣＤカメラ１０１の絞りを制御して露光量を変更するものであってもよい。

実施形態１では、正規化された画像データＡ、Ｂ、Ｃの輝度信号レベルをそれぞれＡ_NT3（ｘ，ｙ，Ｒ）、Ｂ_NT3（ｘ，ｙ，Ｒ）、Ｃ_NT3（ｘ，ｙ，Ｒ）とし、正規化される以前の画像データＡ、Ｂ、Ｃの輝度信号レベルをそれぞれＡ_T1（ｘ，ｙ，Ｒ）、Ｂ_T2（ｘ，ｙ，Ｒ）、Ｃ_T3（ｘ，ｙ，Ｒ）とする。Ａ_NT3（ｘ，ｙ，Ｒ）、Ｂ_NT3（ｘ，ｙ，Ｒ）、Ｃ_NT3（ｘ，ｙ，Ｒ）、Ａ_T1（ｘ，ｙ，Ｒ）、Ｂ_T2（ｘ，ｙ，Ｒ）、Ｃ_T3（ｘ，ｙ，Ｒ）は、いずれもＲ，Ｇ，ＢのうちのＲの画像データを示していている。なお、変数ｘ、ｙは、その輝度信号レベルを持つ画素の座標を示している。Ａ_NT3（ｘ，ｙ，Ｒ）、Ｂ_NT3（ｘ，ｙ，Ｒ）、Ｃ_NT3（ｘ，ｙ，Ｒ）、Ａ_T1（ｘ，ｙ，Ｒ）、Ｂ_T2（ｘ，ｙ，Ｒ）、Ｃ_T3（ｘ，ｙ，Ｒ）の関係は、以下の式で表される。

Ａ_NT3（ｘ，ｙ，Ｒ）＝Ａ_T1（ｘ，ｙ，Ｒ）×（Ｔ３／Ｔ１）
Ｂ_NT3（ｘ，ｙ，Ｒ）＝Ｂ_T2（ｘ，ｙ，Ｒ）×（Ｔ３／Ｔ２）
Ｃ_NT3（ｘ，ｙ，Ｒ）＝Ｃ_T3（ｘ，ｙ，Ｒ）
なお、上記した式は、画像データＡ、Ｂ、ＣのＲ成分について記しているが、Ｇ成分、Ｂ成分についても同様に成立する。

図３、図４、図５は、実施形態１の信号信頼度評価部１０５によって行われる画像データの輝度信号レベルの信頼度を評価する方法について説明するための図である。図３（ａ）、（ｂ）、（ｃ）は、いずれも同一の撮影対象をＣＣＤカメラ１０１によって撮影した画像データの、オレンジ色を構成するＲ，Ｇ，Ｂの各色成分の画像データを示している。（ａ）は最も短い露光時間Ｔ１で撮影された画像の画像データＡ、（ｂ）は露光時間Ｔ２で撮影された画像の画像データＢ、（ｃ）は最も長い露光時間Ｔ３で撮影された画像の画像データＣのものである。縦軸は画像データの輝度信号レベルを示している。また、横軸には画像データの各色成分を並列に示している。

実施形態１では、信号のＳ／Ｎ比が大きいことから、より大きい輝度信号レベルに、より高い信頼性を付与するものとした。ただし、信号レベルが高すぎて最大値２５５以上に達している（飽和している）場合には正確な輝度信号レベルが得られない。このことから、実施形態１では、２５５よりもやや低い輝度信号レベル（例えば２２４）に信頼度の最高値を付与するものとした。

このような信頼度の付与は、予め設定されている式に輝度信号レベルを代入する、あるいはＬＵＴ（Look Up Table）を参照することによって実現できる。以下に、画像データＡ_T1（ｘ，ｙ，Ｒ）の輝度信号レベルが２２４以上である場合の信頼度Ｅ_T1（ｘ，ｙ，Ｒ）を算出するための式を例示する。
ｉｆ Ａ_T1（ｘ，ｙ，Ｒ）＞２２４
ｔｈｅｎ Ｅ_T1（ｘ，ｙ，Ｒ）＝（２５５−Ａ_T1（ｘ，ｙ，Ｒ））／３１
ｅｌｓｅ Ｅ_T1（ｘ，ｙ，Ｒ）＝Ａ_T1（ｘ，ｙ，Ｒ））／２２４
なお、上記した式は、画像データＡ、Ｂ、ＣのＲ成分について記しているが、Ｇ成分、Ｂ成分についても同様に成立する。

式中の数字「３１」は、信頼度の最高値を得る輝度信号レベル２２４と輝度信号レベルの最大値２５５の差分である。輝度信号レベル２２４と輝度信号レベルの最大値２５５の差分によって２５５と輝度信号レベル２２４と輝度の輝度信号レベルとの差分を除算することにより、画像データＡ_T1（ｘ，ｙ，Ｒ）の輝度信号レベルが飽和値に近くなると、信頼度が低下するように設定することが可能になる。
また、上記した信頼度評価の式は、このような形に限定されるものでなく、ノイズや出力特性を考慮した輝度信号レベルの信頼度の指標となるものであればどのような形式のものであってもよい。また、式に限定されるものでなく、予め定められたＬＵＴ等を使って信頼度を評価するものであってもよい。

以上の式によって図３（ａ）〜（ｃ）に示された輝度信号レベルを評価すると、Ｒ，Ｇ，ＢのうちのＲ成分については、（ａ）に示した画像データＡのＲ成分Ｒ１が、画像データＢ、ＣのＲ成分Ｒ２、Ｒ３よりも高い信頼性を得る。また、Ｇ成分については、（ｂ）に示した画像データＢのＧ成分Ｇ２が、画像データＡ、ＣのＧ成分Ｇ１、Ｇ３よりも高い信頼性を得る。さらに、Ｂ成分については、（ｃ）に示した画像データＣのＢ成分Ｂ３が、画像データＡ、ＢのＧ成分Ｂ１、Ｂ２よりも高い信頼性を得ることになる。

実施形態１では、信号信頼度評価部１０５が、以上述べた信頼性の評価を実行し、信頼性を画像合成部１０６に出力する。画像合成部１０６は、Ｒ，Ｇ，Ｂの各画像データについて、画像データＡ、Ｂ、Ｃのうちの信頼性が最も高い画像データを選択する。そして、選択された画像データを合成し、オレンジ色を表示する合成画像データを生成する。
また、実施形態１では、正規化部１０４が、以上述べた信頼性の評価と並行して画像データＡ、Ｂ、Ｃの輝度信号レベルを正規化する。図４は、正規化された輝度信号レベルを説明するための図である。画像合成部１０６は、図４（ａ）〜（ｃ）に示した画像データのＲ１、Ｇ２、Ｂ３成分を合成してオレンジ色の合成画像データを生成する。合成画像データを図５に示す。

図６は、以上述べた実施形態１の画像処理装置で行われる画像処理方法及び画像処理用プログラムを説明するためのフローチャートである。実施形態１の画像処理装置は、図１に示した正規化部１０４、信号信頼度評価部１０５、画像合成部１０６が各々コンピュータによって実現される機能である。図示したフローチャートは、コンピュータに、各構成の機能を実行させるためのプログラムのものである。

ＣＣＤカメラ１０１は、露光時間が異なる３つの画像データＡ、Ｂ、Ｃを取得していて、各画像データはメモリ１０３ａ、１０３ｂ、１０３に蓄積されている。正規化部１０４は、蓄積されている画像データの各々を正規化する（Ｓ６０１）。
信号信頼度評価部１０５は、正規化と並行し、先ず画像データＡ、Ｂ、ＣのうちＲ成分の信頼性を評価する（Ｓ６０２）。次に、Ｇ成分、Ｂ成分についても信頼性を評価したか否か判断する（Ｓ６０３）。信頼性評価の処理がなされていない画像データがある場合（Ｓ６０３：Ｎｏ）、信頼性の評価をし、Ｒ，Ｇ，Ｂのすべてについて信頼性を評価する（Ｓ６０３：Ｙｅｓ）。

次に、画像合成部１０６は、信号信頼度評価部１０５による評価により、最も高い信頼性を得た画像データを、Ｒ，Ｇ，Ｂの各成分について選択する（Ｓ６０４）。そして、選択された画像データであって、正規化された画像データを合成する（Ｓ６０５）。
以上述べた実施形態１によれば、信号信頼度評価部１０５が、異なる露光量で撮影された画像の画像データの信頼性を色成分ごとに評価することができる。また、画像合成部１０６は、評価された信頼性に基づいて露光量の異なる複数の画像データのいずれかから各色成分の画像データを選択し、選択された各色成分の画像データを合成して合成画像データを生成することができる。

このため、画像データの各色成分について適正であると考えられる（信頼度の高い）輝度信号レベルを採用して合成画像データを生成することができるので、適正な色相の合成画像データを生成することができる。
なお、以上述べた実施形態１の画像処理方法は、画像のデータを預かってプリントする、いわゆるプリントサービスを提供する場で実施することも可能である。

（実施形態２）
次に、本発明の実施形態２を説明する。図７は、実施形態２の画像処理装置の構成を説明するための図である。図７中に示した図１と同様の構成については同様の符号を付し、説明を一部略すものとする。
実施形態２の画像処理装置は、実施形態１の画像処理装置と同様に、ＣＣＤカメラ１０１、スイッチ１０２、メモリ１０３ａ、１０３ｂ、１０３ｃを備えている。また、正規化部１０４、信号信頼度評価部１０５、画像合成部１０６、表示部１０７、画像保存部１０８を備えている。

実施形態２では、画像合成部１０６が、露光量が異なる複数の画像データの各々から、同一の色成分の画像データを選択する。実施形態２の画像処理装置は、画像合成部１０６によって選択された同一の色成分の複数の画像データの混合割合を決定する重み付け部７０１を備えている。画像合成部１０６は、決定された混合割合にしたがって同一の色成分の複数の画像データを合成している。

なお、重み付けとは、前記した画像データの信頼性に基づいて決定された混合の割合を示すパラメータである。このような重み付け部７０１は、実施形態２の混合割合決定手段として機能する。
つまり、実施形態２は、実施形態１が、画像データＡ、Ｂ、Ｃのうちの１つからＲ，Ｇ，Ｂ成分のいずれかを選択し、選択されたＲ，Ｇ，Ｂ成分の画像データを合成しているのに対し、画像データＡ、Ｂ、Ｃのうちのいずれか（実施形態２では画像データＡ、Ｂ、Ｃ全て）から、Ｒ，Ｇ，Ｂの各色成分の画像データを選択し、選択されたＲ，Ｇ，Ｂのうち同一の色成分の画像データを混合割合にしたがって混合する点で相違する。

このような混合の結果、画像データＡのＲ成分と画像データＢ、ＣのＲ成分とが合成されて画像データのＲ成分が合成できる。また、画像データＡのＧ成分と画像データＢ、ＣのＧ成分とが合成されて画像データのＧ成分が合成でき、画像データＡのＢ成分と画像データＢ、ＣのＢ成分とが合成されて画像データのＢ成分が合成できる。合成の結果得られたＲ，Ｇ，Ｂの各成分は、互いに合成されて合成画像データとなる。

以下、重み付け部７０１によってなされる重み付けについて説明する。実施形態１では、重み付けを、重み係数を決定することによって実行する。重み係数とは、画像データＡ、Ｂ、Ｃの混合の比重を示すものであって、重み係数が大きいほど混合割合が大きいものとする。
画像データＡのＲ成分の重み係数Ｗ＿T1（ｘ，ｙ，Ｒ）は、例えば、以下の式によって算出される。

Ｗ＿T１（ｘ，ｙ，Ｒ）＝Ｅ＿T１（ｘ，ｙ，Ｒ）／Ｅsum
Ｗ＿T2（ｘ，ｙ，Ｒ）＝Ｅ＿T2（ｘ，ｙ，Ｒ）／Ｅsum
Ｗ＿T3（ｘ，ｙ，Ｒ）＝Ｅ＿T3（ｘ，ｙ，Ｒ）／Ｅsum
ただし、
Ｅsum＝Ｅ＿T１（ｘ，ｙ，Ｒ）＋Ｅ＿T2（ｘ，ｙ，Ｒ）＋Ｅ＿T3（ｘ，ｙ，Ｒ）
なお、上記した式は、画像データＡ、Ｂ、ＣのＲ成分について記しているが、Ｇ成分、Ｂ成分についても同様に成立する。

重み付け部７０１によって算出された重み係数は、画像合成部１０６に出力される。画像合成部１０６は、重み係数を入力し、入力された重み係数を画像データＡ、Ｂ、Ｃの各成分に乗算する。そして、乗算後の輝度信号レベルを合成し、合成画像データを算出する。
画像合成データ＝Ｗ＿T１（ｘ，ｙ，Ｒ）×Ａ_NT3（ｘ，ｙ，Ｒ）
＋Ｗ＿T2（ｘ，ｙ，Ｒ）×Ｂ_NT3（ｘ，ｙ，Ｒ）
＋Ｗ＿T3（ｘ，ｙ，Ｒ）×Ｃ_NT3（ｘ，ｙ，Ｒ）
図８は、画像合成部１０６によって合成された画像合成データの混合割合を示した図である。図示した合成画像データは、Ｒ，Ｇ，Ｂの３成分に画像データＡ、Ｂ、Ｃの全てのＲ，Ｇ，Ｂ成分を含んでいる。

このような実施形態２は、複数の画像データを混合して画像データの１つの色成分を生成している。このため、輝度信号レベルが低くノイズの影響を受けやすい成分（図中ではＢ成分）と、ノイズの影響がより小さい他の画像データのＢ成分とを使って合成画像データのＢ成分を生成することができる。このような実施形態２は、実施形態１のように、輝度信号レベルが低くノイズの影響を受けやすいＢ成分だけを使って合成画像データのＢ成分を生成するよりもノイズの影響を受け難くなる。

本発明の実施形態１の画像処理装置の構成を説明するための図である。 図１に示したＣＣＤカメラに搭載されるセンサセルアレイを示した図である。 図１に示したＣＣＤカメラによって撮影された画像の画像データの、オレンジ色を構成するＲ，Ｇ，Ｂの各色成分の画像データを示した図である。 図１に示した正規化部によって正規化された輝度信号レベルを説明するための図である。 図１に示した画像合成部によって合成された合成画像データを示した図である。 本発明の実施形態１の画像処理装置で行われる画像処理用プログラムを説明するためのフローチャートである。 本発明の実施形態２の画像処理装置の構成を説明するための図である。 本発明の実施形態２の画像合成部によって合成された画像合成データの混合割合を示した図である。 一般的に合成画像において彩度が低下することを説明するための図である。

符号の説明

１０１ ＣＣＤカメラ、 １０３ａ，１０３ｂ，１０３ｃ メモリ、１０２ スイッチ、１０４ 正規化部、１０５ 信号信頼度評価部、１０６ 画像合成部、１０７ 表示部、１０８ 画像保存部、２０１ センサセルアレイ、２０１ａ ＣＣＤ、７０１ 重み付け部

Claims (5)

1. 異なる露光量で撮影された複数の画像の画像データを合成し、合成画像データを生成する画像処理装置であって、
   異なる露光量で撮影された複数の画像の画像データを取得する画像データ取得手段と、
   前記画像データ取得手段によって取得された複数の画像データの各々が、少なくとも、第１色成分画像データと、第２色成分画像データと、第３色成分画像データと、を含み、前記画像データ取得手段によって取得された露光量の異なる画像データの信頼性を、前記第１色成分画像データ、前記第２色成分画像データ、前記第３色成分画像データごとに評価する信頼性評価手段と、
   前記信頼性評価手段による評価の結果得られた信頼性に基づいて、露光量の異なる前記複数の画像の画像データのいずれかから、少なくとも前記第１色成分画像データと、前記第２色成分画像データと、前記第３色成分画像データと、を選択する色選択手段と、
   前記画像データのうちの前記色選択手段によって選択された前記第１色成分画像データと、前記第２色成分画像データと、前記第３色成分画像データと、を合成して前記合成画像データを生成する合成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記色選択手段が、露光量が異なる複数の画像データの各々から、同一の色成分の画像データを選択し、
   前記色選択手段によって選択された同一の色成分の複数の画像データの混合割合を決定する混合割合決定手段をさらに備え、
   前記合成手段が、前記混合割合決定手段によって決定された混合割合にしたがって同一の色成分の複数の画像データを合成することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像データ取得手段によって取得された少なくとも、前記第１色成分画像データと、前記第２色成分画像データと、前記第３色成分画像データと、を正規化する正規化手段をさらに備え、前記合成手段は、前記正規化手段によって正規化された前記第１色成分画像データと、前記第２色成分画像データと、前記第３色成分画像データと、を合成することを特徴とする請求項１または２に記載の画像処理装置。
4. 異なる露光量で撮影された複数の画像の画像データを合成し、合成画像データを生成する画像処理方法であって、
   異なる露光量で撮影された複数の画像の画像データを取得する画像データ取得ステップと、
   前記画像データ取得ステップにおいて取得された複数の画像データの各々が、少なくとも、第１色成分画像データと、第２色成分画像データと、第３色成分画像データと、を含み、前記画像データ取得ステップにおいて取得された露光量の異なる画像データの信頼性を、前記第１色成分画像データ、前記第２色成分画像データ、前記第３色成分画像データごとに評価する信頼性評価ステップと、
   前記信頼性評価ステップにおける評価の結果得られた信頼性に基づいて、露光量の異なる前記複数の画像データのいずれかから、少なくとも前記第１色成分画像データと、前記第２色成分画像データと、前記第３色成分画像データと、を選択する色選択ステップと、
   前記画像データのうちの前記色選択ステップにおいて選択された前記第１色成分画像データと、前記第２色成分画像データと、前記第３色成分画像データと、を合成して前記合成画像データを生成する合成ステップと、
   を含むことを特徴とする画像処理方法。
5. 異なる露光量で撮影された複数の画像の画像データを合成し、合成画像データを生成する画像処理をコンピュータに実行させるための画像処理用プログラムであって、
   コンピュータに、
   異なる露光量で撮影された複数の画像の画像データを取得する画像データ取得機能と、
   前記画像データ取得機能によって取得された複数の画像データの各々が、少なくとも、第１色成分画像データと、第２色成分画像データと、第３色成分画像データと、を含み、前記画像データ取得機能によって取得された露光量の異なる画像データの信頼性を、第１色成分画像データ、前記第２色成分画像データ、前記第３色成分画像データごとに評価する信頼性評価機能と、
   前記信頼性評価機能による評価の結果得られた信頼性に基づいて、露光量の異なる前記複数の画像の画像データのいずれかから、少なくとも前記第１色成分画像データと、前記第２色成分画像データと、前記第３色成分画像データと、を選択する色選択機能と、
   前記画像データのうちの前記色選択機能によって選択された前記第１色成分画像データと、前記第２色成分画像データと、前記第３色成分画像データと、を合成して前記合成画像データを生成する合成機能と、を実現させることを特徴とする画像処理用プログラム。

Images