JP3817635B2 - Color image processing apparatus and processing method - Google Patents
Color image processing apparatus and processing method Download PDFInfo
- Publication number
- JP3817635B2 JP3817635B2 JP2003053772A JP2003053772A JP3817635B2 JP 3817635 B2 JP3817635 B2 JP 3817635B2 JP 2003053772 A JP2003053772 A JP 2003053772A JP 2003053772 A JP2003053772 A JP 2003053772A JP 3817635 B2 JP3817635 B2 JP 3817635B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- brightness
- color
- determination table
- ratio determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 50
- 238000003672 processing method Methods 0.000 title claims description 6
- 239000000203 mixture Substances 0.000 claims description 144
- 238000003384 imaging method Methods 0.000 claims description 39
- 230000015572 biosynthetic process Effects 0.000 claims description 34
- 238000003786 synthesis reaction Methods 0.000 claims description 34
- 230000002194 synthesizing effect Effects 0.000 claims description 24
- 239000002131 composite material Substances 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 description 32
- 238000000034 method Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 11
- 230000002123 temporal effect Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 4
- 238000002156 mixing Methods 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、カラー静止画像およびカラー動画像を高画質で撮像する装置に関し、特に、撮像素子のダイナミックレンジが狭いために発生する潰れおよび白とびの抑制が可能なカラー画像処理装置および処理方法に関するものである。
【０００２】
【従来の技術】
逆光下において、明るい景色をバックに記念撮影を行うと、人物が黒く潰れて撮影されてしまうことが多い。近年、デジタルスチルカメラやデジタルビデオカメラには逆光防止機能が備わっているが、それを用いて撮影すると、人物は鮮明に写すことが出来ても、バックの景色が飽和して白くとんで撮影されてしまう。
【０００３】
このように、明暗の混在する状況において、潰れや白とびを起こすことなく、撮影対象全体を鮮明に撮影することは困難であった。その原因は、撮像装置のダイナミックレンジの狭さにある。一般に実際の撮影対象に比べて、撮像装置のダイナミックレンジは狭いため、撮影対象の非常に明るい部分や暗い部分の微細な明度差は圧縮され、細部情報が失われる。そのため、潰れや白とびが発生する。近年広く普及しているデジタルスチルカメラやデジタルビデオカメラにおいては撮像素子の小型化に伴い、さらにこの問題が深刻である。
【０００４】
従来、上記のような細部情報の消失を低減するために、種々の技術が提案されている。特許文献１には、１つのＣＣＤ撮像素子からの画像データを用いて、補正が必要な領域の判別および適切な補正度合を算出し、局所的な画質改善を全自動で行うことを可能にしたカラー画像処理方法および処理装置が開示されている。また、特許文献２または３には、それぞれ複数枚または１枚のＣＣＤ撮像素子を用いて１回の撮像で露光状態の異なる複数の画像データを取得し、それらの画像データを合成することにより、ダイナミックレンジの広い画像を得ることを可能にしたデジタルスチルカメラが記載されている。さらに、印刷業界では、多重露光によって印刷物の品質を高める技術が以前から採用されている。
【０００５】
【特許文献１】
特開2002-140700号公報
【特許文献２】
特開平9-275527号公報
【特許文献３】
特開平11-317905号公報
【０００６】
【発明が解決しようとする課題】
特許文献１に記載されているような１つのＣＣＤ撮像素子からの画像データを用いて画質を改善する手法に関しては、撮像後に画質改善処理を加えるため、撮像時に黒く潰れきっている部分や飽和を起こしている部分の画質を改善することはできない。また、特許文献２および３に記載されているようなＣＣＤ撮像素子からの露光状態の異なる入力画像データを合成する手法に関しては、すべてのデータに関して、各濃度に対して一定の合成比率で複数の入力画像データを合成しているため、各部分において最適な合成が行えない場合がある。
【０００７】
本発明は、このような問題点を解決するためになされたもので、画像の潰れおよび白とびを抑制し、かつ各部分が最適な明度を有する画像を得ることの出来るカラー画像処理装置および処理方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明に係るカラー画像処理装置は、被写体を撮像して生成した露出オーバーの第１のカラー原色静止画像データから第１の明度画像データを生成する手段と、前記被写体と実質的に同一の被写体を撮像して生成した露出アンダーの第２のカラー原色静止画像データから第２の明度画像データを生成する手段と、前記第１の明度画像データを複数の領域にブロック単位で量子化して分割する手段と、前記第２の明度画像データを複数の領域にブロック単位で量子化して分割する手段と、前記第１の明度画像データの分割された領域毎に濃度ヒストグラムのエントロピー値を算出する手段と、前記第２の明度画像データの分割された領域毎に濃度ヒストグラムのエントロピー値を算出する手段と、前記第１の明度画像データと前記第２の明度画像データとを合成するための合成比率決定テーブルであって、明度が相対的に低い程前記第１の明度画像データの比率が相対的に高くなり、明度が相対的に高い程前記第２の明度画像データの比率が相対的に高くなり、かつ明度の最低値では前記第２の明度画像データの分割された領域毎の濃度ヒストグラムのエントロピー値で持ち上げ、明度の最高値では前記第１の明度画像データの分割された領域毎の濃度ヒストグラムのエントロピー値で持ち上げた合成比率決定テーブルを作成する手段と、前記合成比率決定テーブルを用いて前記第１の明度画像データと前記第２の明度画像データとを合成する手段とを具備することを特徴とする。このように構成したことにより、画像の視認性の指標となる前記領域毎の濃度ヒストグラムのエントロピー値を基に露出オーバーの画像データと露出アンダーの画像データとの合成比率を変えることで、画像内の部分部分に応じて露光状態の異なる２つの入力画像データの合成比率を最適な値に設定し、画像内のどの部分も犠牲にせず、最適な合成結果が得られる。
【０００９】
また、本発明に係るカラー画像処理装置は、被写体を撮像して生成した露出オーバーの第１のカラー原色動画像データから第１の明度画像データを生成する手段と、前記被写体と実質的に同一の被写体を撮像して生成した露出アンダーの第２のカラー原色動画像データから第２の明度画像データを生成する手段と、予め定められたフレーム毎の前記第１の明度画像データを複数の領域にブロック単位で量子化して分割する手段と、予め定められたフレーム毎の前記第２の明度画像データを複数の領域にブロック単位で量子化して分割する手段と、前記第１の明度画像データの分割された領域毎に濃度ヒストグラムのエントロピー値を算出する手段と、前記第２の明度画像データの分割された領域毎に濃度ヒストグラムのエントロピー値を算出する手段と、前記第１の明度画像データと前記第２の明度画像データとを合成するための合成比率決定テーブルであって、明度が相対的に低い程前記第１の明度画像データの比率が相対的に高くなり、明度が相対的に高い程前記第２の明度画像データの比率が相対的に高くなり、かつ明度の最低値では前記第２の明度画像データの分割された領域毎の濃度ヒストグラムのエントロピー値で持ち上げ、明度の最高値では前記第１の明度画像データの分割された領域毎の濃度ヒストグラムのエントロピー値で持ち上げた合成比率決定テーブルを作成する手段と、前記作成された合成比率決定テーブルを過去の合成比率決定テーブルと時間的に内挿する手段と、前記時間的に内挿された合成比率決定テーブルを用いて前記第１の明度画像データと前記第２の明度画像データとを合成する手段とを具備することを特徴とする。このように構成したことにより、画像の視認性の指標となる前記領域毎の濃度ヒストグラムのエントロピー値を基に露出オーバーの画像データと露出アンダーの画像データとの合成比率を変えることで、画像の部分部分に応じて露光状態の異なる２つの入力画像データの合成比率を最適な値に設定し、画像のどの部分も犠牲にせず、最適な合成結果が得られ、さらに過去の合成比率と内挿することで、動画像のフレーム間で合成比率が大きく変化することを抑制し、フリッカの発生を抑えることが出来る。
【００１０】
さらに、本発明のカラー画像処理装置は、前記合成比率決定テーブルにおける隣接するブロックの合成比率を内挿する手段を具備することを特徴とする。このように構成したことにより、局所的に明度が大きく異なる部分の発生を防止することが出来る。
【００１１】
そして、本発明のカラー画像処理装置は、予め定められたフレームの内、隣り合うフレームの前記合成比率決定テーブルにおける合成比率を内挿する手段を具備することを特徴とする。このように構成したことにより、動画像データの全てのフレームに対して領域分割およびエントロピー値算出を行わずに、全てのフレームの合成比率決定テーブルを作成することが出来る。
【００１２】
また、本発明のカラー画像処理装置は、領域の境界のブロックの合成比率決定テーブルにおける合成比率を内挿する手段を具備することを特徴とする。このように構成したことにより、領域の境界に近づくにつれて互いの合成比率を近づけ、ブロックノイズの発生を抑制することが出来る。
【００１３】
さらに、本発明のカラー画像処理装置は、前記第１のカラー原色静止画像データから第１の色画像データを生成する手段と、前記第２のカラー原色静止画像データから第２の色画像データを生成する手段と、前記合成比率決定テーブルを用いて前記第１の色画像データと前記第２の色画像データとを合成する手段とを具備することを特徴とする。このように構成したことにより、色画像データに対する専用の合成比率決定テーブルを作成する場合に比較して、カラー静止画像を処理対象とするカラー画像処理装置の構成を簡単にすることが出来る。
【００１４】
そして、本発明のカラー画像処理装置は、前記第１のカラー原色動画像データから第１の色画像データを生成する手段と、前記第２のカラー原色動画像データから第２の色画像データを生成する手段と、前記合成比率決定テーブルを用いて前記第１の色画像データと前記第２の色画像データとを合成する手段とを具備することを特徴とする。このように構成したことにより、色画像データに対する専用の合成比率決定テーブルを作成する場合に比較して、カラー動画像を処理対象とするカラー画像処理装置の構成を簡単にすることが出来る。
【００１５】
また、本発明のカラー画像処理装置は、前記第１のカラー原色静止画像データから第１の色画像データを生成する手段と、前記第２のカラー原色静止画像データから第２の色画像データを生成する手段と、前記合成比率決定テーブルの合成比率を前記第１の色画像データの彩度および前記第２の色画像データの彩度を考慮して変更した合成比率により、前記第１の色画像データと前記第２の色画像データとを合成する手段とを具備することを特徴とする。このように構成したことにより、露出アンダーの画像データと露出オーバーの画像データとが画像の視認性および色の鮮やかさを考慮した最適な比率で合成されたカラー静止画像を得ることが出来る。
【００１６】
さらに、本発明のカラー画像処理装置は、前記第１のカラー原色動画像データから第１の色画像データを生成する手段と、前記第２のカラー原色動画像データから第２の色画像データを生成する手段と、前記合成比率決定テーブルの合成比率を前記第１の色画像データの彩度および前記第２の色画像データの彩度を考慮して変更した合成比率により、前記第１の色画像データと前記第２の色画像データとを合成する手段とを具備することを特徴とする。このように構成したことにより、露出アンダーの画像データと露出オーバーの画像データとが画像の視認性および色の鮮やかさを考慮した最適な比率で合成されたカラー動画像を得ることが出来る。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
（第１の実施の形態）
図１は本発明の第１の実施の形態のカラー画像処理装置の構成を示すブロック図であり、図２はその装置における処理の流れの概要を示すフロー図である。本実施の形態のカラー画像処理装置はカラー静止画像を処理対象とする。
【００１８】
図１に示すように、本実施の形態のカラー画像処理装置は、第１の撮像手段11、第１の色形式変換手段12、第１の領域分割手段13、第１のエントロピー値算出手段14、第２の撮像手段15、第２の色形式変換手段16、第２の領域分割手段17、第２のエントロピー値算出手段18、合成比率決定テーブル作成手段19、合成比率空間的内挿手段２０、Ｙ合成手段21、Ｃｒ合成手段22、Ｃｂ合成手段23、および第３の色形式変換手段24を具備している。なお、このカラー画像処理装置において、第１の撮像手段11および第２の撮像手段15以外の部分はコンピュータのアプリケーションソフトとして構成しても良いし、ハードウェアとして構成しても良い。
【００１９】
第１の撮像手段11および第２の撮像手段15は、ＣＣＤなどの撮像素子を備えており、実質的に同一の被写体を同時に撮像することが出来るように、カラー画像処理装置の筐体（図示せず）に位置決めされ固定されている。また、第１の撮像手段11および第２の撮像手段15の光路の前方には、ハーフミラー（図示せず）が配置され、さらにその前方にはレンズが配置されている。そして、レンズを透過した被写体からの光線はハーフミラーで二分され、第１の撮像手段11および第２の撮像手段15に同時に入力される。第１の撮像手段11および第２の撮像手段15は、図２のステップＳ１に示されているように、ＲＧＢ静止画像データを取得する。ここで、第１の撮像手段11は露出オーバーの画像データを取得し、第２の撮像手段15は露出アンダーの画像データを取得する。
【００２０】
第１の色形式変換手段12は、第１の撮像手段11で取得されたＲＧＢ静止画像データ（Ｒ１，Ｇ１，Ｂ１）をＹＣｒＣｂ静止画像データ（Ｙ１，Ｃｒ１，Ｃｂ１）に変換する。すなわち、三原色（Ｒ，Ｇ，Ｂ）成分からなるカラー原色画像データを１つの明度画像データ成分（Ｙ）および二つの色画像データ成分（Ｃｒ，Ｃｂ）からなる明度および色成分画像データに変換する。同様に、第２の色形式変換手段16は第２の撮像手段15で取得されたＲＧＢ静止画像データ（Ｒ２，Ｇ２，Ｂ２）をＹＣｒＣｂ静止画像データ（Ｙ２，Ｃｒ２，Ｃｂ２）に変換する。ここで、第１の色形式変換手段12および第２の色形式変換手段16における変換アルゴリズムを下記式［１］〜［３］に示す。式［１］により、図２のステップＳ２に示されている明度画像データ作成が行われる。
Ｙ＝0.29900×Ｒ＋0.58700×Ｇ＋0.11400×Ｂ …式［１］
Ｃｂ＝−0.16874×Ｒ−0.33126×Ｇ＋0.50000×Ｂ …式［２］
Ｃｒ＝0.50000×Ｒ−0.41869×Ｇ−0.08131×Ｂ …式［３］
【００２１】
第１の領域分割手段13は、ステップＳ３に示されているように、入力された露出オーバーの明度画像データＹ１に対して領域分割と、分割された領域の境界の空間的量子化とを行う。まず、入力明度画像データＹ１のテクスチャを解析し、この解析結果に基づいて入力画像を複数の領域に分割する。本実施の形態では、下記の式［４］に示すＬＯＧ(Laplacian Of Gaussian)フィルタを入力画像デー タに演算するフィルタリング処理により領域を決定している。図３（ａ）に示す入力画像を領域分割した結果を図３（ｃ）に示す。なお、式［４］において、ｒ2＝ｘ2＋ｙ2である。ＬＯＧフィルタは画像処理の基本アルゴリズムとして周知である（例えば、土屋裕、深田陽司著「画像処理」、pp.68-74（特にpp.73-74）、1990-1-25、（株）コロナ社）から、ここでは詳細な説明は省略する。
【００２２】
【数１】
ここで、テクスチャ解析による領域分割の結果と、人間が同一の画像を見て手動で領域分割した結果とは異なることが多い。よって、上記テクスチャ解析による領域分割の結果をそのまま用いると、両者の結果の異なる部分が人間の目には不自然に感じられる。
【００２４】
そこで、本実施の形態では、画素単位で解析された上記領域分割の結果を、多少の解像度を下げ、量子化している。具体的には、入力画像を正方形ブロックに分割して、図３（ｃ）に示した領域分割の結果と重ね合わせ、領域の境界に該当する正方形ブロックについては、領域の占有率に応じていずれの領域に属するかを決定する。これにより、図３（ｃ）に示した領域分割の結果が同図（ｅ）に示すように量子化される。ここで、例えばアスペクト比が４：３、画素数が１６００×１２００ピクセルの静止画像の横を１６分割、縦を１２分割した場合、正方形ブロックのサイズは１００×１００ピクセルとなる。なお、後述する第２の実施の形態の場合、画素数が７２０×４８０ピクセルの動画像の横を１８分割、縦を１２分割した場合、正方形ブロックのサイズは４０×４０ピクセルとなる。なお、以下の説明では、この正方形ブロックを最小ブロックと呼ぶ。
【００２５】
第２の領域分割手段17は、第１の領域分割手段13と同様に、入力された露出アンダーの明度画像データＹ２に対して領域分割と、分割された領域の境界の空間的量子化とを行う。領域分割および空間的量子化の処理内容は第１の領域分割手段13と同様である。図３（ｂ）に示す入力画像を領域分割した結果を図３（ｄ）に示し、図３（ｄ）に示す領域分割の結果を量子化した結果を同図（ｆ）に示す。
【００２６】
第１の領域分割手段13で空間的に量子化された明度画像データは第１のエントロピー値作成手段14に入力される。第１のエントロピー値作成手段14は、第１の領域分割手段13で分割され量子化された領域毎に濃度ヒストグラムのエントロピー値を下記の式［５］により算出する（ステップＳ４）。同様に、第２の領域分割手段17で空間的に量子化された明度画像データは第２のエントロピー値作成手段18に入力される。第２のエントロピー値作成手段18は、第２の領域分割手段17で分割され量子化された領域毎に濃度ヒストグラムのエントロピー値を下記の式［５］により算出する。
【００２７】
【数２】
式［５］により算出される濃度ヒストグラムのエントロピー値は画像の視認性の良さを表す指標となる。この値は濃度ヒストグラムのばらつき具合を反映している。そして、視認性の良い領域は広範囲にわたって濃度値が存在し、エントロピー値は高くなる。逆に、視認性の悪い領域は狭い範囲に濃度値が集中し、エントロピー値は低くなる。
【００２９】
図３（ｅ）、（ｆ）に示した画像における各領域の濃度ヒストグラムのエントロピー値を正規化し、グレースケールで表したものを図４（ａ）、（ｂ）に示す。この図において、エントロピー値が高い程濃度が低くなっている。図３と図４とを比較すると、視認性の良さが濃度ヒストグラムのエントロピー値に反映されていることが確認出来る。
【００３０】
第１のエントロピー値作成手段14の出力および第２のエントロピー値作成手段18の出力は、合成比率決定テーブル作成手段19に入力される。合成比率決定テーブル作成手段19は、これら２つの入力を用いて合成比率決定テーブルを作成する（ステップＳ５）。合成比率決定テーブルとは、露出アンダーの明度画像データと露出オーバーの明度画像データの各濃度値において、２つの画像データをどのような比率で合成するかを示すテーブルである。ここで、２つの入力画像データの領域分割結果が異なるので、最小ブロックごとに合成比率決定テーブルを持つことになる。
【００３１】
合成比率決定テーブルの作成方法について説明する。まず、画像データの特徴として、露出アンダーの画像データは高輝度付近の表現力が高く、露出オーバーの画像データは低輝度付近の表現力が豊かである。そこで、最も簡単な合成比率決定テーブルとして図５（ａ）に示すものが考えられる。しかし、このままでは画像データ全体に一様な合成処理を加えるだけで、局所性がなく、従来の高画質化手法と大きな違いは見られない。また、全てのデータに対して、最適の合成比率を算出できていないので、合成結果もあまり良いものは得られない。
【００３２】
そこで、本実施の形態では、最小ブロック毎に露出アンダーの画像データのエントロピー値と露出オーバーの画像データのエントロピー値とを用い、各ブロック毎の合成比率決定テーブルを作成する。具体的には、低輝度域での露出アンダーの画像データの合成割合を増加させるために、明度値０の部分を矢印のように露出アンダーの画像データのエントロピー値分だけ持ち上げる。また、高輝度域での露出オーバーの画像データの合成割合を増やすために、明度値２５５の部分を露出オーバーの画像データのエントロピー値分だけ矢印のように持ち上げる （図では押し下げられているが、比率は持ち上げられている）。このように処理した合成比率決定テーブルの例を図５（ｂ）に示す。このような処理を加えることによって、低輝度域でも高輝度域でも適度に両方の画像データを合成出来るようになり、結果的に画像のコントラストを上げることが出来る。そして、この処理を各最小ブロック毎に行うため、部分部分での最適な合成比率決定テーブルを自動的に作成でき、局所性のある処理が行える。
【００３３】
合成比率決定テーブル作成手段19により最小ブロックの合成比率決定テーブルが算出されたが、このままでは、隣り合うテーブルが異なるために、ブロック間の境界部分で不連続性（ブロックノイズ）が生じてしまう。このブロックノイズを除去するために、合成比率空間的内挿手段20により、合成比率決定テーブルの空間的内挿を行う（ステップＳ６）。この空間的内挿は次の２段階の処理からなる。まず、注目ブロックの合成比率決定テーブルを近傍の４つのブロックの合成比率決定テーブルを用いて平均する。画像中の左からＫ番目、上からＬ番目のブロックにおける合成比率決定テーブルをh(K,L)とおき、４つの近傍ブロックの合成比率決定テーブルと平均した合成比率決定テーブルをh'(K,L)とおくと、平均 後の合成比率決定テーブルは次の式［６］で求めることが出来る。
【００３４】
【数３】
次に、h'(K,L)を算出した後、図６に示すように、注目画素の合成比率を、こ の画素が属するブロックＢ１および近傍の三つのブロックＢ２、Ｂ３、Ｂ４のそれぞれの合成比率決定テーブルの合成比率ｈ１、ｈ２、ｈ３、ｈ４を用い、下記の式［７］に基づいて、内挿後の合成比率ｆ（ｘ，ｙ）を算出する。この式［７］において、（ｘ，ｙ）は注目画素のｘ−ｙ直交座標における位置である。つまり、前記合成比率ｈ１、ｈ２、ｈ３、ｈ４を、四つのブロックＢ１、Ｂ２、Ｂ３、Ｂ４の中心から注目画素までの距離に応じて重み付けする。この内挿処理により、領域の境界に近づくにつれて互いの合成比率を近づけ、ブロックノイズの発生を抑制することが出来る。
【００３６】
【数４】
このようにして合成比率空間的内挿手段20で内挿された合成比率決定テーブルを用いて、露出オーバーおよび露出アンダーの入力画像データを合成する。この段階では、各ピクセルレベルで合成比率決定テーブルを持っていることになる。ここで、合成を行う前に、露出アンダーの画像データの明度値または露出オーバーの画像データの明度値のどちらを合成比率決定テーブルに使用するかが問題になる。露出アンダーの画像データの明度値を用いれば、低輝度の部分は良く見えるが、高輝度の部分はあまり良くない。逆に、露出オーバーの画像データの明度値を用いれば、逆の現象が起きてしまう。
【００３８】
そこで、まず、露出アンダーの画像データの明度値を用いて露出アンダーの画像データの合成割合を求める。次に、露出オーバーの画像データの明度値を用いて露出オーバーの画像データの合成割合を求める。その様子を図７に示す。図７において、下側の台形は露出アンダーの画像データの合成比率を示し、上側の台形は露出オーバーの画像データの合成比率を示す。その２つの合成比率を１００％に正規化し、２つの入力画像データの合成比率を決定する。そして、決定した合成比率を用いて２つの入力画像データを合成する。例えば図７において、合成しようとする画素の露出アンダーの画像データの明度値がｕ１、合成比率がｐ％であり、露出オーバーの画像データの明度値がｕ２、合成比率がｑ％であったとすると、このままではｐ＋ｑが１００％にならないので、露出アンダーの画像データの合成比率をｐ／（ｐ＋ｑ）×１００％とし、露出オーバーの画像データの合成比率をｑ／（ｐ＋ｑ）×１００％とする。この合成比率を用いて、Ｙ合成手段21、Ｃｒ合成手段22、およびＣｂ合成手段23において、それぞれの露出アンダーの画像データであるＹ１、Ｃｒ１、およびＣｂ１と、それぞれの露出オーバーの画像データであるＹ２、Ｃｒ２、およびＣｂ２とを合成し、明度画像データＹ３、コンポーネントカラー画像データＣｒ３およびＣｂ３を得る。このようにして、Ｙ合成手段21により、ステップＳ７の明度値合成が行われる。
【００３９】
Ｙ合成手段21、Ｃｒ合成手段22、およびＣｂ合成手段23の出力は、第３の色形式変換手段24に入力され、ＲＧＢ画像データ（Ｒ３，Ｇ３，Ｂ３）に戻される （ステップＳ８）。ここで、第２の色形式変換手段24における変換アルゴリズムを下記式［８］〜［１０］に示す。
Ｒ３＝1.00000×Ｙ３＋1.40200×Ｃｒ３ …式［８］
Ｇ３＝1.00000×Ｙ３−0.34414×Ｃｂ３−0.71414×Ｃｒ３ …式［９］
Ｂ３＝1.00000×Ｙ３＋1.77200×Ｃｂ３ …式［１０］
【００４０】
また、以上の説明では、第１の色形式変換手段12および第２の色形式変換手段16は、ＲＧＢ原色カラー画像データをＹ／Ｃｂ／Ｃｒに変換したが、他の変換アルゴリズム、例えば円筒座標系で規格化されたＨ（Hue:色相）／Ｓ（Saturation:彩度）／Ｉ（Intensity:明度）に変換しても良い。
【００４１】
さらに、以上の説明では、明度画像データＹから作成した合成比率決定テーブルを用いてＣｒ合成手段22およびＣｂ合成手段23の合成比率を決定する例を説明した。このように、明度画像データＹから作成した合成比率決定テーブルを色画像データであるＣrおよびＣｂについて共用することにより、ＣrおよびＣｂに対しても合成比率決定テーブルを作成する場合に比較して装置の構成を簡単にすることが出来るという利点がある。
【００４２】
しかし、明度画像データＹから作成した合成比率決定テーブルは画像の視認性を考慮して決定したものであるため、色画像データであるＣrおよびＣｂについては、色の鮮やかさを示す彩度も考慮して合成比率を決定したほうが良好な合成結果が得られる。以下、具体例を説明する。まず彩度Ｓａは下記の式［１１］より算出する。
【００４３】
【数５】
ある画素のＣrおよびＣｂの合成処理を行う場合、この画素のＹに対する合成比と彩度Ｓａとを用いて、ＣrおよびＣｂに対する露出アンダーの画像データと露出オーバーの画像データとの合成比を定める。Ｙに対する露出アンダーの画像データと露出オーバーの画像データとの合成比をＧu：Ｇoとすると、ＣrおよびＣｂに対する露出アンダーの画像データと露出オーバーの画像データとの合成比は、下記の式［１２］となる。
【００４５】
Ｇu×Ｓau：Ｇo×Ｓao …式［１２］
【００４６】
この式［１２］において、Ｓauは露出アンダーの画像データの彩度であり、Ｓaoは露出オーバーの画像データの彩度である。図７を参照しながら説明したように、Ｇu：Ｇoはｐ：ｑであるから、式［１２］は下記の式［１２］のように書き換えることが出来る。
【００４７】
ｐ×Ｓau：ｑ×Ｓao …式［１３］
【００４８】
この式［１３］から、ＣrおよびＣｂに対する合成比は、Ｙに対する合成比に彩度を乗算した値であることが分かる。このように処理することで、視認性および色の鮮やかさを考慮した合成が行われる。回路構成の一例は、図１において合成比率空間的内挿手段20からＣｒ合成手段22およびＣｂ合成手段23に入力されるデータであるＹに対する露出アンダーの画像データの合成比率にＳauを乗算し、露出オーバーの画像データの合成比率にＳaoを乗算するように構成することで実現出来る。なお、式［１２］または［１３］のアルゴリズムではなく、露出オーバーの画像データと露出アンダーの画像データの内、彩度の高い方のＣｂおよびＣｒを用いるように構成してもかまわない。また、▲１▼露出オーバーの画像データまたは露出アンダーの画像データのどちらかのＣｂおよびＣｒを用いる、▲２▼露出オーバーの画像データと露出アンダーの画像データのＣｂの平均値およびＣｒの平均値を用いる、などの変形を行ってもかまわない。
【００４９】
（第２の実施の形態）
図８は本発明の第２の実施の形態のカラー画像処理装置の構成を示すブロック図である。本実施の形態のカラー画像処理装置はカラー動画像を処理対象とする。この図において、図１と同一または対応する構成要素には図１で使用した名称を付した。
【００５０】
図８に示すように、本実施の形態のカラー画像処理装置は、第１の撮像手段31、第１の色形式変換手段32、第１の領域分割手段33、第１のエントロピー値算出手段34、第２の撮像手段35、第２の色形式変換手段36、第２の領域分割手段37、第２のエントロピー値算出手段38、合成比率決定テーブル作成手段39、合成比率ブレンド・時間的内挿手段40、合成比率空間的内挿手段41、Ｙ合成手段42、Ｃｒ合成手段43、Ｃｂ合成手段44、および第３の色形式変換手段45を具備している。
【００５１】
図８において、第１の撮像手段31および第２の撮像手段35は、ＣＣＤなどの撮像素子を備えており、実質的に同一の被写体を同時に撮像することが出来るように、カラー画像処理装置の筐体（図示せず）に位置決めされ固定されている。そして、図９のステップＳ11に示されているように、ＲＧＢ動画像データを取得する。ここで、第１の撮像手段31は露出オーバーの画像データを取得し、第２の撮像手段35は露出アンダーの画像データを取得する。さらに、第１の撮像手段31および第２の撮像手段35は、図９のステップＳ12に示されているように、取得した動画像データをフレーム単位の静止画データに分割して、それぞれ第１の色形式変換手段32および第２の色形式変換手段36へ出力する。
【００５２】
第１の色形式変換手段32は、第１の撮像手段31で取得されたＲＧＢ動画像データ（Ｒ５，Ｇ５，Ｂ５）をＹＣｒＣｂ動画像データ（Ｙ５，Ｃｒ５，Ｃｂ５）に変換する。同様に、第２の色形式変換手段36は第２の撮像手段35で取得されたＲＧＢ動画像データ（Ｒ６，Ｇ６，Ｂ６）をＹＣｒＣｂ動画像データ（Ｙ６，Ｃｒ６，Ｃｂ６）に変換する。第１の色形式変換手段32および第２の色形式変換手段36における変換アルゴリズムは式［１］〜［３］である。式［１］により、図９のステップＳ13に示されている明度画像データ作成が行われる。さらに、第１の色形式変換手段32は、複数フレーム毎の１フレームの明度画像データＹ５ｉを抽出して第１の領域分割手段33に出力する。以下、抽出されたフレームを代表フレームと呼ぶ。同様に、第２の色形式変換手段36は、代表フレームの明度画像データＹ６ｉを第２の領域分割手段37に出力する。
【００５３】
第１の領域分割手段33、第１のエントロピー値算出手段34、第２の領域分割手段37、第２のエントロピー値算出手段38、および合成比率決定テーブル作成手段39の各々における処理は、図９のステップＳ14〜Ｓ16に示されているものである。そして、これらの処理は、第１の実施の形態における対応する処理が静止画の明度画像データＹ１，Ｙ２を対象とするのに対し、第２の実施の形態は代表フレームの明度画像データＹ５ｉ，Ｙ６ｉを対象とするものである点以外は、基本的に同じであるため、説明を省略する。
【００５４】
合成比率決定テーブル作成手段39で作成される合成比率決定テーブルは、合成比率ブレンド・時間的内挿手段40に入力される。合成比率ブレンド・時間的内挿手段40は、入力される合成比率決定テーブルを過去の代表フレームの合成比率決定テーブルとブレンドし、さらに時間的内挿を行う（ステップＳ17）。
【００５５】
合成比率ブレンド・時間的内挿手段40は、まず合成比率決定テーブル作成手段39で作成された合成比率決定テーブルに対して、過去の代表フレームについて合成比率決定テーブル作成手段39で作成された合成比率決定テーブルを所定の割合でブレンドして、新たな合成比率決定テーブルを作成する。ここで、ｎ番目（ただし、ｎは２以上の整数）の代表フレームについて合成比率ブレンド・時間的内挿手段40に入力される合成比率決定テーブルをＨ(n)、ブレンドされた合成比率決定テーブルをＨ'(n)とすると、下記の式［１４］および［１５］の関係が成立する。
【００５６】
Ｈ'(n)＝p・Ｈ'(n-1)+(1-p)・Ｈ(n) …式［１４］
【００５７】
Ｈ'(1)＝Ｈ(1) …式［１５］
【００５８】
この式［１４］において、ｐ（０≦ｐ≦１）は、過去の濃度変換曲線の重み付け係数である。図１０は代表フレームを４フレーム毎にした場合を例示している。なお、図１０では便宜上、Ｈ'(n)を作成する処理のみ示したが、Ｈ'(n+1)についても同様に処理されることは言うまでもない。
【００５９】
Ｈ'(n)の導入により、代表フレーム間において合成比率決定テーブルが大きく変化することが抑制され、結果としてフリッカの発生を防ぐことが出来る。なお、ここでは、Ｈ'(n)を生成する際に、一つ前の代表フレームの合成比率決定テーブルＨ'(n-1)のみをブレンドしているが、さらに二つ前の代表フレームＨ'(n-2)や、それ以前の代表フレームをブレンドしても良い。
【００６０】
次に、合成比率ブレンド・時間的内挿手段40は、ブレンドされた合成比率決定テーブルをＨ'(n)を時間軸方向に内挿する。時間軸方向の内挿とは、代表フレームにおける合成比率決定テーブルを基に代表フレーム以外のフレームの合成比率決定テーブルを生成する処理である。ここで、代表フレーム間隔をｒ枚とし、ｎ番目の代表フレームからｘ枚（ｘ＜ｒ）後のフレームの合成比率決定テーブルをＨ'(n,x)とすると、Ｈ'(n,x)は下記の式［１６］で表される。
【００６１】
Ｈ'(n,x)＝｛(r-x)/r｝・Ｈ'(n)+(x/r)・Ｈ'(n+1) …式［１６］
【００６２】
つまり、隣り合う２つの代表フレームからのフレーム枚数に応じて、それら２つの代表フレームの合成比率決定テーブルの加重平均をとることで、それら２つの代表フレームの合成比率決定テーブルを内挿し、各フレームの合成比率決定テーブルを決定する。そして、このようにして得られたＨ'(n,x)をｎ番目の代表フレームと（ｎ＋１）番目の代表フレームの間のフレームに適用される合成比率決定テーブルとして採用する。図１１は代表フレームを４フレーム毎にした場合を例示している。
【００６３】
Ｈ'(n,x)を採用することにより、全てのフレームについて合成比率決定テーブルＨ'(n)を作成することなく、全てのフレームについてフリッカの発生を防ぐことが可能な画像合成を行うことが出来る。
【００６４】
合成比率ブレンド・時間的内挿手段40の出力は合成比率空間的内挿手段41に入力される。合成比率空間的内挿手段41は、第１の実施の形態における合成比率空間的内挿手段20と同様、ブロックノイズを除去するために、合成比率決定テーブルの空間的内挿を行う（ステップＳ18）。
【００６５】
このようにして合成比率空間的内挿手段41で内挿された合成比率決定テーブルを用いて、Ｙ合成手段42、Ｃｒ合成手段43、およびＣｂ合成手段44において露出オーバーおよび露出アンダーの入力画像データを合成し、合成出力Ｙ７、Ｃｒ７、およびＣｂ７を得る。これらの手段における合成処理は第１の実施の形態と同様であるから、説明を省略する。Ｃｒ合成手段43およびＣｂ合成手段44においては、合成比率空間的内挿手段41で内挿された合成比率決定テーブルを用いる代わりに、視認性および色の鮮やかさを考慮した合成を行うように構成しても良いことは言うまでもない。このようにして、Ｙ合成手段42により、ステップＳ19の明度値合成が行われる。
【００６６】
Ｙ合成手段42、Ｃｒ合成手段43、およびＣｂ合成手段44の合成出力Ｙ７、Ｃｒ７、およびＣｂ７は、第３の色形式変換手段45に入力され、ＲＧＢ画像データ （Ｒ７，Ｇ７，Ｂ７）に戻される（ステップＳ20）。第３の色形式変換手段45における変換アルゴリズムは式［８］〜［１０］である。第３の色形式変換手段45は、さらにＲＧＢ画像データ（Ｒ７，Ｇ７，Ｂ７）を動画像フレームに合成し、出力する（ステップＳ21）。
【００６７】
なお、以上の第１の実施の形態および第２の実施の形態の説明では、露出オーバーの画像データを第１の撮像手段11により取得し、露出アンダーの画像データを第２の撮像手段15により取得するものとしたが、第１の実施の形態および第２の実施の形態において露出オーバーの画像データおよび露出アンダーの画像データを共通の１つの撮像手段により取得するように変形することも可能である。このような変形例としては、全画素読み出しＣＣＤを用いる例と、高速シャッターを用いる例と、各画素毎にダイナミックレンジの異なる受光素子を配置したＣＣＤを用いる例等がある。以下、全画素読み出しＣＣＤを用いる例および高速シャッターを用いる例について簡単に説明する。
【００６８】
通常、動画像の場合、１／３０秒で１フレームの画像データを取得している。その場合、最初の１／６０秒で奇数フィールドを撮像し、残りの１／６０秒で偶数フィールドを撮像し、２つのフィールドを合わせて１フレームとしている。全画素読み出しＣＣＤでは、奇数フィールドの画像データおよび偶数フィールドの画像データを同時に取得することができる。そこで、露出オーバーの奇数フィールドおよび偶数フィールドの画像データを最初の１／６０秒で取得し、露出オーバーの奇数フィールドおよび偶数フィールドの画像データを残りの１／６０秒で取得することにより、１枚のＣＣＤで露出オーバーの画像データおよび露出アンダーの画像データを取得することができる。
【００６９】
高速シャッターを用いる場合、例えば１／３０秒間に４回シャッターを切るようにし、１／１２０秒毎に順次、露出アンダーの奇数フィールド、露出アンダーの偶数フィールド、露出オーバーの奇数フィールド、露出オーバーの偶数フィールドを撮像することにより、１枚のＣＣＤで露出オーバーの画像データおよび露出アンダーの画像データ取得することができる。
【００７０】
また、露出オーバーの画像データおよび露出アンダーの画像データを共通の１つの撮像手段により取得し、さらに色形式変換手段からエントロピー値算出手段までを各々１つずつ設け、露出オーバーの画像データおよび露出アンダーの画像データについて時分割処理を行うように構成しても良い。
【００７１】
【発明の効果】
以上詳細に説明したように、本発明のカラー画像処理装置および処理方法によれば、露出アンダーの画像データと露出オーバーの画像データの各々の部分部分の視認性を自動的に判断し、局所的に異なる合成比率を自動的に決定して２つの入力画像データを全自動で最適に合成することにより、画像の潰れおよび白とびを抑制し、かつ各部分が最適な明度を有するカラー静止画像およびカラー動画像を得ることが出来る。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態のカラー画像処理装置の構成を示すブロック図、
【図２】本発明の第１の実施の形態におけるカラー画像処理の流れの概要を示すフロー図、
【図３】本発明の第１の実施の形態における領域分割手段の動作を説明するための図、
【図４】本発明の第１の実施の形態におけるエントロピー算出手段の動作を説明するための図、
【図５】本発明の第１の実施の形態における合成比率決定テーブルを示す図、
【図６】本発明の第１の実施の形態における合成比率決定テーブルの空間的内挿を説明するための図、
【図７】本発明の第１の実施の形態における画像合成比率を説明するための図、
【図８】本発明の第２の実施の形態のカラー画像処理装置の構成を示すブロック図、
【図９】本発明の第２の実施の形態におけるカラー画像処理の流れの概要を示すフロー図、
【図１０】本発明の第２の実施の形態における合成比率決定テーブルのブレンドを説明するための図、
【図１１】本発明の第２の実施の形態における合成比率決定テーブルの時間的内挿を説明するための図である。
【符号の説明】
11、31 第１の撮像手段
12、32 第１の色形式変換手段
13、33 第１の領域分割手段
14、44 第１のエントロピー値算出手段
15、35 第２の撮像手段
16、36 第２の色形式変換手段
17、37 第２の領域分割手段
18、38 第２のエントロピー値算出手段
19、39 合成比率決定テーブル作成手段
20、41 合成比率空間的内挿手段
21、42 Ｙ合成手段
22、43 Ｃｒ合成手段
23、44 Ｃｂ合成手段
24、45 第３の色形式変換手段
40 合成比率ブレンド・時間的内挿手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an apparatus that captures color still images and color moving images with high image quality, and more particularly, to a color image processing apparatus and processing method capable of suppressing collapse and overexposure that occur due to a narrow dynamic range of an image sensor. Is.
[0002]
[Prior art]
When taking a commemorative photo with a bright scene in the background, the person is often crushed black. In recent years, digital still cameras and digital video cameras have a back light prevention function, but if you shoot with them, people can shoot vividly, but the background scenery is saturated and the white background is saturated. End up.
[0003]
In this way, in a situation where light and dark are mixed, it is difficult to capture the entire subject to be captured clearly without causing collapse or overexposure. The cause is the narrow dynamic range of the imaging apparatus. In general, since the dynamic range of the imaging apparatus is narrower than that of an actual photographing target, a minute brightness difference between a very bright part and a dark part of the photographing target is compressed, and detailed information is lost. Therefore, crushing and whiteout occur. In digital still cameras and digital video cameras that have become widespread in recent years, this problem becomes more serious as the image sensor becomes smaller.
[0004]
Conventionally, various techniques have been proposed in order to reduce the loss of detailed information as described above.
[0005]
[Patent Document 1]
Japanese Patent Laid-Open No. 2002-140700
[Patent Document 2]
JP-A-9-275527
[Patent Document 3]
Japanese Patent Laid-Open No. 11-317905
[0006]
[Problems to be solved by the invention]
With respect to a technique for improving image quality using image data from a single CCD image sensor as described in
[0007]
The present invention has been made to solve such problems, and is a color image processing apparatus and process capable of suppressing image collapse and overexposure and obtaining an image having optimum brightness in each portion. It aims to provide a method.
[0008]
[Means for Solving the Problems]
The color image processing apparatus according to the present invention includes means for generating first lightness image data from overexposed first color primary color still image data generated by imaging a subject, and a subject substantially identical to the subject. Means for generating second brightness image data from the undercolored second color primary color still image data generated by imaging the image, and the first brightness image data is quantized and divided into a plurality of areas in units of blocks. Means, means for quantizing and dividing the second brightness image data into a plurality of areas in units of blocks, and means for calculating an entropy value of a density histogram for each of the divided areas of the first brightness image data; Means for calculating an entropy value of a density histogram for each divided area of the second brightness image data; the first brightness image data and the second brightness image; A composition ratio determination table for compositing data, wherein the ratio of the first brightness image data is relatively higher as the brightness is relatively lower, and the second brightness is higher as the brightness is higher. The ratio of the image data is relatively high, and the lowest brightness value is raised by the entropy value of the density histogram for each divided area of the second brightness image data, and the highest brightness value is the first brightness image. Means for creating a composition ratio determination table lifted by an entropy value of a density histogram for each divided area of the data; and the first brightness image data and the second brightness image data using the composition ratio determination table And a means for synthesizing. With this configuration, the composition ratio of the overexposed image data and the underexposed image data is changed based on the entropy value of the density histogram for each region serving as an index of image visibility. The composition ratio of two input image data having different exposure states is set to an optimum value in accordance with the partial portion, and an optimum composition result can be obtained without sacrificing any portion in the image.
[0009]
In addition, the color image processing apparatus according to the present invention is substantially the same as the subject, and means for generating first brightness image data from overexposed first color primary color moving image data generated by imaging the subject. Means for generating second lightness image data from underexposed second color primary color moving image data generated by picking up an image of a subject, and the first lightness image data for each predetermined frame is a plurality of regions. Means for quantizing and dividing the image data in units of blocks, means for quantizing and dividing the second brightness image data for each predetermined frame into a plurality of areas, and the first brightness image data Means for calculating the entropy value of the density histogram for each divided area, and calculating the entropy value of the density histogram for each divided area of the second brightness image data And a combination ratio determination table for combining the first brightness image data and the second brightness image data, wherein the ratio of the first brightness image data is lower as the brightness is relatively lower. The ratio of the second brightness image data is relatively higher as the brightness is relatively higher and the brightness is relatively higher, and the density of each divided region of the second brightness image data is the lowest brightness value. Means for creating a composition ratio determination table that is lifted by the entropy value of the histogram and lifted by the entropy value of the density histogram for each divided area of the first lightness image data at the highest lightness value, and the created composition ratio Means for temporally interpolating the determination table with the past composite ratio determination table, and the first brightness image data and the previous data using the temporally interpolated composite ratio determination table; Characterized by comprising a means for combining the second luminosity image data. With this configuration, the composition ratio of the overexposed image data and the underexposed image data is changed based on the entropy value of the density histogram for each region serving as an index of image visibility. The composition ratio of two input image data with different exposure states is set to an optimum value according to the partial part, and an optimum composition result can be obtained without sacrificing any part of the image, and the past composition ratio and interpolation can be obtained. By doing so, it is possible to suppress the composition ratio from greatly changing between frames of the moving image, and to suppress the occurrence of flicker.
[0010]
Furthermore, the color image processing apparatus of the present invention is characterized by comprising means for interpolating the composition ratio of adjacent blocks in the composition ratio determination table. With such a configuration, it is possible to prevent the occurrence of a portion where the brightness is greatly different locally.
[0011]
The color image processing apparatus of the present invention is characterized by comprising means for interpolating a composition ratio in the composition ratio determination table of adjacent frames among predetermined frames. With this configuration, it is possible to create a synthesis ratio determination table for all frames without performing region division and entropy value calculation for all frames of moving image data.
[0012]
In addition, the color image processing apparatus of the present invention is characterized by comprising means for interpolating the composition ratio in the composition ratio determination table for the block at the boundary of the region. With this configuration, the composition ratios can be made closer to each other as the region boundary is approached, and the occurrence of block noise can be suppressed.
[0013]
The color image processing apparatus of the present invention further includes means for generating first color image data from the first color primary color still image data, and second color image data from the second color primary color still image data. Generating means; and means for combining the first color image data and the second color image data using the combination ratio determination table. With this configuration, it is possible to simplify the configuration of a color image processing apparatus that processes a color still image as compared with a case where a dedicated composition ratio determination table for color image data is created.
[0014]
The color image processing apparatus according to the present invention further includes means for generating first color image data from the first color primary color moving image data, and second color image data from the second color primary color moving image data. Generating means; and means for combining the first color image data and the second color image data using the combination ratio determination table. With this configuration, it is possible to simplify the configuration of a color image processing apparatus that processes a color moving image as compared with the case of creating a dedicated composition ratio determination table for color image data.
[0015]
The color image processing apparatus according to the present invention further includes means for generating first color image data from the first color primary color still image data, and second color image data from the second color primary color still image data. The first color is generated by means of generating and a composition ratio obtained by changing the composition ratio of the composition ratio determination table in consideration of the saturation of the first color image data and the saturation of the second color image data. And a means for synthesizing the image data and the second color image data. With this configuration, it is possible to obtain a color still image in which underexposed image data and overexposed image data are combined at an optimum ratio in consideration of image visibility and color vividness.
[0016]
The color image processing apparatus of the present invention further includes means for generating first color image data from the first color primary color moving image data, and second color image data from the second color primary color moving image data. The first color is generated by means of generating and a composition ratio obtained by changing the composition ratio of the composition ratio determination table in consideration of the saturation of the first color image data and the saturation of the second color image data. And a means for synthesizing the image data and the second color image data. With this configuration, it is possible to obtain a color moving image in which underexposed image data and overexposed image data are combined at an optimum ratio in consideration of image visibility and color vividness.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(First embodiment)
FIG. 1 is a block diagram showing a configuration of a color image processing apparatus according to a first embodiment of the present invention, and FIG. 2 is a flowchart showing an outline of a processing flow in the apparatus. The color image processing apparatus according to the present embodiment uses a color still image as a processing target.
[0018]
As shown in FIG. 1, the color image processing apparatus of the present embodiment includes a
[0019]
The first image pickup means 11 and the second image pickup means 15 are provided with an image pickup device such as a CCD, and the housing of the color image processing apparatus (see FIG. 5) so that substantially the same subject can be picked up simultaneously. (Not shown) is positioned and fixed. Further, a half mirror (not shown) is disposed in front of the optical path of the
[0020]
The first color format conversion means 12 converts the RGB still image data (R1, G1, B1) acquired by the first imaging means 11 into YCrCb still image data (Y1, Cr1, Cb1). That is, color primary color image data composed of three primary color (R, G, B) components is converted into lightness and color component image data composed of one brightness image data component (Y) and two color image data components (Cr, Cb). . Similarly, the second color format conversion means 16 converts the RGB still image data (R2, G2, B2) acquired by the second imaging means 15 into YCrCb still image data (Y2, Cr2, Cb2). Here, the conversion algorithms in the first color format conversion means 12 and the second color format conversion means 16 are shown in the following equations [1] to [3]. The brightness image data creation shown in step S2 of FIG. 2 is performed by the equation [1].
Y = 0.29900 x R + 0.58700 x G + 0.11400 x B Equation [1]
Cb = −0.16874 × R−0.33126 × G + 0.50000 × B Formula [2]
Cr = 0.50000 × R−0.41869 × G−0.08131 × B Formula [3]
[0021]
As shown in step S3, the first region dividing means 13 performs region division and spatial quantization of the boundaries of the divided regions on the input overexposed lightness image data Y1. . First, the texture of the input brightness image data Y1 is analyzed, and the input image is divided into a plurality of regions based on the analysis result. In the present embodiment, a region is determined by a filtering process that calculates a LOG (Laplacian Of Gaussian) filter expressed by the following equation [4] to input image data. FIG. 3C shows the result of dividing the input image shown in FIG. In equation [4], r 2 = X 2 + Y 2 It is. The LOG filter is well known as a basic algorithm of image processing (for example, “Image processing” written by Hiroshi Tsuchiya and Yoji Fukada, pp.68-74 (especially pp.73-74), 1990-1-25, Corona Co., Ltd. Detailed explanation is omitted here.
[0022]
[Expression 1]
Here, the result of area division by texture analysis is often different from the result of manual area division by a person viewing the same image. Therefore, if the result of region segmentation by the texture analysis is used as it is, the different parts of both results feel unnatural to human eyes.
[0024]
Therefore, in the present embodiment, the result of the region division analyzed in units of pixels is quantized by reducing the resolution somewhat. Specifically, the input image is divided into square blocks, which are superimposed on the result of area division shown in FIG. 3C, and the square block corresponding to the boundary of the area is selected depending on the area occupancy rate. To belong to the area. As a result, the region division result shown in FIG. 3C is quantized as shown in FIG. Here, for example, when a still image having an aspect ratio of 4: 3 and a number of pixels of 1600 × 1200 pixels is divided into 16 horizontal portions and 12 vertical portions, the size of the square block is 100 × 100 pixels. In the case of a second embodiment to be described later, when a moving image having a pixel number of 720 × 480 pixels is divided into 18 horizontal portions and 12 vertical portions, the size of the square block is 40 × 40 pixels. In the following description, this square block is referred to as a minimum block.
[0025]
Similar to the first
[0026]
The brightness image data spatially quantized by the first region dividing means 13 is input to the first entropy
[0027]
[Expression 2]
The entropy value of the density histogram calculated by the equation [5] serves as an index representing the visibility of the image. This value reflects the degree of variation in the density histogram. The region having good visibility has a density value over a wide range, and the entropy value becomes high. On the contrary, the density value concentrates in a narrow range in the poor visibility region, and the entropy value becomes low.
[0029]
The entropy values of the density histograms of the respective regions in the images shown in FIGS. 3 (e) and 3 (f) are normalized and expressed in gray scale, as shown in FIGS. 4 (a) and 4 (b). In this figure, the higher the entropy value, the lower the density. Comparing FIG. 3 and FIG. 4, it can be confirmed that the good visibility is reflected in the entropy value of the density histogram.
[0030]
The output of the first entropy value creation means 14 and the output of the second entropy value creation means 18 are input to the synthesis ratio determination table creation means 19. The composition ratio determination table creation means 19 creates a composition ratio determination table using these two inputs (step S5). The composition ratio determination table is a table showing in what ratio the two image data are composed in the density values of underexposed lightness image data and overexposed lightness image data. Here, since the area division results of the two input image data are different, each minimum block has a composition ratio determination table.
[0031]
A method for creating the composition ratio determination table will be described. First, as a feature of the image data, underexposed image data has high expressive power near high luminance, and overexposed image data has rich expressive power near low luminance. Therefore, the simplest combination ratio determination table shown in FIG. 5A can be considered. However, as it is, only uniform synthesis processing is applied to the entire image data, and there is no locality, and no significant difference from the conventional image quality enhancement technique is seen. In addition, since the optimum composition ratio cannot be calculated for all data, a composition result that is not very good cannot be obtained.
[0032]
Therefore, in this embodiment, the composition ratio determination table for each block is created using the entropy value of the underexposed image data and the entropy value of the overexposed image data for each minimum block. Specifically, in order to increase the composition ratio of underexposed image data in a low luminance region, the portion with a lightness value of 0 is raised by the entropy value of underexposed image data as shown by an arrow. Also, in order to increase the composition ratio of overexposed image data in the high luminance range, the portion of the
[0033]
The composition ratio determination table for the minimum block is calculated by the composition ratio determination
[0034]
[Equation 3]
Next, after calculating h ′ (K, L), as shown in FIG. 6, the composition ratio of the pixel of interest is determined for each of the block B1 to which this pixel belongs and the three neighboring blocks B2, B3, B4. Composition ratio h in composition ratio determination table 1 , H 2 , H 3 , H 4 Is used to calculate the combined ratio f (x, y) after interpolation based on the following equation [7]. In this equation [7], (x, y) is the position of the pixel of interest in the xy orthogonal coordinates. That is, the composition ratio h 1 , H 2 , H 3 , H 4 Are weighted according to the distance from the center of the four blocks B1, B2, B3, B4 to the target pixel. By this interpolation processing, the composition ratios can be made closer to each other as the boundary of the region is approached, and the occurrence of block noise can be suppressed.
[0036]
[Expression 4]
Using the composition ratio determination table interpolated by the composition ratio spatial interpolation means 20 in this manner, overexposed and underexposed input image data is synthesized. At this stage, each pixel level has a synthesis ratio determination table. Here, it becomes a problem whether to use the lightness value of the underexposed image data or the lightness value of the overexposed image data in the composition ratio determination table before performing composition. If the brightness value of the underexposed image data is used, the low luminance part looks good, but the high luminance part is not so good. Conversely, if the brightness value of overexposed image data is used, the reverse phenomenon occurs.
[0038]
Therefore, first, the composition ratio of underexposed image data is obtained using the brightness value of underexposed image data. Next, the composition ratio of the overexposed image data is obtained using the brightness value of the overexposed image data. This is shown in FIG. In FIG. 7, the lower trapezoid indicates a synthesis ratio of underexposed image data, and the upper trapezoid indicates a synthesis ratio of overexposed image data. The two composition ratios are normalized to 100%, and the composition ratio of the two input image data is determined. Then, the two input image data are synthesized using the decided synthesis ratio. For example, in FIG. 7, it is assumed that the lightness value of the underexposed image data of the pixel to be combined is u1, the combining ratio is p%, the lightness value of the overexposed image data is u2, and the combining ratio is q%. Since p + q does not become 100% in this state, the composition ratio of underexposed image data is p / (p + q) × 100%, and the composition ratio of overexposed image data is q / (p + q) × 100%. Using this composition ratio, the Y composition means 21, Cr composition means 22, and Cb composition means 23 are Y1, Cr1, and Cb1, which are underexposed image data, and overexposed image data, respectively. Y2, Cr2, and Cb2 are combined to obtain brightness image data Y3 and component color image data Cr3 and Cb3. In this way, the lightness value composition in step S7 is performed by the Y composition means 21.
[0039]
The outputs of the
R3 = 1.0000 × Y3 + 1.40200 × Cr3 Formula [8]
G3 = 1.0000 × Y3−0.34414 × Cb3−0.71414 × Cr3 Formula [9]
B3 = 1.0000 × Y3 + 1.77200 × Cb3 Formula [10]
[0040]
In the above description, the first color format conversion means 12 and the second color format conversion means 16 convert RGB primary color image data into Y / Cb / Cr, but other conversion algorithms such as cylindrical coordinates are used. It may be converted into H (Hue: Hue) / S (Saturation: Saturation) / I (Intensity: Lightness) standardized by the system.
[0041]
Furthermore, in the above description, the example in which the composition ratios of the Cr synthesizing means 22 and the Cb synthesizing means 23 are determined using the composition ratio determining table created from the brightness image data Y has been described. As described above, by sharing the composition ratio determination table created from the lightness image data Y for the color image data Cr and Cb, the apparatus is compared with the case where the composition ratio determination table is also created for Cr and Cb. There is an advantage that the configuration can be simplified.
[0042]
However, since the composition ratio determination table created from the brightness image data Y is determined in consideration of the visibility of the image, the color image data Cr and Cb also take into account the saturation indicating the color vividness. Therefore, better synthesis results can be obtained by determining the synthesis ratio. Specific examples will be described below. First, the saturation Sa is calculated from the following equation [11].
[0043]
[Equation 5]
When performing the process of combining Cr and Cb of a certain pixel, the composition ratio of underexposed image data and overexposed image data for Cr and Cb is determined using the composition ratio of Y and saturation Sa of the pixel. . If the combined ratio of underexposed image data and overexposed image data with respect to Y is Gu: Go, the combined ratio of underexposed image data and overexposed image data with respect to Cr and Cb is given by the following formula [12 ].
[0045]
Gu × Sau: Go × Sao Formula [12]
[0046]
In this equation [12], Sau is the saturation of underexposed image data, and Sao is the saturation of overexposed image data. As described with reference to FIG. 7, since Gu: Go is p: q, the equation [12] can be rewritten as the following equation [12].
[0047]
p × Sau: q × Sao Formula [13]
[0048]
From this equation [13], it can be seen that the composite ratio for Cr and Cb is a value obtained by multiplying the composite ratio for Y by the saturation. By processing in this way, composition is performed in consideration of visibility and color vividness. An example of the circuit configuration is shown in FIG. 1, in which Sau is multiplied by the composition ratio of the underexposed image data with respect to Y, which is data input from the composition ratio spatial interpolation means 20 to the Cr composition means 22 and the Cb composition means 23, This can be realized by multiplying the composition ratio of overexposed image data by Sao. Instead of the algorithm of equation [12] or [13], it may be configured to use Cb and Cr with higher saturation of overexposed image data and underexposed image data. Also, (1) Cb and Cr of either overexposed image data or underexposed image data are used. (2) Average value of Cb and average value of Cr of overexposed image data and underexposed image data Modifications such as using may be performed.
[0049]
(Second Embodiment)
FIG. 8 is a block diagram showing the configuration of the color image processing apparatus according to the second embodiment of the present invention. The color image processing apparatus according to this embodiment uses a color moving image as a processing target. In this figure, the same or corresponding components as those in FIG. 1 are given the names used in FIG.
[0050]
As shown in FIG. 8, the color image processing apparatus of the present embodiment includes a first imaging unit 31, a first color
[0051]
In FIG. 8, a first image pickup means 31 and a second image pickup means 35 are provided with an image pickup device such as a CCD, so that substantially the same subject can be picked up simultaneously. It is positioned and fixed to a housing (not shown). Then, as shown in step S11 of FIG. 9, RGB moving image data is acquired. Here, the first imaging unit 31 acquires overexposed image data, and the
[0052]
The first color format conversion means 32 converts the RGB moving image data (R5, G5, B5) acquired by the first imaging means 31 into YCrCb moving image data (Y5, Cr5, Cb5). Similarly, the second color format conversion means 36 converts the RGB moving image data (R6, G6, B6) acquired by the second imaging means 35 into YCrCb moving image data (Y6, Cr6, Cb6). The conversion algorithms in the first color format conversion means 32 and the second color format conversion means 36 are equations [1] to [3]. The brightness image data creation shown in step S13 of FIG. 9 is performed by the equation [1]. Further, the first color format conversion means 32 is for one frame of brightness image data Y5 for each of a plurality of frames. i Is extracted and output to the first area dividing means 33. Hereinafter, the extracted frame is referred to as a representative frame. Similarly, the second color format conversion means 36 uses the brightness image data Y6 of the representative frame. i Is output to the second area dividing means 37.
[0053]
The processing in each of the first area dividing means 33, the first entropy value calculating means 34, the second area dividing means 37, the second entropy value calculating means 38, and the composition ratio determining table creating means 39 is shown in FIG. These are shown in steps S14 to S16. These processes correspond to the brightness image data Y1 and Y2 of still images corresponding to the corresponding processes in the first embodiment, whereas the brightness image data Y5 of the representative frame in the second embodiment. i , Y6 i Since it is basically the same except that it is targeted, the description is omitted.
[0054]
The composition ratio determination table created by the composition ratio determination table creation means 39 is input to the composition ratio blend / temporal interpolation means 40. The composition ratio blend / temporal interpolation means 40 blends the input composition ratio determination table with the composition ratio determination table of the past representative frame, and further performs temporal interpolation (step S17).
[0055]
The composition ratio blending / temporal interpolation means 40 first combines the composition ratio created by the composition ratio decision table creation means 39 for the past representative frame with respect to the composition ratio decision table created by the composition ratio decision table creation means 39. The determination table is blended at a predetermined ratio to create a new synthesis ratio determination table. Here, the composite ratio determination table input to the composite ratio blend / temporal interpolation means 40 for the nth (where n is an integer of 2 or more) representative frame is H (n), and the blended composite ratio determination table. Is H ′ (n), the following equations [14] and [15] are established.
[0056]
H ′ (n) = p · H ′ (n−1) + (1−p) · H (n) Equation [14]
[0057]
H '(1) = H (1) ... Formula [15]
[0058]
In this formula [14], p (0 ≦ p ≦ 1) is a weighting coefficient of the past density conversion curve. FIG. 10 illustrates the case where the representative frame is set every four frames. In FIG. 10, only the process of creating H ′ (n) is shown for convenience, but it goes without saying that the process is similarly performed for H ′ (n + 1).
[0059]
By introducing H ′ (n), it is possible to suppress the composition ratio determination table from greatly changing between representative frames, and as a result, flicker can be prevented. Here, when generating H ′ (n), only the synthesis ratio determination table H ′ (n−1) of the previous representative frame is blended. '(n-2) or a representative frame before that may be blended.
[0060]
Next, the composition ratio blend / temporal interpolation means 40 interpolates H ′ (n) in the time axis direction of the blended composition ratio determination table. Interpolation in the time axis direction is a process of generating a composition ratio determination table for frames other than the representative frame based on the composition ratio determination table for the representative frame. Here, assuming that the representative frame interval is r, and the composite ratio determination table of frames after x (x <r) from the nth representative frame is H ′ (n, x), H ′ (n, x) Is represented by the following equation [16].
[0061]
H ′ (n, x) = {(rx) / r} · H ′ (n) + (x / r) · H ′ (n + 1) (16)
[0062]
That is, according to the number of frames from two adjacent representative frames, by taking a weighted average of the composite ratio determination table of the two representative frames, the composite ratio determination table of the two representative frames is interpolated, and each frame The composite ratio determination table is determined. Then, H ′ (n, x) obtained in this way is employed as a synthesis ratio determination table applied to a frame between the nth representative frame and the (n + 1) th representative frame. FIG. 11 illustrates a case where the representative frame is set every four frames.
[0063]
By adopting H ′ (n, x), image composition capable of preventing occurrence of flicker for all frames without creating a composition ratio determination table H ′ (n) for all frames I can do it.
[0064]
The output of the synthesis ratio blend / temporal interpolation means 40 is input to the synthesis ratio spatial interpolation means 41. The synthesis ratio
[0065]
By using the composition ratio determination table interpolated by the composition ratio spatial interpolation means 41 in this way, overexposed and underexposed input image data in the Y composition means 42, the Cr composition means 43, and the Cb composition means 44. Are combined to obtain combined outputs Y7, Cr7, and Cb7. Since the synthesizing process in these means is the same as that in the first embodiment, the description is omitted. The
[0066]
The combined outputs Y7, Cr7, and Cb7 of the
[0067]
In the above description of the first embodiment and the second embodiment, overexposed image data is acquired by the
[0068]
Normally, in the case of a moving image, one frame of image data is acquired in 1/30 seconds. In that case, an odd field is imaged in the first 1/60 seconds, an even field is imaged in the remaining 1/60 seconds, and the two fields are combined into one frame. In the all-pixel readout CCD, image data in odd fields and image data in even fields can be acquired simultaneously. Accordingly, the image data of the odd-numbered and even-numbered fields that are overexposed is acquired in the first 1/60 second, and the image data of the odd-numbered and even-numbered fields that are overexposed is acquired in the remaining 1/60 seconds. With this CCD, overexposed image data and underexposed image data can be acquired.
[0069]
When using a high-speed shutter, for example, the shutter is released four times in 1/30 seconds, and every 1/120 seconds sequentially, underexposed odd field, underexposed even field, overexposed odd field, overexposed even number By imaging the field, it is possible to acquire overexposed and underexposed image data with a single CCD.
[0070]
Further, overexposed image data and underexposed image data are obtained by a common image pickup means, and one each from a color format converting means to an entropy value calculating means is provided, and overexposed image data and underexposed image data are provided. The image data may be configured to be time-division processed.
[0071]
【The invention's effect】
As described above in detail, according to the color image processing apparatus and processing method of the present invention, the visibility of each partial portion of underexposed image data and overexposed image data is automatically determined, and locally A color still image in which each part has optimum brightness by suppressing image collapse and overexposure by automatically determining two different composition ratios and automatically synthesizing two input image data in a fully automatic manner. Color moving images can be obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a color image processing apparatus according to a first embodiment of the present invention;
FIG. 2 is a flowchart showing an outline of the flow of color image processing in the first embodiment of the present invention;
FIG. 3 is a diagram for explaining the operation of the area dividing means in the first embodiment of the invention;
FIG. 4 is a diagram for explaining the operation of entropy calculation means in the first embodiment of the present invention;
FIG. 5 is a diagram showing a composition ratio determination table in the first embodiment of the present invention;
FIG. 6 is a diagram for explaining spatial interpolation of the composition ratio determination table in the first embodiment of the present invention;
FIG. 7 is a diagram for explaining an image composition ratio in the first embodiment of the present invention;
FIG. 8 is a block diagram showing a configuration of a color image processing apparatus according to a second embodiment of the present invention;
FIG. 9 is a flowchart showing an outline of the flow of color image processing in the second embodiment of the present invention;
FIG. 10 is a diagram for explaining blending of a composition ratio determination table in the second embodiment of the present invention;
FIG. 11 is a diagram for explaining temporal interpolation of a composition ratio determination table according to the second embodiment of the present invention.
[Explanation of symbols]
11, 31 First imaging means
12, 32 First color format conversion means
13, 33 First area dividing means
14, 44 First entropy value calculation means
15, 35 Second imaging means
16, 36 Second color format conversion means
17, 37 Second area dividing means
18, 38 Second entropy value calculation means
19, 39 Composite ratio determination table creation means
20, 41 Composite ratio spatial interpolation means
21, 42 Y composition means
22, 43 Cr synthesis means
23, 44 Cb synthesis means
24, 45 Third color format conversion means
40 Composition ratio blending and temporal interpolation
Claims (11)
前記被写体と実質的に同一の被写体を撮像して生成した露出アンダーの第２のカラー原色静止画像データから第２の明度画像データを生成する手段と、
前記第１の明度画像データを複数の領域にブロック単位で量子化して分割する手段と、
前記第２の明度画像データを複数の領域にブロック単位で量子化して分割する手段と、
前記第１の明度画像データの分割された領域毎に濃度ヒストグラムのエントロピー値を算出する手段と、
前記第２の明度画像データの分割された領域毎に濃度ヒストグラムのエントロピー値を算出する手段と、
前記第１の明度画像データと前記第２の明度画像データとを合成するための合成比率決定テーブルであって、明度が相対的に低い程前記第１の明度画像データの比率が相対的に高くなり、明度が相対的に高い程前記第２の明度画像データの比率が相対的に高くなり、かつ明度の最低値では前記第２の明度画像データの分割された領域毎の濃度ヒストグラムのエントロピー値で持ち上げ、明度の最高値では前記第１の明度画像データの分割された領域毎の濃度ヒストグラムのエントロピー値で持ち上げた合成比率決定テーブルを作成する手段と、
前記合成比率決定テーブルを用いて前記第１の明度画像データと前記第２の明度画像データとを合成する手段と
を具備することを特徴とするカラー画像処理装置。Means for generating first brightness image data from overexposed first color primary color still image data generated by imaging a subject;
Means for generating second brightness image data from underexposed second color primary color still image data generated by imaging a subject substantially identical to the subject;
Means for quantizing and dividing the first brightness image data into a plurality of areas in units of blocks;
Means for quantizing and dividing the second brightness image data into a plurality of areas in units of blocks;
Means for calculating an entropy value of a density histogram for each divided region of the first brightness image data;
Means for calculating an entropy value of a density histogram for each divided region of the second brightness image data;
A synthesis ratio determination table for synthesizing the first brightness image data and the second brightness image data, wherein the ratio of the first brightness image data is relatively higher as the brightness is lower. The ratio of the second brightness image data is relatively higher as the brightness is relatively higher, and the lowest value of the brightness is the entropy value of the density histogram for each divided area of the second brightness image data. Means for creating a composite ratio determination table that is lifted by the entropy value of the density histogram for each divided area of the first brightness image data at the highest brightness value;
A color image processing apparatus comprising: means for combining the first lightness image data and the second lightness image data using the combining ratio determination table.
前記被写体と実質的に同一の被写体を撮像して生成した露出アンダーの第２のカラー原色動画像データから第２の明度画像データを生成する手段と、
予め定められたフレーム毎の前記第１の明度画像データを複数の領域にブロック単位で量子化して分割する手段と、
予め定められたフレーム毎の前記第２の明度画像データを複数の領域にブロック単位で量子化して分割する手段と、
前記第１の明度画像データの分割された領域毎に濃度ヒストグラムのエントロピー値を算出する手段と、
前記第２の明度画像データの分割された領域毎に濃度ヒストグラムのエントロピー値を算出する手段と、
前記第１の明度画像データと前記第２の明度動画像データとを合成するための合成比率決定テーブルであって、明度が相対的に低い程前記第１の明度画像データの比率が相対的に高くなり、明度が相対的に高い程前記第２の明度画像データの比率が相対的に高くなり、かつ明度の最低値では前記第２の明度画像データの分割された領域毎の濃度ヒストグラムのエントロピー値で持ち上げ、明度の最高値では前記第１の明度画像データの分割された領域毎の濃度ヒストグラムのエントロピー値で持ち上げた合成比率決定テーブルを作成する手段と、
前記作成された合成比率決定テーブルを過去の合成比率決定テーブルと時間的に内挿する手段と、
前記時間的に内挿された合成比率決定テーブルを用いて前記第１の明度画像データと前記第２の明度画像データとを合成する手段と
を具備することを特徴とするカラ−画像処理装置。Means for generating first brightness image data from overexposed first primary color moving image data generated by imaging a subject;
Means for generating second brightness image data from underexposed second color primary color moving image data generated by imaging a subject substantially identical to the subject;
Means for quantizing and dividing the first brightness image data for each predetermined frame into a plurality of areas in units of blocks;
Means for quantizing and dividing the second brightness image data for each predetermined frame into a plurality of areas in units of blocks;
Means for calculating an entropy value of a density histogram for each divided region of the first brightness image data;
Means for calculating an entropy value of a density histogram for each divided region of the second brightness image data;
A synthesis ratio determination table for synthesizing the first brightness image data and the second brightness moving image data, wherein the ratio of the first brightness image data is relatively lower as the brightness is relatively lower. The higher the lightness, the higher the ratio of the second lightness image data, and at the lowest lightness, the entropy of the density histogram for each divided region of the second lightness image data. Means for creating a composition ratio determination table that is lifted by a value and lifted by an entropy value of a density histogram for each divided region of the first brightness image data at the highest brightness value;
Means for temporally interpolating the created composite ratio determination table with a past composite ratio determination table;
A color image processing apparatus comprising: means for combining the first brightness image data and the second brightness image data using the temporally interpolated combining ratio determination table.
前記第２のカラー原色静止画像データから第２の色画像データを生成する手段と、
前記合成比率決定テーブルを用いて前記第１の色画像データと前記第２の色画像データとを合成する手段と
を具備することを特徴とする請求項１記載のカラ−画像処理装置。Means for generating first color image data from the first color primary color still image data;
Means for generating second color image data from the second color primary color still image data;
2. A color image processing apparatus according to claim 1, further comprising means for synthesizing the first color image data and the second color image data using the synthesis ratio determination table.
前記第２のカラー原色動画像データから第２の色画像データを生成する手段と、
前記合成比率決定テーブルを用いて前記第１の色画像データと前記第２の色画像データとを合成する手段と
を具備することを特徴とする請求項２記載のカラ−画像処理装置。Means for generating first color image data from the first color primary color moving image data;
Means for generating second color image data from the second color primary color moving image data;
3. The color image processing apparatus according to claim 2, further comprising means for synthesizing the first color image data and the second color image data using the synthesis ratio determination table.
前記第２のカラー原色静止画像データから第２の色画像データを生成する手段と、
前記合成比率決定テーブルの合成比率を前記第１の色画像データの彩度および前記第２の色画像データの彩度を考慮して変更した合成比率により、前記第１の色画像データと前記第２の色画像データとを合成する手段と
を具備することを特徴とする請求項１記載のカラ−画像処理装置。Means for generating first color image data from the first color primary color still image data;
Means for generating second color image data from the second color primary color still image data;
The first color image data and the first color image data are determined by a composition ratio obtained by changing the composition ratio of the composition ratio determination table in consideration of the saturation of the first color image data and the saturation of the second color image data. 2. A color image processing apparatus according to claim 1, further comprising means for synthesizing the two color image data.
前記第２のカラー原色動画像データから第２の色画像データを生成する手段と、
前記合成比率決定テーブルの合成比率を前記第１の色画像データの彩度および前記第２の色画像データの彩度を考慮して変更した合成比率により、前記第１の色画像データと前記第２の色画像データとを合成する手段と
を具備することを特徴とする請求項２記載のカラ−画像処理装置。Means for generating first color image data from the first color primary color moving image data;
Means for generating second color image data from the second color primary color moving image data;
The first color image data and the first color image data are determined by a composition ratio obtained by changing the composition ratio of the composition ratio determination table in consideration of the saturation of the first color image data and the saturation of the second color image data. 3. A color image processing apparatus according to claim 2, further comprising means for synthesizing the two color image data.
前記被写体と実質的に同一の被写体を撮像して生成した露出アンダーの第２のカラー原色静止画像データから第２の明度画像データを生成するステップと、
前記第１の明度画像データを複数の領域にブロック単位で量子化して分割するステップと、
前記第２の明度画像データを複数の領域にブロック単位で量子化して分割するステップと、
前記第１の明度画像データの分割された領域毎に濃度ヒストグラムのエントロピー値を算出するステップと、
前記第２の明度画像データの分割された領域毎に濃度ヒストグラムのエントロピー値を算出するステップと、
前記第１の明度画像データと前記第２の明度画像データとを合成するための合成比率決定テーブルであって、明度が相対的に低い程前記第１の明度画像データの比率が相対的に高くなり、明度が相対的に高い程前記第２の明度画像データの比率が相対的に高くなり、かつ明度の最低値では前記第２の明度画像データの分割された領域毎の濃度ヒストグラムのエントロピー値で持ち上げ、明度の最高値では前記第１の明度画像データの分割された領域毎の濃度ヒストグラムのエントロピー値で持ち上げた合成比率決定テーブルを作成するステップと、
前記合成比率決定テーブルを用いて前記第１の明度画像データと前記第２の明度画像データとを合成するステップと
を具備することを特徴とするカラ−画像処理方法。Generating first brightness image data from overexposed first color primary color still image data generated by imaging a subject;
Generating second brightness image data from underexposed second color primary color still image data generated by imaging a subject substantially identical to the subject;
Quantizing and dividing the first brightness image data into a plurality of areas in units of blocks;
Quantizing and dividing the second brightness image data into a plurality of areas in units of blocks;
Calculating an entropy value of a density histogram for each divided region of the first brightness image data;
Calculating an entropy value of a density histogram for each divided region of the second brightness image data;
A synthesis ratio determination table for synthesizing the first brightness image data and the second brightness image data, wherein the ratio of the first brightness image data is relatively higher as the brightness is lower. The ratio of the second brightness image data is relatively higher as the brightness is relatively higher, and the lowest value of the brightness is the entropy value of the density histogram for each divided area of the second brightness image data. Creating a composite ratio determination table lifted by the entropy value of the density histogram for each divided region of the first brightness image data at the highest brightness value,
A color image processing method comprising: combining the first lightness image data and the second lightness image data using the combining ratio determination table.
前記被写体と実質的に同一の被写体を撮像して生成した露出アンダーの第２のカラー原色動画像データから第２の明度画像データを生成するステップと、
予め定められたフレーム毎の前記第１の明度画像データを複数の領域にブロック単位で量子化して分割するステップと、
予め定められたフレーム毎の前記第２の明度画像データを複数の領域にブロック単位で量子化して分割するステップと、
前記第１の明度画像データの分割された領域毎に濃度ヒストグラムのエントロピー値を算出するステップと、
前記第２の明度画像データの分割された領域毎に濃度ヒストグラムのエントロピー値を算出するステップと、
前記第１の明度画像データと前記第２の明度画像データとを合成するための合成比率決定テーブルであって、明度が相対的に低い程前記第１の明度画像データの比率が相対的に高くなり、明度が相対的に高い程前記第２の明度画像データの比率が相対的に高くなり、かつ明度の最低値では前記第２の明度画像データの分割された領域毎の濃度ヒストグラムのエントロピー値で持ち上げ、明度の最高値では前記第１の明度画像データの分割された領域毎の濃度ヒストグラムのエントロピー値で持ち上げた合成比率決定テーブルを作成するステップと、
前記作成された合成比率決定テーブルを過去の合成比率決定テーブルと時間的に内挿するステップと、
前記時間的に内挿された合成比率決定テーブルを用いて前記第１の明度画像データと前記第２の明度画像データとを合成するステップと
を具備することを特徴とするカラ−画像処理方法。Generating first brightness image data from overexposed first primary color moving image data generated by imaging a subject;
Generating second brightness image data from underexposed second color primary color moving image data generated by imaging a subject substantially identical to the subject;
Quantizing and dividing the first brightness image data for each predetermined frame into a plurality of areas in units of blocks;
Quantizing and dividing the second brightness image data for each predetermined frame into a plurality of areas in units of blocks;
Calculating an entropy value of a density histogram for each divided region of the first brightness image data;
Calculating an entropy value of a density histogram for each divided region of the second brightness image data;
A synthesis ratio determination table for synthesizing the first brightness image data and the second brightness image data, wherein the ratio of the first brightness image data is relatively higher as the brightness is lower. The ratio of the second brightness image data is relatively higher as the brightness is relatively higher, and the lowest value of the brightness is the entropy value of the density histogram for each divided area of the second brightness image data. Creating a composite ratio determination table lifted by the entropy value of the density histogram for each divided region of the first brightness image data at the highest brightness value,
Interpolating the created composite ratio determination table with a past composite ratio determination table in time;
A color image processing method comprising: combining the first lightness image data and the second lightness image data using the temporally interpolated composition ratio determination table.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003053772A JP3817635B2 (en) | 2002-11-26 | 2003-02-28 | Color image processing apparatus and processing method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002342269 | 2002-11-26 | ||
| JP2003053772A JP3817635B2 (en) | 2002-11-26 | 2003-02-28 | Color image processing apparatus and processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004229259A JP2004229259A (en) | 2004-08-12 |
| JP3817635B2 true JP3817635B2 (en) | 2006-09-06 |
Family
ID=32910864
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003053772A Expired - Fee Related JP3817635B2 (en) | 2002-11-26 | 2003-02-28 | Color image processing apparatus and processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3817635B2 (en) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5050141B2 (en) * | 2004-12-01 | 2012-10-17 | 国立大学法人徳島大学 | Color image exposure evaluation method |
| JP4987355B2 (en) * | 2005-10-14 | 2012-07-25 | 京セラ株式会社 | Imaging apparatus and imaging method |
| US8115818B2 (en) | 2005-12-27 | 2012-02-14 | Kyocera Corporation | Imaging device and image processing method of same |
| JP5411786B2 (en) * | 2010-04-08 | 2014-02-12 | 日本放送協会 | Image capturing apparatus and image integration program |
| JP5136664B2 (en) * | 2010-07-09 | 2013-02-06 | カシオ計算機株式会社 | Image processing apparatus and program |
| JP5136665B2 (en) * | 2010-07-21 | 2013-02-06 | カシオ計算機株式会社 | Image processing apparatus and program |
| US9544505B2 (en) * | 2014-04-11 | 2017-01-10 | Hanwha Techwin Co., Ltd. | Image processing apparatus for synthesizing images based on a plurality of exposure time periods and image processing method thereof |
| JP2015204489A (en) * | 2014-04-11 | 2015-11-16 | ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． | Image processing apparatus and image processing method |
| CN106464815B (en) * | 2014-11-21 | 2020-01-14 | 深圳市大疆创新科技有限公司 | System and method for fast adaptive blending for high dynamic range imaging |
| US20230162473A1 (en) * | 2021-01-22 | 2023-05-25 | Logic And Design Co., Ltd | Image processing method |
-
2003
- 2003-02-28 JP JP2003053772A patent/JP3817635B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004229259A (en) | 2004-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9094648B2 (en) | Tone mapping for low-light video frame enhancement | |
| US9307212B2 (en) | Tone mapping for low-light video frame enhancement | |
| JP4163353B2 (en) | Image processing device | |
| KR101442153B1 (en) | Method and system for processing for low light level image. | |
| KR100745386B1 (en) | Image signal processor, image signal processing method, learning device, learning method, and recorded medium | |
| JP5574792B2 (en) | Imaging device | |
| JP2005229198A (en) | Image processing apparatus and method, and program | |
| JP2014143702A (en) | Block-based image stabilization | |
| JP2002524929A (en) | Method and apparatus for edge enhancement in digital images | |
| JP2011109638A (en) | Image processing apparatus and image processing method | |
| WO2010118658A1 (en) | Video processing method and device | |
| JP5468930B2 (en) | Image processing apparatus and image processing program | |
| JP2021114696A (en) | Image processing device, image processing method and program | |
| JP3817635B2 (en) | Color image processing apparatus and processing method | |
| JP5882702B2 (en) | Imaging device | |
| JP2018182376A (en) | Image processing apparatus | |
| JP4272443B2 (en) | Image processing apparatus and image processing method | |
| JP2011171842A (en) | Image processor and image processing program | |
| JP2004246644A (en) | Apparatus, method, and program for image processing | |
| Lukac | Single-sensor digital color imaging fundamentals | |
| KR102199472B1 (en) | Apparatus and method for processing image | |
| JP2002288650A (en) | Image processing device, digital camera, image processing method and recording medium | |
| JP3731741B2 (en) | Color moving image processing method and processing apparatus | |
| JP2008219230A (en) | Imaging apparatus, and image processing method | |
| JP2009022044A (en) | Image processing apparatus and image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051213 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20051213 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20060210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060512 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060523 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060524 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090623 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110623 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |