JP4497160B2 - 画像処理装置および方法、並びにプログラム - Google Patents

Description

本発明は、撮像されたディジタル画像を適切に圧縮することができるようにした画像処理装置および方法、並びにプログラムに関するものである。

従来、例えば、ディジタルビデオカメラ等のディジタル画像記録装置においては、固体撮像素子によって撮像され、A/D（Analog to Digital）変換されたディジタル画像の入力レンジを適切に圧縮し、コントラスト感（明暗の差）や鮮鋭度（境界の明確さ）を損なうことなく記録レンジへと変換する手法として、階調変換によるコントラスト強調手法が考えられていた。

このコントラスト強調手法の代表的なものとしては、例えば、画像の各画素に対して、その画素レベルを所定の入出力関係を持つ関数（以下、レベル変換関数と称する）で変換するトーンカーブ調整法、または、画素レベルの頻度分布に応じてレベル変換関数を適応的に変化させるヒストグラムイコライゼーションと呼ばれる手法が提案されている。

これらのコントラスト強調手法を用いると、画像の全ダイナミックレンジ（最大レベルと最小レベルの差）のうち、一部の輝度域しかコントラストを向上させることができない課題があった。また、トーンカーブ調整の場合には、画像の最明部と最暗部において、ヒストグラムイコライゼーションの場合には、頻度分布の少ない輝度域付近において、コントラストが逆に低下してしまうという課題があった。さらに、コントラスト強調手法では、高周波信号を含むエッジ付近のコントラストも強調されることになり、不自然な増幅が誘発され、画質劣化を避けることができない問題があった。

そこで、例えば、特許文献１においては、入力画像データのうち、画素値の変化が急峻なエッジを保存したまま当該エッジ以外の部分を増幅することにより、エッジ以外の部分を強調して、画像鮮鋭度を損なうことなく全体のコントラスト及び鮮鋭度を向上させる技術が提案されている。
特開２００１−２９８６２１号公報

しかしながら、上述した特許文献１の技術をカメラ信号処理システムに適用した場合、処理負荷が非常に高くなる問題があった。

また、Y/C分離されたカラー画像に対して適用した場合、Ｙ信号には適切な処理が施されるものの、対応するＣ信号に対しては、何ら処理が施されず、所望する結果が得られない問題があった。

本発明はこのような状況に鑑みてなされたものであり、撮像されたディジタル画像を適切に圧縮することにより、鮮鋭度を損なうことなくコントラストを向上させることができるようにするものである。

本発明によれば、撮像されたディジタル画像を適切に圧縮することができる。特に、鮮鋭度を損なうことなくコントラストを向上させるとともに、処理負荷を低減しつつ、撮像されたディジタル画像を適切に圧縮することが可能となる。

本発明を適用したディジタルビデオカメラの記録系の構成例を示す図である。 ダイナミックレンジ圧縮部の内部の構成例を示すブロック図である。 エッジ検出機能付LPFのエッジ検出の詳細を説明する図である。 エッジ検出機能付LPFのエッジ検出の詳細を説明する図である。 エッジ方向のレベルを示す図である。 オフセットテーブルの例を示す図である。 オフセットテーブルの例を示す図である。 オフセットテーブルの他の例を示す図である。 オフセットテーブルの他の例を示す図である。 反射率ゲイン係数テーブルの例を示す図である。 反射率ゲイン係数テーブルの例を示す図である。 クロマゲイン係数テーブルの例を示す図である。 クロマゲイン係数テーブルの例を示す図である。 判別エリアの例を示す図である。 輝度信号の圧縮処理を説明するフローチャートである。 クロマ信号の圧縮処理を説明するフローチャートである。 輝度信号の処理結果を示す図である。 輝度信号の処理結果を示す図である。 輝度信号の処理結果を示す図である。 クロマ信号の処理結果を示す図である。 クロマ信号の処理結果を示す図である。 コンピュータの構成例を示すブロック図である。

符号の説明

１ ディジタルビデオカメラ， １１ 固体撮像素子， １２ カメラ信号処理部， ダイナミックレンジ圧縮部， １４ 記録フォーマット処理部， １５ 記録メディア， ２１ エッジ検出機能付LPF， ２２ 加算器， ２３ アパーチャコントローラ， ２４ マイクロコンピュータ， ２５，２６ 加算器， ２７ 照明成分オフセットテーブル， ２８ 乗算器， ２９ 加算器， ３０ 乗算器， ３１ 照明成分オフセットテーブル， ３２ 乗算器， ３３３４ 加算器， ３５ 反射率ゲイン係数算出部， ３６，３７ 加算器， ３８ クロマゲイン係数算出部， ３９ 乗算器， ４０ クロマエリア判別部， ４１ HPF， ４２ 乗算器， ４３ 加算器

以下に、本発明の実施の形態について図面を参照して説明する。

図１は、本発明を適用したディジタルビデオカメラ１の記録系の構成例を示す図である。

固体撮像素子１１は、例えば、CCD（Charge Coupled Devices）やC-MOS（Complementary Metal Oxide Semiconductor）等で構成され、入射された被写体の光像を光電変換して入力画像データＳ１を生成し、生成した入力画像データＳ１をカメラ信号処理部１２に出力する。カメラ信号処理部１２は、固体撮像素子１１より入力された入力画像データＳ１に対し、サンプリング処理やＹＣ分離処理などの信号処理を施し、輝度信号Ｙ１およびクロマ信号Ｃ１をダイナミックレンジ圧縮部１３に出力する。

ダイナミックレンジ圧縮部１３は、カメラ信号処理部１２より入力された輝度信号Ｙ１およびクロマ信号Ｃ１を、鮮鋭度を損なうことなくコントラストを向上させるようにして、記録レンジに圧縮し、圧縮された輝度信号Ｙ２およびクロマ信号Ｃ２を記録フォーマット処理部１４に出力する。記録フォーマット処理部１４は、ダイナミックレンジ圧縮部１３より入力された輝度信号Ｙ２およびクロマ信号Ｃ２に対し、誤り訂正符号の付加や変調など所定の処理を施し、信号Ｓ２を記録メディア１５に記録させる。記録メディア１５は、例えば、CD-ROM（Compact Disc-Read Only Memory）、DVD（Digital Versatile Disc）、あるいは半導体メモリなどで構成される。

図２は、ダイナミックレンジ圧縮部１３の内部の構成例を示すブロック図である。

図２の例の場合、大きく分けて、輝度信号Ｙ１の処理を行うブロックとクロマ信号Ｃ１の処理を行うブロックで構成されている。また、加算器２５乃至加算器３４は、輝度信号Ｙ１の暗い部分に対する処理を行うブロックであり、加算器２２、アパーチャコントローラ２３、反射率ゲイン係数算出部３５、および加算器３６は、輝度信号Ｙ１の明るい部分に対する処理を行うブロックである。

カメラ信号処理部１２より出力された輝度信号Ｙ１は、エッジ検出機能付LPF（Lowpass Filter）２１、加算器２２、およびアパーチャコントローラ（アパコン）２３に入力され、クロマ信号Ｃ１は、乗算器３９に入力される。

エッジ検出機能付LPF２１は、入力された輝度信号Ｙ１から照明成分（エッジが保存された平滑化信号Ｌ）を抽出し、抽出された平滑化信号Ｌを加算器２２，２５，２９、および３４、反射率ゲイン係数算出部３５、クロマゲイン係数算出部３８、並びに、クロマエリア判別部４０にそれぞれ供給する。以下、エッジが保存された平滑化信号Ｌを、信号Ｌと略称する。

ここで、図３を参照して、エッジ検出機能付LPF２１のエッジ検出の詳細について説明する。なお、図３において、最上左部の画素を（１，１）の画素と記載し、その横方向ｍ番目、縦方向ｎ番目の画素を（ｍ，ｎ）の画素と記載する。

エッジ検出機能付LPF２１は、図３Ａに示されるように、注目画素５１（（４，４）の画素）に対して、その周囲の縦７個×横７個の画素を処理対象に設定する。まず、エッジ検出機能付LPF２１は、メディアン処理対象画素である、（４，１）、（４，２）、（４，３）、（４，５）、（４，６）、（４，７）、（１，４）、（２，４）、（３，４）、（５，４）、（６，４）、および（７，４）の各画素値を算出する。

例えば、画素Ｐ（（４，１）の画素）の画素値を算出する場合には、水平方向の７つの画素群５３が用いられ、例えば、（１,６,１５,２０,１５,６,１）／６４のローパスフィルタにより加算平均値が算出される。すなわち、画素Ｐ＝｛（１，１）の画素×１／６４｝＋｛（２，１）の画素×６／６４｝＋｛（３，１）の画素×１５／６４｝＋｛（４，１）の画素×２０／６４｝＋｛（５，１）の画素×１５／６４｝＋｛（６，１）の画素×６／６４｝＋｛（７，１）の画素×１／６４｝により算出される。

次に、エッジ検出機能付LPF２１は、注目画素５１と左側メディアン処理対象画素である３つの画素群５４に基づいて、メディアン値を算出し、その中央２値の平均値を左側平均輝度成分６４とする。同様に、上側平均輝度成分６１、下側平均輝度成分６２、右側平均輝度成分６３も算出する。これにより、図３Ｂに示されるように、注目画素５１の周囲４方向の平均輝度成分が得られる。エッジ検出機能付LPF２１は、縦方向の平均輝度成分の差分△ｖおよび横方向の平均輝度成分の差分△ｈを算出し、差分の大きい方、すなわち、相関の小さい方をエッジ方向と判断する。エッジ方向が判断された後は、エッジ方向と注目画素５１が比較される。

そして、エッジ検出機能付LPF２１は、図４に示されるように、注目画素５１が、エッジ方向のレベル差内である範囲Ｂ（すなわち、レベルの高い方の平均輝度成分のレベルＬ１とレベルの低い方の平均輝度成分のレベルＬ２の間）にある場合、注目画素５１をそのまま出力する。これに対し、注目画素５１が、エッジ方向のレベル差外である範囲Ａ（レベルの高い方の平均輝度成分のレベルＬ１より高い）または範囲Ｃ（レベルの低い方の平均輝度成分のレベルＬ２より低い）にある場合、エッジ検出機能付LPF２１は、平滑化信号Ｌ（例えば、７×７画素のローパスフィルタによる加算平均値）で置き換えて出力する。

なお、図３の例では、注目画素５１に対して、その周囲の縦７個×横７個の画素を処理対象とするようにしたが、これに限らず、縦９個×横９個の画素、縦１１個×横１１個の画素、またはそれ以上の数の画素を処理対象とするようにしてもよい。

図２の説明に戻る。マイクロコンピュータ（マイコン）２４は、照明成分オフセットテーブル２７の入力輝度レベルから減算されるオフセット量を表す入力調整１ａを加算器２５に供給し、照明成分オフセットテーブル２７の入力輝度レベルに乗算されるゲイン量を表す入力調整１ｂを乗算器２６に供給する。またマイクロコンピュータ２４は、照明成分オフセットテーブル３１の入力輝度レベルから減算されるオフセット量を表す入力調整２ａを加算器２９に供給し、照明成分オフセットテーブル３１の入力輝度レベルに乗算されるゲイン量を表す入力調整２ｂを乗算器３０に供給する。またマイクロコンピュータ２４は、照明成分オフセットテーブル２７の出力輝度レベルに乗算される最大ゲイン量を表すゲイン１ｃを乗算器２８に供給し、照明成分オフセットテーブル３１の出力輝度レベルに乗算される最大ゲイン量を表すゲイン２ｃを乗算器３２に供給する。さらにマイクロコンピュータ２４は、反射率ゲイン係数テーブルの入力輝度レベルから減算されるオフセット量を表す入力調整add、および、反射率ゲイン係数テーブルの出力輝度レベルに乗算されるゲイン量を表す出力調整offsetを反射率ゲイン係数算出部３５に供給する。

ここで、マイクロコンピュータ２４は、ヒストグラムを判断して、入力調整１ａ，１ｂ，２ａ，２ｂ、ゲイン１ｃ，２ｃ、入力調整add、および出力調整offsetの値を調整するか、あるいは、ユーザからの指示に基づいて、これらの値を調整する。また、入力調整１ａ，１ｂ，２ａ，２ｂ、ゲイン１ｃ，２ｃは、製造過程において予め決められるようにしても良い。

加算器２５は、エッジ検出機能付LPF２１から供給された信号Ｌに、マイクロコンピュータ２４から供給された入力調整１ａを加算し、乗算器２６に供給する。乗算器２６は、加算器２５から供給された信号Ｌに、マイクロコンピュータ２４から供給された入力調整１ｂを乗算し、照明成分オフセットテーブル２７に供給する。

照明成分オフセットテーブル２７は、加算器２５および乗算器２６から供給された入力調整１ａ，１ｂに基づいて、超低域の輝度レベルのブースト量を決定するオフセットテーブルのオフセット量およびゲイン量を調整し、それを保持する。また照明成分オフセットテーブル２７は、保持しているオフセットテーブルを参照し、加算器２５および乗算器２６を介して供給された信号Ｌの輝度レベルに応じたオフセット量ofst1を乗算器２８に供給する。乗算器２８は、照明成分オフセットテーブル２７から供給されたオフセット量ofst1に、マイクロコンピュータ２４から供給されたゲイン１ｃを乗算し、加算器３３に供給する。

図５Ａは、照明成分オフセットテーブル２７が保持するオフセットテーブルの例を示している。同図において、横軸は、入力輝度レベルを表わし、縦軸は、オフセット量ofst1を表わしている（後述する図５Ｂにおいても同様とする）。ここで、図５Ａに示されるオフセットテーブルにおいて、８ビットに正規化された入力輝度レベル（横軸）をｘとすると、オフセット量ofst1（縦軸）は、例えば、次式（１）で表される。

図５Ｂは、照明成分オフセットテーブル２７が保持するオフセットテーブルと調整パラメータの関係を説明するための図である。図５Ｂに示されるように、入力調整１ａ（図中矢印１ａ）は、オフセットテーブルへの入力輝度レベルから差し引かれるオフセット量を表わしている。すなわち、入力が固定である場合、入力調整１ａは、オフセットテーブルを右方向にシフトさせる量である。入力調整１ｂ（図中矢印１ｂ）は、オフセットテーブルへの入力輝度レベルに乗算されるゲイン量を表わしている。すなわち、入力が固定である場合、入力調整１ｂは、オフセットテーブルのエリア幅を増減させる量であって、処理を施す輝度レベル範囲の調整に相当する。ゲイン１ｃ（図中矢印１ｃ）は、オフセットテーブルからの出力輝度レベルに乗算される最大ゲイン量を表わしている。すなわち、ゲイン１ｃは、オフセットテーブルの縦軸を増減させる量であって、処理のブースト量に直接効いてくる値とされる。

図２の説明に戻る。加算器２９は、エッジ検出機能付LPF２１から供給された信号Ｌに、マイクロコンピュータ２４から供給された入力調整２ａ加算し、乗算器３０に供給する。乗算器３０は、加算器２９から供給された信号Ｌに、マイクロコンピュータ２４から供給された入力調整２ｂを乗算し、照明成分オフセットテーブル３１に供給する。

照明成分オフセットテーブル３１は、加算器２９および乗算器３０から供給された入力調整２ａ，２ｂに基づいて、低域の輝度レベルのブースト量を決定するオフセットテーブルのオフセット量およびゲイン量を調整し、それを保持する。また照明成分オフセットテーブル３１は、保持しているオフセットテーブルを参照し、加算器２９および乗算器３０を介して供給された信号Ｌの輝度レベルに応じたオフセット量ofst2を乗算器３２に供給する。乗算器３２は、照明成分オフセットテーブル３１から供給されたオフセット量ofst2に、マイクロコンピュータ２４から供給されたゲイン２ｃを乗算し、加算器３３に供給する。

図６Ａは、照明成分オフセットテーブル３１が保持するオフセットテーブルの例を示している。同図において、横軸は、入力輝度レベルを表わし、縦軸は、オフセット量ofst2を表わしている（後述する図６Ｂにおいても同様とする）。ここで、図６Ａに示されるオフセットテーブルにおいて、８ビットに正規化された入力輝度レベル（横軸）をｘとすると、オフセット量ofst2（縦軸）は、例えば、次式（２）で表される。

図６Ｂは、照明成分オフセットテーブル３１が保持するオフセットテーブルと調整パラメータの関係を説明するための図である。図６Ｂに示されるように、入力調整２ａ（図中矢印２ａ）は、オフセットテーブルへの入力輝度レベルから差し引かれるオフセット量を表わしている。すなわち、入力が固定である場合、入力調整２ａは、オフセットテーブルを右方向にシフトさせる量である。入力調整２ｂ（図中矢印２ｂ）は、オフセットテーブルへの入力輝度レベルに乗算されるゲイン量を表わしている。すなわち、入力が固定である場合、入力調整２ｂは、オフセットテーブルのエリア幅を増減させる量であって、処理を施す輝度レベル範囲の調整に相当する。ゲイン２ｃ（図中矢印２ｃ）は、オフセットテーブルからの出力輝度レベルに乗算される最大ゲイン量を表わしている。すなわち、ゲイン２ｃは、オフセットテーブルの縦軸を増減させる量であって、処理のブースト量に直接効いてくる値とされる。

図２の説明に戻る。加算器３３は、乗算器２８から供給された、最大ゲイン量が調整された超低域の輝度レベルのブースト量を決定するオフセット量ofst1に、乗算器３２から供給された、最大ゲイン量が調整された低域の輝度レベルのブースト量を決定するオフセット量ofst2を加算し、得られたオフセット量（照明成分加減算量Ｔ（Ｌ））を加算器３４に供給する。加算器３４は、エッジ検出機能付LPF２１から供給された信号Ｌ（元々の照明成分）に、加算器３３から供給された照明成分加減算量Ｔ（Ｌ）を加算し、得られたゲイン最適化照明成分（信号Ｔ（Ｌ）’）を加算器３７に供給する。

加算器２２は、カメラ信号処理部１２から入力された輝度信号Ｙ１（原信号）から、エッジ検出機能付LPF２１から供給された信号Ｌ（照明成分）を減算し、得られたテクスチャ成分（信号Ｒ）を加算器３６に供給する。

反射率ゲイン係数算出部３５は、反射率ゲイン係数テーブルを参照し、ブーストした輝度信号のうち、超低輝度および低輝度のブーストエリア外を適応エリアに決定し、それをアパーチャコントローラ２３に供給する。また反射率ゲイン係数算出部３５は、適応エリアを決定する際、マイクロコンピュータ２４から供給された入力調整addおよび出力調整offsetに基づいて、反射率ゲイン係数テーブルのオフセット量およびゲイン量を調整する。

図７Ａは、反射率ゲイン係数算出部３５が保持する反射率ゲイン係数テーブルの例を示している。同図において、横軸は、入力輝度レベルを表わし、縦軸は、反射率ゲイン量を表わしている（後述する図７Ｂにおいても同様とする）。図７Ｂは、反射率ゲイン係数算出部３５が保持する反射率ゲイン係数テーブルと調整パラメータの関係を説明するための図である。

図７Ｂに示されるように、出力調整offset（図中矢印offset）は、反射率ゲイン係数テーブルからの出力輝度レベルに乗算されるゲイン量を表わしている。すなわち、出力調整offsetは、反射率ゲイン係数テーブルの縦軸を増加させる量である。調整パラメータＡ（図中矢印Ａ）は、アパーチャコントローラ２３の最大ゲイン量を決定するパラメータを表わしている。入力調整add（図中矢印add）は、反射率ゲイン係数テーブルへの入力輝度レベルから差し引かれるオフセット量を表わしている。すなわち、入力が固定である場合、入力調整addは、反射率ゲイン係数テーブルを右方向にシフトさせる量である。limit levelは、アパーチャコントローラ２３において余分なアパーチャ信号をつけないようにするために設定されたマックスリミット（最大ゲイン量）を表わしている。

ここで、図７Ｂに示される反射率ゲイン係数テーブルにおいて、８ビットに正規化された入力輝度レベル（横軸）をｘとすると、アパーチャコントロール量apgain（縦軸）は、例えば、次式（３）で表される。ただし、Ａは、アパーチャコントローラ２３の最大ゲイン量を表わし、offsetは、反射率ゲイン係数テーブルを上方向にシフトさせる量を表わし、addは、反射率ゲイン係数テーブルを右方向にシフトさせる量を表わしている。

なお、上記式（３）による算出の結果、アパーチャコントロール量apgain’がlimit levelより小さい場合（図７Ｂにおいて、実線で示す反射率ゲイン係数テーブル）は、apgain’がアパーチャコントロール量apgainとして出力される。一方、アパーチャコントロール量apgain’がlimit levelより大きい場合（図７Ｂにおいて、点線で示す反射率ゲイン係数テーブルのlimit levelより大きくなる部分）は、limit levelがアパーチャコントロール量apgainとして出力される。

図２の説明に戻る。アパーチャコントローラ２３は、反射率ゲイン係数算出部３５により決定された適応エリアに基づいて、超低輝度および低輝度のブーストエリア外に適応されるように、カメラ信号処理部１２から入力された輝度信号Ｙ１の照明成分レベル依存のアパーチャ補正を行い、加算器３６に供給する。

加算器３６は、加算器２２から供給された信号Ｒ（原信号から照明成分が差し引かれたテクスチャ成分）に、アパーチャコントローラ２３から供給されたアパーチャ補正された輝度信号を加算し、加算器３７に供給する。加算器３７は、加算器３６から供給されたアパーチャ補正後のテクスチャ成分に、加算器３４から供給されたゲイン最適化照明成分（信号Ｔ（Ｌ）’）を加算し、得られたダイナミックレンジ圧縮後の輝度信号Ｙ２を記録フォーマット処理部１４に出力する。

クロマゲイン係数算出部３８は、クロマゲイン係数テーブルを参照し、ブーストした輝度信号のうち、特に低輝度レベルにのったクロマ信号に対して乗算するゲイン量を決定し、それを乗算器３９に供給する。

図８Ａは、クロマゲイン係数算出部３８が保持するクロマゲイン係数テーブルの例を示している。同図において、横軸は、入力輝度レベルを表わし、縦軸は、クロマゲイン量を表わし、この縦軸の値には、１のオフセットがはかされている（後述する図８Ｂにおいても同様とする）。図８Ｂは、クロマゲイン係数算出部３８が保持する係数テーブルと調整パラメータの関係を説明するための図である。図８Ｂに示されるように、調整パラメータＢは、クロマゲイン係数テーブルの最大ゲイン量を決定するパラメータを表わしている（図中矢印Ｂ）。ここで、図８Ｂに示されるクロマゲイン係数テーブルにおいて、８ビットに正規化された入力輝度レベル（横軸）をｘとすると、クロマゲイン量cgain（縦軸）は、例えば、次式（４）で表される。ただし、Ｂは、クロマゲイン係数テーブルの最大ゲイン量を表わしている。

図２の説明に戻る。乗算器３９は、入力されたクロマ信号Ｃ１に、クロマゲイン係数算出部３８から供給されたゲイン量を乗算し、HPF（Highpass Filter）４１および加算器４３に供給する。なお、図８Ｂに示したクロマゲイン係数テーブルにおいて、縦軸の値には、１のオフセットがはかされているため、例えば、調整パラメータＢが０．０の場合、クロマ信号が入力値のまま乗算器３９から出力される。

HPF４１は、乗算器３９から供給されたクロマ信号の高域成分を抽出し、それを乗算器４２に供給する。クロマエリア判別部４０は、ブーストしたエリアの輝度信号にのったクロマ信号に対し、LPFをかけるエリアを選択し、それを乗算器４２に供給する。

図９は、クロマエリア判別部４０が選択に用いる判別エリアの例を示している。同図において、横軸は、入力輝度レベルを表わし、縦軸は、クロマエリアを表わしている。図９に示されるように、判別エリアは、ブーストエリアと非ブーストエリアがリニアに変化されている。これにより、LPFのかかり具合が調整される。ここで、図９に示される判別エリアにおいて、８ビットに正規化された入力輝度レベル（横軸）をｘとすると、クロマエリアcarea（縦軸）は、例えば、次式（５）で表される。

図２の説明に戻る。乗算器４２は、HPF４１から供給された高域成分のクロマ信号に、クロマエリア判別部４０から供給されたLPFをかけるエリアを乗算し、それを加算器４３に供給する。加算器４３は、乗算器３９から供給されたクロマ信号から、乗算器４２から供給された高域成分のクロマ信号を減算（すなわち、低域レベル部分のクロマ信号に対してLPF処理）することでクロマノイズを低減し、得られたダイナミックレンジ圧縮後のクロマ信号Ｃ２を記録フォーマット処理部１４に出力する。

図２の例では、加算器２５、乗算器２６、照明成分オフセットテーブル２７、および乗算器２８が、超低域の輝度レベルのブースト量を決定するブロックを構成し、加算器２９、乗算器３０、照明成分オフセットテーブル３１、および乗算器３２が、低域の輝度レベルのブースト量を決定するブロックを構成しているが、これは一例であり、少なくとも、低輝度のブースト量を決定する１つのブロックが構成されていれば、その数は、１つでも、２つ以上（複数）でもよい。

次に、図１０のフローチャートを参照して、ダイナミックレンジ圧縮部１３が実行する、輝度信号の圧縮処理について説明する。

ステップＳ１において、エッジ検出機能付LPF２１は、カメラ信号処理部１２より入力された画像データのうち、輝度信号Ｙ１の画素値の変化が急峻なエッジを検出し（図３Ｂ）、そのエッジを保存したまま輝度信号Ｙ１を平滑化し、照明成分（信号Ｌ）を抽出する。ここで、エッジ検出機能付LPF２１は、図４に示したように、注目画素５１がエッジ方向のレベル差内（範囲Ｂ）であるか否かに応じて、輝度信号Ｙ１を平滑化するか否かを判断する。ステップＳ２において、加算器２２は、カメラ信号処理部１２より入力された輝度信号Ｙ１（原信号）から、ステップＳ１の処理により抽出された照明成分を減算し、テクスチャ成分（信号Ｒ）を分離する。

ステップＳ３において、アパーチャコントローラ２３は、反射率ゲイン係数算出部３５により決定された適応エリア（図７Ｂ）に基づいて、超低輝度および低輝度のブーストエリア外に適応されるように、カメラ信号処理部１２から入力された輝度信号Ｙ１の照明成分レベル依存のアパーチャ補正を行う。ステップＳ４において、加算器３３は、乗算器２８を介して照明成分オフセットテーブル２７から供給された、オフセット量、ゲイン量、および最大ゲイン量が調整された超低域の輝度レベルのブースト量を決定するオフセット量ofst1（図５Ｂ）と、乗算器３２を介して照明成分オフセットテーブル３１から供給された、オフセット量、ゲイン量、および最大ゲイン量が調整された低域の輝度レベルのブースト量を決定するオフセット量ofst2（図６Ｂ）を加算し、照明成分加減算量Ｔ（Ｌ）を算出する。

ステップＳ５において、加算器３４は、ステップＳ１の処理により抽出された照明成分に、ステップＳ４の処理により算出された照明成分加減算量Ｔ（Ｌ）を加算し、ゲイン最適化照明成分（信号Ｔ（Ｌ）’）を取得する。ステップＳ６において、加算器３７は、ステップＳ３の処理によりアパーチャ補正されたテクスチャ成分に、ステップＳ５の処理により取得されたゲイン最適化照明成分（信号Ｔ（Ｌ）’）を加算し、ダイナミックレンジ圧縮後の出力輝度信号Ｙ２を取得する。

以上の処理により取得されたダイナミックレンジ圧縮後の出力輝度信号Ｙ２が、記録フォーマット処理部１４に出力される。

次に、図１１のフローチャートを参照して、ダイナミックレンジ圧縮部１３が実行する、クロマ信号の圧縮処理について説明する。

ステップＳ２１において、クロマゲイン係数算出部３８は、カメラ信号処理部１２より入力された画像データのうち、図１０のステップＳ１の処理により抽出された輝度信号Ｙ１の照明成分から、クロマ信号Ｃ１の増幅量（ゲイン量）を算出する（図８Ｂ）。ステップＳ２２において、クロマエリア判別部４０は、図１０のステップＳ１の処理により抽出された輝度信号Ｙ１の照明成分から、クロマ信号Ｃ１のノイズ低減エリア（すなわち、LPFをかけるエリア）を選択する（図９）。

ステップＳ２３において、加算器４３は、ステップＳ２２の処理により選択されたノイズ低減エリアに基づいて、ゲインがかけられた低輝度レベルのクロマ信号のクロマノイズを低減し、ダイナミックレンジ圧縮後のクロマ信号Ｃ２を取得する。

以上の処理により取得されたダイナミックレンジ圧縮後の出力クロマ信号Ｃ２が、記録フォーマット処理部１４に出力される。

次に、以上の圧縮処理を施した場合の処理結果について、図１２および図１３を参照して説明する。

図１２Ａは、０乃至２５５の範囲で変動する８ビットレンジの入力画像データに対して、ビット圧縮による影響を考慮せずに単純に低輝度をブースト処理した場合の輝度成分のヒストグラムの例を示している。図１２Ｂは、０乃至２５５の範囲で変動する８ビットレンジの入力画像データに対して、本発明により圧縮処理した場合の輝度成分のヒストグラムの例を示している。図１２Ｃは、図１２Ａおよび図１２Ｂの累積ヒストグラムの例を示しており、同図において、Ｈ１は、図１２Ａの累積ヒストグラムを示し、Ｈ２は、図１２Ｂの累積ヒストグラムを示している。

単純なヒストグラムイコライゼーションの処理の場合、低輝度（図中、横軸方向の左側部分）にデータが集中している（図１２Ａ）。これに対して、本発明の圧縮処理を適用することにより、高輝度側（図中、横軸方向の右側部分）のヒストグラム形状は保たれたまま、低輝度側の画素データがヒストグラム上で適切に右方向にシフトされている（図１２Ｂ）。すなわち、図１２Ｃに示されるように、高輝度側（図中、横軸方向の右側部分）では、累積ヒストグラムＨ１と累積ヒストグラムＨ２の形状がほぼ同じとされているが、低輝度側（図中、横軸方向の左側部分）では、累積ヒストグラムＨ１より累積ヒストグラムＨ２の方が、右方向にシフトされていることがわかる。

図１３Ａは、−１２８乃至１２７の範囲で変動する８ビットレンジの入力画像データに対して、ビット圧縮による影響を考慮せずに単純に低輝度をブースト処理した場合のクロマ成分のヒストグラムの例を示している。図１３Ｂは、−１２８乃至１２７の範囲で変動する８ビットレンジの入力画像データに対して、本発明により圧縮処理した場合のクロマ成分のヒストグラムの例を示している。ただし、ブーストされるレベル域の変動を詳細に示すため，図１３Ａおよび図１３Ｂでは、−５０乃至５０のレベル範囲のヒストグラムが図示されている。

単純なヒストグラムイコライゼーションの処理の場合、低レベル（図中、横軸方向の中央部分）のクロマ成分は、ノイズの影響によりヒストグラムが遷移せず、くし型の形状をなしている（図１３Ａ）。これに対して、本発明の圧縮処理を適用することにより、輝度成分のブースト域に対応してクロマ成分に適切なゲインアップがかけられるとともに、ノイズが低減されるため、ヒストグラムが中心（低レベル域）から外側に向かって滑らかに遷移している（図１３Ｂ）。

これらの結果からも判る通り、鮮鋭度を損なうことなくコントラストを向上し、撮像されたディジタル画像を適切に圧縮することができる。

また、図示は省略するが、例えば、１０ビットレンジなどのように入力レンジが増えると、低輝度部も潜在的に階調を持つことになるが、本発明の圧縮処理を適用することにより、ブースト部分に対しても、より滑らかな階調の画像を得ることができる。

以上のように、ディジタルビデオカメラなどのディジタル画像記録装置において、本発明を適用することにより、固体撮像素子１１によって撮像されたディジタル画像に対し、従来では輝度値が低くコントラストが得られなかった部分の画像データのうち、エッジを保存したまま、そのエッジ以外の部分の画像データを増幅することができる。これにより、記録レンジよりも広い入力レンジを持つカメラ信号処理システムの輝度信号およびクロマ信号に対しても、鮮鋭度を損なうことなくコントラストを向上し、記録レンジへと適切に圧縮することが可能となる。

また、本発明を適用することにより、輝度成分を増幅したエリアにのっているクロマ信号に対しても、適切な増幅が行われる。これにより、同時にクロマノイズの低減を図ることができるため、単に白浮きした画像ではない、自然なダイナミックレンジ画像が獲得できる。さらに、輝度成分の増幅部分をオフセット量のテーブルとして保持することにより、低輝度および超低輝度部分のブースト処理を加算処理で実現することができるため、処理負荷を低減することが可能となる。

上述したように、これらの一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。この場合、例えば、ダイナミックレンジ圧縮部１３は、図１４に示されるようなコンピュータ１００により実現される。

図１４において、CPU(Central Processing Unit)１０１は、ROM１０２に記憶されているプログラム、または記憶部１０８からRAM(Random Access Memory)１０３にロードされたプログラムに従って、各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU１０１、ROM１０２、およびRAM１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インタフェース１０５も接続されている。

入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイなどよりなる出力部１０７、記憶部１０８、通信部１０９が接続されている。
通信部１０９は、ネットワークを介しての通信処理を行う。

入出力インタフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１０８にインストールされる。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体は、図１４に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc-Read Only Memory）、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（MD(Mini-Disc)（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア１１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０３または記憶部１０８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記憶されるプログラムを記述するステップは、含む順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表わすものである。

Claims (7)

1. 入力画像のうち、輝度信号の画素値の変化が急峻なエッジを保存したまま輝度信号を平滑化し、照明成分を抽出する抽出手段と、
   前記輝度信号、および前記抽出手段により抽出された前記照明成分に基づいて、テクスチャ成分を分離する分離手段と、
   前記抽出手段により抽出された前記照明成分に基づいて、照明成分加減算量を算出する第１の算出手段と、
   前記照明成分、および前記第１の算出手段により算出された前記照明成分加減算量に基づいて、ゲイン最適化照明成分を取得する第１の取得手段と、
   前記分離手段により分離された前記テクスチャ成分、および前記第１の取得手段により取得された前記ゲイン最適化照明成分に基づいて、出力輝度信号を取得する第２の取得手段と
   を備え、
   前記抽出手段は、注目画素を含む周囲の画素の上方向、下方向、左方向、および右方向の代表値を算出し、算出された前記上方向と下方向の代表値の差分値、および前記左方向と右方向の代表値の差分値に基づいて、エッジ方向を検出し、検出された前記エッジ方向に関し、前記輝度信号を平滑化するか否かを判断し、
   前記第１の算出手段は、
   前記照明成分のレベルが、０から所定の第１のレベル値まで増加し、前記第１のレベル値から前記第１のレベル値よりも大の値である第２のレベル値まで減少し、前記第２のレベル値以降で０となる第１の入出力関数に前記照明成分を入力して得られる出力値を第１のオフセット量として算出し、
   前記照明成分のレベルが、０から前記第２のレベル値よりも大の値である第３のレベル値まで増加し、前記第３のレベル値から前記第３のレベル値よりも大の値である第４のレベル値まで減少し、前記第４のレベル値以降で０となる第２の入出力関数に前記照明成分を入力して得られる出力値を第２のオフセット量として算出し、
   前記第１のオフセット量と前記第２のオフセット量とを加算することにより前記照明成分加減算量を算出する
   ことを特徴とする画像処理装置。
2. 前記抽出手段により抽出された前記照明成分に基づいて、前記入力画像のうち、クロマ信号に対するクロマ信号増幅量を算出する第２の算出手段と、
   前記抽出手段により抽出された前記照明成分に基づいて、前記クロマ信号のノイズ低減エリアを選択する選択手段と、
   前記第２の算出手段により算出された前記クロマ信号増幅量によって増幅された前記クロマ信号、および前記選択手段により選択された前記ノイズ低減エリアに基づいて、出力クロマ信号を取得する第３の取得手段と
   をさらに備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記抽出手段により抽出された前記照明成分から、アパーチャ補正のゲイン量を算出するゲイン算出手段と、
   前記ゲイン算出手段により算出された前記ゲイン量に基づいて、前記分離手段により分離された前記テクスチャ成分をアパーチャ補正する補正手段と
   をさらに備えることを特徴とする請求項１に記載の画像処理装置。
4. 前記第１の算出手段は、前記第１および第２の入出力関数を可変に調整する調整手段を有する
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記第１の算出手段は、入力信号のレベル毎に、１つの処理ブロックまたは複数の処理ブロックで構成されている
   ことを特徴とする請求項１に記載の画像処理装置。
6. 入力画像のうち、輝度信号の画素値の変化が急峻なエッジを保存したまま輝度信号を平滑化し、照明成分を抽出する抽出ステップと、
   前記輝度信号、および前記抽出ステップの処理により抽出された前記照明成分に基づいて、テクスチャ成分を分離する分離ステップと、
   前記抽出ステップの処理により抽出された前記照明成分に基づいて、照明成分加減算量を算出する第１の算出ステップと、
   前記照明成分、および前記第１の算出ステップの処理により算出された前記照明成分加減算量に基づいて、ゲイン最適化照明成分を取得する第１の取得ステップと、
   前記分離ステップの処理により分離された前記テクスチャ成分、および前記第１の取得ステップの処理により取得された前記ゲイン最適化照明成分に基づいて、出力輝度信号を取得する第２の取得ステップと
   を含み、
   前記抽出ステップにおいて、注目画素を含む周囲の画素の上方向、下方向、左方向、および右方向の代表値を算出し、算出された前記上方向と下方向の代表値の差分値、および前記左方向と右方向の代表値の差分値に基づいて、エッジ方向を検出し、検出された前記エッジ方向に関し、前記輝度信号を平滑化するか否かを判断し、
   前記第１の算出ステップにおいて、
   前記照明成分のレベルが、０から所定の第１のレベル値まで増加し、前記第１のレベル値から前記第１のレベル値よりも大の値である第２のレベル値まで減少し、前記第２のレベル値以降で０となる第１の入出力関数に前記照明成分を入力して得られる出力値を第１のオフセット量として算出し、
   前記照明成分のレベルが、０から前記第２のレベル値よりも大の値である第３のレベル値まで増加し、前記第３のレベル値から前記第３のレベル値よりも大の値である第４のレベル値まで減少し、前記第４のレベル値以降で０となる第２の入出力関数に前記照明成分を入力して得られる出力値を第２のオフセット量として算出し、
   前記第１のオフセット量と前記第２のオフセット量とを加算することにより前記照明成分加減算量を算出する
   ことを特徴とする画像処理方法。
7. 入力画像のうち、輝度信号の画素値の変化が急峻なエッジを保存したまま輝度信号を平滑化し、照明成分を抽出する抽出ステップと、
   前記輝度信号、および前記抽出ステップの処理により抽出された前記照明成分に基づいて、テクスチャ成分を分離する分離ステップと、
   前記抽出ステップの処理により抽出された前記照明成分に基づいて、照明成分加減算量を算出する第１の算出ステップと、
   前記照明成分、および前記第１の算出ステップの処理により算出された前記照明成分加減算量に基づいて、ゲイン最適化照明成分を取得する第１の取得ステップと、
   前記分離ステップの処理により分離された前記テクスチャ成分、および前記第１の取得ステップの処理により取得された前記ゲイン最適化照明成分に基づいて、出力輝度信号を取得する第２の取得ステップと
   を含み、
   前記抽出ステップにおいて、注目画素を含む周囲の画素の上方向、下方向、左方向、および右方向の代表値を算出し、算出された前記上方向と下方向の代表値の差分値、および前記左方向と右方向の代表値の差分値に基づいて、エッジ方向を検出し、検出された前記エッジ方向に関し、前記輝度信号を平滑化するか否かを判断し、
   前記第１の算出ステップにおいて、
   前記照明成分のレベルが、０から所定の第１のレベル値まで増加し、前記第１のレベル値から前記第１のレベル値よりも大の値である第２のレベル値まで減少し、前記第２のレベル値以降で０となる第１の入出力関数に前記照明成分を入力して得られる出力値を第１のオフセット量として算出し、
   前記照明成分のレベルが、０から前記第２のレベル値よりも大の値である第３のレベル値まで増加し、前記第３のレベル値から前記第３のレベル値よりも大の値である第４のレベル値まで減少し、前記第４のレベル値以降で０となる第２の入出力関数に前記照明成分を入力して得られる出力値を第２のオフセット量として算出し、
   前記第１のオフセット量と前記第２のオフセット量とを加算することにより前記照明成分加減算量を算出する
   処理をコンピュータに実行させることを特徴とするプログラム。

Images