JP6200687B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理装置および画像処理方法に関する。

近年、短時間露光の画像（以下、単に「短露光画像」とも言う。）と長時間露光の画像（以下、単に「長露光画像」とも言う。）を連続して撮影して合成することで、センサが撮影可能なダイナミックレンジを超えたダイナミックレンジを捉えた画像を得るＷＤＲ（ワイドダイナミックレンジ）もしくはＨＤＲ（ハイダイナミックレンジ）という撮影機能が増えてきている。かかる撮影機能は、逆光の構図など明暗比が非常に大きいシーンでは特に大きな効果があり、例えば、１枚で撮影できる明るさの範囲が１２ｂｉｔ程度であっても、複数枚を合成することで１６ｂｉｔや２０ｂｉｔといった非常に広いダイナミックレンジを捉えることができる。

しかし、そのようなハイダイナミックレンジ信号を作っても、表示デバイスは１０ｂｉｔ程度の表示能力しか持たず、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）フォーマットを使用した場合には８ｂｉｔしか保存できないという現状がある。そこで、ハイダイナミックレンジ信号を強力にレンジ圧縮する必要が生じる。システムが複雑になるのを防ぐために、レンジ圧縮は極力センサに近い場所、つまりベイヤーまたはＲＡＷの状態のデータを対象に行うのが好ましい。

ＲＡＷデータに対してダイナミックレンジを圧縮する手法としては、特許文献１に記載の技術（以下、単に「従来技術」と呼ぶ。）がある。この技術では、２×２画素のＲＡＷデータを単位として輝度信号を算出し、この輝度信号に対してニー圧縮特性を適用し、ニー前後の圧縮比を算出し、この圧縮比を元の信号に乗じる。この技術によれば、隣接する画素間の信号レベルの比率を保ちながらダイナミックレンジを圧縮することが可能である。この従来技術では補色センサについて主に想定されているが、従来技術はＲＧＢのベイヤーセンサに対しても適用可能である。

特開２００３−３０４５５６号公報

しかしながら、従来技術では、広大なダイナミックレンジを持つ信号を所望のレベルの範囲に圧縮できない場合がある。また、画像全体を強く圧縮した場合には２×２画素単位で画素レベルが揃ってしまうという弊害を生じる傾向があり、画像全体を強く圧縮するとこの弊害が目立つようになり、画像にジャギーが出てしまったり画像の粒状感が増してしまったりするなどといった解像度の低下を引き起こす。

そこで、本発明は、広大なダイナミックレンジを持つ信号を所望のレベルの範囲に圧縮でき、画像全体を強く圧縮した場合であっても画像にジャギーが出てしまったり画像の粒状感が増してしまったりするなどといった解像度の低下の度合いを軽減することが可能な技術を提供する。また、本発明は、彩度と解像度のバランスをユーザが調整可能な技術を提供する。

本発明のある実施形態によれば、ＲＧＢベイヤー信号から領域毎に最大画素値を検出する検出部と、前記最大画素値に基づいて前記領域毎にゲインを算出する第１の算出部と、前記第１の算出部により算出された前記ゲインを前記ＲＧＢベイヤー信号に乗じる演算を前記領域毎に行う第１の乗算部と、を備える、画像処理装置が提供される。かかる構成により、広大なダイナミックレンジを持つ信号を所望のレベルの範囲に圧縮できる。その結果、画像の明るさを適正に維持し、画像の彩度を適正に維持することが可能となる。

また、前記領域は、縦２画素および横２画素から構成されてもよい。かかる構成により、前記領域が縦２画素および横２画素より広い領域から構成される場合と比較して、解像度の低下の度合いを軽減することが可能となる。

また、前記画像処理装置は、画素値に基づいて画素毎にゲインを算出する第２の算出部と、前記第２の算出部により算出された前記ゲインを前記ＲＧＢベイヤー信号に乗じる演算を画素毎に行う第２の乗算部と、前記第１の乗算部による演算結果と前記第２の乗算部による演算結果とを混合する混合部と、をさらに備えてもよい。かかる構成により、画像全体を強く圧縮した場合であっても画像にジャギーが出てしまったり画像の粒状感が増してしまったりするなどといった解像度の低下の度合いを軽減することが可能となり、解像度と彩度とがバランスした画像を得ることができる。

また、前記混合部は、ユーザにより指定された混合比率に基づいて、前記第１の乗算部による演算結果と前記第２の乗算部による演算結果とを混合してもよい。かかる構成により、ユーザの求める画質傾向、撮影目的、撮影対象などに応じて彩度と解像度のバランスを柔軟に調整することが可能となる。

また、例えば、彩度が低いほど、彩度よりも解像度をより重視すればよいことが想定される。したがって、前記混合部は、前記第１の乗算部による演算結果から変換される彩度に応じて、前記第１の乗算部による演算結果と前記第２の乗算部による演算結果とを混合してもよい。

また、例えば、彩度が所定の閾値よりも低い場合には、彩度を重視しなくてもよいことが想定される。したがって、前記混合部は、前記彩度が所定の閾値よりも低い場合には、前記第２の乗算部による演算結果を出力してもよい。

また、本発明の別の実施形態によれば、ＲＧＢベイヤー信号から領域毎に最大画素値を検出するステップと、前記最大画素値に基づいて前記領域毎にゲインを算出するステップと、前記ゲインを前記ＲＧＢベイヤー信号に乗じる演算を前記領域毎に行うステップと、
を含む、画像処理方法が提供される。かかる方法によれば、広大なダイナミックレンジを持つ信号を所望のレベルの範囲に圧縮できる。その結果、画像の明るさを適正に維持し、画像の彩度を適正に維持することが可能となる。

以上説明したように、本発明によれば、広大なダイナミックレンジを持つ信号を所望のレベルの範囲に圧縮でき、画像全体を強く圧縮した場合であっても画像にジャギーが出てしまったり画像の粒状感が増してしまったりするなどといった解像度の低下の度合いを軽減することが可能である。また、本発明によれば、彩度と解像度のバランスをユーザが調整することが可能である。

一般的なニー処理の特性を示す図である。 本発明の実施形態に係る画像処理装置による圧縮処理の特性の一例を示す図である。 本発明の実施形態に係る画像処理装置の機能構成を示す図である。 ＲＧＢベイヤー信号の構成例を示す図である。 輝度とゲインとの関係の例を示す図である。 圧縮前と圧縮後とにおけるＲＧＢの値の例を示す図である。 画像処理装置１が画面に表示させるＧＵＩの例を示す図である。 本発明の実施形態に係る画像処理装置の動作の流れの例を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

まず、本発明の実施形態の前提としては、強力にダイナミックレンジを圧縮するということが挙げられる。従来技術はニー処理を目的とした技術であるが、一般的なニー処理の特性を図１に示した。図１において、横軸は入力信号のデータ量を示し、縦軸は出力信号のデータ量を示している。一般的なニー処理は、低輝度から中輝度にかけては入出力が１：１対応のままとして、ＮＰ（ニーポイント）より上の高輝度の領域のみをレベル圧縮するものであり、Ｉｍａｘの値はＯｍａｘまで圧縮されるものの、圧縮比はあまり大きくなくゆるやかな圧縮である。

しかし、本発明の実施形態が前提とするのは、１６ｂｉｔや２０ｂｉｔといった広大なダイナミックレンジを持つ信号を１２ｂｉｔにするといった強力な圧縮を行うものである。図２にその特性例を図示した。図２においても、横軸は入力信号のデータ量を示し、縦軸は出力信号のデータ量を示している。図２を参照すると、線形の部分というのはほとんどなく、２の２０乗（＝１，０４８，５７６）のダイナミックレンジを２の１２乗（＝４，０９６）まで強力に圧縮する。従来技術が前提としていた圧縮比とは全く異なる圧縮比である。

このような前提において従来技術を適用すると、以下に述べるような２つの問題（１）および（２）が生じる。

（１）従来技術ではＲＡＷデータから算出した輝度信号に対してニー圧縮特性を定義しているが、高い色純度の領域、特に赤や青の領域では、算出される輝度信号がかなり小さい値になってしまう。例として１６ｂｉｔの信号を１２ｂｉｔに圧縮するケースを考える。Ｒ、Ｇ、Ｂがそれぞれ（０、３２０００、６５５３０）のようなレベルを持っている高純度の青を持つ領域に対し、輝度信号を算出すると２５７００程度となる。元の画像信号は６５５３０という１６ｂｉｔの飽和近くのレベルを持っているのに、画素レベルの評価としては２５７００程度だと判定されてしまう。

この「２５７００」という数値から圧縮比を定義すると、「６５５３０」に対する圧縮比よりも小さいものとなってしまい、元の（０、３２０００、６５５３０）の画像信号に対して十分に圧縮が行われず、所望の１２ｂｉｔのダイナミックレンジの上限である４０９５を大きく超えた画素レベルが残ってしまう。４０９５を超えた画素レベルが残った場合、その最大値が４０９５になるように再度圧縮演算を行えば画像全体の明るさが低下して暗い画像になってしまうし、４０９５以上を切り捨てた場合にはその領域の色純度が低下し、最悪では白飛びを起こしてしまう。

（２）従来技術では２×２画素を単位に同一の圧縮比を適用しており、隣接する信号の比率を変えずにスケールだけを変えるため、色相や彩度を保ちやすいというメリットを有する。しかし、２×２画素単位で画素レベルが揃ってしまうという弊害を生じる傾向も持っている。従来技術のように高輝度領域のみが処理対象であったり、小さい圧縮比であったりする場合には目立たないが、画像全体を強く圧縮するとこの弊害が目立つようになり、画像にジャギーが出てしまったり画像の粒状感が増してしまったりするなどといった解像度の低下を引き起こす。

そこで、本明細書においては、広大なダイナミックレンジを持つ信号を所望のレベルの範囲に圧縮でき、画像全体を強く圧縮した場合であっても画像にジャギーが出てしまったり画像の粒状感が増してしまったりするなどといった解像度の低下の度合いを軽減する技術を提案する。また、彩度と解像度のバランスをユーザが調整可能な技術を提案する。

続いて、本発明の実施形態に係る画像処理装置１の機能構成について説明する。図３は、本発明の実施形態に係る画像処理装置１の機能構成を示す図である。図１に示すように、画像処理装置１は、センサ１０、ＷＤＲ合成部２０、検出部３０、第１の算出部４１、第２の算出部４２、第１の乗算部５１、第２の乗算部５２および混合部６０を備える。以下、画像処理装置１が備える各機能ブロックの機能について順次詳細に説明する。

センサ１０は、外部からの光を撮像素子の受光平面に結像させ、結像された光を電荷量に光電変換し、当該電荷量を電気信号に変換するイメージセンサにより構成される。イメージセンサの種類は特に限定されず、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）であってもよいし、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）であってもよい。

具体的には、センサ１０は、長露光画像と短露光画像とを連続撮影する。長露光画像と短露光画像とが同時に撮影される場合、図３に示すように、画像処理装置１は、センサ１０から長露光画像を出力するための系統と短露光画像を出力するための系統との２つの系統を有する。しかし、センサ１０は、長露光画像と短露光画像とを時分割で出力してもよい。その場合には、画像処理装置１は、長露光画像および短露光画像を出力するための共通の系統を１つ有していればよい。それぞれのシャッタータイムは、例えば、撮影対象のダイナミックレンジやセンサ仕様などによって決まる。

ここで、本発明の実施形態においては、短露光画像および長露光画像という用語を使用するが、これらの用語は、撮影された２つの画像それぞれの絶対的な露光時間を限定するものではない。したがって、露光時間の異なる２つの画像が撮影された場合に、当該２つの画像のうち、相対的に露光時間が短い画像が短露光画像に相当し、相対的に露光時間が長い画像が長露光画像に相当する。

ＷＤＲ合成部２０は、長露光画像と短露光画像とを合成することによって入力信号のダイナミックレンジを拡張する。合成対象となる画像は、２枚に限定されず、３枚以上であってもよい。例えば、ＷＤＲ合成部２０は、選択情報に基づいて長露光画像と短露光画像とを合成することによりＷＤＲ画像を生成する。長露光画像と短露光画像とのいずれかを選択するアルゴリズムとしては様々なアルゴリズムが想定される。

例えば、長露光画像において飽和してしまった領域は短露光画像においては飽和していない可能性が高いため、当該領域の使用画像としては短露光画像を選択すればよい。しかし、この処理だけでは、大きな動きがある領域では輪郭が二重になるなどといったアーティファクトが発生し得る。そのため、動きを検出して輪郭が二重になる現象を低減する処理を行ってもよい。かかる処理を含む、短露光画像と長露光画像とのいずれかを選択するアルゴリズムは特に限定されない。

なお、上記したように選択情報は短露光画像および長露光画像のいずれを選択するかを示す２値データの集合であってもよいが、長露光画像および短露光画像それぞれをどの程度の比率で混合するかを示す混合比率の集合であってもよい。例えば、長露光画像の飽和度合いが強いほど、短露光画像の混合比率を大きくしてもよい。また、短露光画像または長露光画像の動きが大きいほど、短露光画像の混合比率を大きくしてもよい。短露光画像と長露光画像との混合比率を算出するアルゴリズムも特に限定されない。

例えば、長露光画像の混合比率をαとした場合、ＷＤＲ合成部２０は、長露光画像と短露光画像とにおいて対応する画素について、α×（長露光画像の画素値）＋（１−α）×（短露光画像の画素値）を算出し、算出結果を合成後の画像（ＷＤＲ画像）とすることができる。なお、混合比率は画素毎に異なっていてもよい。また、選択情報は、例えば、画像処理装置１の内部または外部において生成されればよい。また、ＷＤＲ合成部２０による合成手法は特に限定されない。

センサ１０からの出力信号が１２ｂｉｔの場合、ＷＤＲ合成部２０によって合成された信号は、例えば、１６ｂｉｔや２０ｂｉｔといった広いダイナミックレンジに拡張されている。検出部３０は、ＲＧＢベイヤー信号から領域毎に最大画素値を検出する。ここでは、ＲＧＢベイヤー信号は、ＷＤＲ合成部２０によって合成された信号である場合を想定しているが、ＲＧＢベイヤー信号はＷＤＲ合成部２０により合成された信号以外であってもよい。

図４は、ＲＧＢベイヤー信号の構成例を示す図である。領域のサイズは、特に限定されないが、例えば、縦２画素および横２画素から構成されていてもよい。かかる場合、検出部３０は、縦２画素×横２画素を単位とした４画素の画素値のうちの最大値を検出する。検出部３０は、最大画素値を検出する際、ＲＧＢの値にホワイトバランスゲインを乗じた後の値を画素値として用いるのが望ましい。

第１の算出部４１は、最大画素値に基づいて領域毎にゲインを算出する。ゲインの算出手法は特に限定されないが、例えば、第１の算出部４１は、図５に示したような輝度とゲインとの関係に基づいて、最大画素値を有する画素の輝度に対応するゲインを算出すればよい。ゲインは小数点以下の数値になり得るため、ゲインの算出は必要な演算精度を考慮して整数乗算とシフト演算で構成するのが望ましい。また、入出力特性はＬＵＴ（Ｌｏｏｋｕｐ Ｔａｂｌｅ）で構成してもよいが、エントリーポイントを２の２０乗も用意すると回路規模が大き過ぎてしまうため、離散的にポイントを指定して線形補間して入出力特性を作るのが望ましい。

第１の乗算部５１は、第１の算出部４１により算出されたゲインをＲＧＢベイヤー信号に乗じる演算を領域毎に行う。例えば、第１の乗算部５１は、図５に示したような関係に基づいて算出されたゲインを用いれば、第１の乗算部５１に入力されたＲＧＢベイヤー信号のデータ量と第１の乗算部５１による乗算結果のデータ量との関係が、図２に示したような入出力特性を満たすように乗算を行うことができる。

以上に説明したように、検出部３０、第１の算出部４１および第１の乗算部５１が有する機能により、領域毎に検出された最大画素値に基づいてゲインが算出され、そのゲインがＲＧＢベイヤー信号に乗じられる。そのため、ＲＧＢベイヤー信号を所望のレベルの範囲に圧縮することが可能となり、画像の明るさを適正に維持し、画像の彩度を適正に維持することが可能となる。また、以下に説明するように、第２の算出部４２、第２の乗算部５２および混合部６０による機能により、解像度の低下の度合いを軽減してもよい。

第２の算出部４２は、画素値に基づいて画素毎にゲインを算出する。ゲインの算出手法は特に限定されないが、例えば、第２の算出部４２は、図５に示したような輝度とゲインとの関係に基づいて、画素の輝度に対応するゲインを算出すればよい。ゲインは小数点以下の数値になり得るため、ゲインの算出は必要な演算精度を考慮して整数乗算とシフト演算で構成するのが望ましい。また、入出力特性はＬＵＴで構成してもよいが、エントリーポイントを２の２０乗も用意すると回路規模が大き過ぎてしまうため、離散的にポイントを指定して線形補間して入出力特性を作るのが望ましい。

第２の乗算部５２は、第２の算出部４２により算出されたゲインをＲＧＢベイヤー信号に乗じる演算を画素毎に行う。例えば、第２の乗算部５２は、図５に示したような関係に基づいて算出されたゲインを用いれば、第２の乗算部５２に入力されたＲＧＢベイヤー信号のデータ量と第２の乗算部５２による乗算結果のデータ量との関係が、図２に示したような入出力特性を満たすように乗算を行うことができる。

混合部６０は、第１の乗算部５１による演算結果と第２の乗算部５２による演算結果とを混合する。第１の乗算部５１による演算結果と第２の乗算部５２による演算結果との混合は、混合比率に基づいてなされればよい。

例えば、第１の乗算部５１による演算結果の混合比率をβとした場合、混合部６０は、第１の乗算部５１による演算結果と第２の乗算部５２による演算結果とにおいて対応する各画素について、β×（第１の乗算部５１による演算結果の画素値）＋（１−β）×（第２の乗算部５２による演算結果の画素値）を算出し、算出結果を混合後の画像とすることができる。なお、混合比率の決定の手法は特に限定されないが、具体的な手法な後に説明する。

なお、混合部６０の後段は、例えば、ベイヤーデータからＲＧＢプレーンを生成するデモザイク部、輪郭強調部、カラーマネージメントなどを含む画像処理エンジンに接続される。混合部６０からの出力信号のデータ量は、例えば、後段に接続される画像処理エンジンへの入力データのサイズに適合するように（例えば、１２ｂｉｔ程度に）調整されるのが好ましい。単純にデータサイズを低下させるだけでは暗い画像に変換されてしまうため、人間の視覚特性に近づくように高輝度側が強く圧縮されるとよい。

本実施形態に係る画像処理装置１の特徴として、ＲＧＢベイヤー信号の領域（例えば、２×２画素）を単位に検出した最大画素値から圧縮比を定義するという点がある。先に挙げた例の、ＲＧＢがそれぞれ（０、３２０００、６５５３０）である領域に対しても、元の信号の「６５５３０」を検出して圧縮比を定義するので、元の信号のダイナミックレンジの上限値６５５３５を、所望の１２ｂｉｔのダイナミックレンジの上限値４０９５に確実に収めることが可能となる。そのため、ＷＤＲ処理された画像が、安定して明るい画像が得やすく、白飛びも起きないというメリットをもたらす。

本実施形態に係る画像処理装置１の２つめの特徴として、ＲＧＢベイヤー信号の領域（例えば、２×２画素）を単位としたゲイン演算の結果と、画素毎にゲイン演算を行った結果とを混合するという点がある。先に述べたように、領域（例えば、２×２画素）を単位としたゲイン演算を行った場合には、彩度を保つことができるが解像度が低下する可能性がある。これに対して、画素毎にゲイン演算を行う手法は、画素レベルの圧縮を確実に行うことが可能であり、解像度の低下も生じないというメリットを有するが、彩度が低下する可能性がある。

圧縮前と圧縮後とにおけるＲＧＢの値の例を図６に示す。図６に示すように、２×２画素毎にゲインをかける場合、ＲＧＢの値の比率が圧縮前とほとんど変わらずにスケールだけが圧縮される。一方、図２に示した特性で画素毎にゲインをかけると、この例では、Ｇの値が３９３０となり、２ｘ２画素毎にゲインをかけた結果と明らかに異なる結果となる。Ｇの値とＢの値が接近するということは、無彩色に近づくということであり、彩度が低下した画像になる。

本発明の実施形態に係る画像処理装置１のように強力なダイナミックレンジ圧縮を行うことを前提とした場合、画素毎にゲインをかける方式は、高輝度・高彩度の領域の彩度を大幅に低下させてしまうという点が大きなデメリットとなる。

以上述べたように、２×２画素を単位としたゲイン演算の結果は「低解像度・高彩度」であり、画素毎のゲイン演算の結果は「高解像度・低彩度」であるため、「解像度」「彩度」という２つの項目について、互いに長所と短所が逆となっている。そこで、本発明の実施形態に係る画像処理装置１は、２つの方式を混合して用いることで、互いの長所を生かしながら短所もカバーした、バランスの良い画像を生成することができる。

仮に、混合比率を１：１とした場合、解像度の低下を５０％、彩度の低下も５０％に抑圧することができる。ここで、混合比率の決定の手法は特に限定されない。例えば、画像処理装置１が自動的に混合比率を決定してもよい。一例として、混合部６０は、第１の乗算部５１による演算結果から彩度への変換を行い、彩度に応じて混合比率を決定してもよい。

例えば、彩度が低くなるにつれて、彩度の重要度が下がることが想定される。したがって、混合部６０は、彩度が低いほど第１の乗算部５２による演算結果の混合比率を低下させてもよい。また、例えば、彩度が所定の閾値よりも低い場合には、彩度を重視しなくてよいことが想定される。したがって、混合部６０は、彩度が所定の閾値よりも低い場合には、第２の乗算部５２による演算結果を出力してもよい。

第１の乗算部５１による演算結果から彩度への変換の手法は、特に限定されない。一例として、第１の乗算部５１による演算結果が示すＲの値、Ｇの値、Ｂの値のうち、最大値をＭＡＸとし、最小値をＭＩＮとした場合、混合部６０は、（彩度）＝（ＭＡＸ−ＭＩＮ）／ＭＡＸにより、第１の乗算部５１による演算結果から彩度への変換を行うことが可能である。

また、彩度と解像度とのどちらを重視するかは、例えば、ユーザの重視する画質傾向や、使用目的、撮影対象などに応じて異なる可能性が想定される。そのため、ユーザが「彩度重視」および「解像度重視」のどちらにどの程度の比重を置くかを決められるようにしてもよい。例えば、第１の乗算部５１による演算はゲインを乗じる演算を領域毎に行う演算であるため、混合部６０は、ユーザにより指定された「彩度重視」の比重を第１の乗算部５１による演算結果の混合比率とすればよい。一方、第２の乗算部５２による演算はゲインを乗じる演算を画素毎に行う演算であるため、混合部６０は、ユーザにより指定された「解像度重視」の比重を第２の乗算部５２による演算結果の混合比率とすればよい。

例えば、画像処理装置１は、図７に示すように、画面にＧＵＩを表示させ、ユーザが「彩度重視」に重きを置く場合は、ユーザによる指定に基づいて２×２画素ゲインの出力の混合比率を上げ、ユーザが「解像度重視」に重きを置く場合は、ユーザによる指定に基づいて画素毎ゲインの出力の混合比率を上げるように制御してもよい。ユーザによる指定は、例えば、所定の入力装置（例えば、タッチパネルなど）を介してなされればよい。

図８は、本発明の実施形態に係る画像処理装置１の動作の流れの例を示す図である。図８を参照しながら、ＷＤＲ合成部２０から検出部３０および第２の算出部４２にＲＧＢベイヤー信号が出力される場合を一例として説明する。図８に示すように、まず、検出部３０は、ＲＧＢベイヤー信号から領域毎に最大画素値を検出する（ステップＳ１）。続いて、第１の算出部４１は、最大画素値に基づいて領域毎にゲインを算出する（ステップＳ２）。第１の乗算部５１は、当該ゲインをＲＧＢベイヤー信号に乗じる第１の演算を領域毎に行う（ステップＳ３）。

また、第２の算出部４２は、ＲＧＢベイヤー信号から画素値に基づいて画素毎にゲインを算出する（ステップＳ４）。続いて、第２の乗算部５２は、当該ゲインをＲＧＢベイヤー信号に乗じる第２の演算を画素毎に行う（ステップＳ５）。混合部６０は、混合比率に基づいて、第１の演算結果と第２の演算結果とを混合する（ステップＳ６）。混合比率を決定する手法としては、上記したように様々な手法を採用することが可能である。

本発明の実施形態によれば、ＲＧＢベイヤー信号から領域毎に最大画素値を検出する検出部３０と、最大画素値に基づいて領域毎にゲインを算出する第１の算出部４１と、第１の算出部４１により算出されたゲインをＲＧＢベイヤー信号に乗じる演算を領域毎に行う第１の乗算部５１と、を備える、画像処理装置１が提供される。かかる構成により、広大なダイナミックレンジを持つ信号を所望のレベルの範囲に圧縮できる。その結果、画像の明るさを適正に維持し、画像の彩度を適正に維持することが可能となる。

また、画像処理装置１は、画素値に基づいて画素毎にゲインを算出する第２の算出部４２と、第２の算出部４２により算出されたゲインをＲＧＢベイヤー信号に乗じる演算を画素毎に行う第２の乗算部５２と、第１の乗算部５１による演算結果と第２の乗算部５２による演算結果とを混合する混合部６０と、をさらに備えてもよい。かかる構成により、画像全体を強く圧縮した場合であっても画像にジャギーが出てしまったり画像の粒状感が増してしまったりするなどといった解像度の低下の度合いを軽減することが可能となり、解像度と彩度とがバランスした画像を得ることができる。

また、混合部６０は、ユーザにより指定された混合比率に基づいて、第１の乗算部５１による演算結果と第２の乗算部５２による演算結果とを混合してもよい。かかる構成により、ユーザの求める画質傾向、撮影目的、撮影対象などに応じて彩度と解像度のバランスを柔軟に調整することが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１ 画像処理装置
１０ センサ
２０ ＷＤＲ合成部
３０ 検出部
４１ 第１の算出部
４２ 第２の算出部
５１ 第１の乗算部
５２ 第２の乗算部
６０ 混合部

Claims (6)

1. ＲＧＢベイヤー信号から領域毎に最大画素値を検出する検出部と、
   前記最大画素値に基づいて前記領域毎にゲインを算出する第１の算出部と、
   前記第１の算出部により算出された前記ゲインを前記ＲＧＢベイヤー信号に乗じる演算を前記領域毎に行う第１の乗算部と、
   画素値に基づいて画素毎にゲインを算出する第２の算出部と、
   前記第２の算出部により算出された前記ゲインを前記ＲＧＢベイヤー信号に乗じる演算を画素毎に行う第２の乗算部と、
   前記第１の乗算部による演算結果と前記第２の乗算部による演算結果とを混合する混合部と、
   を備える、画像処理装置。
2. 前記領域は、縦２画素および横２画素から構成される、
   請求項１に記載の画像処理装置。
3. 前記混合部は、ユーザにより指定された混合比率に基づいて、前記第１の乗算部による演算結果と前記第２の乗算部による演算結果とを混合する、
   請求項１に記載の画像処理装置。
4. 前記混合部は、前記第１の乗算部による演算結果から変換される彩度に応じて、前記第１の乗算部による演算結果と前記第２の乗算部による演算結果とを混合する、
   請求項１に記載の画像処理装置。
5. 前記混合部は、前記彩度が所定の閾値よりも低い場合には、前記第２の乗算部による演算結果を出力する、
   請求項４に記載の画像処理装置。
6. ＲＧＢベイヤー信号から領域毎に最大画素値を検出するステップと、
   前記最大画素値に基づいて前記領域毎にゲインを算出するステップと、
   前記ゲインを前記ＲＧＢベイヤー信号に乗じる演算を前記領域毎に行うステップと、
   画素値に基づいて画素毎にゲインを算出するステップと、
   前記ゲインを前記ＲＧＢベイヤー信号に乗じる演算を画素毎に行うステップと、
   前記領域毎に行われた前記演算の結果と前記画素毎に行われた演算の結果とを混合するステップと、
   を含む、画像処理方法。
   
   

Images