JP4499317B2 - 画像処理システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理システム、より詳しくは、画像を階調変換する画像処理システムに関する。
【０００２】
【従来の技術】
ＣＣＤ等の撮像素子により光電変換したアナログの露光信号を、離散的な階調を備えたデジタルの画像信号にＡ／Ｄ変換する画像処理システムにおいて、被写体の輝度や色を忠実に再現するためには、これらの輝度や色に多くの階調を割り当ててダイナミックレンジの拡大を図れば良い。
【０００３】
しかし、以下に示すような理由により、実際に使用することができる階調数には制限があることが知られている。
【０００４】
まず、第１の理由として、メモリの制限が挙げられる。これは、１つのチャンネルに割り当てる階調数が８ｂｉｔを越えると、通常のアーキテクチャでは倍のメモリのアドレスが必要となり、つまりメモリの容量を増やさなければならなくなる。しかし、デジタルカメラのハードウエアでは、メモリの容量を増やそうとすると、ハードウエアのコストや消費電力が上昇してしまうために、その制限は容易に破ることができない。
【０００５】
次に、第２の理由として、コンピュータの画面上や、プリンタで表現することができる色数には制限があることが挙げられる。各画素を表現することができるデータ量はＲＧＢの場合２４ビットが上限とされており、ＣＭＹＫの場合は３２ビットが上限とされている。この上限に基づいて、各種のデバイスのアーキテクチャが設計されているために、色数をさらに上げる変更は容易ではない。
【０００６】
仮に、上述した内の第１の理由で述べた課題が、メモリのコストが下がって低消費電力タイプのメモリが開発された等の理由により、解決されたとしても、依然として、上記第２の理由で述べた課題はクリアすることができない。
【０００７】
そこで、デジタルカメラでは、撮像素子からＡ／Ｄ変換器を介して得られた１０ｂｉｔもしくはそれ以上のデジタル信号を、階調変換特性に従って８ｂｉｔまで階調を圧縮する処理が行われる。このときに、原画像の階調特性をできるだけ失わないように、階調変換特性が設定されている。
【０００８】
階調変換曲線（トーンカーブ）を設定する手段の具体的な一例としては、特開平８−１８１８８７号公報に記載されているような、高階調域については階調の対数に比例した特性で圧縮を行い、低階調域については階調にほぼ比例した特性で圧縮する技術が挙げられる。
【０００９】
さらに他の例として、ヒストグラムのイコライゼーションと呼ばれるものが挙げられる。これは、あるヒストグラムが与えられている場合に、そのヒストグラムを最も効率良く分離するための階調変換を行うものである。
【００１０】
これらに類似する技術は、例えば特開平７−９９６１９号公報に記載されている。
【００１１】
こうした技術をさらに発展させて、周波数特性と階調のヒストグラムとを参照することにより、被写体の中で最も生かしたい周波数領域を選択して、その領域の階調情報を重視するように階調変換を行う技術が、例えば特開平１１−７５２１２号公報に記載されている。
【００１２】
また、露光条件を異ならせて撮像を２回行うことにより２つの画像を取得し、それぞれの画像の露光比と階調のヒストグラムとを参照して、最も好ましい階調変換特性を設定する技術が、例えば特開２０００−２２８７４７号公報に記載されている。
【００１３】
この特開２０００−２２８７４７号公報に記載されているような、画像全体の輝度のヒストグラムから適切な階調変換特性を求める手段の１つとして、変換後の輝度のヒストグラムが、目標関数としてのガウス分布になるようにする手段がある。
【００１４】
具体的には、次の数式１に示すように、変換前の画像全体のヒストグラムをＨ（Ｌ）とすると、ガウシアンカーネルを用いてこのＨ（Ｌ）をコンボリューションすることにより、ガウス分布をなすヒストグラムＧ（Ｌ）を得るものとなっている。
【００１５】
【数１】

ここに、記号「＊」はコンボリューションを表し、「Ｌ」は輝度信号のレベル値、「ｋ」はどの程度までガウシアン状に変換するかを調整するためのパラメータである。この公報に記載の実施形態においては、ｋとして、例えば元の階調ヒストグラムＨ（Ｌ）の標準偏差の１〜２倍程度の値を用いている。
【００１６】
【発明が解決しようとする課題】
上記特開２０００−２２８７４７号公報に記載されたような、撮影時に露光量を異ならせて２回の露光を行うことにより２枚の画像を取得し、それぞれの適正露光域の輝度ヒストグラムを参照して階調変換特性を行い、階調変換後の画像を合成して広ダイナミックレンジの画像を得る手段は、処理後に得られる階調は理想的となるが、２回の露光の間に被写体が動いてしまった場合には、画像が異って適応することができないことがある。
【００１７】
一方、１度の撮影で得られた画像に基づいて、画像全体のヒストグラムを作成し、該ヒストグラムを参照して階調変換曲線を作成する場合には、画像中で最も階調特性を生かしたい被写体領域を選択することができず、さらに、周波数領域に関しても、ある周波数領域が、撮影者が最も関心のある領域であるかどうかを瞬時に判断することはできない。すなわち、主要被写体は、画像の中心付近に分布する可能性が高いと考えられるが、単純に画像全体のヒストグラムを用いる手段では、画像の中心付近により多くの階調情報や色情報を割り当てて、主要被写体に対して効率の良い階調変換を行うことは困難である。
【００１８】
また、フォーカシングが行われる場合には、例えば風景写真のように画像の全体でシャープなフォーカスが得られている場合と、ポートレート写真のように主要被写体のみに強調してフォーカスが得られている場合とがあり、これらは絞りや焦点位置が異なっている。このような異なるフォーカス状態の何れに対しても、同じように、画像のヒストグラムを作成して階調変換曲線の設定していると、撮影者が期待しているような画像の再現が得られない場合がある。
【００１９】
こうして、単に画像全体の階調を最適化するのではなく、撮影者が最も関心がある主要被写体等の領域に対して、より多くの輝度や彩度の階調を割り当てた主観的に好ましい画像を得る技術が望まれている。
【００２０】
本発明は上記事情に鑑みてなされたものであり、主観的により好ましい画像を得ることができる画像処理システムを提供することを目的としている。
【００２１】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明による画像処理システムは、画像を複数の領域に分割する領域分割手段と、この領域分割手段により分割された領域毎に輝度信号のヒストグラムを作成するヒストグラム作成手段と、このヒストグラム作成手段により作成された領域毎のヒストグラムに画面内における該領域の位置に応じた重み付けを行う重み付け手段と、この重み付け手段により重み付けされた各領域のヒストグラムを用いて画面全体の階調変換特性を算出する階調変換特性算出手段と、この階調変換特性算出手段により算出された階調変換特性に基づき画像を階調変換する階調変換手段と、手振れを検出する手振れ検出手段と、を具備し、上記重み付け手段は、最大の重みを有する領域と、最小の重みを有する領域と、の重みの比が所定の制限値以内となるように制限するリミッタを有してなり、上記手振れ検出手段によって手振れが検出された場合は、該リミッタによる制限を行うものである。
【００３４】
第２の発明による画像処理システムは、上記第１の発明による画像処理システムにおいて、上記画像不鮮明度情報が、上記画像が撮像されたときの手振れ情報とピントぼけ情報との少なくとも一方を含むものである。
【００３５】
第３の発明による画像処理システムは、上記第１の発明による画像処理システムにおいて、上記リミッタが、上記画像不鮮明度情報に応じて、上記制限値を適応的に変更するものである。
【００３６】
【発明の実施の形態】
以下、図面を参照して本発明に関連する技術及び本発明の実施の形態を説明する。図１から図９は本発明に関連する第１の技術を示したものであり、図１は画像処理システムの構成を示すブロック図、図２は鮮鋭度の計算方法の一例を説明するための図、図３は鮮鋭度の計算方法の一例を説明するための図、図４は鮮鋭度の計算方法の一例を説明するための図、図５は鮮鋭度の計算方法の一例を説明するための線図、図６は重み付け関数の一例を示す線図、図７は鮮鋭度の計算の結果により重み付けを大きくする画像ブロックの領域を示す図、図８は上記図７に基づく変更後の重み付け関数を示す線図、図９は上記図８の重み付けに基づき算出された階調変換特性曲線の一例を示す図である。
【００３７】
この画像処理システムは、図１に示すように、撮像光学系１と、この撮像光学系１により結像される光学的な被写体像を電気的な画像信号に変換する例えばＣＣＤ等でなる撮像素子２と、この撮像素子２から出力されるアナログの画像信号を例えば１０ｂｉｔの階調を有する離散的なデジタルの画像信号に変換するとともにＲＧＢ信号からＹ／Ｃ信号に変換するＡ／Ｄ変換器３と、このＡ／Ｄ変換器３により変換された１０ｂｉｔ階調の１フレーム分の画像データを記憶しておくフレームメモリ４と、このフレームメモリ４に記憶された画像データを参照して後述するように階調変換特性を作成する階調変換テーブル作成手段５と、上記フレームメモリ４から画像データを読み出して上記階調変換テーブル作成手段５により作成された階調変換特性を用いて例えばコンピュータで標準的に扱われる８ｂｉｔの階調となるように階調変換する階調変換手段６と、この階調変換手段６により変換された８ｂｉｔ階調の画像データを記憶するフレームメモリ７と、を有して構成されている。
【００３８】
上記階調変換テーブル作成手段５は、上記フレームメモリ４に記憶された画像データに係る輝度信号を予め設定された大きさの領域であるブロックに分割して該ブロック単位で読み出す領域分割手段たる画像ブロック読出手段１１と、この画像ブロック読出手段１１により読み出されたブロックの鮮鋭度を算出する鮮鋭度算出手段１２と、上記画像ブロック読出手段１１により読み出されたブロックの輝度ヒストグラムを作成するヒストグラム作成手段１３と、重み付け手段を構成するものであり画像内におけるブロック位置に応じたブロック毎の重み付け係数を記憶する記憶手段たる重み付け係数テーブル１５と、この重み付け係数テーブル１５から重み付け係数を読み出すとともに上記鮮鋭度算出手段１２により算出された鮮鋭度を必要に応じて参照することにより該重み付け係数を変更して上記ヒストグラム作成手段１３により算出された各ブロック毎のヒストグラムを重み付け加算することにより画像全体のヒストグラムを計算する重み付け手段たる重み付け演算手段１４と、この重み付け演算手段１４により算出された画像全体の輝度ヒストグラムを用いて階調変換特性を算出する階調変換特性算出手段１６と、を有して構成されている。
【００３９】
次に、このような画像処理システムの作用を説明する。
【００４０】
上記撮像光学系１により結像され、撮像素子２により撮像された画像信号は、上記Ａ／Ｄ変換器３によりデジタル信号に変換されて輝度信号と色差信号に分離された後に、上記フレームメモリ４に記憶される。
【００４１】
上記画像ブロック読出手段１１は、このフレームメモリ４に記憶された輝度信号を、例えば８×８でなる６４個のブロックに分割して（図７等参照）、該ブロック毎に読み出す。
【００４２】
上記ヒストグラム作成手段１３は、この画像ブロック読出手段１１により読み出されたブロック内の各画素の輝度ヒストグラムを、ブロック毎に作成する。
【００４３】
一方、上記鮮鋭度算出手段１２は、上記画像ブロック読出手段１１により読み出されたブロック毎の輝度信号から、該ブロックの鮮鋭度を示すパラメータを計算する。ここでは、鮮鋭度算出手段１２は、鮮鋭度を示すパラメータとして、例えばＳＦ値を計算するようになっている。
【００４４】
ここで上記ＳＦ値を計算する手段の一例について、図２から図５を参照して説明する。
【００４５】
ある画素を注目画素とするとき、該注目画素と隣接画素との差分値は、図２に示すように、注目画素と該注目画素に隣接する８つの画素との輝度の差分を取り、さらにその絶対値を取ることにより算出される。
【００４６】
例えば、図３に示すように、中央に位置している注目画素の輝度レベルが１６、左上の隣接画素の輝度レベルが１２、上の隣接画素の輝度レベルが１４、右上の隣接画素の輝度レベルが２０、左の隣接画素の輝度レベルが８、右の隣接画素の輝度レベルが２４、左下の隣接画素の輝度レベルが１２、下の隣接画素の輝度レベルが１６、右下の隣接画素の輝度レベルが３２となっているものとする。
【００４７】
このとき、注目画素と隣接画素との差分の絶対値ΔＤは、図４に示すように、左上の隣接画素との差分絶対値が４、上の隣接画素との差分絶対値が２、右上の隣接画素との差分絶対値が４、左の隣接画素との差分絶対値が８、右の隣接画素との差分絶対値が８、左下の隣接画素との差分絶対値が４、下の隣接画素との差分絶対値が０、右下の隣接画素との差分絶対値が１６となる。
【００４８】
こうして差分の絶対値ΔＤのヒストグラムを計算すると、０レベルが１、２レベルが１、４レベルが３、８レベルが２、１６レベルが１となるために、０〜１６レベルに各対応して（１，０，１，０，３，０，０，０，２，０，０，０，０，０，０，０，１）となる。
【００４９】
このような差分絶対値ΔＤのヒストグラムをブロック内の全画素を注目画素として算出し加算すると、例えば図５に示すようなヒストグラムＳ0 が得られる。さらに、この鮮鋭度算出手段１２は、原画像に平滑化フィルタをかけて、平滑化後の画像についても同様にブロック内の全画素についてヒストグラムを算出して加算する。これにより、例えば図５に示すような平滑化されて輝度差の絶対値が全体的に小さくなったヒストグラムＳ3 が得られる。
【００５０】
ＳＦ値は、平滑化による変動が大きいか否かを示す指標であり、これらＳ0 とＳ3 の分布の相違している部分の面積、つまり図５の斜線で示した部分の面積として与えられ、次の数式２により定義される。
【００５１】
【数２】

ここに、「Ｉ」は、上記図２から図４を参照して説明したような輝度差の絶対値のレベルであり、０〜２５５までの２５６階調の値をとるものとしている。
【００５２】
こうして得られたＳＦ値は、その値が大きいほど、原画像の鮮鋭度が高いと評価され、逆に値が小さければ原画像の鮮鋭度が低いことになる。
【００５３】
なお、鮮鋭度を算出する手段は、上述に限るものではなく、画像の空間周波数のパワースペクトルにおける特定の帯域でのパワーの積分値を算出して、これを鮮鋭度を示す指標として用いても良いし、あるいは、画像に線形のエッジ検出フィルタをかけてさらにコンボリューションすることによりエッジのエネルギーを求め、これを鮮鋭度を示す指標として用いるようにしても構わない。
【００５４】
このようにして、６４個の各ブロック毎にＳＦ値を算出した結果、例えば図７の領域１９に示すような幾つかのブロックが、所定の閾値よりも鮮鋭度が高いと判定されたとする。このとき、鮮鋭度が高い領域には主要被写体等が位置している可能性が高いと考えられるために、この鮮鋭度が高い領域について、階調をより重点的に配分するように、重みを重くするようにする。
【００５５】
すなわち、重み付け演算手段１４は、ブロック毎のヒストグラムを参照する際に、上記重み付け係数テーブル１５に記憶されている重み付け係数を標準的に用いるようになっており、この標準的な重み付け係数は、例えば図６に示すように、画像の中央部付近のブロックに周辺部よりも重みが多く配分されるように設定されている。ここに、図６の分布における８×８のメッシュ点の値が、８×８の各ブロックに与える重みを示しており、ここでは正規化された係数の例となっている。
【００５６】
さらに、必要に応じて上記鮮鋭度算出手段１２により算出された鮮鋭度を考慮し、図７に示すような鮮鋭度の高い領域１９の重みを他の領域に比べて重くするようにすると、図８に示すような重み付けの分布が得られる。
【００５７】
このような各ブロック毎の重み付け係数を、対応するブロックのヒストグラムに積算し、積算後の全ブロックのヒストグラムを加算することにより、ブロックを単位として重み付けがなされた画像全体の輝度ヒストグラムが作成される。
【００５８】
この画像全体の輝度ヒストグラムから、適切な階調変換特性を求める手段は、種々のものがあるが、ここでは一例として、ガウシアンカーネルを用いてコンボリューションする手段を採用している。
【００５９】
上述したようにブロック毎に重み付けして得られた画像全体のヒストグラムをＨ（Ｌ）とし、さらに、目標関数としての平坦化したヒストグラムをＧ（Ｌ）とすると、このＧ（Ｌ）は、上述した数式１と同様の、次の数式３により得られる。
【００６０】
【数３】

ここに、記号「＊」はコンボリューションを表し、「Ｌ」は輝度信号のレベル値、「ｋ」はどの程度までガウシアン状に変換するかを調整するためのパラメータである。
【００６１】
この第１の技術においては、パラメータｋとして、例えば上記ヒストグラムＨ（Ｌ）の標準偏差の１〜２倍程度を用いている。このように、パラメータｋを、元の画像のヒストグラムＨ（Ｌ）から求めているために、撮影シーンに応じた適応的な階調変換を行うことが可能となっている。
【００６２】
階調変換特性の曲線は、次の数式４を用いて得られる。
【００６３】
【数４】

実際には、この数式４により得られた階調変換特性をそのまま用いて変換を行うと、階調の高い領域での変換が冗長になるのために、ある程度の階調レベルまでは、式の特性に合わせ、階調レベルが高い領域は圧縮するといったｋｎｅｅ変換が必要となる。
【００６４】
このようにして得られた階調変換特性は、例えば図９に示すようになる。
【００６５】
上述したように、この第１の技術では、上記Ａ／Ｄ変換器３により１０ｂｉｔ（０〜１０２３）の階調として生成された画像データを、階調変換手段６により８ｂｉｔ（０〜２５５）の画像データに変換しており、輝度が高い信号と低い信号については階調の圧縮率が高く、輝度が中間の信号は階調が十分に保持されるような階調変換特性となっている。
【００６６】
なお、上述では、撮像光学系１や撮像素子２等を備えた撮像装置に画像処理システムを適用した例について説明したが、これに限らず、コンピュータにおいて画像処理プログラムにより処理を行う画像処理システムなどについても適用可能であることは勿論である。
【００６７】
このような第１の技術によれば、画像をブロックに分割して、画像内における各ブロックの位置に応じた重み付けを行った後に、画像全体の輝度ヒストグラムを求めているために、撮影者が意図している領域により多くの階調を割り当てることができ、少ない階調数でも主観的に好ましい画像を生成することができる。
【００６８】
さらに、重み付けを行う際に鮮鋭度の情報も考慮しているために、通常、ピントが最も合っていると思われる主要被写体により多くの階調を割り当てることが可能となる。
【００６９】
そして、画像全体の階調のヒストグラムから階調変換特性を求める際に、画像に応じて適応的に行っているために、撮影された画像により適した階調変換を行うことができる。
【００７０】
図１０は本発明に関連する第２の技術を示したものであり、画像処理システムの構成を示すブロック図である。この第２の技術おいて、上述の第１の技術と同様である部分については説明を省略し、主として異なる点についてのみ説明する。
【００７１】
この第２の技術は、撮影時の撮像光学系の設定について考慮した実施形態である。
【００７２】
撮影者が、例えば風景写真などのような、画面全体にフォーカスの合った画像を得ようとする場合には、絞りを小絞りにし、さらに焦点位置を中距離から遠距離の被写体に合わせて、ＭＴＦ（Modulation Transfer Function：変調伝達関数）が最も良くなるように設定するのが一般的である。
【００７３】
これに対して、撮影者が、例えばポートレート写真などのような、特定の被写体にのみピントを合わせてそれ以外の被写体についてはぼけ味のある画像を得たい場合には、絞りを開放または開放の近くにし、さらに特定被写体を比較的近距離で撮影するように、つまり焦点位置が近距離となるようにすることが多い。
【００７４】
このように、撮像光学系１の設定を示す光学系情報から、撮影者が意図している画像の出来映えについての手掛かりを知ることが可能である。
【００７５】
そこで、本技術は、撮影者の意図により適した画像を得ることができるように、該撮像光学系１に関する光学系情報に基づいて、階調変換特性を調整するようにしたものである。
【００７６】
この第２の技術の画像処理システムは、図１０に示すように構成されていて、上述した第１の技術とほぼ同様に構成されているが、手動操作に応じて、または自動調節によって、上記撮像光学系１の絞りや焦点位置を調節する撮影条件制御手段２１を設け、この撮影条件制御手段２１により設定された撮影条件を示す光学系情報が、上記重み付け演算手段１４に出力されるようになっている。
【００７７】
また、上記重み付け係数テーブル１５内には、各ブロックに対応する重み付け係数を画像内の全ブロックに対して取り揃えた係数のセットが、予め、複数種類記憶されている。
【００７８】
上記重み付け演算手段１４は、上記撮影条件制御手段２１から出力される絞りや焦点位置などの光学系情報を考慮して、重み付け係数テーブル１５に記憶されている中から適切な係数セットを選択するようになっている。
【００７９】
例えば、撮影者の意図が画面全体に焦点を合わせるものである場合には、各ブロックに対する重み付けが均等もしくは均等に近くなるような係数セットを選択し、一方、撮影者の意図が特定の被写体のみに焦点を合わせるものである場合には、画面中央部と画面周辺部との重み付けの比がより大きくなるような係数セットを選択する、などである。
【００８０】
さらに、この重み付け演算手段１４は、上記光学系情報に応じて、上記鮮鋭度算出手段１２に計算を行わせるか否かを判断するようになっている。具体的には、撮影者の意図が画面全体に焦点を合わせるものである場合には、該鮮鋭度算出手段１２の計算を不要とし、一方、撮影者の意図が特定の被写体のみに焦点を合わせるものである場合には、該鮮鋭度算出手段１２の計算を行わせて合焦している被写体部分により多くの階調を割り当てるようにする、などである。
【００８１】
なお、上述では、重み付け係数テーブル１５内に複数の係数セットを記憶させておいたが、これに限らず、基本となる重み付け係数のセットのみを記憶させておき、絞りや焦点位置の情報に基づいてこの重み付け係数を補正することにより、適切な係数を演算するようにしても構わない。
【００８２】
また、上述では、光学系情報として絞りや焦点位置の情報を例に挙げているが、これに限るものではなく、例えば上記撮像光学系１がズーム光学系である場合には、焦点距離の情報なども光学系情報として用いるようにすると良い。
【００８３】
このような第２の技術によれば、上述した第１の技術とほぼ同様の効果を奏するとともに、さらに、絞りや焦点位置などの撮影条件を示す光学系情報に基づき、撮影者の撮影意図を推定し、該推定結果に基づき適切な階調変換を行うようにしているために、より主観的に好ましい画像を得ることができる。
【００８４】
続いて、本発明の実施形態について、必要に応じて上記第１、第２の技術の図面を参照しながら説明する。この実施形態において、上述の第１、第２の技術と同様である部分については説明を省略し、主として異なる点についてのみ説明する。
【００８５】
この実施形態は、撮影時に生じる画像の劣化について考慮した実施形態である。
【００８６】
ピントがややずれることによって画像がぼけたり、あるいは手振れすることによって画像が流れたり、などの画像の劣化（画像の不鮮明さ）が発生した場合には、画像の空間周波数が全体的に落ちてしまうことがある。
【００８７】
このような場合に、特定の領域の階調を際立たせるように階調変換特性を変更して階調変換を行うと、それ以外の領域で、階調の境界が目立ってしまったり、甚だしい場合には、画像が破綻してしまう可能性がある。
【００８８】
こうした場合に対処するために、本実施形態は、例えば手振れ検出手段を設けるとともに、最大の重みを有するブロックと、最小の重みを有するブロックと、の重みの比が所定の制限値以内となるように制限して、重み付けが極端に局在化するのを抑制するためのリミッタを、例えば上記重み付け演算手段１４内に設けたものである。
【００８９】
こうして、上記手振れ検出手段により手振れが検出された場合には、該重み付け演算手段１４内のリミッタにより、重み付けの度合いを制限するようにしている。
【００９０】
なお、上記手振れ検出手段としては、例えば、ジャイロセンサのように機械的に検出するものや、あるいは、上記撮像素子２により撮像された画像を解析することにより動きベクトルを検出するものなどが、具体例として挙げられる。
【００９１】
さらに、これに限らず、画像全体の空間周波数やエッジを検出する手段を設ければ、これらの情報から手振れの状態をある程度推定することができるために、検出された空間周波数が落ちた場合に上記リミッタを動作させるようにしても良い。
【００９２】
このとき、上記リミッタは、空間周波数の低下の度合いに応じて、重み付けの局在化を抑制するための制限値を、適応的に変化させるようにすると良い。
【００９３】
さらに、上記リミッタは、重み付け係数を調整することにより、局在化を抑制するようにするものであっても構わない。
【００９４】
加えて、上記手振れ情報やピントぼけ情報などの画像不鮮明度情報を、上記階調変換特性算出手段１６が階調変換特性を計算する際に用いるようにしても構わない。
【００９５】
このような実施形態によれば、上述した第１、第２の技術とほぼ同様の効果を奏するとともに、撮影された画像の周波数特性を考慮してヒストグラムの重み付け特性を変更することにより、手振れ画像やピントぼけ画像を階調変換したときの階調感の不自然さを低減することができる。
【００９６】
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【００９７】
【発明の効果】
以上説明したように請求項１による本発明の画像処理システムによれば、画像を複数の領域に分割して輝度信号のヒストグラムを作成し、画面内における該領域の位置に応じた重み付けをして階調変換特性を算出し階調変換を行い、画像が不鮮明であるときには、最大の重みと最小の重みとの比を制限することにより、主観的により好ましい画像を得ることができるとともに、手振れ画像を階調変換したときの階調感の不自然さを低減することができる。
【０１１０】
請求項２による本発明の画像処理システムによれば、手振れやピントぼけにより画像が不鮮明となったときに、請求項１に記載の発明と同様の効果を奏することができる。
【０１１１】
請求項３による本発明の画像処理システムによれば、請求項１に記載の発明と同様の効果を奏するとともに、画像が不鮮明である度合いに応じて制限値を適応的に変更しているために、画像により適した階調変換を行うことが可能となる。
【図面の簡単な説明】
【図１】 本発明に関連する第１の技術における画像処理システムの構成を示すブロック図。
【図２】 上記第１の技術における鮮鋭度の計算方法の一例を説明するための図。
【図３】 上記第１の技術における鮮鋭度の計算方法の一例を説明するための図。
【図４】 上記第１の技術における鮮鋭度の計算方法の一例を説明するための図。
【図５】 上記第１の技術における鮮鋭度の計算方法の一例を説明するための線図。
【図６】 上記第１の技術における重み付け関数の一例を示す線図。
【図７】 上記第１の技術において、鮮鋭度の計算の結果により重み付けを大きくする画像ブロックの領域を示す図。
【図８】 上記第１の技術において、上記図７に基づく変更後の重み付け関数を示す線図。
【図９】 上記第１の技術において、上記図８の重み付けに基づき算出された階調変換特性曲線の一例を示す図。
【図１０】 本発明の第２の技術における画像処理システムの構成を示すブロック図。
【符号の説明】
１…撮像光学系（光学系）
２…撮像素子
３…Ａ／Ｄ変換器
４…フレームメモリ
５…階調変換テーブル作成手段
６…階調変換手段
７…フレームメモリ
１１…画像ブロック読出手段（領域分割手段）
１２…鮮鋭度算出手段
１３…ヒストグラム作成手段
１４…重み付け演算手段（重み付け手段）
１５…重み付け係数テーブル（重み付け手段、記憶手段）
１６…階調変換特性算出手段
２１…撮影条件制御手段

Claims (3)

1. 画像を複数の領域に分割する領域分割手段と、
   この領域分割手段により分割された領域毎に、輝度信号のヒストグラムを作成するヒストグラム作成手段と、
   このヒストグラム作成手段により作成された領域毎のヒストグラムに、画面内における該領域の位置に応じた重み付けを行う重み付け手段と、
   この重み付け手段により重み付けされた各領域のヒストグラムを用いて、画面全体の階調変換特性を算出する階調変換特性算出手段と、
   この階調変換特性算出手段により算出された階調変換特性に基づき、画像を階調変換する階調変換手段と、
   手振れを検出する手振れ検出手段と、
   を具備し、
   上記重み付け手段は、最大の重みを有する領域と、最小の重みを有する領域と、の重みの比が所定の制限値以内となるように制限するリミッタを有してなり、上記手振れ検出手段によって手振れが検出された場合は、該リミッタによる制限を行うものであることを特徴とする画像処理システム。
2. 上記画像不鮮明度情報は、上記画像が撮像されたときの手振れ情報とピントぼけ情報との少なくとも一方を含むものであることを特徴とする請求項１に記載の画像処理システム。
3. 上記リミッタは、上記画像不鮮明度情報に応じて、上記制限値を適応的に変更するものであることを特徴とする請求項１に記載の画像処理システム。

Images