JP4934326B2 - 画像処理装置およびその処理方法 - Google Patents

画像処理装置およびその処理方法 Download PDF

Info

Publication number
JP4934326B2
JP4934326B2 JP2006047515A JP2006047515A JP4934326B2 JP 4934326 B2 JP4934326 B2 JP 4934326B2 JP 2006047515 A JP2006047515 A JP 2006047515A JP 2006047515 A JP2006047515 A JP 2006047515A JP 4934326 B2 JP4934326 B2 JP 4934326B2
Authority
JP
Japan
Prior art keywords
value
target
correction
image data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006047515A
Other languages
English (en)
Other versions
JP2007124604A5 (ja
JP2007124604A (ja
Inventor
友和 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2006047515A priority Critical patent/JP4934326B2/ja
Priority to US11/525,141 priority patent/US7912282B2/en
Publication of JP2007124604A publication Critical patent/JP2007124604A/ja
Publication of JP2007124604A5 publication Critical patent/JP2007124604A5/ja
Application granted granted Critical
Publication of JP4934326B2 publication Critical patent/JP4934326B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/202—Gamma control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、画像処理装置およびその処理方法に関するものである。本発明の画像処理装置は、たとえば撮像装置や画像入力装置等、より具体的にはディジタルカメラ、ビデオカメラ、携帯電話機およびスキャナ等の入力される画像に対する表示処理だけでなく、RAWモードで記録した画像データを再生表示する表示装置および印刷媒体に印刷するプリンタ等、記録/再生の表示分野に関する。また、画像処理方法は、撮像表示、再生表示および印刷表示等に適用し、とくに、自動的な表示や自動的な印刷、すなわちプリントサービス等に関する。
良好な画像を取得するため、入力した画像を補正する方法が提案されている。この提案のいくつかを簡単に説明する。
特許文献１は、画像形成装置を開示する。特許文献１は特定領域を指定し、この領域に対して適応したガンマ変換により補正する。また、特許文献２は、階調補正および階調補正装置を開示する。特許文献２は入力画像のシーン情報と明るさの度合いとに応じて階調を補正する。
特許文献３も階調補正装置を開示する。特許文献３は、画像をブロック分割し、分割したブロックの輝度情報から画像が逆光か否かを判定し、肌の輝度・色情報から人物を抽出し、この抽出した人物の輝度を基に逆光度合いを決定する。階調は、この決定した逆光度合いを基に補正する。
特許文献４は画像処理装置を開示する。画像処理装置は、階調補正による階調つぶれが目立つ候補の領域を抽出し、抽出した領域から得られる情報を用いて、階調補正曲線を更新する。この曲線を用いて画像を補正することにより画像には階調つぶれが生じないようにできる。
また、特許文献５は画像処理装置を開示し、画像処理装置は逆光撮影画像や夜間ポートレート撮影画像等に対し階調つぶれや色相変化を起こさないコントラストを補正する。画像処理装置は、コントラスト補正による補正による階調つぶれが目立つ候補の領域を抽出し、抽出した領域から得られる情報を用いて、ダイナミックレンジを設定する。この設定によるダイナミックレンジを用いて画像はコントラストが補正される。
さらに、特許文献６は撮像装置を開示する。撮像装置は、人物の検出に応じて画像を軟調化するようにガンマ特性を制御する。これにより撮像装置は、人物の顔の画像を好ましく撮影することができる。
特開昭60−139080号公報 特開平８−32838号公報 特開平８−62741号公報 特開2002−369004号公報 特開2003−169231号公報 特開2004−180173号公報
ところで、上述したように、人物撮影での不具合をもたらすシーンの一つである逆光シーンの補正は、シーン解析だけで常に好ましい明るさにできるとは限らない。また、所望の人物を的確に検出して、好ましい明るさに補正したとしても、常に画像全体を適切な明るさに補正できるわけではない。
本発明はこのような従来技術の欠点を解消し、所望の人物だけでなく、背景も適切な明るさに補正できる画像処理装置およびその処理方法を提供することを目的とする。
本発明は上述の課題を解決するために、入力される画像データに対して信号処理する画像処理装置において、この装置は、画像データ内の特徴的に区別できる対象を含む対象領域を検出する検出手段と、この対象領域の検出に応じて得られる対象領域の代表値と画像データの全画像領域または一部領域内における分布情報とに基づいて得られた補正テーブルを用いて、画像データを色調補正する色調補正手段とを含むことを特徴とする。
本発明の画像処理装置は、検出手段で対象領域を画像データから検出し、色調補正手段で対象領域の検出に応じて得られる対象領域の代表値と画像データの全画像領域または一部領域内の分布情報とに基づいて得られた補正テーブルを用いて、画像データを色調補正することにより、対象領域だけでなく、背景を含めた画像全体で適切な色調補正されることでユーザの満足する画質の画像を得ることができる。
本発明は上述の課題を解決するために、入力される画像データに対して信号処理する画像処理装置において、この装置は、画像データ内の特徴的に区別できる対象を含む対象領域を検出する検出手段と、この対象領域の検出に応じて得られる対象領域の代表値と画像データの全画像領域または一部領域内における分布情報とに基づいて得られた補正値を用いて、画像データを色調補正する色調補正手段とを含むことを特徴とする。
本発明の画像処理装置は、検出手段で対象領域を画像データから検出し、色調補正手段で対象領域の検出に応じて得られる対象領域の代表値と画像データの全画像領域または一部領域内の分布情報とに基づいて得られた補正値を用いて、画像データを色調補正することにより、対象領域だけでなく、背景を含めた画像全体で適切な色調補正されることでユーザの満足する画質の画像を得ることができる。
本発明は上述の課題を解決するために、画像データに対して信号処理する画像処理方法において、この方法は、画像データから内の特徴的に区別できる対象を含む対象領域を検出する第１の工程と、この対象領域の検出に応じて得られる対象領域の代表値と画像データの全画像領域または一部領域内における分布情報とに基づく補正テーブルの算出を行ない、算出した補正テーブルおよび基本の補正テーブルのいずれかを用いて、前記画像データを色調補正する第２の工程とを含むことを特徴とする。
本発明の画像処理方法は、画像データから内の特徴的に区別できる対象を含む対象領域を検出し、この対象領域の検出に応じて得られる対象領域の代表値と画像データの全画像領域または一部領域内における分布情報とに基づく補正テーブルを算出し、算出した補正テーブルおよび基本の補正テーブルのいずれかを用いて、前記画像データを色調補正することにより画像データにおける対象領域だけでなく、背景を含めた画像全体で適切に色調補正することができ、とくに、自動的な処理によってユーザの満足度の割合をこれまで以上に高い画質の画像を提供することができる。
本発明は上述の課題を解決するために、画像データに対して信号処理する画像処理方法において、この方法は、画像データから内の特徴的に区別できる対象を含む対象領域を検出する第１の工程と、この対象領域の検出に応じて得られる対象領域の代表値と画像データの全画像領域または一部領域内における分布情報とに基づく補正値の算出を行ない、算出した補正値および基本の補正値のいずれかを用いて、画像データを色調補正する第２の工程とを含むことを特徴とする。
本発明の画像処理方法は、画像データから内の特徴的に区別できる対象を含む対象領域を検出し、この対象領域の検出に応じて得られる対象領域の代表値と画像データの全画像領域または一部領域内における分布情報とに基づく補正値を算出し、算出した補正値および基本の補正値のいずれかを用いて、画像データを色調補正することにより画像データにおける対象領域だけでなく、背景を含めた画像全体で適切に色調補正することができ、とくに、自動的な処理によってユーザの満足度の割合をこれまで以上に高い画質の画像を提供することができる。
本発明は上述の課題を解決するために、入力される画像データに対して信号処理する画像処理装置において、この装置は、画像データ内の特徴的に区別できる対象を含む対象領域を検出する検出手段と、この対象領域の検出に応じて得られる対象領域の代表値を算出する代表値算出手段と、画像データの全画像領域または一部領域内における特徴量を算出する特徴量算出手段と、代表値および特徴量に基づいて得られた補正テーブルを算出する補正テーブル算出手段と、画像データに対して前記補正テーブルを用いて色調補正する色調補正手段とを含むことを特徴とする。
本発明の画像処理装置は、検出手段で画像データ内の特徴的に区別できる対象を含む対象領域を検出画像データ内の特徴的に区別できる対象を含む対象領域を検出し、代表値算出手段で対象領域の検出に応じて得られる対象領域の代表値を算出し、特徴量算出手段で画像データの全画像領域または一部領域内における特徴量を算出し、補正テーブル算出手段で代表値および特徴量に基づいて得られた補正テーブルを算出し、色調補正手段で補正テーブルを用いて、画像データに色調補正することにより顔および背景を好ましい明るさに補正することができる。
本発明は上述の課題を解決するために、入力される画像データに対して信号処理する画像処理装置において、この装置は、入射光を光電変換して、光電変換により得られる撮像信号を出力する撮像手段と、撮像信号が変換された画像データ内の特徴的に区別できる対象を含む対象領域を検出する検出手段と、この対象領域の検出に応じて得られる対象領域の代表値を算出する代表値算出手段と、撮像手段における露光量を、代表値を用いて算出される第１の露光量と異なる第２の露光量に制御する露光量制御手段と、露光量を制御情報として記憶する記憶手段と、この制御情報または第２の露光量を基に撮像して得られる画像データに基づいて得られる補正テーブルを算出する補正テーブル算出手段と、画像データに対して補正テーブルを用いて色調補正する色調補正手段とを含むことを特徴とする。
本発明の画像処理装置は、撮像手段で撮像した撮像信号を出力し、検出手段で撮像信号が変換された画像データから対象領域を検出し、代表値算出手段でこの検出に応じて代表値を算出し、露光量制御手段で第２の露光量に制御し、記憶手段に制御情報を記憶し、補正テーブル算出手段で補正テーブルを算出し、色補正手段で画像データを色調補正することにより顔および背景を好ましい明るさに補正することができる。
本発明は上述の課題を解決するために、入力される画像データに対して信号処理する画像処理装置において、この装置は、画像データ内の特徴的に区別できる対象を含む対象領域を検出する検出手段と、この対象領域の検出に応じて得られる対象領域の代表値を算出する代表値算出手段と、画像データの全画像領域または一部領域内における特徴量を算出する特徴量算出手段と、代表値および特徴量に基づいて得られた補正値を算出する補正値算出手段と、画像データに対して補正値を用いて色調補正する色調補正手段とを含むことを特徴とする。
本発明の画像処理装置は、検出手段で画像データ内の特徴的に区別できる対象を含む対象領域を検出画像データ内の特徴的に区別できる対象を含む対象領域を検出し、代表値算出手段で対象領域の検出に応じて得られる対象領域の代表値を算出し、特徴量算出手段で画像データの全画像領域または一部領域内における特徴量を算出し、補正値算出手段で代表値および特徴量に基づいて得られた補正値を算出し、色調補正手段で補正値を用いて、画像データに色調補正することにより顔および背景を好ましい明るさに補正することができる。
本発明は上述の課題を解決するために、入力される画像データに対して信号処理する画像処理装置において、この装置は、入射光を光電変換して、光電変換により得られる撮像信号を出力する撮像手段と、撮像信号が変換された画像データ内の特徴的に区別できる対象を含む対象領域を検出する検出手段と、この対象領域の検出に応じて得られる対象領域の代表値を算出する代表値算出手段と、撮像手段における露光量を、代表値を用いて算出される第１の露光量と異なる第２の露光量に制御する露光量制御手段と、露光量を制御情報として記憶する記憶手段と、この制御情報または第２の露光量を基に撮像して得られる画像データに基づいて得られる補正値を算出する補正値算出手段と、画像データに対して前記補正値を用いて色調補正する色調補正手段とを含むことを特徴とする。
本発明の画像処理装置は、撮像手段で撮像した撮像信号を出力し、検出手段で撮像信号が変換された画像データから対象領域を検出し、代表値算出手段でこの検出に応じて代表値を算出し、露光量制御手段で第２の露光量に制御し、記憶手段に制御情報を記憶し、補正値算出手段で補正値を算出し、色補正手段で画像データを色調補正することにより顔および背景を好ましい明るさに補正することができる。
次に添付図面を参照して本発明による画像処理装置の実施例を詳細に説明する。
本実施例は、本発明の画像処理装置をディジタルカメラ10に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。
ディジタルカメラ10は、図１に示すように、撮像部12、前処理部14、信号処理部16を含む。撮像部12は、図示しない２次元的に入射光を電気信号に変換する複数の受光素子が配設され、複数の受光素子で変換された信号を読み出す機能を有する。撮像部12は、たとえばCCD（Charge Coupled Device）型またはC-MOS（Complimentary-Metal Oxide Semiconductor）型があり、これ以外の信号読出し型のものであってもよい。撮像部12は、図示しない駆動部から供給される駆動信号に応じて各受光素子に対応して得られたアナログ電気信号18を前処理部14に出力する。本実施例におけるアナログ電気信号の画像信号18は、生の画像信号、すなわちRAWモードでの出力信号である。
前処理部14は、図２に示すように、オフセット部20、顔前処理部22、ホワイトバランス（WB）調整部24、顔検出部26、ガンマ補正部28および補正ガンマ算出部30を含む。前処理部14は、図示しないが入力されるアナログ電気信号の画像信号18に対してノイズ低減およびディジタル変換の処理が施されている。オフセット部20および顔前処理部22にはディジタル化された画像データ18が供給される。また、前処理部14は、図示しない制御部により制御される。
オフセット部20は、入力される各画素に対応するディジタル信号を所定のレベル、たとえば黒レベルを設定し、色毎にレベルをそろえる機能を有する。オフセット部20は、たとえばディジタル信号が持つ色属性に応じて黒レベルを設定し、オフセット調整したディジタル信号32をWB調整部24に出力する。
顔前処理部22は、入力されるディジタル信号が顔を含むか否かを容易な検出を可能にする上での前処理機能を有する。顔前処理部22は、たとえば信号を所定のレベルで正規化したり、ゲイン調整したりする機能を有する。顔前処理部22は、前処理したディジタル信号34を顔検出部28に出力する。
顔検出部26は、入力されるディジタル信号34が表わす画像領域内に顔を示す領域をすべて検出する機能を有する。本実施例では、画像中の顔が対象に相当している。この検出機能は、たとえば顔の領域に対する評価値、すなわち確からしさまたはスコアを基に得られた確からしさがあらかじめ設定した評価閾値より大きいか否かに応じて顔の有無を判断する。顔検出部26は、とくに、図示しないが顔検出の有無を示す検出信号を制御部に出力する。制御部は、検出信号の有無に応じた制御信号を補正ガンマ算出部30に供給する。補正ガンマ算出部30は後述するように、入力される制御信号に応じて動作する。顔検出部26は、顔の検出結果を含む画像データ36を補正ガンマ算出部30に出力する。
補正ガンマ算出部30は、入力されるディジタル情報および画像データ36を基に補正ガンマテーブルを生成する機能を有する。この機能を実現させる上で、補正ガンマ算出部30は、図２に示すように、対象パラメータ算出機能部30A、レジスタ30B、目標値算出機能部30Cおよび補正値算出機能部30Dを含む。
対象輝度算出機能部30Aは、対象輝度算出機能部300Aおよび頻度分布生成機能部302Aを含む。対象輝度算出機能部300Aは、入力される画像データ36からたとえば、顔の輝度値、顔の位置、顔の大きさおよび顔の領域に対する評価値の内、一つ以上の条件に基づき対象領域の輝度値を対象輝度として生成する機能を有する。また、対象輝度算出機能部30Aは、画像全体や一部領域を基に算出する対象輝度を、後述するように顔の数を所定の数に絞り込んだ各領域の顔輝度としてもよい。さらに、対象輝度算出機能部30Aは上述した４つの条件要素の内、一つ以上の条件要素において各対象領域の対象輝度に重み付けして、検出された対象領域のすべてが示す対象輝度値の重み平均を対象輝度としてもよい。
頻度分布生成機能部302Aは、基本の補正ガンマ係数を有し、入力される画像データ36に基本の補正ガンマ係数を作用させて得られる対象の輝度値における頻度分布を基本の分布情報として算出する機能を有する。対象輝度算出機能部30Aは、算出した顔輝度300および基本の補正ガンマ係数を作用させて得た輝度値の頻度分布302をそれぞれ、レジスタ30Bと目標値算出部30Cとに出力する。
レジスタ30Bには、顔領域の輝度を示す顔輝度300を入力して制御輝度値として設定される。レジスタ30Bは、制御輝度値304を目標値算出機能部30Cに出力する。
目標値算出機能部30Cは、レジスタ30Bの値または再設定された仮の目標値を基にたとえば、真または実際に補正する目標値を算出する機能を有する。本実施例では実際に補正する目標値は以下、単に目標値という。
補正テーブル算出機能部30Dは、目標値算出機能部30Cで算出した目標値、出力値の最大値および最小値を用いた、スプライン曲線を基に補正ガンマ係数を補正階調テーブルとして算出する機能を有する。
前述した目標値算出機能部30Cは、仮の目標値設定機能部300C、仮の係数算出機能部302C、分布予測機能部304C、変化量算出機能部306C、判断機能部308Cおよび再設定機能部310Cを含む。仮の目標値設定機能部300Cは、顔領域の輝度を示す制御輝度値304（＝顔輝度）を基に仮の目標値を設定する機能を有する。仮の目標値設定機能部300Cは、設定した仮の目標値306を仮の係数算出機能部302Cに出力する。
仮の係数算出機能部302Cは、仮の目標値306を基に仮の補正ガンマ係数を求める機能を有する。仮の係数算出機能部302Cは、算出した仮の補正ガンマ係数308を分布予測機能部304Cに出力する。分布予測機能部304Cは、入力される画像データ36に仮の補正ガンマ係数を作用させて予測頻度分布を予測分布情報として生成する機能を有する。予測頻度分布は、前述した基本頻度分布情報と同じ分布情報である。これら分布情報は、一般的に輝度分布と呼ばれるものである。輝度分布は、画像全体または一部の領域内に対する分布である。分布予測機能部304Cは、予測頻度分布を生成情報310として変化量算出機能部306Cに出力する。
変化量算出機能部306Cは、入力される生成情報310、すなわち予測頻度分布と図示しないが頻度分布生成機能部302Aで生成した基本頻度分布において設定されるハイライト設定値Bth以上をハイライト部分とし、この輝度値以上の部分が有する頻度をそれぞれの分布で積算し、各分布の積算頻度の差を変化量Δとし、この変化量Δを算出する機能を有する。変化量算出機能部306Cは、算出した変化量Δ（312）を判断機能部308Cに出力する。判断機能部308Cは、変化量Δが所定の値αより小さいか判断する機能を有する。判断機能部308Cは、上述の条件判断が正しい場合、仮の目標値を目標値314として設定して、補正値算出機能部30Dに出力する。また、判断機能部308Cは、変化量Δが所定の値α以上の場合、現時点で使用する仮の目標値316を再設定機能部310に送る。
再設定機能部310Cは、入力される仮の目標値316を基に新たな仮の目標値を再設定する機能を有する。再設定機能部310Cは、新たに設定された仮の目標値318を仮の目標値設定機能部300Cに出力する。
目標値算出機能部30Cは、図示しないが、対象領域の検出に応じて対象領域における色成分それぞれの色信号による輝度値を代表値として算出する機能を持たせてもとよい。目標値算出機能部30Cは、上述した構成要素にて色成分それぞれの代表値を基にした仮の補正ガンマ係数を仮定した上で本実施例の目的に適う目標値を算出することができる。目標値は、色信号毎に色成分の代表値を算出し、代表値から色信号毎に得られる実際の補正ガンマ係数を算出し、色毎に色調補正するようにしてもよい。この機能により、後述するように顔および画面全体が適切な明るさおよび色再現を可能にする。
補正テーブル算出機能部30Dは、目標値、出力値の最大値および最小値を用いた、スプライン曲線を基に階調補正機能を有する階調テーブルを生成する。補正テーブル算出機能部30Dは、制御信号に応じて生成した階調テーブルまたは基本の階調テーブル38を、選択的に図１のガンマ補正部28に出力し、画像データ40に対して色調を補正する。
ここで、色調補正とは、画像データに対するガンマ変換やゲイン等による階調補正および利得補正の処理を示す。これらの処理は、具体的に後述するガンマ補正部28やWB調整部24が担っている。本実施例では、階調補正について記載し、後段の実施例にて利得補正について記載する。
補正ガンマ算出部30は、制御部が顔検出を示す制御信号を生成し、この制御信号が供給された場合にだけ動作させるとよい。補正ガンマ算出部30は、これ以外の場合演算処理させず、基本の階調テーブルを出力させると電力消費を削減することができる。補正ガンマ算出部30は、選択に応じたガンマ係数38をガンマ補正部28に供給する。
WB調整部24は、入力されるオフセット調整したディジタル信号32に対してホワイトバランスを調整する機能を有する。WB調整部24は、調整したディジタル信号を画像データ40としてガンマ補正部28に出力する。
ガンマ補正部28は、入力される画像データ40に対してガンマ変換を施して、色調補正する機能を有する。ガンマ補正部28は、画像データ40を供給されるガンマ係数38に応じて色調補正する。また、ガンマ補正部28は、たとえば通常の色調補正に用いるガンマ係数を格納する変換テーブルを有し、通常と異なる色調補正、とくに顔が検出された場合、この検出に対応しあらかじめ補正ガンマ算出部30で算出された補正テーブルから供給される補正ガンマ係数38を入力し、補正ガンマ係数38にて画像データ40を色調補正するようにしてもよい。ガンマ補正部28は、色調補正された画像データ42を信号処理部16に出力する。
信号処理部16は、同時化部44およびYC変換処理部46を含む。画像データ42は、受光素子に対応した色成分、すなわち色属性を有する。これは、前述した撮像部12に撮像部12の入射光側に配設され、入射光を受光素子に対応して入射光を色成分に色分解する色フィルタセグメントが単板により配設されるによる。この場合、画像データ42は、配設された色フィルタセグメントの色以外の色に対する画像データを持たない。同時化部44は、受光素子の色属性以外の色を求める機能を有する。この機能は、対象とする受光素子に対して周囲に位置する画像データを用い、重み平均で算出することで補間処理するとよい。この補間処理により、画像データは、少なくとも、受光素子それぞれに対してすべての色が揃うことになる。同時化部44は、補間処理された画像データ48をYC変換部46に出力する。
YC変換部46は、入力される画像データ48を基に輝度信号Y、ならびに色差信号（R-Y）および（B-Y）に変換する機能を有する。YC変換部46は、変換した輝度信号Y、ならびに色差信号（R-Y）および（B-Y）の画像データ50を出力する。画像データ50は、図示しないがたとえば圧縮処理を経て記録媒体に記録される。
これらの構成は、ディジタルカメラに限定されるものでなく、撮像機能を有する携帯電話機や画像入力装置等に適用することができ、画像データ50に表示用変換を施すと表示用画像データを生成し、適切に変換された画像データをモニタに表示することができる。
また、ディジタルカメラ10には、図示しないが撮像部12で得られ、何等加工されていない生データを記録媒体に記録するモード、RAWモードがある。再生する場合、RAWモードで記録された画像データを前処理部14の入力側に読み出して、前述した前処理および信号処理を施すと、画像データ50を得ることができる。さらに、同時化部44からの画像データ48に対して、図示しないが減法混合変換、たとえばYeMzCy変換を施すと、印刷用画像データを生成することができる。このように生成した印刷用画像データをプリンタに送ると、適切に印刷された画像を自動でプリントさせたり、自動印刷させるプリントサービスに適用したりすることもできる。顔検出は、人の顔に対象を限定されるものでなく、この対象をたとえば花や動物の顔、キャラクタ等の検出に適用してもよい。これらは、後述する実施例においてもディジタルカメラ、携帯電話機、画像表示装置、プリンタ、プリントサービス等に適用できることは言うまでもない。
本実施例におけるディジタルカメラ10の前処理部14は、前述した構成に限定されるものでなく、図３に示すように、より簡略化してWB調整部24が出力する画像データ40を顔検出部26に供給して顔を検出し、この検出結果に応じて制御させて、補正ガンマ係数を算出し、検出結果に応じて通常または補正ガンマ係数38をガンマ補正部28に供給する。ガンマ補正部28は入力する通常または補正ガンマ係数にて色調補正するようにしてもよい。以後、共通する構成要素や同様の機能を有するものに対して同じ参照符号を付し説明の煩雑さを避けるため説明を省略する。
次に図１に示した本実施例のディジタルカメラ10における特徴である前処理部14における色調補正について図４を参照しながら説明する。この色調補正は、画像データ内の特徴的に区別できる対象を含む対象領域を検出し、この対象領域の検出に応じて得られる対象領域の代表値と画像データの全画像領域または一部領域内における分布情報とに基づく補正テーブルの算出を行ない、算出した補正テーブルおよび基本の補正テーブルのいずれかを用いて、画像データを色調補正する。これらの手順について以下においてさらに詳述する。
前処理部14は、明示していないが、撮像部12からの画像信号18を入力し画像データにする。この画像データが顔前処理部22に供給される。顔前処理部22は、ディジタル信号が顔を含むか否かを容易な検出を可能にする上で前処理されたディジタル信号34を顔検出部28に出力する（ステップS10）。
顔検出部26は、入力されるディジタル信号34が表わす画像領域内に顔を含む対象領域を検出する（ステップS12）。検出は、たとえばあらかじめ設定した評価閾値より大きな確からしさの評価値が存在するかを基に検出する。検出条件は、評価値に限定されるものでなく、前述した３つの条件、顔の輝度、位置、大きさを用いてもよい。
次にこの検出結果が顔有りを示すか否かを判断する（ステップS14）。ディジタル信号34に評価閾値より大きい評価値顔が検出された場合（YES）、顔輝度の算出処理に進む（ステップS16へ）。また、未検出の場合（NO）、通常処理を行なう（ステップS18へ）。
次に補正ガンマ算出部30における図１の対象パラメータ算出機能部30Aの対象輝度算出機能部300Aにて検出された対象領域それぞれの輝度を算出し、各領域に対する顔輝度を求める（ステップS16）。顔輝度とは、たとえば算出した領域内における輝度の平均値と定義する。また、顔輝度は複数検出された場合の条件として顔の輝度、顔の位置、顔の大きさおよび顔の領域に対する評価値の内、１つ以上の条件から重要度を決定する重み係数を顔領域の輝度に基づき設定するようにしてもよい。この場合、この重み係数と検出された顔領域の輝度とを乗算した重み付き輝度の総和を顔領域すべての面積で除算することで該当する対象領域すべてにおける輝度の重み平均として求める。
ここでの輝度値は、輝度成分Yおよび色成分R・G・Bのいずれか一つ、CIE（Commission International de l’Eclairage） 1976 L*a*b*色空間またはCIE 1976 L*u*v*色空間の明度を表わすL*およびXYZ表色系のYのいずれかである。減色混合法で用いる色成分でもよい。
補正ガンマ算出部30は、算出した顔輝度と輝度閾値とを比較し、補正するか否か判断する処理に進む（ステップS20へ）。
一方、補正ガンマ算出部30は顔検出部26から供給される情報を入力し、この情報が画像に顔が検出されなかったことを示す場合（NO）、補正ガンマ算出部30は、通常処理を経て基本のガンマ係数38を出力する。ガンマ補正部28は入力される画像データ40に対して基本のガンマ係数、すなわち階調補正データに基づいて色調を補正する。通常処理とは、図４に示さないが入力されるディジタル信号に対するオフセット処理およびWB調整を順次施し、補正ガンマ算出部30が出力する基本のガンマ係数データにより補正することである（ステップS18）。
次に補正ガンマ算出部30で、顔が検出された画像データに対する顔輝度を基にガンマ係数を補正するか否か判断する（ステップS20）。算出した顔輝度が輝度閾値より高い場合（NO）、上述した基本のガンマ係数の出力処理に進む（ステップS18へ）。また、算出した顔輝度が輝度閾値以下の場合（YES）、ガンマ係数の補正処理に進む（サブルーチンSUB1へ）。ガンマ係数の補正処理は補正ガンマ算出部30にて行なう。
次に入力される画像データ40に対して出力される基本のガンマ係数または補正ガンマ係数38を用いて色調補正する（ステップS22）。この色調補正後、画像データ42を信号処理部16に出力して、前処理を終える。上述した補正するか否かの判断は、設定する条件に応じて基本とするガンマ係数を適用して得られる実線52に対する増加および減少方向のいずれか一方に色調補正することができる。
次に上述した補正ガンマ係数の算出について図５を参照しながら説明する（サブルーチンSUB1）。画素がとることができる最小および最大のレベル値LminおよびLmaxとする。補正ガンマ係数の算出において第１に、入力されるこの画像データにおける顔輝度Bfaceを制御輝度値BLcとする（サブステップSS10； BLc＝Bface）。次に顔および画像全体を適切な明るさにする制御輝度値Bcにおける目標値Ltgを算出する（サブルーチンSUB2）。この算出した目標値Ltg、レベル値LminおよびLmaxの３値を用いてスプライン補間による補正ガンマ係数を算出する（サブステップSS12）。この算出により、補正ガンマ係数のテーブルを作成する。このように求めた補正ガンマ係数を入力画素レベルに適用すると、図6(a)の入出力レベルは実線52で示す基本のガンマ係数を適用した場合に比べて破線54で示すように、色調補正された出力画素レベルを高くできることがわかる。
図５に戻って、このように算出した後、リターンに進んでサブルーチンSUB1を終了する。この終了にともない図４に示した前処理の色調補正ルーチンに戻る。
次に目標値Ltgの算出について図７に示すサブルーチンSUB2を用いて説明する。目標値Ltgは、検出された顔領域だけに着目し、制御輝度値BLcにおける仮の目標値Lvを設定する（サブステップSS20）。仮の目標値Lvは、最初の場合、図示しないがたとえば補正ガンマ算出部30に格納されるルックアップテーブルにより制御輝度値BLcに応じて設定される。
次に図8(a)に示すように、入力される画像全体の画像データに基本のガンマ係数を適用した際の輝度分布または頻度分布を求める（サブステップSS22）。設定した仮の目標値Lvを基に仮の補正ガンマ係数を算出する（サブステップSS24）。
次に図8(b)に示すように、この算出した仮の補正ガンマ係数を入力される画像データ36に適用した際の輝度分布を予測する（サブステップSS26）。簡便には、基本の輝度分布から予測して求めてもよい。
次に図8(a)および(b)に示すように、ハイライトを示す輝度をBthとする。本実施例では8ビットの輝度表示の内、輝度Bth=240に設定する。輝度Bth以上の画素頻度NbaseおよびNvを求める（サブステップSS28）。そして、求めた画素頻度NbaseおよびNvの差、すなわち変化量Δを求める（サブステップSS30）。この求めた変化量Δが設定した許容範囲α内に収まるか否か判断する（サブステップSS32）。この条件α＞Δを満足する場合（YES）、仮の目標値Lvを目標値Ltgに設定する（サブステップSS34： Ltg＝Lv）。この設定後、リターンに移行して図５のサブルーチンSUB1に戻る。また、条件α≦Δの場合（YES）、仮の目標値Lvに所定のステップ値Lsvを加算して、新たな仮の目標値Lvを再設定する（サブステップSS36： Lv＝Lv＋Lsv）。この再設定後、新たに仮の目標値Lvにおける仮の補正ガンマ係数の算出処理に戻る（サブステップSS24へ）。
このように色調補正することにより、顔および背景の画像でも満足する明るさに補正することができる。
目標値Ltgは、図７で適用した輝度Bth以上の画素頻度NbaseおよびNvを用いて得られた変化量Δと許容範囲αとに基づく設定方法に限定されるものではない。他の設定について図９を用いて説明する。基本のガンマ係数を適用することにより輝度分布が得られる。仮の補正ガンマ係数を適用すると、基本のガンマ係数の輝度分布は頻度のピークを示す輝度位置、すなわちピーク輝度値Bpが輝度の高い方に向かってシフトすることが知られている。ここで、前述したように、ハイライトを示す輝度Bthおよび許容範囲βを設定しておく。本実施例では輝度Bthとピーク輝度Bpとの差を変化量δとして扱う。この変化量δが許容範囲β内にあれば、仮の目標値Lvを目標値Ltgに設定する。また、この変化量δが許容範囲β以上にあると、仮の目標値Lvを目標値Ltgに所定のステップ値Lsvを加算して、新たな仮の目標値Lvを再設定する。再設定におけるステップ値に付ける符号は初期設定またはユーザ設定により設定するようにしてもよい。
このような手順で動作させることから、基本のガンマ係数を適用することにより輝度分布を求めなくても、この色調補正により、顔および背景の画像でも満足する明るさに補正することができる。
また、図４に示した補正の判断処理（ステップS20）を省略してもよい。この判断処理をなくすことにより、図6(b)に示すように基本のガンマ係数の画像に対して破線54のように暗すぎる顔を明るくしたり、破線56のように暗すぎる顔を暗くしたりする処理が可能になる。すなわち、目標値Ltgは実線52に対してプラス方向にもマイナス方向にも設定することができる。
さらに、入力画素データの色信号、すなわち色成分に着目して、色成分毎に補正ガンマ係数を算出し、色調補正するようにしてもよい。ここで、各色信号は、対象領域の輝度値とみなして処理する。この場合、図10に示すように、顔を含む対象領域が存在すると（ステップS14; YES）、検出された顔領域それぞれの顔輝度を算出するだけでなく、検出された顔領域の輝度、位置、大きさおよび確からしさ、すなわちスコアという条件の内、１つ以上の条件から代表の顔領域を抽出する（ステップS16a）。
次に代表顔領域について色R, GおよびBそれぞれにおける頻度分布の中間値を算出し、代表値とする（ステップS16b）。代表値は、中間値に限定するものでなく、単に平均値としてもよい。ここでも目標値Ltgは実線52に対してプラス方向にもマイナス方向にも設定することができる。色R, GおよびBの代表値は、色R, GおよびBの制御値BCR, BCGおよびBCBとする。この設定は、サブルーチンSUB2のサブステップSS20の処理に対応している。
補正ガンマ係数の算出（サブルーチンSUB1）において、色R, GおよびBそれぞれに対する制御値BCR, BCGおよびBCBの目標値Ltgr, LtggおよびLtgbをそれぞれサブルーチンSUB2にて求めるとよい。色毎の補正ガンマ係数は、それぞれ、３組の３値、すなわち（目標値Ltgr, レベル値LminおよびLmax）、（目標値Ltgg、レベル値LminおよびLmax）、ならびに（目標値Ltgb、レベル値LminおよびLmax）を用いてスプライン補間する。入力画素データに対する出力画素データは、図11(a)のように、基本のガンマ係数による色調補正を示す実線52に対して色R, GおよびBの補正ガンマ係数による色調補正を示す破線58, 60および62でそれぞれ、表わされる。補正ガンマ係数を画像データ40に適用することにより、顔、画像全体を適切な明るさおよび色再現になるように色調補正されることから、顔および背景の画像でも満足する明るさに補正することができる。
そして、入力画像に含まれる顔の数に着目して補正ガンマ係数を算出し、色調補正するようにしてもよい。この場合、図12に示すように、顔領域が存在すると（ステップS14; YES）、検出された顔領域それぞれの顔輝度を算出する（ステップS16）。これは顔領域それぞれにおいて顔輝度を算出することから、現画像における顔の数FNがわかる。
次に顔が多すぎるか否かを判断する（ステップS24）。ここで、入力される一画像に対しては、あらかじめ画像内に含まれる顔の数を上限値FNUとして設定しておく。顔の数FNが上限値FNUより多い場合（YES）、目標範囲外として顔領域の絞込みに進む（ステップS26へ）。目標範囲以内の場合（NO）、補正ガンマ係数の算出に進む（サブルーチンSUB1へ）。
次に顔領域を絞り込む（ステップS26）。絞込みは、対象輝度算出機能部30Aにて輝度、顔の位置、顔の大きさおよび顔の確からしさの内、１つ以上の条件を用いて行なう。この絞込み処理後、顔の数を再確認するため目標範囲外か否かの判断処理に戻る（ステップS24へ）。
次に補正ガンマ係数を算出する（サブルーチンSUB1）。本実施例では、図11(b)に示すように、制御輝度値Bcf1およびBcf2が上限値FNUの個数以内として設定される。この算出手順では、これら制御輝度値Bcf1およびBcf2の目標値Ltg1およびLtg2をそれぞれ求める（サブルーチンSUB2）。求めた目標値Ltg1およびLtg2を基にスプライン補間して補間ガンマ係数を算出する。入力画素レベルは、算出した補間ガンマ係数を適用することにより図11(b)に示す破線64の出力画素レベルに色調補正されることがわかる。また、顔の数に対応するだけでなく、前述したように一つの顔輝度に対する色R, GおよびBの補正ガンマ係数を算出してもよい。色信号は色R, GおよびBに限定されるものでなく、減色混合法の色成分であってもよい。
これまで制御輝度値に対する目標値の算出は、仮の目標値を設定すること、基本のガンマ係数および補正ガンマ係数をそれぞれ適用した際の輝度の頻度分布を生成することおよび頻度分布から求めた変化量が所定の許容範囲内にあるかの判断処理により得てきた。この算出には、さらに空間的な分布情報を適用して目標値を得るようにしてもよし、頻度分布を用いず、この空間的な分布情報だけを適用して目標値を得るようにしてもよい。より好ましくは、頻度分布および空間的な分布情報の両方を適用するとよい。
輝度の頻度分布の生成後、たとえば図13(a)の画面66内にハッチングで示す監視領域68を設ける。監視領域68は、対象である顔領域の周囲、すなわち顔領域より大きい外枠70と顔領域を特定する内枠72とで囲まれた対象を含む領域である。
ここで、監視領域68における輝度値の判断レベルである輝度閾値およびこの輝度閾値以上の面積を判断する面積閾値があらかじめ設定される。
監視領域68において、図13(b)および(c)における輝度閾値Bthより低い輝度の領域をドットで示す良好な領域74とし、輝度閾値Bth以上を左斜めのハッチングで示す好ましくない領域76をレベル判別し、さらに領域76の面積Aを空間的な分布情報として扱い、面積Aが面積閾値Athよりも下回るか否かを判断する。測定した面積Aが面積閾値Ath以上の場合、仮の目標値を新たに設定しなおす。すなわち明る過ぎる画像を暗くする処理を施すように設定する。これにより、再設定した仮の目標値を基に仮の補正ガンマ係数を求め、この仮の補正ガンマ係数を適用して輝度の頻度分布を得る。
ところで、図８の輝度に関する頻度分布や空間的な分布情報は、画像データに対して間引きまたはリサイズした後に算出するとよい。これは画像データの量が相対的に間引きまたはリサイズすることで小さくなり、処理負担が軽減できるからである。画像データに対する間引きまたはリサイズは、撮像部12または前処理部14で行なうことが望ましい。
このように輝度分布だけでなく、空間的な情報を用いて画像の色を補正することにより、顔だけでなく、顔の周囲をも含めた画像全体を満足する明るさに色調補正することができる。色信号の各成分の頻度分布および空間的な分布情報の少なくとも一つを用いてもよい。
前述した前処理部14は色調補正に着目した実施例であったが、WB調整でのゲイン調整に着目しても顔および画像全体を良好な画質に色調補正することができる。前処理部14の構成要素を図14に示す。ここで示した構成要素の内、すでに前述した構成要素と同様の機能を有する構成要素に対して同じ参照符号を付して説明を省略する。この色調補正方法は、画像データ内の特徴的に区別できる対象を含む対象領域を検出し、この対象領域の検出に応じて得られる対象領域の代表値と画像データの全画像領域または一部領域内における分布情報とに基づく補正値の算出を行ない、算出した補正値および基本の補正値のいずれかを用いて、画像データを色調補正する。これらの手順についても以下においてさらに詳述する。
前処理部14は、図14に示すように、オフセット部20、顔前処理部22、AWB（Automatic White Balance）78、ゲイン算出部80、顔検出部26、WB調整部24およびガンマ補正部28を含む。本実施例の前処理部14における構成要素は、先の実施例と比較すると、補正ガンマ算出部30を持たず、新たにAWB 78およびゲイン算出部80を有することがわかる。オフセット部20は、オフセットしたディジタルデータ32をAWB 78およびWB調整部24に出力する。
AWB 78は、オフセット部20からの画像データ32に対してあらかじめ設定した光源色の照明で自動的に画像全体の平均がグレーになるように色バランスを調整する機能を有する。AWB 78は、入力されるディジタルデータ32に対するAWB調整ゲイン82をゲイン算出部80に出力する。
ゲイン算出部80は、AWB調整ゲイン82および顔検出部26からの画像データ36を入力し、補正ゲインを生成する機能を有する。ゲイン算出部80を図15に示す。ゲイン算出部80は、図１に示した構成要素の内、仮の係数算出機能部302Cの代わりに、仮のゲイン算出機能部312Cを設ける。仮のゲイン算出機能部312Cは、仮のゲイン312を分布予測機能部304Cに出力する。
また、補正ゲイン算出機能部30Eは、基本のガンマ係数または補正ガンマ係数といった階調補正テーブルを用いるのでなく、補正ゲインを算出する点で先の実施例と異なる。補正ゲイン算出機能部30Eは、画像データ36を基に顔および画像全体が適切な明るさになる制御輝度値、すなわち顔輝度を入力値とし、この顔輝度に対する目標値を出力値として算出する。目標値の算出については後段に記載する。この入力値に対し求めた出力値との比G1が画像全体に適用するゲインである。最終的なゲインをGとすると、最終的なゲインGは、通常のAWB調整ゲインG0と比G1との積、すなわち式(1)
である。
また、この補正ゲインは、色毎に求めることもできる。補正ゲイン算出機能部30Eは、図示しないがAWB調整ゲイン82をゲインG0R, G0GおよびG0Bとして入力すると、最終的なゲインGR, GGおよびGBはゲインG0R, G0GおよびG0Bに対してそれぞれ色毎に求めたゲインG1R, G1GおよびG1Bを乗算して次式のように算出する。
ゲイン算出部80は、このようにして算出した補正ゲイン（G1R, G1GおよびG1B）またはAWB 78から入力した通常のAWB調整ゲイン（G0R, G0GおよびG0B）のゲインを出力84としてWB調整部24に出力する。
WB調整部24は、対象の検出に応じて出力されるゲイン算出部80からゲイン82または補正ゲイン84とオフセット部20からのディジタル信号32とを入力し、入力される一方のゲインで、入力されるディジタル信号32に対してゲイン補正し、ホワイトバランスを調整する機能を有する。とくに、ゲイン82を入力した場合、補正ゲインG1R, G1GおよびG1Bは１が設定された場合とみなすことができ、G0 R, G0GおよびG0Bでゲイン補正する。WB調整部24は、ホワイトバランスした画像データ40をガンマ補正部28に出力する。ガンマ補正部28は、画像データ40にガンマ補正を施して、色調補正した画像データ42を出力する。この構成により、顔および画像全体が適切な明るさに色調補正される。
また、前処理部14は、図14に示す構成に限定されるものでなく、図16に示す構成要素だけを含むようにしてもよい。すなわち、図16の前処理部14は図14の顔前処理部22を含まず、オフセット部20の出力を顔検出部26に入力させるように接続する。このように構成しても、顔および画像全体が適切な明るさに色調補正することができる。
さらに、ディジタルカメラ10は、色調補正をゲイン補正で行なう場合においても前述したように輝度に関する頻度分布や空間的な分布情報を適用することが好ましい。そして、頻度分布や空間的な分布情報は、画像データに対して間引きまたはリサイズした後に算出するとよい。画像データに対する間引きまたはリサイズは、撮像部12または前処理部14で行なうことが望ましい。
次に図14に示した本実施例のディジタルカメラ10における特徴である前処理部14におけるゲイン調整による色調補正について図17を参照しながら説明する。図17に示した手順は、図４で示した手順と基本的に同じである。共通する工程には同じ参照符号を付して説明を省略する。本実施例では顔の有無を判断する処理以降を説明する。
顔検出部26にて入力されるディジタル信号34が表わす画像領域内に顔を示す領域を検出する（ステップS12）。検出は、たとえばあらかじめ設定した評価閾値より大きな確からしさの評価値が存在するかを基に検出する。次にこの検出結果が顔有りを示すか否かを判断する（ステップS14）。ディジタル信号34に評価閾値より大きい評価値が得られると、顔が検出されたと判断し、この場合（YES）、顔輝度の算出処理に進む（ステップS16へ）。また、顔が未検出の場合（NO）、AWB 78のゲインを出力する（ステップS28へ）。
次に顔検出部26で検出された顔領域それぞれの輝度をゲイン算出部80における対象パラメータ算出機能部30Aで算出し、各領域に対する顔輝度を求める（ステップS16）。顔輝度および輝度値の定義は、前述した定義に同じである。また、顔輝度は輝度、顔の位置、顔の大きさおよび顔の領域に対する評価値の内、１つ以上の条件から重要度を決定する重み係数を顔領域に設定し、この重み係数と検出された顔領域の輝度とを乗算した重み付き輝度の総和を顔領域すべての面積で除算することで得られる輝度の重み平均としてもよい。
また、画像に顔が検出されなかった場合（NO）、ゲイン算出部80はAWB 78のゲインを出力させる（ステップS28）。
顔輝度の算出後、前処理部14は補正ゲインの算出処理、すなわちゲインの補正処理に進む（サブルーチンSUB3へ）。ゲインの補正処理は補正ゲイン算出部80にて行なう。
次に入力されるディジタル信号32に対して出力されたAWB 78のゲインまたは補正ゲインを用いてWB調節する（ステップS30）。このWB調節後、画像データ40をガンマ補正部28に出力する。ガンマ補正部28は、画像データ40にたとえば、基本のガンマ係数を乗算して色調補正し、色調補正した画像データ42を信号処理部16に出力する。前処理部14は、このように動作させることにより前処理を終える。
次に補正ゲインの算出について図18を参照しながら説明する（サブルーチンSUB3）。画素がとることができる最小および最大のレベル値LminおよびLmaxとする。補正ゲインの算出において最初に、入力されるこの画像データにおける顔輝度Bfaceを制御輝度値BLcとする（サブステップSS10； BLc＝Bface）。次に顔および画像全体を適切な明るさにする制御輝度値BLcにおける目標値Ltgを算出する（サブルーチンSUB4）。図6(b)に示すように、この算出した目標値Ltg、レベル値LminおよびLmaxの３値を用いてスプライン補間により補正ゲインを算出する（サブステップSS14）。このようにして求めた補正ゲインを入力画素レベルに適用し、適切な出力画素レベルにする。このようにして補正ゲインを算出した後、リターンに進んでサブルーチンSUB3を終了する。そして、さらに図17に示した前処理ルーチンに戻る。
次に目標値Ltgの算出について図19示すサブルーチンSUB4を用いて、説明する。目標値Ltgは、検出された顔領域だけに着目し、制御輝度値BLcにおける仮の目標値Lvを設定する（サブステップSS40）。仮の目標値Lvは、たとえばゲイン算出部80に格納される制御輝度値BLcに応じて設定される。
次に図8(a)に示すように、入力される画像全体の画像データに対してAWBのゲインを適用した際の輝度分布を求める（サブステップSS42）。
制御輝度値BLcに対する仮の目標値Lvの比、すなわちゲインG1を求める。さらに、求めたゲインG1とゲインG0とを乗算して、ゲインGを仮のゲインとして求める（サブステップSS44）。次に図8(b)に示すように、この算出した仮のゲインを入力される画像データに適用した際の輝度分布を予測する（サブステップSS46）。
ここで、図8(a)および(b)に示すように、ハイライトを示す輝度をBthとする。本実施例では8ビットの輝度表示の内、輝度Bth=240に設定する。輝度Bth以上の画素の積算頻度NbaseおよびNvを求める（サブステップSS48）。そして、求めた画素頻度NbaseおよびNvの差、すなわち変化量Δを求める（サブステップSS50）。この求めた変化量Δが設定した許容範囲α内に収まるか否か判断する（サブステップSS52）。この条件α＞Δを満足する場合（YES）、仮の目標値Lvを目標値Ltgに設定する（サブステップSS54： Ltg=Lv）。この設定後、リターンに移行して図18のサブルーチンSUB3に戻る。また、条件α≦Δの場合（YES）、仮の目標値Lvに所定のステップ値Lsvを加算して、新たな仮の目標値Lvを再設定する（サブステップSS56： Lv＝Lv＋Lsv）。この再設定後、新たに仮の目標値Lvにおける仮の補正ガンマ係数の算出処理に戻る（サブステップSS44へ）。
このようにゲインを補正することにより、顔および背景の画像でも満足する明るさに補正することができる。
目標値Ltgは、図19に示した手順を適用して、輝度Bth以上の画素の積算頻度NbaseおよびNvを用いて、得られた変化量Δと許容範囲αとに基づく設定方法に限定されるものではない。図９で示した他の設定原理を用いてもよい。AWBのゲインを適用することにより輝度の頻度分布が得られる。仮の補正ゲインを適用すると、AWBのゲインを適用した場合の輝度分布はピーク輝度Bpが輝度の高い方に向かってシフトする。ここで、前述したように、ハイライトを示す輝度Bthおよび許容範囲βを設定しておく。本実施例では輝度Bthとピーク輝度Bpとの差を変化量δとして扱う。この変化量δが許容範囲β内にあれば仮の目標値Lvを目標値Ltgに設定する。また、この変化量δが許容範囲β以上にあると、仮の目標値Lvを目標値Ltgに所定のステップ値Lsvを加算して、新たな仮の目標値Lvを再設定する。このような手順で動作させて、基本とするAWBのゲインを適用することにより得られる輝度の頻度分布を求めなくても、この補正ゲインを適用した輝度の頻度分布を求めるだけで、顔および背景の画像でも満足する明るさに補正することができる。
また、図20に示す手順のように、使用する色R, GおよびB毎に補正ゲインを求めてもよい。この場合、代表の顔領域を抽出し（サブステップSS16a）、色R, GおよびB毎に代表値を算出する（サブステップSS16b）。
次に色R, GおよびB毎の補正ゲインを算出する（サブルーチンSUB3）。この算出を簡単に説明すると、色毎の制御輝度値BLcに対する仮の目標値Lvの比を基に、色毎にゲインG1R, G1GおよびG1Bを求める。さらに、色毎に求めたゲインG1R, G1GおよびG1BとゲインG0R, G0GおよびG0Bとをそれぞれ乗算して、最終的な色毎のゲインGR, GGおよびGBを仮のゲインとして求める（サブステップSS44）。
次にこの算出した仮のゲインGR, GGおよびGBを入力される画像データに適用し、仮のゲインを適用した際に得られる輝度分布または頻度分布を予測する（サブステップSS46）。以後の工程であるサブステップSS48〜SS56までの処理を色R, GおよびB毎に求めればよいことは言うまでもない。
これまで前処理での色調補正やゲイン補正による構成およびその動作手順を述べてきたが、本発明の課題の解決はこれらに限定されるものでない。前処理の後段の信号処理部16で行なうようにしてもよい。ただし、信号処理部16の信号処理は前処理部14によって得られた結果に基づいて制御される点に特徴がある。
前処理部14は、図21に示すように、前述した構成要素を含み、さらに傾斜角算出部86を含む。傾斜角算出部86は、設定した基準輝度値に対する出力輝度値を算出し、基準輝度値と出力輝度値から傾斜角θを求める機能を有する。図22に示すように、基準輝度値BLBは、顔領域毎に設定する制御輝度値と異なり、顔領域に関わらず一定な入力輝度値とする顔輝度である。また、図22の出力輝度値LBは、基準輝度値に算出した補正ガンマ係数を乗算して得られる出力値である。傾斜角算出部86には、基準輝度値88が入力され、設定される。傾斜角算出部86は、算出した傾斜角θ（90）をシステム制御部92に出力する。
なお、傾斜角90は、基準輝度値88における出力値を基に算出することから、ゲイン算出機能を用いても傾斜角を算出できることは言うまでもない。
図21に戻って、信号処理部16は、同時化部44およびYC変換処理部46だけでなく、ノイズ低減回路94、輪郭抽出回路96、加算器98および輪郭補正ゲイン回路100を含む。ノイズ低減回路94および輪郭補正ゲイン回路100は、システム制御部92が生成した制御信号102および110、それぞれにより制御される。
ノイズ低減回路94は、入力される信号に含まれるノイズを減らす機能を有する。ノイズ低減回路94には、（n×n）段のメディアンフィルタまたは平滑フィルタが用いられる。ノイズ低減回路94は、システム制御部92から供給される制御信号102に応じて信号を通す段数、すなわちフィルタサイズ（n）を変更する。制御信号102は傾斜角θの大きさに比例してフィルタサイズnを大きく生成される。ノイズ低減回路94は、ノイズ処理した画像データ104を輪郭抽出回路96および加算器98の一端106にそれぞれ供給する。
輪郭抽出回路96は、入力される画像データ104から輪郭を抽出する機能を有する。画像データ50は平滑化され、解像度が低下されているから、輪郭抽出回路96は、画像データ104の輪郭部分を強調するため画像データ50におけるこの輪郭部分を抽出する。輪郭抽出回路96は、輪郭を抽出した画像データ108を輪郭補正ゲイン回路100に出力する。
輪郭補正ゲイン回路100は、入力される画像データ108の輪郭を強調するように補正ゲインをかけて、補正する機能を有する。輪郭補正ゲイン回路100には、制御信号110に応じて補正ゲインを設定される。補正ゲインは傾斜角θの大きさに比例してゲインの値を大きくすることができる。輪郭補正ゲイン回路100は、補正ゲインをかけることにより輪郭の強調された画像データ112を加算器98の他端114に供給する。
加算器98は、画像データ104および112を合成する機能を有する。加算器98は、合成した画像データ116を出力する。
システム制御部92は、本実施例において入力される傾斜角90に応じた制御信号を生成する機能を有する。システム制御部92は、制御信号102および110を生成する機能を有する。制御信号102は、あらかじめ設定した傾斜角θBと入力される傾斜角θ（90）とを比較し、傾斜角θが傾斜角θBより大きい場合、傾斜角θの大きさに応じたフィルタサイズ（n）を設定するように生成し、これ以外は通常の段数を設定するように生成される。また、制御信号110は、あらかじめ設定した傾斜角θBと入力される傾斜角θ（90）とを比較し、傾斜角θが傾斜角θBより大きい場合、傾斜角θの大きさに応じた補正ゲインを設定するように生成し、これ以外は通常の補正ゲインを設定するように生成される。
このように構成すると、顔および背景の画像でも満足する明るさに補正するとともに、ノイズのない輪郭の強調された高画質な画像を得ることができる。
なお、本実施例は、ノイズ低減回路94および輪郭補正ゲイン回路100を制御する構成に限定されるものでなく、一方だけを制御するようにしてもよい。
次に本実施例のディジタルカメラ10における前処理の動作手順を簡単に説明する。図23に示すように、補正ガンマ係数を算出し（サブルーチンSUB1）、この後に傾斜角θの算出する（ステップS32）。傾斜角θは、傾斜角算出部86にて基準輝度値BLBと出力輝度値LBの比に対する逆正接関数により求める。傾斜角算出部86は、求めた傾斜角90をシステム制御部92に出力する。前処理部14の処理には、図４の手順に傾斜角θの算出が追加される。
さらにディジタルカメラ10における信号処理および制御の動作を簡単に説明する。図24に示すように、信号処理は、入力される画像データ40に対して同時化処理する（ステップS40）。次に同時化した画像データ48にYC変換処理部46で変換する（ステップS42）。YC変換処理部46はYC変換した画像データ50がノイズ低減回路94に出力する。
次にシステム制御部92にて算出された傾斜角θ（90）が傾斜角θBより大きいかを判断する（ステップS44）。傾斜角θ（90）が傾斜角θBより大きい場合（YES）、フィルタサイズの比例設定に進む（ステップS46へ）。傾斜角θ（90）が傾斜角θB以下の場合（NO）、フィルタサイズの通常設定に進む（ステップS48へ）。
次にフィルタサイズの比例設定（ステップS46）では、システム制御部92にて傾斜角θに応じたフィルタサイズに設定する制御信号102が生成される。また、フィルタサイズの通常設定（ステップS48）では、システム制御部92にて通常のフィルタサイズに設定する制御信号102が生成される。
フィルタサイズの比例設定の後、システム制御部92にて傾斜角θに応じた輪郭補正ゲインに設定する制御信号110が生成される（ステップS50）。フィルタサイズの通常設定の後、システム制御部92にて通常の輪郭補正ゲインに設定する制御信号110が生成される（ステップS52）。システム制御部92の制御信号102および110を生成後、信号処理部16のノイズ低減回路94および輪郭補正ゲイン回路100にそれぞれ供給する。
ノイズ低減回路94では、入力される制御信号102に応じたフィルタサイズにて画像データ50を平滑化する（ステップS54）。ノイズ低減回路94は、ノイズ低減された画像データ104を輪郭抽出回路96に出力する。
輪郭抽出回路96では、画像データ104から輪郭を抽出する。輪郭抽出回路98は輪郭抽出された画像データ104を輪郭補正ゲイン回路100に出力する。
輪郭補正ゲイン回路100では入力される画像データ104に対して供給される制御信号110に応じた輪郭補正ゲインをかける（ステップS58）。輪郭補正ゲイン回路100は、輪郭補正ゲインをかけて輪郭強調した画像データ112を加算器98に出力する。
加算器98でノイズ低減回路94および輪郭補正ゲイン回路100からそれぞれ入力される画像データ104および112を入力し、画像データ104および112を合成する（ステップS60）。信号処理の手順は、合成した画像データ116を出力して、終了する。
このように補正量に応じて信号処理における構成要素のパラメータを制御して、適切なパラメータに設定して、画像に対する信号処理することにより、単に各構成要素において信号処理する場合に比べて画像が含む対象および周囲の画質をより向上させることができる。さらに、この信号処理は画像の鮮鋭度および画像のざらつき感を示す粒状度の少なくとも一方の処理に適用することが好ましい。
このように動作させることにより、顔および背景の画像でも満足する明るさに補正するとともに、ノイズのない輪郭の強調された高画質な画像を得ることができる。
また、システム制御部92は、傾斜角に応じた制御に限定されるものでなく、画像データの入力値に対する補正ゲインを作用させて得られる出力ゲインG（84）を基に信号処理部16の構成要素を制御してもよい。この場合、ゲイン算出部80は図25に示すように、ゲイン比較部118に出力ゲインG（84）を供給する。また、ゲイン比較部には、あらかじめ設定した所定の出力ゲイン120が判定閾値として供給される。ゲイン比較部118は、出力ゲインG（84）と所定の出力ゲイン120とを比較し、この比較結果122を制御部92に出力する。制御部92に出力ゲインG（84）が所定の出力ゲイン120より大きいことを示す比較結果122が供給される場合、制御部92は、出力ゲインG（84）の大きさに応じた補正を設定するように制御信号102および110を生成し、これ以外では通常の補正ゲインを設定するように制御信号102および110を生成する。先の実施例おける構成要素の対応を比較すると、ゲイン比較部118は制御部92に含めてもよい。
生成した制御信号102および110がノイズ低減回路94および輪郭補正ゲイン回路100にそれぞれ供給されることによりノイズ低減回路94および輪郭補正ゲイン回路100は比較結果に応じたパラメータ、フィルタの段数や輪郭補正ゲインに変更される。このようにパラメータを制御してもより高画質な画像116を得ることができる。
ゲイン補正を用いて信号処理を制御する場合、本実施例では、図24における手順のステップS44〜S52までの手順が異なるだけである。ゲイン比較は傾斜角算出とその判断に対応する（ステップS44）。出力ゲインG（84）が所定の出力ゲイン120より大きい場合（YES）、出力ゲインG（84）に応じたフィルタサイズの設定および輪郭補正ゲインの設定を行なう。また、出力ゲインG（84）が所定の出力ゲイン120以下の場合（NO）、通常のフィルタサイズの設定および輪郭補正ゲインの設定を行なう。このように動作させても顔および背景の画像でも満足する明るさに補正するとともに、ノイズのない輪郭の強調された高画質な画像を得ることができる。
これら前述した動作手順や構成要素をプログラムにより実現させることが可能なことはいうまでもない。
次にディジタルカメラ10における概略的な構成を図26に示す。図26のディジタルカメラ10は、図１のディジタルカメラ10に比べてより具体的な構成を示したものである。図１のディジタルカメラ10と共通する構成要素には、同じ参照符号を付して説明を省略する。図26のディジタルカメラ10は、図１に示した前処理部14および信号処理部16の構成要素が相違する。図26の前処理部14は、図示しないがCDS（Correlated Double Sampling）およびA/D（Analog to Digital）変換部を有するだけである。また、信号処理部16は、同時化部44およびYC変換処理部46の他に顔処理部124を含む。顔処理部124は、単に、前述した図２のオフセット部20、顔前処理部22、ホワイトバランス（WB）調整部24、顔検出部26、ガンマ補正部28および補正ガンマ算出部30を含む構成にしてもよいし、後述するように、各構成要素の機能を向上させるようにしてもよい。
図26のディジタルカメラ10は、図１の他に、光学系126、絞り調節機構128、メモリ制御部130、メモリ132、システム制御部92、操作部134、タイミング信号発生器136、発光部138、ドライバ140、ストレージIF（InterFace）回路142、ストレージ144およびモニタ146を含む。
光学系126は、被写界からの入射光148を撮像部14にて操作部134の操作に応じた画像を結像させる機能を有する。光学系126は操作部134のズーム操作や半押し操作に応じて画角や焦点距離を調整する。光学系126には、光学系126の入射光を出射する側に絞り調節機構128が配設される。絞り調節機構128は、ドライバ140から供給される駆動信号150に応じて入射光148の光束を絞って、調節する機能を有する。絞り調節機構128には、シャッタ機能も有する。このようにして光学系126で調節された光束152が撮像部12に入射する。
撮像部12は、光束152を信号電荷に光電変換し、信号電荷をドライバ140から供給される駆動信号154に応じて転送し、FDA（Field Diffusion Amplifier）により転送された信号電荷をアナログ電気信号の画像信号18として出力する。前処理部14は、供給される画像信号18に対してタイミング信号発生器136から供給されるサンプリング信号156に応じて、図示しないCDSおよびA/D変換し、画像データ158をバス160に出力する。
ディジタルカメラ10において、バス160および信号線162を介して画像データ158がメモリ制御部130に供給される。メモリ制御部130は、システム制御部92からの制御信号164に応じて動作する。メモリ制御部130は、画像データ162を画像データ166としてメモリ132に出力する書込み制御機能を有する。また、メモリ制御部130は、メモリ132に格納された画像データを画像データ166として読み出す制御機能も有する。メモリ132は、不揮発性メモリやSRAM（Static Random Access Memory）等を用いることが好ましい。
操作部134は、電源スイッチ、ズームボタン、メニュー表示切替スイッチ、選択キー、動画モード設定部、連写速度設定部およびレリーズシャッタボタン等を含む操作スイッチ群である。操作部134は、選択操作に応じた操作信号166をシステム制御部92に出力する。
システム制御部92は、操作信号166、顔検出およびシーン判別、ならびに信号処理部16の図示しない積算部からのデータに応じて制御信号164および168を生成する機能を有する。システム制御部92は、バス160を介してメモリ制御部130、信号処理部16およびストレージIF回路142に生成した制御信号164を供給し、制御する。また、システム制御部92は、生成した制御信号168でタイミング信号発生器136、発光部138およびドライバ140を制御する。
タイミング信号発生器136は、撮像部14用の垂直および水平同期信号、フィールドシフトゲート信号、垂直および水平タイミング信号、ならびにOFD（Over-Flow Drain）信号等、各種のタイミング信号を生成する機能を有する。この機能は、制御信号168に応じて各種のタイミング信号170を生成する。タイミング信号発生器136は、各種のタイミング信号170をドライバ140に出力する。また、タイミング信号発生器136は、撮像部12の駆動タイミングだけでなく、前処理部14にて用いる各種のサンプリング信号や動作クロックであるタイミング信号156を生成する機能も有する。タイミング信号発生器136は、タイミング信号156を前処理部14に出力する。
発光部138は、供給される制御信号168に応じてたとえば暗いと判断された被写体に対して所定の光量が得られるように発光する機能を有する。発光部138は、操作部134のレリーズシャッタボタンが本撮像するタイミングに同期させて閃光を発光させる。
ドライバ140は、供給される各種のタイミング信号170を用い、垂直駆動信号および水平駆動信号等を生成する機能を有する。ドライバ140は、フィールドシフトゲート信号、垂直駆動信号、水平駆動信号、リセット信号、OFD信号等の駆動信号154を撮像部14に供給する。
本実施例の信号処理部16は、顔処理部124を含む点に特徴がある。信号処理部16は、バス160および信号線172を介して供給される制御信号164に応じて動作する。また、信号処理部16には、一時格納された画像データ166が供給される。画像データ166は、何も信号処理を受けていない生の画像データ158である。信号処理部16は、図示しない表示制御部を有し、生成した画像データをモニタ146に表示可能なように変換し、画像信号174としてモニタ146に出力する機能も有する。
ストレージIF回路142は、生成した画像データに対する記録/再生における入出力を制御する機能を有する。この入出力は、システム制御部92からの制御信号164がバス160および信号線176を介して供給されることにより制御される。ストレージIF回路142は、ストレージ144に対しても信号線178を介して入出力を制御する。
ストレージ144は、供給される画像データだけでなく、画像生成時における条件またはその情報をも記録/再生する記録媒体である。モニタ146は、供給される画像信号174を画像として表示する機能を有する。
次に信号処理部16における顔処理部124の概略的な構成を図27に示す。顔処理部124は、図２に示したオフセット部20、顔前処理部22、ホワイトバランス（WB）調整部24、顔検出部26、ガンマ補正部28および補正ガンマ算出部30を含み、顔処理した画像データ173を出力する。顔処理部124を図４に示した基本的な手順で動作させる。すなわち、簡単に説明すると、供給される画像データ172が含む画像中の顔領域をすべて検出し、顔領域の位置、大きさおよび確からしさを取得する。また、画像中に顔領域が検出されない場合、所定の基本ガンマを出力する。顔処理部124は、図３の構成でもよい。
次に検出された顔領域からそれぞれの顔輝度を算出し、最も値が大きいものを顔輝度として出力する。また、この顔輝度は、輝度、顔の位置、大きさおよび確からしさの内１つ以上の条件から重要度を決定する重み係数をそれぞれの顔領域に設定し、設定した重み係数によって重み平均した顔領域の輝度を顔輝度として出力するようにしてもよい。
算出した顔輝度と所定の閾値とを比較する。算出した顔輝度が所定の閾値より高い場合、基本ガンマを出力させる。算出した顔輝度が所定の閾値以下の場合、顔および画像全体が適切な明るさになるような顔輝度の目標値を算出し、後段で詳述するように、顔輝度を制御輝度値BLcとして、この目標値Ltg、画素値が取り得る範囲内での最小値Lminおよび最大値Lmaxの３値からスプライン補間等の補間処理により補正したガンマを作成する。
本実施例は、とくに、目標値の修正し、算出に特徴がある。図28に示す目標値算出機能部30Cは、仮の目標値設定機能部300Cおよび目標修正機能部314Cを含む。仮の目標値設定機能部300Cは、検出された顔領域にのみ注目し、顔輝度の仮の目標値を設定する。また、本実施例における仮の目標値設定機能部300Cは、設定した仮の目標値に対応する仮補正ガンマを生成する。
目標修正機能部314Cは、図29に示すように、C1算出部182、C2算出部184、X算出部186、重み係数決定部188および修正値算出部190を含む。
目標修正機能部314Cでは、画像中の背景情報180を利用し、背景も含めて適切な明るさになるように目標値を修正する。この修正には、顔検出した特徴量として、色差量Cを用いる。色差量Cは、Cb＝(B−Y), Cr＝(R−Y)に設定すると、次式により得られる。
ここで、画像に基本ガンマを適用した場合の色差量C1と設定し、仮目標値より得られる仮補正ガンマを適用した場合の色差量C2と設定する。C1算出部182およびC2算出部184は、背景情報180を用いて、各画素に対して色差量C1およびC2を算出し、算出した色差量186（C1）および188（C2）をX算出部186に出力する。X算出部186では、次式により色差の低下量196（X）を算出する。
ここで、変数Nは、総画素数である。X算出部186は、重み係数決定部188に出力する。
重み係数決定部188は、図30に示すように、色差の低下量Xに対する重み係数Wを決定するルックアップテーブルを含む。重み係数決定部188は、決定した重み係数198（W）を修正値算出部190に出力する。修正値算出部190は、顔輝度値300と設定した仮目標値306をそれぞれ入力し、決定した重み係数198（W）の値に基づいて修正した目標値320を次式により算出する。
修正値算出部190は、決定した重み係数Wの値が大きいほど、修正した目標値が低下するように修正する。修正値算出部190は、算出した目標値320を補正テーブル算出機能部30Dに出力する。補正テーブル算出機能部30Dは、修正した目標値320を基に補正ガンマ係数38を生成し、出力する。
簡単に動作を説明する。ディジタルカメラ10の動作は、図４における顔検出処理（ステップS14）まで同じ処理手順である。顔検出により画像中の顔領域をすべて検出し、顔領域の位置、大きさ、確からしさを取得する。また、顔領域が検出されなければ補正を要さないと判断し、基本ガンマを用いるように出力する。
次に顔の検出に応じて検出された顔領域からそれぞれの顔輝度を算出し、最も値が大きいものを顔輝度として出力する（ステップS16）。また、輝度、顔の位置、大きさおよび確からしさの内１つ以上の条件から重要度を決定する重み係数をそれぞれの顔領域に設定する。顔領域の顔輝度は、設定した重み係数を乗算した顔領域の輝度の重み平均を出力する。
次に補正の有無を判断する（ステップS20）。顔輝度が閾値より高い場合、基本ガンマを用いるように出力する。顔輝度が閾値以下の場合、補正ガンマを算出する。本実施例では、まず、顔および画像全体が適切な明るさになるような顔輝度の目標値を算出する。算出した顔輝度は制御輝度値を設定した入力として扱う。この入力に対する出力が目標値である。補間は、この目標値と画素値が取り得る範囲内での最小値および最大値の３値からスプライン補間等により処理し、補正ガンマを作成する。
ここで、顔輝度の目標値を算出する場合、処理は検出された顔領域にのみ注目し、顔輝度の仮の目標値を設定する。次の処理は背景情報を利用し、背景も含め適切な明るさになるように目標値を修正する。顔輝度の目標値を修正する場合、処理は画像に基本ガンマを適用した場合の色差量C1と仮目標値より得られる仮補正ガンマを適用した場合の色差量C2を算出し式(8)のように色差の低下量Xを算出する。
次に色差の低下量Xの値から重み係数Wを決定し、重み係数Wの値に基づいて修正した目標値を算出する。
このように修正した目標値を用いて、色調補正することにより背景の色味がある一定以上に失われないように補正量を制御することができる。
なお、本実施例は色差信号を用いて説明したが、本実施例に限定されるものでなく、クロマ信号を使って色差の低下量Xを算出してもよい。
次に顔検出処理部124において目標修正機能部314Cにおける他の実施例の概略的な構成を図31に示す。図31の目標修正機能部314Cは、図29の構成要素に判断部200および再設定部202を新たに含む。
判断部200は、算出された色差の低下量Xと所定の閾値εとを比較し、判断する機能を有する。判断部200は、色差の低下量Xが閾値εより大きい場合、判断結果204としてレベル“L”を出力する。また、判断部200は、色差の低下量Xが閾値ε以下の場合、判断結果204としてレベル“H”を出力する。この判断結果204は修正値算出部190と再設定部324とに供給される。
再設定部202は、アクティブ“Low”で動作し、新たな仮目標値を固定値分下げた値に再設定する機能を有する。ここで、図示しない仮目標値は、再設定部202に供給される。再設定部202は、再設定した仮目標値206としてC2算出部184に出力する。
修正値算出部190は、アクティブ“High”で動作し、式(9)によって修正された目標値320を出力する。
動作を説明する。本実施例は先の実施例に比べて目標値の修正が一部異なる処理である。目標値の修正は、仮目標値より得られる仮補正ガンマで補正した場合の色差の低下量Xを算出する点で同じである。次に色差の低下量Xが閾値εより大きい場合、仮目標値を固定値分下げた値に再設定して、色差の低下量Xの算出に戻る。また、色差の低下量Xが閾値ε以下の場合、現在の仮目標値を最終的な目標値として決定する。補正ガンマは、この目標値、最小値および最大値の３値を用いたスプライン補間によりを求める。画像データには算出した補正ガンマで補正が施される。
このように構成し、動作させることにより先の実施例に比べてフィードバックさせて、制御することで補正の精度をより一層向上させることができる。
また、目標修正機能部314Cにおける他の実施例として概略的な構成を図32に示す。図32の目標修正機能部314Cは、図29の構成要素に新たな構成要素、すなわち抽出部208、割合算出部210および重み係数決定部212を含む。抽出部208は、供給される画像データの輝度が所定の閾値以上である画素を注目画素として抽出する機能を有する。
ここで、抽出する輝度は、三原色RGBを合成した“R＋G＋B”、画像データY, Cr, Cbの内のY、CIE（Commission International de l’Eclairage） 1976 L*a*b*色空間またはCIE 1976 L*u*v*色空間の明度を表わすL*および三原色RGBのいずれかの単チャンネルなどである。抽出部208は、抽出した注目画素214を割合算出部210、C1算出部182およびC2算出部184に出力する。
図33に示すような被写界を撮影する。基本ガンマで画像を処理すると、画像データは、図33(A)に示すように、輝度aの領域216、輝度bの領域218、輝度cの領域220および輝度dの領域222に分けられる。各領域が示す輝度の大きさは、a＜b＜c＜dである。本実施例の仮補正ガンマを想定してこの画像を処理すると、図33(B)に示すように、輝度eの領域216、輝度fの領域218、輝度gの領域220および輝度dの領域222に分けられる。各領域が示す輝度の大きさは、e＜f＜g＜dである。抽出部208では、たとえば輝度eを所定の輝度に設定されている。抽出部208は、図33(C)に示すように、この所定の輝度e以下のクロスハッチングで示す領域224を非注目画素に分類し、所定の輝度eより大きい領域226を注目画素214に分類する。
なお、割合X1の算出における判断基準に用いる注目画素の抽出閾値はThresh1、色差の低下量Xの算出における判断基準に用いる注目画素の抽出閾値はThresh2と別々に設定してもよい。
図32に戻って、割合算出部210は、抽出された注目画素の画像全体に対する割合を算出する機能を有する。割合算出部210には、１枚の画像に対応する画像データ172が供給される。割合算出部210は、所定の輝度eより大きい画素を注目画素として、全画素に対する割合228（X1）を重み係数決定部212に出力する。
重み係数決定部212は、注目画素の割合228（X1）に対する重み係数W1を決定するルックアップテーブルを含む。ルックアップテーブルの一例を図34(A)に示す。決定した重み係数230（W1）を修正値算出部190に出力する。また、前述した重み係数決定部188は、色差の低下量X（196）に対する重み係数W2を決定するルックアップテーブルを含む。図34(B)のルックアップテーブルは、図30に同じである。重み係数決定部188は、決定した重み係数198（W2）を修正値算出部190に出力する。
再び図32に戻って、C1算出部182およびC2算出部184には、抽出部208で抽出した注目画素が供給される。C1算出部182およびC2算出部184は、注目画素において画像に基本ガンマを適用した場合の色差量C1と仮補正ガンマを適用した場合の色差量C2を算出する。X算出部186は、色差量C1およびC2を用いて式(8)から色差の低下量Xを算出し、重み係数決定部188に出力する。重み係数決定部188は、注目画素に対する決定した重み係数198（W2）を修正値算出部190に出力する。修正値算出部190は、顔輝度値300と設定した仮目標値306をそれぞれ入力し、決定した重み係数198（W2）および230（W1）の値に基づいて修正した目標値320を次式により算出する。
修正値算出部190は、算出した目標値320を補正テーブル算出機能部30Dに出力する。補正テーブル算出機能部30Dは、修正した目標値320を基に補正ガンマ係数38を生成し、出力する。
次に目標値の修正算出における動作を説明する。まず、仮の目標値から仮補正ガンマを作成する。次に抽出部208で作成した仮補正カンマを画像に適用した場合に輝度が所定の閾値以上である画素を注目画素として、抽出する。抽出部208は抽出した注目画素214を割合算出部210に出力する。割合算出部210では、抽出された注目画素214の画像全体に対する割合228（X1）を算出する。
次に注目画素において画像に基本ガンマを適用した場合の色差量192（C1）と仮補正ガンマを適用した場合の色差量194（C2）を算出し、式(8)から色差の低下量196（X）を算出する。重み係数決定部212では注目画素の割合228（X1）の値から重み係数230（W1）を決定し、注目画素における色差の低下量196（X）の値から重み係数198（W2）を決定する。決定した重み係数230（W1９および198（W2）を式(10)に適用して修正した目標値を算出する。
このように修正した目標値の生成において、先の実施例に比べて高輝度画素の割合をパラメータに加えたことでたとえば不必要な補正量低下のような補正量の誤制御を防止することができる。このように色味低下の監視対象を高輝度画素に絞ったことからさらに精度を向上させることができる。
次に目標修正機能部314Cにおける他の実施例として概略的な構成を図35に示す。本実施例では発光に応じた目標修正について説明する。目標修正機能部314Cは、図35に示すように、頻度分布生成部232、最大値取得部234、ならびに重み係数決定部236、236および188を含む。頻度分布生成部232は、供給される画像データにおける輝度の頻度分布を生成する機能を有する。生成される輝度の頻度分布は図36(A)のように表わされる。頻度分布生成部232は、発光の駆動信号168のレベル“H”の印加に応じて供給される画像データ36を基に頻度分布を生成し、生成した頻度分布データ240を最大値取得部234に出力する。
最大値取得部234は、供給される頻度分布から累積頻度分布を作成し、累積頻度分布が最初に100%になる輝度値をMAX_LEVELに設定する機能を有する。最大値取得部234は、図36(B)に示すように輝度に対する累積頻度％を生成する。この表示の中で、最大値取得部234は、発光の駆動信号168のレベル“H”の印加に応じて供給される生成した累積頻度分布データ240が最初に100%になる輝度値242（MAX_LEVEL）を重み係数決定部236に出力する。
重み係数決定部238は、発光の駆動信号168のレベル“H”の印加に応じて供給される顔輝度300に対する重み係数W3を決定する機能を有する。重み係数決定部238は、図37(A)に示すルックアップテーブルのデータを格納する。重み係数決定部238は、対応する重み係数244（W3）を出力する。また、重み係数決定部236は、発光の駆動信号168のレベル“H”の印加に応じて供給される輝度値242（MAX_LEVEL）に対する重み係数244（W4）を決定する機能を有する。重み係数決定部236は、図37(B)に示すルックアップテーブルのデータを格納する。重み係数決定部236は、対応する重み係数246（W4）を出力する。重み係数決定部188は、駆動信号168がレベル“L”に応じて動作する。重み係数決定部188は、色差の低下量196（X）に応じた重み係数Wを出力する。
修正値算出部190は、発光と非発光に応じた修正した目標値を算出する機能を有する。修正値算出部190は、顔輝度値300と設定した仮目標値306をそれぞれ入力し、発光に応じて決定した重み係数244（W3）および246（W4）の値を適用して修正した目標値320を次式により算出する。
また、修正値算出部190は、顔輝度値300と設定した仮目標値306をそれぞれ入力し、非発光に応じて決定した重み係数198（W）の値を適用して修正した目標値320を式(9)により算出する。
なお、修正値算出部190は、非発光に応じて単に設定した仮目標値306を目標値と設定し、出力するようにしてもよい。
修正値算出部190は、算出した目標値320を補正テーブル算出機能部30Dに出力する。補正テーブル算出機能部30Dは、修正した目標値320を基に補正ガンマ係数38を生成し、出力する。
次に目標値の修正算出における動作を説明する。ディジタルカメラ10は発光の有無をチェックする。ディジタルカメラ10は発光していない場合、発光にともなう本実施例における補正量を修正しない。ディジタルカメラ10は発光を確認した場合、頻度分布生成部232で画像全体に対する輝度の頻度分布を生成する。次に最大値取得部234で生成した頻度分布データ240から累積頻度分布を作成する。最大値取得部234で累積頻度分布が最初に100%になる輝度値をMAX_LEVELと設定し、輝度値242を取得する。
ここで、最大値取得部234は、少数の画素によりMAX_LEVELの値が振れないように100%より若干低い割合、たとえば99%にしてもよい
次に重み係数決定部238および236では発光に応じて顔輝度から重み係数244（W3）、MAX_LEVELから重み係数246（W4）を決定する。修正値算出部190では重み係数W3、W4を適用した式(11)から目標値を修正する。
閃光発光されたにも関わらず、実際に検出された顔が暗い場合、補正の要/不要の判断が難しい。たとえば画像全体が暗い場合、閃光発光による未到達シーンと判断し、十分な補正が要求される。また、背景に明るい物体が含まれる場合、誤検出、人物が主要被写体ではない、または肌の黒い人物などであると判断して、補正量の低下が要求される。本実施例では、このように構成し、動作させることにより上述の相反した要求に応じた画像を得ることができる。
次に補正テーブル算出機能部30Dにおける概略的な構成を図38に示す。補正テーブル算出機能部30Dは、図38に示すように、基本ガンマテーブル246、補間曲線生成部248および合成処理部250を含む。基本ガンマテーブル246は、入力される輝度に対するガンマ変換し、変換した輝度を出力する機能を有する。基本ガンマテーブル246は、画像データ36を入力し、入力に応じてガンマ変換した画像データ252を出力する。
補間曲線生成部248は、供給される目標値320、供給される画像データ36の最小値および最大値を求め、補正曲線を３値のスプライン補間により生成する機能を有する。補間曲線生成部248は、生成した補間曲線データ254を出力する。
合成処理部250は、基本ガンマ後の画像データ252に対する補正曲線データ254を合成により作成する機能を有する。合成処理部250は、作成した補正ガンマデータ38を出力する。
補正テーブル算出機能部30Dにおける動作原理を図39に示す。図39(A)に示すように、入力される画像データは、基本ガンマテーブル246で基本ガンマに応じて変換される。一方、補間曲線生成部248では、図39(B)に示すように、顔および画像全体が適切な明るさになるような画像中の顔輝度の目標値Ltgを算出し、基本ガンマ後の顔輝度を制御輝度値BLcに対応する。目標値Ltg、画素データが取り得る範囲内での最小値および最大値の３値からスプライン補間等の補間処理により基本ガンマ後の画像データに対する補正曲線を作成する。合成処理部250では、図39(C)に示すように、基本ガンマの画像データ252と補正曲線データ254とを合成し、最終的な補正ガンマデータ38を得る。
このように基本ガンマをベースにすることで、顔検出の成功/失敗による明るさのハンチングを軽減させることができる。また。先の実施例に比べてより安定した補正曲線を得ることができる。
また、顔処理部124における補正は、階調補正に限定されるものでなく、ゲイン補正によってもよい。顔処理部124は、図40に示すように、図14と同じ構成要素、すなわちオフセット20、AWB 78、顔前処理部22、顔検出部26、ゲイン算出部80、WB調整部24およびガンマ補正部28を含む。顔処理部124は信号処理部16に含まれることから、顔処理部124のオフセット20および顔前処理部22ガンマ補正部28には画像データ172が入力される。また、顔処理部124は、ガンマ補正部28の出力データ173を出力する。出力データ173は、たとえば同時化部44に供給される。
ただし、ゲイン算出部80は、図15に示した構成と目標値算出機能部30Cが若干異なる。目標値算出機能部30Cは、図28に示したように、仮の目標値設定機能部300Cおよび目標修正機能部314Cを含む。目標修正機能部314Cには、たとえば背景データ180と顔輝度300が供給される。目標修正機能部314Cは、図29、図31、図32および図35の構成のいずれか一つを適用する。
顔処理部124の動作を説明する。顔処理部124には、供給される画像データ172における顔領域すべてを検出し、検出された顔領域の位置、大きさおよび確からしさを取得する。ここで、ゲイン算出部80は、顔領域が検出されなければ、AWBゲイン82を出力ゲイン84として出力する。
次に検出された顔領域からそれぞれの顔輝度を算出し、最も値が大きいものを顔輝度として出力する。また、輝度、顔の位置、大きさおよび確からしさの内１つ以上の条件から重要度を決定する重み係数をそれぞれの顔領域に設定する。顔輝度は、この設定に応じた重み係数の適用による重み平均した顔領域の輝度として出力する。
得られた顔輝度が所定の閾値より高ければAWBゲインを出力する。これにより入力画像にAWBゲインを適用する。得られた顔輝度が所定の閾値以下の場合、顔および画像全体が適切な明るさになるような顔輝度の目標値を算出する。目標値の顔輝度に対する比を画像全体に適用するゲイン（G1）と、WBのゲイン（G0）とを用いて、式(4)、式(5)および式(6)により最終的なゲインを算出する。
ゲイン算出部80は、このようにして算出した補正ゲイン（G1R, G1GおよびG1B）またはAWB 78から入力した通常のAWB調整ゲイン（G0R, G0GおよびG0B）のゲインを出力84としてWB調整部24に出力する。
目標値算出機能部30Cは、顔輝度の目標値を以下の手順で算出する。まず、検出された顔領域だけに注目し、顔輝度の仮の目標値を設定する。次に背景情報を利用し、背景も含めて適切な明るさになるように目標値を修正する。
このように構成し、動作させることにより暗い顔を階調補正ではなく、ゲイン補正によっても明るい顔が得られるように補正することができる。
次に信号処理部16に配される顔処理部124と露光演算部256とを関連させて好ましい画像を得る実施例を開示する。信号処理部16は、図42に示すように、顔処理部124および露光演算部256を含む。顔処理部124は、顔輝度300を露光演算部256に出力する。また、顔処理部124は、顔検出の有無を報知する検出信号258を出力する。検出信号256は、露光演算部256に出力され、信号線172、バス160および図示しない信号線164を介してシステム制御部92にも出力される。
露光演算部256は、供給される画像データを基に露光量を算出する機能を有する。露光演算部256は、供給される画像データ172を基に算出した露光量または露光値260を、信号線172、バス160および図示しない信号線164を介してシステム制御部92に出力する。
顔処理部124および露光演算部256についてさらに構成を説明する。本実施例における顔処理部124の一部構成を図43に示す。顔検出部26は、顔の検出結果を含む画像データ36を補正ガンマ算出部30に出力する。また、顔検出部26は、検出信号258も出力する。図43に示したように、補正ガンマ算出部30は、顔輝度300を出力する。補正ガンマ算出部30は、図28に示した基本的な構成であり、構成要素である目標修正機能部314Cは、図29、図31、図32および図35の構成のいずれか一つを適用する。また、補正テーブル算出機能部30Dは、図38と同じ構成要素を含む。
露光演算部256は、図44に示すように、露出量算出部262および264、シーン対応算出部266、重み係数決定部268、顔対応算出部270、ならびに選択部272を含む。露出量算出部262および264は、供給されるデータから露出量を算出する機能を有する。露出量算出部262は、供給される画像データ172すべてから最適露光量274（Ev_t）を算出し、シーン対応算出部266および選択部272の一端側に供給する。また、露出量算出部264は、供給される顔輝度300から顔領域に対する最適露光量276（EV_f）を算出し、シーン対応算出部266に供給する。
シーン対応算出部266は、供給されるデータを基にシーンの最適露光量を算出する機能を有する。重み係数決定部268は、供給されるシーンの明るさに応じて重み係数決定する機能を有する。重み係数決定部268は、供給されるシーンの明るさ278に応じて決定した重み係数280（W）をシーン対応算出部266に出力する。重み係数決定部268は、たとえばシーン全体が明るい場合に重み係数Wを大きく、シーン全体が暗い場合に重み係数266（W）を小さく出力するように制御する。
シーン対応算出部266は、供給される最適露光量274（Ev_t）、276（EV_f）および重み係数280（W）を用いて、式(12)により供給される画像データのシーンにおける最適露光量282（Ev1）を算出する。
シーン対応算出部266は、算出したシーン最適露光量282（Ev1）を顔対応算出部270に出力する。また、シーン対応算出部266は、シーン最適露光量をEv1としたときの顔輝度284（F1）を算出する機能も有する。このときの顔輝度284（F1）は、基本ガンマにより変換した基本ガンマ後の値である。シーン対応算出部266は、算出した顔輝度284（F1）を出力する。顔輝度284（F1）は、メモリ制御部130を介してメモリ132に記録される。
顔対応算出部270は、供給されるシーン最適露光量に対して固定値を減算した本撮影時の露光量を算出する機能を有する。顔対応算出部270は、シーン最適露光量282（Ev1）および固定値（Ev_o）を用い、式(13)により顔の最適露光量286（Ev2）を算出する。
顔対応算出部286は、算出した顔の最適露光量286（Ev2）を選択部272に出力する。また、顔対応算出部270は、顔の最適露光量をEv2としたときの顔輝度288（F2）を算出する機能も有する。このときの顔輝度288（F2）も基本ガンマにより変換した基本ガンマ後の値である。顔対応算出部270は、算出した顔輝度288（F2）を出力する。顔輝度288（F2）は、メモリ制御部130を介してメモリ132に記録される。
選択部272は、顔の有無に応じて最適露光量274（Ev_t）および顔の最適露光量286（Ev2）のいずれか一方を選択する機能を有する。すなわち選択部272は、顔検出に応じて顔の最適露光量286（Ev2）を出力する。また、選択部272は、非顔検出に応じて最適露光量274（Ev_t）を出力する。
次にディジタルカメラ10の動作を説明する。操作部134のレリーズシャッタを半押し（S1）し、この予備撮像で得られた画像データ172に対して顔を検出する。
ここで、予備撮像とは、被写界に対する露光量演算用や合焦用の撮影を意味する。
顔の検出には、たとえば顔の位置、大きさおよび確からしさを基に取得される。顔領域が検出されなければ（NO）、画像データ172すべてから最適露光量274（Ev_t）を算出する。この場合、最適露光量274（Ev_t）に基づいて本撮影する。顔処理部124では、供給される画像データ172に対して図45(A)に示した基本ガンマでガンマ変換する。
また、顔が検出された場合（YES）、画像の顔領域から顔輝度を算出する。この顔輝度は、図４のステップS16で説明した方法を基に算出する。次に最適露光量274（Ev_t）と最適露光量276（EV_f）をそれぞれ算出し、これら最適露光量および重み係数280（W）を式(12)に適用しシーン最適露光量282（Ev1）を算出し、さらに顔輝度284（F1）を算出する。
次に本撮影時の露光量としてシーン最適露光量282（Ev1）より低い顔の最適露光量286（Ev2）を設定する。また、顔輝度288（F2）を算出する。次に算出した顔輝度284（F1）および288（F2）をメモリ132に記憶する。
次に操作部134のレリーズシャッタボタンを全押し（S2）し、本撮影する。本撮影により得られた画像データ172に対する補正ガンマを算出する。補正ガンマの算出には、メモリ132に記憶した顔輝度284（F1）および288（F2）をそれぞれ目標値および制御輝度値と設定して、読み出して、算出する。補正テーブル算出機能部30Dでは、図45(B)に示した顔輝度における範囲内での最小値、（F2,F1）および最大値の３値を用いたスプライン補間等の補間処理により補正曲線255を作成する。補正テーブル算出機能部30Dでは、図45(C)に示すように、基本ガンマ後の画像データに対する補正曲線38を作成する。
このように構成し、動作させることにより通常の露光制御した場合に比べて高ダイナミックレンジな画像が得られる。この階調補正ような補正を利用することで露光制御だけで明るさを補正した場合よりも背景が白飛びし難い、高画質の画像を得ることができる。
最後に、補正テーブル算出機能部30Dにおける他の実施例の構成として図46を参照しながら説明する。補正テーブル算出機能部30Dは、図38や図43に示した構成要素を含み、さらに、補正曲線生成部290、２入力論理和回路292、条件選択部294を含む。
本実施例は、とくに、条件選択部294を有する点に特徴がある。条件選択部294は、反転回路296、ならびに２入力論理積回路298および322を含む。条件選択部294には、顔検出部26から出力される検出信号258が供給される。検出信号258は、タイミングに応じて条件信号324および326として供給される。条件信号324および326は、予備撮影における顔検出の有無を示す信号と本撮像における顔検出の有無を示す信号である。条件信号324および326は、顔の検出に応じてレベル“H”であり、顔の未検出に応じてレベル“L”である。
２入力論理積回路298は、予備撮像において顔が検出され、本撮像において顔が未検出でレベル“H”の出力信号がイネーブル信号328として出力する。これによりイネーブル信号328は補正曲線生成部290だけを動作させる。また、２入力論理積回路322は、予備撮像および本撮像における顔の検出によりレベル“H”の出力信号がイネーブル信号330として出力する。これによりイネーブル信号330は補正曲線生成部248だけを動作させる。
補正曲線生成部290は、補正曲線生成部248と同じ機能を有する。基本ガンマ部246、ならびに補正曲線生成部248および290には、画像データ36が供給される。補正曲線生成部248には、目標値320が供給される。補正曲線生成部290には、メモリ132から読み出した顔輝度284および288が供給される。補正曲線生成部248は、イネーブル信号のオン状態に応じて補正曲線データ254を作成する。また、補正曲線生成部290は、イネーブル信号のオン状態に応じて補正曲線データ332を作成する。２入力論理和回路292には、補正曲線生成部248および290の出力が２入力端子a, ｂに接続される。２入力論理和回路292は補正曲線データ254および332のいずれか一方を補正曲線データ334として合成処理部250に出力する。
合成処理部250は、基本ガンマデータ252と条件に応じて供給された補正曲線データ334とを合成し、合成した補正テーブルデータ38を出力する。
次にディジタルカメラ10の動作を説明する。本実施例は、本撮影するまで先の実施例での動作に同じである。ただし、予備撮影における顔検出では、顔検出部26から条件信号324が生成される。条件信号324は、顔検出に応じてレベル“H”、顔未検出に応じてレベル“L”である。
本撮影の後、供給される画像データ36を用いて、再度、顔を検出する。顔検出部26は、この顔検出に応じて顔情報を取得する。顔検出部26は、検出信号256が条件信号326として出力する。条件信号326は、顔の検出に応じてレベル“H”、顔未検出に応じてレベル“L”である。
条件信号324および326がともにレベル“H”の場合、イネーブル信号330がレベル“H”が補正曲線生成部248に供給される。このとき、補正曲線生成部290には、イネーブル信号328がレベル“L”が供給される。したがって、補正曲線生成部248だけが動作する。これにより補正テーブル算出機能部30Dは、基本ガンマデータ252と補正曲線データ254とを合成した補正データ38を出力する。
また、条件信号324がレベル“H”で条件信号326がレベル“L”の場合、イネーブル信号330がレベル“L”が補正曲線生成部248に供給される。このとき、補正曲線生成部290には、イネーブル信号328がレベル“H”が供給される。したがって、補正曲線生成部290だけが動作する。これにより補正テーブル算出機能部30Dは、基本ガンマデータ252と補正曲線データ332とを合成した補正データ38を出力する。補正曲線データ332は、補間データとして、顔輝度284（F1）および288（F2）の座標データを基にした補間処理により生成される。
条件信号324および326がともにレベル“L”の場合、補正曲線生成部248および290は動作しない。このとき、供給される画像データには、基本ガンマデータによりガンマ補正される。
このように構成し、動作させることにより先の実施例における画像生成に比べて、予備撮影時と本撮影時とでたとえ被写体が変化したとしても、最適な明るさに補正することができる。また、本撮影の画像から顔の検出に失敗したとしても、予備撮影時の最適な明るさが保障される。
なお、本実施例は、補正テーブル算出機能部30Dについて開示したが、この実施例に限定されるものでなく、補正ゲイン算出機能部30Eにおいても予備/本撮影での顔検出に応じて補正ガンマを生成し、高画質な画像を得ることができる。
本発明の画像処理装置を適用したディジタルカメラの概略的な構成を示すブロック図である。 図１のディジタルカメラにおける補正ガンマ算出部の概略的な構成を示すブロック図である。 図１の前処理部における他の構成を示すブロック図である。 図１のディジタルカメラにおける前処理の手順を説明するフローチャートである。 図４の前処理における補正ガンマ係数を算出する手順（サブルーチンSUB1）を説明するフローチャートである。 図４の手順により得られる入力画素レベルに対する出力画素レベルを示す図である。 図５の補正ガンマ係数の算出における目標値を算出する手順（サブルーチンSUB2）を説明するフローチャートである。 図５の手順において画像に基本のガンマ係数と補正ガンマ係数とを適用した場合の輝度分布を示す図である。 図７と異なる手順による目標値の算出手順を説明する図である。 図４の手順を基に色R, GおよびBの補正ガンマ係数を算出し、前処理する手順を説明するフローチャートである。 色R, GおよびB、ならびに顔領域に対応した入画素レベルに対する出力画素レベルを示す図である。 図４の手順を基に顔領域に応じた補正ガンマ係数を算出し、前処理を説明するフローチャートである。 図４の補正ガンマ係数を算出する手順にてさらに顔領域に設定した監視領域に応じた空間情報を基にした補正ガンマ係数の算出を説明する図である。 図１の前処理部における他の構成を示すブロック図である。 本発明の画像処理装置を適用したディジタルカメラにおけるゲイン算出部の概略的な構成を示すブロック図である。 図14の前処理部における他の構成を示すブロック図である。 図15のディジタルカメラにおける前処理の手順を説明するフローチャートである。 図15の前処理における補正ゲインを算出する手順（サブルーチンSUB3）を説明するフローチャートである。 図18の補正ゲインの算出における目標値を算出する手順（サブルーチンSUB4）を説明するフローチャートである。 図17の手順を基に色R, GおよびBの補正ゲインを算出し、前処理する手順を説明するフローチャートである。 図１のディジタルカメラにおける前処理部および信号処理部の概略的な構成を示すブロック図である。 図21に適用した傾斜角算出部の動作原理を説明する図である。 図４の手順を基にした補正ガンマ係数および傾斜角を算出し、前処理を説明するフローチャートである。 図21の信号処理および制御の動作手順を説明するフローチャートである。 図１のディジタルカメラにおける前処理部および信号処理部の概略的な構成を示すブロック図である。 本発明に係るディジタルカメラの概略的な構成を示すブロック図である。 図26の顔処理部の概略的な構成を示すブロック図である。 図27の補正ガンマ算出部における実施例の概略的な構成を示すブロック図である。 図28の目標修正機能部における実施例の概略的な構成を示すブロック図である。 図29の重み係数決定部に記憶される色差の低下量に対する重み係数との関係を示すグラフである。 図28の目標修正機能部における他の実施例の概略的な構成を示すブロック図である。 図28の目標修正機能部における他の実施例の概略的な構成を示すブロック図である。 図32の目標修正機能部の抽出部にて異なるガンマ補正した画像に対する注目画素/非注目画素への分類を説明する図である。 図32の重み係数決定部に記憶される注目画素の割合に対する重み係数と、色差の低下量に対する重み係数との関係を示すグラフである。 図28の目標修正機能部における他の実施例の概略的な構成を示すブロック図である。 図35の頻度分布生成部における輝度に対する頻度を表わす頻度分布と最大値取得部における輝度に対する累積頻度％を表わす図である。 図35の重み係数決定部に記憶される顔輝度に対する重み係数と、MAX_LEVELに対する重み係数との関係を示すグラフである。 図28の補正テーブル算出機能部における実施例の概略的な構成を示すブロック図である。 図38の補正テーブル算出機能部における動作原理を説明する図である。 図27の補正ガンマ算出部における他の実施例の概略的な構成を示すブロック図である。 図40のゲイン算出部における実施例の概略的な構成を示すブロック図である。 図26の信号処理部における他の実施例を概略的な構成を示すブロック図である。 図42の顔処理部における概略的な構成を示すブロック図である。 図42の露光演算部における概略的な構成を示すブロック図である。 図44の露光演算部で得られた顔輝度を基に補正テーブルを算出する際の動作原理を説明する図である。 図43の補正テーブル算出機能部における他の実施例の概略的な構成を示すブロック図である。
符号の説明
10 ディジタルカメラ
12 撮像部
14 前処理部
16 信号処理部
22 顔前処理部
26 顔検出部
28 ガンマ補正部
30 補正ガンマ算出部
30A 対象パラメータ算出機能部
30B レジスタ
30C 目標値算出機能部
30D 補正テーブル算出機能部

Claims (60)

  1. 入力される画像データに対して信号処理する画像処理装置において、該装置は、
    前記画像データ内の特徴的に区別できる対象を含む対象領域を検出する検出手段と、
    該対象領域の検出に応じて得られる対象領域の代表値と前記画像データの全画像領域または該全画像領域に対する一部領域内における分布情報とに基づいて得られた補正テーブルを用いて、前記画像データを色調補正する色調補正手段と、
    前記補正テーブルを算出する補正算出手段とを含み、
    該補正算出手段は、さらに、前記対象領域の代表値を算出する代表値算出手段と、
    前記分布情報を予測により生成する分布情報生成手段とを含み、
    前記代表値算出手段は、前記対象領域の複数検出に応じて前記対象領域の代表値、前記対象領域の位置、前記対象領域の大きさおよび前記対象領域に対する評価値のうち、一つ以上の条件に基づき前記対象領域を特定数に絞り込み、絞り込んだ対象領域の代表値を求め、
    前記条件のうち、一つ以上の条件に基づき前記対象領域の輝度に重み付けし、重み付けした対象領域それぞれの代表値を平均して、前記対象領域の代表値とすることを特徴とする画像処理装置。
  2. 請求項１に記載の装置において、前記補正テーブルは、階調補正係数であることを特徴とする画像処理装置。
  3. 請求項１または２に記載の装置において、前記対象領域の代表値は、輝度/色差信号を表わす輝度成分Yおよび色成分R・G・Bのいずれか一つ、CIE（Commission International de l’Eclairage） 1976 L*a*b*色空間またはCIE 1976 L*u*v*色空間の明度を表わすL*およびXYZ表色系のYのいずれかであることを特徴とする画像処理装置。
  4. 請求項１に記載の装置において、前記補正算出手段は、前記画像データが扱う色信号成分それぞれに対して前記補正テーブルを算出することを特徴とする画像処理装置。
  5. 請求項１ないし４のいずれか一項に記載の装置において、前記対象領域の代表値は、前記対象領域の輝度値または各色信号の代表値であることを特徴とする画像処理装置。
  6. 請求項１に記載の装置において、前記分布情報は、輝度の頻度分布および空間的な分布情報の少なくとも一つであることを特徴とする画像処理装置。
  7. 請求項１に記載の装置において、前記分布情報は、色成分毎の色信号がもたらす信号レベルを前記対象領域の輝度として用い、該輝度の頻度分布および空間的な分布情報の少なくとも一つであることを特徴とする画像処理装置。
  8. 請求項６または７に記載の装置において、該装置は、前記輝度の頻度分布および空間的な分布情報を、前記画像データに対して間引きまたはリサイズした後に算出することを特徴とする画像処理装置。
  9. 請求項６、７または８に記載の装置において、該装置は、前記補正テーブルに応じて画像データに対する信号処理に用いるパラメータを変更する変更手段を含むことを特徴とする画像処理装置。
  10. 請求項９に記載の装置において、前記変更手段は、前記画像データの入力値に対する前記補正テーブルの値を作用させて得られる出力値の入出力特性を表わす曲線において前記入力値のうち、基準とする基準入力値と、該基準入力値に対して得られる出力値とを基に前記曲線の傾斜角を算出する傾斜算出手段と、
    該傾斜角とあらかじめ設定した所定の傾斜角とを比較し、比較結果に応じて前記パラメータを変更する変更制御手段とを含むことを特徴とする画像処理装置。
  11. 請求項９または10に記載の装置において、前記パラメータは、少なくとも、前記画像データが有する鮮鋭度およびノイズの量を反映する粒状度のいずれか一方を表わすものであることを特徴とする画像処理装置。
  12. 請求項１、９または11に記載の装置において、該装置を適用することを特徴とする携帯電話機。
  13. 請求項１、９または11に記載の装置において、前記検出手段、前記色調補正手段、前記補正手段、前記変更手段それぞれでの機能動作をコンピュータに実現させるためのプログラム。
  14. 入力される画像データに対して信号処理する画像処理装置において、該装置は、
    前記画像データ内の特徴的に区別できる対象を含む対象領域を検出する検出手段と、
    該対象領域の検出に応じて得られる対象領域の代表値と前記画像データの全画像領域または一部領域内における分布情報とに基づいて得られた補正値を用いて、前記画像データを色調補正する色調補正手段と、
    前記補正値を算出する補正算出手段とを含み、
    該補正算出手段は、前記対象領域の代表値を算出する代表値算出手段と、
    前記分布情報を予測により生成する分布情報生成手段とを含み、
    前記代表値算出手段は、前記対象領域の複数検出に応じて前記対象領域の代表値、前記対象領域の位置、前記対象領域の大きさおよび前記対象領域に対する評価値のうち、一つ以上の条件に基づき前記対象領域を特定数に絞り込み、絞り込んだ対象領域の代表値を求め、
    前記条件のうち、一つ以上の条件に基づき前記対象領域の代表値に重み付けし、重み付けした対象領域それぞれの代表値を平均して、前記対象領域の代表値にとすることを特徴とする画像処理装置。
  15. 請求項14に記載に装置において、前記補正値は、利得を補正する値であることを特徴とする画像処理装置。
  16. 請求項14または15に記載の装置において、前記対象領域の代表値は、輝度/色差信号を表わす輝度成分Yおよび色成分R・G・Bのいずれか一つ、CIE（Commission International de l’Eclairage）1976 L*a*b*色空間またはCIE 1976 L*u*v*色空間の明度を表わすL*およびXYZ表色系のYのいずれかであることを特徴とする画像処理装置。
  17. 請求項14または15に記載の装置において、前記補正算出手段は、前記画像データが扱う色信号成分それぞれに対して前記補正値を算出することを特徴とする画像処理装置。
  18. 請求項14ないし17のいずれか一項に記載の装置において、前記対象領域の代表値は、前記対象領域の輝度値または各色信号の代表値であることを特徴とする画像処理装置。
  19. 請求項14ないし17のいずれか一項に記載の装置において、前記分布情報は、輝度の頻度分布および空間的な分布情報の少なくとも一つであることを特徴とする画像処理装置。
  20. 請求項14ないし17のいずれか一項に記載の装置において、前記分布情報は、色成分毎の色信号がもたらす信号レベルを前記対象領域の輝度として用い、該輝度の頻度分布および空間的な分布情報の少なくとも一つであることを特徴とする画像処理装置。
  21. 請求項19または20に記載の装置において、該装置は、前記輝度の頻度分布および空間的な分布情報を、前記画像データに対して間引きまたはリサイズした後に算出することを特徴とする画像処理装置。
  22. 請求項19、20または21に記載の装置において、該装置は、前記補正値に応じて画像データに対する信号処理に用いるパラメータを変更する変更手段を含むことを特徴とする画像処理装置。
  23. 請求項22に記載の装置において、前記変更手段は、前記画像データの入力値に対する前記補正値を作用させて得られる出力値とあらかじめ設定した所定の出力値とを比較し、比較結果に応じて前記パラメータを変更する変更制御手段を含むことを特徴とする画像処理装置。
  24. 請求項22または23に記載の装置において、前記パラメータは、少なくとも、前記画像データが有する鮮鋭度およびノイズの量を反映する粒状度のいずれか一方を表わすものであることを特徴とする画像処理装置。
  25. 請求項14、22または23に記載の装置において、該装置を適用することを特徴とする携帯電話機。
  26. 請求項14、22または23に記載の装置において、前記検出手段、前記色調補正手段、前記補正手段、前記変更手段それぞれでの機能動作をコンピュータに実現させるためのプログラム。
  27. 画像データに対して信号処理する画像処理方法において、該方法は、
    前記画像データ内の特徴的に区別できる対象を含む対象領域を検出する第１の工程と、
    該対象領域の検出に応じて得られる対象領域の代表値と前記画像データの全画像領域または一部領域内における分布情報とに基づく補正テーブルの算出を行ない、算出した補正テーブルおよび基本の補正テーブルのいずれかを用いて、前記画像データを色調補正する第２の工程とを含み、
    第２の工程は、前記補正テーブルの算出に際して前記対象領域における代表値を算出し、該代表値に対する出力値である目標値を決定する第３の工程と、
    前記画像データが取り得る最大値、最小値および前記目標値を用いた補正テーブルを算出する第４の工程とを含み、
    第３の工程は、対象の代表値、対象の位置、対象の大きさおよび対象の領域に対する評価値の条件のうち、少なくとも一つに基づき前記対象領域を一つまたは所定の数に絞り込み、該対象領域に対する前記目標値を決定し、
    前記条件のうち、一つ以上の条件に基づき対象領域の代表値に重み付けし、重み付けした対象領域それぞれの代表値を平均して、前記対象領域の代表値とすることを特徴とする画像処理方法。
  28. 請求項27に記載の方法において、第３の工程は、前記代表値の値を基に仮定した目標値を仮の目標値として決定する第５の工程と、
    該仮の目標値で色調補正する場合、前記画像データに対する前記仮の目標値による分布情報として輝度または各色成分の第１の頻度分布を予測する第６の工程と、
    第１の頻度分布と前記基本の補正テーブルに基づき得られる輝度または各色成分の第２の頻度分布との差で表される変化量が所定の許容範囲内に収まるか否かを判断する第７の工程とを含み、
    該方法は、第７の工程における判断に応じて前記変化量が所定の許容範囲内から外れる場合には前記仮の目標値を再設定し、第６の工程から処理を繰り返し、前記変化量が所定の許容範囲内に収まる場合には前記仮の目標値を前記目標値に決定することを特徴とする画像処理方法。
  29. 請求項27または28に記載の方法において、前記補正テーブルは、階調補正テーブルであることを特徴とする画像処理方法。
  30. 請求項29に記載の方法において、前記変化量は、前記画像データにおける所定の値以上をハイライトに設定し、第１と第２の頻度分布におけるハイライトを示す積算頻度の差および第１の頻度分布における頻度のピークが示す値と第２の頻度分布における頻度のピークが示す値との差のいずれか一方であることを特徴とする画像処理方法。
  31. 請求項27に記載の方法において、前記対象の代表値は、前記対象領域の輝度値または各色信号の代表値であることを特徴とする画像処理方法。
  32. 請求項27ないし31のいずれか一項に記載の方法において、第３の工程は、前記目標値と補正の可否を規定する補正閾値とを比較し、該補正閾値に応じて動作させることにより該補正閾値に対して増加および減少のいずれか一方の方向だけに対する前記目標値を算出させることを特徴とする画像処理方法。
  33. 請求項27または31に記載の方法において、該方法は、前記補正テーブルに応じて画像データに対する信号処理に用いるパラメータを変更することを特徴とする画像処理方法。
  34. 請求項33に記載の方法において、該方法は、前記画像データの入力値に対する前記補正テーブルを作用させて得られる出力値の入出力特性を表わす曲線において前記入力値のうち、基準とする基準入力値と、該基準入力値に対して得られる出力値とを基に前記曲線の傾斜角を算出する第８の工程と、
    該傾斜角とあらかじめ設定した所定の傾斜角とを比較し、比較結果に応じて前記パラメータを変更する第９の工程とを含むことを特徴とする画像処理方法。
  35. 請求項34に記載の方法において、前記パラメータは、少なくとも、前記画像データが有する鮮鋭度およびノイズの量を反映する粒状度のいずれか一方を表わすものであることを特徴とする画像処理方法。
  36. 画像データに対して信号処理する画像処理方法において、該方法は、
    前記画像データ内の特徴的に区別できる対象を含む対象領域を検出する第１の工程と、
    該対象領域の検出に応じて得られる対象領域の代表値と前記画像データの全画像領域または該全画像領域に対する一部領域内における分布情報とに基づく補正値の算出を行ない、算出した補正値および基本の補正値のいずれかを用いて、前記画像データを色調補正する第２の工程とを含み、
    第２の工程は、さらに、前記補正値の算出に際して前記対象領域における代表値を算出し、該代表値に対する出力値である目標値を決定する第３の工程と、
    前記代表値を入力値に設定し、該入力値に対する前記目標値の比に基づく補正値を算出する第４の工程とを含み、
    第３の工程は、さらに、前記代表値の値を基に仮定した目標値を仮の目標値として決定する第５の工程と、
    該仮の目標値で色調補正する場合、前記画像データに対する前記仮の目標値による分布情報として輝度または各色成分の第１の頻度分布を予測する第６の工程と、
    第１の頻度分布と前記基本の補正値に基づき得られる輝度または各色成分の第２の頻度分布との差で表される変化量が所定の許容範囲内に収まるか否かを判断する第７の工程とを含み、
    該方法は、第７の工程における判断に応じて前記変化量が所定の許容範囲内から外れる場合には前記仮の目標値を再設定し、第６の工程から処理を繰り返し、前記変化量が所定の許容範囲内に収まる場合には前記仮の目標値を前記目標値に決定することを特徴とする画像処理方法。
  37. 請求項36に記載の方法において、前記補正値は、利得であることを特徴とする画像処理方法。
  38. 請求項36に記載の方法において、第４の工程における前記補正値は、最終に算出される利得であり、該最終に算出される利得を、入力される画像データに対して自動的に指定する基本の利得と前記入力値に対する前記目標値の比との積で求めることを特徴とする画像処理方法。
  39. 請求項36に記載の方法において、前記変化量は、前記画像データにおける所定の値以上をハイライトに設定し、第１と第２の頻度分布におけるハイライトを示す積算頻度の差および第１の頻度分布における頻度のピークが示す値と第２の頻度分布における頻度のピークが示す値との差のいずれか一方であることを特徴とする画像処理方法。
  40. 請求項36、37、38または39に記載の方法において、第３の工程は、対象の代表値、対象の位置、対象の大きさおよび対象の領域に対する評価値の条件のうち、少なくとも一つに基づき前記対象領域を一つまたは所定の数に絞り込み、該対象領域に対する前記目標値を決定することを特徴とする画像処理方法。
  41. 請求項36または40に記載の方法において、第３の工程は、前記条件のうち、一つ以上の条件に基づき前記対象領域の代表値に重み付けし、重み付けした対象領域それぞれの代表値を平均して、前記対象領域の代表値とすることを特徴とする画像処理方法。
  42. 請求項36、40または41に記載の方法において、前記対象の代表値は、前記対象領域の輝度値または各色信号の代表値であることを特徴とする画像処理方法。
  43. 請求項36ないし42のいずれか一項に記載の方法において、第３の工程は、前記目標値と補正の可否を規定する補正閾値とを比較し、該補正閾値に応じて動作させることにより該補正閾値に対して増加および減少のいずれか一方の方向だけに対する前記目標値を算出させることを特徴とする画像処理方法。
  44. 請求項40、41または42に記載の方法において、該方法は、前記補正テーブルに応じて画像データに対する信号処理に用いるパラメータを変更することを特徴とする画像処理方法。
  45. 請求項44に記載の方法において、該方法は、前記画像データの入力値に対する前記補正値を作用させて得られる出力値とあらかじめ設定した所定の出力値とを比較し、比較結果に応じて前記パラメータを変更する第８の工程とを含むことを特徴とする画像処理方法。
  46. 請求項45に記載の方法において、前記パラメータは、少なくとも、前記画像データが有する鮮鋭度およびノイズの量を反映する粒状度のいずれか一方を表わすものであることを特徴とする画像処理方法。
  47. 入力される画像データに対して信号処理する画像処理装置において、該装置は、
    前記画像データ内の特徴的に区別できる対象を含む対象領域を検出する検出手段と、
    該対象領域の検出に応じて得られる対象領域の代表値を算出する代表値算出手段と、
    前記画像データの全画像領域または該全画像領域に対する一部領域内における特徴量を算出する特徴量算出手段と、
    前記代表値および前記特徴量に基づいて得られた補正テーブルを算出する補正テーブル算出手段と、
    前記画像データに対して前記補正テーブルを用いて色調補正する色調補正手段とを含むことを特徴とする画像処理装置。
  48. 請求項47に記載の装置において、前記補正テーブルは、階調補正係数であることを特徴とする画像処理装置。
  49. 請求項47に記載の装置において、該装置は、前記検出手段での前記対象領域の未検出に応じて前記色調補正手段で前記画像データに対して本来使用する基本の補正テーブルを用いて色調補正することを特徴とする画像処理装置。
  50. 請求項47、48または49に記載の装置において、前記代表値は、輝度、明度または三原色の色成分のいずれか一つの色成分であることを特徴とする画像処理装置。
  51. 請求項47ないし50のいずれか一項に記載の装置において、前記代表値算出手段は、前記対象領域の複数検出に応じて該対象領域の代表値、位置、大きさおよび前記対象領域に対する評価値のうち、１つ以上の条件に基づき前記対象領域を特定数に絞り込み、絞り込んだ対象領域の代表値を求めることを特徴とする画像処理装置。
  52. 請求項47ないし50のいずれか一項に記載の装置において、前記代表値算出手段は、前記対象領域の複数検出に応じて該対象領域の代表値、位置、大きさおよび前記対象領域に対する評価値のうち、１つ以上の条件に基づき前記対象領域の代表値に重み付けし、重み付けした対象領域それぞれの代表値を平均して、前記対象領域の代表値として求めることを特徴とする画像処理装置。
  53. 請求項47ないし52のいずれか一項に記載の装置において、前記補正テーブル算出手段は、前記代表値の出力値である目標値を決定する決定手段と、
    前記画像データが取る最大値、最小値および前記目標値を用いて、前記補正テーブルを算出する算出手段とを含むことを特徴とする画像処理装置。
  54. 請求項53に記載の装置において、前記決定手段は、前記代表値の値を基に仮定した目標値を仮の目標値として設定する仮決定手段と、
    該仮の目標値から仮の補正テーブルを算出する仮算出手段と、
    前記画像データに対する前記基本の補正テーブルの適用により得られる第１の特徴量と前記仮の補正テーブルの適用により得られる第２の特徴量とを算出し、さらに、第１および第２の特徴量の差分値を算出する差分値算出手段とを含み、
    該差分値に応じて前記仮の目標値を修正し、修正後の仮の目標値を前記目標値に設定することを特徴とする画像処理装置。
  55. 請求項53に記載の装置において、前記決定手段は、前記代表値の値を基に仮定した目標値を仮の目標値として設定する仮決定手段と、
    該仮の目標値から仮の補正テーブルを算出する仮算出手段と、
    前記画像データに対する前記基本の補正テーブルの適用により得られる第１の特徴量と前記仮の補正テーブルの適用により得られる第２の特徴量とを算出し、さらに、第１および第２の特徴量の差分値を算出する差分値算出手段と、
    該差分値が所定の許容範囲内に収まるか否かを判定する判定手段と、
    前記差分値が所定の許容範囲外の場合に前記仮の目標値を再設定する再設定手段とを含み、
    前記決定手段は、前記仮算出手段、前記差分値算出手段、前記判定手段および前記再設定手段を順次動作を繰り返し、前記所定の許容範囲内に収まった差分値に応じて前記仮の目標値を前記目標値に設定することを特徴とする画像処理装置。
  56. 請求項53に記載の装置において、前記決定手段は、前記代表値の値を基に仮定した目標値を仮の目標値として設定する仮決定手段と、
    該仮の目標値から仮の補正テーブルを算出する仮算出手段と、
    前記画像データに対する前記基本の補正テーブルの適用により得られる第１の特徴量と前記仮の補正テーブルの適用により得られる第２の特徴量とを算出し、さらに、第１および第２の特徴量の差分値を算出する差分値算出手段と、
    前記仮の補正テーブルを適用した画像データにおいて所定の輝度より高い輝度の画素を抽出し、全画素に対する抽出した画素の割合を第３の特徴量として算出する割合算出手段とを含み、
    前記決定手段は、前記差分値と第３の特徴量に応じて前記仮の目標値を修正し、修正後の仮の目標値を前記目標値に設定することを特徴とする画像処理装置。
  57. 請求項53に記載の装置において、前記決定手段は、前記代表値の値を基に仮定した目標値を仮の目標値として設定する仮決定手段と、
    閃光が発光されたか否かを判断する発光判定手段と、
    前記基本の補正テーブルを適用した画像データから輝度の頻度分布を作成し、該輝度の頻度分布を基に第４の特徴量を求める特徴算出手段とを含み、
    前記決定手段は、前記閃光の発光に応じて前記代表値と第４の特徴量に応じて前記仮の目標値を修正し、修正後の仮の目標値を前記目標値に設定することを特徴とする画像処理装置。
  58. 請求項57に記載の方法において、第４の特徴量は、前記輝度の頻度分布から累積頻度分布を作成し、該累積頻度分布が最初に所定の値になるときの輝度であることを特徴とする画像処理装置。
  59. 請求項47ないし58のいずれか一項に記載の装置において、前記補正テーブル算出手段は、前記代表値に前記基本の補正テーブルを適用して得られる値を設定し、該代表値から前記目標値に近づける準補正テーブルを算出し、前記基本の補正テーブルと前記準補正テーブルを合成して、前記補正テーブルを得ることを特徴とする画像処理装置。
  60. 請求項47、54、55または56に記載の装置において、第１の特徴量は、少なくとも、色差およびクロマ信号のいずれかであることを特徴とする画像処理装置。
JP2006047515A 2005-09-29 2006-02-23 画像処理装置およびその処理方法 Expired - Fee Related JP4934326B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006047515A JP4934326B2 (ja) 2005-09-29 2006-02-23 画像処理装置およびその処理方法
US11/525,141 US7912282B2 (en) 2005-09-29 2006-09-22 Image processing apparatus for correcting an input image and image processing method therefor

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005284519 2005-09-29
JP2005284519 2005-09-29
JP2006047515A JP4934326B2 (ja) 2005-09-29 2006-02-23 画像処理装置およびその処理方法

Publications (3)

Publication Number Publication Date
JP2007124604A JP2007124604A (ja) 2007-05-17
JP2007124604A5 JP2007124604A5 (ja) 2008-09-04
JP4934326B2 true JP4934326B2 (ja) 2012-05-16

Family

ID=37893356

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006047515A Expired - Fee Related JP4934326B2 (ja) 2005-09-29 2006-02-23 画像処理装置およびその処理方法

Country Status (2)

Country Link
US (1) US7912282B2 (ja)
JP (1) JP4934326B2 (ja)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7844076B2 (en) * 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US7372597B2 (en) * 2004-07-27 2008-05-13 Eastman Kodak Company Tonescales for geographically localized digital rendition of people
US8150099B2 (en) * 2005-06-03 2012-04-03 Nikon Corporation Image processing device, image processing method, image processing program product, and imaging device
WO2006137361A1 (ja) * 2005-06-20 2006-12-28 Nikon Corporation 画像処理装置、画像処理方法、画像処理プログラム製品、および撮像装置
TW200818873A (en) * 2006-10-11 2008-04-16 Realtek Semiconductor Corp Image adjustment apparatus and method thereof
KR100830333B1 (ko) * 2007-02-23 2008-05-16 매그나칩 반도체 유한회사 적응형 구간 선형 처리 장치
JP5259616B2 (ja) * 2007-03-14 2013-08-07 オリンパス株式会社 画像処理システムおよび画像処理プログラム
EP2793217A3 (en) * 2007-03-26 2015-02-18 NEC Corporation Portable phone terminal, image display controlling method, program thereof, and program recording medium
JP2008283573A (ja) * 2007-05-11 2008-11-20 Olympus Corp 画像処理装置
JP5066398B2 (ja) * 2007-06-29 2012-11-07 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP4702635B2 (ja) * 2007-07-17 2011-06-15 富士フイルム株式会社 オートホワイトバランス補正値算出装置、方法およびプログラムならびに撮像装置
JP4823979B2 (ja) * 2007-07-23 2011-11-24 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP5067852B2 (ja) * 2007-08-10 2012-11-07 キヤノン株式会社 画像処理方法及び画像処理装置
JP4600448B2 (ja) * 2007-08-31 2010-12-15 カシオ計算機株式会社 階調補正装置、階調補正方法、及び、プログラム
JP4525719B2 (ja) * 2007-08-31 2010-08-18 カシオ計算機株式会社 階調補正装置、階調補正方法、及び、プログラム
JP5096089B2 (ja) * 2007-09-18 2012-12-12 オリンパス株式会社 画像信号処理装置、画像信号処理方法及び撮像装置
JP2009118898A (ja) * 2007-11-12 2009-06-04 Hoya Corp 内視鏡プロセッサおよび内視鏡システム
JP5122927B2 (ja) * 2007-12-04 2013-01-16 株式会社東芝 画像表示装置および画像表示方法
CN101465964A (zh) * 2007-12-17 2009-06-24 鸿富锦精密工业（深圳）有限公司 摄影装置及其摄影方法
JP5148989B2 (ja) * 2007-12-27 2013-02-20 イーストマン コダック カンパニー 撮像装置
US8059187B2 (en) * 2007-12-27 2011-11-15 Eastman Kodak Company Image capturing apparatus
JP5100565B2 (ja) 2008-08-05 2012-12-19 キヤノン株式会社 画像処理装置及び画像処理方法
JP4851505B2 (ja) * 2008-10-22 2012-01-11 三菱電機株式会社 画像処理装置及び画像処理方法
JP5208799B2 (ja) * 2009-02-13 2013-06-12 オリンパス株式会社 撮像システム、映像信号処理プログラム、および撮像方法
JP5249077B2 (ja) 2009-02-17 2013-07-31 キヤノン株式会社 撮像装置及び画像処理方法
JP4678060B2 (ja) * 2009-03-25 2011-04-27 株式会社ニコン 撮像装置および画像処理プログラム
JP4818393B2 (ja) * 2009-05-07 2011-11-16 キヤノン株式会社 画像処理方法および画像処理装置
JP4983962B2 (ja) * 2009-07-23 2012-07-25 カシオ計算機株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US20110044552A1 (en) * 2009-08-24 2011-02-24 Jonathan Yen System and method for enhancement of images in a selected region of interest of a captured image
JP2011071573A (ja) * 2009-09-24 2011-04-07 Sanyo Electric Co Ltd 画像処理装置
JP5031877B2 (ja) * 2010-01-06 2012-09-26 キヤノン株式会社 画像処理装置及び画像処理方法
US8581974B2 (en) * 2010-05-06 2013-11-12 Aptina Imaging Corporation Systems and methods for presence detection
JP5197698B2 (ja) * 2010-09-07 2013-05-15 株式会社東芝 映像表示装置および情報処理装置
JP5147912B2 (ja) * 2010-09-08 2013-02-20 キヤノン株式会社 画像処理方法、画像処理装置、プログラムおよび記録媒体
JP5488530B2 (ja) * 2011-05-23 2014-05-14 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
KR101896386B1 (ko) * 2011-11-22 2018-09-11 삼성전자주식회사 화이트 밸런스 조절장치 및 방법
JP5399578B2 (ja) * 2012-05-16 2014-01-29 シャープ株式会社 画像処理装置、動画像処理装置、映像処理装置、画像処理方法、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体
JP6060552B2 (ja) * 2012-08-02 2017-01-18 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
US9165180B2 (en) * 2012-10-12 2015-10-20 Microsoft Technology Licensing, Llc Illumination sensitive face recognition
US20140176548A1 (en) * 2012-12-21 2014-06-26 Nvidia Corporation Facial image enhancement for video communication
CN105075235B (zh) 2013-03-27 2018-07-06 富士胶片株式会社 图像处理装置、摄像装置以及图像处理方法
JP6127919B2 (ja) * 2013-11-05 2017-05-17 富士ゼロックス株式会社 自動補正機能判定装置およびプログラム
JP2015210388A (ja) 2014-04-25 2015-11-24 株式会社ジャパンディスプレイ 表示装置
KR102263537B1 (ko) * 2014-09-30 2021-06-11 삼성전자주식회사 전자 장치와, 그의 제어 방법
CN110992914B (zh) * 2014-10-06 2022-07-01 三星电子株式会社 显示设备及控制该显示设备的方法
US10242287B2 (en) * 2015-06-11 2019-03-26 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and recording medium
JP6720881B2 (ja) * 2017-01-19 2020-07-08 カシオ計算機株式会社 画像処理装置及び画像処理方法
CN107680128B (zh) 2017-10-31 2020-03-27 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN107798652A (zh) * 2017-10-31 2018-03-13 广东欧珀移动通信有限公司 图像处理方法、装置、可读存储介质和电子设备
WO2019133991A1 (en) * 2017-12-29 2019-07-04 Wu Yecheng System and method for normalizing skin tone brightness in a portrait image
JP6638852B1 (ja) * 2018-08-31 2020-01-29 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
CN109246354B (zh) * 2018-09-07 2020-04-24 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
EP3869781A1 (en) 2020-02-20 2021-08-25 Koninklijke Philips N.V. Determining intensity distributions in imaging

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60139080A (ja) * 1983-12-27 1985-07-23 Canon Inc 画像処理装置
JPH03102478A (ja) * 1989-09-14 1991-04-26 Shimadzu Corp 画像処理装置
US5715377A (en) * 1994-07-21 1998-02-03 Matsushita Electric Industrial Co. Ltd. Gray level correction apparatus
US6281920B1 (en) * 1997-07-03 2001-08-28 Fuji Photo Film Co., Ltd. Image recording apparatus
JP2000182043A (ja) * 1998-12-15 2000-06-30 Fuji Photo Film Co Ltd 画像処理方法および装置並びに記録媒体
JP3684120B2 (ja) * 1999-11-11 2005-08-17 キヤノン株式会社 画像処理装置及びその方法並びにメモリ媒体
US7251056B2 (en) * 2001-06-11 2007-07-31 Ricoh Company, Ltd. Image processing apparatus, image processing method and information recording medium
JP3992177B2 (ja) * 2001-11-29 2007-10-17 株式会社リコー 画像処理装置、画像処理方法及びコンピュータ・プログラム
JP4118749B2 (ja) * 2002-09-05 2008-07-16 株式会社リコー 画像処理装置、画像処理プログラムおよび記憶媒体
JP4293508B2 (ja) * 2002-11-29 2009-07-08 富士フイルム株式会社 撮影装置
JP2005159387A (ja) * 2003-11-20 2005-06-16 Noritsu Koki Co Ltd 濃度特性曲線を決定する方法及びこの方法を実施する濃度補正管理装置
JP2005192162A (ja) * 2003-12-26 2005-07-14 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及び画像記録装置
JP2005190435A (ja) * 2003-12-26 2005-07-14 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及び画像記録装置
JP4655210B2 (ja) * 2005-07-05 2011-03-23 ノーリツ鋼機株式会社 濃度補正曲線生成方法と濃度補正曲線生成モジュール

Also Published As

Publication number Publication date
US20070070214A1 (en) 2007-03-29
US7912282B2 (en) 2011-03-22
JP2007124604A (ja) 2007-05-17

Similar Documents

Publication Publication Date Title
JP4934326B2 (ja) 画像処理装置およびその処理方法
US6825884B1 (en) Imaging processing apparatus for generating a wide dynamic range image
JP4240023B2 (ja) 撮像装置、撮像方法および撮像プログラム、ならびに、画像処理装置、画像処理方法および画像処理プログラム
US8121404B2 (en) Exposure control apparatus and image pickup apparatus
US7925047B2 (en) Face importance level determining apparatus and method, and image pickup apparatus
US7825955B2 (en) Image pickup apparatus, exposure control method, and computer program installed in the image pickup apparatus
JP4163353B2 (ja) 画像処理装置
JP4210021B2 (ja) 画像信号処理装置および画像信号処理方法
US6583820B1 (en) Controlling method and apparatus for an electronic camera
US20020154829A1 (en) Image pickup apparatus
US7486884B2 (en) Imaging device and imaging method
KR101309008B1 (ko) 화상처리방법 및 화상처리장치
US20060114527A1 (en) Image pickup apparatus
JP2011228807A (ja) 画像処理プログラム、画像処理装置、および画像処理方法
JP2004007202A (ja) 画像処理装置
US8102446B2 (en) Image capturing system and image processing method for applying grayscale conversion to a video signal, and computer-readable recording medium having recorded thereon an image processing program for applying grayscale conversion to a video signal
JP2002223355A (ja) 画像処理装置および画像処理プログラムを記録した記録媒体
JPH10322592A (ja) 電子カメラの制御方法及び装置
JP2003223636A (ja) 画像処理装置
JP4389671B2 (ja) 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP2016220031A (ja) 画像処理装置及び画像処理方法
JP2007267170A (ja) 彩度調整機能を有する電子カメラ、および画像処理プログラム
JP2021057626A (ja) 画像処理装置および画像処理方法、プログラム
JP2003299107A (ja) 撮像装置
US11641525B2 (en) Image capturing apparatus capable of displaying live view image high in visibility, method of controlling image capturing apparatus, and storage medium

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080718

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120220

R150 Certificate of patent or registration of utility model

Ref document number: 4934326

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150224

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees