JP4478155B2 - 画像補正装置および方法,ならびに画像補正プログラム - Google Patents

画像補正装置および方法,ならびに画像補正プログラム Download PDF

Info

Publication number
JP4478155B2
JP4478155B2 JP2006537860A JP2006537860A JP4478155B2 JP 4478155 B2 JP4478155 B2 JP 4478155B2 JP 2006537860 A JP2006537860 A JP 2006537860A JP 2006537860 A JP2006537860 A JP 2006537860A JP 4478155 B2 JP4478155 B2 JP 4478155B2
Authority
JP
Japan
Prior art keywords
subject
input
calculated
subject type
correction value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006537860A
Other languages
English (en)
Other versions
JPWO2006036026A1 (ja
Inventor
高宏 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2006036026A1 publication Critical patent/JPWO2006036026A1/ja
Application granted granted Critical
Publication of JP4478155B2 publication Critical patent/JP4478155B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/628Memory colours, e.g. skin or sky

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)
  • Color Image Communication Systems (AREA)

Description

この発明は,画像補正装置および方法,ならびに画像補正プログラムに関する。
特開2000−196890号公報には,入力画像中に含まれる顔画像領域を検出し,検出された顔画像の平均濃度が,あらかじめ定められた目標濃度範囲に入るように画像変換(画像補正)する方法が開示されている。
しかしながら,特開2000−196890号公報に記載の方法では,顔画像領域の濃度が目標濃度範囲内の濃度となるように補正することはできるが,他の重要な被写体の種類,たとえば,青空,夕景等の濃度が所望の濃度となるような補正をすることはできない。
この発明は,複数の被写体種類が存在する画像について,適切な画像補正が行えるようにすることを目的とする。
この発明はまた,複数の被写体種類が存在する画像について,画像全体として所望の画像の色(明るさ)に補正することを目的とする。
第1の発明による画像補正装置は,複数の被写体種類のそれぞれについての重要度の入力を受付ける重要度入力手段,与えられる画像データに基づいて,その画像データによって表される画像中に,あらかじめ定められた複数の被写体種類のうち,いずれの被写体種類が含まれているかを検出する被写体種類検出手段,上記被写体種類検出手段によって検出された被写体種類のそれぞれについて,上記画像データに基づいて,被写体種類ごとに定められた算出処理によって入力特徴量をそれぞれ算出する入力特徴量算出手段,上記入力特徴量算出手段によって算出された入力特徴量と,被写体種類ごとに定められた目標特徴量とに基づいて,被写体種類のそれぞれについての補正値を算出する補正値算出手段,上記補正値算出手段によって算出された補正値を,上記重要度入力手段によって被写体種類のそれぞれについて受付けられた重要度を用いて重み付け平均した適用補正値を算出する適用補正値算出手段,ならびに上記適用補正値算出手段によって算出された適用補正値に基づいて,上記画像データを補正する画像補正手段を備えたことを特徴とする。
検出すべき複数の被写体種類があらかじめ定められる。この被写体種類には,画像データに基づいて識別し得る被写体の種類(撮影シーン種類と言ってもよい)であって,画像補正において異なる補正を行うべき(異なる補正処理を行った方が補正後の画像が適切であることが経験的に知られている)被写体の種類が,複数設定される。たとえば,複数の被写体種類として,「青空」,「人物顔」,「海中」,「高彩度」,「夕景」,「ハイキー」,「夜景」などを設定することができる。
与えられる画像データによって表される画像中に,あらかじめ定められた被写体種類のうちのいずれが含まれているかを検出する処理(被写体種類検出処理)は,被写体種類のそれぞれについてあらかじめ設定される識別のためのデータを用いて行うことができる。たとえば,被写体種類「青空」を表す画像データ(青空サンプル画像)を複数用意し,そのそれぞれから青空画素を抽出するために適切な識別条件(特徴量種類とその範囲(色相範囲,輝度範囲,彩度範囲等))を導出する(学習処理)。与えられる画像データから一または複数の特徴量を抽出し,抽出した一または複数の特徴量が,学習処理から得られた識別条件に沿うものであれば,与えられた画像データによって表される画像は,被写体種類「青空」を含むものであると判断することができる。
検出された被写体種類のそれぞれについて,上記画像データに基づいて,被写体種類ごとに定められた入力特徴量が算出される。入力特徴量は,被写体種類のそれぞれについて,その被写体種類に特有の特徴的な値(量)であり,その算出処理は被写体種類ごとに異なるものとされる。たとえば,被写体種類「青空」であれば,与えられる画像データによって表される画像中に含まれる青空画像部分の画素(青空画素)のRGB値のそれぞれの平均値を,被写体種類「青空」についての入力特徴量とすることができる。被写体種類「夕景」であれば,与えられる画像データによって表される画像中に含まれる夕景画像部分の画素(夕景(オレンジ)画素)のRGB値のそれぞれの平均値を,被写体種類「夕景」についての入力特徴量とすることができる。いずれにしても,あらかじめ定められる複数の被写体種類によって表される画像の特徴に応じて,入力特徴量の算出方法を被写体種類ごとに定めればよい。
補正値は,入力特徴量を目標特徴量に補正するための値である。与えられる画像データから得られる入力特徴量を目標特徴量に補正することによって,所望の(目標の)特徴量を持つ画像を得ることができる。補正値に応じて入力特徴量が補正されると,入力特徴量が目標特徴量になる。算出される補正値は,画像補正に用いることができる種々の補正値,たとえば,濃度(輝度)階調補正値,彩度補正値,その他の補正値を含む。入力特徴量と目標特徴量の比(ゲイン)も,この発明によって求められる補正値に含まれる。
この発明によると,画像データに適用される適用補正値は,検出された(すなわち,処理対象の画像データによって表される画像に含まれる)被写体種類のそれぞれについて得られる補正値を,被写体種類ごとの重要度に基づいて重み付け平均したものである。被写体種類ごとに得られる補正値は,上述のように,与えられる画像データに基づく入力特徴量を目標特徴量に補正するものである。検出された複数の被写体種類のそれぞれについて算出された複数の補正値が,受付けられた重要度に基づいて重み付け平均されるので,画像データに適用される適用補正値は,複数の被写体種類のそれぞれの入力特徴量を,全体的に,入力特徴量に対応する目標特徴量に近づけるものになる。画像全体として,与えられる画像の色(または明るさ)を所望の画像の色(または明るさ)に補正することができる。
この発明によると,被写体種類のそれぞれに着目すると入力特徴量を目標特徴量に完全に一致させることはできないものの,複数の被写体種類が含まれている画像については,複数の被写体種類のいずれについても確実に入力特徴量を目標特徴量に近づける画像補正を行うことができる。
また,この発明によると,被写体種類のそれぞれについて与えられる重要度が,重付け平均の算出に用いられる。ユーザが重要視する被写体種類についての補正値が大きく反映された適用補正値を得ることができる。このため,ユーザの好みに応じた画像補正を実現する適用補正値を得ることができる。
補正値および適用補正値は,複数色のカラー画像データのそれぞれ(たとえば,RGB)について固有のものであってもよいし,複数色のカラー画像データのそれぞれに共通するものであってもよい。
一実施態様では,上記画像データによって表される画像中に,上記複数の被写体種類を表す画像がそれぞれどの程度の確度で含まれているかを表す存在確率を,上記複数の被写体種類ごとに算出する被写体種類別存在確率算出手段がさらに備えられる。この場合,上記適用補正値算出手段は,上記第1の重要度と,上記存在確率算出手段によって算出された被写体種類のそれぞれについての存在確率に応じて得られる第2の重要度を用いて,上記補正値算出手段によって算出された被写体種類のそれぞれについての補正値を重み付け平均する。
存在確率に応じた第2の重要度が,入力される第1の重要度に加えて重み付け平均に用いられるので,ユーザの好みに応じつつ,与えられた画像データの内容(被写体種類の存在の確からしさ)に応じた画像補正が実現される。
他の実施態様では,画像データによって表される画像中に占める,上記被写体種類を表す画像の面積を,検出された被写体種類ごとに算出する被写体種類別面積算出手段が備えられ,上記適用補正値算出手段は,上記第1の重要度と,上記面積算出手段によって算出された被写体種類のそれぞれについての面積に応じて得られる第3の重要度を用いて,上記補正値算出手段によって算出された被写体種類のそれぞれについての補正値を重み付け平均する。ユーザの好みに応じつつ,与えられた画像データによって表される画像中に占める被写体種類の面積に応じた画像補正が実現される。
好ましくは,画像補正装置には,上記目標特徴量を変更するパラメータの入力を受付けるパラメータ入力手段,上記パラメータ入力手段によって入力されたパラメータに基づいて,上記目標特徴量を修正する目標特徴量修正手段がさらに備えられる。ユーザの要求に応じて目標特徴量が修正されるので,補正後の画像データによって表される画像をユーザの好みに応じたものにすることができる。入力されるパラメータは,数値によって受け付けてもよいし,抽象的な言葉(品質重視,生産性重視等)によって受け付けてもよい。
第2の発明による画像補正装置は,あらかじめ定められた複数の被写体種類のそれぞれについての重要度の入力を受付ける重要度入力手段,与えられる画像データに基づいて,その画像データによって表される画像中に,複数の被写体種類のうち,いずれの被写体種類が含まれているかを検出する被写体種類検出手段,上記被写体種類検出手段によって検出された被写体種類のそれぞれについて,上記画像データに基づいて,被写体種類ごとに定められた算出処理によって入力特徴量をそれぞれ算出する入力特徴量算出手段,上記入力特徴量算出手段によって算出された被写体種類ごとの入力特徴量が,被写体種類ごとに定められた所定の条件を満たすものであるかどうかをそれぞれ判断する条件判断手段,上記条件判断手段によって上記入力特徴量が所定条件を満たさないものであると判断された被写体種類について,その被写体種類についての入力特徴量が上記所定条件を満たすものとなる補正値を算出する補正値算出手段,上記補正値算出手段によって算出された被写体種類のそれぞれについての補正値を,上記重要度入力手段によって被写体種類のそれぞれについて受付けられた重要度を用いて重み付け平均した適用補正値を算出する適用補正値算出手段,ならびに上記適用補正値算出手段によって算出された適用補正値に基づいて,上記画像データを補正する画像補正手段を備えたものである。
第2の発明によると,検出された被写体種類ごとの入力特徴量が所定の条件を満たすものであるかどうかに基づいて,補正値が算出される。検出された一の被写体種類についての入力特徴量が所定の条件を満たすものである場合,その一の被写体種類については入力特徴量を補正する必要がない。検出された一の被写体種類についての入力特徴量が上記所定条件を満たさないものであれば,その一の被写体種類については上記所定条件を満たすことになる補正値が算出される。上記所定条件も,あらかじめ行われる学習処理によって定めることができる。
第2の発明においても,算出された(複数の)補正値が,受付けられた重要度に基づいて重み付け平均されるので,画像データに適用される適用補正値は,所定条件を満たさない入力特徴量が算出された被写体種類について,その入力特徴量が所定条件に近づくように画像データを補正するものになり,ユーザの好みに応じた画像補正を実現するものとなる。画像全体として,与えられる画像の色(または明るさ)を所望の画像の色(または明るさ)に補正することができる。
好ましくは,上記所定条件を変更するパラメータの入力を受付けるパラメータ入力手段,上記パラメータ入力手段によって入力されたパラメータに基づいて,上記所定条件を修正する条件修正手段がさらに備えられる。
この発明は,上述した第1および第2の画像補正装置に対応する画像補正方法,ならびに画像補正プログラムも提供している。
第1図は,画像補正システムのハードウエア構成を示すブロック図である。
第2図は,第1実施例における画像補正装置の電気的構成を示すブロック図である。
第3図は,被写体種類検出回路,被写体種類別入力特徴量算出回路,被写体種類別目標特徴量/色変換条件算出回路のそれぞれの機能ブロック図である。
第4図は,被写体種類「青空」についての被写体種類検出回路,被写体種類別特徴量算出回路および被写体種類別目標特徴量/色変換条件算出回路のそれぞれの処理の流れを示すフローチャートである。
第5図は,検出条件テーブルの内容を示す。
第6図は,青空抽出条件をグラフによって示す。
第7図は,特徴量算出条件テーブルの内容を示す。
第8図は,被写体種類「青空」についての境界関数を示す。
第9図は,被写体種類「青空」についての境界関数を示す。
第10図は,補正関数を示す。
第11a図は,被写体種類「夜景」(シャドウ),被写体種類「夜景」(ハイライト)および被写体種類「顔」についての補正関数を,第11b図は適用ゲインによって定められる補正関数をそれぞれ示す。
第12図は,ユーザの要望を入力するための画面例を示す。
第13図は,第1実施例の変形例における画像補正装置の電気的構成を示すブロック図である。
第14図は,第2実施例における画像補正装置の電気的構成を示すブロック図である。
第15図は,被写体種類別存在確率算出回路,被写体種類別入力特徴量算出回路,被写体種類別目標特徴量/色変換条件算出回路のそれぞれの機能ブロック図である。
第16図は,存在確率算出テーブルの内容を示す。
第17図は,存在確率算出テーブルの作成の流れを示す。
第18図は,存在確率と,存在確率に対応する重要度との関係を示すグラフである。
第1実施例
第1図は,画像処理システムのハードウエア構成を示すブロック図である。第2図は,画像処理システムに含まれる画像処理装置1の電気的構成を,記憶装置4とともに示すブロック図である。
画像処理システムは,画像処理装置1と,画像処理装置1に接続された入力装置2(キーボード,マウス等),表示装置3(CRTディスプレイ,液晶ディスプレイ等),記憶装置4(ハードディスク等)およびプリンタ5から構成されている。
画像処理装置1に接続された記憶装置4には,画像データが記憶されている。入力装置2が用いられて指定された画像データが記憶装置4から読出され,入力インターフェース(図示略)を介して画像処理装置1に入力される(以下,画像処理装置1に入力する画像データを「入力画像データ」と呼び,入力画像データによって表される画像を「入力画像」と呼ぶ。)。記憶装置4に代えて,CD−ROM,DVD−ROM,メモリカードその他の記録媒体に記録された画像データを,画像処理装置1に入力するようにしてもよい。この場合には,画像処理システムの画像処理装置1には,CD−ROMドライブ,DVD−ROMドライブ等が接続される。ネットワークを通じて送信された画像データを,画像処理装置1に入力するようにしてもよい。この場合には,画像処理システムの画像処理装置1には,ネットワークを通じて画像データを送受信する送受信装置(モデム等)が接続される。
画像処理装置1は,被写体種類検出回路11,被写体種類別入力特徴量算出回路12,被写体種類別目標特徴量/色変換条件算出回路13,色変換条件合成回路14および画像補正回路15を備えている。
被写体種類検出回路11は,入力画像データによって表される入力画像中に含まれる被写体種類を検出(識別)する回路である。画像処理装置1に入力した入力画像データは,はじめに被写体種類検出回路11に与えられる。第1実施例では,被写体種類検出回路11は,入力画像中に,被写体種類「青空」,「夕景」,「顔」,「高彩度」,「海中」,「ハイキー」および「夜景」の7つの被写体種類のそれぞれが含まれているかどうかを検出する。被写体種類検出回路11には検出条件テーブル21が接続されており,検出条件テーブル21に記憶されているデータに基づいて,被写体種類検出回路11において,入力画像中にいずれの被写体種類が含まれているかが検出される。被写体種類検出回路11の処理および検出条件テーブル21の内容についての詳細は後述する。
被写体種類別入力特徴量算出回路12は,入力画像データによって表される入力画像について,被写体種類のそれぞれに特有の所定の特徴量(たとえば,平均RGB値,RGB分散値等)を算出する回路である。入力画像データが用いられて,被写体種類別入力特徴量算出回路12において算出される特徴量を,以下,「入力特徴量」と呼ぶ。被写体種類別入力特徴量算出回路12には,特徴量算出テーブル22が接続されている。被写体種類別入力特徴量算出回路12は,この特徴量算出テーブル22を参照して,被写体種類ごとに特有の入力特徴量を算出する。被写体種類別入力特徴量算出回路12の処理,および特徴量算出テーブル22の内容についての詳細は後述する。
被写体種類別目標特徴量/色変換条件算出回路13は,被写体種類ごとの目標特徴量(たとえば,RGB値)を算出する回路である。目標特徴量は,上述した被写種類別入力特徴量算出回路12において算出された入力特徴量および画像処理システムのオペレータ(ユーザ)によって入力装置2が用いられて入力されるパラメータ(以下,入力パラメータという)に応じて変動する。
目標特徴量が算出(決定)されることによって,目標特徴量(たとえば,RGB値)と入力特徴量(たとえば,RGB値)との比が,その被写体種類についてのゲインとされる(R成分,B成分,G成分のそれぞれについてのゲイン係数が得られる)。被写体種類別目標特徴量/色変換条件算出回路13は,入力特徴量に対応する目標特徴量を算出(決定)することによって,被写体種類検出回路11によって検出された被写体種類のそれぞれについてのゲインを算出する回路ということができる。
被写体種類別目標特徴量/色変換条件算出回路13には,被写体種類ごとに定められた境界関数を表すデータが格納された境界関数テーブル23が接続されており,目標特徴量(ゲイン)は,境界関数テーブル23に基づいて算出(決定)される。被写体種類別目標特徴量/色変換条件算出回路13の処理および境界関数テーブル23の詳細は後述する。
色変換条件合成回路14は,被写体種類別目標特徴量/色変換条件算出回路13において得られた,検出された被写体種類のそれぞれについてのゲイン(R成分,B成分,G成分のそれぞれについてのゲイン係数)と,入力装置2が用いられて画像処理システムのオペレータ(ユーザ)によって入力される被写体種類のそれぞれについての重要度Wiとに基づいて,一のゲイン(R,G,Bのそれぞれ)を算出する回路である。色変換条件合成回路14の処理の詳細は後述する。
画像補正回路15は,色変換条件合成回路14によって算出されるゲイン(適用ゲイン係数)に基づいて,入力画像を構成する画素のそれぞれのRGB値を補正(変換)する回路である。
第3図は,被写体種類検出回路11,被写体種類別入力特徴量算出回路12および被写体種類別目標特徴量/色変換条件算出回路13のそれぞれの機能を表す機能ブロック図を示している。
第1実施例において,「被写体種類」とは,上述したように,「青空」,「夕景」,「顔」,「高彩度」,「海中」,「ハイキー」および「夜景」の7種類の被写体(撮影シーン)を指す総称である。被写体種類検出回路11において,記憶装置4から読出された処理対象の画像データに基づいて,その画像データによって表される画像中に,これらの7種類の被写体種類が含まれているかどうかが検出される(機能ブロック11aから11g)。
被写体種類別入力特徴量算出回路12は,7種類の被写体種類(「青空」,「夕景」,「顔」,「高彩度」,「海中」,「ハイキー」および「夜景」)のそれぞれについて,入力特徴量を算出できるように構成されている(機能ブロック12a〜12g)。入力特徴量としてどのような値を用いるかについては,被写体種類ごとに異なる。入力特徴量としてどのような値を用いるかの定義が,特徴量算出テーブル22(後述する)に記憶されている。
被写体種類別入力特徴量算出回路12において算出される被写体種類ごとの入力特徴量に対応する目標特徴量(ゲイン)が,被写体種類別目標特徴量/色変換条件算出回路13において算出(決定)される(機能ブロック13a〜13g)。
検出された被写体種類ごとに算出されたゲイン(Gri,Ggi,Gbi)が,被写体種類別目標特徴量/色変換条件算出回路13から色変換条件合成回路14(第2図参照)に与えられ,ここで一つのゲイン(適用ゲイン)が算出される。
第1実施例における画像処理装置1が検出可能な被写体種類の一つである被写体種類「青空」に着目して,被写体種類検出回路11,被写体種類別入力特徴量算出回路12および被写体種類別目標特徴量/色変換条件算出回路13のそれぞれの処理(機能ブロック11a,12aおよび13aの処理)を説明する。
第4図は,被写体種類「青空」についての被写体種類検出回路11,被写体種類別入力特徴量算出回路12および被写体種類別目標特徴量/色変換条件算出回路13のそれぞれの処理(機能ブロック11a,12aおよび13aの処理)の流れを示すフローチャートである。
処理対象の画像データ(入力画像データ)が記憶装置4から読出される。読出された入力画像データは,被写体種類検出回路11に与えられる(ステップ31)。
被写体種類検出回路11は,検出条件テーブル21を参照する。第5図は検出条件テーブル21の内容を示している。
検出条件テーブル21には,被写体種類のそれぞれについての画素抽出条件を表すデータと検出条件を表すデータが記憶されている。青空検出機能11aにおいては,被写体種類「青空」についての画素抽出条件および検出条件の組が用いられる。
検出条件テーブル21に格納されている画素抽出条件は,入力画像を構成する画素のうち,上記被写体種類のそれぞれを表す画素を抽出するための条件(定義)を定めたものである。
被写体種類「青空」について定められている画素抽出条件を表すデータ(青空画素抽出条件)について説明する。
第1実施例において,青空画素は,入力画像を構成する画素のうち,次式を満足する画素であるとする。
308°≦H≦351°
S≧0.25Smax
Y≧0.25Ymax
YmaxS≧(Ymax−Y)Smax ・・・式1
ここで,Hは色相を,Sは彩度,Yは輝度を表す。輝度Yは,次式によって各画素のRGB値に基づいて算出される。
Y=(19R+38G+7B)/64 ・・・式2
また,彩度Sは,次式によって,各画素のRGB値に基づいて算出される。
S=SQRT(Cr+Cb) ・・・式3
式3におけるCr,Cbは,次式によって算出される
Cr=R−Y
Cb=B−Y ・・・式4
また,式1においてYmaxは入力画像全体における最大輝度を,Smaxは入力画像全体における最大彩度である。
第6図は,青空画素抽出条件(青空画素抽出条件.dat)(上記式1)を,縦軸を輝度Y,横軸を彩度Sとしたグラフによって示すものである。式1によって定められる範囲に属する画素,すなわち,第6図においてハッチングによって示す範囲に属する画素が,入力画像を構成する画素のうち,被写体種類「青空」についての抽出画素(以下,青空画素という)である。検出条件テーブル21に記憶されている青空画素抽出条件に基づいて,入力画像を構成する画素の中から青空画素が抽出される(ステップ32)。
検出条件テーブル21の青空画素抽出条件に基づいて抽出された青空画素の画素数が算出され,算出された青空画素数の全体画素数おける割合が算出される(ステップ33)。
青空画素数の全体画素数における割合,すなわち入力画像中の青空画像が占める割合(面積率)が,所定値以上であるかどうかが判断される(ステップ34)。この判断に,検出条件テーブル21に格納されている被写体種類「青空」についての検出条件が参照される。
第5図を参照して,被写体種類「青空」についての検出条件は,青空面積率Asky≧0.01である。被写体種類「青空」については,青空画素数(面積率)が,この条件に沿うかどうかが判断されることになる。
青空面積率Askyが所定値よりも小さい場合(青空面積率Asky<0.01),入力画像データによって表される入力画像は,被写体種類「青空」を含む画像ではないと取り扱われる(ステップ34でNO,ステップ35)。この場合には,入力画像中に青空画像は含まれていない旨を表すデータが,被写体種類検出回路11から,被写体種類別入力特徴量算出回路12および被写体種類別目標特徴量/色変換条件算出回路13に与えられる。この場合,被写体種類別入力特徴量算出回路12および被写体種類別目標特徴量/色変換条件算出回路13は,被写体種類「青空」についての処理を行わない。すなわち,被写体種類「青空」についての目標特徴量(ゲイン)は算出されない。
青空面積率Askyが所定値以上である場合(青空面積率Asky≧0.01)(ステップ34でYES),入力画像は,被写体種類「青空」を含む画像として取り扱われる。
画素抽出条件および検出条件は,学習処理によって設定することができる。たとえば,被写体種類が「青空」であると判断されるべき画像(青空サンプル画像)を複数用意して,複数の青空サンプル画像から共通して抽出される特徴量およびその範囲(たとえば,色相範囲,輝度範囲,彩度範囲,面積率など)を導出する。導出された特徴量およびその範囲に基づいて,画素抽出条件および検出条件が決定される。もちろん,学習処理によって得られる条件(画素抽出条件および検出条件)を,マニュアルによって修正するようにしてもよい。
入力画像が被写体種類「青空」を含む画像である場合,被写体種類別入力特徴量算出回路12および被写体種類別目標特徴量/色変換条件算出回路13において,次の処理が行われる。
被写体種類別入力特徴量算出回路12に,入力画像データが与えられる。被写体種類別入力特徴量算出回路12は,特徴量算出テーブル22を参照して,被写体種類「青空」について定められている特徴量を算出する(青空入力特徴量算出機能12aの処理)。
第7図は,特徴量算出テーブル22の内容を示している。
特徴量算出テーブル22には,被写体種類のそれぞれについて,算出すべき特徴量に関する定義が格納されている。被写体種類別入力特徴量算出回路12は,特徴量算出テーブル22に格納されている定義にしたがって,各被写体種類の特徴量を,入力画像データに基づいて算出する。
第7図を参照して,被写体種類「青空」について,特徴量算出テーブル22には,特徴量算出条件として青空画素のR,G,B各色の平均値を算出することが定義されている。被写体種類別入力特徴量算出回路12は,入力画像データによって表される画像中の青空画素(被写体種類検出回路11において検出された青空画素が用いられる)についてのR,G,B各色の平均値(Rave,Gave,Bave)を算出する(ステップ36)。
算出された青空画素のRGB平均値(Rave,Gave,Bave)が,入力特徴量として,被写体種類別目標特徴量/色変換条件算出回路13に与えられる。
被写体種類別目標特徴量/色変換条件算出回路13は,被写体種類別入力特徴量算出回路12において算出された入力特徴量と,境界関数テーブル23に記憶されている被写体種類ごとに定められた境界関数データに基づいて,被写体種類ごとに目標特徴量(ゲイン)を算出する。次の処理が行われる。
被写体種類「青空」についての入力特徴量(Rave,Gave,Bave)から,彩度Sおよび輝度Yが算出される(ステップ37)。彩度Sは上述した式3および式4に基づいて算出される。輝度Yは上述した式2に基づいて算出される。
被写体種類「青空」については,被写体種類別目標特徴量/色変換条件算出回路13は,境界関数テーブル23に記憶されている被写体種類「青空」についての境界関数データと,被写体種類「青空」についての入力特徴量(Rave,Gave,Bave)から算出された彩度Sおよび輝度Yとに基づいて,目標特徴量を算出し,かつゲインを算出する。
第8図は,被写体種類「青空」についての境界関数データによって表される境界関数を,縦軸を輝度Y,横軸を彩度Sとしたグラフ上において示している。被写体種類「青空」についての境界関数Fsky(s)は,実験的に,被写体種類「青空」について求められたものである。
たとえば,入力特徴量(Rave,Gave,Bave)から得られた彩度Sおよび輝度Yにしたがうプロット点が,第8図に示す関数グラフにおいて点A(Sa,Ya)の位置であったとする。プロット点A(Sa,Ya)は,境界関数Fsky(S)によって規定される外側領域に位置する。この場合,被写体種類「青空」は,補正しなくても十分な明るさを持つものであるから,被写体種類「青空」については特段の補正処理は行う必要はないと判断される。すなわち,目標特徴量は入力特徴量と等しいものとされる。被写体種類「青空」についてのゲインGskyは「1」になる(ステップ38でNO)。
入力特徴量(Rave,Gave,Bave)から得られた彩度Sおよび輝度Yにしたがうプロット点が,第8図に示す関数グラフにおいて点B(Sb,Yb)の位置であったとする。プロット点B(Sb,Yb)は,境界関数Fsky(S)によって規定される内側領域に位置する。この場合,入力特徴量(Rave,Gave,Bave)をそのまま目標特徴量として用いると(すなわち,ゲインGsky=1),被写体種類「青空」を含む入力画像は暗いものになる。この場合,第8図において,原点(0,0)と,入力特徴量(Rave,Gave,Bave)から得られたプロット点B(Sb,Yb)とを結ぶ線分と,境界関数Fsky(S)との交点(St,Yt)が求められる。次式によって,被写体種類「青空」についてのゲインGskyが求められる(ステップ38でYES,ステップ39)。
Gsky=St/Sb ・・・式5
このようにして,境界関数Fsky(s)が用いられて,被写体種類「青空」についてのゲインGskyが算出される。境界関数Fsky(s)は被写体種類「青空」について補正を行うべきものであるかどうかを規定する条件を表しているということができる。また,補正を行うべきものであれば,その補正値(ゲイン)を規定する関数ということもできる。
被写体種類「青空」については,上記式5によって得られるゲインGskyが,R,G,Bのそれぞれについての共通ゲインとされる。被写体種類「青空」についての目標特徴量は,(Gsky・Rave,Gsky・Gave,Gsky・Bave)となる。
もちろん,目標特徴量は,被写体種類ごとにあらかじめ定めておいてもよい。この場合には,あらかじめ定められている目標特徴量と算出された入力特徴量が用いられて,補正値(ゲイン)が算出される。
上述した境界関数(目標特徴量)は,入力装置2が用いられて入力されるパラメータによって変更することができる。第9図は,被写体種類「青空」についての境界関数Fsky(S)が変更された様子を示している。
被写体種類「青空」を,より明るく補正したい場合(明るさ補正強),入力装置2から「被写体、種類「青空」の明るさを強める」旨のデータ入力が行われる。たとえば,表示装置3の表示画面上に表示されるスライド・バーを,マウス等を用いてスライドすることによって,明るさ補正の程度が入力される。
オペレータが被写体種類「青空」を明るく仕上げようとして上述の入力を行うと,境界関数テーブル23に記憶されている青空についての境界関数Fskyが,第9図に示す一点鎖線に示すものに変更される。入力特徴量から得られる彩度Sおよび輝度Yが,一点鎖線に示す境界線よりも内側に位置すれば,そのプロット点が一点鎖線に示す境界関数上に補正されるゲインGsky(>1)が算出されることになる。逆にオペレータが被写体種類「青空」を,標準よりも暗く仕上げようとする場合には,「被写体種類「青空」の明るさを弱める」旨が入力装置2が用いられて入力される。境界関数Fskyが二点鎖線に示すものに変更される。
第10図は,ゲインGskyが適用された補正関数(ゲイン直線)を示すものである。第10図において,鎖線がゲイン「1」であるときの補正関数を,実線がゲインGsky(>1)が適用された補正関数をそれぞれ示している。
上述した被写体種類「青空」については,撮影シーンが屋外撮影であるのでホワイトバランスは考慮せず,R,G,Bのそれぞれについて共通するゲインGskyを求めている。他の被写体種類,たとえば,被写体種類「顔」については,ホワイトバランスをも考慮して,R,G,Bのそれぞれについての別個にゲイン(目標特徴量)を算出するようにしてもよい(R,G,Bの比が所定比とされる)。いずれにしても,R,G,Bのそれぞれについての入力特徴量を目標特徴量に補正するためのゲイン(Gri,Ggi,Gbi)(iは,検出された被写体種類のそれぞれを,意味する)が,検出された被写体種類のそれぞれについて算出される。
次に,色変換条件合成回路14について説明する。
色変換条件合成回路14は,被写体種類別目標特徴量/色変換条件算出回路13から与えられた被写体種類ごとのゲイン(Gri,Ggi,Gbi)と,入力装置2から入力された被写体種類ごとの重要度Wiを用いて,被写体種類のそれぞれについての入力特徴量が,被写体種類のそれぞれについての目標特徴量に全体的に近づく,新たなゲイン(「適用ゲイン」)を算出する回路である。
色変換条件合成回路14は,被写体種類別目標特徴量/色変換条件算出回路13から与えられた被写体種類ごとのゲイン(Gri,Ggi,Gbi)と,オペレータによって入力装置2から入力された被写体種類ごとの重要度Wiとに基づいて,次式によって適用ゲイン(Gr,Gg,Gb)を算出する。
Gr=Σ(Wi・Gri)/ΣWi
Gg=Σ(Wi・Ggi)/ΣWi ・・・式6
Gb=Σ(Wi・Gbi)/ΣWi
色変換条件合成回路14によって算出される適用ゲインについて,グラフを用いて説明する。第11a図は被写体種類「夜景」および被写体種類「顔」が含まれている入力画像について,R成分についての入出力関係(ゲイン関数)を示すグラフである。これらの入出力関係は,被写体種類別目標特徴量/色変換条件算出回路13によって算出される被写体種類「夜景」および「顔」のそれぞれについて得られるR成分についてのゲインによって表される。なお,被写体種類「夜景」については,シャドウおよびハイライトのそれぞれについて入力特徴量と目標特徴量が得られる(第7図参照)。第11a図に示すグラフにおいて,被写体種類「夜景」(シャドウ)についての入力特徴量および目標特徴量が黒丸により,被写体種類「夜景」(ハイライト)についての入力特徴量および目標特徴量が白丸により示されている。被写体種類「顔」についての入力特徴量および目標特徴量は,三角により示されている。
上記式6を適用することによって得られる,R成分についての適用ゲインGrによって定められる入出力関係(ゲイン関数)が,第11b図に示されている。式6を適用することによって,被写体種類ごとに得られるゲイン(Gri,Ggi,Gbi)の重付け平均がとられたものが,入力画像データに適用されるべき適用ゲイン(Gr,Gg,Gb)とされる。検出された被写体種類のそれぞれについての入力特徴量のそれぞれが,対応する目標特徴量のそれぞれに全体的に近づく適用ゲイン(Gr,Gg,Gb)が得られる。また,重み付け平均は,オペレータが入力する重要度Wiに応じたものであるから,適用ゲインは,ユーザが重要視する被写体種類についてのゲインがより強く反映されたものになる。
色変換条件合成回路14によって算出される適用ゲイン(Gr,Gg,Gb)は,画像補正回路15に与えられる。画像補正回路15は,記憶装置4から読み出された画像データによって表される画像を構成する各画素ごとのRGB値を,適用ゲイン(Gr,Gg,Gb)を用いて補正する。補正された画像データが画像処理装置1から出力され,表示装置3またはプリンタ5に与えられる。
変形例1
上述した実施例による処理に加えてさらに,ユーザの要望を,入力装置2および表示装置3を用いて受け付け,被写体種類ごとの検出精度,目標特徴量(ゲイン)を修正するようにしてもよい。第12図は,表示装置3の表示画面上に表示される,ユーザの要望を入力するための画面例を示している。
入力装置2が用いられて,「印刷−生産性重視用」,「印刷−品質重視用」,「写真−生産性重視用」または「写真−品質重視用」のいずれか選択される。ユーザによる選択(要望)に沿って,画像処理装置1における処理が変化する。
ユーザが「印刷−品質重視用」または「写真−品質重視用」を選択すると,「印刷−生産性重視用」または「写真−生産性重視用」を選択した場合に比べて,より高い品質の補正結果を得ることができるように,画像処理装置1における処理が行われる。たとえば,入力画像中に被写体種類「顔」が含まれているかどうかの判断に用いられる面積率(第4図ステップ34を参照)が小さい値に修正され,これにより,より小さな面積の顔画像を含む場合であっても,入力画像中に被写体種類「顔」が含まれていると判断される。すなわち,小さいサイズの顔まで検出させることができる。逆に,「印刷−生産性重視用」または「写真−生産性重視用」が選択されると,処理速度を重視した処理が画像処理装置1において行われる。
また,ユーザが「写真−生産性重視用」または「写真−品質重視用」を選択すると,「印刷−生産性重視用」または「印刷−品質重視用」を選択した場合に比べて,ゲイン関数(第11b図)の傾きを大きくする(ダイナミックレンジを大きくする)ように,ゲインが調整される。
変形例2
第13図は第1実施例の他の変形例(変形例2)を示すものであり,上述した第2図に相当する画像処理装置1の電気的構成を記憶装置4とともに示すブロック図である。
この変形例2では,入力装置2から被写体情報が入力されて,被写体種類検出回路11に与えられる。入力装置2から入力される被写体情報は,たとえば,被写体種類ごとの入力画像中における存在の有無に関する情報,被写体種類の入力画像中における存在位置等を表すデータである。
たとえば,画像処理対象の入力画像中に,被写体種類「顔」が存在しないことがあらかじめ分かっている(画像処理システムのオペレータによって把握されている)とする。この場合,被写体種類検出回路11における被写体種類「顔」の検出処理,被写体種類別入力特徴量算出回路12における被写体種類「顔」についての入力特徴量算出処理,被写体種類別目標特徴量/色変換条件算出回路13における被写体種類「顔」についての目標特徴量およびゲインの算出処理は無駄である。入力装置2から被写体種類検出回路11に与えられる被写体種類情報中に,被写体種類「顔」が存在しない旨を表すデータが含まれていると,被写体種類検出回路11は被写体種類「顔」についての検出処理を実行せず,被写体種類別入力特徴量算出回路12および被写体種類別目標特徴量/色変換条件算出回路13における被写体種類「顔」についての処理も実行されない。これにより,画像処理装置1の処理速度を高めることができ,最終的に得られる適用ゲインの精度を高めることができる。
画像処理対象の入力画像中に,たとえば,被写体種類「顔」が存在することがあらかじめ分かっている場合に,被写体種類「顔」の入力画像中における存在領域(入力画像中における顔の位置(領域))を,入力装置2から入力される被写体情報に含ませてもよい。この場合にも,被写体種類検出回路11は被写体種類「顔」についての検出処理は実行しない。また,被写体種類別入力特徴量算出回路12では,入力装置2から与えられる被写体種類「顔」についての存在領域(指定領域)中に含まれる画素を,被写体種類「顔」についての画素(顔画素)として入力画像から抽出する(第4図におけるステップ32の処理がスキップされることになる)。
入力画像データがタグ情報を含むものであり,このタグ情報中に,被写体種類の有無(たとえば,被写体種類「顔」の有無)に関する情報が含まれている場合には,入力装置2から入力される被写体情報に代えて,タグ情報に基づいて画像処理装置1を上述のように制御するようにしてもよい。
第2実施例
第14図は,第2実施例における画像処理装置1Aの電気的構成を,記憶装置4とともに示すブロック図である。被写体種類検出回路11に代えて,被写体種類別存在確率算出回路51が設けられている点が,第1実施例における画像処理装置1(第2図)と異なる。また,検出条件テーブル21に代えて存在確率算出テーブル52が設けられている点が,第1実施例における画像処理装置1と異なる。
第15図は,被写体種類別存在確率算出回路51,被写体種類別入力特徴量算出回路12および被写体種類別目標特徴量/色変換条件算出回路13のそれぞれの機能を表す機能ブロック図である。
被写体種類別存在確率検出回路51は,あらかじめ定められた被写体種類ごとに,入力画像中に含まれる存在確率(存在するであろうと推測される確率,確度,または確信度)を算出する回路である。
被写体種類別存在確率算出回路51は,入力画像中に,「青空」,「夕景」,「顔」,「高彩度」,「海中」,「ハイキー」および「夜景」の7つの被写体種類を表す画像が含まれているかどうか,および含まれている場合にはどの程度の確率(確度,確信度)で含まれているかどうかを算出する(第15図の機能ブロック51a〜51g)。さらに,被写体種類別存在確率算出回路51は,上記7種類の被写体種類のいずれもが入力画像中に含まれていないこと(以下,被写体種類「検出対象外」という)およびその確率(確度,確信度)も算出する(第15図の機能ブロック51h)。
第16図は,存在確率算出回路51による存在確率の算出に用いられる存在確率算出テーブル52の内容を示している。
存在確率算出テーブル52には「青空」,「夕景」,「顔」,「高彩度」,「海中」,「ハイキー」および「夜景」の7つの被写体種類のそれぞれに対応して,存在確率の算出に用いるべき特徴量の種類および識別ポイントが格納されている。
存在確率算出テーブル52に記憶されるデータ(存在確率の算出に用いるべき特徴量の種類および識別ポイント)は,学習処理によって得られるものである。
第17図を参照して,たとえば,被写体種類「海中」についての学習処理では,はじめに,被写体種類「海中」を含む複数の画像(海中サンプル画像という)と,被写体種類「海中」を含まない複数の画像(非海中サンプル画像)が用意される(第17図左側)。そして,一の特徴量種類,たとえば,R値平均が選択され,選択された特徴量種類(R値平均)を,複数の海中サンプル画像を用いて算出し,その頻度ヒストグラムを作成する。同様にして,選択された特徴量種類(R値平均)を,複数の非海中サンプル画像を用いて算出し,その頻度ヒストグラムを算出する(第17図中央)。
複数の海中サンプル画像を用いて作成した頻度ヒストグラムと,複数の非海中サンプル画像を用いて作成した頻度ヒストグラムとにおいて,特徴量の値に応じた頻度ヒストグラムの偏りがあれば,選択された特徴量種類は,海中サンプル画像と非海中サンプル画像との識別に適した特徴量種類であると言える。作成された2つの頻度ヒストグラムの対応する特徴量の値ごとの頻度値の比の対数値が算出される。算出された対数値が「識別ポイント」である(第17図右側)。
存在確率算出回路51では,入力画像データについて,存在確率算出テーブル52に記憶されている特徴量種類についての特徴量を算出し,算出された特徴量に対応する識別ポイントを取得する。取得された識別ポイントが正の識別ポイントであればその入力画像は海中画像である可能性が高く,その絶対値が大きいほどその可能性が高いと言える。逆に,負の識別ポイントであれば,その入力画像は海中画像を含まない可能性が高く,その絶対値が大きいほどその可能性が高いと言える。
存在確率算出回路51は,存在確率算出テーブル52に記憶されているデータを用いて,被写体種類「青空」,「夕景」,「顔」,「高彩度」,「海中」,「ハイキー」および「夜景」の7つの被写体種類のそれぞれについての存在確率(上述した識別ポイント,または識別ポイントに基づく0〜1までの値)を算出する。
さらに,第2実施例の画像処理装置1Aでは,被写体種類「青空」,「夕景」,「顔」,「高彩度」,「海中」,「ハイキー」および「夜景」の7つの被写体種類のすべてが入力画像中に含まれていないことを表す確率(被写体種類「検出対象外」の存在確率)を算出する。被写体種類「検出対象外」の存在確率は,次式によって算出される。
OT=1−MAX(1−P,P,・・・,P) ・・・式7
,P,・・・,Pは,被写体種類「青空」,「夕景」,「顔」,「高彩度」,「海中」,「ハイキー」および「夜景」の7つの被写体種類のそれぞれについての存在確率を示す。MAX(1−P,P,・・・,P)は,P,P,・・・,Pのうちの最大値である。
被写体種類別存在確率算出回路51によって算出された,被写体種類「青空」,「夕景」,「顔」,「高彩度」,「海中」,「ハイキー」および「夜景」の7つの被写体種類についての存在確率および被写体種類「検出対象外」についての存在確率は,上述した重み付け処理(式6)に用いられる。
すなわち,第2実施例の画像処理装置1Aでは,第1実施例の重要度Wi(式6参照)に代えて,次の統合重要度Waが用いられる。
Wa=Wi・Wpi ・・・式8
ここでWpiは,被写体種類別存在確率算出回路51によって得られた,検出された被写体種類ごとの存在確率piのそれぞれに応じた数値(存在確率依存重要度)であり,たとえば,第18図に示すグラフ(変換グラフ)に基づいて算出される。第2実施例の画像処理装置1Aでは,入力画像データの補正に適用される適用ゲイン(Gr,Gg,Gb)は,ユーザが重要視する被写体種類についてのゲインがより強く反映され,かつ入力画像中に存在する確率が大きい被写体種類についてのゲインがより強く反映されたものとなる。
もちろん,第18図に示す変換グラフは,被写体種類ごとに異なるものにしてもよい。
上述した統合重要度Waは,次式によって求めるようにしてもよい。
Wa=Wi・Wpi・Wsi ・・・式9
Wsiは,検出された被写体種類ごとの入力画像中を占める面積に基づく値(面積依存重要度)である。より多くの面積を入力画像中に占める被写体種類についてのゲインが,より強く適用ゲインに反映される。
第2実施例においても,第1実施例の変形例1と同様に,ユーザの画像補正に関する要望に沿って,画像処理装置1における処理を変化させてもよく,第1実施例の変形例2と同様に,外部からの被写体情報(被写体種類ごとの入力画像中における存在の有無に関する情報等)に基づいて,画像処理装置1Aにおける処理をサポートするようにしてもよい。
上述した実施例1,2では,画像処理装置1,1Aがハードウエア回路によって構成されているが,その一部または全部をソフトウエアによる処理によって実現するようにしてもよい。

Claims (8)

  1. あらかじめ定められた複数の被写体種類のそれぞれについての第1の重要度の入力を受付ける重要度入力手段,
    与えられる画像データに基づいて,その画像データによって表される画像中に,上記複数の被写体種類のうち,いずれの被写体種類が含まれているかを検出する被写体種類検出手段,
    上記被写体種類検出手段によって検出された被写体種類のそれぞれについて,上記画像データに基づいて,被写体種類ごとに定められた算出処理によって入力特徴量をそれぞれ算出する入力特徴量算出手段,
    上記入力特徴量算出手段によって算出された入力特徴量と,被写体種類ごとに定められた目標特徴量とに基づいて,検出された被写体種類のそれぞれについての補正値を算出する補正値算出手段,
    上記画像データによって表される画像中に,上記複数の被写体種類を表す画像がそれぞれどの程度の確度で含まれているかを表す存在確率を,あらかじめ作成されて記憶されている学習データに基づいて上記複数の被写体種類ごとに算出する被写体種類別存在確率算出手段,
    上記補正値算出手段によって算出された被写体種類のそれぞれについての補正値を,上記重要度入力手段によって被写体種類のそれぞれについて受付けられた第1の重要度と,上記存在確率算出手段によって算出された被写体種類のそれぞれについての存在確率に応じて得られる第2の重要度を用いて重み付け平均した適用補正値を算出する適用補正値算出手段,ならびに
    上記適用補正値算出手段によって算出された適用補正値に基づいて,上記画像データを補正する画像補正手段,
    を備えた画像補正装置。
  2. 上記画像データによって表される画像中に占める,上記被写体種類を表す画像の面積を,検出された被写体種類ごとに算出する被写体種類別面積算出手段を備え,
    上記適用補正値算出手段は,
    上記第1の重要度および第2の重要度と,上記面積算出手段によって算出された被写体種類のそれぞれについての面積に応じて得られる第3の重要度を用いて,上記補正値算出手段によって算出された被写体種類のそれぞれについての補正値を重み付け平均するものである,
    請求項1に記載の画像補正装置。
  3. 上記目標特徴量を変更するパラメータの入力を受付けるパラメータ入力手段,
    上記パラメータ入力手段によって入力されたパラメータに基づいて,上記目標特徴量を修正する目標特徴量修正手段を備えた,
    請求項1に記載の画像補正装置。
  4. あらかじめ定められた複数の被写体種類のそれぞれについての第1の重要度の入力を受付け,
    与えられる画像データに基づいて,その画像データによって表される画像中に,上記複数の被写体種類のうち,いずれの被写体種類が含まれているかを検出し,
    検出した被写体種類のそれぞれについて,上記画像データに基づいて,被写体種類ごとに定められた算出処理によって入力特徴量をそれぞれ算出し,
    算出した入力特徴量と,被写体種類ごとに定められた目標特徴量とに基づいて,検出された被写体種類のそれぞれについての補正値を算出し,
    上記画像データによって表される画像中に,上記複数の被写体種類を表す画像がそれぞれどの程度の確度で含まれているかを表す存在確率を,あらかじめ作成されて記憶されている学習データに基づいて上記複数の被写体種類ごとに算出し,
    算出した被写体種類のそれぞれについての補正値を,被写体種類のそれぞれについて受付けられた第1の重要度と,算出された被写体種類のそれぞれについての存在確率に応じて得られる第2の重要度を用いて重み付け平均した適用補正値を算出し,
    算出した適用補正値に基づいて上記画像データを補正する,
    画像補正方法。
  5. あらかじめ定められた複数の被写体種類のそれぞれについての第1の重要度の入力を受付ける重要度入力処理,
    与えられる画像データに基づいて,その画像データによって表される画像中に,上記複数の被写体種類のうち,いずれの被写体種類が含まれているかを検出する被写体種類検出処理,
    検出された被写体種類のそれぞれについて,上記画像データに基づいて,被写体種類ごとに定められた算出処理によって入力特徴量をそれぞれ算出する入力特徴量算出処理,
    算出された入力特徴量と,被写体種類ごとに定められた目標特徴量とに基づいて,検出された被写体種類のそれぞれについての補正値を算出する補正値算出処理,
    上記画像データによって表される画像中に,上記複数の被写体種類を表す画像がそれぞれどの程度の確度で含まれているかを表す存在確率を,あらかじめ作成されて記憶されている学習データに基づいて上記複数の被写体種類ごとに算出する被写体種類別存在確率算出処理,
    算出された被写体種類のそれぞれについての補正値を,上記重要度入力処理によって被写体種類のそれぞれについて受付けられた第1の重要度と,上記存在確率算出処理によって算出された被写体種類のそれぞれについての存在確率に応じて得られる第2の重要度を用いて重み付け平均した適用補正値を算出する適用補正値算出処理,ならびに
    算出された適用補正値に基づいて,上記画像データを補正する画像補正処理,
    をコンピュータに実行させるプログラム。
  6. あらかじめ定められた複数の被写体種類のそれぞれについての第1の重要度の入力を受付ける重要度入力手段,
    与えられる画像データに基づいて,その画像データによって表される画像中に,複数の被写体種類のうち,いずれの被写体種類が含まれているかを検出する被写体種類検出手段,
    上記被写体種類検出手段によって検出された被写体種類のそれぞれについて,上記画像データに基づいて,被写体種類ごとに定められた算出処理によって入力特徴量をそれぞれ算出する入力特徴量算出手段,
    上記入力特徴量算出手段によって算出された被写体種類ごとの入力特徴量が,被写体種類ごとに定められた所定の条件を満たすものであるかどうかをそれぞれ判断する条件判断手段,
    上記条件判断手段によって上記入力特徴量が所定条件を満たさないものであると判断された被写体種類について,その被写体種類についての入力特徴量が上記所定条件を満たすものとなる補正値を算出する補正値算出手段,
    上記画像データによって表される画像中に,上記複数の被写体種類を表す画像がそれぞれどの程度の確度で含まれているかを表す存在確率を,あらかじめ作成されて記憶されている学習データに基づいて上記複数の被写体種類ごとに算出する被写体種類別存在確率算出手段,
    上記補正値算出手段によって算出された被写体種類のそれぞれについての補正値を,上記重要度入力手段によって被写体種類のそれぞれについて受付けられた第1の重要度と,上記存在確率算出手段によって算出された被写体種類のそれぞれについての存在確率に応じて得られる第2の重要度を用いて重み付け平均した適用補正値を算出する適用補正値算出手段,ならびに
    上記適用補正値算出手段によって算出された適用補正値に基づいて,上記画像データを補正する画像補正手段,
    を備えた画像補正装置。
  7. あらかじめ定められた複数の被写体種類のそれぞれについての第1の重要度の入力を受付け,
    与えられる画像データに基づいて,その画像データによって表される画像中に,複数の被写体種類のうち,いずれの被写体種類が含まれているかを検出し,
    検出した被写体種類のそれぞれについて,上記画像データに基づいて,被写体種類ごとに定められた算出処理によって入力特徴量をそれぞれ算出し,
    算出した被写体種類ごとの入力特徴量が,被写体種類ごとに定められた所定の条件を満たすものであるかどうかをそれぞれ判断し,
    上記入力特徴量が所定条件を満たさないものであると判断された被写体種類について,その被写体種類についての入力特徴量が上記所定条件を満たすものとなる補正値を算出し,
    上記画像データによって表される画像中に,上記複数の被写体種類を表す画像がそれぞれどの程度の確度で含まれているかを表す存在確率を,あらかじめ作成されて記憶されている学習データに基づいて上記複数の被写体種類ごとに算出し,
    算出した被写体種類のそれぞれについての補正値を,被写体種類のそれぞれについて受付けられた第1の重要度と,算出された被写体種類のそれぞれについての存在確率に応じて得られる第2の重要度を用いて重み付け平均した適用補正値を算出し,
    算出した適用補正値に基づいて,上記画像データを補正する,
    画像補正方法。
  8. あらかじめ定められた複数の被写体種類のそれぞれについての第1の重要度の入力を受付ける重要度入力処理,
    与えられる画像データに基づいて,その画像データによって表される画像中に,複数の被写体種類のうち,いずれの被写体種類が含まれているかを検出する被写体種類検出処理,
    上記被写体種類検出処理によって検出された被写体種類のそれぞれについて,上記画像データに基づいて,被写体種類ごとに定められた算出処理によって入力特徴量をそれぞれ算出する入力特徴量算出処理,
    上記入力特徴量算出処理によって算出された被写体種類ごとの入力特徴量が,被写体種類ごとに定められた所定の条件を満たすものであるかどうかをそれぞれ判断する条件判断処理,
    上記条件判断処理によって上記入力特徴量が所定条件を満たさないものであると判断された被写体種類について,その被写体種類についての入力特徴量が上記所定条件を満たすものとなる補正値を算出する補正値算出処理,
    上記画像データによって表される画像中に,上記複数の被写体種類を表す画像がそれぞれどの程度の確度で含まれているかを表す存在確率を,あらかじめ作成されて記憶されている学習データに基づいて上記複数の被写体種類ごとに算出する被写体種類別存在確率算出処理,
    上記補正値算出処理によって算出された被写体種類のそれぞれについての補正値を,上記重要度入力処理によって被写体種類のそれぞれについて受付けられた第1の重要度と,上記存在確率算出処理によって算出された被写体種類のそれぞれについての存在確率に応じて得られる第2の重要度を用いて重み付け平均した適用補正値を算出する適用補正値算出処理,ならびに
    上記適用補正値算出処理によって算出された適用補正値に基づいて,上記画像データを補正する画像補正処理,
    をコンピュータに実行させるプログラム。
JP2006537860A 2004-09-30 2005-09-30 画像補正装置および方法,ならびに画像補正プログラム Active JP4478155B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004285682 2004-09-30
JP2004285682 2004-09-30
PCT/JP2005/018576 WO2006036026A1 (ja) 2004-09-30 2005-09-30 画像補正装置および方法、ならびに画像補正プログラム

Publications (2)

Publication Number Publication Date
JPWO2006036026A1 JPWO2006036026A1 (ja) 2008-05-15
JP4478155B2 true JP4478155B2 (ja) 2010-06-09

Family

ID=36119138

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006537860A Active JP4478155B2 (ja) 2004-09-30 2005-09-30 画像補正装置および方法,ならびに画像補正プログラム

Country Status (5)

Country Link
US (1) US8111940B2 (ja)
EP (1) EP1802095B1 (ja)
JP (1) JP4478155B2 (ja)
CN (1) CN100499733C (ja)
WO (1) WO2006036026A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012510201A (ja) * 2008-11-25 2012-04-26 ヒューレット−パッカード デベロップメント カンパニー エル.ピー. デジタル画像における記憶色の修正

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8687230B2 (en) * 2008-03-31 2014-04-01 Brother Kogyo Kabushiki Kaisha Image processor
JP5045619B2 (ja) * 2008-09-08 2012-10-10 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP4623388B2 (ja) * 2008-09-08 2011-02-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5264396B2 (ja) * 2008-10-03 2013-08-14 キヤノン株式会社 画像処理装置及び画像種別特定方法
JP2011109245A (ja) * 2009-11-13 2011-06-02 Renesas Electronics Corp 画像処理装置及び画像処理方法
KR101896386B1 (ko) * 2011-11-22 2018-09-11 삼성전자주식회사 화이트 밸런스 조절장치 및 방법
CN105450923A (zh) * 2014-09-25 2016-03-30 索尼公司 图像处理方法、图像处理装置以及电子设备
WO2016046664A1 (en) * 2014-09-25 2016-03-31 Sony Corporation Image processing method, image processing apparatus and electronic device
US10530995B2 (en) 2015-06-12 2020-01-07 Gopro, Inc. Global tone mapping
CN108198142B (zh) * 2017-12-28 2020-06-26 北京数科网维技术有限责任公司 色彩调节方法、终端及计算机可读存储介质
US10885613B2 (en) * 2019-01-10 2021-01-05 International Business Machines Corporation Real-time alteration of underwater images
JP2022172787A (ja) * 2021-05-07 2022-11-17 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6006013A (en) * 1994-05-18 1999-12-21 Xerox Corporation Object optimized printing system and method
US5715377A (en) 1994-07-21 1998-02-03 Matsushita Electric Industrial Co. Ltd. Gray level correction apparatus
JPH0832838A (ja) * 1994-07-21 1996-02-02 Matsushita Electric Ind Co Ltd 階調補正方法および階調補正装置
JP3962496B2 (ja) * 1998-01-29 2007-08-22 キヤノン株式会社 画像処理方法、装置および記録媒体
US6496607B1 (en) * 1998-06-26 2002-12-17 Sarnoff Corporation Method and apparatus for region-based allocation of processing resources and control of input image formation
US7019778B1 (en) * 1999-06-02 2006-03-28 Eastman Kodak Company Customizing a digital camera
JP2001076149A (ja) 1999-09-06 2001-03-23 Fuji Photo Film Co Ltd 主要被写体抽出方法および装置
JP2001310520A (ja) * 2000-04-27 2001-11-06 Canon Inc 画像処理方法、装置および記録媒体
US7088390B2 (en) * 2000-06-19 2006-08-08 Olympus Optical Co., Ltd. Imaging apparatus in which exposure control is performed to suppress changes in sensitivity due to changes in gradation mode
US6788813B2 (en) * 2000-10-27 2004-09-07 Sony Corporation System and method for effectively performing a white balance operation
US7136508B2 (en) * 2000-11-09 2006-11-14 Minolta Co., Ltd. Image processing apparatus, method, and program for processing a moving image
JP2002218480A (ja) * 2001-01-23 2002-08-02 Minolta Co Ltd 画像撮影装置
US20020181801A1 (en) * 2001-06-01 2002-12-05 Needham Bradford H. Feature-based image correction
JP4197858B2 (ja) * 2001-08-27 2008-12-17 富士通株式会社 画像処理プログラム
US7092573B2 (en) * 2001-12-10 2006-08-15 Eastman Kodak Company Method and system for selectively applying enhancement to an image
US20040151376A1 (en) 2003-02-05 2004-08-05 Konica Minolta Holdings, Inc. Image processing method, image processing apparatus and image processing program
JP2004240622A (ja) * 2003-02-05 2004-08-26 Konica Minolta Holdings Inc 画像処理方法、画像処理装置及び画像処理プログラム
US8948468B2 (en) * 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
US7315630B2 (en) * 2003-06-26 2008-01-01 Fotonation Vision Limited Perfecting of digital image rendering parameters within rendering devices using face detection
US7423674B2 (en) * 2003-12-08 2008-09-09 Nikon Corporation Electronic camera having color adjustment function and program therefor
EP1802096B1 (en) * 2004-09-30 2019-10-23 FUJIFILM Corporation Image processing device, method, and image processing program
US7715649B2 (en) * 2005-02-14 2010-05-11 Fujifilm Corporation Generation and adjustment of a luminance correction curve to prevent saturation of the image during contrast enhancement
JP2007295478A (ja) * 2006-04-27 2007-11-08 Sony Corp 撮影装置および撮影方法、並びにプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012510201A (ja) * 2008-11-25 2012-04-26 ヒューレット−パッカード デベロップメント カンパニー エル.ピー. デジタル画像における記憶色の修正

Also Published As

Publication number Publication date
CN101032160A (zh) 2007-09-05
JPWO2006036026A1 (ja) 2008-05-15
WO2006036026A1 (ja) 2006-04-06
US8111940B2 (en) 2012-02-07
EP1802095A1 (en) 2007-06-27
EP1802095B1 (en) 2013-07-10
CN100499733C (zh) 2009-06-10
EP1802095A4 (en) 2009-06-17
US20070280538A1 (en) 2007-12-06

Similar Documents

Publication Publication Date Title
JP4478155B2 (ja) 画像補正装置および方法,ならびに画像補正プログラム
JP4549352B2 (ja) 画像処理装置および方法,ならびに画像処理プログラム
JP5377691B2 (ja) オートホワイトバランスを備える画像処理装置
US7652717B2 (en) White balance correction in digital camera images
US7945109B2 (en) Image processing based on object information
JP3992177B2 (ja) 画像処理装置、画像処理方法及びコンピュータ・プログラム
US8009905B2 (en) System, medium, and method with noise reducing adaptive saturation adjustment
US20050207669A1 (en) Method, system, and program for correcting the image quality of a moving image
US7885458B1 (en) Illuminant estimation using gamut mapping and scene classification
JPH11331738A (ja) 画像処理方法および装置
JP6611543B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US20050248664A1 (en) Identifying red eye in digital camera images
Lin An automatic white balance method based on edge detection
JP3950551B2 (ja) 画像処理方法、装置および記録媒体
JP4522229B2 (ja) 画像処理方法及びその装置
JP2019165398A (ja) 画像処理装置、画像処理方法及びプログラム
JP3801177B2 (ja) 画像処理装置、画像処理プログラム、および画像処理方法
JP4578398B2 (ja) 画像補正装置および方法,ならびに画像補正プログラム
JP2007318320A (ja) 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
JP6946049B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2008085995A (ja) 色補正方法および画像処理装置
JP4293469B2 (ja) 画像処理装置、画像処理方法及びコンピュータ・プログラム
JP2010199844A (ja) 画像処理装置、画像処理方法、プログラムおよび記憶媒体
JP2019153286A (ja) 画像処理装置、画像処理方法およびプログラム
JP2002281337A (ja) 画像処理装置、画像処理機能を実行するプログラムおよび該プログラムを記録した記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090825

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100223

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100312

R150 Certificate of patent or registration of utility model

Ref document number: 4478155

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140319

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250