JPWO2006036027A1 - 画像処理装置および方法,ならびに画像処理プログラム - Google Patents

画像処理装置および方法,ならびに画像処理プログラム Download PDF

Info

Publication number
JPWO2006036027A1
JPWO2006036027A1 JP2006537861A JP2006537861A JPWO2006036027A1 JP WO2006036027 A1 JPWO2006036027 A1 JP WO2006036027A1 JP 2006537861 A JP2006537861 A JP 2006537861A JP 2006537861 A JP2006537861 A JP 2006537861A JP WO2006036027 A1 JPWO2006036027 A1 JP WO2006036027A1
Authority
JP
Japan
Prior art keywords
subject
type
calculated
correction value
certainty factor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006537861A
Other languages
English (en)
Other versions
JP4549352B2 (ja
Inventor
竹本 文人
文人 竹本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2006036027A1 publication Critical patent/JPWO2006036027A1/ja
Application granted granted Critical
Publication of JP4549352B2 publication Critical patent/JP4549352B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • H04N1/4074Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original using histograms
    • G06T5/92
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

受付られた画像データによって表される画像中に、あらかじめ定められた複数の被写体種類を表す画像が、確信度算出回路においてそれぞれどの程度の確からしさで含まれているかを表す確信度が、受付られた画像データから得られる特徴量に基づいて、定められた被写体種類ごとに算出される。また、複数の被写体種類のそれぞれについての濃度補正値が、濃度補正値算出回路において算出される。算出された被写体種類ごとの確信度に基づく重みがそれぞれ重み付けられて、複数の濃度補正値が濃度補正値統合回路において統合される。受付けられた画像データによって表される画像の濃度が、統合濃度補正値が用いられて画像補正回路において補正される。

Description

この発明は,画像処理装置および方法,ならびに画像処理プログラムに関する。
特開2002−218480公報には,シーン判定部31を含む画像データ処理部24を備えたディジタルスチルカメラが記載されている。シーン判定部31では,画像中に人物を表す画像が含まれているかどうかおよび色ヒストグラムに基づいて,画像が,スナップショット,ポートレイト,記念撮影,風景撮影,夕景,夜景,夜景ポートレイト,海,蛍光灯光源またはタングステン光源のいずれの撮影シーンにおけるものであるを判定している。画像がいずれの撮影シーンにおけるものかが判定されると,判定された撮影シーンに基づいて,撮影シーンごとに設定された補正処理が画像に対して行われる。
しかしながら,実際の画像には,あらかじめ設定された撮影シーンのいずれかであるかを明確に区別することができないものもある。たとえば,特開2002−218480公報において,夕景を背景とした人物画像(スナップショット)の画像は,撮影シーン「夕景」または「スナップショット」のいずれかであると判定される。2つのシーンの両方の特徴を有する画像であった場合には,そのいずれかのシーンであると判定すると,最終的な補正結果に悪影響が生じるおそれがある。
この発明は,複数の被写体種類(撮影シーン)が含まれる画像であっても,適切に画像補正ができるようにすることを目的とする。
この発明はまた,処理対象の画像に含まれると考えられる被写体種類の存在の程度(確からしさ,確信度,確度,度合)に応じて画像補正ができるようにすることを目的とする。
さらにこの発明は,処理対象の画像に基づいて検出される撮影時のライティング種類の確からしさ(確信度,確度,度合)に応じて画像補正ができるようにすることを目的とする。
この発明による画像処理装置は,与えられる画像データによって表される画像中に,あらかじめ定められた複数の被写体種類を表す画像が,それぞれどの程度の確度で含まれているかを表す確信度(被写体種類確信度,被写体種類確度)を,上記画像データから得られる特徴量に基づいて,定められた被写体種類ごとに算出する被写体種類別確信度算出手段,上記画像データに基づいて,上記複数の被写体種類のそれぞれについての補正値を算出する被写体種類別補正値算出手段,上記被写体種類別確信度算出手段によって算出された複数の被写体種類のそれぞれについての被写体種類別確信度に応じた重みにより,対応する被写体種類について上記被写体種類別補正値算出手段によって算出された補正値をそれぞれ重み付けし,重み付けによって得られる被写体種類ごとの値を統合した統合補正値を算出する補正値統合手段,および上記画像データを,上記補正値統合手段によって算出された統合補正値を用いて補正する画像データ補正手段を備えたことを特徴とする。
この発明による画像処理方法は,与えられる画像データによって表される画像中に,あらかじめ定められた複数の被写体種類を表す画像が,それぞれどの程度の確度で含まれているかを表す確信度を,受付けた画像データから得られる特徴量に基づいて,定められた被写体種類ごとに算出し,上記画像データに基づいて,上記複数の被写体種類のそれぞれについての補正値を算出し,算出した複数の被写体種類のそれぞれについての被写体種類別確信度に応じた重みにより,対応する被写体種類について算出された補正値をそれぞれ重み付けし,重み付けによって得られる被写体種類ごとの値を統合した統合補正値を算出し,上記画像データを,算出された上記統合補正値を用いて補正することを特徴とする。
この発明は,上述の画像処理方法をコンピュータに実行させるプログラム(コンピュータを,上記画像処理装置として機能させるプログラム)も提供している。この発明によるプログラムは,与えられる画像データによって表される画像中に,あらかじめ定められた複数の被写体種類を表す画像が,それぞれどの程度の確度で含まれているかを表す確信度を,受付られた画像データから得られる特徴量に基づいて,定められた被写体種類ごとに算出する被写体種類別確信度算出処理,上記画像データに基づいて,上記複数の被写体種類のそれぞれについての補正値を算出する被写体種類別補正値算出処理,算出した複数の被写体種類のそれぞれについての被写体種類別確信度に応じた重みにより,対応する被写体種類について算出された補正値をそれぞれ重み付けし,重み付けによって得られる被写体種類ごとの値を統合した統合補正値を算出する補正値統合処理,および上記画像データを,上記補正値統合処理によって得られた統合補正値を用いて補正する画像データ補正処理を実行させるものである。
確信度を算出すべき複数の被写体種類があらかじめ定められる。この被写体種類には,画像データに基づいて識別し得る被写体の種類(撮影シーン種類と言ってもよい)であって,画像補正において異なる補正を行うべき(異なる補正処理を行った方が補正後の画像が適切であることが経験的に知られている)被写体の種類が,複数設定される。たとえば,複数の被写体種類として,「人物顔」,「海中」,「高彩度」,「夕景」,「夜景」,「青空」,「ハイキー」および「検出対象外」などを設定することができる。
与えられる画像データによって表される画像中に,あらかじめ定められた複数の被写体種類を表す画像が,それぞれどの程度(確からしさ)で含まれているかを表す確信度(レベル,グレード)が,あらかじめ定められた被写体種類ごとに算出される。この確信度の算出には,被写体種類のそれぞれに特有の特徴が,どの程度含まれているかを用いている。
たとえば,被写体種類「海中」の画像(以下,海中画像という)には,当然に,いわゆる海中色(青色〜緑色の色範囲に属する色)を持つ画素が,画像中の広い範囲に含まれている。最も単純には,海中色を持つ画素が所定面積以上含まれていればその画像は海中画像であることを識別することができ,さらにその面積に応じて確信度を算出することができる。もちろん,複数種類の特徴量を利用して,海中画像であることの確信度を算出することができるのは言うまでもない。
一実施態様では,画像処理装置には,被写体の種類ごとに,確信度の算出に適した一または複数の特徴量の種類と,特徴量に応じて確信度を算出するためのポイントデータを記憶したメモリ(確信度算出用メモリ)が設けられる。確信度算出用メモリが参照されて画像データに基づいて特徴量が算出され,算出された特徴量に応じて得られるポイントデータにしたがって,確信度を算出することができる。ポイントデータをそのまま確信度としてもよいし,複数の特徴量を確信度の算出に用いる場合には,各ポイントデータの加算値を確信度としてもよい。加算されたポイントデータを特徴量の数で除算した値を確信度としてもよい。加算されたポイントデータを特徴量の数で除算した値に基づいて,所定の関数にしたがって確信度を決定してもよい。好ましくは,確信度は0から1までの範囲の値に正規化する。
複数の被写体種類において,確信度が算出可能な複数の被写体種類(検出対象の被写体種類)のそれぞれについての確信度を求め,求められた複数の確信度を利用して,検出対象外の被写体種類の確信度を求めるようにしてもよい。たとえば,確信度が算出可能な複数の被写体種類のそれぞれについての確信度のそれぞれ0〜1の範囲に正規化しておき,算出された被写体種類のそれぞれについての正規化された確信度を1から減算して得られる値を乗算した結果を,検出対象外の被写体種類の確信度とすることができる。
受付けられた画像データに基づいて,複数の被写体種類のそれぞれについての補正値が算出される。この補正値は,被写体種類別確信度算出処理において確信度が算出される被写体種類のそれぞれに対応して算出される。
算出される補正値は,画像補正に用いることができる種々の補正値,濃度(輝度)階調補正値,CMY濃度階調補正値,彩度補正値,その他の補正値を含む。たとえば,補正値として濃度補正値(濃度階調補正値)を算出する場合,濃度補正値の算出には,従来知られた種々の算出方法を採用することができる。たとえば,目標濃度補正値をあらかじめ設定しておき,受付けられた入力画像データによって表される各画素(特定部分であってもよい)の濃度の平均が,目標濃度補正値になるような補正係数を算出し,この補正係数に基づいて濃度補正値を算出することができる。特開2001−257883号公報に記載されているように,重回帰分析による回帰式に基づいて濃度補正量を求めてもよい。濃度補正値は関数の形式であってもよいし,テーブル(ルックアップテーブル)の形式であってもよい。いずれにしても,補正値は,入力値と出力値の関係を規定する。濃度補正値であれば,入力濃度値と出力濃度値との関係を規定する。
上記被写体種類別確信度算出手段において算出された確信度が所定値以下である被写体種類については,その被写体種類についての補正値を算出しないようにしてもよい。入力画像に含まれていない(含まれている可能性が低い)被写体種類についての補正値を算出処理が行われないので,補正値算出処理の時間を短縮することができる。
算出された複数の被写体種類別確信度に基づいて,上記被写体種類別補正値算出手段によって算出された複数の補正値が統合される。
一実施態様では,統合後の補正値は,算出された複数の被写体種類別確信度に基づいて,確信度の大きさに応じた重みを被写体種類ごとに算出し,算出した重みを各補正値(対応する被写体種類のそれぞれの補正値)に乗算して得られる値を統合したものである。統合の処理は,補正値の種類に応じて異なる計算が行うことができる。たとえば,補正値が濃度補正値である場合には統合処理は加算処理とされる。補正値が輝度補正値である場合には統合処理は乗算処理となる。このように,統合処理は補正値の種類に応じて定めることができる。
他の実施態様では,統合後の補正値は,算出された複数の被写体種類別確信度に基づいて確信度の大きさに応じた重みを算出し,算出された被写体種類ごとの重みと,与えられるまたはあらかじめ設定される複数の被写体種類のそれぞれについての重要度と,各補正値(対応する被写体種類のそれぞれの補正値)とを乗算して得られる値を統合したものである。
被写体種類ごとの確信度(確信度に応じた重み)が大きいほど,そのような被写体種類についての補正値が強く反映された統合後の補正値が得られる。重要度をさらに用いる場合には,重要度が大きい被写体種類についての補正値が強く反映された統合後の補正値が得られる。
補正値統合処理によって得られた統合補正値が用いられて受付けられた画像データが補正される。
この発明によると,受付られた画像データによって表される画像中に含まれる被写体種類が自動的に判別され,それがどの程度上記画像中に含まれているかを表す確信度に応じて重み付けられた統合補正値が得られる。このようにして得られた統合補正値に基づいで画像データが補正される。2つ以上の被写体種類が含まれているような画像であっても,バランスよく補正処理を行うことができる。また,確信度に基づく重みが大きい被写体種類についての補正値が統合補正値に大きく反映されるので,与えられた画像データによって表される画像の内容に応じた画像補正が実現される。もちろん,外部から与えられるまたはあらかじめ設定される被写体種類ごとの重要度をさらに用いる場合には,その重要度に応じて総合補正値を変化させることができる。ユーザの好みに基づく画像補正を行うことができる。
一実施態様では,上記画像処理装置は,被写体種類指定手段をさらに備え,上記被写体別確信度補正手段は,上記被写体種類指定手段によって指定された被写体種類,または被写体種類指定手段によって指定された被写体種類以外の被写体種類について,被写体種類別確信度を算出する。また,上記被写体種類別補正値算出手段は,上記被写体種類指定手段によって指定された被写体種類,または被写体種類指定手段によって指定された被写体種類以外の被写体種類について,被写体種類別補正値を算出する。画像処理装置に与えられる画像データによって表される画像に,たとえば,特定の被写体種類が存在しないことがあらかじめ分かっている場合には,そのような特定の被写体種類についての確信度および補正値を算出する必要はない。このような場合に,被写体種類指定手段によって,画像中に存在することがあらかじめ分かっている特定の被写体種類(または画像中に存在しないことがあらかじめ分かっている特定の被写体種類)が指定される。指定された被写体種類についてのみ確信度および補正値が算出される,または指定された被写体種類以外の被写体種類についてのみ確信度および補正値が算出されるので,確信度算出および補正値算出処理の処理時間を短縮することができる。また,特定の被写体種類についての確信度および補正値を強制的に算出しないようにすることによって,画像中に上記特定の被写体種類が存在しないにも関わらず,その特定の被写体種類についての確信度および補正値が算出されてしまうことが確実に防止される。補正精度も向上する。
好ましくは,上記画像処理装置は,上記画像データによって表される画像が,あらかじめ定められた複数のライティング種類のそれぞれについて,どの程度の確度でそのライティング種類の下で撮影されたかを表すライティング確信度を,上記画像データから得られる特徴量に基づいて,定められたライティング種類ごとに算出するライティング種類別確信度算出手段,上記画像データに基づいて,定められた複数のライティング種類のそれぞれについての補正量を算出するライティング種類別補正量算出手段,および上記ライティング種類別確信度算出手段によって算出されたライティング種類ごとのライティング確信度に応じた重みにより,対応するライティング種類について上記ライティング種類別補正量算出手段によって算出された補正量をそれぞれ重み付けし,重み付けによって得られるライティング種類ごとの値を加算した補正量を算出する補正量算出手段をさらに備え,上記あらかじめ定められた複数の被写体種類は,検出可能(確信度算出可能)な複数の被写体種類と,検出対象外の被写体種類とを含むものであり,上記補正値統合手段は,検出対象外の被写体種類の補正値として,上記補正量算出手段によって算出された補正量を,補正すべき入力値に加算した値を用いる。画像データから得られる入力値(濃度値,輝度値等)に,補正量算出手段によって算出される補正量を加えた値が,検出対象外の被写体種類の補正値(濃度補正値,輝度補正値等)となる。
撮影時におけるライティング種類には,特殊な色の偏り,特殊な色のパターンを生じさせるものがある。たとえば,逆光時に撮影された画像,近接ストロボで撮影された画像,タングステン光源下で撮影された画像は,それぞれ特有の色の偏り,色のパターンを持つ。このように,ライティング種類に応じて画像に現れる色の偏り,色のパターンに応じて確信度(ライティング種類別の確信度)を算出することができる。
ライティング種類別の確信度の算出においても,確信度が算出可能なライティング種類のそれぞれについての確信度を求め,求められたライティング種類のそれぞれについての確信度を利用して,検出対象外のライティング種類についての確信度(その他のライティング種類の確信度)を求めるようにしてもよい。
たとえば,逆光の状態で人物を撮影すると,人物部分の画像が暗く,その周囲が明るい画像が得られる。このような画像については,画像処理装置は被写体種類「人物顔」の確信度を低く,「検出対象外」の確信度を高くする可能性がある。このような事実に着目して,ライティング種類についての確信度を算出し,ライティング種類の確信度に基づく重みに応じて算出される補正量を,被写体種類「検出対象外」についての補正値の算出に用いることによって,検出対象外の被写体種類を含む画像について,画像補正の精度を向上させることができる。
第1図は,画像処理システムの全体的構成を示すブロック図である。
第2図は,第1実施例における画像処理装置の電気的構成を示すブロック図である。
第3図は,画像処理装置によって検出される被写体種類の内容,画像例,定義をそれぞれ示す。
第4図は,確信度算出回路,濃度補正値算出回路および濃度補正値統合回路の機能を示す機能ブロック図である。
第5図は,確信度算出メモリの内容を示す。
第6図は,確信度算出メモリの作成の流れを示すフローチャートである。
第7図は,確信度算出メモリに格納される識別ポイントの作成の流れを示す。
第8図は,確信度算出の処理の流れを示すフローチャートである。
第9図は,識別ポイントに基づいて算出される確信度を算出するために用いられる関数の表すグラフである。
第10図は,人物顔についての確信度算出の処理の流れを示すフローチャートである。
第11図は,3つの被写体種類(人物顔,青空,検出対象外)のそれぞれについての確信度,確信度に基づく重みおよび重要度の一例を示す。
第12図は,濃度補正値の統合の様子を示す。
第13図は,画像データ補正回路の詳細を示すブロック図である。
第14図は,第1実施例の変形例における画像処理装置の電気的構成を示すブロック図である。
第15図は,第1実施例の変形例における画像処理装置の電気的構成を示すブロック図である。
第16図は,被写体種類別確信度の修正を受け付ける画面例を示す。
第17図は,第2実施例の画像処理装置の電気的構成を示すブロック図である。
第18図は,第2実施例の画像処理装置において検出されるライティング種類の内容,画像例,定義をそれぞれ示す。
第19図は,確信度算出回路(ライティング種類用),濃度補正量算出回路および被写体種類「検出対象外」用濃度補正値算出回路の機能を示す機能ブロック図である。
第1実施例
第1図は,画像処理システムのハードウエア構成を示すブロック図である。第2図は,画像処理システムを構成する画像処理装置1の電気的構成を,記憶装置4とともに示すブロック図である。
画像処理システムは,画像処理装置1と,画像処理装置1に接続された入力装置2(キーボード,マウス等),表示装置3(CRTディスプレイ,液晶ディスプレイ等),記憶装置4(ハードディスク等)およびプリンタ5から構成されている。
画像処理装置1に接続された記憶装置4には,画像データが記憶されている。記憶装置4から読出された画像データが入力インターフェース(図示略)を介して画像処理装置1に入力される(以下,画像処理装置1に入力する画像データを「入力画像データ」と呼び,入力画像データによって表される画像を「入力画像」と呼ぶ。)。もちろん,記憶装置4に代えて,CD−ROM,DVD−ROM,メモリカードその他の記録媒体に記録された画像データを,画像処理装置1に入力するようにしてもよい。この場合には,画像処理システムの画像処理装置1には,CD−ROMドライブ,DVD−ROMドライブ等が接続される。もちろん,ネットワークを通じて送信された画像データを,画像処理装置1に入力するようにしてもよい。この場合には,画像処理システムの画像処理装置1には,ネットワークを通じて画像データを送受信する送受信装置(モデム等)が接続される。
記憶装置4から読出された入力画像データは,画像処理装置1に含まれる確信度算出回路12,濃度補正値算出回路13および画像補正回路15のそれぞれに与えられる。
確信度算出回路12は,与えられた入力画像データによって表される入力画像中に,あらかじめ定められた複数の被写体種類のそれぞれが,どの程度の割合(確からしさ)で含まれているかを表す確信度を,被写体種類ごとに算出する回路である。確信度算出回路12には,確信度算出用メモリ21および人物顔用パターンデータ・メモリ22が接続されており,これらのメモリ21,22に記憶されたデータが用いられて,確信度算出回路12によって,入力画像データによって表される入力画像中に含まれる被写体種類ごとの確信度が算出される。確信度算出回路12における確信度算出処理,ならびに確信度算出用メモリ21および人物顔用パターンデータ・メモリ22の詳細は後述する。
濃度補正値算出回路13は,入力画像の濃度補正のための値(濃度補正値)を,入力画像データに基づいて算出する回路である。濃度補正値算出回路13では,上述のあらかじめ定められた複数の被写体種類のそれぞれについての目標濃度値が記憶されたメモリ23が接続されている。濃度補正値算出回路13は,メモリ23に記憶されている複数の被写体種類のそれぞれについての目標濃度値に基づいて,被写体種類ごとに濃度補正値を算出する。濃度補正値算出回路13の処理の詳細は後述する。
濃度補正値統合回路14は,上述の濃度補正値算出回路13によって算出された,被写体種類ごとの濃度補正値を,上述した確信度算出回路12において算出された被写体種類ごとの確信度,および入力装置2が用いられて外部から入力される被写体種類ごとの重要度に基づいて統合する回路である。確信度が大きい被写体種類についての濃度補正値が大きく反映され,かつ重要度が大きい被写体種類についての濃度補正値が大きく反映された,統合された濃度補正値が,濃度補正値統合回路14において算出される。濃度補正値統合回路14の処理の詳細は後述する。
画像補正回路15は,濃度補正値統合回路14から出力される統合濃度補正値に基づいて,入力画像データの濃度を補正する回路である。画像補正回路15によって濃度補正された画像データが,出力インターフェース(図示略)を介して画像処理装置1から出力されて表示装置3またはプリンタ5に与えられる。濃度補正後の画像データによって表される画像が表示装置3の表示画面上に表示され,またはプリンタ5から出力される。
第3図は,確信度算出回路12によって識別(検出)され,かつ確信度が算出される被写体の種類と,各被写体種類に対応する画像例と,各被写体種類の定義とを示している。第4図は,確信度算出回路12,濃度補正値算出回路13および濃度補正値統合回路14の機能を示す機能ブロック図である。
この実施例において,確信度算出回路12は,入力画像中に,「人物顔」,「海中」,「高彩度」,「夕景」,「夜景」,「青空」または「ハイキー」の7種類の被写体種類のうちのいずれかの被写体種類を表す画像が含まれているかどうか,および含まれている場合にはどの程度の確度(確信度)で含まれているかどうかを算出する(機能ブロック12a〜12g)。また,確信度算出回路12は,入力画像中に,上記7種類の被写体種類のいずれもが含まれていないことおよびその確信度(被写体種類「検出対象外」についての確信度)を,「人物顔」,「海中」,「高彩度」,「夕景」,「夜景」,「青空」または「ハイキー」の7種類の被写体種類のそれぞれについて算出された確信度を用いて算出する(機能ブロック12h)。すなわち,確信度算出回路12は,入力画像に,「人物顔」,「海中」,「高彩度」,「夕景」,「夜景」,「青空」,「ハイキー」および「検出対象外」の8種類の被写体種類のうちのいずれの被写体種類を表す画像が含まれているかどうかを識別(検出)し,含まれている場合には,それらがどの程度の割合(確信度)で含まれているかどうかを算出する。確信度算出の具体的な処理は後述する。
濃度補正値算出回路13は,入力画像データに基づいて,確信度算出回路12において確信度が算出される被写体種類のそれぞれについての濃度補正値を算出する。すなわち,この実施例においては,濃度補正値算出回路13は,「人物顔」,「海中」,「高彩度」,「夕景」,「夜景」,「青空」,「ハイキー」および「検出対象外」の8種類の被写体種類のそれぞれについての濃度補正値を算出するように構成されている(機能ブロック13a〜13h)。
濃度補正値統合回路14は,濃度補正値算出回路13(機能ブロック13a〜13h)において算出された被写体種類ごとの濃度補正値を,確信度算出回路12(機能ブロック12a〜12h)によって算出された被写体種類ごとの確信度,および入力装置2から入力される被写体種類ごとの重要度にしたがって統合し,一つの濃度補正値(統合濃度補正値)を算出する(機能ブロック14a)。
統合濃度補正値は,入力濃度値に対応する出力濃度値を表す関数式によって表すことができる。統合濃度補正値T(s)(sは入力濃度値:変数)は,次に示す式1によって表される。
T(s)=Σ(SiViTi(s)) ・・・式1
式1において,変数iは,被写体種類「人物顔」,「海中」,「高彩度」,「夕景」,「夜景」,「青空」,「ハイキー」および「検出対象外」を示す。Siは,上述のように画像処理システムのオペレータによって入力装置2が用いられて入力される被写体種類ごとの重要度を表す。Ti(s)は,濃度補正値算出回路13によって得られる被写体種類ごとの濃度補正値を表す。Viは,上述のように確信度算出回路12によって算出される被写体種類ごとの確信度に基づいて得られる,被写体種類ごとの重みを表す。この重みViは次に示す式2によって算出される。
Vi=Pi/Σ(Pi) ・・・式2
式2においても,変数iは,被写体種類「人物顔」,「海中」,「高彩度」,「夕景」,「夜景」,「青空」,「ハイキー」および「検出対象外」を示す。Piは,確信度算出回路12によって算出される被写体種類ごとの確信度を表す。
上述の式1および式2に示すように,統合濃度補正値T(s)は,被写体種類のそれぞれについての確信度の大きさに応じた重みViおよびオペレータによって与えられる被写体種類のそれぞれについての重要度Siを,その被写体種類の濃度補正値Ti(s)に乗算したものを,加算することによって得られる。このため,統合濃度補正値T(s)は,確信度が大きい被写体種類についての濃度補正値が強く反映されたものになり,かつ与えられた(設定された)重要度が大きい被写体種類についての濃度補正値が強く反映されたものになる。
確信度算出回路12の処理の詳細について説明する。
この実施例において確信度が算出される被写体種類「人物顔」,「海中」,「高彩度」,「夕景」,「夜景」,「青空」,「ハイキー」および「検出対象外」の8種類の被写体種類のうち,「人物顔」および「検出対象外」については,他の被写体種類(「海中」,「高彩度」,「夕景」,「夜景」,「青空」または「ハイキー」)とは異なる方法によって確信度が算出される。被写体種類「人物顔」および「検出対象外」についての確信度算出処理についての説明は後述することにし,はじめに被写体種類「海中」,「高彩度」,「夕景」,「夜景」,「青空」および「ハイキー」についての確信度算出処理について説明する。
第5図は,確信度算出回路12による,被写体種類のそれぞれについての確信度の算出(被写体種類「人物顔」および「検出対象外」の確信度を除く)に用いられる確信度算出用メモリ21の内容を示している。
確信度算出用メモリ21には,確信度算出回路12によって確信度が算出される,「人物顔」および「検出対象外」を除く被写体種類(この実施例では,「海中」,「高彩度」,「夕景」,「夜景」,「青空」または「ハイキー」の6種類)のそれぞれに対応して,確信度算出に用いるべき特徴量の種類および各特徴量種類の識別ポイント(複数の識別ポイントの集合)(以下,識別ポイント群という)が格納されている。
確信度算出に用いるべき特徴量の種類としては,一般には,一つの被写体種類に対して,複数の特徴量の種類が対応する。たとえば,第5図を参照して,被写体種類「海中」の確信度算出に用いるべき特徴量の種類として,確信度算出用メモリ21には,「B値平均」,「B値(80%点)−B値(20%点)」および「Cb値70%点」が格納されている。これは,(1)入力画像を構成する画素ごとのB値の平均をとった値(B値平均)と,(2)入力画像を構成する画素ごとのB値の累積ヒストグラムにおいて,その80%点に対応するB値から,その20%点に対応するB値を減算した値(B値(80%点)−B値(20%点))と,(3)入力画像を構成する画素ごとの色差Cb値についての累積ヒストグラムにおいて,その70%点に対応するCb値(Cb値70%点)の3つの特徴量を,被写体種類「海中」についての確信度算出に用いるべき特徴量の種類とすることを表している。
識別ポイント群は,確信度算出のための識別ポイントの集合である。識別ポイント群についての詳細は,次に説明する確信度算出用メモリ21の作成処理において明らかになるであろう。
確信度算出用メモリ21の作成処理について,第6図および第7図を参照して説明する。第6図は確信度算出用メモリ21の作成処理の流れを示すフローチャートである。第7図は,一の特徴量についての識別ポイント群の算出の具体的な流れをヒストグラムを用いて示すものである。
確信度算出用メモリ21には,上述のように,被写体種類「人物顔」および「検出対象外」を除く被写体種類のそれぞれに対応して,確信度算出に用いるべき特徴量の種類と,特徴量の種類のそれぞれに対応する識別ポイント群が格納される。確信度算出用メモリ21の作成は,次に説明する学習処理によって行われる。
被写体種類「海中」を具体例にして,学習処理,すなわち,確信度算出に用いるべき特徴量の種類の算出処理と,各特徴量に対応する識別ポイント群の算出処理について説明する。
学習の対象となる多数のサンプル画像データが用意される。用意される多数のサンプル画像データは,被写体種類が「海中」とされるべきサンプル画像(第3図を参照して,海中色の面積率が50%以上である画像)(以下,「海中サンプル画像」という)と,被写体種類が「海中」ではないとされるべきサンプル画像(海中色が存在しない,または海中色の面積率が50%未満である画像)(以下,「非海中サンプル画像」という)とに区別しておく(第7図の左側にその様子を示す)。
学習の対象となるすべてのサンプル画像(海中サンプル画像および非海中サンプル画像のすべて)について,重みが付与される。はじめに,すべてのサンプル画像に付与される重みが,初期値(たとえば,「1」)に設定される(ステップ31)。
複数の海中サンプル画像が用いられて,一の特徴量についての累積ヒストグラムが作成される(ステップ32;第7図の中央上段に示すヒストグラムの作成)。たとえば,特徴量種類の一つである「B値平均」が選択され,選択された特徴量種類「B値平均」についての累積ヒストグラムが作成される。
同様にして,複数の非海中サンプル画像が用いられて,一の特徴量種類(上述の例の場合,「B値平均」)についての累積ヒストグラムが作成される(ステップ33;第7図の中央下段に示すヒストグラムの作成)。
複数の海中サンプル画像が用いられて作成された一の特徴量種類について累積ヒストグラムと,複数の非海中サンプル画像が用いられて作成された一の特徴量種類についての累積ヒストグラムとが用いられて,対応する特徴量値ごとの頻度値の比の対数値が算出される。算出された対数値をヒストグラムで表したものが,第7図の右側に示すヒストグラム(以下,識別器と呼ぶ)である。識別器は,所定間隔の特徴量値のそれぞれに対応する対数値の集合である。
第7図の右側に示す識別器において,縦軸の値(上述の対数値)が「識別ポイント」(第5図参照)である。後述するように,確信度算出回路12では,与えられる入力画像データについて特徴量を算出し,算出された特徴量に対応する識別ポイントを,識別器(確信度算出用メモリ21)を用いて算出する。正の識別ポイントに対応する特徴量の値を持つ入力画像は,被写体種類を「海中」とすべき可能性が高く,その絶対値が大きいほどその可能性が高いと言える。逆に,負の識別ポイントに対応する特徴量の値を持つ入力画像は,被写体種類が「海中」ではない可能性が高く,その絶対値が大きいほどその可能性が高いと言える。
同様にして,他の特徴量種類,たとえば,G値平均,B値平均,輝度Y平均,色差Cr平均,色差Cb平均,彩度平均,色相平均,複数のn%点,複数の(m%点)−(n%点)等のそれぞれについて,上述の識別器が作成される(ステップ35でNO,ステップ32から34)。複数の特徴量種類のそれぞれに対応する複数の識別器が作成される。
作成された複数の識別器のうち,被写体種類「海中」の画像であることを判断するために最も有効な識別器が選択される(ステップ36)。最も有効な識別器の選択のために,正答率が算出される。正答率は,次に示す式3によって算出される。
正答率=正答サンプル画像数/全サンプル画像数 ・・式3
上述したように,海中サンプル画像および非海中サンプル画像は,それぞれあらかじめ分かっている。たとえば,海中サンプル画像Aについて,一の特徴量が算出され,算出された特徴量に対応する識別ポイントが,上記一の特徴量の種類に対応する識別器によって得られる。この識別ポイントが正の値であれば,その識別器は,海中サンプル画像Aについて正しく判断できたと扱われる(正答サンプル画像)。正答サンプル画像数がインクリメントされる。逆に,海中サンプル画像Bについて算出された一の特徴量に対応する識別ポイントが負の値であれば,その識別器は,海中サンプル画像Bについては正しく判断できなかったと取り扱われる(誤答サンプル画像)。
非海中サンプル画像については,算出された一の特徴量に対応する識別ポイントが負の値であれば,そのサンプル画像について,識別器は正しく判断できたと取り扱われる(正答サンプル画像)。正答サンプル画像数がインクリメントされる。識別ポイントが正の値であれば,正しく判断できなかったと取り扱われる(誤答サンプル画像)。
複数種類の特徴量のそれぞれに対応して作成された複数の識別器のそれぞれについて,上述の正答率が算出され,最も高い正答率を示したものが,最も有効な識別器として選択される。
次に,正答率が,所定の閾値を超えたかどうかが判断される(ステップ37)。正答率が所定の閾値を超えている場合には(ステップ37でYES),選択された識別器を用いれば,被写体種類「海中」を,十分に高い確率で選別できるものとして扱われ,学習処理は終了する。選択された識別器に対応する特徴量種類と,選択された識別器における識別ポイント群(所定間隔の特徴量の値のそれぞれに対応する識別ポイントの集合)が,確信度算出用メモリ21に格納される(ステップ38)。
算出された正答率が所定の閾値以下の場合(ステップ37でNO),以下の処理が行われる。
まず,上述の処理において選択された特徴量種類が,処理対象から除外される(ステップ39)。
続いて,すべてのサンプル画像の重みが更新される(ステップ40)。
サンプル画像の重みの更新では,すべてのサンプル画像のうち,正答結果が得られなかったサンプル画像(誤答サンプル画像)の重みが高くなり,かつ,正答結果が得られたサンプル画像(正答サンプル画像)の重みが低くなるように,各サンプル画像の重みが更新される。これは,選択された識別器では正しく判断できなかった画像を重要視し,それらの画像を正しく判断できるようにするためである。なお,重みの更新は,誤答サンプル画像の重みと,正答サンプル画像の重みとが相対的に変化すればよいので,誤答サンプル画像の重みを高くする更新,または正答サンプル画像の重みを低くする更新のいずれか一方のみであってもよい。
重みが更新されたサンプル画像が用いられて,除外された特徴量種類を除く特徴量種類のそれぞれについて,再度識別器が作成される(ステップ32からステップ35)。
ここで,2回目以降の識別器の作成処理における累積ヒストグラムの作成処理(ステップ32,33)では,各サンプル画像に与えられている重みが用いられる。たとえば,一のサンプル画像に付与されている重みが「2」であるとすると,そのサンプル画像によって作成されるヒストグラム(第7図の中央の上段および下段のヒストグラム)において,頻度がそれぞれ2倍にされる。
新たに作成された識別器のうち,最も有効な識別器が選択される(ステップ36)。2回目以降の最も有効な識別器の選択処理においても,サンプル画像に付与されている重みが用いられる。たとえば,一のサンプル画像の重みが「2」であるとすると,そのサンプル画像について正答結果が得られた場合には,上述の式3において,正答サンプル画像数に「1」ではなく,「2」が加算される。これにより,重みの低いサンプル画像よりも,重みの高いサンプル画像が正しく判別されることに重点が置かれる。
初回の処理において最も有効な識別器として選択された識別器に対する正答率と,2回目の処理において最も有効な識別器として選択された識別器に対する正答率が加算される。加算された正答率が所定の閾値を超えている場合,その2つの識別器が,被写体種類「海中」を識別するための識別器と判断される。
未だ正答率が所定の閾値以下である場合には,さらに同様の処理が繰り返されることになる(ステップ37でNO,ステップ39,40,ステップ32〜36)。
このようにして,被写体種類「海中」について,B値平均,B値(80%点)−B値(20%点),および色差Cbの70%点の3つの特徴量種類に対応する3つの識別器が選択されたときに,ステップ37において正答率が閾値を超えたとすると(ステップ37でYES),これらの3つの識別器が,被写体種類「海中」を識別する識別器として決定される。3つの識別器における,特徴量種類および識別ポイント群が,第5図の上から3行分に示すように,確信度算出用メモリ21に記憶される。
以上の処理が,被写体種類「人物顔」および「検出対象外」を除く被写体種類(この実施例では「海中」,「高彩度」,「夕景」,「夜景」,「青空」または「ハイキー」の6種類)のそれぞれについて行われることにより,確信度算出用メモリ21(第5図)が完成する。
第8図は,確信度算出用メモリ21を用いて,入力画像について,被写体種類「人物顔」および「検出対象外」を除く被写体種類(「海中」,「高彩度」,「夕景」,「夜景」,「青空」または「ハイキー」の6種類)のそれぞれの確信度を算出する処理を示すフローチャートである。被写体種類「人物顔」および「検出対象外」を除く被写体種類(「海中」,「高彩度」,「夕景」,「夜景」,「青空」または「ハイキー」)のそれぞれについての確信度算出処理は,確信度算出回路12において行われる。
記憶装置4から読み出された入力画像データが確信度算出回路12に与えられる(ステップ51)。
一の被写体種類(たとえば,「海中」)についての特徴量種類および識別ポイント群が,確信度算出用メモリ21から読出され,一時記憶メモリ(図示略)に記憶される(ステップ52)。
入力画像データに基づいて,一時記憶メモリに記憶された特徴量種類(複数の特徴量種類のうちのいずれか一つ)についての特徴量が算出される。たとえば,被写体種類「海中」の場合,その確信度の算出のための特徴量種類は,B値平均,B値(80%点)−B値(20%点),および色差Cbの70%点の3つである。これらの3つの特徴量種類のうちの一つ(たとえば,B値平均)が,入力画像データに基づいて算出される(ステップ53)。
算出された特徴量に対応する識別ポイントが,一時記憶メモリに記憶されている識別ポイント群に基づいて決定される(ステップ54)。
一の被写体種類に対応するすべての特徴量種類について,識別ポイントが決定されたかどうかが判断される(ステップ55)。残りの特徴量種類が存在する場合,残りの特徴量種類のうちの一つが選択され,選択された特徴量種類について,上述と同様にして,特徴量が算出され,算出された特徴量に対応する識別ポイントが決定される(ステップ55でNO,ステップ56,ステップ53〜54)。
一の被写体種類に対応するすべての特徴量種類についての識別ポイントが決定されると,決定された識別ポイントが加算される(以下,加算識別ポイントという)(ステップ55でYES,ステップ57)。
上記加算識別ポイントの値および一の被写体種類に対応する特徴量種類の数に応じて,確信度が算出される(ステップ58)。第9図は,確信度の算出に用いられる関数の一例を,グラフによって示すものである。第9図に示す関数に基づいて,加算識別ポイントを特徴量種類の数で除算した値に応じた確信度(0から1までの間の数値)が算出される。算出された一の被写体種類に対する確信度は,一時記憶メモリに記憶される。
上述の処理が,被写体種類「人物顔」および「検出対象外」を除く被写体種類(「海中」,「高彩度」,「夕景」,「夜景」,「青空」または「ハイキー」の6種類)のそれぞれについて行われる(ステップ59でNO,ステップ60)。最終的には,被写体種類「海中」,「高彩度」,「夕景」,「夜景」,「青空」または「ハイキー」のそれぞれについての確信度が,一時記憶メモリに記憶される(ステップ59でYES)(機能ブロック12b〜12g)。
次に,被写体種類「人物顔」についての確信度算出について説明する。
第10図は,被写体種類「人物顔」についての確信度算出のための処理の流れを示すフローチャートである。被写体種類「人物顔」についても確信度算出処理も,確信度算出回路12において行われる。
入力画像データは,上述の「海中」,「高彩度」,「夕景」,「夜景」,「青空」または「ハイキー」のそれぞれについての確信度の算出に用いられたものと同じものが用いられる(ステップ51)。
入力画像データによって表される画像中に,人物顔を表す画像部分が含まれているかどうかが,パターンマッチング(たとえば,典型的な人物顔の濃淡パターンを利用したパターンマッチング)によって検出される(ステップ72)。確信度算出回路12に接続された人物顔用パターンデータ・メモリ22には,複数の大きさのパターンデータが記憶されており,複数のパターンデータのそれぞれが用いられて,入力画像中に人物顔を表す画像部分が含まれているかどうかが検出される。
パターンマッチングによって入力画像中に人物顔が含まれていないことが判断された場合,被写体種類「人物顔」の確信度は「0」と決定される(ステップ73でNO,ステップ77)。
パターンマッチングによって入力画像中に人物顔が含まれていることが判断された場合(ステップ73でYES),パターンマッチングによって人物顔のおおよその中心(たとえば,相対的な座標)とおおよその大きさ(パターンマッチングに用いられたパターンデータの大きさに基づく)が得られる。得られた人物顔のおおよその中心およびおおよその大きさに基づいて,入力画像から,人物顔を含む矩形領域(人物顔を含む可能性が高い矩形領域)が切出される。もちろん,表示装置3の表示画面上に入力画像を表示し,画像処理システムのオペレータが,人物顔を含む矩形領域を指定するようにしてもよい(この場合には,パターンマッチングによる人物顔の検出処理は不要である)。切出された(指定された)矩形領域画像に基づいて,人物顔画像領域の抽出処理が行われる(ステップ74)。
人物顔画像領域の抽出処理には,種々の処理を採用することができる。
たとえば,上記矩形領域を表す画像データに基づいて,同系色の画素の色データ(RGB)を所定値に変換し,これにより肌色および肌色に近い色データを持つ画素,白色および白色に近い色データを持つ画素,黒色および黒色に近い色データを持つ画素等がまとめられた画像データを作成する。その後,エッジが存在しない部分を統合して,統合された画像部分のうち肌色および肌色に近い部分を,人物顔画像領域とする。
上記矩形領域を表す画像データによって表される矩形領域において,その中心から周囲に向かう方向(たとえば,64方向)のそれぞれについてエッジ位置(肌色とそれ以外の色との境界位置)を決定し,決定された64のエッジ位置を結ぶことに規定される領域を,人物顔画像領域とすることもできる。
矩形領域を表す画像データから人物顔画像領域を表す画像データが抽出されると,抽出された人物顔画像領域の円形度が算出される(ステップ75)。円形度は,次に示す式4によって算出される。
円形度=(周囲長L×周囲長L)/面積S ・・式4
上記式4によって算出された円形度に応じた確信度が決定される(ステップ76)。円形度に応じた確信度の決定においては,第9図に示す関数(グラフ)を用いてもよいし,他の関数を用いてもよい。
決定された被写体種類「人物顔」についての確信度も,一時記憶メモリに記憶される(機能ブロック12a)。
なお,入力画像中に複数の人物顔が含まれている場合には,複数の人物顔のそれぞれについての確信度が算出され,その平均が算出される。算出された平均値が,被写体種類「人物顔」についての確信度とされる。
被写体種類「検出対象外」を除くすべての被写体種類(「人物顔」,「海中」,「高彩度」,「夕景」,「夜景」,「青空」および「ハイキー」)のそれぞれについての確信度が算出されると,算出されたこれらの確信度が用いられて,被写体種類「検出対象外」についての確信度が算出される。被写体種類「検出対象外」についての確信度Potは,次に示す式5によって算出される(機能ブロック12h)。
Pot=1−MAX(P,P,・・・,P) ・・・式5
,P,・・・,Pは被写体種類「検出対象外」を除く被写体種類それぞれの確信度を表す。MAX(P,P,・・・,P)はP,P,・・・,Pの中の最大値である。
ここまでの処理によって,入力画像について,すべての被写体種類(「人物顔」,「海中」,「高彩度」,「夕景」,「夜景」,「青空」,「ハイキー」および「検出対象外」)のそれぞれについての確信度(合計8つの確信度)が算出される。
次に,濃度補正値算出回路13の処理について説明する。
濃度補正値算出回路13は,入力画像データに基づいて,被写体種類(「人物顔」,「海中」,「高彩度」,「夕景」,「夜景」,「青空」,「ハイキー」および「検出対象外」)のそれぞれの濃度補正値を求める回路である。なお,上述の確信度算出処理において,確信度が「0」であった被写体種類についての濃度補正値については必ずしも求めなくてもよい。
被写体種類「人物顔」,「海中」,「高彩度」,「夕景」,「夜景」,「青空」および「ハイキー」および「検出対象外」のそれぞれについての濃度補正値の算出について説明する。
(1)被写体種類「人物顔」の濃度補正値の算出(機能ブロック13a)
上述した確信度算出回路12において,入力画像に含まれている(複数の)人物顔画像領域およびそのそれぞれに対応する確信度が求められ,濃度補正値算出回路13に与えられる。濃度補正値算出回路13では,与えられた(複数の)人物顔画像領域およびそのそれぞれに対応する確信度に基づいて,入力画像において人物顔を構成する画素を特定し,かつ対応する確信度で重み付けされた平均濃度を算出する。そして,算出した重み付けされた平均濃度が目標濃度(設定値である)となる補正係数を算出する。算出した補正係数に基づき濃度補正値(入力濃度(0〜4095)のそれぞれに対応する出力濃度(0〜4095)を規定したテーブルまたは関数)を作成する(12ビット濃度スケールの場合)。
(2)被写体種類「海中」の濃度補正値の算出(機能ブロック13b)
入力画像を構成する画素のうち,青色から緑色の色範囲にある画素を検出し,その中から視覚濃度が最小となる濃度を求める。最小視覚濃度が目標濃度(設定値である)となる補正係数を算出し,算出した補正係数に基づき濃度補正値を算出する。なお,視覚濃度とは,C濃度,M濃度,Y濃度を3:6:1に重み付けした濃度であり,明るさに比例した濃度である。
(3)被写体種類「高彩度」の濃度補正値の算出(機能ブロック13c)
入力画像を構成する画素のうち,彩度が最も高い色相を持つ画素を検出し,その中から視覚濃度が最小となる濃度を求める。最小視覚濃度が目標濃度(設定値である)となる補正係数を算出し,算出した補正係数に基づき濃度補正値を算出する。
(4)被写体種類「夕景」の濃度補正値の算出(機能ブロック13d)
入力画像が夕景画像である場合,オレンジ色の色範囲に属する色を持つ画素が入力画像には存在する。オレンジ色の色範囲を持つ画素を検出し,その中から視覚濃度が最小となる濃度を求める。最小視覚濃度が目標濃度(設定値である)となる補正係数を算出し,算出した補正係数に基づき濃度補正値を算出する。
(5)被写体種類「夜景」の濃度補正値の算出(機能ブロック13e)
入力画像が夜景画像である場合,濃度の低い画素(ハイライト部分)と,濃度の高い画素(シャドウ部分)が存在する。最小濃度がハイライトの目標濃度(設定値である)となり,かつ,最大濃度がシャドウの目標濃度(設定値である)となる濃度補正値を算出する。
(6)被写体種類「青空」の濃度補正値の算出(機能ブロック13f)
入力画像が青空画像である場合,シアンブルーの色範囲に属する色を持つ画素が入力画像に存在する。シアンブルーの色範囲に属する色を持つ画素を検出し,その中から視覚濃度が最小となる濃度を求める。最小視覚濃度が目標濃度(設定値である)となる補正係数を算出し,算出した補正係数に基づき濃度補正値を算出する。
(7)被写体種類「ハイキー」の濃度補正値の算出(機能ブロック13g)
入力画像がハイキー画像である場合,白色の色範囲に属する色を持つ画素が入力画像に存在する。白色の色範囲に属する色を持つ画素を検出し,その中からC,M,Yの中の視覚濃度が最小となる濃度を求める。この最小濃度が目標濃度(設定値である)となる補正係数を算出し,算出した補正係数に基づき濃度補正値を算出する。
(8)被写体種類「検出対象外」の濃度補正値の算出(機能ブロック13h)
入力画像を構成するすべての画素の視覚濃度を算出し,その平均値が目標濃度(設定値である)となる補正係数を算出し,算出した補正係数に基づき濃度補正値を算出する。
各被写体種類についての濃度補正値の算出方法は,上述したものに限られるものでないことは言うまでもない。たとえば,被写体種類「人物顔」について言えば,人物顔を構成する画素の平均濃度以外に,最小濃度および最大濃度を算出(検出)し,平均濃度,最小濃度および最大濃度のそれぞれが,対応する目標濃度(目標平均濃度,目標最小濃度および目標最大濃度)となる補正関数を算出し,算出した補正関数を,濃度補正値としてもよい。濃度補正値は,グラフによって表した場合には,直線状のものであってもよいし,曲線状のものであってもよい。
濃度補正値算出回路13によって算出された複数の被写体種類のそれぞれについての濃度補正値Ti(s),確信度算出回路12において算出された複数の被写体種類のそれぞれについての確信度Pi,および入力装置2が用いられて入力された被写体種類のそれぞれについての重要度Siが,濃度補正値統合回路14に与えられる。上述した式1,式2によって,濃度補正値統合回路14において統合濃度補正値T(s)が算出される(機能ブロック14a)。
濃度補正値統合回路14における統合濃度補正値の作成について,第11図および第12図を参照して具体的に説明しておく。
たとえば,入力画像から得られた確信度が,被写体種類「人物顔」について0.6,「青空」について0.1,その他の被写体種類についての確信度が0であった場合,上記式5により,「検出対象外」についての確信度は0.4となる(第11図)。上記の式2によって,被写体種類「人物顔」の重みVfa(=0.55),「青空」の重みVbs(=0.09),「検出対象外」の重みVot(=0.36)が,それぞれ算出される。また,画像処理システムのオペレータによって,被写体種類「人物顔」,「青空」および「検出対象外」のそれぞれについての重要度Sfa,Sbs,Sotが入力される。ここでは,「人物顔」の重要度Sfa=0.6,「青空」の重要度Sbs=0.1,「検出対象外」の重要度Sot=0.3とする。
入力画像から得られた確信度に基づいて算出された被写体種類「人物顔」,「青空」および「検出対象外」のそれぞれについての重みVfa,Vbs,Votと,オペレータによって入力された被写体種類「人物顔」,「青空」および「検出対象外」のそれぞれについての重要度Sfa,Sbs,Sotが,上述した式1にしたがって,被写体種類「人物顔」,「青空」および「検出対象外」のそれぞれの濃度補正値(Tfa(s),Tbs(s),Tot(s)))(第12図の左側に,グラフによって濃度補正値Tfa(s),Tbs(s),Tot(s)を示す)に乗算される。その加算結果が統合濃度補正T(s)とされる(第12図の右側に,グラフによって統合濃度補正値T(s)を示す)。なお,第12図の左側に示す被写体種類「人物顔」および「青空」の濃度補正値Tfa(s),Tbs(s)のグラフにおいて,入力濃度値(s)に対応する出力濃度値(Tfa(s),Tbs(s))の値が負の値(レベル)をとっている部分があるが,これは画像を明るくする方向に濃度補正値を算出するように目標値を設定していることによるものである。最終的に得られる統合濃度補正値T(s)においては,出力濃度値が0〜4095のいずれかの濃度レベルになるように,出力濃度値が負の値をとる部分についてはクリッピングされる(第12図の右側の統合濃度補正値(T(s))のグラフ参照)。
このようにして作成された統合濃度補正値T(s)が用いられて,画像補正回路15において,入力画像データが補正される。
第13図は画像補正回路15の機能ブロック図を示している。
画像補正回路15には,上述した確信度算出回路12および濃度補正値算出回路13に与えられた入力画像データと同じ入力画像データが与えられる。
縮小処理が行われる(機能ブロック81)。縮小処理は,画素数の大きい画像の画素数を少なくすることによって,次に行われる濃度変換処理,濃度補正処理およびRGB変換処理の処理時間を短縮するために行われる。なお,この縮小処理は,濃度補正後の画像データを縮小して出力する場合に処理が行われる。濃度補正後の画像データを拡大して出力する場合には,縮小処理は行われない。
縮小された入力画像を構成する画素のそれぞれについての濃度が算出される(機能ブロック82)。
上述した統合濃度補正値T(s)が用いられて,縮小処理された画像における各画素の濃度が補正される(機能ブロック83)。
補正後の濃度に基づいて,入力画像の画素ごとのRGB値が算出(変換)される(機能ブロック84)。最後に,拡大処理が行われる(機能ブロック85)。なお,拡大処理は,濃度補正後の画像を拡大して出力する場合に行われる。濃度補正後の画像データを縮小して出力する場合には,拡大処理は行われない。
画像補正回路15から出力された濃度補正後の画像データが,画像処理装置1から出力される。出力された補正後の画像データはプリンタ5に与えられてプリントされる。必要に応じて表示装置3に与えられて表示画面上に表示される。もちろん,補正後画像データを,記憶装置4に記憶してもよいのは言うまでもない。
このように,画像処理装置1では,入力画像データによって表される画像に含まれる被写体種類が自動的に識別(検出)され,識別された被写体種類のそれぞれの確信度が算出され,算出された確信度およびオペレータが入力する重要度に基づいて,統合濃度補正値T(s)が算出される。算出された統合濃度補正値T(s)にしたがった濃度補正処理が行われる。統合濃度補正値T(s)は,入力画像中に存在する被写体種類の確信度に応じて算出されるものであるので,たとえば,2つの被写体種類が存在するような画像であっても,適切な濃度補正を実現することができる。
変形例1
第14図は,第1実施例の変形例における画像処理装置1の電気的構成を示すブロック図である。画像処理装置1に含まれる確信度算出回路12に,被写体種類指定データが入力される点が,第2図に示す画像処理装置1と異なっている。
被写体種類指定データは,画像処理装置1によって識別される被写体種類のうち,いずれの被写体種類を識別するか(確信度を算出するか)を指定するためのデータであり,画像処理システムのオペレータによって入力装置2が用いられて入力され,確信度算出回路12に与えられる。
画像処理装置1に与えられる入力画像データによって表される入力画像に,たとえば,被写体種類「夜景」が含まれていないことがあらかじめ分かっている場合,被写体種類「夜景」についての確信度および濃度補正値を算出する必要はない。この場合には,被写体種類「夜景」の除く他の被写体種類を指定するデータが,被写体種類指定データとされる。指定された被写体種類について,確信度算出回路12において確信度がそれぞれ算出される。指定されなかった被写体種類についての確信度および濃度補正値の算出は行われない。確信度算出回路12における確信度算出処理の処理時間,および濃度補正値算出回路13における濃度補正値算出処理の処理時間を短くすることができる。また,上述の例の場合,被写体種類「夜景」についての濃度補正値が,統合濃度補正値T(s)に統合されることはない。被写体種類「夜景」が存在しないにも関わらず被写体種類「夜景」についての確信度が得られてしまうような画像の場合に,特に補正精度を向上させることができる。
確信度を算出しない被写体種類の指定データを,確信度算出回路12に与えるようにしてもよい。この場合には,指定された被写体種類を除く被写体種類のそれぞれについて,確信度算出回路12において確信度がそれぞれ算出される。指定された被写体種類についての確信度の算出(濃度補正値算出回路13における濃度補正値の算出も)は行われない。
被写体種類指定データの受付においては,画像処理装置1において識別(確信度算出)可能な被写体種類を直接指定することに代えて,たとえば「証明写真」のような別の表現による指定を受け付けるようにしてもよい。証明写真は人物顔のみの被写体種類であるので,入力画像が「証明写真」であることが受付けられると,画像処理装置1では,被写体種類「人物顔」についてのみ確信度を算出し,かつ濃度補正値を算出する(もちろん,一種類の被写体種類のみが指定された場合には,その被写体種類についての確信度を最大値にしてもよい)。また,一種類の被写体種類のみが指定された場合には,統合濃度補正値は指定された被写体種類についての濃度補正値と等しくなる。
変形例2
第15図は,第1実施例の他の変形例における画像処理装置1の電気的構成を示すブロック図である。画像処理装置1に含まれる確信度算出回路12に,被写体種類別確信度データが入力される点が,第14図に示す画像処理装置と異なっている。
処理対象の画像データによって表される画像があらかじめ分かっている場合(画像処理システムのオペレータによって,処理対象の画像があらかじめ把握されている場合)に,被写体種類別確信度データが,画像処理システムのオペレータによって入力装置2が用いられて入力され,確信度算出回路12に与えられる。
処理対象の入力画像が,背景が青空であり,かつ前景が人物の画像であることが分かっているとする。この場合,たとえば,人物顔確信度0.5,青空確信度0.5が,被写体種類別確信度データとして入力装置2から入力される。確信度算出回路12は,入力された確信度(上述の場合,人物顔確信度および青空確信度)をそのまま出力し,確信度算出処理を行わない。確信度算出処理が行われないので確信度算出処理の処理時間が必要とされず,画像補正処理の処理時間が短縮される。
変形例3
確信度算出回路12によって算出された被写体種類別確信度を,処理対象の画像とともに表示画面上に表示し,オペレータによる被写体種類別確信度の修正を受け付けるようにしてもよい。第16図は被写体種類別確信度の修正を受付ける画面の一例を示す。表示画面および入力装置2が用いられて,確信度算出回路12によって算出された被写体種類別確信度のそれぞれの修正が受付けられる。この場合には,オペレータによって修正された被写体種類別確信度が,確信度算出回路12から出力される。
第2実施例
第17図は,第2実施例における画像処理装置1Aの電気的構成を示すブロック図である。第2図に示す第1実施例の画像処理装置1とは,確信度算出回路16,濃度補正量算出回路17,被写体種類「検出対象外」用濃度補正値算出回路18,メモリ24,25がさらに設けられている点が異なる。また,後述するように,被写体種類についての濃度補正値算出回路13Aにおける処理が,第1実施例とは異なる。
第2実施例における画像処理装置1Aでは,被写体種類についての濃度補正値算出回路13Aにおいて,被写体種類「検出対象外」についての濃度補正値は算出されない。この点において,第2実施例の濃度補正値算出回路13Aは,第1実施例の濃度補正値算出回路13と異なっている。被写体種類「検出対象外」についての濃度補正値の算出に,確信度算出回路(ライティング種類用)16,濃度補正量算出回路17,被写体種類「検出対象外」用濃度補正値算出回路18,メモリ24,25が用いられる。
入力画像データによって表される画像の中には,屋外のような標準的なライティング条件下だけでなく,「逆光」,「近接ストロボ」,「タングステン」等,標準的でないライティング条件下で撮像される画像もある。標準的でないライディング条件下では,被写体用の確信度算出回路は,必ずしも被写体種類を正しく識別することができず,被写体種類「検出対象外」の確信度を高くしてしまうことがある。
たとえば,逆光の状態で人物を撮影すると,人物部分の画像が暗く,その周囲が明るい画像が得られる。このような画像については,画像処理装置1は被写体種類「人物顔」の確信度を低く,被写体種類「検出対象外」の確信度を高くする可能性がある。第2実施例の画像処理装置1Aは,このような事実に着目して,第1実施例の画像処理装置1に加えて,さらにライティング種類を識別し,かつ第1実施例と同様に,ライティング種類のそれぞれについての確信度を算出することによって,ライティング種類に応じて,被写体種類「検出対象外」の確信度を持つ画像の濃度補正の精度を向上させるものである。
画像処理装置1Aに含まれる確信度算出回路(ライティング種類用)16において,入力画像データによって表される入力画像のライティング種類が識別され,その確信度が算出される。
第18図は,確信度算出回路(ライティング種類用)16によって識別(検出)され,かつ確信度が算出されるライティング種類と,各ライティング種類に対応する画像例と,各ライティング種類の定義とを示している。第19図は,確信度算出回路(ライティング種類用)16,濃度補正量算出回路17および被写体種類「検出対象外」用濃度補正値算出回路18の機能を示す機能ブロック図である。
確信度算出回路(ライティング種類用)16では,ライティング種類「逆光」,「近接ストロボ」および「タングステン」について,上述した被写体種類についての確信度算出回路12と同様にして,確信度(ライティング確信度)がそれぞれ算出される(第17図の機能ブロック16a〜16c)。すなわち,ライティング種類「逆光」,「近接ストロボ」および「タングステン」のそれぞれについて学習処理を行い,複数の特徴量種類のそれぞれ(たとえば,画像の中央部分の平均濃度値,画像の周辺部分の平均濃度値,画像の中央部分と画像の周辺部分の平均濃度値の差など)について,識別器を作成する。作成された複数の識別器の中から,各ライティング種類の画像を識別するのに適切な特徴量種類に対応する識別器が選択される。選択された識別器に対応する特徴量種類と,識別ポイント群が,確信度算出回路(ライティング種類用)16に接続されたメモリ24(以下,ライティング確信度算出用メモリ24)に格納される。ライティング確信度算出用メモリ24が用いられて,入力画像データから得られる特徴量に対応する識別ポイントが算出され,識別ポイント(または加算識別ポイント)に応じた確信度(ライティング確信度)が得られる。
さらに,ライティング種類「逆光」,「近接ストロボ」および「タングステン」以外のライティング種類(以下,ライティング種類「その他」とする)についてのライティング確信度も,第1実施例の被写体種類「検出対象外」についての確信度の算出と同じように,ライティング種類「逆光」,「近接ストロボ」および「タングステン」のそれぞれの確信度が用いられて算出される(機能ブロック16d)。ライティング種類「検出対象外」についての確信度Qotは,次に示す式6によって算出される。
Qot=1−MAX(Q,Q,Q) ・・・・式6
ここでQ,Q,Qは,ライティング種類「その他」を除く,ライティング種類それぞれの確信度を表す。MAX(Q,Q,Q)はQ,Q,Qのうちの最大値である。
次に,濃度補正量算出回路17について説明する。
濃度補正量算出回路17は,入力画像データに基づいて,ライティング種類「逆光」,「近接ストロボ」,「タングステン」および「その他」)のそれぞれの濃度補正量を求める回路である。なお,上述のライティング確信度算出処理において,確信度が「0」であったライティング種類についての濃度補正量については必ずしも求めなくてもよい。
ライティング種類「逆光」,「近接ストロボ」,「タングステン」および「その他」のそれぞれの濃度補正量Tbl,Tst,Ttg,Totは,それぞれ次式によって算出される。
Tbl=a+a+a+・・・・
Tst=b+b+b+・・・・
Ttg=c+c+c+・・・・ ・・式7
Tot=d+d+d+・・・・
式7は,いずれも重回帰分析による回帰式である。X,Y,Z,A(m=1,2,3,・・)がそれぞれライティング種類「逆光」,「近接ストロボ」,「タングステン」および「その他」についての特徴量であり,a,b,c,d(n=1,2,3,・・・)はそれぞれ偏回帰係数を表す。
ライティング種類「逆光」,「近接ストロボ」,「タングステン」および「その他」の代表として,ライティング種類「逆光」についての濃度補正量の算出式(Tbl=a+a+a+・・・・)について説明する。
まず,ライティング種類が「逆光」である多数の画像データを用意し,その多数の画像データを用いて,「逆光」の特徴を示す特徴量,たとえば,画像中央の平均濃度値,画像周辺の平均濃度値,画像中央の濃度値と画像周辺の平均濃度値との差などを求める。また,目標値である濃度補正量をあらかじめ設定しておく。この特徴量の種類としては,ライティング種類についての確信度算出処理において用いられるライティング確信度算出用メモリ24に記憶されているものと同じものを用いることができる。
偏回帰係数a,b,c,d・・・を未知数として重回帰分析を行い,偏回帰係数a,b,c,d・・・をそれぞれ決定する。決定された偏回帰係数a,b,c,d・・・が偏回帰係数メモリ25に記憶される。
上述のようにして偏回帰係数メモリ25に記憶された偏回帰係数a,b,c,d・・・と,入力画像データから得られた特徴量X,X,X,X・・・とが用いられて,式7にしたがって,入力画像データについてのライティング種類「逆光」についての濃度補正量Tblが決定される(機能ブロック17a)。
他のライティング種類,「近接ストロボ」,「タングステン」および「その他」についても,同様にして偏回帰係数b,c,d(n=1,2,3,・・・)を偏回帰係数メモリ25に記憶しておくのは言うまでもない。偏回帰係数メモリ25に記憶された偏回帰係数が用いられて,式7に基づいて,「近接ストロボ」,「タングステン」および「その他」についての濃度補正量Tst,Ttg,Totが,濃度補正算出回路17においてそれぞれ算出される(機能ブロック17b〜17d)。
濃度補正量算出回路17において算出されたライティング種類「逆光」,「近接ストロボ」,「タングステン」および「その他」のそれぞれの濃度補正量Tbl,Tst,Ttg,Tot,ならびにライティング確信度算出回路16によって算出されたライティング種類「逆光」,「近接ストロボ」,「タングステン」および「その他」のそれぞれのライティング確信度(それぞれ,Qbl,Qst,Qtg,Qotとする)が,被写体種類「検出対象外」用濃度補正値算出回路18に与えられる。
被写体種類「検出対象外」用濃度補正値算出回路18において,被写体種類「検出対象外」の濃度補正値Tot(s)は,次に示す式8によって算出される(機能ブロック18a)。
Tot(s)=s+WblTbl+WstTst+WtgTtg+WotTot ・・式8
上述の式8において,変数sは入力濃度値であり,Wbl,Wst,Wtg,Wotは,ライティング種類「逆光」,「近接ストロボ」,「タングステン」,「その他」のそれぞれの確信度に基づく重みである。Tbl,Tst,Ttg,Totは,ライティング種類「逆光」,「近接ストロボ」および「タングステン」,「その他」のそれぞれの濃度補正量を表す。
式8におけるライティング種類「逆光」,「近接ストロボ」,「タングステン」および「その他」のそれぞれの重みWbl,Wst,Wtg,Wotは,次式によって算出される。
Wr=Qr/Σ(Qr) ・・・式9
式9において,変数rは,ライティング種類「逆光」,「近接ストロボ」,「タングステン」,「その他」のそれぞれについてのものであることを表す。
式8によって求められた被写体種類「検出対象外」についての濃度補正値Totが,第1実施例における式1に用いられる。ライティング確信度が反映された統合濃度補正値T(s)が算出される。
算出された統合濃度補正値T(s)が用いられて,画像補正回路15において,入力画像データの濃度が補正される点については,第1実施例と同じである。
第2実施例では,上述のように,入力画像中に被写体種類「検出対象外」が存在する場合に,ライティング種類の確信度(確信度に基づく重み)に応じた検出対象外用の濃度補正値が算出され,算出された濃度補正値が統合濃度補正値に反映される。ライティング種類に応じた濃度補正が実現される。
第2実施例においても,第1実施例の変形例1と同様に,ライティング確信度を決定すべきライティング種類を指定する(制限する)ようにしてもよい。指定されたライティング種類ついてのみ確信度および濃度補正量が算出されるので,ライティング確信度算出回路16の処理時間を短くすることができる。たとえば,携帯電話を用いて撮影された画像には,携帯電話にストロボの装備がないので,近接ストロボのライティング条件下の画像はない。このような場合には,「逆光」,「タングステン」および「その他」のライティング種類が指定される。「近接ストロボ」についての確信度および濃度補正量は算出されない。
また,第1実施例の変形例2と同様に,オペレータによるライティング種類別確信度の入力を受け付けるようにしてもよい。この場合には,オペレータによって入力されたライティング種類別確信度が,ライティング種類用確信度算出回路16からそのまま出力される。ライティング種類用確信度算出回路16における確信度算出処理は行われない。
さらに,第1実施例の変形例3と同様に,ライティング種類用確信度算出回路16によって算出されたライティング種類別確信度を,処理対象の画像とともに表示画面上に表示し,オペレータによるライティング種類別確信度の修正を受け付けるようにしてもよい。オペレータによって修正されたライティング種類別確信度が,ライティング種類用確信度算出回路16から出力される。
上述した第1,第2実施例では,被写体種類ごとに濃度補正値(濃度階調補正値)を算出し,算出される被写体種類ごとの確信度(確信度に基づく重み)および入力される重要度に応じて統合濃度補正値を算出しているが,濃度補正値に代えて,または加えて,C,M,Y濃度のホワイトバランスを変えたCMY濃度補正値,入力彩度に対して出力彩度を対応させた彩度階調補正値,その他の階調補正値を算出し,統合CMY濃度補正値,統合彩度階調補正値等を算出してもよい。この場合には,統合CMY濃度補正値,統合彩度階調補正値が用いられて,入力画像データが補正される。
画像処理裝置1,1Aは,上述したようにハードウエア回路によって実現することもできるし,その一部または全部をソフトウエア(プログラム)によって実現することもできる。

Claims (8)

  1. 与えられる画像データによって表される画像中に,あらかじめ定められた複数の被写体種類を表す画像が,それぞれどの程度の確度で含まれているかを表す確信度を,上記画像データから得られる特徴量に基づいて,定められた被写体種類ごとに算出する被写体種類別確信度算出手段,
    上記画像データに基づいて,上記複数の被写体種類のそれぞれについての補正値を算出する被写体種類別補正値算出手段,
    上記被写体種類別確信度算出手段によって算出された複数の被写体種類のそれぞれについての被写体種類別確信度に応じた重みにより,対応する被写体種類について上記被写体種類別補正値算出手段によって算出された補正値をそれぞれ重み付けし,重み付けによって得られる被写体種類ごとの値を統合した統合補正値を算出する補正値統合手段,および
    上記画像データを,上記補正値統合手段によって算出された統合補正値を用いて補正する画像データ補正手段,
    を備えた画像処理装置。
  2. 上記被写体種類別補正値算出手段は,
    上記被写体種類別確信度算出手段において算出された確信度が所定値以下である被写体種類については,その被写体種類についての補正値を算出しないものである,
    請求の範囲第1項に記載の画像処理装置。
  3. 被写体種類指定手段をさらに備え,
    上記被写体別確信度算出手段は,
    上記被写体種類指定手段によって指定された被写体種類,または被写体種類指定手段によって指定された被写体種類以外の被写体種類について,被写体種類別確信度を算出するものであり,
    上記被写体種類別補正値算出手段は,
    上記被写体種類指定手段によって指定された被写体種類,または被写体種類指定手段によって指定された被写体種類以外の被写体種類について,被写体種類別補正値を算出するものである,
    請求の範囲第1項に記載の画像処理装置。
  4. 上記補正値統合手段は,
    複数の被写体種類のそれぞれについて,与えられるまたはあらかじめ設定される重要度と,対応する被写体種類について上記被写体種類別確信度算出手段によって算出された被写体種類別確信度と,対応する被写体種類について上記被写体種類別補正値算出手段によって算出された補正値とを乗算し,乗算によって得られる被写体種類ごとの値を統合した統合補正値を算出するものである,
    請求の範囲第1項に記載の画像処理装置。
  5. 上記画像データによって表される画像が,あらかじめ定められた複数のライティング種類のそれぞれについて,どの程度の確度でそのライティング種類の下で撮影されたかを表すライティング確信度を,上記画像データから得られる特徴量に基づいて,定められたライティング種類ごとに算出するライティング種類別確信度算出手段,
    上記画像データに基づいて,定められた複数のライティング種類のそれぞれについての補正量を算出するライティング種類別補正量算出手段,および
    上記ライティング種類別確信度算出手段によって算出されたライティング種類ごとのライティング確信度に応じた重みにより,対応するライティング種類について上記ライティング種類別補正量算出手段によって算出された補正量をそれぞれ重み付けし,重み付けによって得られるライティング種類ごとの値を加算して補正量を算出する補正量算出手段をさらに備え,
    上記あらかじめ定められた複数の被写体種類は,検出可能な複数の被写体種類と,検出対象外の被写体種類とを含むものであり,
    上記補正値統合手段は,
    検出対象外の被写体種類の補正値として,上記補正量算出手段によって算出された補正量を補正すべき入力値に加算した値を用いる,
    請求の範囲第1項に記載の画像処理装置。
  6. ライティング種類指定手段をさらに備え,
    上記ライティング種類別確信度算出手段は,
    上記ライティング種類指定手段によって指定されたライティング種類,またはライティング種類指定手段によって指定されたライティング種類以外のライティング種類について,ライティング種類別確信度を算出するものであり,
    上記ライティング種類別補正量算手段は,
    上記ライティング種類指定手段によって指定されたライティング種類,またはライティング種類指定手段によって指定されたライティング種類以外のライティング種類について,ライティング種類別補正量を算出するものである,
    請求の範囲第5項に記載の画像処理装置。
  7. 与えられる画像データによって表される画像中に,あらかじめ定められた複数の被写体種類を表す画像が,それぞれどの程度の確度で含まれているかを表す確信度を,受付けた画像データから得られる特徴量に基づいて,定められた被写体種類ごとに算出し,
    上記画像データに基づいて,上記複数の被写体種類のそれぞれについての補正値を算出し,
    算出した複数の被写体種類のそれぞれについての被写体種類別確信度に応じた重みにより,対応する被写体種類について算出された補正値をそれぞれ重み付けし,重み付けによって得られる被写体種類ごとの値を統合した統合補正値を算出し,
    上記画像データを,算出された上記統合補正値を用いて補正する,
    画像処理方法。
  8. 与えられる画像データによって表される画像中に,あらかじめ定められた複数の被写体種類を表す画像が,それぞれどの程度の確度で含まれているかを表す確信度を,受付られた画像データから得られる特徴量に基づいて,定められた被写体種類ごとに算出する被写体種類別確信度算出処理,
    上記画像データに基づいて,上記複数の被写体種類のそれぞれについての補正値を算出する被写体種類別補正値算出処理,
    算出した複数の被写体種類のそれぞれについての被写体種類別確信度に応じた重みにより,対応する被写体種類について算出された補正値をそれぞれ重み付けし,重み付けによって得られる被写体種類ごとの値を統合した統合補正値を算出する補正値統合処理,および
    上記画像データを,上記補正値統合処理によって得られた統合補正値を用いて補正する画像データ補正処理,
    をコンピュータに実行させるプログラム。
JP2006537861A 2004-09-30 2005-09-30 画像処理装置および方法,ならびに画像処理プログラム Active JP4549352B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004285681 2004-09-30
JP2004285681 2004-09-30
PCT/JP2005/018577 WO2006036027A1 (ja) 2004-09-30 2005-09-30 画像処理装置および方法、ならびに画像処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2006036027A1 true JPWO2006036027A1 (ja) 2008-05-15
JP4549352B2 JP4549352B2 (ja) 2010-09-22

Family

ID=36119139

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006537861A Active JP4549352B2 (ja) 2004-09-30 2005-09-30 画像処理装置および方法,ならびに画像処理プログラム

Country Status (5)

Country Link
US (1) US7894673B2 (ja)
EP (1) EP1802096B1 (ja)
JP (1) JP4549352B2 (ja)
CN (1) CN100559826C (ja)
WO (1) WO2006036027A1 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8111940B2 (en) 2004-09-30 2012-02-07 Fujifilm Corporation Image correction apparatus and method, and image correction program
US8761532B2 (en) * 2007-02-20 2014-06-24 Xerox Corporation Method and system for the selective application of automatic image enhancement to digital images
JP4992519B2 (ja) * 2007-04-02 2012-08-08 セイコーエプソン株式会社 情報処理方法、情報処理装置及びプログラム
JP2009004887A (ja) * 2007-06-19 2009-01-08 Noritsu Koki Co Ltd 画像補正方法と画像補正装置
US8159716B2 (en) * 2007-08-31 2012-04-17 Brother Kogyo Kabushiki Kaisha Image processing device performing image correction by using a plurality of sample images
US8174731B2 (en) 2007-08-31 2012-05-08 Brother Kogyo Kabushiki Kaisha Image processing device outputting image for selecting sample image for image correction
JP4793356B2 (ja) * 2007-08-31 2011-10-12 ブラザー工業株式会社 画像処理装置及び画像処理プログラム
US8094343B2 (en) * 2007-08-31 2012-01-10 Brother Kogyo Kabushiki Kaisha Image processor
JP4433017B2 (ja) * 2007-08-31 2010-03-17 ブラザー工業株式会社 画像処理装置及び画像処理プログラム
JP4442664B2 (ja) 2007-08-31 2010-03-31 ブラザー工業株式会社 画像処理装置、画像処理方法、画像処理プログラム
JP5440173B2 (ja) * 2007-10-26 2014-03-12 日本電気株式会社 画像補正方法及び画像補正装置並びにプログラム
JP4998794B2 (ja) * 2007-11-29 2012-08-15 Nkワークス株式会社 画像補正方法と画像補正装置
JP5148989B2 (ja) 2007-12-27 2013-02-20 イーストマン コダック カンパニー 撮像装置
JP5132445B2 (ja) * 2008-06-25 2013-01-30 キヤノン株式会社 画像処理装置および画像処理方法並びにコンピュータプログラムおよび記憶媒体
JP5164692B2 (ja) * 2008-06-27 2013-03-21 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
JP4772839B2 (ja) * 2008-08-13 2011-09-14 株式会社エヌ・ティ・ティ・ドコモ 画像識別方法および撮像装置
CN101895684B (zh) * 2009-05-22 2012-11-28 奥林巴斯映像株式会社 摄影条件控制装置、照相机以及摄影条件控制方法
US8331684B2 (en) * 2010-03-12 2012-12-11 Sony Corporation Color and intensity based meaningful object of interest detection
JP5574816B2 (ja) 2010-05-14 2014-08-20 キヤノン株式会社 データ処理装置及びデータ処理方法
JP5618670B2 (ja) * 2010-07-21 2014-11-05 キヤノン株式会社 データ処理装置及びその制御方法
JP5578328B2 (ja) * 2011-05-31 2014-08-27 コニカミノルタ株式会社 画像読取装置
KR102093647B1 (ko) * 2013-02-22 2020-03-26 삼성전자 주식회사 카메라를 구비하는 장치의 이미지 촬영장치 및 방법
KR101497933B1 (ko) * 2013-08-19 2015-03-03 현대모비스(주) 클러스터링 기법을 이용한 다수 영상의 합성 시스템 및 방법
CN105450923A (zh) * 2014-09-25 2016-03-30 索尼公司 图像处理方法、图像处理装置以及电子设备
WO2016046664A1 (en) * 2014-09-25 2016-03-31 Sony Corporation Image processing method, image processing apparatus and electronic device
US11395020B2 (en) * 2016-09-08 2022-07-19 Telefonaktiebolaget Lm Ericsson (Publ) Bitrate control in a virtual reality (VR) environment
JP6937603B2 (ja) * 2017-04-21 2021-09-22 キヤノン株式会社 画像処理装置およびその制御方法、プログラム、並びに記憶媒体
US10970552B2 (en) * 2017-09-28 2021-04-06 Gopro, Inc. Scene classification for image processing
KR102540450B1 (ko) * 2018-03-26 2023-06-05 후아웨이 테크놀러지 컴퍼니 리미티드 지능형 어시스턴트 제어 방법 및 단말기 장치
CN108737797B (zh) * 2018-08-17 2020-03-27 Oppo广东移动通信有限公司 白平衡处理方法、装置和电子设备
CN109451292B (zh) * 2018-12-15 2020-03-24 深圳市华星光电半导体显示技术有限公司 图像色温校正方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0832838A (ja) * 1994-07-21 1996-02-02 Matsushita Electric Ind Co Ltd 階調補正方法および階調補正装置
JP2000196890A (ja) * 1998-12-28 2000-07-14 Fuji Photo Film Co Ltd 画像処理方法および装置並びに記録媒体
JP2001076149A (ja) * 1999-09-06 2001-03-23 Fuji Photo Film Co Ltd 主要被写体抽出方法および装置
JP2002218480A (ja) * 2001-01-23 2002-08-02 Minolta Co Ltd 画像撮影装置
JP2004240622A (ja) * 2003-02-05 2004-08-26 Konica Minolta Holdings Inc 画像処理方法、画像処理装置及び画像処理プログラム
JP2004246673A (ja) * 2003-02-14 2004-09-02 Fuji Photo Film Co Ltd 顔画像処理装置及びシステム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5715377A (en) 1994-07-21 1998-02-03 Matsushita Electric Industrial Co. Ltd. Gray level correction apparatus
JP3461626B2 (ja) * 1995-07-28 2003-10-27 シャープ株式会社 特定画像領域抽出方法及び特定画像領域抽出装置
JP2923894B1 (ja) * 1998-03-31 1999-07-26 日本電気株式会社 光源判定方法、肌色補正方法、カラー画像補正方法、光源判定装置、肌色補正装置、カラー画像補正装置及びコンピュータ読み取り可能な記録媒体
JP4154847B2 (ja) * 2000-09-26 2008-09-24 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体
JP4197858B2 (ja) * 2001-08-27 2008-12-17 富士通株式会社 画像処理プログラム
JP4294896B2 (ja) * 2001-09-26 2009-07-15 富士フイルム株式会社 画像処理方法および装置並びにそのためのプログラム
JP2004173010A (ja) * 2002-11-20 2004-06-17 Konica Minolta Holdings Inc 撮像装置、画像処理装置、画像記録装置、画像処理方法、プログラム及び記録媒体
US20040151376A1 (en) 2003-02-05 2004-08-05 Konica Minolta Holdings, Inc. Image processing method, image processing apparatus and image processing program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0832838A (ja) * 1994-07-21 1996-02-02 Matsushita Electric Ind Co Ltd 階調補正方法および階調補正装置
JP2000196890A (ja) * 1998-12-28 2000-07-14 Fuji Photo Film Co Ltd 画像処理方法および装置並びに記録媒体
JP2001076149A (ja) * 1999-09-06 2001-03-23 Fuji Photo Film Co Ltd 主要被写体抽出方法および装置
JP2002218480A (ja) * 2001-01-23 2002-08-02 Minolta Co Ltd 画像撮影装置
JP2004240622A (ja) * 2003-02-05 2004-08-26 Konica Minolta Holdings Inc 画像処理方法、画像処理装置及び画像処理プログラム
JP2004246673A (ja) * 2003-02-14 2004-09-02 Fuji Photo Film Co Ltd 顔画像処理装置及びシステム

Also Published As

Publication number Publication date
EP1802096A1 (en) 2007-06-27
CN101032159A (zh) 2007-09-05
JP4549352B2 (ja) 2010-09-22
US7894673B2 (en) 2011-02-22
EP1802096B1 (en) 2019-10-23
WO2006036027A1 (ja) 2006-04-06
CN100559826C (zh) 2009-11-11
EP1802096A4 (en) 2011-04-13
US20070292038A1 (en) 2007-12-20

Similar Documents

Publication Publication Date Title
JP4549352B2 (ja) 画像処理装置および方法,ならびに画像処理プログラム
JP4197858B2 (ja) 画像処理プログラム
JP4611069B2 (ja) 特定シーンの画像を選別する装置、プログラムおよびプログラムを記録した記録媒体
US7668365B2 (en) Determination of main object on image and improvement of image quality according to main object
US7636477B2 (en) Device for detecting red eye, program therefor, and recording medium storing the program
US20060238827A1 (en) Image processing apparatus, image processing system, and image processing program storage medium
US8111940B2 (en) Image correction apparatus and method, and image correction program
US20070071316A1 (en) Image correcting method and image correcting system
US9460521B2 (en) Digital image analysis
CN101983507A (zh) 自动红眼检测
JPH11331738A (ja) 画像処理方法および装置
JP2007184888A (ja) 撮像装置、画像処理装置、画像処理方法、及び画像処理プログラム
US8026954B2 (en) System and computer-readable medium for automatic white balancing
WO2002065396A1 (en) Image processing program, computer-readable recording medium recording image processing program, image processing method and image processing device
JPH09261580A (ja) 画像処理方法
JP4640850B2 (ja) 画像処理プログラム
JP4522229B2 (ja) 画像処理方法及びその装置
JP2003209704A (ja) 画像処理方法、画像処理装置、画像形成装置、画像処理プログラムおよび記録媒体
JP2006133874A (ja) 画像処理方法及びその装置
RU2771005C1 (ru) Способ детектирования голографической защиты на документах в видеопотоке
JP2007243556A (ja) 撮像装置、画像処理方法及び画像処理プログラム
JPH06350861A (ja) 画像種別の自動判別方法及び装置並びにその判別用の閾値の決定方法及び装置
JP2007195097A (ja) 撮像装置、画像処理方法、及び画像処理プログラム
JP2001257896A (ja) 画像処理装置、方法、記録媒体及び伝送媒体
JPH07234933A (ja) 印字背景除去方法およびその装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100629

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100706

R150 Certificate of patent or registration of utility model

Ref document number: 4549352

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130716

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250