JP4277534B2

JP4277534B2 - 画像編集装置および画像編集方法

Info

Publication number: JP4277534B2
Application number: JP2003033485A
Authority: JP
Inventors: 世紅労
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 2003-02-12
Filing date: 2003-02-12
Publication date: 2009-06-10
Anticipated expiration: 2023-02-12
Also published as: DE602004007172T2; US20040228528A1; DE602004007172D1; JP2004246456A; EP1447973B1; CN1522048A; EP1447973A1; ATE366030T1

Description

【０００１】
【発明の属する技術分野】
この発明は、所定の撮影装置で生成された画像を取り込んで補正処理を行い、その補正処理後の画像を出力する画像編集装置に関する。特に、この発明は、人物を撮像して得られたカラー画像を入力して、その被写体の顔画像を補正する技術に関する。
【０００２】
【従来の技術】
近年、人物を被写体として撮影を行った際の画像から、被写体の顔に相当する画像領域を検出し、その領域内の特徴量に基づいて露光量などの撮影条件を調整したり、撮影後の画像を補正するようにした技術が開示されている。
たとえば、下記特許文献１〜３に開示されたような技術が存在する。
【０００３】
【特許文献１】
特開平１０−２６８４４７号公報
【特許文献２】
特開平８−６２７４１号公報
【特許文献３】
特開平１１−１４６４０５号公報
【０００４】
特許文献１では、撮像素子から取り込んだ画像データを用いて写真焼き付け処理を行う際に、前記画像データから人物の顔の領域を検出し、この領域内の側光データに基づいて露光量を定めた上で補正を行うことにより、顔画像の特徴に合わせて画像を補正するようにしている。
【０００５】
特許文献２では、カメラで撮像した画像をプリントアウトする処理において、処理対象の画像から顔画像に相当する肌色領域を検出するとともに、この画像の輝度情報に基づき、逆光の度合を判別し、人物の存在する度合や逆光の度合によって、異なる内容の階調補正を行うようにしている。
【０００６】
特許文献３では、カラービデオカメラなどの映像信号処理装置において、映像信号を取り込む過程で肌色領域を検出し、肌色領域が検出されたときの映像信号に輝度補正や色補正などを施すことにより、肌色領域のみを補正できるようにしている。
【０００７】
【発明が解決しようとする課題】
上記の先行技術をはじめとする従来の補正処理では、いずれも、顔画像の明るさや色彩などの特徴量をあらかじめ定められた基準と照合して、補正のパラメータを決定しているものと思われる。しかしながら、この補正の基準は、所定の人種の肌の色に合わせて定められるので、他の人種を被写体とした場合の補正処理に不具合が生じる虞がある。
【０００８】
たとえば、補正の基準を黄色人に合わせていると、黒人が被写体になった場合には逆光時の補正パラメータが適用される可能性がある。しかしながら、実際の黒人の顔画像と逆光時の顔画像とは大きく異なるので、適正な補正を行うのは困難である。また、白人が被写体になった場合に、黄色人と同様の補正処理を行うと、肌の色に黄味がかかり、不自然な印象の画像になる虞がある。
【０００９】
年代や性別の違いによっても、人種の場合と同様に、画一化された補正パラメータだけでは対応が困難な可能性がある。たとえば、２０代の顔画像と４０代の顔画像とでは、補正すべき箇所や基準にかなりの差異があると考えられる。また、被写体が男性である場合と女性である場合とでは、一般に、好ましいとされる顔色の基準が異なるものになると考えられる。
【００１０】
この発明は、上記問題に着目してなされたもので、被写体の人種および逆光の有無に応じて、各被写体に適した補正処理を行うことができるようにすることを、目的とする。
【００１１】
【課題を解決するための手段】
この発明にかかる第１の画像編集装置は、人物を撮像して得られたカラー画像を入力する画像入力手段と、前記入力画像に含まれる被写体の顔画像を検出し、その顔画像の大きさに基づく顔領域を設定する顔画像検出手段と、人種および逆光の有り／無しの組み合わせ別に、その組み合わせにかかる人種の顔のカラー画像を構成する各色データおよび明度につきそれぞれ作成した輝度ヒストグラム、による集合を、テンプレートとして登録した第１の登録手段と、カラー画像の各色データの階調を肌色調整のために補正する処理に用いる補正パラメータを、各人種および逆光の有り／無しの組み合わせ毎に登録した第２の登録手段と、前記顔画像検出手段により設定された顔領域内の各データおよび明度について、それぞれ個別に輝度ヒストグラムを作成し、作成した各輝度ヒストグラムによる集合を前記第１の登録手段に登録された各テンプレートと照合することにより、被写体の人種および逆光の有無を同時に推定する推定手段と、前記推定手段による推定結果に適合する補正パラメータを第２の登録手段から読み出し、この補正パラメータにより前記顔領域内の顔画像に対する補正処理を実行する顔画像補正手段と、前記顔画像補正手段による補正処理後の画像を出力する画像出力手段とを具備する。
【００１２】
上記の画像編集装置は、上記各手段の機能に対応するプログラムを組みこんだコンピュータを制御主体とするのが望ましい。また、画像入力手段には、外部から画像を取り込むためのインターフェース回路が含まれる。画像出力手段にも同様に、外部への画像出力に関わるハードウェアが含まれる。
【００１３】
なお、画像入力手段には、ディジタル画像データを入力するのが望ましいが、これに限らず、たとえば、アナログビデオカメラからのアナログ画像信号を入力することもできる。この場合の画像入力手段は、インターフェース回路のほか、フレーム毎のアナログ画像信号をディジタル変換するＡ／Ｄ変換回路などを含むものとなる。
【００１４】
顔画像検出手段は、たとえば、入力画像上に所定大きさの検索領域を走査し、顔を構成する器官の特徴を示す特徴点が含まれているかどうかを検索する方法により、顔画像の検出処理を行う。この検索では、下記の特許文献４に記載されたような特徴点検出処理を行うことにより、高確度で顔画像を検出することができる。ただし、これに限らず、従来の肌色領域を検出する方法や単純なパターンマッチング処理によって、顔画像を検出することも可能である。
【００１５】
【特許文献４】
特開２００１−１６５７３号公報
（段落［００６４］〜［００６９］参照。）
【００１６】
肌色調整用の補正パラメータとしては、各色成分毎の増減の比率を設定することができる。
【００１７】
上記の画像編集装置によれば、人種および逆光の有り／無しの組み合わせ毎に設定された複数とおりの補正パラメータの中から、被写体の人種および逆光の有無に適合するものが選択され、この内容に基づき顔画像の補正を行うことができる。すなわち、個々の被写体の人種および逆光の有無に応じて補正内容を自動選択し、被写体に適した補正を行うことができる。
【００１８】
つぎに、この発明にかかる第２の画像編集装置は、前記第１の画像編集装置と同様の画像入力手段および顔画像検出手段、ならびに第１の登録手段と、カラー画像の各色データの階調を肌色調整のために補正する処理に用いる補正パラメータを、人種、年代、性別、および逆光の有り／無しの組み合わせ毎に登録した第２の登録手段と、顔画像検出手段により設定された顔領域内の各色データおよび明度について、それぞれ個別に輝度ヒストグラムを作成し、作成した各輝度ヒストグラムによる集合を前記第１の登録手段に登録された各テンプレートと照合することにより、被写体の人種および逆光の有無を同時に推定する第１の推定手段と、前記顔領域内の顔画像から被写体の年齢および性別を推定する第２の推定手段と、第１および第２の推定手段による推定結果に適合する補正パラメータを第２の登録手段から読み出し、この補正パラメータにより前記顔領域内の顔画像に対する補正処理を実行する顔画像補正手段と、前記顔画像補正手段による補正処理後の画像を出力する画像出力手段とを具備する。
【００１９】
上記構成の画像編集装置も、第１の画像編集装置と同様に、コンピュータを制御主体とするのが望ましい。画像入力手段、顔画像検出手段、画像出力手段は、第１の画像編集装置と同様に構成することができる。
【００２０】
第１の推定手段は、第１の画像編集装置の推定手段と同様の手法で、被写体の人種および逆光の有無を同時に推定する。
第２の推定手段が被写体の年齢および性別を推定する処理では、たとえば、下記の非特許文献１に開示された方法を使用することができる。
【００２１】
【非特許文献１】
細井聖，瀧川えりな，川出雅人；「ガボールウェーブレット変換とサポートベクタマシンによる性別・年代推定システム」；第8回画像センシングシンポジウム講演論文集；画像センシング技術研究会；２００２年７月
【００２２】
上記第２の画像編集装置によれば、被写体の顔画像を、被写体の人種、年代、性別、逆光の有無に応じた状態に自動補正することが可能になる。
【００２３】
つぎに、上記第１、第２の画像編集装置に共通に設定できる態様について説明する。まず一の態様では、前記顔画像検出手段は、前記顔画像の検出結果に対する修正操作を受け付けて、前記顔画像の検出結果を修正する手段を含むように構成される。
【００２４】
顔画像の検出結果に対する修正操作については、前記入力画像における顔画像の検出結果を表示し、この表示画面上で、顔画像の検出位置、検出した範囲の変更、所定の顔画像の削除などの操作を実行できるようにするのが望ましい。顔画像の検出結果の表示は、たとえば、画像上の顔画像の検出位置にポインタを配置することによって行うことができる。より好ましい方法としては、顔画像の位置および大きさが明確になるようなマーキング表示（たとえば、顔画像を含むような枠画像を設定する。）を行うこともできる。
【００２５】
上記の態様によれば、顔画像の検出結果の誤りにより、間違った推定処理が行われて、以後の処理に誤りが生じるのを回避することができる。また、顔画像を削除する操作によれば、たとえば、被写体とする人物以外の人物の顔画像が含まれている場合に、この被写体以外の人物にかかる顔画像の検出結果を削除するなど、以後の推定処理や補正内容の決定を行う必要のない顔画像を削除することができ、被写体に対してのみ詳細な処理を行うことができる。
【００２６】
さらに、他の態様にかかる画像編集装置は、顔画像補正手段は、補正処理後にその補正内容の修正操作を受け付けて、修正された内容に基づき前記顔画像の再補正を実行する手段を含む。また、画像出力手段は、確定操作に応じて、その時点における最新の補正処理により得られた画像を出力する。
【００２７】
補正内容の修正操作については、補正処理後の画像や、実行された補正内容を示す情報（前記した補正パラメータなど）を表示し、この表示画面上で所定の補正内容を指定して修正を行うことができるようにするのが望ましい。また確定操作についても、同じ補正処理後の画像の表示画面上で行うことができる。
【００２８】
上記の態様によれば、ユーザーは、補正処理後の画像が好ましくない場合には、修正操作により画像の再補正処理を行わせることができる。そして、最終的に、好ましい補正画像を得ることができた時点で確定操作を行うことによって、最新の補正により得られた画像を出力することができる。
【００２９】
他の好ましい態様による画像編集装置は、画像補正手段による補正処理対象となった顔画像の特徴量と、この顔画像の補正に使用した補正パラメータとを対応づけて蓄積する情報蓄積手段と、顔画像検出手段が検出した顔画像の特徴量により前記情報蓄積手段を検索して当該顔画像に対応する補正パラメータを抽出する補正パラメータ抽出手段とを、さらに具備する。また、顔画像補正手段は、顔画像検出手段により検出された顔画像に対して補正パラメータ抽出手段により補正パラメータが抽出されたとき、この抽出された補正パラメータを用いて前記顔画像に対する補正処理を実行する。
【００３０】
上記の態様において、情報蓄積手段への登録対象の顔画像の好ましい特徴量としては、顔の器官の特徴点の位置関係を示すものがよい。たとえば、前記特許文献４の（１）式に示される特徴量を、顔画像を構成する各点毎に求めて登録することができる。
【００３１】
上記の態様によれば、過去に補正処理を行った被写体については、顔画像の特徴量とその顔画像の補正に使用した補正パラメータとが対応づけられて情報蓄積手段に登録されるので、以後に同じ被写体が含まれる画像を入力した際には、この被写体について登録された補正パラメータにより前回と同じ内容の補正を行うことが可能となる。よって、処理を高速化することができ、また、過去の処理内容に沿って、ユーザーの意図する補正を確実に実行することができる。
【００３２】
他の好ましい態様による画像処理装置は、前記顔画像補正手段による補正処理対象となった顔画像の特徴量と、この顔画像の補正に使用した補正パラメータと、顔画像に対応する被写体の識別情報とを対応づけて蓄積する情報蓄積手段と、前記画像入力手段より入力されたカラー画像中の被写体の識別情報を入力する識別情報入力手段と、識別情報入力手段が入力した識別情報により前記情報蓄積手段を検索して当該識別情報に対応する顔画像の特徴量および補正パラメータを抽出する抽出手段とを、さらに具備する。
前記顔検出手段は、前記識別情報入力手段が被写体の識別情報を入力し、その識別情報に対応する顔画像の特徴量が前記抽出手段により抽出されたとき、抽出した顔画像の特徴量に類似する特徴量を持つ画像領域を前記入力画像から抽出することによって前記被写体の顔画像を検出する。また前記顔画像補正手段は、前記識別情報入力手段が被写体の識別情報を入力し、その識別情報に対応する補正パラメータが前記抽出手段により抽出されたとき、抽出された補正パラメータを用いて、前記顔画像検出手段により検出された顔画像に対する補正処理を実行する。
る。
【００３３】
上記の態様によれば、過去に補正処理を行った被写体については、その顔画像の特徴量と、この顔画像の補正に使用した補正パラメータと、被写体の識別情報とが対応づけられて情報蓄積手段に登録されるので、以後に同じ被写体が含まれる画像を入力した際には、その被写体の識別情報を入力することにより被写体に対応する顔画像を検出した上で、前回と同じ内容の補正を行うことが可能となる。よって、処理を高速化することができ、また、過去の処理内容に沿って、ユーザーの意図する補正を確実に実行することができる。
【００３４】
さらに、第１および第２の各画像編集装置において、前記画像検出手段は、前記画像入力手段より被写体の顔画像の位置を示す情報をリンクさせた画像が入力されたとき、そのリンク情報に基づき顔画像を検出するように構成することができる。
【００３５】
前記顔画像の位置を示す情報をリンクさせた画像は、この発明の顔画像検出手段と同様の手段が設定された撮影装置により生成することができる。なお、リンク情報には、顔画像の位置を示す情報のほか、顔画像の大きさ、向きまでを含むことができる。このような構成によれば、入力された画像のリンク情報に基づき、顔画像を簡単に検出することができる。
【００３６】
さらに、第１および第２の各画像編集装置にかかる他の態様では、前記画像出力手段を、補正処理後の画像を印刷する手段とすることができる。この構成によれば、ユーザーが写真として焼き付けを行いたい画像を装置に入力すると、被写体に適した補正処理が行われた後、その補正処理後の画像が印刷されるようになり、被写体の顔の特徴を明瞭に捉えた写真を提供することができる。
【００３７】
上記の各画像編集装置（各種実施態様を含む。）は、ディジタルカメラ、スキャナ、またはメモリカードなどの記憶媒体から、ディジタル量の静止画像データを入力して補正し、補正処理後の画像を印刷したり、記憶媒体などに保存する装置として構成することができる。
【００３８】
さらに、第１および第２の各画像編集装置は、前記画像入力手段を、コンピュータネットワークを介して処理対象の画像の送信を受ける手段として構成することができる。この場合、前記画像出力手段は、補正後の画像を印刷する手段、または、前記コンピュータネットワークを介して画像の送信元もしくはこの送信元から指定された配信先に補正後の画像を送信する手段として構成することができる。
【００３９】
なお、このようにネットワーク対応型の装置とした場合、前記顔検出結果や推定結果に対する修正操作や、補正後の画像に対する修正操作、確定操作を受け付けるには、前記コンピュータネットワークを介してユーザの端末装置と通信を行う必要がある。また，第２の画像編集装置における情報入力手段も同様に、コンピュータネットワークを介した通信により、情報入力を受け付けるように構成する必要がある。
【００４０】
上記構成によれば、コンピュータネットワークを介して、ユーザーから画像の補正依頼を受け付け、補正後の画像を、印刷してユーザーに送付する処理を行うことができる。また、前記コンピュータネットワークを介して、補正後の画像をユーザーまたはユーザーの指定した配信先に送信することもできる。この場合、前記コンピュータネットワークを、インターネットのような汎用のネットワークとすれば、不特定多数のユーザーからの画像送信を受け付けることができる。ただし、これに限らず、会員登録を行ったユーザーからの画像送信のみを受け付けるようにしてもよい。
【００４１】
さらに、上記の第１および第２の画像編集装置において、画像入力手段を動画像データを取り込むように構成した場合、補正後の画像を出力する出力手段は、ＤＶＤ（ディジタル・ビデオ・ディスク）のような画像記憶媒体に画像を格納する手段として構成することができる。または、所定の表示装置に、補正後の画像を順に出力する動画像表示手段として構成することもできる。
【００４２】
上記構成の画像編集装置によれば、動画像を構成する各フレーム毎の画像に、それぞれ適正な顔画像の補正処理を行うことができる。なお、この場合の画像検出処理において、前のフレームで検出した顔画像の特徴量を用いて被写体の顔画像を追跡するようにすれば、同じ被写体には同様の内容による補正処理を行うことが可能となるから、被写体が動いても、顔画像の状態が変化するような不具合が生じず、高品質の動画像を得ることができる。
【００４３】
この発明にかかる第１の画像編集方法は、人種および逆光の有り／無しの組み合わせ別に、その組み合わせにかかる人種の顔のカラー画像を構成する各色データおよび明度につきそれぞれ作成した輝度ヒストグラム、による集合を、テンプレートとして登録する第１ステップ、カラー画像の各色データの階調を肌色調整のために補正する処理に用いる補正パラメータを、人種および逆光の有り／無しの組み合わせ毎に登録する第２ステップ、人物を撮像して得られたカラー画像を入力する第３ステップ、前記入力画像に含まれる被写体の顔画像を検出し、その顔画像の大きさに基づく顔領域を設定する第４ステップ、前記顔領域内の各色データおよび明度について、それぞれ個別に輝度ヒストグラムを作成し、作成した各輝度ヒストグラムによる集合を登録された各テンプレートと照合することにより、被写体の人種および逆光の有無を同時に推定する第５ステップ、第１ステップで登録されたテンプレートの中から前記第５ステップにおける推定結果に適合するものを読み出し、読み出された補正パラメータにより前記顔領域内の画像に対する補正処理を実行する第６ステップ、第６ステップで補正された顔画像を出力する第７ステップ、の各ステップを実行することを特徴とする。
【００４４】
また、この発明にかかる第２の画像編集方法は、人種および逆光の有り／無しの組み合わせ別に、その組み合わせにかかる人種の顔のカラー画像を構成する各色データおよび明度につきそれぞれ作成した輝度ヒストグラム、による集合を、テンプレートとして登録する第１ステップ、カラー画像の各色データの階調を肌色調整のために補正する処理に用いる補正パラメータを、人種、年代、性別、および逆光の有り／無しの組み合わせ毎に登録する第２ステップ、人物を撮像して得られたカラー画像を入力する第３ステップ、前記入力画像に含まれる被写体の顔画像を検出し、その顔画像の大きさに基づく顔領域を設定する第４ステップ、前記顔領域内の各色データおよび明度について、それぞれ個別に輝度ヒストグラムを作成し、作成した各輝度ヒストグラムによる集合を登録された各テンプレートと照合することにより、被写体の人種および逆光の有無を同時に推定する第５ステップ、前記顔領域内の顔画像から被写体の年齢および性別を推定する第６ステップ、前記第１ステップで登録されたテンプレートの中から前記第５および第６の各ステップにおける推定結果に適合するものを読み出し、読み出された補正パラメータにより前記顔領域内の画像に対する補正処理を実行する第７ステップ、第７ステップで補正された顔画像を出力する第８ステップ、の各ステップを実行することを特徴とする。
【００４５】
上記第１および第２の画像編集方法は、いずれも、各ステップを実行するためのプログラムをコンピュータに組みこむことにより実施することができる。いずれの方法も、画像編集を目的とする専用の装置のほか、パーソナルコンピュータのような汎用の装置において実行することができる。さらに、インターネットのようなコンピュータネットワークにおいて、各端末からの画像の送信を受け付けて編集処理を行うサーバシステムでも、各方法を実行することができる。
【００４６】
【発明の実施の形態】
図１は、この発明が適用された画像編集装置の構成を示す。
この画像編集装置１００は、写真印刷のサービスを行う業者の店内に設置されるもので、顧客のディジタルカメラにより得た画像、または印刷された写真から読み取った画像に補正処理を施し、その補正処理後の画像を印刷する処理を行うものである。なお、画像編集装置１００は、業者の係員が操作する装置としても良いが、これに限らず、顧客自身が操作を行うセルフサービス式の機械として構成することもできる（以下の説明では、装置の操作を行う者のことを、「ユーザー」という。）。
【００４７】
前記画像編集装置１００は、コンピュータから成る本体部１に、イメージスキャナ２（以下、単に「スキャナ２」という。）、メモリカードリーダー３、入力部９、モニタ１０、プリンタ１１などの周辺機器を接続して成る。なお、前記スキャナ２は、印刷された写真を読み取るタイプのものに限らず、フィルムからの読み取りを専用に行うフィルム・スキャナとすることもできる。
【００４８】
前記本体部１は、ＣＰＵ４、メモリ５のほか、画像入力インターフェース６、ＵＳＢインターフェース７、および、入出力インターフェース８を具備する。なお、図示のメモリ５は、ハードディスクのような大容量メモリであり、ＲＯＭやＲＡＭはＣＰＵ４に含まれるものとする。メモリ５には、ウィンドウズ（登録商標）のようなオペレーティングシステムや、図２に示す各処理部に対応するプログラム、ユーザーデータベース４７、補正内容を導き出すための設定テーブルなどが格納される。さらに、このメモリ５には、処理対象の画像を一時保存するための作業領域も設定される。
【００４９】
画像入力インターフェース６は、前記スキャナ２をＣＰＵ４に接続するためのものである。ＵＳＢインターフェース７は、ユニバーサル・シリアル・バス（Universal Serial Bus)の規格に準拠するインターフェースであって、前記メモリカードリーダー３をＣＰＵ４に接続するのに用いられる。なお、このＵＳＢインターフェース７には、メモリカードリーダー３に代えて、ディジタルカメラを接続することもできる。
【００５０】
入出力インターフェース８は、前記入力部９、モニタ１０、プリンタ１１の接続に使用される。モニタ１０やプリンタ１１は、カラー画像に対応する規格のものであり、また、入力部９は、キーボードやマウスにより構成される。
【００５１】
ＣＰＵ４は、前記スキャナ２またはメモリカードリーダー３のいずれかを入力先として選択し、この選択した装置からディジタル画像データを取り込んで、後記する補正処理を実行する。補正後の画像は、モニタ１０に表示された後、入力部１１による印刷指定操作に応じてプリンタ１１に出力され、印刷処理が実行される。
【００５２】
上記構成において、ＣＰＵ４には、メモリ５に保存されたプログラムにより、図２に示すような機能が設定されている。これらの機能により、この実施例の画像編集装置１００では、人物の顔画像を含む画像を取り込んだ場合には、この顔画像の位置や大きさなどを特定するとともに、被写体である人物の人種、年齢、性別を推定し、その推定結果に適合する補正パラメータを決定した上で、被写体の顔画像を補正するようにしている。
【００５３】
図２において、画像取得部４１は、前記スキャナ２またはメモリカードリーダー３からのディジタル画像を処理対象の画像として取り込んで、前記作業領域に格納するためのものである。顔検出処理部４２は、処理対象の画像から被写体の顔画像を検出する。顔領域設定部４３は、この検出結果に応じて、前記顔画像を含む所定大きさの領域を設定する。なお、この領域は、以後の推論処理や補正処理の対象領域となるもので、以下、「顔領域」と呼ぶ。
【００５４】
推論処理部４４は、設定された顔領域につき、その領域内の特徴量に基づき、被写体の人種、年代、性別などを推論する。画像補正処理部４５は、前記推論処理の結果に適合する補正内容を決定し、その決定した内容に基づく補正処理を実行する。補正画像出力部４６は、補正処理後の画像をモニタ１０やプリンタ１１に出力するためのものである。
【００５５】
なお、この実施例では、標準的な補正として、肌色調整および逆光時の明るさ補正のためにＲ，Ｇ，Ｂの各階調を補正する処理を行うようにしている。この処理のために、この実施例では、あらかじめ、人種、年代をそれぞれ複数のカテゴリーに分類し、これらのカテゴリー、性別、および逆光の有無の組み合わせ毎に補正項目を設定する（たとえば、「２０代の白人女性の逆光なし時の補正」、「３０代の黄色人男性の逆光時の補正」など）。そして各項目毎に、補正パラメータとして、各階調の増減量または増減率を設定した設定テーブルを作成して、メモリ５内に保存している。画像補正処理部４５は、前記推論処理部４４の推論結果をこの設定テーブルと照合することにより、推論結果に応じた補正パラメータを読み出すことができる。
【００５６】
ユーザーデータベース４７は、この画像編集装置１００が過去に処理した顔画像について、補正前の顔画像の特徴量と実行された補正内容とを対応づけて蓄積するためのものである。このユーザーデータベース４７内の登録情報は、後記するように、顔検出処理や画像補正処理に用いられるもので、各登録情報には、それぞれインデックス情報として、顔画像に対応する個人の名前と識別コードとが付与されている。
【００５７】
ユーザーインターフェース制御部４８は、前記顔領域の設定結果、推論結果、画像補正結果を確認して、その誤りを修正したり、追加の情報を入力するほか、補正画像に対する確定操作を行う際に、前記入力部９およびモニタ１０を用いて前記操作を支援する。さらに、このユーザーインターフェース制御部４８は、処理を終了した顔画像にかかる情報をユーザーデータベース４７に登録する操作や、新たな処理対象の画像を処理する際に、ユーザーデータベース４７から使用可能な登録情報を呼び出す操作を支援する。さらに、この実施例では、前記した標準の補正以外のオプションの補正項目を指定し、その補正パラメータを設定する作業を、ユーザーインターフェース制御部４８により支援するようにしている。
【００５８】
図３は、顔検出処理の結果の表示例であって、画像２０中の各人物の顔画像上に、それぞれ顔領域の境界線に応じた枠画像２１，２２が表示されている。
ユーザーインターフェース制御部４８は、このような表示とともに、顔領域の設定を修正する操作や新規の顔領域を設定する操作を行うための操作画面を設定して、各種操作を受け付け、その操作の内容を顔領域設定部４３に出力する。顔領域設定部４３は、この操作の内容に応じて、設定した顔領域の場所や大きさを修正したり、不要な顔領域を削除したり、新規の顔領域を設定したりする。
【００５９】
推論結果や補正パラメータの修正などについても、同様に、画像を表示した上で修正操作を行うようにしている。なお、この実施例では、推論結果とともに、この推論結果から導き出した補正パラメータについても、修正を受け付けるようにしている。
【００６０】
以下、上記画像編集装置における画像編集処理の詳細な流れを説明する。
図４は、前記図２の各処理部の機能を用いて画像を印刷するまでの一連の手順を示す。なお、以下の説明では、各ステップを「ＳＴ」として示す。
【００６１】
まず、ＳＴ１で、処理対象の画像を入力して前記メモリの作業領域に格納した後、つぎにＳＴ２に進んで、顔検出処理を実行する。
この顔検出処理では、入力画像に所定大きさの検索領域を走査して、顔画像の特徴点を検索する処理を行う。なお、画像上における顔画像の大きさは、撮影時の被写体までの距離やレンズ倍率によって変わってくるので、前記検索処理では、検索領域の大きさを段階的に変更しながら、入力画像を繰り返し検索するのが望ましい。
【００６２】
つぎのＳＴ３では、検出された顔画像について、以後の処理対象領域となる顔領域を設定する。
図５は、前記顔領域の設定例、およびこの設定に使用する各パラメータの具体例を示す。図示例では、顔画像中の各特徴点の中から、鼻の最も高い位置に対応する特徴点Ｐを検出し、この点Ｐの座標（ｘ_Ｐ，ｙ_Ｐ）を顔の検出位置としている。また、この点Ｐを起点にして、各種方向毎に額と髪との境界を検索し、この境界に相当する特徴点の中から点Ｐとの距離が最短になる点Ｑを求め、この点Ｑと前記点Ｐとの間の距離を、顔の大きさｒとする。さらに、点Ｐから点Ｑの方向を向くベクトルＣを設定し、画像の水平方向（ｘ軸方向）に対する前記ベクトルＣのなす角度を、顔の傾きθとして計測する。
【００６３】
この実施例では、前記点Ｐの座標（ｘ_Ｐ，ｙ_Ｐ）、顔の大きさｒ、および顔の傾きθを、顔領域設定用のパラメータとしている。図５のＵは、各パラメータにより設定された顔領域の一例である。この顔領域Ｕの大きさは、前記顔の大きさｒに基づいて決められたものであり、その中心が点Ｐに対応し、また主軸がｘ軸に対して前記角度θだけ傾いた状態になるように、設定されている。
【００６４】
図４に戻って、このようにして顔領域を設定すると、つぎのＳＴ４では、前記モニタ１０に、顔領域の設定結果を、前記枠画像として表示する。この表示に対し、修正操作がなされると、その操作に応じて、顔領域設定用のパラメータの修正処理を行う（ＳＴ５，６）。
なお、ＳＴ５の修正操作は、設定された顔領域の位置や大きさを変更する操作のほか、顔領域を削除する操作、新たな顔領域を設定する操作も含む。これに対応して、ＳＴ６では、顔領域設定用のパラメータの値を変更する処理のほか、パラメータを削除する処理、新規のパラメータを設定する処理を実行する。
【００６５】
顔領域の修正処理が行われた後に確定操作が行われると、ＳＴ７に進み、確定した顔領域について、種々の推論処理を実行する。なお、ＳＴ４での枠画像の表示に対し、修正操作が行われずにすぐに確定操作が行われた場合には、ＳＴ５が「ＮＯ」となってＳＴ７に進み、ＳＴ３で設定した顔領域に対する推論処理を実行する。
【００６６】
ＳＴ７では、設定された顔領域につき、人種、年代、性別、および逆光の有無を推定するようにしている。人種の推定処理は、前記した非特許文献１に基づいて行うことも可能であるが、この実施例では、処理時間の短縮のために、顔領域内の輝度分布を用いて、人種および逆光の有無を同時に推定するようにしている。
【００６７】
図６は、被写体や照明環境が異なる３つの事例について、顔領域内におけるＲ，Ｇ，Ｂの各色データおよび明度Ｌ（Ｒ，Ｇ，Ｂの総和平均）毎に検出したヒストグラムの例を示す。なお、ヒストグラムのスケールは、階調であって、図中、紙面の右方向にいくほど明るい状態を示す。
【００６８】
図６（１）は、適正な照明環境で黄色人を撮影した場合のヒストグラムである。この場合のヒストグラムは、各色データとも、比較的に明るい方への分布が優勢となっており、とりわけ赤色成分の強度が強調された状態となる。
【００６９】
図６（２）は、図６（１）と同じ黄色人を逆光状態で撮影した場合のヒストグラムである。この場合のヒストグラムでは、各色データの出現率は、図６（１）に比べて大幅に低下し、また暗い側に集中した分布状態となる。
【００７０】
図６（３）は、適正な照明環境で黒人を撮影した場合のヒストグラムである。この場合のヒストグラムでは、暗い側と明るい側の両方にピークを持つ分布状態が得られる（暗い側は皮膚に対応し、明るい側は目や歯に対応すると考えられる。）
【００７１】
この実施例では、あらかじめ、各人種毎に、それぞれ照明状態などが異なる複数種の撮影環境について輝度ヒストグラムのテンプレートを用意しており、処理対象の顔領域について検出したヒストグラムを各テンプレートと照合することにより、人種および逆光の有無を推定するようにしている。なお、前記ヒストグラムを、顔領域全体に限らず、目の部分や口の部分など、局所的な領域の輝度分布も検出して判別処理に利用するようにすれば、推定結果をより確かなものとすることができる。
【００７２】
なお、年代，性別の推定は、非特許文献１に示すように、各器官にかかる特徴点の持つ特徴量を、サポートベクタマシンと称される推定システムに与える方法により実行するが、必ずしもこの方法に限定されるものではない。
【００７３】
図４に戻って、一連の推論処理が終了すると、ＳＴ８では、この推論結果に基づきメモリ５内の設定テーブルを照合して、補正パラメータを決定する。
【００７４】
つぎのＳＴ９では、前記推論結果および補正パラメータの内容を示す情報を、入力画像とともに表示する。この表示画面上で、所定の推論結果または補正パラメータを指定して修正する操作が行われると、ＳＴ１０が「ＹＥＳ」となり、ＳＴ１１において、前記修正に応じて、補正パラメータを修正する。
【００７５】
ＳＴ１１では、たとえば、表示画面上の顔画像にマウスカーソルを近づけると、その顔画像に対応する推論結果や補正パラメータを示す情報が表示され、修正を受け付けるようにすることができる。なお、ここで表示する補正パラメータは、具体的な数値ではなく、たとえば、「色白にする」「普通の肌色にする」「色黒にする」といった具体的な補正内容に置き換えて示すのが望ましい。
【００７６】
さらに、オプションの補正を指定する操作が行われた場合は、ＳＴ１２が「ＹＥＳ」となってＳＴ１３に進み、ユーザーの操作に応じて、オプションの補正項目および補正パラメータを設定する処理を実行する。
なお、このＳＴ１３でも、「シミ除去処理」「肌のスムージング補正」というように、具体的な補正内容をメニュー表示し、さらに選択操作に応じて細かい補正の内容を指定するメニューを提示すれば、ユーザーの要望に応じた補正項目と補正パラメータとを簡単に設定することができる。
【００７７】
前記推論結果および補正パラメータに対する修正操作や、オプション補正の設定は、繰り返し実行することが可能である。所定の時点で、ユーザーが確定操作を行うと、ＳＴ１４が「ＹＥＳ」となり、ＳＴ１５において、その時点で設定されている補正項目および補正パラメータに基づき、画像補正処理を実行する。
【００７８】
この後は、ＳＴ１６において、補正処理後の画像（以下、「補正画像」という。）を表示する。なお、この実施例では、補正画像がユーザーの意図するものでない場合には、補正項目や補正パラメータを変更して再補正を実行できるように、印刷指定操作および再設定操作のいずれかを受け付けるようにしている。ここで、再設定操作があると、ＳＴ１７が「ＮＯ」、ＳＴ１８が「ＹＥＳ」となって、ＳＴ１０に戻り、再度、推論結果や補正項目を修正したり、オプションの補正を追加することが可能となる。そして、再度の確定操作に応じてＳＴ１５を実行することにより、前記入力画像の再補正処理が行われる。
【００７９】
所定の時点での補正画像の表示に対して、印刷指定操作が行われると、ＳＴ１７が「ＹＥＳ」となり、ＳＴ１９に進む。ＳＴ１９では、この時点で得ている補正画像をプリンタ１１に出力し、印刷処理を行わせる。
【００８０】
上記図４の手順によれば、標準設定された補正内容の中から被写体の人種、年代、性別に適合するものを自動的に選択して、写真として印刷することができる。また、推論結果に誤りがあったり、標準的な補正処理がユーザーの意図するものでない場合には、適宜、ユーザーインターフェースを用いて簡単に修正を行うことができるから、精度の高い補正処理を簡単に行うことができる。
【００８１】
つぎに、前記したユーザーデータベース４７内の登録情報を利用することにより、過去に処理対象とした顔画像に同じ内容の補正処理を実行する手順について説明する。
【００８２】
図７の手順は、顔画像を検出した後に、この検出した顔画像に対応する登録情報を検索し、登録情報があれば、その情報に含まれる補正項目、補正パラメータを用いた補正を行うようにしたものである。
【００８３】
まず、ＳＴ２１〜２３において、前記図４のＳＴ１〜３と同様の処理により、入力画像中の顔画像を検出して顔領域を設定する。つぎのＳＴ２４では、検出した顔画像の特徴量を用いてユーザーデータベース４７を検索する。この結果、前記顔画像の特徴量に類似する特徴量を含む登録情報が見つかると、ＳＴ２５からＳＴ２６に進み、この登録情報に含まれる補正項目および補正パラメータに基づき、前記顔領域内の画像を補正する。なお、この補正処理を行う前には、ヒットした登録情報のインデックス情報（前記した個人名など）を表示し、ユーザーに確認させるようにするのが望ましい。
【００８４】
つぎのＳＴ２７では、前記補正処理により得た補正画像を表示する。この実施例でも、この補正画像がユーザーの意図するものでなかった場合には、再補正ができるように、修正指定を受け付けるようにしている。修正指定操作があると、ＳＴ２８が「ＮＯ」、ＳＴ３０が「ＹＥＳ」となって、ＳＴ３１に進み、前記補正処理に使用した補正項目および補正パラメータを表示する。この表示に対し、修正操作が行われると、ＳＴ３２からＳＴ３３に進み、前記修正操作に応じて補正項目や補正パラメータを修正する。そして、つぎのＳＴ３４では、修正後の補正項目および補正パラメータに基づき、前記入力画像を再補正し、しかる後にＳＴ２７に戻る。
【００８５】
このようにして、所定の時点での補正画像の表示に対し、印刷指定操作が行われると、ＳＴ２８が「ＹＥＳ」となってＳＴ２９に進み、前記補正画像の印刷処理が実行される。
【００８６】
なお、前記ＳＴ２４の検索処理において、検出した顔画像に対応する登録情報が見つからなかった場合には、ＳＴ２５が「ＮＯ」となるが、この場合には、前記図４のＳＴ４以降の処理が行われる。
【００８７】
つぎに、図８の手順では、前記ユーザーデータベース４７に補正処理の対象となる人物の情報が登録されていることを前提として、その人物を特定する識別データを入力することにより、補正処理対象の人物を指定するようにしている。さらに、この手順では、複数の画像を順に入力し、この中から前記指定した人物を含む画像を検出し、その画像に登録情報に沿った補正処理を行うようにしている。
【００８８】
なお、識別データは、ユーザーデータベースのインデックス情報に対応するものであり、画像入力に先立ち、最初のＳＴ４１で入力される。図８には示していないが、ＣＰＵ４は、この識別データの入力があると、ユーザーデータベース４７を検索し、該当する登録情報を特定する。
【００８９】
この後、ＳＴ４２において、処理対象の画像を入力すると、つぎのＳＴ４３では、前記識別データに対応する登録情報に含まれる特徴量により前記入力画像を検索する。この検索処理により、登録情報に類似する特徴量を持つ画像領域が見つかると、この領域を前記顔画像として特定する。これによりＳＴ４４が「ＹＥＳ」となってＳＴ４５に進み、前記登録情報に含まれる補正項目および補正パラメータによる補正処理を実行する。
【００９０】
この後は、ＳＴ４６からＳＴ４２に戻る。よって、以下、処理対象の画像を順に取り込みながら、顔検出処理および補正処理を実行することになる。なお、ＳＴ４３の検索処理において前記登録情報に類似する特徴量を持つ画像領域が見つからなかった場合には、ＳＴ４４が「ＮＯ」となり、ＳＴ４５の補正処理はスキップされる。
【００９１】
このようにしてすべての画像に対する処理が終了すると、ＳＴ４６が「ＹＥＳ」となってＳＴ４７に進み、補正画像を表示する。なお、この実施例でも、前記図７の実施例と同様に、修正指定操作があれば、使用した補正項目および補正パラメータを表示して修正操作を受け付け、修正操作に応じて補正項目、補正パラメータを修正し、画像の再補正処理を行う（ＳＴ５０〜５４）。そして、所定の時点で印刷指定操作があると、ＳＴ４８が「ＹＥＳ」となってＳＴ４９に進み、補正画像の印刷処理を実行する。
【００９２】
なお、ＳＴ４８以降の手順は、説明を簡単にするために、図７のＳＴ２８以降と同様の流れにしてあるが、実際の処理においては、補正処理が行われた画像１枚１枚を順に表示して、印刷や再補正を個別に行うようにするのが望ましい。
【００９３】
上記図７，８の実施例によれば、既に補正処理の対象となり、ユーザーデータベース４７に登録された人物であれば、過去に実行した補正内容を呼び出して、同様の補正処理を実行することが可能となるので、一度、詳細に補正の内容を設定して登録しておけば、以後は、同じ内容の補正処理を速やかに実行することができる。また図８の実施例によれば、複数枚の画像の中から処理対象の人物が含まれる画像を自動的に選択して、補正処理を施すことができる。
【００９４】
なお、図７，８において、登録された補正内容による補正処理を行った後に、補正項目や補正パラメータを修正した場合には、その修正された補正項目や補正パラメータにより登録情報を書き換えることができる。また、いずれの実施例では、最終的には印刷指定操作によって、必ず画像印刷処理を行わせるようにしているが、これに限らず、キャンセル操作によって、印刷処理を中止できるようにしてもよい。
【００９５】
また、このように、各人の顔画像の特徴量と固有の補正内容とを登録する場合には、最初の登録時の画像に対しては、顔画像の検出処理のみを実行し、具体的な補正項目や補正パラメータは、ユーザーに入力させるようにしてもよい。この場合、前記したメニュー表示による設定に代えて、画像補正用ソフトの機能等を用いて、入力画像をユーザーに補正させ、その補正内容に該当する補正項目や補正パラメータを登録するようにしてもよい。
【００９６】
ところで、ここまでに示した実施例は、図１に示した構成の画像編集装置１００で実行されるものであるが、この種の画像処理は単体の装置に限らず、インターネットのようなコンピュータネットワーク上で展開することもできる。
【００９７】
図９は、インターネットを利用した画像編集システムの例を示す。図中、ユーザーＰＣ１０３，ユーザー携帯１０４は、任意のユーザーが使用する端末装置であり、インターネット１０２を介して画像編集サーバー１０１との通信が可能に設定される。なお、「ＰＣ」はパーソナルコンピュータを、「携帯」は携帯電話を、それぞれ意味する。
【００９８】
画像編集サーバー１０１は、前記図２に示した各機能を具備するもので、各ユーザーの端末装置１０３，１０４から送信される画像を受け付け、前記図７，８，９の各実施例と同様の処理を実行することができる。なお、この装置における画像取得部４１は、インターネット１０２からの画像送信を受け付けるように設定される。また、ユーザーインターフェース制御部４８は、画像や各種操作用のメニュー画面等を提示したＷｅｂページを、インターネット１０２を介して端末装置１０３，１０４に配信するように設定される。
【００９９】
また補正画像出力部４６は、補正処理後の画像を端末装置１０３，１０４に送信するものとすることができる。また、このシステムの利用を会員登録制として、画像編集サーバー１０１、またはこのサーバーに接続される事務管理用サーバー（図示せず。）に、各会員の住所データベースを持たせたり、各ユーザーに住所等の情報を送信させるようにすれば、図１の画像編集装置１００と同様に、補正画像出力部４６により補正処理後の画像を印刷し、得られた写真をユーザーの元に送付することもできる。なお、画像の送信先、送付先は、ユーザーの元に限らず、ユーザーにより指定された第３者とすることもできる。
【０１００】
上記画像編集システムによれば、パーソナルコンピュータを使用するユーザーは、このコンピュータにディジタルカメラやメモリカードを接続して画像データの読み込みを行い、画像編集サーバー１０１に送信して、編集サービスを受けることができる。また、カメラ機能が組みこまれた携帯電話を使用するユーザーであれば、撮影を行った後、その撮影によって得た画像をそのまま画像編集サーバー１０１に送信して、編集サービスを受けることができる。このように、ユーザーは、インターネット１０２を介した通信により、自身の撮影により得た画像の補正を簡単に依頼できる上、顔画像が適正に補正された補正画像を簡単に得ることができ、利便性を大いに高めることができる。
【０１０１】
なお、前記図１の画像編集装置１００や図９の画像編集サーバー１０１には、あらかじめ顔画像の検出処理や推論処理を経て、これらの処理結果を示す情報がリンクした画像を入力することもできる。このような画像によれば、リンク情報を用いて、顔画像の検出処理を簡単に実行した後、推論情報に基づき補正内容を速やかに決定することができ、処理を高速化できる。
【０１０２】
【発明の効果】
この発明によれば、被写体の顔画像を検出し、この顔画像から被写体の人種および逆光の有無を推定し、その推定結果に適した補正パラメータを用いて顔画像の補正処理を行うことができるので、個々の被写体について、鮮明かつ実物のイメージに近くなるように、顔画像を補正することが可能となる。また、顔画像を含む画像領域の画像から作成した輝度ヒストグラムを登録された各テンプレートと照合する方法により人種および逆光の有無を同時に推定することができるので、推定処理に要する時間を短縮することができる。
【図面の簡単な説明】
【図１】この発明が適用された画像編集装置の構成を示すブロック図である。
【図２】図１の画像編集装置のＣＰＵに設定される機能を示す図である。
【図３】顔領域の検出結果の表示例を示す図である。
【図４】画像編集処理の一連の手順を示すフローチャートである。
【図５】顔領域設定用のパラメータの例を示す図である。
【図６】顔領域内の輝度分布を人種や照明状態の違い毎に示すヒストグラムである。
【図７】登録情報を用いて画像補正を行う場合の手順を示すフローチャートである。
【図８】登録情報を用いて画像補正を行う場合の手順を示すフローチャートである。
【図９】この発明が適用された画像編集システムの構成を示すブロック図である。
【符号の説明】
１００画像編集装置
１０１画像編集サーバー
１本体部
２スキャナ
３メモリカードリーダー
４ＣＰＵ
５メモリ
９入力部
１１プリンタ
４１画像取得部
４２顔検出処理部
４３顔領域設定部
４４推論処理部
４５画像補正処理部
４６補正画像出力部
４７ユーザーデータベース
４８ユーザーインターフェース制御部

Claims

人物を撮像して得られたカラー画像を入力する画像入力手段と、
前記入力画像に含まれる被写体の顔画像を検出し、その顔画像の大きさに基づく顔領域を設定する顔画像検出手段と、
人種および逆光の有り／無しの組み合わせ別に、その組み合わせにかかる人種の顔のカラー画像を構成する各色データおよび明度につきそれぞれ作成した輝度ヒストグラム、による集合を、テンプレートとして登録した第１の登録手段と、
カラー画像の各色データの階調を肌色調整のために補正する処理に用いる補正パラメータを、人種および逆光の有り／無しの組み合わせ毎に登録した第２の登録手段と、
前記顔画像検出手段により設定された顔領域内の各色データおよび明度について、それぞれ個別に輝度ヒストグラムを作成し、作成した各輝度ヒストグラムによる集合を前記第１の登録手段に登録された各テンプレートと照合することにより、被写体の人種および逆光の有無を同時に推定する推定手段と、
前記推定手段により推定結果に適合する補正パラメータを第２の登録手段から読み出し、この補正パラメータにより前記顔領域内の画像に対する補正処理を実行する顔画像補正手段と、
前記顔画像補正手段による補正処理後の画像を出力する画像出力手段とを具備して成る画像編集装置。
人物を撮像して得られたカラー画像を入力する画像入力手段と、
前記入力画像に含まれる被写体の顔画像を検出し、その顔画像の大きさに基づく顔領域を設定する顔画像検出手段と、
人種および逆光の有り／無しの組み合わせ別に、その組み合わせにかかる人種の顔のカラー画像を構成する各色データおよび明度にそれぞれつき作成した輝度ヒストグラム、による集合を、テンプレートとして登録した第１の登録手段と、
カラー画像の各色データの階調を肌色調整のために補正する処理に用いる補正パラメータを、人種、年代、性別、および逆光の有り／無しの組み合わせ毎に登録した第２の登録手段と、
前記顔画像検出手段により設定された顔領域内の各色データおよび明度について、それぞれ個別に輝度ヒストグラムを作成し、作成した各輝度ヒストグラムによる集合を前記第１の登録手段に登録された各テンプレートと照合することにより、被写体の人種および逆光の有無を同時に推定する第１の推定手段と、
前記顔領域内の顔画像から被写体の年齢および性別を推定する第２の推定手段と、
前記第１および第２の推定手段による推定結果に適合する補正パラメータを第２の登録手段から読み出し、この補正パラメータにより前記顔領域内の画像に対する補正処理を実行する顔画像補正手段と、
前記顔画像補正手段による補正処理後の画像を出力する画像出力手段とを具備して成る画像編集装置。
請求項１または２に記載された画像編集装置において、
前記顔画像検出手段は、前記顔画像の検出結果に対する修正操作を受け付けて、前記顔画像の検出結果を修正する手段を含んで成る画像編集装置。
請求項１または２に記載された画像編集装置において、
前記顔画像補正手段は、補正処理後にその補正内容の修正操作を受け付けて、修正された内容に基づき前記顔画像の再補正を実行する手段を含み、
前記画像出力手段は、確定操作に応じて、その時点における最新の補正処理画像を出力する画像編集装置。
請求項１または２に記載された画像編集装置において、
前記顔画像補正手段による補正処理対象となった顔画像の特徴量と、この顔画像の補正に使用した補正パラメータとを対応づけて蓄積する情報蓄積手段と、前記顔画像検出手段が検出した顔画像の特徴量により前記情報蓄積手段を検索して当該顔画像に対応する補正パラメータを抽出する補正パラメータ抽出手段とを、さらに具備し、
前記顔画像補正手段は、前記顔画像検出手段により検出された顔画像に対して補正パラメータ抽出手段により補正パラメータが抽出されたとき、この抽出された補正パラメータを用いて前記顔画像に対する補正処理を実行する画像編集装置。
請求項１または２に記載された画像編集装置において、
前記顔画像補正手段による補正処理対象となった顔画像の特徴量と、この顔画像の補正に使用した補正パラメータと、顔画像に対応する被写体の識別情報とを対応づけて蓄積する情報蓄積手段と、前記画像入力手段より入力されたカラー画像中の被写体の識別情報を入力する識別情報入力手段と、識別情報入力手段が入力した識別情報により前記情報蓄積手段を検索して当該識別情報に対応する顔画像の特徴量および補正パラメータを抽出する抽出手段とを、さらに具備し、
前記顔検出手段は、前記識別情報入力手段が被写体の識別情報を入力し、その識別情報に対応する顔画像の特徴量が前記抽出手段により抽出されたとき、抽出した顔画像の特徴量に類似する特徴量を持つ画像領域を前記入力画像から抽出することによって前記被写体の顔画像を検出し、
前記顔画像補正手段は、前記識別情報入力手段が被写体の識別情報を入力し、その識別情報に対応する補正パラメータが前記抽出手段により抽出されたとき、抽出された補正パラメータを用いて、前記顔画像検出手段により検出された顔画像に対する補正処理を実行する画像編集装置。
請求項１または２に記載された画像編集装置において、
前記顔画像検出手段は、前記画像入力手段より、被写体の顔画像の位置を示す情報をリンクさせた画像が入力されたとき、そのリンク情報に基づき顔画像を検出する画像編集装置。
請求項１または２に記載された画像編集装置において、
前記画像出力手段は、前記補正処理後の画像を印刷する手段である画像編集装置。
請求項１または２に記載された画像編集装置において、
前記画像入力手段は、コンピュータネットワークを介して処理対象の画像の送信を受ける手段であり、
前記画像出力手段は、補正後の画像を印刷する手段、または、前記コンピュータネットワークを介して前記画像の送信元もしくはこの送信元から指定された配信先に前記補正後の画像を送信する手段である画像編集装置。
人種および逆光の有り／無しの組み合わせ別に、その組み合わせにかかる人種の顔のカラー画像を構成する各色データおよび明度につきそれぞれ作成した輝度ヒストグラム、による集合を、テンプレートとして登録する第１ステップ、
カラー画像の各色データの階調を肌色調整のために補正する処理に用いる補正パラメータを、人種および逆光の有り／無しの組み合わせ毎に登録する第２ステップ、
人物を撮像して得られた画像を入力する第３ステップ、
前記入力画像に含まれる被写体の顔画像を検出し、その顔画像の大きさに基づく顔領域を設定する第４ステップ、
前記顔領域内の各色データおよび明度について、それぞれ個別に輝度ヒストグラムを作成し、作成した各輝度ヒストグラムによる集合を登録された各テンプレートと照合することにより、被写体の人種および逆光の有無を同時に推定する第５ステップ、
前記第１ステップで登録されたテンプレートの中から前記第５ステップにおける推定結果に適合するものを読み出し、読み出された補正パラメータにより前記顔領域内の画像に対する補正処理を実行する第６ステップ、
前記第６ステップで補正された顔画像を出力する第７ステップ、
の各ステップを実行することを特徴とする画像編集方法。
人種および逆光の有り／無しの組み合わせ別に、その組み合わせにかかる人種の顔のカラー画像を構成する各色データおよび明度につきそれぞれ作成した輝度ヒストグラム、による集合を、テンプレートとして登録する第１ステップ、
カラー画像の各色データの階調を肌色調整のために補正する処理に用いる補正パラメータを、人種、年代、性別、および逆光の有り／無しの組み合わせ毎に登録する第２ステップ、
人物を撮像して得られた画像を入力する第３ステップ、
前記入力画像に含まれる被写体の顔画像を検出し、その顔画像の大きさに基づく顔領域を設定する第４ステップ、
前記顔領域内の各色データおよび明度について、それぞれ個別に輝度ヒストグラムを作成し、作成した各輝度ヒストグラムによる集合を登録された各テンプレートと照合することにより、被写体の人種および逆光の有無を同時に推定する第５ステップ、
前記顔領域内の顔画像から被写体の年齢および性別を推定する第６ステップ、
前記第１ステップで登録されたテンプレートの中から前記第５および第６の各ステップにおける推定結果に適合するものを読み出し、読み出された補正パラメータにより前記顔領域内の画像に対する補正処理を実行する第７ステップ、
前記第７ステップで補正された顔画像を出力する第８ステップ、
の各ステップを実行することを特徴とする画像編集方法。