JP4441853B2 - 濃度補正のための顔選別方法及びこの方法を実施する装置 - Google Patents

Description

本発明は、濃度補正に用いられる濃度特性曲線を決定するために重要な被写体としての理想顔を、入力された撮影画像データから検出された複数の顔の顔検出情報に基づいて選別する顔選別方法、顔選別プログラム、及びこの方法を採用して撮影画像データを濃度補正する画像処理装置に関する。

現在、写真プリント業界では、写真フィルムに形成された撮影画像をフィルムスキャナを用いてデジタル化して得られた撮影画像データや、デジタルカメラなどのデジタル撮影機器によって直接撮影画像をデジタル化して得られた撮影画像データに濃度補正や色補正などの画像処理を施した後これをプリントデータに変換し、プリント露光ユニットを駆動して、撮影画像を感光材料（印画紙）に焼き付ける技術が、主流である。

このようなデジタル式の写真プリント装置では、画像入力機器と画像出力機器との間に異なる機器特性（ガンマ特性など）が存在するので、優れた画質の写真プリント出力は画像データを適切に補正することで可能となる。このため、入力された撮影画像データに対して、濃度補正、階調調整、カラーバランス調整、シャープネス（鮮鋭化）処理等を最適に行う画像処理技術が重要となる。

もちろん、そのような画像処理技術はフィルム画像を印画紙に直接投影して露光するいわゆるアナログ式の写真プリント装置においても採用されており、人物の顔、人物、動物、花などの一つの被写体を原画中の主要部として指定し、この主要部をイメージセンサ等により測光してこの測光値を用いて、この測光値単独であるいは原画全体の平均透過濃度と組み合わせて露光制御することが知られている。例えば、ネガフィルムなどの原画フィルムの画像情報を画素に分割して検出する検出装置と、ネガフィルムの主要部を指定し、さらに絵柄情報を入力することにより、検出装置によって検出された画像情報から得られた基本再現画像濃度に対する再現画像濃度補正量を求める補正装置と、検出装置によって検出された画素測光値から大面積平均透過濃度を演算処理し、次いで、この大面積平均透過濃度に基づいて前記基本再現画像濃度を求めるとともに、補正装置からの再現画像濃度補正量を受けて主要部や絵柄情報を考慮した適正露光条件を設定しかつ露光制御する露光条件制御部と、この露光条件制御部によって設定された適正露光条件に基づいて色および濃度のマニュアル補正を指示することのできる操作部とを有する写真プリント装置が知られている（特許文献１参照。）。ここでは、主要部としての顔領域はマウスなどのポインティングデバイスによってＣＲＴの画面に表示された原画像の主要部の対角線上の２点を指定することにより主要部の位置と大きさが入力される。

また、画像データ供給源から供給された画像データを解析してこの画像データの画像処理条件を設定する条件設定部と、前記条件設定部が設定した画像処理条件に応じて画像データに画像処理を施す画像処理部と、作業目的に応じた複数の動作モード、つまり不適性プリントを低減する動作モード、画質を重視する動作モード、１件のバラツキを低減する動作モード、生産速度を重視する動作モードが備えられ、その際前記不適性プリントを低減する動作モードでは人物の顔領域に基づいた濃度制御あるいはさらに階調の軟調化が行われ、前記画質を重視する動作モードでは撮影シーンやフィルム露出およびフィルム種の少なくとも１つに応じたグレー／色階調コントロールが行われ、前記１件のバラツキを低減する動作モードでは１件分の画像データを全て用いて画像処理条件が設定され、前記生産速度を重視する動作モードでは、グレーバランス補正および濃度補正される画像処理装置も提案されている（特許文献２参照。）。この装置は、プレスキャンデータを用いて、画像の濃度ヒストグラムの作成、および、最低濃度や最高濃度、平均濃度などの画像特徴量の算出、主要被写体（顔領域）の抽出を行うセットアップ部、及び顔抽出結果に応じて人物の顔を適正な肌色に仕上げるように顔領域の濃度を調整する顔領域濃度補正部を備えているが、セットアップ部における顔抽出の仕組みは開示されていないが、セットアップ部で抽出された主要被写体（顔領域）はそのまま利用されるので、誤検出や後の濃度補正処理に適しない顔も抽出されるといった可能性が高く、そのような場合では濃度補正はかえって不自然なものとなる。

特開平６−５９３５３ 号公報（段落番号００２４、００４８、第３図） 特開２００１−２１８０４７ 号公報（段落番号０００９−００１０、００２４−００２８、第２図）

重要な被写体部として顔領域を抽出し、顔領域の色合いを良好にするような画像処理を撮影画像データに施すことは高品質の写真プリントを出力するためには重要であるが、現状の顔検出アルゴリズムは写真プリントのために最適化されているわけではなく、そのまま採用すると誤認識や不適正な顔の検出のためかえって望ましくない画像処理が施されたり、誤認識を避けるためにその信頼度を上げようとすると全く顔が検出されなかったり、異常に処理速度が遅くなったりといった別な問題が生じてしまう。

上記実状に鑑み、本発明の課題は、オペレータによる手動の顔検出処理又は顔検出アルゴリズムを用いた自動顔検出処理にかかわらず、濃度補正に用いられる濃度特性曲線を決定するために重要な被写体としての理想顔を検出された複数の顔から選別する技術、及びこの技術を採用した画像処理技術を提供することである。

上記課題を解決するため、濃度補正に用いられる濃度特性曲線を決定するために重要な被写体としての理想顔を、入力された撮影画像データから検出された複数の顔の顔検出情報に基づいて選別する、本発明による顔選別方法は、基準顔決定部により、検出された前記顔のうち、統計的に決定された評価値決定式に対して前記顔検出情報に含まれている顔位置と顔サイズとをパラメータの値として与えて得られる評価値が最大の前記顔を前記理想顔とするとともに、当該評価値が最大の顔を他の前記理想顔を検出するための基準顔として決定するステップと、選別部により、統計的に求められた画像特性乖離決定式に対して、前記基準顔と検出された前記顔との前記顔検出情報に基づき、顔位置と顔方向と濃度のそれぞれの差分値をパラメータとして与えることにより、前記理想顔としての適正を表す画像特性乖離度を求め、当該画像特性乖離度が所定閾値以内である顔をさらなる理想顔として前記顔検出情報で規定される顔から選別するステップと、を備えている。

これにより、基本的には撮影画像データに含まれている目や口は肌からなる顔という概念をもつ領域を顔として検出されたとしても、本発明では、濃度補正技術の観点から重要とみなされる顔位置と顔サイズを有する基準顔が決定されるとともに、この基準顔を基準として所定の画像特性乖離度内に収まる顔も選別されることにより、濃度補正処理に利用されるにふさわしい理想顔だけが得られることになる。

ここでいう画像特性乖離度とは、基準顔に比べて濃度補正に用いられる濃度特性曲線を決定するための重要な被写体としての価値をある程度もっていることを表すのであるが、例えば、基準顔から離れすぎた顔は人間である確率が低く、基準顔に比べて小さすぎる顔や大きすぎる顔は人間の顔と判断するには危険があり、基準顔に比べて大きく異なる濃度を示す顔も濃度補正目的にはふさわしいものではないといった観点から決定されるべきものである。従って、本発明では、前記画像特性乖離度は、前記基準顔と処理対象顔との間の顔位置と顔サイズと濃度の差分値をパラメータとして統計的に求められた式によって算出される。これにより、検出された各顔の画像特性乖離度が簡単に算出され、良否判定に用いることができる。

撮影画像における人物の顔は画像特性的に千差万別であり、特に自動検出の場合検出された顔には通常信頼度が付与される。手動検出であっても、検出された顔が濃度補正などの目的に適しているかどうかという点では信頼度（自信度）を付けざるをえない。それゆえ、本発明の好適な実施形態の１つとして、前記顔検出情報に信頼度が含まれていることを前提とし、前記基準顔の決定の際には顔位置と顔サイズに加えて前記信頼度も考慮され、かつ前記信頼度は前記画像特性乖離度を求める式のパラメータにも加えられるならば、その選別結果はさらに精度の良いものとすることが可能である。

本発明の好適な実施形態の１つとして、前記顔検出情報を参照して算出される顔画素の数に対する前記肌色画素の数の割合である肌割合に基づいて適正顔が前選別され、前選別された適正顔から前記基準顔が決定されるものがある。検出された顔の領域における肌色画素数の割合である肌色割合を判定条件として前選別処理を行うことで、撮影画像処理上重要な肌色を表している顔以外を選別の対象から除外することができ、基準色決定処理の負担を減らすことができる。さらに、肌割合で前選別することは、最終的に、顔の肌色を美しく表現する濃度補正が実現する可能性を高くすることにもつながる。

また、本発明は、上述した顔選別方法をコンピュータに実行させるプログラムやそのプログラムを記録した媒体も権利の対象とするものである。

本発明では、さらに、上述した顔選別方法を採用した画像処理装置も権利の対象としており、入力された撮影画像データにおける顔を重要な被写体として濃度補正を行う、本発明による画像処理装置は、前記撮影画像データから検出された顔に関する顔検出情報を記憶する顔検出情報記憶部と、検出された前記顔のうち、統計的に決定された評価値決定式に対して前記顔検出情報に含まれている顔位置と顔サイズとをパラメータの値として与えて得られる評価値が最大の前記顔を前記理想顔とするとともに、当該評価値が最大の顔を他の前記理想顔を検出するための基準顔として決定する基準顔決定部と、統計的に求められた画像特性乖離決定式に対して、前記基準顔と検出された前記顔との前記顔検出情報に基づき、顔位置と顔方向と濃度のそれぞれの差分値をパラメータとして与えることにより、前記理想顔としての適正を表す画像特性乖離度を求め、当該画像特性乖離度が所定閾値以内である顔をさらなる理想顔として前記顔検出情報で規定される顔から選別する選別部と、前記選別部で選別された理想顔の画像情報に基づいて調整されるとともに前記撮影画像データを濃度補正する濃度補正部と、を備えている。当然ながら、このような画像処理装置も上述した顔選別方法におけるすべての作用効果を得ることができるとともに、選別された理想顔の画像情報を利用した濃度補正により、顔を肌色が美しく表現された写真プリントを出力するための撮影画像データを生成することが期待できる。

基準顔決定処理やその後の選別処理が迅速に行われるように、本発明による好適な実施形態として、前記顔検出情報には検出された顔に対する信頼度が含まれており、前記基準顔決定部が、前記評価値を求める際に、さらに検出された顔に対する信頼度を前記評価値決定式のパラメータとして用いるように構成されることや、前記選別部が、前記画像特性乖離度を求める際に、さらに前記基準顔と処理対象顔との信頼度の差分値を前記画像特性乖離決定式のパラメータとして用いるように構成されることが提案される。

適正顔判別処理の負担を減らすために、処理対象となる撮影画像データの容量は結果に悪影響を与えない限りにおいて少ないことが望ましい。そのため、入力される前記撮影画像データは高解像度データと低解像度データに分けておき、前記理想顔の選別には低解像度データが用いられ、この低解像度データに基づいて変更された前記補正パラメータを用いて前記濃度補正部は高解像度データを濃度補正すると好都合である。撮影画像が写真フィルムに形成されている場合は、フィルムスキャニング処理を高解像度の本スキャンと低解像度のプレスキャンに分ける方式で行えばよいし、デジタルカメラ等による撮影画像データでは、サムネイル画像データと本画像データにそれらの役割を与えるとよい。
本発明によるその他の特徴及び利点は、以下図面を用いた実施形態の説明により明らかになるだろう。

〔第１実施形態〕
本発明の第１の実施形態について、図面に基づいて説明する。
図１は本発明による顔選別方法を採用した画像処理技術を組み込んでいる写真プリント装置を示す外観図であり、この写真プリント装置は、印画紙Ｐに対して露光処理と現像処理とを行う写真プリンタとしてのプリントステーション１Ｂと、現像済み写真フィルム２ａやデジタルカメラ用メモリカード２ｂなどの画像入力メディアから取り込んだ撮影画像を処理してプリントステーション１Ｂで使用されるプリントデータの生成・転送などを行う操作ステーション１Ａとから構成されている。

この写真プリント装置はデジタルミニラボとも称せられるものであり、図２からよく理解できるように、プリントステーション１Ｂは２つの印画紙マガジン１１に納めたロール状の印画紙Ｐを引き出してシートカッター１２でプリントサイズに切断すると共に、このように切断された印画紙Ｐに対し、バックプリント部１３で色補正情報やコマ番号などのプリント処理情報を印画紙Ｐの裏面に印字するとともに、プリント露光部１４で印画紙Ｐの表面に撮影画像の露光を行い、この露光後の印画紙Ｐを複数の現像処理槽を有した処理槽ユニット１５に送り込んで現像処理する。乾燥の後に装置上部の横送りコンベア１６からソータ１７に送られた印画紙Ｐ、つまり写真プリントＰは、このソータ１７の複数のトレイにオーダ単位で仕分けられた状態で集積される（図１参照）。

上述した印画紙Ｐに対する各種処理に合わせた搬送速度で印画紙Ｐを搬送するために印画紙搬送機構１８が敷設されている。印画紙搬送機構１８は、印画紙搬送方向に関してプリント露光部１４の前後に配置されたチャッカー式印画紙搬送ユニット１８ａを含む複数の挟持搬送ローラ対から構成されている。

プリント露光部１４には、副走査方向に搬送される印画紙Ｐに対して、主走査方向に沿って操作ステーション１Ａからのプリントデータに基づいてＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色のレーザ光線の照射を行うライン露光ヘッドが設けられている。処理槽ユニット１５は、発色現像処理液を貯留する発色現像槽１５ａと、漂白定着処理液を貯留する漂白定着槽１５ｂと、安定処理液を貯留する安定槽１５ｃを備えている。

前記操作ステーション１Ａのデスク状コンソールの上部位置には、写真フィルム２ａの撮影画像コマから撮影画像データ（以下単に画像データと略称する）を取得するフィルムスキャナ２０が配置されており、デジタルカメラ等に装着される撮影画像記録媒体２ｂとして用いられている各種半導体メモリやＣＤ−Ｒなどから画像データを取得するメディアリーダ２１は、この写真プリント装置のコントローラ３として機能する汎用パソコンに組み込まれている。この汎用パソコンには、さらに各種情報を表示するモニタ２３、各種設定や調整を行う際に用いる操作入力部として利用されるポインティングデバイスとしてのキーボード２４やマウス２５も接続されている。

この写真プリント装置のコントローラ３は、ＣＰＵを中核部材として、写真プリント装置の種々の動作を行うための機能部をハードウエア又はソフトウエアあるいはその両方で構築しているが、図３に示されているように、本発明に特に関係する機能部としては、スキャナ２０やメディアリーダ２１によって読み取られた画像データを取り込んで次の処理のために必要な前処理を行う画像入力部３１と、各種ウインドウや各種操作ボタンなどを含むグラフィック操作画面の作成やそのようなグラフィック操作画面を通じてのユーザ操作入力（キーボード２４やマウス２５などによる）から制御コマンドを生成するグラフィックユーザインターフェース（以下ＧＵＩと略称する）を構築するＧＵＩ部３３と、ＧＵＩ部３３から送られてきた制御コマンドや直接キーボード２４等から入力された操作命令に基づいて所望のプリントデータを生成するために画像入力部３１からメモリ３０に転送された画像データに対する画像処理等を行う画像管理部３２と、色補正等のプレジャッジプリント作業時にプリントソース画像や予想仕上がりプリント画像としてのシミュレート画像さらにはＧＵＩ部３３から送られてきたグラフィックデータをモニタ２３に表示させるためのビデオ信号を生成するビデオ制御部３５と、画像処理が完了した処理済み画像データに基づいてプリントステーション１Ｂに装備されているプリント露光部１４に適したプリントデータを生成するプリントデータ生成部３６と、顧客の要望に応じて生の画像データや画像処理が完了した処理済み画像データなどをＣＤ−Ｒに書き込むための形式にフォーマットするフォーマッタ部３７などが挙げられる。

画像入力部３１は、撮影画像記録媒体がフィルム２ａの場合プレスキャンモードと本スキャンモードとのスキャンデータを別々にメモリ３０に送り込み、それぞれの目的に合わせた前処理を行う。また、撮影画像記録媒体がメモリカード２ｂの場合取り込んだ画像データにサムネイル画像データ（低解像度データ）が含まれている場合はこのデータをモニタ２３での一覧表示などの目的で使用するため撮影画像の本データ（高解像度データ）とは別にメモリ３０に送り込むが、もしサムネイル画像データが含まれていない場合は本データから縮小画像を作り出して低解像度画像データとしてメモリ３０に送り込む。

画像管理部３２は、メモリ３０に展開された低解像度の画像データから顔検出アルゴリズムを用いて顔検出領域データを含む顔検出情報を出力する顔検出ユニット４０と、入力された画像データに対して濃度補正や色補正やフィルタリング（ぼかしやシャープネスなど）などの画像処理を施す画像処理ユニット５０を備えている。

顔検出ユニット４０は汎用的なものを使用することが可能であるが、ここでは、写真撮影画像に限定されたものではなく、顔検出アルゴリズムに基づいて画像データ中の顔と見なされる領域を検出し、その顔位置とサイズ（顔位置を基点とした矩形画素領域の縦横サイズ）からなる顔検出領域データ、顔の正立・倒立関係を規定している顔の向き、顔検出時に算定された信頼度）が顔検出情報として出力するものが使われている。画像データから顔を検出する顔検出アルゴリズムは数多く知られているが、例えば、特開平１１−３３９０８４号公報、特開２０００−９９７２２号公報、特開２０００−２２９２９号公報が参照される。

画像処理ユニット５０には、本発明による技術を採用した顔検出情報評価手段６０と、この顔検出情報評価手段６０によって選別された顔検出情報に基づいて決定される画像データの顔領域や画像データ全体の濃度特性に基づいて濃度補正用パラメータを設定し、この濃度補正用パラメータによって修正された濃度特性曲線を用いて高解像度の画像データを濃度補正する濃度補正部７０が含まれている。

顔検出情報評価手段６０は、複数の検出された顔から理想的な顔だけを選別する理想顔選別部６０Ｂと、その前選別部として機能する適正顔判別部６０Ａを備えている。前選別部としての適正顔判別部６０Ａは、顔検出ユニット４０から出力された顔検出情報によって規定される顔領域から濃度補正用パラメータの調整（濃度特性曲線の修正）に利用することが好ましい適正な顔（顔検出情報）を判別する機能を持つ。もしこの適正顔判別部６０Ａが単一の適正顔しか選別しなかった場合にはその顔の濃度特性が濃度補正部７０における濃度補正用パラメータの調整に利用することになる。

適正顔判別部６０Ａは、図４に示すように、顔検出ユニット４０から出力されてきた顔検出情報に含まれている顔検出領域データを参照しながらメモリ３０に展開されている低解像度の画像データから顔検出領域毎に含まれている肌色画素を検出する肌色画素検出部６１と、前記顔検出領域を構成する顔画素の数に対する前記肌色画素の数の割合を肌割合として算出する肌割合算出部６２と、この算出された肌割合と顔検出情報に含まれている信頼度が所定の適正顔の判定条件を満たしているかどうかチェックして判定条件を満たすものだけを適正顔として以後の処理に採用する判別部６３とから構成されている。

肌色画素検出部６１に用いられる肌色検出条件は、写真処理技術において種々のものが知られているが、ここでは以下の肌色検出条件が用いられているが本発明はこの肌色検出条件に限定されるわけではない。この肌色検出条件は、注目画素のＲ・Ｇ・Ｂ濃度値をそれぞれR、G、Bとし、かつ(R＋G＋B)/3=Iとすると、
［fs_gb_lo<G-B<fs_gb_hi］、かつ
［fs_rg_lo<R-G<fs_rg_hi］、かつ
［fs_br_lo<B-R<fs_br_hi］、かつ
［I>fs_I］、
で表されている。この４つの条件からなる肌色判定条件を満たしている注目画素が肌色とみなされる。ここで、Ｒ・Ｇ・Ｂ濃度値が８ビットカラーデータ（０〜２５５）である場合、上記各定数は以下の通りに設定することができる（以下Ｒ・Ｇ・Ｂ濃度値は８ビットカラーデータとする）；
fs_gb_lo=-24、fs_gb_hi=16、fs_rg_lo=-16、fs_rg_hi=64、
fs_br_lo=-88、fs_br_hi=8、fs_I=104。
肌色画素検出部６１は、処理対象となる顔検出領域毎に、注目画素の画素値であるＲ・Ｇ・Ｂ濃度値を取り込み、上記肌色判定条件を満たすかどうかをチェックし、この肌色判定条件を満たした注目画素を肌色画素としてカウントしていく。これにより、全ての顔検出領域における肌色画素の数が算出される。

肌割合算出部６２は、顔検出情報に含まれているその顔位置とその顔位置を基点とした矩形画素領域の縦横サイズから規定される顔検出領域の画素数を顔画素数として算出し、肌色画素検出部６１で算出された肌色画素数を顔画素数で割ることにより肌割合を算出する。

判別部６３は、この実施形態では、肌割合に加えて顔検出情報に含まれている各検出顔の信頼度（０から１の値をとり、１が最大信頼度である）も適正顔の判別条件要素としている。つまり、ここで用いられている適正顔判別条件は、前記肌割合が０.５以上でかつ前記信頼度が０.３以上であるが本発明はこの条件に限定されるわけではなく、顔検出アルゴリズムの信頼度により重きをおく場合は信頼度を０.５以上としてもよい。いずれにしても、この判別条件は実験的かつ統計学的に決定されるとよい。この判別条件を満たした顔が適正顔として次の処理に利用される。

上述した方法で適正顔判別部６０Ａが選別した適正顔が複数存在する場合さらにその中からより適正な理想顔（複数でもよい）を選別する理想顔選別部６０Ｂは、各適正顔の属性値、つまり顔検出情報に含まれている位置、サイズ、信頼度、向きなどのデータに基づいて最も理想的な顔を基準顔として決定する基準顔決定部６４と、適正顔判別部６０Ａが選別した適正顔から前記基準顔に対して所定範囲の画像特性的乖離度内に留まる適正顔をも理想顔として選別する選別部６５を備えている。

基準顔決定部６４において基準顔を決定するために、この実施形態では、顔位置：ｐとサイズ：ｓと信頼度：ｒが採用されており、できるだけ画像中心に顔位置が位置するのが好ましく、そのサイズは大きいほど好ましく、当然信頼度が高いことが好ましいという観点から、前もって行われたテストを通じて統計的に求められた評価値決定式：Γ（ｐ,ｓ,ｒ）が用いられる。この評価値決定式：Γ（ｐ,ｓ,ｒ）で求められた評価値の最大をもつものが基準顔とみなされる。

選別部６５で定義されている基準顔に対する画像特性的乖離度は、基準顔に対するその他の適正顔に属する平均濃度：ｄ、方向：ｖ、顔位置：ｐの差から決定することができる。例えば、平均濃度差分値Δｄが小さいほど基準顔と同様な配慮をもって撮影された集合写真のもう１つの顔とみなすことができるし、顔が倒立方向・正立方向・横方向：であるかどうかを規定している方向ｖの差分値Δｖは基準値の一致していないかぎり、つまり差分値が０でない限り、選別すべき顔と判定する必要がないし、顔位置差分値Δｐが小さいほど基準顔の近くに位置する集合写真のもう１つの顔とみなすことができるからである。このような乖離度を求める式：Ｇ（Δｄ,Δｖ,Δｐ）もやはり前もって行われたテストを通じて統計的に求めることができるが、乖離度を求める式のパラメータとしては平均濃度差分値Δｄと方向差分値Δｖと顔位置差分値Δｐに限定されるわけではない。

このように構成された顔検出情報評価手段６０による顔検出情報評価周辺の処理手順を以下に説明する。全体的な流れは図５に示されたフローチャートに示されているが、まずメモリ３０に展開されている低解像度画像データに対して顔検出ユニット４０による顔検出処理が行われ、検出顔情報が出力される（＃１０）。もし顔検出ユニット４０で顔が検出されなかった場合（＃２０No分岐）、このフローは中断され、濃度補正部７０において顔領域の濃度特性を用いた濃度補正用パラメータの調整、つまり濃度特性曲線の修正はされずに、一般的な画像全体の濃度特性を用いた濃度特性曲線の調整が行われる。もし顔検出ユニット４０で１つ以上の顔が検出された場合（＃２０Yes分岐）、後述する適正顔判別部６０Ａによる前選別ルーチンに入る（＃３０）。この前選別ルーチンにおいて適正と判別された顔が１つのみであった場合（＃５０No分岐）このフローは中断されるが、その際適正と判別された顔が１つの場合唯一の適正顔の画像情報が濃度補正部７０に渡され、この顔領域の濃度特性を用いた濃度補正用パラメータの調整（濃度特性曲線の修正）が濃度補正部７０で行われ、適正と判別された顔がなかった場合顔領域の濃度特性を用いた濃度補正用パラメータの調整はされずに、一般的な画像全体の濃度特性を用いた濃度補正用パラメータの調整が濃度補正部７０で行われる。前選別ルーチンにおいて適正と判別された顔が複数であった場合（＃５０Yes分岐）、後述する理想顔選別部６０Ｂによる理想顔選別ルーチンに入って、複数の適正顔からさらに濃度補正用パラメータの調整に適した理想顔が選別されて、その理想顔の画像情報が濃度補正部７０に渡される（＃６０）。

適正顔判別部６０Ａによる前選別ルーチンは、図６に示されているように、まず顔検出情報に含まれている検出顔の１つを処理対象顔として指定し（＃３１）、その指定された検出顔の領域データを参照して、肌色画素検出部６１がその顔領域内の肌色画素数を算出する（＃３２）。続いて、肌割合算出部６２が顔領域の画素数（顔画素数）を算出するとともに（＃３３）、顔画素数に対する肌画素数の割合である肌割合を算出する（＃３４）。算出された肌割合と顔検出情報に含まれている処理対象顔の信頼度を前述した適正顔判定条件にかけて、処理対象顔が適正顔とみなされた場合だけ（＃３５Yes分岐）、この処理対象顔の情報を適正顔マップに書き込んでおく（＃３６）。次に処理すべき検出顔が残っているかどうかチェックされ（＃３７）、処理対象顔が残っている限りステップ＃３１から＃３７の処理が繰り返され、適正と判定された検出顔が適正顔マップに書き込まれていく。従って、後の処理においてはこの適正顔マップを読み込むことで、適正顔のリストが得られることになる。

理想顔選別部６０Ｂによる理想顔選別ルーチンは、図７に示されているように、まず適正顔マップを読み込んで、適正顔のリストから処理対象顔を指定し（＃６１）、その指定された処理対象顔に属する情報、顔位置：ｐとサイズ：ｓと信頼度：ｒを取り込んで、前設定された評価値決定式：Γ（ｐ,ｓ,ｒ）を用いて評価値を算出し（＃６２）、その評価値を評価値マップに書き込む（＃６３）。次に処理すべき適正顔が適正顔マップに残っているかどうかチェックしながら（＃６４）、適正顔マップにリストされた全ての適正顔の評価値を評価値マップに書き込む。全ての適正顔の評価値が算出されると、基準値決定部６４が評価値マップを参照して最大の評価値をもつ適正顔を基準顔と決定し、理想顔マップに書き込む（＃６５）。

決定された基準顔に対して所定の範囲の画像特性的乖離度をもつ適正顔をも理想顔として選別する処理が続いて選別部６５によって行われる。適正顔マップを参照して適正顔のリストから理想顔となる次候補としての処理対象顔を指定し（＃６６）、その指定された処理対象顔に属する情報、平均濃度：ｄ、方向：ｖ、顔位置：ｐを取り込んで、基準顔との差分値である平均濃度差分値Δｄと方向差分値Δｖと顔位置差分値Δｐを求め、前設定された乖離度決定式：Ｇ（Δｄ,Δｖ,Δｐ）を用いてその乖離度を算出する（＃６７）。算出された乖離度を所定の閾値にかけて、処理対象顔が基準顔に相当する理想顔とみなされた場合だけ（＃６８Yes分岐）、この処理対象顔の情報を理想顔マップに書き込んでおく（＃６９）。次に処理すべき検出顔が残っているかどうかチェックされ（＃７０）、処理対象顔が残っている限りステップ＃６６から＃７０の処理が繰り返され、理想顔と判定された適正顔が順次理想顔マップに書き込まれていく。従って、後の処理においてはこの理想顔マップを読み込むことで、顔検出ユニット４０よって検出された検出顔に中から顔検出情報評価手段６０によって選別された検出顔だけのリストが得られることになる。

〔第２実施形態〕
本発明の第２の実施形態について説明する。この第２の実施形態は、顔検出情報評価手段６０は、複数の検出された顔から理想的な顔だけを選別する理想顔選別部６０Ｂだけを備えており、その前選別部として機能する適正顔判別部６０Ａが省略されていることで、前述した第１の実施形態と異なっている。つまり、ここでは、顔検出ユニット４０から出力された顔検出情報によって規定される顔が全て、理想顔の選別対象として理想顔選別部６０Ｂに入力される。顔検出ユニット４０から出力された顔検出情報に検出顔を１つしかなかった場合は、そのままその検出顔の濃度特性が濃度補正部７０における濃度補正用パラメータの調整に利用することになるが、場合によっては理想顔選別部６０Ｂで用いられている基準顔検定式の値に閾値を設け、これを満足しない限りは、顔の濃度特性を利用した濃度補正の調整をあきらめるように構成してもよい。

この第２の実施形態における顔検出情報評価手段６０による顔検出情報評価周辺の処理手順を以下に説明する。全体的な流れは図８に示されたフローチャートに示されているが、まずメモリ３０に展開されている低解像度画像データに対して顔検出ユニット４０による顔検出処理が行われ、検出顔情報が出力される（＃１０）。もし顔検出ユニット４０で顔が２つ以上検出されなかった場合（＃２０ａNo分岐）、さらに検出された顔の数が１つか又は検出なしかがチェックされ（＃５０ａ）、検出なしの場合（＃５０ａNo分岐）、このフローは中断され、濃度補正部７０において顔領域の濃度特性を用いた濃度補正用パラメータの調整はされずに、一般的な画像全体の濃度特性を用いた濃度補正用パラメータの調整が行われる。検出顔が１つである場合（＃５０ａYes分岐）もこのルーチンは中断されるが、唯一の検出顔の画像情報が濃度補正部７０に渡され、この顔領域の濃度特性を用いた濃度補正用パラメータの調整が濃度補正部７０で行われる。
前選別ルーチンにおいて適正と判別された顔が複数であった場合（＃５０Yes分岐）、後述する理想顔選別部６０Ｂによる理想顔選別ルーチンに入って、複数の適正顔からさらに濃度補正用パラメータの調整に適した理想顔が選別されて、その理想顔の画像情報が濃度補正部７０に渡される。もし検出された顔が２つ以上の場合（＃２０ａYes分岐）、これらの検出顔の顔検出情報が理想顔選別部６０Ｂに渡され、第１の実施形態で説明された顔選別ルーチンが実行される（＃６０）。

〔第３実施形態〕
本発明の第３の実施形態について説明する。この第３の実施形態は、顔検出を上述したような顔検出ユニット４０を用いて自動的に行うのではなく、マウス２５などのポインティングデバイスを用いて手動で行うことで、前述した第２の実施形態と異なっている。このため、ここでは、顔検出ユニット４０は、前述した特許文献１（特開平６−５９３５３号公報）で開示されているように、手動で検出された顔の位置や大きさなどのデータを含む顔検出情報を記憶する顔検出情報記憶部としてのみ機能する。顔検出情報記憶部から読み出された顔検出情報に基づいて、図８で示されたフローチャートのステップ＃２０ａ以下の処理ステップが実行される。

上述した実施の形態では、プリントステーション１Ｂは、印画紙Ｐに対し、露光エンジンを備えたプリント露光部１４で撮影画像の露光を行い、この露光後の印画紙Ｐを複数の現像処理する、いわゆる銀塩写真プリント方式を採用していたが、もちろん、本発明におけるプリントステーション１Ｂは、このような方式に限定されるわけではなく、例えば、フィルムや紙にインクを吐出して画像を形成するインクジェットプリント方式や感熱転写シートを用いた熱転写方式など、種々の写真プリント方式を採用することができる。

本発明は、撮影画像データから検出された顔から写真画像的に適したものだけをさらに選別する技術、特に撮影画像データから写真プリントを作成する写真プリント装置への顔領域濃度による濃度補正調整用組み込みモジュールとして広く利用することができる。

本発明による顔選別技術を採用した写真プリント装置の外観図 写真プリント装置のプリントステーションの構成を模式的に示す模式図 写真プリント装置のコントローラ内に構築される機能要素を説明する機能ブロック図 顔検出情報評価手段の機能構成を示す機能ブロック図 顔検出情報評価の全体の流れを示すフローチャート 前選別ルーチンを示すフローチャート 理想顔選別ルーチンを示すフローチャート 第２の実施形態における顔検出情報評価の全体の流れを示すフローチャート

符号の説明

３０：メモリ
４０：顔検出ユニット（顔検出情報記憶部）
５０：画像処理ユニット
６０：顔検出情報評価手段
６０Ａ：適正顔判別部
６０Ｂ：理想顔選別部
６１：肌色画素検出部
６２：肌割合算出部
６３：判別部
６４：基準顔決定部
６５：選別部
７０：濃度補正部

Claims (10)

1. 濃度補正に用いられる濃度特性曲線を決定するために重要な被写体としての理想顔を、入力された撮影画像データから検出された複数の顔の顔検出情報に基づいて選別する顔選別方法において、
   基準顔決定部により、検出された前記顔のうち、統計的に決定された評価値決定式に対して前記顔検出情報に含まれている顔位置と顔サイズとをパラメータの値として与えて得られる評価値が最大の前記顔を前記理想顔とするとともに、当該評価値が最大の顔を他の前記理想顔を検出するための基準顔として決定するステップと、
   選別部により、統計的に求められた画像特性乖離決定式に対して、前記基準顔と検出された前記顔との前記顔検出情報に基づき、顔位置と顔方向と濃度のそれぞれの差分値をパラメータとして与えることにより、前記理想顔としての適正を表す画像特性乖離度を求め、当該画像特性乖離度が所定閾値以内である顔をさらなる理想顔として前記顔検出情報で規定される顔から選別するステップと、を備えたことを特徴とする顔選別方法。
2. 前記顔検出情報には検出された顔に対する信頼度が含まれており、当該信頼度は、前記評価値決定式のパラメータ、および、前記画像特性乖離決定式のパラメータとして用いられることを特徴とする請求項１に記載の顔選別方法。
3. 前記入力撮影画像データからの顔検出は所定の顔検出アルゴリズムを用いて自動的に行われることを特徴とする請求項１又は２に記載の顔選別方法。
4. 前記入力撮影画像データからの顔検出はモニタに入力撮影画像を見ながらオペレータによって行われることを特徴とする請求項１又は２に記載の顔選別方法。
5. 前記顔検出情報を参照して算出される顔画素の数に対する前記肌色画素の数の割合である肌割合に基づいて適正顔が前選別され、前選別された適正顔から前記基準顔が決定されることを特徴とする請求項３又は４に記載の顔選別方法。
6. 濃度補正に用いられる濃度特性曲線を決定するために重要な被写体としての理想顔を、入力された撮影画像データから検出された複数の顔の顔検出情報に基づいて選別するために、
   検出された前記顔のうち、統計的に決定された評価値決定式に対して前記顔検出情報に含まれている顔位置と顔サイズとをパラメータの値として与えて得られる評価値が最大の前記顔を前記理想顔とするとともに、当該評価値が最大の顔を他の前記理想顔を検出するための基準顔として決定する機能と、統計的に求められた画像特性乖離決定式に対して、前記基準顔と検出された前記顔との前記顔検出情報に基づき、顔位置と顔方向と濃度のそれぞれの差分値をパラメータとして与えることにより、前記理想顔としての適正を表す画像特性乖離度を求め、当該画像特性乖離度が所定閾値以内である顔をさらなる理想顔として前記顔検出情報で規定される顔から選別する機能とをコンピュータに実行させるプログラム。
7. 入力された撮影画像データにおける顔を重要な被写体として濃度補正を行う画像処理装置において、
   前記撮影画像データから検出された顔に関する顔検出情報を記憶する顔検出情報記憶部と、
   検出された前記顔のうち、統計的に決定された評価値決定式に対して前記顔検出情報に含まれている顔位置と顔サイズとをパラメータの値として与えて得られる評価値が最大の前記顔を前記理想顔とするとともに、当該評価値が最大の顔を他の前記理想顔を検出するための基準顔として決定する基準顔決定部と、
   統計的に求められた画像特性乖離決定式に対して、前記基準顔と検出された前記顔との前記顔検出情報に基づき、顔位置と顔方向と濃度のそれぞれの差分値をパラメータとして与えることにより、前記理想顔としての適正を表す画像特性乖離度を求め、当該画像特性乖離度が所定閾値以内である顔をさらなる理想顔として前記顔検出情報で規定される顔から選別する選別部と、
   前記選別部で選別された理想顔の画像情報に基づいて調整されるとともに前記撮影画像データを濃度補正する濃度補正部と、
   から構成されることを特徴とする画像処理装置。
8. 前記顔検出情報には検出された顔に対する信頼度が含まれており、
   前記基準顔決定部は、前記評価値を求める際に、さらに検出された顔に対する信頼度を前記評価値決定式のパラメータとして用いることを特徴とする請求項７に記載の画像処理装置。
9. 前記顔検出情報には検出された顔に対する信頼度が含まれており、
   前記選別部は、前記画像特性乖離度を求める際に、さらに前記基準顔と処理対象顔との信頼度の差分値を前記画像特性乖離決定式のパラメータとして用いることを特徴とする請求項７に記載の画像処理装置。
10. 前記撮影画像データは高解像度データと低解像度データからなり、前記適正顔の判別には低解像度データが用いられ、この低解像度データに基づいて変更された前記補正パラメータを用いて前記濃度補正部は高解像度データを濃度補正することを特徴とする請求項７に記載の画像処理装置。

Images