JP3576025B2 - 主要被写体抽出方法および装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、フォトプリンタ等に好適に利用される、フィルムに撮影された画像等の原画像から主要被写体を抽出する主要被写体抽出方法および装置の技術分野に属する。
【０００２】
【従来の技術】
現在、ネガフィルム、リバーサルフィルム等の写真フィルム（以下、フィルムとする）に撮影された画像の感光材料（印画紙）への焼き付けは、フィルムの画像を感光材料に投影して感光材料を面露光する、いわゆる直接露光（アナログ露光）が主流である。
【０００３】
これに対し、近年では、デジタル露光を利用する焼付装置、すなわち、フィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を走査露光して画像（潜像）を記録し、（仕上り）プリントとするデジタルフォトプリンタが実用化された。
【０００４】
デジタルフォトプリンタでは、画像をデジタルの画像データとして、画像データ処理によって焼付時の露光条件を決定することができるので、逆光やストロボ撮影等に起因する画像の飛びやツブレの補正、シャープネス（鮮鋭化）処理、カラーあるいは濃度フェリアの補正等を好適に行って、従来の直接露光では得られなかった高品位なプリントを得ることができる。また、複数画像の合成や画像分割、さらには文字の合成等も画像データ処理によって行うことができ、用途に応じて自由に編集／処理したプリントも出力可能である。
しかも、デジタルフォトプリンタによれば、画像をプリント（写真）として出力するのみならず、画像データをコンピュータ等に供給したり、フロッピーディスク等の記録媒体に保存しておくこともできるので、画像データを、写真以外の様々な用途に利用することができる。
【０００５】
このようなデジタルフォトプリンタは、基本的に、フィルムに記録された画像を光電的に読み取るスキャナ（画像読取装置）、および読み取った画像を画像処理して出力用の画像データ（露光条件）とする画像処理装置を有する画像入力装置と、画像入力装置から出力された画像データに応じて感光材料を走査露光して潜像を記録するプリンタ（画像記録装置）、および露光済の感光材料に現像処理を施してプリントとするプロセサ（現像装置）を有する画像出力装置とを有する。
【０００６】
スキャナでは、光源から射出された読取光をフィルムに入射して、フィルムに撮影された画像を担持する投影光を得て、この投影光を結像レンズによってＣＣＤセンサ等のイメージセンサに結像して光電変換することにより画像を読み取り、必要に応じて各種の画像処理を施した後に、フィルムの画像データ（画像データ信号）として画像処理装置に送る。
画像処理装置は、スキャナによって読み取られた画像データから画像処理条件を設定して、設定した条件に応じた画像処理を画像データに施し、画像記録のための出力画像データ（露光条件）としてプリンタに送る。
プリンタでは、例えば、光ビーム走査露光を利用する装置であれば、画像処理装置から送られた画像データに応じて光ビームを変調して、この光ビームを主走査方向に偏向すると共に、主走査方向と直交する副走査方向に感光材料を搬送することにより、画像を担持する光ビームによって感光材料を露光（焼付け）して潜像を形成し、次いで、プロセサにおいて感光材料に応じた現像処理等を施して、フィルムに撮影された画像が再生されたプリント（写真）とする。
【０００７】
【発明が解決しようとする課題】
ところで、このようなデジタルフォトプリンタ、通常のアナログのフォトプリンタ（以下、両者をまとめてフォトプリンタという）を問わず、画像中に人物が存在する場合には、人物の顔が最も重要視され、その仕上りが、再生画像すなわちプリントの品質や評価に大きな影響を与える。
【０００８】
そのため、従来のフォトプリンタでは、フィルムに撮影された画像から人物の顔（顔領域）を抽出し、顔が好ましく仕上がるように露光条件、すなわち、デジタルフォトプリンタでは出力用の画像データを得るための画像処理条件を、アナログのフォトプリンタでは露光光量や色フィルタの挿入量等を、それぞれ決定している。
特に、デジタルフォトプリンタでは、前述のように、画像データ処理によって非常に自由度の高い画像処理を行うことができるので、顔の情報は、画像に応じた最適な画像処理条件を設定するための重要な情報となり、適正な顔抽出を行うことにより、高品位なプリントを、より安定して作成することが可能となる。
【０００９】
このような事情の下、従来より、顔のみならず、各種の主要被写体の抽出を行うための被写体抽出の方法が、各種提案されており、例えば、画像の色相や彩度を用いた肌色抽出や、画像のエッジ部を検出することによる輪郭抽出等が知られている。
しかしながら、フィルムに撮影される画像の状態は、ストロボ撮影、逆光シーン、オーバー（露光過剰）、アンダー（露光不足）、カラーフェリア等の様々な撮影条件で変わるため、これらの方法では、様々な状態の画像に対応して顔抽出を安定して高精度に行うことは困難である。
他方、複数の被写体抽出方法を組み合わせることにより、顔抽出の精度を上げることは可能であるが、様々な状態の画像に対応して、安定的に高精度な顔抽出を行うためには、多数の被写体抽出方法を組み合わせる必要があり、被写体抽出のための処理演算時間の増大を避けることはできず、プリント作成効率の低下等を招く結果となる。
【００１０】
本発明の目的は、前記従来技術の問題点を解決することにあり、デジタルおよびアナログのフォトプリンタ等において、様々な状態の画像に対応して、高精度な主要被写体の抽出を、良好な効率で行うことを可能にする主要被写体抽出方法および装置を提供することにある。
【００１１】
【課題を解決するための手段】
前記目的を達成するために、本発明は、特性の異なる複数の被写体抽出を行い、各被写体抽出で抽出された被写体を合成して、合成結果が所定の判定基準を満たした場合には、前記合成結果から主要被写体を抽出し、前記合成結果が判定基準を満たさない場合には、さらに、特性の異なる補助被写体抽出を行い、前記合成結果と、この補助被写体抽出による抽出結果とを用いて、主要被写体を抽出することを特徴とする主要被写体抽出方法を提供する。
【００１２】
また、前記判定基準が、各被写体抽出による抽出画像を合成した際の領域重複度、および各被写体抽出による抽出画像を合成した際に、各抽出画像の画素単位で付与された点数を用いて得られる画素単位の合計点数の情報の少なくとも一方であるのが好ましい。また、前記複数の被写体抽出はそれぞれ所定のアルゴリズムによって行われ、前記画素単位で付与される点数は、各被写体抽出のアルゴリズムに応じて重み付けされていることが好ましく、前記画素単位で付与される点数は、各被写体抽出による抽出画像を合成した際の各抽出画像の重複した領域において、重複しない領域に比べて大きな点数が付与されていることが好ましい。また、前記合成結果から主要被写体を抽出した際に、抽出した主要被写体の画像特徴量が予め定められた規定値を超えた場合には、前記補助被写体抽出を行い、前記合成結果および／または前記主要被写体抽出結果と、補助被写体抽出による抽出結果とを用いて、主要被写体を抽出するのが好ましく、また、前記合成結果から主要被写体を抽出した際に、抽出された主要被写体が複数で、この複数の主要被写体間の画像特徴量に所定値を超える違いがある場合には、前記補助被写体抽出を行い、補助被写体抽出による抽出結果とを用いて、主要被写体を抽出するのが好ましく、また、前記被写体抽出が、肌色抽出、顔輪郭抽出および円形状抽出から選択される２以上であり、前記補助被写体抽出が、頭髪部抽出、顔内部構造抽出、胴体抽出、非背景部抽出および円形状抽出から選択される１以上であるのが好ましい。
【００１３】
また、本発明は、並列処理される、特性の異なる被写体抽出を行う複数の抽出サブユニットおよび各抽出サブユニットの結果により前記被写体抽出の条件判定を行う条件判定部を有する被写体抽出ユニットを少なくとも１つ含む抽出ユニットが複数個カスケード接続されてなり、
前記条件判定部は、前記抽出サブユニットによって抽出された各被写体の判定、または各被写体の画素単位毎に付与された点数の合計点の算出を行い、前記被写体の判定結果または算出された前記合計点に基づいて、抽出処理を適用する後段の少なくとも１つの前記抽出ユニットを選択することを特徴とする主要被写体抽出装置を提供するものである。
【００１４】
なお、前記複数の抽出サブユニットで行われる被写体抽出はそれぞれ所定のアルゴリズムによって行われ、前記画素単位で付与される点数は、各被写体抽出のアルゴリズムに応じて重み付けされていることが好ましい。
また、前記抽出ユニットは、被写体抽出を行う１個の抽出サブユニットおよびこの抽出サブユニットの結果により前記被写体抽出の条件判定を行う条件判定部を有するユニット、または前記抽出サブユニットを有さず、カスケード接続された前段の抽出ユニットの結果により、抽出された被写体の条件判定を行う条件判定部のみを持つユニットを少なくとも１つ含むのが好ましい。
また、前記抽出サブユニットは、肌色抽出部、顔輪郭抽出部、円形状抽出部、胴体抽出部、眼部抽出部、頭髪部抽出部、顔内部構造抽出部、非背景部抽出部、ならびに肌色抽出、顔輪郭抽出、円形状抽出、胴体抽出、眼部抽出、頭髪部抽出、顔内部構造抽出および非背景部抽出の少なくとも２種の抽出を行う抽出部から選択される２つ以上であるのが好ましい。
また、前記条件判定部は、並列処理される複数の抽出サブユニットで抽出された特性の異なる被写体の候補を合成し、合成された複数の候補の前記被写体の抽出領域から前記被写体抽出の結果が適正か否かを判定する合成・結果判定部を含むのが好ましい。
また、カスケード接続された前記抽出ユニットの最後段の前記抽出ユニットの条件判定部は、主要被写体を抽出する主要被写体判定部であるのが好ましい。
【００１５】
また、本発明は、並列処理される、特性の異なる被写体抽出を行う複数種の抽出サブ工程および各抽出サブ工程の結果により前記被写体抽出の条件判定を行う条件判定サブ工程を有する被写体抽出工程を少なくとも１つ含む抽出工程が、複数段カスケード接続されてなり、
前記条件判定サブ工程では、前記抽出サブ工程によって抽出された前記抽出サブ工程によって抽出された各被写体の判定、または各被写体の画素単位毎に付与された点数の合計点の算出を行い、前記被写体の判定結果または算出された前記合計点に基づいて、抽出処理を適用する後段の少なくとも１つの前記抽出工程を選択することを特徴とする主要被写体抽出方法を提供するものである。
【００１６】
なお、前記複数種の抽出サブ工程で行われる被写体抽出はそれぞれ所定のアルゴリズムによって行われ、前記画素単位で付与される点数は、各被写体抽出のアルゴリズムに応じて重み付けされていることが好ましい。
また、前記抽出工程は、被写体抽出を行う１種の抽出サブ工程およびこの抽出サブ工程の結果により前記被写体抽出の条件判定を行う条件判定サブ工程を有する工程、および前記抽出サブ工程を有さず、カスケード接続された前段の抽出工程の結果により、抽出された被写体の候補の条件判定を行う条件判定サブ工程のみを有する工程の少なくとも１つを含むのが好ましい。
また、前記抽出サブ工程は、肌色抽出、顔輪郭抽出、円形状抽出、胴体抽出、眼部抽出または顔内部構造抽出、頭髪部抽出、非背景部抽出、およびこれらの少なくとも２種の抽出の組み合わせから選択される２種以上を含むのが好ましい。
また、前記条件判定サブ工程は、並列処理される複数の抽出サブ工程で抽出された特性の異なる被写体の候補を合成し、合成された複数の候補の前記被写体の抽出領域から前記被写体抽出の結果が適正か否かを判定する合成・結果判定工程を含むのが好ましい。
また、カスケード接続された前記抽出工程の内の最後段の前記抽出工程の条件判定サブ工程は、主要被写体を抽出する主要被写体判定工程であるのが好ましい。
【００１７】
【発明の実施の形態】
以下、本発明の主要被写体抽出方法および装置について、添付の図面に示される好適実施例を基に詳細に説明する。
【００１８】
図１に、本発明の主要被写体抽出方法および装置を利用するデジタルフォトプリンタの一例のブロック図が示される。
図１に示されるデジタルフォトプリンタ（以下、フォトプリンタ１０とする）は、基本的に、フィルムＦに撮影された画像を光電的に読み取るスキャナ（画像読取装置）１２と、読み取られた画像データ（画像情報）の画像処理やフォトプリンタ１０全体の操作および制御等を行う画像処理装置１４と、画像処理装置１４から出力された画像データに応じて変調した光ビームで感光材料（印画紙）を画像露光し、現像処理して（仕上り）プリントとして出力するプリンタ１６とを有する。
また、画像処理装置１４には、様々な条件の入力（設定）、処理の選択や指示、色／濃度補正などの指示等を入力するためのキーボード１８ａおよびマウス１８ｂを有する操作系１８と、スキャナ１２で読み取られた画像、各種の操作指示、条件の設定／登録画面等を表示するディスプレイ２０が接続される。
【００１９】
なお、本発明の主要被写体抽出方法および装置は、このようなデジタルフォトプリンタのみならず、フィルムに撮影された画像を光電的に読み取って、得られた画像データから絞り量などの露光光量や色フィルタ挿入量などの色調整量等の露光条件を設定し、この露光条件に応じて、フィルムの投影光で感光材料を露光する、従来の直接露光によるアナログのフォトプリンタにも好適に利用可能である。
【００２０】
スキャナ１２は、フィルムＦ等に撮影された画像を１コマずつ光電的に読み取る装置で、光源２２と、可変絞り２４と、フィルムＦに入射する読取光をフィルムＦの面方向で均一にする拡散ボックス２８と、結像レンズユニット３２と、Ｒ（赤）、Ｇ（緑）およびＢ（青）の各画像読取に対応するラインＣＣＤセンサを有するイメージセンサ３４と、アンプ（増幅器）３６と、Ａ／Ｄ（アナログ／デジタル）変換器３８とを有する。
【００２１】
また、フォトプリンタ１０においては、新写真システム（Ａｄｖａｎｃｅｄ Ｐｈｏｔｏ Ｓｙｓｔｅｍ）や１３５サイズのネガ（あるいはリバーサル）フィルム等のフィルムの種類やサイズ、ストリップスやスライド等のフィルムの形態等に応じて、スキャナ１２の本体に装着自在な専用のキャリアが用意されており、キャリアを交換することにより、各種のフィルムや処理に対応することができる。フィルムに撮影され、プリント作成に供される画像（コマ）は、このキャリアによって所定の読取位置に搬送される。
このようなスキャナ１２において、フィルムＦに撮影された画像を読み取る際には、光源２２から射出され、可変絞り２４によって光量調整された読取光が、キャリアによって所定の読取位置に位置されたフィルムＦに入射して、透過することにより、フィルムＦに撮影された画像を担持する投影光を得る。
【００２２】
図示例のキャリア３０は、図２（Ａ）に模式的に示されるように、所定の読取位置にフィルムＦを位置しつつ、イメージセンサ３４のラインＣＣＤセンサの延在方向（主走査方向）と直交する副走査方向に、フィルムＦの長手方向を一致させて搬送する、読取位置を副走査方向に挟んで配置される搬送ローラ対３０ａおよび３０ｂと、フィルムＦの投影光を所定のスリット状に規制する、読取位置に対応して位置する主走査方向に延在するスリット４０ａを有するマスク４０とを有する。
フィルムＦは、このキャリア３０によって読取位置に位置されて副走査方向に搬送されつつ、読取光を入射される。これにより、結果的にフィルムＦが主走査方向に延在するスリット４０ａによって２次元的にスリット走査され、フィルムＦに撮影された各コマの画像が読み取られる。
【００２３】
なお、図中符号４４は、フィルムに光学的に記録されるＤＸコード、拡張ＤＸコード、ＦＮＳコード等のバーコードを読み取るためのコードリーダである。
また、新写真システムのフィルムには、磁気記録媒体が形成されており、新写真システムのフィルム（カートリッジ）に対応するキャリアには、この磁気記録媒体に記録された情報を読み取り、また、必要な情報を記録する磁気ヘッドが配置され、フィルムＦの画像読取時に、この磁気ヘッドによって磁気情報が読み取られ、必要な情報が、スキャナ１２から画像処理装置１４に送られる。
【００２４】
前述のように、読取光はキャリア３０に保持されたフィルムＦを透過して画像を担持する投影光となり、この投影光は、結像レンズユニット３２によってイメージセンサ３４の受光面に結像される。
図２（Ｂ）に示されるように、イメージセンサ３４は、Ｒ画像の読み取りを行うラインＣＣＤセンサ３４Ｒ、Ｇ画像の読み取りを行うラインＣＣＤセンサ３４Ｇ、およびＢ画像の読み取りを行うラインＣＣＤセンサ３４Ｂを有する、いわゆる３ラインのカラーＣＣＤセンサで、各ラインＣＣＤセンサは、前述のように主走査方向に延在している。フィルムＦの投影光は、このイメージセンサ３４によって、Ｒ、ＧおよびＢの３原色に分解されて光電的に読み取られる。
イメージセンサ３４の出力信号は、アンプ３６で増幅され、Ａ／Ｄ変換器３８でデジタル信号とされて、画像処理装置１４に送られる。
【００２５】
スキャナ１２においては、フィルムＦに撮影された画像の読み取りを、低解像度で読み取るプレスキャンと、出力画像の画像データを得るための本スキャンとの、２回の画像読取で行う。
プレスキャンは、スキャナ１２が対象とする全てのフィルムの画像を、イメージセンサ３４が飽和することなく読み取れるように、あらかじめ設定された、プレスキャンの読取条件で行われる。一方、本スキャンは、プレスキャンデータから、その画像（コマ）の最低濃度よりも若干低い濃度でイメージセンサ３４が飽和するように、各コマ毎に設定された本スキャンの読取条件で行われる。
プレスキャンと本スキャンの出力信号は、解像度と出力レベルが異なる以外は、基本的に同じデータである。
【００２６】
なお、本発明の主要被写体抽出方法および装置を利用するデジタルフォトプリンタにおいて、スキャナは、このようなスリット走査読取によるものに限定されず、１コマの画像の全面に読取光を照射して一度に読み取る、面読取を利用するものであってもよい。
この場合には、例えば、エリアＣＣＤセンサを用い、光源とフィルムＦとの間に、Ｒ、ＧおよびＢの各色フィルタの挿入手段を設け、色フィルタを挿入してエリアＣＣＤセンサで画像を読み取ることを、Ｒ、ＧおよびＢの各色フィルタで順次行い、フィルムに撮影された画像を３原色に分解して順次行う。
【００２７】
前述のように、スキャナ１２から出力されたデジタル信号は、画像処理装置１４（以下、処理装置１４とする）に出力される。
図３に、処理装置１４のブロック図を示す。処理装置１４は、データ処理部４８、Ｌｏｇ変換器５０、プレスキャン（フレーム）メモリ５２、本スキャン（フレーム）メモリ５４、プレスキャン処理部５６、本スキャン処理部５８、および条件設定部６０を有する。
なお、図３は、主に画像処理関連の部位を示すものであり、処理装置１４には、これ以外にも、処理装置１４を含むフォトプリンタ１０全体の制御や管理を行うＣＰＵ、フォトプリンタ１０の作動等に必要な情報を記憶するメモリ等が配置され、また、操作系１８やディスプレイ２０は、このＣＰＵ等（ＣＰＵバス）を介して各部位に接続される。
【００２８】
スキャナ１２から出力されたＲ，ＧおよびＢの各デジタル信号は、データ処理部４８において、暗時補正、欠陥画素補正、シェーディング補正等の所定のデータ処理を施された後、Ｌｏｇ変換器５０によって変換されてデジタルの画像データ（濃度データ）とされ、プレスキャンデータはプレスキャンメモリ５２に、本スキャンデータは本スキャンメモリ５４に、それぞれ記憶（格納）される。
プレスキャンメモリ５２に記憶されたプレスキャンデータは、画像データ処理部６２（以下、処理部６２とする）と画像データ変換部６４とを有するプレスキャン処理部５６に、他方、本スキャンメモリ５４に記憶された本スキャンデータは、画像データ処理部６６（以下、処理部６６とする）と画像データ変換部６８とを有する本スキャン処理部５８に読み出され、処理される。
【００２９】
プレスキャン処理部５６の処理部６２と、本スキャン処理部５８の処理部６６は、後述する条件設定部６０が設定した処理条件に応じて、スキャナ１２によって読み取られた画像（画像データ）に、所定の画像処理を施す部位で、両者は、解像度が異なる以外は、基本的に、同じ処理を行う。
両処理部による画像処理には特に限定はなく、公知の各種の画像処理が例示されるが、例えば、ＬＵＴ（ルックアップテーブル）を用いたグレイバランス調整、階調補正、および濃度（明るさ）調整、マトリクス（ＭＴＸ）による撮影光源種補正や画像の彩度調整（色調整）、その他、ローパスフィルタ、加算器、ＬＵＴ、ＭＴＸ等を用いた、また、これらを適宜組み合わせた平均化処理や補間演算等を用いた、電子変倍処理、覆い焼き処理（濃度ダイナミックレンジの圧縮／伸長）、シャープネス（鮮鋭化）処理等が例示される。
これらの各画像処理条件は、プレスキャンデータを用いて後述する条件設定部６０において設定される。
【００３０】
画像データ変換部６８は、処理部６６によって処理された画像データを、例えば、３Ｄ（三次元）−ＬＵＴ等を用いて変換して、プリンタ１６による画像記録に対応する画像データとしてプリンタ１６に供給する。
画像データ変換部６４は、処理部６２によって処理された画像データを、必要に応じて間引いて、同様に、３Ｄ−ＬＵＴ等を用いて変換して、ディスプレイ２０による表示に対応する画像データとしてディスプレイ２０に供給する。
両者における処理条件は、プレスキャンデータを用いて後述する条件設定部６０で設定される。
【００３１】
条件設定部６０は、プレスキャン処理部５６および本スキャン処理部５８における各種の処理条件や、本スキャンの読取条件を設定する。
この条件設定部６０は、セットアップ部７２、キー補正部７４、およびパラメータ統合部７６を有する。
【００３２】
セットアップ部７２は、プレスキャンデータを用いて画像の主要部（主要被写体）を抽出する主要部抽出部７２Ａ（以下、抽出部７２Ａとする）と、抽出部７２Ａが抽出した主要部の情報、プレスキャンデータ、および必要に応じて行われるオペレータの指示に応じて、本スキャンの読取条件を設定してスキャナ１２に供給し、また、プレスキャン処理部５６および本スキャン処理部５８の画像処理条件を作成（演算）し、パラメータ統合部７６に供給する、設定部７２Ｂとを有する。
この抽出部７２Ａは、本発明の主要被写体抽出方法を実施する本発明の主要被写体抽出装置を構成するものである。
【００３３】
図４に、主要部として人物の顔を抽出する本発明の主要被写体抽出方法を実施する本発明の主要被写体抽出装置である抽出部７２Ａの一実施例のブロック図を示すが、本発明はこれに限定されるわけではない。
抽出部７２Ａは、肌色・円形状抽出部７８、顔輪郭・円形状抽出部８０、合成・結果判定部８２、切換部８４、胴体・眼部抽出部８６、および主要部判定部８８を有する。
【００３４】
肌色・円形状抽出部７８は、肌色抽出および円形状抽出を行うことにより、主要部としての顔領域を抽出する。
すなわち、肌色・円形状抽出部７８は、プレスキャンデータ（必要に応じて間引いても可）から各画素の色相および彩度を検出し、人の肌に対応する肌色と推定できる画素領域（肌色領域）を抽出する。人の顔は、一般的に楕円形であるので、肌色・円形状抽出部７８は、次いで、抽出した肌色領域から、人の顔であると推定される（楕）円形状を抽出して、顔候補領域とする。
【００３５】
顔輪郭・円形状抽出部８０は、エッジ抽出および円形状抽出を行うことにより、主要部としての顔領域を抽出する。
すなわち、顔輪郭・円形状抽出部８０は、まず、プレスキャンデータ（必要に応じて間引いても可）を所定の閾値で２値化し、閾値よりも低濃度の画素で構成される領域（フィルムＦがネガであれば、出力されるプリント上では高濃度となるので、この領域を「黒領域」とする）と、閾値よりも高濃度の画素で構成される領域（同様に「白領域」とする）とに分割する。次いで、各黒領域と白領域の輪郭をトレースして、輪郭の曲率を算出し、凹部および凸部を抽出する。あるいは、微分フィルタ処理によるエッジ検出および所定の閾値による２値化を行い、そのエッジに基づいて輪郭をトレースしてもよい。
次いで、トレースした輪郭のラインから、ラインの長さや曲率、凹凸、さらには他のラインとの対称性から、人の顔の側部に対応すると推定されるライン（特定ライン）を抽出して、対称をなす１対の特定ラインの対称軸を設定し、対応するラインの間隔および長さの比（経緯比）と、画像データや２値化データ等からも求めたラインの線対称性類似度から、人の顔の両側部を形成すると仮定できるライン（仮定ライン）を抽出する。
さらに、仮定ラインの上部および下部、すなわち顔と頭髪部および胴体（首や肩）との境界線に対応する位置に、仮定ラインとほぼ直交する方向にベクトルを有するラインが存在するか否かを検出し、存在すれば、必要に応じて先に判定した線対称性類似度も考慮して、このラインを、人の顔の両側部を形成するラインと判定する。
次いで、このラインに囲まれた領域において、前記経緯比に応じた楕円形状を抽出して、顔候補領域とする。
【００３６】
合成・結果判定部８２は、肌色・円形状抽出部７８と顔輪郭・円形状抽出部８０とで抽出された顔候補領域を合成して、さらに、この合成顔（候補）領域から、顔抽出の結果が適正か不適性かの判定を行う。
なお、図示例においては、２種の特性の異なる顔抽出を行って、顔領域の合成および判定を行っているが、本発明はこれに限定はされず、３種以上の特性の異なる顔抽出を行って、合成および判定を行ってもよい。
【００３７】
合成・結果判定部８２は、例えば、図５に示されるように、肌色・円形状抽出部７８で抽出された領域Ａと、顔輪郭・円形状抽出部８０で抽出された領域Ｂとが重複した領域Ｃの面積を求め、面積比Ｃ／Ａおよび面積比Ｃ／Ｂが、共に所定の閾値（Ｔｈ）を超えていれば、顔抽出結果が適正であると判定し、それ以外の場合には、不適性であると判定する。
合成・結果判定部８２における判定方法の別の方法としては、抽出方法等に応じて、抽出した領域の信頼度に応じた重み付けを行い、その合計点で判定する方法が例示される。例えば、図５を参照して、肌色・円形状抽出部７８で抽出された領域Ａの画素を１点、顔輪郭・円形状抽出部８０で抽出された領域Ｂの画素を１点、両領域が重複した領域Ｃの画素は３点として、合計点を算出し、合計点がある閾値を超えれば顔抽出結果が適正、閾値以下であれば不適性と判定する。
また、合成・結果判定部８２においては、重複領域による判定と重み付け点数の合計点による判定の両者を行い、両方とも適正であると判断した場合、あるいは、いずれか一方が適正であると判断した場合に、顔抽出結果が適正であると判定してもよい。
【００３８】
合成・結果判定部８２においては、必要に応じて、顔抽出結果の判定基準（上記例では閾値）を変更してもよい。
例えば、人物の顔のアップ等で画像に占める主要部の面積が多いと考えられる場合（前述の肌色面積で判定すればよい）や、ストロボ撮影のシーンでは、高画質な再生画像を得るためには、顔抽出を高精度に行う方が好ましいので、判定基準を厳しくしてもよく、また、この際には、肌色面積等に応じて段階的に判定基準を設定してもよい。逆に、通常のポートレート等であれば、判定基準を厳しくしすぎると、抽出すべき顔領域を落としてしまう場合があるので、判定基準を緩くしてもよい。
判定基準の調整は、画像（データ）の解析結果に応じて抽出部７２Ａ（合成・結果判定部８２）が行ってもよく、オペレータが判断して指示を入力してもよく、新写真システムのフィルムであれば、磁気情報からストロボ撮影シーン等を検知して調整してもよい。
【００３９】
合成・結果判定部８２において、抽出結果が適正であると判定された場合には、合成された顔領域（その情報）が主要部判定部８８に送られ、画像の主要部が判定される。
主要部判定部８８における画像主要部（主要被写体）の判定方法には特に限定はなく、例えば、肌色・円形状抽出部７８および顔輪郭・円形状抽出部８０で抽出された全領域を主要部と判定してもよく、両者による抽出結果の重複部を主要部と判定してもよい。
主要部判定部８８で判定された画像の主要部（主要部領域）の情報は、設定部７２Ｂに供給される。
【００４０】
一方、合成・結果判定部８２において、抽出結果が不適正であると判定された場合には、さらに、胴体・眼部抽出部８６において、補助被写体抽出として、胴体抽出および円形状抽出による顔抽出、ならびに眼部抽出および円形状抽出による顔抽出が行われる。
なお、合成・結果判定部８２において、合成された顔の抽出結果が不適正であると判定された場合に、さらに行われる補助被写体抽出は、２種類に限定されず、これ未満あるいはこれを超える数の顔抽出を行ってもよい。
【００４１】
前述のように、多数の被写体抽出方法を組み合わせることにより、顔抽出の精度は向上することが可能であるが、多くの被写体抽出方法を行うと、演算や画像処理に時間がかかり、効率が低下する。
これに対し、本発明の主要被写体抽出方法は、まず、特性の異なる複数の被写体抽出方法を組み合わせて行うことにより、通常の画像の際には、これで十分な精度を確保して効率の良い主要被写体抽出を行い、画像状態等に応じて十分な精度が確保できない場合のみ、さらに、他の被写体抽出を併用して、より高精度な主要被写体抽出を行う。
従って、本発明によれば、良好な効率で、十分な精度を確保して主要被写体の抽出を行うことができる。特に、前述の肌色抽出や顔輪郭抽出と円形状抽出とを利用する顔抽出は、低い解像度や比較的簡単な画像解析で、比較的、高精度な顔抽出を行うことができ、通常の画像であれば、両抽出方法を組み合わせれば、十分な精度の顔抽出ができるので、前段の顔抽出としては好適である。
【００４２】
胴体・眼部抽出部８６において、胴体抽出および円形状抽出による顔抽出は、例えば、以下のように行われる。
まず、前述の顔輪郭抽出と同様にして画像の２値化による白領域と黒領域の分別、両領域の輪郭のトレースを行う。次いで、トレースした輪郭のラインから、端点の距離が近く、ラインの成す角度が所定の範囲内のラインの組を、胴体の首から肩、肩から腕または胴体下部に相当するとして、胴体輪郭の片側となり得るラインの組として抽出する。
次いで、両ラインが連結するまで延長して、胴体輪郭の片側候補となるライン（片側候補ライン）を生成し、各片側候補ラインと胴体輪郭の対を成す可能性があるライン（対称ラインとする）を抽出する。この抽出は、例えば、片側候補ラインと向い合う凹を成す可能性の有無等で行えばよい。さらに、各片側候補ラインと対称ラインとの線対称軸を設定し、両ラインと線対称軸とが成す角度が所定角度内か否かを判別し、その結果から、胴体輪郭と判断できる片側候補ラインと対称ラインとの組を抽出する。
最後に、得られた胴体輪郭の片側候補ラインと対称ラインの位置、大きさ、間隔、および線対称軸の方向に基いて、この胴体輪郭の人の顔に対応する楕円形状を成すと推定される領域を抽出して、顔候補領域とする。
【００４３】
他方、胴体・眼部抽出部８６において、眼部抽出などの顔内部構造の抽出および円形状抽出による顔抽出は、例えば、以下のように行われる。
まず、前述の顔輪郭抽出と同様にして画像の２値化による白領域と黒領域を分別して、一般的な人の目から求められる、所定範囲の長軸／単軸比を有する楕円形の黒領域を、顔内部構造の一つであるの眼部に対応する可能性がある領域（眼部候補領域とする）として抽出する。次に、抽出した眼部候補領域の長軸の角度を求め、長軸の角度差が所定範囲内の楕円の黒領域を求め、先に抽出した眼部候補領域と対を成す眼部候補領域として抽出する。
このようにして抽出した各眼部候補領域の対に対して、両眼部候補領域の中心を結ぶ線に垂直な線対称軸を設定して、線対称類似度を判定し、それに応じて眼部と推定できる黒領域を抽出する。
最後に、抽出した眼部と推定できる黒領域の位置、大きさ、および線対称軸の方向に基いて、この黒領域を目とする人の顔に対応する楕円形状を成すと推定される領域を抽出して、顔候補領域とする。
なお、抽出される顔内部構造としては、眼部が好ましいが、本発明はこれに限定されず、眼部の他、口部や鼻部や耳部などを抽出するようにしてもよい。
【００４４】
胴体・眼部抽出部８６における顔領域の抽出結果は、前述の合成・結果判定部８２で合成された顔領域と共に、主要部判定部８８に送られる。
主要部判定部８８は、合成・結果判定部８２で合成された顔領域と、胴体・眼部抽出部８６で、眼部抽出および円形状抽出によって抽出された顔領域と、胴体抽出および円形状抽出によって抽出された顔領域とを合成して、所定の基準を満たした領域を画像の顔領域として、その情報を設定部７２Ｂに供給する。この判定は、例えば、全抽出方法の重複領域のみを顔領域として判定する方法や、各抽出方法に重み付け点数を設定し、その合計点数が所定の点数以上となった画素の領域を顔領域として判定する方法が例示される。
【００４５】
また、前述の合成・結果判定部８２で行った操作と同様にして、全抽出方法で抽出した顔領域を合成して抽出結果の適否を判定し、適正となった場合のみ、顔領域の判定を行ってもよい。
なお、抽出結果が適正ではないと判断した場合には、顔抽出を行わない画像処理条件の設定、画像読取のやり直し等の処置を行えばよい。
【００４６】
本発明において、被写体の抽出方法はこれに限定はされず、例えば、頭髪部抽出や非背景部抽出等も好適に利用可能である。
これらは、補助被写体抽出や顔抽出の補助情報として、好適に例示される。
【００４７】
頭髪部抽出の方法としては、例えば、以下の方法が例示される。
まず、前述の顔輪郭抽出と同様にして画像の２値化による白領域と黒領域を分割し、黒領域の輪郭のトレースを行い、輪郭の曲率を演算する。次いで、この曲率から、人の頭頂部に相当すると考えられる凸部および顔と頭髪部との境界に相当すると考えられる凹部の両者を備える黒領域を抽出して、その凹部と凸部の特徴量、例えば、円曲率を算出して、この円曲率を用いて、円曲度、輪郭周囲長に対する凹部と凸部の比率、輪郭の位置や方向等から、人物の頭髪部であると推定できる輪郭を抽出し、この頭髪部を有する人の顔に対応する楕円形状を成すと推定される領域を抽出して、顔候補領域とする。
【００４８】
非背景部抽出の方法は、例えば、以下の方法が例示される。
まず、前述の顔輪郭抽出と同様にして画像の２値化による白領域と黒領域を分割し、各領域の輪郭をトレースして輪郭中の直線の比率を算出し、直線が所定比率以上の領域に重み係数を付与する。次いで、各輪郭に画像の上下方向に伸びる線対称軸を設定し、線対称度を算出し、線対称度が所定値以下の領域に重み係数を付与する。次いで、各輪郭の画像外縁部との接触率を算出し、この接触率が所定値以上の領域に重み係数を付与する。次いで、各領域内部の濃度コントラストを算出し、コントラストが所定値以下の領域に負の重み係数を付与する。さらに、各領域内部の濃度値を異なる複数の所定方向に微分して、複数の方向に沿った微分値のいずれかが規則的に変化している領域、すなわち濃度が所定のパターンで変化し、あるいはこれを繰り返している領域に重み係数を付与する。
以上の操作で重み係数を付与された領域は、いずれも、人物である確率が低い領域であり、この重み係数が所定値以上となった領域は、画像の背景部であると判断できるので、これを顔抽出に利用することができる。
【００４９】
なお、上述した各種の被写体抽出方法は、本出願人にかかる特開平８−１８４９２５公報等に詳述される。
また、本発明においては、これ以外にも、公知の各種の被写体抽出方法が利用可能であり、例えば、特開平４−３４６３３２号、同４−３４６３３３号、同４−３４６３３４号、同５−１００３２８号、同５−１５８１６４号、同５−１６５１１９号、同５−１６５１２０号、同６−６７３２０号、同６−１６０９９２号、同６−１６０９９３号、同６−１６０９９４号、同６−１６０９９５号、同８−１２２９４４号、同９−８０６５２号、同９−１０１５７９号、同９−１３８４７０号、同９−１３８４７１号の各公報等に開示される、各種の被写体抽出方法が例示される。
【００５０】
ところで、各種の被写体抽出方法において、ストロボ撮影や逆光シーンでは、顔抽出の精度は低下する傾向にあり、しかも、誤抽出による画質への悪影響が通常に比して大きくなってしまうため、顔抽出を高精度に行うのが好ましい。
そのため、本発明の主要被写体抽出方法においては、先の合成・結果判定部８２において抽出結果が適正であると判断され、合成・結果判定部８２で合成した顔領域を用いて主要部判定部８８で主要部を判定した際においても、判定した主要部の画像特徴量が所定範囲をから外れる場合、主要部の画像濃度が所定範囲を超える場合、主要部の画像濃度と全体の画像濃度の平均値の差が所定範囲を超える場合には、胴体・眼部抽出部８６等で行われる補助被写体抽出を行って、この抽出結果を加味して主要部の判定を行うのが好ましい。
【００５１】
また、同様に合成・結果判定部８２で抽出結果が適正であると判断され、合成した顔領域を用いて主要部判定部８８で主要部を判定した際に、複数の領域が主要部として判定され、各主要部間の濃度値が所定値以上の差がある場合も、胴体・眼部抽出部８６等で行われる補助被写体抽出を行って、この抽出結果を加味して主要部の判定を行うのが好ましい。
ストロボ撮影等で暗部と明部との濃度差が大きい場合に、明部および暗部の両方で主要部が抽出された場合には、通常、両者を単純平均して画像処理条件を設定している。ところが、このような場合は、明部あるいは暗部の１方のみの抽出が適正である場合も少なくなく、主要部の誤抽出が画質に悪影響を与える。そのため、この際にも、顔抽出を高精度に行うのが好ましく、補助被写体抽出を行うのが好ましい。
【００５２】
本発明の主要被写体抽出方法を実施する本発明の主要被写体抽出装置の具体的一実施例として図４に示すセットアップ部７２の主要部抽出部７２Ａは、基本的に以上のように構成されるが、本発明はこれに限定されず、図６および図７に示すような構成を有する主要被写体抽出装置を主要部抽出部７２Ａに適用してもよい。
図６に示す主要部抽出部７２Ａを構成する主要被写体抽出装置９０は、開始（スタート）部９１と、Ｎ（Ｎは１以上の整数）段カスケード接続されるＮ個の抽出ユニット９２（９２_１ ）、９２_２ 、……、９２_Ｎ と、終了（エンド）部９３とを有する。
ここで、開始部９１は、プレスキャンメモリ５２からプレスキャンデータ読み出し、種々の被写体抽出アルゴリズムを開始するため、以下に続くＮ段の抽出ユニット９２に必要な画像データを渡すための部位である。また、終了部９３は、本発明における主要被写体抽出方法の実施によって得られた主要被写体の情報を取得し、セットアップ部７２の設定部７２Ｂに送るための部位である。
抽出ユニット９２は、主要部となる被写体を抽出するための部位であり、どのような被写体をどのようにして抽出するかは特に制限的ではなく、必要に応じて種々の主要部となる被写体を抽出すればよく、それぞれの抽出ユニット９２_１ 、９２_２ 、……、９２_Ｎ は、カスケード接続される必要があるが、異なる被写体抽出アルゴリズムによって主要被写体の抽出を行うものであるのが好ましい。
【００５３】
各抽出ユニット９２は、図７に示すように並列処理される特性の異なる被写体抽出を行うＭｎ（図示例ではｋ（ｋは０以上の整数））種の抽出サブユニット９４（９４_１ ）、……、９４_ｋ と、各抽出サブユニット９４の結果により被写体抽出の条件判定を行う条件判定部９６とを有する。なお、各抽出ユニット９２内の抽出サブユニット９４の個数Ｍｎは、ｎ段目の抽出ユニット９２_ｎ の抽出サブユニット９４の個数を表し、０以上の整数であれば、各抽出ユニット９２毎に異なっていてもよい。すなわち、抽出ユニット９２としては、並列処理される２種以上の抽出サブユニット９４と各抽出サブユニット９４の結果により被写体抽出の条件判定を行う条件判定部９６とを有するユニットを少なくとも１つ含んでいる必要があるが、この他、ただ１個の抽出サブユニット９４のみを有するユニットや１個の抽出サブユニット９４と条件判定部９６を有するユニットを少なくとも１つ含んでいてもよいし、全く抽出サブユニットを有さず、カスケード接続された前段の抽出ユニット９２の結果により、抽出された被写体の条件判定を行う条件判定部９６のみを持つユニットを少なくとも１つ含んでいてもよい。
【００５４】
ここで、抽出サブユニット９４は、特性の異なる被写体抽出を行うものであれば、特に制限的ではなく、どのような方法やアルゴリズムを行うものであってもよいし、どのような被写体を抽出するものであってもよい。例えば、主要部として人物の顔を抽出する場合には、抽出サブユニット９４としては、肌色抽出部、顔輪郭抽出部、円形状抽出部、胴体抽出部、眼部抽出部または顔内部構造抽出部、頭髪部抽出部、非背景部抽出部、ならびに肌色抽出、顔輪郭抽出、円形状抽出、胴体抽出、眼部抽出または顔内部構造抽出頭髪部抽出および非背景部抽出の少なくとも２種の抽出を行う抽出部を挙げることができるが、好ましくは、抽出ユニット９２には、これらの種々の抽出部から選択される２つ以上を有しているのがよい。
【００５５】
なお、図４に示す抽出部７２Ａのように、抽出サブユニットとして肌色・円形状抽出部７８および顔輪郭・円形状抽出部８０を１つの抽出ユニット内に有し、胴体・眼部抽出部８６をただ１個のみの抽出サブユニットとして１つの抽出ユニット内に有する構成としてもよい。また、本発明においては、図４に示すように、２種の抽出工程またはアルゴリズムを行う肌色・円形状抽出部７８、顔輪郭・円形状抽出部８０および胴体・眼部抽出部８６を１個の抽出サブユニットとして用いてもよい。もちろん、１種の抽出工程またはアルゴリズムを行う肌色抽出部、顔輪郭抽出部、円形状抽出部、胴体抽出部、眼部抽出部、顔内部構造抽出部、頭髪部抽出部、非背景部抽出部をそれぞれ１個の抽出サブユニットとして用いてもよい。または肌色抽出部、顔輪郭抽出部、円形状抽出部などの主要な被写体抽出工程を行う抽出サブユニットの少なくとも２種は、同一の抽出ユニット内で並列処理するように構成するのが好ましく、できるだけ上位の段に接続される抽出ユニットの構成要素とするがよい。一方、頭髪部抽出、眼部抽出、顔内部構造抽出、胴体抽出、非背景部抽出および円形状抽出部などの補助被写体抽出工程を行う抽出サブユニットの少なくとも２種は、同一の抽出ユニット内で並列処理するように構成するのが好ましく、主要な被写体抽出工程を行う抽出サブユニットを持つ抽出ユニットより後段の抽出ユニットの構成要素とするのがよい。
なお、上述した例では、複数種の抽出サブユニットとして、異なる抽出工程またはアルゴリズムを行う抽出部を代表例として挙げているが、本発明はこれに限定されず、特性の異なる被写体抽出として、画像の解像度を多段階に変更して同一のアルゴリズムを適用する複数の抽出部を用いてもよい。
【００５６】
条件判定部９６は、抽出サブユニット９４（９４_１ 、……、９４_ｋ ）によって抽出された各被写体の候補が主要部または主要被写体として適当であるかどうかの判定、あるいは各被写体、特に適当であると判定された各被写体の抽出領域への重み付けを行い、かつその判定結果または重み付けの結果を移行する、すなわち、それらの結果に基づいて抽出処理を適用する後段または次段の少なくとも１つの抽出ユニット９２を選択する。図７に示す例では、条件判定部９６は、第ｉ段の抽出ユニット９２への移行を選択している。このように、カスケード接続される複数の抽出ユニット９２は、１つ次の段の抽出ユニット９２のみならず、さらに後段の抽出ユニット９２への移行も可能である。ここで、図６に示す例では、抽出ユニット９２_１ および９２_２ は、それぞれ第ｉ段および第ｊ段の抽出ユニット９２への移行を選択している。ところで、カスケード接続された抽出ユニット９２の最後段の抽出ユニット９２の条件判定部９６は、最終的に主要被写体を抽出する主要被写体判定部であるのが好ましい。
【００５７】
なお、条件判定部９６は、各抽出サブユニット９４によって抽出された各被写体の抽出領域への重み付けや各被写体候補の適否の判定、かつその結果を移行する後段の１以上の抽出ユニット９２を選択するものであれば、どのような判定や重み付けや後段抽出ユニットの選択を行うものであってもよい。また、条件判定部９６の条件判定にオペレータが介在してもよい。
図４に示す抽出部７２Ａの場合には、条件判定部としては、並列処理される複数の抽出サブユニットである肌色・円形状抽出部７８および顔輪郭・円形状抽出部８０で抽出された特性の異なる被写体の候補を合成し、合成された複数の候補の被写体の抽出領域から被写体抽出の結果が適正か否かを判定する合成・結果判定部８２や、最終的に画像の主要部または主要被写体を判定する主要部判定部８８を挙げることができる。この主要部判定部８８は、抽出サブユニットを持たない最後段の抽出ユニット９２の条件判定部の１例とすることができる。
セットアップ部７２の抽出部７２Ａに適用される本発明の主要被写体抽出方法を実施する本発明の主要被写体抽出装置は基本的に以上のように構成される。
【００５８】
また、図６および図７に示す主要被写体抽出装置によって、本発明の主要被写体抽出方法を実施することができる。すなわち、ここで行われる主要被写体抽出方法においては、カスケード接続された上述した抽出ユニット９２_１ 、９２_２ 、……、９２_Ｎ において、それぞれ上述した抽出ステップ（工程）が行われる。各抽出ユニット９２の抽出結果は、次々にカスケード接続された後段の抽出ステップの少なくとも１つに適用される。各抽出ユニット９２内では、上述した抽出サブユニット９４_１ 、……、９４_ｋ において、上述したそれぞれの抽出サブステップが並列で行われる。その後、その抽出ユニット９２の条件判定部９６においては、各抽出サブステップの抽出領域の判定や重み付けやこれらの結果を適用する後段の抽出ユニット９２の選択などの条件判定サブステップが行われる。各抽出ユニット９２、各抽出サブユニット９４および条件判定部９６においてそれぞれ行われる各抽出ステップ、各抽出サブステップおよび条件判定サブステップなどの各処理ステップの詳細については、上述の通りであるので、その説明を省略する。
以上のような本発明の主要被写体抽出方法は、全ての処理ステップをソフトウエア処理として構成することもできるし、全ての処理ステップを行う全ての処理ユニットからなるハードウエア処理として上述した本発明の主要被写体抽出装置の如く構成することもできるし、各処理ステップ毎にソフトウエアで処理するかユニット構成のハードウエアで処理するかを使い分け、ソフトウエア処理とハードウエア処理が混在する構成としてもよい。
【００５９】
セットアップ部７２の設定部７２Ｂは、プレスキャンメモリ５２からプレスキャンデータを読み出し、プレスキャンデータから、濃度ヒストグラムの作成や、平均濃度、ハイライト（最低濃度）、シャドー（最高濃度）等の画像特徴量の算出を行い、本スキャンの読取条件を決定し、また、濃度ヒストグラムや画像特徴量に加え、抽出部７２Ａが抽出した画像の主要部、さらには必要に応じて行われるオペレータによる指示等に応じて、グレイバランス調整、階調補正および濃度調整を行うＬＵＴの作成、ＭＴＸ演算式の作成、鮮鋭度補正係数の算出等、プレスキャン処理部５６および本スキャン処理部５８における各種の画像処理条件を設定する。
【００６０】
キー補正部７４は、キーボード１８ａに設定された濃度（明るさ）、色、コントラスト、シャープネス、彩度調等を調整するキーやマウス１８ｂで入力された各種の指示等に応じて、画像処理条件の調整量を算出し、パラメータ統合部７６に供給するものである。
パラメータ統合部７６は、設定部７２Ｂが設定した画像処理条件を受け取り、プレスキャン処理部５６および本スキャン処理部５８に設定し、さらに、キー補正部７４で算出された調整量に応じて、各部位に設定した画像処理条件を補正（調整）し、あるいは画像処理条件を再設定する。
【００６１】
以下、スキャナ１２および処理装置１４の作用を説明する。
このフィルムＦのプリント作成を依頼されたオペレータは、フィルムＦに対応するキャリア３０をスキャナ１２に装填し、キャリア３０の所定位置にフィルムＦ（カートリッジ）をセットし、作成するプリントサイズ等の必要な指示を入力した後に、プリント作成開始を指示する。
これにより、スキャナ１２の可変絞り２４の絞り値やイメージセンサ（ラインＣＣＤセンサ）３４の蓄積時間がプレスキャンの読取条件に応じて設定され、その後、キャリア３０がフィルムＦをカートリッジから引き出して、プレスキャンに応じた速度で副走査方向に搬送して、プレスキャンが開始され、前述のように所定の読取位置において、フィルムＦがスリット走査されて投影光がイメージセンサ３４に結像して、フィルムＦに撮影された画像がＲ，ＧおよびＢに分解されて光電的に読み取られる。
また、このフィルムＦの搬送の際に、磁気情報が読み出され、また、コードリーダ４４によってＤＸコード等のバーコードが読まれ、必要な情報が所定の部位に送られる。
【００６２】
なお、プレスキャンおよび本スキャンは、１コマずつ行ってもよく、全コマあるいは所定の複数コマずつ、連続的にプレスキャンおよび本スキャンを行ってもよい。以下の例では、説明を簡潔にするために、１コマの画像読取を例に説明を行う。
【００６３】
プレスキャンによるイメージセンサ３４の出力信号は、アンプ３６で増幅されて、Ａ／Ｄ変換器３８に送られ、デジタル信号とされる。
デジタル信号は、処理装置１４に送られ、データ処理部４８で所定のデータ処理を施され、Ｌｏｇ変換器５０でデジタルの画像データであるプレスキャンデータとされ、プレスキャンメモリ５２に記憶される。
【００６４】
プレスキャンメモリ５２にプレスキャンデータが記憶されると、条件設定部６０のセットアップ部７２がこれを読み出し、抽出部７２Ａおよび設定部７２Ｂに供給する。
抽出部７２Ａにおいては、前述のように、肌色・円形状抽出部７８および顔輪郭・円形状抽出部８０でそれぞれ顔候補領域が抽出され、合成・結果判定部８２において両抽出部による顔候補領域が合成されて、抽出結果が判定され、適正である場合には、切換部８４によって主要部判定部８８に送られて主要部が判定されて、判定された主要部の情報が設定部７２Ｂに送られる。他方、合成・結果判定部８２で抽出結果が非適正である判断された場合には、切換部８４によって合成結果や画像データが胴体・眼部抽出部８６に送られ、胴体抽出や眼部抽出を利用する顔抽出がさらに行われ、抽出結果が主要部判定部８８に送られて、主要部が判定されて主要部の情報が設定部７２Ｂに送られる。
【００６５】
設定部７２Ｂは、プレスキャンデータから、画像の濃度ヒストグラムの作成、ハイライトやシャドー等の画像特徴量の算出等を行い、本スキャンの読取条件を設定してスキャナ１２に供給し、さらに、濃度ヒストグラムや算出した画像特徴量に加え、さらに、抽出部７２Ａが抽出した主要部、必要に応じて行われるオペレータの指示を加味して、処理部６６における画像処理条件を設定し、パラメータ統合部７６に供給する。
パラメータ統合部７６は、受け取った画像処理条件をプレスキャン処理部５６および本スキャン処理部５８の所定部位（ハードウエア）に設定する。
【００６６】
検定を行う場合には、プレスキャンデータが処理部６２によってプレスキャンメモリ５２から読み出され、処理部６２で処理され、画像データ変換部６４で変換されて、シュミレーション画像としてディスプレイ２０に表示される。
オペレータは、ディスプレイ２０の表示を見て、画像すなわち処理結果の確認（検定）を行い、必要に応じて、キーボード１８ａに設定された調整キー等を用いて色、濃度、階調等を調整する。
この調整の入力は、キー補正部７４に送られ、キー補正部７４は調整入力に応じた画像処理条件の補正量を算出し、これをパラメータ統合部７６に送る。パラメータ統合部７６は、送られた補正量に応じて、前述のように、処理部６２および６６のＬＵＴやＭＴＸ等を補正する。従って、この補正すなわちオペレータによる調整入力に応じて、ディスプレイ２０に表示される画像も変化する。
【００６７】
オペレータは、このコマの画像が適正（検定ＯＫ）であると判定すると、キーボード１８ａ等を用いてプリント開始を指示する。これにより、画像処理条件が確定し、スキャナ１２において可変絞り２４の絞り値等が設定された本スキャンの読取条件に応じて設定されると共に、キャリア３０が本スキャンに対応する速度でフィルムＦを搬送し、本スキャンが開始される。
なお、検定を行わない場合には、パラメータ統合部７６による本スキャン処理部５８への画像処理条件の設定を終了した時点で画像処理条件が確定し、本スキャンが開始される。
【００６８】
本スキャンは、可変絞り２４の絞り値等の読取条件が設定された本スキャンの読取条件となる以外はプレスキャンと同様に行われ、イメージセンサ３４からの出力信号はアンプ３６で増幅されて、Ａ／Ｄ変換器３８でデジタル信号とされ、処理装置１４のデータ処理部４８で処理されて、Ｌｏｇ変換器５０で本スキャンデータとされ、本スキャンメモリ５４に送られる。
本スキャンデータが本スキャンメモリ５４に送られると、本スキャン処理部５８によって読み出され、処理部６６において確定した画像処理条件で画像処理され、次いで、画像データ変換部６８で変換されて出力用の画像データとされ、プリンタ１６に出力される。
【００６９】
プリンタ１６は、供給された画像データに応じて感光材料（印画紙）を露光して潜像を記録するプリンタ（焼付装置）と、露光済の感光材料に所定の処理を施してプリントとして出力するプロセサ（現像装置）とを有する。
プリンタでは、例えば、感光材料をプリントに応じた所定長に切断した後に、バックプリントを記録し、次いで、感光材料の分光感度特性に応じたＲ露光、Ｇ露光およびＢ露光の３種の光ビームを処理装置１４から出力された画像データに応じて変調して主走査方向に偏向すると共に、主走査方向と直交する副走査方向に感光材料を搬送することにより、前記光ビームで感光材料を２次元的に走査露光して潜像を記録し、プロセサに供給する。感光材料を受け取ったプロセサは、発色現像、漂白定着、水洗等の所定の湿式現像処理を行い、乾燥してプリントとし、フィルム１本分等の所定単位に仕分して集積する。
【００７０】
ところで、上述した例では、主要部として人物の顔を抽出する場合について説明したが、本発明はこれに限定されず、主要部として人物の顔以外のもの、例えば、ペット、馬などの動物、自動車、山、湖などを抽出してもよい。この場合には、選択された主要部に適した色や形状を用いた抽出アルゴリズムを選択すればよい。
また、上述した例では、１コマに画像内の主要被写体を抽出する場合について説明したが、本発明はこれに限定されず、抽出ユニットの条件判定部における各被写体の抽出領域（エリア）への重み付けにおいて、同一件内の他のコマの被写体の抽出領域との類似性を用いてもよい。すなわち、先のコマの画像における主要被写体の抽出領域と現在抽出対象としているコマの画像の主要被写体の抽出領域との類似性を用いて、現在抽出対象のコマの画像の主要被写体の抽出領域への重み付けを行ってもよい。例えば、抽出領域の大きさを正規化した後に、テンプレートマッチング的な類似性を見ることができる。あるいは、抽出領域のヒストグラムを取って、濃度分布の類似性を見ることもできる。この他、色などの画像特徴量によって画像の類似性を見ることもできる。このように、同一件内の他のコマとの類似性を用いることにより、さらに、主要被写体の抽出に要する演算時間を短縮することができる。
【００７１】
以上、本発明の主要被写体抽出方法および装置について詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。
【００７２】
【発明の効果】
以上、詳細に説明したように、本発明によれば、デジタルフォトプリンタ等のフォトプリンタにおいて、高精度な主要被写体の抽出を、良好な効率で、様々な状態の画像に対応して安定して行うことができ、高画質な画像が再生された高品位なプリントを、良好な効率で作成することができる。
【図面の簡単な説明】
【図１】本発明の主要被写体抽出方法および装置の一例を利用するデジタルフォトプリンタのブロック図である。
【図２】（Ａ）は、図１に示されるデジタルフォトプリンタに装着されるキャリアを説明するための概略斜視図、（Ｂ）は図１に示されるデジタルフォトプリンタのイメージセンサの概念図である。
【図３】図１に示されるデジタルフォトプリンタの画像処理装置のブロック図である。
【図４】図３に示される画像処理装置の抽出部のブロック図である。
【図５】図４に示される抽出部における抽出結果判定方法の一例を説明するための図である。
【図６】図３に示される画像処理装置の抽出部に適用される本発明の主要被写体抽出装置の一実施例のブロック図である。
【図７】図６に示される本発明の主要被写体抽出装置の抽出ユニットの一実施例のブロック図である。
【符号の説明】
１０ （デジタル）フォトプリンタ
１２ スキャナ
１４ （画像）処理装置
１６ プリンタ
１８ 操作系
２０ ディスプレイ
２２ 光源
２４ 可変絞り
２８ 拡散ボックス
３０ キャリア
３２ 結像レンズユニット
３４ イメージセンサ
３４Ｒ，３４Ｇ，３４Ｂ ラインＣＣＤセンサ
３６ アンプ
３８ Ａ／Ｄ変換器
４０ マスク
４４ コードリーダ
４８ データ処理部
５０ Ｌｏｇ変換器
５２ プレスキャン（フレーム）メモリ
５４ 本スキャン（フレーム）メモリ
５６ プレスキャン処理部
５８ 本スキャン処理部
６０ 条件設定部
６２，６６ （画像データ）処理部
６４，６８ 画像データ変換部
７２ セットアップ部
７２Ａ （主要部）抽出部
７２Ｂ 設定部
７４ キー補正部
７６ パラメータ統合部
７８ 肌色・円形状抽出部
８０ 顔輪郭・円形状抽出部
８２ 合成・結果判定部
８６ 胴体・眼部抽出部
８８ 主要部判定部
９０ 主要被写体抽出部
９１ 開始部
９２，９２_１ ，９２_１ ，…９２_Ｎ 抽出ユニット
９３ 終了部
９４，９４_１ ，…９４_ｋ 抽出サブユニット
９６ 条件判定部

Claims (19)

1. 特性の異なる複数の被写体抽出を行い、各被写体抽出で抽出された被写体を合成して、合成結果が所定の判定基準を満たした場合には、前記合成結果から主要被写体を抽出し、
   前記合成結果が判定基準を満たさない場合には、さらに、特性の異なる補助被写体抽出を行い、前記合成結果と、この補助被写体抽出による抽出結果とを用いて、主要被写体を抽出することを特徴とする主要被写体抽出方法。
2. 前記判定基準が、各被写体抽出による抽出画像を合成した際の領域重複度の情報、および各被写体抽出による抽出画像を合成した際に、各抽出画像の画素単位で付与された点数を用いて得られる画素単位の合計点数の情報の少なくとも一方である請求項１に記載の主要被写体抽出方法。
3. 前記複数の被写体抽出はそれぞれ所定のアルゴリズムによって行われ、前記画素単位で付与される点数は、各被写体抽出のアルゴリズムに応じて重み付けされていることを特徴とする請求項２に記載の主要被写体抽出方法。
4. 前記画素単位で付与される点数は、各被写体抽出による抽出画像を合成した際の各抽出画像の重複した領域において、重複しない領域に比べて大きな点数が付与されていることを特徴とする請求項２または３に記載の主要被写体抽出方法。
5. 前記合成結果から主要被写体を抽出した際に、抽出した主要被写体の画像特徴量が予め定められた規定値を超えた場合には、前記補助被写体抽出を行い、前記合成結果と、補助被写体抽出による抽出結果とを用いて、主要被写体を抽出する請求項１〜４のいずれかに記載の主要被写体抽出方法。
6. 前記合成結果から主要被写体を抽出した際に、抽出された主要被写体が複数で、この複数の主要被写体間の画像特徴量に所定値を超える違いがある場合には、前記補助被写体抽出を行い、補助被写体抽出による抽出結果とを用いて、主要被写体を抽出する請求項１〜５のいずれかに記載の主要被写体抽出方法。
7. 前記被写体抽出が、肌色抽出、顔輪郭抽出および円形状抽出から選択される２以上であり、前記補助被写体抽出が、頭髪部抽出、顔内部構造抽出、胴体抽出、非背景部抽出および円形状抽出から選択される１以上である請求項１〜６のいずれかに記載の主要被写体抽出方法。
8. 並列処理される、特性の異なる被写体抽出を行う複数の抽出サブユニットおよび各抽出サブユニットの結果により前記被写体抽出の条件判定を行う条件判定部を有する被写体抽出ユニットを少なくとも１つ含む抽出ユニットが複数個カスケード接続されてなり、
   前記条件判定部は、前記抽出サブユニットによって抽出された各被写体の判定、または各被写体の画素単位毎に付与された点数の合計点の算出を行い、前記被写体の判定結果または算出された前記合計点に基づいて、抽出処理を適用する後段の少なくとも１つの前記抽出ユニットを選択することを特徴とする主要被写体抽出装置。
9. 前記複数の抽出サブユニットで行われる被写体抽出はそれぞれ所定のアルゴリズムによって行われ、前記画素単位で付与される点数は、各被写体抽出のアルゴリズムに応じて重み付けされていることを特徴とする請求項８に記載の主要被写体抽出装置。
10. 前記抽出ユニットは、被写体抽出を行う１個の抽出サブユニットおよびこの抽出サブユニットの結果により前記被写体抽出の条件判定を行う条件判定部を有するユニット、または前記抽出サブユニットを有さず、カスケード接続された前段の抽出ユニットの結果により、抽出された被写体の条件判定を行う条件判定部のみを持つユニットを少なくとも１つ含む請求項８または９に記載の主要被写体抽出装置。
11. 前記抽出サブユニットは、肌色抽出部、顔輪郭抽出部、円形状抽出部、胴体抽出部、眼部抽出部、頭髪部抽出部、顔内部構造抽出部、非背景部抽出部、ならびに肌色抽出、顔輪郭抽出、円形状抽出、胴体抽出、眼部抽出、頭髪部抽出、顔内部構造抽出および非背景部抽出の少なくとも２種の抽出を行う抽出部から選択される２つ以上である請求項８〜１０のいずれかに記載の主要被写体抽出装置。
12. 前記条件判定部は、並列処理される複数の抽出サブユニットで抽出された特性の異なる被写体の候補を合成し、合成された複数の候補の前記被写体の抽出領域から前記被写体抽出の結果が適正か否かを判定する合成・結果判定部を含む請求項８〜１１のいずれかに記載の主要被写体抽出装置。
13. カスケード接続された前記抽出ユニットの最後段の前記抽出ユニットの条件判定部は、主要被写体を抽出する主要被写体判定部である請求項８〜１２のいずれかに記載の主要被写体抽出装置。
14. 並列処理される、特性の異なる被写体抽出を行う複数種の抽出サブ工程および各抽出サブ工程の結果により前記被写体抽出の条件判定を行う条件判定サブ工程を有する被写体抽出工程を少なくとも１つ含む抽出工程が、複数段カスケード接続されてなり、
    前記条件判定サブ工程では、前記抽出サブ工程によって抽出された各被写体の判定、または各被写体の画素単位毎に付与された点数の合計点の算出を行い、前記被写体の判定結果または算出された前記合計点に基づいて、抽出処理を適用する後段の少なくとも１つの前記抽出工程を選択することを特徴とする主要被写体抽出方法。
15. 前記複数種の抽出サブ工程で行われる被写体抽出はそれぞれ所定のアルゴリズムによって行われ、前記画素単位で付与される点数は、各被写体抽出のアルゴリズムに応じて重み付けされていることを特徴とする請求項１４に記載の主要被写体抽出装置。
16. 前記抽出工程は、被写体抽出を行う１種の抽出サブ工程およびこの抽出サブ工程の結果により前記被写体抽出の条件判定を行う条件判定サブ工程を有する工程、および前記抽出サブ工程を有さず、カスケード接続された前段の抽出工程の結果により、抽出された被写体の候補の条件判定を行う条件判定サブ工程のみを有する工程の少なくとも１つを含む請求項１４または１５に記載の主要被写体抽出方法。
17. 前記抽出サブ工程は、肌色抽出、顔輪郭抽出、円形状抽出、胴体抽出、眼部抽出または顔内部構造抽出、頭髪部抽出、非背景部抽出、およびこれらの少なくとも２種の抽出の組み合わせから選択される２種以上を含む請求項１４〜１６のいずれかに記載の主要被写体抽出方法。
18. 前記条件判定サブ工程は、並列処理される複数の抽出サブ工程で抽出された特性の異なる被写体の候補を合成し、合成された複数の候補の前記被写体の抽出領域から前記被写体抽出の結果が適正か否かを判定する合成・結果判定工程を含む請求項１４〜１７のいずれかに記載の主要被写体抽出方法。
19. カスケード接続された前記抽出工程の内の最後段の前記抽出工程の条件判定サブ工程は、主要被写体を抽出する主要被写体判定工程である請求項１４〜１８のいずれかに記載の主要被写体抽出方法。

Images