JP3576025B2 - 主要被写体抽出方法および装置 - Google Patents
主要被写体抽出方法および装置 Download PDFInfo
- Publication number
- JP3576025B2 JP3576025B2 JP05232199A JP5232199A JP3576025B2 JP 3576025 B2 JP3576025 B2 JP 3576025B2 JP 05232199 A JP05232199 A JP 05232199A JP 5232199 A JP5232199 A JP 5232199A JP 3576025 B2 JP3576025 B2 JP 3576025B2
- Authority
- JP
- Japan
- Prior art keywords
- extraction
- subject
- unit
- extracted
- main subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Control Of Exposure In Printing And Copying (AREA)
- Image Processing (AREA)
- Facsimiles In General (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、フォトプリンタ等に好適に利用される、フィルムに撮影された画像等の原画像から主要被写体を抽出する主要被写体抽出方法および装置の技術分野に属する。
【0002】
【従来の技術】
現在、ネガフィルム、リバーサルフィルム等の写真フィルム(以下、フィルムとする)に撮影された画像の感光材料(印画紙)への焼き付けは、フィルムの画像を感光材料に投影して感光材料を面露光する、いわゆる直接露光(アナログ露光)が主流である。
【0003】
これに対し、近年では、デジタル露光を利用する焼付装置、すなわち、フィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を走査露光して画像(潜像)を記録し、(仕上り)プリントとするデジタルフォトプリンタが実用化された。
【0004】
デジタルフォトプリンタでは、画像をデジタルの画像データとして、画像データ処理によって焼付時の露光条件を決定することができるので、逆光やストロボ撮影等に起因する画像の飛びやツブレの補正、シャープネス(鮮鋭化)処理、カラーあるいは濃度フェリアの補正等を好適に行って、従来の直接露光では得られなかった高品位なプリントを得ることができる。また、複数画像の合成や画像分割、さらには文字の合成等も画像データ処理によって行うことができ、用途に応じて自由に編集/処理したプリントも出力可能である。
しかも、デジタルフォトプリンタによれば、画像をプリント(写真)として出力するのみならず、画像データをコンピュータ等に供給したり、フロッピーディスク等の記録媒体に保存しておくこともできるので、画像データを、写真以外の様々な用途に利用することができる。
【0005】
このようなデジタルフォトプリンタは、基本的に、フィルムに記録された画像を光電的に読み取るスキャナ(画像読取装置)、および読み取った画像を画像処理して出力用の画像データ(露光条件)とする画像処理装置を有する画像入力装置と、画像入力装置から出力された画像データに応じて感光材料を走査露光して潜像を記録するプリンタ(画像記録装置)、および露光済の感光材料に現像処理を施してプリントとするプロセサ(現像装置)を有する画像出力装置とを有する。
【0006】
スキャナでは、光源から射出された読取光をフィルムに入射して、フィルムに撮影された画像を担持する投影光を得て、この投影光を結像レンズによってCCDセンサ等のイメージセンサに結像して光電変換することにより画像を読み取り、必要に応じて各種の画像処理を施した後に、フィルムの画像データ(画像データ信号)として画像処理装置に送る。
画像処理装置は、スキャナによって読み取られた画像データから画像処理条件を設定して、設定した条件に応じた画像処理を画像データに施し、画像記録のための出力画像データ(露光条件)としてプリンタに送る。
プリンタでは、例えば、光ビーム走査露光を利用する装置であれば、画像処理装置から送られた画像データに応じて光ビームを変調して、この光ビームを主走査方向に偏向すると共に、主走査方向と直交する副走査方向に感光材料を搬送することにより、画像を担持する光ビームによって感光材料を露光(焼付け)して潜像を形成し、次いで、プロセサにおいて感光材料に応じた現像処理等を施して、フィルムに撮影された画像が再生されたプリント(写真)とする。
【0007】
【発明が解決しようとする課題】
ところで、このようなデジタルフォトプリンタ、通常のアナログのフォトプリンタ(以下、両者をまとめてフォトプリンタという)を問わず、画像中に人物が存在する場合には、人物の顔が最も重要視され、その仕上りが、再生画像すなわちプリントの品質や評価に大きな影響を与える。
【0008】
そのため、従来のフォトプリンタでは、フィルムに撮影された画像から人物の顔(顔領域)を抽出し、顔が好ましく仕上がるように露光条件、すなわち、デジタルフォトプリンタでは出力用の画像データを得るための画像処理条件を、アナログのフォトプリンタでは露光光量や色フィルタの挿入量等を、それぞれ決定している。
特に、デジタルフォトプリンタでは、前述のように、画像データ処理によって非常に自由度の高い画像処理を行うことができるので、顔の情報は、画像に応じた最適な画像処理条件を設定するための重要な情報となり、適正な顔抽出を行うことにより、高品位なプリントを、より安定して作成することが可能となる。
【0009】
このような事情の下、従来より、顔のみならず、各種の主要被写体の抽出を行うための被写体抽出の方法が、各種提案されており、例えば、画像の色相や彩度を用いた肌色抽出や、画像のエッジ部を検出することによる輪郭抽出等が知られている。
しかしながら、フィルムに撮影される画像の状態は、ストロボ撮影、逆光シーン、オーバー(露光過剰)、アンダー(露光不足)、カラーフェリア等の様々な撮影条件で変わるため、これらの方法では、様々な状態の画像に対応して顔抽出を安定して高精度に行うことは困難である。
他方、複数の被写体抽出方法を組み合わせることにより、顔抽出の精度を上げることは可能であるが、様々な状態の画像に対応して、安定的に高精度な顔抽出を行うためには、多数の被写体抽出方法を組み合わせる必要があり、被写体抽出のための処理演算時間の増大を避けることはできず、プリント作成効率の低下等を招く結果となる。
【0010】
本発明の目的は、前記従来技術の問題点を解決することにあり、デジタルおよびアナログのフォトプリンタ等において、様々な状態の画像に対応して、高精度な主要被写体の抽出を、良好な効率で行うことを可能にする主要被写体抽出方法および装置を提供することにある。
【0011】
【課題を解決するための手段】
前記目的を達成するために、本発明は、特性の異なる複数の被写体抽出を行い、各被写体抽出で抽出された被写体を合成して、合成結果が所定の判定基準を満たした場合には、前記合成結果から主要被写体を抽出し、前記合成結果が判定基準を満たさない場合には、さらに、特性の異なる補助被写体抽出を行い、前記合成結果と、この補助被写体抽出による抽出結果とを用いて、主要被写体を抽出することを特徴とする主要被写体抽出方法を提供する。
【0012】
また、前記判定基準が、各被写体抽出による抽出画像を合成した際の領域重複度、および各被写体抽出による抽出画像を合成した際に、各抽出画像の画素単位で付与された点数を用いて得られる画素単位の合計点数の情報の少なくとも一方であるのが好ましい。また、前記複数の被写体抽出はそれぞれ所定のアルゴリズムによって行われ、前記画素単位で付与される点数は、各被写体抽出のアルゴリズムに応じて重み付けされていることが好ましく、前記画素単位で付与される点数は、各被写体抽出による抽出画像を合成した際の各抽出画像の重複した領域において、重複しない領域に比べて大きな点数が付与されていることが好ましい。また、前記合成結果から主要被写体を抽出した際に、抽出した主要被写体の画像特徴量が予め定められた規定値を超えた場合には、前記補助被写体抽出を行い、前記合成結果および/または前記主要被写体抽出結果と、補助被写体抽出による抽出結果とを用いて、主要被写体を抽出するのが好ましく、また、前記合成結果から主要被写体を抽出した際に、抽出された主要被写体が複数で、この複数の主要被写体間の画像特徴量に所定値を超える違いがある場合には、前記補助被写体抽出を行い、補助被写体抽出による抽出結果とを用いて、主要被写体を抽出するのが好ましく、また、前記被写体抽出が、肌色抽出、顔輪郭抽出および円形状抽出から選択される2以上であり、前記補助被写体抽出が、頭髪部抽出、顔内部構造抽出、胴体抽出、非背景部抽出および円形状抽出から選択される1以上であるのが好ましい。
【0013】
また、本発明は、並列処理される、特性の異なる被写体抽出を行う複数の抽出サブユニットおよび各抽出サブユニットの結果により前記被写体抽出の条件判定を行う条件判定部を有する被写体抽出ユニットを少なくとも1つ含む抽出ユニットが複数個カスケード接続されてなり、
前記条件判定部は、前記抽出サブユニットによって抽出された各被写体の判定、または各被写体の画素単位毎に付与された点数の合計点の算出を行い、前記被写体の判定結果または算出された前記合計点に基づいて、抽出処理を適用する後段の少なくとも1つの前記抽出ユニットを選択することを特徴とする主要被写体抽出装置を提供するものである。
【0014】
なお、前記複数の抽出サブユニットで行われる被写体抽出はそれぞれ所定のアルゴリズムによって行われ、前記画素単位で付与される点数は、各被写体抽出のアルゴリズムに応じて重み付けされていることが好ましい。
また、前記抽出ユニットは、被写体抽出を行う1個の抽出サブユニットおよびこの抽出サブユニットの結果により前記被写体抽出の条件判定を行う条件判定部を有するユニット、または前記抽出サブユニットを有さず、カスケード接続された前段の抽出ユニットの結果により、抽出された被写体の条件判定を行う条件判定部のみを持つユニットを少なくとも1つ含むのが好ましい。
また、前記抽出サブユニットは、肌色抽出部、顔輪郭抽出部、円形状抽出部、胴体抽出部、眼部抽出部、頭髪部抽出部、顔内部構造抽出部、非背景部抽出部、ならびに肌色抽出、顔輪郭抽出、円形状抽出、胴体抽出、眼部抽出、頭髪部抽出、顔内部構造抽出および非背景部抽出の少なくとも2種の抽出を行う抽出部から選択される2つ以上であるのが好ましい。
また、前記条件判定部は、並列処理される複数の抽出サブユニットで抽出された特性の異なる被写体の候補を合成し、合成された複数の候補の前記被写体の抽出領域から前記被写体抽出の結果が適正か否かを判定する合成・結果判定部を含むのが好ましい。
また、カスケード接続された前記抽出ユニットの最後段の前記抽出ユニットの条件判定部は、主要被写体を抽出する主要被写体判定部であるのが好ましい。
【0015】
また、本発明は、並列処理される、特性の異なる被写体抽出を行う複数種の抽出サブ工程および各抽出サブ工程の結果により前記被写体抽出の条件判定を行う条件判定サブ工程を有する被写体抽出工程を少なくとも1つ含む抽出工程が、複数段カスケード接続されてなり、
前記条件判定サブ工程では、前記抽出サブ工程によって抽出された前記抽出サブ工程によって抽出された各被写体の判定、または各被写体の画素単位毎に付与された点数の合計点の算出を行い、前記被写体の判定結果または算出された前記合計点に基づいて、抽出処理を適用する後段の少なくとも1つの前記抽出工程を選択することを特徴とする主要被写体抽出方法を提供するものである。
【0016】
なお、前記複数種の抽出サブ工程で行われる被写体抽出はそれぞれ所定のアルゴリズムによって行われ、前記画素単位で付与される点数は、各被写体抽出のアルゴリズムに応じて重み付けされていることが好ましい。
また、前記抽出工程は、被写体抽出を行う1種の抽出サブ工程およびこの抽出サブ工程の結果により前記被写体抽出の条件判定を行う条件判定サブ工程を有する工程、および前記抽出サブ工程を有さず、カスケード接続された前段の抽出工程の結果により、抽出された被写体の候補の条件判定を行う条件判定サブ工程のみを有する工程の少なくとも1つを含むのが好ましい。
また、前記抽出サブ工程は、肌色抽出、顔輪郭抽出、円形状抽出、胴体抽出、眼部抽出または顔内部構造抽出、頭髪部抽出、非背景部抽出、およびこれらの少なくとも2種の抽出の組み合わせから選択される2種以上を含むのが好ましい。
また、前記条件判定サブ工程は、並列処理される複数の抽出サブ工程で抽出された特性の異なる被写体の候補を合成し、合成された複数の候補の前記被写体の抽出領域から前記被写体抽出の結果が適正か否かを判定する合成・結果判定工程を含むのが好ましい。
また、カスケード接続された前記抽出工程の内の最後段の前記抽出工程の条件判定サブ工程は、主要被写体を抽出する主要被写体判定工程であるのが好ましい。
【0017】
【発明の実施の形態】
以下、本発明の主要被写体抽出方法および装置について、添付の図面に示される好適実施例を基に詳細に説明する。
【0018】
図1に、本発明の主要被写体抽出方法および装置を利用するデジタルフォトプリンタの一例のブロック図が示される。
図1に示されるデジタルフォトプリンタ(以下、フォトプリンタ10とする)は、基本的に、フィルムFに撮影された画像を光電的に読み取るスキャナ(画像読取装置)12と、読み取られた画像データ(画像情報)の画像処理やフォトプリンタ10全体の操作および制御等を行う画像処理装置14と、画像処理装置14から出力された画像データに応じて変調した光ビームで感光材料(印画紙)を画像露光し、現像処理して(仕上り)プリントとして出力するプリンタ16とを有する。
また、画像処理装置14には、様々な条件の入力(設定)、処理の選択や指示、色/濃度補正などの指示等を入力するためのキーボード18aおよびマウス18bを有する操作系18と、スキャナ12で読み取られた画像、各種の操作指示、条件の設定/登録画面等を表示するディスプレイ20が接続される。
【0019】
なお、本発明の主要被写体抽出方法および装置は、このようなデジタルフォトプリンタのみならず、フィルムに撮影された画像を光電的に読み取って、得られた画像データから絞り量などの露光光量や色フィルタ挿入量などの色調整量等の露光条件を設定し、この露光条件に応じて、フィルムの投影光で感光材料を露光する、従来の直接露光によるアナログのフォトプリンタにも好適に利用可能である。
【0020】
スキャナ12は、フィルムF等に撮影された画像を1コマずつ光電的に読み取る装置で、光源22と、可変絞り24と、フィルムFに入射する読取光をフィルムFの面方向で均一にする拡散ボックス28と、結像レンズユニット32と、R(赤)、G(緑)およびB(青)の各画像読取に対応するラインCCDセンサを有するイメージセンサ34と、アンプ(増幅器)36と、A/D(アナログ/デジタル)変換器38とを有する。
【0021】
また、フォトプリンタ10においては、新写真システム(Advanced Photo System)や135サイズのネガ(あるいはリバーサル)フィルム等のフィルムの種類やサイズ、ストリップスやスライド等のフィルムの形態等に応じて、スキャナ12の本体に装着自在な専用のキャリアが用意されており、キャリアを交換することにより、各種のフィルムや処理に対応することができる。フィルムに撮影され、プリント作成に供される画像(コマ)は、このキャリアによって所定の読取位置に搬送される。
このようなスキャナ12において、フィルムFに撮影された画像を読み取る際には、光源22から射出され、可変絞り24によって光量調整された読取光が、キャリアによって所定の読取位置に位置されたフィルムFに入射して、透過することにより、フィルムFに撮影された画像を担持する投影光を得る。
【0022】
図示例のキャリア30は、図2(A)に模式的に示されるように、所定の読取位置にフィルムFを位置しつつ、イメージセンサ34のラインCCDセンサの延在方向(主走査方向)と直交する副走査方向に、フィルムFの長手方向を一致させて搬送する、読取位置を副走査方向に挟んで配置される搬送ローラ対30aおよび30bと、フィルムFの投影光を所定のスリット状に規制する、読取位置に対応して位置する主走査方向に延在するスリット40aを有するマスク40とを有する。
フィルムFは、このキャリア30によって読取位置に位置されて副走査方向に搬送されつつ、読取光を入射される。これにより、結果的にフィルムFが主走査方向に延在するスリット40aによって2次元的にスリット走査され、フィルムFに撮影された各コマの画像が読み取られる。
【0023】
なお、図中符号44は、フィルムに光学的に記録されるDXコード、拡張DXコード、FNSコード等のバーコードを読み取るためのコードリーダである。
また、新写真システムのフィルムには、磁気記録媒体が形成されており、新写真システムのフィルム(カートリッジ)に対応するキャリアには、この磁気記録媒体に記録された情報を読み取り、また、必要な情報を記録する磁気ヘッドが配置され、フィルムFの画像読取時に、この磁気ヘッドによって磁気情報が読み取られ、必要な情報が、スキャナ12から画像処理装置14に送られる。
【0024】
前述のように、読取光はキャリア30に保持されたフィルムFを透過して画像を担持する投影光となり、この投影光は、結像レンズユニット32によってイメージセンサ34の受光面に結像される。
図2(B)に示されるように、イメージセンサ34は、R画像の読み取りを行うラインCCDセンサ34R、G画像の読み取りを行うラインCCDセンサ34G、およびB画像の読み取りを行うラインCCDセンサ34Bを有する、いわゆる3ラインのカラーCCDセンサで、各ラインCCDセンサは、前述のように主走査方向に延在している。フィルムFの投影光は、このイメージセンサ34によって、R、GおよびBの3原色に分解されて光電的に読み取られる。
イメージセンサ34の出力信号は、アンプ36で増幅され、A/D変換器38でデジタル信号とされて、画像処理装置14に送られる。
【0025】
スキャナ12においては、フィルムFに撮影された画像の読み取りを、低解像度で読み取るプレスキャンと、出力画像の画像データを得るための本スキャンとの、2回の画像読取で行う。
プレスキャンは、スキャナ12が対象とする全てのフィルムの画像を、イメージセンサ34が飽和することなく読み取れるように、あらかじめ設定された、プレスキャンの読取条件で行われる。一方、本スキャンは、プレスキャンデータから、その画像(コマ)の最低濃度よりも若干低い濃度でイメージセンサ34が飽和するように、各コマ毎に設定された本スキャンの読取条件で行われる。
プレスキャンと本スキャンの出力信号は、解像度と出力レベルが異なる以外は、基本的に同じデータである。
【0026】
なお、本発明の主要被写体抽出方法および装置を利用するデジタルフォトプリンタにおいて、スキャナは、このようなスリット走査読取によるものに限定されず、1コマの画像の全面に読取光を照射して一度に読み取る、面読取を利用するものであってもよい。
この場合には、例えば、エリアCCDセンサを用い、光源とフィルムFとの間に、R、GおよびBの各色フィルタの挿入手段を設け、色フィルタを挿入してエリアCCDセンサで画像を読み取ることを、R、GおよびBの各色フィルタで順次行い、フィルムに撮影された画像を3原色に分解して順次行う。
【0027】
前述のように、スキャナ12から出力されたデジタル信号は、画像処理装置14(以下、処理装置14とする)に出力される。
図3に、処理装置14のブロック図を示す。処理装置14は、データ処理部48、Log変換器50、プレスキャン(フレーム)メモリ52、本スキャン(フレーム)メモリ54、プレスキャン処理部56、本スキャン処理部58、および条件設定部60を有する。
なお、図3は、主に画像処理関連の部位を示すものであり、処理装置14には、これ以外にも、処理装置14を含むフォトプリンタ10全体の制御や管理を行うCPU、フォトプリンタ10の作動等に必要な情報を記憶するメモリ等が配置され、また、操作系18やディスプレイ20は、このCPU等(CPUバス)を介して各部位に接続される。
【0028】
スキャナ12から出力されたR,GおよびBの各デジタル信号は、データ処理部48において、暗時補正、欠陥画素補正、シェーディング補正等の所定のデータ処理を施された後、Log変換器50によって変換されてデジタルの画像データ(濃度データ)とされ、プレスキャンデータはプレスキャンメモリ52に、本スキャンデータは本スキャンメモリ54に、それぞれ記憶(格納)される。
プレスキャンメモリ52に記憶されたプレスキャンデータは、画像データ処理部62(以下、処理部62とする)と画像データ変換部64とを有するプレスキャン処理部56に、他方、本スキャンメモリ54に記憶された本スキャンデータは、画像データ処理部66(以下、処理部66とする)と画像データ変換部68とを有する本スキャン処理部58に読み出され、処理される。
【0029】
プレスキャン処理部56の処理部62と、本スキャン処理部58の処理部66は、後述する条件設定部60が設定した処理条件に応じて、スキャナ12によって読み取られた画像(画像データ)に、所定の画像処理を施す部位で、両者は、解像度が異なる以外は、基本的に、同じ処理を行う。
両処理部による画像処理には特に限定はなく、公知の各種の画像処理が例示されるが、例えば、LUT(ルックアップテーブル)を用いたグレイバランス調整、階調補正、および濃度(明るさ)調整、マトリクス(MTX)による撮影光源種補正や画像の彩度調整(色調整)、その他、ローパスフィルタ、加算器、LUT、MTX等を用いた、また、これらを適宜組み合わせた平均化処理や補間演算等を用いた、電子変倍処理、覆い焼き処理(濃度ダイナミックレンジの圧縮/伸長)、シャープネス(鮮鋭化)処理等が例示される。
これらの各画像処理条件は、プレスキャンデータを用いて後述する条件設定部60において設定される。
【0030】
画像データ変換部68は、処理部66によって処理された画像データを、例えば、3D(三次元)−LUT等を用いて変換して、プリンタ16による画像記録に対応する画像データとしてプリンタ16に供給する。
画像データ変換部64は、処理部62によって処理された画像データを、必要に応じて間引いて、同様に、3D−LUT等を用いて変換して、ディスプレイ20による表示に対応する画像データとしてディスプレイ20に供給する。
両者における処理条件は、プレスキャンデータを用いて後述する条件設定部60で設定される。
【0031】
条件設定部60は、プレスキャン処理部56および本スキャン処理部58における各種の処理条件や、本スキャンの読取条件を設定する。
この条件設定部60は、セットアップ部72、キー補正部74、およびパラメータ統合部76を有する。
【0032】
セットアップ部72は、プレスキャンデータを用いて画像の主要部(主要被写体)を抽出する主要部抽出部72A(以下、抽出部72Aとする)と、抽出部72Aが抽出した主要部の情報、プレスキャンデータ、および必要に応じて行われるオペレータの指示に応じて、本スキャンの読取条件を設定してスキャナ12に供給し、また、プレスキャン処理部56および本スキャン処理部58の画像処理条件を作成(演算)し、パラメータ統合部76に供給する、設定部72Bとを有する。
この抽出部72Aは、本発明の主要被写体抽出方法を実施する本発明の主要被写体抽出装置を構成するものである。
【0033】
図4に、主要部として人物の顔を抽出する本発明の主要被写体抽出方法を実施する本発明の主要被写体抽出装置である抽出部72Aの一実施例のブロック図を示すが、本発明はこれに限定されるわけではない。
抽出部72Aは、肌色・円形状抽出部78、顔輪郭・円形状抽出部80、合成・結果判定部82、切換部84、胴体・眼部抽出部86、および主要部判定部88を有する。
【0034】
肌色・円形状抽出部78は、肌色抽出および円形状抽出を行うことにより、主要部としての顔領域を抽出する。
すなわち、肌色・円形状抽出部78は、プレスキャンデータ(必要に応じて間引いても可)から各画素の色相および彩度を検出し、人の肌に対応する肌色と推定できる画素領域(肌色領域)を抽出する。人の顔は、一般的に楕円形であるので、肌色・円形状抽出部78は、次いで、抽出した肌色領域から、人の顔であると推定される(楕)円形状を抽出して、顔候補領域とする。
【0035】
顔輪郭・円形状抽出部80は、エッジ抽出および円形状抽出を行うことにより、主要部としての顔領域を抽出する。
すなわち、顔輪郭・円形状抽出部80は、まず、プレスキャンデータ(必要に応じて間引いても可)を所定の閾値で2値化し、閾値よりも低濃度の画素で構成される領域(フィルムFがネガであれば、出力されるプリント上では高濃度となるので、この領域を「黒領域」とする)と、閾値よりも高濃度の画素で構成される領域(同様に「白領域」とする)とに分割する。次いで、各黒領域と白領域の輪郭をトレースして、輪郭の曲率を算出し、凹部および凸部を抽出する。あるいは、微分フィルタ処理によるエッジ検出および所定の閾値による2値化を行い、そのエッジに基づいて輪郭をトレースしてもよい。
次いで、トレースした輪郭のラインから、ラインの長さや曲率、凹凸、さらには他のラインとの対称性から、人の顔の側部に対応すると推定されるライン(特定ライン)を抽出して、対称をなす1対の特定ラインの対称軸を設定し、対応するラインの間隔および長さの比(経緯比)と、画像データや2値化データ等からも求めたラインの線対称性類似度から、人の顔の両側部を形成すると仮定できるライン(仮定ライン)を抽出する。
さらに、仮定ラインの上部および下部、すなわち顔と頭髪部および胴体(首や肩)との境界線に対応する位置に、仮定ラインとほぼ直交する方向にベクトルを有するラインが存在するか否かを検出し、存在すれば、必要に応じて先に判定した線対称性類似度も考慮して、このラインを、人の顔の両側部を形成するラインと判定する。
次いで、このラインに囲まれた領域において、前記経緯比に応じた楕円形状を抽出して、顔候補領域とする。
【0036】
合成・結果判定部82は、肌色・円形状抽出部78と顔輪郭・円形状抽出部80とで抽出された顔候補領域を合成して、さらに、この合成顔(候補)領域から、顔抽出の結果が適正か不適性かの判定を行う。
なお、図示例においては、2種の特性の異なる顔抽出を行って、顔領域の合成および判定を行っているが、本発明はこれに限定はされず、3種以上の特性の異なる顔抽出を行って、合成および判定を行ってもよい。
【0037】
合成・結果判定部82は、例えば、図5に示されるように、肌色・円形状抽出部78で抽出された領域Aと、顔輪郭・円形状抽出部80で抽出された領域Bとが重複した領域Cの面積を求め、面積比C/Aおよび面積比C/Bが、共に所定の閾値(Th)を超えていれば、顔抽出結果が適正であると判定し、それ以外の場合には、不適性であると判定する。
合成・結果判定部82における判定方法の別の方法としては、抽出方法等に応じて、抽出した領域の信頼度に応じた重み付けを行い、その合計点で判定する方法が例示される。例えば、図5を参照して、肌色・円形状抽出部78で抽出された領域Aの画素を1点、顔輪郭・円形状抽出部80で抽出された領域Bの画素を1点、両領域が重複した領域Cの画素は3点として、合計点を算出し、合計点がある閾値を超えれば顔抽出結果が適正、閾値以下であれば不適性と判定する。
また、合成・結果判定部82においては、重複領域による判定と重み付け点数の合計点による判定の両者を行い、両方とも適正であると判断した場合、あるいは、いずれか一方が適正であると判断した場合に、顔抽出結果が適正であると判定してもよい。
【0038】
合成・結果判定部82においては、必要に応じて、顔抽出結果の判定基準(上記例では閾値)を変更してもよい。
例えば、人物の顔のアップ等で画像に占める主要部の面積が多いと考えられる場合(前述の肌色面積で判定すればよい)や、ストロボ撮影のシーンでは、高画質な再生画像を得るためには、顔抽出を高精度に行う方が好ましいので、判定基準を厳しくしてもよく、また、この際には、肌色面積等に応じて段階的に判定基準を設定してもよい。逆に、通常のポートレート等であれば、判定基準を厳しくしすぎると、抽出すべき顔領域を落としてしまう場合があるので、判定基準を緩くしてもよい。
判定基準の調整は、画像(データ)の解析結果に応じて抽出部72A(合成・結果判定部82)が行ってもよく、オペレータが判断して指示を入力してもよく、新写真システムのフィルムであれば、磁気情報からストロボ撮影シーン等を検知して調整してもよい。
【0039】
合成・結果判定部82において、抽出結果が適正であると判定された場合には、合成された顔領域(その情報)が主要部判定部88に送られ、画像の主要部が判定される。
主要部判定部88における画像主要部(主要被写体)の判定方法には特に限定はなく、例えば、肌色・円形状抽出部78および顔輪郭・円形状抽出部80で抽出された全領域を主要部と判定してもよく、両者による抽出結果の重複部を主要部と判定してもよい。
主要部判定部88で判定された画像の主要部(主要部領域)の情報は、設定部72Bに供給される。
【0040】
一方、合成・結果判定部82において、抽出結果が不適正であると判定された場合には、さらに、胴体・眼部抽出部86において、補助被写体抽出として、胴体抽出および円形状抽出による顔抽出、ならびに眼部抽出および円形状抽出による顔抽出が行われる。
なお、合成・結果判定部82において、合成された顔の抽出結果が不適正であると判定された場合に、さらに行われる補助被写体抽出は、2種類に限定されず、これ未満あるいはこれを超える数の顔抽出を行ってもよい。
【0041】
前述のように、多数の被写体抽出方法を組み合わせることにより、顔抽出の精度は向上することが可能であるが、多くの被写体抽出方法を行うと、演算や画像処理に時間がかかり、効率が低下する。
これに対し、本発明の主要被写体抽出方法は、まず、特性の異なる複数の被写体抽出方法を組み合わせて行うことにより、通常の画像の際には、これで十分な精度を確保して効率の良い主要被写体抽出を行い、画像状態等に応じて十分な精度が確保できない場合のみ、さらに、他の被写体抽出を併用して、より高精度な主要被写体抽出を行う。
従って、本発明によれば、良好な効率で、十分な精度を確保して主要被写体の抽出を行うことができる。特に、前述の肌色抽出や顔輪郭抽出と円形状抽出とを利用する顔抽出は、低い解像度や比較的簡単な画像解析で、比較的、高精度な顔抽出を行うことができ、通常の画像であれば、両抽出方法を組み合わせれば、十分な精度の顔抽出ができるので、前段の顔抽出としては好適である。
【0042】
胴体・眼部抽出部86において、胴体抽出および円形状抽出による顔抽出は、例えば、以下のように行われる。
まず、前述の顔輪郭抽出と同様にして画像の2値化による白領域と黒領域の分別、両領域の輪郭のトレースを行う。次いで、トレースした輪郭のラインから、端点の距離が近く、ラインの成す角度が所定の範囲内のラインの組を、胴体の首から肩、肩から腕または胴体下部に相当するとして、胴体輪郭の片側となり得るラインの組として抽出する。
次いで、両ラインが連結するまで延長して、胴体輪郭の片側候補となるライン(片側候補ライン)を生成し、各片側候補ラインと胴体輪郭の対を成す可能性があるライン(対称ラインとする)を抽出する。この抽出は、例えば、片側候補ラインと向い合う凹を成す可能性の有無等で行えばよい。さらに、各片側候補ラインと対称ラインとの線対称軸を設定し、両ラインと線対称軸とが成す角度が所定角度内か否かを判別し、その結果から、胴体輪郭と判断できる片側候補ラインと対称ラインとの組を抽出する。
最後に、得られた胴体輪郭の片側候補ラインと対称ラインの位置、大きさ、間隔、および線対称軸の方向に基いて、この胴体輪郭の人の顔に対応する楕円形状を成すと推定される領域を抽出して、顔候補領域とする。
【0043】
他方、胴体・眼部抽出部86において、眼部抽出などの顔内部構造の抽出および円形状抽出による顔抽出は、例えば、以下のように行われる。
まず、前述の顔輪郭抽出と同様にして画像の2値化による白領域と黒領域を分別して、一般的な人の目から求められる、所定範囲の長軸/単軸比を有する楕円形の黒領域を、顔内部構造の一つであるの眼部に対応する可能性がある領域(眼部候補領域とする)として抽出する。次に、抽出した眼部候補領域の長軸の角度を求め、長軸の角度差が所定範囲内の楕円の黒領域を求め、先に抽出した眼部候補領域と対を成す眼部候補領域として抽出する。
このようにして抽出した各眼部候補領域の対に対して、両眼部候補領域の中心を結ぶ線に垂直な線対称軸を設定して、線対称類似度を判定し、それに応じて眼部と推定できる黒領域を抽出する。
最後に、抽出した眼部と推定できる黒領域の位置、大きさ、および線対称軸の方向に基いて、この黒領域を目とする人の顔に対応する楕円形状を成すと推定される領域を抽出して、顔候補領域とする。
なお、抽出される顔内部構造としては、眼部が好ましいが、本発明はこれに限定されず、眼部の他、口部や鼻部や耳部などを抽出するようにしてもよい。
【0044】
胴体・眼部抽出部86における顔領域の抽出結果は、前述の合成・結果判定部82で合成された顔領域と共に、主要部判定部88に送られる。
主要部判定部88は、合成・結果判定部82で合成された顔領域と、胴体・眼部抽出部86で、眼部抽出および円形状抽出によって抽出された顔領域と、胴体抽出および円形状抽出によって抽出された顔領域とを合成して、所定の基準を満たした領域を画像の顔領域として、その情報を設定部72Bに供給する。この判定は、例えば、全抽出方法の重複領域のみを顔領域として判定する方法や、各抽出方法に重み付け点数を設定し、その合計点数が所定の点数以上となった画素の領域を顔領域として判定する方法が例示される。
【0045】
また、前述の合成・結果判定部82で行った操作と同様にして、全抽出方法で抽出した顔領域を合成して抽出結果の適否を判定し、適正となった場合のみ、顔領域の判定を行ってもよい。
なお、抽出結果が適正ではないと判断した場合には、顔抽出を行わない画像処理条件の設定、画像読取のやり直し等の処置を行えばよい。
【0046】
本発明において、被写体の抽出方法はこれに限定はされず、例えば、頭髪部抽出や非背景部抽出等も好適に利用可能である。
これらは、補助被写体抽出や顔抽出の補助情報として、好適に例示される。
【0047】
頭髪部抽出の方法としては、例えば、以下の方法が例示される。
まず、前述の顔輪郭抽出と同様にして画像の2値化による白領域と黒領域を分割し、黒領域の輪郭のトレースを行い、輪郭の曲率を演算する。次いで、この曲率から、人の頭頂部に相当すると考えられる凸部および顔と頭髪部との境界に相当すると考えられる凹部の両者を備える黒領域を抽出して、その凹部と凸部の特徴量、例えば、円曲率を算出して、この円曲率を用いて、円曲度、輪郭周囲長に対する凹部と凸部の比率、輪郭の位置や方向等から、人物の頭髪部であると推定できる輪郭を抽出し、この頭髪部を有する人の顔に対応する楕円形状を成すと推定される領域を抽出して、顔候補領域とする。
【0048】
非背景部抽出の方法は、例えば、以下の方法が例示される。
まず、前述の顔輪郭抽出と同様にして画像の2値化による白領域と黒領域を分割し、各領域の輪郭をトレースして輪郭中の直線の比率を算出し、直線が所定比率以上の領域に重み係数を付与する。次いで、各輪郭に画像の上下方向に伸びる線対称軸を設定し、線対称度を算出し、線対称度が所定値以下の領域に重み係数を付与する。次いで、各輪郭の画像外縁部との接触率を算出し、この接触率が所定値以上の領域に重み係数を付与する。次いで、各領域内部の濃度コントラストを算出し、コントラストが所定値以下の領域に負の重み係数を付与する。さらに、各領域内部の濃度値を異なる複数の所定方向に微分して、複数の方向に沿った微分値のいずれかが規則的に変化している領域、すなわち濃度が所定のパターンで変化し、あるいはこれを繰り返している領域に重み係数を付与する。
以上の操作で重み係数を付与された領域は、いずれも、人物である確率が低い領域であり、この重み係数が所定値以上となった領域は、画像の背景部であると判断できるので、これを顔抽出に利用することができる。
【0049】
なお、上述した各種の被写体抽出方法は、本出願人にかかる特開平8−184925公報等に詳述される。
また、本発明においては、これ以外にも、公知の各種の被写体抽出方法が利用可能であり、例えば、特開平4−346332号、同4−346333号、同4−346334号、同5−100328号、同5−158164号、同5−165119号、同5−165120号、同6−67320号、同6−160992号、同6−160993号、同6−160994号、同6−160995号、同8−122944号、同9−80652号、同9−101579号、同9−138470号、同9−138471号の各公報等に開示される、各種の被写体抽出方法が例示される。
【0050】
ところで、各種の被写体抽出方法において、ストロボ撮影や逆光シーンでは、顔抽出の精度は低下する傾向にあり、しかも、誤抽出による画質への悪影響が通常に比して大きくなってしまうため、顔抽出を高精度に行うのが好ましい。
そのため、本発明の主要被写体抽出方法においては、先の合成・結果判定部82において抽出結果が適正であると判断され、合成・結果判定部82で合成した顔領域を用いて主要部判定部88で主要部を判定した際においても、判定した主要部の画像特徴量が所定範囲をから外れる場合、主要部の画像濃度が所定範囲を超える場合、主要部の画像濃度と全体の画像濃度の平均値の差が所定範囲を超える場合には、胴体・眼部抽出部86等で行われる補助被写体抽出を行って、この抽出結果を加味して主要部の判定を行うのが好ましい。
【0051】
また、同様に合成・結果判定部82で抽出結果が適正であると判断され、合成した顔領域を用いて主要部判定部88で主要部を判定した際に、複数の領域が主要部として判定され、各主要部間の濃度値が所定値以上の差がある場合も、胴体・眼部抽出部86等で行われる補助被写体抽出を行って、この抽出結果を加味して主要部の判定を行うのが好ましい。
ストロボ撮影等で暗部と明部との濃度差が大きい場合に、明部および暗部の両方で主要部が抽出された場合には、通常、両者を単純平均して画像処理条件を設定している。ところが、このような場合は、明部あるいは暗部の1方のみの抽出が適正である場合も少なくなく、主要部の誤抽出が画質に悪影響を与える。そのため、この際にも、顔抽出を高精度に行うのが好ましく、補助被写体抽出を行うのが好ましい。
【0052】
本発明の主要被写体抽出方法を実施する本発明の主要被写体抽出装置の具体的一実施例として図4に示すセットアップ部72の主要部抽出部72Aは、基本的に以上のように構成されるが、本発明はこれに限定されず、図6および図7に示すような構成を有する主要被写体抽出装置を主要部抽出部72Aに適用してもよい。
図6に示す主要部抽出部72Aを構成する主要被写体抽出装置90は、開始(スタート)部91と、N(Nは1以上の整数)段カスケード接続されるN個の抽出ユニット92(921 )、922 、……、92N と、終了(エンド)部93とを有する。
ここで、開始部91は、プレスキャンメモリ52からプレスキャンデータ読み出し、種々の被写体抽出アルゴリズムを開始するため、以下に続くN段の抽出ユニット92に必要な画像データを渡すための部位である。また、終了部93は、本発明における主要被写体抽出方法の実施によって得られた主要被写体の情報を取得し、セットアップ部72の設定部72Bに送るための部位である。
抽出ユニット92は、主要部となる被写体を抽出するための部位であり、どのような被写体をどのようにして抽出するかは特に制限的ではなく、必要に応じて種々の主要部となる被写体を抽出すればよく、それぞれの抽出ユニット921 、922 、……、92N は、カスケード接続される必要があるが、異なる被写体抽出アルゴリズムによって主要被写体の抽出を行うものであるのが好ましい。
【0053】
各抽出ユニット92は、図7に示すように並列処理される特性の異なる被写体抽出を行うMn(図示例ではk(kは0以上の整数))種の抽出サブユニット94(941 )、……、94k と、各抽出サブユニット94の結果により被写体抽出の条件判定を行う条件判定部96とを有する。なお、各抽出ユニット92内の抽出サブユニット94の個数Mnは、n段目の抽出ユニット92n の抽出サブユニット94の個数を表し、0以上の整数であれば、各抽出ユニット92毎に異なっていてもよい。すなわち、抽出ユニット92としては、並列処理される2種以上の抽出サブユニット94と各抽出サブユニット94の結果により被写体抽出の条件判定を行う条件判定部96とを有するユニットを少なくとも1つ含んでいる必要があるが、この他、ただ1個の抽出サブユニット94のみを有するユニットや1個の抽出サブユニット94と条件判定部96を有するユニットを少なくとも1つ含んでいてもよいし、全く抽出サブユニットを有さず、カスケード接続された前段の抽出ユニット92の結果により、抽出された被写体の条件判定を行う条件判定部96のみを持つユニットを少なくとも1つ含んでいてもよい。
【0054】
ここで、抽出サブユニット94は、特性の異なる被写体抽出を行うものであれば、特に制限的ではなく、どのような方法やアルゴリズムを行うものであってもよいし、どのような被写体を抽出するものであってもよい。例えば、主要部として人物の顔を抽出する場合には、抽出サブユニット94としては、肌色抽出部、顔輪郭抽出部、円形状抽出部、胴体抽出部、眼部抽出部または顔内部構造抽出部、頭髪部抽出部、非背景部抽出部、ならびに肌色抽出、顔輪郭抽出、円形状抽出、胴体抽出、眼部抽出または顔内部構造抽出頭髪部抽出および非背景部抽出の少なくとも2種の抽出を行う抽出部を挙げることができるが、好ましくは、抽出ユニット92には、これらの種々の抽出部から選択される2つ以上を有しているのがよい。
【0055】
なお、図4に示す抽出部72Aのように、抽出サブユニットとして肌色・円形状抽出部78および顔輪郭・円形状抽出部80を1つの抽出ユニット内に有し、胴体・眼部抽出部86をただ1個のみの抽出サブユニットとして1つの抽出ユニット内に有する構成としてもよい。また、本発明においては、図4に示すように、2種の抽出工程またはアルゴリズムを行う肌色・円形状抽出部78、顔輪郭・円形状抽出部80および胴体・眼部抽出部86を1個の抽出サブユニットとして用いてもよい。もちろん、1種の抽出工程またはアルゴリズムを行う肌色抽出部、顔輪郭抽出部、円形状抽出部、胴体抽出部、眼部抽出部、顔内部構造抽出部、頭髪部抽出部、非背景部抽出部をそれぞれ1個の抽出サブユニットとして用いてもよい。または肌色抽出部、顔輪郭抽出部、円形状抽出部などの主要な被写体抽出工程を行う抽出サブユニットの少なくとも2種は、同一の抽出ユニット内で並列処理するように構成するのが好ましく、できるだけ上位の段に接続される抽出ユニットの構成要素とするがよい。一方、頭髪部抽出、眼部抽出、顔内部構造抽出、胴体抽出、非背景部抽出および円形状抽出部などの補助被写体抽出工程を行う抽出サブユニットの少なくとも2種は、同一の抽出ユニット内で並列処理するように構成するのが好ましく、主要な被写体抽出工程を行う抽出サブユニットを持つ抽出ユニットより後段の抽出ユニットの構成要素とするのがよい。
なお、上述した例では、複数種の抽出サブユニットとして、異なる抽出工程またはアルゴリズムを行う抽出部を代表例として挙げているが、本発明はこれに限定されず、特性の異なる被写体抽出として、画像の解像度を多段階に変更して同一のアルゴリズムを適用する複数の抽出部を用いてもよい。
【0056】
条件判定部96は、抽出サブユニット94(941 、……、94k )によって抽出された各被写体の候補が主要部または主要被写体として適当であるかどうかの判定、あるいは各被写体、特に適当であると判定された各被写体の抽出領域への重み付けを行い、かつその判定結果または重み付けの結果を移行する、すなわち、それらの結果に基づいて抽出処理を適用する後段または次段の少なくとも1つの抽出ユニット92を選択する。図7に示す例では、条件判定部96は、第i段の抽出ユニット92への移行を選択している。このように、カスケード接続される複数の抽出ユニット92は、1つ次の段の抽出ユニット92のみならず、さらに後段の抽出ユニット92への移行も可能である。ここで、図6に示す例では、抽出ユニット921 および922 は、それぞれ第i段および第j段の抽出ユニット92への移行を選択している。ところで、カスケード接続された抽出ユニット92の最後段の抽出ユニット92の条件判定部96は、最終的に主要被写体を抽出する主要被写体判定部であるのが好ましい。
【0057】
なお、条件判定部96は、各抽出サブユニット94によって抽出された各被写体の抽出領域への重み付けや各被写体候補の適否の判定、かつその結果を移行する後段の1以上の抽出ユニット92を選択するものであれば、どのような判定や重み付けや後段抽出ユニットの選択を行うものであってもよい。また、条件判定部96の条件判定にオペレータが介在してもよい。
図4に示す抽出部72Aの場合には、条件判定部としては、並列処理される複数の抽出サブユニットである肌色・円形状抽出部78および顔輪郭・円形状抽出部80で抽出された特性の異なる被写体の候補を合成し、合成された複数の候補の被写体の抽出領域から被写体抽出の結果が適正か否かを判定する合成・結果判定部82や、最終的に画像の主要部または主要被写体を判定する主要部判定部88を挙げることができる。この主要部判定部88は、抽出サブユニットを持たない最後段の抽出ユニット92の条件判定部の1例とすることができる。
セットアップ部72の抽出部72Aに適用される本発明の主要被写体抽出方法を実施する本発明の主要被写体抽出装置は基本的に以上のように構成される。
【0058】
また、図6および図7に示す主要被写体抽出装置によって、本発明の主要被写体抽出方法を実施することができる。すなわち、ここで行われる主要被写体抽出方法においては、カスケード接続された上述した抽出ユニット921 、922 、……、92N において、それぞれ上述した抽出ステップ(工程)が行われる。各抽出ユニット92の抽出結果は、次々にカスケード接続された後段の抽出ステップの少なくとも1つに適用される。各抽出ユニット92内では、上述した抽出サブユニット941 、……、94k において、上述したそれぞれの抽出サブステップが並列で行われる。その後、その抽出ユニット92の条件判定部96においては、各抽出サブステップの抽出領域の判定や重み付けやこれらの結果を適用する後段の抽出ユニット92の選択などの条件判定サブステップが行われる。各抽出ユニット92、各抽出サブユニット94および条件判定部96においてそれぞれ行われる各抽出ステップ、各抽出サブステップおよび条件判定サブステップなどの各処理ステップの詳細については、上述の通りであるので、その説明を省略する。
以上のような本発明の主要被写体抽出方法は、全ての処理ステップをソフトウエア処理として構成することもできるし、全ての処理ステップを行う全ての処理ユニットからなるハードウエア処理として上述した本発明の主要被写体抽出装置の如く構成することもできるし、各処理ステップ毎にソフトウエアで処理するかユニット構成のハードウエアで処理するかを使い分け、ソフトウエア処理とハードウエア処理が混在する構成としてもよい。
【0059】
セットアップ部72の設定部72Bは、プレスキャンメモリ52からプレスキャンデータを読み出し、プレスキャンデータから、濃度ヒストグラムの作成や、平均濃度、ハイライト(最低濃度)、シャドー(最高濃度)等の画像特徴量の算出を行い、本スキャンの読取条件を決定し、また、濃度ヒストグラムや画像特徴量に加え、抽出部72Aが抽出した画像の主要部、さらには必要に応じて行われるオペレータによる指示等に応じて、グレイバランス調整、階調補正および濃度調整を行うLUTの作成、MTX演算式の作成、鮮鋭度補正係数の算出等、プレスキャン処理部56および本スキャン処理部58における各種の画像処理条件を設定する。
【0060】
キー補正部74は、キーボード18aに設定された濃度(明るさ)、色、コントラスト、シャープネス、彩度調等を調整するキーやマウス18bで入力された各種の指示等に応じて、画像処理条件の調整量を算出し、パラメータ統合部76に供給するものである。
パラメータ統合部76は、設定部72Bが設定した画像処理条件を受け取り、プレスキャン処理部56および本スキャン処理部58に設定し、さらに、キー補正部74で算出された調整量に応じて、各部位に設定した画像処理条件を補正(調整)し、あるいは画像処理条件を再設定する。
【0061】
以下、スキャナ12および処理装置14の作用を説明する。
このフィルムFのプリント作成を依頼されたオペレータは、フィルムFに対応するキャリア30をスキャナ12に装填し、キャリア30の所定位置にフィルムF(カートリッジ)をセットし、作成するプリントサイズ等の必要な指示を入力した後に、プリント作成開始を指示する。
これにより、スキャナ12の可変絞り24の絞り値やイメージセンサ(ラインCCDセンサ)34の蓄積時間がプレスキャンの読取条件に応じて設定され、その後、キャリア30がフィルムFをカートリッジから引き出して、プレスキャンに応じた速度で副走査方向に搬送して、プレスキャンが開始され、前述のように所定の読取位置において、フィルムFがスリット走査されて投影光がイメージセンサ34に結像して、フィルムFに撮影された画像がR,GおよびBに分解されて光電的に読み取られる。
また、このフィルムFの搬送の際に、磁気情報が読み出され、また、コードリーダ44によってDXコード等のバーコードが読まれ、必要な情報が所定の部位に送られる。
【0062】
なお、プレスキャンおよび本スキャンは、1コマずつ行ってもよく、全コマあるいは所定の複数コマずつ、連続的にプレスキャンおよび本スキャンを行ってもよい。以下の例では、説明を簡潔にするために、1コマの画像読取を例に説明を行う。
【0063】
プレスキャンによるイメージセンサ34の出力信号は、アンプ36で増幅されて、A/D変換器38に送られ、デジタル信号とされる。
デジタル信号は、処理装置14に送られ、データ処理部48で所定のデータ処理を施され、Log変換器50でデジタルの画像データであるプレスキャンデータとされ、プレスキャンメモリ52に記憶される。
【0064】
プレスキャンメモリ52にプレスキャンデータが記憶されると、条件設定部60のセットアップ部72がこれを読み出し、抽出部72Aおよび設定部72Bに供給する。
抽出部72Aにおいては、前述のように、肌色・円形状抽出部78および顔輪郭・円形状抽出部80でそれぞれ顔候補領域が抽出され、合成・結果判定部82において両抽出部による顔候補領域が合成されて、抽出結果が判定され、適正である場合には、切換部84によって主要部判定部88に送られて主要部が判定されて、判定された主要部の情報が設定部72Bに送られる。他方、合成・結果判定部82で抽出結果が非適正である判断された場合には、切換部84によって合成結果や画像データが胴体・眼部抽出部86に送られ、胴体抽出や眼部抽出を利用する顔抽出がさらに行われ、抽出結果が主要部判定部88に送られて、主要部が判定されて主要部の情報が設定部72Bに送られる。
【0065】
設定部72Bは、プレスキャンデータから、画像の濃度ヒストグラムの作成、ハイライトやシャドー等の画像特徴量の算出等を行い、本スキャンの読取条件を設定してスキャナ12に供給し、さらに、濃度ヒストグラムや算出した画像特徴量に加え、さらに、抽出部72Aが抽出した主要部、必要に応じて行われるオペレータの指示を加味して、処理部66における画像処理条件を設定し、パラメータ統合部76に供給する。
パラメータ統合部76は、受け取った画像処理条件をプレスキャン処理部56および本スキャン処理部58の所定部位(ハードウエア)に設定する。
【0066】
検定を行う場合には、プレスキャンデータが処理部62によってプレスキャンメモリ52から読み出され、処理部62で処理され、画像データ変換部64で変換されて、シュミレーション画像としてディスプレイ20に表示される。
オペレータは、ディスプレイ20の表示を見て、画像すなわち処理結果の確認(検定)を行い、必要に応じて、キーボード18aに設定された調整キー等を用いて色、濃度、階調等を調整する。
この調整の入力は、キー補正部74に送られ、キー補正部74は調整入力に応じた画像処理条件の補正量を算出し、これをパラメータ統合部76に送る。パラメータ統合部76は、送られた補正量に応じて、前述のように、処理部62および66のLUTやMTX等を補正する。従って、この補正すなわちオペレータによる調整入力に応じて、ディスプレイ20に表示される画像も変化する。
【0067】
オペレータは、このコマの画像が適正(検定OK)であると判定すると、キーボード18a等を用いてプリント開始を指示する。これにより、画像処理条件が確定し、スキャナ12において可変絞り24の絞り値等が設定された本スキャンの読取条件に応じて設定されると共に、キャリア30が本スキャンに対応する速度でフィルムFを搬送し、本スキャンが開始される。
なお、検定を行わない場合には、パラメータ統合部76による本スキャン処理部58への画像処理条件の設定を終了した時点で画像処理条件が確定し、本スキャンが開始される。
【0068】
本スキャンは、可変絞り24の絞り値等の読取条件が設定された本スキャンの読取条件となる以外はプレスキャンと同様に行われ、イメージセンサ34からの出力信号はアンプ36で増幅されて、A/D変換器38でデジタル信号とされ、処理装置14のデータ処理部48で処理されて、Log変換器50で本スキャンデータとされ、本スキャンメモリ54に送られる。
本スキャンデータが本スキャンメモリ54に送られると、本スキャン処理部58によって読み出され、処理部66において確定した画像処理条件で画像処理され、次いで、画像データ変換部68で変換されて出力用の画像データとされ、プリンタ16に出力される。
【0069】
プリンタ16は、供給された画像データに応じて感光材料(印画紙)を露光して潜像を記録するプリンタ(焼付装置)と、露光済の感光材料に所定の処理を施してプリントとして出力するプロセサ(現像装置)とを有する。
プリンタでは、例えば、感光材料をプリントに応じた所定長に切断した後に、バックプリントを記録し、次いで、感光材料の分光感度特性に応じたR露光、G露光およびB露光の3種の光ビームを処理装置14から出力された画像データに応じて変調して主走査方向に偏向すると共に、主走査方向と直交する副走査方向に感光材料を搬送することにより、前記光ビームで感光材料を2次元的に走査露光して潜像を記録し、プロセサに供給する。感光材料を受け取ったプロセサは、発色現像、漂白定着、水洗等の所定の湿式現像処理を行い、乾燥してプリントとし、フィルム1本分等の所定単位に仕分して集積する。
【0070】
ところで、上述した例では、主要部として人物の顔を抽出する場合について説明したが、本発明はこれに限定されず、主要部として人物の顔以外のもの、例えば、ペット、馬などの動物、自動車、山、湖などを抽出してもよい。この場合には、選択された主要部に適した色や形状を用いた抽出アルゴリズムを選択すればよい。
また、上述した例では、1コマに画像内の主要被写体を抽出する場合について説明したが、本発明はこれに限定されず、抽出ユニットの条件判定部における各被写体の抽出領域(エリア)への重み付けにおいて、同一件内の他のコマの被写体の抽出領域との類似性を用いてもよい。すなわち、先のコマの画像における主要被写体の抽出領域と現在抽出対象としているコマの画像の主要被写体の抽出領域との類似性を用いて、現在抽出対象のコマの画像の主要被写体の抽出領域への重み付けを行ってもよい。例えば、抽出領域の大きさを正規化した後に、テンプレートマッチング的な類似性を見ることができる。あるいは、抽出領域のヒストグラムを取って、濃度分布の類似性を見ることもできる。この他、色などの画像特徴量によって画像の類似性を見ることもできる。このように、同一件内の他のコマとの類似性を用いることにより、さらに、主要被写体の抽出に要する演算時間を短縮することができる。
【0071】
以上、本発明の主要被写体抽出方法および装置について詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。
【0072】
【発明の効果】
以上、詳細に説明したように、本発明によれば、デジタルフォトプリンタ等のフォトプリンタにおいて、高精度な主要被写体の抽出を、良好な効率で、様々な状態の画像に対応して安定して行うことができ、高画質な画像が再生された高品位なプリントを、良好な効率で作成することができる。
【図面の簡単な説明】
【図1】本発明の主要被写体抽出方法および装置の一例を利用するデジタルフォトプリンタのブロック図である。
【図2】(A)は、図1に示されるデジタルフォトプリンタに装着されるキャリアを説明するための概略斜視図、(B)は図1に示されるデジタルフォトプリンタのイメージセンサの概念図である。
【図3】図1に示されるデジタルフォトプリンタの画像処理装置のブロック図である。
【図4】図3に示される画像処理装置の抽出部のブロック図である。
【図5】図4に示される抽出部における抽出結果判定方法の一例を説明するための図である。
【図6】図3に示される画像処理装置の抽出部に適用される本発明の主要被写体抽出装置の一実施例のブロック図である。
【図7】図6に示される本発明の主要被写体抽出装置の抽出ユニットの一実施例のブロック図である。
【符号の説明】
10 (デジタル)フォトプリンタ
12 スキャナ
14 (画像)処理装置
16 プリンタ
18 操作系
20 ディスプレイ
22 光源
24 可変絞り
28 拡散ボックス
30 キャリア
32 結像レンズユニット
34 イメージセンサ
34R,34G,34B ラインCCDセンサ
36 アンプ
38 A/D変換器
40 マスク
44 コードリーダ
48 データ処理部
50 Log変換器
52 プレスキャン(フレーム)メモリ
54 本スキャン(フレーム)メモリ
56 プレスキャン処理部
58 本スキャン処理部
60 条件設定部
62,66 (画像データ)処理部
64,68 画像データ変換部
72 セットアップ部
72A (主要部)抽出部
72B 設定部
74 キー補正部
76 パラメータ統合部
78 肌色・円形状抽出部
80 顔輪郭・円形状抽出部
82 合成・結果判定部
86 胴体・眼部抽出部
88 主要部判定部
90 主要被写体抽出部
91 開始部
92,921 ,921 ,…92N 抽出ユニット
93 終了部
94,941 ,…94k 抽出サブユニット
96 条件判定部
Claims (19)
- 特性の異なる複数の被写体抽出を行い、各被写体抽出で抽出された被写体を合成して、合成結果が所定の判定基準を満たした場合には、前記合成結果から主要被写体を抽出し、
前記合成結果が判定基準を満たさない場合には、さらに、特性の異なる補助被写体抽出を行い、前記合成結果と、この補助被写体抽出による抽出結果とを用いて、主要被写体を抽出することを特徴とする主要被写体抽出方法。 - 前記判定基準が、各被写体抽出による抽出画像を合成した際の領域重複度の情報、および各被写体抽出による抽出画像を合成した際に、各抽出画像の画素単位で付与された点数を用いて得られる画素単位の合計点数の情報の少なくとも一方である請求項1に記載の主要被写体抽出方法。
- 前記複数の被写体抽出はそれぞれ所定のアルゴリズムによって行われ、前記画素単位で付与される点数は、各被写体抽出のアルゴリズムに応じて重み付けされていることを特徴とする請求項2に記載の主要被写体抽出方法。
- 前記画素単位で付与される点数は、各被写体抽出による抽出画像を合成した際の各抽出画像の重複した領域において、重複しない領域に比べて大きな点数が付与されていることを特徴とする請求項2または3に記載の主要被写体抽出方法。
- 前記合成結果から主要被写体を抽出した際に、抽出した主要被写体の画像特徴量が予め定められた規定値を超えた場合には、前記補助被写体抽出を行い、前記合成結果と、補助被写体抽出による抽出結果とを用いて、主要被写体を抽出する請求項1〜4のいずれかに記載の主要被写体抽出方法。
- 前記合成結果から主要被写体を抽出した際に、抽出された主要被写体が複数で、この複数の主要被写体間の画像特徴量に所定値を超える違いがある場合には、前記補助被写体抽出を行い、補助被写体抽出による抽出結果とを用いて、主要被写体を抽出する請求項1〜5のいずれかに記載の主要被写体抽出方法。
- 前記被写体抽出が、肌色抽出、顔輪郭抽出および円形状抽出から選択される2以上であり、前記補助被写体抽出が、頭髪部抽出、顔内部構造抽出、胴体抽出、非背景部抽出および円形状抽出から選択される1以上である請求項1〜6のいずれかに記載の主要被写体抽出方法。
- 並列処理される、特性の異なる被写体抽出を行う複数の抽出サブユニットおよび各抽出サブユニットの結果により前記被写体抽出の条件判定を行う条件判定部を有する被写体抽出ユニットを少なくとも1つ含む抽出ユニットが複数個カスケード接続されてなり、
前記条件判定部は、前記抽出サブユニットによって抽出された各被写体の判定、または各被写体の画素単位毎に付与された点数の合計点の算出を行い、前記被写体の判定結果または算出された前記合計点に基づいて、抽出処理を適用する後段の少なくとも1つの前記抽出ユニットを選択することを特徴とする主要被写体抽出装置。 - 前記複数の抽出サブユニットで行われる被写体抽出はそれぞれ所定のアルゴリズムによって行われ、前記画素単位で付与される点数は、各被写体抽出のアルゴリズムに応じて重み付けされていることを特徴とする請求項8に記載の主要被写体抽出装置。
- 前記抽出ユニットは、被写体抽出を行う1個の抽出サブユニットおよびこの抽出サブユニットの結果により前記被写体抽出の条件判定を行う条件判定部を有するユニット、または前記抽出サブユニットを有さず、カスケード接続された前段の抽出ユニットの結果により、抽出された被写体の条件判定を行う条件判定部のみを持つユニットを少なくとも1つ含む請求項8または9に記載の主要被写体抽出装置。
- 前記抽出サブユニットは、肌色抽出部、顔輪郭抽出部、円形状抽出部、胴体抽出部、眼部抽出部、頭髪部抽出部、顔内部構造抽出部、非背景部抽出部、ならびに肌色抽出、顔輪郭抽出、円形状抽出、胴体抽出、眼部抽出、頭髪部抽出、顔内部構造抽出および非背景部抽出の少なくとも2種の抽出を行う抽出部から選択される2つ以上である請求項8〜10のいずれかに記載の主要被写体抽出装置。
- 前記条件判定部は、並列処理される複数の抽出サブユニットで抽出された特性の異なる被写体の候補を合成し、合成された複数の候補の前記被写体の抽出領域から前記被写体抽出の結果が適正か否かを判定する合成・結果判定部を含む請求項8〜11のいずれかに記載の主要被写体抽出装置。
- カスケード接続された前記抽出ユニットの最後段の前記抽出ユニットの条件判定部は、主要被写体を抽出する主要被写体判定部である請求項8〜12のいずれかに記載の主要被写体抽出装置。
- 並列処理される、特性の異なる被写体抽出を行う複数種の抽出サブ工程および各抽出サブ工程の結果により前記被写体抽出の条件判定を行う条件判定サブ工程を有する被写体抽出工程を少なくとも1つ含む抽出工程が、複数段カスケード接続されてなり、
前記条件判定サブ工程では、前記抽出サブ工程によって抽出された各被写体の判定、または各被写体の画素単位毎に付与された点数の合計点の算出を行い、前記被写体の判定結果または算出された前記合計点に基づいて、抽出処理を適用する後段の少なくとも1つの前記抽出工程を選択することを特徴とする主要被写体抽出方法。 - 前記複数種の抽出サブ工程で行われる被写体抽出はそれぞれ所定のアルゴリズムによって行われ、前記画素単位で付与される点数は、各被写体抽出のアルゴリズムに応じて重み付けされていることを特徴とする請求項14に記載の主要被写体抽出装置。
- 前記抽出工程は、被写体抽出を行う1種の抽出サブ工程およびこの抽出サブ工程の結果により前記被写体抽出の条件判定を行う条件判定サブ工程を有する工程、および前記抽出サブ工程を有さず、カスケード接続された前段の抽出工程の結果により、抽出された被写体の候補の条件判定を行う条件判定サブ工程のみを有する工程の少なくとも1つを含む請求項14または15に記載の主要被写体抽出方法。
- 前記抽出サブ工程は、肌色抽出、顔輪郭抽出、円形状抽出、胴体抽出、眼部抽出または顔内部構造抽出、頭髪部抽出、非背景部抽出、およびこれらの少なくとも2種の抽出の組み合わせから選択される2種以上を含む請求項14〜16のいずれかに記載の主要被写体抽出方法。
- 前記条件判定サブ工程は、並列処理される複数の抽出サブ工程で抽出された特性の異なる被写体の候補を合成し、合成された複数の候補の前記被写体の抽出領域から前記被写体抽出の結果が適正か否かを判定する合成・結果判定工程を含む請求項14〜17のいずれかに記載の主要被写体抽出方法。
- カスケード接続された前記抽出工程の内の最後段の前記抽出工程の条件判定サブ工程は、主要被写体を抽出する主要被写体判定工程である請求項14〜18のいずれかに記載の主要被写体抽出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05232199A JP3576025B2 (ja) | 1998-03-02 | 1999-03-01 | 主要被写体抽出方法および装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10-49379 | 1998-03-02 | ||
JP4937998 | 1998-03-02 | ||
JP05232199A JP3576025B2 (ja) | 1998-03-02 | 1999-03-01 | 主要被写体抽出方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11316845A JPH11316845A (ja) | 1999-11-16 |
JP3576025B2 true JP3576025B2 (ja) | 2004-10-13 |
Family
ID=26389768
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP05232199A Expired - Lifetime JP3576025B2 (ja) | 1998-03-02 | 1999-03-01 | 主要被写体抽出方法および装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3576025B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001186323A (ja) * | 1999-12-24 | 2001-07-06 | Fuji Photo Film Co Ltd | 証明写真システム及び画像処理方法 |
JP4911218B2 (ja) * | 2000-03-31 | 2012-04-04 | 富士通株式会社 | 指紋データ合成装置 |
KR100439377B1 (ko) * | 2002-01-17 | 2004-07-09 | 엘지전자 주식회사 | 이동 통신 환경에서의 사람 영역 추출방법 |
US7035461B2 (en) * | 2002-08-22 | 2006-04-25 | Eastman Kodak Company | Method for detecting objects in digital images |
JP3879732B2 (ja) | 2003-11-27 | 2007-02-14 | コニカミノルタホールディングス株式会社 | 物体検出装置、物体検知方法、およびコンピュータプログラム |
EP1722331B1 (en) | 2004-03-03 | 2010-12-01 | NEC Corporation | Image similarity calculation system, image search system, image similarity calculation method, and image similarity calculation program |
US7627148B2 (en) | 2004-07-06 | 2009-12-01 | Fujifilm Corporation | Image data processing apparatus and method, and image data processing program |
JP4645413B2 (ja) * | 2005-11-01 | 2011-03-09 | 株式会社ニコン | 撮像装置 |
JP4905931B2 (ja) * | 2006-07-04 | 2012-03-28 | 富士フイルム株式会社 | 人体領域抽出方法および装置並びにプログラム |
KR100839536B1 (ko) | 2006-12-15 | 2008-06-19 | 주식회사 케이티 | 얼굴 특징점 추출 장치 및 그 방법, 머리카락 추출 장치 및 그 방법, 실사 캐릭터 생성 시스템 및 그 방법 |
KR102414953B1 (ko) * | 2015-06-15 | 2022-06-30 | 한화테크윈 주식회사 | 전경 추출 방법 및 장치 |
-
1999
- 1999-03-01 JP JP05232199A patent/JP3576025B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH11316845A (ja) | 1999-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6529630B1 (en) | Method and device for extracting principal image subjects | |
US7289664B2 (en) | Method of detecting and correcting the red eye | |
US7379591B2 (en) | Method and device for extracting specified image subject | |
JP4050842B2 (ja) | 画像処理方法 | |
JP3657769B2 (ja) | 画像処理方法および画像処理装置 | |
JP3557659B2 (ja) | 顔抽出方法 | |
JP3961734B2 (ja) | 画像処理方法、装置及び記録媒体 | |
US20050276481A1 (en) | Particular-region detection method and apparatus, and program therefor | |
US20040109614A1 (en) | Red eye compensation method, image processing apparatus and method for implementing the red eye compensation method, as well as printing method and printer | |
JP3907816B2 (ja) | 画像処理方法 | |
US6701007B1 (en) | Image processing device, image processing method, and recording medium for correcting color balance of output images | |
JP3576025B2 (ja) | 主要被写体抽出方法および装置 | |
JP2001148780A (ja) | 赤目修正対象領域の設定方法および赤目修正方法 | |
JP4172663B2 (ja) | 画像処理方法 | |
JP3575976B2 (ja) | 主要被写体抽出方法 | |
JP3964796B2 (ja) | 赤目検出および修正方法 | |
JP3576809B2 (ja) | 画像処理装置 | |
JPH08110603A (ja) | 色調整方法および装置 | |
JP4482307B2 (ja) | 画像処理装置 | |
JP4049986B2 (ja) | 出力画像領域調整方法 | |
JP2001103304A (ja) | 特定被写体抽出方法および装置 | |
JP2001076149A (ja) | 主要被写体抽出方法および装置 | |
JP2001155174A (ja) | 画像処理方法および装置 | |
JP2001223891A (ja) | 画像処理方法 | |
JP4285868B2 (ja) | 主要被写体抽出方法、画像処理装置および撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20031216 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040629 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040706 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080716 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080716 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100716 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110716 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110716 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120716 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120716 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130716 Year of fee payment: 9 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |