JPH11261812A

JPH11261812A - 主要被写体抽出方法

Info

Publication number: JPH11261812A
Application number: JP10057854A
Authority: JP
Inventors: Naoto Kaneshiro; 金城　　直人
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 1998-03-10
Filing date: 1998-03-10
Publication date: 1999-09-24
Anticipated expiration: 2018-03-10
Also published as: JP3575976B2

Abstract

(57)【要約】【課題】フォトプリンタ等において、様々な状態の画像
や主要被写体に対応して、画像中の主要被写体の抽出
を、良好な効率および精度で行うことができる主要被写
体抽出方法を提供する。【解決手段】画像の主要被写体の状態を複数種に分類
し、各主要被写体の状態毎に適正な主要被写体抽出パラ
メータを設定しておき、画像の類似性を判定し、主要被
写体を抽出される画像と、主要被写体抽出済の画像との
間に類似性があると判定した場合には、主要被写体抽出
済の画像の主要被写体状態に対応する主要被写体抽出パ
ラメータを用いて主要被写体抽出を行うことにより、前
記課題を解決する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、フォトプリンタ等
に好適に利用される、フィルムに撮影された画像等の原
画像から主要被写体を抽出する主要被写体抽出の技術分
野に属する。

【０００２】

【従来の技術】現在、ネガフィルム、リバーサルフィル
ム等の写真フィルム（以下、フィルムとする）に撮影さ
れた画像の感光材料（印画紙）への焼き付けは、フィル
ムの画像を感光材料に投影して感光材料を面露光する、
いわゆる直接露光（アナログ露光）が主流である。

【０００３】これに対し、近年では、デジタル露光を利
用する焼付装置、すなわち、フィルムに記録された画像
を光電的に読み取って、読み取った画像をデジタル信号
とした後、種々の画像処理を施して記録用の画像データ
とし、この画像データに応じて変調した記録光によって
感光材料を走査露光して画像（潜像）を記録し、（仕上
り）プリントとするデジタルフォトプリンタが実用化さ
れた。

【０００４】デジタルフォトプリンタでは、画像をデジ
タルの画像データとして、画像データ処理によって焼付
時の露光条件を決定することができるので、逆光やスト
ロボ撮影等に起因する画像の飛びやツブレの補正、シャ
ープネス（鮮鋭化）処理、カラーあるいは濃度フェリア
の補正等を好適に行って、従来の直接露光では得られな
かった高品位なプリントを得ることができる。また、複
数画像の合成や画像分割、さらには文字の合成等も画像
データ処理によって行うことができ、用途に応じて自由
に編集／処理したプリントも出力可能である。しかも、
デジタルフォトプリンタによれば、画像をプリント（写
真）として出力するのみならず、画像データをコンピュ
ータ等に供給したり、フロッピーディスク等の記録媒体
に保存しておくこともできるので、画像データを、写真
以外の様々な用途に利用することができる。

【０００５】このようなデジタルフォトプリンタは、基
本的に、フィルムに記録された画像を光電的に読み取る
スキャナ（画像読取装置）、および読み取った画像を画
像処理して出力用の画像データ（露光条件）とする画像
処理装置を有する画像入力装置と、画像入力装置から出
力された画像データに応じて感光材料を走査露光して潜
像を記録するプリンタ（画像記録装置）、および露光済
の感光材料に現像処理を施してプリントとするプロセサ
（現像装置）を有する画像出力装置とを有して構成され
る。

【０００６】スキャナでは、光源から射出された読取光
をフィルムに入射して、フィルムに撮影された画像を担
持する投影光を得て、この投影光を結像レンズによって
ＣＣＤセンサ等のイメージセンサに結像して光電変換す
ることにより画像を読み取り、必要に応じて各種の画像
処理を施した後に、フィルムの画像データ（画像データ
信号）として画像処理装置に送る。画像処理装置は、ス
キャナによって読み取られた画像データから画像処理条
件を設定して、設定した条件に応じた画像処理を画像デ
ータに施し、画像記録のための出力画像データ（露光条
件）としてプリンタに送る。プリンタでは、例えば、光
ビーム走査露光を利用する装置であれば、画像処理装置
から送られた画像データに応じて光ビームを変調して、
この光ビームを主走査方向に偏向すると共に、主走査方
向と直交する副走査方向に感光材料を搬送することによ
り、画像を担持する光ビームによって感光材料を露光
（焼付け）して潜像を形成し、次いで、プロセサにおい
て感光材料に応じた現像処理等を施して、フィルムに撮
影された画像が再生されたプリント（写真）とする。

【０００７】

【発明が解決しようとする課題】ところで、このような
デジタルフォトプリンタ、通常のアナログのフォトプリ
ンタ（以下、両者をまとめてフォトプリンタという）を
問わず、画像中に人物が存在する場合には、人物の顔が
最も重要視され、その仕上りが、再生画像すなわちプリ
ントの品質や評価に大きな影響を与える。

【０００８】そのため、従来のフォトプリンタでは、フ
ィルムに撮影された画像から人物の顔（顔領域）を抽出
し、顔が好ましく仕上がるように露光条件、すなわち、
デジタルフォトプリンタでは出力用の画像データを得る
ための画像処理条件を、アナログのフォトプリンタでは
露光光量や色フィルタの挿入量等を、それぞれ決定して
いる。特に、デジタルフォトプリンタでは、前述のよう
に、画像データ処理によって非常に自由度の高い画像処
理を行うことができるので、顔の情報は、画像に応じた
最適な画像処理条件を設定するための重要な情報とな
り、適正な顔抽出を行うことにより、高品位なプリント
を安定して作成することが可能となる。

【０００９】このような事情の下、従来より、顔のみな
らず、各種の主要被写体の抽出を行うための被写体抽出
の方法が、各種提案されており、例えば、画像の色相や
彩度を用いた肌色抽出や、画像のエッジ部を検出するこ
とによる輪郭抽出等が知られている。

【００１０】ここで、フィルムに撮影される画像の状態
は、ストロボ撮影、逆光シーン等の様々な撮影条件で変
わり、また、大きさや天地方向等、画像中の主要被写体
の状態も画像（シーン）によって様々である。通常のフ
ォトプリンタでは、多数の方法で、かつ４方向の画像天
地方向に対応して被写体抽出を行い、各被写体抽出方法
の抽出結果を組み合わせて画像の主要被写体を抽出（判
定）することにより、多種多様な画像に対応して、良好
な精度で主要被写体を抽出できるようにしている。

【００１１】そのため、主要被写体の抽出は、時間のか
かる処理となってしまい、プリント作成の効率低下の一
因となっており、また、多数の被写体抽出方法を行うこ
とにより、幾つかの抽出方法で主要被写体を誤って抽出
した際には、逆に得られる画像の画質に悪影響を与えて
しまう場合もある。

【００１２】本発明の目的は、前記従来技術の問題点を
解決することにあり、デジタルやアナログのフォトプリ
ンタ等において、様々な状態の画像や主要被写体に対応
して、画像中の主要被写体の抽出を、良好な効率および
精度で行うことができ、プリントの作成効率等を向上す
ることができる主要被写体抽出方法を提供することにあ
る。

【００１３】

【課題を解決するための手段】前記目的を達成するため
に、本発明は、画像の主要被写体の状態を複数種に分類
し、各主要被写体の状態毎に適正な主要被写体抽出パラ
メータを設定しておき、画像の類似性を判定し、主要被
写体を抽出される画像と、主要被写体抽出済の画像との
間に類似性があると判定した場合には、主要被写体抽出
済の画像の主要被写体状態に対応する主要被写体抽出パ
ラメータを用いて主要被写体抽出を行うことを特徴とす
る主要被写体抽出方法を提供する。

【００１４】また、前記画像の主要被写体の状態が、大
きさ、天地方向、画像中の位置、色分布、濃度分布の少
なくとも１つであるのが好ましい。

【００１５】本発明の別の態様は、画像から主要被写体
を抽出すると共に、この画像の撮影輝度データを用いて
抽出した主要被写体を含む領域の輝度とその周辺領域の
輝度の関係を求め、また、抽出した主要被写体を含む領
域の濃度とその周辺領域の濃度の関係を求め、この輝度
の関係と濃度の関係の整合性から、前記主要被写体の抽
出結果の適否を判定することを特徴とする主要被写体抽
出方法を提供する。

【００１６】さらに、先に処理を行った画像が、オペレ
ータによる指示に応じて、色／濃度調整、光源補正、各
種の強調処理、赤目補正等の特殊処理を施された場合
に、処理される画像が前記特殊処理を施された画像と類
似性を有する場合には、この画像にも同様の処理もしく
はそれに準ずる処理を施すのが好ましい。

【００１７】

【発明の実施の形態】以下、本発明の主要被写体抽出方
法について、添付の図面に示される好適実施例を基に詳
細に説明する。

【００１８】図１に、本発明の主要被写体抽出方法を利
用するデジタルフォトプリンタの一例のブロック図が示
される。図１に示されるデジタルフォトプリンタ（以
下、フォトプリンタ１０とする）は、基本的に、フィル
ムＦに撮影された画像を光電的に読み取るスキャナ（画
像読取装置）１２と、読み取られた画像データ（画像情
報）の画像処理やフォトプリンタ１０全体の操作および
制御等を行う画像処理装置１４と、画像処理装置１４か
ら出力された画像データに応じて変調した光ビームで感
光材料（印画紙）を画像露光し、現像処理して（仕上
り）プリントとして出力するプリンタ１６とを有して構
成される。また、画像処理装置１４には、様々な条件の
入力（設定）、処理の選択や指示、色／濃度補正などの
指示等を入力するためのキーボード１８ａおよびマウス
１８ｂを有する操作系１８と、スキャナ１２で読み取ら
れた画像、各種の操作指示、条件の設定／登録画面等を
表示するディスプレイ２０が接続される。

【００１９】なお、本発明の主要被写体抽出方法は、こ
のようなデジタルフォトプリンタのみならず、フィルム
に撮影された画像を光電的に読み取って、得られた画像
データから、露光光量調整のための可変絞りの絞り値
や、色調整のための色フィルタ挿入量等の露光条件（画
像処理条件）を決定し、この露光条件に応じてフィルム
に入射する光（あるいはフィルムの投影光）を調光し
て、フィルムの投影光で感光材料を露光する、従来の直
接露光によるアナログのフォトプリンタにも好適に利用
可能である。

【００２０】スキャナ１２は、フィルムＦ等に撮影され
た画像を１コマずつ光電的に読み取る装置で、光源２２
と、可変絞り２４と、フィルムＦに入射する読取光をフ
ィルムＦの面方向で均一にする拡散ボックス２８と、結
像レンズユニット３２と、Ｒ（赤）、Ｇ（緑）およびＢ
（青）の各画像読取に対応するラインＣＣＤセンサを有
するイメージセンサ３４と、アンプ（増幅器）３６と、
Ａ／Ｄ（アナログ／デジタル）変換器３８とを有して構
成される。

【００２１】また、フォトプリンタ１０においては、新
写真システム(Advanced Photo System）や１３５サイズ
のネガ（あるいはリバーサル）フィルム等のフィルムの
種類やサイズ、ストリップスやスライド等のフィルムの
形態等に応じて、スキャナ１２の本体に装着自在な専用
のキャリアが用意されており、キャリアを交換すること
により、各種のフィルムや処理に対応することができ
る。フィルムに撮影され、プリント作成に供される画像
（コマ）は、このキャリアによって所定の読取位置に搬
送される。このようなスキャナ１２において、フィルム
Ｆに撮影された画像を読み取る際には、光源２２から射
出され、可変絞り２４によって光量調整された読取光
が、キャリアによって所定の読取位置に位置されたフィ
ルムＦに入射して、透過することにより、フィルムＦに
撮影された画像を担持する投影光を得る。

【００２２】図示例のキャリア３０は、図２（Ａ）に模
式的に示されるように、所定の読取位置にフィルムＦを
位置しつつ、イメージセンサ３４のラインＣＣＤセンサ
の延在方向（主走査方向）と直交する副走査方向に、フ
ィルムＦの長手方向を一致して搬送する、読取位置を副
走査方向に挟んで配置される搬送ローラ対３０ａおよび
３０ｂと、フィルムＦの投影光を所定のスリット状に規
制する、読取位置に対応して位置する主走査方向に延在
するスリット４０ａを有するマスク４０とを有する。フ
ィルムＦは、このキャリア３０によって読取位置に位置
されて副走査方向に搬送されつつ、読取光を入射され
る。これにより、結果的にフィルムＦが主走査方向に延
在するスリット４０ａによって２次元的にスリット走査
され、フィルムＦに撮影された各コマの画像が読み取ら
れる。

【００２３】なお、図中符号４４は、フィルムに光学的
に記録されるＤＸコード、拡張ＤＸコード、ＦＮＳコー
ド等のバーコードを読み取るためのコードリーダであ
る。また、新写真システムのフィルムには、磁気記録媒
体が形成されており、新写真システムのフィルム（カー
トリッジ）に対応するキャリアには、この磁気記録媒体
に記録された情報を読み取り、また、必要な情報を記録
する磁気ヘッドが配置され、フィルムＦの画像読取時
に、この磁気ヘッドによって磁気情報が読み取られ、必
要な情報が、スキャナ１２から画像処理装置１４に送ら
れる。

【００２４】前述のように、読取光はキャリア３０に保
持されたフィルムＦを透過して画像を担持する投影光と
なり、この投影光は、結像レンズユニット３２によって
イメージセンサ３４の受光面に結像される。図２（Ｂ）
に示されるように、イメージセンサ３４は、Ｒ画像の読
み取りを行うラインＣＣＤセンサ３４Ｒ、Ｇ画像の読み
取りを行うラインＣＣＤセンサ３４Ｇ、およびＢ画像の
読み取りを行うラインＣＣＤセンサ３４Ｂを有する、い
わゆる３ラインのカラーＣＣＤセンサで、各ラインＣＣ
Ｄセンサは、前述のように主走査方向に延在している。
フィルムＦの投影光は、このイメージセンサ３４によっ
て、Ｒ、ＧおよびＢの３原色に分解されて光電的に読み
取られる。イメージセンサ３４の出力信号は、アンプ３
６で増幅され、Ａ／Ｄ変換器３８でデジタル信号とされ
て、画像処理装置１４に送られる。

【００２５】スキャナ１２においては、フィルムＦに撮
影された画像の読み取りを、低解像度で読み取るプレス
キャンと、出力画像の画像データを得るための本スキャ
ンとの、２回の画像読取で行う。プレスキャンは、スキ
ャナ１２が対象とする全てのフィルムの画像を、イメー
ジセンサ３４が飽和することなく読み取れるように、あ
らかじめ設定された、プレスキャンの読取条件で行われ
る。一方、本スキャンは、プレスキャンデータから、そ
の画像（コマ）の最低濃度よりも若干低い濃度でイメー
ジセンサ３４が飽和するように、各コマ毎に設定された
本スキャンの読取条件で行われる。プレスキャンと本ス
キャンの出力信号は、解像度と出力レベルが異なる以外
は、基本的に同じデータである。

【００２６】なお、本発明の主要被写体抽出方法を利用
するデジタルフォトプリンタにおいて、スキャナは、こ
のようなスリット走査によるものに限定はされず、１コ
マの画像の全面を一度に読み取る、面露光を利用するも
のであってもよい。この場合には、例えば、エリアＣＣ
Ｄセンサを用い、光源とフィルムＦとの間に、Ｒ、Ｇお
よびＢの各色フィルタの挿入手段を設け、色フィルタを
挿入してエリアＣＣＤセンサで画像を読み取ることを、
Ｒ、ＧおよびＢの各色フィルタで順次行い、フィルムに
撮影された画像を３原色に分解して順次行う。

【００２７】前述のように、スキャナ１２から出力され
たデジタル信号は、画像処理装置１４（以下、処理装置
１４とする）に出力される。図３に、処理装置１４のブ
ロック図を示す。処理装置１４は、データ処理部４８、
Ｌｏｇ変換器５０、プレスキャン（フレーム）メモリ５
２、本スキャン（フレーム）メモリ５４、プレスキャン
処理部５６、本スキャン処理部５８、および条件設定部
６０を有して構成される。なお、図３は、主に画像処理
関連の部位を示すものであり、処理装置１４には、これ
以外にも、処理装置１４を含むフォトプリンタ１０全体
の制御や管理を行うＣＰＵ、フォトプリンタ１０の作動
等に必要な情報を記憶するメモリ等が配置され、また、
操作系１８やディスプレイ２０は、このＣＰＵ等（ＣＰ
Ｕバス）を介して各部位に接続される。

【００２８】スキャナ１２から出力されたＲ，Ｇおよび
Ｂの各デジタル信号は、データ処理部４８において、暗
時補正、欠陥画素補正、シェーディング補正等の所定の
データ処理を施された後、Ｌｏｇ変換器５０によって変
換されてデジタルの画像データ（濃度データ）とされ、
プレスキャンデータはプレスキャンメモリ５２に、本ス
キャンデータは本スキャンメモリ５４に、それぞれ記憶
（格納）される。プレスキャンメモリ５２に記憶された
プレスキャンデータは、画像データ処理部６２（以下、
処理部６２とする）と画像データ変換部６４とを有する
プレスキャン処理部５６に、他方、本スキャンメモリ５
４に記憶された本スキャンデータは、画像データ処理部
６６（以下、処理部６６とする）と画像データ変換部６
８とを有する本スキャン処理部５８に読み出され、処理
される。

【００２９】プレスキャン処理部５６の処理部６２と、
本スキャン処理部５８の処理部６６は、後述する条件設
定部６０が設定した処理条件に応じて、スキャナ１２に
よって読み取られた画像（画像データ）に、所定の画像
処理を施す部位で、両者は、解像度が異なる以外は、基
本的に、同じ処理を行う。両処理部による画像処理には
特に限定はなく、公知の各種の画像処理が例示される
が、例えば、ＬＵＴ（ルックアップテーブル）を用いた
グレイバランス調整、階調補正、および濃度（明るさ）
調整、マトリクス（ＭＴＸ）による撮影光源種補正や画
像の彩度調整（色調整）、その他、ローパスフィルタ、
加算器、ＬＵＴ、ＭＴＸ等を用いた、また、これらを適
宜組み合わせた平均化処理や補間演算等を用いた、電子
変倍処理、覆い焼き処理（濃度ダイナミックレンジの圧
縮／伸長）、シャープネス（鮮鋭化）処理等が例示され
る。これらの各画像処理条件は、プレスキャンデータを
用いて後述する条件設定部６０において設定される。

【００３０】画像データ変換部６８は、処理部６６によ
って処理された画像データを、例えば、３Ｄ（三次元）
−ＬＵＴ等を用いて変換して、プリンタ１６による画像
記録に対応する画像データとしてプリンタ１６に供給す
る。画像データ変換部６４は、処理部６２によって処理
された画像データを、必要に応じて間引いて、同様に、
３Ｄ−ＬＵＴ等を用いて変換して、ディスプレイ２０に
よる表示に対応する画像データとしてディスプレイ２０
に供給する。両者における処理条件は、プレスキャンデ
ータを用いて後述する条件設定部６０で設定される。

【００３１】条件設定部６０は、プレスキャン処理部５
６および本スキャン処理部５８における各種の処理条件
や、本スキャンの読取条件を設定する。この条件設定部
６０は、セットアップ部７２、キー補正部７４、および
パラメータ統合部７６を有して構成される。

【００３２】セットアップ部７２は、プレスキャンデー
タを用いて画像の主要部（主要被写体）を抽出する主要
部抽出部７２Ａ（以下、抽出部７２Ａ）と、抽出部７２
Ａが抽出した主要部の情報、プレスキャンデータおよび
必要に応じて行われるオペレータの指示に応じて、本ス
キャンの読取条件を設定してスキャナ１２に供給し、ま
た、プレスキャン処理部５６および本スキャン処理部５
８の画像処理条件を作成（演算）し、パラメータ統合部
７６に供給する、設定部７２Ｂとを有する。このセット
アップ部７２は、本発明の主要被写体抽出方法を実施す
るものである。

【００３３】抽出部７２Ａは、各種の被写体抽出方法
（被写体抽出アルゴリズム）を実行して、画像の主要
部、図示例においては、画像中の人物の顔を抽出する。
本発明で実行する被写体抽出方法には特に限定はない
が、図示例の抽出部７２Ａにおいては、一例として、肌
色・円形状抽出による顔抽出、顔輪郭・円形状抽出によ
る顔抽出、胴体・円形状抽出による顔抽出、眼部（顔内
部構造）・円形状抽出による顔抽出、頭髪部抽出・円形
状抽出による顔抽出、背景部抽出が行われる。これらの
被写体抽出方法については、本出願人にかかる特開平８
−１８４９２５号公報等に詳述される。また、本発明に
おいては、これ以外にも、公知の各種の被写体抽出方法
が利用可能であり、例えば、特開平４−３４６３３２
号、同４−３４６３３３号、同４−３４６３３４号、同
５−１００３２８号、同５−１５８１６４号、同５−１
６５１１９号、同５−１６５１２０号、同６−６７３２
０号、同６−１６０９９２号、同６−１６０９９３号、
同６−１６０９９４号、同６−１６０９９５号、同８−
１２２９４４号、同９−８０６５２号、同９−１０１５
７９号、同９−１３８４７０号、同９−１３８４７１号
の各公報等に開示される、各種の被写体抽出方法が例示
される。

【００３４】肌色・円形状抽出は、肌色抽出および円形
状抽出を行うことにより、顔領域を抽出する。すなわ
ち、プレスキャンデータ（必要に応じて間引いても可）
から各画素の色相および彩度を知見し、人の肌の肌色と
推定できる画素領域（肌色領域）を抽出し、次いで、人
の顔は一般的に楕円形であるので、抽出した肌色領域か
ら、人の顔であると推定される（楕）円形状を抽出し
て、顔領域候補とする。

【００３５】顔輪郭・円形状抽出は、エッジ抽出による
顔輪郭抽出および円形状抽出を行うことにより、顔領域
を抽出する。まず、プレスキャンデータ（必要に応じて
間引いても可）を所定の閾値で２値化し、閾値よりも低
濃度の画素で構成される領域（フィルムＦがネガであれ
ば、出力されるプリント上では高濃度となるので、この
領域を「黒領域」とする）と、閾値よりも高濃度の画素
で構成される領域（同様に「白領域」とする）とに分割
する。次いで、各黒領域と白領域の輪郭をトレースし
て、輪郭の曲率を算出し、凹部および凸部を抽出する。
次いで、トレースした輪郭のラインから、ラインの長さ
や曲率、凹凸、さらには他のラインとの対称性から、人
の顔の側部に対応すると推定されるライン（特定ライ
ン）を抽出して、対称をなす特定ラインの対称軸を設定
し、対応するラインの間隔および長さの比（経緯比）
と、画像データや２値化データ等からも求めたラインの
線対称性類似度から、人の顔の両側部を形成すると仮定
できるライン（仮定ライン）を抽出する。さらに、仮定
ラインの上部および下部、すなわち顔と頭髪部および胴
体（首や肩）との境界線に対応する位置に、仮定ライン
とほぼ直交する方向にベクトルを有するラインが存在す
るか否かを検出し、存在すれば、必要に応じて先に判定
した線対称性類似度も考慮して、このラインを、人の顔
の両側部を形成するラインと判定する。次いで、このラ
インに囲まれた領域において、前記経緯比に応じた楕円
形状を抽出して、顔候補領域とする。

【００３６】胴体・円形状抽出は、エッジ抽出による胴
体輪郭抽出および円形状抽出を行うことにより、顔領域
を抽出する。まず、前述の顔輪郭抽出と同様にして画像
の２値化による白領域と黒領域の分別、両領域の輪郭の
トレースを行う。次いで、トレースした輪郭のラインか
ら、端点の距離が近く、ラインの成す角度が所定の範囲
内のラインの組を、胴体の首から肩、肩から腕または胴
体下部に相当するとして、胴体輪郭の片側となり得るラ
インの組として抽出する。次いで、両ラインが連結する
まで延長して、胴体輪郭の片側候補となるライン（片側
候補ライン）を生成し、各片側候補ラインと胴体輪郭の
対を成す可能性があるライン（対称ラインとする）を抽
出する。この抽出は、例えば、片側候補ラインと向い合
う凹を成す可能性の有無等で行えばよい。さらに、各片
側候補ラインと対称ラインとの線対称軸を設定し、両ラ
インと線対称軸とが成す角度が所定角度内か否かを判別
し、その結果から、胴体輪郭と判断できる片側候補ライ
ンと対称ラインとの組を抽出する。最後に、得られた胴
体輪郭の片側候補ラインと対称ラインの位置、大きさ、
間隔、および線対称軸の方向に基いて、この胴体輪郭の
人の顔に対応する楕円形状を成すと推定される領域を抽
出して、顔候補領域とする。

【００３７】眼部・円形状抽出は、人の眼の抽出および
円形状抽出を行うことにより、顔領域を抽出する。ま
ず、前述の顔輪郭抽出と同様にして画像の２値化による
白領域と黒領域を分別して、一般的な人の目から求めら
れる、所定範囲の長軸／単軸比を有する楕円形の黒領域
を、顔の眼部に対応する可能性がある領域（眼部候補領
域とする）として抽出する。次に、抽出した眼部候補領
域の長軸の角度を求め、長軸の角度差が所定範囲内の楕
円の黒領域を求め、先に抽出した眼部候補領域と対を成
す眼部候補領域として抽出する。このようにして抽出し
た各眼部候補領域の対に対して、両眼部候補領域の中心
を結ぶ線に垂直な線対称軸を設定して、線対称類似度を
判定し、それに応じて眼部と推定できる黒領域を抽出す
る。最後に、抽出した眼部と推定できる黒領域の位置、
大きさ、および線対称軸の方向に基いて、この黒領域を
目とする人の顔に対応する楕円形状を成すと推定される
領域を抽出して、顔候補領域とする。

【００３８】頭髪部・円形状抽出は、エッジ抽出による
人の頭髪の抽出および円形状抽出を行うことにより、顔
領域を抽出する。まず、前述の顔輪郭抽出と同様にして
画像の２値化による白領域と黒領域を分割し、黒領域の
輪郭のトレースを行い、輪郭の曲率を演算する。次い
で、この曲率から、人の頭頂部に相当すると考えられる
凸部および顔と頭髪部との境界に相当すると考えられる
凹部の両者を備える黒領域を抽出して、その凹部と凸部
の特徴量、例えば、円曲率を算出して、この円曲率を用
いて、円曲度、輪郭周囲長に対する凹部と凸部の比率、
輪郭の位置や方向等から、人物の頭髪部であると推定で
きる輪郭を抽出し、この頭髪部を有する人の顔に対応す
る楕円形状を成すと推定される領域を抽出して、顔候補
領域とする。

【００３９】背景部抽出は、輪郭抽出を利用して人物以
外の背景部を抽出して、顔抽出等の補助情報を得る。ま
ず、前述の顔輪郭抽出と同様にして画像の２値化による
白領域と黒領域を分割し、各領域の輪郭をトレースして
輪郭中の直線の比率を算出し、直線が所定比率以上の領
域に重み係数を付与する。次いで、各輪郭に画像の上下
方向に伸びる線対象軸を設定し、線対称度を算出し、線
対称度が所定値以下の領域に重み係数を付与する。次い
で、各輪郭の画像外縁部との接触率を算出し、この接触
率が所定値以上の領域に重み係数を付与する。次いで、
各領域内部の濃度コントラストを算出し、コントラスト
が所定値以下の領域に負の重み係数を付与する。さら
に、各領域内部の濃度値を異なる複数の所定方向に微分
して、複数の方向に沿った微分値のいずれかが規則的に
変化している領域、すなわち濃度が所定のパターンで変
化し、あるいはこれを繰り返している領域に重み係数を
付与する。以上の操作で重み係数を付与された領域は、
いずれも、人物である確率が低い領域であり、この重み
係数が所定値以上となった領域は、画像の背景部である
と判定できるので、これを顔抽出に利用することができ
る。

【００４０】抽出部７２Ａにおいては、基本的に、前記
被写体抽出をすべて行って、その結果から顔抽出を行
う。ここで、本発明を実施するセットアップ部７２にお
いては、主要部（前述のように、図示例では顔）の状態
が複数に分類されており、主要部の状態のそれぞれに応
じて、前記被写体抽出方法からいくつかの方法を選択し
て、主要部の状態に対応した好適な主要部抽出アルゴリ
ズムが設定されている。セットアップ部７２は、例え
ば、フィルム１本や一人の顧客から同時に依頼されたプ
リント作成等の所定単位において、先に主要部抽出が行
われた画像と、これから主要部抽出を行う画像との類似
性を判定し、先の画像と類似している（先に類似画像が
ある）と判定した場合には、その画像は、抽出部７２Ａ
において、先に主要部抽出が行われた類似画像の主要部
の状態に対応する被写体抽出の方法を用いて、主要部抽
出を行う。

【００４１】前述のように、通常の主要部抽出では、多
様な画像に対応して良好な精度で顔抽出を行うために、
多数の被写体抽出を、４方の天地方向に対応して行っ
て、その結果を用いて顔抽出を行っている。ここで、本
発明者の検討によれば、１本のフィルムＦ等で、画像
（シーン）が類似していれば、主要部の状態も類似して
いるのが通常であり、また、主要部の状態、例えば、天
地方向や大きさ等が分かっていれば、多様な画像状態に
対応して多数の被写体抽出を行う必要はなく、主要部の
状態に応じた被写体抽出を行えば、十分に高精度な抽出
を行うことができる。従って、本発明によれば、先に類
似画像がある画像は、高精度な主要部抽出を、演算時間
等を大幅に短縮して、良好な効率で行うことができる。
しかも、不要な被写体抽出を行うことによる誤抽出を低
減し、これに起因する出力画像への悪影響も無くすこと
ができる。

【００４２】本発明において、分類する主要部の状態に
は特に限定はないが、例えば、大きさ、天地方向（画像
の上下左右方向）、位置、色分布、濃度分布等が例示さ
れる。なお、分類は複数の状態を組み合わせてもよい。

【００４３】例えば、主要部の状態を大きさで分類する
場合には、画像中に占める面積等で大サイズ、中サイ
ズ、小サイズ等に分類する。その上で、例えば、大サイ
ズであれば、画像を低い（粗い）解像度に変換して（処
理画像の画素数を、縦横それぞれ、原画像の１／Ｎ₁と
する）被写体抽出を行い、中サイズであれば、画像の解
像度を中間程度に変換して（処理画像の画素数を、縦横
それぞれ、原画像の１／Ｎ₂とする）被写体抽出を行
い、小サイズであれば、画像を高い（細かい）解像度に
変換して（処理画像の画素数を、縦横それぞれ、原画像
の１／Ｎ₃とする）して被写体抽出を行う。なお、以上
の例においては、Ｎ₁＞Ｎ₂＞Ｎ₃である。あるいは、
特開平９−１３８４７１号公報に開示される輪郭線抽出
による被写体抽出のように、基準点からの探索領域を想
定して被写体抽出を行う方法では、主要部の大きさに応
じて探索領域を設定することで、抽出の効率を向上する
ことができる（同公報図１４参照）。

【００４４】また、主要部の状態を天地方向で分類する
ことにより、画像の天地方向に応じて、前述の、胴体抽
出や眼部抽出等の線対称軸の方向や、頭髪部抽出の凹凸
の方向を一義的に決定できる。そのため、各抽出方法に
おいて、天地方向に応じて、胴体候補や頭髪部候補の選
択や、その演算方法を、大幅に簡略化して設定しておけ
ばよい。主要部の状態を画像中の上下左右等の位置で分
類した際には、各被写体抽出の検索（サーチ）領域を、
その領域に限定するように、各被写体抽出方法を設定す
ればよい。

【００４５】さらに、主要部の状態を色分布で分類した
際には、探索する主要部の色の定義（色空間上のエリア
（範囲）設定）を、類似コマの主要部の色分布付近に絞
って設定することができ、これにより抽出精度および効
率を向上できる。例えば、顔抽出（肌抽出）であれば、
撮影状況、光源種による色味の偏より、化粧肌、皮膚の
色の個人差等を想定して、通常は、探索する肌色エリア
を広めに設定するが、探索する肌色エリアを類似コマの
肌色の色味に合わせたエリアに限定を行うことで、顔抽
出の精度向上および演算時間短縮による抽出効率の向上
が図れる。また、主要部の状態を濃度分布で分類した際
には、探索する主要部の濃度エリア（範囲）を、類似コ
マの主要部の濃度付近に絞って設定することができ、こ
れにより抽出精度および効率を向上できる。例えば、類
似コマがストロボ撮影であれば、濃度（ネガ濃度）の高
いエリアのみを探索エリアとすることにより、演算時間
の短縮および誤抽出を低減して、類似コマと同様に高濃
度となっている主要部を抽出でき、逆に逆光シーンであ
れば、濃度の低いエリアのみを探索エリアとして、同様
の効果が得られる。さらに、通常シーンであれば、類似
コマの主要部濃度に応じた所定濃度エリアを探索エリア
とすることで、演算時間を短縮できると共に、極端に明
るい、あるいは暗い被写体を誤抽出することが回避し
て、抽出精度を向上できる。

【００４６】類似性の判別は、画像特徴量、例えば、６
分割程度の領域別平均濃度値、濃度ヒストグラムの形状
（ピーク位置等）、濃度分布、ハイライト（最低濃
度）、シャドー（最高濃度）、平均濃度等の１以上を用
いて判別すればよい。フィルムＦが前述の新写真システ
ムのフィルムである場合には、フィルムに磁気記録され
他各種の情報、例えば、撮影日時、ストロボ発光の有
無、シーン情報、セレクトタイトル等も、類似性の判別
手段として利用してもよい。

【００４７】なお、画像の類似性の判別は、どの部位で
行ってもよいが、図示例においては、設定部７２Ｂが画
像特徴量の算出を行うので、類似性の判別は、一例とし
て設定部７２Ｂで行し、その情報を抽出部７２Ａが受取
り、類似画像の主要部状態に応じた顔抽出アルゴリズム
を用いて顔抽出を行う。画像の類似性に応じた主要部状
態の選択は、フィルム１本等において、処理を行った画
像（コマ）の画像特徴量（類似性判別のパラメータ）お
よび主要部の状態を記憶しておいてもよく、あるいは、
類似性判別パラメータと主要部の状態との関係を対応付
けて記憶しておいてもよい。

【００４８】セットアップ部７２においては、必要に応
じて、主要部抽出の適否の判定を行ってもよい。この判
定方法には特に限定はなく、例えば、複数の被写体抽出
を行って顔候補領域を抽出した場合に、抽出された全顔
候補領域を合成して、全抽出方法で重複した領域の面積
を求め、各抽出方法毎に抽出領域と重複領域との面積比
を求め、全てあるいは所定数以上の抽出方法において、
面積比が所定の閾値（Ｔｈ）を超えていれば、顔抽出結
果が適正であると判定し、それ以外の場合には、不適性
であると判定する方法が例示される。また、別の判定方
法として、抽出方法Ａで抽出した顔候補領域は１点、抽
出方法Ｂで抽出した顔候補領域は２点、両者が重複した
顔候補領域は３点等、抽出した顔候補領域に応じて重み
付け点数を設定しておき、その合計点を算出し、合計点
がある閾値を超えれば顔抽出結果が適正、閾値以下であ
れば不適性と判定する方法が例示される。

【００４９】さらに、新写真システムのフィルムには、
磁気情報として被写体輝度データも記録できるが、撮影
の際の合焦時の画像の輝度データを利用して、顔抽出結
果の適否を判定してもよい。例えば、撮影時に、カメラ
のフォーカスロック機能を利用して、顔（主要被写体）
を中央エリアとして被写体輝度を測定して、輝度情報
を、例えば、新写真システムのフィルムに磁気記録して
おく。その上で、抽出を行う際に、顔領域とその周辺領
域の輝度の関係、および抽出した顔領域とその周辺領域
の濃度の関係を見て、その整合性を判定し、顔領域の輝
度が周辺領域の輝度に比して十分に高く、かつ、抽出し
た顔領域の濃度（本例はネガ濃度）が周辺領域の濃度に
比して十分に高い場合は、顔抽出結果が適正であると判
定する。

【００５０】また、同様の被写体輝度データを顔抽出の
補助情報として利用してもよい。例えば、画像を大まか
に分割して、各ブロックの濃度データを算出し、顔があ
ると推測されるブロック（着目ブロック）とその周辺ブ
ロックとの濃度の関係、および着目ブロックと周辺ブロ
ックの被写体輝度の関係を調べる。その上で、濃度と輝
度の関係が、共に上記判定方法で適正と判定できる関係
である場合には、着目ブロックに顔が存在する可能性が
高いと推定できるので、着目ブロックに絞って顔抽出を
行う。これにより、抽出領域を大幅に狭くして、演算時
間の短縮等を計って、顔抽出の効率を向上できる。

【００５１】なお、先に類似画像があって、その主要部
の状態に応じた顔抽出パラメータで顔抽出を行った際
に、抽出結果が不適正であると判定された際には、類似
画像がない場合と同様に、前述の被写体抽出方法をすべ
て行って顔抽出を行う。

【００５２】セットアップ部７２の設定部７２Ｂは、プ
レスキャンメモリ５２からプレスキャンデータを読み出
し、プレスキャンデータから、濃度ヒストグラムの作成
や、平均濃度、ハイライト（最低濃度）、シャドー（最
高濃度）等の画像特徴量の算出を行い、本スキャンの読
取条件を決定し、また、濃度ヒストグラムや画像特徴量
に加え、抽出部７２Ａが抽出した画像の主要部、さらに
は必要に応じて行われるオペレータによる指示等に応じ
て、グレイバランス調整、階調補正および濃度調整を行
うＬＵＴの作成、ＭＴＸ演算式の作成、鮮鋭度補正係数
の算出等、プレスキャン処理部５６および本スキャン処
理部５８における各種の画像処理条件を設定する。ま
た、設定部７２Ｂは、算出した画像特徴量等から、先に
処理した画像とこれから処理する画像の類似性を判定
し、先に類似した画像がある場合には、その情報を抽出
部７２Ａに送る。抽出部７２Ａは、それに応じて、類似
画像の主要部の状態に応じた顔抽出アルゴリズムを用い
て顔抽出を行う。

【００５３】ここで、設定部７２Ｂは、画像処理条件を
設定する画像が、先に処理した画像に類似した画像があ
って、その類似画像がオペレータによる調整を施された
場合には、その画像の画像処理条件にも、類似画像に施
された画像調整を反映させるのが好ましい。なお、設定
する画像処理条件に反映すべきオペレータによる調整と
しては、色調整、濃度調整、光源補正、シャープネスや
コントラスト等の各種の強調処理、赤目補正等が例示さ
れる。

【００５４】キー補正部７４は、キーボード１８ａに設
定された濃度（明るさ）、色、コントラスト、シャープ
ネス、彩度調等を調整するキーやマウス１８ｂで入力さ
れた各種の指示等に応じて、画像処理条件の調整量を算
出し、パラメータ統合部７６に供給するものである。パ
ラメータ統合部７６は、設定部７２Ｂが設定した画像処
理条件を受け取り、プレスキャン処理部５６および本ス
キャン処理部５８に設定し、さらに、キー補正部７４で
算出された調整量に応じて、各部位に設定した画像処理
条件を補正（調整）し、あるいは画像処理条件を再設定
する。

【００５５】以下、スキャナ１２および処理装置１４の
作用を説明する。フィルムＦのプリント作成を依頼され
たオペレータは、フィルムＦに対応するキャリア３０を
スキャナ１２に装填し、キャリア３０の所定位置にフィ
ルムＦ（カートリッジ）をセットし、作成するプリント
サイズ等の必要な指示を入力した後に、プリント作成開
始を指示する。これにより、スキャナ１２の可変絞り２
４の絞り値やイメージセンサ（ラインＣＣＤセンサ）３
４の蓄積時間がプレスキャンの読取条件に応じて設定さ
れ、その後、キャリア３０がフィルムＦをカートリッジ
から引き出して、プレスキャンに応じた速度で副走査方
向に搬送して、プレスキャンが開始され、前述のように
所定の読取位置において、フィルムＦがスリット走査さ
れて投影光がイメージセンサ３４に結像して、フィルム
Ｆに撮影された画像がＲ，ＧおよびＢに分解されて光電
的に読み取られる。また、このフィルムＦの搬送の際
に、磁気記録媒体に記録された磁気情報が読み出され、
また、コードリーダ４４によってＤＸコード等のバーコ
ードが読まれ、必要な情報が所定の部位に送られる。

【００５６】なお、プレスキャンおよび本スキャンは、
１コマずつ行ってもよく、全コマあるいは所定の複数コ
マずつ、連続的にプレスキャンおよび本スキャンを行っ
てもよい。以下の例では、説明を簡潔にするために、１
コマの画像読取を例に説明を行う。

【００５７】プレスキャンによるイメージセンサ３４の
出力信号は、アンプ３６で増幅されて、Ａ／Ｄ変換器３
８に送られ、デジタル信号とされる。デジタル信号は、
処理装置１４に送られ、データ処理部４８で所定のデー
タ処理を施され、Ｌｏｇ変換器５０でデジタルの画像デ
ータであるプレスキャンデータとされ、プレスキャンメ
モリ５２に記憶される。

【００５８】プレスキャンメモリ５２にプレスキャンデ
ータが記憶されると、条件設定部６０のセットアップ部
７２がこれを読み出し、抽出部７２Ａおよび設定部７２
Ｂに供給する。設定部７２Ｂは、まず、プレスキャンデ
ータから、画像の濃度ヒストグラムの作成、ハイライト
やシャドー等の画像特徴量の算出等を行い、本スキャン
の読取条件を設定してスキャナ１２に供給し、また、画
像特徴量から先に処理した画像との類似性を判定し、先
に類似画像がある場合には、その情報を抽出部７２Ａに
送り、また、類似画像がない場合には、その画像の画像
特徴量（類似性判別パラメータ）を記憶する。抽出部７
２Ａにおいては、先頭コマやその画像が先に類似画像が
ない場合には、肌色・円形状抽出、顔輪郭・円形状抽
出、背景部抽出等の前述の被写体抽出を全て行って、顔
抽出を行うと共に、その画像の主要部（顔）の状態を記
憶する。他方、その画像の類似画像が先にある場合に
は、類似画像の主要部の状態を読み出して、それに応じ
た顔抽出パラメータを用いて顔抽出を行う。顔抽出の結
果は、設定部７２Ｂに供給される。

【００５９】設定部７２Ｂは、顔抽出の結果を受け取る
と、顔抽出結果、濃度ヒストグラムや画像特徴量、さら
に、必要に応じて行われるオペレータの指示を加味し
て、処理部６６における画像処理条件を設定し、パラメ
ータ統合部７６に供給する。パラメータ統合部７６は、
受け取った画像処理条件をプレスキャン処理部５６およ
び本スキャン処理部５８の所定部位（ハードウエア）に
設定する。

【００６０】検定を行う場合には、プレスキャンデータ
が処理部６２によってプレスキャンメモリ５２から読み
出され、処理部６２で処理され、画像データ変換部６４
で変換されて、シュミレーション画像としてディスプレ
イ２０に表示される。オペレータは、ディスプレイ２０
の表示を見て、画像すなわち処理結果の確認（検定）を
行い、必要に応じて、キーボード１８ａに設定された調
整キー等を用いて色、濃度、階調等を調整する。この調
整の入力は、キー補正部７４に送られ、キー補正部７４
は調整入力に応じた画像処理条件の補正量を算出し、こ
れをパラメータ統合部７６に送る。パラメータ統合部７
６は、送られた補正量に応じて、前述のように、処理部
６２および６６のＬＵＴやＭＴＸ等を補正する。従っ
て、この補正すなわちオペレータによる調整入力に応じ
て、ディスプレイ２０に表示される画像も変化する。

【００６１】オペレータは、このコマの画像が適正（検
定ＯＫ）であると判定すると、キーボード１８ａ等を用
いてプリント開始を指示する。これにより、画像処理条
件が確定し、スキャナ１２において可変絞り２４の絞り
値等が設定された本スキャンの読取条件に応じて設定さ
れると共に、キャリア３０が本スキャンに対応する速度
でフィルムＦを搬送し、本スキャンが開始される。な
お、検定を行わない場合には、パラメータ統合部７６に
よる本スキャン処理部５８への画像処理条件の設定を終
了した時点で画像処理条件が確定し、本スキャンが開始
される。

【００６２】本スキャンは、可変絞り２４の絞り値等の
読取条件が設定された本スキャンの読取条件となる以外
はプレスキャンと同様に行われ、イメージセンサ３４か
らの出力信号はアンプ３６で増幅されて、Ａ／Ｄ変換器
３８でデジタル信号とされ、処理装置１４のデータ処理
部４８で処理されて、Ｌｏｇ変換器５０で本スキャンデ
ータとされ、本スキャンメモリ５４に送られる。本スキ
ャンデータが本スキャンメモリ５４に送られると、本ス
キャン処理部５８によって読み出され、処理部６６にお
いて確定した画像処理条件で画像処理され、次いで、画
像データ変換部６８で変換されて出力用の画像データと
され、プリンタ１６に出力される。

【００６３】プリンタ１６は、供給された画像データに
応じて感光材料（印画紙）を露光して潜像を記録するプ
リンタ（焼付装置）と、露光済の感光材料に所定の処理
を施してプリントとして出力するプロセサ（現像装置）
とを有して構成される。プリンタでは、例えば、感光材
料をプリントに応じた所定長に切断した後に、バックプ
リントを記録し、次いで、感光材料の分光感度特性に応
じたＲ露光、Ｇ露光およびＢ露光の３種の光ビームを処
理装置１４から出力された画像データに応じて変調して
主走査方向に偏向すると共に、主走査方向と直交する副
走査方向に感光材料を搬送することにより、前記光ビー
ムで感光材料を２次元的に走査露光して潜像を記録し、
プロセサに供給する。感光材料を受け取ったプロセサ
は、発色現像、漂白定着、水洗等の所定の湿式現像処理
を行い、乾燥してプリントとし、フィルム１本分等の所
定単位に仕分して集積する。

【００６４】以上、本発明の主要被写体抽出方法につい
て詳細に説明したが、本発明は上記実施例に限定はされ
ず、本発明の要旨を逸脱しない範囲において、各種の改
良および変更を行ってもよいのはもちろんである。

【００６５】

【発明の効果】以上、詳細に説明したように、本発明に
よれば、デジタルフォトプリンタ等のフォトプリンタに
おいて、高精度な主要被写体の抽出を、良好な効率で、
様々な状態の画像に対応して安定して行うことができ、
高画質な画像が再生された高品位なプリントを、良好な
効率で作成することができる。

【図面の簡単な説明】

【図１】本発明の主要被写体抽出方法の一例を利用す
るデジタルフォトプリンタのブロック図である。

【図２】（Ａ）は、図１に示されるデジタルフォトプ
リンタに装着されるキャリアを説明するための概略斜視
図、（Ｂ）は図１に示されるデジタルフォトプリンタの
イメージセンサの概念図である。

【図３】図１に示されるデジタルフォトプリンタの画
像処理装置のブロック図である。

【符号の説明】

１０（デジタル）フォトプリンタ１２スキャナ１４（画像）処理装置１６プリンタ１８操作系２０ディスプレイ２２光源２４可変絞り２８拡散ボックス３０キャリア３２結像レンズユニット３４イメージセンサ３４Ｒ，３４Ｇ，３４ＢラインＣＣＤセンサ３６アンプ３８Ａ／Ｄ変換器４０マスク４４コードリーダ４８データ処理部５０Ｌｏｇ変換器５２プレスキャン（フレーム）メモリ５４本スキャン（フレーム）メモリ５６プレスキャン処理部５８本スキャン処理部６０条件設定部６２，６６（画像データ）処理部６４，６８画像データ変換部７２セットアップ部７２Ａ（主要部）抽出部７２Ｂ設定部７４キー補正部７６パラメータ統合部

Claims

【特許請求の範囲】

【請求項１】画像の主要被写体の状態を複数種に分類
し、各主要被写体の状態毎に適正な主要被写体抽出パラ
メータを設定しておき、画像の類似性を判定し、主要被写体を抽出される画像
と、主要被写体抽出済の画像との間に類似性があると判
定した場合には、主要被写体抽出済の画像の主要被写体
状態に対応する主要被写体抽出パラメータを用いて主要
被写体抽出を行うことを特徴とする主要被写体抽出方
法。
【請求項２】前記画像の主要被写体の状態が、大きさ、
天地方向、画像中の位置、色分布、濃度分布の少なくと
も１つである請求項１に記載の主要被写体抽出方法。
【請求項３】画像から主要被写体を抽出すると共に、こ
の画像の撮影輝度データを用いて抽出した主要被写体を
含む領域の輝度とその周辺領域の輝度の関係を求め、ま
た、抽出した主要被写体を含む領域の濃度とその周辺領
域の濃度の関係を求め、この輝度の関係と濃度の関係の
整合性から、前記主要被写体の抽出結果の適否を判定す
ることを特徴とする主要被写体抽出方法。