JP3657769B2

JP3657769B2 - 画像処理方法および画像処理装置

Info

Publication number: JP3657769B2
Application number: JP06993798A
Authority: JP
Inventors: 金城　　直人
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 1998-03-19
Filing date: 1998-03-19
Publication date: 2005-06-08
Anticipated expiration: 2018-03-19
Also published as: JPH11275351A; US6798921B2; US20030202715A1

Description

【０００１】
【発明の属する技術分野】
本発明は、フィルムスキャナ等の画像データ供給源から供給された画像データに所定の画像処理を施し、プリンタ等に供給するための出力用の画像データとする、画像処理の技術分野に属する。
【０００２】
【従来の技術】
現在、ネガフィルム、リバーサルフィルム等の写真フィルム（以下、フィルムとする）に撮影された画像の感光材料（印画紙）への焼き付けは、フィルムの画像を感光材料に投影して感光材料を面露光する、いわゆる直接露光による方法が主流である。
【０００３】
これに対し、近年では、デジタル露光を利用する焼付装置、すなわち、フィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を走査露光して画像（潜像）を記録し、プリントとするデジタルフォトプリンタが実用化された。
【０００４】
デジタルフォトプリンタでは、画像をデジタルの画像データとして、画像データ処理によって焼付時の露光条件を決定できるので、複数画像の合成や画像分割、さらには文字の合成等も画像データ処理によって行うことができ、用途に応じて自由に編集／処理したプリントも出力可能である。
また、デジタルフォトプリンタによれば、画像をプリント（写真）として出力するのみならず、画像データをコンピュータ等に供給したり、フロッピーディスク等の記録媒体に保存しておくこともできるので、画像データを、写真以外の様々な用途に利用することができる。
【０００５】
このようなデジタルフォトプリンタは、基本的に、フィルムに記録された画像を光電的に読み取るスキャナ（画像読取装置）、読み取った画像を画像処理して画像記録の露光条件を決定する画像処理装置（セットアップ装置）、および決定された露光条件に従って感光材料を走査露光して現像処理を施してプリントとするプリンタ（画像記録装置）より構成される。
【０００６】
スキャナでは、光源から射出された読取光をフィルムに入射して、フィルムに撮影された画像を担持する投影光を得て、この投影光を結像レンズによってＣＣＤセンサ等のイメージセンサに結像して光電変換することにより画像を読み取り、必要に応じて各種のデータ処理を施した後に、フィルムの画像データ（画像データ信号）として画像処理装置に送る。
画像処理装置は、スキャナによって読み取られた画像データから画像処理条件を設定して、設定した条件に応じた画像処理を画像データに施し、画像記録のための出力画像データ（露光条件）としてプリンタに送る。
プリンタでは、例えば、光ビーム走査露光を利用する装置であれば、画像処理装置から送られた画像データに応じて光ビームを変調して、この光ビームを主走査方向に偏向すると共に、主走査方向と直交する副走査方向に感光材料を搬送することにより、画像を担持する光ビームによって感光材料を露光（焼付け）して潜像を形成し、次いで、感光材料に応じた現像処理等を施して、フィルムに撮影された画像が再生されたプリント（写真）とする。
【０００７】
【発明が解決しようとする課題】
前述のように、デジタルフォトプリンタでは、画像をデジタルの画像データとして、デジタルの画像処理（画像データ処理）によって焼付時の露光条件を決定できる。そのため、デジタルフォトプリンタによれば、画像処理によって、逆光やストロボ撮影等に起因する画像の飛びやツブレの補正、アンダー露光やオーバー露光の補正、周辺光量不足の補正、シャープネス（鮮鋭化）処理、濃度ダイナミックレンジの圧縮／伸長処理（画像処理による覆い焼き効果の付与）等、従来の直接露光では不可能あるいは困難であった各種の画像処理を、高い自由度で行い、非常に高品位なプリントを得ることができる。
しかも、デジタルの画像処理によれば、このような画像の調整（補正）を画像全体に掛けるのみならず、被写体の選択等、画像中の任意な領域を選択して、その部分のみに、前述のような自由度の高い画像調整を行うこともできる。
【０００８】
本発明の目的は、画像データ供給源から画像データを受け取り、得られた画像データに所定の画像処理を施して出力用の画像データとする、デジタルフォトプリンタに好適に利用されるデジタルの画像処理において、簡易な操作かつ良好な効率で、関連のある複数コマの画像の特定領域に対して所定の画像処理を施すことができ、顧客の希望等に好適に応じた高品位なプリントを、高い生産性で出力することを可能にする画像処理方法、および、この画像処理方法を実施する画像処理装置を提供することにある。
【０００９】
【課題を解決するための手段】
前記目的を達成するために、本発明の画像処理方法は、画像データ供給源から供給された画像データに所定の画像処理を施し、出力用の画像データとする画像処理において、関連のある複数コマの画像を処理するに際し、第１のコマについて、画像中の特定領域、および、この特定領域に対する画像修正を指定し、この第１のコマの画像処理の際に、前記指定に応じて、前記特定領域の画像特徴量を算出し、かつ、前記特定領域の画像を修正して、この特定領域の画像特徴量の情報と画像修正内容を記憶しておき、それ以降のコマの画像処理を行う際に、前記記憶した第１のコマの特定領域の画像特徴量の情報と画像修正内容とを用いて、画像処理を行うコマから前記第１のコマの特定領域の処理前の画像と前記画像特徴量が類似する類似領域を抽出し、かつ、この類似領域は、前記第１のコマの特定領域と同様の画像修正を行うことを特徴とする画像処理方法を提供する。
【００１０】
また、前記特定領域が、人物全体、顔、頭髪、眼部、唇、胴体、衣服、および装身具から選択される１以上であり、前記画像特徴量が、位置、形状特性、濃度特性、色味特性、テクスチャー特性、空間周波数特性から選択される１以上であるのが好ましい。
【００１１】
さらに、本発明の画像処理装置は、画像データ供給源から供給された画像データに所定の画像処理を施し、出力用の画像データとする画像処理装置であって、関連のある複数コマの第１のコマに対して、画像中の特定領域およびこの特定領域に対する画像修正内容を指定する指定手段と、供給された各画像データに前記所定の画像処理を行うと共に、前記第１のコマについては、前記指定手段による指定に応じて、特定領域の画像特徴量を算出し、かつ前記特定領域の画像を修正する画像処理手段と、前記特定領域の画像特徴量および画像修正内容とを記憶する記憶手段とを有し、さらに、前記画像処理手段は、前記第１のコマと関連のあるコマを画像処理する際には、前記記憶手段から特定領域の画像特徴量と画像修正内容とを読み出し、読み出した画像特徴量および画像修正内容を用いて、画像処理を行うコマから前記第１のコマの特定領域の処理前の画像と前記画像特徴量が類似する類似領域を抽出し、かつ、抽出した類似領域に前記第１のコマの特定領域と同様の画像修正を行うことを特徴とする画像処理装置を提供する。
【００１２】
【発明の実施の形態】
以下、本発明の画像処理方法および画像処理装置について、添付の図面に示される好適実施例を基に詳細に説明する。
【００１３】
図１に、本発明の画像処理方法を実施する本発明の画像処理装置を利用するデジタルフォトプリンタの一例のブロック図が示される。
図１に示されるデジタルフォトプリンタ（以下、フォトプリンタ１０とする）は、基本的に、フィルムＦに撮影された画像を光電的に読み取るスキャナ（画像読取装置）１２と、読み取られた画像データ（画像情報）の画像処理やフォトプリンタ１０全体の操作および制御等を行う画像処理装置１４と、画像処理装置１４から出力された画像データに応じて変調した光ビームで感光材料（印画紙）を画像露光し、現像処理して（仕上り）プリントとして出力するプリンタ１６とを有して構成される。
また、画像処理装置１４には、様々な条件の入力（設定）、処理の選択や指示、色／濃度補正などの指示等を入力するためのキーボード１８ａおよびマウス１８ｂを有する操作系１８と、スキャナ１２で読み取られた画像、各種の操作指示、条件の設定／登録画面等を表示するディスプレイ２０が接続される。
【００１４】
スキャナ１２は、フィルムＦ等に撮影された画像を１コマずつ光電的に読み取る装置で、光源２２と、可変絞り２４と、フィルムＦに入射する読取光をフィルムＦの面方向で均一にする拡散ボックス２８と、結像レンズユニット３２と、Ｒ（赤）、Ｇ（緑）およびＢ（青）の各画像読取に対応するラインＣＣＤセンサを有するイメージセンサ３４と、アンプ（増幅器）３６と、Ａ／Ｄ（アナログ／デジタル）変換器３８とを有して構成される。
【００１５】
また、フォトプリンタ１０においては、新写真システム(Advanced Photo System）や１３５サイズのネガ（あるいはリバーサル）フィルム等のフィルムの種類やサイズ、ストリップスやスライド等のフィルムの形態等に応じて、スキャナ１２の本体に装着自在な専用のキャリアが用意されており、キャリアを交換することにより、各種のフィルムや処理に対応することができる。フィルムに撮影され、プリント作成に供される画像（コマ）は、このキャリアによって所定の読取位置に搬送される。
このようなスキャナ１２において、フィルムＦに撮影された画像を読み取る際には、光源２２から射出され、可変絞り２４によって光量調整された読取光が、キャリアによって所定の読取位置に位置されたフィルムＦに入射して、透過することにより、フィルムＦに撮影された画像を担持する投影光を得る。
【００１６】
図示例のキャリア３０は、図２（Ａ）に模式的に示されるように、所定の読取位置にフィルムＦを位置しつつ、イメージセンサ３４のラインＣＣＤセンサの延在方向（主走査方向）と直交する副走査方向に、フィルムＦの長手方向を一致して搬送する、読取位置を副走査方向に挟んで配置される搬送ローラ対３０ａおよび３０ｂと、フィルムＦの投影光を所定のスリット状に規制する、読取位置に対応して位置する主走査方向に延在するスリット４０ａを有するマスク４０とを有する。
フィルムＦは、このキャリア３０によって読取位置に位置されて副走査方向に搬送されつつ、読取光を入射される。これにより、結果的にフィルムＦが主走査方向に延在するスリット４０ａによって２次元的にスリット走査され、フィルムＦに撮影された各コマの画像が読み取られる。
【００１７】
なお、図中符号４４は、フィルムに光学的に記録されるＤＸコード、拡張ＤＸコード、ＦＮＳコード等のバーコードを読み取るためのコードリーダである。
また、新写真システムのフィルムには、磁気記録媒体が形成されており、新写真システムのフィルム（カートリッジ）に対応するキャリアには、この磁気記録媒体に記録された情報を読み取り、また、必要な情報を記録する磁気ヘッド４２が配置され、フィルムＦの画像読取時に、この磁気ヘッドによって磁気情報が読み取られ、必要な情報が、スキャナ１２から画像処理装置１４に送られる。
【００１８】
前述のように、読取光はキャリア３０に保持されたフィルムＦを透過して画像を担持する投影光となり、この投影光は、結像レンズユニット３２によってイメージセンサ３４の受光面に結像される。
図２（Ｂ）に示されるように、イメージセンサ３４は、Ｒ画像の読み取りを行うラインＣＣＤセンサ３４Ｒ、Ｇ画像の読み取りを行うラインＣＣＤセンサ３４Ｇ、およびＢ画像の読み取りを行うラインＣＣＤセンサ３４Ｂを有する、いわゆる３ラインのカラーＣＣＤセンサで、各ラインＣＣＤセンサは、前述のように主走査方向に延在している。フィルムＦの投影光は、このイメージセンサ３４によって、Ｒ、ＧおよびＢの３原色に分解されて光電的に読み取られる。
イメージセンサ３４の出力信号は、アンプ３６で増幅され、Ａ／Ｄ変換器３８でデジタル信号とされて、画像処理装置１４に送られる。
【００１９】
スキャナ１２においては、フィルムＦに撮影された画像の読み取りを、低解像度で読み取るプレスキャンと、出力画像の画像データを得るための本スキャンとの、２回の画像読取で行う。
プレスキャンは、スキャナ１２が対象とする全てのフィルムの画像を、イメージセンサ３４が飽和することなく読み取れるように、あらかじめ設定された、プレスキャンの読取条件で行われる。一方、本スキャンは、プレスキャンデータから、その画像（コマ）の最低濃度よりも若干低い濃度でイメージセンサ３４が飽和するように、各コマ毎に設定された本スキャンの読取条件で行われる。
プレスキャンと本スキャンの出力信号は、解像度と出力レベルが異なる以外は、基本的に同じデータである。
【００２０】
なお、本発明の画像処理方法を利用するデジタルフォトプリンタにおいて、スキャナは、このようなスリット走査によるものに限定はされず、１コマの画像の全面を一度に読み取る、面露光を利用するものであってもよい。この場合には、例えば、エリアＣＣＤセンサを用い、光源とフィルムＦとの間に、Ｒ、ＧおよびＢの各色フィルタの挿入手段を設け、色フィルタを挿入してエリアＣＣＤセンサで画像を読み取ることを、Ｒ、ＧおよびＢの各色フィルタで順次行い、フィルムに撮影された画像を３原色に分解して順次行う。
また、本発明を利用するフォトプリンタ１０においては、スキャナ１２によって読み取ったフィルムＦの画像以外にも、反射原稿の画像を読み取るスキャナ、デジタルカメラやデジタルビデオカメラ等の撮像デバイス、インタネット等のコンピュータ通信、フロッピーディスクやＭＯディスク（光磁気記録媒体）等から画像データを受け取って、これを再生したプリントを作成してもよい。
【００２１】
前述のように、スキャナ１２から出力されたデジタル信号は、画像処理装置１４（以下、処理装置１４とする）に出力される。
図３に、処理装置１４のブロック図を示す。処理装置１４は、データ処理部４８、Ｌｏｇ変換器５０、プレスキャン（フレーム）メモリ５２、本スキャン（フレーム）メモリ５４、プレスキャン処理部５６、本スキャン処理部５８、および条件設定部６０を有して構成される。
なお、図３は、主に画像処理関連の部位を示すものであり、処理装置１４には、これ以外にも、処理装置１４を含むフォトプリンタ１０全体の制御や管理を行うＣＰＵ、フォトプリンタ１０の作動等に必要な情報を記憶するメモリ等が配置され、また、操作系１８やディスプレイ２０は、このＣＰＵ等（ＣＰＵバス）を介して各部位に接続される。
【００２２】
スキャナ１２から出力されたＲ，ＧおよびＢの各デジタル信号は、データ処理部４８において、暗時補正、欠陥画素補正、シェーディング補正等の所定のデータ処理を施された後、Ｌｏｇ変換器５０によって変換されてデジタルの画像データ（濃度データ）とされ、プレスキャンデータはプレスキャンメモリ５２に、本スキャンデータは本スキャンメモリ５４に、それぞれ記憶（格納）される。
プレスキャンメモリ５２に記憶されたプレスキャンデータは、画像データ処理部６２（以下、処理部６２とする）と画像データ変換部６４とを有するプレスキャン処理部５６に、他方、本スキャンメモリ５４に記憶された本スキャンデータは、画像データ処理部６６（以下、処理部６６とする）と画像データ変換部６８とを有する本スキャン処理部５８に読み出され、処理される。
【００２３】
プレスキャン処理部５６の処理部６２と、本スキャン処理部５８の処理部６６は、後述する条件設定部６０が設定した処理条件に応じて、スキャナ１２によって読み取られた画像（画像データ）に、所定の画像処理を施す部位で、両者は、解像度が異なる以外は、基本的に、同じ処理を行う。
両処理部による画像処理には特に限定はなく、公知の各種の画像処理が例示されるが、例えば、ＬＵＴ（ルックアップテーブル）を用いたグレイバランス調整、階調補正、および濃度（明るさ）調整、マトリクス（ＭＴＸ）による撮影光源種補正や画像の彩度調整（色調整）、その他、ローパスフィルタ、加算器、ＬＵＴ、ＭＴＸ等を用いた、また、これらを適宜組み合わせた平均化処理や補間演算等を用いた、電子変倍処理、覆い焼き処理（濃度ダイナミックレンジの圧縮／伸長）、シャープネス（鮮鋭化）処理等が例示される。
これらの各画像処理条件は、プレスキャンデータ等を用いて後述する条件設定部６０において設定される。
【００２４】
画像データ変換部６８は、処理部６６によって処理された画像データを、例えば、３Ｄ（三次元）−ＬＵＴ等を用いて変換して、プリンタ１６による画像記録に対応する画像データとしてプリンタ１６に供給する。
画像データ変換部６４は、処理部６２によって処理された画像データを、必要に応じて間引いて、同様に、３Ｄ−ＬＵＴ等を用いて変換して、ディスプレイ２０による表示に対応する画像データとしてディスプレイ２０に供給する。
両者における処理条件は、プレスキャンデータを用いて後述する条件設定部６０で設定される。
【００２５】
条件設定部６０は、プレスキャン処理部５６および本スキャン処理部５８における各種の処理条件や、本スキャンの読取条件を設定する。
この条件設定部６０は、セットアップ部７２、キー補正部７４、およびパラメータ統合部７６を有して構成される。
【００２６】
セットアップ部７２は、プレスキャンメモリ５２からプレスキャンデータを読み出し、プレスキャンデータから、濃度ヒストグラムの作成や、平均濃度、ハイライト（最低濃度）、シャドー（最高濃度）等の画像特徴量の算出を行い、本スキャンの読取条件を決定し、さらに、グレイバランス調整、階調補正および濃度調整を行うＬＵＴの作成、彩度補正を行うＭＴＸ演算式の作成、鮮鋭度補正係数の算出等、プレスキャン処理部５６および本スキャン処理部５８における各種の画像処理条件を設定（演算）し、パラメータ統合部７６に供給する。
キー補正部７４は、キーボード１８ａに設定された濃度（明るさ）、色、コントラスト、シャープネス、彩度調等を調整するキーやマウス１８ｂで入力された各種の指示等に応じて、画像処理条件の調整量を算出し、パラメータ統合部７６に供給するものである。
パラメータ統合部７６は、セットアップ部７２が設定した画像処理条件を受け取り、プレスキャン処理部５６および本スキャン処理部５８に設定し、さらに、キー補正部７４で算出された調整量に応じて、各部位に設定した画像処理条件を補正（調整）し、あるいは画像処理条件を再設定する。
【００２７】
ここで、本発明の画像処理方法を実施するフォトプリンタ１０の条件設定部６０においては、フィルム１本、１顧客から同時にプリント作成を依頼された複数のフィルム、特定顧客の注文フィルム全般等、関連のある複数コマの画像処理を行ってプリントを作成する際に、顧客（プリント作成の依頼者）の希望等に応じて、先に処理を行ったコマにおいて、オペレータによって特定領域の指定があり、その領域の画像調整が行われた場合には、それ以降のコマも指定された特定領域と類似する領域を抽出して、同様の画像調整を行う。あるいは、関連のあるコマとして、ある地域全般という設定も可能である。この設定は、プリンタの工場出荷時設定を、人種が異なる場合の肌色の仕上げ方や、地域による好みの傾向等、稼動する地域に適したプリント設定に調整するのに適している。
なお、以下の説明では、便宜的に、特定領域の指定および調整を１コマ目で行った際を例とするが、本発明において、特定領域の指示および調整は、１コマ目で行うのに限定はされず、顧客の指示や画像中の被写体等に応じて、２コマ目以降に行ってもよく、あるいは、何コマ目〜何コマ目等、本発明の画像処理方法を実施するコマを指示し、その先頭コマで特定領域の指示および調整を行ってもよい。
【００２８】
例えば、フィルムＦの１コマ目を処理する際に、オペレータが特定領域（調整すべき絵柄）が顔であることを指示し、さらに、ディスプレイ２０に表示された画像（例えば、検定のためのシミュレーション画像）を見て、画像中の特定人物（複数も可）の顔を含む領域をマウス１８ｂ等を用いて切り出して、さらに、条件設定部６０での処理の進行（顔抽出の終了）に応じて、キーボード１８ａを用いて、色および濃度調整を行う。
この顔の色／濃度調整は、例えば、日焼け顔、色白顔、血色を良く等の、顧客による仕上り状態の希望（仕上り指示）に応じて行うのが好ましい。
【００２９】
前述の顔領域の指示および調整の情報は、条件設定部６０に供給される。
条件設定部６０においては、セットアップ部７２が、オペレータが切り出した領域の濃度ヒストグラムの作成等を行い、これを用いて、例えば色／濃度から顔領域を抽出する。なお、この顔抽出は、オペレータが領域を切り出さず、特定領域とする顔の一点をマウス１８ｂ等で指示し、色／濃度の連続性から顔抽出を行ってもよい。
次いで、セットアップ部７２は、抽出した顔領域の画像特徴量を算出して記憶する。この画像特徴量としては、濃度ヒストグラム、ハイライトおよびシャドー、平均濃度、色範囲、濃度範囲等の色／濃度特性；大きさ、縦横比、円形度、位置範囲等の位置・形状特性；テクスチャ特性；空間周波数特性；等の公知のものが各種利用可能であり、図示例においては、好適な例として、濃度範囲（d1_a〜d2_a）、および色範囲（R1_a〜R2_a、G1_a〜G2_a、B1_a〜B2_a）を利用する。
【００３０】
他方、セットアップ部７２が抽出した特定領域である顔領域、および特定領域の調整指示は、キー補正部７４に送られる。キー補正部７４は、調整指示に応じた画像処理条件の調整量を算出してパラメータ統合部７６に供給すると共に、調整指示による色／濃度調整量を算出してセットアップ部７２に送る。
セットアップ部７２は、この色／濃度調整量から、調整後の顔領域の濃度範囲（d1_b〜d2_b）、および色範囲（R1_b〜R2_b、G1_b〜G2_b、B1_b〜B2_b）を算出し、記憶する。
なお、パラメータ統合部７６では、画像処理条件の調整量に応じて、各部位に設定した画像処理条件を調整する。
【００３１】
条件設定部６０は、これ以降のコマについては、１コマ目で指示された特定領域と類似する類似領域の抽出、すなわち本例では画像の顔抽出を行い、抽出した顔領域が、１コマ目で特定領域として指定した顔と同様に仕上がるように、画像処理条件を設定する。例えば、先に記憶した、１コマ目の調整後の顔領域の濃度範囲（d1_b〜d2_b）、色範囲（R1_b〜R2_b、G1_b〜G2_b、B1_b〜B2_b）となるように、画像処理条件を設定する。
従って、本発明によれば、顧客の希望等に応じた仕上りの画像を、簡易な操作および良好な効率で得ることができ、顧客の希望等に応じた娯楽性の高い高品位なプリントを高い生産性で作成することができる。
【００３２】
顔抽出の方法には特に限定はなく、例えば、画像（画素）の色・濃度と連続性から人物の肌と推測される領域を抽出する顔抽出や、特開平８−１８４９２５公報に開示される、画像を閾値を用いて２値化して、例えば高濃度領域と低濃度領域に分別して領域抽出を行い、次いで、各領域の輪郭抽出を行い、これを利用して頭髪部抽出、胴体抽出、顔内部構造抽出（眼部抽出）、背景部抽出等を行う被写体抽出方法を利用する顔抽出が例示される。
さらに、これ以外にも、例えば、特開平４−３４６３３２号、同４−３４６３３３号、同４−３４６３３４号、同５−１００３２８号、同５−１５８１６４号、同５−１６５１１９号、同５−１６５１２０号、同６−６７３２０号、同６−１６０９９２号、同６−１６０９９３号、同６−１６０９９４号、同６−１６０９９５号、同８−１２２９４４号、同９−８０６５２号、同９−１０１５７９号、同９−１３８４７０号、同９−１３８４７１号の各公報等に開示される、各種の被写体抽出方法が利用可能である。
【００３３】
また、１コマ目の画像調整前の特定領域の画像特徴量、すなわち図示例では、特定領域として指定した顔の濃度範囲（d1_a〜d2_a）および色範囲（R1_a〜R2_a、G1_a〜G2_a、B1_a〜B2_a）を用いて、類似する色／濃度領域（肌色領域）を抽出して、顔抽出を行ってもよく、あるいは、この画像特徴量を前記被写体抽出による顔抽出の補助情報として用いてもよい。
【００３４】
このような、本発明の画像処理方法による画像の調整は、人物の顔に限定はされない。
例えば、軽く見えるブラウンの髪、緑の黒髪（つやのある美しい黒髪）のように頭髪も好みが多様であり、好みに応じた調整が可能であるのが好ましい。
【００３５】
この際においても、先の顔と同様に、例えば、フィルムＦの１コマ目を処理する際に、プレスキャンから画像処理条件が設定されて、プレスキャン処理部５６および本スキャン処理部５８の所定部位に設定されると共に、オペレータがディスプレイ２０に表示された画像を見て、特定領域が頭髪であること、および特定領域とする人物の頭髪部をマウス１８ｂ等を用いて切り出して、指定し、次いで、キーボード１８ａを用いて、顧客の希望に応じて色および濃度調整を行い、その情報が条件設定部６０に供給される。
条件設定部６０においては、セットアップ部７２が、オペレータが切り出した領域から頭髪部を抽出し、抽出した頭髪部の画像特徴量を算出して、記憶し、一方、キー補正部７４が、色および濃度調整の指示に応じた画像処理条件の調整量を算出してパラメータ統合部７６に供給し、画像処理条件が調整され、また、調整指示による色／濃度調整量を算出してセットアップ部７２に送り、セットアップ部７２は、この色／濃度調整量から、調整後の頭髪部の画像特徴量を算出し、記憶する。
【００３６】
条件設定部６０は、これ以降のコマについては、特定領域に対応する類似領域すなわち特定領域として指定された人物の頭髪部を抽出し、抽出した頭髪部が、１コマ目で指定された頭髪部と同様に仕上がるように、例えば、先の画像処理条件を設定する。
頭髪部の抽出は、例えば、前述の例と同様にして顔抽出を行い、特定領域として指定した１コマ目の頭髪部の画像特徴量を用いて、顔周辺で頭髪部となる領域を抽出すればよい。あるいは、前述の特開平８−１８４９２５公報に開示される頭髪部抽出を利用してもよく、また、１コマ目の頭髪部の画像特徴量のみから類似領域としての頭髪部を抽出してもよい。
【００３７】
また、本発明の画像処理方法によって、同様にして画像調整を行うことができる絵柄としては、顔や頭髪部以外にも、眼部（瞳）、唇、胴体（腕、首、その他の肌部分）、衣服（形状や模様を利用）、装身具（眼鏡、イヤリングやネックレス等のアクセサリー）等も好適に例示される。
【００３８】
ところで、フィルム１本等において、写真の画像（シーン）中に撮影されている人物は全コマで一人とは限らず、例えば、色白の人と色黒の人とが１画像中に含まれる場合も多々あり、あるいは、全く別人のみが撮影されている場合もあり、このような場合でも、人物の顔は基本的にすべて抽出される。このような場合に、１コマ目で特定領域として指定されていない人物の顔や頭髪部等まで、画一的に同じ仕上げにすると、逆に好ましくない場合も多い。
そのため、本発明においては、１コマ目の特定領域の処理前の画像特徴量を用いて、それ以降のコマで類似領域として抽出した顔や頭髪部の類似性を判定し、抽出した類似領域が適正な類似領域であるか否か、すなわち色／濃度等の調整をすべき領域か否かの判定を行ってもよい。
【００３９】
さらに、画像全体の濃度分布から逆光シーンか否かを判定し、類似領域として抽出した顔が、逆光シーンにおける平均的な顔濃度であるのか、あるいは色黒の人物の顔であるのかを判定して、調整の要・不要を判定してもよい。
【００４０】
また、１コマ目の特定領域の周辺の濃度分布や色分布を記憶しておき、それ以降のコマで、顔抽出を行った後、その周辺の濃度分布や色分布を観察し、両者を比較することによって類似領域の抽出結果の適否を判定してもよい。また、特定領域が頭髪部である場合には、頭髪部のテクスチャ特性も利用可能であり、髪型によっては有効である。
あるいは、１コマ目で特定領域の眼部検出を行っておき、それ以降のコマで、顔抽出を行った後、眼部検出を行い、その色や位置（間隔）等から、類似領域の抽出結果の適否を判定してもよい。なお、眼部検出の方法は、例えば、前述の特開平８−１８４９２５公報に開示される方法を用いればよい。
さらに、顔抽出や胴体抽出を行い、１コマ目とそれ以降のコマとで、色／濃度、衣服等の模様、眼鏡やイヤリング等の特定場所への特定形状や色・濃度の装身具の有無等を利用して、類似領域の抽出結果の適否を判定してもよい。この方法は、撮影日が同一で、特に、撮影時刻差が少ない場合に有効である。
【００４１】
以上の例では、特定領域として指定した人物の色・濃度調整のみを行っているが、本発明においては、これ以外にも、各種の調整を行ってもよい。
例えば、特定領域として特定の人物を指定して、その領域（顔のみ胴体のみ等の一部も可）のみ画像処理による変倍率（電子変倍率）を調整して、その人物が細身あるいはがっちりした体形に仕上がる様にしてもよい。
あるいは、シャープネス処理やぼかし処理等を利用して、特定の人物のみ、目をクッキリ仕上げたり、全体や顔の表情を柔らかい感じに仕上げてもよい。
さらに、目に光を入れる、特定形状のパターンを合成する、絵画調にする等、各種の特殊加工を行うことも可能である。
【００４２】
また、本発明は、人物以外にも好適に利用可能である。
例えば、山の撮影シーンであれば、画像特徴量として、稜線の形状、濃度、色味、テクスチャ等を用いることにより、１コマ目で特定領域として指定した山と同様の画像調整を、それ以降のコマでも行うことができる。
あるいは、花、静物、風景の空、その他の絵柄でも、画像特徴量として濃度、色味、テクスチャ等を用いることにより、同様の調整を行うことができる。
【００４３】
以上の説明では、オペレータが特定領域に対する画像調整をキーボード１８ａ等を行い、それ以降のコマで、特定画像の類似画像に対して、１コマ目にオペレータが行った画像調整と同様の画像調整を行っているが、本発明はこれに限定はされず、例えば、仕上げ指示およびそれに対する好適な画像処理条件を予め設定しておき、１コマ目で特定領域の指定およびそれに対する仕上げ指示が出され、それに応じた画像処理がされた場合には、それ以降のコマで、前述のように類似画像を抽出し、同様の仕上げ指示に応じた画像処理を行ってもよい。
【００４４】
仕上げ指示としては、一例として、色白、細身、赤目消し、工事写真、ポートレート、記念写真、集合写真、スポーツ、夜景、夜景ポートレート、シルエット、夕陽、雪、緑、クロスフィルタ、春、夏、秋、冬、初夏、クリスマス、正月、誕生日、赤ちゃん、結婚式、花、日焼け肌、ブロンドヘアー、ブラウンヘアー、黒人、白人、白黒、セピア、ソフトフォーカス、軟調、ポスタライズ、絵画調等が例示され、各仕上げ指示は、それぞれＩＤ化されているのが好ましい。
【００４５】
仕上げ指示に対する画像処理条件としては、例えば、「細身」という仕上げ指示に対しては、特定画像および類似画像のみ（以下、省略する）、変倍率の縦横比を１：０．９５にするという処理条件が例示される。
「色白」という仕上げ指示に対しては、顔濃度を濃度Ｄで０．１だけ低くする（−０．１する）するという処理条件が例示される。
「黒人」、「白人」のような仕上げ指示に対しては、それぞれの人種で、理想的な色やディティールを有する肌の画像データや、被写体の肌を理想に近付けるようなＬＵＴやその作成情報が例示される。同様に、「ブロンドヘアー」、「ブラウンヘアー」のような仕上げ指示に対しては、それぞれに対して、理想的な頭髪の画像データや、被写体の髪の毛を理想に近付けるようなＬＵＴやその作成情報が例示される。
【００４６】
なお、このような仕上げ指示、およびそれに応じた画像処理は、本出願人による、特願平９−２６８７２４号明細書に詳述される。
【００４７】
さらに、本発明の画像処理方法においては、このような特定領域、その画像特徴量、およびそれに対する画像調整の情報等を、顧客ＩＤと共にデータベース化して、その顧客からのプリント作成依頼があった場合には、類似領域を抽出して、同様の画像調整を行ってもよい。
【００４８】
以下、スキャナ１２および処理装置１４の作用を説明することにより、本発明の画像処理方法について、より詳細に説明する。
プリント作成を依頼されたオペレータは、フィルムＦに対応するキャリア３０をスキャナ１２に装填し、キャリア３０の所定位置にフィルムＦ（カートリッジ）をセットし、作成するプリントサイズ等の必要な指示を入力した後に、プリント作成開始を指示する。
これにより、スキャナ１２の可変絞り２４の絞り値やイメージセンサ（ラインＣＣＤセンサ）３４の蓄積時間がプレスキャンの読取条件に応じて設定され、その後、キャリア３０がフィルムＦをプレスキャンに応じた速度で副走査方向に搬送してプレスキャンが開始され、前述のように所定の読取位置において、フィルムＦがスリット走査されて投影光がイメージセンサ３４に結像して、フィルムＦに撮影された画像がＲ，ＧおよびＢに分解されて光電的に読み取られる。
また、このフィルムＦの搬送の際に、磁気記録媒体に記録された磁気情報が読み出され、また、コードリーダ４４によってＤＸコード等のバーコードが読まれ、必要な情報が所定の部位に送られる。
【００４９】
なお、プレスキャンおよび本スキャンは、１コマずつ行ってもよく、全コマあるいは所定の複数コマずつ、連続的にプレスキャンおよび本スキャンを行ってもよい。以下の例では、説明を簡潔にするために、画像読取を１コマずつ行う場合を例に説明を行う。
【００５０】
プレスキャンによるイメージセンサ３４の出力信号は、アンプ３６で増幅されて、Ａ／Ｄ変換器３８に送られ、デジタル信号とされる。
デジタル信号は、処理装置１４に送られ、データ処理部４８で所定のデータ処理を施され、Ｌｏｇ変換器５０でデジタルの画像データであるプレスキャンデータとされ、プレスキャンメモリ５２に記憶される。
【００５１】
プレスキャンメモリ５２にプレスキャンデータが記憶されると、条件設定部６０のセットアップ部７２がこれを読み出し、画像の濃度ヒストグラムの作成、ハイライトやシャドー等の画像特徴量の算出等を行い、本スキャンの読取条件を設定してスキャナ１２に供給し、さらに、濃度ヒストグラムや算出した画像特徴量に加え、必要に応じて行われるオペレータの指示を加味して、画像処理条件を設定し、パラメータ統合部７６に供給する。
パラメータ統合部７６は、受け取った画像処理条件をプレスキャン処理部５６および本スキャン処理部５８の所定部位（ハードウエア）に設定する。
【００５２】
検定を行う場合には、プレスキャンデータが処理部６２によってプレスキャンメモリ５２から読み出され、処理部６２で処理され、画像データ変換部６４で変換されて、シミュレーション画像としてディスプレイ２０に表示される。
オペレータは、ディスプレイ２０の表示を見て、画像すなわち処理結果の確認（検定）を行い、必要に応じて、キーボード１８ａに設定された調整キー等を用いて、画像全体の色、濃度、階調等を調整する。
ここで、本発明の画像処理方法を実施する場合には、オペレータは、全体的な画像調整に先立ち、顧客の希望等に応じて、例えば、特定領域が顔であることを指定し、さらに、マウス１８ｂ等を用いて、特定領域とすべき人物の顔を含む領域を切り出し、さらに、条件設定部６０での顔抽出終了に応じて、その領域の例えば色および濃度を調整する。
【００５３】
切り出された領域の情報は、セットアップ部７２に送られ、セットアップ部７２は、色／濃度から顔領域を抽出して、その画像特徴量（例えば、前記濃度範囲および色範囲）を算出して記憶する。
セットアップ部７２が抽出した特定領域としての顔領域の情報、顔領域の色／濃度調整の入力、および全体の画像調整の入力は、キー補正部７４に送られ、キー補正部７４は調整入力に応じた画像処理条件の補正量を算出し、これをパラメータ統合部７６に送る。パラメータ統合部７６は、送られた補正量に応じて、前述のように、処理部６２および処理部６６のＬＵＴやＭＴＸ等を補正する。従って、この補正すなわちオペレータによる調整入力に応じて、ディスプレイ２０に表示される画像も変化する。
【００５４】
オペレータは、このコマの画像が適正（検定ＯＫ）であると判定すると、キーボード１８ａ等を用いてプリント開始を指示する。これにより、画像処理条件が確定し、スキャナ１２において可変絞り２４の絞り値等が設定された本スキャンの読取条件に応じて設定されると共に、キャリア３０が本スキャンに対応する速度でフィルムＦを搬送し、本スキャンが開始される。
画像処理条件の確定と共に、キー補正部７４は、オペレータの調整による、特定領域として指定された顔領域の色／濃度調整量を算出してセットアップ部７２に送り、セットアップ部７２は、それに応じて、画像調整後の特定領域の画像特徴量を算出し、記憶する。
なお、検定や本発明の画像処理方法を行わない場合には、パラメータ統合部７６による本スキャン処理部５８への画像処理条件の設定を終了した時点で画像処理条件が確定し、本スキャンが開始される。
【００５５】
本スキャンは、可変絞り２４の絞り値等の読取条件が設定された本スキャンの読取条件となる以外はプレスキャンと同様に行われ、イメージセンサ３４からの出力信号はアンプ３６で増幅されて、Ａ／Ｄ変換器３８でデジタル信号とされ、処理装置１４のデータ処理部４８で処理されて、Ｌｏｇ変換器５０で本スキャンデータとされ、本スキャンメモリ５４に送られる。
本スキャンデータが本スキャンメモリ５４に送られると、本スキャン処理部５８によって読み出され、処理部６６において確定した画像処理条件で画像処理され、次いで、画像データ変換部６８で変換されて出力用の画像データとされ、プリンタ１６に出力される。
【００５６】
次いで、１コマ目の読み取りが終了すると、同様にして、２コマ目のプレスキャンが開始され、プレスキャンデータがプレスキャンメモリ５２に記憶されると、条件設定部６０のセットアップ部７２がこれを読み出し、濃度ヒストグラムの作成、画像特徴量の算出等を行い、本スキャンの読取条件を設定し、また、画像処理条件を設定する。
ここで、本発明の画像処理方法を実施する場合には、条件設定部６０は、画像処理条件の設定に先立ち、２コマ目の画像から顔抽出を行い、特定領域として指定された顔の類似領域としての顔が抽出された場合には、抽出した類似領域の顔の画像特徴量が、先に記憶した、１コマ目の調整後の特定領域の顔の画像特徴量と一致するように、画像処理条件を設定する。
次いで、同様にプレスキャンデータによるシミュレーション画像を用いた検定が行われ、検定ＯＫによるプリント開始の指示によって画像処理条件が確定して、本スキャンが行われ、確定した画像処理条件で本スキャンデータが処理されてプリンタ１６に出力され、以下、同様に３コマ目以降の画像読取が行われる。
【００５７】
プリンタ１６は、供給された画像データに応じて感光材料（印画紙）を露光して潜像を記録するプリンタ（焼付装置）と、露光済の感光材料に所定の処理を施してプリントとして出力するプロセサ（現像装置）とを有して構成される。
プリンタでは、例えば、感光材料をプリントに応じた所定長に切断した後に、バックプリントを記録し、次いで、感光材料の分光感度特性に応じたＲ露光、Ｇ露光およびＢ露光の３種の光ビームを処理装置１４から出力された画像データに応じて変調して主走査方向に偏向すると共に、主走査方向と直交する副走査方向に感光材料を搬送することにより、前記光ビームで感光材料を２次元的に走査露光して潜像を記録し、プロセサに供給する。感光材料を受け取ったプロセサは、発色現像、漂白定着、水洗等の所定の湿式現像処理を行い、乾燥してプリントとし、フィルム１本分等の所定単位に仕分して集積する。
【００５８】
以上、本発明の画像処理方法および画像処理装置について詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。
【００５９】
【発明の効果】
以上、詳細に説明したように、本発明によれば、デジタルフォトプリンタ等のフォトプリンタにおいて、顧客の好み等に応じた仕上りの、娯楽性の高い画像を簡易かつ良好な操作性で得ることができ、このような画像を再生した高品位なプリントを、高い生産性で作成することができる。
【図面の簡単な説明】
【図１】本発明の画像処理方法を実施する本発明の画像処理装置の一例を利用するデジタルフォトプリンタのブロック図である。
【図２】（Ａ）は、図１に示されるデジタルフォトプリンタに装着されるキャリアを説明するための概略斜視図、（Ｂ）は図１に示されるデジタルフォトプリンタのイメージセンサの概念図である。
【図３】図１に示されるデジタルフォトプリンタの画像処理装置のブロック図である。
【符号の説明】
１０（デジタル）フォトプリンタ
１２スキャナ
１４（画像）処理装置
１６プリンタ
１８操作系
２０ディスプレイ
２２光源
２４可変絞り
２８拡散ボックス
３０キャリア
３２結像レンズユニット
３４イメージセンサ
３４Ｒ，３４Ｇ，３４ＢラインＣＣＤセンサ
３６アンプ
３８Ａ／Ｄ変換器
４０マスク
４４コードリーダ
４８データ処理部
５０Ｌｏｇ変換器
５２プレスキャン（フレーム）メモリ
５４本スキャン（フレーム）メモリ
５６プレスキャン処理部
５８本スキャン処理部
６０条件設定部
６２，６６（画像データ）処理部
６４，６８画像データ変換部
７２セットアップ部
７６パラメータ統合部

Claims

画像データ供給源から供給された画像データに所定の画像処理を施し、出力用の画像データとする画像処理において、
関連のある複数コマの画像を処理するに際し、第１のコマについて、画像中の特定領域、および、この特定領域に対する画像修正を指定し、この第１のコマの画像処理の際に、前記指定に応じて、前記特定領域の画像特徴量を算出し、かつ、前記特定領域の画像を修正して、この特定領域の画像特徴量の情報と画像修正内容を記憶しておき、
それ以降のコマの画像処理を行う際に、前記記憶した第１のコマの特定領域の画像特徴量の情報と画像修正内容とを用いて、画像処理を行うコマから前記第１のコマの特定領域の処理前の画像と前記画像特徴量が類似する類似領域を抽出し、かつ、この類似領域は、前記第１のコマの特定領域と同様の画像修正を行うことを特徴とする画像処理方法。
前記特定領域が、人物全体、顔、頭髪、眼部、唇、胴体、衣服、および装身具から選択される１以上である請求項１に記載の画像処理方法。
前記画像特徴量が、位置、形状特性、濃度特性、色味特性、テクスチャー特性、空間周波数特性から選択される１以上である請求項１または２に記載に画像処理方法。
画像データ供給源から供給された画像データに所定の画像処理を施し、出力用の画像データとする画像処理装置であって、
関連のある複数コマの第１のコマに対して、画像中の特定領域およびこの特定領域に対する画像修正内容を指定する指定手段と、供給された各画像データに前記所定の画像処理を行うと共に、前記第１のコマについては、前記指定手段による指定に応じて、特定領域の画像特徴量を算出し、かつ前記特定領域の画像を修正する画像処理手段と、前記特定領域の画像特徴量および画像修正内容とを記憶する記憶手段とを有し、
さらに、前記画像処理手段は、前記第１のコマと関連のあるコマを画像処理する際には、前記記憶手段から特定領域の画像特徴量と画像修正内容とを読み出し、読み出した画像特徴量および画像修正内容を用いて、画像処理を行うコマから前記第１のコマの特定領域の処理前の画像と前記画像特徴量が類似する類似領域を抽出し、かつ、抽出した類似領域に前記第１のコマの特定領域と同様の画像修正を行うことを特徴とする画像処理装置。