JP4461416B2 - 画像処理方法並びに画像処理装置及び写真処理装置 - Google Patents

画像処理方法並びに画像処理装置及び写真処理装置 Download PDF

Info

Publication number
JP4461416B2
JP4461416B2 JP2003386971A JP2003386971A JP4461416B2 JP 4461416 B2 JP4461416 B2 JP 4461416B2 JP 2003386971 A JP2003386971 A JP 2003386971A JP 2003386971 A JP2003386971 A JP 2003386971A JP 4461416 B2 JP4461416 B2 JP 4461416B2
Authority
JP
Japan
Prior art keywords
resolution
low
image data
area
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003386971A
Other languages
English (en)
Other versions
JP2005149217A (ja
Inventor
耕一 久後
規之 西
寿一 倉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Noritsu Koki Co Ltd
Original Assignee
Noritsu Koki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Noritsu Koki Co Ltd filed Critical Noritsu Koki Co Ltd
Priority to JP2003386971A priority Critical patent/JP4461416B2/ja
Publication of JP2005149217A publication Critical patent/JP2005149217A/ja
Application granted granted Critical
Publication of JP4461416B2 publication Critical patent/JP4461416B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

本発明は、デジタル画像データを処理する画像処理方法並びに画像処理装置及び当該画像処理装置を備えた写真処理装置に関する。
画像処理方法及び装置として、例えば、デジタルカメラ等で撮影したデジタル画像データ、或いは銀塩カメラで撮影した写真フィルムなどの写真感光材料等の被読取物をスキャナー等の画像読取装置で読み込んだデジタル画像データを処理するデジタル画像処理方法及び装置を挙げることができる。
このような画像処理方法及び装置では、所定多数の画素データからなる高解像度画像データ(例えば、カラー画像であれば、それぞれが複数色(一般的には3原色(青、緑及び赤)の各色毎630万画素程度の画素データからなる複数の高解像度画像データ)の中から、検出すべき少なくとも一つの領域を検出し、当該検出された領域について所定の処理を行うことがある。
これについてさらに具体的に説明すると、例えば、ストロボ装置等を使って人物をカラー撮影する場合に、ストロボ装置等からの光が眼球内の血管に反射され、この反射された光により瞳部分が赤くなって撮影されしまう現象、いわゆる赤目という現象が発生し、不自然な画像となってしまうことがある。
この現象を回避するために、画像処理方法及び装置において、高解像度画像データの中から赤目領域を検出し、当該検出された赤目領域を適切な色に補正する手法が種々提案されている。この赤目領域を検出する従来の技術として、例えば、赤目領域の前処理として、画像データ中から人物の顔を抽出して赤目領域の検出に利用する技術が提案されている(例えば、特許文献1参照)。
この赤目領域検出の前処理として人物の顔を抽出する場合には、高解像度画像データにおける多数(例えば、3原色の各色毎630万画素程度)の画素データについて顔抽出処理を行うので、当該顔抽出処理に多くの計算量が必要であり、当該顔抽出処理にそれだけ多くの時間を要する。なお、赤目だけでなく、青目、金目等の他の瞳領域の色補正する場合も同様である。
特開平10−233929号公報
このように、多数の画素データからなる高解像度画像データについて、検出すべき少なくとも一つの領域を検出する場合には、当該領域の検出に多くの処理時間を要するため、通常は、より高速に処理できる処理装置を用いる。しかしながら、かかる高速処理可能な処理装置を用いると当該処理時間を短縮できるものの、画像処理装置コストが高くつく。
本発明は、前記問題に鑑みてなされたもので、所定多数の画素データからなる高解像度画像データについて、検出すべき少なくとも一つの領域を検出し、当該検出された領域に対して所定の処理を行う画像処理方法並びに画像処理装置及び写真処理装置であって、当該検出の処理に要する時間を抑制でき、ひいては画像処理装置コストを低減できる画像処理方法並びに画像処理装置及び写真処理装置を提供することを課題とする。
本発明は前記課題を解決するため、次の画像処理方法並びに画像処理装置及び写真処理措置を提供する。
(1)画像処理方法
所定多数の画素データからなる高解像度画像データについて、検出すべき少なくとも一つの領域を検出し、当該検出された領域に対して所定の処理を行う画像処理方法であって、
前記高解像度画像データに対応し、前記高解像度画像データの数より少ない数の画素データからなる低解像度画像データにおける検出すべき少なくとも一つの低解像度画素領域を検出する低解像度画素領域検出ステップと、
前記低解像度画素領域検出ステップにて検出された前記低解像度画像データにおける前記低解像度画素領域の位置を、前記高解像度画像データにおいて、前記低解像度画素領域の位置に対応するように、高解像度画素領域の位置に変換する高解像度変換ステップと、
前記高解像度変換ステップにて変換された前記高解像度画像データの前記高解像度画素領域について前記所定処理を行う高解像度画素領域処理ステップと
を含むことを特徴とする画像処理方法。
(2)画像処理装置
所定多数の画素データからなる高解像度画像データについて、検出すべき少なくとも一つの領域を検出し、当該検出された領域に対して所定の処理を行う画像処理装置であって、
前記高解像度画像データに対応し、前記高解像度画像データの数より少ない数の画素データからなる低解像度画像データにおける検出すべき少なくとも一つの低解像度画素領域を検出する低解像度画素領域検出手段と、
前記低解像度画素領域検出手段にて検出された前記低解像度画像データにおける前記低解像度画素領域の位置を、前記高解像度画像データにおいて、前記低解像度画素領域の位置に対応するように、高解像度画素領域の位置に変換する高解像度変換手段と、
前記高解像度変換手段にて変換された前記高解像度画像データの前記高解像度画素領域について前記所定処理を行う高解像度画素領域処理手段と
を備えることを特徴とする画像処理装置。
(3)写真処理装置
前記本発明に係る画像処理装置を備えたことを特徴とする写真処理装置。
本発明に係る画像処理方法並びに画像処理装置及び写真処理装置では、先ず、前記高解像度画像データに対応する前記低解像度画像データにおける検出すべき少なくとも一つの低解像度画素領域を検出する。このとき、前記低解像度画像データの数は、前記高解像度画像データの数より少ないので、例えば、当該検出の処理のための計算量をそれだけ少なくでき、これにより、当該検出に要する処理時間を少なくできる。そして、当該検出された前記低解像度画像データにおける前記低解像度画素領域の位置を、前記高解像度画像データにおいて、前記低解像度画素領域の位置に対応するように、高解像度画素領域の位置に変換し、当該変換された前記高解像度画像データの前記高解像度画素領域について前記所定処理を行う。
このように、本発明に係る画像処理方法並びに画像処理装置及び写真処理装置によると、前記検出の処理に要する時間を抑制でき、ひいては画像処理装置コストを低減できる。なお、前記高解像度画像データの画素数に対する前記低解像度画像データの画素数の比率は、大きすぎると前記低解像度画素領域の検出に要する処理時間が多くなり易く、小さすぎると前記低解像度画素領域の検出精度が低下し易い。従って、この比率としては、それには限定されないが、1/10〜1/200程度を例示できる。
本発明に係る画像処理方法及び画像処理装置において、前記検出すべき少なくとも一つの領域として、前記したように人物の顔のような領域を含む顔領域を検出し、当該検出された顔領域において赤目等の瞳領域を検出し、さらに当該検出された瞳領域を所定の色に補正することができる。この場合、次の態様を例示できる。すなわち、
(1a)第1の画像処理方法
前記低解像度画素領域検出ステップは、前記低解像度画像データにおける前記少なくとも一つの低解像度画素領域として、人物の顔のような領域を含む低解像度顔領域を検出する低解像度顔領域検出ステップを含み、
前記高解像度変換ステップでは、前記高解像度画素領域として、前記低解像度顔領域検出ステップにて検出された前記低解像度画像データにおける前記低解像度顔領域の位置を、前記高解像度画像データにおいて、前記低解像度顔領域の位置に対応するように、高解像度顔領域の位置に変換し、
前記高解像度画素領域処理ステップは、前記高解像度変換ステップにて変換された前記高解像度顔領域において検出すべき瞳領域を含むように所定の高解像度瞳位置領域を検出する高解像度瞳位置領域検出ステップと、前記高解像度画像データの前記高解像度瞳位置領域検出ステップにて検出された前記高解像度瞳位置領域における前記検出すべき瞳領域を検出する瞳領域検出ステップと、前記瞳領域検出ステップにて検出された前記瞳領域について所定の色補正を行う色補正ステップとを含む画像処理方法。
(1b)第2の画像処理方法
前記低解像度画素領域検出ステップは、前記低解像度画像データにおける前記少なくとも一つの低解像度画素領域として、人物の顔のような領域を含む低解像度顔領域を検出する低解像度顔領域検出ステップと、前記低解像度顔領域検出ステップにて検出された前記低解像度顔領域において検出すべき瞳領域を含むように所定の低解像度瞳位置領域を検出する低解像度瞳位置領域検出ステップとを含み、
前記高解像度変換ステップでは、前記高解像度画素領域として、前記低解像度瞳位置領域検出ステップにて前記検出すべき瞳領域を含むように検出された前記低解像度画像データにおける前記低解像度顔領域の前記低解像度瞳位置領域の位置を、前記高解像度画像データにおいて、前記低解像度瞳位置領域の位置に対応するように、高解像度瞳位置領域の位置に変換し、
前記高解像度画素領域処理ステップは、前記高解像度画像データの前記高解像度変換ステップにて変換された前記高解像度瞳位置領域における前記検出すべき瞳領域を検出する瞳領域検出ステップと、前記瞳領域検出ステップにて検出された前記瞳領域について所定の色補正を行う色補正ステップとを含む画像処理方法。
(2a)第1の画像処理装置
前記低解像度画素領域検出手段は、前記低解像度画像データにおける前記少なくとも一つの低解像度画素領域として、人物の顔のような領域を含む低解像度顔領域を検出する低解像度顔領域検出手段を備え、
前記高解像度変換手段では、前記高解像度画素領域として、前記低解像度顔領域検出手段にて検出された前記低解像度画像データにおける前記低解像度顔領域の位置を、前記高解像度画像データにおいて、前記低解像度顔領域の位置に対応するように、高解像度顔領域の位置に変換し、
前記高解像度画素領域処理手段は、前記高解像度変換手段にて変換された前記高解像度顔領域において検出すべき瞳領域を含むように所定の高解像度瞳位置領域を検出する高解像度瞳位置領域検出手段と、前記高解像度画像データの前記高解像度瞳位置領域検出手段にて検出された前記高解像度瞳位置領域における前記検出すべき瞳領域を検出する瞳領域検出手段と、前記瞳領域検出手段にて検出された前記瞳領域について所定の色補正を行う色補正手段とを備える画像処理装置。
(2b)第2の画像処理装置
前記低解像度画素領域検出手段は、前記低解像度画像データにおける前記少なくとも一つの低解像度画素領域として、人物の顔のような領域を含む低解像度顔領域を検出する低解像度顔領域検出手段と、前記低解像度顔領域検出手段にて検出された前記低解像度顔領域において検出すべき瞳領域を含むように所定の低解像度瞳位置領域を検出する低解像度瞳位置領域検出手段とを備え、
前記高解像度変換手段では、前記高解像度画素領域として、前記低解像度瞳位置領域検出手段にて前記検出すべき瞳領域を含むように検出された前記低解像度画像データにおける前記低解像度顔領域の前記低解像度瞳位置領域の位置を、前記高解像度画像データにおいて、前記低解像度瞳位置領域の位置に対応するように、高解像度瞳位置領域の位置に変換し、
前記高解像度画素領域処理手段は、前記高解像度画像データの前記高解像度変換手段にて変換された前記高解像度瞳位置領域における前記検出すべき瞳領域を検出する瞳領域検出手段と、前記瞳領域検出手段にて検出された前記瞳領域について所定の色補正を行う色補正手段とを備える画像処理装置。
前記第1及び第2の画像処理方法並びに前記第1及び第2の画像処理装置のいずれにおいても、先ず、前記低解像度画像データにおける前記少なくとも一つの前記顔領域を検出する。このように前記低解像度画像データにおいて前記顔領域の検出を行うことで、当該検出の処理のための計算量をそれだけ少なくでき、これにより、当該検出に要する処理時間を少なくできるとともに、大まかな瞳領域の位置を認知することができ、後述する瞳領域検出の精度を向上させることができる。なお、前記顔領域を検出する手法については従来周知の各種手法を適用できる。前記顔領域を検出する手法として、それには限定されないが、前記低解像度画像データにおける各画素データについて人物の顔のような丸形状等の画像パターンを抽出し、当該抽出された画像パターンにおいて顔部品(例えば、両眉毛、両目、鼻、口、顎)の各候補の位置関係に基づいて、人物の顔であるか否かを評価するとともに、当該画像パターンが人物の顔であると評価された顔領域について、顔部品(例えば、両眉毛、両目、鼻、口、顎)の位置関係に基づいて、当該顔領域の天地を認識するような手法などを例示できる。
そして、前記第1の画像処理方法及び前記第1の画像処理装置では、当該検出された前記低解像度画像データにおける前記低解像度顔領域の位置を、前記高解像度画像データにおいて、前記低解像度顔領域の位置に対応するように、高解像度顔領域の位置に変換したあと、当該変換された前記高解像度顔領域において検出すべき瞳領域を含むように所定の高解像度瞳位置領域を検出し、当該検出された前記高解像度瞳位置領域における前記検出すべき瞳領域を検出する。また、前記第2の画像処理方法及び前記第2の画像処理装置では、当該検出された前記低解像度顔領域において検出すべき瞳領域を含むように所定の低解像度瞳位置領域を検出したあと、前記検出すべき瞳領域を含むように検出された前記低解像度画像データにおける前記低解像度顔領域の前記低解像度瞳位置領域の位置を、前記高解像度画像データにおいて、前記低解像度瞳位置領域の位置に対応するように、高解像度瞳位置領域の位置に変換し、当該変換された前記高解像度瞳位置領域における前記検出すべき瞳領域を検出する。
次いで、前記第1及び第2の画像処理方法並びに前記第1及び第2の画像処理装置のいずれにおいても、当該検出された前記瞳領域について所定の色補正を行う。なお、前記瞳位置領域を検出する手法並びに前記瞳領域検出及び前記色補正を行う手法のいずれについても、従来周知の各種手法を適用できる。例えば、前記瞳位置領域を検出する手法として、それには限定されないが、後述するように前記顔領域において前記瞳位置領域を該瞳位置領域が統計的に推定される位置に特定する手法などを挙げることができる。また、前記瞳領域検出及び前記色補正を行う手法としては、従来周知の各種手法を適用でき、それには限定されないが、例えば、特開2001−69333号公報や特開2001−69334号公報に示される手法などを挙げることができる。
本発明に係る画像処理方法及び画像処理装置において、前記低解像度画像データ及び前記高解像度画像データとしては、デジタルカメラ等で撮影したデジタル画像データ、或いは銀塩カメラで撮影した写真フィルムなどの写真感光材料等の被読取物をスキャナー等の画像読取装置で読み込んだデジタル画像データを例示できる。この場合、例えば、デジタルカメラ等で撮影したデジタル画像データをそのまま前記高解像度画像データとして読み込んだり、銀塩カメラで撮影した写真フィルムなどの写真感光材料等の被読取物をスキャナー等の画像読取装置で前記高解像度画像データとして読み込むとともに、当該読み込んだ前記高解像度画像データを前記低解像度画像データに変換することで、前記低解像度画像データ及び前記高解像度画像データを得てもよいし、また、銀塩カメラで撮影した写真フィルムなどの写真感光材料等の被読取物をスキャナー等の画像読取装置で、一旦、前記低解像度画像データとして読み込み(いわゆるプレスキャンし)、さらに、当該被読取物を前記画像読取装置で前記高解像度画像データとして読み込む(いわゆる本スキャンする)ことで、前記低解像度画像データ及び前記高解像度画像データを得てもよい。なお、前記高解像度画像データは、代表的には、写真プリント出力や印刷出力等の高画質が要求される出力画像用のものを例示でき、また、前記低解像度画像データは、代表的には、画像表示装置等に表示されて、主としてオペレータによる各種画像処理操作に用いられ、低画質でも許容される出力画像用のものを例示できる。
前記低解像度画像データ及び前記高解像度画像データをスキャナー等の画像読取装置で読み込む場合には、前記第1及び第2の画像処理方法は、画像読取装置及び被読取物のうち少なくとも一方を所定方向に相対的に移動させつつ前記画像読取装置にて前記相対移動方向に走査するとともに前記相対移動方向に略直交する方向に走査することで前記低解像度画像データを読み取る(いわゆるプレスキャンする)低解像度画像データ読取ステップ(プレスキャンステップ)と、前記画像読取装置及び前記被読取物のうち少なくとも一方を所定方向に相対的に移動させつつ前記画像読取装置にて前記相対移動方向に走査するとともに前記相対移動方向に略直交する方向に走査することで前記高解像度画像データを読み取る(いわゆる本スキャンする)高解像度画像データ読取ステップ(本スキャンステップ)とのうち少なくとも高解像度画像データ読取ステップ(本スキャンステップ)をさらに含むことができ、また、前記第1及び第2の画像処理装置は、画像読取装置と、前記画像読取装置及び被読取物のうち少なくとも一方を所定方向に相対的に移動させつつ前記画像読取装置にて前記相対移動方向に走査するとともに前記相対移動方向に略直交する方向に走査することで前記低解像度画像データを読み取る(いわゆるプレスキャンする)低解像度画像データ読取手段(プレスキャン手段)と、前記画像読取装置及び前記被読取物のうち少なくとも一方を所定方向に相対的に移動させつつ前記画像読取装置にて前記相対移動方向に走査するとともに前記相対移動方向に略直交する方向に走査することで前記高解像度画像データを読み取る(いわゆる本スキャンする)高解像度画像データ読取手段(本スキャン手段)とのうち少なくとも画像読取装置及び高解像度画像データ読取手段(本スキャン手段)をさらに備えることができる。前記プレスキャン及び前記本スキャンの双方を行う場合、前記プレスキャンして前記低解像度画像データを読み取るとともに、前記本スキャンして前記高解像度画像データを読み取る態様としては、前記プレスキャン時に、一旦、前記画像読取装置に対し前記被読取物を所定の位置から所定の移動方向に移動させて前記低解像度画像データを読み取ってから、当該移動方向とは逆方向に移動させて、前記被読取物を元の所定位置に戻し、前記本スキャンを行って前記高解像度画像データを読み取る場合を例示できる。
ところで、前記したように、前記プレスキャン時に、一旦、前記画像読取装置に対し前記被読取物を所定の位置から所定の移動方向に移動させてから、当該移動方向とは逆方向に移動させて、前記被読取物を元の所定位置に戻し、前記本スキャンを行うようなときには、かかるスキャン処理は、機械的処理であるので、電気的処理に比べれば再現性が得られ難く、例えば、図12に示すように、プレスキャンによって読み取った画像と本スキャンによって読み取った画像とでは、前記被読取物の画像位置が、当該移動方向において、ずれて入力される可能性がある。なお、図中点線で描かれた顔の位置は、プレスキャンによって読み取った画像での顔の位置であり、図中実線で描かれた顔の位置は、本スキャンによって読み取った画像での顔の位置である。後述する図11(A)及び図11(B)についても同様である。
そこで、このような場合には、前記第1の画像処理方法及び装置において、前記低解像度顔領域検出ステップ及び手段では、前記低解像度画像データ読取(プレスキャン)ステップ及び手段にて読み取った前記低解像度画像データにおいて、前記低解像度顔領域を検出し、前記高解像度変換ステップ及び手段では、前記低解像度顔領域の位置を、前記高解像度画像データ読取(本スキャン)ステップ及び手段にて読み取った前記高解像度画像データにおいて、前記低解像度顔領域の位置に対応するように、前記高解像度顔領域の位置に変換し、前記高解像度瞳位置領域検出ステップ及び手段では、前記高解像度瞳位置領域を、前記相対移動方向に対応する第1方向の幅が前記相対移動方向に直交する方向に対応する第2方向の幅より所定量だけ大きくなるように検出することが好ましい。また、前記第2の画像処理方法及び装置において、前記低解像度顔領域検出ステップ及び手段では、前記低解像度画像データ読取(プレスキャン)ステップ及び手段にて読み取った前記低解像度画像データにおいて、前記低解像度顔領域を検出し、前記低解像度瞳位置領域検出ステップ及び手段では、前記低解像度瞳位置領域を、前記相対移動方向に対応する第1方向の幅が前記相対移動方向に直交する方向に対応する第2方向の幅より所定量だけ大きくなるように検出し、前記高解像度変換ステップ及び手段では、前記低解像度顔領域の前記低解像度瞳位置領域の位置を、前記高解像度画像データ読取(本スキャン)ステップ及び手段にて読み取った前記高解像度画像データにおいて、前記低解像度瞳位置領域の位置に対応するように、前記高解像度瞳位置領域の位置に変換することが好ましい。こうすることで、スキャン位置のずれの影響を少なくでき、これにより安定して前記瞳領域の検出を行うことができる。
なお、前記瞳位置領域の幅を、前記相対移動方向に直交する方向に対応する第2方向にも広げてもよいが、この場合、瞳領域の検出に用いる領域が広くなりすぎて、間違った領域を検出する可能性が増えるため、前記瞳位置領域を、前記相対移動方向に対応する前記第1方向の幅が前記相対移動方向に直交する方向に対応する前記第2方向の幅より所定量だけ大きくなるように検出する方が良い。かかる瞳位置領域の形状としては、長方形状や楕円形状を例示できる。但し、スキャンによる位置ずれの影響が少ない場合には、前記のように瞳位置領域を広げずに、正方形状や円形状であっても良い。前記瞳位置領域の前記第2方向の幅の大きさとしては、前記検出すべき瞳領域の幅の2倍〜5倍程度の大きさを例示でき、前記瞳位置領域の前記第1方向の幅の大きさとしては、前記瞳位置領域の前記第2方向の幅の1.2倍〜1.5倍程度の大きさを例示できる。
以上説明したように本発明によると、所定多数の画素データからなる高解像度画像データについて、検出すべき少なくとも一つの領域を検出し、当該検出された領域に対して所定の処理を行う画像処理方法並びに画像処理装置及び写真処理装置であって、当該検出の処理に要する時間を抑制でき、ひいては画像処理装置コストを低減できる画像処理方法並びに画像処理装置及び写真処理装置を提供することができる。
さらに、本発明によると、前記低解像度画像データにおける前記検出すべき少なくとも一つの領域として前記顔領域を検出し、当該検出された顔領域において赤目等の瞳領域を検出し、さらに当該検出された瞳領域を所定の色に補正する場合においては、前記顔領域において、前記瞳領域を検出するに先立って、前記瞳位置領域を検出するので、前記瞳領域検出の精度を向上させることができる。また、前記プレスキャン時に、一旦、前記画像読取装置に対し前記被読取物を所定の位置から所定の移動方向に移動させてから、当該移動方向とは逆方向に移動させて、前記被読取物を元の所定位置に戻し、前記本スキャンを行うような機械的なスキャン処理を行うことがあっても、前記瞳位置領域を、前記相対移動方向に対応する前記第1方向の幅が前記相対移動方向に直交する方向に対応する前記第2方向の幅より所定量だけ大きくなるように検出することで、スキャン位置のずれの影響を少なくでき、これにより安定して前記瞳領域の検出を行うことができる。
以下、本発明に係る実施の形態について図面を参照しながら説明する。図1は本発明に係る画像処理方法を実施する画像処理装置の一例を備えた写真処理装置の一実施形態の全体概略図である。
図1に示す写真処理装置Aは前記の画像処理装置1と画像露光現像装置2とで構成されている。画像処理装置1は、カラースキャナ等の画像読取装置600と、後述する情報再生装置92を具備する主制御装置90とを備えており、画像読取装置600や情報再生装置92から画像データを読み取り、当該読み取った画像データについて、検出すべき少なくとも一つの領域を検出し、当該検出された領域に対して所定の処理を行うことができるものである。
画像読取装置600は、例えば、銀塩カメラで撮影したカラーネガフィルムFなどの写真感光材料等の被読取物を走査読み取りするとともに当該読み取った画像情報をデジタル変換してデジタル画像データを取得するものである。主制御装置90は、画像処理装置1の制御を含む写真処理装置A全体を制御するものであり、制御部91(後述する図3及び図5参照)を備えている。
画像処理装置1は、前記の画像読取装置600にて読み取った画像データを表示する画像表示手段20(ここではCRTモニター)をさらに備えている。また、画像露光現像装置2は、感光材料に露光処理を施す露光装置63(図1では図示せず、後述する図3及び図5参照)と、露光装置63で露光処理された感光材料に現像処理を施す現像処理装置61(同じく図5参照)と、現像処理装置61で現像処理が施された感光材料を乾燥する乾燥処理部4と、乾燥処理部4で乾燥された感光材料をオーダー、及びサイズ毎に仕分けて回収する回収部5とで構成されている。
図2に図1に示す画像読取装置600の要部概略斜視図を示し、図3に図1に示す写真処理装置Aの概略ブロック図を示す。
画像読取装置600は、既述したように、フィルムFを走査読み取りして画像データを取得するものであり、図2に示すように、光源部610、撮像部620及び結像部630並びにフィルムFを所定のフィルム移動方向(図2中Y方向)に搬送するフィルム搬送部640を備えている。
光源部610は、所定の光TをフィルムFに照射することができ、撮像部620は、発光部610からフィルムFを通過してくる画像光Tを受光して画像情報を読み取ることができ、また、結像部630は、フィルムFと撮像部620との間の光路上に配置され、フィルムFからの画像光Tを撮像部620に結像させることができる。さらに、フィルム搬送部640は、複数の搬送ローラ対641を備えており、各ローラ対641におけるローラ間にフィルムFを挟持させつつ各ローラ対641を図中矢印方向Y1に回転させることで、フィルムFをY方向に、図中矢印方向Y1’に回転させることで、フィルムFをY方向とは反対方向Y’に搬送することができる。
この画像読取装置600では、フィルム搬送部640にてフィルムFをフィルム移動方向Yに搬送するとともに、搬送部640にて搬送されたフィルムFに光源部610から光を照射し、光源部610からフィルムFを介して到来する透過光を結像部630で撮像部620に結像させて画像を読み取る。フィルムFの走査は、フィルムFが移動方向Y(副走査方向)及び該方向Yとは略直交する主走査方向(図2中X方向)に走査されることでなされる。この走査により、フィルムFから到来する画像光が結像部630にて撮像部620に結像し、画像データが読み取られる。こうして読み取られた画像データは制御部91(図3も参照)に送られる。なお、図2及び図3では詳しく図示していないが、画像読取装置600は、フィルムFにおけるカラー画像の各画素を青(B)、緑(G)及び赤(R)の3原色に分解測光するという色分解を行うことで、青、緑及び赤の各色に対応する画像データを読み出すことができるように構成されている。
図3に示すように、制御部91は、前記の画像読取装置600及び情報再生装置92並びにモニター20、露光装置63及び補助記憶装置94(ここではハードディスク装置)に接続されており、処理手段95及び当該処理手段95を実行するための処理プログラム等が記憶される記憶手段93を備えている。露光装置63は、処理手段95から送られてくる画像情報に基づいて写真感光材料に露光することができる(図5も参照)。
ハードディスク装置94は、前記処理プログラムが記録されている。記憶手段93は、RAM等で構成されており、プログラムメモリ領域(図示省略)を有し、このプログラムメモリ領域において、ハードディスク装置94に記録された前記処理プログラムを読込むことができる。
前記の情報再生装置92は、例えば、デジタルカメラ等で撮影したデジタル画像データが記録されたCD−ROMやメモリカード等のメディアMにおけるデジタル画像データを読み取って、当該読み取ったデジタル画像データを取得するものである。
制御部91では、記憶手段93の前記プログラムメモリ領域に記憶された前記処理プログラムが実行される。この処理プログラムは、制御部91を、低解像度画像データ読取手段(プレスキャン手段)P1、高解像度画像データ読取手段(本スキャン手段)P2、低解像度変換手段P3、低解像度画素領域検出手段P4、高解像度変換手段P5及び高解像度画素処理手段P6を含む手段95として機能させるものである。
プレスキャン手段P1では、画像読取装置600に対してフィルムFを移動方向Yに移動させつつ画像読取装置600にて移動方向(副走査方向)Yに走査するとともに副走査方向Yに略直交する方向(主走査方向)Xに走査することで、所定多数の画素データからなる高解像度画像データ(例えば、カラー画像であれば、それぞれが3原色(青B、緑及び赤)の各色毎630万画素程度の画素データからなる三つの高解像度画像データ)に対応し、前記高解像度画像データの数より少ない数(例えば、前記高解像度画像データの数(各色毎630万画素程度)の64分の1(各色毎9万8千画素程度))の画素データからなる低解像度画像データを読み取ってプレスキャンを行う。本スキャン手段P2では、画像読取装置600に対してフィルムFを前記移動方向Yに移動させつつ画像読取装置600にて副走査方向Yに走査するとともに主走査方向Xに走査することで、前記高解像度画像データを読み取って本スキャンを行う。従って、この画像処理装置1では、プレスキャン時に、プレスキャン手段P1にて、一旦、画像読取装置600に対しフィルムFを所定の位置から移動方向Yに移動させて前記低解像度画像データを読み取ってから、当該移動方向Yとは逆方向Y’に移動させて、フィルムFを元の所定位置に戻し、本スキャン手段P2にて、本スキャンを行って前記高解像度画像データを読み取ることができる。
低解像度変換手段P3では、情報再生装置92にて、例えば、CD−ROMやメモリカード等のメディアMにおけるデジタル画像データをそのまま前記高解像度画像データとして読み込んだり、本スキャン手段P2にて、フィルムFを画像読取装置600で前記高解像度画像データとして読み込むとともに、当該読み込んだ前記高解像度画像データを前記低解像度画像データに変換する。この変換は、例えば、高解像度画像データの8行×8列の画素領域を一つ単位として1画素とすれば、高解像度画像データに対する画素数が64分の1の低解像度画像データに変換することができる。
低解像度画素領域検出手段P4では、前記低解像度画像データにおける検出すべき少なくとも一つの低解像度画素領域を検出する。さらに説明すると、低解像度画素領域検出手段P4は、前記低解像度画像データにおける前記少なくとも一つの低解像度画素領域として、人物の顔のような領域を含む低解像度顔領域を検出する低解像度顔領域検出手段P41と、前記手段P41にて検出された前記低解像度顔領域において検出すべき瞳領域を含むように所定の低解像度瞳位置領域を検出する低解像度瞳位置領域検出手段P42とを備える。
低解像度顔領域検出手段P41は、本例では、前記低解像度画像データにおける各画素データについて人物の顔のような丸形状等の画像パターンを抽出し、当該抽出された画像パターンにおいて顔部品(例えば、両眉毛、両目、鼻、口、顎)の各候補の位置関係から人物の顔であるか否かを評価するとともに、当該画像パターンが人物の顔であると評価された顔領域について、顔部品(例えば、両眉毛、両目、鼻、口、顎)の位置関係から当該顔領域の天地を認識するものである。なお、前記の低解像度瞳位置領域検出手段P42は、後述する高解像度瞳位置領域検出手段P61とあわせてのちほど詳しく説明する。
高解像度変換手段P5では、前記低解像度画素領域検出手段P4にて検出された前記低解像度画像データにおける前記低解像度画素領域の位置を、前記高解像度画像データにおいて、前記低解像度画素領域の位置に対応するように、高解像度画素領域の位置に変換する。
さらに言えば、高解像度変換手段P5では、前記高解像度画素領域として、前記低解像度顔領域検出手段P41にて検出された前記低解像度画像データにおける前記低解像度顔領域の位置を、前記高解像度画像データにおいて、前記低解像度顔領域の位置に対応するように、高解像度顔領域の位置に変換するか、又は前記高解像度画素領域として、前記低解像度瞳位置領域検出手段P42にて前記検出すべき瞳領域を含むように検出された前記低解像度画像データにおける前記低解像度顔領域の前記低解像度瞳位置領域の位置を、前記高解像度画像データにおいて、前記低解像度瞳位置領域の位置に対応するように、高解像度瞳位置領域の位置に変換する。
高解像度画素領域処理手段P6では、前記高解像度変換手段P5にて変換された前記高解像度画像データの前記高解像度画素領域について前記所定処理を行う。
さらに説明すると、高解像度画素領域処理手段P6は、前記高解像度変換手段P5にて変換された前記高解像度顔領域において検出すべき瞳領域を含むように所定の高解像度瞳位置領域を検出する高解像度瞳位置領域検出手段P61と、前記高解像度画像データの前記手段P61にて検出された前記高解像度瞳位置領域における前記検出すべき瞳領域を検出するか、又は前記高解像度画像データの前記高解像度変換手段P5にて変換された前記高解像度瞳位置領域における前記検出すべき瞳領域を検出する瞳領域検出手段P62と、前記手段P62にて検出された前記瞳領域について所定の色補正を行う色補正手段P63とを備える。
前記の低解像度瞳位置領域検出手段P42及び高解像度瞳位置領域検出手段P61は、本例では、前記顔領域において前記瞳位置領域を該瞳位置領域が統計的に推定される位置に特定する。これについて、図4を参照しながらさらに説明する。
図4は、人間の顔のうち、眼(瞳位置)10や鼻31、口32等がどの位置に存在するかという相互の位置関係を統計的に調査した結果を概略的に示した平面説明図である。人間の顔のうち、左右の瞳位置10が顔のどこの位置に存在するかという存在領域の位置関係は、統計的にみてほぼ一定であることが、一般的に知られている。
すなわち、図示したように、線分BDを、左眼の下端部分及び右眼の下端部分を通るように設定するとき、右眼の両端部(目頭、目尻)の位置及び左眼の両端部の位置は、それぞれ線分BDを5等分する4点P1、P2、P3、P4の位置にほぼ相当する。従って、線分BDの一端Dと点P1との距離をh1、点P1と点P2との距離をh2、点P2と点P3との距離をh3、点P3と点P4との距離をh4、点P4と線分BDの他端Bとの距離をh5とすると、次の関係式(1)となる。
1≒h2≒h3≒h4≒h5…(1)
また、線分ACは、線分BDによってほぼ2等分される。従って、線分ACと線分BDとの交点をFとすると、次の関係式(2)が成立する。
AF≒v1≒FC≒v2≒0.5V…(2)
そして、a、b、c及びdを、統計的に得られる定数(設定値は変更できる)として、線分BD方向における眼自体の大きさLは、次の式(3)により得られる。
L≒h1≒a×H(a≒0.2)…(3)
瞳位置10は、点Fから線分BDの一端D及び他端Bに向かうb×h1(b≒0.5)の位置とc×h1(c≒1.5)の位置との間の領域に位置するという位置関係(位置関係1)が得られる。
また、線分AC方向における眼自体の大きさWは、眉毛の下端部P5と、鼻の下端部P6と顎Cとに関して、眉毛の下端部P5と鼻の下端部P6との距離をy1、鼻の下端部P6と顎Cとの距離をy2とすると、次の関係式(4)、式(5)が得られる。
1≒y2≒0.5Y…(4)
W≒d×y1(d≒0.3)…(5)
瞳位置10は、線分BDの位置と、線分BDから線分ACの一端Aに向かうd×y1の位置との間の領域に位置するという位置関係が得られる(位置関係2)。
そこで、線分ACの長さ及び線分BDの長さを、それぞれ、表示された画像上で求めて、その長さデータに基づいてさらに、統計的に得られた前記の式(1)〜(5)及び位置関係1及び2に従って演算処理することで、瞳位置領域として推定される領域を算出することができる。なお、瞳位置領域の算出については、前記の方法に限定されず、他の方法により算出してもよい。
また、低解像度瞳位置領域検出手段P42及び高解像度瞳位置領域検出手段P61は、例えば、プレスキャン時に、一旦、フィルムFを所定の位置から移動方向Yに移動させて前記低解像度画像データを読み取ってから、当該移動方向Yとは逆方向Y’に移動させて、フィルムFを元の所定位置に戻し、本スキャンを行って前記高解像度画像データを読み取る場合、低解像度瞳位置領域検出手段P42では、前記低解像度瞳位置領域を、副走査方向Yに対応する第1方向の幅が主走査方向Xに対応する第2方向の幅より所定量だけ大きくなるように検出し、高解像度瞳位置領域検出手段P61では、前記高解像度瞳位置領域を、副走査方向Yに対応する第1方向の幅が主走査方向Xに対応する第2方向の幅より所定量だけ大きくなるように検出する。なお、前記の手段P41,P42,P5及びP61では、カラー画像の場合、例えば、3原色の画像データのうち、各色の画像データについて処理することができる。また、3原色の画像データのうち少なくとも一つの画像データについて処理してもよい。
前記瞳領域検出手段P62及び色補正手段P63は、従来周知の各種手段、例えば、それには限定されないが、特開2001−69333号公報や特開2001−69334号公報に示される手段を適用でき、ここでは詳しい説明を省略する。なお、色補正手段P63では、前記顔領域における瞳領域について、その色や濃度等を補正するのであるが、瞳の色の補正として、背景技術の項で説明した赤目の他、青目、金目等の色等も補正することができる。
次に、図1に示す写真処理装置Aの処理工程について図5を参照しながら説明する。図5に図1に示す写真処理装置Aの処理工程を説明するための図を示す。簡単に工程の流れを追いつつ主要構成を以下に説明する。画像露光現像装置2は、前記した露光装置63、現像処理装置61、乾燥処理部4及び回収部5の他、搬送装置43等を具備している。
画像処理装置1において、画像読取装置600がフィルムFの画像情報を走査読み取りする。制御部91では、処理手段94にて画像処理されたデジタル画像が露光データとして決定される。画像露光現像装置2において、感光材料40がマガジン42から引き出され、搬送装置43のうちのローラ等によって搬送される。感光材料は、例えば、定寸に切断され、露光装置部41において、露光装置63によって、感光材料40が露光される。
現像処理装置61では、感光材料40に対して、現像、定着、水洗等の種々の化学的処理(薬液S等)が行われ、さらに乾燥処理部4では、乾燥処理が行われ、かかる一連の工程が自動的になされる。そして搬送装置43は、これらの工程において感光材料40を搬送する。回収部5では、図1に示すように、大判の感光材料40はトレー52に回収され、小判の感光材料40は仕分部54にてオーダー毎に仕分けられ、回収される。仕分部54は、小判感光材料の排出方向に対して直交方向に移動するコンベア55と、該コンベア55によって運ばれてくる小判感光材料をオーダー毎に仕分ける仕分装置56とで構成されている。仕分装置56は、上下方向に移動可能に配設された複数の受け皿57を備えており、該受け皿57が上下方向に移動することで、コンベア55によって搬送されてくる小判感光材料を各受け皿57へオーダー毎に振り分けるように構成されている。
以上のような写真処理装置A全体としての処理は主制御装置90によって制御される。この写真処理装置Aでは、所定多数(例えば、3原色の各色毎630万画素程度)の画素データからなる高解像度画像データについて、検出すべき少なくとも一つの顔領域を検出し、当該検出された顔領域に対して前記所定処理をするのであるが、この動作について図6及び図7を参照しながらさらに説明する。図6は低解像度画像データ及び高解像度画像データを取得するまでの処理を説明するための図であり、図7は顔領域検出から瞳領域色補正までの処理フローの例を示す図である。ここでは、図7(A)及び図7(B)の処理をどちらで行うかは、処理手段95において適宜選択できるようになっている。なお、図7(A)及び図7(B)の処理を必要に応じて自動的に行うようにしてもよい。例えば、低解像度顔領域が比較的小さいときに、瞳位置領域を精度よく検出できるように、低解像度顔領域の大きさが所定の大きさより小さい場合には、図7(A)の処理を行い、所定の大きさ以上の場合には、図7(B)の処理を行うようにしてもよい。
先ず、低解像度画像データ及び高解像度画像データの取得について以下のように場合分けして説明する。
(A1)プレスキャン及び本スキャンによるフィルムFからの画像データの取得
図6(A)に示すように、プレスキャン手段P1にて画像読取装置600のプレスキャンを行うことでフィルムFから低解像度画像データを取得するとともに、本スキャン手段P2にて画像読取装置600の本スキャンを行うことでフィルムFから高解像度画像データを取得する。
(A2)本スキャンのみによるフィルムFからの画像データの取得
図6(B)に示すように、本スキャン手段P2にて画像読取装置600の本スキャンを行うことでフィルムFから高解像度画像データを取得するとともに、低解像度変換手段P3にて当該高解像度画像データを低解像度画像データに変換して低解像度画像データを取得する。
(A3)情報再生によるメディアMからの画像データの取得
図6(C)に示すように、情報再生装置92の情報再生を行うことでメディアMから高解像度画像データを取得するとともに、前記したように、低解像度変換手段P3にて当該高解像度画像データを低解像度画像データに変換して低解像度画像データを取得する。なお、デジタルカメラ等で撮影したデジタル画像データには、高解像度の画像データと同時にサムネイル画像データが作られて記録されているものがあり、この場合には、低解像度画像データとしてサムネイル画像データを使うことも可能である。
このようにして取得された低解像度画像データ及び高解像度画像データは、図7(A)及び図7(B)に示すような処理がなされ、瞳領域が色補正される。すなわち、
先ず、図7(A)及び図7(B)に示すように、低解像度顔領域検出手段P41にて、低解像度画像データにおける各画素データについて人物の顔のような丸形状等の画像パターンを抽出し、当該抽出された画像パターンにおいて顔部品(例えば、両眉毛、両目、鼻、口、顎)の各候補の位置関係から人物の顔であるか否かを評価するとともに、当該画像パターンが人物の顔であると評価された顔領域について、顔部品(例えば、両眉毛、両目、鼻、口、顎)の位置関係から当該顔領域の天地を認識する(ステップS1)。
図8に低解像度顔領域検出手段P41にて検出された顔領域の概念図を示す。低解像度顔領域は、図8に示すように、低解像度画像データD1における図中破線で示すような矩形領域kであり、この低解像度顔領域kは、座標(x0,y0)〜(x1,y1)で表され、その位置と大きさが検出される。
次いで、図7(A)に示す処理では、図9に示すように、高解像度変換手段P5にて、手段P41で検出された低解像度画像データD1における低解像度顔領域kの位置を、高解像度画像データD2において、低解像度顔領域kの位置に対応するように、高解像度顔領域Kの位置に変換する(ステップS2)。このとき、低解像度顔領域kの座標(x0,y0)〜(x1,y1)が高解像度顔領域Kの座標(X0,Y0)〜(X1,Y1)に変換される。この変換は、例えば、高解像度画像データD2にて得られる画像の幅及び高さが、低解像度画像データD1にて得られる画像の幅及び高さのそれぞれZ倍(具体的にはそれぞれ8倍)の大きさである場合には、X0=Z×x0(具体的にはX0=8×x0),Y0=Z×y0(具体的にはY0=8×y0)のように計算して求めることができる。そのあと、高解像度瞳位置領域検出手段P61にて、手段P5で変換された高解像度顔領域Kにおいて検出すべき瞳領域を含むように統計的に推定される位置が特定された所定の二つの高解像度瞳位置領域(すなわち、左眼の高解像度瞳位置領域AL及び右眼の高解像度瞳位置領域AR)を検出する(ステップS3)。このとき、瞳領域を含む瞳位置領域AL,ARの位置と大きさが計算される。
ここで、手段P61においては、プレスキャン時に、一旦、フィルムFを所定の位置から移動方向Yに移動させて低解像度画像データD1を読み取ってから、当該移動方向Yとは逆方向Y’に移動させて、フィルムFを元の所定位置に戻し、本スキャンを行って高解像度画像データD2を読み取る場合、図11(A)及び図11(B)に示すように、高解像度瞳位置領域AL,ARを、フィルム搬送方向Yに対応する第1方向の幅E1がフィルム搬送方向Yとは略直交する方向Xに対応する第2方向の幅E2の大きさ(例えば、検出すべき瞳領域の幅の2倍〜5倍程度の大きさ)より所定量だけ大きくなるように(例えば、瞳位置領域AL,ARの第2方向の幅E2の大きさの1.2倍〜1.5倍程度の大きさになるように)検出する。なお、図11(A)は天地方向がフィルム搬送方向Yとは略直交する方向Xに対応する第2方向に向いている顔領域Kの例を示しており、図11(B)は天地方向がフィルム搬送方向Yに対応する第1方向に向いている顔領域Kの例を示している。また、符号の後の括弧内の符号は、後述する手段P42の処理のときの符号である。
高解像度画像データD1における手段P5にて変換された高解像度顔領域Kの座標(X0,Y0)〜(X1,Y1)及び前記の瞳位置領域AL,ARの位置と大きさから、左目高解像度瞳位置領域ALには座標(XL0,YL0)〜(XL1,YL1)が算出され、手段P61にて検出された右目高解像度瞳位置領域ARには座標(XR0,YR0)〜(XR1,YR1)が算出される。
一方、図7(B)に示す処理では、図10に示すように、低解像度瞳位置領域検出手段P42にて、手段P41で検出された低解像度画像データD1における低解像度顔領域kにおいて検出すべき瞳領域を含むように統計的に推定される位置が特定された所定の二つの低解像度瞳位置領域(すなわち、左眼の低解像度瞳位置領域al及び右眼の低解像度瞳位置領域ar)を検出する(ステップS2’)。この検出については、前記の手段P61と画像データの解像度が異なるだけで実質的に同様であり、ここでは説明を省略する。そのあと、高解像度変換手段P5にて、手段P42で前記検出すべき瞳領域を含むように検出された低解像度画像データD1における低解像度顔領域kの左右二つの低解像度瞳位置領域al,arの位置を、高解像度画像データD2において、低解像度瞳位置領域al,arの位置に対応するように、左右二つの高解像度瞳位置領域AL,ARの位置に変換する(ステップS3’)。このとき、低解像度瞳位置領域al,arの座標(xl0,yl0)〜(xl1,yl1),(xr0,yr0)〜(xr1,yr1)が高解像度瞳位置領域AL,ARの座標(XLl0,YL0)〜(XL1,YL1),(XR0,YR0)〜(XR1,YR1)に変換される。この変換は、例えば、高解像度画像データD1にて得られる画像の幅及び高さが、低解像度画像データD2にて得られる画像の幅及び高さのそれぞれZ倍(具体的にはそれぞれ8倍)の大きさである場合には、XR0=Z×xr0(具体的にはXR0=8×xr0),YR0=Z×yr0(具体的にはYR0=8×yr0)のように計算して求めることができる。かくして、瞳領域を含む瞳位置領域AL,ARの位置と大きさが計算される。
次に、図7(A)及び図7(B)に示すように、瞳領域検出手段P62にて、高解像度画像データD2の手段P61(図7(A)の処理)で検出された高解像度瞳位置領域AL(XL0,YL0)〜(XL1,YL1),AR(XR0,YR0)〜(XR1,YR1)における前記検出すべき瞳領域を検出するか、又は高解像度画像データD2の手段P5(図7(B)の処理)にて変換された高解像度瞳位置領域AL(XL0,YL0)〜(XL1,YL1),AR(XR0,YR0)〜(XR1,YR1)における前記検出すべき瞳領域を検出し(ステップS4)、色補正手段P63にて、手段P62にて検出された前記瞳領域について所定の色補正を行う。
以上説明した画像処理装置1を備えた写真処理装置Aによると、高解像度画像データD2に対応する低解像度画像データD1における検出すべき少なくとも一つの低解像度画素顔領域kを検出し、当該検出された低解像度画像データD1における低解像度画素顔領域kの位置を、高解像度画像データD2において、低解像度画素顔領域kの位置に対応するように、高解像度画素領域Kの位置に変換し、当該変換された高解像度画像データD2の高解像度画素領域Kについて前記所定処理を行うので、低解像度画素顔領域kの検出の処理に要する時間を抑制でき、ひいては画像処理装置コストを低減できる。
さらに、顔領域k,Kにおいて、前記瞳領域を検出するに先立って、瞳位置領域al,ar,AL,ARを検出するので、瞳領域検出の精度を向上させることができる。また、プレスキャン時に、一旦、画像読取装置600に対しフィルムFを所定位置から移動方向Yに移動させてから、当該移動方向Yとは逆方向Y’に移動させて、フィルムFを元の所定位置に戻し、本スキャンを行うような機械的なスキャン処理を行うことがあっても、瞳位置領域al,ar,AL,ARを、移動方向Yに対応する第1方向の幅E1が移動方向Yに直交する方向Xに対応する第2方向の幅E2より所定量だけ大きくなるように検出することで、スキャン位置のずれの影響を少なくでき、これにより安定して前記瞳領域の検出を行うことができる。
本発明に係る画像処理方法を実施する画像処理装置の一例を備えた写真処理装置の一実施形態の全体概略図である。 図1に示す画像読取装置の要部概略斜視図である。 図1に示す写真処理装置の概略ブロック図である。 人間の顔のうち、眼(瞳位置)や鼻、口等がどの位置に存在するかという相互の位置関係を統計的に調査した結果を概略的に示した平面説明図である。 図1に示す写真処理装置の処理工程を説明するための図である。 図(A)はプレスキャン及び本スキャンによって写真フィルムから画像データを取得する流れを示す図であり、図(B)は本スキャンのみによって写真フィルムから画像データを取得する流れを示す図であり、図(C)は情報再生によってメディアから画像データを取得する流れを示す図である。 図(A)は顔領域検出から瞳領域色補正までの処理の流れの一例を示すフローチャートであり、図(B)は顔領域検出から瞳領域色補正までの処理の流れの他を示すフローチャートの例である。 低解像度顔領域検出手段P41にて検出された顔領域の概念図である 図7(A)に示す処理を説明するための図である。 図7(B)に示す処理を説明するための図である。 図(A)は天地方向がフィルム搬送方向とは略直交する方向に対応する第2方向に向いている顔領域の例を示す図であり、図(B)は天地方向がフィルム搬送方向に対応する第1方向に向いている顔領域の例を示す図である。 プレスキャン及び本スキャンを行う際のプレスキャンによって読み取った画像と本スキャンによって読み取った画像とのずれを説明するための図である。
符号の説明
1…画像処理装置 600…画像読取装置 A…写真処理装置 F…被読取物
al,ar…低解像度瞳位置領域 AL,AR…高解像度瞳位置領域
D1…低解像度画像データ D2…高解像度画像データ
E1…瞳位置領域の第1方向の幅 E2…瞳位置領域の第2方向の幅
K…高解像度画素顔領域(高解像度画素領域の一例)
k…低解像度画素顔領域(低解像度画素領域の一例)
Y…移動方向 X…移動方向に略直交する方向
P1…低解像度画像データ読取手段(プレスキャン手段)
P2…高解像度画像データ読取手段(本スキャン手段)
P3…低解像度変換手段 P4…低解像度画素領域検出手段
P41…低解像度顔領域検出手段 P42…低解像度瞳位置領域検出手段
P5…高解像度変換手段 P6…高解像度画素領域処理手段
P61…高解像度瞳位置領域検出手段 P62…瞳領域検出手段 P63…色補正手段

Claims (5)

  1. 所定多数の画素データからなる高解像度画像データについて、検出すべき少なくとも一つの領域を検出し、当該検出された領域に対して所定の処理を行う画像処理方法であって、
    画像読取装置及び被読取物のうち少なくとも一方を所定方向に相対的に移動させつつ前記画像読取装置にて前記相対移動方向に走査するとともに前記相対移動方向に略直交する方向に走査することで、前記高解像度画像データに対応し、前記高解像度画像データの数より少ない数の画素データからなる低解像度画像データを読み取る低解像度画像データ読取ステップと、
    前記画像読取装置及び前記被読取物のうち少なくとも一方を所定方向に相対的に移動させつつ前記画像読取装置にて前記相対移動方向に走査するとともに前記相対移動方向に略直交する方向に走査することで前記高解像度画像データを読み取る高解像度画像データ読取ステップと、
    前記低解像度画像データにおける検出すべき少なくとも一つの低解像度画素領域として、前記低解像度画像データ読取ステップにて読み取った前記低解像度画像データにおいて、人物の顔のような領域を含む低解像度顔領域を検出する低解像度顔領域検出ステップを含む低解像度画素領域検出ステップと
    前記低解像度画素領域検出ステップにて検出された前記低解像度画像データにおける前記低解像度顔領域の位置を、前記高解像度画像データ読取ステップにて読み取った前記高解像度画像データにおいて、前記低解像度顔領域の位置に対応するように、高解像度顔領域の位置に変換する高解像度変換ステップと
    前記高解像度変換ステップにて変換された前記高解像度顔領域において検出すべき瞳領域を含むように所定の高解像度瞳位置領域を、前記相対移動方向に対応する第1方向の幅が前記相対移動方向に直交する方向に対応する第2方向の幅より所定量だけ大きくなるように検出する高解像度瞳位置領域検出ステップと、前記高解像度画像データの前記高解像度瞳位置領域検出ステップにて検出された前記高解像度瞳位置領域における前記検出すべき瞳領域を検出する瞳領域検出ステップと、前記瞳領域検出ステップにて検出された前記瞳領域について所定の色補正を行う色補正ステップとを含む高解像度画素領域処理ステップと
    からなることを特徴とする画像処理方法。
  2. 所定多数の画素データからなる高解像度画像データについて、検出すべき少なくとも一つの領域を検出し、当該検出された領域に対して所定の処理を行う画像処理方法であって、
    画像読取装置及び被読取物のうち少なくとも一方を所定方向に相対的に移動させつつ前記画像読取装置にて前記相対移動方向に走査するとともに前記相対移動方向に略直交する方向に走査することで、前記高解像度画像データに対応し、前記高解像度画像データの数より少ない数の画素データからなる低解像度画像データを読み取る低解像度画像データ読取ステップと、
    前記画像読取装置及び前記被読取物のうち少なくとも一方を所定方向に相対的に移動させつつ前記画像読取装置にて前記相対移動方向に走査するとともに前記相対移動方向に略直交する方向に走査することで前記高解像度画像データを読み取る高解像度画像データ読取ステップと、
    前記低解像度画像データにおける検出すべき少なくとも一つの低解像度画素領域として、前記低解像度画像データ読取ステップにて読み取った前記低解像度画像データにおいて、人物の顔のような領域を含む低解像度顔領域を検出する低解像度顔領域検出ステップと前記低解像度顔領域検出ステップにて検出された前記低解像度顔領域において検出すべき瞳領域を含むように所定の低解像度瞳位置領域を、前記相対移動方向に対応する第1方向の幅が前記相対移動方向に直交する方向に対応する第2方向の幅より所定量だけ大きくなるように検出する低解像度瞳位置領域検出ステップとを含む低解像度画素領域検出ステップと
    前記低解像度画素領域検出ステップにて前記検出すべき瞳領域を含むように検出された前記低解像度画像データにおける前記低解像度顔領域の前記低解像度瞳位置領域の位置を、前記高解像度画像データ読取ステップにて読み取った前記高解像度画像データにおいて、前記低解像度瞳位置領域の位置に対応するように、高解像度瞳位置領域の位置に変換する高解像度変換ステップと
    前記高解像度変換ステップにて変換された前記高解像度瞳位置領域における前記検出すべき瞳領域を検出する瞳領域検出ステップと、前記瞳領域検出ステップにて検出された前記瞳領域について所定の色補正を行う色補正ステップとを含む高解像度画素領域処理ステップと
    からなることを特徴とする画像処理方法。
  3. 所定多数の画素データからなる高解像度画像データについて、検出すべき少なくとも一つの領域を検出し、当該検出された領域に対して所定の処理を行う画像処理装置であって、
    画像読取装置と、
    前記画像読取装置及び被読取物のうち少なくとも一方を所定方向に相対的に移動させつつ前記画像読取装置にて前記相対移動方向に走査するとともに前記相対移動方向に略直交する方向に走査することで、前記高解像度画像データに対応し、前記高解像度画像データの数より少ない数の画素データからなる低解像度画像データを読み取る低解像度画像データ読取手段と、
    前記画像読取装置及び前記被読取物のうち少なくとも一方を所定方向に相対的に移動させつつ前記画像読取装置にて前記相対移動方向に走査するとともに前記相対移動方向に略直交する方向に走査することで前記高解像度画像データを読み取る高解像度画像データ読取手段と、
    前記低解像度画像データにおける検出すべき少なくとも一つの低解像度画素領域として、前記低解像度画像データ読取手段にて読み取った前記低解像度画像データにおいて、人物の顔のような領域を含む低解像度顔領域を検出する低解像度顔領域検出手段を備える低解像度画素領域検出手段と
    前記低解像度画素領域検出手段にて検出された前記低解像度画像データにおける前記低解像度顔領域の位置を、前記高解像度画像データ読取手段にて読み取った前記高解像度画像データにおいて、前記低解像度顔領域の位置に対応するように、前記高解像度顔領域の位置に変換する高解像度変換手段と
    前記高解像度変換手段にて変換された前記高解像度顔領域において検出すべき瞳領域を含むように所定の高解像度瞳位置領域を、前記相対移動方向に対応する第1方向の幅が前記相対移動方向に直交する方向に対応する第2方向の幅より所定量だけ大きくなるように検出する高解像度瞳位置領域検出手段と、前記高解像度画像データの前記高解像度瞳位置領域検出手段にて検出された前記高解像度瞳位置領域における前記検出すべき瞳領域を検出する瞳領域検出手段と、前記瞳領域検出手段にて検出された前記瞳領域について所定の色補正を行う色補正手段とを備える高解像度画素領域処理手段と
    からなることを特徴とする画像処理装置。
  4. 所定多数の画素データからなる高解像度画像データについて、検出すべき少なくとも一つの領域を検出し、当該検出された領域に対して所定の処理を行う画像処理装置であって、
    画像読取装置と、
    前記画像読取装置及び被読取物のうち少なくとも一方を所定方向に相対的に移動させつつ前記画像読取装置にて前記相対移動方向に走査するとともに前記相対移動方向に略直交する方向に走査することで、前記高解像度画像データに対応し、前記高解像度画像データの数より少ない数の画素データからなる低解像度画像データを読み取る低解像度画像データ読取手段と、
    前記画像読取装置及び前記被読取物のうち少なくとも一方を所定方向に相対的に移動させつつ前記画像読取装置にて前記相対移動方向に走査するとともに前記相対移動方向に略直交する方向に走査することで前記高解像度画像データを読み取る高解像度画像データ読取手段と、
    前記低解像度画像データにおける検出すべき少なくとも一つの低解像度画素領域として、前記低解像度画像データ読取手段にて読み取った前記低解像度画像データにおいて、人物の顔のような領域を含む低解像度顔領域を検出する低解像度顔領域検出手段と前記低解像度顔領域検出手段にて検出された前記低解像度顔領域において検出すべき瞳領域を含むように所定の低解像度瞳位置領域を、前記相対移動方向に対応する第1方向の幅が前記相対移動方向に直交する方向に対応する第2方向の幅より所定量だけ大きくなるように検出する低解像度瞳位置領域検出手段とを備える低解像度画素領域検出手段と
    前記低解像度画素領域検出手段にて前記検出すべき瞳領域を含むように検出された前記低解像度画像データにおける前記低解像度顔領域の前記低解像度瞳位置領域の位置を、前記高解像度画像データ読取手段にて読み取った前記高解像度画像データにおいて、前記低解像度瞳位置領域の位置に対応するように、前記高解像度瞳位置領域の位置に変換する高解像度変換手段と
    前記高解像度変換手段にて変換された前記高解像度瞳位置領域における前記検出すべき瞳領域を検出する瞳領域検出手段と、前記瞳領域検出手段にて検出された前記瞳領域について所定の色補正を行う色補正手段とを備える高解像度画素領域処理手段と
    からなることを特徴とする画像処理装置。
  5. 請求項3又は4に記載の画像処理装置を備えたことを特徴とする写真処理装置。
JP2003386971A 2003-11-17 2003-11-17 画像処理方法並びに画像処理装置及び写真処理装置 Expired - Fee Related JP4461416B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003386971A JP4461416B2 (ja) 2003-11-17 2003-11-17 画像処理方法並びに画像処理装置及び写真処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003386971A JP4461416B2 (ja) 2003-11-17 2003-11-17 画像処理方法並びに画像処理装置及び写真処理装置

Publications (2)

Publication Number Publication Date
JP2005149217A JP2005149217A (ja) 2005-06-09
JP4461416B2 true JP4461416B2 (ja) 2010-05-12

Family

ID=34694504

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003386971A Expired - Fee Related JP4461416B2 (ja) 2003-11-17 2003-11-17 画像処理方法並びに画像処理装置及び写真処理装置

Country Status (1)

Country Link
JP (1) JP4461416B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009237615A (ja) * 2008-03-25 2009-10-15 Seiko Epson Corp 対象画像における特定種類の被写体の画像の検出
CN103069435A (zh) * 2010-06-28 2013-04-24 诺基亚公司 用于补偿眼睛色彩缺陷的方法、装置和计算机程序产品

Also Published As

Publication number Publication date
JP2005149217A (ja) 2005-06-09

Similar Documents

Publication Publication Date Title
US7769233B2 (en) Particular-region detection method and apparatus
EP1206118B1 (en) Image processing apparatus, image processing method and recording medium
US6529630B1 (en) Method and device for extracting principal image subjects
US7620242B2 (en) Particular-region detection method and apparatus, and program therefor
US7397969B2 (en) Red eye compensation method, image processing apparatus and method for implementing the red eye compensation method, as well as printing method and printer
US7379591B2 (en) Method and device for extracting specified image subject
US20050276481A1 (en) Particular-region detection method and apparatus, and program therefor
KR100916867B1 (ko) 화상 처리 장치 및 화상 처리 방법
KR20080007433A (ko) 화상 처리 장치 및 화상 처리 방법
JP4461416B2 (ja) 画像処理方法並びに画像処理装置及び写真処理装置
EP1429538A2 (en) Image correction device and image correction program storage medium
JP3559451B2 (ja) 画像処理方法及び画像処理装置
JP3750751B2 (ja) デジタル写真プリンタ
US6339465B1 (en) Image processing apparatus
US7099048B2 (en) Image reproducing method and image reproducing apparatus
JPH05100328A (ja) 露光量決定方法
JP2006059162A (ja) 歯画像補正方法及び装置
JP2006171085A (ja) プリンタ
JPH09161043A (ja) 文書画像入力装置
JP2695074B2 (ja) 測光画像データ収集方法及び露光量決定方法
JPH0492559A (ja) 画像読取装置
JP2005078314A (ja) 位置調整方法およびこの方法を用いた傷補正機能付き画像読取装置
JP2001223892A (ja) 画像処理装置、方法および記憶媒体
JP2006170942A (ja) 乳剤傷判定方法及び乳剤傷判定システム
JP2002230525A (ja) 多点測距カメラを利用した画像処理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091023

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100122

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100204

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130226

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130226

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140226

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees