JP4482307B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP4482307B2
JP4482307B2 JP2003353889A JP2003353889A JP4482307B2 JP 4482307 B2 JP4482307 B2 JP 4482307B2 JP 2003353889 A JP2003353889 A JP 2003353889A JP 2003353889 A JP2003353889 A JP 2003353889A JP 4482307 B2 JP4482307 B2 JP 4482307B2
Authority
JP
Japan
Prior art keywords
image
catchlight
red
image processing
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003353889A
Other languages
English (en)
Other versions
JP2005122287A5 (ja
JP2005122287A (ja
Inventor
淳 榎本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2003353889A priority Critical patent/JP4482307B2/ja
Priority to US10/963,775 priority patent/US20050129287A1/en
Publication of JP2005122287A publication Critical patent/JP2005122287A/ja
Publication of JP2005122287A5 publication Critical patent/JP2005122287A5/ja
Application granted granted Critical
Publication of JP4482307B2 publication Critical patent/JP4482307B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/624Red-eye correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、フィルムの画像を光電的に読み取り、この画像が再現されたプリント(写真)を得るデジタルフォトプリンタ等に利用される、デジタル画像処理の技術分野に属し、特に、ストロボ撮影に起因する人物や動物などの生体画像の赤目現象を適切に補正するとともに適切なキャッチライトが存在する人物等の生体画像に仕上げる画像処理装置に関する。
現在、ネガフィルム、リバーサルフィルム等の写真フィルム(以下、フィルムとする)に撮影された画像の感光材料(印画紙)への焼き付けは、フィルムの画像を感光材料に投影して感光材料を面露光する、いわゆる直接露光(アナログ露光)が主流である。
これに対し、近年では、デジタル露光を利用する焼付装置、すなわち、フィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を走査露光して画像(潜像)を記録し、(仕上り)プリントとするデジタルフォトプリンタが実用化されている。
デジタルフォトプリンタでは、画像をデジタルの画像データとして、画像データ処理によって焼付時の露光条件を決定することができるので、逆光やストロボ撮影等に起因する画像の飛びやツブレの補正、シャープネス(鮮鋭化)処理、カラーフェリアや濃度フェリアの補正、アンダー露光やオーバー露光の補正、周辺光量不足の補正等を好適に行って、従来の直接露光では得られなかった高品位なプリントを得ることができる。しかも、複数画像の合成や画像分割、さらには、文字の合成等も画像データ処理によって行うことができ、用途に応じて自由に編集/処理したプリントも出力可能である。しかも、デジタルフォトプリンタによれば、画像をプリント(写真)として出力するのみならず、画像データをコンピュータ等に供給したり、フロッピー(登録商標)ディスク等の記録媒体に保存しておくこともできるので、画像データを、写真以外の様々な用途に利用することができる。
このようなデジタルフォトプリンタは、基本的に、フィルムに記録された画像を光電的に読み取るスキャナ(画像読取装置)、読み取った画像を画像処理して画像記録の露光条件を決定する画像処理装置、および決定された露光条件に従って感光材料を走査露光して現像処理を施してプリントとするプリンタ(画像記録装置)より構成される。
スキャナでは、光源から射出された読取光をフィルムに入射して、フィルムに撮影された画像を担持する投影光を得て、この投影光を結像レンズによってCCDセンサ等のイメージセンサに結像して光電変換することにより画像を読み取り、必要に応じて、各種の画像処理を施した後に、フィルムの画像データ(画像データ信号)として画像処理装置に送る。画像処理装置は、スキャナによって読み取られた画像データから画像処理条件を設定して、設定した条件に応じた画像処理を画像データに施し、画像記録のための出力画像データとしてプリンタに送る。プリンタでは、例えば、光ビーム走査露光を利用する装置であれば、画像処理装置から送られた画像データに応じて光ビームを変調して、この光ビームを主走査方向に偏向すると共に、主走査方向と直交する副走査方向に感光材料を搬送することにより、画像を担持する光ビームによって感光材料を露光(焼付け)して潜像を形成し、次いで、感光材料に応じた現像処理等を施して、フィルムに撮影された画像が再生されたプリント(写真)とする。
ところで、ポートレート等の画像中に人物を含むプリントにおいて、画質を左右する最も重要な要素は人物の仕上りであり、中でも、撮影時のストロボ発光等の影響によって目の部分が赤くなる赤目現象は重大な問題である。
また、人物の目の部分に光が映り込むキャッチライトは、写り込んだ人物が生き生きとした印象に見える効果があり、人物画像には、目の部分にキャッチライトがはっきりと映りこんでいることが好まれる。
なお、赤目現象やキャッチライトは、人物が被写体となる画像のみならず、犬や猫などの動物が被写体となる画像も含む生体画像でも同様に問題となる。
ところで、赤目現象は、ストロボ光が瞳孔を通って網膜の毛細血管がある眼底に反射して、赤い色としてカメラのレンズに戻って来るために生じる現象である。
また、キャッチライトは、目の表面でシーンの照明光が反射し、光がレンズに戻って来るために生じる現象である。
このような、赤目現象の生じている人物画像や、瞳領域へのキャッチライトの映り込みが不足している人物画像を画像処理し、より好適な人物画像として出力する画像処理装置が、例えば、特許文献1および特許文献2に記載されている。
特開平11−308474号公報 特開2000−76427号公報
ところで、特許文献1に記載の画像処理装置では、人物画像に対し、赤目補正処理およびキャッチライト処理のいずれの処理もそれぞれ実施することができる。しかし、特許文献1に開示のキャッチライトの補正方法は、画像の瞳領域に元々存在している、周りより比較的明度の高いキャッチライト領域のコントラストを上げてキャッチライトを強調するものに過ぎない。従って、特許文献1に記載の画像処理装置では、画像内の瞳領域に、周囲に比べて明度の高いキャッチライト領域が元々存在しない場合について、キャッチライトを生成することはできない。このため、キャッチライトが望まれるにもかかわらず、キャッチライトがない画像が生じ、画像にまだ違和感が残るという問題があった。
また、特許文献2に記載の画像処理装置では、赤目補正処理を行った画像に、周囲に比べて比較的明度の高いパターンであるキャッチライトパターンを付加している。しかし、特許文献2では、修正前の赤目領域の最大明度位置にキャッチライトパターンを付加しているに過ぎないし、赤目補正された目の明度に応じてキャッチライトパターンの明度を調整しているが、撮影シーン、例えば、ストロボ撮影時に存在する蛍光灯やタングステン光の違いによって、赤目の補正やキャッチライトの強調や付加はできているものの、キャッチライトの自然さが不足し、高い画質が求められる場合には、画像にまだ違和感が感じられるという問題があった。
本発明の目的は、前記従来技術の問題点を解決することにあり、人物や動物などの生体画像の瞳領域内に赤目現象が生じている際の赤目現象を補正し、更に瞳領域内のキャッチライトが不足した画像を、撮影シーンに応じたキャッチライトを有する好適な画像に補正することができる画像処理装置を提供することにある。
上記課題を解決するために、本発明者は、人物画像や動物画像において赤目現象が生じた場合には、目の網膜からのフラッシュの反射光によって、キャッチライトのコントラストは低減し、赤目現象の生じている人物や動物等の生体画像は、キャッチライトの存在がはっきりしない画像となる場合が多いこと、および、このため、赤目現象の生じている画像について、なるべく好適な人物や動物等の画像を得るためには、赤目を補正した後、画像中の人物や動物等の瞳領域を調べてキャッチライトの有無およびその程度を調べて、必要に応じて、画像処理によってキャッチライトのはっきりとした画像とすることが好ましいこと、さらに、キャッチライトを明確化させる際に、撮影シーン、例えば、ストロボ撮影時の環境光、蛍光灯やタングステン光に応じて、キャッチライトパターンの形状や色味や位置を変えて、最適化をすることにより、赤目が適切に補正され、適切かつ自然なキャッチライトが存在し、被写体となる人物や動物がいきいきと感じられ、違和感のない高い画質の画像となることを知見し、本発明に至ったものである。
すなわち、本発明は、光学的な撮影によって得られた画像の画像データに所定の処理を施して出力用の画像データを出力する画像処理装置であって、赤目補正処理部とキャッチライト処理部とを備え、前記赤目補正処理部は、前記画像の画像データを画像解析して、前記画像中の赤目現象の生じている瞳領域を検出し、該検出された瞳領域の画像データについて画像処理を行って赤目補正を行い、前記キャッチライト処理部は、前記赤目補正処理部によって赤目補正がなされた前記瞳領域の画像データに、外部から入力され前記画像の撮影シーンの情報に応じてキャッチライトを生成し、前記撮影シーンの情報に応じて、該生成したキャッチライトを付加する位置を変更し、前記キャッチライトを有する画像の画像データとして出力することを特徴とする画像処理装置を提供するものである。
ここで、前記キャッチライトの生成は、前記赤目補正がなされた前記瞳領域へのキャッチライトパターンを付加することによって行うのが好ましい。
また、前記キャッチライトパターンの付加は、前記撮影シーンの情報に応じて、付加されたキャッチライトパターンの形状または色味が変更されるように行われるのが好ましい。
また、前記キャッチライトパターンの変更は、予め用意された形状または色味が異なる複数のキャッチライトパターンの中から前記撮影シーンに応じて選択されることによって行われるのが好ましい。
また、前記キャッチライトパターンの色味は、前記画像の撮影光源の色味、もしくは、前記画像中の被写体を照明している光源の種類によって変更されるのが好ましい。
また、前記キャッチライトの生成は、前記瞳領域中のキャッチライトの状態を検出し、前記キャッチライトが不十分である時に、前記赤目補正がなされた前記瞳領域に存在するキャッチライトを強調することによって行うのが好ましい。
また、前記キャッチライトの状態の検出は、前記赤目補正を行う前に、前記赤目現象の生じている前記瞳領域中において前記キャッチライトの有無および程度を調べることであるのが好ましい。
また、前記キャッチライトの状態の検出は、前記赤目補正を行った後に、前記赤目補正がなされた前記瞳領域中において前記キャッチライトの有無および程度を調べることであるのが好ましい。
また、前記キャッチライトの強調は、前記撮影シーンに応じて強調されたキャッチライトの形状、および色味の少なくとも1つが変更されるように行われるものであるのが好ましい。
また、前記キャッチライトの変更は、予め用意された形状、および色味の少なくとも1つが異なる複数のキャッチライトの中から撮影シーンに応じて選択されることによって行われるのが好ましい。
また、前記キャッチライトの色味は、前記画像の撮影光源の色味、もしくは、前記画像中の被写体を照明している光源の種類によって変更されるのが好ましい。
本発明によれば、赤目現象が生じ、キャッチライトが不足している、あるいは存在しない人物や動物等の生体画像から、赤目現象が補正されて、撮影シーンに応じた自然な印象のキャッチライトを有する好適な人物画像や動物画像等の生体画像を得ることができる。
また、本発明によれば、撮影シーン、例えば、ストロボ撮影時の環境光、蛍光灯やタングステン光などの存在に応じて、キャッチライトパターンの形状や色味や位置を変えて、キャッチライトを最適化することにより、赤目が適切に補正され、適切かつ自然なキャッチライトが存在し、被写体となる人物や動物がいきいきと感じられ、違和感のない高い画質の画像を得ることができる。
本発明に係る画像処理装置を添付の図面に示す本発明を実施するための最良の形態に基づいて以下に詳細に説明する。
図1に、本発明の画像処理装置を利用するデジタルフォトプリンタの一実施例のブロック図が示される。
図1に示される、デジタルフォトプリンタ(以下、フォトプリンタとする)10は、基本的に、フィルムFに撮影された画像を光電的に読み取るスキャナ(画像読取装置)12と、読み取られた画像データ(画像情報)を処理して出力用の画像データとし、またフォトプリンタ10全体の操作および制御等を行う画像処理装置14と、画像処理装置14から出力された画像データに応じて変調した光ビームで感光材料(印画紙)を画像露光し、現像処理して(仕上り)プリントとして出力するプリンタ16とを有する。
また、画像処理装置14には、様々な条件の入力や設定、処理の選択や指示、色/濃度補正などの指示等を入力するためのキーボード18aおよびマウス18bを有する操作系18と、スキャナ12で読み取られた画像、各種の操作指示、条件の設定/登録画面等を表示するディスプレイ20が接続される。
スキャナ12は、フィルムF等に撮影された画像を光電的に読み取る装置で、光源22と、可変絞り24と、フィルムFに入射する読取光をフィルムFの面方向で均一にする拡散ボックス28と、結像レンズユニット32と、R(赤)、G(緑)およびB(青)の各画像読取に対応するラインCCDセンサを有するイメージセンサ34と、アンプ(増幅器)36と、A/D(アナログ/デジタル)変換器38とを有する。
また、フォトプリンタ10においては、新写真システム(Advanced Photo System)や135サイズのネガ(あるいはリバーサル)フィルム等のフィルムの種類やサイズ、ストリップスやスライド等のフィルムの形態等に応じて、スキャナ12の本体に装着自在な専用のキャリアが用意されている。これらのキャリアを交換することにより、各種のフィルムや処理に対応することができる。フィルムに撮影され、プリント作成に供される画像(コマ)は、このキャリアによって所定の読取位置に搬送される。
このようなスキャナ12において、フィルムFに撮影された画像を読み取る際には、光源22から射出され、可変絞り24によって光量調整された読取光が、キャリアによって所定の読取位置に位置されたフィルムFに入射して、透過することにより、フィルムFに撮影された画像を担持する投影光を得る。
キャリア30は、図2(a)に示されるように、所定の読取位置を挟んで配置される搬送ローラ対30aおよび30bと、フィルムFの投影光を所定のスリット状に規制する読取位置に対応して位置するスリット40aを有するマスク40とを有する。スリット40aは、ラインCCDセンサと同方向(主走査方向)に延在するものであり、搬送ローラ対30aおよび30bは、読取位置にフィルムFを位置しつつ、主走査方向と直交する副走査方向に、フィルムFの長手方向を一致して搬送する。
フィルムFは、このキャリア30によって読取位置に位置されて副走査方向に搬送されつつ、読取光を入射される。これにより、結果的にフィルムFが主走査方向に延在するスリット40aによって2次元的にスリット走査され、フィルムFに撮影された各コマの画像が読み取られる。
このようなスキャナ12において、フィルムFに撮影された画像を読み取る際には、光源22から射出され、可変絞り24によって光量調整された読取光が、キャリアによって所定の読取位置に位置されたフィルムFに入射して、透過することにより、フィルムFに撮影された画像を担持する投影光を得る。
フィルムFは、このキャリア30によって読取位置に位置されて副走査方向に搬送されつつ、読取光が入射される。これにより、結果的にフィルムFが主走査方向に延在するスリット40aによって2次元的にスリット走査され、フィルムFに撮影された各コマの画像が読み取られる。
新写真システムのフィルムには、磁気記録媒体が形成されており、新写真システムのフィルム(カートリッジ)に対応するキャリア30には、この磁気記録媒体に情報の記録/読取を行う磁気ヘッド42が配置されている。フィルムの磁気記録媒体に記録された情報は、磁気ヘッド42で読み取られて画像処理装置14等に送られ、また、画像処理装置14等からの情報がキャリア30に転送され、磁気ヘッド42によってフィルムFの磁気記録媒体に記録される。
また、キャリア30には、フィルムFに光学的に記録されるDXコード、拡張DXコード、FNSコード等のバーコードや、フィルムに光学的に記録された各種の情報を読み取るためのコードリーダ44が配置されており、コードリーダ44で読み取られた各種の情報が画像処理装置14等に送られる。
図2(b)に示されるように、イメージセンサ34は、R画像を読み取るラインCCDセンサ34R、G画像を読み取るラインCCDセンサ34GおよびB画像を読み取るラインCCDセンサ34Bを有する、いわゆる3ラインのカラーCCDセンサで、主走査方向に延在する。フィルムFの投影光は、イメージセンサ34によって、R、GおよびBの3原色に分解されて光電的に読み取られる。
イメージセンサ34の出力信号は、アンプ36で増幅され、A/D変換器38でデジタル信号とされて、画像処理装置14に送られる。
スキャナ12においては、フィルムFに撮影された画像の読み取りを、低解像度で読み取るプレスキャンと、出力画像の画像データを得るためのファインスキャンとの、2回の画像読取で行う。
プレスキャンは、スキャナ12が対象とする全てのフィルムの画像を、入力画像としてイメージセンサ34が飽和することなく読み取れるように設定された、プレスキャンの読取条件で行われる。一方、ファインスキャンは、プレスキャンデータから、その画像(コマ)の最低濃度よりも若干低い濃度でイメージセンサ34が飽和するように、各コマ毎に設定されたファインスキャンの読取条件で行われる。従って、同じ画像でも、プレスキャンとファインスキャンの出力信号は、解像度と出力レベルが異なる。
なお、本発明において、スキャナは、このようなスリット走査によるものに限定はされず、1コマの画像の全面を一度に読み取る、面露光を利用するものであってもよい。この場合には、例えば、エリアCCDセンサを用い、光源とフィルムFとの間に、R、GおよびBの各色フィルタの挿入手段を設け、各色フィルタを順次挿入してエリアCCDセンサで画像を読み取ることにより、フィルムに撮影された画像を3原色に分解して順次行えばよい。
図3に、画像処理装置14のブロック図を示す。図3に示されるように、画像処理装置14(以下、処理装置14とする)は、データ処理部46、Log変換器48、プレスキャン(フレーム)メモリ50、ファインスキャン(フレーム)メモリ52、プレスキャン通常画像処理部(以下、プレスキャン処理部とする)54、ディスプレイ信号変換部56、ファインスキャン通常画像処理部(以下、ファインスキャン処理部とする)58、特殊画像処理部60、プリンタ信号変換部62、条件設定部64を有する。
なお、図3は、主に画像処理関連の部位を示すものであり、画像処理装置14には、これ以外にも、処理装置14を含むフォトプリンタ10全体の制御や管理を行うCPU、フォトプリンタ10の作動等に必要な情報を記憶するメモリ、可変絞り24の絞り値やCCDセンサ34の蓄積時間を決定する手段等が配置され、また、操作系18やディスプレイ20は、このCPU等(CPUバス)を介して各部位に接続される。
スキャナ12から出力されたR,GおよびBの各出力信号には、まず、データ処理部46において、DCオフセット補正、暗時補正、シェーディング補正等の所定の処理が施され、Log変換器48で変換されてデジタルの画像データとされて、プレスキャン(画像)データはプレスキャンメモリ50に、ファインスキャン(画像)データはファインスキャンメモリ52に、それぞれ記憶(格納)される。
プレスキャンメモリ50に記憶されたプレスキャンデータは、プレスキャン処理部54で処理されて、ディスプレイ20による表示に対応する画像データとされ、ファインスキャンメモリ52に記憶されたファインスキャンデータは、ファインスキャン処理部58および特殊画像処理部60で処理されて、プリンタ16による出力に対応する画像データとされる。
プレスキャン処理部54と、ファインスキャン処理部58は、共に、後に詳述する条件設定部64の設定に応じて、スキャナ12によって読み取られた画像(画像データ)に、赤目処理以外の各種の画像処理(以下、通常画像処理とする)を施す部位である。両者は、処理する画像データの画素密度が異なる以外には、基本的に同様の処理を行う。
プレスキャン処理部54およびファインスキャン処理部58における通常画像処理は、公知の各種の画像処理であって、一例として、グレイバランス調整、階調調整、濃度調整、電子変倍処理、シャープネス(鮮鋭化)処理、粒状抑制処理、覆い焼き処理(中間階調を維持した画像データ圧縮による、直接露光のフォトプリンタにおける覆い焼き効果の付与)、幾何学歪補正、周辺光量補正、ソフトフォーカスや白黒仕上げなどの特殊仕上げ等の1以上が例示される。
これらの各処理は公知の方法で行えばよく、処理演算(アルゴリズム)、加算器や減算器による処理、LUT(ルックアップテーブル)による処理、マトリクス(MTX)演算やフィルタによる処理等を適宜組み合わせて行われる。
一例を挙げれば、グレイバランス調整、濃度調整および階調調整は、画像特徴量に応じて作成されるLUTを用いる方法が、彩度調整は、MTX演算を用いて行う方法が、シャープネス処理は、画像を周波数成分に分け、中・高周波数成分から得られた輝度信号にシャープネスゲイン(鮮鋭度補正係数)を乗算して、得られた輝度情報を低周波数成分に加算する方法が、それぞれ例示される。
こうして、プレスキャン処理部54で通常の画像処理が施された画像処理済プレスキャンデータは、ディスプレイ信号変換部56に送られる。
ディスプレイ信号変換部56は、画像データを3D(3次元)−LUT等で変換して、ディスプレイ20による表示に対応する画像データとする。
一方、ファインスキャン処理部58で通常の画像処理が施された画像処理済ファインスキャンデータは、特殊画像処理部60に送られる。
特殊画像処理部60は、赤目補正処理部72とキャッチライト処理部74とを有する。赤目補正処理部72は、入力画像に赤目現象が生じている場合、この入力画像中の赤目現象の発生している瞳領域を自動的に検出して修正する赤目補正処理を行う。また、キャッチライト処理部74は、赤目補正処理部72で赤目補正された画像について、この画像中の赤目補正された瞳領域に撮影シーンに応じてキャッチライトを生成する。例えば、キャッチライト処理部74は、赤目補正済画像中の赤目補正された瞳領域に、撮影シーンに応じた適切なキャッチライトを付加したり、あるいは、必要に応じて、赤目補正対象画像中の瞳領域中のキャッチライトを検出し、撮影シーンに応じて、赤目補正された瞳領域中において検出されたキャッチライトを強調したり、または赤目補正された瞳領域に撮影シーンに応じた適切なキャッチライトを付加する。
なお、特殊画像処理部60は、ディスプレイ信号変換部56とも接続されており、特殊画像処理部60における赤目補正処理やキャッチライト生成処理などの特殊画像処理の内容をディスプレイ20で確認可能になっている。また、特殊画像処理部60は、操作系18とも接続されており、キーボード18aやマウス18bを用いて特殊画像処理の内容や条件や処理位置等を指示入力することで、ディスプレイ20に表示される画像を確認しながら、GUI(Graphic User Interface)により赤目補正処理やキャッチライト生成処理などの特殊画像処理を行うことが可能となっている。
このような特殊画像処理部60の特殊画像処理、すなわち、赤目補正処理部72における赤目補正処理およびキャッチライト処理部74におけるキャッチライト生成処理の内容に関しては、後に詳述する。
こうして、ファインスキャン処理部58で通常の画像処理が施された画像処理済ファインスキャンデータは、プリンタ信号変換部62に送られる。
他方、プリンタ信号変換部62は、ファインスキャン画像処理部58によって画像処理され、場合に応じて、特殊画像処理部60の赤目補正処理部72において赤目補正処理された瞳領域にキャッチライト処理部74で撮影シーンに応じて生成されたキャッチライトを持つ画像の画像データを3D−LUT等で変換して、プリンタ16による画像記録に対応する画像データに変換し、プリンタ16に供給する。
次に、特殊画像処理部60において行われる特殊画像処理について説明する。
まず、赤目補正処理部72において行われる赤目補正処理は、画像の中の赤目を画像解析によって自動検出(赤目検出)して、さらに、その補正(赤目補正)を画像処理によって自動的に行う、全自動の赤目補正処理方法が実施される。なお、特殊画像処理部60からディスプレイ信号変換部56を介してファインスキャンデータに基づくファインスキャン画像をディスプレイ20に表示し、オペレータがファインスキャン画像中の赤目現象が生じている1つまたは複数の目の中の1点もしくはその近傍領域を指示し、指示された点もしくは領域において赤目を自動検出し、自動修正する半自動の赤目補正処理方法を行なうようにしても良い。
ここで、赤目補正処理部72における赤目検出の方法には、特に限定はなく、公知の方法が各種利用可能である。
一例として、顔抽出を行い、抽出した顔から瞳および/または赤目を検出する方法が例示される。
顔抽出は、公知の方法で行えばよく、例えば、エッジ検出や形状パターン検出による顔検出方法; 色相抽出や肌色抽出による顔検出方法; 候補領域を抽出して、この候補領域を小領域に分割して、各領域毎の特徴量を予め設定した顔領域パターンと照合して、その確度から顔領域を抽出する方法(特開2000−137788号公報参照); 顔候補領域を抽出して、各候補領域の重複度から確度を評価して顔領域を抽出する方法(特開2000−149018号公報参照); 顔候補領域を抽出して、各候補領域の濃度が所定の閾値に対応する値である場合に、胴体候補領域を抽出し、顔および胴体候補領域の濃度や彩度コントラストを用いて確度を評価して、顔領域を抽出する方法(特開2000−148980号公報参照); 等が例示される。
抽出した顔領域から赤目を検出する方法も、公知の方法で行えばよい。
例えば、エッジ検出、形状パターン検出、位置情報、色相情報等を用いた瞳抽出を行って、色相等から赤目を検出する方法; エッジ検出、形状パターン検出、位置情報等を用いて目を抽出し、この目の画像データの輝度ヒストグラムから低輝度領域を抽出し、抽出した低輝度領域を収縮処理して瞳の領域を抽出し、色相等から赤目を検出する方法; 顔候補領域をxy平面として各画素毎に色相等を用いた画像特徴量zを求め、xyzの三次元空間を設定してz値の山状分布からxy平面を分割して、分割領域毎に形状情報や統計的画像特徴量等から赤目を検出する方法(特開2000−76427号公報参照); 等が例示される。
また、検出した赤目の補正方法にも限定はなく、公知の方法で行えばよい。
例えば、検出した赤目の色変換や彩度低下によって赤目を補正する方法; 検出した赤目領域で最小明度の画素に近づけるように、他の全画素の彩度や明度を補正する方法(特開2000−76427号公報参照); 等が例示される。
本実施形態において、特殊画像処理部60による赤目補正処理は、上述のように、ディスプレイ20による画面表示を行い、この表示画面とマウス18b等の操作部18を用いたGUI(Graphical User Interface)による操作等によって行うことも可能である。また、自動的な処理においてオペレータによる赤目位置の指定等、オペレータの操作による手動処理を併用する、半自動的な赤目補正処理方法であってもよい。処理装置14はこれらの処理形態を適宜選択できるようになっている。
次に、特殊画像処理部60のキャッチライト処理部74においては、赤目補正処理部において補正された目の領域(人物や動物等の生体画像の瞳領域)内に、撮影シーンに応じた適切なキャッチライトを生成する。
ここで、キャッチライト処理部74では、赤目補正処理において赤目が検出され、かつ赤目が補正された目に相当する領域、すなわち瞳の領域に撮影シーンに応じて選択された適切なキャッチライトパターンを付加することにより、適切なキャッチライトを生成しても良い。この時、キャッチライトパターンは、例えば、その中心が目の領域(瞳領域)の中心に位置し、目の領域からはみ出さないように、位置やサイズや形状を選択するのが好ましい。
また、キャッチライト処理部74では、必要に応じて、赤目補正処理において検出された画像内の目に相当する領域(瞳領域)が、明度の高い画素を含んでいるか否かを判断することで、キャッチライトの有無や程度を検出し、すなわち、キャッチライトが充分であるか否かを判断し、キャッチライトが不十分であると判断された場合、赤目補正された目の領域(瞳領域)内において、撮影シーンに応じて、キャッチライトのコントラストを上げて、または色味を変えて、あるいは形状を変えて、瞳領域内のキャッチライトを強調するか、瞳領域内の不十分なキャッチライトの上に撮影シーンに応じて選択された形状および色味のキャッチライトパターンを、撮影シーンに応じて選択された位置に付加しても良い。
なお、赤目補正処理部72においては、補正された目の領域(人物等の生体画像の瞳領域)へのキャッチライトパターンの付加を、赤目補正処理部72において自動的検出された目の領域(瞳領域)の中心、またはオペレータがディスプレイ20に表示された画像から検出した目の領域(瞳領域)の中心、もしくは指定した目の領域(瞳領域)の所定の位置に、自動的またはオペレータの操作により行うことができる。また、赤目補正された目の領域(瞳領域)へのキャッチライトの強調およびキャッチライトパターンの付加は、赤目補正の前または後に、赤目補正処理部72において自動的検出された目の領域(瞳領域)内における画像のコントラストを調査し、明度の高い領域を、キャッチライトとして、自動的にまたはオペレータがディスプレイ20に表示される画像の中から検出し、自動的またはオペレータの操作により行うことができる。
このキャッチライトの検出において、瞳領域が明度の高い画素を含んでいるか否かの判断は、この瞳領域の明度の絶対値が、予め設定された明度の値の閾値を満足するか否かによって判断される。また、画像内の瞳領域の明度の平均に対し、どれくらい明度の差があるかによって判断されてもよい。これらの明度の判断は、画像内の瞳領域の画像データのうち、G成分およびB成分のデータのみを用いて判断してもかまわない。また、オペレータがモニタに表示された画像を確認し、人物等の画像の瞳領域内にキャッチライトが生じているかどうか、コントラスト・大きさは充分であるかを検討し、キャッチライトの強調またはキャッチライトパターンの付加を行うか否かを判断してもよい。
なお、特殊画像処理部60のキャッチライト処理部74において行うことができるキャッチライト状態の検出方法は、特に制限的ではなく、上述の方法の他、上述した特許文献1および特許文献2ならびに特開平10−75347号公報等に開示された方法を用いることもできる。
キャッチライトを強調する方法としては、キャッチライトと判断された領域を含む瞳領域の画像のコントラストを上げる方法がある。この際、現在のキャッチライトの状態および画像の情報や撮影時のシーンの情報に応じて、コントラストの上げ具合を調節することが好ましい。この時、撮影シーンの情報に応じて、キャッチライトの形状や色味や位置を変えることにより、キャッチライトをより強く強調しても良く、こうすることで、より適切なキャッチライトとすることができる。
なお、特殊画像処理部60のキャッチライト処理部74において行うことができるキャッチライトの強調は、撮影シーンに応じた強調である必要があるが、どのような強調方法を行うかを決めることができていれば、強調の手法自体は特に制限的ではなく、上述の方法の他、上述した特許文献1および特許文献2ならびに特開平10−75347号公報等に開示された方法を適用しても良い。
キャッチライトの付加は、赤目補正された目の瞳領域に、予め用意された複数のキャッチライトパターンの中から撮影シーンやその情報に応じて予め選択された適切なキャッチライトパターンをはめ込むことで行われる。この際、キャッチライトパターンは、その中心が、目の瞳領域の中心、または指定された位置、もしくはキャッチライトの位置に来るように、かつ、その大きさが、目に相当する領域の大きさに対応するように、調節されてはめ込まれる。
キャッチライトパターンの形状としては、特に制限的ではないが、例えば、図4(a)〜(d)に示す種々の形状が挙げられる。キャッチライトパターンとしては、図4(a)のような円状のパターン、図4(b)のような四角形状のパターン、図4(c)および(d)のような十字形状のパターン等が例示される。
これらのキャッチライトパターンは、画像の撮影シーンおよびその情報に応じて、キャッチライト補正部74において自動的に選択されるようにしても良いし、画像に応じてオペレータによって選択されるようにても良い。
また、これらのキャッチライトパターンは、画像の撮影シーンに応じて、任意の角度で付加することができるが、キャッチライトを発生させている光源の方向が検出できる場合や、ディスプレイ20の表示画像から判断できる場合には、光源の方向に応じて付加する角度を設定するのが好ましい。
また、撮影時にキャッチライトを発生させている光源、すなわち、撮影光源、および/または撮影被写体を照明している光源(環境光の光源)の種類が判明している場合、この光源の種類や形態およびその情報に応じてキャッチライトの形状や色味や位置や角度、特に色味を適切に選択するのが好ましい。
キャッチライトの色や付加するキャッチライトパターンの色は、通常では白が用いられる。ただし、撮影時の環境光の光源の種類が判明している場合など、画像が撮影されたシーンの照明に応じ、キャッチライトパターンの色味を変更することが好ましい。例えば、撮影時の光源(蛍光灯、タングステン)の種類が判明していれば、この光源の種類に合わせてキャッチライトの色味を変更することで、より自然な感じにキャッチライトパターンが付加され、より自然でイキイキとした印象の人物画像が得られる。
キャッチライトパターンを付加する場合には、特に、目の領域(瞳領域)にキャッチライトが確認されない場合には、キャッチライトパターンの中心が基本的に目に相当する領域(瞳領域)の中心に来るように付加するのが好ましい。ただし、撮影時の光源(照明)の方向が分かっている場合は、その光源(照明)の方向にあわせて、キャッチライトを付加することが好ましい。具体的には、画像に向かって左上側から人物に照明が当たっていると判明している場合、画像内の瞳領域の、画像に向かって左上側にキャッチライトパターンを付加することで、より自然な感じにキャッチライトパターンが付加され、より自然でイキイキとした印象の人物画像が得られる。
また、キャッチライトや付加するキャッチライトパターンの明度は、中心が最も高く、中心から端部に向かい放射状に徐々に低くなるグラデーションを有していることが好ましい。このようなグラデーションを有していることで、より自然に目(瞳)の表面で反射している印象のキャッチライトパターンが得られ、より自然でイキイキとした印象の人物画像が得られる。
なお、特殊画像処理部60のキャッチライト処理部74において行うことができるキャッチライトパターンの付加は、撮影シーンに応じたキャッチライトパターンである必要があるが、適切なキャッチライトパターンが予め、用意、または選択、もしくは設定されていれば、付加の手法自体は特に制限的ではなく、上述の方法の他、上述した特許文献1および特許文献2ならびに特開平10−75347号公報等に開示された方法を適用しても良い。
特殊画像処理部60において、赤目補正処理部72における赤目補正処理およびキャッチライト処理部74におけるキャッチライトの生成は、基本的に以上のように行われる。
次に、プレスキャン処理54およびファインスキャン処理部58における通常画像処理の種類、内容および条件を設定する条件設定部64について説明する。
この条件設定部64は、セットアップ部66、キー補正部68およびパラメータ統合部70を有する。
条件設定部64のセットアップ部66は、ファインスキャンの読取条件やプレスキャン処理部54およびファインスキャン処理部58での通常画像処理の種類や内容や条件等を決定するものである。
具体的には、セットアップ部66は、同時プリントの際に、プレスキャンデータから、濃度ヒストグラムの作成や平均濃度、ハイライト(最低濃度)やシャドー(最高濃度)等の濃度ヒストグラムの頻度の所定%点、LATD(大面積透過濃度)、ヒストグラムの極大値および極小値濃度等の画像特徴量の算出等を行い、前述のようにファインスキャンの読取条件を設定し、さらに、濃度ヒストグラムや画像特徴量、オペレータの指示等に応じて、各種の画像処理から実行する画像調整ならびに実行順序を決定し、さらに、各画像処理条件、ディスプレイ信号変換部56やプリンタ信号変換部62での変換条件を算出し、パラメータ統合部70に供給する。
なお、条件設定部64のセットアップ部66において、特殊画像処理部60の特殊画像処理(赤目補正処理およびキャッチライト生成処理)の内容および条件を設定するようにしても良い。
キー補正部68は、操作系18のキーボード18aやマウス18bから入力された、通常画像処理における色調整、濃度調整、コントラスト(階調)調整等の指示に応じて、また、赤目補正処理における補正位置、色調整、濃度調整、コントラスト(諧調)調整等の指示に応じて、画像処理条件の調整量を算出し、パラメータ統合部70に供給するものである。
パラメータ統合部70は、セットアップ部66によって算出された画像処理の種類や内容および画像処理条件等を受け取り、プレスキャン処理部54およびファインスキャン処理部58の所定部位に設定し、さらに、キー補正部68で算出された調整量等に応じて、各部位に設定された画像処理条件を設定する。
前述のように、処理装置14のプレスキャン処理部54のディスプレイ信号変換部56で変換された画像データはディスプレイ20に、ファインスキャン通常処理部58のプリンタ信号変換部62で変換された画像データはプリンタ16に、それぞれ送られる。
プリンタ16は、供給された画像データに応じて感光材料(印画紙)を露光して潜像を記録するプリンタ(焼付装置)と、露光済の感光材料に所定の処理を施してプリントとして出力するプロセサ(現像装置)とを有する。
プリンタでは、例えば、感光材料をプリント長に切断した後に、バックプリントを記録し、次いで、R露光、G露光およびB露光の3種の光ビームを処理装置14から出力された画像データに応じて変調して主走査方向に偏向すると共に、主走査方向と直交する副走査方向に感光材料を搬送することにより、感光材料を2次元的に走査露光して潜像を記録し、プロセサに供給する。感光材料を受け取ったプロセサは、発色現像、漂白定着、水洗等の所定の湿式現像処理を行い、乾燥してプリントとし、フィルム1本分等の所定単位に仕分して集積する。
以下、図1に示すフォトプリンタ10の作用を説明することにより、本発明の画像処理方法について、より詳細に説明する。
ネガフィルムFからのプリント出力の際には、フィルムFのプリント作成を行うオペレータは、フィルムFに応じたキャリアをスキャナ12の所定位置に装着して、フィルムFをキャリアにセットし、作成するプリントサイズ、画像関連情報として設定された種々の情報、好ましくは、必要に応じて撮影シーンの情報等を入力し、またはその必要な指示や選択や設定を入力した後に、プリント作成開始を指示する。
これにより、スキャナ12の可変絞り24の絞り値等がプレスキャンの読取条件に応じて設定され、その後、キャリア30がフィルムFをプレスキャンの速度で副走査方向に搬送して、前述のように所定の読取位置において、フィルムFがスリット走査されて投影光がイメージセンサ34に結像し、フィルムFに撮影された画像がR,GおよびBに分解されて光電的に読み取られる。
また、キャリア30によるフィルムの搬送の際に、フィルムFに記録されたDXコードや磁気情報が読み取られ、各種の処理装置14に送られる。なお、この磁気情報から撮影シーンの情報を読み取っても良い。
以上の操作で得られた情報のうち、撮影シーンの情報を含む画像関連情報として設定された情報は、パラメータ統合部70に送られる。
なお、プレスキャンおよびファインスキャンは、1コマずつ行ってもよいし、全コマあるいは所定の複数コマずつ、連続的に行ってもよい。もしくは、プレスキャンを連続的に全コマあるいは所定の複数コマずつ行い、ファインスキャンを1コマずつ、プレスキャンより少ないコマずつ行ってもよい。以下では、説明を簡潔にするために、1コマずつプレスキャンおよびファインスキャンを行う場合を代表例として説明を行う。
イメージセンサ34からの出力は、アンプ36で増幅され、A/D変換器38でデジタル信号とされて、処理装置14に送られ、データ処理部46でオフセット補正等の所定の処理を施された後、Log変換器48で変換されてデジタルの画像データとされ、プレスキャンメモリ50に記憶される。
プレスキャンメモリ50にプレスキャンデータが記憶されると、セットアップ部66がこれを読み出し、前述のように、濃度ヒストグラムの作成や画像特徴量の算出を行い、その結果から、可変絞り24の絞り値等のファインスキャンの読取条件を設定し、スキャナ12に送る。
セットアップ部66は、さらに濃度ヒストグラムおよび画像特徴量、オペレータによる指示に応じて、そのコマ(画像)に実行する通常画像処理を選択し、その順番を決定し、各々の通常画像処理の画像処理条件(信号変換条件)を算出する。設定された画像処理条件は、パラメータ統合部70に送られ、プレスキャン通常処理部54およびファインスキャン通常処理部58の所定位置(ハードウエア)に設定される。
検定を行う場合には、画像処理条件が、プレスキャン処理部54に設定されると、プレスキャンメモリ50からプレスキャンデータが読み出され、プレスキャン通常処理部54において設定された画像処理条件に応じて通常処理され、次いで、ディスプレイ信号変換部56に供給されて、ディスプレイ20での表示に応じた表示用画像データに変換され、プレスキャン画像がシミュレーション画像としてディスプレイ20に表示される。
オペレータは、ディスプレイ20の表示画像を見て、画像の確認(検定)を行い、必要に応じて、キーボード18aに設定された調整キー等を用いて、色、濃度、階調等の調整等を行う。
調整の信号は、キー補正部68に送られる。キー補正部68は入力に応じた画像処理条件の補正量を算出し、これをパラメータ統合部70に送る。パラメータ統合部70は、送られた補正量に応じて、プレスキャン処理部54およびファインスキャン処理部58で設定した画像処理条件を補正する。従って、オペレータによる入力に応じて、ディスプレイ20に表示される画像も変化する。
オペレータは、ディスプレイ20に表示された画像が適正であると判定(検定OK)すると、キーボード18a等を用いて、その旨を指示する。
これにより、通常処理が確定し、ファインスキャンが開始され、スキャナ12において可変絞り24の絞り値等が設定されたファインスキャンの読取条件に設定されると共に、キャリア30がファインスキャンの速度でフィルムFを搬送する。
なお、検定を行わない場合には、パラメータ統合部70によるファインスキャン処理部58への画像処理条件の設定を終了した時点で処理が確定し、ファインスキャンが開始される。検定の有無は、モードとして選択可能にするのが好ましい。
ファインスキャンは、読取条件が設定されたファインスキャンの読取条件となる以外はプレスキャンと同様に行われ、イメージセンサ34の出力信号はアンプ36、A/D変換器38で処理され、処理装置14のデータ処理部46で処理されて、Log変換器48でファインスキャンデータとされ、ファインスキャンメモリ52に送られる。
ファインスキャンデータがファインスキャンメモリ52に送られると、ファインスキャン処理部58によって読み出され、条件設定部64において確定した通常処理条件で通常処理が施される。
ファインスキャン処理部58において通常処理が施された画像データは、特殊画像処理部60の赤目補正処理部72に送られる。赤目補正処理部72は、前述のように、画像内に赤目現象が生じている領域がある場合、赤目となっている目の領域(瞳領域)を自動的に検出し、瞳領域および赤目領域の位置情報を取得し、赤目補正が自動的に施される。画像内に赤目現象が生じている瞳領域が検出されない場合も、画像データは赤目補正処理部72に送られるが、この場合、画像データには何の処理も施されない。
検定を行う場合には、特殊画像処理部60の赤目補正処理部72に送られた出力画像データは、前述のディスプレイ信号変換部56に送られ、画像がディスプレイ20に表示される。オペレータは、ディスプレイ20の表示画像を見て、画像の確認(検定)を行い、必要に応じて、ディスプレイ20の表示画像を見ながらキーボード18aに設定された調整キーやマウス18b等を用いて、前述のGUIにより、赤目補正処理部72で検出されなかった、画像内の赤目現象が生じている目の領域について半自動赤目補正、または手動で赤目補正を行う。この際、オペレータによる入力に応じて、ディスプレイ20に表示される画像も変化する。オペレータは、このディスプレイ20の表示画像を見て、赤目補正が適正に行われ、画像が適正であると判定(検定OK)すると、キーボード18a等を用いて、赤目補正が適正に行われた旨を指示入力する。
なお、検定および半自動または手動による赤目補正を行わない場合には、赤目自動補正部72における赤目自動補正処理が終了した時点で赤目補正処理が終了する。検定の有無や、全自動赤目補正、半自動赤目補正または手動赤目補正等は、モードとして選択可能にしておくのが好ましい。
赤目補正処理部72において赤目補正処理が施された画像は、キャッチライト処理部74に送られ、赤目補正処理された目の領域(瞳領域)に撮影シーンに応じたキャッチライトを生成する。この時、スキャナ12においてフィルムFから取得された撮影シーンの情報は、パラメータ統合部70から特殊画像処理部60のキャッチライト処理部74に送られている。具体的には、キャッチライト処理部74によるキャッチライトの生成は、赤目補正処理において補正された画像内の瞳に相当する領域に、その中心が一致するように、
撮影シーンに応じた適切なキャッチライトパターンを付加することによって、あるいは、赤目補正済瞳領域内のキャッチライトの状態を検出し、検出されたキャッチライトを撮影シーンに応じて適切に強調し、または検出されたキャッチライトに撮影シーンに応じた適切なキャッチライトパターンを付加することによって行われる。
なお、赤目補正済瞳領域内のキャッチライトの状態を検出する場合には、さらに具体的には、赤目処理において検出された画像内の瞳に相当する領域が、周囲と比べて明度の高い画素を含んでいるか否かを判断することでキャッチライトが充分であるか否かが判断される。キャッチライトが不十分であると判断された場合、上述のように、キャッチライトのコントラストを上げて、形状や色味を変えて、瞳領域内のキャッチライトが強調されるか、画像内の瞳領域に適切なキャッチライトパターンが付加される。これらの画像処理は自動的に行われてもよく、また、オペレータがディスプレイ20を見ながら操作系18を用いてGUIにて処理を行う、手動による処理を行ってもよい。
キャッチライト処理部74で所定の処理が施された画像は、プリンタ信号変換部62に送られて出力用の画像データに変換され、プリンタ16に出力されてこの画像データを再生したプリントが作成される。
本発明の画像処理装置においては、出力用の画像データは、プリンタ16のみならず、フロッピー(登録商標)ディスク、MOディスク(磁気記録ディスク)、CD−R等の各種の記憶媒体に出力して、画像ファイルとしてもよい。
以上、本発明の画像処理装置について詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。
本発明の画像処理装置を利用するデジタルフォトプリンタの一実施例のブロック図である。 (a)は図1に示されるデジタルフォトプリンタに装填されるスキャナの概念図を、(b)は図1に示されるデジタルフォトプリンタに配置されるイメージセンサの概念図を、それぞれ示す。 図1に示されるデジタルフォトプリンタの画像処理装置の一実施例のブロック図である。 (a)〜(d)は、本発明の画像処理装置で用いられるキャッチライトパターンの形状を示す概略図である。
符号の説明
10 (デジタル)フォトプリンタ
12 スキャナ
14 画像処理装置
16 プリンタ
18 操作系
20 ディスプレイ
22 光源
24 可変絞り
28 拡散ボックス
30 キャリア
32 結像レンズユニット
34 イメージセンサ
36 アンプ
38 A/D変換器
42 磁気ヘッド
44 コードリーダ
46 データ処理部
48 Log変換器
50 プレスキャン(フレーム)メモリ
52 ファインスキャン(フレーム)メモリ
54 プレスキャン画像処理部
56 ディスプレイ信号変換部
58 ファインスキャン画像処理部
60 特殊画像処理部
62 プリンタ信号変換部
64 条件設定部
66 セットアップ部
68 キー補正部
70 パラメータ統合部
72 赤目補正処理部
74 キャッチライト処理部

Claims (11)

  1. 光学的な撮影によって得られた画像の画像データに所定の処理を施して出力用の画像データを出力する画像処理装置であって、
    赤目補正処理部とキャッチライト処理部とを備え、
    前記赤目補正処理部は、前記画像の画像データを画像解析して、前記画像中の赤目現象の生じている瞳領域を検出し、該検出された瞳領域の画像データについて画像処理を行って赤目補正を行い、
    前記キャッチライト処理部は、前記赤目補正処理部によって赤目補正がなされた前記瞳領域の画像データに、外部から入力され前記画像の撮影シーンの情報に応じてキャッチライトを生成し、前記撮影シーンの情報に応じて、該生成したキャッチライトを付加する位置を変更し、前記キャッチライトを有する画像の画像データとして出力することを特徴とする画像処理装置。
  2. 記キャッチライトの生成は、前記赤目補正がなされた前記瞳領域へのキャッチライトパターンを付加することによって行う請求項1に記載の画像処理装置
  3. 前記キャッチライトパターンの付加は、前記撮影シーンの情報に応じて、付加されたキャッチライトパターンの形状または色味が変更されるように行われる請求項2に記載の画像処理装置
  4. 前記キャッチライトパターンの変更は、予め用意された形状または色味が異なる複数のキャッチライトパターンの中から前記撮影シーンに応じて選択されることによって行われる請求項3に記載の画像処理装置
  5. 前記キャッチライトパターンの色味は、前記画像の撮影光源の色味、もしくは、前記画像中の被写体を照明している光源の種類によって変更される請求項3または4に記載の画像処理装置
  6. 記キャッチライトの生成は、前記瞳領域中のキャッチライトの状態を検出し、前記キャッチライトが不十分である時に、前記赤目補正がなされた前記瞳領域に存在するキャッチライトを強調することによって行う請求項1に記載の画像処理装置
  7. 前記キャッチライトの状態の検出は、前記赤目補正を行う前に、前記赤目現象の生じている前記瞳領域中において前記キャッチライトの有無および程度を調べることである請求項6に記載の画像処理装置
  8. 前記キャッチライトの状態の検出は、前記赤目補正を行った後に、前記赤目補正がなされた前記瞳領域中において前記キャッチライトの有無および程度を調べることである請求項6に記載の画像処理装置
  9. 前記キャッチライトの強調は、前記撮影シーンに応じて強調されたキャッチライトの形状、および色味の少なくとも1つが変更されるように行われるものである請求項6に記載の画像処理装置
  10. 前記キャッチライトの変更は、予め用意された形状、および色味の少なくとも1つが異なる複数のキャッチライトの中から撮影シーンに応じて選択されることによって行われる請求項9に記載の画像処理装置
  11. 前記キャッチライトの色味は、前記画像の撮影光源の色味、もしくは、前記画像中の被写体を照明している光源の種類によって変更される請求項9または10に記載の画像処理装置
JP2003353889A 2003-10-14 2003-10-14 画像処理装置 Expired - Lifetime JP4482307B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003353889A JP4482307B2 (ja) 2003-10-14 2003-10-14 画像処理装置
US10/963,775 US20050129287A1 (en) 2003-10-14 2004-10-14 Image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003353889A JP4482307B2 (ja) 2003-10-14 2003-10-14 画像処理装置

Publications (3)

Publication Number Publication Date
JP2005122287A JP2005122287A (ja) 2005-05-12
JP2005122287A5 JP2005122287A5 (ja) 2006-06-08
JP4482307B2 true JP4482307B2 (ja) 2010-06-16

Family

ID=34612043

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003353889A Expired - Lifetime JP4482307B2 (ja) 2003-10-14 2003-10-14 画像処理装置

Country Status (2)

Country Link
US (1) US20050129287A1 (ja)
JP (1) JP4482307B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4507082B2 (ja) * 2004-08-19 2010-07-21 ノーリツ鋼機株式会社 キャッチライト合成方法
JP2006072742A (ja) * 2004-09-02 2006-03-16 Noritsu Koki Co Ltd キャッチライト合成方法及び装置
JP2006072743A (ja) * 2004-09-02 2006-03-16 Noritsu Koki Co Ltd キャッチライト合成方法及び装置
JP4823970B2 (ja) * 2007-05-24 2011-11-24 オリンパスイメージング株式会社 画像編集装置
JP5009204B2 (ja) 2008-03-14 2012-08-22 オリンパスイメージング株式会社 撮影装置および撮影装置における画像合成方法
US8571271B2 (en) * 2011-05-26 2013-10-29 Microsoft Corporation Dual-phase red eye correction
WO2022222075A1 (en) * 2021-04-21 2022-10-27 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method of generating image data, electronic device, apparatus, and computer readable medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000076427A (ja) * 1998-06-15 2000-03-14 Fuji Photo Film Co Ltd 画像処理方法
JP2001186325A (ja) * 1999-12-24 2001-07-06 Fuji Photo Film Co Ltd 画像処理方法、装置、記録媒体、及び伝送媒体

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5130789A (en) * 1989-12-13 1992-07-14 Eastman Kodak Company Localized image recoloring using ellipsoid boundary function
JPH11308474A (ja) * 1998-04-21 1999-11-05 Fuji Photo Film Co Ltd 画像処理装置
US6631208B1 (en) * 1998-05-29 2003-10-07 Fuji Photo Film Co., Ltd. Image processing method
US6749310B2 (en) * 2001-09-07 2004-06-15 Contrast Lighting Services, Inc. Wide area lighting effects system
US7289664B2 (en) * 2002-01-17 2007-10-30 Fujifilm Corporation Method of detecting and correcting the red eye

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000076427A (ja) * 1998-06-15 2000-03-14 Fuji Photo Film Co Ltd 画像処理方法
JP2001186325A (ja) * 1999-12-24 2001-07-06 Fuji Photo Film Co Ltd 画像処理方法、装置、記録媒体、及び伝送媒体

Also Published As

Publication number Publication date
JP2005122287A (ja) 2005-05-12
US20050129287A1 (en) 2005-06-16

Similar Documents

Publication Publication Date Title
US7289664B2 (en) Method of detecting and correcting the red eye
US6697537B2 (en) Image processing method and apparatus
JP3590265B2 (ja) 画像処理方法
JP2006011685A (ja) 写真画像処理方法及びその装置
US6834127B1 (en) Method of adjusting output image areas
JP4172663B2 (ja) 画像処理方法
JP2001148780A (ja) 赤目修正対象領域の設定方法および赤目修正方法
JP2003209683A (ja) 画像処理装置および画像処理方法
JP4064031B2 (ja) 画像処理方法
JP4482307B2 (ja) 画像処理装置
JP2000011188A (ja) 画像処理方法および装置
JP3964796B2 (ja) 赤目検出および修正方法
JP4049986B2 (ja) 出力画像領域調整方法
JP3576809B2 (ja) 画像処理装置
JP3929210B2 (ja) 画像処理方法および装置
JP4377938B2 (ja) 画像処理方法および画像処理装置
JP2001103304A (ja) 特定被写体抽出方法および装置
JP2001076149A (ja) 主要被写体抽出方法および装置
JP3653661B2 (ja) 画像処理装置
JP2006146646A (ja) 写真画像処理方法及びその装置
JPH11308470A (ja) プリントシステム
JP4317803B2 (ja) 画像処理方法および画像処理装置
JP3907896B2 (ja) 画像処理方法
JP3734581B2 (ja) 画像処理装置
JP2001036740A (ja) 画像処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060414

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060414

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061212

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100316

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100319

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4482307

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140326

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term