JP3964796B2 - 赤目検出および修正方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、撮影時に赤目になってしまった画像の赤目を修正するために、画像中から赤目を検出し、検出した赤目を所定の瞳の色に修正する赤目検出および修正方法に関する。
【０００２】
【従来の技術】
カメラでの撮影の際、特に夜間にストロボで人物を正面から撮影すると、瞳孔が真っ赤または金色に写る、いわゆる赤目現象が発生する場合がある。
この赤目現象は、暗い場所で瞳孔が開いた状態の目に対してストロボの光を正面から入射することによって、ストロボの光が正反射され、この状態が画像に写り込むために起こる現象である。赤目現象には、瞳が赤く写る赤目と瞳が金色に写る金目とがある（以後、両方を含めて赤目という。）。
これに対して、赤目の原因となる瞳孔の開きを小さくするべく、撮影前に予備的にストロボを発光させ、その後ストロボ撮影を行うような機能を有するカメラが開発されている。しかし、これでは完全には赤目の発生を防止できず、また、予備発光によって人物の表情が不自然になったり、予備発光を行うための特殊な機構を必要とする等の重大な欠点を有する。
【０００３】
そこで、近年、デジタル画像処理によって再生画像において赤目の発生を防ぐ方法が種々提案されている。
赤目を修正する方法、またはその前提として画像中から顔等の主要被写体もしくは赤目の部分を抽出する方法として、例えば、特許文献１、特許文献２、特許文献３、あるいは特許文献４等に開示されたものがある。
【０００４】
上記特許文献１に開示されたものは、抽出要素として色相、彩度、明度から得られる色の値に基づいて山状の分布形状毎に領域分割し、指定された眼の概略部分の画像の特徴量を複数の位置において算出し、得られる特徴量の値に基づいて瞳部分の画像抽出を行い、赤目処理を施すものである。
また、特許文献２に開示されたものは、逆光シーンやストロボ発光シーンのように画像中の人物の顔に相当する領域の濃度が高濃度側または低濃度側に偏倚している場合にも、人物の顔に相当する領域を高精度に判定し、抽出された顔領域を、顔領域またはその一部のみを対象とした赤目補正等の画像処理に利用するものである。
【０００５】
また、特許文献３に開示されたものは、処理対象の画像から人物の顔に相当すると推定される顔候補領域を抽出し、顔候補領域を所定数のブロックに分割し、画像の天地方向に沿ったエッジ強度の積算値を各ブロック毎に演算し、各ブロック毎に求めた特徴量を用いることにより、人物の顔の内部構造に基づき、人物の顔に相当する領域を簡易な処理で精度良く抽出するものである。
また、特許文献４に開示されたものは、処理対象画像の画像データに基づき、人物の顔に相当すると推定される顔候補領域を複数抽出し、互いに重複している顔候補領域対について重複度を演算し、他の顔候補領域と重複している顔候補領域の重み点数を所定の条件を満たすように設定し、この重み点数を閾値と比較することにより、画像中の主要部に相当すると推定される領域の誤抽出による影響を低減して、顔候補領域から顔領域を抽出するようにしたものである。
【０００６】
しかしながら、前記従来の顔抽出方法あるいは赤目修正方法は、それぞれ所定の対象に対しては、所期の効果を上げてはいたが、例えば、画像の入力にはネガフィルム、ポジフィルムやデジタルカメラ等様々な入力画像の種類（入力種）があり、デジタルカメラからの入力とネガやポジ等のフィルムからの入力に対しては、画像データの処理空間（処理領域）あるいはビット深さによる画像の形式あるいはスキャン条件等が異なっており、統一された処理がなされておらず、処理効率の点で問題があった。
【０００７】
【特許文献１】
特開２０００−７６４２７号公報
【特許文献２】
特開２０００−１４８９８０号公報
【特許文献３】
特開２０００−１３７７８８号公報
【特許文献４】
特開２０００−１４９０１８号公報
【０００８】
【発明が解決しようとする課題】
本発明は、前記従来の問題に鑑みてなされたものであり、デジタルカメラやネガポジ等のフィルムといった入力画像の種類（入力種）等の違いによらず、赤目検出、赤目修正処理を統一して行い、処理効率を高めた赤目検出および修正方法を提供することを課題とする。
【０００９】
【課題を解決するための手段】
前記課題を解決するために、本発明の第１の態様は、共通化されたソフトウエアおよびハードウエアにおいて、撮影時に赤目が発生した画像から、前記画像の入力種の違いに依存しない統一した処理により赤目を検出し、該検出した赤目を、前記画像の入力種の違いに依存しない統一した処理により所定の瞳の色に修正する赤目検出および修正方法であって、前記画像の種類、前記画像を撮影したカメラ機種、前記画像の画像データの処理空間、前記画像に対して赤目検出および赤目修正の前に行う画像処理、前記画像の形式、およびスキャン条件のうちの少なくとも一つの条件に応じて、統一された赤目検出処理に用いられる、特徴量、閾値、重み、および点数のいずれか１以上のパラメータ、ならびに、前記検出された赤目の、統一された赤目修正処理に用いられる、前記検出された赤目に適用する明度および彩度のいずれか１以上に関するパラメータを変更することを特徴とする赤目検出および修正方法を提供するものである。
【００１０】
また、同様に前記課題を解決するために、本発明の第２の態様は、共通化されたソフトウエアおよびハードウエアにおいて、撮影時に赤目が発生した画像から、前記画像の入力種の違いに依存しない統一した処理により赤目を検出し、該検出した赤目を、前記画像の入力種の違いに依存しない統一した処理により所定の瞳の色に修正する赤目検出および修正方法であって、前記画像の種類、前記画像を撮影したカメラ機種、前記画像の画像データの処理空間、前記画像に対して赤目検出および赤目修正の前に行う画像処理、前記画像の形式、およびスキャン条件のうちの複数の条件の組み合わせに応じて、統一された赤目検出処理に用いられる、特徴量、閾値、重み、および点数のいずれか１以上のパラメータ、ならびに、前記検出された赤目の、統一された赤目修正処理に用いられる、前記検出された赤目に適用する明度および彩度のいずれか１以上に関するパラメータを変更することを特徴とする赤目検出および修正方法を提供するものである。
また、前記特徴量は、前記画像内の指定された処理対象領域の特徴量であり、前記閾値および前記重みは、前記特徴量から画像を領域分割するための閾値および重みであり、前記点数は、分割された領域から赤目領域を選択するための評価値であることが好ましく、前記赤目修正処理において変更されるパラメータは、前記赤目の彩度または明度の変更の度合いの目安を示すパラメータか、あるいは、前記赤目の中心から周縁に向かって放射状の階調パターンを形成したグラデーションパターンを示すパラメータであることが好ましい。
さらに、前記条件は、ＣＣＤの形式、および光源の種類を含むことが好ましい。
【００１１】
上記各態様において、前記赤目検出処理に用いられるパラメータおよび前記赤目修正処理に用いられるパラメータとして、基準のパラメータを用意しておき、前記変更されるパラメータは、前記条件または前記条件の組み合わせに基づいて前記基準のパラメータから変換して求められたものであるのが好ましい。
または、前記赤目検出処理に用いられるパラメータおよび前記赤目修正処理に用いられるパラメータとして、予め、全ての前記条件の組み合せに対するパラメータを用意しておき、前記変更されるパラメータとしては、前記条件または前記条件の組み合わせに対応するパラメータを選択するのが好ましい。
【００１２】
あるいは、使用頻度の高い前記条件および前記条件の組み合わせに対しては、前記赤目検出処理に用いられるパラメータおよび前記赤目修正処理に用いられるパラメータとして、全ての前記条件および前記条件の組み合せに対するパラメータを用意しておき、前記変更されるパラメータとして、前記条件または前記条件の組み合わせに対応するパラメータを選択し、使用頻度の低い前記条件および前記条件の組み合わせに対しては、前記赤目検出処理に用いられるパラメータおよび前記赤目修正処理に用いられるパラメータとして、基準のパラメータを用意しておき、前記変更されるパラメータとして、前記条件に基づいて前記基準のパラメータから変換して求めるのが好ましい。
【００１３】
【発明の実施の形態】
本発明に係る赤目検出および修正方法を添付の図面に示す好適実施形態に基づいて以下に詳細に説明する。
【００１４】
図１は、本発明の赤目検出および修正方法を含む画像処理を行うデジタルフォトプリンタの一実施形態の概略を示すブロック図である。
図１に示すデジタルフォトプリンタ（以下、フォトプリンタという）１０は、フィルムＦに撮影された画像を光電的に読み取るスキャナ（画像読取装置）１２と、このスキャナ１２で読み取られた画像データ（画像情報）に対し、本発明に係る赤目検出や赤目修正方法の実施や各種の画像処理並びにフォトプリンタ１０全体の操作および制御等を行う画像処理装置１４と、この画像処理装置１４から出力された画像データに応じて変調した光ビームで感光材料（印画紙）を画像露光し、現像処理して（仕上がり）画像をプリントとして出力する画像記録装置１６と、を有する。
また、画像処理装置１４には、様々な条件の入力、設定、処理の選択や指示、赤目を修正するための赤目検出や赤目修正方法などの指示等を入力するためのキーボード１８ａおよびマウス１８ｂを有する操作系１８と、スキャナ１２で読み取られた画像、各種の操作指示、様々な条件の設定／登録画面等を表示するモニタ２０が接続される。
【００１５】
スキャナ１２は、フィルムＦ等に撮影された画像を１コマずつ光電的に読み取る装置で、光源２２と、可変絞り２４と、フィルムＦに入射する読取光をフィルムＦの面方向で均一にする拡散ボックス２６と、フィルムＦのキャリア２８と、結像レンズユニット３０と、Ｒ（赤）、Ｇ（緑）およびＢ（青）の各色画像濃度の読取に対応する３ラインＣＣＤセンサを有するイメージセンサ３２と、アンプ（増幅器）３３と、Ａ／Ｄ（アナログ／デジタル）変換器３４とを有する。
【００１６】
フォトプリンタ１０においては、スキャナ１２の本体に装着自在な専用のキャリア２８が、新写真システム（Ａdvanced Ｐhoto Ｓystem)や１３５サイズのネガ（あるいはリバーサル）フィルム等のフィルムＦの種類やサイズ、ストリップスやスライド等のフィルムの形態等に応じて用意されており、キャリア２８の交換によって、各種のフィルムや処理に対応することができる。フィルムに撮影され、プリント作成に供される画像（コマ）は、このキャリア２８によって所定の読取位置に搬送される。
また、周知のように、新写真システムのフィルムには、磁気記録媒体が形成され、カートリッジＩＤやフィルム種等が記録されており、また、撮影時や現像時等に、撮影や現像日時、カメラや現像機の機種等の各種のデータが記録可能である。新写真システムのフィルム（カートリッジ）に対応するキャリア２８には、この磁気情報の読取手段が配置されており、フィルムを読取位置に搬送する際に磁気情報を読み取り、これらの各種の情報が画像処理装置１４に送られる。
【００１７】
このようなスキャナ１２において、フィルムＦに撮影された画像を読み取る際には、光源２２から射出され、可変絞り２４および拡散ボックス２６によって光量調整された均一な読取光が、キャリア２８によって所定の読取位置に位置されたフィルムＦに入射して、透過することにより、フィルムＦに撮影された画像を担持する投影光を得る。
図示例のキャリア２８は、２４枚取りの１３５サイズのフィルムや新写真システムのカートリッジ等の、長尺なフィルムＦ（ストリップス）に対応するものである。キャリア２８は、所定の読取位置にフィルムＦを位置しつつ、イメージセンサ３２の、例えば、ＲＧＢの３ラインＣＣＤセンサの延在方向である主走査方向と直交する副走査方向に、フィルムＦの長手方向を一致させて搬送する。フィルムＦは、このキャリア２８によって読取位置に位置されて副走査方向に搬送されつつ、読取光を入射される。これにより、結果的にフィルムＦが主走査方向に延在するスリット（図示省略）によって２次元的にスリット走査され、フィルムＦに撮影された各コマの画像が読み取られる。
【００１８】
フィルムＦの投影光は、結像レンズユニット３０によってイメージセンサ３２の受光面に結像される。
イメージセンサ３２は、例えばＲ画像の読み取りを行うラインＣＣＤセンサ、Ｇ画像の読み取りを行うラインＣＣＤセンサおよびＢ画像の読み取りを行うラインＣＣＤセンサを有する、いわゆる３ラインのカラーＣＣＤセンサで、各ラインＣＣＤセンサは、前述のように主走査方向に延在している。フィルムＦの投影光は、このイメージセンサ３２によって、Ｒ、ＧおよびＢの３原色に分解されて光電的に読み取られる。
イメージセンサ３２から出力されたＲ、ＧおよびＢの各出力信号は、アンプ３３で増幅されて、Ａ／Ｄ変換器３４に送られ、Ａ／Ｄ変換器３４において、それぞれ、例えば１２ｂｉｔのＲＧＢデジタル画像データに変換された後、画像処理装置１４に出力される。
【００１９】
なお、スキャナ１２においては、フィルムＦに撮影された画像を読み取るに際し、低解像度で読み取るプレスキャン（第１回目の画像読取）と、出力画像の画像データを得るためのファインスキャン（第２回目の画像読取）との２回の画像読取を行う。
ここで、プレスキャンは、スキャナ１２が対象とするフィルムＦの全ての画像を、イメージセンサ３２が飽和することなく読み取れるように、予め設定されたプレスキャン読取条件で行われる。
一方、ファインスキャンは、プレスキャンデータから、その画像（コマ）の最低濃度よりも若干低い濃度でイメージセンサ３２が飽和するように、各コマ毎に設定されたファインスキャンの読取条件で行われる。なお、プレスキャンおよびファインスキャン出力画像信号は、解像度および出力画像信号レベルが異なる以外は、基本的に同様な画像データである。
【００２０】
なお、フォトプリンタ１０に用いられるスキャナ１２は、このようなスリット走査読取を行うものに限定されず、１コマのフィルム画像の全面を一度に読み取る面状読取を行うものであってもよい。
この場合には、例えばエリアＣＣＤセンサなどのエリアセンサを用い、光源２２とフィルムＦとの間にＲ、ＧおよびＢの各色フィルタの挿入手段を設け、光源２２からの射出光の光路に挿入して、色フィルタを透過した読取光をフィルムＦの全面に照射して、透過光をエリアＣＣＤセンサに結像させてフィルム全画像を読み取ることを、Ｒ、ＧおよびＢの各色フィルタを切り換えて順次行うことで、フィルムＦに撮影された画像を３原色に分解して読み取る。
【００２１】
なお、画像処理装置１４に入力されるカラー画像信号は、このようにフィルムを透過した光を読み取ることによって得られるスキャン画像データに限定されるものではなく、この他にデジタルカメラ７０等での撮影によって得られた画像データ、原稿（例えば反射原稿等）をフラットベッド型スキャナ７１で読み取ることで得られた画像データ、他のコンピュータで生成され、フレキシブルディスクドライブ７２、ＭＯドライブまたはＣＤドライブ７３に記録された画像データ、およびモデム７４を介して受信する通信画像データ等（以下これらをファイル画像データと総称する。）を外部から入力するようにしてもよい。
【００２２】
図２に、この画像処理装置（以下、処理装置という。）１４のブロック図を示す。ここで、処理装置１４は、本発明の赤目検出および修正方法を実施する部分であって、スキャナ補正部３６、ＬＯＧ変換器３８、プレスキャン（フレーム）メモリ４０、ファインスキャン（フレーム）メモリ４２、プレスキャンデータ処理部４４、各種画像処理を行うファインスキャンデータ処理部４６および条件設定部４８を有する。
なお、図２は主に画像処理関連の部分を示すものであり、処理装置１４には、これ以外にも、処理装置１４を含むフォトプリンタ１０全体の制御や管理を行うＣＰＵ、フォトプリンタ１０の作動等に必要な情報を記録するメモリ等が配設され、また、操作系１８やモニタ２０は、このＣＰＵ等（ＣＰＵバス）を介して各部分に接続される。
【００２３】
スキャナ１２から処理装置１４に入力されたＲ、ＧおよびＢの画像信号、例えば１２ｂｉｔのデジタル画像データは、スキャナ補正部３６に入力される。
スキャナ補正部３６は、スキャナ１２のイメージセンサ３２の３ラインＣＣＤセンサに起因する、ＲＧＢデジタル画像データの画素毎の感度ばらつきや暗電流を補正するためにＤＣオフセット補正、暗時補正、欠陥画素補正、シェーディング補正等の読取画像データのデータ補正を行うものである。スキャナ補正部３６で画素毎の感度ばらつきや暗電流の補正処理等が施されたデジタル画像信号は、ＬＯＧ変換器３８に出力される。
ＬＯＧ変換器３８は、対数変換処理してデジタル画像データを階調変換してデジタル画像濃度データに変換するものであって、例えば、ルックアップテーブル（ＬＵＴ）を用いて、スキャナ補正部３６で補正された１２ｂｉｔのデジタル画像データを、例えば１０ｂｉｔ（０〜１０２３）のデジタル画像濃度データに変換する。
【００２４】
ＬＯＧ変換器３８で変換されたデジタル画像濃度データは、プレスキャン画像データであればプレスキャンメモリ４０に、ファインスキャン画像データであればファインスキャンメモリ４２に、それぞれ記憶（格納）される。
プレスキャンメモリ４０は、スキャナ１２によるフィルムＦのプレスキャンによって得られ、各種のデータ補正および対数変換処理が施されたフィルムＦの１コマ全部の低解像度画像濃度データをＲＧＢの各色毎に格納するためのフレームメモリである。プレスキャンメモリ４０は、少なくともフィルムＦの１コマのＲＧＢ３色の画像濃度データを格納できる容量が必要であるが、複数コマ分の画像濃度データを格納できる容量を持つものであってもよいし、１コマ分の容量のメモリを多数備えるものであってもよい。
プレスキャンメモリ４０に記憶されたプレスキャン画像データは、プレスキャンデータ処理部４４に読み出される。
【００２５】
一方、ファインスキャンメモリ４２は、スキャナ１２によるフィルムＦのファインスキャンによって得られ、各種のデータ補正および対数変換処理が施されたフィルムＦの１コマ全部の高解像度画像濃度データをＲＧＢの各色毎に格納するためのフレームメモリである。ファインスキャンメモリ４２は、少なくともフィルムＦの２コマの画像のＲＧＢ３色の画像濃度データを格納できる容量を持ち、１コマ分の画像濃度データを書き込んでいる間に、別の１コマ分の画像濃度データを読み出し、ファインスキャンデータ処理部４６において様々な画像処理を同時に行うようにするのが好ましいが、１コマ分の画像濃度データを格納できる容量を持ち、１コマずつ処理するためのものであってもよい。また、１コマ分の容量のメモリを多数備え、例えばトグルメモリとして利用できるものであってもよい。
ファインスキャンメモリ４２に格納されたファインスキャン画像データは、ファインスキャンデータ処理部４６に読み出される。
【００２６】
プレスキャンメモリ４０に記憶されたプレスキャン画像データに、モニタ２０に表示するのに必要な種々の画像処理を施すプレスキャンデータ処理部４４は、本発明の赤目検出および赤目修正方法を実施する赤目処理部５１を持つ画像処理部５０と、画像データ変換部５２とを有する。
ここで、画像処理部５０は、後述する条件設定部４８が設定した画像処理条件に従って、スキャナ１２によって読み取られ、プレスキャンメモリ４０に格納された画像データに、所望の画質で、後述のモニタ２０のＣＲＴ表示画面にカラー画像が再生可能なように、ルックアップテーブル（以下、ＬＵＴで代表させる）やマトリックス（以下、ＭＴＸで代表させる）演算により、色バランス調整、階調補正、明るさ補正、彩度調整（ハイパートーン処理）、ハイパーシャープネス処理、色変換、濃度変換等の所定の画像処理を施すとともに、赤目処理部５１によって後述する赤目修正処理を施して、瞳部分が自然な色に修正された所望の表示画質を持つ画像データを生成するためのものである。
【００２７】
画像データ変換部５２は、画像処理部５０によって処理された画像データを、モニタ２０の解像度に合わせるために必要に応じて間引いて、同様に、３Ｄ（３次元）ＬＵＴ等を用いて、モニタ２０による表示に対応する画像データに変換して、モニタ２０に表示させるためのものである。
なお、画像処理部５０における処理条件は、後述する条件設定部４８で設定される。
【００２８】
一方、ファインスキャンメモリ４２に格納されたファインスキャン画像データに対し、画像記録装置１６からカラープリントとして出力するのに必要な種々の画像処理を実行するファインスキャンデータ処理部４６は、本発明の赤目検出法や赤目修正方法を実施する赤目処理部５５を持つ画像処理部５４と、画像データ変換部５６とを有する。
ここで、画像処理部５４は、後述する条件設定部４８が設定した画像処理条件に従って、スキャナ１２によって読み取られファインスキャンメモリ４２に格納された画像データに所定の画像処理を施し、カラープリントとして所望の濃度、階調および色調で、カラーペーパー上に画像を再生可能とするものである。このため、画像処理部５４は、画像データに対して、ＬＵＴ、ＭＴＸ演算器、ローパスフィルタ、加減算器などにより、色バランス調整、階調調整、色調整、濃度調整、彩度調整、電子変倍やシャープネス強調（エッジ強調；鮮鋭化）などの種々の画像処理を施すとともに、詳細は後述するが、赤目処理部５５によって赤目となった瞳部分を自然な色に修正し、出力用画像データを生成する。
【００２９】
画像データ変換部５６は、画像処理部５４によって処理された画像データを、例えば３ＤＬＵＴ等の標準階調ルックアップテーブルを用いて、画像記録装置１６による画像記録に対応する画像データに変換して、画像記録装置１６に供給する。
画像記録装置１６は、ファインスキャンデータ処理部４６から出力される画像データに基づいて、カラー画像が再現された仕上がりプリントとして出力するためのものである。
【００３０】
なお、画像処理部５４における処理条件は、条件設定部４８で設定される。
条件設定部４８は、ファインスキャンデータ処理部４６における各種の処理条件を設定する。この条件設定部４８は、セットアップ部５８、キー補正部６０およびパラメータ統合部６２を有する。
セットアップ部５８は、プレスキャン画像データ等を用いて、ファインスキャンの読取条件を設定してスキャナ１２に供給し、また、プレスキャンデータ処理部４４およびファインスキャンデータ処理部４６の画像処理条件を作成（演算）し、パラメータ統合部６２に供給する。
【００３１】
具体的には、セットアップ部５８は、プレスキャンメモリ４０からプレスキャン画像データを読み出し、プレスキャン画像データから、濃度ヒストグラムの作成や、平均濃度、ＬＡＴＤ（大面積透過濃度）、ハイライト（最低濃度）、シャドー（最高濃度）等の画像特徴量の算出を行う。算出した画像特徴量から、その画像の最低濃度よりも若干低濃度でイメージセンサ３２が飽和するように、ファインスキャンの読取条件、例えば、光源２２の光量、可変絞り２４の絞り値、イメージセンサ３２の蓄積時間等を設定する。
なお、ファインスキャンの読取条件は、プレスキャンの読取条件に対して、イメージセンサの出力レベルに対応する全ての要素を変更してもよく、前記絞り値等のいずれか１つの要素のみを変更するものでもよく、絞り値と蓄積時間等の複数の要素のみを変更するものでもよい。
さらに、セットアップ部５８は、濃度ヒストグラムや画像特徴量と、必要に応じて行われるオペレータによる指示等に応じて、前述の色バランス調整や階調調整等の画像処理条件を設定する。画像処理条件は、色および濃度の少なくとも一方を含むのが好ましい。
【００３２】
キー補正部６０は、キーボード１８ａや操作系１８に設けられたキー（図示せず）によって設定された濃度（明るさ）、色、コントラスト、シャープネス、彩度等の調整量やマウス１８ｂで入力された各種の指示等に応じて、画像処理条件の調整量（例えば、ＬＵＴの補正量等）を算出し、パラメータを設定し、パラメータ統合部６２に供給するものである。
パラメータ統合部６２は、セットアップ部５８が設定した画像処理条件を受け取り、供給された画像処理条件を、プレスキャンデータ処理部４４の画像処理部５０およびファインスキャンデータ処理部４６の画像処理部５４に設定し、さらに、キー補正部６０で算出された調整量に応じて、各部分に設定した画像処理条件を補正（調整）し、あるいは画像処理条件を再設定する。
【００３３】
なお、プレスキャンデータ処理部４４の画像処理部５０およびファインスキャンデータ処理部４６の画像処理部５４には、それぞれ上述の種々の処理の後に、赤目となった瞳部分を自然な色に修正する赤目処理部５１および５５が設けられている。
以下に、この赤目修正部５１および５５による赤目修正処理、すなわち本発明の赤目修正対象領域の検出方法および赤目修正方法について詳細に説明する。
【００３４】
図３に、本発明に係る赤目検出および修正方法の概略を示す。図３に示すように、本発明は、赤目が発生した入力画像の種類（入力種）、入力画像を撮影したカメラ機種、入力画像の画像データの処理空間（処理領域）、入力画像に対して赤目検出および赤目修正の前に行う画像処理（前段の画像処理）、入力画像の形式およびスキャン条件等の条件に応じて赤目検出および赤目修正のパラメータを変更することで、これらの様々な入力種、カメラ機種、処理空間、前段の画像処理、画像の形式およびスキャン条件等の条件に対応した赤目検出、赤目修正処理を統一して行うことを可能とするものである。
【００３５】
なお、上記入力種等の他に、ＣＣＤの形式や光源の種類等によっても、赤目検出および赤目修正のパラメータを変更するようにしてもよい。ここで、ＣＣＤの形式としては、ハニカムＣＣＤ、あるいはハニカムでない従来型のＣＣＤ等があり、これらによってパラメータを変更するのは、これらの形式により、境界（探索範囲）や画素のプロファイル等が異なる可能性があるからである。また、光源の種類としては、例えばＬＥＤやハロゲン等があり、これらによってパラメータを変更するのは、これらの光源の種類によって色味が異なる可能性があるからである。
カメラ機種によって赤目検出および赤目修正のパラメータを変更するのは、カメラによっては、赤目が発生し易いものがあったり、赤目の程度が変わったりするからである。
【００３６】
画像処理装置１４に入力される入力画像データの種類、形式、処理方法等には様々な種類がある。例えば、入力画像の種類である入力種には、通常の銀塩カメラで撮影されたネガフィルム、あるいはポジフィルムに記録された画像、デジタルカメラ等のデジタル撮像装置によって撮影されたデジタル画像データがある。また、カメラ機種には、一眼レフカメラ、二眼レフカメラ、コンパクトカメラ、レンズ付きフィルム、さらには、各カメラの種類等がある。また、画像データを処理する色空間、すなわち、画像データの処理空間（処理領域）としては、色再現標準規格であるｓＲＧＢ、あるいは機器固有のプリントデータ（ＰＤ）等がある。
また、前述したように赤目検出および赤目修正処理の前に行う前段の画像処理としては、例えば軟調、硬調等の階調処理その他がある。その他、画像の形式としては、フォーマットやｂｉｔ数等、スキャン条件としては、画素ずらし回数や統合等がある。
後述するように、本発明は、これらの条件あるいはこれらの条件の組み合わせに応じて赤目検出、および赤目修正のパラメータを変更するものである。
【００３７】
入力された画像データは、画像処理部５０、５４で前段の画像処理が施された後、赤目処理部５１、５５において、赤目検出処理および赤目修正処理が行われる。
赤目検出の方法には、指定された領域内から赤目を検出する方法、顔から赤目を検出する方法、あるいは画像全体から赤目を検出方法する等がある。赤目検出は、自動で行ってもよいし、オペレータが手動でキー補正部６０から指定して行ってもよい。また、赤目検出、赤目修正のためのパラメータを、入力種、カメラ機種、処理空間、前段の画像処理、画像の形式およびスキャン条件等の条件に応じてオペレータがキー補正部６０から変更、設定するようにしてもよい。このとき、これら入力種、カメラ機種、処理空間、前段の画像処理、画像の形式およびスキャン条件等の条件のうちいくつかを組み合わせて、その組み合わせに応じてパラメータを変更するようにしてもよい。
【００３８】
赤目を検出する際の赤目領域を指定する方法にも、次のように色々な方法がある。例えば、両目と両目の周辺領域を含む領域を、マウス１８ｂやキーボード１８ａ等により矩形の枠で囲んで、枠内の領域を指定する方法がある。この場合、枠は矩形状に限らず楕円形状等他の形状としてもよい。また、両目の瞳の中心部をマウス１８ｂやキーボード１８ａにより指定して、両目と両目の周辺領域を含む領域を指定する方法がある。また、両目でなく、一つの目の周辺領域を含む領域を矩形状あるいは楕円形状の枠で囲んで指定してもよい。また、目の中心部と目全体を含むように形成する枠の位置とを指定して、中心部に対する枠の位置から統計的に得られる比率に基づいて一つの目を含む枠を自動的に形成するように設定して、この枠内の領域を赤目修正処理の処理対象領域として指定してもよいし、あるいは、目の中心部または目の周辺部との一方を一カ所指定することにより、目全体を含むデフォルトサイズの枠を自動的に形成するように設定してこの枠内の領域を指定するようにしてもよい。
さらに、目を含む目の周辺の領域をマウス１８ｂやキーボード１８ａ等により手書きの要領で囲みこんで形成した枠内の領域を指定するようにしてもよい。
【００３９】
次に、上記のいずれかの方法により指定された赤目修正処理の処理対象領域の特徴量を算出する。算出する特徴量は特に限定はされないが、ここでは抽出要素として色相、彩度、明度から得られる色の値を選択し、瞳部分の画像を一括して切り出せるような特徴量を選択する。この特徴量をグラフ化すると、画像を構成する白目部分、瞳部分、肌部分等の要素の領域ごとに山状波形を有するものとなる。特徴量の選択にもよるが、例えば、キャッチライトを含む赤目領域が山を形成し、白目部分や肌部分との間では虹彩部分が谷間となり、領域分割の境界となる。
【００４０】
このようにして分割した領域について、それぞれ形状、他の領域との配置関係（位置）、面積比率、濃度、平均色味の各々についてチェックし、瞳部分の特徴を最も有するものを赤目領域として選択することにより、赤目検出を行う。
このとき、一つの目の画像の中で２つ以上の領域が赤目領域として選択された場合は、形状、他の領域との配置関係、面積比率、濃度、平均色味の各々について評価し、最も評価の高い領域を赤目領域として選択する。
評価の方法としては様々な方法が考えられる。例えば、各分割領域ごとに、円形度が大きいほど点数が高くなる第１の点数を求め、最も点数の高いものを瞳部分の特徴を最も有するもの、すなわち、赤目領域とする方法がある。また、各分割領域ごとに、重心の位置と指定領域の中心位置との間の距離を算出して、距離が短いほど点数が大となる第２の点数を求め、最も点数の高いものを瞳部分の特徴を最も有するもの、すなわち、赤目領域とする方法がある。
【００４１】
さらに、各分割領域毎に、分割領域の面積と指定領域の面積との比率を求め、得られた比率が予め求めた瞳の面積と指定領域の面積との比率の範囲等の所定範囲から外れる程点数が小さくなる第３の点数を求め、最も点数の高いものを瞳部分の特徴を最も有するもの、すなわち、赤目領域とする方法がある。
また、色相、彩度、明度のうちのいずれか１つ以上における平均値、最大値、最小値、コントラスト、ヒストグラム形状のうちのいずれか１つ以上を用い、予め測定されている統計的な色調不良領域情報との比較より、色調不良領域の特徴に近い特徴を有するものほど点数が高くなる第４の点数を求め、最も点数の高いものを瞳部分の特徴を最も有するもの、すなわち赤目領域とする方法がある。
さらには、予め指定された瞳の中心位置と両目の間隔とに応じて求められ、瞳の中心から外れる程点数が小さくなる第５の点数を求め、最も点数の高いものを瞳部分の特徴を最も有するもの、すなわち赤目領域とする方法がある。
なお、点数の高い順に重い重みをつけた加重平均を取ることによって、より一層点数の高いものは高く、低いものは低くなるので、点数差が広がり瞳部分の特徴を最も有するものを明確に区別できる。
【００４２】
ここで、赤目を検出する際に用いられる特徴量、およびこの特徴量から画像を領域分割する際の閾値や重み、分割領域から赤目領域を選択する際の点数等いくつかのパラメータがあるが、これらの閾値、重みあるいは特徴量等のパラメータは、入力種、色空間、処理領域、前段の画像処理、画像の形式あるいはスキャン条件等の条件によって異なるため、本発明では、これらを入力種、カメラ機種、処理空間、前段の画像処理、画像の形式、スキャン条件等の条件に応じて変更するようにすることで、より正確に赤目領域を検出することができるようにする。例えば、閾値や特徴量等は、８ｂｉｔ画像と１０ｂｉｔ画像等のｂｉｔ深さによる画像の形式の違いによって異なっているため、この形式に応じてパラメータを変更する。なお、この場合、重みは同じである。
また、このとき、入力種、カメラ機種、処理空間、前段の画像処理、画像の形式、スキャン条件等の条件のうちいずれかを単独で用いるのではなく、これらのうちいくつかの条件を組み合わせて、その組み合わせに応じて前記パラメータを変更するようにしてもよい。
なお、この赤目検出、赤目修正のためのパラメータの変更（設定）は、条件設定部４８において行われる。
【００４３】
条件設定部４８において行われるパラメータの変更（設定）は、予め、パラメータとして、基準のパラメータ、例えば、基準となる標準用パラメータを用意しておき、入力種、カメラ機種、処理空間、前段の画像処理、画像の形式、スキャン条件等の条件またはこれらの条件の組み合わせに基づいて、基準のパラメータを変換して求めることによって行っても良い。この場合、基準パラメータを変換するための変換関係（変換式や変換量）は、上述した各条件あるいはこれらの条件の組み合わせ毎に設定されている。
【００４４】
例えば、図４（ａ）に示すように、処理空間（画像データを処理するための色空間）がパラメータ変更のための条件である場合、基準のパラメータをｓＲＧＢ色空間で設定しておき、処理したい色空間が機器固有のプリントデータ（ＰＤ）の色空間である場合、ｓＲＧＢ色空間で設定された基準のパラメータをｓＲＧＢ色空間からＰＤ色空間に変換して、ＰＤ色空間におけるパラメータに変更するようにしても良い。
ここで、基準のパラメータのｓＲＧＢ色空間からＰＤ色空間への変換、すなわち処理空間の変換処理は、種々の公知の色空間変換処理を適用でき、例えば、ルックアップテーブル（ＬＵＴ）処理またはマトリックス（ＭＴＸ）処理などによる公知の色空間変換処理によって行うことができる。従って、この場合には、各色空間毎に変換ＬＵＴまたは変換ＭＴＸが用意されている。
【００４５】
また、図４（ｂ）に示すように、前段の画像処理がパラメータ変更のための条件であり、前段の画像処理が階調処理である場合、基準のパラメータを標準階調で設定しておき、処理したい階調処理が硬調である場合、標準階調で設定されたた基準のパラメータを標準階調から硬調に変換して、硬調におけるパラメータに変更するようにしても良い。
ここでも、基準のパラメータの標準階調から硬調への変換は、すなわち階調の変換処理（標準階調、硬調、軟調間の変換処理）は、種々の公知の階調の変換処理を適用でき、例えばルックアップテーブル（ＬＵＴ）処理またはマトリックス（ＭＴＸ）処理などによる公知の階調の変換処理によって行うことができる。この場合にも、各階調毎に変換ＬＵＴまたは変換ＭＴＸが用意されている。
【００４６】
また、条件設定部４８において行われるパラメータの変更（設定）は、上述した例に限定されず、予め、パラメータとして、入力種、カメラ機種、処理空間、前段の画像処理、画像の形式、スキャン条件等の全ての条件の組み合せに対するパラメータを用意しておき、これらの条件またはこれらの条件の組み合わせに対応するパラメータを選択することによって行っても良い。
【００４７】
例えば、図４（ｃ）に示すように、処理空間（画像データを処理するための色空間）がパラメータ変更のための条件である場合、予め、ｓＲＧＢ色空間で設定されたパラメータおよび機器固有のプリントデータ（ＰＤ）の色空間で設定されたパラメータ等を全て用意しておき、用意されたパラメータの中から、処理したい色空間がｓＲＧＢ色空間であるかＰＤ色空間であるかによって、該当するパラメータを選択することで、パラメータに変更するようにしても良い。
また、図４（ｄ）に示すように、前段の画像処理がパラメータ変更のための条件であり、前段の画像処理が階調処理である場合、予め、標準階調で設定されたパラメータ、硬調で設定されたパラメータおよび軟調で設定されたパラメータ等を全て用意しておき、用意されたパラメータの中から、処理したい階調処理が標準階調か硬調か軟調かによって、該当するいずれかのパラメータを選択することで、パラメータに変更するようにしても良い。
【００４８】
また、条件設定部４８において行われるパラメータの変更（設定）として、上述した基準のパラメータを用意する方法および全てのパラメータを用意する方法を併用しても良い。例えば、入力種、カメラ機種、処理空間、前段の画像処理、画像の形式、スキャン条件等の条件またはこれらの条件の組み合わせのうち、使用頻度の高い条件および条件の組み合わせに対しては、全てのパラメータを用意する方法を適用し、使用頻度の低い条件および条件の組み合わせに対しては、基準となる標準用パラメータを用意する方法を適用しても良い。
【００４９】
次に、検出された赤目を修正する処理を行う。例えば、元来が黒目の場合であれば、目の領域の彩度を低下させ、無彩色に近づけることにより黒目に修正し、また例えば青目の場合には、予め所望の青色の色相を指定、格納しておき、色相変換を行うことによって青目に修正することができる。
【００５０】
ここでは、上のようにして選択された赤目領域の画素に対し、赤目領域の画素の中で最小明度の画素に基づき、すべての画素の明度を最小明度の画素の明度と同じまたは近づくように補正する。
また、彩度についても上記明度の修正方法と同様に最小彩度の画素の彩度に合わせて補正する。このとき、自然な雰囲気に仕上がるのであれば、明度だけあるいは彩度だけを補正するようにしてもよい。
または、他の修正手法として、修正した赤目領域の中心から周縁に向かって放射状に階調パターンを形成し、中心から周縁に向かって濃度が薄くなるようにグラデーションパターンを指定された色で付けるようにしてもよい。ここで、指定された色とは、例えば、赤目になっていない他の領域の瞳部分から検出された最大濃度値と最小濃度値や、前記最大濃度値と最小濃度値から調整した最大濃度値と最小濃度値や、ユーザーによって予め定められた最大濃度値と最小濃度値等を選択できる。
【００５１】
また、赤目修正処理においても、本来黒目の場合に、赤目となった目の領域の彩度をどの程度低下させたらよいか、あるいは明度を最小明度の画素の明度にどの程度近づけたらよいか等の目安を表すパラメータ、あるいは前記グラデーションパターンを示すパラメータ等を、例えば入力種がネガ、ポジフィルムか、あるいはデジタルカメラか等に応じて変更するようにする。
すなわち、赤目検出と同様に、赤目修正処理に用いられる特徴量の補正量等のパラメータを入力種、カメラ機種、処理空間、前段の画像処理、画像の形式、あるいはスキャン条件等に応じて変更するようにする。なお、このとき、赤目検出時と同様に、これら入力種、カメラ機種、処理空間、前段の画像処理、画像の形式、あるいはスキャン条件等のうちいくつかを組み合わせて、その組み合わせに応じて前記パラメータを変更するようにしてもよい。
これにより、より適切に赤目を修正することができると共に、単にパラメータを変更するのみで、入力種等によらず共通の処理を行うことが可能であるので、ソフトウエア（モジュール）およびハードウエア（画像処理部）を共通化することができる。
【００５２】
以上、本発明の赤目検出および修正方法について種々の実施形態を挙げて詳細に説明したが、本発明は、以上の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのはもちろんである。
【００５３】
【発明の効果】
以上説明した通り、本発明によれば、様々な入力画像の種類（入力種）、画像データの処理空間（処理領域）、赤目検出および赤目修正の前に行う画像処理（前段の画像処理）、画像の形式あるいはスキャン条件に応じて、パラメータを変更するのみで統一した赤目検出、赤目修正処理が可能であり、赤目検出、赤目修正処理のソフトウエア（モジュール）もしくはハードウエア（画像処理部）等を共通化することができる。
【図面の簡単な説明】
【図１】 本発明の赤目検出および修正方法を含む画像処理を行うデジタルフォトプリンタの一実施形態の概略を示すブロック図である。
【図２】 図１の画像処理装置の概略構成を示すブロック図である。
【図３】 本発明の赤目検出および修正方法の概略を示す模式図である。
【図４】 （ａ）、（ｂ）、（ｃ）および（ｄ）は、それぞれ本発明の赤目検出および修正方法のパラメータ変更の一例を示す説明図である。
【符号の説明】
１０ デジタルフォトプリンタ
１２ スキャナ
１４ （画像）処理装置
１６ 画像記録装置
１８ 操作系
１８ａ キーボード
１８ｂ マウス
２０ モニタ
２２ 光源
２４ 可変絞り
２６ 拡散ボックス
２８ キャリア
３０ 結像レンズユニット
３２ イメージセンサ
３４ Ａ／Ｄ変換器
３６ スキャナ補正部
３８ ＬＯＧ変換器
４０ プレスキャン（フレーム）メモリ
４２ ファインスキャン（フレーム）メモリ
４４ プレスキャンデータ処理部
４６ ファインスキャンデータ処理部
４８ 条件設定部
５０、５４ 画像データ変換部
５１、５５ 赤目処理部
５８ セットアップ部
６０ キー補正部
６２ パラメータ統合部
７０ デジタルカメラ
７１ フラットベッド型スキャナ
７２ フレキシブルディスクドライブ
７３ ＭＯ、ＣＤドライブ
７４ モデム

Claims (8)

1. 共通化されたソフトウエアおよびハードウエアにおいて、
   撮影時に赤目が発生した画像から、前記画像の入力種の違いに依存しない統一した処理により赤目を検出し、該検出した赤目を、前記画像の入力種の違いに依存しない統一した処理により所定の瞳の色に修正する赤目検出および修正方法であって、
   前記画像の種類、前記画像を撮影したカメラ機種、前記画像の画像データの処理空間、前記画像に対して赤目検出および赤目修正の前に行う画像処理、前記画像の形式、およびスキャン条件のうちの少なくとも一つの条件に応じて、統一された赤目検出処理に用いられる、特徴量、閾値、重み、および点数のいずれか１以上のパラメータ、ならびに、前記検出された赤目の、統一された赤目修正処理に用いられる、前記検出された赤目に適用する明度および彩度のいずれか１以上に関するパラメータを変更することを特徴とする赤目検出および修正方法。
2. 共通化されたソフトウエアおよびハードウエアにおいて、
   撮影時に赤目が発生した画像から、前記画像の入力種の違いに依存しない統一した処理により赤目を検出し、該検出した赤目を、前記画像の入力種の違いに依存しない統一した処理により所定の瞳の色に修正する赤目検出および修正方法であって、
   前記画像の種類、前記画像を撮影したカメラ機種、前記画像の画像データの処理空間、前記画像に対して赤目検出および赤目修正の前に行う画像処理、前記画像の形式、およびスキャン条件のうちの複数の条件の組み合わせに応じて、統一された赤目検出処理に用いられる、特徴量、閾値、重み、および点数のいずれか１以上のパラメータ、ならびに、前記検出された赤目の、統一された赤目修正処理に用いられる、前記検出された赤目に適用する明度および彩度のいずれか１以上に関するパラメータを変更することを特徴とする赤目検出および修正方法。
3. 前記特徴量は、前記画像内の指定された処理対象領域の特徴量であり、前記閾値および前記重みは、前記特徴量から画像を領域分割するための閾値および重みであり、前記点数は、分割された領域から赤目領域を選択するための評価値である請求項１または２に記載の赤目検出および赤目修正方法。
4. 前記赤目修正処理において変更されるパラメータは、前記赤目の彩度または明度の変更の度合いの目安を示すパラメータか、あるいは、前記赤目の中心から周縁に向かって放射状の階調パターンを形成したグラデーションパターンを示すパラメータである請求項１〜３のいずれかに記載の赤目検出および赤目修正方法。
5. 前記条件は、さらに、ＣＣＤの形式、および光源の種類を含む請求項１〜４のいずれかに記載の赤目検出および赤目修正方法。
6. 前記赤目検出処理に用いられるパラメータおよび前記赤目修正処理に用いられるパラメータとして、基準のパラメータを用意しておき、
   前記変更されるパラメータは、前記条件または前記条件の組み合わせに基づいて前記基準のパラメータから変換して求められたものであることを特徴とする請求項１〜５のいずれかに記載の赤目検出および修正方法。
7. 前記赤目検出処理に用いられるパラメータおよび前記赤目修正処理に用いられるパラメータとして、予め、全ての前記条件の組み合せに対するパラメータを用意しておき、
   前記変更されるパラメータとしては、前記条件または前記条件の組み合わせに対応するパラメータを選択することを特徴とする請求項１〜５のいずれかに記載の赤目検出および修正方法。
8. 使用頻度の高い前記条件および前記条件の組み合わせに対しては、前記赤目検出処理に用いられるパラメータおよび前記赤目修正処理に用いられるパラメータとして、全ての前記条件および前記条件の組み合せに対するパラメータを用意しておき、
   前記変更されるパラメータとして、前記条件または前記条件の組み合わせに対応するパラメータを選択し、
   使用頻度の低い前記条件および前記条件の組み合わせに対しては、前記赤目検出処理に用いられるパラメータおよび前記赤目修正処理に用いられるパラメータとして、基準のパラメータを用意しておき、
   前記変更されるパラメータとして、前記条件に基づいて前記基準のパラメータから変換して求めることを特徴とする請求項１〜５のいずれかに記載の赤目検出および修正方法。

Images