JP4708250B2 - 赤目補正処理システム、赤目補正処理方法、および赤目補正処理プログラム - Google Patents

Description

本発明は、赤目補正処理システム、赤目補正処理方法、および赤目補正処理プログラムに関する。特に、本発明は、インデックスプリントを作成する赤目補正処理システム、赤目補正処理方法、および赤目補正処理プログラムに関する。

撮像時にストロボを用いる場合には、人物の瞳孔が赤色に写る赤目現象または金色に写る金目現象が起こる場合がある。赤目現象または金目現象が発生すると、撮像された被写体の写り栄えがよいとはいえないので、これら赤目または金目を、自然な瞳孔の色に修正する様々な画像処理方法が提案されている。例えば、ユーザに色調不良となった目の画像を含む処理対象領域を指定させ、指定された処理対象領域の色相、彩度、および明度から得られる色の値に基づいて、目の瞳部分に赤目修正処理を施す方法が提案されている（例えば、特許文献１参照。）。また、撮像した画像にストロボ情報、Ｅｖ値、シャッター速度、および絞り値等の撮影情報を付加しておき、赤目が発生している可能性があると判断された画像についてだけ赤目修正処理を施す方法が提案されている（例えば、特許文献４参照。）。そして、複数の画像に施した画像処理の内容を識別することを目的として、画像に画像処理の内容を示す文字等を付加したインデックスプリントを作成するシステムについて提案されている（例えば、特許文献６参照。）。

なお、画像から人物の顔が含まれる候補領域を抽出した後に、抽出した候補領域を複数の小領域に分割して、複数の小領域の特徴量を予め設定した顔領域パターンと照合することにより顔領域を抽出する方法（例えば、特許文献２参照。）、画像から人物の顔領域を抽出して、抽出した顔領域の色の濃度が所定の閾値に対応する場合に、人物の胴体の候補となる領域を抽出して、顔、または胴体の領域の濃度および彩度を用いて顔領域の確度（抽出した領域が顔画像であることの確からしさ）を評価することにより、顔領域を抽出する方法（例えば、特許文献３参照。）、および画像から複数の顔候補領域を抽出して、抽出した複数の顔候補領域の重複度から確度を評価して顔領域を抽出する方法が提案されている（例えば、特許文献５参照。）。
特開２０００−７６４２７号公報 特開２０００−１３７７８８号公報 特開２０００−１４８９８０号公報 特開２００４−１４５２８７号公報 特開２０００−１４９０１８号公報 特開平１１−３４１２５６号公報

しかしながら、特許文献５に記載の発明において出力されるインデックスプリントにおいては、例えば、画像に施された画像処理が赤目修正処理である場合において、原画像に含まれる赤目の種類（赤目、金目、および黒目等の種類）にかかわらず、赤目修正処理を画像に施したか否かを示す情報だけを出力する。したがって、ユーザは、インデックスプリントを参照しても、原画像に含まれていた赤目修正対象の目がいかなる目であったのか判断することができない場合がある。

そこで本発明は、上記課題を解決することができる赤目補正処理システム、赤目補正処理方法、および赤目補正処理プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

上記課題を解決するために、本発明の第１の形態においては、赤目補正処理システムであって、複数の画像を入力する画像入力部と、画像入力部が入力した複数の画像のそれぞれに含まれる赤目を検出する赤目検出部と、赤目検出部が検出した赤目に赤目修正処理を施す赤目修正部と、赤目修正部による赤目修正処理の修正度合が予め定められた所定の修正度合より大きいか否かを判断する修正度合判断部と、赤目検出部によって赤目が検出されなかった画像については赤目修正処理が施されていない画像を出力し、赤目検出部によって赤目が検出された画像については赤目修正処理が施された画像を出力する画像出力部と、画像出力部が出力する画像のうちで、所定の修正度合より大きい赤目修正処理が施された画像には赤目補正処理が施されたことを示す情報を画像に対応づけて出力し、所定の修正度合より小さい赤目修正処理が施された画像には赤目修正処理が施されたことを示す情報を画像に対応づけて出力しない修正結果出力部とを備える。

また、赤目検出部が検出した赤目修正前の赤目の色を示す情報である修正前色情報を取得する赤目色情報取得部をさらに備え、修正度合判断部は、赤目色情報取得部が取得した修正前色情報に基づいて、赤目修正部による赤目修正処理の修正度合が予め定められた所定の修正度合より大きいか否かを判断してもよい。また、赤目色情報取得部は、前記赤目修正部が赤目修正処理を施した後の赤目の色を示す情報である修正後色情報をさらに取得し、修正度合判断部は、赤目色情報取得部が取得した修正前色情報と修正後色情報とを比較して、修正後色情報が示す色の修正前色情報が示す色からの変化量が予め定められた範囲内に含まれる場合に、前記赤目修正部の赤目修正処理による修正度合が所定の修正度合より小さいと判断してもよい。

そして、赤目色情報取得部は、赤目検出部が検出した赤目修正前の赤目の領域内の色バランスを示す情報を修正前色情報として取得し、修正度合判断部は、修正前色情報が示す色バランスが予め定められたバランスの場合に、赤目修正部の赤目修正処理による修正度合が所定の修正度合より小さいと判断してもよい。また、赤目検出部は、検出した赤目の領域の大きさを示す赤目領域情報をさらに取得し、修正度合判断部は、赤目検出部が取得した赤目領域情報に基づいて、赤目修正部による赤目修正処理の修正度合が予め定められた所定の修正度合より大きいか否かを判断してもよい。また、赤目検出部は、検出した赤目の画像における位置を示す赤目位置情報をさらに取得し、修正度合判断部は、赤目検出部が取得した赤目位置情報に基づいて、赤目修正部による赤目修正処理の修正度合が予め定められた所定の修正度合より大きいか否かを判断してもよい。

また、画像入力部が入力した複数の画像のそれぞれに含まれる黒目を検出する黒目検出部を更に備え、修正度合判断部は、赤目検出部が検出した赤目と同一の位置に黒目検出部が黒目を検出した場合に、赤目修正部の赤目修正処理による修正度合が所定の修正度合より小さいと判断してもよい。更に、赤目検出部は、複数の画像のそれぞれに含まれる赤目候補と赤目のテンプレート画像とをマッチングして、予め定められた第１のマッチング度以上の赤目候補を赤目として検出し修正度合判断部は、第１のマッチング度より大きい予め定められた第２のマッチング度より小さい赤目に赤目修正部が赤目修正処理を施した場合に、赤目修正部による赤目修正処理の修正度合が所定の修正度合よりも小さいと判断してもよい。

そして、画像入力部が入力した画像が、ストロボが発光されているときに撮像されたか否かを判断する撮像条件判断部を更に備え、修正度合判断部は、撮像条件判断部によってストロボが発光されていないときに撮像されたと判断された画像についての修正度合を、所定の修正度合よりも小さいと判断してもよい。また、撮像条件判断部は、画像入力部が入力した画像に含まれる被写体の輝度が、予め定められた値以上であるか否かを判断し、修正度合判断部は、撮像条件判断部によって被写体の輝度が予め定められた値以上であると判断された画像についての修正度合を、所定の修正度合よりも小さいと判断してもよい。また、撮像条件判断部は、画像入力部が入力した画像の撮像時の撮像装置から被写体までの距離が予め定められた範囲内にあるか否かを判断し、修正度合判断部は、撮像条件判断部によって距離が予め定められた範囲内にないと判断された画像についての修正度合を、所定の修正度合よりも小さいと判断してもよい。

また、撮像条件判断部は、画像入力部が入力した画像の撮像時の光源情報から画像が室内で撮像されたか否かを判断し、修正度合判断部は、撮像条件判断部によって画像が室内で撮像されたと判断した画像についての修正度合を、所定の修正度合よりも大きいと判断してもよい。更に、撮像条件判断部は、画像入力部が入力した画像の撮像時の撮像モードがポートレートモードまたは夜景モードであるか否かを判断し、修正度合判断部は、撮像条件判断部によって画像がポートレートモードまたは夜景モードで撮像されたと判断された画像についての修正度合を、所定の修正度合よりも大きいと判断してもよい。そして、撮像条件判断部は、画像入力部が入力した画像に赤目修正処理が施されているか否かを判断し、修正度合判断部は、撮像条件判断部によって画像に赤目修正処理が施されていると判断された画像についての修正度合を、所定の修正度合よりも小さいと判断してもよい。

また、本発明の第２の形態においては、赤目修正処理を画像に施す赤目補正処理方法であって、複数の画像を入力する画像入力段階と、画像入力段階において入力された複数の画像のそれぞれに含まれる赤目を検出する赤目検出段階と、赤目検出段階において検出された赤目に赤目修正処理を施す赤目修正段階と、赤目修正段階による赤目修正処理の修正度合が予め定められた所定の修正度合より大きいか否かを判断する修正度合判断段階と、赤目検出段階において赤目が検出されなかった画像については赤目修正処理が施されていない画像を出力し、赤目検出段階において赤目が検出された画像については赤目修正処理が施された画像を出力する画像出力段階と、画像出力段階において出力される画像のうちで、所定の修正度合より大きい赤目修正処理が施された画像には赤目補正処理が施されたことを示す情報を画像に対応づけて出力させ、所定の修正度合より小さい赤目修正処理が施された画像には赤目修正処理が施されたことを示す情報を画像に対応づけて出力させない修正結果出力段階とを備える。

また、本発明の第３の形態においては、赤目修正処理を画像に施す赤目補正処理システム用の赤目補正処理プログラムであって、赤目補正処理システムを、複数の画像を入力する画像入力部、画像入力部が入力した複数の画像のそれぞれに含まれる赤目を検出する赤目検出部、赤目検出部が検出した赤目に赤目修正処理を施す赤目修正部、赤目修正部による赤目修正処理の修正度合が予め定められた所定の修正度合より大きいか否かを判断する修正度合判断部、赤目検出部によって赤目が検出されなかった画像については赤目修正処理が施されていない画像を出力し、赤目検出部によって赤目が検出された画像については赤目修正処理が施された画像を出力する画像出力部、画像出力部が出力する画像のうちで、所定の修正度合より大きい赤目修正処理が施された画像には赤目補正処理が施されたことを示す情報を画像に対応づけて出力し、所定の修正度合より小さい赤目修正処理が施された画像には赤目修正処理が施されたことを示す情報を画像に対応づけて出力しない修正結果出力部として機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明によれば、赤目修正処理の度合に応じて赤目修正結果の表示の有無を決定したり、赤目修正結果に原画像の目の情報を付加したりすることができる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の一実施形態に係る赤目補正処理システム１０の概要を示す。受付機１２、画像処理装置１４、プリンタ１６、およびパーソナルコンピュータ１８は赤目補正処理システム１０の一例である。本実施形態に係る赤目補正処理システム１０は、インデックスプリントを出力する場合において、画像に施した赤目修正処理の度合が所定の度合以上である場合に赤目修正処理を施した旨を示す情報を出力する一方で、画像に施した赤目修正処理の度合が所定の度合以下である場合には、赤目修正処理を施した旨を示す情報を出力しないことを目的とする。また、本実施形態に係る赤目補正処理システム１０は、インデックスプリントを出力する場合において、原画像に含まれる赤目修正対象の目がいかなる種類の目であったかを示す情報を出力することを目的とする。

本実施形態に係る赤目補正処理システム１０は、ユーザから画像データを受け取る。そして、赤目補正処理システム１０は、ユーザから受け取った画像データが示す画像に対して赤目修正処理を施す。ここで、赤目には赤目の他に金目を含んでいてもよい。なお、赤目補正処理システム１０は、画像に赤目修正処理を施すべき目が含まれていない場合には、赤目修正処理を画像に施さない。続いて、赤目補正処理システム１０は、入力された画像に含まれる目に関する情報と、赤目修正処理が施された後の画像に含まれる目に関する情報とを取得して、取得した情報を比較する。そして、赤目補正処理システム１０は、比較結果に基づいて、赤目修正処理の修正度合を判断する。赤目補正処理システム１０は、赤目修正処理を施された画像を出力するときに、赤目修正処理の修正度合に応じたマーク等を画像に付加する。

例えば、赤目補正処理システム１０は、入力された画像に含まれる目に関する情報と、赤目修正処理を施された後の画像に含まれる目に関する情報とを比較した結果から、入力された画像に対して施された赤目修正処理が所定の修正度合よりも大きい場合に、出力する画像に赤目修正処理が施された旨を示すマーク等を付加する。一方、赤目補正処理システム１０は、入力された画像に含まれる目に関する情報と、赤目修正処理を施された後の画像に含まれる目に関する情報とを比較した結果から、入力された画像に対して施された赤目修正処理が所定の修正度合よりも小さい場合には、出力する画像にマーク等を付加しない。すなわち、赤目補正処理システム１０は、画像に含まれる赤目が、一見すると赤目と判別できない赤目であっても赤目修正処理を施してよいが、係る場合においては、赤目修正処理を施した旨を示すマーク等を、出力する画像に付加しない。また、赤目補正処理システム１０は、入力された画像に付帯されているタグ情報を解析して、画像が撮像されたときの撮像条件に基づいて、画像に施された赤目修正処理の度合が所定の修正度合よりも大きいか否かを判断してもよい。そして、赤目補正処理システム１０は、タグ情報の解析結果から判断した結果に基づいて、画像に所定のマーク等を付加してもよい。

更に、赤目補正処理システム１０は赤目修正処理を施した後の画像を出力するときに、出力する画像に、入力された画像に含まれる目に関する情報を示すマーク等を付加してもよい。また、赤目補正処理システム１０は、赤目修正処理を画像に施したときの処理ルーチンを識別する情報に対応するマーク等を、赤目修正処理を施した後の画像を出力するときに、当該画像に付加してよい。なお、処理ルーチンは、赤目補正処理システム１０が画像に施す修正処理の一例である。例えば、赤目補正処理システム１０は、画像に含まれる目が金目であった場合に、当該金目に施した修正処理ルーチンが金目修正処理である旨を示すマーク等を画像に付加して出力してよい。なお、処理ルーチンは、赤目修正処理を画像に施すときの赤目修正処理ルーチン、または、金目修正処理を画像に施すときの金目修正処理ルーチン、若しくは、画像から目の領域である目領域を検出するときに目を含む顔領域を検出する顔検出処理ルーチン等であってよい。

なお、赤目補正処理システム１０は、赤目修正処理を施した後の画像にマーク等を付加して、例えば、インデックスプリントとして出力してよい。また、赤目補正処理システム１０がモニタ等の表示部を有している場合には、表示部にマーク等を付加した画像を表示してもよい。また、赤目補正処理システム１０は、マーク等を付加した画像をＤＶＤ等の記録媒体に記録させてもよい。更に、赤目補正処理システム１０は、紙媒体等にマーク等を付加した画像を印刷して出力してもよい。なお、受付機１２、画像処理装置１４、プリンタ１６、およびパーソナルコンピュータ１８のいずれの機器においても、マーク等を付加した画像を出力してよい。

例えば、店舗等に設置された受付機１２においてユーザから画像データを取得する。画像データを取得した受付機１２は、受付機１２において画像に赤目修正処理を施してよい。そして、受付機１２は、画像に所定のマーク等を付加して受付機１２のモニタに画像を表示してよい。また、受付機１２は、取得した画像に対して赤目修正処理を施さずに、取得した画像データを画像処理装置１４に送信してもよい。そして、画像データを受け取った画像処理装置１４において、画像に赤目修正処理を施してもよい。続いて、画像処理装置１４において、所定のマーク等を付加した画像を出力してもよい。また、画像処理装置１４は、プリンタ１６に所定のマーク等を付加した画像データを送信して画像を出力させてもよい。また、ユーザが所有するパーソナルコンピュータ１８に画像データが入力された場合には、画像処理装置１４は、ネットワークを介してパーソナルコンピュータ１８に入力された画像データを取得する。そして、画像処理装置１４において、取得した画像に対して赤目修正処理を施してよい。

図２は、本実施形態に係る赤目補正処理システム１０の機能構成の一例を示す。赤目補正処理システム１０は、画像入力部１００、赤目検出部１１０、黒目検出部１１５、赤目修正部１２０、撮像条件取得部１３０、赤目色情報取得部１３５、修正度合判断部１４０、撮像条件判断部１４５、画像出力部１５０、修正結果出力部１６０、インデックス格納部１７０、表示部１８０、および印刷部１８５を備える。なお、赤目補正処理システム１０が複数の機器から構成されている場合には、複数の機器のそれぞれが上記各構成部材の一部、または全部を備えていてもよい。例えば、画像処理装置１４にプリンタ１６およびモニタが接続されている場合には、画像処理装置１４が、画像入力部１００、赤目検出部１１０、黒目検出部１１５、赤目修正部１２０、撮像条件取得部１３０、赤目色情報取得部１３５、修正度合判断部１４０、撮像条件判断部１４５を備え、プリンタ１６が、画像出力部１５０、修正結果出力部１６０、インデックス格納部１７０、および印刷部１８５を備え、そして、モニタが表示部１８０を備えていてもよい。

画像入力部１００は、複数の画像を入力する。画像入力部１００は、写真、および紙媒体等に印刷された画像を読み取ることにより画像を画像データとして外部から入力する。また、画像入力部１００は、半導体メモリ等の記憶媒体、または、ＬＡＮ、およびインターネット等のネットワークを介して画像データを入力してよい。なお、画像データには、画像が撮像されたときの撮像条件を示す画像撮像情報、画像に所定の画像処理が施されているか否かを示す情報、およびいずれの機器においてインデックスプリントまたは画像を出力するかを示す情報等を含むタグ情報（例えばExif：Exchangeable Image File Formatに準拠した情報）が付加されていてよい。タグ情報は、画像を撮像した撮像装置等において画像に付加されてよい。画像入力部１００は入力した画像データを、赤目検出部１１０、赤目修正部１２０、および黒目検出部１１５に供給する。また、画像入力部１００は、画像に付加されているタグ情報を撮像条件取得部１３０の制御に基づいて、撮像条件取得部１３０に供給する。

赤目検出部１１０は、画像入力部１００から受け取った複数の画像のそれぞれに含まれる赤目を検出する。具体的には、赤目検出部１１０は、まず、赤色を検出する予め定められた検出閾値を用いて、予め定められた色範囲に含まれる赤色を有する赤目候補を、画像入力部１００から受け取った複数の画像から検出する。なお、係る場合において、赤色の色範囲は、画像に含まれる赤目を適切に検出することができる範囲に設定してよい。また、赤目検出部１１０は、機械学習により赤色の色範囲を設定してもよい。更に、赤目検出部１１０は、予め定められた色範囲の色を有する、所定形状および大きさの赤目のテンプレート画像を用いてマッチングすることにより赤目候補を画像から探索してもよい。そして、赤目検出部１１０は、複数の異なる形状および大きさを有する赤目のテンプレート画像を、予め有していてよい。

ここで、赤目検出部１１０は、赤目を探索するときには、少なくとも１つの種類のパラメータに基づいて赤目を探索してよい。例えば、赤目検出部１１０は、赤目の探索条件として、赤目検出をするときに用いる複数の異なる大きさの赤目のテンプレート画像、複数の異なる形状を有する赤目のテンプレート画像、複数の異なる種類の色相を有する赤目のテンプレート画像を用いて赤目候補を検出してよい。また、赤目検出部１１０は、赤目のテンプレート画像を画像上で予め定められたピッチ幅で移動させてよい。赤目検出部１１０は、赤目のテンプレート画像を画像上で移動させるときの複数の異なるピッチ幅、および赤目のテンプレート画像を画像上で移動させるときの複数の異なる移動開始位置等に関する情報を予め有していてもよい。例えば、赤目検出部１１０は、複数のパラメータを順次変化させて、画像内から赤目候補を検出してもよい。

具体的には、赤目検出部１１０は、第１のパラメータを用いて、画像内の赤目を探索して赤目候補の検出を試みる。赤目検出部１１０は、第１のパラメータを用いて赤目候補を検出できなかった場合には、第１のパラメータを第２のパラメータに変更して赤目候補の検出を試みる。例えば、赤目検出部１１０は、画像内において赤目のテンプレート画像を第１の画素ピッチで探索位置を移動させながら赤目を探索して、赤目候補を検出する。赤目検出部１１０は、第１の画素ピッチで赤目候補を検出できなかった場合には、第１の画素ピッチとは異なる第２の画素ピッチで赤目のテンプレート画像を移動させながら赤目候補を検出する。赤目検出部１１０は、赤目候補が検出されるまで、画素ピッチを順次変更して赤目のテンプレート画像を移動させてもよい。なお、赤目検出部１１０は、第１の画素ピッチで探索した探索位置と、第２の画素ピッチで探索する探索位置とが重複することがない画素ピッチを用いてよい。

そして、赤目検出部１１０は、検出した赤目候補のうち、顔の中の所定の位置にある赤目候補を赤目修正対象である赤目候補として選択する。具体的には、赤目検出部１１０は、検出した赤目候補の周囲に顔が存在するか否かを検出する。例えば、顔に含まれる、眉、鼻、口、耳、ひげ、および顔の輪郭等の各部位の位置と、赤目候補との位置関係に基づいて、赤目候補が顔の中で目に相当する位置に存在しているか否かを判断する。また、赤目検出部１１０は、検出した赤目候補の周囲に存在する被写体の画像を回転させて、当該被写体の画像が対称的な形を有している場合に当該被写体の画像が顔の画像であると判断してもよい。そして、赤目検出部１１０は、顔の中の目の位置に存在すると判断された赤目候補を、赤目修正対象である赤目候補として選択してよい。

更に、赤目検出部１１０は、複数の画像のそれぞれに含まれる赤目候補と赤目のテンプレート画像とをマッチングして、予め定められた第１のマッチング度以上の赤目候補を赤目として検出してもよい。なお、マッチング度とは、赤目のテンプレート画像の色、形状、および大きさと赤目候補の色、形状、および大きさとを比較した場合における、赤目候補の赤目のテンプレート画像との一致度合であってよい。赤目のテンプレート画像と赤目候補との一致度合が高いほどマッチング度合は高くてよい。そして、マッチング度合が高いほど、赤目候補が目である確率が高いといえる。したがって、マッチング度合が高い場合に、赤目検出部１１０が検出した赤目候補が目である確率の高さを示す指標である、目の信頼度が高いと評価してよい。赤目検出部１１０は、赤目の検出に用いた赤目のテンプレート画像の大きさを示す情報、複数の画像のそれぞれが含む赤目が画像において占める位置を示す情報、赤目の色を示す情報、およびマッチング度合（または、目の信頼度）を示す情報を赤目修正部１２０、赤目色情報取得部１３５、および修正度合判断部１４０に供給する。なお、赤目のテンプレート画像の大きさを示す情報は、赤目領域情報の一例である。

黒目検出部１１５は、画像入力部１００から受け取った複数の画像のそれぞれに含まれる黒目を検出する。具体的には、黒目検出部１１５は、まず、黒色を検出する予め定められた検出閾値を用いて、予め定められた色範囲に含まれる黒色を有する黒目候補を画像入力部１００から受け取った複数の画像からそれぞれ検出する。そして、上記説明における赤目検出部１１０と同様の動作によって、黒目検出部１１５は検出した黒目候補の中から顔の中の目の位置に存在すると判断される黒目を選択する。黒目検出部１１５は、選択した黒目の顔の中において占める位置を示す情報、および黒目の色の情報を修正度合判断部１４０に供給する。

撮像条件取得部１３０は、画像入力部１００が入力した画像に付加されているタグ情報を参照して、画像が撮像されたときの撮像条件を示す画像撮像情報、画像に所定の画像処理が施されているか否かを示す情報、およびいずれの機器においてインデックスプリントまたは画像を出力するかを示す情報等を取得する。撮像条件取得部１３０は、取得した情報を撮像条件判断部１４５に供給する。撮像条件判断部１４５は、撮像条件取得部１３０が取得した情報を解析して、画像入力部１００が入力した画像が撮像されたときの画像の撮像条件を判断する。撮像条件判断部１４５が解析する情報に含まれる画像撮像情報には、画像撮像時にストロボが使用されたか否かを示すストロボ情報、撮像された画像に含まれる被写体の輝度を示す被写体輝度情報、画像を撮像したときの撮像装置から被写体までの距離を示す被写体距離情報、画像を撮像したときの光源を示す光源情報、画像を撮像した時の撮像モードの種類を示す撮像モード情報、および入力した画像に赤目修正処理が施されているか否かを示す情報である赤目修正情報が含まれていてよい。

具体的には、撮像条件判断部１４５は、画像入力部１００が入力した画像が、ストロボが発光されているときに撮像されたか否かを、ストロボ情報を参照して判断する。また、撮像条件判断部１４５は、画像入力部１００が入力した画像に含まれる被写体の輝度が、予め定められた値以上であるか否かを、被写体輝度情報を参照して判断する。なお、被写体の輝度とは、画像に含まれる背景部分の輝度、または、画像全体の平均輝度、若しくは、画像の輝度分布であってよい。また、撮像条件判断部１４５は、画像入力部１００が入力した画像に含まれる被写体の、撮像時における撮像装置から当該被写体までの距離が、予め定められた範囲内にあるか否かについて、被写体距離情報を参照して判断する。

更に、撮像条件判断部１４５は、画像入力部１００が入力した画像の撮像時の光源情報から画像が室内で撮像されたか否かを、光源情報を参照して判断する。例えば、撮像条件判断部１４５は、光源情報が示す光の波長分布に基づいて、光源が太陽光、または蛍光灯、若しくは白熱灯などのいずれであるかを判断する。すなわち、撮像条件判断部１４５は、光源情報が示す光の波長分布を解析して、太陽光に特徴的な波長分布であるか否か、蛍光灯が発する光に特徴的な波長分布であるか否か、若しくは白熱灯が発する光に特徴的な波長分布である否かを判断して、光源の種類を判断してよい。また、撮像条件判断部１４５は、画像入力部１００が入力した画像に赤目修正処理が施されているか否かを、赤目修正情報を参照して判断する。なお、赤目修正処理は、例えば、撮像装置、または赤目補正処理システム１０とは異なる画像処理装置等において画像に施されていてもよい。

また、撮像条件判断部１４５は、画像入力部１００が入力した画像の撮像時の撮像モードが、予め定められた光量以下で撮像するモード、または、赤目現象が発生する可能性が高いモードとして予め定められているモードであるか否かを、撮像モード情報を参照して判断する。例えば、撮像条件判断部１４５は、撮像時の撮像モードがポートレートモードまたは夜景モードであるか否かを、撮像モード情報を参照して判断する。また、撮像条件判断部１４５は、撮像時の撮像モードが、屋内でのパーティーシーン用のモードであるパーティーモード、または、夜間における人物撮像モードである夜景ポートレートモード、若しくは屋内撮像用のモードである屋内撮影モードであるか否かを、撮像モード情報を参照して判断してよい。さらに、撮像条件判断部１４５は、撮像時に画像が赤目軽減モードにより撮像されたか否かを判断してもよい。なお、赤目軽減モードは、ストロボをプレ発光させてから被写体を撮像する手法等により、赤目現象の発生を抑制する撮像モードであってよい。撮像条件判断部１４５は、判断結果を修正度合判断部１４０に供給する。

赤目修正部１２０は、画像入力部１００から受け取った画像に含まれる、赤目検出部１１０において検出された赤目に赤目修正処理を施す。赤目修正部１２０は、赤目検出部１１０から受け取った赤目修正を施すべき赤目の画像における位置を示す情報から、画像において赤目修正を施すべき赤目を検出して、検出した赤目に対して赤目修正処理を施す。なお、赤目修正部１２０が画像に施す赤目修正処理は、赤目領域探索処理、赤目修正量算出処理、および赤目黒目変換処理を含んでいてよい。赤目領域探索処理は、赤目検出部１１０が検出した赤目の画像における位置等を示す赤目検出情報から、赤目の領域を特定する処理であってよい。また、赤目修正量算出処理は、赤目領域探索処理において特定された赤目領域に対して明度・彩度調整量、および置き換える色情報を算出する処理であってよい。そして、赤目黒目変換処理は、赤目領域探索処理において特定された赤目領域と赤目修正量算出処理において算出された修正量から、赤目を黒目に変換する処理であってよい。

また、赤目修正部１２０は、赤目に赤目修正処理を施すだけではなく、金目に金目修正処理を施してもよい。なお、金目修正処理は、金目領域の色バランスを予め定められたバランスに変更した後に、明度および彩度を変更して金目を黒目に修正する処理であってよい。また、金目修正処理は、金目領域の色を予め定められた黒目の色に置き換えることによって金目を黒目に修正する処理であってよい。そして、赤目修正部１２０は、赤目修正処理を施した赤目の画像における位置、および赤目修正処理後の目の色に関する情報を赤目色情報取得部１３５および修正度合判断部１４０に供給する。また、赤目修正部１２０は、赤目修正処理を施した後の画像を画像出力部１５０および修正結果出力部１６０に供給する。

赤目色情報取得部１３５は、赤目検出部１１０が検出した赤目修正前の赤目の色を示す情報である修正前色情報を取得する。具体的には、赤目色情報取得部１３５は、赤目検出部１１０から受け取った、複数の画像のそれぞれが含む赤目の画像における位置を示す情報、および赤目の色を示す情報を参照して修正前色情報を取得する。例えば、赤目色情報取得部１３５は、複数の画像のそれぞれについて、赤目の色を抽出する。そして、赤目色情報取得部１３５は、抽出した赤目の色のＲ成分、Ｇ成分、およびＢ成分のレベルの値を算出して修正前色情報として取得してよい。また、赤目色情報取得部１３５は、赤目修正部１２０が赤目修正処理を施さない場合には、目の色の情報、例えば、赤目修正処理を施さなかった黒目の色の情報を修正前色情報として取得してよい。

また、赤目色情報取得部１３５は、赤目修正部１２０が赤目修正処理を施した後の赤目の色を示す情報である修正後色情報を取得する。赤目色情報取得部１３５は、赤目修正部１２０から受け取った、複数の画像のそれぞれが含む赤目修正処理後の目の画像における位置を示す情報、および当該目の色を示す情報を参照して修正後色情報を取得する。例えば、赤目色情報取得部１３５は、複数の画像のそれぞれについて、赤目修正処理後の目の色を抽出する。そして、赤目色情報取得部１３５は、抽出した目の色のＲ成分、Ｇ成分、およびＢ成分のレベルの値を算出して修正後色情報としてよい。更に、赤目色情報取得部１３５は、赤目検出部１１０が検出した赤目修正前の赤目の領域内の色バランスを示す情報を修正前色情報として取得してよい。色バランスは、例えば、Ｒ成分、Ｇ成分、およびＢ成分のレベルのバランスであってよい。赤目色情報取得部１３５は、取得した修正前色情報および修正後色情報を修正度合判断部１４０に供給する。

修正度合判断部１４０は、赤目修正部１２０による赤目修正処理の修正度合が予め定められた所定の修正度合より大きいか否かを判断する。例えば、修正度合判断部１４０は、修正前色情報が示す赤目の色のＲ成分のレベルが、Ｇ成分およびＢ成分のレベルと比較して予め定められたレベルよりも大きい場合に、修正度合が大きいと判断してよい。また、修正度合判断部１４０は、赤目色情報取得部１３５から受け取った修正前色情報と修正後色情報とを比較する。そして、修正度合判断部１４０は、修正後色情報が示す色の修正前色情報が示す色からの変化量が予め定められた範囲内に含まれる場合に、赤目修正部１２０の赤目修正処理による修正度合が所定の修正度合より小さいと判断する。例えば、修正度合判断部１４０は、修正前色情報が示す色のＲ成分のレベルと、修正後色情報が示すＲ成分のレベルとを比較する。すなわち、修正度合判断部１４０は、修正前色情報が示す色のＲ成分のレベルから、修正後色情報が示す色のＲ成分のレベルへの変化量を算出する。そして、修正度合判断部１４０は、算出した変化量が予め定められた範囲内に含まれる場合に、修正度合が予め定められた修正度合よりも小さいと判断してよい。一方、修正度合判断部１４０は、算出した変化量が予め定められた値を超える場合に、修正度合が予め定められた修正度合よりも大きいと判断してよい。

更に、修正度合判断部１４０は、赤目色情報取得部１３５において取得された修正前色情報が示す色バランスが予め定められたバランスの場合に、修正度合が予め定められた所定の修正度合よりも小さいと判断してよい。例えば、修正度合判断部１４０は、修正前色情報が示す色バランスにおいて、Ｒ成分のレベル、Ｇ成分のレベル、およびＢ成分のレベルをそれぞれ比較して、色バランスが予め定められた色バランス（例えば、Ｒ成分のレベルとＧ成分およびＢ成分のレベルとの比率が、所定の比率である場合）の場合に、修正度合が予め定められた所定の修正度合よりも小さいと判断する。

また、修正度合判断部１４０は、赤目検出部１１０が検出した赤目と同一の位置に黒目検出部１１５が検出した黒目が存在すると判断した場合に、赤目修正部１２０の赤目修正処理による修正度合が所定の修正度合より小さいと判断してよい。具体的には、修正度合判断部１４０は、黒目検出部１１５から受け取った情報が示す黒目の顔の中において占める位置と、赤目検出部１１０から受け取った情報が示す赤目の顔の中において占める位置とを比較して、赤目検出部１１０が検出した赤目と同一の位置に黒目検出部１１５が検出した黒目が存在するか否かを判断する。そして、修正度合判断部１４０は、黒目の位置と赤目の位置とが一致した場合に、赤目修正部１２０の修正度合が所定の修正度合よりも小さいと判断してよい。

ここで、赤目検出部１１０が検出する赤目候補の色と黒目検出部１１５が検出する黒目候補の色とは、その一部が重複する場合がある。例えば、黒目にＲ成分が含まれている場合でも、黒目検出部１１５は、明度、彩度、および輝度等の値に基づいて予め定められた黒目の検出閾値を用いて画像から黒目候補を検出する。したがって、黒目検出部１１５が検出した黒目候補の中に、赤目検出部１１０で赤目候補と判断される目も含まれる場合がある。係る場合においては、修正度合判断部１４０は、赤目修正部１２０による赤目修正の度合が小さいと判断してよい。これは、赤目修正部１２０が黒目の色の成分が混入している赤目に赤目修正処理を施す場合には、黒目の色の成分が混入していない赤目に赤目修正処理を施す場合に比べて、黒目の色に修正する修正量、例えば、Ｒ成分、Ｇ成分、およびＢ成分のレベルを変化させる変化量が小さいからである。

また、修正度合判断部１４０は、赤目検出部１１０から受け取ったマッチング度合を参照する。そして、修正度合判断部１４０は、予め定められた第１のマッチング度より大きく、予め定められた第２のマッチング度より小さい赤目に赤目修正部１２０が赤目修正処理を施した場合に、赤目修正部１２０による赤目修正処理の修正度合が所定の修正度合よりも小さいと判断する。これにより、目の信頼度が予め定められた基準値以下である赤目に対して赤目修正を施した場合でも、赤目修正を施した当該赤目については、修正度合が所定の修正度合よりも小さいと判断できる。また、修正度合判断部１４０は、撮像条件判断部１４５の判断結果に基づいて、赤目修正部１２０による赤目修正処理の修正度合が所定の修正度合よりも大きいか否かを判断してよい。例えば、修正度合判断部１４０は、撮像条件判断部１４５によってストロボが発光されていないときに撮像されたと判断された画像についての修正度合を、所定の修正度合よりも小さいと判断する。これは、ストロボが発光されていない場合には、赤目現象、または金目現象が発生することが少ないからである。

また、修正度合判断部１４０は、撮像条件判断部１４５によって被写体の輝度が予め定められた値以上であると判断された画像についての修正度合を、所定の修正度合よりも小さいと判断してよい。これは、被写体の輝度が予め定められた値以上である場合には、当該被写体が撮像されたのが日中である可能性が高く、日中に被写体を撮像した場合には赤目現象が発生する確率が低いからである。また、修正度合判断部１４０は、撮像条件判断部１４５によって、撮像時の、撮像装置から被写体までの距離が予め定められた範囲内にないと判断された画像についての修正度合を、所定の修正度合よりも小さいと判断してよい。これは、撮像装置から予め定められた距離以上離れた位置に存在する被写体の目の画像に対する大きさは小さいので、仮に赤目現象が発生していた場合でも、赤目部分の判別が困難な場合があるからである。

更に、修正度合判断部１４０は、撮像条件判断部１４５によって被写体が室内で撮像されたと光源情報に基づいて判断された画像についての修正度合を、所定の修正度合よりも大きいと判断してもよい。これは、室内で被写体を撮像する場合にはストロボを発光することが多いので、赤目現象が発生する可能性が高いからである。また、修正度合判断部１４０は、撮像条件判断部１４５によって被写体がポートレートモード、夜景モード、パーティーモード、夜景ポートレートモード、または、屋内撮影モードのいずれかで撮像されたと判断された画像についての修正度合を、所定の修正度合よりも大きいと判断する。これは、夜景モード、ポートレートモード、パーティーモード、夜景ポートレートモード、または、屋内撮影モードのいずれかの撮像モードで被写体を撮像する場合にはストロボを発光することが多いので、赤目現象が発生する可能性が高いからである。また、修正度合判断部１４０は、赤目軽減モードで画像が撮像されている場合には、修正度合が所定の修正度合よりも小さいと判断してよい。これは、画像撮像時に、既に、赤目を軽減する手法で被写体が撮像されているからである。

更に、修正度合判断部１４０は、撮像条件判断部１４５によって画像に赤目修正処理が施されていると判断された画像についての修正度合を、所定の修正度合よりも小さいと判断する。例えば、撮像条件判断部１４５が、撮像条件取得部１３０において取得された情報から、画像を撮像した撮像装置において赤目修正処理が画像に施されていると判断した場合には、赤目修正部１２０による赤目修正処理の修正度合が予め定められた所定の修正度合より小さいと判断してよい。

また、修正度合判断部１４０は、赤目検出部１１０から受け取った情報のうち、赤目の検出に用いた赤目のテンプレート画像の大きさが、予め定められた大きさよりも大きい場合には、修正度合が予め定められた修正度合よりも大きいと判断してよい。一方、修正度合判断部１４０は、赤目検出部１１０から受け取った情報のうち、赤目の検出に用いた赤目のテンプレート画像の大きさが、予め定められた大きさよりも小さい場合には、修正度合が予め定められた修正度合よりも小さいと判断してよい。また、修正度合判断部１４０は、赤目検出部１１０が検出した赤目の画像において占める位置に基づいて、修正度合が予め定められた修正度合よりも大きいか否かを判断してもよい。具体的には、修正度合判断部１４０は、赤目検出部１１０において検出された赤目の画像での位置が、画像の端から予め定められた範囲内に存在する場合には、修正度合が予め定められた修正度合よりも小さいと判断してよい。また、修正度合判断部１４０は、赤目検出部１１０において検出された赤目の画像での位置が、画像の中央から予め定められた距離だけ離れた位置に存在する場合には、修正度合が予め定められた修正度合よりも小さいと判断してよい。これは、画像の端に赤目が位置している場合には、当該赤目は主要被写体の赤目ではない確率が高いからである。

また、修正度合判断部１４０は、画像入力部１００が入力した画像の画像解析情報から取得される情報（例えば、オートセットアップ等）に基づいて、画像が撮像された撮像シーンを判別してもよい。撮像シーンは、例えば、日中シーン、風景シーン、および夜景シーン等であってよい。例えば、修正度合判断部１４０は、日中シーン、および風景シーンと判別された画像に対しては、赤目修正部１２０による赤目修正処理の修正度合が所定の修正度合よりも小さいと判断してよい。これは、日中シーン、および風景シーンにおいてはストロボを発光させずに撮像することが多いので、赤目現象が発生する確率が低いからである。

なお、修正度合判断部１４０は、赤目修正処理の結果および上記説明における複数の判断基準のうち、少なくとも２つを組み合わせて、赤目修正処理の修正度合が所定の修正度合より大きいか否かを判断してもよい。修正度合判断部１４０は、判断結果を示す情報、修正前の画像に含まれている目に関する情報（例えば、目の種類、目の顔における位置、および目の色等に関する情報）、および修正後の画像に含まれている目に関する情報（例えば、修正を施した目の顔における位置、修正を施した目の色、および修正処理ルーチン等に関する情報）を修正結果出力部１６０に供給する。

画像出力部１５０は、赤目検出部１１０によって赤目が検出されなかった画像については赤目修正処理が施されていない画像を出力する。また、画像出力部１５０は、赤目検出部１１０によって赤目が検出された画像については赤目修正処理が施された画像を出力する。画像出力部１５０は、赤目修正処理が施されていない画像、および赤目修正処理が施された画像を表示部１８０、または印刷部１８５に供給する。また、画像出力部１５０は赤目修正処理が施されていない画像、および赤目修正処理が施された画像を、ＤＶＤ等の記録媒体に書込むことにより記録してもよい。

インデックス格納部１７０は、修正結果出力部１６０が出力するインデックススプリントに付加させるマークおよび文字列等を、修正処理の処理ルーチン等を識別する識別情報に対応づけて格納する。例えば、インデックス格納部１７０は、赤目修正処理を識別する識別情報に対応づけて、赤目修正処理を画像に施した旨を示す赤色の目の形状を有するマーク、およびＲｅｄＥｙｅ等の文字列を格納している。また、インデックス格納部１７０は、金目修正処理を識別する識別情報に対応づけて、金目修正処理を画像に施した旨を示す金色の目の形状を有するマーク、およびＧｏｌｄＥｙｅ等の文字列を格納している。なお、インデックス格納部１７０が格納しているマークおよび文字列等は上記の例に限られず、所定の修正処理を識別できる所定のマーク等であってよい。インデックス格納部１７０は、修正結果出力部１６０の制御に基づいて、所定のマーク、または所定の文字列等を修正結果出力部１６０に供給する。

修正結果出力部１６０は、画像出力部１５０が出力する画像のうちで、修正度合判断部１４０から受け取った判断結果が示す所定の修正度合より大きい赤目修正処理が施された画像に赤目補正処理が施されたことを示す情報を画像に対応づけて出力する。また、修正結果出力部１６０は、修正度合判断部１４０から受け取った判断結果が示す所定の修正度合より小さい赤目修正処理が施された画像について、赤目修正処理が施されたことを示す情報を当該画像に対応づけて出力しない。具体的には、修正結果出力部１６０は、修正度合判断部１４０が赤目修正部１２０による赤目修正処理の修正度合が所定の修正度合よりも小さいと判断した画像に対しては、当該画像に赤目修正処理が施されていた場合でも、赤目修正処理が施された旨を示す情報を対応づけて出力しない。更に、修正結果出力部１６０は、赤目修正処理が施される前の画像に含まれている目の種類を示す情報を画像に対応づけて出力してもよい。一方、修正結果出力部１６０は、修正度合判断部１４０が赤目修正部１２０による赤目修正結果の修正度合が所定の修正度合よりも大きいと判断した画像に対しては、当該画像に赤目修正処理が施された旨を示す情報を対応づけて出力する。

また、修正結果出力部１６０は、例えば、画像から黒目検出部１１５が赤目検出部１１０において検出された赤目と同一の位置に黒目を検出した場合には、当該画像を出力する場合に、赤目修正処理が施された旨を示す情報を対応づけないで出力する。これは、赤目検出部１１０が検出した赤目であっても、黒目検出部１１５において黒目と判断され得る赤目の色は、黒目検出部１１５において黒目と判断されない赤目の色と比べて赤目の色の度合が小さいからである。したがって、このような赤目に赤目修正処理を施しても、ユーザには赤目修正処理を施したか否かを判別できない場合がある。係る場合においては、修正結果出力部１６０は、たとえ赤目修正処理を施した画像であっても、赤目修正処理を施した旨を示すマーク、または文字列等を画像に対応づけないで出力する。

修正結果出力部１６０は、修正度合判断部１４０が赤目修正部１２０による赤目修正結果の修正度合が所定の修正度合よりも大きいと判断した画像に対しては、当該画像に施された修正処理を識別する情報に対応づけてインデックス格納部１７０が格納しているマーク、または文字列を抽出する。そして、修正結果出力部１６０は、抽出したマーク、または文字列を、所定の修正処理が施された画像に対応づけて出力する。修正結果出力部１６０は、インデックス格納部１７０から抽出したマーク、または文字列を対応づけた画像を、表示部１８０、または印刷部１８５のうち少なくとも一方に供給する。なお、修正結果出力部１６０が表示部１８０、または印刷部１８５のうち少なくとも一方に供給する画像は、インデックスプリント用の画像であってよい。すなわち、修正結果出力部１６０は、所定のマークまたは文字列を対応づけた画像、並びに所定のマークおよび文字列を対応づけていない画像を、予め定められたレイアウトに配置して出力してよい。

表示部１８０は、画像出力部１５０から受け取った画像をモニタ等の表示装置に表示する。また、表示部１８０は、修正結果出力部１６０から受け取った、赤目修正処理が施されたことを示す情報が対応づけられた画像、および赤目修正処理が施されたことを示す情報が対応づけられていない画像を表示する。印刷部１８５は、画像出力部１５０から受け取った画像を紙媒体等に印刷する。また、印刷部１８５は、修正結果出力部１６０から受け取った、赤目修正処理が施されたことを示す情報が対応づけられた画像、および赤目修正処理が施されたことを示す情報が対応づけられていない画像を印刷する。例えば、印刷部１８５は、インデックスプリントの形態で画像を印刷する。

本実施形態に係る赤目補正処理システム１０によれば、赤目修正処理を施す前の目に対して施した修正処理を示す情報を画像に対応づけて記録できる。これにより、当該画像のインデックスプリントを出力するときに、当該画像に施した修正処理を示すマーク、または文字列を当該画像と併せて出力できるので、ユーザは、画像に金目補正等の特徴のある修正処理が施されたことをひと目で把握できる。なお、修正処理を示すマーク、または文字列は画像に隣接させて出力してもよく、または、画像に重畳させて出力してもよい。

また、本実施形態に係る赤目補正処理システム１０によれば、赤目修正を施す前の赤目と赤目修正処理を施した後の赤目とを比較して、赤目修正の度合に応じて赤目修正を施した旨を示すマークを画像に対応づけるか否かを決定するので、軽微な修正処理が施された画像に対しては、赤目修正処理を施した旨を示すマーク、または文字列を出力させないことができる。これにより、赤目修正処理を施してはいるが、修正結果が元の画像の目の色からそれほど変化していない場合には、赤目修正処理を施した旨を示すマーク、または文字列を出力させないので、ユーザに不満を感じさせることがなくなる。

更に、本実施形態に係る赤目補正処理システム１０によれば、画像に施された修正処理の内容を明示的に示すマーク等を画像に対応づけて出力できるので、例えば、画像のプリント等に対して課金処理をする場合において、修正処理を施した画像だけに課金処理をすることが容易にできる。

図３は、本実施形態に係るインデックスプリント２００の一例を示す。修正結果出力部１６０は、修正度合判断部１４０の判断結果に基づいて、画像入力部１００が入力した画像、および画像入力部１００が入力した画像に対して赤目修正処理が施された画像のインデックスプリントに、所定のマークを付加させて出力することができる。例えば、画像出力部１５０が、インデックスプリント２００に複数の画像２１０、画像２１２、画像２１４、画像２１６、および画像２１８等を出力する場合を考える。係る場合において、画像２１０、画像２１２、画像２１４、画像２１６、および画像２１８の全部に赤目修正処理が施されているが、画像２１２、および画像２１８における赤目修正処理の度合が所定の度合よりも小さい場合には、修正結果出力部１６０は、画像２１２および画像２１８を除く他の画像に赤目修正処理が施された旨を示すマーク３００、マーク３０２、およびマーク３０４を出力する。

例えば、画像２１０には、画像２１０に赤目修正処理を施した旨を示すマーク３００が付加されている。また、画像２１２に対して赤目修正処理を施した場合であっても、赤目修正処理の修正度合が予め定められた度合よりも小さい場合には、画像２１２にはマークを付加しない。また、画像２１４が室内で撮像されており、画像２１４に対して赤目修正処理が施されていた場合には、赤目修正処理を施した旨を示すマーク３０２が付加される。更に、画像２１８に含まれる人物の目の大きさが、予め定められた大きさよりも小さい場合には、画像２１８に含まれる人物の目が赤目であるか否かの判別が困難であるので、画像２１８に赤目修正処理を施すか否かにかかわらず画像２１８にはマークを付加しない。

本実施形態に係るインデックスプリント２００によれば、ユーザは、複数の画像の中から赤目修正処理が施された画像をひと目で把握できる。また、赤目修正処理の度合が予め定められた度合よりも小さい画像に対しては、赤目修正処理を施した旨を示すマークを出力させないことができる。これにより、画像に適切な赤目修正処理を施しているにもかかわらず、画像に適切な赤目修正処理を施していないのに赤目修正処理を施した旨を示すマークを画像に付けているのではないかという誤解を、ユーザに与えることを防止できる。

また、修正結果出力部１６０は、出力されるインデックスプリントに、入力された複数の画像のそれぞれに含まれる目に対応した枠、およびマーク等を付加してよい。例えば、修正結果出力部１６０は、インデックスプリントに、入力された画像に含まれる目が赤目である場合には赤目マーク、または赤色の枠を付加する。また、修正結果出力部１６０は、インデックスプリントに、入力された画像に含まれる目が金目である場合には金目マーク、または金色の枠を付加する。更に、修正結果出力部１６０は、インデックスプリントに、入力された画像に含まれる目が黒目である場合にはマーク、および枠を付加しない。

また、修正結果出力部１６０は、画像処理結果を表示部１８０に表示する場合には、表示される複数の画像のそれぞれに、入力された複数の画像に含まれる目に対応する枠、およびマークを付加して表示する。例えば、修正結果出力部１６０は、表示部１８０に表示される画像に、入力された画像に含まれる目が赤目である場合には赤目マーク、または赤色の枠を付加する。また、修正結果出力部１６０は、表示部１８０に表示される画像に、入力された画像に含まれる目が金目である場合には金目マーク、または金色の枠を付加する。更に、修正結果出力部１６０は、表示部１８０に表示される画像に、入力された画像に含まれる目が黒目である場合にはマーク、および枠を付加しない。

更に、修正結果出力部１６０は、紙媒体等に画像をプリントして印刷部１８５から出力する場合には、出力する画像の裏面に所定の枠、または文字列を付加してもよい。例えば、修正結果出力部１６０は、画像をプリントした媒体の裏面に、入力された画像に含まれる目が赤目である場合には赤目用の枠、またはＲｅｄＥｙｅ等の文字列を付加する。また、修正結果出力部１６０は、画像をプリントした媒体の裏面に、入力された画像に含まれる目が金目である場合には金目用の枠、またはＧｏｌｄＥｙｅ等の文字列を付加する。更に、修正結果出力部１６０は、画像をプリントした媒体の裏面に、入力された画像に含まれる目が黒目である場合には枠、および文字列を付加しない。

これにより、ユーザは、画像に修正処理が施される前の目の種類をひと目で判別できると共に、画像に対してどのような種類の修正処理が施されたのかをも、ひと目で判別することができる。

図４は、本実施形態に係る赤目補正処理システム１０における処理の流れの一例を示す。まず、赤目検出部１１０は画像入力部１００が入力した画像から赤目を検出する（Ｓ１０００）。また、黒目検出部１１５は画像入力部１００が入力した画像から黒目を検出する。なお、赤目検出部１１０は、目を検出する複数の目検出部を有していてよく、例えば、赤目用検出部、および金目用検出部を有していてよい。なお、検出エンジンは、目検出部の一例である。そして、赤目検出部１１０および黒目検出部１１５は、目の検出に用いた目検出部の種別を識別する情報を取得する（Ｓ１０１０）。また、赤目検出部１１０は、検出した赤目、または金目の目の信頼度を示す情報も取得する（Ｓ１０１０）。続いて、赤目修正部１２０は、赤目検出部１１０が検出した赤目に対して赤目修正処理を施す（Ｓ１０２０）。

赤目修正部１２０は、更に、赤目修正情報を取得してよい（Ｓ１０３０）。赤目修正情報は、例えば、赤目検出部１１０において検出された赤目を金目判定ルーチンで赤目と金目とに分離する場合に、金目と判断されたか否かを示す情報、および赤目検出部１１０において検出された赤目の信頼度等であってよい。なお、金目判定ルーチンは、赤目検出部１１０が実行してよい。例えば、金目判定ルーチンは、赤目検出部１１０が検出した赤目候補が、予め定められた色範囲でそれぞれ規定される赤目または金目のいずれであるかを判断する。具体的には、金目判定ルーチンは、赤目検出部１１０が用いた検出閾値よりＧ成分、およびＢ成分のレベルの少なくとも一方に対するＲ成分のレベルが高い赤目分離閾値を用いて、赤目検出部１１０が検出した赤目候補が赤目または金目のいずれであるかを判断する。

また、金目判定ルーチンは、赤目検出部１１０が検出した赤目候補が含む画素のＲ成分、Ｇ成分、およびＢ成分のレベルの平均値の和に対するＧ成分のレベルの平均値の割合を示す第１特徴量、赤目検出部１１０が検出した赤目候補が含む画像のＲ成分のレベルの分散を示す第２特徴量、または、赤目検出部１１０が検出した赤目候補が含む画素のＲ成分のレベルの平均値を示す第３特徴量のうちの少なくとも１つの特徴量に基づいて、赤目検出部１１０が検出した赤目候補が赤目または金目のいずれであるかを判断してよい。赤目修正部１２０は、金目判定ルーチンにおける赤目／金目判定結果を取得する（Ｓ１０３０）。

また、赤目修正部１２０は、赤目修正信頼度を取得する（Ｓ１０３０）。なお赤目修正部１２０が赤目修正処理を施す前の赤目が示す色が予め定められた色範囲に含まれており、当該赤目の形状が人物の目の形状と予め定められたマッチング度以上の度合でマッチングする場合に、赤目修正信頼度が高いと判断されてよい。続いて、修正度合判断部１４０は、元の画像に含まれる目の種別を判定する（Ｓ１０４０）。元の画像に含まれる目が黒目検出部１１５において検出された目である場合には、修正度合判断部１４０は、当該目を黒目と判定して、判定結果を修正結果出力部１６０に供給する。修正結果出力部１６０は、受け取った判定結果に基づいて、画像を出力するときには当該画像に含まれている目が黒目であることを示す情報を画像に対応づける（Ｓ１０５４）。

また、修正度合判断部１４０は、目の信頼度に基づいて、当該目が実際の目であるか否かを判断する。例えば、修正度合判断部１４０は、赤目検出部１１０から受け取った目の信頼度が、予め定められた閾値を超えている場合に当該目を実際の目であると判断する。また、修正度合判断部１４０は、赤目修正の信頼度が予め定められた閾値を超えている場合に、赤目修正が適切であると判断する。修正結果出力部１６０は、修正度合判断部１４０から目の信頼度、および赤目修正の信頼度を受け取って、受け取った目の信頼度、および赤目修正の信頼度がそれぞれ予め定められた閾値を超えていない場合には、誤って目を検出した、または、誤って赤目修正処理を画像に施したと判断する。そして、修正結果出力部１６０は、修正度合判断部１４０の判断に基づいて、画像を出力するときには当該画像に含まれている目の信頼度が小さい旨を示す情報を画像に対応づける（Ｓ１０５６）。あるいは、修正結果出力部１６０は、当該画像に含まれる目の信頼度が予め定められた閾値よりも小さい場合には、当該画像に目の信頼度を示す情報を対応づけなくてもよい。

また、修正度合判断部１４０は、赤目検出部１１０において金目が検出された場合には、金目が検出された旨を示す情報を修正結果出力部１６０に供給する。そして、修正結果出力部１６０は、画像を出力するときには当該画像に含まれている目が金目である旨を示す情報を画像に対応づける（Ｓ１０５６）。更に、修正度合判断部１４０は、元の画像に含まれている目が金目でない場合、および黒目ではない場合、並びに、赤目検出部１１０が検出した目の信頼度が大きい場合、および赤目修正部１２０における赤目修正の信頼度が大きい場合には、画像に含まれる目を赤目と判断する。そして、修正結果出力部１６０は、修正度合判断部１４０の判断結果に基づいて、画像を出力するときには当該画像に含まれている目が赤目であることを示す情報を画像に対応づける（Ｓ１０５０）。

図５は、本実施形態に係る赤目補正処理システム１０のハードウェア構成の一例を示す。本実施形態に係る赤目補正処理システム１０は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、および表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、およびＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０を有するレガシー入出力部とを備える。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５およびグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０およびＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部を制御する。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１５４０は、赤目補正処理システム１０内のＣＰＵ１５０５が使用するプログラムおよびデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。

また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、赤目補正処理システム１０が起動時に実行するブート・プログラム、赤目補正処理システム１０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される赤目補正プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。赤目補正プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して赤目補正処理システム１０内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。赤目補正処理システム１０にインストールされて実行される赤目補正プログラムは、ＣＰＵ１５０５等に働きかけて、赤目補正処理システム１０を、図１から図４にかけて説明した画像入力部１００、赤目検出部１１０、黒目検出部１１５、赤目修正部１２０、撮像条件取得部１３０、赤目色情報取得部１３５、修正度合判断部１４０、撮像条件判断部１４５、画像出力部１５０、修正結果出力部１６０、インデックス格納部１７０、表示部１８０、および印刷部１８５として機能させる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

赤目補正処理システム１０の概要を示す図である。 赤目補正処理システム１０の機能構成を示すブロック図である。 インデックスプリント２００を示す図である。 赤目補正処理システム１０の処理の流れを示すフロー図である。 赤目補正処理システム１０のハードウェア構成を示すブロック図である。

符号の説明

１０ 赤目補正処理システム
１２ 受付機
１４ 画像処理装置
１６ プリンタ
１８ パーソナルコンピュータ
１００ 画像入力部
１１０ 赤目検出部
１１５ 黒目検出部
１２０ 赤目修正部
１３０ 撮像条件取得部
１３５ 赤目色情報取得部
１４０ 修正度合判断部
１４５ 撮像条件判断部
１５０ 画像出力部
１６０ 修正結果出力部
１７０ インデックス格納部
１８０ 表示部
１８５ 印刷部
２００ インデックスプリント
２１０、２１２、２１４、２１６、２１８ 画像
３００、３０２、３０４ マーク
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示装置
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ

Claims (16)

1. 複数の画像を入力する画像入力部と、
   前記画像入力部が入力した複数の画像のそれぞれに含まれる赤目を検出する赤目検出部と、
   前記赤目検出部が検出した赤目に赤目修正処理を施す赤目修正部と、
   前記赤目修正部による赤目修正処理の修正度合が予め定められた修正度合より大きいか否かを判断する修正度合判断部と、
   前記赤目検出部によって赤目が検出されなかった画像については赤目修正処理が施されていない画像を出力し、前記赤目検出部によって赤目が検出された画像については赤目修正処理が施された画像を出力する画像出力部と、
   前記画像出力部が出力する画像のうちで、前記予め定められた修正度合より大きい赤目修正処理が施された画像には赤目補正処理が施されたことを示す情報を画像に対応づけて出力し、前記予め定められた修正度合より小さい赤目修正処理が施された画像には赤目修正処理が施されたことを示す情報を画像に対応づけて出力しない修正結果出力部と
   を備える赤目補正処理システム。
2. 前記赤目検出部が検出した赤目修正前の赤目の色を示す情報である修正前色情報を取得する赤目色情報取得部
   をさらに備え、
   前記修正度合判断部は、前記赤目色情報取得部が取得した修正前色情報に基づいて、前記赤目修正部による赤目修正処理の修正度合が予め定められた修正度合より大きいか否かを判断する
   請求項１に記載の赤目補正処理システム。
3. 前記赤目色情報取得部は、前記赤目修正部が赤目修正処理を施した後の赤目の色を示す情報である修正後色情報をさらに取得し、
   前記修正度合判断部は、前記赤目色情報取得部が取得した修正前色情報と修正後色情報とを比較して、前記修正後色情報が示す色の前記修正前色情報が示す色からの変化量が予め定められた範囲内に含まれる場合に、前記赤目修正部の赤目修正処理による修正度合が前記予め定められた修正度合より小さいと判断する
   請求項２に記載の赤目補正処理システム。
4. 前記赤目色情報取得部は、前記赤目検出部が検出した赤目修正前の赤目の領域内の色バランスを示す情報を修正前色情報として取得し、
   前記修正度合判断部は、前記修正前色情報が示す色バランスが予め定められたバランスの場合に、前記赤目修正部の赤目修正処理による修正度合が前記予め定められた修正度合より小さいと判断する
   請求項２に記載の赤目補正処理システム。
5. 前記赤目検出部は、検出した赤目の領域の大きさを示す赤目領域情報をさらに取得し、
   前記修正度合判断部は、前記赤目検出部が取得した赤目領域情報に基づいて、前記赤目修正部による赤目修正処理の修正度合が予め定められた修正度合より大きいか否かを判断する
   請求項１に記載の赤目補正処理システム。
6. 前記赤目検出部は、検出した赤目の画像における位置を示す赤目位置情報をさらに取得し、
   前記修正度合判断部は、前記赤目検出部が取得した赤目位置情報に基づいて、前記赤目修正部による赤目修正処理の修正度合が予め定められた修正度合より大きいか否かを判断する
   請求項１に記載の赤目補正処理システム。
7. 前記画像入力部が入力した複数の画像のそれぞれに含まれる黒目を検出する黒目検出部
   をさらに備え、
   前記修正度合判断部は、前記赤目検出部が検出した赤目と同一の位置に前記黒目検出部が黒目を検出した場合に、前記赤目修正部の赤目修正処理による修正度合が前記予め定められた修正度合より小さいと判断する
   請求項１に記載の赤目補正処理システム。
8. 前記赤目検出部は、前記複数の画像のそれぞれに含まれる赤目候補と赤目のテンプレート画像とをマッチングして、予め定められた第１のマッチング度以上の赤目候補を赤目として検出し
   前記修正度合判断部は、前記第１のマッチング度より大きい予め定められた第２のマッチング度より小さい赤目に前記赤目修正部が赤目修正処理を施した場合に、前記赤目修正部による赤目修正処理の修正度合が前記予め定められた修正度合よりも小さいと判断する
   請求項１に記載の赤目補正処理システム。
9. 前記画像入力部が入力した画像が、ストロボが発光されているときに撮像されたか否かを判断する撮像条件判断部
   をさらに備え、
   前記修正度合判断部は、前記撮像条件判断部によってストロボが発光されていないときに撮像されたと判断された画像についての修正度合を、前記予め定められた修正度合よりも小さいと判断する
   請求項１に記載の赤目補正処理システム。
10. 前記画像入力部が入力した画像に含まれる被写体の輝度が、予め定められた値以上であるか否かを判断する撮像条件判断部
    をさらに備え、
    前記修正度合判断部は、前記撮像条件判断部によって前記被写体の輝度が予め定められた値以上であると判断された画像についての修正度合を、前記予め定められた修正度合よりも小さいと判断する
    請求項１に記載の赤目補正処理システム。
11. 前記画像入力部が入力した画像の撮像時の撮像装置から被写体までの距離が予め定められた範囲内にあるか否かを判断する撮像条件判断部
    をさらに備え、
    前記修正度合判断部は、前記撮像条件判断部によって前記距離が予め定められた範囲内にないと判断された画像についての修正度合を、前記予め定められた修正度合よりも小さいと判断する
    請求項１に記載の赤目補正処理システム。
12. 前記画像入力部が入力した画像の撮像時の光源情報から前記画像が室内で撮像されたか否かを判断する撮像条件判断部
    をさらに備え、
    前記修正度合判断部は、前記撮像条件判断部によって前記画像が室内で撮像されたと判断した画像についての修正度合を、前記予め定められた修正度合よりも大きいと判断する
    請求項１に記載の赤目補正処理システム。
13. 前記画像入力部が入力した画像の撮像時の撮像モードがポートレートモードまたは夜景モードであるか否かを判断する撮像条件判断部
    をさらに備え、
    前記修正度合判断部は、前記撮像条件判断部によって前記画像がポートレートモードまたは夜景モードで撮像されたと判断された画像についての修正度合を、前記予め定められた修正度合よりも大きいと判断する
    請求項１に記載の赤目補正処理システム。
14. 前記画像入力部が入力した画像に赤目修正処理が施されているか否かを判断する撮像条件判断部
    をさらに備え、
    前記修正度合判断部は、前記撮像条件判断部によって前記画像に赤目修正処理が施されていると判断された画像についての修正度合を、前記予め定められた修正度合よりも小さいと判断する
    請求項１に記載の赤目補正処理システム。
15. 赤目修正処理を画像に施す赤目補正処理方法であって、
    複数の画像を入力する画像入力段階と、
    前記画像入力段階において入力された複数の画像のそれぞれに含まれる赤目を検出する赤目検出段階と、
    前記赤目検出段階において検出された赤目に赤目修正処理を施す赤目修正段階と、
    前記赤目修正段階による赤目修正処理の修正度合が予め定められた修正度合より大きいか否かを判断する修正度合判断段階と、
    前記赤目検出段階において赤目が検出されなかった画像については赤目修正処理が施されていない画像を出力し、前記赤目検出段階において赤目が検出された画像については赤目修正処理が施された画像を出力する画像出力段階と、
    前記画像出力段階において出力される画像のうちで、前記予め定められた修正度合より大きい赤目修正処理が施された画像には赤目補正処理が施されたことを示す情報を画像に対応づけて出力させ、前記予め定められた修正度合より小さい赤目修正処理が施された画像には赤目修正処理が施されたことを示す情報を画像に対応づけて出力させない修正結果出力段階と
    を備える赤目補正処理方法。
16. 赤目修正処理を画像に施す赤目補正処理システム用の赤目補正処理プログラムであって、前記赤目補正処理システムを、
    複数の画像を入力する画像入力部、
    前記画像入力部が入力した複数の画像のそれぞれに含まれる赤目を検出する赤目検出部、
    前記赤目検出部が検出した赤目に赤目修正処理を施す赤目修正部、
    前記赤目修正部による赤目修正処理の修正度合が予め定められた修正度合より大きいか否かを判断する修正度合判断部、
    前記赤目検出部によって赤目が検出されなかった画像については赤目修正処理が施されていない画像を出力し、前記赤目検出部によって赤目が検出された画像については赤目修正処理が施された画像を出力する画像出力部、
    前記画像出力部が出力する画像のうちで、前記予め定められた修正度合より大きい赤目修正処理が施された画像には赤目補正処理が施されたことを示す情報を画像に対応づけて出力し、前記予め定められた修正度合より小さい赤目修正処理が施された画像には赤目修正処理が施されたことを示す情報を画像に対応づけて出力しない修正結果出力部
    として機能させる赤目補正処理プログラム。

Images