JP4909009B2 - 撮像装置及び画像処理方法及びプログラム及び記憶媒体 - Google Patents

Description

本発明は撮影された画像内に発生した赤目現象を補正する技術に関する。

従来より、固体メモリ素子を有するメモリカードを記録媒体として、静止画像を記録再生する電子カメラ等の撮像装置は既に市販されている。

また、従来の銀塩フィルムを使用するカメラにおいて、人物をストロボを使用して撮影した場合、目の色が赤く撮影されてしまう赤目現象が発生することがあり問題となっていた。この赤目現象は、暗所で開いている瞳孔に対して入射したストロボ光が網膜の血管を写し出してしまう現象である。これに対して従来の銀塩カメラにおいても、ランプやＬＥＤ、またはストロボのプリ発光等を用いて撮影前に光を被写体に照射し、撮影時に瞳孔を収縮させて赤目現象を緩和しようとしている。しかし、被写体が撮影者側を注視していない場合は赤目緩和効果が少ないなど完全に赤目現象を無くすのは困難であった。

電子カメラにおいてもストロボ撮影時の赤目現象は同様に発生する。従来の電子カメラでも、銀塩カメラと同様に撮影前に被写体に光を照射するという赤目緩和対策がとられているため、銀塩カメラと同様に撮影時の赤目現象は完全には回避できていない。そのため、発生した赤目現象を修正するために、撮影後の電子画像に対して画像処理ソフトなどを使って、手作業で赤目の修正を行う必要が有った。

これに対して、人物の顔や目の位置の検出を自動的に行い、その情報を元に赤目現象が発生した場合に自動または半自動で赤目を修正するという画像処理装置の提案が行われている。例えば、肌色とみなされる領域を切り出すことでまず顔検出を行い、検出された顔領域内に対して赤目検出を行う技術がある（特許文献１参照）。

また、顔形状モデルと顔確率を比較するアルゴリズムとパターンマッチングとを併用して顔検出を行うカメラが提案されている（特許文献２参照）。
特開平１０−０２３３９２９号公報 特開２００１−３０９２２５号公報

しかしながら、これらの技術を用いて赤目を補正しようとしても、赤目補正の処理が完全ではないため、画像によっては誤補正されてしまう場合が発生する。例えば、誤補正を防ぐために彩度の高い赤の領域に限定して赤目補正を行うと、彩度が低い赤目等の場合は検出されずに未補正となってしまう。また、彩度が低い赤目を検出しようとして、彩度の低い領域まで赤目と認識させるようにすると、目付近の肌色等が赤目領域と誤認識され、誤補正されてしまうことがある。

撮影中に記録媒体の容量が不足してしまうことは、できるだけ回避したい。そこで撮影時に赤目を補正したのであれば、補正した画像のみを記録媒体に記録することが望ましい。ここで、撮影時に赤目を補正し、補正した画像のみを記録媒体に記録する撮像装置においては、誤補正の確率を低減させる必要がある。しかし、誤補正を低減させると未補正の確率が増え、満足する赤目補正の効果が得られないという問題があった。これは撮影時に限られず、赤目を補正する前の画像は記録せずに、赤目を補正した後の画像を記録する設定の場合には同様の問題が生じる。

従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、ストロボ撮影時に発生する赤目現象を、状況に応じて、より適切に補正できるようにすることである。

上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、画像から顔領域を検出する顔検出手段と、前記顔領域から赤目領域を検出する赤目検出手段と、前記赤目検出手段により検出された赤目領域を補正する赤目補正処理を行う赤目補正処理手段とを有し、前記顔検出手段は、前記顔領域の検出結果の信頼度を段階的に評価し、前記赤目検出手段は、前記信頼度が閾値に達している顔領域から前記赤目領域を検出するものであり、前記赤目検出手段は、撮像素子により生成された画像に対して前記赤目補正処理を行い、該赤目補正処理を行った後の画像を記録媒体に記録する第１の赤目補正モードにおいては、予め記録媒体に記録された画像を読み出して前記赤目補正処理を行う第２の赤目補正モードよりも、前記閾値を信頼度の高い値に設定することを特徴とする。

また、本発明に係わる画像処理方法は、画像から顔領域を検出する顔検出工程と、前記顔領域から赤目領域を検出する赤目検出工程と、前記赤目検出工程において検出された赤目領域を補正する赤目補正処理を行う赤目補正処理工程とを有し、前記顔検出工程は、前記顔領域の検出結果の信頼度を段階的に評価し、前記赤目検出工程は、前記信頼度が閾値に達している顔領域から前記赤目領域を検出するものであり、前記赤目検出工程は、撮像素子により生成された画像に対して前記赤目補正処理を行い、該赤目補正処理を行った後の画像を記録媒体に記録する第１の赤目補正モードにおいては、予め記録媒体に記録された画像を読み出して前記赤目補正処理を行う第２の赤目補正モードよりも、前記閾値を信頼度の高い値に設定することを特徴とする。

また、本発明に係わるプログラムは、上記の画像処理方法をコンピュータに実行させることを特徴とする。

また、本発明に係わる記憶媒体は、上記のプログラムを記憶したことを特徴とする。

本発明によれば、ストロボ撮影時に発生する赤目現象を、状況に応じて、より適切に補正することが可能となる。

以下、本発明の好適な一実施形態について、添付図面を参照して詳細に説明する。

図１は、本発明の一実施形態に係わるデジタルカメラのブロック構成を示す図である。

図１において、１００はデジタルカメラである。

１０１は撮影レンズ、１０２は絞り機能を備えるシャッター、１０３は光学像を電気信号に変換する撮像素子、１０５は撮像素子１０３のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。

１０６は撮像素子１０３、Ａ／Ｄ変換器１０５、Ｄ／Ａ変換器１０７にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路１０８及びシステム制御回路１０９により制御される。

１１０は画像処理回路であり、Ａ／Ｄ変換器１０５からのデータ或いはメモリ制御回路１０８からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路１１０は、後述する赤目検出処理、赤目補正処理等も行う。

また、画像処理回路１１０においては、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行っている。これらの処理は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路１０９が露光制御部１１１、測距制御部１１２に対して制御を行う処理である。

さらに、画像処理回路１１０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

１０８はメモリ制御回路であり、Ａ／Ｄ変換器１０５、タイミング発生回路１０６、画像処理回路１１０、画像表示メモリ１１３、Ｄ／Ａ変換器１０７、メモリ１１４、圧縮・伸長回路１１５を制御する。

Ａ／Ｄ変換器１０５のデータが画像処理回路１１０、メモリ制御回路１０８を介して、或いはＡ／Ｄ変換器１０５のデータが直接メモリ制御回路１０８を介して、画像表示メモリ１１３或いはメモリ１１４に書き込まれる。

１１３は画像表示メモリ、１０７はＤ／Ａ変換器、１１６はＴＦＴ，ＬＣＤ等から成る画像表示部であり、画像表示メモリ１１３に書き込まれた表示用の画像データはＤ／Ａ変換器１０７を介して画像表示部１１６により表示される。

画像表示部１１６を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。

また、画像表示部１１６は、システム制御回路１０９の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはデジタルカメラ１００の電力消費を大幅に低減することができる。

１１４は撮影した静止画像や動画像を格納するためのメモリである。

複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、画像書き込みをメモリ１１４に対して行う。

また、メモリ１１４はシステム制御回路１０９の作業領域としても使用することが可能である。

１１５は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ１１４に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ１１４に書き込む。

１１１は絞り機能を備えるシャッター１０２を制御する露光制御部であり、フラッシュ１１７と連携することによりフラッシュ調光機能も有するものである。

１１２は撮影レンズ１０１のフォーカシングを制御する測距制御部、１１８は撮影レンズ１０１のズーミングを制御するズーム制御部、１１９はバリアである保護部１５１の動作を制御するバリア制御部である。

１１７はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。

露光制御部１１１、測距制御部１１２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路１１０によって演算した演算結果に基づき、システム制御回路１０９が露光制御部１１１、測距制御部１１２に対して制御を行う。

１０９はデジタルカメラ１００全体を制御するシステム制御回路、１２０はシステム制御回路１０９の動作用の定数、変数、プログラム等を記憶するメモリである。

１２１はシステム制御回路１０９でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等の表示部である。これは、デジタルカメラ１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。

また、表示部１２１は、その一部の機能が光学ファインダー１０４内に設置されている。

表示部１２１の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示等がある。また、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体１２２及び１２３の着脱状態表示、通信Ｉ／Ｆ動作表示、日付け・時刻表示等もある。

また、表示部１２１の表示内容のうち、光学ファインダー１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示、等がある。

１２４は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。

１２５，１２６，１２７，１２８，１２９，１３０は、システム制御回路１０９の各種の動作指示を入力するための操作部である。これらは、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作部の具体的な説明を行う。

１２５はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することができる。

１２６はシャッタースイッチＳＷ１で、シャッターボタンの操作途中（シャッターボタンの半押し）でＯＮとなる。そして、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。

１２７はシャッタースイッチＳＷ２で、シャッターボタンの操作完了（シャッターボタンの全押し）でＯＮとなり、一連の撮影処理の動作開始を指示する。撮影処理では、撮像素子１０３から読み出した信号をＡ／Ｄ変換器１０５、メモリ制御回路１０８を介してメモリ１１４に画像データとして書き込む露光処理が行われる。また、画像処理回路１１０やメモリ制御回路１０８での演算を用いた現像処理も行われる。さらに、メモリ１１４から画像データを読み出し、圧縮・伸長回路１１５で圧縮を行い、記録媒体１２２或いは１２３に画像データを書き込む記録処理も行う。

１２８は画像表示ＯＮ／ＯＦＦスイッチで、画像表示部１１６のＯＮ／ＯＦＦを設定することができる。

この機能により、光学ファインダー１０４を用いて撮影を行う際に、ＴＦＴ，ＬＣＤ等から成る画像表示部１１６への電流供給を遮断することにより、省電力を図ることが可能となる。

１２９はクイックレビューＯＮ／ＯＦＦスイッチで、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定する。

１３０は各種ボタンやタッチパネル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等を備える。また、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン等も備える。さらに、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン、画像削除ボタン、画像削除取消しボタン等も備える。

１３１は電源制御部で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。そして、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路１０９の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

１３２はコネクタ、１３３はコネクタ、１３４はアルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池やＬｉイオン電池等の二次電池、ＡＣアダプター等からなる電源部である。

１３５及び１３６はメモリカードやハードディスク等の記録媒体とのインタフェース、１３７及び１３８はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。また、１３９はコネクタ１３７及び／或いは１３８に記録媒体１２２或いは１２３が装着されているか否かを検知する記録媒体着脱検知部である。

なお、本実施形態では記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明している。もちろん、記録媒体を取り付けるインターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。

インターフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成して構わない。

さらに、インタフェース１３５及び１３６、そしてコネクタ１３７及び１３８をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成した場合、次のような動作を行うことができる。すなわち、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード、等の各種通信カードを接続する。これにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。

１５１は、デジタルカメラ１００のレンズ１０１を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護部である。

１０４は光学ファインダであり、画像表示部１１６による電子ファインダー機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。また、光学ファインダー１０４内には、表示部１２１の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などが設置されている。

１１０は通信部で、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能を有する。

１１２は通信部１１０によりデジタルカメラ１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

１２２はメモリカードやハードディスク等の記録媒体である。

記録媒体１２２は、半導体メモリや磁気ディスク等から構成される記録部１４５、デジタルカメラ１００とのインタフェース１４３、デジタルカメラ１００と接続を行うコネクタ１４１を備えている。

１２３はメモリカードやハードディスク等の記録媒体である。

記録媒体１２３は、半導体メモリや磁気ディスク等から構成される記録部１４６、デジタルカメラ１００とのインタフェース１４４、デジタルカメラ１００と接続を行うコネクタ１４２を備えている。

図２は、本実施形態のデジタルカメラを背面から見た概観斜視図である。

２０１は電源ＯＮ／ＯＦＦのためのボタンである。２０２はモード切り替えレバーで、撮影モード、再生モード、動画撮影モード、静止画撮影モード等の各機能モードを切り替え設定することができる。２０３はシャッターボタンを示す。カメラの撮影画像は画像表示部１１６に表示されるが、これは通常ＬＣＤ（液晶ディスプレイ）を使用しているので、以下、ＬＣＤと称する場合もある。静止画像及び／或いは動画像の再生等のための画面もこのＬＣＤ１１６に表示される。２０５はＭＥＮＵボタンで、撮影パラメータやカメラの設定を変更するためのメニュー画面に出入りするためのボタンである。２０６はＳＥＴボタンで、メニューの決定等に使用する。２０７は削除ボタンで、画像の削除を指定することができる。２０８はＤＩＳＰボタンで、ＬＣＤ１１６における表示の有り無しなどを切り替えるボタンである。２０９は十字ボタンで、この上下左右ボタンを使ってメニュー画面での項目の移動などを行ったり、再生モードでは左右ボタンを押して画像送りを行ったりするのに使用する。

図３は、撮影時に赤目を補正して補正画像を保存する第１赤目補正モードの動作を説明するフローチャートである。

第１赤目補正モードが選択されている場合、画像の撮影が開始されると、ステップＳ３０２において撮像素子により露光された信号がＡ／Ｄ変換され、デジタル化された信号に対して撮影画像処理が実施される（ステップＳ３０３）。詳細は省略するが、この撮影画像処理は、ＣＣＤの配列信号から画像データである輝度信号Ｙ、色差信号ＵＶへと変換するものである。

次に画像データから画像内の顔領域を検出する顔検出処理が実施される（ステップＳ３０４）。ここでの顔検出は特開２００１−３０９２２５号公報に示されているパターンマッチングにより検出される。また、パターンマッチング時の一致度合いは顔らしさを示す尺度である顔信頼度を求めることにより判別することが可能であり、本実施形態の顔検出においては１〜１０までの１０段階で信頼度が出力されるようになっている。

ここで、信頼度１はパターンマッチング時の一致度が高く、顔である可能性が高いものを示し、信頼度１０はパターンマッチング時の一致度が低く、顔である可能性が低いものを示すものとする。信頼度１０から信頼度１に向かって、段階的にパターンマッチング時の一致度が高くなる。

また、同時に顔サイズが出力されるが、これは、顔として認識された領域の縦横の長い方の画素数として出力される。顔領域と信頼度および顔サイズが出力されると、求められた信頼度とあらかじめ設定されている閾値ＦＲ（ここでは３に設定）が比較され、閾値ＦＲ以下の場合（信頼度１、２、および３の場合）は顔領域として設定し、閾値ＦＲより大きい場合は顔領域ではないと認識される。

さらに顔サイズ閾値ＦＳと顔サイズが比較され、閾値ＦＳより小さい顔領域は顔領域ではないと認識される。ここでは、顔サイズ閾値は２００に設定される。顔領域が検出された場合、検出された顔領域から目の領域を推測し、この推測目領域を対象として、赤目検出処理が実施される（ステップＳ３０５）。

赤目検出処理により赤目領域が検出されると、その領域を対象に、赤目補正処理が実施される（ステップＳ３０６）。

赤目補正処理が実施されると、補正された画像がＬＣＤ上に表示され（レックレビュー動作）、それと同時に補正画像ファイルが記録媒体上にＪＰＥＧフォーマットに変換された後に、記録される（ステップＳ３０８）。

ここで、第１赤目補正モードにおける赤目検出処理について、図４のフローチャートを参照して説明する。

まず図４のステップＳ５０２において、推測目領域における各画素の色相と彩度とを調べる。そして続くステップＳ５０３において算出した彩度の最大値を抽出し、ステップＳ５０４で検出した彩度の最小値を抽出する。そしてステップＳ５０５では、検出した彩度の最大値と最小値より彩度閾値Ｔsatを設定する。この彩度閾値Ｔsatは、次のようにして設定される。

Ｔsat１＝｛（彩度の最大値）−（彩度の最小値）｝×０．７＋（彩度の最小値）
Ｔsat２＝０．１５
Ｔsat＝max（Ｔsat１，Ｔsat２）
続いてステップＳ５０６で検出領域の全ての画素に対して色相と彩度を演算してステップＳ５０７で赤目を構成する可能性のある画素を以下の条件で抽出する。この抽出条件は、
条件１：−３０°＜色相＜１３°
条件２：Ｔsat＜彩度
である。

ステップＳ５０８で抽出画素数を調べる。そして抽出画素数がまったく無い場合には候補となる画素が領域に存在しないため、ステップＳ５０９でこの領域を赤目対象領域より外すことになる。そしてステップＳ５１１に進む。一方、ステップＳ５０８で対象となる画素がある場合にはステップＳ５１０に進み、この画素数を保持する。そしてステップＳ５１１に進む。

ステップＳ５１１では、全ての推測目領域に対する処理が終了したか否かを調べ、全ての領域に対する処理が終了していない場合にはステップＳ５０２に戻り次の推測目領域に対する処理を行う。処理が終了している場合には当該処理を終了する。この時点で赤目候補領域が決定される。

赤目候補領域が決定されると、その中から赤目領域を検出する処理が開始される。この動作について図５を用いて説明する。

まず、ステップＳ６０２からステップＳ６０５で画素配列を個々の領域にクラスタリングして領域の形状・大きさの判断を行う。即ち、ステップＳ６０２で先のステップＳ５０７で抽出された画素に対してラベリングを実施して、この抽出画素の固まりを有効画素の塊として取り扱えるようにクラスタリングする。このラベリングの例を図６に示す。

続いてステップＳ６０３でラベリングされた領域毎に領域の特性を演算する。この領域の特性の演算については後述する。そして、ステップＳ６０４で領域の演算結果に従って当該領域が所定評価値に達しているか否かを調べる。そして、ステップＳ６０５でこの結果、赤目候補領域があるか否かを判断する。赤目領域が残っていない場合には終了となる。

一方、ステップＳ６０５で候補がある場合にはステップＳ６０６に進み、領域の周辺の状況を調べて候補を限定する。この領域の周辺の状況を調べる処理の詳細は後述する。そしてステップＳ６０７においてこの時点での赤目候補領域が存在するか否かを調べる。赤目候補領域が存在しない場合には終了となる。

一方、ステップＳ６０７で赤目候補が存在すればステップＳ６０８に進み、候補領域の評価指数を元に領域の優先順位付けを行う。そしてステップＳ６０９に進み、複数の候補が存在するか否かを調べる。複数の候補が存在せず１つの特徴領域のみが候補である場合には赤目検出終了となる。

一方、ステップＳ６０９で赤目領域候補が複数存在した場合には更に候補の絞り込みを行うため、ステップＳ６１０で特徴領域の組み合わせを検出する。ここでは、複数の領域から左右の赤目ペアとして妥当な領域の組み合わせを検出する。組み合わせの要素は、２領域間の色相の差、２領域間の彩度の差、２領域間の明度の差、２領域間の面積比、２領域間の距離（顔領域の大きさより算出した基準値を基に比較する）、面積の平均値、２領域間の類似度等である。そしてこれらの組み合わせ要素を総合的に判断してペアとして妥当か否かを検出する。

この処理は特に３つ以上の領域が検出された時に任意の２つの領域がペアを構成するか否かを判断する際に有効である。例えば、色の差については、２つの領域の画素の平均値からそれらの色差を求め、これが所定値以下であればペアとして合格とする。また、大きさの差のチェックでは、面積比があまりにも大きく異なる場合にはペアでないと判断する。

ここでは、赤目の直径が６画素以下の低倍率での撮影時には誤差が大きくなるため、撮影倍率を考慮して（大きい方の面積）／（小さい方の面積）＜６とする。また、赤目の直径が１２画素以下では（大きい方の面積）／（小さい方の面積）＜３とする。さらに、その他の場合には（大きい方の面積）／（小さい方の面積）＜１．５とする。

また、間隔の検出では、顔領域の大きさより実際の目の間隔を推定し、この距離が一定の範囲に含まれているか否かを基準に行う。一般的に人の目の間隔は、平均６５ｍｍであり、誤差を考慮に入れても５０ｍｍ〜８０ｍｍ程度と見込むことができる。また、赤目の大きさは４ｍｍ〜１４ｍｍ程度であることから、２つの領域の大きさと間隔の関係が以下の範囲内であればペアとして合格とする。

（両領域の間隔／大きさ）：最大値（８０ｍｍ／４ｍｍ）＝２０
最小値（５０ｍｍ／１４ｍｍ）＝３．５
なお、上述した要素に加えて、水平方向に並んでいるかどうかもペアの評価要素に加えてもよい。この場合には、条件を満たす領域が複数検出された場合に、もっとも確率の高い候補を選択するために、連続的な値を得る評価関数を設定する。

そして、次のステップＳ６１１でこのようにしてペア候補が検出されたか否かを調べる。検出されていない場合には赤目検出終了となる。

ペア候補が検出された場合にはステップＳ６１２に進み、検出領域に対して優先順位付けが行われ赤目検出終了となる。

次にステップＳ６０３における領域特性演算処理について説明する。

この処理では、以下に示す各評価要素をステップＳ６０２でクラスタリングされた各赤目候補領域に対して順次演算し、最後にこれらの評価値が所定閾値以上であれば赤目領域とする。
（１）中央部に白領域が存在するか
撮影倍率が高い場合には、赤目領域内にキャッチライトによる明領域が含まれていることがある。したがって、領域内に白領域を含む領域は赤目である可能性が高いとして評価することができる。

白領域は輝度を基準にして判断し、２つの領域の重心位置の距離と赤目候補領域の平均的な半径の評価値、及び、
｛（白領域の大きさ）／（赤領域の大きさ）｝≦（閾値ＷＲ）
を評価し、この閾値ＷＲを０．５程度に設定すればよい。
（２）円らしさの判定
赤目領域は基本的には丸いはずだが以下の要因により、丸とは異なった形状を有するようになってくる。
・キャッチライトが赤目の円周部に発生。
・画素の間引きで絵が荒くなり、円というより矩形に近づく。
・肌の一部として結合してしまう。特に撮影倍率が低い場合など、色がなだらかにつながってしまう。

こうした要因で、赤目であっても円にならない場合があり、完全な丸らしさを評価要因とするのは危険である。そこで、円らしさの評価式として
（領域の周囲長）²／（領域の面積）＝（２πｒ）²／πｒ²＝４π
を採用しており、上式で＝以降は完全な円を仮定した場合の値である。領域の形状が円から遠ざかる程、この値は４πより大きくなっていく。

本実施形態ではこの評価閾値Ｃを前述の理由により５０と大きめに設定している。
（３）実際の大きさ
大きさの評価などでは、赤目領域の実際の大きさを、領域の画素長と画像サイズや撮影倍率から算出し、この大きさが赤目として妥当なものかどうかを評価する。
（４）その他
以上の他に、領域の周囲長、領域に外接する矩形、領域内の最大長、色相平均値、彩度平均値、輝度平均値をそれぞれ検出し、赤目領域として妥当な範囲内か否かを評価する。

更に、ステップＳ６０６の領域の周辺状態との比較処理においては、以下の各要素を評価する。
（１）近傍に黒領域が存在するか
赤目が存在する周辺にはほとんど黒領域が存在するため、周辺赤領域以外で肌の基準色より明度が低い画素について色差の積分を行う。これを有効だった画素数で割り、低輝度部の平均色差を算出する。これにより、周りに黒い画素が多い程、数値が高くなる評価関数が生成できる。
（２）近傍に白領域が存在するか（白目があるか）
赤目が存在する周辺には白領域が存在することが多い。このため、周辺赤領域以外で肌の基準色より明度が高い画素について色差の積分を行う。これを有効だった画素数で割り、高輝度部の平均色差を算出する。これにより、周りに白画素が多い程、数値が高くなる評価関数が生成できる。

しかし、白領域が存在しない例も多いため、この評価ウエイトは低く設定されている。
（３）彩度の発散
赤目領域は周辺が黒領域で囲まれていることが多く、彩度の変化が急峻であることが多い。そこで、赤目領域の周辺に沿って周回路に垂直な方向に彩度の微分を演算し、この演算値を周回路に沿って積分することにより、赤目領域の周辺の変化量を表す目安となる値が得られる。この値を評価値とする。

以上説明した各要素毎に評価の重み付けを行い、確実かつ誤検出の少ない赤目領域の検出を行っている。

次に、赤目補正処理の詳細を説明する。図７は本実施形態における赤目補正処理を説明するための図である。

赤目を補正する際には、落とす彩度と明度の低減レベルを１画素毎に決定する。基本的には、図７のように赤目領域は彩度を元のＴＳ［％］、明度を元のＴＬ［％］に低減し、その周辺画素ではぼかし効果を持たせて、自然な修正とするために、図のような傾斜を持たせて低減を行う。

ここで、Ｄは検出された赤目領域の直径であり、領域画素数に基づき算出した値である。これらのデータに基づき、赤目領域およびその周辺の明度と彩度の低減レベルデータを作成する。

この低減レベルデータに基づいて、明度と彩度を画素毎に下げ、赤目の修正が完了する。

本実施形態においては、決定された赤目領域の画像データに対して、例えば、彩度低減値ＴＳを４０％に、明度低減値ＴＬを６０％にする処理を行う。

また、赤目領域の周辺と滑らかに接続するために、周辺の領域もなだらかに彩度、明度を低下させている。この低下範囲は、彩度は赤目領域の平均直径Ｄの１／３、明度は平均直径Ｄの１／５としている。

以上が第１赤目補正モードにおける赤目補正処理についての説明である。

次に、既に記録媒体に記録されている画像について赤目補正を行う第２赤目補正モードについて説明を行う。

図８は、記録媒体から画像を読み出してその画像について赤目を補正して補正画像を保存する第２赤目補正モードの動作を説明するフローチャートである。

画像を再生している場合に、第２赤目補正モードによる赤目補正が選択されると、画像データが記録されている記録媒体内から、赤目補正の対象として選択された画像データが読み出される（ステップＳ４０２）。

読み出された画像データであるＹＵＶ信号が顔検出処理（画像処理回路１１０）へと送られ、画像データから画像内の顔領域を検出する顔検出処理が実施される（ステップＳ４０３）。

ここで、顔として検出される領域は、第１赤目補正モードにおいては、信頼度が３以下（信頼度１、２、および３）と設定されていたのに対して、第２赤目補正モードにおいては、信頼度が５以下（信頼度１、２、３、４、および５）のものを顔領域として認識する。また、顔サイズ閾値ＦＳは１００に設定される。すなわち、信頼度の低いもの、顔サイズの小さいものも顔領域と認識されるため、第１赤目補正モードに対して、第２赤目補正モードでは顔領域として認識される条件が緩やかになり、顔として検出される確率が向上する（ただし、誤認識の確率も増加する）。これは、画像再生時の赤目補正処理では、補正されていない元画像もそのままの形で記録媒体上に残ることになるため、赤目の誤補正を行ったとしても再度やり直すことなどもできるからである。そして、顔領域が検出された場合、検出された顔領域から目の領域を推測し、この推測目領域を対象として、赤目検出処理が実施される（ステップＳ４０４）。

赤目検出処理により赤目領域が検出されると、その領域を対象に、赤目補正処理が実施される（ステップＳ４０５）。

赤目補正処理が実施されると、補正された画像がＬＣＤ１１６上に表示される（ステップＳ４０６）。

また、ＬＣＤ１１６上には[保存する]／[キャンセル]の選択が可能なＵＩが表示され、ユーザーは補正された画像をＬＣＤ上で確認し、誤補正が発生しているかを確認し、誤補正が発生していない場合は[保存する]を選択する。[保存する]が選択された場合は、補正画像ファイルがＪＰＥＧフォーマットに変換された後に、記録媒体上に新規ファイルとして記録され終了となる（ステップＳ４０８）。一方、[キャンセル]が選択された場合には、補正画像は保存されずに終了となる。

第２赤目補正モードにおける、赤目検出処理について説明を行う。

赤目検出処理の流れおよび、アルゴリズムは第１赤目補正モードとまったく同じものが用いられるが、設定されるパラメータが異なる。

まず、図４におけるステップＳ５０５において、彩度閾値Ｔsatは以下の式により求められる。

Ｔsat１＝｛（彩度の最大値）−（彩度の最小値）｝×０．４＋（彩度の最小値）
Ｔsat２＝０．１５
Ｔsat＝max（Ｔsat１，Ｔsat２）
また、ステップＳ５０７で赤目を構成する可能性のある画素を抽出するが、この検出条件は、以下のように設定される。

条件１：−４０°＜色相＜２０°
条件２：Ｔsat＜彩度
これにより、第１赤目補正モードより低彩度であり、かつ色相も広い範囲の色が赤目候補領域として検出可能となる。

また、赤目候補領域から赤目領域を検出するパラメータにおいても、ステップＳ６０３の領域特性演算処理の閾値ＷＲを０．８、円らしさの判定閾値Ｃを８０に設定する。これにより、第１赤目補正モード時よりも赤目領域の誤検出率は増加するが、赤目領域として検出される確率が向上する。

このようなパラメータを第２赤目補正モードに設定することにより、第１赤目補正モードにて赤目領域として検出されなかった赤目である部分も、第２赤目補正モードにおいては赤目領域として検出することが可能となる。

また、赤目補正処理においては、決定された赤目領域の画像データに対して、パラメータとして彩度低減値ＴＳを２０％に、明度低減値ＴＬを３０％にする処理を行う。

これにより、第１赤目補正モードに対して、補正強度が強くなり、第１赤目補正モードで補正量が弱く完全に補正できなかったレベルの赤目も、完全に補正することが可能となる。

以上のように、第２赤目補正モードでは第１赤目補正モードよりも信頼度の低いものも顔領域として認識するように、顔領域として認識するために満たすべき条件を異ならせることにより、第１赤目補正モードに対して、顔領域として検出される確率を向上させている。本実施形態では検出された顔領域の中から、赤目領域が検出されるため、画像から顔領域として検出される確率を向上させることで、画像から赤目領域が検出される確率も向上すると考えられる。

さらに、第１赤目補正モードに対して、第２赤目補正モードにて設定される赤目検出に用いられる赤目候補領域を特定する彩度閾値Ｔsatを低下させ、色相範囲を広げ、赤目候補領域から赤目領域を決定する特性演算処理の閾値ＷＲを大きくする。これにより、赤目領域として検出される確率そのものも向上させることが可能となる。

また、赤目補正処理においては、第１赤目補正モードに対して、第２赤目補正モードにて設定される、彩度低減値ＴＳおよび、明度低減値ＴＬを低く設定することにより、赤目補正強度を強くすることが可能となる。

本実施形態においては、第１赤目補正モードと第２赤目補正モードにおいて顔検出処理における顔領域として検出される確率、赤目検出処理における赤目領域として検出される確率、赤目補正処理の強度に関するパラメータの全てを変更した。しかし、これらのパラメータの少なくとも一つのパラメータが変更されるようにしてもよい。

また、本実施形態においては、第１赤目補正モードと第２赤目補正モードにおいて変更していないパラメータもあるが、これらも変更してもよいことは言うまでもない。

また、本実施形態で説明した顔検出処理、赤目検出処理、赤目補正処理はあくまで一例であり、本実施形態と異なる処理を用いることもできる。その場合でも、第２赤目補正モードに対して第１赤目補正モードの顔領域として検出される確率が低下、赤目領域として検出される確率が低下、赤目補正処理強度が低下するようなパラメータの少なくともいずれかを設定すれば、本発明の効果を得ることが可能である。

以上説明したように、上記の実施形態によれば、補正前の元画像が残らない撮影時の第１赤目補正モードでは、赤目領域として検出される確率や赤目補正強度を低下させることにより、誤補正を防止することができる。また、補正前の元画像が残る再生時の第２赤目補正モードでは、赤目領域として検出される確率や赤目補正強度を高くすることにより、第１赤目補正モードで補正しきれなかった赤目なども補正することができるとともに、より確実に赤目を補正することが可能となる。なお、第１赤目補正モードは撮影時に限定されるわけではない。撮影時、再生時に限定されずに、赤目補正前の元画像が残らない第１赤目補正モードと、赤目補正前の元画像が残る第２赤目補正モードを備えているならば、本発明の効果を得ることが可能である。

（他の実施形態）
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。

本発明の一実施形態に係わるデジタルカメラのブロック構成を示す図である。 一実施形態のデジタルカメラを背面から見た概観斜視図である。 第１赤目補正モードの流れを示すフローチャートである。 赤目候補領域検出処理の流れを示すフローチャートである。 赤目領域検出処理の流れを示すフローチャートである。 赤目検出処理に用いられるラベリング処理を説明する図である。 赤目補正処理を説明する図である。 第２赤目補正モードの流れを示すフローチャートである。

Claims (5)

1. 画像から顔領域を検出する顔検出手段と、
   前記顔領域から赤目領域を検出する赤目検出手段と、
   前記赤目検出手段により検出された赤目領域を補正する赤目補正処理を行う赤目補正処理手段とを有し、
   前記顔検出手段は、前記顔領域の検出結果の信頼度を段階的に評価し、
   前記赤目検出手段は、前記信頼度が閾値に達している顔領域から前記赤目領域を検出するものであり、
   前記赤目検出手段は、撮像素子により生成された画像に対して前記赤目補正処理を行い、該赤目補正処理を行った後の画像を記録媒体に記録する第１の赤目補正モードにおいては、予め記録媒体に記録された画像を読み出して前記赤目補正処理を行う第２の赤目補正モードよりも、前記閾値を信頼度の高い値に設定することを特徴とする撮像装置。
2. 前記赤目検出手段は、画像から赤目領域の可能性がある赤目候補領域を求め、該赤目候補領域に対して、面積、最大長、彩度平均値、色相平均値、輝度平均値、形状、の各項目の少なくとも１つの項目に関して評価値を算出して、算出した評価値を用いて赤目領域を決定することを特徴とする請求項１に記載の撮像装置。
3. 画像から顔領域を検出する顔検出工程と、
   前記顔領域から赤目領域を検出する赤目検出工程と、
   前記赤目検出工程において検出された赤目領域を補正する赤目補正処理を行う赤目補正処理工程とを有し、
   前記顔検出工程は、前記顔領域の検出結果の信頼度を段階的に評価し、
   前記赤目検出工程は、前記信頼度が閾値に達している顔領域から前記赤目領域を検出するものであり、
   前記赤目検出工程は、撮像素子により生成された画像に対して前記赤目補正処理を行い、該赤目補正処理を行った後の画像を記録媒体に記録する第１の赤目補正モードにおいては、予め記録媒体に記録された画像を読み出して前記赤目補正処理を行う第２の赤目補正モードよりも、前記閾値を信頼度の高い値に設定することを特徴とする画像処理方法。
4. 請求項３に記載の画像処理方法をコンピュータに実行させるためのプログラム。
5. 請求項４に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images