JPH11232442A

JPH11232442A - 赤目低減システム

Info

Publication number: JPH11232442A
Application number: JP10304736A
Authority: JP
Inventors: Qian Lin; キアン・リン; Daniel R Tretter; ダニエル・アール・トゥリッター; Konstantinos Konstantinides; コンスタンチノス・コンスタンチニデス; Andrew Parry; アンドリュー・パティ
Original assignee: Hewlett Packard Co
Current assignee: HP Inc
Priority date: 1997-10-23
Filing date: 1998-10-13
Publication date: 1999-08-27
Also published as: EP0911759A2; US6016354A; EP0911759A3

Abstract

(57)【要約】【課題】目の自然な外観を維持しつつ、最小限のユーザ
の介入で、画像の赤目を自動的に低減させることができ
る。【解決手段】画像が赤い瞳孔の眼を含む場合において、
赤色のピクセルを表す第１の状態領域および他の色のピ
クセルを表す第２の状態領域を持つマスクに、画像を変
換するマスキング・モジュールと、マスキング・モジュ
ールに連結され、瞳孔に似たマスクの実質的な第１の状
態領域を探知する瞳孔探知モジュールと、瞳孔探知モジ
ュールに連結され、予め定められた色に前記領域の赤色
のピクセルを変更するカラー置換モジュールであって、
前記領域の近傍ピクセルの色が十分赤に近いと判断され
る場合には、該近傍ピクセルの色を、前記予め定められ
た色に変更することにより、前記領域の境界を調整する
カラー置換モジュールと、を備える赤目低減システムに
より自動的に赤目を低減させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタル画像処理
に関する。より具体的には、本発明は、目の自然な外観
を維持しつつ、デジタル画像の赤目を自動的に低減させ
ることに関する。

【０００２】

【従来の技術】既知であるように、比較的暗い環境で人
の写真を撮ることは、露光不足を避けるためにフラッシ
ュを必要とする。しかしフラッシュの使用は、多くの場
合写真で人の目が赤くなるという結果になり、写真にお
ける人を「幽霊のように」すなわち不自然にする。通常
これを、「赤目」現象または単に赤目と呼ぶ。

【０００３】通常赤目は、暗さの中でフラッシュに素早
く適応することができていない人の瞳孔から生じる。既
知のように、人の瞳孔は暗い環境では広がる。フラッシ
ュが生ずるとき、フラッシュのその突然さのために、瞳
孔はサイズを小さくすることができない。これが通常、
目の後ろの網膜から反射するフラッシュを引き起こし、
赤目を生じさせる。

【０００４】いくつかの従来技術が、赤目の影響を低減
させるために提示されている。一般的な従来技術のアプ
ローチは、カメラで複数のフラッシュを使用し、画像を
露光して取り込むのに最後のフラッシュが使用される前
に、瞳孔を収縮させることである。しかし不利な点が、
この従来技術のアプローチに関連して存在する。

【０００５】１つの不利な点は、最初のフラッシュが生
じる時と、写真が実際に撮られる時の間の遅延である。
これは、露光ボタンが押された後、写真が撮られるのに
数秒かかることを意味する。これは混乱を引き起こし、
画像が取り込まれる前に、対象がポーズをとった位置か
ら動くことがある。さらに、実写の間にカメラのこの機
能が使えることをユーザが忘れると、すなわちカメラが
そのような赤目防止の機能を備えていないとき、赤目の
問題がなお生じる。さらに、この従来技術のアプローチ
は、すでに撮影された写真については、赤目の問題を解
決することができない。

【０００６】画像処理技術の進歩により、コンピュータ
システムで画像をデジタル化し、そのデジタル化された
画像を格納することが可能である。これは通常、デジタ
ルカメラを使用してデジタル的に画像を取り込むか、ま
たは画像をデジタル形式に変換するスキャナを使用する
かのどちらかで行われる。デジタル画像は、マトリクス
に並べられた画像ピクセルを表すデータを含む。デジタ
ル画像のデータは、その後コンピュータに格納される。
デジタル画像を、表示のため検索することができ、また
コンピュータでデジタル的に変更することもできる。

【０００７】画像がデジタル画像として取り込まれ、ま
たはデジタル画像に変換されるので、画像の赤目の問題
をデジタル的に訂正することが可能である。いくつかの
従来技術方式が、デジタル的に赤目問題を訂正するため
に提示されている。そのような従来技術方式の１つは、
単にユーザに、デジタル的に赤目を手動で塗るための手
段を提供する。この従来技術方式の不利な点は、赤目を
塗りつぶすのに何らかの描画技術がユーザに必要とされ
ることである。他の不利な点は、赤目の訂正が自動的に
行われるというより、手動で行われるということであ
る。

【０００８】別の従来技術のアプローチは、瞳孔の中央
を正確に探知するようユーザに要求し、そのため黒い円
が赤目領域にかぶさって置かれるというものである。こ
の従来技術のアプローチの不利な点は、赤目領域が多く
の場合に円形の領域ではないということである。これに
より、赤目領域の一部が黒い円によって覆われないこと
が生じる。さらに、黒い円が赤目領域の周辺領域（すな
わち、ピンクの輪）を覆うことができないことがある。
さらにまた、赤い瞳孔を完全な黒い円で置き換えるの
は、瞳孔のきらめきを覆ってしまうこともある。既知の
ように、瞳孔のきらめきは、通常明るい「白」スポット
である。このように、この種の訂正の結果は、多くの場
合非常に人目をひいて望ましくなく、しかも時々画像の
目の自然な外観を破壊する。

【０００９】

【発明が解決しようとする課題】本発明は、目の自然な
外観を維持しつつ、ユーザの最小限の介入で、画像の赤
目を自動的に低減させることを目的とする。

【００１０】

【課題を解決するための手段】本発明の１つの特徴は、
デジタル画像の赤目を低減させることである。本発明の
他の特徴は、ユーザの最小限の介入で、画像の赤目を自
動的に低減させることである。本発明のさらなる特徴
は、目の自然な外観を維持しつつ、画像の赤目を低減さ
せることである。また本発明の特徴は、赤目を訂正する
ため、丈夫でユーザフレンドリーな取り合わせを提供す
ることである。

【００１１】マスキング・モジュールを含む赤目低減シ
ステムについて記述する。マスキング・モジュールは、
画像の赤色のピクセルを表す第１の状態領域および画像
の他の色のピクセルを表す第２の状態領域を持つマスク
に、画像を変換する。画像は、赤い瞳孔をもつ眼を含
む。瞳孔探知モジュールはマスクキングモジュールに連
結され、瞳孔に似たマスクの実質的な第１の状態領域を
探知する。カラー置換モジュールは瞳孔探知モジュール
に連結され、領域の赤色のピクセルを、モノクロ（グレ
ー）または他の予め定められた色に変更する。またこれ
らのピクセルの色が十分赤に近いと判断される場合に
は、カラー置換モジュールは、領域の近傍のピクセルの
色を変更することにより、領域の境界を調整する。

【００１２】デジタル画像の赤目を低減させる方法につ
いて記述する。方法は、画像の赤色のピクセルを表す第
１の状態領域および画像の他の色のピクセルを表す第２
の状態領域を持つマスクに、赤い瞳孔の眼をもつ画像を
変換するステップを含む。その後マスクが処理され、瞳
孔に似たマスクの実質的な第１の状態領域を探知する。
方法は、領域の近傍ピクセルの色が赤に十分近いと判断
されるときには、領域の赤色のピクセルを、モノクロ
（グレー）または境界の調整により予め定められた色に
変更する。

【００１３】本発明の他の特徴および利点は、以下の詳
細な説明および添付図面から明らかである。

【００１４】

【発明の実施の形態】図１は、本発明のある実施形態を
実現する赤目低減システム１０を示す。本発明のある実
施形態によると、赤い瞳孔が置かれる領域にユーザが印
をつけると、赤目低減システム１０は画像の赤目を低減
または最小にする。目の自然な外観を維持しつつ、赤目
低減システム１０は自動的に赤目を低減させる。

【００１５】以下詳細に記述するように、赤目低減シス
テム１０はユーザ・インターフェース１５を含む。ユー
ザ・インターフェース１５は、赤目低減システム１０の
ユーザが、赤目の影響を低減させるため赤目低減システ
ムで処理されるべき領域に印をつけ、すなわち領域を定
めることを可能にする。領域は、赤い瞳孔を含む。さら
に、赤目低減システム１０はマスキング・モジュール１
６を含む。マスキング・モジュール１６は、赤い瞳孔を
含む印がついた領域を、第１の状態領域（例えば、白）
および第２の状態領域（例えば、黒）のバイナリマスク
に変換する。バイナリマスクの「白」領域は、画像の印
がついた領域の赤色のピクセルを表す。「黒」領域は、
画像の印がついた領域の他の色のピクセルを表す。

【００１６】また赤目低減システム１０は探知モジュー
ル１７を含み、瞳孔に似たバイナリマスクの実質的な
「白」領域を探知する。さらに赤目低減システム１０は
カラー置換モジュール１８を含み、領域の赤色のピクセ
ルを、モノクロ（グレー）または他の予め定められた色
に変更する。これは、通常は明るい赤くないスポットで
ある瞳孔のきらめきを維持する。さらにまた、カラー置
換モジュール１８は、領域の近傍のそれらのピクセルの
色が十分赤に近いと判断する場合には、それらのピクセ
ルの色をモノクロ（グレー）または他の予め定められた
色に変更することにより、領域の境界を調整する。赤目
低減システム１０については、図１から図１０と共に、
以下に詳細に説明する。

【００１７】赤目低減システム１０は、ソフトウェア、
ハードウェアまたはファームウェアで実現することがで
きる。これは、モジュール１５から１８のそれぞれがソ
フトウェア、ハードウェアまたはファームウェアで実現
することができることを意味する。ある実施形態では、
赤目低減システム１０は、コンピュータシステム（示さ
れていない）上で走るソフトウェア・アプリケーション
プログラムである。赤目低減システム１０を実行するコ
ンピュータシステムは、パーソナルコンピュータ、ミニ
コンピュータ、ワークステーション・コンピュータ、ノ
ート・パソコン、ネットワーク・コンピュータ、サーバ
・コンピュータまたは任意の他のデータ処理システムで
あることもできる。代わりに、赤目低減システム１０の
１または複数のモジュールをハードウェアまたはファー
ムウェアで実現することができ、他のモジュールはなお
ソフトウェアモジュールであることができる。

【００１８】さらに赤目低減システム１０を、画像シス
テム（示されていない）で実現することができる。画像
システムは、画像表示システム、走査対印刷システム、
または単にディスプレイを持つコンピュータシステムで
あることができる。また、画像システムは、他の種類の
画像システムであることもできる。

【００１９】図１に示すように、赤目低減システム１０
のユーザ・インターフェース１５が、オリジナル画像１
１を表示するのに使用される。オリジナル画像１１は、
赤目すなわち赤い瞳孔を持つ。図３は、例としてそのよ
うな画像を示す。図３からわかるように、眼３５および
３６のそれぞれは、赤い瞳孔（すなわち、瞳孔３８また
は３９）を持つ。また図３は、２つの印がついた、すな
わち定められた領域３１および３２を示す。

【００２０】ある実施形態では、印がついた領域３１お
よび３２は、ユーザによりユーザ・インターフェース１
５を介して印がつけられる。印がついた領域３１および
３２は、以下に詳細に記述する。

【００２１】図３からわかるように、印がついた領域３
１および３２のそれぞれは長方形であり、この長方形は
くすんだ暗い色に再度色づけされるべき赤い瞳孔（例え
ば、瞳孔３８または３９）を囲んでいる。しかし、印が
ついた領域（３１または３２）は長方形である必要はな
く、一般に多角形または曲線の形を持つことができるこ
とに注意すべきである。長方形の形は、単に例として示
されている。印がついた領域（例えば、印がついた領域
３１または３２）の画像は、Ａ＝｛ａ_ij｝として表さ
れ、ここでａ_ijは画像Ａ内のピクセルを表す。

【００２２】図１を再び参照すると、オリジナル画像１
１はデジタル画像であり、このデジタル画像は画像取り
込み装置から得られることができる。既知の技術が、オ
リジナル画像１１を得るのに使用される。例えば、オリ
ジナル画像１１は、スキャナまたはデジタルカメラで生
成されることができ、ディスプレイ（例えば、ＣＲＴ、
ＬＣＤまたはフラットパネル・ディスプレイ）で表示す
るよう指示される。代わりに、オリジナル画像１１は、
プリンタで印刷するよう指示されることもできる。

【００２３】図１のユーザ・インターフェース１５は、
ディスプレイ（示されていない）上に表示される。ユー
ザ・インターフェース１５を表示するディスプレイは、
コンピュータ・ディスプレイであることができる。ユー
ザ・インターフェース１５は対話型インターフェースで
あり、ユーザが、赤目すなわち赤い瞳孔を含んで表示さ
れるオリジナル画像１１内の領域に印をつけ、すなわち
領域を定めることを可能にする（例えば、図３の印がつ
いた領域３１および３２）。またユーザ・インターフェ
ース１５は、ユーザが、マウスまたは他のカーソル制御
装置を使用してユーザ・インターフェース上に表示され
るアイコンにカーソルを位置づけ、赤目低減システム１
０を活動化させるマウスまたはカーソル制御装置の１つ
のボタンをクリックすることにより、赤目低減システム
を活動化させることを可能にする。図２は、ユーザ・イ
ンターフェース１５の構造を示し、以下に詳細に記述す
る。

【００２４】図２から明らかなように、ユーザ・インタ
ーフェース１５はツールバーまたはメニューバーの領域
２１を含み、この領域は図１の赤目低減システム１０を
活動化させるためのアイコン２３を含む。またユーザ・
インターフェース１５は、オリジナル画像１１が表示さ
れる表示領域２２を含む。さらにユーザ・インターフェ
ース１５はカーソル２４を含み、ユーザが、マウスまた
は他のカーソル制御装置（示されていない）を介して、
ユーザ・インターフェース１５と対話することを可能に
する。またカーソル２４は、ユーザが、表示される画像
１１の印がついた領域（例えば、印がついた領域３１ま
たは３２）を定めることを可能にする。赤目低減システ
ム１０がアイコン２３を介して起動されると、赤目低減
システム１０は、印がついた領域に含まれる赤目を低減
または最小にする。ユーザ・インターフェース１５は、
任意の既知のユーザ対話型インターフェース技術を使用
して実現することができる。

【００２５】図１を参照すると、オリジナル画像１１の
印がついた領域（たとえば印がついた領域３１または３
２）のカラー画像Ａは、その後赤目低減システム１０の
マスキング・モジュール１６に適用される。マスキング
・モジュール１６は、印がついた領域のカラー画像Ａを
読むのに使用され、その後そのカラー画像のピクセルデ
ータをバイナリマスクに変換する。このバイナリマスク
をＢ＝{ｂ_ij｝で表す。ここでｂ_ijは、バイナリマスク
Ｂのピクセル（i、j）のマスク値ｂ_ijを表す。マスクＢ
がバイナリマスクなので、ピクセル｛ｂ_ij｝のそれぞれ
は「白」ピクセルまたは「黒」ピクセルである。これ
は、バイナリマスクＢが、オリジナル画像１１の印がつ
いた領域Ａと同じサイズであることができることを示
す。または、バイナリマスクＢのサイズは、印がついた
領域Ａよりも小さい。バイナリマスクＢは、印がついた
領域Ａのすべての赤ピクセルを識別するのに使用され、
よって印がついた領域Ａの赤い瞳孔のサイズおよび位置
を識別するのに瞳孔探知モジュール１７に使用される。

【００２６】バイナリマスクＢは、画像１１の印がつい
た領域の赤色のピクセルを示す第１の状態領域または範
囲、および赤とは異なる色を持つピクセルを示す第２の
状態領域または範囲を含む。第１の状態領域は、例えば
「白」（すなわち、最も高いグレースケール値）のピク
セルで表すことができ、第２の状態領域は「黒」（すな
わち、最も低いグレースケール値）のピクセルで表すこ
とができる。グレースケール値が８ビットのデータで表
されるとき、最も高いグレースケール値は２５５であ
り、最も低いグレースケール値はゼロである。図４は、
マスキング・モジュール１６によるバイナリマスク４４
を作る処理（以下に詳細に記述する）に加え、オリジナ
ル画像１１の領域３１と同様の印がついた領域のマスク
キング・モジュール１６から変換されたバイナリマスク
４４を示す。

【００２７】図４からわかるように、図３の印がついた
領域３１のカラー画像Ａは、赤の画像４１ａ、緑の画像
４１ｂおよび青の画像４１ｃから形成される。マスキン
グ・モジュール１６の変換処理は、一般に３つのステッ
プを含む。最初に、マスキング・モジュール１６は、画
像４１ａ〜４lｃを、輝度−クロミナンス表現（すなわ
ち、画像４２ａ〜４２ｃ）に変換する。これは、既知の
技術を使用して行われる。その後、クロミナンス情報４
２ｂおよび４２ｃは、第１の状態および第２の状態の間
の閾値Ｔを計算するのに使用される。任意の既知の閾値
決定技術を、閾値Ｔを計算するのに使用することができ
る。既知なように、背景の画像から前景の画像を見分
け、または画像の対象物を特定するのに、様々な種類の
閾値決定技術が画像セグメンテーションについて考え出
されてきた。

【００２８】その後、閾値Ｔは、印がついた領域３１の
カラー画像Ａのそれぞれの画像ピクセルに適用され、バ
イナリマスク４４を作る。マスキング・モジュール１６
は、バイナリマスク４４内の赤目低減に不必要な領域お
よび余分な領域を取り除き、バイナリマスクのサイズを
低減させことができる。これが、赤い瞳孔および赤い瞳
孔の予め定められた周辺のみを含むよバイナリマスク４
４を作る。代わりに、マスキング・モジュール１６が印
がついた領域３１の画像をバイナリマスク４４に変換す
る前に、このステップを実行することができる。

【００２９】ある実施形態では、標準でない輝度−クロ
ミナンス表現が、輝度−クロミナンス表現のため使用さ
れる。この場合では、クロミナンス情報は、赤−緑クロ
ミナンスＣr、および青−黄クロミナンスＣbを含む。代
わりに、輝度−クロミナンス表現の他の種類を使用する
ことができる。たとえば、輝度−クロミナンス表現は、
標準の輝度−クロミナンス表現であることができる。

【００３０】図４から明らかなように、画像４２ａは輝
度の表現を示し、画像４２ｂはクロミナンスＣr表現を
示し、画像は４２ｃはクロミナンスＣb表現を示す。マ
スキング・モジュール１６は、非線形の累乗関数を使用
し、続けてＲＧＢ対ＹＣrＣb変換マトリクスを使用し
て、画像４１ａ〜４１ｃを画像４２ａ〜４２ｃに変換す
る。変換は、既知の技術を使用して実現される。

【００３１】ＲＧＢは、赤、青および緑の色情報を表
す。Ｙは輝度情報を表し、ＣrおよびＣbはクロミナンス
情報を表す。マトリクスを行う操作の前に、マスキング
・モジュール１６は、印がついた領域３１の画像データ
ＡのＲＧＢ値のそれぞれを、１／３乗する。オリジナル
のＲＧＢデータがすでにガンマ補正されたと仮定する
と、これは画像データに約６．６の有効なガンマを与え
る。l/３乗のマッピングの目的は、赤と赤でないピクセ
ル間の隔たりを増やすことである。

【００３２】ある実施形態では、閾値Ｔは以下の式によ
り計算される。

【００３３】

【数１】Ｔ＝Ｃr_avg＋０．２ * (Ｃr_max− Ｃr_min)

【００３４】ここで、Ｃr_avgは平均のクロミナンスＣr
値を表し、Ｃr_maxおよびＣr_minは最大および最小のクロ
ミナンスＣr値をそれぞれ表す。平均値、最大値および
最小値はすべて、印がついた領域３１の画像データＡか
ら計算される。ここで、変数ＣrおよびＣbは、非標準の
輝度−クロミナンス空間における２つのクロミナンス構
成要素を示す。印がついた領域３１のピクセル（i、j）
のＣr_ijは、閾値Ｔと比較される。合計が閾値Ｔより大
きい場合には、そのピクセル（i、j）のマスク値ｂ_ijは
「１」（すなわち、白）である。これは、ピクセル
（i、j）の色が赤であることを意味する。そうでなけれ
ば、ピクセル（i、j）のマスク値はゼロ（すなわち、
黒）である。図４に示されるように、これが結果として
バイナリマスク４４になる。

【００３５】バイナリマスク４４が作られると、マスキ
ング・モジュール１６は近傍計算を使用して、マスク４
４において分離した赤ピクセルを除去し、分離した赤で
ないピクセルを埋めることができる。代わりに、マスキ
ング・モジュール１６はこのステップを行わず、瞳孔探
知モジュール１７がこのステップを行うこともできる。
近傍計算は、以下（数２）のように表現することができ
る。

【００３６】

【数２】

【００３７】図５は、オリジナル画像１１の印がついた
領域の画像Ａを、図１のマスキング・モジュール１６に
よりバイナリマスクＢに変換する処理を示す。図５から
明らかなように、処理はステップ５０で開始する。ステ
ップ５１で、マスキング・モジュール１６は、ユーザ・
インターフェース１５からカラー画像データＡを受け取
る。ステップ５２で、マスキング・モジュール１６はＲ
ＧＢ対ＹＣrＣb変換を使用し、印がついた領域Ａのカラ
ー画像を、輝度−クロミナンス表現（例えば、画像４２
ａ〜４２ｃ）に変換する。その後、マスキング・モジュ
ール１６は、輝度−クロミナンス表現からのクロミナン
ス情報を使用し、ステップ５３で閾値を計算する。ステ
ップ５４で、マスキング・モジュール１６は、印がつい
た領域Ａのそれぞれの画像ピクセルを閾値と比較するこ
とにより、バイナリマスクＢ（例えば、バイナリマスク
４４）を構成する。その後、処理はステップ５５で終わ
る。

【００３８】戻って図１を参照すると、マスキング・モ
ジュール１６からのバイナリマスクＢは、その後瞳孔探
知モジュール１７に適用される。瞳孔探知モジュール１
７は、バイナリマスクＢを処理し、画像Ａの赤い瞳孔の
位置を特定する。瞳孔探知モジュール１７は、バイナリ
マスクＢの最も大きい「白」領域を探知することにより
これを行う。これは、我々がバイナリマスクＢの最大の
白領域が赤い瞳孔であると仮定していることを意味す
る。その後、瞳孔探知モジュール１７は、バイナリマス
クＢから修正されたバイナリマスクＰ＝｛ｐ_ij｝を生成
する。修正されたバイナリマスクＰは、マスク内の赤い
瞳孔の位置を示す。修正されたバイナリマスクＰは、カ
ラー置換モジュール１８に送られる。修正されたバイナ
リマスクＰは、バイナリマスクＢの「きれいにした（ク
リーンアップされた）」バージョンであることができ
る。これは、バイナリマスクＢのすべての他の白領域が
赤い瞳孔とは何の関係もないとき、これらすべての他の
白領域が黒領域に変換されることを意味する。代わり
に、瞳孔探知モジュール１７は、バイナリマスクＢの赤
い瞳孔のサイズと位置を判断しさえすればよく、バイナ
リマスクＢを修正しないこともできる。この場合、修正
されたバイナリマスクＰは、マスクの赤い瞳孔の位置お
よびサイズの情報をもつバイナリマスクＢであるにすぎ
ない。

【００３９】ある実施形態では、瞳孔探知モジュール１
７は、全数探索およびブロック-マッチング推定方式を
使用し、白い円領域と最も一致するバイナリマスクＢの
最大の領域を探知する。この全数探索方式は、最大の実
質的な白領域について、バイナリマスクＢ全体を探索す
る。全数探索方式については、図６および７に関連して
詳細に以下で記述する。代替的に、別の方式を瞳孔探知
モジュール１７で使用し、バイナリマスクＢの赤い瞳孔
を探知することもできる。例えば、瞳孔探知モジュール
１７は、木探索または対数関数的な検索方式を使用し、
赤い瞳孔を探知することができる。さらに、瞳孔探知モ
ジュール１７は、ハフ変換方式を適用し、バイナリマス
クＢの赤い瞳孔を探知することができる。この方式を使
用すると、瞳孔探知モジュール１７は、バイナリマスク
Ｂの白領域のアウトラインすなわち境界を最初に検出す
る。その後、瞳孔探知モジュール１７はハフ変換を用
い、白領域の中の円の存在を検出する。上記の記述した
方式はすべて既知の方式であり、ソフトウェアプログラ
ムにより容易に実現することができる。

【００４０】瞳孔探知モジュール１７の操作を、より詳
細に図６から９に関連して記述する。瞳孔探知モジュー
ル１７で受け取られるバイナリマスクＢが、ｗ * ｈの
バイナリマスク６０（図６で示すように）とする。この
マスク６０では、左上角のピクセルがピクセル（０、
０）として印がつけられ、右下角のピクセルが（w-1、h
-1）として印がつけられる。マスク６０は、いくつかの
白領域（すなわち、６１ａ〜６１ｇ）を含む。瞳孔に似
たバイナリマスク６０の最大の白領域（すなわち、領域
６１ａ）を探知するため、瞳孔探知モジュール１７はブ
ロック−マッチング推定方式を用い、バイナリマスク６
０の最大の白領域が所与の基準下で瞳孔モデルの特性と
より良く合うかどうか判断する。既知なように、瞳孔は
通常円形を持つ。このように、可能な瞳孔モデルｐｍ
は、｛r、x、y｝として表されることができ、ここでｒ
は円の半径であり、（x、y）は、円の中央の位置を示
す。計算を単純化するため、正方形の瞳孔モデルを使用
することができる。正方形の瞳孔モデルは、パラメータ
｛s、x、y｝を持ち、ｓは正方形の幅を示し、（x、y）
は左上角の位置を示す。ブロック-マッチング推定方式
は既知の方式であり、したがってこれ以上詳細には記述
しない。

【００４１】全数探索方式を使用して、瞳孔探知モジュ
ール１７は、以下のルーチンに従って瞳孔モデルに似た
マスク６０の最大の白領域を探知する。

【００４２】ｓ＝ min(w、h)、Ｍ＝ −(ｓ²)であり、
ｘおよびｙは正方形の白領域の左上角を示す。そして、
以下を実行する。

【００４３】

【表１】 do { M_old = M for y=0 to y=h-s x=0 to x=w-s 白ピクセルの最大数ｎを持つｓ * ｓの白領域を見つける。 M = 2 * n - s² if M > M_old その白領域を、最良の瞳孔モデルとする s = s - 1 } while M > M_old

【００４４】これにより、最も可能性のある意味で、最
良の一致を生じさせることを示すことができる。

【００４５】瞳孔探知モジュール１７が最大の白領域の
正方形のパラメータ｛s、x、y｝を求めると、その後、
その領域の円パラメータ｛r、x、y｝を決めることがで
きる。これは図７から明らかであり、図７は、マスク６
０の白領域６１ａ内に、瞳孔探知モジュール１７で探知
された正方形６２を示す。図７から明らかなように、正
方形６２のパラメータ｛s₁、x₁、y₁｝が決まると、白領
域６１の円のパラメータが、｛r、x₀、y₀｝として与え
られ、ここでｒは半径を表し、ｘ₀およびｙ₀は円の中央
を示す。この場合には、ｒはｓ₁/√２に等しく、ｘ₀
はｘ₁＋ｓ₁/２に等しく、ｙ₀はｙ₁＋ｓ₁/２に等し
い。代わりに、ｒはｓ₁/２に等しくなるようにすること
もできる。図８は、図４のバイナリマスク４４から、瞳
孔探知モジュール１７で生成された、修正されたバイナ
リマスク８０を示す。

【００４６】図９は、瞳孔探知モジュール１７の主なス
テップを示し、バイナリマスクＢの赤い瞳孔の位置およ
びサイズを探知する。図９から明らかなように、処理は
ステップ９０で開始する。ステップ９１では、瞳孔探知
モジュール１７は、マスキング・モジュール１６からバ
イナリマスクＢを受け取る。ステップ９２で、瞳孔探知
モジュール１７は、マスクＢの最大の「白」領域を探知
することにより、マスクの赤い瞳孔の位置を特定する。
ステップ９３で、瞳孔探知モジュール１７は、ステップ
９２で見つけられた領域の白ピクセルだけが白のままで
ある、修正されたバイナリマスクＰを出力する。バイナ
リマスクＰの残りのピクセルは、黒に変更される。処理
は、ステップ９４で終わる。

【００４７】戻って図１を参照すると、カラー置換モジ
ュール１８が、修正されたバイナリマスクＰの瞳孔に似
た白領域の赤色のピクセルを、モノクロの（グレーの）
または他の予め定められた色に置き換えるのに使用され
る。バイナリマスクＰは、赤い瞳孔として瞳孔探知モジ
ュール１７により決められた実質的な白領域を持つ。こ
の領域は、眼のきらめきを示す黒い島（図８）を含むこ
とがある。カラー置換モジュール１８は、マスク値ｐ_ij
＝１のピクセルの色を置き換えるだけである。このよう
にして、瞳孔のきらめきが維持される（きらめきは、瞳
孔の中の輝点である）。きらめきは、白ピクセルにより
囲まれる「黒い」島としてバイナリマスクＢまたはＰに
示される。ある実施形態では、カラーデータが変更され
て、すべての「白」ピクセルのクロミナンス値がゼロに
なる。さらに、またカラー置換モジュール１８は、予め
定められた因子（ファクタ）値で白領域のすべてのピク
セルの輝度値を変更する。ある実施形態では、この因子
の値は、およそ０．８である。

【００４８】さらに、通常赤い瞳孔は、赤い瞳孔の外側
にピンクの色がついた領域すなわち輪を持つので、これ
らの赤い瞳孔のピクセルの色が変更された後、眼の自然
な外観を維持するため、それらのピンクのピクセルの色
を変更することが望ましい。しかし、これらのピンク色
のピクセルの色が十分には赤くないので、それらはバイ
ナリマスクＢのマスキング・モジュール１６により
「白」ピクセルに変換されない。したがって、カラー置
換モジュール１８は、これらのピンクのピクセルを覆う
ため、修正されたバイナリマスクＰの白領域を「増や
す」必要がある。これをまた、境界調整と呼ぶ。

【００４９】境界調整を達成するため、カラー置換モジ
ュール１８は、修正されたバイナリマスクＰの白領域の
外側にある画像Ａのすべての隣接するピクセルの色を分
析するが、隣接するピクセルのそれぞれは、白領域内に
少なくとも１つの近傍ピクセルを持つ。カラー置換モジ
ュール１８は隣接するピクセルの色を分析し、それらの
色が十分赤に近いかどうかを見極める。この「近さ」
は、知覚される「赤さ」における偏りを示す。カラー置
換モジュール１８は、隣接するピクセルの色値を、バイ
ナリマスクＰの白領域内のすべてのピクセルの赤の中央
値ｒ_medと比較することにより、これを行う。また、隣
接するピクセルの色は、白領域内のすべてのピクセルの
赤の中央値ｒ_medおよび緑の中央値ｇ_medの差と比較され
る。中央値ｒ_medおよびｇ_medを使用することにより、き
らめきのピクセルが白領域を支配しない限り、白領域内
のきらめきの情報が効果的に避けられる。代わりに、赤
および緑の平均値を、中央値の代わりに使用することが
できる。

【００５０】ある実施形態では、赤さにおいて知覚され
る変化の測定として、２つの量が比較のため使用され
る。一方は、赤の中央値ｒ_medに対する隣接するピクセ
ルａ_ijの赤の値の偏りの割合であり、これをη^r _ijで示
す。よって、η^r _ij＝｜ｒ_aij- ｒ_med｜/ｒ_med * 100
％となる。ｒ_aijは、隣接するピクセルの赤の値を示
す。他方の量は、赤−緑の差における偏りの割合であ
り、これをη^r-g _ijで示す。よって、△^rg _ij = ｜ｒ_aij
- ｇ_aij｜、および、△^rgm = ｜ｒ_med - ｇ_med｜である
場合には、η^r-g _ijは、｜△^rg _ij− △^rgm｜/△^rgm * 1
00％に等しい。η^r _ijおよびη^r-g _ijノ両方が、ある予め
定められた閾値以下であるとき、隣接するピクセルａ_ij
の色は赤に十分近いと判断され、そのピクセルは白領域
に含まれると判断される。

【００５１】ある実施形態では、η^r _ijについての閾値
ＴＨ_rは、およそ３０であり、η^r-g _ijについての閾値Ｔ
Ｈ_r-gは、およそ４０である。代替的に、異なる閾値
を、２つの測定値について使用することができる。

【００５２】白領域に隣接するすべてのピクセルが分析
されると、結果は第２のマスクＰ'に格納される。値ｐ'
_ij = １は、ピクセルａ_ijがＰの白領域に含まれるべき
ことを示し、値ゼロは含まれるべきでないことを示す。
マスクＰ'が作られた後、２つのバイナリマスクの領域
ＰおよびＰ'は併合され、新しいバージョンのＰを形成
する。この処理はＮ回繰り返されることができ、Ｎは予
め定められた数（例えば、５）である。Ｎの値は、赤い
瞳孔内の赤ピクセルの実際の形に一致させようとするの
に、Ｐの白領域がどれくらいかかって増えるかを示す。
カラー置換モジュール１８の領域増大処理は、次のよう
な擬似コードで表現される。

【００５３】

【表２】

【００５４】図１０は、カラー置換モジュール１８の処
理を示す。図１０から明らかなように、処理はステップ
１００で開始する。ステップ１０１は初期化ステップで
あり、変数ｎが１に、マスクＰ'がゼロに設定される。
ステップ１０２では、ｎは予め定められた数Ｎと比較さ
れる。ｎがＮより大きい場合には、ステップ１１１が実
行される。そうでなければ、ステップ１０３が実行さ
れ、ｎがインクリメントされる。ステップ１０４では、
カラー置換モジュール１８が、マスクＰから１つのピク
セルｐ_ijを受け取る。その後ステップ１０５が実行さ
れ、ピクセルが「黒」ピクセル（すなわちｐ_ij = ０）
かどうか判断される。「黒」ピクセルでない場合には、
ステップ１０９が実行される。答えが「はい」である場
合には、カラー置換モジュール１８は、ステップ１０６
でピクセルの任意の近傍ピクセルがマスクＰの「白」ピ
クセルであるかどうかチェックする。もし「白」ピクセ
ルでない場合には、ステップ１０９が次のステップであ
る。そうでなければ、ステップ１０７が実行され、ピク
セルａ_ijの色が十分に赤いかどうか判断する。十分赤く
ない場合には、ステップ１０９が次のステップである。
そうでなければ、カラー置換モジュールは、ステップ１
０８で、ピクセルｐ'_ijを「白」ピクセルにすることに
より、修正されたマスクＰの白領域を増やす。

【００５５】ステップ１０９で、カラー置換モジュール
１８は、マスクＰ内のすべてのピクセルがチェックされ
たかどうか判断する。もしすべてのピクセルがチェック
されていない場合には、ステップ１０４が繰り返され
る。もしすべてのピクセルがチェックされている場合に
は、ステップ１１０が次のステップであり、マスクＰお
よびＰ'が、２進ＯＲ演算によりＰの新しいバージョン
に併合される。その後処理はステップ１０２に戻る。

【００５６】ステップ１０２で、ｎがＮより大きいと判
断される場合には、ステップ１１１が実行され、カラー
置換モジュール１８は、Ｐの新しいバージョンから１つ
のピクセルｐ_ijを受け取る。その後ステップ１１２が実
行され、ピクセルが「白」ピクセル（すなわち、ｐ_ij＝
１）かどうか判断する。「白」ピクセルでない場合に
は、ステップ１１４のが実行される。答えが「はい」で
あるならば、カラー置換モジュール１８は、ステップ１
１３で、ピクセルの色をモノクロ（グレー）または他の
予め定められた色に変更する。ある実施形態では、これ
は、ピクセルの輝度およびクロミナンス値を変更するこ
とにより行われる。例えば、輝度値を、０．８の因子で
変更することができ、クロミナンス値をゼロに設定する
ことができる。その後ステップ１１４が実行され、カラ
ー置換モジュール１８が、Ｐの新しいバージョン内のす
べてのピクセルがチェックされたかどうか判断する。も
しすべてのピクセルがチェックされている場合には、処
理はステップ１１５で終わる。まだすべてのピクセルが
チェックされていない場合には、ステップ１１１が繰り
返される。

【００５７】前述の明細書において、それらの固有の実
施形態について本発明を記述した。しかし、当該技術分
野の当業者には、多様な改良および変更を、本発明の原
理からはずれることなく行うことができるのは明らかで
ある。したがって明細書および図面が、制限されるとい
う意味でなく例示として示される。

【００５８】本発明は例として次の実施態様を含む。（１）（Ａ）画像が赤い瞳孔の眼を含む場合に、赤色の
ピクセルを表す第１の状態領域および他の色のピクセル
を表す第２の状態領域を持つマスクに、画像を変換する
マスキング・モジュールと、（Ｂ）上記マスキング・モ
ジュールに連結され、瞳孔に似たマスクの実質的な第１
の状態領域を探知する瞳孔探知モジュールと、（Ｃ）上
記瞳孔探知モジュールに連結され、予め定められた色に
上記領域の赤色のピクセルを変更するカラー置換モジュ
ールであって、上記領域の近傍のピクセルの色が十分赤
に近いと判断される場合に、該領域の近傍のピクセルの
色も上記予め定められた色に変更することにより、上記
領域の境界を調整するカラー置換モジュールと、を備え
る赤目低減システム。

【００５９】（２）上記瞳孔探知モジュールが、上記実
質的な第１の状態領域がマスク内の実質的な最大の第１
の状態領域であるかどうか判断することにより、上記実
質的な第１の状態領域が瞳孔に似ているかどうかを検出
する上記（１）に記載の赤目低減システム。（３）上記実質的な第１の状態領域が瞳孔に似ていると
判断した後に、上記瞳孔探知モジュールが、マスクのす
べての他の第１の状態領域を第２の状態領域に変更する
ことによりマスクを修正し、修正されたマスクのみが実
質的な第１の状態領域を持つようにする上記（２）に記
載の赤目低減システム。

【００６０】（４）上記実質的な第１の状態領域が、該
第１の状態領域内に第２の状態領域を含む場合に、該第
２の状態領域が瞳孔のきらめきを表す上記（１）に記載
の赤目低減システム。（５）上記予め定められた色がゼロのクロミナンスであ
る場合に、上記カラー置換モジュールが、予め定められ
た因子により上記実質的な第１の領域内のすべてのピク
セルの輝度値も変更する上記（４）に記載の赤目低減シ
ステム。

【００６１】（６）上記マスキング・モジュールが、画
像の赤-緑-青の値に対して、予め定められた累乗を最初
に行い、その後に標準の輝度−クロミナンス変換を行う
ことにより、画像をマスクに変換する上記（１）に記載
の赤目低減システム。（７）上記カラー置換モジュールが、隣接するピクセル
の色値を、上記実質的な第１の状態領域内のすべての赤
色のピクセルの赤の中央値(i)および緑の中央値(ii)と
比較することにより、隣接するピクセルの色が十分赤に
近いかどうかを判断する上記（１）に記載の赤目低減シ
ステム。（８）隣接するピクセルが、上記実質的な第１の状態領
域に少なくとも１つの近傍ピクセルを持つピクセルであ
る上記（１）に記載の赤目低減システム。

【００６２】（９）（Ａ）赤い瞳孔の眼を持つ画像を、
画像の赤色のピクセルを表す第１の状態領域および画像
の他の色のピクセルを表す第２の状態領域を持つマスク
に変換するステップと、（Ｂ）上記マスクを処理し、瞳
孔に似たマスクの実質的な第１の状態領域を探知する処
理するステップと、（Ｃ）上記領域の赤色のピクセルを
境界調整により予め定められた色に変更するステップで
あって、該領域の近傍のピクセルの色が十分赤に近いと
判断される場合には、領域の近傍のピクセルの色を上記
予め定められた色に変更するステップと、を含むデジタ
ル画像において赤目の影響を低減させる方法。

【００６３】（１０）上記ステップ（Ｂ）が、（Ｄ）上
記実質的な第１の状態領域が、マスクの最大の実質的な
第１の状態領域であるかを判断するステップと、（Ｅ）
上記実質的な第１の状態領域が、実質的に円であるかど
うかを判断するステップと、（Ｆ）マスクのすべての他
の第１の状態領域を第２の状態領域に変更することによ
りマスクを修正し、修正されたマスクのみが実質的な第
１の状態領域を持つようにするステップと、を含む上記
（９）に記載のデジタル画像において赤目の影響を低減
させる方法。（１１）上記実質的な第１の状態領域が、該第１の状態
領域内に第２の状態領域を含む場合に、該第２の状態領
域が瞳孔のきらめきを表す上記（９）に記載のデジタル
画像において赤目の影響を低減させる方法。

【００６４】（１２）上記ステップ（Ｃ）が、（ａ）上
記実質的な第１の状態領域内の赤色のピクセルの色を、
赤色のピクセルのクロミナンスをゼロに設定することに
より、予め定められた色に変更するステップと、（ｂ）
予め定められた因子により、上記実質的な第１の状態領
域内のすべてのピクセルの輝度の値を変更するステップ
と、を含む上記（９）に記載のデジタル画像において赤
目の影響を低減させる方法。（１３）上記ステップ（Ａ）が、（ａ）画像の赤-緑-青
の値に対して予め定められた累乗を行うステップと、
（ｂ）標準の輝度−クロミナンス変換を実行するステッ
プと、（ｃ）マスクを作成するステップと、を含む上記
（９）に記載のデジタル画像において赤目の影響を低減
させる方法。

【００６５】（１４）上記ステップ（Ｃ）が、（ａ）上
記実質的な第１の状態領域の外側の隣接するピクセル
が、実質的な第１の状態領域内に少なくとも１つの近傍
ピクセルを持つかどうかを判断するステップと、（ｂ）
(a)において少なくとも１つの近傍ピクセルを持つ場合
には、隣接するピクセルの色値と、上記実質的な第１の
状態領域内のすべての赤色のピクセルの赤の中央値(i)
および緑の中央値(ii)を比較し、隣接するピクセルが十
分赤に近いかどうか判断するステップと、（ｃ）(a)に
おいて少なくとも１つの近傍ピクセルを持つ場合には、
隣接するピクセルの色を予め定められた色に変更するス
テップと、を含むデジタル画像において赤目の影響を低
減させる方法。

【００６６】（１５）隣接するピクセルの色値が、第１
の予め定められた値より小さい値だけ赤の中央値と異な
り、隣接するピクセルの赤-緑の色の差が、第２の予め
定められた値より小さい値だけ赤の中央値および緑の中
央値の差と異なる場合に、上記ステップ（ｂ）で隣接す
るピクセルの色が十分赤に近いと判断する上記（１４）
に記載のデジタル画像において赤目の影響を低減させる
方法。

【００６７】（１６）（Ａ）記憶媒体と、（Ｂ）上記記
憶媒体に格納されるプログラムを実行するコンピュータ
であって、（ａ）赤い瞳孔の眼をもつ画像を、画像の赤
色のピクセルを表す第１の状態領域および画像の他の色
のピクセルを表す第２の状態領域を持つマスクに、眼を
変換する第１の一組の命令と、（ｂ）上記マスクを処理
し、瞳孔に似たマスクの実質的な第１の状態領域を探知
する第２の一組の命令と、（ｃ）上記領域の赤色のピク
セルを境界調整により予め定められた色に変更する第３
の一組の命令であって、該領域の近傍のピクセルの色が
十分赤に近いと判断される場合には、領域の近傍のピク
セルの色を上記予め定められた色に変更する第３の一組
の命令と、を備える装置。

【００６８】（１７）上記第２の一組の命令が、（ａ）
上記実質的な第１の状態領域がマスクの最大の実質的な
第１の状態領域であるかを判断するステップと、（ｂ）
上記実質的な第１の状態領域が実質的に円に似ているか
を判断するステップと、（ｃ）マスクのすべての他の第
１の状態領域を第２の状態領域に変更することによりマ
スクを修正し、修正されたマスクのみが実質的な第１の
状態領域を持つようにするステップと、により、上記マ
スクの実質的な第１の状態領域を探知する上記（１６）
に記載の装置。

【００６９】（１８）上記第３の一組の命令が、ピクセ
ルのクロミナンス値をゼロに設定することにより赤色の
ピクセルの色を変更し、予め定められた因子により上記
実質的な第１の状態領域内のすべてのピクセルの輝度値
を変更する上記（１６）に記載の装置。

【００７０】（１９）上記第１の一組の命令が、（ａ）
画像の赤-緑-青の値に対して予め定められた累乗を行う
ステップと、（ｂ）標準の輝度−クロミナンス変換を実
行するステップと、（ｃ）マスクを作成するステップ
と、により画像をマスクに変換する上記（１６）に記載
の装置。（２０）上記第３の一組の命令が、（ｉ）上記実質的な
第１の状態領域の外側の隣接するピクセルが、実質的な
第１の状態領域内に少なくとも１つの近傍ピクセルを持
つピクセルであるかどうかを判断するステップと、(ii)
上記(i)において近傍ピクセルを持つ場合には、上記実
質的な第１の状態領域内のすべての赤色のピクセルの赤
の中央値(i)および緑の中央値(ii)と、隣接するピクセ
ルの色値とを比較し、隣接するピクセルの色が十分赤に
近いかどうかを判断するステップと、(iii)上記(i)にお
いて近傍ピクセルを持つ場合には、予め定められた色に
隣接するピクセルの色を変更するステップと、により上
記実質的な第１の状態領域の境界を調整する上記（１
６）に記載の装置。

【００７１】

【発明の効果】目の自然な外観を維持しつつ、最小限の
ユーザの介入で、画像の赤目を自動的に低減させること
ができる。

【図面の簡単な説明】

【図１】本発明のある実施形態による赤目低減システム
を示し、赤目低減システムが、ユーザ・インターフェー
ス、マスキング・モジュール、瞳孔探知モジュールおよ
びカラー置換モジュールを備えることを示す図。

【図２】ユーザ・インターフェースの構造を示す図。

【図３】赤目を含むユーザが定義した領域をもつユーザ
・インターフェースにより表示される画像を示す図。

【図４】ある定められた領域を、赤い瞳孔の可能な位置
を示すバイナリマスクに変換する際のマスキング・モジ
ュールの処理を示す図。

【図５】マスキング・モジュールの操作を示すフローチ
ャート。

【図６】瞳孔探知モジュールがバイナリマスクの瞳孔領
域を探知する方法を示す図。

【図７】瞳孔探知モジュールがバイナリマスクの瞳孔領
域を探知する方法を示す図。

【図８】瞳孔探知モジュールにより処理された後の図４
のバイナリマスクを示す図。

【図９】瞳孔探知モジュールの操作を示すフローチャー
ト。

【図１０】カラー置換モジュールの操作を示すフローチ
ャート。

【符号の説明】

１０赤目低減システム１１オリジナル画像１５ユーザ・インターフェース１６マスキング・モジュール１７瞳孔探知モジュール１８カラー置換モジュール

───────────────────────────────────────────────────── フロントページの続き (72)発明者ダニエル・アール・トゥリッターアメリカ合衆国94040カリフォルニア州マウンテン・ビュー、ラサン・ストリート 1990、ナンバー 18 (72)発明者コンスタンチノス・コンスタンチニデスアメリカ合衆国95118カリフォルニア州サン・ノゼ、ヤコブ・アベニュー 1508 (72)発明者アンドリュー・パティアメリカ合衆国94304カリフォルニア州サニーベイル、ホルブルック・プレイス 788

Claims

【特許請求の範囲】

【請求項１】画像が赤い瞳孔の眼を含む場合に、赤色の
ピクセルを表す第１の状態領域および他の色のピクセル
を表す第２の状態領域を持つマスクに、画像を変換する
マスキング・モジュールと、前記マスキング・モジュールに連結され、瞳孔に似たマ
スクの実質的な第１の状態領域を探知する瞳孔探知モジ
ュールと、前記瞳孔探知モジュールに連結され、予め定められた色
に前記領域の赤色のピクセルを変更するカラー置換モジ
ュールであって、前記領域の近傍のピクセルの色が十分
赤に近いと判断される場合には、該領域の近傍のピクセ
ルの色も前記予め定められた色に変更することにより、
前記領域の境界を調整するカラー置換モジュールと、を備える赤目低減システム。