JP3994280B2 - 赤目修正装置、赤目修正方法および赤目修正プログラム - Google Patents
赤目修正装置、赤目修正方法および赤目修正プログラム Download PDFInfo
- Publication number
- JP3994280B2 JP3994280B2 JP2002329253A JP2002329253A JP3994280B2 JP 3994280 B2 JP3994280 B2 JP 3994280B2 JP 2002329253 A JP2002329253 A JP 2002329253A JP 2002329253 A JP2002329253 A JP 2002329253A JP 3994280 B2 JP3994280 B2 JP 3994280B2
- Authority
- JP
- Japan
- Prior art keywords
- eye
- image data
- red
- color
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画素別に多階調とされた画像データで表現されるカラーの画像に生じた赤目を修正する赤目修正装置、赤目修正方法および赤目修正プログラムに関する。
【０００２】
【従来の技術】
従来より、夜間等暗い環境でストロボを発光させて人をデジタルカメラ等で撮影すると、人の目の部分に赤目が生じることがある。赤目は、いわゆる黒目の部分が赤色や金色になった現象をいう。このような赤目を修正する装置として、赤目修正を行う矩形領域を指定し、同矩形領域から色相が所定範囲で彩度が所定値以上となる部分を赤目領域として自動抽出し、黒、青、等の所定の色に変換する装置が知られている（例えば、特許文献１参照）。同装置は、赤目領域を自動抽出できなかった場合に、手動で赤目領域を指定することができるようにしてあり、赤目を修正する操作効率を向上させるようにしている。
また、目を含む領域から目の領域を自動的に抽出する技術も知られている（例えば、特許文献２参照）。
【０００３】
【特許文献１】
特開２００１−１４８７８０号公報（段落００１９−００５２、第１−７図）
【特許文献２】
特開平１０−７５３７４号公報（段落００１５−００４９、第１−３図）
【０００４】
【発明が解決しようとする課題】
上述した従来の技術においては、赤目領域を所定の色に置き換えた画像を見ると違和感が感じられるという問題があった。特に、赤目でない領域も一律に所定の色に置き換えられるため、赤目修正を行った領域の内外間で色が急変する箇所が生じると違和感の大きな画像となってしまうことになる。そこで、赤目が生じた画像に対して違和感を感じさせないように赤目を修正したいという希望があった。
本発明は、上記課題にかんがみてなされたもので、目の部分に赤目が生じた画像に対して、より確実に違和感を感じさせないように赤目を修正することが可能な赤目修正装置、赤目修正方法および赤目修正プログラムの提供を目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するため、請求項１にかかる発明は、画素別に多階調とされた画像データで表現されるカラーの画像のうち赤目を修正する赤目修正装置であって、上記カラーの画像のうち赤目を修正する修正領域を表す修正領域情報に対応する修正領域の上記画素について上記画像データが当該画像データの色空間内において赤目の色とする範囲を表す範囲情報に対応する範囲内であるとき、元の画像データから目の色を表す画像データに置換するとともに同画素が同修正領域の境界部分である場合には同画像データの置換割合を同画素が同修正領域に含まれる割合とする色置換手段を具備する構成としてある。
【０００６】
本赤目修正装置は、画素別に多階調とされた画像データで表現されるカラーの画像に生じた赤目を修正する。ここで、上記カラーの画像のうち赤目を修正する修正領域を表す修正領域情報に対応する修正領域の画素について、画像データが当該画像データの色空間内において赤目の色とする範囲を表す範囲情報に対応する範囲内であるとき、以下のようにして画像データが置換される。
すなわち、元の画像データから目の色を表す画像データに置換されるが、置換対象の画素が修正領域の境界部分である場合には、画像データの置換割合は同画素が同修正領域に含まれる割合とされる。
従って、赤目を修正する領域の境界部分が赤目の色とする範囲内であるときに画像データは完全には目の色を表すデータに置き換えられないので、赤目を修正する領域の内外で色は急変せず、スムーズに変化する。その結果、目の部分に赤目が生じた画像に対して、より確実に違和感を感じさせないように赤目を修正することが可能となる。
【０００７】
上記目の色は、黒、茶、青、等、様々な色が考えられる。また、置き換える目の色は、一様であってもよいし、模様があってもよいし、より高画質となるように虹彩部分と瞳孔部分とが別の色にされていてもよい。
【０００８】
上述した手段により赤目修正装置を構成する場合、請求項２にかかる発明のように構成してもよい。本赤目修正装置は、画素別に複数の要素色のそれぞれについて多階調とされた画像データで表現されるカラーの画像に生じた赤目を修正する。ここで、取得された修正領域情報に対応する修正領域の画素について、各画素の画像データが置換対象として順次対象画素が移動させられる。そして、対象画素の画像データが上記取得された範囲情報に対応する範囲内であるとき、以下のようにして画像データが置換される。
すなわち、対象画素が全て修正領域に含まれる場合には、対象画素について元の画像データから目の色を表す画像データに置換される。一方、対象画素が修正領域の境界部分である場合には、対象画素について元の画像データから目の色を表す画像データに置換されるにあたり、画像データの置換割合は同画素が同修正領域に含まれる割合とされる。従って、上記と同様の作用により、赤目を修正する領域の内外で色が急変せず、スムーズに変化する。
【０００９】
上記複数の要素色は様々考えられ、例えば、レッド（Ｒ）とグリーン（Ｇ）とブルー（Ｂ）の３色から構成されてもよいし、輝度データとブルーの色差データとレッドの色差データから構成されてもよい。シアン（Ｃ）とマゼンタ（Ｍ）とイエロー（Ｙ）の３色から構成されてもよいし、さらにブラック（Ｋ）を加えた４色から構成されてもよい。また、デバイスに依存しないＬａｂ空間の各成分のように明度データと二種類の色度データから構成されてもよい。
【００１０】
ここで、上記色置換手段は、上記画素が上記修正領域の境界部分である場合には同画素について元の画像データから上記目の色を表す画像データに置換するにあたり同画像データの置換割合を同画素が同修正領域に含まれる割合とする。すなわち、境界部分の画素において元の画像データから目の色を表す画像データに置換する割合は、同画素が修正領域に含まれる割合とされるので、簡易な構成ながら修正領域の境界部分を自然な感じにさせるように境界部分の画素の画像データを置換することができる。
【００１１】
また、境界部分の画素の画像データを置換する一例として、上記色置換手段は、上記画素を所定数の区分領域に略等分割し、中心が上記修正領域の内部となる区分領域の同区分領域全ての数に対する割合を上記画像データの置換割合とする構成としてもよい。すなわち、画素を所定数の区分領域に略等分割し、境界部分の画素において元の画像データから目の色を表す画像データに置換する割合を中心が修正領域の内部となる区分領域の数の割合とすることにより、簡易に求めることができる。
【００１２】
置換後の画像データの明るさを表す明るさ情報を取得する明るさ情報取得手段が設けられると、色置換手段は、取得された明るさ情報に対応した明るさを表す画像データに置換する構成としてもよい。すなわち、置換後の画像データは、明るさ情報に対応した明るさを表す画像データとなる。
ここで、上記明るさ情報取得手段は、上記色置換手段にて置換された後の画像データの輝度を設定する操作入力を受け付けて同輝度を表す情報とされた上記明るさ情報を取得し、上記色置換手段は、上記目の色を表す画像データに置換するにあたり、上記取得された明るさ情報に対応した輝度の画像にさせる画像データに置換する構成としてもよい。すなわち、置換後の画像データは、明るさ情報に対応した輝度の画像にさせる画像データとなる。従って、明るさ情報に応じて置換後の画像データの輝度を調整することができるので利便性が向上するとともに、さらに違和感なく赤目を修正することが可能となる。
【００１３】
ところで、上記修正領域の一例として、修正領域を略円形の領域とし、修正領域情報を、略円形とされた修正領域の径を表す情報と、画像における修正領域の中心座標を表す情報とから構成してもよい。ここで、径を表す情報は、直径を表す情報であってもよいし、半径を表す情報であってもよい。
上記のような修正領域情報を取得する構成の一例として、修正領域取得手段は、上記略円形とされた修正領域の半径を設定する操作入力を受け付けて上記径を表す情報を取得するとともに、上記画像を表示して表示された画像の赤目の中心位置を指定する操作入力を受け付けて上記中心座標を表す情報を取得してもよい。すると、ユーザは簡易な構成で修正領域を設定することが可能となる。
むろん、修正領域は、上記のように円領域とする以外にも様々な形状が考えられ、例えば、楕円状の領域、矩形領域、多角形状の領域等であってもよい。
【００１４】
赤目の色とする範囲を表す範囲情報も、様々な構成が考えられる。その一例として、上記範囲情報は、上記画像データの色空間内において赤目の色とする範囲が所定の赤目目標色からの距離として表された情報とされ、上記色置換手段は、上記色空間内における上記赤目目標色の座標と上記修正領域の画素の画像データとから同赤目目標色と同画素の色との距離を算出し、当該距離が上記取得された範囲情報に対応する距離内であるとき、上記画像データの置換を行う構成としてもよい。すなわち、赤目目標色と画素の色との距離が算出され、同距離が範囲情報に対応する距離内であるときに画像データの置換が行われる。
【００１５】
画像データがＲＧＢのそれぞれについて多階調とされたデータであるときの赤目目標色と画素の色との距離Distanceを算出するための好適な演算式の一例として、請求項７にかかる発明のように構成してもよい。ここで、ＮをＮ＋１やＮ−１に変更したり、Ｎ＋１をＮに変更したり等、演算式の各係数の僅かな違いは距離Distanceの値にほとんど影響しないので、請求項７に記載した発明に含まれる。また、上記演算式の右辺に所定係数が乗じられた式であっても、赤目目標色と画素の色との距離を表すことになるので、請求項７に記載した発明に含まれる。
【００１６】
上記演算式を使用して修正領域の画素の画像データが範囲情報に対応する距離内であるか否かを判断するための好適な構成の一例として、請求項８にかかる発明のように構成してもよい。画像データの色空間内で赤目目標色から最も長くなる距離に対する距離Distanceの比を基準として画像データが範囲情報に対応する範囲内であるか否かを判断すればよいので、範囲情報を０〜１の範囲とすることができる。
【００１７】
なお、画像データを置換する目の色が複数設けられる場合、上記色置換手段は、上記複数の目の色からいずれかの色を選択する入力を受け付けて置換後の色を表す情報を取得し、当該情報に対応した色となるように上記画像データを置換する構成としてもよい。すると、赤目部分をより希望に沿った目の色に置換することができる。
また、どこの国または地域の人か等の選択入力を受け付け、入力された人に対応する目の色の画像データに置換するようにしてもよい。すると、その人に最適な目の色に修正することが可能となる。
【００１８】
ところで、上記修正領域取得手段は、各画素の画像データに基づいて上記画像から目の領域を決定し、当該領域を表す情報を上記修正領域情報として取得する構成としてもよい。すなわち、各画素の画像データに基づいて画像から目の領域が修正領域として決定されるので、自動的に赤目を修正する領域が抽出されることになる。決定される目の領域は、白目を含めた領域であってもよいし、虹彩の領域であってもよい。
【００１９】
また、上記色置換手段は、赤目が生じていない別の画像の画像データを取得し、当該画像データに基づいて同別の画像から虹彩の領域を決定し、当該領域の画像データに基づいて上記目の色を表す情報を取得するとともに、上記修正領域の画素について上記画像データが上記取得された範囲情報に対応する範囲内であるとき、元の画像データから同目の色を表す情報に対応した画像データに置換するとともに同画素が同修正領域の境界部分である場合には同画像データの置換割合を同画素が同修正領域に含まれる割合とする構成としてもよい。赤目が生じていない別の画像から目の色を表す情報が取得され、赤目部分がこの目の色に修正される。
ここで、赤目を修正しようとする画像と別の画像との人が同一人物であるか否かを判定し、同一人物であるときに画像データを置換するようにしてもよい。
【００２０】
このように、他の画像から目の色を表す情報を取得して赤目を修正すると、より確実に違和感を感じさせないようになるので、画素別に多階調とされた画像データで表現されるカラーの第一の画像とは別の第二の画像の画像データを取得し、当該画像データに基づいて同第二の画像から虹彩の領域を決定し、当該領域の画像データに基づいて目の色を表す情報を取得するとともに、同第一の画像のうち赤目を修正する修正領域を表す修正領域情報に対応する修正領域の画素について同第一の画像の画像データが当該画像データの色空間内において赤目の色とする範囲を表す範囲情報に対応する範囲内であるとき、当該第一の画像の画像データを同目の色を表す情報に対応した画像データに置換する色置換手段を具備する構成としてもよい。すなわち、画素別に多階調とされた画像データで表現されるカラーの第一の画像とは別の第二の画像の画像データが取得され、当該画像データに基づいて同第二の画像から虹彩の領域が決定され、当該領域の画像データに基づいて目の色を表す情報が取得されるとともに、同第一の画像のうち赤目を修正する修正領域を表す修正領域情報に対応する修正領域の画素について同第一の画像の画像データが当該画像データの色空間内において赤目の色とする範囲を表す範囲情報に対応する範囲内であるとき、当該第一の画像の画像データを同目の色を表す情報に対応した画像データに置換される。
また、上記第一の画像とは別の第二の画像の画像データが取得され、取得された画像データに基づいて同第二の画像から虹彩の領域が決定され、決定された領域の画像データに基づいて目の色を表す情報が取得されてもよい。取得された修正領域情報に対応する修正領域の画素について、上記第一の画像の画像データが上記取得された範囲情報に対応する範囲内であるとき、当該第一の画像の画像データから第二の画像からの目の色を表す情報に対応した画像データに置換されてもよい。言い換えると、赤目が生じていない別の画像から目の色を表す情報が取得され、赤目部分がこの目の色に修正される。
【００２１】
また、上記明るさ情報取得手段が設けられていると、置換後の画像データは明るさ情報に対応した明るさを表す画像データとなり、さらに違和感なく赤目を修正することが可能となる。すなわち、取得された修正領域情報に対応する修正領域の画素について、画像データが上記取得された範囲情報に対応する範囲内であるとき、元の画像データから、目の色を表す画像データであって上記取得された明るさ情報に対応した明るさを表す画像データに置換される。
さらに、画素別に多階調とされた画像データで表現されるカラーの画像のうち赤目を修正する赤目修正装置であって、複数の地域からいずれかの地域を選択する入力を受け付け、地域を表す情報とその地域の人の目の色を表す画像データとを対応させた地域別目の色テーブルを参照して同受け付けた地域の人に対応する目の色を表す画像データを取得するとともに、上記赤目を修正するカラーの画像うち赤目を修正する修正領域を表す修正領域情報に対応する修正領域の上記画素について同カラーの画像の画像データが当該画像データの色空間内において赤目の色とする範囲を表す範囲情報に対応する範囲内であるとき、当該カラーの画像の画像データから同取得した目の色を表す画像データに置換する色置換手段を具備する構成としてもよい。
すなわち、複数の地域からいずれかの地域を選択する入力が受け付けられ、地域を表す情報とその地域の人の目の色を表す画像データとを対応させた地域別目の色テーブルを参照して同受け付けた地域の人に対応する目の色を表す画像データが取得されるとともに、上記赤目を修正するカラーの画像うち赤目を修正する修正領域を表す修正領域情報に対応する修正領域の上記画素について同カラーの画像の画像データが当該画像データの色空間内において赤目の色とする範囲を表す範囲情報に対応する範囲内であるとき、当該カラーの画像の画像データから同取得した目の色を表す画像データに置換される。これにより、入力された地域の人に対応する目の色に修正可能となるので、便利である。従って、赤目部分をより希望に沿った目の色に置換することができ、より確実に違和感を感じさせないように赤目を修正することが可能となる。
【００２２】
ところで、上述した赤目修正装置は、単独で実施される場合もあるし、ある機器に組み込まれた状態で他の方法とともに実施されることもあるなど、発明の思想としては各種の態様を含むものであって、適宜、変更可能である。
また、上述した赤目を修正する際の手法は、所定の手順に従って処理を進めていくうえで、その根底にはその手順に発明が存在するということは当然である。従って、本発明は方法としても適用可能であり、請求項１２にかかる発明においても、基本的には同様の作用となる。
【００２３】
本発明を実施しようとする際に、赤目修正装置にて所定のプログラムを実行させる場合もある。そこで、そのプログラムとしても適用可能であり、請求項１３にかかる発明においても、基本的には同様の作用となる。さらに、同プログラムを記録した媒体が流通し、同記録媒体からプログラムを適宜コンピュータに読み込むことが考えられる。すなわち、そのプログラムを記録したコンピュータ読み取り可能な記録媒体としても適用可能であり、基本的には同様の作用となる。
むろん、請求項２〜請求項１１に記載された構成を上記方法やプログラムやプログラムを記録した媒体に対応させることも可能であることは言うまでもない。
ここで、上記記録媒体は、磁気記録媒体や光磁気記録媒体の他、今後開発されるいかなる記録媒体であってもよい。一次複製品、二次複製品などの複製段階も問わない。一部がハードウェアで実現される場合や、一部を記録媒体上に記録しておいて必要に応じて適宜読み込む場合も本発明の思想に含まれる。
【００２４】
【発明の効果】
以上説明したように、請求項１、請求項２、請求項１２、請求項１３にかかる発明によれば、目の部分に赤目が生じた画像に対して、より確実に違和感を感じさせないように赤目を修正することが可能となり、修正領域の境界部分を自然な感じにさせることができる。
請求項３にかかる発明によれば、境界部分の画素の画像データを置換する処理の簡易な一例を提供することができる。
請求項４にかかる発明によれば、明るさ情報に応じて修正後の画像の明るさを調整することができるので利便性が向上するとともに、さらに違和感なく赤目を修正することが可能となる。
【００２５】
請求項５にかかる発明によれば、簡易な構成にて修正領域を容易に特定することができる。
請求項６にかかる発明によれば、画素の色が赤目目標色から範囲情報に対応する距離内であるときに画像データが置換されるので、より確実に修正すべき赤目部分を目の色に修正することができる。
請求項７にかかる発明によれば、赤目目標色と画素の色との距離を算出するための好適な演算式を提供することができ、より確実に修正すべき赤目部分を目の色に修正して、良好な画質の修正画像を得ることが可能となる。
請求項８にかかる発明によれば、赤目とする範囲を０〜１の範囲で表現することができるので、構成を簡易にさせることができる。
【００２６】
請求項９にかかる発明によれば、赤目部分をより希望に沿った目の色に置換することができ、利便性が向上するとともに、より確実に違和感を感じさせないように赤目を修正することが可能となる。
請求項１０にかかる発明によれば、自動的に赤目を修正する領域が抽出されるので、赤目を修正する作業が軽減され、利便性が向上する。
請求項１１にかかる発明によれば、赤目部分は赤目が生じていない別の画像の目の色に修正されるので、より確実に違和感を感じさせないように赤目を修正することが可能となる。
【００２７】
【発明の実施の形態】
以下、下記の順序に従って本発明の実施形態を説明する。
（１）赤目修正装置を含むシステム構成：
（２）赤目修正装置の構成：
（３）赤目修正装置の動作：
（４）まとめ：
【００２８】
（１）赤目修正装置を含むシステム構成：
図１は、本発明の一実施形態にかかる赤目修正装置と周辺装置とからなるシステムの概略構成を示している。本システムは、本発明にいう赤目修正装置となるパーソナルコンピュータ（ＰＣ）１０、画像出力機器であるカラー印刷可能なインクジェットプリンタ２０、デジタルカメラ３０等から構成されている。本赤目修正装置は、デジタルカメラ等で人を撮影したときに目の部分に生じる赤目を目の色に修正する装置であり、ユーザが簡単に赤目を修正できるように構成されたものである。なお、本赤目修正装置のユーザは、コンピュータ画像修正についての素人であることを前提としており、プロの写真家等も含まれる。むろん、コンピュータ画像修正について熟知した人であっても、本装置により容易に赤目を修正することができる。
ＰＣ１０は演算処理の中枢をなすＣＰＵ１１を備えており、このＣＰＵ１１はシステムバス１０ａを介してＰＣ１０全体の制御を行う。同バス１０ａには、ＲＯＭ１２、ＲＡＭ１３、ＣＤ−ＲＯＭドライブ１５、フレキシブルディスク（ＦＤ）ドライブ１６、各種インターフェイス（Ｉ／Ｆ）１７ａ〜ｅ等が接続されている。また、ハードディスクドライブを介してハードディスク（ＨＤ）１４も接続されている。本実施形態のコンピュータにはいわゆるデスクトップ型ＰＣを採用しているが、コンピュータとしては一般的な構成を有するものを採用可能である。
【００２９】
ＨＤ１４には、ソフトウェアとしてオペレーティングシステム（ＯＳ）やアプリケーションプログラム（ＡＰＬ）等が格納されている。実行時には、ＣＰＵ１１がこれらのソフトウェアを適宜ＲＡＭ１３に転送し、ＲＡＭ１３を一時的なワークエリアとして適宜アクセスしながらプログラムを実行する。なお、本実施形態の赤目修正プログラムはＡＰＬとＯＳとが協同して各種機能を実現させるが、ＡＰＬ単体であってもよいし、ＯＳに組み込まれていてもよい。
周辺機器Ｉ／Ｆ（ＰＩＦ）１７ａには、デジタルカメラ３０や、図示しないカラースキャナ等が接続されるようになっている。ＣＲＴＩ／Ｆ１７ｂには画像データに基づく画像を表示する表示手段であるディスプレイ１８ａが接続され、入力Ｉ／Ｆ１７ｃにはキーボード１８ｂやマウス１８ｃが操作用入力機器として接続されている。また、プリンタＩ／Ｆ１７ｅには、例えばパラレルＩ／Ｆケーブルを介してプリンタ２０が接続されている。
なお、ＨＤ１４は本発明にいう赤目修正プログラムを記録した媒体となるが、同媒体は、例えば、ＣＤ−ＲＯＭ、ＦＤ１６ａ、光磁気ディスク、不揮発性メモリ、等であってもよい。むろん、モデム等の通信Ｉ／Ｆ１７ｄをインターネット網に接続し、所定のサーバにアクセスして本赤目修正プログラムをダウンロードして実行させることも可能である。
【００３０】
赤目修正が行われた画像を印刷するプリンタ２０は、シアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）、ブラック（Ｋ）のインクを使用して、メディアに対して印刷を行う。むろん、４色以外のインクを使用するプリンタや、インク通路内に泡を発生させてインクを吐出するバブル方式のプリンタや、レーザープリンタ等、種々の画像出力機器を採用可能である。
図２に示すように、プリンタ２０では、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、通信Ｉ／Ｏ２４、コントロールＩＣ２５、ＡＳＩＣ２６、Ｉ／Ｆ２７、等がバス２０ａを介して接続されている。通信Ｉ／Ｏ２４はＰＣ１０のプリンタＩ／Ｆ１７ｅと接続されており、プリンタ２０は通信Ｉ／Ｏ２４を介してＰＣ１０から送信されるＣＭＹＫに変換されたデータやページ記述言語等からなる印刷ジョブを受信する。ＡＳＩＣ２６は、ＣＰＵ２１と所定の信号を送受信しつつヘッド駆動部２６ａに対してＣＭＹＫデータに基づく印加電圧データを出力する。すると、ヘッド駆動部２６ａは、印刷ヘッドに内蔵されたピエゾ素子への印加電圧パターンを生成し、印刷ヘッドにインクを吐出させる。Ｉ／Ｆ２７に接続されたキャリッジ機構２７ａや紙送り機構２７ｂは、印刷ヘッドを主走査させたり、メディアを順次送り出して副走査を行ったりする。そして、ＣＰＵ２１が、ＲＯＭ２２に書き込まれたプログラムに従って各部を制御する。
【００３１】
ＰＣ１０では、以上のハードウェアを基礎としてバイオスが実行され、その上層にてＯＳとＡＰＬとが実行される。ＯＳには、プリンタＩ／Ｆ１７ｅを制御するプリンタドライバ等の各種のドライバ類が組み込まれ、ハードウェアの制御を実行する。プリンタドライバは、プリンタＩ／Ｆ１７ｅを介してプリンタ２０と双方向の通信を行うことが可能であり、ＡＰＬから印刷データを受け取って印刷ジョブを作成し、プリンタ２０に送出する。
【００３２】
（２）赤目修正装置の構成：
図３は、上記赤目修正プログラムの機能により実現される赤目修正装置の構成を模式的に示している。赤目修正プログラムは複数のモジュールから構成されており、各モジュールに対応して本発明にいう各種手段Ｕ１〜Ｕ４が構成されている。基本的には、手段Ｕ１〜Ｕ３が取得する情報に基づいて、色置換手段Ｕ４が画像データに対して赤目部分を目の色に置き換える処理を行う。
本実施形態では、ｓＲＧＢ色空間で定義されるＲＧＢから構成された画像データに対して上記処理を行うことにしている。同画像データは、横ｍ０×縦ｎ０画素（ｍ０，ｎ０は２以上の整数）とされたドットマトリクス状の多数の画素別に複数の要素色ＲＧＢのそれぞれについて多階調（例えば、階調値０〜２５５の２５６階調）とされ、カラーの画像を表現するデータとされている。むろん、ＹＵＶ表色系における輝度（Ｙ成分）、Ｂの色差（Ｕ成分）、Ｒの色差（Ｖ成分）から構成された画像データ等に対して上記処理を行うことも可能である。また、画像データの各成分も様々な階調数とすることが可能であり、２５６階調以外にも、例えば１０２４階調等としてもよい。
【００３３】
修正領域取得手段Ｕ１は、上記画像データで表現される画像のうち、目の部分に生じる赤目を修正する修正領域を表す修正領域情報を取得する。本実施形態では、修正領域を略円形の領域として、修正領域の半径Radius（径を表す情報）と、修正領域の中心座標を表す情報とを修正領域情報としている。これらの情報は、ＰＣ１０への操作入力により取得されるようになっている。
また、各画素の画像データに基づいて画像から目の領域を決定し、当該目の領域を表す情報を修正領域情報として取得することも可能である。目の領域を決定する手法は様々考えられる。例えば、特開平１０−７５３７４号公報の段落００３０に開示されているように、明度の低い画素の連結性等に基づいて目の領域の画像データだけを抽出することにより、画像から目の領域を決定することができる。また、目の色は肌色ではないことから、肌色の領域（例えば、画像データの各ＲＧＢ値が所定範囲内に入る画素の領域）を抽出し、抽出した肌色の領域に囲まれた領域が所定の目の形状と略一致するときに、その囲まれた領域を目の領域と決定し、当該目の領域を表す情報を修正領域情報として取得してもよい。
【００３４】
赤目範囲取得手段Ｕ２は、３要素色ＲＧＢのそれぞれを座標軸とする画像データの色空間内において、赤目の色とする範囲を表す範囲情報を取得する。本実施形態では、同色空間内において赤目の色とする範囲が所定の赤目目標色からの距離として表されている。そして、同距離の相対的な値が操作入力により受け付けられ、入力された値が赤目の色とする許容度Tolerance（範囲情報）として取得されるようになっている。
【００３５】
明るさ情報取得手段Ｕ３は、色置換手段にて置換された後の画像データの明るさを表す明るさ情報を取得する。本実施形態では、明るさ情報を強度Intensityとして数値表現するとともに、同強度を輝度を表す情報としているが、他にも明度を表す情報を明るさ情報とすることも可能である。同強度は、数値として操作入力により受け付けられるようになっている。
【００３６】
図４は、上記手段Ｕ１〜Ｕ３が各種情報の入力を受け付けるための設定入力画面の表示例を示している。同画面には、画像表示欄９１ａ、十字ポインタ９１ｂ、目の色選択欄９１ｃ、半径入力欄９１ｄ、許容度入力欄９１ｅ、強度入力欄９１ｆ、各種ボタン９１ｇ〜ｊが設けられている。
画像表示欄９１ａでは、入力した画像データが表示されるようになっている。同表示欄９１ａ中に十字ポインタ９１ｂが表示されるようになっており、同ポインタ９１ｂをマウスにて移動させることにより、修正領域の中心座標を設定入力することが可能となっている。
【００３７】
目の色選択欄９１ｃでは、修正後の目の色を選択可能となっている。目の色の選択肢としては、黒、茶、青等の他に、ユーザ設定や、日本人等の地域別の人や、別の画像等がある。ユーザ設定が選択入力された場合には、色パレットが表示され、所望の目の色を作成することが可能である。地域別の人が選択入力された場合には、入力された地域の人に対応する目の色が選択されるようになっている。別の画像が選択入力された場合には、別の画像から目の色を表す情報が取得されるようになっている。
半径入力欄９１ｄでは、左右方向にスライド動可能なつまみが表示されるようになっている。同つまみをマウスにて移動させることにより、修正領域の半径の大きさを調節可能となっている。本実施形態では、つまみを左側に移動させると半径が小さくなり、右側に移動させると半径が大きくなるようになっている。
【００３８】
許容度入力欄９１ｅでも、左右方向にスライド動可能なつまみが表示されるようになっている。同つまみをマウスにて移動させることにより、赤目とする範囲を表す許容度Toleranceを調節可能となっている。本実施形態では、許容度は０〜１の値とされ、つまみを左側に移動させると許容度が小さくなり（左端が０）、右側に移動させると許容度が大きくなるようになっている（右端が１）。
強度入力欄９１ｆでも、左右方向にスライド動可能なつまみが表示されるようになっている。同つまみをマウスにて移動させることにより、明るさを表す強度Intensityを調節可能となっている。本実施形態では、強度は０〜１の値とされ、つまみを左側に移動させると強度が小さくなり（左端が０）、右側に移動させると強度が大きくなるようになっている（右端が１）。
【００３９】
領域抽出ボタン９１ｇがマウスにてクリック操作されると、画像から目の領域が自動的に抽出されるようになっている。画像参照ボタン９１ｈがクリック操作されると、赤目が生じていない別の画像から目の色を表す情報が自動的に取得されるようになっている。修正実行ボタン９１ｉがクリック操作されると、設定された条件に応じて赤目部分が目の色に修正されるようになっている。
【００４０】
図３に戻って、説明を続ける。色置換手段Ｕ４は、取得された修正領域情報に対応する修正領域の画素について、各画素の画像データを置換対象として順次対象画素を移動させながら、赤目部分すなわち対象画素の画像データが範囲情報に対応する範囲内であるときに同赤目部分の画像データから目の色を表す画像データに置換する。ディスプレイに表示する画像を表現する画像データの場合、ガンマ補正が行われているので、逆ガンマ補正を行った後、ＲＧＢ色空間内における赤目目標色と修正領域の画素の色との距離を算出し、この距離が範囲情報に対応する範囲内であるか否かを判断する。例えば、γ＝２．２のガンマ補正された画像データである場合、同画像データの各ＲＧＢ値をR0，G0，B0（いずれも、０〜２５５の値）とすると、逆ガンマ補正後の画像データの各ＲＧＢ値C2r，C2g，C2b（いずれも、０〜２５５の値）は、以下の演算式により算出することができる。
C2r＝255×（R0／255）0.45 ・・・(1)
C2g＝255×（G0／255）0.45 ・・・(2)
C2b＝255×（B0／255）0.45 ・・・(3)
【００４１】
上述した逆ガンマ補正の後に、赤目目標色と修正領域の画素の色との距離Distanceを算出する。ここで、算出式を変更しながら試験を繰り返し行った結果、Ｎを正の整数として、赤目目標色の座標値をＲＧＢの順にC1r（０≦C1r≦Ｎ）、C1g（０≦C1g≦Ｎ）、C1b（０≦C1b≦Ｎ）、Ravg＝（C1r＋C2r）／２とするとき、距離Distanceを以下の演算式により算出すると、修正すべき赤目部分を確実に目の色に修正することができ、良好な画質の修正画像を得ることができた。
Distance＝［｛２＋Ravg／（Ｎ＋１）｝×（C1r−C2r）2＋４×（C1g−C2g）2＋｛２＋（Ｎ−Ravg）／（Ｎ＋１）｝×（C1b−C2b）2］1/2
・・・(4)
本実施形態では、Ｎ＝２５５としているので、以下の演算式により算出することになる。
Distance＝［（２＋Ravg／256）×（C1r−C2r）2＋４×（C1g−C2g）2＋｛２＋（255−Ravg）／256｝×（C1b−C2b）2］1/2
・・・(5)
【００４２】
ここで、ＮをＮ＋１やＮ−１に変更したり、Ｎ＋１をＮに変更したり等、演算式の各係数の僅かな違いは距離Distanceの値にほとんど影響しない。従って、例えば以下の演算式により距離Distanceを算出してもよい。
Distance＝［（２＋Ravg／255）×（C1r−C2r）2＋４×（C1g−C2g）2＋｛２＋（255−Ravg）／255｝×（C1b−C2b）2］1/2 ・・・(5')
また、演算式(4)，(5)の右辺に所定係数が乗じられた式であってもよい。この場合であっても、赤目目標色と画素の色との距離を表すことに変わりはない。
【００４３】
上記演算式(4)，(5)は、良好な修正画像を得ることができる点で良好であるものの、演算処理を簡素化させるために、以下の演算式により距離Distanceを算出してもよい。
Distance＝｛（C1r−C2r）2＋（C1g−C2g）2＋（C1b−C2b）2｝1/2
・・・(6)
【００４４】
距離Distanceが赤目の色とする範囲内であるか否かを判断するにあたり、距離Distanceを０〜１の値に変換している。ＲＧＢ色空間内におけるＲＧＢの座標を（Ｒ，Ｇ，Ｂ）で表すとき（０≦Ｒ≦Ｎ、０≦Ｇ≦Ｎ、０≦Ｂ≦Ｎ）、図５に示すように、８箇所の各座標（０，０，０）、（０，０，Ｎ）、（０，Ｎ，０）、（０，Ｎ，Ｎ）、（Ｎ，０，０）、（Ｎ，０，Ｎ）、（Ｎ，Ｎ，０）、（Ｎ，Ｎ，Ｎ）と赤目目標色の座標（C1r，C1g，C1b）との距離を上記式(5)によりそれぞれ求め、求めた距離の最大値MaxDistanceを算出し、最大値MaxDistanceに対する距離Distanceの比に基づいて赤目の色とする範囲内であるか否かを判断している。図の例では、Ｎ＝２５５であり、座標（２５５，２５５，０）と赤目目標色の座標との距離が最も大きくなっている。すなわち、距離の最大値MaxDistanceは、以下の式により算出される値となる。
MaxDistance＝［（２＋C1r／256）×C1r2＋４×（C1g−255）2＋｛２＋（255−C1r）／256｝×（C1b−255）2］1/2
・・・(7)
【００４５】
すると、距離の最大値MaxDistanceに対する距離Distanceの比は常に１以下となる。図４で示した設定入力画面から操作入力を受け付けることにより取得される許容度Toleranceは０〜１の値とされるので、Distance／MaxDistance≦Toleranceであるときに赤目の色とする範囲内であると判断し、画像データの置換を行う。このように、距離Distanceの比を基準として画像データが範囲情報に対応する範囲内であるか否かを判断すればよいので、範囲情報を０〜１の範囲で表現することができ、構成を簡易にさせることができる。
【００４６】
再び図３に戻って、説明を続ける。距離Distanceの比が許容度Tolerance以下であるとき、対象画素が全て修正領域に含まれる場合には、同対象画素について元の画像データから目の色を表す画像データであって明るさ情報に対応した明るさを表す画像データに置換する。例えば、目の色として黒が選択されている場合、０〜１の値とされた強度Intensityを用いると、置換後の画像データの各ＲＧＢ値C3r，C3g，C3b（いずれも、０〜２５５の値）は、置換前のＲＧＢ値C2r，C2g，C2bの最小値に強度Intensityを乗じることにより算出することができる。
C3r＝C3g＝C3b＝Minimum（C2r，C2g，C2b）×Intensity ・・・(8)
すると、目の部分に赤目が生じた画像に対して赤目部分の彩度が小さくされ、赤目が目の色に修正されることになる。
【００４７】
上記式(8)を用いて画像データを置換することにより、置換前の画像データの値が置換後の画像データの値に反映されるので、赤目修正後の画像の画質を高画質にさせることができる。むろん、画像データを置換する演算を簡素化させるために、以下の演算式のように、所定値に強度Intensityを乗じて置換後の画像データの値を求めてもよい。
C3r＝C3g＝C3b＝255×Intensity ・・・(9)
ここで、強度Intensityは、概略輝度を表すことになり、上記式(8)を用いる場合には間接的に輝度を表すことになる。むろん、輝度を表す際にＲＧＢ各成分値に異なる重み付けをすることもあるため、C3r，C3g，C3b別に式(8)，(9)の右辺に異なる所定係数を乗じることにより、C3r，C3g，C3bを異なる値にするようにしてもよい。
【００４８】
一般的には、目の色の各ＲＧＢ値をEr，Eg，Ebで表すと、以下の演算式により置換後の画像データのＲＧＢ値を算出することができる。
C3r＝Er×｛Minimum（C2r，C2g，C2b）／255｝×Intensity ・・・(10)
C3g＝Eg×｛Minimum（C2r，C2g，C2b）／255｝×Intensity ・・・(11)
C3b＝Eg×｛Minimum（C2r，C2g，C2b）／255｝×Intensity ・・・(12)
または
C3r＝Er×Intensity ・・・(13)
C3g＝Eg×Intensity ・・・(14)
C3b＝Eb×Intensity ・・・(15)
上記式(10)〜(12)では、元の画像データの値が置換後の画像データの値に反映されるので、赤目修正後の画像の画質を高画質にさせることができる。
このように、色置換手段Ｕ４は、目の色を表す画像データに置換するにあたり、取得された明るさ情報に対応した明るさを表す画像データに置換する。
【００４９】
また、色置換手段Ｕ４は、対象画素が修正領域の境界部分である場合には、同対象画素について元の画像データから同目の色を表す画像データに置換するにあたり同画像データの置換量を同対象画素が同修正領域に含まれる度合に応じた量とする。
【００５０】
図６は、修正領域の境界部分における画像データの置換処理を説明する図である。ここで、修正領域５０は、中心座標５１を中心とした略円形の領域とされている。修正領域内の画素５２は、全ての部分が修正領域５０に含まれる画素である。すなわち、画素５２の画像データは、上述した演算式(8)〜(15)により求められる。一方、図中点線で示した修正領域外の画素５４は、全ての部分が修正領域５０から外れた画素である。従って、画素５４の画像データは、置換されない。
境界部分の画素５３は、内部が修正領域５０の境界部分となる画素である。画素５３については、画像データを置換するにあたり、画像データの置換割合を同画素５３が修正領域５０に含まれる割合とする。具体的には、以下のようにして置換割合を決定して画像データを置換する。
【００５１】
まず、画素５３を、横ｍ１×縦ｎ１（ｍ１，ｎ１は２以上の整数）の所定数の区分領域５５に略等分割する。本実施形態では、ｍ１＝ｎ１＝４とし、画素５３を１６の区分領域５５に等分割している。次に、画素５３別に、区分領域５５の中心が修正領域５０の内部となる区分領域の数ｎ２を求める。そして、画素５３の全区分領域の数１６に対する求めた区分領域の数ｎ２の割合、すなわち、ｎ２／１６を画像データの置換割合Ｐとする。例えば、図に示す画素５３ａ，ｂの場合、それぞれ中心が修正領域５０の内部となる区分領域の数ｎ２は８，１３であるので、画像データの置換割合Ｐは８／１６、１３／１６となる。
【００５２】
ここで、一旦上記式(8)〜(15)により各ＲＧＢ値C3r，C3g，C3bを算出するとともに、ＲＧＢ色空間内の画像データとなるＲＧＢ値C3r，C3g，C3bをＨＩＳ色空間内の画像データの各成分値H3，I3，S3に変換し、元の画像データのＲＧＢ値C2r，C2g，C2bをＨＩＳ色空間内の画像データの各成分値H2，I2，S2に変換する。なお、H2，H3は色相（Hue）の成分値であり、I2，I3は輝度（Intensity）の成分値であり、S2，S3は彩度（Saturation）の成分値である。具体的には、Ａ１を３×３の所定の行列として、以下の演算式により、H2，H3，I2，I3，S2，S3を算出することができる。
【数１】
【００５３】
そして、算出したH2，H3，I2，I3，S2，S3と、置換割合Ｐとを用いて、ＨＩＳ色空間における置換後の画像データの各成分値H4，I4，S4を算出する。
H4＝H2 ・・・(18)
I4＝I2−（I2−I3）×Ｐ ・・・(19)
S4＝S2−（S2−S3）×Ｐ ・・・(20)
その後、ＨＩＳ色空間内の画像データの各成分値H4，I4，S4をＲＧＢ色空間内の画像データの各成分値C4r，C4g，C4bに戻す。
【数２】
【００５４】
このように、修正領域の境界部分である画素について元の画像データから目の色を表す画像データに置換するにあたり、画像データの置換割合は同画素が修正領域に含まれる割合とされる。
これにより、修正領域の境界部分が赤目の色とする範囲内であるときに画像データは完全には目の色に置き換えられないので、修正領域の内外で色は急変せず、スムーズに変化する。その結果、より確実に違和感を感じさせないように赤目を修正することが可能となる。
【００５５】
さらに、色置換手段Ｕ４は、赤目が生じていない別の画像の画像データを取得し、取得した画像データに基づいて同別の画像から虹彩の領域を決定し、決定した領域の画像データに基づいて目の色を表す情報を取得することも可能である。これにより、赤目が生じていない別の画像から目の色を表す情報が取得され、修正領域のうち赤目部分がこの目の色に修正され、より確実に違和感を感じさせないように赤目を修正することが可能となる。
【００５６】
なお、逆ガンマ補正を行った画像データに対して赤目部分を目の色を表す画像データに置換した場合、ガンマ補正が行われた画像データに戻す処理を行う。ガンマ補正後の画像データの各ＲＧＢ値R1，G1，B1（いずれも、０〜２５５の値）は、以下の演算式により算出することができる。
R1＝255×（C4r／255）2.2 ・・・(22)
G1＝255×（C4g／255）2.2 ・・・(23)
B1＝255×（C4b／255）2.2 ・・・(24)
【００５７】
（３）赤目修正装置の動作：
図７は、各種手段Ｕ１〜Ｕ４が行う赤目修正処理をフローチャートにより示している。以下、同フローチャートに従って赤目修正装置が行う処理の詳細を説明する。
本実施形態にかかる赤目修正プログラムを起動させると、まず、修正前のカラーの画像を表現する画像データを入力し、図４で示した設定入力画面をディスプレイに表示する（ステップＳ１０５。以下、「ステップ」の記載を省略）。なお、十字ポインタ９１ｂの位置、目の色選択欄９１ｃ、各種入力欄９１ｄ〜ｆについては、デフォルトの条件または前回入力された条件にて表示する。また、目の色選択欄９１ｃで「別の画像」が選択入力された場合のみ、領域抽出ボタン９１ｇをクリック操作可能とする。
【００５８】
入力した画像データは、画像表示欄９１ａに表示される。入力する画像データは、デジタルカメラ３０や図示しないスキャナやビデオカメラ等にて取り込まれた画像のデータであってもよいし、ＦＤ１６ａ等に記録した画像データであってもよい。また、デジタルカメラ等から画像データを入力する場合、データ全体を一括して読み込む必要はなく、部分的に読み込むようにしてもよいし、他のＡＰＬから呼び出されるような場合にはデータの受け渡しに利用されるバッファ領域を表すポインタの受け渡しだけであってもよい。
【００５９】
設定入力画面を表示すると、目の色選択欄９１ｃに目の色の選択入力が行われたか否かを判断する（Ｓ１１０）。目の色を選択する入力を受け付けていないときにはＳ１３０に進み、目の色を選択する入力を受け付けたときにはＳ１１５に進む。Ｓ１１５では、同選択欄９１ｃから「別の画像」が選択入力されたか否かを判断する。「別の画像」を選択する入力を受け付けた場合には、目の色決定処理を行い（Ｓ１２０）、Ｓ１３０に進む。
【００６０】
図８は目の色決定処理をフローチャートにより示しており、図９は目の色が決定される様子を模式的に示している。まず、画像参照ボタン９１ｈがクリック操作されると、図示しない画像ファイル選択画面を表示し、赤目が生じていない画像の画素別とされた画像データを記憶した画像ファイルの選択入力を受け付けることにより画像ファイルの画像データをＲＡＭに読み出し、赤目が生じていない別の画像６１の画像データを取得する（Ｓ２０５）。次に、別の画像６１の画像データに基づいて、白目を含む目の領域６２を決定する（Ｓ２１０）。例えば、肌色の領域を抽出し、抽出した肌色の領域に囲まれた領域が所定の目の形状と略一致するときに、その囲まれた領域を白目を含む目の領域と決定する。
さらに、白目を含む目の領域６２の画素の画像データに基づいて、別の画像６１から虹彩の領域６３を決定する（Ｓ２１５）。例えば、白目の領域（例えば、画像データの各ＲＧＢ値が所定値以上となる画素の領域）を抽出し、抽出した白目の領域を除いた目の領域を虹彩の領域と決定する。
【００６１】
そして、虹彩の領域６３の画像データに基づいて、目の色を表す情報を取得し（Ｓ２２０）、本フローを終了する。ここで、目の色を表す情報は、様々考えられ、例えば、虹彩の領域の全画素について画像データの各ＲＧＢ値をそれぞれ平均して一様にしたデータとしてもよいし、虹彩の模様を残すように虹彩の領域における画素別の画像データとしてもよい。
このように、各画素の画像データに基づいて画像から目の領域が修正領域として決定されるので、自動的に赤目を修正する領域が抽出され、赤目を修正する作業が軽減されて、便利である。また、赤目が生じていない別の画像から目の色を表す情報が取得され、赤目部分は赤目が生じていない別の画像の目の色に修正されるので、より確実に違和感を感じさせないように赤目を修正することが可能となる。
【００６２】
Ｓ１１５にて、「別の画像」以外を選択する入力を受け付けた場合、Ｓ１２５に進んで目の色を表す情報を取得する。ここで、黒、茶、青等の複数の目の色からいずれかを選択する入力を受け付けた場合には、対応する目の色の各ＲＧＢ値Er，Eg，Eb（置換後の色を表す情報）を取得する。ユーザ設定が選択入力された場合には、色パレットを表示し、色パレットへの操作入力を受け付けて対応する目の色のＲＧＢ値Er，Eg，Ebを取得する。地域別の人が選択入力された場合には、地域を表す情報とその地域の人の目の色を表すＲＧＢ値とを対応させた図示しない地域別目の色テーブルを参照して、選択入力された地域の人に対応する目の色を表すＲＧＢ値Er，Eg，Ebを取得する。
このように、目の色を選択することができるし、入力された地域の人に対応する目の色にも修正可能となるので、便利である。従って、赤目部分をより希望に沿った目の色に置換することができ、より確実に違和感を感じさせないように赤目を修正することが可能となる。
【００６３】
その後、Ｓ１３０に進み、さらに各種パラメータを順次取得し、各種ボタン９１ｇ〜ｊへの操作に応じた処理を行っていく。Ｓ１３０では、十字ポインタ９１ｂを移動させることにより赤目の中心位置を指定する操作入力を受け付けたとき、十字ポインタ９１ｂを対応する位置に移動させて表示するとともに、画像表示欄９１ａに表示された画像における十字ポインタ９１ｂの位置に対応する情報を赤目の中心座標を表す情報として取得する。
Ｓ１３５では、半径入力欄９１ｄにて修正領域の半径を設定する操作入力を受け付けたとき、つまみの位置に対応する数値の半径Radiusを取得する。そして、十字ポインタ９１ｂを同半径Radiusに略比例した大きさとして表示する。
赤目の中心座標を表す情報と半径Radiusとは、赤目を修正する修正領域を表す修正領域情報となる。すなわち、ＰＣ１０が行うＳ１０５，Ｓ１３０〜Ｓ１３５の処理は、修正領域取得手段を構成する。
【００６４】
Ｓ１４０では、許容度入力欄９１ｅにて赤目とする範囲を設定する操作入力を受け付けたとき、つまみの位置に対応する数値の許容度Toleranceを取得する。許容度Toleranceは、ＲＧＢ色空間内において赤目の色とする範囲が所定の赤目目標色からの距離として表された範囲情報である。すなわち、ＰＣ１０が行うＳ１０５，Ｓ１４０の処理は、赤目範囲取得手段を構成する。
【００６５】
Ｓ１４５では、強度入力欄９１ｆにて画像データの明るさを設定する操作入力を受け付けたとき、つまみの位置に対応する数値の強度Intensityを取得する。強度Intensityは、置換後の画像データの明るさを表す明るさ情報である。すなわち、ＰＣ１０が行うＳ１０５，Ｓ１４５の処理は、明るさ情報取得手段を構成する。
【００６６】
目の色選択欄９１ｃで「別の画像」が選択入力された場合、領域抽出ボタン９１ｇをクリック操作可能とする。そして、Ｓ１５０にて、領域抽出ボタン９１ｇがクリック操作されたか否かを判断する。同ボタン９１ｇがクリック操作された場合には、Ｓ１５５の目の領域決定処理を行った後、Ｓ１６０に進む。同ボタン９１ｇがクリック操作されていない場合は、Ｓ１５５の処理を行わずにＳ１６０に進む。
Ｓ１５５の目の領域決定処理では、各画素の画像データに基づいて画像から目の領域を決定し、当該領域を表す情報を修正領域情報として取得する。例えば、図９で示したように、肌色の領域を抽出し、抽出した肌色の領域に囲まれた領域が所定の目の形状と略一致するときに、その囲まれた領域を目の領域（白目を含む）と決定し、当該目の領域を表す情報を修正領域情報として取得する。すなわち、ＰＣが行うＳ１５０，Ｓ１５５の処理は、別の意味での修正領域取得手段を構成する。
【００６７】
Ｓ１６０では、修正実行ボタン９１ｉがクリック操作されたか否かを判断する。同ボタン９１ｉがクリック操作された場合には、Ｓ１６５の色置換処理を行った後、Ｓ１７０に進む。同ボタン９１ｇがクリック操作されていない場合は、Ｓ１６５の処理を行わずにＳ１７０に進む。
図１０は、Ｓ１６５で行う色置換処理をフローチャートにより示している。
まず、上記式(7)を用いて、各座標（０，０，０）、（０，０，２５５）、（０，２５５，０）、（０，２５５，２５５）、（２５５，０，０）、（２５５，０，２５５）、（２５５，２５５，０）、（２５５，２５５，２５５）と赤目目標色の座標（C1r，C1g，C1b）との距離を上記式(5)によりそれぞれ求め、求めた距離の最大値MaxDistanceを算出する（Ｓ３０５）。ここで、座標（C1r，C1g，C1b）は逆ガンマ補正を基準とする座標であるので、算出される最大値MaxDistanceは逆ガンマ補正が行われた画像データを基準とした値となる。
【００６８】
次に、取得された修正領域情報に対応する修正領域内で、画像データの置換対象とする対象画素を設定する（Ｓ３１０）。修正領域情報が修正領域の半径を表す情報と修正領域の中心座標を表す情報とから構成されている場合、これらの情報に対応した円形の領域に少しでも含まれる画素を抽出して修正領域とし、同修正領域の中から対象画素を設定する。そして、順次対象画素を移動させながら、対象画素の画像データを置換する処理を行う。本実施形態では、多数の画素が上下左右方向に整然と並んでおり、画像データの置換処理の順序は、最も上の左端の画素から開始して順番に右端の画素までとし、その後一つずつ下の左端の画素から順番に右端の画素までとして、最後に最も下の右端の画素としている。むろん、置換処理の順序は、適宜変更可能である。
【００６９】
入力される画像データ（ＲＧＢ値R0，G0，B0）はガンマ補正が行われているので、対象画素を設定した後は、上記式(1)〜(3)を用いて逆ガンマ補正を行い、各ＲＧＢ値C2r，C2g，C2bを算出する（Ｓ３１５）。その後、上記式(5)を用いて、赤目目標色（ＲＧＢ値C1r，C1g，C1b）と修正領域の画素の色（ＲＧＢ値C2r，C2g，C2b）との距離Distanceを算出する（Ｓ３２０）。そして、距離Distanceが範囲情報に対応する距離内であるか否か、すなわち最大値MaxDistanceに対する距離Distanceの比が許容度Tolerance以下であるかを判断する（Ｓ３２５）。同比が許容度Toleranceより大きければ、赤目部分ではないと判断して画像データの置換を行わず、Ｓ３５０に進む。一方、同比が許容度Tolerance以下であれば、赤目部分であると判断してＳ３３０に進み、画像データの置換を行う。このように、対象画素の色が赤目目標色から範囲情報に対応する距離内であるときに画像データが置換されるので、確実に修正すべき赤目部分を目の色に修正することが可能である。
【００７０】
Ｓ３３０では、対象画素が修正領域の境界部分であるか否かを判断する。境界部分でなければＳ３３５に進み、境界部分であればＳ３４０に進んで境界色置換処理を行う。
対象画素が全て同修正領域に含まれる場合に行われるＳ３３５では、上記式(10)〜(12)を用いて、元の画像データ（ＲＧＢ値C2r，C2g，C2b）を、強度Intensityに対応した明るさの目の色を表す画像データ（ＲＧＢ値C3r，C3g，C3b）に置換し、Ｓ３４５に進む。すると、対象画素が全て修正領域に含まれる場合に対象画素について赤目部分であれば目の色に修正されることになる。また、強度Intensityの設定に応じて置換後の画像データに基づく画像の明るさを調整することができるので便利であるとともに、さらに違和感なく赤目を修正することが可能となる。さらに、選択入力を受け付けることにより置換後の色を表す情報を取得した場合には、置換後の色を表す情報に対応した色となるように画像データを置換するので、赤目部分を希望に沿った目の色に置換することができ、便利であるとともに、より確実に違和感を感じさせないように赤目を修正することが可能となる。
【００７１】
一方、対象画素が修正領域の境界部分である場合、図１１に示す境界色置換処理を行い（Ｓ３４０）、Ｓ３４５に進む。
まず、対象画素を４×４の区分領域に等分割し、中心が修正領域の内部となる区分領域の数ｎ２を算出する（Ｓ４０５）。次に、区分領域全ての数である１６に対する算出した数ｎ２の割合を算出して画像データの置換割合Ｐとする（Ｓ４１０）。
さらに、上記式(10)〜(12)を用いて、元の画像データ（ＲＧＢ値C2r，C2g，C2b）を、強度Intensityに対応した明るさの目の色を表す画像データ（ＲＧＢ値C3r，C3g，C3b）に仮に置換する（Ｓ４１５）。
その後、置換前後のＲＧＢ色空間の画像データを、ＨＩＳ色空間の画像データに変換する（Ｓ４２０）。すなわち、上記式(16)，(17)を用いて、ＲＧＢ値C2r，C2g，C2bをＨＩＳ色空間の画像データの各成分値H2，I2，S2に変換し、ＲＧＢ値C3r，C3g，C3bをＨＩＳ色空間の画像データの各成分値H3，I3，S3に変換する。
【００７２】
そして、上記式(18)〜(20)を用いて、画像データの置換割合を対象画素が修正領域に含まれる割合とするように置換後の画像データの各成分値H4，I4，S4を算出する（Ｓ４２５）。
その後、上記式(21)を用いて、ＨＩＳ色空間の画像データの各成分値H4，I4，S4を各ＲＧＢ値C4r，C4g，C4bに変換し、ＲＧＢ色空間の画像データに戻して（Ｓ４３０）、本フローを終了する。
すると、対象画素が修正領域の境界部分である場合には、画像データの置換量は対象画素が修正領域に含まれる割合とされる。すなわち、簡易な構成ながら修正領域の境界部分を自然な感じにさせるように境界部分の画素の画像データを置換することができる。言い換えると、画像データは完全には目の色を表すデータに置き換えられないので、赤目を修正する領域の内外で色は急変せず、スムーズに変化することになる。
【００７３】
図１０に戻って、説明を続ける。置換後の画像データ（ＲＧＢ値C3r，C3g，C3bまたはC4r，C4g，C4b）は、ガンマ補正が行われていないデータであるので、Ｓ３４５では、上記式(22)〜(24)を用いて、同画像データに対してガンマ補正を行い、ガンマ補正後の画像データ（ＲＧＢ値R1，G1，B1）を算出する。
その後、修正領域内の画素全てについて、Ｓ３１０〜Ｓ３４５の処理を行ったか否かを判断する（Ｓ３５０）。同処理を修正領域内の全画素について行ったときには本フローを終了し、全画素について行っていないときには繰り返しＳ３１０〜Ｓ３５０の処理を行う。
このように、ＰＣ１０が行う図７のＳ１０５〜Ｓ１２５，Ｓ１６５処理は、色置換手段を構成する。
【００７４】
例えば図１２に示すように、赤目の色とする範囲が修正領域５０の内外にわたって存在するとき、全て修正領域５０に含まれる画素５２については元の画像データから目の色を表す画像データに置換され、赤目部分が目の色に修正される。一方、修正領域５０から完全に外れた画素５４については元の画像データのままとされ、目の色には修正されない。ここで、修正領域５０の境界部分の画素５３については、同画素５３が修正領域５０に含まれる割合で画像データが置換されるので、画像データは完全には目の色を表すデータに置き換えられない。従って、赤目を修正する領域の内外で色は急変せず、スムーズに変化する。その結果、目の部分に赤目が生じた画像に対して、より確実に違和感を感じさせないように赤目を修正することが可能となる。
【００７５】
図７のＳ１６０またはＳ１６５終了後、保存ボタン９１ｊがクリック操作されたか否かを判断する（Ｓ１７０）。同ボタン９１ｊがクリック操作された場合には、Ｓ１７５に進み、ＨＤ１４に画像データを記憶し、本フローを終了する。一方、同ボタン９１ｊがクリック操作されていない場合は、Ｓ１１０に戻る。
【００７６】
（４）まとめ：
以上説明したように、本赤目修正装置のユーザは、十字ポインタにより赤目の位置を指定するとともに半径、許容度、強度等を設定する入力を行うことにより、容易に赤目を修正することが可能である。そして、赤目を修正する領域の境界部分が赤目の色とする範囲内であるときに画像データは完全には目の色を表すデータに置き換えられないので色はスムーズに変化するし、置換後の画像データは明るさ情報に対応した明るさを表す画像データとなる。また、赤目部分を赤目が生じていない別の画像の目の色に修正することもできる。従って、確実に違和感を感じさせないように赤目を修正することができ、本赤目修正装置は利便性の大きな装置となっている。
【００７７】
なお、本発明の赤目修正プログラムを実行可能な赤目修正装置と周辺装置は、様々な構成が可能である。
例えば、プリンタは、コンピュータと一体化されたものであってもよいし、単色画像のみを印刷する専用品であってもよい。上述したフローについては、ＰＣ内で実行する以外にも、一部または全部をプリンタあるいは専用の画像出力機器で実行するようにしてもよい。
本発明によると、赤目を修正するために有用な赤目修正装置および赤目修正プログラムを提供することができる。また、赤目修正方法としても適用可能である。
【図面の簡単な説明】
【図１】 赤目修正装置と周辺装置とからなるシステムの概略構成を示すブロック図。
【図２】 プリンタのブロック構成をＰＣとともに示す図。
【図３】 赤目修正装置を構成する各種手段を模式的に示す図。
【図４】 設定入力画面の表示例を示す図。
【図５】 距離の最大値MaxDistanceを示す模式図。
【図６】 修正領域の境界部分における画像データの置換処理を説明する図。
【図７】 赤目修正処理を示すフローチャート。
【図８】 目の色決定処理を示すフローチャート。
【図９】 目の色が決定される様子を模式的に示す図。
【図１０】 色置換処理を示すフローチャート。
【図１１】 境界色置換処理を示すフローチャート。
【図１２】 赤目の色とする範囲が修正領域の内外にわたって存在する場合において、修正後の画像の様子を模式的に示す図。
【符号の説明】
１０…パーソナルコンピュータ、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…ハードディスク、１７ａ〜ｅ…インターフェイス、１８ａ…ディスプレイ、１８ｂ…キーボード、１８ｃ…マウス、２０…インクジェットプリンタ、３０…デジタルカメラ、５０…修正領域、５１…中心座標、５２…修正領域内の画素、５３…境界部分の画素、５４…修正領域外の画素、５５…区分領域、６１…別の画像、６２…白目を含む目の領域、６３…虹彩の領域、Ｕ１…修正領域取得手段、Ｕ２…赤目範囲取得手段、Ｕ３…明るさ情報取得手段、Ｕ４…色置換手段
【発明の属する技術分野】
本発明は、画素別に多階調とされた画像データで表現されるカラーの画像に生じた赤目を修正する赤目修正装置、赤目修正方法および赤目修正プログラムに関する。
【０００２】
【従来の技術】
従来より、夜間等暗い環境でストロボを発光させて人をデジタルカメラ等で撮影すると、人の目の部分に赤目が生じることがある。赤目は、いわゆる黒目の部分が赤色や金色になった現象をいう。このような赤目を修正する装置として、赤目修正を行う矩形領域を指定し、同矩形領域から色相が所定範囲で彩度が所定値以上となる部分を赤目領域として自動抽出し、黒、青、等の所定の色に変換する装置が知られている（例えば、特許文献１参照）。同装置は、赤目領域を自動抽出できなかった場合に、手動で赤目領域を指定することができるようにしてあり、赤目を修正する操作効率を向上させるようにしている。
また、目を含む領域から目の領域を自動的に抽出する技術も知られている（例えば、特許文献２参照）。
【０００３】
【特許文献１】
特開２００１−１４８７８０号公報（段落００１９−００５２、第１−７図）
【特許文献２】
特開平１０−７５３７４号公報（段落００１５−００４９、第１−３図）
【０００４】
【発明が解決しようとする課題】
上述した従来の技術においては、赤目領域を所定の色に置き換えた画像を見ると違和感が感じられるという問題があった。特に、赤目でない領域も一律に所定の色に置き換えられるため、赤目修正を行った領域の内外間で色が急変する箇所が生じると違和感の大きな画像となってしまうことになる。そこで、赤目が生じた画像に対して違和感を感じさせないように赤目を修正したいという希望があった。
本発明は、上記課題にかんがみてなされたもので、目の部分に赤目が生じた画像に対して、より確実に違和感を感じさせないように赤目を修正することが可能な赤目修正装置、赤目修正方法および赤目修正プログラムの提供を目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するため、請求項１にかかる発明は、画素別に多階調とされた画像データで表現されるカラーの画像のうち赤目を修正する赤目修正装置であって、上記カラーの画像のうち赤目を修正する修正領域を表す修正領域情報に対応する修正領域の上記画素について上記画像データが当該画像データの色空間内において赤目の色とする範囲を表す範囲情報に対応する範囲内であるとき、元の画像データから目の色を表す画像データに置換するとともに同画素が同修正領域の境界部分である場合には同画像データの置換割合を同画素が同修正領域に含まれる割合とする色置換手段を具備する構成としてある。
【０００６】
本赤目修正装置は、画素別に多階調とされた画像データで表現されるカラーの画像に生じた赤目を修正する。ここで、上記カラーの画像のうち赤目を修正する修正領域を表す修正領域情報に対応する修正領域の画素について、画像データが当該画像データの色空間内において赤目の色とする範囲を表す範囲情報に対応する範囲内であるとき、以下のようにして画像データが置換される。
すなわち、元の画像データから目の色を表す画像データに置換されるが、置換対象の画素が修正領域の境界部分である場合には、画像データの置換割合は同画素が同修正領域に含まれる割合とされる。
従って、赤目を修正する領域の境界部分が赤目の色とする範囲内であるときに画像データは完全には目の色を表すデータに置き換えられないので、赤目を修正する領域の内外で色は急変せず、スムーズに変化する。その結果、目の部分に赤目が生じた画像に対して、より確実に違和感を感じさせないように赤目を修正することが可能となる。
【０００７】
上記目の色は、黒、茶、青、等、様々な色が考えられる。また、置き換える目の色は、一様であってもよいし、模様があってもよいし、より高画質となるように虹彩部分と瞳孔部分とが別の色にされていてもよい。
【０００８】
上述した手段により赤目修正装置を構成する場合、請求項２にかかる発明のように構成してもよい。本赤目修正装置は、画素別に複数の要素色のそれぞれについて多階調とされた画像データで表現されるカラーの画像に生じた赤目を修正する。ここで、取得された修正領域情報に対応する修正領域の画素について、各画素の画像データが置換対象として順次対象画素が移動させられる。そして、対象画素の画像データが上記取得された範囲情報に対応する範囲内であるとき、以下のようにして画像データが置換される。
すなわち、対象画素が全て修正領域に含まれる場合には、対象画素について元の画像データから目の色を表す画像データに置換される。一方、対象画素が修正領域の境界部分である場合には、対象画素について元の画像データから目の色を表す画像データに置換されるにあたり、画像データの置換割合は同画素が同修正領域に含まれる割合とされる。従って、上記と同様の作用により、赤目を修正する領域の内外で色が急変せず、スムーズに変化する。
【０００９】
上記複数の要素色は様々考えられ、例えば、レッド（Ｒ）とグリーン（Ｇ）とブルー（Ｂ）の３色から構成されてもよいし、輝度データとブルーの色差データとレッドの色差データから構成されてもよい。シアン（Ｃ）とマゼンタ（Ｍ）とイエロー（Ｙ）の３色から構成されてもよいし、さらにブラック（Ｋ）を加えた４色から構成されてもよい。また、デバイスに依存しないＬａｂ空間の各成分のように明度データと二種類の色度データから構成されてもよい。
【００１０】
ここで、上記色置換手段は、上記画素が上記修正領域の境界部分である場合には同画素について元の画像データから上記目の色を表す画像データに置換するにあたり同画像データの置換割合を同画素が同修正領域に含まれる割合とする。すなわち、境界部分の画素において元の画像データから目の色を表す画像データに置換する割合は、同画素が修正領域に含まれる割合とされるので、簡易な構成ながら修正領域の境界部分を自然な感じにさせるように境界部分の画素の画像データを置換することができる。
【００１１】
また、境界部分の画素の画像データを置換する一例として、上記色置換手段は、上記画素を所定数の区分領域に略等分割し、中心が上記修正領域の内部となる区分領域の同区分領域全ての数に対する割合を上記画像データの置換割合とする構成としてもよい。すなわち、画素を所定数の区分領域に略等分割し、境界部分の画素において元の画像データから目の色を表す画像データに置換する割合を中心が修正領域の内部となる区分領域の数の割合とすることにより、簡易に求めることができる。
【００１２】
置換後の画像データの明るさを表す明るさ情報を取得する明るさ情報取得手段が設けられると、色置換手段は、取得された明るさ情報に対応した明るさを表す画像データに置換する構成としてもよい。すなわち、置換後の画像データは、明るさ情報に対応した明るさを表す画像データとなる。
ここで、上記明るさ情報取得手段は、上記色置換手段にて置換された後の画像データの輝度を設定する操作入力を受け付けて同輝度を表す情報とされた上記明るさ情報を取得し、上記色置換手段は、上記目の色を表す画像データに置換するにあたり、上記取得された明るさ情報に対応した輝度の画像にさせる画像データに置換する構成としてもよい。すなわち、置換後の画像データは、明るさ情報に対応した輝度の画像にさせる画像データとなる。従って、明るさ情報に応じて置換後の画像データの輝度を調整することができるので利便性が向上するとともに、さらに違和感なく赤目を修正することが可能となる。
【００１３】
ところで、上記修正領域の一例として、修正領域を略円形の領域とし、修正領域情報を、略円形とされた修正領域の径を表す情報と、画像における修正領域の中心座標を表す情報とから構成してもよい。ここで、径を表す情報は、直径を表す情報であってもよいし、半径を表す情報であってもよい。
上記のような修正領域情報を取得する構成の一例として、修正領域取得手段は、上記略円形とされた修正領域の半径を設定する操作入力を受け付けて上記径を表す情報を取得するとともに、上記画像を表示して表示された画像の赤目の中心位置を指定する操作入力を受け付けて上記中心座標を表す情報を取得してもよい。すると、ユーザは簡易な構成で修正領域を設定することが可能となる。
むろん、修正領域は、上記のように円領域とする以外にも様々な形状が考えられ、例えば、楕円状の領域、矩形領域、多角形状の領域等であってもよい。
【００１４】
赤目の色とする範囲を表す範囲情報も、様々な構成が考えられる。その一例として、上記範囲情報は、上記画像データの色空間内において赤目の色とする範囲が所定の赤目目標色からの距離として表された情報とされ、上記色置換手段は、上記色空間内における上記赤目目標色の座標と上記修正領域の画素の画像データとから同赤目目標色と同画素の色との距離を算出し、当該距離が上記取得された範囲情報に対応する距離内であるとき、上記画像データの置換を行う構成としてもよい。すなわち、赤目目標色と画素の色との距離が算出され、同距離が範囲情報に対応する距離内であるときに画像データの置換が行われる。
【００１５】
画像データがＲＧＢのそれぞれについて多階調とされたデータであるときの赤目目標色と画素の色との距離Distanceを算出するための好適な演算式の一例として、請求項７にかかる発明のように構成してもよい。ここで、ＮをＮ＋１やＮ−１に変更したり、Ｎ＋１をＮに変更したり等、演算式の各係数の僅かな違いは距離Distanceの値にほとんど影響しないので、請求項７に記載した発明に含まれる。また、上記演算式の右辺に所定係数が乗じられた式であっても、赤目目標色と画素の色との距離を表すことになるので、請求項７に記載した発明に含まれる。
【００１６】
上記演算式を使用して修正領域の画素の画像データが範囲情報に対応する距離内であるか否かを判断するための好適な構成の一例として、請求項８にかかる発明のように構成してもよい。画像データの色空間内で赤目目標色から最も長くなる距離に対する距離Distanceの比を基準として画像データが範囲情報に対応する範囲内であるか否かを判断すればよいので、範囲情報を０〜１の範囲とすることができる。
【００１７】
なお、画像データを置換する目の色が複数設けられる場合、上記色置換手段は、上記複数の目の色からいずれかの色を選択する入力を受け付けて置換後の色を表す情報を取得し、当該情報に対応した色となるように上記画像データを置換する構成としてもよい。すると、赤目部分をより希望に沿った目の色に置換することができる。
また、どこの国または地域の人か等の選択入力を受け付け、入力された人に対応する目の色の画像データに置換するようにしてもよい。すると、その人に最適な目の色に修正することが可能となる。
【００１８】
ところで、上記修正領域取得手段は、各画素の画像データに基づいて上記画像から目の領域を決定し、当該領域を表す情報を上記修正領域情報として取得する構成としてもよい。すなわち、各画素の画像データに基づいて画像から目の領域が修正領域として決定されるので、自動的に赤目を修正する領域が抽出されることになる。決定される目の領域は、白目を含めた領域であってもよいし、虹彩の領域であってもよい。
【００１９】
また、上記色置換手段は、赤目が生じていない別の画像の画像データを取得し、当該画像データに基づいて同別の画像から虹彩の領域を決定し、当該領域の画像データに基づいて上記目の色を表す情報を取得するとともに、上記修正領域の画素について上記画像データが上記取得された範囲情報に対応する範囲内であるとき、元の画像データから同目の色を表す情報に対応した画像データに置換するとともに同画素が同修正領域の境界部分である場合には同画像データの置換割合を同画素が同修正領域に含まれる割合とする構成としてもよい。赤目が生じていない別の画像から目の色を表す情報が取得され、赤目部分がこの目の色に修正される。
ここで、赤目を修正しようとする画像と別の画像との人が同一人物であるか否かを判定し、同一人物であるときに画像データを置換するようにしてもよい。
【００２０】
このように、他の画像から目の色を表す情報を取得して赤目を修正すると、より確実に違和感を感じさせないようになるので、画素別に多階調とされた画像データで表現されるカラーの第一の画像とは別の第二の画像の画像データを取得し、当該画像データに基づいて同第二の画像から虹彩の領域を決定し、当該領域の画像データに基づいて目の色を表す情報を取得するとともに、同第一の画像のうち赤目を修正する修正領域を表す修正領域情報に対応する修正領域の画素について同第一の画像の画像データが当該画像データの色空間内において赤目の色とする範囲を表す範囲情報に対応する範囲内であるとき、当該第一の画像の画像データを同目の色を表す情報に対応した画像データに置換する色置換手段を具備する構成としてもよい。すなわち、画素別に多階調とされた画像データで表現されるカラーの第一の画像とは別の第二の画像の画像データが取得され、当該画像データに基づいて同第二の画像から虹彩の領域が決定され、当該領域の画像データに基づいて目の色を表す情報が取得されるとともに、同第一の画像のうち赤目を修正する修正領域を表す修正領域情報に対応する修正領域の画素について同第一の画像の画像データが当該画像データの色空間内において赤目の色とする範囲を表す範囲情報に対応する範囲内であるとき、当該第一の画像の画像データを同目の色を表す情報に対応した画像データに置換される。
また、上記第一の画像とは別の第二の画像の画像データが取得され、取得された画像データに基づいて同第二の画像から虹彩の領域が決定され、決定された領域の画像データに基づいて目の色を表す情報が取得されてもよい。取得された修正領域情報に対応する修正領域の画素について、上記第一の画像の画像データが上記取得された範囲情報に対応する範囲内であるとき、当該第一の画像の画像データから第二の画像からの目の色を表す情報に対応した画像データに置換されてもよい。言い換えると、赤目が生じていない別の画像から目の色を表す情報が取得され、赤目部分がこの目の色に修正される。
【００２１】
また、上記明るさ情報取得手段が設けられていると、置換後の画像データは明るさ情報に対応した明るさを表す画像データとなり、さらに違和感なく赤目を修正することが可能となる。すなわち、取得された修正領域情報に対応する修正領域の画素について、画像データが上記取得された範囲情報に対応する範囲内であるとき、元の画像データから、目の色を表す画像データであって上記取得された明るさ情報に対応した明るさを表す画像データに置換される。
さらに、画素別に多階調とされた画像データで表現されるカラーの画像のうち赤目を修正する赤目修正装置であって、複数の地域からいずれかの地域を選択する入力を受け付け、地域を表す情報とその地域の人の目の色を表す画像データとを対応させた地域別目の色テーブルを参照して同受け付けた地域の人に対応する目の色を表す画像データを取得するとともに、上記赤目を修正するカラーの画像うち赤目を修正する修正領域を表す修正領域情報に対応する修正領域の上記画素について同カラーの画像の画像データが当該画像データの色空間内において赤目の色とする範囲を表す範囲情報に対応する範囲内であるとき、当該カラーの画像の画像データから同取得した目の色を表す画像データに置換する色置換手段を具備する構成としてもよい。
すなわち、複数の地域からいずれかの地域を選択する入力が受け付けられ、地域を表す情報とその地域の人の目の色を表す画像データとを対応させた地域別目の色テーブルを参照して同受け付けた地域の人に対応する目の色を表す画像データが取得されるとともに、上記赤目を修正するカラーの画像うち赤目を修正する修正領域を表す修正領域情報に対応する修正領域の上記画素について同カラーの画像の画像データが当該画像データの色空間内において赤目の色とする範囲を表す範囲情報に対応する範囲内であるとき、当該カラーの画像の画像データから同取得した目の色を表す画像データに置換される。これにより、入力された地域の人に対応する目の色に修正可能となるので、便利である。従って、赤目部分をより希望に沿った目の色に置換することができ、より確実に違和感を感じさせないように赤目を修正することが可能となる。
【００２２】
ところで、上述した赤目修正装置は、単独で実施される場合もあるし、ある機器に組み込まれた状態で他の方法とともに実施されることもあるなど、発明の思想としては各種の態様を含むものであって、適宜、変更可能である。
また、上述した赤目を修正する際の手法は、所定の手順に従って処理を進めていくうえで、その根底にはその手順に発明が存在するということは当然である。従って、本発明は方法としても適用可能であり、請求項１２にかかる発明においても、基本的には同様の作用となる。
【００２３】
本発明を実施しようとする際に、赤目修正装置にて所定のプログラムを実行させる場合もある。そこで、そのプログラムとしても適用可能であり、請求項１３にかかる発明においても、基本的には同様の作用となる。さらに、同プログラムを記録した媒体が流通し、同記録媒体からプログラムを適宜コンピュータに読み込むことが考えられる。すなわち、そのプログラムを記録したコンピュータ読み取り可能な記録媒体としても適用可能であり、基本的には同様の作用となる。
むろん、請求項２〜請求項１１に記載された構成を上記方法やプログラムやプログラムを記録した媒体に対応させることも可能であることは言うまでもない。
ここで、上記記録媒体は、磁気記録媒体や光磁気記録媒体の他、今後開発されるいかなる記録媒体であってもよい。一次複製品、二次複製品などの複製段階も問わない。一部がハードウェアで実現される場合や、一部を記録媒体上に記録しておいて必要に応じて適宜読み込む場合も本発明の思想に含まれる。
【００２４】
【発明の効果】
以上説明したように、請求項１、請求項２、請求項１２、請求項１３にかかる発明によれば、目の部分に赤目が生じた画像に対して、より確実に違和感を感じさせないように赤目を修正することが可能となり、修正領域の境界部分を自然な感じにさせることができる。
請求項３にかかる発明によれば、境界部分の画素の画像データを置換する処理の簡易な一例を提供することができる。
請求項４にかかる発明によれば、明るさ情報に応じて修正後の画像の明るさを調整することができるので利便性が向上するとともに、さらに違和感なく赤目を修正することが可能となる。
【００２５】
請求項５にかかる発明によれば、簡易な構成にて修正領域を容易に特定することができる。
請求項６にかかる発明によれば、画素の色が赤目目標色から範囲情報に対応する距離内であるときに画像データが置換されるので、より確実に修正すべき赤目部分を目の色に修正することができる。
請求項７にかかる発明によれば、赤目目標色と画素の色との距離を算出するための好適な演算式を提供することができ、より確実に修正すべき赤目部分を目の色に修正して、良好な画質の修正画像を得ることが可能となる。
請求項８にかかる発明によれば、赤目とする範囲を０〜１の範囲で表現することができるので、構成を簡易にさせることができる。
【００２６】
請求項９にかかる発明によれば、赤目部分をより希望に沿った目の色に置換することができ、利便性が向上するとともに、より確実に違和感を感じさせないように赤目を修正することが可能となる。
請求項１０にかかる発明によれば、自動的に赤目を修正する領域が抽出されるので、赤目を修正する作業が軽減され、利便性が向上する。
請求項１１にかかる発明によれば、赤目部分は赤目が生じていない別の画像の目の色に修正されるので、より確実に違和感を感じさせないように赤目を修正することが可能となる。
【００２７】
【発明の実施の形態】
以下、下記の順序に従って本発明の実施形態を説明する。
（１）赤目修正装置を含むシステム構成：
（２）赤目修正装置の構成：
（３）赤目修正装置の動作：
（４）まとめ：
【００２８】
（１）赤目修正装置を含むシステム構成：
図１は、本発明の一実施形態にかかる赤目修正装置と周辺装置とからなるシステムの概略構成を示している。本システムは、本発明にいう赤目修正装置となるパーソナルコンピュータ（ＰＣ）１０、画像出力機器であるカラー印刷可能なインクジェットプリンタ２０、デジタルカメラ３０等から構成されている。本赤目修正装置は、デジタルカメラ等で人を撮影したときに目の部分に生じる赤目を目の色に修正する装置であり、ユーザが簡単に赤目を修正できるように構成されたものである。なお、本赤目修正装置のユーザは、コンピュータ画像修正についての素人であることを前提としており、プロの写真家等も含まれる。むろん、コンピュータ画像修正について熟知した人であっても、本装置により容易に赤目を修正することができる。
ＰＣ１０は演算処理の中枢をなすＣＰＵ１１を備えており、このＣＰＵ１１はシステムバス１０ａを介してＰＣ１０全体の制御を行う。同バス１０ａには、ＲＯＭ１２、ＲＡＭ１３、ＣＤ−ＲＯＭドライブ１５、フレキシブルディスク（ＦＤ）ドライブ１６、各種インターフェイス（Ｉ／Ｆ）１７ａ〜ｅ等が接続されている。また、ハードディスクドライブを介してハードディスク（ＨＤ）１４も接続されている。本実施形態のコンピュータにはいわゆるデスクトップ型ＰＣを採用しているが、コンピュータとしては一般的な構成を有するものを採用可能である。
【００２９】
ＨＤ１４には、ソフトウェアとしてオペレーティングシステム（ＯＳ）やアプリケーションプログラム（ＡＰＬ）等が格納されている。実行時には、ＣＰＵ１１がこれらのソフトウェアを適宜ＲＡＭ１３に転送し、ＲＡＭ１３を一時的なワークエリアとして適宜アクセスしながらプログラムを実行する。なお、本実施形態の赤目修正プログラムはＡＰＬとＯＳとが協同して各種機能を実現させるが、ＡＰＬ単体であってもよいし、ＯＳに組み込まれていてもよい。
周辺機器Ｉ／Ｆ（ＰＩＦ）１７ａには、デジタルカメラ３０や、図示しないカラースキャナ等が接続されるようになっている。ＣＲＴＩ／Ｆ１７ｂには画像データに基づく画像を表示する表示手段であるディスプレイ１８ａが接続され、入力Ｉ／Ｆ１７ｃにはキーボード１８ｂやマウス１８ｃが操作用入力機器として接続されている。また、プリンタＩ／Ｆ１７ｅには、例えばパラレルＩ／Ｆケーブルを介してプリンタ２０が接続されている。
なお、ＨＤ１４は本発明にいう赤目修正プログラムを記録した媒体となるが、同媒体は、例えば、ＣＤ−ＲＯＭ、ＦＤ１６ａ、光磁気ディスク、不揮発性メモリ、等であってもよい。むろん、モデム等の通信Ｉ／Ｆ１７ｄをインターネット網に接続し、所定のサーバにアクセスして本赤目修正プログラムをダウンロードして実行させることも可能である。
【００３０】
赤目修正が行われた画像を印刷するプリンタ２０は、シアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）、ブラック（Ｋ）のインクを使用して、メディアに対して印刷を行う。むろん、４色以外のインクを使用するプリンタや、インク通路内に泡を発生させてインクを吐出するバブル方式のプリンタや、レーザープリンタ等、種々の画像出力機器を採用可能である。
図２に示すように、プリンタ２０では、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、通信Ｉ／Ｏ２４、コントロールＩＣ２５、ＡＳＩＣ２６、Ｉ／Ｆ２７、等がバス２０ａを介して接続されている。通信Ｉ／Ｏ２４はＰＣ１０のプリンタＩ／Ｆ１７ｅと接続されており、プリンタ２０は通信Ｉ／Ｏ２４を介してＰＣ１０から送信されるＣＭＹＫに変換されたデータやページ記述言語等からなる印刷ジョブを受信する。ＡＳＩＣ２６は、ＣＰＵ２１と所定の信号を送受信しつつヘッド駆動部２６ａに対してＣＭＹＫデータに基づく印加電圧データを出力する。すると、ヘッド駆動部２６ａは、印刷ヘッドに内蔵されたピエゾ素子への印加電圧パターンを生成し、印刷ヘッドにインクを吐出させる。Ｉ／Ｆ２７に接続されたキャリッジ機構２７ａや紙送り機構２７ｂは、印刷ヘッドを主走査させたり、メディアを順次送り出して副走査を行ったりする。そして、ＣＰＵ２１が、ＲＯＭ２２に書き込まれたプログラムに従って各部を制御する。
【００３１】
ＰＣ１０では、以上のハードウェアを基礎としてバイオスが実行され、その上層にてＯＳとＡＰＬとが実行される。ＯＳには、プリンタＩ／Ｆ１７ｅを制御するプリンタドライバ等の各種のドライバ類が組み込まれ、ハードウェアの制御を実行する。プリンタドライバは、プリンタＩ／Ｆ１７ｅを介してプリンタ２０と双方向の通信を行うことが可能であり、ＡＰＬから印刷データを受け取って印刷ジョブを作成し、プリンタ２０に送出する。
【００３２】
（２）赤目修正装置の構成：
図３は、上記赤目修正プログラムの機能により実現される赤目修正装置の構成を模式的に示している。赤目修正プログラムは複数のモジュールから構成されており、各モジュールに対応して本発明にいう各種手段Ｕ１〜Ｕ４が構成されている。基本的には、手段Ｕ１〜Ｕ３が取得する情報に基づいて、色置換手段Ｕ４が画像データに対して赤目部分を目の色に置き換える処理を行う。
本実施形態では、ｓＲＧＢ色空間で定義されるＲＧＢから構成された画像データに対して上記処理を行うことにしている。同画像データは、横ｍ０×縦ｎ０画素（ｍ０，ｎ０は２以上の整数）とされたドットマトリクス状の多数の画素別に複数の要素色ＲＧＢのそれぞれについて多階調（例えば、階調値０〜２５５の２５６階調）とされ、カラーの画像を表現するデータとされている。むろん、ＹＵＶ表色系における輝度（Ｙ成分）、Ｂの色差（Ｕ成分）、Ｒの色差（Ｖ成分）から構成された画像データ等に対して上記処理を行うことも可能である。また、画像データの各成分も様々な階調数とすることが可能であり、２５６階調以外にも、例えば１０２４階調等としてもよい。
【００３３】
修正領域取得手段Ｕ１は、上記画像データで表現される画像のうち、目の部分に生じる赤目を修正する修正領域を表す修正領域情報を取得する。本実施形態では、修正領域を略円形の領域として、修正領域の半径Radius（径を表す情報）と、修正領域の中心座標を表す情報とを修正領域情報としている。これらの情報は、ＰＣ１０への操作入力により取得されるようになっている。
また、各画素の画像データに基づいて画像から目の領域を決定し、当該目の領域を表す情報を修正領域情報として取得することも可能である。目の領域を決定する手法は様々考えられる。例えば、特開平１０−７５３７４号公報の段落００３０に開示されているように、明度の低い画素の連結性等に基づいて目の領域の画像データだけを抽出することにより、画像から目の領域を決定することができる。また、目の色は肌色ではないことから、肌色の領域（例えば、画像データの各ＲＧＢ値が所定範囲内に入る画素の領域）を抽出し、抽出した肌色の領域に囲まれた領域が所定の目の形状と略一致するときに、その囲まれた領域を目の領域と決定し、当該目の領域を表す情報を修正領域情報として取得してもよい。
【００３４】
赤目範囲取得手段Ｕ２は、３要素色ＲＧＢのそれぞれを座標軸とする画像データの色空間内において、赤目の色とする範囲を表す範囲情報を取得する。本実施形態では、同色空間内において赤目の色とする範囲が所定の赤目目標色からの距離として表されている。そして、同距離の相対的な値が操作入力により受け付けられ、入力された値が赤目の色とする許容度Tolerance（範囲情報）として取得されるようになっている。
【００３５】
明るさ情報取得手段Ｕ３は、色置換手段にて置換された後の画像データの明るさを表す明るさ情報を取得する。本実施形態では、明るさ情報を強度Intensityとして数値表現するとともに、同強度を輝度を表す情報としているが、他にも明度を表す情報を明るさ情報とすることも可能である。同強度は、数値として操作入力により受け付けられるようになっている。
【００３６】
図４は、上記手段Ｕ１〜Ｕ３が各種情報の入力を受け付けるための設定入力画面の表示例を示している。同画面には、画像表示欄９１ａ、十字ポインタ９１ｂ、目の色選択欄９１ｃ、半径入力欄９１ｄ、許容度入力欄９１ｅ、強度入力欄９１ｆ、各種ボタン９１ｇ〜ｊが設けられている。
画像表示欄９１ａでは、入力した画像データが表示されるようになっている。同表示欄９１ａ中に十字ポインタ９１ｂが表示されるようになっており、同ポインタ９１ｂをマウスにて移動させることにより、修正領域の中心座標を設定入力することが可能となっている。
【００３７】
目の色選択欄９１ｃでは、修正後の目の色を選択可能となっている。目の色の選択肢としては、黒、茶、青等の他に、ユーザ設定や、日本人等の地域別の人や、別の画像等がある。ユーザ設定が選択入力された場合には、色パレットが表示され、所望の目の色を作成することが可能である。地域別の人が選択入力された場合には、入力された地域の人に対応する目の色が選択されるようになっている。別の画像が選択入力された場合には、別の画像から目の色を表す情報が取得されるようになっている。
半径入力欄９１ｄでは、左右方向にスライド動可能なつまみが表示されるようになっている。同つまみをマウスにて移動させることにより、修正領域の半径の大きさを調節可能となっている。本実施形態では、つまみを左側に移動させると半径が小さくなり、右側に移動させると半径が大きくなるようになっている。
【００３８】
許容度入力欄９１ｅでも、左右方向にスライド動可能なつまみが表示されるようになっている。同つまみをマウスにて移動させることにより、赤目とする範囲を表す許容度Toleranceを調節可能となっている。本実施形態では、許容度は０〜１の値とされ、つまみを左側に移動させると許容度が小さくなり（左端が０）、右側に移動させると許容度が大きくなるようになっている（右端が１）。
強度入力欄９１ｆでも、左右方向にスライド動可能なつまみが表示されるようになっている。同つまみをマウスにて移動させることにより、明るさを表す強度Intensityを調節可能となっている。本実施形態では、強度は０〜１の値とされ、つまみを左側に移動させると強度が小さくなり（左端が０）、右側に移動させると強度が大きくなるようになっている（右端が１）。
【００３９】
領域抽出ボタン９１ｇがマウスにてクリック操作されると、画像から目の領域が自動的に抽出されるようになっている。画像参照ボタン９１ｈがクリック操作されると、赤目が生じていない別の画像から目の色を表す情報が自動的に取得されるようになっている。修正実行ボタン９１ｉがクリック操作されると、設定された条件に応じて赤目部分が目の色に修正されるようになっている。
【００４０】
図３に戻って、説明を続ける。色置換手段Ｕ４は、取得された修正領域情報に対応する修正領域の画素について、各画素の画像データを置換対象として順次対象画素を移動させながら、赤目部分すなわち対象画素の画像データが範囲情報に対応する範囲内であるときに同赤目部分の画像データから目の色を表す画像データに置換する。ディスプレイに表示する画像を表現する画像データの場合、ガンマ補正が行われているので、逆ガンマ補正を行った後、ＲＧＢ色空間内における赤目目標色と修正領域の画素の色との距離を算出し、この距離が範囲情報に対応する範囲内であるか否かを判断する。例えば、γ＝２．２のガンマ補正された画像データである場合、同画像データの各ＲＧＢ値をR0，G0，B0（いずれも、０〜２５５の値）とすると、逆ガンマ補正後の画像データの各ＲＧＢ値C2r，C2g，C2b（いずれも、０〜２５５の値）は、以下の演算式により算出することができる。
C2r＝255×（R0／255）0.45 ・・・(1)
C2g＝255×（G0／255）0.45 ・・・(2)
C2b＝255×（B0／255）0.45 ・・・(3)
【００４１】
上述した逆ガンマ補正の後に、赤目目標色と修正領域の画素の色との距離Distanceを算出する。ここで、算出式を変更しながら試験を繰り返し行った結果、Ｎを正の整数として、赤目目標色の座標値をＲＧＢの順にC1r（０≦C1r≦Ｎ）、C1g（０≦C1g≦Ｎ）、C1b（０≦C1b≦Ｎ）、Ravg＝（C1r＋C2r）／２とするとき、距離Distanceを以下の演算式により算出すると、修正すべき赤目部分を確実に目の色に修正することができ、良好な画質の修正画像を得ることができた。
Distance＝［｛２＋Ravg／（Ｎ＋１）｝×（C1r−C2r）2＋４×（C1g−C2g）2＋｛２＋（Ｎ−Ravg）／（Ｎ＋１）｝×（C1b−C2b）2］1/2
・・・(4)
本実施形態では、Ｎ＝２５５としているので、以下の演算式により算出することになる。
Distance＝［（２＋Ravg／256）×（C1r−C2r）2＋４×（C1g−C2g）2＋｛２＋（255−Ravg）／256｝×（C1b−C2b）2］1/2
・・・(5)
【００４２】
ここで、ＮをＮ＋１やＮ−１に変更したり、Ｎ＋１をＮに変更したり等、演算式の各係数の僅かな違いは距離Distanceの値にほとんど影響しない。従って、例えば以下の演算式により距離Distanceを算出してもよい。
Distance＝［（２＋Ravg／255）×（C1r−C2r）2＋４×（C1g−C2g）2＋｛２＋（255−Ravg）／255｝×（C1b−C2b）2］1/2 ・・・(5')
また、演算式(4)，(5)の右辺に所定係数が乗じられた式であってもよい。この場合であっても、赤目目標色と画素の色との距離を表すことに変わりはない。
【００４３】
上記演算式(4)，(5)は、良好な修正画像を得ることができる点で良好であるものの、演算処理を簡素化させるために、以下の演算式により距離Distanceを算出してもよい。
Distance＝｛（C1r−C2r）2＋（C1g−C2g）2＋（C1b−C2b）2｝1/2
・・・(6)
【００４４】
距離Distanceが赤目の色とする範囲内であるか否かを判断するにあたり、距離Distanceを０〜１の値に変換している。ＲＧＢ色空間内におけるＲＧＢの座標を（Ｒ，Ｇ，Ｂ）で表すとき（０≦Ｒ≦Ｎ、０≦Ｇ≦Ｎ、０≦Ｂ≦Ｎ）、図５に示すように、８箇所の各座標（０，０，０）、（０，０，Ｎ）、（０，Ｎ，０）、（０，Ｎ，Ｎ）、（Ｎ，０，０）、（Ｎ，０，Ｎ）、（Ｎ，Ｎ，０）、（Ｎ，Ｎ，Ｎ）と赤目目標色の座標（C1r，C1g，C1b）との距離を上記式(5)によりそれぞれ求め、求めた距離の最大値MaxDistanceを算出し、最大値MaxDistanceに対する距離Distanceの比に基づいて赤目の色とする範囲内であるか否かを判断している。図の例では、Ｎ＝２５５であり、座標（２５５，２５５，０）と赤目目標色の座標との距離が最も大きくなっている。すなわち、距離の最大値MaxDistanceは、以下の式により算出される値となる。
MaxDistance＝［（２＋C1r／256）×C1r2＋４×（C1g−255）2＋｛２＋（255−C1r）／256｝×（C1b−255）2］1/2
・・・(7)
【００４５】
すると、距離の最大値MaxDistanceに対する距離Distanceの比は常に１以下となる。図４で示した設定入力画面から操作入力を受け付けることにより取得される許容度Toleranceは０〜１の値とされるので、Distance／MaxDistance≦Toleranceであるときに赤目の色とする範囲内であると判断し、画像データの置換を行う。このように、距離Distanceの比を基準として画像データが範囲情報に対応する範囲内であるか否かを判断すればよいので、範囲情報を０〜１の範囲で表現することができ、構成を簡易にさせることができる。
【００４６】
再び図３に戻って、説明を続ける。距離Distanceの比が許容度Tolerance以下であるとき、対象画素が全て修正領域に含まれる場合には、同対象画素について元の画像データから目の色を表す画像データであって明るさ情報に対応した明るさを表す画像データに置換する。例えば、目の色として黒が選択されている場合、０〜１の値とされた強度Intensityを用いると、置換後の画像データの各ＲＧＢ値C3r，C3g，C3b（いずれも、０〜２５５の値）は、置換前のＲＧＢ値C2r，C2g，C2bの最小値に強度Intensityを乗じることにより算出することができる。
C3r＝C3g＝C3b＝Minimum（C2r，C2g，C2b）×Intensity ・・・(8)
すると、目の部分に赤目が生じた画像に対して赤目部分の彩度が小さくされ、赤目が目の色に修正されることになる。
【００４７】
上記式(8)を用いて画像データを置換することにより、置換前の画像データの値が置換後の画像データの値に反映されるので、赤目修正後の画像の画質を高画質にさせることができる。むろん、画像データを置換する演算を簡素化させるために、以下の演算式のように、所定値に強度Intensityを乗じて置換後の画像データの値を求めてもよい。
C3r＝C3g＝C3b＝255×Intensity ・・・(9)
ここで、強度Intensityは、概略輝度を表すことになり、上記式(8)を用いる場合には間接的に輝度を表すことになる。むろん、輝度を表す際にＲＧＢ各成分値に異なる重み付けをすることもあるため、C3r，C3g，C3b別に式(8)，(9)の右辺に異なる所定係数を乗じることにより、C3r，C3g，C3bを異なる値にするようにしてもよい。
【００４８】
一般的には、目の色の各ＲＧＢ値をEr，Eg，Ebで表すと、以下の演算式により置換後の画像データのＲＧＢ値を算出することができる。
C3r＝Er×｛Minimum（C2r，C2g，C2b）／255｝×Intensity ・・・(10)
C3g＝Eg×｛Minimum（C2r，C2g，C2b）／255｝×Intensity ・・・(11)
C3b＝Eg×｛Minimum（C2r，C2g，C2b）／255｝×Intensity ・・・(12)
または
C3r＝Er×Intensity ・・・(13)
C3g＝Eg×Intensity ・・・(14)
C3b＝Eb×Intensity ・・・(15)
上記式(10)〜(12)では、元の画像データの値が置換後の画像データの値に反映されるので、赤目修正後の画像の画質を高画質にさせることができる。
このように、色置換手段Ｕ４は、目の色を表す画像データに置換するにあたり、取得された明るさ情報に対応した明るさを表す画像データに置換する。
【００４９】
また、色置換手段Ｕ４は、対象画素が修正領域の境界部分である場合には、同対象画素について元の画像データから同目の色を表す画像データに置換するにあたり同画像データの置換量を同対象画素が同修正領域に含まれる度合に応じた量とする。
【００５０】
図６は、修正領域の境界部分における画像データの置換処理を説明する図である。ここで、修正領域５０は、中心座標５１を中心とした略円形の領域とされている。修正領域内の画素５２は、全ての部分が修正領域５０に含まれる画素である。すなわち、画素５２の画像データは、上述した演算式(8)〜(15)により求められる。一方、図中点線で示した修正領域外の画素５４は、全ての部分が修正領域５０から外れた画素である。従って、画素５４の画像データは、置換されない。
境界部分の画素５３は、内部が修正領域５０の境界部分となる画素である。画素５３については、画像データを置換するにあたり、画像データの置換割合を同画素５３が修正領域５０に含まれる割合とする。具体的には、以下のようにして置換割合を決定して画像データを置換する。
【００５１】
まず、画素５３を、横ｍ１×縦ｎ１（ｍ１，ｎ１は２以上の整数）の所定数の区分領域５５に略等分割する。本実施形態では、ｍ１＝ｎ１＝４とし、画素５３を１６の区分領域５５に等分割している。次に、画素５３別に、区分領域５５の中心が修正領域５０の内部となる区分領域の数ｎ２を求める。そして、画素５３の全区分領域の数１６に対する求めた区分領域の数ｎ２の割合、すなわち、ｎ２／１６を画像データの置換割合Ｐとする。例えば、図に示す画素５３ａ，ｂの場合、それぞれ中心が修正領域５０の内部となる区分領域の数ｎ２は８，１３であるので、画像データの置換割合Ｐは８／１６、１３／１６となる。
【００５２】
ここで、一旦上記式(8)〜(15)により各ＲＧＢ値C3r，C3g，C3bを算出するとともに、ＲＧＢ色空間内の画像データとなるＲＧＢ値C3r，C3g，C3bをＨＩＳ色空間内の画像データの各成分値H3，I3，S3に変換し、元の画像データのＲＧＢ値C2r，C2g，C2bをＨＩＳ色空間内の画像データの各成分値H2，I2，S2に変換する。なお、H2，H3は色相（Hue）の成分値であり、I2，I3は輝度（Intensity）の成分値であり、S2，S3は彩度（Saturation）の成分値である。具体的には、Ａ１を３×３の所定の行列として、以下の演算式により、H2，H3，I2，I3，S2，S3を算出することができる。
【数１】
そして、算出したH2，H3，I2，I3，S2，S3と、置換割合Ｐとを用いて、ＨＩＳ色空間における置換後の画像データの各成分値H4，I4，S4を算出する。
H4＝H2 ・・・(18)
I4＝I2−（I2−I3）×Ｐ ・・・(19)
S4＝S2−（S2−S3）×Ｐ ・・・(20)
その後、ＨＩＳ色空間内の画像データの各成分値H4，I4，S4をＲＧＢ色空間内の画像データの各成分値C4r，C4g，C4bに戻す。
【数２】
このように、修正領域の境界部分である画素について元の画像データから目の色を表す画像データに置換するにあたり、画像データの置換割合は同画素が修正領域に含まれる割合とされる。
これにより、修正領域の境界部分が赤目の色とする範囲内であるときに画像データは完全には目の色に置き換えられないので、修正領域の内外で色は急変せず、スムーズに変化する。その結果、より確実に違和感を感じさせないように赤目を修正することが可能となる。
【００５５】
さらに、色置換手段Ｕ４は、赤目が生じていない別の画像の画像データを取得し、取得した画像データに基づいて同別の画像から虹彩の領域を決定し、決定した領域の画像データに基づいて目の色を表す情報を取得することも可能である。これにより、赤目が生じていない別の画像から目の色を表す情報が取得され、修正領域のうち赤目部分がこの目の色に修正され、より確実に違和感を感じさせないように赤目を修正することが可能となる。
【００５６】
なお、逆ガンマ補正を行った画像データに対して赤目部分を目の色を表す画像データに置換した場合、ガンマ補正が行われた画像データに戻す処理を行う。ガンマ補正後の画像データの各ＲＧＢ値R1，G1，B1（いずれも、０〜２５５の値）は、以下の演算式により算出することができる。
R1＝255×（C4r／255）2.2 ・・・(22)
G1＝255×（C4g／255）2.2 ・・・(23)
B1＝255×（C4b／255）2.2 ・・・(24)
【００５７】
（３）赤目修正装置の動作：
図７は、各種手段Ｕ１〜Ｕ４が行う赤目修正処理をフローチャートにより示している。以下、同フローチャートに従って赤目修正装置が行う処理の詳細を説明する。
本実施形態にかかる赤目修正プログラムを起動させると、まず、修正前のカラーの画像を表現する画像データを入力し、図４で示した設定入力画面をディスプレイに表示する（ステップＳ１０５。以下、「ステップ」の記載を省略）。なお、十字ポインタ９１ｂの位置、目の色選択欄９１ｃ、各種入力欄９１ｄ〜ｆについては、デフォルトの条件または前回入力された条件にて表示する。また、目の色選択欄９１ｃで「別の画像」が選択入力された場合のみ、領域抽出ボタン９１ｇをクリック操作可能とする。
【００５８】
入力した画像データは、画像表示欄９１ａに表示される。入力する画像データは、デジタルカメラ３０や図示しないスキャナやビデオカメラ等にて取り込まれた画像のデータであってもよいし、ＦＤ１６ａ等に記録した画像データであってもよい。また、デジタルカメラ等から画像データを入力する場合、データ全体を一括して読み込む必要はなく、部分的に読み込むようにしてもよいし、他のＡＰＬから呼び出されるような場合にはデータの受け渡しに利用されるバッファ領域を表すポインタの受け渡しだけであってもよい。
【００５９】
設定入力画面を表示すると、目の色選択欄９１ｃに目の色の選択入力が行われたか否かを判断する（Ｓ１１０）。目の色を選択する入力を受け付けていないときにはＳ１３０に進み、目の色を選択する入力を受け付けたときにはＳ１１５に進む。Ｓ１１５では、同選択欄９１ｃから「別の画像」が選択入力されたか否かを判断する。「別の画像」を選択する入力を受け付けた場合には、目の色決定処理を行い（Ｓ１２０）、Ｓ１３０に進む。
【００６０】
図８は目の色決定処理をフローチャートにより示しており、図９は目の色が決定される様子を模式的に示している。まず、画像参照ボタン９１ｈがクリック操作されると、図示しない画像ファイル選択画面を表示し、赤目が生じていない画像の画素別とされた画像データを記憶した画像ファイルの選択入力を受け付けることにより画像ファイルの画像データをＲＡＭに読み出し、赤目が生じていない別の画像６１の画像データを取得する（Ｓ２０５）。次に、別の画像６１の画像データに基づいて、白目を含む目の領域６２を決定する（Ｓ２１０）。例えば、肌色の領域を抽出し、抽出した肌色の領域に囲まれた領域が所定の目の形状と略一致するときに、その囲まれた領域を白目を含む目の領域と決定する。
さらに、白目を含む目の領域６２の画素の画像データに基づいて、別の画像６１から虹彩の領域６３を決定する（Ｓ２１５）。例えば、白目の領域（例えば、画像データの各ＲＧＢ値が所定値以上となる画素の領域）を抽出し、抽出した白目の領域を除いた目の領域を虹彩の領域と決定する。
【００６１】
そして、虹彩の領域６３の画像データに基づいて、目の色を表す情報を取得し（Ｓ２２０）、本フローを終了する。ここで、目の色を表す情報は、様々考えられ、例えば、虹彩の領域の全画素について画像データの各ＲＧＢ値をそれぞれ平均して一様にしたデータとしてもよいし、虹彩の模様を残すように虹彩の領域における画素別の画像データとしてもよい。
このように、各画素の画像データに基づいて画像から目の領域が修正領域として決定されるので、自動的に赤目を修正する領域が抽出され、赤目を修正する作業が軽減されて、便利である。また、赤目が生じていない別の画像から目の色を表す情報が取得され、赤目部分は赤目が生じていない別の画像の目の色に修正されるので、より確実に違和感を感じさせないように赤目を修正することが可能となる。
【００６２】
Ｓ１１５にて、「別の画像」以外を選択する入力を受け付けた場合、Ｓ１２５に進んで目の色を表す情報を取得する。ここで、黒、茶、青等の複数の目の色からいずれかを選択する入力を受け付けた場合には、対応する目の色の各ＲＧＢ値Er，Eg，Eb（置換後の色を表す情報）を取得する。ユーザ設定が選択入力された場合には、色パレットを表示し、色パレットへの操作入力を受け付けて対応する目の色のＲＧＢ値Er，Eg，Ebを取得する。地域別の人が選択入力された場合には、地域を表す情報とその地域の人の目の色を表すＲＧＢ値とを対応させた図示しない地域別目の色テーブルを参照して、選択入力された地域の人に対応する目の色を表すＲＧＢ値Er，Eg，Ebを取得する。
このように、目の色を選択することができるし、入力された地域の人に対応する目の色にも修正可能となるので、便利である。従って、赤目部分をより希望に沿った目の色に置換することができ、より確実に違和感を感じさせないように赤目を修正することが可能となる。
【００６３】
その後、Ｓ１３０に進み、さらに各種パラメータを順次取得し、各種ボタン９１ｇ〜ｊへの操作に応じた処理を行っていく。Ｓ１３０では、十字ポインタ９１ｂを移動させることにより赤目の中心位置を指定する操作入力を受け付けたとき、十字ポインタ９１ｂを対応する位置に移動させて表示するとともに、画像表示欄９１ａに表示された画像における十字ポインタ９１ｂの位置に対応する情報を赤目の中心座標を表す情報として取得する。
Ｓ１３５では、半径入力欄９１ｄにて修正領域の半径を設定する操作入力を受け付けたとき、つまみの位置に対応する数値の半径Radiusを取得する。そして、十字ポインタ９１ｂを同半径Radiusに略比例した大きさとして表示する。
赤目の中心座標を表す情報と半径Radiusとは、赤目を修正する修正領域を表す修正領域情報となる。すなわち、ＰＣ１０が行うＳ１０５，Ｓ１３０〜Ｓ１３５の処理は、修正領域取得手段を構成する。
【００６４】
Ｓ１４０では、許容度入力欄９１ｅにて赤目とする範囲を設定する操作入力を受け付けたとき、つまみの位置に対応する数値の許容度Toleranceを取得する。許容度Toleranceは、ＲＧＢ色空間内において赤目の色とする範囲が所定の赤目目標色からの距離として表された範囲情報である。すなわち、ＰＣ１０が行うＳ１０５，Ｓ１４０の処理は、赤目範囲取得手段を構成する。
【００６５】
Ｓ１４５では、強度入力欄９１ｆにて画像データの明るさを設定する操作入力を受け付けたとき、つまみの位置に対応する数値の強度Intensityを取得する。強度Intensityは、置換後の画像データの明るさを表す明るさ情報である。すなわち、ＰＣ１０が行うＳ１０５，Ｓ１４５の処理は、明るさ情報取得手段を構成する。
【００６６】
目の色選択欄９１ｃで「別の画像」が選択入力された場合、領域抽出ボタン９１ｇをクリック操作可能とする。そして、Ｓ１５０にて、領域抽出ボタン９１ｇがクリック操作されたか否かを判断する。同ボタン９１ｇがクリック操作された場合には、Ｓ１５５の目の領域決定処理を行った後、Ｓ１６０に進む。同ボタン９１ｇがクリック操作されていない場合は、Ｓ１５５の処理を行わずにＳ１６０に進む。
Ｓ１５５の目の領域決定処理では、各画素の画像データに基づいて画像から目の領域を決定し、当該領域を表す情報を修正領域情報として取得する。例えば、図９で示したように、肌色の領域を抽出し、抽出した肌色の領域に囲まれた領域が所定の目の形状と略一致するときに、その囲まれた領域を目の領域（白目を含む）と決定し、当該目の領域を表す情報を修正領域情報として取得する。すなわち、ＰＣが行うＳ１５０，Ｓ１５５の処理は、別の意味での修正領域取得手段を構成する。
【００６７】
Ｓ１６０では、修正実行ボタン９１ｉがクリック操作されたか否かを判断する。同ボタン９１ｉがクリック操作された場合には、Ｓ１６５の色置換処理を行った後、Ｓ１７０に進む。同ボタン９１ｇがクリック操作されていない場合は、Ｓ１６５の処理を行わずにＳ１７０に進む。
図１０は、Ｓ１６５で行う色置換処理をフローチャートにより示している。
まず、上記式(7)を用いて、各座標（０，０，０）、（０，０，２５５）、（０，２５５，０）、（０，２５５，２５５）、（２５５，０，０）、（２５５，０，２５５）、（２５５，２５５，０）、（２５５，２５５，２５５）と赤目目標色の座標（C1r，C1g，C1b）との距離を上記式(5)によりそれぞれ求め、求めた距離の最大値MaxDistanceを算出する（Ｓ３０５）。ここで、座標（C1r，C1g，C1b）は逆ガンマ補正を基準とする座標であるので、算出される最大値MaxDistanceは逆ガンマ補正が行われた画像データを基準とした値となる。
【００６８】
次に、取得された修正領域情報に対応する修正領域内で、画像データの置換対象とする対象画素を設定する（Ｓ３１０）。修正領域情報が修正領域の半径を表す情報と修正領域の中心座標を表す情報とから構成されている場合、これらの情報に対応した円形の領域に少しでも含まれる画素を抽出して修正領域とし、同修正領域の中から対象画素を設定する。そして、順次対象画素を移動させながら、対象画素の画像データを置換する処理を行う。本実施形態では、多数の画素が上下左右方向に整然と並んでおり、画像データの置換処理の順序は、最も上の左端の画素から開始して順番に右端の画素までとし、その後一つずつ下の左端の画素から順番に右端の画素までとして、最後に最も下の右端の画素としている。むろん、置換処理の順序は、適宜変更可能である。
【００６９】
入力される画像データ（ＲＧＢ値R0，G0，B0）はガンマ補正が行われているので、対象画素を設定した後は、上記式(1)〜(3)を用いて逆ガンマ補正を行い、各ＲＧＢ値C2r，C2g，C2bを算出する（Ｓ３１５）。その後、上記式(5)を用いて、赤目目標色（ＲＧＢ値C1r，C1g，C1b）と修正領域の画素の色（ＲＧＢ値C2r，C2g，C2b）との距離Distanceを算出する（Ｓ３２０）。そして、距離Distanceが範囲情報に対応する距離内であるか否か、すなわち最大値MaxDistanceに対する距離Distanceの比が許容度Tolerance以下であるかを判断する（Ｓ３２５）。同比が許容度Toleranceより大きければ、赤目部分ではないと判断して画像データの置換を行わず、Ｓ３５０に進む。一方、同比が許容度Tolerance以下であれば、赤目部分であると判断してＳ３３０に進み、画像データの置換を行う。このように、対象画素の色が赤目目標色から範囲情報に対応する距離内であるときに画像データが置換されるので、確実に修正すべき赤目部分を目の色に修正することが可能である。
【００７０】
Ｓ３３０では、対象画素が修正領域の境界部分であるか否かを判断する。境界部分でなければＳ３３５に進み、境界部分であればＳ３４０に進んで境界色置換処理を行う。
対象画素が全て同修正領域に含まれる場合に行われるＳ３３５では、上記式(10)〜(12)を用いて、元の画像データ（ＲＧＢ値C2r，C2g，C2b）を、強度Intensityに対応した明るさの目の色を表す画像データ（ＲＧＢ値C3r，C3g，C3b）に置換し、Ｓ３４５に進む。すると、対象画素が全て修正領域に含まれる場合に対象画素について赤目部分であれば目の色に修正されることになる。また、強度Intensityの設定に応じて置換後の画像データに基づく画像の明るさを調整することができるので便利であるとともに、さらに違和感なく赤目を修正することが可能となる。さらに、選択入力を受け付けることにより置換後の色を表す情報を取得した場合には、置換後の色を表す情報に対応した色となるように画像データを置換するので、赤目部分を希望に沿った目の色に置換することができ、便利であるとともに、より確実に違和感を感じさせないように赤目を修正することが可能となる。
【００７１】
一方、対象画素が修正領域の境界部分である場合、図１１に示す境界色置換処理を行い（Ｓ３４０）、Ｓ３４５に進む。
まず、対象画素を４×４の区分領域に等分割し、中心が修正領域の内部となる区分領域の数ｎ２を算出する（Ｓ４０５）。次に、区分領域全ての数である１６に対する算出した数ｎ２の割合を算出して画像データの置換割合Ｐとする（Ｓ４１０）。
さらに、上記式(10)〜(12)を用いて、元の画像データ（ＲＧＢ値C2r，C2g，C2b）を、強度Intensityに対応した明るさの目の色を表す画像データ（ＲＧＢ値C3r，C3g，C3b）に仮に置換する（Ｓ４１５）。
その後、置換前後のＲＧＢ色空間の画像データを、ＨＩＳ色空間の画像データに変換する（Ｓ４２０）。すなわち、上記式(16)，(17)を用いて、ＲＧＢ値C2r，C2g，C2bをＨＩＳ色空間の画像データの各成分値H2，I2，S2に変換し、ＲＧＢ値C3r，C3g，C3bをＨＩＳ色空間の画像データの各成分値H3，I3，S3に変換する。
【００７２】
そして、上記式(18)〜(20)を用いて、画像データの置換割合を対象画素が修正領域に含まれる割合とするように置換後の画像データの各成分値H4，I4，S4を算出する（Ｓ４２５）。
その後、上記式(21)を用いて、ＨＩＳ色空間の画像データの各成分値H4，I4，S4を各ＲＧＢ値C4r，C4g，C4bに変換し、ＲＧＢ色空間の画像データに戻して（Ｓ４３０）、本フローを終了する。
すると、対象画素が修正領域の境界部分である場合には、画像データの置換量は対象画素が修正領域に含まれる割合とされる。すなわち、簡易な構成ながら修正領域の境界部分を自然な感じにさせるように境界部分の画素の画像データを置換することができる。言い換えると、画像データは完全には目の色を表すデータに置き換えられないので、赤目を修正する領域の内外で色は急変せず、スムーズに変化することになる。
【００７３】
図１０に戻って、説明を続ける。置換後の画像データ（ＲＧＢ値C3r，C3g，C3bまたはC4r，C4g，C4b）は、ガンマ補正が行われていないデータであるので、Ｓ３４５では、上記式(22)〜(24)を用いて、同画像データに対してガンマ補正を行い、ガンマ補正後の画像データ（ＲＧＢ値R1，G1，B1）を算出する。
その後、修正領域内の画素全てについて、Ｓ３１０〜Ｓ３４５の処理を行ったか否かを判断する（Ｓ３５０）。同処理を修正領域内の全画素について行ったときには本フローを終了し、全画素について行っていないときには繰り返しＳ３１０〜Ｓ３５０の処理を行う。
このように、ＰＣ１０が行う図７のＳ１０５〜Ｓ１２５，Ｓ１６５処理は、色置換手段を構成する。
【００７４】
例えば図１２に示すように、赤目の色とする範囲が修正領域５０の内外にわたって存在するとき、全て修正領域５０に含まれる画素５２については元の画像データから目の色を表す画像データに置換され、赤目部分が目の色に修正される。一方、修正領域５０から完全に外れた画素５４については元の画像データのままとされ、目の色には修正されない。ここで、修正領域５０の境界部分の画素５３については、同画素５３が修正領域５０に含まれる割合で画像データが置換されるので、画像データは完全には目の色を表すデータに置き換えられない。従って、赤目を修正する領域の内外で色は急変せず、スムーズに変化する。その結果、目の部分に赤目が生じた画像に対して、より確実に違和感を感じさせないように赤目を修正することが可能となる。
【００７５】
図７のＳ１６０またはＳ１６５終了後、保存ボタン９１ｊがクリック操作されたか否かを判断する（Ｓ１７０）。同ボタン９１ｊがクリック操作された場合には、Ｓ１７５に進み、ＨＤ１４に画像データを記憶し、本フローを終了する。一方、同ボタン９１ｊがクリック操作されていない場合は、Ｓ１１０に戻る。
【００７６】
（４）まとめ：
以上説明したように、本赤目修正装置のユーザは、十字ポインタにより赤目の位置を指定するとともに半径、許容度、強度等を設定する入力を行うことにより、容易に赤目を修正することが可能である。そして、赤目を修正する領域の境界部分が赤目の色とする範囲内であるときに画像データは完全には目の色を表すデータに置き換えられないので色はスムーズに変化するし、置換後の画像データは明るさ情報に対応した明るさを表す画像データとなる。また、赤目部分を赤目が生じていない別の画像の目の色に修正することもできる。従って、確実に違和感を感じさせないように赤目を修正することができ、本赤目修正装置は利便性の大きな装置となっている。
【００７７】
なお、本発明の赤目修正プログラムを実行可能な赤目修正装置と周辺装置は、様々な構成が可能である。
例えば、プリンタは、コンピュータと一体化されたものであってもよいし、単色画像のみを印刷する専用品であってもよい。上述したフローについては、ＰＣ内で実行する以外にも、一部または全部をプリンタあるいは専用の画像出力機器で実行するようにしてもよい。
本発明によると、赤目を修正するために有用な赤目修正装置および赤目修正プログラムを提供することができる。また、赤目修正方法としても適用可能である。
【図面の簡単な説明】
【図１】 赤目修正装置と周辺装置とからなるシステムの概略構成を示すブロック図。
【図２】 プリンタのブロック構成をＰＣとともに示す図。
【図３】 赤目修正装置を構成する各種手段を模式的に示す図。
【図４】 設定入力画面の表示例を示す図。
【図５】 距離の最大値MaxDistanceを示す模式図。
【図６】 修正領域の境界部分における画像データの置換処理を説明する図。
【図７】 赤目修正処理を示すフローチャート。
【図８】 目の色決定処理を示すフローチャート。
【図９】 目の色が決定される様子を模式的に示す図。
【図１０】 色置換処理を示すフローチャート。
【図１１】 境界色置換処理を示すフローチャート。
【図１２】 赤目の色とする範囲が修正領域の内外にわたって存在する場合において、修正後の画像の様子を模式的に示す図。
【符号の説明】
１０…パーソナルコンピュータ、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…ハードディスク、１７ａ〜ｅ…インターフェイス、１８ａ…ディスプレイ、１８ｂ…キーボード、１８ｃ…マウス、２０…インクジェットプリンタ、３０…デジタルカメラ、５０…修正領域、５１…中心座標、５２…修正領域内の画素、５３…境界部分の画素、５４…修正領域外の画素、５５…区分領域、６１…別の画像、６２…白目を含む目の領域、６３…虹彩の領域、Ｕ１…修正領域取得手段、Ｕ２…赤目範囲取得手段、Ｕ３…明るさ情報取得手段、Ｕ４…色置換手段
Claims (13)
- 画素別に多階調とされた画像データで表現されるカラーの画像のうち赤目を修正する赤目修正装置であって、
上記カラーの画像のうち赤目を修正する修正領域を表す修正領域情報に対応する修正領域の上記画素について上記画像データが当該画像データの色空間内において赤目の色とする範囲を表す範囲情報に対応する範囲内であるとき、元の画像データから目の色を表す画像データに置換するとともに同画素が同修正領域の境界部分である場合には同画像データの置換割合を同画素が同修正領域に含まれる割合とする色置換手段を具備することを特徴とする赤目修正装置。 - 画素別に複数の要素色のそれぞれについて多階調とされた画像データで表現されるカラーの画像のうち、目の部分に生じる赤目を修正する修正領域を表す修正領域情報を取得する修正領域取得手段と、
上記複数の要素色のそれぞれを座標軸とする上記画像データの色空間内において赤目の色とする範囲を表す範囲情報を取得する赤目範囲取得手段と、
上記取得された修正領域情報に対応する修正領域の上記画素について各画素の画像データを置換対象として順次対象画素を移動させながら、同対象画素の画像データが上記取得された範囲情報に対応する範囲内であるとき、同対象画素が全て同修正領域に含まれる場合には同対象画素について元の画像データから目の色を表す画像データに置換するとともに同対象画素が同修正領域の境界部分である場合には同対象画素について元の画像データから同目の色を表す画像データに置換するにあたり同画像データの置換割合を同画素が同修正領域に含まれる割合とする色置換手段とを具備することを特徴とする赤目修正装置。 - 上記色置換手段は、上記画素を所定数の区分領域に略等分割し、中心が上記修正領域の内部となる区分領域の同区分領域全ての数に対する割合を上記画像データの置換割合とすることを特徴とする請求項１または請求項２に記載の赤目修正装置。
- 上記色置換手段にて置換された後の画像データの明るさを表す明るさ情報を取得する明るさ情報取得手段が設けられ、
上記色置換手段は、上記目の色を表す画像データに置換するにあたり、上記取得された明るさ情報に対応した明るさを表す画像データに置換することを特徴とする請求項１〜請求項３のいずれかに記載の赤目修正装置。 - 上記修正領域は、略円形の領域であり、
上記修正領域情報は、上記略円形とされた修正領域の径を表す情報と、上記画像における同修正領域の中心座標を表す情報とから構成されていることを特徴とする請求項１〜請求項４のいずれかに記載の赤目修正装置。 - 上記範囲情報は、上記画像データの色空間内において赤目の色とする範囲が所定の赤目目標色からの距離として表された情報とされ、
上記色置換手段は、上記色空間内における上記赤目目標色の座標と上記修正領域の画素の画像データとから同赤目目標色と同画素の色との距離を算出し、当該距離が上記範囲情報に対応する距離内であるとき、上記画像データの置換を行うことを特徴とする請求項１〜請求項５のいずれかに記載の赤目修正装置。 - 上記画像データは、レッド、グリーン、ブルーのそれぞれについて多階調とされたデータとされ、
上記色置換手段は、Ｎを正の整数として、上記赤目目標色の座標値をレッド、グリーン、ブルーの順にC1r（０≦C1r≦Ｎ）、C1g（０≦C1g≦Ｎ）、C1b（０≦C1b≦Ｎ）、上記画素の画像データをレッド、グリーン、ブルーの順にC2r（０≦C2r≦Ｎ）、C2g（０≦C2g≦Ｎ）、C2b（０≦C2b≦Ｎ）、Ravg＝（C1r＋C2r）／２とするとき、上記所定の赤目目標色の座標と同画素の画像データとの距離Distanceを概略Distance＝［｛２＋Ravg／（Ｎ＋１）｝×（C1r−C2r）2＋４×（C1g−C2g）2＋｛２＋（Ｎ−Ravg）／（Ｎ＋１）｝×（C1b−C2b）2］1/2なる演算式により算出することを特徴とする請求項６に記載の赤目修正装置。 - 上記色置換手段は、上記画像データの色空間内における上記レッドの座標値をＲ（０≦Ｒ≦Ｎ）、グリーンの座標値をＧ（０≦Ｇ≦Ｎ）、ブルーの座標値をＢ（０≦Ｂ≦Ｎ）とし、同色空間内の座標を（Ｒ，Ｇ，Ｂ）で表すとき、各座標（０，０，０）、（０，０，Ｎ）、（０，Ｎ，０）、（０，Ｎ，Ｎ）、（Ｎ，０，０）、（Ｎ，０，Ｎ）、（Ｎ，Ｎ，０）、（Ｎ，Ｎ，Ｎ）と上記赤目目標色の座標との距離の最大値を算出し、当該最大値に対する上記距離Distanceの比が上記範囲情報に対応する範囲内であるときに上記画像データの置換を行うことを特徴とする請求項７に記載の赤目修正装置。
- 上記画像データを置換する上記目の色は、複数設けられ、
上記色置換手段は、上記複数の目の色からいずれかの色を選択する入力を受け付けて置換後の色を表す情報を取得し、当該情報に対応した色となるように上記画像データを置換することを特徴とする請求項１〜請求項８のいずれかに記載の赤目修正装置。 - 上記修正領域取得手段は、各画素の画像データに基づいて上記画像から目の領域を決定し、当該領域を表す情報を上記修正領域情報として取得することを特徴とする請求項２に記載の赤目修正装置。
- 上記色置換手段は、赤目が生じていない別の画像の画像データを取得し、当該画像データに基づいて同別の画像から虹彩の領域を決定し、当該領域の画像データに基づいて上記目の色を表す情報を取得するとともに、上記修正領域の画素について上記画像データが上記範囲情報に対応する範囲内であるとき、元の画像データから同目の色を表す情報に対応した画像データに置換するとともに同画素が同修正領域の境界部分である場合には同画像データの置換割合を同画素が同修正領域に含まれる割合とすることを特徴とする請求項１０に記載の赤目修正装置。
- 画素別に多階調とされた画像データで表現されるカラーの画像のうち赤目を修正する赤目修正方法であって、
上記カラーの画像のうち赤目を修正する修正領域を表す修正領域情報に対応する修正領域の上記画素について上記画像データが当該画像データの色空間内において赤目の色とする範囲を表す範囲情報に対応する範囲内であるとき、元の画像データから目の色を表す画像データに置換するとともに同画素が同修正領域の境界部分である場合には同画像データの置換割合を同画素が同修正領域に含まれる割合とする色置換工程を具備することを特徴とする赤目修正方法。 - 画素別に多階調とされた画像データで表現されるカラーの画像のうち赤目を修正する機能をコンピュータに実現させる赤目修正プログラムであって、
上記カラーの画像のうち赤目を修正する修正領域を表す修正領域情報に対応する修正領域の上記画素について上記画像データが当該画像データの色空間内において赤目の色とする範囲を表す範囲情報に対応する範囲内であるとき、元の画像データから目の色を表す画像データに置換するとともに同画素が同修正領域の境界部分である場合には同画像データの置換割合を同画素が同修正領域に含まれる割合とする色置換機能をコンピュータに実現させることを特徴とする赤目修正プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002329253A JP3994280B2 (ja) | 2002-11-13 | 2002-11-13 | 赤目修正装置、赤目修正方法および赤目修正プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002329253A JP3994280B2 (ja) | 2002-11-13 | 2002-11-13 | 赤目修正装置、赤目修正方法および赤目修正プログラム |
Related Child Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007146710A Division JP4492642B2 (ja) | 2007-06-01 | 2007-06-01 | 赤目修正装置、赤目修正方法および赤目修正プログラム |
| JP2007146712A Division JP4492644B2 (ja) | 2007-06-01 | 2007-06-01 | 赤目修正装置、赤目修正方法および赤目修正プログラム |
| JP2007146711A Division JP4492643B2 (ja) | 2007-06-01 | 2007-06-01 | 赤目修正装置、赤目修正方法および赤目修正プログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004164276A JP2004164276A (ja) | 2004-06-10 |
| JP2004164276A5 JP2004164276A5 (ja) | 2005-07-07 |
| JP3994280B2 true JP3994280B2 (ja) | 2007-10-17 |
Family
ID=32807299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002329253A Expired - Fee Related JP3994280B2 (ja) | 2002-11-13 | 2002-11-13 | 赤目修正装置、赤目修正方法および赤目修正プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3994280B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4078334B2 (ja) * | 2004-06-14 | 2008-04-23 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| JP4574249B2 (ja) * | 2004-06-29 | 2010-11-04 | キヤノン株式会社 | 画像処理装置及びその方法、プログラム、撮像装置 |
| US7450756B2 (en) * | 2005-04-28 | 2008-11-11 | Hewlett-Packard Development Company, L.P. | Method and apparatus for incorporating iris color in red-eye correction |
| US8306320B2 (en) | 2008-03-07 | 2012-11-06 | Samsung Electro-Mechanics Co., Ltd. | 2D image segmentation apparatus and method, and apparatus and method for removing red-eye in the image |
-
2002
- 2002-11-13 JP JP2002329253A patent/JP3994280B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004164276A (ja) | 2004-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4924264B2 (ja) | 画像処理装置、画像処理方法、および、コンピュータプログラム | |
| US5717838A (en) | Computer calibration of a color print image using successive refinement | |
| JP4345757B2 (ja) | 画像データの色の補正 | |
| EP0357385B1 (en) | Image processing method and apparatus | |
| JP2011018354A (ja) | 画像修整プログラムを記録した媒体、画像修整装置および画像修整方法 | |
| CN108347548A (zh) | 图像处理装置及其控制方法 | |
| JP2004320624A (ja) | 対応関係定義データ作成用格子点決定方法、対応関係定義データ作成用格子点決定装置、対応関係定義データ作成用格子点決定プログラム、印刷制御装置、印刷制御方法および印刷制御プログラム | |
| US7268919B2 (en) | Image data processing apparatus, method, and program that diffuses gradiation error for each pixel in target block | |
| JP3689607B2 (ja) | 画像処理方法、装置および記憶媒体 | |
| JP2008282204A (ja) | 画像処理装置、および、画像処理方法 | |
| JP3994280B2 (ja) | 赤目修正装置、赤目修正方法および赤目修正プログラム | |
| JP4492642B2 (ja) | 赤目修正装置、赤目修正方法および赤目修正プログラム | |
| JP4492643B2 (ja) | 赤目修正装置、赤目修正方法および赤目修正プログラム | |
| US6850341B1 (en) | Method, system and recording medium for image processing | |
| JP4492644B2 (ja) | 赤目修正装置、赤目修正方法および赤目修正プログラム | |
| JP4539778B2 (ja) | 画像データの色の補正 | |
| US7817303B2 (en) | Image processing and image forming with modification of a particular class of colors | |
| JP4085265B2 (ja) | 印刷制御装置および印刷制御方法 | |
| JPH10208038A (ja) | 画像処理方法および画像処理装置 | |
| JP3833170B2 (ja) | グレイライン設定方法、画像処理装置及び画像処理方法 | |
| JP2000285232A (ja) | 画像鮮鋭化プログラムを記録した媒体、画像鮮鋭化装置および画像鮮鋭化方法 | |
| JP2009031855A (ja) | 画像処理装置、画像処理方法、および、コンピュータプログラム | |
| JP2009081631A (ja) | 画像処理装置、方法、および、プログラム | |
| JP4375223B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP4150925B2 (ja) | 画像処理方法及び装置並びにプリンタ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041105 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041105 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070404 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070601 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070704 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070717 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100810 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100810 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110810 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120810 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |