JP3473832B2 - ディジタル画像の自動補正方法及びそのシステム - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディジタル画像の
自動補正方法及びそのシステムに関する。さらに詳しく
は、銀塩写真処理露光機へのディジタル画像出力におい
て、顔画像をディジタル画像に変換し、顔画像中の瞳を
検出し、自動的に最適な色に補正し、自然な顔画像を得
るディジタル画像の自動補正方法及びそのシステムに関
する。

【０００２】

【従来の技術】人物をカラー撮影する際、被写体周辺が
暗いためフラッシュ等の閃光光源を用いると瞳孔部分が
赤く撮影されてしまうという、いわゆる赤目現象がしば
しば発生して不自然な画像となってしまうことがある。
これを避けるために撮影レンズの光軸とフラッシュの光
軸とを接近させない撮影方法が提案されている。

【０００３】また、撮影されたディジタル画像を使用し
て補正を行う方法もある。即ち、画像を表示画面に表示
して赤目の箇所を１画素ずつマウス等で補正するという
ものである。

【０００４】このように、オペレータが手作業で画像の
任意の部分を選択するとき、眼の色を選択するのに相当
の熟練を要し、手間と時間が必要であるという問題があ
る。そして、この場合、補正した部分と、もとの画像と
の境界にどうしても不自然な部分が生じてしまうという
品質上の問題もある。

【０００５】

【発明が解決しようとする課題】本発明は、前述した問
題点に鑑みてなされたものであり、熟練を要することな
く、表示された画像のうち画像処理対象物を自動的に補
正できる自動補正方法及びそのシステムを提供し、特
に、表示された人物の顔画像のうちの瞳の色を自動的に
補正し、補正した部分と、補正しない部分との境界が自
然な補正となるディジタル画像の瞳色自動補正方法及び
そのシステムを提供することを課題とする。

【０００６】

【課題を解決するための手段】前述した課題を解決すべ
く、本発明の請求項１に係わるディジタル画像の自動補
正方法は、顔のディジタル画像のうち目を含む領域に対
して該領域中の画素データを量子化し、予め作成した目
を含む画像の第１のテンプレートを用いて第１のテンプ
レートマッチングを行って前記目の位置を検索し、前記
領域中の画素データに基づいて前記目の中の瞳を認識
し、該瞳を含む画像の第２のテンプレートを作成して第
２のテンプレートマッチングを行って前記瞳を特定し、
特定した部分を画像処理することを特徴とする。

【０００７】前述した構成により、画像処理対象物であ
る瞳を自動で正確に特定でき、しかも、特定した領域で
ある瞳を自動で画像処理できる。

【０００８】本発明の請求項２に係わるディジタル画像
の自動補正方法は、(ａ)顔のディジタル画像のうち目を
含む領域に対して該領域中の画素データを量子化し、予
め作成した検索用のテンプレートを用いてテンプレート
マッチングを行って前記目の位置を検索し、前記領域中
の画素データに基づいて前記目の中の瞳を認識する工程
と、(ｂ) 該瞳を含む画像の絞込用のテンプレートを作
成してテンプレートマッチングを行って前記瞳を絞込ん
で特定する工程と、(ｃ)前記(ｂ)工程を所定回数繰返す
工程と、(ｄ)特定した部分を画像処理する工程とを含む
ことを特徴とする。

【０００９】前述した構成により、初めに指定する領域
が目を含む任意の大きさであっても、その領域を絞り込
んで画像処理対象物である瞳を自動で正確に特定でき、
しかも、特定した領域である瞳を自動で画像処理でき
る。

【００１０】本発明の請求項３に係わるディジタル画像
の自動補正方法によれば、顔のディジタル画像のうち目
１０を含む領域に対して該領域中の画素データを４値化
し、予め作成した目を含む画像の第１のテンプレート２
０を用いて第１のテンプレートマッチングを行って目１
０の位置を検索し、前記領域中の画素データに基づいて
瞳を認識し、該瞳を含む画像の第２のテンプレートを作
成して第２のテンプレートマッチングを行って瞳を特定
し、特定した部分を色補正することを特徴とする。

【００１１】前述した構成により、瞳を自動で正確に特
定し、しかも、適正な色の画像データを自動で形成でき
る。

【００１２】本発明の請求項４に係わるディジタル画像
の自動補正方法によれば、前記目１０が、赤目現象を起
こした画像であるので、赤目を自動で正確に特定でき、
しかも、適正な色の画像データを自動で形成できる。

【００１３】本発明の請求項５に係わるディジタル画像
の自動補正方法によれば、前記画素データを、輝度によ
り３値化し、赤色データを含めて４値化するので、４値
化画像をメディアンフィルタ操作によりノイズを除去で
きる。

【００１４】本発明の請求項６に係わるディジタル画像
の自動補正方法によれば、前記目１０を含む領域の大き
さに応じて前記第１のテンプレート２０のサイズを変更
して検索するので、検索範囲の大まかな選択ができる。

【００１５】本発明の請求項７に係わるディジタル画像
の自動補正方法によれば、前記色補正した部分の周囲を
ボカシ処理するので、色補正した部分の周囲が自然に見
える。

【００１６】本発明の請求項８に係わるディジタル画像
の自動補正システムは、ディジタル画像を表示する表示
手段５１と、ディジタル画像の画像データと、該画像デ
ータを記憶する記憶手段５４と、画像中の任意の範囲を
指定して切り取る指定手段５２と、瞳を含む目の画像の
テンプレートと、テンプレートマッチングのためディジ
タル画像の画像データを演算処理する演算手段５３とを
具備し、目を含む領域に対して該領域中の画素データを
量子化し、予め作成した瞳を含むテンプレート２０を用
いて所定回数のテンプレートマッチングを行って前記領
域中の画素データを検索して瞳を認識し、次いで瞳を特
定し、特定した瞳部分を画像処理することを特徴とす
る。

【００１７】前述した構成により、自動且つ高速で、画
像処理対象物である瞳を正確に特定でき、しかも画像処
理できるシステムを、簡単なテンプレートと演算手段等
で構成できる。

【００１８】本発明の請求項９に係わるディジタル画像
の自動補正システムは、ディジタル画像を表示する表示
手段５１と、ディジタル画像の画像データと、該画像デ
ータを記憶する記憶手段５４と、画像中の任意の範囲を
指定して切り取る指定手段５２と、瞳を含む目の画像の
テンプレート２０と、テンプレートマッチングのためデ
ィジタル画像の画像データを演算処理する演算手段５３
とを具備し、目を含む領域に対して該領域中の画素デー
タを４値化し、予め作成した瞳を含むテンプレート２０
を用いて２段階のテンプレートマッチングを行って前記
領域中の画素データを検索して瞳を認識し、次いで瞳を
特定し、特定した瞳部分を色補正することを特徴とす
る。

【００１９】前述した構成により、簡単なテンプレート
を用いるだけで、特段の装置又は方法を要せず、自動且
つ高速で、自然な色の目となる画像データを形成して瞳
の色を補正できる。

【００２０】本発明の請求項１０に係わるディジタル画
像の自動補正システムによれば、前記目が赤目現象を起
こした画像であるので、赤目を自動で正確に特定し、し
かも適正な色の画像データを自動で形成できる。

【００２１】本発明の請求項１１に係わるディジタル画
像の自動補正システムによれば、前記テンプレート２０
が、２００画素×２００画素範囲に正円の赤目２１が配
置されてなるものであるので、1つのテンプレートで瞳
の色の自動補正に対応できる。

【００２２】

【発明の実施の形態】以下、添付図面を参照しつつ、本
発明の実施の形態について説明する。

【００２３】実施の形態１ 本実施の形態は、画像処理対象物として人物の顔画像の
うち瞳を扱い、その色を補正する場合について説明す
る。尚、人物の目のうち、いわゆる瞳孔及び虹彩を合わ
せて瞳とする。また、瞳の色の補正として、従来技術の
項で説明した「赤目」の色を補正する場合について説明
する。図１は、本発明に係わるディジタル画像の自動補
正システムを有する写真処理装置の構成を概略的に示す
ブロック説明図である。

【００２４】本発明に係わる写真処理装置は、以下に詳
細に説明する画像処理部５０を具備する他は、従来から
知られている写真処理装置と同様に、現像、定着、水洗
及び乾燥等の種々の化学的処理又は物理的処理を一連の
工程で自動的に行う処理装置６１や、カラー画像の各画
素を近似的に青(Ｂ)、緑(Ｇ)、及び赤(Ｒ)の３原色に分
解測光するという色分解を行い、各画素ごとに青、緑、
及び赤の各光強度を色信号として色ごとに順番に読み出
すためのカラースキャナ装置６２等からなる写真処理部
６０や、制御部７０を具備している。

【００２５】そして、各色信号をディジタル信号に変換
したのち、後述するように画像処理を行ったうえで、画
像処理された画像データに基づいて写真感光材料に走査
露光し、通常の写真処理を行ってカラープリント等を得
る。前記処理装置６１及びカラースキャナ装置６２等に
ついては、その説明を省略し、以下、本実施の形態に係
わる瞳色の自動補正を行うシステム（以下、「瞳色自動
補正システム」という）を有する画像処理部５０につい
て説明する。

【００２６】当該画像処理部５０は、ディジタル画像を
表示する表示手段としての画像表示部５１と、画像中の
任意の領域を指定して切り取る指定手段としてのマウス
５２と、テンプレートマッチングを行うための演算処理
をおこなう演算手段である演算処理部５３と、画像デー
タを記憶する記憶手段である記憶部５４とによって構成
され、写真処理装置１全体として操作は制御部７０によ
って制御される。

【００２７】まず、画像表示部５１は、フィルム等の写
真感光材料等に記録された画像情報をカラースキャナ装
置６２等によってディジタルデータとして読み取った画
像データを表示装置（図にハッチングで示した）に画像
表示するものであり、ＣＲＴ又は液晶表示装置等によっ
て構成される。そして、画像表示部５１に付随して、対
象とする画像に関する演算処理や画像処理に関する追加
的の指示や情報の入出力が可能なインターフェイス５５
を設ける。

【００２８】また、マウス５２は、画像表示部５１上の
任意の点を指定する機能を有し、且つ、後述するように
テンプレートマッチングを行うためのテンプレートを発
生させるように演算処理部５３及び画像表示部５１に作
用する機能を有するものである。同様の機能を有するも
のであれば他の装置でもよく、いわゆるトラックボール
等を用いてもよい。本実施の形態においては、いわゆる
ドラッグ操作によって指定した部分を対角線とする長方
形を生成して「検索範囲」とし、この検索範囲内でテン
プレートマッチングを行うのであり、この操作が容易な
ようにマウスを用いている。

【００２９】また、演算処理部５３は、２段階にわたる
テンプレートマッチングを行うための演算処理や、特定
された赤目に対して色補正を行うための演算処理の他、
一般的に画像に対して行う拡大縮小や回転、反転、投
影、陰影付与、合成、分割等種々の画像処理を行うこと
もでき、種々の論理回路や演算回路、レジスタ等によっ
て構成される。

【００３０】また、記憶部５４は、本実施の形態に係わ
るテンプレートに関する所定のデータや、前記画像デー
タ等の演算処理途中のデータ、後述する瞳色補正のアル
ゴリズムによるプログラム等を記憶するものであり、Ｒ
ＡＭ及びＲＯＭ等によって低廉な装置コストで構成され
る。

【００３１】このように、記憶部５４に、画像データ等
を記憶するので、通常の記憶手段等を用いて本実施の形
態に係わる瞳色自動補正を、低廉な装置コストで高速の
自動処理によって行うことができる。尚、前記プログラ
ムは記憶媒体に記憶させて保管する等して写真処理装置
とは別個に利用することもできる。

【００３２】以下、図３及び図４に示したフローチャー
トを参照しつつ、本実施の形態に係わる画像処理部５０
によって行う瞳色自動補正システムの実施要領について
説明する。以下の各段階の処理は、通常は全て瞳色自動
補正プログラムとして写真処理装置に格納されて自動的
に実行されるように構成されており、当該プログラム
は、写真処理装置の稼動開始とともに起動される。

【００３３】当該プログラムは、大まかには、２段階の
テンプレートマッチングを行う赤目の検索段階と、検索
され特定された赤目の色を補正する色補正段階とから構
成されるので、はじめに、検索段階について説明し、次
に色補正段階について説明する。図２の(ａ)は、目を示
す説明図であり、(ｂ)は、赤目を含むテンプレートを示
す説明図である。また、図３及び図４は、それぞれ本実
施の形態に係わる瞳色自動補正の工程を順に示すフロー
チャートである。

【００３４】まず、検索段階としては、第１に、顔画像
の中から検索範囲を指定する。検索範囲の指定について
は、全体の顔画像の中から瞳部分を検索するため、検索
を実行する検索範囲を選択して全体の顔画像から切り取
り、この検索範囲内で検索を実行する。具体的には、例
えば、マウスを顔画像上でドラッグして検索範囲を指定
する（工程１０１）等して実行する。

【００３５】このとき、切り取る大きさは、通常、少な
くとも1つの目を含む大きさに切り取るものとする。も
し、２つの目を含んだ検索範囲を指定した場合は、「よ
り赤い」方の目を検索することになる。尚、オペレータ
が、表示された画像に対して直接処理操作を行うのは、
この検索範囲指定のみである。

【００３６】第２に、１段階目のテンプレートマッチン
グための画素データ調べを行う。本実施の形態において
は、予め標準的な目の画像データに基づくテンプレート
を作製して記憶部５４等に記憶させておき、プログラム
の起動とともにプログラム中に読込まれる（工程１０
２）ものとする。

【００３７】ここで、標準的な目とは、例えば、図２の
(ａ)に示したように、虹彩１１の中央部分に瞳孔１２が
位置し、周辺に白目１３が位置している。前述した赤目
は、この虹彩１１の部分に発生するので、白目の中に赤
目が存在するように撮影されているものである。

【００３８】また、前記テンプレートは、図２の(ｂ)に
示したように、２００画素×２００画素の正方形中に、
背景色（例えば、黒）２３に対して赤の正円２１を配
し、その周囲２２を同心の白目として描いたものを用い
る。赤の正円の半径の比率は、標準的な実際の目の大き
さから勘案して設定することができ、好ましい。そし
て、このテンプレート２０は、後述する（工程１０８）
ように、検索する画像のサイズに応じてサイズを変更し
て使用する。このテンプレート２０を用いることによっ
て、上下又は左右に傾いた目に対しても１つのテンプレ
ート２０で対応できる。

【００３９】第３に、切り取られた検索範囲を画像表示
（工程１０３）し、検索範囲の画素データの４値化と、
メディアンフィルタによるノイズ除去を行う。前述した
切り取られた画像中には髪の毛や皺等によるノイズが多
数含まれているため、これらのノイズを除去するため、
検索範囲中の画像データを輝度（（Ｒ＋Ｇ＋Ｂ）／３）
によって３値化する（工程１０４）。実際には、全画素
について求めた輝度値に関して、最大値と最小値との間
を３つの領域に分割することによって行う。

【００４０】このとき、さらに、Ｒ、Ｇ及びＢの所定の
比率の場合を赤と仮定し、赤を検出した場合の検出デー
タを保存するようにし、前述の３値とあわせて４値化す
る（工程１０５）。このとき、３値化したデータの境界
値近辺のデータや赤と認識した部分のデータが突発的に
ノイズとしてあらわれてしまうので、赤と認識した部分
以外の画素に対してメディアンフィルタをかけることに
より、このノイズを除去する（工程１０６）。

【００４１】このように画素データを４値化しているの
で、ノイズの大部分を除去することができる。ノイズと
認識されたデータの中には赤目のデータも含まれるの
で、赤と認識した画素は、その赤の検出データを保存し
て赤目の補正をしやすくする。このようにしてノイズを
除去するので、テンプレートマッチングの成功率を上げ
ることができる。

【００４２】第４に、検索範囲の大きさに対応してテン
プレート２０の初期使用サイズを決定する。まず、テン
プレート画像の黒目相当部分の画素数を計算（工程１０
７）し、検索範囲における画素数との比較により、検索
範囲の画素数に最も近い画素数となるようにテンプレー
ト２０のサイズを調節して設定する（工程１０８）。

【００４３】この比較処理は、「元サイズ画像」、「４
分の１画像」、及び「１６分の１画像」について順に行
い、後述する「適応度」を超えた時点で検索を終了す
る。本実施の形態においては、テンプレート２０のサイ
ズを前述のように設定したが、他のサイズに設定するこ
ともできる。また、この比較処理の区分及び回数は、例
えば、後述するように変更できる。

【００４４】即ち、小さい目の場合は、常に３回の検索
を行うこととなり、常に、無駄な時間を要することにな
るので、この比較処理は、検索範囲の画像のサイズに応
じて、最初に使用するテンプレート２０のサイズをオペ
レータが任意に選択できるものとする。

【００４５】この選択の際には、テンプレート２０の元
サイズの正円部分の画素数と、検索範囲の「元サイズ画
像」、「４分の１の画像」、及び「１６分の１画像」の
それぞれに対して黒目及び赤目と認識できている部分の
画素数とを比較して、テンプレート２０のサイズを、適
する画像のサイズに合わせて縮小する（工程１０９）。

【００４６】ここで、検索範囲中の黒の部分及び赤の部
分は、必ずしも目の部分とは限らないが、このようにテ
ンプレート２０のサイズを決定するので、大まかな選択
をすることができる。

【００４７】第５に、最低適応度を設定する。ここで
は、まず、テンプレート画像の白目領域の画素数を計算
し（工程１１０）、目の部分全体の画素数を計算してお
く。後述する「適応度」は、本発明者が便宜的に指標と
して設定するものである。そして、最低適応度は、「使
用するテンプレート画像のうち黒目領域及び赤目領域に
白目領域を加えた領域の総画素数の３分の１」とし、こ
れを赤目認識のための最低クリアすべき閾値とする。

【００４８】第６に、１段階目のテンプレートマッチン
グを行う。ここでいうテンプレートマッチングは、テン
プレート２０と、検索範囲とを比較して「最低適応度以
上であり、最も適応度の高い部分の座標データを得る」
ことを目的としている。

【００４９】実際には、各画素の値に「黒目・赤目の判
定域内で：赤が検出されたらその赤のデータに＋２、
：黒又は白ならそのデータにそれぞれ＋１、：又
は以外なら白に−１、そして、白目判定域内で赤又は
黒が検出されたら、そのそれぞれに＋１、：白なら白
に＋２、：又は以外なら白に−１」というように
赤優先の計算方法を採用しており、それぞれの画素につ
いての各値の合計値を「適応度」としている。そして、
「適応度が最も大きく、赤が０でない」条件によりテン
プレートマッチングを行う。

【００５０】このとき、検索ステップを設定する（工程
１１２）。検索ステップとは、何画素ごとに検索するか
という、その画素数を意味する。即ち、「元サイズ画
像」又は「４分の１画像」を用いた場合は、縦横とも５
画素ごとに検索を行い、この結果求まった座標を中心に
して１画素ごとのテンプレートマッチングを行う。これ
に対し、「１６分の１画像」を用いる場合は、５画素ご
との検索であると最適値の部分を見落とす危険性がある
ので、１画素ごとにテンプレートマッチングを行うので
ある。

【００５１】このようにして画素ごとに適応度を計算
し、最低適応度を計算する（工程１１３）。このように
して１段階目のテンプレートマッチング（工程１１４）
を行うが、設定された検索ステップの画素数に従って、
原点（０，０）から座標を移動しつつ画素ごとに検索を
行う（工程１１５）。そして、各画素ごとにテンプレー
トの目の部分だけと、検索範囲とによって適応度を計算
する（工程１１６）。

【００５２】ここまでの段階で、適応度が最も高い目の
周辺部分を１箇所特定することができるので、最低適応
度を超え、且つ、適応度が最大となる部分の座標を検索
し（工程１１７）て決定し、その座標データを求める。
そして、決定した座標の周辺（「周辺部分」という）の
領域を、目が入る所定の大きさで検索範囲から切り離す
（工程１１８）。

【００５３】次に、他方の目の周辺部分を得るために、
前述のようにして特定した領域を除いて次に最も赤いと
される部分を探すことになる。従って、初めに特定した
領域を除いた部分であって、しかもテンプレート全域で
検索処理ができる範囲をあらたな検索範囲とし、この検
索範囲に対して再度テンプレートマッチングを行う（工
程１１９）。

【００５４】前述の工程１１９は、工程１１４から工程
１１８までを行うが、工程１１９でのテンプレートマッ
チングにおいては、処理時間を短縮するために縦横５画
素ずつ検索するものとし、前述した適応度を計算した際
の赤の値が前記最高値に次いで高い部分を探し、探し当
てた部分を中心に所定の範囲内で１画素ごとの検索を行
い、座標データを求め、周辺部分を決定する。以上のよ
うにして、１段階目のテンプレートマッチングが完了す
る。

【００５５】第7に、２段階目のテンプレートを作製す
る。２段階目のテンプレートマッチングは、瞳の色補正
を行うべき色補正範囲を決定するための処理であるた
め、黒目部分（赤目部分）だけをぴったり含むように正
円のテンプレートを作成する必要がある。もし、この２
段階目のテンプレートが余分な部分を含んでいると、そ
の余分な部分まで補正してしまうからである。

【００５６】従って、前段階で求めた最も適応度が高い
とされた目の周辺部分に含まれる黒目部分（赤目部分）
の画素数を計算して目にぴったり重なるように２段階目
のテンプレートを作成する（工程１２０）。

【００５７】第８に、２段階目のテンプレートマッチン
グを行う（工程１２１）。ここでも１段階目のテンプレ
ートマッチングと同様にテンプレートマッチングを行
う。このようにして２段階目のテンプレートマッチング
を両目に対して行うので、ほぼ完全に黒目（赤目）を選
択して正確なその座標データを決定することができ、従
って、正確に赤目を特定することができる。

【００５８】次に、色補正段階について説明する。

【００５９】第１に、赤目部分の色補正を行う。前記２
段階目のテンプレートにぴったり重なり、且つ４値化画
像の黒部分と赤部分である領域（「補正部分」）に色補
正を行う。ここで行う色補正は、実際の目における標準
的な大きさの比率に合わせて、輝度データを利用し、所
定の比率で彩度を落とすことによって行う。

【００６０】第２に、移動平均フィルタにより、前記補
正部分のボカシ処理を行う。前段階では色補正の処理に
よって必ずしも自然な画像を得られるのではなく、２段
階目のテンプレートが正円であるため目の上下を含んで
しまい、目の周囲の部分との境界部分が不自然になった
りする。

【００６１】これを自然に見せるため、５画素×５画素
の移動平均フィルタをかけて補正部分に対する、いわゆ
るボカシ処理を行う。このボカシ処理によって自然な画
像を得ることができ、カラープリント等の商品価値が向
上する効果を奏する。

【００６２】このようにして、瞳の色補正、及び、目の
周囲の部分との境界部分のボカシ処理を行った画像を、
補正部分として検索範囲から切り離したときの元の画像
に合成し（工程１２５）、さらに原画像に合成して（工
程１２６）瞳色自動補正の処理を終了する。

【００６３】以上説明したように、オペレータは、初め
に検索範囲を指定するだけで特段の熟練を要する操作は
必要ではなく、瞳色自動補正システムにより、自動で赤
目を正確に特定でき、短時間で画像処理する領域が特定
され、色補正が自動で実行され自然な色の目となる画像
データを形成できる。

【００６４】以上、本実施の形態においては、瞳の色の
自動補正システムを写真処理装置に搭載して赤目となっ
た瞳の色を自動で補正してカラープリント等を作成する
ように構成したが、瞳の色の補正は、赤目を黒目に補正
するだけではなく、カラーコンタクトレンズを装着した
場合のような瞳の色に補正したり、いわゆる「キャッチ
ライト」のような画像を付加したりすることもできる。
さらに、同様に、赤目現象を生じてしまう他の画像記録
手段（例えば、カラー写真を利用する複写機等）の場合
にも本システムを搭載し、自動的に、短時間で画像処理
領域が特定され色補正を実行することもできる。

【００６５】実施の形態２ 実施の形態１においては、処理領域が被写体の人物の瞳
である場合について説明したが、本発明はこの構成に限
定されるものではなく、或る対象物のテンプレートが定
量的に得られて多段階のテンプレートマッチングにより
処理領域が特定され得るのであれば、対象画像が人物だ
けでなく、動植物等生物のみならず建築物や物品等無生
物に対しても、本発明を適用できる。以下、特に説明し
ない構成は、実施の形態１と同じである。

【００６６】即ち、本実施の形態においては、ディジタ
ル画像のうち画像処理対象物を含む領域を指定したの
ち、この領域中の画素データを量子化し、この量子化に
対応して予め作成した第１のテンプレートを用いて第１
のテンプレートマッチングを行う。画素データの量子化
に際しては、実施の形態１の場合のように、画素データ
を４値化してもよいが、３値化や５値化又は、これ以上
であってもよい。

【００６７】そして、実施の形態１と同様に、画像処理
対象物の位置を検索し、前記領域中の画素データに基づ
いて前記画像処理対象物を認識し、画像処理対象物を含
む画像の第２のテンプレートを作成して第２のテンプレ
ートマッチングを行って前記画像処理対象物を特定し、
特定した部分に対して種々の画像処理を行う。ここでの
画像処理は、色補正に止まらず、拡大縮小や陰影付与、
また、芸術的な装飾を付加する等の画像処理を行う。そ
して、熟練を要することなく、自動的に、短時間で画像
処理領域が特定され色補正等の画像処理を実行すること
ができる。

【００６８】また、初めに指定する領域の大きさを任意
とし、いかなる大きさからでも、テンプレートマッチン
グを所定回数繰返して絞り込むようにしてテンプレート
マッチングの成功度を向上させて行うこともできる。こ
の場合、第２、第３のテンプレートマッチングの演算処
理のため、記憶手段の記憶容量を大きくしておくととも
に、テンプレートマッチングを繰返すことができるよう
に各装置手段の接続及び演算処理のアルゴリズムを変更
しておく。

【００６９】

【発明の効果】本発明に係わるディジタル画像の自動補
正方法は、画像処理対象物を含む領域中の画素データを
量子化し、第１のテンプレートを用いて第１のテンプレ
ートマッチングを行い、前記画像処理対象物を認識し、
該画像処理対象物を含む画像の第２のテンプレートを作
成して第２のテンプレートマッチングを行い、特定した
部分を画像処理する構成により、自動で、画像処理対象
物を正確に特定でき、しかも特定した領域を画像処理で
きる。

【００７０】従って、熟練を要することなく、容易に且
つ高速で種々の画像処理が行える。

【００７１】本発明に係わるディジタル画像の自動補正
方法は、所定回数のテンプレートマッチングを繰返す構
成により、初めに指定する領域が任意の大きさであって
もその領域を絞り込んで、画像処理対象物を自動で正確
に特定でき、しかも、特定した領域を自動で画像処理で
きる。

【００７２】従って、テンプレートマッチングの成功度
を向上させて、特定した領域を画像処理できる。

【００７３】本発明に係わるディジタル画像の自動補正
方法によれば、顔のディジタル画像のうち目を含む領域
に対して該領域中の画素データを４値化し、第１のテン
プレートを用いて第１のテンプレートマッチングを行っ
て目の位置を検索し、瞳を含む画像の第２のテンプレー
トを作成して第２のテンプレートマッチングを行って瞳
を特定し、特定した部分を色補正する構成により、瞳を
自動で正確に特定し、しかも、適正な色の画像データを
自動で形成できる。

【００７４】従って、熟練を要することなく容易に且つ
高速で瞳の色補正が行える。

【００７５】本発明に係わるディジタル画像の自動補正
方法によれば、前記目１０が、赤目現象を起こした画像
とすることができるので、赤目を自動で正確に特定で
き、しかも、適正な色の画像データを自動で形成でき
る。

【００７６】本発明に係わるディジタル画像の自動補正
方法によれば、前記画素データを、輝度により３値化
し、赤色データを含めて４値化することができるので、
４値化画像をメディアンフィルタ操作によりノイズを除
去でき、テンプレートマッチングの成功度を向上でき
る。

【００７７】本発明に係わるディジタル画像の自動補正
方法によれば、前記目を含む領域の大きさに応じて前記
第１のテンプレートのサイズを変更して検索できるの
で、検索範囲の大まかな選択ができ、テンプレートマッ
チングの成功度を向上できる。

【００７８】本発明に係わるディジタル画像の自動補正
方法によれば、前記色補正した部分の周囲をボカシ処理
できるので、色補正した部分の周囲が自然に見え、カラ
ープリント等の商品価値が上がる。

【００７９】本発明に係わるディジタル画像の自動補正
システムは、画像処理対象物を含む画像のテンプレート
と、テンプレートマッチングのための演算手段とを具備
し、任意に指定した範囲中の画素データを量子化し、予
め作成したテンプレートを用いて所定回数のテンプレー
トマッチングを行って画像処理対象物を特定して画像処
理する構成により、自動且つ高速で、画像処理対象物を
正確に特定でき、しかも画像処理できるシステムを、簡
単なテンプレートと演算手段等で構成できる。

【００８０】従って、熟練を要することなく容易に且つ
高速で種々の画像処理ができるシステムを低コストで提
供できる。

【００８１】本発明に係わるディジタル画像の自動補正
システムは、瞳を含む目の画像のテンプレートと、テン
プレートマッチングのための演算手段とを具備し、目を
含む領域に対して該領域中の画素データを４値化し、瞳
を含むテンプレートを用いて２段階のテンプレートマッ
チングを行って瞳を特定し、特定した瞳部分を色補正す
る構成により、簡単なテンプレートを用いるだけで、特
段の装置又は方法を要せず、自動且つ高速で、自然な色
の目となる画像データを形成して瞳の色を補正できる。

【００８２】従って、熟練を要することなく、容易に且
つ高速で瞳の色の補正が行える。

【００８３】本発明に係わるディジタル画像の自動補正
システムによれば、前記目が赤目現象を起こした画像と
することができるので、赤目を自動で正確に特定し、し
かも、適正な色の画像データを自動で形成でき、カラー
プリント等の商品価値が向上できる。

【００８４】本発明に係わるディジタル画像の自動補正
システムによれば、前記テンプレート２０が、２００画
素×２００画素範囲に正円の赤目が配置されてなるもの
であるので、1つのテンプレートで瞳の色の自動補正に
対応でき、複雑なテンプレートを多数個記憶しておく必
要がない。

【図面の簡単な説明】

【図１】本発明の一実施の形態に係わる写真処理装置の
構成を概略的に示すブロック図。

【図２】(ａ)は目の説明図、及び(ｂ)は本発明に係わる
テンプレートを示す説明図。

【図３】本発明の一実施の形態に係わる瞳色自動補正の
工程を示したフローチャート。

【図４】本発明の一実施の形態に係わる瞳色自動補正の
工程を示したフローチャート。

【符号の説明】

５０…画像処理部、５１…画像表示部、５３…演算処理
部、５４…記憶部

フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 1/38 - 1/409 H04N 1/46 - 1/64 G06T 3/00 - 3/60 G06T 7/00 - 7/60

Claims (11)

(57)【特許請求の範囲】
1. 【請求項１】 顔のディジタル画像のうち目を含む領域
   に対して該領域中の画素データを量子化し、予め作成し
   た目を含む画像の第１のテンプレートを用いて第１のテ
   ンプレートマッチングを行って前記目の位置を検索し、
   前記領域中の画素データに基づいて前記目の中の瞳を認
   識し、該瞳を含む画像の第２のテンプレートを作成して
   第２のテンプレートマッチングを行って前記瞳を特定
   し、特定した部分を画像処理することを特徴とするディ
   ジタル画像の自動補正方法。
2. 【請求項２】 (ａ)顔のディジタル画像のうち目を含む
   領域に対して該領域中の画素データを量子化し、予め作
   成した検索用のテンプレートを用いてテンプレートマッ
   チングを行って前記目の位置を検索し、前記領域中の画
   素データに基づいて前記目の中の瞳を認識する工程と、
   (ｂ) 該瞳を含む画像の絞込用のテンプレートを作成し
   てテンプレートマッチングを行って前記瞳を絞込んで特
   定する工程と、(ｃ)前記(ｂ)工程を所定回数繰返す工程
   と、(ｄ)特定した部分を画像処理する工程とを含むこと
   を特徴とするディジタル画像の自動補正方法。
3. 【請求項３】 顔のディジタル画像のうち目(１０)を含
   む領域に対して該領域中の画素データを４値化し、予め
   作成した目を含む画像の第１のテンプレート(２０)を用
   いて第１のテンプレートマッチングを行って目(１０)の
   位置を検索し、前記領域中の画素データに基づいて瞳を
   認識し、該瞳を含む画像の第２のテンプレートを作成し
   て第２のテンプレートマッチングを行って瞳を特定し、
   特定した部分を色補正することを特徴とするディジタル
   画像の自動補正方法。
4. 【請求項４】 前記目(１０)が赤目現象を起こした画像
   である請求項３記載のディジタル画像の自動補正方法。
5. 【請求項５】 前記画素データを、輝度により３値化
   し、赤色データを含めて４値化する請求項４記載のディ
   ジタル画像の自動補正方法。
6. 【請求項６】 前記目(１０)を含む領域の大きさに応じ
   て前記第１のテンプレート(２０)のサイズを変更して検
   索する請求項３記載のディジタル画像の自動補正方法。
7. 【請求項７】 前記色補正した部分の周囲をボカシ処理
   する請求項３記載のディジタル画像の自動補正方法。
8. 【請求項８】 ディジタル画像を表示する表示手段(５
   １)と、ディジタル画像の画像データと、該画像データ
   を記憶する記憶手段(５４)と、画像中の任意の範囲を指
   定して切り取る指定手段(５２)と、瞳を含む目の画像の
   テンプレートと、テンプレートマッチングのためディジ
   タル画像の画像データを演算処理する演算手段(５３)と
   を具備し、目を含む領域に対して該領域中の画素データ
   を量子化し、予め作成した瞳を含むテンプレート(２０)
   を用いて所定回数のテンプレートマッチングを行って前
   記領域中の画素データを検索して瞳を認識し、次いで瞳
   を特定し、特定した瞳部分を画像処理することを特徴と
   するディジタル画像の自動補正システム。
9. 【請求項９】 ディジタル画像を表示する表示手段(５
   １)と、ディジタル画像の画像データと、該画像データ
   を記憶する記憶手段(５４)と、画像中の任意の範囲を指
   定して切り取る指定手段(５２)と、瞳を含む目の画像の
   テンプレート(２０)と、テンプレートマッチングのため
   ディジタル画像の画像データを演算処理する演算手段
   (５３)とを具備し、目を含む領域に対して該領域中の画
   素データを４値化し、予め作成した瞳を含むテンプレー
   ト(２０)を用いて２段階のテンプレートマッチングを行
   って前記領域中の画素データを検索して瞳を認識し、次
   いで瞳を特定し、特定した瞳部分を色補正することを特
   徴とするディジタル画像の自動補正システム。
10. 【請求項１０】 前記目が赤目現象を起こした画像であ
    る請求項９記載のディジタル画像の自動補正システム。
11. 【請求項１１】 前記テンプレート(２０)が、２００画
    素×２００画素範囲に正円の赤目(２１)が配置されてな
    るものである請求項１０記載のディジタル画像の自動補
    正システム。