JP4457405B2 - 画像処理方法、画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は画像処理方法、画像処理装置及び画像処理プログラムに係り、特に瞳内のキャッチライトを強調する技術に関する。

撮影した顔写真とテンプレート画像とを合成してプリントするアミューズメントシールプリント機では、目をくっきりさせて、顔の写りをよくすることが望まれている。特に、瞳内のキャッチライトの表現は重要である。

しかしながら、「目をくっきり」、「キャッチライトをはっきり」させるために撮影した画像に対してシャープネス強調を強くすると、肌荒れが強調されたり、撮影時のノイズが強調され、ざらつきが目立つという問題がある。

これに対し、従来、瞳内のキャッチライトを強調処理する場合、オペレータが目の領域を指定し、その領域内のコントランスを上昇させる画像処理方法が提案されている（特許文献１）。

また、特許文献２には、写真フイルムから読み取った画像に現れるフイルムの粒状を抑制するために、モフォロジフィルタ処理を行う技術が開示されている。
特開平１０−７５３７４号公報 特開２０００−４０１５４号公報

しかしながら、特許文献１に記載の方法は、キャッチライトが存在する目の領域を指定するオペレータ操作が必要であり、煩雑であるという問題がある。また、オペレータ操作が必要なため、店頭のアミューズメントシールプリント機には適用できない。

本発明はこのような事情に鑑みてなされたもので、自動的にキャッチライトのみを強調することができる画像処理方法、画像処理装置及び画像処理プログラムを提供することを目的とする。

前記目的を達成するために請求項１に係る発明は、顔画像を含む原画像に対して画像処理手段により画像処理を行う画像処理方法であって、前記画像処理手段による画像処理方法は、前記原画像の瞳内のキャッチライトを除去するモフォロジ処理を行う工程と、前記原画像と前記モフォロジ処理した処理画像との差分を求める工程と、前記原画像を画像処理することにより該原画像から顔領域を抽出し、該抽出した顔領域から左右の瞳領域を抽出する工程と、前記求めた差分と前記抽出した瞳領域とに基づいて前記瞳領域内に存在するキャッチライト領域を抽出する工程と、前記抽出したキャッチライト領域に基づいて前記原画像内のキャッチライト領域を指定する工程と、前記原画像に対して前記指定されたキャッチライト領域を強調する工程と、を含むことを特徴としている。

即ち、顔画像を含む原画像をモフォロジ処理することにより、瞳内のキャッチライトを除去する。そして、前記原画像と前記モフォロジ処理した処理画像との差分を求めることにより、キャッチライトが存在するキャッチライト領域（差分画像）が抽出される。この抽出したキャッチライト領域に基づいて前記原画像内のキャッチライト領域を指定し、前記原画像に対して前記指定したキャッチライト領域を強調するようにしている。

請求項２に示すように請求項１に記載の画像処理方法において、前記モフォロジ処理を行う工程は、前記キャッチライト領域に対応する画素サイズの構造要素を使用して前記原画像をオープニング処理することを特徴としている。

請求項３に示すように請求項１又は２に記載の画像処理方法において、前記キャッチライト領域を抽出する工程は、前記求めた差分を所定の閾値で閾値処理してキャッチライト候補点を求める工程と、前記原画像から瞳領域を抽出する工程と、前記キャッチライト候補点から前記抽出した瞳領域内に存在するキャッチライト候補点の絞り込みを行う工程とを含み、前記絞り込んだキャッチライト候補点をキャッチライト点として前記キャッチライト領域を抽出することを特徴としている。

即ち、前記原画像と前記モフォロジ処理した処理画像との差分を所定の閾値で閾値処理することにより、ノイズ等を含まないキャッチライト候補点を求める。尚、この段階では、キャッチライトに類似する特徴量を有するものも抽出される。そこで、原画像から瞳領域を抽出し、この瞳領域内に存在するキャッチライト候補点のみをキャッチライト点としてキャッチライト領域を抽出するようにしている。

請求項４に示すように請求項１乃至３のいずれかに記載の画像処理方法において、前記キャッチライト領域を強調する工程は、前記キャッチライト領域のコントラストを強調する処理、輝度を上げる処理、シャープネスを上げる処理、及び膨張処理のうちの少なくとも１つを含むことを特徴としている。

請求項５に係る画像処理装置は、顔画像を含む原画像を入力する画像入力手段と、前記入力した原画像に対してモフォロジ処理を行い、前記原画像内の瞳内のキャッチライトを除去した処理画像を得るモフォロジ処理手段と、前記原画像と前記モフォロジ処理した処理画像との差分を求める演算手段と、前記原画像を画像処理することにより該原画像から顔領域を抽出し、該抽出した顔領域から左右の瞳領域を抽出する手段と、前記求めた差分と前記抽出した瞳領域とに基づいて前記キャッチライトが存在する前記瞳領域内のキャッチライト領域を抽出するキャッチライト領域抽出手段と、前記抽出したキャッチライト領域に基づいて前記原画像内のキャッチライト領域を指定するキャッチライト領域指定手段と、前記原画像に対して前記指定されたキャッチライト領域を強調するキャッチライト領域強調手段と、を備えたことを特徴としている。

請求項６に係る画像処理プログラムは、顔画像を含む原画像を入力する入力機能と、前記入力した原画像に対してモフォロジ処理を行い、前記原画像内の瞳内のキャッチライトを除去した処理画像を得るモフォロジ処理機能と、前記原画像と前記モフォロジ処理した処理画像との差分を求める演算機能と、前記原画像を画像処理することにより該原画像から顔領域を抽出し、該抽出した顔領域から左右の瞳領域を抽出する機能と、前記求めた差分と前記抽出した瞳領域とに基づいて前記キャッチライトが存在する前記瞳領域内のキャッチライト領域を抽出するキャッチライト領域抽出機能と、前記抽出したキャッチライト領域に基づいて前記原画像内のキャッチライト領域を指定するキャッチライト領域指定機能と、前記原画像に対して前記指定されたキャッチライト領域を強調するキャッチライト領域強調機能と、をコンピュータに実現させることを特徴としている。

本発明によれば、処理対象の原画像からキャッチライト領域を精度よく抽出することができ、これにより原画像内のキャッチライト領域のみを自動的に強調処理することができる。

以下添付図面に従って本発明に係る画像処理方法、画像処理装置及び画像処理プログラムの好ましい実施の形態について詳説する。

図１は本発明が適用されたプリンタの実施の形態を示すブロック図である。

同図に示すように、この実施の形態のプリンタ１００は、ゲームセンタや店頭に設置されているアミューズメントシールプリント機であり、主としてカメラ部１１０と、画像処理部１２０と、表示制御部１３０と、表示器１４０と、中央処理装置（ＣＰＵ）１５０と、主メモリ１６０と、ストレージ１７０と、プリントエンジン１８０と、操作部１９０とから構成されている。

カメラ部１１０は、ユーザの顔を撮影してデジタルのカラー画像データ（Ｒ、Ｇ、Ｂ信号）を出力する。画像処理部１２０は、カメラ部１１０から出力されたＲ、Ｇ、Ｂ信号に基づいて本発明に係る画像処理（以下、「キャッチライト強調処理」という）を行う機能と、ユーザの顔画像と予め準備されているテンプレート画像や落書きなどを合成処理する機能と、合成後の画像データから印画用のデータを作成する機能等を有している。尚、キャッチライト強調処理の詳細については後述する。

画像処理部１２０は、各種の画像処理を施したＲ、Ｇ、Ｂ信号をＹ、Ｍ、Ｃ（イエロー、マゼンタ、シアン）信号に変換し、この変換したＹ、Ｍ、Ｃ信号をプリントエンジン１８０に出力する。

表示制御部１３０は、カメラ部１１０から入力する画像データ（動画を示す画像データ）から表示器１４０にユーザの顔画像を表示するための表示用の画像データを作成し、これを表示器１４０に出力して画像を表示させたり、上記ユーザの顔画像と予め準備されているテンプレート画像とが合成された合成画像を表示器１４０に表示させる。

ＣＰＵ１５０は、システム全体を統括的に制御する処理部であり、このＣＰＵ１５０により、カメラ部１１０への撮影指示や、カメラ部１１０からの画像データの読み出し、この読み出した画像データに対する処理指示や各制御ブロックに対する画像データの受け渡し、印画の実行等の各種指示を与える。ＣＰＵ１５０への各種処理の指示は、使用者の操作に基づいて操作部１９０から与えられる。例えば、操作部１９０は、表示器１４０に表示されるテンプレート画像を見ながら画像合成に使用するテンプレート画像の選択指示を行うボタン、プリント出力するプリント種類を選択するためのボタン等を有している。尚、操作部１９０は、表示器１４０上にタッチパネルのソフトボタンによって実現するようにしてもよい。

主メモリ１６０は、プリンタの制御プログラムが格納されたり、プログラム実行時の作業領域として使用され、ストレージ１７０は、不揮発性の記憶手段であり、各種のテンプレート画像や閾値処理用のルックアップテーブル（ＬＵＴ）などが記憶されている。

プリントエンジン１８０は、例えば、印画方式としてＴＡ（サーモオートクローム）方式を採用したもので、Ｃ、Ｍ、Ｙの各発色層を有するカラー印画紙（以下、「ＴＡペーパー」という）自体を熱で発色させ、所定の波長の光の照射で定着するものであり、ＴＡペーパーを搬送する手段、サーマルヘッド、定着ランプ等を有している。カラー画像をＴＡペーパーに印画する場合には、まずＴＡペーパーを搬送するとともにＹ信号によってサーマルヘッドを制御し、ＴＡペーパーのイエロー層を発色させ、続いて定着ランプによってイエローの発色を定着させる。ＴＡペーパーのマゼンタ層及びシアン層の発色もＭ信号、Ｃ信号に基づいて同様に行われ、これによりＴＡペーパーにカラー画像を印画する。尚、この実施の形態のプリンタは、ＴＡプリンタであるが、これに限らず、本発明は他の感熱プリンタやインクジェットプリンタ等の他の形式のプリンタにも適用できる。

次に、上記画像処理部１２０でのキャッチライト強調処理について説明する。

図２は画像処理部１２０のキャッチライト強調処理部２００の実施の形態を示すブロック図である。

図２に示すようにキャッチライト強調処理部２００は、モフォロジ処理部２１０と、減算器２２０と、閾値処理部２３０と、キャッチライト候補点絞込み部２４０と、瞳領域抽出部２５０と、コントラスト強調処理部２６０とから構成されている。

このキャッチライト強調処理部２００は、Ｒ，Ｇ，Ｂ信号から生成された輝度信号Ｙと色差信号Ｃｒ，Ｃｂのうちの輝度信号Ｙ（以下、「原画像Ｙ」という）を入力する。尚、原画像Ｙは、Ｒ、Ｇ、Ｂ信号に基づいて次式、
［数１］
Ｙ＝0.3 Ｒ＋0.6 Ｇ＋0.1 Ｂ
により生成されている。また、JPEG形式の画像でＹＣｒＣｂ方式で保存された画像データの場合には、Ｒ，Ｇ，Ｂ信号からＹ信号を生成せずに、保存されたＹ信号を使用することができる。

上記原画像Ｙは、モフォロジ処理部２１０に加えられる。モフォロジ処理には、「二値画像に対する処理」、「連続調（例えば、８ビットの２５６階調）画像に対する処理」の２通りがあるが、本発明では、「連続調画像に対する処理」の方を用いる。

前記モフォロジ処理部２１０は、入力する原画像Ｙに対して所定の構造要素ｂを使用して、イロージョン（erosion)処理後にダイレーション（dilation) 処理を行うオープニング(opening) 処理を行うもので、このモフォロジ処理した処理画像Ｙ_-openingを減算器２２０の負入力に出力する。

即ち、図２に示すようにモフォロジ処理部２１０は、−を○で囲んだ記号で表されたイロージョン処理部２１２と、＋を○で囲んだ記号で表されたダイレーション処理部２１４とを有している。イロージョン処理部２１２には、原画像Ｙと構造要素ｂとが加えられ、ダイレーション処理部２１４には、イロージョン処理後の処理画像と構造要素ｂとが加えられる。

図３（Ａ）にイロージョン処理の流れを示し、図３（Ｂ）にダイレーション処理の流れを示す。

いま、原画像Ｙの注目画素（ｘ，ｙ）に対し、これを中心とする、図４（Ａ）に示すような５×５の領域Ｄを取る。また、図４（Ｂ）に示すように構造要素ｂ(u,v) として、５×５サイズのモフォロジフィルタを使用する。尚、ｂ(u,v) は、(-2,-2),(0,0),(2,2) に０が、その他の領域に最小値（−２５６）が設定されている。

図３（Ａ）に示すようにイロージョン処理は、原画像Ｙの注目画素（ｘ，ｙ）を中心に切り出された５×５の領域Ｄの画像Ｙ(x+u,y+v) から構造要素ｂ(u,v) を減算し、この減算結果の最小値を選択し、これを注目画素（ｘ，ｙ）の値とする。

図４（Ｂ）に示す構造要素ｂ(u,v) を使用すると、領域Ｄ内の３つの画素(x-2,y-2), (x,y), (x+2,y+2) の画素値のうちの最小値が、注目画素（ｘ，ｙ）の画素値として採用される。キャッチライト領域の画素値は、その周囲の画素値よりも大きい（明るい）ため、注目画素がキャッチライト領域にある場合には、キャッチライト領域の周囲の画素値に置き換えられる。

これにより、原画像Ｙからキャッチライト、及びキャッチライトと同様な特徴量を有するものが除去される。尚、構造要素ｂ(u,v) のサイズは、この実施の形態に限らず、キャッチライト領域のサイズに応じて適宜のサイズ（例えば、キャッチライト領域よりも若干大きなサイズ）が設定される。また、構造要素ｂ(u,v) の０が配列される方向もこの実施の形態に限らない。

一方、図３（Ｂ）に示すようにダイレーション処理は、前記イロージョン処理後の画像の注目画素（ｘ，ｙ）を中心に切り出された５×５の領域Ｄの画像Ｙ(x+u,y+v) と構造要素ｂ(u,v) とを加算し、この加算結果の最大値を選択し、これを注目画素（ｘ，ｙ）の値とする。

前記イロージョン処理は、原画像の輪郭などを内側に縮小させる処理であるが、イロージョン処理後の画像をダイレーション処理することにより、前記縮小された原画像の輪郭などは外側に膨張させられ、原画像と同様の位置に輪郭等がくるようになる。

即ち、図２に示すモフォロジ処理２１０にて処理された処理画像Ｙ_-openingは、原画像Ｙからキャッチライト、及びキャッチライトと同様な特徴量を有するものが除去された画像となる。

図２において、減算器２２０の正入力には、原画像Ｙが加えられており、減算器２２０は、原画像Ｙからモフォロジ処理された処理画像Ｙ_-openingを減算し、その差分を示す画像（Ｙ−Ｙ_-opening）を閾値処理部２３０に出力する。この差分画像（Ｙ−Ｙ_-opening）は、キャッチライト及びキャッチライトと同様な特徴量を有するものや、ノイズ成分等を含む画像である。

閾値処理部２３０は、図５に示すような入出力特性を有するルックアップテーブル（ＬＵＴ）から構成されており、入力する差分画像（Ｙ−Ｙ_-opening）が予め設定された閾値ｔｈを超えると、ハイレベル信号"1" を出力する。

図６（Ａ）は目の領域の原画像Ｙを示している。この原画像Ｙの瞳内にはキャッチライトＬが写っている。

図６（Ｂ）は上記キャッチライトを含む差分画像（Ｙ−Ｙ_-opening）を示しており、差分画像（Ｙ−Ｙ_-opening）中のキャッチライトＬに対応する部分の信号レベルは高くなっている。

前記閾値処理部２３０は、前述したように入力する差分画像（Ｙ−Ｙ_-opening）から予め設定された閾値ｔｈを超える差分画像（Ｙ−Ｙ_-opening）を取り出し、その領域だけハイレベル信号"1" を出力する。従って、閾値処理部２３０からは、キャッチライト領域、及びキャッチライト領域と同様な特徴量を有する領域のみが、キャッチライト候補点（ハイレベル信号"1" ）として取り出され、ノイズ等は除去される。

前記閾値処理部２３０から出力されたキャッチライト候補点は、キャッチライト候補点絞込み部２４０に加えられる。

一方、瞳領域抽出部２５０は、原画像Ｙ（又はＲ，Ｇ，Ｂ信号、又は輝度信号Ｙと色差信号Ｃｒ，Ｃｂ）から顔領域を抽出し、更に顔領域から左右の瞳の領域を抽出する。尚、顔領域や瞳領域の抽出方法は、既存の技術を使用することができる。瞳領域抽出部２５０によって抽出された瞳領域を示す信号（画像内の位置(x,y) を示す信号）は、キャッチライト候補点絞込み部２４０の他の入力に加えられる。

キャッチライト候補点絞込み部２４０は、閾値処理部２３０から入力するキャッチライト候補点と、瞳領域抽出部２５０から入力する瞳領域を示す信号とを照合し、瞳領域内に存在するキャッチライト候補点のみを抽出する絞り込みを行う。このようにして絞り込んだキャッチライト候補点を真のキャッチライト点とし、このキャッチライト点の存在する領域をキャッチライト領域として指定する。

コントラスト強調処理部２６０は、入力する原画像Ｙのうちの指定領域のみをコントラスト強調するもので、キャッチライト候補点絞込み部２４０にて指定されたキャッチライト領域の画像のコントラストを強調する。即ち、このコントラスト強調処理部２６０は、図７の実線で示すような入出力特性を有するＬＵＴによって構成され、このＬＵＴによって入力する原画像Ｙ（キャッチライト領域の画像）の階調変換を行うことでキャッチライト領域のコントラスト強調を行う。

このようにしてキャッチライト処理部２００で処理された処理後の画像Ｙ’（輝度信号Ｙ’）と色差信号Ｃｒ，Ｃｂは、再度Ｒ，Ｇ，Ｂ信号に戻され、その後、前述したようにＹ、Ｍ、Ｃ信号に変換されてプリントエンジン１８０に出力される。

尚、この実施の形態では、キャッチライト領域のコントラストを強調するようにしたが、これに限らず、キャッチライト領域の輝度を上げる処理、シャープネスを上げる処理、又はキャッチライト領域を大きくする膨張処理を行うようにしてもよく、また、これらの処理を適宜組み合わせてキャッチライト領域を強調するようにしてもよい。

また、本発明に係るキャッチライト強調処理は、画像処理ソフトウエアで実現するようにしてもよいし、ハードウエアで実現するようにしてもよい。更に、本発明はプリンタでの画像処理に限らず、画像処理を行う全ての機器に適用することができる。

図１は本発明が適用されたプリンタの実施の形態を示すブロック図である。 図２は画像処理部のキャッチライト強調処理部の実施の形態を示すブロック図である。 図３（Ａ）及び（Ｂ）はそれぞれイロージョン処理及びダイレーション処理を説明するために用いた図である。 図４（Ａ）は５×５の構造要素に対応する領域を示す図であり、同図（Ｂ）は５×５の構造要素を示す図である。 図５は閾値処理部のＬＵＴを示す図である。 図６は閾値処理部の処理等を説明するために用いた図である。 図７はコントラスト強調処理部でのコントラスト強調処理を説明するために用いた図である。

符号の説明

１００…プリンタ、１１０…カメラ部、１２０…画像処理部、１３０…表示制御部、１４０…表示器、１５０…中央処理装置（ＣＰＵ）、１６０…主メモリ、１７０…ストレージ、１８０…プリントエンジン、１９０…操作部、２００…キャッチライト処理部、２１０…モフォロジ処理部、２２０…減算器、２３０…閾値処理部、２４０…キャッチライト候補点絞込み部、２５０…瞳領域抽出部、２６０…コントラスト強調処理部

Claims (6)

1. 顔画像を含む原画像に対して画像処理手段により画像処理を行う画像処理方法であって、前記画像処理手段による画像処理方法は、
   前記原画像の瞳内のキャッチライトを除去するモフォロジ処理を行う工程と、
   前記原画像と前記モフォロジ処理した処理画像との差分を求める工程と、
   前記原画像を画像処理することにより該原画像から顔領域を抽出し、該抽出した顔領域から左右の瞳領域を抽出する工程と、
   前記求めた差分と前記抽出した瞳領域とに基づいて前記瞳領域内に存在するキャッチライト領域を抽出する工程と、
   前記抽出したキャッチライト領域に基づいて前記原画像内のキャッチライト領域を指定する工程と、
   前記原画像に対して前記指定されたキャッチライト領域を強調する工程と、
   を含むことを特徴とする画像処理方法。
2. 前記モフォロジ処理を行う工程は、前記キャッチライト領域に対応する画素サイズの構造要素を使用して前記原画像をオープニング処理することを特徴とする請求項１に記載の画像処理方法。
3. 前記キャッチライト領域を抽出する工程は、
   前記求めた差分を所定の閾値で閾値処理してキャッチライト候補点を求める工程と、前記キャッチライト候補点から前記抽出した瞳領域内に存在するキャッチライト候補点の絞り込みを行う工程とを含み、前記絞り込んだキャッチライト候補点をキャッチライト点として前記キャッチライト領域を抽出することを特徴とする請求項１又は２に記載の画像処理方法。
4. 前記キャッチライト領域を強調する工程は、前記キャッチライト領域のコントラストを強調する処理、輝度を上げる処理、シャープネスを上げる処理、及び膨張処理のうちの少なくとも１つを含むことを特徴とする請求項１乃至３のいずれかに記載の画像処理方法。
5. 顔画像を含む原画像を入力する画像入力手段と、
   前記入力した原画像に対してモフォロジ処理を行い、前記原画像内の瞳内のキャッチライトを除去した処理画像を得るモフォロジ処理手段と、
   前記原画像と前記モフォロジ処理した処理画像との差分を求める演算手段と、
   前記原画像を画像処理することにより該原画像から顔領域を抽出し、該抽出した顔領域から左右の瞳領域を抽出する手段と、
   前記求めた差分と前記抽出した瞳領域とに基づいて前記キャッチライトが存在する前記瞳領域内のキャッチライト領域を抽出するキャッチライト領域抽出手段と、
   前記抽出したキャッチライト領域に基づいて前記原画像内のキャッチライト領域を指定するキャッチライト領域指定手段と、
   前記原画像に対して前記指定されたキャッチライト領域を強調するキャッチライト領域強調手段と、
   を備えたことを特徴とする画像処理装置。
6. 顔画像を含む原画像を入力する入力機能と、
   前記入力した原画像に対してモフォロジ処理を行い、前記原画像内の瞳内のキャッチライトを除去した処理画像を得るモフォロジ処理機能と、
   前記原画像と前記モフォロジ処理した処理画像との差分を求める演算機能と、
   前記原画像を画像処理することにより該原画像から顔領域を抽出し、該抽出した顔領域から左右の瞳領域を抽出する機能と、
   前記求めた差分と前記抽出した瞳領域とに基づいて前記キャッチライトが存在する前記瞳領域内のキャッチライト領域を抽出するキャッチライト領域抽出機能と、
   前記抽出したキャッチライト領域に基づいて前記原画像内のキャッチライト領域を指定するキャッチライト領域指定機能と、
   前記原画像に対して前記指定されたキャッチライト領域を強調するキャッチライト領域強調機能と、
   をコンピュータに実現させることを特徴とする画像処理プログラム。

Images