JP4372494B2 - 画像処理装置、画像処理方法、プログラム、記録媒体 - Google Patents

Description

本発明は、原画像の所定の領域に画像を合成して合成画像を作成する画像処理装置等に関する。より詳細には、原画像に基づいて合成領域を認識した上で画像合成を行う画像処理装置等に関する。

近年、化粧品のメイクパレットには様々な色が存在し、各種ポイントメイクを組み合わせるとバリエーションは多数に及ぶ。全てのパターンを試すことは困難であり、化粧品の購入者からは、手軽に多くのパターンを試しながら好みの色を探す手段が求められている。そして、この要求実現を図るべく、画像合成技術が用いられたりする。

従来、原画像の所定の領域に対して合成用のテクスチャ画像を合成し、合成画像を作成する画像合成装置が提案されている（例えば、［特許文献１］参照。）。
また、化粧を施した合成画像を作成することにより、メークアップシミュレーションを行う画像処理方法が提案されている（例えば、「特許文献２」、「特許文献３」参照。）。

［特許文献１］が示す技術は、商品の施工例等の原画像に対して商品見本画像等のテクスチャ画像を合成する場合に、特別な経験や勘がなくとも、違和感のない合成画像を容易に作成するものである。
［特許文献２］が示す技術は、顔画像から目、唇等の部位を抽出し、これらの部位に化粧を施した画像を合成するものである。この場合、ユーザは、部位毎に矩形枠を用いて部位の抽出を行う。
［特許文献３］が示す技術は、化粧を施した画像合成を動画像により行い、表情を変化させつつ化粧の効果を確認するものである。

特開２０００−２９３６６７号公報 特開２０００−１５１９８５号公報 特開２００３−４４８３７号公報

しかしながら、［特許文献１］の技術では、合成領域を示すマスクデータを予め用意する必要がある（［特許文献１］の段落番号［００１７］参照。）。原画像に基づいてマスクデータを作成する場合、合成領域を手作業により指定する必要があり、労力的負担が増加すると共に正確性に欠けるという問題点がある
例えば、この技術を化粧を施した画像合成処理に適用する場合、髪の毛先まで輪郭を指定することは困難であるので、画像合成処理を行う際、髪の毛と肌の境界付近が不自然になるという問題点がある。

また、［特許文献２］の技術では、画像合成処理を行う度に、ユーザが指定した矩形枠の領域において、合成領域を認識するので、処理負担が増大するという問題点がある。さらに、ユーザは、部位毎に、画像合成を行う度毎に、矩形枠の大きさ、形状等を調整しながらその部位を囲んで選択する必要があるので、労力的負担が増大するという問題点がある。

また、［特許文献３］の技術では、化粧シミュレーション装置は、目の位置を基準に目、眉、唇等の輪郭を認識する。そして、人の表情の変化に応じて、目、眉、唇等の輪郭の認識と共に、動画像作成のためにこれらを追跡する必要がある。従って、認識精度、安定性、処理速度の面で問題点がある。

本発明は、以上の問題点に鑑みてなされたものであり、原画像に基づいて、迅速、高精度、かつ、簡便に領域認識等を行うことを可能とする、画像処理装置等を提供することを目的とする。

前述した目的を達成するために第１の発明は、顔を示す原画像に対して画像処理を施す画像処理装置であって、処理範囲を指定する処理範囲指定手段と、属性範囲を指定する属性範囲指定手段と、前記処理範囲指定手段によって指定された処理範囲において、前記属性範囲指定手段によって指定された肌の属性範囲に属する画素を抽出して肌の領域を認識する肌の領域認識手段と、認識済の前記肌の領域の外側を処理範囲に設定し、設定した前記処理範囲において、前記属性範囲指定手段によって指定された髪の属性範囲に属する画素を抽出して髪の領域を認識する髪の領域認識手段と、認識済の前記髪の領域の内側にある抜け領域に対して、認識済の前記髪の領域と前記抜け領域の面積比を算出し、前記抜け領域の割合が所定の割合に満たない場合には、前記抜け領域を前記髪の領域として修正する抜け領域修正手段と、を具備することを特徴とする画像処理装置である。

第１の発明では、画像処理装置は、処理範囲及び属性範囲を指定し、顔を示す原画像の当該処理範囲において当該属性範囲に属する画素を抽出して肌の領域あるいは髪の領域を認識する。
尚、画像処理装置は、認識済の肌の領域あるいは髪の領域に追加領域を加え、新たに１の領域として認識することができる。

処理範囲は、処理対象の画素データの位置範囲を示す。画像処理装置は、この処理範囲内に位置する画素に対して領域に属する画素であるか否か等の判断、処理を行い、処理範囲外に位置する画素に対しては、判断対象、処理対象から除外する。
処理範囲の指定は、画像処理装置の操作者が表示装置に表示された原画像に対して、形状可変及び大きさ可変の矩形ガイドライン等を用いて、原画像の所定の範囲を囲むことにより行うことができる。また、画像処理装置は、認識済の領域の外側を処理範囲として自動的に設定することもできる。
このように、処理範囲を指定することにより、処理負担の軽減、処理時間の短縮を図ることができる。

属性範囲は、領域に属する画素の属性（色階調、輝度、色相、明度、彩度等）の範囲を示す。画像処理装置は、当該属性範囲に該当する原画像の画素の位置・範囲を領域と認識する。
属性範囲の指定は、色範囲、例えば、３原色（ＲＧＢ）色空間において基準色及び当該基準色からの距離を指定することにより行うことができる。基準色の指定は、画像処理装置の操作者が表示装置に表示された原画像のいずれかの画素をマウス等のポインティングデバイス等により指定することにより行うようにしてもよい。

画像処理装置は、顔を示す原画像の所定の範囲を囲むことにより処理範囲を指定して肌の領域を認識し、その後、認識済の肌の領域の外側を処理範囲に設定して髪の領域を認識する。
この場合、画像処理装置は、処理範囲を限定して肌の領域の認識処理を行い、その後、認識済の肌の領域の外側を処理範囲として髪の毛の領域を認識するので、髪の毛の領域と眉、瞳等の領域とを互いに誤認識することがなく、また、所定の範囲を囲むことによる処理範囲の指定は、１度だけであり、処理の迅速性を損なうこともない。

画像処理装置は、認識済の領域に所定の処理を施して記憶部に保持する（例えば、色彩を白（（Ｒ成分、Ｇ成分、Ｂ成分）＝（２５５、２５５、２５５））としてマスク画像を作成する。）。
また、画像処理装置は、合成用の画像（例えば、化粧を施した画像、テクスチャ画像）を記憶部に保持する。

画像処理装置は、肌の領域、髪の領域及び合成用の画像を指定されると、肌の領域及び髪の領域に係るデータ、合成用の画像に係るデータを記憶部から呼び出し、原画像の領域に合成用の画像を合成し、合成画像を作成・表示する。例えば、画像処理装置は、肌の領域にメイクを施した画像を合成して表示する。
この場合、モデル、化粧品購入者自身の顔の画像データをベースに、リアルタイムに、簡易かつ高精細、現実感のあるメイクアップを仮想的に実現することができる。

第２の発明は、顔を示す原画像に対して画像処理を施す画像処理装置が行う画像処理方法であって、処理範囲を指定する処理範囲指定工程と、属性範囲を指定する属性範囲指定工程と、前記処理範囲指定工程によって指定された処理範囲において、前記属性範囲指定工程によって指定された肌の属性範囲に属する画素を抽出して肌の領域を認識する肌の領域認識工程と、認識済の前記肌の領域の外側を処理範囲に設定し、設定した前記処理範囲において、前記属性範囲指定工程によって指定された髪の属性範囲に属する画素を抽出して髪の領域を認識する髪の領域認識工程と、認識済の前記髪の領域の内側にある抜け領域に対して、認識済の前記髪の領域と前記抜け領域の面積比を算出し、前記抜け領域の割合が所定の割合に満たない場合には、前記抜け領域を前記髪の領域として修正する抜け領域修正工程と、を具備することを特徴とする画像処理方法である。

第３の発明は、コンピュータを第１の発明の画像処理装置として機能させるプログラムである。
第４の発明は、コンピュータを第１の発明の画像処理装置として機能させるプログラムを記録したコンピュータ読取可能な記録媒体である。
上述のプログラムをＣＤ−ＲＯＭ等の記録媒体に保持させて流通させてもよいし、このプログラムを通信回線を介して送受することもできる。

本発明によれば、原画像に基づいて、迅速、高精度、かつ、簡便に領域認識等を行うことを可能とする、画像処理装置等を提供することができる。

以下、添付図面を参照しながら、本発明に係る画像処理装置等の好適な実施形態について詳細に説明する。なお、以下の説明及び添付図面において、略同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略することにする。

最初に、図１を参照しながら、本発明の実施の形態に係る画像処理装置１０１の構成について説明する。
図１は、本発明の実施の形態に係る画像処理装置１０１のハードウェア構成図である。
図１に示すように画像処理装置１０１は、制御部１０２、入力部１０３、表示部１０４、入出力部１０５、記憶部１０６、通信部１０７等がシステムバス１０８を介して互いに接続される。尚、図１のハードウェア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。

制御部１０２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を有する。

ＣＰＵは、記憶部、ＲＯＭ、記録媒体等に格納される実行プログラム、ＯＳ（オペレーションシステム）のプログラム等をＲＡＭ上のワークメモリ領域に呼び出して実行し、演算処理（四則演算や比較演算等）、ハードウェアやソフトウェアの動作制御等を行い、後述する各種機能（図７〜図９、図１４等参照。）を実現する。

ＲＯＭは、不揮発性メモリであり、プログラム、データ等を恒久的に保持し、例えば、ＯＳと協働してハードディスク等への入出力を司るＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）等を記憶する。
ＲＡＭは、揮発性メモリであり、プログラム、データ等を一時的に保持する。

入力部１０３は、データの入力を行い、例えば、マウス等のポインティングデバイス、キーボード、テンキー等の入力装置を有する。
操作者は、入力部１０３を介して、画像処理装置１０１に対して、操作指示、動作指示、データ入力、維持管理等を行うことができる。

表示部１０４は、ＣＲＴモニタ、液晶パネル等の表示装置（ディスプレイ装置）、表示装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。ビデオアダプタは、表示装置に出力する画像信号を生成する。
尚、表示装置は、画像処理装置１０１と一体として構成してもよいし、独立して構成し、画像処理装置１０１と接続するようにしてもよい。

入出力部１０５は、データの入出力を行い、例えば、フロッピディスクドライブ、ＰＤドライブ、ＣＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＤＶＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ、−ＲＡＭ等）、ＭＯドライブ等のメディア入出力装置等を有する。
尚、操作者は、入出力部１０５を介して、画像処理装置１０１に対して、ＣＰＵが実行するプログラム、プログラム実行に必要なデータ、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等を入力することができ、記憶媒体を装着してアプリケーションプログラム等をハードディスクにインストールしたりする。

記憶部１０６は、データを記憶する装置であり、ハードディスク、メモリ等を有する。記憶部１０６には、ＣＰＵが実行するプログラム、プログラム実行に必要なデータ、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等が格納される。

通信部１０７は、画像処理装置１０１と接続線１１０を介して接続される撮像装置１０９（デジタルカメラ等）との通信を媒介する通信インタフェースであり、通信アダプタ等の通信制御装置、通信ポート等を有する。
尚、画像処理装置１０１と端末装置とをインターネット、ＬＡＮ等のネットワークを介して接続して各種データの授受を行う場合、通信部１０７には、ネットワークアダプタ、ＬＡＮアダプタ等が設けられる。ネットワークアダプタ、ＬＡＮアダプタは、ＣＰＵによって制御されるＯＳの通信プログラムと協働して外部との通信を行う。
システムバス１０８は、各部、各装置間の制御信号、データ信号等の授受を媒介する経路である。

また、プリンタ装置等を有する出力部（図示しない）等を設け、画像処理装置１０１の維持管理等に用いるようにしてもよい。
尚、同様の構成を採るコンピュータ等を画像処理装置１０１として用いることができる。

撮像装置１０９は、被写体１１１の撮像を行い、その画像データを取得する装置であり、例えば、デジタルカメラ等である。撮像装置１０９により取得した画像データは、接続線１１０、通信部１０７を介して、あるいは、記録媒体１１２、入出力部１０５を介して、画像処理装置１０１に入力される。

次に、図１及び図２〜図６を参照しながら、画像処理装置１０１の記憶部１０６が保持する情報について説明する
図１に示すように、画像処理装置１０１の記憶部１０６には、原画像データ１２１、マスク画像データ１２２、テクスチャ画像データ１２３、合成画像データ１２４、実行プログラム１２５、ＯＳ１２６等が保持される。

原画像データ１２１は、原画像の表示データを画素毎に保持する。原画像は、画像合成の元となる画像であり、例えば、撮像装置１０９により被写体１１１を撮像した画像、記録媒体１１２により入力される画像である。
マスク画像データ１２２は、マスク画像の表示データを画素毎に保持する。マスク画像は、画像合成を行う領域を示す画像であり、当該領域においてテクスチャ画像が合成される。尚、後に詳述するが、マスク画像は、原画像に基づいて作成される。

テクスチャ画像データ１２３は、テクスチャ画像の表示データを画素毎に保持する。テクスチャ画像は、原画像に対して合成する画像データであり、例えば、色彩、模様等に関するデータである。テクスチャ画像については、必ずしも形状、位置等を特定する必要はない。
合成画像データ１２４は、合成画像の表示データを画素毎に保持する。合成画像は、原画像にテクスチャ画像を合成した画像であり、例えば、原画像の特定の領域の色彩、模様等をテクスチャ画像の色彩、模様等に置き換えた画像である。

図２は、画素データの一態様を示す図である。
図２に示す画素データ２０１は、位置２１１、Ｒ成分２１２、Ｇ成分２１３、Ｂ成分２１４の等の各フィールドを有する。尚、画素データは、種々の構成が可能である。
原画像データ１２１、マスク画像データ１２２、テクスチャ画像データ１２３、合成画像データ１２４は、画素毎に表示データ（画素データ）を保持する。

位置２１１は、画素位置を示し、例えば、ＸＹ平面における座標位置（０，０）である。
Ｒ成分２１２、Ｇ成分２１３、Ｂ成分２１４は、それぞれ、色空間における３原色のＲ成分（赤）、Ｇ成分（緑）、Ｂ成分（青）の値を示し、例えば、８ビットの場合「１２８」、「１０」、「５０」である。

尚、マスク画像データ１２２は、画像合成を行う領域内にある画素を抽出したものである。マスク画像データ１２２のＲ成分２１２、Ｇ成分２１３、Ｂ成分２１４の値は、画像処理装置１０１における合成処理の態様に基づいて保持されるが、例えば、画像合成領域を白く塗り潰したものをマスク画像データ１２２とする場合、Ｒ成分２１２、Ｇ成分２１３、Ｂ成分２１４の値は、それぞれ、「２５５」、「２５５」、「２５５」とされる。

図３は、原画像データ１２１に基づいて展開、表示される原画像３０１の一態様を示す図である。原画像３０１のデータ（原画像データ）は、画素３０２毎に表示データ（画素データ）を保持する。
図４は、マスク画像データ１２２に基づいて展開、表示されるマスク画像４０１の一態様を示す図である。マスク画像４０１のデータ（マスク画像データ）は、画素４０２毎に表示データ（画素データ）を保持する。
図５は、テクスチャ画像データ１２３に基づいて展開、表示されるテクスチャ画像５０１の一態様を示す図である。テクスチャ画像５０１のデータ（テクスチャ画像データ）は、画素５０２毎に表示データ（画素データ）を保持する。
図６は、合成画像データ１２４に基づいて展開、表示される合成画像６０１の一態様を示す図である。合成画像６０１のデータ（合成画像データ）は、画素６０２毎に表示データ（画素データ）を保持する。

次に、図７を参照しながら、画像処理装置１０１の全体的な動作について説明する。
図７は、画像処理装置１０１の全体的な動作を示すフローチャートである。

画像処理装置１０１（制御部１０２）は、入力された原画像データを記憶部１０６に保持する（ステップ７０１）。原画像データの入力は、撮像装置１０９により撮像した原画像データを接続線１１０を介して入力するようにしてもよいし、記録媒体１１２に記録した原画像データを入出力部１０５を介して入力するようにしてもよい。
画像処理装置１０１（制御部１０２）は、原画像データに基づいて領域を示すマスク画像データを作成し、記憶部１０６に保持する（ステップ７０２）。

画像処理装置１０１（制御部１０２）は、原画像に合成する領域（合成領域）が指定されると、当該領域を示すマスク画像データを記憶部１０６から抽出し（ステップ７０３）、合成用のテクスチャ画像が指定されると、指定されたテクスチャ画像データを記憶部１０６から抽出し（ステップ７０４）、マスク画像データが示す合成領域において、原画像データとテクスチャ画像データを合成して合成画像データを作成して記憶部１０６に保持すると共に、合成画像を表示する（ステップ７０５）。

図１７は、画像合成処理等（図７：ステップ７０３〜ステップ７０５）における、画像処理装置１０１が表示する操作画面１７００の一態様を示す図である。
操作者が、画面１７００を介して、合成領域として領域（肌）１７０１を指定し、合成するテクスチャ画像としてテクスチャ画像１７０２を指定すると、画像処理装置１０１は、領域（肌）１７０１にテクスチャ画像１７０２を合成し、合成画像１７０３を表示する。

次に、図８を参照しながら、マスク画像データ作成処理（図７：ステップ７０２）における、画像処理装置１０１の動作について説明する。
図８は、マスク画像データ作成処理における、画像処理装置１０１の動作を示すフローチャートである。

まず、画像処理装置１０１は、原画像データに基づいて、肌の領域を示す画像データ（マスク画像データ（肌））の作成処理を行う。
画像処理装置１０１（制御部１０２）は、操作者が矩形ガイドライン位置を指定すると（ステップ８０１）、処理範囲を矩形ガイドラインの内側に設定する（ステップ８０２）。

尚、処理範囲は、処理対象の画素データの位置範囲を示す。画像処理装置１０１は、この処理範囲内に位置する画素データに対して領域に属する画素であるか否か等の判断、処理を行い、処理範囲外に位置する画素データに対しては、判断対象、処理対象から除外する。

画像処理装置１０１（制御部１０２）は、上記処理範囲において、領域（肌）の認識を行い（ステップ８０３）、原画像データから当該領域（肌）に属する画素データを抽出し、所定の処理（例えば、色彩を白（（Ｒ成分、Ｇ成分、Ｂ成分）＝（２５５、２５５、２５５））とする。）を施してマスク画像データ（肌）を作成し、記憶部１０６に保持する（ステップ８０４）。
尚、領域認識処理（ステップ８０３）については、後述する。

続いて、画像処理装置１０１は、原画像データに基づいて、髪の領域を示す画像データ（マスク画像データ（髪））の作成処理を行う。
画像処理装置１０１は、処理範囲を認識済の領域（肌）の外側に設定する（ステップ８０５）。

画像処理装置１０１（制御部１０２）は、上記処理範囲において、領域（髪）の認識を行い（ステップ８０６）、原画像データから当該領域（髪）に属する画素データを抽出し、所定の処理（例えば、色彩を白（（Ｒ成分、Ｇ成分、Ｂ成分）＝（２５５、２５５、２５５））とする。）を施してマスク画像データ（髪）を作成し、記憶部１０６に保持する（ステップ８０７）。
尚、領域認識処理（ステップ８０６）については、後述する。

続いて、画像処理装置１０１は、原画像データに基づいて、その他領域（目の領域、唇の領域、眉の領域等）を示す画像データ（マスク画像データ（その他））の作成処理を行う。
画像処理装置１０１は、処理範囲を認識済の領域以外に設定する（ステップ８０８）。

画像処理装置１０１（制御部１０２）は、上記処理範囲において、領域（その他）の認識を行い（ステップ８０９）、原画像データから当該領域（その他）に属する画素データを抽出し、所定の処理（例えば、色彩を白（（Ｒ成分、Ｇ成分、Ｂ成分）＝（２５５、２５５、２５５））とする。）を施してマスク画像データ（その他）を作成し、記憶部１０６に保持する（ステップ８１０）。
尚、領域認識処理（ステップ８０９）については、後述する。

次に、図９を参照しながら、領域認識処理（図８：ステップ８０３、ステップ８０６、ステップ８０９）における、画像処理装置１０１の動作について説明する。
図９は、領域認識処理における、画像処理装置１０１の動作を示すフローチャートである。

画像処理装置１０１（制御部１０２）は、領域として抽出する画素の色範囲が指定されると（ステップ９０１）、上記処理範囲内において、原画像データから指定された色範囲にある画素データを抽出することにより、領域を取得する（ステップ９０２）。

領域を追加する場合（ステップ９０３のＹｅｓ）、画像処理装置１０１（制御部１０２）は、ステップ９０１〜ステップ９０２の処理を繰り返す。
領域を追加しない場合（ステップ９０３のＮｏ）、画像処理装置１０１（制御部１０２）は、抜け領域の修正を行い（ステップ９０４）、領域を決定する（ステップ９０５）。

図１０は、抜け領域修正処理（図９：ステップ９０４）についての説明図である。
上記領域取得処理において（図９：ステップ９０１〜ステップ９０３等）、原画像データの撮影時の照明等の影響により、領域として認識されるべき部分が領域として認識されず、抜け領域を生ずる場合がある。

図１０に示すように、抜け領域修正処理前の取得領域（髪）１００１は、その内側に抜け領域１００２を生じている。この場合、画像処理装置１０１は、当該抜け領域１００２を領域（髪）として修正し、領域（髪）１００３とする。
例えば、画像処理装置１０１は、領域（髪）１００１と抜け領域１００２の面積比を算出し、抜け領域１００２の割合が所定の割合に満たない場合、当該抜け領域１００２を領域（髪）として修正する。

次に、図１１〜図１３を参照しながら、画像処理装置１０１の操作及び処理の流れについて説明する。

図１１は、原画像データ入力処理（図７：ステップ７０１）において、画像処理装置１０１が表示する画面１１００の一態様を示す図である。
操作者（被写体１１１等）は、画面１１００を介して、撮像装置１０９により被写体１１１を撮影し、原画像データを画像処理装置１０１に入力する。

操作者は、被写体１１１の顔部分が画像表示枠１１０１に収まっているかを確認した後、ボタン１１０２（「撮影」）を押下する。撮像装置１０９は、被写体１１１の顔部分を撮影し、画像処理装置１０１は、撮像装置１０９から送られた画像データを原画像データとして記憶部１０６に保持する。

図１２は、マスク画像データ（肌）作成処理（図７：ステップ７０２、図８ステップ８０１〜ステップ８０４、図９：ステップ９０１〜ステップ９０５）において、画像処理装置１０１が表示する画面１２００の一態様を示す図である。

操作者は、画面１２００上で、肌の領域が収まるように矩形ガイドライン１２０１の位置、大きさ、形状等を調整し（ステップ８０１）、原画像データから領域（肌）として抽出する画素データの色範囲を指定し（ステップ９０１）、ボタン１２０４（「領域（肌）取得」）を押下する。
画像処理装置１０１は、領域（肌）１２０５を取得する（ステップ９０２）。

色範囲の指定は、基準色指定ポインタ１２０２及び範囲長指定バー１２０３により行うことができる。基準色指定ポインタ１２０２は、色範囲の基準となる色彩を指定するものであり、ポイント、クリック等された画素の色彩が基準色となる。範囲長指定バー１２０３は、色範囲の大きさ等を指定するものであり、例えば、色空間における基準色からの隔たりの限界を示す。

図１６は、色範囲１６０１の一態様を示す図である。
色範囲１６０１は、ＲＧＢ色空間において、中心を基準色１６０２（Ｒ_０、Ｇ_０、Ｂ_０）、半径を範囲長１６０３（Ｌ）とする球により定められる。
基準色指定ポインタ１２０２によりポイント、クリック等された画素の色彩を基準色（Ｒ_０、Ｇ_０、Ｂ_０）、範囲長指定バー１２０３により指定された値を範囲長（Ｌ）とすると、色範囲は、［式１］を満たすＲＧＢ空間内の色彩値をとる画素の集合となる。
〔（Ｒ−Ｒ_０）^２＋（Ｇ−Ｇ_０）^２＋（Ｂ−Ｂ_０）^２〕^{（１／２）}≦Ｌ…［式１］

例えば、Ｒ、Ｇ、Ｂそれぞれ８ビット値（０〜２５５）で示される色空間において、基準色（（Ｒ_０、Ｇ_０、Ｂ_０）＝（２１４、１６５、１４４））、範囲長（Ｌ＝３０）の場合、Ｒ：１８４〜２４４、Ｇ：１３５〜１９５、Ｂ：１１４〜１７４であって、かつ、上記［式１］を満たすＲ、Ｇ、Ｂの値をもつ画素が領域内の画素として抽出される。

図１３は、領域追加処理（図９：ステップ９０３）において、画像処理装置１０１が表示する画面１３００の一態様を示す図である。

操作者は、肌の領域を追加する場合（ステップ９０３のＹｅｓ）、基準色指定ポインタ１３０２、範囲長指定バー１３０３により、追加領域（肌）として抽出する画素データの色範囲を指定し（ステップ９０１）、ボタン１３０４（「領域（肌）追加」）を押下する。
画像処理装置１０１は、追加領域（肌）１３０５を取得する（ステップ９０２）。
尚、操作者は、画面１３００上で、矩形ガイドライン１３０１により、領域追加処理に係る処理範囲を改めて指定するようにしてもよい。

操作者は、肌の領域を決定する場合（ステップ９０３のＮｏ）、ボタン１３０６（「領域（肌）決定」）を押下する。画像処理装置１０１は、領域認識、領域追加等の処理を経て、最終的に、領域（肌）を決定する。

尚、領域（髪）の取得についての操作は、上記領域（肌）の取得についての操作と同様であるが、画像処理装置１０１が処理範囲を領域（肌）の外側に設定するので（図８：ステップ８０５）、操作者は、矩形ガイドラインについての操作（処理範囲の指定）を行う必要はない。
また、領域（その他）の取得についての操作は、上記領域（肌）の取得についての操作と同様であるが、画像処理装置１０１が処理範囲を認識済の領域以外の範囲に設定するので（図８：ステップ８０８）、操作者は、矩形ガイドラインについての操作（処理範囲の指定）を行う必要はない。

以上の過程を経て、画像処理装置１０１は、矩形ガイドラインの内側を処理範囲として領域（肌）を認識し、次に、当該領域（肌）の外側を処理範囲として領域（髪）を認識し、その後、領域（その他）を認識する。画像処理装置１０１は、認識した領域の画素データに所定の処理を施してマスク画像データを作成し、記憶部に保持する。

髪の毛と眉、瞳等とは色彩等が近似していることもあり、領域認識が困難となる場合があるが、画像処理装置１０１は、処理範囲を限定して肌の領域の認識処理を行い、その後、認識済の肌の領域の外側を処理範囲として髪の毛の領域を認識するので、髪の毛の領域と眉、瞳等の領域とを互いに誤認識することがない。また、矩形ガイドラインによる処理範囲の指定は、１度だけであり、処理の迅速性を損なうこともない。

次に、図１４及び図１５を参照しながら、図９に示す手順と異なる領域認識処理における、画像処理装置１０１の動作について説明する。
図１４は、図９に示す手順と異なる領域認識処理における、画像処理装置１０１の動作を示すフローチャートである。
図１５は、図９に示す手順と異なる領域認識処理の流れを示す図である。

図９に示す領域認識処理では、画像処理装置１０１は、処理範囲内の全ての画素データについて、所定の色範囲に属するか否かを判断するものとして説明したが、図１４に示す領域認識処理では、画像処理装置１０１は、少なくとも１の境界画素（領域の境界上の画素）を検出した後は、当該境界画素近傍を処理範囲と設定して、新たな境界画素の検出を行う。

画像処理装置１０１（制御部１０２）は、色範囲が指定されると（ステップ１４０１）、少なくとも１の境界画素（領域の境界上の画素）を検出する（ステップ１４０２）。
画像処理装置１０１（制御部１０２）は、境界画素の近傍を新たな処理範囲に設定し（ステップ１４０３）、当該処理範囲内の画素データについて、新たな境界画素を検出する（ステップ１４０４）。

画像処理装置１０１（制御部１０２）は、検出済の境界画素が閉じた領域を形成しない場合（ステップ１４０５のＮｏ）、ステップ１４０３〜ステップ１４０４の処理を繰り返し、検出済の境界画素が閉じた領域を形成する場合（ステップ１４０５のＹｅｓ）、当該閉じた領域を認識領域として決定する（ステップ１４０６）。

図１５に示すように、領域（髪）の認識処理を行う場合、画像処理装置１０１は、原画像１５０１の点Ａから点Ｂへ向かって、境界画素を探索し、１の境界画素１５０２を検出し、当該境界画素１５０２の近傍（例えば、当該境界画素から所定の距離以下の範囲。）を処理範囲１５０３とし、当該処理範囲１５０３内において、新たな境界画素１５０４を検出し、境界画素が閉じた領域を形成したら、これを領域（髪）１５０５と決定する。

このように、図１４に示す領域認識処理では、処理範囲が境界画素近傍に限定されるので、画像処理装置１０１の処理負担が軽減される。また、境界画素が閉じた領域を形成したらこれを認識領域として決定するので、抜け領域が生じるおそれがない。

以上説明したように、本発明の実施の形態によれば、画像処理装置は、処理範囲を限定して肌の領域の認識処理を行い、その後、認識済の肌の領域の外側を処理範囲として髪の毛の領域を認識するので、髪の毛の領域と眉、瞳等の領域とを互いに誤認識することがない。また、操作者の操作による処理範囲の指定は、１回でよく、処理の迅速性を損なうこともない。
また、処理範囲を限定することにより、画像処理装置における処理負担の軽減、処理時間の短縮を図ることができる。
尚、上述の実施の形態では、操作者による処理範囲の指定は、矩形ガイドラインを用いるものとして説明したが、矩形のガイドラインのみならず、種々の手順によることができる。例えば、形状、大きさが共に可変の楕円状のガイドライン、自由曲線によるガイドライン等を用いることができる。

また、画像処理装置は、原画像に基づいて、画素単位で合成領域を認識するので、画像合成を行った際、領域の境界付近についても自然な画像表示を行うことができる。例えば、髪の毛先についても領域認識することにより、髪の毛と肌の境界付近をより自然な態様で表示することができる。
従って、装置（パーソナルコンピュータ等）上に取り込んだモデル、化粧品購入者自身の顔をベースに、リアルタイムに、簡易かつ高精細、現実感のあるメイクアップを仮想的に実現することができる。

また、画像処理装置は、画像合成処理を行う前に、原画像データに基づいて必要な合成領域を全て認識し、マスク画像データとして記憶部に保持するので、画像合成処理を行う度に、合成領域の認識処理を行う必要がなく、画像合成処理を迅速に行うことができる。
さらに、操作者は、合成領域を指定する際、認識済の領域を選択するだけでよく、操作負担が軽減される。例えば、画像合成を行いたい部位毎に、画像合成を行う度毎に、矩形枠の大きさ、形状等を調整しながらその部位を囲んで選択したりする必要はない。

尚、合成領域、マスク画像等の指定は、マウス等により原画像の所望の領域内の１点を指定することにより行うことができる。例えば、領域（肌）を指定する場合、操作者は、原画像の顔の頬部をマウスでクリックし、画像処理装置は、記憶部からマスク画像データ（肌）を呼び出す。この場合、画像処理装置は、記憶部において、クリック位置にある画素位置を領域に含むマスク画像データを検索することにより、マスク画像データ（肌）を呼び出すことができる。
さらに、画像処理装置は、画像合成処理を行う前に、原画像データに基づいて必要な領域を全て認識し、マスク画像データとして記憶部に保持するので、認識領域、マスク画像データの一覧（図示しない）を表示するようにしてもよい。この場合、操作者は、この一覧から合成領域、マスク画像等を選択することができる。

尚、領域認識処理に関しては、各領域の特性に応じて種々の手順を用いることができる。例えば、目の領域の上方３画素分をアイラインの領域としてもよいし、唇の領域の認識処理においては、顔の下部１／３を処理範囲とすることにより、画像処理装置の処理負担の軽減を図るようにしてもよい。

また、画像処理装置は、領域認識に関する処理、画像合成に関する処理等を行うものとして説明したが、専ら領域認識に関する処理等を行う装置（領域認識装置等）、専ら画像合成に関する処理等を行う装置（画像合成装置等）をそれぞれ独立させて構成するようにしてもよいし、上述の実施の形態に示すように、これらを一体の装置（画像処理装置等）として構成するようにしてもよい。

また、原画像の撮影、入力時、被写体の背景をブルーバックにすることにより、領域認識の正確性、迅速性の向上を図るようにしてもよい。
また、上述の実施の形態では、色範囲の指定は、３原色の各成分（Ｒ、Ｇ、Ｂ）について行ったが、これに限られない。例えば、輝度、色相、明度、彩度等を考慮するようにしてもよい。

次に、図１８を参照しながら、本発明の他の実施の形態について説明する。
図１８は、本発明の他の実施の形態に係る画像処理システム１８００の概略構成図である。

図１８に示すように画像処理システム１８００は、画像処理装置１８０１、端末装置１８０２等が、ネットワーク１８０３により接続されて構成される。通常、複数の端末装置１８０２がネットワーク１８０３に接続される。
画像処理装置１８０１〜端末装置１８０２間では、ネットワーク１８０３を介して相互に通信可能である。

画像処理装置１８０１は、上述の実施の形態における画像処理装置１０１と同様のものである。
端末装置１８０２は、ネットワーク１８０３を介して画像処理装置１８０１と各種データの授受を行う装置であり、例えば、パーソナルコンピュータ、情報携帯端末、携帯電話等である。

ネットワーク１８０３は、インターネット等のネットワークであり、有線、無線を問わない。また、安全かつ円滑な通信を担保するため、インターネット等の公衆が利用可能なネットワークではなく、専用線、ＯＢＮ（Ｏｐｅｎ Ｂｕｓｉｎｅｓｓ Ｎｅｔｗｏｒｋ）、インターネットＶＰＮ（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）等を利用するようにしてもよい。

先述の実施の形態では、原画像データは、撮像装置から接続線を介して、あるいは、記録媒体を介して、画像処理装置に入力され、合成画像は、当該画像処理装置に設けられる表示装置に表示されるものとして説明したが、図１８に示す他の実施の形態では、インターネット等のネットワーク１８０３を介して、端末装置１８０２から画像処理装置１８０１に対して原画像データの送信を行い、画像処理装置１８０１から端末装置１８０２に対して合成画像データの返信を行い、端末装置１８０２は、合成画像を表示する。

この場合、画像処理システム１８００の利用者（端末装置１８０２の操作者）は、画像処理装置１８０１が設置されている店舗等に出向くことなく、端末装置１８０２上で合成画像をみることができる。また、画像処理システム１８００は、同時かつ複数の利用者に対応可能であるので、短時間でより多くのシステム利用者に対して効率的に購買意欲の促進を図ることができ、さらに、設備導入に係る負担も軽減することができる。

以上、添付図面を参照しながら、本発明にかかる画像処理装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

本発明の実施の形態に係る画像処理装置１０１の概略構成図 画素データの一態様を示す図 原画像３０１の一態様を示す図 マスク画像４０１の一態様を示す図 テクスチャ画像５０１の一態様を示す図 合成画像６０１の一態様を示す図 画像処理装置１０１の全体的な動作を示すフローチャート マスク画像データ作成処理における、画像処理装置１０１の動作を示すフローチャート 領域認識処理における、画像処理装置１０１の動作を示すフローチャート 抜け領域修正処理についての説明図 原画像データ入力処理において、画像処理装置１０１が表示する画面１１００の一態様を示す図 マスク画像データ（肌）作成処理において、画像処理装置１０１が表示する画面１２００の一態様を示す図 領域追加処理において、画像処理装置１０１が表示する画面１３００の一態様を示す図 図９に示す手順と異なる領域認識処理における、画像処理装置１０１の動作を示すフローチャート 図９に示す手順と異なる領域認識処理の流れを示す図 色範囲１６０１の一態様を示す図 画像合成処理における、画像処理装置１０１が表示する操作画面１７００の一態様を示す図 本発明の他の実施の形態に係る画像処理システム１８００の概略構成図

符号の説明

１０１………画像処理装置
１０２………制御部
１０３………入力部
１０４………表示部
１０５………入出力部
１０６………記憶部
１０７………通信部
１０９………撮像装置
１１１………被写体
２０１………画素データ
３０１………原画像
４０１………マスク画像
５０１………テクスチャ画像
６０１………合成画像
１２０１………矩形ガイドライン
１２０２………基準色指定ポインタ
１２０３………範囲長指定バー
１６０１………色範囲
１６０２………基準色（Ｒ_０、Ｇ_０、Ｂ_０）
１６０３………範囲長（Ｌ）

Claims (6)

1. 顔を示す原画像に対して画像処理を施す画像処理装置であって、
   処理範囲を指定する処理範囲指定手段と、
   属性範囲を指定する属性範囲指定手段と、
   前記処理範囲指定手段によって指定された処理範囲において、前記属性範囲指定手段によって指定された肌の属性範囲に属する画素を抽出して肌の領域を認識する肌の領域認識手段と、
   認識済の前記肌の領域の外側を処理範囲に設定し、設定した前記処理範囲において、前記属性範囲指定手段によって指定された髪の属性範囲に属する画素を抽出して髪の領域を認識する髪の領域認識手段と、
   認識済の前記髪の領域の内側にある抜け領域に対して、認識済の前記髪の領域と前記抜け領域の面積比を算出し、前記抜け領域の割合が所定の割合に満たない場合には、前記抜け領域を前記髪の領域として修正する抜け領域修正手段と、
   を具備することを特徴とする画像処理装置。
2. 前記肌の領域、前記髪の領域及び合成用の画像を保持する保持手段と、
   前記原画像の前記肌の領域または前記髪の領域に前記合成用の画像を合成する画像合成手段と、
   を具備することを特徴とする請求項１記載の画像処理装置。
3. 顔を示す原画像に対して画像処理を施す画像処理装置が行う画像処理方法であって、
   処理範囲を指定する処理範囲指定工程と、
   属性範囲を指定する属性範囲指定工程と、
   前記処理範囲指定工程によって指定された処理範囲において、前記属性範囲指定工程によって指定された肌の属性範囲に属する画素を抽出して肌の領域を認識する肌の領域認識工程と、
   認識済の前記肌の領域の外側を処理範囲に設定し、設定した前記処理範囲において、前記属性範囲指定工程によって指定された髪の属性範囲に属する画素を抽出して髪の領域を認識する髪の領域認識工程と、
   認識済の前記髪の領域の内側にある抜け領域に対して、認識済の前記髪の領域と前記抜け領域の面積比を算出し、前記抜け領域の割合が所定の割合に満たない場合には、前記抜け領域を前記髪の領域として修正する抜け領域修正工程と、
   を具備することを特徴とする画像処理方法。
4. 前記肌の領域、前記髪の領域及び合成用の画像を保持する保持工程と、
   前記原画像の前記肌の領域または前記髪の領域に前記合成用の画像を合成する画像合成工程と、
   を具備することを特徴とする請求項３記載の画像処理方法。
5. コンピュータを請求項１あるいは請求項２のいずれかに記載の画像処理装置として機能させるプログラム。
6. コンピュータを請求項１あるいは請求項２のいずれかに記載の画像処理装置として機能させるプログラムを記録したコンピュータ読取可能な記録媒体。

Images