JP3905503B2

JP3905503B2 - 顔画像合成装置および顔画像合成プログラム

Info

Publication number: JP3905503B2
Application number: JP2003321979A
Authority: JP
Inventors: 茂向田; 広志安藤
Original assignee: ATR Advanced Telecommunications Research Institute International
Current assignee: ATR Advanced Telecommunications Research Institute International
Priority date: 2003-09-12
Filing date: 2003-09-12
Publication date: 2007-04-18
Anticipated expiration: 2023-09-12
Also published as: JP2005092349A

Description

本発明は、顔画像合成装置および顔画像合成プログラムに関する。

従来より、顔画像の合成を行う種々の装置および方法が提案されている（例えば、特許文献１参照）。例えば、目、鼻、口等の顔パーツ（顔部品）の形状を操作することにより年齢印象の異なる顔画像が合成される。

顔のしみおよびしわは、顔内の不特定の位置に不特定の形状として出現するため、一意に決定できる目、鼻、口等の顔パーツのように形状情報として処理することは困難である。そのため、しみおよびしわは、テクスチャ（肌合い）情報として処理されることが多い。この場合、顔画像にローパスフィルタ等のフィルタ処理を施し、顔画像の境界線をぼかしたり、鮮明にしたりという方法によりしみおよびしわの操作が行われる。
特許第３３０２１２２号公報

しかしながら、従来の顔画像の合成方法では、顔画像の境界線をぼかしたり、鮮明にすることにより、しみおよびしわ以外の部分の画質が変化する。それにより、顔画像の全体の印象が変化することになる。

本発明の目的は、顔画像の画質を維持しつつしみおよびしわを操作することにより顔画像の年齢印象を変化させることができる顔画像合成装置および顔画像合成プログラムを提供することである。

第１の発明に係る顔画像合成装置は、顔画像を合成する顔画像合成装置であって、人の顔画像を複数の画素からなる原画像として記憶する記憶手段と、記憶手段に記憶された原画像において周辺領域に対する輝度の差が所定値以上の連結された画素の領域を小塊として抽出する抽出手段と、抽出手段により抽出された小塊の形状および大きさに基づいてしみまたはしわを検出する検出手段と、検出手段により検出されたしみまたはしわに基づいて記憶手段に記憶された原画像を操作することにより年齢操作された顔画像を合成する操作手段とを備え、検出手段は、抽出手段により抽出された小塊が内接する上辺および下辺ならびに両側辺を有する方形の処理領域を設定し、処理領域を構成する画素数、処理領域の縦横の長さの比、および処理領域を構成する画素数に対する小塊を構成する画素数の比で表される密度に基づいてしみを検出するものである。

第２の発明に係る顔画像合成装置は、顔画像を合成する顔画像合成装置であって、人の顔画像を複数の画素からなる原画像として記憶する記憶手段と、記憶手段に記憶された原画像において周辺領域に対する輝度の差が所定値以上の連結された画素の領域を小塊として抽出する抽出手段と、抽出手段により抽出された小塊の形状および大きさに基づいてしみまたはしわを検出する検出手段と、検出手段により検出されたしみまたはしわに基づいて記憶手段に記憶された原画像を操作することにより年齢操作された顔画像を合成する操作手段とを備え、検出手段は、抽出手段により抽出された小塊が内接する上辺および下辺ならびに両側辺を有する方形の処理領域を設定し、処理領域を構成する画素数、処理領域の縦横の長さの比、処理領域を構成する画素数に対する小塊を構成する画素数の比で表される密度、処理領域の縦および横の長さのうち長い方の値と小塊を構成する画素数との比、および処理領域内で小塊を構成する画素のばらつきの度合いに基づいてしわを検出するものである。

第１および第２の発明に係る顔画像合成装置においては、記憶手段により顔画像が複数の画素からなる原画像として記憶され、抽出手段によりその原画像において周辺領域に対する輝度の差が所定値以上の連結された画素の領域が小塊として抽出される。ここで、小塊とは、原画像内で周辺領域の輝度に比べてより低いまたは高い輝度を有する画素が連結した領域をいう。抽出された小塊の形状および大きさに基づいて検出手段によりしみまたはしわが検出され、検出されたしみまたはしわに基づいて記憶手段に記憶された原画像が操作されることにより、年齢操作された顔画像が合成される。

ここで、しみは皮膚表面の色の異なる部分であり、しわは皮膚表面の凹凸により構成される陰影であるため、周辺領域に対する輝度の差が所定値以上の連結した領域を小塊として抽出することにより、しみまたはしわに相当する小塊を抽出することができる。また、しみは円に近い形状または円が多少歪んだ形状を有し、しわは線状または細長い形状を有するので、小塊の形状に基づいてしみまたはしわを検出することができる。さらに、しみおよびしわの大きさは、顔の大きさに比べて小さいので、小塊の形状に加えて小塊の大きさに基づいてしみまたはしわをより正確に検出することができる。

このようにして、検出されたしみまたはしわに基づいて原画像を操作することにより顔画像の年齢印象を操作することが可能となる。この場合、検出されたしみまたはしわに基づいて原画像を操作する際にしみまたはしわ以外の部分には全く影響が与えられないので、顔画像の画質を維持することができる。

この場合、しみは皮膚表面の色の異なる部分であるため、各画素の輝度と周辺領域の輝度との差に基づいてしみに相当する小塊を抽出することができる。また、しわは皮膚表面の凹凸により構成される陰影であるため、各画素の輝度と周辺領域の輝度との差に基づいてしわに相当する小塊を抽出することができる。

抽出手段は、抽出された小塊を識別するためのラベリングを行ってもよい。

この場合、周辺領域に対する輝度の差が所定値以上の連結した領域を小塊として抽出し、抽出された小塊を識別するためのラベリングを行うことにより、しみまたはしわに相当する小塊を抽出することができるとともに個々の小塊を識別することができる。

抽出手段は、記憶手段に記憶された原画像において周辺領域よりも所定値以上低い輝度を有する領域を暗領域画像として抽出し、検出手段は、抽出手段により抽出された暗領域画像に基づいてしみを検出し、操作手段は、検出手段により暗領域画像において検出されたしみに基づいて記憶手段に記憶された原画像のしみを操作してもよい。

しみは皮膚表面の色の異なる部分であるため、周辺領域の輝度に比べて低い輝度を有する領域を暗領域画像として抽出することによりしみを検出することができる。また、暗領域画像において検出されたしみに基づいて記憶手段に記憶された原画像のしみを操作することができる。

抽出手段は、記憶手段に記憶された原画像において周辺領域よりも所定値以上高い輝度を有する領域を明領域画像として抽出し、記憶手段に記憶された原画像において周辺領域よりも所定値以上低い輝度を有する領域を暗領域画像として抽出し、検出手段は、抽出手段により抽出された明領域画像および暗領域画像に基づいてしわを検出し、操作手段は、検出手段により明領域画像および暗領域画像において検出されたしわに基づいて記憶手段に記憶された原画像のしわを操作してもよい。

しわは皮膚表面の凹凸により構成される陰影であるため、周辺領域の輝度よりも所定値以上高い領域を明領域画像として抽出し、周辺領域の輝度に比べて低い輝度を有する領域を暗領域画像として抽出することによりしわを検出することができる。また、明領域画像および暗領域画像において検出されたしわに基づいて記憶手段に記憶された原画像のしわを操作することができる。

操作手段は、検出手段により検出されたしみまたはしわに基づいて記憶手段に記憶された原画像のしみまたはしわの輝度値を変化させることによりしみまたはしわを強調または軽減させてもよい。

この場合、しみまたはしわの輝度値を変化させることにより、しみまたはしわの色または明るさを変化させることができる。それにより、しみまたはしわを強調または軽減させることができる。

操作手段は、検出手段により検出されたしみまたはしわに基づいて記憶手段に記憶された原画像のしみまたはしわの周辺領域の輝度値を変化させることによりしみまたはしわを強調または軽減させてもよい。

この場合、しみまたはしわの周辺領域の輝度値を変化させることにより、しみまたはしわの大きさまたは形状を変化させることができる。それにより、しみまたはしわを強調または軽減させることができる。

記憶手段は、原画像として、赤色画像、緑色画像および青色画像を記憶し、抽出手段は、記憶手段に記憶された緑色画像から小塊を抽出してもよい。

この場合、赤色画像は肌の色に近いため、肌の色と異なる緑色画像から小塊を抽出することにより、しみおよびしわを正確に検出することができる。

第３の発明に係る顔画像合成プログラムは、コンピュータにより実行可能な顔画像合成プログラムであって、人の顔画像を複数の画素からなる原画像として記憶する処理と、記憶された原画像において周辺領域に対する輝度の差が所定値以上の連結された画素の領域を小塊として抽出する処理と、抽出された小塊の形状および大きさに基づいてしみまたはしわを検出する処理と、検出されたしみまたはしわに基づいて記憶された原画像を操作することにより年齢操作された顔画像を合成する処理とを、コンピュータに実行させ、検出する処理は、抽出された小塊が内接する上辺および下辺ならびに両側辺を有する方形の処理領域を設定し、処理領域を構成する画素数、処理領域の縦横の長さの比、および処理領域を構成する画素数に対する小塊を構成する画素数の比で表される密度に基づいてしみを検出することを含むものである。

第４の発明に係る顔画像合成プログラムは、コンピュータにより実行可能な顔画像合成プログラムであって、人の顔画像を複数の画素からなる原画像として記憶する処理と、記憶された原画像において周辺領域に対する輝度の差が所定値以上の連結された画素の領域を小塊として抽出する処理と、抽出された小塊の形状および大きさに基づいてしみまたはしわを検出する処理と、検出されたしみまたはしわに基づいて記憶された原画像を操作することにより年齢操作された顔画像を合成する処理とを、コンピュータに実行させ、検出する処理は、抽出された小塊が内接する上辺および下辺ならびに両側辺を有する方形の処理領域を設定し、処理領域を構成する画素数、処理領域の縦横の長さの比、処理領域を構成する画素数に対する小塊を構成する画素数の比で表される密度、処理領域の縦および横の長さのうち長い方の値と小塊を構成する画素数との比、および処理領域内で小塊を構成する画素のばらつきの度合いに基づいてしわを検出することを含むものである。

第３および第４の発明に係る顔画像合成プログラムによれば、顔画像が複数の画素からなる原画像として記憶され、その原画像において周辺領域に対する輝度の差が所定値以上の連結された画素の領域が小塊として抽出される。ここで、小塊とは、原画像内で周辺領域の輝度に比べてより低いまたは高い輝度を有する画素が連結した領域をいう。抽出された小塊の形状および大きさに基づいてしみまたはしわが検出され、検出されたしみまたはしわに基づいて記憶された原画像が操作されることにより、年齢操作された顔画像が合成される。

本発明によれば、検出されたしみまたはしわに基づいて原画像を操作することにより顔画像の年齢印象を操作することが可能となる。この場合、検出されたしみまたはしわに基づいて原画像を操作する際にしみまたはしわ以外の部分には全く影響が与えられないので、顔画像の画質を維持することができる。

まず、本発明に係る顔画像合成装置および顔画像合成方法の基本思想について説明する。

しみおよびしわは、人が生きて行く過程で外界から受ける様々な影響から皮膚が変化し、蓄積されたものである。しみは、皮膚内部の組織が変化し、色素が沈着したものである。一方、しわは、皮膚が折れ曲がることを繰り返し、固定化された皮膚上の溝である。

このことにより、しみは、皮膚の凹凸でできた陰影ではなく、画像上において皮膚表面の色の異なる部分として存在する。しわは、皮膚上の溝であるから、画像上において皮膚表面上の凹凸により構成される陰影である。

次に、図１のブロック図を用いて本実施の形態の顔画像合成方法を実行するための顔画像合成装置の構成を説明する。

画像処理装置５０は、ＣＰＵ（中央演算処理装置）５０１、ＲＯＭ（リードオンリメモリ）５０２、ＲＡＭ（ランダムアクセスメモリ）５０３、入力装置５０４、表示装置５０５、外部記憶装置５０６、記録媒体駆動装置５０７および印刷装置５０８を含む。

入力装置５０４は、キーボード、マウス、スキャナ、デジタルカメラ等からなり、各種指令、データおよび画像を入力するために用いられる。ＲＯＭ５０２にはシステムプログラムが記憶される。記録媒体駆動装置５０７は、ＣＤ−ＲＯＭドライブ、フロッピィディスクドライブ等からなり、ＣＤ−ＲＯＭ、フロッピィディスク等の記録媒体５０９に対してデータの読み書きを行う。記録媒体５０９には、顔画像合成プログラムが記録されている。外部記憶装置５０６は、ハードディスク装置等からなり、記録媒体駆動装置５０７を介して記録媒体５０９から読み込まれた顔画像合成プログラムおよび各種データを記憶する。ＣＰＵ５０１は、外部記憶装置５０６に記憶された顔画像合成プログラムをＲＡＭ５０３上で実行する。

表示装置５０５は、液晶表示パネル、ＣＲＴ（陰極線管）等からなり、各種画像等を表示する。印刷装置５０８は、各種画像等を印刷する。

なお、顔画像合成プログラムを記録する記録媒体５０９として、ＲＯＭ等の半導体メモリ、ハードディスク等の種々の記録媒体を用いることができる。また、顔画像合成プログラムを通信回線等の通信媒体を介して外部記憶装置５０６にダウンロードし、ＲＡＭ５０３上で実行してもよい。

本実施の形態では、外部記憶装置５０６が記憶手段に相当し、ＣＰＵ５０１が抽出手段、検出手段および操作手段に相当する。

以下、図２のフローチャートを参照しながら図１の顔画像合成装置による顔画像合成処理を説明する。

ここでは、ある対象者の顔画像を操作することにより、その対象者の年齢の異なる顔画像を合成する処理について説明する。この場合、デジタルカメラ等により得られた対象者の顔画像（以下、原画像と称する）が画像データとして外部記憶装置５０６に記憶されているものとする。

画像データは、赤色画像データ、緑色画像データおよび青色画像データからなる。後述するしみおよびしわの検出は、緑色画像データを用いて行われる。この場合、赤色画像データは肌の色に近いため、肌の色と異なる緑色画像データを用いることにより、しみおよびしわを正確に検出することができる。

また、原画像における顔パーツ（目、鼻、口等）の位置を示す位置情報も予め取得され、外部記憶装置５０６に記憶されているものとする。顔パーツの位置情報は、人の入力操作により取得されてもよく、原画像から自動的に取得されてもよい。

まず、ＣＰＵ５０１は、外部記憶装置５０６から原画像を取得する（ステップＳ１）。取得された原画像は、ＲＡＭ５０３の第１のバッファ領域に記憶される。

次に、原画像から明領域を検出し、２値化された明領域画像を作成する（ステップＳ２）。ここで、明領域とは、原画像において平均輝度よりも高い輝度を有する領域をいう。明領域画像の作成処理の詳細については後述する。明領域画像は、ＲＡＭ５０３の第２のバッファ領域に画像データとして記憶される。

さらに、原画像から暗領域を検出し、２値化された暗領域画像を作成する（ステップＳ３）。ここで、暗領域とは、原画像において平均輝度よりも低い輝度を有する領域をいう。暗領域画像の作成処理の詳細については後述する。暗領域画像は、ＲＡＭ５０３の第３のバッファ領域に画像データとして記憶される。

次いで、明領域画像および暗領域画像の各々において、ブロッブ（小塊）の抽出およびラベリングを行う（ステップＳ４）。ブロッブとは、明領域画像または暗領域画像において“１”の値を有する画素が連結する小さな塊の領域である。ここで、値が“１”の注目画素の周辺（８個の近傍）に値が“１”の画素がある場合に、値が“１”の周辺の画素と注目画素とを連結領域とみなす。複数のブロッブにそれぞれラベルが付される（ラベリング）。ブロッブの抽出およびラベリングの詳細については後述する。ラベリングされた明領域画像および暗領域画像は、ＲＡＭ５０３の第４および第５のバッファ領域にそれぞれ画像データとして記憶される。

次に、しみおよびしわを検出し、しみ成分およびしわ成分を生成する（ステップＳ５）。この場合、ブロッブの形状および大きさからしみおよびしわをそれ以外の領域（例えば顔パーツ）から区別することができる。例えば、しみは、顔の大きさに比べて小さく、かつ円に近いかまたは多少歪んだ形状を有する。しわは、線状または細長い形状を有するが、顔の大きさと比較して著しく長くなることはない。

しみとして検出されたブロッブに基づいてしみ成分が生成され、しわとして検出されたブロッブに基づいてしわ成分が生成される。しみおよびしわの検出ならびにしみ成分およびしわ成分の生成処理の詳細については後述する。しみ成分およびしわ成分は、ＲＡＭ５０３の第６および第７のバッファ領域にそれぞれ画像データとして記憶される。

次に、原画像においてしみおよびしわの操作を行う（ステップＳ６）。このステップＳ６では、しみ成分およびしわ成分に基づいて原画像においてしみおよびしわを強調または軽減する。それにより、若齢化処理または老齢化処理を行うことができる。しみおよびしわの操作の詳細については後述する。

このようにして、しみおよびしわの領域以外に全く影響を与えずに原画像の画質を維持しつつ、年齢が操作された印象の顔画像を合成することができる。

（１）明領域画像および暗領域画像の作成
次に、図３〜図７を参照しながら明領域画像および暗領域画像の作成を説明する。図３は注目画素および周辺画素の一例を示す図である。また、図４および図５は明領域画像の作成処理を示すフローチャートである。さらに、図６および図７は暗領域画像の作成処理を示すフローチャートである。

図３に示すように、原画像１００の水平方向をＸ方向とし、垂直方向をＹ方向とする。図３の例では、原画像１００のＸ方向の画素数は５１２であり、Ｙ方向の画素数は５１２である。注目画素３００の周囲の１０画素×１０画素の領域を周辺領域２００と呼ぶ。

明領域画像の作成処理および暗領域画像の作成処理では、注目画素３００を１画素ずつシフトさせながら、周辺領域２００内の輝度の平均値に基づいて注目画素３００の値を決定する。

明領域画像の作成処理では、まず、ＣＰＵ５０１は、注目画素３００および周辺領域２００を設定する（ステップＳ２１）。

次に、周辺領域２００内の画素の輝度の平均値を算出する（ステップＳ２２）。そして、注目画素３００の輝度値と平均値との差を算出する（ステップＳ２３）。

次いで、注目画素３００の輝度値と平均値との差が正の所定値以上か否かを判別する（ステップＳ２４）。

注目画素３００の輝度値と平均値との差が正の所定値以上の場合には、“１”を注目画素３００の画素値に設定する（ステップＳ２５）。注目画素３００の輝度値と平均値との差が正の所定値より低い場合には、“０”を注目画素３００の画素値に設定する（ステップＳ２６）。

その後、注目画素３００がＸ方向の最後の画素か否かを判別する（ステップＳ２７）。注目画素３００がＸ方向の最後の画素でない場合は、注目画素３００および周辺領域２００をＸ方向に１画素分シフトする（ステップＳ２８）。そして、ステップＳ２２に戻り、ステップＳ２２〜Ｓ２７の処理を繰り返す。

ステップＳ２７において注目画素３００がＸ方向の最後の画素の場合には、注目画素３００がＹ方向の最後の画素か否かを判別する（ステップＳ２９）。注目画素３００がＹ方向の最後の画素でない場合は、注目画素３００をＸ方向の最初の画素に戻し、注目画素３００および周辺領域２００をＹ方向に１画素分シフトする（ステップＳ３０）。そして、ステップＳ２２に戻り、ステップＳ２２〜Ｓ２９の処理を繰り返す。

ステップＳ２９において注目画素３００がＹ方向の最後の画素の場合には、処理を終了する。

このようにして、原画像１００において平均輝度よりも高い輝度を有する明領域を示す明領域画像が作成される。

暗領域画像の作成処理では、まず、ＣＰＵ５０１は、注目画素３００および周辺領域２００を設定する（ステップＳ３１）。

次に、周辺領域２００内の画素の輝度の平均値を算出する（ステップＳ３２）。そして、注目画素３００の輝度値と平均値との差を算出する（ステップＳ３３）。

次いで、注目画素３００の輝度値と平均値との差が負の所定値以下か否かを判別する（ステップＳ３４）。

注目画素３００の輝度値と平均値との差が負の所定値以下の場合には、“１”を注目画素３００の画素値に設定する（ステップＳ３５）。注目画素３００の輝度値と平均値との差が負の所定値よりも高い場合には、“０”を注目画素３００の画素値に設定する（ステップＳ３６）。

その後、注目画素３００がＸ方向の最後の画素か否かを判別する（ステップＳ３７）。注目画素３００がＸ方向の最後の画素でない場合は、注目画素３００および周辺領域２００をＸ方向に１画素分シフトする（ステップＳ３８）。そして、ステップＳ３２に戻り、ステップＳ３２〜Ｓ３７の処理を繰り返す。

ステップＳ３７において注目画素３００がＸ方向の最後の画素の場合には、注目画素３００がＹ方向の最後の画素か否かを判別する（ステップＳ３９）。注目画素３００がＹ方向の最後の画素でない場合は、注目画素３００をＸ方向の最初の画素に戻し、注目画素３００および周辺領域２００をＹ方向に１画素分シフトする（ステップＳ４０）。そして、ステップＳ３２に戻り、ステップＳ３２〜Ｓ３９の処理を繰り返す。

ステップＳ３９において注目画素３００がＹ方向の最後の画素の場合には、処理を終了する。

このようにして、原画像１００において平均輝度よりも低い輝度を有する暗領域を示す暗領域画像が作成される。

図８は原画像の一例を示す図であり、図９は明領域画像の一例を示す図である。上記の明領域画像の作成処理により、図８の原画像１００から図９の明領域画像６００が作成される。

（２）ブロッブの抽出およびラベリング
次に、ブロッブの抽出およびラベリングについて説明する。図１０および図１１はブロッブの抽出およびラベリングを説明するための図である。

ここで、ブロッブの抽出とは、明領域画像または暗領域画像において値が“１”の画素の連結領域をブロッブとして抽出することをいう。また、ラベリングとは、個々のブロッブを識別するために各ブロッブにラベルを付すことをいう。

図９に示した明領域画像６００において、注目画素をＸ方向に１画素分シフトしつつ、注目画素の左側、左斜め上、上側または右斜め上に値が“１”の画素が存在するか否かを調べる。最初に注目画素の値が“１”となったときに、その注目画素にラベル“Ａ”を付す。次に、注目画素の値が“１”であり、左側、左斜め上、上側または右斜め上に値が“１”の画素が存在する場合に、注目画素に値が“１”の画素と同じラベル“Ａ”を付す。注目画素の値が“１”であり、左側、左斜め上、上側または右斜め上に値が“１”の画素が存在しない場合には、注目画素に別のラベル“Ｂ”を付す。

注目画素をＸ方向の最後の画素までシフトした後、注目画素をＸ方向の最初の画素に戻しかつＹ方向に１画素分シフトし、上記の処理を行う。注目画素がＸ方向およびＹ方向の最後の画素になるまで上記の処理を繰り返す。

上記の処理により、図１０に示すように、明領域画像６００のブロッブ６０１にラベル“Ａ”および“Ｂ”が付され、ブロッブ６０２にラベル“Ｃ”が付されている。

次に、図１０の明領域画像６００において、注目画素をＸ方向およびＹ方向の最初の画素に戻し、注目画素をＸ方向に１画素分シフトしつつ、注目画素の左側、左斜め上、上側または右斜め上にラベルが付された画素が存在するか否かを調べる。注目画素にラベルが付されており、かつ左側、左斜め上、上側または右斜め上に異なるラベルが付された画素が存在する場合には、注目画素のラベルと同じラベルを持つ画素を全て左側、左斜め上、上側または右斜め上の画素と同じラベルに変更する。

その結果、図１１に示すように、ブロッブ６０１内のラベル“Ｂ”がラベル“Ａ”に変更される。

このようにして、値が“１”の画素の連結領域をブロッブとして抽出することができるとともに、ラベルにより個々のブロッブを識別することができる。

図１１の明領域画像６００では、ラベル“Ａ”によりブロッブ６０１が識別され、ラベル“Ｃ”によりブロッブ６０２が識別される。

暗領域画像についても、同様にしてブロッブの抽出およびラベリングが行われる。

（３）しみ成分およびしわ成分の生成
次に、ラベリングされたブロッブからしみおよびしわを検出する処理ならびにしみ成分およびしわ成分を生成する処理について説明する。

（ａ）しみの検出
一般的な顔の知識より、しみは顔に対して大きな領域を占めるものではなく、十分に小さい。しかし、著しく小さいブロッブは観察者が知覚できないであろうことから、しみとはしない。また、しみの形状は、円に近いか、または円から多少歪んだ形状である。

ここで、しみとして検出されたなかったブロッブはすべて除去する（画素値を０とする）。

（ｂ）しわの検出
一般的な顔の知識より、しわは顔の大きさと比較して著しく長いものではない。また、しわの形状は、直線状または曲線状である。一方、顔パーツの輪郭線も同様な形状を示している場合がある。しかし、人が顔を観察する場合にもこれらの局所的な画像のみからはしわと顔パーツの輪郭線とを識別することが難しいことがしばしばある。人は、このような場合に、顔という知識を利用していると考えられる。そこで、ブロッブに、顔パーツの一部が含まれていれば、そのブロッブは顔パーツの輪郭線とみなす。

ここで、しわとして検出されなかったブロッブはすべて除去する（画素値を０とする）。

図１２は原画像の基準長さを説明するための図である。図１３はしみおよびしわの検出処理を示すフローチャートである。図１４はブロッブの例を示す図である。

しみおよびしわの検出処理では、図１２に示すように、原画像の両眼の中心間の水平方向の距離Ｌ１と、両眼の間の中点と口との間の垂直方向の距離Ｌ２に係数を乗算した値とを比較し、それらのうち長い方の距離を基準長さとし、抽出されたブロッブの寸法を規格化する。

ここでは、図１４（ａ）〜（ｈ）のブロッブＢ１〜Ｂ８からしみおよびしわを検出するものとする。図１４において、各ブロッブＢ１〜Ｂ８が内接する長方形の領域を処理領域７００と呼ぶ。

各ブロッブＢ１〜Ｂ８の横の長さｗは、ブロッブＢ１〜Ｂ８のＸ方向の最大座標と最小座標との差であり、処理領域７００の横の長さに相当する。また、各ブロッブＢ１〜Ｂ８の縦の長さｈは、ブロッブＢ１〜Ｂ８のＹ方向の最大座標と最小座標との差であり、処理領域７００の縦の長さに相当する。

まず、ＣＰＵ５０１は、ブロッブの画素数が所定値Ｐ１以上であるか否かを判別する（ステップＳ５１）。ブロッブの画素数が所定値Ｐ１よりも少ない場合には、そのブロッブを排除する（ステップＳ５９）。それにより、小さすぎるブロッブが排除される。

ブロッブの画素数が所定値Ｐ１以上の場合には、ＣＰＵ５０１は、ブロッブの縦横比と密度との関係値ｆａが所定値Ｋ以上であるか否かを判別する（ステップＳ５２）。所定値Ｋは０よりも大きく１よりも小さい値に設定される。

ここで、関係値ｆａは次式により求められる。

ｆａ＝α［１−｜（４／π）｛ｔａｎ^-1（ｗ／ｈ）−（π／４）｝｜］＋（１−α）（βｓ／ｗｈ） …（１）
上式（１）において、ｗはブロッブの横の長さ、ｈはブロッブの縦の長さ、ｓはブロックの画素数、αおよびβはそれぞれ所定の係数である。

上式（１）の第１項の［１−｜（４／π）・｛ｔａｎ^-1（ｗ／ｈ）−（π／４）｝｜］において、ｔａｎ^-1（ｗ／ｈ）の値はＸ方向に対して処理領域７００の対角線がなす角度を表す。ブロッブの縦横比ｗ／ｈが１の場合には、対角線の角度が４５度となり、第１項の上記の値は１となる。ブロッブの縦横比ｗ／ｈが０または∞に近い場合には、対角線の角度が９０度または０度に近くなり、第１項の上記の値は約０となる。

例えば、図１４（ａ），（ｂ），（ｃ）のブロッブＢ１，Ｂ２，Ｂ３では、第１項の上記の値は１となり、図１４（ｄ）のブロッブＢ４では、第１項の上記の値は０となる。

また、上式（１）の第２項において、ｓ／ｗｈの値は、処理領域７００内のブロッブの密度を表す。

例えば、図１４（ａ），（ｄ）のブロッブＢ１，Ｂ４では、第２項の上記の値は１に近くなり、図１４（ｂ），（ｇ），（ｈ）のブロッブＢ２，Ｂ７，Ｂ８では、第２項の上記の値は０に近くなる。

係数αは、縦横比および密度の重みを調整するために用いられ、０＜α＜１となるように設定される。したがって、形状が正方形または円形に近くかつ密度が高い場合には、関係値ｆａは１に近くなる。

例えば、図１４（ａ）のブロッブＢ１では、関係値ｆａが１に近くなる。

ブロッブの縦横比と密度との関係値ｆａが所定値Ｋ以上の場合には、ＣＰＵ５０１は、ブロッブの画素数が所定値Ｐ２以下であるか否かを判別する（ステップＳ５７）。所定値Ｐ２は所定値Ｐ１よりも大きい値に設定される。

ブロッブの画素数が所定値Ｐ２よりも大きい場合には、ＣＰＵ５０１はそのブロッブを排除する。それにより、大きすぎるブロッブが排除される。

ステップＳ５７においてブロッブの画素数が所定値Ｐ２以下の場合には、ＣＰＵ５０１は、そのブロッブをしみと判定する（ステップＳ５８）。

それにより、画素数が所定値Ｐ１以上所定値Ｐ２以下であり、かつ縦横比と密度との関係値ｆａが所定値Ｋ以上のブロッブがしみと判定される。例えば、図１４（ａ）のブロッブＢ１は、画素数が所定値Ｐ１以上所定値Ｐ２以下の場合にしみと判定され、画素数が所定値Ｐ１よりも小さいかまたは所定値Ｐ２よりも大きい場合に排除される。

ステップＳ５２において縦横比と密度との関係値ｆａが所定値Ｋよりも小さい場合には、ＣＰＵ５０１は、ブロッブの大きさと密度との関係値ｆｂが所定値Ｌ以上であるか否かを判別する（ステップＳ５３）。所定値Ｌは０よりも大きく１よりも小さい値に設定される。

ここで、関係値ｆｂは次式により求められる。

ｆｂ＝ｍａｘ（ｗ，ｈ）／ｓ …（２）
上式（２）において、ｍａｘ（ｗ，ｈ）はブロッブの横の長さｗおよび縦の長さｈのうち長い方の値を示す。また、ｓはブロッブの画素数である。

細い線では、関係値ｆｂは１に近くなり、太い線では、関係値ｆｂは０に近くなる。

ブロッブの大きさと密度との関係値ｆｂが所定値Ｌよりも小さい場合には、ＣＰＵ５０１はそのブロッブを排除する（ステップＳ５６）。

例えば、図１４（ｃ）のブロッブＢ３では、関係値ｆｂが０に近くなる。したがって、ブロッブＢ３は排除される。

ステップＳ５３においてブロッブの大きさと密度との関係値ｆｂが所定値Ｌ以上の場合には、ＣＰＵ５０１はブロッブのばらつきの度合いｆｃが所定値Ｍ以上であるか否かを判別する（ステップＳ５４）。所定値Ｍは０よりも大きく１よりも小さい値に設定される。例えば、所定値Ｍは０．１２である。

この場合、ブロッブのばらつきの度合いｆｃは、ブロッブ内の画素のうちブロッブの重心からの距離が標準偏差σの２倍よりも長い画素の割合で定義される。ばらつきの度合いｆｃは次式により求められる。

ｆｃ＝ｕ／ｓ …（３）
上式（３）において、ｓはブロッブの画素数である。また、ｕは、ブロッブの重心Ｗ０を中心とする円Ｃ外の画素の数である。

ブロッブのばらつきの度合いｆｃが所定値Ｍよりも小さい場合には、ＣＰＵ５０１はそのブロッブを排除する。

例えば、図１４（ｅ），（ｆ），（ｈ）のブロッブＢ５，Ｂ６，Ｂ８では、ばらつきの度合いｆｃの値が小さくなる。したがって、ブロッブＢ５，Ｂ６，Ｂ８は排除される。

ステップＳ５４においてブロッブのばらつきの度合いｆｃが所定値Ｍ以上の場合には、ＣＰＵ５０１は、ブロッブをしわと判定する（ステップＳ５５）。

それにより、画素数が所定値Ｐ１以上であり、縦横比と密度との関係値ｆａが所定値Ｋよりも小さく、大きさと密度との関係値ｆｂが所定値Ｌ以上であり、かつばらつきの度合いｆｃが所定値Ｍ以上であるブロッブがしわと判定される。

例えば、図１４（ｂ），（ｄ），（ｇ）のブロッブＢ２，Ｂ４，Ｂ７では、ばらつきの度合いｆｃが大きくなる。したがって、ブロッブＢ２，Ｂ４，Ｂ７はしわと判定される。

上記のようにしてしみまたはしわとして検出されたブロッブについて、原画像に基づいてしみ成分またはしわ成分を生成する。

まず、しみとして検出されたブロッブと、しわとして検出されたブロッブとを振り分ける。

しみ成分の生成では、しみとして検出されたブロッブ外の画素の値を“０”とする。ブロッブ内の各画素について、その画素を中心に含む１０画素×１０画素の周辺領域内の画素の輝度の中央値を算出し、原画像の輝度値と中央値との差の絶対値を算出し、差の絶対値をしみ成分の画素の値とする。しみ成分の生成では、暗領域画像に対応するしみ成分が生成される。

同様に、しわ成分の生成では、しわとして検出されたブロッブ外の画素の値を“０”とする。ブロッブ内の各画素について、その画素を中心に含む１０画素×１０画素の周辺領域内の画素の輝度の中央値を算出し、原画像の輝度値と中央値との差の絶対値を算出し、差の絶対値をしわ成分の画素の値とする。しわ成分の生成では、暗領域画像に対応するしわ成分および明領域画像に対応するしわ成分が生成される。

図１５はしみ成分またはしわ成分の一例を示す図である。ブロッブ６０１Ａ，６０２Ａ外の画素の値は“０”とされる。ブロッブ６０１Ａ，６０２Ａ内の各画素の値は、原画像において、その画素を中心に含む１０画素×１０画素の周辺領域内の画素の輝度の中央値を算出し、原画像の輝度値と中央値との差の絶対値を算出することにより得られる。

（４）しみおよびしわの操作
次に、しみおよびしわの操作による顔画像の年齢操作の方法について説明する。

（４−１）しみの操作
しみは、肌が日光、大気等の環境の影響を受けて変化することにより増加すると考えられる。また、しみは、皮膚の形状が変化したものではなく、肌組織の特性が変化したものであるといえる。しみが増加すると、年齢印象において、年老いた印象を受ける。逆に、しみが減少すると若くなった印象を受ける。

（ａ）老齢化処理
くっきりと付いたしみであっても、うっすらと付いたしみであっても、同様に変化（暗化）して行くものとする。そこで、原画像のしみを増加させる場合は、しみ成分に基づいて原画像においてしみに相当する画素の輝度値を減少させる。ただし、しみは、色だけではなく、その大きさも時間とともに拡大して行くと考えられることから、しみに相当する画素の周囲の輝度値も同時に減少させる。

輝度値の変化量が同じであっても、顔画像から受ける印象は、うっすらと付いた淡いしみの輝度値を減少させた場合は、濃いしみの輝度値を減少させた場合と比較してより濃くなったような印象を作り出すことができる。

（ｂ）若齢化処理
しみには、濃いもの、淡いものなど様々ある。そこで、原画像のしみを減少させる場合には、しみ成分に基づいて原画像においてしみに相当する画素の輝度値のみ、その画素の周辺の比較的広い領域の平均輝度に近づくように変化させる。ただし、輝度値の変化量はその顔画像において一定であり、輝度値の変化量が小さい場合は、淡いしみは完全に消去されるが、濃いしみは若干薄くなった印象となり、経年変化によりしみの変化と類似した効果を与えることができる。

（４−２）しわの操作
しわは、肌が日光、大気等の環境の影響を受けて変化することにより増加すると考えられる。また、しわは、肌組織の特性が変化したものではなく、皮膚の形状が変化したものであるといえる。しわが増加すると、年齢印象において、年老いた印象を受ける。逆に、しわが減少すると、若くなった印象を受ける。

（ａ）老齢化処理
くっきりと深く刻まれたしわであっても、うっすらと浅いしわであっても、同様に変化して行くものとする。しわは、皮膚表面が折れ曲がることによりできることから、その深さに応じて光の反射特性が異なる。そこで、原画像のしわを増加させる場合は、暗領域画像に対応するしわ成分に基づいて原画像においてしわに相当する画素の輝度値を減少させ、明領域画像に対応するしわ成分に基づいて原画像においてしわに相当する画素の輝度値を増加させる。輝度値の変化量が同じであっても、顔画像から受ける印象において、うっすらと浅いしわの輝度値を減少させた場合には、深いしわの輝度値を減少させた場合と比較して、しわがより深くなったような印象を作り出すことができる。

（ｂ）若齢化処理
しわには、深いもの、浅いものなど様々ある。そこで、原画像のしわを減少させる場合は、暗領域画像に対応するしわ成分に基づいて、原画像においてしわに相当する画素の輝度値を、その画素の周辺の比較的広い領域の平均輝度に近づくように変化させる。また、明領域画像に対応するしわ成分に基づいて、原画像においてしわに相当する画素の輝度値を、その画素の周辺の比較的広い領域の平均輝度に近づくように変化させる。ただし、変化量は顔画像において一定であり、輝度値の変化量が小さい場合には、浅いしわは完全に消去されるが、深いしわは若干浅くなった印象となり、経年変化によるしわの変化と類似した効果を与えることができる。

例えば、図８の原画像の画素の輝度値から図１５のブロッブ６０１Ａ，６０２Ａの画素の値を減算することにより、原画像からしみまたはしわを消去することができる。

（４−３）形状と組合せた年齢操作
しみおよびしわによる老齢化および若齢化処理と、顔形状による老齢化および若齢化処理を組合せることにより、効果的な年齢操作を行うことが可能になる。ここで、顔形状による老齢化および若齢化処理とは、顔パーツ等の形状を操作することにより顔画像に老齢化および若齢化処理を行うことをいう。

本発明に係る顔画像合成方法により顔画像の合成および年齢操作を行った。図１６は対象者の原画像の一例を示す図、図１７は暗領域画像の一例を示す図、図１８は生成されたしみ成分の一例を示す図、図１９は生成されたしわ成分の一例を示す図、図２０は若齢化処理により合成された顔画像の一例を示す図、図２１は老齢化処理により合成された顔画像の一例を示す図である。

図１６に示す原画像から図示しない明領域画像および図１７に示す暗領域画像を作成し、明領域画像および暗領域画像からブロッブを抽出し、ラベリングを行った。さらに明領域画像および暗領域画像において抽出されたブロッブから図１８に示すしみ成分および図１９に示すしわ成分を生成した。

図１８のしみ成分および図１９のしわ成分に基づいて図１６の原画像に若齢化処理を施すことにより図２０に示す顔画像を合成した。また、図１８のしみ成分および図１９のしわ成分に基づいて図１６の原画像に老齢化処理を施すことにより図２１に示す顔画像を合成した。

本発明は、原画像から異なる年齢印象を有する顔画像を合成するために利用することができ、例えば犯罪捜査等の種々の目的に利用するこができる。

本実施の形態の顔画像合成方法を実施するための顔画像合成装置の構成を示すブロック図である。図１の顔画像合成装置による顔画像合成処理を示すフローチャートである。注目画素および周辺画素の一例を示す図である。明領域画像の作成処理を示すフローチャートである。明領域画像の作成処理を示すフローチャートである。暗領域画像の作成処理を示すフローチャートである。暗領域画像の作成処理を示すフローチャートである。原画像の一例を示す図である。明領域画像の一例を示す図である。ブロッブの抽出およびラベリングを説明するための図である。ブロッブの抽出およびラベリングを説明するための図である。原画像の基準長さを説明するための図である。しみおよびしわの検出処理を示すフローチャートである。ブロッブの例を示す図である。しみ成分またはしわ成分の一例を示す図である。対象者の原画像の一例を示す図である。暗領域画像の一例を示す図である。生成されたしみ成分の一例を示す図である。生成されたしわ成分の一例を示す図である。若齢化処理により合成された顔画像の一例を示す図である。老齢化処理により合成された顔画像の一例を示す図である。

符号の説明

５０画像処理装置
１００原画像
２００周辺領域
３００注目画素
５０１ＣＰＵ
５０２ＲＯＭ
５０３ＲＡＭ
５０４入力装置
５０５表示装置
５０６外部記憶装置
５０７記録媒体駆動装置
５０８印刷装置
５０９記録媒体
６０１，６０２，６０１Ａ，６０２Ａ，Ｂ１，Ｂ２，Ｂ３，Ｂ４，Ｂ５，Ｂ６，Ｂ７ブロッブ
７００処理領域
Ｌ１，Ｌ２距離

Claims

顔画像を合成する顔画像合成装置であって、
人の顔画像を複数の画素からなる原画像として記憶する記憶手段と、
前記記憶手段に記憶された原画像において周辺領域に対する輝度の差が所定値以上の連結された画素の領域を小塊として抽出する抽出手段と、
前記抽出手段により抽出された小塊の形状および大きさに基づいてしみまたはしわを検出する検出手段と、
前記検出手段により検出されたしみまたはしわに基づいて前記記憶手段に記憶された原画像を操作することにより年齢操作された顔画像を合成する操作手段とを備え、
前記検出手段は、前記抽出手段により抽出された小塊が内接する上辺および下辺ならびに両側辺を有する方形の処理領域を設定し、処理領域を構成する画素数、処理領域の縦横の長さの比、および処理領域を構成する画素数に対する小塊を構成する画素数の比で表される密度に基づいてしみを検出することを特徴とする顔画像合成装置。
顔画像を合成する顔画像合成装置であって、
人の顔画像を複数の画素からなる原画像として記憶する記憶手段と、
前記記憶手段に記憶された原画像において周辺領域に対する輝度の差が所定値以上の連結された画素の領域を小塊として抽出する抽出手段と、
前記抽出手段により抽出された小塊の形状および大きさに基づいてしみまたはしわを検出する検出手段と、
前記検出手段により検出されたしみまたはしわに基づいて前記記憶手段に記憶された原画像を操作することにより年齢操作された顔画像を合成する操作手段とを備え、
前記検出手段は、前記抽出手段により抽出された小塊が内接する上辺および下辺ならびに両側辺を有する方形の処理領域を設定し、処理領域を構成する画素数、処理領域の縦横の長さの比、処理領域を構成する画素数に対する小塊を構成する画素数の比で表される密度、処理領域の縦および横の長さのうち長い方の値と小塊を構成する画素数との比、および処理領域内で小塊を構成する画素のばらつきの度合いに基づいてしわを検出することを特徴とする顔画像合成装置。
前記抽出手段は、抽出された小塊を識別するためのラベリングを行うことを特徴とする請求項１または２記載の顔画像合成装置。
前記抽出手段は、前記記憶手段に記憶された原画像において周辺領域よりも所定値以上低い輝度を有する領域を暗領域画像として抽出し、
前記検出手段は、前記抽出手段により抽出された暗領域画像に基づいてしみを検出し、
前記操作手段は、前記検出手段により暗領域画像において検出されたしみに基づいて前記記憶手段に記憶された原画像のしみを操作することを特徴とする請求項１〜３のいずれかに記載の顔画像合成装置。
前記抽出手段は、前記記憶手段に記憶された原画像において周辺領域よりも所定値以上高い輝度を有する領域を明領域画像として抽出し、前記記憶手段に記憶された原画像において周辺領域よりも所定値以上低い輝度を有する領域を暗領域画像として抽出し、
前記検出手段は、前記抽出手段により抽出された明領域画像および暗領域画像に基づいてしわを検出し、
前記操作手段は、前記検出手段により明領域画像および暗領域画像において検出されたしわに基づいて前記記憶手段に記憶された原画像のしわを操作することを特徴とする請求項１〜４のいずれかに記載の顔画像合成装置。
前記操作手段は、前記検出手段により検出されたしみまたはしわに基づいて前記記憶手段に記憶された原画像のしみまたはしわの輝度値を変化させることによりしみまたはしわを強調または軽減させることを特徴とする請求項１〜５のいずれかに記載の顔画像合成装置。
前記操作手段は、前記検出手段により検出されたしみまたはしわに基づいて前記記憶手段に記憶された原画像のしみまたはしわの周辺領域の輝度値を変化させることによりしみまたはしわを強調または軽減させることを特徴とする請求項１〜６のいずれかに記載の顔画像合成装置。
前記記憶手段は、前記原画像として、赤色画像、緑色画像および青色画像を記憶し、
前記抽出手段は、前記記憶手段に記憶された緑色画像から小塊を抽出することを特徴とする請求項１〜７のいずれかに記載の顔画像合成装置。
コンピュータにより実行可能な顔画像合成プログラムであって、
人の顔画像を原画像として記憶する処理と、
前記記憶された原画像において周辺領域に対する輝度の差が所定値以上の連結された領域を小塊として抽出する処理と、
前記抽出された小塊の形状および大きさに基づいてしみまたはしわを検出する処理と、
前記検出されたしみまたはしわに基づいて前記記憶された原画像を操作することにより年齢操作された顔画像を合成する処理とを、前記コンピュータに実行させ、
前記検出する処理は、前記抽出された小塊が内接する上辺および下辺ならびに両側辺を有する方形の処理領域を設定し、処理領域を構成する画素数、処理領域の縦横の長さの比、および処理領域を構成する画素数に対する小塊を構成する画素数の比で表される密度に基づいてしみを検出することを含むことを特徴とする顔画像合成プログラム。
コンピュータにより実行可能な顔画像合成プログラムであって、
人の顔画像を原画像として記憶する処理と、
前記記憶された原画像において周辺領域に対する輝度の差が所定値以上の連結された領域を小塊として抽出する処理と、
前記抽出された小塊の形状および大きさに基づいてしみまたはしわを検出する処理と、
前記検出されたしみまたはしわに基づいて前記記憶された原画像を操作することにより年齢操作された顔画像を合成する処理とを、前記コンピュータに実行させ、
前記検出する処理は、前記抽出された小塊が内接する上辺および下辺ならびに両側辺を有する方形の処理領域を設定し、処理領域を構成する画素数、処理領域の縦横の長さの比、処理領域を構成する画素数に対する小塊を構成する画素数の比で表される密度、処理領域の縦および横の長さのうち長い方の値と小塊を構成する画素数との比、および処理領域内で小塊を構成する画素のばらつきの度合いに基づいてしわを検出することを含むことを特徴とする顔画像合成プログラム。