JP6694504B2 - 顔部位別の年齢と環境的要因に基づく年齢変換方法、これを遂行するための記録媒体、及び装置 - Google Patents

Description

本発明は、顔部位別の年齢と環境的要因に基づく年齢変換方法、これを遂行するための記録媒体、及び装置に係り、より詳しくは、顔部位別に測定された年齢と個人の環境情報を用いて写実的な年齢変換結果を得ることができる年齢変換方法、これを遂行するための記録媒体、及び装置に関する。

顔の年齢を自動で認識し特定の年齢に変換する研究が実生活での応用分野が増えるなか、それについての関心が高まりつつある。特に、顔映像の年齢を特定の年齢に変換する研究は多様な分野で多くなされている。

既存の多くの研究で入力映像の年齢から所望の年齢に変換しようとするとき、顔全体の年齢を実際の年齢と同一に設定し年齢を変換していた。しかし、顔の部位別の老化過程が環境的な要因と結びついて差異があることがある。例えば、野外で多くの活動をする職業を持つ人の場合、顔全体の形態（ｓｈａｐｅ）は実際の本人の年齢に応じて変化するが、皮膚の場合は紫外線の影響を多く受けるため、老化がそれより早く進むことがある。

そのため、実際の年齢よりも皮膚の年齢が高く測定されることがある。また、機能性化粧品、皮膚美容等で日ごろ皮膚を管理していた人の場合、そうではない人に比べて皮膚の老化が遅れることがある。このように、顔部位別に測定される年齢と個人の環境情報を考慮せずに顔の年齢を変換したとき、正確な年齢変換結果を得にくい場合が生じる。

そこで、本発明はこのような点に鑑みてなされたものであって、その目的は、正確な年齢変換結果を導き出すために顔部位別の年齢と環境的要因に基づく年齢変換方法を提供することである。

本発明の他の目的は、前記顔部位別の年齢と環境的要因に基づく年齢変換方法を遂行するためのコンピュータプログラムが記録された記録媒体を提供することである。

本発明のまた他の目的は、前記顔部位別の年齢と環境的要因に基づく年齢変換方法を遂行するための装置を提供することである。

前記本発明の目的を実現するための一実施例に係る顔部位別の年齢と環境的要因に基づく年齢変換方法は、入力される顔映像に基づいて顔部位別に年齢を測定する段階；個人の環境的な要因を指定する段階；前記顔部位別の年齢と前記環境的な要因に応じた年齢変換モデルを適用して前記顔部位別に年齢を変換する段階；前記顔部位別に変換された映像を復元する段階；及び復元された映像を合成して年齢変換された顔を生成する段階を含む。

本発明の実施例において、前記入力される顔映像に基づいて顔部位別に年齢を測定する段階は、入力される顔映像を顔部位別に細分化する段階；前記部位別の特徴を抽出する段階；及び前記部位別の特徴から年齢を測定する段階を含んでいてよい。

本発明の実施例において、前記部位別の特徴から年齢を測定する段階では、顔の各部位（目、鼻、口、あご、額、シワ、皮膚等）の形態（ｓｈａｐｅ）とテクスチャー（ｔｅｘｔｕｒｅ）に対する年齢を測定していてよい。

本発明の実施例において、前記部位別の特徴を抽出する段階は、統計的分析方法、周波数分析基盤フィルター及びローカルバイナリパターン分析方法（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）の少なくとも一つを用いて部位別の特徴を抽出していてよい。

本発明の実施例において、前記顔部位別の年齢と前記環境的な要因に応じた年齢変換モデルを適用して前記顔部位別に年齢を変換する段階では、前記顔の各部位（目、鼻、口、あご、額、シワ、皮膚等）の形態（ｓｈａｐｅ）とテクスチャー（ｔｅｘｔｕｒｅ）に対する年齢を変換していてよい。

本発明の実施例において、前記復元された映像を合成して年齢変換された顔を生成する段階は、年齢変換された前記顔の各部位（目、鼻、口、あご、額、シワ、皮膚等）のテクスチャー（ｔｅｘｔｕｒｅ）に対して復元された映像を合成する段階；及び前記合成された映像を年齢変換された前記顔の形態（ｓｈａｐｅ）と結合してワーピング（ｗａｒｐｉｎｇ）する段階を含んでいてよい。

本発明の実施例において、前記個人の環境的な要因を指定する段階では、個人の健康、体形、職業、生活習慣、人種、地域の少なくとも一つを指定していてよい。

本発明の実施例において、顔部位別の年齢と環境的要因に基づく年齢変換方法は、環境的要因に応じて顔映像を分類したデータベースを構築する段階；及び前記データベースを用いて環境別の年齢関数（ａｇｉｎｇ ｆｕｎｃｔｉｏｎ）を学習する段階をさらに含んでいてよい。

本発明の実施例において、前記顔部位別の年齢と前記環境的な要因に応じた年齢変換モデルを適用して前記顔部位別に年齢を変換する段階では、前記環境別の年齢関数（ａｇｉｎｇ ｆｕｎｃｔｉｏｎ）を用いていてよい。

本発明の実施例において、顔部位別の年齢と環境的要因に基づく年齢変換方法は、前記顔部位別の年齢と環境的要因を基盤に生成された年齢変換結果と他の環境的要因を基盤に生成された年齢変換結果とを視覚的に比較し、または二つの結果の各顔部位別に測定された年齢で二つの結果を比較する段階をさらに含んでいてよい。

前記本発明の他の目的を実現するための一実施例に係るコンピュータ読取可能な記録媒体には、顔部位別の年齢と環境的要因に基づく年齢変換方法を遂行するためのコンピュータプログラムが記録されている。

前記本発明のまた他の目的を実現するための一実施例に係る顔部位別の年齢と環境的要因に基づく年齢変換装置は、入力される顔映像に基づいて顔部位別に年齢を測定する年齢測定部；個人の環境的な要因を指定する環境選択部；前記顔部位別の年齢と前記環境的な要因に応じた年齢変換モデルを適用して前記顔部位別に年齢を変換する年齢変換部；前記顔部位別に変換された映像を復元する映像復元部；及び復元された映像を合成して年齢変換された顔を生成するシミュレーション部を含む。

本発明の実施例において、前記年齢測定部は、入力される顔映像を顔部位別に細分化する分割部；前記部位別の特徴を抽出する特徴抽出部；及び前記部位別の特徴から年齢を推定する年齢推定部を含んでいてよい。

本発明の実施例において、前記年齢推定部は、顔の各部位（目、鼻、口、あご、額、シワ、皮膚等）の形態（ｓｈａｐｅ）に対する年齢を測定する顔形態測定部；及び顔の各部位（目、鼻、口、あご、額、シワ、皮膚等）のテクスチャー（ｔｅｘｔｕｒｅ）に対する年齢を測定するテクスチャー測定部を含んでいてよい。

本発明の実施例において、前記特徴抽出部は、統計的分析技法、周波数分析基盤フィルター及びローカルバイナリパターン分析方法（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）の少なくとも一つを用いて部位別の特徴を抽出していてよい。

本発明の実施例において、前記年齢推定部は、年齢認識器及び皮膚測定センサーの少なくとも一つを利用していてよい。

本発明の実施例において、前記年齢変換部では、前記顔の各部位（目、鼻、口、あご、額、シワ、皮膚等）の形態（ｓｈａｐｅ）及びテクスチャー（ｔｅｘｔｕｒｅ）に対する年齢を変換していてよい。

本発明の実施例において、前記シミュレーション部は、年齢変換された前記顔の各部位（目、鼻、口、あご、額、シワ、皮膚等）のテクスチャー（ｔｅｘｔｕｒｅ）に対して復元された映像を合成する合成部；及び前記合成された映像を年齢変換された前記顔の形態（ｓｈａｐｅ）と結合してワーピング（ｗａｒｐｉｎｇ）するワーピング部を含んでいてよい。

本発明の実施例において、前記環境選択部では、個人の健康、体形、職業、生活習慣、人種、地域の少なくとも一つを指定していてよい。

本発明の実施例において、顔部位別の年齢と環境的要因に基づく年齢変換装置は、環境的要因に応じて顔映像を分類したデータベースを構築するデータベース構築部；及び前記データベースを用いて環境別の年齢関数（ａｇｉｎｇ ｆｕｎｃｔｉｏｎ）を学習する学習部をさらに含んでいてよい。

本発明の実施例において、前記年齢変換部では、前記環境別の年齢関数（ａｇｉｎｇ ｆｕｎｃｔｉｏｎ）を用いていてよい。

本発明の実施例において、顔部位別の年齢と環境的要因に基づく年齢変換装置は、前記シミュレーション部の結果と他の環境的要因を基盤に生成された年齢変換結果とを視覚的に比較し、または二つの結果の各顔部位別に測定された年齢で二つの結果を比較する比較部をさらに含んでいてよい。

このような顔部位別の年齢と環境的要因に基づく年齢変換方法によれば、顔を多様な部位に分けて細部的に年齢を変換し、顔部位別に測定された年齢を基盤に年齢を変換する。また、顔部位に応じて異なって適用する環境変数を活用して年齢を変換する。

本発明は、顔画像を用いて顔部位別の年齢を測定し、これを基盤に年齢変換顔を生成する方法であって、実際の年齢と顔部位別に測定された年齢とで差異がある場合、既存の方法に比べて写実的な年齢変換結果を得ることができる。

また、本提案方法は、顔部位別の年齢変換過程に影響を与える環境的要因（健康、体形、職業、生活習慣等）を共に用いることで個人オーダーメード型年齢変換結果を得ることができる。

本発明は、顔部位別の年齢と環境的要因を基盤に生成した年齢変換結果と他の環境的要因を基盤に生成した年齢変換結果とを視覚的に比較し、または二つの結果の各顔部位別に測定された年齢等二つの結果を比較することで、顔の老化に影響を与える個人の環境的要因を確認しこれを改善するのに用いることができる。

本発明の一実施例に係る年齢変換装置のブロック図である。 図１中の年齢測定部の詳細ブロック図である。 図１中のシミュレーション部の詳細ブロック図である。 本発明の一実施例に係る年齢変換方法の流れ図である。 図４中の年齢変換方法の詳細な流れ図である。

後述する本発明に関する詳細な説明は、本発明が実施できる特定の実施例の例示であって、図示する添付図面を参照する。これらの実施例は当業者が本発明を実施できるようにするうえで十分に詳細に説明される。本発明の種々の実施例はそれぞれ異なるが、相互排他的なものである必要はないと理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は一実施例に関連して本発明の精神及び範囲を逸脱することなく他の実施例で具現されてよい。また、それぞれの開示された実施例内の個別の構成要素の位置または配置は本発明の精神及び範囲を逸脱することなく変更されてよいものと理解されるべきである。したがって、後述する詳細な説明は本発明の範囲を限定するためのものではなく、本発明の範囲は、当該請求項が主張するものと均等なあらゆる範囲とともに添付の請求項によってのみ限定される。図中の類似した図面符号はあらゆる側面から同一または類似した機能を指し示す。

以下、図面を参照して本発明の好適な実施例についてより詳細に説明することにする。

図１は、本発明の一実施例に係る年齢変換装置のブロック図である。図２は、図１中の年齢測定部の詳細ブロック図である。図３は、図１中のシミュレーション部の詳細ブロック図である。

本発明に係る年齢変換装置１０は、顔を多様な部位に分け、各顔部位別の年齢情報を基盤に年齢を変換し、また、各顔部位別の年齢変換過程に影響を与える環境変数を用いて年齢を変換する。

図１を参照すると、本発明に係る年齢変換装置１０は、オフライン過程でデータベースを構築し、環境別の年齢関数（ａｇｉｎｇ ｆｕｎｃｔｉｏｎ）を学習するオフライン部１００及びオンライン過程で入力される顔映像に基づいて年齢変換された映像を出力するオンライン部３００を含む。

本発明の前記年齢変換装置１０は、顔部位別の年齢と環境的要因に基づく年齢変換を遂行するためのソフトウェア（アプリケーション）がインストールされて実行されていてよく、また、前記オフライン部１００及び前記オンライン部３００の構成は、前記年齢変換装置１０で実行される年齢変換を遂行するためのソフトウェアによって制御されていてよい。

前記年齢変換装置１０は、別個の端末であるかまたは端末の一部のモジュールであってよい。また、前記オフライン部１００及び前記オンライン部３００の各構成は、統合モジュールで形成され、または一つ以上のモジュールからなるものであってよい。なお、これとは逆に、各構成は、別個のモジュールからなるものであってもよい。

前記年齢変換装置１０は、可搬性のものであっても固設されるものであってもよい。前記年齢変換装置１０は、サーバー（ｓｅｒｖｅｒ）またはエンジン（ｅｎｇｉｎｅ）形態のものであってよく、デバイス（ｄｅｖｉｃｅ）、機構（ａｐｐａｒａｔｕｓ），端末（ｔｅｒｍｉｎａｌ），ＵＥ（ｕｓｅｒ ｅｑｕｉｐｍｅｎｔ），ＭＳ（ｍｏｂｉｌｅ ｓｔａｔｉｏｎ），無線機器（ｗｉｒｅｌｅｓｓ ｄｅｖｉｃｅ），携帯機器（ｈａｎｄｈｅｌｄ ｄｅｖｉｃｅ）等の他の用語で呼ばれることがある。

前記年齢変換装置１０は、オペレーティングシステム（Ｏｐｅｒａｔｉｏｎ Ｓｙｓｔｅｍ；ＯＳ）、すなわち、システムを基盤に多様なソフトウェアを実行したり製作することができる。前記オペレーティングシステムは、ソフトウェアが装置のハードウェアを使用できるようにするためのシステムプログラムであって、アンドロイドＯＳ、ｉＯＳ、ウインドウモバイルＯＳ、バダＯＳ、シンビアンＯＳ、ブラックベリーＯＳ等のモバイルコンピュータオペレーティングシステム及びウインドウ系、リナックス系、ユニックス系、ＭＡＣ，ＡＩＸ，ＨＰ−ＵＸ等のコンピュータオペレーティングシステムをいずれも含んでいてよい。

以下、前記年齢変換装置１０の各構成について簡単に説明し、本発明に係る年齢変換方法の具体的な内容について図４以降を参照して詳しく説明する。

前記オフライン部１００は、データベース構築部１３０及び学習部１５０を含む。前記オフライン部１００は、前記オンライン部３００とは別個のモジュールまたは装置で形成されていてよく、これとは逆に、前記オンライン部３００とは一つのモジュールまたは装置で形成されていてもよい。

前記データベース構築部１３０は、顔映像を収集し、各顔映像の主人公の健康、体形、職業、生活習慣、性別、人種等の様々な環境的要因を調査し、前記顔映像を環境別に分類してデータベースを構築する。前記環境的要因の生活習慣には、皮膚管理、飲酒、喫煙、運動、食餌療法等が含まれていてよい。前記環境的要因は、顔映像の主人公のアンケート作成によって調査してよく、または体形、職業等の特殊のグループを指定して顔映像を収集することで自動で調査してもよい。

前記学習部１５０は、前記データベースを用いて顔部位別の年齢と環境別の年齢関数（ａｇｉｎｇ ｆｕｎｃｔｉｏｎ）を学習する。前記年齢関数（ａｇｉｎｇ ｆｕｎｃｔｉｏｎ）は、顔の部位別の特徴及び環境情報と年齢との関係を関数にて定義したものであり、これに基づき、顔部位別の年齢と環境的要因を基盤に年齢変換モデルを生成することができる。

前記オンライン部３００は、年齢測定部３１０、環境選択部３３０、年齢変換部３５０、映像復元部３７０及びシミュレーション部３９０を含む。

前記年齢測定部３１０は、入力される顔映像に基づいて顔部位別に年齢を測定する。人の顔映像は、目、鼻、口等の多様な構成要素の形態とテクスチャー情報から構成されており、各構成要素に応じて老化過程に差異がある。

また、人の顔は、経時的変化だけでなく、多くの環境的要因（健康、職業、生活習慣等）に影響を受けるため、実際の年齢と顔部位別に測定される年齢とでは差異が存在する。例えば、野外での活動が多い職業を持つ人の場合、顔の全体形態（ｓｈａｐｅ）は実際の本人の年齢に応じて変化するが、皮膚年齢の場合は紫外線の影響を多く受けることから、老化がより早く進むことがある。

したがって、既存のものでは顔のすべての部位に同じ年齢を基準として年齢変換を施していたが、本発明では、顔の部位別にそれぞれ測定された年齢を基準とした個人固有の特徴を基盤に年齢変換を施している。

図２を参照すると、前記年齢測定部３１０は、入力される顔映像を顔部位別に細分化する分割部３１１、前記部位別の特徴を抽出する特徴抽出部３１３及び前記部位別の特徴から年齢を推定する年齢推定部３１５を含む。

前記分割部３１１では、入力された顔映像を顔の各部位（目、鼻、口、あご、額、シワ、皮膚等）に細分化していてよい。

前記特徴抽出部３１３では、前記細分化された特徴から各特徴ベクトルを抽出していてよい。例えば、顔の目、鼻、口等の形態（ｓｈａｐｅ）とテクスチャー（ｔｅｘｔｕｒｅ）等の特徴に対しては統計的分析技法によって特徴を抽出し、シワ（ｗｒｉｎｋｌｅ）,皮膚（ｓｋｉｎ）等は周波数分析基盤フィルター及びローカルバイナリパターン分析方法（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）等を用いて特徴を抽出していてよい。

前記年齢推定部３１５は、顔の目、鼻、口等の形態（ｓｈａｐｅ）に対する年齢を測定する顔形態測定部及び顔の目、鼻、口等のテクスチャー（ｔｅｘｔｕｒｅ）、シワ（ｗｒｉｎｋｌｅ）及び皮膚（ｓｋｉｎ）の一部またはすべてのテクスチャー（ｔｅｘｔｕｒｅ）に対する年齢を測定するテクスチャー測定部を含んでいてよい。

一実施例として、前記年齢推定部３１５では、抽出された特徴と年齢情報とのＳＶＲ（Ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｒｅｇｒｅｓｓｉｏｎ）を通じて学習し、各部位別の年齢を測定していてよい。また、前記年齢推定部３１５では、実験者を対象に実施する主観的評価によって収集された情報を補完資料として活用していてよい。

他の実施例として、前記年齢推定部３１５は、年齢認識器、皮膚測定センサー等の別個のモジュールを利用していてもよい。

前記環境選択部３３０では、個人の環境的な要因を指定する。個人の環境的な要因としては、個人の健康、体形、職業、生活習慣、人種、地域の少なくとも一つを指定していてよい。前記環境的要因の生活習慣には、皮膚管理、飲酒、喫煙、運動、食餌療法等が含まれていてよい。

このような環境選択は、顔映像モデルに対しアンケート作成によって収集された資料に基づいて行っていてよい。

前記年齢変換部３５０では、前記顔部位別の年齢と前記環境的な要因に応じた年齢変換モデルを適用して前記顔部位別に年齢を変換する。このとき、前記オフライン部１００の学習部１５０で学習した前記年齢関数（ａｇｉｎｇ ｆｕｎｃｔｉｏｎ）を用いていてよい。

具体的に、年齢関数を用いて年齢変換モデルを学習し、顔部位別に測定された年齢情報を基盤に年齢関数を適用する。また、環境的要因にて分類されたデータベースを用いて、各環境別の年齢関数を学習し、入力映像の環境的要因に応じた年齢関数を用いて年齢変換する。

部位別の年齢変換では、前記顔の各部位（目、鼻、口、あご、額、シワ、皮膚等）の形態（ｓｈａｐｅ）及びテクスチャー（ｔｅｘｔｕｒｅ）に対する年齢を変換していてよい。

例えば、シワに対しては周波数分析基盤フィルターにより特徴を抽出し年齢関数にて年齢変換し、皮膚に対してはローカルバイナリパターン分析方法（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）により特徴を抽出し年齢関数にて年齢変換していてよい。

前記映像復元部３７０では、前記顔部位別に変換された映像を復元する。例えば、顔の目、鼻、口等の形態（ｓｈａｐｅ）とテクスチャー（ｔｅｘｔｕｒｅ）、シワ（ｗｒｉｎｋｌｅ）及び皮膚（ｓｋｉｎ）の各部位に対する変換映像を各復元技法により復元していてよい。

例えば、学習データ（ｔｒａｉｎｉｎｇ ｄａｔａ）のシワ、皮膚特徴ベクトルとシワ、皮膚映像パッチから構成されたローカル映像テーブル（ｌｏｃａｌ ｉｍａｇｅ ｔａｂｌｅ）を用いて映像に復元していてよい。また、シワ及び皮膚特徴の類似性と環境的要因を用いてローカル映像テーブルからシワ、皮膚映像パッチを選択する方法にて部位別の映像復元が可能である。

前記シミュレーション部３９０は、前記映像復元部３７０で各部位別に復元された映像を合成して年齢変換された顔を生成し、結果を出力する。

図３を参照すると、前記シミュレーション部３９０は、年齢変換された前記顔の各部位（目、鼻、口、あご、額、シワ（ｗｒｉｎｋｌｅ）及び皮膚（ｓｋｉｎ）等）の形態（ｓｈａｐｅ）とテクスチャー（ｔｅｘｔｕｒｅ）に対して復元された映像を合成する合成部３９１及び前記合成された映像を年齢変換された前記顔の形態（ｓｈａｐｅ）と結合してワーピング（ｗａｒｐｉｎｇ）するワーピング部３９３を含んでいてよい。

例えば、前記合成部３９１では、周波数分析基盤フィルターで作ったシワマスクを用いてシワの部分だけを抽出した後、年齢変換顔テクスチャーに合成し、二値化によって皮膚マスクを生成して、ほくろ、しみ等の特徴だけを年齢変換顔テクスチャーに合成していてよい。

前記ワーピング部３９３では、年齢変換されたテクスチャーを年齢変換された顔の形態に応じてワーピングして最終年齢変換顔を生成する。

他の実施例において、本発明に係る前記年齢変換装置１０は、前記シミュレーション部３９０で導き出された結果、すなわち、個人の顔部位別の年齢と環境的要因を基盤に生成された年齢変換結果と他の環境的要因を基盤に生成された年齢変換結果とを視覚的に比較し、または二つの結果の各顔部位別に測定された年齢で二つの結果を比較して提供する比較部をさらに含んでいてよい。

本発明は、顔部位別の年齢を測定し、これを基盤に年齢変換顔を生成する方法であって、実際の年齢と顔部位別に測定された年齢とで差異がある場合、既存の方法に比べて写実的な年齢変換結果を得ることができる。また、本提案方法では、顔部位別の年齢変換過程に影響を与える環境的要因（健康、体形、職業、生活習慣等）を共に用いることで個人オーダーメード型年齢変換結果を得ることができる。

また、本発明は、顔部位別の年齢と環境的要因を基盤に生成された年齢変換結果と他の環境的要因を基盤に生成された年齢変換結果とを視覚的に比較し、または二つの結果の各顔部位別に測定された年齢で二つの結果を比較して、顔の老化に影響を与える個人の環境的要因を確認しこれを改善するのに用いることができる。

図４は、本発明の一実施例に係る年齢変換方法の流れ図である。図５は、図４の年齢変換方法の詳細な流れ図である。

本実施例に係る年齢変換方法は、図１中の年齢変換装置１０と実質的に同じ構成で行われていてよい。したがって、図１中の年齢変換装置１０と同じ構成要素は同じ図面符号を付し、繰り返しの説明は省略する。また、本実施例に係る年齢変換方法は、顔部位別の年齢と環境的要因に基づく年齢変換を行うためのソフトウェア（アプリケーション）により実行されていてよい。

図４及び図５を参照すると、本実施例に係る年齢変換方法は、顔映像、環境的要因を入力され、これを基盤に年齢変換を行う（段階Ｓ００）。

先ず、入力される顔映像に基づいて顔部位別に年齢を測定する（段階Ｓ１０）。人の顔映像は、目、鼻、口等の様々な構成要素の形態とテクスチャー情報から構成されており、各構成要素に応じて老化過程に差異がある。このため、既存のものでは個人の生まれた年を基準として年齢変換を施していたが、本発明では顔全体の実際の年齢でない顔部位別に測定された年齢を基準とした個人固有の特徴を基盤に年齢変換を施している。

前記入力される顔映像に基づいて顔部位別に年齢を測定する段階（段階Ｓ１０）は、入力される顔映像を顔部位別に細分化する段階（段階Ｓ１１）、前記部位別の特徴を抽出する段階（段階Ｓ１２）、及び前記部位別の特徴から年齢を測定する段階（段階Ｓ１３）を含んでいてよい。

前記入力される顔映像を顔部位別に細分化する段階では、顔映像を目、鼻、口、あご、額、皮膚、シワ等の形態（ｓｈａｐｅ）とテクスチャー（ｔｅｘｔｕｒｅ）に分割していてよい（段階Ｓ１１）。

前記部位別の特徴を抽出する段階では、統計的分析技法、周波数分析基盤フィルター及びローカルバイナリパターン分析方法（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）の少なくとも一つを用いていてよい（段階Ｓ１２）。

一実施例において、顔の目、鼻、口等の形態（ｓｈａｐｅ）とテクスチャー（ｔｅｘｔｕｒｅ）に対しては統計的分析技法を用い、シワ（ｗｒｉｎｋｌｅ）に対しては周波数分析基盤フィルターを用い、皮膚（ｓｋｉｎ）に対してはローカルバイナリパターン分析方法（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）を用いていてよい。

次いで、前記抽出した特徴を用いて、前記顔の各部位（目、鼻、口、あご、額、シワ、皮膚等）の形態（ｓｈａｐｅ）及びテクスチャー（ｔｅｘｔｕｒｅ）に対する年齢を測定する（段階Ｓ１３）。

また、人の顔は経時的変化だけでなく、多くの環境的要因（健康、職業、生活習慣等）に影響を受けるため、顔部位別に測定される年齢と老化過程には差異が存在する。例えば、野外での活動が多い職業を持つ人の場合、顔の全体形態（ｓｈａｐｅ）は実際の本人の年齢に応じて変化するが、皮膚年齢の場合には紫外線の影響を多く受けることから、老化がより早く進むことがある。

したがって、個人の環境的な要因を指定する（段階Ｓ３０）。個人の環境的な要因としては、個人の健康、体形、職業、生活習慣、人種、地域の少なくとも一つを指定していてよい。前記環境的要因の生活習慣には、皮膚管理、飲酒、喫煙、運動、食餌療法等が含まれていてよい。このような環境選択は、アンケート作成によって収集された資料に基づいて行っていてよい。

次いで、前記顔部位別の年齢と前記環境的な要因に応じた年齢変換モデルを適用して前記顔部位別に年齢を変換する（段階Ｓ５０）。

同様に、年齢変換段階（段階Ｓ５０）でも、顔の各部位（目、鼻、口、あご、額、シワ、皮膚等）の形態（ｓｈａｐｅ）及びテクスチャー（ｔｅｘｔｕｒｅ）に対して行われる。

前記年齢変換段階（段階Ｓ５０）では、予め学習した前記年齢関数（ａｇｉｎｇ ｆｕｎｃｔｉｏｎ）を用いていてよい。このために、顔映像を収集し、各顔映像の主人公の健康、体形、職業、生活習慣、性別、人種等の様々な環境的要因を調査し、前記顔映像を環境別に分類してデータベースを構築する。前記環境的要因の生活習慣には、皮膚管理、飲酒、喫煙、運動、食餌療法等が含まれていてよい。前記環境的要因は、顔映像の主人公のアンケート作成によって調査されていてよく、または体形、職業等の特殊グループを指定して顔映像を収集することによって自動で調査されていてもよい。

前記データベースを用いて顔部位別の年齢と環境別の年齢関数（ａｇｉｎｇ ｆｕｎｃｔｉｏｎ）を学習する。前記年齢関数（ａｇｉｎｇ ｆｕｎｃｔｉｏｎ）は、顔の部位別の特徴及び環境情報と年齢との関係を関数にて定義したものであり、これに基づき、顔部位別の年齢と環境的要因を基盤に年齢変換モデルを生成していてよい。

具体的に、年齢関数を用いて年齢変換モデルを学習し、顔部位別に測定された年齢情報を基盤に年齢関数を適用する。また、環境的要因によって分類されたデータベースを用いて、各環境別の年齢関数を学習し、入力映像の環境的要因に応じた年齢関数を用いて年齢変換する。

顔部位別の年齢変換では、前記顔の各部位（目、鼻、口、あご、額、シワ、皮膚等）の形態（ｓｈａｐｅ）及びテクスチャー（ｔｅｘｔｕｒｅ）に対する年齢を変換していてよい。

例えば、シワに対しては周波数分析基盤フィルターにより特徴を抽出して年齢変換していてよく、また、皮膚に対してはローカルバイナリパターン分析方法（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）により特徴を抽出し年齢関数にて年齢変換していてよい。

顔の部位別の年齢変換が完了すると、前記顔部位別に変換された映像を復元する（段階Ｓ７０）。例えば、顔の目、鼻、口等の形態（ｓｈａｐｅ）及びテクスチャー（ｔｅｘｔｕｒｅ）、シワ（ｗｒｉｎｋｌｅ）及び皮膚（ｓｋｉｎ）の各部位に対する変換映像を各復元技法により復元していてよい。

最終的に、復元された映像を合成して年齢変換された顔を生成する（段階Ｓ９０）。具体的に、年齢変換された前記顔の各部位（目、鼻、口、あご、額、シワ、皮膚等）のテクスチャー（ｔｅｘｔｕｒｅ）に対して復元された映像を合成する段階及び前記合成された映像を年齢変換された前記顔の形態（ｓｈａｐｅ）と結合してワーピング（ｗａｒｐｉｎｇ）する段階を含む。

また、顔部位別の年齢と環境的要因を基盤に生成された年齢変換結果と他の環境的要因を基盤に生成された年齢変換結果とを視覚的に比較し、または二つの結果の顔部位別に測定された年齢で二つの結果を比較する段階がさらに含まれていてよい。

本実施例では、顔映像を目、鼻、口、あご、額、シワ、皮膚等の形態（ｓｈａｐｅ）とテクスチャー（ｔｅｘｔｕｒｅ）に細分化して特徴抽出及び年齢変換を行っていたが、前記細分化した要素は必要に応じて追加、削除、変更が可能である。

本発明では、顔の部位別に測定された年齢と環境的要因を考慮して年齢を変換する方法を提案した。顔部位別に異なって測定される年齢情報と個人の環境情報を用いて年齢を変換することで個人オーダーメード型の年齢変換結果を得ることができる。これにより、既存の方法に比べてより精度よい年齢変換顔を生成することができる。また、本発明では、顔部位別の年齢と環境的要因を基盤に生成された年齢変換結果と他の環境的要因を基盤に生成された年齢変換結果とを視覚的に比較し、または二つの結果の顔部位別に測定された年齢で二つの結果を比較することにより、顔の老化に影響を与える個人の環境的要因を確認しこれを改善するのに用いることができる。

このような、顔部位別の年齢と環境的要因に基づく年齢変換方法は、アプリケーションで具現され、または多様なコンピュータ構成要素によって実行され得るプログラムコマンドの形態で具現され、コンピュータ読取可能な記録媒体に記録されていてよい。前記コンピュータ読取可能な記録媒体は、プログラムコマンド、データファイル、データ構造等を単独でまたは組み合わせて含んでいてよい。

前記コンピュータ読取可能な記録媒体に記録されるプログラムコマンドは、本発明のために特別に設計され構成されたものであるか、またはコンピュータソフトウェア分野の当業者に公知され使用可能になったものであってよい。

コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピーディスク及び磁気テープのような磁気記録媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光気録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気記録媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリ等のようなプログラムコマンドを記憶し実施するように特別に構成されたハードウェア装置が含まれる。

プログラムコマンドの例としては、コンパイラによって作られるような機械語のコードだけでなく、インタープリタ等を用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を行うために一つ以上のソフトウェアモジュールとして作動するように構成されていてよく、その逆も同様である。

以上では実施例を参照して説明したが、当該技術分野の熟練した当業者であれば下記の特許請求の範囲に記載された本発明の思想及び領域から逸脱しない範囲内で本発明を多様に修正及び変更させ得ることが理解できるであろう。

２０１４年度の韓国保健産業振興院の報告書によれば、国際化粧品市場の規模は年平均３．９％ずつ増加しており、２０１３年には２，４９５億ドル規模であった。本発明によって消費者の顔部位別の年齢及び環境的要因に応じた年齢変換顔を生成し、消費者オーダーメード型の製品開発及び推薦に活用できるので、化粧品産業分野において有効に活用できる。また、機能性化粧品を用いる前と後の年齢変換結果を生成し比較することにより、化粧品の効果を評価し、当該製品を消費者に対し効率よく広告するのに活用できる。

さらには、公共社会分野において本発明によって過去写真から現在の姿をより精度よく予測し、迷子、長期失踪者等を探すのに活用できると予想される。

Claims (16)

1. 皮膚年齢を測定する段階は、入力される顔映像を複数の顔部位に細分化する段階；各顔部位から各顔部位の特徴を抽出する段階；を含み、前記各顔部位の特徴は、入力される顔映像の複数の顔部位の各形態を含み、入力される人の顔映像に基づいて複数の顔部位の各皮膚年齢を測定する段階；
   環境的要因に応じて顔映像を分類したデータベースを構築する段階；
   前記データベースに基づき自動で個人の環境的要因を指定する段階；
   年齢変換モデルは複数の顔部位の各皮膚年齢と前記個人の環境的要因に基づき生成され、測定された各皮膚年齢を変換する段階は、所望の年齢に対応するように抽出された各形態を変換する段階を含み、年齢変換モデルを適用して複数の顔部位の測定された各皮膚年齢を変換する段階；
   変換された各形態に基づき、変換された複数の顔部位の映像を復元する段階；
   年齢変換された人の顔映像を生成するように復元された複数の顔部位の映像を合成する段階；
   他の個人の環境的要因を指定する段階；
   複数の顔部位の各皮膚年齢と前記個人の環境的要因に基づく年齢変換された人の顔映像と複数の顔部位の各皮膚年齢と前記他の個人の環境的要因に基づく別の年齢変換された人の顔映像との比較を生成する段階；を含み、
   前記データベースを用いて環境別の年齢関数を学習する段階；をさらに含み、
   測定された各皮膚年齢を変換する段階は、前記環境別の年齢関数を用いる、
   複数の顔部位の各皮膚年齢と環境的要因に基づく顔年齢変換方法。
2. 前記入力される人の顔映像に基づいて複数の顔部位の各皮膚年齢を測定する段階は、
   抽出された各顔部位の特徴に基づき、複数の顔部位の各皮膚年齢をそれぞれ推定する段階をさらに含み、
   前記各顔部位の特徴は、入力される顔映像の複数の顔部位の各テクスチャーをさらに含む、
   請求項１に記載の複数の顔部位の各皮膚年齢と環境的要因に基づく顔年齢変換方法。
3. 各皮膚年齢を測定する段階では、
   各顔部位の各形態と各テクスチャーに対する各皮膚年齢を測定する、
   請求項２に記載の複数の顔部位の各皮膚年齢と環境的要因に基づく顔年齢変換方法。
4. 各皮膚年齢を変換する段階では、
   年齢変換モデルが、複数の顔部位の各テクスチャーに対する各皮膚年齢をさらに変換する、
   請求項３に記載の複数の顔部位の各皮膚年齢と環境的要因に基づく顔年齢変換方法。
5. 前記復元された複数の顔部位の映像を合成する段階は、
   各皮膚年齢を変換する段階に起因する各テクスチャーに対して年齢変換された複数の顔部位の映像を合成する段階；及び
   合成された映像を年齢変換された顔部位の形態と結合してワーピングする段階を含む、
   請求項４に記載の複数の顔部位の各皮膚年齢と環境的要因に基づく顔年齢変換方法。
6. 前記個人の環境的要因は、
   個人の健康、体形、職業、生活習慣、人種、地域の少なくとも一つである、
   請求項１に記載の複数の顔部位の各皮膚年齢と環境的要因に基づく顔年齢変換方法。
7. 比較を生成する段階は、比較を視覚的に生成する段階を含む、
   請求項１に記載の顔年齢変換方法。
8. 請求項１に記載の顔年齢変換方法を遂行するための、コンピュータプログラムが記録されたコンピュータ読取可能な記録媒体。
9. 年齢測定部は、入力される顔映像を複数の顔部位に細分化する細分化部、各顔部位から各顔部位の特徴を抽出する抽出部を含み、前記各顔部位の特徴は、入力される顔映像の複数の顔部位の各形態を含み、入力される人の顔映像に基づいて複数の顔部位の各皮膚年齢を測定する年齢測定部；
   環境的要因に応じて顔映像を分類したデータベースを構築するデータベース構築部；
   前記データベースに基づき自動で個人の環境的要因を指定する環境選択部；
   年齢変換モデルは複数の顔部位の各皮膚年齢と前記個人の環境的要因に基づき生成され、測定された各皮膚年齢を変換することは、所望の年齢に対応するように抽出された各形態を変換することを含み、年齢変換モデルを適用して複数の顔部位の測定された各皮膚年齢を変換する年齢変換部；
   変換された各形態に基づき、変換された複数の顔部位の映像を復元する映像復元部；
   年齢変換された人の顔映像を生成するように復元された複数の顔部位の映像を合成するシミュレーション部；を含む顔年齢変換装置であって、
   環境選択部は、他の個人の環境的要因を指定するようにさらに構成され；
   顔年齢変換装置は、複数の顔部位の各皮膚年齢と前記個人の環境的要因に基づく年齢変換された人の顔映像と複数の顔部位の各皮膚年齢と前記他の個人の環境的要因に基づく別の年齢変換された人の顔映像との比較を生成するように構成された比較部をさらに含み、
   学習部は、前記データベースを用いて環境別の年齢関数を学習するように構成され、
   年齢変換部は、前記環境別の年齢関数を用いて測定された各皮膚年齢を変換するようにさらに構成される、
   複数の顔部位の各皮膚年齢と環境的要因に基づく顔年齢変換装置。
10. 前記年齢測定部は、
    抽出された各顔部位の特徴に基づき、複数の顔部位の各皮膚年齢をそれぞれ推定する年齢推定部を含む、
    請求項９に記載の複数の顔部位の各皮膚年齢と環境的要因に基づく顔年齢変換装置。
11. 前記年齢推定部は、
    複数の顔部位の各形態に対する各皮膚年齢を測定する顔形態測定部；及び
    複数の顔部位の各テクスチャーに対する各皮膚年齢を測定するテクスチャー測定部を含む、
    請求項１０に記載の複数の顔部位の各皮膚年齢と環境的要因に基づく顔年齢変換装置。
12. 前記年齢推定部では、
    年齢認識器及び皮膚測定センサーの少なくとも一つを利用する、
    請求項１０に記載の複数の顔部位の各皮膚年齢と環境的要因に基づく顔年齢変換装置。
13. 前記年齢変換部では、
    複数の顔部位の各テクスチャーに対する年齢をさらに変換する、
    請求項１１に記載の複数の顔部位の各皮膚年齢と環境的要因に基づく顔年齢変換装置。
14. 前記シミュレーション部は、
    各皮膚年齢を変換することに起因する各テクスチャーに対して年齢変換された複数の顔部位の映像を合成する合成部；及び
    合成された映像を年齢変換された顔部位の形態と結合してワーピングするワーピング部を含む、
    請求項１３に記載の複数の顔部位の各皮膚年齢と環境的要因に基づく顔年齢変換装置。
15. 環境選択部は、
    個人の健康、体形、職業、生活習慣、人種、地域の少なくとも一つを指定する、
    請求項９に記載の複数の顔部位の各皮膚年齢と環境的要因に基づく顔年齢変換装置。
16. 比較部はさらに比較を視覚的に生成するように構成される、
    請求項９に記載の複数の顔部位の各皮膚年齢と環境的要因に基づく顔年齢変換装置。