WO2018221092A1

WO2018221092A1 - 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム

Info

Publication number: WO2018221092A1
Application number: PCT/JP2018/016827
Authority: WO
Inventors: 岡田　良平
Original assignee: ソニー株式会社
Priority date: 2017-05-31
Filing date: 2018-04-25
Publication date: 2018-12-06
Also published as: KR20200014280A; EP3633624A4; JPWO2018221092A1; EP3633624A1; CN110663066A; US20200082595A1

Abstract

リアルタイムでの入力画像に基づく３Ｄ画像生成を可能とした装置、方法を提供する。入力画像の各画像フレームに対する加工処理を実行して３次元画像を生成する。入力画像の被写体の属性情報と３次元画像のレンダリング要素であるマテリアルとの対応データであるテンプレートデータベースを参照して被写体属性に応じたマテリアルを選択して３次元画像を生成する。テンプレートデータベースは、人物の顔の構成要素単位のマテリアルが記録されており、画像処理部は、顔の構成要素単位のマスク画像を適用して、各構成要素に対するマテリアルをテンプレートデータベースから取得して、顔の構成要素単位でのマテリアル設定を実行する。

Description

画像処理装置、画像処理システム、および画像処理方法、並びにプログラム

　本開示は、画像処理装置、画像処理システム、および画像処理方法、並びにプログラムに関する。さらに詳細には、３次元（３Ｄ）画像のレンダリングを実行する画像処理装置、画像処理システム、および画像処理方法、並びにプログラムに関する。

　近年、コンピュータ・グラフィクス（ＣＧ：Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）技術を用いた３次元（３Ｄ）画像生成技術が、映画やゲームなど様々な分野で利用されている。
　例えば、特許文献１（特開２０１２－１８５６２４号公報）には、低い計算コストで高品質な人物の顔を描画する３次元顔モデルデータ生成装置が開示されている。
　この特許文献１には、顔の表情データを取得した後に人物の顔の部分のみを切り出し、表情に応じて変形させた顔形状対応のテクスチャを貼り付ける処理を行うことで、高品質で違和感のない３次元顔画像を生成して表示する装置が開示されている。

　さらに、特許文献２（特開２０１０－１１３５４８号公報）には、テクスチャマッピング手法を採用したポリゴン３次元グラフィックス描画装置が記載されている。
　物体の反射に関わる係数をテクスチャデータに持たせることにより、１つのポリゴン内において複数の異なる反射を表現することを可能とし、より少ないモデルデータでさらに高度な物体の質感表現を可能とする装置を開示している。

特開２０１２－１８５６２４号公報特開２０１０－１１３５４８号公報

　しかしながら、特許文献１に記載の技術は、人物映像から切り出した顔テクスチャを顔モデルに貼り付けてレンダリングする処理について記載しているが、例えば，特性の異なる部位ごとに反射特性を変更させるなどの考慮がされていないため、撮影時の照明環境と異なる条件下で表示した場合には，不自然な３Ｄ画像となる場合がある。

　一方、特許文献２に記載の技術は、テクスチャデータに反射係数等の物体の材質を示すマテリアルパラメータを保持させ、それらを活用したレンダリングを行うことで、きめ細かい質感表現を実現している。
　しかし、この特許文献２に記載の構成は、予めテクスチャデータに一つのマテリアルパラメータを対応付けて記録する構成であり、そのため、各テクスチャに対して一意な質感しか表現できないという問題がある。具体的には、例えば光源方向に応じた最適な質感表現ができないといった問題がある。

　本開示は、例えば上述の問題点に鑑みてなされたものであり、より自然なリアリティのある３次元（３Ｄ）画像の表示処理を実現する画像処理装置、画像処理システム、および画像処理方法、並びにプログラムを提供するものである。

　本開示の一実施例は、表示対象となる人物の撮影画像を入力し、その入力撮影画像（テクスチャ）から、人物の性別や年齢などの属性を分析し、さらに顔器官、肌領域、体部位、髪、衣服などの特徴量検出を行う。さらに、事前に用意されたテンプレートデータベースから被写体に適したマテリアル設定用のテクスチャマップと、マテリアルの適用範囲を指定するマスク画像を自動生成することで、任意の人物３Ｄ画像モデルデータに対し、適切なマテリアルをリアルタイムに自動設定し、リアリティのあるレンダリングを実現することを可能としている。

　また、本開示の一実施例は、人物の３次元（３Ｄ）画像の表示処理において、事前にユーザからどのようなＣＧ効果を与えたいかのカスタマイズ情報を取得し、入力されたテクスチャ（撮影画像）から、顔器官、肌領域、体部位、髪、衣服などの特徴量検出を行う。その後、ユーザ選択に紐付くテンプレートデータベースからマテリアル設定用のテクスチャマップと、マテリアルの適用範囲を指定するマスク画像を自動生成することで、任意の人物３Ｄ画像モデルデータに対し、適切なマテリアルをリアルタイムに自動設定し、ユーザの好むレンダリングを実現することを可能としている。

　本開示の第１の側面は、
　入力画像に基づく３次元画像生成処理を実行する画像処理部を有し、
　前記画像処理部は、
　前記入力画像の被写体の属性情報と、３次元画像のレンダリング要素であるマテリアルとの対応データであるテンプレートデータベースを参照して被写体属性に応じたマテリアルを選択して３次元画像の生成処理を実行する画像処理装置にある。

　さらに、本開示の第２の側面は、
　画像を送信する送信装置と、
　前記送信装置からの入力画像に対する加工処理を実行して、３次元画像を生成して表示部に表示する受信装置を有し、
　前記受信装置の画像処理部は、
　前記入力画像の被写体の属性情報と、３次元画像のレンダリング要素であるマテリアルとの対応データであるテンプレートデータベースを参照して被写体属性に応じたマテリアルを選択して前記３次元画像の生成処理を実行する画像処理システムにある。

　さらに、本開示の第３の側面は、
　画像処理装置において実行する画像処理方法であり、
　前記画像処理装置は、
　入力画像に基づく３次元画像生成処理を実行する画像処理部を有し、
　前記画像処理部が、
　前記入力画像の被写体の属性情報と、３次元画像のレンダリング要素であるマテリアルとの対応データであるテンプレートデータベースを参照して被写体属性に応じたマテリアルを選択して３次元画像の生成処理を実行する画像処理方法にある。

　さらに、本開示の第４の側面は、
　画像処理装置において画像処理を実行させるプログラムであり、
　前記画像処理装置は、
　入力画像に基づく３次元画像生成処理を実行する画像処理部を有し、
　前記プログラムは、前記画像処理部に、
　前記入力画像の被写体の属性情報と、３次元画像のレンダリング要素であるマテリアルとの対応データであるテンプレートデータベースを参照して被写体属性に応じたマテリアルを選択して３次元画像の生成処理を実行させるプログラムにある。

　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な画像処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、画像処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　本開示の一実施例の構成によれば、リアルタイムでの入力画像に基づく３Ｄ画像生成を可能とした装置、方法が実現される。
　具体的には、例えば、入力画像の各画像フレームに対する加工処理を実行して３次元画像を生成する。入力画像の被写体の属性情報と３次元画像のレンダリング要素であるマテリアルとの対応データであるテンプレートデータベースを参照して被写体属性に応じたマテリアルを選択して３次元画像を生成する。テンプレートデータベースは、人物の顔の構成要素単位のマテリアルが記録されており、画像処理部は、顔の構成要素単位のマスク画像を適用して、各構成要素に対するマテリアルをテンプレートデータベースから取得して、顔の構成要素単位でのマテリアル設定を実行する。
　本構成により、リアルタイムでの入力画像に基づく３Ｄ画像生成を可能とした装置、方法が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

３Ｄ画像のレンダリング処理とマテリアルについて説明する図である。テクスチャマップについて説明する図である。本開示の画像処理システムの構成例と処理例について説明する図である。本開示の画像処理システムの構成例と処理例について説明する図である。本開示の画像処理システムの構成例と処理例について説明する図である。画像処理装置の構成例について説明する図である。記憶部に格納されるデータとテンプレートデータベースの例について説明する図である。記憶部に格納されるデータとテンプレートデータベースの例について説明する図である。本開示の画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。特徴点について説明する図である。マスク画像の例について説明する図である。マスク画像の生成処理例について説明する図である。マスク画像の生成処理例について説明する図である。マスク画像の生成処理例について説明する図である。マスク画像の生成処理例について説明する図である。マスク画像の生成処理例について説明する図である。マスク画像の生成処理例について説明する図である。記憶部に格納されるデータとテンプレートデータベースの例について説明する図である。記憶部に格納されるデータとテンプレートデータベースの例について説明する図である。本開示の画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。画像処理装置多のハードウェア構成例について説明する図である。

　以下、図面を参照しながら本開示の画像処理装置、画像処理システム、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
　１．コンピュータ・グラフィクス（ＣＧ）処理の概要について
　２．画像処理システムの構成例について
　３．画像処理装置の構成例について
　４．画像処理装置の実行する処理について
　５．ユーザ入力情報に基づくカスタマイズを行った３Ｄ画像を生成する処理例について
　６．画像処理装置のハードウェア構成例について
　７．本開示の構成のまとめ

　　［１．コンピュータ・グラフィクス（ＣＧ）処理の概要について］
　まず、コンピュータ・グラフィクス（ＣＧ：Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）処理の概要について説明する。
　前述したように、近年、コンピュータ・グラフィクス（ＣＧ：Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）技術を用いた３次元（３Ｄ）画像生成技術が、映画やゲームなど様々な分野で利用されている。

　３次元画像の描画処理として行われるレンダリングは、３次元モデルの分割領域である「メッシュ」に対する「マテリアル」の設定処理によって行われる。
　メッシュは、３次元モデルの細かな分割領域である三角形や四角形等の多角形領域である。
　このメッシュにマテリアルを設定することで、３次元画像の描画処理、レンダリングが行われる。

　「マテリアル」は、一般的には、物体の素材、材質のことであるが、３次元画像描画処理として行われるコンピュータ・グラフィックス（ＣＧ）においては、物体の特性としての光学的特性、材質感の定義情報であり、オブジェクトに設定する材質の意味を持つ。

　例えば、人物をレンダリングする場合、レンダリング対象となる要素には、人の肌、眼球、口、髪、衣服などがある。これらの各要素は、特性が異なる部位ごとに複数のメッシュに分割され、各メッシュに最適なマテリアルを設定、すなわち最適な光学的特性、材質感を設定することで、リアリティのある３次元モデルデータを生成することができる。

　なお、後段で説明する本開示の画像処理装置は、例えばネットワークを介して受信する被写体、例えば人物を撮影した映像に基づいてＣＧ加工した３Ｄ画像を生成して表示する。
　この場合、人物の撮影映像は、毎フレームごとに撮影画像とメッシュが更新される。
　このフレーム単位で更新されるデータに対して，肌，眼球，唇，髪，衣服などの部位に適切なマテリアルを設定する処理を行ってリアルタイムでの３Ｄ画像の生成、表示を行う。

　例えば、動く人物に対するメッシュ設定処理として、統計的人体形状モデルであるＳＣＡＰＥ（Ｓｈａｐｅ　Ｃｏｍｐｌｅｔｉｏｎ　ａｎｄ　Ａｎｉｍａｔｉｏｎ　ｏｆ　Ｐｅｏｐｌｅ）モデルを被写体画像にフィティングさせてメッシュ作成を行う方法が知られている。このメッシュ作成方式では，顔器官の位置等はベースモデルから取得され、ベースモデルに対応した３Ｄ画像が生成される。

　しかし、得られる情報がスクリーンスペースの画像である撮影画像（テクスチャ画像）とメッシュだけの場合は，フレームごとに様々なマテリアルを適用させる位置を推定する必要がある。本開示の処理では、スクリーンスペースの撮影画像から顔器官検出，特徴点検出，セマンティックセグメンテーション等を実行して，設定する各マテリアル単位のマスク画像を生成し，マテリアルの適用範囲を決定した上でマテリアルの設定処理を実行する。
　この本開示の具体的処理については後段で詳細に説明する。

　上述したように、「マテリアル」は、物体の特性としての光学的特性、材質感の定義情報である。
　「マテリアル」は、３次元モデルの各メッシュを構成するオブジェクト（物体）に設定する材質に相当する。例えば、
　３次元モデルが、金属、木材、人の肌、髪等の異なる物質によって構成されている場合、メッシュは、これらの物質単位で区分することが必要であり、各物質内のメッシュには、その物質の材質に一致する「マテリアル」を設定することが必要である。

　図１に示すように、「マテリアル」の要素として、「テクスチャ」と、「シェーダ」がある。
　「テクスチャ」は、メッシュに貼り付ける画像であり、
　「シェーダ」は、物体に光を当てたときに物体表面上に生じる明暗、即ち反射光の強度を計算するアルゴリズムであり、設定する光源やマテリアルに基づいて、メッシュ内の画素（ピクセル）ごとの描画色を計算するアルゴリズムである。
　基本的なシェーダとして、ランバートシェーダ、フォンシェーダ、ブリンシェーダなどがある。
　また、人物表現を対象としたシェーダに、肌シェーダ、髪シェーダ、眼球シェーダなどがある。

　３次元モデルの構成要素となるメッシュに対して、そのメッシュの実際の材質に近いマテリアル、具体的には、テクスチャやシェーダを設定することで、リアリティのある３次元モデルデータを生成することができる。

　テクスチャは、各々が異なる効果を持つ複数のテクスチャマップを合成して生成することが可能な画像データである。
　図２に、示すように、テクスチャマップには、例えば、以下の種類がある。
　（１）ベースカラーマップ（Ｂａｓｅ　ｃｏｌｏｒ　ｍａｐ）
　（２）シャイニネスマップ（Ｓｈｉｎｉｎｅｓｓ　ｍａｐ）
　（３）ノーマルマップ（Ｎｏｒｍａｌ　ｍａｐ）
　（４）キャビティマップ（Ｃａｖｉｔｙ　ｍａｐ）
　（５）メタリックマップ（Ｍｅｔａｌｌｉｃ　ｍａｐ）

　各テクスチャマップの効果、表現について、図２を参照して説明する。
　（１）ベースカラーマップ（Ｂａｓｅ　ｃｏｌｏｒ　ｍａｐ）は、基礎（絵柄）となる色情報である。
　（２）シャイニネスマップ（Ｓｈｉｎｉｎｅｓｓ　ｍａｐ）は、物質の滑らかさを制御するテクスチャマップであり、輝度が高い箇所ほどスペキュラ（鏡面反射）が鋭くなる。黒（０，０）が完全拡散反射であり、白（１，０）が完全鏡面反射である。
　具体的には、光沢度であり、例えば、顔の部位ごとの照りの差を表現することができる。

　（３）ノーマルマップ（Ｎｏｒｍａｌ　ｍａｐ）は、微細凹凸を表現するテクスチャマップであり、皺、ホクロなど顔の細かい凹凸を表現することができる。
　（４）キャビティマップ（Ｃａｖｉｔｙ　ｍａｐ）は、スペキュラ（鏡面反射）の強さを抑制したいときに用いる。例えば、毛穴やシミなど微小な陰を生成することができる。
　（５）メタリックマップ（Ｍｅｔａｌｌｉｃ　ｍａｐ）は、金属度合いの制御を行う場合に利用されるテクスチャマップであり、黒（０，０）が非金属、白（１，０）が金属に相当する。例えば、金具部分に適用すると金属の質感を表現することができる。

　このように、テクスチャは、各々が異なる効果を持つ複数のテクスチャマップを合成して生成することが可能な画像データである。

　図１、図２を参照して説明したように、３次元画像を描画（レンダリング）する場合、例えばポリゴン等の三角形や四角形等の多角形領域によって構成されるメッシュ単位で最適なマテリアルを設定することが必要となる。
　「マテリアル」の要素として、「テクスチャ」と、「シェーダ」があり、これらの「テクスチャ」と、「シェーダ」を、３次元モデルの構成要素単位の材質、さらに光源方向等を考慮して決定することで、現実感のある３次元画像の描画処理（レンダリング）を行うことができる。

　例えば、３次元画像として人の顔の肌の描画（レンダリング）を行う場合、顔の肌領域に対応するメッシュ領域に、人の肌特性に応じた最適なマテリアルを設定する。
　一般的には、このレンダリング処理において、どのテクスチャマップを使用して、どのようなＣＧ効果を与えるかは、デザイナーが事前に様々な検討を行ってレンダリングを行う。

　最近のレンダリングエンジンの多くが物理ベース（ＰＢＲ）なので、各マテリアルの設定は定量的に正しい値を設定することが可能であり、多くの３次元モデルをより現実に近い質感で再現できる。特に、金属系の表現は、本物と比較しても全く遜色はない。

　しかし、人物表現となると、肌の反射率一つ取っても部位によって変化し、正しい値を取得し設定することは非常に困難である。また、ＰＢＲの理念からは逸脱するが，正しい値を設定するだけでは、見栄えとして自然な表現を再現できないケースも存在するため、これらマテリアル設定の工夫が、３Ｄ表現の品質を大きく左右することになる。

　レンダリング処理に時間をかけ、様々なテクスチャ、シェーダを持つ様々なマテリアルを設定してみるといった試行錯誤を繰り返せば、より現実に近い３次元モデル画像の描画を行うことはできる。

　しかし、例えばネットワークを介して受信する映像に対して、リアルタイムでコンピュータ・グラフィック（ＣＧ）効果を付与した３次元画像モデルを描画しようとすると、各メッシュに設定するマテリアルの設定を極めて短時間で実行する必要があり、十分な検討を行うことができない。この結果、マテリアル設定が不適切となり、不自然な３Ｄ画像になってしまう場合が多い。

　本開示の処理は、このような問題を解決するものである。
　すなわち、例えばネットワークを介して受信する映像に対して、リアルタイムでコンピュータ・グラフィック（ＣＧ）効果を付与した３次元画像モデルを描画する場合に、リアリティの高い現実感のある自然な画像を生成することを可能とするものである。
　また、例えば、自身の顔に基づく３次元画像を表示部に表示して、この表示画像に対してコンピュータ・グラフィック（ＣＧ）効果を施すバーチャルメークアップ（Ｖｉｒｔｕａｌ　Ｍａｋｅｕｐ）を可能とするものである。
　以下、本開示の構成について説明する。

　　［２．画像処理システムの構成例について］
　次に、本開示の画像処理システムの構成例について説明する。
　なお、以下においては、システム構成例として、以下の２つの例について説明する。
　（ａ）送信装置側で撮影画像に基づく３Ｄモデルを生成して受信装置に送信し、受信装置側で３Ｄモデルを適用して表示用の３Ｄ画像を生成して表示するシステム構成
　（ｂ）送信装置から撮影画像とデプスデータを受信装置に送信し、受信装置側で３Ｄモデルを生成して、生成した３Ｄモデルを適用して表示用の３Ｄ画像を生成して表示するシステム構成

　まず、図３を参照して、
　（ａ）送信装置側で撮影画像に基づく３Ｄモデルを生成して受信装置に送信し、受信装置側で３Ｄモデルを適用して表示用の３Ｄ画像を生成して表示するシステム構成について説明する。

　図３に示す画像処理システムは、送信装置１１０側で、複数のカメラ（マルチカメラ）で画像を撮影し、デプスデータ（距離情報）を生成し、撮影画像とデプスデータを利用して、撮影フレームごとに３Ｄモデリング処理を実行してテクスチャ付き３Ｄモデルを生成する構成である。
　送信装置１１０は、生成したフレームごとの３Ｄモデルを受信装置１２０に送信する。
　受信装置１２０は、受信した３Ｄモデルを利用して表示用の３Ｄ画像を生成して表示する。

　図３に示す画像処理システムの構成と処理について説明する。
　図３に示す画像処理システムは、送信装置１１０と、受信装置１２０を有する。
　送信装置１１０は撮影した被写体画像から３Ｄモデルを生成し、ネットワーク３０を介して受信装置１２０に送信する。
　受信装置１２０は、送信装置１１０から受信する被写体画像に対して、コンピュータ・グラフィックス（ＣＧ）処理を施した３次元（３Ｄ）画像を生成して表示部１２４に３Ｄ画像３０を表示する。

　送信装置１１０においては、カメラを有する画像取得部１１１が、被写体１０の入力映像を撮影する。
　画像取得部１１１は複数のカメラ(ＲＧＢ，デプス)によって構成され、被写体１０を様々な角度から撮影したＲＧＢ画像，デプス画像を取得する。
　すなわち、被写体１０の３次元画像を生成するために必要となる様々な角度から画像を撮影する。
　画像取得部１１１の撮影画像は、３次元モデル情報生成部１１３、送信情報生成部１１４に入力される。

　３次元モデル情報生成部１１３は、被写体１０の撮影画像に基づいて、被写体の３次元モデル情報を生成する。

　３次元モデル情報生成部１１３の生成する３次元モデル情報には、図３中に送信データ１３０として示すデータ中の、メッシュデータ１３１、テクスチャ情報１３２、ＵＶマップ１３３が含まれる。
　メッシュデータ１３１は、先に説明したように、３次元モデルの細かな分割領域である三角形や四角形等の多角形領域である。
　このメッシュにマテリアルを設定することで、３次元画像の描画処理、レンダリングが行われる。
　テクスチャ情報１３２は、メッシュデータ１３１に貼り付けるテクスチャの素材情報である。
　ＵＶマップ１３３は、メッシュデータにテクスチャを貼り付ける処理、いわゆるテクスチャマッビングを行う際に必要となる座標情報である。

　送信情報生成部１１４は、３次元モデル情報生成部１１３の生成する３次元モデル情報（メッシュデータ１３１、テクスチャ情報１３２、ＵＶマップ１３３）の他、被写体１０の属性情報１３４、特徴点情報１３５を生成して、通信部１１５を介して送信する。

　属性情報１３４は、具体的には、例えば性別、年齢、人種、肌質、構成パーツ（口、眼、鼻等）の情報である。なお、これらの属性情報は画像解析によって行うことも可能であるが、送信装置１１０においてユーザが入力した情報を用いてもよい。

　特徴点情報１３５は、例えば被写体１０の目、鼻、頬、衣服等の顔器官等の部位を示す特徴点等である。これは、特徴点抽出は、画像取得部１１１の撮影画像に基づいて実行される。

　このように、送信情報生成部１１４は、３次元モデル情報生成部１１３の生成する３次元モデル情報（メッシュデータ１３１、テクスチャ情報１３２、ＵＶマップ１３３）の他、被写体１０の属性情報１３４、特徴点情報１３５を、通信部１１５、ネットワーク２０を介して受信装置１２０に送信する。
　なお、属性情報１３４については、被写体１０が同一である場合は、一度のみの送信でよい。その他の情報は、画像フレームの送信ごとに逐次送信する。

　受信装置１２０は、送信装置１１０から、上記の各データを受信して、画像処理部１２２において、受信データを適用して、送信装置１１０から受信する被写体１０の画像（テクスチャ）に対して、コンピュータ・グラフィックス（ＣＧ）処理による加工処理を施した３次元画像を生成して表示部１２４に３Ｄ画像３０を表示する。

　なお、受信装置１２０における３次元画像のリアルタイム表示処理を行う場合、その事前処理として、被写体１０の基本となる３次元画像の生成やデータベース１２３に対する格納処理等を行う。

　この事前処理において、リアルタイム処理に必要となる様々なデータが、データベース１２３に格納された後、リアルタイム処理による３次元画像表示処理を行う。
　リアルタイム処理では、送信装置１１０から受信する被写体画像に対して、リアルタイムでコンピュータ・グラフィックス（ＣＧ）処理による加工処理を施した３次元画像を生成して表示部に３Ｄ画像３０を表示する処理が行われる。
　このリアルタイム処理では、例えば被写体の属性情報に応じた最適なマテリアルの設定行い、より自然な３次元画像を生成して表示する。

　なお、図３に示す本開示の画像処理システムの構成例は、送信装置１１０側において、３次元モデル情報（メッシュデータ１３１、テクスチャ情報１３２、ＵＶマップ１３３）を生成して、受信装置１２０に送信する構成であるが、３次元モデル情報の生成処理を受信装置１２０側において実行するシステム構成としてもよい。

　図４を参照して、
　（ｂ）送信装置から撮影画像とデプスデータを受信装置に送信し、受信装置側で３Ｄモデルを生成して、生成した３Ｄモデルを適用して表示用の３Ｄ画像を生成して表示するシステム構成
　について説明する。

　図４に示す画像処理システムは、送信装置１１０側で、複数のカメラ（マルチカメラ）で画像（ＲＧＢ、デプス）を撮影し、撮影フレームごとに撮影画像とデプスデータを受信装置１２０に送信する。
　受信装置１２０は、受信した撮影画像とデプスデータを利用して、撮影フレームごとに３Ｄモデリング処理を実行してテクスチャ付き３Ｄモデルを生成する。
　さらに、受信装置１２０は、生成した３Ｄモデルを利用して表示用の３Ｄ画像を生成して表示する。

　図４に示す画像処理システムの構成と処理について説明する。
　図４に示す画像処理システムは、送信装置１１０と、受信装置１２０を有する。
　送信装置１１０は被写体画像を撮影し、ネットワーク３０を介して受信装置１２０に送信する。
　受信装置１２０は、送信装置１１０から受信する被写体画像に対して、コンピュータ・グラフィックス（ＣＧ）処理を施した３次元（３Ｄ）画像を生成して表示部１２４に３Ｄ画像３０を表示する。

　送信装置１１０においては、カメラを有する画像取得部１１１が、被写体１０の入力映像を撮影する。
　画像取得部１１１は複数のカメラによって構成され、被写体１０を様々な角度から撮影した画像を取得する。
　すなわち、被写体１０の３次元画像を生成するために必要となる様々な角度から画像を撮影する。
　画像取得部１１１の撮影画像は、送信情報生成部１１４に入力される。

　送信情報生成部１１４は、画像取得部１１１の取得した撮影画像情報１３７、デプス情報１３６、さらに、被写体１０の属性情報１３４、特徴点情報１３５を生成して、通信部１１５を介して送信する。
　なお、属性情報１３４については、被写体１０が同一である場合は、一度のみの送信でよい。その他の情報は、画像フレームの送信ごとに逐次送信する。

　図４に示す構成において、受信装置１２０の画像処理部１２２は、３次元モデル情報生成部を含む構成である。すなわち、画像処理部１２２は、被写体１０の撮影画像に基づいて、被写体の３次元モデル情報を生成する。
　画像処理部１２２の生成する３次元モデル情報には、先に図３を参照して説明したメッシュデータ、テクスチャ情報、ＵＶマップが含まれる。
　メッシュデータ１３１は、先に説明したように、３次元モデルの細かな分割領域で
ある三角形や四角形等の多角形領域である。
　このメッシュにマテリアルを設定することで、３次元画像の描画処理、レンダリングが行われる。

　図４に示す受信装置１２０側の画像処理部１２２に、３次元モデル情報生成部を設定した構成を適用した具体的な処理例について、図５を参照して説明する。
　なお、以下では、受信装置１２０側の画像処理部１２２に３次元モデル情報生成部を設定した構成を適用した処理例について説明するが、以下で説明する処理は、図３を参照して説明した送信装置１１０側に３Ｄモデル情報生成部を設けた構成例においても、処理の実行主体が異なるのみであり、同様の処理が適用可能である。

　図５に示すように、受信装置１２０は、送信装置１１０から、
　撮影画像情報１３７、
　デプス情報１３６、
　属性情報１３４、
　特徴点情報１３５、
　これらの情報を入力する。

　画像処理部１２２は、例えば以下の処理を実行する。
　（ａ１）３次元（３Ｄ）モデルの生成、修正（影（Ｓｈａｄｏｗ）や反射（Ｓｐｅｃｕｌａｒ）の除去等）
　（ａ２）マスクイメージ生成
　（ａ３）被写体属性情報取得
　（ａ４）被写体属性対応テンプレートデータベースの作成
　画像処理部１２２は、例えば上記の処理を実行する。

　（ａ１）３Ｄモデルの生成、修正（影（Ｓｈａｄｏｗ）や反射（Ｓｐｅｃｕｌａｒ）の除去等）とは、送信装置１１０から受信する被写体１０の撮影画像に基づいて、被写体の３次元モデル情報を生成し、テクスチャ情報を修正する処理である。

　生成する３次元モデル情報には、メッシュデータ、テクスチャ情報、ＵＶマップが含まれる。
　メッシュデータは、先に説明したように、３次元モデルの細かな分割領域である三角形や四角形等の多角形領域である。
　このメッシュにマテリアルを設定することで、３次元画像の描画処理、レンダリングが行われる。
　テクスチャ情報１３２は、メッシュデータ１３１に貼り付けるテクスチャの素材情報である。
　ＵＶマップは、メッシュデータにテクスチャを貼り付ける処理、いわゆるテクスチャマッビングを行う際に必要となる座標情報である。

　さらに、画像処理部１２２は、必要に応じて、生成したテクスチャ情報の修正（影（Ｓｈａｄｏｗ）や反射（Ｓｐｅｃｕｌａｒ）の除去等）を行う。
　受信装置１２０は、生成した３Ｄモデルに対して、メッシュ単位のマテリアルの設定、すなわちメッシュ単位のテクスチャの貼り付けやシェーダによる画素値設定等のＣＧ処理を施して表示用の３Ｄ画像を生成する。
　しかし、受信装置から入力する撮影画像に基づいて生成されたテクスチャ画像は、被写体１０の撮影時の環境光による影や反射等が含まれる場合がある。このような余分な濃淡情報が含まれる画像をベースとしてマテリアル設定、すなわちテクスチャ貼り付け等のＣＧ加工を行うと撮影時の影や反射が反映されてしまい、不自然な画像が生成されとしまう場合がある。
　このような問題が発生するのを防止する処理として、テクスチャ画像の修正が行われる。

　（ａ２）マスクイメージ生成は、メッシュ単位のマテリアル設定を行う場合のマテリアル設定対象以外の領域を隠すためのマスクイメージの生成処理である。
　例えば人物の３Ｄ画像モデルをＣＧ処理によって生成する場合、人物の肌、髪等、パーツ単位で異なるマテリアルを設定することが必要となる。
　このようなマテリアル設定範囲を規定するためのマスクイメージを生成する。
　具体的なマスクイメージの例とマテリアル設定例については後述する。

　（ａ３）被写体属性情報取得処理は、送信装置１１０において撮影された被写体の属性情報を取得する処理である。
　具体的な属性情報は、例えば性別、年齢、人種、肌質、構成パーツ（口、眼、鼻等）の情報である。なお、これらの属性情報は画像解析によって行うことも可能であるが、送信装置１１０においてユーザが入力した情報を用いてもよい。

　（ａ４）被写体属性対応テンプレートデータベースの作成処理は、上述した被写体の属性情報とテクスチャ等のマテリアル情報を対応付けたデータベースである。
　このテンプレートデータベースを、送信装置１２０のデータベース１２３内に格納することで、リアルタイムでの３Ｄ画像モデルの生成処理を高速に行うことができる。
　具体的なテンプレートデータベースの例については後述する。

　このように、図５に示す受信装置１２０の画像処理部１２２は、以下の処理を行う。
　（ａ１）３Ｄモデルの生成、テクスチャ画像の修正（影（Ｓｈａｄｏｗ）や反射（Ｓｐｅｃｕｌａｒ）の除去等）
　（ａ２）マスクイメージ生成
　（ａ３）被写体属性情報取得
　（ａ４）被写体属性対応テンプレートデータベースの作成

　画像処理部１２２による上記処理の結果として生成されるデータは、記憶部としてデータベース１２３に格納される。
　図５に示すように、データベース１２３には、以下の各情報が格納される。
　（ｂ１）マスクイメージ
　（ｂ２）被写体属性情報
　（ｂ３）被写体属性対応テンプレートデータベース
　これらのデータは、図５に示す受信装置１２０の画像処理部１２２が、送信装置１１０から受信するデータに基づいて生成したデータである。

　データベースに所定のデータが格納されると、リアルタイム処理、すなわち、送信装置１１０から送信される被写体画像等のデータを受信装置１２０が受信し、その受信データに対してリアルタイムでＣＧ処理を施して表示用の３Ｄ画像を生成して表示部に表示するリアルタイム処理が実行される。

　リアルタイム処理では、送信装置１１０側の画像取得部１１１が、被写体１０のリアルタイム画像を撮影する。
　画像取得部１１１の撮影画像は、送信情報生成部１１４に入力される。
　送信情報生成部１１４は、
　撮影画像情報１３７、
　デプス情報１３６、
　属性情報１３４、
　特徴点情報１３５、
　これらの情報を通信部１１５、ネットワーク２０を介して受信装置１２０に送信する。
　なお、前述したように、属性情報１３４は、被写体１０の変更がない場合は、一度のみの送信でよい。

　受信装置１２０は、送信装置１１０からに有力する上記情報を用いて、表示部１２４に表示する出力映像である３Ｄ画像を生成して表示する。
　なお、リアルタイム処理では、被写体の現在の撮影画像を利用して、事前処理において取得しデータベース１２３に格納済みの情報を適用して、ＣＧ加工した３Ｄ画像を生成して表示する処理を行う。

　　［３．画像処理装置の構成例について］
　次に、３Ｄ画像生成処理を行う画像処理装置、すなわち、図５に示す受信装置１２０の具体的な構成について、図６以下を参照して説明する。

　図６は、画像処理装置、すなわち図５に示す受信装置１２０に相当する画像処理装置２００の構成例を示す図である。

　図６に示すように、画像処理装置２００は、画像入力部（通信部）２０１、ユーザ入力部（ユーザＩＦ）２０２、画像処理部２０３、記憶部（ＤＢ）２０４、表示部２０５を有する。
　画像入力部（通信部）２０１は、図４、図５に示す受信装置１２０の通信部１２１に相当する。
　ユーザ入力部（ユーザＩＦ）２０２は、図４、図５に示す受信装置１２０には示されていないが、受信装置１２０に構成された入力部である。

　画像処理部２０３は、図４、図５に示す受信装置１２０の画像処理部１２２に相当する。
　記憶部（ＤＢ）２０４は、図４、図５に示す受信装置１２０のデータベース１２３に相当する。
　表示部２０５は、図４、図５に示す受信装置１２０の表示部１２４に相当する。

　図６に示すように、画像処理部２０３は、画像情報解析部２１１、メッシュ編集部２１２、マテリアル適用部２１３、レンダリング部２１４を有する。
　画像情報解析部２１１には、特徴量抽出部２１１ａ、属性解析部２１１ｂが含まれる。
　メッシュ編集部２１２には、メッシュ取得部２１２ａ、メッシュ分割部２１２ｂ、モデル追加部２１２ｃが含まれる。
　マテリアル適用部２１３には、マスク画像生成部２１３ａ、テクスチャマップ生成部２１３ｂが含まれる。

　記憶部（ＤＢ）２０４には、先に図４を参照して説明した事前処理によって送信装置１１０から取得したデータや画像処理部２０３の処理によって生成されたデータが格納される。さらに、図５を参照して説明したリアルタイム処理において、画像処理部２０３が生成するデータも格納される。
　記憶部（ＤＢ）２０４の格納データの例を図７に示す。

　図７に示すように、記憶部（ＤＢ）２０４には、マスク画像２２２、被写体属性情報２２３、テンプレートデータベース２２４等が格納される。

　マスク画像２２２は、リアルタイム処理において適用するメッシュ対応のマテリアル設定処理において、マテリアル設定領域以外のその他の領域をマスキングするためのマスク画像である。
　本開示の処理では、送信装置１１０から受信する毎フレーム異なる撮影画像の各々から、目、鼻、頬、衣服等の顔器官等の部位の検出や，特徴点検出等を実行して，各部位に設定するマテリアル単位のマスク画像を生成し，マテリアルの適用範囲を決定した上で、各部位に対するマテリアル設定処理を実行する。
　マスク画像２２２は、各被写体構成要素単位（部位単位）のマスキングに適用する画像である。
　具体的なマスク画像の例と適用処理については後段で説明する。

　被写体属性情報２２３は、先に図５を参照して説明した処理において取得される情報である。
　具体的な属性情報は、例えば性別、年齢、人種、肌質、構成パーツ（口、眼、鼻等）の情報である。なお、これらの属性情報は画像解析によって行うことも可能であるが、送信装置１１０、あるいは受信装置１２０においてユーザが入力した情報を用いてもよい。

　テンプレートデータベース２２４は、図７に示すように、
　属性情報と、マテリアルとの対応データである。
　属性情報には、被写体属性情報と、部位属性情報が含まれる。
　マテリアルは、テクスチャマップによって構成される。

　被写体属性情報は、例えば、「性別」、「年齢」、「人種」、「肌質」等の被写体である人物の属性情報である。
　部位属性情報は、例えば、目、鼻、眉毛、頬（チーク）等の人の顔の各部位の識別情報となる属性情報である。
　これらの属性情報は、事前処理、またはリアルタイム処理において、送信装置１１０から受信する画像データに基づいて取得可能であり、また、ユーザ入力情報に基づいて取得してもよい。

　このテンプレートデータベースは、属性情報とマテリアルとの対応データである。
　画像処理装置２００の画像処理部２０３が、リアルタイム処理によりＣＧ効果を施した３Ｄ画像を生成する処理を行う場合、画像処理部２０３は、このテンプレートデータベースを参照して、送信装置１１０から受信する被写体画像、例えば人物の撮影画像から検出された人の目、鼻、頬（チーク）等の部位に設定すべきマテリアルを即座に取得することができる。

　すなわち、このテンプレートデータベースを利用することで、送信装置１１０から送信される被写体映像を構成するフレーム単位で、被写体構成要素単位（部位単位）の最適なマテリアル設定を短時間で行うことが可能となり、３Ｄ画像生成をリアルタイム処理として実行することができる。

　なお、図７に示すテンプレートデータベース２２４の構成では、マテリアルとしてテクスチャマップのみを記録しており、シェーダについては記録していない。
　シェーダは、前述したように、メッシュ内の画素（ピクセル）ごとの描画色を計算するアルゴリズムである。図７に示す設定のテンプレートデータベースを利用した処理を行う場合、テクスチャはテンプレートデータベースから取得し、シェーダについては、フレーム単位でその都度計算処理を実行してメッシュ内のピクセル単位の描画色の決定処理を行うことになる。

　図７に示すテンプレートデータベース２２４と異なる設定としたテンプレートデータベース２０４の構成例を図８に示す。
　図８に示すテンプレートデータベース２２４は、マテリアルとしてテクスチャマップとシェーダを記録している。
　図８に示す設定のテンプレートデータベースを利用すれば、テクスチャに併せてシェーダの情報もテンプレートデータベースから取得することが可能であり、フレーム単位、被写体構成要素単位（部位単位）でメッシュ内のテクスチャ、ピクセルごとの描画色の決定が可能となる。

　　［４．画像処理装置の実行する処理について］
　次に、リアルタイムでの３Ｄ画像生成処理を行う画像処理装置、すなわち、図６を参照して説明した構成を有する画像処理装置２００（＝図５の受信装置１２０）の実行する具体的な処理について、図９以下を参照して説明する。

　図９は、画像処理装置、すなわち、図６に示す画像処理装置２００（＝図５の受信装置１２０）の実行する処理のシーケンスを説明するフローチャートである。
　以下、このフローチャートに従って、図６に示す画像処理装置２００（＝図５の受信装置１２０）の実行する処理の具体例について説明する。
　なお、図９に示すフローチャートに従った処理は、例えば、画像処理装置の記憶部に格納されたプログラムに従って、プログラム実行機能を持つＣＰＵ等を備えたコントローラからなるデータ処理部の制御の下に実行される。
　図９に示すフローの各ステップの処理について、順次、説明する。

　　（ステップＳ１０１）
　まず、画像処理装置２００の画像入力部２０１が、３Ｄ画像の生成元となる撮影画像情報１３７，デプス情報を入力する。
　なお、このフローに示すステップＳ１０１～Ｓ１０９の処理は、例えば図５に示す送信装置１１０から送信される被写体の撮影映像を構成する画像フレームごとに実行される。
　すなわち、最終的なステップＳ１０９では、送信装置１１０から送信される画像フレーム単位でＣＧ効果を付与した３Ｄ画像のレンダリングが行われることになる。

　　（ステップＳ１０２）
　次に、ステップＳ１０２において、画像情報解析部２１１の属性解析部２１１ｂが、入力撮影画像に基づいて、被写体の人物の属性（性別、年齢、肌質等）を分析する。

　なお、この処理は、事前に行っておくことも可能であり、リアルタイム処理として行ってもよい。
　先に説明したように、属性情報取得処理は、送信装置１１０から送信される撮影画像情報１３７や、３Ｄモデル情報を解析して行う。
　具体的な属性情報には、例えば性別、年齢、人種、肌質、構成パーツ（口、眼、鼻等）の情報等が含まれる。なお、これらの属性情報は画像解析によって行うことも可能であるが、ユーザ入力情報を用いてもよい。

　　（ステップＳ１０３）
　次に、ステップＳ１０３において、特徴量抽出部２１１ａが、ステップＳ１０１で入力した撮影画像の特徴量に基づいて、被写体（人）の各部位（顔器官である目、鼻口、眉や、肌領域、体部位、髪、衣服等）対応の区分領域を設定する。

　図１０に顔器官である目、鼻口、眉等の特徴点の例を示す。
　図１０に示す例において、特徴点１～１７は顔輪郭を示す特徴点であり、
　特徴点１８～２２、２３～２７が眉を示す特徴点である。
　特徴点２８～３６が鼻を示す特徴点である。
　特徴点３７～４８が目を示す特徴点である。
　特徴点４９～６８が口を示す特徴点である。
　例えば画像からこれらの特徴点を検出して、各部位（顔器官である目、鼻口、眉や、肌領域、体部位、髪、衣服等）対応の区分領域を設定する。

　なお、区分領域の設定には、上記の特徴点に基づく処理の他、従来から知られるセマンティックセグメンテーション（Ｓｅｍａｎｔｉｃ　Ｓｅｇｍｅｎｔａｔｉｏｎ）も利用可能である。
　例えば、顔領域、手、髪、衣服等の領域検出や区分領域の設定にはセマンティックセグメンテーション（Ｓｅｍａｎｔｉｃ　Ｓｅｇｍｅｎｔａｔｉｏｎ）の利用が可能である。

　　（ステップＳ１０４）
　次に、ステップＳ１０４において、マスク画像生成部２１３ａが、特徴量に基づく区分領域単位のマテリアル設定を行うために適用するマスク画像を生成する。

　前述したように、マスク画像は、リアルタイム処理において適用するメッシュ対応のマテリアル設定処理において、マテリアル設定領域以外のその他の領域をマスキングするためのマスク画像である。
　本開示の処理では、送信装置１１０から受信する毎フレーム異なる撮影画像の各々から、目、鼻、頬、衣服等の顔器官等の部位の検出や，特徴点検出等を実行して，各部位に設定するマテリアル単位のマスク画像を生成し，マテリアルの適用範囲を決定した上で、各部位に対するマテリアル設定処理を実行する。
　マスク画像は、被写体構成要素単位（部位単位）のマスキングに適用する画像である。

　マスク画像の例について図１１を参照して説明する。
　図１１には、以下の各図を示している。
　（Ａ）入力画像
　（１）～（８）各区分領域単位のマスク画像

　例えば、（１）顔マスクは、被写体画像中の顔領域に対するマテリアル設定時に適用するマスクである。この顔マスクにより、顔領域以外の画像領域は、マスキングされることになる。この顔マスクを利用したマテリアル設定処理を行うことで、マテリアルは顔領域のみに適用され、その他の領域には適用されない。

　同様に、（２）手マスクは、被写体画像中の手領域に対するマテリアル設定時に適用するマスクである。この手マスクにより、手領域以外の画像領域は、マスキングされることになる。この手マスクを利用したマテリアル設定処理を行うことで、マテリアルは手領域のみに適用され、その他の領域には適用されない。

　以下、（３）髪マスク、（４）衣服マスク、（５）目マスク、（６）鼻マスク、（７）口マスク、（８）頬（チーク）マスクについても同様であり、各マスクは、マイリアル設定対象領域以外の画像領域を全てマスキングする構成を持つマスク画像である。

　ステップＳ１０４では、マスク画像生成部２１３ａが、特徴量に基づく区分領域単位のマテリアル設定を行うために適用するマスク画像、すなわち例えば図１１に示すようなマスク画像を生成する。
　なお、図１１に示すマスク画像は一例であり、その他、被写体に応じて様々なマスク画像を生成する。

　マスク画像の生成処理には、テンプレート画像を利用する構成としてもよい。例えば、図１１に示す（１）顔マスク、（２）手マスク、（３）髪マスク、（４）衣服マスク、（５）目マスク、（６）鼻マスク、（７）口マスク、（８）頬（チーク）マスク、これらの各マスク画像のテンプレート画像を予め記憶部２０４に格納しておき、このテンプレートマスク画像を、送信装置から入力する被写体画像に応じて修正して、入力画像に適合したマスク画像を生成することができる。

　テンプレート画像を適用した目マスク画像の生成処理例について、図１２を参照して説明する。
　例えば、図１２（１）に示すような目に適用するためのテンプレートマスク画像が予め記憶部２０４に格納されている。

　マスク画像生成部２１３ａは、画像入力部２０１を介して入力した被写体の撮影画像内の特徴点から目の領域付近の特徴点を使用特徴点として選択する。図１２（２）使用特徴点は、被写体画像の左目領域近傍の特徴点である。
　この特徴点は、先に図１０を参照して説明した特徴点に対応する。

　この特徴点に基づいて、（１）に示すテンプレートマスク画像を、撮影画像の目の領域に適合させる回転処理と、リサイズ処理を行う。
　図１２（３）が回転処理であり、（４）がリサイズ処理を示している。
　図１２（３）に示すように、特徴点｛１７，２９｝のラインに基づいて、テンプレート画像の回転角度を算出する。
　さらに、図１２（４）に示すように、特徴点｛１７，２３，２４，２５，２６，２７，２９｝の領域のテンプレート画像を入力画像に適合するようにリサイズする。本例では、Ｘ方向（水平方向）に０．９倍、Ｙ方向（垂直方向）に１．０倍のリサイズを行う。
　このような処理を行うことで、（１）に示すテンプレートマスク画像を利用して、撮影画像の目の領域に適合した目マスク画像を生成することができる。

　図１３は、テンプレート画像を適用した鼻マスク画像の生成処理例について説明する図である。
　例えば、図１３（１）に示すような鼻に適用するためのテンプレートマスク画像が予め記憶部２０４に格納されている。

　マスク画像生成部２１３ａは、画像入力部２０１を介して入力した被写体の撮影画像内の特徴点から鼻の領域付近の特徴点を使用特徴点として選択する。図１３（２）使用特徴点は、被写体画像の鼻領域近傍の特徴点である。
　この特徴点は、先に図１０を参照して説明した特徴点に対応する。

　この特徴点に基づいて、（１）に示すテンプレートマスク画像を、撮影画像の鼻領域に適合させる回転処理と、リサイズ処理を行う。
　図１３（３）が回転処理であり、（４）がリサイズ処理を示している。
　図１３（３）に示すように、特徴点｛３７，４６｝のラインに基づいて、テンプレート画像の回転角度を算出する。
　さらに、図１３（４）に示すように、特徴点｛２８，２９，３０，３１，４０，４３｝の領域のテンプレート画像を入力画像に適合するようにリサイズする。本例では、Ｘ方向（水平方向）に０．７倍、Ｙ方向（垂直方向）に１．１倍のリサイズを行う。
　このような処理を行うことで、（１）に示すテンプレートマスク画像を利用して、撮影画像の鼻領域に適合した鼻マスク画像を生成することができる。

　図１４は、テンプレート画像を適用した頬（チーク）マスク画像の生成処理例について説明する図である。
　例えば、図１４（１）に示すような頬（チーク）に適用するためのテンプレートマスク画像が予め記憶部２０４に格納されている。

　マスク画像生成部２１３ａは、画像入力部２０１を介して入力した被写体の撮影画像内の特徴点から頬（チーク）の領域付近の特徴点を使用特徴点として選択する。図１４（２）使用特徴点は、被写体画像の頬（チーク）領域近傍の特徴点である。
　この特徴点は、先に図１０を参照して説明した特徴点に対応する。

　この特徴点に基づいて、（１）に示すテンプレートマスク画像を、撮影画像の頬（チーク）領域に適合させる回転処理と、リサイズ処理を行う。
　図１４（３）が回転処理であり、（４）がリサイズ処理を示している。
　図１４（３）に示すように、特徴点｛１７，２９｝のラインに基づいて、テンプレート画像の回転角度を算出する。
　さらに、図１４（４）に示すように、特徴点｛１７，２９，５５｝の領域のテンプレート画像を入力画像に適合するようにリサイズする。本例では、Ｘ方向（水平方向）に０．８倍、Ｙ方向（垂直方向）に１．０倍のリサイズを行う。
　このような処理を行うことで、（１）に示すテンプレートマスク画像を利用して、撮影画像の頬（チーク）領域に適合した頬（チーク）マスク画像を生成することができる。

　図１５は、テンプレート画像を適用した口周りマスク画像の生成処理例について説明する図である。
　例えば、図１５（１）に示すような口周りに適用するためのテンプレートマスク画像が予め記憶部２０４に格納されている。

　マスク画像生成部２１３ａは、画像入力部２０１を介して入力した被写体の撮影画像内の特徴点から口周りの領域付近の特徴点を使用特徴点として選択する。図１５（２）使用特徴点は、被写体画像の口周り領域近傍の特徴点である。
　この特徴点は、先に図１０を参照して説明した特徴点に対応する。

　この特徴点に基づいて、（１）に示すテンプレートマスク画像を、撮影画像の口周り領域に適合させる回転処理と、リサイズ処理を行う。
　図１５（３）が回転処理であり、（４）がリサイズ処理を示している。
　図１５（３）に示すように、特徴点｛４９，５５｝のラインに基づいて、テンプレート画像の回転角度を算出する。
　さらに、図１５（４）に示すように、特徴点｛９，３１，４９，５５｝の領域のテンプレート画像を入力画像に適合するようにリサイズする。本例では、Ｘ方向（水平方向）に１．３倍、Ｙ方向（垂直方向）に０．９倍のリサイズを行う。
　このような処理を行うことで、（１）に示すテンプレートマスク画像を利用して、撮影画像の口周り領域に適合した口周りマスク画像を生成することができる。

　また、テンプレート画像を利用しないマスク画像生成処理も可能である。
　図１６は、テンプレート画像を利用せずに唇マスク画像を生成する処理例について説明する図である。

　マスク画像生成部２１３ａは、画像入力部２０１を介して入力した被写体の撮影画像内の特徴点から唇領域付近の特徴点を使用特徴点として選択する。図１６（２）使用特徴点は、被写体画像の唇領域近傍の特徴点である。
　この特徴点は、先に図１０を参照して説明した特徴点に対応する。

　この特徴点に基づいて、唇マスク画像を生成する。
　図１６（３）が上唇マスク画像の生成処理であり、（４）が下唇マスク画像の生成処理を示している。
　図１６（３）に示すように、上唇マスク画像の生成処理においては、特徴点｛４９，５０，５１，５２，５３，５４，５５，６５，６４，６３，６２，６１｝の輪郭に基づいて、上唇マスク画像を生成する。
　また、図１６（４）に示すように、下唇マスク画像の生成処理においては、特徴点｛４９，６０，５９，５８，５７，５６，５５，６５，６４，６３，６２，６１｝の輪郭に基づいて、下唇マスク画像を生成する。
　このような処理を行うことで、テンプレートマスク画像を利用することなく、撮影画像の唇領域に適合した唇マスク画像を生成することができる。

　図１７は、テンプレート画像を利用せずに口の中マスク画像を生成する処理例について説明する図である。

　マスク画像生成部２１３ａは、画像入力部２０１を介して入力した被写体の撮影画像内の特徴点から口の中領域付近の特徴点を使用特徴点として選択する。図１７（２）使用特徴点は、被写体画像の口の中領域近傍の特徴点である。
　この特徴点は、先に図１０を参照して説明した特徴点に対応する。

　この特徴点に基づいて、口の中マスク画像を生成する。
　図１７（３）が口の中唇マスク画像の生成処理を示している。
　図１７（３）に示すように、口の中マスク画像の生成処理においては、特徴点｛６１，６２，６３，６４，６５，６６，６７，６８｝の輪郭に基づいて、口の中マスク画像を生成する。
　このような処理を行うことで、テンプレートマスク画像を利用することなく、撮影画像の口の中領域に適合した口の中マスク画像を生成することができる。

　その他の（１）顔マスク、（２）手マスク、（３）髪マスク、（４）衣服マスク等、これらの各マスク画像についても、テンプレート画像を利用、または利用せずに被写体画像に応じたマスク画像を生成することができる。

　このように、図９に示すフローのステップＳ１０４では、例えば、上述した処理によってマスク画像生成処理が実行される。
　図９のフローチャートのステップＳ１０５以下の処理について説明する。

　　（ステップＳ１０５）
　ステップＳ１０５において、メッシュ取得部２１２ａが、撮影画像対応の３Ｄモデルにメッシュを設定し、メッシュ分割部２１２ｂが、マスク画像に応じたメッシュ分割処理を実行する。

　前述したように、メッシュは、３次元モデルの細かな分割領域である三角形や四角形等の多角形領域である。
　このメッシュにマテリアルを設定することで、３次元画像の描画処理、レンダリングが行われる。３次元画像を描画（レンダリング）する場合、メッシュ単位で最適なマテリアルを設定することが必要となる。
　３次元モデルの構成要素となるメッシュに対して、そのメッシュの実際の材質に近いマテリアル、具体的には、テクスチャやシェーダを設定することで、リアリティのある３次元モデルデータを生成することができる。

　メッシュは、送信装置から入力される撮影画像と、先に図４を参照して説明した事前処理においてデータベースに格納された被写体の３次元モデルデータを利用して、既定のアルゴリズムを適用して取得することができる。なお、レンダリング処理によって生成する最終的なＣＧ効果付与３次元画像の設定、例えば光源位置の設定条件等を考慮してメッシュ設定を行うことが好ましい。

　ステップＳ１０５では、まず、メッシュ取得部２１２ａが、入力撮影画像に対応する３次元モデル上にメッシュを設定し、さらにメッシュ分割部２１２ｂが、ステップＳ１０４で生成したマスク画像に応じたメッシュ分割処理を実行する。

　マスク画像には、先に図１１を参照して説明したように、例えば、（１）顔マスク～（８）頬マスク等、様々なマスク画像がある。これらは、各部位に対するマテリアル適用処理において利用するマスクである。
　しかし、マスク画像が既定する各部位の領域と、メッシュによって規定される区分領域は、多くの場合一致しない。

　例えば１つの三角形領域である１つのメッシュ領域が、目マスクによってマスクされない目の領域（＝目対応のマテリアル適用領域）と、目マスクによってマスクされる目以外の領域（＝目対応のマテリアル非適用領域）の両方に広がっているといったことがある。

　マテリアル設定は、メッシュ単位で実行するので、このようなメッシュが存在すると、目の領域と目以外の領域に同じマテリアルの設定処理がなされてしまう。
　このような事態を防止するため、メッシュをマスク画像に応じて再分割して、マスク画像よってマスクされないマテリアル適用領域と、マスク画像よってマスクされるマテリアル非適用領域とを分割した新たなメッシュ設定を行うことが必要となる。
　この処理を、メッシュ分割部２１２ｂが実行する。
　すなわち、ステップＳ１０４で生成したマスク画像に応じたメッシュ分割処理を実行する。

　　（ステップＳ１０６）
　次に、ステップＳ１０６において、モデル追加部２１２ｃが、特徴量情報に基づいて、記憶部（ＤＢ）２０４に格納された３次元モデルを設置する。例えば、眼球の前に角膜モデルを設置する処理などを実行する。

　３次元画像の生成処理は、基本的にはメッシュに対してマテリアルを設定する処理として実行するが、例えば、眼球等の特殊な部位については、予め容易された３次元モデルを貼り付ける処理を行った方がリアリティを増すことができる。
　ステップＳ１０６では、このような３次元モデル追加処理を行う。
　なお、３次元モデルは、記憶部（ＤＢ）２０４に予め格納されている。例えば事前処理において、送信装置１１０から受信した３次元モデル情報を利用することが可能である。

　例えば、眼球の前に角膜モデルを設置する処理を行う場合は、黒目の中に白いハイライト領域を設定したモデルを設定することで、視線方向が設定される。
　黒目内の適切な位置にハイライト部分を設定するためには、例えば送信装置から受信する撮影画像の視線方向を検出し、検出した視線方向に基づいてハイライト領域設定位置を決定することが好ましい。
　また、レンダリングによって生成した３Ｄ画像内の顔画像の黒目内のハイライト領域と、表示した３Ｄ画像の光源位置とが対応するように、光源位置は、顔画像の前方に設定することが好ましい。

　　（ステップＳ１０７）
　次に、ステップＳ１０７において、テクスチャマップ生成部２１３ｂが、各マテリアルに必要なテクスチャマップ（ベースカラー、シャイニネス、キャビティ、ノーマル等）を、属性解析結果と、テンプレートデータベースに従って生成する。

　先に説明したように、３次元画像の生成処理を行う場合、３次元画像の構成要素であるメッシュに対して、そのメッシュの実際の材質に近いマテリアル、具体的には、テクスチャやシェーダを設定する。このマテリアル設定処理によりリアリティのある３次元画像を生成することができる。

　テクスチャは、各々が異なる効果を持つ複数のテクスチャマップを合成して生成することが可能な画像データである。
　先に図２を参照して説明したように、テクスチャマップには、例えば、以下の種類がある。
　（１）ベースカラーマップ（Ｂａｓｅ　ｃｏｌｏｒ　ｍａｐ）
　（２）シャイニネスマップ（Ｓｈｉｎｉｎｅｓｓ　ｍａｐ）
　（３）ノーマルマップ（Ｎｏｒｍａｌ　ｍａｐ）
　（４）キャビティマップ（Ｃａｖｉｔｙ　ｍａｐ）
　（５）メタリックマップ（Ｍｅｔａｌｌｉｃ　ｍａｐ）

　（１）ベースカラーマップ（Ｂａｓｅ　ｃｏｌｏｒ　ｍａｐ）は、基礎（絵柄）となる色情報である。
　（２）シャイニネスマップ（Ｓｈｉｎｉｎｅｓｓ　ｍａｐ）は、物質の滑らかさを制御するテクスチャマップであり、輝度が高い箇所ほどスペキュラ（鏡面反射）が鋭くなる。黒（０，０）が完全拡散反射であり、白（１，０）が完全鏡面反射である。
　具体的には、光沢度であり、例えば、顔の部位ごとの照りの差を表現することができる。
　（３）ノーマルマップ（Ｎｏｒｍａｌ　ｍａｐ）は、微細凹凸を表現するテクスチャマップであり、皺、ホクロなど顔の細かい凹凸を表現することができる。
　（４）キャビティマップ（Ｃａｖｉｔｙ　ｍａｐ）は、スペキュラ（鏡面反射）の強さを抑制したいときに用いる。例えば、毛穴やシミなど微小な陰を生成することができる。
　（５）メタリックマップ（Ｍｅｔａｌｌｉｃ　ｍａｐ）は、金属度合いの制御を行う場合に利用されるテクスチャマップであり、黒（０，０）が非金属、白（１，０）が金属に相当する。例えば、金具部分に適用すると金属の質感を表現することができる。

　ステップＳ１０７では、レンダリングによって生成する３次元画像の各メッシュに設定するマテリアルの要素であるテクスチャを決定する。
　このテクスチャの決定処理には、記憶部（ＤＢ）２０４に格納されたテンプレートデータベース２２４を利用する。

　テンプレートデータベース２２４は、先に図７を参照して説明したように、
　属性情報と、マテリアルとの対応データである。
　属性情報には、被写体属性情報と、部位属性情報が含まれる。
　マテリアルは、テクスチャマップによって構成される。

　被写体属性情報は、例えば、「性別」、「年齢」、「人種」、「肌質」等の被写体である人物の属性情報である。
　部位属性情報は、例えば、目、鼻、眉毛、頬（チーク）等の人の顔の各部位の識別情報となる属性情報である。

　これらの属性情報は、ステップＳ１０２において取得される情報である。例えば、先に図４を参照して説明した事前処理、図５を参照して説明したリアルタイム処理において、送信装置１１０から受信する画像データに基づいて取得可能であり、また、ユーザ入力情報に基づいて取得してもよい。

　図７に示すようにテンプレートデータベースは、属性情報とマテリアルとの対応データである。
　画像処理装置２００の画像処理部２０３が、リアルタイム処理によりＣＧ効果を施した３Ｄ画像を生成する処理を行う場合、画像処理部２０３は、このテンプレートデータベースを参照して、送信装置１１０から受信する被写体画像、例えば人物の撮影画像から検出された人の目、鼻、頬（チーク）等の部位に設定すべきマテリアルを即座に取得することができる。

　図７に示すテンプレートデータベース２２４の構成では、マテリアルとしてテクスチャマップを記録している。
　すなわち、属性情報（被写体属性と部位属性）に応じて適用するテクスチャマップの設定が記録されている。
　具体的には、例えば、２０～３５才の白人女性の普通肌という被写体属性の
　（ａ）目の周りの領域のメッシュに貼り付けるテクスチャマップの設定、
　（ｂ）鼻筋の領域のメッシュに貼り付けるテクスチャマップの設定、
　（ｃ）眉毛の領域のメッシュに貼り付けるテクスチャマップの設定、
　（ｄ）頬（チーク）の領域のメッシュに貼り付けるテクスチャマップの設定、
　　　・・・・・
　これら被写体属性と部位属性に対応して適用すべきテクスチャマップが登録されている。

　このテンプレートデータベースを利用することで、送信装置１１０から送信される被写体映像を構成するフレーム単位で、被写体構成要素単位（部位単位）の最適なマテリアル設定を短時間で行うことが可能となり、３Ｄ画像生成をリアルタイム処理として実行することができる。

　なお、図７に示す設定のテンプレートデータベースを利用した処理を行う場合、テクスチャはテンプレートデータベースから取得し、シェーダについては、フレーム単位でその都度計算処理を実行してメッシュ内のピクセル単位の描画色の決定処理を行うことになる。

　前述したように、図８に示すテンプレートデータベース２２４は、マテリアルとしてテクスチャマップとシェーダを記録している。
　図８に示す設定のテンプレートデータベースを利用すれば、テクスチャに併せてシェーダの情報もテンプレートデータベースから取得することが可能であり、フレーム単位、被写体構成要素単位（部位単位）でメッシュ内のテクスチャ、ピクセルごとの描画色の決定が可能となる。

　なお、図７や図８に示すテンプレートデータベースを利用したマテリアル設定を行う場合、ユーザの好みに応じたテンプレートデータベースの設定変更を行うことも可能である。
　例えば、鼻領域に設定するマテリアルとして、予めデフォルトデータとして設定されたマテリアルを利用する構成も可能であるが、例えば鼻筋をより強調したテクスチャを持つマテリアルを設定するように変更するといった処理を行うことも可能である。
　あるいは頬（チーク）に設定するマテリアルとして、例えば、より滑らかな肌質に見えるテクスチャを持つマテリアルを設定するように変更するといった処理を行うことも可能である。

　　（ステップＳ１０８）
　ステップＳ１０８では、レンダリング部２１４が、３Ｄモデルに対して、マテリアルを適用させるレンダリングを実行する。
　この処理は、ステップＳ１０７において、テンプレートデータベース２２４から取得される属性情報（被写体属性と部位属性）対応のテクスチャマップを利用して、各部位のメッシュにマテリアル設定、すなわちテクスチャの貼り付けを行う。さらに、ピクセル単位の描画色の決定アルゴリズムであるシェーダを適用してピクセル単位の描画色の決定処理を行う。

　なお、図８に示すテンプレートデータベース２２４を利用した場合は、テクスチャに併せてシェーダの情報もテンプレートデータベースから取得可能であり、フレーム単位、被写体構成要素単位（部位単位）でメッシュ内のテクスチャ、ピクセルごとの描画色の決定が可能となる。

　　（ステップＳ１０９）
　最後に、ステップＳ１０９において、表示部２０５がステップＳ１０８で生成したレンダリング結果を表示する。

　なお、ステップＳ１０１～Ｓ１０９の処理は、画像入力部２０１が入力する画像フレームごとに実行する。
　この処理は、リアルタイム処理として実行され、例えば、図５に示す送信装置１１０側で撮影された画像が、リアルタイムで、受信装置１２０側でＣＧ効果の施された３次元画像として表示されることになる。

　このリアルタイム処理を実現可能としている一つの大きな要素は、テンプレートデータベースである。
　すなわち、被写体属性と部位属性に対応して適用すべきテクスチャマップが登録されたテンプレートデータベースを利用することで、送信装置１１０から送信される被写体映像を構成するフレーム単位で、被写体構成要素単位（部位単位）の最適なマテリアル設定を短時間で行うことが可能となり、３Ｄ画像生成をリアルタイム処理として実行することができる。

　　［５．ユーザ入力情報に基づくカスタマイズを行った３Ｄ画像を生成する処理例について］
　次に、ユーザ入力情報に基づくカスタマイズを行った３Ｄ画像を生成する処理例について説明する。

　図６に示す画像処理装置２００は、ユーザ入力部２０２を介して、レンダリングによって生成する３次元画像のカスタマイズ情報を入力することが可能である。
　例えば、顔の化粧設定情報、具体的には、口紅の色、頬紅の色、塗布領域、眉の設定等の様々な設定情報をカスタマイズ情報として入力可能である。
　画像処理装置２００の画像処理部２０３は、ユーザ入力部２０２を介して入力されるカスタマイズ情報を利用して表示部２０５に表示する３次元画像のレンダリングを行うことができる。

　例えば、画像入力部２０１を撮像部として設定し、撮像部の撮影した自分の顔画像に対して、メーキャップを施した３Ｄ画像を生成して表示部２０５に表示するといった処理を行うことが可能である。
　このような処理において、被写体をリアルに再現した３Ｄ画像ではなく、自分の理想となる肌質や、メイクになるようなマテリアルを適用することで、プリクラの美肌や、バーチャルメーキャップの効果を反映した３Ｄ画像を生成して表示するといった処理が可能となる。

　本実施例では、様々なカスタマイズ（修正、変更）を許容した属性情報－マテリアル対応データであるテンプレートデータベースを利用した処理を行う。
　本実施例において適用するテンプレートデータベースの例について、図１８を参照して説明する。

　テンプレートデータベース２２４は、図１８に示すように、
　ユーザによる修正、変更可能な情報であるカスタマイズ可能な属性情報と、マテリアルとの対応データである。
　カスタマイズ可能な属性情報には、被写体属性情報と、部位属性情報が含まれる。
　カスタマイズ可能なマテリアルは、テクスチャマップによって構成される。

　被写体属性情報は、例えば、「性別」、「年齢」、「人種」、「肌質」等の被写体である人物のカスタマイズ可能な属性情報である。
　部位属性情報は、例えば、目、鼻、眉毛、頬（チーク）等の人の顔の各部位の識別情報となるカスタマイズ可能な情報である。
　帆編実施例において、属性情報とマテリアルとの対応関係は、ユーザ入力部２０２から入力するユーザ入力情報に基づいて設定、変更が可能である。

　画像処理装置２００の画像処理部２０３が、リアルタイム処理によりＣＧ効果を施した３Ｄ画像を生成する処理を行う場合、画像処理部２０３は、このテンプレートデータベースを参照して、送信装置１１０から受信する被写体画像、例えば人物の撮影画像から検出された人の目、鼻、頬（チーク）等の部位に設定すべきマテリアルを即座に取得することができる。

　すなわち、このテンプレートデータベースを利用することで、画像入力部２０１を介して入力する被写体映像を構成するフレーム単位で、被写体構成要素単位（部位単位）の最適なマテリアル設定を短時間で行うことが可能となり、３Ｄ画像生成をリアルタイム処理として実行することができる。

　なお、図１８に示すテンプレートデータベース２２４の構成では、マテリアルとしてテクスチャマップのみを記録しており、シェーダについては記録していない。
　シェーダは、前述したように、メッシュ内の画素（ピクセル）ごとの描画色を計算するアルゴリズムである。図１８に示す設定のテンプレートデータベースを利用した処理を行う場合、テクスチャはテンプレートデータベースから取得し、シェーダについては、フレーム単位でその都度計算処理を実行してメッシュ内のピクセル単位の描画色の決定処理を行うことになる。

　図１８に示すテンプレートデータベース２２４と異なる設定としたテンプレートデータベース２０４の構成例を図１９に示す。
　図１９に示すテンプレートデータベース２２４は、マテリアルとしてテクスチャマップとシェーダを記録している。
　図１９に示す設定のテンプレートデータベースを利用すれば、テクスチャに併せてシェーダの情報もテンプレートデータベースから取得することが可能であり、フレーム単位、被写体構成要素単位（部位単位）でメッシュ内のテクスチャ、ピクセルごとの描画色の決定が可能となる。

　本実施例では、このように様々なカスタマイズ可能な属性情報とマテリアルとを対応付けたテンプレートデータベースを利用した処理を行う。
　このように、様々なカスタマイズ可能な属性情報とマテリアルとを対応付けたテンプレートデータベースを利用することで、例えば、被写体をリアルに再現した３Ｄ画像ではなく、自分の理想となる肌質や、メイクになるようなマテリアルの適用が可能であり、バーチャルメーキャップの効果を反映した３Ｄ画像を生成して表示することが可能となる。

　図２０に示すフローチャートは、ユーザ入力部２０２を介して入力されるカスタマイズ情報を利用して表示部２０５に表示する３次元画像のレンダリングを行う処理シーケンスを説明するフローチャートである。
　以下、このフローチャートに従って、図６に示す画像処理装置２００（＝図５の受信装置１２０）の実行するユーザ入力情報を反映した３次元画像生成処理の具体例について説明する。

　なお、図２０に示すフローチャートに従った処理は、例えば、画像処理装置の記憶部に格納されたプログラムに従って、プログラム実行機能を持つＣＰＵ等を備えたコントローラからなるデータ処理部の制御の下に実行される。
　図２０に示すフローの各ステップの処理について、順次、説明する。

　　（ステップＳ２０１）
　まず、ステップＳ２０１において、画像処理装置２００のユーザ入力部２０２を介して入力されるユーザ入力情報から、ユーザの希望するカスタマイズ情報（ＣＧ効果等）を取得する。

　　（ステップＳ２０２）
　次に、画像処理装置２００の画像入力部２０１が、３Ｄ画像の生成元となる撮影画像（テクスチャ）を入力する。
　なお、このフローに示すステップＳ２０２～Ｓ２０９の処理は、画像入力部２０１から入力する被写体の撮影映像を構成する画像フレームごとに実行される。
　すなわち、最終的なステップＳ２０９では、入力画像フレーム単位でＣＧ効果を付与した３Ｄ画像のレンダリングが行われることになる。

　　（ステップＳ２０３～Ｓ２０６）
　次のステップＳ２０３～Ｓ２０６の処理は、先に図９に示すフローチャートを参照して説明したステップＳ１０３～Ｓ１０６の処理と同様の処理である。

　すなわち、以下の処理を実行する。
　ステップＳ２０３において、特徴量抽出部２１１ａが、ステップＳ２０２で入力した撮影画像の特徴量に基づいて、被写体（人）の各部位（顔器官である目、鼻口、眉や、肌領域、体部位、髪、衣服等）対応の区分領域を設定する。
　例えば、先に図１０を参照して説明した顔器官である目、鼻口、眉等の特徴点に基づいて、各部位（顔器官である目、鼻口、眉や、肌領域、体部位、髪、衣服等）対応の区分領域を設定する。

　次に、ステップＳ２０４において、マスク画像生成部２１３ａが、特徴量に基づく区分領域単位のマテリアル設定を行うために適用するマスク画像を生成する。
　例えば、先に図１１を参照して説明した様々な部位対応のマスク画像を生成する。

　さらに、ステップＳ２０５において、メッシュ取得部２１２ａが、撮影画像対応の３Ｄモデルにメッシュを設定し、メッシュ分割部２１２ｂが、マスク画像に応じたメッシュ分割処理を実行する。
　前述したように、メッシュは、３次元モデルの細かな分割領域である三角形や四角形等の多角形領域である。
　このメッシュにマテリアルを設定することで、３次元画像の描画処理、レンダリングが行われる。３次元画像を描画（レンダリング）する場合、メッシュ単位で最適なマテリアルを設定することが必要となる。
　３次元モデルの構成要素となるメッシュに対して、そのメッシュの実際の材質に近いマテリアル、具体的には、テクスチャやシェーダを設定することで、リアリティのある３次元モデルデータを生成することができる。

　ステップＳ２０５では、まず、メッシュ取得部２１２ａが、入力撮影画像に対応する３次元モデル上にメッシュを設定し、さらにメッシュ分割部２１２ｂが、ステップＳ２０４で生成したマスク画像に応じたメッシュ分割処理を実行する。

　次に、ステップＳ２０６において、モデル追加部２１２ｃが、特徴量情報に基づいて、記憶部（ＤＢ）２０４に格納された３次元モデルを設置する。例えば、眼球の前に角膜モデルを設置する処理などを実行する。
　なお、３次元モデルは、記憶部（ＤＢ）２０４に予め格納されている。

　　（ステップＳ２０７）
　次に、ステップＳ２０７において、テクスチャマップ生成部２１３ｂが、各マテリアルに必要なテクスチャマップ（ベースカラー、シャイニネス、キャビティ、ノーマル等）を、図１８、図１９を参照して説明したカスタマイズ可能なテンプレートデータベースに従って生成する。

　図１８、図１９を参照して説明したカスタマイズ可能なテンプレートデータベースを利用することで、画像入力部２０１を介して入力する被写体映像を構成するフレーム単位で、部位単位の最適なマテリアル設定を短時間で行うことが可能となり、３Ｄ画像生成をリアルタイム処理として実行することができる。

　ステップＳ２０７では、レンダリングによって生成する３次元画像の各メッシュに設定するマテリアルの要素であるテクスチャを決定する。
　このテクスチャの決定処理には、記憶部（ＤＢ）２０４に格納されたテンプレートデータベース２２４、すなわちカスタマイズ可能な属性情報と、マテリアルとの対応データを利用する。
　カスタマイズ情報は、ステップＳ２０１において取得されるユーザ入力情報が適用可能である。

　例えば、図１８に示すテンプレートデータベース２２４の構成では、マテリアルとしてテクスチャマップを記録している。
　すなわち、カスタマイズ可能な属性情報に応じて適用するテクスチャマップの設定が記録されている。
　具体的には、例えば、２０～３５才の白人女性の普通肌というカスタマイズ情報を適用した場合、そのカスタマイズ情報に対応する、
　（ａ）目の周りの領域のメッシュに貼り付けるテクスチャマップの設定、
　（ｂ）鼻筋の領域のメッシュに貼り付けるテクスチャマップの設定、
　（ｃ）眉毛の領域のメッシュに貼り付けるテクスチャマップの設定、
　（ｄ）頬（チーク）の領域のメッシュに貼り付けるテクスチャマップの設定、
　　　・・・・・
　これらのカスタマイズされた属性情報対応のテクスチャマップが登録されている。

　このテンプレートデータベースを利用することで、画像入力部から入力する被写体映像を構成するフレーム単位で、部位単位の最適なマテリアル設定を短時間で行うことが可能となり、３Ｄ画像生成をリアルタイム処理として実行することができる。

　なお、図１８に示す設定のテンプレートデータベースを利用した処理を行う場合、テクスチャはテンプレートデータベースから取得し、シェーダについては、フレーム単位でその都度計算処理を実行してメッシュ内のピクセル単位の描画色の決定処理を行うことになる。

　前述したように、図１９に示すテンプレートデータベース２２４は、マテリアルとしてテクスチャマップとシェーダを記録している。
　図１９に示す設定のテンプレートデータベースを利用すれば、テクスチャに併せてシェーダの情報もテンプレートデータベースから取得することが可能であり、フレーム単位、部位単位でメッシュ内のテクスチャ、ピクセルごとの描画色の決定が可能となる。

　　（ステップＳ２０８）
　ステップＳ２０８では、レンダリング部２１４が、３Ｄモデルに対して、マテリアルを適用させるレンダリングを実行する。
　この処理は、ステップＳ２０７において、テンプレートデータベース２２４から取得されるカスタマイズされた属性情報対応のテクスチャマップを利用して、各部位のメッシュにマテリアル設定、すなわちテクスチャの貼り付けを行う。さらに、ピクセル単位の描画色の決定アルゴリズムであるシェーダを適用してピクセル単位の描画色の決定処理を行う。

　　（ステップＳ２０９）
　最後に、ステップＳ２０９において、表示部２０５がステップＳ２０８で生成したレンダリング結果を表示する。

　なお、ステップＳ２０１～Ｓ２０９の処理は、画像入力部２０１が入力する画像フレームごとに実行する。
　この処理は、リアルタイム処理として実行される。

　このリアルタイム処理を実現可能としている一つの大きな要素は、テンプレートデータベースである。
　すなわち、様々なユーザ要求によって修正、変更（カスタマイズ）可能な属性情報対応のテクスチャマップが登録されたテンプレートデータベースを利用することで、画像入力部２０１から入力する被写体映像を構成するフレーム単位で、被写体構成要素単位の最適なマテリアル設定を短時間で行うことが可能となり、３Ｄ画像生成をリアルタイム処理として実行することができる。

　　［６．画像処理装置のハードウェア構成例について］
　次に、図２１を参照して図６に示す画像処理装置２００や、図３～図５に示す送信装置１１０、受信装置１２０のハードウェア構成例について説明する。
　図２１は、図６に示す画像処理装置２００や、図３～図５に示す送信装置１１０、受信装置１２０に相当する画像処理装置３００のハードウェア構成例を示している。
　画像処理装置３００は、例えば、具体的には、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、タブレットＰＣ、スマートフォン、タブレット端末等の情報処理装置であってもよい。

　同図において、画像処理装置１００は、コントローラ３０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）３０２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）３０３、入出力インタフェース３０５、および、これらを互いに接続するバス３０４を備える。

　コントローラ３０１は、必要に応じてＲＡＭ３０３等に適宜アクセスし、各種演算処理を行いながら画像処理装置３００の各ブロック全体を統括的に制御する。コントローラ３０１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等であってもよい。ＲＯＭ３０２は、コントローラ３０１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。ＲＡＭ３０３は、コントローラ３０１の作業用領域等として用いられ、ＯＳ、実行中の各種アプリケーション、処理中の各種データを一時的に保持する。

　入出力インタフェース３０５には、入力部３０６、出力部３０７、記憶部３０８、通信部３０９、および、リムーバブルメディア３１１を装着可能なたドライブ３１０等が接続される。
　なお、入出力インタフェース１０５は、これらの各要素の他、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）端子やＩＥＥＥ端子等を介して外部周辺機器と接続可能に構成されてもよい。

　入力部３０６は、例えば、図６に示す画像処理装置２００の画像入力部２０１、ユーザ入力部２０２等を含む入力部である。画像入力部は、例えば撮像部等によって構成可能である。
　入力部３０６には、例えばマウス等のポインティングデバイス、キーボード、タッチパネル、その他の入力装置も含まれる。
　出力部３０７は、図６に示す画像処理装置２００の表示部２０５によって構成される。

　記憶部３０８は、図６に示す画像処理装置２００の記憶部（ＤＢ）２０４に相当する。例えばＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）や、フラッシュメモリ（ＳＳＤ；Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、その他の固体メモリ等の不揮発性メモリである。記憶部３０８には、ＯＳや各種アプリケーション、各種データが記憶される。記憶部３０８は、また、入力画像や、画像情報、生成した出力画像群等の記憶領域としても利用される。

　通信部３０９は、例えばＥｔｈｅｒｎｅｔ（登録商標）用のＮＩＣ（Ｎｅｔｗｏｒｋ　Ｉｎｔｅｒｆａｃｅ　Ｃａｒｄ）であり、ネットワークを介した通信処理を担う。

　ドライブ３１０は、リムーバブルメディア３１１を利用したデータ記録、再生処理に利用される。
　リムーバブルメディア３１１は、例えばＢＤ、ＤＶＤ、ＣＤ、ＨＤＤ、フラッシュメモリ等によって構成される。

　　［７．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　入力画像に基づく３次元画像生成処理を実行する画像処理部を有し、
　前記画像処理部は、
　前記入力画像の被写体の属性情報と、３次元画像のレンダリング要素であるマテリアルとの対応データであるテンプレートデータベースを参照して被写体属性に応じたマテリアルを選択して３次元画像の生成処理を実行する画像処理装置。

　（２）　前記入力画像は、動画像データであり、
　前記画像処理部は、
　前記動画像データを構成する画像フレームごとに新たな３次元画像の生成処理を実行する（１）に記載の画像処理装置。

　（３）　前記入力画像は、動画像データであり、
　前記画像処理部は、
　前記動画像データを構成する画像フレームごとに、３次元画像の構成単位であるメッシュと、マテリアルの設定を更新して新たな３次元画像の生成処理を実行するゅぬょまたは（２）に記載の画像処理装置。

　（４）　前記テンプレートデータベースは、
　前記被写体の構成要素単位のマテリアルが記録されているデータベースであり、
　前記画像処理部は、
　前記構成要素単位のマスク画像を適用して、各構成要素に対するマテリアルを前記テンプレートデータベースから取得して構成要素単位のマテリアル設定を実行する（１）～（３）いずれかに記載の画像処理装置。

　（５）　前記入力画像は人物の顔画像を含み、
　前記テンプレートデータベースは、
　前記入力画像に含まれる人物の顔の構成要素単位のマテリアルが記録されているデータベースであり、
　前記画像処理部は、
　前記入力画像に含まれる人物の顔の構成要素単位のマスク画像を適用して、各構成要素に対するマテリアルを前記テンプレートデータベースから取得して、顔の構成要素単位のマテリアル設定を実行する（１）～（４）いずれかに記載の画像処理装置。

　（６）　前記テンプレートデータベースは、
　前記マテリアルとしてテクスチャを含み、
　前記画像処理部は、
　前記テンプレートデータベースから、被写体属性に応じたテクスチャを選択して３次元画像の生成処理を実行する（１）～（５）いずれかに記載の画像処理装置。

　（７）　前記テンプレートデータベースは、
　前記マテリアルとしてテクスチャとシェーダを含み、
　前記画像処理部は、
　前記テンプレートデータベースから、被写体属性に応じたテクスチャとシェーダを選択して３次元画像の生成処理を実行する（１）～（６）いずれかに記載の画像処理装置。

　（８）　前記画像処理部は、
　前記入力画像から特徴量を抽出する特徴量抽出部を有し、
　特徴量抽出部の抽出した特徴量に基づいて、被写体の構成要素を識別し、
　識別された構成要素単位のマテリアル設定を行う（１）～（７）いずれかに記載の画像処理装置。

　（９）　前記画像処理部は、
　前記入力画像から特徴量を抽出する特徴量抽出部を有し、
　特徴量抽出部の抽出した特徴量に基づいて、被写体の構成要素を識別し、
　識別された構成要素単位のマスク画像生成処理を行う（１）～（８）いずれかに記載の画像処理装置。

　（１０）　前記画像処理部は、
　被写体の構成要素に併せて、マテリアル設定単位となるメッシュの分割処理を実行するメッシュ分割部を有する（１）～（９）いずれかに記載の画像処理装置。

　（１１）　前記被写体の属性情報は、
　性別、年齢、人種、肌質の少なくともいずれかを含む（１）～（１０）いずれかに記載の画像処理装置。

　（１２）　前記被写体の属性情報は、
　前記入力画像の解析処理によって取得される属性情報、またはユーザ入力によって取得される属性情報である（１）～（１１）いずれかに記載の画像処理装置。

　（１３）　前記テンプレートデータベースに格納された属性情報とマテリアルとの対応データは、ユーザによるカスタマイズ可能なデータであり、
　ユーザ入力部を介して入力される入力情報に応じて、属性情報とマテリアルとの対応データを変更することができる構成を有する（１）～（１２）いずれかに記載の画像処理装置。

　（１４）　前記入力画像は、
　ネットワークを介して受信する画像である（１）～（１３）いずれかに記載の画像処理装置。

　（１５）　画像を送信する送信装置と、
　前記送信装置からの入力画像に対する加工処理を実行して、３次元画像を生成して表示部に表示する受信装置を有し、
　前記受信装置の画像処理部は、
　前記入力画像の被写体の属性情報と、３次元画像のレンダリング要素であるマテリアルとの対応データであるテンプレートデータベースを参照して被写体属性に応じたマテリアルを選択して前記３次元画像の生成処理を実行する画像処理システム。

　（１６）　前記画像は、動画像データであり、
　前記受信装置の画像処理部は、
　前記動画像データを構成する画像フレームごとに、３次元画像の構成単位であるメッシュと、マテリアルの設定を更新して新たな３次元画像の生成処理を実行する（１５）に記載の画像処理システム。

　（１７）　前記テンプレートデータベースは、
　前記被写体の構成要素単位のマテリアルが記録されているデータベースであり、
　前記受信装置の画像処理部は、
　前記構成要素単位のマスク画像を適用して、各構成要素に対するマテリアルを前記テンプレートデータベースから取得して構成要素単位のマテリアル設定を実行する（１５）または（１６）に記載の画像処理システム。

　（１８）　前記入力画像は人物の顔画像を含み、
　前記テンプレートデータベースは、
　人物の顔の構成要素単位のマテリアルが記録されているデータベースであり、
　前記画像処理部は、
　前記入力画像に含まれる人物の顔の構成要素単位のマスク画像を適用して、各構成要素に対するマテリアルを前記テンプレートデータベースから取得して、顔の構成要素単位のマテリアル設定を実行する（１５）～（１７）いずれかに記載の画像処理システム。

　（１９）　画像処理装置において実行する画像処理方法であり、
　前記画像処理装置は、
　入力画像に基づく３次元画像生成処理を実行する画像処理部を有し、
　前記画像処理部が、
　前記入力画像の被写体の属性情報と、３次元画像のレンダリング要素であるマテリアルとの対応データであるテンプレートデータベースを参照して被写体属性に応じたマテリアルを選択して３次元画像の生成処理を実行する画像処理方法。

　（２０）　画像処理装置において画像処理を実行させるプログラムであり、
　前記画像処理装置は、
　入力画像に基づく３次元画像生成処理を実行する画像処理部を有し、
　前記プログラムは、前記画像処理部に、
　前記入力画像の被写体の属性情報と、３次元画像のレンダリング要素であるマテリアルとの対応データであるテンプレートデータベースを参照して被写体属性に応じたマテリアルを選択して３次元画像の生成処理を実行させるプログラム。

　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本開示の一実施例の構成によれば、リアルタイムでの入力画像に基づく３Ｄ画像生成を可能とした装置、方法が実現される。
　具体的には、例えば、入力画像の各画像フレームに対する加工処理を実行して３次元画像を生成する。入力画像の被写体の属性情報と３次元画像のレンダリング要素であるマテリアルとの対応データであるテンプレートデータベースを参照して被写体属性に応じたマテリアルを選択して３次元画像を生成する。テンプレートデータベースは、人物の顔の構成要素単位のマテリアルが記録されており、画像処理部は、顔の構成要素単位のマスク画像を適用して、各構成要素に対するマテリアルをテンプレートデータベースから取得して、顔の構成要素単位でのマテリアル設定を実行する。
　本構成により、リアルタイムでの入力画像に基づく３Ｄ画像生成を可能とした装置、方法が実現される。

　１１０　送信装置
　１１１　画像取得部
　１１３　３次元モデル情報生成部
　１１４　送信情報生成部
　１１５　通信部
　１２０　受信装置
　１２１　通信部
　１２２　画像処理部
　１２３　データベース
　１２４　表示部
　２００　画像処理装置
　２０１　画像入力部
　２０２　ユーザ入力部
　２０３　画像処理部
　２０４　記憶部
　２０５　表示部
　２１１　画像情報解析部
　２１１ａ　特徴量抽出部
　２１１ｂ　属性解析部
　２１２　メッシュ編集部
　２１２ａ　メッシュ取得部
　２１２ｂ　メッシュ分割部
　２１２ｃ　モデル追加部
　２１３　マテリアル適用部
　２１３ａ　マスク画像生成部
　２１３ｂ　テクスチャマップ生成部
　２１４　レンダリング部
　２２２　マスク画像
　２２３　被写体属性情報
　２２４　テンプレートデータベース
　３０１　コントローラ
　３０２　ＲＯＭ
　３０３　ＲＡＭ
　３０４　バス
　３０５　入出力インタフェース
　３０６　入力部
　３０７　出力部
　３０８　記憶部
　３０９　通信部
　３１０　ドライブ
　３１１　リムーバブルメディア

Claims

　入力画像に基づく３次元画像生成処理を実行する画像処理部を有し、
　前記画像処理部は、
　前記入力画像の被写体の属性情報と、３次元画像のレンダリング要素であるマテリアルとの対応データであるテンプレートデータベースを参照して被写体属性に応じたマテリアルを選択して３次元画像の生成処理を実行する画像処理装置。
　前記入力画像は、動画像データであり、
　前記画像処理部は、
　前記動画像データを構成する画像フレームごとに新たな３次元画像の生成処理を実行する請求項１に記載の画像処理装置。
　前記入力画像は、動画像データであり、
　前記画像処理部は、
　前記動画像データを構成する画像フレームごとに、３次元画像の構成単位であるメッシュと、マテリアルの設定を更新して新たな３次元画像の生成処理を実行する請求項１に記載の画像処理装置。
　前記テンプレートデータベースは、
　前記被写体の構成要素単位のマテリアルが記録されているデータベースであり、
　前記画像処理部は、
　前記構成要素単位のマスク画像を適用して、各構成要素に対するマテリアルを前記テンプレートデータベースから取得して構成要素単位のマテリアル設定を実行する請求項１に記載の画像処理装置。
　前記入力画像は人物の顔画像を含み、
　前記テンプレートデータベースは、
　前記入力画像に含まれる人物の顔の構成要素単位のマテリアルが記録されているデータベースであり、
　前記画像処理部は、
　前記入力画像に含まれる人物の顔の構成要素単位のマスク画像を適用して、各構成要素に対するマテリアルを前記テンプレートデータベースから取得して、顔の構成要素単位のマテリアル設定を実行する請求項１に記載の画像処理装置。
　前記テンプレートデータベースは、
　前記マテリアルとしてテクスチャを含み、
　前記画像処理部は、
　前記テンプレートデータベースから、被写体属性に応じたテクスチャを選択して３次元画像の生成処理を実行する請求項１に記載の画像処理装置。
　前記テンプレートデータベースは、
　前記マテリアルとしてテクスチャとシェーダを含み、
　前記画像処理部は、
　前記テンプレートデータベースから、被写体属性に応じたテクスチャとシェーダを選択して３次元画像の生成処理を実行する請求項１に記載の画像処理装置。
　前記画像処理部は、
　前記入力画像から特徴量を抽出する特徴量抽出部を有し、
　特徴量抽出部の抽出した特徴量に基づいて、被写体の構成要素を識別し、
　識別された構成要素単位のマテリアル設定を行う請求項１に記載の画像処理装置。
　前記画像処理部は、
　前記入力画像から特徴量を抽出する特徴量抽出部を有し、
　特徴量抽出部の抽出した特徴量に基づいて、被写体の構成要素を識別し、
　識別された構成要素単位のマスク画像生成処理を行う請求項１に記載の画像処理装置。
　前記画像処理部は、
　被写体の構成要素に併せて、マテリアル設定単位となるメッシュの分割処理を実行するメッシュ分割部を有する請求項１に記載の画像処理装置。
　前記被写体の属性情報は、
　性別、年齢、人種、肌質の少なくともいずれかを含む請求項１に記載の画像処理装置。
　前記被写体の属性情報は、
　前記入力画像の解析処理によって取得される属性情報、またはユーザ入力によって取得される属性情報である請求項１に記載の画像処理装置。
　前記テンプレートデータベースに格納された属性情報とマテリアルとの対応データは、ユーザによるカスタマイズ可能なデータであり、
　ユーザ入力部を介して入力される入力情報に応じて、属性情報とマテリアルとの対応データを変更することができる構成を有する請求項１に記載の画像処理装置。
　前記入力画像は、
　ネットワークを介して受信する画像である請求項１に記載の画像処理装置。
　画像を送信する送信装置と、
　前記送信装置からの入力画像に対する加工処理を実行して、３次元画像を生成して表示部に表示する受信装置を有し、
　前記受信装置の画像処理部は、
　前記入力画像の被写体の属性情報と、３次元画像のレンダリング要素であるマテリアルとの対応データであるテンプレートデータベースを参照して被写体属性に応じたマテリアルを選択して前記３次元画像の生成処理を実行する画像処理システム。
　前記画像は、動画像データであり、
　前記受信装置の画像処理部は、
　前記動画像データを構成する画像フレームごとに、３次元画像の構成単位であるメッシュと、マテリアルの設定を更新して新たな３次元画像の生成処理を実行する請求項１５に記載の画像処理システム。
　前記テンプレートデータベースは、
　前記被写体の構成要素単位のマテリアルが記録されているデータベースであり、
　前記受信装置の画像処理部は、
　前記構成要素単位のマスク画像を適用して、各構成要素に対するマテリアルを前記テンプレートデータベースから取得して構成要素単位のマテリアル設定を実行する請求項１５に記載の画像処理システム。
　前記入力画像は人物の顔画像を含み、
　前記テンプレートデータベースは、
　人物の顔の構成要素単位のマテリアルが記録されているデータベースであり、
　前記画像処理部は、
　前記入力画像に含まれる人物の顔の構成要素単位のマスク画像を適用して、各構成要素に対するマテリアルを前記テンプレートデータベースから取得して、顔の構成要素単位のマテリアル設定を実行する請求項１５に記載の画像処理システム。
　画像処理装置において実行する画像処理方法であり、
　前記画像処理装置は、
　入力画像に基づく３次元画像生成処理を実行する画像処理部を有し、
　前記画像処理部が、
　前記入力画像の被写体の属性情報と、３次元画像のレンダリング要素であるマテリアルとの対応データであるテンプレートデータベースを参照して被写体属性に応じたマテリアルを選択して３次元画像の生成処理を実行する画像処理方法。
　画像処理装置において画像処理を実行させるプログラムであり、
　前記画像処理装置は、
　入力画像に基づく３次元画像生成処理を実行する画像処理部を有し、
　前記プログラムは、前記画像処理部に、
　前記入力画像の被写体の属性情報と、３次元画像のレンダリング要素であるマテリアルとの対応データであるテンプレートデータベースを参照して被写体属性に応じたマテリアルを選択して３次元画像の生成処理を実行させるプログラム。