JP4880090B2 - ３ｄテクスチャの超解像のための画像生成装置及び方法 - Google Patents

３ｄテクスチャの超解像のための画像生成装置及び方法 Download PDF

Info

Publication number
JP4880090B2
JP4880090B2 JP2011510910A JP2011510910A JP4880090B2 JP 4880090 B2 JP4880090 B2 JP 4880090B2 JP 2011510910 A JP2011510910 A JP 2011510910A JP 2011510910 A JP2011510910 A JP 2011510910A JP 4880090 B2 JP4880090 B2 JP 4880090B2
Authority
JP
Japan
Prior art keywords
image
unit
geometric parameter
subject
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011510910A
Other languages
English (en)
Other versions
JP2011522316A (ja
Inventor
正宏 岩崎
マヌス ローカン・マック
ネイル・ドジソン
克洋 金森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JP2011522316A publication Critical patent/JP2011522316A/ja
Application granted granted Critical
Publication of JP4880090B2 publication Critical patent/JP4880090B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/36—Level of detail

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、画像生成装置に関し、特に、低品質な被写体画像等から得られる被写体表面の凹凸等の表面形状に関する幾何パラメータから、被写体表面の凹凸等の表面形状をより鮮明に反映した高品質な被写体画像を生成したり、被写体表面の凹凸等の表面形状を鮮明に反映しながら、任意の位置から照射される擬似的な光源下での被写体画像を生成したりする装置に関する。
フルーツ、木材、人物の肌など、表面に凹凸を持つ被写体を撮像する際に、低品位な撮像システムを用いたり、被写体が画像サイズと比較して小さい場合など、解像度不足により表面の凹凸情報を画像として再現できない問題がしばしば起こる。このような問題に対して、特許文献１では、デジタルカメラなどのカメラを用いて撮像を行った第一画像に加えて、ズーム等を行い第一画像の一部分を第一画像の対応部分よりも高品位に撮像した第二画像を用いて、両画像の関係から品位向上関数を学習し、その品位向上関数を画像全体に対して適用することによって、画像全体の質や解像度を向上させる方法が開示されている。これによって、低品位な撮像システムであっても、より高品位な画像を生成することができ、解像度不足により撮像できなかった表面の凹凸情報を第二画像から得た情報により画像として復元することが可能である。
しかしながら、特許文献１に開示されている方法では、被写体表面の凹凸を反映した画像を生成することはできるものの、撮像時の光源とは異なる擬似的な光源下での被写体画像を生成することはできない。擬似的な光源下での被写体画像を生成するためには、物体表面の形状に関する情報、具体的には、物体表面の法線、視点位置に関する幾何パラメータが必要である。特に、前記方法は画像に限定した方法では無いものの、品位向上関数は同一種のデータから生成されることを前提とした方法であるため、画像から、画像とは異なる情報である前記幾何パラメータを推定する方法は開示されていない。
また、レンジファインダ等を用いて、被写体の形状に関する幾何パラメータを復元する方法もあり、被写体の大まかな形状に関する幾何パラメータを取得することは可能である。しかしながら、解像度や精度が課題であり、フルーツ、木材、人物の肌などの被写体の微細な凹凸を取得するためには、非常に大掛かりなシステムを必要とするため、特にコンシューマ用途には、サイズ、コストの観点から現実的ではないといった問題がある。
一方で、特許文献２に、表面の凹凸情報を反映した画像を生成することが可能でかつ、画像から、画像とは異なる情報である物体表面の法線に関わる前記幾何パラメータを推定する方法が開示されている。ここでは、視点位置、光源位置、物体表面の法線に関わる幾何パラメータと画素値との物理的な関係を示すＴｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデルを用いて、被写体画像に対して前記Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデルをフィッティングし、フィッティングした結果と実測値との差分をガウス分布でモデル化している。ここで、ガウス分布でモデル化された成分は、高解像度成分と考えることも可能である。これにより、表面の凹凸情報が失われた画像に対して、前記ガウスモデルでモデル化した成分を付加することによって、表面の凹凸情報を反映した画像を生成可能であり、さらには、前述のように、視点位置、光源位置、物体表面の法線に関わる幾何パラメータを保持しているため、疑似的な光源下の画像生成を行うことも可能である。
米国特許出願公開第２００６／０００３３２８号明細書 特開２００６−３１５９５号公報
しかしながら、上記特許文献２の技術では、特にフルーツや木材、人物の肌などに見られる、中程度の凹凸情報であるメソストラクチャを反映した画像を生成することはできない。メソストラクチャについては、非特許文献１などで用いられているように、空間的に中程度の構造を持った凹凸が空間的にばらつきをもって分布しているものと捉えることができる。一方、特許文献２におけるガウスモデルは、画素値と前記幾何パラメータとの関係において、画素ごとの画素値のばらつきをモデル化したものである。そのため、表面の一様なざらつき等を表現することは可能であるものの、空間的に中程度の構造を持った凹凸を表現することができない。その結果、前述のフルーツや木材、人物の肌などに適用した場合には、一様なざらつき感として表現され、メソストラクチャとは異なる凹凸の画像が再現されることになる。
そこで、本発明は、低品位な被写体画像等から得られる被写体表面のメソストラクチャに関する幾何パラメータから、被写体表面のメソストラクチャをより鮮明に反映した高品質な被写体画像であって、かつ、任意の位置から照射される擬似的な光源下での被写体画像を生成することができる画像生成装置及びその方法を提供することを目的とする。
Ｔｏｎｇｂｏ Ｃｈｅｎ，Ｍｉｃｈａｅｌ Ｇｏｅｓｅｌｅ ａｎｄ Ｈａｓ−Ｐｅｔｅｒ Ｓｅｉｄｅｌ，"Ｍｅｓｏｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｓｐｅｃｕｌａｒｉｔｙ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２００６ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２００６
この課題を解決するために本発明は、被写体の表面形状を表す情報から、より鮮明に被写体の表面形状を反映した高品位な画像を生成する画像生成装置であって、生成する画像は、光源から光を照射した被写体を視点から見たときの画像であり、前記画像生成装置は、前記光源及び前記視点の位置情報と、前記被写体の表面形状を表す法線情報とを取得する光源・視点・法線情報取得部と、生成する画像を構成する各画素に対応する前記被写体表面の各点について、前記光源及び前記視点の位置情報と前記法線情報とを用いた予め定められた演算を行うことで、前記被写体の形状に関する幾何パラメータである第一幾何パラメータを算出する幾何パラメータ算出部と、前記被写体表面の一部に対応するメソストラクチャを表す幾何パラメータであって、前記光源・視点・法線情報取得部で取得された法線情報の空間的な解像度よりも高い解像度の成分をもつ幾何パラメータである表現子を保持している高解像度データベース部と、前記高解像度データベース部から前記表現子を読み出し、読み出した表現子が示す空間的な領域が前記被写体表面を覆うように、前記表現子を空間的に拡張する表現子拡張部と、前記幾何パラメータ算出部で算出された第一幾何パラメータに対して、前記表現子拡張部で拡張された表現子を用いて補正することで、補正後幾何パラメータを算出する幾何パラメータ補正部と、前記幾何パラメータ補正部で算出された補正後幾何パラメータを、幾何パラメータから画素値を決定する反射モデルに適用することで、前記各点の画素値を算出し、画像を生成する画像生成部とを備える。
これにより、被写体の表面を表す幾何パラメータが、より高解像度の成分をもつ幾何パラメータで補正され、補正後の幾何パラメータから画像が生成されるので、より高品位な画像が生成される。さらに、それらの幾何パラメータは、光源の位置情報を反映したパラメータであり、このような幾何パラメータが反射モデルに適用されて画像が生成されるので、光源の位置を所望の位置に設定することが可能であり、これにより、任意の位置から照射される擬似的な光源下での被写体画像が生成される。
なお、本発明は、上記画像生成方法として実現できるだけでなく、上記各ステップを構成要素とする画像生成装置、上記各ステップをコンピュータに実行させるプログラム、そのプログラムを格納したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体等として実現することもできる。
本発明により、低品質な被写体画像等から得られる被写体表面の凹凸に関する幾何パラメータに基づいて、被写体表面の凹凸、特にはメソストラクチャをより鮮明に反映した高品質な被写体画像であって、かつ任意から照射される擬似的な光源下での被写体画像を生成したりすることができる。
よって、デジタルカメラ等で得られた画像を高解像度化したり、所望の位置に光源が置かれたときの擬似的な画像を生成したりすることができ、デジタルカメラや監視カメラが普及してきた今日における実用的価値は極めて高い。
図１は、本発明の実施の形態１における画像生成装置の基本構成を示す図である。 図２は、本発明の実施の形態１における画像生成装置の基本動作を示すフローチャートである。 図３は、本発明の実施の形態１における画像生成装置が生成する情報及び画像の概念を示す図である。 図４は、本発明の実施の形態１における幾何パラメータの一例を示す図である。 図５Ａは、本発明の実施の形態１及び従来技術における表現子の一例を示す概念図である。 図５Ｂは、本発明の実施の形態１及び従来技術における表現子の一例を示す概念図である。 図６は、本発明の実施の形態１における拡張された表現子の例を示す概念図である。 図７は、本発明の実施の形態２における画像生成装置の基本構成を示す図である。 図８は、本発明の実施の形態２における画像生成装置の基本動作を示すフローチャートである。 図９は、本発明の実施の形態２における画像生成装置が生成する情報及び画像の概念を示す図である。 図１０（ａ）及び（ｂ）は、それぞれ、本発明の実施の形態２における第一及び第二撮像画像の一例を示す図である。 図１１は、本発明の実施の形態３における画像生成装置のうち実施の形態１の変形例における画像生成装置の基本構成を示す図である。 図１２は、本発明の実施の形態３における画像生成装置のうち実施の形態２の変形例における画像生成装置の基本構成を示す図である。 図１３Ａは、本発明の実施の形態３における画像生成装置のうち実施の形態１及び２の変形例における画像生成装置の基本動作を示すフローチャートである。 図１３Ｂは、本発明の実施の形態３における画像生成装置のうち実施の形態１及び２の変形例における画像生成装置の基本動作を示すフローチャートである。 図１４は、本発明の実施の形態３における擬似光源下画像生成における幾何パラメータの一例を示す図である。 図１５は、本発明の実施の形態３における擬似光源下での画像生成の一例（動画）を示す図である。 図１６は、本発明の実施の形態１から３の別の変形例における画像生成装置の基本構成を示す図である。 図１７は、同変形例における画像生成装置の動作を示すフローチャートである。 図１８（ａ）〜（ｄ）は、本発明の実施の形態３の変形例における処理を説明するための図である。 図１９は、本発明の実施の形態３の変形例における画像生成装置の構成を示すブロック図である。 図２０は、同変形例における画像生成装置の動作を示すフローチャートである。 図２１Ａは、本発明の実施の形態４における顔画像合成システムの動作原理を説明する図である。 図２１Ｂは、本発明の実施の形態４における顔画像合成システムの動作原理を説明する図である。 図２１Ｃは、本発明の実施の形態４における顔画像合成システムの動作原理を説明する図である。 図２２Ａは、本発明の実施の形態４における顔画像合成システムの動作原理をより詳細に説明する図である。 図２２Ｂは、本発明の実施の形態４における顔画像合成システムの動作原理をより詳細に説明する図である。 図２３は、本発明の実施の形態４の変形例における顔画像合成システムの構成を示すブロック図である。 図２４は、髪の反射モデルを説明するための図である。 図２５は、髪領域のメソストラクチャの表現子を説明するための図である。 図２６Ａは、本発明の実施の形態４の効果を説明するための図である。 図２６Ｂは、本発明の実施の形態４の効果を説明するための図である。
本発明の一実施形態は、被写体の表面形状を表す情報から、より鮮明に被写体の表面形状を反映した高品位な画像を生成する画像生成装置であって、生成する画像は、光源から光を照射した被写体を視点から見たときの画像であり、前記画像生成装置は、前記光源及び前記視点の位置情報と、前記被写体の表面形状を表す法線情報とを取得する光源・視点・法線情報取得部と、生成する画像を構成する各画素に対応する前記被写体表面の各点について、前記光源及び前記視点の位置情報と前記法線情報とを用いた予め定められた演算を行うことで、前記被写体の形状に関する幾何パラメータである第一幾何パラメータを算出する幾何パラメータ算出部と、前記被写体表面の一部に対応するメソストラクチャを表す幾何パラメータであって、前記光源・視点・法線情報取得部で取得された法線情報の空間的な解像度よりも高い解像度の成分をもつ幾何パラメータである表現子を保持している高解像度データベース部と、前記高解像度データベース部から前記表現子を読み出し、読み出した表現子が示す空間的な領域が前記被写体表面を覆うように、前記表現子を空間的に拡張する表現子拡張部と、前記幾何パラメータ算出部で算出された第一幾何パラメータに対して、前記表現子拡張部で拡張された表現子を用いて補正することで、補正後幾何パラメータを算出する幾何パラメータ補正部と、前記幾何パラメータ補正部で算出された補正後幾何パラメータを、幾何パラメータから画素値を決定する反射モデルに適用することで、前記各点の画素値を算出し、画像を生成する画像生成部とを備える。この構成により、メソストラクチャを再現可能な高解像度成分を表現子としてデータベースに保持し、それを空間的に拡張することによって、低品質な被写体画像等から得られる被写体の表面形状を表す情報から、被写体表面の凹凸をより鮮明に反映した高品質な被写体画像を生成可能である。また、被写体表面の各点における法線情報と光源及び視点の位置情報とから算出される幾何パラメータを反射モデルに適用して画像を生成しているので、光源の位置を所望の値に設定することが可能であり、これにより、任意の位置から照射される擬似的な光源下での被写体画像が生成される。
なお、幾何パラメータの具体例として、前記幾何パラメータとは、前記光源の方向を示す単位ベクトルと前記視点の方向を示す単位ベクトルとの加算によって得られるハーフベクトルと、当該幾何パラメータに対応する点における法線ベクトルとがなす角度に対応する値である。
本発明のより好ましい形態は、前記光源・視点・法線情報取得部は、前記被写体を撮像するステレオカメラ又はレンジファインダあるいはその他の形状取得装置から取得した情報から法線情報を算出することにより、前記法線情報を取得する。この構成により、幾何パラメータをステレオカメラ、もしくはレンジファインダ、もしくは他の形状取得手段から取得することによって、被写体全体の大まかな形状に関する幾何学的情報を得ることができ、別途取得した高解像度成分に相当する表現子を被写体全体に拡張することによって、被写体表面の凹凸をより鮮明に反映した高品質な被写体画像を生成可能であり、さらには、被写体表面の凹凸を反映しながら、任意の位置から照射される擬似的な光源下での被写体画像を生成することが可能である。
本発明のより好ましい形態の一つは、前記反射モデルは、ある点における法線情報と視点の位置情報と幾何パラメータとから、当該点における画素値を算出する式であり、前記画像生成部は、前記補正後幾何パラメータに加えて、光源・視点・法線情報取得部で取得された法線情報と視点の位置情報を前記反射モデルに適用することで、前記各点の画素値を算出する。この構成により、光源位置に関する反射モデルのパラメータを変化させることによって、被写体表面の凹凸を鮮明に反映しながら、任意の位置から照射される擬似的な光源下での被写体画像を生成することが可能である。
本発明のより好ましい形態の一つは、さらに、前記被写体を撮像することで第一画像を取得する第一画像撮像部と、前記第一画像のうち、高品位化させたい部分であるハイライト部分に対応する前記被写体の一部を、前記第一画像撮像部よりも高解像度で撮像することで、第二画像を取得する第二画像撮像部と、前記第二画像撮像部で取得された第二画像の画素値を目的関数として、前記被写体の表面形状に関する幾何パラメータである第二幾何パラメータを推定する第二幾何パラメータ推定部と、前記第二幾何パラメータ推定部で推定された第二幾何パラメータ自身を前記表現子として、生成した表現子を前記高解像度データベースに格納する表現子生成部とを備える。この構成により、ハイライト部分を高品位に撮像し、その画像からメソストラクチャを表現可能な幾何パラメータを推定することによって、低品質な被写体画像等から得られる被写体の表面形状を表す情報から、被写体表面の凹凸をより鮮明に反映した高品質な被写体画像を生成可能である。
本発明のより好ましい形態の一つは、前記第二画像撮像部は、前記第一画像撮像による撮像よりもズームして前記被写体の一部を撮像することで、前記第二画像を取得する。この構成により、ズーム機能を備えたカメラを用いることによって、カメラを2台用意するよりも小さな構成で被写体表面の凹凸をより鮮明に反映した高品質な被写体画像を生成可能であり、さらには、被写体表面の凹凸を反映しながら、任意の位置から照射される擬似的な光源下での被写体画像を生成することが可能である。
本発明のより好ましい形態の一つは、前記光源・視点・法線情報取得部は、前記光源の位置情報として、複数の位置情報を取得し、前記幾何パラメータ算出部は、前記光源・視点・法線情報取得部で取得された複数の前記光源の位置情報のそれぞれに対応させて、前記第一幾何パラメータを算出し、前記幾何パラメータ補正部は、前記光源・視点・法線情報取得部で取得された複数の前記光源の位置情報のそれぞれに対応させて、前記補正後幾何パラメータを算出し、前記画像生成部は、前記光源・視点・法線情報取得部で取得された複数の前記光源の位置情報のそれぞれに対応させて、前記画像を生成する。この構成により、変動する複数の光源位置のそれぞれについて、前記第一幾何パラメータを算出し、前記補正後幾何パラメータを算出し、前記画像を生成するので、被写体表面の凹凸を鮮明に反映しながら、任意の位置から照射される擬似的な光源下での複数の被写体画像を連続的に生成することが可能である。
本発明のより好ましい形態の一つは、さらに、前記被写体を撮像することで第一画像を取得する第一画像撮像部と、前記第一画像撮像部で取得された第一画像を鏡面反射成分と拡散反射成分とに分離する分離部とを備え、前記幾何パラメータ算出部、前記表現子拡張部、前記幾何パラメータ補正部及び前記画像生成部は、前記分離部で分離された鏡面反射成分について、それぞれの処理を実行し、前記画像生成部はさらに、生成した前記鏡面反射成分に対応する画像と、前記分離部で分離された拡散反射成分に対応する画像とを合成する。この構成により、入力画像を拡散反射成分と鏡面反射成分とに分離し、鏡面反射成分に対して反射モデルを適用して画像を高品位化することにより、反射モデルを適用すべき本来の画像成分（鏡面反射成分）だけに対して反射モデルを適用することなり、これにより、被写体表面の凹凸をより正確かつ鮮明に反映した高品質な被写体画像を生成可能であり、さらには、被写体表面の凹凸を反映しながら、任意の位置から照射される擬似的な光源下での被写体画像を生成することが可能である。
本発明のより好ましい形態の一つは、前記表現子拡張部は、前記分離部で分離された鏡面反射成分と拡散反射成分との相関を保ちながら、鏡面反射を呈する前記表現子を拡張する表現子適合拡張部を有する。この構成により、鏡面反射を呈するメソストラクチャが拡散反射画像との相関を用いて整合性を有しながら拡張されるため、光源変化などが生じた場合、表面反射の状況のリアリティがより向上する。
本発明のより好ましい形態の一つは、さらに、前記被写体の表面形状を表すコンピュータ・グラフィックス・データを取得し、取得したコンピュータ・グラフィックス・データから前記表現子を生成し、生成した表現子を前記高解像度データベースに格納する表現子生成部を備える。この構成により、人工データに対しても低品質な被写体画像等から得られる被写体の表面形状を表す情報から、被写体表面の凹凸をより鮮明に反映した高品質な被写体画像を生成可能である。
本発明のより好ましい形態の一つは、被写体を撮影して得られる画像に対して光源及び視点の位置を変化させる変換を行い、メソストラクチャ反射状況を再現した高品位な画像を生成する画像生成装置であって、生成する画像は、光源から光を照射した被写体を任意の視点から見たときの画像であり、前記画像生成装置は、被写体を撮影して得られる実写画像を取得する画像撮像部と、光源の位置を表す光源情報を取得する光源情報取得部と、取得された光源情報に基づいて前記光源の位置を変化させた情報を生成する光源情報変換部と、前記被写体の表面形状を表す形状データを保持する形状復元部と、前記形状復元部に保持された形状データに基づいて前記被写体の法線を求める法線推定部と、カメラ撮像位置を求める視線情報取得部と、前記形状復元部に保持された形状データ及び視点を任意位置に変化させる視点変換部と、撮像画像を鏡面反射画像と拡散反射画像に分離するＤＳ分離部と、生成する画像を構成する各画素に対応する前記被写体表面の各点について、前記光源及び前記視点の位置情報と前記法線情報とを用いた予め定められた演算を行うことで、前記被写体の形状に関する幾何パラメータを算出する幾何パラメータ算出部と、前記ＤＳ分離部で分離された鏡面反射画像からメソストラクチャを表す幾何パラメータである表現子を抽出する鏡面反射画像メソストラクチャ抽出部と、抽出された前記表現子と前記分離部で分離された拡散反射画像との相関を維持しつつ、空間的な領域が前記被写体表面を覆うように、前記表現子を空間的に拡張する表現子適合拡張部と、前記幾何パラメータ算出部で算出された幾何パラメータに対して、前記表現子適合拡張部で拡張された表現子を用いて補正することで、補正後幾何パラメータを算出する幾何パラメータ補正部と、前記幾何パラメータ補正部で算出された補正後幾何パラメータを、幾何パラメータから画素値を決定する反射モデルに適用することで、前記各点の画素値を算出し、画像を生成する画像生成部とを備える。
このとき、一定位置で撮影された人物の頭部画像を対象に、自在光源変換、または自在視点変換を行う場合、髪および唇の鏡面反射のテクスチャをメソストラクチャとして反射モデルで再現するが好ましい。これにより、光源変動のケースと視線変動の２つのケースにおいて、被写体のアピアランスと表面の輝度値とを変化させることで、撮影条件に非常に敏感なメソストラクチャを再現し、見えのリアリティが増強される。また、従来では不可能であった視点変換に伴う鏡面反射変化についてもメソストラクチャの考え方をもって実現でき、リアルな表現が達成される。
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
（実施の形態１）
まず、本発明の実施の形態１における画像生成装置及び画像生成方法について説明する。図１は、実施の形態１における画像生成装置の構成を示す図である。図１の画像生成装置は、メソストラクチャを再現可能な高解像度成分を表現子としてデータベースに保持し、それを空間的に拡張することによって、低品質な被写体画像等から得られる被写体の表面形状を表す情報から、被写体表面の凹凸等の表面形状をより鮮明に反映した高品質な被写体画像を生成する画像生成装置であり、光源・視点・法線情報取得部１０１、幾何パラメータ算出部１０２、高解像度データベース部１０３、表現子拡張部１０４、幾何パラメータ補正部１０５、画像生成部１０６を備える。なお、この画像生成装置が生成する被写体画像は、ある光源から光を照射された被写体をある視点から見たときの画像である。
光源・視点・法線情報取得部１０１は、本画像生成装置における光源位置とカメラの位置もしくは視点位置とを取得し、レンジファインダやステレオカメラ等により取得した情報から、被写体表面の法線情報を算出する。
幾何パラメータ算出部１０２は、光源・視点・法線情報取得部１０１で取得した光源位置、視点位置、法線の情報から、被写体のおおまかな(マクロ)形状に関する幾何パラメータ（つまり、低品質な被写体画像等から得られる幾何パラメータ（第一幾何パラメータ））を算出する処理部である。ここでは、メソストラクチャを再現できるほどの高い精度の幾何パラメータは取得されないことを仮定してよい。
高解像度データベース部１０３は、被写体表面の一部に対応するメソストラクチャを表す幾何パラメータであって、光源・視点・法線情報取得部１０１で取得された法線情報の空間的な解像度よりも高い解像度の成分をもつ幾何パラメータである表現子を保持しているデータベースであり、本実施の形態では、画像のメソストラクチャ成分を含む高解像度成分に対応する幾何パラメータを２次元のブロックで表現子として保持している。ここで、表現子は正方形、長方形に限定されるものではない。
表現子拡張部１０４は、高解像度データベース部１０３から表現子を読み出し、読み出した表現子が示す空間的な領域が被写体表面を覆うように表現子を空間的に拡張する処理部であり、本実施の形態では、高解像度データベース部１０３で保持している表現子のサイズを出力画像のサイズ、もしくは対象となる被写体の領域サイズまで空間的に拡張する。これにより、表現子のサイズが実際の画像サイズよりも小さい場合においても、画像全体に対してメソストラクチャを再現可能になる。
幾何パラメータ補正部１０５は、幾何パラメータ算出部１０２で算出した幾何パラメータに対して、表現子拡張部１０４で空間的に拡張したメソストラクチャ成分を含む高解像度成分を追加することによって、幾何パラメータ算出部１０２で算出した幾何パラメータを補正する。すなわち、レンジファインダ等の精度の問題で、幾何パラメータ算出部１０２で算出したメソストラクチャを含まない幾何パラメータに対しても、メソストラクチャ成分を付加することができる。
画像生成部１０６は、補正した幾何パラメータ（補正後幾何パラメータ）を、幾何パラメータから画素値を決定する関係式である反射モデルの幾何パラメータとして用いることによって、出力画像の各点の画素値を算出し、これによってメソストラクチャ成分を含む高品位化された画像を生成する。
以上のような構成により、メソストラクチャ成分を含まない低品位な画像入力に対しても、メソストラクチャ成分を含む高品位化された画像を生成することが可能である。
なお、この画像生成装置を構成する各構成要素（幾何パラメータ算出部１０２、高解像度データベース部１０３、表現子拡張部１０４、幾何パラメータ補正部１０５、画像生成部１０６）は、中央処理装置（ＣＰＵ）、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、通信インターフェース、Ｉ／Ｏポート、ハードディスク、ディスプレイ等を備えるコンピュータ上で実行されるプログラム等のソフトウェアで実現されても良いし、電子回路等のハードウェアで実現されても良い。以下、他の実施の形態における画像生成装置についても同様である。
以下に、以上のように構成された本実施の形態における画像生成装置の動作（つまり、本発明の画像生成方法）について、図２のフローチャート及び図３に示される情報及び画像の概念図を用いて低品質な被写体画像等から得られる被写体の表面形状を表す情報から、被写体表面の凹凸をより鮮明に反映した高品質な被写体画像を生成する方法について説明する。
まず、ステップＳ２０１にて、光源・視点・法線情報取得部１０１は、設置されている光源の位置から照明単位ベクトルLを、設置されているカメラの位置から視点単位ベクトルVを得る。ここでは、視点単位ベクトル、照明単位ベクトル、被写体表面の形状に関する法線情報が得られれば、CG等により人工的に作成したものでも構わない。なお、この場合はステップＳ２０１とＳ２０２は不要である。
次に、ステップＳ２０２にて、光源・視点・法線情報取得部１０１は、ステレオカメラもしくはレンジファインダで取得した情報から被写体表面の法線情報（図３の法線情報１０参照）を算出する。
具体的には、ステレオカメラを用いる場合は、非特許文献２に記載の方法を用いれば、2枚の画像から被写体表面のそれぞれの点における3次元位置を得ることができる。次に、被写体表面の点iにおける法線ベクトルNiは、少なくとも3点の3次元位置Ａ、Ｂ、Ｃから、以下の式１のように計算できる。
ここで、ｘは外積である。もちろん、被写体表面の形状を表す法線ベクトルが求まりさえすれば良いため、法線情報の算出方法としては、上述の方法に限定されるものではない。
松山隆司、久野義徳、井宮淳、"コンピュータビジョン 技術評論と将来展望", pp.123-133, 新技術コミュニケーションズ, 1998
これとは別に、レンジファインダを用いた場合には、非特許文献３に記載の方法を用いて、被写体表面の法線ベクトルNiを求めることができる。
Ｙｏｉｃｈｉ Ｓａｔｏ，Ｍａｒｋ Ｄ．Ｗｈｅｅｌｅｒ ａｎｄ Ｋａｔｓｕｓｈｉ Ｉｋｅｕｃｈｉ，"Ｏｂｊｅｃｔ Ｓｈａｐｅ ａｎｄ Ｒｅｆｌｅｃｔａｎｃｅ Ｍｏｄｅｌｉｎｇ ｆｒｏｍ Ｏｂｓｅｒｖａｔｉｏｎ，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＡＣＭ ＳＩＧＧＲＡＰＨ９７，ｐｐ．３７９−３８７，１９９７
次に、ステップＳ２０３にて、幾何パラメータ算出部１０２は、光源・視点・法線情報取得部１０１にて取得された光源位置、視点位置、法線の情報から、被写体の形状に関する幾何パラメータを算出する。この幾何パラメータは、画像の輝度値に直接的に影響を与えるパラメータであり、メソストラクチャ等の被写体表面の形状に起因して画素値を変化させるために重要である。図４に示すように、光源位置と視点位置が既知であると仮定すると、ステップS２０１で取得した視点単位ベクトルＶと照明単位ベクトルＬから、被写体の形状に関する幾何パラメータαi LRを以下の式２のように算出することができる。
ここで、Ｈは次の式３のように算出する。ここでLとVは被写体から十分離れていることを仮定してiに依存しないと考える。
上記式２及び式３から分かるように、本実施の形態における「幾何パラメータ」とは、光源の方向を示す単位ベクトルと視点の方向を示す単位ベクトルとの加算によって得られるハーフベクトルと、当該幾何パラメータに対応する点における法線ベクトルとがなす角度に対応する値（arccos）である。
このようにして、幾何パラメータ算出部１０２は、被写体の形状に関する幾何パラメータαi LRを出力画像上の点iについて求める。ただし、ここではレンジファインダやステレオカメラから得られる形状情報は、解像度や精度が低いため、幾何パラメータαi LRはメソストラクチャを含んでいない。また、ノイズ除去を目的として、算出したαi LRに対して空間的にローパスフィルタを掛けても良い。
次に、ステップＳ２０４では、高解像度データベース部１０３にあらかじめ表現子（図３の高解像度画像１１、表現子１２参照）を保持してあるので、表現子拡張部１０４は、高解像度データベース部１０３から表現子を読み出し、読み出した表現子を空間的に拡張する（図３の拡張後の表現子１３参照）。ここで、表現子とは、被写体表面の一部に対応するメソストラクチャを表す幾何パラメータであって、光源・視点・法線情報取得部１０１で取得された法線情報の空間的な解像度よりも高い解像度の成分をもつ幾何パラメータであり、本実施の形態では、図５Ａに示すように、Ｎ×Ｍのサイズで、画素値ではなくメソストラクチャを含む高解像度成分で構成された幾何パラメータΔαiである。なお、表現子のサイズは入力画像サイズよりも小さくて構わない。図５Ａでは、濃いほどΔαiの値が大きいことを示している。特許文献２の手法では、ガウスモデルを用いて点の分布によって凹凸情報を表現しているため、図５Ｂに示すように、点の有無でしか表現できないためメソストラクチャに見られる空間的な被写体の撮像サイズを反映する構造（連続性）を表現することはできない。しかしながら本実施の形態では、表現子は、Ｎ×Ｍの2次元マップとして表現することにより、メソストラクチャを表現することが可能である。なお、表現子は、実施の形態２で説明する方法によりあらかじめ取得した後、高解像度データベースに保持しておいても良いし、ＣＧで人工的に作成しておいても良い。ＣＧモデルを用いて人工的にメソストラクチャを作成する方法については、非特許文献４に記載の方法を用いることができる。
東海彰吾, 宮城真, 安田孝美, 横井茂樹, 鳥脇純一、"CGによる柑橘果実の質感表現の一手法", 電子情報通信学会論文誌, Ｊ７６−Ｄ−ＩＩ，８，ｐｐ．１７４６−１７５４，１９９３
次に、表現子が画像サイズ、もしくは被写体のサイズより小さい場合には、図５Ａの表現子を空間的に出力する画像のサイズまで拡張する。なお、被写体の領域が分かっている場合は、領域サイズになるように拡張しても良い。例えば、光源・視点・法線情報取得部１０１に加えて、画像を入力する処理部を加えることも可能であり、この場合、被写体の色が分かっている場合には、色特徴量を用いて画像をセグメンテーションして、被写体の領域を特定することも可能であるし、画像を入力する処理部を設けなくともしとも、被写体の法線情報の連続性を検出し当該被写体領域を推定し、その全域に拡張することもできる。以上は被写体全域が均一なメソストラクチャで覆われている場合に相当するが、当該被写体が異なる２種以上の材質から生成されている場合などには、材質の違いを反映する物理量（例えば、以下に説明する式８におけるｍ等）を利用することにより、当該材質領域の内部だけに拡張することも可能である。表現子を空間的に拡張する時には、表現子が持つメソストラクチャの成分を被写体全体もしくは画像全体に拡張するために、表現子が持つメソストラクチャを含む高解像度成分で構成された幾何パラメータΔαiの空間的な統計的性質を保ちながら行う必要がある。ここで、空間的な統計的性質とは、中間的な凹凸情報であるメソストラクチャの空間的な配置におけるばらつき具合である。メソストラクチャを含む高解像度成分で構成された幾何パラメータΔαiの空間的な統計的性質を保ちながら拡張する方法として、以下に示す非特許文献５の手法を用いることができる。
Ａｌｅｘｅｉ Ａ Ｅｆｒｏｓ ａｎｄ Ｔｈｏｍａｓ Ｋ Ｌｅｕｎｇ， "Ｔｅｘｔｕｒｅ Ｓｙｎｔｈｅｓｉｓ ｂｙ Ｎｏｎｐａｒａｍｅｔｒｉｃ Ｓａｍｐｌｉｎｇ"， ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， １９９９
非特許文献５の手法を用いると、図６に示すように表現子と同様の性質を保持したまま空間的な拡張が可能になる。ただし、非特許文献５では、画素値の小領域の空間的分布にもとづいて画像を拡張しているが、本特許では、メソストラクチャを含む高解像度成分で構成された幾何パラメータΔαiの小領域の空間的分布にもとづいてΔαiを空間的に拡張する。画素値にもとづいた画像の拡張では、撮像時の光源位置の影響を直接的に受けるため、擬似光源下での画像を生成することができない。一方、メソストラクチャを含む高解像度成分で構成された幾何パラメータΔαiを用いれば、光源の位置に応じて画像の輝度値を変化させることができるため、撮像時の光源の影響を排除しつつ、擬似光源下での画像生成が可能になる。
次に、ステップＳ２０５では、幾何パラメータ補正部１０５は、ステップＳ２０３で算出された幾何パラメータαi LRに対して、メソストラクチャ成分を含む空間的に拡張された幾何パラメータΔαiを追加することで、幾何パラメータαi LRを、次の式４のように補正する。
もちろん、Δαiに対して重み付けを行っても良いし、Δαiにスムージング等のノイズ除去を行っても良い。これによって、メソストラクチャ成分を含まない幾何パラメータから、メソストラクチャ成分を含んだ幾何パラメータを得ることができる。
次に、ステップＳ２０６では、画像生成部１０６は、上記式４で補正された幾何パラメータαi LRを反射モデルに適用することによって画像（図３の出力画像１４参照）を生成する。具体的には、反射モデルの一例として、画像を生成する際の画素値は以下の式５のように表現される。
ここで、ｋは定数、Ｆはフレネル反射係数、Ｄは被写体表面の粗さに関する係数、Ｇは幾何減衰係数である。また、Ｎ、Ｖは、それぞれ、図４に示された法線ベクトル、視点単位ベクトルである。なお、Ｄについては、Ｔｏｒｒａｎｃｅ−ＳｐａｒｒｏｗモデルやＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルを用いることができる。Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデルの場合は以下の式６のように表すことができる。
Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルの場合は、以下の式７のように表される。
なお、上記反射モデルについては、非特許文献６のｐ７３１−７３９に詳しく記載されている。ここでは、上記式５から式７において、設計者が必要なパラメータを設定して画像を生成しても良いし、以下の式８のように計算の単純化のために、Ｆを定数、Ｄには式６に示したＴｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデルを用い、Ｇ＝１として画像を生成しても良い。
ここで、ｍはＴｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデルにおける粗さ係数である。ｍは被写体の種類に依存するものであるため、あらかじめ被写体に応じたｍの値を保持しておいても良いし、ｍ=0.1等の一定値として処理を行っても良い。また、画像からパラメータｍの推定を行っても良い。
Ａｎｄｒｅｗ Ｓ．Ｇｌａｓｓｎｅｒ "Ｐｒｉｎｃｉｐｌｅｓ ｏｆ Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｓｙｎｔｈｅｓｉｓ"， Ｖｏｌ．２， Ｍｏｒｇａｎ ＫａｕｆＭａｎｎＩｎｃ.，１９９５
以上のようにして、メソストラクチャを再現可能な高解像度成分を表現子としてデータベースに保持し、それを空間的に拡張することによって、低品質な被写体画像等から得られる被写体の表面形状を表す幾何パラメータから、被写体表面の凹凸をより鮮明に反映した高品質な被写体画像を生成することができる。さらに、その幾何パラメータは、光源の位置情報を反映したパラメータであり、このような幾何パラメータが反射モデルに適用されて画像が生成されるので、光源の位置を所望の位置に設定することが可能であり、これにより、任意の位置から照射される擬似的な光源下での被写体画像が生成される。
（実施の形態２）
次に、本発明の実施の形態２における画像生成装置及び画像生成方法について説明する。図７は、実施の形態２における画像生成装置の構成を示す図である。図７の画像生成装置は、カメラのズーム機能等を用いて、ハイライト部分をより高品質に撮像し、メソストラクチャを含む高解像度成分の幾何パラメータを表現子として推定し、それを空間的に拡張することによって、低品質な被写体画像等から得られる被写体の表面形状を表す情報から、被写体表面の凹凸をより鮮明に反映した高品質な被写体画像を生成する画像生成装置であり、光源・視点・法線情報取得部１０１、幾何パラメータ算出部１０２、第一画像撮像部６０１、第二画像撮像部６０２、第二幾何パラメータ推定部６０３、表現子生成部６０４、高解像度データベース部１０３、表現子拡張部１０４、幾何パラメータ補正部１０５、画像生成部１０６を備える。この画像生成装置は、実施の形態１における画像生成装置に、第一画像撮像部６０１、第二画像撮像部６０２、第二幾何パラメータ推定部６０３、表現子生成部６０４を追加した構成を備える。なお、実施の形態１における構成要素と同一の構成要素については、同一の符号を付し、その説明を省略する。
第一画像撮像部６０１は、デジタルカメラ等で少なくとも1枚以上の被写体画像を撮像する。この時、メソストラクチャを含む高解像度成分が撮像されていなくとも構わない。
第二画像撮像部６０２は、メソストラクチャを含む画像を撮像するために、第一画像撮像部６０１で撮像した画像の一部をより高品位に（つまり、高解像度で）撮像する。
第二幾何パラメータ推定部６０３は、第二画像撮像部６０２で取得された第二画像の画素値を目的関数として被写体の表面形状に関する幾何パラメータである第二幾何パラメータを推定する処理部であり、本実施の形態では、第二画像撮像部６０２で撮像した画像から反射モデルを用いて被写体の形状に関する幾何パラメータを推定する。この幾何パラメータは、メソストラクチャ成分を含む。
表現子生成部６０４は、前記第二幾何パラメータ推定部６０３にて推定したメソストラクチャ成分を含む幾何パラメータから、メソストラクチャ成分を含む高解像度成分を算出して、２次元のブロックからなる表現子として生成し、生成した表現子を高解像度データベース部１０３に格納する。ここで、表現子は正方形、長方形に限定されるものではない。
表現子拡張部１０４は、高解像度データベース部１０３から表現子を読み出し、読み出した表現子のサイズを第一画像撮像部６０１で撮像した被写体の領域サイズまで空間的に拡張する処理部である。実施の形態１で説明したように、画像を用いて領域分割を行い、被写体の領域サイズになるように拡張しても良い。これにより、表現子のサイズが実際の画像サイズもしくは被写体のサイズよりも小さい場合においても、画像全体に対してメソストラクチャを再現可能になる。
以下に、以上のように構成された本実施の形態における画像生成装置の動作（つまり、本発明の画像生成方法）について、図８のフローチャート及び図９に示される情報及び画像の概念図を用いて低品質な被写体画像と被写体の一部を高品位に撮像した画像から、被写体表面の凹凸をより鮮明に反映した高品質な被写体画像を生成する方法について説明する。
実施の形態２における図８のステップＳ７０１からステップＳ７０３までは、実施の形態１における図２のステップＳ２０１からステップＳ２０３と同じであるため、説明を省略する。
次に、ステップＳ７０４では、第一画像撮像部６０１は、デジタルカメラ等で第一の画像（図９の第一画像２０参照）を撮像する。
次に、ステップS７０５では、第二画像撮像部６０２は、第一画像のハイライト部分を第一画像よりも高品位に撮像することで、第二画像（図９の第二画像１１参照）を取得する。ハイライト部分を撮像することによって、前述した反射モデルの適用が可能になる。また、ズーム機能を持つ一つのカメラでハイライト部分を撮像しても良いし、他のカメラを用いて別途撮像しても良い。ここでは、ハイライト部分は、第一画像撮像部６０１で撮像した画像の中で輝度値が最も高い部分を中心に撮像しても良いし、第一画像撮像部６０１で撮像した画像を一定の大きさのブロックに区切り、ブロックごとに平均輝度値を算出し、その平均輝度値が最も高い部分を撮像しても良いし、さらには、ブロック内の輝度値の分散が一番大きい部分を撮像しても良い。具体的には、図１０(a)に示すように第一画像撮像部６０１で撮像した画像（第一画像）の一部を、図１０(b)に示す画像（第二画像）のように第二画像撮像部６０２により高品位に撮像する。図１０において、図１０(a)の薄い斑点は、解像度が足りずにメソストラクチャが適切に撮像されていないことを示している。一方、一部を高品位に撮像することによって、図１０(b)のように、メソストラクチャを適切に撮像することができる。
次に、ステップＳ７０６では、第二幾何パラメータ推定部６０３は、ステップＳ７０５にてハイライト部分を高品位に撮像した画像から、反射モデルを用いて高解像度成分を含む幾何パラメータαi E_HRを表現子として推定する。具体的には、以下のように行うことができる。
上記式８を以下の式９のように書き換える。
ここで、Ｃは定数である。ｍは、実施の形態１と同様にあらかじめ被写体に応じたｍの値を保持しておいても良いし、ｍ=0.1等の一定値として処理を行っても良い。さらには、ｍを画像から推定しても良い。
ただし、
である。
ここで、Ｃは以下の式１１のように求めることができる。
ここで、maxは最大値をとることを意味する。ここでは、幾何パラメータαi E_HRが０である時に輝度値が最大になることを仮定している。
次に、上記式９と式１１により、以下の式１２のように、メソストラクチャを含む高解像度成分で構成された幾何パラメータαi E_HRを求めることができる。
次に、Ｓ７０７にて、表現子生成部６０４は次の式１３のように表現子（図９の表現子１２参照）を生成し、生成した表現子を高解像度データベース部１０３に格納する。
すなわちαi E_HRを直接、表現子Δαiとしている。ここで、実施の形態１で説明したように、表現子とは図５Ａに示すようなＮ×Ｍのサイズで、画素値ではなくメソストラクチャを含む高解像度成分で構成された幾何パラメータΔαiである。もちろん、表現子は必ずしも正方形や長方形である必要はない。さらに、表現子のサイズは入力画像サイズよりも小さくて構わない。図５Ａでは、濃いほどΔαiの値が大きいことを示している。特許文献２の手法では、ガウスモデルを用いて点の分布で表現しているため、図５Ｂに示すように、メソストラクチャに見られる空間的な連続性を表現することはできない。しかしながら、表現子は、Ｎ×Ｍの2次元マップとして表現することにより、メソストラクチャを表現することが可能である。
次に、ステップS７０８については、表現子拡張部１０４は、ステップS７０７にて生成されて高解像度データベース部１０３に格納された表現子を用いて、ステップS２０４と同じ手法にて空間的に拡張する（図９の拡張後の表現子１３参照）。
次に、ステップＳ７０９およびＳ７１０については、実施の形態１におけるステップＳ２０５、Ｓ２０６とそれぞれ同じである（つまり、同様の処理によって画像（図９の出力画像１４参照）が生成される）ため、説明を省略する。
以上のようにして、ハイライト部分を高品位に撮像し、その画像からメソストラクチャを表現可能な幾何パラメータを推定し、高解像度成分を用いて反射モデルによって画像生成を行うことで、低品質な被写体画像等から得られる被写体の表面形状を表す情報から、被写体表面の凹凸をより鮮明に反映した高品質な被写体画像を生成可能である。さらに、その幾何パラメータは、光源の位置情報を反映したパラメータであり、このような幾何パラメータが反射モデルに適用されて画像が生成されるので、光源の位置を所望の位置に設定することが可能であり、これにより、任意の位置から照射される擬似的な光源下での被写体画像が生成される。
（実施の形態３）
次に、実施の形態１および２で説明したメソストラクチャを反映した高品質な被写体画像を生成する画像生成方法に加え、メソストラクチャを反映しながら、任意の位置から照射される擬似的な光源下での被写体画像を生成する例（実施の形態３）について説明する。本画像生成装置は、図１１および図１２に示すように、実施の形態１および２で説明した画像生成装置において、光源・視点・法線情報取得部１０１の代わりに、擬似的に光源位置情報を与える（つまり、光源位置として、所望の複数の位置情報を与える）ことで実現できる。そのため、ここでは、実施の形態１及び２と大きく異なる光源・視点・法線情報取得部１０１ａについて中心的に説明するが、全体の処理としては、具体的には、以下のように、照明単位ベクトルＬを変化させながら、それに応じたメソストラクチャを含む幾何パラメータαi HRを変更することで画像生成を行う。
つまり、本実施の形態は、実施の形態１及び２における光源・視点・法線情報取得部１０１を、その機能に加えて複数の光源位置を取得する機能を有する光源・視点・法線情報取得部１０１ａに置き換えた変形例（それぞれ、図１１及び図１２）に相当する。光源・視点・法線情報取得部１０１ａは、実施の形態１及び２における光源・視点・法線情報取得部１０１の機能に加えて、光源の位置情報として複数の位置情報を生成する機能（光源位置変更部１０１０）を有する。光源位置変更部１０１０は、光源・視点・法線情報取得部１０１ａが取得した１つの光源の位置情報をユーザが指示した軌道に従って変化させたり、ユーザから複数の光源位置の指定を受け取ったりすることで、変動する複数の光源位置を生成する。
次に、本実施の形態における画像生成装置のうち、実施の形態１の変形に対応する画像生成装置（図１１に示される画像生成装置）の処理について、図１３Ａに示されるフローチャートを用いて説明する。
まず、幾何パラメータ算出部１０２は、光源・視点・法線情報取得部１０１ａにて取得した、被写体表面の法線ベクトルと視点単位ベクトルＶ、それに加えて、擬似的に変動させたい光源位置に対応する照明単位ベクトルLjを用いて（Ｓ３０）、以下の式１４のように、光源位置の変動に対応した幾何パラメータαij LRを算出する（Ｓ３１内のステップＳ２０１〜Ｓ２０３）。
ここで、Ｈｊは次の式１５のように算出する。ここでも視点ベクトルＶは照明ｊにも被写体上の点ｉにも独立である。
図１４に照明単位ベクトルＬを変化させた場合の幾何パラメータαij LRの変化について示す。照明単位ベクトルＬjを図の破線から実線のように変化させると、上記式１５に示したように、ベクトルHjも破線から実線のように変化する。それに伴い、上記式１４に示すように幾何パラメータαij LRが変化する。これによって、光源位置の変動に応じた幾何パラメータαij LRを得ることができる。
次に、図１３Ａに示されるように実施の形態１のステップＳ２０５で説明したように、光源位置の変動に応じた幾何パラメータαij LRに対して、ステップＳ２０４で得たメソストラクチャ成分を含む空間的に拡張された幾何パラメータΔαiを追加することで、幾何パラメータαij LRを次の式１６のように補正する（Ｓ３１内のステップＳ２０４、Ｓ２０５）。
これによって、光源位置の変動ｊに対応しながら、擬似光源下での画像を生成するための幾何パラメータαij HRを得ることができる。各擬似光源下における画像の生成については、αｉ ＨＲの代わりにαij HRを用いて、実施の形態１で説明したステップＳ２０６と同じ方法で行えばよい（Ｓ３１内のＳ２０６、Ｓ３２）。
なお、照明単位ベクトルLjを微小かつ連続的に変化させて、それぞれの照明単位ベクトルLjに対する擬似光源下の画像を生成し（Ｓ３０〜Ｓ３２）、図１５に示される動画３０〜３１ように、その画像を並べて動画とすることも可能である。
また、本実施の形態における画像生成装置のうち、実施の形態２の変形に対応する画像生成装置（図１２に示される画像生成装置）の処理についても、同様である（図１３Ｂのフローチャート参照）。つまり、光源の位置Ｌｉを変化させながら（Ｓ４０〜Ｓ４２）、個々の光源位置について実施の形態２における画像処理を行うことで（Ｓ４１）、様々な光源位置に対応する複数の画像を連続的に生成することができる。
以上のようにして、実施の形態１および実施の形態２の機能に加えて、光源の位置情報として複数の位置情報を生成する光源位置変更部１０１０による制御の下で算出された擬似的な光源下の幾何パラメータを用いることで、被写体表面のメソストラクチャを反映しながら、任意の位置から照射される擬似的な光源下での被写体画像を生成することが可能である。
（実施の形態１から３の変形）
次に、実施の形態１から３で説明した方法をより高精度に行う方法について説明する。ここでは、実施の形態１の変形として説明するが、実施の形態２および３の変形としても利用可能である。図１６は、実施の形態１の変形における画像生成装置の構成を示す図である。図１２に示される実施の形態１の変形例における画像生成装置は、入力画像を拡散反射画像と鏡面反射画像に分離し、分離した鏡面反射画像に対して反射モデルを適用することで、より高精度に幾何パラメータを推定可能になるため、低品質な被写体画像等から得られる被写体の表面形状を表す情報から、被写体表面の凹凸をより鮮明に反映した被写体画像をより高品質に生成する画像生成装置であり、光源・視点・法線情報取得部１０１、第一画像撮像部６０１、ＤＳ分離部１２０１、幾何パラメータ算出部１０２、高解像度データベース部１０３、表現子拡張部１０４、幾何パラメータ補正部１０５、拡散反射画像処理部１２０２、画像生成部１０６ａを備える。この画像生成装置は、実施の形態１における画像生成装置に比べ、第一画像撮像部６０１、ＤＳ分離部１２０１及び拡散反射画像処理部１２０２という追加的な構成を備えるとともに、実施の形態１における画像生成部１０６に代えて改良された画像生成部１０６ａを備える。
第一画像撮像部６０１は、図１２に示される実施の形態２のものと同じであるため説明を省略するが、ここでは、カラー画像を生成することを仮定する。
ＤＳ分離部１２０１は、第一画像撮像部６０１で撮像された画像を、拡散反射成分と鏡面反射成分の２つに分離する。以降、分離した画像を拡散反射画像、鏡面反射画像と呼ぶ。
本実施の形態では、幾何パラメータ算出部１０２及び幾何パラメータ補正部１０５は、ＤＳ分離部１２０１で分離した鏡面反射画像だけに対して処理を施す点で、実施の形態１と異なる。
拡散反射画像処理部１２０２では、ＤＳ分離部１２０１で入力画像から分離した拡散反射画像に対して画像処理を施す。この内容は高解像度化処理を行っても良いし、拡散反射画像をそのまま用いてもよい。
画像生成部１０６ａでは、補正した幾何パラメータを反射モデルの幾何パラメータとして用いることによって、メソストラクチャ成分を含む高品位化された鏡面反射画像を生成する。そして、高品位化された鏡面反射画像に対して、ＤＳ分離部１２０１で分離した拡散反射画像もしくは、拡散反射画像処理部１２０２で処理した拡散反射画像を加えることで画像を合成する。
以下に、ＤＳ分離部１２０１と拡散反射画像処理部１２０２、画像生成部１０６ａについて、図１７のフローチャートを用いて、詳しく説明する。
第一画像撮像部６０１が入力画像Ｉを取得した後に（Ｓ５０）、ＤＳ分離部１２０１では、その入力画像Ｉを次の式１７のように考え、拡散反射画像Ｉdと鏡面反射画像ＩSとを分離するＳ５１）。
ここで、カラー画像を用いた拡散反射画像Ｉdと鏡面反射画像ＩSの分離方法については、非特許文献７の分離方法を用いることができる。
Ｓｈｒｅｅ Ｋ．Ｎａｙｅｒ，Ｘｉ−Ｓｈｅｎｇ Ｗａｎｇ ａｎｄ Ｔｅｒｒａｎｃｅ Ｂｏｕｌｔ，"Ｓｅｐａｒａｔｉｏｎ ｏｆ Ｒｅｆｌｅｃｔｉｏｎ Ｃｏｍｐｏｎｅｎｔｓ Ｕｓｉｎｇ Ｃｏｌｏｒ ａｎｄ Ｐｏｌａｒｉｚａｔｉｏｎ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，Ｎｏ．２１，Ｖｏｌ．３，ｐｐ．１６３−１８６，１９９７
次に、幾何パラメータ算出部１０２、表現子拡張部１０４及び幾何パラメータ補正部１０５は、実施の形態１と同様の処理を行う（Ｓ５２）。つまり、高品位の鏡面反射画像を生成し、生成した鏡面反射画像で、ＤＳ分離部１２０１において分離された鏡面反射画像を置き換える。なお、高解像度データベース部１０３では、事前にデータベースとして作成する際に上記の手法により画像から鏡面反射成分を抽出して、抽出した鏡面反射成分からメソストラクチャを含む幾何パラメータを保持しておくことが望ましい。具体的には、実施の形態２の式１０を以下の式１８のように書き換えて上記式８から式１２の処理を行えばよい。もちろん、実施の形態２における第二幾何パラメータ推定部６０３においても同様に鏡面反射成分について処理を行うことが望ましい。
画像生成部１０６ａでは、実施の形態１の上記式５から式８で説明した方法により、メソストラクチャ成分を含む高解像度化された鏡面反射画像Ｉi S_HRを生成することができる。そして、画像生成部１０６ａは、以下の式１９のように鏡面反射画像と拡散反射画像とを合成することにより、低品質な被写体画像から、被写体表面の凹凸をより鮮明に反映したより高品質な被写体画像ＩHRを生成可能である（Ｓ５３）。
さらに、実施の形態３で説明したように、メソストラクチャを反映しながら、擬似的な光源下での被写体画像を生成する場合には、上記式１４から式１６で説明した処理を行い、擬似光源下での画像を生成するための幾何パラメータαLi HRを算出することによって、実施の形態１の上記式５から式８で説明した方法により、擬似光源下におけるメソストラクチャ成分を含む高品質化された鏡面反射画像ＩLi S_HRを生成することができる。そして、以下の式２０のように拡散反射画像と合成することにより、擬似光源下画像生成部で擬似的な光源下の幾何パラメータを用いることで、被写体表面のメソストラクチャを反映しながら、より高品質に擬似的な光源下での被写体画像を生成することが可能である。
さらに、拡散反射画像処理部１２０２は、ＤＳ分離部１２０１で分離した拡散反射画像をそのまま用いても良いが、さらに特許文献３に示す方法により、光源位置に影響を受けないアルベドを生成することも可能である。そして、そのアルベドから擬似的な光源下での拡散反射画像を生成し、それとメソストラクチャ成分を含む高解像度化された鏡面反射画像ＩLi S_HRと合成することにより、より高品質な画像を生成することも可能である。さらに、同様に特許文献３の手法により、アルベドを用いて高解像度化を行い、高解像度化されたアルベドから生成される拡散反射画像と高品質化された鏡面反射画像とを合成することも有効である。
特許第４０８２７１４号公報
さらに、表現子拡張部の機能を改良して、鏡面反射成分を、その他の情報と相関を考慮しつつ合成することによって、よりリアリティを向上できる実施の形態３の変形例として、本発明を実現することもできる。表現子の拡張は、非特許文献５の技術等を用いる場合には、２次元画像上で等方的になされる。しかしメソストラクチャは常に等方的なものばかりではない。髪の毛のように鏡面反射要素（１本１本の髪の毛）が異方性を有して整列している場合や、グレープフルーツのように表面の微小な凹凸が拡散反射画像のアルベドのテクスチャ模様の明暗に対応している場合がある。この場合、表現子が等方的に拡張されてしまうと、鏡面反射成分画像自身の不整合、または鏡面反射画像と拡散反射成分画像間にズレが発生してリアリティが失われる。
たとえば、図１８（ａ）及び（ｂ）は、それぞれ、グレープフルーツの表面を鏡面反射成分および拡散反射成分に分離した画像である。図１８（ａ）の表面に見られる凹凸と鏡面反射は、図１８（ｂ）に示される表面テクスチャと無関係ではなく微小な凹凸と色のテクスチャに相関がある。図１８（ｃ）及び（ｄ）は、これらの相関を用いて表現子を拡張する表現子適合拡張部の基本動作を模式的に示している。グレープフルーツ全体の鏡面反射画像１８０１、拡散反射画像１８０２において、表現子になる鏡面反射画像領域Ｓ１（以下、領域Ｓ１の鏡面反射画像を「画像Ｓ１」と呼ぶ。）とそれに対応する拡散反射画像領域Ｄ１（以下、領域Ｄ１の拡散反射画像を「画像Ｄ１」と呼ぶ。）があり、それらの間のなんらかの相関関係１８０３があると仮定する。
ここで、画像Ｓ１を表現子として領域Ｓ２（以下、領域Ｓ２の鏡面反射画像を「画像Ｓ２」と呼ぶ。）に表現子を拡張したい。その場合、対応する領域Ｄ２とＤ１（以下、領域Ｄ２の拡散反射画像を「画像Ｄ２」と呼ぶ。）の情報を用いる点が新規な点である。
領域Ｄ１とＤ２はともに拡散反射画像であるから、テクスチャとして画像全域が観測できるが、領域Ｓ１とＳ２は鏡面反射画像であるため、照明、法線、視線の関係で、画像Ｓ１は観察できても、画像Ｓ２は輝度が暗くなってしまうため観測ができない場合がある。つまり上記実施の形態３では、領域Ｓ１を画像全体へ拡張するためには、あくまで、領域Ｓ１内のメソストラクチャに基づき、そのテクスチャを等方的あるいはランダムにあるいは接続性を考慮して拡張するしか方法はなかった。
それに対して本変形例では、ともに画像から取得可能な画像Ｄ１から画像Ｄ２への相関関係Tを使って領域Ｓ１の表現子を領域Ｓ２へ拡張するものであり、表現子を領域Ｓ１から領域Ｓ２へ拡張する場合、対応する画像Ｄ１から画像Ｄ２へのテクスチャ空間上の変換機能Ｔを画像から推定し、その変換Ｔと同等の変換を画像Ｓ１に適用して画像Ｓ２を生成する。テクスチャ間の連続性などは適宜補間する。なお、図１８で領域Ｓ１は表現子、領域Ｓ２は拡張処理の対象領域であり、領域Ｓ２は、かならずしも、領域Ｓ１の隣接領域ではないことに注意する。
図１９は以上のような表現子適合拡張部１９０１を有する表現子拡張部１０４ａを備える、本変形例における画像生成装置の構成を示したものである。図１６に示される画像生成装置との違いは、図１６における表現子拡張部１０４がさらに表現子適合拡張部１９０１を有する（つまり、表現子拡張部１０４に代えて表現子拡張部１０４ａを備えること）のみなので他の構成要素の説明は省略する。この表現子拡張部１０４ａは、高解像度データベース部１０３から表現子を読み出し、読み出した表現子が示す空間的な領域が被写体表面を覆うように表現子を空間的に拡張する処理部である点で図１６における表現子拡張部１０４と共通するが、さらに、ＤＳ分離部１２０１で分離された鏡面反射成分と拡散反射成分との相関を保ちながら、鏡面反射を呈する表現子を拡張する表現子適合拡張部１９０１を有する点で図１６における表現子拡張部１０４と異なる。なお、表現子適合拡張部１９０１にはＤＳ分離部１２０１からの鏡面反射画像情報、および拡散反射画像情報が入力されている。
図２０は表現子適合拡張部１９０１の処理を示すフローチャートである。ステップＳ２００１からＳ２００３では、表現子適合拡張部１９０１は、鏡面反射画像の表現子領域Ｓ１（つまり、画像Ｓ１）、それに対応する拡散反射画像の表現子領域Ｄ１（つまり、画像Ｄ１）、さらに拡張処理対象領域にある拡散反射画像の表現子領域Ｄ２（つまり、画像Ｄ２）を取得する。次にステップＳ２００４で、表現子適合拡張部１９０１は、画像Ｄ１と画像Ｄ２に対して、多重解像度特徴空間で表現するために、ウェーブレット変換を実施して、それぞれ、特徴ベクトル画像Ｄｗ１，Ｄｗ２を生成する。ステップＳ２００５では、表現子適合拡張部１９０１は、特徴ベクトル画像Ｄｗ１から特徴ベクトル画像Ｄｗ２への最適な変換Ｔを推定する。この数学的な変換Ｔは多次元ベクトル空間内のテーブル変換でもマトリクス変換でもよい。ステップＳ２００６では、表現子適合拡張部１９０１は、画像Ｓ１をウェーブレット変換することで特徴ベクトル画像Ｓｗ１を生成し、ステップＳ２００７で、特徴ベクトル画像Ｓｗ１に対して変換Ｔを施し特徴ベクトル画像Ｓｗ２とする。つまり特徴量ベクトル空間内で画像Ｓ１が変換Ｔにて変換されて画像Ｄ２と相関が高いメソストラクチャ（画像Ｓｗ２）に変換されたことになり、ステップＳ２００８で、表現子適合拡張部１９０１は、これ（画像Ｓｗ２）を逆ウェーブレット変換して画像Ｓ２として画像化する。ステップＳ２００９では、表現子適合拡張部１９０１は、画像Ｓ２を、領域Ｓ２に拡張された表現子として、格納して、ステップＳ２０１０で拡張すべき領域全体まで拡張が終了していなければ、ステップＳ２００３に戻って次の領域Ｓ２に対する処理へ進む。
以上の処理により、鏡面反射を呈するメソストラクチャが拡散反射画像との相関を用いて整合性を有しながら拡張されるため、光源変化などをした場合、表面反射の状況のリアリティがより向上する。
以上のように、本実施の形態における画像生成装置及びその方法によれば、入力画像を拡散反射成分と鏡面反射成分とに分離し、鏡面反射成分に対して反射モデルを適用して画像を高品位化することにより、反射モデルを適用すべき本来の画像成分（鏡面反射成分）だけに対して反射モデルを適用することとなり、これにより、被写体表面の凹凸をより正確かつ鮮明に反映した高品質な被写体画像を生成可能であり、さらには、被写体表面の凹凸を反映しながら、任意の位置に置かれた擬似的な光源下での被写体画像を生成することも可能となる。
（実施の形態４）
次に、本発明に係る画像生成装置の実施の形態４として、顔画像合成シミュレーションシステム（以下、単に「顔画像合成システム」という。）への応用形態について述べる。近年、顔認証や顔合成技術が実用レベルまで発展し、１枚の顔の２次元画像からあらかじめ準備した顔モデルにフィッティングして３次元モデルを生成することにより、顔を上下左右に動かしたり表情を変えたりできる実写アニメーション技術が実用段階になっている。しかし、これをヘヤースタイル等のシミュレーションのアプリケーションに応用する場合、リアリティが大きく欠落してしまう。その理由として、人間の顔の反射特性はほぼ完全拡散物体に近いため、視点変動でも大きな値の変化が無いが、頭髪は典型的な鏡面反射物体であって、頭の角度移動に従い頭髪上の鏡面反射の位置や形状が本来は変化するはずであるのにもかかわらず、上記技術ではそれができないためである。同様の問題は化粧シミュレーションにおいて口紅などの鏡面反射でも発生する。いずれの場合も従来の顔合成画像技術では鏡面反射の欠落した拡散反射的な画像が合成されるのみであった。ここで髪の毛の反射や口紅の反射はいずれも被写体表面の微細な凹凸すなわちメソストラクチャに関する鏡面反射と考えることができるので、この合成画像にはメソストラクチャの再現が有効である。特に髪の場合には、毛の方向に強い空間的異方性を有するメソストラクチャが、また唇の場合には、縦縞などの方向に異方性のあるメソストラクチャを付与すればよい。
すなわち入力された１枚の顔などの画像から髪などの領域のメソストラクチャの特徴を抽出し、それを光源変化、視点変化、被写体法線変動という３種の条件に適合するように異なる条件下で連続性を考慮して拡張して再現する必要がある。
図２１Ａ〜Ｃは、マネキンに頭髪をかぶせた人形を例に、メソストラクチャのアピアランス（見え）が変化する条件を示したものである。
図２１Ａは、最初、位置Ｌ１にあった光源が位置Ｌ２に移動するという光源ベクトルの変化が発生して髪の表面の反射（メソストラクチャ）のアピアランス、特に、この場合には反射の位置が反射２１０１から反射２１０２へ変化した状態である。この場合、法線ベクトルと視線ベクトルは変化していない。
鏡面反射による輝度は、光源ベクトル（Ｌ）、法線ベクトル（Ｎ）、視点ベクトル（Ｖ）の３ベクトルの関係によって変化し、拡散反射による輝度は、光源ベクトル（Ｌ）と法線ベクトル（Ｎ）にのみ依存することはよく知られている。そこでこのように光源の移動する条件では、被写体の大域的アピアランス（被写体の見える部分や歪み方）は不変でも、その輝度値は鏡面反射、拡散反射ともに変化する。図２１Ａでは、この様子を模式的に反射２１０１及び２１０２、影２１０３及び２１０４にて表現した。
次に、同図２１Ｂに示されるアピアランスの変化例は、光源ベクトルは変化せず、視点ベクトルがＶ１からＶ２に変化した場合を想定しており、結果的にやや上方から見た状態になっている。視点が変わると被写体の大域的な形状に変化や見え方が変わり、図２１Ｂでは、視点がマネキンの上方から見下げる形になったため、見える部分の多くが頭髪領域となっている。また相対的には光源ベクトルが変わったことになるため鏡面反射が反射２１０５から反射２１０６のように変化する。しかし視線ベクトルＶの変化に対して拡散反射輝度成分は変化しないため、対応する同一の位置２１０７が拡散反射輝度成分のみ有していればその輝度は不変のままである。
次に、図２１Ｃに示されるアピアランスの変化例は、被写体自身の向きがやや下向きとなった場合であり、法線ベクトルＮが図示されたＮ１からＮ２に変化した場合である。被写体となる顔モデルなどがＣＧアニメーション合成技術などを用いて動いた場合にこの状態になる。この場合、被写体の大域的な形状や見え方については視線ベクトルと法線ベクトルの相対的な変化が同じであれば、図２１Ｂの視線が変化した場合と何も変わらないが、鏡面反射や拡散反射の状態が異なってくる。しかし被写体を背景から分離しマネキン頭部のみと考えると、鏡面反射と拡散反射の輝度値は図２１Ｂの視点変換の特別な場合としてとらえることができるため、アプリケーションによっては図２１Ｃを特別に場合分けせず、光源変化の図２１Ａの場合と視点変化の図２１Ｂの場合のみを取り扱えばよい。
図２２Ａ〜Ｂは、この理由を示している。図２２Ａが上記の図２１Ｃの被写体移動のケースで、図２２Ｂが上記図２１Ｂの視線移動のケースに相当する。被写体表面に対して垂直に法線ベクトルＮがあり、光源ベクトルＬと視線ベクトルＶが図示された位置にある場合、被写体が角度θ回転するとＶとＬは不変でＮのみが（−θ）変わるので、被写体の大域的なアピアランスとともに、Ｌ，Ｎ，Ｖの相対的関係で決定する拡散と鏡面反射輝度値が変化する。この状態は図２２Ｂのように被写体が不変のままＬとＶを角度（−θ）だけ変化させても相対的関係は保たれ、大域的な被写体のアピアランスともに拡散と鏡面反射輝度値もこの状態で計算するものと等しくなる。
以上のように、光源変動のケースと視線変動の２つのケースにおいて、被写体のアピアランスと表面の輝度値とを変化させることで、撮影条件に非常に敏感なメソストラクチャを再現し、見えのリアリティを増強することにつながる。
図２３は、上記で示した光源変動と視線変動という２種類の条件変動に対応して被写体のアピアランスを変化させることを可能にする、本実施の形態における顔画像合成システムのブロック図である。この顔画像合成システムは、被写体を撮影して得られる画像に対して光源及び視点の位置を変化させる変換を行い、メソストラクチャ反射状況を再現した高品位な画像を生成する（ここで、生成する画像は、光源から光を照射した被写体を任意の視点から見たときの画像である）画像生成装置の一例であって、被写体を撮影して得られる実写画像を取得する画像撮像部２３０１と、光源の位置を表す光源情報を取得する光源情報取得部２３０４と、取得された光源情報に基づいて光源の位置を変化させた情報を生成する光源情報変換部２３０５と、被写体の表面形状を表す形状データを保持する形状復元部２３０２と、形状復元部２３０２に保持された形状データに基づいて被写体の法線を求める法線推定部２３０３と、カメラ撮像位置を求める視線情報取得部２３０６と、形状復元部２３０２に保持された形状データ及び視点を任意位置に変化させる視点変換部２３０７と、撮像画像を鏡面反射画像と拡散反射画像に分離するＤＳ分離部２３０８と、生成する画像を構成する各画素に対応する被写体表面の各点について、光源及び視点の位置情報と法線情報とを用いた予め定められた演算を行うことで、被写体の形状に関する幾何パラメータを算出する幾何パラメータ算出部１０２と、ＤＳ分離部２３０８で分離された鏡面反射画像からメソストラクチャを表す幾何パラメータである表現子を抽出する鏡面反射画像メソストラクチャ抽出部２３０９と、抽出された表現子と分離部で分離された拡散反射画像との相関を維持しつつ、空間的な領域が被写体表面を覆うように、表現子を空間的に拡張する表現子適合拡張部１９０１を有する表現子拡張部１０４ａと、幾何パラメータ算出部１０２で算出された幾何パラメータに対して、表現子適合拡張部１９０１で拡張された表現子を用いて補正することで、補正後幾何パラメータを算出する幾何パラメータ補正部１０５と、幾何パラメータ補正部１０５で算出された補正後幾何パラメータを、幾何パラメータから画素値を決定する反射モデルに適用することで、各点の画素値を算出し、画像を生成する画像生成部１０６ａとを備える。
画像撮像部２３０１は、被写体を撮影し、画像Ｉ（ｉ，ｊ）を生成する。形状復元部２３０２では被写体の３次元表面を復元し、次に、法線推定部２３０３は、表面の法線を生成する。形状復元や法線推定の手法は前記のステレオカメラなどを使って３次元位置から形状を復元し、そこから法線を算出してもよいし、まず法線を算出してから形状復元をしてもよい。特に被写体が「顔」という前提があれば、以下の非特許文献８で示すような、入力された２次元画像から顔の３Ｄモデルをあてはめて生成する技術を使うことができる。
Ｖｏｌｋｅｒ Ｂｌａｎｚ， Ｔｈｏｍａｓ Ｖｅｔｔｅｒ："Ａ Ｍｏｒｐｈａｂｌｅ Ｍｏｄｅｌ ｆｏｒ ｔｈｅ Ｓｙｎｔｈｅｓｉｓ ｏｆ ３Ｄ ｆａｃｅｓ"，ＳＩＧＧＲＡＰＨ １９９９
光源情報取得部２３０４は、被写体への照明環境を取得する。光源モデルを平行光で近似できる場合には光源ベクトルの２自由度を決定すればよい。光源取得の方法には、以下の非特許文献９にあるような鏡面球を使う方法などを使うことができる。
Ｍａｒｋ Ｗ．Ｐｏｗｅｌｌ， Ｓｕｄｅｅｐ Ｓａｒｋｅｒ， ａｎｄ Ｄｍｉｔｙ Ｇｏｌｄｇｏｆ："Ａ Ｓｉｍｐｌｅ Ｓｔｒａｔｅｇｙ ｆｏｒ Ｃａｌｉｂｒａｔｉｎｇ ｔｈｅ Ｇｅｏｍｅｔｒｙ ｏｆ Ｌｉｇｈｔ Ｓｏｕｒｃｅｓ"、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．２３， Ｎｏ．９， Ｓｅｐｔｅｍｂｅｒ ２００１，ｐｐ．１０２３−１０２６
光源情報変換部２３０５は、さらに光源を変動させた画像を合成するため光源ベクトルを撮影時のものから自由に変化させる。
視点情報取得部２３０６は、撮影カメラの世界座標系内での光軸を示すカメラ外部パラメータと焦点距離や光軸中心画素位置などを示すカメラ内部パラメータを取得する。
視点変換部２３０７は、形状復元部２３０２からの形状データ、視点を上記カメラ外部パラメータを変化させることによって自在に変換し原画像の画素値を用いて大域的アピアランスが異なる画像を生成する。同時に法線推定部２３０３で生成される法線画像も視点変換され、これはメソストラクチャを含む鏡面反射画像の視点変換に用いられる。
ＤＳ分離部２３０８は、視点変換された画像の画素値（輝度）を拡散反射成分と鏡面反射成分とに分離する。分離された鏡面反射成分画像はメソストラクチャを考慮した表現子適合拡張に用いられる。
拡散反射画像処理部１２０２は、視点変換のみが行われた場合には特に処理することはない。ただし、光源変化した場合には、拡散反射画像処理部１２０２は、輝度変化を合成するため法線情報と光源情報を使ってランバート面のｃｏｓ則を補正する処理を実施する。
鏡面反射画像メソストラクチャ抽出部２３０９は、分離された鏡面反射画像を２値可処理して得られる輝度レベルでのテクスチャ構造を抽出する。ここから、上記式１４のように幾何パラメータαを算出する。髪の鏡面反射モデルは光源ベクトルＬと法線ベクトルＮと視線ベクトルＶを用いてＰｈｏｎｇの反射モデルで表現できる（下記非特許文献１０）。
Ｊ Ｔ．Ｋａｊｉｙａ Ｔ Ｌ．Ｋａｙ："Ｒｅｎｄｅｒｉｎｇ ｆｕｒ ｗｉｔｈ ｔｈｒｅｅ ｄｉｍｅｎｓｉｏｎａｌ ｔｅｘｔｕｒｅｓ"，ＳＩＧＧＲＡＰＨ １９８９，ｐｐ２７１−２８０
図２４は、髪の反射モデルを説明する図であり、ここでは、髪の１本をｕを主軸とした円筒形でモデル化されている。上記非特許文献１０においては、この髪の鏡面反射についてＰｈｏｎｇモデルが用いられている。このＰｈｏｎｇモデルでは、光源ベクトルＬと、Ｌが鏡面反射する正反射ベクトルＲと視点ベクトルのなす角度βの余弦関数のべき乗とで反射の減衰を表現する。
これについては、上記式５や式６で説明したＴｏｒｒａｎｃｅ−ＳｐａｒｒｏｗモデルやＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルを用いて再現する場合には、βの替わりにハーフベクトルＨと法線Ｎとの角度αを用いることができる。すなわち髪の反射モデルについては実施の形態１とおなじ幾何パラメータを用いることができる。
なお、髪の反射モデルとして異方性反射や散乱、透過現象までを詳細にモデル化する研究もＣＧ分野では行われているが、ここでは実写画像の髪画像からメソストラクチャとして髪を捉えて表現しており、このため反射モデルのレベルにおいては特に異方性を扱わず、メソストラクチャとして異方性反射を実現する。
表現子適合拡張部１９０１は、上記の表現子を空間的に連続性を維持しつつ拡張する。
図２５は、髪領域のメソストラクチャの表現子を説明する図である。髪領域も鏡面反射成分と拡散反射成分に分離して、それぞれ、Ｓ画像とＤ画像が生成されているものとする。髪が黒に近い場合には、Ｄ画像はほとんどテクスチャが無くなるが、金髪、茶髪などの場合には、Ｄ画像にもテクスチャが残る。そこで、実施の形態３の変形例にて説明したような２つの画像間の相関を用いて、Ｓ画像の表現子を髪領域全体に適合拡張すればよい。
また図２５には、人物の顔でメソストラクチャ構造を有して鏡面反射を呈するもう１つの例である唇領域の例も示している。この場合もＳ画像とＤ画像の相関を用いて表現子を拡張すればよく、反射モデルも反射が大きい口紅を塗布した場合にはＴｏｒｒａｎｃｅ−ＳｐａｒｒｏｗモデルやＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルを適用できるので説明は省略する。
幾何パラメータ補正部１０５は、幾何パラメータ算出部１０２で算出した幾何パラメータに対して、表現子拡張部１０４で空間的に拡張したメソストラクチャ成分を含む高解像度成分を追加することによって、幾何パラメータ算出部１０２で算出した幾何パラメータを補正する。
画像生成部１０６ａは、補正した幾何パラメータを反射モデルの幾何パラメータとして用いることによって、メソストラクチャ成分を含む高品位化された鏡面反射画像を生成する。そして、高品位化された鏡面反射画像に対して、ＤＳ分離部１２０１で分離した拡散反射画像もしくは、拡散反射画像処理部１２０２で処理した拡散反射画像を加えることで画像を合成する。
図２６Ａ〜Ｂは、本実施の形態の効果を示す図である。図２６Ａは、撮影の状況を示し、図２６Ｂは、その撮影によって得られる画像における被写体のアピアランスの変化を示す。
ここでは光源２６０１は固定のまま、被写体の人物またはかつら付きマネキン２６０２を撮像している。視点（カメラ）位置が位置２６０４から位置２６０３へ視点変化した場合、被写体のアピアランスはアピアランス２６０５からアピアランス２６０６へ変化する。同時に髪の反射状況も反射２６０７から反射２６０８へと髪の異方性構造（毛の流れなど）に基づいて生起する。このように従来は不可能であった視点変換に伴う鏡面反射変化についてもメソストラクチャの考え方をもって実現でき、リアルな表現が達成されることになる。
（実施の形態５）
次に、本発明に係る画像生成装置の実施の形態５として、立体視ディスプレイへの応用形態について述べる。近年、裸眼立体視ディスプレイの研究開発が進み様々な応用分野への展開が進んでいるが、その中で高密度指向性表示により質感を再現する立体ディスプレイがある（例えば、下記非特許文献１１）。
高木康博：「高密度指向性表示により質感を再現する立体ディスプレイ」、立体視テクノロジー −次世代立体表示技術の最前線− ＮＴＳ、２００８年１０月１０日，ｐｐ２０９−２２１
これは、ダイヤモンドの輝き、織物の艶やかさ、画家のタッチといった２次元ディスプレイでは再現が難しい物質表面での光線方向の微妙な変化に起因する質感を、裸眼で観察者の視点の動きによって再現する。クリスタル、ガラス、金属などの物質での鏡面反射は、視点の移動により急激に輝きが変化するが、この変化を再現するために必要な光線のサンプリングピッチは、観察距離が６００（ｍｍ）の場合、約０．４８°となる。このような高密度指向性を有する裸眼立体視ディスプレイが既に試作されている。この種の立体ディスプレイ装置へ実写ベース画像を入力する場合、入力データは超高密度多視点で撮像する必要があるが、表示時と同じ０．４８°の高密度サンプリング間隔で多数の小型カメラを密集配置して撮影するのは現実的ではない。
そこで、本発明の低解像度の画像に表面凹凸をパラメータに基づいてモデル生成することにより高密度の多視点画像を生成する。そして、生成された多視点画像を裸眼立体視ディスプレイ装置に入力させて表示させる。これにより、高密度の多視点立体視ディスプレイが可能となる。
以上、本発明に係る画像生成装置及び方法、並びに、その応用例について、実施の形態及びその変形例に基づいて説明したが、本発明は、これらの実施の形態及び変形例に限定されるものではない。当業者が思いつく各種変形を、本発明の趣旨を逸脱しない範囲で各実施の形態に施して実現される形態も本発明に含まれる。
また、各実施の形態における特徴的な構成要素を任意に組み合わせて実現される形態も本発明に含まれる。
本発明は、被写体表面の凹凸に関する幾何パラメータに基づいて、低品質な被写体画像等から得られる被写体の表面形状を表す情報から、被写体表面の凹凸をより鮮明に反映した高品質な被写体画像を生成し、さらには、被写体表面の凹凸を反映しながら、擬似的な光源下での被写体画像を生成する装置であり、例えば、デジタルカメラやモニタ等の画像表示機器に内蔵させる画像生成装置等として利用することが可能である。
１０１、1０１a 光源・視点・法線情報取得部
１０２ 幾何パラメータ算出部
１０３ 高解像度データベース部
１０４、１０４ａ 表現子拡張部
１０５ 幾何パラメータ補正部
１０６、１０６ａ 画像生成部
６０１ 第一画像撮像部
６０２ 第二画像撮像部
６０３ 第二幾何パラメータ推定部
６０４ 表現子生成部
１０１０ 光源位置変更部
１２０１ ＤＳ分離部
１２０２ 拡散反射画像処理部
１９０１ 表現子適合拡張部
２３０１ 画像撮像部
２３０２ 形状復元部
２３０３ 法線推定部
２３０４ 光源情報取得部
２３０５ 光源情報変換部
２３０６ 視点情報取得部
２３０７ 視点変換部
２３０８ ＤＳ分離部
２３０９ 鏡面反射画像メソストラクチャ抽出部

Claims (12)

  1. 被写体の表面形状を表す情報から、より鮮明に被写体の表面形状を反映した高品位な画像を生成する画像生成装置であって、
    生成する画像は、光源から光を照射した被写体を視点から見たときの画像であり、
    前記画像生成装置は、
    前記光源及び前記視点の位置情報と、前記被写体の表面形状を表す法線情報とを取得する光源・視点・法線情報取得部と、
    生成する画像を構成する各画素に対応する前記被写体表面の各点について、前記光源及び前記視点の位置情報と前記法線情報とを用いた予め定められた演算を行うことで、前記被写体の形状に関する幾何パラメータである第一幾何パラメータを算出する幾何パラメータ算出部と、
    前記被写体表面の一部に対応するメソストラクチャを表す幾何パラメータであって、前記光源・視点・法線情報取得部で取得された法線情報の空間的な解像度よりも高い解像度の成分をもつ幾何パラメータである表現子を保持している高解像度データベース部と、
    前記高解像度データベース部から前記表現子を読み出し、読み出した表現子が示す空間的な領域が前記被写体表面を覆うように、前記表現子を空間的に拡張する表現子拡張部と、
    前記幾何パラメータ算出部で算出された第一幾何パラメータに対して、前記表現子拡張部で拡張された表現子を用いて補正することで、補正後幾何パラメータを算出する幾何パラメータ補正部と、
    前記幾何パラメータ補正部で算出された補正後幾何パラメータを、幾何パラメータから画素値を決定する反射モデルに適用することで、前記各点の画素値を算出し、画像を生成する画像生成部と、
    前記被写体を撮像することで第一画像を取得する第一画像撮像部と、
    前記第一画像撮像部で取得された第一画像を鏡面反射成分と拡散反射成分とに分離する分離部とを備え、
    前記幾何パラメータ算出部、前記表現子拡張部、前記幾何パラメータ補正部及び前記画像生成部は、前記分離部で分離された鏡面反射成分について、それぞれの処理を実行し、
    前記画像生成部はさらに、生成した前記鏡面反射成分に対応する画像と、前記分離部で分離された拡散反射成分に対応する画像とを合成し、
    前記表現子拡張部は、前記分離部で分離された鏡面反射成分と拡散反射成分との相関を保ちながら、鏡面反射を呈する前記表現子を拡張する表現子適合拡張部を有する
    画像生成装置。
  2. 前記幾何パラメータとは、（i）前記光源の方向を示す単位ベクトルと前記視点の方向を示す単位ベクトルとの加算によって得られるハーフベクトルと、（ii）当該幾何パラメータに対応する点における法線ベクトルとがなす角度に対応する値である
    請求項１記載の画像生成装置。
  3. 前記光源・視点・法線情報取得部は、前記被写体を撮像するステレオカメラ又はレンジファインダあるいはその他の形状取得装置から取得した情報から法線情報を算出することにより、前記法線情報を取得する
    請求項１記載の画像生成装置。
  4. 前記反射モデルは、ある点における法線情報と視点の位置情報と幾何パラメータとから、当該点における画素値を算出する式であり、
    前記画像生成部は、前記補正後幾何パラメータに加えて、光源・視点・法線情報取得部で取得された法線情報と視点の位置情報を前記反射モデルに適用することで、前記各点の画素値を算出する
    請求項１記載の画像生成装置。
  5. さらに、
    前記被写体を撮像することで第一画像を取得する第一画像撮像部と、
    前記第一画像のうち、高品位化させたい部分であるハイライト部分に対応する前記被写体の一部を、前記第一画像撮像部よりも高解像度で撮像することで、第二画像を取得する第二画像撮像部と、
    前記第二画像撮像部で取得された第二画像の画素値を目的関数として、前記被写体の表面形状に関する幾何パラメータである第二幾何パラメータを推定する第二幾何パラメータ推定部と、
    前記第二幾何パラメータ推定部で推定された第二幾何パラメータ自身を前記表現子として、生成した表現子を前記高解像度データベースに格納する表現子生成部とを備える
    請求項１記載の画像生成装置。
  6. 前記第二画像撮像部は、前記第一画像撮像による撮像よりもズームして前記被写体の一部を撮像することで、前記第二画像を取得する
    請求項５記載の画像生成装置。
  7. 前記光源・視点・法線情報取得部は、前記光源の位置情報として、複数の位置情報を取得し、
    前記幾何パラメータ算出部は、前記光源・視点・法線情報取得部で取得された複数の前記光源の位置情報のそれぞれに対応させて、前記第一幾何パラメータを算出し、
    前記幾何パラメータ補正部は、前記光源・視点・法線情報取得部で取得された複数の前記光源の位置情報のそれぞれに対応させて、前記補正後幾何パラメータを算出し、
    前記画像生成部は、前記光源・視点・法線情報取得部で取得された複数の前記光源の位置情報のそれぞれに対応させて、前記画像を生成する
    請求項１記載の画像生成装置。
  8. さらに、前記被写体の表面形状を表すコンピュータ・グラフィックス・データを取得し、取得したコンピュータ・グラフィックス・データから前記表現子を生成し、生成した表現子を前記高解像度データベースに格納する表現子生成部を備える
    請求項１記載の画像生成装置。
  9. 被写体を撮影して得られる画像に対して光源及び視点の位置を変化させる変換を行い、メソストラクチャ反射状況を再現した高品位な画像を生成する画像生成装置であって、
    生成する画像は、光源から光を照射した被写体を任意の視点から見たときの画像であり、
    前記画像生成装置は、
    被写体を撮影して得られる実写画像を取得する画像撮像部と、
    光源の位置を表す光源情報を取得する光源情報取得部と、
    取得された光源情報に基づいて前記光源の位置を変化させた情報を生成する光源情報変換部と、
    前記被写体の表面形状を表す形状データを保持する形状復元部と、
    前記形状復元部に保持された形状データに基づいて前記被写体の法線を求める法線推定部と、
    カメラ撮像位置を求める視線情報取得部と、
    前記形状復元部に保持された形状データ及び視点を任意位置に変化させる視点変換部と、
    撮像画像を鏡面反射画像と拡散反射画像に分離するＤＳ分離部と、
    生成する画像を構成する各画素に対応する前記被写体表面の各点について、前記光源及び前記視点の位置情報と前記法線情報とを用いた予め定められた演算を行うことで、前記被写体の形状に関する幾何パラメータを算出する幾何パラメータ算出部と、
    前記ＤＳ分離部で分離された鏡面反射画像からメソストラクチャを表す幾何パラメータである表現子を抽出する鏡面反射画像メソストラクチャ抽出部と、
    抽出された前記表現子と前記分離部で分離された拡散反射画像との相関を維持しつつ、空間的な領域が前記被写体表面を覆うように、前記表現子を空間的に拡張する表現子適合拡張部と、
    前記幾何パラメータ算出部で算出された幾何パラメータに対して、前記表現子適合拡張部で拡張された表現子を用いて補正することで、補正後幾何パラメータを算出する幾何パラメータ補正部と、
    前記幾何パラメータ補正部で算出された補正後幾何パラメータを、幾何パラメータから画素値を決定する反射モデルに適用することで、前記各点の画素値を算出し、画像を生成する画像生成部と
    を備える画像生成装置。
  10. 一定位置で撮影された人物の頭部画像を対象に、自在光源変換、または自在視点変換を行う場合、髪および唇の鏡面反射のテクスチャをメソストラクチャとして反射モデルで再現する請求項９記載の画像生成装置。
  11. 被写体の表面形状を表す情報から、より鮮明に被写体の表面形状を反映した高品位な画像を生成する画像生成方法であって、
    生成する画像は、光源から光を照射した被写体を視点から見たときの画像であり、
    前記画像生成方法は、
    前記光源及び前記視点の位置情報と、前記被写体の表面形状を表す法線情報とを取得する光源・視点・法線情報取得ステップと、
    生成する画像を構成する各画素に対応する前記被写体表面の各点について、前記光源及び前記視点の位置情報と前記法線情報とを用いた予め定められた演算を行うことで、前記被写体の形状に関する幾何パラメータである第一幾何パラメータを算出する幾何パラメータ算出ステップと、
    前記被写体表面の一部に対応するメソストラクチャを表す幾何パラメータであって、前記光源・視点・法線情報取得ステップで取得された法線情報の空間的な解像度よりも高い解像度の成分をもつ幾何パラメータである表現子を保持している高解像度データベース部から前記表現子を読み出し、読み出した表現子が示す空間的な領域が前記被写体表面を覆うように、前記表現子を空間的に拡張する表現子拡張ステップと、
    前記幾何パラメータ算出ステップで算出された第一幾何パラメータに対して、前記表現子拡張ステップで拡張された表現子を用いて補正することで、補正後幾何パラメータを算出する幾何パラメータ補正ステップと、
    前記幾何パラメータ補正ステップで算出された補正後幾何パラメータを、幾何パラメータから画素値を決定する反射モデルに適用することで、前記各点の画素値を算出し、画像を生成する画像生成ステップと、
    前記被写体を撮像することで第一画像を取得する第一画像撮像ステップと、
    前記第一画像撮像ステップで取得された第一画像を鏡面反射成分と拡散反射成分とに分離する分離ステップとを含み、
    前記幾何パラメータ算出ステップ、前記表現子拡張ステップ、前記幾何パラメータ補正ステップ及び前記画像生成ステップでは、前記分離部で分離された鏡面反射成分について、それぞれの処理を実行し、
    前記画像生成ステップではさらに、生成した前記鏡面反射成分に対応する画像と、前記分離部で分離された拡散反射成分に対応する画像とを合成し、
    前記表現子拡張ステップでは、前記分離部で分離された鏡面反射成分と拡散反射成分との相関を保ちながら、鏡面反射を呈する前記表現子を拡張する表現子適合拡張ステップを含む
    を含む画像生成方法。
  12. 被写体の表面形状を表す情報から、より鮮明に被写体の表面形状を反映した高品位な画像を生成する画像生成装置のためのプログラムであって、
    請求項１１記載の画像生成方法に含まれるステップをコンピュータに実行させるプログラム。
JP2011510910A 2008-07-30 2009-07-28 ３ｄテクスチャの超解像のための画像生成装置及び方法 Active JP4880090B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/EP2008/006291 WO2010012289A1 (en) 2008-07-30 2008-07-30 Image generation device and method for super-resolution of 3d textures
EPPCT/EP2008/006291 2008-07-30
PCT/EP2009/005459 WO2010012447A2 (en) 2008-07-30 2009-07-28 Image generation device and image generation method

Publications (2)

Publication Number Publication Date
JP2011522316A JP2011522316A (ja) 2011-07-28
JP4880090B2 true JP4880090B2 (ja) 2012-02-22

Family

ID=40957606

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2011511983A Active JP4880091B2 (ja) 2008-07-30 2008-07-30 ３ｄテクスチャの超解像のための画像生成装置及び方法
JP2011510910A Active JP4880090B2 (ja) 2008-07-30 2009-07-28 ３ｄテクスチャの超解像のための画像生成装置及び方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2011511983A Active JP4880091B2 (ja) 2008-07-30 2008-07-30 ３ｄテクスチャの超解像のための画像生成装置及び方法

Country Status (6)

Country Link
US (2) US8350932B2 (ja)
EP (2) EP2319010B1 (ja)
JP (2) JP4880091B2 (ja)
CN (2) CN102077242B (ja)
AT (2) ATE543156T1 (ja)
WO (2) WO2010012289A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8670630B1 (en) * 2010-12-09 2014-03-11 Google Inc. Fast randomized multi-scale energy minimization for image processing
US8970693B1 (en) * 2011-12-15 2015-03-03 Rawles Llc Surface modeling with structured light
CN104079914B (zh) * 2014-07-02 2016-02-10 山东大学 基于深度信息的多视点图像超分辨方法
US20160125638A1 (en) * 2014-11-04 2016-05-05 Dassault Systemes Automated Texturing Mapping and Animation from Images
WO2016132113A1 (en) * 2015-02-16 2016-08-25 University Of Surrey Three dimensional modelling
JP2016191845A (ja) * 2015-03-31 2016-11-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9972123B2 (en) * 2015-04-01 2018-05-15 Otoy, Inc. Generating 3D models with surface details
US9877012B2 (en) * 2015-04-01 2018-01-23 Canon Kabushiki Kaisha Image processing apparatus for estimating three-dimensional position of object and method therefor
KR102531117B1 (ko) * 2015-10-07 2023-05-10 삼성메디슨 주식회사 대상체를 나타내는 영상을 디스플레이하는 방법 및 장치.
JP2019527355A (ja) * 2016-07-18 2019-09-26 ウニヴェアズィテート バーゼル デジタル画像における改善された光沢表現のためのコンピュータシステムおよび方法
JP6448869B2 (ja) * 2016-08-05 2019-01-09 株式会社オプティム 画像処理装置、画像処理システム、及びプログラム
WO2018097677A1 (en) 2016-11-28 2018-05-31 Samsung Electronics Co., Ltd. Image processing apparatus, image processing method, and computer-readable recording medium thereof
JP7067016B2 (ja) * 2017-10-23 2022-05-16 凸版印刷株式会社 多視点質感シミュレーションシステム及び多視点質感シミュレーション方法
CN107966944B (zh) * 2017-11-30 2020-12-08 贵州财经大学 智慧大棚分区控制系统及分区采摘方法
JP6800938B2 (ja) * 2018-10-30 2020-12-16 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP7409014B2 (ja) * 2019-10-31 2024-01-09 富士フイルムビジネスイノベーション株式会社 表示装置
GB2593441B (en) * 2020-02-21 2023-03-01 Huawei Tech Co Ltd Three-dimensional facial reconstruction
US20230156170A1 (en) * 2020-04-13 2023-05-18 Sony Group Corporation Image processing apparatus and method, and program

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10222700A (ja) 1997-02-13 1998-08-21 Tomotaka Marui 仮想現実物体を製作し表示する装置
US7065242B2 (en) * 2000-03-28 2006-06-20 Viewpoint Corporation System and method of three-dimensional image capture and modeling
JP3624153B2 (ja) 2000-11-09 2005-03-02 キヤノン株式会社 画像処理装置及び画像処理方法
JP3863023B2 (ja) 2002-01-29 2006-12-27 株式会社東芝 テクスチャ生成装置、テクスチャマッピング装置、テクスチャ生成方法、テクスチャマッピング方法、テクスチャ生成プログラム、及び、テクスチャマッピングプログラム
AU2003226081A1 (en) 2002-03-25 2003-10-13 The Trustees Of Columbia University In The City Of New York Method and system for enhancing data quality
KR100528343B1 (ko) * 2003-07-14 2005-11-15 삼성전자주식회사 3차원 객체의 영상 기반 표현 및 편집 방법 및 장치
KR20050081260A (ko) 2004-02-11 2005-08-19 삼성전자주식회사 초해상 정보저장매체에 기록된 정보 재생방법 및 장치
JP4764963B2 (ja) * 2004-07-21 2011-09-07 公立大学法人広島市立大学 画像処理装置
WO2006033257A1 (ja) 2004-09-24 2006-03-30 Matsushita Electric Industrial Co., Ltd. 画像変換方法、画像変換装置、サーバークライアントシステム、携帯機器およびプログラム
JP3996630B2 (ja) * 2005-01-19 2007-10-24 松下電器産業株式会社 画像変換方法、テクスチャマッピング方法、画像変換装置、サーバークライアントシステム、画像変換プログラム、影認識方法および影認識装置
CN100438406C (zh) * 2006-01-23 2008-11-26 北京航空航天大学 一种基于远程渲染的三维模型网络发布方法
WO2007108041A1 (ja) 2006-03-15 2007-09-27 Matsushita Electric Industrial Co., Ltd. 画像変換方法、画像変換装置、サーバークライアントシステム、携帯機器およびプログラム
US20070229850A1 (en) * 2006-04-04 2007-10-04 Boxternal Logics, Llc System and method for three-dimensional image capture
CN101422035B (zh) * 2006-05-29 2012-02-29 松下电器产业株式会社 光源推定装置、光源推定系统与光源推定方法以及图像高分辨率化装置与图像高分辨率化方法
JP4618730B2 (ja) 2006-07-26 2011-01-26 株式会社リコー 情報再生方法及び情報再生装置
US8131116B2 (en) 2006-08-31 2012-03-06 Panasonic Corporation Image processing device, image processing method and image processing program
AU2007254627B2 (en) * 2007-12-21 2010-07-08 Canon Kabushiki Kaisha Geometric parameter measurement of an imaging device

Also Published As

Publication number Publication date
JP2011522333A (ja) 2011-07-28
EP2313861B1 (en) 2012-04-25
ATE543156T1 (de) 2012-02-15
CN102077242B (zh) 2013-08-07
CN102077243A (zh) 2011-05-25
WO2010012289A1 (en) 2010-02-04
US9087388B2 (en) 2015-07-21
US20110102641A1 (en) 2011-05-05
US20110102551A1 (en) 2011-05-05
JP2011522316A (ja) 2011-07-28
US8350932B2 (en) 2013-01-08
WO2010012447A2 (en) 2010-02-04
EP2313861A2 (en) 2011-04-27
EP2319010A1 (en) 2011-05-11
EP2319010B1 (en) 2012-01-25
CN102077243B (zh) 2013-05-08
CN102077242A (zh) 2011-05-25
ATE555454T1 (de) 2012-05-15
JP4880091B2 (ja) 2012-02-22
WO2010012447A3 (en) 2010-03-25

Similar Documents

Publication Publication Date Title
JP4880090B2 (ja) ３ｄテクスチャの超解像のための画像生成装置及び方法
Hedman et al. Scalable inside-out image-based rendering
Zakharchenko et al. Quality metric for spherical panoramic video
JP7403528B2 (ja) シーンの色及び深度の情報を再構成するための方法及びシステム
JP2006053694A (ja) 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体
US11663775B2 (en) Generating physically-based material maps
CN113298936A (zh) 一种基于深度学习的多rgb-d全脸材质恢复方法
De Paolis et al. Photogrammetric 3D reconstruction of small objects for a real-time fruition
CN116385619B (zh) 对象模型渲染方法、装置、计算机设备和存储介质
MacDonald et al. Three-dimensional reconstruction of Roman coins from photometric image sets
Comino et al. Error-aware construction and rendering of multi-scan panoramas from massive point clouds
CN113989434A (zh) 一种人体三维重建方法及设备
Bullinger et al. 3D Surface Reconstruction From Multi-Date Satellite Images
Berrier et al. Improved appearance rendering for photogrammetrically acquired 3D models
MacDonald et al. Modelling the appearance of heritage metallic surfaces
Garagnani et al. Virtual and augmented reality applications for Cultural Heritage
CN108921908B (zh) 表面光场的采集方法、装置及电子设备
Aliaga Digital inspection: An interactive stage for viewing surface details
KR20030082307A (ko) 직각 교차 실린더를 이용한 영상기반 렌더링 방법
Martos et al. Realistic virtual reproductions. Image-based modelling of geometry and appearance
Yuan et al. Illumination consistency based on single low dynamic range images
WO2021190655A1 (en) Method for merging multiple images and post-processing of panorama
Mao et al. Super-Resolution Virtual Scene Rendering Technology Based on Generalized Huber-MRF Image Modeling
Forchhammer A Simulation System for Scene Synthesis in Virtual Reality
Yang et al. Triangular patch based texture fusion for multi-view 3D face model

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20101130

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111108

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111130

R150 Certificate of patent or registration of utility model

Ref document number: 4880090

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141209

Year of fee payment: 3