JP4880090B2 - 3dテクスチャの超解像のための画像生成装置及び方法 - Google Patents

3dテクスチャの超解像のための画像生成装置及び方法 Download PDF

Info

Publication number
JP4880090B2
JP4880090B2 JP2011510910A JP2011510910A JP4880090B2 JP 4880090 B2 JP4880090 B2 JP 4880090B2 JP 2011510910 A JP2011510910 A JP 2011510910A JP 2011510910 A JP2011510910 A JP 2011510910A JP 4880090 B2 JP4880090 B2 JP 4880090B2
Authority
JP
Japan
Prior art keywords
image
unit
geometric parameter
subject
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011510910A
Other languages
English (en)
Other versions
JP2011522316A (ja
Inventor
正宏 岩崎
マヌス ローカン・マック
ネイル・ドジソン
克洋 金森
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to EPPCT/EP2008/006291 priority Critical
Priority to PCT/EP2008/006291 priority patent/WO2010012289A1/en
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to PCT/EP2009/005459 priority patent/WO2010012447A2/en
Publication of JP2011522316A publication Critical patent/JP2011522316A/ja
Application granted granted Critical
Publication of JP4880090B2 publication Critical patent/JP4880090B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/36Level of detail

Description

本発明は、画像生成装置に関し、特に、低品質な被写体画像等から得られる被写体表面の凹凸等の表面形状に関する幾何パラメータから、被写体表面の凹凸等の表面形状をより鮮明に反映した高品質な被写体画像を生成したり、被写体表面の凹凸等の表面形状を鮮明に反映しながら、任意の位置から照射される擬似的な光源下での被写体画像を生成したりする装置に関する。
フルーツ、木材、人物の肌など、表面に凹凸を持つ被写体を撮像する際に、低品位な撮像システムを用いたり、被写体が画像サイズと比較して小さい場合など、解像度不足により表面の凹凸情報を画像として再現できない問題がしばしば起こる。このような問題に対して、特許文献1では、デジタルカメラなどのカメラを用いて撮像を行った第一画像に加えて、ズーム等を行い第一画像の一部分を第一画像の対応部分よりも高品位に撮像した第二画像を用いて、両画像の関係から品位向上関数を学習し、その品位向上関数を画像全体に対して適用することによって、画像全体の質や解像度を向上させる方法が開示されている。これによって、低品位な撮像システムであっても、より高品位な画像を生成することができ、解像度不足により撮像できなかった表面の凹凸情報を第二画像から得た情報により画像として復元することが可能である。
しかしながら、特許文献1に開示されている方法では、被写体表面の凹凸を反映した画像を生成することはできるものの、撮像時の光源とは異なる擬似的な光源下での被写体画像を生成することはできない。擬似的な光源下での被写体画像を生成するためには、物体表面の形状に関する情報、具体的には、物体表面の法線、視点位置に関する幾何パラメータが必要である。特に、前記方法は画像に限定した方法では無いものの、品位向上関数は同一種のデータから生成されることを前提とした方法であるため、画像から、画像とは異なる情報である前記幾何パラメータを推定する方法は開示されていない。
また、レンジファインダ等を用いて、被写体の形状に関する幾何パラメータを復元する方法もあり、被写体の大まかな形状に関する幾何パラメータを取得することは可能である。しかしながら、解像度や精度が課題であり、フルーツ、木材、人物の肌などの被写体の微細な凹凸を取得するためには、非常に大掛かりなシステムを必要とするため、特にコンシューマ用途には、サイズ、コストの観点から現実的ではないといった問題がある。
一方で、特許文献2に、表面の凹凸情報を反映した画像を生成することが可能でかつ、画像から、画像とは異なる情報である物体表面の法線に関わる前記幾何パラメータを推定する方法が開示されている。ここでは、視点位置、光源位置、物体表面の法線に関わる幾何パラメータと画素値との物理的な関係を示すTorrance−Sparrowモデルを用いて、被写体画像に対して前記Torrance−Sparrowモデルをフィッティングし、フィッティングした結果と実測値との差分をガウス分布でモデル化している。ここで、ガウス分布でモデル化された成分は、高解像度成分と考えることも可能である。これにより、表面の凹凸情報が失われた画像に対して、前記ガウスモデルでモデル化した成分を付加することによって、表面の凹凸情報を反映した画像を生成可能であり、さらには、前述のように、視点位置、光源位置、物体表面の法線に関わる幾何パラメータを保持しているため、疑似的な光源下の画像生成を行うことも可能である。
米国特許出願公開第2006/0003328号明細書 特開2006−31595号公報
しかしながら、上記特許文献2の技術では、特にフルーツや木材、人物の肌などに見られる、中程度の凹凸情報であるメソストラクチャを反映した画像を生成することはできない。メソストラクチャについては、非特許文献1などで用いられているように、空間的に中程度の構造を持った凹凸が空間的にばらつきをもって分布しているものと捉えることができる。一方、特許文献2におけるガウスモデルは、画素値と前記幾何パラメータとの関係において、画素ごとの画素値のばらつきをモデル化したものである。そのため、表面の一様なざらつき等を表現することは可能であるものの、空間的に中程度の構造を持った凹凸を表現することができない。その結果、前述のフルーツや木材、人物の肌などに適用した場合には、一様なざらつき感として表現され、メソストラクチャとは異なる凹凸の画像が再現されることになる。
そこで、本発明は、低品位な被写体画像等から得られる被写体表面のメソストラクチャに関する幾何パラメータから、被写体表面のメソストラクチャをより鮮明に反映した高品質な被写体画像であって、かつ、任意の位置から照射される擬似的な光源下での被写体画像を生成することができる画像生成装置及びその方法を提供することを目的とする。
Tongbo Chen,Michael Goesele and Has−Peter Seidel,"Mesostructure from Specularity",Proceedings of the 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2006
この課題を解決するために本発明は、被写体の表面形状を表す情報から、より鮮明に被写体の表面形状を反映した高品位な画像を生成する画像生成装置であって、生成する画像は、光源から光を照射した被写体を視点から見たときの画像であり、前記画像生成装置は、前記光源及び前記視点の位置情報と、前記被写体の表面形状を表す法線情報とを取得する光源・視点・法線情報取得部と、生成する画像を構成する各画素に対応する前記被写体表面の各点について、前記光源及び前記視点の位置情報と前記法線情報とを用いた予め定められた演算を行うことで、前記被写体の形状に関する幾何パラメータである第一幾何パラメータを算出する幾何パラメータ算出部と、前記被写体表面の一部に対応するメソストラクチャを表す幾何パラメータであって、前記光源・視点・法線情報取得部で取得された法線情報の空間的な解像度よりも高い解像度の成分をもつ幾何パラメータである表現子を保持している高解像度データベース部と、前記高解像度データベース部から前記表現子を読み出し、読み出した表現子が示す空間的な領域が前記被写体表面を覆うように、前記表現子を空間的に拡張する表現子拡張部と、前記幾何パラメータ算出部で算出された第一幾何パラメータに対して、前記表現子拡張部で拡張された表現子を用いて補正することで、補正後幾何パラメータを算出する幾何パラメータ補正部と、前記幾何パラメータ補正部で算出された補正後幾何パラメータを、幾何パラメータから画素値を決定する反射モデルに適用することで、前記各点の画素値を算出し、画像を生成する画像生成部とを備える。
これにより、被写体の表面を表す幾何パラメータが、より高解像度の成分をもつ幾何パラメータで補正され、補正後の幾何パラメータから画像が生成されるので、より高品位な画像が生成される。さらに、それらの幾何パラメータは、光源の位置情報を反映したパラメータであり、このような幾何パラメータが反射モデルに適用されて画像が生成されるので、光源の位置を所望の位置に設定することが可能であり、これにより、任意の位置から照射される擬似的な光源下での被写体画像が生成される。
なお、本発明は、上記画像生成方法として実現できるだけでなく、上記各ステップを構成要素とする画像生成装置、上記各ステップをコンピュータに実行させるプログラム、そのプログラムを格納したCD−ROM等のコンピュータ読み取り可能な記録媒体等として実現することもできる。
本発明により、低品質な被写体画像等から得られる被写体表面の凹凸に関する幾何パラメータに基づいて、被写体表面の凹凸、特にはメソストラクチャをより鮮明に反映した高品質な被写体画像であって、かつ任意から照射される擬似的な光源下での被写体画像を生成したりすることができる。
よって、デジタルカメラ等で得られた画像を高解像度化したり、所望の位置に光源が置かれたときの擬似的な画像を生成したりすることができ、デジタルカメラや監視カメラが普及してきた今日における実用的価値は極めて高い。
図1は、本発明の実施の形態1における画像生成装置の基本構成を示す図である。 図2は、本発明の実施の形態1における画像生成装置の基本動作を示すフローチャートである。 図3は、本発明の実施の形態1における画像生成装置が生成する情報及び画像の概念を示す図である。 図4は、本発明の実施の形態1における幾何パラメータの一例を示す図である。 図5Aは、本発明の実施の形態1及び従来技術における表現子の一例を示す概念図である。 図5Bは、本発明の実施の形態1及び従来技術における表現子の一例を示す概念図である。 図6は、本発明の実施の形態1における拡張された表現子の例を示す概念図である。 図7は、本発明の実施の形態2における画像生成装置の基本構成を示す図である。 図8は、本発明の実施の形態2における画像生成装置の基本動作を示すフローチャートである。 図9は、本発明の実施の形態2における画像生成装置が生成する情報及び画像の概念を示す図である。 図10(a)及び(b)は、それぞれ、本発明の実施の形態2における第一及び第二撮像画像の一例を示す図である。 図11は、本発明の実施の形態3における画像生成装置のうち実施の形態1の変形例における画像生成装置の基本構成を示す図である。 図12は、本発明の実施の形態3における画像生成装置のうち実施の形態2の変形例における画像生成装置の基本構成を示す図である。 図13Aは、本発明の実施の形態3における画像生成装置のうち実施の形態1及び2の変形例における画像生成装置の基本動作を示すフローチャートである。 図13Bは、本発明の実施の形態3における画像生成装置のうち実施の形態1及び2の変形例における画像生成装置の基本動作を示すフローチャートである。 図14は、本発明の実施の形態3における擬似光源下画像生成における幾何パラメータの一例を示す図である。 図15は、本発明の実施の形態3における擬似光源下での画像生成の一例(動画)を示す図である。 図16は、本発明の実施の形態1から3の別の変形例における画像生成装置の基本構成を示す図である。 図17は、同変形例における画像生成装置の動作を示すフローチャートである。 図18(a)〜(d)は、本発明の実施の形態3の変形例における処理を説明するための図である。 図19は、本発明の実施の形態3の変形例における画像生成装置の構成を示すブロック図である。 図20は、同変形例における画像生成装置の動作を示すフローチャートである。 図21Aは、本発明の実施の形態4における顔画像合成システムの動作原理を説明する図である。 図21Bは、本発明の実施の形態4における顔画像合成システムの動作原理を説明する図である。 図21Cは、本発明の実施の形態4における顔画像合成システムの動作原理を説明する図である。 図22Aは、本発明の実施の形態4における顔画像合成システムの動作原理をより詳細に説明する図である。 図22Bは、本発明の実施の形態4における顔画像合成システムの動作原理をより詳細に説明する図である。 図23は、本発明の実施の形態4の変形例における顔画像合成システムの構成を示すブロック図である。 図24は、髪の反射モデルを説明するための図である。 図25は、髪領域のメソストラクチャの表現子を説明するための図である。 図26Aは、本発明の実施の形態4の効果を説明するための図である。 図26Bは、本発明の実施の形態4の効果を説明するための図である。
本発明の一実施形態は、被写体の表面形状を表す情報から、より鮮明に被写体の表面形状を反映した高品位な画像を生成する画像生成装置であって、生成する画像は、光源から光を照射した被写体を視点から見たときの画像であり、前記画像生成装置は、前記光源及び前記視点の位置情報と、前記被写体の表面形状を表す法線情報とを取得する光源・視点・法線情報取得部と、生成する画像を構成する各画素に対応する前記被写体表面の各点について、前記光源及び前記視点の位置情報と前記法線情報とを用いた予め定められた演算を行うことで、前記被写体の形状に関する幾何パラメータである第一幾何パラメータを算出する幾何パラメータ算出部と、前記被写体表面の一部に対応するメソストラクチャを表す幾何パラメータであって、前記光源・視点・法線情報取得部で取得された法線情報の空間的な解像度よりも高い解像度の成分をもつ幾何パラメータである表現子を保持している高解像度データベース部と、前記高解像度データベース部から前記表現子を読み出し、読み出した表現子が示す空間的な領域が前記被写体表面を覆うように、前記表現子を空間的に拡張する表現子拡張部と、前記幾何パラメータ算出部で算出された第一幾何パラメータに対して、前記表現子拡張部で拡張された表現子を用いて補正することで、補正後幾何パラメータを算出する幾何パラメータ補正部と、前記幾何パラメータ補正部で算出された補正後幾何パラメータを、幾何パラメータから画素値を決定する反射モデルに適用することで、前記各点の画素値を算出し、画像を生成する画像生成部とを備える。この構成により、メソストラクチャを再現可能な高解像度成分を表現子としてデータベースに保持し、それを空間的に拡張することによって、低品質な被写体画像等から得られる被写体の表面形状を表す情報から、被写体表面の凹凸をより鮮明に反映した高品質な被写体画像を生成可能である。また、被写体表面の各点における法線情報と光源及び視点の位置情報とから算出される幾何パラメータを反射モデルに適用して画像を生成しているので、光源の位置を所望の値に設定することが可能であり、これにより、任意の位置から照射される擬似的な光源下での被写体画像が生成される。
なお、幾何パラメータの具体例として、前記幾何パラメータとは、前記光源の方向を示す単位ベクトルと前記視点の方向を示す単位ベクトルとの加算によって得られるハーフベクトルと、当該幾何パラメータに対応する点における法線ベクトルとがなす角度に対応する値である。
本発明のより好ましい形態は、前記光源・視点・法線情報取得部は、前記被写体を撮像するステレオカメラ又はレンジファインダあるいはその他の形状取得装置から取得した情報から法線情報を算出することにより、前記法線情報を取得する。この構成により、幾何パラメータをステレオカメラ、もしくはレンジファインダ、もしくは他の形状取得手段から取得することによって、被写体全体の大まかな形状に関する幾何学的情報を得ることができ、別途取得した高解像度成分に相当する表現子を被写体全体に拡張することによって、被写体表面の凹凸をより鮮明に反映した高品質な被写体画像を生成可能であり、さらには、被写体表面の凹凸を反映しながら、任意の位置から照射される擬似的な光源下での被写体画像を生成することが可能である。
本発明のより好ましい形態の一つは、前記反射モデルは、ある点における法線情報と視点の位置情報と幾何パラメータとから、当該点における画素値を算出する式であり、前記画像生成部は、前記補正後幾何パラメータに加えて、光源・視点・法線情報取得部で取得された法線情報と視点の位置情報を前記反射モデルに適用することで、前記各点の画素値を算出する。この構成により、光源位置に関する反射モデルのパラメータを変化させることによって、被写体表面の凹凸を鮮明に反映しながら、任意の位置から照射される擬似的な光源下での被写体画像を生成することが可能である。
本発明のより好ましい形態の一つは、さらに、前記被写体を撮像することで第一画像を取得する第一画像撮像部と、前記第一画像のうち、高品位化させたい部分であるハイライト部分に対応する前記被写体の一部を、前記第一画像撮像部よりも高解像度で撮像することで、第二画像を取得する第二画像撮像部と、前記第二画像撮像部で取得された第二画像の画素値を目的関数として、前記被写体の表面形状に関する幾何パラメータである第二幾何パラメータを推定する第二幾何パラメータ推定部と、前記第二幾何パラメータ推定部で推定された第二幾何パラメータ自身を前記表現子として、生成した表現子を前記高解像度データベースに格納する表現子生成部とを備える。この構成により、ハイライト部分を高品位に撮像し、その画像からメソストラクチャを表現可能な幾何パラメータを推定することによって、低品質な被写体画像等から得られる被写体の表面形状を表す情報から、被写体表面の凹凸をより鮮明に反映した高品質な被写体画像を生成可能である。
本発明のより好ましい形態の一つは、前記第二画像撮像部は、前記第一画像撮像による撮像よりもズームして前記被写体の一部を撮像することで、前記第二画像を取得する。この構成により、ズーム機能を備えたカメラを用いることによって、カメラを2台用意するよりも小さな構成で被写体表面の凹凸をより鮮明に反映した高品質な被写体画像を生成可能であり、さらには、被写体表面の凹凸を反映しながら、任意の位置から照射される擬似的な光源下での被写体画像を生成することが可能である。
本発明のより好ましい形態の一つは、前記光源・視点・法線情報取得部は、前記光源の位置情報として、複数の位置情報を取得し、前記幾何パラメータ算出部は、前記光源・視点・法線情報取得部で取得された複数の前記光源の位置情報のそれぞれに対応させて、前記第一幾何パラメータを算出し、前記幾何パラメータ補正部は、前記光源・視点・法線情報取得部で取得された複数の前記光源の位置情報のそれぞれに対応させて、前記補正後幾何パラメータを算出し、前記画像生成部は、前記光源・視点・法線情報取得部で取得された複数の前記光源の位置情報のそれぞれに対応させて、前記画像を生成する。この構成により、変動する複数の光源位置のそれぞれについて、前記第一幾何パラメータを算出し、前記補正後幾何パラメータを算出し、前記画像を生成するので、被写体表面の凹凸を鮮明に反映しながら、任意の位置から照射される擬似的な光源下での複数の被写体画像を連続的に生成することが可能である。
本発明のより好ましい形態の一つは、さらに、前記被写体を撮像することで第一画像を取得する第一画像撮像部と、前記第一画像撮像部で取得された第一画像を鏡面反射成分と拡散反射成分とに分離する分離部とを備え、前記幾何パラメータ算出部、前記表現子拡張部、前記幾何パラメータ補正部及び前記画像生成部は、前記分離部で分離された鏡面反射成分について、それぞれの処理を実行し、前記画像生成部はさらに、生成した前記鏡面反射成分に対応する画像と、前記分離部で分離された拡散反射成分に対応する画像とを合成する。この構成により、入力画像を拡散反射成分と鏡面反射成分とに分離し、鏡面反射成分に対して反射モデルを適用して画像を高品位化することにより、反射モデルを適用すべき本来の画像成分(鏡面反射成分)だけに対して反射モデルを適用することなり、これにより、被写体表面の凹凸をより正確かつ鮮明に反映した高品質な被写体画像を生成可能であり、さらには、被写体表面の凹凸を反映しながら、任意の位置から照射される擬似的な光源下での被写体画像を生成することが可能である。
本発明のより好ましい形態の一つは、前記表現子拡張部は、前記分離部で分離された鏡面反射成分と拡散反射成分との相関を保ちながら、鏡面反射を呈する前記表現子を拡張する表現子適合拡張部を有する。この構成により、鏡面反射を呈するメソストラクチャが拡散反射画像との相関を用いて整合性を有しながら拡張されるため、光源変化などが生じた場合、表面反射の状況のリアリティがより向上する。
本発明のより好ましい形態の一つは、さらに、前記被写体の表面形状を表すコンピュータ・グラフィックス・データを取得し、取得したコンピュータ・グラフィックス・データから前記表現子を生成し、生成した表現子を前記高解像度データベースに格納する表現子生成部を備える。この構成により、人工データに対しても低品質な被写体画像等から得られる被写体の表面形状を表す情報から、被写体表面の凹凸をより鮮明に反映した高品質な被写体画像を生成可能である。
本発明のより好ましい形態の一つは、被写体を撮影して得られる画像に対して光源及び視点の位置を変化させる変換を行い、メソストラクチャ反射状況を再現した高品位な画像を生成する画像生成装置であって、生成する画像は、光源から光を照射した被写体を任意の視点から見たときの画像であり、前記画像生成装置は、被写体を撮影して得られる実写画像を取得する画像撮像部と、光源の位置を表す光源情報を取得する光源情報取得部と、取得された光源情報に基づいて前記光源の位置を変化させた情報を生成する光源情報変換部と、前記被写体の表面形状を表す形状データを保持する形状復元部と、前記形状復元部に保持された形状データに基づいて前記被写体の法線を求める法線推定部と、カメラ撮像位置を求める視線情報取得部と、前記形状復元部に保持された形状データ及び視点を任意位置に変化させる視点変換部と、撮像画像を鏡面反射画像と拡散反射画像に分離するDS分離部と、生成する画像を構成する各画素に対応する前記被写体表面の各点について、前記光源及び前記視点の位置情報と前記法線情報とを用いた予め定められた演算を行うことで、前記被写体の形状に関する幾何パラメータを算出する幾何パラメータ算出部と、前記DS分離部で分離された鏡面反射画像からメソストラクチャを表す幾何パラメータである表現子を抽出する鏡面反射画像メソストラクチャ抽出部と、抽出された前記表現子と前記分離部で分離された拡散反射画像との相関を維持しつつ、空間的な領域が前記被写体表面を覆うように、前記表現子を空間的に拡張する表現子適合拡張部と、前記幾何パラメータ算出部で算出された幾何パラメータに対して、前記表現子適合拡張部で拡張された表現子を用いて補正することで、補正後幾何パラメータを算出する幾何パラメータ補正部と、前記幾何パラメータ補正部で算出された補正後幾何パラメータを、幾何パラメータから画素値を決定する反射モデルに適用することで、前記各点の画素値を算出し、画像を生成する画像生成部とを備える。
このとき、一定位置で撮影された人物の頭部画像を対象に、自在光源変換、または自在視点変換を行う場合、髪および唇の鏡面反射のテクスチャをメソストラクチャとして反射モデルで再現するが好ましい。これにより、光源変動のケースと視線変動の2つのケースにおいて、被写体のアピアランスと表面の輝度値とを変化させることで、撮影条件に非常に敏感なメソストラクチャを再現し、見えのリアリティが増強される。また、従来では不可能であった視点変換に伴う鏡面反射変化についてもメソストラクチャの考え方をもって実現でき、リアルな表現が達成される。
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
(実施の形態1)
まず、本発明の実施の形態1における画像生成装置及び画像生成方法について説明する。図1は、実施の形態1における画像生成装置の構成を示す図である。図1の画像生成装置は、メソストラクチャを再現可能な高解像度成分を表現子としてデータベースに保持し、それを空間的に拡張することによって、低品質な被写体画像等から得られる被写体の表面形状を表す情報から、被写体表面の凹凸等の表面形状をより鮮明に反映した高品質な被写体画像を生成する画像生成装置であり、光源・視点・法線情報取得部101、幾何パラメータ算出部102、高解像度データベース部103、表現子拡張部104、幾何パラメータ補正部105、画像生成部106を備える。なお、この画像生成装置が生成する被写体画像は、ある光源から光を照射された被写体をある視点から見たときの画像である。
光源・視点・法線情報取得部101は、本画像生成装置における光源位置とカメラの位置もしくは視点位置とを取得し、レンジファインダやステレオカメラ等により取得した情報から、被写体表面の法線情報を算出する。
幾何パラメータ算出部102は、光源・視点・法線情報取得部101で取得した光源位置、視点位置、法線の情報から、被写体のおおまかな(マクロ)形状に関する幾何パラメータ(つまり、低品質な被写体画像等から得られる幾何パラメータ(第一幾何パラメータ))を算出する処理部である。ここでは、メソストラクチャを再現できるほどの高い精度の幾何パラメータは取得されないことを仮定してよい。
高解像度データベース部103は、被写体表面の一部に対応するメソストラクチャを表す幾何パラメータであって、光源・視点・法線情報取得部101で取得された法線情報の空間的な解像度よりも高い解像度の成分をもつ幾何パラメータである表現子を保持しているデータベースであり、本実施の形態では、画像のメソストラクチャ成分を含む高解像度成分に対応する幾何パラメータを2次元のブロックで表現子として保持している。ここで、表現子は正方形、長方形に限定されるものではない。
表現子拡張部104は、高解像度データベース部103から表現子を読み出し、読み出した表現子が示す空間的な領域が被写体表面を覆うように表現子を空間的に拡張する処理部であり、本実施の形態では、高解像度データベース部103で保持している表現子のサイズを出力画像のサイズ、もしくは対象となる被写体の領域サイズまで空間的に拡張する。これにより、表現子のサイズが実際の画像サイズよりも小さい場合においても、画像全体に対してメソストラクチャを再現可能になる。
幾何パラメータ補正部105は、幾何パラメータ算出部102で算出した幾何パラメータに対して、表現子拡張部104で空間的に拡張したメソストラクチャ成分を含む高解像度成分を追加することによって、幾何パラメータ算出部102で算出した幾何パラメータを補正する。すなわち、レンジファインダ等の精度の問題で、幾何パラメータ算出部102で算出したメソストラクチャを含まない幾何パラメータに対しても、メソストラクチャ成分を付加することができる。
画像生成部106は、補正した幾何パラメータ(補正後幾何パラメータ)を、幾何パラメータから画素値を決定する関係式である反射モデルの幾何パラメータとして用いることによって、出力画像の各点の画素値を算出し、これによってメソストラクチャ成分を含む高品位化された画像を生成する。
以上のような構成により、メソストラクチャ成分を含まない低品位な画像入力に対しても、メソストラクチャ成分を含む高品位化された画像を生成することが可能である。
なお、この画像生成装置を構成する各構成要素(幾何パラメータ算出部102、高解像度データベース部103、表現子拡張部104、幾何パラメータ補正部105、画像生成部106)は、中央処理装置(CPU)、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、通信インターフェース、I/Oポート、ハードディスク、ディスプレイ等を備えるコンピュータ上で実行されるプログラム等のソフトウェアで実現されても良いし、電子回路等のハードウェアで実現されても良い。以下、他の実施の形態における画像生成装置についても同様である。
以下に、以上のように構成された本実施の形態における画像生成装置の動作(つまり、本発明の画像生成方法)について、図2のフローチャート及び図3に示される情報及び画像の概念図を用いて低品質な被写体画像等から得られる被写体の表面形状を表す情報から、被写体表面の凹凸をより鮮明に反映した高品質な被写体画像を生成する方法について説明する。
まず、ステップS201にて、光源・視点・法線情報取得部101は、設置されている光源の位置から照明単位ベクトルLを、設置されているカメラの位置から視点単位ベクトルVを得る。ここでは、視点単位ベクトル、照明単位ベクトル、被写体表面の形状に関する法線情報が得られれば、CG等により人工的に作成したものでも構わない。なお、この場合はステップS201とS202は不要である。
次に、ステップS202にて、光源・視点・法線情報取得部101は、ステレオカメラもしくはレンジファインダで取得した情報から被写体表面の法線情報(図3の法線情報10参照)を算出する。
具体的には、ステレオカメラを用いる場合は、非特許文献2に記載の方法を用いれば、2枚の画像から被写体表面のそれぞれの点における3次元位置を得ることができる。次に、被写体表面の点iにおける法線ベクトルNiは、少なくとも3点の3次元位置A、B、Cから、以下の式1のように計算できる。
ここで、xは外積である。もちろん、被写体表面の形状を表す法線ベクトルが求まりさえすれば良いため、法線情報の算出方法としては、上述の方法に限定されるものではない。
松山隆司、久野義徳、井宮淳、"コンピュータビジョン 技術評論と将来展望", pp.123-133, 新技術コミュニケーションズ, 1998
これとは別に、レンジファインダを用いた場合には、非特許文献3に記載の方法を用いて、被写体表面の法線ベクトルNiを求めることができる。
Yoichi Sato,Mark D.Wheeler and Katsushi Ikeuchi,"Object Shape and Reflectance Modeling from Observation,Proceedings of ACM SIGGRAPH97,pp.379−387,1997
次に、ステップS203にて、幾何パラメータ算出部102は、光源・視点・法線情報取得部101にて取得された光源位置、視点位置、法線の情報から、被写体の形状に関する幾何パラメータを算出する。この幾何パラメータは、画像の輝度値に直接的に影響を与えるパラメータであり、メソストラクチャ等の被写体表面の形状に起因して画素値を変化させるために重要である。図4に示すように、光源位置と視点位置が既知であると仮定すると、ステップS201で取得した視点単位ベクトルVと照明単位ベクトルLから、被写体の形状に関する幾何パラメータαi LRを以下の式2のように算出することができる。
ここで、Hは次の式3のように算出する。ここでLとVは被写体から十分離れていることを仮定してiに依存しないと考える。
上記式2及び式3から分かるように、本実施の形態における「幾何パラメータ」とは、光源の方向を示す単位ベクトルと視点の方向を示す単位ベクトルとの加算によって得られるハーフベクトルと、当該幾何パラメータに対応する点における法線ベクトルとがなす角度に対応する値(arccos)である。
このようにして、幾何パラメータ算出部102は、被写体の形状に関する幾何パラメータαi LRを出力画像上の点iについて求める。ただし、ここではレンジファインダやステレオカメラから得られる形状情報は、解像度や精度が低いため、幾何パラメータαi LRはメソストラクチャを含んでいない。また、ノイズ除去を目的として、算出したαi LRに対して空間的にローパスフィルタを掛けても良い。
次に、ステップS204では、高解像度データベース部103にあらかじめ表現子(図3の高解像度画像11、表現子12参照)を保持してあるので、表現子拡張部104は、高解像度データベース部103から表現子を読み出し、読み出した表現子を空間的に拡張する(図3の拡張後の表現子13参照)。ここで、表現子とは、被写体表面の一部に対応するメソストラクチャを表す幾何パラメータであって、光源・視点・法線情報取得部101で取得された法線情報の空間的な解像度よりも高い解像度の成分をもつ幾何パラメータであり、本実施の形態では、図5Aに示すように、N×Mのサイズで、画素値ではなくメソストラクチャを含む高解像度成分で構成された幾何パラメータΔαiである。なお、表現子のサイズは入力画像サイズよりも小さくて構わない。図5Aでは、濃いほどΔαiの値が大きいことを示している。特許文献2の手法では、ガウスモデルを用いて点の分布によって凹凸情報を表現しているため、図5Bに示すように、点の有無でしか表現できないためメソストラクチャに見られる空間的な被写体の撮像サイズを反映する構造(連続性)を表現することはできない。しかしながら本実施の形態では、表現子は、N×Mの2次元マップとして表現することにより、メソストラクチャを表現することが可能である。なお、表現子は、実施の形態2で説明する方法によりあらかじめ取得した後、高解像度データベースに保持しておいても良いし、CGで人工的に作成しておいても良い。CGモデルを用いて人工的にメソストラクチャを作成する方法については、非特許文献4に記載の方法を用いることができる。
東海彰吾, 宮城真, 安田孝美, 横井茂樹, 鳥脇純一、"CGによる柑橘果実の質感表現の一手法", 電子情報通信学会論文誌, J76−D−II,8,pp.1746−1754,1993
次に、表現子が画像サイズ、もしくは被写体のサイズより小さい場合には、図5Aの表現子を空間的に出力する画像のサイズまで拡張する。なお、被写体の領域が分かっている場合は、領域サイズになるように拡張しても良い。例えば、光源・視点・法線情報取得部101に加えて、画像を入力する処理部を加えることも可能であり、この場合、被写体の色が分かっている場合には、色特徴量を用いて画像をセグメンテーションして、被写体の領域を特定することも可能であるし、画像を入力する処理部を設けなくともしとも、被写体の法線情報の連続性を検出し当該被写体領域を推定し、その全域に拡張することもできる。以上は被写体全域が均一なメソストラクチャで覆われている場合に相当するが、当該被写体が異なる2種以上の材質から生成されている場合などには、材質の違いを反映する物理量(例えば、以下に説明する式8におけるm等)を利用することにより、当該材質領域の内部だけに拡張することも可能である。表現子を空間的に拡張する時には、表現子が持つメソストラクチャの成分を被写体全体もしくは画像全体に拡張するために、表現子が持つメソストラクチャを含む高解像度成分で構成された幾何パラメータΔαiの空間的な統計的性質を保ちながら行う必要がある。ここで、空間的な統計的性質とは、中間的な凹凸情報であるメソストラクチャの空間的な配置におけるばらつき具合である。メソストラクチャを含む高解像度成分で構成された幾何パラメータΔαiの空間的な統計的性質を保ちながら拡張する方法として、以下に示す非特許文献5の手法を用いることができる。
Alexei A Efros and Thomas K Leung, "Texture Synthesis by Nonparametric Sampling", IEEE International Conference on Computer Vision, 1999
非特許文献5の手法を用いると、図6に示すように表現子と同様の性質を保持したまま空間的な拡張が可能になる。ただし、非特許文献5では、画素値の小領域の空間的分布にもとづいて画像を拡張しているが、本特許では、メソストラクチャを含む高解像度成分で構成された幾何パラメータΔαiの小領域の空間的分布にもとづいてΔαiを空間的に拡張する。画素値にもとづいた画像の拡張では、撮像時の光源位置の影響を直接的に受けるため、擬似光源下での画像を生成することができない。一方、メソストラクチャを含む高解像度成分で構成された幾何パラメータΔαiを用いれば、光源の位置に応じて画像の輝度値を変化させることができるため、撮像時の光源の影響を排除しつつ、擬似光源下での画像生成が可能になる。
次に、ステップS205では、幾何パラメータ補正部105は、ステップS203で算出された幾何パラメータαi LRに対して、メソストラクチャ成分を含む空間的に拡張された幾何パラメータΔαiを追加することで、幾何パラメータαi LRを、次の式4のように補正する。
もちろん、Δαiに対して重み付けを行っても良いし、Δαiにスムージング等のノイズ除去を行っても良い。これによって、メソストラクチャ成分を含まない幾何パラメータから、メソストラクチャ成分を含んだ幾何パラメータを得ることができる。
次に、ステップS206では、画像生成部106は、上記式4で補正された幾何パラメータαi LRを反射モデルに適用することによって画像(図3の出力画像14参照)を生成する。具体的には、反射モデルの一例として、画像を生成する際の画素値は以下の式5のように表現される。
ここで、kは定数、Fはフレネル反射係数、Dは被写体表面の粗さに関する係数、Gは幾何減衰係数である。また、N、Vは、それぞれ、図4に示された法線ベクトル、視点単位ベクトルである。なお、Dについては、Torrance−SparrowモデルやCook−Torranceモデルを用いることができる。Torrance−Sparrowモデルの場合は以下の式6のように表すことができる。
Cook−Torranceモデルの場合は、以下の式7のように表される。
なお、上記反射モデルについては、非特許文献6のp731−739に詳しく記載されている。ここでは、上記式5から式7において、設計者が必要なパラメータを設定して画像を生成しても良いし、以下の式8のように計算の単純化のために、Fを定数、Dには式6に示したTorrance−Sparrowモデルを用い、G=1として画像を生成しても良い。
ここで、mはTorrance−Sparrowモデルにおける粗さ係数である。mは被写体の種類に依存するものであるため、あらかじめ被写体に応じたmの値を保持しておいても良いし、m=0.1等の一定値として処理を行っても良い。また、画像からパラメータmの推定を行っても良い。
Andrew S.Glassner "Principles of Digital Image Synthesis", Vol.2, Morgan KaufMannInc.,1995
以上のようにして、メソストラクチャを再現可能な高解像度成分を表現子としてデータベースに保持し、それを空間的に拡張することによって、低品質な被写体画像等から得られる被写体の表面形状を表す幾何パラメータから、被写体表面の凹凸をより鮮明に反映した高品質な被写体画像を生成することができる。さらに、その幾何パラメータは、光源の位置情報を反映したパラメータであり、このような幾何パラメータが反射モデルに適用されて画像が生成されるので、光源の位置を所望の位置に設定することが可能であり、これにより、任意の位置から照射される擬似的な光源下での被写体画像が生成される。
(実施の形態2)
次に、本発明の実施の形態2における画像生成装置及び画像生成方法について説明する。図7は、実施の形態2における画像生成装置の構成を示す図である。図7の画像生成装置は、カメラのズーム機能等を用いて、ハイライト部分をより高品質に撮像し、メソストラクチャを含む高解像度成分の幾何パラメータを表現子として推定し、それを空間的に拡張することによって、低品質な被写体画像等から得られる被写体の表面形状を表す情報から、被写体表面の凹凸をより鮮明に反映した高品質な被写体画像を生成する画像生成装置であり、光源・視点・法線情報取得部101、幾何パラメータ算出部102、第一画像撮像部601、第二画像撮像部602、第二幾何パラメータ推定部603、表現子生成部604、高解像度データベース部103、表現子拡張部104、幾何パラメータ補正部105、画像生成部106を備える。この画像生成装置は、実施の形態1における画像生成装置に、第一画像撮像部601、第二画像撮像部602、第二幾何パラメータ推定部603、表現子生成部604を追加した構成を備える。なお、実施の形態1における構成要素と同一の構成要素については、同一の符号を付し、その説明を省略する。
第一画像撮像部601は、デジタルカメラ等で少なくとも1枚以上の被写体画像を撮像する。この時、メソストラクチャを含む高解像度成分が撮像されていなくとも構わない。
第二画像撮像部602は、メソストラクチャを含む画像を撮像するために、第一画像撮像部601で撮像した画像の一部をより高品位に(つまり、高解像度で)撮像する。
第二幾何パラメータ推定部603は、第二画像撮像部602で取得された第二画像の画素値を目的関数として被写体の表面形状に関する幾何パラメータである第二幾何パラメータを推定する処理部であり、本実施の形態では、第二画像撮像部602で撮像した画像から反射モデルを用いて被写体の形状に関する幾何パラメータを推定する。この幾何パラメータは、メソストラクチャ成分を含む。
表現子生成部604は、前記第二幾何パラメータ推定部603にて推定したメソストラクチャ成分を含む幾何パラメータから、メソストラクチャ成分を含む高解像度成分を算出して、2次元のブロックからなる表現子として生成し、生成した表現子を高解像度データベース部103に格納する。ここで、表現子は正方形、長方形に限定されるものではない。
表現子拡張部104は、高解像度データベース部103から表現子を読み出し、読み出した表現子のサイズを第一画像撮像部601で撮像した被写体の領域サイズまで空間的に拡張する処理部である。実施の形態1で説明したように、画像を用いて領域分割を行い、被写体の領域サイズになるように拡張しても良い。これにより、表現子のサイズが実際の画像サイズもしくは被写体のサイズよりも小さい場合においても、画像全体に対してメソストラクチャを再現可能になる。
以下に、以上のように構成された本実施の形態における画像生成装置の動作(つまり、本発明の画像生成方法)について、図8のフローチャート及び図9に示される情報及び画像の概念図を用いて低品質な被写体画像と被写体の一部を高品位に撮像した画像から、被写体表面の凹凸をより鮮明に反映した高品質な被写体画像を生成する方法について説明する。
実施の形態2における図8のステップS701からステップS703までは、実施の形態1における図2のステップS201からステップS203と同じであるため、説明を省略する。
次に、ステップS704では、第一画像撮像部601は、デジタルカメラ等で第一の画像(図9の第一画像20参照)を撮像する。
次に、ステップS705では、第二画像撮像部602は、第一画像のハイライト部分を第一画像よりも高品位に撮像することで、第二画像(図9の第二画像11参照)を取得する。ハイライト部分を撮像することによって、前述した反射モデルの適用が可能になる。また、ズーム機能を持つ一つのカメラでハイライト部分を撮像しても良いし、他のカメラを用いて別途撮像しても良い。ここでは、ハイライト部分は、第一画像撮像部601で撮像した画像の中で輝度値が最も高い部分を中心に撮像しても良いし、第一画像撮像部601で撮像した画像を一定の大きさのブロックに区切り、ブロックごとに平均輝度値を算出し、その平均輝度値が最も高い部分を撮像しても良いし、さらには、ブロック内の輝度値の分散が一番大きい部分を撮像しても良い。具体的には、図10(a)に示すように第一画像撮像部601で撮像した画像(第一画像)の一部を、図10(b)に示す画像(第二画像)のように第二画像撮像部602により高品位に撮像する。図10において、図10(a)の薄い斑点は、解像度が足りずにメソストラクチャが適切に撮像されていないことを示している。一方、一部を高品位に撮像することによって、図10(b)のように、メソストラクチャを適切に撮像することができる。
次に、ステップS706では、第二幾何パラメータ推定部603は、ステップS705にてハイライト部分を高品位に撮像した画像から、反射モデルを用いて高解像度成分を含む幾何パラメータαi E_HRを表現子として推定する。具体的には、以下のように行うことができる。
上記式8を以下の式9のように書き換える。
ここで、Cは定数である。mは、実施の形態1と同様にあらかじめ被写体に応じたmの値を保持しておいても良いし、m=0.1等の一定値として処理を行っても良い。さらには、mを画像から推定しても良い。
ただし、
である。
ここで、Cは以下の式11のように求めることができる。
ここで、maxは最大値をとることを意味する。ここでは、幾何パラメータαi E_HRが0である時に輝度値が最大になることを仮定している。
次に、上記式9と式11により、以下の式12のように、メソストラクチャを含む高解像度成分で構成された幾何パラメータαi E_HRを求めることができる。
次に、S707にて、表現子生成部604は次の式13のように表現子(図9の表現子12参照)を生成し、生成した表現子を高解像度データベース部103に格納する。
すなわちαi E_HRを直接、表現子Δαiとしている。ここで、実施の形態1で説明したように、表現子とは図5Aに示すようなN×Mのサイズで、画素値ではなくメソストラクチャを含む高解像度成分で構成された幾何パラメータΔαiである。もちろん、表現子は必ずしも正方形や長方形である必要はない。さらに、表現子のサイズは入力画像サイズよりも小さくて構わない。図5Aでは、濃いほどΔαiの値が大きいことを示している。特許文献2の手法では、ガウスモデルを用いて点の分布で表現しているため、図5Bに示すように、メソストラクチャに見られる空間的な連続性を表現することはできない。しかしながら、表現子は、N×Mの2次元マップとして表現することにより、メソストラクチャを表現することが可能である。
次に、ステップS708については、表現子拡張部104は、ステップS707にて生成されて高解像度データベース部103に格納された表現子を用いて、ステップS204と同じ手法にて空間的に拡張する(図9の拡張後の表現子13参照)。
次に、ステップS709およびS710については、実施の形態1におけるステップS205、S206とそれぞれ同じである(つまり、同様の処理によって画像(図9の出力画像14参照)が生成される)ため、説明を省略する。
以上のようにして、ハイライト部分を高品位に撮像し、その画像からメソストラクチャを表現可能な幾何パラメータを推定し、高解像度成分を用いて反射モデルによって画像生成を行うことで、低品質な被写体画像等から得られる被写体の表面形状を表す情報から、被写体表面の凹凸をより鮮明に反映した高品質な被写体画像を生成可能である。さらに、その幾何パラメータは、光源の位置情報を反映したパラメータであり、このような幾何パラメータが反射モデルに適用されて画像が生成されるので、光源の位置を所望の位置に設定することが可能であり、これにより、任意の位置から照射される擬似的な光源下での被写体画像が生成される。
(実施の形態3)
次に、実施の形態1および2で説明したメソストラクチャを反映した高品質な被写体画像を生成する画像生成方法に加え、メソストラクチャを反映しながら、任意の位置から照射される擬似的な光源下での被写体画像を生成する例(実施の形態3)について説明する。本画像生成装置は、図11および図12に示すように、実施の形態1および2で説明した画像生成装置において、光源・視点・法線情報取得部101の代わりに、擬似的に光源位置情報を与える(つまり、光源位置として、所望の複数の位置情報を与える)ことで実現できる。そのため、ここでは、実施の形態1及び2と大きく異なる光源・視点・法線情報取得部101aについて中心的に説明するが、全体の処理としては、具体的には、以下のように、照明単位ベクトルLを変化させながら、それに応じたメソストラクチャを含む幾何パラメータαi HRを変更することで画像生成を行う。
つまり、本実施の形態は、実施の形態1及び2における光源・視点・法線情報取得部101を、その機能に加えて複数の光源位置を取得する機能を有する光源・視点・法線情報取得部101aに置き換えた変形例(それぞれ、図11及び図12)に相当する。光源・視点・法線情報取得部101aは、実施の形態1及び2における光源・視点・法線情報取得部101の機能に加えて、光源の位置情報として複数の位置情報を生成する機能(光源位置変更部1010)を有する。光源位置変更部1010は、光源・視点・法線情報取得部101aが取得した1つの光源の位置情報をユーザが指示した軌道に従って変化させたり、ユーザから複数の光源位置の指定を受け取ったりすることで、変動する複数の光源位置を生成する。
次に、本実施の形態における画像生成装置のうち、実施の形態1の変形に対応する画像生成装置(図11に示される画像生成装置)の処理について、図13Aに示されるフローチャートを用いて説明する。
まず、幾何パラメータ算出部102は、光源・視点・法線情報取得部101aにて取得した、被写体表面の法線ベクトルと視点単位ベクトルV、それに加えて、擬似的に変動させたい光源位置に対応する照明単位ベクトルLjを用いて(S30)、以下の式14のように、光源位置の変動に対応した幾何パラメータαij LRを算出する(S31内のステップS201〜S203)。
ここで、Hjは次の式15のように算出する。ここでも視点ベクトルVは照明jにも被写体上の点iにも独立である。
図14に照明単位ベクトルLを変化させた場合の幾何パラメータαij LRの変化について示す。照明単位ベクトルLjを図の破線から実線のように変化させると、上記式15に示したように、ベクトルHjも破線から実線のように変化する。それに伴い、上記式14に示すように幾何パラメータαij LRが変化する。これによって、光源位置の変動に応じた幾何パラメータαij LRを得ることができる。
次に、図13Aに示されるように実施の形態1のステップS205で説明したように、光源位置の変動に応じた幾何パラメータαij LRに対して、ステップS204で得たメソストラクチャ成分を含む空間的に拡張された幾何パラメータΔαiを追加することで、幾何パラメータαij LRを次の式16のように補正する(S31内のステップS204、S205)。
これによって、光源位置の変動jに対応しながら、擬似光源下での画像を生成するための幾何パラメータαij HRを得ることができる。各擬似光源下における画像の生成については、α HRの代わりにαij HRを用いて、実施の形態1で説明したステップS206と同じ方法で行えばよい(S31内のS206、S32)。
なお、照明単位ベクトルLjを微小かつ連続的に変化させて、それぞれの照明単位ベクトルLjに対する擬似光源下の画像を生成し(S30〜S32)、図15に示される動画30〜31ように、その画像を並べて動画とすることも可能である。
また、本実施の形態における画像生成装置のうち、実施の形態2の変形に対応する画像生成装置(図12に示される画像生成装置)の処理についても、同様である(図13Bのフローチャート参照)。つまり、光源の位置Liを変化させながら(S40〜S42)、個々の光源位置について実施の形態2における画像処理を行うことで(S41)、様々な光源位置に対応する複数の画像を連続的に生成することができる。
以上のようにして、実施の形態1および実施の形態2の機能に加えて、光源の位置情報として複数の位置情報を生成する光源位置変更部1010による制御の下で算出された擬似的な光源下の幾何パラメータを用いることで、被写体表面のメソストラクチャを反映しながら、任意の位置から照射される擬似的な光源下での被写体画像を生成することが可能である。
(実施の形態1から3の変形)
次に、実施の形態1から3で説明した方法をより高精度に行う方法について説明する。ここでは、実施の形態1の変形として説明するが、実施の形態2および3の変形としても利用可能である。図16は、実施の形態1の変形における画像生成装置の構成を示す図である。図12に示される実施の形態1の変形例における画像生成装置は、入力画像を拡散反射画像と鏡面反射画像に分離し、分離した鏡面反射画像に対して反射モデルを適用することで、より高精度に幾何パラメータを推定可能になるため、低品質な被写体画像等から得られる被写体の表面形状を表す情報から、被写体表面の凹凸をより鮮明に反映した被写体画像をより高品質に生成する画像生成装置であり、光源・視点・法線情報取得部101、第一画像撮像部601、DS分離部1201、幾何パラメータ算出部102、高解像度データベース部103、表現子拡張部104、幾何パラメータ補正部105、拡散反射画像処理部1202、画像生成部106aを備える。この画像生成装置は、実施の形態1における画像生成装置に比べ、第一画像撮像部601、DS分離部1201及び拡散反射画像処理部1202という追加的な構成を備えるとともに、実施の形態1における画像生成部106に代えて改良された画像生成部106aを備える。
第一画像撮像部601は、図12に示される実施の形態2のものと同じであるため説明を省略するが、ここでは、カラー画像を生成することを仮定する。
DS分離部1201は、第一画像撮像部601で撮像された画像を、拡散反射成分と鏡面反射成分の2つに分離する。以降、分離した画像を拡散反射画像、鏡面反射画像と呼ぶ。
本実施の形態では、幾何パラメータ算出部102及び幾何パラメータ補正部105は、DS分離部1201で分離した鏡面反射画像だけに対して処理を施す点で、実施の形態1と異なる。
拡散反射画像処理部1202では、DS分離部1201で入力画像から分離した拡散反射画像に対して画像処理を施す。この内容は高解像度化処理を行っても良いし、拡散反射画像をそのまま用いてもよい。
画像生成部106aでは、補正した幾何パラメータを反射モデルの幾何パラメータとして用いることによって、メソストラクチャ成分を含む高品位化された鏡面反射画像を生成する。そして、高品位化された鏡面反射画像に対して、DS分離部1201で分離した拡散反射画像もしくは、拡散反射画像処理部1202で処理した拡散反射画像を加えることで画像を合成する。
以下に、DS分離部1201と拡散反射画像処理部1202、画像生成部106aについて、図17のフローチャートを用いて、詳しく説明する。
第一画像撮像部601が入力画像Iを取得した後に(S50)、DS分離部1201では、その入力画像Iを次の式17のように考え、拡散反射画像Idと鏡面反射画像ISとを分離するS51)。
ここで、カラー画像を用いた拡散反射画像Idと鏡面反射画像ISの分離方法については、非特許文献7の分離方法を用いることができる。
Shree K.Nayer,Xi−Sheng Wang and Terrance Boult,"Separation of Reflection Components Using Color and Polarization",International Journal of Computer Vision,No.21,Vol.3,pp.163−186,1997
次に、幾何パラメータ算出部102、表現子拡張部104及び幾何パラメータ補正部105は、実施の形態1と同様の処理を行う(S52)。つまり、高品位の鏡面反射画像を生成し、生成した鏡面反射画像で、DS分離部1201において分離された鏡面反射画像を置き換える。なお、高解像度データベース部103では、事前にデータベースとして作成する際に上記の手法により画像から鏡面反射成分を抽出して、抽出した鏡面反射成分からメソストラクチャを含む幾何パラメータを保持しておくことが望ましい。具体的には、実施の形態2の式10を以下の式18のように書き換えて上記式8から式12の処理を行えばよい。もちろん、実施の形態2における第二幾何パラメータ推定部603においても同様に鏡面反射成分について処理を行うことが望ましい。
画像生成部106aでは、実施の形態1の上記式5から式8で説明した方法により、メソストラクチャ成分を含む高解像度化された鏡面反射画像Ii S_HRを生成することができる。そして、画像生成部106aは、以下の式19のように鏡面反射画像と拡散反射画像とを合成することにより、低品質な被写体画像から、被写体表面の凹凸をより鮮明に反映したより高品質な被写体画像IHRを生成可能である(S53)。
さらに、実施の形態3で説明したように、メソストラクチャを反映しながら、擬似的な光源下での被写体画像を生成する場合には、上記式14から式16で説明した処理を行い、擬似光源下での画像を生成するための幾何パラメータαLi HRを算出することによって、実施の形態1の上記式5から式8で説明した方法により、擬似光源下におけるメソストラクチャ成分を含む高品質化された鏡面反射画像ILi S_HRを生成することができる。そして、以下の式20のように拡散反射画像と合成することにより、擬似光源下画像生成部で擬似的な光源下の幾何パラメータを用いることで、被写体表面のメソストラクチャを反映しながら、より高品質に擬似的な光源下での被写体画像を生成することが可能である。
さらに、拡散反射画像処理部1202は、DS分離部1201で分離した拡散反射画像をそのまま用いても良いが、さらに特許文献3に示す方法により、光源位置に影響を受けないアルベドを生成することも可能である。そして、そのアルベドから擬似的な光源下での拡散反射画像を生成し、それとメソストラクチャ成分を含む高解像度化された鏡面反射画像ILi S_HRと合成することにより、より高品質な画像を生成することも可能である。さらに、同様に特許文献3の手法により、アルベドを用いて高解像度化を行い、高解像度化されたアルベドから生成される拡散反射画像と高品質化された鏡面反射画像とを合成することも有効である。
特許第4082714号公報
さらに、表現子拡張部の機能を改良して、鏡面反射成分を、その他の情報と相関を考慮しつつ合成することによって、よりリアリティを向上できる実施の形態3の変形例として、本発明を実現することもできる。表現子の拡張は、非特許文献5の技術等を用いる場合には、2次元画像上で等方的になされる。しかしメソストラクチャは常に等方的なものばかりではない。髪の毛のように鏡面反射要素(1本1本の髪の毛)が異方性を有して整列している場合や、グレープフルーツのように表面の微小な凹凸が拡散反射画像のアルベドのテクスチャ模様の明暗に対応している場合がある。この場合、表現子が等方的に拡張されてしまうと、鏡面反射成分画像自身の不整合、または鏡面反射画像と拡散反射成分画像間にズレが発生してリアリティが失われる。
たとえば、図18(a)及び(b)は、それぞれ、グレープフルーツの表面を鏡面反射成分および拡散反射成分に分離した画像である。図18(a)の表面に見られる凹凸と鏡面反射は、図18(b)に示される表面テクスチャと無関係ではなく微小な凹凸と色のテクスチャに相関がある。図18(c)及び(d)は、これらの相関を用いて表現子を拡張する表現子適合拡張部の基本動作を模式的に示している。グレープフルーツ全体の鏡面反射画像1801、拡散反射画像1802において、表現子になる鏡面反射画像領域S1(以下、領域S1の鏡面反射画像を「画像S1」と呼ぶ。)とそれに対応する拡散反射画像領域D1(以下、領域D1の拡散反射画像を「画像D1」と呼ぶ。)があり、それらの間のなんらかの相関関係1803があると仮定する。
ここで、画像S1を表現子として領域S2(以下、領域S2の鏡面反射画像を「画像S2」と呼ぶ。)に表現子を拡張したい。その場合、対応する領域D2とD1(以下、領域D2の拡散反射画像を「画像D2」と呼ぶ。)の情報を用いる点が新規な点である。
領域D1とD2はともに拡散反射画像であるから、テクスチャとして画像全域が観測できるが、領域S1とS2は鏡面反射画像であるため、照明、法線、視線の関係で、画像S1は観察できても、画像S2は輝度が暗くなってしまうため観測ができない場合がある。つまり上記実施の形態3では、領域S1を画像全体へ拡張するためには、あくまで、領域S1内のメソストラクチャに基づき、そのテクスチャを等方的あるいはランダムにあるいは接続性を考慮して拡張するしか方法はなかった。
それに対して本変形例では、ともに画像から取得可能な画像D1から画像D2への相関関係Tを使って領域S1の表現子を領域S2へ拡張するものであり、表現子を領域S1から領域S2へ拡張する場合、対応する画像D1から画像D2へのテクスチャ空間上の変換機能Tを画像から推定し、その変換Tと同等の変換を画像S1に適用して画像S2を生成する。テクスチャ間の連続性などは適宜補間する。なお、図18で領域S1は表現子、領域S2は拡張処理の対象領域であり、領域S2は、かならずしも、領域S1の隣接領域ではないことに注意する。
図19は以上のような表現子適合拡張部1901を有する表現子拡張部104aを備える、本変形例における画像生成装置の構成を示したものである。図16に示される画像生成装置との違いは、図16における表現子拡張部104がさらに表現子適合拡張部1901を有する(つまり、表現子拡張部104に代えて表現子拡張部104aを備えること)のみなので他の構成要素の説明は省略する。この表現子拡張部104aは、高解像度データベース部103から表現子を読み出し、読み出した表現子が示す空間的な領域が被写体表面を覆うように表現子を空間的に拡張する処理部である点で図16における表現子拡張部104と共通するが、さらに、DS分離部1201で分離された鏡面反射成分と拡散反射成分との相関を保ちながら、鏡面反射を呈する表現子を拡張する表現子適合拡張部1901を有する点で図16における表現子拡張部104と異なる。なお、表現子適合拡張部1901にはDS分離部1201からの鏡面反射画像情報、および拡散反射画像情報が入力されている。
図20は表現子適合拡張部1901の処理を示すフローチャートである。ステップS2001からS2003では、表現子適合拡張部1901は、鏡面反射画像の表現子領域S1(つまり、画像S1)、それに対応する拡散反射画像の表現子領域D1(つまり、画像D1)、さらに拡張処理対象領域にある拡散反射画像の表現子領域D2(つまり、画像D2)を取得する。次にステップS2004で、表現子適合拡張部1901は、画像D1と画像D2に対して、多重解像度特徴空間で表現するために、ウェーブレット変換を実施して、それぞれ、特徴ベクトル画像Dw1,Dw2を生成する。ステップS2005では、表現子適合拡張部1901は、特徴ベクトル画像Dw1から特徴ベクトル画像Dw2への最適な変換Tを推定する。この数学的な変換Tは多次元ベクトル空間内のテーブル変換でもマトリクス変換でもよい。ステップS2006では、表現子適合拡張部1901は、画像S1をウェーブレット変換することで特徴ベクトル画像Sw1を生成し、ステップS2007で、特徴ベクトル画像Sw1に対して変換Tを施し特徴ベクトル画像Sw2とする。つまり特徴量ベクトル空間内で画像S1が変換Tにて変換されて画像D2と相関が高いメソストラクチャ(画像Sw2)に変換されたことになり、ステップS2008で、表現子適合拡張部1901は、これ(画像Sw2)を逆ウェーブレット変換して画像S2として画像化する。ステップS2009では、表現子適合拡張部1901は、画像S2を、領域S2に拡張された表現子として、格納して、ステップS2010で拡張すべき領域全体まで拡張が終了していなければ、ステップS2003に戻って次の領域S2に対する処理へ進む。
以上の処理により、鏡面反射を呈するメソストラクチャが拡散反射画像との相関を用いて整合性を有しながら拡張されるため、光源変化などをした場合、表面反射の状況のリアリティがより向上する。
以上のように、本実施の形態における画像生成装置及びその方法によれば、入力画像を拡散反射成分と鏡面反射成分とに分離し、鏡面反射成分に対して反射モデルを適用して画像を高品位化することにより、反射モデルを適用すべき本来の画像成分(鏡面反射成分)だけに対して反射モデルを適用することとなり、これにより、被写体表面の凹凸をより正確かつ鮮明に反映した高品質な被写体画像を生成可能であり、さらには、被写体表面の凹凸を反映しながら、任意の位置に置かれた擬似的な光源下での被写体画像を生成することも可能となる。
(実施の形態4)
次に、本発明に係る画像生成装置の実施の形態4として、顔画像合成シミュレーションシステム(以下、単に「顔画像合成システム」という。)への応用形態について述べる。近年、顔認証や顔合成技術が実用レベルまで発展し、1枚の顔の2次元画像からあらかじめ準備した顔モデルにフィッティングして3次元モデルを生成することにより、顔を上下左右に動かしたり表情を変えたりできる実写アニメーション技術が実用段階になっている。しかし、これをヘヤースタイル等のシミュレーションのアプリケーションに応用する場合、リアリティが大きく欠落してしまう。その理由として、人間の顔の反射特性はほぼ完全拡散物体に近いため、視点変動でも大きな値の変化が無いが、頭髪は典型的な鏡面反射物体であって、頭の角度移動に従い頭髪上の鏡面反射の位置や形状が本来は変化するはずであるのにもかかわらず、上記技術ではそれができないためである。同様の問題は化粧シミュレーションにおいて口紅などの鏡面反射でも発生する。いずれの場合も従来の顔合成画像技術では鏡面反射の欠落した拡散反射的な画像が合成されるのみであった。ここで髪の毛の反射や口紅の反射はいずれも被写体表面の微細な凹凸すなわちメソストラクチャに関する鏡面反射と考えることができるので、この合成画像にはメソストラクチャの再現が有効である。特に髪の場合には、毛の方向に強い空間的異方性を有するメソストラクチャが、また唇の場合には、縦縞などの方向に異方性のあるメソストラクチャを付与すればよい。
すなわち入力された1枚の顔などの画像から髪などの領域のメソストラクチャの特徴を抽出し、それを光源変化、視点変化、被写体法線変動という3種の条件に適合するように異なる条件下で連続性を考慮して拡張して再現する必要がある。
図21A〜Cは、マネキンに頭髪をかぶせた人形を例に、メソストラクチャのアピアランス(見え)が変化する条件を示したものである。
図21Aは、最初、位置L1にあった光源が位置L2に移動するという光源ベクトルの変化が発生して髪の表面の反射(メソストラクチャ)のアピアランス、特に、この場合には反射の位置が反射2101から反射2102へ変化した状態である。この場合、法線ベクトルと視線ベクトルは変化していない。
鏡面反射による輝度は、光源ベクトル(L)、法線ベクトル(N)、視点ベクトル(V)の3ベクトルの関係によって変化し、拡散反射による輝度は、光源ベクトル(L)と法線ベクトル(N)にのみ依存することはよく知られている。そこでこのように光源の移動する条件では、被写体の大域的アピアランス(被写体の見える部分や歪み方)は不変でも、その輝度値は鏡面反射、拡散反射ともに変化する。図21Aでは、この様子を模式的に反射2101及び2102、影2103及び2104にて表現した。
次に、同図21Bに示されるアピアランスの変化例は、光源ベクトルは変化せず、視点ベクトルがV1からV2に変化した場合を想定しており、結果的にやや上方から見た状態になっている。視点が変わると被写体の大域的な形状に変化や見え方が変わり、図21Bでは、視点がマネキンの上方から見下げる形になったため、見える部分の多くが頭髪領域となっている。また相対的には光源ベクトルが変わったことになるため鏡面反射が反射2105から反射2106のように変化する。しかし視線ベクトルVの変化に対して拡散反射輝度成分は変化しないため、対応する同一の位置2107が拡散反射輝度成分のみ有していればその輝度は不変のままである。
次に、図21Cに示されるアピアランスの変化例は、被写体自身の向きがやや下向きとなった場合であり、法線ベクトルNが図示されたN1からN2に変化した場合である。被写体となる顔モデルなどがCGアニメーション合成技術などを用いて動いた場合にこの状態になる。この場合、被写体の大域的な形状や見え方については視線ベクトルと法線ベクトルの相対的な変化が同じであれば、図21Bの視線が変化した場合と何も変わらないが、鏡面反射や拡散反射の状態が異なってくる。しかし被写体を背景から分離しマネキン頭部のみと考えると、鏡面反射と拡散反射の輝度値は図21Bの視点変換の特別な場合としてとらえることができるため、アプリケーションによっては図21Cを特別に場合分けせず、光源変化の図21Aの場合と視点変化の図21Bの場合のみを取り扱えばよい。
図22A〜Bは、この理由を示している。図22Aが上記の図21Cの被写体移動のケースで、図22Bが上記図21Bの視線移動のケースに相当する。被写体表面に対して垂直に法線ベクトルNがあり、光源ベクトルLと視線ベクトルVが図示された位置にある場合、被写体が角度θ回転するとVとLは不変でNのみが(−θ)変わるので、被写体の大域的なアピアランスとともに、L,N,Vの相対的関係で決定する拡散と鏡面反射輝度値が変化する。この状態は図22Bのように被写体が不変のままLとVを角度(−θ)だけ変化させても相対的関係は保たれ、大域的な被写体のアピアランスともに拡散と鏡面反射輝度値もこの状態で計算するものと等しくなる。
以上のように、光源変動のケースと視線変動の2つのケースにおいて、被写体のアピアランスと表面の輝度値とを変化させることで、撮影条件に非常に敏感なメソストラクチャを再現し、見えのリアリティを増強することにつながる。
図23は、上記で示した光源変動と視線変動という2種類の条件変動に対応して被写体のアピアランスを変化させることを可能にする、本実施の形態における顔画像合成システムのブロック図である。この顔画像合成システムは、被写体を撮影して得られる画像に対して光源及び視点の位置を変化させる変換を行い、メソストラクチャ反射状況を再現した高品位な画像を生成する(ここで、生成する画像は、光源から光を照射した被写体を任意の視点から見たときの画像である)画像生成装置の一例であって、被写体を撮影して得られる実写画像を取得する画像撮像部2301と、光源の位置を表す光源情報を取得する光源情報取得部2304と、取得された光源情報に基づいて光源の位置を変化させた情報を生成する光源情報変換部2305と、被写体の表面形状を表す形状データを保持する形状復元部2302と、形状復元部2302に保持された形状データに基づいて被写体の法線を求める法線推定部2303と、カメラ撮像位置を求める視線情報取得部2306と、形状復元部2302に保持された形状データ及び視点を任意位置に変化させる視点変換部2307と、撮像画像を鏡面反射画像と拡散反射画像に分離するDS分離部2308と、生成する画像を構成する各画素に対応する被写体表面の各点について、光源及び視点の位置情報と法線情報とを用いた予め定められた演算を行うことで、被写体の形状に関する幾何パラメータを算出する幾何パラメータ算出部102と、DS分離部2308で分離された鏡面反射画像からメソストラクチャを表す幾何パラメータである表現子を抽出する鏡面反射画像メソストラクチャ抽出部2309と、抽出された表現子と分離部で分離された拡散反射画像との相関を維持しつつ、空間的な領域が被写体表面を覆うように、表現子を空間的に拡張する表現子適合拡張部1901を有する表現子拡張部104aと、幾何パラメータ算出部102で算出された幾何パラメータに対して、表現子適合拡張部1901で拡張された表現子を用いて補正することで、補正後幾何パラメータを算出する幾何パラメータ補正部105と、幾何パラメータ補正部105で算出された補正後幾何パラメータを、幾何パラメータから画素値を決定する反射モデルに適用することで、各点の画素値を算出し、画像を生成する画像生成部106aとを備える。
画像撮像部2301は、被写体を撮影し、画像I(i,j)を生成する。形状復元部2302では被写体の3次元表面を復元し、次に、法線推定部2303は、表面の法線を生成する。形状復元や法線推定の手法は前記のステレオカメラなどを使って3次元位置から形状を復元し、そこから法線を算出してもよいし、まず法線を算出してから形状復元をしてもよい。特に被写体が「顔」という前提があれば、以下の非特許文献8で示すような、入力された2次元画像から顔の3Dモデルをあてはめて生成する技術を使うことができる。
Volker Blanz, Thomas Vetter:"A Morphable Model for the Synthesis of 3D faces",SIGGRAPH 1999
光源情報取得部2304は、被写体への照明環境を取得する。光源モデルを平行光で近似できる場合には光源ベクトルの2自由度を決定すればよい。光源取得の方法には、以下の非特許文献9にあるような鏡面球を使う方法などを使うことができる。
Mark W.Powell, Sudeep Sarker, and Dmity Goldgof:"A Simple Strategy for Calibrating the Geometry of Light Sources"、IEEE Transaction on pattern analysis and machine intelligence,Vol.23, No.9, September 2001,pp.1023−1026
光源情報変換部2305は、さらに光源を変動させた画像を合成するため光源ベクトルを撮影時のものから自由に変化させる。
視点情報取得部2306は、撮影カメラの世界座標系内での光軸を示すカメラ外部パラメータと焦点距離や光軸中心画素位置などを示すカメラ内部パラメータを取得する。
視点変換部2307は、形状復元部2302からの形状データ、視点を上記カメラ外部パラメータを変化させることによって自在に変換し原画像の画素値を用いて大域的アピアランスが異なる画像を生成する。同時に法線推定部2303で生成される法線画像も視点変換され、これはメソストラクチャを含む鏡面反射画像の視点変換に用いられる。
DS分離部2308は、視点変換された画像の画素値(輝度)を拡散反射成分と鏡面反射成分とに分離する。分離された鏡面反射成分画像はメソストラクチャを考慮した表現子適合拡張に用いられる。
拡散反射画像処理部1202は、視点変換のみが行われた場合には特に処理することはない。ただし、光源変化した場合には、拡散反射画像処理部1202は、輝度変化を合成するため法線情報と光源情報を使ってランバート面のcos則を補正する処理を実施する。
鏡面反射画像メソストラクチャ抽出部2309は、分離された鏡面反射画像を2値可処理して得られる輝度レベルでのテクスチャ構造を抽出する。ここから、上記式14のように幾何パラメータαを算出する。髪の鏡面反射モデルは光源ベクトルLと法線ベクトルNと視線ベクトルVを用いてPhongの反射モデルで表現できる(下記非特許文献10)。
J T.Kajiya T L.Kay:"Rendering fur with three dimensional textures",SIGGRAPH 1989,pp271−280
図24は、髪の反射モデルを説明する図であり、ここでは、髪の1本をuを主軸とした円筒形でモデル化されている。上記非特許文献10においては、この髪の鏡面反射についてPhongモデルが用いられている。このPhongモデルでは、光源ベクトルLと、Lが鏡面反射する正反射ベクトルRと視点ベクトルのなす角度βの余弦関数のべき乗とで反射の減衰を表現する。
これについては、上記式5や式6で説明したTorrance−SparrowモデルやCook−Torranceモデルを用いて再現する場合には、βの替わりにハーフベクトルHと法線Nとの角度αを用いることができる。すなわち髪の反射モデルについては実施の形態1とおなじ幾何パラメータを用いることができる。
なお、髪の反射モデルとして異方性反射や散乱、透過現象までを詳細にモデル化する研究もCG分野では行われているが、ここでは実写画像の髪画像からメソストラクチャとして髪を捉えて表現しており、このため反射モデルのレベルにおいては特に異方性を扱わず、メソストラクチャとして異方性反射を実現する。
表現子適合拡張部1901は、上記の表現子を空間的に連続性を維持しつつ拡張する。
図25は、髪領域のメソストラクチャの表現子を説明する図である。髪領域も鏡面反射成分と拡散反射成分に分離して、それぞれ、S画像とD画像が生成されているものとする。髪が黒に近い場合には、D画像はほとんどテクスチャが無くなるが、金髪、茶髪などの場合には、D画像にもテクスチャが残る。そこで、実施の形態3の変形例にて説明したような2つの画像間の相関を用いて、S画像の表現子を髪領域全体に適合拡張すればよい。
また図25には、人物の顔でメソストラクチャ構造を有して鏡面反射を呈するもう1つの例である唇領域の例も示している。この場合もS画像とD画像の相関を用いて表現子を拡張すればよく、反射モデルも反射が大きい口紅を塗布した場合にはTorrance−SparrowモデルやCook−Torranceモデルを適用できるので説明は省略する。
幾何パラメータ補正部105は、幾何パラメータ算出部102で算出した幾何パラメータに対して、表現子拡張部104で空間的に拡張したメソストラクチャ成分を含む高解像度成分を追加することによって、幾何パラメータ算出部102で算出した幾何パラメータを補正する。
画像生成部106aは、補正した幾何パラメータを反射モデルの幾何パラメータとして用いることによって、メソストラクチャ成分を含む高品位化された鏡面反射画像を生成する。そして、高品位化された鏡面反射画像に対して、DS分離部1201で分離した拡散反射画像もしくは、拡散反射画像処理部1202で処理した拡散反射画像を加えることで画像を合成する。
図26A〜Bは、本実施の形態の効果を示す図である。図26Aは、撮影の状況を示し、図26Bは、その撮影によって得られる画像における被写体のアピアランスの変化を示す。
ここでは光源2601は固定のまま、被写体の人物またはかつら付きマネキン2602を撮像している。視点(カメラ)位置が位置2604から位置2603へ視点変化した場合、被写体のアピアランスはアピアランス2605からアピアランス2606へ変化する。同時に髪の反射状況も反射2607から反射2608へと髪の異方性構造(毛の流れなど)に基づいて生起する。このように従来は不可能であった視点変換に伴う鏡面反射変化についてもメソストラクチャの考え方をもって実現でき、リアルな表現が達成されることになる。
(実施の形態5)
次に、本発明に係る画像生成装置の実施の形態5として、立体視ディスプレイへの応用形態について述べる。近年、裸眼立体視ディスプレイの研究開発が進み様々な応用分野への展開が進んでいるが、その中で高密度指向性表示により質感を再現する立体ディスプレイがある(例えば、下記非特許文献11)。
高木康博:「高密度指向性表示により質感を再現する立体ディスプレイ」、立体視テクノロジー −次世代立体表示技術の最前線− NTS、2008年10月10日,pp209−221
これは、ダイヤモンドの輝き、織物の艶やかさ、画家のタッチといった2次元ディスプレイでは再現が難しい物質表面での光線方向の微妙な変化に起因する質感を、裸眼で観察者の視点の動きによって再現する。クリスタル、ガラス、金属などの物質での鏡面反射は、視点の移動により急激に輝きが変化するが、この変化を再現するために必要な光線のサンプリングピッチは、観察距離が600(mm)の場合、約0.48°となる。このような高密度指向性を有する裸眼立体視ディスプレイが既に試作されている。この種の立体ディスプレイ装置へ実写ベース画像を入力する場合、入力データは超高密度多視点で撮像する必要があるが、表示時と同じ0.48°の高密度サンプリング間隔で多数の小型カメラを密集配置して撮影するのは現実的ではない。
そこで、本発明の低解像度の画像に表面凹凸をパラメータに基づいてモデル生成することにより高密度の多視点画像を生成する。そして、生成された多視点画像を裸眼立体視ディスプレイ装置に入力させて表示させる。これにより、高密度の多視点立体視ディスプレイが可能となる。
以上、本発明に係る画像生成装置及び方法、並びに、その応用例について、実施の形態及びその変形例に基づいて説明したが、本発明は、これらの実施の形態及び変形例に限定されるものではない。当業者が思いつく各種変形を、本発明の趣旨を逸脱しない範囲で各実施の形態に施して実現される形態も本発明に含まれる。
また、各実施の形態における特徴的な構成要素を任意に組み合わせて実現される形態も本発明に含まれる。
本発明は、被写体表面の凹凸に関する幾何パラメータに基づいて、低品質な被写体画像等から得られる被写体の表面形状を表す情報から、被写体表面の凹凸をより鮮明に反映した高品質な被写体画像を生成し、さらには、被写体表面の凹凸を反映しながら、擬似的な光源下での被写体画像を生成する装置であり、例えば、デジタルカメラやモニタ等の画像表示機器に内蔵させる画像生成装置等として利用することが可能である。
101、101a 光源・視点・法線情報取得部
102 幾何パラメータ算出部
103 高解像度データベース部
104、104a 表現子拡張部
105 幾何パラメータ補正部
106、106a 画像生成部
601 第一画像撮像部
602 第二画像撮像部
603 第二幾何パラメータ推定部
604 表現子生成部
1010 光源位置変更部
1201 DS分離部
1202 拡散反射画像処理部
1901 表現子適合拡張部
2301 画像撮像部
2302 形状復元部
2303 法線推定部
2304 光源情報取得部
2305 光源情報変換部
2306 視点情報取得部
2307 視点変換部
2308 DS分離部
2309 鏡面反射画像メソストラクチャ抽出部

Claims (12)

  1. 被写体の表面形状を表す情報から、より鮮明に被写体の表面形状を反映した高品位な画像を生成する画像生成装置であって、
    生成する画像は、光源から光を照射した被写体を視点から見たときの画像であり、
    前記画像生成装置は、
    前記光源及び前記視点の位置情報と、前記被写体の表面形状を表す法線情報とを取得する光源・視点・法線情報取得部と、
    生成する画像を構成する各画素に対応する前記被写体表面の各点について、前記光源及び前記視点の位置情報と前記法線情報とを用いた予め定められた演算を行うことで、前記被写体の形状に関する幾何パラメータである第一幾何パラメータを算出する幾何パラメータ算出部と、
    前記被写体表面の一部に対応するメソストラクチャを表す幾何パラメータであって、前記光源・視点・法線情報取得部で取得された法線情報の空間的な解像度よりも高い解像度の成分をもつ幾何パラメータである表現子を保持している高解像度データベース部と、
    前記高解像度データベース部から前記表現子を読み出し、読み出した表現子が示す空間的な領域が前記被写体表面を覆うように、前記表現子を空間的に拡張する表現子拡張部と、
    前記幾何パラメータ算出部で算出された第一幾何パラメータに対して、前記表現子拡張部で拡張された表現子を用いて補正することで、補正後幾何パラメータを算出する幾何パラメータ補正部と、
    前記幾何パラメータ補正部で算出された補正後幾何パラメータを、幾何パラメータから画素値を決定する反射モデルに適用することで、前記各点の画素値を算出し、画像を生成する画像生成部と
    前記被写体を撮像することで第一画像を取得する第一画像撮像部と、
    前記第一画像撮像部で取得された第一画像を鏡面反射成分と拡散反射成分とに分離する分離部とを備え、
    前記幾何パラメータ算出部、前記表現子拡張部、前記幾何パラメータ補正部及び前記画像生成部は、前記分離部で分離された鏡面反射成分について、それぞれの処理を実行し、
    前記画像生成部はさらに、生成した前記鏡面反射成分に対応する画像と、前記分離部で分離された拡散反射成分に対応する画像とを合成し、
    前記表現子拡張部は、前記分離部で分離された鏡面反射成分と拡散反射成分との相関を保ちながら、鏡面反射を呈する前記表現子を拡張する表現子適合拡張部を有する
    画像生成装置。
  2. 前記幾何パラメータとは、(i)前記光源の方向を示す単位ベクトルと前記視点の方向を示す単位ベクトルとの加算によって得られるハーフベクトルと、(ii)当該幾何パラメータに対応する点における法線ベクトルとがなす角度に対応する値である
    請求項1記載の画像生成装置。
  3. 前記光源・視点・法線情報取得部は、前記被写体を撮像するステレオカメラ又はレンジファインダあるいはその他の形状取得装置から取得した情報から法線情報を算出することにより、前記法線情報を取得する
    請求項1記載の画像生成装置。
  4. 前記反射モデルは、ある点における法線情報と視点の位置情報と幾何パラメータとから、当該点における画素値を算出する式であり、
    前記画像生成部は、前記補正後幾何パラメータに加えて、光源・視点・法線情報取得部で取得された法線情報と視点の位置情報を前記反射モデルに適用することで、前記各点の画素値を算出する
    請求項1記載の画像生成装置。
  5. さらに、
    前記被写体を撮像することで第一画像を取得する第一画像撮像部と、
    前記第一画像のうち、高品位化させたい部分であるハイライト部分に対応する前記被写体の一部を、前記第一画像撮像部よりも高解像度で撮像することで、第二画像を取得する第二画像撮像部と、
    前記第二画像撮像部で取得された第二画像の画素値を目的関数として、前記被写体の表面形状に関する幾何パラメータである第二幾何パラメータを推定する第二幾何パラメータ推定部と、
    前記第二幾何パラメータ推定部で推定された第二幾何パラメータ自身を前記表現子として、生成した表現子を前記高解像度データベースに格納する表現子生成部とを備える
    請求項1記載の画像生成装置。
  6. 前記第二画像撮像部は、前記第一画像撮像による撮像よりもズームして前記被写体の一部を撮像することで、前記第二画像を取得する
    請求項5記載の画像生成装置。
  7. 前記光源・視点・法線情報取得部は、前記光源の位置情報として、複数の位置情報を取得し、
    前記幾何パラメータ算出部は、前記光源・視点・法線情報取得部で取得された複数の前記光源の位置情報のそれぞれに対応させて、前記第一幾何パラメータを算出し、
    前記幾何パラメータ補正部は、前記光源・視点・法線情報取得部で取得された複数の前記光源の位置情報のそれぞれに対応させて、前記補正後幾何パラメータを算出し、
    前記画像生成部は、前記光源・視点・法線情報取得部で取得された複数の前記光源の位置情報のそれぞれに対応させて、前記画像を生成する
    請求項1記載の画像生成装置。
  8. さらに、前記被写体の表面形状を表すコンピュータ・グラフィックス・データを取得し、取得したコンピュータ・グラフィックス・データから前記表現子を生成し、生成した表現子を前記高解像度データベースに格納する表現子生成部を備える
    請求項1記載の画像生成装置。
  9. 被写体を撮影して得られる画像に対して光源及び視点の位置を変化させる変換を行い、メソストラクチャ反射状況を再現した高品位な画像を生成する画像生成装置であって、
    生成する画像は、光源から光を照射した被写体を任意の視点から見たときの画像であり、
    前記画像生成装置は、
    被写体を撮影して得られる実写画像を取得する画像撮像部と、
    光源の位置を表す光源情報を取得する光源情報取得部と、
    取得された光源情報に基づいて前記光源の位置を変化させた情報を生成する光源情報変換部と、
    前記被写体の表面形状を表す形状データを保持する形状復元部と、
    前記形状復元部に保持された形状データに基づいて前記被写体の法線を求める法線推定部と、
    カメラ撮像位置を求める視線情報取得部と、
    前記形状復元部に保持された形状データ及び視点を任意位置に変化させる視点変換部と、
    撮像画像を鏡面反射画像と拡散反射画像に分離するDS分離部と、
    生成する画像を構成する各画素に対応する前記被写体表面の各点について、前記光源及び前記視点の位置情報と前記法線情報とを用いた予め定められた演算を行うことで、前記被写体の形状に関する幾何パラメータを算出する幾何パラメータ算出部と、
    前記DS分離部で分離された鏡面反射画像からメソストラクチャを表す幾何パラメータである表現子を抽出する鏡面反射画像メソストラクチャ抽出部と、
    抽出された前記表現子と前記分離部で分離された拡散反射画像との相関を維持しつつ、空間的な領域が前記被写体表面を覆うように、前記表現子を空間的に拡張する表現子適合拡張部と、
    前記幾何パラメータ算出部で算出された幾何パラメータに対して、前記表現子適合拡張部で拡張された表現子を用いて補正することで、補正後幾何パラメータを算出する幾何パラメータ補正部と、
    前記幾何パラメータ補正部で算出された補正後幾何パラメータを、幾何パラメータから画素値を決定する反射モデルに適用することで、前記各点の画素値を算出し、画像を生成する画像生成部と
    を備える画像生成装置。
  10. 一定位置で撮影された人物の頭部画像を対象に、自在光源変換、または自在視点変換を行う場合、髪および唇の鏡面反射のテクスチャをメソストラクチャとして反射モデルで再現する請求項記載の画像生成装置。
  11. 被写体の表面形状を表す情報から、より鮮明に被写体の表面形状を反映した高品位な画像を生成する画像生成方法であって、
    生成する画像は、光源から光を照射した被写体を視点から見たときの画像であり、
    前記画像生成方法は、
    前記光源及び前記視点の位置情報と、前記被写体の表面形状を表す法線情報とを取得する光源・視点・法線情報取得ステップと、
    生成する画像を構成する各画素に対応する前記被写体表面の各点について、前記光源及び前記視点の位置情報と前記法線情報とを用いた予め定められた演算を行うことで、前記被写体の形状に関する幾何パラメータである第一幾何パラメータを算出する幾何パラメータ算出ステップと、
    前記被写体表面の一部に対応するメソストラクチャを表す幾何パラメータであって、前記光源・視点・法線情報取得ステップで取得された法線情報の空間的な解像度よりも高い解像度の成分をもつ幾何パラメータである表現子を保持している高解像度データベース部から前記表現子を読み出し、読み出した表現子が示す空間的な領域が前記被写体表面を覆うように、前記表現子を空間的に拡張する表現子拡張ステップと、
    前記幾何パラメータ算出ステップで算出された第一幾何パラメータに対して、前記表現子拡張ステップで拡張された表現子を用いて補正することで、補正後幾何パラメータを算出する幾何パラメータ補正ステップと、
    前記幾何パラメータ補正ステップで算出された補正後幾何パラメータを、幾何パラメータから画素値を決定する反射モデルに適用することで、前記各点の画素値を算出し、画像を生成する画像生成ステップと
    前記被写体を撮像することで第一画像を取得する第一画像撮像ステップと、
    前記第一画像撮像ステップで取得された第一画像を鏡面反射成分と拡散反射成分とに分離する分離ステップとを含み、
    前記幾何パラメータ算出ステップ、前記表現子拡張ステップ、前記幾何パラメータ補正ステップ及び前記画像生成ステップでは、前記分離部で分離された鏡面反射成分について、それぞれの処理を実行し、
    前記画像生成ステップではさらに、生成した前記鏡面反射成分に対応する画像と、前記分離部で分離された拡散反射成分に対応する画像とを合成し、
    前記表現子拡張ステップでは、前記分離部で分離された鏡面反射成分と拡散反射成分との相関を保ちながら、鏡面反射を呈する前記表現子を拡張する表現子適合拡張ステップを含む
    を含む画像生成方法。
  12. 被写体の表面形状を表す情報から、より鮮明に被写体の表面形状を反映した高品位な画像を生成する画像生成装置のためのプログラムであって、
    請求項11記載の画像生成方法に含まれるステップをコンピュータに実行させるプログラム。
JP2011510910A 2008-07-30 2009-07-28 3dテクスチャの超解像のための画像生成装置及び方法 Active JP4880090B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EPPCT/EP2008/006291 2008-07-30
PCT/EP2008/006291 WO2010012289A1 (en) 2008-07-30 2008-07-30 Image generation device and method for super-resolution of 3d textures
PCT/EP2009/005459 WO2010012447A2 (en) 2008-07-30 2009-07-28 Image generation device and image generation method

Publications (2)

Publication Number Publication Date
JP2011522316A JP2011522316A (ja) 2011-07-28
JP4880090B2 true JP4880090B2 (ja) 2012-02-22

Family

ID=40957606

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2011511983A Active JP4880091B2 (ja) 2008-07-30 2008-07-30 3dテクスチャの超解像のための画像生成装置及び方法
JP2011510910A Active JP4880090B2 (ja) 2008-07-30 2009-07-28 3dテクスチャの超解像のための画像生成装置及び方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2011511983A Active JP4880091B2 (ja) 2008-07-30 2008-07-30 3dテクスチャの超解像のための画像生成装置及び方法

Country Status (6)

Country Link
US (2) US8350932B2 (ja)
EP (2) EP2319010B1 (ja)
JP (2) JP4880091B2 (ja)
CN (2) CN102077242B (ja)
AT (2) AT543156T (ja)
WO (2) WO2010012289A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8737723B1 (en) 2010-12-09 2014-05-27 Google Inc. Fast randomized multi-scale energy minimization for inferring depth from stereo image pairs
US8970693B1 (en) * 2011-12-15 2015-03-03 Rawles Llc Surface modeling with structured light
CN104079914B (zh) * 2014-07-02 2016-02-10 山东大学 基于深度信息的多视点图像超分辨方法
US20160125638A1 (en) * 2014-11-04 2016-05-05 Dassault Systemes Automated Texturing Mapping and Animation from Images
US10521649B2 (en) * 2015-02-16 2019-12-31 University Of Surrey Three dimensional modelling
JP2016191845A (ja) * 2015-03-31 2016-11-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9972123B2 (en) * 2015-04-01 2018-05-15 Otoy, Inc. Generating 3D models with surface details
US9877012B2 (en) * 2015-04-01 2018-01-23 Canon Kabushiki Kaisha Image processing apparatus for estimating three-dimensional position of object and method therefor
KR20170041513A (ko) * 2015-10-07 2017-04-17 삼성메디슨 주식회사 대상체를 나타내는 영상을 디스플레이하는 방법 및 장치.
CN109564701A (zh) * 2016-07-18 2019-04-02 巴塞尔大学 用于改善数字图像中光泽表示的计算机系统和方法
JP6448869B2 (ja) * 2016-08-05 2019-01-09 株式会社オプティム 画像処理装置、画像処理システム、及びプログラム
WO2018097677A1 (en) 2016-11-28 2018-05-31 Samsung Electronics Co., Ltd. Image processing apparatus, image processing method, and computer-readable recording medium thereof
CN107966944B (zh) * 2017-11-30 2020-12-08 贵州财经大学 智慧大棚分区控制系统及分区采摘方法
JP6800938B2 (ja) * 2018-10-30 2020-12-16 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
GB2593441A (en) * 2020-02-21 2021-09-29 Huawei Tech Co Ltd Three-dimensional facial reconstruction

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10222700A (ja) 1997-02-13 1998-08-21 Tomotaka Marui 仮想現実物体を製作し表示する装置
US7065242B2 (en) * 2000-03-28 2006-06-20 Viewpoint Corporation System and method of three-dimensional image capture and modeling
JP3624153B2 (ja) 2000-11-09 2005-03-02 キヤノン株式会社 画像処理装置及び画像処理方法
JP3863023B2 (ja) 2002-01-29 2006-12-27 株式会社東芝 テクスチャ生成装置、テクスチャマッピング装置、テクスチャ生成方法、テクスチャマッピング方法、テクスチャ生成プログラム、及び、テクスチャマッピングプログラム
AU2003226081A1 (en) 2002-03-25 2003-10-13 The Trustees Of Columbia University In The City Of New York Method and system for enhancing data quality
KR100528343B1 (ko) * 2003-07-14 2005-11-15 삼성전자주식회사 3차원 객체의 영상 기반 표현 및 편집 방법 및 장치
KR20050081260A (ko) 2004-02-11 2005-08-19 삼성전자주식회사 초해상 정보저장매체에 기록된 정보 재생방법 및 장치
JP4764963B2 (ja) * 2004-07-21 2011-09-07 公立大学法人広島市立大学 画像処理装置
JPWO2006033257A1 (ja) 2004-09-24 2008-05-15 松下電器産業株式会社 画像変換方法、画像変換装置、サーバークライアントシステム、携帯機器およびプログラム
JP3996630B2 (ja) * 2005-01-19 2007-10-24 松下電器産業株式会社 画像変換方法、テクスチャマッピング方法、画像変換装置、サーバークライアントシステム、画像変換プログラム、影認識方法および影認識装置
CN100438406C (zh) * 2006-01-23 2008-11-26 北京航空航天大学 一种基于远程渲染的三维模型网络发布方法
WO2007108041A1 (ja) 2006-03-15 2007-09-27 Matsushita Electric Industrial Co., Ltd. 画像変換方法、画像変換装置、サーバークライアントシステム、携帯機器およびプログラム
US20070229850A1 (en) * 2006-04-04 2007-10-04 Boxternal Logics, Llc System and method for three-dimensional image capture
WO2007139070A1 (ja) 2006-05-29 2007-12-06 Panasonic Corporation 光源推定装置、光源推定システムおよび光源推定方法、並びに、画像高解像度化装置および画像高解像度化方法
JP4618730B2 (ja) 2006-07-26 2011-01-26 株式会社リコー 情報再生方法及び情報再生装置
US8131116B2 (en) 2006-08-31 2012-03-06 Panasonic Corporation Image processing device, image processing method and image processing program
AU2007254627B2 (en) * 2007-12-21 2010-07-08 Canon Kabushiki Kaisha Geometric parameter measurement of an imaging device

Also Published As

Publication number Publication date
AT555454T (de) 2012-05-15
EP2319010A1 (en) 2011-05-11
EP2319010B1 (en) 2012-01-25
US20110102641A1 (en) 2011-05-05
US9087388B2 (en) 2015-07-21
JP2011522316A (ja) 2011-07-28
US20110102551A1 (en) 2011-05-05
CN102077243B (zh) 2013-05-08
JP2011522333A (ja) 2011-07-28
WO2010012289A1 (en) 2010-02-04
JP4880091B2 (ja) 2012-02-22
EP2313861A2 (en) 2011-04-27
WO2010012447A3 (en) 2010-03-25
WO2010012447A2 (en) 2010-02-04
CN102077242A (zh) 2011-05-25
CN102077242B (zh) 2013-08-07
US8350932B2 (en) 2013-01-08
EP2313861B1 (en) 2012-04-25
AT543156T (de) 2012-02-15
CN102077243A (zh) 2011-05-25

Similar Documents

Publication Publication Date Title
JP4880090B2 (ja) 3dテクスチャの超解像のための画像生成装置及び方法
Hedman et al. Scalable inside-out image-based rendering
Zakharchenko et al. Quality metric for spherical panoramic video
Ofek et al. Highlight and reflection independent multiresolution textures from image sequences
JP2006053694A (ja) 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体
JP2015045920A (ja) 仮想視点映像生成装置、仮想視点映像生成方法、及び仮想視点映像生成プログラム
Kersten et al. Automatic texture mapping of architectural and archaeological 3d models
MacDonald et al. Three-dimensional reconstruction of Roman coins from photometric image sets
Bonaventura et al. Information measures for terrain visualization
Comino et al. Error-aware construction and rendering of multi-scan panoramas from massive point clouds
Berrier et al. Improved appearance rendering for photogrammetrically acquired 3D models
Aliaga Digital inspection: An interactive stage for viewing surface details
KR101212110B1 (ko) 2d 및 3d 가상 얼굴 모델링 방법
De Paolis et al. Photogrammetric 3D Reconstruction of Small Objects for a Real-Time Fruition
MacDonald et al. Modelling the appearance of heritage metallic surfaces
Güssefeld et al. Are reflectance field renderings appropriate for optical flow evaluation?
Yuan et al. Illumination consistency based on single low dynamic range images
Bullinger et al. 3D Surface Reconstruction From Multi-Date Satellite Images
Park et al. Instant panoramic texture mapping with semantic object matching for large-scale urban scene reproduction
Martos et al. Realistic virtual reproductions. Image-based modelling of geometry and appearance
Tuceryan Polarization-based illumination detection for coherent augmented reality scene rendering in dynamic environments
CN108921908B (zh) 表面光场的采集方法、装置及电子设备
KR20030082307A (ko) 직각 교차 실린더를 이용한 영상기반 렌더링 방법
WO2021190655A1 (en) Method for merging multiple images and post-processing of panorama
Liu et al. A Simulation System for Scene Synthesis in Virtual Reality

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20101130

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111108

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111130

R150 Certificate of patent or registration of utility model

Ref document number: 4880090

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141209

Year of fee payment: 3