JP6845181B2 - 映像生成装置、映像生成方法、およびプログラム - Google Patents

Description

本発明は、視覚的な錯覚をもたらす技術に関し、特に透明または半透明の素材の質感を知覚させる技術に関する。

一般に、非剛体の透明または半透明の素材の質感（「透明素材質感」と呼ぶ）を画像に与えようとする場合、CGソフトウェアやOpenGLといったグラフィックス専用言語を用い、当該素材のモデリング・光線計算・物理計算・レンダリングが行われる。しかし、そういった技術を利用するにはある程度の知識が必要であり、その知識を習得していないユーザーがこの手法を用いるのはそう簡単ではない。

一方で、単純な画像処理のみを用いて任意の画像に透明素材質感を与える方法もある。一般に透明または半透明の素材の屈折率は１以上である。そのため、透明または半透明の素材の背後にあるシーンは歪む。特許文献１に記載された技術では、この歪みを画像処理で表現し、任意の画像と観察者との間に透明素材質感を持つ物体が存在するかのように錯覚させる。

特許第６０６９１１５号公報

しかし、簡易な画像処理技術を用いて、任意の画像に与える透明素材質感の色および明るさを独立に操作する技術は提案されていない。例えば、特許文献１では、任意の画像に透明素材質感を与える技術は提案されているものの、その透明素材質感の色および明るさを独立に操作する方法は開示されていない。例えば、上述のようなグラフィックス専用言語を用いて透明素材の色や明るさを変更することはできるものの、上記の通り、一定の知識をユーザーに要求する。

本発明はこのような点に鑑みてなされたものであり、簡易な画像処理技術を用いて、任意の画像に与える透明素材質感の色および明るさを互いに独立に操作することを目的とする。

原画像に由来する各画素に対応する各要素を持ち、各要素が対応する各画素の移動方向および移動量を示し、低空間周波数成分を有する複数の異なる変形地図のそれぞれを用い、原画像に由来する各画素を画素に対応する各要素により特定される移動方向および移動量だけ移動させて、複数の変調画像を得る。複数の変調画像を輝度成分と色成分に分離して複数の輝度成分画像と色成分画像とを得、複数の輝度成分画像の輝度および／または複数の色成分画像の色を変調して輝度変調画像および／または色変調画像を得、得られた画像を統合して得られる複数の統合画像を時間的に並べることで構成される映像を得る。

これにより、簡易な画像処理技術を用いて、任意の画像に与える透明素材質感の色および明るさを互いに独立に操作できる。

図１は実施形態の映像生成装置の機能構成を例示したブロック図である。 図２Ａから図２Ｃは実施形態で生成される映像を例示するための図である。 図３は変形領域に対する色変更領域のずれ量と透明素材に色が無いと知覚された割合との関係を例示したグラフである。 図４は実施形態の変形地図生成部の機能構成を例示したブロック図である。 図５は実施形態の映像生成方法を説明するための図である。 図６Ａおよび図６Ｂは第３実施形態の映像生成方法を説明するための図である。 図７は変形領域の輪郭の変形量と素材の印象との関係を例示した図である。 図８は実施形態の変形地図生成部の機能構成を例示したブロック図である。 図９は変形領域の輪郭のぼかし量と素材の印象との関係を例示した図である。 図１０は実施形態の映像生成装置の機能構成を例示したブロック図である。 図１１は実施形態の映像生成装置の機能構成を例示したブロック図である。

以下、図面を参照して本発明の実施形態を説明する。
［概要］
まず本実施形態の概要を説明する。
色を操作する映像生成装置は、複数の変形地図（原画像に由来する各画素に対応する各要素を持ち、各要素が対応する各画素の移動方向および移動量を示し、低空間周波数成分を有する複数の異なる変形地図）のそれぞれを用い、原画像に由来する各画素を画素に対応する各要素により特定される移動方向および移動量だけ移動させて、複数の変調画像を得、複数の変調画像を輝度成分（明度成分）と色成分に分離して複数の輝度成分画像と色成分画像とを得、色変調情報に従って複数の色成分画像の色を変調した（色を変えた）複数の色変調画像を得、輝度成分画像と色変調画像とを統合して得られる複数の統合画像を時間的に並べることで構成される映像を得る。この映像を見た観察者は、色変調情報に従った色を持つ透明素材質感の物質が原画像と当該観察者との間の領域に配置されているかのように錯覚する。この映像の生成に複雑な画像処理技術は不要である。

明るさを操作する映像生成装置は、上記の「変形地図」のそれぞれを用い、原画像に由来する各画素を画素に対応する各要素により特定される移動方向および移動量だけ移動させて、複数の変調画像を得、複数の変調画像を輝度成分と色成分に分離して複数の輝度成分画像と色成分画像とを得、輝度変調情報に従って複数の輝度成分画像の輝度を変調した（輝度を変えた）複数の輝度変調画像を得、輝度変調画像と色成分画像とを統合して得られる複数の統合画像を時間的に並べることで構成される映像を得る。この映像を見た観察者は、輝度変調情報に従った輝度（例えば、濁り具合）を持つ透明素材質感の物質が原画像と当該観察者との間の領域に配置されているかのように錯覚する。この映像の生成に複雑な画像処理技術は不要である。

色および輝度の両方を操作する映像生成装置は、上記の「変形地図」のそれぞれを用い、原画像に由来する各画素を画素に対応する各要素により特定される移動方向および移動量だけ移動させて、複数の変調画像を得、複数の変調画像を輝度成分と色成分に分離して複数の輝度成分画像と色成分画像とを得、輝度変調情報に従って複数の輝度成分画像の輝度を変調した複数の輝度変調画像を得、色変調情報に従って複数の色成分画像の色を変調した複数の色変調画像を得、輝度変調画像と色変調画像とを統合して得られる複数の統合画像を時間的に並べることで構成される映像を得る。この映像を見た観察者は、色変調情報に従った色および輝度変調情報に従った輝度を持つ透明素材質感の物質が原画像と当該観察者との間の領域に配置されているかのように錯覚する。この映像の生成に複雑な画像処理技術は不要である。

以上のように、実施形態では簡易な画像処理技術を用いて、任意の画像に与える透明素材質感の色および明るさを互いに独立に操作できる。なお、前述のように「透明素材質感」は、非剛体の透明または半透明の素材の質感を意味する。「透明素材質感」の例は、透明または半透明な液体や気体などの流体の質感である。

「原画像」は任意の画素からなる二次元配列である。「原画像」は実空間に存在する物質を撮影または描いたものであってもよいし、実空間に存在しないものを表していてもよいし、ノイズ画像であってもよい。また、「原画像」はカラー画像であってもよいし、モノトーン画像であってもよいし、白黒画像であってもよい。

「変形地図」は「原画像」に由来する各画素をどれだけ歪ませるかを表した値（歪み量）の二次元分布（歪み分布）である。「変形地図」は「歪み分布」とも呼ばれる。「原画像に由来する各画素」は「原画像」の画素であってもよいし、「原画像」の画素を移動させて得られる画像の画素であってもよい。「変形地図」の例は、原画像に由来する各画素の移動方向および移動量を表す各画素（各要素）を画素値とした二次元配列である。例えば、「原画像」に由来する各画素の移動方向が当該「原画像」に由来する各画素に対応する「変形地図」の各画素の画素値の正負で表され、「原画像」に由来する各画素の移動量が当該「原画像」に由来する各画素に対応する「変形地図」の各画素の画素値の絶対値で表される。例えば、「原画像」に由来する各画素の位置（座標）は、その画素の移動方向および移動量を表す「変形地図」の画素の位置（座標）と同じである。画素の移動方向を画素値の正負で表す場合には一次元の方向しか特定できない。そのため、「原画像」に由来する各画素を二次元の任意の方向に変形させるためには、「原画像」に由来する各画素を水平方向に変調するための「変形地図（水平方向用変形地図）」と垂直方向に変調するための「変形地図（垂直方向用変形地図）」とが必要となる。同じフレームに対応する「水平方向用変形地図」の各要素と「垂直方向用変形地図」の各要素とは、互いに独立していてもよいし、互いに関連していてもよい（例えば、少なくとも一部の要素が互いに同一）。「変形地図」の具体例は、画像ワープ（「イメージワープ」や「ピクセルワープ」ともいう）法によって画像を変形させるためのマップである（例えば、参考文献１等参照）。
参考文献１：Kawabe, T., Maruya, K., & Nishida, S., "Perceptual transparency from image deformation," Proceedings of the National Academy of Sciences, August 18, 2015, 112(33), E4620-E4627, [平成30年3月20日検索]、インターネット＜https://doi.org/10.1073/pnas.1500913112＞

「低空間周波数成分」とは、絶対値が所定値以下の空間周波数成分を意味する。「低空間周波数成分」の例は、空間周波数の絶対値が３ｃｐｄ（cycles per degree）以下の成分である。例えば、「変形地図」は主に「低空間周波数成分」を含む。「変形地図」が「低空間周波数成分」のみを含んでもよいし、「低空間周波数成分」とそれ以外の空間周波数成分とを含んでいてもよい。

「複数の異なる変形地図のそれぞれ」は、各フレームに対応する。すなわち「複数の異なる変形地図のそれぞれ」は、各フレームにおける各画素の移動方向および移動量を表す。なお「各フレーム」は、映像生成装置によって生成される映像を構成する、時系列に並べられたフレームのそれぞれに対応する。例えば、生成される映像が１秒間分であり、１秒間の映像が３０フレームの画像で構成される場合、「複数の異なる変形地図」は３０個となる。映像生成装置は、各フレームに対応する「変形地図」の各要素に対応する「原画像」に由来する各画素を、当該「変形地図」の各要素により特定される移動方向および移動量だけ移動させ、当該フレームに対応する「変調画像」を生成する。例えば、映像生成装置は、「原画像」の各画素を当該各画素に対応する最初のフレームｆ_０の「変形地図」の各要素により特定される移動方向および移動量だけ移動させて当該フレームｆ_０に対応する「変調画像」を得る。２番目以降のフレームｆ_ｉでも同様に、映像生成装置は、「原画像」の各画素を当該各画素に対応する当該フレームｆ_ｉの「変形地図」の各要素により特定される移動方向および移動量だけ移動させて当該フレームｆ_ｉに対応する「変調画像」を得る。あるいは、最初のフレームｆ_０では、映像生成装置は「原画像」を「変調画像」とし、２番目以降のフレームｆ_ｉでは、映像生成装置は、フレームｆ_ｉの直前のフレームｆ_ｉ−１の「変調画像」の各画素を、当該各画素に対応する当該フレームｆ_ｉに対応する、「変形地図」の各要素により特定される移動方向および移動量だけ移動させて、当該フレームｆ_ｉに対応する「変調画像」を得てもよい。あるいは、最初のフレームｆ_０で「原画像」を「変調画像」にすることに代え、「原画像」の各画素を当該各画素に対応する当該フレームｆ_０の「変形地図」の各要素により特定される移動方向および移動量だけ移動させて当該フレームｆ_０に対応する「変調画像」を得てもよい。例えば、「原画像」に由来する各画素を水平方向に変調するための「変形地図（水平方向用変形地図）」と垂直方向に変調するための「変形地図（垂直方向用変形地図）」とが用いられる場合、映像生成装置は、各フレームに対応する「水平方向用変形地図」の各要素に対応する「原画像」に由来する各画素を、当該「水平方向用変形地図」の各要素により特定される移動方向（水平方向）および移動量だけ移動させ、当該フレームに対応する「垂直方向用変形地図」の各要素に対応する「原画像」に由来する各画素を、当該「垂直方向用変形地図」の各要素により特定される移動方向（垂直方向）および移動量だけ移動させ、当該フレームに対応する「変調画像」を生成する。例えば、映像生成装置は、最初のフレームｆ_０で、当該最初のフレームｆ_０に対応する「水平方向用変形地図」の各要素に対応する「原画像」の各画素を、当該「水平方向用変形地図」の各要素により特定される移動方向（水平方向）および移動量だけ移動させ、当該最初のフレームｆ_０に対応する「垂直方向用変形地図」の各要素に対応する「原画像」の各画素を、当該「垂直方向用変形地図」の各要素により特定される移動方向（垂直方向）および移動量だけ移動させ、当該最初のフレームｆ_０に対応する「変調画像」を得る。２番目以降のフレームｆ_ｉでも同様に、映像生成装置は、当該フレームｆ_ｉに対応する「水平方向用変形地図」の各要素に対応する「原画像」の各画素を、当該「水平方向用変形地図」の各要素により特定される移動方向および移動量だけ移動させ、当該フレームｆ_ｉに対応する「垂直方向用変形地図」の各要素に対応する「原画像」の各画素を、当該「垂直方向用変形地図」の各要素により特定される移動方向および移動量だけ移動させ、当該フレームｆ_ｉに対応する「変調画像」を得る。あるいは、２番目以降のフレームｆ_ｉでは、映像生成装置が、当該フレームｆ_ｉに対応する「水平方向用変形地図」の各要素に対応する、当該フレームｆ_ｉの直前のフレームｆ_ｉ−１の「変調画像」の各画素を、当該「水平方向用変形地図」の各要素により特定される移動方向（水平方向）および移動量だけ移動させ、当該フレームｆ_ｉに対応する「垂直方向用変形地図」の各要素に対応する当該フレームｆ_ｉ−１の「変調画像」の各画素を、当該「垂直方向用変形地図」の各要素により特定される移動方向（垂直方向）および移動量だけ移動させ、当該フレームｆ_ｉに対応する「変調画像」を得てもよい。あるいは、最初のフレームｆ_０で、映像生成装置が「原画像」を「変調画像」としてもよい。「変調画像」の生成には、例えば画像ワープ法を用いることができる。このような処理を複数のフレームについて実行することで、これら複数のフレームに対応する「複数の変調画像」が得られる。

得られた「複数の変調画像」のそれぞれ（各フレームに対応する変調画像）は輝度成分と色成分に分離される。これにより、各フレームに対応する「変調画像」の輝度成分である「輝度成分画像」と、各フレームに対応する「変調画像」の色成分である「色成分画像」とが得られる。言い換えると、各フレームに対応する「輝度成分画像」と「色成分画像」との組が得られる。この処理を複数のフレームについて行うことで、当該複数のフレームに対応する複数の「輝度成分画像」と複数の「色成分画像」とが得られる。言い換えると、「輝度成分画像」と「色成分画像」との組が複数組得られる。「輝度成分画像」の輝度と「色成分画像」の色とは互いに独立することが望ましい。すなわち、「輝度成分画像」の輝度を変更することで「変調画像」の色成分を変更することなく輝度成分を変更でき、「色成分画像」の色を変更することで「変調画像」の輝度成分を変更することなく色成分を変更できることが望ましい。例えば、「輝度成分画像」が表す各画素値の座標系と、「色成分画像」が表す各画素値の座標系とが、互いに直交することが望ましい。例えば、「変調画像」がＲＧＢ表色系で表現されている場合、映像生成装置は「変調画像」を輝度次元と色次元とに分離できる表色系（例えば、ＣＩＥ Ｌａｂ表色系，ＣＩＥ Ｙｘｙ表色系，ＣＩＥ ＨＳＶ表色系）に変換し、変換後の表色系で「輝度成分画像」と「色成分画像」とを得る。

「透明素材質感」の色を操作する場合、映像生成装置は「色変調情報」に従って複数の「色成分画像」の色を変調して複数の「色変調画像」を得る。「色変調情報」は色を表す情報であってもよいし、色の変化を表す情報であってもよい。「色変調情報」が色を表す情報である場合、映像生成装置は「色成分画像」の色を「色変調情報」が表す色に変調した「色変調画像」を得る。「色変調情報」が色の変化（例えば、色空間での変化方向および変化量）を表す情報である場合、映像生成装置は「色成分画像」の色を「色変調情報」が表す分だけ変化させた「色変調画像」を得る。

「透明素材質感」の輝度（明度）を操作する場合、映像生成装置は「輝度変調情報」に従って複数の「輝度成分画像」の輝度を変調して複数の「輝度変調画像」を得る。「輝度変調情報」は「輝度成分画像」の輝度を表す情報であってもよいし、「輝度成分画像」の輝度の変化（例えば、輝度次元での変化方向および変化量）を表す情報であってもよい。「輝度変調情報」が「輝度成分画像」の輝度を表す情報である場合、映像生成装置は「輝度成分画像」の輝度を「輝度変調情報」が表す輝度に変調した「輝度変調画像」を得る。「輝度変調情報」が輝度の変化を表す情報である場合、映像生成装置は「輝度成分画像」の輝度を「輝度変調情報」が表す分だけ変化させた「輝度変調画像」を得る。

「透明素材質感」の色のみが操作された場合、映像生成装置は「輝度成分画像」と「色変調画像」とを統合して得られる複数の「統合画像」を時間的に並べることで構成される映像を得る。例えば、各フレームに対応する「輝度成分画像」と「色変調画像」との組を統合したものが当該フレームに対応する「統合画像」となる。「輝度成分画像」と「色変調画像」との統合とは、「輝度成分画像」に対応する輝度成分（例えば、「輝度成分画像」が表す輝度成分）と「色変調画像」に対応する色成分（例えば、「色変調画像」が表す色成分）とを持つ画像を生成することを意味する。

「透明素材質感」の輝度のみが操作された場合、映像生成装置は「輝度変調画像」と「色成分画像」とを統合して得られる複数の統合画像を時間的に並べることで構成される映像を得る。例えば、各フレームに対応する「輝度変調画像」と「色成分画像」との組を統合したものが当該フレームに対応する「統合画像」となる。「輝度変調画像」と「色成分画像」との統合とは、「輝度変調画像」に対応する輝度成分（例えば、「輝度変調画像」が表す輝度成分）と「色成分画像」に対応する色成分（例えば、「色成分画像」が表す色成分）とを持つ画像を生成することを意味する。

「透明素材質感」の色および輝度が操作された場合、映像生成装置は「輝度変調画像」と「色変調画像」とを統合して得られる複数の「統合画像」を時間的に並べることで構成される映像を得る。例えば、各フレームに対応する「輝度変調画像」と「色変調画像」との組を統合したものが当該フレームに対応する「統合画像」となる。「輝度変調画像」と「色変調画像」との統合とは、「輝度変調画像」に対応する輝度成分（例えば、「輝度変調画像」が表す輝度成分）と「色変調画像」に対応する色成分（例えば、「色変調画像」が表す色成分）とを持つ画像を生成することを意味する。

「変形地図」が「変形領域」に属する各画素の移動方向および移動量を示し、映像生成装置が、複数の「色成分画像」の「変形領域」、または、「変形領域」および「変形領域」の近傍の色を変調して複数の「色変調画像」を得てもよいし、複数の「輝度成分画像」の「変形領域」、または、「変形領域」および「変形領域」の近傍の輝度を変調して複数の「輝度変調画像」を得てもよい。「変形領域」はすべてのフレームで共通（同一）であってもよいし、少なくとも一部のフレームに対応する「変形領域」が他のフレームに対応する「変形領域」と異なってもよい。すべてまたは一部のフレームに対応する「変形領域」の空間位置は、「原画像」の一部の空間領域と同一である。また、「原画像」に由来する各画素を水平方向に変調するための「変形地図（水平方向用変形地図）」と、「原画像」に由来する各画素を垂直方向に変調するための「変形地図（垂直方向用変形地図）」と、が用いられる場合、同一のフレームに対応する「水平方向用変形地図」の「変形領域」の空間位置と「垂直方向用変形地図」の「変形領域」の空間位置とは互いに同一である。「変形地図」のうち「変形領域」に含まれる各画素に対応する要素は当該各画素の移動方向および零以外の移動量（絶対値が正の移動量）を表し、「変形地図」のうち「変形領域」に含まれない各画素に対応する要素は当該各画素の移動量が零であることを表す。映像生成装置が、複数の「色成分画像」の「変形領域」、または、「変形領域」および「変形領域」の近傍の色を変調した場合、上述のように得られた「映像」を見た観察者は、「色変調情報」に従った色を持つ「透明素材質感」の物質が「原画像」と当該観察者との間に配置されているかのように錯覚する。映像生成装置が、複数の「輝度成分画像」の「変形領域」、または、「変形領域」および「変形領域」の近傍の輝度を変調した場合、上述のように得られた「映像」を見た観察者は、「輝度変調情報」に従った輝度を持つ「透明素材質感」の物質が「原画像」と当該観察者との間に配置されているかのように錯覚する。注目すべき点は、たとえ「変形領域」の近傍の色および／または輝度を変調した場合であっても、「原画像」が表す物質の色および／または輝度ではなく、「原画像」が表す物質と観察者との間に存在する「透明素材質感」の色および／または輝度が変調されたような錯覚を引き起こす点である。このような錯覚を明確に引き起こすためには、「変形領域の近傍」が「変形領域」に対する視角が０．１２度以内の領域（空間領域）であることが望ましい。

「変形領域」の輪郭を変形させてもよい。すなわち、「複数の異なる変形地図」が複数の「変形領域」内の各画素の移動方向および移動量を示し、複数の「変形領域」が低空間周波数成分を有する複数の異なる「第２変形地図」をそれぞれ用いて「原画像」に含まれた「原変形領域」の輪郭を変形して得られるものであってもよい。これらの「複数の変形領域」の輪郭は互いに異なる。このような構成において、「粘性変調情報」に従って、「第２変形地図」の空間周波数成分の絶対値の大きさ、および「第２変形地図」の振幅、の少なくとも何れかを変調する（変化させる）。これにより、上述のような色および／または輝度を持ち、さらに所望の粘度を持った「透明素材質感」の物質が原画像と観察者との間の領域に配置されているように錯覚させることができる。

上述の場合の「複数の変形領域」のそれぞれは各フレームの「変形地図」において要素が零でない領域である。すなわち、「複数の変形領域」は複数のフレームの「変形地図」それぞれにおいて要素が零でない領域である。すべてまたは一部のフレームに対応する「変形領域」の空間位置は「原画像」の一部の空間領域と同一である。各フレームの「変形地図」の輪郭は、各フレームに対応する「第２変形地図」を用いて「原変形領域」の輪郭を変形することで得られる。「原変形領域」は「原画像」に含まれた空間領域であってもよいし、「原画像」と重複する空間領域であってもよい。「変形領域」の輪郭は「変形領域」を定義する境界を意味する。すなわち、「変形領域」の輪郭とは、当該「変形領域」と当該「変形領域」以外の空間領域との境界を意味する。同様に、「原変形領域」の輪郭は「原変形領域」を定義する境界を意味する。つまり、「原変形領域」の輪郭とは、当該「原変形領域」と当該「原変形領域」以外の空間領域との境界を意味する。「輪郭」の形状の例は、円、楕円、矩形、多角形などである。

「第２変形地図」は「低空間周波数成分」を含む。例えば、「第２変形地図」は主に「低空間周波数成分」を含む。「第２変形地図」が「低空間周波数成分」のみを含んでもよいし、「低空間周波数成分」とそれ以外の空間周波数成分とを含んでいてもよい。例えば、映像生成装置は、各フレームに対応する「第２変形地図」を用い、「原変形領域」を特定する「原変形領域画像」を変調して「変形領域」を特定する「変形領域画像」を各フレームについて得、当該「変形領域画像」を用いて各フレームの「変形領域」を特定する。例えば、「原変形領域画像」は「原画像」と同じサイズの二次元配列である。「原変形領域画像」の例は、「原変形領域」の画素値を零以外の値（例えば、１などの正の定数）とし、その他の領域の画素値を零とした二次元配列である。例えば、「変形領域画像」は「原画像」と同じサイズの二次元配列である。「変形領域画像」の例は、「変形領域」の画素値を零以外の値（例えば、１などの正の定数）とし、その他の領域の画素値を零とした二次元配列である。「第２変形地図」は「原変形領域画像」に由来する各画素をどれだけ歪ませるかを表した値（歪み量）の二次元分布（歪み分布）である。「原変形領域画像に由来する各画素」は「原変形領域画像」の画素であってもよいし、「原変形領域画像」の画素を移動させて得られる画像の画素であってもよい。「第２変形地図」の例は、「原変形領域画像」に由来する各画素の移動方向および移動量を表す各画素（各要素）を画素値とした二次元配列である。例えば、「原変形領域画像」に由来する各画素の移動方向が当該「原変形領域画像」に由来する各画素に対応する「第２変形地図」の各画素の画素値の正負で表され、「原変形領域画像」に由来する各画素の移動量が当該「原変形領域画像」に由来する各画素に対応する「第２変形地図」の各画素の画素値の絶対値で表される。例えば、「原変形領域画像」に由来する各画素の位置（座標）は、その画素の移動方向および移動量を表す「第２変形地図」の画素の位置（座標）と同じである。画素の移動方向を画素値の正負で表す場合には一次元の方向しか特定できない。そのため、「原変形領域画像」に由来する各画素を二次元の任意の方向に変形させるためには、「原変形領域画像」に由来する各画素を水平方向に変調するための「第２変形地図（第２水平方向用変形地図）」と垂直方向に変調するための「第２変形地図（第２垂直方向用変形地図）」とが必要となる。「第２変形地図」の具体例は、画像ワープ法によって画像を変形させるためのマップである。映像生成装置は、「原変形領域画像」に由来する各画素を、各フレームに対応する「第２変形地図」の各要素により特定される移動方向および移動量だけ移動させ、各フレームに対応する「変形領域画像」を生成する。例えば、最初のフレームｆ_０では、映像生成装置は、「原変形領域画像」の各画素を当該各画素に対応する当該フレームｆ_０の「第２変形地図」の各要素により特定される移動方向および移動量だけ移動させて当該フレームｆ_０に対応する「変形領域画像」を得る。例えば、２番目以降のフレームｆ_ｉでも同様に、映像生成装置は、「原変形領域画像」の各画素を当該各画素に対応する当該フレームｆ_ｉの「第２変形地図」の各要素により特定される移動方向および移動量だけ移動させて当該フレームｆ_ｉに対応する「変形領域画像」を得る。あるいは、２番目以降のフレームｆ_ｉでは、映像生成装置は、フレームｆ_ｉの直前のフレームｆ_ｉ−１の「変形領域画像」の各画素を、当該各画素に対応する当該フレームｆ_ｉに対応する「第２変形地図」の各要素により特定される移動方向および移動量だけ移動させて、当該フレームｆ_ｉに対応する「変形領域画像」を得てもよい。あるいは、最初のフレームｆ_０で「原変形領域画像」を「変形領域画像」としてもよい。例えば、「原変形領域画像」に由来する各画素を水平方向に変調するための「第２変形地図（第２水平方向用変形地図）」と、「原変形領域画像」に由来する各画素を垂直方向に変調するための「第２変形地図（第２垂直方向用変形地図）」と、が用いられる場合、映像生成装置は、各フレームに対応する「第２水平方向用変形地図」の各要素に対応する「原変形領域画像」に由来する各画素を、当該「第２水平方向用変形地図」の各要素により特定される移動方向（水平方向）および移動量だけ移動させ、当該フレームに対応する「第２垂直方向用変形地図」の各要素に対応する「原変形領域画像」に由来する各画素を、当該「第２垂直方向用変形地図」の各要素により特定される移動方向（垂直方向）および移動量だけ移動させ、当該フレームに対応する「変形領域画像」を生成する。例えば、最初のフレームｆ_０では、映像生成装置が、当該最初のフレームｆ_０に対応する「第２水平方向用変形地図」の各要素に対応する「原変形領域画像」の各画素を、当該「第２水平方向用変形地図」の各要素により特定される移動方向（水平方向）および移動量だけ移動させ、当該最初のフレームｆ_０に対応する「第２垂直方向用変形地図」の各要素に対応する「原変形領域画像」の各画素を、当該「第２垂直方向用変形地図」の各要素により特定される移動方向（垂直方向）および移動量だけ移動させ、当該最初のフレームｆ_０に対応する「変形領域画像」を得る。例えば、２番目以降のフレームｆ_ｉでも同様に、映像生成装置が、当該フレームｆ_ｉに対応する「第２水平方向用変形地図」の各要素に対応する「原変形領域画像」の各画素を、当該「第２水平方向用変形地図」の各要素により特定される移動方向（水平方向）および移動量だけ移動させ、当該フレームｆ_ｉに対応する「第２垂直方向用変形地図」の各要素に対応する「原変形領域画像」の各画素を、当該「第２垂直方向用変形地図」の各要素により特定される移動方向（垂直方向）および移動量だけ移動させ、当該フレームｆ_ｉに対応する「変形領域画像」を得る。あるいは、２番目以降のフレームｆ_ｉで、映像生成装置が、当該フレームｆ_ｉに対応する「第２水平方向用変形地図」の各要素に対応する、当該フレームｆ_ｉの直前のフレームｆ_ｉ−１の「変形領域画像」の各画素を、当該「第２水平方向用変形地図」の各要素により特定される移動方向（水平方向）および移動量だけ移動させ、当該フレームｆ_ｉに対応する「第２垂直方向用変形地図」の各要素に対応する当該フレームｆ_ｉ−１の「変形領域画像」の各画素を、当該「第２垂直方向用変形地図」の各要素により特定される移動方向（垂直方向）および移動量だけ移動させ、当該フレームｆ_ｉに対応する「変形領域画像」を得てもよい。「変形領域画像」の生成には、例えば画像ワープ法を用いることができる。このような処理を複数のフレームについて実行することで、これら複数のフレームに対応する「複数の変形領域画像」が得られる。

「第２変形地図」の空間周波数成分および／または振幅を変化させることで、「映像」によって表現される質感を変化させることができる。そのため、「第２変形地図」の空間周波数成分および／または振幅を操作することで、所望の質感を表現する「映像」を生成できる。

例えば、「第２変形地図」が含む空間周波数成分の絶対値が大きいほど、粘性が低い物質の質感を表現する「映像」を生成できる。すなわち、「第１物質」の質感を表現するための「映像」を生成する場合の「第２変形地図」は、「第２物質」の質感を表現するための「映像」を生成する場合の「第２変形地図」よりも高い空間周波数成分を含み、「第１物質」の粘性は「第２物質」の粘性よりも低い。「第１物質」および「第２物質」の例は透明または半透明な物質である。例えば、「第１物質」の質感を表現するための「映像」を生成する場合の「第２変形地図」が主に空間周波数の絶対値がα１以下の空間周波数成分を含み、「第２物質」の質感を表現するための「映像」を生成する場合の「第２変形地図」が主に空間周波数の絶対値がα２以下（ただし、α１＞α２）の空間周波数成分を含む。例えば、「第１物質」の質感を表現するための「映像」を生成する場合の「第２変形地図」が空間周波数の絶対値がα１以下の空間周波数成分のみからなり、「第２物質」の質感を表現するための「映像」を生成する場合の「第２変形地図」が空間周波数の絶対値がα２以下（ただし、α１＞α２）の空間周波数成分のみからなる。そのため、「第２変形地図」が含む空間周波数成分の絶対値の上限もしくは平均値、または、「第２変形地図」が含む全空間周波数成分に占める空間周波数成分の割合を操作することで、生成された「映像」で表現される物質の質感を操作できる。このような操作を行うことで、「映像」で表現される透明または半透明の物質（色および／または輝度が操作されたものも含む）から受ける印象を、例えば、固体から液体に変化させたり、液体から気体に変化させたり、それらの逆向きに、気体から液体に変化させたり、液体から固体に変化させたりできる。

例えば、「第２変形地図」の振幅（各要素の大きさ）を変化させることで、「映像」によって表現される質感を変化させることができる。例えば、固体の質感を表現するための「映像」を生成する場合の「第２変形地図」の平均振幅は、液体の質感を表現するための「映像」を生成する場合の「第２変形地図」の平均振幅よりも小さい。例えば、固体の質感を表現するための「映像」を生成する場合の「第２変形地図」の最大振幅は、液体の質感を表現するための「映像」を生成する場合の「第２変形地図」の最大振幅よりも小さい。そのため、「第２変形地図」の振幅の大きさを操作することで、「映像」で表現される透明または半透明の物質から受ける印象を、例えば、固体から液体に変化させたり、液体から気体に変化させたり、それらの逆向きに、気体から液体に変化させたり、液体から固体に変化させたりできる。なお、「第２変形地図」が含む空間周波数成分の絶対値と「第２変形地図」の振幅とは互いに独立に調整できる。すなわち、「第２変形地図」が含む空間周波数成分の絶対値を固定した上で「第２変形地図」の振幅を調整してもよい。あるいは、「第２変形地図」の振幅を固定した上で「第２変形地図」が含む空間周波数成分の絶対値を調整してもよい。あるいは、「第２変形地図」が含む空間周波数成分の絶対値と「第２変形地図」の振幅との両方を調整してもよい。すなわち、「映像」で表現される透明または半透明の物質から受ける印象をどのように変化（例えば、気体から液体に変化）させるかに応じ、これらの少なくとも一方を適宜調整すればよい。

「変形地図」および「第２変形地図」に主に含まれた空間周波数成分の絶対値の上限値が互いに同一または近似していることが望ましい。すなわち、「変形地図」は主に空間周波数の絶対値が「第１値」以下の空間周波数成分を含み（例えば、「変形地図」は空間周波数の絶対値が「第１値」以下の空間周波数成分のみを含み）、「第２変形地図」は主に空間周波数の絶対値が「第２値」以下の空間周波数成分を含み（例えば、第２変形地図」は空間周波数の絶対値が「第２値」以下の空間周波数成分のみを含み）、「第１値」は「第２値」に等しいまたは近似していることが望ましい。「変形地図」および「第２変形地図」に主に含まれた空間周波数成分の絶対値の上限値が互いに大きく異なると、知覚させようとする所望の質感を知覚させることができなくなる可能性があるからである。

また「変形領域」の輪郭のぼかし量（または鮮鋭度）が変化することで「映像」によって表現される質感が変化する。そのため、「粘性変調情報」に従って、「変形領域」の輪郭のぼかし量（または鮮鋭度）を操作することで、所望の質感を表現する「映像」を生成できる。例えば、固体の質感を表現するための「映像」を生成するときの「変形領域」の輪郭のぼかし量は、液体の質感を表現するための「映像」を生成するときの「変形領域」の輪郭のぼかし量よりも小さい。そのため、「変形領域」の輪郭のぼかし量を操作することで、「映像」で表現される透明または半透明の物質から受ける印象を、例えば、固体から液体に変化させたり、液体から気体に変化させたり、それらの逆向きに変化させたりできる。なお、「変形領域」の輪郭のぼかし量も、「第２変形地図」が含む空間周波数成分の絶対値および「第２変形地図」の振幅と独立に調整できる。すなわち、「第２変形地図」が含む空間周波数成分の絶対値および「第２変形地図」の振幅の少なくとも一方を固定した上で、「変形領域」の輪郭のぼかし量を調整してもよい。あるいは、「変形領域」の輪郭のぼかし量を固定した上で、「第２変形地図」が含む空間周波数成分の絶対値および「第２変形地図」の振幅の少なくとも一方を調整してもよい。あるいは、「変形領域」の輪郭のぼかし量、「第２変形地図」が含む空間周波数成分の絶対値および「第２変形地図」の振幅のすべてを調整してもよい。すなわち、「映像」で表現される透明または半透明の物質から受ける印象をどのように変化（例えば、気体から液体に変化）させるかに応じ、これらの少なくともいずれかを適宜調整すればよい。

上述の「統合」を各フレームについて行うことで、複数のフレームに対応する複数の「統合画像」が得られ、それらを対応するフレームの順序に並べたもの（時間順に並べたもの）が「映像」である。すなわち、複数の「統合画像」は時間的に順序付けられており、「映像」は、この順序付けに沿って複数の「統合画像」を時間的に並べることで構成されるものである。ここで、時間的に隣接する「変形地図」の変化（隣接するフレームでの「変形地図」の各要素の時間変化）、および、時間的に隣接する「第２変形地図」の変化（隣接するフレームでの「第２変形地図」の各要素の時間変化）が滑らかである（平滑である）ことが望ましい。これにより、自然な液体や気体の質感を知覚させる「映像」を生成できるからである。

［第１実施形態］
第１実施形態では、透明素材質感の色および明るさの両方を独立に操作する例を説明する。
＜構成＞
図１に例示するように、本実施形態の映像生成装置１は、変形地図生成部１１、変調領域決定部１２、歪み変調部１３、分離部１４、色変調部１５（変調部）、輝度変調部１６（変調部）、統合部１７、および記憶部１８を有する。なお、入力されたデータおよび各部で得られたデータは記憶部１８に格納される。記憶部１８に格納されたデータは必要に応じて読み出されて使用される。

＜処理＞
次に、本実施形態の処理を説明する。
≪変形地図生成部１１の処理≫
本実施形態の変形地図生成部１１には、３次元ノイズ画像Ｎ、振幅情報Ａ、空間周波数情報ＳＦ、時間周波数情報ＴＦ、および変形領域情報ＰＳが入力される。３次元ノイズ画像Ｎは時間次元と二次元の空間次元とを持つノイズ画像である。言い換えると、３次元ノイズ画像Ｎは、複数のフレームに対応する変形地図ＭＰの元になる複数の２次元ノイズ画像を有する。本実施形態の３次元ノイズ画像Ｎは、前述の「水平方向用変形地図」の元になる水平方向用ノイズ画像Ｎ_Ｈと「垂直方向用変形地図」の元になる垂直方向用ノイズ画像Ｎ_Ｖとを含む。水平方向用ノイズ画像Ｎ_Ｈおよび垂直方向用ノイズ画像Ｎ_Ｖの各画素は正値、負値、零値の何れかである。本実施形態の３次元ノイズ画像Ｎの空間次元のサイズ（水平方向用ノイズ画像Ｎ_Ｈの空間次元のサイズ、および垂直方向用ノイズ画像Ｎ_Ｖのサイズ）は原画像のサイズと同一である（例えば、２５６×２５６ピクセル）。３次元ノイズ画像Ｎの例は、３次元ガウシアンノイズ画像や３次元ホワイトノイズである。振幅情報Ａは、各フレームに対応する変形地図ＭＰの各要素（各画素）の振幅（画素値の絶対値）を操作するための情報である。例えば、振幅情報Ａに基づいて変形地図ＭＰの各画素の振幅の最大値が定まる。空間周波数情報ＳＦは変形地図ＭＰの空間周波数を操作するための情報である。例えば、空間周波数情報ＳＦに基づいて変形地図ＭＰに含まれる空間周波数成分の絶対値が定まる。空間周波数情報ＳＦの一例は変形地図ＭＰに含まれる空間周波数成分の絶対値を３ｃｐｄ以下に定める情報である。例えば、空間周波数情報ＳＦに従って変形地図ＭＰを生成する際に用いられる空間次元のローパスフィルタ（低域通過型フィルタ）のカットオフ周波数が定まる。例えば、空間周波数情報ＳＦは、上述の空間次元のローパスフィルタのカットオフ周波数（例えば、３ｃｐｄ以下）を特定する。時間周波数情報ＴＦは、複数のフレームに対応する複数の変形地図ＭＰの時間周波数を操作するための情報である。例えば、時間周波数情報ＴＦに基づいて、複数のフレームに対応する複数の変形地図ＭＰに含まれる時間周波数成分の絶対値が定まる。時間周波数情報ＴＦの一例は、複数のフレームに対応する複数の変形地図ＭＰの時間周波数成分の絶対値を８Ｈｚ以下に定める情報である。例えば、時間周波数情報ＴＦに従って、複数のフレームに対応する複数の変形地図ＭＰの時間次元のローパスフィルタのカットオフ周波数が定まる。例えば、時間周波数情報ＴＦは、上述の時間次元のローパスフィルタのカットオフ周波数（例えば、８Ｈｚ以下）を特定する。変形領域情報ＰＳは、変形領域の空間位置および形状を特定するための情報である。

変形地図生成部１１は、上述の３次元ノイズ画像Ｎ、振幅情報Ａ、空間周波数情報ＳＦ、時間周波数情報ＴＦ、および変形領域情報ＰＳを用い、複数のフレームに対応する複数の変形地図ＭＰ（すなわち、後述のように統合部１７で生成される映像Ｍを構成する、時系列に並べられたフレームのそれぞれに対応する各変形地図ＭＰ）を得て出力する。例えば変形地図生成部１１は、特許文献１や参考文献１等に記載された方法を用い、複数のフレームに対応する複数の変形地図ＭＰを生成する。各フレームに対応する変形地図ＭＰは水平方向用変形地図Ｍ_ＷＨと垂直方向用変形地図Ｍ_ＷＶとを含む。水平方向用変形地図Ｍ_ＷＨは、各画素の移動方向（正負符号）および移動量（絶対値）を表す各画素を画素値とした二次元配列である。垂直方向用変形地図Ｍ_ＷＶは、各画素の移動方向（正負符号）および移動量（絶対値）を表す各画素を画素値とした二次元配列である。水平方向用変形地図Ｍ_ＷＨおよび垂直方向用変形地図Ｍ_ＷＶの空間領域のサイズは原画像のサイズと同一である。水平方向用変形地図Ｍ_ＷＨおよび垂直方向用変形地図Ｍ_ＷＶは、変形領域情報ＰＳで特定される一部の空間領域である変形領域にのみ絶対値が零以上の値を持ち、その他の領域には零値を持つ。水平方向用変形地図Ｍ_ＷＨの変形領域の空間位置および形状は、垂直方向用変形地図Ｍ_ＷＶの変形領域の空間位置および形状と同一である。水平方向用変形地図Ｍ_ＷＨおよび垂直方向用変形地図Ｍ_ＷＶの各空間位置での画素値は、互いに独立していてもよいし、互いに相関していてもよい。例えば、変形地図生成部１１は、３次元ノイズ画像Ｎに含まれる水平方向用ノイズ画像Ｎ_Ｈおよび垂直方向用ノイズ画像Ｎ_Ｖを空間周波数領域に変換し、空間周波数情報ＳＦに基づいた空間次元のローパスフィルタ（例えば、カットオフ周波数が３ｃｐｄ以下のローパスフィルタ）でフィルタリングした後に空間領域に戻し、さらに正規化を行い、変形領域情報ＰＳに基づいて変形領域以外の画素値を零値に置換することで、複数のフレームに対応する複数の水平方向用変形地図Ｍ_ＷＨと垂直方向用変形地図Ｍ_ＷＶと（すなわち、後述のように統合部１７で生成される映像Ｍを構成する、時系列に並べられたフレームのそれぞれに対応する水平方向用変形地図Ｍ_ＷＨと垂直方向用変形地図Ｍ_ＷＶとからなる各変形地図ＭＰ＝（Ｍ_ＷＨ，Ｍ_ＷＶ））を得る。変形地図生成部１１は、正規化の際に、振幅情報Ａに基づいて水平方向用変形地図Ｍ_ＷＨと垂直方向用変形地図Ｍ_ＷＶとの振幅を調整してもよい。また変形地図生成部１１は、時間周波数情報ＴＦに基づいた時間次元のローパスフィルタ（例えば、カットオフ周波数が８Ｈｚ以下のローパスフィルタ）で、水平方向用ノイズ画像Ｎ_Ｈと垂直方向用ノイズ画像Ｎ_Ｖを時間次元でフィルタリングしてから空間周波数領域に変換してもよい。これにより、変形領域の画素値をフレーム間で滑らかに変化させる水平方向用変形地図Ｍ_ＷＨおよび垂直方向用変形地図Ｍ_ＷＶを得ることができる。

≪歪み変調部１３の処理≫
任意の原画像Ｐ、および変形地図生成部１１から出力された複数のフレームに対応する複数の変形地図ＭＰ＝（Ｍ_ＷＨ，Ｍ_ＷＶ）（原画像Ｐに由来する各画素に対応する各要素を持ち、各要素が対応する各画素の移動方向および移動量を示し、低空間周波数成分を有する複数の異なる変形地図）は歪み変調部１３に入力される。歪み変調部１３は、各フレームの変形地図ＭＰ＝（Ｍ_ＷＨ，Ｍ_ＷＶ）を用い、原画像Ｐに由来する各画素を当該画素に対応する変形地図ＭＰ＝（Ｍ_ＷＨ，Ｍ_ＷＶ）の各要素により特定される移動方向および移動量だけ移動させて、各フレームの変調画像Ｐ１を得る。例えば、歪み変調部１３は画像ワープ法（例えば、特許文献１や参考文献１等参照）を用い、各フレームの変形地図ＭＰ＝（Ｍ_ＷＨ，Ｍ_ＷＶ）を用いて原画像Ｐに由来する画素を変形して各フレームの変調画像Ｐ１を得る。例えば、各フレームの変調画像Ｐ１は原画像Ｐを当該フレームの変形地図ＭＰ＝（Ｍ_ＷＨ，Ｍ_ＷＶ）で変形して得られる画像である。あるいは、先頭のフレームｆ_０の変調画像Ｐ１は原画像Ｐであり、２番目以降のフレームｆ_ｉの変調画像Ｐ１は直前のフレームｆ_ｉ−１の変調画像Ｐ１を当該フレームｆ_ｉの変形地図ＭＰ＝（Ｍ_ＷＨ，Ｍ_ＷＶ）で変形して得られる画像であってもよい。これにより、歪み変調部１３は、複数のフレームに対応する複数の変調画像Ｐ１（すなわち、後述のように統合部１７で生成される映像Ｍを構成する、時系列に並べられたフレームのそれぞれに対応する各変調画像Ｐ１）を得て出力する。

≪分離部１４の処理≫
複数のフレームに対応する複数の変調画像Ｐ１は分離部１４に入力される。分離部１４は、複数の変調画像Ｐ１を輝度成分と色成分に分離し、複数のフレームに対応する複数の輝度成分画像Ｌ（すなわち、後述のように統合部１７で生成される映像Ｍを構成する、時系列に並べられたフレームのそれぞれに対応する各輝度成分画像Ｌ）と色成分画像Ｃ（すなわち、後述のように統合部１７で生成される映像Ｍを構成する、時系列に並べられたフレームのそれぞれに対応する各色成分画像Ｃ）とを得て出力する。例えば、変調画像Ｐ１がＲＧＢ表色系で表現されている場合、分離部１４は、変調画像Ｐ１を輝度次元と色次元とに分離できる表色系（例えば、ＣＩＥ Ｌａｂ表色系，ＣＩＥ Ｙｘｙ表色系，ＣＩＥ ＨＳＶ表色系）に変換し、変換後の表色系で輝度成分画像Ｌと色成分画像Ｃとを得る。例えば、分離部１４は、ＲＧＢ表色系で表現された変調画像Ｐ１をＣＩＥ Ｌａｂ表色系の変調画像Ｐ２に変換し、各フレームについて、変調画像Ｐ２の輝度（明度）次元（Ｌ座標）の各座標値の二次元配列である輝度成分画像Ｌと、補色次元（ａｂ座標）の各座標値の二次元配列からなる色成分画像Ｃとを得て出力する。

≪変調領域決定部１２の処理≫
変調領域決定部１２には変形領域情報ＰＳが入力される。変調領域決定部１２は、変形領域情報ＰＳに基づいて色および輝度の調整を行う空間領域（変調領域）の空間位置および形状を表す変調領域情報Ｒを得て出力する。本実施形態の変調領域の空間位置および形状は、変形領域の空間位置および形状と同一である。

≪色変調部１５の処理≫
色変調情報ＣＭ、分離部１４から出力された複数のフレームに対応する複数の色成分画像Ｃ、および変調領域決定部１２から出力された変調領域情報Ｒが、色変調部１５に入力される。色変調部１５は、変調領域情報Ｒに基づく複数の色成分画像Ｃの変調領域の色を、色変調情報ＣＭに基づいて変調した複数の色変調画像Ｃ１を得て出力する。複数の色変調画像Ｃ１のそれぞれは各フレームに対応する。これにより、前述のように錯覚させようとする透明素材質感の物質の変調領域（すなわち、変形地図において絶対値が零以上の値を持つ画素に対応する色成分画像Ｃの領域）を所望の色に設定できる。なお、色変調情報ＣＭが色成分画像Ｃの色を変化させない（色成分画像Ｃの色を維持する）ことを表す場合、色変調部１５は各フレームに対応する色成分画像Ｃである色変調画像Ｃ１を出力する（Ｃ１＝Ｃ）。

≪輝度変調部１６の処理≫
輝度変調情報ＬＭ、分離部１４から出力された複数のフレームに対応する複数の輝度成分画像Ｌ、および変調領域決定部１２から出力された変調領域情報Ｒが、輝度変調部１６に入力される。輝度変調部１６は、変調領域情報Ｒに基づく複数の輝度成分画像Ｌの変調領域の輝度を、輝度変調情報ＬＭに基づいて変調した複数の輝度変調画像Ｌ１を得て出力する。輝度変調画像Ｌ１のそれぞれは各フレームに対応する。これにより、前述のように錯覚させようとする透明素材質感の物質の変調領域（すなわち、変形地図において絶対値が零以上の値を持つ画素に対応する輝度成分画像Ｌの領域）を所望の明るさに設定できる。例えば、輝度（Ｌ座標値）を下げれば、暗い色の透明素材質感の物質（例えば、重油のような物質）を知覚させることができるし、輝度（Ｌ座標値）を上げれば、明るい色の透明素材質感の物質（例えば、牛乳のような物質）を知覚させることができる。なお、輝度変調情報ＬＭが輝度成分画像Ｌの輝度を変化させない（輝度成分画像Ｌの輝度を維持する）ことを表す場合、輝度変調部１６は各フレームに対応する輝度成分画像Ｌである輝度変調画像Ｌ１を出力する（Ｌ１＝Ｌ）。

≪統合部１７の処理≫
色変調部１５から出力された複数のフレームに対応する複数の色変調画像Ｃ１、および、輝度変調部１６から出力された複数のフレームに対応する複数の輝度変調画像Ｌ１は、統合部１７に入力される。統合部１７は、各フレームの色変調画像Ｃ１と輝度変調画像Ｌ１とを統合して、各フレームの統合画像を得て記憶部１８に格納する。統合画像は、例えば、ＲＧＢ表色系で表現された画像であるが、ＣＩＥ Ｌａｂ表色系等のその他の表色系で表現された画像であってもよい。統合部１７は、このように得た複数のフレームに対応する複数の統合画像をフレーム順に並べる（時間的に並べる）ことで構成される映像Ｍを得て出力する。映像Ｍはディスプレイに表示されたり、プロジェクターでスクリーン等の物体に投影されたりする。

＜本実施形態の特徴＞
映像Ｍを見た観察者は、色変調情報ＣＭに従った色および／または輝度変調情報ＬＭに従った輝度を持つ透明素材質感の物質が原画像Ｐと当該観察者との間の領域に配置されているかのように錯覚する。上述のように、この映像Ｍの生成に複雑な画像処理技術は不要である。また、映像Ｍの色成分（例えば、ａｂ座標値）と輝度成分（例えば、Ｌ座標値）とを独立に操作できるため、透明素材質感の色と輝度とを互いに独立に操作できる。

［第２実施形態］
第１実施形態では、変形領域と空間位置および形状が同一の変調領域に対して色変調や輝度変調を行った。第２実施形態では、変形領域、または、変形領域および変形領域の近傍領域である変調領域に対して色変調や輝度変調を行う例を説明する。以下では、既に説明した事項との相違点を中心に説明し、既に説明した事項と共通する部分については同じ参照番号を用いて説明を簡略化する。

＜構成＞
図１に例示するように、本実施形態の映像生成装置２は、変形地図生成部１１、変調領域決定部２２、歪み変調部１３、分離部１４、色変調部１５（変調部）、輝度変調部１６（変調部）、統合部１７、および記憶部１８を有する。

＜処理＞
次に、本実施形態の処理を説明する。第２実施形態の第１実施形態からの相違点は、変調領域決定部１２の処理が以下の変調領域決定部２２の処理に置換される点のみである。以下では、変調領域決定部２２の処理のみを説明する。

≪変調領域決定部２２の処理≫
変調領域決定部２２には変形領域情報ＰＳおよび変調領域情報Ｓが入力される。変調領域情報Ｓは、例えば、変形領域に対する変調領域の位置関係に対応する情報である。例えば、変調領域情報Ｓは、変形領域に対する変調領域のずれ量（移動量）を表す情報であってもよいし、変形領域に対する変調領域のずれ量およびずれ方向（移動方向）を表す情報であってもよいし、変形領域と変調領域との差分を表す情報であってもよいし、変形領域の変形のさせ方を表す情報であってもよい。変形領域と変調領域との空間位置ずれ分の視角が０．１２度（ｄｅｇ）以内であることが望ましい（この理由については後述する）。すなわち、「変形領域の近傍」は「変形領域」に対する視角（映像Ｍから所定距離離れた位置から見たときの視角）が０．１２度以内の領域（空間領域）であることが望ましい。例えば、変形領域と変調領域から１００ｃｍはなれた位置から変形領域と変調領域を観察する場合、変形領域と変調領域のずれは０．２１ｃｍ以内に設定することが望ましい。変調領域決定部２２は、変形領域情報ＰＳおよび変調領域情報Ｓに基づいて変調領域の空間位置および形状を表す変調領域情報Ｒを得て出力する。本実施形態の変調領域は、変形領域、または、変形領域および変形領域の近傍の空間領域である。変調領域情報Ｒは色変調部１５および輝度変調部１６に送られる。色変調部１５は、複数の色成分画像Ｃの変形領域、または、変形領域および変形領域の近傍の色を変調して複数の色変調画像Ｃ１を得る。輝度変調部１６は、複数の輝度成分画像Ｌの変形領域、または、変形領域および変形領域の近傍の輝度を変調して複数の輝度変調画像Ｌ１を得る。その他の処理は第１実施形態のものと同じである。

＜本実施形態の特徴＞
本実施形態でも、映像Ｍを見た観察者は、色変調情報ＣＭに従った色および／または輝度変調情報ＬＭに従った輝度を持つ透明素材質感の物質が原画像Ｐと当該観察者との間の領域に配置されているかのように錯覚する。上述のように、この映像Ｍの生成に複雑な画像処理技術は不要である。また、映像Ｍの色成分（例えば、ａｂ座標値）と輝度成分（例えば、Ｌ座標値）とを独立に操作できるため、知覚される透明素材質感の色と輝度とを互いに独立に操作できる。

なお、映像Ｍを見た観察者が、原画像Ｐが表す物質の色および／または輝度ではなく、原画像Ｐと当該観察者との間に配置された「透明素材質感」の物質の色および／または輝度が変調されたような錯覚を明確に知覚するためには、変調領域の空間位置および形状が変形領域の空間位置および形状から大きく相違しないことが望ましい。変調領域と変形領域との違いと、観察者に知覚される「透明素材質感」の物質の色および／または輝度と、の間には相関関係がある。以下に、変形領域の空間位置をずらした空間領域を変調領域とする場合に、どの程度のずれならば「透明素材質感」の物質の色および／輝度が変調されたと知覚されるかを実験的に例示する。この例では、長方形の変形領域の空間位置をずらした空間領域を変調領域とした。この空間位置ずれ量を操作することで変調領域を変更し、それぞれの変調領域の色を前述のように変調して映像Ｍを生成した。図２Ａは変調領域１０２と変形領域１０１とが同一の映像Ｍを例示した図である。図２Ｂは変形領域１１１に対する変調領域１１２のずれ量がｘ１である映像Ｍを例示した図である。図２Ｃは変形領域１２１に対する変調領域１２２のずれ量がｘ２である映像Ｍを例示した図である。なお、図２Ａから図２Ｃは、映像Ｍの特定のフレームの画像、すなわち静止画像を表しているが、静止画像では前述した錯覚は知覚されない。このように生成した映像Ｍを観察者に見せ、当該観察者が「透明素材質感」の物質の色が変調されている（すなわち、色変調された透明素材質感の物質）と知覚するか、それとも「透明素材質感」の物質の色ではなく、原画像Ｐが表す物質の色が変調されている（すなわち、色無し（無色）の透明素材）と知覚するかを質問した。このように得られた「ずれ量」と「色無し透明素材が知覚された割合」との関係を図３に例示する。図３に例示するように、ずれ量が０．１２ｄｅｇ以下である場合、「透明素材質感」の物質の色が変調されていると知覚されやすいことが分かった。この結果に基づくと、「変形領域」と「変調領域」との空間位置ずれ分の視角が０．１２度以内であることが望ましいことが分かる。すなわち、「変形領域の近傍」は「変形領域」に対する視角が０．１２度以内の領域（空間領域）であることが望ましい。例えば、変形領域と変調領域から１００ｃｍはなれた位置から変形領域と変調領域を観察する場合、変形領域と変調領域のずれは０．２１ｃｍ以内に設定することが望ましい。

［第３実施形態］
第１，２実施形態では、変形領域の空間位置や形状に基づいて、変調領域の位置や形状を決定していた。そのため、色や輝度を変調する変調領域が決定され、色変調部１５および輝度変調部１６の処理が終了するまで、変形領域の空間位置や形状に関する変形領域情報ＰＳを保持しておく必要があった。本実施形態では、互いに同一の空間位置の原画像Ｐの画素と変調画像Ｐ１の画素との差分を計算し、その差分が零でない領域を変調領域とする。これにより、変形領域情報ＰＳを保存することなく、変調領域を決定できる。

＜構成＞
図１に例示するように、本実施形態の映像生成装置３は、変形地図生成部１１、変調領域決定部３２、歪み変調部１３、分離部１４、色変調部１５（変調部）、輝度変調部１６（変調部）、統合部１７、および記憶部１８を有する。

＜処理＞
次に、本実施形態の処理を説明する。第３実施形態の第１，２実施形態からの相違点は、変調領域決定部１２，２２の処理が以下の変調領域決定部３２の処理に置換される点のみである。以下では、変調領域決定部３２の処理のみを説明する。

≪変調領域決定部３２の処理≫
変調領域決定部３２には、原画像Ｐと変調画像Ｐ１とが入力される。変調領域決定部３２は、互いに同一の空間位置の原画像Ｐの各画素と変調画像Ｐ１の各画素との差分を計算し、その差分が零でない領域を変調領域とし、当該変調領域を特定する変調領域情報Ｒを出力する。あるいは、第２実施形態で説明したように、さらに変調領域情報Ｓが変調領域決定部３２に入力されてもよい。この場合、変調領域決定部３２は、上述のように差分に基づいて特定された変調領域と変調領域情報Ｓに基づいて、変調領域の空間位置および形状を表す変調領域情報Ｒを得て出力する。その他の処理は、第１実施形態で説明した通りである。

＜本実施形態の特徴＞
本実施形態では、変形領域情報ＰＳを保持しておくことなく、第１，２実施形態で説明した効果を得ることができる。

［第４実施形態］
本実施形態では、変形領域の輪郭を変形する。すなわち、本実施形態の複数のフレームに対応する複数の変形領域は、低空間周波数成分を有する複数の異なる第２変形地図をそれぞれ用いて原画像に含まれた原変形領域の輪郭を変形させたものである。これらの複数の変形領域の輪郭は互いに異なる。ここで、粘性変調情報に従って、第２変形地図の空間周波数成分の絶対値の大きさ、および第２変形地図の振幅、の少なくとも何れかを変調することで、観察者に知覚される透明素材質感の粘度を調整できる。これにより、透明素材質感の色や明るさだけではなく、さらに透明素材質感の粘度をも調整できる。

＜構成＞
図１に例示するように、本実施形態の映像生成装置４は、変形地図生成部４１、変調領域決定部１２、歪み変調部４３、分離部１４、色変調部１５（変調部）、輝度変調部１６（変調部）、統合部１７、および記憶部１８を有する。図４に例示するように、変形地図生成部４１は、制御部４１３、原変形領域設定部４１４、水平変形地図生成部４１５、垂直変形地図生成部４１６、歪み変調部４１７、水平変形地図生成部４１８、垂直変形地図生成部４１０、および乗算部４１１，４１９を有する。

＜処理＞
次に、本実施形態の処理を説明する。第４実施形態の第１〜３実施形態からの相違点は、変形地図生成部１１の処理が以下の変形地図生成部４１の処理に置換され、歪み変調部１３の処理が以下の歪み変調部４３の処理に置換される点のみである。以下では、変形地図生成部４１および歪み変調部４３の処理のみを説明する。

≪変形地図生成部４１の処理≫
本実施形態の変形地図生成部４１の制御部４１３には、３次元ノイズ画像Ｎ，Ｎ２、振幅情報Ａ，Ａ２、空間周波数情報ＳＦ，ＳＦ２、時間周波数情報ＴＦ，ＴＦ２、および変形領域情報ＰＳが入力される。振幅情報Ａ２および空間周波数情報ＳＦ２は「粘性変調情報」に相当する。３次元ノイズ画像Ｎ２は時間次元と二次元の空間次元とを持つノイズ画像である。言い換えると、３次元ノイズ画像Ｎ２は、複数のフレームに対応する変形地図Ｍ_Ｏ（第２変形地図）の元になる複数の２次元ノイズ画像を有する。本実施形態の３次元ノイズ画像Ｎ２は、前述の「第２水平方向用変形地図」の元になる水平方向用ノイズ画像Ｎ２_Ｈと「第２垂直方向用変形地図」の元になる垂直方向用ノイズ画像Ｎ２_Ｖとを含む。水平方向用ノイズ画像Ｎ２_Ｈおよび垂直方向用ノイズ画像Ｎ２_Ｖの各画素は正値、負値、零値の何れかである。本実施形態の３次元ノイズ画像Ｎ２の空間次元のサイズ（水平方向用ノイズ画像Ｎ２_Ｈの空間次元のサイズ、および垂直方向用ノイズ画像Ｎ２_Ｖのサイズ）は原画像のサイズと同一である。水平方向用ノイズ画像Ｎ２_Ｈと垂直方向用ノイズ画像Ｎ２_Ｖとの各空間位置での画素値は、互いに独立していてもよいし、互いに相関していてもよい。３次元ノイズ画像Ｎ２の例は、３次元ガウシアンノイズ画像や３次元ホワイトノイズである。本実施形態の変形領域情報ＰＳは、原変形領域の空間位置および形状を特定するための情報である。振幅情報Ａ２は、各フレームに対応する変形地図Ｍ_Ｏの各要素（各画素）の振幅（画素値の絶対値）を操作するための情報である。例えば、振幅情報Ａ２に基づいて変形地図Ｍ_Ｏの各画素の振幅の最大値が定まる。空間周波数情報ＳＦ２は変形地図Ｍ_Ｏの空間周波数を操作するための情報である。例えば、空間周波数情報ＳＦ２に基づいて変形地図Ｍ_Ｏに含まれる空間周波数成分の絶対値が定まる。空間周波数情報ＳＦ２の一例は変形地図Ｍ_Ｏに含まれる空間周波数成分の絶対値を３ｃｐｄ以下に定める情報である。例えば、空間周波数情報ＳＦ２に従って変形地図Ｍ_Ｏを生成する際に用いられる空間次元のローパスフィルタ（低域通過型フィルタ）のカットオフ周波数が定まる。例えば、空間周波数情報ＳＦ２は、上述の空間次元のローパスフィルタのカットオフ周波数（例えば、３ｃｐｄ以下）を特定する。時間周波数情報ＴＦ２は、複数のフレームに対応する複数の変形地図Ｍ_Ｏ（すなわち、映像Ｍを構成する、時系列に並べられたフレームのそれぞれに対応する各変形地図Ｍ_Ｏ）の時間周波数を操作するための情報である。例えば、時間周波数情報ＴＦ２に基づいて、複数のフレームに対応する複数の変形地図Ｍ_Ｏに含まれる時間周波数成分の絶対値が定まる。時間周波数情報ＴＦ２の一例は、複数のフレームに対応する複数の変形地図Ｍ_Ｏの時間周波数成分の絶対値を８Ｈｚ以下に定める情報である。例えば、時間周波数情報ＴＦ２に従って、複数のフレームに対応する複数の変形地図Ｍ_Ｏの時間次元のローパスフィルタのカットオフ周波数が定まる。例えば、時間周波数情報ＴＦ２は、上述の時間次元のローパスフィルタのカットオフ周波数（例えば、８Ｈｚ以下）を特定する。

≪原変形領域設定部４１４の処理≫
原変形領域設定部４１４は、変形領域情報ＰＳを入力とし、変形領域情報ＰＳによって特定される空間位置および形状の原変形領域を含む原変形領域画像Ｄ_Ｏを出力する。原変形領域画像Ｄ_Ｏは原画像Ｐと同じサイズの二次元配列である。原変形領域画像Ｄ_Ｏの例は、原変形領域の画素値を１とし、その他の領域の画素値を０とした２値画像である。原変形領域画像Ｄ_Ｏの他の例は、各画素値が所定の最小値（例えば０）から最大値（例えば１）までの範囲に属し、原変形領域の画素値の絶対値がその他の領域の画素値の絶対値よりも大きいグレースケール画像（強度画像）である。言い換えると、原変形領域画像Ｄ_Ｏの他の例は、各画素値が所定の最小値（例えば０）から最大値（例えば１）までの範囲に属し、原変形領域の画素値の絶対値が所定値以上であり、その他の領域の画素値の絶対値が当該所定値未満であるグレースケール画像である。本実施形態では１つの原変形領域画像Ｄ_Ｏが複数のフレームで共用される。そのため、原画像Ｐから１つの映像Ｍを得るために、少なくとも１つの原変形領域画像Ｄ_Ｏが生成されればよい。ただし、１つの映像Ｍに対して複数個の原変形領域画像Ｄ_Ｏが生成されてもかまわない。例えば、フレーム間で原変形領域の空間位置が移動してもよい。例えば、複数のフレームにおいて、原変形領域が「右方向」「左方向」「下方向」「上方向」の少なくとも何れかの方向に移動してもよい。

≪水平変形地図生成部４１５および垂直変形地図生成部４１６の処理≫
水平変形地図生成部４１５および垂直変形地図生成部４１６は、複数のフレームのそれぞれについて、原変形領域画像Ｄ_Ｏの原変形領域の輪郭を変形するための変形地図（第２変形地図）Ｍ_Ｏ＝（Ｍ_ＯＨ，Ｍ_ＯＶ）を生成して出力する。変形地図Ｍ_Ｏは、原変形領域画像Ｄ_Ｏに由来する各画素を水平方向に変調するための水平方向用変形地図（変形領域画像Ｄ_Ｏの原変形領域の輪郭を水平方向に変形するための水平方向用変形地図）Ｍ_ＯＨ（第２水平方向用変形地図）と、垂直方向に変調するための垂直方向用変形地図（変形領域画像Ｄ_Ｏの原変形領域の輪郭を垂直方向に変形するための垂直方向用変形地図）Ｍ_ＯＶ（第２垂直方向用変形地図）と、を有する。複数のフレームに対応する複数の水平方向用変形地図Ｍ_ＯＨ（すなわち、映像Ｍを構成する、時系列に並べられたフレームのそれぞれに対応する各水平方向用変形地図Ｍ_ＯＨ）は互いに異なり、複数のフレームに対応する複数の垂直方向用変形地図Ｍ_ＯＶ（すなわち、映像Ｍを構成する、時系列に並べられたフレームのそれぞれに対応する各垂直方向用変形地図Ｍ_ＯＶ）は互いに異なる。一部の複数のフレームでそれぞれ生成される水平方向用変形地図Ｍ_ＯＨが互いに同一であってもよいし、一部の何れか複数のフレームでそれぞれ生成される垂直方向用変形地図Ｍ_ＯＶが互いに同一であってもよい。水平方向用変形地図Ｍ_ＯＨ，垂直方向用変形地図Ｍ_ＯＶは原変形領域画像Ｄ_Ｏと同じサイズの二次元配列である。水平方向用変形地図Ｍ_ＯＨは、変形領域画像Ｄ_Ｏに由来する各画素の水平な移動方向および移動量を表す値を各画素の画素値とする。垂直方向用変形地図Ｍ_ＯＶは、変形領域画像Ｄ_Ｏに由来する各画素の垂直な移動方向および移動量を表す値を各画素の画素値とする。例えば、水平方向用変形地図Ｍ_ＯＨ，垂直方向用変形地図Ｍ_ＯＶの各画素値の正負は移動方向を表し、各画素値の絶対値は移動量（移動画素数）を表す。変形領域画像Ｄ_Ｏに由来する各画素の位置は、その画素の移動方向および移動量を表す水平方向用変形地図Ｍ_ＯＨ，垂直方向用変形地図Ｍ_ＯＶの画素の位置と同じである。水平方向用変形地図Ｍ_ＯＨおよび垂直方向用変形地図Ｍ_ＯＶの各空間位置での画素値は、互いに独立していてもよいし、互いに相関していてもよい。また水平方向用変形地図Ｍ_ＯＨ，垂直方向用変形地図Ｍ_ＯＶは低空間周波数成分を有する。

水平変形地図生成部４１５は、３次元ノイズ画像Ｎ２に含まれる水平方向用ノイズ画像Ｎ２_Ｈを入力とし、水平方向用変形地図Ｍ_ＯＨを生成して出力する。垂直変形地図生成部４１６は、３次元ノイズ画像Ｎ２に含まれる垂直方向用ノイズ画像Ｎ２_Ｖを入力とし、垂直方向用変形地図Ｍ_ＯＶを生成して出力する。水平変形地図生成部４１５および垂直変形地図生成部４１６は、例えば、特許文献１や参考文献１等に記載された方法を用い、複数のフレームに対応する水平方向用変形地図Ｍ_ＯＨおよび垂直方向用変形地図Ｍ_ＯＶを生成して出力する。例えば、水平変形地図生成部４１５は、３次元ノイズ画像Ｎ２に含まれる水平方向用ノイズ画像Ｎ２_Ｈを空間周波数領域に変換し、空間周波数情報ＳＦ２に基づいた空間次元のローパスフィルタ（例えば、カットオフ周波数が３ｃｐｄ以下のローパスフィルタ）でフィルタリングした後に空間領域に戻し、さらに正規化を行って複数のフレームに対応する複数の水平方向用変形地図Ｍ_ＯＨを得る。例えば、垂直変形地図生成部４１６は、３次元ノイズ画像Ｎ２に含まれる垂直方向用ノイズ画像Ｎ２_Ｖを空間周波数領域に変換し、空間周波数情報ＳＦ２に基づいた空間次元のローパスフィルタ（例えば、カットオフ周波数が３ｃｐｄ以下のローパスフィルタ）でフィルタリングした後に空間領域に戻し、さらに正規化を行って複数のフレームに対応する複数の垂直方向用変形地図Ｍ_ＯＶを得る。水平変形地図生成部４１５は、正規化の際に、振幅情報Ａ２に基づいて水平方向用変形地図Ｍ_ＯＨの振幅を調整してもよい。同様に、垂直変形地図生成部４１６は、正規化の際に、振幅情報Ａ２に基づいて垂直方向用変形地図Ｍ_ＯＶの振幅を調整してもよい。また、水平変形地図生成部４１５および垂直変形地図生成部４１６は、時間周波数情報ＴＦ２に基づいた時間次元のローパスフィルタ（例えば、カットオフ周波数が８Ｈｚ以下のローパスフィルタ）で、水平方向用ノイズ画像Ｎ２_Ｈと垂直方向用ノイズ画像Ｎ２_Ｖを時間次元でフィルタリングしてから空間周波数領域に変換してもよい。これにより、時間的に隣接する水平方向用変形地図Ｍ_ＯＨ，垂直方向用変形地図Ｍ_ＯＶの時間変化が滑らかになる。

≪歪み変調部４１７の処理≫
歪み変調部４１７には、原変形領域画像Ｄ_Ｏ、および、複数のフレームそれぞれの水平方向用変形地図Ｍ_ＯＨ，垂直方向用変形地図Ｍ_ＯＶが入力される。歪み変調部４１７は、各フレームについて、水平方向用変形地図Ｍ_ＯＨ，垂直方向用変形地図Ｍ_ＯＶに基づく画像ワープ法（例えば、特許文献１や参考文献１等参照）によって原変形領域画像Ｄ_Ｏを変形し、それによって得られた変形領域画像Ｄを出力する（図５）。すなわち、歪み変調部４１７は、各フレームにおいて、変形地図Ｍ_ＯＨに基づいて原変形領域画像Ｄ_Ｏに由来する各画素を水平方向に移動させ、垂直方向用変形地図Ｍ_ＯＶに基づいて原変形領域画像Ｄ_Ｏに由来する各画素を垂直方向に移動させ、それによって変形領域画像Ｄを得て出力する。例えば、先頭のフレームｆ_０の変形領域画像Ｄは原変形領域画像Ｄ_Ｏであり、２番目以降のフレームｆ_ｉの変形領域画像Ｄは直前のフレームｆ_ｉ−１の変形領域画像Ｄを当該フレームｆ_ｉの変形地図Ｍ_Ｏ＝（Ｍ_ＯＨ，Ｍ_ＯＶ）で変形して得られる画像である。これにより、歪み変調部４１７は、複数のフレームに対応する複数の変形領域画像Ｄ（すなわち、映像Ｍを構成する、時系列に並べられたフレームのそれぞれに対応する各変形領域画像Ｄ）を得て出力する。上述のように各フレームで得られる変形領域画像Ｄは、原変形領域画像Ｄ_Ｏの原変形領域の輪郭を水平方向用変形地図Ｍ_ＯＨ，垂直方向用変形地図Ｍ_ＯＶを用いて変形した変形領域を含む。すなわち、このように得られる複数の変形領域は、低空間周波数成分を有する複数の異なる水平方向用変形地図Ｍ_ＯＨ，垂直方向用変形地図Ｍ_ＯＶをそれぞれ用いて原変形領域の輪郭を変形させたものである。変形領域画像Ｄは原画像Ｐと同じサイズの二次元配列である。

≪水平変形地図生成部４１８および垂直変形地図生成部４１０の処理≫
まず、水平変形地図生成部４１８および垂直変形地図生成部４１０は、３次元ノイズ画像Ｎ、振幅情報Ａ、空間周波数情報ＳＦ、時間周波数情報ＴＦ、および変形領域情報ＰＳを用い、各フレームで原画像Ｐに由来する各画素を変形するための変形地図Ｍ２＝（Ｍ_Ｈ，Ｍ_Ｖ）を得る（図６Ａおよび図６Ｂ）。変形地図Ｍ２は、原画像Ｐに由来する各画素を水平方向に変調するための複数の水平方向用変形地図Ｍ_Ｈと、垂直方向に変調するための複数の垂直方向用変形地図Ｍ_Ｖとを有する。第１実施形態で説明した水平方向用変形地図Ｍ_ＷＨおよび垂直方向用変形地図Ｍ_ＷＶは、変形領域にのみ絶対値が零以上の値を持ち、その他の領域には零値を持っていたが、水平方向用変形地図Ｍ_Ｈおよび垂直方向用変形地図Ｍ_Ｖはすべての領域で絶対値が零以上の値を持つ。それ以外の点は、水平方向用変形地図Ｍ_Ｈは水平方向用変形地図Ｍ_ＷＨと同じであり、垂直方向用変形地図Ｍ_Ｖは垂直方向用変形地図Ｍ_ＷＶと同じである。例えば、水平変形地図生成部４１８および垂直変形地図生成部４１０は、３次元ノイズ画像Ｎ２に含まれる水平方向用ノイズ画像Ｎ２_Ｈおよび垂直方向用ノイズ画像Ｎ２_Ｖを空間周波数領域に変換し、空間周波数情報ＳＦに基づいた空間次元のローパスフィルタ（例えば、カットオフ周波数が３ｃｐｄ以下のローパスフィルタ）でフィルタリングした後に空間領域に戻し、さらに正規化を行いことで、複数のフレームに対応する複数の水平方向用変形地図Ｍ_Ｈ（すなわち、映像Ｍを構成する、時系列に並べられたフレームのそれぞれに対応する各水平方向用変形地図Ｍ_Ｈ）と垂直方向用変形地図Ｍ_Ｖ（すなわち、映像Ｍを構成する、時系列に並べられたフレームのそれぞれに対応する各垂直方向用変形地図Ｍ_Ｖ）とを得る。水平変形地図生成部４１８および垂直変形地図生成部４１０は、正規化の際に、振幅情報Ａに基づいて水平方向用変形地図Ｍ_Ｈと垂直方向用変形地図Ｍ_Ｖとの振幅を調整してもよい。また水平変形地図生成部４１８および垂直変形地図生成部４１０は、時間周波数情報ＴＦに基づいた時間次元のローパスフィルタ（例えば、カットオフ周波数が８Ｈｚ以下のローパスフィルタ）で、水平方向用ノイズ画像Ｎ２_Ｈと垂直方向用ノイズ画像Ｎ２_Ｖを時間次元でフィルタリングしてから空間周波数領域に変換してもよい。これにより、変形領域の画素値をフレーム間で滑らかに変化させる水平方向用変形地図Ｍ_Ｈおよび垂直方向用変形地図Ｍ_Ｖを得ることができる。なお、変形地図Ｍ２＝（Ｍ_Ｈ，Ｍ_Ｖ）を得るための空間次元のローパスフィルタのカットオフ周波数は、前述した変形地図Ｍ_Ｏ＝（Ｍ_ＯＨ，Ｍ_ＯＶ）を得るための空間次元のローパスフィルタのカットオフ周波数と同一または近似することが望ましい。すなわち、変形地図Ｍ_Ｏ＝（Ｍ_ＯＨ，Ｍ_ＯＶ）は主に空間周波数の絶対値が第１値以下の空間周波数成分を含み、変形地図Ｍ２＝（Ｍ_Ｈ，Ｍ_Ｖ）は主に空間周波数の絶対値が第２値以下の空間周波数成分を含み、第１値は第２値に等しいまたは近似することが望ましい。これらが大きく異なると、映像Ｍによって知覚させようとする所望の質感を知覚させることができなくなる可能性があるからである。ただし、知覚させようとする所望の質感を知覚させることができるのであれば、これらが異なっていてもかまわない。

≪乗算部４１９，４１１の処理≫
乗算部４１９は、各フレームの変形領域画像Ｄおよび水平方向用変形地図Ｍ_Ｈを入力とし、各フレームについて、以下のように変形領域画像Ｄで水平方向用変形地図Ｍ_Ｈを重み付けした水平方向用変形地図Ｍ_ＷＨを生成して出力する（図６Ａ）。
Ｍ_ＷＨ＝Ｍ_Ｈ×Ｄ
すなわち、水平方向用変形地図Ｍ_Ｈの各画素（ｘ，ｙ）の画素値と変形領域画像Ｄの各画素（ｘ，ｙ）の画素値とを乗じて得られる値を水平方向用変形地図Ｍ_ＷＨの各画素（ｘ，ｙ）の画素値とする。フレーム間で原変形領域の空間位置が移動する場合、水平方向用変形地図Ｍ_ＷＨの変形領域も移動する。例えば、複数のフレームにおいて、原変形領域の空間位置が「右方向」「左方向」「下方向」「上方向」の少なくとも何れかの方向に移動する場合、水平方向用変形地図Ｍ_ＷＨの変形領域も「右方向」「左方向」「下方向」「上方向」の少なくとも何れかの方向に移動する。

乗算部４１１は、各フレームの変形領域画像Ｄおよび垂直方向用変形地図Ｍ_Ｖを入力とし、各フレームについて、以下のように変形領域画像Ｄで垂直方向用変形地図Ｍ_Ｖを重み付けした垂直方向用変形地図Ｍ_ＷＶを生成して出力する（図６Ｂ）。
Ｍ_ＷＶ＝Ｍ_Ｖ×Ｄ
すなわち、垂直方向用変形地図Ｍ_Ｖの各画素（ｘ，ｙ）の画素値と垂直方向用変形領域画像Ｄの各画素（ｘ，ｙ）の画素値とを乗じて得られる値を垂直方向用変形地図Ｍ_ＷＶの各画素（ｘ，ｙ）の画素値とする。例えば、複数のフレームにおいて、原変形領域の空間位置が「右方向」「左方向」「下方向」「上方向」の少なくとも何れかの方向に移動する場合、垂直方向用変形地図Ｍ_ＷＶの変形領域も「右方向」「左方向」「下方向」「上方向」の少なくとも何れかの方向に移動する。以上のように得られた複数のフレームに対応する複数の変形地図ＭＰ＝（Ｍ_ＷＨ，Ｍ_ＷＶ）（すなわち、映像Ｍを構成する、時系列に並べられたフレームのそれぞれに対応する各変形地図ＭＰ）は歪み変調部４３に送られる。

≪歪み変調部４３の処理≫
任意の原画像Ｐ、および変形地図生成部４１から出力された複数のフレームに対応する複数の変形地図ＭＰ＝（Ｍ_ＷＨ，Ｍ_ＷＶ）（原画像Ｐに由来する各画素に対応する各要素を持ち、各要素が対応する各画素の移動方向および移動量を示し、低空間周波数成分を有する複数の異なる変形地図）は歪み変調部４３に入力される。例えば、歪み変調部４３は、第１実施形態の歪み変調部１３と同じように、各フレームの変形地図ＭＰ＝（Ｍ_ＷＨ，Ｍ_ＷＶ）を用い、原画像Ｐに由来する各画素を当該画素に対応する変形地図ＭＰ＝（Ｍ_ＷＨ，Ｍ_ＷＶ）の各要素により特定される移動方向および移動量だけ移動させて、各フレームの変調画像Ｐ１を得る。あるいは、歪み変調部４３は、第１実施形態の歪み変調部１３と同じように、各フレームの変形地図ＭＰ＝（Ｍ_ＷＨ，Ｍ_ＷＶ）を用い、原画像Ｐに由来する各画素を当該画素に対応する変形地図ＭＰ＝（Ｍ_ＷＨ，Ｍ_ＷＶ）の各要素により特定される移動方向および移動量だけ移動させて、各フレームの変調画像Ｐ１’を得、当該変調画像Ｐ１’に窓関数Ｗを乗じた画像を変調画像Ｐ１として出力してもよい。窓関数Ｗは変調画像Ｐ１’の外縁（辺縁、外枠）付近の画像を隠すものである。変形地図ＭＰによる変調によって変調画像Ｐ１’の外縁が変形した場合、変調画像Ｐ１’自体の形状が歪んでしまう。窓関数Ｗはこのような変調画像Ｐ１’の外縁の歪みを隠すために用いられる。窓関数Ｗは、例えば、変調画像Ｐ１’外縁付近の座標に対して０となり、それ以外の座標に対して１となる関数である。窓関数Ｗの０から１への変化が滑らかであってもよい。歪み変調部４３は、は、各フレームについて、以下のように変調画像Ｐ１’に窓関数Ｗを乗じ、変調画像Ｐ１を得て出力してもよい。
Ｐ１＝Ｗ×Ｐ１’
その他の処理は、第１実施形態で説明した通りである。

＜本実施形態の特徴＞
映像Ｍを見た観察者は、色変調情報ＣＭに従った色および／または輝度変調情報ＬＭに従った輝度を持つ透明素材質感の物質が原画像Ｐと当該観察者との間の領域に配置されているかのように錯覚する。この映像Ｍの生成に複雑な画像処理技術は不要である。また、映像Ｍの色成分と輝度成分とを独立に操作できるため、透明素材質感の色と輝度とを互いに独立に操作できる。さらに本形態では、知覚される透明素材の物質の粘性も操作できる。

例えば、水平変形地図生成部４１５および垂直変形地図生成部４１６が、空間周波数情報ＳＦ２（粘性変調情報）に基づいて、水平方向用変形地図Ｍ_ＯＨおよび垂直方向用変形地図Ｍ_ＯＶ（第２変形地図）の空間周波数成分の絶対値の大きさを操作することで、知覚される透明素材の物質の粘性を操作できる。例えば、粘性の高い、ゆったりとした波面変動をもつ液体表現を原画像Ｐに与えたい場合には、空間周波数情報ＳＦ２に基づいた空間次元のローパスフィルタのカットオフ周波数を低くする。逆に、粘性の低い、速い波面変動をもつ液体表現を原画像Ｐに与えたい場合には、このカットオフ周波数を高くする。すなわち、第１物質の質感を表現するための映像Ｍを生成する場合の水平方向用変形地図Ｍ_ＯＨ，垂直方向用変形地図Ｍ_ＯＶは、第２物質の質感を表現するための映像Ｍを生成する場合の水平方向用変形地図Ｍ_ＯＨ，垂直方向用変形地図Ｍ_ＯＶよりも高い空間周波数成分を含み、第１物質の粘性は、第２物質の粘性よりも低い。

例えば、水平変形地図生成部４１５および垂直変形地図生成部４１６が、振幅情報Ａ２（粘性変調情報）に基づいて、水平方向用変形地図Ｍ_ＯＨおよび垂直方向用変形地図Ｍ_ＯＶ（第２変形地図）の振幅を操作することで、知覚される透明素材の物質の粘性を操作できる。図７に、原変形領域の輪郭変形量と、最終的に得られる映像Ｍから被験者が受ける主観評価と、の関係を例示する。図７の横軸は原変形領域の輪郭変形量（ｄｅｇ）を表し、縦軸は被験者が映像Ｍから受ける素材の印象を表している。図７では、原変形領域の輪郭変形量が、被験者の眼の位置から見た原変形領域の輪郭と変形後の変形領域の輪郭とでなす角度（ｄｅｇ）で表現されている。被験者からみた右方向へ変形領域が移動する条件、左方向へ変形領域が移動する条件、下方向へ変形領域が移動する条件、上方向へ変形領域が移動する条件、および各方向で得られたデータの平均値を、それぞれ「右方向」「左方向」「下方向」「上方向」「平均」と表現している。図７の縦軸は、被験者がそれぞれの輪郭変形量の変形領域に基づいて得られた映像Ｍから受ける材質の印象の主観評価値の平均値を表している。主観評価値は１から５までの５段階で表現され、１に近い主観評価値ほど被験者が固体らしいと知覚していることを表しており、５に近い主観評価値ほど被験者が液体らしいと知覚していることを表している。被験者は１０名であり、誤差棒を±１ＳＥＭとして表記している。図７に例示するように、輪郭変形量が大きいほど被験者は映像Ｍから液体らしい印象を受け、輪郭変形量が小さいほど被験者は映像Ｍから固体らしい印象を受ける。ここで、水平方向用変形地図Ｍ_ＯＨ，垂直方向用変形地図Ｍ_ＯＶの振幅が大きいほど、垂直方向用変形地図Ｍ_ＯＨ，Ｍ_ＯＶによって変形される原変形領域の輪郭変形量も大きくなる。そのため、水平方向用変形地図Ｍ_ＯＨ，垂直方向用変形地図Ｍ_ＯＶの振幅が小さいほど固体らしい質感を知覚させる映像Ｍを生成でき、水平方向用変形地図Ｍ_ＯＨ，垂直方向用変形地図Ｍ_ＯＶの振幅が大きいほど液体らしい質感を知覚させる映像Ｍを生成できることが分かる。以上より、固体らしい質感を知覚させる映像Ｍを生成したいときに水平方向用変形地図Ｍ_ＯＨ，垂直方向用変形地図Ｍ_ＯＶの振幅を小さくし、液体らしい質感を知覚させる映像Ｍを生成するときに水平方向用変形地図Ｍ_ＯＨ，垂直方向用変形地図Ｍ_ＯＶの振幅を大きくすればよい。すなわち、固体の質感を表現するための映像Ｍを生成する場合の水平方向用変形地図Ｍ_ＯＨ，垂直方向用変形地図Ｍ_ＯＶの平均振幅は、液体の質感を表現するための映像Ｍを生成する場合の水平方向用変形地図Ｍ_ＯＨ，垂直方向用変形地図Ｍ_ＯＶの平均振幅よりも小さい、および／または、固体の質感を表現するための映像Ｍを生成する場合の水平方向用変形地図Ｍ_ＯＨ，垂直方向用変形地図Ｍ_ＯＶの最大振幅は、液体の質感を表現するための映像Ｍを生成する場合の水平方向用変形地図Ｍ_ＯＨ，垂直方向用変形地図Ｍ_ＯＶの最大振幅よりも小さい。

なお、変形領域画像Ｄを表す情報が変調領域決定部１２，２２に入力され、変調領域決定部１２，２２が、当該変形領域画像Ｄを表す情報を用い、色および輝度の調整を行う変調領域の空間位置および形状を表す変調領域情報Ｒを得て出力してもよい。例えば、変調領域決定部１２は、変形領域画像Ｄが表す変形領域と同じ空間位置および形状を表す変調領域情報Ｒを得てもい。例えば、変調領域決定部２２は、変形領域画像Ｄが表す変形領域の情報および変調領域情報Ｓに基づいて変調領域の空間位置および形状を表す変調領域情報Ｒを得てもよい。

［第４実施形態の変形例］
第４実施形態の変調領域決定部１２が前述した変調領域決定部２２または３２に置換されてもよい。

［第５実施形態］
第４実施形態では、変形領域の輪郭を変形し、所望の透明な材質の質感を知覚させた。第５実施形態では、これに代えて変形領域の輪郭をぼかす（輪郭の鮮鋭度を下げる）ことで、所望の透明な材質の質感を知覚させる。

＜構成＞
図１に例示するように、本実施形態の映像生成装置５は、変形地図生成部５１、変調領域決定部１２、歪み変調部１３、分離部１４、色変調部１５（変調部）、輝度変調部１６（変調部）、統合部１７、および記憶部１８を有する。図８に例示するように、変形地図生成部５１は、制御部４１３、原変形領域設定部４１４、輪郭ぼかし部５１２、水平変形地図生成部４１８、垂直変形地図生成部４１０、および乗算部４１１，４１９を有する。

＜処理＞
第５実施形態の第４実施形態からの相違点は、水平変形地図生成部４１５、垂直変形地図生成部４１６、および歪み変調部４１７の処理に代えて、輪郭ぼかし部５１２の処理が行われる点である。その他は第４実施形態で説明した通りである。以下では、第４実施形態からの相違点である輪郭ぼかし部５１２の処理のみを説明する。

≪輪郭ぼかし部５１２の処理≫
原変形領域設定部４１４から出力された原変形領域画像Ｄ_Ｏ、および、原変形領域の輪郭のぼかし具合を表すぼかし度合情報Ｆ（粘性変調情報）が輪郭ぼかし部５１２に入力される。輪郭ぼかし部５１２は、ぼかし度合情報Ｆに従って原変形領域画像Ｄ_Ｏ中の原変形領域の輪郭をぼかした（原変形領域の輪郭の鮮鋭度を下げた）変形領域を含む変形領域画像Ｄを得て出力する。変形領域画像Ｄは原画像Ｐと同じサイズの二次元配列である。例えば、輪郭ぼかし部５１２は、原変形領域画像Ｄ_Ｏにガウシアンフィルタを適用して得られる画像を変形領域画像Ｄとして出力してもよいし、原変形領域画像Ｄ_Ｏにローパスフィルタを適用して得られる画像を変形領域画像Ｄとして出力してもよい。ぼかし度合情報Ｆが示す値の大きさに応じて原変形領域画像Ｄ_Ｏ中の原変形領域の輪郭のぼかし量が異なる。例えば、原変形領域画像Ｄ_Ｏの輪郭にガウシアンフィルタを適用してられる画像を変形領域画像Ｄとする場合、輪郭ぼかし部５１２は、例えば、ぼかし度合情報Ｆが示す値の大きさに応じてガウシアンフィルタのフィルタサイズを変化させる。例えば、原変形領域画像Ｄ_Ｏにローパスフィルタを適用して得られる画像を変形領域画像Ｄとする場合、輪郭ぼかし部５１２は、例えば、ぼかし度合情報Ｆが示す値の大きさに応じてカットオフ周波数の大きさを変化させる。

＜本実施形態の特徴＞
映像Ｍを見た観察者は、色変調情報ＣＭに従った色および／または輝度変調情報ＬＭに従った輝度を持つ透明素材質感の物質が原画像Ｐと当該観察者との間の領域に配置されているかのように錯覚する。この映像Ｍの生成に複雑な画像処理技術は不要である。また、映像Ｍの色成分と輝度成分とを独立に操作できるため、透明素材質感の色と輝度とを互いに独立に操作できる。さらに本形態では、原変形領域の輪郭のぼかし量を操作することで、知覚される透明素材の物質の粘性も操作できる。

図９に変形領域の輪郭のぼかし量と、最終的に得られる映像Ｍから被験者が受ける主観評価と、の関係を例示する。図９の横軸は、変形領域の輪郭のぼかし量（ｄｅｇ）を表している。図９では、変形領域の輪郭のぼかし量が、ぼかすために利用した空間ガウシアンフィルタの標準偏差で表現されている。その量は、被験者の眼の位置からそのフィルタを見た際に、フィルタ中心座標と標準偏差分はなれた座標とでなす角度（ｄｅｇ）で表現されている。被験者からみて右方向へ変形領域が移動する条件、左方向へ変形領域が移動する条件、下方向へ変形領域が移動する条件、上方向へ変形領域が移動する条件、および各方向で得られたデータの平均値を、それぞれ「右方向」「左方向」「下方向」「上方向」「平均」と表現している。図９の縦軸は、被験者がそれぞれのぼかし量の変形領域に基づいて得られた映像Ｍから受ける材質の印象の主観評価値の平均値を表している。主観評価値は１から５までの５段階で表現され、１に近い主観評価値ほど被験者が固体らしいと知覚していることを表しており、５に近い主観評価値ほど被験者が液体らしいと知覚していることを表している。被験者は１０名であり、誤差棒を±１ＳＥＭとして表記している。図９に例示するように、変形領域の輪郭のぼかし量が大きいほど被験者は映像Ｍから液体らしい印象を受け、変形領域の輪郭のぼかし量が小さいほど被験者は映像Ｍから固体らしい印象を受ける。そのため、固体らしい質感を知覚させる映像Ｍを生成したいときに変形領域の輪郭のぼかし量を小さくし、液体らしい質感を知覚させる映像Ｍを生成するときに変形領域の輪郭のぼかし量を大きくすればよい。すなわち、固体の質感を表現するための映像Ｍを生成するときの変形領域の輪郭のぼかし量は、液体の質感を表現するための映像Ｍを生成するときの変形領域の輪郭のぼかし量よりも小さい。

［第５実施形態の変形例］
第５実施形態の変調領域決定部１２が前述した変調領域決定部２２または３２に置換されてもよい。

［その他の変形例等］
なお、本発明は上述の実施形態に限定されるものではない。例えば、図１０に例示する映像生成装置６のように、第１から第５実施形態およびそれらの変形例の映像生成装置から輝度変調部１６が省略されていてもよい。この場合には色変調のみが可能である。すなわち、この映像生成装置６は、複数の異なる変形地図のそれぞれを用い、原画像Ｐに由来する各画素を画素に対応する各要素により特定される移動方向および移動量だけ移動させて、複数の変調画像Ｐ１を得、複数の変調画像Ｐ１を輝度成分と色成分に分離して複数の輝度成分画像Ｌと色成分画像Ｃとを得、色変調情報ＣＭに従って複数の色成分画像Ｃの色を変調した複数の色変調画像Ｃ１を得、輝度成分画像Ｌと色変調画像Ｃ１とを統合して得られる複数の統合画像を時間的に並べることで構成される映像Ｍを得て出力する。

例えば、図１１に例示する映像生成装置７のように、第１から第５実施形態およびそれらの変形例の映像生成装置から色変調部１５が省略されていてもよい。この場合には輝度変調のみが可能である。すなわち、この映像生成装置７は、複数の異なる変形地図のそれぞれを用い、原画像Ｐに由来する各画素を画素に対応する各要素により特定される移動方向および移動量だけ移動させて、複数の変調画像Ｐ１を得、複数の変調画像Ｐ１を輝度成分と色成分に分離して複数の輝度成分画像Ｌと色成分画像Ｃとを得、輝度変調情報ＬＭに従って複数の輝度成分画像Ｌの輝度を変調した複数の輝度変調画像Ｌ１を得、輝度変調画像Ｌ１と色成分画像Ｃとを統合して得られる複数の統合画像を時間的に並べることで構成される映像Ｍを得る。

上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

上記の各装置は、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）およびＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。

上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。

このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。

コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されるのではなく、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。

１〜７ 映像生成装置

Claims (13)

1. 原画像に由来する各画素に対応する各要素を持ち、前記各要素が対応する前記各画素の移動方向および移動量を示し、低空間周波数成分を有する複数の異なる変形地図のそれぞれを用い、前記原画像に由来する各画素を前記画素に対応する前記各要素により特定される移動方向および移動量だけ移動させて、複数の変調画像を得る歪み変調部と、
   前記複数の変調画像を輝度成分と色成分に分離して複数の輝度成分画像と色成分画像とを得る分離部と、
   色変調情報に従って前記複数の色成分画像の色を変調した複数の色変調画像を得る変調部と、
   前記輝度成分画像と前記色変調画像とを統合して得られる複数の統合画像を時間的に並べることで構成される映像を得る統合部と、
   を有する映像生成装置。
2. 原画像に由来する各画素に対応する各要素を持ち、前記各要素が対応する前記各画素の移動方向および移動量を示し、低空間周波数成分を有する複数の異なる変形地図のそれぞれを用い、前記原画像に由来する各画素を前記画素に対応する前記各要素により特定される移動方向および移動量だけ移動させて、複数の変調画像を得る歪み変調部と、
   前記複数の変調画像を輝度成分と色成分に分離して複数の輝度成分画像と色成分画像とを得る分離部と、
   輝度変調情報に従って前記複数の輝度成分画像の輝度を変調した複数の輝度変調画像を得る変調部と、
   前記輝度変調画像と前記色成分画像とを統合して得られる複数の統合画像を時間的に並べることで構成される映像を得る統合部と、
   を有する映像生成装置。
3. 原画像に由来する各画素に対応する各要素を持ち、前記各要素が対応する前記各画素の移動方向および移動量を示し、低空間周波数成分を有する複数の異なる変形地図のそれぞれを用い、前記原画像に由来する各画素を前記画素に対応する前記各要素により特定される移動方向および移動量だけ移動させて、複数の変調画像を得る歪み変調部と、
   前記複数の変調画像を輝度成分と色成分に分離して複数の輝度成分画像と色成分画像とを得る分離部と、
   輝度変調情報に従って前記複数の輝度成分画像の輝度を変調した複数の輝度変調画像を得、色変調情報に従って前記複数の色成分画像の色を変調した複数の色変調画像を得る変調部と、
   前記輝度変調画像と前記色変調画像とを統合して得られる複数の統合画像を時間的に並べることで構成される映像を得る統合部と、
   を有する映像生成装置。
4. 請求項１の映像生成装置であって、
   前記変形地図は、変形領域に属する前記各画素の移動方向および移動量を示し、
   前記変調部は、前記複数の色成分画像の前記変形領域または前記変形領域および前記変形領域の近傍の色を変調して前記複数の色変調画像を得る、映像生成装置。
5. 請求項２の映像生成装置であって、
   前記変形地図は、変形領域に属する前記各画素の移動方向および移動量を示し、
   前記変調部は、前記複数の輝度成分画像の前記変形領域または前記変形領域および前記変形領域の近傍の輝度を変調して前記複数の輝度変調画像を得る、映像生成装置。
6. 請求項３の映像生成装置であって、
   前記変形地図は、変形領域に属する前記各画素の移動方向および移動量を示し、
   前記変調部は、前記複数の色成分画像の前記変形領域または前記変形領域および前記変形領域の近傍の色を変調して前記複数の色変調画像を得る、および、前記複数の輝度成分画像の前記変形領域または前記変形領域および前記変形領域の近傍の輝度を変調して前記複数の輝度変調画像を得る、映像生成装置。
7. 請求項４から６の何れかの映像生成装置であって、
   前記変形領域の近傍は、前記変形領域に対する視角が０．１２度以内の領域である、映像生成装置。
8. 請求項１から７の何れかの映像生成装置であって、
   前記変形地図を生成する変形地図生成部をさらに有し、
   前記複数の異なる変形地図は、複数の変形領域内の前記各画素の移動方向および移動量を示し、
   前記複数の変形領域は、低空間周波数成分を有する複数の異なる第２変形地図をそれぞれ用いて前記原画像に含まれた原変形領域の輪郭を変形させたものであり、前記複数の変形領域の輪郭は互いに異なり、
   前記変形地図生成部は、粘性変調情報に従って、前記第２変形地図の空間周波数成分の絶対値の大きさ、および前記第２変形地図の振幅、の少なくとも何れかを変調する、映像生成装置。
9. 請求項１から７の何れかの映像生成装置であって、
   前記変形地図を生成する変形地図生成部をさらに有し、
   前記複数の異なる変形地図は、複数の変形領域内の前記各画素の移動方向および移動量を示し、
   前記変形地図生成部は、粘性変調情報に従って、前記複数の変形領域の輪郭の鮮鋭度を変調する、映像生成装置。
10. 映像生成装置の映像生成方法であって、
    原画像に由来する各画素に対応する各要素を持ち、前記各要素が対応する前記各画素の移動方向および移動量を示し、低空間周波数成分を有する複数の異なる変形地図のそれぞれを用い、前記原画像に由来する各画素を前記画素に対応する前記各要素により特定される移動方向および移動量だけ移動させて、複数の変調画像を得る歪み変調ステップと、
    前記複数の変調画像を輝度成分と色成分に分離して複数の輝度成分画像と色成分画像とを得る分離ステップと、
    色変調情報に従って前記複数の色成分画像の色を変調した複数の色変調画像を得る変調ステップと、
    前記輝度成分画像と前記色変調画像とを統合して得られる複数の統合画像を時間的に並べることで構成される映像を得る統合ステップと、
    を有する映像生成方法。
11. 映像生成装置の映像生成方法であって、
    原画像に由来する各画素に対応する各要素を持ち、前記各要素が対応する前記各画素の移動方向および移動量を示し、低空間周波数成分を有する複数の異なる変形地図のそれぞれを用い、前記原画像に由来する各画素を前記画素に対応する前記各要素により特定される移動方向および移動量だけ移動させて、複数の変調画像を得る歪み変調ステップと、
    前記複数の変調画像を輝度成分と色成分に分離して複数の輝度成分画像と色成分画像とを得る分離ステップと、
    輝度変調情報に従って前記複数の輝度成分画像の輝度を変調した複数の輝度変調画像を得る変調ステップと、
    前記輝度変調画像と前記色成分画像とを統合して得られる複数の統合画像を時間的に並べることで構成される映像を得る統合ステップと、
    を有する映像生成方法。
12. 映像生成装置の映像生成方法であって、
    原画像に由来する各画素に対応する各要素を持ち、前記各要素が対応する前記各画素の移動方向および移動量を示し、低空間周波数成分を有する複数の異なる変形地図のそれぞれを用い、前記原画像に由来する各画素を前記画素に対応する前記各要素により特定される移動方向および移動量だけ移動させて、複数の変調画像を得る歪み変調ステップと、
    前記複数の変調画像を輝度成分と色成分に分離して複数の輝度成分画像と色成分画像とを得る分離ステップと、
    輝度変調情報に従って前記複数の輝度成分画像の輝度を変調した複数の輝度変調画像を得、色変調情報に従って前記複数の色成分画像の色を変調した複数の色変調画像を得る変調ステップと、
    前記輝度変調画像と前記色変調画像とを統合して得られる複数の統合画像を時間的に並べることで構成される映像を得る統合ステップと、
    を有する映像生成方法。
13. 請求項１から９の何れかの映像生成装置としてコンピュータを機能させるためのプログラム。