JP6615818B2 - 映像生成装置、映像生成方法、およびプログラム - Google Patents

Description

本発明は、視覚的な錯覚をもたらす技術に関し、特に透明な材質の質感を知覚させる技術に関する。

画像全体を変形させて、映像に透明な材質の質感を与える技術が提案されている（例えば、特許文献１等参照）。輪郭を持つ領域の画像を変形させて、映像に透明な材質の質感を与える技術も提案されている（例えば、特許文献２等参照）。

特開２０１５−００７８８３号公報 特開２０１６−１２６６４１号公報

本発明の目的は、所望の透明な材質の質感を知覚させるための新たな手法を提供することである。

低空間周波数成分を有する複数の異なる第１歪み分布をそれぞれ用いて原画像が変調された複数の変調画像を生成し、複数の変調画像を時間的に並べることで構成される映像を生成する。ただし、複数の異なる第１歪み分布は、原画像に含まれた輪郭の異なる複数の変形領域内の画像をそれぞれ変調するものであり、輪郭の異なる複数の変形領域は、低空間周波数成分を有する複数の異なる第２歪み分布をそれぞれ用いて原変形領域の輪郭を変形させたものである。これに加えて、または、これに代えて、複数の異なる第１歪み分布が、原画像に含まれた輪郭のぼけた変形領域内の画像を変調するものであってもよい。

これにより、所望の透明な材質の質感を知覚させることができる。

図１は実施形態の映像生成装置の機能構成を説明するためのブロック図である。 図２は実施形態の映像生成方法を説明するための図である。 図３Ａおよび図３Ｂは実施形態の映像生成方法を説明するための図である。 図４は実施形態の映像生成方法を説明するための図である。 図５は実施形態の映像生成方法を説明するための図である。 図６は輪郭の変形量と素材の印象との関係を例示した図である。 図７は実施形態の映像生成方法を説明するための図である。 図８は実施形態の映像生成方法を説明するための図である。 図９は実施形態の映像生成装置の機能構成を説明するためのブロック図である。 図１０は輪郭のぼかし量と素材の印象との関係を例示した図である。 図１１は実施形態の映像生成装置の機能構成を説明するためのブロック図である。

以下、本発明の実施形態を説明する。
［概要］
まず、実施形態の概要を説明する。各実施形態の「映像生成装置」は、「低空間周波数成分」を有する複数の異なる「第１歪み分布」をそれぞれ用いて「原画像」が変調された複数の「変調画像」を生成し、複数の「変調画像」を時間的に並べることで構成される「映像」を生成する。

第１，２実施形態では、複数の異なる「第１歪み分布」は、「原画像」に含まれた複数の「変形領域」内の画像をそれぞれ変調（変形）するものであり、複数の「変形領域」は、「低空間周波数成分」を有する複数の異なる「第２歪み分布」をそれぞれ用いて「原変形領域」の輪郭を変形させたものである。複数の「変形領域」の輪郭は互いに異なる。これにより、所望の透明な材質の質感を対象に与える「映像」を生成できる。

「第１歪み分布」および「第２歪み分布」は、変調しようとする画像の各領域（例えば、各画素）をどれだけ歪ませるかを表した値（歪み量）の二次元分布（歪み分布）である。「歪み分布」は「変形地図」とも呼ばれる。「歪み分布」の例は、変調しようとする画像の各画素の移動方向および移動量を表す値を、各画素の画素値とした二次元配列である。例えば、変調しようとする画像の画素の移動方向が「歪み分布」の画素の画素値の正負で表され、変調しようとする画像の画素の移動量が「歪み分布」の画素の画素値の絶対値で表される。変調しようとする画像の各画素の位置は、その画素の移動方向および移動量を表す「歪み分布」の画素の位置と同じである。画素の移動方向を画素値の正負で表す場合には一次元の方向しか特定できない。そのため、画像を二次元の任意の方向に変形させるためには、当該画像を水平方向に変調するための「歪み分布」と垂直方向に変調するための「歪み分布」とが必要となる。例えば、画像を水平方向に変調するための「第１歪み分布」、画像を垂直方向に変調するための「第１歪み分布」、画像を水平方向に変調するための「第２歪み分布」、および画像を垂直方向に変調するための「第２歪み分布」が必要となる。「歪み分布」の具体例は、画像ワープ（「イメージワープ」や「ピクセルワープ」ともいう）法によって画像を変形させるためのマップである。各実施形態の「映像生成装置」は、「第２歪み分布」を用いて「原変形領域」の輪郭を変形した「変形領域」を生成し、当該「変形領域」内の画像を変調するための「第１歪み分布」を生成し、当該「第１歪み分布」を用いて「原画像」の「変形領域」を変調して「変調画像」を生成する。「変形領域」および「変調画像」の生成には、例えば画像ワープ法を用いることができる。「低空間周波数成分」とは、絶対値が所定値以下の空間周波数成分を意味する。「低空間周波数成分」の例は、空間周波数の絶対値が３ｃｐｄ（cycles per degree）以下の成分である。例えば、「第１歪み分布」および「第２歪み分布」は主に「低空間周波数成分」を含む。「第１歪み分布」および／または「第２歪み分布」が「低空間周波数成分」のみを含んでもよいし、「低空間周波数成分」とそれ以外の空間周波数成分とを含んでいてもよい。「変形領域」は「原画像」の一部の空間領域を意味する。「変形領域」の輪郭は「変形領域」を定義する境界を意味する。すなわち、「変形領域」の輪郭とは、当該「変形領域」と当該「変形領域」以外の「原画像」の空間領域との境界を意味する。「原変形領域」の輪郭の形状の例は、円、楕円、矩形、多角形などである。

第１，２実施形態では、「第２歪み分布」の空間周波数成分および／または振幅を変化させることで、「映像」によって表現される質感を変化させることができる。そのため、「第２歪み分布」の空間周波数成分および／または振幅を操作することで、所望の質感を表現する「映像」を生成できる。

「第２歪み分布」が含む空間周波数成分の絶対値が大きいほど、粘性が低い物質の質感を表現する「映像」を生成できる。すなわち、「第１物質」の質感を表現するための「映像」を生成する場合の「第２歪み分布」は、「第２物質」の質感を表現するための「映像」を生成する場合の「第２歪み分布」よりも高い空間周波数成分を含み、「第１物質」の粘性は「第２物質」の粘性よりも低い。「第１物質」および「第２物質」の例は透明または半透明な物質である。例えば、「第１物質」の質感を表現するための「映像」を生成する場合の「第２歪み分布」が主に空間周波数の絶対値がα１以下の空間周波数成分を含み、「第２物質」の質感を表現するための「映像」を生成する場合の「第２歪み分布」が主に空間周波数の絶対値がα２以下（ただし、α１＞α２）の空間周波数成分を含む。例えば、「第１物質」の質感を表現するための「映像」を生成する場合の「第２歪み分布」が空間周波数の絶対値がα１以下の空間周波数成分のみからなり、「第２物質」の質感を表現するための「映像」を生成する場合の「第２歪み分布」が空間周波数の絶対値がα２以下（ただし、α１＞α２）の空間周波数成分のみからなる。そのため、「第２歪み分布」が含む空間周波数成分の絶対値の上限もしくは平均値、または、「第２歪み分布」が含む全空間周波数成分に占める空間周波数成分の割合を操作することで、生成された「映像」で表現される物質の質感を操作できる。このような操作を行うことで、「映像」で表現される透明または半透明の物質から受ける印象を、例えば、固体から液体に変化させたり、液体から気体に変化させたり、それらの逆向きに変化させたりできる。

「第２歪み分布」の振幅を変化させることで、「映像」によって表現される質感を変化させることができる。例えば、固体の質感を表現するための「映像」を生成する場合の「第２歪み分布」の平均振幅は、液体の質感を表現するための「映像」を生成する場合の「第２歪み分布」の平均振幅よりも小さい。例えば、固体の質感を表現するための「映像」を生成する場合の「第２歪み分布」の最大振幅は、液体の質感を表現するための「映像」を生成する場合の「第２歪み分布」の最大振幅よりも小さい。そのため、「第２歪み分布」の振幅の大きさを操作することで、「映像」で表現される透明または半透明の物質から受ける印象を、例えば、固体から液体に変化させたり、液体から気体に変化させたり、それらの逆向きに変化させたりできる。

「第１歪み分布」および「第２歪み分布」に主に含まれた空間周波数成分の絶対値の上限値が互いに同一または近似していることが望ましい。すなわち、「第１歪み分布」は主に空間周波数の絶対値が「第１値」以下の空間周波数成分を含み（例えば、第１歪み分布」は空間周波数の絶対値が「第１値」以下の空間周波数成分のみを含み）、「第２歪み分布」は主に空間周波数の絶対値が「第２値」以下の空間周波数成分を含み（例えば、第２歪み分布」は空間周波数の絶対値が「第２値」以下の空間周波数成分のみを含み）、「第１値」は「第２値」に等しいまたは近似していることが望ましい。「第１歪み分布」および「第２歪み分布」に主に含まれた空間周波数成分の絶対値の上限値が互いに大きく異なると、知覚させようとする所望の質感を知覚させることができなくなる可能性があるからである。

複数の「第２歪み分布」は時間的に順序付けられており、当該「第２歪み分布」それぞれに基づいて得られる複数の「第１歪み分布」も時間的に順序付けられており、当該「第１歪み分布」それぞれに基づいて得られる複数の「変調画像」も時間的に順序付けられている。「映像」は、この順序付けに沿って複数の「変調画像」を時間的に並べることで構成されるものである。ここで、時間的に隣接する「第２歪み分布」の変化が滑らかである（平滑である）ことが望ましい。これにより、自然な液体や気体の質感を知覚させることができるからである。なお「第２歪み分布」が上述の二次元配列である場合、時間的に隣接する「第２歪み分布」の変化が滑らかであるとは、時間的に隣接する「第２歪み分布」の間における、互いに同一の画素の画素値の変化が滑らかであることを意味する。すなわち、上記の時間的な順序付けに沿った複数の「第２歪み分布」の各画素値の時間変化が滑らかである。

第３，４実施形態では、複数の異なる「第１歪み分布」は、「原画像」に含まれた「変形領域」内の画像を変調するものであり、「変形領域」の輪郭がぼけている。第３実施形態では、複数の異なる「第１歪み分布」は、それぞれ、単一の「変形領域」内の画像を変調する。第４実施形態では、複数の異なる「第１歪み分布」が、それぞれ互いに異なる複数の「変形領域」内の画像を変調する。これにより、所望の透明な材質の質感を対象に与える「映像」を生成できる。

第３，４実施形態では、「変形領域」の輪郭のぼかし量が変化することで「映像」によって表現される質感が変化する。そのため、「変形領域」の輪郭のぼかし量を操作することで、所望の質感を表現する「映像」を生成できる。例えば、固体の質感を表現するための「映像」を生成するときの「変形領域」の輪郭のぼかし量は、液体の質感を表現するための「映像」を生成するときの「変形領域」の輪郭のぼかし量よりも小さい。そのため、「変形領域」の輪郭のぼかし量を操作することで、「映像」で表現される透明または半透明の物質から受ける印象を、例えば、固体から液体に変化させたり、液体から気体に変化させたり、それらの逆向きに変化させたりできる。

第２，４実施形態では、「映像」における「変形領域」の位置が時間変化する。言い換えると、「原画像」に対する「変形領域」の相対位置が時間変化する。すなわち、複数の「変調画像」に複数の「変形領域」がそれぞれ対応し、複数の「変形領域」の「原画像」に対する相対位置は互いに相違する。

第５実施形態では、「映像」から抽出した輝度運動成分を主に含む「第２映像」を生成する。「第２映像」は、例えば、「映像」から抽出した輝度運動成分のみを含む。このような「第２映像」を「原画像」に対応する「対象」に重畳することで、「対象」に所望の透明な材質の質感を与えることができる。

［第１実施形態］
第１実施形態では、原画像Ｐに含まれた変形領域内の画像を変形地図（第１歪み分布）に基づいて変形する。さらに本形態では、その変形領域を定義する輪郭自体も変形地図（第２歪み分布）に基づいて動的に変形させる。つまり本形態では、任意の原画像Ｐの画像が、輪郭が動的に変形する変形領域内でのみ変形される。原画像Ｐの画像情報の変形を「画像変形」と呼び、変形領域の輪郭の変形を「輪郭変形」と呼ぶ。画像処理は２段階に分かれている。まず、円や矩形などの輪郭を持つ原変形領域が設定され、その輪郭変形が行われて変形領域が得られる。次に、得られた変調領域内で画像変形が行われる。このプロセスが各画像フレームについて実行されることで映像（動画）Ｍが得られる。輪郭変形の変化量（例えば、変形領域の面積の変化量）や輪郭変形の速さ（例えば、変形領域の面積の変化の速さなど）などを制御することで、映像Ｍの質感（例えば、透明液体のような質感）を制御できる。以下、図面を用いて詳細に説明を行う。

＜構成＞
図１に例示するように、本形態の映像生成装置１は、入力部１０１、記憶部１０２、制御入力部１０３、原変形領域設定部１０４、水平変形地図生成部１０５，１０８、垂直変形地図生成部１０６，１１０、歪み変形部１０７，１１２、乗算部１０９，１１１，１１４、窓関数部１１３、および映像生成部１１５を有する。なお、歪み変形部１１２、窓関数部１１３、および乗算部１１４は、変調画像生成部に相当する。映像生成装置１は、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）およびＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される装置である。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。

＜処理＞
入力部１０１には、透明な材質の質感を与えようする任意の原画像Ｐが入力される。原画像Ｐは、複数個の画素値からなる二次元配列である。原画像Ｐは、カラー画像であってもよいし、グレースケール画像であってもよいし、２値画像（白黒画像）であってもよい。原画像Ｐがカラー画像である場合、各画素にＲＧＢの３チャネルの画素値が対応する。原画像Ｐがグレースケール画像または白黒画像である場合、各画素に１チャネルの画素値が対応する。原画像Ｐの例は、撮影または作成された静止画像や動画から抽出された静止画像などである。入力された原画像Ｐは記憶部１０２に格納される。原画像Ｐがカラー画像である場合、以下に述べる各処理がＲＧＢの３チャネルについてそれぞれ行われる。原画像Ｐがグレースケール画像または白黒画像である場合、以下に述べる各処理が１チャネルについて行われる。

≪原変形領域設定部１０４の処理≫
原変形領域設定部１０４は、原画像Ｐに含まれた原変調領域を特定する原変形領域画像Ａを出力する。原変形領域画像Ａは原画像Ｐと同じサイズの二次元配列である。原変形領域画像Ａの例は、原変調領域の画素値を１とし、その他の領域の画素値を０とした２値画像である。原変形領域画像Ａの他の例は、各画素値が所定の最小値（例えば０）から最大値（例えば１）までの範囲に属し、原変調領域の画素値の絶対値がその他の領域の画素値の絶対値よりも大きいグレースケール画像（強度画像）である。言い換えると、原変形領域画像Ａの他の例は、各画素値が所定の最小値（例えば０）から最大値（例えば１）までの範囲に属し、原変調領域の画素値の絶対値が所定値以上であり、その他の領域の画素値の絶対値が当該所定値未満であるグレースケール画像である。原変形領域設定部１０４は、予め設定された原変形領域画像Ａを出力してもよいし、制御入力部１０３に入力された制御情報Ｃに基づき、原変形領域画像Ａのサイズ、原変調領域、原変形領域画像Ａの種別（２値画像かグレースケール画像か）などを定め、原変形領域画像Ａを生成して出力してもよい。本形態では１つの原変形領域画像Ａが複数のフレームで共用される。そのため、原画像Ｐから１つの映像Ｍを得るために、少なくとも１つの原変形領域画像Ａが生成されればよい。ただし、１つの映像Ｍに対して複数個の原変形領域画像Ａが生成されてもかまわない。

≪水平変形地図生成部１０５および垂直変形地図生成部１０６の処理≫
水平変形地図生成部１０５および垂直変形地図生成部１０６は、複数のフレーム（例えば、図５の1stフレームから120thフレーム）のそれぞれについて、原変形領域画像Ａの原変調領域の輪郭を変形するための変形地図（第２歪み分布）Ｍ_ＯＨ，Ｍ_ＯＶを生成して出力する。複数生成される変形地図Ｍ_ＯＨは互いに異なり、複数生成される変形地図Ｍ_ＯＶは互いに異なる。複数のフレームのそれぞれで生成される変形地図Ｍ_ＯＨが互いに異なってもよいし、複数のフレームのそれぞれで生成される変形地図Ｍ_ＯＶが互いに異なってもよい。一部の複数のフレームでそれぞれ生成される変形地図Ｍ_ＯＨが互いに同一であってもよいし、一部の何れか複数のフレームでそれぞれ生成される変形地図Ｍ_ＯＶが互いに同一であってもよい。水平変形地図生成部１０５は、変形領域画像Ａの原変調領域の輪郭を水平方向に変形するための変形地図Ｍ_ＯＨを生成して出力する。垂直変形地図生成部１０６は、変形領域画像Ａの原変調領域の輪郭を垂直方向に変形するための変形地図Ｍ_ＯＶを生成して出力する。変形地図Ｍ_ＯＨ，Ｍ_ＯＶは変形領域画像Ａと同じサイズの二次元配列である。変形地図Ｍ_ＯＨは、変形領域画像Ａの各画素の水平な移動方向および移動量を表す値を各画素の画素値とする。変形地図Ｍ_ＯＶは、変形領域画像Ａの各画素の垂直な移動方向および移動量を表す値を各画素の画素値とする。例えば、変形地図Ｍ_ＯＨ，Ｍ_ＯＶの各画素値の正負は移動方向を表し、各画素値の絶対値は移動量（移動画素数）を表す。変形領域画像Ａの各画素の位置（ｘ，ｙ）は、その画素の移動方向および移動量を表す変形地図Ｍ_ＯＨ，Ｍ_ＯＶの画素の位置（ｘ，ｙ）と同じである。ただし、ｘはＸ座標の座標値を表し、ｙはＹ座標の座標値を表す。

変形地図Ｍ_ＯＨ，Ｍ_ＯＶは低空間周波数成分を有する。例えば、水平変形地図生成部１０５および垂直変形地図生成部１０６は、それぞれ、変形領域画像Ａと同じサイズの２次元ホワイトノイズや２次元ガウシアンノイズといった広帯域の信号を含むノイズ画像に低域通過型フィルタを適用し、変形地図Ｍ_ＯＨおよびＭ_ＯＶを得て出力する。これらのノイズ画像は各フレームでランダムに生成されたものであってもよいし、フレーム間で滑らかに変動するように生成されたもの（互いに隣接するフレームにおいて、同じ位置の画素の画素値が滑らかに変化するもの）であってもよい。後者の場合、得られた変形地図Ｍ_ＯＨ，Ｍ_ＯＶもフレーム間で滑らかに変動するものとなる。すなわち、変形地図Ｍ_ＯＨ，Ｍ_ＯＶ（第２歪み分布）は時間的に順序付けられており、後者の場合、時間的に隣接する変形地図Ｍ_ＯＨ，Ｍ_ＯＶの時間変化は滑らかになる。水平変形地図生成部１０５および垂直変形地図生成部１０６は、予め定められたノイズ画像を用いて変形地図Ｍ_ＯＨ，Ｍ_ＯＶを生成してもよいし、制御入力部１０３に入力された制御情報Ｃに基づいてノイズ画像を定め、当該ノイズ画像を用いて変形地図Ｍ_ＯＨ，Ｍ_ＯＶを生成してもよい。低域通過型フィルタは、絶対値がカットオフ周波数以下である低空間周波数成分を通過させ、カットオフ周波数を超える高空間周波数成分を抑圧する空間周波数操作用のフィルタである。低域通過型フィルタのカットオフ周波数は、予め定められていてもよいし、制御入力部１０３に入力された制御情報Ｃに基づいて定められてもよい。後者の場合、利用者は原画像Ｐに与えようとする液体印象のタイプに応じて低域通過型フィルタのカットオフ周波数を定め、それを特定する制御情報Ｃを制御入力部１０３に入力してもよい。

変形地図（第２歪み分布）Ｍ_ＯＨ，Ｍ_ＯＶの空間周波数成分および／または振幅が変化することで、最終的に得られる映像Ｍによって表現される質感が変化する。これに基づき、水平変形地図生成部１０５および垂直変形地図生成部１０６が、制御入力部１０３に入力された制御情報Ｃに基づいて、変形地図Ｍ_ＯＨ，Ｍ_ＯＶの空間周波数成分および／または振幅を変化させてもよい。

例えば、低域通過型フィルタのカットオフ周波数を特定する制御情報Ｃが制御入力部１０３に入力され、水平変形地図生成部１０５および垂直変形地図生成部１０６が、この制御情報Ｃに基づいて低域通過型フィルタのカットオフ周波数を設定してもよい。これにより、利用者が与えたい質感のタイプを指定することができる。利用者は、粘性の高い、ゆったりとした波面変動をもつ液体表現を原画像Ｐに与えたい場合、カットオフ周波数を低くし、粘性の低い、速い波面変動をもつ液体表現を原画像Ｐに与えたい場合には、カットオフ周波数を高くする。すなわち、第１物質の質感を表現するための映像Ｍを生成する場合の変形地図Ｍ_ＯＨ，Ｍ_ＯＶは、第２物質の質感を表現するための映像Ｍを生成する場合の変形地図Ｍ_ＯＨ，Ｍ_ＯＶよりも高い空間周波数成分を含み、第１物質の粘性は、第２物質の粘性よりも低い。

例えば、変形地図Ｍ_ＯＨ，Ｍ_ＯＶの振幅を特定する制御情報Ｃが制御入力部１０３に入力され、水平変形地図生成部１０５および垂直変形地図生成部１０６が、この制御情報Ｃに基づいて変形地図Ｍ_ＯＨ，Ｍ_ＯＶの振幅を設定してもよい。図６に、原変調領域の輪郭変形量と、最終的に得られる映像Ｍから被験者が受ける主観評価と、の関係を例示する。図６の横軸は、原変調領域の輪郭変形量（ｄｅｇ）を表している。図６では、原変調領域の輪郭変形量が、被験者の眼の位置から見た原変調領域の輪郭と変形後の変調領域の輪郭とでなす角度（ｄｅｇ）で表現されている。被験者からみた右方向へ変形領域が移動する条件、左方向へ変形領域が移動する条件、下方向へ変形領域が移動する条件、上方向へ変形領域が移動する条件、および各方向で得られたデータの平均値を、それぞれ「右方向」「左方向」「下方向」「上方向」「平均」と表現している。図６の縦軸は、被験者がそれぞれの輪郭変形量の変調領域に基づいて得られた映像Ｍから受ける材質の印象の主観評価値の平均値を表している。主観評価値は１から５までの５段階で表現され、１に近い主観評価値ほど被験者が固体らしいと知覚していることを表しており、５に近い主観評価値ほど被験者が液体らしいと知覚していることを表している。被験者は１０名であり、誤差棒を±１ＳＥＭとして表記している。図６に例示するように、輪郭変形量が大きいほど被験者は映像Ｍから液体らしい印象を受け、輪郭変形量が小さいほど被験者は映像Ｍから固体らしい印象を受ける。ここで、変形地図Ｍ_ＯＨ，Ｍ_ＯＶの振幅が大きいほど、変形地図Ｍ_ＯＨ，Ｍ_ＯＶによって変形される原変調領域の輪郭変形量も大きくなる。そのため、変形地図Ｍ_ＯＨ，Ｍ_ＯＶの振幅が小さいほど固体らしい質感を知覚させる映像Ｍを生成でき、変形地図Ｍ_ＯＨ，Ｍ_ＯＶの振幅が大きいほど液体らしい質感を知覚させる映像Ｍを生成できることが分かる。以上より、固体らしい質感を知覚させる映像Ｍを生成したいときに変形地図Ｍ_ＯＨ，Ｍ_ＯＶの振幅を小さくし、液体らしい質感を知覚させる映像Ｍを生成するときに変形地図Ｍ_ＯＨ，Ｍ_ＯＶの振幅を大きくすればよい。すなわち、固体の質感を表現するための映像Ｍを生成する場合の変形地図Ｍ_ＯＨ，Ｍ_ＯＶの平均振幅は、液体の質感を表現するための映像Ｍを生成する場合の変形地図Ｍ_ＯＨ，Ｍ_ＯＶの平均振幅よりも小さい、および／または、固体の質感を表現するための映像Ｍを生成する場合の変形地図Ｍ_ＯＨ，Ｍ_ＯＶの最大振幅は、液体の質感を表現するための映像Ｍを生成する場合の変形地図Ｍ_ＯＨ，Ｍ_ＯＶの最大振幅よりも小さい。

≪歪み変形部１０７の処理≫
歪み変形部１０７には、原変形領域画像Ａ、および、複数のフレームそれぞれの変形地図Ｍ_ＯＨ，Ｍ_ＯＶが入力される。歪み変形部１０７は、各フレーム（例えば、図５の1stフレームから120thフレームの各フレーム）について、変形地図Ｍ_ＯＨ，Ｍ_ＯＶに基づく画像ワープ法によって原変形領域画像Ａを変形し、それによって得られた変形領域画像Ｄを出力する（図２）。すなわち、歪み変形部１０７は、変形地図Ｍ_ＯＨに基づいて原変形領域画像Ａの各画素を水平方向に移動させ、変形地図Ｍ_ＯＶに基づいて原変形領域画像Ａの各画素を垂直方向に移動させ、それによって変形領域画像Ｄを得て出力する。上述のように各フレームで得られる変形領域画像Ｄは、原変形領域画像Ａの原変調領域の輪郭を変形地図Ｍ_ＯＨ，Ｍ_ＯＶを用いて変形した変調領域を含む。すなわち、このように得られる複数の変形領域は、低空間周波数成分を有する複数の異なる変形地図Ｍ_ＯＨ，Ｍ_ＯＶをそれぞれ用いて原変形領域の輪郭を変形させたものである。変形領域画像Ｄは原画像Ｐと同じサイズの二次元配列である。

≪水平変形地図生成部１０８および垂直変形地図生成部１１０の処理≫
水平変形地図生成部１０８および垂直変形地図生成部１１０は、複数のフレーム（例えば、図５の1stフレームから120thフレーム）のそれぞれについて、原画像Ｐを変調（変形）するための変形地図（第１歪み分布）Ｍ_Ｈ，Ｍ_Ｖを生成して出力する。複数生成される変形地図Ｍ_Ｈは互いに異なり、複数生成される変形地図Ｍ_Ｖは互いに異なる。複数のフレームのそれぞれで生成される変形地図Ｍ_Ｈは互いに異なってもよいし、複数のフレームのそれぞれで生成される変形地図Ｍ_Ｖは互いに異なってもよい。一部の複数のフレームでそれぞれ生成される変形地図Ｍ_Ｈが互いに同一であってもよいし、一部の何れか複数のフレームでそれぞれ生成される変形地図Ｍ_Ｖが互いに同一であってもよい。水平変形地図生成部１０８は、原画像Ｐを水平方向に変形するための変形地図Ｍ_Ｈを生成して出力する。垂直変形地図生成部１１０は、原画像Ｐを垂直方向に変形するための変形地図Ｍ_Ｖを生成して出力する。変形地図Ｍ_Ｈ，Ｍ_Ｖは原画像Ｐと同じサイズの二次元配列である。変形地図Ｍ_Ｈは、原画像Ｐの各画素の水平な移動方向および移動量を表す値を各画素の画素値とする。変形地図Ｍ_Ｖは、原画像Ｐの各画素の垂直な移動方向および移動量を表す値を各画素の画素値とする。例えば、変形地図Ｍ_Ｈ，Ｍ_Ｖの各画素値の正負は移動方向を表し、各画素値の絶対値は移動量（移動画素数）を表す。原画像Ｐの各画素の位置（ｘ，ｙ）は、その画素の移動方向および移動量を表す変形地図Ｍ_Ｈ，Ｍ_Ｖの画素の位置（ｘ，ｙ）と同じである。

変形地図Ｍ_ＯＨ，Ｍ_ＯＶと同様、変形地図Ｍ_Ｈ，Ｍ_Ｖも低空間周波数成分を有する。例えば、水平変形地図生成部１０８および垂直変形地図生成部１１０は、それぞれ、原画像Ｐと同じサイズの２次元ホワイトノイズや２次元ガウシアンノイズといった広帯域の信号を含むノイズ画像に低域通過型フィルタを適用し、変形地図Ｍ_ＨおよびＭ_Ｖを得て出力する。これらのノイズ画像は各フレームでランダムに生成されたものであってもよいし、フレーム間で滑らかに変動するように生成されたもの（互いに隣接するフレームにおいて、同じ位置の画素の画素値が滑らかに変化するもの）であってもよい。後者の場合、得られた変形地図Ｍ_Ｈ，Ｍ_Ｖもフレーム間で滑らかに変動するものとなる。水平変形地図生成部１０８および垂直変形地図生成部１１０は、予め定められたノイズ画像を用いて変形地図Ｍ_Ｈ，Ｍ_Ｖを生成してもよいし、制御入力部１０３に入力された制御情報Ｃに基づいてノイズ画像を定め、当該ノイズ画像を用いて変形地図Ｍ_Ｈ，Ｍ_Ｖを生成してもよい。変形地図Ｍ_Ｈ，Ｍ_Ｖを得るための低域通過型フィルタのカットオフ周波数も、予め定められていてもよいし、制御入力部１０３に入力された制御情報Ｃに基づいて定められてもよい。なお、変形地図Ｍ_Ｈ，Ｍ_Ｖを得るための低域通過型フィルタのカットオフ周波数は、前述した変形地図Ｍ_ＯＨ，Ｍ_ＯＶを得るための低域通過型フィルタのカットオフ周波数と同一または近似することが望ましい。すなわち、変形地図Ｍ_Ｈ，Ｍ_Ｖ（第１歪み分布）は主に空間周波数の絶対値が第１値以下の空間周波数成分を含み、変形地図Ｍ_Ｈ，Ｍ_Ｖ（第２歪み分布）は主に空間周波数の絶対値が第２値以下の空間周波数成分を含み、第１値は第２値に等しいまたは近似することが望ましい。これらが大きく異なると、映像Ｍによって知覚させようとする所望の質感を知覚させることができなくなる可能性があるからである。ただし、知覚させようとする所望の質感を知覚させることができるのであれば、これらが異なっていてもかまわない。

≪乗算部１０９，１１１の処理≫
乗算部１０９は、各フレーム（例えば、図５の1stフレームから120thフレームの各フレーム）の変形領域画像Ｄおよび変形地図Ｍ_Ｈを入力とし、各フレームについて、以下のように変形領域画像Ｄで変形地図Ｍ_Ｈを重み付けした変形地図Ｍ_ＷＨを生成して出力する（図３Ａ）。
Ｍ_ＷＨ＝Ｍ_Ｈ×Ｄ （１）
すなわち、変形地図Ｍ_Ｈの各画素（ｘ，ｙ）の画素値と変形領域画像Ｄの各画素（ｘ，ｙ）の画素値とを乗じて得られる値を変形地図Ｍ_ＷＨの各画素（ｘ，ｙ）の画素値とする。

乗算部１１１は、各フレーム（例えば、図５の1stフレームから120thフレームの各フレーム）の変形領域画像Ｄおよび変形地図Ｍ_Ｖを入力とし、各フレームについて、以下のように変形領域画像Ｄで変形地図Ｍ_Ｖを重み付けした変形地図Ｍ_ＷＶを生成して出力する（図３Ｂ）。
Ｍ_ＷＶ＝Ｍ_Ｖ×Ｄ （２）
すなわち、変形地図Ｍ_Ｖの各画素（ｘ，ｙ）の画素値と変形領域画像Ｄの各画素（ｘ，ｙ）の画素値とを乗じて得られる値を変形地図Ｍ_ＷＶの各画素（ｘ，ｙ）の画素値とする。

≪歪み変形部１１２，窓関数部１１３，乗算部１１４の処理≫
歪み変形部１１２，窓関数部１１３，乗算部１１４は、複数の異なる変形地図Ｍ_ＷＨ，Ｍ_ＷＶをそれぞれ用いて原画像Ｐが変調された複数の変調画像Ｐ_Ｍを生成して出力する。歪み変形部１１２には、記憶部１０２から読み出した原画像Ｐ、および、複数のフレームそれぞれの変形地図Ｍ_ＷＨ，Ｍ_ＷＶが入力される。歪み変形部１１２は、各フレームについて、変形地図Ｍ_ＷＨ，Ｍ_ＷＶに基づく画像ワープ法によって原画像Ｐを変形し、それによって得られた変調画像Ｐ_Ｍを出力する。すなわち、歪み変形部１１２は、変形地図Ｍ_ＷＨに基づいて原画像Ｐの各画素を水平方向に移動させ、変形地図Ｍ_ＷＶに基づいて原画像Ｐの各画素を垂直方向に移動させ、それによって変調画像Ｐ_Ｍを得て出力する。各フレームについて歪み変形部１１２から出力された変調画像Ｐ_Ｍ、および窓関数部１１３から出力された窓関数Ｗが乗算部１１４に入力される。窓関数Ｗは変調画像Ｐ_Ｍの外縁（辺縁、外枠）付近の画像を隠すものである。歪み変形部１１２での変調によって変調画像Ｐ_Ｍの外縁が変形した場合、変調画像Ｐ_Ｍ自体の形状が歪んでしまう。窓関数Ｗはこのような変調画像Ｐ_Ｍの外縁の歪みを隠すために用いられる。窓関数Ｗは、例えば、変調画像Ｐ_Ｍの外縁付近の座標に対して０となり、それ以外の座標に対して１となる関数である。窓関数Ｗの０から１への変化が滑らかであってもよい。乗算部１１４は、各フレームについて、以下のように変調画像Ｐ_Ｍに窓関数Ｗを乗じ、変調画像Ｐ_Ｍ’を得て出力する。
Ｐ_Ｍ’＝Ｗ×Ｐ_Ｍ
すなわち、乗算部１１４は、変調画像Ｐ_Ｍの各画素値にその位置に対応する窓関数Ｗの値を乗じた値をその位置の画素値とした変調画像Ｐ_Ｍ’を得て出力する（図４）。

≪映像生成部１１５の処理≫
映像生成部１１５は、各フレーム（例えば、図５の1stフレームから120thフレームの各フレーム）について得られた変調画像Ｐ_Ｍ’を入力とし、これら複数のフレームで得られた複数の変調画像Ｐ_Ｍ’を時間的に並べることで構成される映像Ｍを出力する。映像生成部１１５は、映像Ｍが静止画の系列ではなく動画像として認識可能なように各フレームの変調画像Ｐ_Ｍ’の提示時間を調整すればよい。この範囲であればフレームレートは固定であっても可変であってもよい。映像Ｍを利用者に提示することにより、この利用者に所望の透明な材質の質感を知覚させることができる。

［第２実施形態］
変形領域画像Ｄ中の変調領域の位置がフレーム間で変化してもよい。例えば、変調領域の位置がフレーム間で移動してもよい。これにより、フレーム間で移動する個体や液体の透明な材質の質感を任意の原画像Ｐに付与できる。以下では、第１実施形態との相違点を中心に説明し、既に説明した事項については同じ参照番号を引用して説明を簡略化する場合がある。

＜構成＞
図１に例示するように、本形態の映像生成装置２は、入力部１０１、記憶部１０２、制御入力部１０３、原変形領域設定部２０４、水平変形地図生成部１０５，１０８、垂直変形地図生成部１０６，１１０、歪み変形部２０７，１１２、乗算部１０９，１１１，１１４、窓関数部１１３、および映像生成部１１５を有する。映像生成装置２は、例えば、前述のコンピュータが所定のプログラムを実行することで構成される装置である。

＜処理＞
第２実施形態の第１実施形態からの相違点は、原変形領域設定部１０４の処理が以下の原変形領域設定部２０４の処理に置換され、歪み変形部１０７の処理が以下の歪み変形部２０７の処理に置換される点である。その他は第１実施形態で説明した通りである。以下では、第２実施形態の第１実施形態からの相違点である原変形領域設定部２０４の処理および変形部２０７の処理のみを説明する。

≪原変形領域設定部２０４の処理≫
原変形領域設定部２０４は、複数のフレーム（例えば、図７の1stフレームから120thフレーム）のそれぞれについて、原画像Ｐに含まれた原変調領域を特定する原変形領域画像Ａを出力する。少なくとも一部のフレームの間で原変形領域画像Ａ中の原変形領域の位置が変化する。すなわち、複数のフレームについて出力される複数の原変形領域画像Ａ中の原変形領域の位置が互いに相違する。図７の例では、1stフレームから120thフレームに進むにしたがって、原変形領域画像Ａ中の原変形領域の位置が下から上に向かって移動する。複数のフレームでの原変形領域の位置は予め定められていてもよいし、制御入力部１０３に入力された制御情報Ｃに基づいて定められてもよい。

≪歪み変形部２０７の処理≫
歪み変形部２０７には、複数のフレーム（例えば、図７の1stフレームから120thフレーム）それぞれの原変形領域画像Ａ、および、複数のフレーム（例えば、図７の1stフレームから120thフレーム）それぞれの変形地図Ｍ_ＯＨ，Ｍ_ＯＶが入力される。歪み変形部２０７は、各フレーム（例えば、図７の1stフレームから120thフレームの各フレーム）について、変形地図Ｍ_ＯＨ，Ｍ_ＯＶに基づく画像ワープ法によって原変形領域画像Ａを変形し、それによって得られた変形領域画像Ｄを出力する。このように各フレームで得られる変形領域画像Ｄは、各フレームの原変形領域画像Ａの原変調領域の輪郭を変形地図Ｍ_ＯＨ，Ｍ_ＯＶを用いて変形した変調領域を含む。各フレームの原変形領域画像Ａの原変調領域は移動するため、その輪郭を変形した各フレームの変調領域も移動する。図７に例示するように、1stフレームから120thフレームに進むにしたがって原変形領域画像Ａ中の原変形領域の位置が下から上に向かって移動する場合、変調領域の位置も1stフレームから120thフレームに進むにしたがって下から上に向かって移動する。

その他は第１実施形態と同じである。本形態では、複数の変調画像に複数の変形領域がそれぞれ対応し、複数の変形領域の原画像Ｐに対する相対位置が互いに相違する。これにより、フレーム間で移動する個体や液体の透明な材質の質感を原画像Ｐに与えることができる。

［第３実施形態］
第１および２実施形態では、変形領域の輪郭を変形し、所望の透明な材質の質感を知覚させた。第３実施形態では、これに代えて変形領域の輪郭をぼかす（輪郭の鮮鋭度を下げる）ことで、所望の透明な材質の質感を知覚させる。

＜構成＞
図９に例示するように、本形態の映像生成装置３は、入力部１０１、記憶部１０２、制御入力部１０３、原変形領域設定部１０４、輪郭ぼかし部３０７、水平変形地図生成部１０８、垂直変形地図生成部１１０、歪み変形部１１２、乗算部１０９，１１１，１１４、窓関数部１１３、および映像生成部１１５を有する。映像生成装置３は、例えば、前述のコンピュータが所定のプログラムを実行することで構成される装置である。

＜処理＞
第３実施形態の第１実施形態からの相違点は、水平変形地図生成部１０５、垂直変形地図生成部１０６、および歪み変形部１０７の処理に代えて、輪郭ぼかし部３０７の処理が行われる点である。その他は第１実施形態で説明した通りである。以下では、第３実施形態の第１実施形態からの相違点である輪郭ぼかし部３０７の処理のみを説明する。

≪輪郭ぼかし部３０７の処理≫
輪郭ぼかし部３０７には、原変形領域設定部１０４から出力された原変形領域画像Ａが入力される。輪郭ぼかし部３０７は、原変形領域画像Ａ中の原変調領域の輪郭をぼかした（原変調領域の輪郭の鮮鋭度を下げた）変形領域を含む変形領域画像Ｄを得て出力する。変形領域画像Ｄは原画像Ｐと同じサイズの二次元配列である。例えば、輪郭ぼかし部３０７は、原変形領域画像Ａにガウシアンフィルタを適用して得られる画像を変形領域画像Ｄとして出力してもよいし、原変形領域画像Ａに低域通過型フィルタを適用して得られる画像を変形領域画像Ｄとして出力してもよい。

変形領域の輪郭のぼかし量が変化することで映像Ｍによって表現される質感が変化する。これに基づき、輪郭ぼかし部３０７が、制御入力部１０３に入力された制御情報Ｃに基づいて、変形領域の輪郭のぼかし量を変化させてもよい。図１０に変形領域の輪郭のぼかし量と、最終的に得られる映像Ｍから被験者が受ける主観評価と、の関係を例示する。図１０の横軸は、変調領域の輪郭のぼかし量（ｄｅｇ）を表している。図１０では、変形領域の輪郭のぼかし量が、ぼかすために利用した空間ガウシアンフィルタの標準偏差で表現されている。その量は、被験者の眼の位置からそのフィルタを見た際に、フィルタ中心座標と標準偏差分はなれた座標とでなす角度（ｄｅｇ）で表現されている。被験者からみて右方向へ変形領域が移動する条件、左方向へ変形領域が移動する条件、下方向へ変形領域が移動する条件、上方向へ変形領域が移動する条件、および各方向で得られたデータの平均値を、それぞれ「右方向」「左方向」「下方向」「上方向」「平均」と表現している。図１０の縦軸は、被験者がそれぞれのぼかし量の変調領域に基づいて得られた映像Ｍから受ける材質の印象の主観評価値の平均値を表している。主観評価値は１から５までの５段階で表現され、１に近い主観評価値ほど被験者が固体らしいと知覚していることを表しており、５に近い主観評価値ほど被験者が液体らしいと知覚していることを表している。被験者は１０名であり、誤差棒を±１ＳＥＭとして表記している。図１０に例示するように、変形領域の輪郭のぼかし量が大きいほど被験者は映像Ｍから液体らしい印象を受け、変形領域の輪郭のぼかし量が小さいほど被験者は映像Ｍから固体らしい印象を受ける。そのため、固体らしい質感を知覚させる映像Ｍを生成したいときに変形領域の輪郭のぼかし量を小さくし、液体らしい質感を知覚させる映像Ｍを生成するときに変形領域の輪郭のぼかし量を大きくすればよい。すなわち、固体の質感を表現するための映像Ｍを生成するときの変形領域の輪郭のぼかし量は、液体の質感を表現するための映像Ｍを生成するときの変形領域の輪郭のぼかし量よりも小さい。

その他は第１実施形態と同じである。本形態のように生成された映像Ｍを利用者に提示することにより、この利用者に所望の透明な材質の質感を知覚させることができる。

［第４実施形態］
第２実施形態と同様、第３実施形態において変形領域画像Ｄ中の変調領域の位置がフレーム間で変化してもよい。例えば、変調領域の位置がフレーム間で移動してもよい。これにより、フレーム間で移動する個体や液体の透明な材質の質感を任意の原画像Ｐに付与できる。

＜構成＞
図９に例示するように、本形態の映像生成装置４は、入力部１０１、記憶部１０２、制御入力部１０３、原変形領域設定部２０４、輪郭ぼかし部４０７、水平変形地図生成部１０８、垂直変形地図生成部１１０、歪み変形部１１２、乗算部１０９，１１１，１１４、窓関数部１１３、および映像生成部１１５を有する。映像生成装置４は、例えば、前述のコンピュータが所定のプログラムを実行することで構成される装置である。

＜処理＞
第４実施形態の第３実施形態からの相違点は、原変形領域設定部１０４の処理が原変形領域設定部２０４の処理に置換され、輪郭ぼかし部３０７の処理が輪郭ぼかし部４０７の処理に置換される点である。その他は第３実施形態で説明した通りである。第４実施形態の第３実施形態からの相違点のうち、原変形領域設定部２０４の処理は第２実施形態で既に説明したため、以下では、輪郭ぼかし部４０７の処理のみを説明する。

≪輪郭ぼかし部４０７の処理≫
輪郭ぼかし部４０７には、原変形領域設定部２０４から出力された複数のフレームそれぞれの原変形領域画像Ａが入力される。輪郭ぼかし部３０７は、各フレームの原変形領域画像Ａ中の原変調領域の輪郭をぼかした変形領域を含む変形領域画像Ｄを得て出力する。

その他は第３実施形態と同じである。本形態では、複数の変調画像に複数の変形領域がそれぞれ対応し、複数の変形領域の原画像Ｐに対する相対位置が互いに相違する。これにより、フレーム間で移動する個体や液体の透明な材質の質感を原画像Ｐに与えることができる。

［第５実施形態］
第１から第４実施形態の映像生成装置１から４は、所望の質感を原画像Ｐに与えた映像Ｍを生成して出力した。利用者はこの映像Ｍを見ることで与えられた材質の質感を知覚することができた。一方、映像Ｍから輝度運動成分を抽出し、この輝度運動成分を主に含む映像Ｍ_ＹＭ（第２映像）を生成してもよい。映像Ｍ_ＹＭの例は当該輝度運動成分のみからなる映像である。このような映像Ｍ_ＹＭを原画像Ｐに対応する対象に重畳してもよい。なお、原画像Ｐに対応する対象とは、原画像Ｐによって表された対象（例えば、被写体）を意味する。映像Ｍ_ＹＭが重畳された対象を見た利用者は、対象に所望の透明な材質の質感が与えられたように知覚する。

＜構成＞
図１１に例示するように、本形態の映像生成装置５は、輝度画像抽出部５０１、映像生成装置１、差分抽出部５０２、平均輝度加算部５０３、および重畳映像生成部５０４（第２映像生成部）を有する。輝度画像抽出部５０１はカメラなどの撮影装置５２０に接続され、重畳映像生成部５０４は投影装置などの重畳装置５３０に接続されている。

＜処理＞
撮影装置５２０は、被写体である対象５１０の画像Ｐ_Ｏを撮影し、撮影された画像Ｐ_Ｏを輝度画像抽出部５０１に送る。輝度画像抽出部５０１は、画像Ｐ_Ｏから輝度成分のみを抽出し、画像Ｐ_Ｏの輝度成分のみからなる輝度画像を原画像Ｐとして得て出力する。なお、原画像Ｐと画像Ｐ_Ｏとは同一サイズであってもよいし、同一サイズでなくてもよい。映像生成装置１は、原画像Ｐ（必要であれば、さらに制御情報Ｃ）を入力とし、前述のように映像Ｍを得て出力する。差分抽出部５０２は、映像Ｍを構成する複数の変調画像Ｐ_Ｍ’のそれぞれと原画像Ｐとの差分画像Ｐ_Ｄを生成し、生成した複数の差分画像Ｐ_Ｄを出力する。なお、差分画像Ｐ_Ｄのサイズと原画像Ｐとのサイズは同一であり、差分画像Ｐ_Ｄの各画素（ｘ，ｙ）の画素値は、各変調画像Ｐ_Ｍ’の各画素（ｘ，ｙ）の画素値と原画像Ｐの各画素（ｘ，ｙ）の画素値との差分（例えば、各変調画像Ｐ_Ｍ’の各画素（ｘ，ｙ）の画素値から原画像Ｐの各画素（ｘ，ｙ）の画素値を減じた値、もしくはその絶対値、または、原画像Ｐの各画素（ｘ，ｙ）の画素値から各変調画像Ｐ_Ｍ’の各画素（ｘ，ｙ）の画素値を減じた値）である。平均輝度加算部５０３は、複数の差分画像Ｐ_Ｄおよび画像Ｐ_Ｏの輝度成分のみからなる原画像Ｐを入力とし、複数の差分画像Ｐ_Ｄのそれぞれに、原画像Ｐの平均輝度を加算して複数の差分画像Ｐ’_Ｄを得て出力する。差分画像Ｐ’_Ｄの各画素（ｘ，ｙ）の画素値は、各差分画像Ｐ_Ｄの各画素（ｘ，ｙ）の画素値に原画像Ｐの平均輝度を加算したものである。重畳映像生成部５０４は、複数の差分画像Ｐ’_Ｄを入力とし、これら複数の差分画像Ｐ’_Ｄを時間的に並べることで構成される映像Ｍ_ＹＭ（第２映像）を生成して出力する。映像Ｍ_ＹＭは映像Ｍから抽出した輝度運動成分を主に含む。重畳映像生成部５０４は、複数の差分画像Ｐ’_Ｄが静止画の系列ではなく動画像として認識可能なように各フレームの差分画像Ｐ’_Ｄの提示時間を調整すればよい。この範囲であればフレームレートは固定であっても可変であってもよい。映像Ｍ_ＹＭは重畳装置５３０に送られる。重畳装置５３０は、映像Ｍ_ＹＭを対象５１０に重畳する。重畳装置５３０は、例えば、映像Ｍ_ＹＭを対象５１０に投影することで、映像Ｍ_ＹＭを対象５１０に重畳する。映像Ｍ_ＹＭが重畳された対象を見た利用者は、対象５１０に所望の透明な材質の質感が与えられたように知覚する。

［第５実施形態の変形例］
映像生成装置５が映像生成装置１に代えて映像生成装置２から４の何れかを備え、原画像Ｐから映像Ｍが生成されてもよい。また、映像Ｍ_ＹＭを対象５１０に重畳する手段に限定はない。例えば、利用者と対象５１０との間に配置された透明ディスプレイに映像Ｍ_ＹＭを表示し、利用者が、透明ディスプレイに表示された映像Ｍ_ＹＭが対象５１０に重畳された様子を見てもよい。このようにしても、同じ効果が得られる。

［その他の変形例等］
なお、本発明は上述の実施の形態に限定されるものではない。例えば、窓関数部１１３および乗算部１１４が省略され、歪み変形部１１２で得られた複数の変調画像Ｐ_Ｍを時間的に並べることで映像Ｍを構成してもよい。

上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。装置を構成する少なくとも一部の機能部がネットワーク上に分散配置されていてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。

このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。

上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。

１〜５ 映像生成装置

Claims (14)

1. 低空間周波数成分を有する複数の異なる第１歪み分布をそれぞれ用いて原画像が変調された複数の変調画像を生成する変調画像生成部と、
   前記複数の変調画像を時間的に並べることで構成される映像を生成する映像生成部と、を有し、
   前記複数の異なる第１歪み分布は、前記原画像に含まれた複数の変形領域内の画像をそれぞれ変調するものであり、
   前記複数の変形領域は、低空間周波数成分を有する複数の異なる第２歪み分布をそれぞれ用いて原変形領域の輪郭を変形させたものであり、前記複数の変形領域の輪郭は互いに異なる、映像生成装置。
2. 請求項１の映像生成装置であって、
   前記第２歪み分布の空間周波数成分および／または振幅が変化することで前記映像によって表現される質感が変化する、映像生成装置。
3. 請求項１または２の映像生成装置であって、
   第１物質の質感を表現するための前記映像を生成する場合の前記第２歪み分布は、第２物質の質感を表現するための前記映像を生成する場合の前記第２歪み分布よりも高い空間周波数成分を含み、
   前記第１物質の粘性は、前記第２物質の粘性よりも低い、映像生成装置。
4. 請求項１から３のいずれかの映像生成装置であって、
   固体の質感を表現するための前記映像を生成する場合の前記第２歪み分布の平均振幅は、液体の質感を表現するための前記映像を生成する場合の前記第２歪み分布の平均振幅よりも小さい、および／または、
   固体の質感を表現するための前記映像を生成する場合の前記第２歪み分布の最大振幅は、液体の質感を表現するための前記映像を生成する場合の前記第２歪み分布の最大振幅よりも小さい、映像生成装置。
5. 請求項１から４のいずれかの映像生成装置であって、
   前記第１歪み分布は主に空間周波数の絶対値が第１値以下の空間周波数成分を含み、
   前記第２歪み分布は主に空間周波数の絶対値が第２値以下の空間周波数成分を含み、
   前記第１値は前記第２値に等しいまたは近似する、映像生成装置。
6. 請求項１から５のいずれかの映像生成装置であって、
   前記第２歪み分布は時間的に順序付けられており、
   時間的に隣接する前記第２歪み分布の変化は滑らかである、映像生成装置。
7. 原画像に含まれた原変調領域の輪郭の鮮鋭度を下げた変調領域を得る輪郭ぼかし部と、
   低空間周波数成分を有する複数の異なる第１歪み分布をそれぞれ用いて前記原画像が変調された複数の変調画像を生成する変調画像生成部と、
   前記複数の変調画像を時間的に並べることで構成される映像を生成する映像生成部と、を有し、
   前記複数の異なる第１歪み分布は、前記原画像に含まれた変形領域内の画像を変調するものであり、前記輪郭ぼかし部の処理により前記変形領域の輪郭がぼけている、映像生成装置。
8. 請求項７の映像生成装置であって、
   前記変形領域の輪郭の鮮鋭度を下げる量を表す前記変形領域の輪郭のぼかし量が変化することで前記映像によって表現される質感が変化する、映像生成装置。
9. 請求項７または８の映像生成装置であって、
   固体の質感を表現するための前記映像を生成するときの前記変形領域の輪郭の鮮鋭度を下げる量を表す前記変形領域の輪郭のぼかし量は、液体の質感を表現するための前記映像を生成するときの前記変形領域の輪郭の鮮鋭度を下げる量を表す前記変形領域の輪郭のぼかし量よりも小さい、映像生成装置。
10. 請求項１から９のいずれかの映像生成装置であって、
    前記複数の変調画像に複数の変形領域がそれぞれ対応し、
    複数の前記変形領域の前記原画像に対する相対位置は互いに相違する、映像生成装置。
11. 請求項１から１０のいずれかの映像生成装置であって、
    前記映像から抽出した輝度運動成分を主に含む第２映像を生成する第２映像生成部をさらに有する、映像生成装置。
12. 低空間周波数成分を有する複数の異なる第１歪み分布をそれぞれ用いて原画像が変調された複数の変調画像を生成する変調画像生成ステップと、
    前記複数の変調画像を時間的に並べることで構成される映像を生成する映像生成ステップと、を有し、
    前記複数の異なる第１歪み分布は、前記原画像に含まれた複数の変形領域内の画像をそれぞれ変調するものであり、
    前記複数の変形領域は、低空間周波数成分を有する複数の異なる第２歪み分布をそれぞれ用いて原変形領域の輪郭を変形させたものであり、前記複数の変形領域の輪郭は互いに異なる、映像生成方法。
13. 原画像に含まれた原変調領域の輪郭の鮮鋭度を下げた変調領域を得る輪郭ぼかしステップと、
    低空間周波数成分を有する複数の異なる第１歪み分布をそれぞれ用いて前記原画像が変調された複数の変調画像を生成する変調画像生成ステップと、
    前記複数の変調画像を時間的に並べることで構成される映像を生成する映像生成ステップと、を有し、
    前記複数の異なる第１歪み分布は、前記原画像に含まれた変形領域内の画像を変調するものであり、前記輪郭ぼかしステップでの処理により前記変形領域の輪郭がぼけている、映像生成方法。
14. 請求項１から１１のいずれかの映像生成装置としてコンピュータを機能させるためのプログラム。