JP6305942B2 - 画像質感操作方法、画像質感操作装置、およびプログラム - Google Patents

Description

本発明は、画像の質感を操作する技術に関する。

空気層側からそれと屈折率の異なる透明層の向こう側にあるシーンを見ると、そのシーンの画像情報は透明層表面での屈折によって変形して見える。従来の研究により、人間は低空間周波数の変形情報によって透明層（例えば透明液体）の質感（以下「透明層質感」）を知覚することが知られている（例えば、非特許文献１参照）。このような変形情報を持つように画像を人工的に変形させることで、透明層質感を錯覚的に知覚させることもできる（例えば、非特許文献２参照）。

Kawabe, T., Maruya, K., Nishida, S., "Seeing transparent liquids from dynamic image distortion," Abstract for poster presentation at the 12nd Vision Science Society, Journal of Vision, 13(9):208, 2013. 河邉隆寛，"動きから素材を見抜く〜映像中の動き成分に基づく液体の知覚〜"，ＮＴＴコミュニケーション科学基礎研究所，オープンハウス２０１４，[平成２６年１１月６日検索]，インターネット＜http://www.kecl.ntt.co.jp/openhouse/2014/exhibition/26/poster.pdf＞

しかしながら、非特許文献２に記載された技術では変形情報を前もって定めておかなければならず、透明層質感を与える画像領域を動的に操作できない。

本発明の課題は、透明層質感を与える画像領域を動的に操作することである。

第１画像領域の動き情報が表す動きに基づいて第１画像領域に対応する形状の第２画像領域および第２画像領域の近傍を歪ませる。

これにより、透明層質感を与える画像領域を動的に操作できる。

図１は実施形態の構成を例示するためのブロック図である。 図２Ａから図２Ｃは変形部の処理を例示するための図である。 図３Ａから図３Ｃは変形部の処理を例示するための図である。 図４Ａおよび図４Ｂは変形部の処理を例示するための図である。 図５Ａおよび図５Ｂは変形された画像を例示した図である。 図６Ａおよび図６Ｂは変形された画像を例示した図である。

以下、本発明の実施形態を説明する。
［概要］
各実施形態では、第１画像領域の動き情報が表す動きに基づいて第１画像領域に対応する形状の第２画像領域および第２画像領域の近傍を歪ませる。これにより、透明層質感（例えば、透明液体の質感）を与える画像領域を動的に操作できる。この手法では、透明層質感を与えるための変形情報を前もって定めておく必要がない。さらに画像の背景領域を事前に検出しておく必要もなく、リアルタイムで背景領域が変動する場合でも効果が得られる。

「第１画像領域」は、リアルタイムに撮影または配信される動画像の「動きを持つ画像領域」であってもよいし、事前に得られた動画像の「動きを持つ画像領域」であってもよいし、仮想的な「動きを持つ画像領域」であってもよい。「動きを持つ画像領域」とは、連続するフレーム間で空間変化が生じる画像領域を意味する。「第１画像領域の動き情報」は、「第１画像領域」の動きを表す情報であり、例えば「第１画像領域」に含まれる各画素（ピクセル）の動きの大きさおよび向きを表す情報である。例えば「第１画像領域の動き情報」は、「第１画像領域」に含まれる各画素の移動速度成分（単位時間当たりの各画素の移動量）を表すパラメータ（例えばベクトル）の集合であり、その例はオプティカルフロー（フレーム間の画素の動きの方向と量）である。「第１画像領域の動き情報」は、動画像から計算によって得られてもよいし、仮想的な画像領域のシミュレーションによって得られてもよい。通常、「動き情報」はすべての画像領域について得られ、それに基づいて「第１画像領域」（動きを持つ画像領域）およびそれに対応する「第２画像領域」が決まる。

「第２画像領域」は画像の領域である。「画像」の概念は「動画像」および「静止画像」を含む。「第１画像領域」および「第２画像領域」は、同一の動画像に含まれるフレームの画像領域であってもよいし、互いに異なる動画像に含まれるフレームの画像領域であってもよい。あるいは、「第１画像領域」が動画像に含まれるフレームの画像領域であり、「第２画像領域」が別の静止画像に含まれる画像領域であってもよい。「第１画像領域」が仮想的な画像領域である場合には、「第２画像領域」が任意の画像に含まれる領域であってもよい。「第２画像領域」は「第１画像領域に対応する形状」を持つ。言い換えると、「第２画像領域」は「第１画像領域の形状」に基づいて定まる形状を持つ。例えば、「第１画像領域」の形状と「第２画像領域」の形状とが相似もしくは略相似であるか、または「第１画像領域」の反転形状と「第２画像領域」の形状とが相似もしくは略相似である。「相似」の概念は合同（同一）をも含む。

画像内（フレーム内）の「第２画像領域」の位置は、例えば「第１画像領域」の位置に対応する。例えば、「第２画像領域」は「第１画像領域」の動きに応じて移動する。例えば、「第１画像領域」の各画素の座標と「第２画像領域」の各画素の座標とは同一である。あるいは、「第１画像領域」の各画素の座標を反転（水平方向の反転、垂直方向の反転、またはそれら両方）、回転、シフトの少なくとも何れか行ったものを「第２画像領域」の各画素の座標としてもよい。画素の「シフト」は、それらの画素を含む「画像領域」を拡大するものであってもよいし、縮小するものであってもよいし、拡大も縮小も伴わないものであってもよい。また、「第１画像領域の動き情報」が表す動きに基づいて「第２画像領域」を移動させてもよい。これにより、「第１画像領域」の動きに応じて、透明層質感を与える画像領域を移動させつつ、透明層質感の印象を操作できる。

「第２画像領域」および「第２画像領域」の近傍を歪ませる方法（変形方法）に限定はなく、どのように画像を歪ませてもよい。例えば、「動き情報」が表す動きに倣う向きに「第２画像領域」および「第２画像領域」の近傍の画素値を移動させることで、「第２画像領域」および「第２画像領域」の近傍を歪ませることができる。「αの近傍」は、αに隣接する領域であり、例えばαからの距離が所定値を超えない範囲に含まれる領域である。また「動きに倣う向き」は、「動き」の方向成分を含む向きであり、例えば「動き」の方向に沿った向きや「動き」の方向と同一の向きである。例えば、「第１画像領域」の第１座標（Ｘ’，Ｙ’）の「動き情報」が表す動きに倣う向きに、当該第１座標（Ｘ’，Ｙ’）に対応する「第２画像領域」の第２座標（Ｘ”，Ｙ”）へ画素値を移動させる（方法１）。あるいは、例えば「第１画像領域」の第３座標（ｘ’，ｙ’）の「動き情報」が表す動きに倣う向きに、当該第３座標（ｘ’，ｙ’）に対応する「第２画像領域」の第４座標（ｘ”，ｙ”）の画素値を移動させる（方法２）。なお、他の座標から画素値が移動してこない限り、画素値の移動元の座標の画素値は維持される。方法１の場合、動きを持つ第１座標（Ｘ’，Ｙ’）に対応する第２座標（Ｘ”，Ｙ”）は必ず画素値の移動先となり、「第２画像領域」の全領域およびその近傍が変形する。一方、方法２の場合、「第２画像領域」の全領域が画素値の移動先となるとは限らず、「第２画像領域」の一部の領域が変形しない場合もある。そのため、方法２よりも方法１のほうが望ましい。ただし、方法２であっても「第２画像領域」の少なくとも一部の空間変位を鈍らせる（平滑化する）ことで、画素値の移動先ではない領域を変形させることができる。この処理には、例えばガウシアンフィルタを用いることができる。

また「第１画像領域の動き情報」が表す動きの大きさが第１値ａ_１のときの「第２画像領域」および「第２画像領域」の近傍の歪みの大きさｄ_１が、「第１画像領域の動き情報」が表す動きの大きさが第２値ａ_２のときの歪みの大きさｄ_２よりも小さくなる（ｄ_１＜ｄ_２）ように歪ませることが望ましい。なお、第１値ａ_１は第２値ａ_２よりも小さい（ａ_１＜ａ_２）。例えば、「歪みの大きさ」が「動きの大きさ」に対して広義単調増加（非減少）する関係となるように歪ませる。その一例は、「動きの大きさ」が大きいほど「歪みの大きさ」が大きくなるようにすることである。なお、「歪みの大きさ」の例は、単位時間あたりの画素値の移動量である。

ただし、「動きの大きさ」が大きすぎると「歪みの大きさ」も大きくなり、適切な透明層質感を与えることが困難となる場合もある。そのため、「動きの大きさ」の増加に伴う「歪みの大きさ」の増加が抑制されてもよい。例えば、「動きの大きさ」が第２区間γ_２で所定量Δａ変化するときの「歪みの大きさ」の変化量Δｄ_２が、「動きの大きさ」が第１区間γ_１で所定量Δａ変化するときの「歪みの大きさ」の変化量Δｄ_１よりも小さくてもよい（Δｄ_２＜Δｄ_１）。ただし、第２区間γ_２は第１区間γ_１よりも大きな値が属する区間である。例えば、「動きの大きさ」が閾値以下の範囲では「動きの大きさ」が大きいほど「歪みの大きさ」を大きくするが、「動きの大きさ」が閾値以上の範囲では「歪みの大きさ」を一定（「動きの大きさ」が閾値のときの「歪みの大きさ」）に保ってもよい。また「動きの大きさ」の単位変化あたりの「歪みの大きさ」の変化量が、「動きの大きさ」が大きくなるにつれて小さくなってもよい。例えば、「動きの大きさ」の増加に伴って「動きの大きさ」が所定の極限値に近づいてもよい。

一方、「動き情報」が微小振動等のノイズ成分を含む場合がある。このようなノイズ成分に応じて画像を変形させたのでは、画像の透明層質感に悪影響を及ぼすこともある。そのため、「動き情報」が表す動きの大きさがある程度以上（例えば、閾値以上）の場合にのみ、「第２画像領域」および「第２画像領域」の近傍を歪ませてもよい。

「動き情報が表す動き」の空間変化が大きいと、「歪みの大きさ」の空間変化も大きくなり、適切な透明層質感を与えることが困難となる場合がある。そのため、「動き情報が表す動き」の空間変化を鈍らせた動きに基づいて「第２画像領域」および「第２画像領域」の近傍を歪ませてもよい。また「第２画像領域」および「第２画像領域」の近傍の歪みの空間変化を鈍らせてもよい。これらの処理には、例えばガウシアンフィルタを用いることができる。

また、「動き情報」が表す動きに基づいて、さらに「第２画像領域」または「第２画像領域」の近傍の少なくとも一方の色属性（少なくとも、色相、彩度、明度の何れか）を変更してもよい。これにより、より多彩な表現が可能となる。

［第１実施形態］
第１実施形態では、リアルタイムに取得した動画像のオプティカルフローを計算し、そのオプティカルフローに基づいて動画像中の画像領域を局所的に変形させる。これにより、対象の形状に合わせた透明層質感をインタラクティブに与える。

＜構成＞
図１に例示するように、本形態のシステムは、動画像取得装置１２、画像質感操作装置１１、および表示装置１３を有する。画像質感操作装置１１は、動き情報抽出部１１１および変形部１１２を有する。動画像取得装置１２は、例えば、デジタルビデオカメラやスマートフォン端末装置等の動画像を撮影する装置である。画像質感操作装置１１は、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）やＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される装置である。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。表示装置１３は、例えば、モニター、ヘッドマウントディスプレイ、プロジェクター、電子ペーパーなど画像を表示する汎用装置である。

＜処理＞
動画像取得装置１２で動対象を撮影することで得られた動画像Ｍ_ｉｎは、動き情報抽出部１１１および変形部１１２に入力される（図１）。動画像Ｍ_ｉｎは、３つの色チャネル（ＲＧＢの光の三原色のチャネル）で構成され、それぞれのチャンネルの情報は時空間の３次元配列として表現できる。ここではＭ_ｉｎを式（１）のように定義する。

ただし、ｘは水平位置を表す座標値であり、ｙは垂直位置を表す座標値であり、ｔは時間位置を表すフレーム番号である。ｘ，ｙおよびｔは、それぞれｘ_ｍｉｎ≦ｘ≦ｘ_ｍａｘ、ｙ_ｍｉｎ≦ｙ≦ｙ_ｍａｘ、およびｔ_ｍｉｎ≦ｔ≦ｔ_ｍａｘの関係を満たす。ただし、ｘ_ｍｉｎおよびｘ_ｍａｘは水平位置を表す座標値の最小値および最大値であり（ｘ_ｍｉｎ＜ｘ_ｍａｘ）、ｙ_ｍｉｎおよびｙ_ｍａｘは垂直位置を表す座標値の最小値および最大値であり（ｙ_ｍｉｎ＜ｙ_ｍａｘ）、ｔ_ｍｉｎおよびｔ_ｍａｘはフレーム番号の最小値および最大値である（ｔ_ｍｉｎ＜ｔ_ｍａｘ）。Ｒ（ｘ，ｙ，ｔ），Ｇ（ｘ，ｙ，ｔ），Ｂ（ｘ，ｙ，ｔ）は、それぞれＲ，Ｇ，Ｂチャネルのフレーム番号ｔの座標（ｘ，ｙ）の画素値を表す。｛Ｒ（ｘ，ｙ，ｔ）｝，｛Ｇ（ｘ，ｙ，ｔ）｝，｛Ｂ（ｘ，ｙ，ｔ）｝は、それぞれＲ（ｘ，ｙ，ｔ），Ｇ（ｘ，ｙ，ｔ），Ｂ（ｘ，ｙ，ｔ）を要素とする時空間の３次元配列を表す（ただし、ｘ_ｍｉｎ≦ｘ≦ｘ_ｍａｘ、ｙ_ｍｉｎ≦ｙ≦ｙ_ｍａｘ、およびｔ_ｍｉｎ≦ｔ≦ｔ_ｍａｘ）。

動き情報抽出部１１１は、入力された動画像Ｍ_ｉｎのオプティカルフロー（動き情報）をリアルタイムに計算して出力する。例えば、動き情報抽出部１１１は、動画像Ｍ_ｉｎから静止画像を２フレームずつ（例えば、連続する２フレームずつ）抽出し、これら２フレームごとに各座標のオプティカルフローを計算する。オプティカルフローの計算方法はどのようなものでも構わない。ただし、その計算に時間がかかると最終的に表示する動画像Ｍ_ｏｕｔのフレームレートが小さくなってしまい本技術の効果が弱くなる。そのため、可能な限り高速なオプティカルフロー計算アルゴリズムを用いることが望ましい。例えば、動き情報抽出部１１１は、まず動画像Ｍ_ｉｎをグレースケール動画像ＧＭ_ｉｎに変換する。グレースケール動画像ＧＭ_ｉｎ（ｘ，ｙ，ｔ）は、輝度値Ｅ（ｘ，ｙ，ｔ）（ただし、ｘ_ｍｉｎ≦ｘ≦ｘ_ｍａｘ、ｙ_ｍｉｎ≦ｙ≦ｙ_ｍａｘ、およびｔ_ｍｉｎ≦ｔ≦ｔ_ｍａｘ）を要素とする時空間の３次元配列｛Ｅ（ｘ，ｙ，ｔ）｝のみからなる。オプティカルフロー検出の基本的な拘束条件として、画素の移動中にはその輝度が変化しないというものがある（輝度一定の拘束）。この拘束条件のもとで輝度値Ｅ（ｘ，ｙ，ｔ）が微小時間δｔ後に座標（ｘ＋δｘ，ｙ＋δｙ）に移動したとすると、式（２）が成立する。
Ｅ（ｘ＋δｘ，ｙ＋δｙ，ｔ＋δｔ）＝Ｅ（ｘ，ｙ，ｔ） （２）
式（２）の左辺を（ｘ，ｙ，ｔ）のまわりでテーラー展開すると式（３）が得られる。
Ｅ（ｘ＋δｘ，ｙ＋δｙ，ｔ＋δｔ）
＝Ｅ（ｘ，ｙ，ｔ）＋Ｅ_ｘδ_ｘ＋Ｅ_ｙδ_ｙ＋Ｅ_ｔδ_ｔ＋ε （３）
ただし、Ｅ_ｘ，Ｅ_ｙ，Ｅ_ｔは、それぞれ、添え字ｘ，ｙ，ｔに関する偏微分値の一次項である。εはδ_ｘ，δ_ｙ，δ_ｔに関する２次以上の項である。
式（３）を式（２）の左辺に代入してδｔで割る。δｔ→０の極限ではεを無視することができ、式（４）が成立する。
ｕＥ_ｘ＋ｖＥ_ｙ＋Ｅ_ｔ＝０ （４）
ただし、

である。式（４）における速度成分ｕおよびｖを求めるのがオプティカルフロー計算アルゴリズムである。式（４）のみではｕおよびｖを求めることができないので、「輝度一定の拘束」以外の拘束条件も用いつつ、ｕおよびｖを求める。オプティカルフローは、１フレームあたりの水平方向のピクセル移動量ｕ（ｘ，ｙ）および垂直方向のピクセル移動量ｖ（ｘ，ｙ）として算出される。以下では、便宜上、フレーム番号ｔ−１およびｔの静止画像から抽出されたオプティカルフローを（ｕ（ｘ，ｙ，ｔ），ｖ（ｘ，ｙ，ｔ））と表現する。フレームｔが先頭フレームの場合には、例えばオプティカルフロー（ｕ（ｘ，ｙ，ｔ），ｖ（ｘ，ｙ，ｔ））を定数（例えば、零ベクトル）としてもよい。オプティカルフロー（ｕ（ｘ，ｙ，ｔ），ｖ（ｘ，ｙ，ｔ））（ただし、ｘ_ｍｉｎ≦ｘ≦ｘ_ｍａｘ、ｙ_ｍｉｎ≦ｙ≦ｙ_ｍａｘ、およびｔ_ｍｉｎ≦ｔ≦ｔ_ｍａｘ）は変形部１１２に送られる。

変形部１１２は、入力されたオプティカルフロー（ｕ（ｘ，ｙ，ｔ），ｖ（ｘ，ｙ，ｔ））に基づいて、入力された動画像Ｍ_ｉｎの画素値を移動させて動画像Ｍ_ｏｕｔを得る。すなわち、動画像Ｍ_ｉｎの「第１画像領域」のオプティカルフロー（ｕ（ｘ，ｙ，ｔ），ｖ（ｘ，ｙ，ｔ））（動き情報）が表す動きに基づいて、「第１画像領域」に対応する形状の動画像Ｍ_ｉｎの「第２画像領域」および「第２画像領域」の近傍を歪ませた動画像Ｍ_ｏｕｔを得て出力する。オプティカルフローおよび動画像Ｍ_ｏｕｔの生成は所定の時間区間ごと（例えばフレームごと）に行われ、得られた動画像Ｍ_ｏｕｔが順次出力される。以下にこの具体例を示す。

オプティカルフロー（ｕ（ｘ，ｙ，ｔ），ｖ（ｘ，ｙ，ｔ））に基づく空間変換関数Ｔ（ｕ（ｘ，ｙ，ｔ），ｖ（ｘ，ｙ，ｔ））を定義する。空間変換関数Ｔ（ｕ（ｘ，ｙ，ｔ），ｖ（ｘ，ｙ，ｔ））は、オプティカルフロー（ｕ（ｘ，ｙ，ｔ），ｖ（ｘ，ｙ，ｔ））に応じ、座標（ｘ_１，ｙ_１，ｔ_１）の画素値Ｉ（ｘ_１，ｙ_１，ｔ_１）を座標（ｘ_２，ｙ_２，ｔ_２）に移動し、それを座標（ｘ_２，ｙ_２，ｔ_２）の画素値Ｏ（ｘ_２，ｙ_２，ｔ_２）とする。ただし、ｘ_ｍｉｎ≦ｘ_１，ｘ_２≦ｘ_ｍａｘ、ｙ_ｍｉｎ≦ｙ_１，ｙ_２≦ｙ_ｍａｘ、およびｔ_ｍｉｎ≦ｔ_１，ｔ_２≦ｔ_ｍａｘである。ｔ_１＝ｔ_２であってもよいし、ｔ_１≠ｔ_２であってもよい。別の座標の画素値が座標（ｘ_１，ｙ_１，ｔ_１）に移動してこない限り、座標（ｘ_１，ｙ_１，ｔ_１）の画素値Ｉ（ｘ_１，ｙ_１，ｔ_１）は維持される。以上のような、座標（ｘ_１，ｙ_１，ｔ_１）の画素値Ｉ（ｘ_１，ｙ_１，ｔ_１）と、オプティカルフロー（ｕ（ｘ，ｙ，ｔ），ｖ（ｘ，ｙ，ｔ））と、それによって変形される座標（ｘ_２，ｙ_２，ｔ_２）の画素値Ｏ（ｘ_２，ｙ_２，ｔ_２）との関係を式（６）のように表記する。
O(x₂,y₂,t₂)=T(u(x,y,t),v(x,y,t))I(x₁,y₁,t₁) （６）
Ｔ（ｕ（ｘ，ｙ，ｔ），ｖ（ｘ，ｙ，ｔ））の具体例は、座標（ｘ_１，ｙ_１，ｔ_１）の画素値Ｉ（ｘ_１，ｙ_１，ｔ_１）を、ｘ_２＝ｘ_１＋ｕ（ｘ，ｙ，ｔ），ｙ_２＝ｙ_１＋ｖ（ｘ，ｙ，ｔ）を満たす座標（ｘ_２，ｙ_２，ｔ_２）に移動する空間変換関数である（具体例１）。あるいは、Ｔ（ｕ（ｘ，ｙ，ｔ），ｖ（ｘ，ｙ，ｔ））が、座標（ｘ_１，ｙ_１，ｔ_１）の画素値Ｉ（ｘ_１，ｙ_１，ｔ_１）を、ｘ_２＝ｘ_１＋ｆ_ｘ（ｕ（ｘ，ｙ，ｔ）），ｙ_２＝ｙ_１＋ｆ_ｙ（ｖ（ｘ，ｙ，ｔ））を満たす座標（ｘ_２，ｙ_２，ｔ_２）へ移動するものであってもよい。ただし、ｆ_ｘおよびｆ_ｙは関数（例えば、広義単調増加関数または広義単調減少関数）である（具体例２）。その他、Ｔ（ｕ（ｘ，ｙ，ｔ），ｖ（ｘ，ｙ，ｔ））が、座標（ｘ_１，ｙ_１，ｔ_１）の画素値Ｉ（ｘ_１，ｙ_１，ｔ_１）を、ｘ_２＝ｘ_１＋ｆ_ｘ（ｖ（ｘ，ｙ，ｔ）），ｙ_２＝ｙ_１＋ｆ_ｙ（ｕ（ｘ，ｙ，ｔ））満たす座標（ｘ_２，ｙ_２，ｔ_２）（具体例３）、または、ｘ_２＝ｘ_１＋ｆ_ｘ（ｕ（ｘ，ｙ，ｔ），ｖ（ｘ，ｙ，ｔ）），ｙ_２＝ｙ_１＋ｆ_ｙ（ｕ（ｘ，ｙ，ｔ），ｖ（ｘ，ｙ，ｔ））を満たす座標（ｘ_２，ｙ_２，ｔ_２）（具体例４）へ移動するものであってもよい。Ｔ（ｕ（ｘ，ｙ，ｔ），ｖ（ｘ，ｙ，ｔ））は、「第１画像領域」のオプティカルフロー（ｕ（ｘ，ｙ，ｔ），ｖ（ｘ，ｙ，ｔ））の大きさ（例えば、ｕ（ｘ，ｙ，ｔ）およびｖ（ｘ，ｙ，ｔ）の２乗和）が第１値ａ_１のときの「第２画像領域」および「第２画像領域」の近傍の歪みの大きさｄ_１が、「第１画像領域」のオプティカルフロー（ｕ（ｘ，ｙ，ｔ），ｖ（ｘ，ｙ，ｔ））の大きさが第２値ａ_２のときの歪みの大きさｄ_２よりも小さくなる（ｄ_１＜ｄ_２）ように歪ませるものであることが望ましい。

《方法１の例》
前述した「方法１」の場合、動画像Ｍ_ｉｎの「第１画像領域」の座標（Ｘ’，Ｙ’，ｔ）のオプティカルフロー（ｕ（Ｘ’，Ｙ’，ｔ），ｖ（Ｘ’，Ｙ’，ｔ））が表す動きに倣う向きに、式（７）の画素値I(ｘ”,ｘ”,t₁)を、座標（Ｘ’，Ｙ’，ｔ）に対応する「第２画像領域」の座標（Ｘ”，Ｙ”，ｔ_２）へ移動させ、動画像Ｍ_ｏｕｔを得る。
I(x”,x”,t₁)=T^-1(u(X’,Y’,t),v(X’,Y’,t))O(X”,Y”,t₂) （７）
ただし、Ｔ^−１（ｕ（Ｘ’，Ｙ’，ｔ），ｖ（Ｘ’，Ｙ’，ｔ））はＴ（ｕ（Ｘ’，Ｙ’，ｔ），ｖ（Ｘ’，Ｙ’，ｔ））の逆空間変換関数である。すなわち、Ｔ^−１（ｕ（Ｘ’，Ｙ’，ｔ），ｖ（Ｘ’，Ｙ’，ｔ））は、座標（Ｘ”，Ｙ”，ｔ_２）の画素値Ｏ（Ｘ”，Ｙ”，ｔ_２）を座標（ｘ”，ｙ”，ｔ_１）に移動する。例えば、Ｔ（ｕ（Ｘ’，Ｙ’，ｔ），ｖ（Ｘ’，Ｙ’，ｔ））が座標（ｘ”，ｙ”，ｔ_１）の画素値Ｉ（ｘ”，ｙ”，ｔ_１）を、Ｘ”＝ｘ”＋ｕ（Ｘ’，Ｙ’，ｔ），Ｙ”＝ｙ”＋ｖ（Ｘ’，Ｙ’，ｔ）を満たす座標（Ｘ”，Ｙ”，ｔ_２）に移動する空間変換関数である場合（前述の具体例１）、Ｔ^−１（ｕ（Ｘ’，Ｙ’，ｔ）は、座標（Ｘ”，Ｙ”，ｔ_２）の画素値Ｉ（Ｘ”，Ｙ”，ｔ_２）を、ｘ”＝Ｘ”−ｕ（Ｘ’，Ｙ’，ｔ），ｙ”＝Ｙ”−ｖ（Ｘ’，Ｙ’，ｔ）を満たす座標（ｘ”，ｙ”，ｔ_１）に移動する逆空間変換関数である。なお、座標（Ｘ”，Ｙ”，ｔ_２）は座標（Ｘ’，Ｙ’，ｔ）に応じて移動する。

図２Ａ〜図２Ｃを用いて《方法１の例》を具体的に説明する。図２Ａ，２Ｂ，２Ｃは、それぞれ、フレーム番号ｎ，ｎ＋１，ｎ＋２の画像１００_ｎ，１００_ｎ＋１，１００_ｎ＋２を例示する。例えば、画像１００_ｎ，１００_ｎ＋１から、第１画像領域１０１_ｎ，１０１_ｎ＋１内の座標（Ｘ’，Ｙ’，ｎ），（Ｘ’，Ｙ’，ｎ＋１）に対応するオプティカルフロー（ｕ（Ｘ’，Ｙ’，ｎ＋１），ｖ（Ｘ’，Ｙ’，ｎ＋１））が得られたと仮定する（図２Ａ，図２Ｂ）。この場合、例えばフレーム番号ｎ＋２の画像１００_ｎ＋２において、式（８）の画素値I(ｘ”,ｙ”,ｎ＋２)を、第１画像領域１０１_ｎ＋２の座標（Ｘ’，Ｙ’，ｎ＋２）に対応する第２画像領域１０２_ｎ＋２の座標（Ｘ”，Ｙ”，ｎ＋２）へ移動させる（図２Ｃ）。
I(x”,y”,n+2)=T^-1(u(X’,Y’,n+1),v(X’,Y’,n+1))O(X”,Y”,n+2) （８）
この例の場合、動きを持つ第１画像領域１０１_ｎ，１０１_ｎ＋１に対応する第２画像領域１０２_ｎ＋２の内の各座標は必ず何れかの画素値の移動先となる。そのため、動きを持つ第１画像領域１０１_ｎ，１０１_ｎ＋１に対応する第２画像領域１０２_ｎ＋２の全領域およびその近傍は必ず変形する。なお、式（８）の画素値I(ｘ”,ｙ”,ｎ＋２)の座標値ｘ”，ｙ”が小数となり、画素値I(ｘ”,ｙ”,ｎ＋２)が実在しない場合には、(ｘ”,ｙ”,ｎ＋２)近傍の実在する座標の座標値を用いて画素値I(ｘ”,ｙ”,ｎ＋２)を内挿（補完）する。

《方法２の例》
前述した「方法２」の場合、動画像Ｍ_ｉｎの「第１画像領域」の座標（ｘ’，ｙ’，ｔ）のオプティカルフロー（ｕ（ｘ’，ｙ’，ｔ），ｖ（ｘ’，ｙ’，ｔ））が表す動きに倣う向きに、座標（ｘ’，ｙ’，ｔ₁）に対応する「第２画像領域」の座標（ｘ”，ｙ”，ｔ₁）の画素値を、式（９）の画素値Ｏ（Ｘ”，Ｙ”，ｔ_２）として移動させ、動画像Ｍ_ｏｕｔを得る。
O(X”,Y”,t₂)=T(u(x’,y’,t),v(x’,y’,t))I(x”,x”,t₁) （９）
座標（ｘ”，ｙ”，ｔ₁）は座標（ｘ’，ｙ’，ｔ）に応じて移動する。

図３Ａ〜図３Ｃを用いて《方法２の例》を具体的に説明する。この例では、画像１００_ｎ，１００_ｎ＋１から、第１画像領域１０１_ｎ，１０１_ｎ＋１内の座標（ｘ’，ｙ’，ｎ），（ｘ’，ｙ’，ｎ＋１）に対応するオプティカルフロー（ｕ（ｘ’，ｙ’，ｎ＋１），ｖ（ｘ’，ｙ’，ｎ＋１））が得られたと仮定する（図３Ａ，図３Ｂ）。この場合、例えばフレーム番号ｎ＋２の画像１００_ｎ＋２において、第１画像領域１０１_ｎ＋２の座標（ｘ’，ｙ’，ｎ＋２）に対応する第２画像領域１０２_ｎ＋２の座標（ｘ”，ｙ”，ｎ＋２）の画素値I(ｘ”,ｙ”,ｎ＋２)を、式（９）の座標（Ｘ”，Ｙ”，ｎ＋２）へ移動させる（図２Ｃ）。
O(X”,Y”,n+2)=T(u(X’,Y’,n+1),v(X’,Y’,n+1))I(x”,y”,n+2) （９）
この例の場合、座標（ｘ’，ｙ’，ｎ＋２）が存在しなかったり（例えば、ｘ’またはｙ’が小数となったり、座標の上限または下限を超えたり）、座標（ｘ’，ｙ’，ｎ＋２）が第２画像領域１０２_ｎ＋２の外側となったりすることもある。この場合、動きを持つ第１画像領域１０１_ｎ，１０１_ｎ＋１に対応する第２画像領域１０２_ｎ＋２の内のすべての座標が何れかの画素値の移動先となるとは限らない。例えば、図４Ａの第２画像領域１０２_ｎ＋２の領域１０２１_ｎ＋２のように、画素値の移動先とはならず、画素値が変化しない領域も生じ得る。このような場合であっても、図４Ｂのようなガウシアンフィルタ１０２２_ｎ＋２を用い、領域１０２１_ｎ＋２を含む領域の空間変位を鈍らせることで、このような領域１０２１_ｎ＋２を変形させることができる。

変形部１１２から順次出力された動画像Ｍ_ｏｕｔは表示装置１３に入力される。表示装置１３は、入力された動画像Ｍ_ｏｕｔを順次画面上に表示する。本形態では、オプティカルフローが検出されなかった（すなわち、ｕ（ｘ，ｙ，ｔ）およびｖ（ｘ，ｙ，ｔ）が０であった、もしくは０に近かった）領域に対応する画像領域ではピクセルが移動しない、つまり変形（歪み）が生じない。このように、変形する領域と変形しない領域とをオプティカルフローの大きさで制御することにより、運動する対象の形状に応じた変形（歪み）を画像に加えることができる。変形の加えられた画像領域は、非特許文献１および非特許文献２の原理により透明の液体のように見える。このようにして、対象の動きと形状に応じた透明液体領域（透明層質感を与える画像領域）を表示できる。なお、透明の液体のような印象を十分に与えるためには動画像のフレームレートを２０Ｈｚ以上に保つことが望ましいが（例えば非特許文献２参照）、それ以下であってもかまわない。

［第２実施形態］
対象の動きの量が大きいと、得られるｕ（ｘ，ｙ，ｔ）やｖ（ｘ，ｙ，ｔ）も大きくなる。ｕ（ｘ，ｙ，ｔ）やｖ（ｘ，ｙ，ｔ）が大きすぎると画像も過剰に変形し、透明層質感を知覚させるように画像を変形させることが難しくなる。そのため、ｕ（ｘ，ｙ，ｔ）およびｖ（ｘ，ｙ，ｔ）に関する閾値を設け、ｕ（ｘ，ｙ，ｔ）またはｖ（ｘ，ｙ，ｔ）が閾値以上になった場合に、閾値の値をｕ（ｘ，ｙ，ｔ）またはｖ（ｘ，ｙ，ｔ）としてもよい。これにより、変形後の画像の質を保つことができる。また、動画像取得装置１２自体の揺れやオートフォーカスなどによる微細なオプティカルフローの影響を排除するために、ｕ（ｘ，ｙ，ｔ）およびｖ（ｘ，ｙ，ｔ）に関する他の閾値を設け、ｕ（ｘ，ｙ，ｔ）またはｖ（ｘ，ｙ，ｔ）がこの閾値以下になった場合に、閾値以下となったｕ（ｘ，ｙ，ｔ）またはｖ（ｘ，ｙ，ｔ）を０にしてもよい。以下では第１実施形態との相違点を中心に説明し、説明済みの事項については同じ参照番号を引用して説明を省略する。

＜構成＞
図１に例示するように、本形態のシステムは、動画像取得装置１２、画像質感操作装置２１、および表示装置１３を有する。画像質感操作装置２１は、第１実施形態の画像質感操作装置１１に制限部２１３を追加したものである。

＜処理＞
第１実施形態の処理との相違点は制限部２１３の処理のみである。以下では制限部２１３の処理のみを例示する。動き情報抽出部１１１から出力されたオプティカルフロー（ｕ（ｘ，ｙ，ｔ），ｖ（ｘ，ｙ，ｔ））は制限部２１３に入力される。制限部２１３は、ｕ（ｘ，ｙ，ｔ）およびｖ（ｘ，ｙ，ｔ）と閾値ＴＨ_ＵおよびＴＨ_Ｌ（ただし、ＴＨ_Ｕ＞ＴＨ_Ｌ＞０）とを比較する。ＴＨ_Ｕ＞ｕ（ｘ，ｙ，ｔ）＞ＴＨ_Ｌである場合、制限部２１３は、ｕ（ｘ，ｙ，ｔ）をそのまま出力する。ｕ（ｘ，ｙ，ｔ）≧ＴＨ_Ｕである場合、制限部２１３は、ｕ（ｘ，ｙ，ｔ）＝ＴＨ_Ｕを出力する。ｕ（ｘ，ｙ，ｔ）≦ＴＨ_Ｌである場合、制限部２１３は、ｕ（ｘ，ｙ，ｔ）＝０を出力する。同様に、ＴＨ_Ｕ＞ｖ（ｘ，ｙ，ｔ）＞ＴＨ_Ｌである場合、制限部２１３は、ｖ（ｘ，ｙ，ｔ）をそのまま出力する。ｖ（ｘ，ｙ，ｔ）≧ＴＨ_Ｕである場合、制限部２１３は、ｖ（ｘ，ｙ，ｔ）＝ＴＨ_Ｕを出力する。ｖ（ｘ，ｙ，ｔ）≦ＴＨ_Ｌである場合、制限部２１３は、ｖ（ｘ，ｙ，ｔ）＝０を出力する。出力されたｕ（ｘ，ｙ，ｔ）およびｖ（ｘ，ｙ，ｔ）は変形部１１２に入力される。その他は第１実施形態と同じである。なお、本形態では閾値を用いてｕ（ｘ，ｙ，ｔ）やｖ（ｘ，ｙ，ｔ）の上限を制限したが、前述のようにｕ（ｘ，ｙ，ｔ）やｖ（ｘ，ｙ，ｔ）（動きの大きさ）の増加に伴う「歪みの大きさ」の増加を抑制する方法であれば、どのような方法が用いられてもよい。

［第３実施形態］
ガウシアンフィルタをｕ（ｘ，ｙ，ｔ）およびｖ（ｘ，ｙ，ｔ）に適用することで、ｕ（ｘ，ｙ，ｔ）およびｖ（ｘ，ｙ，ｔ）の空間変化を滑らかにする（鈍らせる）ことができる。ｕ（ｘ，ｙ，ｔ）およびｖ（ｘ，ｙ，ｔ）の空間変化を滑らかにすることで、「第２画像領域」およびその近傍の空間変換が滑らになり、結果的に変形も滑らかになる。これにより、滑らかな波面をもった透明液体の質感を表示できる。

＜構成＞
図１に例示するように、本形態のシステムは、動画像取得装置１２、画像質感操作装置３１、および表示装置１３を有する。画像質感操作装置３１は、画像質感操作装置１１に平滑化部３１３を追加したものである。

＜処理＞
第１実施形態の処理との相違点は平滑化部３１３の処理のみである。平滑化部３１３は、オプティカルフロー（ｕ（ｘ，ｙ，ｔ），ｖ（ｘ，ｙ，ｔ））を入力とし、その空間変位をガウシアンフィルタによって鈍らせたオプティカルフロー（ｕ’（ｘ，ｙ，ｔ），ｖ’（ｘ，ｙ，ｔ））を出力する。オプティカルフロー（ｕ’（ｘ，ｙ，ｔ），ｖ’（ｘ，ｙ，ｔ））は変形部１１２に入力される。その後の処理は（ｕ（ｘ，ｙ，ｔ），ｖ（ｘ，ｙ，ｔ））が（ｕ’（ｘ，ｙ，ｔ），ｖ’（ｘ，ｙ，ｔ））に置換される以外、第１実施形態と同じである。

なお、本形態ではガウシアンフィルタを用いてオプティカルフローの空間変位を鈍らせたが、移動平均フィルタ等のその他のフィルタが用いられてもよい。すなわち、オプティカルフロー（動き情報）が表す動きの空間変化を鈍らせた動きに基づいて「第２画像領域」および「第２画像領域」の近傍を歪ませるのであれば、どのような手段が用いられてもよい。また、オプティカルフローの空間変位を鈍らせることに加え、またはそれに代えて、「第２画像領域」および「第２画像領域」の近傍の歪みの空間変化を鈍らせてもよい。

また、第２実施形態の画像質感操作装置２１に平滑化部３１３を加え、制限部２１３から出力されたオプティカルフローの空間変位を鈍らせ、空間変位を鈍らせたオプティカルフローを変形部１１２に入力してもよい。あるいは、平滑化部３１３が、動き情報抽出部１１１から出力されたオプティカルフローの空間変位を鈍らせ、空間変位を鈍らせたオプティカルフローを制限部２１３に入力してもよい。

［第４実施形態］
オプティカルフローに応じて「第２画像領域」および「第２画像領域」の近傍を変形させることに加え、オプティカルフローに応じて「第２画像領域」または「第２画像領域」の近傍の少なくとも一方の色属性を変更してもよい。

＜構成＞
図１に例示するように、本形態のシステムは、動画像取得装置１２、画像質感操作装置４１、および表示装置１３を有する。画像質感操作装置４１は、画像質感操作装置１１に色属性変更部４１３を追加したものである。

＜処理＞
第１実施形態の処理との相違点は色属性変更部４１３の処理のみである。色属性変更部４１３は、変形部１１２に入力されたオプティカルフローおよび変形部１１２から出力された動画像を入力とし、オプティカルフローに応じて「第２画像領域」または「第２画像領域」の近傍の少なくとも一方の色属性を変更する。例えば、オプティカルフローが表す動きの大きさや変化量に応じて色相、彩度、明度の何れかを変更する。色属性変更部４１３から出力された動画像は表示装置１３から出力される。これにより、より多様な表現が可能となる。また、第２実施形態または第３実施形態の画像質感操作装置２１，３１に色属性変更部４１３を加え、同様な処理が行われてもよい。

［第５実施形態］
第１〜４実施形態では、動画像Ｍ_ｉｎからオプティカルフローを取得し、このオプティカルフローに応じてこの動画像Ｍ_ｉｎの「第２画像領域」およびその近傍を変形させた。しかしながら、動画像Ｍ_ｉｎからオプティカルフローを取得し、このオプティカルフローに応じて動画像Ｍ_ｉｎとは別の画像Ｍ_ｉｎ２の「第２画像領域」およびその近傍を変形させてもよい。また、第１〜４実施形態では、リアルタイムに取得したオプティカルフローによって画像を変形させたが、事前に取得した対象のオプティカルフローを用いて事後的に画像を変形させても構わない。この場合、実対象のオプティカルフローだけではなく、シミュレーションによって生成したオプティカルフローでもかまわない（Bex, P. (2010). (In) Sensitivity to spatial distortion in natural scenes. Journal of Vision, 10(2): 23, 1-15.）。

［表示画像の例示］
動画像Ｍ_ｏｕｔの表示画像を例示する。図５Ａおよび図５Ｂは、第１実施形態のように動画像Ｍ_ｉｎから取得したオプティカルフローに対し、第２実施形態のように上限と下限との制限を加え、第３実施形態のように空間的に鈍らせた後、そのオプティカルフローに応じて当該動画像Ｍ_ｉｎの「第２画像領域」およびその近傍を変形させた動画像Ｍ_ｏｕｔの表示画像を例示している。図６Ａおよび図６Ｂは、第１実施形態のように動画像Ｍ_ｉｎから取得したオプティカルフローに対し、第２実施形態のように上限と下限とに制限を加え、第３実施形態のように空間的に鈍らせた後、そのオプティカルフローに応じて当該動画像Ｍ_ｉｎとは別の画像Ｍ_ｉｎ２（静止画像）の「第２画像領域」およびその近傍を変形させた動画像Ｍ_ｏｕｔの表示画像を例示している。これらの例からも分かるように、対象の動きや形状に基づき、動画像中の透明液体印象領域をインタラクティブに制御できる。例えば、「透明人間」の動画像を容易に生成することができる。このために背景領域の検出を事前に行う必要がなく、動画像取得装置１２を移動させながらでも効果が得られる。

［その他の変形例］
なお、本発明は上述の実施の形態に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。

このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記録装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。

上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。

１１，２１，３１，４１ 画像質感操作装置

Claims (8)

1. 第１画像領域に対応する形状の第２画像領域および前記第２画像領域の近傍を歪ませる画像質感操作方法であって、
   動画像から所定の時間区間ごとに連続するｎフレーム（ｎは２以上の整数）の静止画像を抽出し、抽出した前記ｎフレームの静止画像から順次計算された、画像中の各画素の移動方向および移動量速度成分を表すオプティカルフローを、それぞれ第１の動き情報として得るステップと、
   前記第１の動き情報それぞれにガウシアンフィルタリングまたは平滑化フィルタリングを適用することで得られる第２の動き情報の通りに、動画像中の連続するフレームの静止画像中の画素値を移動させることで、前記第２画像領域および前記第２画像領域の近傍を歪ませるステップと、
   を有し、
   前記第１画像領域は、前記第１の動き情報に基づいて定まる前記動画像中の動きを持つ画像領域であり、
   前記第２画像領域および前記第２画像領域の近傍の領域は、前記第１画像領域の形状と相似もしくは略相似であるか、前記第１画像領域の形状の反転形状と相似もしくは略相似である、画像質感操作方法。
2. 第１画像領域に対応する形状の第２画像領域および前記第２画像領域の近傍を歪ませる画像質感操作方法であって、
   動画像から所定の時間区間ごとに連続するｎフレーム（ｎは２以上の整数）の静止画像を抽出し、抽出した前記ｎフレームの静止画像から順次計算された、画像中の各画素の移動方向および移動量速度成分を表すオプティカルフローを、それぞれ第１の動き情報として得るステップと、
   前記第１の動き情報に基づいて定まる前記第１画像領域の各画素の座標を、回転または反転、および／または、前記第１画像領域を空間的に拡大または縮小することで得られる第３の動き情報のそれぞれにガウシアンフィルタリングまたは平滑化フィルタリングを適用することで得られる第４の動き情報の通りに、動画像中の連続するフレームの静止画像中の画素値を移動させることで、前記第２画像領域および前記第２画像領域の近傍を歪ませるステップと、
   を有し、
   前記第１画像領域は、前記第１の動き情報に基づいて定まる前記動画像中の動きを持つ画像領域であり、
   前記第２画像領域および前記第２画像領域の近傍の領域は、前記第１画像領域の形状と相似もしくは略相似であるか、前記第１画像領域の形状の反転形状と相似もしくは略相似である、画像質感操作方法。
3. 請求項１または２の画像質感操作方法であって、
   前記第１画像領域の動きの大きさが第１値のときの前記第２画像領域および前記第２画像領域の近傍の歪みの大きさは、前記動きの大きさが第２値のときの前記歪みの大きさよりも小さく、前記第１値は前記第２値よりも小さい、画像質感操作方法。
4. 請求項１から３の何れかの画像質感操作方法であって、
   前記第１画像領域の動きの大きさが第２区間で所定量変化するときの前記第２画像領域および前記第２画像領域の近傍の歪みの大きさの変化量は、前記動きの大きさが第１区間で前記所定量変化するときの前記歪みの大きさの変化量よりも小さく、前記第２区間は前記第１区間よりも大きな値が属する区間である、画像質感操作方法。
5. 請求項１から４の何れかの画像質感操作方法であって、
   前記第１画像領域の動き情報が表す動きに基づいて、さらに前記第２画像領域または前記第２画像領域の近傍の少なくとも一方の色属性を変更する、画像質感操作方法。
6. 第１画像領域に対応する形状の第２画像領域および前記第２画像領域の近傍を歪ませる画像質感操作装置であって、
   動画像から所定の時間区間ごとに連続するｎフレーム（ｎは２以上の整数）の静止画像を抽出し、抽出した前記ｎフレームの静止画像から順次計算された、画像中の各画素の移動方向および移動量速度成分を表すオプティカルフローを、それぞれ第１の動き情報として得る動き情報抽出部と、
   前記第１の動き情報それぞれにガウシアンフィルタリングまたは平滑化フィルタリングを適用することで得られる第２の動き情報の通りに、動画像中の連続するフレームの静止画像中の画素値を移動させることで、前記第２画像領域および前記第２画像領域の近傍を歪ませる変形部と、
   を有し、
   前記第１画像領域は、前記第１の動き情報に基づいて定まる前記動画像中の動きを持つ画像領域であり、
   前記第２画像領域および前記第２画像領域の近傍の領域は、前記第１画像領域の形状と相似もしくは略相似であるか、前記第１画像領域の形状の反転形状と相似もしくは略相似である、画像質感操作装置。
7. 第１画像領域に対応する形状の第２画像領域および前記第２画像領域の近傍を歪ませる画像質感操作装置であって、
   動画像から所定の時間区間ごとに連続するｎフレーム（ｎは２以上の整数）の静止画像を抽出し、抽出した前記ｎフレームの静止画像から順次計算された、画像中の各画素の移動方向および移動量速度成分を表すオプティカルフローを、それぞれ第１の動き情報として得る動き情報抽出部と、
   前記第１の動き情報に基づいて定まる前記第１画像領域の各画素の座標を、回転または反転、および／または、前記第１画像領域を空間的に拡大または縮小することで得られる第３の動き情報のそれぞれにガウシアンフィルタリングまたは平滑化フィルタリングを適用することで得られる第４の動き情報の通りに、動画像中の連続するフレームの静止画像中の画素値を移動させることで、前記第２画像領域および前記第２画像領域の近傍を歪ませる変形部と、
   を有し、
   前記第１画像領域は、前記第１の動き情報に基づいて定まる前記動画像中の動きを持つ画像領域であり、
   前記第２画像領域および前記第２画像領域の近傍の領域は、前記第１画像領域の形状と相似もしくは略相似であるか、前記第１画像領域の形状の反転形状と相似もしくは略相似である、画像質感操作装置。
8. 請求項１から５の何れかの画像質感操作方法の処理をコンピュータに実行させるためのプログラム。