JPWO2015186284A1 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

入力画像の処理単位毎に適切な動きを感じさせる出力画像群を生成することが可能な画像処理装置、画像処理方法及びプログラムを提供する。本技術の一形態に係る画像処理装置は、制御量規定部と、フィルタ生成部とを具備する上記制御量規定部は、複数の処理単位を含む入力画像の画像情報に基づいて、処理単位毎に知覚させる動きの制御量を規定する。上記フィルタ生成部は、上記処理単位毎に、上記規定された制御量に基づいて、上記入力画像から上記動きを知覚させる出力画像群を生成することが可能な複数の空間フィルタを生成する。

Description

本技術は、動きの錯視を利用した画像を生成することが可能な画像処理装置、画像処理方法及びプログラムに関する。

静止画像から、連続再生した際に動いているような印象が得られる複数の静止画像を生成することが可能な技術が知られている（非特許文献１）。より具体的には、静止画像に対し、位相パラメータを含む関数を空間フィルタとして適用し、この位相パラメータを変化させた複数の空間フィルタにより処理を実行することで、複数の静止画像を生成する。生成された静止画像を連続的に再生することで、被写体が動いているような印象を与えることが可能となる。

W.T. Freeman et.al, ''Motion Without Movement,'' Computers & Graphics, Elsevier, Vol. 25(4), pp.27-30, 1991

しかしながら、非特許文献１に記載の技術は、画像全体で同一の大きさ及び向きの動きしか表現できなかった。

以上のような事情に鑑み、本技術の目的は、入力画像の処理単位毎に適切な動きを感じさせる出力画像群を生成することが可能な画像処理装置、画像処理方法及びプログラムを提供することにある。

上記目的を達成するため、本技術の一形態に係る画像処理装置は、制御量規定部と、フィルタ生成部とを具備する。
上記制御量規定部は、複数の処理単位を含む入力画像の画像情報に基づいて、処理単位毎に知覚させる動きの制御量を規定する。
上記フィルタ生成部は、上記処理単位毎に、上記規定された制御量に基づいて、上記入力画像から上記動きを知覚させる出力画像群を生成することが可能な複数の空間フィルタを生成する。

上記構成によれば、画像情報に基づいて処理単位毎に知覚させる動きを決定し、その動きを実現させることが可能な空間フィルタを生成することが可能となる。これにより、処理単位毎に適切な動きを感じさせる出力画像群を生成することが可能となる。

また、上記制御量は、上記知覚させる動きの大きさ及び向きの少なくとも一方を規定する量であってもよい。

これにより、知覚させる動きを的確に規定することが可能となる。

上記画像情報は、上記入力画像から抽出された特徴量を含んでもよい。

これにより、知覚される動きを、入力画像中の奥行き情報や被写体や構図等に即したものとすることができ、より実物感の感じられる出力画像を生成することが可能となる。

また、上記特徴量は、上記入力画像の奥行き情報を含み、
上記制御量規定部は、上記奥行き情報に基づいて、奥行きが浅い位置処理単位の方が、奥行きが深い処理単位よりも上記動きを大きく知覚させるように上記制御量を規定してもよい。

これにより、より奥行き感の感じられる出力画像群を生成することが可能となる。

上記特徴量は、上記入力画像から推定されるシーンについてのシーン情報を含み、
上記制御量規定部は、上記シーン情報に基づいて処理単位毎の制御量を規定してもよい。

これにより、入力画像のシーンに応じてより自然に感じられる出力画像群を生成することが可能となる。

例えば、上記シーン情報は、上記入力画像中の空間の構造についての情報を含んでもよい。
あるいは、上記シーン情報は、上記入力画像の被写体の種類についての情報を含んでもよい。

また、上記特徴量は、上記入力画像の消失点及び消失線の少なくとも一方の位置についての情報を含み、
上記制御量規定部は、消失点及び消失線の少なくとも一方に向かっていくような動き、又は離れていくような動きを知覚させるように制御量を規定してもよい。

これにより、より奥行き感、立体感を感じさせる出力画像を生成することが可能となる。

また、上記入力画像は、同一の被写体をそれぞれ含み時間的に連続して再生され得る複数の画像のうちの一つの画像であり、
上記特徴量は、上記複数の画像から推定される、上記被写体の上記入力画像における動きベクトルについての情報を含み、
上記制御量規定部は、上記動きベクトルに基づいて、上記動きの大きさ及び向きを制御量として規定してもよい。

これにより、実際の被写体の動きと同様の動きを知覚させる出力画像を生成することができ、より実物感を感じさせることが可能となる。

また、上記特徴量は、上記入力画像のうち注視されると推定される注視領域についての情報を含み、
上記制御量規定部は、上記注視領域と上記注視領域以外の領域とで異なる上記制御量を規定してもよい。

これにより、注視領域をより自然に表現し得る出力画像群を生成することが可能となる。

さらに、上記画像処理装置は、
上記入力画像を取得する画像取得部と、
上記入力画像から上記画像情報を解析する画像情報解析部とをさらに具備してもよい。

これにより、画像処理装置において画像情報を解析することが可能となる。

また、上記複数の空間フィルタ各々は、位相パラメータの値がそれぞれ異なり三角関数により表現された関数を含んでもよい。

これにより、位相パラメータの値を調整し、知覚させる動きを調整することが可能となる。

上記複数の空間フィルタ各々は、位相パラメータの値がそれぞれ異なるガボールフィルタをそれぞれ含んでもよい。

これにより、比較的少ない演算量となる空間フィルタを生成することができ、処理コストを低減することが可能となる。また、ガボールフィルタの各パラメータは、フィルタの形状から直感的に理解しやすいものが多いため、各パラメータの値の設定が容易になる。

また、上記複数の空間フィルタとして適用されることが可能な複数の配列群を含むルックアップテーブルを記憶する記憶部を具備し、
上記フィルタ生成部は、上記処理単位毎に、上記ルックアップテーブルから上記制御量に基づいて配列群を選択してもよい。

これにより、処理のたびに複数の空間フィルタを生成する手間を省き、より処理コストを低減することができる。

また、上記画像処理装置は、
上記入力画像の各処理単位に対して上記複数の空間フィルタを適用して出力画像群を生成する処理実行部をさらに具備してもよい。

本技術の一形態に係る画像処理方法は、複数の処理単位を含む入力画像の画像情報に基づいて、処理単位毎に知覚させる動きの制御量を規定するステップを含む。
上記処理単位毎に、上記規定された制御量に基づいて、上記入力画像から上記動きを知覚させる出力画像群を生成することが可能な複数の空間フィルタが生成される。

また、本技術の一形態に係るプログラムは、情報処理装置に、
複数の処理単位を含む入力画像の画像情報に基づいて、処理単位毎に知覚させる動きの制御量を規定するステップと、
上記処理単位毎に、上記規定された制御量に基づいて、上記入力画像から上記動きを知覚させる出力画像群を生成することが可能な複数の空間フィルタを生成するステップと
を実行させる。

以上のように、本技術によれば、入力画像の処理単位毎に適切な動きを感じさせる出力画像群を生成することが可能な画像処理装置、画像処理方法及びプログラムを提供することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の第１の実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。 上記画像処理装置の機能的構成を示すブロック図である。 ガボールフィルタの具体的な形状の例を示す図である。 空間フィルタに用いられる、ガウス関数を用いた関数を説明する図である。 異なる時刻ｔにおける上記関数の形状例を示すグラフである。 上記画像処理装置の動作を示すフローチャートである。 本技術の第２の実施形態に係る画像処理システムのハードウェア構成を示すブロック図である。 上記画像処理システムの機能的構成を示すブロック図である。 本技術の第３の実施形態に係る画像処理システムの概略構成を示すブロック図である。 上記画像処理システムの機能的構成を示すブロック図である。 本技術の第４の実施形態に係る画像処理システムの概略構成を示すブロック図である。 上記画像処理システムの機能的構成を示すブロック図である。 上記画像処理システムの変形例の機能的構成を示すブロック図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

＜第１の実施形態＞
［画像処理装置のハードウェア構成］
図１は、本技術の第１の実施形態に係る画像処理装置１００のハードウェア構成を示すブロック図である。画像処理装置１００は、本実施形態において、情報処理装置として構成され得る。画像処理装置１００は、具体的には、ＰＣ（Personal Computer）、タブレットＰＣ、スマートフォン、タブレット端末等の情報処理装置であってもよい。

同図において、画像処理装置１００は、コントローラ１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、入出力インタフェース１５、及び、これらを互いに接続するバス１４を備える。

コントローラ１１は、必要に応じてＲＡＭ１３等に適宜アクセスし、各種演算処理を行いながら画像処理装置１００の各ブロック全体を統括的に制御する。コントローラ１１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等であってもよい。ＲＯＭ１２は、コントローラ１１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。ＲＡＭ１３は、コントローラ１１の作業用領域等として用いられ、ＯＳ、実行中の各種アプリケーション、処理中の各種データを一時的に保持する。

入出力インタフェース１５には、ディスプレイ１６、操作受付部１７、記憶部１８、通信部１９等が接続される。なお、入出力インタフェース１５は、これらの各要素の他、ＵＳＢ(Universal Serial Bas)端子やＩＥＥＥ端子等を介して外部周辺機器と接続可能に構成されてもよい。また、入出力インタフェース１５には、これら各要素の他、図示しない撮像部等が接続されていてもよい。

ディスプレイ１６は、例えばＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic Light Emitting Diode）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。

操作受付部１７は、例えばマウス等のポインティングデバイス、キーボード、タッチパネル、その他の入力装置である。操作受付部１７がタッチパネルである場合、そのタッチパネルはディスプレイ１６と一体となり得る。

記憶部１８は、例えばＨＤＤ（Hard Disk Drive）や、フラッシュメモリ（ＳＳＤ；Solid State Drive）、その他の固体メモリ等の不揮発性メモリである。当該記憶部１８には、上記ＯＳや各種アプリケーション、各種データが記憶される。記憶部１８は、また、後述する入力画像や、画像情報、生成した空間フィルタ、生成した出力画像群等を記憶することが可能に構成される。

通信部１９は、例えばEthernet（登録商標）用のＮＩＣ（Network Interface Card）であり、ネットワークを介した通信処理を担う。

以上のようなハードウェア構成の画像処理装置１００は、以下のような機能的構成を有する。

［画像処理装置の機能的構成］
図２は、画像処理装置１００の機能的構成を示すブロック図である。同図に示すように、画像処理装置１００は、画像取得部１０１と、画像情報解析部１０２と、制御量規定部１０３と、フィルタ生成部１０４と、処理実行部１０５と、表示部１０６とを備える。画像処理装置１００は、以下に説明するように、１つの入力画像から解析された画像情報に基づいて、連続再生時に当該入力画像中の被写体が動いているような印象を与えることが可能な出力画像群を生成することが可能となる。なお、本実施形態において「入力画像」とは、典型的には静止画像であるが、動画の１フレームであってもよい。

画像取得部１０１は、処理対象の入力画像を取得する。画像取得部１０１は、例えば、コントローラ１１によって実現される。画像取得部１０１は、例えば、入出力インタフェース１５を介して記憶部１８に記憶された画像を入力画像として取得する。この入力画像は、例えば、画像処理装置１００の図示しない撮像部によって撮像された画像であってもよく、外部の撮像装置等により撮像され画像処理装置１００に入力された画像であってもよい。あるいは、入力画像は、ネットワークを介して取得された画像であってもよい。

画像情報解析部１０２は、取得された入力画像から画像情報を解析する。画像情報解析部１０２は、例えば、コントローラ１１によって実現される。画像情報は、例えば、入力画像から抽出された特徴量であってもよい。特徴量は、入力画像から抽出され得る入力画像の特徴を示す要素であり、例えば、後述する入力画像の奥行き情報や、入力画像から推定されるシーンについてのシーン情報、入力画像の消失点及び消失線の少なくとも一方の位置についての情報、被写体の上記入力画像における動きベクトルについての情報、及び入力画像のうち注視されると推定される注視領域の情報等を含んでもよい。画像情報解析部１０２により、知覚させる動きを決定するための画像情報を取得することが可能となる。

画像情報解析部１０２は、例えば、奥行き情報解析部１０２ａと、シーン情報推定部１０２ｂと、消失点・消失線推定部１０２ｃと、動きベクトル推定部１０２ｄと、注視領域推定部１０２ｅとを有する。

奥行き情報解析部１０２ａは、奥行き情報を解析する。奥行き情報とは、各被写体の相対的又は絶対的な遠近関係(奥行き位置)を示す情報をいうものとする。奥行き位置の解析方法は特に限定されず、例えば、入力画像が３次元入力画像であれば、右眼用・左眼用入力画像を用いて推定した視差を用いることも可能であるし、被写体に所定パターンのレーザ光を照射し、反射光のパターンの歪みを取得する方法でもよい。また、解析された奥行き情報は、例えば被写体の奥行き位置を所定の階調の濃淡で示したデプス（depth）画像として表現されてもよいし、入力画像の領域毎の数値情報として表現されていてもよい。

なお、奥行き情報解析部１０２ａは、後述する消失線・消失点の位置についての情報を用いることで、被写体の奥行き位置を推定することも可能である。

シーン情報推定部１０２ｂは、入力画像から推定されるシーンについてのシーン情報を推定する。シーン情報は、より具体的には、入力画像の構図についての情報や、被写体の種類についての情報等を含む。すなわち、シーン情報推定部１０２ｂは、例えば構図推定部１０２ｆと、被写体推定部１０２ｇとを有する。

構図推定部１０２ｆは、入力画像中の空間の構造を構図として推定し、例えば、室内、近景、遠景等の分類を行う。空間の構造の推定方法は特に限定されない。

被写体推定部１０２ｇは、入力画像の被写体の種類を推定し、例えば、人物、自然風景、都市風景等の分類を行う。被写体の種類の推定方法は特に限定されない。

消失点・消失線推定部１０２ｃは、入力画像の消失点及び消失線の少なくとも一方の位置について推定する。消失点・消失線推定部１０２ｃは、具体的には、入力画像における空間の構造を推定し、地平線や水平線等の消失線や、消失点の位置を入力画像から推定する。これらの推定方法は特に限定されない。また、推定された消失線・消失点の位置情報は、入力画像に割り当てられたＸＹ座標と対応付けて記憶部１８に記憶され得る。

動きベクトル推定部１０２ｄは、入力画像が、同一の被写体をそれぞれ含み時間的に連続して再生され得る複数の画像のうちの一つの画像である場合に、これら複数の画像から推定される、被写体の当該画像における動きベクトルを推定する。動きベクトルは、動きの大きさと向きを示すものとする。すなわち、動きベクトル推定部１０２ｄは、当該入力画像を含む動画の複数フレームに基づいて、被写体の動きの大きさと向きを推定する。動きベクトルの推定方法は、特に限定されない。

注視領域推定部１０２ｅは、入力画像のうち注視されると推定される注視領域を推定する。注視領域の推定方法は特に限定されず、例えば、画像認識技術により特徴的な被写体を抽出し、複数の被写体のうち、人が視線を向けると思われる被写体が占める領域を推定することができる。

制御量規定部１０３は、複数の処理単位を含む入力画像の画像情報に基づいて、処理単位毎に知覚させる動きの制御量を規定する。制御量規定部１０３は、例えばコントローラ１１によって実現される。ここでいう「動きを知覚させる」とは、画像上における実際の被写体の位置は変化していないものの、輝度値が経時的に変化することにより、画像を見た人に対して動いているように知覚させることをいう。

制御量は、例えば、感じさせようとする動きの大きさ及び向きの少なくとも一方を規定する量であり、具体的には、動きの大きさを規定する値と、動きの向きを規定する値との少なくとも一方として表されてもよい。動きの向きを規定する値は、例えば、ｘ、ｙの値の組で表されてもよいし、ある方向を基準とした回転角の値で表現されてもよい。あるいは、制御量は、動きの大きさ及び向きを示す動きベクトルで表されてもよい。

なお、入力画像の処理単位としては、一画素、複数の画素を含むブロック、又は一つの被写体等を挙げることができる。また、処理単位は、入力画像の全画素について規定されていてもよいし、一部のみに規定されていてもよい。また、一つの入力画像に異なる画素数や形状の処理単位が混在していてもよい。画像情報は、画像情報解析部１０２により解析された情報を用いることができる。

ここで、入力画像から実物感を感じさせる一つの方法として、立体感、奥行き感を与える方法が挙げられる。立体感や奥行き感を覚える手掛かり、すなわち奥行き手掛かりは、片眼だけでも奥行きを知覚する単眼奥行き手掛かり（単眼立体情報）と、両眼を用いる両眼奥行き手掛かり（両眼立体情報）とに大別される。前者の例として、遮蔽（オクルージョン）、物の動き、空気遠近が挙げられ、後者の例としては、両眼視差が挙げられる。本技術では、単眼奥行き手掛かりのうち、速く動くものほど近くに、遅く動くものほど遠くにあるように知覚されるという被写体の動きを用いて、立体感、奥行き感を与えることができる。

フィルタ生成部１０４は、処理単位毎に、規定された制御量に基づいて、入力画像から動きを知覚させる出力画像群を生成することが可能な複数の空間フィルタを生成する。フィルタ生成部１０４は、例えばコントローラ１１によって実現される。ここでいう「動きを知覚させる出力画像群」とは、連続して再生した際に、実際の画像中における被写体の位置は変化しないが、輝度値の変化等によって被写体の輪郭が変化したように感じられ、動いている印象を与えることができる複数の画像を含む画像群をいう。本実施形態によれば、この輝度値の変化を、各処理単位毎に適用される空間フィルタによって実現することが可能となる。なお、処理単位が複数の画素を含む場合、フィルタ生成部１０４は、一つの処理単位内の各画素に対して一つの空間フィルタを生成することができる。

空間フィルタとは、一般に、空間フィルタリング処理に用い、所定の関数や行列により生成されるフィルタをいう。また、空間フィルタリング処理は、一般に、処理対象の画素（中心画素）を含む１又は複数の画素の輝度値等に重み付けを行い、所定の演算によって求めた値をその中心画素の値とする処理をいう。以下、ある中心画素に対して適用される空間フィルタの演算がなされる１又は複数の画素を、演算対象画素群とも称することとする。

本実施形態に係る複数の空間フィルタ各々は、位相パラメータの値がそれぞれ異なり三角関数により表現された関数をそれぞれ含んでいてもよく、より具体的には、複数の空間フィルタ各々は、位相パラメータの値がそれぞれ異なるガボール（Ｇａｂｏｒ）フィルタをそれぞれ含んでもよい。ここで、三角関数により表現された関数は、例えば、三角関数（ｓｉｎ関数及び／又はｃｏｓ関数であって、係数が付加されたものを含む）若しくはこれらの和や、三角関数と他の関数の積若しくはこれらの和、又は三角関数及び三角関数と他の関数の積の和等で表現された関数等が挙げられる。位相パラメータの値が異なるこのような空間フィルタを入力画像に適用することで、位相パラメータの値に応じて各処理単位の輝度値を周期的に変化させることができ、出力画像群として再生した際に被写体が動いている印象を与えることが可能となる。

フィルタ生成部１０４は、例えば、制御量に対応する各パラメータの値を代入した上記関数を算出することで、複数の空間フィルタを生成することができる。これらのパラメータの値は、制御量に対応付けられて記憶部１８に記憶されていてもよいし、パラメータの値を代入した関数が、制御量に対応付けて記憶されていてもよい。さらに、本実施形態において、フィルタ生成部１０４は、制御量のみならず、画像情報に基づいて、上記関数の一部の値を規定することも可能である。これにより、知覚させる動きだけでなく、各処理単位におけるエッジの強さ等を調整することも可能となる。

フィルタ生成部１０４による空間フィルタの作成タイミングについては、特に限定されない。例えば、各処理単位に対して空間フィルタをそれぞれ生成し、後述する処理実行部１０５で１つの出力画像を生成し、さらにこれらの処理を繰り返すことで処理単位毎に複数の空間フィルタを生成してもよい。あるいは、フィルタ生成部１０４が、処理単位毎に複数の空間フィルタを生成し、処理実行部１０５が、入力画像に当該複数の空間フィルタを適用し、出力画像群を生成してもよい。

処理実行部１０５は、入力画像の各処理単位に対してフィルタ生成部１０４により生成された複数の空間フィルタを適用し、出力画像群を生成する。すなわち、処理実行部１０５は、入力画像の各処理単位に対して複数の空間フィルタのうちの一つの空間フィルタをそれぞれ適用して一つの出力画像を生成し、この処理を各処理単位における複数の空間フィルタについて繰り返し行い、複数の出力画像を生成する。ここで、「出力画像群」とは、１つの入力画像から生成される複数の画像であって、所定の順序で連続的に再生された際に、所定の動きを知覚させることができる複数の画像をいう。

また、「各処理単位に対して空間フィルタを適用する」とは、具体的には、処理単位が一画素の場合は当該画素の輝度値に対し、あるいは処理単位に複数の画素が含まれる場合は当該複数の画素各々の輝度値に対し、生成された空間フィルタの畳み込み演算を実行することをいう。輝度値は、入力画像の色空間に応じて適切な輝度成分を選択することができる。例えば、入力画像がＹＵＶ形式の場合には、その輝度成分Ｙであってもよく、その他、ＣＩＥ−Ｌ^＊ａ^＊ｂ^＊空間の明度成分Ｌ^＊や、ＨＳＶ空間のＶ成分であってもよい。

表示部１０６は、処理実行部１０５によって生成された出力画像群を、所定の順序で連続的に表示する。表示部１０６は、例えば、ディスプレイ１６によって実現される。

［空間フィルタ］
本実施形態においては、空間フィルタとして、ガボールフィルタを用いることができる。ガボールフィルタは、以下の数１から数３で記述される関数ｆ（ｘ，ｙ，λ，ψ，γ，σ）で生成される２次元フィルタであり、数１に示すように、三角関数により表現された関数である。

図３Ａ，Ｂは、ガボールフィルタの具体的な形状の例を示す。同図中の平面Ｓ１，Ｓ２は、それぞれ、ｘｙ平面を示し、ｘｙ平面の法線方向はフィルタの強度を示す。ガボールフィルタの形状は、これらの図に示すように、包絡線を有する、いわゆるメキシカンハット形状を示す。すなわち、図３Ａのガボールフィルタは、強度の高いピークＰ１１と強度の低いボトムＢ１１とを有し，図３Ｂのガボールフィルタは、同様に、ピークＰ２１と、ボトムＢ２１，Ｂ２２を有する。

図３Ｂは、例えば、中央部に強いピークＰ２１があり、その両脇にボトムＢ２１，Ｂ２２が存在する。一方、図３Ａは、ピークＰ１１の位置が中央からずれており、ボトムＢ１１も一箇所である。このような形状は、以下に説明するパラメータｘ，ｙ，λ，ψ，γ，σ及び係数Ａによって規定される。

数１において、ｘ、ｙは、入力画像上の座標値を示し、より詳しくは、演算対象画素群の各画素の位置が（ｘ、ｙ）の値によって規定される。また、ｘ，ｙの値の範囲は、フィルタサイズとして規定され得る。フィルタサイズは、ここではｘ、ｙの２次元のフィルタサイズをいい、演算対象画素群の範囲を定めるパラメータである。パラメータとしてのフィルタサイズ(filter_size)は、例えば、中心画素を含むｐ×ｐ画素に適用可能なサイズの場合、ｐ＝２×（filter_size）＋１ を満たす値としてもよい。フィルタサイズは、例えば、１×１〜９×９程度とすることができる。

図３Ａ，Ｂのようなガボールフィルタをある画素（中心画素）に対して適用した場合、強度が高いピーク等の座標（ｘ、ｙ）に対応する演算対象画素群中の画素の重みは大きくなり、強度が低いボトム等の座標（ｘ、ｙ）に対応する演算対象画素群中の画素の重みは小さくなる。すなわち、形状が異なるガボールフィルタをある画素にそれぞれ適用すると、演算対象画素群の重み付けの分布が異なり、当該画素の輝度値も異なることとなる。

数１におけるλは、ガボールフィルタの波形のトップからトップ、又はボトムからボトムまでの周期を既定するパラメータである。λの値が大きいと、周期が短くなるため、ピークとボトムが多数存在するようになり、いわゆる高域フィルタとして振る舞うことなる。一方、λを小さくすると、周期が長くなってピークとボトムが少なくなるため、いわゆる低域フィルタとして振る舞うこととなる。

数１におけるγは、ガボールフィルタの形状のｘｙ対称性を規定するパラメータであり、γが１より小さい値になると、楕円運動のように歪んだ動きが知覚される傾向となる。

数１におけるσは、ガボールフィルタの包絡線（envelope）の勾配を規定するパラメータである。σの値は特に限定されないが、σの値が大きくなるとボケが大きくなる傾向となり、σの値が小さくなるとエッジが強調される傾向となり得る。σの値は、本実施形態において、フィルタサイズ（上記のｐ）の１／３程度の値とすることができる。

数２，３におけるθは、ｘｙ平面上におけるガボールフィルタの回転角を示す値であり、感じさせようとする動きの向きを規定するパラメータである。図３Ａに示すフィルタと図３Ｂに示すフィルタとは、それぞれ異なる値のθを有するフィルタである。これらの図に示すように、図３Ｂに示す形状は、図３Ａに示す形状から見て、ｘｙ平面の法線成分を中心に回転している。

数１におけるＡは、ガボールフィルタ関数の係数であって、画像情報に基づいて規定され得る。例えば、Ａの数値が小さいほど入力画像の画質に近い印象となり、Ａの数値が大きいとフィルタが強調され、ボケが大きくなる傾向となり得る。

数１におけるψは、ガボールフィルタの位相パラメータであり、動きの大きさや画像の変化の見え方等を規定するパラメータである。より具体的には、ψは、メキシカンハット形状のピークとボトムの高さ（強度）と位置を決定する（図３Ａ，Ｂ参照）。すなわち、ψの値を変化させることで、ピークとボトムの位置を変化させることができる。

本実施形態において、フィルタ生成部１０４は、処理単位毎に、上記各パラメータのうちの少なくとも一部の値を制御量に基づいて設定し、ガボールフィルタの関数を生成することができる。具体的には、例えば、動きの大きさをψ及びfilter_sizeの値、動きの向きをθの値により規定することができる。また、ψ、filter_size、θ以外のパラメータについては、画像情報に基づいて規定することも可能であるし、予め設定されていてもよい。例えば、シーン情報に基づいてσの値を設定することで、構図の種類に応じてエッジの鋭敏さを調整することが可能となる。

また、フィルタ生成部１０４は、相互に異なる複数のψの値を設定することができる。より具体的には、フィルタ生成部１０４は、これら複数のψの値を値が小さい順に並べた一つの数列と見た場合、制御量により規定された動きの大きさが大きいほど、隣り合う２項の値の差を大きく設定することができる。例えば、複数のψの値は、等差数列となっていてもよい。また、三角関数の位相パラメータであるψは、一般に、２πの周期性を持つため、上記複数のψの値は、２π以下の数値で設定されていてもよい。これにより、各処理単位に対し、ピークとボトムの位置を所定の間隔で変化させたガボールフィルタを適用することができ、出力画像群を再生すると、当該フィルタを適用した画素の輝度値が連続的に変化したように感じられる。したがって、画像全体で見ると、被写体が動いているように感じられることとなり得る。

一方、本技術は、ガボールフィルタの他にも、ガウス関数を用いた空間フィルタを適用することもできる（非特許文献１参照）。このような空間フィルタは、例えば、ガウス関数Ｇ（ｘ）の２次微分関数Ｇ"（ｘ）とＧ"（ｘ）の直交関数Ｈ（ｘ）を組み合わせた関数Ｆ（ｘ，ｔ）を用いるものである。具体的には、数４に示すように、Ｇ"（ｘ）とＨ（ｘ）の加重平均により算出され、位相パラメータとして、時刻ｔを有する。

図４Ａは、Ｇ（ｘ）（符号Ｇ０）と、Ｇ'（ｘ）（符号Ｇ１）、Ｇ"（ｘ）（符号Ｇ２）の形状例を示すグラフであり、図４Ｂは、Ｇ"（ｘ）（符号Ｇ２）とＨ（ｘ）（符号Ｈ）、空間フィルタとして用いるＦ（ｘ，ｔ）（符号Ｆ）の形状例を示すグラフである。ここでＨ（ｘ）は、Ｇ"（ｘ）のヒルベルト（Hilbert）変換から導かれる。ヒルベルト変換では、離散フーリエ変換で実数部と虚数部のフーリエ係数を導出し、その係数を変換した後に、フーリエ逆変換を行う。さらに、数４に示すように、Ｇ"（ｘ）とＨ（ｘ）に重み付けとして三角関数を用いることで、時刻ｔに対し周期的な特性を持つ位相フィルタが作成できる。

図５は、異なる時刻ｔにおけるＦ（ｘ，ｔ）の形状例を示すグラフである。このように、数４に示す関数を用いた空間フィルタを適用した場合も、位相パラメータであるｔを変化させることにより、時刻によって異なる複数の出力画像が得られ、これらを連続的に再生することで動いている印象を与えることができる出力画像群が生成できる。

なお、数４及び図４，５では、説明のため１次元フィルタを示しているが、実際の入力画像には、さらにパラメータｙを含む２次元フィルタを用いることとなる。

本実施形態においては、ガボールフィルタを用いることができる。これにより、ヒルベルト変換を必要とするガウス関数を用いた空間フィルタよりも演算コストを大きく低減することができる。また、ガボールフィルタによれば、上述のように、生成したいフィルタの形状から設定すべきパラメータの値を直感的に決定しやすく、空間フィルタの生成も容易になる。

[画像処理装置の動作例]
図６は、画像処理装置１００の動作を示すフローチャートである。

まず、画像取得部１０１が、入出力インタフェース１５を介して処理対象の入力画像を取得する（ＳＴ６１）。処理対象の入力画像は、例えば、図示しない撮像装置等により撮像された１枚の静止画像とするが、動画の１フレームとしてもよい。

続いて、画像情報解析部１０２が、取得された入力画像から画像情報を解析する（ＳＴ６２）。

具体的には、例えば、奥行き情報解析部１０２ａが、奥行き情報を解析する。ここでは、解析された奥行き情報を、デプス画像として記憶部１８が記憶するものとする。

また、シーン情報推定部１０２ｂの構図推定部１０２ｆが、入力画像に写された空間の構造を推定し、例えば、室内、近景、遠景等の分類を行う。同じくシーン情報推定部１０２ｂの被写体推定部１０２ｇが、入力画像の被写体の種類を推定し、例えば、人物、自然風景、都市風景等の分類を行う。

また、消失点・消失線推定部１０２ｃが、入力画像の消失点及び消失線の少なくとも一方について推定し、入力画像に割り当てられたＸＹ座標と対応付けて消失点・消失線の情報を記憶させる。

また、動きベクトル推定部１０２ｄは、入力画像が同一の被写体をそれぞれ含み時間的に連続して再生され得る複数の画像のうちの一つの入力画像である場合に、これら複数の画像から推定される、被写体の当該入力画像における動きベクトルを推定する。

さらに、注視領域推定部１０２ｅが、入力画像のうち注視されると推定される注視領域を推定する。

続いて、制御量規定部１０３が、これらの画像情報に基づいて、処理単位毎に知覚させる動きの制御量を規定する（ＳＴ６３）。制御量規定部１０３は、具体的には、処理単位毎に、制御量として、動きの大きさを規定する奥行き量と、動きの向きを規定するｘｙ座標値とを規定する。以下、画像情報に基づく制御量の規定例について説明する。

制御量規定部１０３は、例えば、奥行き情報解析部１０２ａにより解析された奥行き情報に基づいて、奥行きが浅い処理単位の方が、奥行きが深い処理単位よりも動きを大きく知覚させるように制御量を規定することができる。これにより、奥行き感（立体感）を感じさせることが可能となる。あるいは、制御量規定部１０３は、例えば、奥行き情報解析部１０２ａにより解析された奥行きが浅い被写体と深い被写体とで動きを感じさせる方向を異なる方向に規定することもできる。

制御量規定部１０３は、例えば、シーン情報推定部１０２ｂによりシーン情報が推定された場合、当該シーン情報に基づいて処理単位毎の制御量を規定することができる。

より具体的に、制御量規定部１０３は、例えば、構図推定部１０２ｆにより、入力画像のシーンが室内や近景であると分類された場合、被写体の動きを大きくするように制御量を規定することができる。これにより、より被写体が近い印象を与え、自然な実物感を与えることができる。あるいは、入力画像のシーンが室内や近景であると分類された場合、奥行き情報解析部１０２ａにより近くにあると解析された被写体と遠くにあると解析された被写体とで動きの大きさの差を大きくすることも可能である。これにより、より立体感を強調することができる。

また、制御量規定部１０３は、例えば、被写体推定部１０２ｇにより人物であると推定された被写体に対しては、動きを与えないように制御量を規定することができる。これにより、人物である被写体を自然に見せることが可能となる。

制御量規定部１０３は、例えば、消失点・消失線推定部１０２ｃにより、消失点及び消失線の少なくとも一方の位置が推定された場合には、消失点及び消失線の少なくとも一方に向かっていくような動き、又は離れていくような動きを知覚させるように制御量を規定することができる。例えば、制御量規定部１０３は、消失点の位置が推定された場合には、消失点を中心とする方向に動きを感じさせるように制御量を規定することができる。これにより、より奥行き感、立体感を感じさせることが可能となる。

制御量規定部１０３は、例えば、動きベクトル推定部１０２ｄにより動きベクトルが推定された場合、当該動きベクトルに基づいて、動きの大きさ及び向きを制御量として規定することができる。より具体的には、制御量規定部１０３は、当該動きベクトルにより表現される被写体の動きの大きさや向きに基づいて動きを感じさせるように、制御量を規定することができる。これにより、被写体がより自然に動いているように感じさせることができる。

制御量規定部１０３は、例えば、注視領域推定部１０２ｅにより注視領域が推定された場合、注視領域と注視領域以外の領域とで異なる制御量を規定することができる。より具体的には、制御量規定部１０３は、注視領域を他の領域よりも被写体の動きをより大きく感じさせるように制御量を規定することができる。あるいは、注視領域の被写体の動きを、周辺の領域の動きとわずかに変化させるように制御量を規定することもできる。

続いて、フィルタ生成部１０４が、処理単位毎に、規定された制御量に基づいて、入力画像から動きを知覚させる出力画像群を生成することが可能な複数の空間フィルタを生成する（ＳＴ６４）。フィルタ生成部１０４は、例えば、処理単位毎の制御量のうち、動きの大きさに対応する位相ψ及びfilter_sizeの値と、動きの向きに対応するθの値とを規定する。フィルタ生成部１０４は、各処理単位にこれらのパラメータの値を代入したガボールフィルタの関数（数１参照）をそれぞれ算出する。

この場合、フィルタ生成部１０４は、上述のように複数のψの値を設定することができ、これら複数のψの値を小さい値から順に並べて数列を構成した場合、隣り合う２つの項の差を制御量に基づいて設定することができる。また、動きが大きいほど、隣り合う２つの項のψの値の差を大きく設定することができるし、上記複数のψの値の範囲を、ψの２π周期性に鑑み［０，２π］の範囲で設定してもよい。これにより、処理単位毎にψの値が異なる複数の空間フィルタが生成される。

続いて、処理実行部１０５が、入力画像の各処理単位に対して複数の空間フィルタを適用し、出力画像群を生成する（ＳＴ６５）。処理実行部１０５は、まず、入力画像の各処理単位に対して複数の空間フィルタのうちの一つの空間フィルタをそれぞれ適用して一つの出力画像を生成し、この処理を各処理単位における複数の空間フィルタについて繰り返し行い、複数の出力画像を生成する。

最後に、表示部１０６は、生成された出力画像群を、所定のタイミングで順次表示する。

以上のように、本実施形態によれば、１つの入力画像から動いている印象を与えることができる出力画像群を生成することができ、当該動きを画像情報に基づいて規定することが可能となる。これにより、より奥行き感、立体感及び実物感が感じられる出力画像群を生成することが可能となる。

さらに、本実施形態によれば、空間フィルタとしてガボールフィルタを用いるため、比較的演算コストを低減することができる。また、生成したいフィルタの形状から設定すべきパラメータの値を直感的に設定しやすいため、空間フィルタの生成を容易に行うことができる。

［変形例１−１］
上述の実施形態においては、フィルタ生成部１０４が制御量に対応する各パラメータの値を代入した関数を算出し、複数の空間フィルタを生成することができると説明したが、これに限定されない。例えば、記憶部１８が、複数の空間フィルタとして適用されることが可能な複数の配列群を含むルックアップテーブルを記憶しており、フィルタ生成部１０４は、処理単位毎に、記憶されたルックアップテーブルから制御量に基づいて配列群を選択してもよい。ここでいう一つの配列群は、一つの画素（中心画素）に適用し得る空間フィルタを構成する配列群であり、例えば、演算対象画素群の各画素に割り当てられる重み付けの値を規定するものである。一つの配列群に含まれる配列数は、filter_sizeによって規定され得る。

フィルタ生成部１０４が関数を用いた空間フィルタを適用する場合、一つの配列群は、演算対象画素群の各画素に対応する座標パラメータ（ｘ、ｙ）の値がそれぞれ代入された複数の配列を含んでもよい。また、処理単位毎に配列群を選択する場合には、フィルタ生成部１０４は、制御量に基づいてパラメータの値が代入された関数に対応する複数の配列群であって、位相パラメータの値が異なる複数の配列群を選択することができる。

これにより、空間フィルタを処理毎に生成する上記実施形態と同様の作用効果が得られるとともに、空間フィルタを繰り返し生成する手間を省き、処理コストを大幅に低減することが可能となる。

なお、記憶部１８は、制御量に直接対応付けて各配列群を記憶していてもよい。これにより、フィルタ生成部１０４が、ルックアップテーブル中の配列群から制御量に基づいて円滑に配列群を選択することが可能となり、より処理コストを低減することができる。あるいは、記憶部１８は、空間フィルタに用いる関数に対応付けて各配列群を記憶していてもよい。

［変形例１−２］
上述の実施形態においては、特徴量として、奥行き情報、シーン情報、消失点・消失線の情報、動きベクトルの情報、及び注視領域についての情報の全てを用いると説明したが、これらのうちの少なくとも一つを用いてもよい。

あるいは、特徴量として、上記以外の要素を用いることもできる。

さらに、画像情報は、特徴量に限定されない。例えば、画像情報として、入力画像のメタデータを用いることが可能である。当該メタデータとしては、例えば、レンズの焦点距離や、撮影場所等の情報を挙げることができる。

［変形例１−３］
上述の実施形態においては、空間フィルタとして、ガボールフィルタを用いると説明したが、これに限定されない。例えば、空間フィルタの一例として挙げたガウス関数を用いた空間フィルタでもよいし（数４、図４，５参照）、三角関数により表現されたその他の関数を用いてもよい。また例えば、空間フィルタとして、ガボールフィルタと他の関数とを組み合わせたフィルタを用いることもできる。また、入力画像から動きを知覚させる出力画像群を生成することが可能な複数の空間フィルタを生成可能な関数であれば、三角関数により表現された関数にも限定されない。

［変形例１−４］
上述の実施形態においては、制御量は、動きの大きさを規定する値及び動きの向きを規定するｘｙ座標や、動きの大きさ及び向きを示す動きベクトルであってもよいと説明したが、これに限定されない。例えば、制御量は、空間フィルタに用いられる関数のパラメータの値として規定されてもよい。また、制御量は、感じさせようとする動きの大きさ及び向きの少なくとも一方を規定する量に限定されず、当該動きの速さや加速度を規定する量等であってもよい。あるいは、当該動きが回転運動である場合は、当該動きの回転量や回転速度であってもよい。

［変形例１−５］
以上の実施形態では、空間フィルタについて、制御量に対応するパラメータ以外のパラメータの値は予め設定されていてもよいと説明したが、これに限定されない。例えば、フィルタ生成部１０４が画像情報に基づいて制御量に対応するパラメータ以外の値を設定してもよい。例えば、シーン情報から被写体が自然風景であると推定された場合、例えばσの値を大きめに設定することができる。これにより、被写体のエッジを強調しすぎることなく、自然風景らしいより実物感のある出力画像群を提供することが可能となる。また、被写体が都市風景であると推定された場合は、例えば、σの値を小さめに設定することができる。これにより、被写体のエッジを強調し、人工物の多い都市の雰囲気をより演出することができる。

したがって、本変形例により、画像情報を有効活用して、より実物感のある出力画像を提供することが可能となる。

［変形例１−６］
あるいは、制御量に対応するパラメータ以外の値は、ユーザが設定可能に構成されてもよい。この場合は、例えば、予め数種類のパターンのパラメータの値を設定しておき、ユーザの入力に基づいて、これらのパターンが選択されることが可能に構成されてもよい。上記パターンは、例えば、エッジを強調するモードやエッジを強調しないモード、高画質に見えるモードなど、ユーザの好みに応じて選択可能に決定されてもよい。ガボールフィルタを適用する場合、例えば、エッジを強調するモードでは、σの値を小さめに設定することができ、エッジを強調しないモードでは、σの値を大きめに設定することができる。また、高画質に見えるモードでは、Ａの値を小さめに設定したり、γの値を大きめに設定することができる。

これにより、ユーザが自分の好みに応じて出力画像群を制御することができ、よりユーザの満足度を高めることができる。

＜第２の実施形態＞
［画像処理システムのハードウェア構成］
図７は、本技術の第２の実施形態に係る画像処理システム２のハードウェア構成を示すブロック図である。同図において、画像処理システム２は、クラウドシステムであり、画像処理装置２００と、表示装置２６０とを備える。画像処理装置２００及び表示装置２６０は、ネットワークＮを介して相互に接続されている。表示装置２６０は、例えばＰＣ、タブレットＰＣ、スマートフォン、タブレット端末等のユーザ端末として構成され、画像処理装置２００は、例えばネットワークＮ上のサーバ装置（情報処理装置）として構成される。

画像処理システム２は、以下のような動作が可能に構成される。すなわち、表示装置２６０から送信された入力画像に対し、画像処理装置２００が画像情報を抽出し、空間フィルタを生成して出力画像群を生成し、当該出力画像群を表示装置２６０へ送信する。そして、表示装置２６０が、受信した出力画像群を表示する。

表示装置２６０は、コントローラ２６１、ＲＯＭ２６２、ＲＡＭ２６３、入出力インタフェース２６５、及び、これらを互いに接続するバス２６４を備える。さらに、入出力インタフェース２６５には、ディスプレイ２６６、操作受付部２６７、記憶部２６８、通信部２６９等が接続される。コントローラ２６１、ＲＯＭ２６２、ＲＡＭ２６３、バス２６４、入出力インタフェース２６５、ディスプレイ２６６、操作受付部２６７、記憶部２６８、及び通信部２６９は、それぞれ、コントローラ１１、ＲＯＭ１２、ＲＡＭ１３、バス１４、入出力インタフェース１５、ディスプレイ１６、操作受付部１７、記憶部１８、及び通信部１９と同様の構成であるため、その説明を省略する。なお、表示装置２６０の入出力インタフェース２６５には、図示しない撮像部等が接続されていてもよい。

画像処理装置２００は、コントローラ２１、ＲＯＭ２２、ＲＡＭ２３、入出力インタフェース２５、及び、これらを互いに接続するバス２４を備える。さらに、入出力インタフェース２５には、操作受付部２７、記憶部２８、通信部２９等が接続される。コントローラ２１、ＲＯＭ２２、ＲＡＭ２３、バス２４、入出力インタフェース２５、ディスプレイ２６、操作受付部２７、記憶部２８、及び通信部２９は、それぞれ、コントローラ１１、ＲＯＭ１２、ＲＡＭ１３、バス１４、入出力インタフェース１５、操作受付部１７、記憶部１８、及び通信部１９と同様の構成であるため、その説明を省略する。

［画像処理システムの機能的構成］
図８は、画像処理システム２の機能的構成を示すブロック図である。同図に示すように、画像処理システム２は、画像取得部２０１と、画像情報解析部２０２と、制御量規定部２０３と、フィルタ生成部２０４と、処理実行部２０５と、表示部２０６とを備える。このうち画像処理装置２００は、画像取得部２０１と、画像情報解析部２０２と、制御量規定部２０３と、フィルタ生成部２０４と、処理実行部２０５とを備える。表示装置２６０は、表示部２０６を備える。

上記各要素は、画像処理装置１００の画像取得部１０１と、画像情報解析部１０２と、制御量規定部１０３と、フィルタ生成部１０４と、処理実行部１０５と、表示部１０６と同様の構成を有する。すなわち、画像取得部２０１は、処理対象の入力画像を取得する。画像情報解析部２０２は、取得された入力画像から画像情報を解析し、奥行き情報解析部２０２ａと、シーン推定部２０２ｂと、消失点・消失線推定部２０２ｃと、動きベクトル推定部２０２ｄと、注視領域推定部２０２ｅとを有する。フィルタ生成部２０４は、処理単位毎に、規定された制御量に基づいて、入力画像から動きを知覚させる出力画像群を生成することが可能な複数の空間フィルタを生成する。処理実行部２０５は、入力画像の各処理単位に対してフィルタ生成部２０４により生成された複数の空間フィルタを適用し、出力画像群を生成する。表示部２０６は、処理実行部２０５により生成された出力画像群を所定の順序で連続的に表示する。これら各要素の詳細な説明は省略する。

なお、画像取得部２０１は、例えば、表示装置２６０から通信部２６９，２９を介して送信され、記憶部２８に記憶された画像を入力画像として取得してもよい。あるいは、ユーザによる表示装置２６０の操作に基づき、ネットワーク上のデータベース等に記憶された画像を入力画像として取得してもよい。

処理実行部２０５によって生成された出力画像群は、通信部２９，２６９を介して表示装置２６０へ送信され、表示部２０６により表示される。表示部２０６は、例えば、表示装置２６０のディスプレイ２６６によって実現される。

以上のような構成の画像処理装置２００であっても、画像処理装置１００と同様に、画像情報に基づいて奥行き感、立体感及び実物感が感じられる出力画像群を生成することが可能となる。

さらに本実施形態によれば、クラウドシステムを利用して、動きを知覚できる出力画像群を生成することが可能となる。これにより、画像処理による表示装置２６０等のユーザ端末の負荷を軽減しつつ、ユーザに対し出力画像群を表示させることが可能となる。

＜第３の実施形態＞
［画像処理システムの概略構成］
図９は、本技術の第３の実施形態に係る画像処理システム３の概略構成を示すブロック図である。同図において、画像処理システム３は、クラウドシステムであり、画像処理装置３００と、表示装置３６０とを備える。画像処理装置３００及び表示装置３６０は、ネットワークＮを介して相互に接続されている。表示装置３６０は、ユーザ端末として構成され、画像処理装置３００は、例えばネットワークＮ上のサーバ装置（情報処理装置）として構成される。なお、画像処理装置３００及び表示装置３６０のハードウェア構成は、それぞれ画像処理装置２００及び表示装置２６０のハードウェア構成と同様であるため、説明を省略する。

画像処理システム３は、以下のような動作が可能に構成される。すなわち、表示装置３６０から送信された入力画像に対し、画像処理装置３００が画像情報を抽出し、空間フィルタを生成してこれを表示装置３６０に送信する。表示装置３６０は、画像処理装置３００から受信した空間フィルタを入力画像に適用することで出力画像群を生成し、これを表示する。

［画像処理システムの機能的構成］
図１０は、画像処理システム３の機能的構成を示すブロック図である。同図に示すように、画像処理システム３は、画像取得部３０１と、画像情報解析部３０２と、制御量規定部３０３と、フィルタ生成部３０４と、処理実行部３０５と、表示部３０６とを備える。このうち画像処理装置３００は、画像取得部３０１と、画像情報解析部３０２と、制御量規定部３０３と、フィルタ生成部３０４とを備える。表示装置３６０は、処理実行部３０５と、表示部３０６とを備える。

上記各要素は、画像処理装置１００の画像取得部１０１と、画像情報解析部１０２と、制御量規定部１０３と、フィルタ生成部１０４と、処理実行部１０５と、表示部１０６と同様の構成を有する。すなわち、画像取得部３０１は、処理対象の入力画像を取得する。画像情報解析部３０２は、取得された入力画像から画像情報を解析し、奥行き情報解析部３０２ａと、シーン推定部３０２ｂと、消失点・消失線推定部３０２ｃと、動きベクトル推定部３０２ｄと、注視領域推定部３０２ｅとを有する。フィルタ生成部３０４は、処理単位毎に、規定された制御量に基づいて、入力画像から動きを知覚させる出力画像群を生成することが可能な複数の空間フィルタを生成する。処理実行部３０５は、入力画像の各処理単位に対してフィルタ生成部２０４により生成された複数の空間フィルタを適用し、出力画像群を生成する。表示部３０６は、処理実行部３０５によって生成された出力画像群を、所定の順序で連続的に表示する。これら各要素の詳細な説明は省略する。

画像処理装置３００のフィルタ生成部３０４により生成された複数の空間フィルタは、通信部（図示せず）を介して表示装置３６０に送信される。この際、入力画像もともに送信されてもよいし、表示装置３６０の記憶部（図示せず）に入力画像が記憶されている場合は、空間フィルタのみ送信されてもよい。送信される各空間フィルタには、それぞれ、適用される入力画像の画素の位置情報や、当該画素に適用される複数の空間フィルタの中での再生順序等の情報が対応付けられている。

処理実行部３０５は、例えば、表示装置３６０のコントローラ（図示せず）により実現される。処理実行部３０５は、各空間フィルタに対応付けられた情報に基づいて、入力画像の各処理単位に対し、送信された空間フィルタを適用し、出力画像群を生成する。

表示部３０６は、例えば、表示装置３６０のディスプレイ（図示せず）により実現される。表示部３０６により、表示装置３６０から出力画像群が所定の間隔で順次表示される。

以上のような構成の画像処理装置３００であっても、画像処理装置１００と同様に、奥行き感、立体感及び実物感が感じられる出力画像群を生成することが可能となる。さらに本実施形態によれば、第２の実施形態と同様に、クラウドシステムを利用して、動きを知覚できる出力画像群を生成することが可能となる。

＜第４の実施形態＞
［画像処理システムの概略構成］
図１１は、本技術の第４の実施形態に係る画像処理システム４の概略構成を示すブロック図である。同図において、画像処理システム４は、クラウドシステムであり、画像処理装置４００と、表示装置４６０とを備える。画像処理システム４の画像処理装置４００と表示装置４６０とは、ネットワークＮを介して相互に接続されている。表示装置４６０は、ユーザ端末として構成され、画像処理装置４００は、例えばネットワークＮ上のサーバ装置（情報処理装置）として構成される。なお、画像処理装置４００及び表示装置４６０のハードウェア構成は、画像処理装置２００及び表示装置２６０のハードウェア構成と同様であるため、説明を省略する。

画像処理システム４は、以下のような動作が可能に構成される。すなわち、表示装置４６０が、入力画像から画像情報を解析し、入力画像とともに画像処理装置４００に送信する。画像処理装置４００は、画像情報に基づいて空間フィルタを生成して出力画像群を生成し、表示装置４６０に送信する。さらに表示装置４６０は、この空間フィルタを入力画像に適用することで、出力画像群を生成し、再生する。

［画像処理システムの機能的構成］
図１２は、画像処理システム４の機能的構成を示すブロック図である。同図に示すように、画像処理システム４は、画像取得部４０１と、画像情報解析部４０２と、制御量規定部４０３と、フィルタ生成部４０４と、処理実行部４０５と、表示部４０６とを備える。このうち画像処理装置４００は、制御量規定部４０３と、フィルタ生成部４０４と、処理実行部４０５とを備える。表示装置４６０は、画像取得部４０１と、画像情報解析部４０２と、表示部４０６とを備える。

上記各要素は、画像処理装置１００の画像取得部１０１と、画像情報解析部１０２と、制御量規定部１０３と、フィルタ生成部１０４と、処理実行部１０５と同様の構成を有する。すなわち、画像取得部４０１は、処理対象の入力画像を取得する。画像情報解析部４０２は、取得された入力画像から画像情報を解析し、奥行き情報解析部４０２ａと、シーン推定部４０２ｂと、消失点・消失線推定部４０２ｃと、動きベクトル推定部４０２ｄと、注視領域推定部４０２ｅとを有する。フィルタ生成部４０４は、処理単位毎に、規定された制御量に基づいて、入力画像から動きを知覚させる出力画像群を生成することが可能な複数の空間フィルタを生成する。処理実行部４０５は、入力画像の各処理単位に対してフィルタ生成部２０４により生成された複数の空間フィルタを適用し、出力画像群を生成する。表示部４０６は、処理実行部４０５によって生成された出力画像群を、所定の順序で連続的に表示する。これら各要素の詳細な説明は省略する。

画像取得部４０１と、画像情報解析部４０２とは、例えば表示装置４６０のコントローラ（図示せず）により実現される。入力画像を表示装置４６０により解析された画像情報は、表示装置４６０及び画像処理装置４００各々の通信部（図示せず）を介して画像処理装置４００に送信される。なお、この際、入力画像は、画像情報とともに送信されてもよいし、送信されなくてもよい。

表示部４０６は、例えば、表示装置４６０のディスプレイ（図示せず）により実現される。表示部４０６は、表示部２０６と同様に、ユーザの操作等に基づいて、出力画像群を所定の順序で連続的に表示する。これにより、表示装置４６０から出力画像群が順次表示される。

以上のような構成の画像処理装置４００であっても、画像処理装置１００と同様に、奥行き感、立体感及び実物感が感じられる出力画像群を生成することが可能となる。さらに本実施形態によれば、第２の実施形態と同様に、クラウドシステムを利用して、動きを知覚できる出力画像群を生成することが可能となる。

［変形例４−１］
上述の第４の実施形態では、画像処理装置４００が、制御量規定部４０３と、フィルタ生成部４０４と、処理実行部４０５とを備えると説明したが、これに限定されない。例えば、画像処理装置４００が処理実行部４０５を備えず、表示装置４６０が処理実行部４０５を備える構成としてもよい。この場合は、第３の実施形態と同様に、画像処理装置４００のフィルタ生成部４０４により生成された複数の空間フィルタが、図示しない通信部を介して表示装置４６０に送信され、表示装置４６０側で出力画像群が生成される。このような構成によっても、上述の実施形態と同様の作用効果を得ることができる。

［変形例４−２］
上述の第４の実施形態では、表示装置４６０が画像情報解析部４０２を備えると説明したが、これに限定されず、例えば図１３に示すように、画像処理装置４００が画像情報解析部４０２と、制御量規定部４０３と、フィルタ生成部４０４と、処理実行部４０５とを備えていてもよい。すなわち、表示装置４６０の画像取得部４０１により取得された入力画像が、表示装置４６０及び画像処理装置４００各々の通信部（図示せず）を介して画像処理装置４００に送信される。画像処理装置４００は、当該入力画像を用いて処理を行い、表示装置４６０からの要求等に応じて表示装置４６０へ出力画像群を送信する。このような構成によっても、上述の実施形態と同様の作用効果を得ることができる。

さらに、本発明は上述の実施形態にのみ限定されるものではなく、本開示の要旨を逸脱しない範囲内において種々変更され得る。また、上述の第１〜第４の各実施形態及び各実施例は、矛盾が生じない限り如何様にも組み合わされて実行され得る。

なお、本技術は以下のような構成もとることができる。
（１）複数の処理単位を含む入力画像の画像情報に基づいて、処理単位毎に知覚させる動きの制御量を規定する制御量規定部と、
上記処理単位毎に、上記規定された制御量に基づいて、上記入力画像から上記動きを知覚させる出力画像群を生成することが可能な複数の空間フィルタを生成するフィルタ生成部と
を具備する画像処理装置。
（２）上記（１）に記載の画像処理装置であって、
上記制御量は、上記知覚させる動きの大きさ及び向きの少なくとも一方を規定する量である
画像処理装置。
（３）上記（１）又は（２）に記載の画像処理装置であって、
上記画像情報は、上記入力画像から抽出された特徴量を含む
画像処理装置。
（４）上記（３）に記載の画像処理装置であって、
上記特徴量は、上記入力画像の奥行き情報を含み、
上記制御量規定部は、上記奥行き情報に基づいて、奥行きが浅い位置処理単位の方が、奥行きが深い処理単位よりも上記動きを大きく知覚させるように上記制御量を規定する
画像処理装置。
（５）上記（３）又は（４）に記載の画像処理装置であって、
上記特徴量は、上記入力画像から推定されるシーンについてのシーン情報を含み、
上記制御量規定部は、上記シーン情報に基づいて処理単位毎の制御量を規定する
画像処理装置。
（６）上記（５）に記載の画像処理装置であって、
上記シーン情報は、上記入力画像中の空間の構造についての情報を含む
画像処理装置。
（７）上記（５）又は（６）に記載の画像処理装置であって、
上記シーン情報は、上記入力画像の被写体の種類についての情報を含む
画像処理装置。
（８）上記（３）から（７）のいずれか１つに記載の画像処理装置であって、
上記特徴量は、上記入力画像の消失点及び消失線の少なくとも一方の位置についての情報を含み、
上記制御量規定部は、消失点及び消失線の少なくとも一方に向かっていくような動き、又は離れていくような動きを知覚させるように制御量を規定する
画像処理装置。
（９）上記（３）から（８）のいずれか１つに記載の画像処理装置であって、
上記入力画像は、同一の被写体をそれぞれ含み時間的に連続して再生され得る複数の画像のうちの一つの画像であり、
上記特徴量は、上記複数の画像から推定される、上記被写体の上記入力画像における動きベクトルについての情報を含み、
上記制御量規定部は、上記動きベクトルに基づいて、上記動きの大きさ及び向きを制御量として規定する
画像処理装置。
（１０）上記（３）から（９）のいずれか１つに記載の画像処理装置であって、
上記特徴量は、上記入力画像のうち注視されると推定される注視領域についての情報を含み、
上記制御量規定部は、上記注視領域と上記注視領域以外の領域とで異なる上記制御量を規定する
画像処理装置。
（１１）上記（１）から（１０）のいずれか１つに記載の画像処理装置であって、
上記入力画像を取得する画像取得部と、
上記入力画像から上記画像情報を解析する画像情報解析部とをさらに具備する
画像処理装置。
（１２）上記（１）から（１１）のいずれか１つに記載の画像処理装置であって、
上記複数の空間フィルタ各々は、位相パラメータの値がそれぞれ異なり三角関数により表現された関数を含む
画像処理装置。
（１３）上記（１２）に記載の画像処理装置であって、
上記複数の空間フィルタ各々は、位相パラメータの値がそれぞれ異なるガボールフィルタをそれぞれ含む
画像処理装置。
（１４）上記（１）から（１３）のいずれか１つに記載の画像処理装置であって、
上記複数の空間フィルタとして適用されることが可能な複数の配列群を含むルックアップテーブルを記憶する記憶部を具備し、
上記フィルタ生成部は、上記処理単位毎に、上記ルックアップテーブルから上記制御量に基づいて配列群を選択する
画像処理装置。
（１５）上記（１）から（１４）のいずれか１つに記載の画像処理装置であって、
上記入力画像の各処理単位に対して上記複数の空間フィルタを適用して出力画像群を生成する処理実行部をさらに具備する
画像処理装置。
（１６）複数の処理単位を含む入力画像の画像情報に基づいて、処理単位毎に知覚させる動きの制御量を規定し、
上記処理単位毎に、上記規定された制御量に基づいて、上記入力画像から上記動きを知覚させる出力画像群を生成することが可能な複数の空間フィルタを生成する
画像処理方法。
（１７）情報処理装置に、
複数の処理単位を含む入力画像の画像情報に基づいて、処理単位毎に知覚させる動きの制御量を規定するステップと、
上記処理単位毎に、上記規定された制御量に基づいて、上記入力画像から上記動きを知覚させる出力画像群を生成することが可能な複数の空間フィルタを生成するステップと
を実行させるプログラム。

１０１，２０１，３０１，４０１…画像取得部
１０２，２０２，３０２，４０２…画像情報解析部
１０３，２０３，３０３，４０３…制御量規定部
１０４，２０４，３０４，４０４…フィルタ生成部
１０５，２０５，３０５，４０５…処理実行部
１００，２００，３００，４００…画像処理装置

Claims (17)

1. 複数の処理単位を含む入力画像の画像情報に基づいて、処理単位毎に知覚させる動きの制御量を規定する制御量規定部と、
   前記処理単位毎に、前記規定された制御量に基づいて、前記入力画像から前記動きを知覚させる出力画像群を生成することが可能な複数の空間フィルタを生成するフィルタ生成部と
   を具備する画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記制御量は、前記知覚させる動きの大きさ及び向きの少なくとも一方を規定する量である
   画像処理装置。
3. 請求項１に記載の画像処理装置であって、
   前記画像情報は、前記入力画像から抽出された特徴量を含む
   画像処理装置。
4. 請求項３に記載の画像処理装置であって、
   前記特徴量は、前記入力画像の奥行き情報を含み、
   前記制御量規定部は、前記奥行き情報に基づいて、奥行きが浅い位置処理単位の方が、奥行きが深い処理単位よりも前記動きを大きく知覚させるように前記制御量を規定する
   画像処理装置。
5. 請求項３に記載の画像処理装置であって、
   前記特徴量は、前記入力画像から推定されるシーンについてのシーン情報を含み、
   前記制御量規定部は、前記シーン情報に基づいて処理単位毎の制御量を規定する
   画像処理装置。
6. 請求項５に記載の画像処理装置であって、
   前記シーン情報は、前記入力画像中の空間の構造についての情報を含む
   画像処理装置。
7. 請求項５に記載の画像処理装置であって、
   前記シーン情報は、前記入力画像の被写体の種類についての情報を含む
   画像処理装置。
8. 請求項３に記載の画像処理装置であって、
   前記特徴量は、前記入力画像の消失点及び消失線の少なくとも一方の位置についての情報を含み、
   前記制御量規定部は、消失点及び消失線の少なくとも一方に向かっていくような動き、又は離れていくような動きを知覚させるように制御量を規定する
   画像処理装置。
9. 請求項３に記載の画像処理装置であって、
   前記入力画像は、同一の被写体をそれぞれ含み時間的に連続して再生され得る複数の画像のうちの一つの画像であり、
   前記特徴量は、前記複数の画像から推定される、前記被写体の前記入力画像における動きベクトルについての情報を含み、
   前記制御量規定部は、前記動きベクトルに基づいて、前記動きの大きさ及び向きを制御量として規定する
   画像処理装置。
10. 請求項３に記載の画像処理装置であって、
    前記特徴量は、前記入力画像のうち注視されると推定される注視領域についての情報を含み、
    前記制御量規定部は、前記注視領域と前記注視領域以外の領域とで異なる前記制御量を規定する
    画像処理装置。
11. 請求項１に記載の画像処理装置であって、
    前記入力画像を取得する画像取得部と、
    前記入力画像から前記画像情報を解析する画像情報解析部とをさらに具備する
    画像処理装置。
12. 請求項１に記載の画像処理装置であって、
    前記複数の空間フィルタ各々は、位相パラメータの値がそれぞれ異なり三角関数により表現された関数を含む
    画像処理装置。
13. 請求項１２に記載の画像処理装置であって、
    前記複数の空間フィルタ各々は、位相パラメータの値がそれぞれ異なるガボールフィルタをそれぞれ含む
    画像処理装置。
14. 請求項１に記載の画像処理装置であって、
    前記複数の空間フィルタとして適用されることが可能な複数の配列群を含むルックアップテーブルを記憶する記憶部を具備し、
    前記フィルタ生成部は、前記処理単位毎に、前記ルックアップテーブルから前記制御量に基づいて配列群を選択する
    画像処理装置。
15. 請求項１に記載の画像処理装置であって、
    前記入力画像の各処理単位に対して前記複数の空間フィルタを適用して出力画像群を生成する処理実行部をさらに具備する
    画像処理装置。
16. 複数の処理単位を含む入力画像の画像情報に基づいて、処理単位毎に知覚させる動きの制御量を規定し、
    前記処理単位毎に、前記規定された制御量に基づいて、前記入力画像から前記動きを知覚させる出力画像群を生成することが可能な複数の空間フィルタを生成する
    画像処理方法。
17. 情報処理装置に、
    複数の処理単位を含む入力画像の画像情報に基づいて、処理単位毎に知覚させる動きの制御量を規定するステップと、
    前記処理単位毎に、前記規定された制御量に基づいて、前記入力画像から前記動きを知覚させる出力画像群を生成することが可能な複数の空間フィルタを生成するステップと
    を実行させるプログラム。