JP5627798B2 - 画像処理装置、画像処理方法、画像処理プログラム、画像表示装置、および画像表示方法 - Google Patents

Description

本発明は、画像処理装置、画像処理方法、画像処理プログラム、画像表示装置、および画像表示方法に関する。

近年、観察者が擬似的に奥行き感を得るための画像表示技術として、両眼視差を利用した立体画像表示技術がある。両眼視差を利用した立体画像表示技術では、３次元空間の左眼で見た映像と右眼で見た映像とを観察者の左眼と右眼とに分けて見せることによって観察者が映像を立体と感じる。

観察者の左右の眼に異なる映像を見せるための技術として、左眼用画像と右眼用画像とを時間的に交互に切り替えてディスプレイに表示すると同時に、画像が切り替わるタイミングに同期して左右それぞれのレンズを透過する光量を制御する眼鏡を用いて左右の視界を時間的に分離する方式や、ディスプレイの前面に画像の表示角を制限するバリアやレンズを用いることで左右の眼それぞれに左眼用画像と右眼用画像とを見せる方式など、様々な方式がある。

このような立体画像表示装置において、観察者は飛び出した物体の位置に目の輻輳角を合わせながら、ディスプレイ表面にピントを合わせることになる。この不整合は、飛び出し量が大きすぎる場合、観察者に目の疲れを誘発するという問題点がある。一方、観察者にとって目の疲れを誘発する奥行き感は、観察者とディスプレイの表示面との距離や観察者の特性によって異なるという問題がある。なお、輻輳角とは左眼の視線と右眼の視線が成す角度のことを表し、奥行き感とは両眼視差よって表現される物体の飛び出し量または引っ込み量のことを表す。

また、液晶ディスプレイなどのホールド型ディスプレイでは、１フレーム期間同じ画像が表示され続けており、画像中の物体が動く場合に、動く物体に対する人間の目の追従が連続的であるのに対して、物体の移動が１フレーム単位の不連続な移動であるので、エッジ部分がぼやけて見えるという問題がある。

特許文献１には、視点の異なる２つの画像から２画像間の任意の視点に対応する中間像を生成する技術が開示されている。

また、特許文献２には、映像信号の１つ前のフレームと現フレームとから補間フレームを生成し、１つ前のフレームと現フレームとの間に補間フレームを内挿し、映像信号のフレームレートを変換する技術が開示されている。

特許第３８２６２３６号明細書 特許第４３５９２２３号明細書

ところで、複数の入力画像から任意の時刻における任意の視点の画像を生成したいという要望がある。例えば、ホールド型の立体画像表示装置において、飛び出し量を調整するとともに表示される物体の移動をスムーズにするために、複数の入力画像から任意の時刻および視点の画像を生成したいという要望がある。

本発明は、複数の入力画像から任意の時刻における任意の視点の画像を生成することができる画像処理装置、画像処理方法、画像処理プログラム、画像表示装置、および画像表示方法を提供することを目的とする。

本発明に係る画像処理装置は、
第１の時刻Ｔ１における第１の視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、前記第１の時刻Ｔ１と異なる第２の時刻Ｔ２における前記視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ２，Ｖ１）への第１の動きベクトルを算出する動き推定部と、
前記画像Ｐ（Ｔ１，Ｖ１）と、前記時刻Ｔ１における前記第１の視点Ｖ１と異なる第２の視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ１，Ｖ２）への第１の視差ベクトルを算出する視差推定部と、
前記第１の動きベクトルと前記第１の視差ベクトルとから、前記第１の動きベクトルと前記第１の視差ベクトルとが統合された統合ベクトルを算出する統合部と、
前記画像Ｐ（Ｔ１，Ｖ１）、画像Ｐ（Ｔ２，Ｖ１）、および画像Ｐ（Ｔ１，Ｖ２）のうち少なくとも１つの画像と、前記統合ベクトルとから、任意の時刻ｔにおける任意の視点ｖの画像Ｐ（ｔ，ｖ）を生成する画像生成部と、
を備え、
前記統合部は、前記統合ベクトルとして、前記画像Ｐ（Ｔ２，Ｖ１）から前記画像Ｐ（ｔ，ｖ）への第２の統合ベクトルと、前記画像Ｐ（Ｔ１，Ｖ２）から前記画像Ｐ（ｔ，ｖ）への第３の統合ベクトルとを算出し、
前記画像生成部は、前記画像Ｐ（Ｔ２，Ｖ１）、前記画像Ｐ（Ｔ１，Ｖ２）、前記第２の統合ベクトル、および前記第３の統合ベクトルから、前記画像Ｐ（ｔ，ｖ）を生成する、
ことを特徴とする。
また、本発明に係る画像処理装置は、
第１の時刻Ｔ１における第１の視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、前記第１の時刻Ｔ１と異なる第２の時刻Ｔ２における前記視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ２，Ｖ１）への第１の動きベクトルを算出する動き推定部と、
前記画像Ｐ（Ｔ１，Ｖ１）と、前記時刻Ｔ１における前記第１の視点Ｖ１と異なる第２の視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ１，Ｖ２）への第１の視差ベクトルを算出する視差推定部と、
前記第１の動きベクトルと前記第１の視差ベクトルとから、前記第１の動きベクトルと前記第１の視差ベクトルとが統合された統合ベクトルを算出する統合部と、
前記画像Ｐ（Ｔ１，Ｖ１）、画像Ｐ（Ｔ２，Ｖ１）、および画像Ｐ（Ｔ１，Ｖ２）のうち少なくとも１つの画像と、前記統合ベクトルとから、任意の時刻ｔにおける任意の視点ｖの画像Ｐ（ｔ，ｖ）を生成する画像生成部と、
を備え、
前記統合部は、前記統合ベクトルとして、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（ｔ，ｖ）への第１の統合ベクトルと、前記画像Ｐ（Ｔ２，Ｖ１）から前記画像Ｐ（ｔ，ｖ）への第２の統合ベクトルとを算出し、
前記画像生成部は、前記画像Ｐ（Ｔ１，Ｖ１）、前記画像Ｐ（Ｔ２，Ｖ１）、前記第１の統合ベクトル、および前記第２の統合ベクトルから、前記画像Ｐ（ｔ，ｖ）を生成する、
ことを特徴とする。
また、本発明に係る画像処理装置は、
第１の時刻Ｔ１における第１の視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、前記第１の時刻Ｔ１と異なる第２の時刻Ｔ２における前記視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ２，Ｖ１）への第１の動きベクトルを算出する動き推定部と、
前記画像Ｐ（Ｔ１，Ｖ１）と、前記時刻Ｔ１における前記第１の視点Ｖ１と異なる第２の視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ１，Ｖ２）への第１の視差ベクトルを算出する視差推定部と、
前記第１の動きベクトルと前記第１の視差ベクトルとから、前記第１の動きベクトルと前記第１の視差ベクトルとが統合された統合ベクトルを算出する統合部と、
前記画像Ｐ（Ｔ１，Ｖ１）、画像Ｐ（Ｔ２，Ｖ１）、および画像Ｐ（Ｔ１，Ｖ２）のうち少なくとも１つの画像と、前記統合ベクトルとから、任意の時刻ｔにおける任意の視点ｖの画像Ｐ（ｔ，ｖ）を生成する画像生成部と、
を備え、
前記統合部は、前記統合ベクトルとして、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（ｔ，ｖ）への第１の統合ベクトルと、前記画像Ｐ（Ｔ１，Ｖ２）から前記画像Ｐ（ｔ，ｖ）への第３の統合ベクトルとを算出し、
前記画像生成部は、前記画像Ｐ（Ｔ１，Ｖ１）、前記画像Ｐ（Ｔ１，Ｖ２）、前記第１の統合ベクトル、および前記第３の統合ベクトルから、前記画像Ｐ（ｔ，ｖ）を生成する、
ことを特徴とする。

また、本発明に係る画像表示装置は、
上記いずれかの画像処理装置と、
前記画像処理装置の前記画像生成部により生成された画像Ｐ（ｔ，ｖ）を表示する画像表示部と、
を備えることを特徴とする。

また、本発明に係る画像処理方法は、
第１の時刻Ｔ１における第１の視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、前記第１の時刻Ｔ１と異なる第２の時刻Ｔ２における前記視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ２，Ｖ１）への第１の動きベクトルを算出する動き推定ステップと、
前記画像Ｐ（Ｔ１，Ｖ１）と、前記時刻Ｔ１における前記第１の視点Ｖ１と異なる第２の視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ１，Ｖ２）への第１の視差ベクトルを算出する視差推定ステップと、
前記第１の動きベクトルと前記第１の視差ベクトルとから、前記第１の動きベクトルと前記第１の視差ベクトルとが統合された統合ベクトルを算出する統合ステップと、
前記画像Ｐ（Ｔ１，Ｖ１）、画像Ｐ（Ｔ２，Ｖ１）、および画像Ｐ（Ｔ１，Ｖ２）のうち少なくとも１つの画像と、前記統合ベクトルとから、任意の時刻ｔにおける任意の視点ｖの画像Ｐ（ｔ，ｖ）を生成する画像生成ステップと、
を有し、
前記統合ステップでは、前記統合ベクトルとして、前記画像Ｐ（Ｔ２，Ｖ１）から前記画像Ｐ（ｔ，ｖ）への第２の統合ベクトルと、前記画像Ｐ（Ｔ１，Ｖ２）から前記画像Ｐ（ｔ，ｖ）への第３の統合ベクトルとを算出し、
前記画像生成ステップでは、前記画像Ｐ（Ｔ２，Ｖ１）、前記画像Ｐ（Ｔ１，Ｖ２）、前記第２の統合ベクトル、および前記第３の統合ベクトルから、前記画像Ｐ（ｔ，ｖ）を生成する、
ことを特徴とする。
また、本発明に係る画像処理方法は、
第１の時刻Ｔ１における第１の視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、前記第１の時刻Ｔ１と異なる第２の時刻Ｔ２における前記視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ２，Ｖ１）への第１の動きベクトルを算出する動き推定ステップと、
前記画像Ｐ（Ｔ１，Ｖ１）と、前記時刻Ｔ１における前記第１の視点Ｖ１と異なる第２の視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ１，Ｖ２）への第１の視差ベクトルを算出する視差推定ステップと、
前記第１の動きベクトルと前記第１の視差ベクトルとから、前記第１の動きベクトルと前記第１の視差ベクトルとが統合された統合ベクトルを算出する統合ステップと、
前記画像Ｐ（Ｔ１，Ｖ１）、画像Ｐ（Ｔ２，Ｖ１）、および画像Ｐ（Ｔ１，Ｖ２）のうち少なくとも１つの画像と、前記統合ベクトルとから、任意の時刻ｔにおける任意の視点ｖの画像Ｐ（ｔ，ｖ）を生成する画像生成ステップと、
を有し、
前記統合ステップでは、前記統合ベクトルとして、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（ｔ，ｖ）への第１の統合ベクトルと、前記画像Ｐ（Ｔ２，Ｖ１）から前記画像Ｐ（ｔ，ｖ）への第２の統合ベクトルとを算出し、
前記画像生成ステップでは、前記画像Ｐ（Ｔ１，Ｖ１）、前記画像Ｐ（Ｔ２，Ｖ１）、前記第１の統合ベクトル、および前記第２の統合ベクトルから、前記画像Ｐ（ｔ，ｖ）を生成する、
ことを特徴とする。
また、本発明に係る画像処理方法は、
第１の時刻Ｔ１における第１の視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、前記第１の時刻Ｔ１と異なる第２の時刻Ｔ２における前記視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ２，Ｖ１）への第１の動きベクトルを算出する動き推定ステップと、
前記画像Ｐ（Ｔ１，Ｖ１）と、前記時刻Ｔ１における前記第１の視点Ｖ１と異なる第２の視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ１，Ｖ２）への第１の視差ベクトルを算出する視差推定ステップと、
前記第１の動きベクトルと前記第１の視差ベクトルとから、前記第１の動きベクトルと前記第１の視差ベクトルとが統合された統合ベクトルを算出する統合ステップと、
前記画像Ｐ（Ｔ１，Ｖ１）、画像Ｐ（Ｔ２，Ｖ１）、および画像Ｐ（Ｔ１，Ｖ２）のうち少なくとも１つの画像と、前記統合ベクトルとから、任意の時刻ｔにおける任意の視点ｖの画像Ｐ（ｔ，ｖ）を生成する画像生成ステップと、
を有し、
前記統合ステップでは、前記統合ベクトルとして、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（ｔ，ｖ）への第１の統合ベクトルと、前記画像Ｐ（Ｔ１，Ｖ２）から前記画像Ｐ（ｔ，ｖ）への第３の統合ベクトルとを算出し、
前記画像生成ステップでは、前記画像Ｐ（Ｔ１，Ｖ１）、前記画像Ｐ（Ｔ１，Ｖ２）、前記第１の統合ベクトル、および前記第３の統合ベクトルから、前記画像Ｐ（ｔ，ｖ）を生成する、
ことを特徴とする。

また、本発明に係る画像表示方法は、
上記いずれかの画像処理方法と、
前記画像処理方法の前記画像生成ステップにより生成された画像Ｐ（ｔ，ｖ）を表示する画像表示ステップと、
を有することを特徴とする。

また、本発明に係る画像処理プログラムは、
第１の時刻Ｔ１における第１の視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、前記第１の時刻Ｔ１と異なる第２の時刻Ｔ２における前記視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ２，Ｖ１）への第１の動きベクトルを算出する動き推定ステップと、
前記画像Ｐ（Ｔ１，Ｖ１）と、前記時刻Ｔ１における前記第１の視点Ｖ１と異なる第２の視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ１，Ｖ２）への第１の視差ベクトルを算出する視差推定ステップと、
前記第１の動きベクトルと前記第１の視差ベクトルとから、前記第１の動きベクトルと前記第１の視差ベクトルとが統合された統合ベクトルを算出する統合ステップと、
前記画像Ｐ（Ｔ１，Ｖ１）、画像Ｐ（Ｔ２，Ｖ１）、および画像Ｐ（Ｔ１，Ｖ２）のうち少なくとも１つの画像と、前記統合ベクトルとから、任意の時刻ｔにおける任意の視点ｖの画像Ｐ（ｔ，ｖ）を生成する画像生成ステップと、
をコンピュータに実行させ、
前記統合ステップでは、前記統合ベクトルとして、前記画像Ｐ（Ｔ２，Ｖ１）から前記画像Ｐ（ｔ，ｖ）への第２の統合ベクトルと、前記画像Ｐ（Ｔ１，Ｖ２）から前記画像Ｐ（ｔ，ｖ）への第３の統合ベクトルとを算出し、
前記画像生成ステップでは、前記画像Ｐ（Ｔ２，Ｖ１）、前記画像Ｐ（Ｔ１，Ｖ２）、前記第２の統合ベクトル、および前記第３の統合ベクトルから、前記画像Ｐ（ｔ，ｖ）を生成する、
ことを特徴とする。
また、本発明に係る画像処理プログラムは、
第１の時刻Ｔ１における第１の視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、前記第１の時刻Ｔ１と異なる第２の時刻Ｔ２における前記視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ２，Ｖ１）への第１の動きベクトルを算出する動き推定ステップと、
前記画像Ｐ（Ｔ１，Ｖ１）と、前記時刻Ｔ１における前記第１の視点Ｖ１と異なる第２の視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ１，Ｖ２）への第１の視差ベクトルを算出する視差推定ステップと、
前記第１の動きベクトルと前記第１の視差ベクトルとから、前記第１の動きベクトルと前記第１の視差ベクトルとが統合された統合ベクトルを算出する統合ステップと、
前記画像Ｐ（Ｔ１，Ｖ１）、画像Ｐ（Ｔ２，Ｖ１）、および画像Ｐ（Ｔ１，Ｖ２）のうち少なくとも１つの画像と、前記統合ベクトルとから、任意の時刻ｔにおける任意の視点ｖの画像Ｐ（ｔ，ｖ）を生成する画像生成ステップと、
をコンピュータに実行させ、
前記統合ステップでは、前記統合ベクトルとして、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（ｔ，ｖ）への第１の統合ベクトルと、前記画像Ｐ（Ｔ２，Ｖ１）から前記画像Ｐ（ｔ，ｖ）への第２の統合ベクトルとを算出し、
前記画像生成ステップでは、前記画像Ｐ（Ｔ１，Ｖ１）、前記画像Ｐ（Ｔ２，Ｖ１）、前記第１の統合ベクトル、および前記第２の統合ベクトルから、前記画像Ｐ（ｔ，ｖ）を生成する、
ことを特徴とする。
また、本発明に係る画像処理プログラムは、
第１の時刻Ｔ１における第１の視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、前記第１の時刻Ｔ１と異なる第２の時刻Ｔ２における前記視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ２，Ｖ１）への第１の動きベクトルを算出する動き推定ステップと、
前記画像Ｐ（Ｔ１，Ｖ１）と、前記時刻Ｔ１における前記第１の視点Ｖ１と異なる第２の視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ１，Ｖ２）への第１の視差ベクトルを算出する視差推定ステップと、
前記第１の動きベクトルと前記第１の視差ベクトルとから、前記第１の動きベクトルと前記第１の視差ベクトルとが統合された統合ベクトルを算出する統合ステップと、
前記画像Ｐ（Ｔ１，Ｖ１）、画像Ｐ（Ｔ２，Ｖ１）、および画像Ｐ（Ｔ１，Ｖ２）のうち少なくとも１つの画像と、前記統合ベクトルとから、任意の時刻ｔにおける任意の視点ｖの画像Ｐ（ｔ，ｖ）を生成する画像生成ステップと、
をコンピュータに実行させ、
前記統合ステップでは、前記統合ベクトルとして、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（ｔ，ｖ）への第１の統合ベクトルと、前記画像Ｐ（Ｔ１，Ｖ２）から前記画像Ｐ（ｔ，ｖ）への第３の統合ベクトルとを算出し、
前記画像生成ステップでは、前記画像Ｐ（Ｔ１，Ｖ１）、前記画像Ｐ（Ｔ１，Ｖ２）、前記第１の統合ベクトル、および前記第３の統合ベクトルから、前記画像Ｐ（ｔ，ｖ）を生成する、
ことを特徴とする。

本発明によれば、複数の入力画像から任意の時刻における任意の視点の画像を生成することができる。

実施の形態に係る画像表示装置の構成を示す図である。 動き推定部の動作を説明するための図である。 動き推定部の構成例を示すブロック図である。 （ａ）および（ｂ）は、ブロックマッチングの動作を説明するための図である。 動き変換部の動作を説明するための図である。 視差推定部の動作を説明するための図である。 視差変換部の動作を説明するための図である。 ベクトル加算部の動作を説明するための図である。 第１のベクトル減算部の動作を説明するための図である。 第２のベクトル減算部の動作を説明するための図である。 画像生成部の動作を説明するための図である。 画像処理部の処理を説明するための図である。 入力画像および出力画像の画素の配置を示す図である。 各画素についての第１の統合ベクトルを示す図である。 実施の形態に係る画像表示装置の処理工程を示すフローチャートである。 視差推定技術を説明するための図である。 動き推定技術を説明するための図である。 比較例に係る画像処理方法を説明するための図である。 比較例に係る画像処理方法を説明するための図である。 比較例に係る画像処理方法を説明するための図である。

以下、本発明の実施の形態を図面に従って説明する。
図１は、本発明の実施の形態に係る画像表示装置１００の構成を示す図である。この画像表示装置１００は、画像処理部１０と、画像表示部２０とを有する。画像処理部１０は、複数の入力画像から任意の時刻における任意の視点の画像を生成し、画像表示部２０は、画像処理部１０により生成された画像を表示する。

図１において、画像処理部１０は、動き推定部１１、視差推定部１２、視差・動き統合部（以下、「統合部」と称す）１３、および画像生成部１４を備える。

画像処理部１０には、入力画像として、第１の時刻Ｔ１における第１の視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、第１の時刻Ｔ１と異なる第２の時刻Ｔ２における第１の視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）と、第１の時刻Ｔ１における第１の視点Ｖ１と異なる第２の視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）とが入力される。時刻Ｔ１における視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）は、例えば、時刻Ｔ１において視点Ｖ１から撮像された画像である。

動き推定部１１は、時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、時刻Ｔ２で視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）とを受け、画像Ｐ（Ｔ１，Ｖ１）から画像Ｐ（Ｔ２，Ｖ１）への動きベクトルを第１の動きベクトルＭＶ１として算出する。具体的には、動き推定部１１は、画像Ｐ（Ｔ１，Ｖ１）と画像Ｐ（Ｔ２，Ｖ１）とを参照して、画素ごとに画像Ｐ（Ｔ１，Ｖ１）から画像Ｐ（Ｔ２，Ｖ１）への第１の動きベクトルＭＶ１を算出して、統合部１３に出力する。

視差推定部１２は、時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、時刻Ｔ１で視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）とを受け、画像Ｐ（Ｔ１，Ｖ１）から画像Ｐ（Ｔ１，Ｖ２）への視差ベクトルを第１の視差ベクトルＤＶ１として算出する。具体的には、視差推定部１２は、画像Ｐ（Ｔ１，Ｖ１）と画像Ｐ（Ｔ１，Ｖ２）とを参照して、画素ごとに画像Ｐ（Ｔ１，Ｖ１）から画像Ｐ（Ｔ１，Ｖ２）への第１の視差ベクトルＤＶ１を算出して、統合部１３に出力する。

統合部１３は、動き推定部１１により算出された第１の動きベクトルＭＶ１と、視差推定部１２により算出された第１の視差ベクトルＤＶ１とから、第１の動きベクトルＭＶ１と第１の視差ベクトルＤＶ１とが統合された統合ベクトルを算出する。

画像生成部１４は、画像Ｐ（Ｔ１，Ｖ１）、画像Ｐ（Ｔ２，Ｖ１）、および画像Ｐ（Ｔ１，Ｖ２）のうち少なくとも１つの画像と、統合部１３により算出された統合ベクトルとから、任意の時刻ｔにおける任意の視点ｖの画像Ｐ（ｔ，ｖ）を生成する。ここで、時刻ｔおよび視点ｖは、例えば、画像処理部１０の外部のモジュールや装置、使用者等により指定される。時刻ｔの範囲は、例えばＴ１≦ｔ≦Ｔ２であるが、当該範囲に限定されない。また、視点ｖの範囲は、例えばＶ１≦ｖ≦Ｖ２であるが、当該範囲に限定されない。

一つの態様では、統合部１３は、第１の動きベクトルＭＶ１と第１の視差ベクトルＤＶ１とから、統合ベクトルとして、画像Ｐ（Ｔ２，Ｖ１）から画像Ｐ（ｔ，ｖ）への第２の統合ベクトルＴＶ２と、画像Ｐ（Ｔ１，Ｖ２）から画像Ｐ（ｔ，ｖ）への第３の統合ベクトルＴＶ３とを算出する。そして、画像生成部１４は、画像Ｐ（Ｔ２，Ｖ１）、画像Ｐ（Ｔ１，Ｖ２）、第２の統合ベクトルＴＶ２、および第３の統合ベクトルＴＶ３から、画像Ｐ（ｔ，ｖ）を生成する。

具体的には、図１に示されるように、統合部１３は、動き変換部１５、視差変換部１６、ベクトル加算部１７、第１のベクトル減算部１８、および第２のベクトル減算部１９を備える。

動き変換部１５は、画素ごとに第１の動きベクトルＭＶ１を画像Ｐ（Ｔ１，Ｖ１）から任意の時刻ｔで視点Ｖ１の位置（または画像）への第２の動きベクトルＭＶ２に変換して、ベクトル加算部１７に出力する。

視差変換部１６は、画素ごとに第１の視差ベクトルＤＶ１を画像Ｐ（Ｔ１，Ｖ１）から時刻Ｔ１で任意の視点ｖの位置（または画像）への第２の視差ベクトルＤＶ２に変換して、ベクトル加算部１７に出力する。

ベクトル加算部１７は、画素ごとに、動き変換部１５により得られた第２の動きベクトルＭＶ２と、視差変換部１６により得られた第２の視差ベクトルＤＶ２とを加算して、第１の統合ベクトルＴＶ１を算出し、第１のベクトル減算部１８および第２のベクトル減算部１９に出力する。第２の動きベクトルＭＶ２は時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）から時刻ｔで視点Ｖ１の位置へのベクトルであり、第２の視差ベクトルＤＶ２は時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）から時刻Ｔ１で視点ｖの位置へのベクトルであるので、第１の統合ベクトルＴＶ１は、時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）から時刻ｔで視点ｖの位置（または画像）へのベクトルに相当する。

第１のベクトル減算部１８は、画素ごとに、ベクトル加算部１７により得られた第１の統合ベクトルＴＶ１から第１の動きベクトルＭＶ１を減算して第２の統合ベクトルＴＶ２を算出して、画像生成部１４に出力する。第１の動きベクトルＭＶ１は時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）から時刻Ｔ２で視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）へのベクトルであり、第１の統合ベクトルＴＶ１は時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）から時刻ｔで視点ｖの位置へのベクトルであるので、第２の統合ベクトルＴＶ２は、時刻Ｔ２で視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）から時刻ｔで視点ｖの位置（または画像）へのベクトルに相当する。

第２のベクトル減算部１９は、画素ごとに、ベクトル加算部１７により得られた第１の統合ベクトルＴＶ１から第１の視差ベクトルＤＶ１を減算して第３の統合ベクトルＴＶ３を算出して、画像生成部１４に出力する。第１の視差ベクトルＤＶ１は時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）から時刻Ｔ１で視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）へのベクトルであり、第１の統合ベクトルＴＶ１は時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）から時刻ｔで視点ｖの位置へのベクトルであるので、第３の統合ベクトルＴＶ３は、時刻Ｔ１で視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）から時刻ｔで視点ｖの位置（または画像）へのベクトルに相当する。

画像生成部１４は、画像Ｐ（Ｔ２，Ｖ１）と、画像Ｐ（Ｔ１，Ｖ２）と、第１のベクトル減算部１８により算出された第２の統合ベクトルＴＶ２と、第２のベクトル減算部１９により算出された第３の統合ベクトルＴＶ３とから、時刻ｔで視点ｖの出力画像Ｐ（ｔ，ｖ）を生成し、画像表示部２０に出力する。

画像表示部２０は、画像生成部１４により生成された時刻ｔで視点ｖの出力画像Ｐ（ｔ，ｖ）を表示する。

以下、画像処理部１０の各部の処理について詳しく説明する。
図２は、動き推定部１１の動作を説明するための図である。動き推定部１１は、図２に示されるように、時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）から時刻Ｔ２で視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）への第１の動きベクトルＭＶ１を算出する。動き推定部１１は、例えば、ブロックマッチング法により第１の動きベクトルＭＶ１を求める。具体的には、動き推定部１１は、画像Ｐ（Ｔ１，Ｖ１）から、注目画素を含む注目画像ブロックを切り出し、当該注目画像ブロックが画像Ｐ（Ｔ２，Ｖ１）のどの領域に動いたかを推定し、推定された領域の注目画像ブロックに対する相対位置を、注目画素についての第１の動きベクトルＭＶ１として検出する。

図３は、動き推定部１１の構成例を示すブロック図である。図３では、動き推定部１１は、注目画像ブロック切り出し部１１ａと、探索画像ブロック切り出し部１１ｂと、動きベクトル決定部１１ｃとを備える。

図４（ａ）に示されるように、画像Ｐ（Ｔ１，Ｖ１）の位置ｐ（ｉ，ｊ）にある注目画素についての第１の動きベクトルＭＶ１を求める場合、注目画像ブロック切り出し部１１ａは、画像Ｐ（Ｔ１，Ｖ１）から注目画素の周辺領域をブロックとして切り出す。ここでは、注目画像ブロック切り出し部１１ａは、注目画素を中心とし、幅（水平方向サイズ）が（２×ＢＭ＋１）、高さ（垂直方向サイズ）が（２×ＢＮ＋１）の矩形領域（ブロック）Ｄ２Ｂ（ｉ，ｊ）を切り出す。ここで、上記（ｉ，ｊ）において、ｉは画像における水平方向の位置を示し、ｊは画像における垂直方向の位置を示す。

探索画像ブロック切り出し部１１ｂは、画像Ｐ（Ｔ２，Ｖ１）から、注目画素に対応する動きベクトルの探索範囲に含まれる各位置を中心とする、矩形領域Ｄ２Ｂ（ｉ，ｊ）と同じサイズの複数個の矩形領域（ブロック）を切り出す。ここでは、図４（ｂ）に示されるように、探索範囲は、下記式（１）で表される座標の集合Ｓ（ｉ，ｊ）である。
Ｓ（ｉ，ｊ）＝｛（ｉ＋ｋ，ｊ＋ｌ）｝…（１）
上記式（１）において、ｋ＝−ＳＨ，…，−１，０，＋１，…，ＳＨ（ＳＨは１以上の所定の整数）であり、ｌ＝−ＳＶ，…，−１，０，＋１，…，ＳＶ（ＳＶは１以上の所定の整数）である。

このように定義される探索範囲は、水平方向のサイズが２ＳＨ＋１、垂直方向のサイズが２ＳＶ＋１の矩形の領域である。

そして、探索画像ブロック切り出し部１１ｂは、座標の集合Ｓ（ｉ，ｊ）に含まれる各位置（ｉ＋ｋ，ｊ＋ｌ）を中心とする、矩形領域Ｄ２Ｂ（ｉ，ｊ）と同じサイズの、（２×ＳＨ＋１）×（２×ＳＶ＋１）個の矩形領域Ｄ１Ｂ（ｉ＋ｋ，ｊ＋ｌ）を切り出す。

動きベクトル決定部１１ｃは、注目画像ブロック切り出し部１１ａから入力されるブロックＤ２Ｂ（ｉ，ｊ）と、探索画像ブロック切り出し部１１ｂから入力されるブロックＤ１Ｂ（ｉ＋ｋ，ｊ＋ｌ）との間で、それぞれのブロック内のすべての画素、すなわち（２×ＢＭ＋１）×（２×ＢＮ＋１）個の、互いに対応する位置の画素同士の差分の絶対値の総和である差分絶対値和ＳＡＤ（ｉ＋ｋ，ｊ＋ｌ）を求める。この差分絶対値和ＳＡＤ（ｉ＋ｋ，ｊ＋ｌ）は、下記の式（２）で表される。

上記式（２）において、Ｄ１（ｉ＋ｋ＋ｒ，ｊ＋ｌ＋ｓ）は、画像Ｐ（Ｔ２，Ｖ１）の位置（ｉ＋ｋ＋ｒ，ｊ＋ｌ＋ｓ）の画素値を表し、Ｄ２（ｉ＋ｒ，ｊ＋ｓ）は、画像Ｐ（Ｔ１，Ｖ１）の位置（ｉ＋ｒ，ｊ＋ｓ）の画素値を表す。

動きベクトル決定部１１ｃは、（２×ＳＨ＋１）×（２×ＳＶ＋１）個の矩形領域Ｄ１Ｂ（ｉ＋ｋ，ｊ＋ｌ）に対応する（２×ＳＨ＋１）×（２×ＳＶ＋１）個の差分絶対値和ＳＡＤ（ｉ＋ｋ，ｊ＋ｌ）を求め、これらの中で最小の差分絶対値和を生じさせた矩形領域Ｄ１Ｂ（ｉ＋ｋｍ，ｊ＋ｌｍ）を特定し、当該矩形領域の、矩形領域Ｄ２Ｂ（ｉ，ｊ）に対する相対位置（ｋｍ，ｌｍ）を第１の動きベクトルＭＶ１＝（Ｖｘ，Ｖｙ）＝（ｋｍ，ｌｍ）として出力する。この第１の動きベクトルＭＶ１は、他の画素についての動きベクトルとの区別のために、ＭＶ１（ｉ，ｊ）と表されてもよい。

動きベクトル決定部１１ｃは、上記の動きベクトル検出を、画像Ｐ（Ｔ１，Ｖ１）の全画素に対して行い、各画素についての第１の動きベクトルＭＶ１を検出する。

なお、動き推定部１１における動きベクトル検出において、上記の矩形領域Ｄ２ＢまたはＤ１Ｂが画像の上端、下端、左端、または右端の外側の領域を含む場合には、例えば、矩形領域Ｄ２ＢまたはＤ１Ｂのうち、画像の上端、下端、左端、または右端の外側の領域の画素が、それぞれ画像の上端、下端、左端、または右端の画素と同じ画素値を持つものとして処理すればよい。

また、動き推定部１１の処理方法は、上記方法に限定されるものではなく、例えば位相相関関数を用いて動きベクトルを求める手法など、他の動きベクトル算出方法が採用されてもよい。

図５は、動き変換部１５の動作を説明するための図である。動き変換部１５は、図５に示されるように、画素ごとに、第１の動きベクトルＭＶ１を時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）から時刻ｔで視点Ｖ１の位置への第２の動きベクトルＭＶ２に変換する。この変換には、画素ごとに下記式（３）が用いられる。
ＭＶ２＝ＭＶ１×（ｔ−Ｔ１）／（Ｔ２−Ｔ１）…（３）

図６は、視差推定部１２の動作を説明するための図である。視差推定部１２は、図６に示されるように、時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）から時刻Ｔ１で視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）への第１の視差ベクトルＤＶ１を算出する。

視差推定部１２は、例えば、上記動き推定部１１と同様に、ブロックマッチング法により、画像Ｐ（Ｔ１，Ｖ１）の各画素についての第１の視差ベクトルＤＶ１＝（Ｄｘ，Ｄｙ）を検出する。視差推定部１２の構成は、例えば、図３に示される動き推定部１１の構成と同様である。

なお、視点の移動方向（具体的には図６の横軸方向）が入力画像の水平方向と一致する場合には、常にＤｙ＝０となり、入力画像の垂直方向の視差は考慮しなくてよい。ただし、視点の移動方向が入力画像の水平方向と一致しない場合には、入力画像の垂直方向の視差も考慮して、第１の動きベクトルＭＶ１の場合と同様に、画素ごとに第１の視差ベクトルＤＶ１＝（Ｄｘ，Ｄｙ）を求める。

また、視差推定部１２の処理方法は、上記方法に限定されるものではなく、例えば位相相関関数を用いて動きベクトルを求める手法など、他の動きベクトル算出方法が採用されてもよい。

図７は、視差変換部１６の動作を説明するための図である。視差変換部１６は、図７に示されるように、画素ごとに、第１の視差ベクトルＤＶ１を時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）から時刻Ｔ１で視点ｖの位置への第２の視差ベクトルＤＶ２に変換する。この変換には、画素ごとに下記式（４）が用いられる。
ＤＶ２＝ＤＶ１×（ｖ−Ｖ１）／（Ｖ２−Ｖ１）…（４）

図８は、ベクトル加算部１７の動作を説明するための図である。ベクトル加算部１７は、図８に示されるように、画素ごとに、第２の動きベクトルＭＶ２と第２の視差ベクトルＤＶ２とを用いて、時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）から時刻ｔで視点ｖの位置へのベクトルを第１の統合ベクトルＴＶ１として算出する。この算出には、画素ごとに下記式（５）が用いられる。
ＴＶ１＝ＤＶ２＋ＭＶ２…（５）

図９は、第１のベクトル減算部１８の動作を説明するための図である。第１のベクトル減算部１８は、図９に示されるように、画素ごとに、第１の統合ベクトルＴＶ１と第１の動きベクトルＭＶ１とを用いて、時刻Ｔ２で視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）から時刻ｔで視点ｖの位置へのベクトルを第２の統合ベクトルＴＶ２として算出する。この算出には、画素ごとに下記式（６）が用いられる。
ＴＶ２＝ＴＶ１−ＭＶ１…（６）

図１０は、第２のベクトル減算部１９の動作を説明するための図である。第２のベクトル減算部１９は、図１０に示されるように、画素ごとに、第１の統合ベクトルＴＶ１と第１の視差ベクトルＤＶ１とを用いて、時刻Ｔ１で視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）から時刻ｔで視点ｖの位置へのベクトルを第３の統合ベクトルＴＶ３として算出する。この算出には、画素ごとに下記式（７）が用いられる。
ＴＶ３＝ＴＶ１−ＤＶ１…（７）

図１１は、画像生成部１４の動作を説明するための図である。画像生成部１４は、図１１に示されるように、画像Ｐ（Ｔ２，Ｖ１）、画像Ｐ（Ｔ１，Ｖ２）、第２の統合ベクトルＴＶ２、および第３の統合ベクトルＴＶ３を用いて、時間ｔで視点ｖの画像Ｐ（ｔ，ｖ）を生成する。具体的には、画像生成部１４は、画像Ｐ（ｔ，ｖ）の各画素の画素値を、当該画素から第２の統合ベクトルの逆ベクトル（−ＴＶ２）だけ移動した位置における画像Ｐ（Ｔ２，Ｖ１）の画素値と、当該画素から第３の統合ベクトルの逆ベクトル（−ＴＶ３）だけ移動した位置における画像Ｐ（Ｔ１，Ｖ２）の画素値との平均を算出することにより求める。例えば、第２の統合ベクトルＴＶ２が（ｔｖ２ｘ，ｔｖ２ｙ）であり、第３の統合ベクトルＴＶ３が（ｔｖ３ｘ，ｔｖ３ｙ）であるとき、画像生成部１４は、画像Ｐ（ｔ，ｖ）の位置ｐａ（ｘ，ｙ）にある画素の画素値Ｄｐ（ｘ，ｙ）を、画像Ｐ（Ｔ２，Ｖ１）の位置ｐｂ（ｘ−ｔｖ２ｘ，ｙ−ｔｖ２ｙ）の画素値Ｄ１（ｘ−ｔｖ２ｘ，ｙ−ｔｖ２ｙ）と、画像Ｐ（Ｔ１，Ｖ２）の位置ｐｃ（ｘ−ｔｖ３ｘ，ｙ−ｔｖ３ｙ）の画素値Ｄ２（ｘ−ｔｖ３ｘ，ｙ−ｔｖ３ｙ）とから、下記式（８）により求める。
Ｄｐ（ｘ，ｙ）＝｛Ｄ１（ｘ−ｔｖ２ｘ，ｙ−ｔｖ２ｙ）＋Ｄ２（ｘ−ｔｖ３ｘ，ｙ−ｔｖ３ｙ）｝／２…（８）

以下、画像処理部１０の各部の処理について、さらに詳しく説明する。
図１２は、画像処理部１０の処理を説明するための図である。まず、図１２を参照しながら、画像Ｐ（Ｔ１，Ｖ１）の位置ｐ（ｘ，ｙ）の画素に注目して、画像処理部１０の各部の処理を説明する。なお、図１２では、説明の便宜上、各画像の位置や矩形領域等を重ね合わせて示している。

動き推定部１１は、画像Ｐ（Ｔ１，Ｖ１）の位置ｐ（ｘ，ｙ）の画素を中心とする矩形領域Ｒ０に対応する、画像Ｐ（Ｔ２，Ｖ１）の矩形領域Ｒ１を特定する。そして、動き推定部１１は、位置ｐ（ｘ，ｙ）から矩形領域Ｒ１の中心位置ｐ１へのベクトルを、画像Ｐ（Ｔ１，Ｖ１）の位置ｐ（ｘ，ｙ）の画素についての第１の動きベクトルＭＶ１として算出する。

動き変換部１５は、上記第１の動きベクトルＭＶ１から、上記式（３）により、画像Ｐ（Ｔ１，Ｖ１）の位置ｐ（ｘ，ｙ）の画素についての第２の動きベクトルＭＶ２を算出する。

視差推定部１２は、画像Ｐ（Ｔ１，Ｖ１）の位置ｐ（ｘ，ｙ）の画素を中心とする矩形領域Ｒ０に対応する、画像Ｐ（Ｔ１，Ｖ２）の矩形領域Ｒ２を特定する。そして、視差推定部１２は、位置ｐ（ｘ，ｙ）から矩形領域Ｒ２の中心位置ｐ２へのベクトルを、画像Ｐ（Ｔ１，Ｖ１）の位置ｐ（ｘ，ｙ）の画素についての第１の視差ベクトルＤＶ１として算出する。

視差変換部１６は、上記第１の視差ベクトルＤＶ１から、上記式（４）により、画像Ｐ（Ｔ１，Ｖ１）の位置ｐ（ｘ，ｙ）の画素についての第２の視差ベクトルＤＶ２を算出する。

ベクトル加算部１７は、上記第２の動きベクトルＭＶ２と、上記第２の視差ベクトルＤＶ２とを加算し、画像Ｐ（Ｔ１，Ｖ１）の位置ｐ（ｘ，ｙ）の画素についての第１の統合ベクトルＴＶ１＝（ｔｖ１ｘ，ｔｖ１ｙ）を算出する。この第１の統合ベクトルＴＶ１は、画像Ｐ（Ｔ１，Ｖ１）の位置ｐ（ｘ，ｙ）から、出力画像Ｐ（ｔ，ｖ）の注目画素に対応する位置ｐ３へのベクトルに相当する。位置ｐ３の座標は、（ｘ＋ｔｖ１ｘ，ｙ＋ｔｖ１ｙ）である。

第１のベクトル減算部１８は、上記第１の統合ベクトルＴＶ１から、上記第１の動きベクトルＭＶ１を減算し、画像Ｐ（Ｔ１，Ｖ１）の位置ｐ（ｘ，ｙ）の画素についての第２の統合ベクトルＴＶ２＝（ｔｖ２ｘ，ｔｖ２ｙ）を算出する。この第２の統合ベクトルＴＶ２は、画像Ｐ（Ｔ２，Ｖ１）の位置ｐ１から出力画像Ｐ（ｔ，ｖ）の位置ｐ３へのベクトルに相当する。したがって、第２の統合ベクトルＴＶ２は、出力画像Ｐ（ｔ，ｖ）の位置ｐ３（ｘ＋ｔｖ１ｘ，ｙ＋ｔｖ１ｙ）に対応するものである。

第２のベクトル減算部１９は、上記第１の統合ベクトルＴＶ１から、上記第１の視差ベクトルＤＶ１を減算し、画像Ｐ（Ｔ１，Ｖ１）の位置ｐ（ｘ，ｙ）の画素についての第３の統合ベクトルＴＶ３＝（ｔｖ３ｘ，ｔｖ３ｙ）を算出する。この第３の統合ベクトルＴＶ３は、画像Ｐ（Ｔ１，Ｖ２）の位置ｐ２から出力画像Ｐ（ｔ，ｖ）の位置ｐ３へのベクトルに相当する。したがって、第３の統合ベクトルＴＶ３は、出力画像Ｐ（ｔ，ｖ）の位置ｐ３（ｘ＋ｔｖ１ｘ，ｙ＋ｔｖ１ｙ）に対応するものである。

出力画像Ｐ（ｔ，ｖ）の位置ｐ３（ｘ＋ｔｖ１ｘ，ｙ＋ｔｖ１ｙ）にある画素の画素値Ｄｐ（ｘ＋ｔｖ１ｘ，ｙ＋ｔｖ１ｙ）は、下記式（９）で求めることができる。ただし、画像Ｐ（Ｔ２，Ｖ１）の位置（ｘ，ｙ）にある画素の画素値をＤ１（ｘ，ｙ）と表し、画像Ｐ（Ｔ１，Ｖ２）の位置（ｘ，ｙ）にある画素の画素値をＤ２（ｘ，ｙ）と表すものとする。
Ｄｐ（ｘ＋ｔｖ１ｘ，ｙ＋ｔｖ１ｙ）＝｛Ｄ１（ｘ＋ｔｖ１ｘ−ｔｖ２ｘ，ｙ＋ｔｖ１ｙ−ｔｖ２ｙ）＋Ｄ２（ｘ＋ｔｖ１ｘ−ｔｖ３ｘ，ｙ＋ｔｖ１ｙ−ｔｖ３ｙ）｝／２…（９）

上記式（９）において、ｘ＋ｔｖ１ｘ＝ｘ’、ｙ＋ｔｖ１ｙ＝ｙ’とすると、下記式（１０）が得られる。
Ｄｐ（ｘ’，ｙ’）＝｛Ｄ１（ｘ’−ｔｖ２ｘ，ｙ’−ｔｖ２ｙ）＋Ｄ２（ｘ’−ｔｖ３ｘ，ｙ’−ｔｖ３ｙ）｝／２…（１０）

画像生成部１４は、上記式（９）または（１０）を用いて、画像Ｐ（ｔ，ｖ）の各画素の画素値を求めることができる。

以下、画像生成部１４の処理について具体的に説明する。
画像Ｐ（Ｔ１，Ｖ１）、Ｐ（Ｔ２，Ｖ１）、Ｐ（Ｔ１，Ｖ２）、およびＰ（ｔ，ｖ）は、例えば、それぞれ、図１３の白丸印のように配置された、位置（ｘｍ，ｙｎ）（ｍ＝１，２，…，Ｍ、ｎ＝１，２，…，Ｎ）にある、水平方向にＭ個、垂直方向にＮ個、合計Ｍ×Ｎ個の画素の画素値で表される。そして、統合部１３は、画像Ｐ（Ｔ１，Ｖ１）の各位置（ｘｍ，ｙｎ）の画素について、第１の統合ベクトルＴＶ１、第２の統合ベクトルＴＶ２、および第３の統合ベクトルＴＶ３を算出する。

ここで、画像Ｐ（Ｔ１，Ｖ１）の位置（ｘｍ，ｙｎ）の画素についての第２の統合ベクトルＴＶ２および第３の統合ベクトルＴＶ３は、上述したように、出力画像Ｐ（ｔ，ｖ）の位置（ｘｍ＋ｔｖ１ｘ，ｙｎ＋ｔｖ１ｙ）に対応するものである。すなわち、図１４に示されるように、白丸印で表される画像Ｐ（ｔ，ｖ）の各位置（ｘｍ，ｙｎ）からベクトルＴＶ１だけずれた、黒三角印で表される各位置（ｘｍ＋ｔｖ１ｘ，ｙｎ＋ｔｖ１ｙ）に対応する第２の統合ベクトルＴＶ２および第３の統合ベクトルＴＶ３が得られる。

したがって、統合部１３により算出された第２の統合ベクトルＴＶ２および第３の統合ベクトルＴＶ３をそのまま用いて出力画像Ｐ（ｔ，ｖ）の画素値を計算する場合には、図１４の黒三角印の各位置の画素値が求まることになる。

出力画像Ｐ（ｔ，ｖ）の白丸印の各位置（ｘｍ，ｙｎ）の画素値を求めるために、画像生成部１４は、例えば、下記第１または第２の処理を行う。

［第１の処理］
画像生成部１４は、画像Ｐ（ｔ，ｖ）の黒三角印の各位置に対応する第２の統合ベクトルＴＶ２および第３の統合ベクトルＴＶ３から、画像Ｐ（ｔ，ｖ）の白丸印の各位置に対応する第２の統合ベクトルＴＶ２および第３の統合ベクトルＴＶ３を補間により算出する。

そして、画像生成部１４は、上記算出された白丸印の各位置に対応する第２の統合ベクトルＴＶ２および第３の統合ベクトルＴＶ３を用いて、下記式（１１）により、画像Ｐ（ｔ，ｖ）の白丸印の各位置（ｘｍ，ｙｎ）の画素値Ｄｐ（ｘｍ，ｙｎ）を算出する。
Ｄｐ（ｘｍ，ｙｎ）＝｛Ｄ１（ｘｍ−ｔｖ２ｘ，ｙｎ−ｔｖ２ｙ）＋Ｄ２（ｘｍ−ｔｖ３ｘ，ｙｎ−ｔｖ３ｙ）｝／２…（１１）

上記式（１１）を計算する際、画像生成部１４は、画像Ｐ（Ｔ２，Ｖ１）において位置（ｘｍ−ｔｖ２ｘ，ｙｎ−ｔｖ２ｙ）に画素が存在する場合には、当該画素の画素値をＤ１（ｘｍ−ｔｖ２ｘ，ｙｎ−ｔｖ２ｙ）として用いる。一方、画像Ｐ（Ｔ２，Ｖ１）において位置（ｘｍ−ｔｖ２ｘ，ｙｎ−ｔｖ２ｙ）に画素が存在しない場合には、例えば、画像Ｐ（Ｔ２，Ｖ１）の各画素値から位置（ｘｍ−ｔｖ２ｘ，ｙｎ−ｔｖ２ｙ）の画素値を補間し、当該画素値をＤ１（ｘｍ−ｔｖ２ｘ，ｙｎ−ｔｖ２ｙ）として用いる。

同様に、画像生成部１４は、画像Ｐ（Ｔ１，Ｖ２）において位置（ｘｍ−ｔｖ３ｘ，ｙｎ−ｔｖ３ｙ）に画素が存在する場合には、当該画素の画素値をＤ２（ｘｍ−ｔｖ３ｘ，ｙｎ−ｔｖ３ｙ）として用いる。一方、画像Ｐ（Ｔ１，Ｖ２）において位置（ｘｍ−ｔｖ３ｘ，ｙｎ−ｔｖ３ｙ）に画素が存在しない場合には、例えば、画像Ｐ（Ｔ１，Ｖ２）の各画素値から位置（ｘｍ−ｔｖ３ｘ，ｙｎ−ｔｖ３ｙ）の画素値を補間し、当該画素値をＤ２（ｘｍ−ｔｖ３ｘ，ｙｎ−ｔｖ３ｙ）として用いる。

［第２の処理］
画像生成部１４は、画像Ｐ（ｔ，ｖ）の黒三角印の各位置に対応する第２の統合ベクトルＴＶ２および第３の統合ベクトルＴＶ３を用いて、下記式（１２）により、画像Ｐ（ｔ，ｖ）の黒三角印の各位置（ｘｍ＋ｔｖ１ｘ，ｙｎ＋ｔｖ１ｙ）の画素値Ｄｐ（ｘｍ＋ｔｖ１ｘ，ｙｎ＋ｔｖ１ｙ）を算出する。
Ｄｐ（ｘｍ＋ｔｖ１ｘ，ｙｎ＋ｔｖ１ｙ）＝｛Ｄ１（ｘｍ＋ｔｖ１ｘ−ｔｖ２ｘ，ｙｎ＋ｔｖ１ｙ−ｔｖ２ｙ）＋Ｄ２（ｘｍ＋ｔｖ１−ｔｖ３ｘ，ｙｎ＋ｔｖ１ｙ−ｔｖ３ｙ）｝／２…（１２）

上記式（１２）を計算する際、画像生成部１４は、画像Ｐ（Ｔ２，Ｖ１）において位置（ｘｍ＋ｔｖ１ｘ−ｔｖ２ｘ，ｙｎ＋ｔｖ１ｙ−ｔｖ２ｙ）に画素が存在する場合には、当該画素の画素値をＤ１（ｘｍ＋ｔｖ１ｘ−ｔｖ２ｘ，ｙｎ＋ｔｖ１ｙ−ｔｖ２ｙ）として用いる。一方、画像Ｐ（Ｔ２，Ｖ１）において位置（ｘｍ＋ｔｖ１ｘ−ｔｖ２ｘ，ｙｎ＋ｔｖ１ｙ−ｔｖ２ｙ）に画素が存在しない場合には、例えば、画像Ｐ（Ｔ２，Ｖ１）の各画素値から位置（ｘｍ＋ｔｖ１ｘ−ｔｖ２ｘ，ｙｎ＋ｔｖ１ｙ−ｔｖ２ｙ）の画素値を補間し、当該画素値をＤ１（ｘｍ＋ｔｖ１ｘ−ｔｖ２ｘ，ｙｎ＋ｔｖ１ｙ−ｔｖ２ｙ）として用いる。

同様に、画像生成部１４は、画像Ｐ（Ｔ１，Ｖ２）において位置（ｘｍ＋ｔｖ１ｘ−ｔｖ３ｘ，ｙｎ＋ｔｖ１ｙ−ｔｖ３ｙ）に画素が存在する場合には、当該画素の画素値をＤ２（ｘｍ＋ｔｖ１ｘ−ｔｖ３ｘ，ｙｎ＋ｔｖ１ｙ−ｔｖ３ｙ）として用いる。一方、画像Ｐ（Ｔ１，Ｖ２）において位置（ｘｍ＋ｔｖ１ｘ−ｔｖ３ｘ，ｙｎ＋ｔｖ１ｙ−ｔｖ３ｙ）に画素が存在しない場合には、例えば、画像Ｐ（Ｔ１，Ｖ２）の各画素値から位置（ｘｍ＋ｔｖ１ｘ−ｔｖ３ｘ，ｙｎ＋ｔｖ１ｙ−ｔｖ３ｙ）の画素値を補間し、当該画素値をＤ２（ｘｍ＋ｔｖ１ｘ−ｔｖ３ｘ，ｙｎ＋ｔｖ１ｙ−ｔｖ３ｙ）として用いる。

そして、画像生成部１４は、上記算出された画像Ｐ（ｔ，ｖ）の黒三角印の各位置の画素値Ｄｐ（ｘｍ＋ｔｖ１ｘ，ｙｎ＋ｔｖ１ｙ）から、画像Ｐ（ｔ，ｖ）の白丸印の各位置（ｘｍ，ｙｎ）の画素値Ｄｐ（ｘｍ，ｙｎ）を補間により算出する。

なお、上記の第１および第２の処理において、各補間の方法は特に限定されないが、画像生成部１４は、例えば、平均補間法や最近隣補間法を用いて、統合ベクトルや画素値の補間を行う。例えば、画像生成部１４は、画像Ｐ（ｔ，ｖ）の位置（ｘｍ，ｙｎ）の画素値Ｄｐ（ｘｍ，ｙｎ）を補間する場合、位置（ｘｍ，ｙｎ）の周辺の画素の画素値の平均をＤｐ（ｘｍ，ｙｎ）として求めてもよいし、位置（ｘｍ，ｙｎ）の周辺の画素（例えば最も近い画素）の画素値をＤｐ（ｘｍ，ｙｎ）としてコピーしてもよい。

図１５は、本実施の形態に係る画像表示装置１００の処理工程を示すフローチャートである。以下、図１５を参照して、画像表示装置１００の処理を説明する。

まず、動き推定ステップＳ１では、画像表示装置１００は、時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、時刻Ｔ２で視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）とを参照して、画素ごとに、時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）から時刻Ｔ２で視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）への第１の動きベクトルＭＶ１を算出する。この動作は、動き推定部１１により実行される。

視差推定ステップＳ２では、画像表示装置１００は、時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、時刻Ｔ１で視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）とを参照して、画素ごとに、時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）から時刻Ｔ１で視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）への第１の視差ベクトルＤＶ１を算出する。この動作は、視差推定部１２により実行される。

視差・動き統合ステップＳ３では、画像表示装置１００は、第１の動きベクトルＭＶ１と第１の視差ベクトルＤＶ１とから、第１の動きベクトルＭＶ１と第１の視差ベクトルＤＶ１とが統合された統合ベクトルを算出する。この動作は、統合部１３により実行される。

画像生成ステップＳ４では、画像表示装置１００は、画像Ｐ（Ｔ１，Ｖ１）、画像Ｐ（Ｔ２，Ｖ１）、および画像Ｐ（Ｔ１，Ｖ２）のうち少なくとも１つの画像と、上記統合ステップＳ３で算出された統合ベクトルとから、任意の時刻ｔにおける任意の視点ｖの画像Ｐ（ｔ，ｖ）を生成する。この動作は、画像生成部１４により実行される。

一つの態様では、統合ステップＳ３では、画像表示装置１００は、第１の動きベクトルＭＶ１と第１の視差ベクトルＤＶ１とから、統合ベクトルとして、時刻Ｔ２で視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）から時刻ｔで視点ｖの位置への第２の統合ベクトルＴＶ２と、時刻Ｔ１で視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）から時刻ｔで視点ｖの位置への第３の統合ベクトルＴＶ３とを算出する。そして、画像生成ステップＳ４では、画像表示装置１００は、時刻Ｔ２で視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）、時刻Ｔ１で視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）、第２の統合ベクトルＴＶ２、および第３の統合ベクトルＴＶ３から、時刻ｔで視点ｖの画像Ｐ（ｔ，ｖ）を生成する。

なお、上記の説明では、画像Ｐ（Ｔ２，Ｖ１）、画像Ｐ（Ｔ１，Ｖ２）、第２の統合ベクトルＴＶ２、および第３の統合ベクトルＴＶ３から画像Ｐ（ｔ，ｖ）を生成する構成を例示したが、画像処理部１０は、入力画像および統合ベクトルの他の組み合わせにより画像Ｐ（ｔ，ｖ）を生成してもよい。

例えば、画像処理部１０は、統合ベクトルとして、第１の統合ベクトルＴＶ１と第２の統合ベクトルＴＶ２とを算出し、画像Ｐ（Ｔ１，Ｖ１）、画像Ｐ（Ｔ２，Ｖ１）、第１の統合ベクトルＴＶ１、および第２の統合ベクトルＴＶ２から画像Ｐ（ｔ，ｖ）を生成してもよい。この場合、図１１において、第３の統合ベクトルＴＶ３の代わりに第１の統合ベクトルＴＶ１が用いられ、画像Ｐ（Ｔ１，Ｖ２）の代わりに画像Ｐ（Ｔ１，Ｖ１）が用いられる。

また例えば、画像処理部１０は、統合ベクトルとして、第１の統合ベクトルＴＶ１と第３の統合ベクトルＴＶ３とを算出し、画像Ｐ（Ｔ１，Ｖ１）、画像Ｐ（Ｔ１，Ｖ２）、第１の統合ベクトルＴＶ１、および第３の統合ベクトルＴＶ３から画像Ｐ（ｔ，ｖ）を生成してもよい。この場合、図１１において、第２の統合ベクトルＴＶ２の代わりに第１の統合ベクトルＴＶ１が用いられ、画像Ｐ（Ｔ２，Ｖ１）の代わりに画像Ｐ（Ｔ１，Ｖ１）が用いられる。

さらに、画像処理部１０は、統合ベクトルＴＶ１〜ＴＶ３のうちの１つの統合ベクトルを用いて、入力画像Ｐ（Ｔ１，Ｖ１）、Ｐ（Ｔ２，Ｖ１）、およびＰ（Ｔ１，Ｖ２）のうちの１つの画像から、出力画像Ｐ（ｔ，ｖ）を生成してもよい。例えば、画像処理部１０は、統合ベクトルとして第１の統合ベクトルＴＶ１を算出し、画像Ｐ（Ｔ１，Ｖ１）と第１の統合ベクトルＴＶ１とから画像Ｐ（ｔ，ｖ）を生成してもよい。具体的には、画像処理部１０は、画像Ｐ（Ｔ１，Ｖ１）の位置（ｘ，ｙ）の画素値をＤ（ｘ，ｙ）と表した場合、画像Ｐ（ｔ，ｖ）の位置（ｘ，ｙ）の画素値Ｄｐ（ｘ，ｙ）を、下記式（１３）により算出してもよい。
Ｄｐ（ｘ，ｙ）＝Ｄ（ｘ−ｔｖ１ｘ，ｙ−ｔｖ１ｙ）…（１３）

また、画像処理部１０は、画像Ｐ（Ｔ１，Ｖ１）の各画素を当該画素に対応する第１の統合ベクトルＴＶ１に従って移動させて、出力画像Ｐ（ｔ，ｖ）を生成してもよい。例えば、図１４を参照すると、白丸印で表される画像Ｐ（Ｔ１，Ｖ１）の各位置（ｘｍ，ｙｎ）の画素を、それぞれ対応する第１の統合ベクトルＴＶ１に従って黒三角印で表される位置に移動させる。そして、黒三角印の位置にある画素群に基づいて出力画像Ｐ（ｔ，ｖ）を生成する。具体的には、画像Ｐ（Ｔ１，Ｖ１）の各位置（ｘｍ，ｙｎ）の画素値Ｄ（ｘｍ，ｙｎ）を、出力画像Ｐ（ｔ，ｖ）の各位置（ｘｍ＋ｔｖ１ｘ，ｙｎ＋ｔｖ１ｙ）の画素値Ｄｐ（ｘｍ＋ｔｖ１ｘ，ｙｎ＋ｔｖ１ｙ）とする。そして、得られた画素値Ｄｐ（ｘｍ＋ｔｖ１ｘ，ｙｎ＋ｔｖ１ｙ）から、出力画像Ｐ（ｔ，ｖ）の各位置（ｘｍ，ｙｎ）の画素値Ｄｐ（ｘｍ，ｙｎ）を補間により求める。

また、上記の説明では、画素ごとに動きベクトルや視差ベクトルなどを算出し、画素ごとに処理する構成を例示したが、画素ごとに処理する構成に限定されない。例えば、画像処理部１０は、複数の画素を含むブロックごとに処理してもよいし、画像中の特定のオブジェクト（例えば立体や移動物体）ごとに処理してもよい。

また、本実施の形態の画像処理部１０は、複数の入力画像から任意の時刻および視点の画像を生成するものであり、その利用形態は特に限定されないが、一つの利用形態では、ホールド型の立体画像表示装置において、表示物体の移動をスムーズにするためにフレーム周波数の変換を行い、飛び出し量を調整するために視点を変更する際に用いられる。この利用形態における具体的な構成例では、不図示の制御部は、入力画像のフレーム周波数と目標のフレーム周波数（すなわち出力画像のフレーム周波数）とから時刻ｔを決定し、当該時刻ｔを画像処理部１０に出力する。また、制御部は、使用者から指定された飛び出し量の調整値に基づき、指定された飛び出し量に対応する視点ｖｌおよびｖｒを決定し、当該視点ｖｌおよびｖｒを画像処理部１０に出力する。画像処理部１０は、制御部からの時刻ｔおよび視点ｖｌ，ｖｒに基づき、出力画像（ｔ，ｖｌ）および出力画像（ｔ，ｖｒ）を生成し、画像表示部２０に出力する。画像表示部２０は、画像（ｔ，ｖｌ）および画像（ｔ，ｖｒ）を表示する。これにより、フレーム周波数が変換され、飛び出し量が調整された画像が表示される。

上記利用形態のほか、画像処理部１０は、多視点の表示デバイス向けに２視点の映像から多視点の映像を生成するとともに、フレーム周波数の変換を行う場合に利用されてもよい。ここで、上記多視点の表示デバイスとは、具体的には、３以上の視点の画像を表示する装置であり、例えば、いわゆる多視点立体ディスプレイである。

以上説明したように、本実施の形態では、画像処理部は、入力画像Ｐ（Ｔ１，Ｖ１）、Ｐ（Ｔ２，Ｖ１）、およびＰ（Ｔ１，Ｖ２）を受け、画像Ｐ（Ｔ１，Ｖ１）から画像Ｐ（Ｔ２，Ｖ１）への第１の動きベクトルを算出し、画像Ｐ（Ｔ１，Ｖ１）から画像Ｐ（Ｔ１，Ｖ２）への第１の視差ベクトルを算出し、第１の動きベクトルと第１の視差ベクトルとから、第１の動きベクトルと第１の視差ベクトルとが統合された統合ベクトルを算出し、入力画像のうち少なくとも１つの画像と統合ベクトルとから、任意の時刻ｔにおける任意の視点ｖの画像Ｐ（ｔ，ｖ）を生成する。このような本実施の形態によれば、複数の入力画像から任意の時刻における任意の視点の画像を生成することができる。また、本実施の形態によれば、少ない演算量または小さい回路規模で、複数の入力画像から任意の時刻における任意の視点の画像を生成することができる。具体的には、本実施の形態では、１つの動き推定処理と１つの視差推定処理とにより任意の時刻および視点の画像を生成することができ、これにより、演算量を少なくでき、電子回路では回路規模を小さくできる。

また、本実施の形態の一態様では、画像処理部は、２つの統合ベクトルを算出して、当該２つの統合ベクトルを用いて２つの入力画像の平均により出力画像を生成する。本態様によれば、１つの統合ベクトルを用いる構成と比較して、良好な出力画像を得ることが可能となる。例えば、１つの統合ベクトルを用いる構成では、動きや視差をブロック単位で推定する場合、１つのブロックに２種類の動きがあっても１つしか動きを推定しない。このため、ブロック内の一部の画素については誤った動きを推定することになる。これに対し、２つの統合ベクトルを用いて２つの入力画像の平均により出力画像を生成する構成によれば、平均することで、上記誤った動きの推定による出力画像上の弊害を目立たせないようにすることができる。

以下、図面を参照しながら、本実施の形態の効果について具体的に説明する。
上述したように、立体画像表示装置では、飛び出し量が大きすぎる場合、観察者に目の疲れを誘発するという問題がある。この問題は、飛び出し量を調整する手法により解決することができる。この手法では、図１６に示されるように、立体の対象物を視点Ｖ１およびＶ２から撮像して得られた画像Ｐ（Ｖ１）およびＰ（Ｖ２）から、視差を推定する視差推定技術を用いることで、所望の視点ｖの補間画像Ｐ（ｖ）を生成して表示することで飛び出し量を調整する。

また、上述したように、液晶ディスプレイなどのホールド型ディスプレイでは、１フレーム期間同じ画像が表示され続けることから、エッジ部分がぼやけて見えるという問題がある。この問題は、表示画像数を多くして表示物体の移動をスムーズにするフレーム周波数の変換技術により解決することができる。この技術では、図１７に示されるように、時刻Ｔ１およびＴ２で撮像して得られた画像Ｐ（Ｔ１）およびＰ（Ｔ２）から、対象物の時間的な動きを推定する動き推定技術を用いて、画像Ｐ（Ｔ１）およびＰ（Ｔ２）の２フレームの間に所望の時刻ｔの補間画像Ｐ（ｔ）を生成して表示することで、表示画像数を多くする。

上記の視差推定技術と動き推定技術とを組み合わせて使用することにより、複数の入力画像から任意の時刻における任意の視点の画像を生成することができる。例えば、図１８に示されるように、時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）、時刻Ｔ１で視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）、時刻Ｔ２で視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）、および時刻Ｔ２で視点Ｖ２の画像Ｐ（Ｔ２，Ｖ２）から、任意の時刻ｔで任意の視点ｖの画像Ｐ（ｔ，ｖ）を生成することができる。この場合、はじめに、図１９に示されるように、画像Ｐ（Ｔ１，Ｖ１）と画像Ｐ（Ｔ２，Ｖ１）から動き推定技術を使用して中間画像Ｐ（ｔ，Ｖ１）を生成し、画像Ｐ（Ｔ１，Ｖ２）と画像Ｐ（Ｔ２，Ｖ２）から動き推定技術を使用して中間画像Ｐ（ｔ，Ｖ２）を生成する。次に、図２０に示されるように、中間画像Ｐ（ｔ，Ｖ１）と中間画像Ｐ（ｔ，Ｖ２）から視差推定技術を用いて出力画像Ｐ（ｔ，ｖ）を生成する。

視差推定処理や動き推定処理は多くの演算量を必要とするところ、上記比較例に係る画像処理方法では、２つの動き推定処理と１つの視差推定処理とを必要とするので、演算量が膨大となってしまい、電子回路では回路規模が膨大になってしまう。これに対し、本実施の形態では、１つの視差推定処理と１つの動き推定処理とにより出力画像を生成することができ、上記比較例に係る画像処理方法と比較して、演算量を少なくでき、電子回路では回路規模を小さくできる。

なお、以上説明した実施の形態に係る画像表示装置または画像処理部は、電子回路などのハードウェア資源のみにより実現されてもよいし、ハードウェア資源とソフトウェアとの協働により実現されてもよい。ハードウェア資源とソフトウェアとの協働により実現される場合、画像表示装置または画像処理部は、例えばコンピュータプログラムがコンピュータにより実行されることによって実現され、より具体的には、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体に記録されたコンピュータプログラムが主記憶装置に読み出されて中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により実行されることによって実現される。コンピュータプログラムは、光ディスク等のコンピュータ読み取り可能な記録媒体に記録されて提供されてもよいし、インターネット等の通信回線を介して提供されてもよい。

また、本発明は、上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の態様で実施することができる。

１０ 画像処理部、 １１ 動き推定部、 １１ａ 注目画像ブロック切り出し部、 １１ｂ 探索画像ブロック切り出し部、 １１ｃ 動きベクトル決定部、 １２ 視差推定部、 １３ 視差・動き統合部、 １４ 画像生成部、 １５ 動き変換部、 １６ 視差変換部、 １７ ベクトル加算部、 １８ 第１のベクトル減算部、 １９ 第２のベクトル減算部、 ２０ 画像表示部、 １００ 画像表示装置。

Claims (13)

1. 第１の時刻Ｔ１における第１の視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、前記第１の時刻Ｔ１と異なる第２の時刻Ｔ２における前記視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ２，Ｖ１）への第１の動きベクトルを算出する動き推定部と、
   前記画像Ｐ（Ｔ１，Ｖ１）と、前記時刻Ｔ１における前記第１の視点Ｖ１と異なる第２の視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ１，Ｖ２）への第１の視差ベクトルを算出する視差推定部と、
   前記第１の動きベクトルと前記第１の視差ベクトルとから、前記第１の動きベクトルと前記第１の視差ベクトルとが統合された統合ベクトルを算出する統合部と、
   前記画像Ｐ（Ｔ１，Ｖ１）、画像Ｐ（Ｔ２，Ｖ１）、および画像Ｐ（Ｔ１，Ｖ２）のうち少なくとも１つの画像と、前記統合ベクトルとから、任意の時刻ｔにおける任意の視点ｖの画像Ｐ（ｔ，ｖ）を生成する画像生成部と、
   を備え、
   前記統合部は、前記統合ベクトルとして、前記画像Ｐ（Ｔ２，Ｖ１）から前記画像Ｐ（ｔ，ｖ）への第２の統合ベクトルと、前記画像Ｐ（Ｔ１，Ｖ２）から前記画像Ｐ（ｔ，ｖ）への第３の統合ベクトルとを算出し、
   前記画像生成部は、前記画像Ｐ（Ｔ２，Ｖ１）、前記画像Ｐ（Ｔ１，Ｖ２）、前記第２の統合ベクトル、および前記第３の統合ベクトルから、前記画像Ｐ（ｔ，ｖ）を生成する、
   ことを特徴とする画像処理装置。
2. 第１の時刻Ｔ１における第１の視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、前記第１の時刻Ｔ１と異なる第２の時刻Ｔ２における前記視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ２，Ｖ１）への第１の動きベクトルを算出する動き推定部と、
   前記画像Ｐ（Ｔ１，Ｖ１）と、前記時刻Ｔ１における前記第１の視点Ｖ１と異なる第２の視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ１，Ｖ２）への第１の視差ベクトルを算出する視差推定部と、
   前記第１の動きベクトルと前記第１の視差ベクトルとから、前記第１の動きベクトルと前記第１の視差ベクトルとが統合された統合ベクトルを算出する統合部と、
   前記画像Ｐ（Ｔ１，Ｖ１）、画像Ｐ（Ｔ２，Ｖ１）、および画像Ｐ（Ｔ１，Ｖ２）のうち少なくとも１つの画像と、前記統合ベクトルとから、任意の時刻ｔにおける任意の視点ｖの画像Ｐ（ｔ，ｖ）を生成する画像生成部と、
   を備え、
   前記統合部は、前記統合ベクトルとして、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（ｔ，ｖ）への第１の統合ベクトルと、前記画像Ｐ（Ｔ２，Ｖ１）から前記画像Ｐ（ｔ，ｖ）への第２の統合ベクトルとを算出し、
   前記画像生成部は、前記画像Ｐ（Ｔ１，Ｖ１）、前記画像Ｐ（Ｔ２，Ｖ１）、前記第１の統合ベクトル、および前記第２の統合ベクトルから、前記画像Ｐ（ｔ，ｖ）を生成する、
   ことを特徴とする画像処理装置。
3. 第１の時刻Ｔ１における第１の視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、前記第１の時刻Ｔ１と異なる第２の時刻Ｔ２における前記視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ２，Ｖ１）への第１の動きベクトルを算出する動き推定部と、
   前記画像Ｐ（Ｔ１，Ｖ１）と、前記時刻Ｔ１における前記第１の視点Ｖ１と異なる第２の視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ１，Ｖ２）への第１の視差ベクトルを算出する視差推定部と、
   前記第１の動きベクトルと前記第１の視差ベクトルとから、前記第１の動きベクトルと前記第１の視差ベクトルとが統合された統合ベクトルを算出する統合部と、
   前記画像Ｐ（Ｔ１，Ｖ１）、画像Ｐ（Ｔ２，Ｖ１）、および画像Ｐ（Ｔ１，Ｖ２）のうち少なくとも１つの画像と、前記統合ベクトルとから、任意の時刻ｔにおける任意の視点ｖの画像Ｐ（ｔ，ｖ）を生成する画像生成部と、
   を備え、
   前記統合部は、前記統合ベクトルとして、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（ｔ，ｖ）への第１の統合ベクトルと、前記画像Ｐ（Ｔ１，Ｖ２）から前記画像Ｐ（ｔ，ｖ）への第３の統合ベクトルとを算出し、
   前記画像生成部は、前記画像Ｐ（Ｔ１，Ｖ１）、前記画像Ｐ（Ｔ１，Ｖ２）、前記第１の統合ベクトル、および前記第３の統合ベクトルから、前記画像Ｐ（ｔ，ｖ）を生成する、
   ことを特徴とする画像処理装置。
4. 前記統合部は、
   前記第１の動きベクトルを、前記画像Ｐ（Ｔ１，Ｖ１）から前記任意の時刻ｔにおける前記視点Ｖ１の位置への第２の動きベクトルに変換する動き変換部と、
   前記第１の視差ベクトルを、前記画像Ｐ（Ｔ１，Ｖ１）から前記時刻Ｔ１における前記任意の視点ｖの位置への第２の視差ベクトルに変換する視差変換部と、
   前記第２の動きベクトルと前記第２の視差ベクトルとを加算して第１の統合ベクトルを算出するベクトル加算部と、
   前記第１の統合ベクトルから前記第１の動きベクトルを減算して前記第２の統合ベクトルを算出する第１のベクトル減算部と、
   前記第１の統合ベクトルから前記第１の視差ベクトルを減算して前記第３の統合ベクトルを算出する第２のベクトル減算部と、
   を備えることを特徴とする請求項１に記載の画像処理装置。
5. 請求項１から４のいずれか１項に記載の画像処理装置と、
   前記画像処理装置の前記画像生成部により生成された画像Ｐ（ｔ，ｖ）を表示する画像表示部と、
   を備えることを特徴とする画像表示装置。
6. 第１の時刻Ｔ１における第１の視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、前記第１の時刻Ｔ１と異なる第２の時刻Ｔ２における前記視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ２，Ｖ１）への第１の動きベクトルを算出する動き推定ステップと、
   前記画像Ｐ（Ｔ１，Ｖ１）と、前記時刻Ｔ１における前記第１の視点Ｖ１と異なる第２の視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ１，Ｖ２）への第１の視差ベクトルを算出する視差推定ステップと、
   前記第１の動きベクトルと前記第１の視差ベクトルとから、前記第１の動きベクトルと前記第１の視差ベクトルとが統合された統合ベクトルを算出する統合ステップと、
   前記画像Ｐ（Ｔ１，Ｖ１）、画像Ｐ（Ｔ２，Ｖ１）、および画像Ｐ（Ｔ１，Ｖ２）のうち少なくとも１つの画像と、前記統合ベクトルとから、任意の時刻ｔにおける任意の視点ｖの画像Ｐ（ｔ，ｖ）を生成する画像生成ステップと、
   を有し、
   前記統合ステップでは、前記統合ベクトルとして、前記画像Ｐ（Ｔ２，Ｖ１）から前記画像Ｐ（ｔ，ｖ）への第２の統合ベクトルと、前記画像Ｐ（Ｔ１，Ｖ２）から前記画像Ｐ（ｔ，ｖ）への第３の統合ベクトルとを算出し、
   前記画像生成ステップでは、前記画像Ｐ（Ｔ２，Ｖ１）、前記画像Ｐ（Ｔ１，Ｖ２）、前記第２の統合ベクトル、および前記第３の統合ベクトルから、前記画像Ｐ（ｔ，ｖ）を生成する、
   ことを特徴とする画像処理方法。
7. 第１の時刻Ｔ１における第１の視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、前記第１の時刻Ｔ１と異なる第２の時刻Ｔ２における前記視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ２，Ｖ１）への第１の動きベクトルを算出する動き推定ステップと、
   前記画像Ｐ（Ｔ１，Ｖ１）と、前記時刻Ｔ１における前記第１の視点Ｖ１と異なる第２の視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ１，Ｖ２）への第１の視差ベクトルを算出する視差推定ステップと、
   前記第１の動きベクトルと前記第１の視差ベクトルとから、前記第１の動きベクトルと前記第１の視差ベクトルとが統合された統合ベクトルを算出する統合ステップと、
   前記画像Ｐ（Ｔ１，Ｖ１）、画像Ｐ（Ｔ２，Ｖ１）、および画像Ｐ（Ｔ１，Ｖ２）のうち少なくとも１つの画像と、前記統合ベクトルとから、任意の時刻ｔにおける任意の視点ｖの画像Ｐ（ｔ，ｖ）を生成する画像生成ステップと、
   を有し、
   前記統合ステップでは、前記統合ベクトルとして、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（ｔ，ｖ）への第１の統合ベクトルと、前記画像Ｐ（Ｔ２，Ｖ１）から前記画像Ｐ（ｔ，ｖ）への第２の統合ベクトルとを算出し、
   前記画像生成ステップでは、前記画像Ｐ（Ｔ１，Ｖ１）、前記画像Ｐ（Ｔ２，Ｖ１）、前記第１の統合ベクトル、および前記第２の統合ベクトルから、前記画像Ｐ（ｔ，ｖ）を生成する、
   ことを特徴とする画像処理方法。
8. 第１の時刻Ｔ１における第１の視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、前記第１の時刻Ｔ１と異なる第２の時刻Ｔ２における前記視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ２，Ｖ１）への第１の動きベクトルを算出する動き推定ステップと、
   前記画像Ｐ（Ｔ１，Ｖ１）と、前記時刻Ｔ１における前記第１の視点Ｖ１と異なる第２の視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ１，Ｖ２）への第１の視差ベクトルを算出する視差推定ステップと、
   前記第１の動きベクトルと前記第１の視差ベクトルとから、前記第１の動きベクトルと前記第１の視差ベクトルとが統合された統合ベクトルを算出する統合ステップと、
   前記画像Ｐ（Ｔ１，Ｖ１）、画像Ｐ（Ｔ２，Ｖ１）、および画像Ｐ（Ｔ１，Ｖ２）のうち少なくとも１つの画像と、前記統合ベクトルとから、任意の時刻ｔにおける任意の視点ｖの画像Ｐ（ｔ，ｖ）を生成する画像生成ステップと、
   を有し、
   前記統合ステップでは、前記統合ベクトルとして、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（ｔ，ｖ）への第１の統合ベクトルと、前記画像Ｐ（Ｔ１，Ｖ２）から前記画像Ｐ（ｔ，ｖ）への第３の統合ベクトルとを算出し、
   前記画像生成ステップでは、前記画像Ｐ（Ｔ１，Ｖ１）、前記画像Ｐ（Ｔ１，Ｖ２）、前記第１の統合ベクトル、および前記第３の統合ベクトルから、前記画像Ｐ（ｔ，ｖ）を生成する、
   ことを特徴とする画像処理方法。
9. 前記統合ステップは、
   前記第１の動きベクトルを、前記画像Ｐ（Ｔ１，Ｖ１）から前記任意の時刻ｔにおける前記視点Ｖ１の位置への第２の動きベクトルに変換する動き変換ステップと、
   前記第１の視差ベクトルを、前記画像Ｐ（Ｔ１，Ｖ１）から前記時刻Ｔ１における前記任意の視点ｖの位置への第２の視差ベクトルに変換する視差変換ステップと、
   前記第２の動きベクトルと前記第２の視差ベクトルとを加算して第１の統合ベクトルを算出するベクトル加算ステップと、
   前記第１の統合ベクトルから前記第１の動きベクトルを減算して前記第２の統合ベクトルを算出する第１のベクトル減算ステップと、
   前記第１の統合ベクトルから前記第１の視差ベクトルを減算して前記第３の統合ベクトルを算出する第２のベクトル減算ステップと、
   を有することを特徴とする請求項６に記載の画像処理方法。
10. 請求項６から９のいずれか１項に記載の画像処理方法と、
    前記画像処理方法の前記画像生成ステップにより生成された画像Ｐ（ｔ，ｖ）を表示する画像表示ステップと、
    を有することを特徴とする画像表示方法。
11. 第１の時刻Ｔ１における第１の視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、前記第１の時刻Ｔ１と異なる第２の時刻Ｔ２における前記視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ２，Ｖ１）への第１の動きベクトルを算出する動き推定ステップと、
    前記画像Ｐ（Ｔ１，Ｖ１）と、前記時刻Ｔ１における前記第１の視点Ｖ１と異なる第２の視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ１，Ｖ２）への第１の視差ベクトルを算出する視差推定ステップと、
    前記第１の動きベクトルと前記第１の視差ベクトルとから、前記第１の動きベクトルと前記第１の視差ベクトルとが統合された統合ベクトルを算出する統合ステップと、
    前記画像Ｐ（Ｔ１，Ｖ１）、画像Ｐ（Ｔ２，Ｖ１）、および画像Ｐ（Ｔ１，Ｖ２）のうち少なくとも１つの画像と、前記統合ベクトルとから、任意の時刻ｔにおける任意の視点ｖの画像Ｐ（ｔ，ｖ）を生成する画像生成ステップと、
    をコンピュータに実行させ、
    前記統合ステップでは、前記統合ベクトルとして、前記画像Ｐ（Ｔ２，Ｖ１）から前記画像Ｐ（ｔ，ｖ）への第２の統合ベクトルと、前記画像Ｐ（Ｔ１，Ｖ２）から前記画像Ｐ（ｔ，ｖ）への第３の統合ベクトルとを算出し、
    前記画像生成ステップでは、前記画像Ｐ（Ｔ２，Ｖ１）、前記画像Ｐ（Ｔ１，Ｖ２）、前記第２の統合ベクトル、および前記第３の統合ベクトルから、前記画像Ｐ（ｔ，ｖ）を生成する、
    ことを特徴とする画像処理プログラム。
12. 第１の時刻Ｔ１における第１の視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、前記第１の時刻Ｔ１と異なる第２の時刻Ｔ２における前記視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ２，Ｖ１）への第１の動きベクトルを算出する動き推定ステップと、
    前記画像Ｐ（Ｔ１，Ｖ１）と、前記時刻Ｔ１における前記第１の視点Ｖ１と異なる第２の視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ１，Ｖ２）への第１の視差ベクトルを算出する視差推定ステップと、
    前記第１の動きベクトルと前記第１の視差ベクトルとから、前記第１の動きベクトルと前記第１の視差ベクトルとが統合された統合ベクトルを算出する統合ステップと、
    前記画像Ｐ（Ｔ１，Ｖ１）、画像Ｐ（Ｔ２，Ｖ１）、および画像Ｐ（Ｔ１，Ｖ２）のうち少なくとも１つの画像と、前記統合ベクトルとから、任意の時刻ｔにおける任意の視点ｖの画像Ｐ（ｔ，ｖ）を生成する画像生成ステップと、
    をコンピュータに実行させ、
    前記統合ステップでは、前記統合ベクトルとして、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（ｔ，ｖ）への第１の統合ベクトルと、前記画像Ｐ（Ｔ２，Ｖ１）から前記画像Ｐ（ｔ，ｖ）への第２の統合ベクトルとを算出し、
    前記画像生成ステップでは、前記画像Ｐ（Ｔ１，Ｖ１）、前記画像Ｐ（Ｔ２，Ｖ１）、前記第１の統合ベクトル、および前記第２の統合ベクトルから、前記画像Ｐ（ｔ，ｖ）を生成する、
    ことを特徴とする画像処理プログラム。
13. 第１の時刻Ｔ１における第１の視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、前記第１の時刻Ｔ１と異なる第２の時刻Ｔ２における前記視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ２，Ｖ１）への第１の動きベクトルを算出する動き推定ステップと、
    前記画像Ｐ（Ｔ１，Ｖ１）と、前記時刻Ｔ１における前記第１の視点Ｖ１と異なる第２の視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ１，Ｖ２）への第１の視差ベクトルを算出する視差推定ステップと、
    前記第１の動きベクトルと前記第１の視差ベクトルとから、前記第１の動きベクトルと前記第１の視差ベクトルとが統合された統合ベクトルを算出する統合ステップと、
    前記画像Ｐ（Ｔ１，Ｖ１）、画像Ｐ（Ｔ２，Ｖ１）、および画像Ｐ（Ｔ１，Ｖ２）のうち少なくとも１つの画像と、前記統合ベクトルとから、任意の時刻ｔにおける任意の視点ｖの画像Ｐ（ｔ，ｖ）を生成する画像生成ステップと、
    をコンピュータに実行させ、
    前記統合ステップでは、前記統合ベクトルとして、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（ｔ，ｖ）への第１の統合ベクトルと、前記画像Ｐ（Ｔ１，Ｖ２）から前記画像Ｐ（ｔ，ｖ）への第３の統合ベクトルとを算出し、
    前記画像生成ステップでは、前記画像Ｐ（Ｔ１，Ｖ１）、前記画像Ｐ（Ｔ１，Ｖ２）、前記第１の統合ベクトル、および前記第３の統合ベクトルから、前記画像Ｐ（ｔ，ｖ）を生成する、
    ことを特徴とする画像処理プログラム。

Images