JP7597232B2 - 映像処理装置、映像処理方法、及び映像処理プログラム - Google Patents

Description

本発明は、映像処理装置、映像処理方法、及び映像処理プログラムに関する。

人間が奥行きを知覚する際に働く視覚メカニズムを応用したステレオ画像生成技術として、“HiddenStereo手法”が知られている。HiddenStereo手法では、基準画像に対して９０度位相の異なる視差誘導パタンを生成し、基準画像に加算又は減算して作成したステレオペア画像を３Ｄディスプレイで表示する。この手法を用いることで、３Ｄメガネをかけているユーザは両眼立体視による３Ｄ画像を知覚でき、３Ｄメガネをかけていないユーザはゴーストや２重像のない２Ｄ画像（上述の基準画像）を知覚できる。

しかしながら、当該手法では、基準画像と視差誘導パタンとの位相差が９０度に固定されているため、基準画像に対する左右の視差誘導量が常に等しい。その結果、視差が左右対称である場合、例えばユーザの正面位置のオブジェクト等の場合には正確な奥行きを再現できるが、視差が左右非対称である場合、例えばユーザの正面から水平方向に離れた位置のオブジェクト等の場合には正確な奥行きを再現することが難しかった。この現象は、特に大型３Ｄディスプレイにおける画面端のオブジェクトで顕著に表れる。そこで、視差が左右非対称である場合においても適切に奥行きを再現することができるステレオ画像生成技術が求められている。

ACM Transactions on Graphics, (米), 2017年7月, Vol. 36, No. 4, Article 147

本発明は、視差が左右非対称である場合においても適切に奥行きを再現することができる映像処理装置、映像処理方法、及び映像処理プログラムを提供することを目的とする。

実施形態によれば、映像処理装置は、画像取得部、最適化処理部、パタン生成部、及び画像生成部を具備する。画像取得部は、左目位置から表示領域を撮影した左目視点画像と、右目位置から表示領域を撮影した右目視点画像と、左目位置及び右目位置の中間位置から表示領域を撮影した中間視点画像と、を取得する。最適化処理部は、中間視点画像に基づいて算出された位相シフト量及び重みを、左目視点画像及び右目視点画像に基づいて最適化する。パタン生成部は、最適化された位相シフト量及び最適化された重みに基づいて、左目位置及び右目位置の間の視差に対応する視差誘導パタンを生成する。画像生成部は、中間視点画像及び視差誘導パタンに基づいて、ステレオペア画像を生成する。

実施形態によれば、視差が左右非対称である場合においても適切に奥行きを再現することができる映像処理装置、映像処理方法、及び映像処理プログラムを提供することができる。

図１は、実施形態に係る映像処理装置を使用して３Ｄオブジェクトを再現するときに、ユーザの視点において生じる視差を説明する説明図である。 図２は、実施形態に係る映像処理装置の構成の一例を示す図である。 図３は、実施形態に係る映像処理装置の機能構成の一例を示す図である。 図４は、実施形態に係る映像処理装置がステレオペア画像を生成する処理の一例を説明する説明図である。 図５は、実施形態に係る映像処理装置で実行される処理の一例を説明するフローチャートである。 図６は、実施形態の変形例に係る映像処理装置がステレオペア画像を生成するときの画面分割の一例を説明する説明図である。 図７は、実施形態の変形例に係る映像処理装置がステレオペア画像を生成する処理の一例を説明する説明図である。 図８は、実施形態の変形例に係る映像処理装置で実行される処理の一例を説明するフローチャートである。

本発明の一実施形態について、適宜図面を参照しながら詳細に説明する。

図１は、実施形態に係る映像処理装置を使用して３Ｄオブジェクトを再現するときに、ユーザの視点において生じる視差を説明する説明図である。図１では、奥行き方向（矢印Ｙ１及び矢印Ｙ２で示す方向）及び水平方向（矢印Ｘ１及び矢印Ｘ２で示す方向）が規定される。奥行き方向は、鉛直方向と交差する（直交又は略直交する）。水平方向は、奥行き方向及び鉛直方向の両方と交差する（直交又は略直交する）。図１では、ユーザは奥行き方向について現実の表示領域ＲＳに対して手前側（矢印Ｙ２側）に位置する。したがって、ユーザは手前側から表示領域ＲＳを視ることで３Ｄオブジェクトを知覚する。このとき、３Ｄオブジェクトで再現する奥行き幅を距離Ｄとする。距離Ｄは、現実の表示領域ＲＳと仮想表示面ＶＳとの間の、奥行き方向の距離である。また、図１では、左目位置ＰＬ、右目位置ＰＲ、中間位置ＰＣが規定される。左目位置ＰＬは、３Ｄオブジェクトを知覚するユーザの両目の想定視点のうち左目に対応する想定視点の位置である。右目位置ＰＲは、３Ｄオブジェクトを知覚するユーザの両目の想定視点のうち右目に対応する想定視点の位置である。中間位置ＰＣは、左目位置ＰＬ及び右目位置ＰＲの中間の、水平方向の位置である。

例えば、ユーザが視認領域ＤＬを視ることで３Ｄオブジェクトを知覚すると、ユーザは距離Ｄ離れた仮想表示面ＶＳにおける仮想点ＶＬを知覚する。このとき、視認領域ＤＬの拡大図に示すように、左目位置ＰＬにおいて表示領域ＲＳの画像を知覚する場合と、中間位置ＰＣにおいて表示領域ＲＳの画像を知覚する場合とでは、ユーザにおいて水平方向に沿う視差Ｗ１が生じる。同様に、右目位置ＰＲにおいて表示領域ＲＳの画像を知覚する場合と、中間位置ＰＣにおいて表示領域ＲＳの画像を知覚する場合とでは、ユーザにおいて水平方向に沿う視差Ｗ２が生じる。この例では、視認領域ＤＬの拡大図に示すように、ユーザが視認領域ＤＬを視るとき、視差Ｗ１と視差Ｗ２とはほとんど等しい。

一方、ユーザが視認領域ＤＲを視る場合、視認領域ＤＲは、水平方向について視認領域ＤＬよりもユーザから離れている。この場合、視認領域ＤＲの拡大図に示すように、視差Ｗ２が視差Ｗ１より大きい。このように視差Ｗ１及び視差Ｗ２は、ユーザの視認領域が変わることにともなって変化する。本実施形態の映像処理装置２０では、このような視差の変化に対応させた視差誘導パタンを生成することにより、例えばユーザから水平方向に離れた位置に表示される３Ｄオブジェクトであっても、ユーザが正しい奥行き表現により知覚することを可能とする。

図２は、映像処理装置２０の構成の一例を示す図である。映像処理装置２０は、例えばコンピュータである。映像処理装置２０は、例えばプロセッサ２０１、記憶媒体２０２、ユーザインタフェース２０３、及び通信モジュール２０４を備える。プロセッサ２０１、記憶媒体２０２、ユーザインタフェース２０３、及び通信モジュール２０４は、互いに対してバス２０５を介して接続される。

プロセッサ２０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、マイコン、ＦＰＧＡ（Field Programmable Gate Array）、及び、ＤＳＰ（Digital Signal processor）等のいずれかを含む。記憶媒体２０２には、メモリ等の主記憶装置に加え、補助記憶装置が含まれ得る。

主記憶装置は、非一時的な記憶媒体である。主記憶装置は、例えば、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）等の書き込み及び読み出しが随時に可能な不揮発性メモリ、ＲＯＭ（Read Only Memory）等の不揮発性メモリ等である。また、これらの不揮発性メモリが組み合わせて使用されているものであってもよい。補助記憶装置は、有形の記憶媒体である。補助記憶装置は、前述の不揮発性メモリ、ＲＡＭ（Random Access Memory）等の揮発性メモリが組み合わせて使用されるものである。映像処理装置２０では、プロセッサ２０１及び記憶媒体２０２のそれぞれは、１つのみ設けられてもよく、複数設けられてもよい。

映像処理装置２０では、プロセッサ２０１は、記憶媒体２０２に記憶されるプログラム等を実行することにより、処理を行う。また、映像処理装置２０では、プロセッサ２０１によって実行されるプログラムは、インターネット等のネットワークを介して接続されたコンピュータ（サーバ）又はクラウド環境のサーバ等に格納されてもよい。この場合、プロセッサ２０１は、ネットワークを経由でプログラムをダウンロードする。

ユーザインタフェース２０３では、映像処理装置２０の使用者によって各種の操作等が入力されるとともに、使用者に告知する情報等が表示等によって告知される。ユーザインタフェース２０３は、ディスプレイなどの表示部であったり、タッチパネルやキーボード等の入力部であったりする。なお、入力部とし映像処理装置２０に接続されたデバイスが使用されてもよく、ネットワークを介して通信可能な他の処理装置の入力部が使用されてもよい。

図３は、映像処理装置２０の機能構成の一例を示す図である。図３に示すように、映像処理装置２０は、例えば画像取得部３１、最適化処理部３２、パタン生成部３３、画像生成部３４、及び通信部３５を備える。画像取得部３１、最適化処理部３２、パタン生成部３３、画像生成部３４、及び通信部３５の処理は、例えば、プロセッサ２０１及び通信モジュール２０４によって実現される。

画像取得部３１は、映像処理装置２０で使用する視点画像を取得する。画像取得部３１は、例えばカメラである。最適化処理部３２は、画像取得部３１が取得した視点画像に基づいて、所定の処理を実行する。パタン生成部３３は、画像取得部３１が取得した視点画像及び最適化処理部３２の処理結果に基づいて、視差誘導パタンを生成する。視差誘導パタンは、基準となる所定の画像とともに所定の処理が実行されることにより、例えば図１で説明した視差Ｗ１及び視差Ｗ２を実現する。画像生成部３４は、パタン生成部３３が生成した視差誘導パタンと基準となる所定の画像とに基づいて、ステレオペア画像を生成する。通信部３５は、画像生成部３４で生成されたステレオペア画像を所定の方法で送信する。例えば、通信部３５は、映像処理装置２０に接続された画像出力デバイスにステレオペア画像を送信することにより、画像出力デバイスからステレオペア画像を出力させる。

次に、映像処理装置２０がステレオペア画像を生成する方法について詳細に説明する。図４は、映像処理装置２０がステレオペア画像を生成する処理の一例を説明する説明図である。画像取得部３１は、前述したように、左目視点画像ＰＬＰ、中間視点画像ＰＣＰ、及び右目視点画像ＰＲＰを取得する。最適化処理部３２は、これら３つの画像に基づいて、視差誘導パタンＩＤを生成する。本実施形態では、中間視点画像ＰＣＰが基準となる所定の画像（基準画像）として使用される。最適化処理部３２は、左目視点画像ＰＬＰ、中間視点画像ＰＣＰ、及び右目視点画像ＰＲＰのそれぞれを周波数－位相成分へと変換する。周波数－位相成分への変換は、非特許文献１に記載の方法と同様の処理により実行される。中間視点画像ＰＣＰの周波数－位相成分への変換後における、周波数ｉ及び位置ｊの位相成分をＸ（ｉ，ｊ）と表記する。左目視点画像ＰＬＰの周波数－位相成分への変換後における、周波数ｉ及び位置ｊの位相成分をＬ（ｉ，ｊ）と表記する。右目視点画像ＰＲＰの周波数－位相成分への変換後における、周波数ｉ及び位置ｊの位相成分をＲ（ｉ，ｊ）と表記する。

最適化処理部３２は、中間視点画像ＰＣＰをｙ度位相シフトさせる。最適化処理部３２は、中間視点画像ＰＣＰの位相成分Ｘ（ｉ，ｊ）に位相シフト量ｙ（ｉ，ｊ）を加えることで、位相シフトさせた中間視点画像ＰＣＰ^{ｓｈｉｆｔ}を生成する。最適化処理部３２は、中間視点画像ＰＣＰと位相シフトさせた中間視点画像ＰＣＰ^{ｓｈｉｆｔ}とを加算することで、左目視点画像ＰＬＰを推定した、推定左目視点画像ＰＬＰ^ａｓｍを生成する。このとき、最適化処理部３２は、位相シフトさせた中間視点画像ＰＣＰ^{ｓｈｉｆｔ}に重みＡを掛け合わせた状態で、中間視点画像ＰＣＰとの加算を実行する。重みＡの値は、例えば、所定の初期値が予め設定される。最適化処理部３２は、推定左目視点画像ＰＬＰ^ａｓｍに基づいて、推定左目視点画像ＰＬＰ^ａｓｍにおける中間視点画像ＰＣＰからの推定位相シフト量ｚＬ（ｉ，ｊ）を算出する。

同様にして、最適化処理部３２は、中間視点画像ＰＣＰから位相シフトさせた中間視点画像ＰＣＰ^{ｓｈｉｆｔ}を減算することで、右目視点画像ＰＲＰを推定した推定右目視点画像ＰＲＰ^ａｓｍを生成する。このとき、最適化処理部３２は、位相シフトさせた中間視点画像ＰＣＰ^{ｓｈｉｆｔ}に重みＡを掛け合わせた状態で、中間視点画像ＰＣＰとの減算を実行する。最適化処理部３２は、推定右目視点画像ＰＲＰ^ａｓｍに基づいて、推定右目視点画像ＰＲＰ^ａｓｍにおける中間視点画像ＰＣＰからの推定位相シフト量ｚＲ（ｉ，ｊ）を算出する。

最適化処理部３２は、式（１）で表される誤差Ｎを最小化する条件の下で、重みＡ及び位相シフト量ｙの組（Ａ，ｙ）を最適化する。推定位相シフト量ｚＬ（ｉ，ｊ），ｚＲ（ｉ，ｊ）が重みＡ及び位相シフト量ｙの両方に依存して変化するため、誤差Ｎを最小化することにより、組（Ａ，ｙ）が最適化される。重みＡ及び位相シフト量ｙの組は、例えば、全探索により決定する。この誤差Ｎの最小化計算により、最適化処理部３２は、最適重みＡ^ｏｐｔ及び最適位相シフト量ｙ^ｏｐｔの組（Ａ^ｏｐｔ，ｙ^ｏｐｔ）を算出する。

最適化処理部３２が算出した最適重みＡ^ｏｐｔ及び最適位相シフト量ｙ^ｏｐｔに基づいて、パタン生成部３３は視差誘導パタンＩＤを生成する。視差誘導パタンＩＤの生成は、非特許文献１に記載の方法と同様の処理により実行される。画像生成部３４は、パタン生成部３３により生成された視差誘導パタンＩＤと中間視点画像ＰＣＰとを加算することにより、左目位置ＰＬにおける、ステレオぺア画像のうちの一方を生成する。画像生成部３４は、中間視点画像ＰＣＰからパタン生成部により生成された視差誘導パタンＩＤを減算することにより、右目位置ＰＲにおける、ステレオぺア画像のうちの他方を生成する。このようにして、画像生成部３４は、ステレオペア画像を生成する。

前述した最適化処理を、視点位置の位相θにおけるレベルが正弦波の強度で表される場合で、具体的に説明する。この場合、中間位置ＰＣの位相Ｘにおける強度はｓｉｎ（Ｘ）と表される。このとき、位相Ｘをｙ度位相シフトさせると、位相シフト後の強度はｓｉｎ（Ｘ＋ｙ）と表される。最適化処理部３２は、位相Ｘにおける強度ｓｉｎ（Ｘ）と、位相シフト後の強度ｓｉｎ（Ｘ＋ｙ）を重みＡにより重み付けしたＡｓｉｎ（Ｘ＋ｙ）とを加算した結果を、左目位置ＰＬの位相Ｌにおける推定強度とする。このときの推定強度を、位相Ｘ、推定位相シフト量ｚＬ、及び重みＢＬを用いて表すと式（２）のように表される。

よって、推定位相シフト量ｚＬは式（３）のように表される。

同様にして、最適化処理部３２は、位相Ｘにおける強度ｓｉｎ（Ｘ）から、位相シフト後の強度ｓｉｎ（Ｘ＋ｙ）を重みＡにより重み付けしたＡｓｉｎ（Ｘ＋ｙ）を減算した結果を、右目位置ＰＲの位相Ｒにおける推定強度とする。このときの推定強度を、位相Ｘ、推定位相シフト量ｚＲ、及び重みＢＲを用いて表すと式（４）のように表される。

よって、推定位相シフト量ｚＲは式（５）のように表される。

これらを用いて、最適化処理部３２は、式（１）で表される誤差Ｎを最小化する条件の下で、重みＡ及び位相シフト量ｙの組（Ａ，ｙ）を最適化する。

図５は、実施形態に係る映像処理装置２０で実行される処理の一例を説明するフローチャートである。図５の処理は、映像処理装置２０がステレオペア画像を生成するタイミングで繰り返し実行される。したがって、図５の処理は、ステレオペア画像を生成する画像生成処理の１回の処理におけるフローチャートの一例である。

ステレオペア画像を生成するタイミングでは、映像処理装置２０は、画像取得部３１により視点画像を取得する（Ｓ５０１）。このとき、画像取得部３１は、左目視点画像ＰＬＰ、中間視点画像ＰＣＰ、及び右目視点画像ＰＲＰをそれぞれ取得する。映像処理装置２０は、前述したようにして、取得した左目視点画像ＰＬＰ、中間視点画像ＰＣＰ、及び右目視点画像ＰＲＰを周波数－位相成分へ変換する（Ｓ５０２）。映像処理装置２０は、前述したようにして位相シフトさせた中間視点画像ＰＣＰ^{ｓｈｉｆｔ}を生成する（Ｓ５０３）。映像処理装置２０は、前述したようにして、中間視点画像ＰＣＰと位相シフトさせた中間視点画像ＰＣＰ^{ｓｈｉｆｔ}とに基づいて、推定左目視点画像ＰＬＰ^ａｓｍ及び推定右目視点画像ＰＲＰ^ａｓｍを生成する（Ｓ５０４）。映像処理装置２０は、推定左目視点画像ＰＬＰ^ａｓｍに基づいて推定位相シフト量ｚＬ（ｉ，ｊ）を推定し、推定右目視点画像ＰＲＰ^ａｓｍに基づいて推定位相シフト量ｚＲ（ｉ，ｊ）を推定する（Ｓ５０５）。映像処理装置２０は、前述したようにして、誤差Ｎを最小化する条件下、位相シフト成分ｙ（ｉ，ｊ）及び重みＡ（ｉ，ｊ）の組を最適化する（Ｓ５０６）。映像処理装置２０は、前述したようにして、最適重みＡ^ｏｐｔ及び最適位相シフト量ｙ^ｏｐｔに基づいて、視差誘導パタンＩＤを生成する（Ｓ５０７）。映像処理装置２０は、前述したようにして、中間視点画像ＰＣＰ及び視差誘導パタンＩＤに基づいて、ステレオペア画像を生成する（Ｓ５０８）。以上により、映像処理装置２０はステレオペア画像の生成処理を完了する。

本実施形態では、映像処理装置２０は、画像取得部３１、最適化処理部３２、パタン生成部３３、及び画像生成部３４を具備する。画像取得部３１は、左目位置ＰＬから表示領域ＲＳを撮影した左目視点画像ＰＬＰと、右目位置ＰＲから表示領域ＲＳを撮影した右目視点画像ＰＲＰと、左目位置ＰＬ及び右目位置ＰＲの中間から表示領域ＲＳを撮影した中間視点画像ＰＣＰと、を取得する。最適化処理部３２は、中間視点画像ＰＣＰに基づいて算出された位相シフト量ｙ及び重みＡを、左目視点画像ＰＬＰ及び右目視点画像ＰＲＰに基づいて最適化する。パタン生成部３３は、最適化された最適位相シフト量ｙ^ｏｐｔ及び最適化された最適重みＡ^ｏｐｔに基づいて、左目位置ＰＬ及び右目位置ＰＲの間の視差に対応する視差誘導パタンＩＤを生成する。画像生成部３４は、中間視点画像ＰＣＰ及び視差誘導パタンＩＤに基づいて、ステレオペア画像を生成する。このように、映像処理装置２０は位相シフト量及び重みＡを左目視点画像ＰＬＰ及び右目視点画像ＰＲＰに基づいて最適化するため、視差が左右非対称である場合においても適切な視差をユーザに与えることができる。したがって、映像処理装置２０はユーザに適切な奥行き表現を提供することができる。

（変形例）
図６は、変形例に係る映像処理装置２０がステレオペア画像を生成するときの表示領域ＲＳの分割方法の一例を説明する説明図である。本変形例では、中間位置ＰＣを基準として、現実の表示領域ＲＳを所定の個数に分割し、分割された領域ごとに位相シフト量ｙ及び重みＡを最適化する。すなわち、分割された領域内において、位相シフト量ｙは同一であり、重みＡは同一である。現実の表示領域ＲＳの分割数は、特に限定されるものではない。図６の一例では、現実の表示領域ＲＳを３分割し、それぞれ左側領域ＡＬ、中央領域ＡＣ、及び右側領域ＡＲとする。この場合、映像処理装置２０は、左側領域ＡＬにおいて位相シフト量ｙ及び重みＡを最適化し、中央領域ＡＣにおいて位相シフト量ｙ及び重みＡを最適化し、右側領域ＡＲにおいて位相シフト量ｙ及び重みＡを最適化する。

図７は、変形例に係る映像処理装置２０がステレオペア画像を生成する処理の一例を説明する説明図である。本変形例では、最適化処理部３２が中間視点画像ＰＣＰをｙ度位相シフトさせるとき、表示領域ＲＳが分割された分割領域内のそれぞれにおいて、共通の位相シフト量ｙ^ｐａｒｔが用いられる。最適化処理部３２は、分割領域内のそれぞれにおける中間視点画像ＰＣＰの位相成分Ｘ（ｉ，ｊ）に位相シフト量ｙ^ｐａｒｔを加えることで、位相シフトさせた中間視点画像（ＰＣＰ^{ｓｈｉｆｔ}）^ｐａｒｔを、分割領域ごとに生成する。

最適化処理部３２は、中間視点画像ＰＣＰと位相シフトさせた中間視点画像（ＰＣＰ^{ｓｈｉｆｔ}）^ｐａｒｔとを分割領域ごとに加算することで、左目視点画像ＰＬＰの対応する部分を推定した推定左目視点画像（ＰＬＰ^ａｓｍ）^ｐａｒｔを生成する。このとき、最適化処理部３２は、位相シフトさせた中間視点画像（ＰＣＰ^{ｓｈｉｆｔ}）^ｐａｒｔに重みＡ^ｐａｒｔを掛け合わせた状態で、中間視点画像ＰＣＰとの加算を実行する。最適化処理部３２は、分割領域ごとの推定左目視点画像（ＰＬＰ^ａｓｍ）^ｐａｒｔに基づいて、中間視点画像ＰＣＰからの推定位相シフト量ｚＬ^ｐａｒｔを推定する。

最適化処理部３２は、分割領域ごとに、式（１）で表される誤差Ｎを最小化する条件の下で、重みＡ^ｐａｒｔ及び位相シフト量ｙ^ｐａｒｔの組（Ａ^ｐａｒｔ，ｙ^ｐａｒｔ）を最適化する。最適化処理部３２が、分割領域ごとに算出した最適重み（Ａ^ｐａｒｔ）^ｏｐｔ及び最適位相シフト量（ｙ^ｐａｒｔ）^ｏｐｔに基づいて、パタン生成部３３は分割領域ごとに視差誘導パタンＩＤ^ｐａｒｔを生成する。画像生成部３４は、パタン生成部３３により生成された視差誘導パタンＩＤ^ｐａｒｔ及び分割領域に対応する中間視点画像ＰＣＰの部分を加算することにより、分割領域に対応する、左目位置ＰＬにおけるステレオぺア画像の一方を生成する。画像生成部３４は、分割領域に対応する中間視点画像ＰＣＰからパタン生成部３３により生成された視差誘導パタンＩＤ^ｐａｒｔを減算することにより、分割領域に対応する、右目位置ＰＲにおけるステレオぺア画像の他方を生成する。全分割領域において、分割領域に対応するステレオペア画像の生成が完了した後、画像生成部３４は、各分割領域に対応するステレオペア画像を合成することにより、表示領域ＲＳに対応するステレオペア画像を生成する。

図８は、本変形例の映像処理装置２０で実行される処理の一例を説明するフローチャートである。ステレオペア画像を生成するタイミングでは、映像処理装置２０は、画像取得部３１により視点画像を取得する（Ｓ８０１）。このとき、画像取得部３１は、左目視点画像ＰＬＰ、中間視点画像ＰＣＰ、及び右目視点画像ＰＲＰをそれぞれ取得する。映像処理装置２０は、前述したようにして、取得した左目視点画像ＰＬＰ、中間視点画像ＰＣＰ、及び右目視点画像ＰＲＰを周波数－位相成分へ変換する（Ｓ８０２）。映像処理装置２０は、前述したようにして位相シフトさせた中間視点画像（ＰＣＰ^{ｓｈｉｆｔ}）^ｐａｒｔを分割領域ごとに生成する（Ｓ８０３）。映像処理装置２０は、前述したようにして、中間視点画像ＰＣＰと位相シフトさせた中間視点画像（ＰＣＰ^{ｓｈｉｆｔ}）^ｐａｒｔとに基づいて、推定左目視点画像（ＰＬＰ^ａｓｍ）^ｐａｒｔ及び推定右目視点画像（ＰＲＰ^ａｓｍ）^ｐａｒｔを分割領域ごとに生成する（Ｓ８０４）。

映像処理装置２０は、推定左目視点画像（ＰＬＰ^ａｓｍ）^ｐａｒｔに基づいて推定位相シフト量ｚＬ^ｐａｒｔを分割領域ごとに推定し、推定右目視点画像（ＰＲＰ^ａｓｍ）^ｐａｒｔに基づいて推定位相シフト量ｚＲ^ｐａｒｔを分割領域ごとに推定する（Ｓ８０５）。映像処理装置２０は、前述したようにして、誤差Ｎを最小化する条件下、位相シフト量ｙ^ｐａｒｔ及び重みＡ^ｐａｒｔの組を分割領域ごとに最適化する（Ｓ８０６）。映像処理装置２０は、前述したようにして、最適重み（Ａ^ｐａｒｔ）^ｏｐｔ及び最適位相シフト量（ｙ^ｐａｒｔ）^ｏｐｔに基づいて、視差誘導パタンＩＤ^ｐａｒｔを分割領域ごとに生成する（Ｓ８０７）。映像処理装置２０は、前述したようにして、中間視点画像ＰＣＰ及び視差誘導パタンＩＤ^ｐａｒｔに基づいて、ステレオペア画像を分割領域ごとに生成する（Ｓ８０８）。映像処理装置２０は、分割領域ごとのステレオペア画像を合成することにより、表示領域ＲＳに対応するステレオペア画像を生成する（Ｓ８０９）。以上により、映像処理装置２０はステレオペア画像の生成を完了する。

本変形例においても、前述の実施形態と同様に、映像処理装置２０は位相シフト量ｙ及び重みＡを左目視点画像ＰＬＰ及び右目視点画像ＰＲＰに基づいて最適化するため、視差が左右非対称である場合においても適切な視差をユーザに与えることができる。したがって、映像処理装置２０はユーザに適切な奥行き表現を与えることができる。

別の変形例では、映像処理装置２０は、左目位置ＰＬ、右目位置ＰＲ、及び中間位置ＰＣをリアルタイムで取得してもよい。左目位置ＰＬ、右目位置ＰＲ、及び中間位置ＰＣのリアルタイムでの取得は、例えば、ユーザのヘッドトラッキングにより実行される。この場合、映像処理装置２０は、リアルタイムで取得した左目位置ＰＬ、右目位置ＰＲ、及び中間位置ＰＣに基づいて、ステレオペア画像をリアルタイムで生成する。そのため、映像処理装置２０は、図５又は図８に示す処理を、左目位置ＰＬ、右目位置ＰＲ、及び中間位置ＰＣが更新されるたびに実行する。このように、リアルタイムで左目位置ＰＬ、右目位置ＰＲ、及び中間位置ＰＣを取得することで、ユーザのリアルタイムでの視点を反映したステレオペア画像が生成される。よって、映像処理装置２０は、ユーザにさらに適正な奥行き表現を提供することができる。

前述の実施形態等に記載された手法は、コンピュータに実行させることができるプログラム（ソフトウェア）として、例えば、磁気ディスク、光ディスク、半導体メモリ等の記憶媒体に格納して頒布され得る。記憶媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスク、半導体メモリ等の記憶媒体を含む。また、実施形態に記載された手法は、通信媒体により伝送して頒布され得る。媒体側に格納されるプログラムには、コンピュータに実行させるソフトウェアをコンピュータ内に構成させる設定プログラムをも含む。ソフトウェアには、実行プログラムのみならずテーブル、データ構造も含む。本システムを実現するコンピュータは、記憶媒体に記録されたプログラムを読み込むとともに、ソフトウェアにより動作が制御されることで、前述の処理を実行する。ソフトウェアは、コンピュータが設定プログラムにより構築してもよい。

なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

２０…映像処理装置
２０１…プロセッサ
２０２…記憶媒体
２０３…ユーザインタフェース
２０４…通信モジュール
３１…画像取得部
３２…最適化処理部
３３…パタン生成部
３４…画像生成部
３５…通信部
ＩＤ…視差誘導パタン
ＲＳ…表示領域
ＰＬ…左目位置
ＰＲ…右目位置
ＰＣ…中間位置
ＰＬＰ…左目視点画像
ＰＲＰ…右目視点画像
ＰＣＰ…中間視点画像

Claims (7)

1. 左目位置から表示領域を撮影した左目視点画像と、右目位置から前記表示領域を撮影した右目視点画像と、前記左目位置及び前記右目位置の中間位置から前記表示領域を撮影した中間視点画像と、を取得する画像取得部と、
   前記中間視点画像に基づいて算出された位相シフト量及び重みを、前記左目視点画像及び前記右目視点画像に基づいて最適化する最適化処理部と、
   最適化された前記位相シフト量及び最適化された前記重みに基づいて、前記左目位置及び前記右目位置の間の視差に対応する視差誘導パタンを生成するパタン生成部と、
   前記中間視点画像及び前記視差誘導パタンに基づいて、ステレオペア画像を生成する画像生成部と、
   を具備する、映像処理装置。
2. 前記最適化処理部は、
   前記中間視点画像の位相を前記位相シフト量に基づいてシフトさせ、
   前記重み、前記中間視点画像、及び位相シフトされた前記中間視点画像に基づいて、前記左目視点画像を推定した推定左目視点画像、及び、前記右目視点画像を推定した推定右目視点画像を生成し、
   前記推定左目視点画像における前記中間視点画像からの推定位相シフト量、及び、前記推定右目視点画像における前記中間視点画像からの推定位相シフト量を算出し、
   前記推定左目視点画像の推定位相シフト量、及び、前記右目視点画像の推定位相シフト量に基づいて、前記重み及び前記位相シフト量を最適化する、
   請求項１に記載の映像処理装置。
3. 前記画像生成部は、
   前記中間視点画像と前記視差誘導パタンとを加算することにより、前記ステレオペア画像のうち前記左目位置に対応する画像を生成し、
   前記中間視点画像から前記視差誘導パタンを減算することにより、前記ステレオペア画像のうち前記右目位置に対応する画像を生成する、
   請求項１に記載の映像処理装置。
4. 前記表示領域は、複数の前記表示領域を含み、
   前記最適化処理部は、複数の前記表示領域のそれぞれにおいて前記位相シフト量及び前記重みを最適化し、
   前記パタン生成部は、複数の前記表示領域のそれぞれにおいて前記視差誘導パタンを生成し、
   前記画像生成部は、複数の前記表示領域のそれぞれにおいて前記ステレオペア画像を生成するとともに、複数の前記表示領域のそれぞれに対応する前記ステレオペア画像から前記表示領域の全体に対応する前記ステレオペア画像を生成する、
   請求項１に記載の映像処理装置。
5. 前記画像取得部は、前記左目位置、前記右目位置、及び前記中間位置をリアルタイムで取得する、
   請求項１に記載の映像処理装置。
6. 左目位置から表示領域を撮影した左目視点画像と、右目位置から前記表示領域を撮影した右目視点画像と、前記左目位置及び前記右目位置の中間位置から前記表示領域を撮影した中間視点画像と、を取得することと、
   前記中間視点画像に基づいて算出された位相シフト量及び重みを、前記左目視点画像及び前記右目視点画像に基づいて最適化することと、
   最適化された前記位相シフト量及び最適化された前記重みに基づいて、前記左目位置及び前記右目位置の間の視差に対応する視差誘導パタンを生成することと、
   前記中間視点画像及び前記視差誘導パタンに基づいて、ステレオペア画像を生成することと、
   を具備する、映像処理方法。
7. コンピュータに、
   左目位置から表示領域を撮影した左目視点画像と、右目位置から前記表示領域を撮影した右目視点画像と、前記左目位置及び前記右目位置の中間位置から前記表示領域を撮影した中間視点画像と、を取得させ、
   前記中間視点画像に基づいて算出された位相シフト量及び重みを、前記左目視点画像及び前記右目視点画像に基づいて最適化させ、
   最適化された前記位相シフト量及び最適化された前記重みに基づいて、前記左目位置及び前記右目位置の間の視差に対応する視差誘導パタンを生成させ、
   前記中間視点画像及び前記視差誘導パタンに基づいて、ステレオペア画像を生成させる、
   映像処理プログラム。
   

Images