JP7273345B2 - 映像処理装置、表示システム、映像処理方法、およびプログラム - Google Patents

Description

本発明は、映像処理装置、表示システム、映像処理方法、およびプログラムに関する。

特許文献１および非特許文献１，２に開示されているように、表示装置の映像をハーフミラーまたは透明板などの光学素子を用いて屈折して空中像を表示する技術が知られている。空中像は、２Ｄ画像でありながら物理的装置から離れた空間中の虚像面に表示されるため、モニタに表示する２Ｄ画像と比べると、空中像が平面であると観察者に知覚させる手がかりが少ないという特徴をもつ。この特徴を利用すると、実空間のある位置に視対象が存在するという空間定位の知覚を簡便に提供できる。

特開２０１７－４９３５４号公報

N. Koizumi and T. Naemura, "Passive Mid-air Display," In Proceedings of the 13th International Conference on Advances in Computer Entertainment Technology, Article No. 39, 2016. H. Katsumoto, H. Kajita, and T. Naemura, "HoVerTable PONG: Playing Face-to-face Game on Horizontal Tabletop with Moving Vertical Mid-air Image," In Proceedings of the 13th International Conference on Advances in Computer Entertainment Technology, Article No. 39, 2016.

視対象（空中像）を表示する虚像面は、光学系の構成によって位置が制限されてしまうため、視対象を移動可能な方向は虚像面内に限定されてしまうという問題がある。言い換えると、視対象を虚像面の法線方向に移動しているように知覚させることは困難である。透明スクリーンに視対象を投影する場合も、透明スクリーンの法線方向に視対象を移動させることは困難である。

特許文献１は、光学素子までの距離が異なる複数のスクリーンを用意し、表示したい位置に応じて視対象を投影するスクリーンを切り替えることで、視対象を虚像面の法線方向に移動させている。しかしながら、特許文献１では、視対象の離散的な空間定位しか表現できないという問題がある。視対象を投影するモニタを物理的に移動して虚像面を連続的に移動させることで、視対象の連続的な空間定位を表現できるが、モニタを移動するための大掛かりな移動機構が必要であり、ハードウェアコストが高いという問題がある。

非特許文献２は、空中像の光源となっているモニタを物理的に動かすことにより、連続的な視対象の奥行方向への移動を表現可能である。しかしながら、非特許文献２では、虚像面の奥行位置が視対象の奥行位置となるので、同時に表現可能な視対象の奥行移動は１つに限定される。つまり、観察者に対して手前から奥へ移動する視対象と奥から手前へ移動する視対象といった相異なる複数の奥行移動を同時に表現することができない。

本発明は、上記に鑑みてなされたものであり、簡易な構成により、視対象の連続的な空間定位を表現することを目的とする。

本発明の一態様の映像処理装置は、表示装置の表示面の上において奥行方向への移動が固定された視対象に誘導運動を生じさせる背景映像を出力する映像処理装置であって、前記視対象を取り囲む背景映像と、前記背景映像を取り囲む第２の背景映像を前記表示装置に出力する出力部と、前記視対象の奥行方向への移動を知覚させる方向に応じて前記背景映像を移動し、前記背景映像の移動方向と同じ方向に前記第２の背景映像を移動し、前記第２の背景映像の移動量を前記背景映像の移動量よりも大きくする制御部を備える。
本発明の一態様の映像処理装置は、表示装置の表示面の上において奥行方向への移動が固定された視対象に誘導運動を生じさせる背景映像を出力する映像処理装置であって、前記視対象を取り囲む背景映像を前記表示装置に出力する出力部と、前記視対象の奥行方向への移動を知覚させる方向に応じて前記背景映像を移動させる制御部を備え、前記制御部は、前記視対象の移動方向に基づいて前記背景映像の各部分の移動量を異ならせる。
本発明の一態様の映像処理装置は、表示装置の表示面の上において奥行方向への移動が固定された視対象に奥行方向への移動を知覚させる映像を出力する映像処理装置であって、前記視対象の位置に対応させた映像を前記表示装置に出力する出力部と、前記視対象の奥行方向への移動を知覚させる方向に応じて前記映像を移動させる制御部を備え、前記視対象は、空中像出力装置が前記表示装置の表示面の上の虚像面に表示したものであり、前記映像は、前記視対象の影であり、前記出力部は、前記視対象の影を前記表示装置に出力するとともに、前記視対象の映像を前記空中像出力装置に出力し、前記制御部は、前記視対象の奥行位置を知覚させたい位置に前記視対象の影を移動し、視点位置と前記視対象の奥行位置に応じて前記視対象の大きさと高さを変化させる。

本発明の一態様の表示システムは、複数の表示装置と表示装置と映像処理装置を備える表示システムであって、前記複数の表示装置のそれぞれは、前記表示装置の表示面の上の投影面であって、前記投影面のそれぞれが交差する位置に視対象を表示し、前記映像処理装置は、前記視対象を取り囲む背景映像を前記表示装置に出力する出力部と、前記視対象を移動させたい方向の反対方向に前記背景映像を移動させる制御部と、を備える。

本発明によれば、簡易な構成により、視対象の連続的な空間定位を表現することができる。

図１は、第１の実施形態の表示システムの構成を示す図である。 図２Ａは、虚像面に表示される視対象とスクリーンに投影された背景映像の表示例を示す図である。 図２Ｂは、図２Ａの背景映像を移動した表示例を示す図である。 図３Ａは、図２Ａの状態において観察者が見る視対象と背景映像を示す図である。 図３Ｂは、図２Ｂの状態において観察者が見る視対象と背景映像を示す図である。 図４は、映像処理装置の構成を示す図である。 図５は、映像処理装置の処理の流れを示すフローチャートである。 図６Ａは、虚像面に表示される視対象とスクリーンに投影された２つの背景映像の表示例を示す図である。 図６Ｂは、図６Ａの２つの背景映像を移動した表示例を示す図である。 図７Ａは、図６Ａの状態において観察者が見る視対象と２つの背景映像を示す図である。 図７Ｂは、図６Ｂの状態において観察者が見る視対象と２つの背景映像を示す図である。 図８は、背景映像の一部を移動した例を示す図である。 図９は、第４の実施形態の表示システムの構成を示す図である。 図１０Ａは、虚像面に表示される視対象とスクリーンに投影された影の表示例を示す図である。 図１０Ｂは、図１０Ａの表示状態の観察者からの見え方を示す図である。 図１１Ａは、視対象オブジェクトを奥行方向に移動したときの視対象と影の表示例を示す図である。 図１１Ｂは、図１１Ａの表示状態の観察者からの見え方を示す図である。 図１２は、映像処理装置の処理の流れを示すフローチャートである。 図１３Ａは、虚像面に表示される視対象とスクリーンに投影された影の表示例を示す図である。 図１３Ｂは、図１３Ａの表示状態の観察者からの見え方を示す図である。 図１４Ａは、視対象オブジェクトを奥行方向に移動したときの視対象と影の表示例を示す図である。 図１４Ｂは、図１４Ａの表示状態の観察者からの見え方を示す図である。 図１５Ａは、表示システムでの視対象の見え方の一例である。 図１５Ｂは、図１５Ａとは視対象の奥行位置を異ならせたときの視対象の見え方の一例である。 図１６Ａは、複数の視対象の奥行位置を異ならせたときの視対象の見え方の一例である。 図１６Ｂは、図１６Ａとは視対象の奥行位置を異ならせたときの視対象の見え方の一例である。 図１７は、虚像面に表示される視対象とスクリーンに投影された影の表示例を示す図である。 図１８は、図１７の表示状態の右側の観察者からの見え方を示す図である。 図１９は、虚像面に表示される視対象とスクリーンに投影された影の表示例を示す図である。 図２０は、図１９の表示状態の右側の観察者からの見え方を示す図である。 図２１Ａは、スポットライトで視対象の上部を照射して表示したときの正面からの見え方の一例である。 図２１Ｂは、スポットライトで視対象の上部を照射して表示したときの右側からの見え方の一例である。 図２２Ａは、スポットライトで複数の視対象の上部を照射して表示したときの正面からの見え方の一例である。 図２２Ｂは、スポットライトで複数の視対象の上部を照射して表示したときの右側からの見え方の一例である。 図２３は、映像処理装置のハードウェア構成の一例を示す図である。

［第１の実施形態］
第１の実施形態の表示システムについて図面を参照しながら説明する。

図１に示す表示システム１は、映像処理装置１０、背景映像出力装置２１、スクリーン２２、空中像出力装置２３、および光学素子２４を備える。表示システム１は、空中像出力装置２３と光学素子２４によって虚像面３０に空中像（以下、「視対象」と称する）を表示するとともに、表示された視対象がスクリーン２２に投影した背景映像内を移動しているように知覚させる。具体的には、表示システム１は、暗室条件下において、観察者１００から見て奥行き方向または手前方向に視対象が移動しているように知覚させる。暗室条件とは、表示システム１および観察者を取り囲む周辺光量が少ない環境であり、周囲の装置が見えないことが望ましい。

スクリーン２２は、地面に対して平行に配置される。背景映像出力装置２１は、背景映像をスクリーン２２に投影する。背景映像出力装置２１は、いずれの方向から映像を投影してもよい。

光学素子２４を約４５度傾斜させて配置し、空中像出力装置２３を光学素子２４の上方または下方に配置する。空中像出力装置２３の出力した映像は、光学素子２４により観察者１００の方向へ反射し、虚像面３０において空中像を形成する。虚像面３０がスクリーン２２の法線方向と平行となるようにスクリーン２２と光学素子２４を配置する。空中像出力装置２３から光学素子２４までの距離ｄ１を変えることで、光学素子２４から虚像面３０までの距離ｄ２を調節することができる。距離ｄ１が短くなれば距離ｄ２が短くなる。本実施形態では、虚像面３０がスクリーン２２の中央付近となるように空中像出力装置２３を配置した。虚像面３０の位置はスクリーン２２の中央に限らず、任意の位置に設定してよい。空中像出力装置２３および光学素子２４の位置は固定されてよい。

空中像出力装置２３および光学素子２４は、スクリーン２２の上方に空中像を表示できればよく、上記の構成に限定するものではない。また、視対象は必ずしも空中に浮かんでいるように表示する必要はなく、スクリーン２２の表示面に接地しているように表示してもよい。もしくは、スクリーン２２を上方に配置し、スクリーン２２に表示した背景映像に視対象がぶら下がっているように表示してもよい。

なお、空中像出力装置２３および光学素子２４で空中像を表示する代わりに、スクリーン２２上に透明スクリーンを配置し、透明スクリーンに投影した映像を視対象としてもよい。あるいは、スクリーン２２上に実物体を配置し、その実体物を視対象としてもよい。透明スクリーンおよび実物体の位置は固定されてよい。

映像処理装置１０は、視対象に誘導運動を生じさせる背景映像を背景映像出力装置２１に供給する。具体的には、映像処理装置１０は、視対象の移動方向の逆方向に背景映像を移動させて、視対象に誘導運動を生じさせる。誘導運動とは、静止物体に運動知覚を与える錯覚現象である。誘導運動を生じさせる背景映像とは、観察者１００の視点から見たときに視対象を取り囲む映像である。本実施形態では、視対象の移動範囲を表す床面を背景映像として、床面上を視対象が移動しているように知覚させる。

図２Ａに、虚像面３０に表示される視対象５１とスクリーン２２に投影された背景映像５２の表示例を示す。図２Ａは、図１のスクリーン２２を上方から見た図である。観察者１００は、図上で下方向にいるものとする。視対象５１は虚像面３０に投影されるが、図２Ａでは視対象５１が表示される位置を円で表現している。背景映像５２は、視対象５１を取り囲む床面または地面などの映像である。背景映像５２の形、模様、色は任意に設定できる。背景映像５２の外側には何も表示せずに真っ暗な状態とする。

図２Ｂは、図２Ａの状態から背景映像５２を図上で上方向、つまり観察者１００から見て奥側に移動させたときの表示例である。視対象５１の表示位置は移動させていない。視対象５１は、背景映像５２を基準にすると下方向に移動している。表示システム１が設置された環境が明るく、スクリーン２２の枠や周辺の装置など、実空間内での背景映像５２の位置がわかる物体が見える場合、観察者１００は、背景映像５２が移動していることを知覚してしまう。

暗室条件下では、図３Ａおよび図３Ｂに示すように、観察者１００は、視対象５１と背景映像５２のみを注視することになる。背景映像５２を移動させたとき、観察者１００は、図３Ｂに示すように、実際は背景映像５２が移動しているのだが、視対象５１が移動しているように知覚する。すなわち、暗室条件下において、視対象５１を取り囲む背景映像５２を移動させることにより、背景映像５２内の任意の位置に視対象５１が移動したように空間定位させることが可能になる。

図４を参照し、映像処理装置１０の構成について説明する。同図に示す映像処理装置１０は、設定部１１、制御部１２、および出力部１３を備える。

設定部１１は、実空間での視対象とスクリーン２２の位置関係に基づき、仮想空間内に視対象を表す視対象オブジェクトと背景映像となる床面オブジェクトを初期位置に配置する。例えば、設定部１１は、視対象オブジェクトが床面オブジェクトの中心付近に立っているように、床面オブジェクトを配置する。床面オブジェクトは視対象オブジェクトの移動範囲を示す平面図形である。

設定部１１は、仮想空間内に、スクリーン２２に投影する映像を撮影するための背景用の仮想カメラを配置する。背景用の仮想カメラは、床面オブジェクトを含む領域を撮影する。背景用の仮想カメラの撮影した映像がスクリーン２２に投影される。仮想カメラの位置を固定したまま仮想空間内で床面オブジェクトを移動させると、スクリーン２２に投影された背景映像が移動する。

設定部１１は、視対象オブジェクトを撮影する視対象用の仮想カメラを配置してもよい。視対象用の仮想カメラは、横方向から視対象オブジェクトを撮影する。空中像出力装置２３は、視対象用の仮想カメラの撮影した映像を光学素子２４に投影し、視対象を虚像面３０に表示する。

制御部１２は、視対象オブジェクトの移動量に基づき、床面オブジェクトを移動する。例えば、視対象を手前方向に距離ｖ移動させたい場合、制御部１２は、床面オブジェクトを奥行き方向に距離ｖ移動させる。つまり、制御部１２は、床面オブジェクトのみを移動させて、視対象オブジェクト、視対象用の仮想カメラ、および背景用の仮想カメラを移動させない。あるいは、制御部１２は、床面オブジェクトを移動させずに、視対象オブジェクト、視対象用の仮想カメラ、および背景用の仮想カメラを同じ方向に同じ移動量で移動させてもよい。いずれの場合も、床面オブジェクトを移動させると、背景用の仮想カメラで撮影した映像内での床面オブジェクトの写る位置が移動する。

視対象が虚像面３０内を自由に移動できる場合、制御部１２は、虚像面３０の法線方向のみに背景映像５２を移動させてもよい。例えば、図２Ａに示す例において、視対象５１が虚像面３０に沿って左右方向に移動するときは背景映像５２を移動させない。視対象５１が図２Ａの上下方向に移動するときに、視対象５１の上下方向の移動量に合わせて背景映像５２を移動させる。

出力部１３は、視対象用の仮想カメラで撮影した視対象オブジェクトを含む映像を空中像出力装置２３へ出力する。出力部１３は、背景用の仮想カメラで撮影した床面オブジェクトを含む映像を背景映像出力装置２１へ出力する。

図５のフローチャートを参照し、映像処理装置１０の動作について説明する。

ステップＳ１１にて、設定部１１は、実空間での視対象とスクリーン２２の位置関係に基づき、仮想空間内に床面オブジェクトを初期位置に配置するとともに、床面オブジェクトを撮影する仮想カメラを配置する。設定部１１は、仮想空間内に視対象オブジェクトおよび視対象用の仮想カメラを配置してもよい。

ステップＳ１２にて、制御部１２は、視対象の１フレーム分の移動量に基づき、床面オブジェクトの１フレーム分の移動量を計算し、計算した移動量に応じて床面オブジェクトを移動する。

ステップＳ１３にて、出力部１３は、仮想カメラで床面オブジェクトを含む平面を撮影した背景映像を背景映像出力装置２１へ出力する。出力部１３は、視対象用の仮想カメラで視対象オブジェクトを撮影した映像を空中像出力装置２３へ出力してもよい。

１フレームごとに、ステップＳ１２，Ｓ１３の処理が実施される。

以上説明したように、本実施形態によれば、視対象５１を取り囲む背景映像５２をスクリーン２２に表示し、視対象５１を移動させたい方向の反対方向に背景映像５２を移動させることで、観察者１００に、視対象５１が背景映像５２上を移動しているように知覚させることができる。

［第２の実施形態］
次に、第２の実施形態の表示システムについて説明する。第２の実施形態の表示システムの構成は、第１の実施形態の表示システムと同じである。

一般に誘導運動は、表示システムおよび観察者を取り囲む周辺光量が少ない暗室条件下で生じる現象である。実環境下では、施設内の光量を制御して表示システムの周囲を完全に真っ暗にすることは難しい。また、視対象の表示による光、視対象を照らす照明光、または視対象自身が出す光などによって、周囲の装置が照らされて観察者に見えてしまう場合が想定される。その結果、周囲の装置と背景映像の位置関係に基づいて、観察者が背景映像の移動を知覚するおそれがある。

第２の実施形態では、図６Ａに示すように、背景映像５２を取り囲む誘導用の背景映像５３を表示し、背景映像５２，５３を移動することで、薄暗い環境下においても視対象５１に誘導運動を生じさせる。第２の実施形態の表示環境条件は、薄暗ければ、周囲の装置が完全に見えない状態でなくてもよい。

第２の実施形態の映像処理装置１０は、第１の実施形態と同様に、設定部１１、制御部１２、および出力部１３を備える。

設定部１１は、視対象オブジェクトと床面オブジェクトに加えて、床面オブジェクトを取り囲む誘導用オブジェクトを仮想空間内の初期位置に配置する。例えば、設定部１１は、背景映像５３が視対象５１を照らすスポットライトのように表示される誘導用オブジェクトを配置する。

図６Ａに、虚像面３０に表示される視対象５１とスクリーン２２に投影された背景映像５２，５３の例を示す。図６Ａは、スクリーン２２を上方から見た図である。背景映像５２は、第１の実施形態と同様の、視対象５１を取り囲む床面または地面などの映像である。背景映像５３は、背景映像５２を取り囲む図形であり、形、模様、色は任意に設定できる。本実施形態では、背景映像５３を円形として、視対象５１を照らすスポットライトのような図形とした。

制御部１２は、床面オブジェクトの移動量に基づき、誘導用オブジェクトを移動する。具体的には、制御部１２は、床面オブジェクトの移動方向と同じ方向であって、誘導用オブジェクトの移動量が床面オブジェクトの移動量よりも大きくなるように、誘導用オブジェクトを移動する。例えば、床面オブジェクトの移動量をｖとすると、誘導用オブジェクトの移動量を２ｖとする。誘導用オブジェクトの移動量は床面オブジェクトの移動量よりも大きければよい。

図６Ｂは、図６Ａの状態から背景映像５２，５３を図上で上方向に移動させたときの表示例である。視対象５１の表示位置は移動させていない。背景映像５３の移動量を背景映像５２の移動量よりも大きくすることで、背景映像５２は背景映像５３に対して相対的に逆向き（背景映像５２の移動方向の反対方向）に誘導される。その結果、背景映像５２は、表示位置を移動した物理運動と誘導運動とが互いに相殺し合うように知覚されて、静止しているように知覚される。

観察者および表示システムの周囲が薄暗い場合であっても、図７Ａおよび図７Ｂに示すように、背景映像５２，５３が移動されても、観察者は、背景映像５２と背景映像５３とを対比し、背景映像５２が静止し、視対象５１が移動しているように知覚する。

なお、背景映像５３の移動は知覚されるので、移動していても観察者が違和感を抱かないものと認識できる態様で背景映像５３を表示するとよい。例えば、背景映像５３を視対象５１を照らすスポットライトの態様で表示することで、背景映像５３の存在に対して違和感を低減する効果が期待できる。

出力部１３は、背景用の仮想カメラで撮影した床面オブジェクトと誘導用オブジェクトを含む映像を背景映像出力装置２１へ出力する。

第２の実施形態の映像処理装置１０の動作は、基本的に図５のフローチャートと同様である。

ステップＳ１１にて、設定部１１は、視対象とスクリーン２２の位置関係に基づき、床面オブジェクトと誘導用オブジェクトを初期位置に配置する。

ステップＳ１２にて、制御部１２は、視対象の１フレーム分の移動量に基づき、床面オブジェクトと誘導用オブジェクトの１フレーム分の移動量を計算し、計算した移動量に基づいて床面オブジェクトと誘導用オブジェクトを移動する。

ステップＳ１３にて、出力部１３は、仮想カメラで床面オブジェクトと誘導用オブジェクトを含む平面を撮影した背景映像を背景映像出力装置２１へ出力する。

以上説明したように、本実施形態によれば、視対象５１を取り囲む背景映像５２と背景映像５２を取り囲む誘導用の背景映像５３をスクリーン２２に表示し、誘導用の背景映像５３の移動量が背景映像５２の移動量よりも大きくなるように、視対象５１を移動させたい方向の反対方向に背景映像５２，５３を移動させることで、薄暗い環境下において、観察者１００に、視対象５１が背景映像５２上を移動しているように知覚させることができる。

［第３の実施形態］
次に、第３の実施形態の表示システムについて説明する。第３の実施形態の表示システムの構成は、第１、第２の実施形態の表示システムと同じである。

視対象を速く移動させるために視対象を取り囲む背景映像の移動量を大きくすると、背景映像の移動が知覚されてしまうおそれがある。

第３の実施形態では、背景映像の全体を移動するのではなく、図８に示すように、背景映像の一部を動かすことで、背景映像の移動が知覚されることを抑制する。

第３の実施形態の映像処理装置１０は、第１の実施形態と同様に、設定部１１、制御部１２、および出力部１３を備える。

設定部１１は、第１の実施形態と同様に床面オブジェクトを仮想空間内の初期位置に配置する。第２の実施形態と同様に、床面オブジェクトを取り囲む誘導用オブジェクトを配置してもよい。

制御部１２は、視対象５１の移動量に基づき、背景映像５２つまり床面オブジェクトの各部分の移動量を異ならせて移動させる。図８の例では、視対象５１の移動方向の背景映像５２を速く移動させ、移動方向から離れるに従って遅く移動させている。誘導用オブジェクトを配置した場合、制御部１２は、誘導用オブジェクトを第２の実施形態と同様に移動する。

背景映像５２を矩形とした場合の背景映像５２の移動例を具体的に説明する。床面オブジェクトを矩形とし、矩形の４辺それぞれに外接する円を想定する。制御部１２は、視対象５１の移動方向の逆方向に円を移動する。このとき、床面オブジェクトの角は固定しておいてもよいし、円の移動量よりも少ない移動量で移動させてもよい。制御部１２は、視対象５１の移動方向の床面オブジェクトの辺が移動後の円に接触するように辺を変形する。制御部１２は、向かい合う辺に対しても同じ変形を施す。

背景映像５２の辺の変形を目立たなくするために、背景映像５２の辺をぼかしてもよい。

また、背景映像５２を点の集まりで構成した場合、制御部１２は、例えば、点の存在する方向が視対象５１の移動方向に近い点を速く移動させ、点の存在する方向が移動方向と異なる点はゆっくり移動させる。

出力部１３は、仮想カメラで撮影した床面オブジェクトを背景映像出力装置２１へ出力する。

第３の実施形態の映像処理装置１０の動作は、基本的に図５のフローチャートと同様である。

ステップＳ１１にて、設定部１１は、視対象とスクリーン２２の位置関係に基づき、床面オブジェクトを初期位置に配置する。

ステップＳ１２にて、制御部１２は、視対象の１フレーム分の移動量に基づき、床面オブジェクトの各部分の移動量を計算し、計算した移動量に基づいて床面オブジェクトの各部分を移動する。

ステップＳ１３にて、出力部１３は、仮想カメラで床面オブジェクトを含む平面を撮影した背景映像を背景映像出力装置２１へ出力する。

以上説明したように、本実施形態によれば、視対象５１を速く移動させたいときに、視対象５１の移動方向に基づいて背景映像５２の各部分の移動量を異ならせて背景映像５２を移動することにより、背景映像５２の移動知覚を抑制できる。

［第４の実施形態］
次に、第４の実施形態の表示システムについて説明する。第４の実施形態の表示システムは、２つ以上の異なる方向から観察できる視対象を表示する。

図９を参照し、第４の実施形態の表示システムについて説明する。図９は、第４の実施形態の表示システムを上からみた図である。第１ないし第３の実施形態と同様に、スクリーン２２を配置し、背景映像出力装置２１が背景映像５２をスクリーン２２に投影する。

映像処理装置１０は、視対象５１に誘導運動を生じさせる背景映像５２を背景映像出力装置２１に供給する。映像処理装置１０は、背景映像５２の供給に際して、第１ないし第３の実施形態のいずれの形態を用いてもよい。

第４の実施形態では、４組の空中像出力装置２３と光学素子２４を備えて、異なる４方向からスクリーン２２の上方に空中像を投影する。対向する装置の虚像面の位置が一致するように空中像出力装置２３と光学素子２４を配置する。具体的には、図９の図上で下方向に配置した空中像出力装置２３と光学素子２４の形成する虚像面３０Ａと上方向に配置した空中像出力装置２３と光学素子２４の形成する虚像面３０Ｃの位置を一致させる。また、図９の図上で左方向に配置した空中像出力装置２３と光学素子２４の形成する虚像面３０Ｂと右方向に配置した空中像出力装置２３と光学素子２４の形成する虚像面３０Ｄの位置を一致させる。

空中像出力装置２３のそれぞれは、虚像面３０Ａ，３０Ｃと虚像面３０Ｂ，３０Ｄが交差する位置に、各方向から見た視対象５１を表示する。これにより、視対象５１を全周囲から観察することができる。なお、虚像面３０Ａ～３０Ｄがスクリーン２２の法線方向と平行となり、虚像面３０Ａ，３０Ｃと虚像面３０Ｂ，３０Ｄが直角に交わるように、空中像出力装置２３と光学素子２４のそれぞれを配置するとよい。

なお、光学素子２４の代わりに、図９に示した虚像面３０Ａ，３０Ｃと虚像面３０Ｂ，３０Ｄのそれぞれの位置に対応させて透明スクリーンを配置し、異なる４方向から透明スクリーンに視対象５１を投影してもよい。

視対象５１を投影する方向は４方向に限らず、２方向でも３方向でもよい。いずれの場合も投影面が交差する位置に視対象５１を投影する。

以上説明したように、本実施形態によれば、スクリーン２２の上の虚像面３０Ａ～３０Ｄのそれぞれが交差する位置に視対象５１を表示し、スクリーン２２に背景映像５２を表示し、視対象５１を移動させたい方向の反対方向に背景映像５２を移動させることで、全周囲から視対象５１が背景映像５２上を移動しているように知覚させることができる。

［第５の実施形態］
次に、第５の実施形態の表示システムについて説明する。第５の実施形態の表示システム１の構成は、図１に示した第１の実施形態の表示システム１の構成と同じであり、表示システム１は、映像処理装置１０、背景映像出力装置２１、スクリーン２２、空中像出力装置２３、および光学素子２４を備える。なお、背景映像出力装置２１とスクリーン２２は、後述の視対象の影を表示できる平面状もしくは平面に近い形状の表示装置であればよい。

図１の表示システム１では、虚像面３０の位置は空中像出力装置２３と光学素子２４との位置関係によって決められる。虚像面３０に投影する視対象は、虚像面３０内では自由に移動できるが、奥行方向へ移動できない。

観察者１００の視点が視対象の位置よりも高いとき、視対象の大きさおよび虚像面３０内での表示位置を変化させれば、観察者１００は視対象の奥行方向への移動を知覚できる。さらに、視対象の足元に影を付与することで、床面上の絶対的な視対象の位置を知覚させることができる。

第５の実施形態では、視対象の大きさと位置を変え、床面に影を表示することで、視対象の奥行方向への移動を知覚させる。なお、第５の実施形態は、第１～第４の実施形態とは異なり、誘導運動を生じさせるものではないので、暗室条件下でなくてもよい。

第５の実施形態の映像処理装置１０は、第１の実施形態と同様に、設定部１１、制御部１２、および出力部１３を備える。

設定部１１は、実空間での虚像面３０（視対象）とスクリーン２２の位置関係に基づき、仮想空間内に視対象を表す視対象オブジェクトと視対象オブジェクトの下の床面オブジェクトを初期位置に配置する。また、設定部１１は、視対象オブジェクトの上に、視対象オブジェクトを上から照らす平行光源を配置する。平行光源により床面オブジェクトに視対象の影が表示される。視対象オブジェクトが仮想空間内で移動すると影も移動する。

設定部１１は、仮想空間内に、スクリーン２２に投影する映像を撮影するための背景用の仮想カメラを配置する。背景用の仮想カメラは、床面オブジェクト上に表示された影を含めて床面オブジェクトを撮影する。背景用の仮想カメラの撮影した映像がスクリーン２２に投影される。

設定部１１は、仮想空間内に、視対象オブジェクトを撮影する視対象用の仮想カメラを配置する。仮想空間内での仮想カメラと視対象オブジェクトとの位置関係は、実空間での観察者１００の視点と虚像面３０内の視対象との位置関係と等しくしておき、撮影方法を透視投影法に設定しておく。

制御部１２は、仮想空間内で視対象オブジェクトを移動する。視対象オブジェクトの影は、視対象オブジェクトの位置に応じて移動する。背景用の仮想カメラで撮影した映像では、視対象オブジェクトの影が仮想空間内の視対象オブジェクトの位置に応じて移動する。視対象用の仮想カメラで撮影した視対象オブジェクトは、透視投影法により、撮影された映像内での大きさと位置が奥行方向への移動量に応じて変化する。

出力部１３は、視対象用の仮想カメラで撮影した視対象オブジェクトを含む映像を空中像出力装置２３へ出力し、背景用の仮想カメラで撮影した床面オブジェクトと影を含む映像を背景映像出力装置２１へ出力する。

図１０Ａに、虚像面３０に表示された視対象５１とスクリーン２２に投影された影６２の例を示す。図１０Ａは、スクリーン２２を上方から見た図である。観察者１００は、図上で下方向のスクリーン２２の中央正面にいるものとし、観察者１００の視点は、視対象５１よりも高い位置で、スクリーン２２を俯瞰して見る位置とする。視対象５１はスクリーン２２に対して垂直な虚像面３０に投影されるが、図１０Ａでは視対象５１が表示される位置を円で表現している。

図１０Ａは、初期状態の一例であり、仮想空間内の視対象オブジェクトは、床面オブジェクトの中央であって、奥行方向の位置は実空間の虚像面３０に対応する位置に存在している。影６２は、虚像面３０に表示された視対象５１の下に表示される。視対象５１は、空中に浮いているように表示されてもよいし、スクリーン２２上に接地しているように表示されてもよい。

図１０Ｂに、図１０Ａの表示状態の観察者１００からの見え方を示す。図１０Ｂに示すように、虚像面３０に視対象５１が表示され、視対象５１の下のスクリーン２２に影６２が表示されるので、観察者１００は、視対象５１のスクリーン２２上における絶対的な位置を知覚できる。

仮想空間内で視対象オブジェクトが奥行方向に移動すると、床面オブジェクト上に表示される視対象オブジェクトの影も奥行方向に移動する。図１１Ａに示すように、影６２は奥行方向に移動した位置に表示される。虚像面３０の位置は動かないので、視対象５１が表示される奥行方向の位置は変わらない。

視対象用の仮想カメラは視対象オブジェクトを透視投影法により撮影するので、視対象オブジェクトが奥行方向へ移動すると、視対象５１は、観察者１００の視点位置と観察者１００に知覚させたい視対象５１の奥行位置に応じた大きさと高さで虚像面３０に表示される。

図１１Ｂに、図１１Ａの表示状態の観察者１００からの見え方を示す。図１１Ａのようにスクリーン２２を上方から見ると視対象５１と影６２が離れているが、図１１Ｂに示すように、観察者１００から見ると視対象５１の下に影６２が存在するように見える。視対象５１は、視対象オブジェクトの奥行方向への移動に応じて、虚像面３０での大きさおよび位置が変化し、影６２は視対象５１に追従するように移動する。観察者１００は、影６２の位置を視対象５１の奥行き位置として知覚できる。

図１２のフローチャートを参照し、映像処理装置１０の動作について説明する。背景映像出力装置２１、スクリーン２２、空中像出力装置２３、および光学素子２４は、スクリーン２２上の所望の位置に直立した視対象５１を表示するように設定されている。なお、これらの設定は、視対象５１の空中像表示の一例であり、これに限るものではない。

ステップＳ２１にて、設定部１１は、実空間の視対象とスクリーン２２の位置関係に基づき、仮想空間内に視対象オブジェクトと床面オブジェクトを初期位置に配置し、視対象オブジェクトの上方に平行光源を配置する。設定部１１は、仮想空間内に、視対象を撮影する仮想カメラを観察者１００の視点位置に対応させて配置し、床面オブジェクトを撮影する仮想カメラを配置する。

ステップＳ２２にて、制御部１２は、仮想空間内で視対象オブジェクトを移動する。仮想空間内では、視対象オブジェクトの真下に影が表示される。

ステップＳ２３にて、出力部１３は、視対象用の仮想カメラで撮影した視対象オブジェクトを含む映像を空中像出力装置２３へ出力し、背景用の仮想カメラで撮影した床面オブジェクトと影を含む映像を背景映像出力装置２１へ出力する。虚像面３０に視対象５１が表示され、スクリーン２２に床面と影６２が表示される。

１フレームごとに、ステップＳ２２，Ｓ２３の処理が繰り返し実施される。

なお、視対象オブジェクトの上方に平行光源ではなくスポットライトを配置してもよい。この場合、図１３Ａに示すように、スポットライトの照射範囲６３内の視対象５１の下に影６２が表示される。図１３Ｂに観察者１００からの見え方を示す。

仮想空間内で視対象オブジェクトが奥行方向へ移動すると、視対象オブジェクトの移動に合わせてスポットライトも移動させる。視対象オブジェクトがスポットライトの照射範囲であればスポットライトは移動させなくてもよい。床面オブジェクト上に表示される視対象オブジェクトの影も奥行方向に移動する。図１４Ａに示すように、影６２およびスポットライトの照射範囲６３は奥行方向に移動した位置に表示される。

視対象オブジェクトが奥行方向へ移動すると、視対象オブジェクトは、図１３Ａの状態とは異なる大きさと位置で撮影されて、虚像面３０に表示される。

図１４Ｂに、図１４Ａの表示状態の観察者１００からの見え方を示す。図１４Ａのようにスクリーン２２を上方から見ると視対象５１と影６２が離れているが、図１４Ｂに示すように、観察者１００から見ると視対象５１の下に影６２が存在するように見える。

図１５Ａおよび図１５Ｂに、視対象の奥行方向の位置を異ならせて表示した例を示す。図１５Ａおよび図１５Ｂのいずれもスクリーン２２に対する虚像面３０の位置は同じであり、実空間での視対象の奥行方向の表示位置は同じである。視対象５１の大きさと虚像面３０内の表示位置を変えて、視対象５１の足元に影６２を表示することで、図１５Ａの視対象５１が図１５Ｂの視対象５１よりも奥側に存在するように知覚できる。

図１６Ａおよび図１６Ｂに、複数の視対象の位置を異ならせて表示した例を示す。図１６Ａおよび図１６Ｂのいずれもスクリーン２２に対する虚像面３０の位置は同じであり、実空間での視対象５１の奥行方向の表示位置は同じである。複数の視対象が存在する場合も同様の処理を行うことで、同時に複数の視対象の異なる奥行移動を表現できる。

以上説明したように、本実施形態の映像処理装置１０は、実空間での虚像面３０とスクリーン２２の位置関係に基づき、仮想空間内に視対象オブジェクトと床面オブジェクトを初期位置に配置するとともに、視対象オブジェクトを照らす平行光源を配置し、スクリーン２２に投影する映像を撮影するための背景用の仮想カメラと視対象オブジェクトを撮影するための仮想カメラを配置する。映像処理装置１０は、視対象オブジェクトの移動に合わせて、影６２を視対象５１の奥行位置を知覚させたい位置に移動し、観察者１００の視点位置と視対象５１の奥行位置に応じて視対象５１の大きさと高さを変化させる。これにより、視対象５１のスクリーン２２上での奥行方向への移動を知覚させることができる。

［第６の実施形態］
次に、第６の実施形態の表示システムについて説明する。第６の実施形態は、仮想空間において、視対象オブジェクトの横方向の斜め上に光源を配置する点で第５の実施形態と異なる。その他の点は、第５の実施形態と同様である。

第５の実施形態では、観察者１００がスクリーン２２の正面から視対象５１を見ることを前提としていた。観察者１００が正面から左右に移動したり、複数の観察者１００が左右方向に並んだりした場合、視対象５１と影６２が離れてしまい、不自然な見え方となるという問題がある。

第６の実施形態では、視対象オブジェクトの横方向の斜め上に光源を配置し、横長の影を表示する。

第６の実施形態の映像処理装置１０は、第５の実施形態と同様に、設定部１１、制御部１２、および出力部１３を備える。

設定部１１は、第５の実施形態と同様に、実空間での視対象とスクリーン２２の位置関係に基づき、仮想空間内に視対象を表す視対象オブジェクトと床面オブジェクトを初期位置に配置し、床面オブジェクト上に表示された影を含めて床面オブジェクトを撮影する背景用の仮想カメラと、視対象オブジェクトを撮影する視対象用の仮想カメラを配置する。

設定部１１は、視対象オブジェクトと同じ奥行位置にあって、横方向の斜め上から視対象オブジェクトを照らす平行光源を配置する。平行光源により床面オブジェクトに視対象の横長の影が表示される。

制御部１２は、第５の実施形態と同様に仮想空間内で視対象オブジェクトを移動する。視対象用の仮想カメラで撮影した視対象オブジェクトは、透視投影法により、撮影された映像内での大きさと位置が奥行方向への移動量に応じて変化する。

出力部１３は、第５の実施形態と同様に視対象用の仮想カメラで撮影した視対象オブジェクトを含む映像を空中像出力装置２３へ出力し、背景用の仮想カメラで撮影した床面オブジェクトと影を含む映像を背景映像出力装置２１へ出力する。

第６の実施形態の映像処理装置１０の処理の流れは、図１２を用いて説明した第５の実施形態の映像処理装置１０の処理の流れと同じである。

図１７に、スクリーン２２を上方から見たときの、虚像面３０に表示された視対象５１とスクリーン２２に投影された影６２の例を示す。観察者１００は、図上で下方向のスクリーン２２の右側に存在する。光源を図上で左側に配置したので、床面オブジェクト上には右側に伸びた横長の影６２が表示される。右側の観察者１００からは、図１８に示すように、視対象５１から右側に伸びた影６２が存在するように見える。

なお、図１７の表示状態において、観察者１００がスクリーン２２の正面中央から見た場合も、視対象５１と影６２が離れて表示されることなく、視対象５１の真下に横方向の影６２が表示される。

平行光源ではなく視対象オブジェクトの上部を照射するスポットライトを配置してもよい。スポットライトの照射範囲外は視対象オブジェクトの影が区別できない程度に暗くしておく。この場合、図１９に示すように、スポットライトの照射範囲６３内に視対象オブジェクトの上部の影６２のみが表示される。図２０に観察者１００からの見え方を示す。

図２０に示すように、視対象５１の足元と影６２とが離れているか否かが区別しにくくなる。横方向から光を照射すると、影６２の奥行位置がそのまま視対象５１の奥行位置と知覚できる。

図２１Ａおよび図２１Ｂに、視対象オブジェクトの横の斜め上に上部を照射するスポットライトを配置して視対象を表示したときの、正面および右側から視対象を見た例を示す。図２１Ａおよび図２１Ｂのいずれにおいても、照射範囲６３内に表示された視対象５１の上部の影６２により奥行方向の位置を知覚できる。また、視対象５１の足元が影６２と離れているか否かが区別しにくいので、視対象５１と影６２とが不自然な見え方になっていない。

図２２Ａおよび図２２Ｂに、複数の視対象オブジェクトを配置し、視対象オブジェクトの横の斜め上に上部を照射するスポットライトを配置して視対象を表示したときの、正面および右側から視対象を見た例を示す。複数の視対象が存在する場合も同様の処理を行うことで、不自然な見え方を解消できる。

以上説明したように、本実施形態の映像処理装置１０は、視対象オブジェクトの横方向の斜め上に光源を配置し、横方向に伸びる影６２を表示する。これにより、観察者１００の視対象５１を見る角度が異なる場合も、視対象５１と影６２とが離れて見えることを抑制できる。

本実施形態の映像処理装置１０は、視対象オブジェクトの横方向の斜め上にスポットライト光源を配置し、スポットライトの照射範囲内に視対象５１の上部の影６２を表示する。これにより、視対象５１の足元と影６２とが離れているか否かが区別しにくくなる。

なお、第６の実施形態の映像処理方法を第４の実施形態の虚像面を４面有する表示システムに適用してもよい。これにより、全周囲の観察者に対して視対象の奥行移動を表現することができる。

上記説明した映像処理装置１０には、例えば、図２３に示すような、中央演算処理装置（ＣＰＵ）９０１と、メモリ９０２と、ストレージ９０３と、通信装置９０４と、入力装置９０５と、出力装置９０６とを備える汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵ９０１がメモリ９０２上にロードされた所定のプログラムを実行することにより、映像処理装置１０が実現される。このプログラムは磁気ディスク、光ディスク、半導体メモリ等のコンピュータ読み取り可能な記録媒体に記録することも、ネットワークを介して配信することもできる。

１…表示システム
１０…映像処理装置
１１…設定部
１２…制御部
１３…出力部
２１…背景映像出力装置
２２…スクリーン
２３…空中像出力装置
２４…光学素子
３０，３０Ａ，３０Ｂ，３０Ｃ，３０Ｄ…虚像面
５１…視対象
５２，５３…背景映像
６２…影
６３…照射範囲
１００…観察者

Claims (11)

1. 表示装置の表示面の上において奥行方向への移動が固定された視対象に誘導運動を生じさせる背景映像を出力する映像処理装置であって、
   前記視対象を取り囲む背景映像と、前記背景映像を取り囲む第２の背景映像を前記表示装置に出力する出力部と、
   前記視対象の奥行方向への移動を知覚させる方向に応じて前記背景映像を移動し、前記背景映像の移動方向と同じ方向に前記第２の背景映像を移動し、前記第２の背景映像の移動量を前記背景映像の移動量よりも大きくする制御部を備える
   映像処理装置。
2. 請求項１に記載の映像処理装置であって、
   前記第２の背景映像の表示の態様は、前記視対象を照らすスポットライトである
   映像処理装置。
3. 表示装置の表示面の上において奥行方向への移動が固定された視対象に誘導運動を生じさせる背景映像を出力する映像処理装置であって、
   前記視対象を取り囲む背景映像を前記表示装置に出力する出力部と、
   前記視対象の奥行方向への移動を知覚させる方向に応じて前記背景映像を移動させる制御部を備え、
   前記制御部は、前記視対象の移動方向に基づいて前記背景映像の各部分の移動量を異ならせる
   映像処理装置。
4. 表示装置の表示面の上において奥行方向への移動が固定された視対象に奥行方向への移動を知覚させる映像を出力する映像処理装置であって、
   前記視対象の位置に対応させた映像を前記表示装置に出力する出力部と、
   前記視対象の奥行方向への移動を知覚させる方向に応じて前記映像を移動させる制御部を備え、
   前記視対象は、空中像出力装置が前記表示装置の表示面の上の虚像面に表示したものであり、
   前記映像は、前記視対象の影であり、
   前記出力部は、前記視対象の影を前記表示装置に出力するとともに、前記視対象の映像を前記空中像出力装置に出力し、
   前記制御部は、前記視対象の奥行位置を知覚させたい位置に前記視対象の影を移動し、視点位置と前記視対象の奥行位置に応じて前記視対象の大きさと高さを変化させる
   映像処理装置。
5. 請求項４に記載の映像処理装置であって、
   前記視対象の影は、前記視対象の奥行位置において横方向に伸びる影である
   映像処理装置。
6. 請求項５に記載の映像処理装置であって、
   前記出力部は、前記視対象の上部を横方向からスポットライトで照らした態様で照射範囲を示す映像を出力し、前記視対象の上部に対応する前記視対象の影を前記照射範囲を示す映像内に表示する
   映像処理装置。
7. 複数の表示装置と表示装置と映像処理装置を備える表示システムであって、
   前記複数の表示装置のそれぞれは、前記表示装置の表示面の上の投影面であって、前記投影面のそれぞれが交差する位置に視対象を表示し、
   前記映像処理装置は、
   前記視対象を取り囲む背景映像を前記表示装置に出力する出力部と、
   前記視対象を移動させたい方向の反対方向に前記背景映像を移動させる制御部と、を備える
   表示システム。
8. 表示装置の表示面の上において奥行方向への移動が固定された視対象に誘導運動を生じさせる背景映像を出力する映像処理方法であって、
   コンピュータが実行する、
   前記視対象を取り囲む背景映像と、前記背景映像を取り囲む第２の背景映像を前記表示装置に出力するステップと、
   前記視対象の奥行方向への移動を知覚させる方向に応じて前記背景映像を移動し、前記背景映像の移動方向と同じ方向に前記第２の背景映像を移動し、前記第２の背景映像の移動量を前記背景映像の移動量よりも大きくするステップを有する
   映像処理方法。
9. 表示装置の表示面の上において奥行方向への移動が固定された視対象に誘導運動を生じさせる背景映像を出力する映像処理方法であって、
   コンピュータが実行する、
   前記視対象を取り囲む背景映像を前記表示装置に出力するステップと、
   前記視対象の奥行方向への移動を知覚させる方向に応じて前記背景映像を移動させるステップを有し、
   前記背景映像を移動させるステップでは、前記視対象の移動方向に基づいて前記背景映像の各部分の移動量を異ならせる
   映像処理方法。
10. 表示装置の表示面の上において奥行方向への移動が固定された視対象に奥行方向への移動を知覚させる映像を出力する映像処理方法であって、
    コンピュータが実行する、
    前記視対象の位置に対応させた映像を前記表示装置に出力するステップと、
    前記視対象の奥行方向への移動を知覚させる方向に応じて前記映像を移動させるステップを有し、
    前記視対象は、空中像出力装置が前記表示装置の表示面の上の虚像面に表示したものであり、
    前記映像は、前記視対象の影であり、
    前記映像を前記表示装置に出力するステップでは、前記視対象の影を前記表示装置に出力するとともに、前記視対象の映像を前記空中像出力装置に出力し、
    前記映像を移動させるステップでは、前記視対象の奥行位置を知覚させたい位置に前記視対象の影を移動し、視点位置と前記視対象の奥行位置に応じて前記視対象の大きさと高さを変化させる
    映像処理方法。
11. 請求項１ないし６のいずれかに記載の映像処理装置の各部としてコンピュータを動作させるプログラム。

Images