JP6670204B2

JP6670204B2 - 虚像表示システム、及び虚像表示方法

Info

Publication number: JP6670204B2
Application number: JP2016161201A
Authority: JP
Inventors: 麻衣子井元; 高田　英明; 英明高田; 知之兼清; 聡一郎内田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2016-08-19
Filing date: 2016-08-19
Publication date: 2020-03-18
Anticipated expiration: 2036-08-19
Also published as: JP2018029304A

Description

本発明は、投影環境に虚像を投影する虚像表示システム、及び虚像表示方法に関する。

近年、映像の高精細化や映像投影技術の発達により、別の場所で撮影された映像を、発表の現場や舞台上の投影環境に、虚像として投影してプレゼンテーションを行う場合がある。例えば人物や物体を、任意の空間上に虚像として投影する技術が例えば非特許文献１と２に開示されている。

Hanyuool Kima, et al. MARIO:Mid-air Augmented Reality Interaction with Objects, Entertaiment Computing, 2014 村瀬香緒里、他２名、「大型ハーフミラーを用いた没入型拡張現実感ディスプレイシステムにおけるオクルージョン表現」、可視化情報学会誌、2008

しかし、２次元平面上に虚像を投影するシステムにおいては、虚像が結像位置に固定されて表示されるため、虚像と、投影環境に存在する実像とが重なった場合に、常に虚像が実像の前にあるように見えてしまう場合がある。つまり、実像が、虚像の結像位置よりも前に配置された場合は、実像の表面に虚像が投影されてしまうため、常に虚像が実像の前にあるように見えてしまう課題がある。

本発明は、この課題に鑑みてなされたものであり、実像と虚像の前後関係を正しく表現できるようにした虚像表示システム、及び虚像表示方法を提供することを目的とする。

本実施形態の一態様に係る虚像表示システムは、複数の観客が観察する投影環境に虚像を投影する虚像表示システムにおいて、観客席から離れた前方の位置にある前記投影環境における物体の３次元座標を、前記投影環境を撮影装置で撮影した画像情報から取得する実像座標取得部と、前記３次元座標に基づいて、前記物体の位置が、前記虚像の結像面より観客席側であるか否かを判定する実像前後判定部と、前記物体が前記結像面よりも観客席側にある場合で、且つ前記結像面における前記虚像の領域と、前記物体を含む前記結像面と平行な２次元平面上の前記物体の領域とが重畳している場合に、前記虚像から前記重畳している部分を取り除いた虚像情報を生成する画像処理部と、前記投影環境の天井側の奥行方向に等間隔で複数列配置され、前記奥行方向で発光量が異なる複数の赤外線発光器とを備え、前記実像座標取得部は、前記画像情報に含まれる前記物体で反射する前記赤外線発光器の光の強度から当該物体の前記奥行方向の座標情報を取得することを要旨とする。

また、本実施形態の他の態様に係る虚像表示システムは、複数の観客が観察する投影環境に虚像を投影する虚像表示システムにおいて、観客席から離れた前方の位置にある前記投影環境における物体の３次元座標を、前記投影環境を撮影装置で撮影した画像情報から取得する実像座標取得部と、演出の脚本に合わせて予め作成した前記虚像の３次元座標を記憶した虚像座標記憶部と、前記物体の３次元座標と、前記虚像の３次元座標とを比較して、前記物体の３次元座標が前記虚像の３次元座標よりも観客席側であるか否かを判定する実像前後判定部と、前記物体の３次元座標が前記虚像の３次元座標よりも観客席側にある場合で、且つ前記虚像の結像面における虚像の領域と、前記物体を含む前記結像面と平行な２次元平面上の前記物体の領域とが重畳している場合に、前記結像面の位置が前記物体の３次元座標より前であるか否かに関わらず、前記虚像から前記重畳している部分を取り除いた虚像情報を生成する画像処理部と、前記投影環境の天井側の奥行方向に等間隔で複数列配置され、前記奥行方向で発光量が異なる複数の赤外線発光器とを備え、前記実像座標取得部は、前記画像情報に含まれる前記物体で反射する前記赤外線発光器の光の強度から当該物体の前記奥行方向の座標情報を取得することを要旨とする。

また、本実施形態の一態様に係る虚像表示方法は、虚像表示システムが行う複数の観客が観察する投影環境に虚像を投影する虚像表示方法であって、観客席から離れた前方の位置にある前記投影環境における物体の３次元座標を、前記投影環境を撮影装置で撮影した画像情報から取得し、前記３次元座標に基づいて、前記物体の位置が、前記虚像の結像面より観客席側であるか否かを判定し、前記物体が前記結像面よりも観客席側にある場合で、且つ前記結像面における前記虚像の領域と、前記物体を含む前記結像面と平行な２次元平面上の前記物体の領域とが重畳している場合に、前記虚像から前記重畳している部分を取り除いた虚像情報を生成し、前記投影環境の天井側の奥行方向に等間隔で複数列配置された赤外線発光器から、前記奥行方向で発光量が異なる複数の赤外光を発光し、前記物体の３次元座標は、前記画像情報に含まれる前記物体で反射する前記赤外線発光器の光の強度から当該物体の前記奥行方向の座標情報を取得することを要旨とする。

また、本実施形態の他の態様に係る虚像表示方法は、虚像表示システムが行う複数の観客が観察する投影環境に虚像を投影する虚像表示方法であって、観客席から離れた前方の位置にある前記投影環境における物体の３次元座標を、前記投影環境を撮影装置で撮影した画像情報から取得し、前記物体の３次元座標と、演出の脚本に合わせて予め作成した前記虚像の３次元座標とを比較して、前記物体の３次元座標が前記虚像の３次元座標よりも観客席側であるか否かを判定し、前記物体の３次元座標が前記虚像の３次元座標よりも観客席側にある場合で、且つ前記虚像の結像面における虚像の領域と、前記物体を含む前記結像面と平行な２次元平面上の前記物体の領域とが重畳している場合に、前記結像面の位置が前記物体の３次元座標より前であるか否かに関わらず、前記虚像から前記重畳している部分を取り除いた虚像情報を生成し、前記投影環境の天井側の奥行方向に等間隔で複数列配置された赤外線発光器から、前記奥行方向で発光量が異なる複数の赤外光を発光し、前記物体の３次元座標は、前記画像情報に含まれる前記物体で反射する前記赤外線発光器の光の強度から当該物体の前記奥行方向の座標情報を取得することを要旨とする。

本発明によれば、実像と虚像の前後関係を正しく表現できるようにした虚像表示システム、及び虚像表示方法を提供することができる。

第１実施形態に係る虚像表示システムの構成例を示す模式的側面図である。第１実施形態に係る虚像表示システムを配置した舞台を正面から見た模式的正面図である。第１実施形態に係る虚像表示システムが行う虚像表示方法の動作フローを示す図である。複数の赤外線発光器を、投影環境の天井に配置した例を示す模式的平面図である。実像が、虚像よりも観客席側に配置された場合の例を示す模式的平面図である。第２実施形態に係る虚像表示システムの構成例を示す模式的側面図である。第２実施形態に係る虚像表示システムの撮影環境と投影環境を示す図であり、（ａ）は撮影環境、（ｂ）は投影環境である。第２実施形態に係る虚像表示システムが行う虚像表示方法の動作フローを示す図である。視線検出部を備えた変形例に係る虚像表示システムの構成例を示す模式的側面図である。

以下、本発明の実施形態について図面を用いて説明する。複数の図面中同一のものに
は同じ参照符号を付し、説明は繰り返さない。

〔第１実施形態〕
図１に、第１実施形態に係る虚像表示システム１の構成例を示す。図１は、虚像表示システム１を、例えば講演会場に配置し、その講演会場を横方向から見た模式的側面図である。

図２に、講演会場を正面から見た模式的正面図を示す。図１と図２を参照して虚像表示システム１の構成を説明する。

虚像表示システム１は、観客席７６と舞台７３との間にビームスプリッタ７４を配置して舞台７３の上の投影環境に虚像を表示するシステムである。虚像表示システム１は、観客席７６が配置された床７２と平行する面に配置され、虚像情報が投影される虚像投影面５０と、ビームスプリッタ７４を挟んで虚像投影面５０と対向する面に配置され、虚像投影面５０に虚像情報を投影する虚像投影部４０とを備える。虚像とは、観客席７６から舞台７３を見た場合に、実在はしないが舞台７３の上に存在しているかのように見える画像のことである。

ビームスプリッタ７４は、光束を例えば２つに分割する光学装置である。ビームスプリッタ７４は、透過率と反射率とが等しいハーフミラー又はフィルムで有っても良い。

ビームスプリッタ７４は、観客席７６と舞台７３との間に配置される。この例では、舞台７３の観客席７６の縁部付近から、約４５度の傾きで天井７１まで張られた反射率５０％のフィルムである。

虚像投影部４０は、舞台７３と観客席７６とを結ぶ直線と直交する方向のビームスプリッタ７４を挟む一方の面（天井７１）に配置される。虚像投影部４０は、演出の脚本に合わせた虚像情報を、虚像投影面５０に投影する。

虚像投影面５０は、ビームスプリッタ７４を挟んで虚像投影部４０と対向する例えば、舞台７３の最前部の縁に沿う床７２の表面に配置される。以降の説明において、虚像と区別する目的で、虚像投影面５０に映される画像を虚像情報と称する。

虚像投影面５０に映された虚像情報は、ビームスプリッタ７４の作用によって、演者７５とビームスプリッタ７４との間の結像面７８に、虚像として表示される。結像面７８は、破線で示すように、スクリーンのような実体を伴わないものである。

結像面７８の位置は、ビームスプリッタ７４と虚像投影面５０との配置によって自ずと決まる。虚像投影面５０に映された虚像情報は、ビームスプリッタ７４の作用によって、観客席７６から見ると、結像面７８の位置に虚像として存在しているかのように見える。

この虚像を投影する方法は周知である（例えば、特願平９−５１２３５０号公報）。よて、虚像を投影する原理についての詳しい説明は省略する。

虚像表示システム１は、虚像投影面５０に虚像情報を映すために、実像座標取得部１０、実像前後判定部２０、及び画像処理部３０を備える。ここで、虚像表示システム１の動作フローを示す図３も参照する。

実像座標取得部１０は、投影環境における物体の３次元座標を取得する（ステップＳ１）。投影環境における物体とは、舞台７３の上の例えば演者７５や舞台セットの実像のことである。以降において、投影環境における物体を、実像と称する。３次元座標は、例えば、深度センサ、距離画像カメラ、及びＧＰＳの何れかを用いて取得できる。

深度センサは、赤外線カメラで深度画像を撮影し、深度画像から被写体までの距離を得るものである。深度画像は、例えば近いところは明るい色、遠いところは暗い色で表現した輝度画像である。この輝度画像とＲＧＢカメラで撮影したＲＧＢ画像とを組み合わせることで、被写体の深度方向の座標情報を取得する。

また、距離画像カメラは、例えば近赤外線ＬＥＤの高速光源とイメージセンサを用いたものである。距離画像カメラは、被写体に投光した光が反射して戻る時間を測定することで距離画像イメージを取得する。また、ＧＰＳ（衛星測位システム、Global Positioning System）を用いて深度方向の座標情報を取得する。

また、投影環境に赤外線発光器を配置して、その光から深度方向の座標情報を取得するようにしても良い。図４に、投影環境に複数の赤外線発光器を配置した例を示す。図４は、舞台７３を平面視した平面図であり、一列４個の赤外線発光器が、舞台７３の天井７１の部分に３列配置されている。赤外線発光器７９Ｂ１〜７９Ｂ４の一列を中心に、両側に赤外線発光器７９Ａ１〜７９Ａ４の列と、赤外線発光器７９Ｃ１〜７９Ｃ４の列とが配置されている。各列を構成する赤外線発光器の間隔は、等間隔である。このように配置した赤外線発光器の発光量を、例えば奥行き方向に変化させることで、物体の反射光から深度方向の座標情報を取得することができる。

以上例示した方法で取得した深度方向の座標情報と、観客席７６側から投影環境を撮影装置で撮影した画像情報とから、舞台７３上における実像の３次元座標が得られる。なお図１において、撮影装置の表記は省略している。

実像前後判定部２０は、実像座標取得部１０で取得した３次元座標に基づいて、実像の位置が、結像面７８より観客席７６側であるか否かを判定する（ステップＳ２）。結像面７８の位置は、ビームスプリッタ７４と虚像投影面５０との配置によって決まるので、予め実像前後判定部２０に設定しておく。

図５に、実像が、虚像よりも観客席７６側に配置された場合を模式的平面図で示す。実像□が虚像●の前に配置されると、実像□の後ろに虚像●を配置したくても実像□の表面に虚像●が映ってしまう。

画像処理部３０は、実像が結像面７８よりも観客席７６側にある場合で、且つ結像面７８における虚像の領域と、実像を含む結像面７８と平行な２次元平面上の実像の領域とが重畳している場合に、虚像から重畳している部分を取り除いた虚像情報を生成する（ステップＳ４）。ここで、実像を含む結像面７８と平行な２次元平面とは、例えば物体の重心における２次元平面で有っても良いし、実像の最も観客席７６側の一点を含む２次元平面で有っても良い。又は、実像の最も結像面７８側の一点を含む２次元平面で有っても良い。

画像処理部３０が生成した虚像情報は、虚像投影部４０から虚像投影面５０に投影される。虚像投影面５０に投影された重畳部分が取り除かれた虚像情報は、結像面７８に虚像として表示されるので、実像の表面に虚像は映らない。

以上説明したように動作する虚像表示システム１によれば、舞台７３上の演者７５や舞台セット等の実像が、結像面７８よりも前に配置された場合に、その実像の表面に虚像を映さない。したがって、実像と虚像の前後関係を正しく表現できる。なお、虚像表示システム１の実像座標取得部１０と実像前後判定部２０と画像処理部３０とは、1個の虚像表示装置として構成しても良い。

本実施形態は、投影環境における虚像の位置は固定で、実像が虚像の前に有る場合に、実像と虚像の重畳部分を削除した虚像情報を生成する例で説明を行った。なお、他の実施形態も考えられる。次に、投影環境に投影した虚像の撮影環境における位置と、投影環境における実像の位置の関係を考慮した第２実施形態について説明する。

〔第２実施形態〕
図６に、第２実施形態に係る虚像表示システム２の構成例を示す。図６は、虚像表示システム２を、例えば講演会場に配置し、その講演会場を横方向から見た模式的側面図である。

虚像表示システム２は、虚像表示システム１（図１）に対して虚像座標記憶部６０を備える点で異なる。虚像座標記憶部６０は、撮影環境における虚像の３次元座標、又は、演出の脚本（シナリオ）に合わせて予め作成した３次元座標を記憶する。

図７を参照して撮影環境と投影環境について説明する。図７（ａ）は撮影環境を、図７（ｂ）は投影環境である舞台７３を、それぞれ平面視した図である。虚像を●、実像を□で表記する。このように、両者が対象にする範囲は、例えば舞台７３で共通である。

虚像●は、結像面７８に表示される。したがって、観客席７６から見える虚像の舞台７３の奥行き方向の位置は固定である。しかし、演出上、実像□の前に虚像●を配置したい場合や、実像□を虚像●の後ろに配置したい場合がある（以降、□●の表記省略）。

例えば、図７に示すαは、実像が結像面７８の後にある場合に、虚像を実像の前に配置したい場合である。この場合は、虚像が実像の前にあるように見せたいが、虚像が実像の前に映る。よって、画像処理部３０による虚像情報の加工は不要である。

βは、実像が結像面７８の前にある場合に、虚像を実像の後ろに配置したい場合である。この場合は、虚像が実像の後ろにあるように見せたくて、虚像が実像の後ろにある。よって、画像処理部３０は、虚像と実像の重畳部分を削除した虚像情報を生成する。

γは、実像が結像面７８の後にある場合に、虚像を実像の後ろに配置したい場合である。この場合、画像処理部３０は、βと同様に虚像と実像の重畳部分を削除した虚像情報を生成する。なお、実像が結像面７８の前にある場合に虚像を実像の前に配置したい場合は、本実施形態の対象外として省略する。

図８に、虚像表示システム２の動作フローを示す。実像座標取得部１０は、投影環境における実像の３次元座標を取得する（ステップＳ１）。実像の３次元座標は、第１実施形態と同じ方法で取得する。

実像前後判定部２０は、実像座標取得部１０で取得した実像の３次元座標に、虚像座標記憶部６０に記憶された虚像の３次元座標をマッピングする（ステップＳ２）。そして、実像と虚像の前後関係を判定する（ステップＳ３）。

画像処理部３０は、実像が結像面７８よりも観客席７６側にある場合で、且つ結像面７８における虚像の領域と、実像を含む結像面７８と平行な２次元平面上の実像の領域とが重畳している場合に、虚像から重畳している部分を取り除いた虚像情報を生成する（ステップＳ４）。実像が虚像の後ろにある場合、画像処理部３０は、虚像情報を加工しないでそのまま出力する。ステップＳ１〜Ｓ４の処理は、虚像の表示を終了するまで繰り返される（ステップＳ５のＮＯ）。

以上説明したように、撮影環境における虚像の３次元座標と、実像座標取得部１０で取得した実像の３次元座標と、又は、演出の脚本（シナリオ）に合わせて予め作成した３次元座標とを比較することで、実像と虚像の前後関係を正しく表現した虚像情報を生成することができる。

〔変形例〕
虚像情報を生成するに当たって、観客の視線、及び実像と虚像の位置関係を考慮しても良い。観客の視線によって、実像と虚像の重複部分は異なる。したがって、観客の視線を検出し、視線を考慮して虚像情報を加工するようにしても良い。

図９に、観客の視線も考慮するようにした変形例の虚像表示システムの構成例を示す。変形例の虚像表示システムは、虚像表示システム１（図１）に対して、カメラ６５と視線検出部６６を備える点で異なる。

カメラ６５は、舞台７３側から観客席７６を撮影するカメラである。視線検出部６６は、観客７７の視線情報を検出する。視線情報の検出には、周知の視線計測技術を用いることができる。画像処理部３０は、視線検出部６６で検出した視線情報を用いて虚像情報を生成する。

観客７７の視線を考慮して虚像情報を加工することで、より自然な虚像を表示することができる。

以上説明したように本実施形態の虚像表示システムによれば、実像と虚像の前後関係を正しく表現したオクルージョン表現を実現できる。したがって、実像と虚像による自然なコミュニケーションを演出できる。

なお、本実施の形態は、例示した講演会場に舞台７３を備える例で説明を行ったが、舞台７３は無くても良い。また、ビームスプリッタ７４は、舞台７３の全面をほぼ覆う大きさの例を示したが、舞台７３の一部に配置する小型なもので有っても良い。

また、虚像投影面５０に、虚像投影部４０から虚像情報を投影する例で説明を行ったが、虚像投影部４０は無くても良い。虚像投影面５０を、例えば表示パネルで構成し、虚像投影面５０が自ら虚像情報（画像）を表示するようにしても良い。つまり、虚像投影部４０は無くても良い。

このように本発明は、上記の実施の形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。

１、２：虚像表示システム
１０：実像座標取得部
２０：実像前後判定部
３０：画像処理部
４０：虚像投影部
５０：虚像投影面
６０：虚像座標記憶部
６５：カメラ
６６：視線検出部
７１：天井
７２：床
７３：舞台
７４：ビームスプリッタ
７５：演者
７６：観客席
７７：観客
７８：結像面
７９Ａ１〜７９Ｃ４：赤外線発光器

Claims

複数の観客が観察する投影環境に虚像を投影する虚像表示システムにおいて、
観客席から離れた前方の位置にある前記投影環境における物体の３次元座標を、前記投影環境を撮影装置で撮影した画像情報から取得する実像座標取得部と、
前記３次元座標に基づいて、前記物体の位置が、前記虚像の結像面より観客席側であるか否かを判定する実像前後判定部と、
前記物体が前記結像面よりも観客席側にある場合で、且つ前記結像面における前記虚像の領域と、前記物体を含む前記結像面と平行な２次元平面上の前記物体の領域とが重畳している場合に、前記虚像から前記重畳している部分を取り除いた虚像情報を生成する画像処理部と、
前記投影環境の天井側の奥行方向に等間隔で複数列配置され、前記奥行方向で発光量が異なる複数の赤外線発光器と
を備え、
前記実像座標取得部は、前記画像情報に含まれる前記物体で反射する前記赤外線発光器の光の強度から当該物体の前記奥行方向の座標情報を取得する
ことを特徴とする虚像表示システム。
複数の観客が観察する投影環境に虚像を投影する虚像表示システムにおいて、
観客席から離れた前方の位置にある前記投影環境における物体の３次元座標を、前記投影環境を撮影装置で撮影した画像情報から取得する実像座標取得部と、
演出の脚本に合わせて予め作成した前記虚像の３次元座標を記憶した虚像座標記憶部と、
前記物体の３次元座標と、前記虚像の３次元座標とを比較して、前記物体の３次元座標が前記虚像の３次元座標よりも観客席側であるか否かを判定する実像前後判定部と、
前記物体の３次元座標が前記虚像の３次元座標よりも観客席側にある場合で、且つ前記虚像の結像面における虚像の領域と、前記物体を含む前記結像面と平行な２次元平面上の前記物体の領域とが重畳している場合に、前記結像面の位置が前記物体の３次元座標より前であるか否かに関わらず、前記虚像から前記重畳している部分を取り除いた虚像情報を生成する画像処理部と、
前記投影環境の天井側の奥行方向に等間隔で複数列配置され、前記奥行方向で発光量が異なる複数の赤外線発光器と
を備え、
前記実像座標取得部は、前記画像情報に含まれる前記物体で反射する前記赤外線発光器の光の強度から当該物体の前記奥行方向の座標情報を取得する
ことを特徴とする虚像表示システム。
前記結像面における前記虚像の領域と、前記物体を含む前記結像面と平行な２次元平面上の前記物体の領域とが重畳しているか否かの判定は、前記投影環境の方向を撮影する撮影装置で撮影した画像情報を用いて行うことを特徴とする請求項１又は２に記載した虚像表示システム。
観客の視線を検出して視線情報を出力する視線検出部を備え、
前記画像処理部は、前記視線情報を用いて前記虚像情報を生成することを特徴とする請求項１乃至３の何れかに記載した虚像表示システム。
虚像表示システムが行う複数の観客が観察する投影環境に虚像を投影する虚像表示方法であって、
観客席から離れた前方の位置にある前記投影環境における物体の３次元座標を、前記投影環境を撮影装置で撮影した画像情報から取得し、
前記３次元座標に基づいて、前記物体の位置が、前記虚像の結像面より観客席側であるか否かを判定し、
前記物体が前記結像面よりも観客席側にある場合で、且つ前記結像面における前記虚像の領域と、前記物体を含む前記結像面と平行な２次元平面上の前記物体の領域とが重畳している場合に、前記虚像から前記重畳している部分を取り除いた虚像情報を生成し、
前記投影環境の天井側の奥行方向に等間隔で複数列配置された赤外線発光器から、前記奥行方向で発光量が異なる複数の赤外光を発光し、
前記物体の３次元座標は、前記画像情報に含まれる前記物体で反射する前記赤外線発光器の光の強度から当該物体の前記奥行方向の座標情報を取得する
ことを特徴とする虚像表示方法。
虚像表示システムが行う複数の観客が観察する投影環境に虚像を投影する虚像表示方法であって、
観客席から離れた前方の位置にある前記投影環境における物体の３次元座標を、前記投影環境を撮影装置で撮影した画像情報から取得し、
前記物体の３次元座標と、演出の脚本に合わせて予め作成した前記虚像の３次元座標とを比較して、前記物体の３次元座標が前記虚像の３次元座標よりも観客席側であるか否かを判定し、
前記物体の３次元座標が前記虚像の３次元座標よりも観客席側にある場合で、且つ前記虚像の結像面における虚像の領域と、前記物体を含む前記結像面と平行な２次元平面上の前記物体の領域とが重畳している場合に、前記結像面の位置が前記物体の３次元座標より前であるか否かに関わらず、前記虚像から前記重畳している部分を取り除いた虚像情報を生成し、
前記投影環境の天井側の奥行方向に等間隔で複数列配置された赤外線発光器から、前記奥行方向で発光量が異なる複数の赤外光を発光し、
前記物体の３次元座標は、前記画像情報に含まれる前記物体で反射する前記赤外線発光器の光の強度から当該物体の前記奥行方向の座標情報を取得する
ことを特徴とする虚像表示方法。