JP6411244B2 - 映像提示方法及び映像提示装置 - Google Patents

Description

本発明は、映像提示方法及び映像提示装置に関する。

バーチャルリアリティ（人工現実感）やテレイグジスタンス（遠隔臨場感）の技術分野においては、頭部搭載型ディスプレイ（ＨＭＤ：Head Mounted Display）により、観察者にＣＧ（Computer Graphics）で作られた空間や遠隔の空間に没入したかのような感覚で映像を提示する技術が確立されている。

このような技術においては、観察者の頭部の動きをセンサで検知し、その動きに応じて提示する映像を適切に変化させることが特徴となっている。このような映像提示方法は、実際の世界において頭部を動かしたときの視覚の変化と同一であるため、観察者にとって自然で直感的であると言える（例えば、特許文献１参照）。

しかし、現実の世界と同様な体験となるため、現実世界と同様な制約を持ち、必ずしも利便性や視点移動の自由度が高いとは言えない。このようなシステムにおいて観察者が自身を中心に頭部を回転させた場合、観察者を中心として見回したかのような映像が提示される。つまり、見回しをする中心となる視点は同一であり、視野として切り取られる映像が変化することになる。

そして、同一視点からの見回しではなく、もし視点を移動させたい場合には、並進移動をして視点を変化させる必要があり、広い空間を体験するためにはそれに相当する頭部の並進移動が必要となる。

例えば、広大な競技場の中にいる被写体を様々な方向から観察したい場合、観察する地点の距離に応じた移動をする必要があり、限られた空間内（家庭のリビング等）では実現することができない。

一方、別途、ゲーム端末で使われているようなコントローラを用いて移動を入力することも可能ではあるが、頭部の動き以外の操作が加わるため、頭部搭載型ディスプレイによる直感的な操作感のメリットを減少させてしまう。

特開昭５７−１２１４８７号公報

前述したように、従来の頭部搭載型の映像提示方法にあっては、一部の制約によって使い勝手が良くなかったり、臨場感を低下させてしまうという問題がある。

本発明は、このような事情に鑑みてなされたもので、頭部搭載型映像提示方法において、観察者の頭部動作により簡便に臨場感を向上させることができる映像提示方法及び映像提示装置を提供することを目的とする。

本発明は、観察者の実空間における頭部の動作を計測する頭部動作計測ステップと、計測した前記頭部の動作から観察者に対して提示している映像空間における視点の位置及び視線の方向を算出する視点位置・視線方向算出ステップと、算出した前記視点位置・視線方向に基づいて映像に映っている被写体を中心として前記観察者の視点位置・視線方向を仮想的に移動した映像を生成する映像生成ステップと、生成した前記映像を観察者に提示する映像提示ステップとを有することを特徴とする。

本発明は、前記映像生成ステップでは、前記観察者が着目している被写体を特定し、特定された被写体を中心として移動した映像を生成することを特徴とする。

本発明は、前記映像生成ステップでは、前記観察者の実空間における動作または観察者の選択に応じて所定の映像から当該映像に映っている被写体を中心として移動した映像か、観察者を中心として移動した映像かを選択して生成することを特徴とする。

本発明は、前記映像生成ステップでは、前記観察者の実空間における動作に基づいて生成する映像を選択する場合に、当該動作から算出される並進移動成分が所定の値より大きい場合には、被写体を中心として移動する映像を生成することを特徴とする。

本発明は、前記映像生成ステップでは、前記観察者の実空間における動作に基づいて生成する映像を選択する場合に、事前に観察者の実空間における動作を計測したデータを元に機械学習し、前記頭部動作計測ステップにより計測した動作とを用いて選択することを特徴とする。

本発明は、観察者の実空間における頭部の動作を計測する頭部動作計測手段と、計測した前記頭部の動作から観察者に対して提示している映像空間における視点の位置及び視線の方向を算出する視点位置・視線方向算出手段と、算出した前記視点位置・視線方向に基づいて映像に映っている被写体を中心として前記観察者の視点位置・視線方向を仮想的に移動した映像を生成する映像生成手段と、生成した前記映像を観察者に提示する映像提示手段とを備えることを特徴とする。

本発明によれば、あたかも被写体の周囲を回り込んだかのような映像を体験することができるため、観察者の頭部動作により簡便に臨場感を向上させることができるという効果が得られる。

本発明の第１実施形態の構成を示すブロック図である。 図１に示す映像提示装置が映像を提示する動作を示すフローチャートである。 観察者の視点位置に応じた透視投影映像（両眼）の例を示す図である。 観察者の視点位置に応じた透視投影映像（単眼）の例を示す例である。 観察者中の回転による映像の提示例を示す図である。 被写体中心の回転による映像の提示を行う例を示す図である。 被写体が複数ある場合の被写体中心回転の例を示す図である。 本発明の第３実施形態の構成を示すブロック図である。

＜第１実施形態＞
以下、説明のため、観察者が実際に存在する空間を実空間、観察者が頭部搭載型ディスプレイを装着することにより没入したかのような感覚を得ている空間を映像空間と呼ぶ。本実施形態の頭部搭載型ディスプレイを装着した観察者に、例えば頭を左右に振ったときには、左右を向いたかのような映像を提示するのではなく、左右に回り込んだかのような映像を提示することができる。

以下、図面を参照して、本発明の第１実施形態による映像提示装置を説明する。図１は同実施形態の構成を示すブロック図である。実空間で観察者Ｈは頭部搭載型ディスプレイ１を装着し、映像空間を観察する。図１においては、観察者Ｈと頭部搭載型ディスプレイ１が離れて図示されているが、実際には、図１に示す頭部搭載型ディスプレイ１は、観察者Ｈの頭部に装着される。頭部搭載型ディスプレイ１は映像提示部１１と頭部動作計測部１２を備える。映像提示部１１は例えばレンズやプリズムなどの光学系結像部１１１と、液晶や有機ＥＬなどによるディスプレイパネルによる映像表示部１１２により構成される。映像提示部１１は、観察者Ｈの両眼に同一の映像を提示する形態も可能であるし、観察者の両眼に異なる映像（視差映像）を提示し、立体感を提示する形態も可能である。

頭部動作計測部１２は例えば、ジャイロセンサや加速度センサなど頭部搭載型ディスプレイ１に内蔵させることにより実現することもできるし、外部から光や電磁波を照射し、その反射や吸収を計測することで実現してもよい。

映像生成部１３は、観察者Ｈの映像空間中における視点の位置に応じた映像を生成する。観察者Ｈに提示する映像はコンピュータグラフィクス（ＣＧ）により生成しても、実写を撮影しても、実写を元に生成してもよい。

コンピュータグラフィクスで生成する場合は、例えばポリゴンモデルと呼ばれる幾何的なモデルをコンピュータ内の映像空間に配置し、観察者の視点における透視投影映像をレイトレーシングと呼ばれる技術により生成することができる。

実写を撮影する場合は、例えばロボットアームに搭載したカメラを観察者の動きに合わせて動かし、映像を撮影する。実写を元に生成する場合は、例えば複数の視点位置で十分な数の映像を撮影しておき、観察者の動きに合わせて提示する映像を切り替える。視点の距離が離れている場合は、モーフィング(morphing) と呼ばれる技術により撮影された視点の間の視点の映像を補完して生成することができる。

また、例えば参考文献１に示された方法を用いることができる。
参考文献１：國田 豊、橋本 秋彦、陶山 史朗：仮想視点画像生成方法及び３次元画像表示方法並びに装置、特許第４０５２３３１号公報

次に、図２を参照して、図１に示す映像提示装置の動作を説明する。図２は、図１に示す映像提示装置が映像を提示する動作を示すフローチャートである。まず、頭部動作計測部１２は、観察者Ｈの頭部の動作を計測し、頭部動作データを得る（ステップＳ１）。

次に、頭部動作計測部１２は、頭部動作データを元に、観察者Ｈの映像空間中における視点の座標と視線の方向を算出する（ステップＳ２）。一般的に、観察者Ｈの視点位置は（Ｘ，Ｙ，Ｚ）、視線方向は（α，β，γ）のように６つのパラメータにより表され、その値は内部メモリに保持される。

次に、映像生成部１３は、観察者Ｈの視点から見た映像空間内の被写体の映像を生成する（ステップＳ３）。映像生成部１３に詳細については、後述する。

次に、映像提示部１１は、観察者Ｈに映像を提示する（ステップＳ４）。提示にあたっては映像表示部１１２に映像を表示し、その映像を光学系結像部１１１により観察者の眼球内の網膜に結像させる。

以上の処理動作を繰り返すことで、観察者Ｈの頭部の動作に応じた連続的な映像を観察者に提示することができる。その繰り返し周期は人間の視覚特性により決定され、通常はテレビモニタと同様に３０Ｈｚ〜１２０Ｈｚの周期が用いられるが、ここではその限りではない。

次に、図２に示すステップＳ３における映像生成部１３による映像の生成方法について詳細を説明する。映像生成部１３により生成される映像は、映像空間中での観察者Ｈの視点位置に応じた映像である。生成される映像は、現在観察者Ｈに提示している映像を元にして生成してもよい。また、予めいくつかの視点位置で撮影をしておき、それを切り替えて表示してもよい。

すなわち、図３に示すように、観察者の映像空間における左眼、右眼の位置を中心とした透視投影映像を提示する。図３は、観察者の視点位置に応じた透視投影映像（両眼）の例を示す図である。

なお、この提示映像としては、投影等映像にさらに補正を加えてもよい。このような変換の例として、光学系結像部１１１（レンズなど）の収差特性に応じて補償する変換、例えばレンズの樽型歪みを補償するための糸巻き型変換や色収差を補正するための変換などがある。

また、前述した説明では両眼に異なる映像を提示する例について述べたが、両眼に同一の単眼映像を提示することもできる。このような場合、両眼視差による立体感は損なわれるが、頭部の移動に伴う運動視差による立体感は提示することができる。すなわち図４に示すとおり、両眼を代表する１点、例えば両眼の間の位置や頭部の回転中心を投影中心として透視投影映像を生成する。図４は、観察者の視点位置に応じた透視投影映像（単眼）の例を示す例である。

以下では簡単のため、単眼映像の場合において説明をするが、単眼映像の場合に限定するものではない。

ここからは従来の技術と比較し、頭部の回転動作に応じて提示する映像を生成する方法について説明する。従来技術においては、頭部の回転動作に応じて、観察者Ｈを中心に回転した映像を観察者に提示する。図５を参照して従来技術の概要を説明する。図５は、観察者中の回転による映像の提示例を示す図である。

実空間中にて観察者Ｈの位置は座標系（Ｘ_Ｒ，Ｙ_Ｒ，Ｚ_Ｒ）にて表わされている。映像空間中にて観察者の位置は座標系（Ｘ_Ｖ，Ｙ_Ｖ，Ｚ_Ｖ）にて表され、被写体は座標系（Ｘ_Ｐ、Ｙ_Ｐ、Ｚ_Ｐ）にて表されている。図中、Ｚ_ＰはＸ_ＰおよびＹ_Ｐに対して鉛直方向に伸びており、同様に、Ｚ_ＶはＸ_ＶおよびＹ_Ｖに対して鉛直方向に伸び、Ｚ_ＲはＸ_ＲおよびＹ_Ｒに対して鉛直方向に伸びているものとする。

従来技術においては、実空間で観察者ＨがＺ_Ｒ軸回りの回転動作をした場合（図５の（ａ）から（ｂ）に変化した場合）、対応する映像空間においてもＺ_Ｖ軸回りの回転をする。このとき、観察者Ｈに提示される映像は、図５に示すとおり、観察者Ｈを中心として見回した映像が提示されることになる。

一方、本実施形態においては観察者Ｈの頭部の回転動作に応じて、被写体を中心に回転した映像を観察者に提示する。図６は、被写体を中心とした回転による映像の提示を行う例を示す図である。図６に示すとおり、実空間で観察者がＺ_Ｒ軸回りの回転動作をした場合、対応する映像空間においては観察者Ｈを中心としてではなく、被写体を中心としてＺ_Ｐ軸回りに回転する。すなわち、被写体を中心としてあたかも被写体の周囲を移動したかのように映像を表示する際に、頭部の回転角度に比例して被写体を中心として何度回転するかを決定する。

そうすると、映像空間においては被写体を中心として観察者Ｈが右へ移動（図６（ａ）から（ｂ）へ移動）し、被写体を中心に回り込んだような映像を観察者に提示することができる。このような提示をすることで、観察者Ｈは実空間中で大きく頭部を動作させることなく、簡単な回転動作のみで映像空間中の被写体を回り込んだような映像を観察することができる。

以上、特定の座標系における特定の回転軸での頭部回転動作において説明をしたが、本実施形態は特定の座標系の設定について限定するものではなく、また、特定の回転軸にも限定するものではない。

また、本実施形態で説明した回転動作は厳密に被写体を中心とした回転移動である必要はなく、臨場感の高い映像効果を狙い、並進移動成分を加えるようにしてもよい。

＜第２実施形態＞
次に、本発明の第２実施形態による映像提示装置を説明する。本実施例においては、被写体が複数ある場合、どの被写体を中心とした映像を提示するかを決定することができる。図７は、被写体が複数ある場合の被写体中心回転の例を示す図である。図７に示すように、第１実施形態のとおり、観察者Ｈの頭部回転に伴い被写体Ａの中心とした回転をした場合（図７（ａ）参照）、被写体Ｂが視野から外れてしまう（図７（ｂ）参照）。もしくは、視野から外れないまでも、映像の中心から外れた場所に提示される。

第２実施形態においては、被写体の選択部を有することで、観察者の所望の被写体を中心として頭部回転に伴う視点移動をすることができる。このようなとき、被写体Ｂを観察する被写体として選択することで、観察者の頭部の回転に応じ、被写体Ｂを中心として回り込んだような映像を提示することができる。

被写体の選択部の例としては、例えば提示画面上を移動できるカーソルを表示し、所望の被写体上カーソルを合わせた状態で選択動作をすることで可能である。

選択動作の検出部は、マウス、キーボード、操作パネルのクリック動作などにより実現可能であるほか、眼球付近の筋電位や眼球動作をカメラで撮影することで瞬きを検出するなどにより実現可能である。

また、明示的にカーソルを表示せずとも、視野の中心をカーソル位置とすることや、視線検出装置により検出した視線位置をカーソル位置とすることもできる。

また、ワンドと呼ばれる杖状のコントローラにより被写体を指し示すことで選択をすることも可能である。

また、サッカー競技などを観戦する場合には、ボールを持っているプレイヤーなど着目を集めるであろう被写体を推定することにより、被写体を選択することができる。

＜第３実施形態＞
次に、本発明の第３実施形態による映像提示装置を説明する。前述の第１実施形態および第２実施形態においては、観察者Ｈの頭部の回転動作により被写体を中心とした映像の提示に限定していた。

これに対して本実施形態では、観察者を中心とした回転をする観察者中心映像を提示する状態と、被写体を中心とした回転をする被写体中心映像を提示する状態とを切り替えて提示する。

図８は、本実施形態による映像提示装置の構成を示すブロック図である。図１に示す構成に加え、観察モード切替部１４を備え、この観察モード切替部１４により、観察者中心モードと被写体中心モードを切り替える。

観察者中心モードにおいては、第１実施形態の図５に示したとおり、頭部回転に応じて、観察者を中心とした回転をした映像を観察者に提示する。一方、被写体中心モードにおいては、第２実施形態の図６に示したとおり、頭部回転に応じて、被写体を中心とした回転をした映像を観察者に提示する。

観察モード切替部１４は、例えば２つの状態を切り替えるスイッチにより実現できる。また、物理的なスイッチを用いずとも、観察者のまばたきを検出するごとに２つの状態を切り替えることや、ある被写体を一定時間以上凝視していることを検出することで被写体中心モードに切り替え、被写体への凝視が終了したことを検出することで観察者中心モードに切り替えるなどにより実現できる。

凝視の検出は、一定時間、眼球が静止していることを眼球付近の筋電位により検出したり、カメラを用いて画像処理により検出したりすることで実現できる。

＜第４実施形態＞
次に、本発明の第４実施形態による映像提示装置を説明する。本実施例においては、第３実施形態のように観察者Ｈ自身が回転動作のモードの明示的な切り替えを指示するのではなく、観察者の動きに応じて映像提示装置が観察者の意図を判別し、モードレスに観察者を中心とした映像提示と被写体を中心とした映像提示とを行う。

第１実施形態と同様、観察者の実空間における動作の回転成分はジャイロセンサ、並進成分は加速度センサにより検知することができる。

このようにして検出した観察者Ｈの動作をもとに求めた観察者Ｈの実空間での視点位置を以下では観察者の視点位置を（Ｘ_Ｒ，Ｙ_Ｒ，Ｚ_Ｒ）、視線の方向を（α、β、γ）として表すものとする。

そして、ある一定時間内でのこれらのパラメータの変位を（ΔＸ_Ｒ、ΔＹ_Ｒ，ΔＺ_Ｒ）および（Δα、Δβ、Δγ）で表す。

通常、観察者Ｈを中心とした見回し動作では並進移動成分が少なく、一方で被写体を中心としてのぞき込む動作では並進移動成分が大きい。

そのため、並進移動成分がある一定値を超えた場合に被写体中心モードと判定するならば、例えば、閾値δを設定し、
｜ΔＸ_Ｒ｜＋｜ΔＹ_Ｒ｜＋｜ΔＺ_Ｒ｜＞δ
を判別条件とすることができる。

また、絶対的な閾値ではなく、回転移動成分との相対的な大きさにより判別するならば、例えば係数ｋを設定し、
｜ΔＸ_Ｒ｜＋｜ΔＹ_Ｒ｜＋｜ΔＺ_Ｒ｜＞ｋ（｜Δα｜＋｜Δβ｜＋｜Δγ｜）
を判別条件とすることができる。

ただし、本実施形態では上記２式に限定するものではなく、また、見回し動作に並進成分が少ないという仮定に限定するものではない。

＜第５実施形態＞
次に、本発明の第５実施形態による映像提示装置を説明する。本実施形態においても、第４実施形態のように観察者Ｈ自身が明示的に回転動作の切り替えを指示せずともモードレスに観察者中心モードと被写体中心モードを自動的に判別し、両者の切り替えを行うものである。

しかし、第４実施形態とは異なり、判別のパラメータやアルゴリズムを明示的に与える必要がなく、判別を機械学習による判別器により行う。

そうすることで観察者の動作の意図とその際に行われる頭部動作とを学習し、判別の正確性が増すことができる。

また、観察者ごとにデータを学習することで、観察者の動きの違いに対応してモードの切り替え判別を行うことができる。

機械学習用のパラメータは、観察者の動きを計測したデータを用いることができ、例えば前述の実施例４で用いた６つのパラメータの変位（ΔＸ_Ｒ，ΔＹ_Ｒ，ΔＺ_Ｒ）および（Δα、Δβ、Δγ）を用いる。

また、教師データは、観察者が観察者中心モードでの動作を意図していたか、被写体中心モードでの動作を意図していたかのデータであり、観察者にどちらかを意図して動作するように指示するか、観察者がどちらかを意図して動作した後にどちらを意図していたかを答えさせることで得ることができる。

以上説明したように、頭部搭載型ディスプレイに表示する映像の生成する際に、観察者の頭部の動作から、観察者を中心に移動する映像を生成するだけでなく、被写体を中心に移動する映像を生成することにより、被写体の周囲を回り込んだかのような映像を提供することができる。

この構成によれば、頭部搭載型ディスプレイにおいて、簡便な頭部の動作により被写体を外側から回り込んで観察するような被写体中心映像を観察者に提示することができ、また、そのような被写体中心映像と観察者を中心として見回したかのような観察者中心映像とを直感的に切り替えて提示することが可能となる。

前述した実施形態における映像提示装置の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

頭部搭載型映像提示方法において、観察者の頭部動作により簡便に臨場感を向上させることが不可欠な用途にも適用できる。

Ｈ・・・観察者、１・・・頭部搭載型ディスプレイ、１１・・・映像提示部、１１１・・・光学系結像部、１１２・・・映像表示部、１２・・・頭部動作計測部、１３・・・映像生成部、１４・・・観察モード切替部

Claims (4)

1. 観察者の実空間における頭部の動作を計測する頭部動作計測ステップと、
   計測した前記頭部の動作から観察者に対して提示している映像空間における視点の位置及び視線の方向を算出する視点位置・視線方向算出ステップと、
   算出した前記視点位置・視線方向に基づいて映像に映っている被写体を中心として前記観察者の視点位置・視線方向を仮想的に移動した映像を生成する映像生成ステップと、
   生成した前記映像を観察者に提示する映像提示ステップと
   を有し、
   前記映像生成ステップでは、
   前記観察者の実空間における動作または観察者の選択に応じて所定の映像から当該映像に映っている被写体を中心として移動した映像か、観察者を中心として移動した映像かを選択して生成し、
   前記映像生成ステップでは、
   前記観察者の実空間における動作に基づいて生成する映像を選択する場合に、当該動作から算出される並進移動成分が所定の値より大きい場合には、被写体を中心として移動する映像を生成することを特徴とする映像提示方法。
2. 前記映像生成ステップでは、
   前記観察者の実空間における動作に基づいて生成する映像を選択する場合に、事前に観察者の実空間における動作を計測したデータを元に機械学習し、前記頭部動作計測ステップにより計測した動作とを用いて選択することを特徴とする請求項１に記載の映像提示方法。
3. 観察者の実空間における頭部の動作を計測する頭部動作計測手段と、
   計測した前記頭部の動作から観察者に対して提示している映像空間における視点の位置及び視線の方向を算出する視点位置・視線方向算出手段と、
   算出した前記視点位置・視線方向に基づいて映像に映っている被写体を中心として前記観察者の視点位置・視線方向を仮想的に移動した映像を生成する映像生成手段と、
   生成した前記映像を観察者に提示する映像提示手段と
   を備え、
   前記映像生成手段は、
   前記観察者の実空間における動作または観察者の選択に応じて所定の映像から当該映像に映っている被写体を中心として移動した映像か、観察者を中心として移動した映像かを選択して生成し、
   前記映像生成手段は、
   前記観察者の実空間における動作に基づいて生成する映像を選択する場合に、当該動作から算出される並進移動成分が所定の値より大きい場合には、被写体を中心として移動する映像を生成することを特徴とする映像提示装置。
4. 前記映像生成手段は、
   前記観察者の実空間における動作に基づいて生成する映像を選択する場合に、事前に観察者の実空間における動作を計測したデータを元に機械学習し、前記頭部動作計測手段により計測した動作とを用いて選択することを特徴とする請求項３に記載の映像提示装置。
   

Images