JP7026213B2 - 仮想現実画像の提供方法及びこれを用いたプログラム - Google Patents

Description

本発明は、仮想現実画像の提供方法及びこれを用いたプログラムに関し、より詳細には、仮想現実コンテンツ内のオブジェクトに形状及び表面に符合するようにイメージを合成して提供する方法又はプログラムに関する。

仮想現実（ＶＲ；Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）とは、コンピュータにより生成された仮想の空間であって、３次元の視覚効果を通じて現実感を付与する空間のことをいう。仮想現実の実現のための技術は、ユーザの入力をリアルタイムで処理して現実世界にいるかのように感じられる技術であって、マルチメディアに勝る次世代技術である。

仮想現実環境は、ユーザに臨場感あふれる没入感を提供することによって、実在する物体をシミュレーションできるだけでなく、実際には存在しない物体や状況を体験可能とする。このような仮想現実環境は、多様な分野に適用することができる。例えば、自動車の設計やシミュレーション実験などの工学分野から医療分野、文化コンテンツ分野に至るまでまさに多様な分野で用いられている。

このような仮想現実（ＶＲ）は、見る観点に応じて仮想環境（Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔ）、仮想実在（Ｖｉｒｔｕａｌ Ｐｒｅｓｅｎｃｅ）、人工世界（Ａｒｔｉｆｉｃａｌ Ｗｏｒｌｄ）、仮想世界（Ｖｉｒｔｕａｌ Ｗｏｒｌｄ）、サイバースペース（Ｃｙｂｅｒ Ｓｐａｃｅ）といった用語で使われているが、一般に、コンピュータが創り出す実世界と類似する３次元の仮想世界をユーザに提供し、その仮想世界とリアルタイムで自由に操作できる入力手段と、ユーザの操作に応じて現実的感覚を提供する感覚フィードバック（Ｓｅｎｓｏｒｙ ｆｅｅｄｂａｃｋ）手段を提供することによって、人工的な体験と経験ができるようにする技術と言える。

一方、近年は移動端末をＶＲ装置に結合し、移動端末がＶＲ画像を生成するための情報処理を行った後、ＶＲ装置に伝達する方式が登場している。これは情報処理を行うコンピュータである移動端末と、再生するＶＲ装置とが有線で接続されるが、移動端末をＶＲ装置に結合できるため、ケーブルにより発生する不具合は解決できる。しかし、移動端末はＰＣに比べて高仕様のプログラムを駆動し難いため、高仕様のＶＲゲームを駆動したり、高解像度のＶＲ画像を再生したりすることが難しいという問題がある。

そこで、本発明は、上記事情に鑑みてなされたものであって、その目的は、仮想現実画像を生成するコンピュータ装置と仮想現実画像に表現されるべきコンテンツを生成する装置とを分離し、無線で高仕様の仮想現実画像を提供できることにある。

また、本発明は一実施例によって仮想現実画像内に存在する対象体の表面に表示されるべきコンテンツを最適の形状に変形してユーザに提供できる。

本発明が解決しようとする課題は、以上で言及した課題に制限されず、言及していない他の課題は、下記の記載から通常の技術者が明確に理解できるであろう。

本発明の一実施例による仮想現実画像の提供方法は、サーバから仮想現実画像データを受信して第１レイヤに割り当てる段階と、少なくとも１つのコントローラの制御情報を表示する第２レイヤを生成する段階と、前記少なくとも１つのコントローラの動作情報を受信し、前記動作情報に基づいて前記仮想現実画像データ内の所定のオブジェクトと前記制御情報の衝突地点を決定する段階と、前記衝突地点の法線ベクトルを考慮して変形された前記制御情報を含む結合データを前記第２レイヤに割り当てる段階と、前記第１レイヤ及び前記第２レイヤを合成して最終画像フレームを生成する段階と、を含むことができる。

他の実施例によって前記仮想現実データを受信して第１レイヤに割り当てる段階は、前記仮想現実画像データを複数のオーバーレイ項目に分割してそれぞれ別途のチャネル単位で受信する段階と、前記別途のチャネルを介して受信した複数のオーバーレイ項目を結合して複数の第１レイヤに割り当てる段階とを含むことができる。

更に他の実施例によって前記衝突地点を決定する段階は、第１チャネルを介して、前記衝突地点を決定するためのオブジェクトを含むオーバーレイ項目を受信する段階と、前記受信したオーバーレイ項目を用いて、前記クライアントで衝突地点を決定する段階と、前記衝突地点の法線ベクトルを決定する段階とを含むことができる。

別の実施例によって、仮想現実画像の提供方法の前記衝突地点を決定する段階は、前記コントローラの動作情報をサーバに伝送し、前記衝突地点及び法線ベクトルを要請する段階と、前記サーバで決定された前記仮想現実画像データ内の所定のオブジェクトと前記制御情報の衝突地点及び法線ベクトルを受信する段階とを含むことができる。

この他にも、本発明を実現するための他の方法、他のシステム及び前記方法を実行するためのコンピュータプログラムを記録するコンピュータで読み取り可能な記録媒体を更に提供できる。

前記のような本発明によれば、以下のような多様な効果を奏することができる。

一実施例によって、仮想現実画像フレームを無線で伝送することによる特定時点の画像フレームの欠落を補完できるため、ユーザは特定の画像フレームが受信されない場合にも、仮想現実空間の全体的な時点が揺れることなく、自然に画像を再生できる。

また、一実施例によって全体画像のうち１つのフレームのみ抽出して伝送するか、再生方向データに符合するフレームのみを生成して伝送することによって、無線方式で仮想現実画像コンテンツを提供する際にも、高解像度の画像を提供できるとともに、通信トラフィックを低減できる。

更に、一実施例によってユーザの動きに即時反応し、仮想現実画像のオブジェクトの表面に最適化したリアルタイム画像を提供できる。従って、仮想現実画像の現実感と没入感を向上させることができる。

また、一実施例によってネットワーク上の遅延によりフレームの欠落が発生する場合や仮想現実画像の補正時にも画像フレームの欠落を補完できるため、十字線（ｃｒｏｓｓｈａｉｒ）のようなイメージがユーザにより実際に指示される地点ではなく、他の地点に表示されるのを防止できる。

本発明の効果は、以上で言及した効果に制限されず、言及していない他の効果は、下記の記載から通常の技術者が明確に理解できるであろう。

一実施例による仮想現実画像提供システムの構成図である。 一実施例による仮想現実画像の提供方法に対する順序図である。 一実施例による仮想現実画像に制御情報を表示する一例を示す図である。 一実施例による法線ベクトルを活用する一例を示す図である。 一実施例による法線ベクトルを活用する一例を示す図である。 一実施例によって第１レイヤ及び第２レイヤを含む仮想現実画像の再生方法を示す図である。 本発明の一実施例による仮想現実画像の伝送方法に対する順序図である。 本発明の一実施例による最初の全体画像を基に生成された仮想現実画像フレームの伝送方法に対する順序図である。 本発明の一実施例によるクライアントの仮想現実画像の再生方法に対する順序図である。 第２最終画像フレームが欠落し、第２代替画像フレームが提供されない場合、クライアントを介してユーザに提供される画像の変化を示す例示図である。 本発明の一実施例によってクライアントで第１時点の画像方向データと第２時点の再生方向データの差値に基づいて生成した第２代替画像フレームの例示図である。 クライアントが移動する場合、最終画像フレームが欠落したフレームがなく順番通りに提供されることによる物体の位置変化を示す例示図である。 本発明の一実施例によってクライアントの移動程度を反映して第１最終画像フレームでそれぞれの物体の位置を補正した第２代替画像フレームを提供する例示図である。

以下、添付の図面を参照して本発明の好適な実施例を詳細に説明する。本発明の利点及び特徴、そしてそれらを達成する方法は、添付の図面と共に詳細に後述されている実施例を参照すれば明確になる。しかし、本発明は、以下に開示される実施例に限定されるものではなく、互いに異なる多様な形態で実現することができる。但し、本実施例は、本発明の開示を完全なものにし、本発明が属する技術分野における通常の知識を有する者に本発明の範疇を完全に理解させるために提供されるものであり、本発明は請求範囲の範疇により定義されるに過ぎない。明細書全体に亘って同一の参照符号は同一の構成要素を示す。

他の定義がなければ、本明細書で用いられる全ての用語（技術及び科学的用語を含む）は、本発明が属する技術分野における通常の知識を有する者が共通して理解できる意味として用いられることができる。また、一般に用いられる辞典に定義されている用語は、明白に特に定義されていない限り、理想的に又は過度に解釈されない。

本明細書で用いられた用語は、実施例を説明するためのものであり、本発明を制限しようとするものではない。本明細書において、単数形は特に言及しない限り複数形も含む。明細書で用いられる「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成要素以外の１つ以上の他の構成要素の存在又は追加を排除しない。

以下、図面を参照して本発明の実施例による仮想現実画像の送受信システムについて説明する。

図１は、本発明の一実施例による仮想現実画像の送受信システムの構成図である。

本発明の一実施例による仮想現実画像の送受信システムは、サーバ１００及びクライアント２００を含む。

サーバ１００は、仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ；ＶＲ）画像を生成するコンピュータである。サーバ１００は、内部で情報処理を行ってクライアント２００に提供するＶＲ画像を生成する機能を有する。例えば、ＶＲ画像が特定のゲームを実行するによる画像である場合、サーバ１００は、ゲームプログラムを実行して適切な画像データを生成して、有線通信又は無線通信を介してクライアント２００に伝送できる。

また、サーバ１００で画像データを受信すると、仮想現実画像に表示されるべき情報の表示をクライアント２００から実行して画面に表示できる。このとき、情報表示にはコントローラ及びコントローラの中心ポインタを含むユーザグラフィックインターフェースを含むことができる。

更に、ユーザの視線やコントローラ又はＨＭＤの中心ポインタが向かう位置に制御情報（例えば、十字線）が正確に表現されるように、仮想現実画像に含まれているオブジェクトと上のポインタが向かう方向による衝突地点を決定できる。衝突地点の決定は、サーバ１００又はクライアント２００で実行できる。クライアント２００は、決定された衝突地点及び衝突地点の法線ベクトルに基づいて、変形された制御情報が結合された最終画像フレームを生成できる。具体的には、「ユーザの視線」、「コントローラの中心ポインタ」などを示すための結合データと仮想現実画像の衝突地点を計算し、衝突地点の法線ベクトルを基に結合データを最適な形状に変形して、最終的にレンダリングされる最終仮想現実画像フレームをユーザに提供できる。これについては、図２に関する説明で詳述する。

また、サーバ１００は、生成されるＶＲ画像に画像方向データをメタ情報として結合する機能を有する。前記画像方向データは、サーバ１００により生成された画像フレームの３次元空間上の方向に関するデータとできる。

更に、サーバ１００は、クライアント２００から再生方向データを受信することができる。サーバ１００は、画像フレームに結合する画像方向データを受信した再生方向データとして決定し、再生方向データ（又は画像方向データ）に対応するＶＲ画像フレームを生成できる。

クライアント２００は、仮想現実画像に該当する画像データを受信して再生する装置である。即ち、クライアント２００は、サーバ１００から受信したＶＲ画像データを再生して使用者に提供する機能を有する。クライアント２００は、ＶＲ装置自体であってもよく、ＶＲ装置に移動端末が結合された形態であってもよい。例えば、ＶＲ装置と移動端末が結合されてクライアント２００を構成する場合、移動端末がサーバ１００から生成された画像データを受信し、これを接続されている有線ケーブル又は近距離無線通信を介してＶＲ装置に画像フレームを伝達して画面に表示できる。

ＶＲ装置は多様な形態にて構成できる。例えば、ＶＲ装置は、両眼に適したそれぞれの画像を含む画像フレームを１つのディスプレイ部に表示し、各眼球方向の魚眼レンズにより３次元画像を生成できる。また、他の実施例において、ＶＲ装置はそれぞれの眼球に対応する画像を提供する２つのディスプレイ部を備えることができる。

また、クライアント２００は、再生方向データを測定する役割を果たすことができる。前記再生方向データは、特定時点に前記クライアント２００の画面上に再生されるべき画像フレームの方向に関するデータとできる。即ち、使用者がクライアント２００を眼球に着用して眺める方向を測定し、これを再生方向データとして決定できる。例えば、再生方向データは高低角データ、方位角データ又は傾斜データを含むことができる。クライアント２００は、１つ以上のセンサ（例えば、ジャイロセンサ、加速度センサ、地磁気センサなど）を備え、クライアント２００を着用したユーザの頭（又は首）の動きを測定して高低角データ、方位角データ、傾斜データなどを含むことができる。更に、クライアント２００は、測定した再生方向データをサーバ１００に無線通信を介して伝送する機能を有する。

前記高低角データは、水平面（例えば、地平線）とクライアント２００の視線方向とがなす角を意味する。即ち、前記高低角データは、ユーザーの頭の上下動に応じて生じる水平面とのなす角とできる。

前記方位角データは、方位を示す角度であって、水平面上で特定の基準方向を基準として回転した角度を意味する。即ち、前記方位角データは、ユーザの胴体（又は首）を軸にして回転する首の動きにより変更できる。

前記傾斜データは、ユーザの正面方向を軸にして首が回転する角を意味する。即ち、前記傾斜データは、ユーザの左右への首の動き又はユーザの身体の全体的な回転などにより変更できる。

また、クライアント２００は、使用者の移動を測定することもできる。例えば、仮想シミュレーショントレーニング又はゲームを実行する場合、ユーザはクライアント２００を着用して移動するので、クライアント２００は、測定されたユーザの移動程度に基づいて移動した位置に符合する画像フレームをサーバ１００に要請できる。また、クライアント２００は、後述するように、ユーザが移動した特定時点の画像フレームが受信されない場合、画像フレームの伝送周期間のユーザの移動程度を反映して画像フレームの補正を行うことができる。

更に、クライアント２００は、無線通信で画像フレームを受信する場合に特定の画像フレームが受信されないと、以前に受信した画像フレームをユーザの動きに適するように補正して画面上に表示できる。即ち、クライアント２００は、第２時点の最終画像フレームが受信されない場合、第１時点の画像方向データと前記第２時点の再生方向データとの差値を算出し、前記差値に基づいて第１時点の最終画像フレームを補正できる。前記第２時点は、前記第１時点から前記最終画像フレームの伝送周期が経過した時点とできる。

サーバ１００とクライアント２００は、無線通信を介して接続することができる。無線通信方式としては、Ｗｉ－Ｆｉ（登録商標）方式、セルラー通信などを活用できる。例えば、サーバ１００がユーザが位置する特定の空間内（例えば、家の内部、仮想現実の体験空間内など）に配置されたコンピュータである場合、無線ＡＰ（例えば、Ｗｉ－Ｆｉ（登録商標） ＡＰ）を介してクライアント２００とサーバ１００間の通信が可能となる。また、例えば、サーバ１００が外部の遠距離に配置されたコンピュータである場合、遠距離のサーバ１００がセルラー通信又はＬＡＮ通信などを介してクライアント２００に生成した画像フレームを伝送できる。クライアント２００は、セルラー通信を介して基地局から画像フレームを受信するか、無線ＡＰからＷＬＡＮを介して画像フレームを受信することができる。これにより、ユーザは、無線通信が可能なクライアント２００を持っていれば、サーバ１００のコンピュータに近い位置にいなくてもサーバ１００から提供されるＶＲ画像を受信して利用できる。

以下、図面を参照して本発明の実施例による仮想現実画像の提供方法及びプログラムについて説明する。

図２は、本発明の一実施例による仮想現実画像の伝送方法に対する順序図である。

段階Ｓ１０で、クライアント２００は、サーバ１００から仮想現実画像データを受信して第１レイヤに割り当てる。

また、クライアント２００は、仮想現実画像データを複数のオーバーレイ項目に分割して、それぞれ別途のチャネル単位で受信することができる。また、その後に別途のチャネルを介して受信した複数のオーバーレイ項目を結合して複数の第１レイヤに割り当てることができる。

従って、サーバ１００は、各オーバーレイ項目を全体の１つのイメージとして伝送する必要はなく、複数のイメージとして伝送可能である。（例えば、右側上端にエネルギーバー、下端にアイテム目録などを別途に伝送可能である。）

各オーバーレイ項目の別途の圧縮方式を支援可能である。また、各オーバーレイ項目は、クライアント２００の画面に表示するために（ｘ，ｙ）座標を有していなければならず、各オーバーレイ項目がｚ－ｏｒｄｅｒ（深さに関する情報）も有していれば、オーバーレイ項目同士で他のレイヤに割り当てることができる。従って、サーバ１００は、オーバーレイ項目を更新する必要がある毎にクライアント２００に該当部分のみを伝送できる。このような方式を利用すれば、後述するように、衝突地点の決定をクライアント２００においても特定範囲内のデータのみを受信してリアルタイムに実行可能である。

段階Ｓ２０で、クライアント２００は、少なくとも１つのコントローラの制御情報を表示する第２レイヤを生成する。第２レイヤは、少なくとも１つのグラフィックユーザインターフェース（ＧＵＩ：Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を含む。コントローラの制御情報は、コントローラの仮想現実画像でのイメージデータ、コントローラが指示する方向を示すイメージ、コントローラと仮想現実画像内のオブジェクトが衝突する地点を示すイメージ（例えば、十字線）などを含むことができる。

一実施例による仮想現実画像の提供方法でコントローラの制御による動きを表示するために、マウスのカーソル及び／又は十字線のような制御情報を表示できるが、コンテンツがユーザの動きに即時反応するようにネットワークの遅延を最小化するために、制御情報は別途のレイヤに割り当てられる。

一方、このような制御情報を仮想現実画像に共に表示するためには、仮想現実画像内のオブジェクトと相互作用する結果が反映される必要がある。

例えば、図３を参照すれば、仮想現実画像３００内のコントローラが現在何を指しているかを正確に表示するために、コントローラのイメージ３０１及びコントローラが指示する地点の真上に制御情報（３０２、ポインタ）を表示できる。もちろん、このような構成に限定されるものではなく、視線の中央にポインタイメージを表示する場合、より自然な没入感をユーザに提供することもできる。一方、一実施例によるポインタが表示されるコンテンツオブジェクトは、サーバ１００上に存在するので、ネットワークを介してこれを実現するために、コントローラ及びポインタを、直接クライアント２００において別途のレイヤに割り当て、サーバから伝送した画像データとポインタが衝突する地点をサーバ１００又はクライアント２００が決定し反映するようにできる。

更に、図２を参照すれば、段階Ｓ３０で、少なくとも１つのコントローラの動作情報がクライアント２００にて受信され、動作情報に基づいて仮想現実画像データ内の所定のオブジェクトと制御情報の衝突地点が決定される。ここで、コントローラは、マウス、ジョイスティック、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｅｖｉｃｅ）などの制御装置を含むことができる。コントローラの動作情報には、コントローラの位置情報及びコントローラが指示する方向に関する情報を含めることができる。

一実施例による衝突地点及び法線ベクトルは、クライアント２００にて決定できる。

サーバ１００は、第１チャネルを介して、衝突地点を決定するためのオブジェクトを含むオーバーレイ項目をクライアント２００に伝送する。クライアント２００は、受信したオーバーレイ項目を用いて衝突地点を算出できる。また、クライアント２００は、衝突地点での法線ベクトルを決定できる。ここで、サーバ１００は、衝突地点の計算に必要なオーバーレイ項目のみを別途のチャネルでクライアント２００に伝送することによって、クライアント２００でも比較的に低いリソースを活用して衝突地点の計算が可能となる。

他の実施例による衝突地点及び法線ベクトルは、サーバ１００にて決定してクライアント２００に伝送できる。

クライアント２００は、コントローラの動作情報をサーバ１００に伝送し、サーバ１００は、受信したコントローラの動作情報に基づいて、仮想現実画像内のオブジェクトと衝突する地点及び法線ベクトルを決定できる。サーバ１００は、衝突の計算に用いられたコントローラの動作情報、コントローラが指示する方向線上のオブジェクトと衝突する位置及び衝突位置上の衝突オブジェクトに関する法線ベクトル情報をクライアント２００に伝送する。

更に他の実施例によるサーバ１００は、衝突の計算に用いられたコントローラの位置情報、コントローラが指示する方向線上のオブジェクトと衝突する位置情報及び衝突位置上の衝突オブジェクトに対する法線ベクトルをクライアント２００に伝送できる。ユーザの動きが直接的に反映される要素であるコントローラ及びポインタの動きに対する遅延は、没入感を大きく阻害するが、ユーザの動きに対する間接的な反応を表現する要素であるコントローラとポインタ間の距離及びポインタの方向に対する遅延は没入感に大きな妨害要素とならないため、サーバで衝突の計算が行われるにも拘らず、ユーザの没入感を維持できる。

段階Ｓ４０で、クライアント２００は、衝突地点の法線ベクトルに基づいて変形された制御情報を含む少なくとも１つの結合データを第２レイヤに割り当てることができる。

段階Ｓ５０で、クライアント２００は、第１レイヤ及び第２レイヤを合成して最終画像フレームを生成できる。

図４及び図５は、制御情報を表示するために法線ベクトルが必要な理由を説明する図である。

図４は、仮想現実画像４０１にて法線ベクトルを考慮せず、オブジェクト４１０上にポインタイメージ４２０が表示された場合を示す。また、図５は、仮想現実画像４０２にて法線ベクトルを考慮してオブジェクト上にポインタイメージ４３０が表示された一例を示す。即ち、法線ベクトルを活用すると、仮想現実画像内でイメージを結合するオブジェクトの配置状態（傾いたり、横たわっている状態）を把握できる。一方、図５では直四角状のオブジェクトを例として挙げたが、オブジェクトが曲面を有する場合、曲面の形状を把握するための情報を追加で考慮することができる。（例えば、１つの領域内で複数の位置データと各地点での法線データをサーバから受信することができる。）

図６は、一実施例によって第１レイヤ及び第２レイヤを含む仮想現実画像の再生方法を示す図である。

図６を参照すれば、サーバから受信した画像フレームが表示される第１レイヤ３００及び少なくとも１つのグラフィックユーザインターフェース及び制御情報（４１０及び４２０）が表示される第２レイヤ４００が示されている。

第１レイヤ３００に表示された画像フレームは、サーバ１００から画像フレームが伝送される伝送周期毎に変更される。

第２レイヤ４００に表示された少なくとも１つのグラフィックユーザインターフェース（４１０及び４２０）は、クライアント２００又はクライアント２００で表示される画像に対応するアプリケーションを制御するか、クライアント２００で表示される画像に対応する情報を表示するのに利用される。

例えば、少なくとも１つのグラフィックユーザインターフェース及び制御情報（４１０及び４２０）は、クライアント２００に表示される画像の再生を制御するか、画像に対応する情報を表示するための少なくとも１つのユーザインターフェースを含むことができる。

他の例として、少なくとも１つのグラフィックユーザインターフェース及び制御情報（４１０及び４２０）は、クライアント２００に表示されるゲームの操作又はゲームに対応する情報を表示するための少なくとも１つのユーザインターフェースを含むことができる。

ユーザの動きによってクライアント２００が移動する場合、第１レイヤ３００に表示される画像フレームは、クライアント２００の位置又は方向によって決定される再生方向データ及び画像方向データに対応する画像フレームに変更される。しかし、第２レイヤ４００に表示されるグラフィックユーザインターフェースの位置は変更されず、ユーザの視線と共に移動できる。

同様に、開示された実施例によって第１レイヤ３００に第１時点の画像フレームが表示され、第１時点から画像フレームの伝送周期が経過した時点である第２時点の画像フレームが受信されない場合、クライアント２００は、第１時点の画像方向データと第２時点の再生方向データとの差異を算出し、この差異に基づいて第１画像フレームを補正して第２代替画像フレームを生成する。

仮に１つのレイヤに画像フレームとグラフィックユーザインターフェースが共に表示される場合、前記実施例によって第１画像フレームを補正する場合に第１画像フレームに表示されたグラフィックユーザインターフェースも共に移動又は回転して、ユーザが不便を感じる恐れがある。

従って、図６に示された実施例によれば、画像フレームを第１レイヤ３００に割り当て、グラフィックユーザインターフェース４１０及び制御情報４２０を第２レイヤ４００に割り当てることによって、画像フレームの補正による不便を解消するようにする。

具体的には、クライアント２００は、生成された第２代替画像フレームを第１レイヤ３００に割り当てて表示するようにする。

反面、第２レイヤ４００は、クライアント２００で生成されるため、遅延又は欠落が発生しない。また、第２レイヤ４００に表示されるグラフィックユーザインターフェース４１０及び制御情報４２０の位置は、フレーム内で変更されないので、第２レイヤ４００に表示されるフレームに対しては補正を実行する必要がない。

従って、クライアント２００は、補正が完了した第２代替画像フレームを含む第１レイヤ３００と、補正が行われない第２レイヤ４００とを合成して最終画像フレームを生成し、生成された最終画像フレームを表示する。

クライアント２００は、第２レイヤ４００に表示されるグラフィックユーザインターフェース（４１０及び４２０）を生成するための情報をサーバ１００から受信することもでき、直接取得することもできる。

サーバ１００から情報を受信してグラフィックユーザインターフェース４１０及び制御情報４２０を生成する場合にも、グラフィックユーザインターフェース４１０及び制御情報４２０を生成するために必要な情報の量は、第１レイヤ３００に表示される画像フレームに含まれている情報の量に比べて非常に少ない。また、グラフィックユーザインターフェース４１０及び制御情報４２０は、第１レイヤ３００に表示される画像フレームとは異なり、クライアント２００の動きや時間の経過に伴って即時に変化しなくてもよい場合が多いので、第１レイヤ３００と第２レイヤ４００とを分離して処理することによって、容易に画像を補正でき、開示された実施例による画像フレームの補正過程でグラフィックユーザインターフェースが共に補正され、ユーザに不便を与える現象も防止できるという効果がある。

図７は、一実施例による仮想現実画像の伝送方法に対する順序図である。

図７を参照すれば、本発明の一実施例による仮想現実画像の伝送方法は、サーバ１００が最初の画像フレームを生成する段階（Ｓ１２０）と、前記最初の画像フレームに対応する画像方向データを判断する段階（Ｓ１４０）と、前記最初の画像フレームに前記画像方向データをメタ情報として結合して最終画像フレームを生成する段階（Ｓ１６０）と、前記最終画像フレームを無線通信を介してクライアント２００に伝送する段階（Ｓ１８０）とを含む。

サーバ１００が最初の画像フレームを生成する（Ｓ１２０）。サーバ１００は、内部にインストールされたプログラムを実行して最初の画像フレームを生成できる。前記最初の画像フレームは、クライアント２００に送られた後、特定の画像フレームが受信されない際の補完のための情報処理が行われていない画像フレームを意味する。例えば、サーバ１００がゲームプログラムを実行してゲーム画像フレームを生成できる。

サーバ１００は、前記最初の画像フレームに対応する画像方向データを判断する（Ｓ１４０）。前記画像方向データは、前記サーバ１００により生成された画像フレームの３次元空間上の方向に関するデータである。サーバ１００により画像が生成される前に画像方向データを決定（例えば、特定方向の画像提供が要請されることによって生成する画像方向が定められた後、対応する最初の画像フレームを生成）することができ、画像フレームを生成した後に対応する画像方向データを決定することもできる。

サーバ１００は、最初の画像フレームに画像方向データをメタ情報として結合して最終画像フレームを生成する（Ｓ１６０）。その後、サーバ１００は、最終画像フレームを無線通信を介してクライアント２００に伝送する（Ｓ１８０）。即ち、サーバ１００は、クライアント２００が画像フレームに対応する方向を判断するか、次の伝送時点（即ち、第２時点）の画像フレームが受信されていない場合に以前の時点（即ち、第１時点）の画像フレームを補正して補完できるように、最初の画像フレームに画像方向データを結合した最終画像フレームをクライアント２００に伝送できる。

クライアント２００は、サーバ１００から第２時点の最終画像フレームが通信状態の不良などにより受信されない場合、第１時点の画像方向データと前記第２時点の再生方向データとの差異を算出し、前記差異に基づいて前記第１時点の最終画像フレームを補正できる。前記第２時点は、前記第１時点から前記最終画像フレームの伝送周期が経過した時点とできる。

また、前記クライアント２００から再生方向データを受信する段階（Ｓ１１０）を更に含むことができる。例えば、使用者がクライアント２００を着用して動くと、クライアント２００は、特定時点に画面を介してユーザに提供されるべき画像フレームの方向に関するデータ（例えば、ユーザーの頭の動きに関するデータ）を獲得してサーバ１００に伝送できる。クライアント２００により測定されるデータを再生方向データとし、サーバ１００は、画像方向データ判断段階（Ｓ１２０）でクライアント２００から受信した再生方向データに基づいて画像方向データを決定できる。即ち、サーバ１００は、クライアント２００から受信した再生方向データと一致する方向を、画像を生成する方向として決定できる。従って、サーバ１００は、クライアント２００から受信した再生方向データを画像方向データに設定し（Ｓ１２０）、設定された画像方向データに符合する最初の画像フレーム（Ｓ１００）を生成できる。

更に、前記最終画像フレーム生成段階（Ｓ１４０）は、前記最終画像フレームをそれぞれの眼球用画像フレームに変換する段階を更に含むことができる。３次元画像を提供するためには、左眼用画像と右眼用画像に差が必要となる。従って、サーバ１００は、クライアント２００に伝送する最終画像フレームを左眼用最終画像フレーム及び右眼用最終画像フレームとしてそれぞれ生成できる。

更に、前記最終画像フレーム生成段階（Ｓ１４０）は、前記クライアント２００の画面に符合する大きさに前記最終画像フレームを変換する段階を更に含むことができる。即ち、サーバ１００は、クライアント２００が最終画像フレームを受信して直ぐに再生できるように、クライアント２００の画面の大きさに符合するように画像フレームの大きさを変換できる。これにより、サーバ１００に比べて情報処理のための仕様が低いクライアント２００で画面の大きさに符合するように変換する過程で発生し得る時間遅延（ｄｅｌａｙ）を最小化できる。

図８は、本発明の一実施例による最初の全体画像を基に生成された仮想現実画像フレームの伝送方法に対する順序図である。

本発明の他の実施例による仮想現実画像の伝送方法は、サーバ１００が特定時点の最初の全体画像を生成する段階（Ｓ１００）と、前記クライアント２００から再生方向データを受信する段階（Ｓ１１０）と、前記最初の全体画像から前記再生方向データに対応する最初の画像フレームを抽出する段階（Ｓ１２１）と、前記再生方向データを画像方向データとして決定する段階（Ｓ１４１）と、前記最初の画像フレームに前記画像方向データをメタ情報として結合して最終画像フレームを生成する段階（Ｓ１６０）と、前記最終画像フレームを無線通信を介してクライアント２００に伝送する段階（Ｓ１８０）と、を含む。以下、前述した段階についての具体的な説明は省略する。

サーバ１００が特定時点の最初の全体画像を獲得する（Ｓ１００）。前記最初の全体画像は、ユーザの視線が向かう全ての方向の画像フレームを含む画像を意味する。即ち、サーバ１００は、内部の特定のプログラムを実行して特定時点の全体画像を生成でき、予め生成された一定時間の全体画像（例えば、３６０度カメラにより一定時間撮影された画像）の中から特定時点の全体画像を抽出できる。

サーバ１００がクライアント２００から再生方向データを受信する（Ｓ１１０）。

サーバ１００が前記最初の全体画像から前記再生方向データに対応する最初の画像フレームを抽出する（Ｓ１２１）。即ち、サーバ１００は、クライアント２００から受信した再生方向データを通じて画像フレームが要請される方向を判断し、最初の全体画像から前記再生方向データに対応する最初画像フレームを抽出できる。

サーバ１００は、前記再生方向データを画像方向データとして決定する（Ｓ１４１）。即ち、サーバ１００は、抽出された最初の画像フレームが前記再生方向データに対応する方向の画像フレームであるので、クライアント２００から受信した再生方向データを前記抽出された最初画像フレームの画像方向データとして設定することができる。

サーバ１００が前記最初の画像フレームに前記画像方向データをメタ情報として結合して最終画像フレームを生成する（Ｓ１６０）。サーバ１００が前記最終画像フレームを無線通信を介してクライアント２００に伝送する（Ｓ１８０）。

図９は、本発明の一実施例によるクライアント２００の仮想現実画像の再生方法に対する順序図である。

本発明の更に他の一実施例による仮想現実画像の再生方法は、クライアント２００がサーバ１００から第１時点に対応する第１最終画像フレームを受信する段階（Ｓ２００）と、第２時点に対応する第２最終画像フレームが受信されない場合に、前記第１時点に対応する画像方向データと前記第２時点に対応する再生方向データとを比較して差異を算出する段階（Ｓ２２０）と、前記算出された差異だけ前記第１最終画像フレームを補正して、受信されていない前記第２最終画像フレームに代わる第２代替画像フレームを生成する段階（Ｓ２４０）と、前記第２代替画像フレームを画面に表示する段階（Ｓ２６０）とを含む。

クライアント２００がサーバ１００から第１時点に対応する第１最終画像フレームを受信する（Ｓ２００）。即ち、クライアント２００は、サーバ１００から画像方向データがメタ情報として結合された第１最終画像フレームを無線通信を介して受信することができる。前記画像方向データは、前記サーバ１００により獲得された画像フレームの３次元空間上の方向に関するデータであり、前記最終画像フレームは、前記サーバ１００により前記画像方向データをメタ情報として含む画像フレームであり得る。

クライアント２００は、第２時点に対応する第２最終画像フレームが受信されない場合に、前記第１時点に対応する画像方向データと前記第２時点に対応する再生方向データとを比較して差異を算出する（Ｓ２２０）。前記第２時点は、前記第１時点から前記最終画像フレームの伝送周期が経過した時点とできる。クライアント２００は、第１時点に対応する第１最終画像フレームを受信して表示した後に最終画像フレームの伝送周期が経過した後、第２時点に通信状態の不良などの理由により第２最終画像フレームを受信できない恐れがある。このような場合、第２時点で期待される第２最終画像フレームの代わりに第１最終画像フレームが継続して表示されることで、第２時点の再生方向データと第１最終画像フレームの画像方向データ間の差だけ物体が揺れる現象が発生しうる。即ち、第２時点に第１時点に対応する第１最終画像フレームを継続して表示した後に第３時点（即ち、第２時点から最終画像フレームの伝送周期が経過した時点）に新たな最終画像フレーム（即ち、第３最終画像フレーム）が受信されると、図１０に示すように、ユーザは、第１最終画像フレームから第３最終画像フレームへ直接変更されることによって第２時点に対応する物体の位置を飛ばして第１時点の物体の位置から第３時点の物体の位置へ移動することによって不自然に物体が動いたり揺れたりするかのような現象を感じることがある。このような現象が継続的に発生すると、ユーザは目眩を感じる恐れがある。これを解決するために、クライアント２００は、欠落した第２最終画像フレームに代わる画像フレームを生成する必要がある。従って、クライアント２００は、第１時点で受信した第１最終画像フレームを修正して第２時点の画像フレーム（即ち、第２代替画像フレーム）として生成できる。

クライアント２００は、第１最終画像フレームを第２時点に符合する画像フレームに変換するために補正水準を決定する必要がある。このために、クライアント２００は、前記第１時点に対応する画像方向データと前記第２時点に対応する再生方向データとを比較して差異を算出できる。再生方向データは、特定時点に前記クライアント２００の画面上に再生されるべき画像フレームの方向に関するデータとできる。再生方向データは、ＶＲ装置内に備えられたセンサ（例えば、ジャイロセンサ、地磁気センサ、加速度センサなど）を用いて測定できる。例えば、クライアント２００は、サーバ１００から再生方向データに対応する画像方向データを含む画像フレームを受信してユーザに提供する場合、クライアント２００は、画像フレームが提供されるべき方向に該当する第２再生方向データと第１最終画像フレームの方向に該当する第１画像方向データの差を計算し、第１最終画像フレームを補正すべき値として算出できる。

前記再生方向データ及び前記画像方向データは、高低角データ及び方位角データを含むことができる。クライアント２００は、第２時点の再生方向データと第１時点の画像方向データ間の高低角及び方位角の差を算出できる。

また、前記再生方向データ及び前記画像方向データは、使用者の正面方向を軸とする回転角度である傾斜データを含むことができる。クライアント２００は、第２時点の再生方向データと第１時点の画像方向データ間の傾斜データの差を算出できる。

クライアント２００は、前記算出された差異だけ前記第１最終画像フレームを補正して受信されていない前記第２最終画像フレームに代わる第２代替画像フレームを生成する（Ｓ２４０）。一実施例として、クライアント２００は、前記差異に基づいて前記第１最終画像フレームを移動できる。即ち、クライアント２００は、高低角の差異だけ第１最終画像フレームを垂直方向に移動させることができ、方位角の差異だけ第１最終画像フレームを水平方向に移動させることができる。また、クライアント２００は、傾斜データの差異だけ第１最終画像フレームを回転できる。ユーザの正面方向を軸に特定の方向に首を傾けると、ユーザが見る物体は回転するので、第１時点の画像方向データと第２時点の再生方向データ間の傾斜データの差異だけ第１最終画像フレームを回転できる。

クライアント２００が第１最終画像フレームを前記差異によって補正する場合、ユーザに提供される第２代替画像フレーム上には、図１１に示すように、空白領域が発生する。前記空白領域は白黒で処理されるか、使用者が視覚的に最小限に認知するように類似する色の組み合わせで処理されることもできる。

クライアント２００は、前記第２代替画像フレームを画面に表示する（Ｓ２６０）。即ち、クライアント２００は、第２時点に欠落した第２最終画像フレームに代えて第１最終画像フレームを補正した第２代替画像フレームを画面に表示できる。

また、ユーザがクライアント２００を着用して移動する場合、クライアント２００は、ユーザの移動程度（例えば、移動距離及び移動方向、移動した歩数など）を把握し、第２時点の最終画像フレームが受信されない場合、ユーザの移動程度に符合するように第１最終画像フレームを補正できる。一実施例として、ユーザが移動する場合、各物体はユーザから離れた距離に応じて位置変化の程度に差がある。図１２に示すように、近くに位置する物体はユーザの移動に応じて大幅に移動し、遠くに位置する物体はユーザの移動に応じて近くに位置する物体に比べて小幅に移動するようになる。従って、仮想現実画像でもこのような遠近による物体の移動幅の差を反映しなければ、ユーザに高い現実感を提供できない。このために、サーバが複数の物体（即ち、画像フレーム内で各ピクセルの集合として表現された物体）がクライアントからそれぞれ離れた距離情報（以下、深さ情報）をメタ情報として含んで最終画像フレームを生成して伝送できる。第２時点の第２最終画像フレームが欠落する場合、クライアントは含まれている１つ以上のセンサ（例えば、ジャイロセンサ、加速度センサ、地磁気センサなど）を用いてユーザの移動程度を算出し、第１最終画像フレーム内のそれぞれの物体に各物体の深さ情報を反映して第２代替画像フレームを生成できる。即ち、図１３に示すように、クライアントは、第１時点と第２時点のクライアント位置（即ち、クライアントを着用したユーザの位置）の差によって第１最終画像フレーム内の複数の物体に相応するピクセル別に補正を行って第２代替画像フレームを生成できる。また、追加的に、クライアントは、物体が配置された距離による物体の移動幅の差を反映してピクセル単位の物体補正を行った後、既存に第１最終画像フレームで物体が配置されていた領域を補償する作業を行える。クライアントは、周辺の色を反映して特定の色の組み合わせで既存の物体配置空間を埋めることができる。

また、他の実施例として、物体の移動幅が異なる場合、クライアントは、最も大きな物体の配置位置に合うように画像フレームを移動させた後、残りの物体をピクセル単位で調節できる。これにより、最大の物体に対してはピクセル単位の作業を行わないので、第２代替画像フレーム内にピクセル単位の移動によって生成される空き空間を最小化できる。更に、他の実施例として、クライアントを着用したユーザが前方又は後方にのみ移動する場合、クライアントは、第１最終画像フレームを拡大又は縮小して欠落した第２最終画像フレームに代わる第２代替画像フレームを生成できる。

また、第ｎ時点（ｎは１よりも大きな自然数）に対応する最終画像フレームが受信されないと、前記第ｎ－１時点に対応する画像方向データと前記第ｎ時点に対応する再生方向データとを比較して差異を算出する段階と、前記算出された差異だけ前記第ｎ－１代替画像フレームを補正して第ｎ代替画像フレームを生成する段階とを更に含むことができる。即ち、第２時点に第２最終画像フレームが受信されず、第２代替画像フレームが提供された後に第３時点に第３最終画像フレームが受信されると、ユーザは、画像内の物体が円滑に移動することを自覚できる。しかし、第２時点の後にも画像フレームが連続的に受信されない場合、クライアント２００は以前に生成された代替画像フレーム（例えば、第２代替画像フレーム又は第ｎ－１代替画像フレーム）を基に次の代替画像フレーム（例えば、第３代替画像フレーム又は第ｎ代替画像フレーム）を生成する必要がある。クライアント２００は、第ｎ－１時点の第ｎ－１代替画像フレーム内の画像方向データ（又は第ｎ－１時点に測定された再生方向データ）と第ｎ時点に測定された再生方向データとを比較して差異を算出し、算出された差異だけ第ｎ－１代替画像フレームを補正（例えば、移動又は変換）して第ｎ代替画像フレームを生成できる。これにより、クライアント２００は、通信状態の不良により連続的にサーバ１００から最終画像フレームが受信されない場合にも自然な仮想現実画像をユーザに提供できる。

前述したように、一実施例による仮想現実画像の提供方法は、仮想現実画像フレームを無線で伝送することによる特定時点の画像フレームの欠落を補完できるため、ユーザは、特定の画像フレームが受信されない場合にも仮想現実空間の全体的な時点が揺れることなく、自然に画像を再生できる。

また、一実施例によって全体画像のうち１つのフレームのみ抽出して伝送するか、再生方向データに符合するフレームのみを生成して伝送することによって、無線方式で仮想現実画像コンテンツを提供する際にも、高解像度の画像を提供できるとともに、通信トラフィックを低減できる。

更に、一実施例によってユーザの動きに即時反応し、仮想現実画像の対象体の表面に最適化したリアルタイム画像を提供できる。従って、仮想現実画像の現実感と没入感を向上させることができる。

また、一実施例によってネットワーク上の遅延によりフレームの欠落が発生する場合や仮想現実画像の補正時にも画像フレームの欠落を補完できるため、十字線（ｃｒｏｓｓｈａｉｒ）のようなイメージがユーザにより実際に指示される地点ではなく、他の地点に表示されるのを防止できる。

前述した本発明の説明は例示のためのものであり、本発明が属する技術分野における通常の知識を有する者は、本発明の技術的思想や必須な特徴を変更することなく、他の具体的な形態に容易に変形可能であるということが理解できるであろう。従って、以上で述べた実施例はあらゆる面で例示的なものであり、限定的ではないものとして理解すべきである。例えば、単一の形態で説明されている各構成要素は分散させて実現することもでき、同様に分散されたものとして説明されている構成要素も結合された形態で実現することができる。

本発明の範囲は、前記詳細な説明よりは後述する特許請求の範囲により表され、特許請求の範囲の意味及び範囲そしてその均等な概念から導き出される全ての変更又は変形された形態が本発明の範囲に含まれるものとして解釈されるべきである。

Claims (7)

1. 仮想現実画像の提供方法において、
   サーバから仮想現実画像データを受信して第１レイヤに割り当てる段階と、
   少なくとも１つのコントローラの制御情報を表示する第２レイヤを生成する段階と、
   前記少なくとも１つのコントローラの動作情報を受信し、前記動作情報に基づいて前記仮想現実画像データ内の所定のオブジェクトと前記制御情報の衝突地点を決定する段階と、
   前記衝突地点の法線データに基づいて変形された前記制御情報を含む結合データを前記第２レイヤに割り当てる段階と、
   前記第１レイヤ及び前記第２レイヤを合成して最終画像フレームを生成する段階と、を含み、
   前記仮想現実画像データを前記第１レイヤに割り当てる段階は、
   前記仮想現実画像データを複数のオーバーレイ項目に分割してそれぞれ別途のチャネル単位で受信する段階と、
   前記別途のチャネルを介して受信した複数のオーバーレイ項目を結合して複数の第１レイヤに割り当てる段階と、
   前記サーバから第１時点の第１画像フレームが受信されたが、前記第１時点より後の第２時点の第２画像フレームが受信されない場合、前記第１時点の画像方向データと前記第２時点の再生方向データとの差異を算出する段階と、
   前記差異に基づいて前記第１画像フレームを補正して第２代替画像フレームを生成する段階と、
   前記第２代替画像フレームを前記第１レイヤに割り当てる段階と、
   を含み、
   前記最終画像フレームを生成する段階は、前記第２代替画像フレームを含む第１レイヤと、補正が行われていない前記第２レイヤとを合成して最終画像フレームを生成する段階を含み、
   前記再生方向データは、特定時点にクライアントの画面上に再生されるべき画像フレームの方向に関するデータであり、
   前記画像方向データは、前記サーバにより生成された画像フレームの３次元空間上の方向に関するデータであり、
   前記法線データは、仮想現実画像内の前記衝突地点における前記所定のオブジェクトの配置状態を把握するためのものであり、
   前記第２レイヤに割り当てる段階は、前記法線データに基づいて、前記衝突地点における前記所定のオブジェクトの配置状態を把握し、前記制御情報を前記法線データの垂直方向に合うように変形させた結合データを前記第２レイヤに割り当てる段階を含み、
   前記動作情報は、前記少なくとも１つのコントローラの位置情報及び前記コントローラが指す方向に関する情報を含み、
   前記制御情報は、前記コントローラの仮想現実画像におけるイメージデータ、前記コントローラが指示する方向を示すイメージ、前記コントローラと仮想現実画像内のオブジェクトが衝突する地点を示すイメージ、及びコントローラが指す地点のすぐ上に表示されたグラフィックユーザインターフェースを含み、
   ユーザーの動きに応じてクライアントが移動する場合、前記第１レイヤに表示される前記仮想現実画像データの画像フレームは、前記クライアントの位置又は方向に応じて決定される再生方向データ及び画像方向データに対応する画像フレームに変更され、前記第２レイヤに表示される前記グラフィックユーザインターフェースの位置は変更されず、ユーザーの視線と共に移動する、
   仮想現実画像の提供方法。
2. 前記衝突地点を決定する段階は、
   第１チャネルを介して、前記衝突地点を決定するためのオブジェクトを含むオーバーレイ項目を受信する段階と、
   前記受信したオーバーレイ項目を用いて、クライアントで衝突地点を決定する段階と、
   前記衝突地点の法線ベクトルを決定する段階と、
   を含むことを特徴とする請求項１に記載の仮想現実画像の提供方法。
3. 前記オーバーレイ項目は（ｘ，ｙ）座標を有しており、
   前記サーバは、前記オーバーレイ項目を更新する必要がある毎に該当部分をクライアントに伝送することを特徴とする請求項１に記載の仮想現実画像の提供方法。
4. 前記衝突地点を決定する段階は、
   前記コントローラの動作情報をサーバに伝送し、前記衝突地点及び法線データを要請する段階と、
   前記サーバで決定された前記仮想現実画像データ内の所定のオブジェクトと前記制御情報の衝突地点及び法線データを受信する段階と、
   を含むことを特徴とする請求項１に記載の仮想現実画像の提供方法。
5. 前記制御情報は、ユーザーの視線及びコントローラの中心ポインタのうち少なくとも１つを示すイメージを含むことを特徴とする請求項１に記載の仮想現実画像の提供方法。
6. 前記再生方向データを獲得する段階は、ユーザーの頭の動きを測定して前記再生方向データを獲得する段階を含むことを特徴とする請求項１に記載の仮想現実画像の提供方法。
7. 媒体に格納され、請求項１～６の何れか一項に記載の方法をハードウェアであるコンピュータに実行させるための仮想現実画像の再生プログラム。

Images