WO2018225187A1

WO2018225187A1 - 情報処理システム、情報処理装置、サーバ装置、画像提供方法および画像生成方法

Info

Publication number: WO2018225187A1
Application number: PCT/JP2017/021139
Authority: WO
Inventors: 達紀網本; 昭西山
Original assignee: 株式会社ソニー・インタラクティブエンタテインメント
Priority date: 2017-06-07
Filing date: 2017-06-07
Publication date: 2018-12-13
Also published as: US11158101B2; US20200126280A1

Abstract

位置データ取得部２００は、現実の物体の位置を示す位置データを取得する。遅延導出部２０６は、情報処理システム１における遅延時間を導出する。動作予測部３００は、位置データ取得部２００が取得した位置データにもとづいて、当該物体の動きを予測し、遅延時間以上未来の物体の位置を特定する。画像生成部３０２は、未来の物体の位置を反映した予測画像を生成する。表示画像提供部２０４は、生成された予測画像を取得して、ＨＭＤに提供する。

Description

情報処理システム、情報処理装置、サーバ装置、画像提供方法および画像生成方法

　本発明は、現実の物体の動きを反映した画像を生成、表示する技術に関する。

　ヘッドマウントディスプレイ（ＨＭＤ）はユーザの頭部に装着されて、仮想現実（ＶＲ）や複合現実（ＭＲ）の映像世界をユーザに提供する。ＨＭＤはユーザの視野の一部あるいは全体に画像を提供するため、ユーザの映像世界への没入感を高められる。特許文献１は、ユーザの頭部の動きに追従した画像を生成する技術に関し、既に受信した頭部の姿勢角データの時系列から一定時間後に受信する姿勢角データを予測し、予測した姿勢角データに基づいて画像のレンダリング処理を実行する技術を開示する。

国際公開第２０１５／０９８２９２号

　複合現実は、現実世界と仮想世界とを融合させた空間を作り上げる。複合現実の世界において、たとえばユーザの実際の動きと同じ動きをする仮想オブジェクトをＨＭＤに表示する場合、仮想オブジェクトの動きがユーザの実際の動きに対して遅れて表示されると、仮想オブジェクトがユーザと同じ動きをしているという体感を劣化させるとともに、ユーザの画像酔いを引き起こす原因となる。

　本発明はこうした課題に鑑みてなされたものであり、その目的は、現実の物体の空間内の位置をもとに未来を予測した画像をディスプレイに表示させる技術を提供することにある。なおディスプレイはＨＭＤに限らず、モニタであってもよい。

　上記課題を解決するために、本発明のある態様の情報処理システムは、ディスプレイに提供する画像を生成する情報処理システムであって、現実の物体の位置を示す位置データを取得する位置データ取得部と、当該情報処理システムにおける遅延時間を導出する遅延導出部と、位置データ取得部が取得した位置データにもとづいて、当該物体の動きを予測して、遅延時間以上未来の物体の位置を特定する動作予測部と、未来の物体の位置を反映した予測画像を生成する画像生成部と、生成された予測画像を取得して、ディスプレイに提供する表示画像提供部と、を備える。遅延導出部は、位置データ取得部が位置データを取得するタイミングから、当該位置データにもとづいて予測された未来の物体の位置を反映した予測画像を表示画像提供部がディスプレイに提供するタイミングまでの間の時間を含む遅延時間を導出する。

　本発明の別の態様は、情報処理装置である。この情報処理装置は、現実の物体の位置を示す位置データを取得する位置データ取得部と、遅延時間を導出する遅延導出部と、サーバ装置が位置データにもとづいて当該物体の動きを予測して、遅延時間以上未来の物体の位置を反映するように生成した予測画像を取得して、ディスプレイに提供する表示画像提供部と、を備える。

　本発明のさらに別の態様は、サーバ装置である。このサーバ装置は、情報処理装置から現実の物体の位置を示す位置データと遅延時間とを取得して、当該物体の動きを予測して、遅延時間以上未来の物体の位置を特定する動作予測部と、未来の物体の位置を反映した予測画像を生成する画像生成部と、を備える。

　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。

実施例における情報処理システムの構成例を示す図である。ＨＭＤの外観形状の例を示す図である。ＨＭＤの機能ブロックを示す図である。情報処理装置およびサーバ装置の構成を示す図である。遅延時間を説明するための図である。２つのクライアント装置が存在する例を示す図である。

　図１は、実施例における情報処理システム１の構成例を示す。情報処理システム１は情報処理装置１０と、ヘッドマウントディスプレイ（ＨＭＤ）１００と、ＨＭＤ１００を装着したユーザを撮影する撮像装置１４と、画像および音声を表示する出力装置１６と、サーバ装置１２とを備える。出力装置１６はモニタであってよい。情報処理装置１０は、アクセスポイント（ＡＰ）を介して、インターネットなどの外部のネットワーク２経由でサーバ装置１２と通信可能に接続する。

　ＨＭＤ１００は、ユーザが頭部に装着することによりその眼前に位置する表示パネルに画像を表示する表示装置であり、仮想現実（ＶＲ）または複合現実（ＭＲ）の映像世界をユーザに提供する。ＨＭＤ１００にヘッドトラッキング機能をもたせ、ユーザの頭部の動きに連動して表示画像を更新することで、映像世界への没入感を高められる。ＨＭＤ１００は、左目用表示パネルに左目用の画像を、右目用表示パネルに右目用の画像を、それぞれ別個に表示する。これらの画像は左右の視点から見た視差画像を構成し、立体視を実現する。

　仮想世界の画像は、サーバ装置１２により生成され、情報処理装置１０によりＨＭＤ１００に提供される。情報処理装置１０は、ユーザが入力装置を操作した操作情報を受け付けて、ゲームなどのアプリケーションを実行する機能を単独で備えてよいが、実施例の情報処理システム１では、情報処理装置１０は、サーバ装置１２で生成された画像をＨＭＤ１００に提供するクライアント装置として動作する。

　撮像装置１４はステレオカメラであって、ＨＭＤ１００を装着したユーザを所定の周期で撮影し、撮影画像を情報処理装置１０に供給する。実施例において撮影周期は３０ｆｐｓである。撮像装置１４は撮影空間におけるユーザの位置データを取得するものであり、具体的には現実の３次元空間における撮像装置１４からの相対位置データを取得する。ユーザの位置データは、３次元空間におけるユーザの全てのパーツの位置データを含み、つまり顔の位置、手の位置、胴の位置、脚の位置などの全てを含む。したがって実施例におけるユーザの位置データは、少なくともユーザの姿勢に関するデータを含む。以下ではユーザの位置データを、ほぼユーザの姿勢データと同じ意味で使用することもある。

　ＨＭＤ１００にはユーザ頭部をトラッキングするためのマーカ（トラッキング用ＬＥＤ）が設けられ、情報処理装置１０は、撮影画像に含まれるマーカの位置にもとづいてＨＭＤ１００の動きを検出する。なおＨＭＤ１００にはモーションセンサ（加速度センサおよびジャイロセンサ）が搭載され、情報処理装置１０は、モーションセンサで検出されたセンサデータをＨＭＤ１００から取得することで、マーカの撮影画像の利用とあわせて、高精度のトラッキング処理を実施してよい。情報処理装置１０は、撮影画像に含まれるマーカや、モーションセンサの検出データから、ＨＭＤ１００の動きを検出してよい。実施例においてＨＭＤ１００の姿勢はユーザの視線方向を定めるために利用され、定められたユーザの視線方向は、情報処理装置１０からサーバ装置１２に提供されて、サーバ装置１２が、ユーザの視線方向を光軸とする仮想カメラを３次元仮想空間に配置して、３次元仮想空間を仮想カメラで撮影した画像を生成して、情報処理装置１０に送信する。

　後述するが、ＨＭＤ１００には、インパルス型発光を行う発光部が設けられ、情報処理装置１０は、撮影画像に含まれる発光部の発光をもとに、情報処理システム１における遅延時間の一部ないしは全部を計測する。

　情報処理システム１において、ユーザはＨＭＤ１００で画像を見るため、ＨＭＤ１００を装着したユーザにとって出力装置１６は必ずしも必要ではないが、出力装置１６を用意することで、別のユーザが出力装置１６の表示画像を見ることができる。情報処理装置１０は、ＨＭＤ１００を装着したユーザが見ている画像と同じ画像を出力装置１６に表示させてもよい。

　図２は、ＨＭＤ１００の外観形状の例を示す。ＨＭＤ１００は、出力機構部１０２および装着機構部１０４から構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周してＨＭＤ１００を頭部に固定する装着バンド１０６を含む。装着バンド１０６はユーザの頭囲に合わせて長さの調節が可能な素材または構造をもつ。

　出力機構部１０２は、ＨＭＤ１００をユーザが装着した状態において左右の目を覆う形状の筐体１０８を含み、内部には装着時に目に正対する表示パネルを備える。表示パネルは液晶パネルや有機ＥＬパネルなどであってよい。筐体１０８内部にはさらに、表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。ＨＭＤ１００はさらに、ユーザの耳に対応する位置にスピーカーやイヤホンを備えてよく、外付けのヘッドホンが接続されるように構成されてもよい。なおＨＭＤ１００は、透過型のディスプレイを備えてもよい。

　筐体１０８の外面には、マーカ１１０ａ、１１０ｂ、１１０ｃ、１１０ｄが備えられる。この例ではトラッキング用ＬＥＤがマーカ１１０を構成するが、その他の種類のマーカであってよく、いずれにしても撮像装置１４により撮影されて、情報処理装置１０がマーカ位置を画像解析できるものであればよい。マーカ１１０の数や配置は特に限定されないが、ＨＭＤ１００の姿勢を検出できるための数および配置である必要があり、図示した例では筐体１０８の前面の４隅に設けている。

　また筐体１０８には、情報処理装置１０からの発光指示によりインパルス型発光する発光部１１２が備えられる。発光部１１２によるインパルス型発光は、撮像装置１４により撮影されて、情報処理システム１の処理系および伝送系で生じる遅延時間をあわせて計測するために利用される。発光部１１２は多色発光可能に構成されてもよい。

　ＨＭＤ１００は、情報処理装置１０にケーブルで接続されても、既知の無線通信プロトコルで接続されてもよい。ＨＭＤ１００は、モーションセンサが検出したセンサデータを情報処理装置１０に送信し、また情報処理装置１０から提供される画像を受信して、左目用表示パネルおよび右目用表示パネルに表示する。

　図３は、ＨＭＤ１００の機能ブロックを示す。制御部１２０は、画像データ、音声データ、センサデータなどの各種データや、命令を処理して出力するメインプロセッサである。記憶部１２２は、制御部１２０が処理するデータや命令などを一時的に記憶する。モーションセンサ１２４は、ＨＭＤ１００のモーションデータを検出する。モーションセンサ１２４は、少なくとも３軸の加速度センサおよび３軸のジャイロセンサを含む。

　通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部１２０から出力されるデータを外部の情報処理装置１０に送信する。また通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、情報処理装置１０からデータを受信し、制御部１２０に出力する。

　制御部１２０は、画像データや音声データを情報処理装置１０から受け取ると、表示パネル１３０に供給して表示させ、また音声出力部１３２に供給して音声出力させる。表示パネル１３０は、左目用表示パネル１３０ａと右目用表示パネル１３０ｂから構成され、各表示パネルに一対の視差画像が表示される。また制御部１２０は、モーションセンサ１２４からのセンサデータや、マイク１２６からの音声データを、通信制御部１２８から情報処理装置１０に送信させる。

　また制御部１２０は、発光指示を情報処理装置１０から受け取ると、発光部１１２を一瞬だけ発光させる。発光部１１２の発光時間は、撮像装置１４による一回の撮影周期内に収まる時間に設定される。撮像装置１４が１／３０秒の周期で撮影を行う場合、発光部１１２の発光時間は、１／３０秒よりも短く設定されて、発光部１１２の発光が１枚の撮影画像においてのみ撮影されることが好ましい。なおマーカ１１０は、トラッキング処理のために常時点灯されており、発光部１１２は、マーカ１１０の発光色とは異なる色で発光されることが好ましい。なおＨＭＤ１００がマーカ１１０を備えない場合には、発光部１１２は、マーカ１１０の発光色の制限を受けることなく、任意の色で発光してよい。

　図４は、情報処理装置１０およびサーバ装置１２の構成を示す。情報処理システム１において情報処理装置１０はクライアント装置として動作し、位置データ取得部２００、データ供給部２０２、表示画像提供部２０４、遅延導出部２０６、発光指示部２０８、視線方向決定部２２０および通信部２１０を備える。サーバ装置１２は、動作予測部３００、画像生成部３０２および通信部３０４を備える。

　図４において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

　実施例において、サーバ装置１２は、情報処理装置１０から、現実空間におけるユーザを撮影した撮影画像を受け取り、仮想空間における仮想オブジェクトをユーザの動きに合わせて動かす画像を生成する。たとえば、ユーザが両手を挙げて万歳をすると、サーバ装置１２は、仮想空間において仮想オブジェクトを両手を挙げて万歳をするように動作させる。サーバ装置１２は、生成した画像を情報処理装置１０に送信し、情報処理装置１０は、画像をＨＭＤ１００に送信して、表示パネル１３０に表示させる。

　このときユーザが万歳をしたタイミングと、表示パネル１３０に表示される仮想オブジェクトが万歳をしたタイミングとが一致していなければ、仮想オブジェクトがユーザと同じ動きをしているという体感を劣化させる。また動作によっては、ユーザの画像酔いを引き起こす原因となる。

　情報処理システム１においては、情報処理装置１０が、ユーザを撮影した画像をネットワーク２を介してサーバ装置１２に送信し、サーバ装置１２が、撮影画像をもとにＨＭＤ１００で表示する画像を生成して、ネットワーク２を介して情報処理装置１０に送信し、情報処理装置１０が表示画像をＨＭＤ１００に提供する。この一連の流れは、撮影画像の取得や画像処理に関する処理系と、ネットワーク２を介して画像を伝送する伝送系とに分けられるが、処理系および伝送系のそれぞれで時間を要する。

　ユーザを撮影してから、その撮影した画像にもとづいて生成された画像がＨＭＤ１００に表示されるまでにかかる時間を「遅延時間」と定義する。万歳をしたユーザを撮影して、その撮影画像にもとづいて仮想オブジェクトが万歳した表示画像を生成してＨＭＤ１００に表示させると、ユーザが万歳したタイミングと、ＨＭＤ１００で仮想オブジェクトが万歳するタイミングは、遅延時間分のずれが生じることになる。

　そこでユーザが万歳するタイミングでＨＭＤ１００で仮想オブジェクトを万歳させるためには、サーバ装置１２は、時系列的に取得した撮影画像からユーザがこれから万歳することを予測して、ユーザが万歳する前に、仮想オブジェクトが万歳している予測画像を生成する必要がある。つまりサーバ装置１２は、画像を生成する前に、情報処理システム１における遅延時間を把握しておき、ユーザが万歳をするタイミングよりも遅延時間分だけ前に撮影された画像にもとづいて、仮想オブジェクトが万歳した予測画像を生成する。これによりユーザが実際に万歳したタイミングで、ＨＭＤ１００に表示される仮想オブジェクトも万歳し、実世界と仮想世界とを同期させることが可能となる。

　上記したように情報処理システム１における遅延時間は、画像の処理系における遅延時間と、画像の伝送系における遅延時間とに区別できる。処理系にかかる時間はデバイス能力に依存するところが大きく、一度計測することでほぼ固定値として使用できる。一方で伝送系にかかる時間はネットワーク２の状態に依存し、変動しやすい。そこで情報処理装置１０は定期的に遅延時間を計測し、計測した最新の遅延時間、つまり信頼性の高い遅延時間をサーバ装置１２に提供することが好ましい。

　位置データ取得部２００は、現実の物体の位置を示す位置データを取得する。物体の位置データは現実空間における３次元位置データであってよいが、２次元空間の位置データであってもよい。いずれにしても位置データは、その時系列から、サーバ装置１２が物体の過去の動きを特定して、物体の未来の動きを予測できるものである必要がある。

　実施例の位置データ取得部２００は、撮像装置１４により撮影された画像データを取得する撮影画像取得部であって、撮影画像には、現実の空間における物体の位置データが含まれている。上記したように撮影画像に含まれる物体の位置データは、サーバ装置１２において、物体の動作予測を行うためのデータとして利用可能であればよい。ここで物体の位置とは、物体におけるパーツの位置や、また輪郭の位置などを含む。位置データ取得部２００は、物体の変位を検出する変位センサの検出データを取得してもよく、また赤外線センサの検出データを取得してもよく、これらのデータを複合的に取得してもよい。なお実施例で、動作予測の対象となる物体は人間であり、位置データ取得部２００は、ユーザの位置データを取得するが、動作予測の対象となる物体は、猫や犬などの動物であってもよく、また車やボールなどの物であってもよい。サーバ装置１２は、時系列的に撮影された撮影画像に含まれるユーザの位置からユーザの動きを特定して、未来のユーザの動きを予測し、未来のユーザの位置（姿勢）に対応する仮想オブジェクトを含む画像を生成する。

　視線方向決定部２２０は、ＨＭＤ１００のモーションデータに応じてユーザの視線方向を定める。具体的に視線方向決定部２２０は、モーションセンサ１２４のセンサデータから、ＨＭＤ１００の動きの変化を検出して、ＨＭＤ１００の姿勢を定める。なお視線方向決定部２２０は、トラッキング用のマーカ１１０の撮影結果をさらに利用して、動きの検出精度を高めることが好ましい。視線方向決定部２２０は、検出した動きから、現在のＨＭＤ１００の姿勢を特定し、特定したＨＭＤ１００からユーザの視線方向を求めて、データ供給部２０２に提供する。

　データ供給部２０２は、位置データ取得部２００が取得した位置データ（実施例では撮影画像）、および視線方向決定部２２０が定めたユーザの視線方向を、通信部２１０を介してサーバ装置１２の動作予測部３００に供給する。通信部２１０は、位置データおよびユーザの視線方向を符号化してネットワーク２を介してサーバ装置１２に送信し、サーバ装置１２において通信部３０４は、符号化されたデータを受信して復号し、位置データを動作予測部３００および画像生成部３０２に供給し、ユーザの視線方向を画像生成部３０２に供給する。動作予測部３００は、供給された位置データの時系列、つまりこれまで時系列的に供給された撮影画像から、物体（ユーザ）の未来の動きを予測する。具体的に動作予測部３００は、これまで供給された複数の撮影画像データの時系列から、ユーザの過去の動きを特定して、ユーザの未来の動きを予測する。

　人間の動作予測手法として、従来から様々なものが提案されている。一つの従来手法では、あらかじめ人間が行う様々な動作パターンを決定しておき、各動作パターンに特徴となる動作（予備動作含む）を経験的且つ統計的に抽出して、分類しておく。そこで実際に時系列的に得られた観測データを、分類した動作に当てはめ、適合した動作から動作パターンを特定して、未来の動作として予測する。そのため各動作パターンに適合する状態予測モデルを複数用意し、観測データとの尤度を比較して、適切な状態予測モデルを選択することで、精度の高い人間の動作予測を行うことができる。たとえば「万歳」の動作パターンに対しては、両手を開くことなく、そのまま上に持ち上げる動作や、両手を左右に均等に開きながら持ち上げる動作などが、状態予測モデルとして用意されていてよい。

　動作予測部３００は、時系列的に取得された撮影画像データから、ユーザの動きを抽出して動作パターンを特定し、適合する状態予測モデルを選択する。これにより動作予測部３００は、未来のユーザの動きを予測でき、現時点から任意の時間だけ未来のユーザの位置（姿勢）を特定できる。なお動作予測部３００は、過去のユーザの姿勢変化を線形補外して未来の姿勢を予測する手法を併用してもよく、また他の手法を利用してもよい。

　実施例で動作予測部３００は、情報処理装置１０で導出された遅延時間を取得する。動作予測部３００は、供給された撮影画像データにもとづいて、ユーザの動きを予測して、遅延時間以上未来のユーザの位置（姿勢）を特定する。ここで特定するユーザの姿勢を、遅延時間以上未来のユーザの姿勢としているが、理想的には遅延時間だけ未来のユーザの姿勢であり、実際には遅延時間よりも少しだけ未来のユーザの姿勢であってよい。動作予測部３００が、ユーザの動きを予測して未来のユーザの位置を特定すると、画像生成部３０２が、予測したユーザの未来の位置を反映した予測画像を生成する。具体的に画像生成部３０２は、仮想３次元空間において、仮想オブジェクトの動きが、動作予測部３００で予測したユーザの動きとなるように、仮想オブジェクトを動作させて遅延時間だけ未来の仮想オブジェクトの位置（姿勢）を特定する。仮想オブジェクトは、ボーンデータと、ボーンの周囲にメッシュを貼り付けた人体モデルによって形成されてよいが、これに限るものではなく、３次元人体モデルとして任意の姿勢をとることができるものであればよい。画像生成部３０２は、仮想３次元空間に、ユーザの視線方向を光軸とする仮想カメラを配置し、仮想オブジェクトを撮影することで、ＨＭＤ１００に表示する仮想３次元空間の予測画像を生成する。

　通信部３０４は、画像生成部３０２が生成した予測画像を符号化して、ネットワーク２を介して情報処理装置１０に送信し、情報処理装置１０において通信部２１０は、符号化されたデータを受信して復号し、復号した予測画像を表示画像提供部２０４に供給する。表示画像提供部２０４は予測画像を取得して、ＨＭＤ１００に提供し、制御部１２０が、予測画像を表示パネル１３０に表示する。

　以下、遅延時間を導出する手法について説明する。遅延時間は、動作予測部３００が予測する未来の時間を定めるものであり、動作予測部３００が動作予測処理を行う前に、導出されている必要がある。一方で、上記したようにネットワーク２の状態に応じて遅延時間は変動するため、遅延時間の導出は高頻度に実施されて、ネットワーク２の状態変化に対応することが好ましい。

　以下、遅延導出部２０６が、過去に遅延時間を導出して保持している前提のもとで、新たに遅延時間を導出することについて説明する。遅延導出部２０６は、位置データ取得部２００が位置データを取得するタイミングから、当該位置データにもとづいて予測された未来のユーザの位置を反映した予測画像を表示画像提供部２０４がＨＭＤ１００に提供するタイミングまでの間の時間を含む遅延時間を導出する。

　遅延時間の導出処理を開始するにあたり、発光指示部２０８が、ＨＭＤ１００に、発光部１１２の発光指示を供給する。このとき発光指示部２０８は、発光指示を供給した時刻情報を遅延導出部２０６に提供する。

　ＨＭＤ１００において、通信制御部１２８が発光指示を取得すると、制御部１２０が発光部１１２をインパルス型発光させる。発光部１１２によるインパルス型発光は、撮像装置１４により撮影されて、位置データ取得部２００は、発光部１１２の発光を撮影した撮影画像を取得する。

　データ供給部２０２は、遅延導出部２０６により過去に導出された遅延時間を保持している。データ供給部２０２は、位置データ取得部２００が取得した撮影画像を、ユーザの視線方向、遅延時間とともに、通信部２１０からサーバ装置１２に供給する。この遅延時間は、今回送信する撮影画像が位置データ取得部２００に取得されるより前に遅延導出部２０６によって導出された遅延時間である。

　通信部２１０は、撮影画像、視線方向および遅延時間を符号化してネットワーク２を介してサーバ装置１２に送信する。サーバ装置１２において通信部３０４は、撮影画像、視線方向および遅延時間を受信して復号し、撮影画像および遅延時間を動作予測部３００に供給し、撮影画像および視線方向を画像生成部３０２に供給する。動作予測部３００は、今回供給された撮影画像および過去に供給された撮影画像の時系列から、遅延時間だけ未来（ないしは遅延時間よりも少し先の未来）のユーザの位置（姿勢）を予測する。画像生成部３０２は、動作予測部３００が予測したユーザの動きにもとづいて、未来のユーザの位置を仮想オブジェクトの位置に反映した予測画像を生成する。

　画像生成部３０２は、通信部３０４から供給される撮影画像を解析して、発光部１１２の発光が撮影されているか否かを判定する。画像生成部３０２は、発光部１１２の発光色を予め通知されており、撮影画像に含まれるＨＭＤ１００の領域に、通知された発光色画像が含まれていれば、発光部１１２の発光が撮影されていることを判定する。画像生成部３０２は、撮影画像に発光部１１２の発光が撮影されていることを判定すると、生成する予測画像に、発光部１１２の発光を撮影した画像にもとづいて生成した画像であることを示す情報を埋め込む。

　この情報は、どのような手法で埋め込まれてもよく、たとえば画像生成部３０２は、ＨＭＤ１００の発光部１１２に対応する仮想オブジェクトの位置（つまり仮想オブジェクトの額の位置あたり）に、発光部１１２の発光色と同色のポイント画像を含める。なお画像生成部３０２はメタデータに、発光部１１２の発光を撮影した画像にもとづいて生成した画像であることを示す情報を埋め込んでもよい。いずれにしても、この情報は、情報処理装置１０において、発光部１１２の発光を撮影した画像にもとづいて生成された予測画像であることが特定されるように埋め込まれていればよい。

　なお発光部１１２が多色発光可能であって、発光指示部２０８が発光色を指示して、発光部１１２が指示された色で発光する場合には、画像生成部３０２は、予測画像に、発光部１１２の発光を撮影した画像にもとづいて生成した画像であること、および発光部１１２の発光色を示す情報を埋め込んでよい。

　通信部３０４は、画像生成部３０２が生成した予測画像を符号化して、ネットワーク２を介して情報処理装置１０に送信し、情報処理装置１０において通信部２１０は、予測画像を受信して復号し、表示画像提供部２０４に供給する。表示画像提供部２０４は、予測画像をＨＭＤ１００および遅延導出部２０６に提供する。ＨＭＤ１００は、予測画像を表示パネル１３０に表示する。ユーザの動作と、表示パネル１３０に表示される仮想オブジェクトの動作とは理想的には完全に同期する。

　遅延導出部２０６は、予測画像に、発光部１１２の発光を撮影した画像にもとづいて生成した画像であることを示す情報が埋め込まれているか判断する。かかる情報が埋め込まれている場合、遅延導出部２０６は、発光指示部２０８が発光指示をＨＭＤ１００に供給した時刻と、表示画像提供部２０４が予測画像をＨＭＤ１００に提供した時刻との差分を、遅延時間として導出する。この２つの時刻の差分は、位置データ取得部２００が位置データを取得するタイミングから、当該位置データにもとづいて生成された予測画像を表示画像提供部２０４がＨＭＤ１００に胎教するタイミングまでの間の時間を含む。

　なお実施例では、遅延導出部２０６が、発光指示部２０８が発光指示をＨＭＤ１００に供給した時刻を用いて遅延時間を導出しているが、位置データ取得部２００が位置データを取得した時刻を用いて遅延時間を導出してもよい。この場合は、位置データ取得部２００が位置データを取得すると、その取得時刻を遅延導出部２０６に通知しておけばよい。

　遅延導出部２０６は遅延時間を導出すると、導出した新たな遅延時間を、過去に導出した遅延時間と置き換え、データ供給部２０２に提供する。データ供給部２０２は、新たに導出された遅延時間で、古い遅延時間を上書き更新する。データ供給部２０２は、位置データ取得部２００が取得した位置データを、保持している遅延時間とともに、通信部２１０からサーバ装置１２に送信する。これにより動作予測部３００は、取得した位置データから、遅延時間後のユーザの現実空間における位置を予測できるようになる。発光指示部２０８は、定期的に発光指示をＨＭＤ１００に供給し、遅延導出部２０６が、定期的に遅延時間を導出することが好ましい。

　なお遅延導出部２０６は、発光部１１２の発光を利用した上記手法により、全体の遅延時間を導出してよいが、処理系の遅延時間と伝送系の遅延時間とを区別して導出してもよい。実施例で処理系の遅延時間とは、撮像装置１４による撮像処理、位置データ取得部２００における撮影画像の取得処理、通信部２１０および通信部３０４による符号化処理、復号処理、動作予測部３００による動作予測処理、画像生成部３０２における画像生成処理などの処理にかかる時間の総和である。これらの処理時間は、情報処理装置１０およびサーバ装置１２のデバイス能力に依存し、過剰な負荷がかかっていない状態では、ほぼ変化しない。そこで遅延導出部２０６は、処理系の遅延時間を事前に一回求めておき、以後は固定値として利用してよい。

　一方で、伝送系の遅延時間は、ネットワーク２の状況に応じて変化しやすい。そこで遅延導出部２０６は、通信部２１０および通信部３０４の間のラウンドトリップタイムを定期的に計測して、伝送系の遅延時間を導出してもよい。全体の遅延時間は、処理系の遅延時間と伝送系の遅延時間とを加算することで求められ、遅延導出部２０６は、定期的に伝送系の遅延時間を導出して、全体の遅延時間をデータ供給部２０２に提供してもよい。なお遅延導出部２０６はタイムスタンプを用いて遅延時間を導出してもよく、遅延時間の導出手法は、いずれかの手法に限定されるものではない。たとえば遅延導出部２０６は、過去に計測された複数の遅延時間を用いて外挿法によって遅延時間を導出してもよく、またネットワークのトラフィック状況をシミュレーションにより推測することで、現在の遅延時間を推定してもよい。

　上記した例では、動作予測部３００が、時系列的に供給される撮影画像から、遅延時間だけ未来のユーザの位置（姿勢）を予測して、画像生成部３０２が、ユーザの視線方向を光軸とする仮想カメラを３次元仮想空間に配置することで、予測画像を生成した。遅延導出部２０６が、高頻度に遅延時間を導出することで、ユーザの動きと、ＨＭＤ１００に表示される仮想オブジェクトの動きとを同期させることが可能となる。

　図５は、遅延時間を説明するための図である。ここで図５に示した時間の間隔（ｔn～ｔn+1）は１／３０秒であるものとする。そのため時刻ｔn～時刻ｔn+6の間隔は６／３０秒である。

　図５に示す例では、時刻ｔnで撮像装置１４がユーザを撮影し、情報処理装置１０が撮影画像をサーバ装置１２に送信して、時刻ｔn+3でサーバ装置１２が、撮影画像を受信する。その後、サーバ装置１２において、ユーザ動作の予測処理が実施されて、遅延時間だけ未来のユーザの動きを仮想オブジェクトの姿勢に反映した予測画像が生成されて、情報処理装置１０に送信される。情報処理装置１０は予測画像を受信し、ＨＭＤ１００に送信する。この例では、時刻ｔn+6で、ＨＭＤ１００が予測画像を受信し、表示する。なお時刻ｔn～時刻ｔn+6の間隔は、実際の遅延時間であり、この例では０．２秒（＝６／３０秒）である。

　図５に示すように、情報処理装置１０からサーバ装置１２には、時刻ｔn以降も、１／３０秒の周期で撮影画像が送信される。この例では、サーバ装置１２で生成された予測画像が、情報処理装置１０において１／３０秒の周期で受信されている。つまりネットワーク２が安定した状態にあって、遅延時間が一定に保たれている。このように遅延時間に変動がなければ、動作予測部３００は、取得した撮影画像から、０．２秒後のユーザの姿勢を予測し、画像生成部３０２が、仮想オブジェクトの姿勢を、予測されたユーザの姿勢に合わせた予測画像を生成すればよい。

　しかしながら、ネットワーク２に瞬間的に大きな負荷が発生したような場合には、予測画像が情報処理装置１０に届くのに、設定された遅延時間（０．２秒）を超えることがある。このような場合に対処するために、画像生成部３０２は、遅延時間だけ未来の予測画像（「第１予測画像」と呼ぶ）に加えて、第１予測画像よりもさらに未来の第２予測画像を生成してもよい。

　図５を参照して、画像生成部３０２は、時刻ｔnで撮影された撮影画像を用いて、遅延時間だけ未来の第１予測画像、つまり時刻ｔn+6のユーザの予測される姿勢を仮想オブジェクトの姿勢に反映させた画像を生成するが、さらに時刻ｔn+7の第２予測画像を生成してもよく、さらには時刻ｔn+8の第３予測画像を生成してもよい。

　このように画像生成部３０２は、遅延時間だけ未来の第１予測画像に加えて、遅延時間にＨＭＤ１００における表示周期の整数倍を加えた時間だけ未来の第２予測画像、第３予測画像を生成してもよい。この例では、画像生成部３０２が時刻ｔnに撮影された撮影画像を用いて、時刻ｔn+6の第１予測画像と、時刻ｔn+7の第２予測画像と、時刻ｔn+8の第３予測画像とを生成する。これにより画像生成部３０２が時刻ｔn+1に撮影された撮影画像を用いて生成した時刻ｔn+7の予測画像が、時刻ｔn+7までに表示画像提供部２０４に届かない場合には、表示画像提供部２０４が、その前に取得している時刻ｔn+7の第２予測画像をＨＭＤ１００に提供する。これによりＨＭＤ１００における表示画像を途切れさせないように制御できる。

　なお表示画像提供部２０４が予測画像をもとに、ある程度の画像処理（画像変形）を行うことができてもよい。表示画像提供部２０４が画像処理機能を有している場合、画像生成部３０２は、時刻ｔn+6と時刻ｔn+7の間の予測画像を生成してもよく、時刻ｔn+6より前の予測画像を生成してもよい。表示画像提供部２０４は、仮に時刻ｔn+7の予測画像が届かない場合には、時刻ｔn+6と時刻ｔn+7の間の予測画像から、時刻ｔn+7の画像を生成して、ＨＭＤ１００に提供してよい。

　以上、本発明を実施例をもとに説明した。実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。実施例では動作予測部３００が、ユーザの過去の動きから、ユーザの未来の動きを予測したが、さらに仮想空間におけるオブジェクトの動きを予測してもよい。この場合、動作予測部３００は物理エンジンの演算機能を有し、たとえば仮想空間において、ユーザに対応する仮想オブジェクトの動きに対して、ボールなどの仮想オブジェクトとの衝突判定処理を実施してもよい。動作予測部３００は、両者が衝突することを判定すると、衝突データを通信部３０４から情報処理装置１０に送信してもよい。衝突データは、ユーザが装着するハプティクスデバイスに伝えられ、ハプティクスデバイスは、ユーザに衝突データにもとづいた触覚フィードバックを提供してよい。

　実施例では、情報処理システム１において、１台の情報処理装置１０がクライアント装置として存在していたが、変形例では、複数台の情報処理装置１０がクライアント装置として存在していてよい。

　図６は、クライアント装置Ａとクライアント装置Ｂとが存在する例を示す。図５と同様に、時間の間隔は、１／３０秒である。クライアント装置Ａ、Ｂは、異なるユーザＡ、ユーザＢの情報処理装置１０であってよい。これは、図１を参照すると、２台の情報処理装置１０がネットワーク２に接続している状態に相当する。ここではユーザＡとユーザＢとが同じ仮想空間内でテニスゲームをプレイするような状況を想定している。サーバ装置１２は、ユーザＡの動きとユーザＢの動きとが、ゲーム空間におけるそれぞれのプレイヤキャラクタの動きに同期させるように、予測画像を生成することが好ましい。

　クライアント装置Ａにおいて、データ供給部２０２は、ユーザＡの位置データを、遅延導出部２０６により導出された第１遅延時間とともに、サーバ装置１２の動作予測部３００に供給する。第１遅延時間は０．２秒である。

　クライアント装置Ｂにおいて、データ供給部２０２は、ユーザＢの位置データを、遅延導出部２０６により導出された第２遅延時間とともに、サーバ装置１２の動作予測部３００に供給する。第２遅延時間は０．４秒である。

　サーバ装置１２は、時刻ｔn+6のタイミングで、クライアント装置Ａから時刻ｔn+3で撮影されたユーザＡの撮影画像を取得し、クライアント装置Ｂから時刻ｔnで撮影されたユーザＢの撮影画像を取得する。サーバ装置１２は、クライアント装置Ａ、Ｂのそれぞれの遅延時間に配慮して、クライアント装置Ａ用の予測画像と、クライアント装置Ｂ用の予測画像とを生成する。なお、この例では、クライアント装置から送信される撮影画像に、撮影時刻を示すタイムスタンプが含まれているものとする。

　動作予測部３００は、クライアント装置Ａ用に、ユーザＡの撮影画像とユーザＢの撮影画像をもとに、ユーザＡの撮影画像の取得時刻（時刻ｔn+3）から第１遅延時間だけ未来となる時刻ｔn+9におけるユーザＡとユーザＢの位置（姿勢）を予測する。図６に示す例では、動作予測部３００は、ユーザＡについて、０．２秒（＝時刻ｔn+9－時刻ｔn+3）後の姿勢を予測し、ユーザＢについて、０．３秒（＝時刻ｔn+9－時刻ｔn）後の姿勢を予測する。画像生成部３０２は、動作予測部３００が予測したユーザＡおよびユーザＢの未来の位置を反映した予測画像を生成する。この予測画像は、クライアント装置Ａに送信される。

　また動作予測部３００は、クライアント装置Ｂ用に、ユーザＡの撮影画像とユーザＢの撮影画像をもとに、ユーザＢの撮影画像の取得時刻（時刻ｔn）から第２遅延時間だけ未来となる時刻ｔn+12におけるユーザＡとユーザＢの位置（姿勢）を予測する。図６に示す例では、動作予測部３００は、ユーザＡについて、０．３秒（＝時刻ｔn+12－時刻ｔn+3）後の姿勢を予測し、ユーザＢについて、０．４秒（＝時刻ｔn+12－時刻ｔn）後の姿勢を予測する。画像生成部３０２は、動作予測部３００が予測したユーザＡおよびユーザＢの未来の位置を反映した予測画像を生成する。この予測画像は、クライアント装置Ｂに送信される。

　以上のようにして、サーバ装置１２は、複数のクライアント装置における見た目上の遅延を遮蔽するように、ユーザの動作予測処理を実施してよい。

　なおユーザＡとユーザＢとがテニスゲームで対戦プレイする場合を考える。いずれか一方の遅延時間が大きい場合や、両者の遅延時間の差が大きい場合には、動作予測部３００における動作予測処理が、かなり厳しくなることが予想される。そのためサーバ装置１２において、画像生成部３０２は、以下のような画像生成処理を実施してもよい。

　一つの手法として、動作予測部３００は、ユーザＡ、Ｂの動作予測を行いつつ、画像生成部３０２は、ユーザＡ、Ｂのそれぞれのプレイヤキャラクタを、基本的には動作予測結果とは無関係に動作させる。具体的に画像生成部３０２は、プレイヤキャラクタ同士がラリーを続けるようなシミュレーション画像を生成し、それぞれのクライアント装置Ａ、Ｂに提供する。ユーザＡ、Ｂは、このゲーム画像をみてテニスをプレイするが、ここでサーバ装置１２において、ユーザＢのミスショットが検出されると、画像生成部３０２は、ユーザＢのキャラクタがミスショットしたゲーム画像を生成して、クライアント装置Ａ、Ｂに提供する。

　別の手法として、対戦プレイの勝敗に直接的な影響を及ぼすオブジェクト（ここではテニスボール）のスピードをコントロールすることで、遅延時間が大きい場合のゲーム性を維持する。遅延時間が大きい場合、テニスボールを速く動かすと、ユーザＡ、Ｂに対して同じゲーム状況を伝達することが困難となる。そのためテニスボールを、非常にゆっくりとしたスピードで動かすことで、ユーザＡ、Ｂに同じゲーム状況を伝達する時間を確保するようにゲームをコントロールする。この場合、画像生成部３０２は、動作予測部３００により予測された結果に応じて、各プレイヤキャラクタを動かすように制御してもよいが、ゲーム性を左右するボールについては、ユーザＡ、Ｂに同じゲーム状況を伝達するためにゆっくりと動かすように制御する。

１・・・情報処理システム、１０・・・情報処理装置、１２・・・サーバ装置、１４・・・撮像装置、１６・・・出力装置、１００・・・ＨＭＤ、２００・・・位置データ取得部、２０２・・・データ供給部、２０４・・・表示画像提供部、２０６・・・遅延導出部、２０８・・・発光指示部、２１０・・・通信部、２２０・・・視線方向決定部、３００・・・動作予測部、３０２・・・画像生成部、３０４・・・通信部。

　本発明は、現実の物体の動きを反映した画像を生成、表示する技術分野に利用できる。

Claims

　ディスプレイに提供する画像を生成する情報処理システムであって、
　現実の物体の位置を示す位置データを取得する位置データ取得部と、
　当該情報処理システムにおける遅延時間を導出する遅延導出部と、
　前記位置データ取得部が取得した前記位置データにもとづいて、当該物体の動きを予測して、遅延時間以上未来の物体の位置を特定する動作予測部と、
　未来の物体の位置を反映した予測画像を生成する画像生成部と、
　生成された予測画像を取得して、ディスプレイに提供する表示画像提供部と、を備え、
　前記遅延導出部は、前記位置データ取得部が位置データを取得するタイミングから、当該位置データにもとづいて予測された未来の物体の位置を反映した予測画像を前記表示画像提供部がディスプレイに提供するタイミングまでの間の時間を含む遅延時間を導出する、
　ことを特徴とする情報処理システム。
　前記位置データ取得部が取得した位置データを、前記動作予測部に供給するデータ供給部をさらに備え、
　前記データ供給部は、位置データを、当該位置データが取得されるより前に前記遅延導出部により導出された遅延時間とともに、前記動作予測部に供給する、
　ことを特徴とする請求項１に記載の情報処理システム。
　当該情報処理システムは、ネットワークを介して接続するクライアント装置とサーバ装置を備え、
　前記位置データ取得部、前記データ供給部および前記表示画像提供部は、前記クライアント装置に設けられ、
　前記動作予測部および前記画像生成部は、前記サーバ装置に設けられる、
　ことを特徴とする請求項２に記載の情報処理システム。
　前記動作予測部は、仮想空間における仮想オブジェクトと前記物体との衝突判定処理を実施し、両者が衝突することを判定すると、衝突データを前記クライアント装置に送信する、
　ことを特徴とする請求項３に記載の情報処理システム。
　当該情報処理システムは、第１クライアント装置および第２クライアント装置を備え、
　前記第１クライアント装置において、前記データ供給部は、第１物体の位置データを、前記遅延導出部により導出された第１遅延時間とともに、前記サーバ装置の前記動作予測部に供給し、
　前記第２クライアント装置において、前記データ供給部は、第２物体の位置データを、前記遅延導出部により導出された第２遅延時間とともに、前記サーバ装置の前記動作予測部に供給し、
　前記サーバ装置において、
　前記動作予測部は、前記第１クライアント装置用に、第１物体の位置データおよび第２物体の位置データから、前記第１クライアント装置における第１物体の位置データの取得時刻から第１遅延時間だけ未来の時刻の第１物体および第２物体の位置を予測し、前記画像生成部は、前記動作予測部が予測した第１物体および第２物体の未来の位置を反映した予測画像を生成し、
　前記動作予測部は、前記第２クライアント装置用に、第１物体の位置データおよび第２物体の位置データから、前記第２クライアント装置における第２物体の位置データの取得時刻から第２遅延時間だけ未来の時刻の第１物体および第２物体の位置を予測し、前記画像生成部は、前記動作予測部が予測した第１物体および第２物体の未来の位置を反映した予測画像を生成する、
　ことを特徴とする請求項３または４に記載の情報処理システム。
　現実の物体の位置を示す位置データを取得する位置データ取得部と、
　遅延時間を導出する遅延導出部と、
　サーバ装置が位置データにもとづいて当該物体の動きを予測して、遅延時間以上未来の物体の位置を反映するように生成した予測画像を取得して、ディスプレイに提供する表示画像提供部と、を備える、
　ことを特徴とする情報処理装置。
　現実の物体の位置を示す位置データを取得するステップと、
　遅延時間を導出するステップと、
　サーバ装置が位置データにもとづいて当該物体の動きを予測して、遅延時間以上未来の物体の位置を反映するように生成した予測画像を取得して、ディスプレイに提供するステップと、を有する、
　ことを特徴とする画像提供方法。
　コンピュータに、
　現実の物体の位置を示す位置データを取得する機能と、
　遅延時間を導出する機能と、
　サーバ装置が位置データにもとづいて当該物体の動きを予測して、遅延時間以上未来の物体の位置を反映するように生成した予測画像を取得して、ディスプレイに提供する機能と、
　を実現させるためのプログラム。
　情報処理装置から現実の物体の位置を示す位置データと遅延時間とを取得して、当該物体の動きを予測して、遅延時間以上未来の物体の位置を特定する動作予測部と、
　未来の物体の位置を反映した予測画像を生成する画像生成部と、を備える、
　ことを特徴とするサーバ装置。
　情報処理装置から現実の物体の位置を示す位置データと遅延時間とを取得して、当該物体の動きを予測して、遅延時間以上未来の物体の位置を特定するステップと、
　未来の物体の位置を反映した予測画像を生成するステップと、を有する、
　ことを特徴とする画像生成方法。
　コンピュータに、
　情報処理装置から現実の物体の位置を示す位置データと遅延時間とを取得して、当該物体の動きを予測して、遅延時間以上未来の物体の位置を特定する機能と、
　未来の物体の位置を反映した予測画像を生成する機能と、
　を実現させるためのプログラム。