JP2024018242A - 情報処理装置および画像生成方法 - Google Patents

Abstract

【課題】ＨＭＤとは異なるディスプレイが存在する環境下において、ＨＭＤの位置または姿勢の少なくとも一方を高精度に推定するための技術を提供する。【解決手段】推定処理部２２２は、ＨＭＤの周囲を第１時刻と第２時刻に撮影した画像を用いて第１時刻と第２時刻の間のＨＭＤの第１移動量を推定し、推定した第１移動量の信頼度を導出する。ＴＶ画像生成部２３４は、静止画である絵柄を少なくとも一部に含む表示画像を生成する機能を有する。推定処理部２２２は、ＨＭＤに搭載された姿勢センサが第１時刻から第２時刻の間に取得したセンサデータを用いて第１時刻と第２時刻の間のＨＭＤの第２移動量を推定する。絵柄制御部２２６は、第２移動量および第１移動量の差分と、第１移動量の信頼度にもとづいて、ＴＶ画像生成部２３４に、絵柄を含む表示画像を生成させるか否かを決定する。【選択図】図４

Description

本開示は、ヘッドマウントディスプレイの周囲を撮影した画像にもとづいて、ヘッドマウントディスプレイの位置または姿勢の少なくとも一方を推定する技術に関する。

近年、ユーザがヘッドマウントディスプレイ（以下「ＨＭＤ」と呼ぶ。）を頭部に装着し、ＨＭＤに表示されたゲーム画像を見ながら、ゲームコントローラを操作してゲームをプレイすることが行われている。ＨＭＤのトラッキング処理を実施して、ユーザの頭部の動きにＨＭＤに表示されるゲーム空間の映像を連動させることで、映像への没入感が向上し、ゲームのエンタテインメント性を高めることができる。

特開２０１５－９５０４５号公報

ＨＭＤの位置および／または姿勢を推定する技術として、ＳＬＡＭ（Simultaneous Localization And Mapping）が知られている。ＳＬＡＭは、自己位置推定と環境地図作成とを同時に行う技術であり、ＨＭＤに搭載されたカメラで撮影された画像を用いて特徴点のトラッキングを行うことで、ＨＭＤの位置および／または姿勢を推定することが可能となる。

特徴点のトラッキング処理において、ＨＭＤの近くに動画を表示しているテレビが存在し且つカメラが撮影する画像にテレビが大きく含まれる場合、有効な特徴点を抽出することができず、トラッキングロストが生じることがある。特に、ＨＭＤにゲーム画像を表示しつつ、テレビにも同じゲーム画像を表示するゲームシステムでは、ＨＭＤに搭載されたカメラがテレビに表示されるゲーム画像を撮影することで、トラッキング精度が悪化することがある。

そこで本開示は、ＨＭＤとは異なるディスプレイが存在する環境下において、ＨＭＤの位置または姿勢の少なくとも一方を高精度に推定するための技術を提供することを目的とする。

上記課題を解決するために、本開示のある態様の情報処理装置は、ヘッドマウントディスプレイの周囲を第１時刻と第２時刻に撮影した画像を用いて第１時刻と第２時刻の間のヘッドマウントディスプレイの第１移動量を推定し、推定した第１移動量の信頼度を導出する推定処理部と、ヘッドマウントディスプレイとは異なるディスプレイに表示する表示画像を生成する画像生成部とを備え、画像生成部は、静止画である絵柄を少なくとも一部に含む表示画像を生成する機能を有する。推定処理部は、ヘッドマウントディスプレイに搭載された姿勢センサが第１時刻から第２時刻の間に取得したセンサデータを用いて第１時刻と第２時刻の間のヘッドマウントディスプレイの第２移動量を推定する。絵柄制御部は、第２移動量および第１移動量の差分と、第１移動量の信頼度にもとづいて、画像生成部に、絵柄を含む表示画像を生成させるか否かを決定する。

本開示の別の態様の画像生成方法は、ヘッドマウントディスプレイの周囲を第１時刻と第２時刻に撮影した画像を用いて第１時刻と第２時刻の間のヘッドマウントディスプレイの第１移動量を推定し、推定した第１移動量の信頼度を導出し、ヘッドマウントディスプレイに搭載された姿勢センサが第１時刻から第２時刻の間に取得したセンサデータを用いて第１時刻と第２時刻の間のヘッドマウントディスプレイの第２移動量を推定し、ヘッドマウントディスプレイとは異なるディスプレイに表示する表示画像を生成し、第２移動量および第１移動量の差分と、第１移動量の信頼度にもとづいて、静止画である絵柄を含む表示画像を生成するか否かを決定する。

情報処理システムの構成例を示す図である。 ＨＭＤの外観形状の例を示す図である。 ＨＭＤの機能ブロックを示す図である。 情報処理装置の機能ブロックを示す図である。 表示パネルに表示される表示画像の例を示す図である。 （ａ）および（ｂ）は、撮像装置が撮影した画像の例を示す図である。 出力装置に表示される画像の例を示す図である。 絵柄表示機能のオンオフの設定画面の例を示す図である。 絵柄制御部の機能ブロックを示す図である。

図１は、実施例における情報処理システム１の構成例を示す。情報処理システム１は情報処理装置１０と、記録装置１１と、ヘッドマウントディスプレイ（ＨＭＤ）１００と、ユーザが手指で操作する入力デバイス１６と、画像および音声を出力する出力装置１５とを備える。出力装置１５は、ＨＭＤ１００とは異なるディスプレイ装置であり、据置型のテレビであってよいが、映像をスクリーンや壁などに投影するプロジェクタであってもよい。情報処理装置１０は、アクセスポイント（ＡＰ）１７を介して、インターネットなどの外部のネットワーク２に接続される。ＡＰ１７は無線アクセスポイントおよびルータの機能を有し、情報処理装置１０はＡＰ１７とケーブルで接続してもよく、既知の無線通信プロトコルで接続してもよい。

記録装置１１は、システムソフトウェアや、ゲームソフトウェアなどのアプリケーションを記録する。情報処理装置１０は、コンテンツサーバからネットワーク２経由で、ゲームソフトウェアを記録装置１１にダウンロードしてよい。情報処理装置１０はゲームプログラムを実行して、ゲームの画像データおよび音声データをＨＭＤ１００に供給する。情報処理装置１０とＨＭＤ１００とは既知の無線通信プロトコルで接続されてよく、またケーブルで接続されてもよい。

ＨＭＤ１００は、ユーザが頭部に装着することによりその眼前に位置する表示パネルに画像を表示する表示装置である。ＨＭＤ１００は、左目用表示パネルに左目用の画像を、右目用表示パネルに右目用の画像を、それぞれ別個に表示する。これらの画像は左右の視点から見た視差画像を構成し、立体視を実現する。ユーザは光学レンズを通して表示パネルを見るため、情報処理装置１０は、レンズによる光学歪みを補正した視差画像データをＨＭＤ１００に供給する。

ＨＭＤ１００を装着したユーザにとって出力装置１５は必要ないが、出力装置１５を用意することで、別のユーザが出力装置１５の表示画像を見ることができる。情報処理装置１０は、ＨＭＤ１００を装着したユーザが見ている画像と同じ画像を出力装置１５に表示してよいが、別の画像を表示してもよい。

情報処理装置１０と入力デバイス１６とは既知の無線通信プロトコルで接続されてよく、またケーブルで接続されてもよい。入力デバイス１６は操作ボタンなどの複数の操作部材を備え、ユーザは入力デバイス１６を把持しながら、手指で操作部材を操作する。情報処理装置１０がゲームプログラムを実行する際、入力デバイス１６はゲームコントローラとして利用される。

ＨＭＤ１００には、複数の撮像装置１４が搭載される。複数の撮像装置１４は、ＨＭＤ１００の前面の異なる位置に取り付けられる。撮像装置１４はＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなど、一般的なデジタルビデオカメラで利用されている可視光センサを有してよい。複数の撮像装置１４は同期したタイミングで、ユーザの前方を所定の周期（たとえば６０フレーム／秒）で撮影し、撮影画像を情報処理装置１０に送信する。

情報処理装置１０は、ＨＭＤ１００の周囲を撮影した画像にもとづいて、ＨＭＤ１００の位置または姿勢の少なくとも一方を推定する機能を有する。以下では、情報処理装置１０が、ＨＭＤ１００の位置および姿勢の双方を推定する機能を有するものとして説明するが、位置または姿勢の少なくとも一方の推定機能を有していればよい。

情報処理装置１０は、連続した撮影時刻である時刻（ｔ－１）と時刻（ｔ）に撮影した撮影画像を用いて、時刻（ｔ－１）と時刻（ｔ）の間のＨＭＤ１００の移動量を推定し、時刻（ｔ）におけるＨＭＤ１００の位置および姿勢を、時刻（ｔ）の直前の時刻（ｔ－１）におけるＨＭＤ１００の位置および姿勢と、移動量を用いて推定する。情報処理装置１０は、ＨＭＤ１００の位置を、実空間に定義した座標系における位置座標として導出し、ＨＭＤ１００の姿勢を、実空間に定義した座標系における姿勢情報として導出してよい。なお情報処理装置１０は、ＨＭＤ１００に搭載された姿勢センサが時刻（ｔ－１）から時刻（ｔ）の間に取得したセンサデータをさらに利用して、ＨＭＤ１００の位置情報および姿勢情報を高精度に導出してよい。

図２は、ＨＭＤ１００の外観形状の例を示す。ＨＭＤ１００は、出力機構部１０２および装着機構部１０４から構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周してＨＭＤ１００を頭部に固定する装着バンド１０６を含む。装着バンド１０６はユーザの頭囲に合わせて長さの調節が可能な素材または構造をもつ。

出力機構部１０２は、ＨＭＤ１００を装着したユーザの左右の目を覆う形状の筐体１０８を含み、内部には装着時に目に正対する表示パネルを備える。表示パネルは液晶パネルや有機ＥＬパネルなどであってよい。筐体１０８内部にはさらに、表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。ＨＭＤ１００はさらに、ユーザの耳に対応する位置にスピーカーやイヤホンを備えてよく、外付けのヘッドホンが接続されるように構成されてもよい。

筐体１０８の前方側外面には、複数の撮像装置１４ａ、１４ｂ、１４ｃ、１４ｄが備えられる。筐体１０８の正面方向を基準として、撮像装置１４ａは、カメラ光軸が右斜め上を向くように前方側外面の右上隅に取り付けられ、撮像装置１４ｂは、カメラ光軸が左斜め上を向くように前方側外面の左上隅に取り付けられる。撮像装置１４ｃは、カメラ光軸が正面方向を向くように前方側外面の右下隅に取り付けられ、撮像装置１４ｄは、カメラ光軸が正面方向を向くように前方側外面の左下隅に取り付けられ、撮像装置１４ｃと撮像装置１４ｄは、ステレオカメラを構成する。

ＨＭＤ１００は、撮像装置１４が撮影した撮影画像、姿勢センサが取得したセンサデータを情報処理装置１０に送信し、また情報処理装置１０で生成されたゲーム画像データおよびゲーム音声データを受信する。

図３は、ＨＭＤ１００の機能ブロックを示す。制御部１２０は、画像データ、音声データ、センサデータなどの各種データや、命令を処理して出力するメインプロセッサである。記憶部１２２は、制御部１２０が処理するデータや命令などを一時的に記憶する。姿勢センサ１２４は、ＨＭＤ１００の動きに関するセンサデータを取得する。姿勢センサ１２４は、ＩＭＵ（慣性計測装置）であってよく、少なくとも３軸の加速度センサおよび３軸のジャイロセンサを含み、所定の周期（たとえば１６００Ｈｚ）で各軸成分の値（センサデータ）を検出する。

通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部１２０から出力されるデータを外部の情報処理装置１０に送信する。また通信制御部１２８は、情報処理装置１０からデータを受信し、制御部１２０に出力する。

制御部１２０は、ゲーム画像データやゲーム音声データを情報処理装置１０から受け取ると、表示パネル１３０に供給して表示させ、また音声出力部１３２に供給して音声出力させる。表示パネル１３０は、左目用表示パネル１３０ａと右目用表示パネル１３０ｂから構成され、各表示パネルに一対の視差画像が表示される。また制御部１２０は、姿勢センサ１２４が取得したセンサデータ、マイク１２６が取得した音声データ、撮像装置１４が取得した撮影画像を、通信制御部１２８から情報処理装置１０に送信させる。

図４は、情報処理装置１０の機能ブロックを示す。情報処理装置１０は、処理部２００および通信部２０２を備え、処理部２００は、取得部２１０、設定部２２０、推定処理部２２２、ゲーム実行部２２４、絵柄制御部２２６および画像生成部２３０を有する。取得部２１０は、撮影画像取得部２１２、センサデータ取得部２１４および操作情報取得部２１６を有し、画像生成部２３０は、ＨＭＤ１００に表示する表示画像を生成するＨＭＤ画像生成部２３２と、出力装置１５に表示する表示画像を生成するＴＶ画像生成部２３４とを有する。

通信部２０２は、入力デバイス１６から送信される操作情報を受信し、取得部２１０に供給する。また通信部２０２は、ＨＭＤ１００から送信される撮影画像およびセンサデータを受信し、取得部２１０に供給する。

情報処理装置１０はコンピュータを備え、コンピュータがプログラムを実行することによって、図４に示す様々な機能が実現される。コンピュータは、プログラムをロードするメモリ、ロードされたプログラムを実行する１つ以上のプロセッサ、補助記憶装置、その他のＬＳＩなどをハードウェアとして備える。プロセッサは、半導体集積回路やＬＳＩを含む複数の電子回路により構成され、複数の電子回路は、１つのチップ上に搭載されてよく、または複数のチップ上に搭載されてもよい。図４に示す機能ブロックは、ハードウェアとソフトウェアとの連携によって実現され、したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

撮影画像取得部２１２は、ＨＭＤ１００の周囲を撮影した画像を取得し、推定処理部２２２に供給する。推定処理部２２２は、撮影画像にもとづいて、ＨＭＤ１００の位置および姿勢を推定する処理を実施し、推定結果である位置情報および姿勢情報をゲーム実行部２２４に供給する。センサデータ取得部２１４は、ＨＭＤ１００の姿勢センサ１２４が検出したセンサデータを取得し、推定処理部２２２に供給する。推定処理部２２２はセンサデータを利用して、ＨＭＤ１００の位置情報および姿勢情報の推定精度を高めることが好ましい。

ゲームプレイの開始前、ＨＭＤ１００を装着したユーザは、自身の周囲の環境を撮像装置１４で撮影して登録する初期設定を実施する。初期設定時、ユーザは、プレイ中の安全を確保するために、自身がプレイするエリア（ユーザが動くことのできるエリア）を画定する。ゲームプレイ中、ユーザがプレイエリアから出そうになると、情報処理装置１０は、ユーザに対して、プレイエリアから出そうであることを警告する。ゲームプレイ中、初期設定時に登録された周囲環境の画像は定期的に更新されて、最新の環境地図が作成されてよい。

推定処理部２２２は、ＨＭＤ１００の撮像装置１４によって撮影された画像を時系列で取得し、各画像をグリッド分割して特徴点を検出する。推定処理部２２２は、時刻（ｔ－１）（以下、「第１時刻」とも呼ぶ）に撮影された画像と、時刻（ｔ）（以下、「第２時刻」とも呼ぶ）に撮影された画像との間で特徴点の対応付けを行い、異なる時刻に撮影した画像間における特徴点の移動量を推定する。以下、実施例における移動量の推定手法について説明する。

（第１時刻）
推定処理部２２２は、第１時刻において、撮像装置１４ｃと撮像装置１４ｄにより撮影された２枚の画像から、複数の特徴点の３次元座標を導出する。実施例における撮像装置１４ｃと撮像装置１４ｄはステレオカメラを構成しており、推定処理部２２２は、ステレオ方式による３次元計測を行うことで、複数（Ｎ個）の特徴点の３次元座標を導出する。導出した複数の３次元座標は、メモリ（図示せず）に記憶される。

（第２時刻）
推定処理部２２２は、第２時刻において、撮像装置１４ｃにより撮影された１枚の画像から、複数の特徴点の２次元座標を導出する。なお推定処理部２２２は、撮像装置１４ｃではなく、撮像装置１４ｄにより撮影された１枚の画像から、複数の特徴点の２次元座標を導出してもよい。

Ｎ（Ｎは３以上の整数）個の３次元点と、それらが画像平面に投影された２次元座標との対応関係から、それを撮影した撮像装置の位置および姿勢を推定する手法として、ＰＮＰ（Perspective n-Point）問題を解く方法が知られている。推定処理部２２２は、第１時刻で導出したＮ個の特徴点の３次元座標と、第２時刻で導出した複数の特徴点の２次元座標から、撮像装置１４ｃの移動量Ｔｖ（つまりはＨＭＤ１００の６自由度（６ＤｏＦ）の移動量）を推定する。推定処理部２２２は、以下の（式１）を用いて撮像装置１４ｃの移動量Ｔｖを推定する。

ここで（ｕ，ｖ）は、第２時刻に撮影された画像における特徴点の２次元座標であり、（Ｘ，Ｙ，Ｚ）は、第１時刻にステレオカメラで撮影された画像から導出された特徴点の３次元座標である。推定処理部２２２は、各特徴点の３次元座標をメモリ（図示せず）から読み出して、（Ｘ，Ｙ，Ｚ）を取得する。

（ｆ_ｘ、ｆ_ｙ）は撮像装置１４ｃの焦点距離、（ｃ_ｘ、ｃ_ｙ）は画像主点であり、いずれも撮像装置１４ｃの内部パラメータである。ｒ_１１～ｒ_３３、ｔ_１～ｔ_３を要素とする行列は、回転・並進行列である。（式１）において（ｕ，ｖ）、（ｆ_ｘ、ｆ_ｙ）、（ｃ_ｘ、ｃ_ｙ）、（Ｘ，Ｙ，Ｚ）は既知であり、推定処理部２２２は、Ｎ個の特徴点について方程式を解くことにより、それらに共通の回転・並進行列を求める。

実施例では推定処理部２２２が、誤差を示す目的関数（コスト関数）を用いて、回転・並進行列の要素をパラメータとする最小化問題を解く。ガウスニュートン法を用いる場合、目的関数をパラメータで偏微分することで、どのようにパラメータを調整すれば、コストを減らすことができるかが分かる。この偏微分結果はヤコビアンＪ（ヤコビ行列）と呼ばれ、ガウスニュートン法では、パラメータの最適化の過程でヤコビアンＪが計算される。推定処理部２２２は、目的関数が減るようにパラメータを反復的に更新し、所定の終了条件に達したら、そのときのパラメータを確定する。たとえば反復回数が所定回数となったときや、ヤコビアンＪが十分小さくなった場合に、推定処理部２２２は終了条件の成立を判定して、パラメータを確定してよい。推定処理部２２２は、回転・並進行列の要素を確定することで、第１時刻と第２時刻の間のＨＭＤ１００の移動量Ｔｖを推定する。このとき推定処理部２２２は、推定した移動量Ｔｖの信頼度（または自信度）を示す共分散行列Σｖを導出する。共分散行列Σｖは、ヤコビアンＪを用いて以下の式で求められる。
共分散行列Σｖ＝Ｊ^Ｔ・Ｊ ・・・（式２）

共分散行列Σｖは、推定した移動量Ｔｖの信頼度に対応し、信頼度が高ければ共分散行列Σｖは小さく、信頼度が低ければ共分散行列Σｖは大きくなる。具体的に、第１時刻に撮影された画像における特徴点と、第２時刻に撮影された画像における特徴点との整合性がとれていれば、共分散行列Σｖは小さく導出され、整合性がとれていなければ、共分散行列Σｖは大きく導出される。

推定処理部２２２は、第１時刻と第２時刻の間のＨＭＤ１００の移動量Ｔｖを推定し、推定した移動量Ｔｖを第１時刻におけるＨＭＤ１００の位置および姿勢に加えることで、第２時刻におけるＨＭＤ１００の位置および姿勢を推定する。ＨＭＤ１００の位置情報および姿勢情報はゲーム実行部２２４に供給されて、ゲームに対する入力として利用される。

操作情報取得部２１６は、入力デバイス１６から送信される操作情報を取得し、ゲーム実行部２２４に供給する。ゲーム実行部２２４は、入力デバイス１６の操作情報、ＨＭＤ１００の位置情報および姿勢情報にもとづいて、ゲームプログラムを実行して、仮想空間においてゲームキャラクタを動かす演算処理を行う。画像生成部２３０は、レンダリング処理などを実行するＧＰＵ（Graphics Processing Unit）を含み、ゲーム画像を生成する。

画像生成部２３０において、ＨＭＤ画像生成部２３２は、ＨＭＤ１００の表示パネル１３０に表示する表示画像を生成し、ＴＶ画像生成部２３４は、出力装置１５に表示する表示画像を生成する。なお図示していないが、情報処理装置１０は、ゲーム音声を生成する音声生成部を備えて構成される。

図５は、表示パネル１３０に表示される表示画像の例を示す。ＨＭＤ画像生成部２３２は、ゲーム画像を生成して、ＨＭＤ１００の表示パネル１３０に供給する。上記したように表示パネル１３０は、左目用表示パネル１３０ａと右目用表示パネル１３０ｂを有しており、ＨＭＤ画像生成部２３２は、左目用のゲーム画像と右目用のゲーム画像をそれぞれ生成して、左目用表示パネル１３０ａと右目用表示パネル１３０ｂに供給し、左目用表示パネル１３０ａおよび右目用表示パネル１３０ｂは、それぞれゲーム画像を表示する。実施例におけるＴＶ画像生成部２３４は、ＨＭＤ画像生成部２３２が生成する画像と同じゲーム画像を生成して、出力装置１５に供給する。

ＨＭＤ１００を頭部に装着したユーザが、出力装置１５が設置されている方向を向いてゲームをプレイしている場合、出力装置１５の画面サイズが大きく、且つユーザと出力装置１５との距離が近ければ、撮像装置１４が撮影する画像に含まれる出力装置１５の領域は大きくなる。このとき推定処理部２２２は、出力装置１５に表示されているゲーム画像から多くの特徴点を抽出することになり、過去に抽出した特徴点と対応付けができない場合には、トラッキングロストが生じる可能性が高くなる。

図６（ａ）は、撮像装置１４ｃが撮影した画像の例を示し、図６（ｂ）は、撮像装置１４ｄが撮影した画像の例を示す。撮像装置１４ｃと撮像装置１４ｄとはステレオカメラを構成しているため、両者の撮影画像は水平方向に僅かにずれた画像となる。図６に示される例では、撮影画像に、出力装置１５に表示されたゲーム画像が大きく含まれている。

図６（ａ）および（ｂ）に示す撮影画像において、出力装置１５に表示されているゲーム画像の占める割合は非常に大きい。ゲーム画像が刻々と変化し、推定処理部２２２が、撮影画像から、有効な特徴点を抽出することが困難になると、ＨＭＤ１００の位置および姿勢の推定処理を失敗することがある。

そこで実施例の情報処理装置１０において、ＴＶ画像生成部２３４が、静止画である絵柄を少なくとも一部に含む表示画像を生成する機能を備える。ＴＶ画像生成部２３４が、絵柄を含む表示画像を生成することで、推定処理部２２２が、トラッキングに有効な特徴点を抽出できるようにする。

＜絵柄表示機能について＞
図７は、出力装置１５に表示される画像の例を示す。ＴＶ画像生成部２３４は、静止画である絵柄７０を一部に含む表示画像を生成する。この例でＴＶ画像生成部２３４は、枠を構成する絵柄７０と、枠の内側にゲーム動画７２を含む表示画像を生成し、出力装置１５に表示する。矩形の枠を構成する絵柄７０が静止画として表示されることで、推定処理部２２２は、出力装置１５を撮影した画像に含まれる絵柄７０から、トラッキングに有効な特徴点を抽出することが可能となる。

ＴＶ画像生成部２３４は、絵柄７０により構成される枠の内側に、画像サイズを縮小したゲーム動画７２を表示してよいが、画像サイズを縮小せずに、絵柄７０により構成される矩形の枠をゲーム動画７２に重畳した表示画像を生成してもよい。ゲーム動画７２の視認性を損なわないために、枠が占める領域は、出力装置１５の画面サイズの５０％以下となるように定められることが好ましい。なおＴＶ画像生成部２３４は、絵柄７０を、枠として表示するのではなく、たとえば出力装置１５の画面４隅に、ブロックとして表示してもよい。つまりＴＶ画像生成部２３４は、絵柄７０をブロック画像として隅に含む表示画像を生成してもよい。またＴＶ画像生成部２３４は、上下左右のいずれか一つの側、または複数の側に絵柄７０を含む表示画像を生成して、絵柄７０が、出力装置１５の画面の上下左右のいずれか一つの側、または複数の側に表示されてもよい。いずれの場合においても、絵柄７０は、推定処理部２２２によるトラッキング処理をサポートするために、静止画として表示される。

推定処理部２２２は、撮影画像に含まれるコーナー部（角部）を特徴点として抽出するため、絵柄７０は、コーナーを多く含む模様で構成されることが好ましい。なおトラッキング精度を高めるために、絵柄７０は、近い位置で同じパターンを繰り返さないように構成されることが好ましい。

設定部２２０は、ＴＶ画像生成部２３４による絵柄表示機能のオンまたはオフを設定する。ＴＶ画像生成部２３４による絵柄表示機能のオンまたはオフは、初期設定時に、ユーザにより設定されてよい。
図８は、絵柄表示機能のオンオフの設定画面の例を示す。この設定画面は、初期設定時に表示パネル１３０に表示される。ユーザが「トラッキング補助表示」をオン設定すると、設定部２２０は絵柄表示機能をアクティブにする。これによりＴＶ画像生成部２３４は、所定の条件が成立した場合に、絵柄７０を含む表示画像を生成する。ユーザが「トラッキング補助表示」をオフ設定すると、設定部２２０は、ＴＶ画像生成部２３４による絵柄表示機能を無効に設定する。

なお絵柄表示機能が無効に設定されている場合、推定処理部２２２は、出力装置１５に表示されたゲーム画像を撮影した画像を用いてトラッキング処理することで、ＨＭＤ１００の位置および姿勢の推定処理に失敗することがある。推定処理に失敗したとき、設定部２２０は、ＴＶ画像生成部２３４による絵柄表示機能を自動的にアクティブに設定して、絵柄表示機能を実施できる状態にしてもよい。

＜絵柄表示機能の実施条件について＞
絵柄７０を表示することで、推定処理部２２２によるＨＭＤ１００の移動量Ｔｖの推定精度は向上するが、欠点としては、図７に示されるように、ゲーム動画７２の表示領域が狭くなる。そのため絵柄７０を常時表示することは好ましくなく、ＨＭＤ１００の移動量Ｔｖの推定精度が悪化しやすい状況下に限って絵柄７０を表示することが好ましい。

本開示者は、様々な環境下でトラッキング処理をテストした結果、移動量の推定精度が悪化する要因を以下のように特定した。
（要因１）固定された特徴点が少ない環境（テクスチャレス環境）で、出力装置１５が、ＨＭＤ１００の動きに連動するゲーム画像を表示しており、ＨＭＤ１００の撮像装置１４が、出力装置１５に表示されたゲーム画像を撮影している（図６参照）。
（要因２）ＨＭＤ１００を装着したユーザが首を横に回転することで、表示パネル１３０に表示される画像は、首の回転量に応じて変更されるが、出力装置１５にも同じゲーム画像が表示されているため、出力装置１５の画面内でゲーム画像の特徴点が移動することになる。このとき図６に示すように、撮像装置１４ｃが撮影する画像内でゲーム画像が占める割合が大きければ、推定処理部２２２は、ゲーム画像から多くの特徴点を抽出し、これらの特徴点からＨＭＤ１００の移動量Ｔｖを推定することになる。しかしながらゲーム画像から抽出される特徴点は、ＨＭＤ１００の動きに連動して画面内で移動しており、推定処理部２２２は、移動した特徴点にもとづいて、ＨＭＤ１００の移動量Ｔｖを正確に推定できなくなる。そのため、このような場合に絵柄７０を表示して、推定処理部２２２による特徴点のトラッキング処理をサポートすることが好ましい。

なお、この状況下において、第１時刻の撮影画像と第２時刻の撮影画像の整合性はとれており（出力装置１５の画面内でゲーム画像が横に動くだけなので、撮影画像間で矛盾は生じていない）、推定処理部２２２は、ＨＭＤ１００の移動量Ｔｖを問題なく推定でき、推定した移動量Ｔｖの信頼度を示す共分散行列Σｖは小さい値をもつ（つまり共分散行列Σｖは、移動量Ｔｖの信頼度が高いことを示す）。そこで実施例では、このような状況が成立している場合に、絵柄制御部２２６がＴＶ画像生成部２３４に、絵柄７０を含む表示画像を生成させることを決定する。

既述したように推定処理部２２２は、ＨＭＤ１００の周囲を第１時刻と第２時刻に撮影した画像を用いて、第１時刻と第２時刻の間のＨＭＤ１００の移動量Ｔｖを推定し、推定した移動量Ｔｖの信頼度を示す共分散行列Σｖを導出する。上記したように共分散行列Σｖは、推定した移動量Ｔｖの信頼度が高いほど小さく、推定した移動量Ｔｖの信頼度が低いほど大きくなる。推定処理部２２２は、推定した移動量Ｔｖと、導出した共分散行列Σｖを絵柄制御部２２６に提供する。

実施例の推定処理部２２２は、ＨＭＤ１００に搭載された姿勢センサ１２４が第１時刻から第２時刻の間に取得したセンサデータを用いて、第１時刻と第２時刻の間のＨＭＤ１００の移動量Ｔｉを推定する。具体的に推定処理部２２２は、加速度を積分して速度変化量を算出し、速度変化量を用いて推定される速度を積分して位置変化量を算出し、また角速度を積分して姿勢変化量を算出することで、ＨＭＤ１００の６自由度の移動量Ｔｉを推定する。なお推定処理部２２２は、第１時刻におけるＨＭＤ１００の姿勢および速度を用いて第１時刻と第２時刻の間のＨＭＤ１００の移動量Ｔｉを推定するが、第１時刻におけるＨＭＤ１００の姿勢および移動速度は、推定処理部２２２が第１時刻において推定した姿勢および移動速度を用いてよい。推定処理部２２２は、センサデータにもとづいて推定した移動量Ｔｉを絵柄制御部２２６に提供する。

図９は、絵柄制御部２２６の機能ブロックを示す。絵柄制御部２２６は、受付部２４０、差分導出部２４２、マハラノビス距離算出部２４４および判定部２４６を有する。絵柄制御部２２６は、移動量Ｔｉと移動量Ｔｖの差分と、移動量Ｔｖの信頼度にもとづいて、ＴＶ画像生成部２３４に、静止画である絵柄７０を含む表示画像を生成させるか否かを決定する機能を有する。

受付部２４０は、推定処理部２２２から、第２時刻に導出された移動量Ｔｖ、共分散行列Σｖ、移動量Ｔｉを受け付ける。差分導出部２４２は、移動量Ｔｉと移動量Ｔｖの差分ΔＴを算出する。
ΔＴ＝Ｔｉ－Ｔｖ ・・・（式３）
マハラノビス距離算出部２４４は、マハラノビス距離Ｄを以下のように算出する。

判定部２４６は、移動量Ｔｉおよび移動量Ｔｖの差分ΔＴと、移動量Ｔｖの信頼度を示す共分散行列Σｖにもとづいて、ＴＶ画像生成部２３４に絵柄７０を含む表示画像を生成させるか否かを決定する。具体的に判定部２４６は、差分ΔＴと共分散行列Σｖを用いて算出したマハラノビス距離Ｄから、ＴＶ画像生成部２３４に絵柄７０を含む表示画像を生成させるか否かを決定する。

実施例において、マハラノビス距離Ｄが大きいことは、移動量の差分ΔＴが大きく、且つ共分散行列Σｖが小さい（移動量Ｔｖの信頼度が高い）ことを意味する。ここで移動量の差分ΔＴが大きいことは、撮影画像から推定した移動量Ｔｖとセンサデータから推定した移動量Ｔｉとが大きく異なっていること、つまり撮影画像から推定した移動量Ｔｖが正しくないことを意味する。なお、ここでは、センサデータから推定される移動量Ｔｉが短時間（たとえば１／６０秒）であれば正確とみなせることを前提としている。したがってマハラノビス距離Ｄが大きいことは、移動量Ｔｖが正しくないにもかかわらず、移動量Ｔｖの信頼度が高いことを意味し、上記した（要因１）、（要因２）が成立している環境に相当する。したがって判定部２４６は、マハラノビス距離Ｄから、ＴＶ画像生成部２３４に絵柄７０を含む表示画像を生成させるか否かを決定し、マハラノビス距離Ｄが所定の条件を満たす場合に、絵柄７０を含む表示画像を生成させることを決定する。判定部２４６は、マハラノビス距離Ｄが所定の閾値Ｔｈ以上になると、ＴＶ画像生成部２３４に絵柄７０を含む表示画像を生成させることを決定してよい。

たとえばＨＭＤ１００を装着したユーザが、特徴点が少ない白い天井（天井に出力装置１５は存在しない）を向いている間、撮像装置１４は白い天井を撮影し、推定処理部２２２は撮影画像から有効な特徴点を抽出できない。そのため推定した移動量Ｔｖは正確でなく、推定した移動量Ｔｖの信頼度を示す共分散行列Σｖは大きくなる。このとき姿勢センサ１２４のセンサデータから算出される移動量Ｔｉと、撮影画像から算出される移動量Ｔｖとの差分ΔＴは大きくなるが、共分散行列Σｚが大きい値をとることで、マハラノビス距離Ｄはそれほど大きくならない。したがって判定部２４６は、ＴＶ画像生成部２３４に、絵柄７０を含む表示画像を生成させないことを決定してよい。このケースでは、撮像装置１４が撮影する画像に出力装置１５が含まれていないため、出力装置１５の表示画像に絵柄７０を含ませる必要がない。このように実施例の判定部２４６は、単に差分ΔＴが大きいときに絵柄７０を表示画像に含ませることを決定するのではなく、マハラノビス距離Ｄの大きさを基準として絵柄７０を表示画像に含ませるか否かを決定することで、トラッキング処理に必要なときに限って絵柄７０を表示画像に含ませることが可能となる。

判定部２４６は、時刻ごとに算出されるマハラノビス距離ＤをＩＩＲ（Infinite Impulse Response：無限インパルス応答）フィルタを用いてデジタルフィルタ処理した結果にもとづいて、絵柄７０を含む表示画像を生成するか否かを決定してよい。たとえば判定部２４６は、マハラノビス距離ＤをＩＩＲフィルタで処理して、フィルタ処理結果が閾値以上となった場合、またはフィルタ処理結果が閾値以上となる期間が所定期間継続した場合に、撮影画像が移動量Ｔｖを導出するのに適していないことを判定して、絵柄７０を表示画像に含ませることを決定してもよい。なおフィルタ処理に際して、算出されたマハラノビス距離Ｄが所定値を超えている場合には、ＩＩＲフィルタに、マハラノビス距離Ｄではなく所定値を入力することで、フィルタ処理結果が簡単に閾値以上となる状況を回避してもよい。

以上、本開示を実施例をもとに説明した。上記実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。実施例では推定処理を情報処理装置１０が実施したが、情報処理装置１０の一部または全ての機能がＨＭＤ１００に設けられて、ＨＭＤ１００が推定処理を実施してもよい。このときＨＭＤ１００は、情報処理装置として機能する。

実施例では撮像装置１４がＨＭＤ１００に取り付けられているが、撮像装置１４は、ＨＭＤ１００の周囲の空間を撮影できればよく、ＨＭＤ１００以外の別の位置に取り付けられてもよい。

絵柄制御部２２６は、出力装置１５の画面サイズに応じて、表示する絵柄７０を選択してもよい。具体的に、画面サイズが小さければ、大きい模様が含まれる絵柄７０が選択され、画面サイズが大きければ、小さな模様が含まれる絵柄７０が選択されてよい。なお絵柄制御部２２６は、撮影画像に含まれる出力装置１５の領域が占める割合にもとづいて、絵柄７０を選択してもよい。

１・・・情報処理システム、１０・・・情報処理装置、１４・・・撮像装置、１５・・・出力装置、７０・・・絵柄、７２・・・ゲーム動画、１００・・・ＨＭＤ、２００・・・処理部、２０２・・・通信部、２１０・・・取得部、２１２・・・撮影画像取得部、２１４・・・センサデータ取得部、２１６・・・操作情報取得部、２２０・・・設定部、２２２・・・推定処理部、２２４・・・ゲーム実行部、２２６・・・絵柄制御部、２３０・・・画像生成部、２３２・・・ＨＭＤ画像生成部、２３４・・・ＴＶ画像生成部。

Claims (8)

1. 情報処理装置であって、ハードウェアを有する１つ以上のプロセッサを備え、
   前記１つ以上のプロセッサは、
   ヘッドマウントディスプレイの周囲を第１時刻と第２時刻に撮影した画像を用いて、第１時刻と第２時刻の間の前記ヘッドマウントディスプレイの第１移動量を推定し、
   推定した第１移動量の信頼度を導出し、
   前記ヘッドマウントディスプレイに搭載された姿勢センサが第１時刻から第２時刻の間に取得したセンサデータを用いて、第１時刻と第２時刻の間の前記ヘッドマウントディスプレイの第２移動量を推定し、
   前記ヘッドマウントディスプレイとは異なるディスプレイに表示する表示画像を生成し、
   第２移動量および第１移動量の差分と、第１移動量の信頼度にもとづいて、静止画である絵柄を含む表示画像を生成するか否かを決定する、
   情報処理装置。
2. 前記１つ以上のプロセッサは、
   第１移動量の信頼度を示す共分散行列にもとづいて、絵柄を含む表示画像を生成するか否かを決定する、
   請求項１に記載の情報処理装置。
3. 前記１つ以上のプロセッサは、
   差分と信頼度を用いて算出したマハラノビス距離から、絵柄を含む表示画像を生成するか否かを決定する、
   請求項１に記載の情報処理装置。
4. 前記１つ以上のプロセッサは、
   マハラノビス距離をＩＩＲフィルタを用いてフィルタ処理した結果にもとづいて、絵柄を含む表示画像を生成するか否かを決定する、
   請求項３に記載の情報処理装置。
5. 前記１つ以上のプロセッサは、
   第２移動量および第１移動量の差分と、第１移動量の信頼度にもとづいて、画像が第１移動量を導出するのに適していないことを判定する、
   請求項１に記載の情報処理装置。
6. 前記１つ以上のプロセッサは、
   前記ヘッドマウントディスプレイの動きに連動する前記表示画像を生成する、
   請求項１に記載の情報処理装置。
7. ヘッドマウントディスプレイの周囲を第１時刻と第２時刻に撮影した画像を用いて、第１時刻と第２時刻の間の前記ヘッドマウントディスプレイの第１移動量を推定し、
   推定した第１移動量の信頼度を導出し、
   前記ヘッドマウントディスプレイに搭載された姿勢センサが第１時刻から第２時刻の間に取得したセンサデータを用いて、第１時刻と第２時刻の間の前記ヘッドマウントディスプレイの第２移動量を推定し、
   前記ヘッドマウントディスプレイとは異なるディスプレイに表示する表示画像を生成し、
   第２移動量および第１移動量の差分と、第１移動量の信頼度にもとづいて、静止画である絵柄を含む表示画像を生成させるか否かを決定する、
   画像生成方法。
8. コンピュータに、
   ヘッドマウントディスプレイの周囲を第１時刻と第２時刻に撮影した画像を用いて、第１時刻と第２時刻の間の前記ヘッドマウントディスプレイの第１移動量を推定する機能と、
   推定した第１移動量の信頼度を導出する機能と、
   前記ヘッドマウントディスプレイに搭載された姿勢センサが第１時刻から第２時刻の間に取得したセンサデータを用いて、第１時刻と第２時刻の間の前記ヘッドマウントディスプレイの第２移動量を推定する機能と、
   前記ヘッドマウントディスプレイとは異なるディスプレイに表示する表示画像を生成する機能と、
   第２移動量および第１移動量の差分と、第１移動量の信頼度にもとづいて、静止画である絵柄を含む表示画像を生成させるか否かを決定する機能と、
   を実現させるためのプログラム。

Images