WO2017163720A1

WO2017163720A1 - 情報処理装置、情報処理システム、および情報処理方法

Info

Publication number: WO2017163720A1
Application number: PCT/JP2017/006353
Authority: WO
Inventors: 隆行石田; 大場　章男; 彰彦菅原; 靖展亘理; 鈴木　章
Original assignee: 株式会社ソニー・インタラクティブエンタテインメント
Priority date: 2016-03-23
Filing date: 2017-02-21
Publication date: 2017-09-28
Also published as: US10957104B2; CN108885799A; US20200090403A1; KR102066890B1; JP2017174125A; EP3422296A1; KR20180113576A; EP3422296A4; CN108885799B; JP6632443B2

Abstract

情報処理装置２００において撮影画像取得部２５０は、ヘッドマウントディスプレイ１００のカメラが撮影した画像を取得する。領域決定部２５４は表示画像においてユーザが注視する領域を予測する。画像解析部２５８の第１精細度処理部２７０は、撮影画像のうち注視領域に対応する領域について、第２精細度処理部２７２より高精細に解析処理を行う。情報処理部２６０は解析結果を用いて情報処理を実施する。画像生成部２６２の第１精細度処理部２７４は、注視領域について、第２精細度処理部２７６より高精細に表示画像を生成する。出力部２６４は表示画像のデータをヘッドマウントディスプレイ１００に送信する。

Description

情報処理装置、情報処理システム、および情報処理方法

　この発明は、撮影画像の解析や表示画像の生成を伴う情報処理を行う情報処理装置、情報処理システム、およびそれが実施する情報処理方法に関する。

　ヘッドマウントディスプレイにパノラマ映像を表示し、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると視線方向に応じたパノラマ画像が表示されるようにしたシステムが開発されている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させたりすることもできる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで、映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。

　上記のような技術において、十分な臨場感、没入感を与えるためには、頭部や視線の動きと表示画像の視野変化が常に対応していることが望ましい。ヘッドマウントディスプレイに限らず、撮影画像を入力データとして表示画像を即時生成する形式のシステムでは、その即時性が重要となる。一方で、より高品質で魅力的な画像世界を実現しようとするほど、データ入力から画像表示までに必要な処理が複雑化したり、扱うデータが膨大になったりする。その結果、画像表示に遅延が生じ、実際の動きと表示がずれているといった違和感をユーザに与えることもあり得る。このように、高精度な画像処理と表示の即時性は常にトレードオフの関係にある。

　本発明はこうした課題に鑑みてなされたものであり、その目的は、高精度な画像処理と表示の即時性を両立させることのできる技術を提供することにある。

　上記課題を解決するために、本発明のある態様は情報処理装置に関する。この情報処理装置は、カメラから撮影画像のデータを取得する撮影画像取得部と、撮影画像を解析する画像解析部と、解析の結果に基づく表示画像を生成し表示装置に出力する表示画像生成部と、を備え、画像解析部および表示画像生成部の少なくとも一方は、画像平面上の領域によって、処理の精細度を異ならせることを特徴とする。

　本発明の別の態様は情報処理システムに関する。この情報処理システムは、カメラを備えたヘッドマウントディスプレイと、当該カメラによる撮影画像に基づき前記ヘッドマウントディスプレイに表示させる画像を生成する情報処理装置と、を含む情報処理システムであって、情報処理装置は、カメラから撮影画像のデータを取得する撮影画像取得部と、撮影画像を解析する画像解析部と、解析の結果に基づく表示画像を生成しヘッドマウントディスプレイに出力する表示画像生成部と、を備え、画像解析部および表示画像生成部の少なくとも一方は、画像平面上の領域によって、処理の精細度を異ならせることを特徴とする。

　本発明のさらに別の態様は情報処理方法に関する。この情報処理方法は情報処理装置が、カメラから撮影画像のデータを取得するステップと、撮影画像を解析するステップと、解析の結果に基づく表示画像を生成するステップと、表示画像のデータを表示装置に出力するステップと、を含み、解析するステップおよび前記生成するステップの少なくとも一方は、画像平面上の領域によって、処理の精細度を異ならせることを特徴とする。

　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

　本発明によれば、高精度な画像処理と表示の即時性を両立させることができる。

本実施の形態のヘッドマウントディスプレイの外観図である。本実施の形態のヘッドマウントディスプレイの機能構成図である。本実施の形態の情報処理システムの構成図である。本実施の形態の情報処理装置の内部回路構成を示す図である。本実施の形態における実空間と表示画像の関係を説明するための図である。本実施の形態において画像平面の領域によって処理態様を異ならせる手法を説明するための図である。本実施の形態における情報処理装置の機能ブロックを示す図である。本実施の形態における画像解析部が画像解析において精細度を異ならせる処理の例を説明するための図である。本実施の形態における画像解析部画が像解析において精細度を異ならせる処理の別の例を説明するための図である。本実施の形態における情報処理装置が撮影画像に基づき表示画像を生成する処理手順を示すフローチャートである。本実施の形態の変形例として、２種類の画像を撮影するカメラを備えたヘッドマウントディスプレイの外観形状の例を示す図である。

　図１は、本実施の形態におけるヘッドマウントディスプレイの外観形状の例を示している。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。装着バンド１０６は各ユーザの頭囲に合わせて長さの調節が可能な素材または構造とする。例えばゴムなどの弾性体としてもよいし、バックルや歯車などを利用してもよい。

　出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。表示パネルは液晶パネルや有機ＥＬパネルなどで実現する。筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する一対のレンズを備える。またヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。

　ヘッドマウントディスプレイ１００は、出力機構部１０２の前面にカメラ１４０を備える。カメラ１４０はＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備え、ヘッドマウントディスプレイ１００を装着したユーザの顔の向きに対応する視野で、実空間を所定のフレームレートで撮影する。なおカメラ１４０はヘッドマウントディスプレイ１００の前面に１つのみ設けられてもよいし、既知の間隔を有するように２つのカメラを左右に配置することによりステレオカメラを実現してもよい。またカメラ１４０は、ユーザの前方を撮影できれば、その設置箇所は特に限定されない。

　カメラ１４０が撮影した画像は、ヘッドマウントディスプレイ１００における表示画像の少なくとも一部として使用できるほか、仮想世界の生成に必要な画像解析のための入力データとすることもできる。例えば撮影画像をそのまま表示画像とすれば、ユーザは目の前の実空間を直接見ているのと同じ状態となる。また、視野内にある机などの実物体上に滞留したり実物体とインタラクションしたりするオブジェクトを撮影画像上に描画して表示画像とすることにより、ＡＲ（Augmented Reality：拡張現実）を実現できる。

　さらに、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置や姿勢を撮影画像から特定し、それに対応するように視野を変化させて仮想世界を描画することによりＶＲ（Virtual Reality：仮想現実）も実現できる。撮影画像からカメラの位置や姿勢を推定する技術には、ｖ－ＳＬＡＭ(Visual Simultaneous Localization And Mapping)などの一般的な技術を適用できる。頭部の回転角や傾きは、ヘッドマウントディスプレイ１００に内蔵または外付けされたモーションセンサによって計測してもよい。撮影画像の解析結果とモーションセンサの計測値を相補完的に利用してもよい。

　図２は、ヘッドマウントディスプレイ１００の機能構成図である。制御部１０は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。カメラ１４０は撮影画像のデータを制御部１０に供給する。ディスプレイ３０は液晶ディスプレイなどであり、制御部１０から画像信号を受け取り表示する。

　通信制御部４０は、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、制御部１０から入力されるデータを外部に送信する。通信制御部４０は、また、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、外部からデータを受信し、制御部１０に出力する。記憶部５０は、制御部１０が処理するデータやパラメータ、操作信号などを一時的に記憶する。

　モーションセンサ６４は、ヘッドマウントディスプレイ１００の回転角や傾きなどの姿勢情報を検出する。モーションセンサ６４は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。外部入出力端子インタフェース７０は、ＵＳＢ（Universal Serial Bus）コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ７２は、フラッシュメモリなどの外部メモリである。制御部１０は、画像や音声データをディスプレイ３０や図示しないヘッドホンに供給して出力させたり、通信制御部４０に供給して外部に送信させたりすることができる。

　図３は、本実施の形態に係る情報処理システムの構成図である。ヘッドマウントディスプレイ１００は、無線通信またはＵＳＢなどの周辺機器を接続するインタフェース３００で情報処理装置２００に接続される。情報処理装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションを情報処理装置２００に提供してもよい。ヘッドマウントディスプレイ１００は、情報処理装置２００の代わりに、コンピュータや携帯端末に接続されてもよい。

　情報処理装置２００は基本的に、ヘッドマウントディスプレイ１００のカメラ１４０が撮影した画像のデータを取得し、所定の処理を実施したうえ表示画像を生成してヘッドマウントディスプレイ１００に送信する処理を所定のレートで繰り返す。これによりヘッドマウントディスプレイ１００には、ユーザの顔の向きに応じた視野で、ＡＲやＶＲなど様々な画像が表示される。なおこのような表示の最終的な目的は、ゲーム、仮想体験、動画鑑賞など様々に考えられる。

　情報処理装置２００はそのような目的に応じた処理を適宜、行ってよいが、それら自体には一般的な技術を適用できる。以後の説明では特に、それらの目的を達するために撮影画像から必要な情報を取得する手法、および、その結果として表示すべき画像の描画手法に着目して説明する。

　図４は情報処理装置２００の内部回路構成を示している。情報処理装置２００は、ＣＰＵ（Central Processing Unit）２２２、ＧＰＵ（Graphics Processing Unit)２２４、メインメモリ２２６を含む。これらの各部は、バス２３０を介して相互に接続されている。バス２３０にはさらに入出力インタフェース２２８が接続されている。

　入出力インタフェース２２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インタフェースや有線又は無線ＬＡＮなどのネットワークインタフェースからなる通信部２３２、ハードディスクドライブや不揮発性メモリなどの記憶部２３４、ヘッドマウントディスプレイ１００などの表示装置へデータを出力する出力部２３６、ヘッドマウントディスプレイ１００からデータを入力する入力部２３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部２４０が接続される。

　ＣＰＵ２２２は、記憶部２３４に記憶されているオペレーティングシステムを実行することにより情報処理装置２００の全体を制御する。ＣＰＵ２２２はまた、リムーバブル記録媒体から読み出されてメインメモリ２２６にロードされた、あるいは通信部２３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２２からの描画命令に従って描画処理を行い、表示画像を図示しないフレームバッファに格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部２３６に出力する。メインメモリ２２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

　図５は、本実施の形態における実空間と表示画像の関係を説明するための図である。同図の例では、ヘッドマウントディスプレイ１００を装着したユーザ３７０が、テーブル３７６とその上に置かれた箱３７８を含む実空間の方を向いている。ヘッドマウントディスプレイ１００のカメラ１４０は、ユーザが向いている方向（矢印３７２）を中心とする、点線で表されるような視野空間を撮影する。ユーザ３７０が頭部の姿勢を変化させたり移動したりすれば、撮影画像の視野も変化する。

　情報処理装置２００は、このようにして撮影された画像を用いて、ｖ－ＳＬＡＭなどによってユーザ頭部の位置および姿勢を取得する以外に、例えば次の処理を行うことができる。
　１．デプス画像の生成
　２．実空間の３次元モデリング
　３．実物体と仮想オブジェクトとのインタラクション計算
　４．実物体の追跡
　５．マッチングによる画像認識
　６．コンピュータグラフィクスの描画

　上記１においてデプス画像とは、被写体のカメラからの距離を、撮影画像上の対応する像の画素値として表した画像である。例えばカメラ１４０をステレオカメラとした場合、撮影された左右の視差画像から対応点を抽出し、両者間の視差に基づき三角測量の原理で被写体の距離を算出できる。カメラ１４０が単眼カメラであっても、被写体の形状およびサイズを既知としたり、所定のマーカーを装着させたりすることにより、撮影画像における像の大きさから被写体の距離を算出できる。

　上記２は、被写体となっている実物体を、計算上の３次元空間におけるオブジェクトとしてモデル化する処理である。例えばデプス画像の各画素を、画素値が表すカメラからの距離に基づき３次元空間に逆射影することで、実物体表面を離散的に表すポイントクラウドを取得できる。これを、３次元空間を分割してなる立体領域単位で解析することにより、個々の実物体の形状を認識できる。またその形状情報に基づき、実物体の表面をボクセル、オクトリー、ポリゴンメッシュ等で表現してモデル化し、コンピュータグラフィックスのオブジェクトと同等に扱うこともできる。なお実物体のモデリング手法はこれに限らず、様々な技術を適用できることは当業者には理解されるところである。

　上記３は、ＡＲなどの目的で、モデル化した実物体とコンピュータグラフィクスで描画すべき仮想オブジェクトとのインタラクションを物理的に求める処理である。例えば仮想オブジェクトとしてボールを描画する際、実物体であるテーブル上で跳ね返ったり転がったりする様子を、正確な物理計算に基づく動きで表現することにより、よりリアリティーのあるＡＲを実現できる。

　上記４は、ＡＲ、ジェスチャ認識、対戦ゲームなどの目的で、ユーザ自身の手や他のユーザなど、所定の実物体の動きを撮影画像上で追跡する処理である。画像上の像を追跡する技術として様々な手法が実用化されている。上記５は、追跡や実物体の認識・検出のために、テンプレート画像とのマッチングを行う処理である。上記６は、撮影画像上にオブジェクトを描画したり、頭部の位置や姿勢に対応する視野で仮想世界を描画したりする処理である。

　情報処理装置２００は、ヘッドマウントディスプレイ１００に表示させたい画像や、ゲームなどの情報処理の内容に応じて、１～６の処理のいずれか、あるいは２つ以上の処理を組み合わせて実施する。個々の処理自体には一般的な技術を利用できるが、必要な処理が増えるほど、また、高精度に処理を行おうとするほど、撮影から表示までに時間を要し、レイテンシが生じやすくなる。そこで本実施の形態では、画像平面あるいは３次元空間を分割してなる複数の領域で、同じ処理でもその態様を異ならせることにより、見た目の影響を少なく処理を効率化する。

　図６は、画像平面の領域によって処理態様を異ならせる手法を説明するための図である。画像３８０は、図５に示した環境において撮影された画像を用いてＡＲを実現したときの表示画像を例示している。すなわち画像３８０は、被写体であるテーブルの像３８２および箱の像３８４を含む撮影画像上に、仮想的なオブジェクトとしてネコのオブジェクト３８６および球体のオブジェクト３８８ａ、３８８ｂ、３８８ｃを描画したものである。

　このような画像を所定のレートで生成、表示させることにより、ネコのオブジェクト３８６が箱の上に座り、球体のオブジェクト３８８ａ、３８８ｂ、３８８ｃが浮遊しながら時にテーブルによって跳ね返されるような世界を表現できる。オブジェクトを描画する前の撮影画像はユーザの頭部の動きによって視野が変化するため、仮想オブジェクトはその変化に対応するように位置を調整して描画する必要がある。このとき例えば、上記１のデプス画像の生成、２の３次元モデリング、３のインタラクション計算、６のコンピュータグラフィクスの描画、といった処理が必要になる。

　ここで、ユーザが注視している領域３９０とそれ以外の領域で、それらの処理の少なくともいずれかの態様を異ならせることにより、表示までの効率性を向上させる。具体的には、領域３９０については高精細な処理とし、それ以外の領域については、領域３９０より低い精細度での処理とする。ここで「精細度」とは、処理結果の精度や人が感じる品質などに影響を与える、処理上の何らかのパラメータであり、解像度、処理レート、計算単位、量子化単位、近似の精度など、空間的、時間的、あるいは時空間の双方での処理の細かさのほか、精度の異なる処理アルゴリズムそのものでもよい。

　つまり精細度が高い処理とは、時空間のいずれか一方で処理の単位を細かくしたり、より精度の高い結果が得られるようなアルゴリズムを採用したりすることを意味する。一般的には、精細度が高いほど処理結果の精度が高くなるとともに処理の負荷が大きくなる。そのような処理を注視領域など限定的な領域で行うことにより、処理の負荷を増大させずに見た目の印象を良好にすることができる。画像３８０の場合、例えばデプス画像の生成レートを領域３９０のみ高くしたり、領域３９０に含まれる箱やテーブル天板のモデリングのレートや解像度を高くしたりすることが考えられる。

　また、領域３９０内にいるネコのオブジェクト３８６を動かすとき、箱とのインタラクション計算を、他の領域にある球体のオブジェクト３８８ａ、３８８ｂ、３８８ｃに関するインタラクション計算より高いレートで行ったり、計算単位を細かくしたりすることも考えられる。さらにネコのオブジェクト３８６の描画時に、ライティングやシェーディングの計算を他より精密に行ったり、高い解像度で描画したりしてもよい。

　このような精細度の差別化を、１つの処理のみで行ってもよいし、複数の処理で行ってもよい。また同図の例では画像平面を２つの領域に分けたが、３つ以上の領域に分割し精細度を３つ以上としてもよいし、同じ精細度の領域が複数あってもよい。また高精細に処理する領域であっても、その処理態様は共通でなくてもよい。例えば領域３９０を高精細に処理するとしても、そこに写されている実物体のカメラからの距離によって、当該領域のデプス画像の生成レートなどを調整してもよい。

　図７は、本実施の形態における情報処理装置２００の機能ブロックを示している。なおここで示した情報処理装置２００の機能のうち少なくとも一部を、ヘッドマウントディスプレイ１００の制御部１０に実装してもよい。また図７に示す機能ブロックは、ハードウェア的には、図４に示したＣＰＵ、ＧＰＵ、各種メモリなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

　情報処理装置２００は、ヘッドマウントディスプレイ１００から撮影画像のデータを取得する撮影画像取得部２５０、取得したデータを格納する画像記憶部２５２、精細度を異ならせる領域を決定する領域決定部２５４、撮影画像からヘッドマウントディスプレイ１００の位置や姿勢を取得する位置・姿勢取得部２５６、撮影画像を解析し必要な情報を取得する画像解析部２５８、画像解析の結果に基づく情報処理を行う情報処理部２６０、情報処理の結果として表示すべき画像のデータを生成する画像生成部２６２、および生成されたデータを出力する出力部２６４を備える。

　撮影画像取得部２５０は、ヘッドマウントディスプレイ１００のカメラ１４０が撮影した画像のデータを所定のレートで取得し、復号処理など必要な処理を施して画像記憶部２５２に格納する。カメラ１４０をステレオカメラで構成する場合、撮影画像取得部２５０は左右の視点から撮影された視差画像のデータを取得する。

　領域決定部２５４は、上述したように各種処理の精細度を異ならせるため、各精細度で処理すべき領域を決定する。１つの画像フレームに対してなされる処理のうち精細度を異ならせる対象とする処理、領域の分割数、分割基準、といった規則には、情報処理や表示の内容、求められる処理精度、情報処理装置２００の処理性能などに応じて様々な組み合わせが考えられる。以後の説明では特に図６で示したように、ユーザが注視している領域３９０の精細度を高くし、それ以外の領域はそれより低い精細度で処理する場合を例示する。

　この場合、領域決定部２５４は、表示画像中、ユーザが注視している領域を決定する。ヘッドマウントディスプレイ１００に表示される画像の場合、ユーザは見たい方向に顔そのものを向けることが一般的である。カメラ１４０は、ユーザが顔を向けた方向を撮影対象としているため、結果として撮影画像の中心部分がユーザの注視領域に対応すると推定できる。したがって領域決定部２４５は、撮影画像平面における中心を含む所定サイズの領域を注視領域として決定する。

　あるいは、ヘッドマウントディスプレイ１００の内部に注視点検出器を設け、ユーザが表示画像中のどの位置を注視しているかを厳密に測定してもよい。注視点検出器は、赤外線照射機構により照射され瞳孔において反射した赤外線を検出し、それにより特定される瞳孔の向きなどから注視点を検出する装置である。この場合、領域決定部２５４は、図示しない注視点検出器から画像平面における注視点の位置情報を取得し、当該注視点を含む所定サイズの領域を注視領域として決定する。

　領域決定部２５４はまた、撮影画像に写る特定の被写体や表示画像に描画するオブジェクトを含む領域を注視領域としてもよい。例えばユーザ自身の手で仮想的な積み木を組み立てるＡＲを実現する場合、ユーザは自分の手の付近を見ていることが推定できる。この場合、領域決定部２５４は、撮影画像から手の像を検出し、それを包含する領域を注視領域として決定する。また対戦ゲームにおいて、対戦相手である別のユーザが前方にいる場合は、当該ユーザの顔や手など所定の部位でもよい。撮影画像から手や顔など人体の所定の部位の像を検出する手法には、パターンマッチングや特徴点抽出など一般的な技術を適用できる。

　あるいは所定の色やサイズを有するマーカーを設けたコントローラを持つようにすれば、手の検出はさらに容易になる。注視の対象として推定される被写体は人体の部位に限らない。すなわち最終的に表示される画像の内容によって、人が注視する対象は様々に考えられる。例えば図６で示した表示画像の場合、ユーザは、描画されているネコのオブジェクト３８６を主に見ている可能性が高い。

　ネコのオブジェクト３８６が実物体である箱の近傍にいる設定であれば、領域決定部２５４は、撮影画像から箱の像３８４を検出し、それと、後段で描画されるべきネコのオブジェクト３８６を包含する領域（例えば領域３９０）を注視領域として決定すればよい。オブジェクトを描画する場合でなくとも、床や壁よりテーブルの上の方が注視されやすい、部屋の奥より手元の方が注視されやすい、といった一般的な傾向に基づき、実物体の特性や位置関係に応じて注視領域を決定できる。

　そのため領域決定部２５４の内部メモリには、撮影画像を利用して行うゲームなどの情報処理の内容、表示される画像世界やシーン、物の特性、実物体の位置関係などに対し、注目される確率の高い実物体やオブジェクトの設定、あるいはそれらの導出規則に係る情報をあらかじめ格納しておく。例えば電子ゲームにおいて注目されやすいキャラクタや物などは、一般的な傾向として推定できるため、直接設定が可能である。

　あるいは、顔が向いている方向に表示されているキャラクタの履歴をユーザごとに取得しておけば、当該ユーザが高確率で注目するキャラクタが特定できる。この場合、上記の確率の設定を、ユーザごとに最適化できる。そして領域決定部２５４は、メモリに格納しておいた情報に基づき、実際の撮影画像において注視される確率の高い領域を注視領域として決定する。この際、撮影画像に写っている物の認識、位置関係、注視されるオブジェクトが描画されるべき位置などの必要な情報は、画像解析部２５８や画像生成部２６２などから取得する。領域決定部２５４は決定した注視領域に係る情報を、画像解析部２５８および画像生成部２６２に通知する。

　ここで領域決定部２５４は、それまでのフレームにおける注視領域の動きに基づき、その後の注視領域を予測してもよい。例えば、図５の矢印３７２で表される顔の向きのそれまでの時間変化に基づき、以後のフレームに対応する時刻の顔の向きを推定できる。視線もその方向にあるとすれば、微小時間後に注視されるであろう領域を特定できるため、その部分の精細度を上げて画像解析や描画処理を行える。これにより、画像解析、情報処理、画像描画といった中間処理をしている間に注視領域が移動してしまい、実際の注視領域と表示画像上で高品質に表されている部分にずれが生じる可能性を低くできる。

　この場合、領域決定部２５４は、位置・姿勢取得部２５６から頭部の位置や姿勢に係る情報を逐次取得し、矢印３７２のような顔の向きを表すベクトル等の履歴を記録しておく。そして顔の向きを表すベクトルの時間変化を外挿することにより、例えば１フレーム後の注視領域を予測して、画像解析部２５８や画像生成部２６２に供給する。画像解析部２５８や画像生成部２６２は当該注視領域について高精細に処理を行う。

　なお履歴を記録することにより注視領域を推定する処理は、顔の向きを視線と捉える場合に限らない。すなわち注視点検出器を利用する場合は注視点のそれまでの動きから以後の注視点の位置を予測できる。人体の所定の部位、特定の実物体、所定のオブジェクト等を注視対象と推測する場合も、画像平面におけるそれらの位置の変化から以後の位置を予測できる。いずれにしろそのようにして予測した注視領域を画像解析部２５８や画像生成部２６２に供給すれば、その後の処理は同様である。

　位置・姿勢取得部２５６は、画像記憶部２５２から撮影画像のデータを読み出し、ｖ－ＳＬＡＭなどの手法によりヘッドマウントディスプレイ１００の実空間での位置や姿勢、ひいてはそれを装着しているユーザの頭部の位置や姿勢を取得する。画像解析部２５８は、画像記憶部２５２から撮影画像のデータを読み出し、解析を行うことにより所定の情報を取得する。具体的な処理の内容は情報処理の目的などによるが、例えば上記１～６の処理のうち１～５の少なくともいずれかを行う。

　画像解析部２５８は第１精細度処理部２７０と第２精細度処理部２７２を含み、同様の処理を上述したように異なる精細度で行う。注視領域を高精細に処理する場合、第１精細度処理部２７０は注視領域を対象として高い精細度で処理を行い、第２精細度処理部２７２は、注視領域以外の領域を対象として、第１精細度処理部２７０より低い精細度で処理を行う。ただし処理内容やアルゴリズムによって、第２精細度処理部２７２が処理対象とする領域は、第１精細度処理部２７０が処理対象とする領域を含んでいてもよい。

　すなわち、処理効率の観点から第２精細度処理部２７２が撮影画像全体の領域を低い精細度で処理するようにしても、注視領域については第１精細度処理部２７０が高精細に処理した結果を用いればよい。画像解析部２５８が行う画像解析を、撮影画像の空間的な精細度を異ならせるのみとした場合、領域によって精細度の異なる解析結果が、全領域について同じタイミングで情報処理部２６０や画像生成部２６２に供給される。

　時間的な精細度を異ならせる場合は、精細度の高い注視領域についての解析結果が、その他の領域の解析結果より高いレートで供給される。なお上述のとおり画像解析部２５８が行う処理の全てについて精細度を異ならせる主旨ではなく、例えば第２精細度処理部２７２のみを動作させて、全体領域を同じ精細度で行う処理があってよい。

　また「注視領域」は厳密には、ユーザが表示領域に対し注視している領域であるが、本実施の形態のように撮影画像と表示画像の視野が対応している場合、撮影画像においても画像平面上で同じ位置にある領域を注視領域として設定できる。ただし本実施の形態をそれに限る主旨ではなく、画像解析部が撮影画像において処理を差別化する領域が、表示画像中の注視領域に対応する領域として決定できれば、両者の位置が一致していなくてもよい。

　情報処理部２６０は、画像解析部２５８が行った解析の結果を利用して、所定の情報処理を実施する。ここで行う処理は、表示画像にゲームの要素を加えたり、ユーザのジェスチャを解釈して所定の機能を実現したり、といった、撮影画像と直接的な関連のない一般的な情報処理でよい。単に実物体とインタラクションするオブジェクトを表示する場合など、画像解析部２５８および画像生成部２６２のみで処理が完了する場合は、情報処理部２６０の機能は省略してもよい。

　画像生成部２６２は、情報処理部２６０が行った処理の結果、あるいは画像解析部２５８が行った処理の結果として表示すべき画像を生成する。この処理は上記１～６の処理のうち６の処理に対応する。ＡＲのように表示画像に撮影画像を用いる場合は、画像記憶部２５２から当該データを読み出す。そして、画像解析部２５８が取得した実物体の３次元モデルやインタラクション計算に対応するようにオブジェクトを描画する。表示画像に撮影画像を用いるか否かに関わらず、画像生成部２６２は位置・姿勢取得部２５６から頭部の位置や姿勢に係る情報を取得し、それに対応する視点からの画像を描画する。

　画像生成部２６２は第１精細度処理部２７４と第２精細度処理部２７６を含み、同様の描画処理を異なる精細度で行う。注視領域を高精細に描画する例では、第１精細度処理部２７４は注視領域内のオブジェクトについて高い精細度で描画を行い、第２精細度処理部２７６はそれ以外の領域のオブジェクトを、第１精細度処理部２７４より低い精細度で描画する。描画における精細度の変化のさせ方として、注視領域内のオブジェクトを元の撮影画像より高い超解像度で描画したり、注視領域外のオブジェクトを低解像度で描画したりするなど、領域によって解像度を異ならせることが考えられる。あるいは上述のとおり、シェーディングなど描画に必要な演算の詳細度やアルゴリズムを異ならせたり、描画のレートを異ならせたりすることも考えられる。

　ただし描画処理についても、第２精細度処理部２７６が描画する領域は、第１精細度処理部２７４が描画する領域を含んでもよい。画像解析部２５８と同様、処理効率の観点から第２精細度処理部２７６が表示画像の全体を描画するようにしても、注視領域については第１精細度処理部２７４が描画した高精細な画像を表示に用いればよい。表示画像の空間的な詳細度を異ならせるのみとした場合、領域によって精細度の異なる表示画像が、全領域について同じタイミングで出力部２６４に供給される。

　時間的な精細度を異ならせる場合は、注視領域の表示画像がその他の領域の表示画像より高いレートで供給される。なお必ずしも描画の精細度を異ならせなくてもよく、例えば第２精細度処理部２７６のみを動作させて全体領域を同じ精細度で描画してもよい。すなわち少なくとも画像解析部２５８および画像生成部２６２のいずれかにおいて、注視領域とそれ以外の領域で精細度を異ならせれば、視認される画像の質をできるだけ維持しながら処理効率を向上させ、レイテンシの少ない画像を表示できる。

　出力部２６４は、画像生成部２６２から表示画像のデータを取得し、ヘッドマウントディスプレイ１００に送信する。出力部２６４は内部にバッファメモリを備え、注視領域の画像をその他の領域の画像と適切な位置でつなげて最終的な表示画像とする。第２精細度処理部２７６が全体領域を描画する場合は、その画像のうち注視領域については、第１精細度処理部２７４が描画した画像で上書きする。画像生成部２６２はそのため、画像平面における注視領域の位置情報も出力部２６４に通知する。

　注視領域の画像をより高いレートで描画する場合、注視領域の画像のみが画像生成部２６２から供給されるタイミングが生じる。このとき出力部２６４は、バッファメモリに直前に格納した画像のうち注視領域のみを更新して出力する。なお視野範囲を広げるため、ディスプレイに表示された画像を、レンズを介して見る構造のヘッドマウントディスプレイの場合、出力部２６４はさらに、レンズにより歪められた状態で正常な画像が見られるように、表示画像に逆の歪み補正を施したうえで出力する。

　なお上述のように精細度は３段階以上に変化させてもよい。この場合、画像解析部２５８および画像生成部２６２において、第１精細度処理部、第２精細度処理部にさらに第３、第４、・・・の精細度処理部を加える。下表はこれまで述べたように、画像解析部２５８および画像生成部２６２が行う処理と、各処理で精細度を異ならせるために変化させることのできる具体的な対象を例示している。ただし画像解析や描画に必要な処理はこれに限らず、精細度を異ならせるための対象も様々に考えられる。

　図８は、画像解析部２５８が画像解析において精細度を異ならせる処理の例を説明するための図である。図８の（ａ）は、ヘッドマウントディスプレイ１００とその前方の実空間の俯瞰図、（ｂ）は、そのような環境での撮影画像から画像解析部２５８が取得したデプス画像を、それぞれ模式的に示している。（ａ）において、点線で示したカメラ１４０の視野内には、実物体４００ａ、４００ｂが存在するとする。実物体４００ａは実物体４００ｂよりカメラ１４０に近い位置にある。

　カメラ１４０をステレオカメラとして実空間を撮影し、その視差から各実物体のカメラからの距離を求め、撮影画像上の像の画素値として表すと、（ｂ）のデプス画像が得られる。この例のデプス画像は、カメラから近いほど輝度を高くしている。すなわちデプス画像における像４０２ａ、４０２ｂはそれぞれ、実物体４００ａ、４００ｂに対応する。ここで、実物体４００ａがユーザによって注視される対象として推定される場合、領域Ａが注視領域として設定される。一方、実物体４００ｂがユーザによって注視される対象として推定される場合、領域Ｂが注視領域として設定される。場合によっては実物体４００ａ、４００ｂの双方が注視され得るとして、領域Ａ、Ｂの双方を同時に注視領域としてもよい。

　いずれにしろ画像解析部２５８は、領域Ａや領域Ｂを他の領域より高い精細度で解析する。ここで、実空間において実物体４００ａ、４００ｂが撮像面と平行に同じ速度で移動したとしても、撮影画像、ひいてはデプス画像において、手前にある実物体の像４０２ａは、後方にある実物体の像４０２ｂより見かけ上の移動速度が大きくなる。この特性を考慮し、注視領域であってもそれに含まれる実物体のカメラからの距離によって、精細度の上げ方を調整する。

　すなわち、実物体が手前にあるほどフレーム間での移動量が大きいため、デプス画像の生成レートを増加させ、時間的な精細度を上げる。その一方で、手前にある物はステレオカメラにおける視差が大きいため、視差画像の対応点を抽出するために用いる画像の解像度を下げても処理精度への影響が小さい。したがって画像解析部２５８は、領域Ａについては、撮影された視差画像を縮小し、その画素単位で対応点を探索する処理を高レートで実施する。

　逆に、カメラから遠くにある物は視差が小さいため正確に距離を求めるには高い解像度の画像を用いる必要があるが、見かけ上の移動速度が遅いため、デプス画像の生成レートを高くしても精度に対する効果は薄い。したがって画像解析部２５８は、領域Ｂについては、撮影された画像の解像度のまま、対応点を探索する処理を、領域Ａより低いレートで実施する。なお探索は画素より小さいサブピクセル単位としてもよい。

　このように、実物体のカメラからの距離に応じて、解像度や処理レートなど時間的、空間的に精細度のバランスを最適化することにより、処理の無駄を極力抑え、かつ処理精度や見た目への影響を少なくすることができる。なおカメラから近い物ほど、ユーザとの衝突の可能性が高くなるため、その観点においても、近い実物体ほど高レートで位置を求めることが有効となる。注視領域の内か外かに加え、注視領域内にある実物体の距離をも考慮して処理の精細度を設定すると、例えば次のようになる。

　すなわち領域Ａのように、注視領域内にある実物体が所定のしきい値より近くにある場合、当該注視領域はデプス画像生成処理のレートを大きくし、対応点探索に用いる画像の解像度を中程度とする。領域Ｂのように、注視領域内にある実物体が所定のしきい値またはそれより遠くにある場合、当該注視領域はデプス画像生成処理のレートを中程度とし、対応点探索に用いる画像の解像度を大きくする。

　注視領域外は、デプス画像生成処理のレートおよび対応点探索に用いる画像の解像度のどちらも、注視領域内より小さくする。なお実際には、「近」、「遠」には距離の範囲を、「大」、「中」、「小」には処理レートや解像度の具体的な値を設定する。また、この表ではカメラからの距離を２段階、処理レートや解像度を３段階に分けているが、実際にはより多くの段階に分けてもよい。

　注視領域内にある実物体のカメラからの距離は、それより前のフレームのデプス画像から特定する。注視領域と同様、以前の実物体の位置の時間変化から、微小時間後の実物体の距離を予測してもよい。例えば図８の（ａ）において実物体４００ａのみが存在するとして、微小時間ｔ後に実物体４０４の位置に移動した場合、さらに微小時間ｔ後に実物体４００ｂの位置にあると予測できる。これにより領域決定部２５４は、領域Ｂを注視領域として予測できるとともに、対象の実物体のカメラからの距離も予測できる。

　画像解析部５２８は、上表に示したような設定を参照し、実物体の距離に応じて精細度を異ならせる程度や、処理レートと用いる画像の解像度とのバランスなどを調整していく。なおこのように、画像平面のみならずカメラからの奥行き方向を含めた３次元空間での位置を考慮して精細度を異ならせる処理は、デプス画像生成処理に限らない。例えば注視領域内であっても実物体がカメラから離れているときは、精細度の高さがその後の処理や見た目にあまり貢献しないような処理であれば、他の領域との精細度の差を、距離の増加に応じて減らしていくようにしてもよい。

　図９は、画像解析部２５８が画像解析において精細度を異ならせる処理の別の例を説明するための図である。従来、３次元空間における立体を表現するための様々な手法が提案されている。このうち、ボクセル表現におけるデータサイズの問題を改善するために提案された手法がオクトリー（Ｏｃｔｒｅｅ）表現である。オクトリー表現では、空間を８分木により分割してなる領域が、立体の内部と外部にまたがることがなくなるまで、再帰的に分割を繰り返すことにより、最終的に得られた領域集合で立体を表す。

　オクトリー表現は基本的に、空間を構成する立方体を、各辺の中点を通り各面に平行な３つの面で分割するため、最終的にはサイズの異なる立方体の集合で立体を表現することになる。このような表現手法は一般的に、グローバル空間に立体として与えられている物のモデリングに用いられる。一方、本実施の形態では、ヘッドマウントディスプレイ１００のカメラ１４０が撮影している画像に基づき、実空間にある物をモデリングしたり解析したりする。そこでオクトリー表現を応用し、そのような系に適合させる。具体的には、視野空間を所定の距離範囲Ｚで区切ってなる四角錐台を８分割していく。

　図９はその空間分割の様子を模式的に表す俯瞰図であり、垂直方向の分割境界を線で示している。当然、水平方向にも分割する。すなわちカメラ１４０の視野を構成する四角錐台の空間を、各辺の中点を通る２つの垂直面および１つの水平面により８分割してなる領域ごとに、実物体の内部にあるか外部にあるか、またがっているかを判定していき、またがっている場合はさらに８分割する。これにより、実物体を、様々なサイズの四角錐台の領域の集合で表す。

　撮影画像は、全体がおよそ四角錐台形状である視野空間が、カメラ１４０の撮像面に結像したものである。すなわち撮影画像上のある画素は、例えば図９の領域４２０上の物の情報を表している。したがって、デプス画像に基づくカメラからの距離の範囲と、画像平面での像の領域に対応させるためには、図示するような四角錐台形状に分割していくのがより高精度かつ効率的といえる。画像平面での注視領域を矩形として設定すると、それに対応する実空間の領域も、領域４２０のような領域を画像上の縦方向および横方向に複数まとめた集合体として四角錐台形状となる。したがって空間を四角錐台形状に分割することにより、注視領域のみを高精細化する処理も効率化できる。

　例えば、注視領域に対応する四角錐台の集合体の領域においては、より詳細に実物体との内外判定を行う。これにより、より小さいサイズの錐台で、実物体を精密に表せる。また、図８で説明したように、実物体の距離に応じて処理の精細度を変化させるのと同様の原理で、カメラからの距離によって錐台単位で処理の精細度を変化させてもよい。例えばある錐台領域で実物体の一部が表されているとき、それより奥にある錐台は、実物体を表していたとしてもオクルージョンによって画像上には表れない。したがって、注視領域内であっても、そのような領域は、画像解析部２５８による解析対象から除外したり、そのような領域に描画すべきオブジェクトの描画を省略したりすることができる。

　以上述べた構成によって実現できる、情報処理装置２００の動作を説明する。図１０は情報処理装置２００が、撮影画像に基づき表示画像を生成する処理手順を示すフローチャートである。このフローチャートは、ユーザがヘッドマウントディスプレイ１００を装着し、図示しない所定の入力手段により処理の開始指示を入力したときなどに開始される。まず情報処理装置２００の撮影画像取得部２５０は、ヘッドマウントディスプレイ１００に撮影開始の要求信号を送信するなどして撮影を開始させ、それに応じてヘッドマウントディスプレイ１００から送信された撮影画像の第１フレームのデータを取得する（Ｓ１０）。

　すると位置・姿勢取得部２５６が、撮影画像に基づきヘッドマウントディスプレイ１００、ひいてはユーザの頭部の位置や姿勢を取得するとともに（Ｓ１２）、領域決定部２５４が注視領域を予測する（Ｓ１４）。なおＳ１２の処理は、ヘッドマウントディスプレイ１００に内蔵されたモーションセンサによる計測値により求めてもよい。またＳ１４において、それまでの履歴により注視領域を予測する場合は、第１フレームに係る処理では画像の中心部分など所定の領域を注視領域としてよい。

　次に画像解析部２５８の第１精細度処理部２７０は、予測された注視領域について高精細に所定の画像解析処理を実施する（Ｓ１６）。並行して第２精細度処理部２７２は、注視領域以外の領域、あるいは画像全体の領域について、第１精細度処理部２７０より低い精細度で、第１精細度処理部２７０と同様の処理を実施する（Ｓ１８）。なお上述のとおり精細度の差別化をしない処理については、第２精細度処理部２７２が全領域を対象として実施すればよい。

　続いて情報処理部２６０は、画像解析の結果を利用して所定の情報処理を実施する（Ｓ２０）。この処理は上述のように、精細度の差別化をする必要のない一般的な情報処理でよい。また、場合によっては図示しない入力装置などによるユーザ操作も入力情報として利用してよい。次に画像生成部２６２は、画像解析部２５８による画像解析結果および情報処理部２６０による情報処理の結果の少なくともいずれかに基づき表示画像を生成する。

　このとき画像生成部２６２の第１精細度処理部２７４は、予測された注視領域について高精細に画像を描画する（Ｓ２２）。並行して第２精細度処理部２７６は、注視領域以外の領域、あるいは画像全体の領域について、第１精細度処理部２７４より低い精細度で、画像を描画する（Ｓ２４）。ただし描画処理において精細度の差別化をしない場合は、第２精細度処理部２７６が全領域について必要な画像を描画する。

　出力部２６４は、注視領域の画像とその他の領域の画像を必要に応じてつなげたうえで、ヘッドマウントディスプレイ１００に出力する（Ｓ２６）。ユーザ操作などにより処理を終了させる必要のない期間は（Ｓ２８のＮ）、次のフレームについてＳ１０～Ｓ２６の処理を繰り返し、処理を終了させる必要が生じたら全ての処理を終了させる（Ｓ２８のＹ）。なお図示する例では、全ての処理を順次行っているが、上述のとおり、高精細な処理として処理レートを高める場合は、Ｓ１６およびＳ２２の処理が、Ｓ１８およびＳ２４の処理より高頻度で実施されることになる。

　以上述べた本実施の形態によれば、撮影画像に基づきヘッドマウントディスプレイに表示させる画像を生成するために必要な画像解析処理や画像描画処理の少なくとも一部を、画像上の領域によって精細度を異ならせて実施する。例えばユーザが注視している領域に限定して精細度を上げることにより、処理の負荷を増大させることなく、見た目の印象として高度な画像世界を表すことができる。

　注視領域は、ヘッドマウントディスプレイの位置や姿勢から推定されるユーザの視線や、注視点検出器による検出結果などに基づき決定する。あるいは、見られる確率の高いオブジェクトや実物体を、一般的な傾向やユーザごとの傾向などに応じて決定する。このとき、それまでの視線や注視点の時間変化などに基づき、微小時間後の注視領域を予測することにより、画像処理等に時間を要しても、表示画像に対する実際の注視領域と、高精細に処理をした領域とのずれを少なくできる。

　また注視領域内部に写っている実物体の距離によって、精細度の高め方を調整する。例えば実物体が近距離にある場合は低解像度の画像を用いて高レートでデプス画像を生成する。実物体が遠距離にある場合は、高解像度の画像を用いて低レートでデプス画像を生成する。どちらも注視領域外よりは高精細な処理としても、処理レートと解像度でバランスを図ることで、過度な処理をせずにより大きな効果を得ることができる。

　さらに実物体のモデリング手法として、オクトリー表現を錐台形状で行う。すなわちカメラの視野空間である錐台を、実物体を完全に含むか含まなくなるまで錐台形状に８分割していくことで実物体を表す。このような錐台形状の空間分割によれば、画像上の領域に対応する３次元空間を、分割してなる錐台の集合体として抽出できる。したがって、このような錐台を単位として精細度を調整すれば、表示画像上の領域とカメラからの距離の双方を考慮した限定的な空間に対し、処理負荷をかけずより効果的に精細度を高めることができる。

　以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

　例えば本実施の形態では主に、精細度を異ならせる領域の分割基準として、ユーザの注視領域か否かを例に説明した。一方、分割基準はそれに限定されない。例えば、レンズを介してディスプレイを見る構造のヘッドマウントディスプレイでは、レンズによって表示画像が歪められた結果、ユーザの視野の中心と周辺では画像の密度が異なることが考えられる。このような光学的な特性を想定して、あらかじめ逆方向の歪み補正をかけることに加え、表示画像の中心と周辺で本実施の形態と同様に処理の態様を異ならせることにより、レンズを介して見たときに視野全体で一様に見えるようにしてもよい。

　また本実施の形態のように撮影画像と表示画像が対応する視野を有する場合、注視領域など共通の領域に対し、画像解析部および画像生成部が処理の精細度を高くすることができ、相乗効果として当該領域の品質を高めることができる。一方、画像解析部および画像生成部は互いに独立な処理が可能なため、前者が撮影画像に対し精細度を高くする領域と、後者が表示画像において精細度を高くする領域は独立に決定できる。したがって画像解析部と画像生成部は、それぞれ異なる基準で決定された領域に対し、精細度を異ならせてもよい。

　その観点において、撮影画像と表示画像の視野は対応していなくてもよい。すなわち本実施の形態では、カメラが装着されたヘッドマウントディスプレイを想定したが、情報処理の目的や表示する内容によっては、ヘッドマウントディスプレイとカメラは別の筐体を有していてもよい。これにより撮影画像と表示画像の視野に関連性がなくとも、上述のとおりそれぞれについて独立に決定された領域に対し、画像解析部および画像生成部が独立に精細度を異ならせて処理を行えば、本実施の形態と同様の効果を得ることができる。また表示装置はヘッドマウントディスプレイに限らず、フラットパネルディスプレイなどでもよい。

　さらに本実施の形態では、入力データとして取得した、同じ撮影画像について、画像平面上で領域を分けることにより精細度を異ならせた。一方、空間的、時間的、あるいはその双方で、精細度の異なる複数種類の撮影画像を入力データとして取得してもよい。図１１は、２種類の画像を撮影するカメラを備えたヘッドマウントディスプレイの外観形状の例を示している。この例においてヘッドマウントディスプレイ１００ａは、図１で示したヘッドマウントディスプレイ１００に、さらに第２のカメラ１４２を設けた構成を有する。

　第２のカメラ１４２のレンズは、カメラ１４０を構成するステレオカメラの２つのレンズの中点を通る垂直線上に配置される。そして第２のカメラ１４２は例えば、カメラ１４０の各カメラより広い視野を有するカメラとする。両者を同程度の画素数とした場合、第２カメラ１４２が撮影した画像は、カメラ１４０がそれぞれの視点から撮影した画像より解像度が低くなる。このような第２のカメラ１４２を設け、それにより撮影された画像を第２精細度処理部２７２、２７６の処理対象とし、カメラ１４０が撮影した画像を第１精細度処理部２７０、２７４の処理対象とすれば、本実施の形態と同様の効果を得ることができる。

　ここで高精細な処理を行う領域は限定的なため、カメラ１４０の画素数を低くすることにより製造コストを軽減させたり、画素数をそのままに視野を狭めることにより解像度をさらに高くしたりすることもできる。また同様の原理により、第２のカメラ１４２はカメラ１４０より低いレートで撮影し、それを用いて第２精細度処理部２７２、２７６が低い時間分解能で各種処理を実施するようにしてもよい。

　１００　ヘッドマウントディスプレイ、　１４０　カメラ、　２００　情報処理装置、　２２２　ＣＰＵ、　２２４　ＧＰＵ、　２２６　メインメモリ、　２５０　撮影画像取得部、　２５２　画像記憶部、　２５４　領域決定部、　２５６　位置・姿勢取得部、　２５８　画像解析部、　２６０　情報処理部、　２６２　画像生成部、　２６４　出力部、　２７０　第１精細度処理部、　２７２　第２精細度処理部、　２７４　第１精細度処理部、　２７６　第２精細度処理部。

　以上のように本発明は、ゲーム装置、画像処理装置、画像再生装置、パーソナルコンピュータなど各種情報処理装置と、それらを含む情報処理システムなどに利用可能である。

Claims

　カメラから撮影画像のデータを取得する撮影画像取得部と、
　前記撮影画像を解析する画像解析部と、
　前記解析の結果に基づく表示画像を生成し表示装置に出力する表示画像生成部と、
　を備え、
　前記画像解析部および前記表示画像生成部の少なくとも一方は、画像平面上の領域によって、処理の精細度を異ならせることを特徴とする情報処理装置。
　前記表示画像におけるユーザの注視領域を決定する領域決定部をさらに備え、
　前記画像解析部は、前記撮影画像における、前記注視領域に対応する領域に対する処理の精細度を、その他の領域に対する処理の精細度より高くすることを特徴とする請求項１に記載の情報処理装置。
　前記表示画像におけるユーザの注視領域を決定する領域決定部をさらに備え、
　前記表示画像生成部は、前記注視領域に対する処理の精細度を、その他の領域に対する処理の精細度より高くすることを特徴とする請求項１に記載の情報処理装置。
　前記領域決定部は、前記注視領域を決定づけるパラメータの時間変化に基づき後の時間における注視領域を予測することを特徴とする請求項２または３に記載の情報処理装置。
　前記領域決定部は、前記表示装置としてヘッドマウントディスプレイを装着しているユーザの頭部の動きに基づき前記注視領域を決定することを特徴とする請求項２から４のいずれかに記載の情報処理装置。
　前記領域決定部は、前記表示装置としてヘッドマウントディスプレイの内部に設けた注視点検出器による検出結果に基づき前記注視領域を決定することを特徴とする請求項２から４のいずれかに記載の情報処理装置。
　前記領域決定部は、表示画像に表されている物のうち、注視される確率の高い物を履歴に基づいて特定し、当該物を含む領域を、前記注視領域として決定することを特徴とする請求項２から４のいずれかに記載の情報処理装置。
　前記画像解析部および前記表示画像生成部の少なくとも一方は、画像平面上の領域によって、空間的な精細度および時間的な精細度の少なくとも一方を異ならせることを特徴とする請求項１から７のいずれかに記載の情報処理装置。
　前記画像解析部は、前記撮影画像に写っている実物体の、カメラからの距離によって、精細度を異ならせる程度を変化させることを特徴とする請求項２から７のいずれかに記載の情報処理装置。
　前記画像解析部は、前記実物体のカメラからの距離によって、前記撮影画像におけるその像を含む領域のデプス画像の生成処理のレートと、当該生成処理に使用する視差画像の解像度と、のバランスを変化させることを特徴とする請求項９に記載の情報処理装置。
　前記領域決定部は、前記実物体の動きに基づき、前記撮影画像におけるその像を含む領域および当該実物体のカメラからの距離を予測し、
　前記画像解析部は、予測された前記領域の処理の精細度を異ならせる程度を、予測された前記カメラからの距離に基づき変化させることを特徴とする請求項９または１０に記載の情報処理装置。
　前記画像解析部は、前記カメラの視野を構成する四角錘台の空間を、各辺の中点を通る２つの垂直面および１つの水平面により８分割する処理を、実物体との位置関係に基づき繰り返すことにより、実物体を四角錘台の集合体で表してモデル化することを特徴とする請求項１から１１のいずれかに記載の情報処理装置。
　カメラを備えたヘッドマウントディスプレイと、当該カメラによる撮影画像に基づき前記ヘッドマウントディスプレイに表示させる画像を生成する情報処理装置と、を含む情報処理システムであって、
　前記情報処理装置は、
　前記カメラから撮影画像のデータを取得する撮影画像取得部と、
　前記撮影画像を解析する画像解析部と、
　前記解析の結果に基づく表示画像を生成し前記ヘッドマウントディスプレイに出力する表示画像生成部と、
　を備え、
　前記画像解析部および前記表示画像生成部の少なくとも一方は、画像平面上の領域によって、処理の精細度を異ならせることを特徴とする情報処理システム。
　カメラから撮影画像のデータを取得するステップと、
　前記撮影画像を解析するステップと、
　前記解析の結果に基づく表示画像を生成するステップと、
　前記表示画像のデータを表示装置に出力するステップと、
　を含み、
　前記解析するステップおよび前記生成するステップの少なくとも一方は、画像平面上の領域によって、処理の精細度を異ならせることを特徴とする、情報処理装置による情報処理方法。
　カメラから撮影画像のデータを取得する機能と、
　前記撮影画像を解析する機能と、
　前記解析の結果に基づく表示画像を生成する機能と、
　前記表示画像のデータを表示装置に出力する機能と、
　を含み、
　前記解析する機能および前記生成する機能の少なくとも一方は、画像平面上の領域によって、処理の精細度を異ならせることを特徴とするコンピュータプログラム。