JP5839220B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本技術は、３次元仮想空間の画像等を表示することが可能な情報処理装置、情報処理方法、及びプログラムに関する。

イメージセンサを用いてオペレータを撮影し、頭姿勢、注視方向、閉眼及び表情等の顔パラメータを測定するシステムが知られている。例えば特許文献１によれば、測定した顔パラメータが、ヒューマンマシンインタフェース（ＨＭＩ）設計などの分野において、システムとオペレータの対話を測定するために用いられる。また特許文献１には、顔パラメータから疲労及び注意散漫情報を導出する自動車運転者支援システムが記載されている（特許文献１の段落［０００５］、［０００６］等参照）。

特表２００９−５１７７４５号公報

さらに特許文献１には、上記した顔パラメータを用いた顔と注視の追跡システムが、パーソナルコンピュータに対するインターフェースが発展するにつれて、コンピュータキーボードやマウスと同じくらい広範に分布する（ユビキタスになる）可能性がある旨の記載がある（特許文献１の明細書段落［０００７］等参照）。すなわち上記の追跡システムのような操作者の動きをもとにした情報処理システムが普及していくと思われる。

以上のような事情に鑑み、本技術の目的は、操作者の動きをもとにした操作性の高い画像表示システムを実現することが可能な情報処理装置、情報処理方法、及びプログラムを提供することにある。

上記目的を達成するため、本技術の一形態に係る情報処理装置は、画像生成部と、検出部と、視点変位部とを具備する。
前記画像生成部は、３次元の仮想空間内に設定された注視点を所定の仮想視点から眺めた場合の視点画像を生成する。
前記検出部は、操作者の動きを検出する。
前記視点変位部は、前記検出された操作者の動きをもとに、前記設定された注視点を基準として前記仮想視点を変位させる。

この情報処理装置では、注視点を所定の仮想視点から眺めた場合の視点画像が生成される。そして操作者の動きをもとに、設定された注視点を基準として仮想視点が変位される。これにより、操作者の動きをもとにした操作性の高い画像表示システムを実現することが可能となる。

前記視点変位部は、前記設定された注視点を中心として前記仮想視点を変位させてもよい。
これにより、例えば３次元の仮想空間において注視点を回り込んで見るという直感的な操作が可能となる。

前記検出部は、撮影された前記操作者の画像から前記操作者の動きを検出してもよい。
これにより、操作者の画像をもとに操作者の動きを高精度に検出することが可能となる。

前記検出部は、前記操作者の顔の位置を検出してもよい。この場合、前記視点変位部は、前記顔の位置の変位をもとに前記仮想視点を変位させてもよい。
このように顔の位置の変位をもとに仮想視点が変位されてもよい。これにより、顔を動かして注視点を見るという直感的な操作が可能となる。

前記検出部は、前記操作者の顔の向きを検出してもよい。この場合、前記視点変位部は、前記顔の向きの変位をもとに前記仮想視点を変位させてもよい。
このように顔の向きの変位をもとに仮想視点が変位されてもよい。これにより、顔を動かして注視点を見るという直感的な操作が可能となる。

前記検出部は、前記操作者の手の動きを検出してもよい。この場合、前記視点変位部は、前記手の動きをもとに前記仮想視点を変位させてもよい。
このように手の動きをもとに仮想視点が変位されてもよい。これにより、例えば手で注視点を回しながら、注視点の周囲等を見るという直感的な操作が可能となる。

前記情報処理装置は、前記注視点を設定する設定部をさらに具備してもよい。
これにより、例えば仮想空間内の注目するオブジェクト等に注視点を設定するといった操作が可能となる。

前記情報処理装置は、前記操作者の操作を受け付けるインターフェース部をさらに具備してもよい。この場合、前記設定部は、前記インターフェース部により受け付けられた操作をもとに前記注視点を設定してもよい。
このように操作者の操作により注視点が設定されてもよい。これにより操作性を向上させることができる。

前記設定部は、前記検出された操作者の動きをもとに前記注視点を設定してもよい。
このように操作者の動きをもとに注視点が設定されてもよい。これにより操作性を向上させることができる。

前記情報処理装置は、注視点変位部と、切替部とをさらに具備してもよい。
前記注視点変位部は、前記仮想視点を基準として前記注視点を変位させる。
前記切替部は、前記視点変位部と前記注視点変位部とを切り替える。
これにより、眺められる点を基準とした視点制御の切り替えが可能となる。その結果、操作性の高い画像表示システムが実現する。

本技術の一形態に係る情報処理方法は、３次元の仮想空間内に設定された注視点を所定の仮想視点から眺めた場合の視点画像を生成することを含む。
操作者の動きが検出される。
前記検出された操作者の動きをもとに、前記設定された注視点を基準として前記仮想視点が変位される。

本技術の一形態に係るプログラムは、コンピュータに、生成ステップと、検出ステップと、変位ステップとを実行させる。
前記生成ステップは、３次元の仮想空間内に設定された注視点を所定の仮想視点から眺めた場合の視点画像を生成する。
前記検出ステップは、操作者の動きを検出する。
前記変位ステップは、前記検出された操作者の動きをもとに、前記設定された注視点を基準として前記仮想視点を変位させる。

以上のように、本技術によれば、操作者の動きをもとにした操作性の高い画像表示システムを実現することが可能である。

本技術の第１の実施形態に係る情報処理装置を少なくとも含む情報処理システムの構成を示すブロック図である。 本実施形態に係る情報処理装置の機能的な構成例を説明するための模式的な図である。 本実施形態に係る注視点及び仮想視点について説明するための模式的な図である。 本実施形態に係る注視点を基準とした仮想視点の決定処理の一例を示す模式的な図である。 本実施形態に係る注視点を基準とした仮想視点の決定処理の一例を示す模式的な図である。 本実施形態に係る注視点を基準とした仮想視点の決定処理の一例を示す模式的な図である。 本実施形態に係る情報処理装置の動作例を示すフローチャートである。 本実施形態に係る現在位置中心の視点制御について説明するための模式的な図である。 本技術の第２の実施形態に係る情報処理装置の動作を説明するための模式的な図である。 本技術の第３の実施形態に係る情報処理装置の動作を説明するための模式的な図である。 本技術に係る画像表示システムの他の例を示す模式的な図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

＜第１の実施形態＞
図１は、本技術の第１の実施形態に係る情報処理装置を少なくとも含む情報処理システムの構成を示すブロック図である。情報処理装置１００としては、例えばゲーム機器やＰＣ（Personal Computer）等の種々のコンピュータが用いられる。

本実施形態に係る情報処理装置１００により、仮想の３次元仮想空間内に配置された複数のポリゴン等からなる３次元オブジェクトがレンダリングされる。このような３次元グラフィックスは、例えば、ＣＡＤ（Computer Aided Design）やゲーム等において利用される。

情報処理装置１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、入出力インターフェース１０５、及び、これらを互いに接続するバス１０４を備える。

入出力インターフェース１０５には、表示部１０６、入力部１０７、記憶部１０８、通信部１０９、撮像部１１０、ドライブ部１１１等が接続される。

表示部１０６は、例えば液晶、ＥＬ（Electro-Luminescence）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。

入力部１０７は、例えばコントローラ、ポインティングデバイス、キーボード、タッチパネル、その他の操作装置である。入力部１０７がタッチパネルを含む場合、そのタッチパネルは表示部１０６と一体となり得る。本実施形態では、入力部１０７を介して、操作者の操作が入出力インターフェース１０５に受け付けられる。

記憶部１０８は、不揮発性の記憶デバイスであり、例えばＨＤＤ（Hard Disk Drive）、フラッシュメモリ、その他の固体メモリである。

撮像部１１０は、図示しない撮像制御部、撮像素子及び撮像光学系を有する。撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Devices）センサ等が用いられる。撮像光学系は、撮像素子の撮像面上に被写体像を結像させる。撮像制御部は、ＣＰＵ１０１からの指示に基づき、撮像素子を駆動し、撮像素子から出力される画像信号に対して信号処理を行う。

本実施形態では撮像部１１０として、表示部１０６の上部に対面カメラが設けられている。この対面カメラにより、情報処理装置１００を用いてゲーム等を行う操作者が撮影される。

ドライブ部１１１は、例えば光学記録媒体、フロッピー（登録商標）ディスク、磁気記録テープ、フラッシュメモリ等、リムーバブルの記録媒体１１２を駆動することが可能なデバイスである。これに対し上記記憶部１０８は、主にリムーバブルでない記録媒体を駆動する、情報処理装置１００に予め搭載されたデバイスとして使用される場合が多い。

通信部１０９は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部１０９は、有線及び無線のどちらを利用して通信するものであってもよい。通信部１０９は、情報処理装置１００とは別体で使用される場合が多い。

図２は、本実施形態に係る情報処理装置１００の機能的な構成例を説明するための模式的な図である。図２に示す各機能ブロックは、図１に示すＲＯＭ１０２や記憶部１０８等に記憶されたプログラム等のソフトウェア資源と、ＣＰＵ１０１等の各ハードウェア資源とが協働することにより実現される。

プログラムは、例えば記録媒体１１２から情報処理装置１００にインストールされる。あるいは、通信部１０９を介して情報処理装置１００にプログラムがインストールされてもよい。

図２に示すように情報処理装置１００は、レンダリング部１２０と、顔検出部１２１と、顔位置算出部１２２と、注視点決定部１２３と、仮想視点決定部１２４とを有する。

レンダリング部１２０は、３次元の仮想空間内に設定された注視点を所定の仮想視点から眺めた場合の視点画像を生成する。すなわち本実施形態では、注視点及び仮想視点の３次元座標及び向きの情報をもとに、３次元の仮想空間を表す視点画像が生成される。レンダリング部１２０は、本実施形態において画像生成部として機能する。

図３は、上記した注視点及び仮想視点について説明するための模式的な図である。図３に示すように、３次元の仮想空間５００内にオブジェクト５０１が配置されている。この例では、オブジェクト５０１の中心に注視点５０５が設定されている。そして仮想視点５１０から注視点５０５を眺めた場合の視点画像が生成される。当該視点画像は、表示部１０６としての表示装置に出力される。

例えば、レンダリング部１２０により、３次元マップに含まれるポリゴンやテクスチャのデータが記憶部１０８等から読み出される。そして上記した視点画像が２Ｄ画像として生成されて出力される。なお３次元の仮想空間５００を表す画像の生成方法やそれに用いられる技術等は限定されない。また視点画像として３Ｄ画像が生成され、３Ｄ画像を表示可能な表示装置に出力されてもよい。

顔検出部１２１は、撮像部１１０として機能するカメラから操作者の撮影画像を受け取る。そして撮影画像から操作者の顔を検出する。例えばカメラから入力される２Ｄの撮影画像に対して、顔検出処理が実行される。顔検出処理には、例えば学習ベースのViola-Jones等のアルゴリズムが用いられる。しかしながら、顔検出処理のために用いられる技術は限定されず、その他の技術やアルゴリズム等が適宜用いられてよい。

本実施形態では、顔検出部１２１の検出結果として、撮影画像の座標系（ｘ-ｙピクセル単位）で、どの区域に顔が検出されたかを示す顔矩形座標データが出力される。当該顔矩形座標データは、顔位置算出部１２２に出力される。

顔位置算出部１２２は、顔矩形座標データから矩形の重心の位置を算出し、この重心から顔の位置を算出する。また顔位置算出部１２２は、矩形の幅及び高さから顔の大きさを算出する。顔位置算出部１２２により算出された顔の位置及び大きさのデータは、仮想視点決定部１２４に出力される。

本実施形態では、顔検出部１２１及び顔位置算出部１２２が、操作者の動きを検出する検出部として機能する。このように本実施形態では、撮影された操作者の画像から操作者の動きが検出される。また、操作者の撮影画像から操作者の顔の位置が検出される。

注視点決定部１２３は、入力部１０７としてのコントローラを介した操作入力をもとに、注視点５０５を決定する。本実施形態では、注視点決定部１２３は、注視点を設定する設定部として機能する。

例えば、表示されている２Ｄの画像上の特定位置を選択可能なポインタが表示される。操作者は、コントローラを操作してポインタを２Ｄ画像上の所望の位置へ移動させる。そして所定のボタン等が押されることで、当該ポインタの位置が注視点５０５として決定される。

あるいは、ポインタの位置に表示されている３Ｄポリゴン等のオブジェクト５０１が注視物体として設定されてもよい。そして当該設定された注視物体の中心位置又は重心位置等が注視点５０５として決定されてもよい。あるいは注視物体として選択されたオブジェクト５０１の形状等をもとに、当該オブジェクト５０１の周囲を観察しやすいような点が、注視点５０５として適宜決定されてもよい。

本実施形態では、３次元マップが参照されることで、注視点５０５の３次元座標が算出される。当該座標データは仮想視点決定部１２４に出力される。

なお、コントローラを介して操作されるポインタの位置として２次元座標が入力され、それをもとに注視点５０５の３次元座標が設定されてもよい。又は３次元座標に準じてポインタが表示可能である場合、ポインタの位置として３次元座標が入力され、当該座標が注視点５０５の座標として設定されてもよい。

仮想視点決定部１２４は、顔の位置や大きさをもとに、注視点５０５を基準として仮想視点５１０を決定する。そして顔の位置や大きさが変位した場合には、それに応じて注視点５０５を基準として仮想視点５１０が変位される。すなわち本実施形態では、仮想視点決定部１２４は、検出された操作者の動きをもとに、設定された注視点５０５を基準として仮想視点５１０を変位させる視点変位部として機能する。仮想視点は３次元座標により表される。

図４〜図６は、注視点５０５を基準とした仮想視点５１０の決定処理の一例を示す模式的な図である。図４（Ａ）に示すように、操作者５５０の撮影画像５５１から操作者５５０の顔５５２の位置及びその変位５５３が算出される。

例えば操作者５５０が自分の顔を表示画面に対して右側に動かすと、撮影画像５５１において左側に操作者５５０の顔５５２が表示される（５５２Ｒ参照）。すなわち顔画像５５１上で顔５５２の位置が左側に変位した場合、操作者５５０の右側への動きが検出される。

一方、例えば操作者５５０が自分の顔を表示画面に対して左側に動かすと、撮影画像５５１において右側に操作者５５０の顔５５２が表示される（５５２Ｌ参照）。すなわち顔画像５５１上で顔５５２の位置が右側に変位した場合、操作者５５０の左側への動きが検出される。

図４（Ｂ）に示すように、本実施形態では、注視点５０５を中心とした球５２０上に仮想視点５１０が配置される。そして、検出された顔５５２の位置の変位をもとに、当該球５２０上にて注視点５０５の周囲を回るように仮想視点５１０が変位される。なお図４（Ｂ）では、説明を分かりやすくするために、仮想視点５１０の位置に操作者５５０の図が図示されている。

本実施形態では、操作者５５０の右側への動きに対応するように、注視点５０５に対して右側（矢印Ｒの方向）に仮想視点５１０が変位される。また操作者５５０の左側への動きに対応するように、注視点５０５に対して左側（矢印Ｌの方向）に仮想視点５１０が変位される。

例えば図４（Ａ）に示すように、顔５５２が水平方向に動かされた場合、図５（Ａ）に示すように、注視点５０５を中心としたＸＹ平面に平行な円５２１の周上にて仮想視点５１０が変位されてもよい。これにより注視点５０５を見据えながら左右から廻り込む操作が可能となる。

また顔５５２の上下の動きも、顔画像５５１より検出可能である。この場合、図５（Ｂ）に示すように、注視点５０５を中心としたＸＺ平面に平行な円５２２の周上にて仮想視点５１０が変位されてもよい。顔が上に動かされた場合、オブジェクト５０１に対して上から覗き込む方向で仮想視点５１０が変位される。顔が下に動かされた場合、逆の方向に仮想視点５１０が変位される。

このように本実施形態では、顔の水平方向における動きと、垂直方向における動きとがともに検出され、その動きに対応するように球５２０上で仮想視点５１０が変位される。これにより、操作者５５０の動きをもとにした操作性の高い画像表示システムを実現することが可能となる。

なお、顔の水平方向及び垂直方向の動きに対応する仮想視点５１０の変位が上記したものに限定されるわけではない。例えばオブジェクト５０１の形状や大きさ等をもとに、顔の位置の変位と仮想視点５１０の変位とが適宜マッチングされてよい。

図６に示すように、本実施形態では、仮想視点５１０の決定処理に、顔の大きさのデータも用いられる。本実施形態では、顔の大きさ（=カメラと顔の距離）の変動をオブジェクト５０１と操作者５５０との距離変化に反映させるようなマッピングが採用されている。

すなわち本実施形態では、顔５５２の大きさをもとに上記した球５２０の半径が定められる。操作者５５０が顔５５２を表示画面に近づけた場合、顔５５２の大きさの増加が検出される。従って、顔の大きさの増加に対応して、球５２０の半径を小さくさせる（矢印Ｅの方向）。すなわち表示画面上には、オブジェクト５０１が拡大されて表示される。

一方、操作者５５０が顔５５２を表示画面から遠ざけた場合、顔５５２の大きさの減少が検出される。従って、顔５５２の大きさの減少に対応して、球５２０の半径を大きくさせる（矢印Ｓの方向）。すなわち表示画面上には、オブジェクト５０１が縮小されて表示される。このように顔の大きさのデータを用いることで、操作者５５０の動きをもとにした操作性の高い画像表示システムを実現することが可能となる。

最初に仮想視点５１０が設定される場合、予め仮想視点５１０がデフォルトで設定されてもよい。そしてその仮想視点５１０から注視点５０５を眺めた場合の視点画像が生成されてもよい。その後、顔５５２の位置及び大きさの変位をもとに、上記したような仮想視点５１０の変位処理が実行されてもよい。

図７は、本実施形態に係る情報処理装置１００の動作例を示すフローチャートである。

まず顔検出部１２１により顔検出処理が実行される（ステップ１０１）。そして撮影画像５５１中に顔５５２が存在するか否かが判定される（ステップ１０２）。撮影画像５５１中に顔５５２が存在しないと判定された場合（Ｎｏ）、現在位置中心の視点制御が実行される（ステップ１０３）。

現在位置中心の視点制御について説明する。図８は、その説明のための模式的な図である。本実施形態では、コントローラの例えば十字キー等を用いた操作をもとに以下に示す現在位置中心の視点制御が実行される。

図８に示すように、現在位置中心の視点制御は、現在の仮想視点５１０を中心として対象点５１５が変位する視点制御である。対象点５１５は、仮想視点５１０から眺められる対象となる点である。図８（Ａ）に示すように、対象点５１５は、仮想視点５１０を基準として回転方向及び直線方向（矢印Ｒ，Ｌ，Ｅ，Ｓ）に変位される。

そうすると例えば図８（Ｂ）に示すように、対象点５１５がオブジェクト５０１から他のオブジェクト５１１に変位される。そしてオブジェクト５１１が表示された視点画像が生成される。すなわちこの現在位置中心の視点制御により、操作者５５０は自分の周りを見渡す操作等が可能となる。

なお仮想視点５１０が固定されてその周囲を対象点５１５が回転等する場合に限定されず、操作者５５０や操作者５５０が操る表示画面上のキャラクタ等を基準とした、いわゆる一人称の視点制御が種々採用されてよい。

ステップ１０２にて、撮影画像５５１中に顔５５２が存在すると判定された場合（Ｙｅｓ）、顔位置算出部１２２により顔の位置及び大きさが算出される（ステップ１０４）。そしてステップ１０５にて、注視点５０５を設定するためのボタン操作が入力されたか否かが判定される。

当該ボタン押下操作が入力されない場合（ステップ１０５のＮｏ）、現在位置中心の視点制御が実行される（ステップ１０３）。当該ボタン押下操作が入力された場合（ステップ１０５のＹｅｓ）、表示画面上のポインタの座標上に、優位な３Ｄオブジェクトがあるか否かが判定される（ステップ１０６）。優位な３Ｄオブジェクトとは、上記したような注視点５０５を基準とした注視点中心の視点制御の対象となり得るオブジェクトである。

すなわち本実施形態では、注視点中心の視点制御が可能なオブジェクト５０１が予め設定されている。そしてそのオブジェクト５０１がポインタにより選択された場合に、注視点中心の視点制御が実行される（ステップ１０６のＹｅｓからステップ１０７）。

そして操作者５５０は顔５５２を動かしながらオブジェクト５０１を回り込んで観察するという直感的な操作を実行することができる。これにより例えば２Ｄ画像を表示する表示装置においても、３次元の空間を十分に感じながら視点画像を観察することができる。

ポインタの座標上に優位な３Ｄオブジェクトがないと判定された場合、（ステップ１０６のＮｏ）、現在位置中心の視点制御が実行される（ステップ１０３）。このように優位なオブジェクトが適宜設定されることで、ステップ１０３及びステップ１０７の２つの視点制御の切り替えをスムーズに実行することが可能である。例えば宝箱等の重要なオブジェクトのみ注視点中心の視点制御が可能であるというような設定が可能である。

なお、優位なオブジェクトが設定されず、コントローラの注視点設定ボタンが押されれば、常に注視点中心の視点制御が実行されてもよい。

図７のフローチャートに示すように、本実施形態では、基本的には、コントローラを用いた現在位置中心の視点制御が実行される。これにより操作者５５０は、まず一人称視点での移動や、キャラクタの移動等を直感的に操作することが可能となる。

しかしながらこの視点制御では、例えば重要なオブジェクト５０１を回り込んでじっくり観察したいとき等に、旋回移動しながら対象点５１５を移動させなければならない。すなわち移動しながら視線方向を調整するという動作を繰り返さなければならず、操作が煩雑になる可能性がある。

このような場合に操作者５５０は、コントローラを用いて、重要なオブジェクト５０１に注視点５０５を設定する。そうするとステップ１０７に示すように注視点中心の視点制御が選択される。この結果、操作者５５０は、顔５５２を動かしながら当該オブジェクト５０１を回り込んで色々な角度からじっくり観察することが可能となる。これにより操作性及び自由度の高い画像表示システムが実現される。

以上、本実施形態に係る情報処理装置１００では、注視点５０５を所定の仮想視点５１０から眺めた場合の視点画像が生成される。そして操作者５５０の動きをもとに、設定された注視点５０５を基準として仮想視点５１０が変位される。これにより、操作者５５０の動きをもとにした操作性の高い画像表示システムを実現することが可能となる。

また本実施形態では、注視点５０５を中心として仮想視点５１０が変位される。これにより、３次元の仮想空間５００において注視点５０５及び注視物体を回り込んで見るという直感的な操作が可能となる。

また本実施形態では、操作者５５０の撮影画像５５１から操作者５５０の動きが検出されるので、操作者５５０の動きを高精度に検出することが可能となる。また顔５５２の位置及び大きさをもとに仮想視点５１０が変位されるので、顔を動かして注視点５０５を見るという直感的な操作が可能となる。また本実施形態では、コントローラを用いて、操作者５５０が注目するオブジェクト５０１等に注視点５０５を設定するといった操作が可能となる。

なお、図８に示す現在位置中心の視点制御において、注視点中心の視点制御で設定された注視点５０５がそのまま対象点５１５として用いられてもよい。すなわち仮想視点５１０を基準として注視点５０５が変位されてもよく、この場合ＣＰＵ１０１は注視点変位部として機能する。また注視点中心の視点制御において、現在位置中心の視点制御で設定された対象点５１５がそのまま注視点５０５として用いられてもよい。

この場合、例えばコントローラに２つの視点制御を切り替えるためのボタン等が設定されていてもよい。このボタンの操作によりＣＰＵ１０１が、視点変位部と注視点変位部とを切り替える（ＣＰＵ１０１が切替部として機能する）。これにより２つの視点制御において眺められる点（注視点５０５及び対象点５１５）を基準とした視点制御の切り替え処理が可能となる。その結果、操作性の高い画像表示システムが実現する。

＜第２の実施形態＞
本技術に係る第２の実施形態の情報処理装置について説明する。これ以降の説明では、上記の実施形態で説明した情報処理装置１００における構成及び作用と同様な部分については、その説明を省略又は簡略化する。

図９は、本技術の第２の実施形態に係る情報処理装置の動作を説明するための模式的な図である。本実施形態では、操作者の顔５５２の画像から操作者の顔５５２の向きが検出される。そして検出された顔５５２の向きの変位をもとに、注視点を基準として仮想視点が変位される。

例えば操作者の顔画像から、口、鼻又は目等の各部位の位置や大きさ等が検出される。これらの各部位の位置や大きさ等をもとに顔５５２の向きが検出される。その他、顔５５２の向き等を検出するための種々の顔追跡システムが用いられてよい。また例えば視線の向きや方向を解析することが可能な視線解析技術が適宜用いられてもよい。

図９に示すように、本実施形態において顔５５２の向きとは、３軸方向の回転による顔５５２の向きのことで、それぞれの軸方向ごとにロール（Roll）、ピッチ（Pitch）、ヨー（Yaw）の３種類がある。典型的には、ヨー軸の回転方向に対応して仮想視点が変位される。

例えば操作者が、オブジェクトに対して左向きに顔の向きを変位させる（図９に示すヨー軸の矢印方向）。そうすると、オブジェクトを右から覗き込むような視点画像が生成される。すなわち図４（Ｂ）に示す矢印Ｒの方向に操作者が回りこんだような視点画像が生成される。

一方、操作者が右向きに顔の向きを変位させると、操作者が左からオブジェクトを覗き込むような視点画像が生成される。すなわち操作者の顔の向きと同じ方向にオブジェクトも回転するような視点画像が生成される。これにより操作性の高い画像表示システムが実現する。

なお、顔５５２の向きと仮想視点の変位との対応関係（マッピング）は適宜設定可能である。例えば図９に示すピッチ軸の回転方向で顔５５２が回転される。この場合、オブジェクトを上下から回り込んで見るような視点画像が生成されてもよい。

本実施形態のように顔５５２の向きの変位をもとに仮想視点が変位されることでも、顔５５２を動かして注視点を見るという直感的な操作が可能となる。

＜第３の実施形態＞
図１０は、本技術の第３の実施形態に係る情報処理装置の動作を説明するための模式的な図である。本実施形態では、操作者の撮影画像６５１から操作者の手６５２の動きが検出される。そして操作者の手６５２の位置、向き又は姿勢等をもとに仮想視点６１０が変位される。

例えば操作者が表示画面に対して手６５２を右側に動かすと（図１０（Ａ）の撮影画像６５１における左側への移動）、図１０（Ｂ）に示すように、オブジェクト６０１の左側に回りこむような視点画像が生成される（矢印Ｌ）。一方、操作者が表示画面に対して手６５２を左側に動かすと（撮影画像６５１では右側）、オブジェクト６０１の右側に回りこむような視点画像が生成される（矢印Ｒ）。

すなわち本実施形態では、例えば手で注視点６０５を含むオブジェクト６０１を回しながら、オブジェクト６０１の周囲等を見るという直感的な操作が可能となる。なお、手６５２の変位と仮想視点６１０の変位との対応関係は適宜設定可能である。例えば手を動かした方向からオブジェクトを回り込んで見ることが可能なような設定でもよい。

また表示画面に対して手６５２を上下に動かすと、それに対応してオブジェクト６０１を上下から回り込んで見るような視点画像が生成されてもよい。

このように、操作者の顔ではなく手の動きをもとに仮想視点が変位されてもよい。その他、体の別の部位や体全体の位置、向き又は姿勢等をもとに仮想視点が変位されてもよい。

＜変形例＞
本技術に係る実施形態は、上記で説明した実施形態に限定されず種々変形される。

例えば図１１は、本技術に係る画像表示システムの他の例を示す模式的な図である。本実施形態では、操作者７５０の動きを検出するための検出対象物７７０が操作者７５０に設けられる。例えば操作者７５０Ａの手には、当該手の動きを検出するための検出対象物７７０Ａを有するコントローラ７０７が保持されている。また操作者７５０Ｂの頭には、操作者７５０Ｂの顔の位置や向き等を検出するための検出対象物７７０Ｂが設けられている。

本変形例の情報処理装置７００側では、操作者７５０の撮影画像をもとに、検出対象物７７０を基準として操作者７５０の動きが検出される（画像入力部７０１及び動き検出部７０２）。そしてそのデータが情報統合部７０３に出力される。またコントローラ７０７等を介した注視点設定操作の情報等もコントローラ制御部７０４から情報統合部７０３に出力される。そして情報統合部７０３により、上記で説明したような仮想視点の変位処理が実行され、その情報がゲーム制御部７０５及びレンダリング部７０６に出力される。

このように、操作者７５０の動きを検出するための検出対象物７７０が、補助的に用いられてもよい。本実施形態では、検出対象物７７０として色の付いた光を発する発光物が用いられる。これにより画像解析の際に操作者の動き（発光体の動き）を容易に検出することが可能となる。しかしながらそのようなものに限定されず、種々のものが用いられてよい。

また、操作者の撮影画像を用いることなく操作者の動きが検出されてもよい。例えば赤外線センサや測距センサ等が適宜組み合わされて検出部が構成され、これらにより操作者の動きが検出されてもよい。または操作者の視線を解析するためのアイカメラ等が適宜利用されて、操作者の顔の位置や向き等が検出されてもよい。

その他、操作者の顔の位置や向き、視線、手の動き、体の動き等を検出するための種々の技術や装置等が適宜用いられてよい。

また上記した実施形態では、コントローラを介した操作入力をもとに注視点が決定された。しかしながら、検出部により検出された操作者の動きをもとに注視点が決定されてもよい。例えば操作者の視線が検出される場合、視線方向にあるオブジェクトの有無、視線の滞留時間などをもとに注視点が決定されてもよい。あるいは手の動きや顔の位置、それらの停止時間等をもとに、操作者が注目したいオブジェクトが算出されて注視点が決定されてもよい。あるいは、操作者からの音声をもとに注視点が決定されてもよい。

また注視点が設定された際に、当該注視点やそれを含むオブジェクトが表示画面の中央に配置されてもよい。これにより注目するオブジェクト等を十分に観察することが可能である。あるいは、表示画面の端に配置されているオブジェクトに関しては中央に配置する等、注視点又はオブジェクトの表示位置の調整が適宜実行されてもよい。

例えば手の動きをもとに注視点が決定され、手の動きに合わせて注視点の位置が画面中央等の所定の位置に移動される。そして顔の位置を移動させることで注視点の周りを十分に観察するといった操作等も可能となる。

上記では、コントローラへの操作をもとに現在位置中心の視点制御が実行された。しかしながら、操作者の動きをもとに現在位置中心の視点制御が実行されてもよい。すなわち、注視点中心の視点制御と現在位置中心の視点制御がともに、操作者の動きをもとに実行されてもよい。例えば操作者により視点制御のモードを切り替えるボタン等が操作され、これにより２つの視点制御が適宜切り替えられてもよい。

操作者の動きに対応して仮想視点の変位速度が制御されてもよい。例えば顔の位置の変位をもとに仮想視点が変位される際に、顔の向きにより仮想視点の変位速度が調節可能であってもよい。例えばオブジェクトが非常に大きい場合等、顔の位置変化だけでは仮想視点の変位範囲が限られてしまう場合があり、オブジェクトの周囲全体を見ることができない場合がある。このような場合に、顔の向きを変えて仮想視点の変位速度を増加させる。これにより、顔の位置変化に応じて仮想視点を大きく変位させることが可能となり、オブジェクトの周囲全体を観察することが可能となる。

例えば現在の視点制御が、現在位置中心の視点制御であるのか、あるいは注視点中心の視点制御であるかのを操作者に示すアイコン等が、表示画面に表示されてもよい。例えば現在位置中心の視点制御である場合に、図８（Ａ）に示すようなアイコンが、表示画面の右隅等に表示される。そして注視点中心の視点制御である場合には、図６に示すようなアイコンが表示画面に表示される。これにより、操作者にとっての操作性が向上する。

また例えば注視点中心の視点制御が選択されている場合に、図６に示すようなアイコンとともに、顔の位置等の変位とアイコンの各矢印との対応関係を説明するようなテキストや画像等がさらに表示されてもよい（例えば矢印の横に右や左等の文字が表示される等）。

上記した各実施形態及び変形例を適宜組み合わせたものが、本技術にかかる実施形態として採用されてもよい。

なお、本技術は以下のような構成も採ることができる。

（１）３次元の仮想空間内に設定された注視点を所定の仮想視点から眺めた場合の視点画像を生成する画像生成部と、
操作者の動きを検出する検出部と、
前記検出された操作者の動きをもとに、前記設定された注視点を基準として前記仮想視点を変位させる視点変位部と
を具備する情報処理装置。
（２）前記（１）に記載の情報処理装置であって、
前記視点変位部は、前記設定された注視点を中心として前記仮想視点を変位させる
情報処理装置。
（３）前記（１）又は（２）に記載の情報処理装置であって、
前記検出部は、撮影された前記操作者の画像から前記操作者の動きを検出する
情報処理装置。
（４）前記（１）から（３）のうちいずれか１つに記載の情報処理装置であって、
前記検出部は、前記操作者の顔の位置を検出し、
前記視点変位部は、前記顔の位置の変位をもとに前記仮想視点を変位させる
情報処理装置。
（５）前記（１）から（４）のうちいずれか１つに記載の情報処理装置であって、
前記検出部は、前記操作者の顔の向きを検出し、
前記視点変位部は、前記顔の向きの変位をもとに前記仮想視点を変位させる
情報処理装置。
（６）前記（１）から（５）のうちいずれか１つに記載の情報処理装置であって、
前記検出部は、前記操作者の手の動きを検出し、
前記視点変位部は、前記手の動きをもとに前記仮想視点を変位させる
情報処理装置。
（７）前記（１）から（６）のうちいずれか１つに記載の情報処理装置であって、
前記注視点を設定する設定部をさらに具備する
情報処理装置。
（８）前記（７）に記載の情報処理装置であって、
前記操作者の操作を受け付けるインターフェース部をさらに具備し、
前記設定部は、前記インターフェース部により受け付けられた操作をもとに前記注視点を設定する
情報処理装置。
（９）前記（７）又は（８）に記載の情報処理装置であって、
前記設定部は、前記検出された操作者の動きをもとに前記注視点を設定する
情報処理装置。
（１０）前記（１）から（９）のうちいずれか１つに記載の情報処理装置であって、
前記仮想視点を基準として前記注視点を変位させる注視点変位部と、
前記視点変位部と前記注視点変位部とを切り替える切替部と
をさらに具備する情報処理装置。
（１１）３次元の仮想空間内に設定された注視点を所定の仮想視点から眺めた場合の視点画像を生成し、
操作者の動きを検出し、
前記検出された操作者の動きをもとに、前記設定された注視点を基準として前記仮想視点を変位させる
情報処理方法。
（１２）３次元の仮想空間内に設定された注視点を所定の仮想視点から眺めた場合の視点画像を生成するステップと、
操作者の動きを検出するステップと、
前記検出された操作者の動きをもとに、前記設定された注視点を基準として前記仮想視点を変位させるステップと
をコンピュータに実行させるプログラム。
（１３）前記（１２）に記載のプログラムであって、
前記変位ステップは、前記設定された注視点を中心として前記仮想視点を変位させる
プログラム。
（１４）前記（１２）又は（１３）に記載のプログラムであって、
前記検出ステップは、撮影された前記操作者の画像から前記操作者の動きを検出する
プログラム。
（１５）前記（１２）から（１４）のうちいずれか１つに記載のプログラムであって、
前記検出ステップは、前記操作者の顔の位置を検出し、
前記変位ステップは、前記顔の位置の変位をもとに前記仮想視点を変位させる
プログラム。
（１６）前記（１２）から（１５）のうちいずれか１つに記載のプログラムであって、
前記検出ステップは、前記操作者の顔の向きを検出し、
前記変位ステップは、前記顔の向きの変位をもとに前記仮想視点を変位させる
プログラム。
（１７）前記（１２）から（１６）のうちいずれか１つに記載のプログラムであって、
前記検出ステップは、前記操作者の手の動きを検出し、
前記変位ステップは、前記手の動きをもとに前記仮想視点を変位させる
プログラム。
（１８）前記（１２）から（１７）のうちいずれか１つに記載のプログラムであって、
前記コンピュータに、前記注視点を設定するステップを、
さらに実行させるプログラム。
（１９）前記（１８）に記載のプログラムであって、
前記コンピュータに、前記操作者の操作を受け付けるステップをさらに実行させ、
前記設定ステップは、前記受け付けられた操作をもとに前記注視点を設定する
プログラム。
（２０）前記（１８）又は（１９）に記載のプログラムであって、
前記設定ステップは、前記検出された操作者の動きをもとに前記注視点を設定する
プログラム。

１００…情報処理装置
１０５…入出力インターフェース
１１０…撮像部
１２０…レンダリング部
１２１…顔検出部
１２２…顔位置算出部
１２３…注視点決定部
１２４…仮想視点決定部
５００…仮想空間
５０１、６０１…オブジェクト
５０５、６０５…注視点
５１０、６１０…仮想視点
５５０…操作者
５５１、６５１…撮影画像（顔画像）
５５２…顔
６５２…手

Claims (18)

1. 操作者の動きを検出する検出部と、
   前記検出された操作者の動きをもとに、３次元の仮想空間内に注視点を設定する設定部と、
   前記設定された注視点を所定の仮想視点から眺めた場合の視点画像を生成する画像生成部と、
   前記検出された操作者の動きをもとに、前記設定された注視点を基準として前記仮想視点を変位させる視点変位部と
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記視点変位部は、前記設定された注視点を中心として前記仮想視点を変位させる
   情報処理装置。
3. 請求項１又は２に記載の情報処理装置であって、
   前記検出部は、撮影された前記操作者の画像から前記操作者の動きを検出する
   情報処理装置。
4. 請求項１から３のうちいずれか１項に記載の情報処理装置であって、
   前記検出部は、前記操作者の顔の位置を検出し、
   前記視点変位部は、前記顔の位置の変位をもとに前記仮想視点を変位させる
   情報処理装置。
5. 請求項１から４のうちいずれか１項に記載の情報処理装置であって、
   前記検出部は、前記操作者の顔の向きを検出し、
   前記視点変位部は、前記顔の向きの変位をもとに前記仮想視点を変位させる
   情報処理装置。
6. 請求項１から５のうちいずれか１項に記載の情報処理装置であって、
   前記検出部は、前記操作者の手の動きを検出し、
   前記視点変位部は、前記手の動きをもとに前記仮想視点を変位させる
   情報処理装置。
7. 請求項１から６のうちいずれか１項に記載の情報処理装置であって、
   前記操作者の操作を受け付けるインターフェース部をさらに具備し、
   前記設定部は、前記インターフェース部により受け付けられた操作をもとに前記注視点を設定する
   情報処理装置。
8. 請求項１から７のうちいずれか１項に記載の情報処理装置であって、
   前記仮想視点を基準として前記注視点を変位させる注視点変位部と、
   前記視点変位部と前記注視点変位部とを切り替える切替部と
   をさらに具備する情報処理装置。
9. 操作者の動きを検出し、
   前記検出された操作者の動きをもとに、３次元の仮想空間内に注視点を設定し、
   前記設定された注視点を所定の仮想視点から眺めた場合の視点画像を生成し、
   前記検出された操作者の動きをもとに、前記設定された注視点を基準として前記仮想視点を変位させる
   情報処理方法。
10. 操作者の動きを検出するステップと、
    前記検出された操作者の動きをもとに、３次元の仮想空間内に注視点を設定するステップと、
    前記設定された注視点を所定の仮想視点から眺めた場合の視点画像を生成するステップと、
    前記検出された操作者の動きをもとに、前記設定された注視点を基準として前記仮想視点を変位させるステップと
    をコンピュータに実行させるプログラム。
11. 請求項１０に記載のプログラムであって、
    前記変位ステップは、前記設定された注視点を中心として前記仮想視点を変位させる
    プログラム。
12. 請求項１０又は１１に記載のプログラムであって、
    前記検出ステップは、撮影された前記操作者の画像から前記操作者の動きを検出する
    プログラム。
13. 請求項１０から１２のうちいずれか１項に記載のプログラムであって、
    前記検出ステップは、前記操作者の顔の位置を検出し、
    前記変位ステップは、前記顔の位置の変位をもとに前記仮想視点を変位させる
    プログラム。
14. 請求項１０から１３のうちいずれか１項に記載のプログラムであって、
    前記検出ステップは、前記操作者の顔の向きを検出し、
    前記変位ステップは、前記顔の向きの変位をもとに前記仮想視点を変位させる
    プログラム。
15. 請求項１０から１４のうちいずれか１項に記載のプログラムであって、
    前記検出ステップは、前記操作者の手の動きを検出し、
    前記変位ステップは、前記手の動きをもとに前記仮想視点を変位させる
    プログラム。
16. 請求項１０から１５のうちいずれか１項に記載のプログラムであって、
    前記コンピュータに、前記操作者の操作を受け付けるステップをさらに実行させ、
    前記設定ステップは、前記受け付けられた操作をもとに前記注視点を設定する
    プログラム。
17. 請求項１０から１６のうちいずれか１項に記載のプログラムであって、
    前記コンピュータに、前記仮想視点を基準として前記注視点を変位させるステップと、
    前記注視点を基準として前記仮想視点を変位させる注視点中心制御モードと、前記仮想視点を基準として前記注視点を変位させる現在位置中心制御モードとを切り替えるステップと
    をさらに実行させるプログラム。
18. ３次元の仮想空間内に設定された注視点を所定の仮想視点から眺めた場合の視点画像を生成する画像生成部と、
    操作者の動きを検出する検出部と、
    前記検出された操作者の動きをもとに、前記設定された注視点を基準として前記仮想視点を変位させる視点変位部と、
    前記仮想視点を基準として前記注視点を変位させる注視点変位部と、
    前記視点変位部が動作する注視点中心制御モードと、前記注視点変位部が動作する現在位置中心制御モードとを切り替える切替部と
    を具備する情報処理装置。

Images