JP6634654B2

JP6634654B2 - 情報処理装置および警告提示方法

Info

Publication number: JP6634654B2
Application number: JP2018122892A
Authority: JP
Inventors: 渉一池上; 祐志中村; 善彦諏訪
Original assignee: Sony Interactive Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2018-06-28
Filing date: 2018-06-28
Publication date: 2020-01-22
Anticipated expiration: 2035-12-14
Also published as: JP2018190432A

Description

本発明は、撮影画像に基づき情報処理を行う情報処理装置および、それが行う警告提示方法に関する。

ゲーム機に接続されたヘッドマウントディスプレイ（以下、「ＨＭＤ」と呼ぶ）を頭部に装着して、表示された画面を見ながらゲームプレイすることが行われている（例えば特許文献１参照）。例えばユーザの頭部の位置や姿勢を取得し、顔の向きに応じて視野を変化させるように仮想世界の画像を表示すれば、あたかも仮想世界に入り込んだような状況を演出できる。ユーザの位置や姿勢は一般的に、ユーザを撮影した可視光や赤外線の画像の解析結果や、ＨＭＤに内蔵したモーションセンサの計測値などに基づいて取得される。

特許第５５８０８５５号明細書

撮影画像に基づき何らかの情報処理を行う技術は、ユーザなどの対象物がカメラの画角内にいることを前提としている。しかしながらＨＭＤを装着した状態では、ユーザは外界を見ることができないため、方向感覚を失ったり、ゲームに没頭するあまり実空間で思わぬ位置に移動していたりすることがあり得る。これによりカメラの画角から外れると、情報処理が破綻したり精度が悪化したりするうえ、ユーザ自身がその原因に気づかないことも考えられる。カメラとの位置関係など現実世界の事情をユーザに意識させるほど情報処理の精度を保てるが、同時にＨＭＤを利用し構築される仮想空間の世界観を阻害しやすくなる、というジレンマが生じる。

本発明はこうした課題に鑑みてなされたものであり、その目的は、ＨＭＤで実現される娯楽性と情報処理の精度のバランスを最適化できる技術を提供することにある。

本発明のある態様は情報処理装置に関する。この情報処理装置は、実空間における対象物を検出し、当該対象物に基づき情報処理を行う情報処理部と、情報処理の結果として表示すべき画像のデータを生成する画像生成部と、対象物の検出範囲を基準としてプレイエリアを設定し、当該プレイエリアの外に対象物が出る際にユーザへの警告が必要と判定し、画像生成部に警告画像を重畳させる警告状況判定部と、画像生成部が生成した画像のデータを表示装置に出力する出力部と、を備えることを特徴とする。

本発明のさらに別の態様は警告提示方法に関する。この警告提示方法は情報処理装置が、実空間における対象物を検出し当該対象物に基づき情報処理を行うステップと、情報処理の結果として表示すべき画像のデータを生成するステップと、対象物の検出範囲を基準としてプレイエリアを設定し、当該プレイエリアの外に対象物が出る際にユーザへの警告が必要と判定するステップと、判定に応じて表示すべき画像に警告画像を重畳するステップと、生成された画像のデータを表示装置に出力するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によると、ＨＭＤを装着したユーザが、現実世界での拘束条件をできるだけ意識することなく表現世界を楽しむことができる。

本実施の形態を適用できる情報処理システムの構成例を示す図である。本実施の形態におけるＨＭＤの外観形状の例を示す図である。本実施の形態における情報処理装置の内部回路構成を示す図である。本実施の形態におけるＨＭＤの内部回路構成を示す図である。本実施の形態における情報処理装置の機能ブロックの構成を示す図である。本実施の形態において撮影画像から取得できる情報を説明するための図である。本実施の形態における警告状況判定部が警告の必要性を判定するときに参照する、プレイエリアの設定例を模式的に示す図である。本実施の形態におけるプレイエリアの設定の別の例を模式的に示す図である。本実施の形態においてマージン領域の有無による処理への影響を説明するための図である。本実施の形態において画像平面におけるプレイエリアの設定手法を説明するための図である。本実施の形態において、警告が必要であると判定した際に生成される表示画面を例示する図である。本実施の形態において情報処理装置がユーザの動きに応じた出力データを生成する処理手順を示すフローチャートである。本実施の形態における警告画像の表示／非表示の状態遷移を模式的に示す図である。

図１は本実施の形態を適用できる情報処理システムの構成例を示す。情報処理システム８は、対象物を撮影する撮像装置１２、撮影した画像に基づき情報処理を行う情報処理装置１０、情報処理の結果として得られた画像を表示する平板型ディスプレイ１６およびＨＭＤ１８、ユーザが操作する入力装置１４を含む。

情報処理装置１０と、撮像装置１２、入力装置１４、平板型ディスプレイ１６、ＨＭＤ１８とは、有線ケーブルで接続されても、Bluetooth（登録商標）など既知の無線通信技術により接続されてもよい。また情報処理装置１０が実施する情報処理によっては、平板型ディスプレイ１６はなくてもよい。またこれらの装置の外観形状は図示するものに限らない。さらにこれらのうち２つ以上の装置を一体的に備えた装置としてもよい。例えば情報処理装置１０、入力装置１４、平板型ディスプレイ１６を、それらを備えた携帯端末などで実現してもよい。

撮像装置１２は、ユーザなどの対象物を所定のフレームレートで撮影するカメラと、その出力信号にデモザイク処理など一般的な処理を施すことにより撮影画像の出力データを生成し、情報処理装置１０に送出する機構とを有する。カメラはＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなど、一般的なデジタルカメラ、デジタルビデオカメラで利用されている可視光センサを備える。撮像装置１２が備えるカメラは１つのみでもよいし、図示するように２つのカメラを既知の間隔で左右に配置したいわゆるステレオカメラでもよい。

あるいは単眼のカメラと、赤外線などの参照光を対象物に照射しその反射光を測定する装置との組み合わせで撮像装置１２を構成してもよい。ステレオカメラや反射光の測定機構を導入した場合、対象物の位置を３次元の実空間に対し求めることができ、情報処理装置１０による情報処理や表示装置による画像表示をより多様化させることができる。ステレオカメラが左右の視点から撮影したステレオ画像を用いて、三角測量の原理により被写体のカメラからの距離を特定する手法、反射光の測定によりＴＯＦ（Time of Flight）やパターン照射の方式で被写体のカメラからの距離を特定する手法はいずれも広く知られている。

以後では主に、撮像装置１２がステレオ画像を撮影する態様について説明するが、上記のとおり本実施の形態をそれに限る主旨ではなく、撮像装置１２には少なくとも一つのカメラが含まれていればよい。情報処理装置１０は、撮像装置１２から送信されたデータを用いて必要な情報処理を行い、画像や音声などの出力データを生成する。ここで情報処理装置１０が行う処理の内容は特に限定されず、ユーザが求める機能やアプリケーションの内容などによって適宜決定してよい。

情報処理装置１０は例えば、撮影画像に対し一般的な顔検出や追跡処理を施すことにより、対象物であるユーザの動作を反映させたキャラクタが登場するゲームを進捗させたり、ユーザの動きをコマンド入力に変換して情報処理を行ったりする。このとき入力装置１４に設けたマーカーを利用して入力装置１４の動きを取得してもよい。またＨＭＤ１８の外面に設けた複数のマーカーを追跡することにより、ＨＭＤ１８を装着したユーザの頭部の位置や姿勢を特定し、それに対応して動く視点から見た仮想世界をＨＭＤ１８に表示させてもよい。情報処理装置１０が生成した出力データは、少なくともＨＭＤ１８に送信される。

ＨＭＤ１８は、ユーザが頭に装着することによりその眼前に位置する有機ＥＬパネルなどの表示パネルに画像を表示する表示装置である。例えば左右の視点から見た視差画像を生成し、表示画面を２分割してなる左右の領域にそれぞれ表示させることにより、画像を立体視させてもよい。ただし本実施の形態をこれに限る主旨ではなく、表示画面全体に１つの画像を表示させてもよい。ＨＭＤ１８はさらに、ユーザの耳に対応する位置に音声を出力するスピーカーやイヤホンを内蔵していてもよい。

平板型ディスプレイ１６は、２次元の画像を出力するディスプレイおよび音声を出力するスピーカーを有するテレビでよく、例えば液晶テレビ、有機ＥＬテレビ、プラズマテレビ、ＰＣディスプレイ等である。あるいはタブレット端末や携帯端末のディスプレイおよびスピーカーであってもよい。入力装置１４は、ユーザが操作することにより、処理の開始、終了、機能の選択、各種コマンド入力などの要求を受け付け、情報処理装置１０に電気信号として供給する。

入力装置１４は、ゲームコントローラ、キーボード、マウス、ジョイスティック、平板型ディスプレイ１６の表示画面上に設けたタッチパッドなど、一般的な入力装置のいずれか、またはそれらの組み合わせによって実現してよい。入力装置１４はさらに、所定の色で発光する素子またはその集合からなる発光マーカーを備えていてもよい。この場合、情報処理装置１０がマーカーの動きを、撮影画像を用いて追跡することにより、入力装置１４自体の動きをユーザ操作とすることができる。なお入力装置１４を、発光マーカーとそれを把持する機構のみで構成してもよい。

図２はＨＭＤ１８の外観形状の例を示している。この例においてＨＭＤ１８は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。装着バンド１０６は各ユーザの頭囲に合わせて長さの調節が可能な素材または構造とする。例えばゴムなどの弾性体としてもよいし、バックルや歯車などを利用してもよい。

出力機構部１０２は、ＨＭＤ１８をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。そして筐体１０８の外面には、発光マーカー１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ、などを設ける。発光マーカーの数や配置は特に限定されないが、本実施の形態では出力機構部１０２の筐体前面の４隅に設ける。

さらに、装着バンド１０６後方の両側面にも発光マーカー１１０ｅ、１１０ｆを設ける。このように発光マーカーを配置することにより、撮像装置１２に対しユーザが横を向いたり後ろを向いたりしても、撮影画像における発光マーカーの像の数や位置に基づきそれらの状況を特定できる。なお発光マーカー１１０ｃ、１１０ｄは出力機構部１０２の下側、発光マーカー１１０ｅ、１１０ｆは装着バンド１０６の外側にあり、図２の視点からは本来は見えないため、外周を点線で表している。

図３は情報処理装置１０の内部回路構成を示している。情報処理装置１０は、ＣＰＵ（Central Processing Unit）２２、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、平板型ディスプレイ１６やＨＭＤ１８へデータを出力する出力部３６、撮像装置１２、入力装置１４、およびＨＭＤ１８からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。

ＣＰＵ２２は、記憶部３４に記憶されているオペレーティングシステムを実行することにより情報処理装置１０の全体を制御する。ＣＰＵ２２はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２からの描画命令に従って描画処理を行い、表示画像を図示しないフレームバッファに格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

図４はＨＭＤ１８の内部回路構成を示している。ＨＭＤ１８は、ＣＰＵ５０、メインメモリ５２、表示部５４、音声出力部５６を含む。これらの各部はバス５８を介して相互に接続されている。バス５８にはさらに入出力インターフェース６０が接続されている。入出力インターフェース６０には、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部６２、加速度センサ６４、発光部６６が接続される。

ＣＰＵ５０は、バス５８を介してＨＭＤ１８の各部から取得した情報を処理し、出力データを表示部５４や音声出力部５６に供給する。メインメモリ５２はＣＰＵ５０における処理に必要なプログラムやデータを格納する。ただし実行するアプリケーションや装置の設計によっては、情報処理装置１０がほぼ全ての処理を行い、ＨＭＤ１８では情報処理装置１０から送信されたデータを出力するのみで十分な場合がある。この場合、ＣＰＵ５０やメインメモリ５２は、より簡易なデバイスで置き換えることができる。

表示部５４は、液晶パネルや有機ＥＬパネルなどの表示パネルで構成され、ＨＭＤ１８を装着したユーザの眼前に画像を表示する。上述したように左右の目に対応する領域に一対の視差画像を表示することにより立体視を実現してもよい。表示部５４はさらに、ＨＭＤ１８装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する一対のレンズを含んでもよい。

音声出力部５６は、ＨＭＤ１８の装着時にユーザの耳に対応する位置に設けたスピーカーやイヤホンで構成され、ユーザに音声を聞かせる。出力される音声のチャンネル数は特に限定されず、モノラル、ステレオ、サラウンドのいずれでもよい。通信部６２は、情報処理装置１０や平板型ディスプレイ１６との間でデータを送受するためのインターフェースであり、例えばBluetooth（登録商標）などの既知の無線通信技術を用いて実現できる。

加速度センサ６４は、所定軸方向の重力加速度を計測することによりＨＭＤ１８の傾きを検出する。ＨＭＤ１８にはさらに、ジャイロセンサなどその他の各種センサを設けてよい。センサによる測定値は通信部６２を介して情報処理装置１０に送信される。発光部６６は、所定の色で発光する素子またはその集合であり、図２で示したようにＨＭＤ１８の外面の複数箇所に設ける。これをマーカーとして追跡することによりＨＭＤ１８の位置を取得するほか、撮影画像におけるその像の数や位置関係からＨＭＤ１８の姿勢を取得する。

情報処理装置１０は、加速度センサ６４および発光部６６といった複数の手段により得られた情報を統合することにより、より高い精度でユーザの頭の位置や姿勢を取得することができる。一方、本実施の形態では、場合によっては加速度センサ６４を省略することもできる。

図５は情報処理装置１０の機能ブロックの構成を示している。図５に示す各機能ブロックは、ハードウェア的には、図３に示したＣＰＵ、ＧＰＵ、各種メモリ、データバスなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

情報処理装置１０は、入力装置１４およびＨＭＤ１８からの入力情報を取得する入力情報取得部７２、撮像装置１２から撮影画像のデータを取得する撮影画像取得部７４、ゲームなどコンテンツに応じた情報処理を行う情報処理部７６、出力すべきデータを生成する出力データ生成部７８、情報処理や画像の生成に必要なデータを格納したコンテンツデータ記憶部８４を含む。情報処理装置１０はさらに、撮影画像に基づきユーザの位置情報を取得する位置情報取得部８０、ユーザの位置に基づき警告が必要な状況を判定する警告状況判定部８２、判定に必要な実空間上の領域に係る設定情報を格納したエリア設定情報記憶部８５、および、出力すべきデータをＨＭＤ１８に送信する出力データ送信部８６を含む。

入力情報取得部７２は、ユーザ操作の内容を入力装置１４から取得する。ここでユーザ操作とは、実行するアプリケーションやコンテンツの選択、処理の開始／終了、コマンド入力など、一般的な情報処理装置でなされるものでよい。入力情報取得部７２は入力装置１４から取得した情報を、その内容に応じて撮影画像取得部７４または情報処理部７６に供給する。入力情報取得部７２はさらに、ＨＭＤ１８の加速度センサ６４から計測値を受信し、情報処理部７６に供給する。

撮影画像取得部７４は、ステレオ画像など、撮像装置１２が動画撮影して得られる撮影画像のデータを所定のレートで取得する。撮影画像取得部７４はさらに、入力情報取得部７２が取得したユーザからの処理開始／終了要求に従い、撮像装置１２における撮影の開始／終了を制御したり、情報処理部７６における処理の結果に応じて、撮像装置１２から取得するデータの種類を制御したりしてもよい。

位置情報取得部８０は、撮影画像から所定の対象物の像を検出することにより、ユーザの位置情報を所定のレートで取得する。例えばＨＭＤ１８や入力装置１４に設けた発光マーカーの像に基づきユーザの頭部や手の実空間での位置を取得する。あるいはユーザの体の一部を、輪郭線を利用して追跡したり、顔や特定の模様を有する対象物をパターンマッチングにより認識したりする画像解析技術を組み合わせてもよい。また撮像装置１２の構成によっては上述のとおり、赤外線の反射を計測することによりユーザの距離を特定してもよい。

情報処理部７６は、ユーザが指定したゲームなどの電子コンテンツを処理する。この処理には、位置情報取得部８０が取得した、ユーザの位置情報の利用が含まれる。情報処理部７６は必要に応じて、ＨＭＤ１８の加速度センサによる計測結果などを統合することにより、ユーザの姿勢を特定してもよい。なお上述のように、入力装置１４を介したユーザ操作やユーザの動きに応じて、情報処理部７６が行う後段の情報処理の内容は特に限定されない。

出力データ生成部７８は、情報処理部７６からの要求に従い、情報処理の結果として出力すべき画像や音声のデータを生成する。例えばユーザの頭部の位置や姿勢に対応する視点から見た仮想世界を左右の視差画像として生成する。この視差画像をＨＭＤ１８において左右の目の前に表示させたり、仮想世界での音声を出力したりすれば、ユーザはあたかも仮想世界に入り込んだような感覚を得られる。情報処理部７６における情報処理や出力データ生成部７８におけるデータ生成処理に必要なプログラムや画像・音声のデータはコンテンツデータ記憶部８４に格納しておく。

警告状況判定部８２は、位置情報取得部８０が取得したユーザの位置情報に基づき、警告を与える状況の発生を常時監視し、その発生を判定する。具体的には、実世界の３次元空間に直接的あるいは間接的に設定したプレイエリアに対する内外判定を実施し、ユーザがプレイエリアから出たときに警告が必要であると判定する。本実施の形態では、撮影画像を利用して位置情報を取得するため、ユーザがカメラの画角内にいることを前提として情報処理が進捗する。

ところが図２に示したようなＨＭＤを装着したユーザには、周囲の状況、ひいては自分が画角内にいるかどうかが認識しづらい。正常な情報処理を継続するためには、そのような実世界に係る情報を何らかの手段により与える必要があるが、コンテンツが表現する世界観を損なうことになりかねない。そのための方策として、画角から出そうなときのみユーザに警告を与えることが考えられる。しかしながらこのタイミングが早すぎれば、少しの移動で頻繁に警告が与えられ、実質的に可動範囲を狭めてしまうことになる。一方で、タイミングが遅いと画角から外れることを免れず、位置情報が得られない期間が発生し得る。

そこで本実施の形態では上述のとおり、警告を発生させるタイミングを実世界でプレイエリアとして設定した領域に対する内外判定により判断し、さらにプレイエリアと画角との関係を調整することにより、可動範囲と処理精度のバランスを状況に応じて最適化する。プレイエリアの設定情報はあらかじめ、エリア設定情報記憶部８５に格納しておく。具体的な設定内容については後に述べる。警告状況判定部８２は、警告が必要と判定したとき、その旨を出力データ生成部７８に通知する。

このとき出力データ生成部７８は、警告を表す部品画像を表示画像に追加で描画する。警告状況判定部８２はまた、ユーザが正常な位置に戻るなどして、警告の必要がなくなったことを判定し、その旨を出力データ生成部７８に通知する。これに応じて出力データ生成部７８は、警告を表す部品画像を非表示とする。なお警告は画像のみならず、音声を伴っていてもよい。出力データ送信部８６は、出力データ生成部７８が生成した出力データを順次取得し、必要に応じて成形したうえ、ＨＭＤ１８に送信する。

図６は、本実施の形態において撮影画像から取得できる情報を説明するための図である。同図においてユーザ１２０は、入力装置１４を把持しＨＭＤ１８を装着している。入力装置１４は、操作に適した持ち方で把持したときに撮像装置１２に正対する位置に発光マーカー１２２を備える。ＨＭＤ１８の発光マーカーは図２で示したとおりである。撮像装置１２をステレオカメラとした場合、ステレオ画像における像の視差に基づき、撮像装置１２の撮像面から各発光マーカーまでの距離Ｚが求められる。また、どちらかの撮影画像の画像平面（ＸＹ平面）における発光マーカーの像の位置は、撮像装置１２からの見かけ上の位置を表している。

これらの情報を統合する、具体的にはＸＹ平面における位置を撮像装置１２からの距離Ｚを用いて逆射影することにより、実世界の３次元空間における各発光マーカーの位置が求められる。さらにＨＭＤ１８の発光マーカーの像の数や位置関係からＨＭＤ１８の実空間における姿勢（ベクトルｖａ）が、入力装置１４の発光マーカー１２２の像の形状から入力装置１４の実空間における姿勢（ベクトルｖｂ）が求められる。

情報処理装置１０の情報処理部７６は、これらの装置の実空間における位置および姿勢に基づき、ユーザ１２０の顔の向きに応じて視野が変化する仮想世界や、入力装置１４の動きに応じて画像内のオブジェクトが動く様を表現することができる。なおマーカーの見かけ上の大きさによって撮像装置１２からの距離を推定したり、奥行き方向の動きが必要ない情報処理を行ったりする場合は、撮像装置１２はステレオカメラでなくてよい。参照光を利用した距離測定技術を導入する場合も同様である。また必ずしもＨＭＤ１８と入力装置１４の双方を追跡しなくてもよい。

このように発光マーカーの像を利用する場合、直接得られるのは、厳密にはＨＭＤ１８や入力装置１４の発光マーカーの位置である。ただしＨＭＤ１８はユーザが頭部に装着しているため、ユーザの頭部の位置と捉えることもできる。発光マーカー以外の被写体を拠り所として位置を特定する場合も、厳密にはそれらの被写体の位置が求められ、ユーザの重心位置などはそれらの情報から必要に応じて推定される。

以後の説明で「ユーザの位置」とは、ユーザ自身の位置でもよいし、位置取得の拠り所となる被写体の位置でもよい。また入力装置１４がプレイエリア外に出ても、ＨＭＤ１８が出ていなければ警告の必要はないとするなど、被写体の性質や状況に応じて判定基準に係る規則を設けてもよい。

図７は、警告状況判定部８２が警告の必要性を判定するときに参照する、プレイエリアの設定例を模式的に示している。同図は実空間を俯瞰した状態を示しており、撮像装置１２に正対するようにユーザ１２０が存在している。撮像装置１２のカメラの水平画角θ_ｈによって、点線で示した視野の境界面１８２ａ、１８２ｂが定まる。ステレオカメラの場合、両者の画角の積集合とする。このような視野の垂直方向の境界面を基準として、プレイエリア１８４の境界面を所定の規則で設定する。警告状況判定部８２はユーザがプレイエリア１８４の外に出たとき、警告の必要が発生したと判定する。

図示する例では、撮像装置１２からの距離ＺがＺ１≦Ｚ＜Ｚ３の範囲において、視野の境界面１８２ａ、１８２ｂより内側にプレイエリア１８４を設定している。撮像装置１２に近いＺ１≦Ｚ＜Ｚ２の範囲では、カメラの光軸を中心に距離Ｚに比例するように幅を増加させ、Ｚ２≦Ｚ＜Ｚ３の範囲では一定の幅Ｗを有するように設定している。Ｚ１≦Ｚ＜Ｚ２の範囲のプレイエリアの境界を決定づける垂直面１８６ａ、１８６ｂはすなわち、奥行き方向の位置によらず撮影画像上で左右の端より所定量、内側に結像する位置に対応する。したがって少なくとも垂直面１８６ａ、１８６ｂより内側をプレイエリアとすることで、画像上で当該所定量分をマージン領域として、ユーザが画角から外れる前の余裕を見たタイミングで警告を与えることができる。

撮像装置１２に近くなるほど、視野が狭くなるため可動範囲も狭くなる。そのため撮像装置１２に近い範囲では垂直面１８６ａ、１８６ｂより内側とする条件を最大限活用することで、警告を出さずにすむ範囲を広くとる。一方、撮像装置１２から離れた位置では視野が広がるため、画角から外れたか否かを基準とした場合、垂直面１８６ａ、１８６ｂより内側をプレイエリアとすれば、より広い範囲で警告を出さずにすむ。しかしながら図示する例では、情報処理の適性や周囲の物の存在などを考慮して、それより狭い幅Ｗでプレイエリアを限定している。

このようにプレイエリア１８４は、画角からの逸脱可能性を低める以外に、適正な可動範囲を設定する役割も同時に備えることができる。またプレイエリアをカメラからの距離範囲に応じて異なる規則で設定することにより、視野の狭い領域では可動範囲を優先し、視野の広い領域ではコンテンツの事情などその他の要素を優先させる、といった優先順位の変化に適応できる。

図８は、プレイエリアの設定の別の例を模式的に示している。同図は実空間をユーザの左側面から見た状態を示しており、撮像装置１２に正対するようにユーザ１２０が存在している。撮像装置１２のカメラの垂直画角θ_ｖによって、点線で示した視野の境界面１９２ａ、１９２ｂが定まる。このような視野の水平方向の境界面を基準として、撮像装置１２からの距離ＺがＺ１≦Ｚ＜Ｚ３の範囲にプレイエリアの境界面を設定する。

同図の例では、Ｚ１≦Ｚ＜Ｚ３の範囲にわたり、視野の境界面１９２ａ、１９２ｂをプレイエリア１９４の境界面と一致させている。すなわち図７で示したプレイエリアと比較し、視野の境界面との間にマージン領域を設定しない。つまり撮影画像上で上下の端より所定量、内側に結像する水平面１９６ａ、１９６ｂのような余裕分をも設けず、撮影画像の上端から下端に対応する領域をプレイエリアとしている。このようにすると、画角から外れるのと同時に警告が与えられる結果となるため、微小時間であっても位置取得が不能となる可能性が高くなる。一方で、より広い範囲で警告を出さずにすむことになる。

このような設定は、画角が狭いカメラにおいて有効である。画角が狭い場合、図７に示すようにマージン領域を設定すると、少しの動きで警告が頻繁に出てしまうことがあり得る。そのため多少の情報処理の精度悪化を犠牲にしても、広いプレイエリアを確保することにより快適性を優先できる。例えば水平画角は広く、垂直画角は狭い特性を有するカメラを使用する場合、図７および図８で示したように、実空間での方向に応じて視野の境界面に対するプレイエリアの境界面の位置関係を異ならせれば、情報処理精度と快適な操作環境とのバランスを好適にとることができる。

図９は、マージン領域の有無による処理への影響を説明するための図である。同図上段の（ａ）は視野に対しマージン領域を設けてプレイエリアを設定した場合、下段の（ｂ）は視野とプレイエリアを一致させた場合の、ユーザの動きと各処理のタイムチャートである。すなわち右側に模式的に示すように、撮像装置１２に対し白抜きで示したプレイエリアを設定するが、（ａ）は黒色で示す視野外の領域との間に網掛けで示したマージン領域を設けている。タイムチャートにおける「位置」の段の白、網掛け、黒の矩形はそれぞれ、ユーザがプレイエリア、マージン領域、視野外にいる時間を表す。

比較のため両者の設定において、ユーザが時刻ｔ２で視野外に出るとし、警告を同じ時間だけ表示した結果、ユーザがプレイエリアに戻るとしている。このようなユーザの動きに対し、位置情報取得部８０が位置情報を取得できる期間を「位置取得」の段に、警告表示がなされる期間を「警告」の段に、矩形で表している。（ａ）の場合、視野外へ出る時刻ｔ２より前の時刻ｔ１でプレイエリアから出るため、その時点から時刻ｔ３でプレイエリアへ戻るまでの間、警告が表示される。一方（ｂ）の場合、マージン領域を設定しないため、視野外へ出ている時刻ｔ２から時刻ｔ４までの間に警告が表示される。

図示するように、（ａ）においては、警告が表示された後も位置情報を取得できるため、当該情報を根拠としてプレイエリア外にいることが保障される。（ｂ）の場合、警告と同時に位置情報も取得できなくなるため、警告を表示している期間においてその妥当性が保障されない。したがって、例えば視野境界においてオクルージョンなどでユーザの像が検出されなかったことを、視野外に出たと誤認し警告を表示させてしまう可能性がある。

また（ａ）と（ｂ）で警告が表示されてから同じタイミングでプレイエリアに戻っても、（ｂ）では位置情報を取得できない期間が長くなる。図示する例では、（ａ）においても視野外へ出る期間が発生しているが、マージン領域の幅によっては、ユーザが視野外へ出る前に警告表示に応じて戻る可能性があるため、（ｂ）の場合と比較し位置情報を取得できない期間が発生しにくい。一方で、同じように移動しても（ａ）の場合はより早い時刻ｔ１で警告が表示されるため、ユーザに対する拘束条件が厳しくなる。これらの特性を踏まえ、警告を出さずにすむ領域を極限まで広げたいか、そのようにせずとも領域に余裕があるか、など、状況に応じた優先順位によって最適なプレイエリアを設定することが望ましい。

なおマージン領域を設けるか否かのみならず、マージン領域の幅やプレイエリアの形状も、想定される状況や実空間での方向に応じて最適化してよい。例えばゲームなどコンテンツの内容や環境によって想定されるユーザの姿勢、具体的には立って遊ぶか座って遊ぶか、机に向かっているかソファに座っているか、といった状況に応じて、同じ画角でもプレイエリアの形状を変化させてよい。

また図７、図８の設定を同時に適用した場合、設定されるプレイエリアはカメラからの距離Ｚに対し四辺形の断面を有するような形状であったが、本実施の形態をそれに限る主旨ではなく、円筒形など任意の形状でよい。また光軸が水平方向にない場合、カメラからの距離Ｚは床面と水平でなくなる。このときプレイエリアの形状は、光軸方向の距離で定義してもよいし、実空間での水平方向の距離で定義してもよい。カメラの光軸と実空間の水平面とのなす角度を、撮像装置１２に内蔵させた加速度センサなどにより計測すれば、座標変換は容易に実現できる。３次元空間での領域を設定するための具体的なデータ形式については、様々考えられることは当業者には理解されるところである。

一方で、プレイエリアに対応する領域を画像平面で規定することにより、プレイエリアを間接的に設定してもよい。図１０は、画像平面におけるプレイエリアの設定手法を説明するための図である。同図は被写空間に対向するカメラの視野、ひいては撮影画像の平面を表しており、上段（ａ）が単眼カメラ、下段（ｂ）がステレオカメラの場合である。単眼カメラの場合、撮影画像３００の平面に対し、所定幅ｘを有する左右両端をマージン領域とし、それを除く領域３０２をプレイエリア対応領域として定義する。

この領域３０２により規定される３次元空間での領域は、奥行き方向の距離Ｚに比例して水平方向の幅が増加する領域３０４である。すなわち水平方向に着目した場合、領域３０２を設定することにより、図８で示した垂直面１８６ａ、１８６ｂの内側をプレイエリアとして設定したことになる。このように画像平面上でプレイエリア対応領域３０２を設定した場合、実空間でのプレイエリアの断面は、距離Ｚに応じたサイズの相似形となるため、実空間に直接設定する場合と比較して設定形状の自由度が少なくなる。

一方、撮影画像上での像とプレイエリア対応領域３０２との内外判定により直接、警告の必要性を判定できるため、ユーザの位置情報を介するより誤差の生じる余地が少なくなる。図示する例は水平方向にマージン領域を設けた場合であったが、垂直方向にマージン領域を設ける場合も同様である。また上述と同様の理由により、マージン領域を設けるか否か、およびその幅ｘの調整を、方向によって独立に行ってよい。それらの要素をコンテンツの内容や状況に応じて変化させてもよい。

（ｂ）で示したステレオカメラの場合、ユーザがカメラの視野の左端にいるか右端にいるかにより、先に視野から外れるカメラが異なる。例えばユーザがカメラの視野の右端近傍にいる場合、図示するように、右視点のカメラの画像３０６ｂにおける像３０８ｂより、左視点のカメラの画像３０６ａにおける像３０８ａの方が右端に近くなる。したがってこのままユーザが右方向に移動した場合、左視点のカメラの視野から先に外れることになる。ユーザがカメラの視野の左端近傍にいる場合は逆に、右視点のカメラの視野から先に外れる。

したがってステレオカメラのどちらにも写るような視野内にプレイエリアを設定する場合、左視点のカメラの撮影画像平面における、右端の所定幅ｘのマージン領域を除く領域３１０ａと、右視点のカメラの撮影画像平面における、左端の所定幅ｘのマージン領域を除く領域３１０ｂとを、プレイエリア対応領域として同時に設定する。そしてどちらかの画像において、ユーザの像がプレイエリア対応領域から出たことをもって、警告の必要性を判定する。

図１１は、警告状況判定部８２が、警告が必要であると判定した際に生成される表示画面を例示している。表示画面２００は、ゲーム画面などコンテンツの画像に警告を表す警告画像２０２を追加した構成を有する。警告画像２０２は図示する例では、「Out of play area」なる文字情報によりプレイエリアの外に出たことを表している。さらに危険を表すマークも含めることで緊急性を表現している。

ただし警告画像２０２の形態をこれに限る主旨ではなく、色や形状を工夫することで図形やマークのみで表したり、そのような図形やマークと文字情報を組み合わせたりしてもよい。また警告画像２０２をコンテンツごとに、あるいはその時点での表示の内容に応じて、変化させてもよい。ユーザに気づきを与える性質上、警告画像２０２はコンテンツの画像に重畳表示することを基本とする。一方で、コンテンツの画像が奥行き感を伴う仮想世界であった場合は特に、奥行き感のない部品画像が突然、目前に出現することにより、ユーザが驚いたり不快な気持ちになったりすることが考えられる。

そこで図示するように警告画像２０２の周縁を、ブラー処理やαブレンディングなどによってぼかす。警告画像２０２全体を半透明としてもよい。これにより前面にありながらも背後に表現されている仮想世界との親和性を高められる。また突然視線を遮られた感覚を与えないよう、視点を避けた位置に警告画像２０２を表示することが望ましい。例えばユーザの視線に合わせて視野を変化させる表示形態では、必然的に視点が画面中央に固定されるため、画面中央から所定距離以上、離れた位置に表示する。

また人は目線を上げるより下げる方が楽に行えるため、表示形態によらず、画面の下半分の領域（上下方向の中心線Ｃより下の領域）に警告画像２０２を表示することにより、注視点をコンテンツの画像から無理なく移動させていくことができる。これらのことにより、突然出現した画像に目の焦点が合わず認識するのに時間を要したり、細かい眼球の動きにより酔ってしまったりするのも防止できる。

次にこれまで述べた構成によって実現できる、情報処理装置１０の動作について説明する。図１２は、本実施の形態において情報処理装置がユーザの動きに応じた出力データを生成する処理手順を示すフローチャートである。このフローチャートは、ユーザが入力装置１４を介して情報処理装置１０に処理の開始を要求したときなどに開始される。

まず情報処理装置１０の撮影画像取得部７４は、撮像装置１２に撮影の開始を要求し、それに応じて撮像装置１２が撮影し出力した撮影画像のデータの取得を開始する（Ｓ１０）。一方、警告状況判定部８２は、エリア設定情報記憶部８５からプレイエリアに係る設定情報を読み出す（Ｓ１２）。このとき、ユーザが選択するなどした実施すべきコンテンツに対応づけられた設定情報を選択してもよい。また撮影画像を解析するなどしてユーザが着座しているか否かや、周囲の状況などを特定し、それらの情報によって設定情報を選択してもよい。

次に情報処理部７６は、撮影画像取得部７４が取得したリアルタイムの撮影画像をＨＭＤ１８に出力するように、出力データ生成部７８に要求する。撮影画像をＨＭＤ１８に表示させることにより、周囲に障害物がないかの確認をユーザに促す（Ｓ１４、Ｓ１６）。このとき出力データ生成部７８は、「危ない物はありませんか？」といった文字情報と、ユーザが確認した旨を入力するためのＧＵＩ（Graphical User Interface）を撮影画像に重畳表示する。これによりユーザは事前にカメラの画角を認識できるため、プレイエリアと同等の領域を念頭に置いた動きができる。

プレイエリアを知ることで自分の可動範囲が明確になり、周囲に存在する物が障害物となり得るかの判断も可能になる。ユーザが必要に応じて物を退かせたうえで、確認した旨の入力を行うことを条件に以後の処理を行うようにすれば、カメラの視野外への逸脱監視と同時に、障害物への衝突監視も行っていることになる。ユーザから確認の入力がない間は撮影画像を表示し続ける（Ｓ１６のＮ、Ｓ１４）。

ユーザから確認の入力がなされたら（Ｓ１６のＹ）、位置情報取得部８０は、撮影画像に基づきユーザの位置情報の取得を開始する（Ｓ１８）。そして当該情報を用いて情報処理部７６が情報処理を行い、出力データ生成部７８がその結果としてコンテンツの表示画像を描画する（Ｓ２０）。一方、警告状況判定部８２は、ユーザがプレイエリアを出たか否かを監視する（Ｓ２２）。ユーザがプレイエリアから出たとする判定は、厳密にはユーザが装着しているＨＭＤ１８、あるいはユーザが把持する入力装置１４に設けたマーカーがプレイエリアから出たときに行う。

ただし当該判定の基準は、ユーザの位置情報取得手段によって様々であってよい。例えばステレオ画像におけるユーザの像自体からデプスマップを作成するなどして位置情報とする場合は、ユーザの重心がプレイエリアから出たときとしてもよい。輪郭線を追跡している場合も同様である。また顔検出処理などのパターンマッチングにより追跡している場合は、プレイエリア内で顔が認識されなくなったときなどでもよい。

ユーザがプレイエリアから出ていなければ（Ｓ２２のＮ）、出力データ送信部８６は、Ｓ２０で描画されたコンテンツの画像をそのままＨＭＤ１８に出力する（Ｓ２６）。ユーザがプレイエリアから出た場合（Ｓ２２のＹ）、警告状況判定部８２が出力データ生成部７８にその旨を通知することにより、出力データ生成部７８がコンテンツの画像に警告画像を重畳させる（Ｓ２４）。そして出力データ送信部８６は、警告画像が重畳された画像をＨＭＤ１８に出力する（Ｓ２６）。なおＳ２６の処理では、同時に音声のデータも出力してよい。

ユーザにより処理の停止要求があるなど処理を終了させる必要が生じない期間、位置情報に基づきコンテンツの画像を描画し、必要に応じて警告画像を重畳させてＨＭＤ１８に出力する処理を、所定のレートで繰り返す（Ｓ２８のＮ、Ｓ２０〜Ｓ２６）。そして処理を終了させる必要が生じたら、全ての処理を終了させる（Ｓ２８のＹ）。

なお同図のフローチャートでは、ユーザがプレイエリア外にいる期間と、警告画像を重畳させている期間が一致している。すなわちユーザがプレイエリア内に戻ったことをきっかけに警告画像が非表示となる。一方、警告画像を非表示とする条件を、表示する条件と独立に設けてもよい。図１３は、警告画像の表示／非表示の状態遷移を模式的に示している。まず警告画像が表示されていない状態から表示された状態とするときの判定基準はこれまで述べたように、ユーザがプレイエリアから出たこととする（右方向矢印）。

一方、警告画像が表示されている状態から表示されない状態とするときの判定基準は、プレイエリアに入ったことではなく、別途設定した条件を満たしたときとする（左方向矢印）。例えば、プレイエリアより狭い範囲として警告非表示エリアを設定しておき、当該エリアに入ったときに警告画像を非表示とする。あるいはプレイエリアに入ってから所定時間経過したときとする。このようにすることで、一旦、表示された警告は非表示とされにくくなる。結果として、ユーザがプレイエリアの境界近傍にいるときなどに、僅かな動きでプレイエリアに対する内外判定結果が切り替わり、警告が表示されたり消えたりを繰り消すチャタリングを防止できる。

以上述べた本実施の形態によれば、撮影画像における像に基づきユーザの位置情報を取得し、その結果を利用して情報処理を行うシステムにおいて、実世界の３次元空間にプレイエリアを設定し、ユーザが当該プレイエリアから出たときにその旨の警告を表示などでユーザに提示する。これによりユーザがＨＭＤを装着して外界が見えなかったり、表示されている仮想世界に没頭したりして、いつの間にかカメラの視野から外れ、情報処理に破綻を来すことを防止できる。

ここでプレイエリアは、カメラの視野を基準として設定する。このときプレイエリアを、視野に対しマージン領域を見込んで内側に設定するか、視野と同一とするか、またマージン領域を見込む場合はその幅、といった要素を最適化する。このようにマージン領域を調整することは、警告なしに移動できる範囲を規定していると同時に、ユーザが視野外に出てしまい位置情報が取得できなくなる頻度、ひいては位置情報取得精度を調整していることに他ならない。そのため、多少の位置情報取得精度の悪化を犠牲にしても極力広い範囲の移動を許容するか、範囲を限定的としても位置情報取得精度を維持するか、といった優先順位と合致した設定が可能となる。

このような優先順位は、カメラの水平／垂直画角、情報処理の内容、ユーザやその周囲の状況などに依存して変化するため、それぞれに対し設定を最適化することにより、位置情報の取得精度とユーザの快適性を両立させることができる。またプレイエリアの形状は特に限定されないため、形状やサイズを適切に設定すれば、カメラの視野からの逸脱防止以外に、ゲームなどのコンテンツから想定される移動量の適正値の遵守や、周囲の障害物への衝突回避など役割を同時に果たすことができる。

警告を表示する際は、ゲーム画面など本来の表示画像上に、警告を表す部品画像を重畳表示する。このとき、周縁をぼかしたり半透明にしたりすることで、本来の表示画像との親和性を高め、突然、関連性のない画像が出現することによる違和感を少なくする。また、視点から所定の距離を設けたり画面の下半分の位置に表示させたりすることにより、視線が遮られることによる不快感や酔いの発生が抑制され、負担なく視線を合わせ、状況を認識させることができる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

８情報処理システム、１０情報処理装置、１２撮像装置、１４入力装置、１６平板型ディスプレイ、１８ＨＭＤ、２２ＣＰＵ、２４ＧＰＵ、２６メインメモリ、７２入力情報取得部、７４撮影画像取得部、７６情報処理部、７８出力データ生成部、８０位置情報取得部、８２警告状況判定部、８５エリア設定情報記憶部、８６出力データ送信部。

Claims

実空間における対象物を検出し、当該対象物に基づき情報処理を行う情報処理部と、
前記情報処理の結果として表示すべき画像のデータを生成する画像生成部と、
前記対象物の検出範囲を基準としてプレイエリアを設定し、当該プレイエリアの外に前記対象物が出る際にユーザへの警告が必要と判定し、前記画像生成部に警告画像を重畳させる警告状況判定部と、
前記画像生成部が生成した画像のデータを表示装置に出力する出力部と、
を備え、
前記警告状況判定部は、前記対象物の検出範囲に対する前記プレイエリアの設定規則を、当該検出範囲の空間における範囲に応じて変化させることを特徴とする情報処理装置。
前記情報処理部は、撮像装置が対象物を動画撮影して得られる撮影画像から対象物の像を検出することにより、当該対象物を検出することを特徴とする請求項１に記載の情報処理装置。
前記警告状況判定部は、前記撮像装置の視野を前記対象物の検出範囲とすることを特徴とする請求項２に記載の情報処理装置。
前記警告状況判定部は、前記対象物の検出範囲の境界面に対する前記プレイエリアの境界面の位置を、前記検出範囲の空間における方向に応じて変化させることを特徴とする請求項１から３のいずれかに記載の情報処理装置。
前記警告状況判定部は、前記プレイエリアの形状を、実空間の水平方向と垂直方向で異ならせることを特徴とする請求項１から４のいずれかに記載の情報処理装置。
前記警告状況判定部は、前記対象物の検出範囲と前記プレイエリアを一致させないことを特徴とする請求項１から５のいずれかに記載の情報処理装置。
前記警告状況判定部は、前記警告画像として、文字、図形、マークの少なくともいずれかを重畳させることを特徴とする請求項１から６のいずれかに記載の情報処理装置。
前記警告状況判定部は、周縁がぼかされた前記警告画像を重畳させることを特徴とする請求項１から７のいずれかに記載の情報処理装置。
前記警告状況判定部は、前記表示装置に表示された画像に対するユーザの視点に基づき、前記警告画像の重畳位置を決定することを特徴とする請求項１から８のいずれかに記載の情報処理装置。
前記情報処理部は、入力装置を介したユーザ操作を受け付け、前記情報処理を開始させる入力情報取得部をさらに備えることを特徴とする請求項１から９のいずれかに記載の情報処理装置。
前記情報処理部は、実空間に照射した参照光を利用して対象物を検出することを特徴とする請求項１から１０のいずれかに記載の情報処理装置。
前記情報処理部は、ユーザを含む実空間を撮影する撮像装置が撮影した画像を用いて対象物の像を検出することを特徴とする請求項１から１１のいずれかに記載の情報処理装置。
実空間における対象物を検出し当該対象物に基づき情報処理を行うステップと、
前記情報処理の結果として表示すべき画像のデータを生成するステップと、
前記対象物の検出範囲を基準としてプレイエリアを設定し、当該プレイエリアの外に前記対象物が出る際にユーザへの警告が必要と判定するステップと、
前記判定に応じて前記表示すべき画像に警告画像を重畳するステップと、
生成された画像のデータを表示装置に出力するステップと、
を含み、
前記判定するステップは、前記対象物の検出範囲に対する前記プレイエリアの設定規則を、当該検出範囲の空間における範囲に応じて変化させることを特徴とする、情報処理装置による警告提示方法。
実空間における対象物を検出し当該対象物に基づき情報処理を行う機能と、
前記情報処理の結果として表示すべき画像のデータを生成する機能と、
前記対象物の検出範囲を基準としてプレイエリアを設定し、当該プレイエリアの外に前記対象物が出る際にユーザへの警告が必要と判定し、前記画像のデータを生成する機能にその旨を通知することにより警告画像を重畳させる機能と、
生成された画像のデータを表示装置に出力する機能と、
をコンピュータに実現させ、
前記重畳させる機能は、前記対象物の検出範囲に対する前記プレイエリアの設定規則を、当該検出範囲の空間における範囲に応じて変化させることを特徴とするコンピュータプログラム。