JP2024061769A - Information processor and warning presentation method - Google Patents
Information processor and warning presentation method Download PDFInfo
- Publication number
- JP2024061769A JP2024061769A JP2024033525A JP2024033525A JP2024061769A JP 2024061769 A JP2024061769 A JP 2024061769A JP 2024033525 A JP2024033525 A JP 2024033525A JP 2024033525 A JP2024033525 A JP 2024033525A JP 2024061769 A JP2024061769 A JP 2024061769A
- Authority
- JP
- Japan
- Prior art keywords
- image
- warning
- information processing
- play area
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000003384 imaging method Methods 0.000 claims abstract description 58
- 230000010365 information processing Effects 0.000 claims description 103
- 230000008569 process Effects 0.000 claims description 16
- 230000003287 optical effect Effects 0.000 claims description 11
- 238000012790 confirmation Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims 1
- 230000008859 change Effects 0.000 abstract description 2
- 230000033001 locomotion Effects 0.000 description 27
- 238000012545 processing Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 20
- 239000003550 marker Substances 0.000 description 12
- 210000003128 head Anatomy 0.000 description 11
- 230000015654 memory Effects 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 206010028813 Nausea Diseases 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 241000542420 Sphyrna tudes Species 0.000 description 1
- 206010047513 Vision blurred Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 244000145845 chattering Species 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000013013 elastic material Substances 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 201000003152 motion sickness Diseases 0.000 description 1
- 230000008693 nausea Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、撮影画像に基づき情報処理を行う情報処理装置および、それが行う警告提示方法に関する。 The present invention relates to an information processing device that processes information based on captured images and a method for presenting a warning performed by the information processing device.
ゲーム機に接続されたヘッドマウントディスプレイ（以下、「ＨＭＤ」と呼ぶ）を頭部に装着して、表示された画面を見ながらゲームプレイすることが行われている（例えば特許文献１参照）。例えばユーザの頭部の位置や姿勢を取得し、顔の向きに応じて視野を変化させるように仮想世界の画像を表示すれば、あたかも仮想世界に入り込んだような状況を演出できる。ユーザの位置や姿勢は一般的に、ユーザを撮影した可視光や赤外線の画像の解析結果や、ＨＭＤに内蔵したモーションセンサの計測値などに基づいて取得される。 Players wear a head-mounted display (hereafter referred to as "HMD") connected to a game console on their head and play games while looking at the displayed screen (see, for example, Patent Document 1). For example, by acquiring the position and posture of the user's head and displaying an image of the virtual world so that the field of view changes according to the direction of the user's face, it is possible to create a situation in which the user feels as if they have entered the virtual world. The user's position and posture are generally acquired based on the results of analysis of visible light or infrared images taken of the user, or measurements from a motion sensor built into the HMD.
撮影画像に基づき何らかの情報処理を行う技術は、ユーザなどの対象物がカメラの画角内にいることを前提としている。しかしながらＨＭＤを装着した状態では、ユーザは外界を見ることができないため、方向感覚を失ったり、ゲームに没頭するあまり実空間で思わぬ位置に移動していたりすることがあり得る。これによりカメラの画角から外れると、情報処理が破綻したり精度が悪化したりするうえ、ユーザ自身がその原因に気づかないことも考えられる。カメラとの位置関係など現実世界の事情をユーザに意識させるほど情報処理の精度を保てるが、同時にＨＭＤを利用し構築される仮想空間の世界観を阻害しやすくなる、というジレンマが生じる。 Technology that performs some kind of information processing based on captured images assumes that the user or other subject is within the camera's field of view. However, when wearing an HMD, the user cannot see the outside world, and so may lose their sense of direction or become so engrossed in the game that they move to an unexpected location in real space. As a result, if the user moves out of the camera's field of view, information processing may break down or its accuracy may deteriorate, and the user himself may not even realize the cause. The more the user is made aware of real-world circumstances, such as their position relative to the camera, the higher the accuracy of information processing can be maintained, but at the same time, a dilemma arises in that it is more likely to interfere with the worldview of the virtual space constructed using the HMD.
本発明はこうした課題に鑑みてなされたものであり、その目的は、ＨＭＤで実現される娯楽性と情報処理の精度のバランスを最適化できる技術を提供することにある。 The present invention was made in consideration of these issues, and its purpose is to provide technology that can optimize the balance between the entertainment value and information processing accuracy achieved by an HMD.
本発明のある態様は情報処理装置に関する。この情報処理装置は、撮像装置による撮影画像に基づき実空間における対象物の位置を検出し、当該対象物に基づき情報処理を行う情報処理部と、情報処理の結果として表示すべき画像のデータを生成する画像生成部と、撮影画像を解析して取得した実空間の状況に応じて、当該撮像装置の視野に対する設定規則を変化させてプレイエリアを設定したうえ、当該プレイエリアに基づいてユーザへの警告の必要性を判定し、画像生成部に警告画像を重畳させる警告状況判定部と、画像生成部が生成した画像のデータを表示装置に出力する出力部と、を備えることを特徴とする。 One aspect of the present invention relates to an information processing device. This information processing device is characterized by comprising: an information processing unit that detects the position of an object in real space based on an image captured by an imaging device and performs information processing based on the object; an image generation unit that generates image data to be displayed as a result of the information processing; a warning status determination unit that sets a play area by changing the setting rules for the field of view of the imaging device according to the situation in real space acquired by analyzing the captured image, and determines the need for a warning to the user based on the play area and superimposes a warning image on the image generation unit; and an output unit that outputs the image data generated by the image generation unit to a display device.
本発明のさらに別の態様は警告提示方法に関する。この警告提示方法は情報処理装置が、撮像装置による撮影画像に基づき実空間における対象物の位置を検出し、当該対象物に基づき情報処理を行うステップと、情報処理の結果として表示すべき画像のデータを生成するステップと、前記撮影画像を解析して取得した実空間の状況に応じて、当該撮像装置の視野に対する設定規則を変化させてプレイエリアを設定したうえ、当該プレイエリアに基づいてユーザへの警告の必要性を判定するステップと、判定に応じて表示すべき画像に警告画像を重畳するステップと、生成された画像のデータを表示装置に出力するステップと、を含むことを特徴とする。 Yet another aspect of the present invention relates to a method for presenting a warning, characterized in that the method includes a step in which an information processing device detects the position of an object in real space based on an image captured by an imaging device, and performs information processing based on the object, a step in which an information processing device generates data of an image to be displayed as a result of the information processing, a step in which a play area is set by changing the setting rules for the field of view of the imaging device according to the situation of the real space obtained by analyzing the captured image, and a step in which a need for a warning to the user is determined based on the play area, a step in which a warning image is superimposed on the image to be displayed according to the determination, and a step in which the data of the generated image is output to a display device.
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。 In addition, any combination of the above components, and any conversion between the expression of the present invention as a method, device, system, computer program, recording medium on which a computer program is recorded, etc., are also valid aspects of the present invention.
本発明によると、ＨＭＤを装着したユーザが、現実世界での拘束条件をできるだけ意識することなく表現世界を楽しむことができる。 This invention allows users wearing an HMD to enjoy the representational world without being conscious of constraints in the real world as much as possible.
図１は本実施の形態を適用できる情報処理システムの構成例を示す。情報処理システム８は、対象物を撮影する撮像装置１２、撮影した画像に基づき情報処理を行う情報処理装置１０、情報処理の結果として得られた画像を表示する平板型ディスプレイ１６およびＨＭＤ１８、ユーザが操作する入力装置１４を含む。
Figure 1 shows an example of the configuration of an information processing system to which this embodiment can be applied. The
情報処理装置１０と、撮像装置１２、入力装置１４、平板型ディスプレイ１６、ＨＭＤ１８とは、有線ケーブルで接続されても、Bluetooth（登録商標）など既知の無線通信技術により接続されてもよい。また情報処理装置１０が実施する情報処理によっては、平板型ディスプレイ１６はなくてもよい。またこれらの装置の外観形状は図示するものに限らない。さらにこれらのうち２つ以上の装置を一体的に備えた装置としてもよい。例えば情報処理装置１０、入力装置１４、平板型ディスプレイ１６を、それらを備えた携帯端末などで実現してもよい。
The
撮像装置１２は、ユーザなどの対象物を所定のフレームレートで撮影するカメラと、その出力信号にデモザイク処理など一般的な処理を施すことにより撮影画像の出力データを生成し、情報処理装置１０に送出する機構とを有する。カメラはＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなど、一般的なデジタルカメラ、デジタルビデオカメラで利用されている可視光センサを備える。撮像装置１２が備えるカメラは１つのみでもよいし、図示するように２つのカメラを既知の間隔で左右に配置したいわゆるステレオカメラでもよい。
The
あるいは単眼のカメラと、赤外線などの参照光を対象物に照射しその反射光を測定する装置との組み合わせで撮像装置１２を構成してもよい。ステレオカメラや反射光の測定機構を導入した場合、対象物の位置を３次元の実空間に対し求めることができ、情報処理装置１０による情報処理や表示装置による画像表示をより多様化させることができる。ステレオカメラが左右の視点から撮影したステレオ画像を用いて、三角測量の原理により被写体のカメラからの距離を特定する手法、反射光の測定によりＴＯＦ（Time of Flight）やパターン照射の方式で被写体のカメラからの距離を特定する手法はいずれも広く知られている。
Alternatively, the
以後では主に、撮像装置１２がステレオ画像を撮影する態様について説明するが、上記のとおり本実施の形態をそれに限る主旨ではなく、撮像装置１２には少なくとも一つのカメラが含まれていればよい。情報処理装置１０は、撮像装置１２から送信されたデータを用いて必要な情報処理を行い、画像や音声などの出力データを生成する。ここで情報処理装置１０が行う処理の内容は特に限定されず、ユーザが求める機能やアプリケーションの内容などによって適宜決定してよい。
The following mainly describes the manner in which the
情報処理装置１０は例えば、撮影画像に対し一般的な顔検出や追跡処理を施すことにより、対象物であるユーザの動作を反映させたキャラクタが登場するゲームを進捗させたり、ユーザの動きをコマンド入力に変換して情報処理を行ったりする。このとき入力装置１４に設けたマーカーを利用して入力装置１４の動きを取得してもよい。またＨＭＤ１８の外面に設けた複数のマーカーを追跡することにより、ＨＭＤ１８を装着したユーザの頭部の位置や姿勢を特定し、それに対応して動く視点から見た仮想世界をＨＭＤ１８に表示させてもよい。情報処理装置１０が生成した出力データは、少なくともＨＭＤ１８に送信される。
For example, the
ＨＭＤ１８は、ユーザが頭に装着することによりその眼前に位置する有機ＥＬパネルなどの表示パネルに画像を表示する表示装置である。例えば左右の視点から見た視差画像を生成し、表示画面を２分割してなる左右の領域にそれぞれ表示させることにより、画像を立体視させてもよい。ただし本実施の形態をこれに限る主旨ではなく、表示画面全体に１つの画像を表示させてもよい。ＨＭＤ１８はさらに、ユーザの耳に対応する位置に音声を出力するスピーカーやイヤホンを内蔵していてもよい。 HMD18 is a display device that displays images on a display panel, such as an organic EL panel, located in front of the user's eyes when worn on the user's head. For example, parallax images viewed from left and right viewpoints may be generated and displayed in the left and right areas that are formed by dividing the display screen into two, allowing the image to be viewed in stereoscopic form. However, this is not intended to be a limitation of the present embodiment, and a single image may be displayed on the entire display screen. HMD18 may also have built-in speakers or earphones that output sound to positions corresponding to the user's ears.
平板型ディスプレイ１６は、２次元の画像を出力するディスプレイおよび音声を出力するスピーカーを有するテレビでよく、例えば液晶テレビ、有機ＥＬテレビ、プラズマテレビ、ＰＣディスプレイ等である。あるいはタブレット端末や携帯端末のディスプレイおよびスピーカーであってもよい。入力装置１４は、ユーザが操作することにより、処理の開始、終了、機能の選択、各種コマンド入力などの要求を受け付け、情報処理装置１０に電気信号として供給する。
The
入力装置１４は、ゲームコントローラ、キーボード、マウス、ジョイスティック、平板型ディスプレイ１６の表示画面上に設けたタッチパッドなど、一般的な入力装置のいずれか、またはそれらの組み合わせによって実現してよい。入力装置１４はさらに、所定の色で発光する素子またはその集合からなる発光マーカーを備えていてもよい。この場合、情報処理装置１０がマーカーの動きを、撮影画像を用いて追跡することにより、入力装置１４自体の動きをユーザ操作とすることができる。なお入力装置１４を、発光マーカーとそれを把持する機構のみで構成してもよい。
The
図２はＨＭＤ１８の外観形状の例を示している。この例においてＨＭＤ１８は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。装着バンド１０６は各ユーザの頭囲に合わせて長さの調節が可能な素材または構造とする。例えばゴムなどの弾性体としてもよいし、バックルや歯車などを利用してもよい。
Figure 2 shows an example of the external shape of the
出力機構部１０２は、ＨＭＤ１８をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。そして筐体１０８の外面には、発光マーカー１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ、などを設ける。発光マーカーの数や配置は特に限定されないが、本実施の形態では出力機構部１０２の筐体前面の４隅に設ける。
The
さらに、装着バンド１０６後方の両側面にも発光マーカー１１０ｅ、１１０ｆを設ける。このように発光マーカーを配置することにより、撮像装置１２に対しユーザが横を向いたり後ろを向いたりしても、撮影画像における発光マーカーの像の数や位置に基づきそれらの状況を特定できる。なお発光マーカー１１０ｃ、１１０ｄは出力機構部１０２の下側、発光マーカー１１０ｅ、１１０ｆは装着バンド１０６の外側にあり、図２の視点からは本来は見えないため、外周を点線で表している。
Furthermore, light-emitting
図３は情報処理装置１０の内部回路構成を示している。情報処理装置１０は、ＣＰＵ（Central Processing Unit）２２、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、平板型ディスプレイ１６やＨＭＤ１８へデータを出力する出力部３６、撮像装置１２、入力装置１４、およびＨＭＤ１８からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。
Figure 3 shows the internal circuit configuration of the
ＣＰＵ２２は、記憶部３４に記憶されているオペレーティングシステムを実行することにより情報処理装置１０の全体を制御する。ＣＰＵ２２はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２からの描画命令に従って描画処理を行い、表示画像を図示しないフレームバッファに格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。
The
図４はＨＭＤ１８の内部回路構成を示している。ＨＭＤ１８は、ＣＰＵ５０、メインメモリ５２、表示部５４、音声出力部５６を含む。これらの各部はバス５８を介して相互に接続されている。バス５８にはさらに入出力インターフェース６０が接続されている。入出力インターフェース６０には、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部６２、加速度センサ６４、発光部６６が接続される。
Figure 4 shows the internal circuit configuration of the
ＣＰＵ５０は、バス５８を介してＨＭＤ１８の各部から取得した情報を処理し、出力データを表示部５４や音声出力部５６に供給する。メインメモリ５２はＣＰＵ５０における処理に必要なプログラムやデータを格納する。ただし実行するアプリケーションや装置の設計によっては、情報処理装置１０がほぼ全ての処理を行い、ＨＭＤ１８では情報処理装置１０から送信されたデータを出力するのみで十分な場合がある。この場合、ＣＰＵ５０やメインメモリ５２は、より簡易なデバイスで置き換えることができる。
The
表示部５４は、液晶パネルや有機ＥＬパネルなどの表示パネルで構成され、ＨＭＤ１８を装着したユーザの眼前に画像を表示する。上述したように左右の目に対応する領域に一対の視差画像を表示することにより立体視を実現してもよい。表示部５４はさらに、ＨＭＤ１８装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する一対のレンズを含んでもよい。
The
音声出力部５６は、ＨＭＤ１８の装着時にユーザの耳に対応する位置に設けたスピーカーやイヤホンで構成され、ユーザに音声を聞かせる。出力される音声のチャンネル数は特に限定されず、モノラル、ステレオ、サラウンドのいずれでもよい。通信部６２は、情報処理装置１０や平板型ディスプレイ１６との間でデータを送受するためのインターフェースであり、例えばBluetooth（登録商標）などの既知の無線通信技術を用いて実現できる。
The
加速度センサ６４は、所定軸方向の重力加速度を計測することによりＨＭＤ１８の傾きを検出する。ＨＭＤ１８にはさらに、ジャイロセンサなどその他の各種センサを設けてよい。センサによる測定値は通信部６２を介して情報処理装置１０に送信される。発光部６６は、所定の色で発光する素子またはその集合であり、図２で示したようにＨＭＤ１８の外面の複数箇所に設ける。これをマーカーとして追跡することによりＨＭＤ１８の位置を取得するほか、撮影画像におけるその像の数や位置関係からＨＭＤ１８の姿勢を取得する。
The
情報処理装置１０は、加速度センサ６４および発光部６６といった複数の手段により得られた情報を統合することにより、より高い精度でユーザの頭の位置や姿勢を取得することができる。一方、本実施の形態では、場合によっては加速度センサ６４を省略することもできる。
The
図５は情報処理装置１０の機能ブロックの構成を示している。図５に示す各機能ブロックは、ハードウェア的には、図３に示したＣＰＵ、ＧＰＵ、各種メモリ、データバスなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
Figure 5 shows the configuration of functional blocks of the
情報処理装置１０は、入力装置１４およびＨＭＤ１８からの入力情報を取得する入力情報取得部７２、撮像装置１２から撮影画像のデータを取得する撮影画像取得部７４、ゲームなどコンテンツに応じた情報処理を行う情報処理部７６、出力すべきデータを生成する出力データ生成部７８、情報処理や画像の生成に必要なデータを格納したコンテンツデータ記憶部８４を含む。情報処理装置１０はさらに、撮影画像に基づきユーザの位置情報を取得する位置情報取得部８０、ユーザの位置に基づき警告が必要な状況を判定する警告状況判定部８２、判定に必要な実空間上の領域に係る設定情報を格納したエリア設定情報記憶部８５、および、出力すべきデータをＨＭＤ１８に送信する出力データ送信部８６を含む。
The
入力情報取得部７２は、ユーザ操作の内容を入力装置１４から取得する。ここでユーザ操作とは、実行するアプリケーションやコンテンツの選択、処理の開始／終了、コマンド入力など、一般的な情報処理装置でなされるものでよい。入力情報取得部７２は入力装置１４から取得した情報を、その内容に応じて撮影画像取得部７４または情報処理部７６に供給する。入力情報取得部７２はさらに、ＨＭＤ１８の加速度センサ６４から計測値を受信し、情報処理部７６に供給する。
The input
撮影画像取得部７４は、ステレオ画像など、撮像装置１２が動画撮影して得られる撮影画像のデータを所定のレートで取得する。撮影画像取得部７４はさらに、入力情報取得部７２が取得したユーザからの処理開始／終了要求に従い、撮像装置１２における撮影の開始／終了を制御したり、情報処理部７６における処理の結果に応じて、撮像装置１２から取得するデータの種類を制御したりしてもよい。
The captured
位置情報取得部８０は、撮影画像から所定の対象物の像を検出することにより、ユーザの位置情報を所定のレートで取得する。例えばＨＭＤ１８や入力装置１４に設けた発光マーカーの像に基づきユーザの頭部や手の実空間での位置を取得する。あるいはユーザの体の一部を、輪郭線を利用して追跡したり、顔や特定の模様を有する対象物をパターンマッチングにより認識したりする画像解析技術を組み合わせてもよい。また撮像装置１２の構成によっては上述のとおり、赤外線の反射を計測することによりユーザの距離を特定してもよい。
The position
情報処理部７６は、ユーザが指定したゲームなどの電子コンテンツを処理する。この処理には、位置情報取得部８０が取得した、ユーザの位置情報の利用が含まれる。情報処理部７６は必要に応じて、ＨＭＤ１８の加速度センサによる計測結果などを統合することにより、ユーザの姿勢を特定してもよい。なお上述のように、入力装置１４を介したユーザ操作やユーザの動きに応じて、情報処理部７６が行う後段の情報処理の内容は特に限定されない。
The
出力データ生成部７８は、情報処理部７６からの要求に従い、情報処理の結果として出力すべき画像や音声のデータを生成する。例えばユーザの頭部の位置や姿勢に対応する視点から見た仮想世界を左右の視差画像として生成する。この視差画像をＨＭＤ１８において左右の目の前に表示させたり、仮想世界での音声を出力したりすれば、ユーザはあたかも仮想世界に入り込んだような感覚を得られる。情報処理部７６における情報処理や出力データ生成部７８におけるデータ生成処理に必要なプログラムや画像・音声のデータはコンテンツデータ記憶部８４に格納しておく。
The output
警告状況判定部８２は、位置情報取得部８０が取得したユーザの位置情報に基づき、警告を与える状況の発生を常時監視し、その発生を判定する。具体的には、実世界の３次元空間に直接的あるいは間接的に設定したプレイエリアに対する内外判定を実施し、ユーザがプレイエリアから出たときに警告が必要であると判定する。本実施の形態では、撮影画像を利用して位置情報を取得するため、ユーザがカメラの画角内にいることを前提として情報処理が進捗する。
The warning
ところが図２に示したようなＨＭＤを装着したユーザには、周囲の状況、ひいては自分が画角内にいるかどうかが認識しづらい。正常な情報処理を継続するためには、そのような実世界に係る情報を何らかの手段により与える必要があるが、コンテンツが表現する世界観を損なうことになりかねない。そのための方策として、画角から出そうなときのみユーザに警告を与えることが考えられる。しかしながらこのタイミングが早すぎれば、少しの移動で頻繁に警告が与えられ、実質的に可動範囲を狭めてしまうことになる。一方で、タイミングが遅いと画角から外れることを免れず、位置情報が得られない期間が発生し得る。 However, when wearing an HMD such as that shown in Figure 2, it is difficult for a user to recognize the surrounding situation, and therefore whether or not they are within the field of view. In order to continue normal information processing, it is necessary to provide such information related to the real world by some means, but this could damage the world view expressed by the content. One possible solution to this is to warn the user only when they are about to leave the field of view. However, if this timing is too early, frequent warnings will be given for even small movements, which will effectively narrow the range of movement. On the other hand, if the timing is too late, it will be inevitable that the user will go outside the field of view, and there may be periods when position information cannot be obtained.
そこで本実施の形態では上述のとおり、警告を発生させるタイミングを実世界でプレイエリアとして設定した領域に対する内外判定により判断し、さらにプレイエリアと画角との関係を調整することにより、可動範囲と処理精度のバランスを状況に応じて最適化する。プレイエリアの設定情報はあらかじめ、エリア設定情報記憶部８５に格納しておく。具体的な設定内容については後に述べる。警告状況判定部８２は、警告が必要と判定したとき、その旨を出力データ生成部７８に通知する。
As described above, in this embodiment, the timing to issue a warning is determined by an inside/outside determination of the area set as the play area in the real world, and the relationship between the play area and the angle of view is further adjusted to optimize the balance between the range of motion and processing accuracy according to the situation. The play area setting information is stored in advance in the area setting
このとき出力データ生成部７８は、警告を表す部品画像を表示画像に追加で描画する。警告状況判定部８２はまた、ユーザが正常な位置に戻るなどして、警告の必要がなくなったことを判定し、その旨を出力データ生成部７８に通知する。これに応じて出力データ生成部７８は、警告を表す部品画像を非表示とする。なお警告は画像のみならず、音声を伴っていてもよい。出力データ送信部８６は、出力データ生成部７８が生成した出力データを順次取得し、必要に応じて成形したうえ、ＨＭＤ１８に送信する。
At this time, the output
図６は、本実施の形態において撮影画像から取得できる情報を説明するための図である。同図においてユーザ１２０は、入力装置１４を把持しＨＭＤ１８を装着している。入力装置１４は、操作に適した持ち方で把持したときに撮像装置１２に正対する位置に発光マーカー１２２を備える。ＨＭＤ１８の発光マーカーは図２で示したとおりである。撮像装置１２をステレオカメラとした場合、ステレオ画像における像の視差に基づき、撮像装置１２の撮像面から各発光マーカーまでの距離Ｚが求められる。また、どちらかの撮影画像の画像平面（ＸＹ平面）における発光マーカーの像の位置は、撮像装置１２からの見かけ上の位置を表している。
Figure 6 is a diagram for explaining information that can be obtained from a captured image in this embodiment. In the figure, a
これらの情報を統合する、具体的にはＸＹ平面における位置を撮像装置１２からの距離Ｚを用いて逆射影することにより、実世界の３次元空間における各発光マーカーの位置が求められる。さらにＨＭＤ１８の発光マーカーの像の数や位置関係からＨＭＤ１８の実空間における姿勢（ベクトルｖａ）が、入力装置１４の発光マーカー１２２の像の形状から入力装置１４の実空間における姿勢（ベクトルｖｂ）が求められる。
By integrating this information, specifically by back-projecting the position on the XY plane using the distance Z from the
情報処理装置１０の情報処理部７６は、これらの装置の実空間における位置および姿勢に基づき、ユーザ１２０の顔の向きに応じて視野が変化する仮想世界や、入力装置１４の動きに応じて画像内のオブジェクトが動く様を表現することができる。なおマーカーの見かけ上の大きさによって撮像装置１２からの距離を推定したり、奥行き方向の動きが必要ない情報処理を行ったりする場合は、撮像装置１２はステレオカメラでなくてよい。参照光を利用した距離測定技術を導入する場合も同様である。また必ずしもＨＭＤ１８と入力装置１４の双方を追跡しなくてもよい。
The
このように発光マーカーの像を利用する場合、直接得られるのは、厳密にはＨＭＤ１８や入力装置１４の発光マーカーの位置である。ただしＨＭＤ１８はユーザが頭部に装着しているため、ユーザの頭部の位置と捉えることもできる。発光マーカー以外の被写体を拠り所として位置を特定する場合も、厳密にはそれらの被写体の位置が求められ、ユーザの重心位置などはそれらの情報から必要に応じて推定される。
When using images of light-emitting markers in this way, strictly speaking, what is obtained directly is the position of the light-emitting markers on the
以後の説明で「ユーザの位置」とは、ユーザ自身の位置でもよいし、位置取得の拠り所となる被写体の位置でもよい。また入力装置１４がプレイエリア外に出ても、ＨＭＤ１８が出ていなければ警告の必要はないとするなど、被写体の性質や状況に応じて判定基準に係る規則を設けてもよい。
In the following explanation, "user position" may refer to the user's own position, or the position of the subject that is the basis for position acquisition. In addition, rules regarding the judgment criteria may be established according to the nature and situation of the subject, such as no warning being necessary if the
図７は、警告状況判定部８２が警告の必要性を判定するときに参照する、プレイエリアの設定例を模式的に示している。同図は実空間を俯瞰した状態を示しており、撮像装置１２に正対するようにユーザ１２０が存在している。撮像装置１２のカメラの水平画角θｈによって、点線で示した視野の境界面１８２ａ、１８２ｂが定まる。ステレオカメラの場合、両者の画角の積集合とする。このような視野の垂直方向の境界面を基準として、プレイエリア１８４の境界面を所定の規則で設定する。警告状況判定部８２はユーザがプレイエリア１８４の外に出たとき、警告の必要が発生したと判定する。
FIG. 7 is a schematic diagram showing an example of the setting of the play area that the warning
図示する例では、撮像装置１２からの距離ＺがＺ１≦Ｚ＜Ｚ３の範囲において、視野の境界面１８２ａ、１８２ｂより内側にプレイエリア１８４を設定している。撮像装置１２に近いＺ１≦Ｚ＜Ｚ２の範囲では、カメラの光軸を中心に距離Ｚに比例するように幅を増加させ、Ｚ２≦Ｚ＜Ｚ３の範囲では一定の幅Ｗを有するように設定している。Ｚ１≦Ｚ＜Ｚ２の範囲のプレイエリアの境界を決定づける垂直面１８６ａ、１８６ｂはすなわち、奥行き方向の位置によらず撮影画像上で左右の端より所定量、内側に結像する位置に対応する。したがって少なくとも垂直面１８６ａ、１８６ｂより内側をプレイエリアとすることで、画像上で当該所定量分をマージン領域として、ユーザが画角から外れる前の余裕を見たタイミングで警告を与えることができる。
In the illustrated example, when the distance Z from the
撮像装置１２に近くなるほど、視野が狭くなるため可動範囲も狭くなる。そのため撮像装置１２に近い範囲では垂直面１８６ａ、１８６ｂより内側とする条件を最大限活用することで、警告を出さずにすむ範囲を広くとる。一方、撮像装置１２から離れた位置では視野が広がるため、画角から外れたか否かを基準とした場合、垂直面１８６ａ、１８６ｂより内側をプレイエリアとすれば、より広い範囲で警告を出さずにすむ。しかしながら図示する例では、情報処理の適性や周囲の物の存在などを考慮して、それより狭い幅Ｗでプレイエリアを限定している。
The closer one is to the
このようにプレイエリア１８４は、画角からの逸脱可能性を低める以外に、適正な可動範囲を設定する役割も同時に備えることができる。またプレイエリアをカメラからの距離範囲に応じて異なる規則で設定することにより、視野の狭い領域では可動範囲を優先し、視野の広い領域ではコンテンツの事情などその他の要素を優先させる、といった優先順位の変化に適応できる。
In this way, the
図８は、プレイエリアの設定の別の例を模式的に示している。同図は実空間をユーザの左側面から見た状態を示しており、撮像装置１２に正対するようにユーザ１２０が存在している。撮像装置１２のカメラの垂直画角θｖによって、点線で示した視野の境界面１９２ａ、１９２ｂが定まる。このような視野の水平方向の境界面を基準として、撮像装置１２からの距離ＺがＺ１≦Ｚ＜Ｚ３の範囲にプレイエリアの境界面を設定する。
8 is a schematic diagram showing another example of the setting of the play area. The figure shows the real space as viewed from the left side of the user, with the
同図の例では、Ｚ１≦Ｚ＜Ｚ３の範囲にわたり、視野の境界面１９２ａ、１９２ｂをプレイエリア１９４の境界面と一致させている。すなわち図７で示したプレイエリアと比較し、視野の境界面との間にマージン領域を設定しない。つまり撮影画像上で上下の端より所定量、内側に結像する水平面１９６ａ、１９６ｂのような余裕分をも設けず、撮影画像の上端から下端に対応する領域をプレイエリアとしている。このようにすると、画角から外れるのと同時に警告が与えられる結果となるため、微小時間であっても位置取得が不能となる可能性が高くなる。一方で、より広い範囲で警告を出さずにすむことになる。
In the example shown in the figure, the
このような設定は、画角が狭いカメラにおいて有効である。画角が狭い場合、図７に示すようにマージン領域を設定すると、少しの動きで警告が頻繁に出てしまうことがあり得る。そのため多少の情報処理の精度悪化を犠牲にしても、広いプレイエリアを確保することにより快適性を優先できる。例えば水平画角は広く、垂直画角は狭い特性を有するカメラを使用する場合、図７および図８で示したように、実空間での方向に応じて視野の境界面に対するプレイエリアの境界面の位置関係を異ならせれば、情報処理精度と快適な操作環境とのバランスを好適にとることができる。 This type of setting is effective for cameras with a narrow angle of view. When the angle of view is narrow, setting a margin area as shown in Figure 7 may result in frequent warnings being issued with even slight movements. Therefore, comfort can be prioritized by ensuring a wide play area, even at the expense of some deterioration in the accuracy of information processing. For example, when using a camera with a wide horizontal angle of view and a narrow vertical angle of view, a good balance can be achieved between information processing accuracy and a comfortable operating environment by varying the positional relationship of the play area boundary surface to the boundary surface of the field of view depending on the direction in real space, as shown in Figures 7 and 8.
図９は、マージン領域の有無による処理への影響を説明するための図である。同図上段の（ａ）は視野に対しマージン領域を設けてプレイエリアを設定した場合、下段の（ｂ）は視野とプレイエリアを一致させた場合の、ユーザの動きと各処理のタイムチャートである。すなわち右側に模式的に示すように、撮像装置１２に対し白抜きで示したプレイエリアを設定するが、（ａ）は黒色で示す視野外の領域との間に網掛けで示したマージン領域を設けている。タイムチャートにおける「位置」の段の白、網掛け、黒の矩形はそれぞれ、ユーザがプレイエリア、マージン領域、視野外にいる時間を表す。
Figure 9 is a diagram explaining the effect on processing of the presence or absence of a margin area. The upper part of the figure (a) is a time chart of the user's movements and each process when a margin area is provided in the field of view to set the play area, and the lower part (b) is a time chart of the user's movements and each process when the field of view and play area are aligned. That is, as shown diagrammatically on the right, a play area shown in white is set relative to the
比較のため両者の設定において、ユーザが時刻ｔ２で視野外に出るとし、警告を同じ時間だけ表示した結果、ユーザがプレイエリアに戻るとしている。このようなユーザの動きに対し、位置情報取得部８０が位置情報を取得できる期間を「位置取得」の段に、警告表示がなされる期間を「警告」の段に、矩形で表している。（ａ）の場合、視野外へ出る時刻ｔ２より前の時刻ｔ１でプレイエリアから出るため、その時点から時刻ｔ３でプレイエリアへ戻るまでの間、警告が表示される。一方（ｂ）の場合、マージン領域を設定しないため、視野外へ出ている時刻ｔ２から時刻ｔ４までの間に警告が表示される。
For comparison, in both settings, the user leaves the field of view at time t2, and the warning is displayed for the same amount of time, resulting in the user returning to the play area. For such user movement, the period during which the position
図示するように、（ａ）においては、警告が表示された後も位置情報を取得できるため、当該情報を根拠としてプレイエリア外にいることが保障される。（ｂ）の場合、警告と同時に位置情報も取得できなくなるため、警告を表示している期間においてその妥当性が保障されない。したがって、例えば視野境界においてオクルージョンなどでユーザの像が検出されなかったことを、視野外に出たと誤認し警告を表示させてしまう可能性がある。 As shown in the figure, in (a), location information can be obtained even after the warning is displayed, so that it is guaranteed that the user is outside the play area based on that information. In the case of (b), location information cannot be obtained at the same time as the warning, so the validity of the warning cannot be guaranteed while it is displayed. Therefore, for example, if the user's image is not detected at the boundary of the field of view due to occlusion, it may be mistaken as meaning that the user has gone outside the field of view, causing a warning to be displayed.
また（ａ）と（ｂ）で警告が表示されてから同じタイミングでプレイエリアに戻っても、（ｂ）では位置情報を取得できない期間が長くなる。図示する例では、（ａ）においても視野外へ出る期間が発生しているが、マージン領域の幅によっては、ユーザが視野外へ出る前に警告表示に応じて戻る可能性があるため、（ｂ）の場合と比較し位置情報を取得できない期間が発生しにくい。一方で、同じように移動しても（ａ）の場合はより早い時刻ｔ１で警告が表示されるため、ユーザに対する拘束条件が厳しくなる。これらの特性を踏まえ、警告を出さずにすむ領域を極限まで広げたいか、そのようにせずとも領域に余裕があるか、など、状況に応じた優先順位によって最適なプレイエリアを設定することが望ましい。 In addition, even if the user returns to the play area at the same timing after the warning is displayed in (a) and (b), the period during which position information cannot be obtained will be longer in (b). In the example shown, there is a period during which the user goes out of the field of view in (a), but depending on the width of the margin area, there is a possibility that the user will return in response to the warning display before going out of the field of view, so the period during which position information cannot be obtained is less likely to occur compared to the case of (b). On the other hand, even if the user moves in the same way, the warning is displayed at an earlier time t1 in the case of (a), so the constraints on the user are stricter. Taking these characteristics into account, it is desirable to set the optimal play area according to the priority order according to the situation, such as whether it is desirable to maximize the area in which a warning is not issued, or whether there is sufficient area without doing so.
なおマージン領域を設けるか否かのみならず、マージン領域の幅やプレイエリアの形状も、想定される状況や実空間での方向に応じて最適化してよい。例えばゲームなどコンテンツの内容や環境によって想定されるユーザの姿勢、具体的には立って遊ぶか座って遊ぶか、机に向かっているかソファに座っているか、といった状況に応じて、同じ画角でもプレイエリアの形状を変化させてよい。 In addition to deciding whether or not to provide a margin area, the width of the margin area and the shape of the play area may also be optimized according to the expected situation and orientation in real space. For example, the shape of the play area may be changed even with the same angle of view depending on the expected user posture depending on the content and environment of the game or other content, specifically whether the user is playing standing or sitting, sitting at a desk or sitting on a sofa, etc.
また図７、図８の設定を同時に適用した場合、設定されるプレイエリアはカメラからの距離Ｚに対し四辺形の断面を有するような形状であったが、本実施の形態をそれに限る主旨ではなく、円筒形など任意の形状でよい。また光軸が水平方向にない場合、カメラからの距離Ｚは床面と水平でなくなる。このときプレイエリアの形状は、光軸方向の距離で定義してもよいし、実空間での水平方向の距離で定義してもよい。カメラの光軸と実空間の水平面とのなす角度を、撮像装置１２に内蔵させた加速度センサなどにより計測すれば、座標変換は容易に実現できる。３次元空間での領域を設定するための具体的なデータ形式については、様々考えられることは当業者には理解されるところである。
When the settings in Figures 7 and 8 are applied simultaneously, the play area that is set has a quadrilateral cross section with respect to the distance Z from the camera, but this is not the intent of this embodiment and any shape such as a cylinder may be used. If the optical axis is not horizontal, the distance Z from the camera is not horizontal to the floor surface. In this case, the shape of the play area may be defined by the distance in the optical axis direction, or by the horizontal distance in real space. Coordinate conversion can be easily achieved by measuring the angle between the optical axis of the camera and the horizontal plane of real space using an acceleration sensor built into the
一方で、プレイエリアに対応する領域を画像平面で規定することにより、プレイエリアを間接的に設定してもよい。図１０は、画像平面におけるプレイエリアの設定手法を説明するための図である。同図は被写空間に対向するカメラの視野、ひいては撮影画像の平面を表しており、上段（ａ）が単眼カメラ、下段（ｂ）がステレオカメラの場合である。単眼カメラの場合、撮影画像３００の平面に対し、所定幅ｘを有する左右両端をマージン領域とし、それを除く領域３０２をプレイエリア対応領域として定義する。
On the other hand, the play area may be set indirectly by defining an area corresponding to the play area on the image plane. Figure 10 is a diagram for explaining a method for setting the play area on the image plane. The figure shows the field of view of a camera facing the subject space, and thus the plane of the captured image, with the upper row (a) being for a monocular camera and the lower row (b) being for a stereo camera. In the case of a monocular camera, the left and right ends of the plane of the captured
この領域３０２により規定される３次元空間での領域は、奥行き方向の距離Ｚに比例して水平方向の幅が増加する領域３０４である。すなわち水平方向に着目した場合、領域３０２を設定することにより、図８で示した垂直面１８６ａ、１８６ｂの内側をプレイエリアとして設定したことになる。このように画像平面上でプレイエリア対応領域３０２を設定した場合、実空間でのプレイエリアの断面は、距離Ｚに応じたサイズの相似形となるため、実空間に直接設定する場合と比較して設定形状の自由度が少なくなる。
The area in three-dimensional space defined by this
一方、撮影画像上での像とプレイエリア対応領域３０２との内外判定により直接、警告の必要性を判定できるため、ユーザの位置情報を介するより誤差の生じる余地が少なくなる。図示する例は水平方向にマージン領域を設けた場合であったが、垂直方向にマージン領域を設ける場合も同様である。また上述と同様の理由により、マージン領域を設けるか否か、およびその幅ｘの調整を、方向によって独立に行ってよい。それらの要素をコンテンツの内容や状況に応じて変化させてもよい。
On the other hand, the need for a warning can be determined directly by determining whether the image on the captured image is inside or outside the play
（ｂ）で示したステレオカメラの場合、ユーザがカメラの視野の左端にいるか右端にいるかにより、先に視野から外れるカメラが異なる。例えばユーザがカメラの視野の右端近傍にいる場合、図示するように、右視点のカメラの画像３０６ｂにおける像３０８ｂより、左視点のカメラの画像３０６ａにおける像３０８ａの方が右端に近くなる。したがってこのままユーザが右方向に移動した場合、左視点のカメラの視野から先に外れることになる。ユーザがカメラの視野の左端近傍にいる場合は逆に、右視点のカメラの視野から先に外れる。
In the case of the stereo camera shown in (b), the camera that leaves the field of view first differs depending on whether the user is at the left or right edge of the camera's field of view. For example, if the user is near the right edge of the camera's field of view, as shown in the figure,
したがってステレオカメラのどちらにも写るような視野内にプレイエリアを設定する場合、左視点のカメラの撮影画像平面における、右端の所定幅ｘのマージン領域を除く領域３１０ａと、右視点のカメラの撮影画像平面における、左端の所定幅ｘのマージン領域を除く領域３１０ｂとを、プレイエリア対応領域として同時に設定する。そしてどちらかの画像において、ユーザの像がプレイエリア対応領域から出たことをもって、警告の必要性を判定する。
Therefore, when setting a play area within the field of view that can be seen by both stereo cameras,
図１１は、警告状況判定部８２が、警告が必要であると判定した際に生成される表示画面を例示している。表示画面２００は、ゲーム画面などコンテンツの画像に警告を表す警告画像２０２を追加した構成を有する。警告画像２０２は図示する例では、「Out of play area」なる文字情報によりプレイエリアの外に出たことを表している。さらに危険を表すマークも含めることで緊急性を表現している。
Figure 11 shows an example of a display screen that is generated when the warning
ただし警告画像２０２の形態をこれに限る主旨ではなく、色や形状を工夫することで図形やマークのみで表したり、そのような図形やマークと文字情報を組み合わせたりしてもよい。また警告画像２０２をコンテンツごとに、あるいはその時点での表示の内容に応じて、変化させてもよい。ユーザに気づきを与える性質上、警告画像２０２はコンテンツの画像に重畳表示することを基本とする。一方で、コンテンツの画像が奥行き感を伴う仮想世界であった場合は特に、奥行き感のない部品画像が突然、目前に出現することにより、ユーザが驚いたり不快な気持ちになったりすることが考えられる。 However, the form of the warning image 202 is not limited to this, and it may be expressed only with figures or marks by using creative colors and shapes, or such figures or marks may be combined with text information. The warning image 202 may also be changed for each piece of content, or according to the content being displayed at that time. Since the warning image 202 is intended to alert the user, it is basically displayed superimposed on the content image. On the other hand, if the content image is a virtual world with a sense of depth, the user may be surprised or feel uncomfortable if a component image with no sense of depth suddenly appears in front of them.
そこで図示するように警告画像２０２の周縁を、ブラー処理やαブレンディングなどによってぼかす。警告画像２０２全体を半透明としてもよい。これにより前面にありながらも背後に表現されている仮想世界との親和性を高められる。また突然視線を遮られた感覚を与えないよう、視点を避けた位置に警告画像２０２を表示することが望ましい。例えばユーザの視線に合わせて視野を変化させる表示形態では、必然的に視点が画面中央に固定されるため、画面中央から所定距離以上、離れた位置に表示する。 As shown in the figure, the edges of the warning image 202 are blurred by blurring or alpha blending. The entire warning image 202 may be made semi-transparent. This increases the affinity of the image with the virtual world depicted behind it, even though it is in the foreground. It is also desirable to display the warning image 202 at a position that avoids the viewpoint so as not to give the user the feeling that their line of sight has been suddenly blocked. For example, in a display format that changes the field of view to match the user's line of sight, the viewpoint is inevitably fixed to the center of the screen, so the image is displayed at a position at least a specified distance away from the center of the screen.
また人は目線を上げるより下げる方が楽に行えるため、表示形態によらず、画面の下半分の領域（上下方向の中心線Ｃより下の領域）に警告画像２０２を表示することにより、注視点をコンテンツの画像から無理なく移動させていくことができる。これらのことにより、突然出現した画像に目の焦点が合わず認識するのに時間を要したり、細かい眼球の動きにより酔ってしまったりするのも防止できる。 In addition, because it is easier for people to lower their gaze than to raise it, by displaying the warning image 202 in the lower half of the screen (the area below the vertical center line C) regardless of the display format, the gaze point can be moved effortlessly away from the content image. This prevents the eyes from being unable to focus on an image that suddenly appears, taking time to recognize it, and also prevents motion sickness caused by small eye movements.
次にこれまで述べた構成によって実現できる、情報処理装置１０の動作について説明する。図１２は、本実施の形態において情報処理装置がユーザの動きに応じた出力データを生成する処理手順を示すフローチャートである。このフローチャートは、ユーザが入力装置１４を介して情報処理装置１０に処理の開始を要求したときなどに開始される。
Next, the operation of the
まず情報処理装置１０の撮影画像取得部７４は、撮像装置１２に撮影の開始を要求し、それに応じて撮像装置１２が撮影し出力した撮影画像のデータの取得を開始する（Ｓ１０）。一方、警告状況判定部８２は、エリア設定情報記憶部８５からプレイエリアに係る設定情報を読み出す（Ｓ１２）。このとき、ユーザが選択するなどした実施すべきコンテンツに対応づけられた設定情報を選択してもよい。また撮影画像を解析するなどしてユーザが着座しているか否かや、周囲の状況などを特定し、それらの情報によって設定情報を選択してもよい。
First, the captured
次に情報処理部７６は、撮影画像取得部７４が取得したリアルタイムの撮影画像をＨＭＤ１８に出力するように、出力データ生成部７８に要求する。撮影画像をＨＭＤ１８に表示させることにより、周囲に障害物がないかの確認をユーザに促す（Ｓ１４、Ｓ１６）。このとき出力データ生成部７８は、「危ない物はありませんか？」といった文字情報と、ユーザが確認した旨を入力するためのＧＵＩ（Graphical User Interface）を撮影画像に重畳表示する。これによりユーザは事前にカメラの画角を認識できるため、プレイエリアと同等の領域を念頭に置いた動きができる。
Next, the
プレイエリアを知ることで自分の可動範囲が明確になり、周囲に存在する物が障害物となり得るかの判断も可能になる。ユーザが必要に応じて物を退かせたうえで、確認した旨の入力を行うことを条件に以後の処理を行うようにすれば、カメラの視野外への逸脱監視と同時に、障害物への衝突監視も行っていることになる。ユーザから確認の入力がない間は撮影画像を表示し続ける（Ｓ１６のＮ、Ｓ１４）。 Knowing the play area clarifies one's own range of movement and enables one to determine whether surrounding objects could be obstacles. If the user is allowed to move objects away as necessary and inputs a confirmation before further processing can begin, the system will monitor for deviations from the camera's field of view while also monitoring for collisions with obstacles. The captured image will continue to be displayed as long as there is no confirmation input from the user (N in S16, S14).
ユーザから確認の入力がなされたら（Ｓ１６のＹ）、位置情報取得部８０は、撮影画像に基づきユーザの位置情報の取得を開始する（Ｓ１８）。そして当該情報を用いて情報処理部７６が情報処理を行い、出力データ生成部７８がその結果としてコンテンツの表示画像を描画する（Ｓ２０）。一方、警告状況判定部８２は、ユーザがプレイエリアを出たか否かを監視する（Ｓ２２）。ユーザがプレイエリアから出たとする判定は、厳密にはユーザが装着しているＨＭＤ１８、あるいはユーザが把持する入力装置１４に設けたマーカーがプレイエリアから出たときに行う。
When the user inputs a confirmation (Y in S16), the position
ただし当該判定の基準は、ユーザの位置情報取得手段によって様々であってよい。例えばステレオ画像におけるユーザの像自体からデプスマップを作成するなどして位置情報とする場合は、ユーザの重心がプレイエリアから出たときとしてもよい。輪郭線を追跡している場合も同様である。また顔検出処理などのパターンマッチングにより追跡している場合は、プレイエリア内で顔が認識されなくなったときなどでもよい。 However, the criteria for this determination may vary depending on the means for acquiring the user's position information. For example, if the position information is obtained by creating a depth map from the image of the user itself in a stereo image, the criteria may be when the user's center of gravity leaves the play area. The same applies when tracking a contour line. Furthermore, if tracking is performed using pattern matching such as face detection processing, the criteria may be when the face is no longer recognized within the play area.
ユーザがプレイエリアから出ていなければ（Ｓ２２のＮ）、出力データ送信部８６は、Ｓ２０で描画されたコンテンツの画像をそのままＨＭＤ１８に出力する（Ｓ２６）。ユーザがプレイエリアから出た場合（Ｓ２２のＹ）、警告状況判定部８２が出力データ生成部７８にその旨を通知することにより、出力データ生成部７８がコンテンツの画像に警告画像を重畳させる（Ｓ２４）。そして出力データ送信部８６は、警告画像が重畳された画像をＨＭＤ１８に出力する（Ｓ２６）。なおＳ２６の処理では、同時に音声のデータも出力してよい。
If the user has not left the play area (N in S22), the output
ユーザにより処理の停止要求があるなど処理を終了させる必要が生じない期間、位置情報に基づきコンテンツの画像を描画し、必要に応じて警告画像を重畳させてＨＭＤ１８に出力する処理を、所定のレートで繰り返す（Ｓ２８のＮ、Ｓ２０～Ｓ２６）。そして処理を終了させる必要が生じたら、全ての処理を終了させる（Ｓ２８のＹ）。
When there is no need to end the process, such as when the user requests to stop the process, the process of drawing an image of the content based on the position information and outputting the image to the
なお同図のフローチャートでは、ユーザがプレイエリア外にいる期間と、警告画像を重畳させている期間が一致している。すなわちユーザがプレイエリア内に戻ったことをきっかけに警告画像が非表示となる。一方、警告画像を非表示とする条件を、表示する条件と独立に設けてもよい。図１３は、警告画像の表示／非表示の状態遷移を模式的に示している。まず警告画像が表示されていない状態から表示された状態とするときの判定基準はこれまで述べたように、ユーザがプレイエリアから出たこととする（右方向矢印）。 In the flowchart in the figure, the period during which the user is outside the play area coincides with the period during which the warning image is superimposed. In other words, the warning image is hidden when the user returns to the play area. However, the conditions for hiding the warning image may be set independently of the conditions for displaying it. Figure 13 shows a schematic diagram of the state transition between displaying and hiding the warning image. As mentioned above, the criterion for changing from a state in which the warning image is not displayed to a state in which it is displayed is that the user has left the play area (rightward arrow).
一方、警告画像が表示されている状態から表示されない状態とするときの判定基準は、プレイエリアに入ったことではなく、別途設定した条件を満たしたときとする（左方向矢印）。例えば、プレイエリアより狭い範囲として警告非表示エリアを設定しておき、当該エリアに入ったときに警告画像を非表示とする。あるいはプレイエリアに入ってから所定時間経過したときとする。このようにすることで、一旦、表示された警告は非表示とされにくくなる。結果として、ユーザがプレイエリアの境界近傍にいるときなどに、僅かな動きでプレイエリアに対する内外判定結果が切り替わり、警告が表示されたり消えたりを繰り消すチャタリングを防止できる。 On the other hand, the criterion for changing from a displayed warning image to a hidden state is not when the user enters the play area, but when a separately set condition is met (arrow to the left). For example, a warning hidden area can be set that is narrower than the play area, and the warning image is hidden when the user enters that area. Or, it can be hidden when a specified amount of time has passed since entering the play area. By doing this, a warning that has been displayed is less likely to be hidden. As a result, when the user is near the boundary of the play area, for example, a slight movement can switch the inside/outside play area determination result, preventing chattering in which the warning is repeatedly displayed and hidden.
以上述べた本実施の形態によれば、撮影画像における像に基づきユーザの位置情報を取得し、その結果を利用して情報処理を行うシステムにおいて、実世界の３次元空間にプレイエリアを設定し、ユーザが当該プレイエリアから出たときにその旨の警告を表示などでユーザに提示する。これによりユーザがＨＭＤを装着して外界が見えなかったり、表示されている仮想世界に没頭したりして、いつの間にかカメラの視野から外れ、情報処理に破綻を来すことを防止できる。 According to the present embodiment described above, in a system that obtains user position information based on the image in a captured image and uses the results to process information, a play area is set in a three-dimensional space in the real world, and when the user leaves the play area, a warning to that effect is displayed or otherwise presented to the user. This prevents the user from being unable to see the outside world while wearing an HMD, or from becoming immersed in the displayed virtual world, and suddenly falling out of the camera's field of view, which can cause information processing to fail.
ここでプレイエリアは、カメラの視野を基準として設定する。このときプレイエリアを、視野に対しマージン領域を見込んで内側に設定するか、視野と同一とするか、またマージン領域を見込む場合はその幅、といった要素を最適化する。このようにマージン領域を調整することは、警告なしに移動できる範囲を規定していると同時に、ユーザが視野外に出てしまい位置情報が取得できなくなる頻度、ひいては位置情報取得精度を調整していることに他ならない。そのため、多少の位置情報取得精度の悪化を犠牲にしても極力広い範囲の移動を許容するか、範囲を限定的としても位置情報取得精度を維持するか、といった優先順位と合致した設定が可能となる。 Here, the play area is set based on the camera's field of view. Factors such as whether to set the play area inside the field of view with a margin area in mind, or to make it the same as the field of view, and if a margin area is to be set, its width are optimized. Adjusting the margin area in this way not only determines the range in which movement can be made without warning, but also adjusts the frequency with which the user will go outside the field of view and location information will no longer be available, and thus the accuracy of location information acquisition. This makes it possible to set the play area in accordance with priorities, such as whether to allow the widest possible range of movement even at the expense of some deterioration in location information acquisition accuracy, or to maintain location information acquisition accuracy even if the range is limited.
このような優先順位は、カメラの水平／垂直画角、情報処理の内容、ユーザやその周囲の状況などに依存して変化するため、それぞれに対し設定を最適化することにより、位置情報の取得精度とユーザの快適性を両立させることができる。またプレイエリアの形状は特に限定されないため、形状やサイズを適切に設定すれば、カメラの視野からの逸脱防止以外に、ゲームなどのコンテンツから想定される移動量の適正値の遵守や、周囲の障害物への衝突回避など役割を同時に果たすことができる。 Since these priorities change depending on the horizontal and vertical angles of view of the camera, the content of the information being processed, the user and the situation around them, etc., it is possible to achieve both high accuracy in acquiring location information and user comfort by optimizing the settings for each. In addition, since there are no particular restrictions on the shape of the play area, by setting the shape and size appropriately, it is possible to simultaneously fulfill roles such as preventing deviation from the camera's field of view, adhering to appropriate values for the amount of movement expected from content such as games, and avoiding collisions with surrounding obstacles.
警告を表示する際は、ゲーム画面など本来の表示画像上に、警告を表す部品画像を重畳表示する。このとき、周縁をぼかしたり半透明にしたりすることで、本来の表示画像との親和性を高め、突然、関連性のない画像が出現することによる違和感を少なくする。また、視点から所定の距離を設けたり画面の下半分の位置に表示させたりすることにより、視線が遮られることによる不快感や酔いの発生が抑制され、負担なく視線を合わせ、状況を認識させることができる。 When a warning is displayed, the component image representing the warning is superimposed on the original display image, such as the game screen. At this time, the edges are blurred or made semi-transparent to enhance affinity with the original display image and reduce the sense of incongruity caused by the sudden appearance of an unrelated image. In addition, by setting the image at a specified distance from the viewpoint or displaying it in the lower half of the screen, discomfort and nausea caused by an obstructed line of sight are reduced, allowing the user to focus their gaze effortlessly and recognize the situation.
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The present invention has been described above based on the embodiments. The above embodiments are merely examples, and it will be understood by those skilled in the art that various modifications are possible in the combination of each component and each processing process, and that such modifications are also within the scope of the present invention.
８ 情報処理システム、 １０ 情報処理装置、 １２ 撮像装置、 １４ 入力装置、 １６ 平板型ディスプレイ、 １８ ＨＭＤ、 ２２ ＣＰＵ、 ２４ ＧＰＵ、 ２６ メインメモリ、 ７２ 入力情報取得部、 ７４ 撮影画像取得部、 ７６ 情報処理部、 ７８ 出力データ生成部、 ８０ 位置情報取得部、 ８２ 警告状況判定部、 ８５ エリア設定情報記憶部、 ８６ 出力データ送信部。 8 Information processing system, 10 Information processing device, 12 Imaging device, 14 Input device, 16 Flat panel display, 18 HMD, 22 CPU, 24 GPU, 26 Main memory, 72 Input information acquisition unit, 74 Captured image acquisition unit, 76 Information processing unit, 78 Output data generation unit, 80 Position information acquisition unit, 82 Warning status determination unit, 85 Area setting information storage unit, 86 Output data transmission unit.
Claims (17)
前記情報処理の結果として表示すべき画像のデータを生成する画像生成部と、
前記撮影画像を解析して取得した実空間の状況に応じて、当該撮像装置の視野に対する設定規則を変化させてプレイエリアを設定したうえ、当該プレイエリアに基づいてユーザへの警告の必要性を判定し、前記画像生成部に警告画像を重畳させる警告状況判定部と、
前記画像生成部が生成した画像のデータを表示装置に出力する出力部と、
を備えることを特徴とする情報処理装置。 an information processing unit that detects a position of an object in a real space based on an image captured by the imaging device and processes information based on the object;
an image generating unit that generates data of an image to be displayed as a result of the information processing;
a warning status determination unit that sets a play area by changing a setting rule for the field of view of the imaging device according to a state of the real space acquired by analyzing the captured image, and determines the necessity of a warning to a user based on the play area, and superimposes a warning image on the image generation unit;
an output unit that outputs data of the image generated by the image generation unit to a display device;
An information processing device comprising:
前記情報処理の結果として表示すべき画像のデータを生成するステップと、
前記撮影画像を解析して取得した実空間の状況に応じて、当該撮像装置の視野に対する設定規則を変化させてプレイエリアを設定したうえ、当該プレイエリアに基づいてユーザへの警告の必要性を判定するステップと、
前記判定に応じて前記表示すべき画像に警告画像を重畳するステップと、
生成された画像のデータを表示装置に出力するステップと、
を含むことを特徴とする、情報処理装置による警告提示方法。 A step of detecting a position of an object in a real space based on an image captured by an imaging device, and performing information processing based on the object;
generating data of an image to be displayed as a result of the information processing;
a step of setting a play area by changing a setting rule for the field of view of the imaging device according to a state of the real space acquired by analyzing the captured image, and determining the need to warn a user based on the play area;
superimposing a warning image on the image to be displayed in response to the determination;
outputting data of the generated image to a display device;
A method for presenting a warning by an information processing device, comprising:
前記情報処理の結果として表示すべき画像のデータを生成する機能と、
前記撮影画像を解析して取得した実空間の状況に応じて、当該撮像装置の視野に対する設定規則を変化させてプレイエリアを設定したうえ、当該プレイエリアに基づいてユーザへの警告の必要性を判定し、前記画像のデータを生成する機能にその旨を通知することにより警告画像を重畳させる機能と、
生成された画像のデータを表示装置に出力する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。 A function of detecting the position of an object in real space based on an image captured by an imaging device and performing information processing based on the object;
A function of generating data of an image to be displayed as a result of the information processing;
a function for setting a play area by changing a setting rule for the field of view of the imaging device according to the situation of the real space acquired by analyzing the captured image, determining the necessity of a warning to the user based on the play area, and notifying a function for generating data of the image of the necessity, thereby superimposing a warning image;
A function of outputting the generated image data to a display device;
A computer program characterized by causing a computer to execute the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2024033525A JP2024061769A (en) | 2019-11-28 | 2024-03-06 | Information processor and warning presentation method |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019214957A JP6867464B2 (en) | 2019-11-28 | 2019-11-28 | Information processing device and warning presentation method |
| JP2021065802A JP7080373B2 (en) | 2019-11-28 | 2021-04-08 | Information processing device and warning presentation method |
| JP2022084313A JP7481395B2 (en) | 2019-11-28 | 2022-05-24 | Information processing device and warning presentation method |
| JP2024033525A JP2024061769A (en) | 2019-11-28 | 2024-03-06 | Information processor and warning presentation method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022084313A Division JP7481395B2 (en) | 2019-11-28 | 2022-05-24 | Information processing device and warning presentation method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2024061769A true JP2024061769A (en) | 2024-05-08 |
Family
ID=70107459
Family Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019214957A Active JP6867464B2 (en) | 2019-11-28 | 2019-11-28 | Information processing device and warning presentation method |
| JP2021065802A Active JP7080373B2 (en) | 2019-11-28 | 2021-04-08 | Information processing device and warning presentation method |
| JP2022084313A Active JP7481395B2 (en) | 2019-11-28 | 2022-05-24 | Information processing device and warning presentation method |
| JP2024033525A Pending JP2024061769A (en) | 2019-11-28 | 2024-03-06 | Information processor and warning presentation method |
Family Applications Before (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019214957A Active JP6867464B2 (en) | 2019-11-28 | 2019-11-28 | Information processing device and warning presentation method |
| JP2021065802A Active JP7080373B2 (en) | 2019-11-28 | 2021-04-08 | Information processing device and warning presentation method |
| JP2022084313A Active JP7481395B2 (en) | 2019-11-28 | 2022-05-24 | Information processing device and warning presentation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (4) | JP6867464B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023114237A (en) * | 2022-02-04 | 2023-08-17 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing device and information processing method |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4393169B2 (en) * | 2003-12-04 | 2010-01-06 | キヤノン株式会社 | Mixed reality presentation method and apparatus |
| JP2007156561A (en) * | 2005-11-30 | 2007-06-21 | Canon Inc | Augmented reality presenting method and system |
| JP2013164737A (en) * | 2012-02-10 | 2013-08-22 | Nec Corp | Obstacle alarm display system, information processor, obstacle alarm display method, and obstacle alarm display program |
| JP6209825B2 (en) * | 2013-02-15 | 2017-10-11 | 株式会社リコー | Parallax detection device and parallax detection method |
| JP6237000B2 (en) * | 2013-08-29 | 2017-11-29 | セイコーエプソン株式会社 | Head-mounted display device |
| US9630105B2 (en) * | 2013-09-30 | 2017-04-25 | Sony Interactive Entertainment Inc. | Camera based safety mechanisms for users of head mounted displays |
| JP2015116336A (en) * | 2013-12-18 | 2015-06-25 | マイクロソフト コーポレーション | Mixed-reality arena |
| JP6039594B2 (en) * | 2014-02-20 | 2016-12-07 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing apparatus and information processing method |
-
2019
- 2019-11-28 JP JP2019214957A patent/JP6867464B2/en active Active
-
2021
- 2021-04-08 JP JP2021065802A patent/JP7080373B2/en active Active
-
2022
- 2022-05-24 JP JP2022084313A patent/JP7481395B2/en active Active
-
2024
- 2024-03-06 JP JP2024033525A patent/JP2024061769A/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022111143A (en) | 2022-07-29 |
| JP6867464B2 (en) | 2021-04-28 |
| JP2020057400A (en) | 2020-04-09 |
| JP2021114310A (en) | 2021-08-05 |
| JP7481395B2 (en) | 2024-05-10 |
| JP7080373B2 (en) | 2022-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6363587B2 (en) | Information processing apparatus and warning presenting method | |
| US10229541B2 (en) | Methods and systems for navigation within virtual reality space using head mounted display | |
| US11865448B2 (en) | Information processing apparatus and user guide presentation method | |
| JP2017174125A (en) | Information processing apparatus, information processing system, and information processing method | |
| KR101433786B1 (en) | Image display apparatus, game program, and method of controlling game | |
| JP7085578B2 (en) | Information processing device, user guide presentation method, and head-mounted display | |
| JP2024061769A (en) | Information processor and warning presentation method | |
| JP6634654B2 (en) | Information processing apparatus and warning presentation method | |
| JP6530453B2 (en) | Game program and game system | |
| JP6711891B2 (en) | Display control program, display control device, and display control method | |
| JP2023125711A (en) | Information processing device and floor height adjustment method | |
| JP2023114237A (en) | Information processing device and information processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240306 |