JPWO2018173399A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JPWO2018173399A1
JPWO2018173399A1 JP2019506942A JP2019506942A JPWO2018173399A1 JP WO2018173399 A1 JPWO2018173399 A1 JP WO2018173399A1 JP 2019506942 A JP2019506942 A JP 2019506942A JP 2019506942 A JP2019506942 A JP 2019506942A JP WO2018173399 A1 JPWO2018173399 A1 JP WO2018173399A1
Authority
JP
Japan
Prior art keywords
user
real space
content
information
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2019506942A
Other languages
English (en)
Inventor
真一 河野
真一 河野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018173399A1 publication Critical patent/JPWO2018173399A1/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0149Head-up displays characterised by mechanical features
    • G02B2027/0167Emergency system, e.g. to prevent injuries
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】仮想現実のコンテンツが表示されている際に、実空間においてユーザが行動可能な空間の境界領域とユーザとの位置関係をユーザに知らせることが可能な、情報処理装置、情報処理方法、およびプログラムを提案する。【解決手段】ユーザの身体情報を取得する取得部と、表示部により仮想現実のコンテンツが表示されている際に、前記ユーザが位置する第1の実空間において前記ユーザの身体情報に基づいて決定された前記ユーザが行動可能な第2の実空間の境界領域と前記ユーザとの位置関係を示す表示を前記コンテンツに重畳させて表示させる出力制御部と、を備える、情報処理装置。【選択図】図16

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
従来、VR(Virtual Reality)に関する技術が各種開発されている。VRでは、コンピュータによって生成された映像を、ユーザは臨場感高く視聴することができる。
例えば、下記特許文献1には、VR画像が表示部に表示されている際に、現実世界で発生したイベントの重要度に応じてVR画像の表示を停止する技術が記載されている。
特開2015−118332号公報
しかしながら、特許文献1に記載の技術では、VR画像が表示部に表示されている際に、現実世界においてユーザが行動可能な空間の範囲をユーザが把握することが困難だった。
そこで、本開示では、仮想現実のコンテンツが表示されている際に、実空間においてユーザが行動可能な空間の境界領域とユーザとの位置関係をユーザに知らせることが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、ユーザの身体情報を取得する取得部と、表示部により仮想現実のコンテンツが表示されている際に、前記ユーザが位置する第1の実空間において前記ユーザの身体情報に基づいて決定された前記ユーザが行動可能な第2の実空間の境界領域と前記ユーザとの位置関係を示す表示を前記コンテンツに重畳させて表示させる出力制御部と、を備える、情報処理装置が提供される。
また、本開示によれば、ユーザの身体情報を取得することと、表示部により仮想現実のコンテンツが表示されている際に、前記ユーザが位置する第1の実空間において前記ユーザの身体情報に基づいて決定された前記ユーザが行動可能な第2の実空間の境界領域と前記ユーザとの位置関係を示す表示をプロセッサが前記コンテンツに重畳させて表示させることと、を含む、情報処理方法が提供される。
また、本開示によれば、コンピュータを、ユーザの身体情報を取得する取得部と、表示部により仮想現実のコンテンツが表示されている際に、前記ユーザが位置する第1の実空間において前記ユーザの身体情報に基づいて決定された前記ユーザが行動可能な第2の実空間の境界領域と前記ユーザとの位置関係を示す表示を前記コンテンツに重畳させて表示させる出力制御部、として機能させるための、プログラムが提供される。
以上説明したように本開示によれば、仮想現実のコンテンツが表示されている際に、実空間においてユーザが行動可能な空間の境界領域とユーザとの位置関係をユーザに知らせることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示の実施形態に係る情報処理システムの構成例を示した説明図である。 同実施形態に係るクライアント端末20の機能構成例を示した機能ブロック図である。 ユーザ4aの前方の距離が測定された距離画像の例を示した図である。 ユーザ4bの前方の距離が測定された距離画像の例を示した図である。 部屋2の天井に設置されている距離センサにより測定された距離画像の例を示した図である。 コンテンツ情報の一例を示した図である。 本開示の比較例により決定された可動空間98の例を示した図である。 同実施形態に係るサーバ10の機能構成例を示した機能ブロック図である。 部屋2の中の個々の物体に関する情報の一例を示した図である。 ユーザ情報の一例を示した図である。 ユーザの身体の届き得る範囲の判断結果の例を示した図である。 図9に示した個々の物体に関する危険の度合いの判断結果の例を示した図である。 ユーザ4aに対応する可動空間60aの範囲の決定例を示した説明図である。 ユーザ4bに対応する可動空間60bの範囲の決定例を示した説明図である。 表示部224に表示されるVRコンテンツの例を示した図である。 ユーザ4aに対応する可動空間の境界領域とユーザ4aとの位置関係を示す画像がVRコンテンツに重畳して表示される例を示した図である。 ユーザ4bに対応する可動空間の境界領域とユーザ4bとの位置関係を示す画像がVRコンテンツに重畳して表示される例を示した図である。 VRコンテンツが表示されている際にユーザ4aが手を前方へ突き出した際のVRコンテンツの表示の変化例を示した図である。 VRコンテンツが表示されている際にユーザ4bが手を前方へ突き出した際のVRコンテンツの表示の変化例を示した図である。 可動空間の境界領域とユーザ4との位置関係を示す別の画像がVRコンテンツに重畳して表示される例を示した図である。 ハイタッチのシーンの表示中で、かつ、ユーザが実空間内の物体に接触していない間の仮想オブジェクトの表示例を示した図である。 ハイタッチのシーンの表示中で、かつ、ユーザが実空間内の物体に接触した場合のVRコンテンツの表示の変化例を示した図である。 同実施形態に係る処理の全体的な流れを示したフローチャートである。 同実施形態に係る「可動空間の決定処理」の流れを示したフローチャートである。 同実施形態に係るサーバ10のハードウェア構成例を示した説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成要素を、必要に応じてクライアント端末20aおよびクライアント端末20bのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、クライアント端末20aおよびクライアント端末20bを特に区別する必要が無い場合には、単にクライアント端末20と称する。
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
1.情報処理システムの構成
2.実施形態の詳細な説明
3.ハードウェア構成
4.変形例
<<1.情報処理システムの構成>>
まず、本開示の実施形態に係る情報処理システムの構成例について、図1を参照して説明する。図1に示すように、本実施形態に係る情報処理システムは、サーバ10、クライアント端末20、および、通信網22を有する。
<1−1.クライアント端末20>
クライアント端末20は、例えばVRコンテンツなどのコンテンツの表示を制御する装置である。例えば、図1に示したように、部屋2の中に位置する各ユーザ4は、表示部224を装着し得る。この場合、クライアント端末20は、VRコンテンツを表示部224に表示させる。なお、クライアント端末20は、部屋2の中に配置されてもよいし、または、表示部224と有線または無線により通信可能な、部屋2から離れた場所に配置されてもよい。
また、表示部224は、図1に示したような頭部装着型のデバイス(例えばHMD(Head Mounted Display)などのウェアラブルデバイス)であり得る。
ところで、ユーザ4が表示部224を装着してVRコンテンツを利用する場面では、通常、ユーザ4の視界がVRコンテンツで覆われるので、ユーザ4は、外界(つまり、ユーザ4が位置する実空間)を見ることができない。このため、ユーザ4がVRコンテンツを利用(視聴など)中に、例えば実空間内に位置する物体の存在に気付かずに接触してしまうなどの危険性がある。そこで、後述するように、本実施形態に係るサーバ10は、ユーザ4が位置する実空間においてユーザ4が安全に行動可能な可動空間の範囲を決定したり、当該可動空間の境界領域をユーザ4に対して通知し得る。これにより、ユーザ4は、VRコンテンツを安全に利用することができる。
ここで、ユーザ4が位置する実空間(例えば部屋2の内部)は、本開示における第1の実空間の一例である。また、可動空間は、本開示における第2の実空間の一例である。
{1−1−1.機能構成}
ここで、図2を参照して、クライアント端末20の機能構成の例について説明する。図2に示したように、クライアント端末20は、制御部200、通信部220、入力部222、表示部224、音声出力部226、センサ部228、および、記憶部230を含む。なお、かかる例に限定されず、入力部222、表示部224、音声出力部226、および、センサ部228のうちの一以上は、クライアント端末20に含まれる代わりに、クライアント端末20と通信可能な別の装置として構成されてもよい。
(1−1−1−1.センサ部228)
センサ部228は、カメラ(イメージセンサ)を有し得る。また、センサ部228は、例えばユーザからの距離を測定するための距離センサ(例えば、ステレオカメラや、デプスセンサなど)を有し得る。また、センサ部228は、加速度センサ、ジャイロセンサ、温度計、発汗センサ、(例えば脈拍などを測定する)生体センサ、および/または、マイクロフォンをさらに有してもよい。
なお、センサ部228に含まれる少なくとも一種類のセンサ(例えば距離センサや加速度センサなど)は、個々のユーザに装着され得る。また、当該少なくとも一つのセンサは、表示部224と一体の装置として構成されてもよいし、または、表示部224とは別の装着型の機器であってもよい。
また、センサ部228に含まれる少なくとも一種類のセンサ(例えばカメラや距離センサなど)は、個々のユーザに装着されるだけでなく、部屋2の中(例えば天井など)に別途配置されてもよい。
図3は、例えばユーザ4aに装着されている距離センサにより、図1に示した部屋2内でユーザ4aの前方の距離が測定された距離画像の例(距離画像40a)を示した図である。また、図4は、例えばユーザ4bに装着されている距離センサにより、部屋2内でユーザ4bの前方の距離が測定された距離画像の例(距離画像40b)を示した図である。また、図5は、例えば部屋2の天井に設置されている距離センサにより測定された距離画像の例(距離画像40c)を示した図である。
(1−1−1−2.制御部200)
制御部200は、クライアント端末20に内蔵される例えばCPU(Central Processing Unit)やRAM(Random Access Memory)などを用いて、クライアント端末20の動作を統括的に制御する。また、図2に示すように、制御部200は、センシング結果取得部202、コンテンツ情報取得部204、コンテキスト情報取得部206、端末情報取得部208、および、ユーザ情報取得部210を有する。
(1−1−1−3.センシング結果取得部202)
センシング結果取得部202は、センサ部228によるセンシング結果を取得する。例えば、センシング結果取得部202は、(センサ部228の)カメラにより撮像されたユーザの身体の画像、および、(センサ部228の)距離センサにより測定された距離画像を取得する。また、センシング結果取得部202は、センサ部228(温感センサ、発汗センサ、生体センサ、マイクロフォン、または、カメラなど)によりセンシングされたユーザの身体の状態情報(例えば、脈拍の速さ、瞳孔の開き具合、体温、発汗の度合い、緊張の度合いなど)を取得する。
(1−1−1−4.コンテンツ情報取得部204)
コンテンツ情報取得部204は、ユーザが利用中のVRコンテンツに関する情報(以下、コンテンツ情報と称する)を取得する。図6は、コンテンツ情報の一例(コンテンツ情報42)を示した説明図である。図6に示したように、コンテンツ情報42は、コンテンツの種類420、別ユーザとの接触時の危険度合い422、ユーザの動きの想定情報424、および、コンテンツを同時に利用中のユーザ数426を含む。ここで、ユーザの動きの想定情報424には、例えばコンテンツ制作者により設定されたユーザの動きの想定情報(例えば、ユーザの動きの想定範囲、ユーザの動きの想定スピード、ユーザの動きの想定頻度、または、動きが生じ得る身体の部位など)が格納される。
図6に示した例では、該当のVRコンテンツの種類が「探偵謎解きゲーム」であることを示している。また、該当のコンテンツの利用中にユーザが別のユーザと接触した際には、「動きがゆっくりであれば安全」であることを示している。また、該当のコンテンツの利用中に、「ユーザの腕と頭が動くこと、10分程度に一回以上動きが生じ得ること、手はゆっくり動き得ること、および、ユーザの前後左右50cm半径以内でユーザが動き得ること」が想定されていることを示している。また、該当のコンテンツを同時に利用中のユーザ数は「2人」であることを示している。
(1−1−1−5.コンテキスト情報取得部206)
コンテキスト情報取得部206は、現在のコンテキスト情報を取得する。ここで、コンテキスト情報は、例えばVRコンテンツにおける再生中のシーンの情報などを含み得る。
(1−1−1−6.端末情報取得部208)
端末情報取得部208は、クライアント端末20に関する情報(以下、端末情報と称する)を取得する。ここで、端末情報は、例えば、クライアント端末20の種類、クライアント端末20の設置位置を示す情報、および/または、クライアント端末20の構成情報(例えば、外界のセンシングデバイス(例えばカメラ、マイクロフォン、赤外線センサなど)の有無や、有しているセンシングデバイスの種類など)などを含み得る。
(1−1−1−7.ユーザ情報取得部210)
ユーザ情報取得部210は、VRコンテンツを利用中のユーザに関する情報(以下、ユーザ情報と称する)を取得する。ここで、ユーザ情報は、ユーザのID、氏名、年齢、ユーザの身体情報、および、ユーザの外観情報(例えば、特別のデバイス(プロテクターなど)の装着の有無など)を含み得る。例えば、ユーザのID、氏名、年齢などは、記憶部230に登録されていてもよいし、または、サーバ10に登録されていてもよい。また、ユーザの身体情報は、例えば、ユーザの身長、腕の長さ、および/または、筋力の情報などを含む。なお、ユーザの身長、および、腕の長さは、例えば、(センサ部228の)カメラによるセンシング結果に基づいて特定され得る。
(1−1−1−8.通信部220)
通信部220は、他の装置との間で情報の送受信を行う。例えば、通信部220は、制御部200の制御に従って、センシング結果取得部202により取得された各種のセンシング結果、コンテンツ情報取得部204により取得されたコンテンツ情報、コンテキスト情報取得部206により取得されたコンテキスト情報、端末情報取得部208により取得された端末情報、および、ユーザ情報取得部210により取得されたユーザ情報をサーバ10へ送信する。また、詳細については後述するように、通信部220は、表示部224に対する表示の制御情報や、音声出力部226に対する音声の出力制御情報をサーバ10から受信する。
(1−1−1−9.入力部222)
入力部222は、タッチパネル、ボタン、レバー、スイッチなどを含み得る。例えば、入力部222は、クライアント端末20と有線または無線により通信可能なコントローラであってもよい。
入力部222は、ユーザの各種の入力を受け付ける。例えば、入力部222は、表示部224に表示中のVRコンテンツに対するユーザの操作情報の入力を受け付ける。
(1−1−1−10.表示部224)
表示部224は、制御部200の制御に従って、映像を表示する。表示部224は、非透過型の表示装置として構成され得る。例えば、表示部224は、LCD(Liquid Crystal Display)、または、OLED(Organic Light Emitting Diode)などを含んで構成され得る。なお、この場合、センサ部228(カメラ)により撮影される、ユーザの前方の映像が表示部224に表示されてもよい。
(1−1−1−11.音声出力部226)
音声出力部226は、制御部200の制御に従って、音声を出力する。音声出力部226は、例えば、スピーカー、イヤフォン、または、ヘッドフォンなどとして構成され得る。なお、音声出力部226と表示部224とは一体の装置として構成されてもよい。
(1−1−1−12.記憶部230)
記憶部230は、各種のデータや各種のソフトウェアを記憶する。
<1−2.サーバ10>
サーバ10は、本開示における情報処理装置の一例である。サーバ10は、クライアント端末20から受信される情報に基づいて、ユーザ4が位置する実空間(部屋2など)における可動空間の範囲を決定し得る。
また、サーバ10は、通信網22を介して、クライアント端末20に対して各種の制御(例えば、表示の制御や音声の出力の制御など)を行うことが可能である。
なお、図1では、サーバ10が一台だけ図示されているが、かかる例に限定されず、複数台のコンピュータが協同して動作することにより、本実施形態に係るサーバ10の機能が実現されてもよい。
<1−3.通信網22>
通信網22は、通信網22に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網22は、電話回線網、インターネット、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、通信網22は、IP−VPN(Internet Protocol−Virtual Private Network)などの専用回線網を含んでもよい。
<1−4.課題の整理>
以上、本実施形態に係る情報処理システムの構成について説明した。ところで、通常、可動空間の範囲が広いほど、VRコンテンツの利用中のユーザの行動の自由度はより高くなる。そこで、ユーザが安全に行動可能な範囲内で、可動空間の範囲はできるだけ広く設定されることが望ましい。
本開示の比較例として、実空間における個々の物体とユーザとの位置関係のみに基づいて可動空間の範囲を決定する方法が考えられる。図7は、図1に示した部屋2において、本比較例により決定されたユーザ4aに対応する可動空間の例(可動空間98)を示した図である。なお、可動空間98は、図7において網掛けで示した領域に相当する。つまり、可動空間98は、棚30b、子ども4b、および、8枚のクッション30cの各々を包含する空間を全て含まない。
しかしながら、本比較例では、例えば、ユーザの身体情報、VRコンテンツの種類、および、各物体の属性情報を全て考慮せずに、可動空間を設定してしまう。このため、可動空間の範囲が狭く設定され得る。
例えば、ユーザの身長が低いほど、当該ユーザが位置する地点において当該ユーザが接触可能な物体の位置はより遠くになり得るので、当該ユーザが安全に行動可能な範囲もより広くなり得る。また、VRコンテンツの利用時にユーザがゆっくり動いている場合には、仮に当該ユーザが周囲の他の物体(机など)と接触しても問題ない(安全な)場合が多い。また、物体の素材が柔らかい場合(例えばクッションなど)には、ユーザが当該物体に接触しても問題ない場合が多い。
そこで、上記事情を一着眼点にして、本実施形態に係るサーバ10を創作するに至った。本実施形態に係るサーバ10は、ユーザの身体情報を取得し、そして、ユーザが位置する実空間における可動空間を当該ユーザの身体情報に基づいて決定することが可能である。また、サーバ10は、表示部224によりVRコンテンツが表示されている際に、決定された可動空間の境界領域とユーザとの位置関係を示す表示を当該VRコンテンツに重畳させて表示させることが可能である。このため、ユーザがVRコンテンツを利用する場面において可動空間をより広く決定可能であり、かつ、可動空間の境界領域とユーザとの位置関係をユーザに知らせることができる。
なお、本明細書では以後、可動空間の外部の空間を「危険空間」と称する場合がある。また、可動空間の境界領域は、可動空間と危険空間との境界の面を含む領域であり得る。例えば、可動空間の境界領域は、当該境界の面と同一であってもよい。または、可動空間の境界領域は、当該境界の面が一つの端面である、可動空間内の所定の空間であってもよいし、または、当該境界の面が一つの端面である、危険空間内の所定の空間であってもよい。
<<2.実施形態の詳細な説明>>
<2−1.構成>
次に、本実施形態に係る構成について詳細に説明する。図8は、本実施形態に係るサーバ10の構成例を示した機能ブロック図である。図8に示すように、サーバ10は、制御部100、通信部120、および、記憶部122を有する。
{2−1−1.制御部100}
制御部100は、例えば、後述するCPU150などの処理回路を含んで構成され得る。制御部100は、サーバ10の動作を統括的に制御する。また、図8に示すように、制御部100は、情報取得部102、判断部104、決定部106、および、出力制御部108を有する。
{2−1−2.情報取得部102}
(2−1−2−1.情報の取得)
情報取得部102は、本開示における取得部の一例である。情報取得部102は、クライアント端末20から受信された、各種のセンシング結果、コンテンツ情報、コンテキスト情報、端末情報、および/または、ユーザ情報を取得する。
また、情報取得部102は、クライアント端末20から受信された撮像画像や距離画像に基づいて、現在のユーザの位置に対する、部屋2の中の個々の物体の距離情報や方向情報を特定する。
(2−1−2−2.物体の属性情報の取得)
また、情報取得部102は、クライアント端末20から受信された撮像画像や距離画像に対して画像認識や一般物体認識を行い、そして、認識結果に基づいて、部屋2の中の個々の物体の属性情報を取得する。ここで、物体の属性情報は、例えば、物体の種類、素材、硬さなどを含む。
なお、情報取得部102は、さらに、例えば図3〜図5に示したように、取得された距離画像(および撮像画像)中の個々の物体の画像領域と、個々の物体の属性情報(例えば物体の種類など)との関連付けを行ってもよい。
図9は、情報取得部102により取得された、部屋2の中の個々の物体に関する情報の一例(周辺の物体の情報44)を示した図である。なお、図9では、図1に示したユーザ4aを基準とした周辺の物体の情報44の例を示している。図9に示した例では、周辺の物体の情報44は、物体の種類440、方向442、距離444、素材446、および、かたさ448を含む。ここで、方向442には、ユーザ4aに対する該当の物体の相対的な方向が記録される。また、距離444には、ユーザ4aからの該当の物体の距離が記録される。また、物体の種類440、素材446、および、かたさ448は、物体の属性情報の一例である。物体の種類440、素材446、および、かたさ448には、該当の物体に関して認識された物体の種類、素材、または、硬さがそれぞれ記録される。
(2−1−2−3.ユーザの情報の取得)
また、情報取得部102は、クライアント端末20から受信された各種のセンシング結果(撮像画像、距離画像、加速度の測定結果など)に基づいてユーザの行動認識を行うことにより、行動認識の結果を取得することも可能である。例えば、情報取得部102は、例えばリアルタイムに取得される各種のセンシング結果に基づいて、ユーザの行動をリアルタイムに認識し得る。また、情報取得部102は、クライアント端末20から受信された撮像画像などに基づいて、さらに、ユーザの姿勢を推定することも可能である。
また、情報取得部102は、クライアント端末20から受信された各種のセンシング結果(例えば生体センサによるセンシング結果など)に基づいてユーザの興奮度を特定することが可能である。例えば、情報取得部102は、ユーザの脈拍の測定値が大きいほど当該ユーザの興奮度をより高く算出する。また、情報取得部102は、ユーザの瞳孔がより大きく開いていることが特定された場合ほど当該ユーザの興奮度をより高く算出する。
図10は、情報取得部102により(最終的に)取得されたユーザ情報の一例(ユーザ情報46)を示した図である。図10に示したように、ユーザ情報46は、ユーザID460、名前462、年齢464、身長466、腕の長さ468、興奮度470、外観情報472、および、筋力474を含む。ここで、ユーザID460、名前462、年齢464、身長466、腕の長さ468、外観情報472、および、筋力474は、クライアント端末20から受信されたユーザ情報内にそれぞれ格納されている値が記録され得る。また、興奮度470には、上記のように、情報取得部102により算出された興奮度が記録される。
{2−1−3.判断部104}
判断部104は、情報取得部102により取得されたユーザの身体情報に基づいて、部屋2の中の個々の物体の危険の度合いを(高次的に)判断する。例えば、判断部104は、部屋2の中の個々の物体の属性情報、当該ユーザが利用中のVRコンテンツの種類、当該VRコンテンツにおける再生中のシーンの情報、当該ユーザの行動認識の結果、および、ユーザの興奮度の検出結果のうちの少なくとも一つと、ユーザの身体情報とに基づいて、個々の物体の危険の度合いを(高次的に)判断する。ここで、高次的な判断とは、内容の理解や意味の理解などを伴う高度な判断を意味し得る。なお、変形例として、判断部104は、さらに、知識データベースを用いて個々の物体の危険の度合いを判断してもよい。または、判断部104は、さらに、エージェントシステムに問い合わせを行うことにより、個々の物体の危険の度合いを判断してもよい。
(2−1−3−1.判断例1)
例えば、判断部104は、まず、現在のユーザの位置においてユーザの身体(例えば手など)が届き得る範囲を特定する。そして、判断部104は、特定した範囲内に位置する個々の物体に関して、当該物体の属性情報に基づいて当該物体の危険の度合いを判断する。また、判断部104は、特定した範囲外に位置する全ての物体に関しては危険ではない(例えば「最も安全」)と判断する。
ここで、図11および図12を参照して、上記の機能についてより詳細に説明を行う。図11は、判断部104によるユーザの身体の届き得る範囲の判断結果の例を示した図である。図11に示したように、例えば、判断部104は、ユーザの周囲の方向ごとに、当該方向に関して当該ユーザの身体が動き得る角度の範囲502、当該方向に関して当該ユーザの身体が動き得る速度の度合い504、および、当該方向に関して当該ユーザの身体が動き得る範囲の大きさ(例えば距離)506を、当該ユーザが利用中のVRコンテンツの種類とユーザの身体情報とに基づいてそれぞれ判断する。
また、図12は、図9に示した個々の物体の情報と、図11に示したユーザの身体の届き得る範囲の判断結果とに基づいた、判断部104による個々の物体の危険の度合いの判断結果の例を示した図である。図12に示したように、例えば、判断部104は、まず、図9に示したユーザに対する個々の物体の方向情報および位置情報と、図11に示したユーザの身体の届き得る範囲の判断結果とに基づいて、個々の物体に当該ユーザが接触(または衝突)する可能性522を判断する。
そして、判断部104は、接触可能性が「ある」と判断した個々の物体に関しては、図9に示した当該物体の属性情報(例えば素材やかたさ等)と、図11に示した当該物体の方向に関してユーザの身体が動き得る速度の度合いとに基づいて、当該物体の危険の度合いを判断する。例えば、図12に示したように、判断部104は、棚30bの素材が鉄(金属)であることから、棚30bの危険の度合いを「危険」と判断する。また、判断部104は、ユーザ4bの物体の種類が「ヒト」であり、ユーザ4bが位置する方向に関してユーザの身体が動き得る速度の度合いが「少し速く」、かつ、かつ、ユーザ4aの筋力が強いことから、(ユーザ4aにとっての)ユーザ4b(子ども)の危険の度合いを「最も危険」と判断する。また、判断部104は、クッション30cの素材が布であることから、クッション30cの危険の度合いを「安全」と判断する。
また、判断部104は、図12に示した例で、接触可能性が「ない」と判断した個々の物体に関しては、当該物体の危険の度合いを例えば「最も安全」と判断する。
以上の判断例によれば、例えば柔らかい物体(クッション30cなど)に関してはユーザ4aと接触する可能性があっても「安全」と判断することができる。これにより、後述する決定部106により、安全性を保証しつつ、かつ、本比較例と比較して可動空間がより広く決定され得る。
また、ユーザ4aとユーザ4bとの身長が異なる場合には、判断部104は、仮にユーザ4aおよびユーザ4bが同じ地点に位置したとしても、各ユーザ4bにとっての、部屋2の中の個々の物体の危険の度合いが異なるように判断することができる。つまり、判断部104は、個々のユーザ4の身長に応じて、個々の物体の危険の度合いを適切に判断することができる。
なお、ユーザ4b(子ども)がユーザ4a(大人)と接触する可能性があっても、ユーザ4bの筋力が弱いので、ユーザ4aを負傷させたり、痛みを感じさせることがないと考えられる。そこで、判断部104は、(ユーザ4bに対する)ユーザ4aの危険の度合いを「安全」と判断してもよい。
(2−1−3−2.判断例2)
また、判断部104は、個々の物体の属性情報とユーザの行動認識との組み合わせに基づいて、個々の物体の危険の度合いを判断することも可能である。例えば、クッション30cの近くにユーザが立っている場合には、判断部104は、クッション30cを「安全」と判断する。また、ユーザがクッション30cの上に乗ろうとした場合および乗った場合には、判断部104は、(クッション30cは滑りやすいので)クッション30cを「危険」と判断してもよい。
(2−1−3−3.変形例1)
なお、変形例として、所定の条件を満たす場合には、判断部104は、個々の物体の危険の度合いを相対的に低く判断してもよい。例えば、VRコンテンツの種類が「格闘ゲーム」である場合には、判断部104は、個々の物体の危険の度合いを相対的に低く判断してもよい。これにより、後述する決定部106により決定される可動空間の範囲は、ユーザが物体と接触し得る場所にも一定程度拡張されるようになり得る。このように、あえてユーザを物体と衝突させることにより、ユーザの臨場感をさらに向上させることができる。
また、通常、ユーザの興奮度が高い場合には、危険に対する許容度は高くなると考えられる。そこで、ユーザの興奮度が高い場合には、判断部104は、個々の物体の危険の度合いを相対的に低く判断してもよい。
また、ユーザがプロテクターを装着している場合には、判断部104は、個々の物体の危険の度合いを(ユーザがプロテクターを装着していない場合よりも)相対的に低く判断してもよい。例えば、VRコンテンツの種類が「格闘ゲーム」であり、ユーザの興奮度が所定の閾値よりも高く、かつ、ユーザのプロテクターを装着している場合には、接触可能性がある少なくとも一つの物体の危険の度合いを「安全」と判断してもよい。
また、通常、ユーザの筋力が小さい場合(例えばユーザが子どもである場合など)には、一部の物体だけしかユーザは手で倒すことができないと想定される。そこで、ユーザの筋力が小さい場合には、判断部104は、個々の物体の危険の度合いを相対的に低く判断してもよい。
また、通常、VRコンテンツの種類または再生中のシーンが「会話」や「飲食」である場合には、当該シーンの表示中のユーザの動きはゆっくりになることが想定される。そこで、この場合、判断部104は、(当該ユーザにとっての)個々の物体の危険の度合いを相対的に低く判断してもよい。
また、VRコンテンツを利用中のユーザの行動が徐々に滑らかになったことが認識された場合には、判断部104は、(当該ユーザにとっての)個々の物体の危険の度合いを以前よりも低く判断してもよい。
(2−1−3−4.変形例2)
また、別の変形例として、例えばVRコンテンツの種類が「恋愛ゲーム」などである場合には、ユーザは、VRコンテンツ中のキャラクター(仮想オブジェクト)と接触することを望むことも想定される。そこで、この場合、判断部104は、個々の物体の危険の度合いを相対的に低く判断してもよい。例えば、VRコンテンツの種類が「恋愛ゲーム」であり、かつ、キャラクターが異性である場合には、判断部104は、当該キャラクターの表示位置に対応する、ユーザが位置する実空間内に位置する物体の危険の度合いを「安全」と判断してもよい。これにより、決定部106によりユーザの可動空間はより広く決定され得る。
(2−1−3−5.変形例3)
また、別の変形例として、ユーザが位置する実空間の撮像画像(スルー画)が表示部224に表示されている場合には、ユーザは視界が覆われていても、実空間内の個々の物体との接触をある程度回避可能になると想定される。そこで、判断部104は、ユーザが位置する実空間の撮像画像(スルー画)が表示部224に表示されているか否かに基づいて、個々の物体の危険の度合いを判断してもよい。例えば、当該実空間の撮像画像(スルー画)が表示部224に表示されている場合には、判断部104は、個々の物体の危険の度合いを相対的に低く判断する。これにより、決定部106によりユーザの可動空間はより広く決定され得る。
{2−1−4.決定部106}
決定部106は、情報取得部102により取得された各種の情報と、判断部104による判断結果とに基づいて、ユーザごとに、当該ユーザに対応する可動空間の範囲を決定する。例えば、決定部106は、ユーザごとに、部屋2の中に位置する全ての物体のうち、危険の度合いが所定の閾値以上であると判断された全ての物体を当該ユーザに対応する可動空間が含まないように、当該ユーザに対応する可動空間の範囲を決定する。また、決定部106は、ユーザごとに、部屋2の中に位置する全ての物体のうち、危険の度合いが当該所定の閾値未満であると判断された判断された少なくとも一つの物体を当該ユーザに対応する可動空間が含むように、当該ユーザに対応する可動空間を決定してもよい。ここで、当該所定の閾値は、図12に示した例では、「危険」であってもよい。この場合、当該所定の閾値以上である危険の度合いは、「危険」および「最も危険」である。
また、決定部106は、ユーザごとに、部屋2の中に位置する全ての物体のうち、危険の度合いが当該所定の閾値以上であると判断された個々の物体の位置を基準として、当該ユーザに対応する可動空間の境界領域を決定する。例えば、決定部106は、ユーザごとに、部屋2の中に位置する全ての物体のうち、危険の度合いが当該所定の閾値以上であると判断された個々の物体に関して、当該物体の危険の度合いがより高いほど、当該物体に対応する、可動空間の境界領域を当該ユーザのより近い位置に決定してもよい。
(2−1−4−1.具体例)
ここで、図13および図14を参照して、上記の機能についてより詳細に説明する。図13は、図1に示した部屋2の中でのユーザ4aに対応する可動空間(可動空間60a)の範囲の決定例を示した説明図である。なお、図13は、部屋2の上面図を示しており、また、図13において網掛けで示した領域が可動空間60aに相当する。
図13に示したように、決定部106は、図12に示した個々の物体の危険の度合いの判断結果524と、図11に示した(ユーザの身体情報から特定される)ユーザの身体が動き得る範囲の大きさ506とに基づいて、可動空間60aの範囲を決定する。より具体的には、決定部106は、棚30b、および、ユーザ4b(子ども)の各々を包含する空間全てを含まないように可動空間60aの範囲を決定する。例えば、決定部106は、(ユーザ4aにとっての)危険の度合いが「危険」である棚30bに関して境界領域62aを決定し、かつ、危険の度合いが「最も危険」であるユーザ4bに関して境界領域62bを決定する。なお、図13に示したように、決定部106は、可動空間60a外の空間を危険空間64としてさらに決定することも可能である。
また、図14は、図13に示したユーザ4aの位置にユーザ4bが位置していると仮定した場合における、ユーザ4bに対応する可動空間(可動空間60b)の範囲の決定例を示した説明図である。なお、図14では、部屋2の上面図を示しており、また、図14において網掛けで示した領域が可動空間60bに相当する。
図14に示したように、決定部106は、(ユーザ4bにとっての)危険の度合いが「危険」である棚30bのうちユーザ4bの手が届く範囲内の空間だけを、ユーザ4bに対応する危険空間64cとして決定し、そして、危険空間64c外の空間全てを可動空間60bとして決定する。図13および図14に示したように、ユーザ4bに対応する可動空間60bは、ユーザ4aに対応する可動空間60aよりも大きくなるように決定され得る。つまり、同じ地点に位置するユーザの身長が低いほど、当該ユーザに対応する可動空間の範囲がより広くなるように決定され得る。
{2−1−5.出力制御部108}
(2−1−5−1.表示例1)
出力制御部108は、クライアント端末20(表示部224)に対する表示を制御する。例えば、VRコンテンツが表示部224に表示されている際に、出力制御部108は、決定部106により決定された該当のユーザに対応する可動空間の境界領域と当該ユーザとの位置関係を示す表示を当該VRコンテンツに重畳させて表示させる。
一例として、出力制御部108は、現在のユーザの位置において当該ユーザの身体が当該ユーザに対応する可動空間の境界領域に接触可能であるか否かの推定結果に基づいて、当該可動空間の境界領域と当該ユーザとの位置関係を示す表示を当該VRコンテンツに重畳させて表示させる。より具体的には、現在のユーザの位置において当該ユーザが当該可動空間の境界領域のうちの少なくとも一部に接触可能であると推定される場合には、出力制御部108は、当該可動空間の境界領域と当該ユーザとの位置関係を示す表示を当該VRコンテンツに重畳させて表示させる。また、現在のユーザの位置において当該ユーザが当該可動空間の境界領域の全てに接触不可能であると推定される場合には、出力制御部108は、当該可動空間の境界領域と当該ユーザとの位置関係を示す表示を、当該ユーザが装着する表示部224に表示させない。
ここで、図15〜図17を参照して、上記の機能についてより詳細に説明する。図15は、表示部224に表示されるVRコンテンツの映像の例(映像70)を示した図である。図15に示した映像70が、(図1に示した)ユーザ4aが装着する表示部224aに表示される際には、図16に示したように、出力制御部108は、決定部106により決定されたユーザ4aに対応する可動空間の境界領域とユーザ4aとの位置関係を示す画像80を映像70に重畳させて表示させる。
また、図15に示した映像70が、(図1に示した)ユーザ4bが装着する表示部224bに表示される際には、図17に示したように、出力制御部108は、決定部106により決定されたユーザ4bに対応する可動空間の境界領域とユーザ4bとの位置関係を示す画像80を映像70に重畳させて表示させる。この表示例によれば、個々のユーザはVRコンテンツを利用している際に、当該ユーザに関して決定された可動空間の境界領域と当該ユーザとの位置関係を適切に把握することができる。そして、個々のユーザは、VRコンテンツを安全に利用することができる。
(2−1−5−2.表示例2)
また、可動空間の境界領域にユーザの部位が接近したことが検出された際には、出力制御部108は、さらに、当該部位を示す表示をVRコンテンツに重畳させて表示させることも可能である。例えば、図18に示したように、VRコンテンツの映像70aが表示部224に表示されている際に、可動空間の境界領域にユーザの手が接近したことが検出された場合には、映像70bのように、出力制御部108は、当該可動空間の境界領域の一部を示す画像80と、ユーザの手を示す画像84とを一緒に映像70に重畳させて表示させる。
図19は、VRコンテンツの映像70aが表示されている際に(図1に示した)ユーザ4bが手を前方へ突き出した際のVRコンテンツの表示の変化例を示した図である。なお、図19に示した例では、映像70aの表示時のユーザ4bの位置において、ユーザ4bの手が動き得る範囲全てが、ユーザ4bに対応する可動空間内に収まることを前提としている。この場合、図19に示したように、ユーザ4bが手を前方へ突き出しても、出力制御部108は、可動空間の境界領域とユーザ4bとの位置関係を示す画像80およびユーザの手を示す画像84を表示部224bに表示させない。
(2−1−5−3.変形例1)
なお、変形例として、例えば現在のユーザの位置において当該ユーザの身体が当該ユーザに対応する可動空間の境界領域に接触可能であると推定される場合には、図20に示したように、出力制御部108は、当該可動空間の境界領域とユーザとの位置関係を示す表示として、(画像80の代わりに)ホールド画像86を当該VRコンテンツに重畳させて表示させてもよい。ここで、ホールド画像86の表示中は、VRコンテンツがホールド(固定)され得る。そして、ホールド画像86の表示中において、例えばホールド画像86が指示する方向(図20に示した例では「ユーザの後方」)へユーザが向きを変更したことが検出されると、VRコンテンツのホールドが解除され得る。この表示例によれば、ユーザが当該可動空間の境界領域に接触しないように、ユーザの向きを変更させることが可能となる。なお、ホールド画像86は、向きの変更ではなく、位置の変更を誘導する画像であってもよい。
(2−1−5−4.変形例2)
‐事前の表示
なお、例えば「2−1−3−3節」〜「2−1−3−5節」で述べたような変形例により個々の物体の危険の度合いが判断された場合には、決定部106は、実空間内に位置する少なくとも一つの物体にユーザが接触可能なように、当該ユーザに対応する可動空間を決定し得る。この場合、出力制御部108は、当該実空間内の少なくとも一つの物体にユーザが接触する前および/または接触した後に、VRコンテンツの一部の表示態様をそれぞれ変更してもよい。
例えば、可動空間内に位置する少なくとも一つの物体にユーザが接触することが予測されるタイミングよりも前(つまり接触前)に、出力制御部108は、さらに、VRコンテンツ内の所定の仮想オブジェクト(キャラクターなど)の表示態様を変更してもよい。
一例として、当該タイミングよりも前に、出力制御部108は、当該所定の仮想オブジェクトの表示位置を実際の表示位置よりもユーザの近くに変更して、当該所定の仮想オブジェクトを表示させてもよい。
または、当該タイミングよりも前に、出力制御部108は、当該所定の仮想オブジェクトの全体、または、当該所定の仮想オブジェクトのうち特定の部位の輪郭を強調して表示させてもよい。例えば、出力制御部108は、当該輪郭にエフェクトを付加したり、当該輪郭の表示色を変更してもよい。図21は、VRコンテンツ中の仮想オブジェクト72が、当該VRコンテンツを視聴中のユーザとハイタッチをするシーンの映像70の例を示した図である。図21に示したように、出力制御部108は、ハイタッチのシーンの映像70bの表示時に、仮想オブジェクト72のうち、ハイタッチを行う腕の輪郭にエフェクト90を付加したり、当該輪郭の表示色を変更して表示させてもよい。
または、当該タイミングよりも前に、出力制御部108は、当該所定の仮想オブジェクトの立体度を他の仮想オブジェクトの立体度よりも大きくしてもよい。これにより、当該所定の仮想オブジェクトが浮かんでいるようにユーザに視認され得る。これらの表示例によれば、VRコンテンツの利用中に、「安全」と判断された実物体にユーザが接触する危険性があることを事前にユーザに通知することができる。
‐事後の表示
また、可動空間内に位置する少なくとも一つの物体にユーザが接触したことが検出された際には、出力制御部108は、VRコンテンツ内の所定の仮想オブジェクト(キャラクターなど)に関連付けられる位置(例えば、当該所定の仮想オブジェクトの近傍または当該仮想オブジェクト自体など)に当該接触を示す表示をさらに表示させてもよい。
図22は、VRコンテンツ中の仮想オブジェクト72が、当該VRコンテンツを視聴中のユーザとハイタッチをするシーンの表示中に、実空間内の少なくとも一つの物体にユーザの手が接触した場合における映像70の表示例を示した図である。例えば、図22に示した映像70aの表示タイミングの後に、実空間内の少なくとも一つの物体にユーザの身体が接触したことが検出された場合には、映像70bのように、出力制御部108は、仮想オブジェクト72の近傍(例えば、仮想オブジェクト72のうちハイタッチを行う手の近傍)にパーティクル92を(当該接触を示す表示として)映像70に重畳させて表示させてもよい。この表示例によれば、VRコンテンツの利用中に、「安全」と判断された実物体にユーザが接触したことを事後的にユーザに通知することができる。
(2−1−5−5.音声の出力制御)
また、出力制御部108は、クライアント端末20(音声出力部226)に対する音声の出力を制御することも可能である。例えば、ユーザが可動空間の境界領域に接近していることが検出された場合には、出力制御部108は、(表示部224に対する表示制御とともに、または、表示制御の代わりに)音声出力部226に所定の音声を出力させる。一例として、この場合、出力制御部108は、音像定位技術を用いて当該境界領域の位置をユーザに通知するように、音声出力部226に対して音声の出力を制御してもよい。または、この場合、出力制御部108は、危険な物体に接近しつつあることを示す音声または効果音を音声出力部226に出力させてもよい。
{2−1−6.通信部120}
通信部120は、例えば、後述する通信装置162を含んで構成され得る。通信部120は、他の装置との間で情報の送受信を行う。例えば、通信部120は、出力制御部108の制御に従って、表示制御情報または音声出力制御情報をクライアント端末20へ送信する。また、通信部120は、各種のセンシング結果、コンテンツ情報、コンテキスト情報、端末情報、または、ユーザ情報などをクライアント端末20から受信する。
{2−1−7.記憶部122}
記憶部122は、例えば、後述するストレージ装置160を含んで構成され得る。記憶部122は、各種のデータ、および、各種のソフトウェアを記憶する。
<2−2.処理の流れ>
以上、本実施形態に係る構成について説明した。次に、本実施形態に係る処理の流れの一例について、図23および図24を参照して説明する。
{2−2−1.全体の処理の流れ}
図23は、本実施形態に係る処理の全体的な流れを示したフローチャートである。図23に示したように、まず、クライアント端末20は、センサ部228による各種のセンシング結果、表示部224に表示中のVRコンテンツのコンテンツ情報、および、表示部224を装着しているユーザのユーザ情報などをサーバ10へ送信する。そして、サーバ10の情報取得部102は、受信された各種のセンシング結果を取得する。続いて、情報取得部102は、取得した各種のセンシング結果(撮像画像など)を用いて物体認識を行い、そして、認識結果に基づいて、ユーザが位置する実空間内の個々の物体の属性情報を取得する(S101)。
続いて、情報取得部102は、受信されたコンテンツ情報を取得する(S103)。
続いて、情報取得部102は、受信されたユーザ情報を取得する。なお、ユーザ情報は、ユーザの身体情報を含み得る(S105)。
続いて、サーバ10は、後述する「可動空間の決定処理」を行う(S107)。
その後、サーバ10の出力制御部108は、S107で決定されたユーザに対応する可動空間の境界領域に当該ユーザが接触可能であるか否かを判定する(S109)。当該境界領域に当該ユーザが接触不可能である場合には(S109:No)、サーバ10は、後述するS113の処理を行う。
一方、当該境界領域に当該ユーザが接触可能である場合には(S109:Yes)、出力制御部108は、当該境界領域と当該ユーザとの位置関係を示す表示をVRコンテンツに重畳させて表示部224に表示させる(S111)。
続いて、制御部100は、実空間内の個々の物体の危険の度合いの判断に必要な情報を更新する(S113)。
その後、VRコンテンツの利用の終了をユーザが指示した場合には(S115:Yes)、当該処理の流れは終了する。一方、VRコンテンツの利用の終了をユーザが指示しない場合には(S115:No)、サーバ10は、再びS107以降の処理を繰り返す。
{2−2−2.可動空間の決定処理}
ここで、図24を参照して、S107における「可動空間の決定処理」の流れについて詳細に説明する。図24に示したように、まず、情報取得部102は、クライアント端末20から受信された撮像画像や距離画像に基づいて、実空間内の個々の物体の、現在のユーザの位置に対する距離情報および方向情報を特定する(S201)。
続いて、情報取得部102は、クライアント端末20から受信された撮像画像や距離画像に基づいて、実空間内の個々の物体の素材情報を取得する(S203)。以上の処理により、例えば図9に示した周辺の物体の情報44が取得される。
続いて、判断部104は、S105で取得されたユーザの身体情報に基づいて、現在のユーザの位置においてユーザの身体が届き得る領域(ユーザの動き得る領域)を特定する(S205)。
続いて、判断部104は、S205で特定された、ユーザの身体が届き得る領域内に存在する物体ごとに、当該物体にユーザの身体が接触(または衝突)する可能性を判断する(S207)。
続いて、判断部104は、S205で特定された、ユーザの身体が届き得る領域内に存在する物体ごとに、S103で取得されたコンテンツ情報から特定される動きの想定情報と、当該物体の属性情報と、現在のコンテキスト情報とに基づいて、当該物体の危険の度合いを判断する(S209)。ここで、当該物体の属性情報は、S203で取得された素材情報を含む。また、現在のコンテキスト情報は、VRコンテンツにおける再生中のシーンの情報や、ユーザの現在の行動認識の結果などを含み得る。
その後、決定部106は、S209で判断された個々の物体の危険の度合いに基づいて、当該ユーザに対応する可動空間の範囲を決定(または更新)する(S211)。
<2−3.効果>
{2−3−1.効果1}
以上説明したように、本実施形態に係るサーバ10は、ユーザの身体情報を取得し、そして、表示部224によりVRコンテンツが表示されている際に、当該ユーザが位置する実空間において当該ユーザの身体情報に基づいて決定された可動空間の境界領域と当該ユーザとの位置関係を示す表示を当該VRコンテンツに重畳させて表示させる。このため、ユーザがVRコンテンツを利用する場面において、可動空間の境界領域とユーザとの位置関係をユーザに知らせることができる。従って、例えば、ユーザの視界が表示部224により覆われている場合であっても、ユーザは、VRコンテンツを安全に利用することができる。
{2−3−2.効果2}
また、サーバ10は、当該ユーザが位置する実空間内の個々の物体の属性情報、コンテンツ情報、および、ユーザの行動認識結果のうちの少なくとも一以上と当該ユーザの身体情報とに基づいて、当該ユーザに対応する可動空間の範囲を決定することが可能である。例えば、サーバ10は、ユーザの身長が低いほど、可動空間の範囲がより広くなるように決定する。また、サーバ10は、VRコンテンツの利用中のユーザの動きの速度が遅いほど、可動空間の範囲がより広くなるように決定する。また、サーバ10は、実空間内の物体の素材が柔らかい場合には当該物体を「安全」な物体であると判断し、そして、当該物体を含むように可動空間の範囲を決定する。
このため、安全性を保証しつつ、例えば本比較例と比べて可動空間の範囲をより広く決定することができる。従って、VRコンテンツの利用時のユーザの行動の自由度をより高めることができるので、ユーザは、VRコンテンツをより楽しむことができる。
<<3.ハードウェア構成>>
次に、本実施形態に係るサーバ10のハードウェア構成について、図25を参照して説明する。図25に示すように、サーバ10は、CPU150、ROM(Read Only Memory)152、RAM154、バス156、インターフェース158、ストレージ装置160、および通信装置162を備える。
CPU150は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ10内の動作全般を制御する。また、CPU150は、サーバ10において制御部100の機能を実現する。なお、CPU150は、マイクロプロセッサなどのプロセッサにより構成される。
ROM152は、CPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。
RAM154は、例えば、CPU150により実行されるプログラムや、使用中のデータなどを一時的に記憶する。
バス156は、CPUバスなどから構成される。このバス156は、CPU150、ROM152、および、RAM154を相互に接続する。
インターフェース158は、ストレージ装置160、および、通信装置162をバス156と接続する。
ストレージ装置160は、記憶部122として機能する、データ格納用の装置である。ストレージ装置160は、例えば、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、または記憶媒体に記録されたデータを削除する削除装置などを含む。
通信装置162は、例えば通信網22などに接続するための通信デバイス(例えばネットワークカードなど)等で構成された通信インターフェースである。また、通信装置162は、無線LAN対応通信装置、LTE(Long Term Evolution)対応通信装置、または有線による通信を行うワイヤー通信装置であってもよい。この通信装置162は、通信部120として機能する。
<<4.変形例>>
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
<4−1.変形例1>
例えば、前述した実施形態では、表示部224が頭部装着型のデバイスである例について説明したが、かかる例に限定されない。例えば、表示部224は、据え置き型のディスプレイであってもよい。なお、当該据え置き型のディスプレイは、例えばLCD(Liquid Crystal Display)や、OLED(Organic Light Emitting Diode)などにより構成され得る。また、表示部224は、専用のドーム型の施設内の壁面および天井に設置されてもよい。この場合、ユーザは、当該施設内でVRコンテンツを利用し得る。
あるいは、表示部224は、3Dプロジェクタであり、そして、当該3Dプロジェクタにより投影対象(例えば部屋2の壁やスクリーンなど)に対して映像が投影されてもよい。
<4−2.変形例2>
また、前述した実施形態では、サーバ10は、ユーザがVRコンテンツを利用する際に可動空間を決定する例について説明したが、かかる例に限定されず、ユーザがAR(Augmented Reality)コンテンツを利用する際に可動空間を決定することも可能である。例えば、サーバ10は、表示部224にARコンテンツが表示されている際に、前述した実施形態と同様に、ユーザが位置する実空間内に位置する個々の物体の危険の度合いを判断することにより当該ユーザに対応する可動空間を決定する。さらに、サーバ10は、危険な物体(例えばろうそくや刃物など)とユーザとの位置関係を示す表示をARコンテンツに重畳して表示させてもよいし、当該危険な物体の存在を音声によりユーザに通知してもよい。なお、この場合、表示部224は、透過型の表示装置として構成され得る。
<4−3.変形例3>
また、前述した実施形態では、本開示における情報処理装置がサーバ10である例について説明したが、かかる例に限定されない。例えば、当該情報処理装置は、汎用PC(Personal Computer)、タブレット型端末、ゲーム機、スマートフォンなどの携帯電話、携帯型音楽プレーヤ、例えばHMDなどのウェアラブルデバイス、または、ロボットなどであってもよい。
<4−4.変形例4>
また、別の変形例として、情報取得部102、判断部104、決定部106、および、出力制御部108は、サーバ10に含まれる代わりに、クライアント端末20に含まれてもよい。この場合、本開示における情報処理装置は、クライアント端末20であってもよい。また、この場合、サーバ10は、設置されなくてもよい。
<4−5.変形例5>
また、前述した実施形態に係る処理の流れにおける各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。また、記載されたステップのうちの一部が省略されたり、または、別のステップがさらに追加されてもよい。
また、前述した実施形態によれば、CPU150、ROM152、およびRAM154などのハードウェアを、前述した実施形態に係るサーバ10の各構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、当該コンピュータプログラムが記録された記録媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
ユーザの身体情報を取得する取得部と、
表示部により仮想現実のコンテンツが表示されている際に、前記ユーザが位置する第1の実空間において前記ユーザの身体情報に基づいて決定された前記ユーザが行動可能な第2の実空間の境界領域と前記ユーザとの位置関係を示す表示を前記コンテンツに重畳させて表示させる出力制御部と、
を備える、情報処理装置。
(2)
前記第1の実空間内に位置する少なくとも一つの物体の各々の危険の度合いが前記ユーザの身体情報に基づいて判断され、
前記第2の実空間の境界領域は、前記少なくとも一つの物体の各々に関して判断された危険の度合いに基づいて決定される、前記(1)に記載の情報処理装置。
(3)
前記少なくとも一つの物体の各々の危険の度合いは、さらに、前記少なくとも一つの物体の各々の物体認識の結果に基づいて判断される、前記(2)に記載の情報処理装置。
(4)
前記少なくとも一つの物体の各々の危険の度合いは、さらに、前記コンテンツの種類に基づいて判断される、前記(3)に記載の情報処理装置。
(5)
前記少なくとも一つの物体の各々の危険の度合いは、さらに、前記コンテンツにおける再生中のシーンの情報に基づいて判断される、前記(3)または(4)に記載の情報処理装置。
(6)
前記少なくとも一つの物体の各々の危険の度合いは、さらに、前記ユーザの行動認識の結果に基づいて判断される、前記(3)〜(5)のいずれか一項に記載の情報処理装置。
(7)
前記少なくとも一つの物体の各々の危険の度合いは、さらに、前記ユーザの興奮度に基づいて判断される、前記(3)〜(6)のいずれか一項に記載の情報処理装置。
(8)
前記少なくとも一つの物体の各々の危険の度合いは、さらに、前記第1の実空間の撮像画像が前記表示部により表示されているか否かに基づいて判断される、前記(3)〜(7)のいずれか一項に記載の情報処理装置。
(9)
前記第2の実空間は、前記少なくとも一つの物体のうち、危険の度合いが所定の閾値以上であると判断された全ての物体を含まないように決定される、前記(3)〜(8)のいずれか一項に記載の情報処理装置。
(10)
前記第2の実空間の境界領域の位置は、前記少なくとも一つの物体のうち、危険の度合いが所定の閾値以上であると判断された個々の物体の位置を基準として決定される、前記(3)〜(9)のいずれか一項に記載の情報処理装置。
(11)
前記第2の実空間の境界領域に前記ユーザの部位が接近したことが検出された際には、前記出力制御部は、当該部位を示す表示をさらに前記コンテンツに重畳させて表示させる、前記(3)〜(10)のいずれか一項に記載の情報処理装置。
(12)
前記出力制御部は、現在の前記ユーザの位置において前記ユーザの身体が前記第2の実空間の境界領域に接触可能であるか否かの推定結果に基づいて、前記第2の実空間の境界領域と前記ユーザとの位置関係を示す表示を前記コンテンツに重畳させて表示させる、前記(3)〜(11)のいずれか一項に記載の情報処理装置。
(13)
現在の前記ユーザの位置において前記ユーザの身体が前記第2の実空間の境界領域に接触可能であると推定される場合には、前記出力制御部は、前記第2の実空間の境界領域と前記ユーザとの位置関係を示す表示を前記コンテンツに重畳させて表示させ、
現在の前記ユーザの位置において前記ユーザの身体が前記第2の実空間の境界に接触不可能であると推定される場合には、前記出力制御部は、前記第2の実空間の境界領域と前記ユーザとの位置関係を示す表示を前記表示部に表示させない、前記(12)に記載の情報処理装置。
(14)
前記第2の実空間は、前記少なくとも一つの物体のうち、危険の度合いが所定の閾値未満であると判断された全ての物体のうちの少なくとも一つを含むように決定され、
前記第2の実空間内に位置する少なくとも一つの物体に前記ユーザの身体が接触することが予測されるタイミングよりも前に、前記出力制御部は、さらに、前記コンテンツ内の所定の仮想オブジェクトの表示態様を変更する、前記(3)〜(13)のいずれか一項に記載の情報処理装置。
(15)
前記第2の実空間は、前記少なくとも一つの物体のうち、危険の度合いが所定の閾値未満であると判断された全ての物体のうちの少なくとも一つを含むように決定され、
前記第2の実空間内に位置する少なくとも一つの物体に前記ユーザの身体が接触したことが検出された際には、前記出力制御部は、前記コンテンツ内の所定の仮想オブジェクトに関連付けられる位置に当該接触を示す表示をさらに表示させる、前記(3)〜(14)のいずれか一項に記載の情報処理装置。
(16)
前記情報処理装置は、
前記少なくとも一つの物体の各々の危険の度合いを前記ユーザの身体情報に基づいて判断する判断部と、
前記判断部による判断結果に基づいて前記第2の実空間の境界領域を決定する決定部と、をさらに備える、前記(3)〜(15)のいずれか一項に記載の情報処理装置。
(17)
前記ユーザの身体情報は、前記ユーザの身長、および/または、前記ユーザの腕の長さを含む、前記(3)〜(16)のいずれか一項に記載の情報処理装置。
(18)
前記表示部は、前記ユーザが装着するウェアラブルデバイスである、前記(3)〜(17)のいずれか一項に記載の情報処理装置。
(19)
ユーザの身体情報を取得することと、
表示部により仮想現実のコンテンツが表示されている際に、前記ユーザが位置する第1の実空間において前記ユーザの身体情報に基づいて決定された前記ユーザが行動可能な第2の実空間の境界領域と前記ユーザとの位置関係を示す表示をプロセッサが前記コンテンツに重畳させて表示させることと、
を含む、情報処理方法。
(20)
コンピュータを、
ユーザの身体情報を取得する取得部と、
表示部により仮想現実のコンテンツが表示されている際に、前記ユーザが位置する第1の実空間において前記ユーザの身体情報に基づいて決定された前記ユーザが行動可能な第2の実空間の境界領域と前記ユーザとの位置関係を示す表示を前記コンテンツに重畳させて表示させる出力制御部、
として機能させるための、プログラム。
10 サーバ
20 クライアント端末
22 通信網
100、200 制御部
102 情報取得部
104 判断部
106 決定部
108 出力制御部
120、220 通信部
122、230 記憶部
202 センシング結果取得部
204 コンテンツ情報取得部
206 コンテキスト情報取得部
208 端末情報取得部
210 ユーザ情報取得部
222 入力部
224 表示部
226 音声出力部
228 センサ部

Claims (20)

  1. ユーザの身体情報を取得する取得部と、
    表示部により仮想現実のコンテンツが表示されている際に、前記ユーザが位置する第1の実空間において前記ユーザの身体情報に基づいて決定された前記ユーザが行動可能な第2の実空間の境界領域と前記ユーザとの位置関係を示す表示を前記コンテンツに重畳させて表示させる出力制御部と、
    を備える、情報処理装置。
  2. 前記第1の実空間内に位置する少なくとも一つの物体の各々の危険の度合いが前記ユーザの身体情報に基づいて判断され、
    前記第2の実空間の境界領域は、前記少なくとも一つの物体の各々に関して判断された危険の度合いに基づいて決定される、請求項1に記載の情報処理装置。
  3. 前記少なくとも一つの物体の各々の危険の度合いは、さらに、前記少なくとも一つの物体の各々の物体認識の結果に基づいて判断される、請求項2に記載の情報処理装置。
  4. 前記少なくとも一つの物体の各々の危険の度合いは、さらに、前記コンテンツの種類に基づいて判断される、請求項3に記載の情報処理装置。
  5. 前記少なくとも一つの物体の各々の危険の度合いは、さらに、前記コンテンツにおける再生中のシーンの情報に基づいて判断される、請求項3に記載の情報処理装置。
  6. 前記少なくとも一つの物体の各々の危険の度合いは、さらに、前記ユーザの行動認識の結果に基づいて判断される、請求項3に記載の情報処理装置。
  7. 前記少なくとも一つの物体の各々の危険の度合いは、さらに、前記ユーザの興奮度に基づいて判断される、請求項3に記載の情報処理装置。
  8. 前記少なくとも一つの物体の各々の危険の度合いは、さらに、前記第1の実空間の撮像画像が前記表示部により表示されているか否かに基づいて判断される、請求項3に記載の情報処理装置。
  9. 前記第2の実空間は、前記少なくとも一つの物体のうち、危険の度合いが所定の閾値以上であると判断された全ての物体を含まないように決定される、請求項3に記載の情報処理装置。
  10. 前記第2の実空間の境界領域の位置は、前記少なくとも一つの物体のうち、危険の度合いが所定の閾値以上であると判断された個々の物体の位置を基準として決定される、請求項3に記載の情報処理装置。
  11. 前記第2の実空間の境界領域に前記ユーザの部位が接近したことが検出された際には、前記出力制御部は、当該部位を示す表示をさらに前記コンテンツに重畳させて表示させる、請求項3に記載の情報処理装置。
  12. 前記出力制御部は、現在の前記ユーザの位置において前記ユーザの身体が前記第2の実空間の境界領域に接触可能であるか否かの推定結果に基づいて、前記第2の実空間の境界領域と前記ユーザとの位置関係を示す表示を前記コンテンツに重畳させて表示させる、請求項3に記載の情報処理装置。
  13. 現在の前記ユーザの位置において前記ユーザの身体が前記第2の実空間の境界領域に接触可能であると推定される場合には、前記出力制御部は、前記第2の実空間の境界領域と前記ユーザとの位置関係を示す表示を前記コンテンツに重畳させて表示させ、
    現在の前記ユーザの位置において前記ユーザの身体が前記第2の実空間の境界に接触不可能であると推定される場合には、前記出力制御部は、前記第2の実空間の境界領域と前記ユーザとの位置関係を示す表示を前記表示部に表示させない、請求項12に記載の情報処理装置。
  14. 前記第2の実空間は、前記少なくとも一つの物体のうち、危険の度合いが所定の閾値未満であると判断された全ての物体のうちの少なくとも一つを含むように決定され、
    前記第2の実空間内に位置する少なくとも一つの物体に前記ユーザの身体が接触することが予測されるタイミングよりも前に、前記出力制御部は、さらに、前記コンテンツ内の所定の仮想オブジェクトの表示態様を変更する、請求項3に記載の情報処理装置。
  15. 前記第2の実空間は、前記少なくとも一つの物体のうち、危険の度合いが所定の閾値未満であると判断された全ての物体のうちの少なくとも一つを含むように決定され、
    前記第2の実空間内に位置する少なくとも一つの物体に前記ユーザの身体が接触したことが検出された際には、前記出力制御部は、前記コンテンツ内の所定の仮想オブジェクトに関連付けられる位置に当該接触を示す表示をさらに表示させる、請求項3に記載の情報処理装置。
  16. 前記情報処理装置は、
    前記少なくとも一つの物体の各々の危険の度合いを前記ユーザの身体情報に基づいて判断する判断部と、
    前記判断部による判断結果に基づいて前記第2の実空間の境界領域を決定する決定部と、をさらに備える、請求項3に記載の情報処理装置。
  17. 前記ユーザの身体情報は、前記ユーザの身長、および/または、前記ユーザの腕の長さを含む、請求項3に記載の情報処理装置。
  18. 前記表示部は、前記ユーザが装着するウェアラブルデバイスである、請求項3に記載の情報処理装置。
  19. ユーザの身体情報を取得することと、
    表示部により仮想現実のコンテンツが表示されている際に、前記ユーザが位置する第1の実空間において前記ユーザの身体情報に基づいて決定された前記ユーザが行動可能な第2の実空間の境界領域と前記ユーザとの位置関係を示す表示をプロセッサが前記コンテンツに重畳させて表示させることと、
    を含む、情報処理方法。
  20. コンピュータを、
    ユーザの身体情報を取得する取得部と、
    表示部により仮想現実のコンテンツが表示されている際に、前記ユーザが位置する第1の実空間において前記ユーザの身体情報に基づいて決定された前記ユーザが行動可能な第2の実空間の境界領域と前記ユーザとの位置関係を示す表示を前記コンテンツに重畳させて表示させる出力制御部、
    として機能させるための、プログラム。
JP2019506942A 2017-03-21 2017-12-22 情報処理装置、情報処理方法、およびプログラム Ceased JPWO2018173399A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017054198 2017-03-21
JP2017054198 2017-03-21
PCT/JP2017/046112 WO2018173399A1 (ja) 2017-03-21 2017-12-22 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JPWO2018173399A1 true JPWO2018173399A1 (ja) 2020-01-23

Family

ID=63584350

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019506942A Ceased JPWO2018173399A1 (ja) 2017-03-21 2017-12-22 情報処理装置、情報処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US11391944B2 (ja)
EP (1) EP3599537A4 (ja)
JP (1) JPWO2018173399A1 (ja)
WO (1) WO2018173399A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021084905A1 (ja) * 2019-10-30 2021-05-06 パナソニックIpマネジメント株式会社 収音装置および収音方法
WO2022196069A1 (ja) * 2021-03-15 2022-09-22 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム
CN117441149A (zh) * 2021-06-18 2024-01-23 松下电器(美国)知识产权公司 信息处理方法、程序及信息处理系统
WO2023032321A1 (ja) * 2021-08-31 2023-03-09 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10504917A (ja) * 1995-05-25 1998-05-12 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ ヘッドマウントディスプレイ用衝突警告システム
JP2002132241A (ja) * 2000-10-27 2002-05-09 Nippon Telegr & Teleph Corp <Ntt> 実空間をベースにした仮想空間表示システム
JP2007049219A (ja) * 2005-08-05 2007-02-22 Denso Corp 車両用周囲監視装置
JP2008292168A (ja) * 2007-05-22 2008-12-04 Fujikura Ltd 障害物近接判定装置および障害物近接判定方法
JP2013257716A (ja) * 2012-06-12 2013-12-26 Sony Computer Entertainment Inc 障害物回避装置および障害物回避方法
JP2015118332A (ja) * 2013-12-19 2015-06-25 ソニー株式会社 画像表示装置及び画像表示方法
WO2016073783A1 (en) * 2014-11-05 2016-05-12 Valve Corporation Sensory feedback systems and methods for guiding users in virtual reality environments

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009169622A (ja) * 2008-01-15 2009-07-30 Canon Inc 画像処理装置、画像処理方法
JP2012114755A (ja) * 2010-11-25 2012-06-14 Brother Ind Ltd ヘッドマウントディスプレイ及びコンピュータプログラム
JP5691568B2 (ja) * 2011-01-28 2015-04-01 ソニー株式会社 情報処理装置、報知方法及びプログラム
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US9630105B2 (en) * 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
JP5777786B1 (ja) * 2014-09-12 2015-09-09 キヤノン株式会社 情報処理装置、情報処理方法、プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10504917A (ja) * 1995-05-25 1998-05-12 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ ヘッドマウントディスプレイ用衝突警告システム
JP2002132241A (ja) * 2000-10-27 2002-05-09 Nippon Telegr & Teleph Corp <Ntt> 実空間をベースにした仮想空間表示システム
JP2007049219A (ja) * 2005-08-05 2007-02-22 Denso Corp 車両用周囲監視装置
JP2008292168A (ja) * 2007-05-22 2008-12-04 Fujikura Ltd 障害物近接判定装置および障害物近接判定方法
JP2013257716A (ja) * 2012-06-12 2013-12-26 Sony Computer Entertainment Inc 障害物回避装置および障害物回避方法
JP2015118332A (ja) * 2013-12-19 2015-06-25 ソニー株式会社 画像表示装置及び画像表示方法
WO2016073783A1 (en) * 2014-11-05 2016-05-12 Valve Corporation Sensory feedback systems and methods for guiding users in virtual reality environments
JP2017535901A (ja) * 2014-11-05 2017-11-30 バルブ コーポレーション 仮想現実環境においてユーザをガイドするための感覚フィードバックシステム及び方法

Also Published As

Publication number Publication date
US11391944B2 (en) 2022-07-19
EP3599537A1 (en) 2020-01-29
US20210349309A1 (en) 2021-11-11
WO2018173399A1 (ja) 2018-09-27
EP3599537A4 (en) 2020-03-04

Similar Documents

Publication Publication Date Title
EP3425481B1 (en) Control device
KR102630774B1 (ko) 외부 조건들에 기초한 웨어러블 디스플레이 디바이스의자동 제어
JPWO2018173399A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6470796B2 (ja) 情報処理方法、プログラム及びコンピュータ
JP6908053B2 (ja) 情報処理装置、情報処理方法、およびプログラム
TW201732501A (zh) 虛擬實境環境中與真實世界互動的方法、系統與記錄媒體
JP7173024B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN111164540B (zh) 用于在模拟现实会话期间呈现物理环境交互的方法和设备
US10008041B2 (en) Image generating device, image generating method, and image generating program
US10877555B2 (en) Information processing device and information processing method for controlling user immersion degree in a virtual reality environment
CN113544765B (zh) 信息处理装置、信息处理方法和程序
CN111937045A (zh) 信息处理装置、信息处理方法和记录介质
EP3831355B1 (en) Rehabilitation assistance device
CN109313559A (zh) 用于在处理器设备的预定使用期间选择性阻止通知的方法
JP6225242B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
JP6863391B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2018008208A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2018109937A (ja) 情報処理方法、装置、情報処理システム、および当該情報処理方法をコンピュータに実行させるプログラム
WO2023032264A1 (ja) 情報処理装置、情報処理方法、およびプログラム
TWI637287B (zh) 在虛擬實境中快速移動的方法、虛擬實境裝置及記錄媒體
KR20230133356A (ko) 사용자 식별에 기초한 사용자 인터페이스들 및 디바이스설정들
CN117957513A (zh) 基于镜子检测和上下文感知的交互
JP2018109944A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
JP2017068818A (ja) 画像生成装置、画像生成方法、及び画像生成プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220318

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220705

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20221129