JP7322713B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP7322713B2
JP7322713B2 JP2019562959A JP2019562959A JP7322713B2 JP 7322713 B2 JP7322713 B2 JP 7322713B2 JP 2019562959 A JP2019562959 A JP 2019562959A JP 2019562959 A JP2019562959 A JP 2019562959A JP 7322713 B2 JP7322713 B2 JP 7322713B2
Authority
JP
Japan
Prior art keywords
display
information processing
user
restricted area
obstructing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019562959A
Other languages
English (en)
Other versions
JPWO2019131143A1 (ja
Inventor
茜 近藤
智也 成田
遼 深澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019131143A1 publication Critical patent/JPWO2019131143A1/ja
Application granted granted Critical
Publication of JP7322713B2 publication Critical patent/JP7322713B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0149Head-up displays characterised by mechanical features
    • G02B2027/0167Emergency system, e.g. to prevent injuries
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0185Displaying image at variable distance
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本技術は、仮想体験を提供する情報処理装置、情報処理方法、及びプログラムに関する。
従来、ユーザに仮想体験を提供する技術が開発されている。例えば、ユーザの周囲の現実の空間に仮想的な画像を重畳して表示させることで、ユーザは拡張現実(AR:Augmented Reality)を体験することが可能である。また例えば3次元的な仮想空間を表示させることで、ユーザは仮想現実(VR:Virtual Reality)を体験することが可能である。
例えば特許文献1には、AR空間における仮想オブジェクトの表示を制御する表示制御装置について記載されている。表示制御装置では、実空間を撮影した画像から、実オブジェクトの位置及び姿勢が認識される。この認識結果に従って仮想オブジェクトの位置及び姿勢が特定され、仮想オブジェクトがAR空間に配置される。AR空間に配置された仮想オブジェクトは、透過型HMD(Head Mount Display)やスマートフォン等の表示部に表示される。この結果、ユーザは表示部を介して、実空間に重畳して表示された仮想オブジェクトを閲覧することが可能となる(特許文献1の明細書段落[0017][0020][0031][0032]図1等)。
特開2014-191718号公報
ARやVR等の技術を用いた仮想体験は、例えばアミューズメント、教育、生産現場等の様々なシーンでの応用が期待されており、自然な仮想体験を提供することが可能な技術が求められている。
以上のような事情に鑑み、本技術の目的は、自然な仮想体験を提供することが可能な情報処理装置、情報処理方法、及びプログラムを提供することにある。
上記目的を達成するため、本技術の一形態に係る情報処理装置は、設定部と、表示制御部とを具備する。
前記設定部は、進入が制限される制限領域を設定する。
前記表示制御部は、仮想オブジェクトを表示可能な表示範囲に基づいて、前記制限領域への進入を妨げる前記仮想オブジェクトである妨害オブジェクトの表示を制御する。
この情報処理装置では、進入が制限される制限領域が設定され、当該制限領域への進入を妨げる仮想オブジェクトである妨害オブジェクトの表示が制御される。妨害オブジェクトの表示制御は、仮想オブジェクトを表示可能な表示範囲に基づいて実行される。これにより、妨害オブジェクトを適正に表示することが可能となり、自然な仮想体験を提供することが可能となる。
前記表示制御部は、前記妨害オブジェクトが前記表示範囲に収まるように、前記妨害オブジェクトの表示を制御してもよい。
これにより、妨害オブジェクトを表示範囲内に適正に表示することが可能となり、自然な仮想体験を提供することが可能となる。
前記情報処理装置は、さらに、前記制限領域に関連する所定の対象物の情報を取得する取得部を具備してもよい。この場合、前記表示制御部は、前記所定の対象物を基準として前記妨害オブジェクトの表示を制御してもよい。
これにより、例えばユーザが行動する空間に存在する物等を利用して、妨害オブジェクトを表示することが可能となり、制限領域への進入等を自然に防止することが可能となる。
前記表示制御部は、前記表示範囲に基づいて、前記所定の対象物に対する前記妨害オブジェクトの表示位置及び表示サイズの少なくとも一方を調整してもよい。
これにより、例えば妨害オブジェクトの位置や姿勢等を詳細に調整することが可能となり、妨害オブジェクトを自然に表示することが可能となる。
前記表示制御部は、前記所定の対象物を基準として前記妨害オブジェクトの候補を生成し、前記表示範囲に基づいて、前記妨害オブジェクトの候補を表示するか否かを判定してもよい。
これにより、例えば妨害オブジェクトが不自然に表示されるといった状態を容易に回避することが可能となり、自然な仮想体験を提供することが可能となる。
前記表示制御部は、前記妨害オブジェクトの候補が前記表示範囲に収まるか否かを判定することで、前記妨害オブジェクトの候補を表示するか否かを判定してもよい。
これにより、例えば表示範囲に収まるように妨害オブジェクトを表示することが可能となり、自然な仮想体験を提供することが可能となる。
前記取得部は、前記所定の対象物の情報として、互いに離間した第1の対象物及び第2の対象物の各々の情報を取得可能であってもよい。この場合、前記表示制御部は、前記第1及び前記第2の対象物の間に前記妨害オブジェクトを表示してもよい。
例えば妨害オブジェクトを使って二つの対象物の間の通路をふさぐといったことが可能となる。この結果、ユーザの侵入を自然に防止することが可能となる。
前記表示制御部は、前記所定の対象物に重畳して前記妨害オブジェクトを表示してもよい。
このように、所定の対象物に重ねて妨害オブジェクトを表示させることで、進入が制限されていることが強調され、制限領域への進入等を十分に防止することが可能となる。
前記情報処理装置は、さらに、前記表示範囲として前記仮想オブジェクトが表示される表示部の画角を算出する算出部を具備してもよい。
これにより、例えば表示部の画角に合わせて妨害オブジェクト等を高精度に表示することが可能となる。この結果、表示部を用いた自然な仮想体験を実現することが可能となる。
前記表示部は、ユーザの頭部に装着されるHMD(Head Mount Display)に設けられてもよい。この場合、前記算出部は、前記ユーザの頭部の位置及び姿勢の少なくとも一方に基づいて、前記表示部の画角を算出してもよい。
これにより、表示部の画角を高精度に算出することが可能となり、妨害オブジェクト等を精度よく表示させることが可能となる。
前記表示部は、透過型ディスプレイであってもよい。
透過型ディスプレイを用いることで、容易にAR体験等を提供することが可能となる。
前記表示制御部は、ユーザの位置及び進行方向の少なくとも一方に応じて前記妨害オブジェクトを表示してもよい。
これにより、ユーザの行動に合わせて動的に妨害オブジェクトを表示することが可能となり、ユーザの行動の自由度を維持しつつ自然な仮想体験を提供することが可能となる。
前記表示制御部は、前記ユーザの周辺の前記制限領域への進入を制限する前記妨害オブジェクトを表示してもよい。
これにより、例えばユーザを容易に誘導することが可能となる。
前記設定部は、ユーザの位置及び目的地の少なくとも一方に基づいて前記制限領域を設定してもよい。
これにより、例えばユーザを目的地に誘導するといったことが可能となり、ユーザの行動の自由度を維持しつつ自然なナビゲーション等を実現することが可能となる。
前記設定部は、前記制限領域への進入の制限の度合いを表す制限度を設定可能であってもよい。この場合、前記表示制御部は、前記制限度に応じて、前記妨害オブジェクトの表示を制御してもよい。
例えば、進入制限の度合いを適宜設定することで、ユーザの自発的な行動等を阻害することなく、行動の自由度の高い仮想体験を提供することが可能となる。
前記情報処理装置は、さらに、前記制限領域への進入及び接近の少なくとも一方を報知する報知情報を生成する報知部を具備してもよい。
これにより、ユーザが制限領域に進入あるいは接近した場合に、制限領域の存在を適正に知らせることが可能となり、例えば安全な仮想体験を実現することが可能となる。
前記報知情報は、音情報、表示情報、及び振動情報の少なくとも1つを含んでもよい。
これにより、制限領域への進入あるいは接近を容易に知らせることが可能となる。
本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、進入が制限される制限領域を設定することを含む。仮想オブジェクトを表示可能な表示範囲に基づいて、前記制限領域への進入を妨げる前記仮想オブジェクトである妨害オブジェクトの表示が制御される。
本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
進入が制限される制限領域を設定するステップ。
仮想オブジェクトを表示可能な表示範囲に基づいて、前記制限領域への進入を妨げる前記仮想オブジェクトである妨害オブジェクトの表示を制御するステップ。
以上のように、本技術によれば、自然な仮想体験を提供することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の一実施形態に係るHMDの外観を示す斜視図である。 図1に示すHMDの機能的な構成例を示すブロック図である。 HMDを装着したユーザの視野範囲の一例を示す模式図である。 透過型ディスプレイの画角について説明するための模式図である。 制限領域の一例を示す模式図である。 実物体を基準として表示される妨害オブジェクトの一例を示す模式図である。 HMDの基本的な動作の一例を説明するための模式図である。 HMDの動作の一例を示すフローチャートである。 妨害オブジェクトの表示制御の一例を示すフローチャートである。 妨害オブジェクトの表示制御の一例を説明するための模式図である。 実物体を基準とした妨害オブジェクトの表示例を示す模式図である。 報知部の動作例を説明するための模式図である。 妨害オブジェクトの表示例を示す模式図である。 妨害オブジェクトの表示例を示す模式図である。 妨害オブジェクトの表示例を示す模式図である。 妨害オブジェクトの表示例を示す模式図である。 妨害オブジェクトの表示例を示す模式図である。 妨害オブジェクトの表示例を示す模式図である。 妨害オブジェクトの表示例を示す模式図である。 妨害オブジェクトの表示例を示す模式図である。 比較例として挙げる妨害オブジェクトの表示例を示す模式図である。 比較例として挙げる矢印画像の表示例を示す模式図である。 比較例として挙げる誘導画面の表示例を示す模式図である。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
[情報処理装置の構成]
図1は、本技術の一実施形態に係るHMDの外観を示す斜視図である。HMD100は、透過型のディスプレイを備えたメガネ型の装置であり、ユーザの頭部に装着されて使用される。HMD100は、フレーム10、左眼用レンズ11a及び右眼用レンズ11b、左眼用ディスプレイ12a及び右眼用ディスプレイ12b、左眼用カメラ13a及び右眼用カメラ13b、及び外向きカメラ14を有する。
フレーム10は、メガネ型の形状でなり、リム部15及びテンプル部16を有する。リム部15は、ユーザの左右の眼の前方に配置される部分であり、左眼用レンズ11a及び右眼用レンズ11bをそれぞれ支持する。テンプル部16は、リム部15の両端からユーザの両耳に向けて後方に延在し、先端が両耳に装着される。リム部15及びテンプル部16は、例えば合成樹脂、金属等の材料で形成される。
左眼用レンズ11a及び右眼用レンズ11bは、ユーザの視野の少なくとも一部を覆うように、ユーザの左右の眼の前方にそれぞれ配置される。典型的には、各レンズは、ユーザの視力を矯正するように設計される。もちろんこれに限定されず、いわゆる度無しレンズが用いられてもよい。
左眼用ディスプレイ12a及び右眼用ディスプレイ12bは、透過型ディスプレイであり、左眼用及び右眼用レンズ11a及び11bの一部の領域を覆うように、それぞれ配置される。すなわち左眼用及び右眼用レンズ11a及び11bは、ユーザの左右の眼の前方にそれぞれ配置される。
左眼用及び右眼用ディスプレイ12a及び12bには、左眼用及び右眼用の画像等がそれぞれ表示される。HMD100を装着するユーザは、現実の景色を視認すると同時に、各ディスプレイ12a及び12bに表示される画像を視認することが可能となる。これにより、ユーザは拡張現実(AR)等を体験することが可能となる。
各ディスプレイ12a及び12bには、例えば仮想的な表示物(仮想オブジェクト)が表示される。例えばキャラクター等のCG(Computer Graphics)、写真、文字等が仮想オブジェクトとして表示可能である。もちろんこれに限定されず、任意の仮想オブジェクトが表示されてよい。本実施形態では、左眼用及び右眼用ディスプレイ12a及び12bは、仮想オブジェクトが表示される表示部に相当する。
左眼用及び右眼用ディスプレイ12a及び12bとしては、例えば透過型の有機ELディスプレイやLCD(Liquid Crystal Display、液晶表示素子)ディスプレイ等が用いられる。この他、左眼用及び右眼用ディスプレイ12a及び12b具体的な構成は限定されず、例えば透明なスクリーンに画像を投影して表示する方式や、プリズム等を用いて画像を表示する方式等の任意の方式の透過型ディスプレイが適宜用いられてよい。
左眼用カメラ13a及び右眼用カメラ13bは、ユーザの左眼及び右眼を撮像可能なように、フレーム10に適宜設置される。例えば、左眼用及び右眼用カメラ13a及び13bにより撮影された左眼及び右眼の画像に基づいて、ユーザの視線に関する視線情報等が取得される。
左眼用及び右眼用カメラ13a及び13bとしては、例えばCMOS(Complementary Metal-Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサ等のイメージセンサを備えるデジタルカメラが用いられる。また、例えば赤外線LED等の赤外線照明を搭載した赤外線カメラが用いられてもよい。
以下では、左眼用レンズ11a及び右眼用レンズ11bをともにレンズ11と記載し、左眼用ディスプレイ12a及び右眼用ディスプレイ12bをともに透過型ディスプレイ12と記載する場合がある。また、左眼用カメラ13a及び右眼用カメラ13bをともに内向きカメラ13と記載する場合がある。本実施形態では、透過型ディスプレイ12は、表示部に相当する。
外向きカメラ14は、フレーム10(リム部15)の中央に、外側(ユーザとは反対側)に向けて配置される。外向きカメラ14は、ユーザの視野に含まれる実空間の画像を撮影する。外向きカメラ14としては、例えばCMOSセンサやCCDセンサ等のイメージセンサを備えるデジタルカメラが用いられる。
図2は、図1に示すHMD100の機能的な構成例を示すブロック図である。図2に示すように、HMD100はさらに、スピーカー20と、振動部21と、通信部22と、コネクタ23と、操作ボタン24と、センサ部30と、記憶部40と、コントローラ50とを有する。
スピーカー20は、フレーム10の所定の位置に設けられる。スピーカー20の構成は限定されず、例えばステレオ音声やモノラル音声等を出力可能なスピーカー20が適宜用いられてよい。振動部21は、フレーム10の内部に設けられ、振動を発生する。例えば、通知用のバイブレーション等を発生可能な任意の振動モータ等が振動部21として用いられる。
通信部22は、他のデバイスとの間で、ネットワーク通信や近距離無線通信等を実行するためのモジュールである。例えばWiFi等の無線LANモジュールや、Bluetooth(登録商標)等の通信モジュールが設けられる。
コネクタ23は、他のデバイスとの接続のための端子である。例えばUSB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)等の端子が設けられる。また充電時には、充電用のドッグ(クレードル)の充電端子とコネクタ23とが接続されて充電が行われる。
操作ボタン24は、例えばフレーム10の所定の位置に設けられる。操作ボタン24により、電源のON/OFFの操作、画像表示や音声出力に関する機能やネットワーク通信機能等のHMD100が有する種々の機能に関する操作を実行することができる。
センサ部30は、9軸センサ31と、GPS32と、生体センサ33と、マイク34とを有する。
9軸センサ31は、3軸加速度センサ、3軸ジャイロセンサ、及び3軸コンパスセンサを含む。9軸センサ31により、HMD100の、3軸における加速度、角速度、及び方位を検出することが可能である。GPS32は、HMD100の現在位置の情報を取得する。9軸センサ31及びGPS32の検出結果は、例えばユーザの姿勢や位置等の算出に用いられる。これらのセンサは、例えばフレーム10の所定の位置に設けられる。
生体センサ33は、ユーザの生体情報を取得する。例えば生体センサ33として、脳波センサ、筋電センサ、脈拍センサ、発汗センサ、温度センサ、血流センサ、体動センサ等が設けられる。これらのセンサは、例えば検出端子部が体の所定の位置に接触するように、HMD100の所定の位置に設けられる。あるいは、検出端子部がHMD100とは別に設けられてもよい。例えば脳波センサは、頭部の所定の位置に接触可能に設けられる。脈拍センサは、首の血管に接触可能な位置に設けられる。
マイク34は、ユーザの周辺の音情報を検出する。例えばユーザが発話した音声等が適宜検出される。これにより、例えばユーザは、音声通話をしながらAR体験を行うことや、音声入力を用いたHMD100の操作入力を行うことが可能である。
センサ部30として設けられるセンサの種類は限定されず、任意のセンサが設けられてもよい。例えばHMD100を使用する環境の温度や湿度等を測定可能な温度センサや湿度センサ等が設けられてもよい。
記憶部40は、不揮発性の記憶デバイスであり、例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)等が用いられる。
記憶部40には、マップデータ41が記憶される。マップデータ41は、実空間に関する地図として機能するデータである。本実施形態では、マップデータ41として、実空間を測定して生成された実空間の地形や実空間に存在する物体・構造物等のメッシュデータを含む環境モデルが用いられる。これにより、例えばユーザが行動する空間の地形や、その空間に存在する物体や建物の形状等を3次元モデルとして扱うことが可能となる。マップデータ41の具体的な構成は限定されず、点群データ等を用いた奥行情報や、実空間の画像を用いたテクスチャ情報等を含むマップデータ41が適宜用いられてよい。
また記憶部40には、HMD100の全体の動作を制御するための制御プログラム42が記憶される。マップデータ41及び制御プログラム42を、HMD100にインストールする方法は限定されない。
コントローラ50は、HMD100が有する各ブロックの動作を制御する。コントローラ50は、例えばCPUやメモリ(RAM、ROM)等のコンピュータに必要なハードウェア構成を有する。CPUが記憶部40に記憶されている制御プログラム42をRAMにロードして実行することにより、種々の処理が実行される。
コントローラ50として、例えばFPGA(Field Programmable Gate Array)等のPLD(Programmable Logic Device)、その他ASIC(Application Specific Integrated Circuit)等のデバイスが用いられてもよい。
本実施形態では、コントローラ50のCPUが本実施形態に係るプログラムを実行することで、機能ブロックとして情報取得部51、領域設定部52、進入判定部53、表示範囲算出部54、レイアウト計画部55、レイアウト判定部56、出力制御部57、及び報知部58が実現される。そしてこれらの機能ブロックにより、本実施形態に係る情報処理方法が実行される。なお各機能ブロックを実現するために、IC(集積回路)等の専用のハードウェアが適宜用いられてもよい。
情報取得部51は、コントローラ50の各機能ブロックの動作に必要となる情報をHMD100の各部から読み込む。例えば、情報取得部51により、内向きカメラ13及び外向きカメラ14により撮影された画像情報や、センサ部30の各センサの検出結果等が読み込まれる。
また情報取得部51は、記憶部40に記憶されたマップデータ41を適宜読み込むことが可能である。上記したように、マップデータ41には、実空間に存在する物体(実物体)の3次元モデルの情報等が含まれる。従って情報取得部51は、実物体の情報を取得するとも言える。本実施形態では、情報取得部51は、取得部に相当する。
表示範囲算出部54は、仮想オブジェクトを表示可能な表示範囲を算出する。上記したようにHMD100を装着したユーザは、透過型ディスプレイ12を通して実空間を視認する。この時、透過型ディスプレイ12を通して視認される景色に含まれる実物体(実空間の物体や構造物等)に対して、仮想オブジェクト等が表示される。このように、ARによる仮想体験が提供される場合、仮想オブジェクトを表示することができる実空間の範囲が、表示範囲となるとも言える。
図3は、HMD100を装着したユーザの視野範囲60の一例を示す模式図である。図3A及び図3Bには、互いに異なる位置から視認される景色(視野範囲60)が模式的に図示されている。なお図3A及び図3Bでは、HMD100のフレーム10及びレンズ11等の図示が省略されている。
HMD100では、ユーザの視野範囲60の一部の領域に重なるように、透過型ディスプレイ12が配置される。この透過型ディスプレイ12により画像等が表示される領域が、仮想オブジェクトを表示可能な表示範囲61となる。図3A及び図3Bでは、透過型ディスプレイ12による表示範囲61が点線で模式的に図示されている。
例えば、図3Aに示す景色を視認していたユーザが移動して、図3Bに示す景色を視認するようになったとする。この時、透過型ディスプレイ12を通して視認される景色、すなわち表示範囲61となる実空間の範囲も変化する。従って、表示範囲61は、ユーザ(透過型ディスプレイ12)の位置や姿勢に応じて変化することになる。
本実施形態では、表示範囲61として、仮想オブジェクトが表示される透過型ディスプレイ12の画角が算出される。図4は、透過型ディスプレイ12の画角について説明するための模式図である。図4には、HMD100を装着したユーザ1の眼球2と、眼球2の前方に配置された透過型ディスプレイ12とが模式的に図示されている。
透過型ディスプレイ12の画角62とは、透過型ディスプレイ12を通してユーザ1の眼球2(網膜)に映る景色の範囲を角度(画角値)を用いて表したものである。図4に示すように、透過型ディスプレイ12の画角62は、例えば視錐台により表すことが可能である。視錐台は、四角錐を底面に平行に切断して頂点を含む部位を取り除いた形状である。この切断面に相当する面が、透過型ディスプレイ12の表示面となる。
この透過型ディスプレイ12の画角62に含まれる実物体が、表示範囲61に含まれることになる。このように、HMD100では、透過型ディスプレイ12の画角62により、仮想オブジェクトを表示可能な表示範囲61を表すことが可能である。例えば透過型ディスプレイ12の画角62(視錐台)の向きが変わると、そこに含まれる実物体が変わり、表示範囲61の景色も変わることになる。
表示範囲算出部54は、例えば実空間における透過型ディスプレイ12の位置、姿勢、及び画角値θに基づいて、画角62を算出する。なお、画角値としては、例えば透過型ディスプレイ12(HMD100)の水平方向の画角値(水平画角)、垂直方向の画角値(垂直画角)、及び対角方向の画角値(対角画角)等が用いられる。これにより、透過型ディスプレイ12を通してユーザ1が視認する景色の位置、方向、範囲等を識別することが可能となる。本実施形態では、表示範囲算出部54は、算出部に相当する。
領域設定部52は、進入が制限される制限領域を設定する。制限領域は、例えば実空間の地図情報(マップデータ41等)に基づいて、ユーザ1が実際に移動する実空間に対して設定される。例えば、ユーザ1が物理的に移動可能な範囲(通路、階段、道路、広場等)に対して、制限領域が設定される。制限領域の面積、形状、数等は限定されず、例えばユーザ1に提供されるサービスの目的等に合わせて適宜設定可能である。
図5は、制限領域の一例を示す模式図である。図5では、実空間に存在する実物体70(机やパーテーション等の障害物71a~71g)で区切られた領域(マップ43)が模式的に図示されている。これらの障害物71a~71gの間の通路等に対して制限領域63(斜線の領域)が設定される。なお、各障害物71の配置や形状等は、マップデータ41として記憶部40に記憶されている。
本実施形態では、ユーザ1の位置及び目的地44に基づいて制限領域63が設定される。例えば、ユーザ1の現在値及び目的地44の各々の緯度経度情報に基づいて、マップデータ41上での経路が算出される。この経路に合わせてユーザ1が移動可能なように制限領域63が適宜設定される。図5に示す例では、ユーザ1が目的地44に向かう経路の周囲に制限領域63が設定される。
制限領域63を設定する方法等は限定されない。例えばユーザ1の位置及び目的地44のどちらか一方に基づいて、制限領域が適宜設定されてもよい。またユーザ1の位置や目的地44に関係なく制限領域63を設定することも可能である。例えばユーザ1に進入して欲しくない領域を予め指定し、指定された領域を制限領域に設定するといった処理が実行されてもよい。
また領域設定部52は、制限領域63への進入の制限の度合いを表す制限度を設定可能である。例えば図5に示す領域おいて、図中の右側の障害物71の間のスペースを通過した場合でも、ユーザ1は目的地44に向かうことが可能である。このようなスペースに対して設定される制限領域63については、制限度が低く設定される。一方で、ユーザ1の進入が禁止されるような領域(危険領域や立ち入り禁止領域等)については、制限度が高く設定される。この他、制限度を設定する方法等は限定されない。
図2に戻り、進入判定部53は、制限領域63にユーザ1が進入しているか否かを判定する。例えば、進入判定部53は、ユーザ1の現在地の情報(HMD100のGPS32の出力等)を適宜参照し、ユーザ1の現在地が領域設定部52により設定された制限領域63に含まれているか否かを判定する。判定結果は、後述する報知部58等に出力される。
レイアウト計画部55は、透過型ディスプレイ12に妨害オブジェクトを表示するためのレイアウト計画を生成する。ここで妨害オブジェクトとは、制限領域63への進入を妨げる仮想オブジェクトである。レイアウト計画としては、例えば妨害オブジェクトを透過型ディスプレイ12に表示する際の表示位置や表示サイズ等の表示パラメータが算出される。
レイアウト計画部55は、ユーザ1の位置及び進行方向に基づいて、妨害オブジェクトを表示する制限領域63を選択し、当該制限領域63に対して妨害オブジェクトを表示するためのレイアウト計画を生成する。制限領域63を選択する方法については、図7等を参照して後に詳しく説明する。
本実施形態では、実物体70を基準として妨害オブジェクトが表示されるように、レイアウト計画が生成される。具体的には、実空間に存在する実物体70のうち、制限領域63に関連する実物体70が、妨害オブジェクトを表示するための基準(表示基準)として用いられる。すなわち、制限領域63に関連する実物体70を基準として、妨害オブジェクトの表示が制御されることになる。
図6は、実物体70を基準として表示される妨害オブジェクトの一例を示す模式図である。図6A及び図6Bには、制限領域63への進入を妨げる仮想オブジェクト80である妨害オブジェクト81が模式的に図示されている。なお、図6A及び図6Bに示す妨害オブジェクト81は、図5に示す矢印64a及び64bが表す方向に向けられた透過型ディスプレイ12の画角62(表示範囲61)において表示される妨害オブジェクト81である。
図6Aに示す例では、ユーザ1の正面に制限領域63が存在する。また制限領域63の両側には、障害物71c及び71dが存在する。レイアウト計画では、両側の障害物71c及び71dを表示基準として、テープ状の妨害オブジェクト81の両端の座標(表示位置)等が算出される。この場合、両側の障害物71c及び71dが、制限領域63に関連する実物体となる。
また図6Bに示す例では、ユーザ1の正面の通路の左側に制限領域63が存在する。この場合、左側の制限領域63の両側の障害物71f及び71gが、制限領域63に関連する実物体70となり、これらの障害物71f及び71gを表示基準として、妨害オブジェクト81の表示位置等が算出される。
制限領域63に関連する実物体70(表示基準となる実物体)を設定する方法等は限定されない。例えば制限領域63の周辺や内部に存在し、妨害オブジェクト81を表示するのに適したサイズや配置を持った実物体70が、妨害オブジェクト81の表示基準として適宜設定される。また例えば、マップデータ41等において、妨害オブジェクト81を表示するための基準となる実物体70等が予め指定されていてもよい。この場合、指定された実物体70のうち、画角62に含まれる制限領域63の周辺や内部に存在する実物体70が表示基準として設定される。本実施形態では、制限領域63に関連する実物体は、制限領域に関連する所定の対象物に相当する。
なお、レイアウト計画により表示が計画された妨害オブジェクト81が、実際に表示されるかどうかは、レイアウト判定部56により判定される。従って、レイアウト計画部55は、制限領域63に関連する実物体70を基準として妨害オブジェクト81の候補を生成するとも言える。
図2に戻り、レイアウト判定部56は、透過型ディスプレイ12の画角62に基づいて、レイアウト計画として計画された妨害オブジェクト81を表示するか否かを判定する。すなわち、レイアウト判定部56は、表示範囲61に基づいて、妨害オブジェクト81の候補を表示するか否かを判定する。妨害オブジェクト81の候補を表示するか否かを判定する方法については、後に詳しく説明する。
出力制御部57は、透過型ディスプレイ12に表示される仮想オブジェクト80等の画像を生成する。例えばレイアウト判定部56により表示すると判定された妨害オブジェクト81の候補の情報(レイアウト計画)に基づいて、妨害オブジェクト81の候補の画像が生成される。もちろん、妨害オブジェクト81とは異なる他の仮想オブジェクト80の画像等を生成することも可能である。これらの画像を構成する画像情報は、透過型ディスプレイ12に適宜出力される。
このように、レイアウト計画部55、レイアウト判定部56、及び出力制御部57により、表示範囲61に基づいて、制限領域63への進入を妨げる妨害オブジェクト81の表示が制御される。本実施形態では、レイアウト計画部55、レイアウト判定部56、及び出力制御部57が共動することで、表示制御部が実現される。
報知部58は、制限領域63への進入及び接近を報知する報知情報を生成する。例えば報知部58は、進入判定部53の判定結果や、制限領域63とユーザ1との距離等に基づいて、ユーザ1が制限領域63に進入あるいは接近している旨をユーザ1に知らせるための報知情報を生成する。生成された報知情報は、透過型ディスプレイ12、スピーカー20、及び振動部21等に適宜出力される。
図7は、HMD100の基本的な動作の一例を説明するための模式図である。図7には、図5に示すマップ43内をユーザ1が移動した場合に、妨害オブジェクト81が表示される制限領域63が模式的に図示されている。また図7では、ユーザ1が移動可能な方向が矢印を用いて模式的に図示されている。
ユーザ1はマップ43の右下の初期位置からマップ43左上の目的地44まで移動するものとする。マップ43aでは、ユーザ1は初期位置にいる。マップ43b及びマップ43cでは、ユーザ1はマップ43の中央の通路72aを通って目的地44に移動する。一方で、マップ43d及びマップ43eでは、ユーザ1はマップ43の右側の通路72bを通って目的地44に移動する。なおマップ43aでは、中央の通路72a及び右側の通路72bが点線で模式的に図示されている。
本実実施形態では、ユーザ1の位置及び進行方向に応じて妨害オブジェクト81が表示される。すなわち、ユーザ1の移動に応じて妨害オブジェクト81が動的に表示される。例えばレイアウト計画部55により、ユーザ1の位置及び進行方向に応じた妨害オブジェクト81の候補が生成される。そしてレイアウト判定部56により表示すると判定された妨害オブジェクト81が、透過型ディスプレイ12に表示される。
マップ43aに示すように、ユーザ1が初期位置にいる場合、中央の通路72aに入る手前の制限領域63に対して妨害オブジェクト81が表示される。例えば、ユーザ1は中央の通路72a側(マップ43aの左側)に移動したとする。このとき、ユーザ1の正面に設定された制限領域63に対して妨害オブジェクト81が表示される。これにより正面の領域はユーザ1の進入が制限されていることをユーザ1に知らせることが可能である。この結果、ユーザ1を中央の通路72aに誘導することが可能となる。
マップ43bに示すように、ユーザ1が中央の通路72aに進入すると、中央の通路72aの両側に存在し、ユーザ1に近い制限領域63に対してそれぞれ妨害オブジェクト81が表示される。なお、ユーザ1に近い制限領域63とは、例えばユーザ1の位置から所定の距離内に存在する制限領域63である。
マップ43cに示すように、ユーザ1が中央の通路72aを進行すると、ユーザ1の進行方向の両側に存在する制限領域63に対して、妨害オブジェクト81が表示される。ユーザ1の進行方向は、例えばユーザ1の位置の変化等に基づいて検出される。このようにユーザ1の進行方向に応じて妨害オブジェクト81を表示することで、ユーザ1を目的地44に容易に誘導することが可能である。
また例えば、マップ43aにおいて、ユーザ1が初期位置から右側に向けて移動するとする。この場合、ユーザ1の位置に基づいて、新たに制限領域63が設定される。例えば、右側の通路72bを通過して目的地44に向かう経路が生成され、生成された経路の周囲に制限領域63が設定される。
マップ43dに示すように、ユーザ1が右側の通路72bに進入すると、右側の通路72bの一方の側に設定された制限領域63に対して妨害オブジェクト81が表示される。なお右側の通路72bを挟んで制限領域63とは反対側は壁になっており、制限領域63等は設定されていない。
なお、ユーザ1はマップ43dに示す制限領域63(障害物71f及び71gの間のスペース)を通過した場合でも、目的地44に向かうことが可能である。このような制限領域63に対しては、進入を制限する度合い(制限度)が低く設定される。例えば、ユーザ1の進行方向や視線等が障害物71f及び71gの間のスペースに向けられている場合には、妨害オブジェクト81を表示せず、ユーザ1の通過が許可される。
このように、制限度に応じて、妨害オブジェクト81の表示が制御される。例えば制限度が低く設定されている制限領域63については、ユーザ1の行動(進行方向や視線等)に合わせて妨害オブジェクト81を表示しないといった処理が実行される。逆に制限度が高く設定されている制限領域63(危険領域等)では、ユーザ1の行動に係らず妨害オブジェクト81が表示される。このような処理が実行されてもよい。
マップ43eに示すように、ユーザ1が右側の通路72bを進行した場合、マップ43の右上に設定された制限領域63に対して妨害オブジェクト81が表示される。この結果、ユーザ1が右側の通路72bに沿って右上の制限領域63に進入することを妨害することが可能となる。
なお右側の通路72bを通過するように設定された経路では、障害物71e及び71fの間のスペースが経路の一部となっている。また障害物71e及び71fの間のスペースを挟んでユーザ1とは反対側には制限領域63が設定されており、妨害オブジェクト81が表示される。これにより、障害物71e及び71fの間のスペースが通行可能であることをユーザ1に知らせることが可能となり、障害物71e及び71fの間のスペースを通過するように、ユーザ1を誘導することが可能である。
このように、本実施形態では、ユーザ1の周辺の制限領域63への進入を制限する妨害オブジェクト81が表示される。これにより、ユーザ1を容易に誘導することが可能となる。また妨害オブジェクト81を用いて制限領域63を可視化することは、ユーザ1が行動可能な範囲を可視化しているとも言える。従ってユーザ1は行動可能な範囲であれば自由に移動することが可能となり、ユーザ1の行動の自由度を保ちながら、ユーザ1を目的地44に向けて自然に誘導することが可能となる。
また、周辺の制限領域63に対して妨害オブジェクト81を表示することで、表示される妨害オブジェクト81の数等を減らすことが可能である。この結果、透過型ディスプレイ12の表示がシンプルになり、妨害オブジェクト81(仮想オブジェクト80)の表示に対する違和感等を軽減することが可能となり、自然な仮想体験を提供することが可能となる。
図8は、HMD100の動作の一例を示すフローチャートである。図8に示すフローチャートの処理は、HMD100の動作中に繰り返し実行される処理である。
情報取得部51により、HMD100を装着したユーザ1の自己位置が取得される(ステップ101)。例えばユーザ1の自己位置として、GPS32により検出されたHMD100の緯度及び経度が読み込まれる。また屋内等でユーザ1が行動している場合等には、SLAM(Simultaneous Localization and Mapping)等の自己位置推定技術を用いて検出された、ユーザ1(HMD100)の自己位置の情報等が読み込まれてもよい。
目的地44の位置情報が取得される(ステップ102)。例えばHMD100を用いてナビゲーション等のサービスが提供されている場合には、ユーザ1等により入力された目的地の緯度及び経度が読み込まれる。また実空間をプレイエリアとするゲームサービス等が提供されている場合には、ゲームの進行に応じて目的地44が変更されるといったこともあり得る。この場合、最新の目的地44の緯度及び経度が読み込まれる。
領域設定部52により、ユーザ1の進入が制限される制限領域が設定される(ステップ103)。例えばユーザ1の自己位置から目的地までの経路が算出され、当該経路の周辺に制限領域63が設定される(図5参照)。この時、マップデータ41等で予め指定された危険領域や立ち入り禁止領域等が制限領域63に加えられる。このように制限領域63を設定することで、ユーザ1を目的地まで安全に誘導することが可能となる。
進入判定部53により、ユーザ1が制限領域63に進入しているか否かが判定される(ステップ104)。進入判定部53は、ユーザ1の自己位置が制限領域63に含まれているか否かを判定する。ユーザ1の自己位置が制限領域63に含まれていないと判定された場合(ステップ104のNo)、すなわちユーザ1が制限領域63に進入していない場合、妨害オブジェクト81の表示制御が実行される(ステップ105)。
図9は、妨害オブジェクト81の表示制御の一例を示すフローチャートである。図9に示すフローチャートは、図8に示すステップ105で行われる処理の一例である。図10は、妨害オブジェクト81の表示制御の一例を説明するための模式図である。以下では図9及び図10を参照して、妨害オブジェクト81の表示制御について説明する。
図9に示すように、まずユーザ1の身体情報が取得される(ステップ201)。本実施形態では、ユーザ1の身体情報には、ユーザ1の頭部の位置及び姿勢の情報が含まれる。ユーザ1の頭部の位置とは、例えば実空間上でのユーザ1の頭部の3次元座標(緯度、経度、高さ)である。またユーザ1の頭部の姿勢は、例えば実空間上でユーザ1が向いている方向等により表される。
ユーザ1の頭部の位置及び姿勢の情報としては、典型的にはユーザ1の頭部に装着されたHMD100の実空間上での位置及び姿勢の情報が用いられる。例えば、GPS32やSLAMにより検出されたHMD100の3次元座標がユーザ1の頭部の位置として用いられる。また例えば9軸センサ31等を用いて検出されたHMD100の向き、すなわち透過型ディスプレイ12が向けられる方向等がユーザ1の頭部の姿勢として用いられる。
またユーザ1の身体情報として、ユーザ1の進行方向、及びユーザの視線等の情報が取得される。例えばユーザ1の自己位置の変化や、9軸センサ31の出力等に基づいてユーザ1の進行方向が算出され、算出結果が適宜読み込まれる。また例えば、内向きカメラ13を用いて撮影されたユーザ1の眼球2の画像等に基づいてユーザ1の視線が検出され、検出結果が適宜読み込まれる。
ユーザ1の身体情報の具体的な構成は限定されない。また、ユーザ1の身体情報を検出する方法は、HMD100に搭載された各センサを用いる場合に限定されず、例えばユーザ1の姿を外部から撮影した画像等に基づいてユーザ1の身体情報が検出されてもよい。この場合、HMD100の外部から送信された身体情報が、通信部22等を介して受信される。このような処理が実行されてもよい。
表示範囲算出部54により、透過型ディスプレイ12の画角62が算出される(ステップ202)。具体的には、表示範囲算出部54により、ステップ201で取得されたユーザ1の頭部(HMD100)の位置及び姿勢と、透過型ディスプレイ12(HMD100)の画角値に基づいて、透過型ディスプレイ12を介して視認される実空間の範囲(仮想オブジェクト80の表示範囲61)が算出される。
例えば、HMD100に設定された水平画角及び垂直画角に基づいて、視錐台が算出される(図4参照)。また透過型ディスプレイ12の位置及び姿勢(向き)に基づいて、実空間での視錐台の位置や視錐台が向けられた方向等が算出される。視錐台を用いる場合、透過型ディスプレイ12から視錐台の底面までの距離、すなわち画角62における奥行を適宜設定することが可能である。なお、視錐台を用いて画角62を表す場合に限定されず、例えば画角62を算出可能な任意の方法が用いられてよい。
妨害オブジェクト81を表示するための基準となる実物体70の情報が取得される(ステップ203)。例えば、透過型ディスプレイ12の画角62内に存在する制限領域63が検出され、検出された制限領域63に関連する実物体70の情報がマップデータ41から適宜読み込まれる。
図10に示す例では、制限領域63に関連する実物体70の一例として、6本のポール73a~73fが図示されている。これらのポール73a~73fの位置や形状(3次元モデル)に関する情報は、マップデータ41に記録されている。
本実施形態では、情報取得部51により、制限領域63に関連する実物体70として、互いに離間した第1の実物体70及び第2の実物体70の各々の情報が取得される。例えば図10では、6本のポール73a~73fのうち、一組のポール73の3次元モデルの情報が取得される。この場合、取得されたポール73のペアが、それぞれ第1及び第2の実物体70となる。本実施形態では、第1の実物体70及び第2の実物体70は、第1の対象物及び第2の対象物に相当する。
実物体70のペア(ポール73のペア)を設定する方法等は限定されない。例えば、マップデータ41において、妨害オブジェクト81を表示するための基準となる実物体70のペアが予め指定されていてもよい。これにより、容易に実物体70のペアの情報を読み込むことが可能となり、処理負荷を軽減することが可能となる。また例えば、ユーザ1までの距離が近い順に実物体70のペアを設定するといった処理や、実物体70の位置関係に基づいてペアを設定するといった処理が実行されてもよい。
以下では、第1のペア(ポール73a及びポール73b)と、第2のペア(ポール73c及びポール73d)と、第3のペア(ポール73e及びポール73f)とがマップデータ41に記録されているものとする。またステップ203では、ユーザ1に近い順にポール73のペアの3次元モデルの情報がマップデータ41から読み込まれるものとする。従って1度目のループでは、第1のペアの情報が読み込まれる。
レイアウト計画部55により、制限領域63に関連する実物体70を基準として、妨害オブジェクト81のレイアウト計画が生成される(ステップ204)。すなわち、ステップ203で取得された実物体70を基準として、妨害オブジェクト81の候補が生成される。以下では、レイアウト計画として生成される妨害オブジェクト81の候補を、単に妨害オブジェクト81と記載する場合がある。
例えば図10に示すように、実物体70のペアが基準となる場合には、各実物体の間に妨害オブジェクト81が表示されるようにレイアウト計画が生成される。すなわち、第1及び第2の実物体70の間に妨害オブジェクト81が表示されるように、妨害オブジェクト81の表示パラメータが算出される。
1度目のループでは、ポール73a及びポール73bの間にテープ状の妨害オブジェクト81aを表示するレイアウト計画が生成される。例えば、ポール73a及びポール73bの所定の位置に合わせてテープ状の妨害オブジェクト81aを表示するための、透過型ディスプレイ12における表示位置や表示サイズが算出される。なお、ポール73a及びポール73bの3次元モデル等において妨害オブジェクト81aを表示する位置が予め指定されていてもよい。これにより容易にレイアウト計画を生成することが可能となる。
レイアウト判定部56により、妨害オブジェクト81の大きさが透過型ディスプレイ12の画角62に収まるか否かが判定される(ステップ205)。本実施形態では、妨害オブジェクト81の候補が透過型ディスプレイ12の画角62に収まるか否かを判定することで、妨害オブジェクト81の候補を表示するか否かが判定される。
例えば、レイアウト計画として生成された妨害オブジェクト81の端部(テープの4つの頂点等)の座標が、画角62で表される空間に含まれているか否かが判定される。また妨害オブジェクト81が画角62に含まれる割合が所定の割合よりも大きいか否かが判定されてもよい。例えば妨害オブジェクト81の表示面積が所定の割合(例えば90%等)以上で画角62に含まれる場合に、妨害オブジェクト81が画角に収まると判定される。このような処理が実行されてもよい。この他、妨害オブジェクト81が画角62に収まるか否かを判定する方法等は限定されない。
図10に示すように、ポール73a及びポール73bの間の妨害オブジェクト81aは、画角62に収まらないと判定される。例えば第1のペアを基準として妨害オブジェクト81aを表示した場合、妨害オブジェクト81aの一部だけが透過型ディスプレイ12に表示される。この結果、ユーザ1の視野範囲60では、透過型ディスプレイ12(表示範囲61)の端で途切れる妨害オブジェクト81aが表示されることになる(図3参照)。この場合、妨害オブジェクト81aは、表示しないと判定される。
妨害オブジェクト81が画角62に収まらないと判定された場合(ステップ205のNo)、ステップ201に戻り、次の実物体70の情報が取得され、取得された実物体70を基準として妨害オブジェクト81のレイアウト計画が生成される。
例えば2度目のループでは、ポール73c及びポール73dの第2のペアの情報がマップデータから読み込まれ、ポール73c及びポール73dの間にテープ状の妨害オブジェクト81bを表示するレイアウト計画が生成される。そして妨害オブジェクト81bが透過型ディスプレイ12の画角62に収まるか否かが判定される。
図10に示すように、ポール73c及びポール73dの間の妨害オブジェクト81bは、画角62に収まる。従って、例えば第2のペアを基準として妨害オブジェクト81bを表示した場合、妨害オブジェクト81bの全体が透過型ディスプレイ12に表示される。この場合、妨害オブジェクト81bは、表示すると判定される。
妨害オブジェクト81が画角62に収まると判定された場合(ステップ205のYes)、出力制御部57により、表示すると判定された妨害オブジェクト81について、透過型ディスプレイ12に表示するための画像情報が生成される(図8のステップ106)。例えば、レイアウト計画に基づいて妨害オブジェクト81の表面の図柄や明暗等が適宜設定され、妨害オブジェクト81の画像を構成する画像情報が生成される。生成された画像情報は、ステップ108の出力処理を経て、透過型ディスプレイ12に出力され、妨害オブジェクト81が表示される。
このように、透過型ディスプレイ12の画角62に収まるように妨害オブジェクト81の表示が制御される。これにより、不自然に途切れた妨害オブジェクト81等が表示されるといった状況が回避され、十分に自然な仮想体験を提供することが可能となる。
なお図10に示すように、第3のペア(ポール73e及びポール73f)を基準とする妨害オブジェクト81cも、透過型ディスプレイ12の画角62に収まる。しかしながら、妨害オブジェクト81cとユーザ1との間には、すでに妨害オブジェクト81bを表示することが可能である。このため、妨害オブジェクト81cの表示は実行されない。
従って妨害オブジェクト81が重なって表示されることを防止することが可能である。この結果、不要な表示を減らすことが可能となり、シンプルなAR表示を実現することが可能となる。この結果、仮想オブジェクト80が多重に表示されることにより画面が見えにくくなるといった状況を十分回避することが可能となる。
図11は、実物体70を基準とした妨害オブジェクト81の表示例を示す模式図である。図11A~図11Dには、実物体70を基準に表示される妨害オブジェクト81の例が模式的に図示されている。
図11Aでは、画角62に合わせて妨害オブジェクト81の表示位置が制御される。例えば、実物体70の3次元モデルにおいて、妨害オブジェクト81の表示位置が、画角62の上側に設定されていたとする。この場合、レイアウト計画部55により、透過型ディスプレイ12の画角62に合わせて、実物体70に対する妨害オブジェクト81の表示位置を下げるといった処理が実行される。
また例えば、ユーザ1と実物体70との距離が離れている場合には、実物体70に対する妨害オブジェクト81のサイズを拡大して、見えやすくするといった処理が実行される。このように、レイアウト計画部55は、透過型ディスプレイ12の画角62に基づいて、制限領域63に関連する実物体70に対する妨害オブジェクト81の表示位置及び表示サイズを調整する。
透過型ディスプレイ12の画角62に基づいて、妨害オブジェクト81の表示位置及び表示サイズを調整することで、ユーザ1が気付きやすい自然な位置に妨害オブジェクト81を配置することが可能である。これにより、制限領域63が存在している場所等を自然に知らせることが可能となる。
図11Bでは、ユーザ1の進行方向に対して、妨害オブジェクト81が静態して表示される。例えば、ポール73の間に表示されるテープ(妨害オブジェクト81)がユーザ1の接近に合わせて適宜拡大して表示される。この結果、現実の空間に実際にテープが設置されている場合と同様に、妨害オブジェクト81を表示することが可能となる。
図11Cでは、実物体70を覆うように妨害オブジェクト81が表示される。すなわち、実物体70に重畳して妨害オブジェクト81が表示される。図11Cでは、ポール73のペアに加え、ポール73のペアの間に設置されている障害物71が、妨害オブジェクト81を表示するための基準として用いられる。例えば、障害物71の形状を表す3次元モデルを用いて、障害物71を覆うように暗色の妨害オブジェクト81dが表示される。また暗色の妨害オブジェクト81に遮られるように、テープ状の妨害オブジェクト81eが表示される。
このように、現実の障害物71と同様の形をした妨害オブジェクト81dを暗色で表示させることで、現実の障害物71によって遮蔽されているかのように、テープ状の妨害オブジェクト81を表示することが可能となる。これにより、現実になじみやすい表示を実現することが可能となる。また現実の障害物71と妨害オブジェクト81eとにより2重に進入が制限されていることをユーザ1に知らせることが可能となり、制限領域63への進入を十分に制限することが可能となる。
図11Dでは、実空間における段差に対して妨害オブジェクト81が表示される。例えばマップデータ41における地形の3次元モデル等をもとに、段差等が実物体70として検出される。例えば、歩行平面の高さが変化する領域は、落下や転倒等が生じる恐れがあるため、制限領域63として設定される。
このように、実空間の地形等に合わせて制限領域63がされてもよい。地形に合わせて制限領域63を設定する方法等は限定されず、例えば、奥行が著しく深い(奥行差分が大きい)領域に対しても制限領域63が設定されてもよい。これにより、ユーザ1が移動する地形に合わせて妨害オブジェクト81を表示することが可能となり、安全な仮想体験を提供することが可能となる。
図8に戻り、ユーザ1が制限領域63に進入していると判定された場合(ステップ104のYes)、報知部58により、制限領域63への進入を知らせる報知情報が生成される(ステップ107)。
図12は、報知部58の動作例を説明するための模式図である。図12に示す例では、報知情報として、音情報が生成される。例えばマップ43に設定された制限領域63にユーザ1が進入すると、ブザー音やアラーム音等を2Dサウンドとして再生する音情報等が生成される。ここで2Dサウンドとは、例えば一定の音量で再生される音である。従ってユーザ1が制限領域63に進入している間は、一定の音量でブザー音等が出力される。
また例えば、制限領域63に進入した場合に、BGMの音量を下げるといった処理が実行されてもよい。この場合、制限領域63に進入する直前よりも音量が減少したBGMを再生する音情報が生成される。このように、不快な音や違和感のある音を用いた音響フィードバックを行うことで、制限領域63への進入をユーザ1に容易に知らせることが可能となる。
透過型ディスプレイ12を用いて制限領域63への進入が報知されてもよい。例えば、放置情報として、透過型ディスプレイ12による表示を明滅させる表示情報等が生成される。また透過型ディスプレイ12の周縁(表示面の外周)に所定の色の領域等を表示させる表示情報等が生成されてもよい。このように、透過型ディスプレイ12において不自然な表示を行うことで、制限領域63への進入をユーザ1に容易に知らせることが可能となる。
バイブレーション等の振動を発生することで制限領域63への進入を放置することも可能である。この場合、報知情報として、振動部21を所定のパターンで振動させる振動情報等が生成される。報知情報の具体的な構成は限定されず、例えば音情報、表示情報、及び振動情報がそれぞれ単独で生成されてもよい。もちろんこれらを組み合わせた報知情報が適宜生成されてもよい。
これにより、制限領域63への進入が判定された場合に、音、表示、及び振動等を用いた不快表現を提示することが可能となる。この結果、制限領域63への進入をユーザ1に知らせるとともに、制限領域63から離脱するようにユーザ1を誘導することが可能となる。すなわち、ユーザ1が制限領域63にとどまらないように、ユーザ1の行動をコントロールすることが可能となる。
なお報知部58は、制限領域63への接近を知らせる報知情報を生成可能である。接近を知らせる報知情報は、ユーザ1が制限領域63に進入したか否かに係らず生成されてよい。例えば、図12に示すマップ43で設定された制限領域63内に仮想の音源82が設置される。報知部58は、仮想の音源82とユーザ1との距離に応じて、音量が制御される3Dサウンドを再生可能な音情報を生成する。
例えば3Dサウンドは、ユーザ1が仮想の音源82に接近するほど、音量が増加するように設定される。これにより、ユーザ1が制限領域63に進入する前に、ユーザ1に制限領域63への接近を知らせることが可能となる。このような処理が実行されてもよい。
生成された報知情報は、図8のステップ108の出力処理を経て、HMD100の各部へ適宜出力される。例えば音情報はスピーカー20に出力され、ブザー音等が再生される。また表示情報は透過型ディスプレイ12に出力され、明滅等の表示が行われる。また振動情報は振動部21に出力されバイブレーション等の振動を発生する動作が行われる。
このように、HMD100では、ユーザ1の位置に応じてユーザ1に対するフィードバック処理が実行される。すなわち、ユーザ1が行動可能なプレイエリア内にいる場合には、フィードバック処理として制限領域63を知らせる妨害オブジェクト81が適宜表示される。またユーザ1がプレイエリアから外れ制限領域63に進入した場合には、フィードバック処理として各種の不快表現が提示される。これにより、ユーザ1の行動の自由度を維持しつつ、ユーザ1がプレイエリア内を移動するように、ユーザ1を自然に誘導することが可能となる。
図13~図20は、妨害オブジェクト81の表示例を示す模式図である。図13~図20では、HMD100を装着したユーザ1の視野範囲60と、仮想オブジェクト80の表示範囲61とが模式的に図示されている。以下では、図13~図20を参照してユーザ1が実空間を移動する際に、透過型ディスプレイ12に表示される妨害オブジェクト81について説明する。
図13には、4本の柵83と4本の柵83に設置されるテープ84とを含む妨害オブジェクト81fが表示されている。妨害オブジェクト81は、歩道74の境界部75a及び75bを基準として、歩道74を遮るように表示される。従って、図13に示す例では、歩道74の境界部75a及び75bが妨害オブジェクト81の表示基準となる実物体70(制限領域63に関連する実物体70)となる。
図13では、表示範囲61(透過型ディスプレイ12の画角62)の略中央に妨害オブジェクト81が表示される。これにより、ユーザ1が前方に進行することを妨害することが可能となる。なお、この時点では、ユーザ1は左右どちらの方向に移動するかは未確定な状態である。
図14に示すように、ユーザ1が図13の視野範囲60から右側に視線を移した場合、妨害オブジェクト81fの奥に、他の妨害オブジェクト81gが表示される。これによりユーザ1が妨害オブジェクト81fの右奥に進行することが妨害され、画面の左側へとユーザ1が誘導される。なお、図13で表示された妨害オブジェクト81fは、表示が継続される。
図15では、ユーザ1は妨害オブジェクト81f及び81gが表示された歩道74に接近する。この時、歩道74を遮るように妨害オブジェクト81f及び81gが配置されている。従って歩道74に沿って前方に進行することが強く制限されていることを、ユーザ1に知らせることが可能である。
図16では、妨害オブジェクト81fの正面にユーザ1が移動する。この結果、妨害オブジェクト81fと妨害オブジェクト81gとが重なって表示される。このように、妨害オブジェクト81が重なる場合であっても、既に表示されている妨害オブジェクト81は継続して表示させるといった処理が実行されてもよい。
また例えば、妨害オブジェクト81fと妨害オブジェクト81gとが重なると判定される場合には、前方の妨害オブジェクト81fを表示させ、後方の妨害オブジェクト81gを表示させないといった処理が実行されてもよい。逆に後方の妨害オブジェクト81gを表示させ、前方の妨害オブジェクト81fを表示させない、このような処理が実行されてもよい。これにより、シンプルなAR表示を実現することが可能である。
図17では、前方の妨害オブジェクト81fを越えてユーザ1が前進する。この場合、透過型ディスプレイ12には後方の妨害オブジェクト81gのみが表示される。また妨害オブジェクト81f及び81gの間が制限領域63に設定されている場合には、ブザー音等の不快表現が提示される。これによりユーザ1に制限領域63に進入したことを知らせることが可能である。
なお、図16において、妨害オブジェクト81fのみが表示されている場合等には、ユーザ1が妨害オブジェクト81fを越えたタイミングで、図17に示す妨害オブジェクト81gが新たに表示されるといった処理が実行されてもよい。これにより、例えば制限領域63への進入が強く制限されていることをユーザ1に知らせることが可能である。
図18では、トンネル状の通路の入り口及び出口を基準として妨害オブジェクト81h及び81iが表示される。これにより、トンネル状の通路が閉鎖されているような光景を作り出すことが可能となり、トンネル状の通路への進入が強く制限されていることを知らせることが可能である。この結果、ユーザ1がトンネル状の通路を通過して前方に進行することを十分に妨害することが可能となる。もちろん、妨害オブジェクト81h及び81iのどちらか一方を表示するといった処理が実行されてもよい。
図19では、ユーザ1が通行する歩道74aが他の歩道74bに合流する位置(丁字路)に妨害オブジェクト81jが表示される。妨害オブジェクト81jの表示位置は、例えば丁字路での歩道74の境界部76a及び76bを基準に算出される。これにより、ユーザ1が通行する歩道74aが途中で遮蔽されているような光景を作り出すことが可能である。この結果、ユーザ1が他の歩道74bに進入することを自然に制限することが可能である。
図20では、図19に示す丁字路にユーザ1が接近する。すなわち、ユーザ1は図19において妨害オブジェクト81jが表示されていた位置に接近する。この場合、妨害オブジェクト81jは、透過型ディスプレイ12の画角62に収まらなくなる場合があり得る(図21参照)。このような場合には、図20に示すように、妨害オブジェクト81jに代えて、画角62に収まる妨害オブジェクト81kが表示される。
妨害オブジェクト81kは、例えばユーザ1の丁字路への接近に応じて、画面上に表示される。このとき、図19に示す妨害オブジェクト81jは、ユーザ1の丁字路への接近に応じて表示されなくなる。このように、妨害オブジェクト81jが画角62に収まらなくなった場合に、他の妨害オブジェクト81kの表示に切り替えるといった処理が実行されてもよい。これにより、不自然に途切れた妨害オブジェクト81が表示されるといった状況が回避され、適正な表示を継続することが可能となる。
以上、本実施形態に係るコントローラ50では、進入が制限される制限領域63が設定され、当該制限領域63への進入を妨げる仮想オブジェクト80である妨害オブジェクト81の表示が制御される。妨害オブジェクト81の表示制御は、仮想オブジェクト80を表示可能な表示範囲61に基づいて実行される。これにより、妨害オブジェクト81を適正に表示することが可能となり、自然な仮想体験を提供することが可能となる。
ユーザの視野に仮想画像等を表示する構成では、ユーザの視野の大きさと仮想画像等が表示される表示面の大きさとが異なる場合が考えられる。例えばユーザの視野に比べ、表示面が小さい場合には、仮想画像が表示面の端で不自然に途切れるといった状況が発生する可能性がある。
図21は、比較例として挙げる妨害オブジェクト81の表示例を示す模式図である。図21では、図19に示す妨害オブジェクト81jの表示が継続されたまま、ユーザ1が丁字路に接近する。ユーザ1が丁字路に接近するにつれて、妨害オブジェクト81jの表示サイズは大きくなる。この結果、妨害オブジェクト81jは、透過型ディスプレイ12の画角62(表示範囲61)に収まらなくなり、透過型ディスプレイ12の周縁で不自然に途切れることになる。このため、表示された内容を把握することが困難になる、あるいは視界が遮られるといった問題が生じる可能性がある。
また仮想体験を行うユーザを誘導する方法として、矢印やキャラクター等の仮想画像を表示して目的地までの経路をダイレクトに表示するといった方法が考えられる。このような誘導方法では、ユーザは矢印に沿って移動する(あるいはキャラクターの指示に合わせて移動する)ことになる。また、ユーザを誘導するために、目的地までの距離や方位、到着時間等の様々な情報が表示されることが考えられる。
図22は、比較例として挙げる矢印画像の表示例を示す模式図である。図23は、比較例として挙げる誘導画面の表示例を示す模式図である。
図22Aに示すように、右折を示す矢印画像が表示された場合、ユーザは矢印画像90に沿って移動(右折)することに集中すると考えられる。また図22Bに示すように、左折を示す矢印画像90が表示された場合には、ユーザは左折することに集中すると考えられる。このように、矢印画像90等を用いてユーザの経路を直接表示した場合、ユーザの行動は、矢印を追う作業に集中(作業化)し、移動以外のタスクを同時にこなすことが困難となる可能性が生じる。
また図23に示す誘導画面91では、誘導のスタート地点92、ユーザの経路93、目的地までの距離94や方向95、周辺の店舗情報96等を示す仮想画像が表示される。このように、視界に表示される仮想画像の数が増えるほど、現実世界の視界が狭まりユーザの行動が阻害される場合があり得る。また現実世界の視界が狭くなることで、想定される危害等を未然に回避することが難しくなり事故等のリスクが高まる可能性が生じる。
本実施形態に係るHMD100では、透過型ディスプレイ12の画角62、すなわち仮想オブジェクト80の表示範囲61に基づいて、制限領域63への進入を妨害する妨害オブジェクト81が表示される。具体的には、妨害オブジェクト81は、表示範囲61に収まるように適宜表示される。この結果、妨害オブジェクト81全体を適正に表示することが可能となり、表示が不自然に途切れるといった状況を十分に回避することが可能となる。また妨害オブジェクト81全体が表示されるため、制限領域63の存在等を正しく知らせることが可能となる。
また、妨害オブジェクト81は実物体70を基準に表示される。これにより、ユーザ1の視野範囲60には、実空間の環境になじむように、自然な位置及びサイズで妨害オブジェクト81等が表示される。この結果、ユーザ1に自然な仮想体験を提供することが可能となる。
また妨害オブジェクト81を用いることで、ユーザ1に対して、進入が制限される制限領域63の存在を知らせることが可能である。すなわち、ユーザ1が行動可能な範囲(プレイエリア)の境界を自然に知覚させることが可能である。この結果、例えばユーザ1はプレイエリアを自由に移動するといった行動を選択することが可能となり、ユーザ1の自発的な行動を阻害することなく、自由度の高い仮想体験を提供することが可能となる。
妨害オブジェクト81の表示は、ユーザ1の位置や進行方向に応じて制御される。これにより例えば、ユーザ1を自然に目的地44に誘導するといったことが可能である。またユーザ1の周辺の制限領域63に対して妨害オブジェクト81の表示を行うことで、表示される妨害オブジェクト81の数を減らすことが可能である。この結果、ユーザ1の視界を覆うことなく、ユーザ1を安全に目的地に誘導することが可能である。
<その他の実施形態>
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
上記の実施形態では、マップデータに記録された実物体の3次元モデル等を読み込むことにより、制限領域に関連する実物体の情報が取得された。これに限定されず、例えば外向きカメラ等を用いて撮影された実空間の画像等をもとに、実物体の情報が取得されてもよい。この場合、パターンマッチング等の物体検出が可能な技術等を用いることで、画角に含まれる実物体を検出することが可能である。
また実空間の情報を検出するセンサとして、実空間に存在する実物体までの距離を測定する距離センサ等が用いられてもよい。距離センサとしては、ステレオカメラ、TOF(Time of Flight)センサ、LiDAR(Laser Imaging Detection and Ranging)センサ、及びレーザレンジファインダ等の任意のセンサが用いられてよい。これらの距離センサの情報をもとに、ユーザの自己位置推定及び周辺地図作成(SLAM)が実行することで、マップデータを生成しつつ、実物体の情報を読み込むことが可能となる。
上記では、実空間に存在する実物体を基準として妨害オブジェクトが表示された。これに限定されず、例えば妨害オブジェクトを実空間内の任意の位置に表示するといった処理が実行されてもよい。例えば透過型ディスプレイ等の表示範囲に含まれる実空間内の任意のポイントの座標(緯度、経度、高さ)等を指定して、そのポイントに妨害オブジェクトを表示するといった処理が実行されてもよい。これにより、妨害オブジェクトの表示位置等を容易に算出することが可能となり、処理速度を向上することが可能となる。
上記の実施形態では、透過型ディスプレイを備えるHMD(ARグラス)により拡張現実(AR)を用いた仮想体験が提供された。これに限定されず、例えば外向きカメラ等を用いて撮影された実空間の画像を表示することでAR表示を実現する没入型のHMD等に対しても本技術は適用可能である。この場合、没入型のHMDに搭載された表示装置に映る画像の画角(外向きカメラの画角)が、仮想オブジェクトを表示可能な表示範囲となる。
またユーザの頭部に装着されるHMD等のデバイスに限定されず、例えばスマートフォン、タブレット端末、及びPC(Personal Computer)等を用いてAR表示が実現されてもよい。この場合例えば、スマートフォン等に搭載されたカメラの画角に収まるように、妨害オブジェクトの表示を制御するといった処理が実行される。これにより、自然なAR体験を提供することが可能である。またARに限定されず、例えば仮想現実(VR:Virtual Reality)や複合現実(Mixed Reality)等を用いた仮想体験が提供される場合にも、本技術は適用可能である。
上記では、本技術に係る情報処理装置の一実施形態として、画像表示装置であるHMDを例に挙げた。しかしながら、HMDとは別に構成され、有線又は無線を介してHMDに接続される任意のコンピュータにより、本技術に係る情報処理装置が実現されてもよい。例えばクラウドサーバにより、本技術に係る情報処理方法が実行されてもよい。あるいはHMDと他のコンピュータとが連動して、本技術に係る情報処理方法が実行されてもよい。
すなわち本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれもシステムである。
コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えば制限領域の設定や、表示範囲に基づく妨害オブジェクトの表示の制御等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。
すなわち本技術に係る情報処理方法及びプログラムは、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
以上説明した本技術に係る特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
なお、本技術は以下のような構成も採ることができる。
(1)進入が制限される制限領域を設定する設定部と、
仮想オブジェクトを表示可能な表示範囲に基づいて、前記制限領域への進入を妨げる前記仮想オブジェクトである妨害オブジェクトの表示を制御する表示制御部と
を具備する情報処理装置。
(2)(1)に記載の情報処理装置であって、
前記表示制御部は、前記妨害オブジェクトが前記表示範囲に収まるように、前記妨害オブジェクトの表示を制御する
情報処理装置。
(3)(1)又は(2)に記載の情報処理装置であって、さらに、
前記制限領域に関連する所定の対象物の情報を取得する取得部を具備し、
前記表示制御部は、前記所定の対象物を基準として前記妨害オブジェクトの表示を制御する
情報処理装置。
(4)(3)に記載の情報処理装置であって、
前記表示制御部は、前記表示範囲に基づいて、前記所定の対象物に対する前記妨害オブジェクトの表示位置及び表示サイズの少なくとも一方を調整する
情報処理装置。
(5)(3)又は(4)に記載の情報処理装置であって、
前記表示制御部は、前記所定の対象物を基準として前記妨害オブジェクトの候補を生成し、前記表示範囲に基づいて、前記妨害オブジェクトの候補を表示するか否かを判定する
情報処理装置。
(6)(5)に記載の情報処理装置であって、
前記表示制御部は、前記妨害オブジェクトの候補が前記表示範囲に収まるか否かを判定することで、前記妨害オブジェクトの候補を表示するか否かを判定する
情報処理装置。
(7)(3)から(6)のうちいずれか1つに記載の情報処理装置であって、
前記取得部は、前記所定の対象物の情報として、互いに離間した第1の対象物及び第2の対象物の各々の情報を取得可能であり、
前記表示制御部は、前記第1及び前記第2の対象物の間に前記妨害オブジェクトを表示する
情報処理装置。
(8)(3)から(7)のうちいずれか1つに記載の情報処理装置であって、
前記表示制御部は、前記所定の対象物に重畳して前記妨害オブジェクトを表示する
情報処理装置。
(9)(1)から(8)のうちいずれか1つに記載の情報処理装置であって、さらに、
前記表示範囲として前記仮想オブジェクトが表示される表示部の画角を算出する算出部を具備する
情報処理装置。
(10)(9)に記載の情報処理装置であって、
前記表示部は、ユーザの頭部に装着されるHMD(Head Mount Display)に設けられ、
前記算出部は、前記ユーザの頭部の位置及び姿勢の少なくとも一方に基づいて、前記表示部の画角を算出する
情報処理装置。
(11)(9)又は(10)に記載の情報処理装置であって、
前記表示部は、透過型ディスプレイである
情報処理装置。
(12)(1)から(11)のうちいずれか1つに記載の情報処理装置であって、
前記表示制御部は、ユーザの位置及び進行方向の少なくとも一方に応じて前記妨害オブジェクトを表示する
情報処理装置。
(13)(12)に記載の情報処理装置であって、
前記表示制御部は、前記ユーザの周辺の前記制限領域への進入を制限する前記妨害オブジェクトを表示する
情報処理装置。
(14)(1)から(13)のうちいずれか1つに記載の情報処理装置であって、
前記設定部は、ユーザの位置及び目的地の少なくとも一方に基づいて前記制限領域を設定する
情報処理装置。
(15)(1)から(14)のうちいずれか1つに記載の情報処理装置であって、
前記設定部は、前記制限領域への進入の制限の度合いを表す制限度を設定可能であり、
前記表示制御部は、前記制限度に応じて、前記妨害オブジェクトの表示を制御する
情報処理装置。
(16)(1)から(15)のうちいずれか1つに記載の情報処理装置であって、さらに、
前記制限領域への進入及び接近の少なくとも一方を報知する報知情報を生成する報知部を具備する
情報処理装置。
(17)(16)に記載の情報処理装置であって、
前記報知情報は、音情報、表示情報、及び振動情報の少なくとも1つを含む
情報処理装置。
(18)進入が制限される制限領域を設定し、
仮想オブジェクトを表示可能な表示範囲に基づいて、前記制限領域への進入を妨げる前記仮想オブジェクトである妨害オブジェクトの表示を制御する
ことをコンピュータシステムが実行する情報処理方法。
(19)進入が制限される制限領域を設定するステップと、
仮想オブジェクトを表示可能な表示範囲に基づいて、前記制限領域への進入を妨げる前記仮想オブジェクトである妨害オブジェクトの表示を制御するステップと
をコンピュータシステムに実行させるプログラム。
1…ユーザ
12…透過型ディスプレイ
41…マップデータ
42…制御プログラム
50…コントローラ
51…情報取得部
52…領域設定部
53…進入判定部
54…表示範囲算出部
55…レイアウト計画部
56…レイアウト判定部
57…出力制御部
58…報知部
60…視野範囲
61…表示範囲
62…画角
63…制限領域
70…実物体
80…仮想オブジェクト
81、81a~81k…妨害オブジェクト
100…HMD

Claims (19)

  1. ユーザの進入が制限される制限領域を設定する設定部と、
    仮想オブジェクトを表示可能な表示範囲に基づいて、前記制限領域へつながる経路上で前記制限領域への前記ユーザの進入を妨げる妨害物体を表す前記仮想オブジェクトである妨害オブジェクトの表示を制御する表示制御部と
    を具備し、
    前記設定部は、前記制限領域への進入の制限の度合いを表す制限度を設定可能であり、
    前記表示制御部は、前記制限度に応じて、前記妨害オブジェクトの表示を制御する
    情報処理装置。
  2. 請求項1に記載の情報処理装置であって、
    前記妨害物体は、前記制限領域へつながる経路を塞ぐ遮蔽物であり、
    前記表示制御部は、前記制限領域へつながる経路を塞ぐように前記遮蔽物を表す前記妨害オブジェクトを表示する
    情報処理装置。
  3. 請求項1又は2に記載の情報処理装置であって、
    前記表示制御部は、前記妨害オブジェクトが前記表示範囲に収まるように、前記妨害オブジェクトの表示を制御する
    情報処理装置。
  4. 請求項1から3のうちいずれか1項に記載の情報処理装置であって、さらに、
    前記制限領域に関連する所定の対象物の情報を取得する取得部を具備し、
    前記表示制御部は、前記所定の対象物を基準として前記妨害オブジェクトの表示を制御する
    情報処理装置。
  5. 請求項4に記載の情報処理装置であって、
    前記表示制御部は、前記表示範囲に基づいて、前記所定の対象物に対する前記妨害オブジェクトの表示位置及び表示サイズの少なくとも一方を調整する
    情報処理装置。
  6. 請求項4又は5に記載の情報処理装置であって、
    前記表示制御部は、前記所定の対象物を基準として前記妨害オブジェクトの候補を生成し、前記表示範囲に基づいて、前記妨害オブジェクトの候補を表示するか否かを判定する
    情報処理装置。
  7. 請求項6に記載の情報処理装置であって、
    前記表示制御部は、前記妨害オブジェクトの候補が前記表示範囲に収まるか否かを判定することで、前記妨害オブジェクトの候補を表示するか否かを判定する
    情報処理装置。
  8. 請求項4から7のうちいずれか1項に記載の情報処理装置であって、
    前記取得部は、前記所定の対象物の情報として、互いに離間した第1の対象物及び第2の対象物の各々の情報を取得可能であり、
    前記表示制御部は、前記第1及び前記第2の対象物の間に前記妨害オブジェクトを表示する
    情報処理装置。
  9. 請求項4から8のうちいずれか1項に記載の情報処理装置であって、
    前記表示制御部は、前記所定の対象物に重畳して前記妨害オブジェクトを表示する
    情報処理装置。
  10. 請求項1から9のうちいずれか1項に記載の情報処理装置であって、さらに、
    前記表示範囲として前記仮想オブジェクトが表示される表示部の画角を算出する算出部を具備する
    情報処理装置。
  11. 請求項10に記載の情報処理装置であって、
    前記表示部は、前記ユーザの頭部に装着されるHMD(Head Mounted Display)に設けられ、
    前記算出部は、前記ユーザの頭部の位置及び姿勢の少なくとも一方に基づいて、前記表示部の画角を算出する
    情報処理装置。
  12. 請求項10に記載の情報処理装置であって、
    前記表示部は、透過型ディスプレイである
    情報処理装置。
  13. 請求項1から12のうちいずれか1項に記載の情報処理装置であって、
    前記表示制御部は、前記ユーザの位置及び進行方向の少なくとも一方に応じて前記妨害オブジェクトを表示する
    情報処理装置。
  14. 請求項13に記載の情報処理装置であって、
    前記表示制御部は、前記ユーザの周辺の前記制限領域への進入を制限する前記妨害オブジェクトを表示する
    情報処理装置。
  15. 請求項1から14のうちいずれか1項に記載の情報処理装置であって、
    前記設定部は、前記ユーザの位置及び目的地の少なくとも一方に基づいて前記制限領域を設定する
    情報処理装置。
  16. 請求項1から15のうちいずれか1項に記載の情報処理装置であって、さらに、
    前記制限領域への進入及び接近の少なくとも一方を報知する報知情報を生成する報知部を具備する
    情報処理装置。
  17. 請求項16に記載の情報処理装置であって、
    前記報知情報は、音情報、表示情報、及び振動情報の少なくとも1つを含む
    情報処理装置。
  18. コンピュータシステムが実行する情報処理方法であって、
    ユーザの進入が制限される制限領域を設定するステップと、
    仮想オブジェクトを表示可能な表示範囲に基づいて、前記制限領域へつながる経路上で前記制限領域への前記ユーザの進入を妨げる妨害物体を表す前記仮想オブジェクトである妨害オブジェクトの表示を制御するステップと
    を含み、
    前記制限領域を設定するステップは、前記制限領域への進入の制限の度合いを表す制限度を設定し、
    前記妨害オブジェクトの表示を制御するステップは、前記制限度に応じて、前記妨害オブジェクトの表示を制御する
    情報処理方法。
  19. コンピュータシステムに情報処理方法を実行させるプログラムであって、
    ユーザの進入が制限される制限領域を設定するステップと、
    仮想オブジェクトを表示可能な表示範囲に基づいて、前記制限領域へつながる経路上で前記制限領域への前記ユーザの進入を妨げる妨害物体を表す前記仮想オブジェクトである妨害オブジェクトの表示を制御するステップと
    を含み、
    前記制限領域を設定するステップは、前記制限領域への進入の制限の度合いを表す制限度を設定し、
    前記妨害オブジェクトの表示を制御するステップは、前記制限度に応じて、前記妨害オブジェクトの表示を制御する
    プログラム。
JP2019562959A 2017-12-27 2018-12-12 情報処理装置、情報処理方法、及びプログラム Active JP7322713B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017251435 2017-12-27
JP2017251435 2017-12-27
PCT/JP2018/045731 WO2019131143A1 (ja) 2017-12-27 2018-12-12 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2019131143A1 JPWO2019131143A1 (ja) 2021-02-04
JP7322713B2 true JP7322713B2 (ja) 2023-08-08

Family

ID=67067162

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019562959A Active JP7322713B2 (ja) 2017-12-27 2018-12-12 情報処理装置、情報処理方法、及びプログラム

Country Status (6)

Country Link
US (1) US11156844B2 (ja)
EP (1) EP3734428A4 (ja)
JP (1) JP7322713B2 (ja)
KR (1) KR102642775B1 (ja)
CN (1) CN111512277B (ja)
WO (1) WO2019131143A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021020068A1 (ja) * 2019-07-26 2021-02-04 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP7401245B2 (ja) * 2019-10-08 2023-12-19 キヤノン株式会社 画像合成装置、画像合成装置の制御方法およびプログラム
WO2021177186A1 (ja) * 2020-03-06 2021-09-10 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN113304480B (zh) * 2021-05-25 2024-07-02 网易(杭州)网络有限公司 游戏的显示方法、装置和终端
CN117940878A (zh) * 2021-09-02 2024-04-26 斯纳普公司 通过分布式和连接的真实世界对象建立社交连接
US12051149B2 (en) * 2022-10-03 2024-07-30 d3Labs Inc. Display of three-dimensional scenes with changing perspectives

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013235367A (ja) 2012-05-08 2013-11-21 Nec Corp フライトパス表示システム、方法及びプログラム
JP2015224981A (ja) 2014-05-28 2015-12-14 株式会社Screenホールディングス 経路案内装置、経路案内方法、および経路案内プログラム
JP2016138852A (ja) 2015-01-29 2016-08-04 株式会社ゼンリンデータコム ナビゲーションシステム、ナビゲーション装置、グラス型デバイス及び装置間連携方法
US20170166221A1 (en) 2015-12-15 2017-06-15 Universal City Studios Llc Multi-Passenger Ride Vehicle
JP2017119031A (ja) 2015-12-29 2017-07-06 株式会社バンダイナムコエンターテインメント ゲーム装置及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016500352A (ja) * 2012-12-21 2016-01-12 ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー 車両のためのシステム
JPWO2014147858A1 (ja) * 2013-03-19 2017-02-16 Necソリューションイノベータ株式会社 3次元ロック解除装置、3次元ロック解除方法及びプログラム
JP2014191718A (ja) 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
US9630105B2 (en) * 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
JP6390277B2 (ja) * 2014-09-02 2018-09-19 ソニー株式会社 情報処理装置、制御方法、およびプログラム
US9791919B2 (en) * 2014-10-19 2017-10-17 Philip Lyren Electronic device displays an image of an obstructed target
WO2017180990A1 (en) 2016-04-14 2017-10-19 The Research Foundation For The State University Of New York System and method for generating a progressive representation associated with surjectively mapped virtual and physical reality image data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013235367A (ja) 2012-05-08 2013-11-21 Nec Corp フライトパス表示システム、方法及びプログラム
JP2015224981A (ja) 2014-05-28 2015-12-14 株式会社Screenホールディングス 経路案内装置、経路案内方法、および経路案内プログラム
JP2016138852A (ja) 2015-01-29 2016-08-04 株式会社ゼンリンデータコム ナビゲーションシステム、ナビゲーション装置、グラス型デバイス及び装置間連携方法
US20170166221A1 (en) 2015-12-15 2017-06-15 Universal City Studios Llc Multi-Passenger Ride Vehicle
JP2017119031A (ja) 2015-12-29 2017-07-06 株式会社バンダイナムコエンターテインメント ゲーム装置及びプログラム

Also Published As

Publication number Publication date
KR20200100059A (ko) 2020-08-25
EP3734428A4 (en) 2021-03-03
US11156844B2 (en) 2021-10-26
WO2019131143A1 (ja) 2019-07-04
KR102642775B1 (ko) 2024-03-05
CN111512277B (zh) 2024-06-18
CN111512277A (zh) 2020-08-07
EP3734428A1 (en) 2020-11-04
JPWO2019131143A1 (ja) 2021-02-04
US20200319472A1 (en) 2020-10-08

Similar Documents

Publication Publication Date Title
JP7322713B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7283506B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
US10650600B2 (en) Virtual path display
US10818088B2 (en) Virtual barrier objects
JP2022530012A (ja) パススルー画像処理によるヘッドマウントディスプレイ
US11865448B2 (en) Information processing apparatus and user guide presentation method
JP6087453B1 (ja) 仮想空間の提供方法、およびプログラム
JP6363587B2 (ja) 情報処理装置および警告提示方法
JP2019217269A (ja) 立体視効果を調節するためのシステムおよび方法
US10771707B2 (en) Information processing device and information processing method
WO2022004422A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
JP2024050696A (ja) 情報処理装置、ユーザガイド提示方法、およびヘッドマウントディスプレイ
JP2021060627A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2017138973A (ja) 仮想空間の提供方法、およびプログラム
JP6634654B2 (ja) 情報処理装置および警告提示方法
JP7481395B2 (ja) 情報処理装置および警告提示方法
WO2022196199A1 (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211108

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20211108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230710

R151 Written notification of patent or utility model registration

Ref document number: 7322713

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151