JPWO2020066682A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JPWO2020066682A1
JPWO2020066682A1 JP2020548455A JP2020548455A JPWO2020066682A1 JP WO2020066682 A1 JPWO2020066682 A1 JP WO2020066682A1 JP 2020548455 A JP2020548455 A JP 2020548455A JP 2020548455 A JP2020548455 A JP 2020548455A JP WO2020066682 A1 JPWO2020066682 A1 JP WO2020066682A1
Authority
JP
Japan
Prior art keywords
display
virtual object
user
parameter
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020548455A
Other languages
English (en)
Other versions
JP7405085B2 (ja
Inventor
敦 石原
敦 石原
浩丈 市川
浩丈 市川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020066682A1 publication Critical patent/JPWO2020066682A1/ja
Application granted granted Critical
Publication of JP7405085B2 publication Critical patent/JP7405085B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/327—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections using wireless networks, e.g. Wi-Fi® or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5252—Changing parameters of virtual cameras using two or more virtual cameras concurrently or sequentially, e.g. automatically switching between fixed virtual cameras when a character changes room or displaying a rear-mirror view in a car-driving game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6653—Methods for processing data by generating or executing the game program for rendering three dimensional images for altering the visibility of an object, e.g. preventing the occlusion of an object, partially hiding an object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/62—Semi-transparency
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

本開示は、仮想オブジェクトを遮蔽する際に視認性を担保することができるようにする情報処理装置、情報処理方法、及びプログラムに関する。
表示装置の第１のユーザから見て、表示装置によって表示される仮想オブジェクトが少なくとも１つの実オブジェクトによって隠れると判定される第１の状態において、第１の表示パラメータを用いて仮想オブジェクトを表示し、第１のユーザから見て、仮想オブジェクトが第１の状態よりも多くの実オブジェクトによって隠れると判定される第２の状態において、第１の表示パラメータと異なる第２の表示パラメータを用いて仮想オブジェクトを表示するように表示装置を制御する表示制御部を備える情報処理装置が提供される。本開示は、例えば、拡張現実システムを構成する機器に適用することができる。

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関し、特に、仮想オブジェクトの遮蔽と視認性の担保を両立することができるようにした情報処理装置、情報処理方法、及びプログラムに関する。
近年、各種の電子機器を利用して、実世界における実オブジェクトに対して仮想オブジェクトを重畳表示させることで実世界を拡張する拡張現実（AR：Augmented Reality）に関する技術の研究・開発が盛んに行われている。
例えば、特許文献１には、光学的透過性を有する透過ディスプレイに、透過ディスプレイ越しに見える実オブジェクトに関する表示オブジェクト（仮想オブジェクト）を表示する技術が開示されている。
特開2013-15796号公報
ところで、仮想オブジェクトを実世界に重畳表示する際の違和感の低減や、ユーザに奥行きの手がかりを与えるなどの目的で、実オブジェクトにより仮想オブジェクトを遮蔽する遮蔽処理を行う場合がある。
しかしながら、このような遮蔽処理を行うことで、周辺にある実オブジェクトとの位置関係よっては、実オブジェクトにより過度に遮蔽されて仮想オブジェクトが見えなくなる恐れがある。そのため、仮想オブジェクトの視認性を担保するための技術が求められている。
本開示はこのような状況に鑑みてなされたものであり、仮想オブジェクトの遮蔽と視認性の担保を両立することができるようにするものである。
本開示の一側面の情報処理装置は、表示装置の第１のユーザから見て、前記表示装置によって表示される仮想オブジェクトが少なくとも１つの実オブジェクトによって隠れると判定される第１の状態において、第１の表示パラメータを用いて前記仮想オブジェクトを表示し、前記第１のユーザから見て、前記仮想オブジェクトが前記第１の状態よりも多くの実オブジェクトによって隠れると判定される第２の状態において、前記第１の表示パラメータと異なる第２の表示パラメータを用いて前記仮想オブジェクトを表示するように前記表示装置を制御する表示制御部を備える情報処理装置である。
本開示の一側面の情報処理装置は、独立した装置であってもよいし、１つの装置を構成する内部ブロックであってもよい。
本開示の一側面の情報処理方法、及びプログラムは、上述した本開示の一側面の情報処理装置に対応する情報処理方法、及びプログラムである。
本開示の一側面の情報処理装置、情報処理方法、及びプログラムにおいては、表示装置の第１のユーザから見て、前記表示装置によって表示される仮想オブジェクトが少なくとも１つの実オブジェクトによって隠れると判定される第１の状態において、第１の表示パラメータを用いて前記仮想オブジェクトが表示され、前記第１のユーザから見て、前記仮想オブジェクトが前記第１の状態よりも多くの実オブジェクトによって隠れると判定される第２の状態において、前記第１の表示パラメータと異なる第２の表示パラメータを用いて前記仮想オブジェクトが表示される。
本開示の一側面によれば、仮想オブジェクトの遮蔽と視認性の担保を両立することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示に係る技術を適用した拡張現実システムの構成の例を示す図である。 本開示に係る技術を適用した拡張現実システムの使用の例を示す図である。 クライアント端末と位置共有サーバの構成の例を示すブロック図である。 表示方法決定部の詳細な構成の例を示すブロック図である。 複数のユーザにより拡張現実システムを使用した場合における仮想オブジェクトの遮蔽の例を示す図である。 実オブジェクトにより隠される仮想オブジェクトの様子を時系列で表した図である。 遮蔽された仮想オブジェクトの表示位置の第１の例を示す図である。 遮蔽された仮想オブジェクトの表示位置の第２の例を示す図である。 クライアント端末の動作を説明するフローチャートである。 第１の表示方法決定処理の流れを説明するフローチャートである。 遮蔽された仮想オブジェクトの色の透過度の第１の例を示す図である。 遮蔽された仮想オブジェクトの色の透過度の第２の例を示す図である。 遮蔽された仮想オブジェクトの色の透過度を変更する場合におけるユーザとオブジェクトの配置の例を示す図である。 第２の表示方法決定処理の流れを説明するフローチャートである。 第３の表示方法決定処理の流れを説明するフローチャートである。 クライアント端末とマップ提供サーバの構成の例を示すブロック図である。 本開示に係る技術を適用した拡張現実システムの使用の例を示す図である。 実オブジェクトにより隠される仮想オブジェクトの様子を模式的に表した図である。 クライアント端末の動作を説明するフローチャートである。 コンピュータの構成の例を示す図である。
以下、図面を参照しながら本開示に係る技術（本技術）の実施の形態について説明する。なお、説明は以下の順序で行うものとする。
１．第１の実施の形態
２．第２の実施の形態
３．変形例
４．コンピュータの構成
＜１．第１の実施の形態＞
（システムの構成の例）
図１は、本開示に係る技術を適用した拡張現実システムの構成の例を示す図である。
図１において、拡張現実システムは、クライアント端末１０−１乃至１０−Ｎ（Ｎ：１以上の整数）、位置共有サーバ２０、及びネットワーク５０から構成される。クライアント端末１０−１乃至１０−Ｎのそれぞれと、位置共有サーバ２０とは、インターネットや携帯電話網等を含むネットワーク５０を介して相互にデータをやり取りすることが可能である。
クライアント端末１０−１は、例えば、メガネ型情報端末等のウェアラブル端末、ヘッドマウントディスプレイ（HMD：Head Mounted Display）、スマートフォンや携帯電話機、タブレット型のコンピュータ、パーソナルコンピュータ、ゲーム機などの電子機器（情報処理装置）である。なお、クライアント端末１０−１は、主に、ユーザが携帯して使用可能な携帯端末を想定しているが、それに限らず、固定端末であってもよい。
クライアント端末１０−１は、例えばユーザの頭部に装着され、そのユーザの視線の方向に固定された表示デバイス（表示装置）に、実世界に存在する実オブジェクトを表示（透過）するとともに、AR(Augmented Reality)技術によって実世界（実空間）に存在しない仮想オブジェクトを重畳表示する。
クライアント端末１０−２乃至１０−Ｎは、クライアント端末１０−１と同様に、ウェアラブルコンピュータやヘッドマウントディスプレイ、スマートフォン等の電子機器から構成され、ユーザに対して実オブジェクトとともに仮想オブジェクトを提示する。
位置共有サーバ２０は、クライアント端末１０−１乃至１０−Ｎのそれぞれ（を装着したユーザ）の位置情報や向き情報を共有するためのサーバである。位置共有サーバ２０は、ネットワーク５０を介してクライアント端末１０−１乃至１０−Ｎから送信されてくる位置情報や向き情報を受信する。また、位置共有サーバ２０は、各クライアント端末１０から受信した位置情報や向き情報を、ネットワーク５０を介して他のクライアント端末１０に送信する。
以上のように構成される拡張現実システムでは、クライアント端末１０を装着（又は把持）した複数のユーザが、同一のARサービスを利用する場合に、実世界に仮想オブジェクトを表示させるとき、各ユーザの位置（視点）に応じて仮想オブジェクトが表示されることになる。なお、以下の説明では、実世界（実空間）に存在する実オブジェクト（ユーザ等の人物を含む）を、実オブジェクトＯRとも称する一方で、現実の世界（実空間）には存在しない仮想オブジェクトを、仮想オブジェクトＯVとも称する。
ここで、図２は、本開示に係る技術を適用した拡張現実システムの使用の例を示している。
図２においては、ユーザ１１−１乃至１１−４の４人のユーザが、それぞれクライアント端末１０−１乃至１０−４を装着して同一のARサービスを利用している場合に、４人のユーザの前方に、表示対象物１２を表示する場合を模式的に表している。この場合において、ユーザ１１−１乃至１１−４は実オブジェクトＯRであり、表示対象物１２は、仮想オブジェクトＯVであると言える。
なお、以下の説明では、同一のARサービス（例えばARゲーム）の提供を受けている複数のユーザのうち、注目しているユーザを、単にユーザ（第１のユーザ）と称し、注目しているユーザと異なるユーザを他のユーザ（第２のユーザ）と称して区別する。
例えば、クライアント端末１０−１を装着したユーザ１１−１（第１のユーザ）からすれば、ユーザ１１−２乃至１１−４は、他のユーザ１１（第２のユーザ）であるし、あるいは、例えば、クライアント端末１０−４を装着したユーザ１１−４（第１のユーザ）からすれば、ユーザ１１−１乃至１１−３は、他のユーザ１１（第２のユーザ）であると言える。
クライアント端末１０−１乃至１０−４のそれぞれは、ネットワーク５０を介して位置共有サーバ２０と位置情報をやり取りすることで、同一の座標内でのお互いの位置を共有することができる。また、ここでは、位置情報とともに、各ユーザ１１の頭部の向きを示す向き情報を共有することができる。
具体的には、クライアント端末１０−１を装着したユーザ１１−１の位置Ｐ１及び頭部の向きＤ１と、クライアント端末１０−２を装着したユーザ１１−２の位置Ｐ２及び頭部の向きＤ２と、クライアント端末１０−３を装着したユーザ１１−３の位置Ｐ３及び頭部の向きＤ３と、クライアント端末１０−４を装着したユーザ１１−４の位置Ｐ４及び頭部の向きＤ４とが、クライアント端末１０−１乃至１０−４の間で共有される。
クライアント端末１０−１乃至１０−４のそれぞれは、位置共有サーバ２０を介して共有された位置情報及び向き情報などの情報に基づき、表示対象物１２に対する他のユーザ１１の遮蔽の程度を判定し、その判定結果に対応する表示パラメータを決定して、決定した表示パラメータを用いて表示対象物１２を表示する。この表示パラメータは、例えば、表示対象物１２の表示位置などの属性に関連付けられている。
このように、本開示に係る技術を適用した拡張現実システムにおいて、各クライアント端末１０では、仮想オブジェクトＯVを表示するに際し、仮想オブジェクトＯVに対する実オブジェクトＯRの遮蔽の程度が判定され、その判定結果に対応する表示パラメータに基づき、仮想オブジェクトＯVが表示される。
なお、図１においては、説明の都合上、拡張現実システムとして、最小限の構成を示したが、例えば、AR技術に関する機能を提供する専用のARサーバなどを設置するなど、他の構成要素が追加されるようにしてもよい。また、実オブジェクトＯRとしては、ユーザ１１に限らず、例えば、家具や建物などの実オブジェクトが含まれる。
（クライアント端末の構成）
図３は、図１のクライアント端末１０−１の構成の例を示している。
図３において、クライアント端末１０−１は、測定部１０１、位置推定部１０２、通信部１０３、表示方法決定部１０４、表示制御部１０５、及び表示部１０６を含む。
測定部１０１は、例えば、ステレオカメラ、ジャイロセンサや加速度センサ等の各種のセンサなどから構成される。測定部１０１は、クライアント端末１０−１を装着したユーザ１１−１の動作に応じて、各種の測定を行い、その測定の結果得られる測定情報を、位置推定部１０２に供給する。
この測定情報としては、例えば、ステレオカメラにより測定される距離情報のほか、ジャイロセンサにより測定される角速度情報や、加速度センサにより測定される加速度情報等のセンサ情報などの情報を含む。
位置推定部１０２は、測定部１０１から供給される測定情報に基づいて、クライアント端末１０−１の位置を推定し、その推定の結果得られる位置情報を、通信部１０３及び表示方法決定部１０４に供給する。ここでは、測定情報として、距離情報等の情報を用いることで、例えば、周辺の実オブジェクトに対するユーザ１１−１の位置（相対的な位置）を推定することができる。
また、位置推定部１０２は、測定部１０１から供給される測定情報に基づいて、クライアント端末１０−１を装着したユーザ１１−１の頭部の向きを推定し、その推定の結果得られる向き情報を、通信部１０３及び表示方法決定部１０４に供給する。ここでは、測定情報として、角速度情報や加速度情報等の情報を用いることで、例えば、のユーザ１１−１の頭部の向き（姿勢）を推定することができる。
通信部１０３は、例えば、無線LAN(Local Area Network)、セルラー方式の通信（例えばLTE-Advancedや5G等）、若しくはBluetooth（登録商標）等の無線通信、又はイーサネット（登録商標）等の有線通信に対応した通信モジュールなどから構成される。
通信部１０３は、位置推定部１０２から供給されるユーザ１１−１の位置情報及び向き情報を、ネットワーク５０を介して位置共有サーバ２０に送信する。また、通信部１０３は、ネットワーク５０を介して位置共有サーバ２０から送信されてくる他のユーザ１１−２乃至１１−Ｎの位置情報及び向き情報を受信し、表示方法決定部１０４に供給する。
表示方法決定部１０４には、位置推定部１０２からのユーザ１１−１の位置情報及び向き情報と、通信部１０３からの他のユーザ１１−２乃至１１−Ｎの位置情報及び向き情報が供給される。表示方法決定部１０４は、ユーザ１１−１の位置情報及び向き情報、並びに他のユーザ１１−２乃至１１−Ｎの位置情報及び向き情報などの情報に基づいて、仮想オブジェクトＯVの表示方法を決定する。
ここで、図４は、表示方法決定部１０４の詳細な構成を示している。図４において、表示方法決定部１０４は、位置情報取得部１１１、遮蔽判定部１１２、遮蔽割合計算部１１３、表示パラメータ設定部１１４、及び属性判定部１１５を含む。
位置情報取得部１１１は、位置推定部１０２により推定されるユーザ１１−１の位置情報及び向き情報、又は通信部１０３により受信される他のユーザ１１−２乃至１１−Ｎの位置情報及び向き情報を取得し、遮蔽判定部１１２、遮蔽割合計算部１１３、及び表示パラメータ設定部１１４に供給する。
遮蔽判定部１１２は、位置情報取得部１１１から供給される位置情報及び向き情報などの情報に基づいて、仮想オブジェクトＯVが実オブジェクトＯRにより隠れているかどうかを判定し、その判定結果を、遮蔽割合計算部１１３及び表示パラメータ設定部１１４に供給する。ここでは、仮想オブジェクトＯVに対する実オブジェクトＯRの遮蔽の程度が判定されるが、この遮蔽の程度としては、実際に隠れている場合に限らず、隠れる可能性がある場合を含めるようにしてもよい。
遮蔽割合計算部１１３は、遮蔽判定部１１２から供給される判定結果が遮蔽していることを示している場合、位置情報取得部１１１から供給される位置情報及び向き情報などの情報に基づいて、仮想オブジェクトＯVに対する実オブジェクトＯRの遮蔽割合（遮蔽具合）を計算し、その計算の結果を、表示パラメータ設定部１１４に供給する。
表示パラメータ設定部１１４は、位置情報取得部１１１から供給される位置情報及び向き情報、遮蔽判定部１１２から供給される遮蔽の判定結果、並びに遮蔽割合計算部１１３からの遮蔽割合の計算の結果などの情報に基づいて、表示パラメータを生成し、表示制御部１０５に供給（設定）する。
属性判定部１１５は、仮想オブジェクトＯVの属性を確認し、仮想オブジェクトＯVが実世界の特定の位置に紐付いているかどうかを判定し、その判定結果を、表示パラメータ設定部１１４に供給する。このとき、表示パラメータ設定部１１４は、表示パラメータを生成するに際し、属性判定部１１５から供給される判定結果を用いるようにする。
図３に戻り、表示制御部１０５は、表示方法決定部１０４から供給される表示パラメータに基づいて、仮想オブジェクトＯV等の情報を、表示部１０６に表示する制御を行う。なお、表示制御部１０５が、位置情報取得部１１１乃至属性判定部１１５（図４）を含むことで、表示パラメータを生成するようにしてもよい。
表示部１０６は、例えば、液晶ディスプレイ（LCD：Liquid Crystal Display）や有機ELディスプレイ（OLED：Organic Light Emitting Diode）、プロジェクタ等の表示デバイス（表示装置）から構成される。表示部１０６は、表示制御部１０５からの制御に従い、仮想オブジェクトＯV等の情報（を含む映像又は画像）を表示する。
なお、クライアント端末１０−１において、位置推定部１０２、表示方法決定部１０４、又は表示制御部１０５は、CPU(Central Processing Unit)等のプロセッサ（図２０のCPU１００１）がプログラムを実行することで実現されてもよいし、専用のハードウェアにより実現されてもよい。
また、図３において、クライアント端末１０−１は、最小限の構成を示しているが、例えば、仮想オブジェクトＯVに関する音声を出力するための音声出力装置（例えば、スピーカやイヤホン等）など、他の構成要素が追加されるようにしてもよい。
（位置共有サーバの構成）
また、図３は、図１の位置共有サーバ２０の構成の例を示している。
図３において、位置共有サーバ２０は、制御部２０１、及び通信部２０２を含む。
制御部２０１は、例えば、CPU等のプロセッサから構成され、各部の動作の制御や各種の演算処理を行う中心的な処理装置として機能する。
通信部２０２は、無線通信又は有線通信に対応した通信モジュールなどから構成される。
通信部２０２は、制御部２０１からの制御に従い、ネットワーク５０を介してクライアント端末１０−１から送信されてくる位置情報及び向き情報を受信し、ネットワーク５０を介してクライアント端末１０−２乃至１０−Ｎにそれぞれ送信する。
また、通信部２０２は、制御部２０１からの制御に従い、ネットワーク５０を介してクライアント端末１０−２乃至１０−Ｎから送信されてくる位置情報及び向き情報をそれぞれ受信し、ネットワーク５０を介してクライアント端末１０−１に送信する。
なお、図３において、クライアント端末１０−２乃至１０−Ｎは、クライアント端末１０−１と同様に構成されるため、ここでは、その詳細な説明は省略する。
（仮想オブジェクトＯVの遮蔽時の問題点と解決手段）
ところで、本開示に係る技術を適用した拡張現実システムを利用することで、様々なARサービスを提供することができるが、ここでは、例えば、ARサービスとして、複数のユーザ１１が協力してプレイする拡張現実（AR）を利用したゲームであるARゲームを一例にして説明する。
例えば、ARゲームにおいては、クライアント端末１０−１乃至１０−Ｎをそれぞれ装着した複数のユーザ１１−１乃至１１−Ｎによる協力プレイの進行に合わせて、実世界に仮想オブジェクトＯVが重畳表示される場合がある。
このような場合において、仮想オブジェクトＯVを実世界に重畳表示するに際の違和感の低減や、ユーザ１１に奥行きの手がかりを与えるなどの目的で、実オブジェクトＯR（例えば他のユーザ１１等）によって、仮想オブジェクトＯV（例えばARゲームの登場人物やアイテム等の表示対象物１２等）を遮蔽する遮蔽処理を行うときがある。
このような遮蔽処理を行うことで、違和感の低減や奥行きの手がかりを与えることが可能となる一方で、実オブジェクトＯRにより仮想オブジェクトＯVが遮蔽されるため、その状況によっては、ユーザ１１が、仮想オブジェクトＯVを見ることができなくなる恐れがある。
ここで、図５は、複数のユーザ１１がARゲームを協力プレイしている場面を表している。なお、図５は、ユーザ１１−１乃至１１−４の４人のユーザが、それぞれクライアント端末１０−１乃至１０−４を装着して同一のARサービスを利用している場合に、ユーザ１１−１乃至１１−３の後方に位置するユーザ１１−４の視界とされる。
図５においては、ARゲームの進行の途中で、登場人物やアイテム等の表示対象物１２が表示されているが、ユーザ１１−２とユーザ１１−３によって、表示対象物１２の大部分が遮蔽されている。そのため、ユーザ１１−２とユーザ１１−３の後方に位置するユーザ１１−４からすれば、ユーザ１１−２とユーザ１１−３によって表示対象物１２が遮られてしまい、表示対象物１２の一部（図中の左下の極一部）しか視認することができない。
このように、現状の技術であると、その状況（周辺にある実オブジェクトＯRとの位置関係）によっては過度に遮蔽されて仮想オブジェクトＯVを視認できなくなる可能性があるため、仮想オブジェクトＯVを実オブジェクトＯRにより遮蔽する際には、視認性を担保することが求められる。そこで、本開示に係る技術を適用した拡張現実システムでは、仮想オブジェクトＯVを実オブジェクトＯRにより遮蔽するに際して、仮想オブジェクトＯVの遮蔽と視認性の担保を両立するための技術を提案する。
なお、本開示に係る技術における遮蔽処理は、実オブジェクトＯRによって仮想オブジェクトＯVが隠されているかのように仮想オブジェクトＯVを表示する処理とみなされもよい。より具体的には、ユーザから見て仮想オブジェクトＯVの手前に配置された実オブジェクトＯRの形状に基づいて、仮想オブジェクトＯVの一部を非表示にする処理とみなされてもよい。言い換えると、このような非表示処理の結果、実オブジェクトＯRに重なる仮想オブジェクトＯVの一部が切り取られる。仮想オブジェクトＯVのこのような表示処理は、拡張現実の技術の分野において「オクルージョン」と言われる場合がある。
図６は、他のユーザ１１により遮蔽され得る表示対象物１２の様子を時系列で表している。なお、図６のＡは、ある時刻t11における各ユーザ１１の視界を模式的に表し、図６のＢは、時刻t11よりも時間的に後の時刻t12における各ユーザ１１の視界を模式的に表している。
図６のＡにおいて、ユーザ１１−１乃至１１−４のそれぞれの視界Ｖ１乃至Ｖ４には、表示対象物１２の大部分がそれぞれ入っており、かつ、他のユーザ１１により遮蔽もされていない。そのため、時刻t11において、ユーザ１１−１乃至１１−４は、表示対象物１２をそれぞれ視認可能な状態となっている。
一方で、図６のＢにおいて、ユーザ１１−１乃至１１−４のそれぞれの視界Ｖ１乃至Ｖ４には、表示対象物１２の大部分又は一部が入っているが、一部のユーザ１１の視界が他の一部のユーザ１１により遮蔽されている。より具体的には、例えば、ユーザ１１−４の視界Ｖ４には、その前方に存在するユーザ１１−２が入っている。そのため、時刻t12において、ユーザ１１−１乃至１１−４は、表示対象物１２をそれぞれ視認可能な状態とはなっていない。
このように、仮想オブジェクトＯVを隠す可能性のある実オブジェクトＯRの数が多い場合（例えばユーザ４人）には、ある時点（例えば、時刻t11）では仮想オブジェクトＯVの見える部分が多くても、将来的（例えば、時刻t12）には仮想オブジェクトＯVが隠れてしまう可能性が高い。
そこで、本開示に係る技術を適用した拡張現実システムでは、仮想オブジェクトＯVを隠している実オブジェクトＯRの数や、遮蔽されている割合（遮蔽割合）などの遮蔽の程度に基づいて、全てのユーザ１１−１乃至１１−４が見える位置に、仮想オブジェクトＯVが表示（移動）されるようにする。
図７は、実オブジェクトＯRにより遮蔽された仮想オブジェクトＯVの表示位置の第１の例を示している。図７においては、ARゲームの進行の途中で、表示対象物１２を表示するタイミングとなったが、デフォルトの位置に表示すると、図中の点線の枠で示すように、ユーザ１１−４にとっては、表示対象物１２が、２人のユーザ（他のユーザ１１−１，１１−２）によって遮蔽されてしまう。
そのため、図７においては、表示対象物１２を、図中の矢印で示すように、デフォルトの位置からその上方の位置に所定の距離だけ移動させて、全てのユーザ１１−１乃至１１−４が視認可能な位置に表示されるようにする。これにより、仮想オブジェクトＯVを表示するに際し、遮蔽処理を行った場合と同様に、実オブジェクトＯR（他のユーザ１１−１乃至１１−３）によって違和感の低減や奥行きの手がかりを与えることが可能となるとともに、仮想オブジェクトＯVの視認性を担保することができる。
また、図８は、実オブジェクトＯRにより遮蔽された仮想オブジェクトＯVの表示位置の第２の例を示している。図８においては、表示対象物１２の表示タイミングで、デフォルトの位置に表示すると、ユーザ１１−４にとっては、表示対象物１２の一部（図中の左下の極一部）が、１人のユーザ（他のユーザ１１−１）によって遮蔽されることになる。
この場合において、表示対象物１２をデフォルトの位置に表示したとしても、ユーザ１１−１乃至１１−３は表示対象物１２の全てを視認可能であるし、ユーザ１１−４からしても、表示対象物１２の左下の極一部を視認することはできないものの、表示対象物１２の大部分を視認できることから、表示対象物１２の内容や状態等を認識することは可能である。
そのため、図８においては、表示対象物１２をデフォルトの位置に表示して、全てのユーザ１１−１乃至１１−４が視認可能な位置に表示されるようにする。これにより、仮想オブジェクトＯVを表示するに際し、実オブジェクトＯRによって違和感の低減や奥行きの手がかりを与えることが可能となるとともに、仮想オブジェクトＯVの視認性を担保することができる。
なお、図８においては、表示対象物１２をデフォルトの位置に表示するとして説明したが、表示対象物１２をデフォルトの位置からその右方に所定の距離だけ移動させて、ユーザ１１−４を含む全てのユーザ１１が完全に視認可能な位置に表示させるようにしてもよい。
ここで、図８の第２の例に示した状態を、図７の第１の例に示した状態と比較すれば、図８の第２の例に示した状態（第１の状態）では、仮想オブジェクトＯV（表示対象物１２）が少なくとも１つの実オブジェクトＯR（１人のユーザ：他のユーザ１１−１）によって隠れると判定され、仮想オブジェクトＯV（表示対象物１２）の表示位置（デフォルトの位置、又はデフォルトの位置よりも右方に所定の距離だけ離れた位置）に関連付けられた表示パラメータ（第１の表示パラメータ）を用いて、仮想オブジェクトＯV（表示対象物１２）が表示される。
一方で、図７の第１の例に示した状態（第２の状態）では、仮想オブジェクトＯV（表示対象物１２）が図８の第２の例に示した状態（第１の状態）よりも多くの実オブジェクトＯR（２人のユーザ：他のユーザ１１−１，１１−２）によって隠れると判定され、仮想オブジェクトＯV（表示対象物１２）の表示位置（デフォルトの位置よりも上方に所定の距離だけ離れた位置）に関連付けられた表示パラメータ（第２の表示パラメータ）を用いて、仮想オブジェクトＯV（表示対象物１２）が表示される。
（クライアント端末の動作）
次に、図９及び図１０のフローチャートを参照して、上述したクライアント端末１０の動作を説明する。なお、ここでは、上述した図５乃至図８の例と同様に、ARゲームを協力してプレイしているユーザ１１−１乃至１１−４のうち、ユーザ１１−４に装着されるクライアント端末１０−４の動作を一例に説明する。
クライアント端末１０−４では、マップがロードされる（Ｓ１１）。すなわち、クライアント端末１０−４では、事前に、測定部１０１（のカメラ）により撮像した複数の撮像画像に基づき、その周辺の３次元の地図情報（マップ）をあらかじめ生成しておくことで、現在位置に対応したマップ（いわば内部生成マップ）をロードすることができる。
ステップＳ１２において、位置情報取得部１１１は、ユーザ１１−４の位置情報及び向き情報を取得する。
ステップＳ１３において、遮蔽判定部１１２は、ロードしたマップ上のユーザ１１−４の位置や向きなどの状況に基づいて、表示対象物１２等の仮想オブジェクトＯVが他のユーザ１１−１乃至１１−３以外の実オブジェクトＯR（例えば、マップ上の家具や建物等）に隠れているかどうかを判定する。
ステップＳ１３の判定処理が肯定（Ｓ１３の「YES」）である場合、処理は、ステップＳ１４に進められる。ステップＳ１４において、遮蔽割合計算部１１３は、仮想オブジェクトＯVを遮蔽している実オブジェクトＯRの遮蔽割合を計算する。
ステップＳ１４の処理が終了すると、処理は、ステップＳ１５に進められる。また、ステップＳ１３の判定処理が否定（Ｓ１３の「NO」）である場合、ステップＳ１４はスキップされ、処理は、ステップＳ１５に進められる。
ステップＳ１５において、位置情報取得部１１１は、他のユーザ１１−１乃至１１−３の位置情報及び向き情報を取得する。
ステップＳ１６において、遮蔽判定部１１２は、ロードしたマップ上の他のユーザ１１−１乃至１１−３の位置や向きなどの状況に基づいて、表示対象物１２等の仮想オブジェクトＯVが他のユーザ１１−１乃至１１−３に隠れているかどうかを判定する。
ステップＳ１６の判定処理が肯定（Ｓ１６の「YES」）である場合、処理は、ステップＳ１７に進められる。ステップＳ１７において、表示方法決定部１０４は、表示方法決定処理を実行する。
この表示方法決定処理では、仮想オブジェクトＯVに対する実オブジェクトＯRの遮蔽の程度が判定され、その判定結果に対応する表示パラメータが設定される。
ここで、遮蔽の程度とは、例えば、表示対象物１２とユーザ１１−４との間に存在して表示対象物１２を隠している他のユーザ１１−１乃至１１−３の数や、表示対象物１２における全体の領域に対する他のユーザ１１−１乃至１１−３により隠れている領域の割合（遮蔽の割合）などを含んでいる。また、ここでは、表示パラメータが、表示対象物１２の表示位置である属性に関連付けられている。
なお、この表示方法決定処理の詳細は、図１０のフローチャートを参照して後述する。
ステップＳ１７の処理が終了すると、処理は、ステップＳ１８に進められる。また、ステップＳ１６の判定処理が否定（Ｓ１６の「NO」）である場合、ステップＳ１７はスキップされ、処理は、ステップＳ１８に進められる。
ステップＳ１８において、表示制御部１０５は、仮想オブジェクトＯVの表示を制御する。
例えば、この表示制御処理では、ステップＳ１３の判定処理が肯定（Ｓ１３の「YES」）である場合に、ステップＳ１４の処理で計算される遮蔽割合に基づき、仮想オブジェクトＯV（表示対象物１２）が、実オブジェクトＯR（例えば家具や建物等の他のユーザ１１−１乃至１１−３以外の実オブジェクトＯR）によって所定の割合で遮蔽されて表示される。
また、例えば、この表示制御処理では、ステップＳ１６の判定処理が肯定（Ｓ１６の「YES」）である場合に、ステップＳ１７の処理で設定された表示パラメータに基づき、仮想オブジェクトＯV（表示対象物１２）が表示される。
ステップＳ１８の処理が終了すると、処理は、ステップＳ１９に進められる。ステップＳ１９においては、処理を終了するかどうかが判定される。
ステップＳ１９の判定処理が否定（Ｓ１９の「NO」）である場合、処理は、ステップＳ１２に戻り、上述したステップＳ１２乃至Ｓ１９の処理が繰り返され、実オブジェクトＯRに対する仮想オブジェクトＯVの表示が制御される。また、ステップＳ１９の判定処理が肯定（Ｓ１９の「YES」）である場合、図９に示した処理は終了される。
以上、クライアント端末１０の動作を説明した。
なお、クライアント端末１０において、仮想オブジェクトＯVの表示を制御するタイミングとしては、例えば、仮想オブジェクトＯVが実世界に重畳表示されるタイミングのほか、例えば、既に表示済みの仮想オブジェクトＯVが実オブジェクトＯRにより遮蔽されるときなどのタイミングとされる。
（第１の表示方法決定処理の流れ）
次に、図１０のフローチャートを参照して、図９のステップＳ１７に対応する第１の表示方法決定処理の流れを説明する。
ステップＳ１１１において、遮蔽判定部１１２は、表示対象物１２等の仮想オブジェクトＯVを隠している他のユーザ１１の数及び遮蔽割合が閾値未満かどうかを判定する。
ステップＳ１１１の判定処理が肯定（Ｓ１１１の「YES」）である場合、処理は、ステップＳ１１２に進められる。ステップＳ１１２において、表示パラメータ設定部１１４は、全てのユーザが視認可能な第１の位置に仮想オブジェクトＯVを表示させる第１の表示パラメータを設定する。
これにより、例えば、図８に示したように、表示対象物１２が１人のユーザ（他のユーザ１１−１）により遮蔽され、その遮蔽割合が所定の割合未満となる場合には、表示対象物１２を、デフォルトの位置に表示させる第１の表示パラメータが設定され（図１０のＳ１１２）、表示対象物１２は、全てのユーザ１１−１乃至１１−４が視認可能な第１の位置に表示される（図９のＳ１８）。
一方で、ステップＳ１１１の判定処理が否定（Ｓ１１１の「NO」）である場合、処理は、ステップＳ１１３に進められる。ステップＳ１１３において、表示パラメータ設定部１１４は、全てのユーザが視認可能な第２の位置に仮想オブジェクトＯVを表示させる第２の表示パラメータを設定する。
これにより、例えば、図７に示したように、表示対象物１２が２人のユーザ（他のユーザ１１−１，１１−２）により遮蔽され、その遮蔽割合が所定の割合以上となる場合には、表示対象物１２を、デフォルトの位置からその上方の第２の位置に移動させる（表示位置を変更させる）第２の表示パラメータが設定され（図１０のＳ１１３）、表示対象物１２は、全てのユーザ１１−１乃至１１−４が視認可能な第２の位置に表示される（図９のＳ１８）。
ステップＳ１１２又はＳ１１３の処理が終了すると、処理は、図９のステップＳ１７に戻され、それ以降の処理が行われる。
このように、第１の表示方法決定処理では、遮蔽の程度の判定に際し、仮想オブジェクトＯV（表示対象物１２）が少なくとも１つの実オブジェクトＯR（１人のユーザ：他のユーザ１１−１）によって隠れると判定される第１の状態（図８の第２の例に示した状態）において、第１の表示パラメータ（第１の表示位置に表示させるためのパラメータ）を用いて仮想オブジェクトＯV（表示対象物１２）を表示する。
一方で、第１の表示方法決定処理では、遮蔽の程度の判定に際し、仮想オブジェクトＯV（表示対象物１２）が第１の状態よりも多くの実オブジェクトＯR（２人のユーザ：他のユーザ１１−１，１１−２）によって隠れると判定される第２の状態（図７の第１の例に示した状態）において、第２の表示パラメータ（第２の表示位置に表示させるためのパラメータ）を用いて仮想オブジェクトＯV（表示対象物１２）を表示する。
なお、第１の表示方法決定処理では、ステップＳ１１１の判定処理で、遮蔽の程度を判定するに際して、判定の対象に、仮想オブジェクトＯVを隠している他のユーザの数とともに遮蔽割合を含めたが、この遮蔽割合を判定の対象に含めないようにしてもよい。また、遮蔽の程度の判定の対象としては、仮想オブジェクトＯVを隠している他のユーザ１１の数が含まれていれば、他の遮蔽の程度を表す指標を用いるようにしてもよい。また、判定の基準となる閾値は、例えばARサービスの内容や場面などに応じて適宜調整することができる。
以上のように、第１の実施の形態では、仮想オブジェクトＯVの表示位置に関連付けられている表示パラメータを、仮想オブジェクトＯVを遮蔽している実オブジェクトＯRの数に応じて変更して、全てのユーザが視認可能な位置に仮想オブジェクトＯVを表示させることで、仮想オブジェクトＯVを遮蔽する際に視認性を担保している。特に、クライアント端末１０が携帯端末である場合には、表示デバイス（表示装置）の表示領域が狭くなるが、遮蔽している実オブジェクトＯRの数に応じて仮想オブジェクトＯVの表示位置を変更することで、仮想オブジェクトＯVの視認性を担保することができる。
＜２．第２の実施の形態＞
ところで、仮想オブジェクトＯVには、実世界の特定の位置に紐付いているものと、実世界の特定の位置には紐付いていないものとがある。ここで、仮想オブジェクトＯVが実世界に紐付いている場合に、仮想オブジェクトＯVを視認可能な位置に移動させると、不自然な移動になる場合がある。
そこで、本開示に係る技術を適用した拡張現実システムにおいては、仮想オブジェクトＯVが実世界に紐付いている場合に、仮想オブジェクトＯVに対する実オブジェクトＯRによる遮蔽時の視認性を確保可能にするために、次のような構成を有している。
すなわち、本開示に係る技術を適用した拡張現実システムでは、仮想オブジェクトＯVを隠している実オブジェクトＯRの数や、遮蔽されている割合（遮蔽割合）などの遮蔽の程度に基づいて、仮想オブジェクトＯVの色の透過度を変化させるようにする。
図１１は、実オブジェクトＯRにより遮蔽された仮想オブジェクトＯVの色の透過度の第１の例を示している。図１１においては、ARゲームの進行の途中で、表示対象物１２を表示するタイミングとなったが、デフォルトの色で表示すると、ユーザ１１−４にとっては、表示対象物１２の大部分が、１人のユーザ（他のユーザ１１−１）によって遮蔽されてしまう。
そのため、図１１においては、表示対象物１２の色の透過度を変更して、他のユーザ１１−１（の一部）に表示対象物１２（の一部）を重ねて表示されるようにする。これにより、仮想オブジェクトＯVを表示するに際し、遮蔽処理を行った場合と同様に、実オブジェクトＯR（他のユーザ１１−１乃至１１−３）によって違和感の低減や奥行きの手がかりを与えることが可能となるとともに、仮想オブジェクトＯVの視認性を担保することができる。
また、図１２は、実オブジェクトＯRにより遮蔽された仮想オブジェクトＯVの色の透過度の第２の例を示している。図１２においては、表示対象物１２の表示タイミングで、デフォルトの色で表示すると、ユーザ１１−４にとっては、表示対象物１２の大部分が、２人のユーザ（他のユーザ１１−２，１１−３）に遮蔽されてしまう。
そのため、図１２においては、表示対象物１２の色の透過度を変更して、他のユーザ１１−２，１１−３（の一部）に表示対象物１２（の一部）を重ねて表示されるようにする。これにより、仮想オブジェクトＯVを表示するに際し、実オブジェクトＯRによって違和感の低減や奥行きの手がかりを与えることが可能となるとともに、仮想オブジェクトＯVの視認性を担保することができる。
ただし、図１２の２人のユーザ（他のユーザ１１−２，１１−３）に重畳される表示対象物１２の色の透過度（第２の透過度）は、上述した図１１の１人のユーザ（他のユーザ１１−１）に重畳される表示対象物１２の色の透過度（第１の透過度）と比べて、その透過度が高く、表示対象物１２を遮蔽している２人のユーザ（他のユーザ１１−２，１１−３）の後ろ姿が割とはっきりと見える。換言すれば、第１の透過度（図１１）は、第２の透過度（図１２）と比べて、その透過度が低く、表示対象物１２を遮蔽している１人のユーザ（他のユーザ１１−１）の後ろ姿がややぼやけて見えるとも言える。
より具体的には、第１の透過度（図１１）、及び第２の透過度（図１２）は、完全透過を100％とし、完全不透過を0％とした場合に、0％よりも高く、かつ、100％よりも低い値となる。また、この場合において、第１の透過度（例えば、透過度40％）は、第２の透過度（例えば、透過度60％）よりも低い値となる。
また、このとき、図１３に示すように、例えば、実オブジェクトＯRとして、他のユーザ１１−１乃至１１−３以外の実オブジェクト１３（例えば家具や建物等の実空間に固定された実オブジェクトＯR）が存在する場合には、実オブジェクトＯRが他のユーザ１１−１乃至１１−３であるか、又は実オブジェクト１３であるかによって、表示対象物１２を遮蔽するかどうかを決定することができる。なお、本開示において、実オブジェクト１３を静的実オブジェクト１３という場合がある。
例えば、表示対象物１２−１が、他のユーザ１１−１乃至１１−３と、静的実オブジェクト１３との間に存在する場合には、他のユーザ１１−１乃至１１−３により表示対象物１２−１を完全には遮蔽せずに、その遮蔽の程度（遮蔽している他のユーザ１１の数など）に応じた色の透過度で、表示対象物１２−１を表示するようにする。
一方で、例えば、表示対象物１２−２が静的実オブジェクト１３の後ろ側に存在する場合には、その静的実オブジェクト１３により表示対象物１２−２を完全に遮蔽して（透過度0％に設定して）、ユーザ１１−１乃至１１−４からは、遮蔽割合に応じてその一部が見える状態か、又は全てが見えない状態となる。
このように、ARゲームにおいて、仮想オブジェクトＯVは、協力プレイをしている他のユーザ１１の陰になっても完全には遮蔽されないが、協力プレイをしている他のユーザ１１以外の静的実オブジェクト１３により遮られた場合には、遮蔽されて各ユーザ１１からはその遮蔽された部分は完全に見えないことになる。換言すれば、例えば家具や建物等の静的実オブジェクト１３によって、仮想オブジェクトＯVを完全に遮蔽する一方で、動的なオブジェクトであるユーザ１１によっては、仮想オブジェクトＯVの表示状態を変化させて完全には遮蔽しないことになる。
より具体的には、実空間にある実オブジェクトＯRが静的なオブジェクトと動的なオブジェクトのいずれであるかが判定される。ここで、動的なオブジェクトであると判定された実オブジェクトＯRは、本開示に係る技術を適用した拡張現実システムによって継続的にトラッキングされ、動的なオブジェクトによる仮想オブジェクトＯVの遮蔽処理は抑制又は禁止される。その結果として、遮蔽処理を簡略化することができ、プロセッサ等の処理負荷を低下させることができる。なお、本開示に係る技術における遮蔽処理の抑制及び禁止の詳細は後述する。
（第２の表示方法決定処理の流れ）
次に、クライアント端末１０の動作を説明するが、第２の実施の形態では、第１の実施の形態と同様に、図９に示したフローチャートの処理が実行されるが、図９のステップＳ１７の表示方法決定処理の処理内容が異なる。
そのため、ここでは、図１４のフローチャートを参照して、図９のステップＳ１７に対応する第２の表示方法決定処理の流れを説明する。ただし、ここでは、表示パラメータが、表示対象物１２の透過度である属性に関連付けられている。
ステップＳ１２１において、遮蔽判定部１１２は、表示対象物１２等の仮想オブジェクトＯVを隠している他のユーザ１１の数が閾値未満かどうかを判定する。
ステップＳ１２１の判定処理が肯定（Ｓ１２１の「YES」）である場合、処理は、ステップＳ１２２に進められる。ステップＳ１２２において、表示パラメータ設定部１１４は、仮想オブジェクトＯVの色を第１の透過度で表示させる第１の表示パラメータを設定する。
これにより、例えば、図１１に示したように、表示対象物１２が１人の他のユーザ１１−１により遮蔽され、その数が閾値未満となる場合には、表示対象物１２の色を、第２の透過度（例えば、透過度60％）よりも透過度が低い第１の透過度（例えば、透過度40％）で表示させる第１の表示パラメータが設定され、表示対象物１２は、他のユーザ１１−１により遮蔽された部分の色の透過度が第１の透過度（例えば、透過度40％）となるように、デフォルトの位置に表示される。
一方で、ステップＳ１２１の判定処理が否定（Ｓ１２１の「NO」）である場合、処理は、ステップＳ１２３に進められる。ステップＳ１２３において、表示パラメータ設定部１１４は、仮想オブジェクトＯVの色を第２の透過度で表示させる第２の表示パラメータを設定する。
これにより、例えば、図１２に示したように、表示対象物１２が２人の他のユーザ１１−２，１１−３により遮蔽され、その数が閾値以上となる場合には、表示対象物１２の色を、第１の透過度（例えば、透過度40％）よりも透過度が高い第２の透過度（例えば、透過度60％）で表示させる第２のパラメータが設定され、表示対象物１２は、他のユーザ１１−２，１１−３により遮蔽された部分の色の透過度が第２の透過度（例えば、透過度60％）となるように、デフォルトの位置に表示される。
ステップＳ１２２又はＳ１２３の処理が終了すると、処理は、図９のステップＳ１７に戻され、それ以降の処理が行われる。
このように、第２の表示方法決定処理では、遮蔽の程度の判定に際し、仮想オブジェクトＯV（表示対象物１２）を隠している実オブジェクトＯR（他のユーザ１１）の数を判定の対象に用いて判定の基準となる閾値との比較を行い、当該他のユーザ１１の数が閾値未満の場合には、第１の表示パラメータ（第１の透過度）が設定される一方で、当該他のユーザ１１の数が閾値以上の場合には、第２の表示パラメータ（第２の透過度）が設定される。
なお、判定の基準となる閾値は、例えばARサービスの内容や場面などに応じて適宜調整することができる。また、ここでは、１つの閾値を判定の基準として用いたが、例えば、３つ以上の透過度に応じた表示パラメータを設定可能にする場合には、例えば第１の閾値や第２の閾値など、複数の閾値を判定の基準に用いるようにしてもよい。
さらに、ここでは、遮蔽の程度の判定の対象に、仮想オブジェクトＯV（表示対象物１２）を隠している他のユーザ１１の数を用いた場合を例示したが、判定の対象としては、仮想オブジェクトＯVを隠している他のユーザ１１の数が含まれていれば、例えば遮蔽割合などの他の遮蔽の程度を表す指標をさらに含めるようにしてもよい。
ところで、第１の実施の形態で説明した第１の表示方法決定処理と、第２の実施の形態で説明した第２の表示方法決定処理とは、選択的に実行されるようにしてもよく、そのような処理の流れを、図１５のフローチャートを参照しながら説明する。
（第３の表示方法決定処理の流れ）
図１５は、図９のステップＳ１７に対応する第３の表示方法決定処理の流れを説明するフローチャートである。
ステップＳ１３１において、属性判定部１１５は、表示対象の仮想オブジェクトＯVの属性を確認する。
ステップＳ１３２において、属性判定部１１５は、ステップＳ１３１の処理の確認の結果に基づいて、仮想オブジェクトＯVが実世界の特定の位置に紐付いているかどうかを判定する。
ステップＳ１３２の判定処理が肯定（Ｓ１３２の「YES」）である場合、処理は、ステップＳ１３３に進められる。ステップＳ１３３において、表示方法決定部１０４は、第２の表示方法決定処理（図１４）を実行する。
この第２の表示方法決定処理では、仮想オブジェクトＯV（表示対象物１２）が実世界（実空間）の所定の面に固定されたオブジェクト（例えば、ARゲームのプレイ中に表示される植物や建物等）であってデフォルトの位置に表示されるのを前提に、遮蔽の程度に応じた色の透過度で表示させるための表示パラメータが設定される。
一方で、ステップＳ１３２の判定処理が否定（Ｓ１３２の「NO」）である場合、処理は、ステップＳ１３４に進められる。ステップＳ１３４において、表示方法決定部１０４は、第１の表示方法決定処理（図１０）を実行する。
この第１の表示方法決定処理では、仮想オブジェクトＯV（表示対象物１２）が実世界（実空間）の面に非固定のオブジェクト（例えば、ARゲームのプレイ中に表示されるメッセージやシンボル等）であってデフォルトの位置から移動して表示可能であることを前提に、遮蔽の程度に応じた位置に表示させるための表示パラメータが設定される。
ステップＳ１３３又はＳ１３４の処理が終了すると、処理は、図９のステップＳ１７に戻され、それ以降の処理が行われる。
このように、第３の表示方法決定処理では、仮想オブジェクトＯVが実世界の特定の位置に紐付いているかどうか、すなわち、仮想オブジェクトＯVが、実世界の所定の面に固定されたオブジェクトであるか、あるいは実世界の面に非固定のオブジェクトであるかによって表示方法を切り替えることができるため、例えば、ARサービスの内容や場面などに応じてより適切に仮想オブジェクトＯVを表示することができる。
以上のように、第２の実施の形態では、仮想オブジェクトＯV（の色）の透過度に関連付けられている表示パラメータを、仮想オブジェクトＯVを遮蔽している実オブジェクトＯRの数に応じて変更して、デフォルトの位置に仮想オブジェクトＯVを表示させることで、仮想オブジェクトＯVを遮蔽する際に視認性を担保している。特に、クライアント端末１０が携帯端末である場合には、表示デバイス（表示装置）の表示領域が狭くなるが、遮蔽している実オブジェクトＯRの数に応じて仮想オブジェクトＯVの透過度を変更することで、仮想オブジェクトＯVの視認性を担保することができる。
なお、上述した第１の実施の形態では、表示パラメータが、仮想オブジェクトＯVの表示位置である属性に関連付けられ、上述した第２の実施の形態では、表示パラメータが、仮想オブジェクトＯVの透過度である属性に関連付けられた場合を説明したが、表示パラメータは、表示位置や透過度以外の属性に関連付けられてもよい。
すなわち、表示パラメータは、例えば、仮想オブジェクトＯVの表示位置、実オブジェクトＯRに対する仮想オブジェクトＯVの透過度、仮想オブジェクトＯVの表示姿勢、仮想オブジェクトＯVのサイズ、及び仮想オブジェクトＯVの色のうち、少なくとも１つの属性に関連付けることができる。例えば、表示パラメータが、表示姿勢やサイズである属性に関連付けられた場合には、表示対象物１２を隠している他のユーザ１１の数などの遮蔽の程度に応じて、表示対象物１２の表示姿勢やサイズが調整されて表示されることになる。
上述した第１、第２の実施の形態では、第１の状態及び第２の状態は、仮想オブジェクトＯVが実オブジェクトＯRによって実際に隠された後に判定されている。これらの判定に代えて、第１の状態及び第２の状態は、仮想オブジェクトＯVが実オブジェクトＯRによって実際に隠される前に判定、すなわち、推定されてもよい。このような推定は、例えば、ユーザ１１−４と表示対象物１２を結ぶ方向（奥行方向）において、ユーザ１１−４と表示対象物１２の間に存在する他のユーザ１１の数に基づいて行われ得る。この推定において、ユーザ１１−４から見て奥行方向に垂直な方向（左右方向）におけるユーザ間の位置関係は考慮されなくてよい。このような構成によれば、本開示に係る技術における第１の表示パラメータと第２の表示パラメータの選択にかかる処理負荷を低減することができる。その結果として、遮蔽処理の適用の程度をより適切に変更することが可能になる。
上記のユーザ間の位置関係の推定を実行するトリガーとして、例えばユーザ１１−４から所定距離以内に他のユーザ１１が居るか否かといった判定処理の結果が採用され得る。この判定処理において、ユーザ同士の位置関係を平面的にではなく実質的に直線的に判定される。このような判定処理によれば、ユーザ間の位置関係の推定がより高速に行われ、第１の状態か第２の状態かの推定をさらに高速に行うことができる。
上述した第１、第２の実施の形態では、仮想オブジェクトＯVと実オブジェクトＯRの位置関係が第１の状態にあるか第２の状態に応じて、第１の表示パラメータと第２の表示パラメータの選択を行っている。より具体的には、表示方法決定部１０４（又は表示制御部１０５）は、第１の状態において、第１の表示パラメータに基づいて実オブジェクトＯRの形状に基づく仮想オブジェクトＯVの遮蔽処理を行う。一方で、表示方法決定部１０４（又は表示制御部１０５）は、第２の状態において、遮蔽処理を抑制しつつ第２の表示パラメータに基づく仮想オブジェクトＯVの表示処理を行う。
すなわち、本開示に係る技術における表示処理は、仮想オブジェクトＯVの遮蔽処理の抑制を行うか否かの処理とみなされ得る。この遮蔽処理の抑制には、遮蔽処理の禁止が含まれ得る。このような表示処理によれば、遮蔽処理のためのオブジェクト間の位置関係の計算や仮想オブジェクトの描画処理にかかる処理負荷を適応的に低減することができる。この遮蔽処理の抑制には、遮蔽処理のための実オブジェクトＯRの形状の認識精度の低減や、認識される実オブジェクトＯRの形状の簡略化が含まれ得る。なお、遮蔽処理のための実オブジェクトＯRの認識の抑制や禁止に関わらず、ユーザ１１の自己位置推定に掛かるSLAM(Simultaneously Localization and Mapping)処理のための実空間の認識は実行されてよい点に留意されたい。これらの遮蔽処理の抑制は、上記のユーザ間の位置関係の推定と組み合わせて行われてもよい。
＜３．変形例＞
ところで、上述した説明では、ARサービスの一例として、複数のユーザが協力してプレイするARゲームを一例に説明したが、本開示に係る技術を適用した拡張現実システムを利用することで、様々なARサービスを提供することができる。例えば、本開示に係る技術を適用した拡張現実システムでは、ARサービスとして、拡張現実（AR）によりユーザの移動を支援するARナビゲーションサービスを提供することができる。
このARナビゲーションサービスでは、クライアント端末１０を装着したユーザ１１に対し、例えば、人型のナビゲータである案内人（仮想オブジェクトＯV）により目的地までの経路（ルート）を案内する際に、案内人が、曲がり角や建物などの実オブジェクト実オブジェクトＯRで隠れた場合に、どの実オブジェクトＯRの陰に隠れたかを認識できるように、仮想オブジェクトＯVや実オブジェクトＯRに対する表示を制御する。
（クライアント端末とマップ提供サーバの構成）
本開示に係る技術を適用した拡張現実システムは、ARナビゲーションサービスを提供する場合、位置共有サーバ２０の代わりに、マップ提供サーバ３０が設けられる。図１６は、クライアント端末１０とマップ提供サーバ３０の構成の例を示している。
図１６において、クライアント端末１０は、図３のクライアント端末１０と同様に、測定部１０１乃至表示部１０６から構成される。なお、図１６の測定部１０１乃至表示部１０６は、図３の測定部１０１乃至表示部１０６と比べて、表示方法決定部１０４により実行される表示方法決定処理の内容が異なるが、その詳細な内容は後述する。
また、図１６において、マップ提供サーバ３０は、制御部３０１、通信部３０２、及びマップDB３０３を含む。
制御部３０１は、例えば、CPU等のプロセッサから構成され、各部の動作の制御や各種の演算処理を行う中心的な処理装置として機能する。通信部３０２は、無線通信又は有線通信に対応した通信モジュールなどから構成される。
マップDB３０３は、ハードディスク等の記憶装置に記録され、様々な地域の３次元の地図情報をデータベースとして管理している。
以上のように構成されるマップ提供サーバ３０においては、通信部３０２が、制御部３０１からの制御に従い、ネットワーク５０を介してクライアント端末１０から送信されてくる位置情報を受信し、受信した位置情報に対応する地図情報を、ネットワーク５０を介してクライアント端末１０に送信する。
（ARナビゲーションサービスの例）
図１７は、ユーザ１１がARナビゲーションサービスを利用して、人型のナビゲータである案内人１４により目的地までの経路の案内を受けている場面を表している。
ここで、図１７は、クライアント端末１０を装着したユーザ１１が、ある屋外の場所で見ているときの視界とされ、実世界に、仮想オブジェクトＯVとしての案内人１４が表示されている。なお、図１７のＡは、ある時刻t21におけるユーザ１１の視界を表し、図１７のＢは、時刻t21よりも時間的に後の時刻t22におけるユーザ１１の視界を表している。
図１７のＡにおいて、ユーザ１１の視界には、道路やその左右の建物などの実オブジェクト１５（マップ上に存在する実オブジェクトＯR）と、案内人１４（仮想オブジェクトＯV）が見えている。案内人１４は、「こちらです」であるメッセージによって、ユーザ１１を目的地の方向に誘導している。
その後、目的地までの経路として、実オブジェクト１５における建物の間の通路を通る必要がある場合、その通路が、案内人１４により案内されることになる。
このとき、図１７のＢに示すように、ユーザ１１に対し、案内人１４がどの建物に隠れたかを認識させるために、実オブジェクト１５のうち、対象の建物にフォーカス表示（例えば強調表示）する。図１７のＢの例では、案内人１４が、実オブジェクト１５のうち、右側の手前のビルとその隣のビルの間の通路上を動くとき、手前のビルが陰になって見えなくなるため、この手前のビルに対する強調表示（図中のドットパターンの表示）がなされる。
また、ここでは、手前のビルに遮蔽された案内人１４の表示を、遮蔽前の表示と変えることで（図１７のＡの実線から、図１７のＢの点線に変化させることで）、ユーザ１１に対し、案内人１４が遮蔽された場所に存在することを認識させることができる。
さらには、通行人等の実オブジェクト１６（マップ上に存在しない実オブジェクトＯR）が、ユーザ１１の視界に入ってきた場合に、実オブジェクト１６によって、案内人１４が遮蔽されるときには、その状態が、ユーザ１１に認識されるようにする。図１７のＢの例では、強調表示された建物の手前に、３人の通行人が存在し、そこに、案内人１４が重畳して表示されていることから、ユーザ１１は、通行人によって案内人１４が遮蔽されていることを認識することができる。
このように、クライアント端末１０は、マップ提供サーバ３０から取得した地図情報を用いることで、のユーザ１１の位置と、マップ上に存在する実オブジェクトＯRである建物等の実オブジェクト１５の位置との関係を認識可能となるので、対象の建物等の実オブジェクト１５にフォーカス表示することができる。
具体的には、図１８に示すように、建物１５−１や建物１５−２のようなマップ上に存在する実オブジェクトＯRと、通行人１６−１乃至１６−３のようなマップ上に存在しない実オブジェクトＯRとが実世界に存在する場合において、クライアント端末１０を装着したユーザ１１に対し、案内人１４等の仮想オブジェクトＯVを提示するに際し、仮想オブジェクトＯVが実オブジェクトＯRにより遮蔽されるときには、次のような表示が行われる。
すなわち、クライアント端末１０では、地図情報により特定可能な実オブジェクトＯRであって、仮想オブジェクトＯV（例えば案内人１４）を遮蔽しているもの（例えば建物１５−１）にフォーカス表示を行うことができる。また、クライアント端末１０では、地図情報により特定不可能な実オブジェクトＯRであって、仮想オブジェクトＯV（例えば案内人１４）を遮蔽しているもの（例えば通行人１６−２，１６−３）に対して、遮蔽をしていることが認識可能な表示を行うことができる。
（クライアント端末の動作）
次に、図１９のフローチャートを参照して、上述したクライアント端末１０の動作を説明する。なお、ここでは、上述した図１７及び図１８の例と同様に、ユーザ１１に装着されるクライアント端末１０において、ARナビゲーションサービスが提供される場合の動作を一例に説明する。
クライアント端末１０では、マップがロードされる（Ｓ２１１）。すなわち、クライアント端末１０では、事前に、位置情報をマップ提供サーバ３０に送信して、ネットワーク５０を介してマップ提供サーバ３０から３次元の地図情報をあらかじめ取得しておくことで、現在位置に対応するマップ（いわば外部生成マップ）をロードすることができる。
ステップＳ２１２において、位置情報取得部１１１は、ユーザ１１の位置情報及び向き情報を取得する。
ステップＳ２１３において、遮蔽判定部１１２は、案内人１４等の仮想オブジェクトＯVが、マップ上に存在する実オブジェクトＯR（例えば建物等の実オブジェクト１５）に隠れているかどうかを判定する。
ステップＳ２１３の判定処理が肯定（Ｓ２１３の「YES」）である場合、処理は、ステップＳ２１４に進められる。ステップＳ２１４において、遮蔽割合計算部１１３は、案内人１４等の仮想オブジェクトＯVを遮蔽している実オブジェクトＯRであって、マップ上に存在するもの（例えば建物）の遮蔽割合を計算する。
ステップＳ２１５において、表示パラメータ設定部１１４は、仮想オブジェクトＯVを遮蔽割合に応じた表示に変更させるとともに、仮想オブジェクトＯVを遮蔽している実オブジェクトＯRをフォーカス表示させる表示パラメータを設定する。
ここでは、例えば、ARナビゲーションサービスの提供時に、案内人１４が、１又は複数の建物等の実オブジェクト１５により遮蔽される場合に、案内人１４における建物により遮蔽されている部分の表示を遮蔽前の表示と変更させるとともに、案内人１４を遮蔽している建物にフォーカス表示（強調表示）させる表示パラメータ（第１の表示パラメータ）が設定される。
ステップＳ２１５の処理を終了すると、処理は、ステップＳ２１６に進められる。また、ステップＳ２１３の判定処理が否定（Ｓ２１３の「NO」）である場合、ステップＳ２１４，Ｓ２１５はスキップされ、処理は、ステップＳ２１６に進められる。
ステップＳ２１６において、遮蔽判定部１１２は、案内人１４等の仮想オブジェクトＯVが、マップ上に存在しない実オブジェクトＯR（例えば通行人等の実オブジェクト１６）に隠れているかどうかを判定する。
ステップＳ２１６の判定処理が肯定（Ｓ２１６の「YES」）である場合、処理は、ステップＳ２１７に進められる。ステップＳ２１７において、遮蔽割合計算部１１３は、案内人１４等の仮想オブジェクトＯVを遮蔽している実オブジェクトＯRであって、マップ上に存在しないもの（例えば通行人）の遮蔽割合を計算する。
ステップＳ２１８において、表示パラメータ設定部１１４は、仮想オブジェクトＯVを遮蔽割合に応じた表示に変更させる表示パラメータを設定する。
ここでは、例えば、ARナビゲーションサービスの提供時に、案内人１４が、１又は複数の通行人等の実オブジェクト１６により遮蔽される場合に、案内人１４における通行人により遮蔽されている部分の表示を遮蔽前の表示と変更させる表示パラメータ（第２の表示パラメータ）が設定される。
ステップＳ２１８の処理が終了すると、処理は、ステップＳ２１９に進められる。また、ステップＳ２１６の判定処理が否定（Ｓ２１６の「NO」）である場合、ステップＳ２１７，Ｓ２１８はスキップされ、処理は、ステップＳ２１９に進められる。
ステップＳ２１９において、表示制御部１０５は、仮想オブジェクトＯVや実オブジェクトＯRの表示を制御する。
例えば、この表示制御処理では、ステップＳ２１３の判定処理が肯定（Ｓ２１３の「YES」）である場合に、ステップＳ２１５の処理で設定された表示パラメータに基づき、仮想オブジェクトＯVと実オブジェクトＯRの表示が制御される。より具体的には、図１７のＢに示したように、手前のビルにより遮蔽されている案内人１４の表示が、遮蔽前の表示から変更されるとともに、その手前のビルがフォーカス表示（強調表示）される。
また、例えば、この表示制御処理では、ステップＳ２１６の判定処理が肯定（Ｓ２１６の「YES」）である場合に、ステップＳ２１８の処理で設定された表示パラメータに基づき、仮想オブジェクトＯVの表示が制御される。より具体的には、図１７のＢに示したように、手前の通行人により遮蔽されている案内人１４の表示が、遮蔽前の表示から変更される。
ステップＳ２１９の処理が終了すると、処理は、ステップＳ２２０に進められる。ステップＳ２２０においては、処理を終了するかどうかが判定される。
ステップＳ２２０の判定処理が否定（Ｓ２２０の「NO」）である場合、処理は、ステップＳ２１２に戻り、上述したステップＳ２１２乃至Ｓ２２０の処理が繰り返され、仮想オブジェクトＯVや実オブジェクトＯRの表示が制御される。また、ステップＳ２２０の判定処理が肯定（Ｓ２２０の「YES」）である場合、図１９に示した処理は終了される。
以上、クライアント端末１０の動作を説明した。
なお、上述した説明では、図１の拡張現実システムとして、クライアント端末１０−１乃至１０−Ｎが、ネットワーク５０を介して位置共有サーバ２０とデータをやり取りすることで、位置情報や向き情報を共有する構成を示したが、位置共有サーバ２０を設けずに、クライアント端末１０−１乃至１０−Ｎのそれぞれが直接データをやり取りして、位置情報や向き情報を共有するようにしてもよい。
また、上述した説明では、クライアント端末１０−１乃至１０−Ｎの間で共有する情報として、位置情報と向き情報を例示したが、向き情報は必ずしも共有する必要はなく、さらには、位置情報と向き情報以外の他の情報が共有されるようにしてもよい。さらに、クライアント端末１０−１乃至１０−Ｎで共有される位置情報としては、例えば実オブジェクトＯRや仮想オブジェクトＯV等に対する相対的な位置のほか、例えばGPS(Global Positioning System)等で得られる信号に基づいた絶対的な位置などを用いるようにしてもよい。
また、クライアント端末１０は、例えば、メガネ型情報端末等のウェアラブル端末や、ヘッドマウントディスプレイ（HMD）などの電子機器として構成されるが、その表示部１０６は、例えば、メガネのレンズの内側等に映像を表示する透過型のディスプレイであってもよいし、あるいはユーザ１１の視界を（完全に）覆った密閉型のディスプレイであってもよい。
さらに、上述した説明では、各クライアント端末１０側で表示パラメータを生成しているが、表示パラメータを生成するための情報（例えば位置情報や向き情報等の情報）をネットワーク５０上のサーバに送信することで、サーバ側で、各クライアント端末１０で用いられる表示パラメータを生成（集中的に処理）し、ネットワーク５０を介して各クライアント端末１０に送信するようにしてもよい。
なお、ネットワーク５０においては、有線通信や無線通信は勿論、無線通信と有線通信とが混在した通信、すなわち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようにしてもよい。さらに、ネットワーク５０においては、ある装置から他の装置への通信が有線通信で行われ、他の装置からある装置への通信が無線通信で行われるようにしてもよい。
＜４．コンピュータの構成＞
上述した一連の処理（例えば、図９又は図１９に示したクライアント端末１０の動作）は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、各装置のコンピュータにインストールされる。図２０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成の例を示すブロック図である。
コンピュータ１０００において、CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インターフェース１００５が接続されている。入出力インターフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及び、ドライブ１０１０が接続されている。
入力部１００６は、マイクロフォン、キーボード、マウスなどよりなる。出力部１００７は、スピーカ、ディスプレイなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインターフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体１０１１を駆動する。
以上のように構成されるコンピュータ１０００では、CPU１００１が、ROM１００２や記録部１００８に記録されているプログラムを、入出力インターフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
コンピュータ１０００では、プログラムは、リムーバブル記録媒体１０１１をドライブ１０１０に装着することにより、入出力インターフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。また、プログラムは、１のコンピュータ（プロセッサ）により処理されてもよいし、複数のコンピュータによって分散処理されてもよい。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本開示に係る技術の要旨を逸脱しない範囲において種々の変更が可能である。
また、上述した一連の処理（例えば、図９又は図１９に示したクライアント端末１０の動作）の各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本開示に係る技術は、以下のような構成をとることができる。
（１）
表示装置の第１のユーザから見て、前記表示装置によって表示される仮想オブジェクトが少なくとも１つの実オブジェクトによって隠れると判定される第１の状態において、第１の表示パラメータを用いて前記仮想オブジェクトを表示し、
前記第１のユーザから見て、前記仮想オブジェクトが前記第１の状態よりも多くの実オブジェクトによって隠れると判定される第２の状態において、前記第１の表示パラメータと異なる第２の表示パラメータを用いて前記仮想オブジェクトを表示する
ように前記表示装置を制御する表示制御部を備える
情報処理装置。
（２）
前記実オブジェクトによる前記仮想オブジェクトの遮蔽の程度を判定する判定部をさらに備え、
前記表示制御部は、前記判定部による前記遮蔽の程度の判定結果に応じた状態に対応した表示パラメータを用いて前記仮想オブジェクトの表示を制御する
前記（１）に記載の情報処理装置。
（３）
前記第１の表示パラメータ及び前記第２の表示パラメータはそれぞれ、前記仮想オブジェクトの表示位置、表示姿勢、サイズ、色、及び前記実オブジェクトに対する透過度のうち、少なくとも１つの属性に関連付けられている
前記（１）又は（２）に記載の情報処理装置。
（４）
前記第１の表示パラメータは、前記仮想オブジェクトを前記遮蔽の程度に応じた第１の位置に表示させるためのパラメータであり、
前記第２の表示パラメータは、前記仮想オブジェクトを前記遮蔽の程度に応じた前記第１の位置と異なる第２の位置に表示させるためのパラメータである
前記（３）に記載の情報処理装置。
（５）
前記第１の表示パラメータは、前記仮想オブジェクトの表示位置を、前記第１の位置に変更するためのパラメータであり、
前記第２の表示パラメータは、前記仮想オブジェクトの表示位置を、前記第２の位置に変更するためのパラメータである
前記（４）に記載の情報処理装置。
（６）
前記第１の表示パラメータ及び前記第２の表示パラメータの少なくとも一方のパラメータは、前記仮想オブジェクトを、デフォルトの表示位置から、上方の位置に移動させるためのパラメータである
前記（４）又は（５）に記載の情報処理装置。
（７）
前記仮想オブジェクトは、実空間の面に非固定のオブジェクトである
前記（４）乃至（６）のいずれかに記載の情報処理装置。
（８）
前記第１の表示パラメータは、前記仮想オブジェクトを前記遮蔽の程度に応じた第１の透過度で表示させるためのパラメータであり、
前記第２の表示パラメータは、前記仮想オブジェクトを前記遮蔽の程度に応じた前記第１の透過度と異なる第２の透過度で表示させるためのパラメータである
前記（３）に記載の情報処理装置。
（９）
前記第１の透過度及び前記第２の透過度は、完全透過を100％とし、完全不透過を0％とした場合に、0％よりも高く、かつ、100％よりも低い値となる
前記（８）に記載の情報処理装置。
（１０）
前記第１の透過度は、前記第２の透過度よりも低い値である
前記（９）に記載の情報処理装置。
（１１）
前記実オブジェクトは、動的なオブジェクトである
前記（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
前記動的なオブジェクトは、人物を含む
前記（１１）に記載の情報処理装置。
（１３）
前記人物は、前記第１のユーザと同一のサービスの提供を受けている、前記第１のユーザとは異なる第２のユーザである
前記（１２）に記載の情報処理装置。
（１４）
前記第１のユーザの位置情報及び前記第２のユーザの位置情報を取得する取得部と、
前記第１のユーザの位置情報及び前記第２のユーザの位置情報に基づいて、前記第１の表示パラメータ及び前記第２の表示パラメータを設定する設定部と
をさらに備える前記（１３）に記載の情報処理装置。
（１５）
前記サービスは、拡張現実（AR：Augmented Reality）を利用したサービスである
前記（１３）又は（１４）に記載の情報処理装置。
（１６）
前記表示制御部は、
前記第１の状態において、前記第１の表示パラメータに基づいて前記実オブジェクトの形状に基づく前記仮想オブジェクトの遮蔽処理を行い、
前記第２の状態において、前記遮蔽処理を抑制しつつ、前記第２の表示パラメータに基づく前記仮想オブジェクトの表示処理を行う
前記（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
前記表示装置を有する携帯端末として構成される
前記（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
前記携帯端末は、ウェアラブル端末又はヘッドマウントディスプレイを含む
前記（１７）に記載の情報処理装置。
（１９）
情報処理装置が、
表示装置の第１のユーザから見て、前記表示装置によって表示される仮想オブジェクトが少なくとも１つの実オブジェクトによって隠れると判定される第１の状態において、第１の表示パラメータを用いて前記仮想オブジェクトを表示し、
前記第１のユーザから見て、前記仮想オブジェクトが前記第１の状態よりも多くの実オブジェクトによって隠れると判定される第２の状態において、前記第１の表示パラメータと異なる第２の表示パラメータを用いて前記仮想オブジェクトを表示する
ように前記表示装置を制御する
情報処理方法。
（２０）
コンピュータを、
表示装置の第１のユーザから見て、前記表示装置によって表示される仮想オブジェクトが少なくとも１つの実オブジェクトによって隠れると判定される第１の状態において、第１の表示パラメータを用いて前記仮想オブジェクトを表示し、
前記第１のユーザから見て、前記仮想オブジェクトが前記第１の状態よりも多くの実オブジェクトによって隠れると判定される第２の状態において、前記第１の表示パラメータと異なる第２の表示パラメータを用いて前記仮想オブジェクトを表示する
ように前記表示装置を制御する表示制御部
として機能させるためのプログラム。
１０，１０−１乃至１０−Ｎ クライアント端末， ２０ 位置共有サーバ， ３０ マップ提供サーバ， ５０ ネットワーク， １０１ 測定部， １０２ 位置推定部， １０３ 通信部， １０４ 表示方法決定部， １０５ 表示制御部， １０６ 表示部， １１１ 位置情報取得部， １１２ 遮蔽判定部， １１３ 遮蔽割合計算部， １１４ 表示パラメータ設定部， １１５ 属性判定部， ２０１ 制御部， ２０２ 通信部， ３０１ 制御部， ３０２ 通信部， ３０３ マップデータベース， １０００ コンピュータ， １００１ CPU， ＯR 実オブジェクト， ＯV 仮想オブジェクト

Claims (20)

  1. 表示装置の第１のユーザから見て、前記表示装置によって表示される仮想オブジェクトが少なくとも１つの実オブジェクトによって隠れると判定される第１の状態において、第１の表示パラメータを用いて前記仮想オブジェクトを表示し、
    前記第１のユーザから見て、前記仮想オブジェクトが前記第１の状態よりも多くの実オブジェクトによって隠れると判定される第２の状態において、前記第１の表示パラメータと異なる第２の表示パラメータを用いて前記仮想オブジェクトを表示する
    ように前記表示装置を制御する表示制御部を備える
    情報処理装置。
  2. 前記実オブジェクトによる前記仮想オブジェクトの遮蔽の程度を判定する判定部をさらに備え、
    前記表示制御部は、前記判定部による前記遮蔽の程度の判定結果に応じた状態に対応した表示パラメータを用いて前記仮想オブジェクトの表示を制御する
    請求項１に記載の情報処理装置。
  3. 前記第１の表示パラメータ及び前記第２の表示パラメータはそれぞれ、前記仮想オブジェクトの表示位置、表示姿勢、サイズ、色、及び前記実オブジェクトに対する透過度のうち、少なくとも１つの属性に関連付けられている
    請求項２に記載の情報処理装置。
  4. 前記第１の表示パラメータは、前記仮想オブジェクトを前記遮蔽の程度に応じた第１の位置に表示させるためのパラメータであり、
    前記第２の表示パラメータは、前記仮想オブジェクトを前記遮蔽の程度に応じた前記第１の位置と異なる第２の位置に表示させるためのパラメータである
    請求項３に記載の情報処理装置。
  5. 前記第１の表示パラメータは、前記仮想オブジェクトの表示位置を、前記第１の位置に変更するためのパラメータであり、
    前記第２の表示パラメータは、前記仮想オブジェクトの表示位置を、前記第２の位置に変更するためのパラメータである
    請求項４に記載の情報処理装置。
  6. 前記第１の表示パラメータ及び前記第２の表示パラメータの少なくとも一方のパラメータは、前記仮想オブジェクトを、デフォルトの表示位置から、上方の位置に移動させるためのパラメータである
    請求項５に記載の情報処理装置。
  7. 前記仮想オブジェクトは、実空間の面に非固定のオブジェクトである
    請求項６に記載の情報処理装置。
  8. 前記第１の表示パラメータは、前記仮想オブジェクトを前記遮蔽の程度に応じた第１の透過度で表示させるためのパラメータであり、
    前記第２の表示パラメータは、前記仮想オブジェクトを前記遮蔽の程度に応じた前記第１の透過度と異なる第２の透過度で表示させるためのパラメータである
    請求項３に記載の情報処理装置。
  9. 前記第１の透過度及び前記第２の透過度は、完全透過を100％とし、完全不透過を0％とした場合に、0％よりも高く、かつ、100％よりも低い値となる
    請求項８に記載の情報処理装置。
  10. 前記第１の透過度は、前記第２の透過度よりも低い値である
    請求項９に記載の情報処理装置。
  11. 前記実オブジェクトは、動的なオブジェクトである
    請求項１に記載の情報処理装置。
  12. 前記動的なオブジェクトは、人物を含む
    請求項１１に記載の情報処理装置。
  13. 前記人物は、前記第１のユーザと同一のサービスの提供を受けている、前記第１のユーザとは異なる第２のユーザである
    請求項１２に記載の情報処理装置。
  14. 前記第１のユーザの位置情報及び前記第２のユーザの位置情報を取得する取得部と、
    前記第１のユーザの位置情報及び前記第２のユーザの位置情報に基づいて、前記第１の表示パラメータ及び前記第２の表示パラメータを設定する設定部と
    をさらに備える請求項１３に記載の情報処理装置。
  15. 前記サービスは、拡張現実（AR：Augmented Reality）を利用したサービスである
    請求項１３に記載の情報処理装置。
  16. 前記表示制御部は、
    前記第１の状態において、前記第１の表示パラメータに基づいて前記実オブジェクトの形状に基づく前記仮想オブジェクトの遮蔽処理を行い、
    前記第２の状態において、前記遮蔽処理を抑制しつつ、前記第２の表示パラメータに基づく前記仮想オブジェクトの表示処理を行う
    請求項１に記載の情報処理装置。
  17. 前記表示装置を有する携帯端末として構成される
    請求項１に記載の情報処理装置。
  18. 前記携帯端末は、ウェアラブル端末又はヘッドマウントディスプレイを含む
    請求項１７に記載の情報処理装置。
  19. 情報処理装置が、
    表示装置の第１のユーザから見て、前記表示装置によって表示される仮想オブジェクトが少なくとも１つの実オブジェクトによって隠れると判定される第１の状態において、第１の表示パラメータを用いて前記仮想オブジェクトを表示し、
    前記第１のユーザから見て、前記仮想オブジェクトが前記第１の状態よりも多くの実オブジェクトによって隠れると判定される第２の状態において、前記第１の表示パラメータと異なる第２の表示パラメータを用いて前記仮想オブジェクトを表示する
    ように前記表示装置を制御する
    情報処理方法。
  20. コンピュータを、
    表示装置の第１のユーザから見て、前記表示装置によって表示される仮想オブジェクトが少なくとも１つの実オブジェクトによって隠れると判定される第１の状態において、第１の表示パラメータを用いて前記仮想オブジェクトを表示し、
    前記第１のユーザから見て、前記仮想オブジェクトが前記第１の状態よりも多くの実オブジェクトによって隠れると判定される第２の状態において、前記第１の表示パラメータと異なる第２の表示パラメータを用いて前記仮想オブジェクトを表示する
    ように前記表示装置を制御する表示制御部
    として機能させるためのプログラム。
JP2020548455A 2018-09-28 2019-09-13 情報処理装置、情報処理方法、及びプログラム Active JP7405085B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018183270 2018-09-28
JP2018183270 2018-09-28
PCT/JP2019/036033 WO2020066682A1 (ja) 2018-09-28 2019-09-13 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2020066682A1 true JPWO2020066682A1 (ja) 2021-08-30
JP7405085B2 JP7405085B2 (ja) 2023-12-26

Family

ID=69949669

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020548455A Active JP7405085B2 (ja) 2018-09-28 2019-09-13 情報処理装置、情報処理方法、及びプログラム

Country Status (5)

Country Link
US (1) US11417051B2 (ja)
EP (1) EP3859687A4 (ja)
JP (1) JP7405085B2 (ja)
CN (1) CN112753050A (ja)
WO (1) WO2020066682A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018209607A1 (de) * 2018-06-14 2019-12-19 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Bestimmen einer Position eines Kraftfahrzeugs
EP4112143A4 (en) 2021-05-14 2023-01-11 Tencent Technology (Shenzhen) Company Limited METHOD AND APPARATUS FOR CONTROL DISPLAY, DEVICE, MEDIA, AND PROGRAM PRODUCT
CN113134233B (zh) * 2021-05-14 2023-06-20 腾讯科技（深圳）有限公司 控件的显示方法、装置、计算机设备及存储介质
JP7354185B2 (ja) 2021-06-18 2023-10-02 ヤフー株式会社 表示制御装置、表示制御方法および表示制御プログラム
WO2023233447A1 (ja) * 2022-05-30 2023-12-07 マクセル株式会社 仮想オブジェクトを表示する装置およびその表示方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293142A (ja) * 2004-03-31 2005-10-20 Canon Inc 画像処理方法および画像処理装置
JP2005310020A (ja) * 2004-04-26 2005-11-04 Nintendo Co Ltd ３次元画像生成装置および３次元画像生成プログラム
US20160307374A1 (en) * 2013-12-19 2016-10-20 Metaio Gmbh Method and system for providing information associated with a view of a real environment superimposed with a virtual object

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9159165B2 (en) * 2010-07-13 2015-10-13 Sony Computer Entertainment Inc. Position-dependent gaming, 3-D controller, and handheld as a remote
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
JP5830987B2 (ja) 2011-07-06 2015-12-09 ソニー株式会社 表示制御装置、表示制御方法およびコンピュータプログラム
CN102509342A (zh) * 2011-09-22 2012-06-20 北京航空航天大学 一种共享增强现实场景中协同式虚实遮挡处理方法
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US9255813B2 (en) * 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
US9052804B1 (en) * 2012-01-06 2015-06-09 Google Inc. Object occlusion to initiate a visual search
JP5777786B1 (ja) * 2014-09-12 2015-09-09 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP6780642B2 (ja) * 2015-06-15 2020-11-04 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2018064213A1 (en) * 2016-09-27 2018-04-05 Duke University Systems and methods for using sensing of real object position, trajectory, or attitude to enable user interaction with a virtual object
US10297090B2 (en) * 2017-06-12 2019-05-21 Nintendo Co., Ltd. Information processing system, apparatus and method for generating an object in a virtual space

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293142A (ja) * 2004-03-31 2005-10-20 Canon Inc 画像処理方法および画像処理装置
JP2005310020A (ja) * 2004-04-26 2005-11-04 Nintendo Co Ltd ３次元画像生成装置および３次元画像生成プログラム
US20160307374A1 (en) * 2013-12-19 2016-10-20 Metaio Gmbh Method and system for providing information associated with a view of a real environment superimposed with a virtual object

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
小田島 太郎 ほか２名: "拡張現実感技術を用いた屋外型ウェアラブル注釈提示システム", 画像電子学会誌, vol. 第32巻 第6号, JPN6023032385, 25 November 2003 (2003-11-25), pages 832 - 840, ISSN: 0005124231 *

Also Published As

Publication number Publication date
EP3859687A4 (en) 2021-11-24
CN112753050A (zh) 2021-05-04
WO2020066682A1 (ja) 2020-04-02
US20210350611A1 (en) 2021-11-11
US11417051B2 (en) 2022-08-16
JP7405085B2 (ja) 2023-12-26
EP3859687A1 (en) 2021-08-04

Similar Documents

Publication Publication Date Title
JPWO2020066682A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US10127917B2 (en) Filtering sounds for conferencing applications
KR102289389B1 (ko) 가상 오브젝트 방위 및 시각화
US10132633B2 (en) User controlled real object disappearance in a mixed reality display
CN111713121B (zh) 用于混合现实的双听者位置
US9384737B2 (en) Method and device for adjusting sound levels of sources based on sound source priority
WO2016203792A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2017030037A1 (ja) 仮想空間を提供するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、および、仮想空間を提供するための装置
KR20220005564A (ko) 복수의 헤드셋들 간의 오디오 공간화 및 강화
KR20190030746A (ko) 증강된/가상의 현실 환경에서의 가상 캐릭터들의 배치를 위한 시스템 및 방법
WO2019131143A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2019130708A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN116210021A (zh) 确定角加速度
WO2022004422A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
US20190130631A1 (en) Systems and methods for determining how to render a virtual object based on one or more conditions
Li et al. Augmented reality and virtual reality
CN117981347A (zh) 用于对虚拟声源进行空间化的音频系统
US20240005511A1 (en) Immediate Proximity Detection and Breakthrough with Visual Treatment
US11983306B2 (en) Peripheral tracking system and method
US20230334794A1 (en) Presenting Communication Data Based on Environment
US20240031552A1 (en) Head-mounted display and image displaying method
WO2020202747A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
US20230334676A1 (en) Adjusting Display of an Image based on Device Position
JP2024012898A (ja) 電子機器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231127

R151 Written notification of patent or utility model registration

Ref document number: 7405085

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151