JPWO2019031015A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JPWO2019031015A1
JPWO2019031015A1 JP2019535607A JP2019535607A JPWO2019031015A1 JP WO2019031015 A1 JPWO2019031015 A1 JP WO2019031015A1 JP 2019535607 A JP2019535607 A JP 2019535607A JP 2019535607 A JP2019535607 A JP 2019535607A JP WO2019031015 A1 JPWO2019031015 A1 JP WO2019031015A1
Authority
JP
Japan
Prior art keywords
recognition
information
display
boundary
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019535607A
Other languages
English (en)
Other versions
JP7222351B2 (ja
Inventor
遼 深澤
遼 深澤
浩丈 市川
浩丈 市川
広幸 安賀
広幸 安賀
敦 石原
敦 石原
真一 竹村
真一 竹村
美和 市川
美和 市川
俊逸 小原
俊逸 小原
諒介 村田
諒介 村田
賢次 杉原
賢次 杉原
真里 斎藤
真里 斎藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2019031015A1 publication Critical patent/JPWO2019031015A1/ja
Application granted granted Critical
Publication of JP7222351B2 publication Critical patent/JP7222351B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】情報処理装置、情報処理方法、及びプログラムを提供する。【解決手段】実物体のセンシングに基づく認識に係る認識情報が第１の認識情報を含む場合、仮想物体の前記実物体による遮蔽を示す遮蔽表示を、前記仮想物体と前記実物体との間の境界または前記境界の近傍位置において、第１の境界表現を示すように制御し、前記認識情報が前記第１の認識情報とは異なる第２の認識情報を含む場合、前記遮蔽表示を、前記境界または前記境界の近傍位置において、前記第１の境界表現とは異なる第２の境界表現を示すように制御する表示制御部を備える情報処理装置。【選択図】図６

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
近年、センサを備えたヘッドマウントディスプレイ（Head Mounted Display：以下、「ＨＭＤ」とも称する）が開発されている。ＨＭＤは、ユーザの頭部に装着された際にユーザの眼前に位置するディスプレイを有し、例えばユーザの前方に仮想物体を表示する。このようなＨＭＤには、ディスプレイが透過型のものと非透過型のものがある。ディスプレイが透過型のＨＭＤでは、ディスプレイを介して視認し得る実空間に重なって上記仮想物体が重畳表示される。
また、下記特許文献１には、ＨＭＤを装着したユーザが、実物体（例えばユーザ自身の手等）を用いて様々なジェスチャをＨＭＤが有するカメラに撮像（センシング）させ、ジェスチャ認識により当該ＨＭＤを操作する技術が開示されている。
特開２０１４−１８６３６１号公報
上述したように仮想物体を実空間に重畳表示させる場合、実空間に存在する実物体と、仮想物体との間の境界が適切に表現されるように仮想物体を表示することで、仮想物体が実空間に存在しているかのようにユーザに感じさせることが可能となる。しかし、例えば実物体のセンシングに基づく認識結果によっては、実物体と、仮想物体との間の境界が適切に表現されず、ユーザが仮想物体の表示に違和感を覚える場合があった。
そこで、本開示では、ユーザに与える違和感を軽減することが可能な、情報処理装置、情報処理方法、及びプログラムを提案する。
本開示によれば、実物体のセンシングに基づく認識に係る認識情報が第１の認識情報を含む場合、仮想物体の前記実物体による遮蔽を示す遮蔽表示を、前記仮想物体と前記実物体との間の境界または前記境界の近傍位置において、第１の境界表現を示すように制御し、前記認識情報が前記第１の認識情報とは異なる第２の認識情報を含む場合、前記遮蔽表示を、前記境界または前記境界の近傍位置において、前記第１の境界表現とは異なる第２の境界表現を示すように制御する表示制御部を備える情報処理装置が提供される。
また、本開示によれば、実物体のセンシングに基づく認識に係る認識情報が第１の認識情報を含む場合、仮想物体の前記実物体による遮蔽を示す遮蔽表示を、前記仮想物体と前記実物体との間の境界または前記境界の近傍位置において、第１の境界表現を示すように制御し、前記認識情報が前記第１の認識情報とは異なる第２の認識情報を含む場合、前記遮蔽表示を、前記境界または前記境界の近傍位置において、前記第１の境界表現とは異なる第２の境界表現を示すようにプロセッサが制御すること、を含む情報処理方法が提供される。
また、本開示によれば、コンピュータに、実物体のセンシングに基づく認識に係る認識情報が第１の認識情報を含む場合、仮想物体の前記実物体による遮蔽を示す遮蔽表示を、前記仮想物体と前記実物体との間の境界または前記境界の近傍位置において、第１の境界表現を示すように制御し、前記認識情報が前記第１の認識情報とは異なる第２の認識情報を含む場合、前記遮蔽表示を、前記境界または前記境界の近傍位置において、前記第１の境界表現とは異なる第２の境界表現を示すように制御する機能を実現させるための、プログラムが提供される。
以上説明したように本開示によれば、ユーザに与える違和感を軽減することが可能である。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の第１の実施形態による情報処理装置１の概要を説明する図である。 仮想物体の遮蔽について説明するための説明図である。 認識に係る精度が低い場合の表示例を説明するための説明図である。 実物体の移動速度が大きい場合の表示例を説明するための説明図である。 仮想物体と実物体との間の境界の不自然さについて説明するための説明図である。 同実施形態に係る情報処理装置１の構成例を示すブロック図である。 同実施形態に係る表示制御部１２７による遮蔽モデルを用いた仮想物体の遮蔽を説明するための説明図である。 境界表現を異ならせるために３次元仮想空間において行われ得る処理の例を説明するための説明図である。 境界表現を異ならせるために２次元描画結果において行われ得る処理の例を説明するための説明図である。 境界表現を異ならせるために行われ得る処理について整理した表である。 同実施形態に係る情報処理装置１の動作例を示すフローチャート図である。 同実施形態に係る境界表現の第１の具体例を説明するための説明図である。 同実施形態に係る境界表現の第１の具体例を説明するための説明図である。 同実施形態に係る境界表現の第１の具体例を説明するための説明図である。 同実施形態に係る境界表現の第１の具体例を説明するための説明図である。 同実施形態に係る境界表現の第２の具体例を説明するための説明図である。 同実施形態に係る境界表現の第２の具体例を説明するための説明図である。 同実施形態に係る境界表現の第２の具体例を説明するための説明図である。 同実施形態に係る境界表現の第２の具体例を説明するための説明図である。 同実施形態に係る境界表現の第２の具体例を説明するための説明図である。 同実施形態に係る境界表現の第２の具体例を説明するための説明図である。 同実施形態に係る境界表現の第２の具体例を説明するための説明図である。 同実施形態に係る境界表現の第３の具体例を説明するための説明図である。 同実施形態に係る変形例を説明するための説明図である。 同実施形態に係る変形例を説明するための説明図である。 同実施形態に係る変形例を説明するための説明図である。 本開示の第２の実施形態の概要を説明するための説明図である。 本開示の第２の実施形態の概要を説明するための説明図である。 同実施形態に係る情報処理装置１−２の構成例を示すブロック図である。 同実施形態に係る表示制御部１２８による遮蔽モデルのポリゴン数削減の一例を示す説明図である。 同実施形態の比較例の動作を示すフローチャートである。 同実施形態の比較例に係るタイミングチャート図である。 同実施形態に係る情報処理装置１−２の動作例を示すフローチャート図である。 同実施形態に係るタイミングチャート図である。 同実施形態に係る変形例について説明するための説明図である。 同実施形態に係る変形例について説明するための説明図である。 前後関係の判定が行われる場合のセンシングから描画までの流れを説明するための説明図である。 前後関係の判定が省略される場合のセンシングから描画までの流れを説明するための説明図である。 前後関係の判定が省略される場合であっても適切な表示が可能なインタラクションの例を示す説明図である。 前後関係の判定が行われる場合と、省略される場合とで見え方が大きく異なり得るインタラクションの例を示す説明図である。 同実施形態に係る変形例の動作例を示すフローチャート図である。 同実施形態に係る変形例に係るタイミングチャート図である。 同実施形態に係る変形例について説明するための説明図である。 処理モードを６段階に分けて決定した場合の動作の例をまとめた表である。 ハードウェア構成の一例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
なお、説明は以下の順序で行うものとする。
＜＜１．第１の実施形態＞＞
＜１−１．概要＞
＜１−２．構成＞
＜１−３．動作＞
＜１−４．境界表現の具体例＞
＜１−５．変形例＞
＜１−６．効果＞
＜＜２．第２の実施形態＞＞
＜２−１．概要＞
＜２−２．構成＞
＜２−３．動作＞
＜２−４．変形例＞
＜２−５．補足＞
＜＜３．ハードウェア構成例＞＞
＜＜４．むすび＞＞
＜＜１．第１の実施形態＞＞
＜１−１．概要＞
まず、本開示の第１の実施形態による情報処理装置の概要について説明する。図１は、本実施形態による情報処理装置１の概要を説明する図である。図１に示すように、本実施形態による情報処理装置１は、例えばユーザＵの頭部に装着されるメガネ型のヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）により実現される。装着時にユーザＵの眼前に位置するメガネレンズ部分に相当する表示部１３は、透過型または非透過型であってもよい。ここで述べる透過型の表示部１３は、光学的透過性を有する表示部として定義される。情報処理装置１は、表示部１３に仮想物体を表示することで、ユーザＵの視界内に仮想物体を提示することができる。また、情報処理装置１の一例であるＨＭＤは、両眼に画像を提示するものに限定されず、片眼のみに画像を提示するものであってもよい。例えばＨＭＤは、片方の眼に画像を提示する表示部１３が設けられた片目タイプのものであってもよい。
また、情報処理装置１には、装着時にユーザＵの視線方向、すなわちユーザの視界を撮像する外向きカメラ１１０が設けられている。さらに、図１に図示しないが、情報処理装置１には、装着時にユーザＵの眼を撮像する内向きカメラやマイクロホン（以下、「マイク」と示す。）等の各種センサが設けられていてもよい。外向きカメラ１１０、および内向きカメラは、それぞれ複数設けられていてもよい。
なお情報処理装置１の形状は図１に示す例に限定されない。例えば情報処理装置１は、ヘッドバンド型（頭部の全周を回るバンドで装着されるタイプ。また、側頭部だけでなく頭頂部を通るバンドが設ける場合もある）のＨＭＤや、ヘルメットタイプ（ヘルメットのバイザー部分がディスプレイに相当する）のＨＭＤであってもよい。
ここで、例えば表示部１３が透過型である場合、表示部１３に表示される仮想物体は、実空間に重なってユーザに視認される。また、仮想物体が実空間に存在するかのようにユーザに感じさせるため、外向きカメラ１１０の撮影により得られる実空間の情報に基づいて仮想物体の配置や形状、色等を制御することも可能である。
ここで、ユーザが仮想物体に対するインタラクション（操作等）を行うことを考えた場合、例えば手等の実物体を用いて、ユーザが仮想物体とのインタラクションを行うことが考えられる。係る場合、仮想物体と実物体との境界が適切に表現されないと、ユーザに違和感を与える恐れがある。図１に示したように、仮想物体を表示する表示部１３は、ユーザの眼前に位置するため、仮想物体とユーザの眼との間に実物体が存在するかのように仮想物体を実空間に配置する場合、表示部１３に表示される仮想物体の一部を適切に遮蔽することが望ましい。
図２は、仮想物体の遮蔽について説明するための説明図である。図２に示すような仮想物体Ｖ１０１を表示部１３に表示させることを考える。仮想物体Ｖ１０１を表示部１３にそのまま表示してしまうと、上述のように表示部１３はユーザの眼前に位置するため、仮想物体Ｖ１０１とユーザの眼の間に存在する実物体であるユーザの手Ｈ１０１を覆うように仮想物体Ｖ１０１がユーザに視認される恐れがある。係る場合、ユーザは仮想物体Ｖ１０１が手Ｈ１０１の手前側（ユーザの眼側）に存在するのか奥側に存在するのかわからず、ユーザに違和感を与えてしまう。
そこで、仮想物体Ｖ１０１のうち、手Ｈ１０１と重なってユーザに視認される領域を遮蔽する。例えば、外向きカメラ１１０による手Ｈ１０１のセンシング（撮像）により得られた撮像画像に基づいて、仮想物体Ｖ１０１よりも手前側（ユーザの眼側）に存在する手領域の認識が行われ、手領域認識結果Ｒ１０１が得られる。なお、図２に示す手領域認識結果Ｒ１０１は、白色の手領域ＨＲ１０１が仮想物体Ｖ１０１よりも手前側に存在する実物体であると認識された領域を示す。そして、手領域認識結果Ｒ１０１を用いて、仮想物体Ｖ１０１を遮蔽するように描画を行うと、描画結果Ｄ１０１が得られる。なお、図２示す描画結果Ｄ１０１において、白色領域は描画されない領域を示し、描画結果Ｄ１０１では、手領域ＨＲ１０１に相当する遮蔽領域ＣＲ１０１の部分が遮蔽されて仮想物体領域ＶＲ１０１が描画され、遮蔽領域ＣＲ１０１には仮想物体が描画されていない。
描画結果Ｄ１０１に基づいて表示部１３の表示が行われることで、表示部１３を通したユーザの視界は、図２に示す視界Ｆ１０１のようになる。上記のように実物体のセンシングに基づく認識に応じた表示が行われることで、仮想物体Ｖ１０１と手Ｈ１０１の位置関係が適切にユーザに理解されやすくなる。
なお、上記では、ユーザが操作に用いるユーザ自身の手を実物体の例として説明したが、手以外の実物体や、操作に用いられる実物体以外の実物体に対しても同様の処理が可能であり、実物体と仮想物体の位置関係を適切にユーザに提示することが可能である。
しかし、実物体のセンシングに基づく認識の結果によっては、実物体と仮想物体との間の境界が適切に表現されず、ユーザが仮想物体の表示に違和感を持つ恐れがある。例えば、認識に係る精度が低い場合に、仮想物体との間の境界が適切に表現されず、ユーザが仮想物体の表示に違和感を持つ恐れがある。
図３は、認識に係る精度が低い場合の表示例を説明するための説明図である。図３に示す例では、手Ｈ１０２のセンシングに基づく認識の結果得られた手領域認識結果Ｒ１０２の精度が、図２に示した手領域認識結果Ｒ１０１の精度よりも低く、手領域ＨＲ１０２の境界にノイズが含まれている。精度低下の原因は様々であるが、例えば周辺環境の明るさや、実物体と外向きカメラ１１０との距離によって、認識に係る精度が低下し、例えば境界がギザギザであったり、むらがあったりする、といったノイズが発生する場合がある。
このような精度の低い手領域認識結果Ｒ１０２を用いて、仮想物体Ｖ１０２を遮蔽するように描画が行われると、得られた描画結果Ｄ１０２においても、仮想物体領域ＶＲ１０２と遮蔽領域ＣＲ１０２との境界にノイズが含まれる。そして、このような描画結果Ｄ１０２に基づいて表示が行われると、ユーザの視界Ｆ１０２においても、ノイズの影響が見られる。その結果、ユーザは仮想物体Ｖ１０２と実物体であるユーザの手Ｈ１０２との間の境界に違和感を覚える恐れがある。
また、実物体の移動によっても、実物体と仮想物体との間の境界が適切に表現されず、ユーザが仮想物体の表示に違和感を持つ恐れがある。例えば、実物体の移動速度が大きい場合に、実物体と仮想物体との間の境界が適切に表現されないことがある。
図４は、実物体の移動速度が大きい場合の表示例を説明するための説明図である。図４に示す例では、手Ｈ１０３のセンシングに基づく認識の結果得られる手領域認識結果Ｒ１０３の精度には、特に問題がない。そして、手領域認識結果Ｒ１０３を用いて、仮想物体Ｖ１０３を遮蔽するように描画が行われると、遮蔽領域ＣＲ１０３で遮蔽された仮想物体領域ＶＲ１０３を含む描画結果Ｄ１０３が得られる。
ここで、実物体である手Ｈ１０３の移動速度が大きい場合、上記の認識や描画に係る処理が行われている間に手Ｈ１０３の位置が大きく移動し得る。その結果、描画結果Ｄ１０３に基づいて表示が行われた時点で、手Ｈ１０３がセンシング時点の位置から大きく移動しており、ユーザの視界Ｆ１０３において、仮想物体Ｖ１０３とユーザの手Ｈ１０２との間の境界が不自然になってしまっている。その結果、ユーザは仮想物体Ｖ１０３と実物体であるユーザの手Ｈ１０３との間の境界に違和感を覚える恐れがある。
図３に示したように認識精度の低下に伴うノイズの影響を受けたユーザの視界Ｆ１０２、及び図４に示したように手Ｈ１０３の移動の影響を受けたユーザの視界Ｆ１０３は、例えば以下の２つの点でユーザに違和感を与える恐れがある。１点目は本来ユーザの手（実物体）が見えているべき領域に仮想物体が見えてしまうことである。２点目は、本来仮想物体が見えているべき領域に何も表示されず、背景の実空間が見えてしまうことである。この２点の違和感について、図４に示したユーザの視界Ｆ１０３の場合を例に、図５を参照して具体的に説明する。
図５は、図４に示したユーザの視界Ｆ１０３における仮想物体Ｖ１０３とユーザの手Ｈ１０３との間の境界の不自然さについて説明するための説明図である。図５には、説明のための領域分けを図４に示したユーザの視界Ｆ１０３に対して行ったイメージ図ＩＦ１０３が示されている。イメージ図ＩＦ１０３では、領域ＨＶ１０３と領域ＶＨ１０３がそれぞれ異なるハッチング表現により示されている。領域ＨＶ１０３は、本来ユーザの手Ｈ１０３が見えているべきにもかかわらず、仮想物体Ｖ１０３が見えてしまっている領域を示している。一方、領域ＶＨ１０３は、本来仮想物体Ｖ１０３が見えているべきにもかかわらず、背景の実空間が見えてしまっている領域を示している。なお、図５では、図４に示したユーザの視界Ｆ１０３を例に領域ＨＶ１０３と領域ＶＨ１０３とを示したが、図３に示したユーザの視界Ｆ１０２においても、同様に、理想的な視界とは異なってしまう２種類の領域が存在する
このような理想的な視界とは異なってしまう２種類の領域が存在することにより、ユーザは仮想物体と実物体との間の境界に違和感を覚える恐れがある。そこで、本実施形態に係る情報処理装置１は、実物体のセンシングに基づく認識に係る認識情報に応じて、仮想物体と前記実物体との間の境界表現が異なるように表示を制御することで、ユーザに与える違和感を軽減する。以下、このような効果を有する本実施形態に係る情報処理装置１の構成例について、より詳細に説明を行う。
＜１−２．構成＞
図６は、本実施形態に係る情報処理装置１の構成例を示すブロック図である。図６に示すように、情報処理装置１は、センサ部１１、制御部１２、表示部１３、スピーカー１４、通信部１５、操作入力部１６、および記憶部１７を有する。
（センサ部１１）
センサ部１１は、ユーザまたは周辺環境に関する各種情報を取得（センシング）する機能を有する。例えばセンサ部１１は、外向きカメラ１１０、内向きカメラ１１１、マイク１１２、ジャイロセンサ１１３、加速度センサ１１４、方位センサ１１５、位置測位部１１６、および生体センサ１１７を含む。なおここで挙げるセンサ部１１の具体例は一例であって、本実施形態はこれに限定されない。また、各センサはそれぞれ複数であってもよい。
外向きカメラ１１０および内向きカメラ１１１は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を各々有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。
なお、本実施形態において、外向きカメラ１１０は、実空間におけるユーザの視界に相当する領域を撮像するように、画角、及び向きが設定されることが望ましい。また、外向きカメラ１１０は、複数設けられていてもよい。さらに、外向きカメラ１１０は、センシングによりデプスマップを取得可能なデプスカメラを含んでもよい。
マイク１１２は、ユーザの音声や周囲の環境音を収音し、音声データとして制御部１２に出力する。
ジャイロセンサ１１３は、例えば３軸ジャイロセンサにより実現され、角速度（回転速度）を検出する。
加速度センサ１１４は、例えば３軸加速度センサ（Ｇセンサとも称す）により実現され、移動時の加速度を検出する。
方位センサ１１５は、例えば３軸地磁気センサ（コンパス）により実現され、絶対方向（方位）を検出する。
位置測位部１１６は、外部からの取得信号に基づいて情報処理装置１の現在位置を検知する機能を有する。具体的には、例えば位置測位部１１６は、ＧＰＳ（Global Positioning System）測位部により実現され、ＧＰＳ衛星からの電波を受信して、情報処理装置１が存在している位置を検知し、検知した位置情報を制御部１２に出力する。また、位置測位部１１６は、ＧＰＳの他、例えばＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。
生体センサ１１７は、ユーザの生体情報を検知する。具体的には、例えば心拍、体温、発汗、血圧、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、ＭＶ（マイクロバイブレーション）、筋電位、またはＳＰＯ２（血中酸素飽和度））などを検知し得る。
（制御部１２）
制御部１２は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１内の動作全般を制御する。また、本実施形態による制御部１２は、図６に示すように、認識部１２０、及び表示制御部１２７として機能する。
認識部１２０は、センサ部１１によりセンシングされた各種センサ情報に基づいて、ユーザに関する情報、または周辺状況に関する情報の認識（検出を含む）を行う機能を有する。認識部１２０は多様な情報を認識し得るが、例えば、認識部１２０は、外向きカメラ１１０の撮像（センシングの一例）により得られる撮像画像に基づいて、ユーザ周囲の実空間を３次元的に認識し、さらに実空間に存在する実物体に関する認識を行ってもよい。実空間の３次元的な認識は、例えば外向きカメラ１１０が複数のカメラを含む場合には、複数のカメラで得られた複数の撮像画像に対してステレオマッチングを行って得られるデプスマップを用いて行われてもよい。また、実空間の３次元的な認識は、時系列的な撮像画像に基づいて、撮像画像から検出された特徴点をフレーム間で対応付けることにより行われてもよい。また、外向きカメラ１１０がデプスカメラを含む場合には、デプスカメラのセンシングにより得られる距離画像に基づいて実空間の３次元的な認識が行われてもよい。
上述したように認識部１２０は多様な情報を認識し得るが、特に本実施形態に係る認識部１２０は移動認識部１２１、形状認識部１２３、及び精度情報取得部１２５としての機能を有する。
移動認識部１２１は、実物体のセンシングに基づき、実物体の移動に関する移動認識を行う。例えば、移動認識部１２１は、実物体のセンシングにより得られた撮像画像に基づいて、実物体の重心位置、及び姿勢の移動を認識してもよい。
移動認識部１２１は、認識された重心位置、及び姿勢のフレーム間での移動を認識し、移動の認識により特定される実物体の移動速度の情報を、移動の認識に係る認識情報として、表示制御部１２７へ提供する。
形状認識部１２３は、実物体のセンシングに基づき、実物体の３次元形状を認識する形状認識を行う。また、形状認識部１２３は形状認識と同時に実物体の位置、及び姿勢を認識してもよい。本実施形態に係る移動認識部１２１と形状認識部１２３は、位置、及び姿勢の認識に関して、情報の共有を行ってもよく、いずれか一方により認識された結果が他方に提供されてもよい。例えば、形状認識部１２３により認識された実物体の位置、及び姿勢に基づいて、移動認識部１２１が実物体の移動の認識を行ってもよい。
形状認識部１２３は、認識した実物体の３次元形状に基づいて、３次元の頂点と辺の列で表現される３次元モデルを生成し、形状情報として表示制御部１２７へ提供する。後述するように、形状認識部１２３により生成された実物体の３次元モデルは、表示制御部１２７が仮想物体を遮蔽するように描画を行うために用いられる。そのため、以下では、係る３次元モデルを遮蔽モデルと呼称する場合がある。
なお、形状認識部１２３は、外向きカメラ１１０により取得されるセンシングデータ（例えば撮像画像や距離画像）の時系列的な変化に基づき、実物体の３次元形状の変化（移動）の予測を行ってもよい。そして、形状認識部１２３は、予測に基づいて実物体の３次元形状を補正し、補正された３次元モデルを生成してもよい。例えば、形状認識部１２３は、認識部１２０の認識や表示制御部１２７の描画等にかかる処理時間を考慮した予測を行うことで、センシングに基づく表示が行われる時点の実物体に対応する、補正された３次元モデルを生成し得る。係る構成により、補正された３次元モデルに基づいて表示を行うことで、図４，図５を参照して説明したような、実物体の移動に伴う違和感を軽減することが可能となる。
なお、実物体が手である場合、指の移動は手全体の移動に比べて早くないため、指だけが移動している場合にはこのような予測が当たりやすく、指の移動に伴う違和感を軽減することが可能である。一方、手全体が高速に移動している場合には、移動認識部１２１により取得された移動情報に基づく後述するような処理により、手全体の移動に伴う違和感が軽減され得る。なお、手と指の両方を同時に高速に動くことは少ない。
精度情報取得部１２５は、形状認識部１２３による形状認識に係る認識精度の情報を取得する。例えば、精度情報取得部１２５は、形状認識部１２３が行う認識における信頼度や、外向きカメラ１１０を含むセンサ部１１により取得されるセンシングデータから推定されるセンシングデータに係る信頼度、誤差、または精度に基づいて認識精度を特定することで、認識精度を取得してもよい。
例えば、形状認識部１２３がステレオマッチングにより得られたデプスマップに基づいて形状認識を行う場合、ステレオマッチングにおけるマッチングスコアの情報が信頼度として用いられて、認識精度の情報が特定されてもよい。
また、外向きカメラ１１０がデプスカメラを含む場合、デプスカメラが出力するセンシングデータに係る信頼度に基づいて、認識精度の情報が取得されてもよい。
また、センシングデータの誤差、及び精度は様々な方法で推定され得る。例えば、精度情報取得部１２５は、過去所定時間分のセンシングデータの分散を算出し、当該分散が大きい場合、または分散に大きな変化があった場合に、誤差が大きい（精度が低い）、と推定してもよい。センシングデータの誤差、または精度に基づいて認識精度の情報を取得することで、認識精度は、結果として認識の精度を反映したものとなる。
上記で説明した信頼度や誤差、または精度は、単独で用いられて、または組み合わされて認識精度が特定されてもよい。また、精度情報取得部１２５による認識精度の特定方法は、上記に限定されず、得られるセンシングデータや認識部１２０が行う認識の方法に応じて様々な方法で特定されてもよい。
精度情報取得部１２５は、取得した認識精度の情報を、形状認識に係る認識情報として、表示制御部１２７へ提供する。
表示制御部１２７は、表示部１３の表示を制御する。例えば、表示制御部１２７は、実空間と同時に仮想物体を視認可能なように、仮想物体を表示部１３に表示させる。なお、表示制御部１２７は、仮想物体に係る情報を例えば記憶部１７から取得してもよいし、通信部１５を介して他の装置から取得してもよい。
また、図２を参照して説明したように、本実施形態に係る表示制御部１２７は、形状認識部１２３の形状認識により得られた形状情報の一例である遮蔽モデルを用いて、仮想物体の遮蔽が行われるように表示を制御する。
図７は、表示制御部１２７による遮蔽モデルを用いた仮想物体の遮蔽を説明するための説明図である。表示制御部１２７は、図７に示すような３次元的な仮想空間ＶＳ１０４に、仮想物体Ｖ１０４と遮蔽モデルＣＭ１０４を配置する。さらに、表示制御部１２７は、仮想空間ＶＳ１０４において、仮想的なカメラである仮想視点ＶＣでの描画を行うことで、２次元的な描画結果Ｄ１０４を得る。描画結果Ｄ１０４には、仮想物体領域ＶＲ１０４と、遮蔽モデル領域ＣＭＲ１０４が含まれている。表示制御部１２７は、例えば遮蔽モデル領域ＣＭＲ１０４を図２等を参照して説明した遮蔽領域として、遮蔽モデル領域ＣＭＲ１０４に何も表示されないように表示部１３の表示を制御することで、仮想物体Ｖ１０４を遮蔽する。係る構成により、図２を参照して説明したような仮想物体と実物体の位置関係が適切にユーザに理解されやすい表示を実現する。
しかし、図３〜５を参照して説明したように、認識精度や実物体の移動の影響により、上述した表示方法では仮想物体と実物体との間の境界が適切に表現されず、ユーザに違和感を与えてしまう恐れがある。そこで本実施形態に係る表示制御部１２７は、実物体のセンシングに基づく認識に係る認識情報に応じて、仮想物体と実物体との間の境界表現が異なるように表示部１３の表示を制御する。なお、表示制御部１２７が用いる認識情報は、上述したように、移動認識部１２１から提供される実物体の移動速度の情報、及び精度情報取得部１２５から提供される形状認識に係る認識精度の情報を含んでもよい。また、認識情報は、実物体のセンシングに基づく認識に応じて、第１の認識情報、または第１の認識情報とは異なる第２の認識情報を含むものと見做されてもよい。
本明細書において境界表現とは、ユーザの視界における実物体と仮想物体の境界に関する表現、または当該境界の近傍位置（境界領域）に関する表現を意味する。また、境界表現を異ならせる、または境界表現を変更する、とは、表示形式等を異ならせることに加え、表示しないことを含む。なお、本明細書において、境界表現を異ならせる、とは、境界表現を第１の境界表現、または第１の境界表現とは異なる第２の境界表現の一方にすることとして、見做されてもよい。また、本明細書において、境界表現を変更する、とは、境界表現を第１の境界表現と第２の境界表現との間で変更することとして、見做されてもよい。なお、表示部１３が透過型である場合、表示しないことは、透過型の表示部１３を通して実空間が見えることに相当する。また、境界表現は、仮想物体の実物体による遮蔽を示す遮蔽表示に関する表現として見做されてもよい。
図８〜図１０を参照しながら、表示制御部１２７が行う、境界表現を異ならせるための処理の例について説明する。図８は、境界表現を異ならせるために３次元仮想空間において行われ得る処理の例を説明するための説明図である。図９は、境界表現を異ならせるために２次元描画結果において行われ得る処理の例を説明するための説明図である。図１０は、境界表現を異ならせるために行われ得る処理について整理した表である。
例えば、表示制御部１２７は、境界表現を異ならせるために、図８に示す３次元的な仮想空間ＶＳ１０５において、遮蔽側の遮蔽モデルＣＭ１０５全体に対して処理を行ってもよい。例えば、表示制御部１２７は、遮蔽モデルＣＭ１０５全体の色を、遮蔽のための色から実物体（例えば手）に近い色に変更することで、境界表現を異ならせてもよい。以下の説明において、このような３次元仮想空間における遮蔽モデル全体に対する処理を、図１０に示すように、処理３Ｄ―Ｃ―Ａと呼ぶ場合がある。
また、表示制御部１２７は、境界表現を異ならせるために、図８に示す３次元的な仮想空間ＶＳ１０５において、遮蔽モデルＣＭ１０５の一部に対して処理を行ってもよい。例えば、表示制御部１２７は、遮蔽モデルＣＭ１０５の輪郭部分ＣＭＰ１０５の透過度を上げることで、境界表現を異ならせてもよい。また、表示制御部１２７は、遮蔽モデルＣＭ１０５の輪郭部分ＣＭＰ１０５を拡張させることで、境界表現を異ならせてもよい。また、表示制御部１２７は、遮蔽モデルＣＭ１０５の輪郭部分ＣＭＰ１０５にエフェクト表示（以下、単にエフェクトという場合がある）を付加することで、境界表現を異ならせてもよい。以下の説明において、このような３次元仮想空間における遮蔽モデルの一部に対する処理を、図１０に示すように、処理３Ｄ―Ｃ―Ｐと呼ぶ場合がある。
また、表示制御部１２７は、境界表現を異ならせるために、図８に示す３次元的な仮想空間ＶＳ１０５において、被遮蔽側の仮想物体Ｖ１０５全体に対して処理を行ってもよい。例えば、表示制御部１２７は、仮想物体Ｖ１０５全体の輝度を低下させることで、境界表現を異ならせてもよい。以下の説明において、このような３次元仮想空間における仮想物体全体に対する処理を、図１０に示すように、処理３Ｄ―Ｖ―Ａと呼ぶ場合がある。
また、表示制御部１２７は、境界表現を異ならせるために、図８に示す３次元的な仮想空間ＶＳ１０５において、仮想物体Ｖ１０５の一部に対して処理を行ってもよい。例えば、表示制御部１２７は、仮想物体Ｖ１０５の一部に実物体（例えば手）の色に近い影ＶＰ１０５を設定することで、境界表現を異ならせてもよい。以下の説明において、このような３次元仮想空間における仮想物体の一部に対する処理を、図１０に示すように、処理３Ｄ―Ｖ―Ｐと呼ぶ場合がある。
また、表示制御部１２７は、境界表現を異ならせるために、図９に示す２次元的な描画結果Ｄ１０５において、遮蔽側の遮蔽モデル領域ＣＭＲ１０５全体に対して処理を行ってもよい。例えば、表示制御部１２７は、遮蔽モデル領域ＣＭＲ１０５全体の色を、遮蔽のための色から実物体（例えば手）に近い色に変更することで、境界表現を異ならせてもよい。以下の説明において、このような２次元描画結果における遮蔽モデル領域全体に対する処理を、図１０に示すように、処理２Ｄ―Ｃ―Ａと呼ぶ場合がある。
また、表示制御部１２７は、境界表現を異ならせるために、図９に示す２次元的な描画結果Ｄ１０５において、遮蔽モデル領域ＣＭＲ１０５の一部に対して処理を行ってもよい。例えば、表示制御部１２７は、遮蔽モデル領域ＣＭＲ１０５の輪郭部分ＣＭＰ１０５の透過度を上げたり、ぼかしたりしてブレンドすることで、境界表現を異ならせてもよい。以下の説明において、このような２次元描画結果における遮蔽モデル領域の一部に対する処理を、図１０に示すように、処理２Ｄ―Ｃ―Ｐと呼ぶ場合がある。
また、表示制御部１２７は、境界表現を異ならせるために、図９に示す２次元的な描画結果Ｄ１０５において、被遮蔽側の仮想物体領域ＶＲ１０５全体に対して処理を行ってもよい。例えば、表示制御部１２７は、仮想物体領域ＶＲ１０５全体の輝度を低下させることで、境界表現を異ならせてもよい。以下の説明において、このような２次元描画結果における仮想物体領域全体に対する処理を、図１０に示すように、処理２Ｄ―Ｖ―Ａと呼ぶ場合がある。
また、表示制御部１２７は、境界表現を異ならせるために、図９に示す２次元的な描画結果Ｄ１０５において、仮想物体領域ＶＲ１０５の一部に対して処理を行ってもよい。例えば、表示制御部１２７は、仮想物体領域ＶＲ１０５のうち、遮蔽モデル領域ＣＭＲ１０５との境界の近傍領域ＶＲＰ１０５のみを実物体（例えば手）の色に近づけることで、境界表現を異ならせてもよい。以下の説明において、このような２次元描画結果における仮想物体領域の一部に対する処理を、図１０に示すように、処理２Ｄ―Ｖ―Ｐと呼ぶ場合がある。
なお、上述した表示制御部１２７が行う８つの処理３Ｄ―Ｃ―Ａ、処理３Ｄ―Ｃ―Ｐ、処理３Ｄ―Ｖ―Ａ、処理３Ｄ―Ｖ―Ｐ、処理２Ｄ―Ｃ―Ａ、処理２Ｄ―Ｃ―Ｐ、処理２Ｄ―Ｖ―Ａ、及び処理２Ｄ―Ｖ―Ｐは、それぞれ単独で行われてもよいし、組み合わせて行われてもよい。表示制御部１２７は上述した処理を単独で、または組み合わせて行うことで、境界表現を多様に異ならせることが可能である。また、表示制御部１２７は上述した処理を単独で、または組み合わせて行うことで、表示部１３に表示させる画像を描画し、描画された画像を表示部１３に表示させる。
なお、境界表現の具体例については、図１２〜図２３を参照して後述する。
（表示部１３）
図６に戻って説明を続ける。表示部１３は、例えばホログラム光学技術を用いて表示を行うレンズ部（透過型表示部の一例）、液晶ディスプレイ（LCD）装置、ＯＬＥＤ（Organic Light Emitting Diode）装置等により実現される。また、表示部１３は、透過型、半透過型、または非透過型であってもよい。
（スピーカー１４）
スピーカー１４は、制御部１２の制御に従って、音声信号を再生する。
（通信部１５）
通信部１５は、有線／無線により他の装置との間でデータの送受信を行うための通信モジュールである。通信部１５は、例えば有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、Ｗｉ−Ｆｉ（Wireless Fidelity、登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離／非接触通信等の方式で、外部機器と直接またはネットワークアクセスポイントを介して無線通信する。
（操作入力部１６）
操作入力部１６は、スイッチ、ボタン、またはレバー等の物理的な構造を有する操作部材により実現される。
（記憶部１７）
記憶部１７は、上述した制御部１２が各機能を実行するためのプログラムやパラメータを記憶する。例えば記憶部１７には、表示制御部１２７が表示させる仮想物体に関する情報が記憶されていてもよい。
以上、本実施形態による情報処理装置１の構成について具体的に説明したが、本実施形態による情報処理装置１の構成は図６に示す例に限定されない。例えば情報処理装置１の制御部１２が有する少なくとも一部の機能が、通信部１５を介して接続される他の装置に存在してもよい。
＜１−３．動作＞
以上、本実施形態に係る情報処理装置１の構成例について説明した。続いて、本実施形態に係る情報処理装置１の動作例について図１１を参照して説明する。図１１は、本実施形態に係る情報処理装置１の動作例を示すフローチャート図である。
図１１に示すように、まずセンサ部１１の外向きカメラ１１０が、実物体のセンシング（例えば撮像）を行う（Ｓ１００）。続いて、制御部１２の認識部１２０の移動認識部１２１が、ステップＳ１００で行われたセンシングの結果に基づいて、実物体の移動に関する移動認識を行い、例えば移動速度の情報を特定する（Ｓ１１０）。
また、認識部１２０の形状認識部１２３が、ステップＳ１００で行われたセンシングの結果に基づいて、実物体の形状認識を行い、遮蔽モデルを生成する（Ｓ１２０）。続いて、認識部１２０の精度情報取得部１２５が、形状認識部１２３の形状認識に係る認識精度の情報を取得する（Ｓ１３０）。
続いて、表示制御部１２７が、表示させる仮想物体に関する情報を取得する（Ｓ１４０）。なお、ここで表示制御部１２７は、認識部１２０の認識結果に基づいて、表示させる仮想物体を特定してから、特定された仮想物体の情報を取得してもよい。
続いて、表示制御部１２７は、ステップＳ１１０で特定された移動速度の情報（認識情報の一例）、及びステップＳ１３０で特定された認識精度の情報（認識情報の一例）に基づいて、境界表現を決定する（Ｓ１５０）。なお、ここで決定された境界表現の具体例については、図１２〜図２３を参照して後述する。
続いて、表示制御部１２７は、ステップＳ１５０で決定された境界表現に係る表示制御方法に従って、表示部１３に表示させる画像を描画する（Ｓ１６０）。さらに、表示制御部１２７の制御に従い、表示部１３が当該画像を表示する（Ｓ１７０）。
以上、本実施形態に係る情報処理装置１の動作例について説明した。なお、ステップＳ１１０とステップＳ１２０〜Ｓ１３０の処理の順序は逆であってもよいし、ステップＳ１１０とステップＳ１２０〜Ｓ１３０の処理は並列に行われてもよい
＜１−４．境界表現の具体例＞
続いて、境界表現の幾つかの具体例について、図１２〜図２３を参照して説明を行う。
（第１の具体例：遮蔽領域の拡縮）
境界表現の第１の具体例として、表示制御部１２７が、認識情報（認識精度の情報、または移動速度の情報）に応じて、遮蔽領域を拡縮（拡張、または縮小）することで、境界表現を異ならせる例について説明する。図１２〜図１５は、境界表現の第１の具体例を説明するための説明図である。
図１２に示す例では、図３等を参照して説明した例と同様に、手領域認識結果Ｒ１１１の精度が低く、手領域ＨＲ１１１の境界にノイズが含まれている。そこで、表示制御部１２７は、認識精度の情報（認識情報の一例）に応じて、例えば認識精度が低い場合に、遮蔽に係る遮蔽領域が拡張されるように表示を制御してもよい。すなわち、表示制御部１２７は、認識情報が異なる場合に、遮蔽領域が異なる大きさを有するように表示を制御するものと見做されてもよい。
例えば、図１２に示すように、手領域ＨＲ１１１を拡張して得られた拡張手領域ＤＨＲ１１１を含む拡張手領域認識結果ＤＲ１１１を用いて、仮想物体Ｖ１１１を遮蔽するように描画が行われると、描画結果Ｄ１１１が得られる。描画結果Ｄ１１１における遮蔽領域ＣＲ１１１は、図３に示した遮蔽領域ＣＲ１０２と比較して拡張されている。このように拡張された遮蔽領域ＣＲ１１１と、仮想物体領域ＶＲ１１１を含む描画結果Ｄ１１１に基づいて表示が行われると、ユーザの視界は視界Ｆ１１１のようになる。視界Ｆ１１１では、図３に示した視界Ｆ１０３と比較して、ノイズの影響が抑制されており、その結果、仮想物体Ｖ１１１と実物体であるユーザの手Ｈ１１１との間の境界に関してユーザに与える違和感が軽減される。
また、図１２に示す例では、表示制御部１２７が認識精度の情報に応じて表示制御を行う例を説明したが、本具体例は係る例に限定されない。表示制御部１２７は、実物体の移動速度の情報（認識情報の一例）に応じて、例えば移動速度が大きい場合に、遮蔽に係る遮蔽領域が拡張されるように表示を制御してもよい。係る場合の処理の流れは、図１２を参照して説明した例と同様であるため、詳細な処理の流れについては説明を省略し、図１３を参照してその結果得られる効果について説明を行う。
図４，図５を参照して説明したような実物体の移動速度が大きい場合に、遮蔽領域が拡張されるように表示制御が行われると、ユーザの視界は図１３に示す視界Ｆ１１２のようになる。また、図１３には、説明のための領域分けを視界Ｆ１１２に対して行ったイメージ図ＩＦ１１２が示されている。イメージ図ＩＦ１１２によれば、視界Ｆ１１２には、本来仮想物体Ｖ１１２が見えているべきにもかかわらず、背景の実空間が見えてしまっている領域ＶＨ１１２が存在する。しかし、視界Ｆ１１２には、図５に示したＨＶ１０３のような、本来ユーザの手Ｈ１１２が見えているべきにもかかわらず、仮想物体Ｖ１１２が見えてしまっている領域は存在せず、図４，図５を参照して説明した例と比べ、ユーザに与える違和感が軽減される。
なお、表示制御部１２７は、認識情報（例えば認識精度の情報、または移動速度の情報）に応じて遮蔽領域の拡張の度合（表現変更に係る強度の一例）を異ならせてもよい。例えば、表示制御部１２７は、認識精度が低い程、遮蔽領域がより拡張されるように、表示を制御してもよい。また、表示制御部１２７は、移動速度が大きい程、遮蔽領域がより拡張されるように、表示を制御してもよい。
また、表示制御部１２７は、遮蔽領域を拡張する代わりに、矩形や楕円等の所定の形状で遮蔽領域を近似するように、表示を制御してもよい。例えば、近似する形状を遮蔽領域よりも大きくすることで、上記と同様の効果を得ることが可能となる。
また、表示制御部１２７は、拡張された遮蔽領域の拡張に係る部分をフェードさせてもよい。係る例について図１４を参照して説明する。図１４に示す例においても、手領域認識結果Ｒ１１３の精度が低く、手領域ＨＲ１１３の境界にノイズが含まれている。
図１４に示す例では、手領域ＨＲ１１３を拡張して得られた拡張手領域ＤＨＲ１１３を含む拡張手領域認識結果ＤＲ１１３を用いて、仮想物体Ｖ１１３を遮蔽するように描画が行われる、描画結果Ｄ１１３が得られる。ここで、拡張手領域ＤＨＲ１１３は、拡張に係る部分をフェードさせるように拡張されている。その結果、描画結果Ｄ１１３における遮蔽領域ＣＲ１１３においても、拡張に係る部分がフェードされている。このような遮蔽領域ＣＲ１１３と仮想物体領域ＶＲ１１３を含む描画結果Ｄ１１３に基づいて表示が行われると、ユーザの視界は、視界Ｆ１１３のようになる。その結果、視界Ｆ１１３において、仮想物体Ｖ１１３と実物体であるユーザの手Ｈ１１３との間の境界近傍の領域がフェードされ、ユーザに与える違和感がより軽減される。
なお、図１４に示す例では、認識精度が低い場合について説明したが、移動速度が大きい場合であっても同様である。
また、表示制御部１２７は、遮蔽領域のうち、認識情報に応じた領域が拡縮されるように表示を制御してもよい。例えば、精度情報取得部１２５により提供された認識精度の情報に、認識精度が低い部分に関する情報（例えば位置の情報等）が含まれている場合、表示制御部１２７は、遮蔽領域のうち、認識精度が低い部分に応じた領域が拡張されるように、表示を制御してもよい。係る例について図１５を参照して具体的に説明する。
図１５に示すようなノイズを含む手領域認識結果Ｒ１１４が得られた際に、表示制御部１２７が遮蔽領域のうち認識精度が低い部分に応じた領域が拡張されるように表示を制御すると、ユーザの視界は視界Ｆ１１４のようになる。視界Ｆ１１４において、本来仮想物体Ｖ１１４が見えているべきにもかかわらず、背景の実空間が見えてしまっている領域は、認識精度が低い部分に応じた拡張部分領域ＦＲ１１４のみとなる。そして、拡張部分領域ＦＲ１１４以外の仮想物体Ｖ１１４と手Ｈ１１５との境界は高精度に表現されている。したがって、係る構成により、ユーザに与える違和感がより軽減される。
また、表示制御部１２７は、遮蔽領域のうち認識精度が低い部分に応じた領域が拡張される場合に、図１４を参照して説明した例と同様に、拡張に係る部分をフェードさせてもよい。図１５に示す例では、ノイズを含む手領域認識結果Ｒ１１５が得られた際に、表示制御部１２７が遮蔽領域のうち認識精度が低い部分に応じた領域が拡張され、かつ拡張に係る部分がフェードされるように表示を制御すると、ユーザの視界は視界Ｆ１１５のようになる。視界Ｆ１１５において、認識精度が低い部分に応じた拡張部分領域ＦＲ１１５はフェードされているため、視界Ｆ１１４の例と比べて、ユーザに与える違和感がより軽減される。
なお、図１５に示す例では、認識精度が低い場合について説明したが、移動速度が大きい場合であっても同様である。例えば、移動認識部１２１により提供された移動速度の情報に、移動速度が大きい部分に関する情報（例えば位置の情報等）が含まれている場合、表示制御部１２７は、遮蔽領域のうち、移動速度が大きい部分に応じた領域が拡張されるように、表示を制御してもよい。
以上、図１２〜図１５を参照して、境界表現の第１の具体例について説明した。なお、上記では、遮蔽領域が拡張される例を説明したが、遮蔽領域が縮小される場合も同様である。遮蔽領域が縮小される場合には、ユーザの視界において、本来仮想物体が見えているべきにもかかわらず、背景の実空間が見えてしまっている領域が減少して、ユーザに与える違和感が軽減される。
また、上記の遮蔽領域の拡縮は、例えば図８〜図１０を参照して説明した処理により実現可能である。例えば、上記の遮蔽領域の拡縮は、図１０の処理３Ｄ―Ｃ―Ｐ、処理２Ｄ―Ｃ―Ｐ、及び処理２Ｄ―Ｖ―Ｐを適宜組み合わせることで実現可能である。
（具体例２：エフェクトの付加）
境界表現の第２の具体例として、表示制御部１２７が、認識情報（認識精度の情報、または移動速度の情報）に応じて、遮蔽に係る境界の近傍に、エフェクトが付加（重畳）されるように表示を制御することで、境界表現を異ならせる例について説明する。なお、遮蔽に係る境界の近傍とは、例えば図２等を参照して説明した遮蔽領域と仮想物体領域との境界の近傍であってもよい。また、遮蔽に係る境界の近傍とは、図８、図９を参照して説明した遮蔽モデルの輪郭部分や、遮蔽モデル領域と仮想物体領域との境界の近傍であってもよい。
図１６〜図２２は、境界表現の第２の具体例を説明するための説明図である。図１６に示す例では、図３等を参照して説明した例と同様に、手領域認識結果Ｒ１２１の精度が低く、手領域ＨＲ１２１の境界にノイズが含まれている。そこで、表示制御部１２７は、認識精度の情報（認識情報の一例）に応じて、例えば認識精度が低い場合に、遮蔽に係る境界の近傍に、エフェクトＥ１２１が付加されるように、表示を制御してもよい。図１６に示す例において、エフェクトＥ１２１は、グローのような光らせるエフェクトであってもよい。
図１６に示す例において、表示制御部１２７は、手領域認識結果Ｒ１２１を用いて仮想物体Ｖ１２１を遮蔽すると共に、遮蔽に係る境界の近傍にエフェクトＥ１２１が付加されるように描画を行うことで、描画結果Ｄ１２１を得る。描画結果Ｄ１２１において、遮蔽領域ＣＲ１２１と仮想物体領域ＶＲ１２１の間に、エフェクト領域ＥＲ１２１が存在する。このような遮蔽領域ＣＲ１２１、仮想物体領域ＶＲ１２１、及びエフェクト領域ＥＲ１２１を含む描画結果Ｄ１２１に基づいて表示が行われると、ユーザの視界は視界Ｆ１２１のようになる。視界Ｆ１２１では、エフェクトＥ１２１が付加されたことにより、図３に示した視界Ｆ１０３と比較して、ノイズの影響が抑制されている。その結果、仮想物体Ｖ１２１と実物体であるユーザの手Ｈ１２１との間の境界に関してユーザに与える違和感が軽減される。
また、図１６に示す例では、表示制御部１２７が認識精度の情報に応じて表示制御を行う例を説明したが、本具体例は係る例に限定されない。表示制御部１２７は、実物体の移動速度の情報（認識情報の一例）に応じて、例えば移動速度が大きい場合に、遮蔽に係る境界の近傍に、エフェクトが付加されるように、表示を制御してもよい。係る場合の処理の流れは、図１６を参照して説明した例と同様であるため、詳細な処理の流れについては説明を省略し、図１７を参照してその結果得られる効果について説明を行う。
図４，図５を参照して説明したような実物体の移動速度が大きい場合に、遮蔽に係る境界の近傍に、エフェクトが付加されるように表示制御が行われると、ユーザの視界は図１７に示す視界Ｆ１２２のようになる。また、図１７には、視界Ｆ１２７に対して、説明のための細線と破線を追加したイメージ図ＩＦ１２２が示されている。イメージ図ＩＦ１２２に示される細線は、エフェクトが付加されない場合の、仮想物体Ｖ１２２の境界を示している。また、イメージ図ＩＦ１２２に示される破線は、エフェクトＥ１２２によって隠される実物体である手Ｈ１２２の境界を示している。イメージ図ＩＦ１２２によれば、視界Ｆ１２２には、図５に示したＶＨ１０３のような、本来仮想物体Ｖ１２２が見えているべきにもかかわらず、背景の実空間が見えてしまっている領域は存在しない。また、イメージ図ＩＦ１２２によれば、図５に示したＨＶ１０３のような、本来ユーザの手Ｈ１１２が見えているべきにもかかわらず、仮想物体Ｖ１１２が見えてしまっている領域も存在しない。それら両方の領域を覆うように、遮蔽に係る境界の外側と内側の両方にエフェクトＥ１２２が付加されて表示されることにより、図４，図５を参照して説明した例と比べ、ユーザに与える違和感が軽減される。
なお、表示制御部１２７は、認識情報（例えば認識精度の情報、または移動速度の情報）に応じてエフェクトの強度（表現変更に係る強度の一例）を異ならせてもよい。エフェクトの強度は、エフェクトの範囲の広さ、またはエフェクトの輝度（または明度）の大きさ等を含んでもよい。エフェクトの強度の例について、図１８を参照して説明する。図１８に示す視界Ｆ１２３の例では、手Ｈ１２３と仮想物体Ｖ１２３の境界近傍にエフェクトが付加されていない。図１８に示す視界Ｆ１２４の例は視界Ｆ１２３の例よりもエフェクトの強度を大きくした場合の例である。図１８に示す視界Ｆ１２４の例では、手Ｈ１２４と仮想物体Ｖ１２４の境界近傍にエフェクトＥ１２４が付加されている。図１８に示す視界Ｆ１２５の例は視界Ｆ１２４の例よりもさらにエフェクトの強度を大きくした場合の例である。図１８に示す視界Ｆ１２４の例において、エフェクトＥ１２５は、エフェクトＥ１２４と比べ広範囲に付加されている。エフェクトＥ１２５は、外側に拡張されているだけでなく、手Ｈ１２５と仮想物体Ｖ１２５の境界近傍に加え、手Ｈ１２５の全体にもエフェクトＥ１２５が付加されている。これは、内側へのエフェクトを拡張すると、手Ｈ１２５が見えにくくなる恐れがあるため、手Ｈ１２５全体に付加した方が、例えば操作用のユーザインタフェース（ＵＩ）のように見えて見やすくなるためである。
図１８に示したようなエフェクトの強度の遷移は、例えば認識精度の高さ、または移動速度の大きさに応じて行われてもよい。例えば、表示制御部１２７は、認識精度が低い程、より強い強度を有するように、エフェクト表示を制御してもよい。また、表示制御部１２７は、移動速度が大きい程、より強い強度を有するように、エフェクト表示を制御してもよい。
また、表示制御部１２７は、認識情報に応じた位置に、エフェクトが付加されるように表示を制御してもよい。例えば、精度情報取得部１２５により提供された認識精度の情報に、認識精度が低い部分に関する情報が含まれている場合、表示制御部１２７は、認識精度が低い部分の境界近傍に、エフェクトが付加されるように表示を制御してもよい。また、移動認識部１２１により提供された移動速度の情報に、移動速度が大きい部分に関する情報が含まれている場合、表示制御部１２７は、認識精度が低い部分の境界近傍に、エフェクトが付加されるように表示を制御してもよい。
図１５〜図１８を参照して説明したエフェクトの付加は、例えば図８〜図１０を参照して説明した処理により実現可能である。例えば、遮蔽に係る境界近傍へのエフェクトの付加は、図１０の処理３Ｄ―Ｃ―Ｐ、処理２Ｄ―Ｃ―Ｐ、及び処理２Ｄ―Ｖ―Ｐを適宜組み合わせることで実現可能である。また、図１８を参照して説明した実物体全体へのエフェクトの付加は、図１０の処理３Ｄ―Ｃ―Ａ、処理３Ｄ―Ｃ―Ｐ、処理２Ｄ―Ｃ―Ａ、処理２Ｄ―Ｃ―Ｐ、及び処理２Ｄ―Ｖ―Ｐを適宜組み合わせることで実現可能である。
なお、表示制御部１２７により付加されるエフェクトは、多様であり得る。以下に、いくつかのエフェクトの例を説明する。
図１９に示すユーザの視界Ｆ１３１の例では、ユーザの手Ｈ１３１と仮想物体Ｖ１３１の境界が適切に表現されていない。これに対し、図２０に示す視界Ｆ１３２の例では、遮蔽に係る境界の近傍にグローのような光るエフェクトＥ１３２が付加される。なお、視界Ｆ１３２の例では、手Ｈ１３２の輪郭全体が覆われようにエフェクトＥ１３２が付加されているが、これは例えば図１０の処理３Ｄ―Ｃ―Ｐにより実現可能である。
また、エフェクトＥ１３２は、例えば形状認識部１２３が行った実物体の３次元形状の変化（移動）の予測の結果に基づいて、モーションブラ―のような強度変化を有してもよい。例えば、エフェクトＥ１３２の強度は、予測された変化の開始位置と予測された変化の終了位置との間で変化していてもよい。このように、モーションブラ―のような強度変化を有するエフェクトＥ１３２が付加されることで、ユーザの手Ｈ１３２と仮想物体Ｖ１３２との間の境界に関して、ユーザに与える違和感が軽減される。
また、図２０に示す視界Ｆ１３３の例では遮蔽に係る境界の近傍にグローのような光るエフェクトＥ１３３が付加される。なお、視界Ｆ１３３の例では、手Ｈ１３３と仮想物体Ｖ１３３の境界近傍に限定されてエフェクトＥ１３２が付加されている。このような表示制御は、例えば、図１０の処理３Ｄ―Ｃ―Ｐ、処理２Ｄ―Ｃ―Ｐ、及び処理２Ｄ―Ｖ―Ｐを適宜組み合わせることで実現可能である。
また、エフェクトＥ１３３は、エフェクトＥ１３２と同様に、形状認識部１２３が行った実物体の３次元形状の変化（移動）の予測の結果に基づいて、モーションブラ―のような強度変化を有してもよい。このようなエフェクトＥ１３３が付加された場合にも、ユーザの手Ｈ１３３と仮想物体Ｖ１３３との間の境界に関して、ユーザに与える違和感が軽減される。
また、図２０を参照して説明した例において、エフェクトＥ１３２や、エフェクトＥ１３３の色を、実物体（例えば手）の色に近い色や、仮想物体の色に近い色とすることも可能である。なお、係る場合、エフェクトはモーションブラ―のような強度変化を有しても有していなくてもよい。係る構成によれば、実物体と仮想物体との間の境界に関して、ユーザに与える違和感がより軽減される。
また、表示制御部１２７は、遮蔽に係る境界の近傍をぼかすようなエフェクトが付加されるように表示を制御してもよい。このような表示制御は、例えば、図１０の処理３Ｄ―Ｃ―Ｐ、処理２Ｄ―Ｃ―Ｐ、及び処理２Ｄ―Ｖ―Ｐを適宜組み合わせることで実現可能である。
なお、上記では、実物体の全体が仮想物体よりも手前に存在する場合を例に説明を行ったが、実物体の一部が仮想物体よりも奥に存在する場合であっても、表示制御部１２７は、エフェクトを付加することが可能である。係る場合について、図２１、図２２を参照して説明を行う。
図２１に示す視界Ｆ１４１の例では、実物体である手の指Ｈ１４１の全体が仮想物体Ｖ１４１よりも手前に存在する。このような状態から、指Ｈ１４１が仮想物体Ｖ１４１と衝突する（指Ｈ１４１の一部が仮想物体Ｖ１４の中に入りこむ）ように移動した場合、ユーザの視界は、図２１に示す視界Ｆ１４２のようになることが望ましい。視界Ｆ１４２の例では、表示制御部１２７により、実物体が仮想物体と衝突するような表示制御が行われ、指Ｈ１４２と、仮想物体Ｖ１４２とが衝突したことが、指Ｈ１４２の一部が遮蔽されることで表現されている。
ここで、認識精度が低い場合を考える、図２１に示す視界Ｆ１４３の例では、実物体である手の指Ｈ１４３の全体が仮想物体Ｖ１４３よりも手前に存在するが、ノイズの影響により、指Ｈ１４３と仮想物体Ｖ１４３との間の境界が適切に表現されていない。このような状態から、指Ｈ１４３が仮想物体Ｖ１４３と衝突するように移動した場合、表示制御部１２７により、実物体が仮想物体と衝突するような表示制御が行われると、ユーザの視界は、視界Ｆ１４４のようになる。視界Ｆ１４４では、本来仮想物体Ｖ１４４が見えているべきにもかかわらず、背景の実空間が見えてしまっている領域、本来指Ｈ１４４が見えているべきにもかかわらず、仮想物体Ｖ１４４が見えてしまっている領域に加え、本来仮想物体Ｖ１４４が見えているべきにもかかわらず、指Ｈ１４４が見えてしまっている領域が存在する。
視界Ｆ１４４のような例に対して、エフェクトを付加することを考える。係るエフェクトの付加を、図１０の処理３Ｄ―Ｃ―Ｐにより、遮蔽モデルの輪郭部分の近傍にエフェクトを付加することで実現した場合、ユーザの視界は、図２２に示す視界Ｆ１４５のようになり得る。視界Ｆ１４５の例では、エフェクトＥ１４５の存在により、本来仮想物体Ｖ１４５が見えているべきにもかかわらず、背景の実空間が見えてしまっている領域、及び本来指Ｈ１４５が見えているべきにもかかわらず、仮想物体Ｖ１４５が見えてしまっている領域は存在しない。しかし、視界Ｆ１４５の例では、本来仮想物体Ｖ１４５が見えているべきにもかかわらず、指Ｈ１４５が見えてしまっている領域が存在し、ユーザに違和感を与え得る。
そこで、表示制御部１２７は、図２２に示す視界Ｆ１４６のように、指Ｈ１４５（実物体の一例）と仮想物体Ｖ１４５の衝突に係る境界の近傍にもエフェクトＥ１４５が付加されるように表示を制御することが望ましい。係る表示制御を図１０の処理３Ｄ―Ｃ―Ｐにより実現する場合には、例えば、遮蔽モデルの輪郭部分の近傍のみならず、遮蔽モデルと仮想物体の衝突に係る境界の近傍にもエフェクトを付加すればよい。また、係る表示制御は図１０の処理２Ｄ―Ｃ―Ｐにより実現することも可能である。
なお、図２２に示す例では、認識精度が低い場合について説明したが、移動速度が大きい場合であっても同様である。
（第３の具体例：仮想物体の視認性制御）
以上、図１６〜図２２を参照して、境界表現の第２の具体例について説明した。続いて、境界表現の第３の具体例として、表示制御部１２７が、認識情報（認識精度の情報、または移動速度の情報）に応じて、異なる視認性を有するように仮想物体の表示を制御することで、境界表現を異ならせる例について説明する。
図２３は、境界表現の第３の具体例を説明するための説明図である。図２３に示すユーザの視界Ｆ１５１の例では、認識精度が低いために、実物体であるユーザの手Ｈ１５１と、仮想物体Ｖ１５１との間の境界が適切に表現されていないため、ユーザに違和感を与える恐れがある。
そこで、表示制御部１２７は、認識精度が低い場合に、仮想物体の視認性を低下させるように表示を制御してもよい。係る構成により、実物体と仮想物体との間の境界に係る違和感が軽減される。
例えば、図２３に示す視界Ｆ１５２の例では、仮想物体Ｖ１５２がワイヤフレームレンダリングにより表示されることで、手Ｈ１５２と仮想物体Ｖ１５２との間の境界に係る違和感が軽減される。また、図２３に示す視界Ｆ１５３の例では、仮想物体Ｖ１５３の輝度が低下させられ、半透明に見えることで、手Ｈ１５３と仮想物体Ｖ１５３との間の境界に係る違和感が軽減される。
また、図２３に示す例では、認識精度が低い場合について説明したが、移動速度が大きい場合であっても同様である。また、図２３に示したような仮想物体の視認性を低下させる表示制御は、図１０の処理３Ｄ―Ｖ―Ａにより実現可能である。
なお、表示制御部１２７が行う視認性を異ならせる表示制御は、図２３に示す例に限定されない。例えば、表示制御部１２７は、仮想物体の色の彩度変更や、テクスチャや模様の有無等により、視認性を異ならせてもよい。また、表示制御部１２７は、仮想物体の表示解像度を低下させることで、視認性を低下させてもよい。
また、図２３では、表示制御部１２７が仮想物体の全体の視認性を低下させる例を示したが、表示制御部１２７は、仮想物体の一部領域（例えば所定の形状の領域）の視認性を低下させるように表示を制御してもよい。係る表示制御は、例えば図１０に示した処理３Ｄ―Ｖ―Ｐ、及び処理２Ｄ―Ｖ―Ｐを適宜組み合わせることにより実現可能である。
＜１−５．変形例＞
以上、本開示の第１の実施形態を説明した。以下では、本実施形態の幾つかの変形例を説明する。なお、以下に説明する変形例は、単独で本実施形態に適用されてもよいし、組み合わせで本実施形態に適用されてもよい。また、各変形例は、本実施形態で説明した構成に代えて適用されてもよいし、本実施形態で説明した構成に対して追加的に適用されてもよい。
（変形例１−１）
上述した境界表現の第３の具体例は、ユーザが実物体を用いて仮想物体に対する操作を行う場合に特に有効となり得る。例えば、手や指等の実物体を用いて、ボタン（仮想物体）を押す操作や、文字列（仮想物体）を選択する操作等は、細かい操作となり得るため、遮蔽領域が拡張されたり、エフェクトにより、本来見えるべき仮想物体の一部が見えなくなってしまうと操作に支障が発生し得る。一方、上記のような視認性を低下させる表示制御が行われた場合には、視認性は低下するものの、本来見えるべき仮想物体を見ることが可能であるため、操作への影響が小さい。
そこで、実物体を用いた仮想物体に対する操作が行われる場合に、表示制御部１２７は、操作に係る操作情報にさらに応じて、境界表現が異なるように表示を制御してもよい。すなわち、表示制御部１２７は、仮想物体が実物体により操作可能な仮想物体である場合、複数の境界表現のうち、仮想物体の表示領域がより大きい境界表現を示すように遮蔽表示を制御するものと見做されても良い。操作情報は、例えば認識部１２０により認識されて、表示制御部１２７へ提供されてもよい。そして、表示制御部１２７は、認識部１２０により認識された操作情報に応じて、上述した境界表現の具体例のうち、より適切なものを選択して表示制御を行ってもよい。例えば、認識部１２０により、細かい操作が行われていると認識された場合、表示制御部１２７は、認識情報に応じて、仮想物体の視認性を異ならせてもよい。なお、操作情報は、認識部１２０から提供される例に限定されず、例えば仮想物体の形状等から特定されてもよい。
係る構成によれば、例えば、操作の種類に応じた表示制御が行われて、ユーザの操作に支障が発生し難いという効果が得られる。
（変形例１−２）
また、上述した境界表現の第３の具体例のうちの一部は、仮想物体に係るコンテンツによっては、適用が困難である場合がある。そこで、表示制御部１２７は、仮想物体に係るコンテンツ情報にさらに応じて、境界表現が異なるように表示を制御してもよい。
例えば、仮想物体に関するコンテンツがテキストや３次元形状である場合には、ワイヤフレームレンダリングが可能であるため、表示制御部１２７は、ワイヤフレームレンダリングを行うことで視認性を低下させてもよい。一方、仮想物体に関するコンテンツが画像（静止画像、または動画像）である場合には、ワイヤフレームレンダリングが困難であるため、仮想物体の輝度を低下させて、半透明に見えるようにすることで、視認性を低下させてもよい。すなわち、表示制御部１２７は、仮想物体が３次元形状を有するか否かに応じて、遮蔽表示を制御するものと見做されても良い。
係る構成によれば、コンテンツに応じた表示制御が可能となるため、ユーザに与える違和感がより軽減される。
（変形例１−３）
また、表示制御部１２７は、認識精度の情報に基づいて、仮想物体の配置（位置、姿勢、大きさ等）を制御してもよい。図２４は、表示制御部１２７が認識精度の情報に基づいて、仮想物体の配置を制御する変形例を説明するための説明図である。
図２４に示す認識結果Ｒ１６１は、実物体であるユーザの手Ｈ１６１のセンシングに基づいた認識の結果である。また、認識結果Ｒ１６１には、認識精度の情報も示されており、認識結果Ｒ１６１において、白色の領域は、認識精度の低い領域である。したがって、例えば、認識結果Ｒ１６１における認識精度の低い領域ＬＲ１６１に対応する場所に仮想物体が配置されると、仮想物体と実物体との間の境界が適切に表現されない恐れがある。そこで、表示制御部１２７は、認識結果Ｒ１６１における認識精度の高い領域ＨＲ１６１に対応する場所に、仮想物体を配置してもよく、係る場合のユーザの視界は視界Ｆ１６１のようになる。視界Ｆ１６１の例では、手Ｈ１６１と仮想物体Ｖ１６１との間の境界が適切に表現され、ユーザの違和感がより軽減される。
なお、例えば、仮想物体に係るコンテンツによっては、当該仮想物体の配置を異ならせるべきではない場合があるため、上述した仮想物体の配置の制御は、コンテンツ情報に基づいて行われてもよい。
（変形例１−４）
また、上述した境界表現の第２の具体例では、表示制御部１２７は、遮蔽に係る境界の近傍にエフェクトを付加する例を説明したが、本実施形態は係る例に限定されない。例えば、表示制御部１２７は、認識情報に応じて、遮蔽に係る遮蔽領域の内部にエフェクトが付加されるように表示を制御してもよい。図２５、図２６は、表示制御部１２７が認識情報に応じて、遮蔽に係る遮蔽領域の内部にエフェクトが付加されるように表示を制御する変形例を説明するための説明図である。
図２５に示す例では、手Ｈ１７１のセンシングに基づく認識の結果得られた手領域認識結果Ｒ１７１の精度が低く、手領域ＨＲ１７１の内部にノイズが含まれている。このような精度の低い手領域認識結果Ｒ１７１を用いて、仮想物体Ｖ１７１を遮蔽するように描画が行われると、得られた描画結果Ｄ１７１においても、遮蔽領域ＣＲ１７１の内部にノイズが含まれる。そして、このような描画結果Ｄ１７１に基づいて表示が行われると、ユーザの視界Ｆ１７１においても、ノイズの影響が見られる。具体的には、本来ユーザの手Ｈ１７１が見えているべき領域に仮想物体Ｖ１７１が見えてしまっており、ユーザに違和感を与える恐れがある。
そこで、表示制御部１２７は、認識精度の情報（認識情報の一例）に応じて、例えば認識精度が低い場合に、遮蔽領域ＣＲ１７１の内部にエフェクトが付加されるように、表示を制御してもよい。
例えば、図２６に示す視界Ｆ１７２のように、表示制御部１２７は、遮蔽領域の内部にエフェクトＥ１７２が付加されるように、表示を制御してもよい。係る構成により、本来ユーザの手Ｈ１７１が見えているべき領域に仮想物体Ｖ１７１が見えてしまっている領域がエフェクトＥ１７１により視認され難くなり、ユーザへ与える違和感が軽減される。
なお、エフェクトＥ１７２は動きのあるエフェクトであってもよく、例えばビデオノイズのようなエフェクトであってもよい。エフェクトＥ１７１がビデオノイズのようなエフェクトであることにより、ユーザは、手Ｈ１７２の認識精度が低下していることを把握可能である。
また、図２６に示す視界Ｆ１７３のように、表示制御部１２７は、遮蔽領域の内部に複数の動きのあるパーティクルを含むエフェクトＥ１７３が付加されるように、表示を制御してもよい。係る構成により、本来ユーザの手Ｈ１７３が見えているべき領域に仮想物体Ｖ１７３が見えてしまっている領域がエフェクトＥ１７３により視認され難くなり、ユーザへ与える違和感が軽減される。
また、認識精度の情報に、手Ｈ１７３と外向きカメラ１１０との距離が近すぎることにより認識精度が低下していることを示す情報が含まれている場合、表示制御部１２７は、エフェクトＥ１７３に含まれるパーティクルがユーザの顔めがけて飛んでくるように表示制御を行ってもよい。係る構成によれば、手Ｈ１７３を外向きカメラ１１０から遠ざけるように、ユーザを誘導することが可能である。
また、認識精度の情報に、認識精度が低い部分に関する情報（例えば位置の情報等）が含まれている場合、表示制御部１２７は、エフェクトＥ１７３に含まれるパーティクルが、手Ｈ１７３を適切に認識される位置に誘導するように、表示を制御してもよい。係る構成によれば、手Ｈ１７３をより高精度に認識される位置に移動させるように、ユーザを誘導することが可能である。
＜１−６．効果＞
以上、本開示の第１の実施形態について説明した。本実施形態によれば、実物体のセンシングに基づく認識に係る認識情報に応じて、仮想物体と前記実物体との間の境界表現が異なるように表示を制御することで、ユーザに与える違和感を軽減することが可能である。
＜＜２．第２の実施形態＞＞
＜２−１．概要＞
続いて、本開示の第２の実施形態について説明する。なお、第２の実施形態は、一部において第１の実施形態と同様であるため、適宜省略しながら説明する。以下、第１の実施形態で説明した構成と同様の構成については、同一の符号を付すことで、説明を省略する。
図２７、図２８は、本開示の第２の実施形態の概要を説明するための説明図である。図２７に示すように、実物体であるユーザの手Ｈ２０１のセンシングに基づいて形状認識を行うと、形状認識結果Ｒ２０１が得られる。さらに、形状認識結果Ｒ２０１に基づいて、仮想物体を遮蔽するように描画を行うと、描画結果Ｄ２０１が得られる。しかし、上述した形状認識と、描画に係る処理を行っている間に、手Ｈ２０１が移動してしまうと、ユーザの視界は視界Ｆ２０１のようになる。視界Ｆ２０１の例では、手Ｈ２０１の移動の影響で、仮想物体Ｖ２０１とユーザの手Ｈ２０１との間の境界が不自然になってしまっている。
そこで、以下に説明する本実施形態では、形状認識に係る処理負荷、及び描画に係る処理負荷を軽減させて、実物体のセンシングから表示までに係る時間を短縮する。実物体のセンシングから表示までに係る時間を短縮させることで、図２７の視界Ｆ２０２に示すように、仮想物体Ｖ２０２とユーザの手Ｈ２０２との間の境界が適切に表現されやすくなる。その結果、ユーザに与える違和感が軽減する。
例えば、実物体の移動速度に応じて、形状認識に係る処理負荷、及び描画に係る処理負荷を変化させてもよい。より具体的には、実物体の移動速度が第１の移動速度であるという移動情報が得られた場合、実物体の移動速度が第１の移動速度よりも小さい第２の移動速度であるという移動情報が得られた場合よりも、形状認識に係る処理負荷、及び表示制御部が行う描画に係る処理負荷のうち少なくともいずれか一方を減少させてもよい。例えば、実物体の移動速度が大きい（実物体の移動速度が第１の移動速度である）場合に、形状認識に係る処理負荷、及び描画に係る処理負荷が軽減されることが望ましい。実物体の移動速度の速度に応じて処理負荷を軽減させる例について、図２８を参照して説明する。
図２８に示す実物体であるユーザの手Ｈ２０３は低速に移動している。なお、手Ｈ２０３上の矢印は、手Ｈ２０３の移動を示している。まず、手Ｈ２０３のセンシングに基づいて、移動認識が行われる。移動認識の結果、手Ｈ２０３の移動が低速であると判定されると、形状認識が行われ認識結果Ｒ２０３が得られる。なお、認識結果Ｒ２０３上の矢印は、移動認識により認識された手Ｈ２０３の移動を示している。
そして、認識結果Ｒ２０３に基づいて、仮想物体を遮蔽するように描画を行うと、描画結果Ｄ２０３が得られ、描画結果Ｄ２０３に基づいて表示が行われると、ユーザの視界は、視界Ｆ２０３のようになる。ここで、手Ｈ２０３の移動が低速である場合には、手Ｈ２０３の移動の影響が小さく、視界Ｆ２０３の例では仮想物体Ｖ２０３とユーザの手Ｈ２０３との間の境界が適切に表現され得る。
一方、図２８に示す手Ｈ２０４は高速に移動している。手Ｈ２０４のセンシングに基づいて、移動認識が行われた結果、手Ｈ２０４の移動が高速であると判定されると、以前に行われた形状認識の結果である、記憶された形状認識結果ＭＲ２０４が再利用される。係る場合形状認識は行われなくてもよい。したがって、形状認識に係る処理負荷が大きく軽減され得る。なお、図２８に示す例では、記憶された形状認識結果ＭＲ２０４は、認識結果Ｒ２０３に含まれる形状認識結果であるが、本実施形態は係る例に限定されず、記憶された形状認識結果ＭＲ２０４は、例えば直前のフレームで行われた形状認識の結果であってもよい。
そして、移動認識により得られた移動情報に基づいて、記憶された形状認識結果ＭＲ２０４を移動、及び変形させることで、認識結果Ｒ２０４が得られる。そして、さらに、手Ｈ２０４の移動が高速であると判定された場合、描画が行われる前に、ポリゴン数が削減されてもよい。ポリゴン数削減により、描画に係る処理負荷が軽減される。ポリゴン数が削減された認識結果に基づいて、仮想物体を遮蔽するように描画を行うと、描画結果Ｄ２０４が得られ、描画結果Ｄ２０４に基づいて表示が行われると、ユーザの視界は、視界Ｆ２０４のようになる。上記のように、形状認識に係る処理負荷と、描画に係る処理負荷が軽減されたことで、手Ｈ２０４の移動が高速であっても、視界Ｆ２０４の例では仮想物体Ｖ２０４とユーザの手Ｈ２０４との間の境界が適切に表現され得る。
以上、本実施形態の概要について説明した。上述したように、本実施形態では、実物体の移動速度が大きい場合に、形状認識に係る処理負荷、及び描画に係る処理負荷を軽減させることで、実物体の移動の影響を抑制し、ユーザに与える違和感を軽減させる。以下、このような効果を有する本実施形態の構成について詳細に説明する。
＜２−２．構成＞
図２９は、本開示の第２の実施形態に係る情報処理装置１−２の構成例を示すブロック図である。図２９に示した構成のうち、図６に示した構成と同一の符号を付された構成は、図６に示した構成と同様であるため、説明を省略する。図２９に示すように、本実施形態に係る情報処理装置１−２は、制御部１２−２の機能が図２に示した制御部１２と一部異なる点で、第１の実施形態に係る情報処理装置１と異なる。
制御部１２−２は、第１の実施形態に係る制御部１２と同様、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１−２内の動作全般を制御する。また、本実施形態による制御部１２−２は、図８に示すように、認識部１２０−２、及び表示制御部１２８として機能する。
認識部１２０−２は、図２に示した認識部１２０と同様に、センサ部１１によりセンシングされた各種センサ情報に基づいて、ユーザに関する情報、または周辺状況に関する情報の認識（検出を含む）を行う機能を有する。図２９に示すように、本実施形態に係る認識部１２０−２は、移動認識部１２２、形状認識部１２４、及び移動変形部１２６としての機能を有する点で図２に示した認識部１２０と異なる。＾
移動認識部１２２は、実物体のセンシングに基づき、実物体の移動に関する移動認識を行う。例えば、移動認識部１２２は、実物体のセンシングにより得られた撮像画像に基づいて、実物体の重心位置、及び姿勢の移動を認識してもよい。実物体の重心位置は、例えば３次元的な認識により得られる３次元点群の重心を計算することにより得られてもよいし、撮像画像から検出された実物体の２次元的な重心位置として得られてもよい。また、姿勢の検出には、重心周りの主成分分析等が用いられてもよい。
移動認識部１２２は、認識された重心位置、及び姿勢のフレーム間での移動を認識し、移動の認識により特定される実物体の移動速度の情報を、移動の認識に係る認識情報として取得し、形状認識部１２４、移動変形部１２６、及び表示制御部１２８へ提供する。
なお、本実施形態に係る移動認識部１２２は、形状認識部１２４が行う認識よりも高速に移動に関する認識を行うことが望ましい。そして、図２８を参照して説明したように、移動認識部１２２が行う移動認識により得られる移動情報に応じて、形状認識部１２４が行う形状認識に係る処理負荷、及び表示制御部１２８が行う描画に係る処理負荷のうち少なくとも一方が変化するように制御が行われる。なお係る制御は、形状認識部１２４や表示制御部１２８自身が移動速度に基づいて判定を行うことで行われてもよいし、制御部１２−２が処理モードを決定することで行われてもよい。例えば、制御部１２−２は、移動速度が所定の閾値よりも大きい場合に、処理モードを高速モードに決定し、移動速度が所定の閾値以下の場合に、処理モードを低速モードに決定してもよい。そして、制御部１２−２が決定した処理モードに従って、形状認識部１２４や表示制御部１２８が形状認識や描画を行ってもよい。
形状認識部１２４は、実物体のセンシングに基づき、実物体の３次元形状を認識する形状認識を行う。また、形状認識部１２４は形状認識と同時に実物体の位置、及び姿勢を認識してもよい。また、形状認識部１２４は、認識した実物体の３次元形状に基づいて、３次元の頂点と辺の列で表現される３次元モデルを生成し、形状情報として表示制御部１２７へ提供する。第１の実施形態において図７を参照して説明したように、形状認識部１２４により生成された実物体の３次元モデルは、表示制御部１２８が仮想物体を遮蔽するように描画を行うための遮蔽モデルとして用いられる。また、本実施形態に係る形状認識部１２４により生成された実物体の３次元モデルは形状認識結果として、記憶部１７に記憶される。
また、形状認識部１２４は、第１の実施形態に係る形状認識部１２３と同様に、実物体の３次元形状の変化（移動）の予測を行い、予測に基づいて実物体の３次元形状を補正し、補正された３次元モデルを生成してもよい。
また、図２８を参照して説明したように、本実施形態に係る形状認識部１２４は、移動認識部１２２から提供される移動情報に含まれる実物体の移動速度が大きい場合（高速モードである場合）に、形状認識を行わなくて（省略して）もよい。係る構成によれば、移動速度が大きい場合には形状認識に係る処理負荷が大きく軽減され、処理時間の短縮につながる。
移動変形部１２６は、図２８を参照して説明したように、移動認識部１２２から提供される移動情報に含まれる実物体の移動速度が大きい場合（高速モードである場合）に、当該移動情報に基づいて、記憶部１７に記憶された形状認識結果を、移動、及び変形させる。なお、移動変形部１２６が行う形状認識結果の変形は、例えば形状認識結果の拡大、または縮小を含んでもよい。
また、移動変形部１２６による形状認識結果の移動、及び変形は、形状認識部１２４による形状認識よりも高速に行われることが望ましい。移動変形部１２６による移動、及び変形により得られた形状認識結果は、表示制御部１２８に提供されて、仮想物体を遮蔽するように描画を行うための遮蔽モデルとして用いられる。
係る構成により、移動速度が大きく、形状認識が行われない場合であっても、記憶された形状認識結果を再利用して、描画に用いられる遮蔽モデルをより高速に得ることが可能である。
表示制御部１２８は、第１の実施形態に係る表示制御部１２７と同様に、表示部１３の表示を制御する。例えば、表示制御部１２８は、実空間と同時に仮想物体を視認可能なように、仮想物体を表示部１３に表示させる。また、表示制御部１２８は、第１の実施形態に係る表示制御部１２７と同様に遮蔽モデルを用いて、仮想物体の遮蔽が行われるように表示を制御する。
また、図２８を参照して説明したように、本実施形態に係る表示制御部１２８は、移動認識部１２２が行う移動認識により得られる移動情報に応じて、遮蔽モデルのポリゴン数を削減してもよい。例えば、移動情報に含まれる移動速度が大きい場合（高速モードである場合）に、表示制御部１２８は、遮蔽モデルのポリゴン数を削減してから、描画を行ってもよい。係る構成により、描画に係る処理負荷が軽減され、処理時間の短縮につながる。
図３０は、表示制御部１２８による遮蔽モデルのポリゴン数削減の一例を示す説明図である。表示制御部１２８は、遮蔽モデルＣＭ２０５のポリゴン数を削減して、遮蔽モデルＣＭ２０６を生成してもよい。なお、遮蔽モデルＣＭ２０６を生成するためのポリゴン数の削減は、遮蔽モデルＣＭ２０５において、水平方向に走査しながらポリゴンを連結させることで行われてもよい。このような遮蔽モデルＣＭ２０６に基づいて、表示制御部１２８が描画を行うことで、遮蔽モデルの描画結果Ｄ２０６が得られる。なお、遮蔽モデルのポリゴン数の削減は、図３０に示した例に限定されず、多様な方法で行われ得る。
＜２−３．動作＞
以上、本実施形態に係る情報処理装置１の構成例について説明した。続いて、本実施形態に係る動作例について説明する。以下では、まず図３１、図３２を参照して、形状認識に係る処理負荷、及び描画に係る処理負荷が軽減されない場合の動作の例を比較例として説明する。
図３１は、本比較例の動作を示すフローチャートである。図３１に示すように、まず実物体のセンシングが行われ（Ｓ９００）、表示させる仮想物体に関する情報が取得され（Ｓ９１０）。続いてステップＳ９００で行われたセンシングの結果に基づいて、実物体の形状認識が行われる（Ｓ９６０）。さらに、ステップＳ９６０で行われた形状認識の結果に基づいて、仮想物体が遮蔽されるように描画が行われる（Ｓ９７０）。そして、ステップＳ９７０の描画結果に基づいて、表示が行われる（Ｓ９８０）。
図３２は、本比較例に係るタイミングチャート図である。なお、図３２に示す例では、実物体の移動速度によらず、センシングの開始から、表示の開始までに期間Ｔ１を要する。なお、期間Ｔ１は、図３２に示すようにセンシング間隔ｔの３倍の期間である。例えばセンシング間隔ｔが１／６０秒である場合、センシングの開始から、表示の開始までに１／２０秒を要し、実物体の移動速度によっては、ユーザは大きな違和感を覚える。
続いて、図３３、図３４を参照して本実施形態に係る情報処理装置１−２の動作例について説明する。図３３は、本実施形態に係る情報処理装置１−２の動作例を示すフローチャート図である。
図３３に示すように、まずセンサ部１１の外向きカメラ１１０が、実物体のセンシング（例えば撮像）を行う（Ｓ２００）。続いて、表示制御部１２８が、表示させる仮想物体に関する情報を取得する（Ｓ２１０）。
続いて、制御部１２−２の認識部１２０−２の移動認識部１２２が、ステップＳ２００で行われたセンシングの結果に基づいて、実物体の移動に関する移動認識を行い、例えば移動速度の情報を特定する（Ｓ２２０）。続いて、制御部１２−２は、ステップＳ２２０で特定された移動速度の情報に基づいて、低速モードであるか、高速モードであるかを決定する（Ｓ２３０）。
ここで、高速モードである場合には形状認識結果が再利用され（Ｓ２４０においてＹＥＳ）、認識部１２０−２の移動変形部１２６が、記憶された形状認識結果を、移動、及び変形させて遮蔽モデルを取得する（Ｓ２５０）。一方、低速モードである場合には形状認識結果が再利用されず（Ｓ２４０においてＮＯ）、認識部１２０−２の形状認識部１２４が形状認識を行って、遮蔽モデルを生成する（Ｓ２６０）。
続いて、制御部１２−２の表示制御部１２８が、ステップＳ２５０またはステップＳ２６０で得られた遮蔽モデルに基づいて、仮想物体が遮蔽されるように描画を行う（Ｓ２７０）。さらに、表示制御部１２８の制御に従い、表示部１３が当該画像を表示する（Ｓ２８０）。最後に、最新の形状認識結果が記憶される（Ｓ２９０）。
図３４は、本実施形態に係るタイミングチャート図である。図３４に示すように、本実施形態においては、高速モードにおいて、センシングの開始から、表示の開始までに期間Ｔ２を要する。ここで、期間Ｔ２は、図３４に示すようにセンシング間隔ｔの２倍の期間であり、図３２に示した期間Ｔ１よりも短い。したがって、実物体の移動による影響が抑制されて、ユーザに与える違和感が軽減される。
＜２−４．変形例＞
以上、本開示の第２の実施形態を説明した。以下では、本実施形態の幾つかの変形例を説明する。なお、以下に説明する変形例は、単独で本実施形態に適用されてもよいし、組み合わせで本実施形態に適用されてもよい。また、各変形例は、本実施形態で説明した構成に代えて適用されてもよいし、本実施形態で説明した構成に対して追加的に適用されてもよい。
（変形例２−１）
上記では、形状認識部１２４が、実物体の３次元形状を形状認識結果として認識する例を説明した。しかし、本実施形態は係る例に限定されない。例えば、形状認識部１２４は、所定の形状を有し、実物体の形状の近似となる近似モデルを形状認識結果として認識してもよい。例えば、所定の形状は直方体や楕円体、円柱等であってもよい。また、近似モデルとして実物体の形状を覆うような３次元モデルが認識されてもよい。また、係る場合、移動変形部１２６は、記憶された近似モデルを記憶された形状認識結果として用いて、近似モデルの移動、及び変形により、形状認識結果である遮蔽モデルを取得してもよい。
係る変形例について、図３５を参照して説明する。図３５は、本変形例について説明するための説明図である。
図３５に示す実物体であるユーザの手Ｈ２１１は低速に移動している。なお、手Ｈ２１１上の矢印は、手Ｈ２１１の移動を示している。まず、手Ｈ２１１のセンシングに基づいて、移動認識部１２２による移動認識が行われる。移動認識の結果、手Ｈ２１１の移動速度が小さい（低速モードである）と判定されると、形状認識部１２４により形状認識（近似モデルの認識）が行われ認識結果Ｒ２１１が得られる。なお、認識結果Ｒ２１１上の矢印は、移動認識部１２２により認識された手Ｈ２１１の移動を示している。
そして、認識結果Ｒ２１１に基づいて、仮想物体を遮蔽するように描画を行うと、描画結果Ｄ２１１が得られ、描画結果Ｄ２１１に基づいて表示が行われると、ユーザの視界は、視界Ｆ２１１のようになる。
一方、図３５に示す手Ｈ２１２は高速に移動している。手Ｈ２１２のセンシングに基づいて、移動認識部１２２による移動認識が行われ、手Ｈ２１２の移動が高速であると判定されると、以前に行われた形状認識（近似モデルの認識）の結果である、記憶された形状認識結果ＭＲ２１２が再利用される。係る場合、形状認識は行われなくてもよい。したがって、形状認識に係る処理負荷が大きく軽減され得る。なお、図３５に示す例では、記憶された形状認識結果ＭＲ２１２は、認識結果Ｒ２１１に含まれる形状認識結果であるが、本実施形態は係る例に限定されず、記憶された形状認識結果ＭＲ２１２は、例えば直前のフレームで行われた形状認識の結果であってもよい。
そして、移動変形部１２６が移動情報に基づいて、記憶された形状認識結果ＭＲ２１２を移動、及び変形させることで、認識結果Ｒ２１２が得られる。さらに、手Ｈ２１２の移動が高速であると判定された場合、描画が行われる前に、ポリゴン数が削減されてもよい。ポリゴン数削減により、描画に係る処理負荷が軽減される。ポリゴン数が削減された認識結果に基づいて、仮想物体を遮蔽するように描画を行うと、描画結果Ｄ２１２が得られ、描画結果Ｄ２１２に基づいて表示が行われると、ユーザの視界は、視界Ｆ２１２のようになる。
なお、図３５に示す例では、形状認識部１２４は移動速度が小さい（移動が低速である）場合に、近似モデルを形状認識結果として認識する例を説明したが、本変形例は係る例に限定されない。例えば形状認識部１２４は、実物体の移動速度に応じて、実物体の３次元形状を認識するか、実物体の近似モデルを認識するか、を切り替えてもよい。例えば、形状認識部１２４は、移動速度が小さい場合に実物体の３次元形状を認識し、移動速度が大きい場合に、実物体の近似モデルを認識してもよい。実物体の近似モデルの認識に係る処理負荷が、実物体の３次元形状の認識に係る処理負荷よりも小さい場合、係る構成によれば、移動速度が大きい場合には形状認識に係る処理負荷が軽減され、処理時間の短縮につながる。
（変形例２−２）
上記では、形状認識結果が再利用される例を説明したが、本実施形態は係る例に限定されない。遮蔽モデルの描画結果が再利用されてもよい。以下、係る変形例について、図３６〜図４２を参照して説明を行う。
例えば、本変形例に係る表示制御部１２８は、遮蔽モデル領域を２次元スプライト化したデータを遮蔽モデルの描画結果として、記憶部１７に記憶してもよい。そして、本変形例に係る表示制御部１２８は、移動情報に含まれる移動速度が大きい場合（高速モードである場合、すなわち実物体の移動速度が第１の移動速度である場合）に、表示制御部１２８が以前に行った描画の結果である、記憶された遮蔽モデルの描画結果を用いて描画を行ってもよい。係る構成により、描画に係る処理負荷がより軽減される。
図３６は、本変形例について説明するための説明図である。なお、図３６に示す手Ｈ２２１、認識結果Ｒ２２１、描画結果Ｄ２２１、及びユーザの視界Ｆ２２１は、図２８に示した手Ｈ２０３、認識結果Ｒ２０３、描画結果Ｄ２０３、及びユーザの視界Ｆ２０３と同様であるため、説明を省略する。
図３６に示す手Ｈ２２２は高速に移動している。手Ｈ２２２のセンシングに基づいて、移動認識部１２２による移動認識が行われ、手Ｈ２２２の移動が高速であると判定されると、形状認識部１２４は形状認識を行わない。また、本変形例では、移動変形部１２６による形状認識結果の移動、及び変形も行われなくてよい。したがって、認識部１２０−２による認識結果Ｒ２２２は、移動認識部１２２が行う移動認識により得られる移動情報のみを含む。
そして、表示制御部１２８は、移動情報に基づいて、記憶された遮蔽モデルの描画結果ＭＤ２２２を移動、及び変形させることで、描画に係る処理を簡略化して、仮想物体が遮蔽された描画結果Ｄ２２２を得る。なお、描画結果Ｄ２２２上の矢印は、表示制御部１２８が描画の際に行う、記憶された遮蔽モデルの描画結果ＭＤ２２２の移動を示している。また、図３６に示す例では、記憶された遮蔽モデルの描画結果ＭＤ２２２は、描画結果Ｄ２２１に含まれる遮蔽モデルの描画結果であるが、本実施形態は係る例に限定されず、記憶された遮蔽モデルの描画結果ＭＤ２２２は、例えば直前のフレームで行われた遮蔽モデルの描画の結果であってもよい。
描画結果Ｄ２２２に基づいて表示が行われると、ユーザの視界は、視界Ｆ２２２のようになる。
上記のように、遮蔽モデルの描画結果を再利用することで、遮蔽モデルの描画に係る処理が簡略化され、処理時間が短縮されるため、ユーザに与える違和感をより軽減することが可能となる。
なお、本変形例は、仮想物体が誘発するインタラクション（操作を含む）の種類によっては、適用が不適切となる場合がある。この原因は、例えば、本変形例が適用され、遮蔽モデルの描画結果が再利用される場合、仮想物体と形状認識結果の前後関係の判定（奥行判定）が省略され、遮蔽モデルが仮想物体よりも手前に存在すると仮定されて描画が行われるためである。図３７〜図４０を参照して、前後関係の判定の省略について説明を行う。
図３７は、前後関係の判定が行われる場合のセンシングから描画までの流れを説明するための説明図である。図３７に示すように、実物体であるユーザの手Ｈ２２３のセンシングに基づいて、形状認識が行われ、形状認識結果Ｒ２２３（遮蔽モデル）が得られる。形状認識結果Ｒ２２３に基づいて、仮想物体Ｖ２２３を遮蔽するように描画が行われる際、仮想物体Ｖ２２３と形状認識結果Ｒ２２３の前後関係の判定が行われ、前後関係判定結果Ｊ２２３に基づいて、描画結果Ｄ２２３が得られる。
図３８は、前後関係の判定が省略される場合のセンシングから描画までの流れを説明するための説明図である。図３８に示すように、実物体であるユーザの手Ｈ２２４のセンシングに基づいて、形状認識が行われ、形状認識結果Ｒ２２４（遮蔽モデル）が得られる。ここで、図３８に示す例では、仮想物体Ｖ２２４と形状認識結果Ｒ２２４が個別に描画され、仮想物体領域ＶＲ２２４と遮蔽モデル領域ＣＭＲ２２４が得られる。そして、仮想物体領域ＶＲ２２４と遮蔽モデル領域ＣＭＲ２２４を合成することにより、描画結果Ｄ２２４が得られる。
このように、前後関係の判定が省略される場合、遮蔽モデルが仮想物体より手前に存在すると仮定されて描画が行われてしまう。
図３９は、前後関係の判定が省略される場合であっても適切な表示が可能なインタラクションの例を示す説明図である。図４０は、前後関係の判定が行われる場合と、省略される場合とで見え方が大きく異なり得るインタラクションの例を示す説明図である。
図３９に示すように、押す、触る、叩く等のインタラクションが行われる場合であれば、ユーザの視界Ｆ２２５及び視界Ｆ２２６において、仮想物体Ｖ２２５及び仮想物体Ｖ２２６と、手Ｈ２２５及び手Ｈ２２６とのそれぞれの関係に違和感は生じない。
一方、図４０に示すように、掴む、握る等のインタラクションが行われる場合、前後関係の判定が行われた場合の視界Ｆ２２７と前後関係の判定が省略された場合の視界Ｆ２２８とで、見え方が大きく異なる。前後関係の判定が行われる場合、視界Ｆ２２７において、仮想物体Ｖ２２７と手Ｈ２２７との関係に違和感は生じない。しかし、前後関係の判定が省略される場合、視界Ｆ２２８において、仮想物体Ｖ２２８と手Ｈ２２８との関係に違和感が生じる。具体的には、視界Ｆ２２８において、本来、仮想物体Ｖ２２８の奥側に存在し、見えないはずの領域において、手Ｈ２２８が見えてしまっている。
そこで、表示制御部１２８は、遮蔽モデルの描画結果を再利用するか否かを、仮想物体の種類や、ユーザが行うインタラクションの種類に基づいて判定してもよい。例えば、表示制御部１２８は、掴む、握るといったインタラクションを誘発するような仮想物体を表示させる場合や、認識部１２０−２の認識結果により係るインタラクションが行われていることがわかる場合には、遮蔽モデルの描画結果を再利用しなくてもよい。
係る構成によれば、前後関係の判定を省略した結果、ユーザに違和感を与える事態を防ぐことが可能となる。
続いて、図４１、図４２を参照して、本変形例の動作例について説明する。図４１は、本変形例の動作例を示すフローチャート図である。
図４１に示すステップＳ３００〜Ｓ３３０は、図３３を参照して説明したステップＳ２００〜Ｓ２３０の処理と同様であるため、ここでの説明は省略する。
ステップＳ３４０において、遮蔽モデルの描画結果を再利用するか否かが判定される。なお、ステップＳ３４０の判定は、高速モードであるか低速モードであるかの情報に加え、図３７〜図４０を参照して説明したような仮想物体の種類や、インタラクションの種類に基づいて行われてもよい。
遮蔽モデルの描画結果が再利用されない場合（Ｓ３４０においてＮＯ）、形状認識部１２４が形状認識を行って、遮蔽モデルを生成する（Ｓ３６０）し、表示制御部１２８は形状認識結果である遮蔽モデルに基づいて描画を行う（Ｓ３７０）。
一方、遮蔽モデルの描画結果が再利用される場合（Ｓ３４０においてＹＥＳ）、表示制御部１２８は、記憶された遮蔽モデルの描画結果の移動、及び変形による描画を行う（Ｓ３７５）。
さらに、表示制御部１２８の制御に従い、表示部１３が当該画像を表示する（Ｓ３８０）。最後に、最新の遮蔽モデルの描画結果が記憶される（Ｓ３９０）。
図４２は、本変形例に係るタイミングチャート図である。図４２に示すように、本変形例においては、高速モードにおいてセンシングの開始から、表示の開始までに期間Ｔ３を要する。ここで、期間Ｔ３は、図４２に示すようにセンシング間隔ｔと同一の期間であり、図３２に示した期間Ｔ１や、図３４に示した期間Ｔ２よりも短い。したがって、実物体の移動による影響がさらに抑制されて、ユーザに与える違和感が軽減される。
（変形例２−３）
なお、上記実施形態では、描画を行う前にポリゴン数を削減することで、描画に係る処理負荷を軽減する例を説明したが、本実施形態は係る例に限定されない。例えば、形状認識部１２４がデプスマップに基づいて形状認識を行う場合、移動速度に応じて、形状認識部１２４が形状認識を行う前に当該デプスマップが低解像度化されてもよい。
係る変形例について、図４３を参照して説明する。図４３は、本変形例について説明するための説明図である。
図４３に示す実物体であるユーザの手Ｈ２３１は低速に移動している。そのため、処理モードは低速モードに決定される。
手Ｈ２３１のセンシングに基づいて、デプスマップＤＭ２３１が取得される。続いて、デプスマップに基づいて形状認識部１２４により形状認識が行われ、形状認識結果Ｒ２３１が取得される。なお、形状認識結果Ｒ２３１上の複数の矢印は、それぞれ形状認識部１２４が形状認識を行う際に予測した形状変化を示している。
そして、表示制御部１２８が形状認識結果Ｒ２３１に基づいて、仮想物体を遮蔽するように描画を行うと、描画結果Ｄ２３１が得られ、描画結果Ｄ２３１に基づいて表示が行われると、ユーザの視界は、視界Ｆ２３１のようになる。
図４３に示す実物体であるユーザの手Ｈ２３２は高速に移動している。そのため、図４３には図示していないが、移動認識部１２２による移動認識の結果に基づき、処理モードは高速モードに決定される。
手Ｈ２３２のセンシングに基づいて、デプスマップＤＭ２３２が取得される。ここで、本変形例に係る制御部１２−２は、高速モードで処理する場合、デプスマップＤＭ２３２を低解像度化した後に、形状認識部１２４へ入力してもよい。低解像度化されたデプスマップＤＭ２３２を用いた形状認識の結果得られた形状認識結果Ｒ２３２は、形状認識結果Ｒ２３１と比較して、ポリゴン数が少なく、また予測される形状変化の情報も少ない。つまり、低解像度化されたデプスマップＤＭ２３２を用いて形状認識部１２４が形状認識を行う場合、形状変化の予測を含め、形状認識に係る処理負荷が軽減される。
形状認識結果Ｒ２３２に対してポリゴン数が削減され後、表示制御部１２８が描画を行うことで描画結果Ｄ２３２が得られる。なお、デプスマップＤＭ２３２の低解像度化に伴い、形状認識結果Ｒ２３２のポリゴン数も形状認識結果Ｒ２３１より少ない。したがって、ポリゴン数の削減を行わなくとも、形状認識結果Ｒ２３２に基づく描画に係る処理負荷は形状認識結果Ｒ２３１に基づく描画に係る処理負荷よりも小さい。したがって、形状認識結果Ｒ２３２のポリゴン数が十分に少ない場合には、ポリゴン数の削減が行われなくてもよい。描画結果Ｄ２３２に基づいて表示が行われると、ユーザの視界は、視界Ｆ２３２のようになる。
なお、デプスマップは、多様な方法で取得され得る。例えば、デプスマップは、外向きカメラ１１０に複数のカメラが含まれる場合、デプスマップは、複数の撮像画像を用いたステレオマッチングにより取得されてもよい。また、外向きカメラ１１０にデプスカメラが含まれる場合には、デプスカメラが行うセンシングにより取得されてもよい。
また、デプスカメラが出力するデプスマップの解像度を設定などにより制御可能な場合、制御部１２−２は、処理モードの決定に応じて、外向きカメラ１１０に含まれるデプスカメラの出力解像度を制御してもよい。
本変形例によれば、デプスマップが低解像度化されることにより、形状認識に係る処理負荷、及び描画に係る処理負荷の両方がさらに軽減され得る。
＜２−５．補足＞
以上、本開示の第２の実施形態について説明した。本実施形態によれば、移動情報に応じて、形状認識に係る処理負荷、及び描画に係る処理負荷を変化させることで、実物体の移動の影響を抑制し、ユーザに与える違和感を軽減させることが可能である。
なお、本開示の第２の実施形態は、本開示の第１の実施形態と組み合わせることも可能である。第１の実施形態と、第２の実施形態を組み合わせることで、例えば、境界表現を異ならせることと、処理時間を短縮することの双方の効果により、ユーザに与える違和感をさらに軽減することが可能となる。
また、上記では低速モードと高速モードの２段階に分けて処理モードが決定されたが、処理モードは、より多数の段階に分けて決定され、決定された処理モードに応じて多様な処理が行われてもよい。
図４４は、実物体として手を想定し、手の速度に応じて、処理モードを静止モード、超低速モード、低速モード、中速モード、高速モード、超高速モードの６段階に分けて決定する場合の処理の例をまとめた表である。図４４に示すように、処理モードに応じて、上述したデプスマップの低解像度化、形状認識の省略、前後判定の省略、描画結果の再利用、及び第１の実施形態で説明した境界表現の変更等の処理が適宜行われてもよい。
図４４に示す表のように処理を行うことで、手全体の移動速度が小さい場合には、認識や表示の正確性を重視した処理を優先的に行うことが可能であり、手全体の移動速度が大きい場合には、手の移動に伴う違和感を軽減させる処理を優先的に行うことが可能である。
＜＜３．ハードウェア構成例＞＞
以上、本開示の実施形態を説明した。最後に、図４５を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図４５は、本開示の実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図４５に示す情報処理装置９００は、例えば、情報処理装置１、情報処理装置１−２を実現し得る。本実施形態に係る情報処理装置１、情報処理装置１−２による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
図４５に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、制御部１２、制御部１２−２を形成し得る。
ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置９０７は、例えば表示部１３、スピーカー１４を形成し得る。
ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。上記ストレージ装置９０８は、例えば、記憶部１７を形成し得る。
ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、通信部１５を形成し得る。
センサ９１５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ９１５は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９１５は、ＧＰＳ信号を受信して装置の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。センサ９１５は、例えば、センサ部１１を形成し得る。
なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
以上、本開示の実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本開示の実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
なお、上述のような本開示の実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
＜＜４．むすび＞＞
以上説明したように、本開示の実施形態によれば、ユーザに与える違和感を軽減することが可能である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、表示部１３が透過型である例を主に説明したが、本技術は係る例に限定されない。例えば、表示部１３が非透過型である場合にも、外向きカメラ１１０の撮影により得られる実空間の画像に仮想物体を重畳させて表示させることで、上述した効果と同様の効果を得ることが可能である。また、表示部１３がプロジェクタである場合にも、実空間に仮想物体を投影することで上述した効果と同様の効果を実現することが可能である。
また、上記実施形態では、実物体がユーザの手である例を主に説明したが、本技術は係る例に限定されず、実空間に存在する多様な実物体に対して、本技術は適用可能である。
また、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理される必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
実物体のセンシングに基づく認識に係る認識情報が第１の認識情報を含む場合、仮想物体の前記実物体による遮蔽を示す遮蔽表示を、前記仮想物体と前記実物体との間の境界または前記境界の近傍位置において、第１の境界表現を示すように制御し、前記認識情報が前記第１の認識情報とは異なる第２の認識情報を含む場合、前記遮蔽表示を、前記境界または前記境界の近傍位置において、前記第１の境界表現とは異なる第２の境界表現を示すように制御する表示制御部を備える情報処理装置。
（２）
前記表示制御部は、前記実物体のセンシングに基づく形状認識により得られた形状情報を用いて、前記遮蔽表示を制御する、前記（１）に記載の情報処理装置。
（３）
前記表示制御部は、前記第１の認識情報に応じて、前記遮蔽に係る遮蔽領域が第１の大きさを有するように前記遮蔽表示を制御し、前記第２の認識情報に応じて、前記遮蔽領域が、前記第１の大きさとは異なる第２の大きさを有するように前記遮蔽表示を制御する、前記（１）に記載の情報処理装置。
（４）
前記表示制御部は、前記認識情報が前記第１の認識情報を含む場合、前記遮蔽領域のうち前記認識情報に含まれる位置情報に応じた領域が前記第１の大きさを有するように前記遮蔽表示を制御し、前記認識情報が前記第２の認識情報を含む場合、前記遮蔽領域のうち前記位置情報に応じた領域が前記第２の大きさを有するように前記遮蔽表示を制御する、前記（３）に記載の情報処理装置。
（５）
前記表示制御部は、前記認識情報に応じて、前記境界の近傍位置に、エフェクト表示が付加されるように前記遮蔽表示を制御する、前記（１）〜（４）のいずれか一項に記載の情報処理装置。
（６）
前記表示制御部は、前記認識情報に応じて、前記遮蔽に係る遮蔽領域の内部にエフェクト表示が付加されるように前記遮蔽表示を制御する、前記（１）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記表示制御部は、前記実物体が前記仮想物体と衝突するように表示を制御する場合に、前記実物体と前記仮想物体との衝突に係る境界の近傍に、エフェクト表示が付加されるように前記遮蔽表示を制御する、前記（１）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記表示制御部は、前記認識情報に含まれる位置情報に応じた位置に前記エフェクト表示が付加されるように前記遮蔽表示を制御する、前記（５）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記表示制御部は、前記認識情報が前記第１の認識情報を含む場合、前記認識情報が前記第２の認識情報を含む場合とは異なる強度を有するように前記エフェクト表示を制御する、前記（５）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記表示制御部は、前記認識情報が前記第１の認識情報を含む場合、前記認識情報が前記第２の認識情報を含む場合とは異なる視認性を有するように前記仮想物体の表示を制御する、前記（１）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
前記表示制御部は、前記仮想物体が前記実物体により操作可能な仮想物体である場合、前記第１の境界表現と前記第２の境界表現のうち、前記仮想物体の表示領域がより大きい境界表現を示すように前記遮蔽表示を制御する、前記（１）〜（１０）のいずれか一項に記載の情報処理装置。
（１２）
前記表示制御部は、前記仮想物体が３次元形状を有するか否かに応じて、前記遮蔽表示を制御する、前記（１）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記実物体のセンシングに基づく前記実物体の移動認識と、前記形状認識とを行う認識部をさらに備え、
前記移動認識により前記実物体の移動速度が第１の移動速度であるという移動情報が得られた場合、前記実物体の移動速度が前記第１の移動速度よりも小さい第２の移動速度であるという移動情報が得られた場合よりも、前記認識部が行う前記形状認識に係る処理負荷、及び前記表示制御部が行う描画に係る処理負荷のうち少なくともいずれか一方が減少される、前記（２）に記載の情報処理装置。
（１４）
前記認識部は、前記実物体の移動速度が前記第１の移動速度である場合に、前記形状認識を行わない、前記（１３）に記載の情報処理装置。
（１５）
前記表示制御部は、前記実物体の移動速度が前記第１の移動速度である場合に、前記表示制御部が以前に行った前記描画の結果を用いて前記描画を行う、前記（１３）または（１４）に記載の情報処理装置。
（１６）
前記認識情報は、前記認識に係る認識精度の情報を含む、前記（１）〜（１５）のいずれか一項に記載の情報処理装置。
（１７）
前記認識情報は、前記実物体のセンシングに基づいて認識される前記実物体の移動速度の情報を含む、前記（１）〜（１６）のいずれか一項に記載の情報処理装置。
（１８）
前記表示制御部は、光学的透過性を有する表示部による表示を制御する、前記（１）〜（１７）のいずれか一項に記載の情報処理装置。
（１９）
実物体のセンシングに基づく認識に係る認識情報が第１の認識情報を含む場合、仮想物体の前記実物体による遮蔽を示す遮蔽表示を、前記仮想物体と前記実物体との間の境界または前記境界の近傍位置において、第１の境界表現を示すように制御し、前記認識情報が前記第１の認識情報とは異なる第２の認識情報を含む場合、前記遮蔽表示を、前記境界または前記境界の近傍位置において、前記第１の境界表現とは異なる第２の境界表現を示すようにプロセッサが制御すること、を含む情報処理方法。
（２０）
コンピュータに、
実物体のセンシングに基づく認識に係る認識情報が第１の認識情報を含む場合、仮想物体の前記実物体による遮蔽を示す遮蔽表示を、前記仮想物体と前記実物体との間の境界または前記境界の近傍位置において、第１の境界表現を示すように制御し、前記認識情報が前記第１の認識情報とは異なる第２の認識情報を含む場合、前記遮蔽表示を、前記境界または前記境界の近傍位置において、前記第１の境界表現とは異なる第２の境界表現を示すように制御する機能を実現させるための、プログラム。
１、１−２ 情報処理装置
１１ センサ部
１２、１２−２ 制御部
１３ 表示部
１４ スピーカー
１５ 通信部
１６ 操作入力部
１７ 記憶部
１１０ 外向きカメラ
１１１ 内向きカメラ
１１２ マイク
１１３ ジャイロセンサ
１１４ 加速度センサ
１１５ 方位センサ
１１６ 位置測位部
１１７ 生体センサ
１２０、１２０−２ 認識部
１２１、１２２ 移動認識部
１２３、１２４ 形状認識部
１２５ 精度情報取得部
１２６ 移動変形部
１２７、１２８ 表示制御部

Claims (20)

  1. 実物体のセンシングに基づく認識に係る認識情報が第１の認識情報を含む場合、仮想物体の前記実物体による遮蔽を示す遮蔽表示を、前記仮想物体と前記実物体との間の境界または前記境界の近傍位置において、第１の境界表現を示すように制御し、前記認識情報が前記第１の認識情報とは異なる第２の認識情報を含む場合、前記遮蔽表示を、前記境界または前記境界の近傍位置において、前記第１の境界表現とは異なる第２の境界表現を示すように制御する表示制御部を備える情報処理装置。
  2. 前記表示制御部は、前記実物体のセンシングに基づく形状認識により得られた形状情報を用いて、前記遮蔽表示を制御する、請求項１に記載の情報処理装置。
  3. 前記表示制御部は、前記第１の認識情報に応じて、前記遮蔽に係る遮蔽領域が第１の大きさを有するように前記遮蔽表示を制御し、前記第２の認識情報に応じて、前記遮蔽領域が、前記第１の大きさとは異なる第２の大きさを有するように前記遮蔽表示を制御する、請求項１に記載の情報処理装置。
  4. 前記表示制御部は、前記認識情報が前記第１の認識情報を含む場合、前記遮蔽領域のうち前記認識情報に含まれる位置情報に応じた領域が前記第１の大きさを有するように前記遮蔽表示を制御し、前記認識情報が前記第２の認識情報を含む場合、前記遮蔽領域のうち前記位置情報に応じた領域が前記第２の大きさを有するように前記遮蔽表示を制御する、請求項３に記載の情報処理装置。
  5. 前記表示制御部は、前記認識情報に応じて、前記境界の近傍位置に、エフェクト表示が付加されるように前記遮蔽表示を制御する、請求項１に記載の情報処理装置。
  6. 前記表示制御部は、前記認識情報に応じて、前記遮蔽に係る遮蔽領域の内部にエフェクト表示が付加されるように前記遮蔽表示を制御する、請求項１に記載の情報処理装置。
  7. 前記表示制御部は、前記実物体が前記仮想物体と衝突するように表示を制御する場合に、前記実物体と前記仮想物体との衝突に係る境界の近傍に、エフェクト表示が付加されるように前記遮蔽表示を制御する、請求項１に記載の情報処理装置。
  8. 前記表示制御部は、前記認識情報に含まれる位置情報に応じた位置に前記エフェクト表示が付加されるように前記遮蔽表示を制御する、請求項５に記載の情報処理装置。
  9. 前記表示制御部は、前記認識情報が前記第１の認識情報を含む場合、前記認識情報が前記第２の認識情報を含む場合とは異なる強度を有するように前記エフェクト表示を制御する、請求項５に記載の情報処理装置。
  10. 前記表示制御部は、前記認識情報が前記第１の認識情報を含む場合、前記認識情報が前記第２の認識情報を含む場合とは異なる視認性を有するように前記仮想物体の表示を制御する、請求項１に記載の情報処理装置。
  11. 前記表示制御部は、前記仮想物体が前記実物体により操作可能な仮想物体である場合、前記第１の境界表現と前記第２の境界表現のうち、前記仮想物体の表示領域がより大きい境界表現を示すように前記遮蔽表示を制御する、請求項１に記載の情報処理装置。
  12. 前記表示制御部は、前記仮想物体が３次元形状を有するか否かに応じて、前記遮蔽表示を制御する、請求項１に記載の情報処理装置。
  13. 前記実物体のセンシングに基づく前記実物体の移動認識と、前記形状認識とを行う認識部をさらに備え、
    前記移動認識により前記実物体の移動速度が第１の移動速度であるという移動情報が得られた場合、前記実物体の移動速度が前記第１の移動速度よりも小さい第２の移動速度であるという移動情報が得られた場合よりも、前記認識部が行う前記形状認識に係る処理負荷、及び前記表示制御部が行う描画に係る処理負荷のうち少なくともいずれか一方が減少される、請求項２に記載の情報処理装置。
  14. 前記認識部は、前記実物体の移動速度が前記第１の移動速度である場合に、前記形状認識を行わない、請求項１３に記載の情報処理装置。
  15. 前記表示制御部は、前記実物体の移動速度が前記第１の移動速度である場合に、前記表示制御部が以前に行った前記描画の結果を用いて前記描画を行う、請求項１３に記載の情報処理装置。
  16. 前記認識情報は、前記認識に係る認識精度の情報を含む、請求項１に記載の情報処理装置。
  17. 前記認識情報は、前記実物体のセンシングに基づいて認識される前記実物体の移動速度の情報を含む、請求項１に記載の情報処理装置。
  18. 前記表示制御部は、光学的透過性を有する表示部による表示を制御する、請求項１に記載の情報処理装置。
  19. 実物体のセンシングに基づく認識に係る認識情報が第１の認識情報を含む場合、仮想物体の前記実物体による遮蔽を示す遮蔽表示を、前記仮想物体と前記実物体との間の境界または前記境界の近傍位置において、第１の境界表現を示すように制御し、前記認識情報が前記第１の認識情報とは異なる第２の認識情報を含む場合、前記遮蔽表示を、前記境界または前記境界の近傍位置において、前記第１の境界表現とは異なる第２の境界表現を示すようにプロセッサが制御すること、を含む情報処理方法。
  20. コンピュータに、
    実物体のセンシングに基づく認識に係る認識情報が第１の認識情報を含む場合、仮想物体の前記実物体による遮蔽を示す遮蔽表示を、前記仮想物体と前記実物体との間の境界または前記境界の近傍位置において、第１の境界表現を示すように制御し、前記認識情報が前記第１の認識情報とは異なる第２の認識情報を含む場合、前記遮蔽表示を、前記境界または前記境界の近傍位置において、前記第１の境界表現とは異なる第２の境界表現を示すように制御する機能を実現させるための、プログラム。
JP2019535607A 2017-08-09 2018-05-15 情報処理装置、情報処理方法、及びプログラム Active JP7222351B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017154116 2017-08-09
JP2017154116 2017-08-09
PCT/JP2018/018785 WO2019031015A1 (ja) 2017-08-09 2018-05-15 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2019031015A1 true JPWO2019031015A1 (ja) 2020-07-09
JP7222351B2 JP7222351B2 (ja) 2023-02-15

Family

ID=65271369

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019535607A Active JP7222351B2 (ja) 2017-08-09 2018-05-15 情報処理装置、情報処理方法、及びプログラム

Country Status (5)

Country Link
US (1) US11288869B2 (ja)
EP (1) EP3667625A4 (ja)
JP (1) JP7222351B2 (ja)
CN (1) CN110998674B (ja)
WO (1) WO2019031015A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11245889B1 (en) 2018-11-08 2022-02-08 Tanzle, Inc. Perspective based green screening
WO2021117366A1 (ja) * 2019-12-10 2021-06-17 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
US20230127539A1 (en) * 2020-04-21 2023-04-27 Sony Group Corporation Information processing apparatus, information processing method, and information processing program
US11676348B2 (en) * 2021-06-02 2023-06-13 Meta Platforms Technologies, Llc Dynamic mixed reality content in virtual reality
US11521361B1 (en) 2021-07-01 2022-12-06 Meta Platforms Technologies, Llc Environment model with surfaces and per-surface volumes
JP2023022415A (ja) * 2021-08-03 2023-02-15 株式会社Subaru 物体認識装置、コンピュータプログラム及び記録媒体
US12056268B2 (en) 2021-08-17 2024-08-06 Meta Platforms Technologies, Llc Platformization of mixed reality objects in virtual reality environments
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US12093447B2 (en) 2022-01-13 2024-09-17 Meta Platforms Technologies, Llc Ephemeral artificial reality experiences
US12026527B2 (en) 2022-05-10 2024-07-02 Meta Platforms Technologies, Llc World-controlled and application-controlled augments in an artificial-reality environment

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014106543A (ja) * 2012-11-22 2014-06-09 Canon Inc 画像処理装置、画像処理方法及びプログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR115F (ja)
FR114F (ja) 1963-08-06 1900-01-01
JP4789745B2 (ja) 2006-08-11 2011-10-12 キヤノン株式会社 画像処理装置および方法
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US8941559B2 (en) 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US9946076B2 (en) * 2010-10-04 2018-04-17 Gerard Dirk Smits System and method for 3-D projection and enhancements for interactivity
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US9286711B2 (en) * 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
US9183676B2 (en) * 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
US9292085B2 (en) * 2012-06-29 2016-03-22 Microsoft Technology Licensing, Llc Configuring an interaction zone within an augmented reality environment
US10241638B2 (en) * 2012-11-02 2019-03-26 Atheer, Inc. Method and apparatus for a three dimensional interface
JP5900393B2 (ja) 2013-03-21 2016-04-06 ソニー株式会社 情報処理装置、操作制御方法及びプログラム
US9286725B2 (en) * 2013-11-14 2016-03-15 Nintendo Co., Ltd. Visually convincing depiction of object interactions in augmented reality images
CN105814611B (zh) 2013-12-17 2020-08-18 索尼公司 信息处理设备和方法以及非易失性计算机可读存储介质
WO2015173344A1 (en) 2014-05-15 2015-11-19 Showme Telepresence Aps Method of providing a digitally represented visual instruction from a specialist to a user in need of said visual instruction, and a system therefor
US10977774B2 (en) 2015-09-16 2021-04-13 Sony Corporation Information processing apparatus, information processing method, and program for estimating prediction accuracy
KR102559625B1 (ko) * 2016-01-25 2023-07-26 삼성전자주식회사 증강 현실 출력 방법 및 이를 지원하는 전자 장치
KR20230133940A (ko) * 2016-07-25 2023-09-19 매직 립, 인코포레이티드 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화
WO2018064213A1 (en) * 2016-09-27 2018-04-05 Duke University Systems and methods for using sensing of real object position, trajectory, or attitude to enable user interaction with a virtual object
US10410422B2 (en) * 2017-01-09 2019-09-10 Samsung Electronics Co., Ltd. System and method for augmented reality control

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014106543A (ja) * 2012-11-22 2014-06-09 Canon Inc 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
CN110998674B (zh) 2023-11-24
CN110998674A (zh) 2020-04-10
US20200242842A1 (en) 2020-07-30
EP3667625A4 (en) 2020-08-12
JP7222351B2 (ja) 2023-02-15
WO2019031015A1 (ja) 2019-02-14
US11288869B2 (en) 2022-03-29
EP3667625A1 (en) 2020-06-17

Similar Documents

Publication Publication Date Title
JP7222351B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US12008151B2 (en) Tracking and drift correction
US20230186578A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
CN110413105B (zh) 虚拟环境内的虚拟对象的有形可视化
JP7036879B2 (ja) 仮想画像生成システムにおけるテキストをより効率的に表示するための技法
CN110506249B (zh) 信息处理设备、信息处理方法和记录介质
US11733769B2 (en) Presenting avatars in three-dimensional environments
JP2019053423A (ja) 情報処理装置、情報処理方法、及びプログラム
WO2021147465A1 (zh) 一种图像渲染方法、电子设备及系统
JPWO2020039568A1 (ja) 画像生成装置および画像生成方法
CN112116716A (zh) 基于检测到的对象来定位的虚拟内容
US20230171484A1 (en) Devices, methods, and graphical user interfaces for generating and displaying a representation of a user
CN111507889A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
JP7400721B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN111507890A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
WO2019171802A1 (ja) 情報処理装置、情報処理方法およびプログラム
KR20200031098A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
WO2020071144A1 (ja) 情報処理装置、情報処理方法、及びプログラム
EP4296826A1 (en) Hand-gesture activation of actionable items
US11908090B2 (en) Information processing device, information processing method, and program
US20240112303A1 (en) Context-Based Selection of Perspective Correction Operations
WO2022269753A1 (ja) 情報処理システム、情報処理装置及び画像表示装置
JP2017009916A (ja) 映像表示装置、映像表示方法、およびプログラム
CN116157766A (zh) 具有基于观看者位置的音频的视觉内容呈现

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230117

R151 Written notification of patent or utility model registration

Ref document number: 7222351

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151