JP7052845B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP7052845B2
JP7052845B2 JP2020156705A JP2020156705A JP7052845B2 JP 7052845 B2 JP7052845 B2 JP 7052845B2 JP 2020156705 A JP2020156705 A JP 2020156705A JP 2020156705 A JP2020156705 A JP 2020156705A JP 7052845 B2 JP7052845 B2 JP 7052845B2
Authority
JP
Japan
Prior art keywords
display
display area
real object
displayed
position corresponding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020156705A
Other languages
English (en)
Other versions
JP2021007020A (ja
Inventor
遼 深澤
邦在 鳥居
貴広 岡山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JP2021007020A publication Critical patent/JP2021007020A/ja
Application granted granted Critical
Publication of JP7052845B2 publication Critical patent/JP7052845B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004Annotating, labelling

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
近年、実世界に存在する実オブジェクトに付加的な情報(コンテンツ)を重畳して人間の知覚する現実環境を拡張するAR(Augmented Reality)技術が広く用いられるようになり、AR技術を応用した情報提示が行われている。AR技術においてユーザに提示されるコンテンツは、テキスト、アイコン、画像、3Dモデル等の様々な形態の仮想的なオブジェクトを用いて可視化され得る。例えば、特許文献1には、AR技術において、ユーザ間のインタラクションを円滑にするための技術が記載されている。また、特許文献1では、透過型の表示部を有するシースルーディスプレイを用いたAR技術が記載されている。
国際公開第2014/162825号
しかし、多くのシースルーディスプレイは、ユーザが視認可能な実空間中の範囲(ユーザの第一の視野範囲)のうち、ユーザから見て表示領域に含まれて視認可能な一部の範囲(ユーザの第二の視野範囲)にしか重畳表示を行うことが出来ない。その結果、例えばユーザの視界に存在し、ユーザが認識している実オブジェクトに関連したコンテンツをユーザに提示することが出来ない場合があった。係る場合、ユーザは当該実オブジェクトに関連付けられたコンテンツが存在するのか否かを把握することができない恐れがあった。
また、一方で、ユーザが目で見る(視認する)ことが出来ない範囲に存在する実オブジェクトの情報が取得される場合があり、その結果、ユーザが認識していない実オブジェクトに関連した情報提示が行われて、ユーザに混乱を与える恐れがあった。
そこで、本開示では、ユーザの視野範囲と、実オブジェクトの位置関係に応じたユーザへの情報提示を行うことが可能な、情報処理装置、情報処理方法、及びプログラムを提案する。
本開示によれば、ユーザの第一の視野範囲、前記第一の視野範囲に含まれる第二の視野範囲、及び実オブジェクトの位置関係に応じて、複数の表示形態から一の表示形態を選択する表示形態選択部と、選択された前記表示形態に応じて、前記実オブジェクトに関連付けられた仮想オブジェクトの表示部への表示を制御する表示制御部と、を備える、情報処理装置が提供される。
また、本開示によれば、ユーザの第一の視野範囲、前記第一の視野範囲に含まれる第二の視野範囲、及び実オブジェクトの位置関係に応じて、複数の表示形態から一の表示形態を選択することと、選択された前記表示形態に応じて、前記実オブジェクトに関連付けられた仮想オブジェクトの表示部への表示をプロセッサが制御することと、を含む情報処理方法が提供される。
また、本開示によれば、コンピュータに、ユーザの第一の視野範囲、前記第一の視野範囲に含まれる第二の視野範囲、及び実オブジェクトの位置関係に応じて、複数の表示形態から一の表示形態を選択する表示形態選択機能と、選択された前記表示形態に応じて、前記実オブジェクトに関連付けられた仮想オブジェクトの表示部への表示を制御する表示制御機能と、を実現させるためのプログラムが提供される。
以上説明したように本開示によれば、ユーザの視野範囲と、実オブジェクトの位置関係に応じたユーザへの情報提示を行うことが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理装置の概要を説明するための説明図である。 同実施形態による情報処理装置1の構成を示すブロック図である。 同実施形態に係る情報処理装置1の動作例を説明するためのフローチャート図である。 図3に示すステップS40における表示形態の選択を説明するための説明図である。 図3に示すステップS50における表示形態の選択を説明するための説明図である。 図3に示すステップS60における表示形態の選択を説明するための説明図である。 同実施形態に係るインジケーションの第一の具体例を説明するための説明図である。 同実施形態に係るインジケーションの第二の具体例を説明するための説明図である。 同実施形態に係るインジケーションの第三の具体例を説明するための説明図である。 同実施形態に係るインジケーションの第四の具体例を説明するための説明図である。 図10に示すインジケーションN100の拡大図である。 同実施形態に係るインジケーションの第五の具体例を説明するための説明図である。 図12に示すインジケーションN200の拡大図である。 同実施形態に係るインジケーションの第六の具体例を説明するための説明図である。 同実施形態に係るインジケーションの第七の具体例を説明するための説明図である。 同実施形態に係るインジケーションの第八の具体例を説明するための説明図である。 同実施形態に係る変形例1を説明するための説明図である。 同実施形態に係る変形例1を説明するための説明図である。 本開示に係る情報処理装置のハードウェア構成の一例を示す説明図である
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一の機能構成を有する要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の要素の各々を特に区別する必要がない場合、同一符号のみを付する。
なお、説明は以下の順序で行うものとする。
<<1.概要>>
<<2.構成>>
<<3.動作>>
<<4.インジケーションの具体例>>
<4-1.第一の具体例>
<4-2.第二の具体例>
<4-3.第三の具体例>
<4-4.第四の具体例>
<4-5.第五の具体例>
<4-6.第六の具体例>
<4-7.第七の具体例>
<4-8.第八の具体例>
<<5.変形例>>
<5-1.変形例1>
<5-2.変形例2>
<5-3.変形例3>
<<6.ハードウェア構成例>>
<<7.むすび>>
<<1.概要>>
近年のAR技術においては、表示装置として、透過型の表示部を有するシースルーディスプレイが利用されることが多い。シースルーディスプレイの表示領域は物理的な制約等により限定されるため、ユーザが視認可能な範囲のうち、一部の領域にしか重畳表示を行うことが出来ない場合がある。
図1は、本開示の一実施形態に係る情報処理装置の概要を説明するための説明図である。なお、図1は、情報処理装置1を装着したユーザU1を上から見た模式図である。
図1に示す情報処理装置1は、透過型の表示部(透過型ディスプレイ)を備える表示デバイスである。なお、図1では、情報処理装置1が眼鏡型の表示デバイス(ヘッドマウントディスプレイ)である例を示しているが、本実施形態に係る情報処理装置1は眼鏡型に限定されず、ヘルメット型の表示デバイス(ヘルメットマウントディスプレイ)であってもよい。情報処理装置1は、透過型HMD(ヘッドマウントディスプレイ、ヘルメットマウントディスプレイ)や車のフロントガラス等を用いたHUD(ヘッドアップディスプレイ)等、様々な形態で実現され得る。
図1に示す範囲A12は、情報処理装置1により重畳表示可能な範囲、すなわち情報処理装置1が有する透過型の表示部の表示領域に含まれてユーザが視認可能な範囲である。例えば、情報処理装置1が、表示部に仮想オブジェクトを表示させることで、範囲A12の実空間に仮想オブジェクトが重畳されて、ユーザに視認される。なお、図1では、情報処理装置1はユーザの両目に対して表示する例を示しているが、情報処理装置1はユーザのいずれか一方の目に対して表示する単眼型の表示デバイスであってもよい。係る場合、情報処理装置の表示部が透過型であるか、非透過型であるかに関わらず、ユーザは実空間と表示部に表示される情報の両方を同時に視認可能であり、上述した第二の視野範囲は表示部の表示領域に含まれて視認可能である。
また、図1に示す範囲A14は、ユーザの視界、すなわちユーザが視認可能な範囲であり、図1に示すように上述した範囲A12は範囲A14に含まれる。また、図1に示す範囲A16は、ユーザが視認不可能な範囲であり、範囲A14外の範囲である。なお、以下では、範囲A14をユーザの第一の視野範囲A14または第一の視野範囲A14と呼び、範囲A12をユーザの第二の視野範囲A12または第二の視野範囲A12と呼ぶ場合がある。
AR技術においては、実オブジェクト(実空間に存在する物体、実空間中の特定の位置等を含む)に関連付けられたコンテンツが、テキスト、アイコン、画像、3Dモデル等の様々な形態の仮想オブジェクトを用いて可視化され得る。例えば、実オブジェクトを認識した情報処理装置1は、実オブジェクトに関連付けられたコンテンツを表示するためのコンテンツ位置(コンテンツの位置)を特定し、当該コンテンツ位置にコンテンツを表示させる。コンテンツ位置は、実空間座標において特定されてもよいし、情報処理装置1の表示部を基準とする平面座標において特定されてもよいが、以下ではコンテンツ位置は、実空間座標において特定される例を説明する。
情報処理装置1によるコンテンツ位置の特定方法は、アプリケーションによって様々であるが、例えば、実オブジェクトに重畳されて、または実オブジェクトの近傍に、ユーザが視認できるように、コンテンツ位置が特定され得る。ただし、特定されたコンテンツ位置が第二の視野範囲A12外である場合、表示部の表示領域の制限により、情報処理装置1はコンテンツをユーザに提示(表示)することが出来ない。
ここで、実オブジェクトが、範囲A12外に存在する場合、当該実オブジェクトの位置に基づいて特定されるコンテンツ位置は範囲A12外に特定され得る。係る場合、コンテンツがユーザに提示されず、また、ユーザは実オブジェクトに関連付けられたコンテンツが存在することを把握することが出来ない。
そこで、例えば、実オブジェクトに基づいて特定されるコンテンツの位置が第二の視野範囲A12外である場合に、ユーザにコンテンツの存在を示すインジケーション(通知)を提示することで、ユーザにコンテンツの存在を把握させることが考えられる。しかし、上記のようにコンテンツの位置が第二の視野範囲A12外であるか否かで判定を行うと、実オブジェクトが第一の視野範囲A14外に存在する場合であっても、インジケーションがユーザに提示され得る。係る場合、ユーザは当該実オブジェクトを視認することが出来ないため、何に関連付けられたコンテンツが存在するのかユーザにとって不明であり、ユーザに混乱を与える恐れがある。
そこで、上記事情を一着眼点にして本実施形態を創作するに至った。本実施形態による情報処理装置1は、ユーザの第一の視野範囲、第二の視野範囲、及び実オブジェクトの位置関係に応じて、複数の表示形態から一の表示形態を選択することで、ユーザに混乱を与えることなくコンテンツの存在を把握させることが可能である。以下、上記の効果を実現する本実施形態による情報処理装置1の構成を説明する。
<<2.構成>>
以上、本実施形態による情報処理装置1の概要を説明した。続いて、図2を参照して、本開示の一実施形態による情報処理装置1の構成について説明する。図2は、本実施形態による情報処理装置1の構成を示すブロック図である。図1に示すように、情報処理装置1は、撮像部110、画像認識部120、表示形態選択部130、表示制御部140、記憶部150、及び表示部160を備える。
撮像部110は、画像を取得するカメラモジュールである。撮像部110は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を用いて実空間を撮像することにより撮像画像を取得する。撮像部110により取得された撮像画像は、画像認識部120に提供される。
本実施形態における撮像部110は、情報処理装置1を装着するユーザが視認可能な範囲(図1を参照して説明した第一の視野範囲A14)よりも広い範囲を撮像可能であることが望ましい。例えば、撮像部110は、第一の視野範囲A14よりも広い範囲を撮像可能な画角を有する一の撮像素子により実現されてもよいし、複数の撮像素子により実現されて、取得される複数の画像により第一の視野範囲A14よりも広い範囲を撮像可能であってもよい。例えば、撮像部110は、複数の撮像素子により実現される全方位カメラであってもよい。
また、撮像部110は複数の撮像素子を有し、複数の画像を同時に取得するステレオカメラであってもよい。かかる場合、当該複数の撮像素子は水平に並べられ、後述する画像認識部120が取得された複数の画像をステレオマッチング法等により解析することで、実空間の三次元形状情報(深度情報)を取得することが可能となる。
画像認識部120は、撮像部110により取得された撮像画像を解析し、実空間の三次元形状や実空間に存在する実オブジェクトの認識を行う。画像認識部120が認識する実オブジェクトは、建物や特定の形状、マーカ(例えば二次元コード等で表現される、特定パターンのテクスチャ情報、または画像特徴点情報の集合等)等であってもよい。
例えば、画像認識部120は、同時に取得された複数画像に対するステレオマッチング法や、時系列的に取得された複数画像に対するSfM(Structure from Motion)法、SLAM法等を行うことで、実空間の三次元形状を認識し、三次元形状情報を取得してもよい。また、画像認識部120は、予め用意された特徴点情報と、撮像画像から検出された特徴点情報のマッチングを行うことで、実空間に存在する実オブジェクトを認識し、当該実オブジェクトの情報(実オブジェクト情報)を取得してもよい。実オブジェクトの情報には、実オブジェクトの位置(実空間座標における位置、または表示部160を基準とする平面座標における位置)が含まれてもよい。
なお、画像認識部120により取得された三次元形状情報は表示制御部140に提供される。また、画像認識部120により取得された実オブジェクト情報は、表示形態選択部130と、表示制御部140に提供される。
表示形態選択部130は、画像認識部120から提供された実オブジェクト情報に基づき、複数の表示形態から一の表示形態を選択する。表示形態選択部130により選択された表示形態に応じて、後述する表示制御部140が表示を制御することで、実オブジェクトに関連付けられた仮想オブジェクトが後述する表示部160に表示される。
例えば、表示形態選択部130は、図1を参照して説明したユーザの第一の視野範囲A14、第一の視野範囲A14に含まれる第二の視野範囲A12、及び実オブジェクトの位置関係に応じて、複数の表示形態から一の表示形態を選択する。
ユーザが視認可能な範囲である第一の視野範囲A14は、例えばユーザを中心として人間の視野角に含まれる範囲として求められてもよい。人間の視野角は、例えば所定の値が用いられてもよいし、ユーザが不図示の操作部等を用いて入力することで得られてもよい。また、表示部160の表示領域に含まれてユーザが視認可能な範囲である第二の視野範囲A12は、例えばユーザを中心として、表示部160の表示画角に含まれる範囲として求められてもよい。係る場合、表示画角は予め測定、または設定された値であってもよいし、不図示の距離センサ等によりセンシングされたユーザの眼と表示部160との距離に基づいて算出されてもよい。
例えば、表示形態選択部130は、実オブジェクトが、第一の視野範囲A14に含まれる第二の視野範囲A12内に存在する場合に、当該実オブジェクトに関連付けられたコンテンツが表示される表示形態を選択してもよい。係る構成によれば、実オブジェクトがユーザの視界(第一の視野範囲A14)に含まれ、かつ重畳表示可能な範囲(第二の視野範囲A12)内に存在する場合に、例えばユーザは実オブジェクトに関する付加的な情報(コンテンツ)を視認することが可能となる。
また、表示形態選択部130は、実オブジェクトが、第一の視野範囲A14内、かつ第二の視野範囲A12外に存在する場合に、実オブジェクトに関連付けられたコンテンツの存在を示すインジケーションが表示される表示形態を選択してもよい。係る構成により、ユーザの視界に含まれる実オブジェクトが重畳表示可能な範囲外に存在し、コンテンツが表示されていない場合であっても、ユーザは、実オブジェクトに関連したコンテンツの存在を把握することが可能である。なお、インジケーションの具体的な例については、図5、及び図7~図16を参照して後述する。
また、表示形態選択部130は、実オブジェクトが、第一の視野範囲A14外に存在する場合に、当該実オブジェクトに関連付けられた仮想オブジェクトが表示されない表示形態を選択してもよい。なお、係る場合であっても、他の実オブジェクトに関連付けられた仮想オブジェクトは表示されてもよい。
ユーザの視界に含まれない実オブジェクトに関連付けられたコンテンツやインジケーションが表示されてしまうと、何に関連付けられたコンテンツが存在するのかユーザにとって不明であり、ユーザに混乱を与える恐れがある。しかし、上記構成により、ユーザの視界に含まれない実オブジェクトに関連付けられたコンテンツやインジケーションが表示されなくなるため、ユーザに上述したような混乱を与えることを防ぐことが可能となる。
なお、本開示において、実オブジェクトが第一または第二の視野範囲内に存在するとは、実オブジェクトの全部または一部が第一または第二の視野範囲内に存在することを意味してもよい。また、本開示において、実オブジェクトが第一または第二の視野範囲外に存在するとは、実オブジェクトの全部が第一または第二の視野範囲外に存在することを意味してもよい。
表示制御部140は、表示部160を制御して、様々な情報を表示させる。例えば、表示形態選択部130により選択された表示形態に応じて、実オブジェクトに関連付けられた仮想オブジェクトの表示部160への表示を制御する。
表示制御部140は、選択された表示形態に応じて、仮想オブジェクトとしてコンテンツを表示させてもよいし、仮想オブジェクトとしてインジケーションを表示させてもよい。また、表示制御部140は、選択された表示形態に応じて、仮想オブジェクトを表示させなくてもよい。
また、表示制御部140が仮想オブジェクトとして表示させるコンテンツ、及びインジケーションの情報は、記憶部150に記憶され、表示制御部140に提供されてもよい。また、表示制御部140は、実オブジェクトの情報に基づき、記憶部150に記憶されたコンテンツから当該実オブジェクトに関連付けられたコンテンツを特定してもよい。
また、仮想オブジェクトとしてコンテンツが表示される場合、表示制御部140は、当該コンテンツを表示するためのコンテンツ位置(コンテンツの位置)を実オブジェクトの位置に基づいて特定し、当該コンテンツ位置に当該コンテンツを表示させてもよい。なお、表示制御部140は三次元形状情報にさらに基づいてコンテンツ位置を特定してもよいし、コンテンツの情報にさらに基づいてコンテンツ位置を特定してもよい。なお、コンテンツ位置の特定方法は、アプリケーションにより様々であり、AR技術における周知の手法が用いられてもよい。
記憶部150は、コンテンツの情報と、インジケーションの情報を記憶する。記憶部150に記憶されるコンテンツの情報に係るコンテンツは、例えば、テキストデータ、画像、3Dモデル、エフェクト、マーキング、シルエット、ゲームキャラクタ、ゲームにおけるアイテム等を含んでもよい。
また、記憶部150に記憶されるコンテンツの情報には、当該コンテンツを表示させるコンテンツ位置を特定するための情報が含まれてもよい。例えば、コンテンツが実オブジェクトを強調させるエフェクトである場合には、コンテンツが実オブジェクトに重畳されて表示されるようにコンテンツ位置を特定するための情報がコンテンツの情報に含まれてもよい。また、コンテンツが実オブジェクトに関するテキストデータである場合には、コンテンツが実オブジェクトの近傍にコンテンツと重ならないように表示されるようにコンテンツ位置を特定するための情報がコンテンツの情報に含まれてもよい。
表示部160は、仮想オブジェクトを表示する、透過型(シースルー型)の光学透過型ディスプレイである。表示部160は、例えば、ホログラム光学素子、またはハーフミラー等を用いて反射させた画像を表示させる構成であってもよいし、ユーザの網膜に光を照射することで画像を表示させる構成であってもよい。
上述したように、第二の視野範囲A12は、表示部160の表示領域に含まれてユーザが視認可能な範囲である。すなわち、第二の視野範囲A12は、ユーザから見ると表示部160の表示領域でもあるため、以下では、範囲A12を表示領域A12と呼ぶ場合もある。
<<3.動作>>
以上、本開示の一実施形態に係る情報処理装置1の構成例について説明した。続いて、図3~6を参照して、本実施形態に係る情報処理装置1の動作例、特に表示形態の選択に係る処理について説明する。図3は、本実施形態に係る情報処理装置1の動作例を説明するためのフローチャート図である。
まず、画像認識部120が撮像部110により取得された撮像画像を解析し、実オブジェクト情報を取得する(S10)。続いて、実オブジェクト情報に基づいて、表示形態選択部130により表示形態の選択が行われる(S20~S60)。
図4は、図3に示すステップS40における表示形態の選択を説明するための説明図である。実オブジェクトR12が第一の視野範囲A14内で、かつ第二の視野範囲A12内に存在する場合(S20においてYESかつS30においてYES)、当該実オブジェクトに関連付けられたコンテンツC12が表示される表示形態が選択される(S40)。
また、図5は図3に示すステップS50における表示形態の選択を説明するための説明図である。実オブジェクトR14が第一の視野範囲A14内で、かつ第二の視野範囲A12外に存在する場合(S20においてYESかつS30においてNO)、コンテンツの存在を示すインジケーションN12が表示される表示形態が選択される(S50)。なお、図5では、インジケーションの例として、円形の光を示したが、本実施形態に係るインジケーションは係る例に限定されない。本実施形態に係るインジケーションの具体例については、図7~16を参照して後述する。
また、図6は図3に示すステップS60における表示形態の選択を説明するための説明図である。実オブジェクトR16が第一の視野範囲A14外に存在する場合、(S20においてNO)、図6に示すように当該実オブジェクトに関連付けられた仮想オブジェクトが表示されない表示形態が選択される(S60)。
図3に戻って説明を続ける。表示形態選択部130による表示形態の選択が行われた後、選択された表示形態に応じて、表示制御部140により表示部160の表示制御が行われる(S70)。
なお、上述したステップS10~S70の処理は随時、または定期的に繰り返されてもよい。また、ステップS10において、複数の実オブジェクトの情報が取得された場合、各実オブジェクトについて表示形態の選択処理(S20~S60)が行われた後に表示制御処理(S70)が行われてもよい。
<<4.インジケーションの具体例>>
以上、本実施形態に係る情報処理装置1の構成、及び動作について説明した。以下では、図実オブジェクトが第一の視野範囲A14内で、かつ第二の視野範囲A12外に存在する場合(図3に示すS20においてYESかつS30においてNO)に、表示部160に表示されるインジケーションの具体例をいくつか挙げて説明する。
なお、本実施形態に係る情報処理装置1は、以下に具体例として説明するインジケーションのうち、いずれか一つのインジケーションを表示してもよいし、複数のインジケーションを組み合わせて表示してもよい。また、予め設定されたインジケーションが表示されてもよいし、複数のインジケーションからユーザの入力により選択されたインジケーションが表示されてもよいし、コンテンツに応じて表示制御部140により特定されたインジケーションが表示されてもよい。
<4-1.第一の具体例>
図7は、本実施形態に係るインジケーションの第一の具体例を説明するための説明図である。図7に示すように、本具体例において表示部160の表示領域A12には、コンテンツC22、及びインジケーションN22、N24が表示されている。
コンテンツC22は、図3に示した表示形態選択処理において、コンテンツが表示される表示形態が選択されて(S40)、表示された仮想オブジェクトである。一方、インジケーションN22、N24は、図3に示した表示形態選択処理において、インジケーションが表示される表示形態が選択されて(S50)、表示された仮想オブジェクトである。
インジケーションN22、N24は、図7に示すように、表示部160の表示領域A12の周縁部のうち、当該インジケーションが存在を示すコンテンツの位置に応じた位置に表示されてもよい。
図7に示す例において、表示領域A12の左側周縁部に表示されるインジケーションN22は、表示領域A12の左外側に位置して、表示部160に非表示のコンテンツC24、C26の存在を示している。また、同様に図7に示す例において、表示領域A12の左側周縁部に表示されるインジケーションN24は、表示領域A12の右外側に位置して、表示部160に非表示のコンテンツC28~C34の存在を示している。なお、コンテンツC24~C34は、それぞれ第一の視野範囲A14内で、かつ第二の視野範囲A12外に存在する実オブジェクトに関連付けられたコンテンツを示している。また、図7に示す例では、表示制御部140により特定されたコンテンツC24~C34のコンテンツ位置も第二の視野範囲(表示領域)A12外に存在するため、表示部160にコンテンツC24~C34は表示されていない。
係る構成によれば、ユーザは当該インジケーションが存在を示す非表示のコンテンツが表示領域のどちら側に存在するのかを把握することが可能である。
また、本具体例に係るインジケーションは当該インジケーションが存在を示すコンテンツの数に応じた表示条件で表示されてもよい。本具体例に係る表示条件は、例えば、インジケーションの強度(例えばインジケーションが光である場合には光の強度)、輝度、色、数、大きさ等を含んでもよい。
図7に示す例では、インジケーションN22、N24は、それぞれ存在を示しているコンテンツと関連付けられた実オブジェクトの数に応じて、大きさが大きくなるような表示条件で、表示されている。係る構成によれば、ユーザは表示条件により、当該インジケーションが存在を示す非表示のコンテンツ数を推測することが可能である。
<4-2.第二の具体例>
図8は、本実施形態に係るインジケーションの第二の具体例を説明するための説明図である。本具体例において、表示部160の表示領域A12には、コンテンツC22、及びインジケーションN34~N44が表示されている。
本具体例に係るインジケーションN34~N44は、図8に示すように、それぞれコンテンツC24~C34の存在を示しており、当該コンテンツの数に応じたインジケーションの数(表示条件の一例)で表示されている。係る構成により、ユーザはより明確に当該インジケーションが存在を示すコンテンツ数を把握することが可能である。
また、図8に示すように、本具体例に係るインジケーションN34~N44は、それぞれコンテンツC24~C34の位置に応じた位置に表示されている。係る構成により、ユーザは当該インジケーションが存在を示す非表示のコンテンツの位置を推測することが可能である。
さらに、本具体例に係るインジケーションは、距離に応じた表示条件で表示されてもよい。例えば、コンテンツ位置が実空間座標で特定される場合、上記距離はユーザからコンテンツ位置までの距離であってもよい。また、コンテンツ位置が表示部160を基準とする平面座標で特定される場合、上記距離は表示部160の表示領域からコンテンツの位置までの距離であってもよい。
例えば、図8に示すインジケーションN34~N44は、表示領域A12から各インジケーションが存在を示すコンテンツC24~C34の位置までの距離に応じて大きさが小さくなるような表示条件で、表示されている。係る構成によれば、ユーザは表示条件により、当該インジケーションが存在を示す非表示のコンテンツの位置をより正確に推測することが可能である。
<4-3.第三の具体例>
上述した第二の具体例では、距離に応じた表示条件の一例として、インジケーションの大きさが用いられていたが、本実施形態に係る距離に応じた表示条件は、インジケーションの大きさに限定されない。以下では、第三の具体例として、インジケーションが距離に応じた他の表示条件で表示される例を説明する。
図9は、本実施形態に係るインジケーションの第三の具体例を説明するための説明図である。本具体例において、表示部160の表示領域A12には、コンテンツC22、及びインジケーションN54~N64が表示されている。
図8を参照して説明した第二の具体例と同様に、本具体例に係るインジケーションN54~N64は、それぞれコンテンツC24~C34の存在を示しており、当該コンテンツの数に応じたインジケーションの数(表示条件の一例)で表示されている。また、第二の具体例と同様に、本具体例に係るインジケーションN54~N64は、それぞれコンテンツC24~C34の位置に応じた位置に表示されている。
また、図9に示すインジケーションN54~N64は、表示領域A12から各インジケーションが存在を示すコンテンツC24~C34の位置までの距離に応じた輝度(表示条件の一例)で、表示されている。係る構成によれば、ユーザは表示条件により、当該インジケーションが存在を示す非表示のコンテンツの位置を推測することが可能である。
なお、本実施形態に係る距離に応じた表示条件は、上述したインジケーションの大きさ、及び輝度に限定されず、インジケーションの強度、輝度、数等であってもよい。
<4-4.第四の具体例>
図10は、本実施形態に係るインジケーションの第四の具体例を説明するための説明図である。本具体例において、表示部160の表示領域A12には、コンテンツC22、及びインジケーションN100が表示されている。図11は、図10に示すインジケーションN100の拡大図である。
図11に示すように、インジケーションN100は、ユーザを基準とする(ユーザから見た)方角の軸を示すインジケーションN120と、図10に示すコンテンツC22~C34の存在、及びユーザから当該コンテンツC22~C34の位置への方角を示すインジケーションN124~N134とを含む。係る構成により、ユーザは自身からコンテンツの位置への方角を容易に把握することが可能である。
なお、図10,11に示すように、本具体例に係るインジケーションN100は、表示領域A12に表示されているコンテンツC22の存在、及びユーザから当該コンテンツC22の位置への方角を示すインジケーションN122を含んでもよい。また、インジケーションN122と、表示領域A12に表示されていないコンテンツC24~34に係るインジケーションN124~N134とは、図11に示すように輝度や色等が異なって表示されてもよい。係る構成により、ユーザは表示されているコンテンツに係るインジケーションと、表示されていないコンテンツに係るインジケーションを区別して把握することが可能である。
また、本具体例に係るインジケーションN122~N134は、図8を参照して説明した第二の具体例に係るインジケーションと同様に、距離に応じた表示条件で表示されてもよい。また、本具体例に係るインジケーションN122~N134は、コンテンツの大きさに応じた表示条件で表示されてもよい。
<4-5.第五の具体例>
図12は、本実施形態に係るインジケーションの第五の具体例を説明するための説明図である。本具体例において、表示部160の表示領域A12には、コンテンツC22、及びインジケーションN200が表示されている。図13は、図12に示すインジケーションN200の拡大図である。
図13に示すように、インジケーションN200は、コンテンツの存在(コンテンツC22以外は不図示)とユーザから見たコンテンツの相対位置を示すインジケーションN202~N214、及び視野範囲を示す点線L202~L208を含む。点線L202と点線L204に挟まれた範囲が、表示領域(第二の視野範囲)A12を示しており、点線L206と点線L208に挟まれた範囲が、重畳表示可能範囲(第一の視野範囲A14)を示している。
なお、図13に示すインジケーションN202は、図12に示す表示領域A12に表示されているコンテンツC22の存在、及びユーザから見た相対位置を示している。インジケーションN202と、表示領域A12に表示されていないコンテンツの存在、及びユーザから見た相対位置を示すインジケーションN204~N208とは、図13に示すように輝度や色等が異なって表示されてもよい。係る構成により、ユーザは表示されているコンテンツに係るインジケーションと、表示されていないコンテンツに係るインジケーションを区別して把握することが可能である。
<4-6.第六の具体例>
図14は、本実施形態に係るインジケーションの第六の具体例を説明するための説明図である。本具体例において、表示部160の表示領域A12には、コンテンツC22、及びインジケーションN302~N308が表示されている。
図14に示すように、本具体例に係るインジケーションN302~N308は、当該インジケーションN302~N308が存在を示すコンテンツ(不図示)の一部を含み、表示領域A12の周縁部に張り付くように表示されてもよい。係る構成によれば、ユーザは、コンテンツの一部を含むインジケーションから、当該コンテンツの形状や種類、または特徴等を推測することが可能である。
<4-7.第七の具体例>
図15は、本実施形態に係るインジケーションの第七の具体例を説明するための説明図である。図15左において、表示部160の表示領域A12には、人物キャラクタであるコンテンツC400が表示されている。図15右において、当該コンテンツC400に関連付けられた実オブジェクトは表示領域A12外に存在し、表示部160の表示領域A12には、当該コンテンツC400の存在を示すインジケーションN400が表示されている。
図15に示すインジケーションN400のように、本具体例に係るインジケーションは、コンテンツを示すアイコンを含んでもよい。本具体例に係るアイコンは、例えば、当該コンテンツを簡略化した画像や記号であってもよい。係る構成によれば、ユーザは、コンテンツを示すアイコンを含むインジケーションから、コンテンツの概形や種類、または特徴等を把握することが可能である。
<4-8.第八の具体例>
図16は、本実施形態に係るインジケーションの第八の具体例を説明するための説明図である。本具体例において、表示部160の表示領域A12には、不図示の非表示コンテンツ、及びユーザから当該コンテンツの位置への方向を示すインジケーションN500が表示されている。本具体例に係るインジケーションは、図16に示すインジケーションN500のように矢印であってもよい。
係る構成によれば、矢印のようなコンテンツの位置への方向を示すインジケーションによりユーザの視線を誘導することで、ユーザは当該方向に視線方向を向けやすくなり、当該コンテンツが表示されやすくなる、という効果がある。
<<5.変形例>>
以上、本開示の一実施形態を説明した。以下では、本実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本実施形態に適用されてもよいし、組み合わせで本実施形態に適用されてもよい。また、各変形例は、本実施形態で説明した構成に代えて適用されてもよいし、本実施形態で説明した構成に対して追加的に適用されてもよい。
<5-1.変形例1>
上記実施形態の図4では、実オブジェクトR12の付近に、当該実オブジェクトR12に関連付けられたコンテンツC12が仮想オブジェクトとして表示される例を示したが、本実施形態は上記に限定されない。例えば、実オブジェクトとコンテンツの関連をより明確化する演出が行われてもよい。以下、変形例1として、図17,18を参照して、実オブジェクトとコンテンツの関連をより明確化する演出が行われる例を説明する。図17、18は、本変形例について説明するための説明図である。
例えば、実オブジェクトとコンテンツは、図17に示すように線で結ばれることで、関連が明確化されてもよい。図17に示すように、本変形例に係る表示領域A12には、実オブジェクトR600に関連付けられたコンテンツC600、及び実オブジェクトR600とコンテンツC600の関連を明確化するための線分L600が表示されてもよい。線分L600は、図17に示すように、実オブジェクトR600とコンテンツC600を結ぶように表示されることで、実オブジェクトR600とコンテンツC600の関連を明確化してもよい。
また、実オブジェクトとコンテンツは、図18に示すように色付けにより関連が明確化されてもよい。図18に示すように、本変形例に係る表示領域A12には、実オブジェクトR700に関連付けられたコンテンツC700、及び実オブジェクトR700とコンテンツC700の関連を明確化するためのエフェクトE700が表示されてもよい。図18に示すように、エフェクトE700は、コンテンツC700と同じ色で、実オブジェクトR700の周囲に表示されることで、実オブジェクトR700とコンテンツC700の関連を明確化してもよい。
係る構成により、実オブジェクトとコンテンツの関連がより明確化され、ユーザは実オブジェクトと表示されているコンテンツの関連をより容易に把握することが可能となる。
<5-2.変形例2>
また、上記実施形態では、第一の視野範囲を求めるための人間の視野角は、所定の値が用いられる、またはユーザの入力により得られる例を説明したが、本開示は係る例に限定されない。例えば、情報処理装置1がセンサを備え、センシングすることで得られるユーザの状況、またはユーザ周囲の状況に基づいて、人間の視野角に特定されてもよい。情報処理装置1は、例えば、マイク、GPS(Global Positioning System)センサ、加速度センサ、視覚(視線、注視点、焦点、瞬目等)センサ、生体情報(心拍、体温、血圧、脳波等)センサ、ジャイロセンサ、照度センサ等の各種センサを備えてもよい。
例えば、センシング結果により、ユーザの移動速度が大きいことや、ユーザの周囲が混雑している(ユーザの周囲に多数の実オブジェクトが存在する)ことが検出された場合には、人間の視野角として小さな値が特定されてもよい。
係る構成により、ユーザの状況やユーザ周囲の状況に基づいて、より高精度に人間の視野角を特定することが可能であり、例えば、ユーザに対してより混乱を与え難い情報提示が可能となる。
<5-3.変形例3>
また、上記実施形態では、情報処理装置1が撮像部110を備え、撮像部110により取得された撮像画像に基づく画像認識により、実オブジェクト情報が取得される例を説明したが、本開示は係る例に限定されない。
例えば、撮像画像は、他の装置が備える撮像部や、街頭等に設置された監視カメラ等により取得されて、ネットワークなどを介して情報処理装置1に提供されてもよい。また、実オブジェクト情報の取得は、画像認識を用いる手法に代えて、または加えて、赤外線センサ、磁気センサ、レーダー、超音波センサ等を用いた手法により行われてもよい。また、実空間における所定の位置にコンテンツが関連付けられているアプリケーション(例えば地図アプリケーション等)においては、GPSセンサ等により取得される当該位置を、本実施形態に係る実オブジェクトとして扱い、上述した処理が行われてもよい。
また、情報処理装置1が備える撮像部110の撮像可能な画角が、人間の視野角よりも小さい場合、撮像部110により取得された複数の撮像画像に基づき、画像認識部120が周囲の三次元形状を認識してもよい。例えば、画像認識部120は、時系列的に取得された複数画像に対するSfM(Structure from Motion)法、SLAM法等を行うことで、実空間の三次元形状を認識することが可能である。
<<6.ハードウェア構成例>>
以上、本開示の各実施形態を説明した。上述した表示形態選択処理、表示制御処理等の情報処理は、ソフトウェアと、以下に説明する情報処理装置1のハードウェアとの協働により実現される。
図19は、情報処理装置1のハードウェア構成の一例を示す説明図である。図19に示したように、情報処理装置1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、入力装置14と、出力装置15と、ストレージ装置16と、撮像装置17と、通信装置18とを備える。
CPU11は、演算処理装置及び制御装置として機能し、各種プログラムに従って情報処理装置1内の動作全般を制御する。また、CPU11は、マイクロプロセッサであってもよい。ROM12は、CPU11が使用するプログラムや演算パラメータ等を記憶する。RAM13は、CPU11の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバス等から構成されるホストバスにより相互に接続されている。主に、CPU11、ROM12及びRAM13とソフトウェアとの協働により、画像認識部120、表示形態選択部130、表示制御部140、の機能が実現される。
入力装置14は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU11に出力する入力制御回路等から構成されている。情報処理装置1のユーザは、該入力装置14を操作することにより、情報処理装置1に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置15は、例えば、液晶ディスプレイ(LCD)装置、OLED装置、シースルーディスプレイ、及びランプ等の表示装置を含む。さらに、出力装置15は、スピーカー及びヘッドホン等の音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像等を表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。出力装置15は、図2を参照して説明した表示部160に対応する。
ストレージ装置16は、データ格納用の装置である。ストレージ装置16は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置16は、CPU11が実行するプログラムや各種データを格納する。ストレージ装置16は、図2を参照して説明した記憶部150に対応する。
撮像装置17は、光を集光する撮影レンズ及びズームレンズ等の撮像光学系、及びCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等の信号変換素子を備える。撮像光学系は、被写体から発せられる光を集光して信号変換部に被写体像を形成し、信号変換素子は、形成された被写体像を電気的な画像信号に変換する。撮像装置17は、図2を参照して説明した撮像部110に対応する。
通信装置18は、例えば、通信網に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置18は、無線LAN(Local Area Network)対応通信装置、LTE(Long Term Evolution)対応通信装置、有線による通信を行うワイヤー通信装置、またはブルートゥース(登録商標)通信装置を含んでもよい。
<<7.むすび>>
以上、説明したように、本開示の実施形態によれば、ユーザの視野範囲と、実オブジェクトの位置関係に応じた、ユーザへの情報提示を行うことが可能である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、上記実施形態では、表示形態選択処理と表示制御処理を行う情報処理装置1が撮像部110や画像認識部120、記憶部150等を備える例を説明したが、本技術はかかる例に限定されない。例えば、表示形態選択処理と表示制御処理を行う情報処理装置は、撮像画像や画像認識結果、表示オブジェクト等の情報を他の装置から直接、またはネットワーク等を介して受け取って、表示形態選択処理と表示制御処理を行ってもよい。
また、上記実施形態では、表示されるコンテンツやインジケーションの数は、第一の視野範囲、第二の視野範囲、及び実オブジェクトの位置関係に応じて決定される例を説明したが、本技術は係る例に限定されない。
例えば、視野内に大量のコンテンツが表示され得るアプリケーションにおいては、表示されるコンテンツやインジケーションの上限数が設定されてもよい。また、実オブジェクトが第一、または第二の視野範囲内に存在する場合であっても、ユーザと当該実オブジェクトとの距離や、ユーザから実オブジェクトの位置への方角(角度)等に応じて、表示されるコンテンツやインジケーションの数が制限されてもよい。
係る構成によれば、大量のコンテンツまたは大量のインジケーションが表示されてユーザが混乱することを防ぐことが可能となる。
また、上記実施形態の第二の具体例、第三の具体例等では、コンテンツの位置に応じた位置にインジケーションが表示される例を説明したが、当該コンテンツに関連付けられた実オブジェクトが頻繁に動く場合、ユーザの注意を散漫にさせる恐れがある。そこで、表示されるインジケーションの動きの頻度、又は動きの幅等を所定値以下に制限し、ユーザの邪魔となりにくいようにインジケーションが表示されてもよい。
また、ユーザの移動や実オブジェクトの移動により、実オブジェクトが重畳表示可能範囲(第二の視野範囲)外から重畳表示可能範囲内へ移動する場合、インジケーションと実オブジェクトとの関連をユーザが見失わないように、アニメーション表示が行われてもよい。例えば、インジケーションが拡大しながらコンテンツにクロスフェードするアニメーション表示や、インジケーションを起点として、コンテンツがポップアップしてくるアニメーション表示が行われてもよい。なお、実オブジェクトが重畳表示可能範囲(第二の視野範囲)内から重畳表示可能範囲外へ移動する場合にも同様のアニメーション表示が行われてもよい。
係る構成によれば、ユーザは、表示形態が切り替えられる際に、インジケーションと実オブジェクトとの関連、及びコンテンツと実オブジェクトとの関連を、より容易に把握することが可能である。
なお、上記実施形態では、視野範囲として、ユーザが視認可能な範囲、及び、表示領域に含まれてユーザが視認可能な範囲(重畳表示可能な範囲)が用いられる例を説明したが、本技術は係る例に限定されない。例えば、上記の範囲に代えて、または加えて、撮像画像を取得する撮像部が撮像可能な範囲等、実オブジェクトを認識可能な範囲が用いられてもよい。
また、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理する必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、情報処理装置1に内蔵されるCPU、ROM及びRAM等のハードウェアに、上述した情報処理装置1の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
ユーザの第一の視野範囲、前記第一の視野範囲に含まれる第二の視野範囲、及び実オブジェクトの位置関係に応じて、複数の表示形態から一の表示形態を選択する表示形態選択部と、
選択された前記表示形態に応じて、前記実オブジェクトに関連付けられた仮想オブジェクトの表示部への表示を制御する表示制御部と、
を備える、情報処理装置。
(2)
前記第二の視野範囲は、前記表示部の表示領域に含まれて前記ユーザが視認可能な範囲である、前記(1)に記載の情報処理装置。
(3)
前記表示形態選択部は、前記実オブジェクトが、前記第一の視野範囲内で、かつ前記第二の視野範囲外に存在する場合に、前記実オブジェクトに関連付けられたコンテンツの存在を示すインジケーションが表示される前記表示形態を選択する、前記(2)に記載の情報処理装置。
(4)
前記インジケーションは、前記コンテンツの位置に応じた位置に表示される、前記(3)に記載の情報処理装置。
(5)
前記インジケーションは、前記表示領域の周縁部に表示される、前記(3)または(4)に記載の情報処理装置。
(6)
前記インジケーションは、当該インジケーションが存在を示すコンテンツの数に応じた表示条件で表示される、前記(3)~(5)のいずれか一項に記載の情報処理装置。
(7)
前記インジケーションは、前記ユーザ、または前記表示領域から前記コンテンツの位置までの距離に応じた表示条件で表示される、前記(3)~(6)のいずれか一項に記載の情報処理装置。
(8)
前記表示条件は、インジケーションの強度、輝度、色、数、大きさのうち少なくとも一つに関する条件を含む、前記(6)または(7)に記載の情報処理装置。
(9)
前記インジケーションは、前記ユーザから前記コンテンツの位置への方角をさらに示す、前記(3)~(8)のいずれか一項に記載の情報処理装置。
(10)
前記インジケーションは、前記ユーザから見た前記コンテンツの相対位置をさらに示す、前記(3)~(9)のいずれか一項に記載の情報処理装置。
(11)
前記インジケーションは、前記コンテンツの一部を含む、前記(3)~(10)のいずれか一項に記載の情報処理装置。
(12)
前記インジケーションは、前記コンテンツを示すアイコンを含む、前記(3)~(11)のいずれか一項に記載の情報処理装置。
(13)
前記インジケーションは、前記ユーザから前記コンテンツの位置への方向をさらに示す、前記(3)~(12)のいずれか一項に記載の情報処理装置。
(14)
前記表示形態選択部は、前記実オブジェクトが、前記第一の視野範囲の外に存在する場合に、前記実オブジェクトに関連付けられた前記仮想オブジェクトが表示されない前記表示形態を選択する、前記(1)~(13)のいずれか一項に記載の情報処理装置。
(15)
前記表示形態選択部は、前記実オブジェクトが、前記第二の視野範囲の中に存在する場合に、前記実オブジェクトに関連付けられたコンテンツが表示される前記表示形態を選択する、前記(1)~(14)のいずれか一項に記載の情報処理装置。
(16)
前記第一の視野範囲は前記ユーザが視認可能な範囲である、前記(1)~(15)のいずれか一項に記載の情報処理装置。
(17)
前記情報処理装置は、前記表示部をさらに備え、
前記表示部は、透過型ディスプレイである、前記(1)~(16)のいずれか一項に記載の情報処理装置。
(18)
前記情報処理装置は、透過型HMDである、前記(17)に記載の情報処理装置。
(19)
ユーザの第一の視野範囲、前記第一の視野範囲に含まれる第二の視野範囲、及び実オブジェクトの位置関係に応じて、複数の表示形態から一の表示形態を選択することと、
選択された前記表示形態に応じて、前記実オブジェクトに関連付けられた仮想オブジェクトの表示部への表示をプロセッサが制御することと、を含む情報処理方法。
(20)
コンピュータに、
ユーザの第一の視野範囲、前記第一の視野範囲に含まれる第二の視野範囲、及び実オブジェクトの位置関係に応じて、複数の表示形態から一の表示形態を選択する表示形態選択機能と、
選択された前記表示形態に応じて、前記実オブジェクトに関連付けられた仮想オブジェクトの表示部への表示を制御する表示制御機能と、を実現させるためのプログラム。
1 情報処理装置
110 撮像部
120 画像認識部
130 表示形態選択部
140 表示制御部
150 記憶部
160 表示部
A12 第二の視野範囲
A14 第一の視野範囲
U1 ユーザ

Claims (21)

  1. 実オブジェクトに対応する位置と、表示領域との位置関係に応じて、前記実オブジェクトに関連する仮想オブジェクトの表示を制御する表示制御部を備え、
    前記表示制御部は、
    前記実オブジェクトに対応する位置が前記表示領域外にある場合、前記仮想オブジェクトを第一の表示形態で表示させ、前記実オブジェクトに対応する位置が前記表示領域内にある場合、第二の表示形態で表示させ、前記実オブジェクトに対応する位置が前記表示領域内から前記表示領域外に移動する場合、または前記実オブジェクトに対応する位置が前記表示領域外から前記表示領域内に移動する場合の内、少なくとも一方の場合、前記仮想オブジェクトを起点としたアニメーション表示を制御する、
    情報処理装置。
  2. 前記表示制御部は、前記表示領域内に、前記仮想オブジェクトとユーザの相対位置を示すインジケーションを更に表示する、請求項1に記載の情報処理装置。
  3. 前記表示制御部は、前記実オブジェクトに対応する位置が前記表示領域外にある場合、ユーザから見た前記実オブジェクトに対応する位置の相対位置情報を含む仮想オブジェクトの表示を制御する、請求項1に記載の情報処理装置。
  4. 前記相対位置情報は、ユーザから見た前記実オブジェクトに対応する位置の方角を含む、請求項に記載の情報処理装置。
  5. 前記表示制御部は、前記実オブジェクトに対応する位置が前記表示領域の右外側に位置する場合、前記仮想オブジェクトを前記表示領域の右側周縁部に表示し、前記実オブジェクトに対応する位置が前記表示領域の左外側に位置する場合、前記仮想オブジェクトを前記表示領域の左側周縁部へ表示する、請求項1に記載の情報処理装置。
  6. 前記表示制御部は、地図アプリケーションにおいて、GPSセンサにより取得される位置情報に基づいて前記仮想オブジェクトの表示を制御する、請求項1に記載の情報処理装置。
  7. 前記表示制御部は、前記実オブジェクトに対応する位置が前記表示領域外から前記表示領域内に移動する場合、前記第一の表示形態で表示される前記仮想オブジェクトを起点とした前記アニメーション表示を制御する、請求項1に記載の情報処理装置。
  8. 前記表示制御部は、前記第一の表示形態で表示される前記仮想オブジェクトを起点とし、前記第二の表示形態で表示される前記仮想オブジェクトがポップアップする表示制御を行う、請求項に記載の情報処理装置。
  9. 前記表示制御部は、前記実オブジェクトに対応する位置が前記表示領域内から前記表示領域外に移動する場合、前記第二の表示形態で表示される前記仮想オブジェクトを起点とした前記アニメーション表示を制御する、請求項1に記載の情報処理装置。
  10. 前記表示制御部は、前記第二の表示形態で表示される前記仮想オブジェクトを起点とし、前記第一の表示形態で表示される前記仮想オブジェクトがポップアップする表示制御を行う、請求項に記載の情報処理装置。
  11. 実オブジェクトに対応する位置と、表示領域との位置関係に応じて、前記実オブジェクトに関連する仮想オブジェクトの表示を制御することと、
    前記実オブジェクトに対応する位置が前記表示領域外にある場合、前記仮想オブジェクトを第一の表示形態で表示し、前記実オブジェクトに対応する位置が前記表示領域内にある場合、第二の表示形態で表示し、前記実オブジェクトに対応する位置が前記表示領域内から前記表示領域外に移動する場合、または前記実オブジェクトに対応する位置が前記表示領域外から前記表示領域内に移動する場合の内、少なくとも一方の場合、前記仮想オブジェクトを起点としたアニメーション表示することと、
    を含む情報処理方法。
  12. コンピュータに、
    実オブジェクトに対応する位置と、表示領域との位置関係に応じて、前記実オブジェクトに関連する仮想オブジェクトの表示を制御する機能と、
    前記実オブジェクトに対応する位置が前記表示領域外にある場合、前記仮想オブジェクトを第一の表示形態で表示させ、前記実オブジェクトに対応する位置が前記表示領域内にある場合、第二の表示形態で表示させ、前記実オブジェクトに対応する位置が前記表示領域内から前記表示領域外に移動する場合、または前記実オブジェクトに対応する位置が前記表示領域外から前記表示領域内に移動する場合の内、少なくとも一方の場合、前記仮想オブジェクトを起点としたアニメーション表示を制御する機能と、
    を実現させるためのプログラム。
  13. 前記表示領域内に、前記仮想オブジェクトとユーザの相対位置を示すインジケーションを更に表示する、請求項12に記載のプログラム。
  14. 前記実オブジェクトに対応する位置が前記表示領域外にある場合、ユーザから見た前記実オブジェクトに対応する位置の相対位置情報を含む仮想オブジェクトの表示を制御する、請求項12に記載のプログラム。
  15. 前記相対位置情報は、ユーザから見た前記実オブジェクトに対応する位置の方角を含む、請求項14に記載のプログラム。
  16. 前記実オブジェクトに対応する位置が前記表示領域の右外側に位置する場合、前記仮想オブジェクトを前記表示領域の右側周縁部に表示し、前記実オブジェクトに対応する位置が前記表示領域の左外側に位置する場合、前記仮想オブジェクトを前記表示領域の左側周縁部へ表示する、請求項12に記載のプログラム。
  17. 地図アプリケーションにおいて、GPSセンサにより取得される位置情報に基づいて前記仮想オブジェクトの表示を制御する、請求項12に記載のプログラム。
  18. 前記実オブジェクトに対応する位置が前記表示領域外から前記表示領域内に移動する場合、前記第一の表示形態で表示される前記仮想オブジェクトを起点とした前記アニメーション表示を制御する、請求項12に記載のプログラム。
  19. 前記第一の表示形態で表示される前記仮想オブジェクトを起点とし、前記第二の表示形態で表示される前記仮想オブジェクトがポップアップする表示制御を行う、請求項18に記載のプログラム。
  20. 前記実オブジェクトに対応する位置が前記表示領域内から前記表示領域外に移動する場合、前記第二の表示形態で表示される前記仮想オブジェクトを起点とした前記アニメーション表示を制御する、請求項12に記載のプログラム。
  21. 前記第二の表示形態で表示される前記仮想オブジェクトを起点とし、前記第一の表示形態で表示される前記仮想オブジェクトがポップアップする表示制御を行う、請求項20に記載のプログラム。
JP2020156705A 2015-12-10 2020-09-17 情報処理装置、情報処理方法、及びプログラム Active JP7052845B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015241166 2015-12-10
JP2015241166 2015-12-10

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017554966A Division JP6766824B2 (ja) 2015-12-10 2016-10-24 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2021007020A JP2021007020A (ja) 2021-01-21
JP7052845B2 true JP7052845B2 (ja) 2022-04-12

Family

ID=59013045

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017554966A Active JP6766824B2 (ja) 2015-12-10 2016-10-24 情報処理装置、情報処理方法、及びプログラム
JP2020156705A Active JP7052845B2 (ja) 2015-12-10 2020-09-17 情報処理装置、情報処理方法、及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017554966A Active JP6766824B2 (ja) 2015-12-10 2016-10-24 情報処理装置、情報処理方法、及びプログラム

Country Status (5)

Country Link
US (1) US10489981B2 (ja)
EP (1) EP3389020B1 (ja)
JP (2) JP6766824B2 (ja)
CN (1) CN108292448B (ja)
WO (1) WO2017098822A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6440910B2 (ja) * 2016-07-29 2018-12-19 三菱電機株式会社 表示装置、表示制御装置および表示制御方法
US10401954B2 (en) * 2017-04-17 2019-09-03 Intel Corporation Sensory enhanced augmented reality and virtual reality device
US11080931B2 (en) * 2017-09-27 2021-08-03 Fisher-Rosemount Systems, Inc. Virtual x-ray vision in a process control environment
CN107918955A (zh) * 2017-11-15 2018-04-17 百度在线网络技术(北京)有限公司 增强现实方法和装置
US20210020142A1 (en) * 2018-03-20 2021-01-21 Sony Corporation Information processing device, information processing method, and program
US10860165B2 (en) 2018-09-26 2020-12-08 NextVPU (Shanghai) Co., Ltd. Tracking method and apparatus for smart glasses, smart glasses and storage medium
KR102242719B1 (ko) * 2018-09-26 2021-04-23 넥스트브이피유 (상하이) 코포레이트 리미티드 스마트 안경 추적 방법과 장치, 및 스마트 안경과 저장 매체
JP6656477B1 (ja) * 2018-12-07 2020-03-04 三菱電機株式会社 入力表示制御装置、入力表示制御方法及び入力表示システム
KR102107340B1 (ko) * 2019-05-08 2020-05-07 이현주 디스플레이 내 객체표시 방법
US11178384B2 (en) * 2019-07-10 2021-11-16 Nintendo Co., Ltd. Information processing system, storage medium, information processing apparatus and information processing method
EP4116937A4 (en) * 2020-03-06 2023-08-02 Sony Group Corporation DEVICE, METHOD AND PROGRAM FOR INFORMATION PROCESSING
WO2023223750A1 (ja) * 2022-05-18 2023-11-23 株式会社Nttドコモ 表示装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013105466A (ja) 2011-11-16 2013-05-30 Konami Digital Entertainment Co Ltd 表示装置、表示方法、ならびに、プログラム
WO2014162824A1 (ja) 2013-04-04 2014-10-09 ソニー株式会社 表示制御装置、表示制御方法およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009037835B4 (de) * 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
US10133342B2 (en) * 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
EP2983138A4 (en) * 2013-04-04 2017-02-22 Sony Corporation Display control device, display control method and program
US9129430B2 (en) * 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
KR102292192B1 (ko) * 2014-02-17 2021-08-23 엘지전자 주식회사 증강 현실 이미지를 디스플레이 하는 디스플레이 시스템 및 그 제어 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013105466A (ja) 2011-11-16 2013-05-30 Konami Digital Entertainment Co Ltd 表示装置、表示方法、ならびに、プログラム
WO2014162824A1 (ja) 2013-04-04 2014-10-09 ソニー株式会社 表示制御装置、表示制御方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
笠原 俊一 他,JackIn:一人称視点と対外離脱視点を融合した人間による人間のオーグメンテーションの枠組み,情報処理学会 論文誌(ジャーナル),日本,情報処理学会,2015年04月15日,Vol.56 No.4 [online],pp.1248~1257

Also Published As

Publication number Publication date
JPWO2017098822A1 (ja) 2018-10-04
JP6766824B2 (ja) 2020-10-14
EP3389020B1 (en) 2020-07-15
EP3389020A4 (en) 2018-11-07
US20180315246A1 (en) 2018-11-01
CN108292448B (zh) 2023-02-28
CN108292448A (zh) 2018-07-17
US10489981B2 (en) 2019-11-26
EP3389020A1 (en) 2018-10-17
WO2017098822A1 (ja) 2017-06-15
JP2021007020A (ja) 2021-01-21

Similar Documents

Publication Publication Date Title
JP7052845B2 (ja) 情報処理装置、情報処理方法、及びプログラム
EP3433705B1 (en) Displaying three-dimensional virtual objects based on field of view
CN108780360B (zh) 虚拟现实导航
JP5936155B2 (ja) 3次元ユーザインタフェース装置及び3次元操作方法
JP6057396B2 (ja) 3次元ユーザインタフェース装置及び3次元操作処理方法
JP6359099B2 (ja) ユーザインターフェースナビゲーション
EP3518080A1 (en) Human-body-gesture-based region and volume selection for hmd
KR20180122637A (ko) 물리적 환경의 시각 이미지들의 가상 현실에의 통합을 위한 공간 관계들
EP3327544B1 (en) Apparatus, associated method and associated computer readable medium
US10614590B2 (en) Apparatus for determination of interference between virtual objects, control method of the apparatus, and storage medium
KR20160106629A (ko) 시선 추적을 갖는 타겟 위치결정
US20180190019A1 (en) Augmented reality user interface visibility
US20200202161A1 (en) Information processing apparatus, information processing method, and program
CN110673718B (zh) 用于显示系统的基于聚焦的调试和检查
WO2017169273A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2017004356A (ja) 仮想空間位置指定方法、プログラム、プログラムを記録した記録媒体、および、装置
US11508150B2 (en) Image processing apparatus and method of controlling the same
US20200143774A1 (en) Information processing device, information processing method, and computer program
US20220301264A1 (en) Devices, methods, and graphical user interfaces for maps
WO2017169272A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6713591B1 (ja) 表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
CN116648683A (zh) 用于选择对象的方法和系统
CN112578983A (zh) 手指取向触摸检测
JP2018097477A (ja) 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201016

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201016

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220314

R151 Written notification of patent or utility model registration

Ref document number: 7052845

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151