JP7222392B2 - 情報処理装置、情報処理方法および記録媒体 - Google Patents

情報処理装置、情報処理方法および記録媒体 Download PDF

Info

Publication number
JP7222392B2
JP7222392B2 JP2020507370A JP2020507370A JP7222392B2 JP 7222392 B2 JP7222392 B2 JP 7222392B2 JP 2020507370 A JP2020507370 A JP 2020507370A JP 2020507370 A JP2020507370 A JP 2020507370A JP 7222392 B2 JP7222392 B2 JP 7222392B2
Authority
JP
Japan
Prior art keywords
user
virtual object
destination
control unit
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020507370A
Other languages
English (en)
Other versions
JPWO2019181153A1 (ja
Inventor
美和 市川
卓郎 野田
麻紀 井元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019181153A1 publication Critical patent/JPWO2019181153A1/ja
Application granted granted Critical
Publication of JP7222392B2 publication Critical patent/JP7222392B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/123Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G08G1/133Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams within the vehicle ; Indicators inside the vehicles or at stops
    • G08G1/137Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams within the vehicle ; Indicators inside the vehicles or at stops the indicator being in the form of a map
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10Map spot or coordinate position indicators; Map reading aids
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/62Semi-transparency

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)

Description

本開示は、情報処理装置、情報処理方法および記録媒体に関する。
近年、ユーザに仮想オブジェクトを提示することによってユーザの利便性を向上させる技術が知られている。例えば、ユーザに対して道および立体的な建造物などを含む地図を仮想オブジェクトの例として提示する技術が開示されている(例えば、特許文献1参照)。より具体的には、描画対象の道と建造物との奥行き情報に基づいて建造物の陰になる道の部分を抽出し、抽出した道の部分を通常の道および建造物と区別可能な色または模様によって描画する技術が開示されている。
また、ユーザに対して地図の他にナビゲーション情報を仮想オブジェクトの例として提示する技術が開示されている(例えば、特許文献2参照)。より具体的には、地図とナビゲーション情報とがユーザの視野内において干渉してしまうことを避けるため、地図とナビゲーション情報とが衝突する場合に、地図よりもナビゲーション情報を優先して描画する技術が開示されている。
特開2007-26201号公報 特開2015-115034号公報
しかし、ユーザにとって有用な仮想オブジェクトが提示される一方、仮想オブジェクトによってユーザの視野内に存在する実オブジェクトの視認性が低下してしまう場合があり得る。したがって、実オブジェクトの視認性の低下を抑制しつつユーザにとって有用な仮想オブジェクトの提示を行う技術が提供されることが望ましい。
本開示によれば、ユーザの位置情報と目的地の位置情報とを取得する取得部と、前記ユーザの位置情報と前記目的地の位置情報とに基づいて、前記ユーザの視野内における前記目的地の位置に第1の仮想オブジェクトを付加する表示制御部と、を備え、前記表示制御部は、前記ユーザの位置情報に基づいて、前記視野内における所定の仮想オブジェクトの透過度を制御する、情報処理装置が提供される。
本開示によれば、ユーザの位置情報と目的地の位置情報とを取得することと、前記ユーザの位置情報と前記目的地の位置情報とに基づいて、前記ユーザの視野内における前記目的地の位置に第1の仮想オブジェクトを付加することと、を含み、プロセッサにより、前記ユーザの位置情報に基づいて、前記視野内における所定の仮想オブジェクトの透過度を制御すること、を含む、情報処理方法が提供される。
本開示によれば、コンピュータを、ユーザの位置情報と目的地の位置情報とを取得する取得部と、前記ユーザの位置情報と前記目的地の位置情報とに基づいて、前記ユーザの視野内における前記目的地の位置に第1の仮想オブジェクトを付加する表示制御部と、を備え、前記表示制御部は、前記ユーザの位置情報に基づいて、前記視野内における所定の仮想オブジェクトの透過度を制御する、情報処理装置として機能させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体が提供される。
以上説明したように本開示によれば、実オブジェクトの視認性の低下を抑制しつつユーザにとって有用な仮想オブジェクトの提示を行う技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係る情報処理装置の構成例を示す図である。 情報処理装置の機能構成例を示す図である。 制御部の詳細な機能構成例を示す図である。 地図情報の例としての広域地図の例を示す図である。 仮想オブジェクトの表示例を示す図である。 仮想オブジェクトの透過度の制御例を示す図である。 視野内における目的地の位置へのマーカ表示例を示す図である。 環境の明るさに基づいて仮想オブジェクトの透過度を制御する例を説明するための図である。 地図情報の例としてのフロア地図の例を示す図である。 仮想オブジェクトの表示例を示す図である。 ユーザの位置と目的地の位置とが異なるフロアに存在する場合の例を示す図である。 目的地を含むエリアに対して仮想オブジェクトが付加される例を示す図である。 仮想オブジェクトの表示例を示す図である。 仮想空間への適用例を示す図である。 仮想オブジェクトの透過度の制御例を説明するための図である。 仮想オブジェクトの透過度の制御の動作例を示すフローチャートである。 角度の閾値の制御例を説明するための図である。 角度の閾値の制御例を説明するための図である。 角度の閾値の制御例を説明するための図である。 距離の閾値の制御例を説明するための図である。 距離の閾値の制御例を説明するための図である。 目的地が複数である場合の例を示す図である。 目的地が複数である場合の例を示す図である。 目的地が複数である場合の例を示す図である。 目的地が複数である場合の例を示す図である。 ユーザの位置と目的地の位置との距離の提示例を示す図である。 電車を利用するユーザに対して提示される仮想オブジェクトの例について説明するための図である。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
なお、説明は以下の順序で行うものとする。
1.概要
2.実施形態の詳細
2.1.情報処理装置の構成例
2.2.情報処理装置の機能構成例
3.実施形態の詳細
3.1.屋外の例
3.2.環境の明るさへの対応
3.3.屋内の例
3.4.通過点への仮想オブジェクトの付加
3.5.エリア単位での表示
3.6.屋内の他の例
3.7.仮想空間への適用
3.8.透過度の制御の具体例
3.9.目的地が複数である場合
3.10.目的地までの距離の表示
3.11.電車を利用する場合
4.ハードウェア構成例
5.むすび
6.変形例
7.応用例
<1.概要>
まず、本開示の実施形態の概要について説明する。近年、ユーザに仮想オブジェクトを提示することによってユーザの利便性を向上させる技術が知られている。例えば、ユーザに対して道および立体的な建造物などを含む地図を仮想オブジェクトの例として提示する技術が開示されている。より具体的には、描画対象の道と建造物との奥行き情報に基づいて建造物の陰になる道の部分を抽出し、抽出した道の部分を通常の道および建造物と区別可能な色または模様によって描画する技術が開示されている。
また、ユーザに対して地図の他にナビゲーション情報を仮想オブジェクトの例として提示する技術が開示されている。より具体的には、地図とナビゲーション情報とがユーザの視野内において干渉してしまうことを避けるため、地図とナビゲーション情報とが衝突する場合に、地図よりもナビゲーション情報を優先して描画する技術が開示されている。
しかし、ユーザにとって有用な仮想オブジェクトが提示される一方、仮想オブジェクトによってユーザの視野内に存在する実オブジェクトの視認性が低下してしまう場合があり得る。そこで、本開示の実施形態においては、実オブジェクトの視認性の低下を抑制しつつユーザにとって有用な仮想オブジェクトの提示を行う技術について主に説明する。
また、例えば、俯瞰的な視点で描かれた地図がユーザに提示され、ユーザが地図の中に目的地(例えば、ユーザの興味がある場所など)を見つけたとしても、ユーザは地図と実空間との対応関係を確認しながら実空間における目的地を探す必要がある。そのため、俯瞰的な視点で描かれた地図がユーザに提示されても、ユーザにとっては直感的に目的地の位置を把握することが困難である。本開示の実施形態によれば、目的地の位置を直感的に把握することが可能となる。
さらに、地図が全方位均一にユーザに提示された場合には、ユーザにとっては地図の中に目的地を見つけにくい。本開示の実施形態によれば、ユーザにとって地図の中に目的地を見つけやすくすることが可能となる。さらに、目的地が実オブジェクト(例えば、建物、柱、棚など)に隠れてしまう場合などには、実空間において目的地を見つけるのが困難になる。本開示の実施形態によれば、実空間において目的地を見つけやすくすることが可能となる。
以上、本開示の実施形態の概要について説明した。
<2.実施形態の詳細>
以下、本開示の実施形態の詳細について説明する。
[2.1.情報処理装置の構成例]
まず、本開示の実施形態に係る情報処理装置の構成例について説明する。
図1は、本開示の実施形態に係る情報処理装置の構成例を示す図である。図1に示されるように、実空間にユーザU1が存在している。そして、ユーザU1には、情報処理装置10の画面を通して視野E11が提供されている。また、視野E11には、実空間に存在する実オブジェクトR11~R14が存在している。ここで、図1には、実オブジェクトR11~R14それぞれが建物である場合が示されている。しかし、視野E11に存在する実オブジェクトR11~R14は、建物に限定されない。
また、以下では、ユーザU1の目的地が実オブジェクトR11(建物)の中の2階に存在する本屋である場合を想定する。しかし、ユーザU1の目的地のフロアは2階に限定されないし、ユーザU1の目的地の種類も本屋に限定されない。また、ユーザU1の目的地は建物でなくてもよい。さらに、図1には、ユーザU1が屋外に存在する場合が示されている。しかし、後にも説明するように、ユーザU1は屋内に存在してもよい。
なお、本開示の実施形態においては、情報処理装置10がシースルー型のアイウェアディスプレイである場合を主に想定する。しかし、情報処理装置10はシースルー型のアイウェアディスプレイに限定されない。例えば、情報処理装置10は、スマートフォンであってもよいし、携帯電話であってもよいし、タブレット端末であってもよいし、カメラであってもよいし、PC(Personal Computer)であってもよいし、他の機器であってもよい。
以上、本開示の実施形態に係る情報処理装置10の構成例について説明した。
[2.2.情報処理装置の機能構成例]
続いて、情報処理装置10の機能構成例について説明する。
図2は、情報処理装置10の機能構成例を示す図である。図2に示されたように、情報処理装置10は、環境認識用撮像部110、操作部120、センサ部130、制御部140、記憶部150、通信部160および表示部170を有している。以下、情報処理装置10が備えるこれらの機能ブロックについて説明する。
環境認識用撮像部110は、イメージセンサによって構成され、イメージセンサによってユーザの視野を撮像することによって環境認識用の画像を得る。ここで、イメージセンサの種類は限定されない。例えば、イメージセンサは、カメラ(例えば、RGBカメラ、Depthカメラ、偏光カメラなど)を含んで構成されてもよいし、赤外線センサを含んで構成されてもよい。
操作部120は、ユーザによる操作の入力を受け付ける機能を有する。本開示の実施形態においては、操作部120が、ボタンを含む場合を主に想定する。しかし、操作部120は、ボタンを含む場合に限定されない。例えば、操作部120は、タッチパネルを含んでもよいし、タッチパッドを含んでもよいし、スイッチを含んでもよいし、レバーを含んでもよい。また、操作部120は、ユーザの音声を検出するマイクロフォンを含んでもよいし、ユーザの視線を検出するイメージセンサであってもよい。
センサ部130は、環境をセンシングすることによってセンシングデータを得る。本開示の実施形態では、センサ部130が、照度センサ131、地磁気センサ132およびGPS(Global Positioning System)センサ133を含む場合を主に想定する。照度センサ131は、環境の明るさを検出する機能を有する。地磁気センサ132は、ユーザの方位(方向)を検出する機能を有する。GPSセンサ133は、GPS衛星から衛星信号を受信する機能を有する。しかし、センサ部130が有するセンサの種類は限定されない。例えば、センサ部130は、地磁気センサ132の他に、加速度センサおよびジャイロセンサを有してもよい。かかる場合には、これらのセンサに基づいて、より高精度にユーザの方位(方向)が検出され得る。
制御部140は、例えば、1または複数のCPU(Central Processing Unit;中央演算処理装置)などといった処理装置によって構成されてよい。これらのブロックがCPUなどといった処理装置によって構成される場合、かかる処理装置は電子回路によって構成されてよい。制御部140は、かかる処理装置によってプログラムが実行されることによって実現され得る。図3は、制御部140の詳細な機能構成例を示す図である。図3に示されるように、制御部140は、自己位置推定部141、取得部142および表示制御部143を有する。これらのブロックの機能の詳細は、後に説明する。
図2に戻って説明を続ける。記憶部150は、メモリを含んで構成され、制御部140によって実行されるプログラムを記憶したり、プログラムの実行に必要なデータを記憶したりする記録媒体である。また、記憶部150は、制御部140による演算のためにデータを一時的に記憶する。例えば、記憶部150は、磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または、光磁気記憶デバイスにより構成される。本開示の実施形態においては、記憶部150は、実寸大の地図を示す地図情報151を記憶している場合を想定する。
通信部160は、通信回路を含んで構成され、ネットワークを介して他の装置との間で通信を行う機能を有する。例えば、通信部160は、当該他の装置からのデータの取得および当該他の装置へのデータの提供を行う機能を有する。本開示の実施形態において、通信部160は、無線LAN(Local Area Network)のアクセスポイントとの間で、Wi-Fi(登録商標)による無線通信を行い、当該アクセスポイントを介してネットワークに接続する場合を想定する。
表示部170は、各種の情報を出力する。例えば、表示部170は、ユーザに視野を提供する画面を有しており、当該画面に視認可能な表示を行うことが可能なディスプレイを含んでよい。このとき、ディスプレイは、液晶ディスプレイであってもよいし、有機EL(Electro-Luminescence)ディスプレイであってもよい。また、上記したように、ユーザは、表示部170の画面を通して実空間を視認することが可能である。
なお、本開示の実施形態においては、環境認識用撮像部110、操作部120、センサ部130、制御部140、記憶部150、通信部160および表示部170が情報処理装置10の内部に存在する場合を主に想定する。しかし、環境認識用撮像部110、操作部120、センサ部130、制御部140、記憶部150、通信部160および表示部170の少なくともいずれか一つは、情報処理装置10の外部に存在していてもよい。
以上、本開示の実施形態に係る情報処理装置10の機能構成例について説明した。
<3.実施形態の詳細>
以下、本開示の実施形態の詳細について説明する。
[3.1.屋外の例]
図4は、地図情報151(図2)の例としての広域地図の例を示す図である。図4を参照すると、広域地図A11が示されている。広域地図A11は、俯瞰的な視点で描かれている。また、広域地図A11は、各地点の名称と緯度経度情報とが対応付けられて構成されている。地点の名称は、施設(例えば、建物、店舗など)の名称であってもよいし、背景(例えば、河川、鉄道の駅など)の名称であってもよい。広域地図A11には、視野E11(図1)に存在する実オブジェクトR11~R14(建物)が描かれている。なお、視野E11(図1)は、ユーザU1が方向G11に視線を向けているときにユーザU1に提供される。
まず、ユーザによって目的地の名称が設定される。目的地の名称が設定されると、取得部142は、広域地図A11から目的地の名称に対応する目的地の位置情報(緯度経度情報)を取得する。ここでは、上記したように、実オブジェクトR11(建物)の中の2階に存在する本屋であるため、目的地の名称として、実オブジェクトR11(建物)の名称が設定され、取得部142が、広域地図A11から実オブジェクトR11(建物)の名称に対応する実オブジェクトR11(建物)の位置情報を取得する場合を想定する。
また、自己位置推定部141は、ユーザの位置(すなわち、情報処理装置10の位置)を推定する。ここでは、自己位置推定部141が、GPSセンサ133によって受信された衛星信号に基づいて、ユーザの位置を推定する場合を想定する。かかる場合、取得部142は、自己位置推定部141からユーザの位置情報(緯度経度情報)を取得する。
そして、表示制御部143は、ユーザの位置情報と目的地の位置情報とに基づいて、ユーザの視野内における目的地の位置に仮想オブジェクト(第1の仮想オブジェクト)を付加する。より具体的に、表示制御部143は、ユーザの位置情報と目的地の位置情報と地磁気センサ132によって検出されたユーザの方向とに基づいて、拡張現実空間における目的地の位置に仮想オブジェクト(第1の仮想オブジェクト)を配置してよい。
さらに、取得部142は、広域地図A11から目的地とは異なる地点の位置情報も取得する。例えば、取得部142は、ユーザの位置から目的地の位置への方向(以下、「目的地方向」とも言う。)を基準として所定の角度以内の範囲であり、かつ、ユーザの位置からの距離が閾値(第3の閾値)よりも大きく、閾値(第4の閾値)よりも小さい地点の位置情報を取得する。
そして、表示制御部143は、ユーザの位置情報と目的地とは異なる地点の位置情報とに基づいて、ユーザの視野内における当該地点の位置に仮想オブジェクト(第3の仮想オブジェクト)を付加する。より具体的に、表示制御部143は、ユーザの位置情報と当該地点の位置情報と地磁気センサ132によって検出されたユーザの方向とに基づいて、拡張現実空間における当該地点の位置に仮想オブジェクト(第3の仮想オブジェクト)を配置してよい。
図5は、仮想オブジェクトの表示例を示す図である。図5を参照すると、ユーザの視野E12には、目的地として設定された実オブジェクトR11(建物)が示されている。上記のようにして、表示制御部143によって、目的地として設定された実オブジェクトR11(建物)の位置に仮想オブジェクトV11が付加される。これによって、仮想オブジェクトV11の位置によって目的地の位置が直感的に把握され得る。さらに、目的地が実オブジェクトR11(建物)に隠れてしまっても、ユーザは仮想オブジェクトV11を見ながら実空間において目的地を見つけやすくなる。また、表示制御部143によって、目的地とは異なる地点の実オブジェクトR12~R14(建物)の位置にも、仮想オブジェクトV12~V14が付加される。
仮想オブジェクトV11~V14のサイズは限定されない。しかし、上記したように、本開示の実施形態においては、地図情報が実寸大の地図を示す情報である場合を想定する。そこで、表示制御部143は、拡張現実空間においてユーザの位置(地面)および方向に実寸大の広域地図A11を合わせればよい。そして、表示制御部143は、ユーザの位置(地面)および方向に合わせた広域地図A11における目的地の位置の仮想オブジェクトを仮想オブジェクトV11として表示させ、目的地とは異なる地点の仮想オブジェクトを仮想オブジェクトV12~V14として表示させればよい。
このように、実寸大の仮想オブジェクトが拡張現実空間に配置されることによって、図5に示されたように、実オブジェクトR11~R14のサイズに合った仮想オブジェクトV11~V14がユーザに提示される。したがって、ユーザは、仮想オブジェクトV11~V14の提示を受けることによって、目的地および目的地とは異なる地点の位置をより直感的に把握することが可能になる。なお、後にも説明するように、広域地図A11の代わりに建物内の地図が用いられる場合には、地面の代わりに床面に地図が合わせられればよい。
また、本開示の実施形態において、表示制御部143は、ユーザの位置情報に基づいて、視野E12における所定の仮想オブジェクトの透過度を制御する。ここで、透過度が制御される所定の仮想オブジェクトは、仮想オブジェクトV11~V14のいずれであってもよい。あるいは、透過度が制御される所定の仮想オブジェクトは、後に説明するように、目的地の位置との間に存在する通過点の位置に付加される仮想オブジェクト(第2の仮想オブジェクト)であってもよい。
これによって、仮想オブジェクトが付加される実オブジェクトの視認性の低下が抑制されつつ、ユーザにとって有用な仮想オブジェクトの提示が行われ得る。なお、透過度の定義は限定されない。例えば、透過度は、仮想オブジェクトの画素ごとに設けられたアルファ値を変更することを意味してよい。
ここで、アルファ値は、色情報とは別に透過度を数値表現した値であり、概念としては、0%の完全不透明状態から100%の完全透明状態(すなわち、その画素の重畳物(仮想オブジェクト)が表示されない状態))を表し得る。また、アルファ値としては、8ビット整数が使うことが最も多いが、アルファ値としては、1,4,8,16ビットなどの整数値もしくは浮動小数点数が割り当てられてもよい。
アルファ値は、最小値である場合には(アルファ値が8ビット整数値で表現される場合、アルファ値が0である場合)、その画素の透明度は最大である。一方、アルファ値は、最大値である場合には(アルファ値が8ビット整数値で表現される場合にはアルファ値が255である場合)、その画素の不透明度は最大(画素が塗りつぶされた状態)になる。透過度を下げると(アルファ値を上げると)、重畳物が濃く(明るく)表示される。一方、透過度を上げると(アルファ値が下げると)、重畳物が薄く(暗く)表示される。
なお、特に断りがない限り、本願の図面においては、仮想オブジェクトの線が太いほど、仮想オブジェクトの透過度が低い(仮想オブジェクトが明るい)ことを表すことにする。また、仮想オブジェクトの線が実線の場合には、仮想オブジェクトの線が破線の場合よりも、仮想オブジェクトの透過度が低い(仮想オブジェクトが明るい)ことを表すことにする。
図6は、仮想オブジェクトの透過度の制御例を示す図である。図6を参照すると、ユーザの視野E13が示されている。視野E13を参照すると、表示制御部143によって、目的地に設定された実オブジェクトR11(建物)に付加される仮想オブジェクトV11の透過度が、目的地とは異なる地点である実オブジェクトR12~R14(建物)に付加される仮想オブジェクトV12~V14それぞれの透過度よりも低く制御されている。このように、目的地が目的地とは異なる地点よりも明るくユーザに提示されることによって、ユーザは目的地の位置を直感的に把握しやすくなる。
また、表示制御部143は、目的地の位置をより把握しやすくするために、ユーザの視野内における目的地の位置にマーカを表示させてもよい。図7は、視野内における目的地の位置へのマーカ表示例を示す図である。図7に示されたように、表示制御部143は、視野E14において、目的地に設定された実オブジェクトR11(建物)の位置にマーカM11を表示させてもよい。ここで、マーカM11のサイズ、形状、色などは特に限定されない。
なお、ここでは、表示制御部143が、ユーザの位置と目的地の位置との距離に関わらず、マーカM11を表示させる場合を想定した。しかし、表示制御部143は、ユーザの位置と目的地の位置との距離が閾値(第1の閾値)よりも大きい場合にのみ、マーカM11を表示させてもよい。これによって、目的地に設定された実オブジェクトR11(建物)が遠くに存在し、実オブジェクトR11(建物)の視認性が低い場合、目的地に設定された実オブジェクトR11(建物)の位置をマーカM11によって把握しやすくなる。
また、目的地に設定された実オブジェクトR11(建物)に付加される仮想オブジェクトV11の透過度は、一定であってもよいが、状況に応じて変化してもよい。例えば、表示制御部143は、ユーザの位置と目的地の位置との距離に基づいて、目的地に設定された実オブジェクトR11(建物)に付加される仮想オブジェクトV11の透過度を制御してもよい。
例えば、ユーザが目的地に近づいてきたら、実空間の視認性を高めるために仮想オブジェクトV11の明るさを抑えるのが望ましい。したがって、表示制御部143は、ユーザの位置と目的地の位置との距離が閾値(第1の閾値)よりも小さい場合には、距離が閾値(第1の閾値)よりも大きい場合と比較して、目的地に設定された実オブジェクトR11(建物)に付加される仮想オブジェクトV11の透過度を上げてもよい(仮想オブジェクトV11を暗くしてもよい)。
このとき、ユーザに与える違和感を少なくするため、透過度は徐々に上げられてもよい。また、表示制御部143は、ユーザが屋外にいるか屋内に存在するかに応じて第1の閾値を変えてもよい。例えば、表示制御部143は、ユーザが屋外に存在する場合には、ユーザが屋内に存在する場合と比較して、第1の閾値を大きくしてもよい。なお、ユーザが屋外に存在するか否かは、どのようにして判断されてもよい。一例として、情報処理装置10が建物内のアクセスポイントに接続されているか否かによって、ユーザが屋内に存在するか否かが判断されてもよい。
一方、ユーザが目的地から遠い場合にも、実空間の視認性を高めるために仮想オブジェクトV11の明るさを抑えてもよい。表示制御部143は、ユーザの位置と目的地の位置との距離が閾値(第2の閾値)よりも大きい場合には、ユーザの位置と目的地の位置との距離が閾値(第2の閾値)よりも小さい場合と比較して、仮想オブジェクトV11の透過度を上げてもよい(仮想オブジェクトV11を暗くしてもよい)。
このとき、ユーザに与える違和感を少なくするため、透過度は徐々に上げられてもよい。また、表示制御部143は、ユーザが屋外にいるか屋内に存在するかに応じて第2の閾値を変えてもよい。例えば、表示制御部143は、ユーザが屋外に存在する場合には、ユーザが屋内に存在する場合と比較して、第2の閾値を大きくしてもよい。
また、上記では、広域地図A11の粒度が一定である場合を想定したが、広域地図A11の粒度も状況に応じて変化してもよい。例えば、表示制御部143は、ユーザの位置と目的地の位置との距離に応じて広域地図A11の粒度を変えてもよい。より詳細には、ユーザの位置と目的地の位置との距離が小さいほど、ユーザは、多くの情報を必要とすることが想定される。表示制御部143は、ユーザの位置と目的地の位置との距離が小さいほど、広域地図A11の粒度を大きくしてもよい(表示される仮想オブジェクトの数を増やしてもよい)。なお、かかる粒度の制御は、広域地図A11である場合に限らず、あらゆる種類の地図(例えば、フロアマップなど)に対して行われてよい。
[3.2.環境の明るさへの対応]
ここで、ユーザが存在する環境の明るさは一定ではない場合も想定される。例えば、ユーザが屋外に夜間存在する場合には、屋外に日中存在する場合よりも環境の明るさは低いことが想定される。このとき、仮想オブジェクトを見やすくするため、仮想オブジェクトの(透過度)明るさは環境の明るさに応じて制御されるのが望ましい。かかる環境の明るさに応じた透過度の制御について説明する。
図8は、環境の明るさに基づいて仮想オブジェクトの透過度を制御する例を説明するための図である。図8に示されるように、表示部170の近くには、照度センサ131が設けられている。この照度センサ131によって環境の明るさが検出され得る。
そこで、表示制御部143は、照度センサ131によって検出される環境の明るさに基づいて、仮想オブジェクトV11の透過度を制御すればよい。例えば、表示制御部143は、環境の明るさが高いほど、仮想オブジェクトV11の透過度を下げる(仮想オブジェクトV11を明るくする)ことによって、仮想オブジェクトV11を見やすくしてよい。なお、表示部170によって表示されている他の仮想オブジェクトの透過度に対しても、仮想オブジェクトV11の透過度と同様に制御がなされてよい。
あるいは、表示制御部143は、照度センサ131によって検出される環境の明るさに基づいて、仮想オブジェクトV11を表示する表示部170の明るさを制御してもよい。例えば、表示制御部143は、環境の明るさが低いほど、表示部170の明るさを高くすることによって、仮想オブジェクトV11を見やすくしてよい。
[3.3.屋内の例]
上記のようにして、ユーザU1の目的地が実オブジェクトR11(建物)の中の2階に存在する本屋であり、ユーザU1が本屋に到着した場合を想定する。例えば、情報処理装置10は、本屋に設置されたアクセスポイントに接続される。そして、取得部142によって、地図情報の例としてフロア地図および本棚内における本の配置地図が取得される。ユーザは、目的地の名称として、自分が探したい本のタイトルを設定する。
図9は、地図情報の例としてのフロア地図の例を示す図である。図9を参照すると、フロア地図A21が示されている。フロア地図A21は、俯瞰的な視点で描かれている。また、フロア図A21は、本のジャンル名と本が置いてある本棚の緯度経度情報とが対応付けられて構成されている。例えば、フロア地図A21には、実オブジェクトR21~R23(本棚)が描かれている。なお、フロア地図A21の上には、ユーザU1が向けている視線の方向G21が示されている。
本棚内における本の配置地図は、本のジャンル名と本のタイトルと本棚内における本の位置(例えば、水平方向のXY座標および鉛直方向のZ座標)とが対応付けられて構成されている。例えば、ユーザが探したい本のタイトルが「BBB」であり、その本のジャンルが「文庫・新書」である場合を想定する。フロア地図A21の上には、ジャンル「文庫・新書」かつタイトル「BBB」の本の位置が、本の位置(マーカM21の位置)として示されている。
目的地の名称として、本のタイトル「BBB」が設定されると、取得部142は、フロア地図A21から本のタイトル「BBB」に対応するジャンルの位置情報(緯度経度情報)を取得する。また、取得部142は、本棚内における本の配置地図から、そのジャンルの本棚内におけるタイトル「BBB」の本の位置を取得する。すなわち、取得部142によって、タイトル「BBB」の本の緯度経度情報および本棚内における本の位置が取得される。
また、自己位置推定部141は、ユーザの位置(すなわち、情報処理装置10の位置)を推定する。ここでは、自己位置推定部141が、情報処理装置10がアクセスポイントに接続されている場合には、アクセスポイントから受信されるビーコンの情報処理装置10における受信結果に基づいて、ユーザの位置を推定する場合を想定する。かかる場合、取得部142は、自己位置推定部141からユーザの位置情報(緯度経度情報)を取得する。なお、ユーザの位置情報は、情報処理装置10から送信される無線信号のアクセスポイントにおける受信結果に基づいて推定されてもよい。
そして、表示制御部143は、ユーザの位置情報と目的地の位置情報(タイトル「BBB」の本の緯度経度情報および本棚内における本の位置)とに基づいて、ユーザの視野内における目的地の位置に仮想オブジェクト(第1の仮想オブジェクト)を付加する。より具体的に、表示制御部143は、ユーザの位置情報と目的地の位置情報と地磁気センサ132によって検出されたユーザの方向とに基づいて、拡張現実空間における目的地の位置に仮想オブジェクト(第1の仮想オブジェクト)を配置してよい。
図10は、仮想オブジェクトの表示例を示す図である。図10を参照すると、ユーザの視野E21には、目的地として設定された本が置いてある実オブジェクトR22(本棚)が示されている。上記のようにして、表示制御部143によって、目的地として設定された本が置いてある実オブジェクトR22(本棚)の位置に仮想オブジェクトV22が付加される。これによって、仮想オブジェクトV22の位置によって目的地の位置が直感的に把握され得る。また、表示制御部143によって、目的地とは異なる地点の実オブジェクトR21、R23(本棚)の位置にも、仮想オブジェクトV21~V23が付加される。
また、図10を参照すると、表示制御部143は、ユーザの位置情報と目的地の位置情報(タイトル「BBB」の本の緯度経度情報および本棚内における本の位置)とに基づいて、ユーザの視野E21におけるタイトル「BBB」の本の位置に、マーカM21を表示させている。このマーカM21を見ることによって、ユーザは探したい本の位置をより正確に把握することが可能となる。なお、図10に示されたように、表示制御部143は、ユーザの視野E21におけるタイトル「BBB」の本の位置から床面に向けて、マーカM22を表示させてもよい。
[3.4.通過点への仮想オブジェクトの付加]
なお、ユーザの位置と目的地の位置との間に通過点が存在する場合もあり得る。例えば、ユーザの位置と目的地の位置とが異なるフロアに存在する場合などには、ユーザの位置と目的地の位置との間に、フロア移動部(例えば、階段、エスカレータおよびエレベータなど)などの通過点が存在し得る。このような場合には、目的地の位置の代わりに、または、目的地の位置に追加して、ユーザの視野内における通過点の位置に仮想オブジェクトが付加されれば、ユーザが目的地に辿り着くための手助けになる。そこで、表示制御部143は、ユーザの位置と目的地の位置との間に通過点が検出された場合、ユーザの位置情報と通過点の位置情報とに基づいて、ユーザの視野内における通過点の位置に仮想オブジェクト(第2の仮想オブジェクト)を付加するとよい。
図11は、ユーザの位置と目的地の位置とが異なるフロアに存在する場合の例を示す図である。図11を参照すると、フロア地図A31が示されている。そして、フロア地図A31の上には、ユーザU1が示されている。ここで、表示制御部143が、複数のフロア地図に基づいて、ユーザの位置と目的地の位置とが異なるフロアに存在し、かつ、図11に示されたように、フロア地図A31に階段2箇所、エスカレータ1箇所を検出した場合を想定する。かかる場合には、表示制御部143は、ユーザの位置情報と、階段2箇所の位置、エスカレータ1箇所の位置とに基づいて、ユーザの視野内における階段2箇所の位置、エスカレータ1箇所の位置に、仮想オブジェクト(第2の仮想オブジェクト)を付加するとよい。
図11を参照すると、視野E31および視野E32それぞれに階段が存在し、視野E33にエスカレータが存在している。したがって、これらの視野E31、視野E32および視野E33に仮想オブジェクト(第2の仮想オブジェクト)を付加すればよい。このとき、表示制御部143は、これらの仮想オブジェクトの透過度を、他の仮想オブジェクトの透過度よりも下げることによって、仮想オブジェクトの明るさを高くするとよい。これによって、ユーザにとって通過点の位置がより把握されやすくなる。
[3.5.エリア単位での表示]
上記では、ユーザの視野内における目的地の位置に仮想オブジェクトが付加される例を主に説明した。しかし、仮想オブジェクトが付加される単位は、目的地の位置そのものでなくてもよい。例えば、仮想オブジェクトが付加される単位は、目的地を含むエリアであってもよい。すなわち、表示制御部143は、ユーザの視野内における目的地を含むエリアに仮想オブジェクト(第1の仮想オブジェクト)を付加してもよい。このとき、表示制御部143は、ユーザの位置と目的地の位置との関係に基づいて、エリアの大きさを制御してもよい。
図12は、目的地を含むエリアに対して仮想オブジェクトが付加される例を示す図である。図12を参照すると、フロア地図A41が示されている。フロア地図A41は、社員の名称と座席の位置情報と社員が属する単位が対応付けられて構成されている。そして、フロア地図A41の上には、ユーザU1が示されている。ここで、目的地として、Eさんの名称が設定された場合を想定する。かかる場合には、取得部142は、目的地であるEさんの座席の位置情報Z43とともに、同じ単位に属する社員の座席の位置情報も取得する。ここでは、取得部142が、Eさんと同じ単位に属する社員として、Aさん、Bさん、Cさん、Dさん、Fさんの座席の位置情報も取得する場合を想定する。
このとき、表示制御部143は、ユーザの視野内において、目的地「Eさん」の座席の位置と、目的地「Eさん」と同じ単位に属する、Aさん、Bさん、Cさん、Dさん、Fさんの座席の位置とを一つのエリアZ42とし、当該エリアZ42に仮想オブジェクトを付加してよい。なお、図12を参照すると、表示制御部143によって、ユーザの視野内における通過点のエリアZ41に対しても仮想オブジェクトが付加されている。ただし、図12に示されるように、通過点のエリアZ41に対して付加される仮想オブジェクトの透過度は、目的地を含むエリアZ42に付加される仮想オブジェクトの透過度よりも低いのが望ましい。これによって目的地を含むエリアZ42がより明るく表示される。
また、表示制御部143は、ユーザの位置と目的地の位置との関係に基づいて、目的地を含むエリアの大きさを制御してもよい。例えば、取得部142によって、フロアマップからユーザの位置と目的地の位置との距離または道のりが取得された場合、表示制御部143は、ユーザの位置と目的地の位置との距離または道のりが小さいほど、目的地を含むエリアを小さくしてもよい。
例えば、表示制御部143は、ユーザの位置と目的地の位置との距離または道のりが小さくなるにつれて、エリアを、部単位、課単位、チーム単位の順に変化させてもよい。あるいは、ユーザが屋外に存在する場合、表示制御部143は、ユーザの位置と目的地の位置との距離または道のりが小さくなるにつれて、エリアを、町単位、番地単位、曲がり角などの順に変化させてもよい。あるいは、ユーザが百貨店に存在する場合、表示制御部143は、ユーザの位置と目的地の位置との距離または道のりが小さくなるにつれて、エリアを、生鮮食品売り場、野菜売り場、りんご売り場の順に変化させてもよい。
[3.6.屋内の他の例]
上記した例では、ユーザが屋内に存在する場合の例として、ユーザが本屋に存在する場合について説明した。その他にも、屋内の例として様々な例が想定される。例えば、ユーザが屋内の例として、マンションの内覧会で見学可能な家の内部に存在する場合を想定する。かかる場合には、フロア地図が、部屋の名称と部屋および通路それぞれの位置情報とが対応付けられて構成されていれば、ユーザの視野内における本の位置に仮想オブジェクトを付加する場合と同様にして、ユーザの視野内における部屋および通路の位置にも仮想オブジェクトが付加され得る。
図13は、仮想オブジェクトの表示例を示す図である。図13を参照すると、ユーザがマンションの内覧会に参加しており、ユーザの視野E51には、家の内部が存在している場合が示されている。取得部142によって、フロア地図から部屋および通路それぞれの位置情報が取得された場合を想定する。かかる場合、表示制御部143は、ユーザの位置情報と部屋および通路それぞれの位置情報とに基づいて、ユーザの視野内における部屋および通路の位置に、仮想オブジェクトV51を付加することが可能である。
[3.7.仮想空間への適用]
上記では、拡張現実空間に対して仮想オブジェクトを配置する例を主に説明した。しかし、拡張現実空間に対して仮想オブジェクトする例と同様にして、仮想空間に対しても仮想オブジェクトが配置され得る。図14は、仮想空間への適用例を示す図である。図14を参照すると、ゲームアプリケーションの実行によって、ユーザの視野E61に仮想空間が提供されている。例えば、ゲームアプリケーションにおいては、各地点の位置情報が記憶されている。表示制御部143は、ユーザの位置情報と地点(通路など)の位置情報とに基づいて、ユーザの視野E61における地点(通路など)の位置に仮想オブジェクトV61を付加することが可能である。
[3.8.透過度の制御の具体例]
続いて、仮想オブジェクトの透過度の制御の具体例について説明する。上記したように、表示制御部143は、ユーザの位置情報に基づいて、ユーザの視野内における所定の仮想オブジェクトの透過度を制御してよい。ここで、表示制御部143は、ユーザの視野内における目的地とは異なる地点の位置に仮想オブジェクト(第3の仮想オブジェクト)を付加し得る。このとき、表示制御部143は、ユーザの位置情報と地点の位置情報とに基づいて、所定の仮想オブジェクトとして、目的地とは異なる地点の位置に付加した仮想オブジェクトの透過度を制御し得る。
一例として、表示制御部143は、ユーザの位置と地点の位置との距離に基づいて、目的地とは異なる地点の位置に付加した仮想オブジェクトの透過度を制御してよい。かかる仮想オブジェクトの透過度の制御について、図15および図16を参照しながら説明する。
図15は、仮想オブジェクトの透過度の制御例を説明するための図である。図15を参照すると、実空間に存在するユーザU1が示されており、ユーザU1の位置から目的地の位置への方向が目的地方向G21として示されている。また、図15を参照すると、目的地方向を基準として設定されている角度の閾値αが示されており、ユーザU1の位置を基準として設定されている距離の閾値β(第3の閾値)、および、距離の閾値γ(第4の閾値)が示されている。
図16は、仮想オブジェクトの透過度の制御の動作例を示すフローチャートである。図16に示されるように、取得部142は、ユーザの位置および方向を取得する(S11)。また、取得部142は、ユーザの位置を基準とした所定の範囲の地図情報を取得する(S12)。ここで、取得部142によって取得される地図情報は、少なくともS14において表示される地図の領域を含んでいればよい。続いて、表示制御部143は、ユーザの位置および方向に対して、取得部142によって取得された地図の位置および方向を拡張現実空間において合わせる。
続いて、表示制御部143は、取得部142によって取得された地図の位置および方向を合わせると、目的地方向との角度が閾値α以内、かつ、ユーザからの距離が閾値β以上かつ閾値β以下の領域(目的地を含む領域)の地図を、地面(または床面)の高さに合わせて実寸大で表示する(S14)。より具体的に、表示制御部143は、拡張現実空間において、実寸大の地図を地面(または床面)の高さに合わせて配置する。
以上に説明したように、本開示の実施形態によれば、所定の範囲の地図がユーザに提示される。そのため、本開示の実施形態によれば、全方位均一に地図がユーザに提示される場合と比較して、ユーザにとって地図の中に目的地を見つけやすくすることが可能となる。
続いて、図17~図19を参照しながら、角度の閾値αを制御する例について説明する。図17~図19は、角度の閾値αの制御例を説明するための図である。図17を参照すると、視野E71には、実空間に存在する実オブジェクトR11~R14が存在している。上記した例と同様に、目的地として実オブジェクトR11(建物)が設定されている場合を想定する。したがって、実オブジェクトR12~R14(建物)は、目的地とは異なる地点に相当する。
表示制御部143は、ユーザU1の位置から目的地に設定されている実オブジェクトR11(建物)の位置への方向と、目的地とは異なる実オブジェクトR12~R14(建物)とに基づいて、視野E71における実オブジェクトR12~R14(建物)に付加される仮想オブジェクトの透過度を制御する。例えば、表示制御部143は、ユーザU1の位置から目的地に設定されている実オブジェクトR11(建物)の位置への方向を基準として、角度の閾値α以内の範囲に、目的地とは異なる実オブジェクトR12~R14(建物)が存在するか否かに応じて、目的地とは異なる実オブジェクトR12~R14(建物)に付加される仮想オブジェクトの透過度を制御する。
ここで、例えば、角度の閾値αは、表示制御部143によって、ユーザU1が移動しているか否かに基づいて制御されてもよい。ここで、ユーザU1が移動しているか否かは、どのようにして判断されてもよい。一例として、表示制御部143は、環境認識用撮像部110によって撮像された画像に動きがあるか否かによって、ユーザU1が移動しているか否かを判断してもよい。例えば、ユーザU1が移動している場合には、ユーザU1が止まっている場合と比較して、あまり広範囲を見ることができないことが想定される。したがって、表示制御部143は、ユーザU1が移動している場合には、ユーザU1が止まっている場合と比較して、角度の閾値αを小さくするとよい。
図17に示された例では、ユーザU1が移動している。一方、図18に示された例では、ユーザU1が止まっている。そこで、図17および図18を参照すると、ユーザU1が移動している場合における角度の閾値α1は、ユーザU1が止まっている場合における角度の閾値α2よりも小さくなっている。
その結果、図17に示された例では、ユーザU1の位置から目的地に設定されている実オブジェクトR11(建物)の位置への方向を基準として、角度の閾値α1以内の範囲に、目的地とは異なる実オブジェクトR13、R14(建物)は存在しない。そのため、表示制御部143は、視野E71における実オブジェクトR13、R14(建物)の位置に付加される仮想オブジェクトの透過度を、より高くしている(図17に示された例では、透過度が100%であるため、仮想オブジェクトが視認できない)。
一方、図18に示された例では、ユーザU1の位置から目的地に設定されている実オブジェクトR11(建物)の位置への方向を基準として、角度の閾値α2以内の範囲に、目的地とは異なる実オブジェクトR13、R14(建物)が存在している。そのため、表示制御部143は、視野E72における実オブジェクトR13、R14(建物)の位置に付加される仮想オブジェクトの透過度を、より低くしている(図18に示された例では、透過度が100%より小さくなったため、仮想オブジェクトが視認可能になっている)。
あるいは、角度の閾値αは、表示制御部143によって、ユーザU1の位置と壁面の位置との距離に基づいて制御されてもよい。ここで、ユーザU1の位置と壁面の位置との距離は、どのようにして取得されてもよい。一例として、表示制御部143は、環境認識用撮像部110によって撮像された画像に基づいて、ユーザU1の位置と壁面の位置との距離を取得してもよい。例えば、ユーザU1の位置と壁面の位置との距離がある距離よりも小さい場合には、ユーザU1の位置と壁面の位置との距離がある距離よりも大きい場合と比較して、ユーザU1にとって情報が必要な位置が壁面とは反対側に偏ることが想定される。したがって、表示制御部143は、ユーザU1の位置と壁面の位置との距離がある距離よりも小さい場合には、ユーザU1の位置と壁面の位置との距離がある距離よりも大きい場合と比較して、角度の閾値αを壁面とは反対側にシフトさせるとよい。
図19に示された例では、ユーザU1の位置とユーザU1の左側の壁面の位置との距離が小さくなっている。そこで、角度の閾値α3は、ユーザU1の位置と壁面の位置との距離がある距離よりも大きい場合における角度の閾値αよりも、壁面とは反対側(右側)にシフトされている。
その結果、図19に示された例では、視野E72において壁面とは反対側の通路の位置に付加される仮想オブジェクトV74の透過度が下げられ(仮想オブジェクトV74が明るくなり)、視野E72において壁面とは反対側の位置に付加される仮想オブジェクトV75の透過度も下げられている(仮想オブジェクトV75も明るくなっている)。
なお、図19を参照すると、視野E72における目的地への通過点である階段の位置に付加される仮想オブジェクトV71の透過度が下げられ(仮想オブジェクトV71が明るくなり)、視野E72における化粧室の位置に付加される仮想オブジェクトV72の透過度が下げられている(仮想オブジェクトV72が明るくなっている)。ここで、仮想オブジェクトV71としては、階段を示すアイコンが用いられている。すなわち、本開示の実施形態においては、仮想オブジェクトの種類は特に限定されない。
続いて、図20および図21を参照しながら、距離の閾値βおよび距離の閾値γを制御する例について説明する。図20および図21は、距離の閾値βおよび距離の閾値γの制御例を説明するための図である。図20を参照すると、視野E74には、実空間に存在する実オブジェクトR11~R14が存在している。上記した例と同様に、目的地として実オブジェクトR11(建物)が設定されている場合を想定する。したがって、実オブジェクトR12~R14(建物)は、目的地とは異なる地点に相当する。一方、図21を参照すると、視野E75には、実空間に存在する実オブジェクトR11~R14が存在しているが、目的地として実オブジェクトR15(建物)が設定されている場合を想定する。
例えば、表示制御部143は、ユーザU1の位置と目的地とは異なる実オブジェクトの位置との距離が距離の閾値βよりも小さい場合には、当該距離が距離の閾値βよりも大きい場合と比較して、目的地とは異なる実オブジェクトに付加される仮想オブジェクトの透過度を上げてよい。また、表示制御部143は、ユーザU1の位置と地点の位置との距離が距離の閾値γよりも大きい場合には、当該距離が距離の閾値γよりも小さい場合と比較して、目的地とは異なる実オブジェクトに付加される仮想オブジェクトの透過度を上げてよい。
ここで、例えば、距離の閾値βは、表示制御部143によって、ユーザU1の位置と目的地の位置との距離に基づいて制御されてもよい。例えば、ユーザU1の位置と目的地の位置との距離がある距離よりも大きい場合には、ユーザU1の位置と目的地の位置との距離がある距離よりも小さい場合と比較して、ユーザU1は遠くを見たいと考えることが想定される。したがって、表示制御部143は、ユーザU1の位置と目的地の位置との距離がある距離よりも大きい場合には、ユーザU1の位置と目的地の位置との距離がある距離よりも小さい場合と比較して、距離の閾値βを大きくするとよい。
また、距離の閾値γも、表示制御部143によって、ユーザU1の位置と目的地の位置との距離に基づいて制御されてもよい。このとき、同様の理由によって、表示制御部143は、ユーザU1の位置と目的地の位置との距離がある距離よりも大きい場合には、ユーザU1の位置と目的地の位置との距離がある距離よりも小さい場合と比較して、距離の閾値γを大きくするとよい。
図20に示された例では、目的地として設定されている実オブジェクトR11とユーザU1との距離が小さくなっている。一方、図21に示された例では、目的地として設定されている実オブジェクトR15とユーザU1との距離が大きくなっている。そこで、図20および図21を参照すると、目的地とユーザとが近い場合における距離の閾値γ1は、目的地とユーザとが遠い場合における距離の閾値γ2よりも小さくなっている。なお、図21には、目的地とユーザとが近い場合における距離の閾値β2が示されているが、図20には、目的地とユーザとが近い場合における距離の閾値βがゼロとなり、示されていない。
その結果、図20に示された例では、ユーザU1の位置からの距離が閾値γ1より小さい位置に、目的地とは異なる実オブジェクトR13、R14(建物)は存在しない。そのため、表示制御部143は、視野E71における実オブジェクトR13、R14(建物)の位置に付加される仮想オブジェクトの透過度を、より高くしている(図20に示された例では、透過度が100%であるため、仮想オブジェクトが視認できない)。また、ユーザU1の位置からの距離が閾値γ1より小さい位置に、目的地とは異なる実オブジェクトR12(建物)が存在する。そのため、表示制御部143は、視野E74における実オブジェクトR12(建物)の位置に付加される仮想オブジェクトの透過度を、より低くしている。
一方、図21に示された例では、ユーザU1の位置からの距離が閾値β2より小さい位置に、目的地とは異なる実オブジェクトR11(建物)は存在しない。そのため、表示制御部143は、視野E75における実オブジェクトR11(建物)の位置に付加される仮想オブジェクトの透過度を、より高くしている(図21に示された例では、透過度が100%であるため、仮想オブジェクトが視認できない)。また、ユーザU1の位置からの距離が閾値β2より大きく閾値γ2より小さい位置に、目的地とは異なる(手前の建物に隠れてしまっている実オブジェクト(建物)が存在する。そのため、表示制御部143は、視野E75における当該実オブジェクト(建物)の位置に付加される仮想オブジェクトV16、V17の透過度を、より低くしている。
なお、表示制御部143は、距離の閾値βを、ユーザU1の位置が屋外であるか否かに基づいて制御してもよい。例えば、表示制御部143は、ユーザU1の位置が屋外である場合には、ユーザU1の位置が屋内である場合と比較して、距離の閾値βを大きくしてよい。同様に、表示制御部143は、距離の閾値γを、ユーザU1の位置が屋外であるか否かに基づいて制御してもよい。例えば、表示制御部143は、ユーザU1の位置が屋外である場合には、ユーザU1の位置が屋内である場合と比較して、距離の閾値γを大きくしてよい。
[3.9.目的地が複数である場合]
続いて、図22~図25を参照しながら、目的地が複数である場合について説明する。上記では、目的地が一つ設定される場合について主に説明した。しかし、複数の目的地が設定される場合もあり得る。そこで、表示制御部143は、取得部142によって複数の目的地の位置情報が取得された場合、ユーザの視野内における複数の目的地それぞれの位置に仮想オブジェクト(第1の仮想オブジェクト)を付加してよい。そして、表示制御部143は、所定の仮想オブジェクトとして複数の目的地それぞれの位置に付加した仮想オブジェクト(第1の仮想オブジェクト)の透過度を制御してよい。なお、表示制御部143は、ユーザが複数の目的地のいずれかに到着した場合、ユーザが到着した目的地の位置に付加される仮想オブジェクトを消去してもよい。
図22~図25は、目的地が複数である場合の例を示す図である。図22および図23に示された例では、目的地として、実オブジェクトR11(建物)および実オブジェクトR15(建物)が設定されている場合を想定する。かかる場合、表示制御部143は、視野E76において、実オブジェクトR11(建物)の位置に仮想オブジェクトV11を付加し、実オブジェクトR15(建物)の位置に仮想オブジェクトV15を付加する。
例えば、図22に示されるように、目的地として設定されている実オブジェクトR11(建物)および実オブジェクトR15(建物)とユーザの位置との距離が、ある距離よりも大きい場合を想定する。かかる場合には、表示制御部143は、視野E76において、実オブジェクトR11(建物)に付加される仮想オブジェクトV11の透過度と実オブジェクトR15(建物)に付加される仮想オブジェクトV15の透過度とを同じにしてよい。
あるいは、目的地として設定されている実オブジェクトR11(建物)および実オブジェクトR15(建物)のうち、実オブジェクトR11(建物)のほうが実オブジェクトR15(建物)よりも、ユーザから近い場合を想定する。かかる場合には、表示制御部143は、ユーザからより近い実オブジェクトR11(建物)に付加される仮想オブジェクトV11の透過度を、ユーザからより遠い実オブジェクトR11(建物)に付加される仮想オブジェクトV11の透過度よりも、低くしてよい。
図24および図25に示された例では、目的地として、実オブジェクトR11(建物)および実オブジェクトR12(建物)が設定されている場合を想定する。かかる場合、表示制御部143は、視野E78において、実オブジェクトR11(建物)の位置に仮想オブジェクトV11を付加し、実オブジェクトR12(建物)の位置に仮想オブジェクトV12を付加する。しかし、目的地として設定されている実オブジェクトR11(建物)の位置と実オブジェクトR12(建物)の位置との距離が、ある距離よりも小さくなってしまっている場合を想定する。
かかる場合には、図24に示されるように、表示制御部143は、視野E78において、実オブジェクトR11(建物)に付加される仮想オブジェクトV11および実オブジェクトR12(建物)に付加される仮想オブジェクトV12それぞれにおいて互いに近接する部分の透過度を上げてもよい。あるいは、図25に示されるように、表示制御部143は、視野E79において、実オブジェクトR11(建物)に付加される仮想オブジェクトV11および実オブジェクトR12(建物)に付加される仮想オブジェクトV12それぞれにおいて互いに近接する部分の透過度を下げてもよい。これによって、二つの目的地を区別しやすくなる。
[3.10.目的地までの距離の表示]
上記では、ユーザの位置と目的地の位置との距離は、特にユーザに提示されない場合を説明した。しかし、ユーザの位置と目的地の位置との距離は、ユーザに提示されてもよい。図26は、ユーザの位置と目的地の位置との距離の提示例を示す図である。図26を参照すると、表示制御部143によって、視野E80において、目的地として設定されている実オブジェクトR11とユーザの位置との距離D81が表示されている。なお、ユーザの位置と目的地の位置との距離の代わりに、あるいは、ユーザの位置と目的地の位置との距離に追加して、ユーザが目的地に到達するまでの所要時間が表示されてもよいし、ユーザが目的地に到着する予定時刻が表示されてもよい。
[3.11.電車を利用する場合]
続いて、電車を利用するユーザに対して提示される仮想オブジェクトの例について説明する。図27は、電車を利用するユーザに対して提示される仮想オブジェクトの例について説明するための図である。図27に示されるように、ユーザが「出発地」から徒歩で「乗車駅」に移動し、「乗車駅」から(電車の)車内で「降車駅」に移動し、「降車駅」から徒歩で「目的地」に移動する場合を想定する。
かかる場合には、ユーザが「乗車駅」に存在する場合、表示制御部143は、視野E91に対して、ユーザに推薦すべき乗車位置に仮想オブジェクトV91、V92を付加するとよい。このとき、ユーザに推薦すべき乗車位置は、最短ルートに対応する乗車位置であってもよいし、時間帯による混雑度合いが閾値よりも低いルートに対応する乗車位置であってもよい。
なお、最短ルートは、乗車位置と降車駅の情報との関係に関する情報に基づいて決定されてもよい。時間帯による混雑度合いは、監視カメラを用いた人の流量の計測結果に基づいて決定されてもよいし、駅の改札口や店舗に設置されている読み取り装置によるカードの読み取り結果に基づいて決定されてもよいし、Webページから取得されてもよい。あるいは、双方の乗車位置が共に(文字またはアイコンなどによって)付加されてもよい。
ユーザが「車内」に存在する場合、表示制御部143は、電車の位置が降車駅でもなく、乗り継ぎ駅でもない場合には、何も表示しなくてよい。一方、表示制御部143は、電車の位置が降車駅である場合、かつ、電車が停止している場合には、視野E92における目的地の位置に仮想オブジェクトV93を付加する(あるいは、目的地方向を示す仮想オブジェクトを付加する)。あるいは、表示制御部143は、電車の位置が乗り継ぎ駅である場合、かつ、電車が停止している場合には、視野E92における乗り継ぎ場所に仮想オブジェクトを付加する(あるいは、乗り継ぎ場所の方向を示す仮想オブジェクトを付加する)。
表示制御部143は、電車の位置が降車駅である場合(または、駅の近傍に電車が停止しようとしている場合)、かつ、電車が動いている場合には、視野内における目的地の位置に仮想オブジェクトを付加する(あるいは、目的地方向を示す仮想オブジェクトを付加する)。あるいは、表示制御部143は、電車の位置が乗り継ぎ駅である場合(または、駅の近傍に電車が停止しようとしている場合)、かつ、電車が動いている場合には、視野内における乗り継ぎ場所に仮想オブジェクトを付加する(あるいは、乗り継ぎ場所の方向を示す仮想オブジェクトを付加する)。
なお、表示制御部143は、電車から目的地までが所定の距離以内である場合(例えば、ユーザから目的地が見える範囲内)、電車が動いている場合であっても、ユーザの視野内に仮想オブジェクトを付加してもよい。
<4.ハードウェア構成例>
次に、図28を参照して、本開示の実施形態に係る情報処理装置10のハードウェア構成について説明する。図28は、本開示の実施形態に係る情報処理装置10のハードウェア構成例を示すブロック図である。
図28に示すように、情報処理装置10は、CPU(Central Processing unit)901、ROM(Read Only Memory)903、およびRAM(Random Access Memory)905を含む。また、情報処理装置10は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925を含んでもよい。さらに、情報処理装置10は、必要に応じて、撮像装置933、およびセンサ935を含んでもよい。情報処理装置10は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)またはASIC(Application Specific Integrated Circuit)と呼ばれるような処理回路を有してもよい。
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置10内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。CPU901、ROM903、およびRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置915は、ユーザの音声を検出するマイクロフォンを含んでもよい。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置10の操作に対応した携帯電話などの外部接続機器929であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、情報処理装置10に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置933も、ユーザの手の動き、ユーザの指などを撮像することによって、入力装置として機能し得る。このとき、手の動きや指の向きに応じてポインティング位置が決定されてよい。
出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro-Luminescence)ディスプレイ、プロジェクタなどの表示装置、ホログラムの表示装置、スピーカおよびヘッドホンなどの音出力装置、ならびにプリンタ装置などであり得る。出力装置917は、情報処理装置10の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音として出力したりする。また、出力装置917は、LED(light-emitting diode)などのライトを含んでもよい。
ストレージ装置919は、情報処理装置10の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体927のためのリーダライタであり、情報処理装置10に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体927に記録を書き込む。
接続ポート923は、機器を情報処理装置10に直接接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどであり得る。また、接続ポート923は、RS-232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポートなどであってもよい。接続ポート923に外部接続機器929を接続することで、情報処理装置10と外部接続機器929との間で各種のデータが交換され得る。
通信装置925は、例えば、通信ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置925は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどであり得る。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置925は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置925に接続される通信ネットワーク931は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などである。
撮像装置933は、例えば、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置933は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
センサ935は、例えば、測距センサ、加速度センサ、ジャイロセンサ、地磁気センサ、振動センサ、光センサ、音センサなどの各種のセンサである。センサ935は、例えば情報処理装置10の筐体の姿勢など、情報処理装置10自体の状態に関する情報や、情報処理装置10の周辺の明るさや騒音など、情報処理装置10の周辺環境に関する情報を取得する。また、センサ935は、GPS(Global Positioning System)信号を受信して装置の緯度、経度および高度を測定するGPSセンサを含んでもよい。
<5.むすび>
以上説明したように、本開示の実施形態によれば、ユーザの位置情報と目的地の位置情報とを取得する取得部と、前記ユーザの位置情報と前記目的地の位置情報とに基づいて、前記ユーザの視野内における前記目的地の位置に第1の仮想オブジェクトを付加する表示制御部と、を備え、前記表示制御部は、前記ユーザの位置情報に基づいて、前記視野内における所定の仮想オブジェクトの透過度を制御する、情報処理装置が提供される。かかる構成によれば、実オブジェクトの視認性の低下を抑制しつつユーザにとって有用な仮想オブジェクトの提示を行う技術が提供される。
<6.変形例>
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、コンピュータに内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上記した制御部140が有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
上記では、自己位置推定部141が、情報処理装置10に組み込まれている場合について主に説明した。しかし、かかる機能は、情報処理装置10とは異なる装置に組み込まれてもよい。例えば、自己位置推定部141は、情報処理装置10とは異なる装置(例えば、サーバなど)に組み込まれていてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
<7.応用例>
上記した本開示の実施形態の応用例について説明する。
本開示の実施形態において、ターゲット(目的地)が複数存在する場合や複数個所をめぐりたい場合には、俯瞰ビューなどを用意してもよい。俯瞰ビューなどの一覧性重視モードとナビゲーションモードを用意して、切り替えて使用してもよい。例えば、本屋で「DDD」に関する本で検索し、旅行コーナーやビジネスコーナーなど複数の箇所にターゲットが見つかった場合を想定する。かかる場合、まずは、俯瞰ビューで位置を確認してどちらに行くかを決めてから、ナビゲーションモードで旅行コーナーを目指して歩いてもよい。旅行コーナーに着いた後も、本の位置を光らせて知らせてもよい。
ナビゲーションモードでは、マップ表示だけではなく、方向や目印などを示すナビゲーション情報を重畳して提示してもよい。
ターゲットが複数存在する場合には、ターゲットまでの距離やターゲットの人気度、混雑度などで優先順位をつけて表示したり、表示順を切り替えたりしてもよい。
ターゲットまでの距離が遠い場合には、ターゲットまでの距離に対する進捗状況を示してもよい。また、ターゲットまでの間に障害物や混雑度合いなどを示してもよい。
ターゲットが遠い場合や、建物内で階が異なるなどの場合には、ターゲットまでの中間目標地点を設けて提示してもよい。例えば、ターゲットが3階にあるお店で、現在1階の建物入口にユーザがいる場合には、まずは中間目標地点としてエレベータ、エスカレータ、もしくは階段の位置を提示してもよい。
ユーザがターゲットに着いて、自分が想定していた場所やモノなどが無い場合には、ターゲットの再検索ができるようにしてもよい。例えば、ユーザが「DDD」の本のところまで来たが、自分が想定していた本が無い場合やもう少し探したいような場合のために、ターゲットに着いてからも再検索ができるようにしてもよい。
静的なモノだけがターゲットになるのではなく、動き回るような動的なモノがターゲットになってもよい。ターゲットが動的なモノの場合には、ターゲットの追尾機能を盛り込んでもよい。例えば、子どもをターゲットに設定し、子どもがどこにいるのかを把握できるように追尾させて提示してもよい。
ターゲットは、「お気に入り登録」などで事前登録しておいたものから選んでもよい。また、歩いている間にお気に入りの場所があれば、その場所を「お気に入り登録」できてもよい。
ユーザの前を車や人などが横切るなど邪魔が入った場合には、仮想オブジェクトの表示を消してもよい。もしくは、仮想オブジェクトの表示を一時停止してもよい。
ターゲット位置や中間目標地点を音像定位で場所を示してもよい。このとき、ユーザの手に付けたウェアラブル機器などの振動やハンガー反射を用いてもよい。
天井がある場合には、マップを天井に投影してもよい。また、ターゲットは暖簾が垂れているような表現で示してもよい。
ユーザの状態によって、表示範囲を変更してもよい。例えば、ユーザが歩いているときには視野が狭くなるため、表示範囲を狭くしてもよい。一方、ユーザが立ち止まったら、表示範囲を広げてもよい。
仮想オブジェクトの提示方法としては、床や道路などにプロジェクションする手法が採用されてもよい。このとき、3Dが用いられるのが望ましいが、2Dが用いられてもよい。
壁などが障壁となって直接見えないもの(壁越しなど)の情報を、壁などを透過させて示してもよい(ノーティフィケーション)。例えば、ユーザがリビングにいて、洗濯が終わっていることに気づいていない場合には、壁を透過させ洗濯機を光らせて、洗濯が終わったことを教えてもよい。
ターゲットを先に表示して、マップをターゲットの後に表示してもよい。
ユーザが道なりに進んでいるときは、仮想オブジェクトの表示を消してもよい。
例えば、大きく曲がるようなカーブをルートとして含むような場合、ルートとして通るところが表示に含まれるように、パラメータを設定してもよい。例えば、角度αが狭くてルートの一部が欠けてしまうといった現象がないような表現にするとよい。
外光や環境、背景色などにあわせて、仮想オブジェクトまたはディスプレイの明るさを調整してもよい。また、仮想オブジェクトの提示色を変えてもよい。
ユーザの事前知識によって、表示粒度・表現を変えてもよい。例えば、ユーザがいつも行っている場所に付加される仮想オブジェクトの表示は消してもよい。ユーザが初めて行く場所に付加される仮想オブジェクトは、明るく表示されてもよい。
ユーザが本屋を探す場合を想定する。このとき、なんとなく本屋で最新の本を見てみたい場合には、ユーザに屋の場所を教えるとよい。あるいは、ユーザが今度、国内旅行に行くので、国内旅行雑誌を探したいと考えた場合には、ユーザに旅行雑誌のジャンルを置いている本屋を教えてもよい。そして、ユーザが本屋に入ったら、国内旅行雑誌が置いてある本棚の位置をユーザに教えてもよい。
あるいは、ユーザが今度、行楽地に行くので、その行楽地の本「EEE」という本を探したいと考えた場合を想定する。かかる場合には、本「EEE」の本が置いてある本屋をユーザに教えてもよい。そして、ユーザが本屋に入ったら、本「EEE」が置いてある本棚の位置をユーザに教えてもよい。本「EEE」が置いてある本棚の位置にユーザが着いたら、ユーザに本の場所を教えてもよい。例えば、ユーザが本の場所に着いて本を見ていて、行楽地に関する他の本も見たくなった場合、ユーザはその場で新たな本を再検索してもよい。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
ユーザの位置情報と目的地の位置情報とを取得する取得部と、
前記ユーザの位置情報と前記目的地の位置情報とに基づいて、前記ユーザの視野内における前記目的地の位置に関連付けて第1の仮想オブジェクトを付加する表示制御部と、を備え、
前記表示制御部は、前記ユーザの位置情報に基づいて、前記視野内における所定の仮想オブジェクトの透過度を制御する、
情報処理装置。
(2)
前記表示制御部は、前記ユーザの位置と前記目的地の位置との距離に基づいて、前記所定の仮想オブジェクトとして前記第1の仮想オブジェクトの透過度を制御する、
前記(1)に記載の情報処理装置。
(3)
前記表示制御部は、前記ユーザの位置と前記目的地の位置との前記距離が第1の閾値よりも小さい場合には、前記距離が前記第1の閾値よりも大きい場合と比較して、前記第1の仮想オブジェクトの透過度を上げる、
前記(2)に記載の情報処理装置。
(4)
前記表示制御部は、前記ユーザの位置と前記目的地の位置との前記距離が第2の閾値よりも大きい場合には、前記距離が前記第2の閾値よりも小さい場合と比較して、前記第1の仮想オブジェクトの透過度を上げる、
前記(2)または(3)に記載の情報処理装置。
(5)
前記表示制御部は、前記ユーザの位置と前記目的地の位置との間に通過点が検出された場合、前記ユーザの位置情報と前記通過点の位置情報とに基づいて、前記ユーザの視野内における前記通過点の位置に第2の仮想オブジェクトを付加する、
前記(1)~(4)のいずれか一項に記載の情報処理装置。
(6)
前記表示制御部は、前記ユーザの視野内における前記目的地を含むエリアに前記第1の仮想オブジェクトを付加し、前記ユーザの位置と前記目的地の位置との関係に基づいて、前記エリアの大きさを制御する、
前記(1)~(5)のいずれか一項に記載の情報処理装置。
(7)
前記表示制御部は、前記ユーザの位置情報と前記目的地の位置情報と前記ユーザの方向とに基づいて、拡張現実空間における前記目的地の位置に前記第1の仮想オブジェクトを配置する、
前記(1)~(6)のいずれか一項に記載の情報処理装置。
(8)
前記表示制御部は、環境の明るさに基づいて、前記所定の仮想オブジェクトの透過度または前記所定の仮想オブジェクトを表示する表示部の明るさを制御する、
前記(1)~(7)のいずれか一項に記載の情報処理装置。
(9)
前記表示制御部は、複数の目的地の位置情報が取得された場合、前記ユーザの視野内における前記複数の目的地それぞれの位置に前記第1の仮想オブジェクトを付加し、前記所定の仮想オブジェクトとして前記複数の目的地それぞれの位置に付加した前記第1の仮想オブジェクトの透過度を制御する、
前記(1)~(8)のいずれか一項に記載の情報処理装置。
(10)
前記表示制御部は、前記目的地とは異なる地点の位置情報が取得された場合、前記ユーザの位置情報と前記地点の位置情報とに基づいて、前記ユーザの視野内における前記地点の位置に第3の仮想オブジェクトを付加し、前記ユーザの位置情報と前記地点の位置情報とに基づいて、前記所定の仮想オブジェクトとして前記第3の仮想オブジェクトの透過度を制御する、
前記(1)~(9)のいずれか一項に記載の情報処理装置。
(11)
前記表示制御部は、前記ユーザの位置と前記地点の位置との距離に基づいて、前記第3の仮想オブジェクトの透過度を制御する、
前記(10)に記載の情報処理装置。
(12)
前記表示制御部は、前記ユーザの位置と前記地点の位置との距離が第3の閾値よりも小さい場合には、前記距離が前記第3の閾値よりも大きい場合と比較して、前記第3の仮想オブジェクトの透過度を上げる、
前記(11)に記載の情報処理装置。
(13)
前記表示制御部は、前記ユーザの位置と前記目的地の位置との距離または前記ユーザの位置が屋外であるか否かに基づいて、前記第3の閾値を制御する、
前記(12)に記載の情報処理装置。
(14)
前記表示制御部は、前記ユーザの位置と前記地点の位置との距離が第4の閾値よりも大きい場合には、前記距離が前記第4の閾値よりも小さい場合と比較して、前記第3の仮想オブジェクトの透過度を上げる、
前記(11)~(13)のいずれか一項に記載の情報処理装置。
(15)
前記表示制御部は、前記ユーザの位置と前記目的地の位置との距離または前記ユーザの位置が屋外であるか否かに基づいて、前記第4の閾値を制御する、
前記(14)に記載の情報処理装置。
(16)
前記表示制御部は、前記ユーザの位置から前記目的地の位置への方向と前記地点の位置とに基づいて、前記第3の仮想オブジェクトの透過度を制御する、
前記(11)~(15)のいずれか一項に記載の情報処理装置。
(17)
前記表示制御部は、前記方向を基準として所定の角度以内の範囲に前記地点が存在するか否かに応じて、前記第3の仮想オブジェクトの透過度を制御する、
前記(16)に記載の情報処理装置。
(18)
前記表示制御部は、前記ユーザが移動しているか否かまたは前記ユーザの位置と壁面の位置との距離に基づいて、前記角度を制御する、
前記(17)に記載の情報処理装置。
(19)
ユーザの位置情報と目的地の位置情報とを取得することと、
前記ユーザの位置情報と前記目的地の位置情報とに基づいて、前記ユーザの視野内における前記目的地の位置に関連付けて第1の仮想オブジェクトを付加することと、を含み、
プロセッサにより、前記ユーザの位置情報に基づいて、前記視野内における所定の仮想オブジェクトの透過度を制御すること、
を含む、情報処理方法。
(20)
コンピュータを、
ユーザの位置情報と目的地の位置情報とを取得する取得部と、
前記ユーザの位置情報と前記目的地の位置情報とに基づいて、前記ユーザの視野内における前記目的地の位置に関連付けて第1の仮想オブジェクトを付加する表示制御部と、を備え、
前記表示制御部は、前記ユーザの位置情報に基づいて、前記視野内における所定の仮想オブジェクトの透過度を制御する、
情報処理装置として機能させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
10 情報処理装置
110 環境認識用撮像部
120 操作部
130 センサ部
131 照度センサ
132 地磁気センサ
133 GPSセンサ
140 制御部
141 自己位置推定部
142 取得部
143 表示制御部
150 記憶部
151 地図情報
160 通信部
170 表示部

Claims (19)

  1. ユーザの位置情報と目的地の位置情報とを取得する取得部と、
    前記ユーザの位置情報と前記目的地の位置情報とに基づいて、前記ユーザの視野内における前記目的地の位置に関連付けて第1の仮想オブジェクトを付加する表示制御部と、を備え、
    前記表示制御部は、前記ユーザの位置情報に基づいて、前記視野内における所定の仮想オブジェクトの透過度を制御
    前記表示制御部は、前記目的地とは異なる地点の位置情報が取得された場合、前記ユーザの位置情報と前記地点の位置情報とに基づいて、前記ユーザの視野内における前記地点の位置に第3の仮想オブジェクトを付加し、前記ユーザの位置情報と前記地点の位置情報とに基づいて、前記所定の仮想オブジェクトとして前記第3の仮想オブジェクトの透過度を制御し、
    前記第3の仮想オブジェクトの透過度は、前記第1の仮想オブジェクトの透過度よりも低く制御される、
    情報処理装置。
  2. 前記表示制御部は、前記ユーザの位置と前記目的地の位置との距離に基づいて、前記所定の仮想オブジェクトとして前記第1の仮想オブジェクトの透過度を制御する、
    請求項1に記載の情報処理装置。
  3. 前記表示制御部は、前記ユーザの位置と前記目的地の位置との前記距離が第1の閾値よりも小さい場合には、前記距離が前記第1の閾値よりも大きい場合と比較して、前記第1の仮想オブジェクトの透過度を上げる、
    請求項2に記載の情報処理装置。
  4. 前記表示制御部は、前記ユーザの位置と前記目的地の位置との前記距離が第2の閾値よりも大きい場合には、前記距離が前記第2の閾値よりも小さい場合と比較して、前記第1の仮想オブジェクトの透過度を上げる、
    請求項2に記載の情報処理装置。
  5. 前記表示制御部は、前記ユーザの位置と前記目的地の位置との間に通過点が検出された場合、前記ユーザの位置情報と前記通過点の位置情報とに基づいて、前記ユーザの視野内における前記通過点の位置に第2の仮想オブジェクトを付加する、
    請求項1に記載の情報処理装置。
  6. 前記表示制御部は、前記ユーザの視野内における前記目的地を含むエリアに前記第1の仮想オブジェクトを付加し、前記ユーザの位置と前記目的地の位置との関係に基づいて、前記エリアの大きさを制御する、
    請求項1に記載の情報処理装置。
  7. 前記表示制御部は、前記ユーザの位置情報と前記目的地の位置情報と前記ユーザの方向とに基づいて、拡張現実空間における前記目的地の位置に前記第1の仮想オブジェクトを配置する、
    請求項1に記載の情報処理装置。
  8. 前記表示制御部は、環境の明るさに基づいて、前記所定の仮想オブジェクトの透過度または前記所定の仮想オブジェクトを表示する表示部の明るさを制御する、
    請求項1に記載の情報処理装置。
  9. 前記表示制御部は、複数の目的地の位置情報が取得された場合、前記ユーザの視野内における前記複数の目的地それぞれの位置に前記第1の仮想オブジェクトを付加し、前記所定の仮想オブジェクトとして前記複数の目的地それぞれの位置に付加した前記第1の仮想オブジェクトの透過度を制御する、
    請求項1に記載の情報処理装置。
  10. 前記表示制御部は、前記ユーザの位置と前記地点の位置との距離に基づいて、前記第3の仮想オブジェクトの透過度を制御する、
    請求項に記載の情報処理装置。
  11. 前記表示制御部は、前記ユーザの位置と前記地点の位置との距離が第3の閾値よりも小さい場合には、前記距離が前記第3の閾値よりも大きい場合と比較して、前記第3の仮想オブジェクトの透過度を上げる、
    請求項10に記載の情報処理装置。
  12. 前記表示制御部は、前記ユーザの位置と前記目的地の位置との距離または前記ユーザの位置が屋外であるか否かに基づいて、前記第3の閾値を制御する、
    請求項11に記載の情報処理装置。
  13. 前記表示制御部は、前記ユーザの位置と前記地点の位置との距離が第4の閾値よりも大きい場合には、前記距離が前記第4の閾値よりも小さい場合と比較して、前記第3の仮想オブジェクトの透過度を上げる、
    請求項10に記載の情報処理装置。
  14. 前記表示制御部は、前記ユーザの位置と前記目的地の位置との距離または前記ユーザの位置が屋外であるか否かに基づいて、前記第4の閾値を制御する、
    請求項13に記載の情報処理装置。
  15. 前記表示制御部は、前記ユーザの位置から前記目的地の位置への方向と前記地点の位置とに基づいて、前記第3の仮想オブジェクトの透過度を制御する、
    請求項10に記載の情報処理装置。
  16. 前記表示制御部は、前記方向を基準として所定の角度以内の範囲に前記地点が存在するか否かに応じて、前記第3の仮想オブジェクトの透過度を制御する、
    請求項15に記載の情報処理装置。
  17. 前記表示制御部は、前記ユーザが移動しているか否かまたは前記ユーザの位置と前記第3の仮想オブジェクトが表示される前記ユーザが認識する拡張現実空間における壁面の位置との距離に基づいて、前記角度を制御する、
    請求項16に記載の情報処理装置。
  18. ユーザの位置情報と目的地の位置情報とを取得することと、
    前記ユーザの位置情報と前記目的地の位置情報とに基づいて、前記ユーザの視野内における前記目的地の位置に関連付けて第1の仮想オブジェクトを付加することと、を含み、
    プロセッサにより、前記ユーザの位置情報に基づいて、前記視野内における所定の仮想オブジェクトの透過度を制御
    前記所定の仮想オブジェクトの透過度を制御することは、
    前記目的地とは異なる地点の位置情報が取得された場合、前記ユーザの位置情報と前記地点の位置情報とに基づいて、前記ユーザの視野内における前記地点の位置に第3の仮想オブジェクトを付加し、前記ユーザの位置情報と前記地点の位置情報とに基づいて、前記所定の仮想オブジェクトとして前記第3の仮想オブジェクトの透過度を制御し、
    前記第3の仮想オブジェクトの透過度は、前記第1の仮想オブジェクトの透過度よりも低く制御されること
    を含む、情報処理方法。
  19. コンピュータを、
    ユーザの位置情報と目的地の位置情報とを取得する取得部と、
    前記ユーザの位置情報と前記目的地の位置情報とに基づいて、前記ユーザの視野内における前記目的地の位置に関連付けて第1の仮想オブジェクトを付加する表示制御部と、を備え、
    前記表示制御部は、前記ユーザの位置情報に基づいて、前記視野内における所定の仮想オブジェクトの透過度を制御
    前記表示制御部は、前記目的地とは異なる地点の位置情報が取得された場合、前記ユーザの位置情報と前記地点の位置情報とに基づいて、前記ユーザの視野内における前記地点の位置に第3の仮想オブジェクトを付加し、前記ユーザの位置情報と前記地点の位置情報とに基づいて、前記所定の仮想オブジェクトとして前記第3の仮想オブジェクトの透過度を制御し、
    前記第3の仮想オブジェクトの透過度は、前記第1の仮想オブジェクトの透過度よりも低く制御される、
    情報処理装置として機能させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
JP2020507370A 2018-03-20 2019-01-16 情報処理装置、情報処理方法および記録媒体 Active JP7222392B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018053051 2018-03-20
JP2018053051 2018-03-20
PCT/JP2019/000979 WO2019181153A1 (ja) 2018-03-20 2019-01-16 情報処理装置、情報処理方法および記録媒体

Publications (2)

Publication Number Publication Date
JPWO2019181153A1 JPWO2019181153A1 (ja) 2021-03-25
JP7222392B2 true JP7222392B2 (ja) 2023-02-15

Family

ID=67987006

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020507370A Active JP7222392B2 (ja) 2018-03-20 2019-01-16 情報処理装置、情報処理方法および記録媒体

Country Status (3)

Country Link
US (1) US11403806B2 (ja)
JP (1) JP7222392B2 (ja)
WO (1) WO2019181153A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112639686A (zh) * 2018-09-07 2021-04-09 苹果公司 在虚拟环境的影像和声音与真实环境的影像和声音之间转换
JP7442168B2 (ja) 2019-10-07 2024-03-04 株式会社リトプラ 映像処理システム
JP7467074B2 (ja) 2019-11-05 2024-04-15 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JPWO2021166878A1 (ja) * 2020-02-17 2021-08-26
JP7294538B2 (ja) * 2020-06-04 2023-06-20 三菱電機株式会社 建物の交通管理システム
KR20220008118A (ko) 2020-07-13 2022-01-20 삼성전자주식회사 가상 객체들의 밝기를 다르게 표시하는 방법 및 장치
JP7300569B2 (ja) * 2020-09-16 2023-06-30 株式会社雪雲 情報処理装置、情報処理方法およびプログラム
US11828600B2 (en) * 2021-09-29 2023-11-28 Ncr Corporation Indoor wayfinder interface and service
KR20230069433A (ko) * 2021-11-12 2023-05-19 삼성전자주식회사 Ar 이미지의 휘도를 제어하는 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006267249A (ja) 2005-03-22 2006-10-05 Denso Corp 車両用情報表示システム
JP2011191264A (ja) 2010-03-16 2011-09-29 Aisin Aw Co Ltd 表示制御装置、方法およびプログラム
JP2015172548A (ja) 2014-03-12 2015-10-01 パイオニア株式会社 表示制御装置、制御方法、プログラム、及び記憶媒体
JP2016503160A (ja) 2012-12-18 2016-02-01 ノキア テクノロジーズ オーユー ヘルメットベースのナビゲーション通知

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3473321B2 (ja) * 1997-05-09 2003-12-02 トヨタ自動車株式会社 車両用表示装置
EP2936443A1 (en) * 2012-12-21 2015-10-28 Metaio GmbH Method for representing virtual information in a real environment
US9959674B2 (en) * 2013-02-26 2018-05-01 Qualcomm Incorporated Directional and X-ray view techniques for navigation using a mobile device
US9519881B2 (en) * 2013-10-21 2016-12-13 Toyota Jidosha Kabushiki Kaisha Estimating journey destination based on popularity factors
US9760790B2 (en) * 2015-05-12 2017-09-12 Microsoft Technology Licensing, Llc Context-aware display of objects in mixed environments
US20170255258A1 (en) * 2016-03-02 2017-09-07 The Trustees Of Columbia University In The City Of New York Imperceptible Automatic Field-of-View Restrictors to Combat VR Sickness and Cybersickness
CN109640785A (zh) * 2016-04-08 2019-04-16 维扎瑞尔股份公司 用于获得、聚集和分析视觉数据以评估人的视力性能的方法和系统
JP7149289B2 (ja) * 2017-04-19 2022-10-06 マジック リープ, インコーポレイテッド ウェアラブルシステムのためのマルチモード実行およびテキスト編集
WO2018219900A1 (en) * 2017-06-01 2018-12-06 Philips Lighting Holding B.V. A system for rendering virtual objects and a method thereof
CN108196366B (zh) * 2018-01-03 2020-07-31 京东方科技集团股份有限公司 一种调节显示亮度的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006267249A (ja) 2005-03-22 2006-10-05 Denso Corp 車両用情報表示システム
JP2011191264A (ja) 2010-03-16 2011-09-29 Aisin Aw Co Ltd 表示制御装置、方法およびプログラム
JP2016503160A (ja) 2012-12-18 2016-02-01 ノキア テクノロジーズ オーユー ヘルメットベースのナビゲーション通知
JP2015172548A (ja) 2014-03-12 2015-10-01 パイオニア株式会社 表示制御装置、制御方法、プログラム、及び記憶媒体

Also Published As

Publication number Publication date
JPWO2019181153A1 (ja) 2021-03-25
WO2019181153A1 (ja) 2019-09-26
US11403806B2 (en) 2022-08-02
US20210027523A1 (en) 2021-01-28

Similar Documents

Publication Publication Date Title
JP7222392B2 (ja) 情報処理装置、情報処理方法および記録媒体
US10445945B2 (en) Directional and X-ray view techniques for navigation using a mobile device
JP6090889B2 (ja) コンテキスト認識ローカライズ、マッピング、および追跡
EP3616035B1 (en) Augmented reality interface for interacting with displayed maps
US20160275175A1 (en) Information processing apparatus, information processing method, and program
US20140375684A1 (en) Augmented Reality Technology
JP6809539B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20130119473A (ko) 비-맵-기반의 모바일 인터페이스
JPWO2014091824A1 (ja) 表示制御装置、表示制御方法およびプログラム
US10546432B2 (en) Presenting location based icons on a device display
US9672588B1 (en) Approaches for customizing map views
US11676356B2 (en) Using augmented reality markers for local positioning in a computing environment
US10984242B1 (en) Virtual proximity compass for navigating artificial reality environments
JPWO2018220856A1 (ja) ストリートビューワーシステム
US10338768B1 (en) Graphical user interface for finding and depicting individuals
CN105222794A (zh) 一种信息处理方法及电子设备
JP2018206396A (ja) ストリートビューワーシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230117

R151 Written notification of patent or utility model registration

Ref document number: 7222392

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151