JP6596989B2 - 表示制御方法、表示制御プログラム、情報処理端末及びヘッドマウントディスプレイ - Google Patents

表示制御方法、表示制御プログラム、情報処理端末及びヘッドマウントディスプレイ Download PDF

Info

Publication number
JP6596989B2
JP6596989B2 JP2015133645A JP2015133645A JP6596989B2 JP 6596989 B2 JP6596989 B2 JP 6596989B2 JP 2015133645 A JP2015133645 A JP 2015133645A JP 2015133645 A JP2015133645 A JP 2015133645A JP 6596989 B2 JP6596989 B2 JP 6596989B2
Authority
JP
Japan
Prior art keywords
information
arrow
display
current position
information indicating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015133645A
Other languages
English (en)
Other versions
JP2017015593A (ja
Inventor
博 桑原
淳一 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2015133645A priority Critical patent/JP6596989B2/ja
Publication of JP2017015593A publication Critical patent/JP2017015593A/ja
Application granted granted Critical
Publication of JP6596989B2 publication Critical patent/JP6596989B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Description

本発明は、表示制御方法、表示制御プログラム、情報処理端末及びヘッドマウントディスプレイに関する。
従来より、ウェアラブル型の情報処理端末として、ヘッドマウントディスプレイが知られており、様々な分野への適用が検討されている。
例えば、ナビゲーションシステムにヘッドマウントディスプレイを適用することで、目的地までの経路を示す矢印画像を現実世界の道路等に重畳して見せることが可能となる。これにより、ユーザは道路上に見える矢印画像に沿って移動するだけで、所望の目的地に到達することができる。
特開2009−252075号公報 特開2007−323668号公報
しかしながら、ヘッドマウントディスプレイの場合、ユーザの目を覆うようにして装着されるため、矢印画像を表示する表示面が、ユーザの目線方向と略直交するように配置される。このため、表示面に矢印画像を表示させた場合、例えば、前方を示す矢印画像と上方を示す矢印画像との区別がつきにくいという問題がある。あるいは、後方を示す矢印画像と下方を示す矢印画像との区別がつきにくいという問題がある。
一つの側面では、ヘッドマウントディスプレイに表示される矢印が、前方と上方のいずれを示しているか、または、後方と下方のいずれを示しているのかを簡単に把握できるようにすることを目的としている。
一態様によれば、ヘッドマウントディスプレイの表示制御方法において、
位置センサにより検出された前記ヘッドマウントディスプレイの現在位置を示す情報を取得し、
位置を示す情報と前記各位置に対する次の通過点の方向を示す情報とを対応付ける情報を参照して、取得した前記現在位置を示す情報に対応付けられた、前記現在位置に対する次の通過点の方向を示す情報を取得し、
取得した前記現在位置に対する次の通過点の方向を示す情報に応じた矢印の表示を、前記ヘッドマウントディスプレイの表示部に出力し、
前記矢印の表示を出力する際、
取得した前記現在位置に対する次の通過点の方向を示す情報が前方を示す場合と上方を示す場合とで、互いに異なる態様の矢印の表示を自動的に行い、取得した前記現在位置に対する次の通過点の方向を示す情報が後方を示す場合と下方を示す場合とで、互いに異なる態様の矢印の表示を自動的に行う、
処理をコンピュータが実行することを特徴とする。
ヘッドマウントディスプレイに表示される矢印が、前方と上方のいずれを示しているか、または、後方と下方のいずれを示しているのかを簡単に把握できるようになる。
ヘッドマウントディスプレイを用いたナビゲーションシステムの全体構成の一例を示す図である。 ヘッドマウントディスプレイのハードウェア構成の一例を示す図である。 経路情報の一例を示す図である。 方向情報を説明するための図である。 移動時間情報を説明するための図である。 ヘッドマウントディスプレイの機能構成の一例を示す図である。 管理情報の一例を示す図である。 方向情報に応じた矢印の態様を説明するための図である。 移動時間情報に応じた矢印の態様を説明するための図である。 誘導処理の流れを示すフローチャートである。 矢印表示制御処理の流れを示すフローチャートである。 更新周期算出処理の流れを示すフローチャートである。 出発地から目的地までの間の各位置における矢印の表示例を示す図である。 矢印の更新周期を説明するための図である。 出発地から目的地までの間の各位置における矢印の他の表示例を示す図である。 ヘッドマウントディスプレイと携帯端末とを用いたナビゲーションシステムの全体構成の一例を示す図である。 ヘッドマウントディスプレイと携帯端末のハードウェア構成の一例を示す図である。 ヘッドマウントディスプレイと携帯端末の機能構成の一例を示す図である。 ヘッドマウントディスプレイを用いたARナビゲーションシステムにおける表示面の一例を示す図である。
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
[第1の実施形態]
はじめに、ヘッドマウントディスプレイを用いたナビゲーションシステムの全体構成について説明する。図1は、ヘッドマウントディスプレイを用いたナビゲーションシステムの全体構成の一例を示す図である。
図1に示すように、ナビゲーションシステム100は、ヘッドマウントディスプレイ110と、サーバ装置150とを有する。ヘッドマウントディスプレイ110と、サーバ装置150とは、インターネットやLAN(Local Area Network)等に代表されるネットワーク160を介して接続されている。
ヘッドマウントディスプレイ110は、身体に装着して利用するウェアラブル型の情報処理端末であり、図1に示すように、ユーザ120の目を覆うようにして装着される。なお、図1に示す破線領域130は、ヘッドマウントディスプレイ110を装着したユーザ120の目線と表示面111との関係を示しており、ユーザ120に装着されたヘッドマウントディスプレイ110を横方向から見た様子を表している。
破線領域130に示すように、ユーザ120がヘッドマウントディスプレイ110を装着した状態では、矢印画像等を表示する表示面111が、ユーザ120の眼部121の正面に位置することになる。つまり、表示面111が、ユーザ120の目線と略直交する方向に配置されることになる。
ヘッドマウントディスプレイ110の場合、ユーザ120の目線方向と表示面111との間のこのような位置関係により、表示面111に表示される特定の方向の矢印画像(前方と上方または後方と下方)の区別がつきにくくなっている。そこで、ヘッドマウントディスプレイ110では、特定の方向の矢印画像の表示態様を変えることで、区別しやすくしている(詳細は後述する)。
ここで、ユーザ120により視認される視認内容について説明する。ユーザ120は、ヘッドマウントディスプレイ110の表示面111を介して現実世界を視認する。一方で、ヘッドマウントディスプレイ110の表示面111には、ユーザ120が視認する現実世界の物体の位置に合うように、矢印画像等が表示される。領域140は、ユーザ120がヘッドマウントディスプレイ110の表示面111を介して視認した視認内容を模式的に示した例である。
領域140内の道路、横断歩道、樹木、建物は、現実の物体であり、横断歩道に重畳して見える矢印画像141は、ヘッドマウントディスプレイ110が生成した矢印画像である。同様に、建物に重畳して見えるマーク画像142も、ヘッドマウントディスプレイ110が生成したマーク画像である。
本実施形態においてヘッドマウントディスプレイ110は、ナビゲーションシステム100を形成しており、矢印画像141は、ユーザ120が目的地に到達するために、現時点で進むべき移動方向及び移動量を表している。また、マーク画像142は、目的地の位置を表している。領域140の例は、建物の2階に目的地があることを表している。
ナビゲーションシステム100の説明に戻る。サーバ装置150は、ユーザ120を目的地に誘導するための経路情報を提供する装置である。サーバ装置150には、経路情報提供プログラムがインストールされており、当該プログラムが実行されることで、サーバ装置150は、経路情報提供部151として機能する。
経路情報提供部151は、ヘッドマウントディスプレイ110より、出発地の位置情報(緯度、経度、高度)と目的地を特定するための情報とを含む経路情報要求を取得する。また、経路情報提供部151は、地図情報DB152を参照することで目的地を特定し、目的地の位置情報(緯度、経度、高度)を取得する。また、経路情報提供部151は、取得した出発地及び目的地の位置情報に基づいて、出発地から目的地までの経路を導出するとともに、経路内において移動方向が変わる位置(以下、「通過点」と称す)の位置情報(緯度、経度、高度)を取得する。更に、経路情報提供部151は、導出した経路と取得した各位置情報とを、経路情報としてヘッドマウントディスプレイ110に送信する。
次に、ヘッドマウントディスプレイ110のハードウェア構成について説明する。図2は、ヘッドマウントディスプレイのハードウェア構成の一例を示す図である。
図2に示すように、ヘッドマウントディスプレイ110は、CPU201、ROM(Read Only Memory)202、RAM(Random Access Memory)203、補助記憶部204、通信部205を備える。また、ヘッドマウントディスプレイ110は、操作部206、撮像部207、表示部208、GPS部209、センサ部210を備える。なお、ヘッドマウントディスプレイ110の各部は、バス211を介して相互に接続されている。
CPU201は、補助記憶部204にインストールされた各種プログラムを実行するコンピュータである。ROM202は、不揮発性メモリである。ROM202は、補助記憶部204に格納された各種プログラムをCPU201が実行するために必要な各種プログラム、データ等を格納する主記憶部として機能する。具体的には、ROM202はBIOS(Basic Input/Output System)やEFI(Extensible Firmware Interface)等のブートプログラム等を格納する。
RAM203は、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等の揮発性メモリであり、主記憶部として機能する。RAM203は、補助記憶部204に格納された各種プログラムがCPU201によって実行される際に展開される、作業領域を提供する。
補助記憶部204は、ヘッドマウントディスプレイ110にインストールされた各種プログラム(後述する機能を実現するための表示制御プログラム)や、各種プログラムを実行する際に用いるデータ等を格納する。
通信部205は、ヘッドマウントディスプレイ110がネットワーク160を介してサーバ装置150と通信するためのデバイスである。
操作部206は、ユーザ120がヘッドマウントディスプレイ110に対して各種指示を入力するためのデバイスである。撮像部207は、ユーザ120が表示面111を介して視認可能な範囲を撮像するデバイスである。
表示部208は、図1で示した表示面111を含み、補助記憶部204に格納された各種プログラムがCPU201により実行されることで生成された画像(例えば、矢印画像等)を表示するデバイスである。表示部208は、撮像部207により撮像された画像情報を解析することで取得された現実の物体の位置に合うように、生成された画像(例えば、矢印画像等)を表示する。
GPS部209は、ヘッドマウントディスプレイ110の現在位置の緯度、経度、高度を、GPS(Global Positioning System)より取得するデバイスである。ヘッドマウントディスプレイ110では、GPS部209を介して現在位置情報を取得する。
センサ部210は、地磁気を検知する地磁気センサと、加速度を検出する加速度センサとを含む。ヘッドマウントディスプレイ110では、地磁気センサの検知結果に基づいて、ユーザ120が向いている方角を識別する。また、ヘッドマウントディスプレイ110では、加速度センサの検出結果に基づいてユーザ120の移動速度を算出する。
次に、サーバ装置150からヘッドマウントディスプレイ110に送信される経路情報について説明する。図3は、経路情報の一例を示した図である。図3に示すように、本実施形態においては、出発地(Q)から目的地(P)までの経路300内に、第1通過点(p1)と第2通過点(p2)とが含まれるものとする。したがって、サーバ装置150から送信される経路情報には、出発地(Q)、第1通過点(p1)、第2通過点(p2)、目的地(P)それぞれの緯度、経度、高度が含まれる。
次に、ヘッドマウントディスプレイ110において矢印画像を生成する際に算出されるパラメータ(第1の方向情報、第2の方向情報、移動時間情報)について図4、図5を用いて説明する。図4は、矢印画像を生成する際に算出されるパラメータのうち、方向情報を説明するための図であり、このうち、図4(a)は、第1の方向情報を、図4(b−1)、(b−2)は、第2の方向情報をそれぞれ説明するための図である。
図4(a)において、方角αは、ヘッドマウントディスプレイ110の現在位置から見た場合の次の通過点(例えば、第1通過点(p1))の方角を示している。方角αは、現在位置情報(緯度、経度)と、次の通過点の位置情報(緯度、経度)とを用いて算出することができる。
また、方角βは、ヘッドマウントディスプレイ110のセンサ部210に含まれる、地磁気センサにより検知された方角であり、ユーザ120が向いている方角を示している。
図4(a)に示すように、本実施形態におけるヘッドマウントディスプレイ110では、方角αと方角βとの方角差を、第1の方向情報θとして算出する。
なお、第1の方向情報θは、0°に近いほど、ユーザ120が進むべき方角と、ユーザ120が向いている方角とが一致していることになる。つまり、ユーザ120はそのまま直進すれば次の通過点に到達できることを示している。
また、第1の方向情報θは、180°に近いほど、ユーザ120が進むべき方角と、ユーザ120が向いている方角とが反対となっていることを示している。つまり、ユーザ120は後進しなければ次の通過点に到達できないことを示している。
また、第1の方向情報θが、90°に近い場合、ユーザ120が進むべき方角に対して、ユーザ120が左側を向いていることを示している。つまり、ユーザ120は右方向を向くことで(右折することで)、次の通過点に到達できることを示している。
更に、第1の方向情報θが、−90°に近い場合、ユーザ120が進むべき方角に対して、ユーザ120が右側を向いていることになる。つまり、ユーザ120は左方向を向くことで(左折することで)、次の通過点に到達できることを示している。
図4(b−1)において、距離Dは、ヘッドマウントディスプレイ110の現在位置と、次の通過点との間の距離を示している。距離Dは、現在位置情報(緯度、経度、高度)と、次の通過点の位置情報(緯度、経度、高度)とに基づいて算出することができる。
図4(b−2)において、高度差Lは、ヘッドマウントディスプレイ110の現在位置と、次の通過点との間の高度差を示している。高度差Lは、現在位置情報(高度)と、次の通過点の位置情報(高度)とに基づいて算出することができる。
図4(b−1)、(b−2)に示すように、本実施形態におけるヘッドマウントディスプレイ110では、cos−1(L/D)を、第2の方向情報θとして算出する。
なお、第2の方向情報θは、90°に近いほど、ユーザ120の進むべき方向が上方向であることを示しており、−90°に近いほど、ユーザ120の進むべき方向が下方向であることを示している。また、第2の方向情報θが0°に近い場合には、ユーザ120が次の通過点に向かって進むにあたり、上がったり下がったりすることがないことを示している。
図5は、矢印画像を生成する際に算出されるパラメータのうち、移動時間情報を説明するための図である。図5(a−1)において、移動速度Sは、ユーザ120の移動速度Sを示しており、ヘッドマウントディスプレイ110のセンサ部210に含まれる、加速度センサにより検出される検出結果に基づいて算出される。図5(a−1)に示すように、ユーザ120の移動速度Sのうち、次の通過点に向かう成分である移動速度Spは、第1の方向情報θを用いることで、Sp=S×cosθにより算出することができる。
図5(a−2)において、距離Dは、上述したとおり、ヘッドマウントディスプレイ110の現在位置と、次の通過点との間の距離を示している。
図5(a−1)、(a−2)に示すように、本実施形態におけるヘッドマウントディスプレイ110では、D/Spを、移動時間情報Txとして算出する。
移動時間情報Txが大きいということは、ユーザ120が次の通過点に到達するまでの時間がかかることを示しており、移動時間情報Txが小さいということは、ユーザ120が次の通過点に到達するまでの時間が短いことを示している。
次に、ヘッドマウントディスプレイ110の機能構成について説明する。図6は、ヘッドマウントディスプレイの機能構成の一例を示す図である。図6に示すように、ヘッドマウントディスプレイ110は、目的地入力部601、現在位置情報取得部602、経路情報取得部603、方向情報管理部604、移動量情報管理部605、矢印表示制御部606を有する。なお、ヘッドマウントディスプレイ110が有するこれらの機能(601〜606)は、補助記憶部204に格納された各種プログラム(例えば、表示制御プログラム)がCPU201によって実行されることで実現されるものとする。
目的地入力部601は、目的地(P)を特定するための情報の入力を受け付ける。なお、ここでいう目的地(P)を特定するための情報には、目的地(P)の名称や、目的地(P)の所在地(住所)、目的地(P)の電話番号等が含まれる。目的地(P)を特定するための情報が操作部206を介して入力されると、目的地入力部601ではこれを受け付け、経路情報取得部603に通知する。
現在位置情報取得部602は、GPS部209により取得された緯度、経度、高度に基づいて、ヘッドマウントディスプレイ110の現在位置を識別し、現在位置情報を経路情報取得部603に通知する。また、現在位置情報取得部602は、現在位置情報を情報管理DB611に格納する。
更に、現在位置情報取得部602は、センサ部210に含まれる地磁気センサの出力に基づいて、ユーザ120が向いている方角βを識別し、現在方角情報として情報管理DB611に格納する。
更に、現在位置情報取得部602は、センサ部210に含まれる加速度センサの出力に基づいて、ユーザ120の移動速度Sを算出し、現在速度情報として情報管理DB611に格納する。
経路情報取得部603は、目的地入力部601より通知された目的地(P)を特定するための情報と、現在位置情報取得部602より通知された現在位置情報とを含む経路情報要求をサーバ装置150に送信する。これにより、経路情報取得部603では、現在位置を出発地(Q)とした場合の、出発地(Q)から目的地(P)までの経路情報を、サーバ装置150に要求することができる。
また、経路情報取得部603は、サーバ装置150への経路情報要求に応じてサーバ装置150より送信された経路情報を受信する。上述したとおり、サーバ装置150より送信される経路情報には、出発地(Q)及び目的地(P)の緯度、経度、高度が含まれる。また、経路情報には、出発地(Q)から目的地(P)までの経路300、経路300内の各通過点(第1通過点(p1)、第2通過点(p2))の緯度、経度、高度が含まれる。経路情報取得部603では、取得した経路情報に含まれるこれらの情報を情報管理DB611に格納する。
方向情報管理部604は、第1の方向情報θと第2の方向情報θを算出する。具体的には、方向情報管理部604は、情報管理DB611に格納された、現在位置情報(緯度、経度)と、次の通過点の位置情報(緯度、経度)とに基づいて、方角αを算出する。また、方向情報管理部604は、算出した方角αと、情報管理DB611に格納された現在方角情報(方角β)とに基づいて、第1の方向情報θを算出し、情報管理DB611に格納する。
また、方向情報管理部604は、情報管理DB611に格納された次の通過点の位置情報(緯度、経度、高度)と、現在位置情報(緯度、経度、高度)とに基づいて、距離Dを算出し、情報管理DB611に格納する。また、方向情報管理部604は、情報管理DB611に格納された次の通過点の位置情報(高度)と、現在位置情報(高度)とに基づいて、高度差Lを算出する。更に、方向情報管理部604は、算出した距離Dと、算出した距離Lとに基づいて、第2の方向情報θを算出し、情報管理DB611に格納する。
移動量情報管理部605は、移動時間情報Txを算出する。具体的には、移動量情報管理部605は、情報管理DB611に格納された移動速度Sと、情報管理DB611に格納された第1の方向情報θとに基づいて、次の通過点に向かう成分の移動速度Spを算出し、情報管理DB611に格納する。また、移動量情報管理部605は、算出した移動速度Spと、情報管理DB611に格納された距離Dとに基づいて、移動時間情報Txを算出し、情報管理DB611に格納する。
矢印表示制御部606は、方向情報管理部604により算出された第1の方向情報θ及び第2の方向情報θと、移動量情報管理部605により算出された移動時間情報Txとに基づいて、表示部208に表示する矢印画像を生成する。矢印表示制御部606では、矢印画像の生成に際して、矢印情報DB612を参照する。
また、矢印表示制御部606は、撮像部207により撮像された画像情報を解析することで、表示面111を介して視認される現実の物体の位置に合うように、生成した矢印画像の表示位置を算出し、算出した表示位置に表示する。
次に、ヘッドマウントディスプレイ110の情報管理DB611に格納される管理情報(現在位置情報と方向情報とを対応付ける情報)について説明する。図7は、管理情報の一例を示す図である。
図7に示すように、管理情報700には情報の項目として、"経路"、"位置情報(緯度、経度、高度"、"現在位置情報(緯度、経度、高度)"、"通過/未通過"が含まれる。更に、管理情報700には情報の項目として、"次の通過点の方角情報(方角α)"、"現在方角情報(方角β)"、"第1の方向情報(θ)"が含まれる。更に、管理情報700には情報の項目として、"次の通過点までの距離(D)"、"次の通過点との高度差(L)"、"第2の方向情報(θ)"、"現在速度情報(S)"、"通過点方向の成分(Sp)"、"移動時間情報(Tx)"が含まれる。
"経路"には、経路情報取得部603がサーバ装置150より取得した経路情報のうち、出発地(Q)、目的地(P)、出発地(Q)から目的地(P)までの間の各通過点(第1通過点(p1)、第2通過点(p2))を示す情報が格納される。
"位置情報(緯度、経度、高度)"には、経路情報取得部603がサーバ装置150より取得した経路情報のうち、出発地(Q)の緯度、経度、高度、目的地(P)の緯度、経度、高度、第1通過点(p1)及び第2通過点(p2)の緯度、経度、高度が格納される。
"現在位置情報(緯度、経度、高度)"には、ヘッドマウントディスプレイ110の現在位置情報取得部602が取得した、ヘッドマウントディスプレイ110の現在位置の緯度、経度、高度が格納される。図7の例では、ユーザ120が、出発地(Q)から第1通過点(p1)に向かって移動を開始している。このため、第1通過点(p1)に対応する"現在位置情報(緯度、経度、高度)"の欄に、現在位置情報取得部602が取得した、現在位置の緯度、経度、高度が格納される。
"通過/未通過"には、ヘッドマウントディスプレイ110を装着したユーザ120が、出発地(Q)から目的地(P)までの間の各通過点(第1通過点(p1)、第2通過点(p2))を、通過したか否かを示す情報が格納される。"経路"に出発地(Q)から目的地(P)までが登録されると、デフォルトとしてそれぞれ"未通過"が格納され、ユーザ120が各通過点を通過するごとに、"通過"に変更される。
図7の例では、ユーザ120が、出発地(Q)から第1通過点(p1)に向かって移動を開始したため、出発地(Q)に対応する"通過/未通過"の欄が"通過"に変更されている。一方、ユーザ120は、第1通過点(p1)に到達していないため、第1通過点(p1)に対応する"通過/未通過"の欄は、"未通過"のままとなっている。同様に、第2通過点(p2)、目的地(Q)に対応する"通過/未通過"の欄も、"未通過"のままとなっている。
"次の通過点の方角情報(方角α)"には、方向情報管理部604により算出された方角αが格納される。方向情報管理部604は、ユーザ120が向かっている次の通過点に対応する欄に、算出した方角αを格納する。図7の例では、ユーザ120は、第1通過点(p1)に向かっているため、方向情報管理部604は、第1通過点(p1)に対応する欄に、算出した方角αを格納する。
"現在方角情報(方角β)"には、方向情報管理部604により取得された方角βが格納される。方向情報管理部604は、ユーザ120が向かっている次の通過点に対応する欄に、取得した方角βを格納する。図7の例では、ユーザ120は、第1通過点(p1)に向かっているため、方向情報管理部604は、第1通過点(p1)に対応する欄に、取得した方角βを格納する。
"第1の方向情報(θ)"には、方向情報管理部604により算出された第1の方向情報θが格納される。第1の方向情報θは、方角αと方角βと基づいて算出されるため、方向情報管理部604は、方角αと方角βとを格納した欄に対応する欄に、第1の方向情報θを格納する。
"次の通過点までの距離(D)"には、方向情報管理部604により算出された距離Dが格納される。また、"次の通過点との高度差(L)"には、方向情報管理部604により算出された高度差Lが格納される。更に、"第2の方向情報(θ)"には、方向情報管理部604により算出された第2の方向情報θが格納される。
"現在速度情報(S)"には、移動量情報管理部605により取得された移動速度Sが格納される。また、"通過点方向の成分(Sp)"には、移動量情報管理部605により算出された移動速度Spが格納される。更に、"移動時間情報(Tx)"には、移動量情報管理部605により算出された移動時間情報Txが格納される。
次に、ヘッドマウントディスプレイ110の表示面111に表示される矢印の態様(方向情報に応じた矢印の態様)について説明する。図8は、方向情報に応じた矢印の態様を説明するための図である。
図8に示すように、ヘッドマウントディスプレイ110では、ユーザ120に対して移動方向を案内するために、少なくとも6方向の態様を規定している。具体的には、前方向、後方向、右方向、左方向、上方向、下方向である。
前方向の矢印811は、ヘッドマウントディスプレイ110の表示面111に略直交する軸801において、ユーザ120の目線方向と同じ方向を指すものである。後方向の矢印812は、軸801において、ユーザ120の目線方向と反対方向を指すものである。
上述したように、方向情報管理部604により算出された第1の方向情報θが、0°に近い場合、矢印表示制御部606では、前方向の矢印811を選択する。また、方向情報管理部604により算出された第1の方向情報θが、180°に近い場合、矢印表示制御部606では、後方向の矢印812を選択する。
右方向の矢印821は、ヘッドマウントディスプレイ110の表示面111と略平行な軸のうちの水平方向の軸802において、ユーザ120から見て右側に向かう方向を指すものである。また、左方向の矢印822は、軸802において、ユーザ120から見て左側に向かう方向を指すものである。
上述したように、方向情報管理部604により算出された第1の方向情報θが、90°に近い場合、矢印表示制御部606では、右方向の矢印821を選択する。また、方向情報管理部604により算出された第1の方向情報θが、−90°に近い場合、矢印表示制御部606では、左方向の矢印822を選択する。
上方向の矢印831は、ヘッドマウントディスプレイ110の表示面111と略平行な軸のうちの垂直方向の軸803において、ユーザ120から見て上側に向かう方向を指すものである。また、下方向の矢印832は、軸803において、ユーザ120から見て下側に向かう方向を指すものである。
上述したように、方向情報管理部604により算出された第2の方向情報θが、90°に近い場合、矢印表示制御部606では、上方向の矢印831を選択する。また、方向情報管理部604により算出された第2の方向情報θが、−90°に近い場合、矢印表示制御部606では、下方向の矢印832を選択する。
なお、ユーザ120に対して案内する移動方向は6方向に限定されるものではなく、6方向の間の方向(例えば、右方向と前方向との間の右前方向等)を示す矢印の態様を規定してもよいことは言うまでもない。
図8に示すように、6方向の矢印のうち、前方向の矢印811と後方向の矢印812は、3次元形状の表現形式により表現されている。一方、上方向、下方向、右方向、左方向の矢印(821〜832)は、2次元形状の表現形式により表現されている。これにより、ユーザ120は、前方向の矢印811と上方向の矢印831とを区別することができる。また、ユーザ120は、後方向の矢印812と下方向の矢印832とを区別することができる。
次に、ヘッドマウントディスプレイ110の表示面111に表示される矢印の態様(移動時間情報Txに応じた矢印の態様)について説明する。図9は、移動時間情報に応じた矢印の態様を説明するための図である。
図9に示すように、ヘッドマウントディスプレイ110では、ユーザ120に対して移動方向を案内するにあたり、移動時間情報Txに応じた矢印の態様を規定している。具体的には、移動時間情報Txを、3つに分け、それぞれの移動時間情報に応じた態様の矢印を規定している。
なお、図9では、移動時間情報に応じた態様の違いを表現するために、9種類の表現方法を例示列挙している。
"矢印の大きさ"とは、移動時間情報Txの大きさに応じて、矢印の大きさを変える表現方法である。これにより、ユーザ120は、矢印の大きさに基づいて、次の通過点に到達するまでにかかる移動時間を認識することができる。
"矢印の数"とは、移動時間情報Txの大きさに応じて、表示する矢印の数を変える表現方法である。これにより、ユーザ120は、矢印の数に基づいて、次の通過点に到達するまでにかかる移動時間を認識することができる。
"矢印の長さ"とは、移動時間情報Txの大きさに応じて、矢印の長さを変える(幅は維持したまま長さのみを変える)表現方法である。これにより、ユーザ120は、矢印の長さに基づいて、次の通過点に到達するまでにかかる移動時間を認識することができる。
"矢印の点滅速度"とは、移動時間情報Txの大きさに応じて、矢印を点滅させる際の点滅間隔を変える表現方法である。これにより、ユーザ120は、例えば、矢印の点滅間隔が短くなったことをもって、次の通過点に到達するまでにかかる移動時間が短くなったことを認識することができる。
"矢印のアニメーション速度"とは、矢印画像を移動方向に向かって移動させるアニメーションにおいて、移動時間情報Txの大きさに応じて、矢印画像を移動方向に向かって移動させる際の速度(アニメーション速度)を変える表現方法である。これにより、ユーザ120は、例えば、アニメーション速度が速くなったことをもって、次の通過点に到達するまでにかかる移動時間が短くなったことを認識することができる。
"矢印のアローヘッドの形状"とは、移動時間情報Txの大きさに応じて、矢印のアローヘッドの長さを変える(矢印全体の幅、及び矢印のシャフトの幅、長さを維持したまま、アローヘッドの長さのみを変える)表現方法である。これにより、ユーザ120は、矢印のアローヘッドの長さに基づいて、次の通過点に到達するまでにかかる移動時間を認識することができる。
"矢印のシャフトの長さ"とは、移動時間情報Txの大きさに応じて、矢印のシャフトの長さを変える(矢印全体の幅、及び矢印のアローヘッドの幅、長さを維持したまま、シャフトの長さのみを変える)表現方法である。これにより、ユーザ120は、矢印のシャフトの長さに基づいて、次の通過点に到達するまでにかかる移動時間を認識することができる。
"矢印の透過率"とは、移動時間情報Txの大きさに応じて、矢印の内部を塗りつぶしている色の透過率を変える表現方法である。これにより、ユーザ120は、例えば、透過率が高い場合には、次の通過点に到達するまでにかかる移動時間が長いことを認識し、透過率が低い場合には、次の通過点に到達するまでにかかる移動時間が短いことを認識することができる。
"矢印のグラデーション"とは、移動時間情報Txの大きさに応じて、矢印の内部を塗りつぶしている色のグラデーションの範囲を変える表現方法である。これにより、ユーザ120は、例えば、グラデーションの範囲が狭く、色の変化が少ない場合には、次の通過点に到着するまでにかかる移動時間が長いことを認識することができる。また、ユーザ120は、グラデーションの範囲が広く、色の変化が大きい場合には、次の通過点に到達までにかかる移動時間が短いことを認識することができる。
次に、ヘッドマウントディスプレイ110による誘導処理の流れについて説明する。図10は、ヘッドマウントディスプレイ110による誘導処理の流れを示すフローチャートである。
ヘッドマウントディスプレイ110を起動させると、図10に示す誘導処理が開始される。ステップS1001において、目的地入力部601は、ユーザ120が操作部206を介して入力した、目的地(P)を特定するための情報を受け付ける。目的地(P)を特定するための情報には、目的地(P)の名称、住所、電話番号等、目的地(P)を特定可能な情報であれば、任意の情報を受け付けることができる。なお、目的地入力部601では、目的地(P)を特定するための情報を経路情報取得部603に通知する。
ステップS1002において、現在位置情報取得部602は、GPS部209の検出結果に基づいて、ユーザ120の現在位置情報(緯度、経度、高度)の取得を開始する。また、現在位置情報取得部602は、地磁気センサの検知結果に基づく方角αの取得を開始する。更に、現在位置情報取得部602は、加速度センサの検出結果に基づく移動速度Sの取得を開始する。現在位置情報取得部602では、所定周期ごとに取得される現在位置情報(緯度、経度、高度)のうち、例えば、最初に取得した現在位置情報(緯度、経度、高度)を経路情報取得部603に通知する。また、現在位置情報取得部602では、所定周期ごとに取得される現在位置情報(緯度、経度、高度)、方角α、移動速度Sを、情報管理DB611に順次格納する。
ステップS1003において、経路情報取得部603は、目的地(P)を特定するための情報と、現在位置情報(緯度、経度、高度)とを含む経路情報要求を、サーバ装置150に対して送信する。
これにより、サーバ装置150では、目的地(P)を特定するための情報に基づいて、地図情報DB152を参照することで目的地(P)を特定し、特定した目的地(P)の緯度、経度、高度を導出する。また、地図情報DB152を参照することで、受信した現在位置情報を出発地(Q)の位置情報とした、出発地(Q)から目的地(P)までの経路を導出する。また、サーバ装置150では、出発地(Q)から目的地(P)までの間の経路300における各通過点(第1通過点(p1)、第2通過点(p2))を抽出し、各通過点の緯度、経度、高度を導出する。更に、サーバ装置150では、目的地(P)の緯度、経度、高度、出発地(Q)の緯度、高度、経度、第1及び第2通過点(p1、p2)の緯度、経度、高度を含む経路情報を生成し、経路情報要求を送信したヘッドマウントディスプレイ110に対して送信する。
ステップS1004において、経路情報取得部603は、サーバ装置150より送信された経路情報を取得する。また、取得した経路情報を情報管理DB611に格納する。
ステップS1005において、矢印表示制御部606は、矢印更新間隔Twに、初期値(=Tw)を代入する。ステップS1006において、矢印表示制御部606は、通過点カウンタnに初期値(=1)を代入する。
ステップS1007において、方向情報管理部604は、第n通過点(ここでは第1通過点)に対する第1の方向情報θと第2の方向情報θを算出する。方向情報管理部604では、算出した第1の方向情報θと第2の方向情報θを、情報管理DB611に格納する。
ステップS1008において、移動量情報管理部605は、情報管理DB611に格納された第1の方向情報θと移動速度Sとに基づいて、第n通過点に向かう方向の移動速度Spを算出する。移動量情報管理部605では、算出した移動速度Spを情報管理DB611に格納する。更に、移動量情報管理部605では、情報管理DB611に格納された距離Dと、移動速度Spとに基づいて、移動時間情報Txを算出し、情報管理DB611に格納する。
ステップS1009において、矢印表示制御部606は、ステップS1007、S1008において情報管理DB611に格納された第1の方向情報θ及び第2の方向情報θと、移動時間情報Txとに基づいて、表示する矢印の態様を決定する。更に、決定した態様により、矢印画像を生成し、表示部208に表示する。なお、矢印表示制御処理の詳細は後述する。
ステップS1010において、矢印表示制御部606は、ユーザ120が目的地(P)に到達したか否かを判定する。ステップS1010において、目的地(P)に到達していないと判定した場合には、ステップS1011に進む。
ステップS1011において、矢印表示制御部606は、ユーザ120が次の通過点である第n通過点(ここでは、第1通過点)に到達したか否かを判定する。ステップS1011において、第n通過点に到達したと判定した場合には、ステップS1012に進み、通過点カウンタnをインクリメントした後、ステップS1013に進む。
一方、ステップS1011において、第n通過点に到達していないと判定した場合には、直接、ステップS1013に進む。
ステップS1013において、矢印表示制御部606は、更新周期算出処理を実行する。更新周期周期算出処理を実行することで、矢印更新間隔Twが変更された場合には、変更後の矢印更新間隔(ここではTw)が経過することで、ステップS1007に戻る。一方、矢印更新間隔Twが変更されなかった場合には、現状の矢印更新間隔(ここでは、Tw)が経過することで、ステップS1007に戻る。なお、更新周期算出処理の詳細は後述する。
ステップS1012において通過点カウンタnがインクリメント(ここでは、n=2)された場合には、ステップS1007では、第2通過点(p2)に対する第1の方向情報θ、第2の方向情報θが算出される。その後、ステップS1008からステップS1013までの処理が行われる。
一方、ステップS1012において通過点カウンタnがインクリメントされなかった場合には、ステップS1007では、第1通過点(p1)に対する第1の方向情報θ、第2の方向情報θが算出される。その後、ステップS1008からステップS1013までの処理が行われる。
更に、ステップS1012において通過点カウンタnがインクリメントされることで、n=3となった場合、本実施形態では、ステップS1007において、目的地(P)に対する第1の方向情報θ、第2の方向情報θを算出する。本実施形態の場合、出発地(Q)から目的地(P)までの間の通過点として、第1通過点と第2通過点の2つの通過点のみが抽出されている。このため、n=3は、目的地(P)であることを示すことになる。
ステップS1008からステップS1013までの処理が繰り返された後、ステップS1010において、目的地(P)に到達したと判定された場合には、誘導処理を終了する。
次に、矢印表示制御部606による矢印表示制御処理(ステップS1009)の詳細について説明する。図11は、矢印表示処理の流れを示すフローチャートである。
ステップS1101において、矢印表示制御部606は、ステップS1007において算出された第2の方向情報|θ|が、所定の閾値TH以上であるか否かを判定する。第2の方向情報|θ|が所定の閾値TH以上であると判定した場合には、ステップS1102に進む。
ステップS1102において、矢印表示制御部606は、上方向矢印または下方向矢印を選択する。なお、第2の方向情報θが正の値であり、所定の閾値TH以上の場合には、矢印表示制御部606は、上方向の矢印831を選択する。一方、第2の方向情報θが負の値であり、所定の閾値−TH以下の場合には、矢印表示制御部606は、下方向の矢印832を選択する。
一方、ステップS1101において、第2の方向情報|θ|が、所定の閾値THより小さいと判定した場合には、ステップS1103に進む。ステップS1103において、矢印表示制御部606は、ステップS1007において算出された第1の方向情報|θ|が、所定の閾値TH以下であるか否かを判定する。第1の方向情報|θ|が所定の閾値TH以下であると判定した場合には、ステップS1104に進む。ステップS1104において、矢印表示制御部606は、前方向の矢印811を選択する。
一方、ステップS1103において、第1の方向情報|θ|が所定の閾値THより大きいと判定した場合には、ステップS1105に進む。ステップS1105において、矢印表示制御部606は、ステップS1007において算出した第1の方向情報θが、所定の閾値(180−TH)以上、かつ(180+TH)以下であるか否かを判定する。
ステップS1105において、第1の方向情報θが所定の閾値(180−TH)以上、かつ、所定の閾値(180+TH)以下であると判定した場合には、ステップS1106に進む。ステップS1106において、矢印表示制御部606は、後方向の矢印812を選択する。
一方、ステップS1105において、第1の方向情報θが、所定の閾値(180−TH)より小さいか、あるいは、所定の閾値(180+TH)より大きいと判定した場合には、ステップS1107に進む。
ステップS1107において、矢印表示制御部606は、右方向の矢印821または左方向の矢印822を選択する。なお、第1の方向情報θが所定の閾値THより大きく、かつ、所定の閾値(180−TH)より小さい場合、矢印表示制御部606では右方向の矢印821を選択する。一方、第1の方向情報θが所定の閾値(360−TH)より小さく、かつ、所定の閾値(180+TH)より大きい場合、矢印表示制御部606では左方向の矢印822を選択する。
ステップS1108において、矢印表示制御部606は、移動時間情報Txが所定の閾値TH31以下であるか否かを判定する。ステップS1108において、移動時間情報Txが所定の閾値TH31以下であると判定した場合には、ステップS1109に進む。
ステップS1109において、矢印表示制御部606は、移動時間=小に規定された矢印の態様を選択する。
一方、ステップS1108において、移動時間情報Txが所定の閾値TH31より大きいと判定した場合には、ステップS1110に進む。
ステップS1110において、矢印表示制御部606は、移動時間情報Txが所定の閾値TH31より大きく、かつ所定の閾値TH32以下であるか否かを判定する。ステップS1110において、所定の閾値TH31より大きく、かつ、所定の閾値TH32以下であると判定した場合には、ステップS1111に進む。
ステップS1111において、矢印表示制御部606は、移動時間=中に規定された矢印の態様を選択する。
一方、ステップS1110において、移動時間情報Txが所定の閾値TH32より大きいと判定した場合には、ステップS1112に進む。ステップS1112において、矢印表示制御部606は、移動時間=大に規定された矢印の態様を選択する。
ステップS1113において、矢印表示制御部606は、選択した矢印を表示する。具体的には、ステップS1101からステップS1107において選択された矢印と、ステップS1108からステップS1113において選択された矢印の態様とを組み合わせることで生成した態様の矢印を表示する。
例えば、ステップS1101からステップS1107において、前方向の矢印811が選択され、ステップS1108からステップS1113において、移動時間=中の矢印の態様が選択されたとする。この場合、例えば、前方向の矢印811が、縦に2つ並んだ矢印群が表示されることになる。
次に、矢印表示制御部606による更新周期算出処理(ステップS1013)の詳細について説明する。図12は、更新周期算出処理の流れを示すフローチャートである。
ステップS1201において、矢印表示制御部606は、移動時間情報Txを情報管理DB611より読み出す。
ステップS1202において、矢印表示制御部606は、移動時間情報Txが所定の閾値TH31以下であるか否かを判定する。ステップS1202において、移動時間情報Txが所定の閾値TH31以下であると判定した場合には、ステップS1203に進む。
ステップS1203において、矢印表示制御部606は、矢印更新間隔TwにTwを代入(ただし、Tw>Tw)した後、ステップS1206に進む。
一方、ステップS1202において、移動時間情報Txが所定の閾値TH31より大きいと判定した場合には、ステップS1204に進む。
ステップS1204において、矢印表示制御部606は、移動時間情報Txが所定の閾値TH31より大きく、かつ所定の閾値TH32以下であるか否かを判定する。ステップS1204において、移動時間情報Txが所定の閾値TH31より大きく、かつ所定の閾値TH32以下であると判定した場合には、ステップS1205に進む。
ステップS1205において、矢印表示制御部606は、矢印更新間隔TwにTwを代入(ただし、Tw>Tw>Tw)した後、ステップS1206に進む。
一方、ステップS1204において、移動時間情報Txが所定の閾値TH32より大きいと判定した場合には、直接、ステップS1206に進む。この場合、矢印更新間隔Twは初期値Twのまま変更されない。
ステップS1206において、矢印表示制御部606は、矢印更新間隔Twのカウントを開始し、矢印更新間隔Twが経過したか否かを判定する。ステップS1206において、矢印更新間隔Twが経過していないと判定した場合には、経過するまで待機する。一方、矢印更新間隔Twが経過したと判定した場合には、ステップS1007に戻る。
次に、出発地(Q)から目的地(P)までの間の各位置における矢印の表示例について説明する。図13は、出発地(Q)から目的地(P)までの間の各位置における矢印の表示例を示す図である。
図13において、画面表示1301〜1308は、経路300内の各地点において、表示部208に表示される矢印画像の一例を示している。
図13に示すように、出発地(Q)においてユーザ120は、第1通過点(p1)の方角を向いているため、矢印表示制御部606では、前方向の矢印811を選択する。また、ユーザ120の現在位置から第1通過点(p1)までの移動時間=大であるため、矢印表示制御部606は、移動時間=大に対応する矢印の態様を選択する。この結果、表示部208には、画面表示1301が表示されることになる。
また、ユーザ120が出発地(Q)を出発して、第1通過点(p1)に近づくと、矢印表示制御部606は、第1通過点(p1)までの移動時間=小と判定し、移動時間=小に対応する矢印の態様を選択する。この結果、表示部208には、画面表示1302が表示されることになる。
また、ユーザ120が第1通過点(p1)に到達した時点で、ユーザ120は、第1通過点(p2)の方角とは略直交する方角を向いているため、矢印表示制御部606は、右方向の矢印821を選択する。また、矢印表示制御部606は、第2通過点(p2)までの移動時間=大と判定し、移動時間=大に対応する矢印の態様を選択する。この結果、表示部208には、画面表示1303が表示されることになる。
画面表示1303が表示されることで、ユーザ120は第2通過点(p2)の方角に向きを変え、第1通過点(p1)を通過し、第2通過点(p2)へと移動する。
このとき、ユーザ120は、第2通過点(p2)の方角を向いているため、矢印表示制御部606は、前方向の矢印811を選択する。また、矢印表示制御部606は、第2通過点(p2)までの移動時間=大と判定し、移動時間=大に対応する矢印の態様を選択する。この結果、表示部208には、画面表示1304が表示されることになる。
また、ユーザ120が第2通過点(p2)に近づくと、矢印表示制御部606は、第2通過点(p2)までの移動時間=小と判定し、移動時間=小に対応する矢印の態様を選択する。この結果、表示部208には、画面表示1305が表示されることになる。
また、ユーザ120が第2通過点(p2)に到達した時点で、ユーザ120は、目的地(P)の方角とは略直交する方角を向いているため、矢印表示制御部606は、左方向の矢印を選択する。また、矢印表示制御部606は、目的地(P)までの移動時間=大と判定し、移動時間=大に対応する矢印の態様を選択する。この結果、表示部208には、画面表示1306が表示されることになる。
画面表示1306が表示されることで、ユーザ120は目的地(P)の方角に向きを変え、第2通過点(p2)を通過し、目的地(P)へと移動する。
このとき、ユーザ120は、目的地(P)の方角を向いているため、矢印表示制御部606は前方向の矢印811を選択する。また、矢印表示制御部606は、目的地(P)までの移動時間=大と判定し、移動時間=大に対応する矢印の態様を選択する。この結果、表示部208には、画面表示1307が表示されることになる。
更に、ユーザ120が目的地(P)の真下に到達した時点で、表示部208には、上方向の矢印831が表示される(画面表示1308参照)。これにより、ユーザ120は階段やエレベータ等を用いて、階上の目的地(P)に到達することができる。
次に、出発地(Q)から目的地(P)までの間の各地点間(出発地(Q)から第1通過点(p1)までの間、第1通過点(p1)から第2通過点(p2)までの間、第2通過点(p2)から目的地Pまでの間)における矢印画像の更新周期の具体例について説明する。このうち、図14は、第1通過点(p1)から第2通過点(p2)までの間の矢印の更新周期を示す図である。
図14に示すように、第2通過点(p2)に到達するまでの移動時間情報Twが所定の閾値TH32よりも大きい場合には、矢印更新間隔Tw=Twである。このため、移動時間情報Twが所定の閾値TH32よりも大きい場合には、移動時間=大に対応する矢印の態様が、比較的長い更新周期(Tw)で表示されることになる。
一方、第2通過点(p2)に到達するまでの移動時間情報Twが所定の閾値TH32以下であって、かつ、所定の閾値TH31より大きい場合には、矢印更新間隔Tw=Twとなる。このため、移動時間=中に対応する矢印の態様が、中程度の更新周期(Tw)で表示されることになる。
また、第2通過点(p2)に到達するまでの移動時間情報Twが所定の閾値TH31以下の場合には、矢印更新間隔Tw=Twとなる。このため、移動時間=小に対応する矢印の態様が、比較的短い更新周期(Tw)で表示されることになる。
以上の説明から明らかなように、本実施形態に係るヘッドマウントディスプレイは、上方向と前方向、及び下方向と後方向との区別が可能な態様で矢印を表示する。
これにより、ヘッドマウントディスプレイを装着したユーザは、表示された矢印が、前方と上方のいずれを示しているのか、または、後方と下方のいずれを示しているのかを簡単に把握することができる。
また、本実施形態に係るヘッドマウントディスプレイは、現在位置から次の通過点に到達するまでの移動時間情報Twに応じた態様で矢印を表示する。
これにより、ヘッドマウントディスプレイを装着したユーザは、次の通過点に到達するまでにかかる移動時間を、矢印の態様に基づいて認識することができる。
[第2の実施形態]
上記第1の実施形態では、前方と上方のいずれを示しているのか、または、後方と下方のいずれを示しているのかを区別できるように、前方向及び後方向の矢印を、3次元形状の表現形式により表現した。
しかしながら、矢印の表現形式はこれに限定されず、例えば、3次元空間を示す画像をあわせて表示する表現形式であってもよい。
図15は、出発地(Q)から目的地(P)までの間の各位置における矢印の他の表示例を示す図である。図15に示すように、本実施形態では、矢印自体を3次元形状の表現形式にする代わりに、矢印の背景を3次元形状の表現形式としている。具体的には3次元コンパスの画像に、2次元の矢印画像を重畳して表示させている(画面表示1501〜1508参照)。
このように、3次元コンパスの画像を用いることで、2次元の矢印画像を表示させた場合であっても、前方向の矢印と上方向の矢印とを容易に区別することできる。また、後方向の矢印と下方向の矢印とを容易に区別することができる。
[第3の実施形態]
上記第1及び第2の実施形態では、ヘッドマウントディスプレイ110に、ユーザが操作するための操作機能とサーバ装置150と通信するための通信機能とを配した。しかしながら、ヘッドマウントディスプレイを表示部として機能させ、ヘッドマウントディスプレイとの間で近距離無線通信を行う携帯端末に、操作機能と通信機能とを配するようにしてもよい。以下、第3の実施形態について、第1及び第2の実施形態との相違点を中心に説明する。
はじめに、第3の実施形態におけるヘッドマウントディスプレイと携帯端末とを用いたナビゲーションシステムの全体構成について説明する。図16は、ヘッドマウントディスプレイと携帯端末とを用いたナビゲーションシステムの全体構成の一例を示す図である。
図16に示すように、ナビゲーションシステム1600は、ヘッドマウントディスプレイ1610と、携帯端末1620と、サーバ装置150とを有する。ヘッドマウントディスプレイ1610と携帯端末1620とは、近距離無線により通信を行う。また、携帯端末1620とサーバ装置150とは、ネットワーク160を介して接続されている。
ヘッドマウントディスプレイ1610は、ナビゲーションシステム1600において、主に表示部として機能し、携帯端末1620からの指示に基づいて表示を行う。
携帯端末1620は、ナビゲーションシステム1600において、ユーザ120による目的地(P)の入力操作を受け付ける操作部として機能する。また、携帯端末1620は、サーバ装置150に対して経路情報要求を送信するとともに、サーバ装置150から送信された経路情報を受信する通信部としても機能する。更に、携帯端末1620は、ヘッドマウントディスプレイ1610に表示する矢印を生成し、矢印の表示を制御する表示制御部としても機能する。
次に、ヘッドマウントディスプレイ1610及び携帯端末1620のハードウェア構成について説明する。図17は、ヘッドマウントディスプレイ及び携帯端末のハードウェア構成の一例を示す図である。
このうち、図17(a)は、ヘッドマウントディスプレイ1610のハードウェア構成を示している。なお、図2に示したヘッドマウントディスプレイ110のハードウェア構成との相違点は、ヘッドマウントディスプレイ1610には、操作部206の代わりに操作スイッチ1701が設けられている点、及びGPS部209が設けられていない点である。操作スイッチ1701は、ヘッドマウントディスプレイ1610の起動/停止を指示するスイッチである。なお、ヘッドマウントディスプレイ1610における通信部205は、携帯端末1620との間で近距離無線通信を行うものとする。
一方、図17(b)は、携帯端末1620のハードウェア構成を示している。携帯端末1620のハードウェア構成は、図2に示したヘッドマウントディスプレイ110のハードウェア構成と概ね同じである。図2に示したヘッドマウントディスプレイ110との相違点は、撮像部207が設けられていない点、及びセンサ部210が設けられていない点である。なお、携帯端末1620の第1通信部1718は、ヘッドマウントディスプレイ1610との間で近距離無線通信を行い、第2通信部1719は、サーバ装置150との間でネットワーク160を介して通信を行うものとする。
次に、ヘッドマウントディスプレイ1610と携帯端末1620の機能構成について説明する。図18は、ヘッドマウントディスプレイ1610と携帯端末1620の機能構成を示す図である。
図18(a)に示すように、ヘッドマウントディスプレイ1610は、センサ情報取得部1801と矢印表示部1802とを有する。
センサ情報取得部1801は、センサ部210に含まれる地磁気センサの出力に基づいて、ユーザ120が向いている方角βを取得する。また、センサ情報取得部1801は、センサ部210に含まれる加速度センサの出力に基づいて、ユーザ120の移動速度Sを算出する。更に、センサ情報取得部1801は、方角βと算出した移動速度Sとを、現在方角情報と現在速度情報として所定周期で携帯端末1620に送信する。
矢印表示部1802は、携帯端末1620において生成された矢印画像を、表示部208に表示する。なお、矢印表示部1802では、撮像部207により撮像された画像情報を解析することで、表示面111を介して視認される現実の物体の位置に合うように、矢印画像の表示位置を算出し、表示面111に表示する。
また、図18(b)に示すように、携帯端末1620は、目的地入力部601、現在位置情報取得部1811、経路情報取得部603、方向情報管理部604、移動量情報管理部605、矢印表示制御部1812を有する。なお、目的地入力部601、経路情報取得部603〜移動量情報管理部605は、図6に示したヘッドマウントディスプレイ110の目的地入力部601、経路情報取得部603〜移動量情報管理部605と同じであるため、ここでは説明を省略する。
現在位置情報取得部1811は、GPS部1717により取得された緯度、経度、高度に基づいて、携帯端末1620の現在位置を識別し、現在位置情報を経路情報取得部603に通知する。また、現在位置情報取得部602は、現在位置情報を情報管理DB611に格納する。
また、現在位置情報取得部1811は、ヘッドマウントディスプレイ1610のセンサ情報取得部1801から送信された現在方角情報(方角β)と現在速度情報(移動速度S)とを取得し、情報管理DB611に格納する。
矢印表示制御部1812は、方向情報管理部604により算出された第1の方向情報θ及び第2の方向情報θと、移動量情報管理部605により算出された移動時間情報Txとに基づいて、表示部208に表示する矢印画像を生成する。矢印表示制御部1812では、矢印画像の生成に際して、矢印情報DB612を参照する。
また、矢印表示制御部1812は、生成した矢印画像をヘッドマウントディスプレイ1610に送信し、表示部208に表示するよう、矢印表示部1802に指示する。
以上の説明から明らかなように、本実施形態によれば、ヘッドマウントディスプレイと携帯端末とを用いてナビゲーションシステムを形成した場合であっても、上記第1及び第2の実施形態と同様の効果を得ることができる。
[第4の実施形態]
上記第1乃至第3の実施形態では、ヘッドマウントディスプレイを、目的地に到達するまでの経路案内を行うナビゲーションシステムに適用した場合について説明した。これに対して、第4の実施形態では、所定のAR(Augmented Reality)マーカが付加された対象物までの経路案内を行い、ARマーカが検出された場合に、ARマーカに予め対応付けられた情報を表示するシステムに適用する場合について説明する。以下、ナビゲーションシステムと、ARマーカの表示システムとを組み合わせたシステムを、ARナビゲーションシステムと称す。
図19は、ヘッドマウントディスプレイを用いたARナビゲーションシステムにおける表示画面例を示す図である。
図19(a)は、ヘッドマウントディスプレイ110を装着した作業者が、倉庫内を移動し、所定のARマーカが付加された所定の梱包物に到達できるように、矢印画像141を表示した様子を示している。図19(a)の場合、目的地(P)は、所定の梱包物が載置された位置であり、目的地(P)までの経路300は、倉庫内の通路となる。
図19(a)に示すように、矢印画像141に従って移動することで、作業者は、所定の梱包物が載置された位置まで到達することができる。
図19(b)は、所定の梱包物が載置された位置に到達した様子を示している。本実施形態におけるヘッドマウントディスプレイの場合、ARマーカ1901を識別する機能が備えられている。
このため、ヘッドマウントディスプレイ110では、撮像部207により撮像された画像情報に基づいてARマーカ1901を識別し、ARマーカ1901に対応付けられた情報を表示部208に表示することができる。
図19(b)の例では、所定の梱包物の搬送先が、ARマーカ1901に対応付けられている。これにより、作業者は、ARマーカ1901に対応付けられた情報に従って、次の作業を行うことができる。
このように、本実施形態によれば、ヘッドマウントディスプレイを、ARナビゲーションシステムに適用することも可能となる。
[その他の実施形態]
上記第1乃至第4の実施形態では、現在位置情報を取得するにあたりGPS部を設けたが、現在位置情報の取得方法は、GPS方式に限定されず、他の取得方法により取得するようにしてもよい。
上記第1乃至第4の実施形態では、矢印表示制御処理において、はじめに、上方向の矢印または下方向の矢印であるかを判定し、次に、前方向の矢印または後方向の矢印であるかを判定し、最後に、右方向の矢印または左方向の矢印であるかを判定した。しかしながら、判定の順序はこれに限定されず、任意の順序で判定を行うようにしてもよい。
また、上記第1乃至第4の実施形態では、矢印表示制御処理において、はじめに移動時間=小であるかを判定し、次に、移動時間=中であるかを判定し、最後に移動時間=大であるかを判定した。しかしながら、判定の順序はこれに限定されず、任意の順序で判定を行うようにしてもよい。
また、上記第1乃至第4の実施形態では、次の通過点に到達するまでの移動時間である移動時間情報Txに基づいて、矢印の態様を選択したが、例えば、次の通過点に到達するまでの距離Dに基づいて、矢印の態様を選択するようにしてもよい。
また、上記第3の実施形態では、図17においてヘッドマウントディスプレイ1610と携帯端末1620のハードウェア構成を説明するにあたり、センサ部210をヘッドマウントディスプレイ1610に配するものとした。しかしながら、センサ部210は携帯端末1620に配してもよい。また、GPS部1717を携帯端末1620に配するものとしたが、GPS部1717は、ヘッドマウントディスプレイ1610に配してもよい。
なお、開示の技術では、以下に記載する付記のような形態が考えられる。同様に、図18において、ヘッドマウントディスプレイ1610と携帯端末1620の機能構成を説明したが、図18に示す機能区分は一例にすぎず、他の機能区分により実現してもよいことはいうまでもない。
(付記1)
ヘッドマウントディスプレイの表示制御方法において、
位置センサにより検出された前記ヘッドマウントディスプレイの位置情報を取得し、
位置情報と方向情報とを対応付ける情報を参照して、取得した前記位置情報に対応する方向情報を取得し、
取得した前記方向情報に応じた矢印の表示を、前記ヘッドマウントディスプレイの表示部に出力し、
前記矢印の表示を出力する際、
取得した前記方向情報が前方を示す場合と上方を示す場合とで、互いに異なる態様の矢印の表示を行い、取得した前記方向情報が後方を示す場合と下方を示す場合とで、互いに異なる態様の矢印の表示を行う、
処理をコンピュータが実行することを特徴とするヘッドマウントディスプレイの表示制御方法。
(付記2)
前記矢印の表示を出力する際、前記ヘッドマウントディスプレイの速度または加速度に応じた態様の矢印の表示を行う、
ことを特徴とする付記1に記載のヘッドマウントディスプレイの表示制御方法。
(付記3)
前記矢印の表示を出力する際、前記ヘッドマウントディスプレイの速度または加速度に応じて算出される、所定の位置に到達するまでの時間に基づいて、表示の更新周期を変更する、
ことを特徴とする付記2に記載のヘッドマウントディスプレイの表示制御方法。
(付記4)
前記ヘッドマウントディスプレイの速度または加速度は、前記ヘッドマウントディスプレイにおいて検出された速度または加速度のうち、前記方向情報に応じた成分の速度または加速度であることを特徴とする付記2または付記3に記載のヘッドマウントディスプレイの表示制御方法。
(付記5)
位置センサにより検出されたヘッドマウントディスプレイの位置情報を取得し、
位置情報と方向情報とを対応付ける情報を参照して、取得した前記位置情報に対応する方向情報を取得し、
取得した前記方向情報に応じた矢印の表示を、前記ヘッドマウントディスプレイの表示部に出力し、
前記矢印の表示を出力する際、
取得した前記方向情報が前方を示す場合と上方を示す場合とで、互いに異なる態様の矢印の表示を行い、取得した前記方向情報が後方を示す場合と下方を示す場合とで、互いに異なる態様の矢印の表示を行う、
処理をコンピュータに実行させることを特徴とするプログラム。
(付記6)
ヘッドマウントディスプレイと通信する情報処理端末であって、
位置センサにより検出された前記ヘッドマウントディスプレイの位置情報を取得する第1の取得手段と、
位置情報と方向情報とを対応付ける情報を参照して、取得した前記位置情報に対応する方向情報を取得する第2の取得手段と、
取得した前記方向情報に応じた矢印の表示を、前記ヘッドマウントディスプレイの表示部に出力する表示制御手段と、を有し、
前記表示制御手段は、前記矢印の表示を出力する際、
取得した前記方向情報が前方を示す場合と上方を示す場合とで、互いに異なる態様の矢印の表示を行い、取得した前記方向情報が後方を示す場合と下方を示す場合とで、互いに異なる態様の矢印の表示を行うことを特徴とする情報処理端末。
(付記7)
ヘッドマウントディスプレイであって、
位置センサにより検出された前記ヘッドマウントディスプレイの位置情報を取得する第1の取得手段と、
位置情報と方向情報とを対応付ける情報を参照して、取得した前記位置情報に対応する方向情報を取得する第2の取得手段と、
取得した前記方向情報に応じた矢印の表示を、表示部に出力する表示制御手段と、を有し、
前記表示制御手段は、前記矢印の表示を出力する際、
取得した前記方向情報が前方を示す場合と上方を示す場合とで、互いに異なる態様の矢印の表示を行い、取得した前記方向情報が後方を示す場合と下方を示す場合とで、互いに異なる態様の矢印の表示を行うことを特徴とするヘッドマウントディスプレイ。
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
100 :ナビゲーションシステム
110 :ヘッドマウントディスプレイ
111 :表示面
141 :矢印画像
142 :マーク画像
150 :サーバ装置
151 :経路情報提供部
152 :地図情報DB
300 :経路
601 :目的地入力部
602 :現在位置情報取得部
603 :経路情報取得部
604 :方向情報管理部
605 :移動量情報管理部
606 :矢印表示制御部
611 :情報管理DB
612 :矢印情報DB
700 :管理情報
811 :前方向の矢印
812 :後方向の矢印
821 :右方向の矢印
822 :左方向の矢印
831 :上方向の矢印
832 :下方向の矢印
1600 :ナビゲーションシステム
1610 :ヘッドマウントディスプレイ
1620 :携帯端末
1801 :センサ情報取得部
1802 :矢印表示部
1811 :現在位置情報取得部
1812 :矢印表示制御部
1901 :ARマーカ

Claims (5)

  1. ヘッドマウントディスプレイの表示制御方法において、
    位置センサにより検出された前記ヘッドマウントディスプレイの現在位置を示す情報を取得し、
    位置を示す情報と前記各位置に対する次の通過点の方向を示す情報とを対応付ける情報を参照して、取得した前記現在位置を示す情報に対応付けられた、前記現在位置に対する次の通過点の方向を示す情報を取得し、
    取得した前記現在位置に対する次の通過点の方向を示す情報に応じた矢印の表示を、前記ヘッドマウントディスプレイの表示部に出力し、
    前記矢印の表示を出力する際、
    取得した前記現在位置に対する次の通過点の方向を示す情報が前方を示す場合と上方を示す場合とで、互いに異なる態様の矢印の表示を自動的に行い、取得した前記現在位置に対する次の通過点の方向を示す情報が後方を示す場合と下方を示す場合とで、互いに異なる態様の矢印の表示を自動的に行う、
    処理をコンピュータが実行することを特徴とするヘッドマウントディスプレイの表示制御方法。
  2. 前記矢印の表示を出力する際、取得した前記現在位置に対する次の通過点までの移動時間情報に応じた態様で、前記矢印の表示を自動的に行う、
    ことを特徴とする請求項1に記載のヘッドマウントディスプレイの表示制御方法。
  3. 位置センサにより検出されたヘッドマウントディスプレイの現在位置を示す情報を取得し、
    位置を示す情報と前記各位置に対する次の通過点の方向を示す情報とを対応付ける情報を参照して、取得した前記現在位置を示す情報に対応付けられた、前記現在位置に対する次の通過点の方向を示す情報を取得し、
    取得した前記現在位置に対する次の通過点の方向を示す情報に応じた矢印の表示を、前記ヘッドマウントディスプレイの表示部に出力し、
    前記矢印の表示を出力する際、
    取得した前記現在位置に対する次の通過点の方向を示す情報が前方を示す場合と上方を示す場合とで、互いに異なる態様の矢印の表示を自動的に行い、取得した前記現在位置に対する次の通過点の方向を示す情報が後方を示す場合と下方を示す場合とで、互いに異なる態様の矢印の表示を自動的に行う、
    処理をコンピュータに実行させることを特徴とするプログラム。
  4. ヘッドマウントディスプレイと通信する情報処理端末であって、
    位置センサにより検出された前記ヘッドマウントディスプレイの現在位置を示す情報を取得する第1の取得手段と、
    位置を示す情報と前記各位置に対する次の通過点の方向を示す情報とを対応付ける情報を参照して、取得した前記現在位置を示す情報に対応付けられた、前記現在位置に対する次の通過点の方向を示す情報を取得する第2の取得手段と、
    取得した前記現在位置に対する次の通過点の方向を示す情報に応じた矢印の表示を、前記ヘッドマウントディスプレイの表示部に出力する表示制御手段と、を有し、
    前記表示制御手段は、前記矢印の表示を出力する際、
    取得した前記現在位置に対する次の通過点の方向を示す情報が前方を示す場合と上方を示す場合とで、互いに異なる態様の矢印の表示を自動的に行い、取得した前記現在位置に対する次の通過点の方向を示す情報が後方を示す場合と下方を示す場合とで、互いに異なる態様の矢印の表示を自動的に行うことを特徴とする情報処理端末。
  5. ヘッドマウントディスプレイであって、
    位置センサにより検出された前記ヘッドマウントディスプレイの現在位置を示す情報を取得する第1の取得手段と、
    位置を示す情報と前記各位置に対する次の通過点の方向を示す情報とを対応付ける情報を参照して、取得した前記現在位置を示す情報に対応付けられた、前記現在位置に対する次の通過点の方向を示す情報を取得する第2の取得手段と、
    取得した前記現在位置に対する次の通過点の方向を示す情報に応じた矢印の表示を、表示部に出力する表示制御手段と、を有し、
    前記表示制御手段は、前記矢印の表示を出力する際、
    取得した前記現在位置に対する次の通過点の方向を示す情報が前方を示す場合と上方を示す場合とで、互いに異なる態様の矢印の表示を自動的に行い、取得した前記現在位置に対する次の通過点の方向を示す情報が後方を示す場合と下方を示す場合とで、互いに異なる態様の矢印の表示を自動的に行うことを特徴とするヘッドマウントディスプレイ。
JP2015133645A 2015-07-02 2015-07-02 表示制御方法、表示制御プログラム、情報処理端末及びヘッドマウントディスプレイ Expired - Fee Related JP6596989B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015133645A JP6596989B2 (ja) 2015-07-02 2015-07-02 表示制御方法、表示制御プログラム、情報処理端末及びヘッドマウントディスプレイ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015133645A JP6596989B2 (ja) 2015-07-02 2015-07-02 表示制御方法、表示制御プログラム、情報処理端末及びヘッドマウントディスプレイ

Publications (2)

Publication Number Publication Date
JP2017015593A JP2017015593A (ja) 2017-01-19
JP6596989B2 true JP6596989B2 (ja) 2019-10-30

Family

ID=57830210

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015133645A Expired - Fee Related JP6596989B2 (ja) 2015-07-02 2015-07-02 表示制御方法、表示制御プログラム、情報処理端末及びヘッドマウントディスプレイ

Country Status (1)

Country Link
JP (1) JP6596989B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6886236B2 (ja) * 2015-09-30 2021-06-16 富士通株式会社 視野誘導方法、視野誘導プログラム、及び視野誘導装置
JP7076286B2 (ja) * 2018-05-25 2022-05-27 理想科学工業株式会社 印刷システム、ウェアラブル端末及びプログラム
JP7223776B2 (ja) * 2019-01-24 2023-02-16 マクセル株式会社 表示端末、アプリケーション制御システムおよびアプリケーション制御方法
AU2020257403B2 (en) 2019-04-17 2023-07-27 Apple Inc. User interfaces for tracking and finding items
EP3963433A4 (en) 2019-04-28 2023-01-25 Apple Inc. PRODUCTION OF TOUCH OUTPUT SEQUENCES ASSOCIATED WITH AN OBJECT
WO2020230262A1 (ja) * 2019-05-14 2020-11-19 マクセル株式会社 画像表示装置、画像表示システムおよび画像表示方法
CN116634377A (zh) 2020-09-25 2023-08-22 苹果公司 用于跟踪和查找物品的用户界面

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3767556B2 (ja) * 2003-01-06 2006-04-19 株式会社日立製作所 携帯端末装置
WO2007077613A1 (ja) * 2005-12-28 2007-07-12 Fujitsu Limited ナビゲーション情報表示システム、ナビゲーション情報表示方法、およびそのためのプログラム
JP2011034429A (ja) * 2009-08-04 2011-02-17 Kddi Corp 表示方法および表示システム
JP5993127B2 (ja) * 2011-10-25 2016-09-14 オリンパス株式会社 頭部装着型表示装置、情報端末、プログラム、情報記憶媒体、画像処理システム、頭部装着型表示装置の制御方法及び情報端末の制御方法

Also Published As

Publication number Publication date
JP2017015593A (ja) 2017-01-19

Similar Documents

Publication Publication Date Title
JP6596989B2 (ja) 表示制御方法、表示制御プログラム、情報処理端末及びヘッドマウントディスプレイ
CN107209022B (zh) 交互式3d导航系统
US11698268B2 (en) Street-level guidance via route path
JP6717742B2 (ja) ナビゲーション命令を表示する装置及び方法
JP4423114B2 (ja) ナビゲーション装置およびその交差点案内方法
JP4948944B2 (ja) ナビゲーション装置および交差点案内図の描画方法
JP6665506B2 (ja) 遠隔操作装置、方法及びプログラム
JP2006243455A (ja) 地図表示方法、地図表示プログラムおよび地図表示装置
US20160240107A1 (en) 3d map display system
JP2009020089A (ja) ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム
CN107209021B (zh) 用于导航地图的视觉相关性分级的系统和方法
JP2009236843A (ja) ナビゲーション装置、ナビゲーション方法、およびナビゲーションプログラム
JP4804853B2 (ja) 地点検索装置および車載用ナビゲーション装置
AU2017397651B2 (en) Providing navigation directions
JP2007309823A (ja) 車載用ナビゲーション装置
KR20140000488A (ko) 교차로 회전지점 안내방법 및 네비게이션 시스템
JP6202799B2 (ja) ナビゲーション装置
JP6598858B2 (ja) 経路案内装置
JP2006250662A (ja) ナビゲーション装置および誘導経路の探索方法
JP4628796B2 (ja) ナビゲーション装置
JP2017118486A (ja) 車両用表示装置、表示方法および表示プログラム
JP6532394B2 (ja) ナビゲーション装置および連続交差点案内方法
JP2006244217A (ja) 三次元地図表示方法、三次元地図表示プログラムおよび三次元地図表示装置
JP2013124932A (ja) 表示システム、表示方法、及び表示プログラム
JP2014190931A (ja) ナビゲーション装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190916

R150 Certificate of patent or registration of utility model

Ref document number: 6596989

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees