JP6348537B2 - 携帯電子機器、携帯電子機器制御方法及び携帯電子機器制御プログラム - Google Patents

Description

本出願は、携帯電子機器、携帯電子機器制御方法及び携帯電子機器制御プログラムに関する。

現実の環境に情報を重ね合わせて表示する拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）の技術が知られている（例えば、特許文献１参照。）。この技術は、表示手段の画面内に表示している実写の映像の上に、所定の情報を重ね合わせて同時に表示する。

特開２００４−０４８６７４号公報

拡張現実の技術では、重ね合わせて表示された情報によって、現実の環境の一部が視認しにくくなることがある。このため、拡張現実の技術を使用したアプリケーションを実行している場合、周囲の視認性が低下するおそれがある。

上記のことから、拡張現実の技術を使用したアプリケーションを実行している場合でも、周囲の視認性を確保することができる携帯電子機器、携帯電子機器制御方法及び携帯電子機器制御プログラムを提供することにある。

態様の一つに係る携帯電子機器は、周囲の風景に、実行中のアプリケーションに応じた第一情報を重ね合わせて表示する表示部と、周囲の車両情報を含む第二情報を取得する情報取得部と、自機が所定領域内にいると判定すると、それまで前記表示部に表示されていた前記第一情報のうち、実行されるアプリケーションごとに定められた情報を非表示にさせ、前記第二情報に基づいて、前記所定領域の周囲の前記車両情報を前記表示部に表示させるコントローラとを備える。

態様の一つに係る携帯電子機器制御方法は、周囲の風景に、実行中のアプリケーションに応じた第一情報を重ね合わせて表示する表示部を備える携帯電子機器を制御する携帯電子機器制御方法であって、周囲の車両情報を含む第二情報を取得するステップと、自機が所定領域内にいると判定すると、それまで前記表示部に表示されていた前記第一情報のうち、実行されるアプリケーションごとに定められた情報を非表示にさせ、前記第二情報に基づいて、前記所定領域の周囲の前記車両情報を前記表示部に表示させるステップとを含む。

態様の一つに係る携帯電子機器制御プログラムは、周囲の風景に、実行中のアプリケーションに応じた第一情報を重ね合わせて表示する表示部を備える携帯電子機器に、周囲の車両情報を含む第二情報を取得するステップと、自機が所定領域内にいると判定すると、それまで前記表示部に表示されていた前記第一情報のうち、実行されるアプリケーションごとに定められた情報を非表示にさせ、前記第二情報に基づいて、前記所定領域の周囲の前記車両情報を前記表示部に表示させるステップとを実行させる。

図１は、実施形態に係るウェアラブル装置を含む制御システムの概略構成を示す模式図である。 図２は、路側機のブロック図である。 図３は、実施形態に係るウェアラブル装置の斜視図である。 図４は、実施形態に係るウェアラブル装置の正面図である。 図５は、実施形態に係るウェアラブル装置のブロック図である。 図６は、実施形態に係るウェアラブル装置が行う制御の一例を示すフローチャートである。 図７は、実施形態に係るウェアラブル装置が行う制御の一例を示すフローチャートである。 図８は、実施形態に係るウェアラブル装置が行う制御の一例を示すフローチャートである。 図９は、実施形態に係るウェアラブル装置を透してユーザが視認する前景の一例を示す図である。 図１０は、実施形態に係るウェアラブル装置を透してユーザが視認する前景の一例を示す図である。 図１１は、実施形態に係るウェアラブル装置を透してユーザが視認する前景の一例を示す図である。 図１２は、実施形態に係るウェアラブル装置を透してユーザが視認する前景の一例を示す図である。

本発明を実施するための実施形態を、図面を参照しつつ詳細に説明する。以下では、携帯電子機器の例として、ウェアラブル装置について説明する。

図１を用いて、本実施形態に係る携帯電子機器としてのウェアラブル装置１を含む制御システム１００の全体的な構成について説明する。制御システム１００は、路側機１１０と、ウェアラブル装置１とを含む。図１においては、４つの路側機１１０と、１台のウェアラブル装置１とを示しているが、制御システム１００は、１つ以上の路側機１１０と、１つ以上のウェアラブル装置１とを含めばよく、その数は限定されない。

図１において、２つの道路が信号機を有する交差点で交わっている。交差点には、横断歩道が設けられている。

図２を用いて、路側機１１０の全体的な構成について説明する。路側機１１０は、第二情報を無線で出力する。路側機１１０は、通信部１１１と、記憶部１１２と、制御部１１３とを有する。第二情報は、路側機１１０が配置されている、当該交差点に接近する車両の車両情報を含む。車両情報は、例えば、車両が接近してくる方向、接近してくる方向（道路）ごとの台数などである。車両情報によれば、当該交差点において、どの方向から、何台の車両が接近しているかがわかる。第二情報は、高度道路交通システムの情報を含んでもよい。

通信部１１１は、無線により通信する。通信部１１１は、例えば、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、ＩＥＥＥ８０２．１１（ａ，ｂ，ｎ，ｐを含む）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等を含む無線通信規格をサポートしている。または、通信部１１１は、例えば、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＣＤＭＡ２０００、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｅｌｌｕｌａｒ）、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍ）等の２Ｇ、３Ｇ、４Ｇ等のセルラーフォンの通信規格をサポートしていてもよい。通信部１１１は、上述した通信規格の１つ又は複数をサポートしていている。通信部１１１は、例えば、イーサネット（登録商標）、ファイバーチャネル等の有線による通信をサポートしてもよい。

通信部１１１は、他の路側機１１０、信号機と通信を行う。通信部１１１は、近距離無線通信で所定距離内にある通信機器、例えば、車両に搭載されている通信機器、ウェアラブル装置１、スマートフォンと通信を行い、データの送受信を行う。

記憶部１１２は、プログラム及びデータを記憶する。記憶部１１２は、制御部１１３の処理結果を一時的に記憶する作業領域としても利用される。記憶部１１２は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）な記憶媒体を含んでよい。非一過的な記憶媒体は、例えば、ＣＤ（登録商標）、ＤＶＤ（登録商標）、Ｂｌｕ−ｒａｙ（登録商標）等の光ディスク、光磁気ディスク、磁気記憶媒体、メモリカード、及びソリッドステート記憶媒体を含むが、これらに限定されない。記憶部１１２は、複数の種類の記憶媒体を含んでよい。記憶部１１２は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部１１２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の一時的な記憶領域として利用される記憶デバイスを含んでよい。

記憶部１１２に記憶されるプログラムには、所定距離内にある通信機器との通信確立及びデータの送受信の制御を実行するプログラムを含む。記憶部１１２に記憶されるデータには、例えば、他の通信機器に送信するデータ等を含む。

制御部１１３は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−ｃｈｉｐ）、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、及びＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含むが、これらに限定されない。制御部１１３は、路側機１１０の動作を統括的に制御して各種の機能を実現する。

具体的には、制御部１１３は、記憶部１１２に記憶されているデータを必要に応じて参照しつつ、記憶部１１２に記憶されているプログラムに含まれる命令を実行する。そして、制御部１１３は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現する。

次に、図３及び図４を用いて、本実施形態に係るウェアラブル装置１の全体的な構成について説明する。ウェアラブル装置１は、ユーザの頭部に装着されるヘッドマウントタイプの装置である。ウェアラブル装置１は、周囲の環境に情報を重ね合わせて表示する。

ウェアラブル装置１は、前面部１ａと、側面部１ｂと、側面部１ｃとを有する。前面部１ａは、装着時に、ユーザの両目を覆うようにユーザの正面に配置される。側面部１ｂは、前面部１ａの一方の端部に接続され、側面部１ｃは、前面部１ａの他方の端部に接続される。側面部１ｂ及び側面部１ｃは、装着時に、眼鏡の蔓のようにユーザの耳によって支持され、ウェアラブル装置１を安定させる。側面部１ｂ及び側面部１ｃは、装着時に、ユーザの頭部の背面で接続されるように構成されてもよい。

前面部１ａは、装着時にユーザの目と対面する面にディスプレイ（表示部）２Ａ及びディスプレイ（表示部）２Ｂを備える。ディスプレイ２Ａは、装着時にユーザの右目と向かい合う位置に配設され、ディスプレイ２Ｂは、装着時にユーザの左目と向かい合う位置に配設される。ディスプレイ２Ａは、右目用の画像を表示し、ディスプレイ２Ｂは、左目用の画像を表示する。このように、装着時にユーザのそれぞれの目に対応した画像を表示するディスプレイ２Ａ及びディスプレイ２Ｂを備えることにより、ウェアラブル装置１は、両眼の視差を利用した３次元表示を実現する。

ディスプレイ２Ａ及びディスプレイ２Ｂは、一対の半透過ディスプレイであるが、これに限定されない。例えば、ディスプレイ２Ａ及びディスプレイ２Ｂは、メガネレンズ、サングラスレンズ、及び紫外線カットレンズ等のレンズ類を設け、レンズとは別にディスプレイ２Ａ及びディスプレイ２Ｂを設けてもよい。ディスプレイ２Ａ及びディスプレイ２Ｂは、ユーザの右目と左目に異なる画像を独立して提供することができれば、１つの表示デバイスによって構成されてもよい。

前面部１ａは、ディスプレイ２Ａ及びディスプレイ２Ｂが設けられている面とは反対側の面にカメラ１２Ａ及びカメラ１２Ｂを備える。カメラ１２Ａは、前面部１ａの一方の端部（装着時の右目側）の近傍に配設される。カメラ１２Ｂは、前面部１ａの他方の端部（装着時の左目側）の近傍に配設される。カメラ１２Ａは、ユーザの右目の視界に相当する範囲の画像を取得する。カメラ１２Ｂは、ユーザの左目の視界に相当する範囲の画像を取得する。ここでいう視界とは、例えば、ユーザが正面を見ているときの視界である。

ウェアラブル装置１は、拡張現実の技術を使用し、ＡＲ技術を用いたアプリケーションで、ユーザが視認している前景に各種の情報（第一情報）を重ね合わせて視認させる機能を有する。前景とは、ユーザの前方の風景である。ウェアラブル装置１は、ディスプレイ２Ａ及びディスプレイ２Ｂが表示を行っていない場合、ディスプレイ２Ａ及びディスプレイ２Ｂを透して前景をユーザに視認させる。ウェアラブル装置１は、ディスプレイ２Ａ及びディスプレイ２Ｂが表示を行っている場合、ディスプレイ２Ａ及びディスプレイ２Ｂを透した前景と、ディスプレイ２Ａ及びディスプレイ２Ｂの表示内容とを重ね合わせてユーザに視認させる。ウェアラブル装置１は、３次元的な情報をディスプレイ２Ａ及びディスプレイ２Ｂに表示させてもよい。

図３及び図４では、ウェアラブル装置１が眼鏡のような形状を有する例を示したが、ウェアラブル装置１の形状はこれに限定されない。例えば、ウェアラブル装置１は、ゴーグルの形状を有してもよい。ウェアラブル装置１は、例えば、情報処理装置、バッテリ装置等の外部装置と有線または無線で接続される構成であってもよい。

次に、図５を用いて、ウェアラブル装置１の機能的な構成について説明する。図５に示すウェアラブル装置１の構成は例であり、本発明の要旨を損なわない範囲において適宜変更してよい。

ウェアラブル装置１は、ディスプレイ２Ａ及びディスプレイ２Ｂと、ボタン３と、通信ユニット（情報取得部）６と、ストレージ９と、コントローラ１０と、カメラ１２Ａ及びカメラ１２Ｂと、加速度センサ１５と、方位センサ１６と、ジャイロスコープ１７と、ＧＰＳ受信機１８とを有する。なお、ウェアラブル装置１は、ＧＰＳ受信機１８の代替、或いは、補完として、ＧＰＳ衛星以外の測位用人工衛星からの電波信号の受信機を有してもよい。ＧＰＳ衛星以外の測位用人工衛星は、例えば、ＧＬＯＮＡＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）の人工衛星、ＩＲＮＳＳ（Ｉｎｄｉａｎ Ｒｅｇｉｏｎａｌ Ｎａｖｉｇａｔｉｏｎａｌ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）の人工衛星、ＣＯＭＰＡＳＳの人工衛星、ＧＡＬＩＬＥＯの人工衛星、等を含む。

ディスプレイ２Ａ及びディスプレイ２Ｂは、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネル等の半透過または透過の表示デバイスを備える。ディスプレイ２Ａ及びディスプレイ２Ｂは、周囲の環境に、コントローラ１０から入力される制御信号に従って第一情報を表示する。第一情報は、例えば、目的地までのルートを案内する進行方向情報を含むナビゲーション情報や、観光施設や周辺施設を案内する施設案内情報などである。ディスプレイ２Ａ及びディスプレイ２Ｂは、レーザー光線等の光源を用いてユーザの網膜に画像を投影する投影装置であってもよい。

ボタン３は、ユーザによって操作される。ボタン３は、ウェアラブル装置１の起動、停止、動作モードの変更等の基本的な操作を受け付ける。

通信ユニット６は、無線により通信する。本実施形態において、通信ユニット６は、少なくとも近距離無線の機能を備えている。通信ユニット６によってサポートされる通信方式は、無線通信規格である。通信ユニット６は、例えば、２Ｇ、３Ｇ、４Ｇ、５Ｇ等のセルラーフォンの通信規格をサポートしている。セルラーフォンの通信規格は、例えば、ＬＴＥ、Ｗ−ＣＤＭＡ、ＣＤＭＡ２０００、ＰＤＣ、ＧＳＭ（登録商標）、ＰＨＳ等を含む。通信ユニット６は、例えば、ＷｉＭＡＸ、ＩＥＥＥ８０２．１１（ａ，ｂ，ｎ，ｐを含む）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ、ＮＦＣ等を含む無線通信規格をサポートしていてもよい。通信ユニット６は、上述した通信規格の１つ又は複数をサポートしていてもよい。

通信ユニット６は、有線による通信をサポートしてもよい。有線による通信は、例えば、イーサネット（登録商標）、ファイバーチャネル等を含む。

本実施形態において、通信ユニット６は、道路傍に配置される路側機１１０との通信を可能とするための通信規格をサポートしている。例えば、ウェアラブル装置１は、通信ユニット６を介して路側機１１０と通信することにより、第二情報を取得する。本実施形態において、通信ユニット６は、車両に搭載される通信機器との通信を可能とするための通信規格をサポートしていてもよい。

ストレージ９は、プログラム及びデータを記憶する。ストレージ９は、コントローラ１０の処理結果を一時的に記憶する作業領域としても利用される。ストレージ９は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的な記憶媒体を含んでよい。ストレージ９は、複数の種類の記憶媒体を含んでよい。ストレージ９は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ９は、ＲＡＭ等の一時的な記憶領域として利用される記憶デバイスを含んでよい。

ストレージ９が記憶するプログラム及びデータの一部又は全部は、通信ユニット６による通信で他の装置からダウンロードされてもよい。ストレージ９が記憶するプログラム及びデータの一部又は全部は、ストレージ９に含まれる読み取り装置が読み取り可能な非一過的な記憶媒体に記憶されていてもよい。ストレージ９が記憶するプログラム及びデータの一部又は全部は、図示しないコネクタに接続される読み取り装置が読み取り可能な非一過的な記憶媒体に記憶されていてもよい。

ストレージ９に記憶されるプログラムには、フォアグランド又はバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとが含まれる。アプリケーションは、例えば、ディスプレイ２Ａ及びディスプレイ２Ｂに画面を表示させ、ボタン３で検出される操作に応じた処理をコントローラ１０に実行させる。

ストレージ９は、例えば、制御プログラム９Ａ、撮像データ９Ｂ、移動状態データ９Ｃ及び設定データ９Ｚを記憶する。

撮像データ９Ｂは、カメラ１２Ａ及びカメラ１２Ｂによって撮像範囲を撮像した画像を示すデータである。撮像データ９Ｂは、カメラ１２Ａ及びカメラ１２Ｂによって撮像された画像を合成したデータでもよいし、カメラ１２Ａ及びカメラ１２Ｂのそれぞれの画像を示すデータでもよい。撮像データ９Ｂは、静止画データと動画データとが含まれる。

移動状態データ９Ｃは、ユーザの移動方法の推定に用いられる情報を含む。移動状態データ９Ｃは、予め試験やシミュレーション等によって検出した、センサの検出結果と移動方法との対応関係を記憶している。本実施形態において、移動状態データ９Ｃは、ユーザが歩行中か否かを判定する基準のデータを記憶している。

設定データ９Ｚは、ウェアラブル装置１の動作に関する各種の設定に関する情報を含む。

制御プログラム９Ａは、ウェアラブル装置１を稼働させるための各種制御に関する機能を提供する。制御プログラム９Ａは、カメラ１２Ａ及びカメラ１２Ｂの撮像を制御する機能を提供する。制御プログラム９Ａは、ディスプレイ２Ａ及びディスプレイ２Ｂに表示する情報を制御する機能を提供する。制御プログラム９Ａは、ボタン３で検出された操作に応じて、ディスプレイ２Ａ及びディスプレイ２Ｂに表示されている情報を変更する等の各種制御を行う機能を提供する。制御プログラム９Ａが提供する機能は、他のプログラムが提供する機能と組み合わせて利用されることがある。

制御プログラム９Ａは、自機を装着したユーザの移動状態を判別する。移動状態は、自機を装着したユーザが立ち止まっている停止状態、自機を装着したユーザが歩いている状態、自機を装着したユーザが走っている状態、自機を装着したユーザが自動車又は電車などに乗車している状態を含む。制御プログラム９Ａは、加速度センサ１５から取得した加速度の方向及び大きさに基づいて、ウェアラブル装置１に作用する振動及び動きを測定する。制御プログラム９Ａは、移動状態データ９Ｃを参照し、振動及び動きの測定結果から移動状態を判別する。制御プログラム９Ａは、加速度センサ１５の代替として、或いは、補助として、方位センサ１６、ジャイロスコープ１７、ＧＰＳ受信機１８、カメラ１２Ａ及びカメラ１２Ｂのうち少なくとも一つを用いて、移動状態を判別してもよい。

制御プログラム９Ａは、自機が交差点エリア（所定領域）内にいると判定すると、ＡＲ技術を用いたアプリケーションで表示される第一情報のうち、少なくとも一部の第一情報を非表示にさせ、路側機１１０から取得した第二情報に基づいて、交差点の周囲の車両情報をディスプレイ２Ａ及びディスプレイ２Ｂに表示させる。

制御プログラム９Ａは、移動検知部で移動を検知し、かつ、自機が交差点エリアにいると判定すると、ＡＲ技術を用いたアプリケーションで表示される第一情報のうち、少なくとも一部の第一情報を非表示にさせ、第二情報に基づいて、交差点の周囲の車両情報をディスプレイ２Ａ及びディスプレイ２Ｂに表示させる。

制御プログラム９Ａは、自機が交差点エリアにいると判定すると、ディスプレイ２Ａ及びディスプレイ２Ｂにおいて、ＡＲ技術を用いたアプリケーションで表示される第一情報のうち、少なくとも一部の第一情報を非表示にさせる。制御プログラム９Ａは、第二情報に基づいて、方向検知部で検知した方向、言い換えると、自機を装着したユーザの向いている方向について、交差点の周囲の車両情報をディスプレイ２Ａ及びディスプレイ２Ｂに表示させる。

コントローラ１０は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ、ＳｏＣ、ＭＣＵ、及びＦＰＧＡを含むが、これらに限定されない。コントローラ１０は、ウェアラブル装置１の動作を統括的に制御して各種の機能を実現する。

具体的には、コントローラ１０は、ストレージ９に記憶されているデータを必要に応じて参照しつつ、ストレージ９に記憶されているプログラムに含まれる命令を実行する。そして、コントローラ１０は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、ディスプレイ２Ａ及びディスプレイ２Ｂ、通信ユニット６の少なくとも１つを含んでもよくこれらに限定されない。コントローラ１０は、自機の移動を検知する移動検知部や、自機を装着したユーザが向いている方向を検知する方向検知部の検出結果に応じて、制御を変更することがある。移動検知部及び方向検知部は、例えば、カメラ１２Ａ及びカメラ１２Ｂ、加速度センサ１５、方位センサ１６、ジャイロスコープ１７及びＧＰＳ受信機１８の少なくとも１つを含んでもよいが、これらに限定されない。

コントローラ１０は、例えば、制御プログラム９Ａを実行することにより、ボタン３で操作に応じて、ディスプレイ２Ａ及びディスプレイ２Ｂに表示されている情報を変更する等の各種制御を実行する。

カメラ１２Ａ及びカメラ１２Ｂは、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサを用いて電子的に画像を撮像する。カメラ１２Ａ及びカメラ１２Ｂは、撮像した画像を信号に変換してコントローラ１０へ出力する。

加速度センサ１５は、ウェアラブル装置１に働く加速度の方向及び大きさを示す情報を検出する。方位センサ１６は、地磁気の向きを示す情報を検出する。ジャイロスコープ１７は、ウェアラブル装置１の角度及び角速度の情報を検出する。ＧＰＳ受信機１８は、ＧＰＳ衛星からの所定の周波数帯の電波信号を受信する。ＧＰＳ受信機１８は、受信した電波信号の復調処理を行って、処理後の信号をコントローラ１０に送出する。ＧＰＳ受信機１８は、ウェアラブル装置１の現在位置の演算処理をサポートする。ＧＰＳ衛星以外の測位用人工衛星からの電波信号の受信機が、ウェアラブル装置１の現在位置の演算処理をサポートしてもよい。加速度センサ１５、方位センサ１６、ジャイロスコープ１７及びＧＰＳ受信機１８の検出結果は、例えば、ウェアラブル装置１の位置及び姿勢の変化を検出するために、組み合わせて利用される。

図５に示した例では、ウェアラブル装置１が位置及び姿勢を検出するために４種類のセンサを備えるが、ウェアラブル装置１は、このうちいくつかのセンサを備えなくてもよい。あるいは、ウェアラブル装置１は、位置及び姿勢の少なくとも１つを検出するための他の種類のセンサを備えてもよい。

次に、図６から図８を用いて、ウェアラブル装置１が実行している制御について説明する。図６から図８は、それぞれ実施形態に係るウェアラブル装置１が行う制御の一例を示すフローチャートである。ウェアラブル装置１は、コントローラ１０でストレージ９に記憶されている制御プログラム９Ａを実行することで、図６から図８に示す機能を実現する。また、コントローラ１０は、図６から図８に示す情報処理と並行して、他の機能の情報処理を実行することがある。

まず、コントローラ１０は、ＡＲ技術を用いたアプリケーションを利用しているか否かを判定する（ステップＳ１１）。より詳しくは、コントローラ１０は、例えば、ナビゲーションや施設案内などのＡＲ技術を用いたアプリケーションが実行中であるか否かを判定する。コントローラ１０は、ＡＲ技術を用いたアプリケーションが実行中である場合、ＡＲ技術を用いたアプリケーションを利用している（Ｙｅｓ）と判定する。コントローラ１０は、ＡＲ技術を用いたアプリケーションが実行中ではない場合、ＡＲ技術を用いたアプリケーションを利用していない（Ｎｏ）と判定する。

コントローラ１０は、ＡＲ技術を用いたアプリケーションを利用していない（ステップＳ１１でＮｏ）と判定した場合、ステップＳ１１に戻る。

コントローラ１０は、ＡＲ技術を用いたアプリケーションを利用している（ステップＳ１１でＹｅｓ）と判定した場合、ステップＳ１２に進む。

コントローラ１０は、センサの検出結果を取得する（ステップＳ１２）。より詳しくは、コントローラ１０は、加速度センサ１５及びジャイロスコープ１７の少なくとも１つの検出結果と、通信ユニット６及びＧＰＳ受信機１８の少なくとも１つの検出結果を取得する。加速度センサ１５及びジャイロスコープ１７の少なくとも１つの検出結果は、ステップＳ１３において、移動状態の判定に用い、歩行中か否かの判定に用いる。通信ユニット６及びＧＰＳ受信機１８の少なくとも１つの検出結果は、ステップＳ１４において、ウェアラブル装置１を装着しているユーザが交差点エリアにいるか否かの判定に用いる。

コントローラ１０は、自機を装着したユーザが歩行中か否かを判定する（ステップＳ１３）。具体的には、コントローラ１０は、加速度センサ１５及びジャイロスコープ１７の少なくとも１つの検出結果と移動状態データ９Ｃとを比較する。そして、コントローラ１０は、比較結果に基づいて、自機を装着したユーザが歩行中か否かを判定する。ユーザが足で移動している状態であるとき、歩行中と判定する。具体的には、コントローラ１０は、自機を装着したユーザが、移動を補助する乗り物に乗らず、自力で移動している状態であるとき、歩行中と判定する。ユーザが足で移動している状態には、歩いている状態及び走っている状態を含む。ユーザが足で移動している状態には、ユーザが杖や手押し車等を使用し歩いている状態も含む。また、コントローラ１０は、自機を装着したユーザが、ユーザが立ち止まっている状態であるとき、歩行中ではないと判定する。コントローラ１０は、自機を装着したユーザが、例えば、自転車、車両、電車などで移動している状態であるとき、歩行中ではないと判定する。

コントローラ１０は、自機を装着したユーザが歩行中ではない（ステップＳ１３でＮｏ）と判定した場合、ステップＳ１５に進む。

コントローラ１０は、自機を装着したユーザが歩行中である（ステップＳ１３でＹｅｓ）と判定した場合、ステップＳ１４に進む。

コントローラ１０は、自機が交差点エリアにいるかを判定する（ステップＳ１４）。より詳しくは、コントローラ１０は、通信ユニット６との通信結果（通信の可否）に基づいて、自機が交差点に配置された路側機１１０と通信が確立しているか否かを判定する。コントローラ１０は、自機が交差点に配置された路側機１１０と通信を確立している（通信可）と判定した場合、自機が交差点エリアにいると判定する。具体的には、コントローラ１０は、センサの検出結果に基づいて、近距離無線通信可能な機器を検出する。通信可能な機器とは、データを送受信できる信号が到達している範囲にある通信機器である。コントローラ１０は、通信可能な機器を検出した場合、通信可能な機器が、交差点に配置された路側機１１０であるかを判定する。コントローラ１０は、通信可能な機器が、交差点に配置された路側機１１０であると判定した場合、交差点エリアにいると判定する。コントローラ１０は、通信可能な機器が、交差点に配置された路側機１１０ではないと判定した場合、交差点エリアにいないと判定する。

コントローラ１０は、自機が交差点エリアにいない（ステップＳ１４でＮｏ）と判定した場合、ステップＳ１５に進む。

コントローラ１０は、自機が交差点エリアにいる（ステップＳ１４でＹｅｓ）と判定した場合、ステップＳ１６に進む。

コントローラ１０は、第一情報を通常表示する（ステップＳ１５）。より詳しくは、コントローラ１０は、実行中のＡＲ技術を用いたアプリケーションで表示される第一情報をそのまま削減せずにディスプレイ２Ａ及びディスプレイ２Ｂに表示する。

例えば、実行中のＡＲ技術を用いたアプリケーションがナビゲーションである場合、ディスプレイ２Ａ及びディスプレイ２Ｂは、図９に示す画面を表示する。図９は、ユーザがウェアラブル装置１を頭部に装着した状態で、ディスプレイ２Ａ及びディスプレイ２Ｂを透して視認している撮像範囲内の前景Ｖ１１を示している。図９に示す画面は、第一情報として、目的地までの距離ＡＲ１１と、目的地の方向ＡＲ１２と、目的地までの経路ＡＲ１３と、分岐点となる交差点ＡＲ１４と、周辺の銀行や店などの周辺施設ＡＲ２１、周辺施設ＡＲ２２とが、前景Ｖ１１に重ね合わせて表示されている。本実施形態では、目的地の方向ＡＲ１２と、目的地までの経路ＡＲ１３と、分岐点となる交差点ＡＲ１４とが、進行方向情報である。図９に示す画面は、ナビゲーションで表示される第一情報が削減されることなく表示されている。

例えば、実行中のＡＲ技術を用いたアプリケーションが施設案内である場合、ディスプレイ２Ａ及びディスプレイ２Ｂは、図１０に示す画面を表示する。図１０は、ユーザがウェアラブル装置１を頭部に装着した状態で、ディスプレイ２Ａ及びディスプレイ２Ｂを透して視認している撮像範囲内の前景Ｖ２１を示している。図１０に示す画面は、第一情報として、観光施設までの距離を含む施設案内情報ＡＲ３１と、周辺の宿や店などの施設案内情報ＡＲ４１、施設案内情報ＡＲ４２、施設案内情報ＡＲ４３とが、前景Ｖ２１に重ね合わせて表示されている。図１０に示す画面は、施設案内で表示される第一情報が削減されることなく表示されている。

次に、図７を用いて、ステップＳ１６の処理を説明する。

コントローラ１０は、第一情報の一部を非表示にする（ステップＳ２１）。本実施形態では、非表示にする第一情報は、アプリケーションごとにあらかじめ設定され設定データ９Ｚに記憶されているものとする。具体的には、ＡＲ技術を用いたアプリケーションがナビゲーションである場合、第一情報のうち、進行方向情報である、目的地の方向と、目的地までの経路と、分岐点となる交差点とを除く、目的地までの距離と、周辺施設とが非表示にされる。また、ＡＲ技術を用いたアプリケーションが施設案内である場合、すべてのＡＲ表示が非表示にされる。

コントローラ１０は、路側機１１０から情報を取得する（ステップＳ２２）。路側機１１０から取得する第二情報には、路側機１１０が設置された交差点に接近中の車両の車両情報を含む。言い換えると、路側機１１０から取得する情報には、交差点エリアに位置する車両の車両情報を含む。

コントローラ１０は、交差点に接近中の車両情報を表示する（ステップＳ２３）。コントローラ１０は、路側機１１０から取得した車両情報に基づいて、ディスプレイ２Ａ及びディスプレイ２Ｂを透してユーザが視認している前景Ｖ１１に、交差点に接近中の車両情報を重ね合わせて表示する。車両情報ＡＲ５１は、例えば、車両の形状のアイコン、車両の接近してくる方向を示す矢印、接近してくる方向（道路）ごとの台数を数字で示した吹き出しや、車両の接近を文字で示した吹き出しなどで表示する。

例えば、実行中のＡＲ技術を用いたアプリケーションがナビゲーションである場合、ディスプレイ２Ａ及びディスプレイ２Ｂは、図１１に示す画面を表示する。図１１は、ユーザがウェアラブル装置１を頭部に装着した状態で、ディスプレイ２Ａ及びディスプレイ２Ｂを透して視認している撮像範囲内の前景Ｖ１２を示している。図１１に示す画面は、目的地の方向ＡＲ１２と、目的地までの経路ＡＲ１３と、分岐点となる交差点ＡＲ１４と、車両情報ＡＲ５１とが表示されている。図１１に示す画面は、ステップＳ２１において、第一情報のうち、目的地までの距離ＡＲ１１と周辺施設ＡＲ２１、周辺施設ＡＲ２２とが非表示にされている。

例えば、実行中のＡＲ技術を用いたアプリケーションが施設案内である場合、ディスプレイ２Ａ及びディスプレイ２Ｂは、図１２に示す画面を表示する。図１２は、ユーザがウェアラブル装置１を頭部に装着した状態で、ディスプレイ２Ａ及びディスプレイ２Ｂを透して視認している撮像範囲内の前景Ｖ２２を示している。図１２に示す画面は、車両情報ＡＲ６１が表示されている。図１２に示す画面は、ステップＳ２１において、第一情報の施設案内情報ＡＲ３１と、施設案内情報ＡＲ４１、施設案内情報ＡＲ４２、施設案内情報ＡＲ４３とが非表示にされている。

または、ステップＳ１６の処理は、図８に示すフローチャートに沿った情報処理にしてもよい。図８を用いて、ステップＳ１６の処理を説明する。ステップＳ３１〜Ｓ３３は、ステップＳ２１〜ステップＳ２３と同様の処理である。

コントローラ１０は、センサの検出結果を取得する（ステップＳ３４）。より詳しくは、コントローラ１０は、加速度センサ１５、方位センサ１６及びジャイロスコープ１７の少なくとも一つの検出結果を取得する。

コントローラ１０は、自機を装着したユーザが右を向いたか否かを判定する（ステップＳ３５）。より詳しくは、コントローラ１０は、ステップＳ３４で取得した検出結果に基づいて、ウェアラブル装置１の位置及び姿勢の変化を検出し、自機を装着したユーザの向いている方向を判定する。

コントローラ１０は、自機を装着したユーザが右を向いた（ステップＳ３５でＹｅｓ）と判定した場合、ステップＳ３６に進む。

コントローラ１０は、自機を装着したユーザが右を向いていない（ステップＳ３５でＮｏ）と判定した場合、ステップＳ３７に進む。

コントローラ１０は、右方から接近中の車両情報を表示する（ステップＳ３６）。より詳しくは、コントローラ１０は、路側機１１０から取得した車両情報に基づいて、ディスプレイ２Ａ及びディスプレイ２Ｂを透してユーザが視認している右方の前景に、交差点に右方から接近中の車両情報を重ね合わせて表示する。

コントローラ１０は、自機を装着したユーザが左を向いたか否かを判定する（ステップＳ３７）。

コントローラ１０は、自機を装着したユーザが左を向いた（ステップＳ３７でＹｅｓ）と判定した場合、ステップＳ３８に進む。

コントローラ１０は、自機を装着したユーザが左を向いていない（ステップＳ３７でＮｏ）と判定した場合、処理を終了する。

コントローラ１０は、左方から接近中の車両情報を表示する（ステップＳ３８）。より詳しくは、コントローラ１０は、路側機１１０から取得した車両情報に基づいて、ディスプレイ２Ａ及びディスプレイ２Ｂを透してユーザが視認している左方の前景に、交差点に左方から接近中の車両情報を重ね合わせて表示する。

このようにして、コントローラ１０は、図８に示すフローチャートに沿った情報処理によって、自機を装着したユーザの向いている方向に合わせて、言い換えると、ディスプレイ２Ａ及びディスプレイ２Ｂを透してユーザが視認している前景に合わせて、その方向から接近中の車両情報を重ね合わせて表示する。

上記のように本実施形態によれば、ウェアラブル装置１は、自機を装着したユーザが交差点エリアにいるか否かで、ＡＲ技術を用いたアプリケーションで、前景に重ね合わせてディスプレイ２Ａ及びディスプレイ２Ｂに表示する第一情報の表示と非表示とを切り替える。これにより、ウェアラブル装置１は、自機を装着したユーザが交差点エリアにいる場合、ＡＲ技術を用いたアプリケーションで表示される第一情報のうち少なくとも一部を非表示にさせることで、ディスプレイ２Ａ及びディスプレイ２Ｂを透した前景の視認性を高めることができる。このように、ウェアラブル装置１は、ディスプレイ２Ａ及びディスプレイ２Ｂを透した周囲の視認性を確保することができる。

本実施形態によれば、ウェアラブル装置１は、自機を装着したユーザが交差点エリアにいる場合、交差点に接近する車両情報を前景に重ね合わせてディスプレイ２Ａ及びディスプレイ２Ｂに表示する。このため、例えば、雨や濃霧などの悪天候や、見通しの悪い交差点で、ユーザが交差点に接近する車両を直接目視しにくい場合であっても、ウェアラブル装置１によれば、周囲の安全確認を行いやすくすることができる。

本実施形態によれば、自機を装着したユーザが交差点エリアにいることを判定し、ＡＲ技術を用いたアプリケーションで、前景に重ね合わせてディスプレイ２Ａ及びディスプレイ２Ｂに表示する第一情報の表示と非表示とを切り替え、交差点に接近する車両情報を前景に重ね合わせてディスプレイ２Ａ及びディスプレイ２Ｂに表示する。このため、ユーザが交差点エリアに近づいたことを認識していなかったとしても、交差点に接近する車両情報をユーザに通知して、周囲の安全確認を促すことができる。

このように、本実施形態によれば、ウェアラブル装置１で、ＡＲ技術を用いたアプリケーションをより安全に使用することができる。

上記実施形態では、ウェアラブル装置１が路側機１１０から第二情報を取得するものとして説明したが、これに限定されない。ウェアラブル装置１は、通信ユニット６を介して、自機の近くの車両と通信することにより、車両から第二情報を取得してもよい。または、ウェアラブル装置１は、車両から第二情報を取得し蓄積するサーバと、通信ユニット６を介して通信することにより、サーバから第二情報を取得してもよい。

コントローラ１０における、自機が所定領域内にいるかの判定は、例えば、撮像データＢを画像解析することや、ＧＰＳ受信機１８の検出結果に基づいて判定してもよい。

本出願の開示する実施形態は、発明の要旨及び範囲を逸脱しない範囲で変更することができる。さらに、本出願の開示する実施形態及びその変形例は、適宜組み合わせることができる。例えば、上記の実施形態は、以下のように変形してもよい。

例えば、図５に示した各プログラムは、複数のモジュールに分割されていてもよいし、他のプログラムと結合されていてもよい。

上記の実施形態では、携帯電子機器の例として、ウェアラブル装置について説明したが、添付の請求項に係る装置は、ウェアラブル装置に限定されない。添付の請求項に係る装置は、ウェアラブル装置以外の携帯電子機器であってもよい。携帯電子機器は、表示部と他の機器と通信を行う通信部を備えていればよく、例えば、モバイルフォン、タブレット、携帯型パソコン、デジタルカメラ、メディアプレイヤ、電子書籍リーダ、ナビゲータ、及びゲーム機を含むが、これらに限定されない。

添付の請求項に係る技術を明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成を具現化するように構成されるべきである。

１ ウェアラブル装置（携帯電子機器）
２Ａ ディスプレイ（表示部）
２Ｂ ディスプレイ（表示部）
６ 通信ユニット（情報取得部）
９ ストレージ
９Ａ 制御プログラム
９Ｂ 撮像データ
９Ｃ 移動状態データ
９Ｚ 設定データ
１０ コントローラ
１２Ａ カメラ
１２Ｂ カメラ
１５ 加速度センサ
１６ 方位センサ
１７ ジャイロスコープ
１８ ＧＰＳ受信機
１００ 制御システム
１１０ 路側機
１１１ 通信部
１１２ 記憶部
１１３ 制御部

Claims (12)

1. 周囲の風景に、実行中のアプリケーションに応じた第一情報を重ね合わせて表示する表示部と、
   周囲の車両情報を含む第二情報を取得する情報取得部と、
   自機が所定領域内にいると判定すると、それまで前記表示部に表示されていた前記第一情報のうち、実行されるアプリケーションごとに定められた情報を非表示にさせ、前記第二情報に基づいて、前記所定領域の周囲の前記車両情報を前記表示部に表示させるコントローラとを備える携帯電子機器。
2. 前記コントローラは、前記所定領域に配置された機器との通信の可否に基づいて、自機が所定領域内にいるか否かを判定する請求項１に記載の携帯電子機器。
3. 周囲の風景を撮影する撮影部を備え、
   前記コントローラは、前記撮影部で撮影された映像に基づいて、自機が所定領域内にいるか否かを判定する請求項１に記載の携帯電子機器。
4. 自機の現在地の位置情報を取得する位置情報取得部を備え、
   前記コントローラは、前記位置情報に基づいて、自機が所定領域内にいるか否かを判定する請求項１に記載の携帯電子機器。
5. 前記情報取得部は、交差点に配置された路側機から前記第二情報を取得し、
   前記コントローラは、前記情報取得部と前記路側機との通信の可否に基づいて、前記自機が前記交差点の前記所定領域内にいると判定すると、それまで前記表示部に表示されていた前記第一情報のうち、実行されるアプリケーションごとに定められた情報を非表示にさせ、前記第二情報に基づいて、前記交差点の周囲の前記車両情報を前記表示部に表示させる請求項２に記載の携帯電子機器。
6. 第１アプリケーションの実行中の前記第一情報は、目的地までのルートを案内する進行方向情報を含み、
   前記コントローラは、前記第１アプリケーションの実行中において、前記自機が前記所定領域内にいると判定すると、それまで前記表示部に表示されていた、前記進行方向情報を含む前記第一情報のうち、前記進行方向情報と異なる情報を非表示にさせる請求項１から請求項５のいずれか一項に記載の携帯電子機器。
7. 第２アプリケーションの実行中の前記第一情報は、観光施設や周辺施設を案内する施設案内情報を含み、
   前記コントローラは、前記第２アプリケーションの実行中において、前記自機が前記所定領域内にいると判定すると、それまで前記表示部に表示されていた、前記施設案内情報を含む前記第一情報のうち、前記施設案内情報を非表示にさせる請求項１から請求項６のいずれか一項に記載の携帯電子機器。
8. 移動を検知する移動検知部を備え、
   前記コントローラは、前記移動検知部で移動を検知し、かつ、前記自機が前記所定領域内にいると判定すると、それまで前記表示部に表示されていた前記第一情報のうち、実行されるアプリケーションごとに定められた情報を非表示にさせ、前記第二情報に基づいて、前記所定領域の周囲の前記車両情報を前記表示部に表示させる請求項１から請求項７のいずれか一項に記載の携帯電子機器。
9. 向いている方向を検知する方向検知部を備え、
   前記コントローラは、前記自機が前記所定領域内にいると判定すると、それまで前記表示部に表示されていた前記第一情報のうち、実行されるアプリケーションごとに定められた情報を非表示にさせ、前記第二情報に基づいて、前記方向検知部で検知した方向について、前記所定領域の周囲の前記車両情報を前記表示部に表示させる請求項１から請求項８のいずれか一項に記載の携帯電子機器。
10. 前記車両情報は、図形または文字で前記表示部に表示させる請求項１から請求項９のいずれか一項に記載の携帯電子機器。
11. 周囲の風景に、実行中のアプリケーションに応じた第一情報を重ね合わせて表示する表示部を備える携帯電子機器を制御する携帯電子機器制御方法であって、
    周囲の車両情報を含む第二情報を取得するステップと、
    自機が所定領域内にいると判定すると、それまで前記表示部に表示されていた前記第一情報のうち、実行されるアプリケーションごとに定められた情報を非表示にさせ、前記第二情報に基づいて、前記所定領域の周囲の前記車両情報を前記表示部に表示させるステップとを含む携帯電子機器制御方法。
12. 周囲の風景に、実行中のアプリケーションに応じた第一情報を重ね合わせて表示する表示部を備える携帯電子機器に、
    周囲の車両情報を含む第二情報を取得するステップと、
    自機が所定領域内にいると判定すると、それまで前記表示部に表示されていた前記第一情報のうち、実行されるアプリケーションごとに定められた情報を非表示にさせ、前記第二情報に基づいて、前記所定領域の周囲の前記車両情報を前記表示部に表示させるステップとを実行させる携帯電子機器制御プログラム。

Images