JP6400197B2 - ウェアラブル装置 - Google Patents

Description

本出願は、ユーザの頭部に装着可能なウェアラブル装置に関する。

頭部に装着可能なウェアラブル装置としては、ユーザの視界に入るように配置される画面を有する表示部と、ユーザにより携帯される携帯端末と通信する通信部と、携帯端末上で行われるユーザ操作を、前記通信部を介して検出する検出部と、前記検出部により検出される前記ユーザ操作に応じて、前記画面内で第１の方向に自動的にスクロールするスクロールアイテムの表示を制御する表示制御部と、を備える情報処理装置が開示されている（特許文献１）。

また、ユーザの視界に映る実空間に存在する外部装置を撮像画像内で認識し、認識された外部装置が表示アイテムにより隠れないように、該表示アイテムを配置して表示する表示制御部を備える情報処理装置が開示されている（特許文献２）。

特開２０１４−７１８１２号公報 特開２０１４−７１８１１号公報

ユーザの頭部に装着可能なウェアラブル装置においては、更なる操作性の向上が望まれる。

本出願の目的は、操作性が向上されたウェアラブル装置を提供することにある。

態様の一つに係るウェアラブル装置は、眼前に配置される表示部を備えるウェアラブル装置であって、前記ウェアラブル装置の前方の所定空間に他の電子機器が在るか否かを検出する検出部を備え、前記他の電子機器が前記所定空間に在り、該他の電子機器が所定の表示を行っている場合、該表示に関連する付加情報を前記表示部に表示する。

また、態様の一つに係るウェアラブル装置は、眼前に配置される表示部と、現実の空間に存在する所定物を検出する検出部と、利用者の前方の所定空間に前記所定物が在る場合に、該所定物に関連する付加情報を、前記表示部の表示領域において前記所定物と重畳しない位置に表示する制御部と、を備えるウェアラブル装置であって、前記所定物が移動し、前記付加情報が表示された領域に前記所定物が重畳したことを検出すると、該付加情報に対する選択処理を実行する。

また、態様の一つに係るウェアラブル装置は、眼前に配置される表示部と、現実の空間に存在する所定物を検出する検出部と、利用者の前方の所定空間に前記所定物が在る場合に、該所定物に関連する付加情報を含む画像を、該画像が前記表示部の表示領域における前記所定物を包含するように表示する。

また、態様の一つに係るウェアラブル装置は、眼前に配置される表示部を備えるウェアラブル装置であって、現実の空間に他の電子機器が在るか否かを検出する検出部を備え、前記検出部の検出結果より、前記他の電子機器の表示画面が前記ウェアラブル装置の前記表示部の表示面に対して所定角度以上の傾きを有している場合に、該他の電子機器の表示に関連する画像を、該他の電子機器に重畳させて表示する。

また、態様の一つに係るウェアラブル装置は、利用者の眼前に配置される表示部と、利用者の前方の所定空間に存在する他の電子機器を検出する検出部と、を備えるウェアラブル装置であって、前記表示部に画像を表示している場合に、前記所定空間に他の電子機器が進入したことを前記検出部が検出すると、該進入した他の電子機器の位置の移動に追従して、前記画像の大きさを変更し、前記他の電子機器の前記所定空間における移動速度が所定値未満になると、前記画像の大きさの変更を完了する。

また、態様の一つに係るウェアラブル装置は、利用者の眼前に配置され、複数の表示要素を含む画像を表示する表示部と、利用者の前方の所定空間に存在する所定物を検出する検出部と、を備えるウェアラブル装置であって、前記表示部に前記画像を表示している場合に、前記所定空間に所定物が進入したことを前記検出部が検出すると、該進入した所定物の位置の移動に応じて前記画像の大きさを変更し、前記画像の大きさが変更され、該画像の所定方向における幅が所定長さ以下になると、該画像に含まれる前記複数の表示要素の内の少なくとも１つの表示要素を分割して、該画像の領域外に表示する。

図１は、ウェアラブル装置の斜視図である。 図２は、ウェアラブル装置のブロック図である。 図３Ａは、検出部の検出範囲と、表示部の表示領域との関係について説明するための図である。 図３Ｂは、検出部の検出範囲と、表示部の表示領域との関係について説明するための図である。 図３Ｃは、検出部の検出範囲と、表示部の表示領域との関係について説明するための図である。 図４は、ウェアラブル装置と他の電子機器から形成されるネットワークシステムの概略図である。 図５は、ウェアラブル装置によって種々の機能の内の何れかを適用するための判定フローの一例を示す図である。 図６は、ウェアラブル装置によって種々の機能の内の何れかを適用するための判定フローにおける、図５の場合とは異なる他の例を示す図である。 図７は、本実施形態に係るウェアラブル装置により実行される処理の第１例を示す図である。 図８は、本実施形態に係るウェアラブル装置により実行される処理の第２例を示す図である。 図９は、本実施形態に係るウェアラブル装置により実行される処理の第３例を示す図である。 図１０は、本実施形態に係るウェアラブル装置により実行される処理の第４例を示す図である。 図１１は、本実施形態に係るウェアラブル装置により実行される処理の第５例を示す図である。 図１２は、本実施形態に係るウェアラブル装置により実行される処理の第６例を示す図である。 図１３は、本実施形態に係るウェアラブル装置により実行される処理の第６例を引き続き説明するための図である。 図１４は、本実施形態に係るウェアラブル装置により実行される処理の第６例を引き続き説明するための図である。 図１５は、本実施形態に係るウェアラブル装置により実行される処理の第７例を示す図である。 図１６は、本実施形態に係るウェアラブル装置により実行される処理の第８例を示す図である。 図１７は、本実施形態に係るウェアラブル装置により実行される処理の第９例を示す図である。 図１８は、本実施形態に係るウェアラブル装置により実行される処理の第１０例を示す図である。 図１９は、本実施形態に係るウェアラブル装置により実行される処理の第１１例を示す図である。 図２０は、本実施形態に係るウェアラブル装置により実行される処理の第１２例を示す図である。

以下、本出願に係るウェアラブル装置を実施するための複数の実施形態を、図面を参照しつつ詳細に説明する。なお、以下の説明により本出願が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。

まず、図１を参照しながら、ウェアラブル装置１の全体的な構成について説明する。図１は、ウェアラブル装置１の斜視図である。図１に示すように、ウェアラブル装置１は、利用者の頭部に装着されるヘッドマウントタイプの装置である。

ウェアラブル装置１は、前面部１ａと、側面部１ｂと、側面部１ｃとを有する。前面部１ａは、装着時に、利用者の両目を覆うように利用者の正面に配置される。側面部１ｂは、前面部１ａの一方の端部に接続される。側面部１ｃは、前面部１ａの他方の端部に接続される。側面部１ｂ及び側面部１ｃは、装着時に、眼鏡の蔓のように利用者の耳によって支持され、ウェアラブル装置１を安定させる。側面部１ｂ及び側面部１ｃは、装着時に、利用者の頭部の背面で接続されるように構成されてもよい。

前面部１ａは、装着時に利用者の目と対向する面に表示部２ａ及び表示部２ｂを備える。表示部２ａは、装着時に利用者の右目と対向する位置に配設される。表示部２ｂは、装着時に利用者の左目と対向する位置に配設される。表示部２ａは、右目用の画像を表示し、表示部２ｂは、左目用の画像を表示する。このように、装着時に利用者のそれぞれの目に対応した画像を表示する表示部２ａ及び表示部２ｂを備えることにより、ウェアラブル装置１は、両眼の視差を利用した３次元表示を実現することができる。

表示部２ａ及び表示部２ｂは、一対の半透過ディスプレイであるが、これに限定されない。例えば、表示部２ａ及び表示部２ｂは、メガネレンズ、サングラスレンズ、及び紫外線カットレンズ等のレンズ類を設け、レンズとは別に表示部２ａ及び表示部２ｂを設けてもよい。表示部２ａ及び表示部２ｂは、利用者の右目と左目に異なる画像を独立して提供することができれば、１つの表示デバイスによって構成されてもよい。

前面部１ａには、撮像部３（アウトカメラとも称する）が備えられている。撮像部３は、前面部１ａの中央部分に配置されている。撮像部３は、利用者の前方の風景における所定範囲の画像を取得する。また、撮像部３は、利用者の視界に相当する範囲の画像を取得することも可能である。ここでいう視界とは、例えば、利用者が正面を見ているときの視界である。なお、撮像部３は、前面部１ａの一方の端部（装着時の右目側に相当する）の近傍に配設される撮像部と、前面部１ａの他方の端部（装着時の左目側に相当する）の近傍に配設される撮像部との２つから構成されていても良い。この場合、前面部１ａの一方の端部（装着時の右目側）の近傍に配設される撮像部は、利用者の右目の視界に相当する範囲の画像を取得できる。前面部１ａの一方の端部（装着時の左目側）の近傍に配設される撮像部は、利用者の左目の視界に相当する範囲の画像を取得できる。

ウェアラブル装置１は、利用者が視認している前景に各種情報を視認させる機能を有する。前景とは、利用者の前方の風景を含む。ウェアラブル装置１は、表示部２ａ及び表示部２ｂが表示を行っていない場合、表示部２ａ及び表示部２ｂを透して前景を利用者に視認させる。ウェアラブル装置１は、表示部２ａ及び表示部２ｂが表示を行っている場合、表示部２ａ及び表示部２ｂを透した前景と、表示部２ａ及び表示部２ｂの表示内容とを利用者に視認させる。

また、前面部１ａには、撮像部４（インカメラとも称する）が備えられている。撮像部４は、前面部１ａにおける、利用者の顔面側に配置されている。撮像部４は、利用者の顔面、例えば目の画像を取得する。

また、前面部１ａには、検出部５が備えられる。検出部５は、前面部１ａの中央部分に配置されている。また、側面部１ｃには、操作部６が備えられる。検出部５、操作部６については後述する。

図１では、ウェアラブル装置１が、眼鏡のような形状を有する例を示したが、ウェアラブル装置１の形状はこれに限定されない。例えば、ウェアラブル装置１は、ゴーグルの形状を有してもよい。ウェアラブル装置１は、例えば、情報処理装置、バッテリ装置等の外部装置と有線または無線で接続される構成であってもよい。

次に、図２を参照しながら、ウェアラブル装置１の機能的な構成について説明する。図２は、ウェアラブル装置１のブロック図である。図２に示すように、ウェアラブル装置１は、表示部２ａ及び表示部２ｂと、撮像部３（アウトカメラ）及び撮像部４（インカメラ）と、検出部５と、操作部６と、制御部７と、通信部８と、記憶部９とを有する。

表示部２ａ及び表示部２ｂは、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｓｅｎｃｅ）パネル等の半透過または透過の表示デバイスを備える。表示部２ａ及び表示部２ｂは、制御部７から入力される制御信号に従って各種の情報を画像として表示する。表示部２ａ及び表示部２ｂは、レーザー光線等の光源を用いて利用者の網膜に画像を投影する投影装置であってもよい。この場合、表示部２ａ及び表示部２ｂは、眼鏡を模したウェアラブル装置１のレンズ部分にハーフミラーを設置して、別途設けられるプロジェクタから照射される画像が投影される構成であってもよい（図１に示す例において、表示部２ａ及び表示部２ｂは、矩形状のハーフミラーを示している）。また、前述したように、表示部２ａ及び表示部２ｂは、各種の情報を３次元的に表示しても良い。また、表示部２ａ及び表示部２ｂは、各種の情報を利用者の前方（又は利用者から離れた位置）にあたかも存在するかのように表示しても良い。このように情報を表示する方式としては、例えば、フレームシーケンシャル方式、偏光方式、直線偏光方式、円偏光方式、トップアンドボトム方式、サイドバイサイド方式、アナグリフ方式、レンチキュラ方式、パララックスバリア方式、液晶パララックスバリア方式、２視差方式等の多視差方式の何れかが採用されて良い。

撮像部３及び撮像部４は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサを用いて電子的に画像を撮像する。そして、撮像部３及び撮像部４は、撮像した画像を信号に変換して制御部７へ出力する。

検出部５は、利用者の前景に存在する現実の物体を検出する。検出部５は、例えば、現実の物体のうち、予め登録された物体又は予め登録された形状にマッチする物体を検出する。予め登録された物体は、例えば、人間の手や指、或いは、スマートフォン、腕時計型端末等の携帯電子機器を含む。予め登録された形状は、例えば、人間の手や指等の形状、或いは、スマートフォン、腕時計型端末等の携帯電子機器の形状を含む。検出部５は、予め形状が登録されていない物体についても、画素の明度、彩度、色相のエッジ等に基づいて、画像中の現実の物体の範囲（例えば、形状及び大きさ）を検出するように構成されてもよい。なお、上記のような現実の物体を本明細書では、所定物と称する。

検出部５は、現実の物体（所定物とも称する）を検出するセンサを有する。センサは、例えば、可視光、赤外線、紫外線、電波、音波、磁気、静電容量の少なくとも１つを用いて、現実の物体を検出するセンサである。

本実施形態においては、撮像部３（アウトカメラ）は、検出部５を兼ねても良い。すなわち、撮像部３は、撮像される画像を解析することによって、撮像範囲内の物体（所定物とも称する）を検出する。

操作部６は、例えば、側面部１ｃに配設されるタッチセンサを含む。タッチセンサは、利用者の接触を検出可能であり、検出結果に応じて、ウェアラブル装置１の起動、停止、動作モードの変更等の基本的な操作を受け付ける。本実施形態では、操作部６が側面部１ｃに配置されている例を示しているが、これに限定されず、側面部１ｂに配置されても良いし、側面部１ｂと側面部１ｃにとの双方に配置されても良い。

制御部７は、演算手段であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、記憶手段であるメモリとを備える。制御部７は、これらのハードウェア資源を用いてプログラムを実行することによって各種の機能を実現する。具体的には、制御部７は、記憶部９に記憶されているプログラムやデータを読み出してメモリに展開し、メモリに展開されたプログラムに含まれる命令をＣＰＵに実行させる。そして、制御部７は、ＣＰＵによる命令の実行結果に応じて、メモリ及び記憶部９に対してデータの読み書きを行ったり、表示部２ａ及び表示部２ｂ等の動作を制御したりする。ＣＰＵが命令を実行するに際しては、メモリに展開されているデータや検出部５等を介して検出される操作がパラメータや判定条件の一部として利用される。また、制御部７は、通信部８を制御することによって、通信機能を有する他の電子機器との通信を実行させる。

通信部８は、無線により通信する。通信部８によってサポートされる無線通信規格には、例えば、２Ｇ、３Ｇ、４Ｇ等のセルラーフォンの通信規格と、近距離無線の通信規格がある。セルラーフォンの通信規格としては、例えば、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、ＣＤＭＡ２０００、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｅｌｌｕｌａｒ）、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍ）等がある。近距離無線の通信規格としては、例えば、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＷＰＡＮ（Ｗｉｒｅｌｅｓｓ Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等がある。ＷＰＡＮの通信規格には、例えば、ＺｉｇＢｅｅ（登録商標）がある。通信部８は、上述した通信規格の１つ又は複数をサポートしていてもよい。

例えば、ウェアラブル装置１は、該ウェアラブル装置１が利用者によって装着されているときに、利用者が所持する携帯電子機器（例えばスマートフォンや腕時計型端末等である）と上記の近距離無線方式による通信を行うことにより、種々の信号を送受信されて良い。

なお、通信部８は、上記携帯電子機器等の他の電子機器と有線接続されることによって、通信しても良い。この場合、ウェアラブル装置１は、他の電子機器が接続されるコネクタを備える。コネクタは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、ライトピーク（サンダーボルト（登録商標））、イヤホンマイクコネクタのような汎用的な端子であってもよい。コネクタは、Ｄｏｃｋコネクタのような専用の端子でもよい。コネクタは、上記の携帯電子機器以外にも、例えば、外部ストレージ、スピーカ、及び通信装置を含むあらゆる装置に接続されて良い。

記憶部９は、各種のプログラムやデータを記憶する。記憶部９は、フラッシュメモリ等の不揮発性を有する記憶装置を含んでもよい。記憶部９に記憶されるプログラムには、制御プログラム９０が含まれる。記憶部９は、メモリカード等の可搬の記憶媒体と、記憶媒体に対して読み書きを行う読み書き装置との組み合わせによって構成されてもよい。この場合、制御プログラム９０は、記憶媒体に記憶されていてもよい。また、制御プログラム９０は、無線通信または有線通信によってサーバ装置や、スマートフォン、腕時計型端末等の他の携帯電子機器から取得されてもよい。

制御プログラム９０は、ウェアラブル装置１を稼働させるための各種制御に関する機能を提供する。制御プログラム９０が提供する機能には、検出部５の検出結果から、利用者の前方の風景に存在する現実の物体（所定物）を検出するための機能や、表示部２ａ及び２ｂの表示を制御する機能等が含まれる。

制御プログラム９０は、検出処理プログラム９０ａと、表示制御プラグラム９０ｂとを含む。検出処理プログラム９０ａは、検出部５の検出結果から、利用者の前景に存在する所定物を検出するための機能を提供する。検出処理プログラム９０ａは、検出部５の検出結果から、利用者の前景における所定物の位置を推定する機能を提供する。また、検出処理プログラム９０ａは、撮像部３の検出結果から、利用者の前方の風景に存在する所定物を検出するための機能を提供する。表示制御プラグラム９０ｂは、利用者の前方の風景に存在する所定物に関連する情報を表示する機能を提供する。表示制御プラグラム９０ｂは、所定物がスマートフォンや腕時計型端末等の表示機能を有した電子機器である場合であって、該電子機器が所定の表示を行っている場合には、該表示に関連する付加情報を表示部に表示する機能を提供する。

次に、図３Ａから図３Ｃを参照し、検出部５の検出範囲と、表示部２ａ及び表示部２ｂの表示領域との関係について説明する。図３Ａから図３Ｃは、検出部５の検出範囲５１と、表示部２ａ及び表示部２ｂの表示領域２１との関係を示す図である。

なお、本実施形態では、検出部５が赤外線を用いて、現実の所定物を検出するセンサであるものとして説明する。検出部５は、赤外線を照射する赤外線照射部と、現実の所定物から反射される赤外線を受光可能な（又は、赤外感度を有する）赤外線撮像部とからなるものとして説明する。即ち、制御部７は、赤外線撮像部の撮像画像から、現実の所定物を検出する。また、本実施形態では、表示部２ａ及び表示部２ｂがウェアラブル装置１から離れた位置にあたかも存在するかのように表示画像を表示させるものとして説明する。

図３Ａは、検出部５の検出範囲５１と、表示部２ａ及び表示部２ｂの表示領域２１とを模式的に示した斜視図である。図３Ｂは、図３Ａの上面図である。図３Ｃは、図３Ａの正面図である。図３Ａから図３Ｃは、Ｘ軸、Ｙ軸、Ｚ軸からなる三次元直交座標系が定義されている。Ｙ軸方向は、鉛直方向である。Ｚ軸方向は、利用者の前後方向である。Ｘ軸方向は、Ｙ軸方向とＺ軸方向との双方と直交する方向である。図３Ｃは、利用者が前方を視認した際の視界に相当する。

図３Ａから図３Ｃから解るように、検出範囲５１は、３次元空間を有する。即ち、検出部５は、赤外線照射部から照射された赤外線を、赤外線撮像部により検出することによって、３次元空間である検出範囲５１内に在る所定物を検出できる。また、検出部５は、３次元空間である検出範囲５１内に在る所定物の動作を検出することも可能である。例えば、所定物が利用者の腕、手、又は指、或いはこれらを組み合わせたもの（上肢と総称する）である場合、検出部５は、動作として、指の曲げ動作・伸展動作、手首の曲げ、前腕の回転（例えば回内、回外）等（ジェスチャとも称する）が検出可能である。また、検出部５は、上肢の特定箇所の位置が、検出範囲５１内において移動をすることを検出しても良い。また、検出部５は、上肢の形状を検出しても良い。例えば、検出部５は、親指を上方に伸ばしつつ他の指を握った形態（例えばグッドサイン）等を検出して良い。

なお、ウェアラブル装置１は、撮像部３（アウトカメラ）を検出部として適用した場合であっても、上記検出部５と同様に、検出範囲内（又は撮像範囲内）に在る所定物の検出、所定物の動作等の検出が可能である。

また、図３Ａから図３Ｃから解るように、表示部２ａ及び表示部２ｂは、実際に設けられたウェアラブル装置１の部分ではなく、ウェアラブル装置１から離れた位置となる表示領域２１に画像を表示する（以下、表示部２ａ及び２ｂが表示する画像を表示画像と称することもある）。このとき、表示部２ａ及び表示部２ｂは、表示画像を、奥行きを持つ立体形状の３Ｄオブジェクトとして表示しても良い。なお、当該奥行きは、Ｚ軸方向における厚みに対応する。

（１．ウェアラブル装置１と他の電子機器から形成されるネットワークシステム１００（図４参照））
図４は、ウェアラブル装置１と他の電子機器から形成されるネットワークシステム１００の概略図である。図４に示すように、ウェアラブル装置１は、他の電子機器として、例えば、利用者が所持するスマートフォンＡや、利用者が腕に装着する腕時計型端末Ｂと有線または無線接続されることにより通信を行う。ウェアラブル装置１は、制御部７が通信部８を制御することにより、他の電子機器との通信を行う。ウェアラブル装置１は、複数の電子機器（例えばスマートフォンＡや腕時計型端末Ｂ）と通信し得る状況においては、複数の電子機器の内の何れかから送信される信号に含まれる識別情報（例えば、ＩＤを示すデータ）に基づいて、通信相手を識別して良い。

ネットワークシステム１００によれば、他の電子機器が利用者に報知しようとする情報を、該他の電子機器の代わりにウェアラブル装置１によって報知する第１機能の実行が実現される。例えば、ウェアラブル装置１は、他の電子機器が表示しようとする画像を、ウェアラブル装置１の表示部２ａ及び表示部２ｂにおいて表示することができる。具体例としては、他の電子機器であるスマートフォンＡは、メールを受信した場合、該メールを受信した旨を表示させるための制御信号、或いは、メール内容（例えばメッセージ等）を表示させるための制御信号をウェアラブル装置１に送信する。制御信号を受信したウェアラブル装置１は、該制御信号に基づいて、スマートフォンＡがメールを受信した旨、或いはメール内容を表示部２ａ及び表示部２ｂに表示する。

また、ネットワークシステム１００によれば、利用者が所持する他の電子機器に対する接触動作に基づいて、ウェアラブル装置１を操作する第２機能が実現される。例えば、他の電子機器が、接触操作が可能なスマートフォンＡである場合に、ウェアラブル装置１は、他の電子機器に対する接触の情報を含む信号をスマートフォンＡから受信し、該信号に基づいて、表示の変更を伴う操作等がなされて良い。

また、他の電子機器が、取り付けた側の上肢の動作を検出可能な腕時計型端末Ｂである場合に、ウェアラブル装置１は、検出される上肢の動作に基づく信号を腕時計型端末Ｂから受信し、該信号に基づいて、表示の変更を伴う操作等がなされて良い。

また、ネットワークシステム１００によれば、ウェアラブル装置１は、他の電子機器が表示機能を有する場合に、該表示に関連する付加情報を該ウェアラブル装置１の表示部２ａ及び表示部２ｂに表示する第３機能が実現される。例えば、他の電子機器がスマートフォンＡである場合、ウェアラブル装置１は、当該スマートフォンＡから表示制御に係る信号を受信し、該信号に基づいた画像を利用者の視認しうる空間に表示して良い。

以上に、ネットワークシステム１００によって実現される種々の機能を例示したが、これら種々の機能は、予め定められた条件に基づいて適宜選択されて実行されて良い。図５は、ウェアラブル装置１によって種々の機能の内の何れかを適用するための判定フローの一例を示す図である。本判定フローに基づく処理は、ウェアラブル装置１の制御部７が、記憶部９に記憶されている制御プログラム９０を実行することにより実現される。図５に示す例では、他の電子機器がスマートフォンＡであるものとして説明する。

図５に示すように、制御部７は、スマートフォンＡから信号を受信したか否かを判定する（ステップＳＴ１０１）。

制御部７は、判定の結果、スマートフォンＡから信号を受信しない場合（ステップＳＴ１０１，Ｎｏ）、同判定を繰り返す。これとは反対に、制御部７は、スマートフォンＡから信号を受信した場合には（ステップＳＴ１０１，Ｙｅｓ）、受信した信号に基づく情報から、スマートフォンＡが利用者によって握られているか否かを判定する（ステップＳＴ１０２）。

制御部７は、判定の結果、スマートフォンＡが利用者によって握られていないと判定した場合（ステップＳＴ１０２，Ｎｏ）、ネットワークシステム１００によって実現される第１機能を適用する（ステップＳＴ１０３）。第１機能は、例えば、スマートフォンＡが利用者に報知しようとする情報を、該他の電子機器の代わりにウェアラブル装置１によって報知する機能を含む。

制御部７は、ステップＳＴ１０２における判定の結果、スマートフォンＡが利用者によって握られていることを認識した場合（ステップＳＴ１０２，Ｙｅｓ）、検出部５に検出処理を開始させる（ステップＳＴ１０４）。

続いて、制御部７は、検出部５の検出結果から、利用者の前方の所定空間中にスマートフォンＡが在るか否かを判定する（ステップＳＴ１０５）。ここで、利用者の前方の所定空間とは、例えば、利用者が視認し得る空間として良い。このとき、利用者が視認し得る空間は、適宜規定され、例えば、人間の標準的な視野角が１２０度程度であることに基づいて規定されて良い。また、利用者の前方の所定空間とは、利用者がウェアラブル装置１を装着した状態で、表示領域２１を視認した際に、該表示領域と重畳して視認しうる空間としても良い。また、所定空間は、上記以外のあらゆる規定がなされて良い。

制御部７は、判定の結果、所定空間中にスマートフォンＡが存在しない場合（ステップＳＴ１０５，Ｎｏ）、ネットワークシステム１００によって実現される第２機能を適用する（ステップＳＴ１０６）。第２機能は、例えば、スマートフォンＡに対する接触動作に基づいて、ウェアラブル装置１を操作する機能を含む。

このように、ウェアラブル装置１は、スマートフォンＡが利用者によって握られているか否かを判定し、握られている場合には、スマートフォンＡへの接触動作によってウェアラブル装置１を操作する機能の実行を有効とする構成を有してよい。ウェアラブル装置１は、スマートフォンＡが利用者によって握られていない場合には、利用者がスマートフォンＡを即座に視認し得ない状態と捉え、スマートフォンＡが報知しようとする情報を該スマートフォンＡの代わりにウェアラブル装置１にて報知する機能の実行を有効とする構成を有してよい。これらの構成によれば、ウェアラブル装置１は、スマートフォンＡの使用状態によってより使い勝手の良い機能を実行することができる。

制御部７は、判定の結果、所定空間中にスマートフォンＡが在る場合（ステップＳＴ１０５，Ｙｅｓ）、ネットワークシステム１００によって実現される第３機能を適用する（ステップＳＴ１０７）。第３機能は、例えば、スマートフォンＡが表示する表示内容に関連する付加情報をウェアラブル装置１の表示部２ａ及び表示部２ｂに表示する機能を含む。

このように、ウェアラブル装置１は、所定空間（例えば、利用者が視認しうる空間）にスマートフォンＡが在るか否かを判定し、在る場合には、スマートフォンＡが表示している表示内容を補足する付加情報を表示部２ａ及び表示部２ｂに表示する機能の実行を有効とする構成として良い。ウェアラブル装置１は、所定空間（例えば、利用者が視認しうる空間）にスマートフォンＡが存在しない場合には、利用者がスマートフォンＡを視認していない状態と捉え、スマートフォンＡへの接触動作によってウェアラブル装置１を操作する機能の実行を有効とする構成として良い。これらの構成によれば、ウェアラブル装置１は、スマートフォンＡの使用状態によってより使い勝手の良い機能を実行することができる。なお、スマートフォンＡへの接触動作によってウェアラブル装置１を操作する場合であって、スマートフォンＡがタッチパネルを備える場合には、ウェアラブル装置１は、当該タッチパネルへの接触位置の移動に基づいて、ウェアラブル装置１の表示領域（図３におけるＸ−Ｙ面）の位置を指定する、カーソルとしての機能を実行しても良い。

図６は、ウェアラブル装置１によって種々の機能の内の何れかを適用するための判定フローにおける、図５の場合とは異なる他の例を示す図である。本判定フローに基づく処理は、ウェアラブル装置１の制御部７が、記憶部９に記憶されている制御プログラム９０を実行することにより実現される。図６に示す例では、他の電子機器がスマートフォンＡであるものとして説明する。

図６に示すように、制御部７は、検出部５に検出処理を開始させる（ステップＳＴ２０１）。

続いて、制御部７は、検出部５の検出結果から、検出範囲５１内にスマートフォンＡが在るか否かを判定する（ステップＳＴ２０２）。

制御部７は、判定の結果、検出範囲５１内にスマートフォンＡが存在しない、即ち、検出部５がスマートフォンＡを検出しない場合（ステップＳＴ２０２，Ｎｏ）、ネットワークシステム１００によって実現される第１機能を適用する（ステップＳＴ２０３）。第１機能は、例えば、スマートフォンＡが利用者に報知しようとする情報を、該他の電子機器の代わりにウェアラブル装置１によって報知する機能を含む。

制御部７は、ステップＳＴ２０２における判定の結果、検出範囲５１中にスマートフォンＡが在る、即ち、検出部５がスマートフォンＡを検出した場合（ステップＳＴ２０２，Ｙｅｓ）、処理をステップＳＴ２０４に進める。制御部７は、利用者の前方の所定空間中にスマートフォンＡが在るか否かを判定する（ステップＳＴ２０４）。ここで、所定空間は、図５の場合と同様に規定されて良い。

制御部７は、判定の結果、所定空間中にスマートフォンＡが存在しない場合（ステップＳＴ２０４，Ｎｏ）、ネットワークシステム１００によって実現される第２機能を適用する（ステップＳＴ２０５）。第２機能は、例えば、スマートフォンＡに対する接触動作に基づいて、ウェアラブル装置１を操作する機能を含む。

制御部７は、判定の結果、所定空間中にスマートフォンＡが在る場合（ステップＳＴ２０４，Ｙｅｓ）、ネットワークシステム１００によって実現される第３機能を適用する（ステップＳＴ２０６）。第３機能は、例えば、スマートフォンＡが表示する表示内容に関連する付加情報をウェアラブル装置１の表示部２ａ及び表示部２ｂに表示する機能を含む。

図５及び図６に示したように、ウェアラブル装置１は、適宜設定されうる種々の条件に基づいてネットワークシステム１００によって実現される種々の機能を適時適用できる。しかしながら、本実施形態に係るウェアラブル装置１は、このような構成のみに限定されるものではなく、上記の種々の機能の適用は、利用者によって設定されて良い。また、ウェアラブル装置１は、上記の種々の機能を全て備えている必要は必ずしもない。

（２．他の電子機器の表示内容に関連する付加情報をウェアラブル装置１に表示する機能）
図７から図２０を参照して、他の電子機器の表示内容に関連する付加情報をウェアラブル装置１に表示する機能の実施形態を説明する。

図７は、本実施形態に係るウェアラブル装置１により実行される処理の第１例を示す図である。

図７には、ウェアラブル装置１の表示部２ａ（２ｂ）（以下、単に表示部２と記すこともある）が示されている。ウェアラブル装置１の表示部２ａを除いた、他の部材及び他の機能部については、図示を省略している。図７は、利用者の視界に相当する空間が、二次元平面として模式的に示された図である。図７には、表示部２の表示領域２１と、検出部５によって検出可能な、利用者の前方の所定空間５１ａと、が示されている（図７の例では、点線で囲われた領域である）。なお、所定空間５１ａは、上記のように種々に規定されて良い。また、利用者の前方の所定空間とは、即ち、ウェアラブル装置１の前方の所定空間である。図７では、所定空間５１ａが平面であるように図示されているが、実際には、ユーザの前後方向（例えば図３におけるＺ軸方向）において奥行きを有する３次元空間として規定される。ここで、ウェアラブル装置１は、検出部５を起動しており、図示しない検出範囲５１中における所定物の検出が可能な状態にあるものとする。

また、図７には、利用者の右手Ｒによって握られたスマートフォンＡ（他の電子機器）が示されている。スマートフォンＡは、表示部と、表示部に重畳して設けられるタッチセンサと、を備える。スマートフォンＡは、表示部の表示領域の所定位置をタッチすることによって、該位置に表示された画像に基づく処理が実行可能である。

ステップＳ１において、スマートフォンＡには、タッチすることによって所定の機能を実行するための複数のオブジェクトＯＢ（アイコンとも称する）が表示されている（このような画面をホーム画面と称することもある）。複数のオブジェクトＯＢは、オブジェクトＯＢ１を含む。例えば、オブジェクトＯＢ１は、タッチされることによって、ウェブブラウザを起動させることが可能である旨を示す画像である。ステップＳ１において、スマートフォンＡは、所定空間５１ａ外に在る。このような状態で、利用者が右手を左方向に移動させると、ステップＳ２に示すように、スマートフォンＡは、所定空間５１ａ内へ移動する。なお、ユーザのＺ軸方向（言い換えると、Ｘ−Ｙ面と直交する方向）においても、所定空間５１ａ内にスマートフォンＡが在るものとする。

ウェアラブル装置１は、スマートフォンＡが利用者の前方の所定空間５１ａ内に在ることを検出部５が検出すると、スマートフォンＡとの通信接続を開始する。ウェアラブル装置１は、スマートフォンＡから、ウェアラブル装置１の表示部２において所定の表示を実行するための表示制御信号を受信する。そして、ウェアラブル装置１は、受信した表示制御信号に基づいて、新たな画面ＳＣ１を表示部２に表示する（ステップＳ３）。画面ＳＣ１は、例えば、スマートフォンＡが所定空間５１ａ内に在ることが検出された時点において表示していた表示内容に関連する付加情報を含む。図７の例においては、スマートフォンＡがホーム画面を表示していることから、画面ＳＣ１は、例えば、ホーム画面中のオブジェクトＯＢ（アイコン）の機能を説明するための情報、或は、利用者が予め作成したメモ等を付加情報として表示して良い。

このように、ウェアラブル装置１は、該ウェアラブル装置の前方の所定空間５１ａにスマートフォンＡ（他の電子機器）が在るか否かを検出する検出部５を備える。ウェアラブル装置１は、スマートフォンＡが所定空間５１ａに在り、該スマートフォンＡが所定の表示を行っている場合、該表示に関連する付加情報を表示部２に表示する構成を有する。このような構成によれば、ウェアラブル装置１は、スマートフォンＡが一度に表示し得る画像、即ち、一度に利用者に提供し得る情報量よりも多い量の情報を利用者に提供できるので、利用者にとって使い勝手が良くなる。

なお、図７を参照した上記説明においては、ウェアラブル装置１は、スマートフォンＡが所定空間５１ａに在ることを検出したことを契機に、スマートフォンＡとの通信接続を開始する構成を示したがこれに限定されない。例えば、ウェアラブル装置１は、スマートフォンＡが利用者によって握られたことを検出したことを契機にして良い。スマートフォンＡが利用者によって握られたことは、例えば、スマートフォンＡが備えるタッチセンサによって検出されて良い。ウェアラブル装置１は、当該スマートフォンＡから、ウェアラブル装置１に対して通信接続要求を受けた場合に、通信接続を開始する構成であっても良い。

なお、図７を参照した上記説明においては、ウェアラブル装置１は、スマートフォンＡの全体が所定空間５１ａ外にある状態から、スマートフォンＡの全体が所定空間５１ａ内に在る状態へ移行したことによって画面ＳＣ１を表示する構成としたが、このような構成には限定されない。ウェアラブル装置１は、スマートフォンＡの全域に対する、スマートフォンＡが所定空間５１ａ内に含まれている領域の割合が所定値以上となったことを契機にスマートフォンＡが所定空間５１ａにあるものと判定しても良い。或は、ウェアラブル装置１は、所定空間５１ａにスマートフォンＡが少しでも検出されると、スマートフォンＡが所定空間５１ａにあるものと判定しても良い。

また、ウェアラブル装置１は、スマートフォンＡの表示面とウェアラブル装置１の前面（或は、ウェアラブル装置１の表示面）とが交わる角度が所定角度よりも小さい状態で、スマートフォンＡが所定空間５１ａ内に在ること検出して良い。ウェアラブル装置１は、当該検出によって「スマートフォンＡが利用者の前方の所定空間５１ａに在る」ものと判定し、画面ＳＣ１を表示する構成としても良い。

また、ウェアラブル装置１は、撮像部４（インカメラ）が撮像する利用者の目の画像から特定される利用者の視線方向とスマートフォンＡの表示面とが交わる角度が所定角度よりも大きい状態で、スマートフォンＡが所定空間５１ａ内に在ることを検出して良い。ウェアラブル装置１は、当該検出によって「スマートフォンＡが利用者の前方の所定空間５１ａに在る」ものと判定し、画面ＳＣ１を表示する構成としても良い。

なお、制御部７は、撮像部４が撮像する利用者の画像から、利用者の眼球を含む所定の領域を抽出し、目頭と虹彩との位置関係に基づいて視線方向を特定して良い。あるいは、制御部７は、利用者がディスプレイ上の表示領域各所を閲覧しているときの複数の眼球の画像を参照画像としてそれぞれ蓄積しておく。そして、制御部７は、参照画像と、判定対象として取得される利用者の眼球の画像とを照合することにより、上記視線位置を検出して良い。

また、ウェアラブル装置１は、例えば、スマートフォンＡが備える撮像部が撮像する撮像画像中にウェアラブル装置１、又は利用者の顔面、又は利用者の目を検出したことによって、該スマートフォンＡが所定空間５１ａ内に在るものと判定しても良い。この場合、スマートフォンＡは、表示面と平行な面（或は表示面と面一となる面）に露出した撮像部を有し、撮像画像中にウェアラブル装置１（或は利用者の顔面や目）を検出した場合に、利用者がスマートフォンＡの表示面を視認しているものと見なす。そして、スマートフォンＡは、撮像画像中にウェアラブル装置１（或は利用者の顔面や目）を検出すると、ウェアラブル装置１との通信接続を開始する。ウェアラブル装置１は、スマートフォンＡから受信する信号に基づいて、スマートフォンＡが所定空間５１ａ中にあるものと認識し、画面ＳＣ１を表示する。

また、ウェアラブル装置１は、スマートフォンＡ（他の電子機器）と通信接続を行い、スマートフォンＡから受信した表示制御信号に基づいて、画面ＳＣ１（付加情報）を表示する構成を説明したが、これに限定されない。例えば、ウェアラブル装置１は、予め、スマートフォンＡの表示内容に関する付加情報を記憶部９に記憶しており、所定空間５１ａ中に在るスマートフォンＡの表示内容を撮像部３の撮像画像等から検出し、該表示内容に関する付加情報を記憶部９から参照して、画面ＳＣ１として表示する構成を有していても良い。

また、ウェアラブル装置１は、所定空間５１ａ中にスマートフォンＡ（他の電子機器）を検出したことに基づいて、画面ＳＣ１を表示する構成としたがこれに限定されない。例えば、ウェアラブル装置１は、所定空間５１ａ中にスマートフォンＡ（他の電子機器）を握った右手Ｒを検出したことに基づいて、画面ＳＣ１を表示する構成としても良い。

なお、ウェアラブル装置１は、画面ＳＣ１を表示するときに、表示部２に表示していた他の画面を非表示にしても良い。言い換えると、ウェアラブル装置１は、スマートフォンＡ（他の電子機器）が所定空間５１ａに無い第１状態から、スマートフォンＡが所定空間５１ａ内に在る第２状態に遷移すると、第１状態において表示部２に表示されていた画像を非表示にする構成を有していて良い。

また、図７に示すように、画面ＳＣ１は、スマートフォンＡの略矩形状の外郭Ａ１よりも外側に表示される。このようにウェアラブル装置１は、検出部５の検出結果に基づき、所定空間５１ａにおけるスマートフォンＡ（他の電子機器）の外郭Ａ１を検出し、画面ＳＣ１（例えば付加情報を含む画像）がスマートフォンＡの外郭Ａ１の外側となるように、該画面ＳＣ１を表示部２に表示する。これにより、ウェアラブル装置１は、画面ＳＣ１によってスマートフォンＡの表示の視認を妨げることが無く、使い勝手が良くなる。

また、図７に示すように、画面ＳＣ１は、該画面ＳＣ１の一辺がスマートフォンＡの一辺と略平行に沿うように配置されて表示される。これにより、ウェアラブル装置１は、画面ＳＣ１に含まれる付加情報が、スマートフォンＡの表示内容に関連する情報であるものと認識しやすくなる。

なお、ウェアラブル装置１は、表示領域２１の空間座標と所定空間５１ａの空間座標との対応付けを予め行っても良い。これにより、ウェアラブル装置１は、所定空間５１ａ内におけるスマートフォンＡの位置及び角度に基づいて、上記のような適切な位置に、適切な形状、大きさ、及び角度の画面ＳＣ１を表示することができる。

図８は、本実施形態に係るウェアラブル装置１により実行される処理の第２例を示す図である。

ステップＳ１１において、スマートフォンＡには、複数のオブジェクトＯＢが表示されている。複数のオブジェクトＯＢは、例えば、ウェブブラウザを起動させることが可能である旨を示すオブジェクトＯＢ１を含む。ステップＳ１１において、スマートフォンＡは、所定空間５１ａ外に在る。このような状態で、利用者が右手を左方向に移動させると、ステップＳ１２に示すように、スマートフォンＡは、所定空間５１ａ内へ移動する。

ウェアラブル装置１は、スマートフォンＡが利用者の前方の所定空間５１ａ内に在ることを検出すると、撮像部３（アウトカメラ）を起動する。そして、ウェアラブル装置１は、撮像部３が撮像する撮像画像を表示部２に表示する（ステップＳ１３）。表示部２に表示された撮像画像は、プレビューウィンドウＰＷと称する。ここで、プレビューウィンドウＰＷは、撮像部３が撮像した画像が逐次伝送されることによって構成される映像データを含む。

また、ウェアラブル装置１は、スマートフォンＡが利用者の前方の所定空間５１ａ内に在ることを検出すると、スマートフォンＡとの通信接続を開始し、スマートフォンＡから、ウェアラブル装置１の表示部２において所定の表示を実行するための表示制御信号を受信する。そして、ウェアラブル装置１は、受信した表示制御信号に基づいて、複数の画面ＳＣ２を、プレビューウィンドウＰＷと重畳するように、表示部２に表示する（ステップＳ１３）。画面ＳＣ２は、スマートフォンＡが所定空間５１ａ内に在ることが検出された時点において表示していた表示内容に関連する付加情報を含む。画面ＳＣ２は、例えば、オブジェクトＯＢの機能を説明するための情報を含む。複数の画面ＳＣ２は、其々が含んでいる付加情報と対応する其々のオブジェクトＯＢを起点とした吹き出し部分を含む画像として表示される。

このような表示態様とすることで、ウェアラブル装置１は、複数の付加情報を表示する場合に、其々の付加情報が、スマートフォンＡが表示する複数の表示内容の何れに対応する情報であるのかを認識しやすくなる。

また、ウェアラブル装置１は、プレビューウィンドウＰＷ中のスマートフォンＡ及びスマートフォンＡが表示する表示内容を認識することができる。これにより、ウェアラブル装置１は、プレビューウィンドウＰＷ中におけるオブジェクトＯＢの表示位置に画面ＳＣ２の吹き出し部分の起点が合致するように、該画面ＳＣ２を表示できる。このような構成を有することにより、ウェアラブル装置１は、オブジェクトＯＢの位置と画面ＳＣ２の位置とを確実に対応付けることができる。

図９は、本実施形態に係るウェアラブル装置１により実行される処理の第３例を示す図である。

ステップＳ２１の状態は、図７に示すステップＳ３の状態と同様である。ステップＳ２１の状態は、所定空間５１ａ内にスマートフォンＡが存在し、またスマートフォンＡが表示しているオブジェクトＯＢに関連する付加情報が画面ＳＣ１として表示部２に表示されている。

ステップＳ２１において、スマートフォンＡを握っている利用者の右手Ｒの親指は、スマートフォンＡの表示面におけるオブジェクトＯＢが表示されていない箇所に位置している。このような状態において、右手Ｒの親指が、ウェブブラウザ機能を示すオブジェクトＯＢ１が表示された位置に触れると、ウェアラブル装置１は、ステップＳ２２に示すように、画面ＳＣ１の代わりに、画面ＳＣ３〜ＳＣ５を表示する。

ステップＳ２２において表示される画面ＳＣ３〜ＳＣ５は、オブジェクトＯＢ１（例えばウェブブラウザ機能に関する画像である）に関係する複数のウェブページを含む。複数のウェブページ、例えば、以前にブラウザアプリケーションを実行した際に開かれた複数のウェブページであって良い。複数のウェブページは、例えば、利用者によって予め登録された（又はブックマークされた）複数のウェブページであって良い。画面ＳＣ３は、例えば、利用者によって予め登録された「検索ページ」が表示されている。

ステップＳ２２において、ウェアラブル装置１は、スマートフォンＡが所定空間５１ａ内に在ることを検出すると、スマートフォンＡとの通信接続を開始し、スマートフォンＡから表示制御信号を受信する。一方、スマートフォンＡは、ウェアラブル装置１と通信接続すると、表示画面に対する利用者の右手の接触位置を検出する。スマートフォンＡは、当該接触位置がオブジェクトＯＢ１（ウェブブラウザ機能）の表示位置であることに基づいて、ウェブブラウザ機能に関連する情報をウェアラブル装置１に表示させるための表示制御信号を生成、送信する。

このように、ウェアラブル装置１は、スマートフォンＡ（他の電子機器）の表示画面に対する利用者の接触位置に応じて、異なる付加情報を表示部２に表示することができる。これにより、ウェアラブル装置１は、スマートフォンＡに対する操作の状態に適した情報を付加情報として利用者に提供できるため、使い勝手が良い。

ここで、スマートフォンＡから受信する表示制御信号は、付加情報の表示方向を含んでいて良い。図９に示す例では、画面ＳＣ３はスマートフォンＡに対して左方向に、画面ＳＣ４はスマートフォンＡに対して上方向に、画面ＳＣ５はスマートフォンＡに対して右方向に、其々表示させるように制御するための信号が表示制御信号に含まれる。ウェアラブル装置１は、受信した表示制御信号に基づいて、ステップＳ２２に示すように、画面ＳＣ３をスマートフォンＡの左側に、画面ＳＣ４をスマートフォンＡの上側に、画面ＳＣ５をスマートフォンＡの右側に、其々表示している。

ステップ２２において、利用者の右手Ｒの親指は、スマートフォンＡが表示するオブジェクトＯＢ１（ウェブブラウザ機能）に触れたままの状態である。この状態で、右手Ｒの親指がオブジェクトＯＢ１の表示位置から離れると、スマートフォンＡはウェブブラウザ機能を起動し、所定のウェブページに表示を遷移させる（第１処理とも称する）。一方で、右手Ｒの親指がオブジェクトＯＢ１の表示位置に接触した状態から、ウェアラブル装置１が表示している画面ＳＣ３〜ＳＣ５の何れかへ向かう方向（例えばステップＳ２２における点線の矢印の方向）に接触位置を移動させる動作（言い換えるとスライド）をスマートフォンＡが検出すると、上記第１処理とは異なる処理を実行しても良い。例えば、スマートフォンＡは、右手Ｒの親指がオブジェクトＯＢ１の表示位置に接触した状態から、ウェアラブル装置１が表示している画面ＳＣ３へ向かう方向Ｄ１（左方向）に接触位置を移動させる動作を検出する。この場合、スマートフォンＡは、ウェブブラウザ機能を起動させるとともに、上記の所定のウェブページとは異なる、画面ＳＣ３として表示された「検索ページ（ＯＢ２）」に移行させる（ステップＳ２３）。

ステップＳ２３に示すように、スマートフォンＡは、表示が「検索ページ」に移行すると、該「検索ページ」に関する表示制御信号をウェアラブル装置１に送信する。ウェアラブル装置１は、受信した表示制御信号に基づいて、「検索ページ」に関する付加情報（例えば、過去の検索履歴１〜３に係るウェブページ）を画面ＳＣ６〜ＳＣ８として表示する。

以上、第３例に基づいて説明したように、スマートフォンＡから受信する表示制御信号は、付加情報の表示方向を含み、ウェアラブル装置１の制御部７は、表示制御信号に基づいて、他の電子機器よりも表示方向側に付加情報を表示する構成を有する。そして、スマートフォンＡは、該スマートフォンＡの表示面に対する利用者の接触位置が付加情報の表示方向側に移動したことを検出すると、付加情報が選択されたものと見なし、該付加情報に基づく表示画面に遷移させる。このような構成により、ウェアラブル装置１が表示する画面ＳＣ（表示画像とも称する）に対しても、スマートフォンＡに対する接触操作によって選択させることができ、かつ、画面ＳＣの表示箇所へ向かう方向に接触位置を移動させる動作により該画面ＳＣを選択できる操作態様をウェアラブル装置１は実現できる。これにより、ウェアラブル装置１は、利用者に違和感のない操作を実現できる。

なお、第３例においては、スマートフォンＡの表示面に対する接触位置の移動方向をスマートフォンＡにて検出する構成を説明したが、これに限定されず、ウェアラブル装置１にて検出する構成としても良い。例えば、ウェアラブル装置１は、検出部５の検出結果、或いは撮像部３が撮像する撮像画像より、スマートフォンＡを掴んでいる右手Ｒを検出するとともに、該右手Ｒの親指（言い換えると上肢）の移動を検出して良い。ウェアラブル装置１は、右手Ｒの親指（上肢）の移動を検出すると、該移動の方向が、表示部２に表示される複数の画面ＳＣの何れの表示方向と合致するかを推定する。ウェアラブル装置１は、合致すると推定された画面ＳＣが選択された旨の信号をスマートフォンＡに送信する。そして、スマートフォンＡは、ウェアラブル装置１から受信した信号に基づき、選択された画面ＳＣに基づく表示へ遷移させる。

図１０は、本実施形態に係るウェアラブル装置１により実行される処理の第４例を示す図である。

第４例において、スマートフォンＡは、撮像機能を有している。ステップＳ３１に示すように、スマートフォンＡは、撮像機能を実行中であり、表示画面には逐次撮像されている画像がプレビュー表示されている（逐次撮像されている画像は図１０に示す網掛け部分である）。そして、スマートフォンＡは、逐次撮像されている画像を保存するためのオブジェクトＯＢ３（例えばシャッターボタン）を表示画面に表示している。

ステップＳ３１において、スマートフォンＡは、所定空間５１ａ外に在る。このような状態で、利用者が右手を左方向に移動させると、ステップＳ３２に示すように、スマートフォンＡは、所定空間５１ａ内へ移動する。

ウェアラブル装置１は、スマートフォンＡが所定空間５１ａ内に在ることを検出すると、ステップＳ３２に示すように、表示領域２１に複数の画面ＳＣ９を表示する。画面ＳＣ９は、例えば、スマートフォンＡが実行中の撮像機能に関する付加情報を含む。画面ＳＣ９は、例えば、スマートフォンＡが表示している表示内容に関する付加情報と規定されても良い。表示内容は、例えば、プレビュー表示或いはシャッターボタン等を含む。画面ＳＣ９は、例えば、スマートフォンＡによって実現可能な撮像に係る機能の一覧であって良い。機能の一覧は、例えば、人物、風景、逆光、夜景、等の其々の撮影シーンに適した撮影モードを含む。また、画面ＳＣ９は、以前に撮像し保存された写真のデータの一覧であっても良い。ステップＳ３２に示すように、複数の画面ＳＣ９の其々は、スマートフォンＡの側辺に沿って並列して表示されている。

ステップＳ３２において、利用者は、左手Ｌの人差し指を利用者の前方に差し出している。前方に差し出された左手Ｌの人差し指は、所定空間５１ａ内において、複数の画面ＳＣ９の隣に位置している。このとき、利用者は、左手Ｌの人差し指を複数の画面ＳＣ９の其々が並ぶ方向に沿って、下方（例えば図１０の破線矢印で示した方向）へ移動させる。すると、ウェアラブル装置１は、人差し指が下方へ移動したことを検出部５が検出し、これに基づいて、複数の画面ＳＣ９の其々は下方へスクロールされる。複数の画面ＳＣ９の内の網掛けで示された画面は、ステップＳ３２からステップＳ３３に遷移した際に、下方へと位置が変更されている。

図１０の例では、ウェアラブル装置１は、左手Ｌの人差し指が画面ＳＣ９と重畳しない位置において、所定の方向へ移動することにより、該移動の方向に基づいた方向に画面ＳＣ９をスクロールする構成とした。このような構成を有する場合には、ウェアラブル装置１は、例えば、左手Ｌの人差し指が複数の画面ＳＣ９の内の何れかと重畳した場合に、該重畳した画面ＳＣ９が利用者によって選択されたものと見なしても良い。この場合、ウェアラブル装置１は、例えば、選択された画面ＳＣ９に基づく機能を実行させるための制御信号をスマートフォンＡに送信しても良い。

図１１は、本実施形態に係るウェアラブル装置１により実行される処理の第５例を示す図である。

第５例において、スマートフォンＡには複数の動画ファイルが保存されている。ステップＳ４１において、スマートフォンＡには、複数の動画ファイルのサムネイル画像（オブジェクトＯＢ４）が表示されている。ステップＳ４１において、スマートフォンＡは、所定空間５１ａ内に在る。この場合、ウェアラブル装置１は、表示部２に何も表示していない状態にある。なお、このような構成に限定されるものではなく、ステップＳ４１において、ウェアラブル装置１は、スマートフォンＡの表示内容に関する付加情報を表示していて良い。

ステップＳ４１において、利用者の右手Ｒの親指は、スマートフォンＡが表示する複数のサムネイル画像の内の一つ（例えば下段中央に位置する画像）に触れている（言い換えると選択している）。そして、利用者の右手Ｒの親指は、サムネイル画像ＯＢ４に触れている状態で、接触位置をスマートフォンＡの外側に向かう方向へ移動させる動作を行っている。このような動作は、選択したサムネイル画像ＯＢ４をスマートフォンＡから該スマートフォンＡの外側である所定空間５１ａ（言い換えると利用者により視認可能な前景）へドラッグするかのような操作感が得られるかもしれない。スマートフォンＡは、このような利用者の動作を検出すると、選択されていたサムネイル画像ＯＢ４に対応する動画データをウェアラブル装置１へ転送する。スマートフォンＡは、このような動作を検出すると、選択されていたサムネイル画像ＯＢ４の表示態様を変更している。

ウェアラブル装置１は、スマートフォンＡからサムネイル画像ＯＢ４に対応する動画データを受信すると、該データに基づき、表示部２に動画再生画面ＳＣ１０（例えば付加情報）を表示し、動画再生を実行する（ステップＳ４２）。このとき、動画再生画面ＳＣ１０は、スマートフォンＡと重畳して視認されない位置に縮小した大きさで表示されている。

このように、第５例によれば、スマートフォンＡに対する接触によって選択された画像をスマートフォンＡの外側へ出すような接触動作を行うことにより、ウェアラブル装置１は、選択した画像に関する付加情報をスマートフォンＡと共に視認可能な所定空間５１ａ中に表示することができる。これにより、利用者は、所望とするタイミングのみにおいて付加情報をウェアラブル装置１によって参照できる。またこのような操作は、直観的で簡易な操作である。なお、ウェアラブル装置１は、スマートフォンＡにて選択した画像を該スマートフォンＡの外側へ出すような接触動作を行うことにより、選択した画像に関する付加情報を所定空間５１ａ中に表示するのではなく、選択した画像そのものを所定空間５１ａ内に表示する構成であっても良い。

また、上記構成では、ウェアラブル装置１は、スマートフォンＡに対する接触によって選択された画像をスマートフォンＡの外側へ向かう方向へ移動させる（言い換えるとドラッグさせる）動作を、接触位置の移動の検出に基づいて認識するものであるが、これに限定されない。例えば、ウェアラブル装置１は、検出部５或いは撮像部３（アウトカメラ）によって、選択されたスマートフォンＡの画像を移動させる動作を検出しても良い。即ち、ウェアラブル装置１は、スマートフォンＡ（他の電子機器）が所定空間５１ａに在る状態で、かつ、スマートフォンＡに接触する物体が所定の接触動作を行ったことを検出すると、動画再生画面ＳＣ１０（付加情報）を表示部２に表示する構成を有する。なお、ウェアラブル装置１は、撮像部３によってスマートフォンＡに対する接触動作を検出する場合には、例えば、スマートフォンＡが利用者の前方の所定空間５１ａ内に在ることを検出部５が検出したことを契機に撮像部３を起動させても良い。

再度、図１１を参照すると、ステップＳ４２に示すように、ウェアラブル装置１は、動画再生画面ＳＣ１０を表示部２に表示すると、該動画再生画面ＳＣ１０に関連する操作のための操作画面ＳＣ１１〜ＳＣ１３を表示部２に表示する。操作画面ＳＣ１１〜ＳＣ１３は、スマートフォンＡから送信される表示制御信号に基づいて表示されて良い。また、スマートフォンＡから送信される表示制御信号は、操作画面ＳＣ１１〜ＳＣ１３の表示方向に係る情報が含まれていて良い。この場合、ウェアラブル装置１は、該情報に基づいて、操作画面ＳＣ１１をスマートフォンＡに対して左方向に、操作画面ＳＣ１２をスマートフォンＡに対して上方向に、操作画面ＳＣ１３をスマートフォンＡに対して右方向に、其々表示させている。

そして、ウェアラブル装置１は、スマートフォンＡの表示画面に触れている右手Ｒの親指が操作画面ＳＣ１１〜ＳＣ１３の何れかが表示されている方向へ移動したことに基づいて、該移動した方向に対応する操作画面が選択されたものと見なす。この場合、ウェアラブル装置１は、当該操作画面に対応する操作を実行する。ここで、右手Ｒの親指の移動は、スマートフォンＡのタッチパネル（又は接触検出部）によって認識されても良いし、ウェアラブル装置１による検出部５或いは撮像部３（アウトカメラ）によって検出されても良い。例えば、右手Ｒの親指がスマートフォンＡの表示画面上において上方へ移動したことをスマートフォンＡのタッチパネルによって検出した場合には、スマートフォンＡの上方に表示している操作画面ＳＣ１２（例えば動画の再生指示と一時停止の指示が実行されることを示す画面）が選択されたことをスマートフォンＡが認識する。そして、スマートフォンＡは、ウェアラブル装置１の表示部２において動画が再生中である場合には該動画を一時停止させるための制御信号を、動画が一時停止中である場合には該動画を再生させるための制御信号を生成し、ウェアラブル装置１へ送信する。

例えば、右手Ｒの親指がスマートフォンＡの表示画面上において上方（例えばスマートフォンＡから操作画面ＳＣ１２が表示されている方向）へ移動したことを、ウェアラブル装置１は、検出部５によって検出する。この場合には、ウェアラブル装置１は、操作画面ＳＣ１２が選択された旨の信号をスマートフォンＡへ送信する。スマートフォンＡは、ウェアラブル装置１から信号を受信すると、受信した信号に基づいてウェアラブル装置１を制御するための制御信号を生成し、ウェアラブル装置１へ送信する。例えば、ウェアラブル装置１の表示部２において動画が再生中である場合には、スマートフォンＡは、当該動画を一時停止させるための制御信号を生成できる。例えば、ウェアラブル装置１の表示部２において動画が一時停止中である場合には、スマートフォンＡは、当該動画を再生させるための制御信号を生成できる。

再度、図１１を参照すると、ステップＳ４２に示すような、動画再生画面ＳＣ１０（付加情報）が表示部２に表示された状態において、利用者は、右手Ｒを移動させることによりスマートフォンＡを所定空間５１ａ内から所定空間５１ａ外へ移動させている。ウェアラブル装置１は、所定空間５１ａ外へのスマートフォンＡの移動を検出すると、ステップＳ４３に示すように、動画再生画面ＳＣ１０を拡大表示させる。ステップＳ４３に示すように、動画再生画面ＳＣ１０は、表示部２の表示領域２１の略全域となるように拡大されて良い。

図１２は、本実施形態に係るウェアラブル装置１により実行される処理の第６例を示す図である。

ステップＳ５１に示すように、スマートフォンＡは、利用者の前方の所定空間５１ａ外に在る。スマートフォンＡは、其々文字の大きさの異なる文字情報ＯＢ５ａとＯＢ５ｂを表示している。文字情報ＯＢ５ａは、文字情報ＯＢ５ｂの文字よりも大きい文字にて構成されている。

また、ステップＳ５１に示すように、ウェアラブル装置１は、表示部２の表示領域２１の略全体を占める領域に動画再生画面ＳＣ１４を表示している。動画再生画面ＳＣ１４は、動画像ＳＣ１４ａと文字情報ＳＣ１４ｂ（例えば動画像ＳＣ１４ａに関連する文字情報）の複数の表示要素（以下、単に要素とも称する）を含んでいる。

続いて、スマートフォンＡが所定空間５１ａ外から所定空間５１ａ内に移動すると、ウェアラブル装置１は、所定空間５１ａ内に進入したスマートフォンＡの位置に応じて動画再生画面ＳＣ１４の大きさを変更する（ステップＳ５２）。

ステップＳ５２において、動画再生画面ＳＣ１４の要素の一つである動画像ＳＣ１４ａは、ステップＳ５１の場合と比して、アスペクト比が変わらない状態で、表示領域２１の一辺（図１２の例では左辺）とスマートフォンＡの外郭の一辺（図１２の例では左辺）との間に収まる大きさに縮小表示されている。

なお、ウェアラブル装置１は、進入したスマートフォンＡ（他の電子機器）の位置の移動に追従して、動画再生画面ＳＣ１４（画像）を縮小する場合には、該縮小方向をスマートフォンＡの進入方向と同一な方向としても良い。例えば、所定空間５１ａの右端辺を通過してスマートフォンＡが所定空間５１ａ内に進入した場合、即ち、スマートフォンＡの進入方向が左方向である場合、ウェアラブル装置１は、動画再生画面ＳＣ１４を左方向に縮小するようにしても良い。

また、ステップＳ５２に示すように、動画再生画面ＳＣ１４は、表示部２の表示領域２１内であって、かつ、スマートフォンＡ（他の電子機器）の外郭よりも外側の領域に収まるように、該動画再生画面ＳＣ１４の大きさが変更される。これにより、ウェアラブル装置１は、動画再生画面ＳＣ１４がスマートフォンＡの表示画面に重畳してしまい、該表示画面が視認し難くなることを防ぐことができる。

また、動画再生画面ＳＣ１４が縮小される際、動画再生画面ＳＣ１４の要素の一つである文字情報ＳＣ１４ｂが、動画像ＳＣ１４ａと同様の縮小率で縮小されてしまうと、該文字情報が利用者によって視認できない程度にまで縮小されかねない。従って、ステップＳ５２においては、文字情報ＳＣ１４ｂが分割されて動画再生画面ＳＣ１４の領域外に表示されている。動画再生画面ＳＣ１４の領域外に表示された文字情報ＳＣ１４ｂは、利用者が視認可能な程度の文字の大きさにて表示されている。即ち、ウェアラブル装置１は、所定空間５１ａ内におけるスマートフォンＡの位置に基づいて動画再生画面ＳＣ１４の大きさを変更するに際して、動画再生画面ＳＣ１４に含まれる複数の要素の其々の拡大縮小率を変更する構成を有して良い。文字情報ＳＣ１４ｂは、例えば、縮小表示される前の動画再生画面ＳＣ１４に含まれている文字情報ＳＣ１４ｂの文字の大きさ（ステップＳ５１）と同等の大きさとなっていて良い。また、文字情報ＳＣ１４ｂの大きさは、所定空間５１ａ内に存在するスマートフォンＡが表示する文字情報（例えばＯＢ５ａ又はＯＢ５ｂ）の大きさと同等の大きさとなるように変更されても良い。このとき、文字情報ＳＣ１４ｂの大きさは、スマートフォンＡが表示する文字情報（例えばＯＢ５ａ又はＯＢ５ｂ）の内、より小さく表示されている文字情報ＯＢ５ｂの大きさと同等の大きさとなるように変更されたとしても、利用者によって視認可能である可能性は高い。

このように、ウェアラブル装置１は、動画再生画面ＳＣ１４（画像）の大きさが変更され、該画像の所定方向における幅が所定長さ以下になると（所定の大きさにまで縮小されると）、該画像に含まれる複数の要素の内の少なくとも１つの要素を分割して、該画像の領域外に表示する構成を有する。

なお、ステップＳ５２に示すように、動画再生画面ＳＣ１４から分割された要素である文字情報ＳＣ１４ｂは、表示部２の表示領域２１におけるスマートフォンＡと重畳しない位置に表示されている。

また、ウェアラブル装置１は、動画再生画面ＳＣ１４（画像）の大きさが変更され、該画像の所定方向における幅が所定長さより小さくなると（所定の大きさにまで縮小されると）、該画像に含まれる複数の要素の内の少なくとも１つの要素（例えば文字情報ＳＣ１４ｂ）を非表示にするようにしても良い。

また、ステップＳ５２に示すように、スマートフォンＡが所定空間５１ａ内に在ると、ウェアラブル装置１は、操作画面ＳＣ１１〜ＳＣ１３を表示部２に表示している。これにより、ウェアラブル装置１は、スマートフォンＡを握っている右手Ｒの動作によって、動画再生画面ＳＣ１４に対する操作が可能となる。

図１３は、本実施形態に係るウェアラブル装置１により実行される処理の第６例を引き続き説明するための図である。上記の実施形態では、図１２を参照し、スマートフォンＡが所定空間５１ａ内に進入すると、表示部２の表示領域２１内かつスマートフォンＡの外郭よりも外側の領域に収まるように、該動画再生画面ＳＣ１４の大きさを変更する構成を説明した。図１３は、このような構成をより具体的に例示するための図である。

ステップＳ６１に示すように、スマートフォンＡは、側辺Ｖ（図１３の例ではＶＬ１、ＶＬ２、ＶＨ１、ＶＨ２）が規定される。ここで、側辺Ｖは、スマートフォンＡの側辺を通過する仮想線を含む概念であるものと定義される。スマートフォンＡが所定空間５１ａ内に進入すると、ウェアラブル装置１は、該進入したスマートフォンＡの位置に基づいて動画再生画面ＳＣ１４の大きさを変更する（ステップＳ６２）。

動画再生画面ＳＣ１４の大きさを変更するに際しては、ウェアラブル装置１は、ステップＳ６２（ａ）に示すように変更して良い。ステップＳ６２（ａ）に示す例では、動画再生画面ＳＣ１４は、該動画再生画面ＳＣ１４が表示領域２１の一辺（例えば左辺ＤＬ）と、スマートフォンＡ（他の電子機器）における複数の側辺Ｖの内、左辺ＤＬに最も近い一の側辺ＶＬ１と、の間に収まるように、大きさが変更されて良い。ここで、スマートフォンＡの複数の側辺Ｖの内、表示領域２１の一辺と最も近い側辺Ｖとは、該表示領域２１の一辺との距離が最も近く、かつ、該表示領域２１の一辺と平行な側辺（或いは、表示領域２１の一辺と交わる角度が最も小さくなる側辺）であるものと規定される。

なお、ウェアラブル装置１は、ステップＳ６２（ａ）に示すように、動画再生画面ＳＣ１４の形状を変形する場合、動画再生画面ＳＣ１４の要素である動画像ＳＣ１４ａと文字情報ＳＣ１４ｂとの配置を変更しても良い。即ち、ウェアラブル装置１は、画像の大きさが変更され、該画像の所定方向における幅が所定長さより小さくなると、該画像を変形すると共に、画像が含む複数の要素を分割し、変形された画像中に再配置して表示する構成を有していても良い。

また、動画再生画面ＳＣ１４の大きさを変更するに際しては、ウェアラブル装置１は、ステップＳ６２（ｂ）に示すように変更して良い。ステップＳ６２（ｂ）に示す例では、動画再生画面ＳＣ１４は、該動画再生画面ＳＣ１４が表示領域２１の一辺（例えば上辺ＴＬ）と、スマートフォンＡにおける複数の側辺Ｖの内、上辺ＴＬに最も近い一の側辺ＶＨ１と、の間に収まるように、大きさが変更されて良い。

また、動画再生画面ＳＣ１４の大きさを変更するに際しては、ウェアラブル装置１は、ステップＳ６２（ｃ）に示すように変更して良い。ステップＳ６２（ｃ）に示す例では、動画再生画面ＳＣ１４は、表示領域２１の一辺（例えば左辺ＤＬ）と、スマートフォンＡ（他の電子機器）における複数の側辺Ｖの内、左辺ＤＬに最も近い一の側辺ＶＬ１と、の間に収まり、かつ、表示領域２１の他辺（例えば上辺ＴＬ）と、スマートフォンＡにおける複数の側辺Ｖの内、上辺ＴＬに最も近い他の側辺ＶＨ１と、の間に収まるように、大きさが変更されて良い。このとき、ステップＳ６２（ｃ）に示すように、動画再生画面ＳＣ１４は、動画再生画面ＳＣ１４の要素である文字情報ＳＣ１４ｂを非表示としても良い。

図１４は、本実施形態に係るウェアラブル装置１により実行される処理の第６例を引き続き説明するための図である。

ステップＳ７１に示す状態は、図１２のステップＳ５２に示す状態と同様であり、動画像ＳＣ１４ａが、所定空間５１ａ内に進入したスマートフォンＡの位置に基づいた大きさにて表示されている。なお、スマートフォンＡの表示画面に表示されている表示内容の記載は省略している。

ここで、スマートフォンＡが動画像ＳＣ１４ａから遠ざかる方向へ移動すると（ステップＳ７２）、ウェアラブル装置１は、スマートフォンＡが動画像ＳＣ１４ａから離れた距離ｄ（或いは、スマートフォンＡと動画像ＳＣ１４ａとの間の距離）を検出する。そしてウェアラブル装置１は、距離ｄが所定長さより大きくなった（言い換えるとスマートフォンＡが動画像ＳＣ１４ａから所定長さ以上離れた）ことを契機に、その時点におけるスマートフォンＡの位置に基づいて動画像ＳＣ１４ａの大きさを変更する（ステップＳ７３）。

このような構成とすることにより、利用者が意図せずスマートフォンＡの位置を僅かに移動させた場合に、該移動に追従して動画像ＳＣ１４ａの大きさが頻繁に変更されてしまうといったことを防止することができる。

また、ウェアラブル装置１は、ステップＳ７３に示す状態から、さらにスマートフォンＡが動画像ＳＣ１４ａから所定長さより大きく離れたことを検出すると、その時点におけるスマートフォンＡの位置に基づいて動画像ＳＣ１４ａの大きさを再度変更するようにしても良い。即ち、ウェアラブル装置１は、所定空間５１ａ内に進入したスマートフォンＡ（他の電子機器）の位置の移動に追従して動画像ＳＣ１４ａ（画像）の大きさを変更し、該変更が完了した後は、所定空間５１ａにおけるスマートフォンＡの位置の移動に従って、画像の大きさを段階的に変更する構成を有していて良い。なお、ウェアラブル装置１は、動画像ＳＣ１４ａの大きさが段階的に変更され、該画像の大きさが所定の大きさよりも大きくなると、分割されて表示されていた動画像ＳＣ１４ａと文字情報ＳＣ１４ｂとを結合させて一の画像としても良い。

また、スマートフォンＡが動画像ＳＣ１４ａからさらに離れ、所定空間５１ａ外へ移動すると、動画像ＳＣ１４ａは、スマートフォンＡが進入する前の大きさに戻って良い。即ち、ウェアラブル装置１は、スマートフォンＡの位置に基づいた動画像ＳＣ１４ａ（画像）の大きさの変更が完了した後に、スマートフォンＡが所定空間５１ａ外に移動したことを検出したことに基づいて、動画像ＳＣ１４ａの大きさを変更される前の大きさに戻すようにしても良い。

（変形例）
以上に、実施形態を説明してきた。以下に種々の変形例を示す。

上記の実施形態では、ウェアラブル装置１は、スマートフォンＡが所定空間５１ａに在る場合に、該スマートフォンＡの表示に関連する付加情報を、スマートフォンＡの位置に基づいた位置（例えば、図７に示す例のように、スマートフォンＡと重畳しない位置）に表示する構成を例示した。ウェアラブル装置１は、例えば、付加情報の表示位置を、他の要素に基づいて規定しても良い。

図１５は、本実施形態に係るウェアラブル装置１により実行される処理の第７例を示す図である。

第７例において、スマートフォンＡは、ルート案内機能を有している。ステップＳ８１に示すように、スマートフォンＡはルート案内機能を実行中であり、出発地点と目的地点を入力可能な入力画面が表示されている。利用者は、所望とする出発地点名と目的地点名を入力することにより、出発地点から目的地点への誘導ルートや最短ルートを参照することができる。

また、ステップＳ８１に示すように、利用者は、ウェアラブル装置１の表示部２越しに、利用者の前方の風景を視認している。前方の風景には上記の案内ルートとなり得る道が存在している。

利用者は、スマートフォンＡを前方の所定空間５１ａ内に移動させ、スマートフォンＡを操作することにより、出発地点と目的地点とを入力している。ここで、出発地点が現在位置に指定されると、ウェアラブル装置１は、入力された出発地点から目的地点までのルートの情報をスマートフォンＡから受信するとともに、利用者の現在位置及び利用者が向いている方位を検出する。これにより、ウェアラブル装置１は、利用者が現在地からスタートすべきルートの記号ＳＣ１５（例えば矢印）を推定し、利用者が視認している前景に重畳させて表示している（ステップＳ８２）。

ここで、入力した目的地点とは異なる地点を入力し直した、或いは、徒歩のみでの移動ルートから路線＋徒歩での移動ルートへの変更等を行うことによって、スタートすべきルートが変更された場合には、ウェアラブル装置１は、該変更に合わせて異なる記号ＳＣを表示し直して良い。

また、上記の実施形態では、所定物としてのスマートフォンＡや腕時計型端末Ｂ等の電子機器が所定空間５１ａに在る場合に、該電子機器の表示に関連する付加情報をウェアラブル装置１の表示部２に表示する構成を例示したが、付加情報の対象は電子機器に限らない。また、スマートフォンＡの表示に関連する付加情報を表示部２に表示した場合に、スマートフォンＡに触れている指を付加情報が表示された方向へスライドさせた場合に、ウェアラブル装置１は、付加情報が選択されたものと見なす構成を例示したが、これに限定されない。ウェアラブル装置１は、例えば、スマートフォンＡに触れている指の動作以外によって、付加情報を選択する構成であっても良い。

図１６は、本実施形態に係るウェアラブル装置１により実行される処理の第８例を示す図である。

ステップＳ９１に示すように、利用者は、ウェアラブル装置１を装着し、かつ、人参ＣＡを所持している。そして、人参ＣＡを利用者の前方の所定空間５１ａ内に移動させると、ウェアラブル装置１は、撮像部３によって撮像される撮像画像から利用者の右手Ｒが所持している物体の形状情報や色情報を解析することによって該物体が人参ＣＡであることを認識する。そして、ウェアラブル装置１は、人参ＣＡが所定空間５１ａ内に在ることを認識したことに基づいて、例えば、ステップＳ９２に示すように、人参ＣＡを用いた料理のレシピ一覧の画像ＳＣ１６〜ＳＣ１８を表示領域２１に表示する。画像ＳＣ１６〜ＳＣ１８の其々は、人参ＣＡと重畳して視認されない位置に表示されている。

ステップＳ９３に示すように、画像ＳＣ１６〜ＳＣ１８が表示された状態で、利用者は、人参ＣＡの一部が画像ＳＣ１６〜ＳＣ１８の内の何れか（図１６の例では画像ＳＣ１７）に重畳するように該人参ＣＡを移動させる。この場合、ウェアラブル装置１は、人参ＣＡと重畳した画像ＳＣ１７が選択されたものと見なす。そして、ウェアラブル装置１は、画像ＳＣ１７が選択されたものと見なすと、例えば、画像ＳＣ１７に基づく料理のレシピの表示画面へ遷移しても良い。

このように、ウェアラブル装置１は、眼前に配置される表示部２と、現実の空間に存在する所定物（上記の例では人参ＣＡ）を検出する検出部５（或いは撮像部３）と、利用者の前方の所定空間５１ａに所定物が在る場合に、該所定物に関連する付加情報（例えば画像ＳＣ１６〜ＳＣ１８）を、表示部２の表示領域２１において所定物と重畳しない位置に表示する制御部７と、を備え、所定物が移動し、付加情報が表示された領域に所定物が重畳したことを検出すると、該付加情報に対する選択処理を実行する。なお、所定物は、人参ＣＡに限らず、スマートフォンＡや腕時計型端末Ｂ等の電子機器であっても良いことは言うまでもない。

また、上記の実施形態では、ウェアラブル装置１は、所定物としてのスマートフォンＡ（他の電子機器）が所定空間５１ａに在る場合に、該スマートフォンＡから表示方向の規定を含む制御信号を受信し、該表示方向に基づいて、スマートフォンＡの左側、上側、右側に付加情報を表示する構成を例示したが、付加情報の表示位置はこれに限らない。

図１７は、本実施形態に係るウェアラブル装置１により実行される処理の第９例を示す図である。

上記の実施形態においては、付加情報がスマートフォンＡの外郭の外側となる位置に憑依された状態で、スマートフォンＡをタッチしている指を付加情報へ向かう方向へスライドさせることによって、該付加情報が選択される構成とした。このようなスライド操作は、付加情報を選択するための操作とは異なる、スマートフォンＡに対する通常の操作と競合することも想定され得る。そこで、第９例においては、スマートフォンＡに対するスライド操作の該スライド方向によって、付加情報を選択するための操作と、スマートフォンＡに対する通常の操作と、を区別する構成を例示する。

ステップＳ１０１に示すように、スマートフォンＡの４つの側辺Ｖ（側辺Ｖとは、側辺Ｖを通る仮想線も含む概念である）によって、スマートフォンＡの周囲の領域（空間）が８つの領域に区分されている。スマートフォンＡは、該スマートフォンのタッチパネルに対する、縦方向又は横方向へのスライド操作によって画面のスクロールや画面の切り替えがなされる場合が多いことから、区分した８つの領域の内、スマートフォンＡに対して斜めに位置する領域を、付加情報を選択するための選択領域Ｆとして規定されている。そして、スマートフォンＡのタッチパネルに接触した指がスライドしたときに、該スライドの軌跡の延長線が選択領域Ｆを通過する方向（ステップＳ１０１においては方向Ｄ２）に該当する場合、付加情報の選択がなされる。一方で、スライドの軌跡の延長線が選択領域Ｆを通過しない方向（ステップＳ１０１においては方向Ｄ３）に該当する場合、該方向に基づいて、スマートフォンＡに対する通常の操作がなされる。なお、スライドの軌跡が曲線を描く場合には、該軌跡の始点と終点とを結ぶ線の方向に基づいて、選択領域に該当するか否かが判定されて良い。また、スマートフォンＡの周囲の領域をどのように区別するかについては当業者によって自由に決められて良いし、また、区分された領域の内、どの領域を付加情報の選択領域とするのかについても自由に決められて良い。

ステップＳ１０１に示す規定がなされている状態において、スマートフォンＡが所定空間５１ａ内に移動すると（ステップＳ１０２）、ウェアラブル装置１は、表示領域２１において、選択領域Ｆ内となる位置に付加情報ＳＣ１９、２０を表示する（ステップＳ１０３）。このようにすることで、スマートフォンＡにタッチした指を付加情報ＳＣ１９、２０が表示されている方向へスライドさせることで、利用者は、付加情報ＳＣ１９、２０を選択することができる。さらに、利用者は、付加情報ＳＣ１９、２０が表示されている方向とは異なる方向へ指をスライドさせることでスマートフォンＡに対する通常の操作が可能となる。なお、スマートフォンＡは、ステップＳ１０２において、自機が所定空間５１ａ内に在ることを認識すると、規定された選択領域Ｆをウェアラブル装置１に認識させるための制御信号を生成し、ウェアラブル装置１に送信する。

図１７の例（第９例）では、スマートフォンＡの周囲の領域を区分することで、付加情報を選択する操作と、該操作とは異なる操作のと、を区別する構成を例示したが、区別の仕方はこれに限定されない。

図１８は、本実施形態に係るウェアラブル装置１により実行される処理の第１０例を示す図である。

ステップＳ１１１に示すように、スマートフォンＡは利用者によって所持されている。利用者がスマートフォンＡを所定空間５１ａ内に移動させると、ウェアラブル装置１は、当該スマートフォンＡに関する付加情報ＳＣ２１を表示する（ステップＳ１１２）。そして、スマートフォンＡは、該スマートフォンＡに対する所定の接触操作、例えば、スマートフォンＡのタッチパネルに接触した状態で位置が移動することなく所定時間より長く継続して接触する操作を検出する。この場合、スマートフォンＡは、付加情報ＳＣ２１に対する操作（又はウェアラブル装置１の表示に対する操作）が可能な状態に遷移させる（ステップＳ１１３）。ウェアラブル装置１は、付加情報ＳＣ２１に対する操作が可能な状態に遷移させると、これを利用者に認識させるために、タッチパネルへの接触位置に視覚エフェクトＯＢ６を表示する（ステップＳ１１３）。このような構成により、利用者は、スマートフォンＡに対する意図した操作を行うことで、付加情報ＳＣ２１に対する操作（又はウェアラブル装置１の表示に対する操作）とそれ以外の操作とを切り替えることができる。

上記の実施形態においては、付加情報を他の電子機器と重畳して視認されない位置に表示する構成を例示したが、これに限定されない。

図１９は、本実施形態に係るウェアラブル装置１により実行される処理の第１１例を示す図である。

ステップＳ１２１に示すように、スマートフォンＡが所定空間５１ａ内に移動すると、ウェアラブル装置１は、スマートフォンＡが所定空間５１ａ内に在ることを検出し、撮像部３（アウトカメラ）を起動する（ステップＳ１２２）。そして、撮像部３が撮像する撮像画像を表示部２に表示する（表示部２に表示された撮像画像をプレビューウィンドウＰＷ２と称する）。また、ウェアラブル装置１は、スマートフォンＡとの通信接続を開始し、スマートフォンＡから、ウェアラブル装置１の表示部２において所定の表示を実行するための表示制御信号を受信する。また、ウェアラブル装置１は、撮像画像を解析することによって、プレビューウィンドウＰＷ２に映し出されるスマートフォンＡを包含する範囲ＰＷ２ａを算出する。そして、ウェアラブル装置１は、受信した表示制御信号に基づいた付加情報を含む画面ＳＣ２１を、範囲ＰＷ２ａと同一の大きさ若しくはそれよりも大きな画像として表示する（ステップＳ１２３）。画面ＳＣ２１は、スマートフォンＡ（電子機器）が所定空間５１ａに在る状態において表示している表示画像と同一の画像であって良い。なお、画面ＳＣ２１は、不透明な画像であると良い。ウェアラブル装置１は、画面ＳＣ２１を不透明な画像とすると、スマートフォンＡに画面ＳＣ２１が重畳し、スマートフォンＡが視認されなくなる。従って、ウェアラブル装置１は、利用者がスマートフォンＡの表示画面のどの位置をタッチしているかを把握できるように、視覚エフェクトＳＣ２２を表示して良い。

なお、上記の例では、ウェアラブル装置１は、プレビューウィンドウＰＷ２に映し出されるスマートフォンＡを包含するように画面ＳＣ２１を表示する構成としたが、これに限定されない。ウェアラブル装置１は、スマートフォンＡが所定空間５１ａ内に在ることを検出すると、スマートフォンＡの位置及び形状を検出し、該検出結果に基づいて、表示部２越しに視認されるスマートフォンＡの外郭（表示領域２１におけるスマートフォンＡの外郭）を推定し、推定したスマートフォンＡの外郭を包含するように画面ＳＣ２１を表示しても良い。

このように、ウェアラブル装置１は、眼前に配置される表示部と、現実の空間に存在する所定物を検出する検出部（又は撮像部）と、利用者の前方の所定空間に所定物が在る場合に、該所定物に関連する付加情報を含む画像を、該画像が表示部の表示領域における所定物（撮像部３が撮像するプレビューウィンドウに映し出される所定物）を包含するように表示する構成を有する。

なお、所定物を包含するように画面ＳＣ２１を重畳させて表示するに際しては、ステップＳ１２２、１２３に示すように、表示部２の表示領域２１の外郭に対する所定物の傾きを補正した向きで該画面ＳＣ２１を表示して良い。

このような構成とすることで、ウェアラブル装置１は、ステップＳ１２２に示すような、スマートフォンＡが斜めに傾いて視認されている状態において、該スマートフォンＡに関連する付加情報を、該傾きが補正された画面として表示することができるので、視認しやすい。

なお、所定物は、スマートフォンＡ等の電子機器とは異なる電子機器としても良い。異なる電子機器は、例えば、文字が印字された紙媒体、ＰＤＦファイル等の電子文書等を含む。例えば、電子機器が表示する電子文書の一部分が他の部分と９０度向きが異なって表示されている場合には、ウェアラブル装置１は、該位置部分の向きを他の部分と一致するように補正して表示することができ、視認しやすい。

図２０は、本実施形態に係るウェアラブル装置１により実行される処理の第１２例を示す図である。

ステップＳ１３１に示すように、スマートフォンＡは、ウェアラブル装置１の表示部２の表示面に対して所定角度以上の傾きを有している状態にある。このような状態において、スマートフォンＡが所定空間５１ａ内に移動すると、ウェアラブル装置１は、スマートフォンＡが所定空間５１ａ内に在ることを検出する。そして、ウェアラブル装置１は、検出部５の検出結果により、ウェアラブル装置１の表示部２の表示面に対するスマートフォンＡの表示画面の傾き角を算出する。そして、傾き角が所定角度よりも大きい場合には、ステップＳ１３２に示すように、ウェアラブル装置１は、撮像部３（アウトカメラ）を起動し、撮像部３が撮像する撮像画像を表示部２に表示する（表示部２に表示された撮像画像をプレビューウィンドウＰＷ３と称する）。ウェアラブル装置１は、撮像画像を解析することによって、プレビューウィンドウＰＷ３に映し出されるスマートフォンＡを包含する範囲ＰＷ３ａを算出する。そして、ウェアラブル装置１は、スマートフォンＡから受信する表示制御信号に基づいた付加情報を含む画面ＳＣ２３を、範囲ＰＷ３ａと同一の大きさ若しくはそれよりも大きな画像として表示部２に表示する（ステップＳ１３３）。ウェアラブル装置１は、利用者がスマートフォンＡの表示画面のどの位置をタッチしているかを把握できるように、視覚エフェクトＳＣ２２を表示して良い。

このように、ウェアラブル装置１は、検出部５の検出結果より、スマートフォンＡ（他の電子機器）の表示画面がウェアラブル装置１の表示部２の表示面に対して所定角度より大きな傾きを有している場合に、スマートフォンＡの表示に関連する画像を、該スマートフォンＡに重畳させて表示する構成を備える。これにより、スマートフォンＡが利用者から視認し難い角度で画像を表示している場合には、代わりにウェアラブル装置１に同一の内容の画像を表示し直すことによって、利用者にとって視認しやすくすることができる。

以上に、実施形態の一例を説明してきたが、本実施形態は、ウェアラブル装置と他の電子機器とから形成されるネットワークシステムとして特徴付けられても良い。例えば、本実施形態の一例に係るネットワークシステムは、眼前に配置される表示部を備えるウェアラブル装置と表示機能を備える他の電子機器とによって形成されるネットワークシステムであって、前記ウェアラブル装置は、該ウェアラブル装置の前方の所定空間に前記他の電子機器が在るか否かを検出する検出部を備え、前記所定空間に前記他の電子機器が在ることを検出すると、該検出した旨の情報を前記他の電子機器に送信し、前記他の電子機器は、前記情報を受信すると、該他の電子機器が表示している表示内容に関連する付加情報を前記ウェアラブル装置に表示させるための表示制御信号を該ウェアラブル装置に送信し、前記ウェアラブル装置は、前記表示制御信号を受信すると、該表示制御信号に基づいて前記付加情報を前記表示部に表示するネットワークシステムとして特徴付けられて良い。

以上に、実施形態の一例を説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は添付の請求項に含まれることに留意されたい。さらに、本明細書において開示される全ての技術的事項は、矛盾しないように再配置可能であり、複数の構成部を１つに組み合わせたり、或いは分割したりすることが可能である。

上記の実施形態では、ウェアラブル装置１が、眼鏡形状を有する例を示してきたが、ウェアラブル装置１の形状はこれに限定されない。例えば、ウェアラブル装置１は、ユーザの頭部のほぼ上半分を覆うようなヘルメットタイプの形状を有していても良い。或いは、ウェアラブル装置１は、ユーザの顔面のほぼ全体を覆うようなマスクタイプの形状を有していても良い。

また、上記の実施形態では、表示部２がユーザの左右の目の前に設けられる一対の表示部２ａ及び表示部２ｂを有している構成を例示してきたが、これに限定されず、表示部２は、ユーザの左右の目の内の一方の前に設けられる一つの表示部を有している構成であっても良い。

また、上記の実施形態では、正面部の縁部が、表示部２の表示領域２１の縁の全周を囲っている構成を例示してきたが、これに限定されず、表示部２の表示領域２１の縁の一部のみを囲っている構成であっても良い。

また、上記の実施形態では、利用者の上肢として手や指を撮像部３及び撮像部４（或いは検出部）によって検出する構成を示したが、手や指は、手袋やグローブ等が装着されている状態であっても同様にして検出可能である。

上記の実施形態では、ウェアラブル装置１の構成と動作について説明したが、これに限定されず、各構成要素を備える方法やプログラムとして構成されても良い。また、上記に例示したように、ウェアラブル装置１と他の電子機器とから形成されるネットワークシステムとして構成されても良い。

１ ウェアラブル装置
１ａ 前面部
１ｂ 側面部
１ｃ 側面部
２ａ 表示部
２ｂ 表示部
３ 撮像部
４ 撮像部
５ 検出部
６ 操作部
７ 制御部
８ 通信部
９ 記憶部

Claims (14)

1. 眼前に配置される表示部を備えるウェアラブル装置であって、
   前記ウェアラブル装置の前方の所定空間に存在する所定物を検出する検出部を備え、
   他の電子機器が前記所定空間に在り、該他の電子機器が所定の表示を行っている場合、該表示に関連する複数の付加情報を前記表示部に表示し、
   利用者の上肢が前記所定空間に在り、かつ、該上肢が前記複数の付加情報と重畳しない位置で前記複数の付加情報が並ぶ方向に沿って移動すると、前記複数の付加情報が該移動方向にスクロールされる
   ウェアラブル装置。
2. 前記利用者の上肢が前記複数の付加情報のいずれかと重畳した場合に、該重畳した付加情報が選択された旨の信号を前記他の電子機器に送信する制御部をさらに備える
   請求項１に記載のウェアラブル装置。
3. 眼前に配置される表示部を備えるウェアラブル装置であって、
   現実の空間に他の電子機器が在るか否かを検出する検出部を備え、
   前記検出部の検出結果より、前記他の電子機器の表示画面が前記ウェアラブル装置の前記表示部の表示面に対して所定角度以上の傾きを有している場合に、該他の電子機器の表示に関連する画像を、該他の電子機器に重畳させて表示するウェアラブル装置。
4. 利用者の眼前に配置される表示部と、
   利用者の前方の所定空間に存在する他の電子機器を検出する検出部と、を備えるウェアラブル装置であって、
   前記表示部に画像を表示している場合に、前記所定空間に他の電子機器が進入したことを前記検出部が検出すると、該進入した他の電子機器の位置の移動に追従して、前記画像の大きさを変更し、
   前記他の電子機器の前記所定空間における移動速度が所定値未満になると、前記画像の大きさの変更を完了する
   ウェアラブル装置。
5. 前記画像が前記表示部の表示領域内であって、かつ、前記他の電子機器の外郭よりも外側の領域に収まるように、該画像の大きさを変更する
   請求項４に記載のウェアラブル装置。
6. 前記表示領域の一辺と、前記他の電子機器における複数の側辺の内の前記一辺に最も近い一の側辺と、の間に収まるように前記画像の大きさを変更する
   請求項５に記載のウェアラブル装置。
7. 前記表示領域の前記一辺と所定角度以上で交わる他辺と、前記他の電子機器における複数の側辺の内の前記他辺に最も近い他の側辺と、の間に収まるように前記画像の大きさを変更する
   請求項６に記載のウェアラブル装置。
8. 前記進入した他の電子機器の位置の移動に追従して、前記画像を縮小する場合には、該縮小方向を前記他の電子機器の前記進入方向と同一にする
   請求項４から７の何れか一項に記載のウェアラブル装置。
9. 前記画像の大きさの変更が完了した後は、前記空間における前記他の電子機器の位置の移動に従って、前記画像の大きさを段階的に変更する
   請求項４から８の何れか一項に記載のウェアラブル装置。
10. 前記画像の大きさの変更が完了した後に、前記他の電子機器が前記所定空間外に移動したことを検出したことに基づいて、該画像の大きさを前記変更される前の大きさに戻す
    請求項４から９の何れか一項に記載のウェアラブル装置。
11. 前記画像は、複数の表示要素を含んでおり、
    前記ウェアラブル装置は、前記画像の大きさが変更され、該画像の所定方向における幅が所定長さ以下になると、該画像に含まれる前記複数の表示要素の内の少なくとも１つの表示要素を分割して、該画像の領域外に表示する
    請求項４から１０の何れか一項に記載のウェアラブル装置。
12. 前記画像は、複数の表示要素を含んでおり、
    前記ウェアラブル装置は、前記画像の大きさが変更され、該画像の所定方向における幅が所定長さ以下になると、該画像を変形すると共に、前記複数の表示要素を分割し、該変形された画像中に再配置して表示する
    請求項４から１１の何れか一項に記載のウェアラブル装置。
13. 利用者の眼前に配置され、複数の表示要素を含む画像を表示する表示部と、
    利用者の前方の所定空間に存在する所定物を検出する検出部と、を備えるウェアラブル装置であって、
    前記表示部に前記画像を表示している場合に、前記所定空間に所定物が進入したことを前記検出部が検出すると、該進入した所定物の位置の移動に応じて前記画像の大きさを変更し、
    前記画像の大きさが変更され、該画像の所定方向における幅が所定長さ以下になると、該画像に含まれる前記複数の表示要素の内の少なくとも１つの表示要素を分割して、該画像の領域外に表示する
    ウェアラブル装置。
14. 前記分割された少なくとも１つの表示要素を、前記表示部の表示領域における前記所定物と重畳しない位置に表示する
    請求項１３に記載のウェアラブル装置。

Images