以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.システム構成
2.通信制御
2−1.ウェアラブル端末の機能構成
2−2.通信制御方法の処理手順
3.通信機能停止による省電力処理
4.通信機能継続中の省電力処理
5.適用例
6.変形例
6−1.通信の認証処理
6−2.共通アンテナを有する変形例
6−3.その他の変形例
7.ハードウェア構成
8.補足
なお、以下では、本開示の好適な一実施形態の一例として、ウェアラブル端末がヘッドマウントディスプレイ(HMD)である場合を例に挙げて説明を行う。ただし、本実施形態はかかる例に限定されない。以下に説明する本実施形態に係る通信制御は、通信機能を有するウェアラブル端末であれば、あらゆる種類の端末に対して適用されてよい。
(1.システム構成)
まず、図1及び図2を参照して、本開示の一実施形態に係るシステムの概略構成について説明する。図1は、本開示の一実施形態に係るシステムの概略的な構成を示す図である。図2は、図1に示すシステムの概略的なハードウェア構成を示すブロック図である。
図1及び図2を参照すると、本実施形態に係るシステム10は、ヘッドマウントディスプレイ(HMD)100と、スマートフォン200と、サーバ300とを含む。以下、それぞれの機器の構成について説明する。
(ヘッドマウントディスプレイ)
HMD100は、ディスプレイユニット110と、コントロールユニット160とを含む。ディスプレイユニット110は、例えば眼鏡型の筐体を有し、ユーザの頭部に装着される。コントロールユニット160は、ディスプレイユニット110にケーブルで接続される。
ディスプレイユニット110は、図1に示すように、光源112と、導光板114とを備える。光源112は、コントロールユニット160の制御に従って画像表示光を射出する。導光板114は、光源112から入射した画像表示光を導光し、ユーザの眼に対応する位置で画像表示光を出射する。ユーザの眼には、実空間から入射して導光板114を透過する光と、導光板114によって光源112から導光された画像表示光とが入射する。これによって、ディスプレイユニット110を装着したユーザは、実空間に重畳される画像を知覚することができる。なお、光源112から導光板114を介して画像表示光を出射させるための構成には、例えば、本願出願人と同一出願人による先行出願である特許4776285号公報に記載されたような技術が用いられてもよい。ディスプレイユニット110は、このような構成のための図示しない光学系を更に備えてもよい。
更に、ディスプレイユニット110は、図2に示すように、照度センサ116と、モーションセンサ118と、カメラ120とを備える。照度センサ116は、実空間からユーザに向けてディスプレイユニット110に入射する光の照度を検出する。例えば、照度センサ116は、実空間におけるユーザの視界に対応する領域の照度を検出するように、指向性を有していてもよい。モーションセンサ118は、例えば、3軸加速度センサ、3軸ジャイロセンサ及び3軸地磁気センサを含む。HMD100は、これらのセンサによって検出されるディスプレイユニット110の加速度、角速度及び方位に基づいて、ディスプレイユニット110の姿勢や動き(変位及び回転)を特定してもよい。ディスプレイユニット110がユーザの頭部に装着されている場合、ディスプレイユニット110の姿勢や動きは、ユーザの頭部の姿勢や動きとみなされてもよい。カメラ120は、実空間の画像を撮影する。カメラ120は静止画を撮影してもよいし、動画を撮影してもよい。カメラ120によって撮影される画像は、例えば、実空間におけるユーザの視界に対応する画像として扱われる。
コントロールユニット160は、プロセッサ162と、メモリ164と、第1の通信装置165と、第2の通信装置166と、入力キー168と、タッチセンサ170と、マイクロフォン172と、スピーカ174と、バッテリ176とを備える。
プロセッサ162は、メモリ164に格納されたプログラムに従って動作することによって各種の機能を実現する。後述する通信必要性情報取得部、駆動制御部及び通信方式決定部等の機能は、例えばプロセッサ162によって実現され得る。プロセッサ162は、ケーブルを介した有線通信によってディスプレイユニット110に制御信号を送信し、光源112による画像表示光の射出を制御する。また、プロセッサ162は、ディスプレイユニット110に備えられる照度センサ116、モーションセンサ118及びカメラ120から出力されたデータを取得し、これらに基づく処理を実行することができる。図3を参照して後述するように、プロセッサ202は、メモリ164に格納された、HMD100を駆動するためのHMDファームウェア180に従って動作し、HMD100に各種の処理を実行させる。
メモリ164は、プロセッサ162の動作のためのさまざまなデータを格納する。例えば、メモリ164は、プロセッサ162が各種機能を実現するためのプログラムを格納する。また、メモリ164は、ディスプレイユニット110の照度センサ116、モーションセンサ118及びカメラ120から出力されたデータを一時的に格納する。メモリ164は、ROM(Read Only Memory)やRAM(Random Access memory)等の一般的な情報処理装置が備え得る各種のメモリ素子を含んでよい。
入力キー168、タッチセンサ170及びマイクロフォン172は、ユーザによる操作入力を受け付ける入力インターフェースである。入力キー168は、例えば戻るキーやPTT(Push to Talk)キー等を含み、HMD100に対するキー選択に基づく操作入力を取得する。また、タッチセンサ170も、同様にHMD100に対するユーザによる操作入力を取得する。より具体的には、例えば、タッチセンサ170は、ユーザによるタップやスワイプ等の操作入力を取得する。また、マイクロフォン172は、音声を音声信号に変換し、プロセッサ162に提供する。本実施形態では、マイクロフォン172を介してHMD100に対して音声が入力されることも、ユーザによる操作入力とみなすことができる。
スピーカ174は、プロセッサ162の制御に従って音声を出力する。バッテリ176は、コントロールユニット160及びディスプレイユニット110の全体に電源を供給する。なお、HMD100では、プロセッサ162やマイクロフォン172、スピーカ174、バッテリ176等をコントロールユニット160に搭載し、ディスプレイユニット110とコントロールユニット160とを分離してケーブルで接続することによって、ディスプレイユニット110の小型化及び軽量化を実現している。コントロールユニット160もまたユーザによって携帯されるため、可能な限り小型化及び軽量化することが望ましい。そこで、例えば、プロセッサ162が実現する機能をディスプレイユニット110の制御のための最低限の機能とし、それ以外の機能についてはスマートフォン200で実現することによって、プロセッサ162の消費電力の低減によるバッテリ176及びコントロールユニット160全体の更なる小型化が図られてもよい。
第1の通信装置165及び第2の通信装置166は、それぞれ、互いに異なる通信方式を用いて、スマートフォン200との間で無線通信を実行する。第1の通信装置165の通信方式(第1の通信方式)としては、比較的低レートでのデータ転送(比較的遅いデータ転送)が可能であり、消費電力が小さいものが好適に用いられる。第1の通信方式としては、例えばBluetooth(登録商標)等が適用されてよい。一方、第2の通信装置166の通信方式(第2の通信方式)としては、第1の通信方式と比べて、より高レートでのデータ転送(より速いデータ転送)が可能なものが好適に用いられる。第2の通信方式としては、例えばWi−Fi(登録商標)等の、無線LANにおける各種の通信規格に従ったものが適用されてよい。第2の通信方式では、第1の通信方式よりも消費電力は大きくなるものの、より速くデータを転送することが可能となる。なお、上述した第1の通信方式及び第2の通信方式の消費電力の大小とは、単位時間当たりの消費電力の大小を意味していてよい。
本実施形態では、HMD100のコントロールユニット160とスマートフォン200との間で通信が行われる際に、後述する通信必要性情報に基づいて、第1の通信方式及び第2の通信方式のいずれか一方が選択され、選択された通信方式に対応する通信装置を用いて通信が行われる。例えば、通信必要性情報に基づいて通信データ量が予測される場合には、予測された通信データ量に応じて、第1の通信方式及び第2の通信方式のうち、より消費電力が小さい通信方式が選択され得る。従って、HMD100における消費電力をより低減させることができる。
また、本実施形態では、第1の通信装置165及び第2の通信装置166のうち、通信を行っていない通信装置の駆動状態が、外部機器と通信可能な状態(以下、起動状態とも呼称する。)よりも消費電力の小さい状態(以下、省電力状態とも呼称する。)や、電源が遮断された状態(以下、停止状態とも呼称する。)に制御される。これにより、第1の通信装置165及び第2の通信装置166のうち、通信を行っていない通信装置における消費電力が低減されるため、HMD100の消費電力を更に低減させることができる。
このように、本実施形態では、HMD100とスマートフォン200との間の通信において、通信機能継続中には通信方式を適宜切り替えることによるHMD100の省電力処理(以下、通信機能継続中の省電力処理とも呼称する。)が行われ、通信を行っていない場合には通信機能を徐々に停止させることによるHMD100の省電力処理(以下、通信機能停止による省電力処理とも呼称する。)が行われる。なお、これらの省電力処理の詳細については、下記(3.通信機能停止による省電力処理)及び下記(4.通信機能継続中の省電力処理)で詳しく説明する。
(スマートフォン)
スマートフォン200は、プロセッサ202と、メモリ204と、第1の通信装置205と、第2の通信装置206と、携帯通信装置208と、センサ210と、ディスプレイ212と、タッチパネル214と、GPS(Global Positioning System)受信機216と、マイクロフォン218と、スピーカ220と、バッテリ222とを備える。
プロセッサ202は、メモリ204に格納されたプログラムに従って動作することによって各種の機能を実現する。メモリ204は、ROMやRAM等の一般的な情報処理装置が備え得る各種のメモリ素子を含んでよい。図3を参照して後述するように、プロセッサ202は、メモリ204に格納された、HMD100を駆動するためのHMDコンパニオンアプリ190に従って動作し、HMD100に適宜指示を与えることにより各種の処理を実行させる。
上述の通り、プロセッサ202がHMD100のコントロールユニット160が備えるプロセッサ162と協働して各種の機能を実現することによって、コントロールユニット160をより小型化することができる。メモリ204は、スマートフォン200の動作のためのさまざまなデータを格納する。例えば、メモリ204は、プロセッサ202が各種機能を実現するためのプログラムを格納する。また、メモリ204は、センサ210やGPS受信機216によって取得されたデータ及びHMD100との間で送受信されるデータを、一時的又は継続的に格納する。
第1の通信装置205は、コントロールユニット160の第1の通信装置165と同一の通信方式によって、当該第1の通信装置165との間で無線通信を行う。また、第2の通信装置206は、コントロールユニット160の第2の通信装置166と同一の通信方式によって、当該第2の通信装置166との間で無線通信を行う。このように、第1の通信装置205及び第2の通信装置206の通信方式は、コントロールユニット160が備える第1の通信装置165及び第2の通信装置166に対応するものであり得る。
携帯通信装置208は、サーバ300との間でネットワーク通信を実行する。携帯通信装置208の通信方式としては、例えば、いわゆるモバイルネットワークを用いた通信に用いられる各種の通信方式が適用されてよい。当該ネットワーク通信は、例えば携帯電話網を経由して実行されてもよい。
センサ210は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ等の各種のセンサであり、スマートフォン200の姿勢や動き等の状態を表す各種の情報を取得する。ディスプレイ212は、プロセッサ202の制御に従って各種の画像を表示する。タッチパネル214は、ディスプレイ212上に配置され、ディスプレイ212に対するユーザのタッチ操作を取得する。GPS受信機216は、スマートフォン200の緯度、経度及び高度を測定するためのGPS信号を受信する。マイクロフォン218は、音声を音声信号に変換し、プロセッサ202に提供する。スピーカ220は、プロセッサ202の制御に従って音声を出力する。バッテリ222は、スマートフォン200の全体に電源を供給する。
(サーバ)
サーバ300は、プロセッサ302と、メモリ304と、携帯通信装置306とを備える。なお、サーバ300は、例えばネットワーク上で複数のサーバ装置が協働することによって実現されるが、ここでは説明を簡単にするために仮想的な単一の装置として説明する。プロセッサ302は、メモリ304に格納されたプログラムに従って動作することによって各種の機能を実現する。サーバ300のプロセッサ302は、例えば、スマートフォン200から受信したリクエストに応じて各種の情報処理を実行し、結果をスマートフォン200に送信する。メモリ304は、サーバ300の動作のためのさまざまなデータを格納する。例えば、メモリ304は、プロセッサ302が各種機能を実現するためのプログラムを格納する。メモリ304は、さらに、スマートフォン200からアップロードされたデータを一時的又は継続的に格納してもよい。携帯通信装置306は、スマートフォン200が備える携帯通信装置208との間で、例えば携帯電話網を経由したネットワーク通信を実行する。
以上、本開示の一実施形態におけるシステム10の構成について説明した。なお、上記の説明におけるHMD100は、ウェアラブル端末の一例である。本実施形態では、当該ウェアラブル端末は、互いに異なる2つの通信方式を用いて外部機器との間で通信を実行可能に構成されていればよく、あらゆる種類のウェアラブル端末であってよい。例えば、本実施形態に係るウェアラブル端末は、腕時計型の端末であってもよい。また、上述した例では、HMD100は、導光板114を用いて画像表示光を観察者の眼に導光することによって画像を知覚させるものであったが、本実施形態はかかる例に限定されない。本実施形態では、HMD100に代えて、他の方式のHMDとして知られているような、表示面に画像を結像させるタイプのHMDが用いられてもよい。この場合、画像表示光は、例えば表示面に投影されてもよいし(プロジェクタの場合)、表示面に配設された発光素子によって射出されてもよいし(有機ELディスプレイなどの場合)、表示面の背面又は側面に配設された光源から射出された光が表示面において変調されたものであってもよい(液晶ディスプレイの場合)。
また、上記のシステム構成は一例であり、他にもさまざまなシステム構成が可能である。例えば、HMD100は、必ずしもディスプレイユニット110とコントロールユニット160とに分離していなくてもよく、例えば上記で説明したHMD100の構成の全体が、ディスプレイユニット110のような眼鏡型の筐体に集約されていてもよい。また、既に述べた通り、HMD100を制御するための機能の少なくとも一部が、スマートフォン200で実現されてもよい。あるいは、ディスプレイユニット110もプロセッサを備え、HMD100における情報処理がコントロールユニット160のプロセッサ162とディスプレイユニット110のプロセッサとの協働によって実現されてもよい。
更なる変形例として、システム10がスマートフォン200を含まず、HMD100とサーバ300との間で直接的に通信が実行されてもよい。また、上記の説明において、スマートフォン200は、HMD100が通信を行う外部機器の一例である。HMD100は、スマートフォン200以外の他の外部機器との間で通信を行ってもよい。システム10において、スマートフォン200は、HMD100及びサーバ300の両方との通信を実行することが可能な他の装置、例えばタブレット端末、パーソナルコンピュータ又は携帯型ゲーム機等によって代替されてもよい。
また、上記の説明では、HMD100の第1の通信装置165と第2の通信装置166とが別個の装置であるとして説明したが、本実施形態はかかる例に限定されない。例えば、一の通信装置の中に、第1の通信方式によって通信を行うモジュールと第2の通信方式によって通信を行うモジュールとが組み込まれ、第1の通信装置165及び第2の通信装置166が1つの装置として構成されてもよい。この場合、上述した通信機能停止による省電力処理は、通信装置内のいずれかのモジュールが省電力状態又は停止状態になることによって実現され得る。また、上述した通信機能継続中の省電力処理は、通信装置内のいずれかのモジュールがスマートフォン200との間で通信を行うことによって実現され得る。スマートフォン200の第1の通信装置205及び第2の通信装置206も、同様に、1つの装置として構成されてもよい。このように、本実施形態では、HMD100の第1の通信装置165及び第2の通信装置166の具体的な装置構成は任意であってよく、第1の通信方式を用いて通信を行う機能(第1の通信部)と、第2の通信方式を用いて通信を行う機能(第2の通信部)との駆動が別々に制御可能に構成されていればよい。以下の説明においても、HMD100の第1の通信装置165及び第2の通信装置166、並びに、スマートフォン200の第1の通信装置205及び第2の通信装置206が、それぞれ別個の装置であるとして説明を行うが、これはあくまで本実施形態の一例である。以下の説明において、第1の通信装置165、205及び第2の通信装置166、206は、同一の又は異なる装置における第1の通信部及び第2の通信部とそれぞれ読み替えられてもよい。
ここで、図3及び図4を参照して、図1に示すシステム10において実行される情報処理の一例について説明する。図3は、HMD100のコントロールユニット160及びスマートフォン200の概略的なソフトウェア構成を示すブロック図である。図4は、図1に示すシステム10における情報処理シーケンスの一例を示す図である。
図3を参照すると、コントロールユニット160にはHMD100を駆動するためのファームウェア(FW)(HMDファームウェア180)が搭載される。当該HMDファームウェア180は、例えばコントロールユニット160のメモリ164(例えばROM)に記憶され、プロセッサ162が当該HMDファームウェア180に従って動作することにより、HMD100の各種の機能が実現される。
一方、スマートフォン200には、HMD100を駆動するためのアプリケーションソフトウェアであるHMDコンパニオンアプリ190が搭載される。HMDコンパニオンアプリ190から、所定の処理を行う旨の指示が、コントロールユニット160のHMDファームウェア180に送信されることにより、HMDファームウェア180によって、当該処理を実行するようにHMD100が駆動される。例えば、図3に示すように、HMDコンパニオンアプリ190には、メールソフトを動作させるためのメールアプリ191や各種のソーシャルメディアを利用するためのソーシャルメディアアプリ192等の、各種のアプリケーションソフトウェアが紐付けられている。例えば、メールソフトを起動する際には、メールアプリ191からメールソフトを起動するための各種の指令がHMDコンパニオンアプリ190を介してコントロールユニット160のHMDファームウェア180に送信され、当該HMDファームウェア180によってメールソフトを起動するようにHMD100が駆動される。なお、HMDコンパニオンアプリ190並びに各種のアプリケーションソフトウェア(図3に示す例では、メールアプリ191及びソーシャルメディアアプリ192)は、例えばスマートフォン200のメモリ204(例えばROM)に記憶され、プロセッサ202がこれらのソフトウェアに従って動作することにより、HMD100に対して各種の指令が送信されることとなる。
図4を参照して、このような、HMD100及びスマートフォン200との間において行われる情報処理の一例について説明する。ここでは、一例として、HMD100に対してユーザが行った操作入力に応じて、ディスプレイユニット110における表示が更新される場合における処理手順について説明する。
図4を参照すると、まず、HMD100のコントロールユニット160において、例えばタッチセンサ170などを介してユーザ操作が入力される(S101)。このとき、プロセッサ162は、ユーザ操作の内容を示す情報を、第1の通信装置165又は第2の通信装置166を介してスマートフォン200に送信する(S103)。スマートフォン200では、プロセッサ202が、第1の通信装置205又は第2の通信装置206を介してHMD100から受信した情報に基づいて、次に表示する画像の内容を判断する(S105)。図示していないが、このとき、プロセッサ202は、携帯通信装置208を介してサーバ300と通信し、次に表示する画像のために必要な情報を取得してもよい。
続いて、プロセッサ202は、第1の通信装置205又は第2の通信装置206を介して、次に表示する画像のために必要な情報、例えばアイコンやテキスト等をHMD100に送信する(S107)。HMD100では、プロセッサ162が、第1の通信装置165又は第2の通信装置166を介してスマートフォン200から受信した情報に基づいて、次に表示する画像(フレーム画像)を生成する(S109)。更に、プロセッサ162は、生成されたフレーム画像のデータに基づいてディスプレイユニット110の光源112を制御し、光源112から射出される画像表示光によって提供される画像のフレームを更新する(S111)。
以上、図3及び図4を参照して、図1に示すシステム10において実行される情報処理の一例について説明した。
(2.通信制御)
次に、本実施形態に係る通信制御について説明する。上述したように、本実施形態に係る通信制御では、HMD100において、通信機能継続中の省電力処理又は通信機能停止による省電力処理が行われる。
(2−1.ウェアラブル端末の機能構成)
まず、図5を参照して、本実施形態に係る通信制御を実現するための機能構成について説明する。図5は、本実施形態に係る通信制御を実現するための機能構成の一例を示す機能ブロック図である。
図5を参照すると、本実施形態に係る通信制御は、通信必要性情報取得部311と、駆動制御部312と、通信方式選択部313と、を備える制御部310によって実現される。なお、制御部310は、コントロールユニット160のプロセッサ162によって構成され、プロセッサ162が所定のプログラムに従って動作することにより制御部310の各機能が実現され得る。このように、プロセッサ162は、本実施形態に係る通信制御を行うための通信制御装置として機能することができる。
通信必要性情報取得部311は、外部機器であるスマートフォン200との間で通信を行う必要性を示す通信必要性情報を取得する。本実施形態では、通信必要性情報は、あらゆる種類の情報を含み得る。例えば、通信必要性情報は、スマートフォン200からHMD100に対して通信が行われた旨の情報であってもよい。また、例えば、通信必要性情報は、そのアプリケーションを実行するためにスマートフォン200と通信を行う必要があるような、所定のアプリケーションが起動した旨の情報であってよい。また、例えば、通信必要性情報は、これから通信を行う旨の合図となり得るユーザによる所定の操作入力が行われた旨の情報であってよい。当該操作入力は、コントロールユニット160に設けられる特定のキー(例えば図2に示す入力キー168)を選択する旨の操作入力であってもよいし、タッチパネル214を介して入力される、例えばタップやスワイプ等の所定の操作入力であってもよい。更には、当該操作入力は、マイクロフォン218を介したユーザによる音声の入力であってもよい。当該操作入力は、これらの例に限定されず、ユーザ又はシステム10の設計者等によって適宜設定されてよい。
なお、上記で通信必要性情報として取得され得る情報をいくつか例示したが、本実施形態に係る通信必要性情報はかかる例に限定されない。本実施形態では、通信必要性情報は、通信の必要性を示す情報であればあらゆる情報であってよい。また、通信必要性情報取得部311は、HMD100及びスマートフォン200が備える各種のモジュール(例えば図2にブロックで示す各構成)から、通信必要性情報を取得することができる。
通信必要性情報取得部311は、取得した通信必要性情報を、駆動制御部312及び通信方式選択部313に送信する。ここで、本実施形態では、通信必要性情報取得部311は、通信必要性情報が所定の時間取得されない場合に、その旨の情報(すなわち、通信必要性情報が所定の時間取得されない旨の情報)を駆動制御部312に送信することができる。
駆動制御部312は、通信必要性情報取得部311によって取得された通信必要性情報に基づいて、第1の通信装置165及び第2の通信装置166の駆動を制御する。本実施形態では、駆動制御部312は、第1の通信装置165及び第2の通信装置166の駆動状態を、外部機器と通信可能な状態である起動状態、当該起動状態よりも消費電力の小さい状態である省電力状態、及び、電源が遮断された状態である停止状態の、少なくともいずれかの状態に制御することができる。
起動状態は、その通信方式における通常時の性能で即座に通信を実行可能な状態であり、実際に通信は行っていなくても比較的消費電力が大きい状態であると言える。本実施形態では、通信を行う際には、第1の通信装置165及び第2の通信装置166が、起動状態にされることになる。
省電力状態は、例えば第1の通信装置165及び第2の通信装置166の機能を一部停止させた状態であってよく、起動状態に比べて消費電力が小さい状態である。例えば、省電力状態は、BluetoothにおけるSniffモードや、Wi−FiにおけるWOW(Wake On Wireless)モードに対応する状態であってよい。例えば、省電力状態から起動状態への移行(復帰)は即座に行われ得る。
停止状態は、いわゆる電源がオフされた状態であってよい。第1の通信装置165及び第2の通信装置166を停止状態から起動状態に移行するためには、省電力状態から起動状態に移行する場合に比べるとより長い時間を要する。しかしながら、停止状態では、第1の通信装置165及び第2の通信装置166の消費電力を極小さく抑えることができる。
本実施形態では、駆動制御部312は、所定の時間通信必要性情報が取得されなかった場合に、通信機能停止による省電力処理を行う。具体的には、駆動制御部312は、所定の時間通信必要性情報が取得されなかった場合に、第1の通信装置165及び第2の通信装置166を省電力状態にすることができる。また、駆動制御部312は、更に所定の時間通信必要性情報が取得されなかった場合に、第1の通信装置165及び第2の通信装置166を停止状態にしてよい。また、駆動制御部312は、第1の通信装置165及び第2の通信装置166の一方だけを省電力状態又は停止状態にしてもよい。このように、本実施形態では、通信の必要性がないと判断される場合に、第1の通信装置165及び/又は第2の通信装置166の通信機能を徐々に停止させ、消費電力が小さい状態に順次移行させる。これにより、HMD100の消費電力をより低減させることが可能となる。
また、本実施形態では、第1の通信装置165及び第2の通信装置166の双方が省電力状態及び停止状態のいずれかになった場合には、コントロールユニット160のプロセッサ162が省電力状態に移行してもよい。プロセッサ162の省電力状態は、プロセッサ162の少なくとも一部の機能が停止された状態であり、例えばプロセッサ162のクロックが停止された状態(いわゆるスリープ状態)であってよい。省電力状態では、通常起動時に比べてプロセッサ162での消費電力をより小さく抑えることができる。このように、第1の通信装置165及び/又は第2の通信装置166の通信機能を徐々に停止させるとともに、プロセッサ162も省電力状態に移行させることにより、HMD100の更なる省電力化を図ることができる。
ここで、プロセッサ162の省電力状態は、第1の通信装置165及び第2の通信装置166からの通信や、所定のキー操作等、外部からの信号が入力されることにより、即座に通常時の起動状態に移行することが可能な状態であってよい。これにより、プロセッサ162が省電力状態になったとしても、必要な場合には即座に起動して処理を実行することができるため、プロセッサ162が起動するまでユーザを待たせる必要がない。
なお、プロセッサ162は、第1の通信装置165及び第2の通信装置166の双方が省電力状態及び停止状態のいずれかになるとともに、他の操作入力等、プロセッサ162が動作し得る情報が入力されていない場合に、省電力状態に移行してもよい。プロセッサ162は、通信制御機能以外の他の機能も有し得るため、他の操作入力が行われている場合には、当該操作入力に応じた各種の処理を行う必要があるからである。
ここで、本実施形態に係るシステム10では、第1の通信装置165は、起動状態及び省電力状態にはなり得るが、停止状態にはならないように構成され得る。これは、システム10の設計思想として、第1の通信方式(例えばBluetooth)による通信経路(通信パス)は常に確保しておき、例えば第2の通信方式(例えば無線LAN)による通信パスが切断された場合であっても、第1の通信方式を用いて第2の通信方式による通信パスを接続し直すことを想定しているからである。従って、本実施形態では、第1の通信装置165は、起動状態及び省電力状態のいずれかの状態であり、外部からの通信を受信可能な状態に維持される。以下の説明においても、第1の通信装置165は停止状態にはならないものとして説明を行う。ただし、第1の通信装置165及び第2の通信装置166がどのような駆動状態を取り得るかは、システム10をどのように設計するかに応じて決定されるものであり、上述した例に限定されない。例えば、第1の通信装置165及び第2の通信装置166の双方が、起動状態、省電力状態及び停止状態の全ての状態に移行し得るようにシステム10を設計することも可能である。
一方、本実施形態では、駆動制御部312は、通信必要性情報が取得された場合には、通信機能継続中の省電力処理を行う。具体的には、駆動制御部312は、通信必要性情報が取得された場合に、スマートフォン200との間で通信を行うために、第1の通信装置165及び第2の通信装置166の少なくともいずれかを起動状態にする。そして、駆動制御部312は、起動状態にした第1の通信装置165及び/又は第2の通信装置166の駆動を制御し、スマートフォン200との間で通信を行わせる。
例えば、駆動制御部312は、所定の通信必要性情報が取得された場合に、第1の通信装置165及び第2の通信装置166の少なくともいずれかを起動状態にしてもよい。当該所定の通信必要性情報は、上述したような、スマートフォン200からHMD100に対して通信が行われた旨の情報や、ユーザによる所定の操作入力(例えば特定のキーを選択する旨の操作入力、タッチパネル214を介して入力される所定の操作入力、マイクロフォン218を介したユーザによる音声の入力)等であってよい。また、駆動制御部312は、スマートフォン200からHMD100に対して通信が行われた旨の情報に基づいて第1の通信装置165及び/又は第2の通信装置166を起動状態にする際には、第1の通信装置165及び第2の通信装置166のうち、当該通信を受けた通信部を起動状態にしてもよい。なお、第1の通信装置165及び/又は第2の通信装置166を起動状態にするためのトリガーとなる情報は、これらの例に限定されず、ユーザ又はシステム10の設計者等によって適宜設定されてよい。
ここで、上述したように、駆動制御部312は、所定の通信必要性情報が取得された場合に、第1の通信装置165及び第2の通信装置166の少なくともいずれかを起動状態にすることができるが、後述する通信方式選択部313によって選択された通信方式に応じて、第1の通信装置165及び第2の通信装置166の少なくともいずれかを起動状態にしてもよい。また、このとき、駆動制御部312は、通信方式選択部313によって選択された通信方式に対応する通信装置のみを起動状態にし、他の通信装置は省電力状態又は停止状態にしてもよい。これにより、第1の通信装置165及び第2の通信装置166のうち、通信を行わない方は消費電力がより小さい状態に制御され得る。
通信方式選択部313は、通信必要性情報に基づいて、通信を行う通信方式を第1の通信方式及び第2の通信方式から選択する。例えば、通信方式選択部313は、所定の通信必要性情報が取得された場合に、当該所定の通信必要性情報に対応付けられている通信方式を選択する。通信必要性情報と、第1の通信方式及び第2の通信方式との対応付けは、例えばHMD100によって使用され得るアプリケーションの種類等に応じて予め設定されていてよい。例えば、本実施形態に係るHMD100では、Bluetoothに実装されているHFP(Hands−Free Profile)を用いて、コントロールユニット160とスマートフォン200との間で音声情報のやり取りを行いながら各種のアプリケーションが実行される使われ方が想定される。例えば、コントロールユニット160のマイクロフォン172に対してユーザが音声を入力することにより、当該音声に応じてテキストデータが入力されたり、所定のアプリケーションに対する操作の指示を与えたりすることができる。また、コントロールユニット160をいわばヘッドセットのように用いて電話を行うことができる。従って、通信方式選択部313は、コントロールユニット160とスマートフォン200との間で音声情報のやり取りが行われ得るようなアプリケーションが起動した旨の情報が通信必要性情報として取得された場合は、例えばBluetoothに対応する第1の通信方式を選択することができる。このように、通信方式選択部313は、通信方式が特定され得るような、所定のアプリケーションの起動や、所定の操作入力が通信必要性情報として取得された場合に、対応する通信方式を選択してもよい。
また、例えば、通信方式選択部313は、UI(User Interface)への高速な応答が求められるアプリケーション(例えば動画再生アプリケーション等)が起動された旨の情報が通信必要性情報として取得された場合には、第1の通信方式及び第2の通信方式のうち、より通信遅延が小さい通信方式を選択してよい。例えば、第2の通信方式として適用され得る無線LANのTCP(Transmission Control Protcol)は、第1の通信方式として適用され得るBlutoothのRFCOMM(Radio Frequency Communication)よりも、通信遅延が小さいことが知られている。従って、通信方式選択部313は、UIへの高速な応答が求められるアプリケーションが起動した旨の情報が通信必要性情報として取得された場合には、例えば無線LANに対応する第2の通信方式を選択することができる。
また、例えば、通信方式選択部313は、通信必要性情報から予測される、通信データ量や転送データレートに基づいて、通信方式を選択する。具体的には、通信方式選択部313は、取得された通信必要性情報に基づいて、比較的大きな通信データ量を送受信することが予測される場合や、比較的高い転送データレートでの通信が行われることが予測される場合には、より高レートでのデータ転送が可能な第2の通信方式を選択することができる。このような比較的大容量のデータが転送される場合に、データ転送レートの低い通信方式が選択されると、通信に時間が掛かってしまい、アプリケーションの実行が遅延し、ユーザの利便性が低下する可能性があるからである。例えば、比較的大きな通信データ量を送受信することが予測される場合としては、メールソフトにおいて送受信されようとしているメールに容量の大きなファイルが添付されている旨の情報が通信必要性情報として取得された場合等が考えられる。また、例えば、比較的高い転送データレートでの通信が行われることが予測される場合としては、カメラ120によって動画撮影を行うアプリケーションのように、HMD100とスマートフォン200との間での情報の送受信が連続的に(高レートで)行われるアプリケーションが起動した旨の情報が通信必要性情報として取得された場合等が考えられる。
ここで、例えばある一定の通信データ量の情報をHMD100からスマートフォン200に送信する場合について考える。この場合、第2の通信方式を用いて当該情報を送信すると、通信中(データ送信中)の消費電力は大きくなるが、高い転送データレートで情報を送信可能な分、より短時間に当該情報を送信することができる。一方、第1の通信方式を用いて当該情報を送信すると、通信中(データ送信中)の消費電力はより小さく抑えられるが、転送データレートが低い分、当該情報を送信するために比較的長い時間を要する。このように、所定の通信データ量の情報を送受信する場合に、第1の通信方式と第2の通信方式との、いずれを用いた方がより消費電力を抑えることができるかは、その通信データ量や、通信方式の特性に応じて異なる。本実施形態では、通信方式選択部313は、このような第1の通信方式及び第2の通信方式の特性も加味して、通信必要性情報から予測される通信データ量に基づいて、より消費電力が小さくなるような通信方式を選択することができる。
ただし、消費電力を小さく抑えることができたとしても、上述したように通信に要する時間が長大化すれば、ユーザの利便性を損ねる可能性がある。従って、本実施形態では、通信方式選択部313は、扱うことが予測される通信データ量や、第1の通信方式及び第2の通信方式の特性(例えば最大転送データレート等)、通信に要することが予測される時間等を総合的に考慮して、通信方式を選択することができる。
以上、図5を参照して、本実施形態に係る通信制御を実現するための機能構成について説明した。以上説明したように、本実施形態では、駆動制御部312によって、通信必要性情報に基づいて、第1の通信装置165及び第2の通信装置166の駆動状態が、起動状態、省電力状態及び停止状態の少なくともいずれかの状態に制御される。従って、第1の通信装置165及び第2の通信装置166の駆動状態を、通信の必要性に応じたより適切な状態に制御することができ、HMD100の消費電力を低減することができる。
なお、上述のような本実施形態に係る通信制御の各機能をプロセッサ162に実現させるためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
(2−2.通信制御方法の処理手順)
次に、図6を参照して、本実施形態に係る通信制御方法の処理手順について説明する。図6は、本実施形態に係る通信制御方法の処理手順の一例を示すフロー図である。なお、図6に示す各処理は、図5に示す制御部310の各機能によって実現され得る。
図6を参照すると、本実施形態に係る通信制御方法では、まず、所定の時間の間に通信必要性情報が取得されたかどうかが判断される(ステップS201)。当該処理は、例えば、上述した図5に示す通信必要性情報取得部311によって行われてよい。
ステップS201で、通信必要性情報取得部311によって所定の時間の間に通信必要性情報が取得されなかった場合には、その旨の情報が通信必要性情報取得部311から駆動制御部312に提供され、通信機能停止による省電力処理が開始される(ステップS203)。一方、ステップS201で、通信必要性情報取得部311によって所定の時間の間に通信必要性情報が取得された場合には、取得された通信必要性情報が駆動制御部312及び通信方式選択部313に提供され、通信機能継続中の省電力処理が開始される(ステップS205)。
以上、図6を参照して、本実施形態に係る通信制御方法の処理手順について説明した。以下では、下記(3.通信機能停止による省電力処理)及び下記(4.通信機能継続中の省電力処理)において、図6のステップS203に示す通信機能停止による省電力処理及び図6のステップS205に示す通信機能継続中の省電力処理について詳細に説明する。
(3.通信機能停止による省電力処理)
図7を参照して、本実施形態に係る通信機能停止による省電力処理について説明する。図7は、本実施形態に係る通信機能停止による省電力処理の処理手順の一例を示すフロー図である。なお、図7に示す各処理は、図5に示す制御部310の各機能によって実現され得る。
図7を参照すると、本実施形態に係る通信機能停止による省電力処理では、まず、第1の通信装置165及び第2の通信装置166の駆動状態が省電力状態に制御される(ステップS301)。当該処理は、例えば、上述した図5に示す駆動制御部312によって行われてよい。
次に、更に所定の時間の間に通信必要性情報が取得されたかどうかが判断される(ステップS303)。当該処理は、例えば、上述した図5に示す通信必要性情報取得部311によって行われてよい。
ステップS303で、通信必要性情報取得部311によって所定の時間の間に通信必要性情報が取得された場合には、取得された通信必要性情報が駆動制御部312及び通信方式選択部313に提供され、図6に示すステップS205に示す通信機能継続中の省電力処理が開始される。
一方、ステップS303で、通信必要性情報取得部311によって所定の時間の間に通信必要性情報が取得されなかった場合には、その旨の情報が通信必要性情報取得部311から駆動制御部312に提供され、第2の通信装置166の駆動状態が停止状態に制御される(ステップS305)。なお、図6に示す例では、ステップS305において、第2の通信装置166の駆動状態のみが停止状態になるように制御されているが、上述したように、システム10の構成によっては、第1の通信装置165もともに停止状態となってもよい。
以上、図7を参照して、本実施形態に係る通信機能停止による省電力処理について説明した。以上説明したように、本実施形態では、所定の時間通信必要性情報が取得されなかった場合に、第1の通信装置165及び第2の通信装置166が省電力状態にされ得る。また、更に所定の時間通信必要性情報が取得されなかった場合には、第1の通信装置165及び第2の通信装置166が停止状態にされ得る。このように、通信の必要性がないと判断される場合に、第1の通信装置165及び第2の通信装置166の機能を徐々に停止させることにより、HMD100の消費電力を低減することができる。
ここで、上述したように、本実施形態に係る通信機能停止による省電力処理では、第1の通信装置165及び第2の通信装置166の通信機能の停止とともに、プロセッサ162も省電力状態に移行してもよい。図8を参照して、本実施形態に係る通信機能停止による省電力処理において、プロセッサ162が省電力状態に移行する際の処理手順について説明する。図8は、本実施形態に係る通信機能停止による省電力処理において、プロセッサ162が省電力状態に移行する際の処理手順の一例を示すシーケンス図である。なお、図8では、一例として、HMD100のコントロールユニット160とスマートフォン200との間で、第1の通信装置165、205を介して第1の通信方式によって通信が行われている場合における処理手順を示している。第2の通信装置166、206を介して第2の通信方式によって通信が行われている場合であっても、同様の処理手順が行われ得る。
図8を参照すると、ステップS401、403に示す処理は、第1の通信装置165、205及びプロセッサ162が全て起動しており、コントロールユニット160のプロセッサ162とスマートフォン200のプロセッサ202(図8では図示せず。)との間で各種の情報が繰り返しやり取りされ、例えば各種のアプリケーションが実行されている際の処理を表している。すなわち、コントロールユニット160の第1の通信装置165とスマートフォン200の第1の通信装置205との間で通信が行われる(ステップS401)とともに、コントロールユニット160においては第1の通信装置165とプロセッサ162との間で通信が行われている(ステップS403)。例えば、ステップS401示す、第1の通信装置165と第1の通信装置205との間の通信は、Bluetoothの一プロトコルであるRFCOMMを用いた通信であり得る。アプリケーションが実行されている間は、ステップS401、403に示す処理が繰り返し行われることになる。
アプリケーションの実行が終了し、所定の時間の間外部からの通信やユーザによる操作入力等がなかった場合には、プロセッサ162において、所定の時間の間通信必要性情報が取得されなかったことが検出される(ステップS405)。当該処理は、図6に示すステップS201に示す処理に対応するものであり、例えば図5に示す通信必要性情報取得部311によって実行される。
プロセッサ162では、所定の時間の間通信必要性情報が取得されなかった旨の情報に基づいて、例えば駆動制御部312によって、第1の通信装置165を省電力状態にする旨の判断がなされる。そして、省電力状態に移行させる旨の要求(指示)が、プロセッサ162の駆動制御部312から第1の通信装置165に送信される(ステップS407)。当該要求を受けた第1の通信装置165は、省電力状態に移行する(ステップS409)。
一方、プロセッサ162は、ステップS407の処理を行った後にも、通信必要性情報が取得されず、かつ、操作入力等の他の情報の入力もなかった場合には、省電力状態に移行する(ステップS411)。上述したように、当該省電力状態は、いわゆるスリープ状態であってよく、例えばクロックが停止された状態であり得る。
以降の処理は、第1の通信装置165及びプロセッサ162を起動させる処理に対応する。第1の通信装置165及びプロセッサ162がともに省電力状態であるときに、スマートフォン200の第1の通信装置205からコントロールユニット160の第1の通信装置165に対して通信が行われたとする(ステップS413)。当該通信は、コントロールユニット160に対して通信があることを知らせるNotify通知であり得る。当該Notify通知を受信した第1の通信装置205は、起動状態に移行する(ステップS415)。なお、ステップS415の時点では、プロセッサ162は省電力状態であるため、プロセッサ162からの制御によって第1の通信装置205が駆動状態になることはできない。従って、例えば第1の通信装置205自身に、外部から信号を受信した場合に省電力状態から起動状態に移行させるような機能を有する、電気回路的な機構又は別途のプロセッサ等の構成が搭載されており、ステップS415では、第1の通信装置205はこれらの構成によって自律的に起動状態に移行してもよい。
起動状態になった第1の通信装置205は、スマートフォン200から通信があった旨の情報(又は受信した情報自体)をプロセッサ162に送信する(ステップS417)。当該情報を受信したプロセッサ162は、起動状態に移行する(ステップS419)。そして、例えばステップS401、403に示すような、第1の通信装置165、205を介した、コントロールユニット160のプロセッサ162とスマートフォン200のプロセッサ202との間での通信が再び実行されることとなる。
以上、図8を参照して、本実施形態に係る通信機能停止による省電力処理において、プロセッサ162が省電力状態に移行する際の処理手順について説明した。以上説明したように、本実施形態では、通信の必要性がない場合に、第1の通信装置165及びプロセッサ162がともに省電力状態になることにより、HMD100の消費電力をより低減することが可能となる。
なお、図8に示す例では、プロセッサ162は、第1の通信装置165からの通信が行われることにより省電力状態から起動状態に移行しているが、本実施形態はかかる例に限定されない。例えば、特定のキー(例えば図2に示す入力キー168)を選択する旨の操作入力や、タッチパネル214を介して入力される特定の操作入力があった場合に、プロセッサ162が起動状態に移行してもよい。あるいは、マイクロフォン218を介したユーザによる音声の入力があった場合にプロセッサ162が起動状態に移行してもよい。このように、プロセッサ162を起動状態に移行するための操作入力は任意であってよく、ユーザ又はシステム10の設計者等によって適宜設定されてよい。ただし、プロセッサ162を起動状態に移行させるための操作入力としては、プロセッサ162が省電力状態であっても、例えば電気回路的な機構等により検出可能な操作入力が選択され得る。例えば、音声入力であれば、オペアンプからなる回路を適宜構成することにより、入力された音声に対応する音声信号の電圧値を所定のしきい値と比較し、当該音声信号の電圧値が当該しきい値よりも大きい場合に、プロセッサ162に当該音声信号を入力するような機構を、プロセッサ162からの制御によらない自律的な機構として実現することができる。
(4.通信機能継続中の省電力処理)
次に、図9を参照して、本実施形態に係る通信機能継続中の省電力処理について説明する。図9は、本実施形態に係る通信機能継続中の省電力処理の処理手順の一例を示すフロー図である。なお、図9に示す各処理は、図5に示す制御部310の各機能によって実現され得る。
図9を参照すると、本実施形態に係る通信機能継続中の省電力処理では、まず、通信必要性情報が、大容量データを扱う旨の情報かどうかが判断される(ステップS501)。ステップS501に示す処理は、例えば図5に示す通信方式選択部313によって実行されてよい。具体的には、ステップS501に示す処理は、通信必要性情報に基づいて予測される通信データ量が所定のしきい値よりも大きいかどうか(又は所定のしきい値以上かどうか)を判断する処理であってよい。当該しきい値は、第1の通信方式及び第2の通信方式の特性(例えば最大転送データレート等)に応じて、データの通信がより低消費電力で、かつ、ユーザの利便性を損ねないような時間内に行われ得るように適宜設定されてよい。また、大容量データを扱う旨の情報とは、例えば、動画撮影用のアプリケーション等、所定のアプリケーションが起動した旨の情報であってもよい。
ステップS501で、大容量データを扱う旨の情報ではないと判断された場合には、通信方式選択部313によって、より低消費電力でより低レートでデータ転送可能な第1の通信方式を用いて通信を行うことが選択される(ステップS503)。そして、駆動制御部312によって、第1の通信装置165が起動状態にされ、通信が実行される(ステップS505)。なお、ステップS505では、駆動制御部312は、通信を行う第1の通信装置165のみを起動状態にし、通信を行わない第2の通信装置166は省電力状態又は停止状態にしてもよい。
一方、ステップS501で、大容量データを扱う旨の情報であると判断された場合には、通信方式選択部313によって、より高レートでデータ転送可能な第2の通信方式を用いて通信を行うことが選択される(ステップS507)。そして、駆動制御部312によって、第2の通信装置166が起動状態にされ、通信が実行される(ステップS509)。なお、ステップS509では、駆動制御部312は、通信を行う第2の通信装置166のみを起動状態にし、通信を行わない第1の通信装置165は省電力状態又は停止状態にしてもよい。
以上、図9を参照して、本実施形態に係る通信機能継続中の省電力処理について説明した。なお、図9に示すステップS501に示す処理は、通信方式選択部313による通信方式を選択するための判断処理の一例である。本実施形態では、図9に示す例に限定されず、通信方式選択部313は、他の判断基準に基づいて通信方式を決定してもよい。通信方式選択部313による判断基準の他の例については、上記(2−1.ウェアラブル端末の機能構成)で図5を参照しながら説明しているため、ここでは説明を省略する。通信方式選択部313が通信方式を選択するための判断基準は、ユーザ又はシステム10の設計者等により適宜設定されてよい。
以上説明したように、本実施形態では、通信必要性情報に基づいて、コントロールユニット160とスマートフォン200との間の通信に用いられる通信方式が選択され得る。ここで、当該通信方式の選択は、通信の必要性に応じて、より低消費電力で通信が実行されるとともに、ユーザの利便性を損ねないような時間内に通信が実行されるように選択され得る。従って、例えば、比較的大容量のデータを通信する場合だけ消費電力の大きい第2の通信方式が用いられ、それ以外の場合には消費電力の小さい第1の通信方式が用いられ得る。よって、HMD100の低消費電力化が実現される。また、第1の通信方式と第2の通信方式との切り替え(すなわち、図9に示す一連の処理)は、ユーザが意識することなく、プロセッサ162によって自動的に行われる。従って、ユーザ自身が煩雑な通信方式の切り替え作業を行う必要がなく、通信に要する時間が長時間とならないように通信方式が自動的に切り替えられるため、ユーザの利便性を向上させることができる。
(5.適用例)
以上説明した本実施形態に係る通信制御の具体的な適用例について説明する。ここでは、一適用例として、動画撮影用のアプリケーションが実行される場合における、HMD100のコントロールユニット160とスマートフォン200との間の通信制御について説明する。
上述したように、本実施形態では、例えば動画撮影用のアプリケーションが起動した旨の情報が通信必要性情報として取得された場合に、通信方式がより高レートでデータ転送可能な第2の通信方式に切り替えられてよい。ここでは、図10及び図11を参照して、アプリケーションが選択される際にHMD100のディスプレイユニット110においてユーザに対して提示される表示の一例と、動画撮影用のアプリケーションによって動画が撮影されている最中におけるHMD100とスマートフォン200との間での通信の詳細について説明する。
図10は、アプリケーションが選択される際にユーザに対して提示される表示の一例を示す図である。図10では、HMD100のディスプレイユニット110の一表示例が図示されている。
図10を参照すると、ディスプレイユニット110のユーザの眼前に対応する表示領域130におけるいくつかの表示例が図示されている。本実施形態では、ディスプレイユニット110における表示は、表示領域130に「カード」と呼ばれる表示がなされるカード階層と、表示領域130にアプリケーションが実行される際の表示がなされるアプリ階層と、からなる階層構造を有している。
カード階層では、いくつかのカードの表示を、例えばコントロールユニット160のタッチセンサ170に対するスワイプ操作によって順次切り替えることができる。1つのカードが1つのアプリケーション又は機能に対応しており、ユーザは、カードの表示を切り替えながら、起動したいアプリケーションや実行したい機能を探索することができる。図10に示す例では、カードの一例として、ホーム画面を表すカード131、動画撮影用のアプリケーションを表すカード132、ソーシャルメディア用のアプリケーションを表すカード133及び各種の設定を行う設定画面を表すカード134が図示されている。
ユーザは、起動したいアプリケーション又は実行したい機能に対応するカードが表示領域130に表示されている状態で、例えばタッチセンサ170に対するタップ操作や入力キー168を押下する操作等、当該カードを選択する旨の操作入力を行うことができる。当該操作入力により、対応するアプリケーションが起動される又は機能が実行されることとなる。
例えば、ユーザが、動画撮影用のアプリケーションを表すカード132が表示領域130に表示されている状態で、当該カードを選択する旨の操作入力を行ったとする。すると、動画撮影用のアプリケーションが起動されるとともに、図10に示すように、表示領域130の表示が、当該アプリケーションに対応する表示である撮影スタンバイ表示141に切り替わる。撮影スタンバイ表示141は、上述したアプリ階層に属する表示である。なお、アプリ階層からカード階層に表示を戻すためには、例えば階層を戻す旨の機能が割り当てられている入力キー168(バックキーとも呼称する。)を押下する等の所定の操作入力が行われればよい。
撮影スタンバイ表示141において、シャッター機能が割り当てられている入力キー168(シャッターキーとも呼称する。)が選択されると、表示領域130の表示が、動画の撮影中であることを示す撮影表示142に切り替えられる。撮影を止めたい場合には、例えば再度シャッターキーを押下する等の所定の操作入力が行われればよい。当該操作入力により、撮影が停止され、表示領域130の表示が撮影スタンバイ表示141に戻る。
ここで、アプリ階層に属する表示(撮影スタンバイ表示141及び撮影表示142)が表示領域130に表示されている間は、動画撮影用のアプリケーションが起動している状態であると言える。従って、図10に示す例では、撮影スタンバイ表示141又は撮影表示142が表示領域130に表示されている間は、第2の通信方式の通信パスが確立されており、第2の通信方式による通信が実行可能な状態になっている。
図11は、動画撮影用のアプリケーションによって動画が撮影されている最中における、HMD100及びスマートフォン200での各種の情報の処理手順の一例を示すシーケンス図である。図11では、HMD100のディスプレイユニット110と、コントロールユニット160と、スマートフォン200と、の間での情報のやり取りが図示されている。
まず、動画撮影用のアプリケーションが起動され、表示領域130に撮影スタンバイ表示141が表示されている状態において、コントロールユニット160において、シャッターキー操作の入力が検出される(ステップS801)。シャッターキー操作の入力が検出されると、その旨の情報がコントロールユニット160からスマートフォン200に対して送信される(ステップS803)。
コントロールユニット160から送信された情報に応じて、スマートフォン200からコントロールユニット160に対して、音声ストリームの送信を開始する旨の要求が送信される(ステップS805)。当該要求に応じて、コントロールユニット160からスマートフォン200に対して、コントロールユニット160のマイクロフォン172によって取得される音声データ(すなわち、動画撮影時に取得され得る音声データ)が、音声ストリームとして送信される(ステップS807)。なお、図13では、ステップS807に示す処理に対応する矢印を代表的に1本だけ図示しているが、コントロールユニット160からスマートフォン200に対する音声ストリームの送信は、動画の撮影が行われている間、継続して行われる。
なお、本実施形態では、コントロールユニット160からスマートフォン200に対する音声データの送信には、第1の通信方式が用いられてよい。例えば、当該音声データの送信には、第1の通信方式の一例であるBluetoothに実装されているHFPが好適に適用され得る。
ステップS805に示す処理と並行して、スマートフォン200からコントロールユニット160に対して、ディスプレイユニット110に設けられるカメラ120によって撮影を開始する旨の要求が送信される(ステップS809)。ステップS809に示す処理では、当該撮影におけるフレームレート(例えば15(fps:frame per second)程度)も併せて送信され得る。
次いで、撮影を開始する旨の要求が、コントロールユニット160からディスプレイユニット110に対して送信される(ステップS811)。そして、ディスプレイユニット110のカメラ120によって、指定されたフレームレートでの撮影が実行される(ステップS813)。
ここで、動画は静止画を連続撮影したものとみなすことができる。本実施形態では、カメラ120によって、指定されたフレームレートに従って画像の連続撮影が行われ、撮影された画像データが1フレームごと順次コントロールユニット160に送信され(ステップS815)、更にコントロールユニット160からスマートフォン200に送信される(ステップS817)。2フレーム目以降の画像についても、同様に、画像データが、1フレームごとにディスプレイユニット110からコントロールユニット160に送信され(ステップS819)、更にコントロールユニット160からスマートフォン200に送信される(ステップS821)。
スマートフォン200には、ステップS807に示す処理によって音声データが随時送信され、ステップS815以降に示す処理によって画像データが随時送信される。スマートフォン200では、これらの音声データ及び画像データに対して、画像と音声のエンコード処理が行われ、動画ファイルの作成処理が行われる(ステップS823)。
なお、本実施形態では、コントロールユニット160からスマートフォン200に対する画像データの送信には、第2の通信方式が用いられてよい。画像データは比較的容量が大きいデータであるとともに、動画撮影時には画像データが所定の間隔(例えば15(fps))で順次コントロールユニット160からスマートフォン200に対して送信される。従って、画像データの送信に、より高いレートでデータ転送が可能な第2の通信方式が用いられることにより、通信の遅延に起因する動画生成処理の遅延が回避され、ユーザの利便性を向上させることができる。
以上、本実施形態に係る通信制御の一適用例について説明した。以上説明したように、本実施形態では、例えば動画撮影用のアプリケーション等の所定のアプリケーションが起動した旨の情報が通信必要性情報として取得された場合に、通信方式がより高レートでデータ転送可能な第2の通信方式に切り替えられてよい。ただし、当該アプリケーションが実行される際には、送受信される情報の種類に応じて、第1の通信方式及び第2の通信方式が好適に使い分けられ得る。例えば、上述した例のように、動画撮影時に、音声データは第1の通信方式によって送信され、画像データは第2の通信方式によって送信されてよい。情報の種類に応じて、より適切な通信方式が選択されることにより、消費電力の低減に加えて、より円滑なアプリケーションの動作が実現されることとなる。
(6.変形例)
ここでは、上述した実施形態におけるいくつかの変形例について説明する。
(6−1.通信の認証処理)
上記では、本実施形態に係る通信機能停止による省電力処理及び通信機能継続中の省電力処理について説明したが、これらの処理は、いずれも、第1の通信方式及び第2の通信方式の双方について、装置間における通信の認証処理が行われ、通信パスが形成されていることを前提とするものである。本変形例は、これらの処理の前段において行われる、第1の通信方式及び第2の通信方式による通信における認証処理に関するものである。具体的には、本変形例では、第2の通信方式による通信における認証処理が、第1の通信方式を用いた通信によって行われる。
通信における認証処理は通信方式によって異なるが、例えば、当該認証処理では、通信を行う装置を互いの装置に認識させ、これらの装置にIDやパスワード、暗号キー等の情報をユーザが手作業で入力する必要があり、決して簡便な作業とは言えない場合がある。一方、本変形例では、上記のような第1の通信方式を用いた第2の通信方式における認証処理が行われるため、一方の第1の通信方式についての認証処理を一旦行えば、他方の第2の通信方式についての認証処理はユーザの手を介さずに自動的に行われ得るため、ユーザの利便性を向上させることが可能となる。なお、特に、第1の通信方式として例えばBluetoothを用い、第2の通信方式として例えば無線LANを用いる場合には、上述した効果をより好適に得ることができる。Bluetoothの認証処理には、いわゆるペアリングと呼ばれる作業が必要となるが、当該ペアリングは比較的簡便な作業である反面、無線LANの認証処理には比較的煩雑な作業が必要とされるからである。
図12を参照して、第1の通信方式を用いた第2の通信方式における通信の認証処理について説明する。図12は、第1の通信方式を用いた第2の通信方式における通信の認証処理の処理手順の一例を示すシーケンス図である。
図12を参照すると、まず、ユーザの操作により、HMD100のコントロールユニット160の第1の通信装置165と、スマートフォン200の第1の通信装置205と、の間での第1の通信方式による通信が認証され、通信パスが形成される(ステップS601)。当該処理は、例えば、ペアリングを行うことにより、コントロールユニット160とスマートフォン200との間にBluetoothによる通信パスを形成する処理であってよい。
次に、スマートフォン200の第1の通信装置205から、コントロールユニット160の第1の通信装置165に対して、第2の通信方式による通信を認証するための各種の情報(例えば、IDやパスワード、暗号キー等)が送信される(ステップS603)。コントロールユニット160では、第1の通信装置165から第2の通信装置166に対してこれらの情報が送信される(ステップS605)。そして、スマートフォン200から第1の通信方式を介して送信された情報に基づいて、コントロールユニット160の第2の通信装置166と、スマートフォン200の第2の通信装置206と、の間での通信が認証され、通信パスが形成される(ステップS607)。
以上、図12を参照して、第1の通信方式を用いた第2の通信方式における通信の認証処理について説明した。以上説明したように、本変形例では、第1の通信方式を用いて、第2の通信方式での通信を認証するための各種の情報が送信され、当該情報に基づいて第2の通信方式の通信パスが形成される。ここで、ステップS603〜S607に示す処理は、例えば、コントロールユニット160及びスマートフォン200のプロセッサ162、202の制御により、ユーザが特定の操作入力を行うことなく、自動的に行われ得る。従って、ユーザが行う作業は、第1の通信方式の認証処理だけでよく、ユーザの負担を軽減することができる。第1の通信方式として、比較的認証処理に要する操作が簡便な通信方式を設定することにより、ユーザの負担は更に軽減されることとなる。
ここで、図13を参照して、図12に示すシーケンス図におけるより詳細な処理手順について説明する。図13は、第1の通信方式を用いた第2の通信方式における通信の認証処理のより詳細な処理手順の一例を示すシーケンス図である。
なお、図13では、第1の通信方式を用いた第2の通信方式における通信の認証処理が行われ、双方の通信方式での通信パスが形成された後に、通信機能停止による省電力処理及び通信機能継続中の省電力処理が実行される際の処理手順まで図示している。また、図13では、第1の通信方式による通信における認証処理が既に行われ、第1の通信方式による通信パスが形成された後の処理手順を示している。また、図13では、図面が煩雑になることを避けるため、第1の通信方式を「1st COM」と略記し、第2の通信方式及び第2の通信装置166、206を「2nd COM」と略記している。
図13を参照すると、コントロールユニット160のプロセッサ162(図3に示すHMDファームウェア180の機能が搭載されている。)と、スマートフォン200のプロセッサ202(図3に示すHMDコンパニオンアプリ190の機能が搭載されている。)との間での情報のやり取りが図示されている。
まず、スマートフォン200からコントロールユニット160に対して、第2の通信方式の状態の問い合わせが行われ(ステップS701)、当該問い合わせに対してコントロールユニット160からスマートフォン200に対して、第2の通信方式の状態が返信される(ステップS703)。図13に示す例では、ステップS703において、第2の通信方式の状態が無効である(disabled)旨の情報が送信されている。従って、スマートフォン200は、コントロールユニット160に対して、第2の通信装置166を起動状態にするように指示を送信する(ステップS705)。当該指示に対して、コントロールユニット160からスマートフォン200に対して、第2の通信方式を有効にする旨の応答が送信される。(ステップS707)。ステップS701〜ステップS707に示す処理における通信は、第1の通信方式によって行われる。
ステップS701〜ステップS707に示す処理に次いで、コントロールユニット160では、プロセッサ162からの制御(例えば上述した図5に示す駆動制御部312からの制御)により、第2の通信装置166が起動状態にされ(ステップS709)、第2の通信装置166が起動した旨の情報がプロセッサ162に送信される(ステップS711)。スマートフォン200においても同様に第2の通信装置206を起動状態にする処理が行われる(ステップS713、S715)。なお、ステップS709〜ステップS715に示す第2の通信装置166、206の起動処理は、図13に示すタイミングではなく、より前段において行われていてもよい。第2の通信装置166、206を停止状態から起動状態に移行する場合には、例えば省電力状態から起動状態に移行する場合に比べて時間が掛かるため、図13に示す一連の処理をより短時間に行う必要性がある場合には、ステップS709〜ステップS715に示す処理をより前段のタイミングで実行しておくことが好ましい。
また、スマートフォン200では、第2の通信装置206が有する一機能であるグループオーナー(GO:Group Owner)の起動処理も併せて行われる(ステップS717、S719)。グループオーナーは、通信の認証処理を実行する機能であり、例えば認証に必要な各種の情報(ID、パスワード等)もグループオーナーによって管理されている。グループオーナーは、通信パスが形成される装置のうち、一方の装置が備えていればよい。図13に示す例では、スマートフォン200の第2の通信装置206がグループオーナーを備えるため、スマートフォン200によって通信の認証処理が主導されることなる。なお、コントロールユニット160の第2の通信装置166がグループオーナーを備え、コントロールユニット160によって通信の認証処理が主導されてもよい。
グループオーナーが起動されると、第2の通信方式における通信の認証処理が実行される。具体的には、認証処理が実行可能かどうかを確認するために、コントロールユニット160からスマートフォン200に対して第2の通信方式の状態が送信され(ステップS721)、第2の通信方式が有効である(enable)場合(すなわち、認証処理が実行可能である場合)には、スマートフォン200からコントロールユニット160に対してIDやパスワード等の認証処理に必要な各種の情報が送信される(ステップS723)。これらの情報を受信したコントロールユニット160からは、第2の通信方式における接続状態についての情報として、接続処理中である旨の情報がスマートフォン200に対して送信される(ステップS725)。ステップS721〜ステップS725に示す処理における通信は、第1の通信方式によって行われる。
次いで、プロセッサ162(例えば駆動制御部312)から第2の通信装置166に対して認証処理を開始するよう指示が与えられ(ステップS727)、当該指示を受けて、コントロールユニット160の第2の通信装置166とスマートフォン200の第2の通信装置206との間で、通信パスを形成する処理が行われる(ステップS729〜S733)。ステップS729〜S733に示す処理では、例えば通信に用いられる端子の状態等が互いに確認され、第2の通信装置166と第2の通信装置206との間で通信パスが形成される。通信パスが形成されると、その旨の情報が第2の通信装置166からプロセッサ162に対して送信される(ステップS735)。
以上の処理が、第1の通信方式を用いた第2の通信方式における通信の認証処理の詳細な処理手順の一例である。ステップS735に示す処理が終了すると、第1の通信方式における通信パス及び第2の通信方式における通信パスが両方とも形成されるため、コントロールユニット160及びスマートフォン200は、いずれかの通信方式を選択して通信を行うことができる。
以降の処理は、図7及び図9を参照して説明した、通信機能停止による省電力処理及び通信機能継続中の省電力処理に対応している。例えば、通信必要性情報が取得され、通信方式選択部313によって、当該通信必要性情報に基づいて第2の通信方式が選択された場合には、通信方式を第1の通信方式から第2の通信方式に切り替える処理が行われることとなる。具体的には、図13に示すように、コントロールユニット160からスマートフォン200に対して、第2の通信方式の接続状態についての情報として、接続中である旨の情報が送信され(ステップS737)、スマートフォン200からコントロールユニット160に対して、通信パスが第2の通信方式における通信パスに切り替えられた旨の応答が行われる(ステップS739)。ステップS737に示す処理が実行されると、以降、コントロールユニット160からの情報の送信は第2の通信方式によって行われ、スマートフォン200による情報の受信は第2の通信方式によって行われることとなる。また、ステップS739に示す処理が実行されると、以降、コントロールユニット160による情報の受信は第2の通信方式によって行われ、スマートフォン200からの情報の送信は第2の通信方式によって行われることとなる。従って、ステップS737、S739に示す処理が実行された後は、第2の通信方式によってスマートフォン200とコントロールユニット160との間の通信が行われる(ステップS741)。
この状態で、例えば、再び通信必要性情報が取得され、通信方式選択部313によって、当該通信必要性情報に基づいて第1の通信方式が選択された場合には、通信方式を第2の通信方式から第1の通信方式に切り替える処理が行われることとなる。図13では、一例として、通信方式が第2の通信方式から第1の通信方式に切り替えられた後に、通信機能停止による省電力処理が続けて行われ、第2の通信装置166、206が停止状態に移行するまでの処理が図示されている。
具体的には、図13に示すように、スマートフォン200からコントロールユニット160に対して、第2の通信装置166を停止状態にする旨の指示が送信される(ステップS743)。もしも、第2の通信装置166、206を停止状態にまで移行させず、起動状態のまま待機させたり省電力状態に移行させたりするのであれば、ステップS743で送信される指示は、例えば第2の通信方式における通信パスを切断する旨の指示等、他の指示であってよい。
第2の通信装置166を停止状態にする旨の指示を受けたコントロールユニット160からは、通信パスを第1の通信方式における通信パスに切り替える旨の指示がスマートフォン200に対して送信され(ステップS745)、スマートフォン200からは、当該指示に対する応答がコントロールユニット160に対して送信される(ステップS747)。ステップS745に示す処理が実行されると、以降、コントロールユニット160からの情報の送信は第1の通信方式によって行われ、スマートフォン200による情報の受信は第1の通信方式によって行われることとなる。また、ステップS747に示す処理が実行されると、以降、コントロールユニット160による情報の受信は第1の通信方式によって行われ、スマートフォン200からの情報の送信は第1の通信方式によって行われることとなる。従って、ステップS741、S743に示す処理が実行された後は、第1の通信方式によってスマートフォン200とコントロールユニット160との間の通信が行われることとなる。
以降の処理は、通信機能停止による省電力処理によって、第2の通信装置166、206が停止状態にされる処理に対応している。通信パスが切り替えられると、コントロールユニット160では、プロセッサ162によって(例えば駆動制御部312によって)、第2の通信装置166に対して、第2の通信方式による接続を切断する旨の指示が出され(ステップS749)、その応答として、第2の通信装置166からプロセッサ162に対して第2の通信方式による接続が切断された旨の情報が送信される(ステップS751)。また、コントロールユニット160からスマートフォン200に対して、第2の通信方式の接続状態についての情報として、接続が切断された旨の情報が送信される(ステップS755)。
更に、スマートフォン200では、プロセッサ202からの制御により、第2の通信装置206が停止状態にされ(ステップS753)、コントロールユニット160では、プロセッサ162(例えば駆動制御部312)からの制御により、第2の通信装置166が停止状態にされ(ステップS757)、第2の通信装置166が停止状態になった旨の情報がプロセッサ162に送信される(ステップS759)。更に、コントロールユニット160からスマートフォン200に対して、第2の通信方式の状態が無効である旨の情報が送信される(ステップS761)。もしも、第2の通信装置166、206を停止状態にまで移行させず、起動状態のまま待機させたり省電力状態に移行させたりするのであれば、ステップS749〜S761の処理は行われなくてもよい。
以上、図12及び図13を参照して、第1の通信方式を用いた第2の通信方式における通信の認証処理について説明した。以上説明したように、本変形例では、第1の通信方式を用いて、第2の通信方式での通信を認証するための各種の情報が送信され、当該情報に基づいて第2の通信方式の通信パスが形成される。また、第1の通信方式としては、比較的簡便な作業で認証処理が実行可能な通信方式が好適に選択されてよい。従って、ユーザが行う作業は、比較的簡易な第1の通信方式における認証処理だけでよく、ユーザの負担をより軽減することができる。
ここで、例えば、第2の通信方式として無線LANが用いられる場合について考える。無線LANにおける認証処理を、ユーザが手作業で行う場合には、一般的に、ユーザがディスプレイ等に表示される設定画面を参照しながら、IDやパスワード等の情報を入力する作業が行われる。当該作業では、認証処理中の設定画面の表示やユーザによる情報の入力が、第三者によって盗み見られる可能性があり、十分に安全性が確保されているとは言えない。一方、本変形例では、第1の通信方式を用いて第2の通信方式の認証に関する各種の情報が送信されるため、これらの情報が第三者に直接見られる可能性がなく、認証処理における安全性をより高めることができる。また、第1の通信方式として、通信時の安全性により優れた通信方式が用いられることにより、このような安全性の向上効果を更に得ることができる。
なお、コントロールユニット160及びスマートフォン200が、第1の通信方式及び第2の通信方式以外の他の通信方式によっても通信可能に構成される場合には、まず、最も安全性の高い通信方式における認証処理が行われた後に、当該通信方式を用いて他の通信方式における認証処理が行われてもよい。これにより、更に安全に各通信方式における認証処理を実行することが可能となる。
(6−2.共通アンテナを有する変形例)
図2では明示しなかったが、本実施形態では、コントロールユニット160は、1つのアンテナを有し、当該アンテナを第1の通信装置165と第2の通信装置166とで共有する構成を取ることができる。本変形例によれば、このように共通アンテナを設けることにより、第1の通信装置165と第2の通信装置166とで別個のアンテナを設ける必要がなくなるため、コントロールユニット160の小型化、軽量化を実現することが可能となる。
ただし、第1の通信方式及び第2の通信方式の特性によっては、その利用する周波数帯域が一部重複している場合がある。このような場合に第1の通信方式及び第2の通信方式によって共通アンテナを介した通信を行おうとすると、通信時の効率が低下する可能性がある。そこで、本変形例では、第1の通信装置165及び第2の通信装置166の一方が外部機器であるスマートフォン200と通信を行っている間は、他方は通信を行わないように、コントロールユニット160が構成されてよい。
図14を参照して、コントロールユニット160が共通アンテナを有する変形例における、第1の通信装置165及び第2の通信装置166の制御の一例について説明する。図14は、コントロールユニット160が共通アンテナを有する変形例における、第1の通信装置165及び第2の通信装置166の制御について説明するための説明図である。
図14に示すように、本実施形態では、第1の通信装置165及び第2の通信装置166が共通アンテナ178に接続されている。そして、共通アンテナ178と第1の通信装置165との接続と、共通アンテナ178と第2の通信装置166との接続が、プロセッサ162からの制御により高速に切り替え可能に構成される。プロセッサ162は、第1の通信装置及び第2の通信装置166のいずれか一方を共通アンテナ178と接続させて通信を行わせることができる。これにより、第1の通信方式による通信と第2の通信方式による通信とがオーバーラップすることが防止されるため、より効率良く通信を行うことが可能となる。
ここで、コントロールユニット160から情報を送信するときには、その送信を行うタイミングが、コントロールユニット160のプロセッサ162によって当然に把握され得るため、上記の切り替え制御を適切なタイミングで実行することが容易に可能である。一方、コントロールユニット160が情報を受信するときには、その受信を行うタイミングを予め予測することは困難であるため、上記の切り替え制御を適切なタイミングで実行することが難しい場合がある。従って、本変形例では、コントロールユニット160からスマートフォン200に対して各種の情報が送信されているときのみ、第1の通信装置165及び第2の通信装置166と共通アンテナ178との切り替え制御が行われてもよい。また、この場合、第1の通信装置165及び第2の通信装置166に設けられる情報送信用のポートのみ共通アンテナ178との切り替え制御が行われ、情報受信用のポートは常に共通アンテナ178と接続された状態であってもよい。これにより、情報を確実に受信することができるとともに、複雑な制御を行う必要なく、より容易な構成によって、上述したような通信効率の向上効果を得ることができる。
また、第1の通信装置165及び第2の通信装置166と共通アンテナ178との切り替えは、各種のスイッチング素子を用いて電気回路的に行われてもよいし、ソフトウェア的に行われてもよい。ただし、スイッチング素子を用いる場合には、例えばプロセッサ162や第1の通信装置165、第2の通信装置166内に当該スイッチング素子のための回路を新たに設ける必要があり、コストの増加につながる可能性がある。一方、ソフトウェア的な手法を用いる場合には、ハードウェア構成はそのままに上記のような切り替え機能を追加することができるため、本変形例に係る構成を比較的容易に実現することができる。なお、図14に示す例では、説明のため、概念的に、スイッチによって切り替えが行われるかのように図示しているが、第1の通信装置165及び第2の通信装置166と共通アンテナ178との切り替えをソフトウェア的に行う場合には、例えば、一方の通信装置が共通アンテナ178を介してスマートフォン200に対して情報を送信している間は、他方の通信装置は情報の送信を行わないように、第1の通信装置165及び第2の通信装置166の駆動がソフトウェア的に制御されればよい。
以上、コントロールユニット160が共通アンテナ178を有する変形例について説明した。以上説明したように、本変形例では、コントロールユニット160において、第1の通信装置165及び第2の通信装置166が1つのアンテナを共有してスマートフォン200と通信を行うことにより、コントロールユニット160の小型化、軽量化が実現される。また、本変形例では、第1の通信装置165及び第2の通信装置166の一方がスマートフォン200と通信を行っている間は、他方は通信を行わないように、コントロールユニット160が構成され得る。これにより、第1の通信方式による通信と第2の通信方式による通信との干渉が防止され、より効率良く通信を行うことが可能となる。
(6−3.その他の変形例)
本実施形態は、上述した実施形態及び変形例以外にも、以下のような構成を取ることも可能である。
例えば、上述した通信必要性情報には、通信を行う機器間(コントロールユニット160とスマートフォン200との間)の距離についての情報が含まれてもよく、通信方式選択部313は、当該距離についての情報に基づいて通信方式を選択してもよい。例えば、第1の通信方式及び第2の通信方式のうち、一方が比較的遠距離の通信に適しており、他方が比較的近距離の通信に適する特性を有する場合であれば、通信方式選択部313は、当該距離についての情報に基づいて、その距離により適した通信方式を選択することができる。また、コントロールユニット160とスマートフォン200とが所定の距離以上近付いた場合に、通信方式選択部313が一方の通信方式を選択するように予め設定されていてもよい。このような制御を行うことにより、例えば、ユーザがコントロールユニット160をスマートフォン200に近付ける操作を行うことにより、意図的に通信方式を切り替えることが可能となる。ことによって機器間の距離についての情報は、例えば、コントロールユニット160又はスマートフォン200が、赤外線、超音波又はレーザ光等を用いた各種の測距センサを有することにより取得され得る。
また、例えば、上述した通信必要性情報には、コントロールユニット160が通信を行う外部機器(スマートフォン200)の通信性能についての情報が含まれてもよく、通信方式選択部313は、当該通信性能についての情報に基づいて通信方式を選択してもよい。例えば、第2の通信方式が無線LANであった場合、無線LANの中にもいくつかの規格が存在し得る。従って、そもそも、コントロールユニット160に搭載されている通信方式と、スマートフォン200に搭載されている通信方式と、が好適に互いに通信可能なものであるかどうかが不明である場合も考えられる。よって、コントロールユニット160の通信方式選択部313は、スマートフォン200の通信性能についての情報に基づいて、スマートフォン200に搭載されている通信方式により適した通信方式を選択することができる。スマートフォン200の通信性能についての情報は、例えば事前に当該スマートフォン200のスペックについての情報がコントロールユニット160に登録されることにより取得されてよい。
また、第1の通信方式が比較的高速(高転送レート)であるが不安定な通信方式であり、第2の通信方式が比較的低速(低転送レート)であるが安定な通信方式である場合には、通信方式選択部313は、通信必要性情報に含まれる、送受信される情報の性質に応じて、いずれかの通信方式を選択してもよい。例えば、送受信される情報が、画像データのように時間の概念を有しない情報である場合には、比較的高速であるが不安定な通信方式が選択され、音声データのように時間の概念を有する情報は、比較的低速であるが安定な通信方式が選択されてよい。
また、図2に示すように、本実施形態では、HMD100のディスプレイユニット110が、照度センサ116及びモーションセンサ118を備えている。また、スマートフォン200は、センサ210及びGPS受信機216を備えている。本実施形態では、通信必要性情報は、これらの各種のセンサによって取得された情報を含んでもよく、通信方式選択部313は、当該センサによって取得された情報に基づいて通信方式を選択してもよい。例えば、照度センサ116によって取得された情報からは、ディスプレイユニット110が明るい場所に位置しているか暗い場所に位置しているかが判断され得る。また、モーションセンサ118によって取得された情報からは、ディスプレイユニット110の姿勢や動きが判断され得る。更に、GPS受信機216によって取得された情報からは、HMD100の位置が判断され得る。これらの情報から、例えばディスプレイユニット110が特定の姿勢になったと判断される場合や、ディスプレイユニット110が特定の明るさの場所に位置すると判断される場合、HMD100が特定の位置(例えばユーザの自宅、会社等)にいると判断される場合等に、通信方式選択部313によって、予め設定された通信方式が選択されてよい。これにより、ユーザが意図的にいずれかの通信方式による通信を行いたい場合に、ユーザがディスプレイユニット110を所定の姿勢にしたり、ディスプレイユニット110の周囲の明るさを変化させたりする操作を行うことにより、所望の通信方式に切り替えることが可能となる。
また、本実施形態では、コントロールユニット160は、通信の認証処理が行われたスマートフォン200以外の通信可能な外部機器を探索する処理を行わなくてもよい。例えば、一般的に、無線LANによって通信を行う通信装置には、通信可能な外部機器を自動的に探索する機能が備えられていることが多い。無線LANによる通信における認証処理では、探索された外部機器の中から、ユーザが通信を行いたい機器を選択することとなる。しかしながら、上記(6−1.通信の認証処理)で説明したように、本実施形態では、例えば無線LANである第2の通信方式の認証処理は、第1の通信方式を用いた通信によって行われ得る。従って、上記のような探索処理を行わなくても第2の通信方式による外部機器との接続を確立することができる。本実施形態では、コントロールユニット160が、上記の探索処理を行わないことにより、HMD100の消費電力を更に低減することができる。
また、本実施形態では、何らかの原因により一方の通信方式による通信パスが形成されない(接続ができない)場合には、他方の通信方式による通信が行われてもよい。例えば、通信必要性情報に基づいてより高速な通信が必要であると判断され、通信方式選択部313によってより高レートでのデータ転送が可能な第2の通信方式が選択されたが、何らかの原因によって第2の通信方式での通信パスが形成されず、通信が行えなかったとする。この場合、接続復帰の作業が所定の回数行われたにもかかわらず、第2の通信方式での接続が不可能な場合には、通信方式選択部313によって第1の通信方式が改めて選択され、第1の通信方式による通信が行われてもよい。第1の通信方式では、第2の通信方式に比べて、より低レートでの通信が行われることとなるため、例えばHMD100におけるアプリケーションの実行が遅延する等の不都合が生じる可能性はあるが、アプリケーションの実行自体が行われない事態は回避される。このように、一方の通信方式での通信が不可能になった場合に、代替的に他方の通信方式による通信が行われることにより、HMD100における各種の処理が停止されることがなく、ユーザはHMD100の使用を継続することができる。
(5.ハードウェア構成)
次に、図15を参照して、本開示の実施形態に係る電子機器のハードウェア構成について説明する。図15は、本開示の一実施形態に係る電子機器のハードウェア構成例を示すブロック図である。図示される電子機器900は、例えば、上記の実施形態におけるHMD100、スマートフォン200、及び/又はサーバ300の構成を実現し得る。
電子機器900は、CPU(Central Processing unit)901、ROM903及びRAM905を含む。また、電子機器900は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925を含んでもよい。更に、電子機器900は、必要に応じて、撮像装置933及びセンサ935を含んでもよい。電子機器900は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)又はASIC(Application Specific Integrated Circuit)と呼ばれるような処理回路を有してもよい。
CPU901は、演算処理装置及び制御装置として機能し、ROM903、RAM905、ストレージ装置919又はリムーバブル記録媒体927に記録された各種プログラムに従って、電子機器900内の動作全般又はその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。CPU901、ROM903及びRAM905は、CPUバス等の内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。CPU901は、本実施形態では、例えば、図2に示すコントロールユニット160、スマートフォン200及びサーバ300のプロセッサ162、202、302に対応する。また、ROM903及びRAM905は、例えば、図2に示すコントロールユニット160、スマートフォン200及びサーバ300のメモリ164、204、304に対応する。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバー等、ユーザによって操作される装置である。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、電子機器900の操作に対応した携帯電話などの外部接続機器929であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、電子機器900に対して各種のデータを入力したり処理動作を指示したりする。入力装置915は、本実施形態では、例えば、図2に示すコントロールユニット160及びスマートフォン200の入力キー168、タッチセンサ170、マイクロフォン172、218、タッチパネル214等に対応する。
出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid Crystal Display)、PDP(plasma Display Panel)、有機EL(Electro−Luminescence)ディスプレイ等の表示装置、スピーカ及びヘッドホン等の音声出力装置、並びに、プリンタ装置等でありうる。出力装置917は、電子機器900の処理により得られた結果を、テキスト又は画像等の映像として出力したり、音声又は音響などの音声として出力したりする。当該表示装置は、本実施形態では、例えば、図2に示すスマートフォン200のディスプレイ212に対応する。また、当該音声出力装置は、例えば、図2に示すコントロールユニット160及びスマートフォン200のスピーカ174、220に対応する。
ストレージ装置919は、電子機器900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。
ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体927のためのリーダライタであり、電子機器900に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体927に記録を書き込む。
接続ポート923は、機器を電子機器900に直接接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート等であり得る。また、接続ポート923は、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High−Definition Multimedia Interface)ポート等であってもよい。接続ポート923に外部接続機器929を接続することで、電子機器900と外部接続機器929との間で各種のデータが交換され得る。
通信装置925は、例えば、通信ネットワーク931に接続するための通信デバイス等で構成された通信インターフェースである。通信装置925は、例えば、有線又は無線LAN(Local Area Network)、Bluetooth又はWUSB(Wireless USB)用の通信カードなどであり得る。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber line)用のルータ又は各種通信用のモデム等であってもよい。通信装置925は、例えば、インターネットや他の通信機器との間で、TCP/IP等の所定のプロトコルを用いて信号等を送受信する。また、通信装置925に接続される通信ネットワーク931は、有線又は無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信又は衛星通信等である。通信装置925は、本実施形態では、例えば、図2に示すコントロールユニット160、スマートフォン200及びサーバ300の第1の通信装置165、205、第2の通信装置166、206及び携帯通信装置208、306に対応する。
撮像装置933は、例えば、CCD(Charge Coupled Device)又はCMOS(Complementary Metal oxide Semiconductor)等の撮像素子、並びに、撮像素子への被写体像の結像を制御するためのレンズ等の各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置933は、静止画を撮像するものであってもよいし、動画を撮像するものであってもよい。撮像装置933は、本実施形態では、例えば、図2に示すコントロールユニット160のカメラ120に対応する。
センサ935は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ等の各種のセンサである。センサ935は、例えば電子機器900の筐体の姿勢等、電子機器900自体の状態に関する情報や、電子機器900の周辺の明るさや騒音等、電子機器900の周辺環境に関する情報を取得する。また、センサ935は、GPS(Global Positioning System)信号を受信して装置の緯度、経度及び高度を測定するGPSセンサを含んでもよい。センサ935は、本実施形態では、例えば、図2に示すディスプレイユニット110及びスマートフォン200の照度センサ116、モーションセンサ118、センサ210、GPS受信機216等に対応する。
以上、電子機器900のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
なお、上述のような電子機器900の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
例えば、上記実施形態では、HMD100とスマートフォン200とが、2種類の通信方式(第1の通信方式及び第2の通信方式)によって通信可能に構成される場合について説明したが、本技術はかかる例に限定されない。例えば、HMD100とスマートフォン200とが、より多くの互いに異なる通信方式によって通信可能に構成されてもよい。3種類以上の通信方式が存在する場合であっても、上記で説明した実施形態に係る各処理と同様の処理を行うことが可能であり、同様の効果を得ることができる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)外部機器との間で通信を行う必要性を示す通信必要性情報を取得する通信必要性情報取得部と、取得された前記通信必要性情報に基づいて、第1の通信方式を用いて外部機器と通信を行う第1の通信部、及び、前記第1の通信方式よりも高いレートでデータの転送が可能な第2の通信方式を用いて外部機器と通信を行う第2の通信部、の駆動を制御する駆動制御部と、を備え、前記駆動制御部は、前記第1の通信部及び前記第2の通信部のそれぞれの駆動状態を、外部機器と通信可能な状態である起動状態と、前記起動状態よりも消費電力が小さい省電力状態と、電源が遮断された状態である停止状態と、のいずれかの状態に制御する、通信制御装置。
(2)前記駆動制御部は、前記通信必要性情報が所定の時間取得されなかった場合に、前記第1の通信部及び前記第2の通信部の少なくともいずれかを、前記省電力状態にする、前記(1)に記載の通信制御装置。
(3)前記駆動制御部は、前記通信必要性情報が更に所定の時間取得されなかった場合に、前記第1の通信部及び前記第2の通信部の少なくともいずれかを、前記停止状態にする、前記(2)に記載の通信制御装置。
(4)前記駆動制御部は、前記通信必要性情報が取得された場合に、前記第1の通信部及び前記第2の通信部の少なくともいずれかを、前記起動状態にする、前記(1)〜(3)のいずれか1項に記載の通信制御装置。
(5)前記駆動制御部は、前記通信必要性情報として、ユーザによって所定の操作入力が行われた旨の情報が取得された場合に、前記第1の通信部及び前記第2の通信部の少なくともいずれかを前記起動状態にする、前記(4)に記載の通信制御装置。
(6)前記所定の操作入力は、ユーザによる音声の入力である、前記(5)に記載の通信制御装置。
(7)前記駆動制御部は、前記通信必要性情報として、外部機器から前記第1の通信部及び前記第2の通信部の少なくともいずれかに対する通信が行われた旨の情報が取得された場合に、少なくとも前記第1の通信部及び前記第2の通信部のうち通信が行われた通信部を前記起動状態にする、前記(5)に記載の通信制御装置。
(8)前記通信必要性情報に基づいて、通信を行う通信方式を前記第1の通信方式及び前記第2の通信方式から選択する通信方式選択部、を更に備え、前記駆動制御部は、前記第1の通信部及び前記第2の通信部のうち、少なくとも前記通信方式選択部によって選択された通信方式に応じた通信部の駆動状態を前記起動状態にするとともに、選択された通信部に外部機器との通信を行わせる、前記(1)〜(7)のいずれか1項に記載の通信制御装置。
(9)前記通信方式選択部は、前記通信必要性情報に基づいて予測される通信データ量に応じて、より消費電力が小さくなるような通信方式を選択する、前記(8)に記載の通信制御装置。
(10)前記通信方式選択部は、前記通信必要性情報に基づいて予測される転送データレートが所定のしきい値を超えている場合に、前記第2の通信方式を選択し、前記駆動制御部は、前記第2の通信部に外部機器との通信を行わせる、前記(8)又は(9)に記載の通信制御装置。
(11)前記通信方式選択部は、前記通信必要性情報として、所定のアプリケーションが起動した旨の情報が取得された場合に、前記第2の通信方式を選択し、前記駆動制御部は、前記第2の通信部に外部機器との通信を行わせる、前記(8)〜(10)のいずれか1項に記載の通信制御装置。
(12)前記駆動制御部は、前記第1の通信部及び前記第2の通信部のうち、通信を行っていない通信部の駆動状態を、前記省電力状態又は前記停止状態にする、前記(1)〜(11)のいずれか1項に記載の通信制御装置。
(13)前記第2の通信方式における外部機器との通信の認証処理は、前記第1の通信方式を用いた当該外部機器との通信によって行われる、前記(1)〜(12)のいずれか1項に記載の通信制御装置。
(14)前記第2の通信方式における外部機器との通信パスが形成された場合、前記第2の通信部は、他の外部機器との通信パスの形成を行わない、前記(13)に記載の通信制御装置。
(15)前記第1の通信部と前記第2の通信部とは、共通のアンテナを介して外部機器と通信を行い、前記第1の通信部及び前記第2の通信部の一方が前記アンテナを介して外部機器に対して情報を送信している間は、他方は前記アンテナを介した外部機器に対する情報の送信を行わない、前記(1)〜(14)のいずれか1項に記載の通信制御装置。
(16)前記通信制御装置は、ユーザに装着されて使用されるウェアラブル端末と外部機器との間における通信を制御する、前記(1)〜(15)のいずれか1項に記載の通信制御装置。
(17)前記第1の通信部及び前記第2の通信部の双方が、前記省電力状態及び前記停止状態のいずれかになった場合に、前記通信制御装置のプロセッサの少なくとも一部の機能が停止される、前記(1)〜(16)のいずれか1項に記載の通信制御装置。
(18)外部機器から前記第1の通信部及び前記第2の通信部の少なくともいずれかに対する通信が行われた場合に、前記通信制御装置の前記プロセッサの停止された機能が復帰される、前記(17)に記載の通信制御装置。
(19)外部機器との間で通信を行う必要性を示す通信必要性情報を取得することと、取得された前記通信必要性情報に基づいて、第1の通信方式を用いて外部機器と通信を行う第1の通信部、及び、前記第1の通信方式よりも高いレートでデータの転送が可能な第2の通信方式を用いて外部機器と通信を行う第2の通信部、の駆動を制御することと、を含み、前記第1の通信部及び前記第2の通信部のそれぞれの駆動状態は、外部機器と通信可能な状態である起動状態と、前記起動状態よりも消費電力が小さい省電力状態と、電源が遮断された状態である停止状態と、のいずれかの状態に制御される、通信制御方法。
(20)コンピュータのプロセッサに、外部機器との間で通信を行う必要性を示す通信必要性情報を取得する機能と、取得された前記通信必要性情報に基づいて、第1の通信方式を用いて外部機器と通信を行う第1の通信部、及び、前記第1の通信方式よりも高いレートでデータの転送が可能な第2の通信方式を用いて外部機器と通信を行う第2の通信部、の駆動を制御する機能と、を実現させ、前記第1の通信部及び前記第2の通信部のそれぞれの駆動状態は、外部機器と通信可能な状態である起動状態と、前記起動状態よりも消費電力が小さい省電力状態と、電源が遮断された状態である停止状態と、のいずれかの状態に制御される、プログラム。