WO2023157121A1 - 情報処理装置および情報処理システム - Google Patents

Abstract

１の情報処理装置に対する動作による操作対象の情報処理装置を切り替え可能な情報処理システムにおいて、簡易な操作で、操作対象の切り替えにおける誤認識、誤作動を低減する。　第一情報処理装置において予め定めた第一連携開始トリガ動作を検出後、所定時間内に前記第二情報処理装置において予め定めた第二連携開始トリガ動作を検出した場合、前記第一情報処理装置および前記第二情報処理装置は、連携操作モードで操作され、前記連携操作モードは、前記第一情報処理装置で検出された当該第一情報処理装置の使用者の動作に応じて前記第二情報処理装置を操作する第一連携操作モード、および、前記第二情報処理装置で検出された当該第二情報処理装置の使用者の動作に応じて前記第一情報処理装置を操作する第二連携操作モード、のいずれかの操作モードである。

Description

情報処理装置および情報処理システム

　本発明は、１の情報処理装置に対する使用者の動作により他の情報処理装置を操作する技術に関する。

　情報処理装置の一例として、手首に装着して用いるスマートウォッチがある。スマートウォッチは、手首に装着され、時計や活動量計測などの各種の機能を有する。また、筋電情報を取得して、使用者（ユーザ）の動作（ジェスチャ）を検出し、検出したジェスチャによりスマートウォッチの操作を行う技術がある（例えば、特許文献１参照）。

　この技術を用い、ヘッドマウントディスプレイ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ；ＨＭＤ、以下、ＨＭＤと称す）とスマートウォッチとを連携して、スマートウォッチで検出したジェスチャでＨＭＤを操作する技術がある。なお、ＨＭＤは、主に表示機能を有する情報処理装置の一種であり、ユーザ頭部に装着され、現実空間や仮想空間の情報を表示して視認する情報処理装置である。これにより、ＨＭＤのカメラでジェスチャ検出するときのように、ユーザの目の前でジェスチャする必要が無く、ユーザの気恥ずかしさや周りから見た違和感が低減できる。

　この場合、スマートウォッチで検出したジェスチャをスマートウォッチに対する操作指示とするモードと、ＨＭＤに対する操作指示とするモードとの間での切り替えが必要である。しかしながら、手は常に動かしているものであり、また、筋電情報は高精度化に限度がある。このため、筋電情報だけでモードを切り替えようとすると誤認識誤作動が多くなる。一方、スマートウォッチの画面タッチや龍頭プッシュなどの動作をモードの切り替えに用いると誤認識や誤作動は減る。しかしながら、反対側の手を使う必要があり、せっかく筋電情報によって片手で操作可能としたのにその利点が十分生かせていない。

　スマートウォッチやＨＭＤなどの複数の情報処理装置のどちらに対する操作指示であるかの操作モードの切り替え例として、特許文献２には、『ユーザの第１部位に装着される情報処理装置であって、前記ユーザの動作に応じて第１信号を出力するセンサと、前記動作に係る情報を算出するために前記第１信号を用いる第１モードと、前記ユーザの第２部位に装着される表示装置への入力信号として前記第１信号を扱う第２モードとに当該情報処理装置を設定可能なモード設定部と、前記第２モードにおいて、前記第１信号に基づいて生成した第２信号又は前記第１信号を前記表示装置に送信する送信部と、を備えることを特徴とする情報処理装置』が記載されている。すなわち、特許文献２には、情報処理装置側の動作によって情報処理装置と表示装置のどちらを操作するかという操作モードの切り替えを行う技術が記載されている。

米国特許第１０，６７１，１７６号明細書 特開２０１６－８５５５４号公報

　特許文献２では、情報処理装置と表示装置とのどちらを操作するかという操作モードの切り替えは、情報処理装置側の動作だけで判断するため、操作モードの切り替えの判別精度に限度、限界がある。より高い精度で確実に操作モードの切り替えを行うことは難しく、誤認識、誤作動の可能性が高い。

　本発明は、前記課題を解決するためになされたもので、スマートウォッチやＨＭＤなどの複数の情報処理装置を有する情報処理システムであって、１の情報処理装置に対する動作による操作対象の情報処理装置を切り替え可能な情報処理システムにおいて、簡易な操作で、操作対象の切り替えにおける誤認識、誤作動を低減する技術を提供することを目的とする。

　本発明は、外部の情報処理装置である外部装置と相互に通信可能な情報処理装置であって、予め定めた連携開始トリガ動作を記憶する記憶部と、当該情報処理装置を装着した使用者の動作を検出する動作検出部と、前記動作検出部で検出した動作が前記連携開始トリガ動作であるかを判別する動作判別部と、当該情報処理装置の操作モードを切り替える切替制御部と、を備え、前記操作モードには、当該情報処理装置において前記外部装置を操作する操作コマンドを生成し、当該外部装置に送信する連携操作モードと、当該情報処理装置において当該情報処理装置を操作する前記操作コマンドを生成し、生成した前記操作コマンドに従って当該情報処理装置を操作する単体操作モードと、があり、前記切替制御部は、前記単体操作モード時において、前記動作判別部による前記連携開始トリガ動作であるとの判別と、前記外部装置において予め定めた外部連携開始トリガ動作を検出したことを意味する検出通知の当該外部装置からの受信と、の両方が所定期間内に発生した場合、前記操作モードを前記連携操作モードに切り替えることを特徴とする。

　また、本発明は、外部の情報処理装置である外部装置と相互に通信可能な情報処理装置であって、予め定めた連携開始トリガ動作を記憶する記憶部と、当該情報処理装置を装着した使用者の動作を検出する動作検出部と、前記動作検出部で検出した動作が前記連携開始トリガ動作であるかを判別する動作判別部と、当該情報処理装置の操作モードを切り替える切替制御部と、を備え、前記操作モードは、前記外部装置から当該情報処理装置を操作する操作コマンドを受信し、当該操作コマンドに従って当該情報処理装置を操作する連携操作モードと、当該情報処理装置において当該情報処理装置を操作する前記操作コマンドを生成し、生成した前記操作コマンドに従って当該情報処理装置を操作する単体操作モードと、があり、前記切替制御部は、前記単体操作モード時において、前記動作判別部による前記連携開始トリガ動作であるとの判別と、前記外部装置において予め定めた外部連携開始トリガ動作を検出したことを意味する検出通知の当該外部装置からの受信と、の両方が所定期間内に発生した場合、前記操作モードを前記連携操作モードに切り替えることを特徴とする。

　さらに、本発明は、相互に通信連携された第一情報処理装置と第二情報処理装置とを備える情報処理システムであって、前記第一情報処理装置において予め定めた第一連携開始トリガ動作を検出後、所定時間内に前記第二情報処理装置において予め定めた第二連携開始トリガ動作を検出した場合、前記第一情報処理装置および前記第二情報処理装置は、連携操作モードで操作され、前記連携操作モードは、前記第一情報処理装置で検出された当該第一情報処理装置の使用者の動作に応じて前記第二情報処理装置を操作する第一連携操作モード、および、前記第二情報処理装置で検出された当該第二情報処理装置の使用者の動作に応じて前記第一情報処理装置を操作する第二連携操作モード、のいずれかの操作モードであることを特徴とする。

　本発明の技術を用いることにより、スマートウォッチやＨＭＤなどの複数の情報処理装置を有する情報処理システムであって、１の情報処理装置に対する動作による操作対象の情報処理装置を切り替え可能な情報処理システムにおいて、簡易な操作で、操作対象の切り替えにおける誤認識、誤作動を低減できる。また、上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

本発明の実施形態に係る情報処理システムの概要を説明するための説明図である。 本発明の実施形態に係る情報処理システムの動作の概要を説明する図の例である。 （ａ）および（ｂ）は、本発明の実施形態に係る第一情報処理装置（ウォッチ）の、それぞれ、ハードウェア構成図および機能ブロック図である。 （ａ）および（ｂ）は、それぞれ、本発明の実施形態に係るウォッチ単体操作データベースおよび連携操作データベースの一例を説明するための説明図である。 （ａ）および（ｂ）は、本発明の実施形態に係る第ニ情報処理装置（ＨＭＤ）の、それぞれ、ハードウェア構成図および機能ブロック図である。 本発明の実施形態に係るＨＭＤ単体操作データベースの一例を説明するための説明図である。 本発明の実施形態に係る連携処理のフローチャートである。 （ａ）および（ｂ）は、本発明の実施形態に係るＨＭＤの表示デバイスにおける表示例を説明するための説明図である。 本発明の変形例に係る情報処理システムの概要を説明するための説明図である。 本発明の変形例の２者連携処理および３者連携処理を説明するための説明図である。

　本発明の実施形態では複数の情報処理装置におけるトリガ動作の組合せにより、高い精度で操作モードの切り替えを可能にする。高精度に操作モードを切り替え可能にすることにより、国連の提唱する持続可能な開発目標（ＳＤＧｓ：Ｓｕｓｔａｉｎａｂｌｅ　Ｄｅｖｅｌｏｐｍｅｎｔ　Ｇｏａｌｓ）の９：産業と技術革新の基盤をつくろうに貢献する。

　以下、本発明の実施形態の一例を、図面を用いて説明する。本実施形態の情報処理システムは、情報処理装置（第一情報処理装置）と、情報処理装置と通信可能で予め通信連携された外部装置（第二情報処理装置）と、を備える。そして、第一情報処理装置と第二情報処理装置とにおいて、略同じタイミングで、予め定めたトリガ動作を検出した場合、両者は連携操作モードに移行する。連携操作モードでは、第一情報処理装置（操作装置）で検出した動作で、第二情報処理装置（被操作装置）を操作する。

　以下、第一情報処理装置（操作装置）をスマートウォッチ（Ｓｍａｒｔ　Ｗａｔｃｈ）、第二情報処理装置（被操作装置）をヘッドマウントディスプレイ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）とする場合を例にあげて説明する。

　なお、スマートウォッチは、腕時計と同じ要領で手首に装着して用いられる情報処理装置である。以下、本実施形態では、ウォッチと呼ぶ。また、ヘッドマウントディスプレイは、ユーザ（使用者）の頭部に装着され現実空間や仮想空間の情報を表示して視認する情報処理装置である。以下、本実施形態では、ＨＭＤと呼ぶ。

　ウォッチは、時計機能に加えて、受話・メッセージ受信・他機との通信といった機能を兼ね、ユーザの活動量（運動量）を計測する活動量計としての機能も備えている。また、ウォッチは、生体電位を検出する筋電センサにより筋電情報を取得できる。更に、ウォッチでは、手首が動いた場合に筋電センサで取得した筋電情報を用いて、ウォッチを装着しているユーザの手振り動作（ジェスチャ）を検出できる。

　ＨＭＤは、現実空間情報や仮想空間情報の表示機能だけでなく、保有する各種センサを用いてユーザの動きや姿勢状態、ユーザの視線を検出できる。

　まず、本実施形態の情報処理システム９００の概要を説明する。図１は、本実施形態の情報処理システム９００の概要を説明するための図である。

　本実施形態の情報処理システム９００は、ウォッチ１００と、ＨＭＤ２００と、を備える。ウォッチ１００は、ユーザ８００の手首に装着される。また、ＨＭＤ２００は、ユーザ８００の頭部に装着される。なお、ウォッチ１００とＨＭＤ２００とは、予め通信連携されている。

　ウォッチ１００は、筋電センサ１３１を備える。また、ＨＭＤ２００は、ユーザ８００の左右の目の視線をそれぞれ検出する左目視線センサ２３５および右目視線センサ２３６と、ユーザ８００の姿勢状態や動きを検出する加速度センサ２３２、ジャイロセンサ２３３、および地磁気センサ２３４と、外界等を撮影するカメラ２１０と、を備える。

　本実施形態のウォッチ１００は、操作モードとして、ウォッチ単体操作モードと、ＨＭＤ連携操作モードと、を備える。

　ウォッチ単体操作モードは、ウォッチ１００においてウォッチ１００を操作する操作コマンドを生成し、生成した操作コマンドに従ってウォッチ１００を操作する。すなわち、ウォッチ単体操作モードでは、ウォッチ１００は、ユーザ８００の動作や入力による指示を検出し、検出結果に従って、ウォッチ１００を操作する。

　また、ＨＭＤ連携操作モードは、ウォッチ１００においてＨＭＤ２００を操作する操作コマンドを生成し、ＨＭＤ２００に送信する。すなわち、ＨＭＤ連携操作モードでは、ウォッチ１００は、ユーザ８００の動作や入力による指示を検出し、検出結果に従って、ＨＭＤ２００の操作コマンドを生成し、ＨＭＤ２００に送信する。

　また、本実施形態のＨＭＤ２００は、操作モードとして、ＨＭＤ単体操作モードと、ウォッチ連携操作モードと、を備える。ＨＭＤ単体操作モードでは、ＨＭＤ２００は、ユーザ８００の動作や入力による指示を検出し、検出結果に従って、ＨＭＤ２００を操作する。また、ウォッチ連携操作モードでは、ＨＭＤ２００は、ウォッチ１００からの操作コマンドを受信し、その操作コマンドに従ってＨＭＤ２００を操作する。

　ウォッチ１００およびＨＭＤ２００は、それぞれ、初期状態（起動直後）は、ウォッチ単体操作モード、ＨＭＤ単体操作モードで動作する。そして、ウォッチ１００側で予め定めたトリガ動作を検出し、それと同時に、あるいは所定時間内にＨＭＤ２００側でも予め定めたトリガ動作を検出した場合、ウォッチ１００およびＨＭＤ２００は、それぞれ、ＨＭＤ連携操作モード、ウォッチ連携操作モードへ移行する。ＨＭＤ連携操作モードおよびウォッチ連携操作モードでは、ウォッチ１００は、図２に示すように、ＨＭＤ２００を操作する操作情報として、ウォッチ１００で検出したユーザ動作に対する操作コマンドをＨＭＤ２００に伝送する。

　なお、以下、ウォッチ単体操作モードおよびＨＭＤ単体操作モードを特に区別する必要がない場合は、単体操作モードと呼ぶ。また、ＨＭＤ連携操作モードおよびウォッチ連携操作モードを特に区別する必要がない場合は、連携操作モードと呼ぶ。

　また、ウォッチ１００およびＨＭＤ２００が検出するユーザ８００による動作や入力による指示を、動作と総称する。このうち、操作モードを単体操作モードから連携操作モードに切り替えるトリガとなる動作を、連携開始トリガ動作と呼び、連携操作モードから単体操作モードに切り替えるトリガとなる動作を、連携終了トリガ動作と呼ぶ。なお、連携開始トリガ動作および連携終了トリガ動作を区別する必要がない場合は、単に、トリガ動作と呼ぶ。

　なお、ウォッチ１００に対する連携開始トリガ動作と、ＨＭＤ２００に対する連携開始トリガ動作とは、同じであってもよいし、異なってもよい。以下、本実施形態では、両者が異なる場合を例にあげて説明する。以下、本実施形態では、両者を区別する必要がある場合、ウォッチ１００に対する連携開始トリガ動作を、ウォッチ側連携開始トリガ動作と呼び、ＨＭＤ２００に対する連携開始トリガ動作を、ＨＭＤ側連携開始トリガ動作（外部連携開始トリガ動作）と呼ぶ。同様に、ウォッチ１００に対する連携終了トリガ動作と、ＨＭＤ２００に対する連携終了トリガ動作とは同じであってもよいし、異なってもよい。以下、本実施形態では、両者が異なる場合（それぞれ、ウォッチ側連携終了動作、ＨＭＤ側連携終了動作と呼ぶ。）を例にあげて説明する。

　図１では、ウォッチ１００側の連携開始トリガ動作の例として、ユーザ８００がウォッチ１００を装着した手首を持ち上げてひねる動作を示す。これは、ユーザ８００が、ウォッチ１００を見ようとする場合に通常行う動作である。ウォッチ１００は、ウォッチ１００を装着している手首が下がっている状態８０２から腕を持ち上げて手首が上がった状態８０３になり、更に手首をひねった状態８０４に移る一連のジェスチャ動作を、連携開始トリガ動作として筋電センサ１３１により検出する。

　また、図１では、ＨＭＤ２００側の連携開始トリガ動作例として、ユーザ８００が目を一瞬瞑る動作を示している。ＨＭＤ２００は、左目視線センサ２３５、右目視線センサ２３６により、ユーザ８００の両目が開いた状態８１１から目を瞑る状態８１２に一瞬変わったことを捉えて、連携開始トリガ動作として検出する。なお、連携開始トリガ動作は、これらに限定されない。例えば、上述のように、ウォッチ１００側の連携開始トリガ動作と同じ、ウォッチ１００を装着した手首を持ち上げてひねる動作を、ＨＭＤ側の連携開始トリガ動作としてもよい。

　また、ウォッチ１００側の連携終了トリガ動作は、例えば、ウォッチ１００を装着していない側の手の動作を用いる。具体的には、ウォッチ１００の画面を触る、龍頭を押す、等の動作である。これは、ウォッチ１００を装着した腕の動作で解除（連携終了指示）を行うと、ＨＭＤ２００操作のための動作と誤認識の可能性が高くなるためである。

　一方、ＨＭＤ２００側の連携終了トリガ動作は、例えば、ウォッチ１００を装着していない側の手の動作を用いる。または、手以外の部分の動作を用いる。具体的には、ウォッチ１００の画面を見つめる、ウォッチ１００を装着していない手でＨＭＤ２００のセンサ１３０の一つを触る、ウォッチ１００を装着していない手で通常は行わないようなジェスチャ(片目を隠す等)を行う、等である。これも、ウォッチ１００での誤検出を避けるためである。

　また、連携終了トリガ動作として、他を見ていたユーザ８００が再びウォッチ１００を見始める、というものであってもよい。この場合、ＨＭＤ２００の視線検出によりユーザ８００がウォッチ１００を再び見始めたことを検出する。ユーザ８００がウォッチ１００を見ているということは、ウォッチ１００に何か動作をさせたいためにウォッチ単体操作モードに戻したい、というユーザ８００の意図が想定されるためである。このような動作を連携終了トリガ動作とすることにより、このユーザ意図を容易にくみ取った処理を実現できる。もちろん、連携終了トリガ動作も、これらに限定されない。

　次に、本実施形態の上記機能を実現するウォッチ１００およびＨＭＤ２００について説明する。

　［ウォッチ］
　［ハードウェア構成］
　本実施形態のウォッチ１００のハードウェア構成を、図３（ａ）に示す。なお、本図において、図１および図２に示され、同一の符号を付された部分は、これらの図で既に説明した動作と同一の動作を有するので、それらの詳細説明は一部省略する。

　本図に示すように、本実施形態のウォッチ１００は、プロセッサ１０１と、メモリ１０２と、カメラ１１１と、センサ１３０と、表示デバイス１２１と、第二入力インタフェース（I/F）１２３と、音声入力デバイス１２４と、音声出力デバイス１２５と、振動発生デバイス１２６と、通信デバイス１２７と、を備える。

　センサ１３０として、筋電センサ１３１と、加速度センサ１３２と、ジャイロセンサ１３３と、地磁気センサ１３４と、を備える。また表示デバイス１２１として、第一入力Ｉ／Ｆ１２２を備える。

　これらの各構成は、バス１０３を介して相互に接続される。

　筋電センサ１３１は、ウォッチ１００の筐体やリストバンドの裏側等に配置されて手首表面の接触部分で手首付近に流れる生体電位を検知する。筋電センサ１３１は、手首が特定の動きを行った場合に流れる生体電位を検知して得られる筋電情報により、手首のジェスチャ動作を捉える。詳しくは、筋電センサ１３１は、手首を通っている橈骨神経、正中神経、尺骨神経という、手の筋肉を動かす運動神経を流れる神経パルス信号（生体信号）を拾い処理するためのセンサで、横に２つ並んだセンサで、手を動かす際に運動神経に流れる神経パルス信号を拾う。例えば、親指であるジェスチャ動作をした場合、橈骨神経と動かす方向にもよるが正中神経とに親指を動かすための生体信号が脳から流れ、筋電センサ１３１がそれを拾うことで親指を動かしたというジェスチャ動作を検出する。

　加速度センサ１３２は、単位時間当たりの速度の変化である加速度を検出するセンサであり、動き・振動・衝撃などを捉える。加速度センサ１３２は、印加される加速度が重力のみである場合、重力ベクトルと加速度センサ１３２の軸上のその投影を利用して傾斜角を求め、地面に対してどれだけ傾いているかを計測検出する。

　ジャイロセンサ１３３は、回転方向の角速度を検出するセンサであり、縦・横・斜めの姿勢の状態を捉え、どちらの方向にどれだけ動いたかを計測検出する。

　よって、加速度センサ１３２とジャイロセンサ１３３とを用いて、ウォッチ１００の傾きや方向などの姿勢を検出することができる。

　地磁気センサ１３４は、地球の磁力を検出するセンサであり、ウォッチ１００の向いている方向を検出する。前後方向と左右方向に加え上下方向の地磁気も検出する３軸タイプを用い、ウォッチ１００の動きに対する地磁気変化を捉まえることにより、ウォッチ１００の動きを検出することもできる。

　加速度センサ１３２、ジャイロセンサ１３３および地磁気センサ１３４により、ウォッチ１００を装着しているユーザ８００の姿勢状態や動作を検出することができる。例えば、後述する処理の動作検出に、筋電センサ１３１の代わりに使用してもよい。また、筋電センサ１３１による動作検出と併用してもよい。併用することにより、より一層高精度な検出が可能になる。

　カメラ１１１は、周囲を撮影しユーザ８００の動作を認識するために用いられる。例えば、図１でトリガ動作として説明した、ウォッチ１００を見ようとする動作を、カメラ１１１が撮影した撮影画像から認識識別することもできる。

　プロセッサ１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等で構成され、メモリ１０２に記憶格納されているオペレーティングシステム（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ：ＯＳ）や動作制御用アプリケーションなどのプログラムを実行しウォッチ１００の各機能を実現する。実現する機能については、後述する。

　メモリ１０２は、不揮発性記憶装置等で構成され、プロセッサ１０１等が扱う各種のプログラムやデータを記憶する記憶部として機能する。記憶されるデータは、ウォッチ１００が処理に用いるもの、処理の途中で生成されるもの、等である。具体的には、ウォッチ１００で検出した動作データ、予め定めた各種のトリガ動作データ、トリガ動作を検出した際にＨＭＤ２００に送信する開始トリガ情報、操作コマンド、ＨＭＤ２００の操作コマンドなどである。

　表示デバイス１２１は、時刻、アプリケーション画像やユーザ８００への通知情報などを表示する。ユーザ８００への通知情報は、トリガ動作を検出したことを示す情報、表示デバイス１２１に対する指タッピング計測、頭頚部位状態変化計測の開始や終了を示す情報や、切替要求を受領したことを示す情報、スマートウォッチ動作の開始や終了を示す情報などである。

　第一入力Ｉ／Ｆ１２２は、ユーザ８００によるウォッチ１００へ入力情報の入力を受け付ける。第一入力Ｉ／Ｆ１２２は、表示デバイス１２１の表示面上に設けられ、指やタッチペンなどによるタッチ操作を検出し、入力を受け付ける。

　第二入力Ｉ／Ｆ１２３は、ウォッチ１００の横などの部分に設けられた龍頭、スイッチ等である。ユーザ８００は、これらの龍頭やスイッチを操作することにより、ウォッチ１００への入力情報を入力することができる。

　音声入力デバイス１２４は、ユーザ８００自身の発声をマイクで集音し音声データに変換する。ユーザ８００からの発声音による指示情報をウォッチ１００内に取り込み、指示情報に対する動作を使い勝手よく実行することができる。例えば、ユーザ８００が入力操作を示す音声を発声し、音声入力デバイス１２４で集音して入力情報を取り込んでもよい。

　音声出力デバイス１２５は、音声データに基づいてスピーカから音声を出力する。ユーザ８００への通知情報を音声で知らしめることができる。

　振動発生デバイス１２６は、プロセッサ１０１からの制御によって振動を発生させる。例えば、プロセッサ１０１は、ユーザ８００への通知情報を振動に変換し、振動発生デバイス１２６によりウォッチ１００を装着している手首に振動を伝えて、通知情報をユーザ８００に知らせる。これにより、使い勝手の向上を図ることができる。

　通信デバイス１２７は、近距離無線通信等により、ＨＭＤ２００との間で無線通信を行う通信インタフェースである。通信デバイス１２７は、所定の各種の通信インタフェースに対応する通信処理回路やアンテナ等を含み、各種の情報、制御信号などの送受信を行う。なお、電話通信網を含んでいてもよい。

　［機能構成］
　次に、本実施形態のウォッチ１００が実現する機能を説明する。図３（ｂ）は、ウォッチ１００の機能ブロック図である。

　本実施形態のウォッチ１００は、動作検出部１５１と、動作判別部１５２と、切替制御部１５３と、ウォッチ動作制御部１５４と、ＨＭＤ操作コマンド生成部１５５と、ウォッチ単体操作データベース（ＤＢ）１６０と、ＨＭＤ連携操作ＤＢ１７０と、を備える。

　動作検出部１５１は、筋電センサ１３１などのセンサ１３０を用いて、ユーザ８００の動作を検出する。なお、検出されるユーザ８００の動作には、上述のように、第一入力Ｉ／Ｆ１２２、第二入力Ｉ／Ｆ１２３，音声入力デバイス１２４を介して入力される操作指示も含まれる。検出した動作（以後、検出動作と呼ぶ。）は、動作判別部１５２と、ウォッチ動作制御部１５４またはＨＭＤ操作コマンド生成部１５５と、に出力される。後述するように、操作モードがウォッチ単体操作モードである場合、検出動作を、動作判別部１５２と、ウォッチ動作制御部１５４に出力し、操作モードがＨＭＤ連携操作モードである場合、検出動作を、動作判別部１５２と、ＨＭＤ操作コマンド生成部１５５に出力する。

　動作判別部１５２は、検出動作が、予め定められたトリガ動作（連携開始トリガ動作または連携終了トリガ動作）と一致するか否かを判別する。トリガ動作は、予めメモリ１０２に記憶しておく。

　動作判別部１５２は、検出動作がトリガ動作と一致すると判別した場合は、ウォッチ側トリガ動作検出指示を、切替制御部１５３に出力する。一方、一致しない場合は、動作判別部１５２は、不一致信号を動作検出部１５１に出力する。なお、動作検出部１５１は、不一致信号を受信すると、操作モードに応じて、上述のように、検出動作をウォッチ動作制御部１５４またはＨＭＤ操作コマンド生成部１５５に出力する。

　切替制御部１５３は、操作モードを切り替える。本実施形態では、切替制御部１５３は、ウォッチ単体操作モード時に、動作検出部１５１が検出した動作が動作判別部１５２によりウォッチ側連携開始トリガ動作と判別された際、所定期間内に、ＨＭＤ２００においてもＨＭＤ側連携開始トリガ動作を検出したとの検出通知をＨＭＤ２００から受信した場合、操作モードを連携操作モードに切り替える。

　連携開始トリガ動作の検出は、ウォッチ１００が先であってもよいし、ＨＭＤ２００が先であってもよい。以下、本実施形態では、ウォッチ１００が検出後、ＨＭＤ２００側でも検出する場合を例にあげて説明する。すなわち、ウォッチ１００側で最初に連携開始トリガ動作を検出し、所定時間内にＨＭＤ２００側で連携開始トリガ動作を検出した場合、ウォッチ１００で検出した動作に応じてＨＭＤ２００の操作コマンドを生成してウォッチ１００でＨＭＤ２００を操作する場合を例にあげて説明する。

　この場合、切替制御部１５３は、連携開始トリガ動作が検出された場合、連携開始トリガ動作を検出したことを意味する開始トリガ情報をＨＭＤ２００に送信し、送信後、所定期間内にＨＭＤ２００から切替要求を受信した場合、操作モードを、ＨＭＤ連携操作モードに切り替える。連携開始トリガ動作を検出したか否かは、動作判別部１５２からトリガ動作検出指示を受信したか否かで判別する。また、切替制御部１５３は、切り替え後の操作モードを、動作検出部１５１に出力する。

　また、切替制御部１５３は、ＨＭＤ連携操作モード時、連携終了トリガ動作が検出された場合、ＨＭＤ連携操作モードからウォッチ単体操作モードに切り替える。このとき、連携終了トリガ動作を検出したことを意味する終了トリガ情報をＨＭＤ２００に送信する。また、ＨＭＤ連携操作モード時、ＨＭＤ２００から終了トリガ情報を受信した場合、ＨＭＤ連携操作モードからウォッチ単体操作モードに切り替える。

　ウォッチ動作制御部１５４は、ウォッチ単体操作モード時、検出動作に応じて、ウォッチ１００の動作を制御する。本実施形態では、検出動作に対応づけてウォッチ１００の操作内容が格納される、ウォッチ単体操作ＤＢ１６０を参照し、操作内容に対応するウォッチ１００を操作するコマンド（ウォッチ操作コマンド；自装置操作コマンド）を生成し、関連機能部に出力する。

　ＨＭＤ操作コマンド生成部（外部操作コマンド生成部）１５５は、検出動作に応じて、ＨＭＤ２００を操作するコマンド（ＨＭＤ操作コマンド；外部操作コマンド）を生成し、ＨＭＤ２００に向けて出力する。本実施形態では、通信デバイス１２７を介してＨＭＤ２００に送信する。ＨＭＤ操作コマンド生成部１５５は、検出動作に対応づけてＨＭＤ２００の操作内容が格納されるＨＭＤ連携操作ＤＢ１７０を参照し、操作内容に対応するＨＭＤ操作コマンドを生成する。

　ここで、ウォッチ単体操作ＤＢ１６０およびＨＭＤ連携操作ＤＢ１７０の例を説明する。図４（ａ）は、本実施形態のウォッチ単体操作ＤＢ１６０の一例を、図４（ｂ）は、ＨＭＤ連携操作ＤＢ１７０の一例を、それぞれ、説明するための図である。

　図４（ａ）に示すように、ウォッチ単体操作ＤＢ１６０は、検出動作１６１に対応付けて、ウォッチ操作内容１６２が登録される。例えば、ウォッチ１００で、「手を上げて停止する」という動作を筋電センサ１３１により検出すると、ウォッチ１００では、「着信を拒否する」という操作を行う。なお、ウォッチ操作内容１６２の代わりに、当該操作を実現するウォッチ操作コマンドそのものが登録されてもよい。

　図４（ｂ）に示すように、ＨＭＤ連携操作ＤＢ１７０は、検出動作１７１に対応づけて、ＨＭＤ操作内容１７２が登録される。例えば、ウォッチ１００で「手を上げて停止する」という動作を筋電センサ１３１により検出すると、ＨＭＤ２００において「メニューを出す」という操作を行う。なお、ＨＭＤ操作内容１７２の代わりに、当該操作を実現するＨＭＤ操作コマンドそのものが登録されてもよい。

　［ＨＭＤ］
　［ハードウェア構成］
　次に、本実施形態のＨＭＤ２００の構成について説明する。図５（ａ）は、本実施形態のＨＭＤ２００のハードウェア構成図である。なお、本図において、図１および図２に示され、同一の符号を付された部分は、これらの図で既に説明した動作と同一の動作を有するので、それらの詳細説明は一部省略する。

　本図に示すように、本実施形態のＨＭＤ２００は、プロセッサ２０１と、メモリ２０２と、カメラ２１０と、センサ２３０と、表示デバイス２２１と、入力Ｉ／Ｆ２２３と、音声入力デバイス２２４と、音声出力デバイス２２５と、振動発生デバイス２２６と、通信デバイス２２７と、を備える。

　カメラ２１０として、アウトカメラ２１１と、インカメラ２１２と、を備える。センサ２３０として、加速度センサ２３２と、ジャイロセンサ２３３と、地磁気センサ２３４と、左目視線センサ２３５と、右目視線センサ２３６と、測距センサ２３７と、を備える。

　これらの各構成は、バス２０３を介して相互に接続される。

　アウトカメラ２１１、インカメラ２１２は、それぞれＨＭＤ２００の前面およびユーザ８００を撮影する。

　アウトカメラ２１１は、さらに、ユーザ８００の手首やウォッチ１００を撮影することができる。これにより、アウトカメラ２１１は、ユーザ８００のジェスチャを撮影し、ウォッチ１００のトリガ動作を検出できる。

　インカメラ２１２は、ユーザ８００の目やその周辺部を被写体として撮影し、眼球や瞳孔の動きなどの状態変化を計測検出する。例えば、目を一瞬瞑る動作などをトリガ動作としても検出できる。なお、眼球の動きの計測検出方法としては、可視光カメラで目を写し、基準点を目頭とし動点を虹彩にして目頭に対する虹彩の位置に基づいて視線を検出する方法が知られている。インカメラ２１２でユーザ８００の眼を撮影し、撮影画像から、眼球や瞳孔の動きを計測検出する場合に相当する。

　左目視線センサ２３５、右目視線センサ２３６は、それぞれ左目、右目の動きや向きを検出し、眼球運動や視線を捉えるセンサである。なお、眼球の動きを検出する処理は、アイトラッキング処理として一般的に用いられている周知技術を利用すればよい。例えば、角膜反射を利用した方法として、赤外線ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）を顔に照射し赤外線カメラで撮影し、赤外線ＬＥＤ照射でできた反射光の角膜上の位置（角膜反射）を基準点とし、角膜反射の位置に対する瞳孔の位置に基づいて眼球の動きや視線を検出する技術が知られている。

　加速度センサ２３２は、単位時間当たりの速度の変化である加速度を検出するセンサであり、動き・振動・衝撃などを捉える。加速度センサ２３２は、印加される加速度が重力のみである場合、重力ベクトルと加速度センサ２３２の軸上のその投影を利用して傾斜角を求め、地面に対してどれだけ傾いているかを計測検出できる。ＨＭＤ２００内に設けられた加速度センサ２３２により、ＨＭＤ２００の傾きを検知することができる。

　ジャイロセンサ２３３は、回転方向の角速度を検出するセンサであり、縦・横・斜めの姿勢の状態を捉え、どちらの方向にどれだけ動いたかを計測検出する。

　よって、加速度センサ２３２とジャイロセンサ２３３とを用いて、ＨＭＤ２００の傾きや方向などの姿勢を検出することができる。

　地磁気センサ２３４は、地球の磁力を検出するセンサであり、ＨＭＤ２００の向いている方向を検出する。前後方向と左右方向に加え上下方向の地磁気も検出する３軸タイプを用い、ＨＭＤ２００の動きに対する地磁気変化を捉まえることにより、ＨＭＤ２００の動きを検出することもできる。

　なお、加速度センサ２３２、ジャイロセンサ２３３および地磁気センサ２３４により、ＨＭＤ２００を装着しているユーザ８００の姿勢状態を検出判別できる。例えば、ユーザ８００がウォッチ１００とは別の方向に向いている状態から、視線をウォッチ１００方向に向けた状態を検出することができる。

　測距センサ２３７は、対象物までの距離や角度を測定し、物などの対象物の形状を立体として捉えることができるセンサである。測距センサ２３７には、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）、ＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）センサ、ミリ波レーダーなどが用いられる。なお、ＬｉＤＡＲは、赤外線などのレーザー光を対象物に照射し、はね返ってくる散乱光を測定し、遠距離にある対象物までの距離やその対象物の状態を分析検出する。ＴＯＦセンサは、被写体に照射したパルス光の反射時間を画素ごとに計測して測距を行う。ミリ波センサは、ミリ波の電波を発射しその反射波を捉まえて反射している対象物までの距離や対の象物の状態を検出する。

　測距センサ２３７は、人差し指、親指などまでの距離や角度を各々計測し、その計測情報をもとに、例えば、手を握りしめているか或いは開いているかを捉えることができる。従って、測距センサ２３７により、ウォッチ１００のトリガなどの動作の検出ができる。

　プロセッサ２０１は、ＣＰＵ等で構成され、メモリ２０２に記憶格納されているＯＳや動作制御用アプリケーションなどのプログラムを実行し、ＨＭＤ２００の各機能を実現する。実現する機能については、後述する。

　メモリ２０２は、不揮発性記憶装置等で構成され、プロセッサ２０１等が扱う各種のプログラムやデータを記憶する記憶部として機能する。記憶されるデータは、ＨＭＤ２００が処理に用いるもの、および、処理により生成されるもの、等である。具体的には、ＨＭＤ２００で検出した動作データ、予め定めた各種のトリガ動作データ、ＨＭＤの操作コマンド、ウォッチ１００に送信する切替要求、などである。

　表示デバイス２２１は、各種の情報を表示する。

　ＨＭＤ２００が、光学シースルー型の場合は、表示デバイス２２１は、投影部と透明なハーフミラーとを備える。投影部には、例えば、指タップ距離計測の操作ガイド画面画像、ユーザ８００をリラックスさせるような画像などの仮想オブジェクトやユーザ８００への通知情報などが投影される。ハーフミラーには、投影された仮想オブジェクト等が目の前で結像表示される。これにより、ユーザ８００は、目の前の視界範囲の実体物とともに、結像された仮想オブジェクトを浮かんでいるような形で両者合わせて視認することができる。

　ＨＭＤ２００が、ビデオシースルー型の場合は、表示デバイス２２１は、液晶パネル等のディスプレイを備える。このディスプレイには、アウトカメラ２１１で撮影された目の前の実体物と仮想オブジェクト等が合わせて表示される。これにより、ユーザ８００は、目の前の視界画像内の実体物と仮想オブジェクト等を重ねて視認することができる。

　入力Ｉ／Ｆ２２３は、例えばキーボタン、タッチキー等による入力手段であり、ユーザ８００による入力したい情報の設定入力を受け付ける。入力Ｉ／Ｆ２２３は、ＨＭＤ２００内でユーザ８００が入力操作を行いやすい位置や形態で設けられる。なお、ＨＭＤ２００の本体から分離し、有線や無線で接続された形態であってもよい。また、表示デバイス２２１の表示画面内に入力操作画面を表示させてもよい。この場合、視線が向いている入力操作画面上の位置により入力操作情報を取り込んでもよいし、ポインタを入力操作画面上に表示させ入力Ｉ／Ｆ２２３によりポインタを操作して入力操作情報を取り込んでもよい。

　音声入力デバイス２２４は、外部からの音声やユーザ８００自身の発声をマイクで集音し音声データに変換する。ユーザ８００からの発声音による指示情報をＨＭＤ２００内に取り込み、指示情報に対する動作を使い勝手よく実行することができる。例えば、ユーザ８００が入力操作を示す音声を発声し、音声入力デバイス２２４で集音して入力操作情報を取り込んでもよい。

　音声出力デバイス２２５は、音声データに基づいてスピーカから音声を出力する。ユーザ８００への通知情報を音声で知らせることができる。

　振動発生デバイス２２６は、プロセッサ２０１からの制御によって振動を発生させる。例えば、プロセッサ２０１は、ＨＭＤ２００で発信されたユーザ８００への通知指示情報を振動に変換し、振動発生デバイス２２６によりＨＭＤ２００を装着しているユーザ８００の頭部に振動を伝えて、通知情報を知らせる。これにより、使い勝手の向上を図ることができる。

　通信デバイス２２７は、近距離無線通信により、ウォッチ１００との間で無線通信を行う通信インタフェースである。通信デバイス２２７は、所定の各種の通信インタフェースに対応する通信処理回路やアンテナ等を含み、各種の情報、制御信号などの送受信を行う。なお、電話通信網を含んでいてもよい。

　［機能構成］
　次に、本実施形態のＨＭＤ２００が実現する機能を説明する。図５（ｂ）は、ＨＭＤ２００の機能ブロック図である。

　本実施形態のＨＭＤ２００は、動作検出部２５１と、動作判別部２５２と、切替制御部２５３と、ＨＭＤ動作制御部２５４と、連携制御部２５５と、ＨＭＤ単体操作ＤＢ２６０と、を備える。

　動作検出部２５１は、アウトカメラ２１１，インカメラ２１２およびセンサ１３０を用いて、ユーザ８００の動作を検出する。センサ１３０は、例えば、左目視線センサ２３５、右目視線センサ２３６、加速度センサ２３２、ジャイロセンサ２３３、地磁気センサ２３４，測距センサ２３７などが用いられる。

　検出した動作（以後、検出動作と呼ぶ。）は、動作判別部２５２と、ＨＭＤ動作制御部２５４または連携制御部２５５と、に出力する。後述するように、操作モードがＨＭＤ単体操作モードである場合、検出動作を、ＨＭＤ動作制御部２５４に出力し、操作モードがウォッチ連携操作モードである場合、検出動作を、連携制御部２５５に出力する。

　動作判別部２５２は、検出動作が、予め定められたトリガ動作（連携開始トリガ動作または連携終了トリガ動作）と一致するか否かを判別する。トリガ動作は、予めメモリ２０２に記憶しておく。

　動作判別部２５２は、検出動作がトリガ動作と一致すると判別した場合は、トリガ動作検出指示を、切替制御部２５３に出力する。一方、一致しない場合は、動作判別部２５２は、不一致信号を動作検出部２５１に出力する。なお、動作検出部２５１は、不一致信号を受信すると、操作モードがＨＭＤ単体操作モードである場合、検出動作をＨＭＤ動作制御部２５４に出力する。一方、操作モードがウォッチ連携操作モードの場合、検出動作は無視する。

　切替制御部２５３は、操作モードを切り替える。切替制御部２５３は、単体操作モード時に、動作検出部２５１が検出した動作が、動作判別部２５２によりＨＭＤ側連携開始トリガ動作と判別された際、所定期間内に、ウォッチ１００においてもウォッチ側連携開始トリガ動作を検出したとの検出通知をウォッチ１００から受信した場合、操作モードを前記連携操作モードに切り替える。

　連携開始トリガ動作の検出は、上述のように、ウォッチ１００が先であってもよいし、ＨＭＤ２００が先であってもよい。以下、本実施形態では、ウォッチ１００が検出後、ＨＭＤ２００側でも検出する場合を例にあげて説明する。

　この場合、切替制御部２５３は、ＨＭＤ単体操作モード時に、所定の時間間隔で、ウォッチ１００からの開始トリガ情報を受信したか否かを判別する。そして、ウォッチ１００から開始トリガ情報を受信後、所定期間内に連携開始トリガ動作を検出した場合、ウォッチ１００に対し、操作モード切替要求を送信するとともに、ＨＭＤ２００の操作モードをウォッチ連携操作モードに切り替える。操作モード切替要求は、送信先のウォッチ１００に、操作モードを切り替える指示である。連携開始トリガ動作を検出したか否かは、動作判別部２５２からトリガ動作検出指示を受信したか否かで判別する。また、切替制御部２５３は、切り替え後の操作モードを、動作検出部２５１に出力する。

　また、切替制御部２５３は、ウォッチ連携操作モード時、連携終了トリガ動作が検出された場合、ウォッチ連携操作モードからＨＭＤ単体操作モードに切り替える。このとき、連携終了トリガ動作を検出したことを意味する終了トリガ情報をウォッチ１００に送信する。また、ウォッチ連携操作モード時、ウォッチ１００から終了トリガ情報を受信した場合、ウォッチ連携操作モードからＨＭＤ単体操作モードに切り替える。

　ＨＭＤ動作制御部２５４は、ＨＭＤ単体操作モード時、検出動作に応じて、ＨＭＤ２００の動作を制御する。本実施形態では、検出動作に対応づけてＨＭＤ２００の操作内容が格納される、ＨＭＤ単体操作ＤＢ２６０を参照し、操作内容に対応するＨＭＤ２００を操作するコマンド（ＨＭＤ操作コマンド）を生成し、関連機能部に出力する。

　連携制御部２５５は、ウォッチ連携操作モード時、通信デバイス２２７を介してウォッチ１００からＨＭＤ操作コマンドを受信すると、当該ＨＭＤ操作コマンドを関連機能部に出力する。これにより、ウォッチ１００からの操作指示によるＨＭＤ２００の動作の制御を実現する。

　ここで、ＨＭＤ単体操作ＤＢ２６０の例を説明する。図６は、本実施形態のＨＭＤ単体操作ＤＢ２６０の一例を説明するための図である。

　図６に示すように、ＨＭＤ単体操作ＤＢ２６０は、検出動作２６１に対応付けて、ＨＭＤ操作内容２６２が登録される。例えば、ＨＭＤ２００で、「手首を反対側の手でタップする」という動作をアウトカメラ２１１で取得した画像を解析する等により検出すると、ＨＭＤ２００において「メニューを出す」という操作を行う。なお、ＨＭＤ操作内容２６２の代わりに、当該操作を実現するＨＭＤ操作コマンドそのものが登録されてもよい。

　［連携処理（操作モード切替処理）］
　次に、上記構成を有するウォッチ１００およびＨＭ２００による連携時の処理の流れを説明する。ここでは、操作モード切替処理に主眼をおいて説明する。なお、ウォッチ１００とＨＭＤ２００とは、予め通信連携されているものとする。

　図７は、本実施形態の情報処理システム９００の連携処理（操作モード切替処理）の処理フローである。なお、本図においては、ウォッチ１００およびＨＭＤ２００が、ともに、初期状態として、単体操作モード状態で、起動された場合を例にあげて説明する。

　また、処理フローに記載はないが、各動作検出ステップにおいて、終了を意味する動作が検出された際、本処理を終了する。また、破線で囲った箇所は、単体操作モードでの処理の箇所であり、一点鎖線で囲った箇所は、連携操作モードでの処理の箇所である。

　ウォッチ１００側において、起動後、所定の時間間隔で、動作検出部１５１は、ユーザ８００の動作を検出する（ステップＳ１１０１）。

　そして、動作検出部１５１が動作を検出する毎に、動作判別部１５２は、検出動作が、予め定めたトリガ動作と一致するか否かを判別する（ステップＳ１１０２）。ここでは、現在のウォッチ１００の操作モードが、ウォッチ単体操作モードであるため、連携操作モードへ移行する、ウォッチ側連携開始トリガ動作であるか否かを判別する。

　ステップＳ１１０２において、ウォッチ側連携開始トリガ動作でない場合、そのままウォッチ単体操作モードが継続され、検出動作に従って、ウォッチ動作制御部１５４は、ウォッチ１００を操作し（ステップＳ１１０３）、ステップＳ１１０１へ戻る。これにより、トリガ動作が検出されない場合は、そのまま単体操作モードが継続する。

　一方、ステップＳ１１０２において、ウォッチ側連携開始トリガ動作と判別した場合、動作判別部１５２は、トリガ動作検出指示を切替制御部１５３に出力する。これに応じて、切替制御部１５３は、操作モード切替処理を実行する。ここでは、トリガ動作が行われたことを意味するトリガ情報（開始トリガ情報）を生成し、ＨＭＤ２００に送信する（ステップＳ１２０１）。

　ＨＭＤ２００側では、起動後、ウォッチ１００同様、所定の時間間隔で、動作検出部２５１は、ユーザ８００の動作を検出する（ステップＳ２１０１）。その間、切替制御部２５３は、ウォッチ１００から、トリガ情報（開始トリガ情報）を受信したか否かの判別を行う（ステップＳ２１０２）。開始トリガ情報を受信していない場合は、ＨＭＤ動作制御部２５４は、そのまま、検出動作に従って、ＨＭＤ２００を制御し（ステップＳ２２０１）、ステップＳ２１０１へ戻る。

　一方、切替制御部２５３が開始トリガ情報を受信したと判別すると、動作判別部２５２は、動作検出部２５１が検出した検出動作が、予め定めたトリガ動作であるか否かを判別する（ステップＳ２２０１）。ここでは、現在のＨＭＤ２００の操作モードが、ＨＭＤ単体操作モードであるため、連携操作モード開始のトリガ動作（ＨＭＤ側連携開始トリガ動作）であるか否かを判別する。なお、ＨＭＤ側連携開始トリガ動作でない場合は、そのまま、ステップＳ２１０１へ戻り、処理を継続する。

　そして、ＨＭＤ側連携開始トリガ動作である場合、切替制御部２５３は、ウォッチ１００から開始トリガ情報を受信したタイミングで、ＨＭＤ２００側でも、ＨＭＤ側連携開始トリガ動作を検出したため、操作モード切替要求を生成し、開始トリガ情報の送信元のウォッチ１００に伝送する（ステップＳ２２０２）。

　ウォッチ１００側では、切替制御部１５３は、開始トリガ情報生成および送信から、所定期間内にＨＭＤ２００から所定の返信があるか否かを判別する（ステップＳ１２０２）。ここでは、所定期間内に操作モード切替要求を受信したか否かを判別する（ステップＳ１２０２）。受信すると、切替制御部１５３は、受信したことを意味する結果（いわゆるＡＣＫ）を生成し、送信元のＨＭＤ２００に返信し（ステップＳ１２０３）、操作モードを切り替える（ステップＳ１２０４）。ここでは、ウォッチ単体操作モードから、ＨＭＤ連携操作モードへ移行する。なお、ステップＳ１２０２において、受信しない場合は、そのままステップＳ１１０１へ戻る。

　なお、ここで、ステップＳ１２０２において、所定期間内に操作モード切替要求を受信していない場合も、受信していないことを意味する結果（ＡＣＫ）を生成し、送信元のＨＭＤ２００に返信してもよい。

　ＨＭＤ２００側では、切替制御部２５３は、操作モード切替要求送信後、所定期間内に結果を受信する（ステップＳ２２０３）と、操作モードを切り替える（ステップＳ２２０４）。ここでは、ＨＭＤ単体操作モードから、ウォッチ連携操作モードへ移行する。一方、切替要求に対し、結果を受信しない場合は、そのままステップＳ２１０１へ戻り、処理を継続する。

　このように、ウォッチ１００側およびＨＭＤ２００側の両方で、所定期間内に連携開始トリガ動作を検出した場合のみ、操作モードが切り替えられる。

　ウォッチ１００側では、ＨＭＤ連携操作モードに移行後、動作検出部１５１が動作を検出すると、動作判別部１５２は、動作検出部１５１が動作を検出する毎に、検出動作が、予め定めたトリガ動作と一致するか否かを判別する（ステップＳ１３０１）。ここでは、現在のウォッチ１００の操作モードが、ＨＭＤ連携操作モードであるため、連携操作モード終了のトリガ動作（ウォッチ側連携終了トリガ動作）であるか否かを判別する。

　そして、連携終了トリガ動作なければ、ＨＭＤ操作コマンド生成部１５５は、検出動作に応じて、ＨＭＤ操作コマンドを生成し、ＨＭＤ２００に向けて送信する（ステップＳ１３０３）。

　一方、トリガ動作であれば、動作判別部１５２は、当該動作が、ウォッチ１００に対する操作終了動作であるか否かを判別する（ステップＳ１３０４）。操作終了指示であれば、ウォッチ１００の処理を終了する。なお、このとき、ウォッチ１００自体の動作が終了したことを、ＨＭＤ２００に通知する。そして、通知を受けたＨＭＤ２００では、単体操作モードに移行する。

　一方、操作終了指示でなければ、切替制御部１５３は、後述する操作モード復帰処理を行う（ステップＳ１４０１）。

　一方、ウォッチ連携操作モードに移行したＨＭＤ２００では、連携制御部２５５が、ウォッチ１００から、ＨＭＤ操作コマンドを受信すると（ステップＳ２３０１）、当該ＨＭＤ操作コマンドに従って、ＨＭＤ２００の動作を制御（操作）する（ステップＳ２３０２）。

　また、この間、継続的に、動作検出部２５１は、動作検出を行う（ステップＳ２３０３）。そして、動作検出部２５１が動作を検出する毎に、動作判別部２５２が、検出動作が、トリガ動作であるか否かを判別する（ステップＳ２３０４）。ここでは、連携終了トリガ動作であるか否かを判別する。トリガ動作でなければ、ステップＳ２３０１に戻り、処理を継続する。

　一方、トリガ動作であれば、まず、動作判別部２５２は、当該動作が、ＨＭＤ２００に対する操作終了指示であるか否かを判別する（ステップＳ２３０５）。操作終了指示であれば、処理を終了する。なお、このとき、ＨＭＤ２００自体の動作が終了したことを、ウォッチ１００に通知する。そして、通知を受けたウォッチ１００では、単体操作モードに移行する。

　一方、操作終了指示でなければ、切替制御部２５３は、操作モード復帰処理を実行する（ステップＳ２４０１）。

　ここで、ステップＳ１４０１およびステップＳ２４０１で実行される操作モード復帰処理について説明する。本実施形態では、ウォッチ１００およびＨＭＤ２００のいずれか一方で、連携終了トリガ動作が検出された場合、連携操作モードから単体操作モードに戻る。

　このため、例えば、ウォッチ１００で検出動作が連携終了トリガ動作と判別された場合、切替制御部１５３は、連携終了トリガ動作を検出したことを意味する終了トリガ情報をＨＭＤ２００に通信するとともに、ウォッチ１００の操作モードをウォッチ単体操作モードに切り替える。また、ウォッチ１００から終了トリガ情報を受信したＨＭＤ２００では、切替制御部２５３が、ＨＭＤ２００の操作モードをＨＭＤ単体操作モードに切り替える。

　一方、例えば、ＨＭＤ２００で検出動作が連携終了トリガ動作と判別された場合、切替制御部２５３は、連携終了トリガ動作を検出したことを意味する終了トリガ情報をウォッチ１００に通信するとともに、ＨＭＤ２００の操作モードをＨＭＤ単体操作モードに切り替える。また、ＨＭＤ２００から終了トリガ情報を受信したウォッチ１００では、切替制御部１５３が、ウォッチ１００の操作モードをウォッチ単体操作モードに切り替える。

　操作モード復帰処理終了後、ウォッチ１００では、ステップＳ１１０１へ戻り、ウォッチ単体操作モードで動作を継続する。同様に、ＨＭＤ２００においても、操作モード復帰処理終了後は、ステップＳ２１０１へ戻り、ＨＭＤ単体操作モードで動作を継続する。

　なお、本実施形態では、ウォッチ１００で連携開始のトリガ情報を受信あと、所定期間（Ｔ１）内にＨＭＤ２００で連携開始のトリガ動作を検出した場合、連携操作モードに移行する。従って、ＨＭＤ２００側では、ウォッチ１００から受信したトリガ情報を、期間Ｔ１だけ、保持し、ステップＳ２２０１では、その間に、連携開始トリガ動作があったか否かを判別するよう構成してもよい。

　以上説明したように、本実施形態の情報処理システム９００では、ウォッチ１００が連携開始トリガ動作を検出後、所定期間内に、ＨＭＤ２００が連携開始トリガ動作を検出した場合に限り、両者は連携操作モードに移行する。例えば、一方のみが、連携開始トリガ動作を検出した場合、あるいは、両者が検出した場合であっても、それが、所定期間内でない場合は、連携操作モードに移行しない。一方、連携操作モード時に、いずれか一方で、連携終了トリガ動作を検出した場合、単体操作モードに移行する。

　このように、ウォッチ１００側或いはＨＭＤ２００側のトリガ動作だけで操作モードの切り替えを行う場合に対し、本実施形態によれば、両方のトリガ動作を簡便な形で捉えて連携操作モードに移行するため、使い勝手よく確実かつ高精度に行うことができ、操作モード切替選択における誤認識誤作動の可能性を解消或いは大幅に低減することができる。

　［表示例］
　ここで、ＨＭＤ２００における表示例を説明する。本実施形態では、ＨＭＤ単体操作モード時は、ＨＭＤ動作制御部２５４が、ウォッチ連携操作モード時は、連携制御部２５５が、表示デバイス２２１（表示部）への表示を制御する。

　図８（ａ）および図８（ｂ）に示すように、本実施形態の表示デバイス２２１は、メニュー表示領域２７０と、操作モード表示領域２７１と、を備える。

　メニュー表示領域２７０には、仮想オブジェクトとしてメニューが表示される。ユーザ８００は、メニューの中から所望の操作を選択し、ＨＭＤ２００を操作する。選択は、例えば、視線で行う。この場合、ＨＭＤ２００は、左目視線センサ２３５，右目視線センサ２３６等のセンサにより、視線方向と、表示デバイス２２１との交差位置を検出して、どのメニューが選択されたかを判別する。

　操作モード表示領域２７１には、操作モードが表示される。図８（ａ）は、ＨＭＤ２００がＨＭＤ単体操作モードの場合の表示例である。また、図８（ｂ）は、ＨＭＤ２００がウォッチ連携操作モードの場合の表示例である。

　なお、図８（ｂ）に示すように、ウォッチ連携操作モードの場合、さらに、操作画像表示領域２７２を備えてもよい。操作画像表示領域２７２には、ユーザ８００がどのような動作をしているかを示す操作画像を表示させる。操作画像は、ウォッチ１００で検出したユーザ８００の動作がどのような動作か判るような、例えば、手の模擬画像である。操作画像は、ウォッチ１００から送信されるＨＭＤ操作コマンドと対応する動作の画像である。

　例えば図４（ｂ）に示すＨＭＤ連携操作ＤＢ１７０のＨＭＤ操作内容１７２の、「選択アイテムのクリック」に対応するＨＭＤ操作コマンドをウォッチ１００から受信した場合は、それに対応する動作である「手を早く下げる」ことを示す画像を生成する。この場合、連携制御部２５５は、受信したＨＭＤ操作コマンドに対応する動作画像を生成する。なお、ＨＭＤ２００は、ＨＭＤ操作コマンドに対応づけた動作画像を、メモリ２０２に保持しておく。

　なお、ウォッチ１００で検出したユーザ８００の動作情報をＨＭＤ操作コマンドとともにＨＭＤ２００に送信し、連携制御部２５５は、その情報を用いて動作画像（模擬画像）を生成してもよい。

　操作モード表示領域２７１に操作モードを表示することにより、ユーザ８００は、ＨＭＤ２００がどのように操作されているか、明確かつ簡単に知ることができる。なお、操作モード表示は、文字表示でなく、アイコン等の画像表示であってもよい。

　以上のように、ＨＭＤ２００で操作画像を表示することにより、ウォッチ１００での動作検出がどのようになっているか、ユーザ８００は直感的に理解できる。これにより、ウォッチ１００での検出精度が向上するように手を動かすことも期待できる。

　以上説明したように、本実施形態の情報処理システム９００の第一情報処理装置であるウォッチ１００は、外部の情報処理装置であるＨＭＤ２００と相互に通信可能であって、予め定めた連携開始トリガ動作を記憶するメモリ２０２と、ウォッチ１００を装着したユーザ８００の動作を検出する動作検出部１５１と、動作検出部１５１で検出した動作が連携開始トリガ動作であるか否かを判別する動作判別部１５２と、ウォッチ１００の操作モードを切り替える切替制御部１５３と、を備える。そして、操作モードは、ウォッチ１００においてＨＭＤ２００を操作する操作コマンドを生成し、ＨＭＤ２００に送信する連携操作モードと、ウォッチ１００においてウォッチ１００を操作する操作コマンドを生成し、生成した操作コマンドに従ってウォッチ１００を操作する単体操作モードとがある。また、切替制御部１５３は、単体操作モード時に、動作判別部１５２によるウォッチ側連携開始トリガ動作であるとの判別と、ＨＭＤ２００においてＨＭＤ側連携開始トリガ動作を検出したことを意味する検出通知のＨＭＤ２００からの受信と、の両方が所定期間内に発生した場合、操作モードを連携操作モードに切り替える。

　また、第二情報処理装置であるＨＭＤ２００は、外部の情報処理装置であるウォッチ１００と相互に通信可能であって、予め定めた連携開始トリガ動作を記憶するメモリ２０２と、ＨＭＤ２００を装着したユーザ８００の動作を検出する動作検出部２５１と、動作検出部２５１で検出した動作が連携開始トリガ動作であるか否かを判別する動作判別部２５２と、ＨＭＤ２００の操作モードを切り替える切替制御部２５３と、を備える。そして、操作モードは、ウォッチ１００からＨＭＤ２００を操作する操作コマンドを受信し、当該操作コマンドに従ってＨＭＤ２００を操作する連携操作モードと、ＨＭＤ２００においてＨＭＤ２００を操作する操作コマンドを生成し、生成した操作コマンドに従ってＨＭＤ２００を操作する単体操作モードとがある。また、切替制御部２５３は、単体操作モード時に、動作判別部２５２によるＨＭＤ側連携開始トリガ動作であるとの判別と、ウォッチ１００においてウォッチ側連携開始トリガ動作を検出したことを意味する検出通知のウォッチ１００からの受信と、の両方が所定期間内に発生した場合、操作モードを連携操作モードに切り替える。

　以上説明したように、本実施形態によれば、ウォッチ１００やＨＭＤ２００などの複数の情報処理装置を有する情報処理システム９００において、例えば、ウォッチ１００で、ウォッチ１００自体を操作する操作モードとＨＭＤ２００を操作する操作モードとを実行可能な場合、操作モードの切り替えが簡易かつ高精度に行うことができる。具体的には、ウォッチ１００およびＨＭＤ２００という２つの情報処理装置で共にトリガ動作を検出すると、ウォッチ１００で検出したユーザ動作に応じて操作される情報処理装置が、ウォッチ１００である単体操作モードから、ＨＭＤ２００である連携操作モードに切り替わる。従って、ウォッチ１００側或いはＨＭＤ２００側のトリガ動作だけで操作モードの切り替えを行う場合に対し、両方のトリガ動作を簡便な形で捉えて操作モードの切り替えを行うため、操作モードの切り替えを、使い勝手よく確実かつ高精度に行うことができる。よって、操作モードの切り替えにおける誤認識、誤作動の可能性を解消あるいは大幅に低減できる。

　また、上記実施形態では、ウォッチ１００でのトリガ動作の検出に筋電センサ１３１で取得される筋電情報を使う。これにより、片手しか使えず、例えばウォッチ１００にタッチできないような状況でも、ウォッチ１００とＨＭＤ２００との両方の情報処理装置を自由に操作できる。

　すなわち、本実施形態によれば、操作対象を切り替え可能な複数の情報処理装置を有する情報処理システムにおいて、複数の情報処理装置のどちらを操作するかという操作モードの切り替えや選択に際し、簡便な形で使い勝手よく操作モードの切り替え、選択を、高精度かつ高確度で行うことができる。特に、ウォッチ１００およびＨＭＤ２００といった、操作自体がしにくく、また、なされた操作が検出しにくい情報処理装置において、有効である。

　＜変形例１＞
　なお、上記実施形態では、ウォッチ１００は、連携操作モード時、検出動作に基づいてＨＭＤ操作コマンドを生成し、ＨＭＤ２００に送信しているが、これに限定されない。例えば、検出動作を示す情報をＨＭＤ２００に送信し、ＨＭＤ２００側で、当該動作に対応する操作コマンドを生成してもよい。

　＜変形例２＞
　また、予め定めた連携開始トリガ動作は、上記実施形態で説明したものに限定されない。図９は、連携開始トリガ動作の他の例を説明する図である。

　図９では、ウォッチ１００側の連携開始トリガ動作として、手を握りしめる動作を予め定めている場合を示している。ウォッチ１００では、手を開いた状態８２１から手を閉じて握りしめる状態８２２になるジェスチャ動作を筋電センサ１３１により検出する。

　一方、ＨＭＤ２００側の連携開始トリガ動作として、ＨＭＤ２００を装着しているユーザ８００が視線をウォッチ１００方向に向ける動作を予め定めている場合を示している。ＨＭＤ２００は、左目視線センサ２３５および右目視線センサ２３６により、ユーザ８００がウォッチ１００とは別の方向に向いている状態８３２から、ユーザ８００が視線をウォッチ１００方向に向けている状態８３１を捉えて、連携開始トリガ動作として検出する。

　なお、ユーザ８００の姿勢状態や動きを検出する加速度センサ２３２、ジャイロセンサ２３３、地磁気センサ２３４を用いて、ユーザ８００が視線をウォッチ１００方向に向けている状態８３１を捉えてもよい。

　ウォッチ１００およびＨＭＤ２００でこれらの連携開始トリガ動作を、略同じタイミングで検出すると、ウォッチ１００は、ＨＭＤ２００を操作する操作情報として、ウォッチ１００で検出した動作から生成したＨＭＤ操作コマンドをＨＭＤ２００に伝送する。

　なお、上記実施形態では、トリガ動作を含め、ウォッチ１００での動作検出として、筋電センサ１３１を用いて手や指のジェスチャを検出する場合の例を示したが、これに限定されない。筋電センサ１３１に限らず、他のセンサ１３０や手段でウォッチ１００に対する動作を検出してもよい。例えば、加速度センサ１３２、ジャイロセンサ１３３、地磁気センサ１３４等のセンサ１３０を用いてウォッチ１００の姿勢状態や動きを検出し、「手を持ち上げてひねる」、「手を上げて停止する」などの動作を取得してもよい。

　また、上記実施形態では、ＨＭＤ２００でのトリガ動作検出として、視線センサ（左目視線センサ２３５および／または右目視線センサ２３６）によりユーザ８００の目の状態変化を検出する場合や、加速度センサ２３２、ジャイロセンサ２３３、地磁気センサ２３４によりユーザ８００の頭部の状態変化を検出する場合の例を示したが、他のセンサ２３０や手段で検出してもよい。

　すなわち、第一情報処理装置および第二情報処理装置で検出する動作は、それぞれ何らかのセンサや手段によって検出できる動作であれば、上述の動作に限らずどのような動作でもよく、上述と同様な作用、効果が得られることは明白である。

　＜変形例３＞
　上記実施形態では、連携開始トリガ動作と、連携終了トリガ動作とを異なるものとして説明したが、両者は同じであってもよい。この場合、動作判別部１５２および動作判別部２５２は、いずれのトリガ動作であるかを、自装置の操作モードと組み合わせで判断する。すなわち、自装置が、単体操作モード時に、当該トリガ動作が検出された場合、連携開始トリガ動作と判別し、自装置が、連携操作モード時に、当該トリガ動作が検出された場合、連携終了のトリガ動作と判別する。

　＜変形例４＞
　また、上記実施形態では、ウォッチ１００（操作装置）側で先にトリガ動作を検出し、ＨＭＤ２００（被操作装置）に送信し、ＨＭＤ２００から切替要求を受信する場合を例にあげて説明したが、ＨＭＤ２００側で先にトリガ動作を検出し、ウォッチ１００に送信してもよい。

　この場合、切替制御部１５３は、ＨＭＤ２００からＨＭＤ側連携開始トリガ動作を検出したことを意味する開始トリガ情報を受信後、所定期間内に動作検出部１５１が検出した動作が連携開始トリガ動作と判別された場合、ＨＭＤ２００に対し、操作モード切替要求を送信する。また、この時、ウォッチ１００の操作モードを、ＨＭＤ連携操作モードに切り替える。

　また、ＨＭＤ２００側では、切替制御部２５３は、ＨＭＤ側連携開始トリガ動作を検出すると、開始トリガ情報をウォッチ１００に送信する。そして、開始トリガ情報送信から所定の時間内に操作モード切替要求を受信した場合、切替制御部２５３は、ＨＭＤ２００の操作モードをＨＭＤ連携操作モードに切り替える。

　また、連携操作モードは、ウォッチ１００側で検出した動作でＨＭＤ２００を操作しているが、逆であってもよい。すなわち、ＨＭＤ２００で検出した動作でウォッチ１００を操作してもよい。

　このように、本実施形態の情報処理システム９００は、相互に通信連携された第一情報処理装置と第二情報処理装置とを備える情報処理システムであって、第一情報処理装置において第一連携開始トリガ動作を検出後、所定時間内に第二情報処理装置において第二連携開始トリガ動作を検出した場合、第一情報処理装置および第二情報処理装置は、連携操作モードで操作される。この連携操作モードは、第一情報処理装置で検出された第一情報処理装置の使用者の動作に応じて、第二情報処理装置を操作する第一連携操作モード、および、前記第二情報処理装置で検出された当該第二情報処理装置の使用者の動作に応じて前記第一情報処理装置を操作する第二連携操作モード、のいずれかの操作モードである。

　＜変形例５＞
　また、上記実施形態および変形例では、最初に連携開始トリガ動作を検出した装置とは異なる装置側で操作モード切替要求を生成し、送信しているが、これに限定されない。最初に連携開始トリガ動作を検出した装置側で、操作モード切替要求を生成してもよい。

　本変形例を、例えば、ウォッチ１００で最初に連携開始トリガ動作を検出する場合の例で説明する。上記ステップＳ１１０２で連携開始トリガ動作が検出されると、切替制御部１５３は、開始トリガ情報を生成し、ＨＭＤ２００に送信する。ＨＭＤ２００側では、ステップＳ２１０２において開始トリガ情報を受信後、ステップＳ２２０１において処理期間内に連携開始トリガ情報を検出すると、切替制御部２５３は、開始トリガ情報（第二開始トリガ情報）を生成し、ウォッチ１００に送信する。すなわち、上記実施形態では、返信として、ＨＭＤ２００で操作モード切替要求を生成してウォッチ１００に送信していた代わりに、本変形例では、返信として、ＨＭＤ２００側でも、開始トリガ情報をウォッチ１００に送信する。

　ウォッチ１００では、最初に連携開始トリガ動作を検出してから、または、開始トリガ情報を生成して送信してから、所定の期間内にＨＭＤ２００から開始トリガ情報を受信した場合、切替制御部１５３が、操作モード切替要求を生成し、ＨＭＤ２００に通知する。また、ウォッチ１００の操作モードを切り替える。ＨＭＤ２００では、返信後、操作モード切替要求を受信すると、操作モードを切り替える。

　ＨＭＤ２００で最初に連携開始トリガ動作を検出した場合は、上記とは逆に開始トリガ情報の送受信を行い、ＨＭＤ２００の切替制御部２５３が、最終的に操作モード切替要求をウォッチ１００に送信し、両装置が操作モードを切り替える。

　＜変形例６＞
　また、上記実施形態では、いずれかの装置で、連携終了トリガ動作を検出した場合、連携を終了し、操作モードを単体操作モードに戻している。しかし、これに限定されない。連携終了時も、両装置で所定期間内に連携終了トリガ動作を検出した場合に限り、終了するよう構成してもよい。

　＜変形例７＞
　また、上記実施形態では、第二情報処理装置であるＨＭＤ２００は、起動とともにＨＭＤ単体操作モードに移行する場合を例にあげて説明した。しかしながら、これに限定されない。ＨＭＤ２００は、ウォッチ１００から開始トリガ情報を受信できる限り、起動直後の操作モードは問わない。

　＜変形例８＞
　また、上記実施形態では、ウォッチ１００を第一情報処理装置の具体例とし、ＨＭＤ２００を第二情報処理装置の具体例として説明したが、これに限定されない。第一情報処理装置および第二情報処理装置としては、装置に対する動作を検出できる機能が付いた全てのデバイスが対象である。

　本実施形態の情報処理システム９００においては、第一情報処理装置および第二情報処理装置がスマートウォッチ、ＨＭＤ以外の情報処理装置であっても同様の作用、効果が得られることは言うまでもない。例えば、第一情報処理装置として、手に持って使用するスマートフォン、第二情報処理装置としてパソコンでもよい。この場合、例えば、スマートフォンではその姿勢変化や動きをトリガ動作とし、パソコンでは見ているユーザ８００の姿勢や視線等の動きを検出してトリガ動作として、スマートフォンの姿勢変化や動きに応じてパソコンを操作する。

　＜変形例９＞
　また、図１０に示すように、情報処理システム９００には、さらに第三情報処理装置が含まれてもよい。図１０では、第三情報処理装置が、スマートフォン３００である場合を例示する。ウォッチ１００と、ＨＭＤ２００と、スマートフォン３００とは、予め通信連携させておく。

　この場合、連携処理は、２者連携であってもよい。具体的には、例えば、ウォッチ１００とＨＭＤ２００とが、略同タイミングで予め定めた第一連携開始トリガ動作を検出した場合、ウォッチ１００とスマートフォン３００との間の連携を開始し、ウォッチ１００とＨＭＤ２００とが、略同タイミングで予め定めた第ニ連携開始トリガ動作を検出した場合、ＨＭＤ２００とスマートフォン３００との間の連携を開始する。

　連携中は、例えば、スマートフォン３００から、それぞれ、ウォッチ１００およびＨＭＤ２００へ操作コマンドを送信する。あるいは、逆に、ウォッチ１００またはＨＭＤ２００から、スマートフォン３００へ操作コマンドを送信してもよい。これにより、例えば、ウォッチ１００またはＨＭＤ２００に対しユーザ８００が操作することで、スマートフォン３００の機能を使うことが可能となる。

　例えば、スマートフォン３００を、ポケットあるいは鞄等の中に入れた状態で、スマートフォン３００を操作することができる。

　また、３者連携であってもよい。この場合は、例えば、ウォッチ１００とＨＭＤ２００とが、略同タイミングで予め定めた連携開始トリガ動作を検出した場合、ウォッチ１００とＨＭＤ２００とスマートフォン３００との間の３者連携を開始する。

　３者連携においては、例えば、上記実施形態または変形例のように、ウォッチ１００とＨＭＤ２００との間で連携処理を行い、各情報処理装置で行われた処理内容を全てスマートフォン３００に送信し、処理履歴を全てスマートフォン３００に蓄積する等である。また、３者連携は、スマートフォン３００の画面をＨＭＤ２００に転送表示して、スマートフォン３００の操作をウォッチ１００で行うといった連携であってもよい。

　以上、本発明の実施形態について説明したが、言うまでもなく、本発明の技術を実現する構成は上記実施形態に限られるものではなく、様々な変形例が考えられる。例えば、前述した実施の形態は、本発明を分かり易く説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成と置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。これらは全て本発明の範疇に属するものである。また、文中や図中に現れる数値やメッセージ等もあくまでも一例であり、異なるものを用いても本発明の効果を損なうことはない。

　また、各処理例で説明したプログラムは、それぞれ独立したプログラムでもよく、複数のプログラムが一つのアプリケーションプログラムを構成していてもよい。また、各処理を行う順番を入れ替えて実行するようにしてもよい。

　前述した本発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、実施形態に記載したように、マイクロプロセッサユニット、ＣＰＵ等がそれぞれの機能等を実現する動作プログラムを解釈して実行することによりソフトウェアで実現してもよい。また、ソフトウェアの実装範囲を限定するものでなく、ハードウェアとソフトウェアを併用してもよい。また、各機能の一部または全部をサーバで実現してもよい。なお、サーバは、通信を介して他の構成部分と連携し機能の実行が出来ればよく、例えば、ローカルサーバ、クラウドサーバ、エッジサーバ、ネットサービス等であり、その形態は問わない。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納されてもよいし、通信網上の装置に格納されてもよい。

　また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上の全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

　１００：ウォッチ、１０１：プロセッサ、１０２：メモリ、１０３：バス、１１１：カメラ、１２１：表示デバイス、１２２：第一入力Ｉ／Ｆ、１２３：第二入力Ｉ／Ｆ、１２４：音声入力デバイス、１２５：音声出力デバイス、１２６：振動発生デバイス、１２７：通信デバイス、１３０：センサ、１３１：筋電センサ、１３２：加速度センサ、１３３：ジャイロセンサ、１３４：地磁気センサ、１５１：動作検出部、１５２：動作判別部、１５３：切替制御部、１５４：ウォッチ動作制御部、１５５：ＨＭＤ操作コマンド生成部、１６０：ウォッチ単体操作ＤＢ、１６１：検出動作、１６２：ウォッチ操作内容、１７０：ＨＭＤ連携操作ＤＢ、１７１：検出動作、１７２：ＨＭＤ操作内容、
　２００：ＨＭＤ、２０１：プロセッサ、２０２：メモリ、２０３：バス、２１０：カメラ、２１１：アウトカメラ、２１２：インカメラ、２２１：表示デバイス、２２３：入力Ｉ／Ｆ、２２４：音声入力デバイス、２２５：音声出力デバイス、２２６：振動発生デバイス、２２７：通信デバイス、２３０：センサ、２３２：加速度センサ、２３３：ジャイロセンサ、２３４：地磁気センサ、２３５：左目視線センサ、２３６：右目視線センサ、２３７：測距センサ、２５１：動作検出部、２５２：動作判別部、２５３：切替制御部、２５４：ＨＭＤ動作制御部、２５５：連携制御部、２６０：ＨＭＤ単体操作ＤＢ、２６１：検出動作、２６２：ＨＭＤ操作内容、２７０：メニュー表示領域、２７１：操作モード表示領域、２７２：操作画像表示領域、
　３００：スマートフォン、
　８００：ユーザ、８０２：状態、８０３：状態、８０４：状態、８１１：状態、８１２：状態、８２１：状態、８２２：状態、８３１：状態、８３２：状態、
　９００：情報処理システム
 

Claims (19)

1. 　外部の情報処理装置である外部装置と相互に通信可能な情報処理装置であって、
   　予め定めた連携開始トリガ動作を記憶する記憶部と、
   　当該情報処理装置を装着した使用者の動作を検出する動作検出部と、
   　前記動作検出部で検出した動作が前記連携開始トリガ動作であるかを判別する動作判別部と、
   　当該情報処理装置の操作モードを切り替える切替制御部と、を備え、
   　前記操作モードには、当該情報処理装置において前記外部装置を操作する操作コマンドを生成し、当該外部装置に送信する連携操作モードと、当該情報処理装置において当該情報処理装置を操作する前記操作コマンドを生成し、生成した前記操作コマンドに従って当該情報処理装置を操作する単体操作モードとがあり、
   　前記切替制御部は、前記単体操作モード時において、前記動作判別部による前記連携開始トリガ動作であるとの判別と、前記外部装置において予め定めた外部連携開始トリガ動作を検出したことを意味する検出通知の当該外部装置からの受信と、の両方が所定期間内に発生した場合、前記操作モードを前記連携操作モードに切り替えること
   　を特徴とする情報処理装置。
2. 　請求項１記載の情報処理装置であって、
   　前記切替制御部は、前記単体操作モード時に、前記検出通知を受信する前に、前記動作検出部が検出した動作が前記連携開始トリガ動作であると判別された場合、当該連携開始トリガ動作を検出したことを意味する開始トリガ情報を前記外部装置に送信し、送信後、前記所定期間内に当該外部装置から前記検出通知として前記操作モードを切り替える切替要求を受信し、受信後、前記操作モードを前記連携操作モードに切り替えること
   　を特徴とする情報処理装置。
3. 　請求項１記載の情報処理装置であって、
   　前記記憶部は、予め定めた連携終了トリガ動作をさらに記憶し、
   　前記動作判別部は、前記動作検出部が検出した動作が前記連携終了トリガ動作であるかをさらに判別し、
   　前記切替制御部は、前記連携操作モード時に、前記動作検出部が検出した動作が前記連携終了トリガ動作と判別された場合、前記連携終了トリガ動作を検出したことを意味する終了トリガ情報を前記外部装置に送信するとともに、前記操作モードを前記単体操作モードに切り替えること
   　を特徴とする情報処理装置。
4. 　請求項１記載の情報処理装置であって、
   　前記切替制御部は、前記単体操作モード時において、前記動作判別部による前記連携開始トリガ動作であるとの判別と、前記外部装置において予め定めた外部連携開始トリガ動作を検出したことを意味する検出通知の当該外部装置からの受信と、のいずれか一方が所定期間内に発生しない場合は、前記操作モードを前記連携操作モードに切り替えないこと
   　を特徴とする情報処理装置。
5. 　請求項１記載の情報処理装置であって、
   　前記外部装置の前記操作コマンドを外部操作コマンドとして生成し、前記外部装置に送信する外部操作コマンド生成部と、
   　当該情報処理装置の前記操作コマンドを自装置操作コマンドとして生成し、当該情報処理装置の動作を制御する動作制御部と、をさらに備え、
   　前記記憶部は、前記動作検出部で検出した動作に対応づけた前記操作コマンドをさらに記憶し、
   　前記外部操作コマンド生成部は、前記連携操作モード時、前記動作検出部が検出した動作に対応づけて前記記憶部に記憶されている前記操作コマンドを前記外部操作コマンドとして生成し、
   　前記動作制御部は、前記単体操作モード時、前記動作検出部が検出した動作に対応づけて前記記憶部に記憶されている前記操作コマンドを前記自装置操作コマンドとして生成すること
   　を特徴とする情報処理装置。
6. 　請求項１記載の情報処理装置であって、
   　前記切替制御部は、前記単体操作モード時に、前記検出通知を受信する前に、前記動作検出部が検出した動作が前記連携開始トリガ動作と判別された場合、当該連携開始トリガ動作を検出したことを意味する開始トリガ情報を前記外部装置に送信し、送信後、前記所定期間内に当該外部装置から前記検出通知を受信し、受信後、前記操作モードを切り替える切替要求を送信し、送信後、前記操作モードを前記連携操作モードに切り替えること
   　を特徴とする情報処理装置。
7. 　請求項１記載の情報処理装置であって、
   　前記切替制御部は、前記単体操作モード時に、前記検出通知を受信後、前記所定期間内に前記動作検出部が検出した動作が前記連携開始トリガ動作であると判別された場合、前記外部装置に前記操作モードを切り替える切替要求を送信し、送信後、前記操作モードを前記連携操作モードに切り替えること
   　を特徴とする情報処理装置。
8. 　外部の情報処理装置である外部装置と相互に通信可能な情報処理装置であって、
   　予め定めた連携開始トリガ動作を記憶する記憶部と、
   　当該情報処理装置を装着した使用者の動作を検出する動作検出部と、
   　前記動作検出部で検出した動作が前記連携開始トリガ動作であるかを判別する動作判別部と、
   　当該情報処理装置の操作モードを切り替える切替制御部と、を備え、
   　前記操作モードは、前記外部装置から当該情報処理装置を操作する操作コマンドを受信し、当該操作コマンドに従って当該情報処理装置を操作する連携操作モードと、当該情報処理装置において当該情報処理装置を操作する前記操作コマンドを生成し、生成した前記操作コマンドに従って当該情報処理装置を操作する単体操作モードとがあり、
   　前記切替制御部は、前記単体操作モード時において、前記動作判別部による前記連携開始トリガ動作であるとの判別と、前記外部装置において予め定めた外部連携開始トリガ動作を検出したことを意味する検出通知の当該外部装置からの受信と、の両方が所定期間内に発生した場合、前記操作モードを前記連携操作モードに切り替えること
   　を特徴とする情報処理装置。
9. 　請求項８記載の情報処理装置であって、
   　前記切替制御部は、前記単体操作モード時に、前記検出通知を受信後、前記所定期間内に前記検出した動作が前記連携開始トリガ動作であると判別された場合、前記外部装置に前記操作モードを切り替える切替要求を送信し、送信後、前記操作モードを前記連携操作モードに切り替えること
   　を特徴とする情報処理装置。
10. 　請求項８記載の情報処理装置であって、
    　前記記憶部は、予め定めた連携終了トリガ動作をさらに記憶し、
    　前記動作判別部は、前記動作検出部で検出した動作が前記連携終了トリガ動作であるかをさらに判別し、
    　前記切替制御部は、前記連携操作モード時に、前記動作検出部が検出した動作が前記連携終了トリガ動作であると判別された場合、前記連携終了トリガ動作を検出したことを意味する終了トリガ情報を前記外部装置に送信するとともに、前記操作モードを前記単体操作モードに切り替えること
    　を特徴とする情報処理装置。
11. 　請求項８記載の情報処理装置であって、
    　前記切替制御部は、前記単体操作モード時おいて、前記動作判別部による前記連携開始トリガ動作であるとの判別と、前記外部装置において予め定めた外部連携開始トリガ動作を検出したことを意味する検出通知の当該外部装置からの受信と、のいずれか一方が所定期間内に発生しない場合は、前記操作モードを前記連携操作モードに切り替えないこと
    　を特徴とする情報処理装置。
12. 　請求項８記載の情報処理装置であって、
    　前記外部装置から前記操作コマンドを自装置操作コマンドとして受信し、当該自装置操作コマンドに従って、当該情報処理装置の動作を制御する連携制御部と、
    　当該情報処理装置の前記操作コマンドを前記自装置操作コマンドとして生成し、当該自装置操作コマンドに従って、当該情報処理装置の動作を制御する動作制御部と、をさらに備え、
    　前記記憶部は、前記動作検出部で検出した動作に対応づけた前記操作コマンドをさらに記憶し、
    　前記動作制御部は、前記単体操作モード時、前記動作検出部が検出した動作に対応づけて前記記憶部に記憶されている前記操作コマンドを前記自装置操作コマンドとして生成すること
    　を特徴とする情報処理装置。
13. 　請求項８記載の情報処理装置であって、
    　前記切替制御部は、前記単体操作モード時に、前記検出通知を受信後、前記所定期間内に前記動作検出部が検出した動作が前記連携開始トリガ動作と判別された場合、当該連携開始トリガ動作を検出したことを意味する開始トリガ情報を前記外部装置に送信し、送信に応じた当該外部装置からの前記操作モードを切り替える切替要求の受信を待って、前記操作モードを前記連携操作モードに切り替えること
    　を特徴とする情報処理装置。
14. 　請求項８記載の情報処理装置であって、
    　前記切替制御部は、前記単体操作モード時、前記検出通知を受信する前に、前記動作検出部が検出した動作が前記連携開始トリガ動作と判別された場合、当該連携開始トリガ動作を検出したことを意味する開始トリガ情報を前記外部装置に送信し、送信後、前記所定期間内に当該外部装置から前記検出通知として、前記操作モードを切り替える切替要求を受信した後、前記操作モードを前記連携操作モードに切り替えること
    　を特徴とする情報処理装置。
15. 　請求項８記載の情報処理装置であって、
    　表示部をさらに備え、
    　前記切替制御部は、現在の操作モードを前記表示部に表示すること
    　を特徴とする情報処理装置。
16. 　請求項１２記載の情報処理装置であって、
    　表示部をさらに備え、
    　前記記憶部は、前記外部装置から受信する前記操作コマンドに対応する前記使用者の動作を表す動作画像をさらに記憶し、
    　前記切替制御部は、前記連携制御部が前記操作コマンドを受信すると、当該操作コマンドに対応づけて記憶される前記動作画像を、前記表示部に表示すること
    　を特徴とする情報処理装置。
17. 　相互に通信連携された第一情報処理装置と第二情報処理装置とを備える情報処理システムであって、
    　前記第一情報処理装置において予め定めた第一連携開始トリガ動作を検出後、所定時間内に前記第二情報処理装置において予め定めた第二連携開始トリガ動作を検出した場合、前記第一情報処理装置および前記第二情報処理装置は、連携操作モードで操作され、
    　前記連携操作モードは、前記第一情報処理装置で検出された当該第一情報処理装置の使用者の動作に応じて前記第二情報処理装置を操作する第一連携操作モード、および、前記第二情報処理装置で検出された当該第二情報処理装置の使用者の動作に応じて前記第一情報処理装置を操作する第二連携操作モード、のいずれかの操作モードであること
    　を特徴とする情報処理システム。
18. 　請求項１７記載の情報処理システムであって、
    　前記第一情報処理装置において前記第一連携開始トリガ動作を検出後、所定の時間内に前記第二情報処理装置において前記第二連携開始トリガ動作を検出しない場合、前記第一情報処理装置および前記第二情報処理装置は、単体操作モードで操作され、
    　前記単体操作モードは、前記第一情報処理装置で検出された当該第一情報処理装置の使用者の動作に応じて当該第一情報処理装置を操作するとともに、前記第二情報処理装置で検出された当該第二情報処理装置の使用者の動作に応じて当該第二情報処理装置を操作する操作モードであること
    　を特徴とする情報処理システム。
19. 　請求項１７記載の情報処理システムであって、
    　前記連携操作モード時に、前記第一情報処理装置および前記第二情報処理装置の少なくとも一方において、当該連携操作モードを終了させる予め定めた終了トリガ動作を検出した場合、前記第一情報処理装置および前記第二情報処理装置は、単体操作モードで操作され、
    　前記単体操作モードは、前記第一情報処理装置で検出された当該第一情報処理装置の使用者の動作に応じて当該第一情報処理装置を操作するとともに、前記第二情報処理装置で検出された当該第二情報処理装置の使用者の動作に応じて当該第二情報処理装置を操作する操作モードであること
    　を特徴とする情報処理システム。
     

Images