WO2020166140A1 - ウェアラブルユーザインタフェース制御システム、それを用いた情報処理システム、および、制御プログラム - Google Patents

Abstract

複数の入力動作のなかから適切な入力動作を容易に設定可能な、ウェアラブルデバイスの制御システムを提供する。　入力動作設定部は、入力操作として受け付けるべきユーザの動作を選択する。ユーザに装着され、ユーザの少なくとも一つの部位の動きを検出するセンサから、入力受付部は、出力を受け取る。入力受付部は、入力動作設定部が選択した動作をユーザが行ったことをセンサの出力に基づいて検出した場合、動作をユーザによる入力操作として受け付ける。入力動作設定部は、ユーザの置かれている環境、および、入力操作以外のユーザの作業動作のうち少なくも一方に基づいて、予め定められた複数種類のユーザの動作の中から、入力操作として受け付けるべきユーザの動作を選択し、入力受付部に設定する。

Description

ウェアラブルユーザインタフェース制御システム、それを用いた情報処理システム、および、制御プログラム

　本発明は、ウェアラブルデバイスを体に装着して作業を行うユーザから情報入力を受け付けて処理を行い、ユーザに対して出力情報を表示等するシステムに関する。

　近年、スマートグラスやスマートウォッチ等と呼ばれる眼鏡型や腕時計型のウェアラブルデバイスを体に装着した作業者に、拡張現実（AR）技術で現実の風景に作業用のスイッチを示す画像を重畳させて表示して、その画像上のスイッチの操作を可能にしたり、所定のユーザが指によるジェスチャーをすることにより操作を開始する技術が、例えば特許文献１および２等に提案されている。

　具体的には、特許文献１には、スマートグラスの表示画面に、予め用意しておいたキーボードの画像を重畳表示させ、ユーザが表示画面上で自分の指でキーボード画像を操作する動きをすることにより、キーボードが操作されたと判断する技術が開示されている。このとき、特許文献１の技術では、ヘッドマウントディスプレイの表示画面内のキーボード画像を重畳表示する位置を、ユーザの操作しやすい位置にするため、表示画面に表示される、ユーザの腕に取り付けられたデバイスの画像の位置をマーカー（基準）として、キーボード画像を重畳表示する位置が決定される。

　特許文献２には、眼にスマートグラスを装着し、腕に動作センサを装着したユーザが、対象物を見ながら、指で所定のジェスチャーをすることにより、対象物の画像検索を開始するウェアラブル検索システムが開示されている。

特許第６２８８３７２号公報 特開２０１６－１１５１２５号公報

　従来提案されている技術では、システムを操作する際の入力動作が、スマートグラスの表示画面上に重畳表示されたキーボード画像を指で操作する動作（特許文献１）や、ユーザの指による所定のジェスチャー（特許文献２）のように、予めシステムによって定められた動作である。

　ウェアラブルデバイスを用いたシステムは、ユーザがシステムの端末等のデバイスを手に持つ必要がないことが特長であり、ユーザは、両手を使って所望の作業や動作をしながらシステムを操作して情報を入力し、システムの表示画面等から必要な情報の出力を得ることが望まれる。しかしながら、ユーザの両手が、作業のための道具によってふさがれていたり、作業空間が狭い等の制約があることも多く、ユーザがキーボード画像を指で操作したり、所定のジェスチャーをすることが困難な場合がある。

　本発明は、複数の入力動作のなかから適切な入力動作を容易に設定可能な、ウェアラブルデバイスの制御システムを提供することにある。

　上記目的を達成するために、本発明のウェアラブルユーザインタフェース制御システムは、入力操作として受け付けるべきユーザの動作を選択する入力動作設定部と、ユーザに装着され、ユーザの少なくとも一つの部位の動きを検出するセンサの出力を受け取って、センサの出力に基づいて、入力動作設定部が選択した動作をユーザが行ったことを検出した場合、動作をユーザによる入力操作として受け付ける入力受付部とを有する。入力動作設定部は、ユーザの置かれている環境、および、入力操作以外のユーザの作業動作のうち少なくも一方に基づいて、予め定められた複数種類のユーザの動作の中から、入力操作として受け付けるべきユーザの動作を選択し、入力受付部に設定する。

　本発明のユーザインタフェース制御システムを用いることにより、ユーザの置かれている環境な作業内容に応じて、複数種類の入力動作のなかから適切な入力動作を選択することができる。

本実施形態のウェアラブルユーザインタフェース制御システムを用いた情報処理システムの全体構成を示す説明図。 図１の情報処理システムの各部の詳しい構成を示すブロック図。 実施形態の動作判定部１２１の動作を示すフローチャート。 実施形態のウェアラブルＵＩ制御システム１０１の構成を示すブロック図。 実施形態の情報処理システムの動作を示すフローチャート。 実施形態のウェアラブルＵＩ制御システム１０１が表示する画面例。 実施形態のウェアラブルＵＩ制御システム１０１が表示する画面例。 実施形態のウェアラブルユーザインタフェース制御システムにおいて、初期条件、検出した環境、および、検出した作業動作と、選択すべき入力方法との対応関係を示す説明図。 実施形態のウェアラブルユーザインタフェース制御システムの動作を示すフローチャート。 実施形態のウェアラブルＵＩ制御システム１０１が表示する画面例。 実施形態のウェアラブルＵＩ制御システム１０１が表示する画面例。 （ａ）～（ｅ）実施形態のウェアラブルＵＩ制御システム１０１が表示するメニュー画面と、複数の入力方法の組み合わせにより項目を選択する工程を示す画面例。

　以下に、本発明の実施の形態にかかるウェアラブルユーザインタフェース制御システムを用いた情報処理システムについて説明する。

　＜＜情報処理システムの全体構成＞＞
　図１は、本実施形態の情報処理システムの全体構成を示し、図２は、情報処理システムの各部の構成を示している。

　図１および図２に示すように、本実施形態の情報処理システムは、ウェアラブル端末（一例としてスマートグラス）１０と、ウェアラブルセンサ（一例としてモーションセンサ付きスマートウォッチ）２０と、サーバー４０と、ネットワーク（一例として無線ＬＡＮ(Local Area Network）)３０とを備えている。スマートグラス１０は、ユーザ（作業者）に眼鏡として装着される。スマートウォッチ２０は、ユーザの腕に装着される。スマートグラス１０とスマートウォッチ２０は、無線ＬＡＮ３０を介して、サーバー４０に接続されている。

　スマートグラス１０とスマートウォッチ２０は、ユーザによる入力操作を受け付け、ユーザに演算処理結果を出力（表示等）するユーザインタフェース（ＵＩ）を構成している。これらがユーザからの入力操作を受け付ける機能は、ウェアラブルＵＩ制御システム１０１によって制御されている。本実施形態では、ウェアラブルＵＩ制御システム１０１は、スマートグラス１０とスマートウォッチ２０が複数種類の入力方法による入力操作を受け付け可能となるように制御し、しかも、ユーザが置かれている環境や作業動作に応じて、適切な入力方法で入力操作をできるように、入力方法を選択して設定する。

　本実施形態では、ウェアラブルＵＩ制御システム１０１を、スマートグラス１０内のＣＰＵ１２内に配置した構成の例について説明する。ただし、ウェアラブルＵＩ制御システム１０１を、スマートウォッチ２０やサーバー４０に配置することも可能である。

　ウェアラブルＵＩ制御システム１０１の制御下でスマートグラス１０とスマートウォッチ２０がユーザから受け付けた入力操作は、無線ＬＡＮ３０を介してサーバー４０に受け渡され、サーバー４０において所定の演算処理が実行される。演算処理結果は、無線ＬＡＮ３０を介して、スマートグラス１０の表示機能やスマートウォッチ２０のバイブレータ機能によりユーザに対して出力される。

　＜スマートグラス１０＞
　スマートグラス１０は、図２に示すように、眼鏡と、眼鏡の一部に搭載された、モーションセンサ１４、カメラ１５、表示部１９、投影制御部１８、無線通信デバイス１３、システムコントローラ１１、ＣＰＵ１２、メインメモリ１６、ストレージデバイス１７、および、操作ボタン５１を備えて構成される。

　モーションセンサ１４は、移動速度または加速度を検出することにより、眼鏡を装着したユーザの頭部の上下左右の移動および回転を検知する。

　カメラ１５は、ユーザの視線の方向等の所定の方向の画像を撮像する。

　ＣＰＵ１２は、メインメモリ１６やストレージデバイス１７に予め格納されたプログラムを実行することにより種々の演算を実行する。これにより、ＣＰＵ１２は、動作判定部１２１と、ウェアラブルＵＩ制御システム１０１の機能をそれぞれ実現する。

　動作判定部１２１は、モーションセンサ１４の出力を処理することにより、ユーザが頷いたか、上または下を向いたか、首を左右に振ったか、等のユーザが所定の動作を検出する。具体的には、図３に示したように、動作判定部１２１は、モーションセンサ１４が検知した値（移動方向、移動速度、移動量、回転方向、回転速度、回転量等）を受け取って（ステップ３０１）、予め定めた数式に代入して特徴量を算出する（ステップ３０２）。算出した特徴量が、予め定めておいた１以上の動作（例えば、頷き動作、上を向く動作、下を向く動作、首を左または右に回す動作、首を左右に振る動作等）のそれぞれの特徴量の範囲に含まれるか判定し（ステップ３０３）、いずれかの動作の特徴量の範囲に含まれる場合、その動作をユーザが行ったと判定する（ステップ３０４）。

　ウェアラブルＵＩ制御システム１０１の機能については、後で詳しく説明する。

　また、ＣＰＵ１２は、モーションセンサ１４が検知した値と、カメラ１５の撮像した画像とを受け取って処理することにより、画像に映っているユーザの周囲の壁とカメラの距離を算出することもできる。例えば、頭（スマートグラス１０）の移動量と、カメラ１５の画像の変化の大きさとを対比することにより、公知の技術により、頭（スマートグラス）とカメラに映った壁との距離が、予め定めた距離（例えば１ｍ）以内の至近距離かどうか判断することができる。また、ＣＰＵ１２は、カメラ１５の撮像した画像を処理することにより、ユーザが、いずれかの腕（例えば、スマートウォッチ２０をしている方の腕）に道具を持っているかどうか、を検出することができる。

　メインメモリ１６およびストレージデバイス１７には、カメラ１５の撮像した画像やＣＰＵ１２の演算結果が必要に応じて格納される。また、メインメモリ１６およびストレージデバイス１７には、表示部１９に表示する画像を格納することもできる。

　表示部１９は、眼鏡のレンズの一部に配置され、投影制御部１８の制御下で所定の画像をユーザの視野内に投影する。これにより、ユーザが眼鏡のレンズを通して視認する現実の風景に、表示部１９が投影する画像を重畳させて表示することができる。これにより、表示部１９には、ユーザに対して報知すべき情報や、次にユーザが作業すべき工程の説明等のようなサーバー４０の演算処理結果を表示することができる。

　なお、表示部１９は、ユーザの網膜に画像を投影する構造のものを用いることも可能である。

　無線通信デバイス１３は、システムコントローラ１１と、サーバー４０やスマートウォッチ２０との間の通信を行う。

　システムコントローラ１１は、モーションセンサ１４、カメラ１５、表示部１９、投影制御部１８、無線通信デバイス１３、システムコントローラ１１、ＣＰＵ１２、メインメモリ１６、および、ストレージデバイス１７の動作の制御を行う。

　操作ボタン５１は、ユーザからの操作を受け付けるために腕時計に設けられたボタンである。

　＜スマートウォッチ２０＞
　スマートウォッチ２０は、図２に示すように、腕時計と、腕時計の一部に搭載された、モーションセンサ２４、バイブレータ２５、無線通信デバイス２３、システムコントローラ２１、ＣＰＵ２２、メインメモリ２６、ストレージデバイス２７、および、操作ボタン５２を備えて構成される。

　モーションセンサ２４は、移動速度または加速度を検出することにより、腕時計を装着したユーザの腕の上下左右の移動および回転を検知する。

　ＣＰＵ２２は、メインメモリ２６やストレージデバイス２７に予め格納されたプログラムを実行することにより種々の演算を実行する。例えば、ＣＰＵ２２は、モーションセンサ２４の出力を処理することにより、ユーザがスマートウォッチ２０をつけた腕で、叩く、ひねる、挙手等のユーザが所定の動作を検出する動作判定部２２１の機能を実現する。具体的には、図３と同様に、ＣＰＵ２２は、モーションセンサ２４が検知した値（移動方向、移動速度、移動量、回転方向、回転速度、回転量等）を受け取って（ステップ３０１）、予め定めた数式に代入して特徴量を算出し（ステップ３０２）、算出した特徴量が、予め定めておいた１以上の動作（例えば、腕で叩く動作、腕をひねる動作、挙手する動作等）のそれぞれの特徴量の範囲に含まれるか判定し（ステップ３０３）、いずれかの特徴量の範囲に含まれる場合、その動作をユーザが行ったと判断する（ステップ３０４）。これにより、ＣＰＵ２２は、動作判定部２２１の機能を実現することができる。

　メインメモリ２６およびストレージデバイス２７には、ＣＰＵ２２の演算結果が必要に応じて格納される。

　バイブレータ２５は、振動することにより、ユーザに情報を伝達する。バイブレータ２５は、振動する時間長さや振動周波数を異ならせたり、間欠的に振動し、間欠時間の長さを変更することにより、ユーザに複数種類の情報を伝達することも可能である。メインメモリ２６およびストレージデバイス２７には、予め定めておいた、バイブレータ２５の振動の種類と、伝達する情報の関係とを予め格納しておいてもよい。

　無線通信デバイス２３は、システムコントローラ２１と、サーバー４０やスマートグラス１０との間の通信を行う。

　操作ボタン５２は、ユーザからの操作を受け付けるために腕時計に設けられたボタンである。

　＜サーバー４０＞
　サーバー４０は、スマートグラス１０およびスマートウォッチ２０のシステムコントローラ１１，１２から無線ＬＡＮ３０を介して、入力を受け取り、演算処理を施し、演算結果（例えば、次に作業すべき工程内容を示すデータ）をスマートグラス１０やスマートウォッチ２０に出力する。スマートグラス１０のシステムコントローラ１１は、表示部１９に受け取った内容を表示させる等により受け取ったデータをユーザに報知する。スマートウォッチ２０のシステムコントローラ２１は、バイブレータ２５を振動させることにより受け取ったデータをユーザに報知する。

　＜ウェアラブルＵＩ制御システム１０１＞
　スマートグラス１０のＣＰＵ１２が実現するウェアラブルＵＩ制御システム１０１の機能について説明する。ウェアラブルＵＩ制御システム１０１は、図４に示すように、入力受付部１０２と入力動作設定部１０３とを備えている。

　入力動作設定部１０３は、入力操作として受け付けるべきユーザの動作を選択し、入力受付部１０２に設定する。このとき、入力動作設定部１０３は、ユーザの置かれている環境、および、入力操作以外のユーザの作業動作のうち少なくも一方に基づいて、どのユーザ動作を入力操作とすべきかを判断して選択する。入力受付部１０２は、動作判定部１２１、２２１が検出した動作が、入力動作設定部１０３が設定した動作である場合、ユーザによる入力操作として受け付ける。

　これにより、ユーザの手に道具が持たれているかどうかや、ユーザから壁までの距離が所定の距離以上かどうかといった、ユーザが置かれている環境に応じて、入力動作設定部１０３は、ユーザがしやすい動作を入力操作として設定することができる。

　入力動作設定部１０３は、ユーザの作業動作として、ユーザの手および首の動作の少なくとも一方を検出し、検出された作業動作とは異なる動作を、入力動作として選択して設定することもできる。例えば、予め定めておいた、作業動作と、選択すべき入力操作との対応関係に基づいて、入力動作設定部１０３は、検出された作業動作に対応する入力動作を求め、それを入力操作として設定することができる。

　このように、本実施形態のウェアラブルＵＩ制御システム１０１によれば、ユーザの置かれている環境や行っている作業内容（動作）に応じて、ユーザが実行しやすい動作であって、作業内容との混同が生じにくい動作を入力方法（入力動作）として設定することができる。環境や作業内容の検出は、ユーザが実際の作業動作を行っている期間であって、所定の期間（例えば、予め設定した試用期間）に行えばよく、ユーザが検出のための期間の終了を指示した場合、それまでの検出結果に応じて、入力動作として用いる動作を決定し、設定する。

　以下、ウェアラブルＵＩ制御システム１０１の動作を含めて、本実施形態の情報処理システムの動作を図５のフローを用いて具体的に説明する。ここでは、情報処理システムのサーバー４０は、ユーザに作業すべき工程の内容を表示し、ある工程の作業完了をユーザが入力したならば、次の工程の作業内容を表示する場合を例に説明する。なお、ウェアラブルＵＩ制御システム１０１の機能は、ＣＰＵ１２がメインメモリ内に予め格納されたプログラムを読み込んで実行することにより、ソフトウエアにより実現する例についてここでは説明する。ただし、ウェアラブルＵＩ制御システム１０１は、ソフトウエアで実現する場合に限定されるものではなく、その一部または全部をハードウエアによって実現することも可能である。例えば、ＡＳＩＣ（Application Specific Integrated Circuit）のようなカスタムＩＣや、ＦＰＧＡ（Field-Programmable Gate Array）のようなプログラマブルＩＣを用いてシステムコントローラ（制御部２０）を構成し、その機能を実現するように回路設計を行えばよい。

　（ステップ４０１）
　まず、ウェアラブルＵＩ制御システム１０１は、ユーザ（作業者）から初期条件の入力を受け付けるため、図６のようなＵＩ画面をシステムコントローラ１１を介して表示部１９に表示させる。このＵＩ画面上で、ウェアラブルＵＩ制御システム１０１は、ユーザがヘルメットをかぶっているかどうか、どの入力方法を入力操作とするかを自動で決めるか、手動で決めるか、をスマートグラス１０の操作ボタン５１の操作により、もしくはスマートウォッチの操作ボタン５２の操作を無線ＬＡＮ３０を介して受信することにより、受け付ける。ユーザが入力操作を自動で決めることを選択した場合、ウェアラブルＵＩ制御システム１０１は、入力方法を決定する期間である試用期間の長さについても、同様に受け付ける。ウェアラブルＵＩ制御システム１０１は、初期条件入力を受け付けたならば、サーバー４０にその旨を通知する。

　（ステップ４０２、４０３）
　サーバー４０は、予め定められた工程１の作業内容と作業開始を指示する例えば図７のような画像データをスマートグラス１０に受け渡し、表示部１９に表示させる。表示を見たユーザは、作業を開始する。

　（ステップ４０４、４０５）
　ステップ４０４において、ウェアラブルＵＩ制御システム１０１は、ステップ４０１で受け付けた初期入力を確認し、どの入力方法を入力操作とするかを自動で決定することが選択されている場合、ステップ４０５に進み、現時点が、初期入力において設定された試用期間内であるかどうかを判定する。試用期間である場合、ウェアラブルＵＩ制御システム１０１は、ステップ４１１に進む。

　（ステップ４１１）
　ウェアラブルＵＩ制御システム１０１は、ユーザがステップ４０３で表示された工程１の作業をしている間、ユーザが置かれている環境の検出を行う。ここでは、一例として、ユーザが、スマートウォッチ２０をつけた手に道具を持っているかどうかを、ＣＰＵ１２がカメラ１５が撮像した画像を取り込んで画像処理することにより検出する。

　（ステップ４１２）
　つぎに、ウェアラブルＵＩ制御システム１０１は、ユーザが作業をしている間の作業動作の検出を行う。具体的には、ウェアラブルＵＩ制御システム１０１は、スマートウォッチ２０の動作判定部２２１にユーザが作業をしている間の動作判定を指示し、判定結果を受け取ることにより、スマートウォッチ２０をつけた手で叩き作業をしている作業量（時間）と、スマートウォッチ２０をつけた手でひねり作業をしている作業量（時間）を計測する。

　（ステップ４１３）
　ウェアラブルＵＩ制御システム１０１は、ユーザが操作ボタン５１または５２を操作することにより、入力方法の選択のための作業動作の終了を指示するまで、上記ステップ４１１，４１２の環境の検出と作業動作の検出を継続する。ユーザが、入力方法の選択のための作業動作が終了したと指示した場合には、ステップ４１４に進む。

　（ステップ４１４）
　ウェアラブルＵＩ制御システム１０１は、ステップ４０１において受け付けた初期条件、ステップ４１１，４１２において検出した環境や作業動作に応じて、入力方法を選択し、設定する。具体的には、図８に示したように、入力を受け付けた条件、検出した環境および作業動作と、選択すべき入力方法との対応関係に基づいて入力方法を選択する。

　入力方法の選択手順を図９の処理フローを用いて具体的に説明する。ウェアラブルＵＩ制御システム１０１は、メインメモリ１６からステップ４０１で受け付けた初期条件を読み込み（ステップ９０１）、ユーザがヘルメットをかぶっているかどうかを判定し（ステップ９０２）、ヘルメットなしの場合には、ステップ９１０に進み、首を頷く動作（首肯）を入力方法（入力動作）として選択する。

　ステップ９０２においてヘルメットありの場合には、ウェアラブルＵＩ制御システム１０１は、ステップ９０３に進み、ステップ４１１で検出した環境を読み込み、スマートウォッチ２０をつけた手に道具を持っているかどうか判定する（ステップ９０４）。道具を持っていない場合、ウェアラブルＵＩ制御システム１０１は、ステップ９１１に進み、スマートウォッチ２０をつけた手を挙げる挙手動作を入力動作として選択する。

　ステップ９０４において道具を持っている場合、ウェアラブルＵＩ制御システム１０１は、ステップ９０５に進み、ステップ４１２で検出した作業動作を読み込み、スマートウォッチ２０をつけた手で叩き作業しているかどうか判定する（ステップ９０６）。叩き作業をしていない場合、スウェアラブルＵＩ制御システム１０１は、ステップ９１２に進み、スマートウォッチ２０をつけた手でタップする（軽く叩く）動作を入力動作として選択する。

　ステップ９０６においてスマートウォッチ２０をつけた手で叩き作業している場合、ウェアラブルＵＩ制御システム１０１は、ステップ９０７に進み、ステップ４１２で検出した作業動作においてスマートウォッチ２０をつけた手でひねり作業しているかどうか判定する（ステップ９０７）。ひねり作業をしていない場合、ウェアラブルＵＩ制御システム１０１は、ステップ９１３に進み、スマートウォッチ２０をつけた手でひねる動作を入力動作として選択する。

　ステップ９０７においてスマートウォッチ２０をつけたひねり作業していると場合には、叩き作業とひねり作業を両方行っている場合であるので、ウェアラブルＵＩ制御システム１０１は、ステップ９０８に進み、ステップ４１２で検出した作業動作の叩き動作の作業量とひねり動作の作業量とを比較し、叩き作業量がひねり作業量より多いかどうか判定する。叩き作業量がひねり作業量よりも少ない場合、ウェアラブルＵＩ制御システム１０１は、ステップ９１４に進み、スマートウォッチ２０をつけた手でタップする動作を入力動作として選択する。叩き作業量がひねり作業量よりも多い場合、ウェアラブルＵＩ制御システム１０１は、ステップ９０９に進み、スマートウォッチ２０をつけた手でひねるタップする動作を入力動作として選択する。

　以上により、ウェアラブルＵＩ制御システム１０１は、初期条件と、その工程においてユーザが置かれている環境と、その工程の作業内容に応じて、適した入力動作を選択することができる。ウェアラブルＵＩ制御システム１０１は、メインメモリ１６等に、そのユーザの当該工程の入力動作として、選択した入力動作を保存する。ウェアラブルＵＩ制御システム１０１は、設定した入力動作を、図１０のような表示を表示部１９に表示する等して、ユーザに報知する。また、ウェアラブルＵＩ制御システム１０１は、入力動作の選択および設定完了をサーバー４０に通知する。

　上記ステップ４０１、４０４、４０５、４１１～４１４の動作が、ウェアラブルＵＩ制御システム１０１の入力動作設定部１０３の動作である。

　（ステップ４０７、４０８）
　ウェアラブルＵＩ制御システム１０１は、図１０のような表示等により、現在の工程の作業継続をユーザに指示し（ステップ４０７）、動作判定部１２１、２２１がステップ４１４で設定された入力動作を受け付けるまで待機する。動作判定部１２１、２２１がステップ４１４で設定された入力動作を受け付けた場合には、ユーザが作業完了を入力したと判断し、サーバー４０に通知する（ステップ４０８）。

　これらステップ４０７，４０８の動作は、ウェアラブルＵＩ制御システム１０１の入力受付部１０２の動作である。

　（ステップ４０９、４１０）
　サーバー４０は、すべての作業工程が終了しているかどうか判定し、このあとに続く工程がある場合には、ステップ４０３に戻って、次工程の作業内容と作業開始を指示する。

　（ステップ４０６）
　なお、上述のステップ４０５において、試用期間が終了している場合には、ウェアラブルＵＩ制御システム１０１の入力動作設定部１０３は、ステップ４０６に進み、前回ステップ４１４で選択した入力動作を、受け付けるべき入力操作として入力受付部１０２に設定する。ウェアラブルＵＩ制御システム１０１は、ステップ４０７に進む。

　これにより、ウェアラブルＵＩ制御システム１０１の入力動作設定部１０３は、試用期間とは異なり、ステップ４１１～４１４を実行することなく、そのユーザのその工程に適した入力方法を設定することができる。

　（ステップ４１５）
　また、ステップ４０４において、ユーザが入力方法として手動を選択している場合、ウェアラブルＵＩ制御システム１０１は、ステップ４１５に進み、ユーザに図１１のような選択画面を表示する等して、ユーザの操作ボタン５１，５２の操作等により、入力動作の選択を受け付ける。ユーザが選択可能な入力動作は、動作判定部１２１，２２１が判定可能な動作である。ここでは、動作判定部１２１が、頷き動作、上を向く動作、下を向く動作、首を左または右に回す動作、首を左右に振る動作等を判定可能であり、動作判定部２２１が、腕で叩く動作、腕をひねる動作、挙手する動作等を判定可能であるので、これらのいずれかをユーザは、入力動作として選択する。

　ウェアラブルＵＩ制御システム１０１の入力動作設定部１０３は、ユーザから受け付けた入力動作を、入力受付部１０２に受け付けるべき入力操作として設定した後、ステップ４０７に進む。

　上述してきたように、本実施形態にかかる情報処理システムは、ウェアラブルＵＩ制御システム１０１を備え、複数種類の入力方法（入力動作）によって操作することが可能であり、それらの入力方法のうち、ユーザの環境や作業動作に基づいて適切な入力方法を特定の入力操作に割り当てる設定を容易に行うことができる。これにより、ユーザの両手がふさがっていたり、ヘルメットをかぶっていたりする制約の多い環境や作業内容の場合でも、操作しやすい適切な入力動作を設定できる。よって、ユーザによる誤操作を低減して、効率よく作業を行うことが可能な情報処理システムを提供することができる。

　なお、首肯入力やタップ入力で、頷き回数やタップ回数は１回に限られるものではなく、頷き２回やダブルタップ等、複数回の動作による入力を受け付け可能にすることももちろん可能である。

　また、本実施形態では、ヘルメットをかぶっていない場合、首肯入力を入力動作として選択する例について説明したが、首肯以外の他の首の動作や、手の動作を選択する構成にすることももちろん可能である。また、作業工程が、スマートグラス１０のカメラ１５での撮影を行う工程である場合には、首の動作を入力動作とすると、画像がぶれるという影響が生じるため、手の動作を選択することが望ましい。

　＜＜入力方法の組み合わせ＞＞
　上述した図５のフローでは、ウェアラブルＵＩ制御システム１０１が設定した一つの入力方法（入力動作）を、作業完了の入力動作として用いる例について説明したが、他の入力動作やメニュー画像表示と組み合わせることにより、作業完了以外の他の入力を行う構成にすることもできる。

　例えば、上を向いて静止する動作を「メニュー画面の表示」、下を向く動作を「メニュー画面のキャンセル」、スマートウォッチをつけた腕をひねる動作を「メニュー画面におけるターゲット（選択位置）移動」、上述の実施形態で選択した入力操作（ここでは、スマートウォッチをつけた腕をタップする動作）を「完了（または決定）」に予め割り当てておく。

　そして、ウェアラブルＵＩ制御システム１０１は、動作判定部１２１がユーザが上を向いて静止したと判定した場合、図１２（ａ）にように、予め定めたメニュー画面をメインメモリ１６等から呼び出して、表示部１９に表示させる。図１２（ａ）のメニュー画面は、５つの項目Ａ～Ｅが並べて表示されている。

　スマートウォッチ２０をつけた腕をひねる動作をユーザが行ったことを動作判定部２２１が判定した場合、ウェアラブルＵＩ制御システム１０１は、図１２（ｂ）のようにメニュー画面におけるターゲット（選択位置）を移動させる。ユーザは、選択したい項目（例えば項目Ｃ）の位置にターゲットが移動するまで、繰り返し腕をひねる動作を行ったならば（図１２（ｃ））、この項目での入力を決定するために腕をタップする。動作判定部２２１がタップ動作が行われたと判定した場合、ウェアラブルＵＩ制御システム１０１は、図１２（ｄ）のように現在選択されている項目Ｃに入力を決定する（完了入力）。

　そして、ユーザが下向いて静止したと動作判定部１２１が判定した場合、ウェアラブルＵＩ制御システム１０１は、図１２（ｅ）のようにメニュー画面を消去し、入力決定された項目Ｃをサーバー４０に通知し、サーバー４０は項目Ｃを実行する。

　このように、他の入力動作やメニュー画像表示と組み合わせることにより、メニュー画面の項目選択等の他の入力方法を実現することができる。

　なお、図５のフローにおいて、ステップ４１４で設定された入力動作を完了入力として用いる場合、完了入力以外の動作に、ステップ４１４で設定した入力動作とは異なる動作を割り当てることが望ましい。

　以上のように、本実施形態では、作業環境や作業内容に応じて、操作者が容易に操作することのできるウェアラブルＵＩ制御システム１０１を備えた情報処理システムを提供することができる。

　なお、本実施形態では、ウェアラブル端末として、スマートグラス１０を用いたが、モーションセンサおよびカメラが備えられたヘルメットやヘアバンドと、ユーザの近くに配置されたディスプレイまたは持ち運び可能なディスプレイの組み合わせでもよい。ウェアラブルセンサとして、本実施形態ではスマートウォッチ２０を用いたが、時計機能がなくてもよく、腕に装着するベルトつきモーションセンサでもよい。

　また、本実施形態では、ウェアラブルＵＩ制御システム１０１をスマートグラス１０内のＣＰＵ１２に配置したが、スマートウォッチ２０やサーバー４０に配置してもよい。また、動作判定部１２１、２２１をサーバー４０に配置することも可能である。

１０…ウェアラブル端末（スマートグラス）、１１…システムコントローラ、１２…ＣＰＵ、１３…無線通信デバイス、１４…モーションセンサ、１５…カメラ、１６…メインメモリ、１７…ストレージデバイス、１８…投影制御部、１９…表示部、２０…ウェアラブルセンサ（スマートウォッチ）、２１…システムコントローラ、２２…ＣＰＵ、２３…無線通信デバイス、２４…モーションセンサ、２５…バイブレータ、２６…メインメモリ、２７…ストレージデバイス、３０…ネットワーク（無線ＬＡＮ）、４０…サーバー、５１、５２…操作ボタン、１０１…ウェアラブルＵＩ制御システム、１２１…動作判定部、２２１…動作判定部

Claims (10)

1. 　入力操作として受け付けるべきユーザの動作を選択する入力動作設定部と、
   　ユーザに装着され、ユーザの少なくとも一つの部位の動きを検出するセンサの出力を受け取って、前記センサの出力に基づいて、前記入力動作設定部が選択した前記動作をユーザが行ったことを検出した場合、前記動作をユーザによる入力操作として受け付ける入力受付部とを有し、
   　前記入力動作設定部は、前記ユーザの置かれている環境、および、前記入力操作以外のユーザの作業動作のうち少なくも一方に基づいて、予め定められた複数種類のユーザの動作の中から、前記入力操作として受け付けるべき前記ユーザの動作を選択し、前記入力受付部に設定することを特徴とするウェアラブルユーザインタフェース制御システム。
2. 　請求項１に記載のウェアラブルユーザインタフェース制御システムであって、前記入力動作設定部は、予め定められた試用期間である場合、前記ユーザの置かれている環境、および、前記入力操作以外のユーザの作業動作のうち少なくとも一方を検出し、検出結果に基づいて前記入力操作として受け付けるべき前記ユーザの動作を選択することを特徴とするウェアラブルユーザインタフェース制御システム。
3. 　請求項２に記載のウェアラブルユーザインタフェース制御システムであって、前記入力動作設定部は、前記ユーザの置かれている環境として、ユーザの手に道具が持たれているかどうか、および、ユーザから壁までの距離が所定の距離以上かどうかのうち、少なくとも一方を検出することを特徴とするウェアラブルユーザインタフェース制御システム。
4. 　請求項２に記載のウェアラブルユーザインタフェース制御システムであって、前記入力動作設定部は、前記ユーザの作業動作として、ユーザの手および首の動作の少なくとも一方を検出することを特徴とするウェアラブルユーザインタフェース制御システム。
5. 　請求項２に記載のウェアラブルユーザインタフェース制御システムであって、前記入力動作設定部は、予め定められた複数種類のユーザの動作のうち、前記作業動作として検出された動作とは異なる動作を、前記入力操作として受け付ける動作として選択することを特徴とするウェアラブルユーザインタフェース制御システム。
6. 　請求項５に記載のウェアラブルユーザインタフェース制御システムであって、前記入力動作設定部は、予め定めておいた、作業動作と、選択すべき動作との対応関係に基づいて、検出された前記作業動作に対応する前記選択すべき動作を求め、それを前記入力操作として受け付けるべき動作として設定することを特徴とするウェアラブルユーザインタフェース制御システム。
7. 　請求項１に記載のウェアラブルユーザインタフェース制御システムであって、前記入力動作設定部は、前記センサが前記ユーザの腕に装着されている場合、前記センサの出力に基づいて、前記環境および前記作業動作の少なくとも一方を検出することを特徴とするウェアラブルユーザインタフェース制御システム。
8. 　請求項１に記載のウェアラブルユーザインタフェース制御システムであって、前記入力動作設定部は、前記ユーザにカメラが装着されている場合、前記カメラの撮像した画像に基づいて、前記環境および前記作業動作の少なくとも一方を検出することを特徴とするウェアラブルユーザインタフェース制御システム。
9. 　請求項１ないし８のいずれか１項に記載のウェアラブルユーザインタフェース制御システムと、
   　前記入力受付部が受け付けた入力操作に応じて、予め定められた演算処理を行う処理部とを有する情報処理システム。
10. 　コンピュータを、
    　ユーザの置かれている環境、および、ユーザの作業動作のうち少なくも一方に基づいて、予め定められた複数種類のユーザの動作の中から、入力操作として受け付けるべきユーザの動作を選択する入力動作設定手段と、
    　ユーザに装着され、ユーザの少なくとも一つの部位の動きを検出するセンサの出力を受け取って、前記センサの出力に基づいて、前記入力動作設定手段が選択した前記動作をユーザが行ったことを検出した場合、前記動作をユーザによる入力操作として受け付ける入力受付手段と、
    　として機能させるウェアラブルユーザインタフェース制御プログラム。

Images