JP5868886B2

JP5868886B2 - ウェアラブルコンピュータ入力装置

Info

Publication number: JP5868886B2
Application number: JP2013047597A
Authority: JP
Inventors: 昭司渡邊
Original assignee: Toshiba Mitsubishi Electric Industrial Systems Corp
Current assignee: Toshiba Mitsubishi Electric Industrial Systems Corp
Priority date: 2013-03-11
Filing date: 2013-03-11
Publication date: 2016-02-24
Anticipated expiration: 2033-03-11
Also published as: JP2014174790A

Description

本発明は、使用者が装着して使用するウェアラブルコンピュータ入力装置に関する。

従来のモバイルコンピューティングシステムにおいては、例えばプラントなどの現場でプロセス制御を実施する場合、ＰＤＡ（Personal Digital Assistants）などの小型の携帯端末を現場に持参し、携帯端末画面上でのオペレーション（以下、「プロセスオペレーション」という。）で制御を実施する必要があった。また、プロセスオペレーション以外の作業が発生した場合には、携帯端末を衣服のポケットやカバンの中に収納する、あるいは現場設備の床上などに置いてから作業していた。

特開２０００−２９６１９号公報

このように、従来のモバイルコンピューティングにおいては、現場でプロセス制御を実施する場合には、携帯端末を手に持ちながら作業をしなければならない。すなわち、携帯端末を取り出してから持ち直す等の予備動作が必要であり、作業効率が悪くなるという問題があった。

そこで、本発明は、上記従来技術の問題に鑑み、現場でのプロセスオペレーションの実施時に、オペレータにとって良好な作業環境を提供することを解決しようとする課題とする。

本発明に係るウェアラブルコンピュータ入力装置は、入力操作画面およびマウスポインタを表示するディスプレイを含み、オペレータの頭部に装着される画像表示装置と、前記画像表示装置に固定され、所定周期で質問電波を送信する質問電波送信器と、この質問電波送信器の質問電波に対する応答電波を受信可能に、前記画像表示装置に所定の間隔で配置された複数の応答電波受信器と、前記オペレータの手部に固定され、前記質問電波を受信して、第１のタグＩＤで変調された前記応答電波を送信する第１のＲＦＩＤタグと、前記オペレータの少なくとも２本の指先に固定された複数の接触センサと、これらの接触センサが互いに接触することによって動作し、前記質問電波を受信して、第２のタグＩＤで変調された前記応答電波を送信する第２のＲＦＩＤタグと、前記複数の応答電波受信器から出力された前記第１のタグＩＤに係る応答電波に基づいて前記手部から前記複数の応答電波受信器までの距離を演算し、この距離に基づいて前記入力操作画面の所定の位置に前記マウスポインタを表示させると共に、前記第２のタグＩＤに係る応答電波に基づいて前記入力操作画面における入力操作を受付ける通信制御装置と、を備えることを特徴とする

本発明によれば、画像情報や入力操作を仮想空間上で実現し、オペレータの現場作業の負担を軽減することが出来る。

本発明の一実施形態に係るウェアラブルコンピュータ入力装置の全体構成例を示す外観図。図１に示すウェアラブルコンピュータ入力装置の全体構成例を示すブロック図。図１に示すオペレータ操作装置における左クリック操作の具体例を示す図。図１に示すオペレータ操作装置における右クリック操作の具体例を示す図。図１に示す画像表示装置上に表示される仮想画面の具体例を示す図。図１に示すオペレータ操作装置の動作と仮想画面上でのマウスポインタの移動との関係を説明する図。図１に示すウェアラブルコンピュータ入力装置における仮想画面起動処理の具体例を示すフローチャート。図１に示すウェアラブルコンピュータ入力装置におけるオペレーション操作の具体例を示すフローチャート。

以下、本発明の実施形態について図面を用いて詳細に説明する。図１は、本発明の一実施形態に係るウェアラブルコンピュータ入力装置１の全体構成例を示す外観図である。図２は、図１に示すウェアラブルコンピュータ入力装置１の全体構成例を示すブロック図である。図１および図２に示されるように、ウェアラブルコンピュータ入力装置１は、オペレータの手部に装着されるオペレータ操作装置１１と、オペレータの頭部に装着される画像表示装置１２と、オペレータがポケットに収納あるいは固定具を用いて携帯する通信制御装置１３とから構成されている。

本実施形態のオペレータ操作装置１１は、オペレータが容易に着脱出来るように手袋型の形態を採用している。オペレータ操作装置１１内には、接触センサ１１１Ａ〜１１１Ｃが指先に、ＲＦＩＤタグ１１２Ａ〜１１２Ｃが手の甲側にそれぞれ配置されている。このため、オペレーション操作以外の作業（例えば、物を持って移動させるなど）の際にも支障はない。接触センサ１１１Ａ〜１１１Ｃは、ＲＦＩＤタグ１１２Ａ〜１１２Ｃの電気回路上に設けられており、第１の接触センサ１１１Ａは手袋の親指、第２の接触センサ１１１Ｂは人差し指、第３の接触センサ１１１Ｃは中指の先にそれぞれ固定されている。ＲＦＩＤタグ１１２Ａ〜１１２Ｃは、質問電波の受信時にタグＩＤで変調された応答電波を送信する。第１のＲＦＩＤタグ１１２Ａ、第２のＲＦＩＤタグ１１２Ｂ、第３のＲＦＩＤタグ１１２Ｃとしては、パッシブタグを採用し、電力の供給源が無くても半永久的に動作する構造を提供する。

第１のＲＦＩＤタグ１１２Ａは、第１の電気回路が内部に予め形成されており、質問電波に対して第１のタグＩＤで変調された第１の応答電波を送信する。質問電波を常時受信可能としている理由は、後述する仮想画面の起動処理において第１の応答電波が利用されるからである。

図３は、図１に示すオペレータ操作装置１１における左クリック操作を示す図である。同図に示されるように、第２のＲＦＩＤタグ１１２Ｂは、第１の接触センサ１１１Ａと第２の接触センサ１１１Ｂの接触時に第２の電気回路が成立して動作可能となり、質問電波に対して第２のタグＩＤで変調された第２の応答電波を送信する。

図４は、図１に示すオペレータ操作装置１１における右クリック操作を示す図である。同図に示されるように、第３のＲＦＩＤタグ１１２Ｃは、第１の接触センサ１１１Ａと第３の接触センサ１１１Ｃの接触時に第３の電気回路が成立して動作可能となり、質問電波に対して第３のタグＩＤで変調された第３の応答電波を送信する。第２のＲＦＩＤタグ１１２Ｂと第３のＲＦＩＤタグ１１２Ｃは、オペレータによる入力操作を区別するためにタグＩＤが異なっているが、同種の機能を有するタグである。

本実施形態の画像表示装置１２は、オペレータが容易に着脱出来るように眼鏡型の形態を採用している。画像表示装置１２は、現場でのプロセス制御用の仮想画面（以下、「入力操作画面」ともいう。）に係る画像データおよびマウスポインタを画面表示する網膜ディスプレイ１２１と、所定周期で質問電波を送信する質問電波送信器１２２と、ＲＦＩＤタグ１１２Ａ〜１１２Ｃから応答電波を受信する受信器と通信制御装置１３側へ応答電波を送信する送信器からなる応答電波送受信器１２３Ａ〜１２３Ｃと、を含んでいる。網膜ディスプレイ１２１は、仮想画面の画像を直接網膜に投影するディスプレイである。尚、画像表示装置１２の形状としては、例えば水中、無菌室、汚染区域などの作業環境の場合にはヘルメット型を選択してもよい。この場合に用いるディスプレイは網膜ディスプレイ１２１だけに限られない。

第１の応答電波送受信器１２３Ａは、ＲＦＩＤタグ１１２Ａ〜１１２Ｃがそれぞれ送信した応答電波を画像表示装置１２の中央位置で受信し、第２の応答電波送受信器１２３Ｂは左端位置、第３の応答電波送受信器１２３Ｃは右端位置でそれぞれ受信する。このように、各送受信器を所定の間隔で離間して配置することで、電波の送受信時間の時間差からオペレータの手部に装着されたオペレータ操作装置１１の位置を正確に把握することを可能としている。

本実施形態の通信制御装置１３は、入力操作検出部１３１、画像データ送信部１３２、画像データ記憶部１３３およびデータ通信部１３４を含むコンピュータである。

入力操作検出部１３１は、複数の応答電波送受信器１２３Ａ〜１２３Ｃがそれぞれ出力した第１の応答電波を受信し、第１の応答電波の受信時間と質問電波の送信時間との時間差に基づいてオペレータ操作装置１１と複数の応答電波送受信器１２３Ａ〜１２３Ｃとの距離および入力操作画面内におけるマウスポインタの位置を演算すると共に、応答電波の送信元のタグＩＤ（第２のタグＩＤまたは第３のタグＩＤ）および応答電波の受信継続時間に基づいて入力操作画面におけるオペレータの入力操作を検出し、データ通信部１３４へ出力する。

画像データ送信部１３２は、入力操作画面に係る画像データを画像表示装置１２の網膜ディスプレイ１２１へ無線で送信する。画像データ記憶部１３３は、データ通信部１３４においてオペレーション管理装置１２から受信した画像データを記憶する。

データ通信部１３４は、入力操作画面に係る画像データおよび入力操作画面における入力操作の情報を管理するオペレーション管理装置２（コンピュータ本体）との間で無線通信を行う。データ通信部１３４は、オペレータ操作装置１１による入力操作に応じてオペレーション管理装置２側から取得した入力操作画面の画像データを画像データ記憶部１３３に一時格納し、画像データ送信部１３２へ出力する。また、データ通信部１３４は、入力操作検出部１３１で検出したマウスポインタの位置および入力操作の情報をオペレーション管理装置２に送信する。これにより、オペレータの入力操作の受付が完了する。

図５は、図１に示す画像表示装置１２上に表示される仮想画面の具体例を示す図である。ここでは、仮想画面の例として操業メニュー画面が示されており、オペレータは全体監視画面、ＰＤＡ操作、工程タグリスト、アラームログなど各種の操業メニューの中からマウスポインタを用いてメニューを選択できる。

図６は、図１に示すオペレータ操作装置１１の動作と仮想画面上でのマウスポインタの移動との関係を説明する図である。ここでは、オペレータが手の甲側に装着された第１のＲＦＩＤタグ１１２Ａを左斜め上方向に移動させる動作に連動して、仮想画面上ではマウスポインタが左斜め上方向に移動することが示されている。

以下、上記のように構成されたウェアラブルコンピュータ入力装置１とオペレーション管理装置２との間の動作を詳細に説明する。

＜仮想画面起動処理＞
図７は、図１に示すウェアラブルコンピュータ入力装置１における仮想画面起動処理の具体例を示すフローチャートである。画像表示装置１２は必要時以外に画像を表示しているとオペレータの作業を妨げるため、通常は表示機能をＯＦＦにしておくことが好ましい。このため、本実施形態では以下のように起動処理を行う。

先ず、画像表示装置１２の質問電波送信器１２２が、一定周期で質問電波を送信すると（Ｓ７０１）、オペレータ操作装置１１の第１のＲＦＩＤタグ１１２Ａは、受信した質問電波に反応して第１の応答電波を送信する（Ｓ７０２）。

次に、画像表示装置１２の第１の応答電波送受信器１２３Ａ、第２の応答電波送受信器１２３Ｂおよび第３の応答電波送受信器１２３Ｃは、第１の応答電波をそれぞれ受信すると、この応答電波を送受信器ＩＤと共に通信制御装置１３の入力操作検出部１３１へ送信する（Ｓ７０４）。

次に、通信制御装置１３の入力操作検出部１３１は、質問電波送信器１２２より送信した質問電波の送信時間と画像表示装置１２の第１の応答電波送受信器１２３Ａ、第２の応答電波送受信器１２３Ｂ、第３の応答電波送受信器１２３Ｃの各々における第１の応答電波の受信時間から得られる時間差を利用して画像表示装置１２（応答電波送受信器１２３Ａ〜１２３Ｃ）からオペレータ操作装置１１（手部）までの距離を演算する（Ｓ７０５）。この際、入力操作検出部１３１は、演算により得られた距離データを基にオペレータ操作装置１１の空間位置を連続的に算出することで、第１のＲＦＩＤタグ１１２Ａの軌跡データも求める。

次に、通信制御装置１３の入力操作検出部１３１は、Ｓ７０５で求められた軌跡データに基づいてオペレータが指定動作を行ったか否かを判定する（Ｓ７０６）。ここで、指定動作を行ったと判定した場合（Ｓ７０６：Ｙｅｓ）には、判定結果をデータ通信部１３４へ出力し、Ｓ７０７へ進む。例えば、オペレータ操作装置１１を画像表示装置１２の正面に置き、指定動作（例えば、検出範囲一杯で正確な四角形をなぞる等）を行った場合に画面表示をＯＮにする操作が行われたものと判定できる。同様に、起動完了後において例えばオペレータ操作装置１１を正確なアルファ形をなぞる等の指定動作を行った場合には、画面表示をＯＦＦにする操作が行われたものと判定できる。

Ｓ７０７において、通信制御装置１３のデータ通信部１３４は、入力操作検出部１３１における判定結果に基づいてオペレーション管理装置２との間で無線通信を行い、画像データの送信要求を行う。

次に、オペレーション管理装置２が、通信制御装置１３側からの送信要求に係る画像データを通信制御装置１３のデータ通信部１３４へ送信すると（Ｓ７０８）、通信制御装置１３のデータ通信部１３４は、画像データ記憶部１３３に画像データを格納し、画像データ送信部１３２は画像表示装置１２の網膜ディスプレイ１２１へ画像データ記憶部１３３内の画像データを送信する（Ｓ７０９）。

そして、画像表示装置１２の網膜ディスプレイ１２１は、通信制御装置１３から受信した入力操作画面に係る画像データを表示し（Ｓ７１０）、起動処理を完了する。

＜オペレーション操作＞
続いて、仮想画面起動後のオペレーション操作について説明する。図８は、図１に示すウェアラブルコンピュータ入力装置１におけるオペレーション操作の具体例を示すフローチャートである。

先ず、画像表示装置１２の質問電波送信器１２２が、一定周期で質問電波を送信すると（Ｓ８０１）、オペレータ操作装置１１の第１のＲＦＩＤタグ１１２Ａは、受信した質問電波に反応して第１の応答電波を送信する（Ｓ８０２）。

次に、画像表示装置１２の第１の応答電波送受信器１２３Ａ、第２の応答電波送受信器１２３Ｂおよび第３の応答電波送受信器１２３Ｃは、第１の応答電波をそれぞれ受信すると、この応答電波を送受信器ＩＤと共に通信制御装置１３の入力操作検出部１３１へ送信する（Ｓ８０４）。

次に、通信制御装置１３の入力操作検出部１３１は、質問電波送信器１２２における送信した質問電波の送信時間と画像表示装置１２の第１の応答電波送受信器１２３Ａ、第２の応答電波送受信器１２３Ｂ、第３の応答電波送受信器１２３Ｃの各々における応答電波の受信時間から得られる時間差を利用して画像表示装置１２からオペレータ操作装置１１までの距離を演算する（Ｓ８０５）。この際、入力操作検出部１３１は、演算により得られた距離データを基にオペレータ操作装置１１の空間位置を連続的に算出する。

次に、通信制御装置１３の入力操作検出部１３１は、Ｓ８０５で得られた空間位置情報を予め画像データ記憶部１３３内に記憶していた仮想画面の画像データ上にプロットし、仮想画面上のマウスポインタの位置として画像データを更新する（Ｓ８０６）。

次に、通信制御装置１３の画像データ送信部１３２は、更新された画像データを画像表示装置１２の網膜ディスプレイ１２１へ送信する（Ｓ８０７）。

次に、画像表示装置１２の網膜ディスプレイ１２１は、通信制御装置１３から受信した入力操作画面に係る画像データを表示する（Ｓ８０８）。Ｓ８０１〜Ｓ８０８の処理は、入力操作画面の表示中は繰り返し行われ、オペレータの操作に応じてマウスポインタの位置は入力操作画面上で変更される。

次に、入力操作画面の表示中において、オペレータの操作によってオペレータ操作装置１１内で電気回路が成立した場合（Ｓ８０９：Ｙｅｓ）には、電気回路が成立したＲＦＩＤタグは質問電波に反応して応答電波を送信する（Ｓ８１０）。

例えば、図３で示したように、オペレータの操作により第１の接触センサ１１１Ａと第２の接触センサ１１１Ｂが接触する事により第２のＲＦＩＤタグ１１２Ｂの電気回路が成立し、第２のＲＦＩＤタグ１１２ＢがＲＦＩＤのタグとして機能する。この場合、第２のＲＦＩＤタグ１１２Ａは、画像表示装置１２の質問電波送信器１２２より送信された電波に反応して第２の応答電波を送信する。同様に、図４で示したように、オペレータの操作によりオペレータ操作装置１１の第１の接触センサ１１１Ａと第３の接触センサ１１１Ｃが接触すると、第３のＲＦＩＤタグ１１２Ｃの第３の電気回路が成立し、ＲＦＩＤタグ１１２ＣがＲＦＩＤタグとして機能する。この場合、第３のＲＦＩＤタグ１１２Ｃは、画像表示装置１２の質問電波送信器１２２より送信された質問電波に反応し、第３の応答電波を送信する。

次に、画像表示装置１２の第１の応答電波送受信器１２３Ａ、第２の応答電波送受信器１２３Ｂおよび第３の応答電波送受信器１２３Ｃは、ＲＦＩＤタグから応答電波を受信すると、この応答電波を送受信器ＩＤと共に通信制御装置１３の入力操作検出部１３１へ送信する（Ｓ８１１）。

次に、通信制御装置１３の入力操作検出部１３１は、画像表示装置１２側から送信された応答電波を受信する（Ｓ８１２）。

次に、通信制御装置１３の入力操作検出部１３１は、受信された応答電波（第２の応答電波または第３の応答電波）の情報に基づいてオペレータの入力操作を判定し、入力操作データをデータ通信部１３４を介してオペレーション管理装置２へ送信する（Ｓ８１３）。具体的には、受信した応答電波のオン状態の長さ（電波受信継続時間）により従来のマウス操作におけるワンクリック操作、ダブルクリック操作、ドラッグ操作と同様の操作が仮想画面上で行われたか否かを判定する。また、応答電波には送信元のタグＩＤが含まれているため、このタグＩＤに基づいて左右いずれのマウス操作が行われたのかを判定することができる。

次に、オペレーション管理装置２は、通信制御装置１から入力操作データを受信すると（Ｓ８１４）、入力操作データに応じたデータ処理を行う（Ｓ８１５）。

次に、オペレーション管理装置２は、データ処理の結果、入力操作画面の遷移あるいは更新が必要か否かを判定する（Ｓ８１６）。ここで、入力操作画面の遷移あるいは更新が必要と判定した場合（Ｓ８１６：Ｙｅｓ）には、新たな入力操作画面に係る画像データを通信制御装置１３へ送信する（Ｓ８１７）。これに対し、入力操作画面の遷移あるいは更新が不要と判定された場合（Ｓ８１６：Ｎｏ）には、処理を終了する。

次に、データ通信部１３４は、オペレーション管理装置２から送信された入力操作画面に係る画像データを受信し、画像データ送信部１３２を介して画像表示装置１２の網膜ディスプレイ１２１へ送信する（Ｓ８１８）。

そして、画像表示装置１２の網膜ディスプレイ１２１は、受信した新たな入力操作画面の画像データを仮想画面として表示する（Ｓ８１９）。

このように、オペレータはウェアラブルコンピュータ入力装置１を装着した状態で現場へ向かい、必要に応じて仮想画面を起動し、現実のマウスと同等の機能を有する仮想マウスの操作によってプロセスオペレーションを実施可能となるため、オペレータにとって良好な作業環境を提供することができる。また、プロセスオペレーション以外の作業が発生した場合にも、装置を外してポケットやカバンの中に収納する必要もない。また、第１のＲＦＩＤタグ１１２Ａ、第２のＲＦＩＤタグ１１２Ｂ、第３のＲＦＩＤタグ１１２Ｃとしてパッシブタグを採用しているため、電力の供給源が無くても半永久的に動作する構造を提供することができる。更に、オペレータ操作装置１１、画像表示装置１２および通信制御装置１３をワイヤレスで接続する構成のため、ケーブルで接続していた従来型の装置よりもオペレータは着脱が容易な利点がある。

尚、以上のように、本発明の一実施形態を説明したが、上記実施形態は、あくまで具体例として示したに過ぎず、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施することが可能である。

１…ウェアラブルコンピュータ入力装置、
２…オペレーション管理装置、
１１…オペレータ操作装置、
１２…画像表示装置、
１３…通信制御装置、
１１１Ａ…第１の接触センサ、
１１１Ｂ…第２の接触センサ、
１１１Ｃ…第３の接触センサ、
１１２Ａ…第１のＲＦＩＤタグ、
１１２Ｂ…第２のＲＦＩＤタグ、
１１２Ｃ…第３のＲＦＩＤタグ、
１２１…網膜ディスプレイ、
１２２…質問電波送信器、
１２３Ａ…第１の応答電波送受信器、
１２３Ｂ…第２の応答電波送受信器、
１２３Ｃ…第３の応答電波送受信器、
１３１…入力操作検出部、
１３２…画像データ送信部、
１３３…画像データ記憶部、
１３４…データ通信部。

Claims

入力操作画面およびマウスポインタを表示するディスプレイを含み、オペレータの頭部に装着される画像表示装置と、
前記画像表示装置に固定され、所定周期で質問電波を送信する質問電波送信器と、
この質問電波送信器の質問電波に対する応答電波を受信可能に、前記画像表示装置に所定の間隔で配置された複数の応答電波受信器と、
前記オペレータの手部に固定され、前記質問電波を受信して、第１のタグＩＤで変調された前記応答電波を送信する第１のＲＦＩＤタグと、
前記オペレータの少なくとも２本の指先に固定された複数の接触センサと、
これらの接触センサが互いに接触することによって動作し、前記質問電波を受信して、第２のタグＩＤで変調された前記応答電波を送信する第２のＲＦＩＤタグと、
前記複数の応答電波受信器から出力された前記第１のタグＩＤに係る応答電波に基づいて前記手部から前記複数の応答電波受信器までの距離を演算し、この距離に基づいて前記入力操作画面の所定の位置に前記マウスポインタを表示させると共に、前記第２のタグＩＤに係る応答電波に基づいて前記入力操作画面における入力操作を受付ける通信制御装置と、
を備えることを特徴とするウェアラブルコンピュータ入力装置。
前記第１および第２のＲＦＩＤタグは、パッシブタグであることを特徴とする請求項１記載のウェアラブルコンピュータ入力装置。
前記画像表示装置は、眼鏡形状であることを特徴とする請求項１または請求項２記載のウェアラブルコンピュータ入力装置。
前記ディスプレイは、網膜ディスプレイであることを特徴とする請求項１乃至請求項３のいずれか一項記載のウェアラブルコンピュータ入力装置。
前記複数の接触センサ、前記第１のＲＦＩＤタグおよび前記第２のＲＦＩＤタグは、手袋形状のオペレータ操作装置に固定されていることを特徴とする請求項１乃至請求項４のいずれか一項記載のウェアラブルコンピュータ入力装置。
前記複数の接触センサは、
前記オペレータ操作装置の親指部分に固定された第１の接触センサと
前記オペレータ操作装置の人差し指部分に固定された第２の接触センサと、
前記オペレータ操作装置の中指部分に固定された第３の接触センサと、
からなり、かつ、
前記通信制御装置は、前記第１の接触センサと前記第２の接触センサの接触時は左クリック操作、前記第１の接触センサと前記第３の接触センサの接触時は右クリック操作を受付けることを特徴とする請求項５記載のウェアラブルコンピュータ入力装置。
前記通信制御装置は、前記第１のタグＩＤに係る応答電波の受信時間と前記質問電波の送信時間との時間差に基づいて前記手部から前記複数の応答電波受信器までの距離を演算すると共に、この距離に基づいて前記入力操作画面における前記マウスポインタの位置を演算することを特徴とする請求項１乃至請求項６のいずれか一項記載のウェアラブルコンピュータ入力装置。