JP7073122B2 - 電子機器、制御方法及びプログラム - Google Patents

Description

本発明の実施形態は、作業者の異常動作を検出し通報する電子機器、制御方法、及びプログラムに関する。

保守現場、工場ラインなど危険を伴う場所で作業を行う作業者の安全を確保するために、作業者の作業状態を遠隔監視し、作業者に起こる異常を早期に発見している。例えば、作業者の位置、動きなどを検出可能なセンサを作業者に装着させ、当該センサから得られるデータを解析することにより、作業者に起こる異常を検出する技術がある。

このような技術を用いた遠隔監視システムにおいて、異常が検出された際には、通常その旨が監視センターなどに通報される。しかしながら、直ちに通報が行われると、誤検出が起こった場合には不要な通報が発生することになる。これにより、監視センターの監視効率が低下する。

登録実用新案第３０４３３８３号公報 特開２０１０－２１８１２６号公報

本発明が解決しようとする課題は、作業者の異常を検出し、検出結果を適切に通報する電子機器、制御方法及びプログラムを提供することである。

一実施形態に係る電子機器は、作業者が装着可能であり、近接センサ及び接触センサの少なくとも一方と、前記作業者の動きを検知するモーションセンサと、表示手段と、前記近接センサ及び前記接触センサの少なくとも一方により得られる第１のデータに基づいて、前記電子機器が前記作業者により装着中であるか否かを判定する判定手段と、前記判定手段により前記電子機器が装着中であると判定された場合に、前記モーションセンサにより得られる第２のデータを解析することにより、前記作業者の異常動作を異常動作の種類毎に検出する検出手段と、前記異常動作が検出された旨及び作業者の応答を促す旨を、前記異常動作の種類を示すテキスト及び前記作業者が前記応答を可能な時間を示すテキストを含めて、前記表示手段に表示させる表示制御手段と、前記表示手段による表示がなされてから所定期間内に所定の操作を受け付けない場合に、他の機器へ通報を行う通報手段とを備え、前記表示制御手段は、定期的に前記作業者の安全確認を行う旨の表示データを前記表示手段に表示させる。

実施形態の電子機器を含む遠隔支援システムの一例を示すブロック図である。 図１中のオペレータ端末１２の一例を示すブロック図である。 図１中のモバイルＰＣ１６に接続されるウェアラブルデバイス２３の外観の一例を示す。 ウェアラブルデバイス２３の本体２４の外観の一例を示す。 モバイルＰＣ１６とウェアラブルデバイス本体２４との接続の一例を示す。 ウェアラブルデバイス本体２４の一例を示すブロック図である。 モバイルＰＣ１６の外観の一例を示す。 モバイルＰＣ１６の一例を示すブロック図である。 第１の実施形態における、モバイルＰＣ１６及びウェアラブルデバイス本体２４が備える処理部の一例を示すブロック図である。 第１の実施形態の自動通報処理の一例を示すフローチャートである。 第１の実施形態の異常動作検出処理の一例を示すフローチャートである。 第１の実施形態における、異常動作検出時の表示画面の一例を示す図である。 第２の実施形態における、モバイルＰＣ１６及びウェアラブルデバイス本体２４が備える処理部の一例を示すブロック図である。 第２の実施形態の定期監視処理の一例を示すフローチャートである。 第２の実施形態における、定期監視時の表示画面の一例を示す図である。

以下、実施の形態について図面を参照して説明する。なお、開示はあくまで一例にすぎず、以下の実施形態に記載した内容により発明が限定されるものではない。当業者が容易に想到し得る変形は、当然に開示の範囲に含まれる。説明をより明確にするため、図面において、各部分のサイズ、形状等を実際の実施態様に対して変更して模式的に表す場合もある。複数の図面において、対応する要素には同じ参照数字を付して、詳細な説明を省略する場合もある。

＜第１の実施形態＞
［遠隔支援システム］
図１は、エッジコンピューティングを実現するための遠隔支援システムの一例を示すブロック図である。遠隔支援システムは、ユーザ、例えば作業現場の作業者を後方のオペレータが遠隔地から支援するためのシステムである。現場の作業の例は、複雑なメンテナンス業務、物流倉庫のピッキング作業、作業現場の監視、災害救助・医療サポート等がある。作業現場の作業者側をフロントエンド、後方のオペレータ側をバックエンドとも称する。遠隔支援システムは、作業者が携帯するモバイルパーソナルコンピュータ（ＰＣ）（モバイルエッジコンピューティングデバイスと呼ぶこともある）１６と作業者から離れた位置にある遠隔支援センター（データセンター）１８をネットワーク２２を介して互いに接続され、通信可能となっている。モバイルＰＣ１６と遠隔支援センター１８は有線のＬＡＮケーブルによりネットワーク２２に接続されてもよいし、無線ＬＡＮ、ブルートゥース（登録商標）等によりネットワーク２２に接続されてもよい。

ウェアラブルデバイス２３はモバイルＰＣ１６と接続される。図１では、ウェアラブルデバイス２３はケーブルによりモバイルＰＣ１６に接続される例を示すが、ウェアラブルデバイス２３は無線ＬＡＮ、ブルートゥース等によりモバイルＰＣ１６と接続されてもよい。ウェアラブルデバイス２３はカメラ、ディスプレイを備え、カメラで撮影した画像をモバイルＰＣ１６に送信し、モバイルＰＣ１６から送信される画像をディスプレイで表示する。

図１に示すように複数の作業者がネットワークを介して相互に通信することも可能である。この場合、遠隔支援センターを経由してもよいし、遠隔支援センターのオペレータを介さずに作業者同士のみで通信するようにすることも可能である。

遠隔支援センター１８はオペレータ端末１２とサーバ１４を備える。遠隔支援センター１８はモバイルＰＣ１６（及びウェアラブルデバイス２３）とオペレータ端末１２間で音声通話を行う又は情報をやり取りする。モバイルＰＣ１６に接続されるウェアラブルデバイス２３のリアルタイム映像をオペレータ端末１２にビデオ配信することや、モバイルＰＣ１６とオペレータ端末１２間で画像を相互に送受信することができる。また、オペレータ端末１２からモバイルＰＣ１６にテキストメッセージを送信することもできる。例えば、物流倉庫ピッキング作業では、メガネ型のウェアラブルデバイス２３にピッキング品の場所を表示させ、ハンズフリーでのピッキングを実現できる。

遠隔支援としては、典型的には、例えば以下の機能を含む。

(1)モバイルＰＣ１６とオペレータ端末１２との双方向の音声通話を行う音声通話機能。

(2)音声通話中にウェアラブルデバイス２３のリアルタイム映像をオペレータ端末１２にビデオ配信するライブ映像配信機能。

(3)音声通話中にモバイルＰＣ１６とオペレータ端末１２間で静止画を送受信する静止画像の送受信機能（モバイルＰＣ１６は撮影した静止画やビデオ配信中のキャプチャ画像をオペレータ端末１２に送信し、オペレータ端末１２は受信した画像に文字や絵などを書き込み、編集した画像をモバイルＰＣ１６に送信する機能。モバイルＰＣ１６で受信した静止画像は、モバイルＰＣ１６内のフォルダーに保存され、閲覧可能である）。

(4)音声通話中にオペレータ端末１２のデスクトップ画面全体又は任意のアプリケーションプログラムのウィンドウをウェアラブルデバイス２３に表示する画面共有機能。

(5)オペレータ端末１２からモバイルＰＣ１６に対してテキストメッセージを送信するテキストメッセージの送信機能。

サーバ１４は遠隔支援のための処理をオペレータ端末１２に代わって又は協働して行うものであり、プロセッサ（ＣＰＵ）２８、ＲＯＭ３０、ＲＡＭ３２、ハードディスクドライブ（ＨＤＤ）又はソリッドステートドライブ（ＳＳＤ）からなるストレージデバイス３４、インターフェース３６を備える。なお、サーバ１４の機能を全てオペレータ端末１２に持たせ、サーバ１４を省略してもよい。

［オペレータ端末１２］
図２はオペレータ端末１２の一例を示すブロック図である。オペレータ端末１２はデスクトップ型ＰＣ又はノートブック型ＰＣ等からなる。

オペレータは、オペレータ端末１２を用いて作業現場の状況をリアルタイム映像で確認しながら、会話や画像によってモバイルＰＣ１６の作業者に指示を行う。オペレータは、オペレータ端末１２を用いてモバイルＰＣ１６から受信した画像ファイルに絵や文字などの書き込みを行い、編集した画像ファイルをモバイルＰＣ１６に送信することや、オペレータ端末１２に保存することができる。

オペレータ端末１２は、プロセッサを含むシステムコントローラ４２を備え、システムコントローラ４２には、主メモリ４４、ＢＩＯＳ－ＲＯＭ５０、ＨＤＤ又はＳＳＤからなるストレージデバイス５２、オーディオコーデック５４、グラフィックスコントローラ６２、タッチパネル７０、ＵＳＢ（登録商標）コネクタ７２、無線ＬＡＮデバイス７４、ブルートゥースデバイス７６、有線ＬＡＮデバイス７８、ＰＣＩＥｘｐｒｅｓｓ（登録商標）カードコントローラ８０、メモリカードコントローラ８２、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）８４等が接続される。

システムコントローラ４２はストレージデバイス５２から主メモリ４４にロードされる様々なプログラムを実行する。これらプログラムは、オペレーティングシステム（ＯＳ）４６、遠隔支援のためのバックエンドアプリケーションプログラム４８を含む。システムコントローラ４２は不揮発性メモリであるＢＩＯＳ－ＲＯＭ５０に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳはハードウェア制御のためのシステムプログラムである。

オーディオコーデック５４は、再生対象のデジタルのオーディオ信号をアナログのオーディオ信号に変換して、ヘッドフォン５８又はスピーカ６０に供給する。また、オーディオコーデック５４は、マイク５６から入力されるアナログのオーディオ信号をデジタル信号に変換する。マイク５６とヘッドフォン５８は単独で設けてもよいが、インカムとして一体的に設けてもよい。

グラフィックスコントローラ６２は、オペレータ端末１２のディスプレイモニタとして使用される液晶表示器（ＬＣＤ）６４を制御する。ＬＣＤ６４の画面上にタッチパネル７０が重ねられ、ＬＣＤ６４の画面にタッチペン等により手書き入力操作が行えるように構成されている。グラフィックスコントローラ６２にはＨＤＭＩ（登録商標）コントローラ６６も接続される。ＨＤＭＩコントローラ６６は外部の表示デバイスとの接続のためのＨＤＭＩコネクタ６８に接続される。

無線ＬＡＮデバイス７４は、ネットワーク２２との接続のためにＩＥＥＥ８０２．１１規格の無線ＬＡＮ通信を実行する。ブルートゥースデバイス７６は、外部機器との接続のためにブルートゥース規格の無線通信を実行する。有線ＬＡＮデバイス７８は、ネットワーク２２との接続のためにＩＥＥＥ８０２．３規格の有線ＬＡＮ通信を実行する。このように、オペレータ端末１２とネットワーク２２との接続は無線通信によってもよいし、有線通信によってもよい。

ＰＣＩＥｘｐｒｅｓｓカードコントローラ８０はオペレータ端末１２と外部機器との間でＰＣＩＥｘｐｒｅｓｓ規格の通信を行なう。メモリカードコントローラ８２は、記憶媒体、例えばＳＤカード（登録商標）等のメモリカードにデータを書き込み、メモリカードからデータを読み出す。

ＥＣ／ＫＢＣ８４は電力管理コントローラであり、キーボード８８を制御するキーボードコントローラも内蔵したワンチップマイクロコンピュータとして実現されている。ＥＣ／ＫＢＣ８４は、電源スイッチ８６の操作に応じてオペレータ端末１２をパワーオン又はパワーオフする機能を有する。パワーオン及びパワーオフの制御は、ＥＣ／ＫＢＣ８４と電源回路９０との協働動作によって実行される。ＥＣ／ＫＢＣ８４はオペレータ端末１２がパワーオフされている期間中も、バッテリ９２又はＡＣアダプタ９４からの電力によって動作する。電源回路９０は、バッテリ９２からの電力又は外部電源として接続されるＡＣアダプタ９４からの電力を用いて、各コンポーネントへ供給すべき電力を生成する。

［ウェアラブルデバイス２３］
図３はモバイルＰＣ１６に接続されるウェアラブルデバイス２３の外観の一例を示す。ウェアラブルデバイス２３はメガネフレーム１４２とウェアラブルデバイス本体２４を備える。メガネフレーム１４２は一般的なメガネからレンズを取り除いた形状でもよく、作業者の顔に装着される。メガネフレーム１４２はメガネが取り付けられる構造としてもよい。作業者がメガネを常用する場合、常用しているメガネと同様な度数のレンズがメガネフレーム１４２に取り付けられてもよい。

メガネフレーム１４２はウェアラブルデバイス本体２４が着脱される取付具１４４を左右のテンプルに備える。図３では作業者の右側のテンプルの取付具１４４はウェアラブルデバイス本体２４に隠されているので、図示されない。上述したようにウェアラブルデバイス本体２４はディスプレイ１２４（図４に示す）を備え、ディスプレイ１２４は片目で目視されるようになっているので、ウェアラブルデバイス本体２４が利き目側に取り付けられるように取付具１４４は左右のテンプルに備えられている。なお、ウェアラブルデバイス本体２４を取付具１４４によりメガネフレーム１４２に着脱自在に取り付ける必要はなく、ウェアラブルデバイス本体２４がメガネフレーム１４２に固定された右眼用、左眼用のウェアラブルデバイス２３を用意してもよい。さらに、ウェアラブルデバイス本体２４をメガネフレーム１４２ではなく、ヘルメット、ゴーグル等を用いて作業者の頭部に装着してもよい。

ウェアラブルデバイス本体２４は、その係合片１２８（図４に示す）が取付具１４４の上下の枠内に押し込まれることにより、メガネフレーム１４２に取り付けられる。ウェアラブルデバイス本体２４をメガネフレーム１４２から取り外す場合は、ウェアラブルデバイス本体２４が取付具１４４から引き抜かれる。

ウェアラブルデバイス本体２４は取付具１４４に取り付けられた状態で、係合片１２８は取付具１４４内で前後に多少は移動可能である。このため、作業者の焦点がディスプレイ１２４に合うようにウェアラブルデバイス本体２４は前後位置が調整可能である。さらに、取付具１４４はテンプルに直交する軸１４４Ａを中心に回転可能であり、ウェアラブルデバイス本体２４がメガネフレーム１４２に取り付けられた後、ディスプレイ１２４が作業者の視線上に位置するように上下位置が調整可能である。さらに、取付具１４４の回転角度は９０度程度であり、取付具１４４を上方向に大きく回転することにより、ウェアラブルデバイス本体２４をメガネフレーム１４２からはね上げることができる。これにより、ウェアラブルデバイス本体２４により視野が邪魔され実物を見ることが困難な場合や、狭い場所でウェアラブルデバイス本体２４が周囲の物体に干渉する場合でも、ウェアラブルデバイス２３全体を顔から外す／再装着することなく、ウェアラブルデバイス本体２４を作業者の視野から一時的に外す／戻すことができる。

［ウェアラブルデバイス本体２４］
ウェアラブルデバイス本体２４はメガネフレーム１４２のテンプルに沿った側面部と作業者の一方の眼球の視線上に位置する前面部とからなる。側面部に対する前面部の角度は調節可能である。

図３に示すように、前面部の外側表面にはカメラ１１６、ライト１１８、カメラＬＥＤ１２０が設けられる。ライト１１８は暗部の撮影時に発光する補助照明である。カメラＬＥＤ１２０は写真や動画の撮影時に点灯し、撮影対象者に撮影していることを認識させるためのものである。

右側のテンプルに取り付けられたウェアラブルデバイス本体２４の側面部の上側面に第１、第２、第３ボタン１０２、１０４、１０６が設けられる。なお、作業者の利き目が左眼の場合、ウェアラブルデバイス本体２４は左側のテンプルに取り付けられる。右側に取り付けられるか左側に取り付けられるかで、ウェアラブルデバイス本体２４の上下が反転するので、側面部の上側面とした側面の両面に第１、第２、第３ボタン１０２、１０４、１０６を設けてもよい。

側面部の外側表面にはタッチパッド１１０、第４ボタン１０８、マイク１１２、照度センサ１１４が設けられる。タッチパッド１１０と第４ボタン１０８は人差し指で操作可能である。ボタン１０２、１０４、１０６は、ウェアラブルデバイス本体２４が右側に取り付けられた際、それぞれ人差し指、中指、薬指で操作可能な位置に配置される。タッチパッド１１０は、その表面上で矢印に示すように作業者が指を上下前後に移動させたことを検出できるようにしている。この移動の検出は、指を接触したまま移動するドラッグの動きに加え指をさっと擦るフリックの動きも含む。タッチパッド１１０は、作業者の指の上下前後移動を検出すると、コマンドを入力する。本明細書では、コマンドとはウェアラブルデバイス本体２４に対する特定の処理の実行指令のことである。第１～第４ボタン１０２、１０４、１０６、１０８、タッチパッド１１０の操作方法はアプリケーションプログラムによって決められている。

例えば、
第３ボタン１０６が１回押されると、項目の選択／項目の実行がなされ、
第３ボタン１０６が長押しされると、起動中のアプリケーションプログラムの一覧が表示され、
第２ボタン１０４が１回押されると、ホーム画面に戻り、
第２ボタン１０４が長押しされると、クイックセッティングのメニューが表示され、
第１ボタン１０２が１回押されると、操作の取り消し（キーボードのEscキーと同様の動作）が実行される。

タッチパッド１１０の操作に関しては、例えば、
上下にドラッグされると、カーソルが上下に移動され、
前にフリックされると、左のアイコンが選択され（連続してスクロール）、
後ろにフリックされると、右のアイコンが選択され（連続してスクロール）、
前にドラッグされると、左のアイコンが選択され（１項目ずつスクロール）、
後ろにドラッグされると、右のアイコンが選択され（１項目ずつスクロール）る。

第１ボタン１０２は人差し指、第２ボタン１０４は中指、第３ボタン１０６は薬指、第４ボタン１０８は小指で操作できるような位置に配置される。なお、第４ボタン１０８が側面部の上部ではなく、側面部の外側表面に設けられるのは、スペースの関係上であり、第４ボタン１０８も第１～第３ボタン１０２、１０４、１０６と同様に側面部の上部に設けられてもよい。照度センサ１１４はディスプレイの明るさを自動調整するために周囲の照度を検出する。

図４はウェアラブルデバイス本体２４の裏面の外観の一例を示す。前面部の内側にはＬＣＤからなるディスプレイ１２４が設けられる。側面部の内側にはマイク１２６、スピーカ１３０、係合片１２８が設けられる。マイク１２６は側面部の前方に、スピーカ１３０は側面部の後方に、係合片１２８は側面部の後方に設けられる。スピーカ１３０の代わりにヘッドフォンを用いてもよい。その場合、オペレータ端末１２と同様にマイクとヘッドフォンをインカムとして一体的に設けてもよい。

図５はモバイルＰＣ１６とウェアラブルデバイス本体２４との接続の一例を示す。側面部の後方にはＵＳＢｔｙｐｅ－Ｃ（登録商標）規格のケーブル１４６の一端のプラグ１４６Ａが挿入されるレセプタクル１３２が設けられる。ＵＳＢｔｙｐｅ－Ｃ規格のケーブル１４６の他端のプラグ１４６ＢはモバイルＰＣ１６の上部端面のＵＳＢｔｙｐｅ－Ｃ規格のコネクタ２０７に挿入される。このようにウェアラブルデバイス本体２４はＵＳＢｔｙｐｅ－Ｃ規格のケーブル１４６を介してモバイルＰＣ１６に接続され、画像信号等がウェアラブルデバイス本体２４とモバイルＰＣ１６の間で伝送される。ウェアラブルデバイス本体２４は無線ＬＡＮ、ブルートゥース等の無線通信によりモバイルＰＣ１６に接続されてもよい。

実施形態ではウェアラブルデバイス本体２４は駆動電源としてのバッテリ又はＤＣ端子を備えず、駆動電源はモバイルＰＣ１６からＵＳＢｔｙｐｅ－Ｃケーブル１４６を介してウェアラブルデバイス本体２４に供給される。しかし、ウェアラブルデバイス本体２４が駆動電源を備えてもよい。

図６はウェアラブルデバイス本体２４の一例を示すブロック図である。ＵＳＢｔｙｐｅ－Ｃコネクタ１３２がミキサ１６６に接続される。ディスプレイコントローラ１７０とディスプレイ１２４とＵＳＢハブ１６４がミキサ１６６の第１端子、第２端子にそれぞれ接続される。カメラコントローラ１６８、オーディオコーデック１７２、センサコントローラ１６２がＵＳＢハブ１６４に接続される。カメラ１１６とライト１１８とカメラＬＥＤ１２０がカメラコントローラ１６８に接続される。マイク１１２、１２６からのオーディオ信号がオーディオコーデック１７２に入力され、オーディオコーデック１７２からのオーディオ信号がアンプ１７４を介してスピーカ１３０に入力される。

センサコントローラ１６２に、モーションセンサ（例えば、加速度／地磁気／重力／ジャイロセンサ等）１７６、照度センサ１１４、近接センサ１７８、接触センサ１７９、タッチパッド１１０、第１～第４ボタン１０２、１０４、１０６、１０８、ＧＰＳセンサ１８０が接続される。センサコントローラ１６２はモーションセンサ１７６、照度センサ１１４、近接センサ１７８、接触センサ１７９、タッチパッド１１０、第１～第４ボタン１０２、１０４、１０６、１０８、ＧＰＳセンサ１８０からの検出信号を処理して、モバイルＰＣ１６へコマンドを供給する。図４には示していないが、モーションセンサ１７６、近接センサ１７８はウェアラブルデバイス本体２４の内部に配置される。モーションセンサ１７６はウェアラブルデバイス本体２４の動き、向き、姿勢等を検出する。近接センサ１７８は作業者の顔、指等の接近によりウェアラブルデバイス２３の装着を検出する。接触センサ１７９は、物理的な接触を検出可能な機構であり、例えば、機械的なスイッチ、タッチパッドなどである。接触センサ１７９は、近接センサ１７８と同じく、作業者の顔、指等の接触によりウェアラブルデバイス２３の装着を検出する。なお、近接センサ１７８及び接触センサ１７９は、少なくとも一方が備えられる。

［モバイルＰＣ１６］
図７はモバイルＰＣ（モバイルエッジコンピューティングデバイス）１６の外観の一例を示す。モバイルＰＣ１６は片手で持てる小型ＰＣであり、そのサイズは、幅が約１０ｃｍ以下、高さが約１８ｃｍ以下、厚さが２ｃｍ程度であり、重量は約３００ｇ程度と、小型で軽量である。このため、モバイルＰＣ１６は作業着のポケット、ベルトに装着されるホルスタあるいはショルダーケースに収納でき、ウェアラブルである。モバイルＰＣ１６はＣＰＵや半導体メモリ等の半導体チップやＳＳＤ(Solid State Disk)等のストレージデバイスを収納するが、ディスプレイと文字入力用のハードウェアキーボードは備えない。

モバイルＰＣ１６の正面にはアップボタン２０２ａ、ライトボタン２０２ｂ、ダウンボタン２０２ｃ、レフトボタン２０２ｄ、決定ボタン（センターボタン、エンターボタンとも称する）２０２ｅからなる５ボタン２０２が配置され、その下に指紋センサ２０４が配置される。文字入力用のハードウェアキーボードが備わっておらず暗証番号（ＰＩＮとも称する）を入力することができないので、指紋センサ２０４はモバイルＰＣ１６のログイン時のユーザ認証のために用いられる。５ボタン２０２はコマンドを入力できる。

なお、５ボタン２０２の各ボタン２０２ａ～２０２ｄに数字を割り当て、５ボタン２０２を用いて暗証番号を入力することにより、ログイン時のユーザ認証を行ってもよい。この場合、指紋センサ２０４は省略可能である。決定ボタン２０２ｅ以外の4つのボタンに数字を割り当てるので、数字の種類は４つしかない。従って、ランダムに入力した数字が暗証番号に一致する可能性がある。しかし、暗証番号の桁数を大きくすれば、ランダムに入力した数字が暗証番号に一致する確率を小さくすることができる。指紋センサ２０４を備えるモバイルＰＣ１６でも５ボタン２０２による認証も可能としてもよい。１台のモバイルＰＣ１６を複数の作業者で共有することがあるが、指紋認証だけではこのような場合に対応できない。

５ボタン２０２はウェアラブルデバイス本体２４のボタン１０２、１０４、１０６、１０８とタッチパッド１１０の操作と同じ操作が可能である。ウェアラブルデバイス本体２４のボタン１０２、１０４、１０６、１０８とタッチパッド１１０で操作している様子を作業者は見ることができないので、作業者によっては意図した操作をするには慣れが必要な場合もある。また、ボタン１０２、１０４、１０６、１０８とタッチパッド１１０は小型であるので、操作しづらい場合もある。実施形態では、モバイルＰＣ１６の５ボタン２０２でも同じ操作ができるので、上記の懸念は解消される。５ボタン２０２の操作方法はアプリケーションによって決められている。

例えば、
決定ボタン２０２ｅが１回押されると、項目の選択／項目の実行がなされ（ウェアラブルデバイス本体２４では、第３ボタン１０６の１回押しに対応）、
決定ボタン２０２ｅが長押しされると、終了又は操作の取り消しがなされ（ウェアラブルデバイス本体２４では、第１ボタン１０２の１回押しが操作の取り消しに対応）、
アップボタン２０２ａが１回押されると、カーソルが上に移動され（ウェアラブルデバイス本体２４では、タッチパッド１１０で上にドラッグに対応）、
アップボタン２０２ａが長押しされると、起動中のアプリケーションの一覧が表示され（ウェアラブルデバイス本体２４では、第３ボタン１０６の長押しに対応）、
ダウンボタン２０２ｃが１回押されると、カーソルが下に移動され（ウェアラブルデバイス本体２４では、タッチパッド１１０で下にドラッグに対応）、
ダウンボタン２０２ｃが長押しされると、クイックセッティングメニュー（後述）が表示され（ウェアラブルデバイス本体２４では、第２ボタン１０４の長押しに対応）、
レフトボタン２０２ｄが１回押されると、右のアイコンが選択され（ウェアラブルデバイス本体２４では、タッチパッド１１０で後ろにドラッグ／フリックに対応）、
ライトボタン２０２ｂが１回押されると、左のアイコンが選択される（ウェアラブルデバイス本体２４では、タッチパッド１１０で前にドラッグ／フリックに対応）。

モバイルＰＣ１６の上部側面には、ＵＳＢ３．０規格のコネクタ２０６とＵＳＢｔｙｐｅ－Ｃ規格のコネクタ２０７とオーディオジャック２０８が設けられる。

モバイルＰＣ１６の一方の側面（正面から見て左側の側面）には、メモリカード用のカードスロット２１８が設けられる。メモリカードは、例えばＳＤカード、マイクロＳＤカード（登録商標）等を含む。

モバイルＰＣ１６の他方の側面（正面から見て右側の側面）には、ケンジントンロック（登録商標）のためのスロット２１０、電源スイッチ２１２、パワーＬＥＤ２１３、ＤＣ ＩＮ／バッテリＬＥＤ２１４、ＤＣ端子２１６、冷却用の通風口２２２が設けられる。パワーＬＥＤ２１３は電源スイッチ２１２の近傍に配置され、電源オンの期間点灯する。ＤＣ ＩＮ／バッテリＬＥＤ２１４はバッテリが充電中であるか否か等のモバイルＰＣ１６の状態とバッテリの残量を表示する。モバイルＰＣ１６はバッテリで駆動可能であるが、ＤＣ端子２１６にＡＣアダプタを接続した状態でも駆動可能である。図示しないが、裏面はワンタッチでバッテリが交換可能に構成されている。

図８はモバイルＰＣ１６の一例を示すブロック図である。モバイルＰＣ１６はウェアラブルデバイス本体２４で撮影した映像をオペレータ端末１２へビデオ配信することや、オペレータ端末１２から受信した画像を閲覧することができる。このため、モバイルＰＣ１６はカメラ機能とビューワ機能を備える。カメラ機能はウェアラブルデバイス本体２４のカメラ１１６で写真やビデオを撮影する機能である。撮影した写真やビデオはカメラフォルダに保存され、ビューワ機能で閲覧できる。ビューワ機能はカメラフォルダに保存されているファイルを閲覧する機能である。ファイルの種類は、画像、動画、ＰＤＦファイル、カメラ機能で撮影した写真やビデオ、オペレータ端末１２から受信した画像、オペレータ端末１２へ送信した画像、ユーザフォルダに保存されたファイルがある。

モバイルＰＣ１６はシステムコントローラ３０２を備え、システムコントローラ３０２はプロセッサ（ＣＰＵ）とコントローラ・ハブからなる。プロセッサには、主メモリ３０８、ＢＩＯＳ－ＲＯＭ３１０、パワーＬＥＤ２１３、ＤＣ ＩＮ／バッテリＬＥＤ２１４、ＵＳＢコントローラ３２２が接続される。コントローラ・ハブには、フラッシュメモリ３２６、メモリカードコントローラ３２８、ＨＤＤ又はＳＳＤからなるストレージデバイス３３０、ＵＳＢ切替器３２４、オーディオコーデック３３４、３Ｇ／ＬＴＥ／ＧＰＳデバイス３３６、指紋センサ２０４、ＵＳＢ３．０コネクタ２０６、ブルートゥース／無線ＬＡＮデバイス３４０、ＥＣ／ＫＢＣ３４４が接続される。

システムコントローラ３０２はストレージデバイス３３０から主メモリ３０８にロードされる様々なプログラムを実行する。これらプログラムは、ＯＳ３１６、遠隔支援のためのフロントエンドアプリケーションプログラム３１４を含む。

オーディオコーデック３３４は、再生対象のデジタルのオーディオ信号をアナログのオーディオ信号に変換して、オーディオジャック２０８に供給する。また、オーディオコーデック３３４は、オーディオジャック２０８から入力されるアナログのオーディオ信号をデジタル信号に変換する。

メモリカードコントローラ３２８はメモリカードスロット２１８に挿入されるメモリカード、例えばＳＤカードにアクセスして、ＳＤカードに対するデータの読み書きを制御する。

ＵＳＢコントローラ３２２はＵＳＢｔｙｐｅ－Ｃコネクタ２０７に接続されるＵＳＢｔｙｐｅ－Ｃケーブル又はＵＳＢ３．０コネクタ２０６に接続されるＵＳＢ３．０ケーブル（図示せず）に対するデータの送受信を制御する。

図示しないが、ＵＳＢｔｙｐｅ－Ｃコネクタ２０７にはポート拡張アダプタも接続可能であり、ＨＤＭＩ等のインターフェースが使用可能である。

ブルートゥース／無線ＬＡＮデバイス３４０は、ネットワーク２２との接続のためにブルートゥース規格の無線通信又はＩＥＥＥ８０２．１１規格の無線ＬＡＮ通信を実行する。なお、ネットワーク２２との接続は無線通信によらず、ＩＥＥＥ８０２．３規格の有線ＬＡＮ通信によってもよい。

指紋センサ２０４はモバイルＰＣ１６の起動時の指紋認証のために使用される。

ＥＣ／ＫＢＣ３４４には、サブプロセッサ３４６、電源スイッチ２１２及び５ボタン２０２が接続される。ＥＣ／ＫＢＣ３４４は、電源スイッチ２１２の操作に応じてモバイルＰＣ１６をパワーオン又はパワーオフする機能を有する。パワーオン及びパワーオフの制御は、ＥＣ／ＫＢＣ３４４と電源回路３５０との協働動作によって実行される。ＥＣ／ＫＢＣ３４４はモバイルＰＣ１６がパワーオフされている期間中も、バッテリ３５２又はＡＣアダプタ３５８からの電力によって動作する。電源回路３５０は、バッテリ３５２からの電力又は外部電源として接続されるＡＣアダプタ３５８からの電力を用いて、各コンポーネントへ供給すべき電力を生成する。電源回路３５０は電圧レギュレータモジュール３５６を含み、電圧レギュレータモジュール３５６はシステムコントローラ３０２内のプロセッサに接続される。

なお、モバイルＰＣ１６をウェアラブルデバイス本体２４と別体として構成したが、モバイルＰＣ１６をウェアラブルデバイス本体２４内に組み込んで、両者を一体として構成してもよい。

［自動通報アプリケーションプログラム］
以下では、上述した遠隔支援システムを用いて、作業者の事故発生を検出し、遠隔支援センター１８に通報するための自動通報アプリケーションプログラムについて説明する。

図９においては、ウェアラブルデバイス本体２４及びモバイルＰＣ１６は便宜的に以下で説明する各処理部を含むとして説明する。しかしながら、ウェアラブルデバイス本体２４及びモバイルＰＣ１６はそれぞれ他の機能を持つ処理部を含んでいてもよく、１つの処理部で構成されてもよく、又は、図９に示す以外の態様で複数の処理部を含んでいてもよい。なお、上述のように、ウェアラブルデバイス本体２４及びモバイルＰＣ１６は、種々の情報を処理可能な電子機器である。

ウェアラブルデバイス本体２４は、通信部Ｃ２、入力部Ｉ、表示部Ｄ、センサ部Ｓを含む。

通信部Ｃ２は、外部機器、ここではモバイルＰＣ１６に対してデータ、コマンドなどの送受信を行う。通信部Ｃ２は、例えば、図６に示すセンサコントローラ１６２、ＵＳＢハブ１６４、ＵＳＢｔｙｐｅ－Ｃコネクタ１３２などを含む。通信部Ｃ２は、例えば、モバイルＰＣ１６に対してウェアラブルデバイス本体２４により生成されるデータ、コマンドなどを送信する。また、通信部Ｃ２は、これらの外部機器よりウェアラブルデバイス本体２４の各処理部が必要とするデータを受信する。

入力部Ｉは、ウェアラブルデバイス２３を装着する作業者からの入力を受け付ける。入力部Ｉは、例えば、マイク１１２，１２６、タッチパッド１１０、ボタン１０２，１０４，１０６，１０８などを含む。

表示部Ｄは、通信部Ｃ２を経由してモバイルＰＣ１６より受信した表示データを、作業者が視認可能な態様により表示する。表示部Ｄは、例えば、ディスプレイ１２４を含む。

センサ部Ｓは、ウェアラブルデバイス本体２４が備える各種センサを含む。具体的には、センサ部Ｓは、例えばモーションセンサ１７６、照度センサ１１４、近接センサ１７８、接触センサ１７９、カメラ１１６、ＧＰＳセンサ１８０などを含む。センサ部Ｓは、上述の各種センサにより得られたセンシングデータＳ１を、通信部Ｃ２を経由してモバイルＰＣ１６に送信する。

モバイルＰＣ１６は、例えば、自動通報アプリケーションプログラム、記憶部Ｍ、通信部Ｃ１を含む。

自動通報アプリケーションプログラムは、図８に示したシステムコントローラ３０２から主メモリ３０８へロードされることにより、自動通報部Ａとして動作する。自動通報部Ａは、以下に示すように装着判定部Ａ１（請求項では判定手段と呼称する）、異常検出部Ａ２（請求項では検出手段と呼称する）、表示データ生成部Ａ３（請求項では表示制御手段と呼称する）、通報部Ａ４（請求項では通報手段と呼称する）を含む。なお、この自動通報アプリケーションプログラムは、フロントエンドアプリケーション３１４とは異なるアプリケーションでもよく、フロントエンドアプリケーションプログラム３１４に含まれていてもよい。

装着判定部Ａ１は、センサ部Ｓの近接センサ１７８及び／又は接触センサ１７９を用いて得られるセンシングデータＳ１を、通信部Ｃ１を経由して取得する。さらに装着判定部Ａ１は、取得したセンシングデータＳ１を解析し、例えば作業者の顔、指等の接近を検知することにより、ウェアラブルデバイス２３の装着を検出する。

異常検出部Ａ２は、センシングデータＳ１を用いて、作業者の異常動作を検出する。異常動作は、例えば、高所からの落下、長時間の静止、転倒などである。異常検出部Ａ２は、センシングデータＳ１を解析し、例えば作業者の動作に関する所定の変化パターンを検出することにより異常動作を検出する。

また、センシングデータＳ１は、記憶部Ｍに格納され蓄積されてもよい。センシングデータＳ１が記憶部Ｍに蓄積される場合、異常検出部Ａ２は、記憶部Ｍに蓄積された過去のセンシングデータＭ１を用いて、以下に説明する例えば第１又は第２の検出方法により異常動作を検出してもよい。なお、より有用なセンシングデータＭ１を蓄積するために、異常検出部Ａ２は、例えば装着判定部Ａ１によりウェアラブルデバイス２３が装着中であると判定された場合にセンシングデータＳ１を記憶部Ｍに格納するとしてもよい。また、センシングデータＭ１は、遠隔地にあるオペレータ端末１２のストレージデバイス５２などに蓄積されてもよい。

第１の検出方法として、異常検出部Ａ２は、過去のセンシングデータＭ１を用いて安全動作又は異常動作を示す標準的なセンサ値の時間変化のパターン（以下、標準パターンとする）を、安全動作又は異常動作の種類ごとに生成する。異常検出部Ａ２は、実際に作業中の作業者のウェアラブルデバイス本体２４より得られるセンシングデータＳ１と、あらかじめ生成された標準パターンとを比較し、例えば両者の差が所定の範囲内である場合に、当該作業者の動作は異常動作であると判定する。

第２の検出方法として、異常検出部Ａ２は、安全動作又は異常動作を識別するために構成された識別器を用いてもよい。識別器は、例えば、ニューラルネットワーク、ＳＶＭ（Support Vector Machine）などを用いて構成され、過去のセンシングデータＭ１に対して安全動作又は異常動作であるかの正解が与えられたデータ、すなわち教師データを用いて事前に学習されている。異常検出部Ａ２は、作業中の作業者のウェアラブルデバイス本体２４より得られるセンシングデータＳ１に含まれる特徴量を抽出して識別器へ入力し、当該識別器より、作業者の動作が例えば安全動作か異常動作であるかの確率を得る。ここで、特徴量とは、データに含まれる特徴を数値化したものを指す。異常検出部Ａ２は、異常動作を示す確率が高い場合に、当該作業者の動作は異常動作であると判定する。なお、識別器は、安全動作又は異常動作の種類ごとに生成されてもよい。

表示データ生成部Ａ３は、ウェアラブルデバイス本体２４の表示部Ｄに表示するためのデータを生成する。表示データ生成部Ａ３は、例えば、モバイルＰＣ１６のユーザインターフェース、及び、作業者が行う作業に関する種々の情報を含む表示データを生成可能である。生成された表示データは、通信部Ｃ１及びＣ２を経由して表示部Ｄに表示される。また、本実施形態において表示データ生成部Ａ３は、異常検出部Ａ２が異常動作を検出した場合に作業者の異常を確認するための表示データを生成する。

通報部Ａ４は、作業者に異常が発生した場合に、外部機器に対して当該異常を知らせる。より具体的には、通報部Ａ４は、異常検出部Ａ２が作業者の異常動作を検出した場合に、通信部Ｃ１を経由して遠隔支援センター１８のオペレータ端末１２などに作業者に異常が発生した旨のメッセージ、信号などを送信する。

通信部Ｃ１は、通信部Ｃ２と同様に、外部機器に対してデータ、コマンドなどの送受信を行う。通信部Ｃ１は、例えば、ＵＳＢｔｙｐｅ－Ｃコネクタ２０７、３Ｇ／ＬＴＥ／ＧＰＳデバイス３３６、ブルートゥース／無線ＬＡＮデバイス３４０、システムコントローラ３０２などを含む。通信部Ｃ１は、例えば、ウェアラブルデバイス本体２４、オペレータ端末１２などの外部機器に対してアプリケーションプログラムＡが生成したデータ、コマンドなどを送信する。また、通信部Ｃ１は、これらの外部機器よりアプリケーションプログラムＡの各処理部が必要とするデータを受信する。

記憶部Ｍは、例えば、データ、プログラムなどを格納する。記憶部Ｍは、例えばストレージデバイス３３０、フラッシュメモリ３２６、メモリカードコントローラ３２８などを含む。記憶部Ｍは、アプリケーションプログラムＡにより生成されたデータ、及び、通信部Ｃ１を経由して外部機器より取得したデータなどを格納する。

本実施形態において、記憶部Ｍは、センシングデータＭ１、識別用データＭ２を格納する。センシングデータＭ１は、上述のようにセンサ部Ｓより得られるセンシングデータＳ１を蓄積したデータである。識別用データＭ２は、上述の第１の検出方法で用いる標準パターン、又は、第２の検出方法で用いる識別器などである。なお、識別用データＭ２は、異常検出部Ａ２による異常動作の検出処理において用いられる他のデータを含んでいてもよい。また、識別用データＭ２は、所定の初期値により初期化されている。

図１０は、自動通報アプリケーションプログラムにより実行される自動通報処理の一例を示すフローチャートである。

ステップＳ１０１において、ウェアラブルデバイス本体２４のセンサ部Ｓは、センサ部Ｓに含まれる各種センサよりセンシングデータＳ１を取得する。センシングデータＳ１は、例えば（モーションセンサ１７６により得られる）作業者の位置又は加速度などの時間的な変化を表すデータ、（近接センサ１７８及び／又は接触センサ１７９により得られる）ウェアラブルデバイス本体２４と作業者が近接しているか否かを時系列で表すデータなどを含む。センサ部Ｓは、取得したセンシングデータＳ１を、通信部Ｃ２を経由してモバイルＰＣ１６に送信する。

ステップＳ１０２において、モバイルＰＣ１６のアプリケーションプログラムＡは、通信部Ｃ１を経由してウェアラブルデバイス本体２４が送信したセンシングデータＳ１を受信し、記憶部Ｍに格納する。

ステップＳ１０３において、装着判定部Ａ１は、例えば近接センサ１７８及び／又は接触センサ１７９により得られたセンシングデータＳ１を用いて、ウェアラブルデバイス２３を作業者が装着中であるか否かを判定する。装着中でないと判定され場合、処理は終了する。一方、装着中であると判定された場合、処理はステップＳ１０４へ進む。

ステップＳ１０４において、異常検出部Ａ２は、作業者の異常動作の検出処理を実行する。当該検出処理の詳細については、図１１を用いて後述する。

ステップＳ１０５において、異常検出部Ａ２により作業者の異常動作が検出されなかった場合は、処理を終了する。一方、異常動作が検出された場合、処理はステップＳ１０６へ進む。

ステップＳ１０６において、表示データ生成部Ａ３は、作業者に異常動作を検出した旨及び作業者の応答を促す旨をウェアラブルデバイス本体２４の表示部Ｄに表示させるための表示データを生成し、生成した表示データを通信部Ｃ１を経由してモバイルＰＣ１６へ送信する。

ステップＳ１０７において、ウェアラブルデバイス本体２４の表示部Ｄは、通信部Ｃ２を経由して表示データを受信し、当該表示データを表示部Ｄに表示する。なお、当該表示データの詳細は、図１２，１３を用いて後述する。

ステップＳ１０８において、入力部Ｉは、作業者からの入力操作を受け付ける。入力操作は、例えば表示データに基づいて表示部Ｄに表示される自動通報キャンセルボタンを選択し押下する操作などである。入力部Ｉは、所定の入力操作が行われた場合に、当該入力操作に関するデータを通信部Ｃ２を経由してモバイルＰＣ１６へ送信する。

ステップＳ１０９において、通報部Ａ４は、通信部Ｃ２を経由して受信した入力操作に関するデータに基づき、自動通報キャンセルボタンが押下されたか否かを判定する。所定時間内に当該ボタンが押下された場合は、処理を終了する。一方、所定時間内に当該ボタンが押下されない場合は、作業者は安全でない可能性があると考えられるため、ステップＳ１１０において通報部Ａ４は、オペレータ端末１２などへ作業者に異常が発生した旨のメッセージ、信号などを送信する。

なお、上述の自動通報処理は、例えば各種センサのサンプリング間隔で新たなセンシングデータＳ１が得られる毎に繰り返し実行される。

図１１は、自動通報アプリケーションプログラムにより実行される異常動作検出処理の一例を示すフローチャートである。図１１は、図１０のステップＳ１０４の処理に相当する。

ステップＳ２０１乃至Ｓ２０３は、異常動作を検出するための準備段階である学習フェーズである。ステップＳ２０１において、異常検出部Ａ２は、センサ部Ｓに含まれる各種センサより得られるセンシングデータＳ１を通信部Ｃ１を経由して受信し、記憶部Ｍに格納し、センシングデータＭ１として蓄積する。

ステップＳ２０２において、識別用データＭ２の更新条件を満たすか否かを判定する。更新条件は、例えば、前回更新時から現時点までに所定以上の量のセンシングデータＭ１を得たこと、前回更新時から所定の期間経過したことなどである。当該更新条件を満たす場合、処理はステップＳ２０３へ進む。一方、当該更新条件を満たさない場合、処理はステップＳ２０４へ進む。

ステップＳ２０３において、異常検出部Ａ２は、センシングデータＭ１のうち識別用データＭ２の学習に必要なデータ（前回更新時から現時点までに得られたセンシングデータ）を記憶部Ｍより読み出して識別用データＭ２を更新する。更新された識別用データＭ２は、記憶部Ｍに格納される。

ステップＳ２０４乃至Ｓ２０９は、異常動作の検出フェーズである。異常検出部Ａ２は、検出対象とする異常動作を１種類ずつ切り替えて検出する。図１１の例では、検出対象は「静止」、「落下」及び「その他の異常動作」であるとする。なお、異常検出部Ａ２は、必ずしも上述の異常動作を全て検出する必要はなく、例えば作業の内容に応じて、検出対象の異常動作を選択してもよい。

ステップＳ２０４において、異常検出部Ａ２は、検出対象とする異常動作の種類を決定する。

検出対象が作業者の「静止」である場合、ステップＳ２０５において、異常検出部Ａ２は、取得したセンシングデータＳ１を用いて作業者が長時間静止しているか否かを検出する。より具体的には、異常検出部Ａ２は、モーションセンサ１７６により得られる作業者の位置及び加速度が所定期間において０（又は０に近い値）である場合に、作業者は所定期間静止していると判定する。

検出対象が作業者の「落下」である場合、ステップＳ２０６において、異常検出部Ａ２は、取得したセンシングデータＳ１を用いて作業者が落下しているか否かを検出する。より具体的には、異常検出部Ａ２は、モーションセンサ１７６により得られる作業者の位置及び加速度が無重力状態（自由落下）を示す場合に、作業者は落下していると判定する。

なお、ステップＳ２０５，Ｓ２０６に示した「静止」及び「落下」は、上述のようにセンシングデータＳ１の所定の変化パターンにより判定可能であるため、学習フェーズであるステップＳ２０１乃至Ｓ２０３の処理は省略可能である。

検出対象が作業者の「その他の動作」である場合、異常検出部Ａ２は、上述の第１の検出方法、第２の検出方法などにより所定の異常動作を検出する。ここで、「その他の異常動作」は、例えば「転倒」など、センシングデータＳ１から所定の変化パターンを抽出することによる判定が困難な複雑な動作である。

ステップＳ２０７において、異常検出部Ａ２は、記憶部Ｍより上述の学習フェーズにおいて学習済の識別用データＭ２を読み出す。さらにステップＳ２０８において、異常検出部Ａ２は、読み出した識別用データＭ２と、センサ部Ｓより取得したセンシングデータＳ１とを用いて所定の異常動作を検出する。

ステップＳ２０９において、異常検出部Ａ２は、検出対象とする異常動作の検出処理が全て実行されたか否かを確認する。他の異常動作の検出処理を行う場合は、処理はステップＳ２０４へ戻る。

図１２は、異常動作検出時の表示画面の一例を示す図である。図１２は、図１０のステップＳ１０７においてウェアラブルデバイス本体２４の表示部Ｄに表示される内容を示す。

図１２において、表示部Ｄで表示される画面は、テキストＴ１、ボタンＢＴを含む。テキストＴ１は、異常動作を検出した旨を作業者に通知するためのテキストの一例である。テキストＴ１は、異常動作の種類を示すテキストＴＡを含む。テキストＴＡは、例えば、「長時間の静止状態」、「落下」、「転倒」などでもよい。また、テキストＴ１は、作業者が自動通報をキャンセルすることが可能な所定の時間を示すテキストＴＢを含む。このテキストＴＢは、例えばカウントダウン形式で表示されてもよい。

ボタンＢＴは、オペレータ端末１２に対する自動通報をキャンセルするためのボタンである。作業者は、テキストＴＢに表示される所定の時間内にボタンＢＴを押下することにより、自動通報をキャンセル可能である。なお、作業者はウェアラブルデバイス本体２４に対し他の操作を行うことにより自動通報をキャンセル可能であってもよい。例えば、通報部Ａ４は、ウェアラブルデバイス本体２４の入力部Ｉに含まれるマイク１１２，１２６に対し所定の音声が入力されたことを検知した場合、又は、タッチパッド１１０、ボタン１０２，１０４，１０６，１０８などに対し所定の入力を受け付けた場合に、自動通報をキャンセルしてもよい。

以上説明した本実施形態によれば、ウェアラブルデバイス本体２４は、センサ部Ｓを含み、ウェアラブルデバイス本体２４の各種センサより得られたセンシングデータＳ１を、ウェアラブルデバイス本体２４にＵＳＢ接続されるモバイルＰＣ１６へ送信する。モバイルＰＣ１６は自動通報アプリケーションプログラムを備え、当該自動通報アプリケーションプログラムがセンシングデータＳ１を解析することにより、作業者の異常動作を検出する。これにより、取得したセンシングデータＳ１を遠隔地にある端末（例えば、オペレータ端末１２など）へ送信することなく解析することができるため、当該解析処理のリアルタイム性が向上する。すなわち、センシングデータＳ１のデータ量が多い場合、又は、解析処理にある程度時間を要する場合でも、リアルタイム性を損なうことなく当該解析処理を実行可能である。

本実施形態において、自動通報アプリケーションプログラムは、記憶部Ｍに蓄積されたセンシングデータＭ１に基づいて識別用データＭ２を生成し、この識別用データＭ２に基づいて異常動作を検出する。これにより、例えば「落下」、「長時間の静止」といった比較的単純な動作だけでなく、「転倒」といったロジックによる判定では識別困難な複雑な動作を判定可能となる。

また、識別用データＭ２は、センシングデータＭ１の蓄積に伴う所定の条件を満たした場合に、最新の状態に更新される。これにより、作業者の異常動作の検出精度を高めることができる。

本実施形態において、モバイルＰＣ１６の自動通報アプリケーションプログラムは、作業者の異常を検出した場合に、ウェアラブルデバイス本体２４に異常動作を検出した旨とともに自動通報をキャンセルできるボタンを表示させる。これにより、異常動作が誤検出された場合でも、自動通報がキャンセルされることにより、オペレータ端末１２への誤った通報を抑止できる。さらに、誤った通報を受けたオペレータ端末１２が作業者に対し不要な安全確認を行うことを抑止できる。このため、遠隔支援センター１８の監視効率を向上させるとともに、作業者の作業効率の低下を抑止できる。

＜第２の実施形態＞
第１の実施形態では、図１０のステップＳ１０７において異常動作が検出された場合に、その旨がウェアラブルデバイス本体２４の表示部Ｄに表示されると説明した。これに加え、異常動作が検出されない場合でも、作業者に対し定期的に（例えば１時間間隔などで）安全確認が行われる方がよい。

本実施形態においては、自動通報アプリケーションプログラムが行う定期監視処理について説明する。なお、オペレータ端末１２、遠隔支援センター１８の構成については、第１の実施形態と同様であるため、説明を省略する。

図１３は、本実施形態において、モバイルＰＣ１６及びウェアラブルデバイス本体２４が備える処理部の一例を示すブロック図である。

第１の実施形態と同様に、自動通報アプリケーションプログラムは図８に示したシステムコントローラ３０２から主メモリ３０８へロードされることにより、自動通報部Ａとして動作する。本実施形態に係る自動通報部Ａは、第１の実施形態で説明した装着判定部Ａ１、異常検出部Ａ２、表示データ生成部Ａ３、通報部Ａ４に加え、定期監視処理を行うための定期監視部Ａ５を含む。

定期監視部Ａ５は、例えばタイマーを備える。定期監視部５Ａは、所定の時間間隔ごとに安全確認を行う旨の表示データの生成を表示データ生成部Ａ３に依頼する。なお、タイマーは、ソフトウェア及びハードウェアのいずれにより実装されてもよい。また、定期監視部Ａ５は、表示データ生成部Ａ３に含まれていてもよい。

モバイルＰＣ１６の記憶部Ｍ及び通信部Ｃ１、並びに、ウェアラブルデバイス本体２４の通信部Ｃ２、入力部Ｉ、表示部Ｄ及びセンサ部Ｓについては、第１の実施形態と同様であるため、説明を省略する。

図１４は、自動通報アプリケーションプログラムにより実行される定期監視処理の一例を示すフローチャートである。

ステップＳ３０１において、定期監視部Ａ５は、タイマーの値を確認する。定期監視部Ａ５は、タイマーの値が所定時間以上となったか否かを確認する。所定時間は、例えば１時間などである。なお、定期監視部Ａ５は、タイマーの値が所定時間となるまで待機する。

タイマーの値が所定時間以上となった場合、定期監視部Ａ５は、ステップＳ３０２において、タイマーをリセットする。また、定期監視部Ａ５は、表示データ生成部Ａ３に対し定期監視時に用いられる表示データの生成を依頼する。

ステップＳ３０３において、表示データ生成部Ａ３は、作業者に定期的な安全確認を行う旨及び作業者の応答を促す旨をウェアラブルデバイス本体２４の表示部Ｄに表示させるための表示データを生成し、生成した表示データを通信部Ｃ１を経由してモバイルＰＣ１６へ送信する。

ステップＳ３０４乃至Ｓ３０７の処理は、図のステップＳ１０７乃至Ｓ１１０の処理と同様であるため、説明を省略する。なお、ステップＳ３０７の後、処理はステップＳ３０１に戻って繰り返し実行される。

図１５は、定期監視時の表示画面の一例を示す図である。図１５は、図１４のステップＳ３０４においてウェアラブルデバイス本体２４の表示部Ｄに表示される内容を示す。

図１５において、表示部Ｄは、テキストＴ２、ボタンＢＴを含む。テキストＴ２は、定期的な安全確認である旨を作業者に通知するためのテキストの一例である。テキストＴ２は、テキストＴＢを含む。テキストＴＢ及びボタンＢＴの機能及び役割は図１２と同等である。

以上説明した本実施形態においては、自動通報アプリケーションプログラムは、異常検出の有無にかかわらず、定期的に作業者に対して安全確認を行う。したがって、例えば作業者が異常動作を行ったにもかかわらず当該異常動作が検出されない場合でも、定期監視が機能することにより、作業者の安全を確保することができる。

なお、定期監視を行うタイミングは、異常動作が検出されたタイミングに連動して自動的に調整されてもよい。より具体的には、定期監視部Ａ５は、例えば異常検出部Ａ２が異常動作を検出した場合に、タイマーをリセットしてもよい。また、定期監視部Ａ５は、異常検出部Ａ２が作業員の異常動作を検出する頻度に応じて定期監視を行う間隔（すなわち、上述の所定時間の値）を変化させてもよい。例えば、定期監視部Ａ５は、異常検出部Ａ２が作業員の異常動作を検出する頻度が低い場合に、定期監視を行う間隔を大きくし、当該頻度が高い場合に、当該間隔を小さくしてもよい。

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１２…オペレータ端末、１４…サーバ、１６…モバイルＰＣ、１８…遠隔支援センター、２２…ネットワーク、２３…ウェアラブルデバイス、２４…ウェアラブルデバイス本体、Ａ…アプリケーションプログラム、Ａ１…装着判定部、Ａ２…異常検出部、Ａ３…表示データ生成部、Ａ４…通報部、Ｃ１，Ｃ２…通信部、Ｄ…表示部、Ｉ…入力部、Ｍ…記憶部、Ｍ１，Ｓ１…センシングデータ、Ｍ２…識別用データ、Ｓ…センサ部。

Claims (16)

1. 作業者が装着可能な電子機器であって、
   近接センサ及び接触センサの少なくとも一方と、
   前記作業者の動きを検知するモーションセンサと、
   表示手段と、
   前記近接センサ及び前記接触センサの少なくとも一方により得られる第１のデータに基づいて、前記電子機器が前記作業者により装着中であるか否かを判定する判定手段と、
   前記判定手段により前記電子機器が装着中であると判定された場合に、前記モーションセンサにより得られる第２のデータを解析することにより、前記作業者の異常動作を異常動作の種類毎に検出する検出手段と、
   前記異常動作が検出された旨及び作業者の応答を促す旨を、前記異常動作の種類を示すテキスト及び前記作業者が前記応答を可能な時間を示すテキストを含めて、前記表示手段に表示させる表示制御手段と、
   前記表示手段による表示がなされてから所定期間内に所定の操作を受け付けない場合に、他の機器へ通報を行う通報手段とを備え、
   前記表示制御手段は、定期的に前記作業者の安全確認を行う旨の表示データを前記表示手段に表示させる、
   電子機器。
2. 前記通報手段は、前記表示手段による表示がなされてから前記所定期間内に前記所定の操作を受け付けた場合に、前記通報を行わない請求項１に記載の電子機器。
3. 過去に得られた複数の前記第１のデータ及び前記第２のデータを格納する記憶手段を更に備え、
   前記検出手段は、格納された前記第１のデータ及び前記第２のデータを用いて、前記異常動作を示す識別用データを生成して前記記憶手段に格納する請求項１又は請求項２に記載の電子機器。
4. 前記識別用データは、前記異常動作を示すセンサ値の時間変化パターンが前記異常動作の種類毎に生成された標準パターンであり、
   前記検出手段は、現時点で得られた前記第１のデータ及び前記第２のデータを前記異常動作の種類毎の前記標準パターンと比較することにより、前記作業者の前記異常動作を検出する請求項３に記載の電子機器。
5. 前記識別用データは、前記異常動作としての教師データを用いて学習された識別器であり、
   前記検出手段は、現時点で得られた前記第１のデータ及び前記第２のデータから特徴量を抽出して前記識別器へ入力し、前記特徴量が前記異常動作を示す確率を前記識別器から得ることにより、前記作業者の前記異常動作を検出する請求項３に記載の電子機器。
6. 前記検出手段は、前記識別用データの更新条件を満たすか否かを判定し、前記更新条件を満たす場合、前記記憶手段に格納された前記第１のデータ及び前記第２のデータから特定データを抽出して前記識別用データを更新する請求項３に記載の電子機器。
7. 前記更新条件は、前回更新時から現時点までに所定量以上の前記第１のデータ及び前記第２のデータを得たこと、及び前回更新時から所定時間が経過したこと、の少なくとも１つである請求項６に記載の電子機器。
8. 前記特定データは、前回更新時から現時点までに得られた前記第１のデータ及び前記第２のデータである請求項６に記載の電子機器。
9. 前記異常動作は、前記作業者の落下、前記作業者の一定時間以上の静止、及び、前記作業者の転倒である請求項１乃至請求項５のいずれか一項に記載の電子機器。
10. 前記所定の操作は、前記通報手段による前記通報のキャンセルである請求項１又は請求項２のいずれか一項に記載の電子機器。
11. 前記表示制御手段は、前記通報手段による前記通報のキャンセルの指示ボタンを前記表示手段に表示させる請求項１０に記載の電子機器。
12. 前記近接センサ及び前記接触センサの少なくとも一方と、前記モーションセンサと、前記表示手段とを含む第１の電子機器と、
    前記判定手段と、前記検出手段と、前記通報手段とを含む第２の電子機器とを備える請求項１に記載の電子機器。
13. 前記第１の電子機器はメガネ型のウェアラブルデバイスであり、
    前記第２の電子機器は前記作業者が携帯可能なパーソナルコンピュータである請求項１２に記載の電子機器。
    
14. 前記作業者の安全確認を行う旨の表示データを表示する間隔は、異常動作を検出する頻度に応じて変化する、請求項１に記載の電子機器。
15. 作業者が装着可能であり、近接センサ及び接触センサの少なくとも一方と、前記作業者の動きを検知するモーションセンサと、表示手段を備える電子機器の制御方法であって、
    前記近接センサ及び前記接触センサの少なくとも一方により得られる第１のデータに基づいて、前記電子機器が前記作業者により装着中であるか否かを判定することと、
    前記電子機器が装着中であると判定された場合に、前記モーションセンサにより得られる第２のデータを解析することにより、前記作業者の異常動作を異常動作の種類毎に検出することと、
    前記異常動作が検出された旨及び作業者の応答を促す旨を、前記異常動作の種類を示すテキスト及び前記作業者が前記応答を可能な時間を示すテキストを含めて、前記表示手段に表示させることと、
    前記表示手段による表示がなされてから所定期間内に所定の操作を受け付けない場合に、他の機器へ通報を行うことと、を備え、
    前記表示手段に表示させることは、定期的に前記作業者の安全確認を行う旨の表示データを前記表示手段に表示させることを含む、
    制御方法。
16. 作業者が装着可能であり、近接センサ及び接触センサの少なくとも一方と、前記作業者の動きを検知するモーションセンサと、表示手段を備えるコンピュータにより実行されるプログラムであって、
    前記コンピュータを、
    前記近接センサ及び前記接触センサの少なくとも一方により得られる第１のデータに基づいて、前記コンピュータが前記作業者により装着中であるか否かを判定する判定手段と、
    前記判定手段により前記コンピュータが装着中であると判定された場合に、前記モーションセンサにより得られる第２のデータを解析することにより、前記作業者の異常動作を異常動作の種類毎に検出する検出手段と、
    前記異常動作が検出された旨及び作業者の応答を促す旨を、前記異常動作の種類を示すテキスト及び前記作業者が前記応答を可能な時間を示すテキストを含めて、前記表示手段に表示させる表示制御手段と、
    前記表示手段による表示がなされてから所定期間内に所定の操作を受け付けない場合に、他の機器へ通報を行う通報手段と、して機能させ、
    前記表示制御手段は、定期的に前記作業者の安全確認を行う旨の表示データを前記表示手段に表示させる、
    プログラム。

Images