JP7227975B2 - 情報通信システム、端末装置、及び情報通信システムの作動方法 - Google Patents

Description

本発明は、情報通信システム、端末装置、及び情報通信システムの作動方法に関する。

近年、眼鏡型のヘッドマウント ディスプレイを用いて所定のＡＲ（Argument Reality）やＭＲ（Mixed Reality）やＶＲ（Virtual Reality）の情報を表示する、ウェアラブル端末などの端末装置が市場に登場し始めている。また、ＡＲ、ＭＲおよびＶＲだけでなく、音声、振動、温度変化、臭い、味、電気信号、物理的な刺激などを人の五感に訴えるインタフェイスを備えたウェアラブル端末も市場に登場し始めている。

これに伴い、こうしたウェアラブル端末の活用に関する手法も種々提案されている。たとえば特許文献１においては、使用者の行動状態に応じて、表示パネルに表示される情報の表示モード（要約表示モードと詳細表示モード）を自動的に切り替える技術が提案されている。

特開２００７－１６３６３４号公報

一方で、クラウドなどに設置されたサーバ装置から上述した端末装置に対して情報を送信してその情報を表示させる場合や、端末装置が備えたカメラによって撮影した画像をサーバ装置に一旦出力し、サーバ装置において画像に対して所定の処理を施した後、サーバ装置から端末装置に処理結果を出力して表示させる場合などにおいては、端末装置とサーバ装置の間での情報通信に要する時間に起因して、端末装置において表示の遅延が生じたり、実世界の適切な位置に適切な情報が表示されないなどの問題が生じ、ユーザが、煩わしさの方を強く感じる恐れがある。

また、従来の端末装置では、ユーザの意図や行動を正確に判断してそれに応じた処理を実行することができない。

本発明は、端末装置とサーバ装置とを備えた情報通信システムにおいて、端末装置を使用するユーザに対して必要な情報を遅延なく、かつタイミングよく提示することを目的とする。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。

上記の課題を解決する本発明の一態様は、ネットワークを介して通信する端末装置とサーバ装置とを備える情報通信システムであって、前記端末装置は、少なくとも１つのセンサを有するセンサ部と、前記センサ部の検出信号に基づく処理を行う端末処理部と、前記センサ部の検出信号が予め設定された条件を満たしているか否かを判定する判定部と、前記サーバ装置と通信する端末通信部とを有し、前記サーバ装置は、前記端末装置と通信するサーバ通信部と、該サーバ通信部によって受信された前記検出信号に基づく処理を行うサーバ処理部とを有し、前記端末装置は、前記判定部において前記検出信号が予め設定された第１の条件を満たしていると判定されている間は、前記端末処理部による処理が継続されるよう制御し、前記判定部において前記検出信号が予め設定された第２の条件を満たしていると判定された場合に、前記端末通信部が前記サーバ通信部と通信を行うよう制御する制御部を有する。

本発明の一態様によれば、端末装置とサーバ装置とを備えた情報通信システムにおいて、端末装置を使用するユーザに対して必要な情報を遅延なく、かつタイミングよく提示する。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の一実施形態に係る情報通信システムのシステム構成例を示す図である。 本発明の一実施形態に係る端末装置及びサーバ装置の機能構成例を示すブロック図である。 本発明の一実施形態に係る情報通信システムの基本的な動作の一例を示すフローチャートである。

以下に、本発明に係る一実施形態を適用した情報通信システムについて、図面を参照して説明する。

図１は、本発明の一実施形態に係る情報通信システム１の構成例を示す図である。本実施形態において想定する情報通信システム１は、端末装置１００と、サーバ装置３００とを備える。端末装置１００とサーバ装置３００は、ネットワーク２００を介して通信を行う。ネットワーク２００は、無線ＬＡＮ（Local Area Network）、有線回線およびインターネット回線などの通信回線から構成される。また、本実施形態の情報通信システム１においては、端末装置１００およびサーバ装置３００の他に、パーソナルコンピュータ４００、タブレット端末５００、ウェアラブル端末６００およびクラウドサーバ装置７００がネットワーク２００に接続され、ネットワーク２００に接続された各装置は、相互に通信可能に構成されている。なお、ネットワーク２００に接続される装置は、これらの装置に限らず、その他の装置が接続されて通信可能に構成してもよい。

本実施形態の端末装置１００は、作業者２の身体の一部に着脱可能に構成された、いわゆるウェアラブル端末と呼ばれる装置である。本実施形態の端末装置１００は、作業者２の頭部に装着される眼鏡型のウェアラブル端末であり、作業者２の視野と同様あるいはより広角な画像情報を撮影し、その撮影された画像情報およびその他の種々の情報を作業者２が視認可能に構成されている。なお、本実施形態においては、端末装置１００として眼鏡型のウェアラブル端末の例を挙げているが、端末装置１００は、眼鏡型以外のウェアラブル端末でもよく、たとえば作業者２の手首に装着されるリストバンド型のウェアラブル端末でもよいし、クリップによって作業者２の衣服などに装着されるクリップ型のウェアラブル端末でもよいし、眼鏡型とリストバンド型のウェアラブル端末の組み合わせなど、複数種類のウェアラブル端末の組み合わせから端末装置１００を構成するようにしてもよい。

端末装置１００は、具体的には、表示部１１０（本発明の報知部に相当する）と、フレーム部１２０とを備える。表示部１１０は、例えば作業者２から見て左右一対のシースルーの液晶デバイスから構成され、この液晶デバイスにおいて、撮影された画像情報および種々の情報がＡＲ（Augmented Reality）表示される。

フレーム部１２０は、眼鏡フレームのように作業者２の耳にかけられる形状で形成されており、その筐体内部には、種々の電気的な構成が内蔵されている（図２参照）。

図２は、本発明の一実施形態に係る端末装置１００及びサーバ装置３００の機能構成例を示すブロック図である。まず、本実施形態の端末装置１００について説明する。具体的には、端末装置１００は、フレーム部１２０内に、センサ部１０１、端末処理部１０２、判定部１０３、端末通信部１０４、端末記憶部１０５および制御部１０６を備える。

センサ部１０１は、少なくとも１つのセンサを備え、たとえば上述した画像情報を撮影する画像センサ（ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ、ＣＣＤ（Charge Coupled Device）センサ、ＴＯＦ（Time of Flight）センサ）、ｎ軸センサ、加速度センサ、ＧＰＳ（Global Positioning System）センサおよび方位センサを備える。なお、センサ部１０１は、これらのセンサに限らず、作業者の現在の状態を検出するセンサであれば如何なるセンサを含んでもよく、たとえば作業者２の周囲の環境温度または体温を検出する温度センサ、環境湿度を検出する湿度センサ、作業者２の周囲の気圧を検出する気圧センサ、作業者２の周囲の音または作業者２の声を検出する音センサ（マイクロホン）などを含んでもよい。

端末処理部１０２は、センサ部１０１の各センサによって検出された検出信号に基づく処理を行う。具体的には、端末処理部１０２は、画像センサによって検出された検出信号に基づいて、表示部１１０に表示可能な映像信号を生成したり、ｎ軸センサまたは加速度センサによって検出された検出信号に基づいて、作業者２の移動または動作に関する情報を生成したり、ｎ軸センサ、ＧＰＳセンサまたは方位センサの検出信号に基づいて、作業者２の位置情報、並びに視線方向および移動方向などの方位情報を生成する。

端末処理部１０２において生成された映像信号および種々の情報は、制御部１０６に出力され、制御部１０６は、映像信号および種々の情報を表示部１１０に表示させる。また、映像信号および種々の情報は、端末記憶部１０５に出力されて記憶される。また、映像信号および種々の情報は、端末通信部１０４に出力され、端末通信部１０４からネットワーク２００に出力可能に構成されている。

判定部１０３は、センサ部１０１によって検出された検出信号が予め設定された条件を満たしているか否かを判定する。具体的には、判定部１０３は、たとえば加速度センサの検出信号が予め設定された閾値範囲内であるか否かを検出したり、加速度センサの検出信号に基づいて端末処理部１０２によって生成された加速度プロファイルが、予め設定された形状の範囲内であるか否かを判定したりする。なお、加速度プロファイルとは、加速度の時間的な変化をプロットしたグラフである。

また、判定部１０３は、ｎ軸センサまたはＧＰＳセンサの検出信号に基づいて端末処理部１０２によって生成された作業者２の位置情報が、予め設定された現実の３次元空間の範囲内であるか否かを判定する。また、判定部１０３は、画像センサの検出信号から生成された映像信号に対して施される画像処理の負荷が、予め設定された範囲内であるか否かを判定する。なお、画像処理の負荷については、たとえば映像信号に対してエッジ検出処理を施し、そのエッジ量またはエッジの複雑さを算出することによって求めるようにすればよい。判定部１０３における判定処理については、後で詳細に説明する。

端末通信部１０４は、ネットワーク２００を介してサーバ装置３００およびネットワーク２００に接続されたその他の装置と通信を行う。そして、端末通信部１０４は、通信先のサーバ装置３００およびその他の装置に対して、センサ部１０１によって検出された検出信号や、端末処理部１０２によって生成された映像信号および種々の情報を出力する。

また、本実施形態の端末通信部１０４は、作業者２が使用する携帯端末装置１３０と通信可能に構成されている。携帯端末装置１３０は、スマートフォンまたはタブレット端末から構成され、端末装置１００の動作と連動するアプリケーションがインストールされている。携帯端末装置１３０は、アプリケーションによって表示されたインタフェイス画面において、端末装置１００の動作に関する種々の設定入力を受け付けたり、または端末処理部１０２における処理の全部を代わりに行ったり、もしくは処理の一部を端末処理部１０２と分担して行う。なお、端末装置１００単体、又は、端末装置１００と携帯端末装置１３０のセットが、本発明の端末装置に相当すると言える。

端末記憶部１０５は、センサ部１０１によって検出された検出信号や端末処理部１０２によって生成された映像信号および種々の情報を記憶する。

制御部１０６は、端末装置１００全体を制御する。特に、本実施形態の制御部１０６は、判定部１０３における判定結果に基づいて、端末処理部１０２による処理を継続して行うか、端末通信部１０４によってサーバ装置３００との通信を行うかを切り替える。すなわち、本実施形態の制御部１０６は、センサ部１０１によって検出された検出信号に基づく処理を端末処理部１０２側において継続して行うか、もしくは端末通信部１０４によってサーバ装置３００との通信を行い、サーバ装置３００側で処理を行うかを、判定部１０３の判定結果に応じて切り替える。なお、具体的な例については、後で詳述する。

端末処理部１０２、判定部１０３、端末通信部１０４、端末記憶部１０５および制御部１０６は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random access memory）などが設けられた制御基板によって構成され、その制御基板がフレーム部１２０の筐体内に設けられている。そして、ＣＰＵが、ＲＯＭまたはＲＡＭに記憶されたプログラムを実行することにより、端末装置１００の各部の機能が実現される。

次に、本実施形態のサーバ装置３００について説明する。本実施形態のサーバ装置３００は、いわゆるクラウドサーバ装置であって、上述したとおり、ネットワーク２００を介して端末装置１００およびネットワーク２００に接続されたその他の装置と相互に通信可能に構成されている。

本実施形態のサーバ装置３００は、具体的には、図２に示すように、サーバ通信部３０１、サーバ処理部３０２、サーバ記憶部３０３および制御部３０４を備える。

サーバ通信部３０１は、ネットワーク２００を介して端末装置１００およびネットワーク２００に接続されたその他の装置と通信を行う。そして、サーバ通信部３０１は、端末装置１００から出力されたセンサ部１０１の検出信号や、端末処理部１０２によって生成された映像信号および種々の情報を受信する。

また、本実施形態のサーバ装置３００は、サーバ通信部３０１を介して、端末装置１００の判定部１０３における判定処理に用いられる条件を端末装置１００に対して出力する。端末装置１００は、サーバ装置３００から出力された判定処理の条件を受信し、その受信した条件を判定部１０３に新たに設定するか、もしくは先に設定された条件を更新する。サーバ装置３００から端末装置１００に対して出力される判定処理の条件は、サーバ装置３００において管理者などが設定入力してもよいし、サーバ装置３００による演算処理によって取得された条件でもよい。

サーバ装置３００による演算処理によって取得される条件としては、たとえば、サーバ装置３００が、ネットワーク２００に接続されたパーソナルコンピュータ４００、タブレット端末５００、ウェアラブル端末６００およびクラウドサーバ装置７００と通信を行い、これらの装置に設定された加速度の閾値などの条件を取得し、その条件の平均値、最大値および最小値などの統計量を演算し、その統計量を判定処理の条件として端末装置１００に出力してもよい。

また、統計量に限らず、サーバ装置３００が、ネットワーク２００に接続された上述した各装置から、たとえば作業者の動作に応じた加速度プロファイルをそれぞれ取得し、その多数の加速度プロファイルを機械学習し、その機械学習の結果を判定処理の条件として端末装置１００に出力してもよい。

サーバ処理部３０２は、センサ部１０１の各センサによって検出された検出信号に基づく処理を行う。本実施形態のサーバ処理部３０２は、基本的には、端末装置１００の判定部１０３において、センサ部１０１によって検出された検出信号が予め設定された条件を満たしていないと判定された場合に処理を行う。

サーバ処理部３０２は、たとえば端末装置１００の加速度センサによって検出された加速度が、予め設定された閾値範囲外である場合や、加速度プロファイルが、予め設定された形状の範囲外であると判定された場合に、作業者２の動作に異常があるものとして、正しい動作に戻るような警告または所定の指示を出力する処理を行う。

なお、上述した例の場合、加速度について、予め設定された閾値範囲が本発明の第１の条件に相当し、予め設定された閾値範囲外が本発明の第２の条件に相当する。また、加速度プロファイルについて、予め設定された形状の範囲が本発明の第１の条件に相当し、予め設定された形状の範囲外が本発明の第２の条件に相当する。

また、本発明における第１の条件と第２の条件については、上述したような互いに排除し合う条件であってもよいし、全く異なる数値範囲や全く異なる形状の範囲などであってもよい。

また、上述したように加速度センサによって検出された加速度が、予め設定された閾値範囲外である場合や、加速度プロファイルが、予め設定された形状の範囲外であると判定された場合、サーバ装置３００のサーバ通信部３０１が、センサ部１０１の検出信号並びに端末処理部１０２によって生成された映像信号および種々の情報を受信し、サーバ処理部３０２が、その受信した検出信号などを作業者２の情報と対応付けてサーバ記憶部３０３に記憶するようにしてもよい。これにより作業者２が異常な行動をしたことを管理することができる。

サーバ記憶部３０３は、半導体メモリおよびハードディスクなどの記憶媒体を備え、端末装置１００の端末記憶部１０５よりも大容量の記憶領域を備える。そして、サーバ記憶部３０３は、上述したように端末装置１００から出力されたセンサ部１０１の検出信号並びに端末処理部１０２によって生成された映像信号および種々の情報などを記憶する。

制御部３０４は、サーバ装置３００全体を制御する。特に、本実施形態の制御部３０４は、サーバ装置３００と端末装置１００との通信を制御し、また、端末装置１００から出力されたセンサ部１０１の検出信号に基づく処理を制御する。

サーバ通信部３０１、サーバ処理部３０２および制御部３０４は、ＣＰＵ、ＲＯＭおよびＲＡＭなどから構成される。そして、ＣＰＵが、ＲＯＭまたはＲＡＭに記憶されたプログラムを実行することにより、サーバ装置３００の各部の機能が実現される。

次に、本実施形態の情報通信システム１の基本的な動作の一例について説明する。

図３は、本発明の一実施形態に係る情報通信システム１の基本的な動作の一例を示すフローチャートである。

まず、端末装置１００の電源スイッチ（図示省略）がオンされ（ステップＳ１０）、端末装置１００のセンサ部１０１の各センサによる検出が開始される（ステップＳ１２）。センサ部１０１の各センサによって検出された検出信号は、端末処理部１０２に入力されて所定の処理が施されるとともに、判定部１０３に入力される。

そして、判定部１０３において、入力された各センサの検出信号が、予め設定された条件を満たしているか否かが判定され（ステップＳ１４）、条件を満たしていると判定されている間は（ステップＳ１４，ＹＥＳ）、端末処理部１０２における検出信号に基づく処理が継続される（ステップＳ１６）。端末処理部１０２における処理結果は、制御部１０６の制御によって、表示部１１０に表示される。なお、センサ部１０１の検出開始時点から表示部１１０による表示までの時間Ｔは、１０μｓ＜Ｔ＜６０ｍｓであることが望ましい。端末処理部１０２における処理については、後の適用例にて詳述する。

一方、判定部１０３において、入力された各センサの検出信号が、予め設定された条件を満たしていないと判定された場合には（ステップＳ１４，ＮＯ）、制御部１０６の制御によって、端末通信部１０４がサーバ装置３００のサーバ通信部３０１との通信を開始する（ステップＳ１８）。そして、この際、サーバ通信部３０１は、端末装置１００から出力されたセンサ部１０１の検出信号を受信し、サーバ処理部３０２が、センサ部１０１の検出信号に基づく処理を行う（ステップＳ２０）。なお、サーバ処理部３０２における処理については、後の適用例にて詳述する。

サーバ処理部３０２の処理結果は、サーバ通信部３０１を介して端末装置１００に出力される（ステップＳ２２）。そして、サーバ装置３００から出力された処理結果は、端末装置１００の端末通信部１０４によって受信され、制御部１０６の制御によって、表示部１１０に表示される。

このように本実施形態の情報通信システム１においては、端末装置１００の判定部１０３における判定結果に応じて、端末装置１００側とサーバ装置３００側とで処理が切り替えられ、端末装置１００の表示部１１０に処理結果が表示されるが、この処理と並行して、端末装置１００の制御部１０６は、センサ部１０１による検出開始時点（ステップＳ１２）からの経過時間を計測する。

そして、制御部１０６は、計測した経過時間が予め設定された時間を経過していない場合には（ステップＳ２４，ＮＯ）、センサ部１０１の検出信号および端末処理部１０２の処理結果などの関連情報を端末記憶部１０５に記憶する（ステップＳ２６）。その後、処理はステップＳ１２に戻る。一方、制御部１０６は、計測した経過時間が予め設定された時間を経過した場合には（ステップＳ２４，ＹＥＳ）、端末通信部１０４を制御して、サーバ装置３００のサーバ通信部３０１との通信を開始する（ステップＳ２８）。そして、制御部１０６の制御によって、端末記憶部１０５に記憶された上述した関連情報が読み出され、端末通信部１０４を介してサーバ装置３００に出力される。なお、この際、端末記憶部１０５に記憶された関連情報は消去され、端末記憶部１０５の記憶領域が開放される。端末装置１００から出力された関連情報は、サーバ装置３００のサーバ通信部３０１によって受信され、サーバ記憶部３０３に記憶される（ステップＳ３０）。

そして、端末装置１００の電源スイッチがオフされるまでの間は（ステップＳ３２，ＮＯ）、ステップＳ１２～Ｓ３０までの処理が繰り返して行われる。すなわち、端末装置１００の判定部１０３における判定結果に応じて、端末装置１００側とサーバ装置３００側とで処理が切り替えられ、端末装置１００の表示部１１０に処理結果が表示されるとともに、予め設定された経過時間毎に、端末装置１００の端末記憶部１０５から関連情報が読み出され、端末装置１００からサーバ装置３００に出力されてサーバ記憶部３０３に記憶される。そして、端末装置１００は、電源スイッチがオフされた時点で処理を終了する（ステップＳ３２，ＹＥＳ）。

上記実施形態の情報通信システム１によれば、判定部１０３において、センサ部１０１の検出信号が予め設定された条件を満たしていると判定されている間は、端末装置１００側で処理を継続して行い、判定部１０３において予め設定された条件を満たしていないと判定された場合に、端末装置１００がサーバ装置３００との通信を開始し、サーバ装置３００側で処理を行うようにしたので、端末装置１００を使用するユーザに対して必要な情報を遅延なく、かつタイミングよく提示することができる。

また、端末装置１００は、物理的なサイズに制限があり、バッテリー容量も制限されるため、端末装置１００とサーバ装置３００との間で頻繁に通信を行ったのでは、端末装置１００の利用可能時間が過度に低下する恐れがある。また、端末装置１００とサーバ装置３００との間の通信に伴う通信料金が増大する懸念もある。これに対し、上記実施形態の情報通信システム１によれば、判定部１０３において、センサ部１０１の検出信号が予め設定された条件を満たしていないと判定された場合に、端末装置１００がサーバ装置３００との通信を開始するようにしたので、上述したような利用可能時間の低下や通信料金の増大を抑制することができる。

なお、図３に示すフローチャートの処理では、端末装置１００の制御部１０６が、センサ部１０１による検出開始時点からの経過時間を計測し、その計測した経過時間が予め設定された時間を経過した場合に、制御部１０６が、端末記憶部１０５に記憶された関連情報を読み出し、サーバ装置３００に出力するようにしたが、これに限らず、制御部１０６が、端末記憶部１０５に記憶された関連情報のデータ量を監視し、そのデータ量が予め設定された閾値以上となった時点において、端末記憶部１０５に記憶された関連情報を読み出し、サーバ装置３００に出力するようにしてもよい。

次に、本実施形態の情報通信システム１の適用例について、以下、具体的に説明する。

[第１の適用例]
第１の適用例は、端末装置１００として、リストバンド型のウェアラブル端末を用いた例であり、端末装置１００のセンサ部１０１の加速度センサによって、作業者２が所定の作業対象装置を操作する際の手の加速度を検出する。そして、第１の適用例は、作業者２が作業対象装置に対して異常な操作を行った際に、端末装置１００の表示部１１０に警告などが適切なタイミングで表示される例である。

具体的には、端末装置１００は、作業者２が作業対象装置のハンドルを回す際の手の加速度を検出する。端末装置１００の判定部１０３には、熟練者がハンドルを回した際の手の加速度に基づいて決定された閾値が予め設定されている。そして、判定部１０３は、センサ部１０１の検出信号に基づいて端末処理部１０２によって生成された加速度プロファイルと上記閾値とを比較し、判定部１０３によって加速度プロファイルが上記閾値以内と判定されている間は、端末処理部１０２によって継続して加速度プロファイルの生成処理が行われ、判定部１０３による判定処理が継続される。このように、第１の適用例では、加速度プロファイルが閾値以内である間は、加速度プロファイルの監視を端末装置１００側で行い、サーバ装置３００での監視は行わないので、端末装置１００とサーバ装置３０との間の通信による遅延をなくすことができる。すなわち、たとえば作業者２が異常な動作を行った場合には、その動作を即座に検出することができる。

一方、判定部１０３によって加速度プロファイルが閾値を越えたと判定された場合には、端末装置１００は、サーバ装置３００との通信を開始し、サーバ装置３００に対して加速度が閾値を超えた旨を示す異常発生信号および端末処理部１０２によって生成された加速度プロファイルを出力する。サーバ装置３００は、端末装置１００から出力された異常発生信号および加速度プロファイルを受信し、これに応じてサーバ処理部３０２は、作業者２に対する警告や次の作業内容などを生成し、制御部３０４は、これらをサーバ通信部３０１を介して端末装置１００に出力する。そして、サーバ装置３００から出力された警告や次の作業内容が、端末装置１００の表示部１１０に表示される。これにより、作業者２は、必要な情報を得ることができる。

また、サーバ装置３００の制御部３０４は、異常な作業を行った作業者２の識別情報と加速度プロファイルなどをサーバ記憶部３０３に記憶する。サーバ記憶部３０３に記憶された情報は、たとえばサーバ装置３００において後で読み出されて表示され、これにより新人教育などに利用することができる。また、サーバ記憶部３０３に記憶された情報は、上述の閾値の統計的な算出や機械学習に利用されてもよく、新しく算出された閾値は、端末装置１００に送信されて設定されてもよい。これにより、より精度の高い判定処理を行うことができる。

なお、端末処理部１０２によって生成された加速度プロファイルは、端末記憶部１０５に一時的に記憶されるが、上述したように加速度プロファイルが閾値を超えた場合以外に、センサ部１０１による加速度の検出開始後、予め設定された経過時間毎に、端末装置１００の端末記憶部１０５から読み出され、端末装置１００からサーバ装置３００に出力されてサーバ記憶部３０３に記憶される。これにより、端末記憶部１０５の記憶領域が定期的に開放されるとともに、サーバ装置３００が、作業者２の動作の情報を管理することができる。

[第２の適用例]
第２の適用例は、第１の適用例と同様に、端末装置１００として、リストバンド型のウェアラブル端末を用いた例であり、端末装置１００のセンサ部１０１の加速度センサによって、作業者２が所定の作業対象装置を操作する際の手の加速度を検出する。そして、第２の適用例は、作業者２が一連の作業を終了した際に、端末装置１００の表示部１１０に次の作業内容などが適切なタイミングで表示される例である。

第２の適用例の端末装置１００の判定部１０３には、一連の作業が所定の手順で進められた場合における手の加速度プロファイルが予め設定されている。そして、判定部１０３は、センサ部１０１の検出信号に基づいて端末処理部１０２によって生成される加速度プロファイルと、上記予め設定された加速度プロファイルとを比較し、予め設定された加速度プロファイルが検出されるまでは、端末処理部１０２における加速度プロファイルの生成処理が継続して行われ、判定部１０３による判定処理が継続される。このように、第２の適用例では、予め設定された加速度プロファイルが検出されない間は、加速度プロファイルの監視を端末装置１００側で行い、サーバ装置３００での監視は行わないので、端末装置１００とサーバ装置３０との間の通信による遅延をなくすことができる。すなわち、第２の適用例は、作業者２が一連の作業を終了したことを即座に検出することができる。

そして、判定部１０３において予め設定された加速度プロファイルが検出された場合には、端末装置１００は、サーバ装置３００との通信を開始し、サーバ装置３００に対して一連の作業が終了した旨を示す終了信号および端末処理部１０２によって生成された加速度プロファイルを出力する。サーバ装置３００は、端末装置１００から出力された終了信号および加速度プロファイルを受信し、これに応じてサーバ処理部３０２は、次の作業内容を示す情報を生成し、制御部３０４は、この情報をサーバ通信部３０１を介して端末装置１００に出力する。そして、サーバ装置３００から出力された次の作業内容が、端末装置１００の表示部１１０に表示される。これにより、作業者２は、必要な情報を得ることができる。

また、サーバ装置３００の制御部３０４は、一連の作業を終了した作業者２の識別情報と加速度プロファイルなどをサーバ記憶部３０３に記憶する。サーバ記憶部３０３に記憶された情報は、たとえばサーバ装置３００において後で読み出されて表示され、これにより作業者２が適切に作業を行ったことを後で確認することができる。また、サーバ記憶部３０３に記憶された情報は、予め設定される加速度プロファイルの統計的な算出や機械学習に利用されてもよく、新しく算出された加速度プロファイルは、端末装置１００に送信されて設定されてもよい。これにより、より精度の高い判定処理を行うことができる。

なお、端末処理部１０２によって生成された加速度プロファイルは、端末記憶部１０５に一時的に記憶されるが、上述したように予め設定された加速度プロファイルが判定部１０３により検出された場合以外に、センサ部１０１による加速度の検出開始後、予め設定された経過時間毎に、端末装置１００の端末記憶部１０５から読み出され、端末装置１００からサーバ装置３００に出力されてサーバ記憶部３０３に記憶される。これにより、端末記憶部１０５の記憶領域が定期的に開放されるとともに、サーバ装置３００が、作業者２の作業情報を管理することができる。

[第３の適用例]
第３の適用例は、端末装置１００として、眼鏡型のウェアラブル端末を用いた例であり、センサ部１０１の画像センサによって作業者２の視野範囲の画像を撮影する。そして、第３の適用例は、画像センサの検出信号から生成された映像信号に対して施される画像処理の負荷が軽い場合には、端末装置１００の端末処理部１０２によって画像処理を行い、画像処理の負荷が重い場合にだけ、サーバ装置３００のサーバ処理部３０２によって画像処理を行う。

端末装置１００のフレーム部１２０の筐体内のスペースは狭く、その狭いスペースに設けられる端末処理部１０２の処理能力には限界があり、負荷の重い画像処理を高速に行うことが困難な場合がある。第３の適用例は、上述したように画像処理の負荷が重い場合には、端末処理部１０２よりも高速処理が可能なサーバ処理部３０２によって画像処理を行う。そして、端末装置１００が、サーバ装置３００から出力された画像処理結果を受信し、これを表示部１１０に表示させることによって、適切なタイミングで画像処理結果を表示させることができる。

具体的には、第３の適用例では、端末装置１００の端末処理部１０２において生成された映像信号が、判定部１０３に入力される。そして、判定部１０３は、たとえば入力された映像信号に含まれるエッジ量などに基づいて、映像信号に対して施される画像処理の負荷が、予め設定された範囲内であるか否かを判定する。すなわち、判定部１０３は、映像信号に対して施される画像処理の負荷が高負荷であるか否かを判定する。

そして、判定部１０３において、画像処理の負荷が高負荷ではなく、低負荷であると判定されている間は、端末処理部１０２において映像信号に対して画像処理が施される。具体的には、端末処理部１０２は、映像信号に対して画像処理を施すことによって、映像信号に含まれるオブジェクトを抽出し、そのオブジェクトに関する情報を生成する。オブジェクトに関する情報は、制御部１０６によって表示部１１０にＡＲ表示される。

映像信号から抽出されるオブジェクトとしては、たとえば作業者２が使用している装置の一部や作業者２の視野の範囲内に存在する作業対象物などがある。また、オブジェクトに関する情報は、端末処理部１０２に予めオブジェクトと対応づけて設定されている。オブジェクトに関する情報としては、たとえばオブジェクトが装置の一部である場合には、その装置の一部に対する操作内容などが設定される。また、オブジェクトが作業対象物である場合には、その作業対象物の説明や作業対象物に対して行う作業内容などが設定される。

一方、判定部１０３において、画像処理の負荷が高負荷であると判定された場合には、端末装置１００は、サーバ装置３００との通信を開始し、サーバ装置３００に対して映像信号を出力する。サーバ装置３００は、端末装置１００から出力された映像信号を受信し、サーバ処理部３０２が、映像信号に対して画像処理を施す。画像処理の内容は、上述した端末処理部１０２における画像処理と同様である。

そして、サーバ装置３００の制御部３０４は、サーバ処理部３０２において生成されたオブジェクトに関する情報を、サーバ通信部３０１を介して端末装置１００に出力する。サーバ装置３００から出力されたオブジェクトに関する情報は端末装置１００によって受信され、端末装置１００の表示部１１０にＡＲ表示される。

第３の適用例は、映像信号の画像処理が低負荷である場合には、端末装置１００側で画像処理を行ってオブジェクトに関する情報を生成し、サーバ装置３００との通信行わないので、オブジェクトに関する情報を作業者２に即座に提示することができる。一方、第３の適用例は、映像信号の画像処理が高負荷である場合には、端末装置１００よりも高速処理が可能なサーバ装置３００側で画像処理を行ってオブジェクトに関する情報を生成し、端末装置１００に出力する。これにより、端末装置１００は、オブジェクトに関する情報を作業者２に即座に提示することができる。

なお、端末処理部１０２によって生成された映像信号およびその画像処理結果は、端末記憶部１０５に一時的に記憶されるが、上述したように映像信号に対する画像処理が高負荷であると判定された場合以外に、センサ部１０１による映像信号の検出開始後、予め設定された経過時間毎に、端末装置１００の端末記憶部１０５から読み出され、端末装置１００からサーバ装置３００に出力されてサーバ記憶部３０３に記憶される。これにより、端末記憶部１０５の記憶領域が定期的に開放されるとともに、サーバ装置３００が、端末装置１００による撮影情報を管理することができる。

[第４の適用例]
第４の適用例は、端末装置１００として、眼鏡型のウェアラブル端末を用いた例であり、センサ部１０１のＧＰＳセンサなどによって作業者２の位置情報を検出し、その位置情報に基づいて、作業者２が危険領域に侵入しているか否かを判定部１０３によって判定する。そして、第４の適用例では、判定部１０３によって作業者２が危険領域に侵入していると判定されている間は、端末処理部１０２が、作業者２に対する警告を生成したり、画像センサによって検出された映像信号から危険物を抽出し、その危険物に関する情報を生成する。そして、端末装置１００の表示部１１０が、警告や危険物に関する情報を表示する。一方、第４の適用例では、作業者２が危険領域に侵入しておらず、安全な領域で作業をしている場合には、端末装置１００が、画像センサによって検出された映像信号をサーバ装置３００に出力し、サーバ装置３００のサーバ処理部３０２が、映像信号に対して画像処理を施す。

具体的には、第４の適用例では、センサ部１０１によって検出された作業者２の位置情報が、判定部１０３に入力される。そして、判定部１０３は、入力された作業者２の位置情報と予め設定された危険領域の情報と比較し、作業者２の位置情報が危険領域内であるか否かを判定する。作業者２の位置情報については、水平方向の２次元の位置情報でもよいし、鉛直方向も含めた３次元の位置情報でもよい。

そして、判定部１０３が、作業者２が危険領域に侵入していると判定している間は、上述したように端末処理部１０２において作業者に対する警告および危険物に関する情報が生成され、表示部１１０にＡＲ表示される。

一方、判定部１０３が、作業者２の位置情報が危険領域外であると判定した場合、すなわち作業者２が安全な領域で作業をしていると判定した場合には、センサ部１０１によって検出された映像信号が、端末装置１００からサーバ装置３００に出力される。

そして、端末装置１００から出力された映像信号は、サーバ装置３００によって受信され、サーバ処理部３０２が、映像信号に対して画像処理を施す。具体的には、上述した第３の適用例と同様に、サーバ処理部３０２は、映像信号に対して画像処理を施すことによって、映像信号に含まれるオブジェクトを抽出し、そのオブジェクトに関する情報を生成する。

そして、サーバ装置３００の制御部３０４は、サーバ処理部３０２において生成されたオブジェクトに関する情報を、サーバ通信部３０１を介して端末装置１００に出力する。サーバ装置３００から出力されたオブジェクトに関する情報は端末装置１００によって受信され、端末装置１００の表示部１１０にＡＲ表示される。

第４の適用例は、作業者２が危険領域に侵入している場合には、端末装置１００側で処理を行って警告および危険物に関する情報など生成し、サーバ装置３００との通信行わないので、警告および危険物に関する情報を作業者２に即座に提示することができる。一方、第４の適用例は、作業者２が安全な領域で作業をしている場合には、サーバ装置３００側で画像処理を行ってオブジェクトに関する情報を生成し、端末装置１００に出力する。これにより、端末装置１００は、より詳細なオブジェクトに関する情報を作業者２に提示することができる。

なお、センサ部１０１によって検出された作業者２の位置情報は、端末記憶部１０５に一時的に記憶されるが、センサ部１０１による映像信号の検出開始後、予め設定された経過時間毎に、端末装置１００の端末記憶部１０５から読み出され、端末装置１００からサーバ装置３００に出力されてサーバ記憶部３０３に記憶される。これにより、責任者などが、作業者２が移動した軌跡を管理することができる。

なお、第４の適用例では、判定部１０３が、作業者２の位置情報に基づいて、作業者２が危険領域に侵入しているか否かを判定するようにしたが、位置情報だけでなく、たとえばセンサ部１０１によって検出された映像信号に危険物が含まれているか否かも判定するようにしてもよい。そして、判定部１０３が、作業者２が危険領域に侵入しており、かつ映像信号に危険物が含まれていると判定した場合に、端末処理部１０２が作業者２に対する警告などを生成し、表示部１１０が警告などをＡＲ表示するようにしてもよい。

また、さらに判定部１０３が、センサ部１０１によって検出された作業者２の方位情報に基づいて、作業者２が危険物に向かって移動しているか否か、もしくは作業者２の視線方向が危険物の方を向いているか否かを判定するようにしてもよい。そして、判定部１０３が、作業者２が危険領域に侵入しており、かつ映像信号に危険物が含まれ、さらに作業者２が危険物に向かって移動しているもしくは作業者２の視線方向が危険物の方を向いていると判定した場合に、端末処理部１０２が作業者２に対する警告などを生成し、表示部１１０が警告などをＡＲ表示するようにしてもよい。このように、センサ部１０１に含まれる複数のセンサによって検出された検出信号を用いて判定処理を行うことによって、判定精度を上げることができる。

また、第４の適用例において、判定部１０３が、作業者２が危険領域内に侵入しており、かつ作業者２の視線方向が予め設定された時間の間固定されていると判定した場合に、制御部１０６がセンサ部１０１の画像センサを制御し、その視線方向の静止画を撮像し、その静止画を端末記憶部１０５に記憶するようにしてもよい。

また、上記実施形態の情報通信システム１の説明では、図１に示す端末装置１００とサーバ装置３００との間の通信制御について説明したが、上述したように端末装置１００は、サーバ装置３００に限らず、その他のパーソナルコンピュータ４００、タブレット端末５００およびクラウドサーバ装置７００とも通信可能であり、これらの装置において、上述したサーバ装置３００の処理を行うようにしてもよい。また、端末装置１００が、通信先の処理内容に応じて通信先の装置を選択するようにしてもよい。たとえば通信先の装置において、比較的軽い表示情報の生成処理を行う場合には、端末装置１００が、パーソナルコンピュータ４００を選択し、比較的重い画像処理などを行う場合には、処理能力の高い上述したサーバ装置３００やクラウドサーバ装置７００を選択するようにしてもよい。

本発明は、上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した各実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、本発明が、必ずしも説明した全ての構成要素を備えるものに限定されるものではない。また、ある実施形態の構成の一部を、他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に、他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加、削除および置換をすることが可能である。

また、上記各構成、機能、処理部および処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成および各機能は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現されてもよい。各機能を実現するプログラム、テーブルおよびファイル等の情報は、メモリ、ハードディスクおよびＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣ（Integrated Circuit）カード、ＳＤカード、ＤＶＤ等の記憶媒体に置くことができる。また、制御線および情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線および情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

本発明は、情報通信システム、端末装置、及び情報通信システムの作動方法だけなく、情報通信システムや端末装置やサーバ装置で実行されるコンピュータ読み取り可能なプログラム、端末装置やサーバ装置における処理方法等の様々な態様で提供することができる。

１００：端末装置、１０１：センサ部、１０２：端末処理部、１０３：判定部、１０４：端末通信部、１０５：端末記憶部、１０６：制御部、１１０：表示部、１２０：フレーム部、１３０：携帯端末装置、２００：ネットワーク、３００：サーバ装置、３０１：サーバ通信部、３０２：サーバ処理部、３０３：サーバ記憶部、３０４：制御部、４００：パーソナルコンピュータ、５００：タブレット端末、６００：ウェアラブル端末、７００：クラウドサーバ装置

Claims (16)

1. ユーザの身体に装着される端末装置と、ネットワークを介して前記端末装置と通信するサーバ装置とを備える情報通信システムであって、
   前記端末装置は、
   前記ユーザの状態を検出するセンサを有するセンサ部と、
   前記センサ部の検出信号に基づく第１の処理を行う端末処理部と、
   前記第１の処理とは異なる処理であって、前記センサ部の検出信号が予め設定された条件を満たしているか否かを判定する第２の処理を行う判定部と、
   前記サーバ装置と通信する端末通信部とを有し、
   前記サーバ装置は、
   前記端末装置と通信するサーバ通信部と、
   該サーバ通信部によって受信された前記検出信号に基づく処理を行うサーバ処理部とを有し、
   前記端末装置は、前記判定部において前記検出信号が予め設定された第１の条件を満たしていると判定されている間は、前記端末処理部による前記第１の処理が継続されるよう制御し、前記判定部において前記検出信号が予め設定された第２の条件を満たしていると判定された場合に、前記端末通信部が前記サーバ通信部と通信を行うよう制御する制御部を有する
   情報通信システム。
2. 請求項１に記載の情報通信システムであって、
   前記センサ部は、複数のセンサを有し、
   前記判定部は、前記複数のセンサによって検出された各検出信号が前記第１の条件または前記第２の条件を満たしているか否かを判定する
   情報通信システム。
3. 請求項１または請求項２に記載の情報通信システムであって、
   前記端末装置の制御部は、前記判定部において前記検出信号が前記第２の条件を満たしていると判定された場合に、前記センサ部の検出信号または該検出信号に基づいて生成された情報を前記サーバ通信部に送信するよう前記端末通信部を制御する
   情報通信システム。
4. 請求項１乃至請求項３のいずれか１項に記載の情報通信システムであって、
   前記端末装置の制御部は、前記センサ部による検出開始以後の所定の時点から予め設定された時間が経過した時点において、前記センサ部の検出信号または該検出信号に基づいて生成された情報を前記サーバ通信部に送信する
   情報通信システム。
5. 請求項１乃至請求項４のいずれか１項に記載の情報通信システムであって、
   前記端末装置の制御部は、前記センサ部による検出信号または該検出信号に基づいて生成された情報のデータ量が予め設定された閾値以上となった時点において、前記センサ部の検出信号または該検出信号に基づいて生成された情報を前記サーバ通信部に送信する
   情報通信システム。
6. 請求項１乃至請求項５のいずれか１項に記載の情報通信システムであって、
   前記第１の条件または前記第２の条件は、前記サーバ装置から前記端末装置に送信される
   情報通信システム。
7. 請求項６に記載の情報通信システムであって、
   前記第１の条件または前記第２の条件は、前記サーバ装置において機械学習によって得られた条件である
   情報通信システム。
8. 請求項１乃至請求項７のいずれか１項に記載の情報通信システムであって、
   前記センサは、前記ユーザが行う作業で発生した加速度を検出する加速度センサである
   情報通信システム。
9. 請求項８に記載の情報通信システムであって、
   前記第１の処理は、前記加速度センサの検出信号に基づいて、加速度プロファイルを生成する処理であり、
   前記判定部は、前記加速度プロファイルが予め設定された条件を満たすか判定する
   情報通信システム。
10. 請求項９に記載の情報通信システムであって、
    前記ユーザが作業を行ったときの前記検出信号が前記条件を満たしていると前記判定部が判定したときに、前記ユーザに対して次の作業の内容を報知する報知部を更に有する
    情報通信システム。
11. 請求項９に記載の情報通信システムであって、
    前記ユーザが作業を行ったときの前記検出信号が前記条件を満たしていないと前記判定部が判定したときに、前記ユーザに対して正しい動作に戻るように報知する報知部を更に有する
    情報システム。
12. 請求項１乃至請求項９のいずれか１項に記載の情報通信システムであって、
    前記端末装置は、前記端末処理部における処理結果を前記端末装置のユーザに報知する報知部を有し、
    前記センサ部のセンサの検出時点から前記報知部による報知までの時間Ｔは、１０μｓ＜Ｔ＜６０ｍｓである
    情報通信システム。
13. 請求項１乃至請求項７のいずれか１項に記載の情報通信システムであって、
    前記センサは、前記ユーザの位置を検出する位置センサであり、
    前記条件は、前記検出信号が示す前記ユーザの位置が予め設定された範囲内であるか否かを判定する条件である
    情報通信システム。
14. 請求項１乃至請求項７のいずれか１項に記載の情報通信システムであって、
    前記センサは、前記ユーザの視野範囲の画像を撮影する画像センサであり、
    前記第１の処理は、前記検出信号から生成された映像信号に対して画像処理を施す処理であり、
    前記条件は、前記画像処理の負荷が予め設定された範囲内であるかを判定する条件である
    情報通信システム。
15. ユーザの身体に装着される端末装置であって、
    前記ユーザの状態を検出するセンサを有するセンサ部と、
    前記センサ部の検出信号に基づく第１の処理を行う端末処理部と、
    前記第１の処理とは異なる処理であって、前記センサ部の検出信号が予め設定された条件を満たしているか否かを判定する第２の処理を行う判定部と、
    前記検出信号を受信して該検出信号に基づく処理を行うサーバ装置と通信する端末通信部と、
    前記判定部において前記検出信号が予め設定された第１の条件を満たしていると判定されている間は、前記端末処理部による前記第１の処理が継続されるよう制御し、前記判定部において前記検出信号が予め設定された第２の条件を満たしていると判定された場合に、前記端末通信部が前記サーバ装置と通信を行うよう制御する制御部とを備える
    端末装置。
16. ユーザの状態を検出するセンサを有するセンサ部を備え、かつ前記ユーザの身体に装着される端末装置と、ネットワークを介して前記センサ部の検出信号を受信して該検出信号に基づく処理を行うサーバ装置とを備える情報通信システムの作動方法であって、
    前記端末装置において、前記センサ部の検出信号が予め設定された第１の条件を満たしているか否かを判定する第２の処理において前記第１の条件を満たしていると判定されている間は、前記端末装置において前記検出信号に基づく処理であって前記第２の処理とは異なる第１の処理を継続し、前記センサ部の検出信号が予め設定された第２の条件を満たしていると判定された場合に、前記端末装置が前記サーバ装置と通信を行い、前記サーバ装置において前記検出信号に基づく処理を行う
    情報通信システムの作動方法。

Images