JPWO2020026414A1 - Information communication system, terminal equipment, and how to operate the information communication system - Google Patents

Information communication system, terminal equipment, and how to operate the information communication system Download PDF

Info

Publication number
JPWO2020026414A1
JPWO2020026414A1 JP2020533999A JP2020533999A JPWO2020026414A1 JP WO2020026414 A1 JPWO2020026414 A1 JP WO2020026414A1 JP 2020533999 A JP2020533999 A JP 2020533999A JP 2020533999 A JP2020533999 A JP 2020533999A JP WO2020026414 A1 JPWO2020026414 A1 JP WO2020026414A1
Authority
JP
Japan
Prior art keywords
unit
terminal
detection signal
terminal device
communication system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020533999A
Other languages
Japanese (ja)
Other versions
JP7227975B2 (en
Inventor
大内　敏
敏 大内
瀬尾　欣穂
欣穂 瀬尾
千代 大野
千代 大野
孝弘 松田
孝弘 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of JPWO2020026414A1 publication Critical patent/JPWO2020026414A1/en
Application granted granted Critical
Publication of JP7227975B2 publication Critical patent/JP7227975B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

端末装置とサーバ装置とを備えた情報通信システムにおいて、端末装置を使用するユーザに対して必要な情報を遅延なく、かつタイミングよく提示することを目的とする。端末装置１００は、判定部１０３において検出信号が予め設定された第１の条件を満たしていると判定されている間は、端末処理部１０２による処理が継続されるよう制御し、判定部１０３において検出信号が予め設定された第２の条件を満たしていると判定された場合に、端末通信部１０４がサーバ通信部３０１と通信を行うよう制御する制御部１０６を有する。An object of the present invention is to present necessary information to a user who uses a terminal device in an information communication system including a terminal device and a server device without delay and in a timely manner. The terminal device 100 controls the terminal processing unit 102 to continue processing while the determination unit 103 determines that the detection signal satisfies the preset first condition, and the determination unit 103 controls the processing. It has a control unit 106 that controls the terminal communication unit 104 to communicate with the server communication unit 301 when it is determined that the detection signal satisfies the preset second condition.

Description

本発明は、情報通信システム、端末装置、及び情報通信システムの作動方法に関する。 The present invention relates to an information communication system, a terminal device, and a method of operating the information communication system.

近年、眼鏡型のヘッドマウント ディスプレイを用いて所定のＡＲ（Argument Reality）やＭＲ（Mixed Reality）やＶＲ（Virtual Reality）の情報を表示する、ウェアラブル端末などの端末装置が市場に登場し始めている。また、ＡＲ、ＭＲおよびＶＲだけでなく、音声、振動、温度変化、臭い、味、電気信号、物理的な刺激などを人の五感に訴えるインタフェイスを備えたウェアラブル端末も市場に登場し始めている。 In recent years, terminal devices such as wearable terminals that display predetermined AR (Argument Reality), MR (Mixed Reality), and VR (Virtual Reality) information using a spectacle-type head-mounted display have begun to appear on the market. In addition to AR, MR and VR, wearable terminals equipped with an interface that appeals to the five senses of human beings such as voice, vibration, temperature change, odor, taste, electric signal, and physical stimulus are beginning to appear on the market. ..

これに伴い、こうしたウェアラブル端末の活用に関する手法も種々提案されている。たとえば特許文献１においては、使用者の行動状態に応じて、表示パネルに表示される情報の表示モード（要約表示モードと詳細表示モード）を自動的に切り替える技術が提案されている。 Along with this, various methods for utilizing such wearable terminals have been proposed. For example, Patent Document 1 proposes a technique for automatically switching a display mode (summary display mode and detailed display mode) of information displayed on a display panel according to a user's behavioral state.

特開２００７−１６３６３４号公報JP-A-2007-163634

一方で、クラウドなどに設置されたサーバ装置から上述した端末装置に対して情報を送信してその情報を表示させる場合や、端末装置が備えたカメラによって撮影した画像をサーバ装置に一旦出力し、サーバ装置において画像に対して所定の処理を施した後、サーバ装置から端末装置に処理結果を出力して表示させる場合などにおいては、端末装置とサーバ装置の間での情報通信に要する時間に起因して、端末装置において表示の遅延が生じたり、実世界の適切な位置に適切な情報が表示されないなどの問題が生じ、ユーザが、煩わしさの方を強く感じる恐れがある。 On the other hand, when information is transmitted from a server device installed in a cloud or the like to the terminal device described above to display the information, or an image taken by a camera provided in the terminal device is temporarily output to the server device. When the server device performs predetermined processing on the image and then the server device outputs the processing result to the terminal device and displays it, it is caused by the time required for information communication between the terminal device and the server device. As a result, problems such as display delay in the terminal device and inability to display appropriate information at an appropriate position in the real world may occur, and the user may feel more annoyed.

また、従来の端末装置では、ユーザの意図や行動を正確に判断してそれに応じた処理を実行することができない。 Further, in the conventional terminal device, it is not possible to accurately determine the intention and action of the user and execute the processing accordingly.

本発明は、端末装置とサーバ装置とを備えた情報通信システムにおいて、端末装置を使用するユーザに対して必要な情報を遅延なく、かつタイミングよく提示することを目的とする。 An object of the present invention is to present necessary information to a user who uses a terminal device in an information communication system including a terminal device and a server device without delay and in a timely manner.

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。 The present application includes a plurality of means for solving at least a part of the above problems, and examples thereof are as follows.

上記の課題を解決する本発明の一態様は、ネットワークを介して通信する端末装置とサーバ装置とを備える情報通信システムであって、前記端末装置は、少なくとも１つのセンサを有するセンサ部と、前記センサ部の検出信号に基づく処理を行う端末処理部と、前記センサ部の検出信号が予め設定された条件を満たしているか否かを判定する判定部と、前記サーバ装置と通信する端末通信部とを有し、前記サーバ装置は、前記端末装置と通信するサーバ通信部と、該サーバ通信部によって受信された前記検出信号に基づく処理を行うサーバ処理部とを有し、前記端末装置は、前記判定部において前記検出信号が予め設定された第１の条件を満たしていると判定されている間は、前記端末処理部による処理が継続されるよう制御し、前記判定部において前記検出信号が予め設定された第２の条件を満たしていると判定された場合に、前記端末通信部が前記サーバ通信部と通信を行うよう制御する制御部を有する。 One aspect of the present invention that solves the above problems is an information communication system including a terminal device and a server device that communicate via a network, and the terminal device includes a sensor unit having at least one sensor and the above. A terminal processing unit that performs processing based on the detection signal of the sensor unit, a determination unit that determines whether or not the detection signal of the sensor unit satisfies a preset condition, and a terminal communication unit that communicates with the server device. The server device has a server communication unit that communicates with the terminal device and a server processing unit that performs processing based on the detection signal received by the server communication unit. While the determination unit determines that the detection signal satisfies the preset first condition, the terminal processing unit controls to continue the processing, and the determination unit determines that the detection signal is in advance. It has a control unit that controls the terminal communication unit to communicate with the server communication unit when it is determined that the set second condition is satisfied.

本発明の一態様によれば、端末装置とサーバ装置とを備えた情報通信システムにおいて、端末装置を使用するユーザに対して必要な情報を遅延なく、かつタイミングよく提示する。 According to one aspect of the present invention, in an information communication system including a terminal device and a server device, necessary information is presented to a user who uses the terminal device without delay and in a timely manner.

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。 Issues, configurations and effects other than those described above will be clarified by the description of the following embodiments.

本発明の一実施形態に係る情報通信システムのシステム構成例を示す図である。It is a figure which shows the system configuration example of the information communication system which concerns on one Embodiment of this invention. 本発明の一実施形態に係る端末装置及びサーバ装置の機能構成例を示すブロック図である。It is a block diagram which shows the functional structure example of the terminal apparatus and server apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る情報通信システムの基本的な動作の一例を示すフローチャートである。It is a flowchart which shows an example of the basic operation of the information communication system which concerns on one Embodiment of this invention.

以下に、本発明に係る一実施形態を適用した情報通信システムについて、図面を参照して説明する。 Hereinafter, an information communication system to which one embodiment of the present invention is applied will be described with reference to the drawings.

図１は、本発明の一実施形態に係る情報通信システム１の構成例を示す図である。本実施形態において想定する情報通信システム１は、端末装置１００と、サーバ装置３００とを備える。端末装置１００とサーバ装置３００は、ネットワーク２００を介して通信を行う。ネットワーク２００は、無線ＬＡＮ（Local Area Network）、有線回線およびインターネット回線などの通信回線から構成される。また、本実施形態の情報通信システム１においては、端末装置１００およびサーバ装置３００の他に、パーソナルコンピュータ４００、タブレット端末５００、ウェアラブル端末６００およびクラウドサーバ装置７００がネットワーク２００に接続され、ネットワーク２００に接続された各装置は、相互に通信可能に構成されている。なお、ネットワーク２００に接続される装置は、これらの装置に限らず、その他の装置が接続されて通信可能に構成してもよい。 FIG. 1 is a diagram showing a configuration example of an information communication system 1 according to an embodiment of the present invention. The information communication system 1 assumed in the present embodiment includes a terminal device 100 and a server device 300. The terminal device 100 and the server device 300 communicate with each other via the network 200. The network 200 is composed of communication lines such as a wireless LAN (Local Area Network), a wired line, and an Internet line. Further, in the information communication system 1 of the present embodiment, in addition to the terminal device 100 and the server device 300, a personal computer 400, a tablet terminal 500, a wearable terminal 600, and a cloud server device 700 are connected to the network 200 and connected to the network 200. Each connected device is configured to be able to communicate with each other. The device connected to the network 200 is not limited to these devices, and other devices may be connected to enable communication.

本実施形態の端末装置１００は、作業者２の身体の一部に着脱可能に構成された、いわゆるウェアラブル端末と呼ばれる装置である。本実施形態の端末装置１００は、作業者２の頭部に装着される眼鏡型のウェアラブル端末であり、作業者２の視野と同様あるいはより広角な画像情報を撮影し、その撮影された画像情報およびその他の種々の情報を作業者２が視認可能に構成されている。なお、本実施形態においては、端末装置１００として眼鏡型のウェアラブル端末の例を挙げているが、端末装置１００は、眼鏡型以外のウェアラブル端末でもよく、たとえば作業者２の手首に装着されるリストバンド型のウェアラブル端末でもよいし、クリップによって作業者２の衣服などに装着されるクリップ型のウェアラブル端末でもよいし、眼鏡型とリストバンド型のウェアラブル端末の組み合わせなど、複数種類のウェアラブル端末の組み合わせから端末装置１００を構成するようにしてもよい。 The terminal device 100 of the present embodiment is a device called a so-called wearable terminal, which is configured to be detachably attached to a part of the body of the worker 2. The terminal device 100 of the present embodiment is a glasses-type wearable terminal worn on the head of the worker 2, captures image information similar to or wider than the field of view of the worker 2, and captures the captured image information. And various other information can be visually recognized by the worker 2. In the present embodiment, an example of a wearable terminal of a glasses type is given as the terminal device 100, but the terminal device 100 may be a wearable terminal other than the glasses type, for example, a list worn on the wrist of the worker 2. It may be a band-type wearable terminal, a clip-type wearable terminal that is attached to the clothes of the worker 2 by a clip, or a combination of a plurality of types of wearable terminals such as a combination of a glasses-type and a wristband-type wearable terminal. The terminal device 100 may be configured from the above.

端末装置１００は、具体的には、表示部１１０（本発明の報知部に相当する）と、フレーム部１２０とを備える。表示部１１０は、例えば作業者２から見て左右一対のシースルーの液晶デバイスから構成され、この液晶デバイスにおいて、撮影された画像情報および種々の情報がＡＲ（Augmented Reality）表示される。 Specifically, the terminal device 100 includes a display unit 110 (corresponding to the notification unit of the present invention) and a frame unit 120. The display unit 110 is composed of, for example, a pair of left and right see-through liquid crystal devices as viewed from the operator 2, and the image information and various information captured by the liquid crystal devices are displayed in AR (Augmented Reality).

フレーム部１２０は、眼鏡フレームのように作業者２の耳にかけられる形状で形成されており、その筐体内部には、種々の電気的な構成が内蔵されている（図２参照）。 The frame portion 120 is formed in a shape that can be hung on the ears of the worker 2 like a spectacle frame, and various electrical configurations are built in the housing thereof (see FIG. 2).

図２は、本発明の一実施形態に係る端末装置１００及びサーバ装置３００の機能構成例を示すブロック図である。まず、本実施形態の端末装置１００について説明する。具体的には、端末装置１００は、フレーム部１２０内に、センサ部１０１、端末処理部１０２、判定部１０３、端末通信部１０４、端末記憶部１０５および制御部１０６を備える。 FIG. 2 is a block diagram showing a functional configuration example of the terminal device 100 and the server device 300 according to the embodiment of the present invention. First, the terminal device 100 of the present embodiment will be described. Specifically, the terminal device 100 includes a sensor unit 101, a terminal processing unit 102, a determination unit 103, a terminal communication unit 104, a terminal storage unit 105, and a control unit 106 in the frame unit 120.

センサ部１０１は、少なくとも１つのセンサを備え、たとえば上述した画像情報を撮影する画像センサ（ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ、ＣＣＤ（Charge Coupled Device）センサ、ＴＯＦ（Time of Flight）センサ）、ｎ軸センサ、加速度センサ、ＧＰＳ（Global Positioning System）センサおよび方位センサを備える。なお、センサ部１０１は、これらのセンサに限らず、作業者の現在の状態を検出するセンサであれば如何なるセンサを含んでもよく、たとえば作業者２の周囲の環境温度または体温を検出する温度センサ、環境湿度を検出する湿度センサ、作業者２の周囲の気圧を検出する気圧センサ、作業者２の周囲の音または作業者２の声を検出する音センサ（マイクロホン）などを含んでもよい。 The sensor unit 101 includes at least one sensor, for example, an image sensor (CMOS (Complementary Metal Oxide Semiconductor) sensor, CCD (Charge Coupled Device) sensor, TOF (Time of Flight) sensor) for capturing the above-mentioned image information, n. It includes an axis sensor, an acceleration sensor, a GPS (Global Positioning System) sensor, and an orientation sensor. The sensor unit 101 is not limited to these sensors, and may include any sensor as long as it detects the current state of the worker. For example, a temperature sensor that detects the ambient temperature or body temperature of the worker 2. , A humidity sensor that detects environmental humidity, a pressure sensor that detects the pressure around the worker 2, a sound sensor (microphone) that detects the sound around the worker 2 or the voice of the worker 2, and the like may be included.

端末処理部１０２は、センサ部１０１の各センサによって検出された検出信号に基づく処理を行う。具体的には、端末処理部１０２は、画像センサによって検出された検出信号に基づいて、表示部１１０に表示可能な映像信号を生成したり、ｎ軸センサまたは加速度センサによって検出された検出信号に基づいて、作業者２の移動または動作に関する情報を生成したり、ｎ軸センサ、ＧＰＳセンサまたは方位センサの検出信号に基づいて、作業者２の位置情報、並びに視線方向および移動方向などの方位情報を生成する。 The terminal processing unit 102 performs processing based on the detection signals detected by each sensor of the sensor unit 101. Specifically, the terminal processing unit 102 generates a video signal that can be displayed on the display unit 110 based on the detection signal detected by the image sensor, or uses the detection signal detected by the n-axis sensor or the acceleration sensor. Based on this, information on the movement or movement of the worker 2 is generated, and based on the detection signal of the n-axis sensor, the GPS sensor or the orientation sensor, the position information of the worker 2 and the orientation information such as the line-of-sight direction and the movement direction are obtained. To generate.

端末処理部１０２において生成された映像信号および種々の情報は、制御部１０６に出力され、制御部１０６は、映像信号および種々の情報を表示部１１０に表示させる。また、映像信号および種々の情報は、端末記憶部１０５に出力されて記憶される。また、映像信号および種々の情報は、端末通信部１０４に出力され、端末通信部１０４からネットワーク２００に出力可能に構成されている。 The video signal and various information generated by the terminal processing unit 102 are output to the control unit 106, and the control unit 106 causes the display unit 110 to display the video signal and various information. Further, the video signal and various information are output to and stored in the terminal storage unit 105. Further, the video signal and various information are output to the terminal communication unit 104, and can be output from the terminal communication unit 104 to the network 200.

判定部１０３は、センサ部１０１によって検出された検出信号が予め設定された条件を満たしているか否かを判定する。具体的には、判定部１０３は、たとえば加速度センサの検出信号が予め設定された閾値範囲内であるか否かを検出したり、加速度センサの検出信号に基づいて端末処理部１０２によって生成された加速度プロファイルが、予め設定された形状の範囲内であるか否かを判定したりする。なお、加速度プロファイルとは、加速度の時間的な変化をプロットしたグラフである。 The determination unit 103 determines whether or not the detection signal detected by the sensor unit 101 satisfies a preset condition. Specifically, the determination unit 103 detects, for example, whether or not the detection signal of the acceleration sensor is within a preset threshold range, or is generated by the terminal processing unit 102 based on the detection signal of the acceleration sensor. It is determined whether or not the acceleration profile is within the range of the preset shape. The acceleration profile is a graph plotting changes in acceleration over time.

また、判定部１０３は、ｎ軸センサまたはＧＰＳセンサの検出信号に基づいて端末処理部１０２によって生成された作業者２の位置情報が、予め設定された現実の３次元空間の範囲内であるか否かを判定する。また、判定部１０３は、画像センサの検出信号から生成された映像信号に対して施される画像処理の負荷が、予め設定された範囲内であるか否かを判定する。なお、画像処理の負荷については、たとえば映像信号に対してエッジ検出処理を施し、そのエッジ量またはエッジの複雑さを算出することによって求めるようにすればよい。判定部１０３における判定処理については、後で詳細に説明する。 Further, in the determination unit 103, whether the position information of the worker 2 generated by the terminal processing unit 102 based on the detection signal of the n-axis sensor or the GPS sensor is within the range of the preset actual three-dimensional space. Judge whether or not. Further, the determination unit 103 determines whether or not the load of image processing applied to the video signal generated from the detection signal of the image sensor is within a preset range. The load of image processing may be obtained by, for example, performing edge detection processing on a video signal and calculating the edge amount or edge complexity. The determination process in the determination unit 103 will be described in detail later.

端末通信部１０４は、ネットワーク２００を介してサーバ装置３００およびネットワーク２００に接続されたその他の装置と通信を行う。そして、端末通信部１０４は、通信先のサーバ装置３００およびその他の装置に対して、センサ部１０１によって検出された検出信号や、端末処理部１０２によって生成された映像信号および種々の情報を出力する。 The terminal communication unit 104 communicates with the server device 300 and other devices connected to the network 200 via the network 200. Then, the terminal communication unit 104 outputs the detection signal detected by the sensor unit 101, the video signal generated by the terminal processing unit 102, and various information to the communication destination server device 300 and other devices. ..

また、本実施形態の端末通信部１０４は、作業者２が使用する携帯端末装置１３０と通信可能に構成されている。携帯端末装置１３０は、スマートフォンまたはタブレット端末から構成され、端末装置１００の動作と連動するアプリケーションがインストールされている。携帯端末装置１３０は、アプリケーションによって表示されたインタフェイス画面において、端末装置１００の動作に関する種々の設定入力を受け付けたり、または端末処理部１０２における処理の全部を代わりに行ったり、もしくは処理の一部を端末処理部１０２と分担して行う。なお、端末装置１００単体、又は、端末装置１００と携帯端末装置１３０のセットが、本発明の端末装置に相当すると言える。 Further, the terminal communication unit 104 of the present embodiment is configured to be able to communicate with the mobile terminal device 130 used by the worker 2. The mobile terminal device 130 is composed of a smartphone or a tablet terminal, and an application linked to the operation of the terminal device 100 is installed. The mobile terminal device 130 accepts various setting inputs related to the operation of the terminal device 100 on the interface screen displayed by the application, or performs all the processing in the terminal processing unit 102 instead, or a part of the processing. Is shared with the terminal processing unit 102. It can be said that the terminal device 100 alone or the set of the terminal device 100 and the mobile terminal device 130 corresponds to the terminal device of the present invention.

端末記憶部１０５は、センサ部１０１によって検出された検出信号や端末処理部１０２によって生成された映像信号および種々の情報を記憶する。 The terminal storage unit 105 stores the detection signal detected by the sensor unit 101, the video signal generated by the terminal processing unit 102, and various information.

制御部１０６は、端末装置１００全体を制御する。特に、本実施形態の制御部１０６は、判定部１０３における判定結果に基づいて、端末処理部１０２による処理を継続して行うか、端末通信部１０４によってサーバ装置３００との通信を行うかを切り替える。すなわち、本実施形態の制御部１０６は、センサ部１０１によって検出された検出信号に基づく処理を端末処理部１０２側において継続して行うか、もしくは端末通信部１０４によってサーバ装置３００との通信を行い、サーバ装置３００側で処理を行うかを、判定部１０３の判定結果に応じて切り替える。なお、具体的な例については、後で詳述する。 The control unit 106 controls the entire terminal device 100. In particular, the control unit 106 of the present embodiment switches between continuing the processing by the terminal processing unit 102 and communicating with the server device 300 by the terminal communication unit 104 based on the determination result in the determination unit 103. .. That is, the control unit 106 of the present embodiment continuously performs processing based on the detection signal detected by the sensor unit 101 on the terminal processing unit 102 side, or communicates with the server device 300 by the terminal communication unit 104. , Whether to perform processing on the server device 300 side is switched according to the determination result of the determination unit 103. A specific example will be described in detail later.

端末処理部１０２、判定部１０３、端末通信部１０４、端末記憶部１０５および制御部１０６は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random access memory）などが設けられた制御基板によって構成され、その制御基板がフレーム部１２０の筐体内に設けられている。そして、ＣＰＵが、ＲＯＭまたはＲＡＭに記憶されたプログラムを実行することにより、端末装置１００の各部の機能が実現される。 The terminal processing unit 102, the determination unit 103, the terminal communication unit 104, the terminal storage unit 105, and the control unit 106 are controlled by providing a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random access memory), and the like. It is composed of a substrate, and the control substrate is provided in the housing of the frame portion 120. Then, the CPU executes the program stored in the ROM or the RAM, so that the functions of each part of the terminal device 100 are realized.

次に、本実施形態のサーバ装置３００について説明する。本実施形態のサーバ装置３００は、いわゆるクラウドサーバ装置であって、上述したとおり、ネットワーク２００を介して端末装置１００およびネットワーク２００に接続されたその他の装置と相互に通信可能に構成されている。 Next, the server device 300 of this embodiment will be described. The server device 300 of the present embodiment is a so-called cloud server device, and as described above, is configured to be able to communicate with the terminal device 100 and other devices connected to the network 200 via the network 200.

本実施形態のサーバ装置３００は、具体的には、図２に示すように、サーバ通信部３０１、サーバ処理部３０２、サーバ記憶部３０３および制御部３０４を備える。 Specifically, as shown in FIG. 2, the server device 300 of the present embodiment includes a server communication unit 301, a server processing unit 302, a server storage unit 303, and a control unit 304.

サーバ通信部３０１は、ネットワーク２００を介して端末装置１００およびネットワーク２００に接続されたその他の装置と通信を行う。そして、サーバ通信部３０１は、端末装置１００から出力されたセンサ部１０１の検出信号や、端末処理部１０２によって生成された映像信号および種々の情報を受信する。 The server communication unit 301 communicates with the terminal device 100 and other devices connected to the network 200 via the network 200. Then, the server communication unit 301 receives the detection signal of the sensor unit 101 output from the terminal device 100, the video signal generated by the terminal processing unit 102, and various information.

また、本実施形態のサーバ装置３００は、サーバ通信部３０１を介して、端末装置１００の判定部１０３における判定処理に用いられる条件を端末装置１００に対して出力する。端末装置１００は、サーバ装置３００から出力された判定処理の条件を受信し、その受信した条件を判定部１０３に新たに設定するか、もしくは先に設定された条件を更新する。サーバ装置３００から端末装置１００に対して出力される判定処理の条件は、サーバ装置３００において管理者などが設定入力してもよいし、サーバ装置３００による演算処理によって取得された条件でもよい。 Further, the server device 300 of the present embodiment outputs the conditions used for the determination process in the determination unit 103 of the terminal device 100 to the terminal device 100 via the server communication unit 301. The terminal device 100 receives the determination processing conditions output from the server device 300, and newly sets the received conditions in the determination unit 103, or updates the previously set conditions. The condition of the determination process output from the server device 300 to the terminal device 100 may be set and input by an administrator or the like in the server device 300, or may be a condition acquired by arithmetic processing by the server device 300.

サーバ装置３００による演算処理によって取得される条件としては、たとえば、サーバ装置３００が、ネットワーク２００に接続されたパーソナルコンピュータ４００、タブレット端末５００、ウェアラブル端末６００およびクラウドサーバ装置７００と通信を行い、これらの装置に設定された加速度の閾値などの条件を取得し、その条件の平均値、最大値および最小値などの統計量を演算し、その統計量を判定処理の条件として端末装置１００に出力してもよい。 As a condition acquired by the arithmetic processing by the server device 300, for example, the server device 300 communicates with the personal computer 400, the tablet terminal 500, the wearable terminal 600, and the cloud server device 700 connected to the network 200, and these Acquires conditions such as the acceleration threshold set in the device, calculates statistics such as the average value, maximum value and minimum value of the conditions, and outputs the statistics to the terminal device 100 as conditions for judgment processing. May be good.

また、統計量に限らず、サーバ装置３００が、ネットワーク２００に接続された上述した各装置から、たとえば作業者の動作に応じた加速度プロファイルをそれぞれ取得し、その多数の加速度プロファイルを機械学習し、その機械学習の結果を判定処理の条件として端末装置１００に出力してもよい。 Further, not limited to the statistic, the server device 300 acquires, for example, acceleration profiles according to the movements of the operator from each of the above-mentioned devices connected to the network 200, and machine-learns a large number of the acceleration profiles. The result of the machine learning may be output to the terminal device 100 as a condition of the determination process.

サーバ処理部３０２は、センサ部１０１の各センサによって検出された検出信号に基づく処理を行う。本実施形態のサーバ処理部３０２は、基本的には、端末装置１００の判定部１０３において、センサ部１０１によって検出された検出信号が予め設定された条件を満たしていないと判定された場合に処理を行う。 The server processing unit 302 performs processing based on the detection signals detected by each sensor of the sensor unit 101. The server processing unit 302 of the present embodiment basically processes when the determination unit 103 of the terminal device 100 determines that the detection signal detected by the sensor unit 101 does not satisfy the preset conditions. I do.

サーバ処理部３０２は、たとえば端末装置１００の加速度センサによって検出された加速度が、予め設定された閾値範囲外である場合や、加速度プロファイルが、予め設定された形状の範囲外であると判定された場合に、作業者２の動作に異常があるものとして、正しい動作に戻るような警告または所定の指示を出力する処理を行う。 The server processing unit 302 determines that, for example, the acceleration detected by the acceleration sensor of the terminal device 100 is outside the preset threshold range, or the acceleration profile is outside the preset shape range. In this case, assuming that the operation of the worker 2 is abnormal, a process of outputting a warning or a predetermined instruction for returning to the correct operation is performed.

なお、上述した例の場合、加速度について、予め設定された閾値範囲が本発明の第１の条件に相当し、予め設定された閾値範囲外が本発明の第２の条件に相当する。また、加速度プロファイルについて、予め設定された形状の範囲が本発明の第１の条件に相当し、予め設定された形状の範囲外が本発明の第２の条件に相当する。 In the case of the above-mentioned example, with respect to the acceleration, the preset threshold range corresponds to the first condition of the present invention, and the outside of the preset threshold range corresponds to the second condition of the present invention. Further, regarding the acceleration profile, the range of the preset shape corresponds to the first condition of the present invention, and the range outside the preset shape corresponds to the second condition of the present invention.

また、本発明における第１の条件と第２の条件については、上述したような互いに排除し合う条件であってもよいし、全く異なる数値範囲や全く異なる形状の範囲などであってもよい。 Further, the first condition and the second condition in the present invention may be conditions that exclude each other as described above, or may be a completely different numerical range or a completely different shape range.

また、上述したように加速度センサによって検出された加速度が、予め設定された閾値範囲外である場合や、加速度プロファイルが、予め設定された形状の範囲外であると判定された場合、サーバ装置３００のサーバ通信部３０１が、センサ部１０１の検出信号並びに端末処理部１０２によって生成された映像信号および種々の情報を受信し、サーバ処理部３０２が、その受信した検出信号などを作業者２の情報と対応付けてサーバ記憶部３０３に記憶するようにしてもよい。これにより作業者２が異常な行動をしたことを管理することができる。 Further, as described above, when the acceleration detected by the acceleration sensor is outside the preset threshold range, or when the acceleration profile is determined to be outside the preset shape range, the server device 300 The server communication unit 301 receives the detection signal of the sensor unit 101, the video signal generated by the terminal processing unit 102, and various information, and the server processing unit 302 uses the received detection signal and the like as information of the worker 2. It may be stored in the server storage unit 303 in association with the above. As a result, it is possible to manage that the worker 2 has behaved abnormally.

サーバ記憶部３０３は、半導体メモリおよびハードディスクなどの記憶媒体を備え、端末装置１００の端末記憶部１０５よりも大容量の記憶領域を備える。そして、サーバ記憶部３０３は、上述したように端末装置１００から出力されたセンサ部１０１の検出信号並びに端末処理部１０２によって生成された映像信号および種々の情報などを記憶する。 The server storage unit 303 includes a storage medium such as a semiconductor memory and a hard disk, and has a storage area having a larger capacity than the terminal storage unit 105 of the terminal device 100. Then, the server storage unit 303 stores the detection signal of the sensor unit 101 output from the terminal device 100, the video signal generated by the terminal processing unit 102, various information, and the like as described above.

制御部３０４は、サーバ装置３００全体を制御する。特に、本実施形態の制御部３０４は、サーバ装置３００と端末装置１００との通信を制御し、また、端末装置１００から出力されたセンサ部１０１の検出信号に基づく処理を制御する。 The control unit 304 controls the entire server device 300. In particular, the control unit 304 of the present embodiment controls the communication between the server device 300 and the terminal device 100, and also controls the processing based on the detection signal of the sensor unit 101 output from the terminal device 100.

サーバ通信部３０１、サーバ処理部３０２および制御部３０４は、ＣＰＵ、ＲＯＭおよびＲＡＭなどから構成される。そして、ＣＰＵが、ＲＯＭまたはＲＡＭに記憶されたプログラムを実行することにより、サーバ装置３００の各部の機能が実現される。 The server communication unit 301, the server processing unit 302, and the control unit 304 are composed of a CPU, a ROM, a RAM, and the like. Then, the CPU executes the program stored in the ROM or the RAM, so that the functions of each part of the server device 300 are realized.

次に、本実施形態の情報通信システム１の基本的な動作の一例について説明する。 Next, an example of the basic operation of the information communication system 1 of the present embodiment will be described.

図３は、本発明の一実施形態に係る情報通信システム１の基本的な動作の一例を示すフローチャートである。 FIG. 3 is a flowchart showing an example of the basic operation of the information communication system 1 according to the embodiment of the present invention.

まず、端末装置１００の電源スイッチ（図示省略）がオンされ（ステップＳ１０）、端末装置１００のセンサ部１０１の各センサによる検出が開始される（ステップＳ１２）。センサ部１０１の各センサによって検出された検出信号は、端末処理部１０２に入力されて所定の処理が施されるとともに、判定部１０３に入力される。 First, the power switch (not shown) of the terminal device 100 is turned on (step S10), and the detection by each sensor of the sensor unit 101 of the terminal device 100 is started (step S12). The detection signal detected by each sensor of the sensor unit 101 is input to the terminal processing unit 102 to perform a predetermined process, and is also input to the determination unit 103.

そして、判定部１０３において、入力された各センサの検出信号が、予め設定された条件を満たしているか否かが判定され（ステップＳ１４）、条件を満たしていると判定されている間は（ステップＳ１４，ＹＥＳ）、端末処理部１０２における検出信号に基づく処理が継続される（ステップＳ１６）。端末処理部１０２における処理結果は、制御部１０６の制御によって、表示部１１０に表示される。なお、センサ部１０１の検出開始時点から表示部１１０による表示までの時間Ｔは、１０μｓ＜Ｔ＜６０ｍｓであることが望ましい。端末処理部１０２における処理については、後の適用例にて詳述する。 Then, the determination unit 103 determines whether or not the input detection signal of each sensor satisfies the preset condition (step S14), and while it is determined that the condition is satisfied (step). S14, YES), processing based on the detection signal in the terminal processing unit 102 is continued (step S16). The processing result in the terminal processing unit 102 is displayed on the display unit 110 under the control of the control unit 106. It is desirable that the time T from the start of detection of the sensor unit 101 to the display by the display unit 110 is 10 μs <T <60 ms. The processing in the terminal processing unit 102 will be described in detail in a later application example.

一方、判定部１０３において、入力された各センサの検出信号が、予め設定された条件を満たしていないと判定された場合には（ステップＳ１４，ＮＯ）、制御部１０６の制御によって、端末通信部１０４がサーバ装置３００のサーバ通信部３０１との通信を開始する（ステップＳ１８）。そして、この際、サーバ通信部３０１は、端末装置１００から出力されたセンサ部１０１の検出信号を受信し、サーバ処理部３０２が、センサ部１０１の検出信号に基づく処理を行う（ステップＳ２０）。なお、サーバ処理部３０２における処理については、後の適用例にて詳述する。 On the other hand, when the determination unit 103 determines that the input detection signal of each sensor does not satisfy the preset conditions (steps S14, NO), the terminal communication unit is controlled by the control unit 106. 104 starts communication with the server communication unit 301 of the server device 300 (step S18). At this time, the server communication unit 301 receives the detection signal of the sensor unit 101 output from the terminal device 100, and the server processing unit 302 performs processing based on the detection signal of the sensor unit 101 (step S20). The processing in the server processing unit 302 will be described in detail in a later application example.

サーバ処理部３０２の処理結果は、サーバ通信部３０１を介して端末装置１００に出力される（ステップＳ２２）。そして、サーバ装置３００から出力された処理結果は、端末装置１００の端末通信部１０４によって受信され、制御部１０６の制御によって、表示部１１０に表示される。 The processing result of the server processing unit 302 is output to the terminal device 100 via the server communication unit 301 (step S22). Then, the processing result output from the server device 300 is received by the terminal communication unit 104 of the terminal device 100, and is displayed on the display unit 110 under the control of the control unit 106.

このように本実施形態の情報通信システム１においては、端末装置１００の判定部１０３における判定結果に応じて、端末装置１００側とサーバ装置３００側とで処理が切り替えられ、端末装置１００の表示部１１０に処理結果が表示されるが、この処理と並行して、端末装置１００の制御部１０６は、センサ部１０１による検出開始時点（ステップＳ１２）からの経過時間を計測する。 As described above, in the information communication system 1 of the present embodiment, the processing is switched between the terminal device 100 side and the server device 300 side according to the determination result in the determination unit 103 of the terminal device 100, and the display unit of the terminal device 100. The processing result is displayed in 110, and in parallel with this processing, the control unit 106 of the terminal device 100 measures the elapsed time from the detection start time (step S12) by the sensor unit 101.

そして、制御部１０６は、計測した経過時間が予め設定された時間を経過していない場合には（ステップＳ２４，ＮＯ）、センサ部１０１の検出信号および端末処理部１０２の処理結果などの関連情報を端末記憶部１０５に記憶する（ステップＳ２６）。その後、処理はステップＳ１２に戻る。一方、制御部１０６は、計測した経過時間が予め設定された時間を経過した場合には（ステップＳ２４，ＹＥＳ）、端末通信部１０４を制御して、サーバ装置３００のサーバ通信部３０１との通信を開始する（ステップＳ２８）。そして、制御部１０６の制御によって、端末記憶部１０５に記憶された上述した関連情報が読み出され、端末通信部１０４を介してサーバ装置３００に出力される。なお、この際、端末記憶部１０５に記憶された関連情報は消去され、端末記憶部１０５の記憶領域が開放される。端末装置１００から出力された関連情報は、サーバ装置３００のサーバ通信部３０１によって受信され、サーバ記憶部３０３に記憶される（ステップＳ３０）。 Then, when the measured elapsed time does not elapse the preset time (steps S24, NO), the control unit 106 provides related information such as the detection signal of the sensor unit 101 and the processing result of the terminal processing unit 102. Is stored in the terminal storage unit 105 (step S26). After that, the process returns to step S12. On the other hand, when the measured elapsed time elapses (step S24, YES), the control unit 106 controls the terminal communication unit 104 to communicate with the server communication unit 301 of the server device 300. Is started (step S28). Then, under the control of the control unit 106, the above-mentioned related information stored in the terminal storage unit 105 is read out and output to the server device 300 via the terminal communication unit 104. At this time, the related information stored in the terminal storage unit 105 is erased, and the storage area of the terminal storage unit 105 is released. The related information output from the terminal device 100 is received by the server communication unit 301 of the server device 300 and stored in the server storage unit 303 (step S30).

そして、端末装置１００の電源スイッチがオフされるまでの間は（ステップＳ３２，ＮＯ）、ステップＳ１２〜Ｓ３０までの処理が繰り返して行われる。すなわち、端末装置１００の判定部１０３における判定結果に応じて、端末装置１００側とサーバ装置３００側とで処理が切り替えられ、端末装置１００の表示部１１０に処理結果が表示されるとともに、予め設定された経過時間毎に、端末装置１００の端末記憶部１０５から関連情報が読み出され、端末装置１００からサーバ装置３００に出力されてサーバ記憶部３０３に記憶される。そして、端末装置１００は、電源スイッチがオフされた時点で処理を終了する（ステップＳ３２，ＹＥＳ）。 Then, until the power switch of the terminal device 100 is turned off (steps S32 and NO), the processes of steps S12 to S30 are repeated. That is, the processing is switched between the terminal device 100 side and the server device 300 side according to the determination result in the determination unit 103 of the terminal device 100, the processing result is displayed on the display unit 110 of the terminal device 100, and is set in advance. For each elapsed time, related information is read from the terminal storage unit 105 of the terminal device 100, output from the terminal device 100 to the server device 300, and stored in the server storage unit 303. Then, the terminal device 100 ends the process when the power switch is turned off (step S32, YES).

上記実施形態の情報通信システム１によれば、判定部１０３において、センサ部１０１の検出信号が予め設定された条件を満たしていると判定されている間は、端末装置１００側で処理を継続して行い、判定部１０３において予め設定された条件を満たしていないと判定された場合に、端末装置１００がサーバ装置３００との通信を開始し、サーバ装置３００側で処理を行うようにしたので、端末装置１００を使用するユーザに対して必要な情報を遅延なく、かつタイミングよく提示することができる。 According to the information communication system 1 of the above embodiment, the terminal device 100 continues the process while the determination unit 103 determines that the detection signal of the sensor unit 101 satisfies the preset conditions. When the determination unit 103 determines that the preset conditions are not satisfied, the terminal device 100 starts communication with the server device 300, and the server device 300 performs processing. Necessary information can be presented to the user who uses the terminal device 100 without delay and in a timely manner.

また、端末装置１００は、物理的なサイズに制限があり、バッテリー容量も制限されるため、端末装置１００とサーバ装置３００との間で頻繁に通信を行ったのでは、端末装置１００の利用可能時間が過度に低下する恐れがある。また、端末装置１００とサーバ装置３００との間の通信に伴う通信料金が増大する懸念もある。これに対し、上記実施形態の情報通信システム１によれば、判定部１０３において、センサ部１０１の検出信号が予め設定された条件を満たしていないと判定された場合に、端末装置１００がサーバ装置３００との通信を開始するようにしたので、上述したような利用可能時間の低下や通信料金の増大を抑制することができる。 Further, since the terminal device 100 has a limited physical size and a limited battery capacity, the terminal device 100 can be used if the terminal device 100 and the server device 300 frequently communicate with each other. Time may drop excessively. In addition, there is a concern that the communication charge associated with the communication between the terminal device 100 and the server device 300 will increase. On the other hand, according to the information communication system 1 of the above embodiment, when the determination unit 103 determines that the detection signal of the sensor unit 101 does not satisfy the preset conditions, the terminal device 100 is the server device. Since the communication with the 300 is started, it is possible to suppress the decrease in the usable time and the increase in the communication charge as described above.

なお、図３に示すフローチャートの処理では、端末装置１００の制御部１０６が、センサ部１０１による検出開始時点からの経過時間を計測し、その計測した経過時間が予め設定された時間を経過した場合に、制御部１０６が、端末記憶部１０５に記憶された関連情報を読み出し、サーバ装置３００に出力するようにしたが、これに限らず、制御部１０６が、端末記憶部１０５に記憶された関連情報のデータ量を監視し、そのデータ量が予め設定された閾値以上となった時点において、端末記憶部１０５に記憶された関連情報を読み出し、サーバ装置３００に出力するようにしてもよい。 In the processing of the flowchart shown in FIG. 3, when the control unit 106 of the terminal device 100 measures the elapsed time from the detection start time by the sensor unit 101, and the measured elapsed time elapses a preset time. The control unit 106 reads the related information stored in the terminal storage unit 105 and outputs the related information to the server device 300. However, the control unit 106 is not limited to this, and the control unit 106 reads the related information stored in the terminal storage unit 105. The amount of information data may be monitored, and when the amount of data exceeds a preset threshold value, the related information stored in the terminal storage unit 105 may be read out and output to the server device 300.

次に、本実施形態の情報通信システム１の適用例について、以下、具体的に説明する。 Next, an application example of the information communication system 1 of the present embodiment will be specifically described below.

[第１の適用例]
第１の適用例は、端末装置１００として、リストバンド型のウェアラブル端末を用いた例であり、端末装置１００のセンサ部１０１の加速度センサによって、作業者２が所定の作業対象装置を操作する際の手の加速度を検出する。そして、第１の適用例は、作業者２が作業対象装置に対して異常な操作を行った際に、端末装置１００の表示部１１０に警告などが適切なタイミングで表示される例である。[First application example]
The first application example is an example in which a wristband type wearable terminal is used as the terminal device 100, and when the worker 2 operates a predetermined work target device by the acceleration sensor of the sensor unit 101 of the terminal device 100. Detects the acceleration of the hand. Then, the first application example is an example in which a warning or the like is displayed at an appropriate timing on the display unit 110 of the terminal device 100 when the worker 2 performs an abnormal operation on the work target device.

具体的には、端末装置１００は、作業者２が作業対象装置のハンドルを回す際の手の加速度を検出する。端末装置１００の判定部１０３には、熟練者がハンドルを回した際の手の加速度に基づいて決定された閾値が予め設定されている。そして、判定部１０３は、センサ部１０１の検出信号に基づいて端末処理部１０２によって生成された加速度プロファイルと上記閾値とを比較し、判定部１０３によって加速度プロファイルが上記閾値以内と判定されている間は、端末処理部１０２によって継続して加速度プロファイルの生成処理が行われ、判定部１０３による判定処理が継続される。このように、第１の適用例では、加速度プロファイルが閾値以内である間は、加速度プロファイルの監視を端末装置１００側で行い、サーバ装置３００での監視は行わないので、端末装置１００とサーバ装置３０との間の通信による遅延をなくすことができる。すなわち、たとえば作業者２が異常な動作を行った場合には、その動作を即座に検出することができる。 Specifically, the terminal device 100 detects the acceleration of the hand when the worker 2 turns the handle of the work target device. The determination unit 103 of the terminal device 100 is preset with a threshold value determined based on the acceleration of the hand when the expert turns the steering wheel. Then, the determination unit 103 compares the acceleration profile generated by the terminal processing unit 102 with the threshold value based on the detection signal of the sensor unit 101, and while the determination unit 103 determines that the acceleration profile is within the threshold value. Is continuously subjected to the acceleration profile generation process by the terminal processing unit 102, and the determination process by the determination unit 103 is continued. As described above, in the first application example, while the acceleration profile is within the threshold value, the acceleration profile is monitored on the terminal device 100 side and not on the server device 300. Therefore, the terminal device 100 and the server device are not monitored. The delay due to communication with 30 can be eliminated. That is, for example, when the worker 2 performs an abnormal operation, the operation can be detected immediately.

一方、判定部１０３によって加速度プロファイルが閾値を越えたと判定された場合には、端末装置１００は、サーバ装置３００との通信を開始し、サーバ装置３００に対して加速度が閾値を超えた旨を示す異常発生信号および端末処理部１０２によって生成された加速度プロファイルを出力する。サーバ装置３００は、端末装置１００から出力された異常発生信号および加速度プロファイルを受信し、これに応じてサーバ処理部３０２は、作業者２に対する警告や次の作業内容などを生成し、制御部３０４は、これらをサーバ通信部３０１を介して端末装置１００に出力する。そして、サーバ装置３００から出力された警告や次の作業内容が、端末装置１００の表示部１１０に表示される。これにより、作業者２は、必要な情報を得ることができる。 On the other hand, when the determination unit 103 determines that the acceleration profile exceeds the threshold value, the terminal device 100 starts communication with the server device 300 and indicates to the server device 300 that the acceleration exceeds the threshold value. The abnormality occurrence signal and the acceleration profile generated by the terminal processing unit 102 are output. The server device 300 receives the abnormality occurrence signal and the acceleration profile output from the terminal device 100, and in response to this, the server processing unit 302 generates a warning to the worker 2 and the next work content, and the control unit 304 Outputs these to the terminal device 100 via the server communication unit 301. Then, the warning output from the server device 300 and the next work content are displayed on the display unit 110 of the terminal device 100. As a result, the worker 2 can obtain the necessary information.

また、サーバ装置３００の制御部３０４は、異常な作業を行った作業者２の識別情報と加速度プロファイルなどをサーバ記憶部３０３に記憶する。サーバ記憶部３０３に記憶された情報は、たとえばサーバ装置３００において後で読み出されて表示され、これにより新人教育などに利用することができる。また、サーバ記憶部３０３に記憶された情報は、上述の閾値の統計的な算出や機械学習に利用されてもよく、新しく算出された閾値は、端末装置１００に送信されて設定されてもよい。これにより、より精度の高い判定処理を行うことができる。 Further, the control unit 304 of the server device 300 stores the identification information and the acceleration profile of the worker 2 who has performed the abnormal work in the server storage unit 303. The information stored in the server storage unit 303 can be read and displayed later in the server device 300, for example, and can be used for new employee education and the like. Further, the information stored in the server storage unit 303 may be used for the above-mentioned statistical calculation of the threshold value and machine learning, and the newly calculated threshold value may be transmitted to the terminal device 100 and set. .. As a result, more accurate determination processing can be performed.

なお、端末処理部１０２によって生成された加速度プロファイルは、端末記憶部１０５に一時的に記憶されるが、上述したように加速度プロファイルが閾値を超えた場合以外に、センサ部１０１による加速度の検出開始後、予め設定された経過時間毎に、端末装置１００の端末記憶部１０５から読み出され、端末装置１００からサーバ装置３００に出力されてサーバ記憶部３０３に記憶される。これにより、端末記憶部１０５の記憶領域が定期的に開放されるとともに、サーバ装置３００が、作業者２の動作の情報を管理することができる。 The acceleration profile generated by the terminal processing unit 102 is temporarily stored in the terminal storage unit 105, but the sensor unit 101 starts detecting the acceleration except when the acceleration profile exceeds the threshold value as described above. After that, it is read from the terminal storage unit 105 of the terminal device 100, output from the terminal device 100 to the server device 300, and stored in the server storage unit 303 at each preset elapsed time. As a result, the storage area of the terminal storage unit 105 is periodically opened, and the server device 300 can manage the operation information of the worker 2.

[第２の適用例]
第２の適用例は、第１の適用例と同様に、端末装置１００として、リストバンド型のウェアラブル端末を用いた例であり、端末装置１００のセンサ部１０１の加速度センサによって、作業者２が所定の作業対象装置を操作する際の手の加速度を検出する。そして、第２の適用例は、作業者２が一連の作業を終了した際に、端末装置１００の表示部１１０に次の作業内容などが適切なタイミングで表示される例である。[Second application example]
The second application example is an example in which a wristband type wearable terminal is used as the terminal device 100 as in the first application example, and the operator 2 uses the acceleration sensor of the sensor unit 101 of the terminal device 100. Detects the acceleration of the hand when operating a predetermined work target device. The second application example is an example in which when the worker 2 completes a series of work, the next work content or the like is displayed on the display unit 110 of the terminal device 100 at an appropriate timing.

第２の適用例の端末装置１００の判定部１０３には、一連の作業が所定の手順で進められた場合における手の加速度プロファイルが予め設定されている。そして、判定部１０３は、センサ部１０１の検出信号に基づいて端末処理部１０２によって生成される加速度プロファイルと、上記予め設定された加速度プロファイルとを比較し、予め設定された加速度プロファイルが検出されるまでは、端末処理部１０２における加速度プロファイルの生成処理が継続して行われ、判定部１０３による判定処理が継続される。このように、第２の適用例では、予め設定された加速度プロファイルが検出されない間は、加速度プロファイルの監視を端末装置１００側で行い、サーバ装置３００での監視は行わないので、端末装置１００とサーバ装置３０との間の通信による遅延をなくすことができる。すなわち、第２の適用例は、作業者２が一連の作業を終了したことを即座に検出することができる。 In the determination unit 103 of the terminal device 100 of the second application example, the acceleration profile of the hand when a series of operations is carried out in a predetermined procedure is preset. Then, the determination unit 103 compares the acceleration profile generated by the terminal processing unit 102 based on the detection signal of the sensor unit 101 with the preset acceleration profile, and detects the preset acceleration profile. Until then, the accelerometer profile generation process in the terminal processing unit 102 is continuously performed, and the determination process by the determination unit 103 is continued. As described above, in the second application example, while the preset acceleration profile is not detected, the acceleration profile is monitored on the terminal device 100 side, and the server device 300 does not monitor the acceleration profile. It is possible to eliminate the delay due to communication with the server device 30. That is, in the second application example, it can be immediately detected that the worker 2 has completed a series of operations.

そして、判定部１０３において予め設定された加速度プロファイルが検出された場合には、端末装置１００は、サーバ装置３００との通信を開始し、サーバ装置３００に対して一連の作業が終了した旨を示す終了信号および端末処理部１０２によって生成された加速度プロファイルを出力する。サーバ装置３００は、端末装置１００から出力された終了信号および加速度プロファイルを受信し、これに応じてサーバ処理部３０２は、次の作業内容を示す情報を生成し、制御部３０４は、この情報をサーバ通信部３０１を介して端末装置１００に出力する。そして、サーバ装置３００から出力された次の作業内容が、端末装置１００の表示部１１０に表示される。これにより、作業者２は、必要な情報を得ることができる。 Then, when the determination unit 103 detects a preset acceleration profile, the terminal device 100 starts communication with the server device 300, indicating to the server device 300 that a series of operations has been completed. The end signal and the acceleration profile generated by the terminal processing unit 102 are output. The server device 300 receives the end signal and the acceleration profile output from the terminal device 100, the server processing unit 302 generates information indicating the next work content in response to the end signal and the acceleration profile, and the control unit 304 generates this information. It is output to the terminal device 100 via the server communication unit 301. Then, the next work content output from the server device 300 is displayed on the display unit 110 of the terminal device 100. As a result, the worker 2 can obtain the necessary information.

また、サーバ装置３００の制御部３０４は、一連の作業を終了した作業者２の識別情報と加速度プロファイルなどをサーバ記憶部３０３に記憶する。サーバ記憶部３０３に記憶された情報は、たとえばサーバ装置３００において後で読み出されて表示され、これにより作業者２が適切に作業を行ったことを後で確認することができる。また、サーバ記憶部３０３に記憶された情報は、予め設定される加速度プロファイルの統計的な算出や機械学習に利用されてもよく、新しく算出された加速度プロファイルは、端末装置１００に送信されて設定されてもよい。これにより、より精度の高い判定処理を行うことができる。 Further, the control unit 304 of the server device 300 stores the identification information and the acceleration profile of the worker 2 who has completed a series of operations in the server storage unit 303. The information stored in the server storage unit 303 is, for example, later read and displayed by the server device 300, whereby it can be confirmed later that the worker 2 has properly performed the work. Further, the information stored in the server storage unit 303 may be used for statistical calculation of a preset acceleration profile or machine learning, and the newly calculated acceleration profile is transmitted to the terminal device 100 and set. May be done. As a result, more accurate determination processing can be performed.

なお、端末処理部１０２によって生成された加速度プロファイルは、端末記憶部１０５に一時的に記憶されるが、上述したように予め設定された加速度プロファイルが判定部１０３により検出された場合以外に、センサ部１０１による加速度の検出開始後、予め設定された経過時間毎に、端末装置１００の端末記憶部１０５から読み出され、端末装置１００からサーバ装置３００に出力されてサーバ記憶部３０３に記憶される。これにより、端末記憶部１０５の記憶領域が定期的に開放されるとともに、サーバ装置３００が、作業者２の作業情報を管理することができる。 The acceleration profile generated by the terminal processing unit 102 is temporarily stored in the terminal storage unit 105, but the sensor is used except when the preset acceleration profile is detected by the determination unit 103 as described above. After the acceleration is detected by the unit 101, it is read from the terminal storage unit 105 of the terminal device 100, output from the terminal device 100 to the server device 300, and stored in the server storage unit 303 at preset elapsed times. .. As a result, the storage area of the terminal storage unit 105 is periodically opened, and the server device 300 can manage the work information of the worker 2.

[第３の適用例]
第３の適用例は、端末装置１００として、眼鏡型のウェアラブル端末を用いた例であり、センサ部１０１の画像センサによって作業者２の視野範囲の画像を撮影する。そして、第３の適用例は、画像センサの検出信号から生成された映像信号に対して施される画像処理の負荷が軽い場合には、端末装置１００の端末処理部１０２によって画像処理を行い、画像処理の負荷が重い場合にだけ、サーバ装置３００のサーバ処理部３０２によって画像処理を行う。[Third application example]
The third application example is an example in which a glasses-type wearable terminal is used as the terminal device 100, and an image of the visual field range of the worker 2 is captured by the image sensor of the sensor unit 101. Then, in the third application example, when the load of image processing applied to the video signal generated from the detection signal of the image sensor is light, the image processing is performed by the terminal processing unit 102 of the terminal device 100. Only when the load of image processing is heavy, the server processing unit 302 of the server device 300 performs image processing.

端末装置１００のフレーム部１２０の筐体内のスペースは狭く、その狭いスペースに設けられる端末処理部１０２の処理能力には限界があり、負荷の重い画像処理を高速に行うことが困難な場合がある。第３の適用例は、上述したように画像処理の負荷が重い場合には、端末処理部１０２よりも高速処理が可能なサーバ処理部３０２によって画像処理を行う。そして、端末装置１００が、サーバ装置３００から出力された画像処理結果を受信し、これを表示部１１０に表示させることによって、適切なタイミングで画像処理結果を表示させることができる。 The space inside the housing of the frame unit 120 of the terminal device 100 is narrow, and the processing capacity of the terminal processing unit 102 provided in the narrow space is limited, so that it may be difficult to perform heavy-duty image processing at high speed. .. In the third application example, when the load of image processing is heavy as described above, the image processing is performed by the server processing unit 302 capable of faster processing than the terminal processing unit 102. Then, the terminal device 100 receives the image processing result output from the server device 300 and displays it on the display unit 110, so that the image processing result can be displayed at an appropriate timing.

具体的には、第３の適用例では、端末装置１００の端末処理部１０２において生成された映像信号が、判定部１０３に入力される。そして、判定部１０３は、たとえば入力された映像信号に含まれるエッジ量などに基づいて、映像信号に対して施される画像処理の負荷が、予め設定された範囲内であるか否かを判定する。すなわち、判定部１０３は、映像信号に対して施される画像処理の負荷が高負荷であるか否かを判定する。 Specifically, in the third application example, the video signal generated by the terminal processing unit 102 of the terminal device 100 is input to the determination unit 103. Then, the determination unit 103 determines whether or not the load of image processing applied to the video signal is within a preset range based on, for example, the amount of edges included in the input video signal. do. That is, the determination unit 103 determines whether or not the load of image processing applied to the video signal is high.

そして、判定部１０３において、画像処理の負荷が高負荷ではなく、低負荷であると判定されている間は、端末処理部１０２において映像信号に対して画像処理が施される。具体的には、端末処理部１０２は、映像信号に対して画像処理を施すことによって、映像信号に含まれるオブジェクトを抽出し、そのオブジェクトに関する情報を生成する。オブジェクトに関する情報は、制御部１０６によって表示部１１０にＡＲ表示される。 Then, while the determination unit 103 determines that the image processing load is not a high load but a low load, the terminal processing unit 102 performs image processing on the video signal. Specifically, the terminal processing unit 102 extracts an object included in the video signal by performing image processing on the video signal, and generates information about the object. Information about the object is AR-displayed on the display unit 110 by the control unit 106.

映像信号から抽出されるオブジェクトとしては、たとえば作業者２が使用している装置の一部や作業者２の視野の範囲内に存在する作業対象物などがある。また、オブジェクトに関する情報は、端末処理部１０２に予めオブジェクトと対応づけて設定されている。オブジェクトに関する情報としては、たとえばオブジェクトが装置の一部である場合には、その装置の一部に対する操作内容などが設定される。また、オブジェクトが作業対象物である場合には、その作業対象物の説明や作業対象物に対して行う作業内容などが設定される。 Objects extracted from the video signal include, for example, a part of the device used by the worker 2 and a work object existing within the field of view of the worker 2. Further, the information about the object is set in the terminal processing unit 102 in advance in association with the object. As the information about the object, for example, when the object is a part of the device, the operation content for the part of the device is set. When the object is a work object, a description of the work object and the work contents to be performed on the work object are set.

一方、判定部１０３において、画像処理の負荷が高負荷であると判定された場合には、端末装置１００は、サーバ装置３００との通信を開始し、サーバ装置３００に対して映像信号を出力する。サーバ装置３００は、端末装置１００から出力された映像信号を受信し、サーバ処理部３０２が、映像信号に対して画像処理を施す。画像処理の内容は、上述した端末処理部１０２における画像処理と同様である。 On the other hand, when the determination unit 103 determines that the load of image processing is high, the terminal device 100 starts communication with the server device 300 and outputs a video signal to the server device 300. .. The server device 300 receives the video signal output from the terminal device 100, and the server processing unit 302 performs image processing on the video signal. The content of the image processing is the same as the image processing in the terminal processing unit 102 described above.

そして、サーバ装置３００の制御部３０４は、サーバ処理部３０２において生成されたオブジェクトに関する情報を、サーバ通信部３０１を介して端末装置１００に出力する。サーバ装置３００から出力されたオブジェクトに関する情報は端末装置１００によって受信され、端末装置１００の表示部１１０にＡＲ表示される。 Then, the control unit 304 of the server device 300 outputs the information about the object generated by the server processing unit 302 to the terminal device 100 via the server communication unit 301. The information about the object output from the server device 300 is received by the terminal device 100 and AR-displayed on the display unit 110 of the terminal device 100.

第３の適用例は、映像信号の画像処理が低負荷である場合には、端末装置１００側で画像処理を行ってオブジェクトに関する情報を生成し、サーバ装置３００との通信行わないので、オブジェクトに関する情報を作業者２に即座に提示することができる。一方、第３の適用例は、映像信号の画像処理が高負荷である場合には、端末装置１００よりも高速処理が可能なサーバ装置３００側で画像処理を行ってオブジェクトに関する情報を生成し、端末装置１００に出力する。これにより、端末装置１００は、オブジェクトに関する情報を作業者２に即座に提示することができる。 In the third application example, when the image processing of the video signal has a low load, the terminal device 100 performs the image processing to generate information about the object and does not communicate with the server device 300, so that the object is related. The information can be presented to the worker 2 immediately. On the other hand, in the third application example, when the image processing of the video signal has a high load, the image processing is performed on the server device 300 side capable of faster processing than the terminal device 100 to generate information about the object. Output to the terminal device 100. As a result, the terminal device 100 can immediately present the information about the object to the worker 2.

なお、端末処理部１０２によって生成された映像信号およびその画像処理結果は、端末記憶部１０５に一時的に記憶されるが、上述したように映像信号に対する画像処理が高負荷であると判定された場合以外に、センサ部１０１による映像信号の検出開始後、予め設定された経過時間毎に、端末装置１００の端末記憶部１０５から読み出され、端末装置１００からサーバ装置３００に出力されてサーバ記憶部３０３に記憶される。これにより、端末記憶部１０５の記憶領域が定期的に開放されるとともに、サーバ装置３００が、端末装置１００による撮影情報を管理することができる。 The video signal generated by the terminal processing unit 102 and the image processing result thereof are temporarily stored in the terminal storage unit 105, but as described above, it is determined that the image processing for the video signal has a high load. Except for the case, after the start of detection of the video signal by the sensor unit 101, it is read from the terminal storage unit 105 of the terminal device 100 at preset elapsed times, output from the terminal device 100 to the server device 300, and stored in the server. It is stored in the unit 303. As a result, the storage area of the terminal storage unit 105 is periodically opened, and the server device 300 can manage the shooting information by the terminal device 100.

[第４の適用例]
第４の適用例は、端末装置１００として、眼鏡型のウェアラブル端末を用いた例であり、センサ部１０１のＧＰＳセンサなどによって作業者２の位置情報を検出し、その位置情報に基づいて、作業者２が危険領域に侵入しているか否かを判定部１０３によって判定する。そして、第４の適用例では、判定部１０３によって作業者２が危険領域に侵入していると判定されている間は、端末処理部１０２が、作業者２に対する警告を生成したり、画像センサによって検出された映像信号から危険物を抽出し、その危険物に関する情報を生成する。そして、端末装置１００の表示部１１０が、警告や危険物に関する情報を表示する。一方、第４の適用例では、作業者２が危険領域に侵入しておらず、安全な領域で作業をしている場合には、端末装置１００が、画像センサによって検出された映像信号をサーバ装置３００に出力し、サーバ装置３００のサーバ処理部３０２が、映像信号に対して画像処理を施す。[Fourth application example]
The fourth application example is an example in which a glasses-type wearable terminal is used as the terminal device 100. The position information of the worker 2 is detected by the GPS sensor of the sensor unit 101 or the like, and the work is performed based on the position information. The determination unit 103 determines whether or not the person 2 has invaded the dangerous area. Then, in the fourth application example, while the determination unit 103 determines that the worker 2 has invaded the dangerous area, the terminal processing unit 102 generates a warning to the worker 2 or an image sensor. Dangerous goods are extracted from the video signal detected by, and information about the dangerous goods is generated. Then, the display unit 110 of the terminal device 100 displays information on warnings and dangerous materials. On the other hand, in the fourth application example, when the worker 2 has not invaded the dangerous area and is working in the safe area, the terminal device 100 uses the video signal detected by the image sensor as the server. It is output to the device 300, and the server processing unit 302 of the server device 300 performs image processing on the video signal.

具体的には、第４の適用例では、センサ部１０１によって検出された作業者２の位置情報が、判定部１０３に入力される。そして、判定部１０３は、入力された作業者２の位置情報と予め設定された危険領域の情報と比較し、作業者２の位置情報が危険領域内であるか否かを判定する。作業者２の位置情報については、水平方向の２次元の位置情報でもよいし、鉛直方向も含めた３次元の位置情報でもよい。 Specifically, in the fourth application example, the position information of the worker 2 detected by the sensor unit 101 is input to the determination unit 103. Then, the determination unit 103 compares the input position information of the worker 2 with the preset danger area information, and determines whether or not the position information of the worker 2 is within the danger area. The position information of the worker 2 may be two-dimensional position information in the horizontal direction or three-dimensional position information including the vertical direction.

そして、判定部１０３が、作業者２が危険領域に侵入していると判定している間は、上述したように端末処理部１０２において作業者に対する警告および危険物に関する情報が生成され、表示部１１０にＡＲ表示される。 Then, while the determination unit 103 determines that the worker 2 has invaded the dangerous area, the terminal processing unit 102 generates a warning to the worker and information on the dangerous substance as described above, and the display unit. AR is displayed at 110.

一方、判定部１０３が、作業者２の位置情報が危険領域外であると判定した場合、すなわち作業者２が安全な領域で作業をしていると判定した場合には、センサ部１０１によって検出された映像信号が、端末装置１００からサーバ装置３００に出力される。 On the other hand, when the determination unit 103 determines that the position information of the worker 2 is outside the dangerous area, that is, when the determination unit 2 determines that the worker 2 is working in the safe area, the sensor unit 101 detects it. The resulting video signal is output from the terminal device 100 to the server device 300.

そして、端末装置１００から出力された映像信号は、サーバ装置３００によって受信され、サーバ処理部３０２が、映像信号に対して画像処理を施す。具体的には、上述した第３の適用例と同様に、サーバ処理部３０２は、映像信号に対して画像処理を施すことによって、映像信号に含まれるオブジェクトを抽出し、そのオブジェクトに関する情報を生成する。 Then, the video signal output from the terminal device 100 is received by the server device 300, and the server processing unit 302 performs image processing on the video signal. Specifically, as in the third application example described above, the server processing unit 302 extracts an object included in the video signal by performing image processing on the video signal and generates information about the object. do.

そして、サーバ装置３００の制御部３０４は、サーバ処理部３０２において生成されたオブジェクトに関する情報を、サーバ通信部３０１を介して端末装置１００に出力する。サーバ装置３００から出力されたオブジェクトに関する情報は端末装置１００によって受信され、端末装置１００の表示部１１０にＡＲ表示される。 Then, the control unit 304 of the server device 300 outputs the information about the object generated by the server processing unit 302 to the terminal device 100 via the server communication unit 301. The information about the object output from the server device 300 is received by the terminal device 100 and AR-displayed on the display unit 110 of the terminal device 100.

第４の適用例は、作業者２が危険領域に侵入している場合には、端末装置１００側で処理を行って警告および危険物に関する情報など生成し、サーバ装置３００との通信行わないので、警告および危険物に関する情報を作業者２に即座に提示することができる。一方、第４の適用例は、作業者２が安全な領域で作業をしている場合には、サーバ装置３００側で画像処理を行ってオブジェクトに関する情報を生成し、端末装置１００に出力する。これにより、端末装置１００は、より詳細なオブジェクトに関する情報を作業者２に提示することができる。 In the fourth application example, when the worker 2 has invaded the dangerous area, the terminal device 100 performs processing to generate warnings and information on dangerous substances, and does not communicate with the server device 300. , Warnings and information on dangerous goods can be presented to worker 2 immediately. On the other hand, in the fourth application example, when the worker 2 is working in a safe area, the server device 300 performs image processing to generate information about the object and outputs the information to the terminal device 100. As a result, the terminal device 100 can present more detailed information about the object to the worker 2.

なお、センサ部１０１によって検出された作業者２の位置情報は、端末記憶部１０５に一時的に記憶されるが、センサ部１０１による映像信号の検出開始後、予め設定された経過時間毎に、端末装置１００の端末記憶部１０５から読み出され、端末装置１００からサーバ装置３００に出力されてサーバ記憶部３０３に記憶される。これにより、責任者などが、作業者２が移動した軌跡を管理することができる。 The position information of the worker 2 detected by the sensor unit 101 is temporarily stored in the terminal storage unit 105, but after the start of detection of the video signal by the sensor unit 101, every preset elapsed time, It is read from the terminal storage unit 105 of the terminal device 100, output from the terminal device 100 to the server device 300, and stored in the server storage unit 303. As a result, the person in charge or the like can manage the locus of movement of the worker 2.

なお、第４の適用例では、判定部１０３が、作業者２の位置情報に基づいて、作業者２が危険領域に侵入しているか否かを判定するようにしたが、位置情報だけでなく、たとえばセンサ部１０１によって検出された映像信号に危険物が含まれているか否かも判定するようにしてもよい。そして、判定部１０３が、作業者２が危険領域に侵入しており、かつ映像信号に危険物が含まれていると判定した場合に、端末処理部１０２が作業者２に対する警告などを生成し、表示部１１０が警告などをＡＲ表示するようにしてもよい。 In the fourth application example, the determination unit 103 determines whether or not the worker 2 has invaded the dangerous area based on the position information of the worker 2, but not only the position information but also the position information. For example, it may be determined whether or not the video signal detected by the sensor unit 101 contains a dangerous substance. Then, when the determination unit 103 determines that the worker 2 has invaded the dangerous area and the video signal contains a dangerous substance, the terminal processing unit 102 generates a warning or the like for the worker 2. , The display unit 110 may display a warning or the like in AR.

また、さらに判定部１０３が、センサ部１０１によって検出された作業者２の方位情報に基づいて、作業者２が危険物に向かって移動しているか否か、もしくは作業者２の視線方向が危険物の方を向いているか否かを判定するようにしてもよい。そして、判定部１０３が、作業者２が危険領域に侵入しており、かつ映像信号に危険物が含まれ、さらに作業者２が危険物に向かって移動しているもしくは作業者２の視線方向が危険物の方を向いていると判定した場合に、端末処理部１０２が作業者２に対する警告などを生成し、表示部１１０が警告などをＡＲ表示するようにしてもよい。このように、センサ部１０１に含まれる複数のセンサによって検出された検出信号を用いて判定処理を行うことによって、判定精度を上げることができる。 Further, the determination unit 103 further determines whether or not the worker 2 is moving toward a dangerous object based on the orientation information of the worker 2 detected by the sensor unit 101, or the line-of-sight direction of the worker 2 is dangerous. It may be determined whether or not the object is facing. Then, the determination unit 103 determines that the worker 2 has entered the dangerous area, the video signal contains a dangerous object, and the worker 2 is moving toward the dangerous object or the line-of-sight direction of the worker 2. When it is determined that is facing the dangerous object, the terminal processing unit 102 may generate a warning or the like for the worker 2, and the display unit 110 may display the warning or the like in AR. In this way, the determination accuracy can be improved by performing the determination process using the detection signals detected by the plurality of sensors included in the sensor unit 101.

また、第４の適用例において、判定部１０３が、作業者２が危険領域内に侵入しており、かつ作業者２の視線方向が予め設定された時間の間固定されていると判定した場合に、制御部１０６がセンサ部１０１の画像センサを制御し、その視線方向の静止画を撮像し、その静止画を端末記憶部１０５に記憶するようにしてもよい。 Further, in the fourth application example, when the determination unit 103 determines that the worker 2 has entered the dangerous area and the line-of-sight direction of the worker 2 is fixed for a preset time. Alternatively, the control unit 106 may control the image sensor of the sensor unit 101, capture a still image in the line-of-sight direction, and store the still image in the terminal storage unit 105.

また、上記実施形態の情報通信システム１の説明では、図１に示す端末装置１００とサーバ装置３００との間の通信制御について説明したが、上述したように端末装置１００は、サーバ装置３００に限らず、その他のパーソナルコンピュータ４００、タブレット端末５００およびクラウドサーバ装置７００とも通信可能であり、これらの装置において、上述したサーバ装置３００の処理を行うようにしてもよい。また、端末装置１００が、通信先の処理内容に応じて通信先の装置を選択するようにしてもよい。たとえば通信先の装置において、比較的軽い表示情報の生成処理を行う場合には、端末装置１００が、パーソナルコンピュータ４００を選択し、比較的重い画像処理などを行う場合には、処理能力の高い上述したサーバ装置３００やクラウドサーバ装置７００を選択するようにしてもよい。 Further, in the description of the information communication system 1 of the above embodiment, the communication control between the terminal device 100 and the server device 300 shown in FIG. 1 has been described, but as described above, the terminal device 100 is limited to the server device 300. However, it is also possible to communicate with other personal computers 400, tablet terminals 500, and cloud server devices 700, and these devices may perform the processing of the server device 300 described above. Further, the terminal device 100 may select the device of the communication destination according to the processing content of the communication destination. For example, in the device of the communication destination, when the terminal device 100 selects the personal computer 400 when performing the generation processing of relatively light display information, and when the personal computer 400 is performed, the above-mentioned high processing capacity is performed. The server device 300 or the cloud server device 700 may be selected.

本発明は、上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した各実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、本発明が、必ずしも説明した全ての構成要素を備えるものに限定されるものではない。また、ある実施形態の構成の一部を、他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に、他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加、削除および置換をすることが可能である。 The present invention is not limited to the above-described embodiment, and includes various modifications. For example, each of the above-described embodiments has been described in detail in order to explain the present invention in an easy-to-understand manner, and the present invention is not necessarily limited to those including all the components described above. Further, it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of one embodiment. In addition, it is possible to add, delete, and replace a part of the configuration of each embodiment with another configuration.

また、上記各構成、機能、処理部および処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成および各機能は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現されてもよい。各機能を実現するプログラム、テーブルおよびファイル等の情報は、メモリ、ハードディスクおよびＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣ（Integrated Circuit）カード、ＳＤカード、ＤＶＤ等の記憶媒体に置くことができる。また、制御線および情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線および情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。 Further, each of the above configurations, functions, processing units, processing means and the like may be realized by hardware by designing a part or all of them by, for example, an integrated circuit. Further, each of the above configurations and each function may be realized by software by the processor interpreting and executing a program that realizes each function. Information such as programs, tables and files that realize each function should be stored in a storage device such as a memory, hard disk and SSD (Solid State Drive), or a storage medium such as an IC (Integrated Circuit) card, SD card or DVD. Can be done. In addition, the control lines and information lines are shown as necessary for explanation, and not all control lines and information lines are shown in the product. In practice, it can be considered that almost all configurations are interconnected.

本発明は、情報通信システム、端末装置、及び情報通信システムの作動方法だけなく、情報通信システムや端末装置やサーバ装置で実行されるコンピュータ読み取り可能なプログラム、端末装置やサーバ装置における処理方法等の様々な態様で提供することができる。 The present invention relates not only to an information communication system, a terminal device, and an operation method of the information communication system, but also to a computer-readable program executed by the information communication system, the terminal device, and the server device, a processing method in the terminal device, the server device, and the like. It can be provided in various embodiments.

１００：端末装置、１０１：センサ部、１０２：端末処理部、１０３：判定部、１０４：端末通信部、１０５：端末記憶部、１０６：制御部、１１０：表示部、１２０：フレーム部、１３０：携帯端末装置、２００：ネットワーク、３００：サーバ装置、３０１：サーバ通信部、３０２：サーバ処理部、３０３：サーバ記憶部、３０４：制御部、４００：パーソナルコンピュータ、５００：タブレット端末、６００：ウェアラブル端末、７００：クラウドサーバ装置 100: Terminal device, 101: Sensor unit, 102: Terminal processing unit, 103: Judgment unit, 104: Terminal communication unit, 105: Terminal storage unit, 106: Control unit, 110: Display unit, 120: Frame unit, 130: Mobile terminal device, 200: Network, 300: Server device, 301: Server communication unit, 302: Server processing unit, 303: Server storage unit, 304: Control unit, 400: Personal computer, 500: Tablet terminal, 600: Wearable terminal , 700: Cloud server device

Claims (12)

ネットワークを介して通信する端末装置とサーバ装置とを備える情報通信システムであって、
前記端末装置は、
少なくとも１つのセンサを有するセンサ部と、
前記センサ部の検出信号に基づく処理を行う端末処理部と、
前記センサ部の検出信号が予め設定された条件を満たしているか否かを判定する判定部と、
前記サーバ装置と通信する端末通信部とを有し、
前記サーバ装置は、
前記端末装置と通信するサーバ通信部と、
該サーバ通信部によって受信された前記検出信号に基づく処理を行うサーバ処理部とを有し、
前記端末装置は、前記判定部において前記検出信号が予め設定された第１の条件を満たしていると判定されている間は、前記端末処理部による処理が継続されるよう制御し、前記判定部において前記検出信号が予め設定された第２の条件を満たしていると判定された場合に、前記端末通信部が前記サーバ通信部と通信を行うよう制御する制御部を有する
情報通信システム。An information communication system including a terminal device and a server device that communicate via a network.
The terminal device is
A sensor unit having at least one sensor and
A terminal processing unit that performs processing based on the detection signal of the sensor unit, and
A determination unit that determines whether or not the detection signal of the sensor unit satisfies a preset condition, and a determination unit.
It has a terminal communication unit that communicates with the server device, and has a terminal communication unit.
The server device
A server communication unit that communicates with the terminal device,
It has a server processing unit that performs processing based on the detection signal received by the server communication unit.
The terminal device controls the terminal processing unit to continue processing while the determination unit determines that the detection signal satisfies the preset first condition, and the determination unit controls the processing. An information communication system having a control unit that controls the terminal communication unit to communicate with the server communication unit when it is determined that the detection signal satisfies a preset second condition. 請求項１に記載の情報通信システムであって、
前記センサ部は、複数のセンサを有し、
前記判定部は、前記複数のセンサによって検出された各検出信号が前記第１の条件または前記第２の条件を満たしているか否かを判定する
情報通信システム。The information communication system according to claim 1.
The sensor unit has a plurality of sensors and has a plurality of sensors.
The determination unit is an information communication system that determines whether or not each detection signal detected by the plurality of sensors satisfies the first condition or the second condition. 請求項１に記載の情報通信システムであって、
前記端末装置の制御部は、前記判定部において前記検出信号が前記第２の条件を満たしていると判定された場合に、前記センサ部の検出信号または該検出信号に基づいて生成された情報を前記サーバ通信部に送信するよう前記端末通信部を制御する
情報通信システム。The information communication system according to claim 1.
When the determination unit determines that the detection signal satisfies the second condition, the control unit of the terminal device outputs the detection signal of the sensor unit or information generated based on the detection signal. An information communication system that controls the terminal communication unit so as to transmit to the server communication unit. 請求項１に記載の情報通信システムであって、
前記端末装置の制御部は、前記センサ部による検出開始以後の所定の時点から予め設定された時間が経過した時点において、前記センサ部の検出信号または該検出信号に基づいて生成された情報を前記サーバ通信部に送信する
情報通信システム。The information communication system according to claim 1.
The control unit of the terminal device obtains the detection signal of the sensor unit or information generated based on the detection signal at a time when a preset time has elapsed from a predetermined time after the start of detection by the sensor unit. An information communication system that transmits to the server communication unit. 請求項１に記載の情報通信システムであって、
前記端末装置の制御部は、前記センサ部による検出信号または該検出信号に基づいて生成された情報のデータ量が予め設定された閾値以上となった時点において、前記センサ部の検出信号または該検出信号に基づいて生成された情報を前記サーバ通信部に送信する
情報通信システム。The information communication system according to claim 1.
The control unit of the terminal device determines the detection signal of the sensor unit or the detection when the data amount of the detection signal by the sensor unit or the information generated based on the detection signal becomes equal to or more than a preset threshold value. An information communication system that transmits information generated based on a signal to the server communication unit. 請求項１に記載の情報通信システムであって、
前記第１の条件または前記第２の条件は、前記サーバ装置から前記端末装置に送信される
情報通信システム。The information communication system according to claim 1.
The first condition or the second condition is an information communication system transmitted from the server device to the terminal device. 請求項６に記載の情報通信システムであって、
前記第１の条件または前記第２の条件は、前記サーバ装置において機械学習によって得られた条件である
情報通信システム。The information communication system according to claim 6.
The first condition or the second condition is an information communication system which is a condition obtained by machine learning in the server device. 請求項１に記載の情報通信システムであって、
前記センサ部は、加速度センサを含む
情報通信システム。The information communication system according to claim 1.
The sensor unit is an information communication system including an acceleration sensor. 請求項８に記載の情報通信システムであって、
前記端末処理部は、前記加速度センサの検出信号に基づいて、加速度プロファイルを生成し、
前記判定部は、前記加速度プロファイルが予め設定された条件を満たすか判定する
情報通信システム。The information communication system according to claim 8.
The terminal processing unit generates an acceleration profile based on the detection signal of the acceleration sensor, and generates an acceleration profile.
The determination unit is an information communication system that determines whether the acceleration profile satisfies a preset condition. 請求項１に記載の情報通信システムであって、
前記端末装置は、前記端末処理部における処理結果を前記端末装置のユーザに報知する報知部を有し、
前記センサ部のセンサの検出時点から前記報知部による報知までの時間Ｔは、１０μｓ＜Ｔ＜６０ｍｓである
情報通信システム。The information communication system according to claim 1.
The terminal device has a notification unit that notifies a user of the terminal device of a processing result in the terminal processing unit.
An information communication system in which the time T from the time when the sensor of the sensor unit is detected to the notification by the notification unit is 10 μs <T <60 ms. 少なくとも１つのセンサを有するセンサ部と、
前記センサ部の検出信号に基づく処理を行う端末処理部と、
前記センサ部の検出信号が予め設定された条件を満たしているか否かを判定する判定部と、
前記検出信号を受信して該検出信号に基づく処理を行うサーバ装置と通信する端末通信部と、
前記判定部において前記検出信号が予め設定された第１の条件を満たしていると判定されている間は、前記端末処理部による処理が継続されるよう制御し、前記判定部において前記検出信号が予め設定された第２の条件を満たしていると判定された場合に、前記端末通信部が前記サーバ装置と通信を行うよう制御する制御部とを備える
端末装置。A sensor unit having at least one sensor and
A terminal processing unit that performs processing based on the detection signal of the sensor unit, and
A determination unit that determines whether or not the detection signal of the sensor unit satisfies a preset condition, and a determination unit.
A terminal communication unit that receives the detection signal and communicates with a server device that performs processing based on the detection signal.
While the determination unit determines that the detection signal satisfies the preset first condition, the terminal processing unit controls to continue the processing, and the determination unit uses the detection signal. A terminal device including a control unit that controls the terminal communication unit to communicate with the server device when it is determined that the second condition set in advance is satisfied. 少なくとも１つのセンサを有するセンサ部を備える端末装置と、ネットワークを介して前記センサ部の検出信号を受信して該検出信号に基づく処理を行うサーバ装置とを備える情報通信システムの作動方法であって、
前記端末装置において、前記センサ部の検出信号が予め設定された第１の条件を満たしていると判定されている間は、前記端末装置において前記検出信号に基づく処理を継続し、前記センサ部の検出信号が予め設定された第２の条件を満たしていると判定された場合に、前記端末装置が前記サーバ装置と通信を行い、前記サーバ装置において前記検出信号に基づく処理を行う
情報通信システムの作動方法。A method of operating an information communication system including a terminal device including a sensor unit having at least one sensor, and a server device that receives a detection signal of the sensor unit via a network and performs processing based on the detection signal. ,
While it is determined in the terminal device that the detection signal of the sensor unit satisfies the preset first condition, the terminal device continues the processing based on the detection signal, and the sensor unit continues. When it is determined that the detection signal satisfies the second preset condition, the terminal device communicates with the server device, and the server device performs processing based on the detection signal of the information communication system. How it works.
JP2020533999A 2018-08-02 2018-08-02 Information communication system, terminal device, and operation method of information communication system Active JP7227975B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/029052 WO2020026414A1 (en) 2018-08-02 2018-08-02 Information communication system, terminal device, and method for operation of information communication system

Publications (2)

Publication Number Publication Date
JPWO2020026414A1 true JPWO2020026414A1 (en) 2021-08-02
JP7227975B2 JP7227975B2 (en) 2023-02-22

Family

ID=69231536

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020533999A Active JP7227975B2 (en) 2018-08-02 2018-08-02 Information communication system, terminal device, and operation method of information communication system

Country Status (2)

Country Link
JP (1) JP7227975B2 (en)
WO (1) WO2020026414A1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09204220A (en) * 1996-01-25 1997-08-05 Yokogawa Electric Corp Equipment diagnostic device
JP2004265009A (en) * 2003-02-28 2004-09-24 Mitsubishi Electric Corp Diagnostic system
JP2016001425A (en) * 2014-06-12 2016-01-07 株式会社日立製作所 Monitoring control system and monitoring control method
WO2016143404A1 (en) * 2015-03-12 2016-09-15 ソニー株式会社 Information processing device, information processing method, and program
WO2017038100A1 (en) * 2015-09-03 2017-03-09 日本電気株式会社 Monitoring server, method for determining distributed processing, and non-temporary computer-readable medium in which program is stored
US20170076619A1 (en) * 2015-09-10 2017-03-16 Kinetic Telemetry, LLC Identification and analysis of movement using sensor devices
WO2017199807A1 (en) * 2016-05-19 2017-11-23 日本電信電話株式会社 Sensor relay device and sensor relay system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09204220A (en) * 1996-01-25 1997-08-05 Yokogawa Electric Corp Equipment diagnostic device
JP2004265009A (en) * 2003-02-28 2004-09-24 Mitsubishi Electric Corp Diagnostic system
JP2016001425A (en) * 2014-06-12 2016-01-07 株式会社日立製作所 Monitoring control system and monitoring control method
WO2016143404A1 (en) * 2015-03-12 2016-09-15 ソニー株式会社 Information processing device, information processing method, and program
WO2017038100A1 (en) * 2015-09-03 2017-03-09 日本電気株式会社 Monitoring server, method for determining distributed processing, and non-temporary computer-readable medium in which program is stored
US20170076619A1 (en) * 2015-09-10 2017-03-16 Kinetic Telemetry, LLC Identification and analysis of movement using sensor devices
WO2017199807A1 (en) * 2016-05-19 2017-11-23 日本電信電話株式会社 Sensor relay device and sensor relay system

Also Published As

Publication number Publication date
WO2020026414A1 (en) 2020-02-06
JP7227975B2 (en) 2023-02-22

Similar Documents

Publication Publication Date Title
US10684469B2 (en) Detecting and mitigating motion sickness in augmented and virtual reality systems
CN104750249B (en) Information processing method and electronic equipment
US10474411B2 (en) System and method for alerting VR headset user to real-world objects
CN105978848A (en) Processing method and device for collection of sensor data
US20150371444A1 (en) Image processing system and control method for the same
WO2017092334A1 (en) Method and device for image rendering processing
US20150314681A1 (en) System and method to monitor and alert vehicle operator of impairment
KR102357680B1 (en) Method and device to detect movement of object based on event
US20170163958A1 (en) Method and device for image rendering processing
US10614590B2 (en) Apparatus for determination of interference between virtual objects, control method of the apparatus, and storage medium
KR20170081272A (en) Method, system and device for navigating in a virtual reality environment
JP2017059062A5 (en)
EP3163407B1 (en) Method and apparatus for alerting to head mounted display user
KR20160046495A (en) Method and device to display screen in response to event related to external obejct
US11192249B2 (en) Simulation device for robot
JP7146087B2 (en) Neural network training method, line-of-sight tracking method and device, and electronic equipment
CN106095108A (en) A kind of augmented reality feedback method and equipment
US20140285518A1 (en) Mixed reality presenting system, virtual reality presenting system, display apparatus, information processing apparatus, control method, and program
JP2015153267A5 (en)
CN109803138A (en) Adaptive alternating image volume around method, system and recording medium
CN111580665B (en) Method and device for predicting fixation point, mobile terminal and storage medium
JP6270488B2 (en) Operator monitoring control device and operator monitoring control method
US20120050275A1 (en) Image processing apparatus and image processing method
JP6334484B2 (en) Glasses-type wearable device, control method thereof, and information management server
US11427206B2 (en) Vehicle operation assistance device, vehicle operation assistance method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220916

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230210

R151 Written notification of patent or utility model registration

Ref document number: 7227975

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151