JP7059798B2 - Servers, systems, methods, and programs - Google Patents

Servers, systems, methods, and programs Download PDF

Info

Publication number
JP7059798B2
JP7059798B2 JP2018098933A JP2018098933A JP7059798B2 JP 7059798 B2 JP7059798 B2 JP 7059798B2 JP 2018098933 A JP2018098933 A JP 2018098933A JP 2018098933 A JP2018098933 A JP 2018098933A JP 7059798 B2 JP7059798 B2 JP 7059798B2
Authority
JP
Japan
Prior art keywords
time
work
wearable terminal
server
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018098933A
Other languages
Japanese (ja)
Other versions
JP2019204282A (en
Inventor
季明 加藤
武弘 沼尻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Electric Co Ltd
Original Assignee
Fuji Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Electric Co Ltd filed Critical Fuji Electric Co Ltd
Priority to JP2018098933A priority Critical patent/JP7059798B2/en
Publication of JP2019204282A publication Critical patent/JP2019204282A/en
Application granted granted Critical
Publication of JP7059798B2 publication Critical patent/JP7059798B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Electric Clocks (AREA)
  • Measurement Of Unknown Time Intervals (AREA)
  • General Factory Administration (AREA)

Description

本発明は、サーバ、システム、方法、及びプログラムに関する。 The present invention relates to servers, systems, methods, and programs.

ヘッドマウントディスプレイを備えるウェアラブル注文端末として、注文受付時に注文内容を含む注文画面をヘッドマウントディスプレイに表示し、注文終了時に注文画面を消去するものが知られている(例えば特許文献1参照)。
特許文献1 特開2011-48439号公報
As a wearable ordering terminal provided with a head-mounted display, there is known a wearable ordering terminal that displays an order screen including an order content on a head-mounted display at the time of receiving an order and erases the order screen at the end of an order (see, for example, Patent Document 1).
Patent Document 1 Japanese Unexamined Patent Publication No. 2011-48439

作業者が作業に要した作業時間を管理することが望まれる場合がある。作業時間をウェアラブル端末で計時し、当該作業時間をサーバで収集するシステムにおいては、例えば、ウェアラブル端末で計時される時刻とサーバで計時される時刻との整合性が低い場合があり得る。このような場合、不整合な時刻データを含む管理データが生成される場合がある。 It may be desirable for workers to manage the work time required for their work. In a system in which the work time is measured by the wearable terminal and the work time is collected by the server, for example, the time measured by the wearable terminal and the time measured by the server may be inconsistent. In such cases, management data including inconsistent time data may be generated.

第1の態様において、作業者の頭部に装着されるウェアラブル端末を通じて、作業に関する画像を作業者に提供するためのサーバが提供される。サーバは、作業に関する画像がウェアラブル端末で表示されたときにウェアラブル端末で計時された第1の時刻及び作業の作業結果をウェアラブル端末が作業者から取得したときにウェアラブル端末で計時された第2の時刻の少なくとも一方の時刻を示す情報と、画像がウェアラブル端末で表示されてからウェアラブル端末が作業者から作業結果を取得するまでの時間を示す情報と、作業結果とを含む作業結果情報を、ウェアラブル端末から受信する作業結果受信部を備えてよい。サーバは、第1の時刻及び第2の時刻の少なくとも一方の時刻がサーバで管理されている時刻と整合する場合に、第1の時刻及び第2の時刻の少なくとも一方の時刻、時間、及び作業結果を出力し、第1の時刻及び第2の時刻の少なくとも一方の時刻がサーバで管理されている時刻と整合しない場合に、第1の時刻及び第2の時刻の少なくとも一方の時刻をマスクして、時間及び作業結果を出力する結果出力部を備えてよい。 In the first aspect, a server for providing an image related to a work to a worker is provided through a wearable terminal worn on the head of the worker. The server is the first time timed by the wearable terminal when the image related to the work is displayed on the wearable terminal, and the second time measured by the wearable terminal when the wearable terminal acquires the work result of the work from the worker. Work result information including information indicating at least one of the times, information indicating the time from when the image is displayed on the wearable terminal to the wearable terminal acquiring the work result from the worker, and work result is wearable. It may be provided with a work result receiving unit for receiving from a terminal. The server performs at least one time, time, and operation of the first time and the second time when at least one of the first time and the second time is consistent with the time managed by the server. The result is output, and if at least one of the first time and the second time does not match the time managed by the server, at least one of the first time and the second time is masked. It may be provided with a result output unit that outputs the time and the work result.

作業は複数の作業項目を含んでよい。作業結果情報は、複数の作業項目のそれぞれについて、それぞれの作業項目に関する画像がウェアラブル端末で表示されたときにウェアラブル端末で計時された第1の時刻及びそれぞれの作業項目の作業結果をウェアラブル端末が作業者から取得したときにウェアラブル端末で計時された第2の時刻の少なくとも一方の時刻を示す情報と、それぞれの作業項目に関する画像がウェアラブル端末で表示されてからウェアラブル端末が作業者から作業結果を取得するまでの時間を示す情報と、作業結果とを含んでよい。結果出力部は、第1の時刻及び第2の時刻の少なくとも一方の時刻がサーバで管理されている時刻と整合する作業項目について、第1の時刻及び第2の時刻の少なくとも一方の時刻、時間、及び作業結果を出力してよい。結果出力部は、第1の時刻及び第2の時刻の少なくとも一方の時刻がサーバで管理されている時刻と整合しない作業項目について、第1の時刻及び第2の時刻の少なくとも一方の時刻をマスクして、時間及び作業結果を出力してよい。 The work may include a plurality of work items. The work result information is the first time clocked by the wearable terminal when the image related to each work item is displayed on the wearable terminal for each of the plurality of work items, and the work result of each work item is displayed by the wearable terminal. Information indicating at least one of the second times clocked by the wearable terminal when acquired from the worker and an image related to each work item are displayed on the wearable terminal, and then the wearable terminal outputs the work result from the worker. It may include information indicating the time until acquisition and work results. The result output unit is responsible for at least one of the first time and the second time for a work item in which at least one of the first time and the second time is consistent with the time managed by the server. , And the work result may be output. The result output unit masks at least one of the first time and the second time for a work item in which at least one of the first time and the second time does not match the time managed by the server. Then, the time and the work result may be output.

作業結果情報は、複数の作業項目のそれぞれについて、それぞれの作業項目に関する画像がウェアラブル端末で表示されたときにウェアラブル端末で計時された第1の時刻を示す情報と、それぞれの作業項目の作業結果をウェアラブル端末が作業者から取得したときにウェアラブル端末で計時された第2の時刻を示す情報と、第1の時刻から第2の時刻までの時間を示す情報と、作業結果とを含んでよい。結果出力部は、第1の時刻及び第2の時刻がサーバで管理されている時刻と整合する作業項目について、第1の時刻、第2の時刻、時間、及び作業結果を出力してよい。第1の時刻及び第2の時刻の少なくともいずれかの時刻がサーバで管理されている時刻と整合しない作業項目について、第1の時刻及び第2の時刻をマスクして、時間及び作業結果を出力してよい。 The work result information includes information indicating the first time clocked by the wearable terminal when the image related to each work item is displayed on the wearable terminal for each of the plurality of work items, and the work result of each work item. May include information indicating the second time clocked by the wearable terminal when the wearable terminal acquires the time from the worker, information indicating the time from the first time to the second time, and the work result. .. The result output unit may output the first time, the second time, the time, and the work result for the work items whose first time and the second time are consistent with the time managed by the server. For work items in which at least one of the first time and the second time does not match the time managed by the server, the first time and the second time are masked and the time and work result are output. You can do it.

複数の作業項目は作業対象毎に設定されてよい。サーバは、作業対象毎に、作業対象に設定された複数の作業項目にわたる時間の合計値を算出する合計時間算出部を備えてよい。結果出力部は、作業対象に対応づけて、合計時間算出部が算出した合計値をさらに出力してよい。 A plurality of work items may be set for each work target. The server may include a total time calculation unit that calculates the total value of the time over a plurality of work items set for the work target for each work target. The result output unit may further output the total value calculated by the total time calculation unit in association with the work target.

サーバは、現在時刻を管理する時刻管理部を備えてよい。サーバは、ウェアラブル端末から受信した作業者の認証情報に基づいて作業者を認証するとともに、ウェアラブル端末において計時される時刻を現在時刻に合わせる時刻合わせをウェアラブル端末に実行させる時刻制御部を備えてよい。 The server may include a time management unit that manages the current time. The server may include a time control unit that authenticates the worker based on the worker's authentication information received from the wearable terminal and causes the wearable terminal to set the time measured in the wearable terminal to the current time. ..

第1の時刻及び第2の時刻の少なくとも一方の時刻と現在時刻との差が予め定められた値より大きい場合に、第1の時刻及び第2の時刻の少なくとも一方の時刻がサーバで管理されている時刻と整合していないと判断する判断部を備えてよい。 When the difference between at least one of the first time and the second time and the current time is larger than a predetermined value, at least one of the first time and the second time is managed by the server. It may be provided with a judgment unit that determines that the time does not match the time.

第2の態様において、システムは、上記のサーバを備えてよい。システムは、上記のウェアラブル端末を備えてよい。 In the second aspect, the system may include the above server. The system may include the wearable terminal described above.

ウェアラブル端末は、作業者の音声を取得する音声取得部を備えてよい。ウェアラブル端末は、音声によって作業結果が入力された場合に、第1の時刻から第2の時刻までの時間を取得し、作業結果情報をサーバに送信し、作業結果が入力された作業の次の作業に関する画像を表示してよい。 The wearable terminal may include a voice acquisition unit that acquires the voice of the worker. When the work result is input by voice, the wearable terminal acquires the time from the first time to the second time, sends the work result information to the server, and next to the work in which the work result is input. An image of the work may be displayed.

ウェアラブル端末は、ウェアラブル端末の電源が投入される毎に、ウェアラブル端末に予め設定されている固定時刻から計時を開始し、サーバにより作業者が認証された場合に、ウェアラブル端末において計時される時刻をサーバで管理されている現在時刻に合わせる開始処理部を備えてよい。 The wearable terminal starts timing from a fixed time preset in the wearable terminal each time the power of the wearable terminal is turned on, and when the worker is authenticated by the server, the time measured in the wearable terminal is set. It may be provided with a start processing unit that adjusts to the current time managed by the server.

ウェアラブル端末は、作業結果情報を記憶する作業結果記憶部を備えてよい。ウェアラブル端末は、作業者から作業結果が入力された場合に、サーバにより作業者が認証され、かつ、サーバと通信可能であることを条件として、作業結果情報をサーバに出力する作業結果出力部を備えてよい。作業結果出力部は、サーバにより作業者が認証されていない場合又はサーバと通信可能でない場合には、作業結果情報を作業結果記憶部に出力し、作業結果情報が作業結果記憶部に出力された後、サーバにより作業者が認証された場合に、作業結果記憶部に記憶されている作業結果情報をサーバに送信してよい。 The wearable terminal may include a work result storage unit for storing work result information. The wearable terminal has a work result output unit that outputs work result information to the server, provided that the worker is authenticated by the server and can communicate with the server when the work result is input by the worker. You may be prepared. The work result output unit outputs the work result information to the work result storage unit when the worker is not authenticated by the server or cannot communicate with the server, and the work result information is output to the work result storage unit. Later, when the worker is authenticated by the server, the work result information stored in the work result storage unit may be transmitted to the server.

第3の態様において、作業者の頭部に装着されるウェアラブル端末を通じて、作業に関する画像を作業者に提供する方法が提供される。方法は、作業に関する画像がウェアラブル端末で表示されたときにウェアラブル端末で計時された第1の時刻及び作業の作業結果をウェアラブル端末が作業者から取得したときにウェアラブル端末で計時された第2の時刻の少なくとも一方の時刻を示す情報と、画像がウェアラブル端末で表示されてからウェアラブル端末が作業者から作業結果を取得するまでの時間を示す情報と、作業結果とを含む作業結果情報を、ウェアラブル端末から受信する段階を備えてよい。方法は、第1の時刻及び第2の時刻の少なくとも一方の時刻がサーバで管理されている時刻と整合する場合に、第1の時刻及び第2の時刻の少なくとも一方の時刻、時間、及び作業結果を出力し、第1の時刻及び第2の時刻の少なくとも一方の時刻がサーバで管理されている時刻と整合しない場合に、第1の時刻及び第2の時刻の少なくとも一方の時刻をマスクして、時間及び作業結果を出力する段階を備えてよい。 In a third aspect, a method of providing an image related to a work to a worker is provided through a wearable terminal worn on the head of the worker. The method is the first time timed by the wearable terminal when the image related to the work is displayed on the wearable terminal and the second time measured by the wearable terminal when the wearable terminal acquires the work result of the work from the worker. Work result information including information indicating at least one of the times, information indicating the time from when the image is displayed on the wearable terminal to the wearable terminal acquiring the work result from the worker, and work result is wearable. It may have a stage of receiving from the terminal. The method is that if at least one of the first time and the second time is consistent with the time managed by the server, then at least one of the first time and the second time, the time, and the work. The result is output, and if at least one of the first time and the second time does not match the time managed by the server, at least one of the first time and the second time is masked. The time and the work result may be output.

第4の態様において、作業者の頭部に装着されるウェアラブル端末を通じて、作業に関する画像を作業者に提供するためのプログラムが提供される。プログラムは、コンピュータを、作業に関する画像がウェアラブル端末で表示されたときにウェアラブル端末で計時された第1の時刻及び作業の作業結果をウェアラブル端末が作業者から取得したときにウェアラブル端末で計時された第2の時刻の少なくとも一方の時刻を示す情報と、画像がウェアラブル端末で表示されてからウェアラブル端末が作業者から作業結果を取得するまでの時間を示す情報と、作業結果とを含む作業結果情報を、ウェアラブル端末から受信する作業結果受信部として機能させてよい。プログラムは、コンピュータを、第1の時刻及び第2の時刻の少なくとも一方の時刻がサーバで管理されている時刻と整合する場合に、第1の時刻及び第2の時刻の少なくとも一方の時刻、時間、及び作業結果を出力し、第1の時刻及び第2の時刻の少なくとも一方の時刻がサーバで管理されている時刻と整合しない場合に、第1の時刻及び第2の時刻の少なくとも一方の時刻をマスクして、時間及び作業結果を出力する結果出力部として機能させてよい。 In the fourth aspect, a program for providing an image related to the work to the worker is provided through a wearable terminal worn on the head of the worker. The program clocked the computer on the wearable terminal when the wearable terminal acquired the first time timed on the wearable terminal when the image about the work was displayed on the wearable terminal and the work result of the work from the worker. Work result information including information indicating at least one of the second times, information indicating the time from when the image is displayed on the wearable terminal until the wearable terminal acquires the work result from the worker, and work result. May function as a work result receiving unit that receives from a wearable terminal. The program causes the computer to match at least one of the first time and the second time with the time managed by the server, at least one of the first time and the second time. , And when the work result is output and at least one of the first time and the second time does not match the time managed by the server, at least one of the first time and the second time. May be masked to function as a result output unit that outputs the time and work results.

なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 The outline of the above invention does not list all the features of the present invention. A subcombination of these feature groups can also be an invention.

一実施形態における作業支援システム100の概略的な構成を示す。The schematic configuration of the work support system 100 in one embodiment is shown. ウェアラブル端末10の機能ブロック構成を概略的に示す。The functional block configuration of the wearable terminal 10 is shown schematically. サーバ80の機能ブロック構成を概略的に示す。The functional block configuration of the server 80 is shown schematically. ウェアラブル端末10による点検支援処理の全体を示すフローチャートである。It is a flowchart which shows the whole inspection support process by a wearable terminal 10. ログイン画面500の一例を示す。An example of the login screen 500 is shown. ウェアラブル端末10によるログイン処理を示すフローチャートである。It is a flowchart which shows the login process by a wearable terminal 10. ウェアラブル端末10による点検支援処理を示すフローチャートである。It is a flowchart which shows the inspection support process by a wearable terminal 10. 点検画面800の一例を示す。An example of the inspection screen 800 is shown. 音声コマンド一覧が表示されている状態の点検画面900の一例を示す。An example of the inspection screen 900 in the state where the voice command list is displayed is shown. ウェアラブル端末10において作業者40から音声で指示を取得する処理を表すフローチャートである。It is a flowchart which shows the process of acquiring the instruction by voice from the worker 40 in a wearable terminal 10. 対応情報として記憶される情報をテーブル形式で示す。The information stored as correspondence information is shown in table format. 対応情報を生成するための事前学習データの一例を示す。An example of pre-learning data for generating correspondence information is shown. サーバ80において作業者40の指示を特定する処理を表すフローチャートである。It is a flowchart which shows the process which specifies the instruction of a worker 40 in a server 80. 対応情報の更新処理を表すフローチャートである。It is a flowchart which shows the update process of correspondence information. サーバ80がウェアラブル端末10から収集した点検結果データに基づく点検結果の表示画面の一例を示す。An example of an inspection result display screen based on the inspection result data collected by the server 80 from the wearable terminal 10 is shown. 点検結果データに基づく点検結果の表示画面の他の一例を示す。Another example of the inspection result display screen based on the inspection result data is shown. ウェアラブル端末10からダウンロードされる点検項目毎の点検結果データの一例を示す。An example of the inspection result data for each inspection item downloaded from the wearable terminal 10 is shown. ウェアラブル端末10からダウンロードされる点検対象毎の点検結果データの一例を示す。An example of the inspection result data for each inspection target downloaded from the wearable terminal 10 is shown. ウェアラブル端末10からダウンロードされる点検項目毎の点検結果データの他の一例を示す。Another example of the inspection result data for each inspection item downloaded from the wearable terminal 10 is shown. ウェアラブル端末10からダウンロードされる点検対象毎の点検結果データの他の一例を示す。Another example of the inspection result data for each inspection target downloaded from the wearable terminal 10 is shown.

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention within the scope of the claims. Also, not all combinations of features described in the embodiments are essential to the means of solving the invention.

図1は、一実施形態における作業支援システム100の概略的な構成を示す。作業支援システム100は、サーバ80と、音声認識サーバ82と、ウェアラブル端末10a及びウェアラブル端末10bとを備える。ウェアラブル端末10aは、作業者40aの頭部42aに装着される。ウェアラブル端末10bは、作業者40bの頭部42bに装着される。 FIG. 1 shows a schematic configuration of a work support system 100 in one embodiment. The work support system 100 includes a server 80, a voice recognition server 82, a wearable terminal 10a, and a wearable terminal 10b. The wearable terminal 10a is attached to the head 42a of the worker 40a. The wearable terminal 10b is attached to the head 42b of the worker 40b.

ウェアラブル端末10a及びウェアラブル端末10bは、同一の構成を有している。ウェアラブル端末10a及びウェアラブル端末10bを総称する場合に、「ウェアラブル端末10」という場合がある。ウェアラブル端末10の機能を説明する場合に、ウェアラブル端末10aのみを取り上げて説明する場合がある。また、作業者40a及び作業者40bを総称する場合に、「作業者40」という場合がある。 The wearable terminal 10a and the wearable terminal 10b have the same configuration. When the wearable terminal 10a and the wearable terminal 10b are generically referred to, they may be referred to as "wearable terminal 10". When explaining the function of the wearable terminal 10, only the wearable terminal 10a may be taken up and described. Further, when the worker 40a and the worker 40b are collectively referred to, the term "worker 40" may be used.

作業支援システム100は、ウェアラブル端末10を通じて作業者40に画像を提供するためのシステムの一例である。本実施形態では、作業の一例として、点検作業を取り上げて、作業支援システム100の機能を具体的に説明する。具体的には、作業者40が設備の点検を行う作業者であるとする。 The work support system 100 is an example of a system for providing an image to a worker 40 through a wearable terminal 10. In this embodiment, the inspection work is taken up as an example of the work, and the function of the work support system 100 will be specifically described. Specifically, it is assumed that the worker 40 is a worker who inspects the equipment.

作業支援システム100は、作業者40が行う点検を支援するための画像を提供する。具体的には、作業支援システム100は、ウェアラブル端末10を通じて、複数の点検項目を含む点検に関する画像を作業者40に提供する。ウェアラブル端末10は、例えば、点検作業現場において使用されてよい。作業としては、設備や物品の点検作業の他に、物品の組み立て作業、介護、教育、事務作業等、様々な作業を含み得る。 The work support system 100 provides an image for supporting the inspection performed by the worker 40. Specifically, the work support system 100 provides the worker 40 with an image related to an inspection including a plurality of inspection items through the wearable terminal 10. The wearable terminal 10 may be used, for example, in an inspection work site. The work may include various work such as assembling work of goods, nursing care, education, office work, etc., in addition to inspection work of equipment and goods.

サーバ80及びウェアラブル端末10は、ネットワーク90を通じて通信可能に接続されている。ネットワーク90は、インターネット、LAN、WAN、公衆回線網、専用回線網等、様々な形態のネットワークを含み得る。 The server 80 and the wearable terminal 10 are communicably connected to each other through the network 90. The network 90 may include various forms of networks such as the Internet, LAN, WAN, public line network, and leased line network.

ウェアラブル端末10aは、本体部11aと、表示部12aを有する。ウェアラブル端末10aは、本体部11aが作業者40aの耳部に装着されることにより、作業者40aの頭部42aに装着され得る。ウェアラブル端末10aは、本体部11aが作業者40aの眼鏡に装着されることにより、作業者40aの頭部42aに装着され得る。ウェアラブル端末10aは、眼鏡型の端末であってよい。ウェアラブル端末10aは、いわゆるアイウエアであってよい。 The wearable terminal 10a has a main body portion 11a and a display portion 12a. The wearable terminal 10a can be attached to the head portion 42a of the worker 40a by attaching the main body portion 11a to the ear portion of the worker 40a. The wearable terminal 10a can be attached to the head 42a of the worker 40a by attaching the main body 11a to the glasses of the worker 40a. The wearable terminal 10a may be a spectacle-type terminal. The wearable terminal 10a may be so-called eyewear.

ウェアラブル端末10は、1つの点検作業に含まれる1以上の点検項目の内容を、サーバ80から取得して記憶する。点検項目としては、例えば、「キズ・欠けはないか」等、良否の点検結果を入力するための項目を含み得る。その他、点検項目としては、「長さを確認」等、数値の点検結果を入力するための項目や、「型番を入力」等、文字の点検結果を入力するための項目を含み得る。 The wearable terminal 10 acquires and stores the contents of one or more inspection items included in one inspection work from the server 80. The inspection items may include items for inputting good / bad inspection results, such as "whether there are any scratches or chips". In addition, the inspection items may include items for inputting numerical inspection results such as "confirm length" and items for inputting character inspection results such as "enter model number".

ウェアラブル端末10は、1以上の点検項目の内容を表示部12に順次に表示する。作業者40は、表示部12に表示された点検項目に従って、順次に点検を行う。作業者40は、点検結果を音声で入力する。また、作業者40は、ウェアラブル端末10に対する指示を音声で入力する。 The wearable terminal 10 sequentially displays the contents of one or more inspection items on the display unit 12. The worker 40 sequentially inspects according to the inspection items displayed on the display unit 12. The worker 40 inputs the inspection result by voice. Further, the worker 40 inputs an instruction to the wearable terminal 10 by voice.

例えば、作業者40は、「写真」という音声を発することで、ウェアラブル端末10に写真撮影を行わせることができる。また、作業者40は、「実績」という音声を発することで、過去の点検で行われた点検結果や写真を表示部12に表示させることができる。また、作業者40は、「OK」「NG」という音声を発することで、良否の点検結果をウェアラブル端末10に入力することができる。作業者40は、数値や単位を発することで、測定値などの点検結果をウェアラブル端末10に入力することができる。 For example, the worker 40 can make the wearable terminal 10 take a picture by emitting the voice "photograph". Further, the worker 40 can display the inspection result and the photograph performed in the past inspection on the display unit 12 by emitting the voice "actual result". Further, the worker 40 can input the quality check result to the wearable terminal 10 by emitting the voices "OK" and "NG". The worker 40 can input the inspection result such as the measured value to the wearable terminal 10 by issuing a numerical value or a unit.

ウェアラブル端末10は、作業者40が発した音声により生成された音声データを、ネットワーク90を通じてサーバ80に送信して、指示や点検結果を示す文字列をサーバ80から取得する。サーバ80は、ウェアラブル端末10から受信した音声データを音声認識サーバ82に送信して、音声認識サーバ82による音声認識により得られた文字列を受信する。サーバ80は、音声認識サーバ82から受信した文字列に対応づけられた指示を、ウェアラブル端末10に送信する。 The wearable terminal 10 transmits voice data generated by the voice emitted by the worker 40 to the server 80 through the network 90, and acquires a character string indicating an instruction or an inspection result from the server 80. The server 80 transmits the voice data received from the wearable terminal 10 to the voice recognition server 82, and receives the character string obtained by the voice recognition by the voice recognition server 82. The server 80 transmits an instruction associated with the character string received from the voice recognition server 82 to the wearable terminal 10.

例えば、サーバ80は、「実績」の指示に対応づけて、「じっせき」の他に、「じいせき」や「じせき」等の文字列を記憶している。これにより、音声認識により得られた文字列が「じいせき」又は「じせき」である場合であっても、「実績」の指示をウェアラブル端末10に送信する。これにより、ユーザ毎の発音の違いや周囲の外乱等により、同じ指示の音声認識結果が異なってしまっても、正しい指示を取得できる可能性を高めることができる。 For example, the server 80 stores character strings such as "jiseki" and "jiseki" in addition to "jiseki" in correspondence with the instruction of "results". As a result, even when the character string obtained by voice recognition is "jiseki" or "jiseki", the instruction of "actual result" is transmitted to the wearable terminal 10. As a result, even if the voice recognition result of the same instruction is different due to the difference in pronunciation for each user, the disturbance of the surroundings, etc., it is possible to increase the possibility of acquiring the correct instruction.

また、ウェアラブル端末10は、作業者40が点検を開始した点検開始時刻、作業者40が点検を終了した時刻である点検終了時刻、作業者40が点検に要した時間である点検時間を計時する。ウェアラブル端末10は、ウェアラブル端末10自身の内部時計により、点検開始時刻、点検終了時刻、及び点検時間を計時する。ウェアラブル端末10は、作業者40から入力された点検結果をサーバ80に送信する場合、点検開始時刻、点検終了時刻、及び点検時間もサーバ80に送信する。 Further, the wearable terminal 10 measures the inspection start time when the worker 40 starts the inspection, the inspection end time which is the time when the worker 40 finishes the inspection, and the inspection time which is the time required for the worker 40 to perform the inspection. .. The wearable terminal 10 measures the inspection start time, the inspection end time, and the inspection time by the internal clock of the wearable terminal 10 itself. When the wearable terminal 10 transmits the inspection result input from the worker 40 to the server 80, the wearable terminal 10 also transmits the inspection start time, the inspection end time, and the inspection time to the server 80.

サーバ80は、点検結果、点検開始時刻、点検終了時刻、及び点検時間を含む点検結果データを外部に提供する場合、ウェアラブル端末10の内部時計がサーバ80に対して時刻合わせされていない状態で点検結果が入力された作業については、点検開始時刻及び点検終了時刻のデータを「----」等の文字列でマスクする。これにより、ウェアラブル端末10の内部時計が時刻合わせしていない状態で取得された時刻情報を、適切な形態で出力することができる。例えば、ウェアラブル端末10は、電源OFF時に内部時計の動作を維持する電池を有しない。この場合、電源を一旦OFFした後に電源ONすると、ウェアラブル端末10の工場出荷時や直前の電源OFF時の固定日時に内部時計がリセットされる。そのため、点検開始時刻及び点検終了時刻については正確な値に得ることはできない。しかし、点検時間については比較的に正確な値を得ることができる。ウェアラブル端末10によれば、ウェアラブル端末10の内部時計がサーバ80に対して時刻合わせされていない状態で点検結果が入力された作業については、点検開始時刻及び点検終了時刻をマスクするので、正確でない値が管理データとして提供されることを抑制することができる。 When the server 80 provides the inspection result data including the inspection result, the inspection start time, the inspection end time, and the inspection time to the outside, the server 80 inspects the wearable terminal 10 in a state where the internal clock is not set to the server 80. For the work for which the result is input, the data of the inspection start time and inspection end time is masked with a character string such as "----". As a result, the time information acquired when the internal clock of the wearable terminal 10 is not set to the time can be output in an appropriate form. For example, the wearable terminal 10 does not have a battery that maintains the operation of the internal clock when the power is turned off. In this case, if the power is turned on after the power is turned off once, the internal clock is reset at the factory default of the wearable terminal 10 or at the fixed date and time when the power was turned off immediately before. Therefore, it is not possible to obtain accurate values for the inspection start time and inspection end time. However, a relatively accurate value can be obtained for the inspection time. According to the wearable terminal 10, the work in which the inspection result is input while the internal clock of the wearable terminal 10 is not set to the server 80 is not accurate because it masks the inspection start time and the inspection end time. It is possible to prevent the value from being provided as management data.

図2は、ウェアラブル端末10の機能ブロック構成を概略的に示す。ウェアラブル端末10は、表示部12と、撮像部202と、マイク205と、操作部材207と、制御部200と、記憶部210と、通信部290とを備える。 FIG. 2 schematically shows a functional block configuration of the wearable terminal 10. The wearable terminal 10 includes a display unit 12, an image pickup unit 202, a microphone 205, an operation member 207, a control unit 200, a storage unit 210, and a communication unit 290.

制御部200は、マイクロプロセッサ等の演算装置であってよい。記憶部210は、フラッシュメモリ等の不揮発性の記憶装置やRAM等の揮発性の記憶装置であってよい。記憶部210は、ウェアラブル端末10の動作の各段階を実行させるためのプログラムを格納する。ウェアラブル端末10の機能は主として、制御部200が当該プログラムを実行することにより実現される。プログラムは、記録媒体に記録されて記憶部210に提供される。通信部290は、ウェアラブル端末10におけるネットワーク90を通じた通信機能を担う。 The control unit 200 may be an arithmetic unit such as a microprocessor. The storage unit 210 may be a non-volatile storage device such as a flash memory or a volatile storage device such as a RAM. The storage unit 210 stores a program for executing each stage of the operation of the wearable terminal 10. The function of the wearable terminal 10 is mainly realized by the control unit 200 executing the program. The program is recorded on a recording medium and provided to the storage unit 210. The communication unit 290 is responsible for the communication function through the network 90 in the wearable terminal 10.

表示部12は、ウェアラブル端末10が作業者40の頭部42に装着された場合に、作業者40の視方向に表示面が対向するように設けられる。撮像部202は、ウェアラブル端末10が作業者40の頭部42に装着された場合に、撮像部202の撮像光軸が作業者40の視方向に沿うように設けられる。 The display unit 12 is provided so that when the wearable terminal 10 is attached to the head 42 of the worker 40, the display surface faces the visual direction of the worker 40. The image pickup unit 202 is provided so that when the wearable terminal 10 is attached to the head 42 of the worker 40, the image pickup optical axis of the image pickup unit 202 is along the visual direction of the worker 40.

マイク205は、作業者40の音声を取得する。マイク205は、ウェアラブル端末10が作業者40の頭部42に装着された場合に、作業者40の口元近くに移動可能なように、柔軟性を持つ支持部材を介してウェアラブル端末10に取り付けられる。操作部材207は、ボタン等の物理的な部材である。操作部材207は、作業者40からの指示を取得することができる。本実施形態では主として、作業者40が音声により指示する場合を取り上げて説明する。しかし、少なくとも一部の指示を、操作部材207を用いて行うことができる。 The microphone 205 acquires the voice of the worker 40. The microphone 205 is attached to the wearable terminal 10 via a flexible support member so that when the wearable terminal 10 is attached to the head 42 of the worker 40, the microphone 205 can be moved near the mouth of the worker 40. .. The operation member 207 is a physical member such as a button. The operation member 207 can acquire an instruction from the operator 40. In the present embodiment, the case where the worker 40 gives an instruction by voice will be mainly described. However, at least some of the instructions can be given using the operating member 207.

制御部200は、計時部204、開始処理部208、表示制御部220、無効化部230、利用頻度取得部232、取消頻度取得部234、作業結果情報生成部240、作業結果出力部248、指示取得部250、音声取得部260、認識結果取得部270、音声認識部272、及び指示特定部280を備える。 The control unit 200 includes a timekeeping unit 204, a start processing unit 208, a display control unit 220, an invalidation unit 230, a usage frequency acquisition unit 232, a cancellation frequency acquisition unit 234, a work result information generation unit 240, a work result output unit 248, and an instruction. It includes an acquisition unit 250, a voice acquisition unit 260, a recognition result acquisition unit 270, a voice recognition unit 272, and an instruction specifying unit 280.

音声取得部260は、作業者40の音声を取得する。具体的には、音声取得部260は、マイク205により取得された音声を取得して、音声データを生成する。音声認識部272は、マイク205により取得された音声を認識して文字列を生成する。具体的には、音声認識部272は、音声取得部260が生成した音声データを解析して文字列を生成する。 The voice acquisition unit 260 acquires the voice of the worker 40. Specifically, the voice acquisition unit 260 acquires the voice acquired by the microphone 205 and generates voice data. The voice recognition unit 272 recognizes the voice acquired by the microphone 205 and generates a character string. Specifically, the voice recognition unit 272 analyzes the voice data generated by the voice acquisition unit 260 to generate a character string.

認識結果取得部270は、作業者40の音声の音声認識によって得られた文字列を取得する。例えば、認識結果取得部270は、音声認識部272に音声データが出力され、音声認識部272による音声認識によって得られた文字列を取得する。通信部290が音声認識サーバ82と通信可能である場合、音声取得部260により生成された音声データが、通信部290及びネットワーク90を通じて外部の音声認識サーバ82に送信される。認識結果取得部270は、音声認識サーバ82による音声認識によって得られた文字列を取得する。 The recognition result acquisition unit 270 acquires a character string obtained by voice recognition of the voice of the worker 40. For example, the recognition result acquisition unit 270 outputs voice data to the voice recognition unit 272, and acquires a character string obtained by voice recognition by the voice recognition unit 272. When the communication unit 290 can communicate with the voice recognition server 82, the voice data generated by the voice acquisition unit 260 is transmitted to the external voice recognition server 82 through the communication unit 290 and the network 90. The recognition result acquisition unit 270 acquires a character string obtained by voice recognition by the voice recognition server 82.

記憶部210は、ウェアラブル端末10に対する指示と複数の文字列とを対応づける対応情報を記憶している。例えば、対応情報は、「じっせき」、「じいせき」、「じせき」等の文字列を、「実績」という指示に対応づける。指示特定部280は、対応情報によって認識結果取得部270が取得した文字列に対応づけられている指示を、ウェアラブル端末10に対する指示として特定する。 The storage unit 210 stores correspondence information for associating an instruction to the wearable terminal 10 with a plurality of character strings. For example, in the correspondence information, character strings such as "jiseki", "jiiseki", and "jiseki" are associated with the instruction "achievement". The instruction specifying unit 280 specifies the instruction associated with the character string acquired by the recognition result acquisition unit 270 by the correspondence information as an instruction to the wearable terminal 10.

指示取得部250は、サーバ80と通信可能である場合に、マイク205により取得された音声をサーバ80に送信して、サーバ80において特定された指示をサーバ80から受信する。指示取得部250は、サーバ80と通信可能でない場合に、記憶部210が記憶している対応情報によって音声認識部272が生成した文字列又は音声認識サーバ82から取得した文字列に対応づけられている指示を、ウェアラブル端末10に対する指示として取得する。 When the instruction acquisition unit 250 can communicate with the server 80, the instruction acquisition unit 250 transmits the voice acquired by the microphone 205 to the server 80, and receives the instruction specified by the server 80 from the server 80. When the instruction acquisition unit 250 cannot communicate with the server 80, the instruction acquisition unit 250 is associated with the character string generated by the voice recognition unit 272 or the character string acquired from the voice recognition server 82 by the correspondence information stored in the storage unit 210. The instruction is acquired as an instruction to the wearable terminal 10.

ウェアラブル端末10は、複数の点検項目のそれぞれに関連づけられた画像を作業者40に提供する。例えば、表示制御部220は、点検項目で行う点検内容を示す画像を、表示部12に表示させる。具体的には、表示制御部220は、「型番を入力」、「キズ・欠けがないか」等の、点検内容を説明する文字を含む画面を表示部12に表示させる。「型番を入力」、「キズ・欠けがないか」等は、点検項目の一例である。 The wearable terminal 10 provides the worker 40 with an image associated with each of the plurality of inspection items. For example, the display control unit 220 causes the display unit 12 to display an image showing the inspection content to be performed in the inspection item. Specifically, the display control unit 220 causes the display unit 12 to display a screen including characters explaining the inspection contents such as "input model number" and "whether there are any scratches or chips". "Enter the model number", "whether there are scratches or chips", etc. are examples of inspection items.

記憶部210は、複数の点検項目のそれぞれの点検項目に対応づけて、それぞれの点検項目に関連づけられた画像が作業者40に提供されているときに入力されるべき指示を複数の文字列に対応づける対応情報を記憶する。指示特定部280は、ウェアラブル端末10を通じて作業者40に提供されている画像が関連づけられた点検項目に対応づけて記憶部210が記憶している対応情報によって認識結果取得部270が取得した文字列と対応づけられている指示を、ウェアラブル端末10に対する指示として特定する。これにより、指示特定部280は、現在の点検項目において有効な指示のみを特定すればよいので、指示が誤特定される確率を低減することができる。 The storage unit 210 associates the inspection items of the plurality of inspection items with the instructions to be input when the image associated with each inspection item is provided to the worker 40 in a plurality of character strings. Memorize the correspondence information to be associated. The instruction specifying unit 280 is a character string acquired by the recognition result acquisition unit 270 by the correspondence information stored in the storage unit 210 in association with the inspection item associated with the image provided to the worker 40 through the wearable terminal 10. The instruction associated with is specified as an instruction for the wearable terminal 10. As a result, the instruction specifying unit 280 only needs to specify valid instructions in the current inspection items, so that the probability that the instructions are erroneously specified can be reduced.

表示制御部220は、指示の一覧を提示する指示に応じて、ウェアラブル端末10を通じて作業者40に提供されている画像が関連づけられた点検項目に対応づけて対応情報によって対応づけられている複数の指示の一覧を、作業者40に提示する。これにより、作業者40に、現在の作業項目において有効な指示の一覧を提示することができる。 In response to the instruction for presenting the list of instructions, the display control unit 220 has a plurality of images provided to the worker 40 through the wearable terminal 10 associated with the associated inspection items and associated with the corresponding information. A list of instructions is presented to the worker 40. This makes it possible to present the worker 40 with a list of instructions valid for the current work item.

利用頻度取得部232は、複数の点検項目のそれぞれについて、それぞれの点検項目に関連づけられた画像が作業者40に提供されている場合において複数の指示が使用された頻度を取得する。表示制御部220は、複数の指示の一覧を使用頻度に応じた順序で作業者40に表示する。これにより、作業者40は、頻繁に使用される指示を早く発見することができる。 The usage frequency acquisition unit 232 acquires the frequency with which a plurality of instructions are used when the image associated with each inspection item is provided to the worker 40 for each of the plurality of inspection items. The display control unit 220 displays a list of a plurality of instructions to the operator 40 in an order according to the frequency of use. This allows the worker 40 to quickly find frequently used instructions.

取消頻度取得部234は、対応情報によって指示に対応づけられている複数の文字列のそれぞれについて、指示特定部280が特定した指示が作業者40によって取り消された頻度を取得する。無効化部230は、対応情報において、取り消された頻度が予め定められた値以上の文字列と指示との対応づけを無効にする。例えば、取消頻度取得部234は、作業者40からの「ちせき」と認識された音声指示に応じて「実績」の処理を実行した後に、すぐに「もどる」という音声指示を取得した場合に、指示が取消されたと判断して、「ちせき」に対応する取消回数をカウントアップする。 The cancellation frequency acquisition unit 234 acquires the frequency at which the instruction specified by the instruction specifying unit 280 is canceled by the worker 40 for each of the plurality of character strings associated with the instruction by the correspondence information. The invalidation unit 230 invalidates the correspondence between the character string and the instruction whose cancellation frequency is equal to or higher than a predetermined value in the correspondence information. For example, when the cancellation frequency acquisition unit 234 acquires the voice instruction of "return" immediately after executing the "result" process in response to the voice instruction recognized as "chiseki" from the worker 40. , Judges that the instruction has been canceled, and counts up the number of cancellations corresponding to "Chiseki".

以上に説明したように、ウェアラブル端末10によれば、作業者が発する言葉のアクセントの違いや周囲の騒音等によって、正規の文字列の認識結果が得られなかった場合でも、認識結果を比較的に高い確率で正規の指示に変換することができる。 As described above, according to the wearable terminal 10, even if the recognition result of the regular character string cannot be obtained due to the difference in the accent of the words emitted by the worker, the ambient noise, etc., the recognition result is relatively high. It can be converted into a regular instruction with a high probability.

次に、点検結果が入力された場合の動作について説明する。表示制御部220がある作業項目の画像を表示部12に最初に表示させた場合、記憶部210は計時部204で計時される現在時刻を、点検開始時刻として記憶部210に記憶する。点検開始時刻は、作業に関する画像が前記ウェアラブル端末10で表示されたときにウェアラブル端末10で計時された第1の時刻の一例である。ここで、指示取得部250により、点検結果の入力する指示を取得した場合、記憶部210は、計時部204で計時される現在時刻を、点検終了時刻として記憶部210に記憶する。点検終了時刻は、点検結果をウェアラブル端末10が作業者40から取得したときにウェアラブル端末10で計時された第2の時刻の一例である。作業結果情報生成部240は、点検開始時刻と、点検終了時刻と、点検開始時刻から点検終了時刻までの時間である点検時間と、入力された点検結果を含む点検結果情報を生成して記憶部210に記憶する。記憶部210は、点検結果情報を記憶する作業結果記憶部として機能する。通信部290は、計時部204が生成した点検結果情報を、サーバ80に送信する。 Next, the operation when the inspection result is input will be described. When the display unit 220 first displays an image of a work item having a display control unit 220 on the display unit 12, the storage unit 210 stores the current time measured by the timekeeping unit 204 in the storage unit 210 as an inspection start time. The inspection start time is an example of the first time measured by the wearable terminal 10 when the image related to the work is displayed on the wearable terminal 10. Here, when the instruction acquisition unit 250 acquires an instruction to input the inspection result, the storage unit 210 stores the current time measured by the timekeeping unit 204 in the storage unit 210 as the inspection end time. The inspection end time is an example of the second time measured by the wearable terminal 10 when the wearable terminal 10 acquires the inspection result from the worker 40. The work result information generation unit 240 generates and stores inspection result information including the inspection start time, the inspection end time, the inspection time which is the time from the inspection start time to the inspection end time, and the input inspection result. Store in 210. The storage unit 210 functions as a work result storage unit for storing inspection result information. The communication unit 290 transmits the inspection result information generated by the timekeeping unit 204 to the server 80.

点検結果情報は、複数の作業項目のそれぞれについて生成される。すなわち、点検結果情報は、複数の作業項目のそれぞれについて、それぞれの作業項目に関する画像がウェアラブル端末10で表示されたときにウェアラブル端末10で計時された点検開始時刻と、それぞれの点検項目の点検結果をウェアラブル端末10が作業者40から取得したときにウェアラブル端末10で計時された点検終了時刻と、点検開始時刻から点検終了時刻までの時間である点検時間と、点検結果とを含む。点検時間は、作業項目に関する画像がウェアラブル端末10で表示されてからウェアラブル端末10が作業者40から点検結果を取得するまでの点検時間を示す。 Inspection result information is generated for each of a plurality of work items. That is, the inspection result information includes the inspection start time timed by the wearable terminal 10 when the image related to each work item is displayed on the wearable terminal 10 for each of the plurality of work items, and the inspection result of each inspection item. Is included in the inspection end time measured by the wearable terminal 10 when the wearable terminal 10 is obtained from the worker 40, the inspection time which is the time from the inspection start time to the inspection end time, and the inspection result. The inspection time indicates the inspection time from when the image related to the work item is displayed on the wearable terminal 10 until the wearable terminal 10 acquires the inspection result from the worker 40.

複数の作業項目の作業を行う場合、一つの作業項目の点検結果が入力されると、表示制御部220は、次の作業項目に関する画像を表示する。これにより、ウェアラブル端末10は、作業者40の音声によって点検結果が入力された場合に、点検開始時刻から点検終了時刻までの時間を取得し、点検結果情報をサーバ80に送信し、点検結果が入力された作業の次の作業に関する画像を表示する。これにより、次の作業項目の点検時間の計時が開始される。これにより、作業者40は複数の作業項目の作業を効率的に行いながら、点検時間を管理する情報をサーバ80に蓄積することができる。 When performing work on a plurality of work items, when the inspection result of one work item is input, the display control unit 220 displays an image related to the next work item. As a result, when the inspection result is input by the voice of the worker 40, the wearable terminal 10 acquires the time from the inspection start time to the inspection end time, transmits the inspection result information to the server 80, and the inspection result is obtained. Displays an image related to the next task of the entered task. As a result, the timekeeping of the inspection time of the next work item is started. As a result, the worker 40 can efficiently perform the work of the plurality of work items and store the information for managing the inspection time in the server 80.

なお、開始処理部208は、ウェアラブル端末10の電源が投入される毎に、ウェアラブル端末10に予め設定されている固定時刻から計時を開始する。また、開始処理部208は、作業者40から入力される認証情報をサーバ80に送信し、サーバ80により作業者40が認証された場合に、ウェアラブル端末10において計時される時刻をサーバ80で管理されている現在時刻に合わせる。固定時刻とは、例えば、1970年1月1日0時0分0秒等の基準日時であってよい。固定時刻とは、ウェアラブル端末10の工場出荷時に設定された時刻であってよい。固定時刻とは、ウェアラブル端末10が最後に電源OFFされたときの時刻であってよい。 The start processing unit 208 starts counting from a fixed time preset in the wearable terminal 10 every time the power of the wearable terminal 10 is turned on. Further, the start processing unit 208 transmits the authentication information input from the worker 40 to the server 80, and when the worker 40 is authenticated by the server 80, the server 80 manages the time measured by the wearable terminal 10. Set to the current time. The fixed time may be, for example, a reference date and time such as 0:00:00 on January 1, 1970. The fixed time may be a time set at the time of shipment from the wearable terminal 10. The fixed time may be the time when the wearable terminal 10 is last turned off.

なお、作業結果出力部248は、作業者40から点検結果が入力された場合に、サーバ80により作業者40が認証され、かつ、サーバ80と通信可能であることを条件として、点検結果情報をサーバ80に出力する。一方、作業結果出力部248は、サーバ80により作業者40が認証されていない場合又はサーバ80と通信可能でない場合には、点検結果情報を記憶部210に出力し、点検結果情報が記憶部210に出力された後、サーバ80により作業者40が認証された場合に、記憶部210に記憶されている点検結果情報をサーバ80に送信する。 When the inspection result is input from the worker 40, the work result output unit 248 outputs the inspection result information on condition that the worker 40 is authenticated by the server 80 and can communicate with the server 80. Output to the server 80. On the other hand, the work result output unit 248 outputs the inspection result information to the storage unit 210 when the worker 40 is not authenticated by the server 80 or cannot communicate with the server 80, and the inspection result information is stored in the storage unit 210. When the worker 40 is authenticated by the server 80 after being output to the server 80, the inspection result information stored in the storage unit 210 is transmitted to the server 80.

図3は、サーバ80の機能ブロック構成を概略的に示す。サーバ80は、制御部300と、記憶部310と、通信部390とを備える。 FIG. 3 schematically shows a functional block configuration of the server 80. The server 80 includes a control unit 300, a storage unit 310, and a communication unit 390.

制御部300は、マイクロプロセッサ等の演算装置であってよい。通信部390は、サーバ80におけるネットワーク90を通じた通信機能を担う。記憶部310は、フラッシュメモリやハードディス装置等の不揮発性の記憶装置を含む。記憶部310は、RAM等の揮発性の記憶装置を含む。サーバ80用のプログラムは、記録媒体に記録されて記憶部210に提供される。 The control unit 300 may be an arithmetic unit such as a microprocessor. The communication unit 390 is responsible for the communication function through the network 90 in the server 80. The storage unit 310 includes a non-volatile storage device such as a flash memory or a hard disk device. The storage unit 310 includes a volatile storage device such as a RAM. The program for the server 80 is recorded on the recording medium and provided to the storage unit 210.

制御部300は、時刻管理部304、認証制御部320、無効化部330、利用頻度取得部332、取消頻度取得部334、結果出力部340、判断部342、合計時間算出部344、音声取得部360、認識結果取得部370、指示特定部380、集計部392、選択部394を備える。 The control unit 300 includes a time management unit 304, an authentication control unit 320, an invalidation unit 330, a usage frequency acquisition unit 332, a cancellation frequency acquisition unit 334, a result output unit 340, a judgment unit 342, a total time calculation unit 344, and a voice acquisition unit. It includes 360, a recognition result acquisition unit 370, an instruction specifying unit 380, an aggregation unit 392, and a selection unit 394.

上述したように、ウェアラブル端末10において、作業刻開始時刻、点検終了時刻及び点検時間と、点検結果とを含む点検結果情報が、ウェアラブル端末10から送信される。通信部390は、ウェアラブル端末10から送信された点検結果情報を受信する。通信部390は、点検結果情報を受信する作業結果受信部として機能する。通信部390が受信した点検結果情報は、記憶部310に記憶される。 As described above, in the wearable terminal 10, the wearable terminal 10 transmits the inspection result information including the work time start time, the inspection end time, the inspection time, and the inspection result. The communication unit 390 receives the inspection result information transmitted from the wearable terminal 10. The communication unit 390 functions as a work result receiving unit for receiving inspection result information. The inspection result information received by the communication unit 390 is stored in the storage unit 310.

結果出力部340は、点検結果データの送信を要求された場合、点検開始時刻及び点検終了時刻がサーバ80で管理されている時刻と整合する場合に、点検開始時刻及び点検終了時刻、点検時間、及び点検結果を含む点検結果データを生成する。一方、結果出力部340は、点検開始時刻又は点検終了時刻がサーバ80で管理されている時刻と整合しない場合に、点検開始時刻及び点検終了時刻をマスクした点検結果データを生成する。例えば、点検開始時刻及び点検終了時刻を「----」にした点検結果データを生成する。通信部390は、結果出力部340が生成した点検結果データを、点検結果データの要求先に送信する。 When the result output unit 340 is requested to transmit the inspection result data, when the inspection start time and the inspection end time match the time managed by the server 80, the inspection start time, the inspection end time, and the inspection time, And generate inspection result data including inspection results. On the other hand, the result output unit 340 generates inspection result data masking the inspection start time and the inspection end time when the inspection start time or the inspection end time does not match the time managed by the server 80. For example, the inspection result data in which the inspection start time and the inspection end time are set to "----" is generated. The communication unit 390 transmits the inspection result data generated by the result output unit 340 to the request destination of the inspection result data.

時刻管理部304は、現在時刻を管理する。時刻管理部304は、サーバ80から受信した基準時刻に基づいてシステム時計を合わせる。認証制御部320は、ウェアラブル端末10から受信した作業者40の認証情報に基づいて作業者40を認証するとともに、ウェアラブル端末10において計時される時刻を現在時刻に合わせる時刻合わせをウェアラブル端末10に実行させる。 The time management unit 304 manages the current time. The time management unit 304 sets the system clock based on the reference time received from the server 80. The authentication control unit 320 authenticates the worker 40 based on the authentication information of the worker 40 received from the wearable terminal 10, and executes time adjustment to the wearable terminal 10 to adjust the time measured by the wearable terminal 10 to the current time. Let me.

判断部342は、点検開始時刻又は点検終了時刻と時刻管理部が管理している現在時刻との差が予め定められた値より大きい場合に、点検開始時刻又は点検終了時刻がサーバ80で管理されている時刻と整合していないと判断する。例えば、判断部342は、点検開始時刻又は点検終了時刻と、サーバ80で管理されている時刻との差が予め定められた値を超える場合に、点検開始時刻又は点検終了時刻がサーバ80で管理されている時刻と整合していないと判断する。例えば、ウェアラブル端末10の電源ON後、ウェアラブル端末10の時刻がサーバ80と時刻合わせされない場合、ウェアラブル端末10は、1970年1月1日0時0分0秒を基準時刻とし、基準時刻からの経過時間の初期値を0にリセットして、時刻を計時する。この場合、点検開始時刻又は点検終了時刻と時刻管理部304が管理している現在時刻との差が大きくなるため、現在時刻と整合していないと判断される。 When the difference between the inspection start time or inspection end time and the current time managed by the time management unit is larger than a predetermined value, the determination unit 342 manages the inspection start time or inspection end time on the server 80. Judge that it does not match the time. For example, the determination unit 342 manages the inspection start time or the inspection end time on the server 80 when the difference between the inspection start time or the inspection end time and the time managed by the server 80 exceeds a predetermined value. Judge that it does not match the time set. For example, if the time of the wearable terminal 10 is not set with the server 80 after the power of the wearable terminal 10 is turned on, the wearable terminal 10 sets the reference time to 0:00:00 on January 1, 1970, and starts from the reference time. Reset the initial value of the elapsed time to 0 and measure the time. In this case, since the difference between the inspection start time or the inspection end time and the current time managed by the time management unit 304 becomes large, it is determined that the inspection does not match the current time.

合計時間算出部344は、作業対象毎に、作業対象に設定された複数の作業項目にわたる時間の合計値を算出する。通信部390は、作業対象に対応づけて、点検開始時刻、点検終了時刻、点検時間及び点検結果に加えて、合計時間算出部が算出した合計値を含む点検結果データを、点検結果データの要求元に送信する。 The total time calculation unit 344 calculates the total value of the time over a plurality of work items set as the work target for each work target. In addition to the inspection start time, inspection end time, inspection time, and inspection result, the communication unit 390 requests inspection result data including the total value calculated by the total time calculation unit. Send to original.

次に、サーバ80における音声認識に関する処理について説明する。音声取得部360は、通信部390が受信した、ウェアラブル端末10から送信された音声データを取得する。認識結果取得部370及び指示特定部380は、それぞれウェアラブル端末10における認識結果取得部270及び指示特定部380に対応する機能ブロックである。 Next, processing related to voice recognition in the server 80 will be described. The voice acquisition unit 360 acquires the voice data received from the communication unit 390 and transmitted from the wearable terminal 10. The recognition result acquisition unit 370 and the instruction specification unit 380 are functional blocks corresponding to the recognition result acquisition unit 270 and the instruction specification unit 380 in the wearable terminal 10, respectively.

具体的には、認識結果取得部370は、作業者40の音声の音声認識によって得られた文字列を取得する。例えば、音声取得部360が取得した音声データが通信部290及びネットワーク90を通じて外部の音声認識サーバ82に送信され、音声認識サーバ82が音声認識することにより得られた文字列を取得する。 Specifically, the recognition result acquisition unit 370 acquires a character string obtained by voice recognition of the voice of the worker 40. For example, the voice data acquired by the voice acquisition unit 360 is transmitted to the external voice recognition server 82 through the communication unit 290 and the network 90, and the voice recognition server 82 acquires the character string obtained by voice recognition.

記憶部310は、ウェアラブル端末10に対する指示と複数の文字列とを対応づける対応情報を記憶している。例えば、対応情報は、「じっせき」、「じいせき」、「じせき」等の文字列を、「実績」という指示に対応づける。記憶部310は、対応情報を記憶する対応情報記憶部として機能する。指示特定部380は、対応情報によって認識結果取得部270が取得した文字列に対応づけられている指示を、ウェアラブル端末10に対する指示として特定する。指示特定部380が特定した指示を示す情報は、通信部390及びネットワーク90を通じて、ウェアラブル端末10に送信される。 The storage unit 310 stores correspondence information for associating an instruction to the wearable terminal 10 with a plurality of character strings. For example, in the correspondence information, character strings such as "jiseki", "jiiseki", and "jiseki" are associated with the instruction "achievement". The storage unit 310 functions as a correspondence information storage unit for storing correspondence information. The instruction specifying unit 380 specifies the instruction associated with the character string acquired by the recognition result acquisition unit 270 by the correspondence information as an instruction to the wearable terminal 10. The information indicating the instruction specified by the instruction specifying unit 380 is transmitted to the wearable terminal 10 through the communication unit 390 and the network 90.

利用頻度取得部332、取消頻度取得部334、及び無効化部330は、それぞれウェアラブル端末10における利用頻度取得部232、取消頻度取得部234、及び無効化部230に対応する機能ブロックである。すなわち、利用頻度取得部332は、複数の点検項目のそれぞれについて、それぞれの点検項目に関連づけられた画像が作業者40に提供されている場合において複数の指示が使用された頻度を取得する。 The usage frequency acquisition unit 332, the cancellation frequency acquisition unit 334, and the invalidation unit 330 are functional blocks corresponding to the usage frequency acquisition unit 232, the cancellation frequency acquisition unit 234, and the invalidation unit 230 in the wearable terminal 10, respectively. That is, the usage frequency acquisition unit 332 acquires the frequency with which the plurality of instructions are used when the image associated with each inspection item is provided to the worker 40 for each of the plurality of inspection items.

取消頻度取得部334は、対応情報によって指示に対応づけられている複数の文字列のそれぞれについて、指示特定部380が特定した指示が作業者40によって取り消された頻度を取得する。無効化部330は、対応情報において、取り消された頻度が予め定められた値以上の文字列と指示との対応づけを無効にする。例えば、取消頻度取得部334は、作業者40からの「ちせき」と認識された音声指示に応じて「実績」の処理を実行した後に、すぐに「もどる」という音声指示を取得した場合に、指示が取消されたと判断して、「ちせき」に対応する取消回数をカウントアップする。 The cancellation frequency acquisition unit 334 acquires the frequency at which the instruction specified by the instruction specifying unit 380 is canceled by the worker 40 for each of the plurality of character strings associated with the instruction by the correspondence information. The invalidation unit 330 invalidates the correspondence between the character string and the instruction whose cancellation frequency is equal to or higher than a predetermined value in the correspondence information. For example, when the cancellation frequency acquisition unit 334 acquires the voice instruction of "return" immediately after executing the "result" process in response to the voice instruction recognized as "chiseki" from the worker 40. , Judges that the instruction has been canceled, and counts up the number of cancellations corresponding to "Chiseki".

ここで、サーバ80の記憶部310及びウェアラブル端末10の記憶部210に記憶される対応情報の生成方法について説明する。集計部392は、複数の人による指示の音声の音声認識により得られた複数の文字列を取得し、当該複数の文字列のそれぞれの文字列として音声が認識された人数を文字列毎に集計する。選択部394は、集計部392によって集計された人数に基づいて、複数の文字列の中から、対応情報において指示に対応づけられるべき文字列を選択する。これにより、様々な人の発声に対応することができる。対応情報により指示に対応づける文字列の選択方法の具体例については、図12等に関連して説明する。 Here, a method of generating correspondence information stored in the storage unit 310 of the server 80 and the storage unit 210 of the wearable terminal 10 will be described. The totaling unit 392 acquires a plurality of character strings obtained by voice recognition of voices instructed by a plurality of people, and totals the number of people whose voice is recognized as each character string of the plurality of character strings for each character string. do. The selection unit 394 selects a character string to be associated with the instruction in the correspondence information from the plurality of character strings based on the number of people aggregated by the aggregation unit 392. This makes it possible to respond to the vocalizations of various people. A specific example of a method of selecting a character string corresponding to an instruction by correspondence information will be described with reference to FIG. 12 and the like.

以上に説明したウェアラブル端末10及びサーバ80によれば、音声認識結果としての複数の文字列と指示とを対応づける対応情報を用いて指示を特定するので、ユーザ毎の発音の違いや周囲の外乱等の影響を低減することができる。また、サーバ80が点検結果データを提供する場合、ウェアラブル端末10とサーバ80とが時刻合わせされていない状態で点検結果が入力された作業については、点検開始時刻及び点検終了時刻のデータを「----」等の文字列でマスクするので、正確でない値が管理データとして提供されることを抑制することができる。 According to the wearable terminal 10 and the server 80 described above, the instruction is specified by using the correspondence information that associates the plurality of character strings as the voice recognition result with the instruction, so that the difference in pronunciation for each user and the disturbance of the surroundings are used. Etc. can be reduced. Further, when the server 80 provides the inspection result data, the data of the inspection start time and the inspection end time is set to "-" for the work in which the inspection result is input in the state where the wearable terminal 10 and the server 80 are not timed. Since it is masked with a character string such as "----", it is possible to suppress the provision of inaccurate values as management data.

図4は、ウェアラブル端末10による点検支援処理の全体を示すフローチャートである。本フローチャートの処理は、主として、制御部200がウェアラブル端末10の各部を制御することにより実現される。 FIG. 4 is a flowchart showing the entire inspection support process by the wearable terminal 10. The processing of this flowchart is mainly realized by the control unit 200 controlling each unit of the wearable terminal 10.

S402において、ウェアラブル端末10が電源ONされると、開始処理部208は、計時部204に固定時刻から計時を開始させる。 In S402, when the wearable terminal 10 is turned on, the start processing unit 208 causes the time measuring unit 204 to start timing from a fixed time.

S404において、表示制御部220は、ログイン画面を表示部12に表示させる。ログイン画面が表示されている状態でユーザID等の認証情報が入力されると、S406において、開始処理部208は、認証情報を用いて認証する。S406の処理の詳細については、図6に関連して説明する。 In S404, the display control unit 220 causes the display unit 12 to display the login screen. When authentication information such as a user ID is input while the login screen is displayed, the start processing unit 208 authenticates using the authentication information in S406. Details of the processing of S406 will be described in relation to FIG.

ログインが完了すると、S410において、点検対象の場所、設備、及び部位を取得する。場所、設備、及び部位の指示は、作業者40の音声により入力される。続いて、S412において、ウェアラブル端末10は、点検項目リストを設定する。例えば、ウェアラブル端末10は、サーバ80と通信可能な場合、S410で取得した場所、設備、及び部位を示す情報をサーバ80に送信して、サーバ80から1以上の点検項目を含む点検項目リストを取得する。サーバ80と通信可能でない場合、S410で取得した場所、設備、及び部位を示す情報に対応づけて記憶部210が記憶している点検項目リストを、記憶部210から読み出す。 When login is completed, the location, equipment, and part to be inspected are acquired in S410. The location, equipment, and site instructions are input by the voice of the worker 40. Subsequently, in S412, the wearable terminal 10 sets an inspection item list. For example, when the wearable terminal 10 can communicate with the server 80, the wearable terminal 10 transmits information indicating the location, equipment, and parts acquired in S410 to the server 80, and displays an inspection item list including one or more inspection items from the server 80. get. When communication with the server 80 is not possible, the check item list stored in the storage unit 210 in association with the information indicating the location, equipment, and part acquired in S410 is read from the storage unit 210.

S414において、作業者40の点検を支援するための処理を行う。S414の具体的な処理については後述する。 In S414, a process for supporting the inspection of the worker 40 is performed. The specific processing of S414 will be described later.

図5は、ログイン画面500の一例を示す。ログイン画面500は、音声で入力する内容を示すオブジェクト510と、音声入力が可能であるか否かを示すオブジェクト580を含む。表示制御部220は、音声入力が可能である場合に、オブジェクト580の外枠の色を予め定められた第1の色で表示させる。表示制御部220は、例えば、音声認識中である場合等、新たな音声入力が可能でない場合に、オブジェクト580の外枠の色を予め定められた第2の色で表示させる。表示制御部220は、音声入力が可能である場合において、音声が入力されると、認識された文字を枠内に表示させる。 FIG. 5 shows an example of the login screen 500. The login screen 500 includes an object 510 indicating the content to be input by voice and an object 580 indicating whether or not voice input is possible. The display control unit 220 displays the color of the outer frame of the object 580 in a predetermined first color when voice input is possible. The display control unit 220 displays the color of the outer frame of the object 580 in a predetermined second color when new voice input is not possible, for example, when voice recognition is in progress. When voice input is possible, the display control unit 220 displays the recognized characters in the frame.

図6は、ウェアラブル端末10によるログイン処理を示すフローチャートである。本フローチャートの処理は、主として、制御部200がウェアラブル端末10の各部を制御することにより実現される。本フローチャートの処理は、図4のS406の処理に適用することができる。 FIG. 6 is a flowchart showing a login process by the wearable terminal 10. The processing of this flowchart is mainly realized by the control unit 200 controlling each unit of the wearable terminal 10. The processing of this flowchart can be applied to the processing of S406 of FIG.

S602において、制御部200は認証情報を取得する。例えば、作業者40は、図5に示すログイン画面が表示されている状態で取得されたユーザの音声を認識することにより、認証情報を取得する。なお、制御部200は、撮像部202で撮像された画像から認証情報を取得してよい。例えば、ウェアラブル端末10を利用可能な作業者40には、認証情報をコード化したQRコード(登録商標)が印刷されたログイン証が配布される。作業者40がログイン証を撮像部202で撮像すると、制御部200は、ログイン証の画像から抽出したコード化情報を復号して、認証情報を取得してよい。 In S602, the control unit 200 acquires the authentication information. For example, the worker 40 acquires the authentication information by recognizing the voice of the user acquired while the login screen shown in FIG. 5 is displayed. The control unit 200 may acquire authentication information from the image captured by the image pickup unit 202. For example, a login certificate printed with a QR code (registered trademark) in which authentication information is encoded is distributed to a worker 40 who can use the wearable terminal 10. When the worker 40 images the login certificate with the image pickup unit 202, the control unit 200 may decode the coded information extracted from the image of the login certificate and acquire the authentication information.

S604において、開始処理部208は、通信部290を通じて認証情報をサーバ80に送信する。開始処理部208は、S606において、サーバ80により認証されたか否かを判断する。サーバ80により認証された場合、S608において、開始処理部208は、計時部204が計時する時刻をサーバ80の現在時刻に合わせて、図4のS410に進む。なお、サーバ80により認証された状態のことを、「オンライン状態」と呼ぶ場合がある。 In S604, the start processing unit 208 transmits the authentication information to the server 80 through the communication unit 290. The start processing unit 208 determines in S606 whether or not it has been authenticated by the server 80. When authenticated by the server 80, in S608, the start processing unit 208 advances to S410 in FIG. 4 by adjusting the time measured by the time measuring unit 204 to the current time of the server 80. The state authenticated by the server 80 may be referred to as an "online state".

S606において、サーバ80により認証されなかった場合、S610に進む。サーバ80により認証されなかった場合とは、サーバ80から作業者40を認証できない旨が通知された場合や、ウェアラブル端末10がサーバ80と通信可能でない場合を含む。S610において、開始処理部208は、記憶部210に記憶されている参照情報と認証情報とを照合する。記憶部210の参照情報と認証情報とを照合することにより作業者40を認証した場合、図4のS410に進む。なお、サーバ80により認証されず、記憶部210の参照情報と認証情報との照合により認証された状態のことを、「オフライン状態」と呼ぶ場合がある。参照情報と認証情報とを照合することにより作業者40を認証できなかった場合、図4のS404に進む。 If the server 80 does not authenticate in S606, the process proceeds to S610. The case where the authentication is not performed by the server 80 includes the case where the server 80 notifies that the worker 40 cannot be authenticated, and the case where the wearable terminal 10 cannot communicate with the server 80. In S610, the start processing unit 208 collates the reference information stored in the storage unit 210 with the authentication information. When the worker 40 is authenticated by collating the reference information of the storage unit 210 with the authentication information, the process proceeds to S410 in FIG. A state in which the server 80 is not authenticated and is authenticated by collation of the reference information of the storage unit 210 with the authentication information may be referred to as an "offline state". If the worker 40 cannot be authenticated by collating the reference information with the authentication information, the process proceeds to S404 in FIG.

図7は、ウェアラブル端末10による点検支援処理を示すフローチャートである。本フローチャートの処理は、主として、制御部200がウェアラブル端末10の各部を制御することにより実現される。本フローチャートの処理は、図4のS414の処理に適用することができる。 FIG. 7 is a flowchart showing an inspection support process by the wearable terminal 10. The processing of this flowchart is mainly realized by the control unit 200 controlling each unit of the wearable terminal 10. The processing of this flowchart can be applied to the processing of S414 of FIG.

S702において、表示制御部220は点検開始画面を表示部12に表示させ、制御部200は「点検開始」の指示を取得するまで待機する(S704)。 In S702, the display control unit 220 causes the display unit 12 to display the inspection start screen, and the control unit 200 waits until the instruction of "inspection start" is acquired (S704).

「点検開始」が指示されると、S706において、作業結果情報生成部240は、点検報告用の開始時刻を記憶部210に記憶する。S708において、表示制御部220は、最初の点検項目の画面を表示させる。点検項目の画面については後述する。 When "inspection start" is instructed, in S706, the work result information generation unit 240 stores the start time for the inspection report in the storage unit 210. In S708, the display control unit 220 displays the screen of the first inspection item. The inspection item screen will be described later.

S720において、指示取得部250は作業者40の指示を取得する。上述したように、作業者40の音声による指示は、サーバ80又は指示特定部280により特定される。S720の処理については、図10に関連して説明する。 In S720, the instruction acquisition unit 250 acquires the instruction of the worker 40. As described above, the voice instruction of the worker 40 is specified by the server 80 or the instruction specifying unit 280. The processing of S720 will be described in relation to FIG.

本フローチャートでは、S720で取得した指示として、点検結果の入力指示と、コマンド一覧を表示するための「コマンド」指示と、コマンド一覧を非表示にするための「閉じる」指示と、他の指示又は対応する指示がなかった場合を取り上げて説明する。 In this flowchart, as the instructions acquired in S720, an input instruction of the inspection result, a "command" instruction for displaying the command list, a "close" instruction for hiding the command list, and other instructions or other instructions or The case where there is no corresponding instruction will be explained.

S720で取得した指示が点検結果の入力指示であった場合、S722において現在時刻を取得し、S724において、作業結果情報生成部240が生成した点検結果情報を、記憶部210又はサーバ80に出力する。 When the instruction acquired in S720 is an input instruction of the inspection result, the current time is acquired in S722, and the inspection result information generated by the work result information generation unit 240 is output to the storage unit 210 or the server 80 in S724. ..

続いて、S726において、点検項目リストに次の点検項目が存在するか否かを判断する。次の点検項目が存在する場合、S708に処理を移行する。次の点検項目が存在しない場合、S728において点検報告用の終了時刻を記憶して、本フローチャートの処理を終了する。 Subsequently, in S726, it is determined whether or not the next inspection item exists in the inspection item list. If the following inspection items exist, the process shifts to S708. If the next inspection item does not exist, the end time for the inspection report is stored in S728, and the processing of this flowchart ends.

S720で取得した指示が「コマンド」の場合、S730において、音声コマンド一覧を表示して、S720に処理を移行する。音声コマンド一覧については、図9に関連して説明する。S720で取得した指示が「閉じる」の場合、S732において、音声コマンド一覧の表示を閉じて、S720に処理を移行する。S720で取得した指示が点検結果の入力指示、「コマンド」及び「閉じる」のいずれでない場合や、作業者40の音声の認識結果に対応する指示がなかった場合、S734において、他の指示に対応する処理、又は、対応する指示がなかった場合の予め定められた処理を実行して、S720に処理を移行する。 When the instruction acquired in S720 is a "command", the voice command list is displayed in S730 and the process is transferred to S720. The list of voice commands will be described in relation to FIG. When the instruction acquired in S720 is "close", the display of the voice command list is closed in S732, and the process shifts to S720. If the instruction acquired in S720 is not an inspection result input instruction, "command" or "close", or if there is no instruction corresponding to the voice recognition result of the worker 40, the other instructions are handled in S734. The process is transferred to S720 by executing the process to be performed or the predetermined process when there is no corresponding instruction.

図8は、点検画面800の一例を示す。点検画面800は、点検結果を入力する内容を示すオブジェクト810と、本点検項目において最も良く使用される3つの指示を示すオブジェクト820を含む。 FIG. 8 shows an example of the inspection screen 800. The inspection screen 800 includes an object 810 indicating the content for inputting the inspection result and an object 820 indicating the three most frequently used instructions in this inspection item.

点検画面800は、ケーブルの型番を点検するための画面である。点検画面800においては、数字、アルファベット及び記号を、点検結果として入力することができる。アルファベットの小文字は、アルファベットの文字の直前に「こもじ」を付けることで音声入力可能である。例えば、「xYz」は、「こもじえっくすわいこもじぜっと」と発声することで入力可能である。すなわち、指示特定部280は、認識結果に「こもじ」が含まれている場合、「こもじ」に続く文字列が表すアルファベットを小文字に変換することで、指示された文字列を特定する。なお、日本語の発音では数字の「9」とアルファベットの「Q」を識別しにくいため、アルファベットの「Q」には「けべっく」を対応づける。すなわち、指示特定部280は、認識結果の「けべっく」を「Q」に変換する。 The inspection screen 800 is a screen for inspecting the model number of the cable. On the inspection screen 800, numbers, alphabets and symbols can be input as inspection results. Lowercase letters of the alphabet can be input by voice by adding "Komoji" immediately before the letters of the alphabet. For example, "xYz" can be input by uttering "Komojiexwaikomojizetto". That is, when the recognition result includes "Komoji", the instruction specifying unit 280 identifies the instructed character string by converting the alphabet represented by the character string following "Komoji" into lowercase letters. Since it is difficult to distinguish the number "9" from the alphabet "Q" in Japanese pronunciation, "Kebek" is associated with the alphabet "Q". That is, the instruction specifying unit 280 converts the recognition result "kebeck" into "Q".

図9は、音声コマンド一覧が表示されている状態の点検画面900の一例を示す。点検画面900は、音声コマンド一覧を示すオブジェクト910を含む。表示制御部220は、オブジェクト910を点検画面800上にオーバーレイ表示することにより、音声コマンド一覧を表示する。 FIG. 9 shows an example of the inspection screen 900 in a state where the voice command list is displayed. The inspection screen 900 includes an object 910 showing a list of voice commands. The display control unit 220 displays a list of voice commands by overlaying the object 910 on the inspection screen 800.

オブジェクト910は、点検画面800において入力可能な指示の一覧を含む。表示制御部220は、オブジェクト910において指示を表示する順番を、利用頻度が高い順に並べる。例えば、画面に向かって左側に位置する指示が、画面に向かって右側に位置する指示より利用頻度が高くなるように並べてよい。左右方向に同じ位置に指示については、画面に向かって上側に位置する指示が、画面に向かって下側に位置する指示より利用頻度が高くなるように並べてよい。 Object 910 includes a list of instructions that can be entered on the inspection screen 800. The display control unit 220 arranges the order in which the instructions are displayed on the object 910 in descending order of frequency of use. For example, the instructions located on the left side of the screen may be arranged so as to be used more frequently than the instructions located on the right side of the screen. Regarding instructions at the same position in the left-right direction, the instructions located on the upper side of the screen may be arranged so that the instructions located on the lower side of the screen are used more frequently.

オブジェクト910が表示されている状態で「閉じる」の指示があった場合、表示制御部220は、オブジェクト910の表示を終了する。なお、オブジェクト910が表示されている状態でも、指示を入力することができる。例えば、オブジェクト910が表示されている状態で、作業者40が「じっせき」と発声すると、過去実績を表示する画面へと遷移する。 When the "close" instruction is given while the object 910 is displayed, the display control unit 220 ends the display of the object 910. It should be noted that the instruction can be input even when the object 910 is displayed. For example, when the worker 40 utters "Jisseki" while the object 910 is displayed, the screen transitions to the screen for displaying the past achievements.

図10は、ウェアラブル端末10において作業者40から音声で指示を取得する処理を表すフローチャートである。本フローチャートの処理は、主として、制御部200がウェアラブル端末10の各部を制御することにより実現される。本フローチャートの処理は、図7のS720の処理に適用することができる。 FIG. 10 is a flowchart showing a process of acquiring an instruction by voice from the worker 40 in the wearable terminal 10. The processing of this flowchart is mainly realized by the control unit 200 controlling each unit of the wearable terminal 10. The processing of this flowchart can be applied to the processing of S720 of FIG.

S1002において、音声取得部260は、マイク205で取得された音声データを生成する。S1004において、指示取得部250は、ウェアラブル端末10がオンライン状態かつサーバ80と通信可能な状態であるか否かを判断する。ウェアラブル端末10がオンライン状態かつサーバ80と通信可能である場合、通信部290は、音声データをサーバ80に送信する。サーバ80において、音声取得部360、認識結果取得部370、指示特定部380により作業者40の指示が特定され、特定された指示を示す情報がサーバ80からウェアラブル端末10に送信される。サーバ80が作業者40の指示を特定する処理については、図11に関連して後述する。S1008において、指示取得部250は、通信部290を通じて、サーバ80で特定された指示を取得し、本フローチャートの処理を終了する。 In S1002, the voice acquisition unit 260 generates the voice data acquired by the microphone 205. In S1004, the instruction acquisition unit 250 determines whether or not the wearable terminal 10 is online and can communicate with the server 80. When the wearable terminal 10 is online and can communicate with the server 80, the communication unit 290 transmits voice data to the server 80. In the server 80, the instruction of the worker 40 is specified by the voice acquisition unit 360, the recognition result acquisition unit 370, and the instruction identification unit 380, and the information indicating the specified instruction is transmitted from the server 80 to the wearable terminal 10. The process of specifying the instruction of the worker 40 by the server 80 will be described later in relation to FIG. In S1008, the instruction acquisition unit 250 acquires the instruction specified by the server 80 through the communication unit 290, and ends the process of this flowchart.

S1004において、ウェアラブル端末10がオフライン状態である場合、又は、ウェアラブル端末10がサーバ80と通信不可能である場合、S1010において、ウェアラブル端末10において作業者40の指示を特定し、本フローチャートの処理を終了する。S1010では、上述したように、音声認識部272、認識結果取得部270、及び指示特定部280により、作業者40の指示が特定される。 In S1004, when the wearable terminal 10 is in the offline state, or when the wearable terminal 10 cannot communicate with the server 80, in S1010, the instruction of the worker 40 is specified in the wearable terminal 10, and the processing of this flowchart is performed. finish. In S1010, as described above, the instruction of the worker 40 is specified by the voice recognition unit 272, the recognition result acquisition unit 270, and the instruction specifying unit 280.

図11は、対応情報として記憶される情報をテーブル形式で示す。図11は、「実績」の指示に対応づけられた対応情報である。対応情報は指示毎に用意される。対応情報は、認識文字列と、認識回数と、取消回数と、有効フラグとを互いに対応づける。 FIG. 11 shows information stored as correspondence information in a table format. FIG. 11 is correspondence information associated with the instruction of “actual result”. Correspondence information is prepared for each instruction. The correspondence information associates the recognition character string, the recognition count, the cancellation count, and the valid flag with each other.

認識文字列は、音声認識により得られた文字列に該当する。認識回数は、音声認識によって認識文字列の文字列が得られた回数を表す。例えば、認識回数は、音声認識サーバ82等によって「じっせき」の文字列として認識される毎にインクリメントされる。 The recognition character string corresponds to the character string obtained by voice recognition. The recognition count represents the number of times that the character string of the recognition character string is obtained by voice recognition. For example, the number of recognitions is incremented each time the voice recognition server 82 or the like recognizes the character string as "jiseki".

取消回数は、認識文字列の文字列が認識された後に対応する指示が取り消された回数を表す。例えば、音声認識サーバ82等によって「ちせき」の文字列として認識されてから予め定められた時間内に「戻る」の指示が入力された場合に、「ちせき」に基づく「実績」の指示が取り消されたと判断して、「ちせき」に対応する取消回数をインクリメントする。 The number of cancellations represents the number of times the corresponding instruction was canceled after the character string of the recognition character string was recognized. For example, when the instruction of "return" is input within a predetermined time after being recognized as the character string of "chiseki" by the voice recognition server 82 or the like, the instruction of "actual result" based on "chiseki" is given. Is determined to have been canceled, and the number of cancellations corresponding to "Chiseki" is incremented.

有効フラグは、認識文字列と指示とが対応づけられているか否かを示す。「有効」は、認識文字列と指示とが対応づけられていることを示し、「無効」は、認識文字列と指示とが対応づけられていないことを示す。無効化部230は、認識回数及び取消回数に基づく指示の取消頻度が予め定められた値を以上となった場合に、有効フラグを「有効」から「無効」に切り換える。 The valid flag indicates whether or not the recognition character string and the instruction are associated with each other. "Valid" indicates that the recognition character string and the instruction are associated with each other, and "invalid" indicates that the recognition character string and the instruction are not associated with each other. The invalidation unit 230 switches the valid flag from "valid" to "invalid" when the number of recognitions and the frequency of cancellation of instructions based on the number of cancellations exceeds a predetermined value.

図12は、対応情報を生成するための事前学習データの一例を示す。図12は、「実績」の指示に対応づけられた事前学習データである。「実績」の指示についての対応情報は、多数の人が「実績」を発声したときの音声の認識結果を学習することにより、生成される。 FIG. 12 shows an example of pre-learning data for generating correspondence information. FIG. 12 is pre-learning data associated with the “achievement” instruction. Correspondence information about the instruction of "achievement" is generated by learning the recognition result of the voice when a large number of people utter "achievement".

図12において、認識文字列は、多数の人が「実績」と発声したときに音声認識サーバ82等により認識された文字列を表す。人数は、認識文字列の文字列として認識された音声を発声した人の数を表す。人数は、事前学習を行う場合に、集計部392により集計される。選択部394は、事前学習データに基づいて、対応情報において「実績」の指示に対応づける認識文字列を選択する。具体的には、選択部394は、人数が多い順に認識文字列を選択する。選択部394は、選択した認識文字列の人数の合計が全人数の95%を上回るまで認識文字列を選択する。選択部394が選択した認識文字列は、対応情報により、「実績」の指示に対応づけられる。具体的には、図11に示されるように、「じっせき」から「ちせき」までの認識文字列が選択されて「実績」の指示との対応づけが有効となる。一方、「じせいき」の認識文字列は「実績」の指示との対応づけは無効とされる。 In FIG. 12, the recognition character string represents a character string recognized by the voice recognition server 82 or the like when a large number of people say "achievement". The number of people represents the number of people who have uttered the voice recognized as the character string of the recognition character string. The number of people is totaled by the totaling unit 392 when performing pre-learning. The selection unit 394 selects a recognition character string corresponding to the instruction of "achievement" in the correspondence information based on the pre-learning data. Specifically, the selection unit 394 selects recognition character strings in descending order of the number of people. The selection unit 394 selects the recognition character string until the total number of people in the selected recognition character string exceeds 95% of the total number of people. The recognition character string selected by the selection unit 394 is associated with the instruction of "actual result" by the correspondence information. Specifically, as shown in FIG. 11, the recognition character strings from "jiseki" to "chiseki" are selected, and the association with the "achievement" instruction is effective. On the other hand, the recognition character string of "Jiseiki" is invalidated in association with the instruction of "Achievements".

図13は、サーバ80において作業者40の指示を特定する処理を表すフローチャートである。本フローチャートの処理は、主として、制御部300がサーバ80の各部を制御することにより実現される。 FIG. 13 is a flowchart showing a process of specifying the instruction of the worker 40 on the server 80. The processing of this flowchart is mainly realized by the control unit 300 controlling each unit of the server 80.

S1302において、音声取得部360は、通信部390を通じて、ウェアラブル端末10から受信した音声データを取得すると、S1304において、通信部390は、音声認識サーバ82に音声データを送信する。S1306において、認識結果取得部370は、通信部390を介して、音声認識サーバ82で認識された文字列を取得する。 In S1302, the voice acquisition unit 360 acquires the voice data received from the wearable terminal 10 through the communication unit 390, and in S1304, the communication unit 390 transmits the voice data to the voice recognition server 82. In S1306, the recognition result acquisition unit 370 acquires the character string recognized by the voice recognition server 82 via the communication unit 390.

S1310において、指示特定部380は、各指示の対応情報を参照して、有効フラグが「有効」である認識文字列の中に、S1306で取得した文字列が存在する対応情報が発見されたか否かを判断する。対応情報が発見された場合、S1312において、指示特定部380は、発見された対応情報に対応づけられている指示を、作業者40の指示として特定する。 In S1310, the instruction specifying unit 380 refers to the correspondence information of each instruction, and whether or not the correspondence information in which the character string acquired in S1306 exists is found in the recognition character string whose valid flag is "valid". To judge. When the correspondence information is found, in S1312, the instruction specifying unit 380 specifies the instruction associated with the found correspondence information as the instruction of the worker 40.

S1314において、対応情報の更新処理を行う。S1314の処理については図14に関連して説明する。 In S1314, the correspondence information is updated. The processing of S1314 will be described in relation to FIG.

S1316において、通信部390は、S1312で特定した指示を示す情報を、ウェアラブル端末10に送信する。S1310において、対応情報が発見されなかった場合、S1318において、通信部390は、対応する指示がなかったことを示す情報をウェアラブル端末10に送信する。 In S1316, the communication unit 390 transmits the information indicating the instruction specified in S1312 to the wearable terminal 10. If the corresponding information is not found in S1310, in S1318, the communication unit 390 transmits information indicating that there is no corresponding instruction to the wearable terminal 10.

図14は、対応情報の更新処理を表すフローチャートである。本フローチャートの処理は、主として、制御部300がサーバ80の各部を制御することにより実現される。本フローチャートの処理は、図13のS1314の処理に適用することができる。 FIG. 14 is a flowchart showing the update process of the correspondence information. The processing of this flowchart is mainly realized by the control unit 300 controlling each unit of the server 80. The processing of this flowchart can be applied to the processing of S1314 of FIG.

S1402において、無効化部330は、特定された指示に対応する対応情報において、認識文字列に対応づけられた認識回数の値をインクリメントする。S1404において、S1312で特定した作業者40の指示が、直前の指示を取り消す指示であるか否かを判断する。例えば、S1312で特定された作業者40の指示が「戻る」であり、かつ、直前の指示を行った時刻からの経過時間が予め定められた値より短い場合に、直前の指示を取り消す指示であると判断する。直前の指示を取り消す指示でなかった場合は、本フローチャートの処理を終了する。直前の指示を取り消す指示であった場合、S1406において、無効化部330は、直前の指示の対応情報において、直前の指示における認識文字列に対応づけられている取消回数をインクリメントする。 In S1402, the invalidation unit 330 increments the value of the number of recognitions associated with the recognition character string in the correspondence information corresponding to the specified instruction. In S1404, it is determined whether or not the instruction of the worker 40 specified in S1312 is an instruction to cancel the immediately preceding instruction. For example, when the instruction of the worker 40 specified in S1312 is "return" and the elapsed time from the time when the immediately preceding instruction is given is shorter than a predetermined value, the instruction to cancel the immediately preceding instruction is used. Judge that there is. If the instruction is not to cancel the previous instruction, the process of this flowchart is terminated. In the case of an instruction to cancel the immediately preceding instruction, in S1406, the invalidation unit 330 increments the number of cancellations associated with the recognition character string in the immediately preceding instruction in the correspondence information of the immediately preceding instruction.

S1408において、取消頻度取得部334は利用頻度及び取消頻度に基づいて取消頻度を算出し、無効化部330は、取消頻度が予め定められた閾値以上であるか否かを判断する。取消頻度が予め定められた閾値未満の場合は、本フローチャートの処理を終了する。取消頻度が予め定められた閾値以上の場合、S1410において、無効化部330は、直前の指示の認識文字列の有効フラグを「無効」に切り換える。S1412において、無効化部330は、有効フラグが「無効」であった認識文字列のうち、事前学習において人数が最も多い認識文字列の有効フラグを「有効」に切り換える。例えば、「実績」に対応づけられた対応情報において、「ちせき」の有効フラグを「無効」に切り換える場合、「じせいき」の有効フラグを「有効」に切り換える。 In S1408, the cancellation frequency acquisition unit 334 calculates the cancellation frequency based on the usage frequency and the cancellation frequency, and the invalidation unit 330 determines whether or not the cancellation frequency is equal to or higher than a predetermined threshold value. If the cancellation frequency is less than the predetermined threshold value, the processing of this flowchart is terminated. When the cancellation frequency is equal to or higher than a predetermined threshold value, the invalidation unit 330 switches the valid flag of the recognition character string of the immediately preceding instruction to "invalid" in S1410. In S1412, the invalidation unit 330 switches the valid flag of the recognition character string having the largest number of people in the pre-learning to "valid" among the recognition character strings whose valid flag was "invalid". For example, when the valid flag of "chiseki" is switched to "invalid" in the correspondence information associated with "actual", the valid flag of "jiseiki" is switched to "valid".

図11から図14に関連して説明したように、対応情報により、音声認識により得られる可能性がある複数の文字列を一つの指示に対応づけるので、ユーザ毎の発音の違いや周囲の外乱等により、指示が認識されない確率を低減することができる。ウェアラブル端末10においては、複数の作業項目を順次に表示して指示を音声で入力するが、一つの作業項目において入力可能な指示の数は比較的少数にすることができる。各指示に複数の文字列を対応づける手法は、入力可能な指示の数が少ないシステムにおいて、特に有効である。 As described in relation to FIGS. 11 to 14, the correspondence information associates a plurality of character strings that may be obtained by voice recognition with one instruction, so that the difference in pronunciation for each user and the disturbance of the surroundings are associated with each other. Therefore, the probability that the instruction is not recognized can be reduced. In the wearable terminal 10, a plurality of work items are sequentially displayed and instructions are input by voice, but the number of instructions that can be input in one work item can be relatively small. The method of associating a plurality of character strings with each instruction is particularly effective in a system in which the number of instructions that can be input is small.

なお、図11から図14に関連して、サーバ80で指示を特定する場合のサーバ80が行う処理を説明した。図11から図14に関連して説明した処理のうちの少なくとも一部の理を、ウェアラブル端末10において指示を特定する場合の処理に適用できる。例えば、図10のS1010の処理に適用できる。 In addition, in relation to FIGS. 11 to 14, the processing performed by the server 80 when the instruction is specified by the server 80 has been described. At least a part of the processes described in relation to FIGS. 11 to 14 can be applied to the process for specifying an instruction in the wearable terminal 10. For example, it can be applied to the processing of S1010 in FIG.

図15は、サーバ80がウェアラブル端末10から収集した点検結果データに基づく点検結果の表示画面の一例を示す。図15の画面は、例えば、作業者40の点検を管理する管理者のコンピュータ端末に表示される。 FIG. 15 shows an example of an inspection result display screen based on the inspection result data collected by the server 80 from the wearable terminal 10. The screen of FIG. 15 is displayed, for example, on the computer terminal of the administrator who manages the inspection of the worker 40.

ウェアラブル端末10からサーバ80に送信される点検結果情報には、点検結果情報の送信者を識別する情報と、報告用の点検開始時刻及び報告用の点検終了時刻と、点検対象の場所、設備、部位を識別する情報と、複数の点検項目を識別する情報と、各点検項目の点検結果、点検開始時刻、点検終了時刻、及び点検時間とが含まれる。結果出力部340は、点検結果情報と、記憶部310に記憶されている点検項目の詳細情報から、点検結果データを生成する。 The inspection result information transmitted from the wearable terminal 10 to the server 80 includes information that identifies the sender of the inspection result information, an inspection start time for reporting, an inspection end time for reporting, and a location and equipment to be inspected. Information for identifying a part, information for identifying a plurality of inspection items, inspection result of each inspection item, inspection start time, inspection end time, and inspection time are included. The result output unit 340 generates inspection result data from the inspection result information and the detailed information of the inspection items stored in the storage unit 310.

図15は、ウェアラブル端末10がオンライン状態、かつ、サーバ80と通信可能な状態で取得した点検結果の点検結果情報から生成された点検結果の表示画面である。図15の「作業項目表示時刻」、「作結果入力時刻」、及び「作業時間」は、それぞれ点検開始時刻、点検終了時刻、及び点検時間を表す。「作業時間合計」は、合計時間算出部344によって点検時間を合計した時間を表す。ウェアラブル端末10はオンライン状態で点検結果を取得しているので、結果出力部340は、点検開始時刻及び点検終了時刻の時間をマスクせずに点検結果データに含める。よって、「作業項目表示時刻」及び「作結果入力時刻」にはウェアラブル端末10で計時された時刻が表示される。 FIG. 15 is a display screen of the inspection result generated from the inspection result information of the inspection result acquired while the wearable terminal 10 is online and can communicate with the server 80. The "work item display time", "production result input time", and "work time" in FIG. 15 represent the inspection start time, the inspection end time, and the inspection time, respectively. The "total working time" represents the total inspection time by the total time calculation unit 344. Since the wearable terminal 10 acquires the inspection result in the online state, the result output unit 340 includes the inspection start time and the inspection end time in the inspection result data without masking them. Therefore, the time measured by the wearable terminal 10 is displayed in the "work item display time" and the "production result input time".

図16は、点検結果データに基づく点検結果の表示画面の他の一例を示す。図16の表示画面は、ウェアラブル端末10がオフライン状態で取得した点検結果の点検結果情報から生成された点検結果の表示画面である点で、図15の表示画面とは異なる。ウェアラブル端末10はオフライン状態で点検結果を取得しているので、結果出力部340は、点検結果データにおける点検開始時刻及び点検終了時刻の時間をマスクする。そのため、「作業項目表示時刻」及び「作結果入力時刻」には「----」が表示される。一方、「作業時間」及び「作業時間合計」にはウェアラブル端末10で計時された点検時間に基づく正確な時間が表示される。そのため、管理者は作業者40が点検に要した時間をきちんと把握することができる。 FIG. 16 shows another example of the inspection result display screen based on the inspection result data. The display screen of FIG. 16 is different from the display screen of FIG. 15 in that it is an inspection result display screen generated from the inspection result information of the inspection result acquired by the wearable terminal 10 in the offline state. Since the wearable terminal 10 acquires the inspection result in the offline state, the result output unit 340 masks the inspection start time and the inspection end time in the inspection result data. Therefore, "----" is displayed in the "work item display time" and the "production result input time". On the other hand, in "working time" and "total working time", an accurate time based on the inspection time measured by the wearable terminal 10 is displayed. Therefore, the manager can properly grasp the time required for the inspection by the worker 40.

図17は、ウェアラブル端末10からダウンロードされる、各点検項目の点検結果データの一例を示す。図18は、ウェアラブル端末10からダウンロードされる、点検対象毎の点検結果データの一例を示す。 FIG. 17 shows an example of inspection result data of each inspection item downloaded from the wearable terminal 10. FIG. 18 shows an example of inspection result data for each inspection target downloaded from the wearable terminal 10.

各点検結果データは、例えばCSV形式のテキストデータとしてダウンロードすることができる。図17及び図18は、ウェアラブル端末10がオンライン状態、かつ、サーバ80と通信可能な状態で取得した点検結果の点検結果情報から生成された点検結果データを示す。図17の「作業項目表示時刻」、「作結果入力時刻」、及び「作業時間」は、それぞれ点検開始時刻、点検終了時刻、及び点検時間を表す。図18の「作業時間合計」は、合計時間算出部344によって点検時間を合計した時間を表す。図18の「作業開始時刻」及び「作業終了時刻」は、報告用の点検開始時刻及び報告用の点検終了時刻を示す。ウェアラブル端末10はオンライン状態で点検結果を取得している。そのため、結果出力部340は、各時刻をマスクせずに点検結果データに含める。 Each inspection result data can be downloaded as text data in CSV format, for example. 17 and 18 show inspection result data generated from the inspection result information of the inspection result acquired while the wearable terminal 10 is online and can communicate with the server 80. The “work item display time”, “production result input time”, and “work time” in FIG. 17 represent the inspection start time, the inspection end time, and the inspection time, respectively. The “total working time” in FIG. 18 represents the total inspection time by the total time calculation unit 344. “Work start time” and “work end time” in FIG. 18 indicate an inspection start time for reporting and an inspection end time for reporting. The wearable terminal 10 acquires the inspection result in an online state. Therefore, the result output unit 340 includes each time in the inspection result data without masking.

図19は、ウェアラブル端末10からダウンロードされる、点検項目毎の点検結果データの他の一例を示す。図20は、ウェアラブル端末10からダウンロードされる、点検対象毎の点検結果データの他の一例を示す。 FIG. 19 shows another example of the inspection result data for each inspection item downloaded from the wearable terminal 10. FIG. 20 shows another example of the inspection result data for each inspection target downloaded from the wearable terminal 10.

各点検結果データは、例えばCSV形式のテキストデータとしてダウンロードすることができる。図19及び図20は、ウェアラブル端末10がオフライン状態で取得した点検結果の点検結果情報から生成された点検結果データである点で、図17及び図18の点検結果データとは異なる。ウェアラブル端末10はオフライン状態で点検結果を取得している。そのため、結果出力部340は、点検結果データに含まれる各時刻を「----」でマスクする。一方、「作業時間」及び「作業時間合計」には、ウェアラブル端末10で計時された点検時間に基づく正確な時間が含まれる。そのため、管理者は作業者40が点検に要した時間をきちんと把握することができる。 Each inspection result data can be downloaded as text data in CSV format, for example. 19 and 20 are different from the inspection result data of FIGS. 17 and 18 in that the inspection result data is generated from the inspection result information of the inspection result acquired by the wearable terminal 10 in the offline state. The wearable terminal 10 acquires the inspection result in the offline state. Therefore, the result output unit 340 masks each time included in the inspection result data with "----". On the other hand, the "working time" and the "total working time" include an accurate time based on the inspection time measured by the wearable terminal 10. Therefore, the manager can properly grasp the time required for the inspection by the worker 40.

以上において、ウェアラブル端末10が、点検項目毎に点検開始時刻、点検終了時刻、及び点検時間を記憶する形態を主として説明した。しかし、点検開始時刻、点検終了時刻、及び点検時間を示す情報を記憶するために、点検開始時刻、点検終了時刻、及び点検時間の全てが必要ではない。例えば、点検開始時刻及び点検終了時刻の少なくとも一方と、点検時間とを記憶すれば、点検開始時刻、点検終了時刻、及び点検時間を表すことができる。他にも、点検開始時刻及び点検終了時刻を記憶すれば、点検開始時刻、点検終了時刻、及び点検時間を表すことができる。 In the above, the form in which the wearable terminal 10 stores the inspection start time, the inspection end time, and the inspection time for each inspection item has been mainly described. However, the inspection start time, the inspection end time, and the inspection time are not all required in order to store the information indicating the inspection start time, the inspection end time, and the inspection time. For example, if at least one of the inspection start time and the inspection end time and the inspection time are stored, the inspection start time, the inspection end time, and the inspection time can be represented. In addition, if the inspection start time and the inspection end time are stored, the inspection start time, the inspection end time, and the inspection time can be represented.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments. It will be apparent to those skilled in the art that various changes or improvements can be made to the above embodiments. It is clear from the description of the claims that the form with such changes or improvements may be included in the technical scope of the present invention.

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The order of execution of each process such as operation, procedure, step, and step in the apparatus, system, program, and method shown in the claims, the specification, and the drawing is particularly "before" and "prior to". It should be noted that it can be realized in any order unless the output of the previous process is used in the subsequent process. Even if the scope of claims, the specification, and the operation flow in the drawings are explained using "first", "next", etc. for convenience, it means that it is essential to carry out in this order. It's not a thing.

10 ウェアラブル端末
11 本体部
12 表示部
40 作業者
42 頭部
80 サーバ
82 音声認識サーバ
90 ネットワーク
100 作業支援システム
200 制御部
202 撮像部
204 計時部
205 マイク
207 操作部材
208 開始処理部
210 記憶部
220 表示制御部
230 無効化部
232 利用頻度取得部
234 取消頻度取得部
240 作業結果情報生成部
248 作業結果出力部
250 指示取得部
260 音声取得部
270 認識結果取得部
272 音声認識部
280 指示特定部
290 通信部
300 制御部
304 時刻管理部
310 記憶部
320 認証制御部
330 無効化部
332 利用頻度取得部
334 取消頻度取得部
340 結果出力部
342 判断部
344 合計時間算出部
360 音声取得部
370 認識結果取得部
380 指示特定部
390 通信部
392 集計部
394 選択部
500 ログイン画面
510 オブジェクト
580 オブジェクト
800 点検画面
810 オブジェクト
820 オブジェクト
900 点検画面
910 オブジェクト
10 Wearable terminal 11 Main unit 12 Display unit 40 Worker 42 Head 80 Server 82 Voice recognition server 90 Network 100 Work support system 200 Control unit 202 Imaging unit 204 Measuring unit 205 Measuring unit 205 Microphone 207 Operation member 208 Start processing unit 210 Storage unit 220 Display Control unit 230 Invalidation unit 232 Usage frequency acquisition unit 234 Cancellation frequency acquisition unit 240 Work result information generation unit 248 Work result output unit 250 Instruction acquisition unit 260 Voice acquisition unit 270 Recognition result acquisition unit 272 Voice recognition unit 280 Instruction specification unit 290 Communication Unit 300 Control unit 304 Time management unit 310 Storage unit 320 Authentication control unit 330 Invalidation unit 332 Usage frequency acquisition unit 334 Cancellation frequency acquisition unit 340 Result output unit 342 Judgment unit 344 Total time calculation unit 360 Voice acquisition unit 370 Recognition result acquisition unit 380 Instruction specific unit 390 Communication unit 392 Aggregation unit 394 Selection unit 500 Login screen 510 Object 580 Object 800 Inspection screen 810 Object 820 Object 900 Inspection screen 910 Object

Claims (12)

作業者の頭部に装着されるウェアラブル端末を通じて、作業に関する画像を前記作業者に提供するためのサーバであって、
前記作業に関する画像が前記ウェアラブル端末で表示されたときに前記ウェアラブル端末で計時された第1の時刻及び前記作業の作業結果を前記ウェアラブル端末が前記作業者から取得したときに前記ウェアラブル端末で計時された第2の時刻の少なくとも一方の時刻を示す情報と、前記画像が前記ウェアラブル端末で表示されてから前記ウェアラブル端末が前記作業者から前記作業結果を取得するまでの時間を示す情報と、前記作業結果とを含む作業結果情報を、前記ウェアラブル端末から受信する作業結果受信部と、
前記第1の時刻及び前記第2の時刻の少なくとも一方の時刻が前記サーバで管理されている時刻と整合する場合に、前記第1の時刻及び前記第2の時刻の少なくとも一方の時刻、前記時間、及び前記作業結果を出力し、前記第1の時刻及び前記第2の時刻の少なくとも一方の時刻が前記サーバで管理されている時刻と整合しない場合に、前記第1の時刻及び前記第2の時刻の少なくとも一方の時刻をマスクして、前記時間及び前記作業結果を出力する結果出力部と
を備えるサーバ。
A server for providing an image of work to the worker through a wearable terminal worn on the worker's head.
The first time clocked by the wearable terminal when the image related to the work is displayed on the wearable terminal and the work result of the work are timed by the wearable terminal when the wearable terminal acquires the work result of the work from the worker. Information indicating at least one of the second times, information indicating the time from when the image is displayed on the wearable terminal until the wearable terminal acquires the work result from the worker, and the work. A work result receiving unit that receives work result information including the result from the wearable terminal, and
When at least one of the first time and the second time matches the time managed by the server, at least one of the first time and the second time, the time. And, when the work result is output and at least one of the first time and the second time does not match the time managed by the server, the first time and the second time A server including a result output unit that masks at least one time and outputs the time and the work result.
前記作業は複数の作業項目を含み、
前記作業結果情報は、前記複数の作業項目のそれぞれについて、それぞれの作業項目に関する画像が前記ウェアラブル端末で表示されたときに前記ウェアラブル端末で計時された第1の時刻及びそれぞれの作業項目の作業結果を前記ウェアラブル端末が前記作業者から取得したときに前記ウェアラブル端末で計時された第2の時刻の少なくとも一方の時刻を示す情報と、それぞれの作業項目に関する画像が前記ウェアラブル端末で表示されてから前記ウェアラブル端末が前記作業者から前記作業結果を取得するまでの時間を示す情報と、前記作業結果とを含み、
前記結果出力部は、
前記第1の時刻及び前記第2の時刻の少なくとも一方の時刻が前記サーバで管理されている時刻と整合する作業項目について、前記第1の時刻及び前記第2の時刻の少なくとも一方の時刻、前記時間、及び前記作業結果を出力し、
前記第1の時刻及び前記第2の時刻の少なくとも一方の時刻が前記サーバで管理されている時刻と整合しない作業項目について、前記第1の時刻及び前記第2の時刻の少なくとも一方の時刻をマスクして、前記時間及び前記作業結果を出力する
請求項1に記載のサーバ。
The work includes multiple work items.
The work result information includes, for each of the plurality of work items, the first time measured by the wearable terminal when the image related to each work item is displayed on the wearable terminal, and the work result of each work item. Information indicating at least one of the second times clocked by the wearable terminal when the wearable terminal acquires the time from the worker, and an image relating to each work item is displayed on the wearable terminal. The wearable terminal includes information indicating the time until the wearable terminal acquires the work result from the worker, and the work result.
The result output unit is
For work items in which at least one of the first time and the second time is consistent with the time managed by the server, the first time and at least one of the second times, the said. Output the time and the work result,
Mask at least one of the first time and the second time for a work item in which at least one of the first time and the second time does not match the time managed by the server. The server according to claim 1, wherein the time and the work result are output.
前記作業結果情報は、前記複数の作業項目のそれぞれについて、それぞれの作業項目に関する画像が前記ウェアラブル端末で表示されたときに前記ウェアラブル端末で計時された第1の時刻を示す情報と、それぞれの作業項目の作業結果を前記ウェアラブル端末が前記作業者から取得したときに前記ウェアラブル端末で計時された第2の時刻を示す情報と、前記第1の時刻から前記第2の時刻までの時間を示す情報と、前記作業結果とを含み、
前記結果出力部は、
前記第1の時刻及び前記第2の時刻が前記サーバで管理されている時刻と整合する前記作業項目について、前記第1の時刻、前記第2の時刻、前記時間、及び前記作業結果を出力し、
前記第1の時刻及び前記第2の時刻の少なくともいずれかの時刻が前記サーバで管理されている時刻と整合しない前記作業項目について、前記第1の時刻及び前記第2の時刻をマスクして、前記時間及び前記作業結果を出力する
請求項2に記載のサーバ。
The work result information includes information indicating a first time clocked by the wearable terminal when an image relating to each work item is displayed on the wearable terminal for each of the plurality of work items, and each work. Information indicating the second time clocked by the wearable terminal when the wearable terminal acquires the work result of the item from the worker, and information indicating the time from the first time to the second time. And the above work results,
The result output unit is
For the work item whose first time and the second time are consistent with the time managed by the server, the first time, the second time, the time, and the work result are output. ,
For the work item in which at least one of the first time and the second time does not match the time managed by the server, the first time and the second time are masked. The server according to claim 2, which outputs the time and the work result.
前記複数の作業項目は作業対象毎に設定され、
前記サーバは、
前記作業対象毎に、前記作業対象に設定された前記複数の作業項目にわたる前記時間の合計値を算出する合計時間算出部
をさらに備え、
前記結果出力部は、前記作業対象に対応づけて、前記合計時間算出部が算出した合計値をさらに出力する
請求項2又は3に記載のサーバ。
The plurality of work items are set for each work target, and are set for each work target.
The server
For each work target, a total time calculation unit for calculating the total value of the time over the plurality of work items set for the work target is further provided.
The server according to claim 2 or 3, wherein the result output unit further outputs a total value calculated by the total time calculation unit in association with the work target.
現在時刻を管理する時刻管理部と、
前記ウェアラブル端末から受信した前記作業者の認証情報に基づいて前記作業者を認証するとともに、前記ウェアラブル端末において計時される時刻を前記現在時刻に合わせる時刻合わせを前記ウェアラブル端末に実行させる時刻制御部
をさらに備える請求項1から4のいずれか一項に記載のサーバ。
The time management unit that manages the current time and
A time control unit that authenticates the worker based on the authentication information of the worker received from the wearable terminal and causes the wearable terminal to adjust the time measured by the wearable terminal to the current time. The server according to any one of claims 1 to 4.
前記第1の時刻及び前記第2の時刻の少なくとも一方の時刻と前記現在時刻との差が予め定められた値より大きい場合に、前記第1の時刻及び前記第2の時刻の少なくとも一方の時刻が前記サーバで管理されている時刻と整合していないと判断する判断部
をさらに備える請求項5に記載のサーバ。
When the difference between at least one of the first time and the second time and the current time is larger than a predetermined value, at least one of the first time and the second time. The server according to claim 5, further comprising a determination unit for determining that the time does not match the time managed by the server.
請求項1から6のいずれか一項に記載のサーバと、
前記ウェアラブル端末と
を備えるシステム。
The server according to any one of claims 1 to 6 and the server.
A system including the wearable terminal.
前記ウェアラブル端末は、
前記作業者の音声を取得する音声取得部
をさらに備え、
前記音声によって前記作業結果が入力された場合に、前記第1の時刻から前記第2の時刻までの時間を取得し、前記作業結果情報を前記サーバに送信し、前記作業結果が入力された作業の次の作業に関する画像を表示する
請求項7に記載のシステム。
The wearable terminal is
Further equipped with a voice acquisition unit for acquiring the voice of the worker,
When the work result is input by the voice, the work from the first time to the second time is acquired, the work result information is transmitted to the server, and the work result is input. The system according to claim 7, which displays an image relating to the next work of.
前記ウェアラブル端末は、
前記ウェアラブル端末の電源が投入される毎に、前記ウェアラブル端末に予め設定されている固定時刻から計時を開始し、前記サーバにより前記作業者が認証された場合に、前記ウェアラブル端末において計時される時刻を前記サーバで管理されている現在時刻に合わせる開始処理部
を備える請求項7又は8に記載のシステム。
The wearable terminal is
Each time the power of the wearable terminal is turned on, the time is started from a fixed time preset in the wearable terminal, and when the worker is authenticated by the server, the time is measured in the wearable terminal. 7. The system according to claim 7 or 8, further comprising a start processing unit that adjusts to the current time managed by the server.
前記ウェアラブル端末は、
前記作業結果情報を記憶する作業結果記憶部
をさらに備え、
前記作業者から前記作業結果が入力された場合に、前記サーバにより前記作業者が認証され、かつ、前記サーバと通信可能であることを条件として、前記作業結果情報を前記サーバに出力する作業結果出力部
をさらに備え、
前記作業結果出力部は、前記サーバにより前記作業者が認証されていない場合又は前記サーバと通信可能でない場合には、前記作業結果情報を前記作業結果記憶部に出力し、前記作業結果情報が前記作業結果記憶部に出力された後、前記サーバにより前記作業者が認証された場合に、前記作業結果記憶部に記憶されている前記作業結果情報を前記サーバに送信する
請求項9に記載のシステム。
The wearable terminal is
A work result storage unit for storing the work result information is further provided.
When the work result is input from the worker, the work result of outputting the work result information to the server, provided that the worker is authenticated by the server and can communicate with the server. With more output
When the worker is not authenticated by the server or cannot communicate with the server, the work result output unit outputs the work result information to the work result storage unit, and the work result information is the work result information. The system according to claim 9, wherein when the worker is authenticated by the server after being output to the work result storage unit, the work result information stored in the work result storage unit is transmitted to the server. ..
作業者の頭部に装着されるウェアラブル端末を通じて、作業に関する画像を前記作業者に提供する方法であって、
前記作業に関する画像が前記ウェアラブル端末で表示されたときに前記ウェアラブル端末で計時された第1の時刻及び前記作業の作業結果を前記ウェアラブル端末が前記作業者から取得したときに前記ウェアラブル端末で計時された第2の時刻の少なくとも一方の時刻を示す情報と、前記画像が前記ウェアラブル端末で表示されてから前記ウェアラブル端末が前記作業者から前記作業結果を取得するまでの時間を示す情報と、前記作業結果とを含む作業結果情報を、前記ウェアラブル端末から受信する段階と、
前記第1の時刻及び前記第2の時刻の少なくとも一方の時刻がサーバで管理されている時刻と整合する場合に、前記第1の時刻及び前記第2の時刻の少なくとも一方の時刻、前記時間、及び前記作業結果を出力し、前記第1の時刻及び前記第2の時刻の少なくとも一方の時刻が前記サーバで管理されている時刻と整合しない場合に、前記第1の時刻及び前記第2の時刻の少なくとも一方の時刻をマスクして、前記時間及び前記作業結果を出力する段階と
を備える方法。
A method of providing an image of work to the worker through a wearable terminal worn on the worker's head.
The first time clocked by the wearable terminal when the image related to the work is displayed on the wearable terminal and the work result of the work are timed by the wearable terminal when the wearable terminal acquires the work result of the work from the worker. Information indicating at least one of the second times, information indicating the time from when the image is displayed on the wearable terminal until the wearable terminal acquires the work result from the worker, and the work. At the stage of receiving work result information including the result from the wearable terminal,
When at least one of the first time and the second time is consistent with the time managed by the server, at least one of the first time and the second time, the time, and the like. And when the work result is output and at least one of the first time and the second time does not match the time managed by the server, the first time and the second time A method comprising masking at least one time of the time and outputting the time and the work result.
作業者の頭部に装着されるウェアラブル端末を通じて、作業に関する画像を前記作業者に提供するためのプログラムであって、コンピュータを、
前記作業に関する画像が前記ウェアラブル端末で表示されたときに前記ウェアラブル端末で計時された第1の時刻及び前記作業の作業結果を前記ウェアラブル端末が前記作業者から取得したときに前記ウェアラブル端末で計時された第2の時刻の少なくとも一方の時刻を示す情報と、前記画像が前記ウェアラブル端末で表示されてから前記ウェアラブル端末が前記作業者から前記作業結果を取得するまでの時間を示す情報と、前記作業結果とを含む作業結果情報を、前記ウェアラブル端末から受信する作業結果受信部、
前記第1の時刻及び前記第2の時刻の少なくとも一方の時刻がサーバで管理されている時刻と整合する場合に、前記第1の時刻及び前記第2の時刻の少なくとも一方の時刻、前記時間、及び前記作業結果を出力し、前記第1の時刻及び前記第2の時刻の少なくとも一方の時刻が前記サーバで管理されている時刻と整合しない場合に、前記第1の時刻及び前記第2の時刻の少なくとも一方の時刻をマスクして、前記時間及び前記作業結果を出力する結果出力部
として機能させるためのプログラム。
A program for providing an image of work to the worker through a wearable terminal worn on the worker's head, the computer.
The first time timed by the wearable terminal when the image related to the work is displayed on the wearable terminal and the work result of the work are timed by the wearable terminal when the wearable terminal acquires the work result of the work from the worker. Information indicating at least one of the second times, information indicating the time from when the image is displayed on the wearable terminal until the wearable terminal acquires the work result from the worker, and the work. A work result receiving unit that receives work result information including a result from the wearable terminal.
When at least one of the first time and the second time is consistent with the time managed by the server, at least one of the first time and the second time, the time, and the like. And when the work result is output and at least one of the first time and the second time does not match the time managed by the server, the first time and the second time A program for masking at least one time of the time and functioning as a result output unit for outputting the time and the work result.
JP2018098933A 2018-05-23 2018-05-23 Servers, systems, methods, and programs Active JP7059798B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018098933A JP7059798B2 (en) 2018-05-23 2018-05-23 Servers, systems, methods, and programs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018098933A JP7059798B2 (en) 2018-05-23 2018-05-23 Servers, systems, methods, and programs

Publications (2)

Publication Number Publication Date
JP2019204282A JP2019204282A (en) 2019-11-28
JP7059798B2 true JP7059798B2 (en) 2022-04-26

Family

ID=68726994

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018098933A Active JP7059798B2 (en) 2018-05-23 2018-05-23 Servers, systems, methods, and programs

Country Status (1)

Country Link
JP (1) JP7059798B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005222406A (en) 2004-02-06 2005-08-18 Tdc Software Engineering Inc Recording management method, report creation method, report management method, report creation program and report management program
JP2009037356A (en) 2007-07-31 2009-02-19 Nec Corp Earthquake prediction information notification server, earthquake prediction information notification system, notification method for earthquake prediction information, and program
JP2016212729A (en) 2015-05-12 2016-12-15 株式会社日立システムズ Device check support system, operation progress confirmation method, and operation progress confirmation program
JP2017162102A (en) 2016-03-08 2017-09-14 株式会社東芝 Maintenance support method, maintenance support system, and maintenance support program
JP2017167991A (en) 2016-03-17 2017-09-21 Kddi株式会社 Head mount device, program, and work support system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5877961A (en) * 1996-09-24 1999-03-02 Genicom Corporation Electronic support work station and method of operation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005222406A (en) 2004-02-06 2005-08-18 Tdc Software Engineering Inc Recording management method, report creation method, report management method, report creation program and report management program
JP2009037356A (en) 2007-07-31 2009-02-19 Nec Corp Earthquake prediction information notification server, earthquake prediction information notification system, notification method for earthquake prediction information, and program
JP2016212729A (en) 2015-05-12 2016-12-15 株式会社日立システムズ Device check support system, operation progress confirmation method, and operation progress confirmation program
JP2017162102A (en) 2016-03-08 2017-09-14 株式会社東芝 Maintenance support method, maintenance support system, and maintenance support program
JP2017167991A (en) 2016-03-17 2017-09-21 Kddi株式会社 Head mount device, program, and work support system

Also Published As

Publication number Publication date
JP2019204282A (en) 2019-11-28

Similar Documents

Publication Publication Date Title
JP6594646B2 (en) Robot, robot control method, and robot system
JP7339167B2 (en) Work support system and work support method
CN107944378A (en) The personal identification method and self-help serving system of a kind of Self-Service
CN110192386B (en) Information processing apparatus, information processing method, and computer program
CN108133709A (en) Speech recognition equipment and audio recognition method
CN108093167B (en) Apparatus, method, system, and computer-readable storage medium for capturing images
WO2017033561A1 (en) Display system, display device, display method, and program
JP6780767B2 (en) Inspection support device, inspection support method and program
JP2017191490A (en) Skill transmission system and method
CN107683446A (en) Method and eye tracks equipment at least one user of automatic identification eye tracks equipment
CN109241907A (en) Mask method, device and electronic equipment
JP7124442B2 (en) System, method and program
JP7059798B2 (en) Servers, systems, methods, and programs
KR101747712B1 (en) interview auto recognizetion real-time management method by smart phone
US10823964B2 (en) Work assistance apparatus, work assistance method, and computer-readable, non-transitory recording medium recording work assistance program executed by computer
KR20170005373A (en) Method for Providing Customized Augmented Reality
CN109872273A (en) A kind of image processing method and device
CN107077696B (en) Man-machine matching device, matching system, man-machine matching method, and man-machine matching program
JP6870274B2 (en) Image print system
US20210185223A1 (en) Method and camera for photographic recording of an ear
WO2017195646A1 (en) Work assistance device
KR20150082746A (en) Hand measurement system to order customized golf gloves
CN110545386B (en) Method and apparatus for photographing image
JP6693710B2 (en) Video analysis apparatus and video analysis method
JP7098561B2 (en) Distribution system, distribution system control method, program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210414

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220328

R150 Certificate of patent or registration of utility model

Ref document number: 7059798

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150