JP7059798B2 - Servers, systems, methods, and programs - Google Patents
Servers, systems, methods, and programs Download PDFInfo
- Publication number
- JP7059798B2 JP7059798B2 JP2018098933A JP2018098933A JP7059798B2 JP 7059798 B2 JP7059798 B2 JP 7059798B2 JP 2018098933 A JP2018098933 A JP 2018098933A JP 2018098933 A JP2018098933 A JP 2018098933A JP 7059798 B2 JP7059798 B2 JP 7059798B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- work
- wearable terminal
- server
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Electric Clocks (AREA)
- Measurement Of Unknown Time Intervals (AREA)
- General Factory Administration (AREA)
Description
本発明は、サーバ、システム、方法、及びプログラムに関する。 The present invention relates to servers, systems, methods, and programs.
ヘッドマウントディスプレイを備えるウェアラブル注文端末として、注文受付時に注文内容を含む注文画面をヘッドマウントディスプレイに表示し、注文終了時に注文画面を消去するものが知られている(例えば特許文献1参照)。
特許文献1 特開2011-48439号公報
As a wearable ordering terminal provided with a head-mounted display, there is known a wearable ordering terminal that displays an order screen including an order content on a head-mounted display at the time of receiving an order and erases the order screen at the end of an order (see, for example, Patent Document 1).
作業者が作業に要した作業時間を管理することが望まれる場合がある。作業時間をウェアラブル端末で計時し、当該作業時間をサーバで収集するシステムにおいては、例えば、ウェアラブル端末で計時される時刻とサーバで計時される時刻との整合性が低い場合があり得る。このような場合、不整合な時刻データを含む管理データが生成される場合がある。 It may be desirable for workers to manage the work time required for their work. In a system in which the work time is measured by the wearable terminal and the work time is collected by the server, for example, the time measured by the wearable terminal and the time measured by the server may be inconsistent. In such cases, management data including inconsistent time data may be generated.
第1の態様において、作業者の頭部に装着されるウェアラブル端末を通じて、作業に関する画像を作業者に提供するためのサーバが提供される。サーバは、作業に関する画像がウェアラブル端末で表示されたときにウェアラブル端末で計時された第1の時刻及び作業の作業結果をウェアラブル端末が作業者から取得したときにウェアラブル端末で計時された第2の時刻の少なくとも一方の時刻を示す情報と、画像がウェアラブル端末で表示されてからウェアラブル端末が作業者から作業結果を取得するまでの時間を示す情報と、作業結果とを含む作業結果情報を、ウェアラブル端末から受信する作業結果受信部を備えてよい。サーバは、第1の時刻及び第2の時刻の少なくとも一方の時刻がサーバで管理されている時刻と整合する場合に、第1の時刻及び第2の時刻の少なくとも一方の時刻、時間、及び作業結果を出力し、第1の時刻及び第2の時刻の少なくとも一方の時刻がサーバで管理されている時刻と整合しない場合に、第1の時刻及び第2の時刻の少なくとも一方の時刻をマスクして、時間及び作業結果を出力する結果出力部を備えてよい。 In the first aspect, a server for providing an image related to a work to a worker is provided through a wearable terminal worn on the head of the worker. The server is the first time timed by the wearable terminal when the image related to the work is displayed on the wearable terminal, and the second time measured by the wearable terminal when the wearable terminal acquires the work result of the work from the worker. Work result information including information indicating at least one of the times, information indicating the time from when the image is displayed on the wearable terminal to the wearable terminal acquiring the work result from the worker, and work result is wearable. It may be provided with a work result receiving unit for receiving from a terminal. The server performs at least one time, time, and operation of the first time and the second time when at least one of the first time and the second time is consistent with the time managed by the server. The result is output, and if at least one of the first time and the second time does not match the time managed by the server, at least one of the first time and the second time is masked. It may be provided with a result output unit that outputs the time and the work result.
作業は複数の作業項目を含んでよい。作業結果情報は、複数の作業項目のそれぞれについて、それぞれの作業項目に関する画像がウェアラブル端末で表示されたときにウェアラブル端末で計時された第1の時刻及びそれぞれの作業項目の作業結果をウェアラブル端末が作業者から取得したときにウェアラブル端末で計時された第2の時刻の少なくとも一方の時刻を示す情報と、それぞれの作業項目に関する画像がウェアラブル端末で表示されてからウェアラブル端末が作業者から作業結果を取得するまでの時間を示す情報と、作業結果とを含んでよい。結果出力部は、第1の時刻及び第2の時刻の少なくとも一方の時刻がサーバで管理されている時刻と整合する作業項目について、第1の時刻及び第2の時刻の少なくとも一方の時刻、時間、及び作業結果を出力してよい。結果出力部は、第1の時刻及び第2の時刻の少なくとも一方の時刻がサーバで管理されている時刻と整合しない作業項目について、第1の時刻及び第2の時刻の少なくとも一方の時刻をマスクして、時間及び作業結果を出力してよい。 The work may include a plurality of work items. The work result information is the first time clocked by the wearable terminal when the image related to each work item is displayed on the wearable terminal for each of the plurality of work items, and the work result of each work item is displayed by the wearable terminal. Information indicating at least one of the second times clocked by the wearable terminal when acquired from the worker and an image related to each work item are displayed on the wearable terminal, and then the wearable terminal outputs the work result from the worker. It may include information indicating the time until acquisition and work results. The result output unit is responsible for at least one of the first time and the second time for a work item in which at least one of the first time and the second time is consistent with the time managed by the server. , And the work result may be output. The result output unit masks at least one of the first time and the second time for a work item in which at least one of the first time and the second time does not match the time managed by the server. Then, the time and the work result may be output.
作業結果情報は、複数の作業項目のそれぞれについて、それぞれの作業項目に関する画像がウェアラブル端末で表示されたときにウェアラブル端末で計時された第1の時刻を示す情報と、それぞれの作業項目の作業結果をウェアラブル端末が作業者から取得したときにウェアラブル端末で計時された第2の時刻を示す情報と、第1の時刻から第2の時刻までの時間を示す情報と、作業結果とを含んでよい。結果出力部は、第1の時刻及び第2の時刻がサーバで管理されている時刻と整合する作業項目について、第1の時刻、第2の時刻、時間、及び作業結果を出力してよい。第1の時刻及び第2の時刻の少なくともいずれかの時刻がサーバで管理されている時刻と整合しない作業項目について、第1の時刻及び第2の時刻をマスクして、時間及び作業結果を出力してよい。 The work result information includes information indicating the first time clocked by the wearable terminal when the image related to each work item is displayed on the wearable terminal for each of the plurality of work items, and the work result of each work item. May include information indicating the second time clocked by the wearable terminal when the wearable terminal acquires the time from the worker, information indicating the time from the first time to the second time, and the work result. .. The result output unit may output the first time, the second time, the time, and the work result for the work items whose first time and the second time are consistent with the time managed by the server. For work items in which at least one of the first time and the second time does not match the time managed by the server, the first time and the second time are masked and the time and work result are output. You can do it.
複数の作業項目は作業対象毎に設定されてよい。サーバは、作業対象毎に、作業対象に設定された複数の作業項目にわたる時間の合計値を算出する合計時間算出部を備えてよい。結果出力部は、作業対象に対応づけて、合計時間算出部が算出した合計値をさらに出力してよい。 A plurality of work items may be set for each work target. The server may include a total time calculation unit that calculates the total value of the time over a plurality of work items set for the work target for each work target. The result output unit may further output the total value calculated by the total time calculation unit in association with the work target.
サーバは、現在時刻を管理する時刻管理部を備えてよい。サーバは、ウェアラブル端末から受信した作業者の認証情報に基づいて作業者を認証するとともに、ウェアラブル端末において計時される時刻を現在時刻に合わせる時刻合わせをウェアラブル端末に実行させる時刻制御部を備えてよい。 The server may include a time management unit that manages the current time. The server may include a time control unit that authenticates the worker based on the worker's authentication information received from the wearable terminal and causes the wearable terminal to set the time measured in the wearable terminal to the current time. ..
第1の時刻及び第2の時刻の少なくとも一方の時刻と現在時刻との差が予め定められた値より大きい場合に、第1の時刻及び第2の時刻の少なくとも一方の時刻がサーバで管理されている時刻と整合していないと判断する判断部を備えてよい。 When the difference between at least one of the first time and the second time and the current time is larger than a predetermined value, at least one of the first time and the second time is managed by the server. It may be provided with a judgment unit that determines that the time does not match the time.
第2の態様において、システムは、上記のサーバを備えてよい。システムは、上記のウェアラブル端末を備えてよい。 In the second aspect, the system may include the above server. The system may include the wearable terminal described above.
ウェアラブル端末は、作業者の音声を取得する音声取得部を備えてよい。ウェアラブル端末は、音声によって作業結果が入力された場合に、第1の時刻から第2の時刻までの時間を取得し、作業結果情報をサーバに送信し、作業結果が入力された作業の次の作業に関する画像を表示してよい。 The wearable terminal may include a voice acquisition unit that acquires the voice of the worker. When the work result is input by voice, the wearable terminal acquires the time from the first time to the second time, sends the work result information to the server, and next to the work in which the work result is input. An image of the work may be displayed.
ウェアラブル端末は、ウェアラブル端末の電源が投入される毎に、ウェアラブル端末に予め設定されている固定時刻から計時を開始し、サーバにより作業者が認証された場合に、ウェアラブル端末において計時される時刻をサーバで管理されている現在時刻に合わせる開始処理部を備えてよい。 The wearable terminal starts timing from a fixed time preset in the wearable terminal each time the power of the wearable terminal is turned on, and when the worker is authenticated by the server, the time measured in the wearable terminal is set. It may be provided with a start processing unit that adjusts to the current time managed by the server.
ウェアラブル端末は、作業結果情報を記憶する作業結果記憶部を備えてよい。ウェアラブル端末は、作業者から作業結果が入力された場合に、サーバにより作業者が認証され、かつ、サーバと通信可能であることを条件として、作業結果情報をサーバに出力する作業結果出力部を備えてよい。作業結果出力部は、サーバにより作業者が認証されていない場合又はサーバと通信可能でない場合には、作業結果情報を作業結果記憶部に出力し、作業結果情報が作業結果記憶部に出力された後、サーバにより作業者が認証された場合に、作業結果記憶部に記憶されている作業結果情報をサーバに送信してよい。 The wearable terminal may include a work result storage unit for storing work result information. The wearable terminal has a work result output unit that outputs work result information to the server, provided that the worker is authenticated by the server and can communicate with the server when the work result is input by the worker. You may be prepared. The work result output unit outputs the work result information to the work result storage unit when the worker is not authenticated by the server or cannot communicate with the server, and the work result information is output to the work result storage unit. Later, when the worker is authenticated by the server, the work result information stored in the work result storage unit may be transmitted to the server.
第3の態様において、作業者の頭部に装着されるウェアラブル端末を通じて、作業に関する画像を作業者に提供する方法が提供される。方法は、作業に関する画像がウェアラブル端末で表示されたときにウェアラブル端末で計時された第1の時刻及び作業の作業結果をウェアラブル端末が作業者から取得したときにウェアラブル端末で計時された第2の時刻の少なくとも一方の時刻を示す情報と、画像がウェアラブル端末で表示されてからウェアラブル端末が作業者から作業結果を取得するまでの時間を示す情報と、作業結果とを含む作業結果情報を、ウェアラブル端末から受信する段階を備えてよい。方法は、第1の時刻及び第2の時刻の少なくとも一方の時刻がサーバで管理されている時刻と整合する場合に、第1の時刻及び第2の時刻の少なくとも一方の時刻、時間、及び作業結果を出力し、第1の時刻及び第2の時刻の少なくとも一方の時刻がサーバで管理されている時刻と整合しない場合に、第1の時刻及び第2の時刻の少なくとも一方の時刻をマスクして、時間及び作業結果を出力する段階を備えてよい。 In a third aspect, a method of providing an image related to a work to a worker is provided through a wearable terminal worn on the head of the worker. The method is the first time timed by the wearable terminal when the image related to the work is displayed on the wearable terminal and the second time measured by the wearable terminal when the wearable terminal acquires the work result of the work from the worker. Work result information including information indicating at least one of the times, information indicating the time from when the image is displayed on the wearable terminal to the wearable terminal acquiring the work result from the worker, and work result is wearable. It may have a stage of receiving from the terminal. The method is that if at least one of the first time and the second time is consistent with the time managed by the server, then at least one of the first time and the second time, the time, and the work. The result is output, and if at least one of the first time and the second time does not match the time managed by the server, at least one of the first time and the second time is masked. The time and the work result may be output.
第4の態様において、作業者の頭部に装着されるウェアラブル端末を通じて、作業に関する画像を作業者に提供するためのプログラムが提供される。プログラムは、コンピュータを、作業に関する画像がウェアラブル端末で表示されたときにウェアラブル端末で計時された第1の時刻及び作業の作業結果をウェアラブル端末が作業者から取得したときにウェアラブル端末で計時された第2の時刻の少なくとも一方の時刻を示す情報と、画像がウェアラブル端末で表示されてからウェアラブル端末が作業者から作業結果を取得するまでの時間を示す情報と、作業結果とを含む作業結果情報を、ウェアラブル端末から受信する作業結果受信部として機能させてよい。プログラムは、コンピュータを、第1の時刻及び第2の時刻の少なくとも一方の時刻がサーバで管理されている時刻と整合する場合に、第1の時刻及び第2の時刻の少なくとも一方の時刻、時間、及び作業結果を出力し、第1の時刻及び第2の時刻の少なくとも一方の時刻がサーバで管理されている時刻と整合しない場合に、第1の時刻及び第2の時刻の少なくとも一方の時刻をマスクして、時間及び作業結果を出力する結果出力部として機能させてよい。 In the fourth aspect, a program for providing an image related to the work to the worker is provided through a wearable terminal worn on the head of the worker. The program clocked the computer on the wearable terminal when the wearable terminal acquired the first time timed on the wearable terminal when the image about the work was displayed on the wearable terminal and the work result of the work from the worker. Work result information including information indicating at least one of the second times, information indicating the time from when the image is displayed on the wearable terminal until the wearable terminal acquires the work result from the worker, and work result. May function as a work result receiving unit that receives from a wearable terminal. The program causes the computer to match at least one of the first time and the second time with the time managed by the server, at least one of the first time and the second time. , And when the work result is output and at least one of the first time and the second time does not match the time managed by the server, at least one of the first time and the second time. May be masked to function as a result output unit that outputs the time and work results.
なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 The outline of the above invention does not list all the features of the present invention. A subcombination of these feature groups can also be an invention.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention within the scope of the claims. Also, not all combinations of features described in the embodiments are essential to the means of solving the invention.
図1は、一実施形態における作業支援システム100の概略的な構成を示す。作業支援システム100は、サーバ80と、音声認識サーバ82と、ウェアラブル端末10a及びウェアラブル端末10bとを備える。ウェアラブル端末10aは、作業者40aの頭部42aに装着される。ウェアラブル端末10bは、作業者40bの頭部42bに装着される。
FIG. 1 shows a schematic configuration of a
ウェアラブル端末10a及びウェアラブル端末10bは、同一の構成を有している。ウェアラブル端末10a及びウェアラブル端末10bを総称する場合に、「ウェアラブル端末10」という場合がある。ウェアラブル端末10の機能を説明する場合に、ウェアラブル端末10aのみを取り上げて説明する場合がある。また、作業者40a及び作業者40bを総称する場合に、「作業者40」という場合がある。
The
作業支援システム100は、ウェアラブル端末10を通じて作業者40に画像を提供するためのシステムの一例である。本実施形態では、作業の一例として、点検作業を取り上げて、作業支援システム100の機能を具体的に説明する。具体的には、作業者40が設備の点検を行う作業者であるとする。
The
作業支援システム100は、作業者40が行う点検を支援するための画像を提供する。具体的には、作業支援システム100は、ウェアラブル端末10を通じて、複数の点検項目を含む点検に関する画像を作業者40に提供する。ウェアラブル端末10は、例えば、点検作業現場において使用されてよい。作業としては、設備や物品の点検作業の他に、物品の組み立て作業、介護、教育、事務作業等、様々な作業を含み得る。
The
サーバ80及びウェアラブル端末10は、ネットワーク90を通じて通信可能に接続されている。ネットワーク90は、インターネット、LAN、WAN、公衆回線網、専用回線網等、様々な形態のネットワークを含み得る。
The
ウェアラブル端末10aは、本体部11aと、表示部12aを有する。ウェアラブル端末10aは、本体部11aが作業者40aの耳部に装着されることにより、作業者40aの頭部42aに装着され得る。ウェアラブル端末10aは、本体部11aが作業者40aの眼鏡に装着されることにより、作業者40aの頭部42aに装着され得る。ウェアラブル端末10aは、眼鏡型の端末であってよい。ウェアラブル端末10aは、いわゆるアイウエアであってよい。
The
ウェアラブル端末10は、1つの点検作業に含まれる1以上の点検項目の内容を、サーバ80から取得して記憶する。点検項目としては、例えば、「キズ・欠けはないか」等、良否の点検結果を入力するための項目を含み得る。その他、点検項目としては、「長さを確認」等、数値の点検結果を入力するための項目や、「型番を入力」等、文字の点検結果を入力するための項目を含み得る。
The
ウェアラブル端末10は、1以上の点検項目の内容を表示部12に順次に表示する。作業者40は、表示部12に表示された点検項目に従って、順次に点検を行う。作業者40は、点検結果を音声で入力する。また、作業者40は、ウェアラブル端末10に対する指示を音声で入力する。
The wearable terminal 10 sequentially displays the contents of one or more inspection items on the
例えば、作業者40は、「写真」という音声を発することで、ウェアラブル端末10に写真撮影を行わせることができる。また、作業者40は、「実績」という音声を発することで、過去の点検で行われた点検結果や写真を表示部12に表示させることができる。また、作業者40は、「OK」「NG」という音声を発することで、良否の点検結果をウェアラブル端末10に入力することができる。作業者40は、数値や単位を発することで、測定値などの点検結果をウェアラブル端末10に入力することができる。
For example, the worker 40 can make the
ウェアラブル端末10は、作業者40が発した音声により生成された音声データを、ネットワーク90を通じてサーバ80に送信して、指示や点検結果を示す文字列をサーバ80から取得する。サーバ80は、ウェアラブル端末10から受信した音声データを音声認識サーバ82に送信して、音声認識サーバ82による音声認識により得られた文字列を受信する。サーバ80は、音声認識サーバ82から受信した文字列に対応づけられた指示を、ウェアラブル端末10に送信する。
The
例えば、サーバ80は、「実績」の指示に対応づけて、「じっせき」の他に、「じいせき」や「じせき」等の文字列を記憶している。これにより、音声認識により得られた文字列が「じいせき」又は「じせき」である場合であっても、「実績」の指示をウェアラブル端末10に送信する。これにより、ユーザ毎の発音の違いや周囲の外乱等により、同じ指示の音声認識結果が異なってしまっても、正しい指示を取得できる可能性を高めることができる。
For example, the
また、ウェアラブル端末10は、作業者40が点検を開始した点検開始時刻、作業者40が点検を終了した時刻である点検終了時刻、作業者40が点検に要した時間である点検時間を計時する。ウェアラブル端末10は、ウェアラブル端末10自身の内部時計により、点検開始時刻、点検終了時刻、及び点検時間を計時する。ウェアラブル端末10は、作業者40から入力された点検結果をサーバ80に送信する場合、点検開始時刻、点検終了時刻、及び点検時間もサーバ80に送信する。
Further, the wearable terminal 10 measures the inspection start time when the worker 40 starts the inspection, the inspection end time which is the time when the worker 40 finishes the inspection, and the inspection time which is the time required for the worker 40 to perform the inspection. .. The wearable terminal 10 measures the inspection start time, the inspection end time, and the inspection time by the internal clock of the
サーバ80は、点検結果、点検開始時刻、点検終了時刻、及び点検時間を含む点検結果データを外部に提供する場合、ウェアラブル端末10の内部時計がサーバ80に対して時刻合わせされていない状態で点検結果が入力された作業については、点検開始時刻及び点検終了時刻のデータを「----」等の文字列でマスクする。これにより、ウェアラブル端末10の内部時計が時刻合わせしていない状態で取得された時刻情報を、適切な形態で出力することができる。例えば、ウェアラブル端末10は、電源OFF時に内部時計の動作を維持する電池を有しない。この場合、電源を一旦OFFした後に電源ONすると、ウェアラブル端末10の工場出荷時や直前の電源OFF時の固定日時に内部時計がリセットされる。そのため、点検開始時刻及び点検終了時刻については正確な値に得ることはできない。しかし、点検時間については比較的に正確な値を得ることができる。ウェアラブル端末10によれば、ウェアラブル端末10の内部時計がサーバ80に対して時刻合わせされていない状態で点検結果が入力された作業については、点検開始時刻及び点検終了時刻をマスクするので、正確でない値が管理データとして提供されることを抑制することができる。
When the
図2は、ウェアラブル端末10の機能ブロック構成を概略的に示す。ウェアラブル端末10は、表示部12と、撮像部202と、マイク205と、操作部材207と、制御部200と、記憶部210と、通信部290とを備える。
FIG. 2 schematically shows a functional block configuration of the
制御部200は、マイクロプロセッサ等の演算装置であってよい。記憶部210は、フラッシュメモリ等の不揮発性の記憶装置やRAM等の揮発性の記憶装置であってよい。記憶部210は、ウェアラブル端末10の動作の各段階を実行させるためのプログラムを格納する。ウェアラブル端末10の機能は主として、制御部200が当該プログラムを実行することにより実現される。プログラムは、記録媒体に記録されて記憶部210に提供される。通信部290は、ウェアラブル端末10におけるネットワーク90を通じた通信機能を担う。
The
表示部12は、ウェアラブル端末10が作業者40の頭部42に装着された場合に、作業者40の視方向に表示面が対向するように設けられる。撮像部202は、ウェアラブル端末10が作業者40の頭部42に装着された場合に、撮像部202の撮像光軸が作業者40の視方向に沿うように設けられる。
The
マイク205は、作業者40の音声を取得する。マイク205は、ウェアラブル端末10が作業者40の頭部42に装着された場合に、作業者40の口元近くに移動可能なように、柔軟性を持つ支持部材を介してウェアラブル端末10に取り付けられる。操作部材207は、ボタン等の物理的な部材である。操作部材207は、作業者40からの指示を取得することができる。本実施形態では主として、作業者40が音声により指示する場合を取り上げて説明する。しかし、少なくとも一部の指示を、操作部材207を用いて行うことができる。
The
制御部200は、計時部204、開始処理部208、表示制御部220、無効化部230、利用頻度取得部232、取消頻度取得部234、作業結果情報生成部240、作業結果出力部248、指示取得部250、音声取得部260、認識結果取得部270、音声認識部272、及び指示特定部280を備える。
The
音声取得部260は、作業者40の音声を取得する。具体的には、音声取得部260は、マイク205により取得された音声を取得して、音声データを生成する。音声認識部272は、マイク205により取得された音声を認識して文字列を生成する。具体的には、音声認識部272は、音声取得部260が生成した音声データを解析して文字列を生成する。
The
認識結果取得部270は、作業者40の音声の音声認識によって得られた文字列を取得する。例えば、認識結果取得部270は、音声認識部272に音声データが出力され、音声認識部272による音声認識によって得られた文字列を取得する。通信部290が音声認識サーバ82と通信可能である場合、音声取得部260により生成された音声データが、通信部290及びネットワーク90を通じて外部の音声認識サーバ82に送信される。認識結果取得部270は、音声認識サーバ82による音声認識によって得られた文字列を取得する。
The recognition result
記憶部210は、ウェアラブル端末10に対する指示と複数の文字列とを対応づける対応情報を記憶している。例えば、対応情報は、「じっせき」、「じいせき」、「じせき」等の文字列を、「実績」という指示に対応づける。指示特定部280は、対応情報によって認識結果取得部270が取得した文字列に対応づけられている指示を、ウェアラブル端末10に対する指示として特定する。
The
指示取得部250は、サーバ80と通信可能である場合に、マイク205により取得された音声をサーバ80に送信して、サーバ80において特定された指示をサーバ80から受信する。指示取得部250は、サーバ80と通信可能でない場合に、記憶部210が記憶している対応情報によって音声認識部272が生成した文字列又は音声認識サーバ82から取得した文字列に対応づけられている指示を、ウェアラブル端末10に対する指示として取得する。
When the
ウェアラブル端末10は、複数の点検項目のそれぞれに関連づけられた画像を作業者40に提供する。例えば、表示制御部220は、点検項目で行う点検内容を示す画像を、表示部12に表示させる。具体的には、表示制御部220は、「型番を入力」、「キズ・欠けがないか」等の、点検内容を説明する文字を含む画面を表示部12に表示させる。「型番を入力」、「キズ・欠けがないか」等は、点検項目の一例である。
The
記憶部210は、複数の点検項目のそれぞれの点検項目に対応づけて、それぞれの点検項目に関連づけられた画像が作業者40に提供されているときに入力されるべき指示を複数の文字列に対応づける対応情報を記憶する。指示特定部280は、ウェアラブル端末10を通じて作業者40に提供されている画像が関連づけられた点検項目に対応づけて記憶部210が記憶している対応情報によって認識結果取得部270が取得した文字列と対応づけられている指示を、ウェアラブル端末10に対する指示として特定する。これにより、指示特定部280は、現在の点検項目において有効な指示のみを特定すればよいので、指示が誤特定される確率を低減することができる。
The
表示制御部220は、指示の一覧を提示する指示に応じて、ウェアラブル端末10を通じて作業者40に提供されている画像が関連づけられた点検項目に対応づけて対応情報によって対応づけられている複数の指示の一覧を、作業者40に提示する。これにより、作業者40に、現在の作業項目において有効な指示の一覧を提示することができる。
In response to the instruction for presenting the list of instructions, the
利用頻度取得部232は、複数の点検項目のそれぞれについて、それぞれの点検項目に関連づけられた画像が作業者40に提供されている場合において複数の指示が使用された頻度を取得する。表示制御部220は、複数の指示の一覧を使用頻度に応じた順序で作業者40に表示する。これにより、作業者40は、頻繁に使用される指示を早く発見することができる。
The usage
取消頻度取得部234は、対応情報によって指示に対応づけられている複数の文字列のそれぞれについて、指示特定部280が特定した指示が作業者40によって取り消された頻度を取得する。無効化部230は、対応情報において、取り消された頻度が予め定められた値以上の文字列と指示との対応づけを無効にする。例えば、取消頻度取得部234は、作業者40からの「ちせき」と認識された音声指示に応じて「実績」の処理を実行した後に、すぐに「もどる」という音声指示を取得した場合に、指示が取消されたと判断して、「ちせき」に対応する取消回数をカウントアップする。
The cancellation
以上に説明したように、ウェアラブル端末10によれば、作業者が発する言葉のアクセントの違いや周囲の騒音等によって、正規の文字列の認識結果が得られなかった場合でも、認識結果を比較的に高い確率で正規の指示に変換することができる。
As described above, according to the
次に、点検結果が入力された場合の動作について説明する。表示制御部220がある作業項目の画像を表示部12に最初に表示させた場合、記憶部210は計時部204で計時される現在時刻を、点検開始時刻として記憶部210に記憶する。点検開始時刻は、作業に関する画像が前記ウェアラブル端末10で表示されたときにウェアラブル端末10で計時された第1の時刻の一例である。ここで、指示取得部250により、点検結果の入力する指示を取得した場合、記憶部210は、計時部204で計時される現在時刻を、点検終了時刻として記憶部210に記憶する。点検終了時刻は、点検結果をウェアラブル端末10が作業者40から取得したときにウェアラブル端末10で計時された第2の時刻の一例である。作業結果情報生成部240は、点検開始時刻と、点検終了時刻と、点検開始時刻から点検終了時刻までの時間である点検時間と、入力された点検結果を含む点検結果情報を生成して記憶部210に記憶する。記憶部210は、点検結果情報を記憶する作業結果記憶部として機能する。通信部290は、計時部204が生成した点検結果情報を、サーバ80に送信する。
Next, the operation when the inspection result is input will be described. When the
点検結果情報は、複数の作業項目のそれぞれについて生成される。すなわち、点検結果情報は、複数の作業項目のそれぞれについて、それぞれの作業項目に関する画像がウェアラブル端末10で表示されたときにウェアラブル端末10で計時された点検開始時刻と、それぞれの点検項目の点検結果をウェアラブル端末10が作業者40から取得したときにウェアラブル端末10で計時された点検終了時刻と、点検開始時刻から点検終了時刻までの時間である点検時間と、点検結果とを含む。点検時間は、作業項目に関する画像がウェアラブル端末10で表示されてからウェアラブル端末10が作業者40から点検結果を取得するまでの点検時間を示す。
Inspection result information is generated for each of a plurality of work items. That is, the inspection result information includes the inspection start time timed by the
複数の作業項目の作業を行う場合、一つの作業項目の点検結果が入力されると、表示制御部220は、次の作業項目に関する画像を表示する。これにより、ウェアラブル端末10は、作業者40の音声によって点検結果が入力された場合に、点検開始時刻から点検終了時刻までの時間を取得し、点検結果情報をサーバ80に送信し、点検結果が入力された作業の次の作業に関する画像を表示する。これにより、次の作業項目の点検時間の計時が開始される。これにより、作業者40は複数の作業項目の作業を効率的に行いながら、点検時間を管理する情報をサーバ80に蓄積することができる。
When performing work on a plurality of work items, when the inspection result of one work item is input, the
なお、開始処理部208は、ウェアラブル端末10の電源が投入される毎に、ウェアラブル端末10に予め設定されている固定時刻から計時を開始する。また、開始処理部208は、作業者40から入力される認証情報をサーバ80に送信し、サーバ80により作業者40が認証された場合に、ウェアラブル端末10において計時される時刻をサーバ80で管理されている現在時刻に合わせる。固定時刻とは、例えば、1970年1月1日0時0分0秒等の基準日時であってよい。固定時刻とは、ウェアラブル端末10の工場出荷時に設定された時刻であってよい。固定時刻とは、ウェアラブル端末10が最後に電源OFFされたときの時刻であってよい。
The
なお、作業結果出力部248は、作業者40から点検結果が入力された場合に、サーバ80により作業者40が認証され、かつ、サーバ80と通信可能であることを条件として、点検結果情報をサーバ80に出力する。一方、作業結果出力部248は、サーバ80により作業者40が認証されていない場合又はサーバ80と通信可能でない場合には、点検結果情報を記憶部210に出力し、点検結果情報が記憶部210に出力された後、サーバ80により作業者40が認証された場合に、記憶部210に記憶されている点検結果情報をサーバ80に送信する。
When the inspection result is input from the worker 40, the work
図3は、サーバ80の機能ブロック構成を概略的に示す。サーバ80は、制御部300と、記憶部310と、通信部390とを備える。
FIG. 3 schematically shows a functional block configuration of the
制御部300は、マイクロプロセッサ等の演算装置であってよい。通信部390は、サーバ80におけるネットワーク90を通じた通信機能を担う。記憶部310は、フラッシュメモリやハードディス装置等の不揮発性の記憶装置を含む。記憶部310は、RAM等の揮発性の記憶装置を含む。サーバ80用のプログラムは、記録媒体に記録されて記憶部210に提供される。
The
制御部300は、時刻管理部304、認証制御部320、無効化部330、利用頻度取得部332、取消頻度取得部334、結果出力部340、判断部342、合計時間算出部344、音声取得部360、認識結果取得部370、指示特定部380、集計部392、選択部394を備える。
The
上述したように、ウェアラブル端末10において、作業刻開始時刻、点検終了時刻及び点検時間と、点検結果とを含む点検結果情報が、ウェアラブル端末10から送信される。通信部390は、ウェアラブル端末10から送信された点検結果情報を受信する。通信部390は、点検結果情報を受信する作業結果受信部として機能する。通信部390が受信した点検結果情報は、記憶部310に記憶される。
As described above, in the
結果出力部340は、点検結果データの送信を要求された場合、点検開始時刻及び点検終了時刻がサーバ80で管理されている時刻と整合する場合に、点検開始時刻及び点検終了時刻、点検時間、及び点検結果を含む点検結果データを生成する。一方、結果出力部340は、点検開始時刻又は点検終了時刻がサーバ80で管理されている時刻と整合しない場合に、点検開始時刻及び点検終了時刻をマスクした点検結果データを生成する。例えば、点検開始時刻及び点検終了時刻を「----」にした点検結果データを生成する。通信部390は、結果出力部340が生成した点検結果データを、点検結果データの要求先に送信する。
When the
時刻管理部304は、現在時刻を管理する。時刻管理部304は、サーバ80から受信した基準時刻に基づいてシステム時計を合わせる。認証制御部320は、ウェアラブル端末10から受信した作業者40の認証情報に基づいて作業者40を認証するとともに、ウェアラブル端末10において計時される時刻を現在時刻に合わせる時刻合わせをウェアラブル端末10に実行させる。
The
判断部342は、点検開始時刻又は点検終了時刻と時刻管理部が管理している現在時刻との差が予め定められた値より大きい場合に、点検開始時刻又は点検終了時刻がサーバ80で管理されている時刻と整合していないと判断する。例えば、判断部342は、点検開始時刻又は点検終了時刻と、サーバ80で管理されている時刻との差が予め定められた値を超える場合に、点検開始時刻又は点検終了時刻がサーバ80で管理されている時刻と整合していないと判断する。例えば、ウェアラブル端末10の電源ON後、ウェアラブル端末10の時刻がサーバ80と時刻合わせされない場合、ウェアラブル端末10は、1970年1月1日0時0分0秒を基準時刻とし、基準時刻からの経過時間の初期値を0にリセットして、時刻を計時する。この場合、点検開始時刻又は点検終了時刻と時刻管理部304が管理している現在時刻との差が大きくなるため、現在時刻と整合していないと判断される。
When the difference between the inspection start time or inspection end time and the current time managed by the time management unit is larger than a predetermined value, the
合計時間算出部344は、作業対象毎に、作業対象に設定された複数の作業項目にわたる時間の合計値を算出する。通信部390は、作業対象に対応づけて、点検開始時刻、点検終了時刻、点検時間及び点検結果に加えて、合計時間算出部が算出した合計値を含む点検結果データを、点検結果データの要求元に送信する。
The total
次に、サーバ80における音声認識に関する処理について説明する。音声取得部360は、通信部390が受信した、ウェアラブル端末10から送信された音声データを取得する。認識結果取得部370及び指示特定部380は、それぞれウェアラブル端末10における認識結果取得部270及び指示特定部380に対応する機能ブロックである。
Next, processing related to voice recognition in the
具体的には、認識結果取得部370は、作業者40の音声の音声認識によって得られた文字列を取得する。例えば、音声取得部360が取得した音声データが通信部290及びネットワーク90を通じて外部の音声認識サーバ82に送信され、音声認識サーバ82が音声認識することにより得られた文字列を取得する。
Specifically, the recognition
記憶部310は、ウェアラブル端末10に対する指示と複数の文字列とを対応づける対応情報を記憶している。例えば、対応情報は、「じっせき」、「じいせき」、「じせき」等の文字列を、「実績」という指示に対応づける。記憶部310は、対応情報を記憶する対応情報記憶部として機能する。指示特定部380は、対応情報によって認識結果取得部270が取得した文字列に対応づけられている指示を、ウェアラブル端末10に対する指示として特定する。指示特定部380が特定した指示を示す情報は、通信部390及びネットワーク90を通じて、ウェアラブル端末10に送信される。
The
利用頻度取得部332、取消頻度取得部334、及び無効化部330は、それぞれウェアラブル端末10における利用頻度取得部232、取消頻度取得部234、及び無効化部230に対応する機能ブロックである。すなわち、利用頻度取得部332は、複数の点検項目のそれぞれについて、それぞれの点検項目に関連づけられた画像が作業者40に提供されている場合において複数の指示が使用された頻度を取得する。
The usage
取消頻度取得部334は、対応情報によって指示に対応づけられている複数の文字列のそれぞれについて、指示特定部380が特定した指示が作業者40によって取り消された頻度を取得する。無効化部330は、対応情報において、取り消された頻度が予め定められた値以上の文字列と指示との対応づけを無効にする。例えば、取消頻度取得部334は、作業者40からの「ちせき」と認識された音声指示に応じて「実績」の処理を実行した後に、すぐに「もどる」という音声指示を取得した場合に、指示が取消されたと判断して、「ちせき」に対応する取消回数をカウントアップする。
The cancellation
ここで、サーバ80の記憶部310及びウェアラブル端末10の記憶部210に記憶される対応情報の生成方法について説明する。集計部392は、複数の人による指示の音声の音声認識により得られた複数の文字列を取得し、当該複数の文字列のそれぞれの文字列として音声が認識された人数を文字列毎に集計する。選択部394は、集計部392によって集計された人数に基づいて、複数の文字列の中から、対応情報において指示に対応づけられるべき文字列を選択する。これにより、様々な人の発声に対応することができる。対応情報により指示に対応づける文字列の選択方法の具体例については、図12等に関連して説明する。
Here, a method of generating correspondence information stored in the
以上に説明したウェアラブル端末10及びサーバ80によれば、音声認識結果としての複数の文字列と指示とを対応づける対応情報を用いて指示を特定するので、ユーザ毎の発音の違いや周囲の外乱等の影響を低減することができる。また、サーバ80が点検結果データを提供する場合、ウェアラブル端末10とサーバ80とが時刻合わせされていない状態で点検結果が入力された作業については、点検開始時刻及び点検終了時刻のデータを「----」等の文字列でマスクするので、正確でない値が管理データとして提供されることを抑制することができる。
According to the
図4は、ウェアラブル端末10による点検支援処理の全体を示すフローチャートである。本フローチャートの処理は、主として、制御部200がウェアラブル端末10の各部を制御することにより実現される。
FIG. 4 is a flowchart showing the entire inspection support process by the
S402において、ウェアラブル端末10が電源ONされると、開始処理部208は、計時部204に固定時刻から計時を開始させる。
In S402, when the
S404において、表示制御部220は、ログイン画面を表示部12に表示させる。ログイン画面が表示されている状態でユーザID等の認証情報が入力されると、S406において、開始処理部208は、認証情報を用いて認証する。S406の処理の詳細については、図6に関連して説明する。
In S404, the
ログインが完了すると、S410において、点検対象の場所、設備、及び部位を取得する。場所、設備、及び部位の指示は、作業者40の音声により入力される。続いて、S412において、ウェアラブル端末10は、点検項目リストを設定する。例えば、ウェアラブル端末10は、サーバ80と通信可能な場合、S410で取得した場所、設備、及び部位を示す情報をサーバ80に送信して、サーバ80から1以上の点検項目を含む点検項目リストを取得する。サーバ80と通信可能でない場合、S410で取得した場所、設備、及び部位を示す情報に対応づけて記憶部210が記憶している点検項目リストを、記憶部210から読み出す。
When login is completed, the location, equipment, and part to be inspected are acquired in S410. The location, equipment, and site instructions are input by the voice of the worker 40. Subsequently, in S412, the
S414において、作業者40の点検を支援するための処理を行う。S414の具体的な処理については後述する。 In S414, a process for supporting the inspection of the worker 40 is performed. The specific processing of S414 will be described later.
図5は、ログイン画面500の一例を示す。ログイン画面500は、音声で入力する内容を示すオブジェクト510と、音声入力が可能であるか否かを示すオブジェクト580を含む。表示制御部220は、音声入力が可能である場合に、オブジェクト580の外枠の色を予め定められた第1の色で表示させる。表示制御部220は、例えば、音声認識中である場合等、新たな音声入力が可能でない場合に、オブジェクト580の外枠の色を予め定められた第2の色で表示させる。表示制御部220は、音声入力が可能である場合において、音声が入力されると、認識された文字を枠内に表示させる。
FIG. 5 shows an example of the
図6は、ウェアラブル端末10によるログイン処理を示すフローチャートである。本フローチャートの処理は、主として、制御部200がウェアラブル端末10の各部を制御することにより実現される。本フローチャートの処理は、図4のS406の処理に適用することができる。
FIG. 6 is a flowchart showing a login process by the
S602において、制御部200は認証情報を取得する。例えば、作業者40は、図5に示すログイン画面が表示されている状態で取得されたユーザの音声を認識することにより、認証情報を取得する。なお、制御部200は、撮像部202で撮像された画像から認証情報を取得してよい。例えば、ウェアラブル端末10を利用可能な作業者40には、認証情報をコード化したQRコード(登録商標)が印刷されたログイン証が配布される。作業者40がログイン証を撮像部202で撮像すると、制御部200は、ログイン証の画像から抽出したコード化情報を復号して、認証情報を取得してよい。
In S602, the
S604において、開始処理部208は、通信部290を通じて認証情報をサーバ80に送信する。開始処理部208は、S606において、サーバ80により認証されたか否かを判断する。サーバ80により認証された場合、S608において、開始処理部208は、計時部204が計時する時刻をサーバ80の現在時刻に合わせて、図4のS410に進む。なお、サーバ80により認証された状態のことを、「オンライン状態」と呼ぶ場合がある。
In S604, the
S606において、サーバ80により認証されなかった場合、S610に進む。サーバ80により認証されなかった場合とは、サーバ80から作業者40を認証できない旨が通知された場合や、ウェアラブル端末10がサーバ80と通信可能でない場合を含む。S610において、開始処理部208は、記憶部210に記憶されている参照情報と認証情報とを照合する。記憶部210の参照情報と認証情報とを照合することにより作業者40を認証した場合、図4のS410に進む。なお、サーバ80により認証されず、記憶部210の参照情報と認証情報との照合により認証された状態のことを、「オフライン状態」と呼ぶ場合がある。参照情報と認証情報とを照合することにより作業者40を認証できなかった場合、図4のS404に進む。
If the
図7は、ウェアラブル端末10による点検支援処理を示すフローチャートである。本フローチャートの処理は、主として、制御部200がウェアラブル端末10の各部を制御することにより実現される。本フローチャートの処理は、図4のS414の処理に適用することができる。
FIG. 7 is a flowchart showing an inspection support process by the
S702において、表示制御部220は点検開始画面を表示部12に表示させ、制御部200は「点検開始」の指示を取得するまで待機する(S704)。
In S702, the
「点検開始」が指示されると、S706において、作業結果情報生成部240は、点検報告用の開始時刻を記憶部210に記憶する。S708において、表示制御部220は、最初の点検項目の画面を表示させる。点検項目の画面については後述する。
When "inspection start" is instructed, in S706, the work result
S720において、指示取得部250は作業者40の指示を取得する。上述したように、作業者40の音声による指示は、サーバ80又は指示特定部280により特定される。S720の処理については、図10に関連して説明する。
In S720, the
本フローチャートでは、S720で取得した指示として、点検結果の入力指示と、コマンド一覧を表示するための「コマンド」指示と、コマンド一覧を非表示にするための「閉じる」指示と、他の指示又は対応する指示がなかった場合を取り上げて説明する。 In this flowchart, as the instructions acquired in S720, an input instruction of the inspection result, a "command" instruction for displaying the command list, a "close" instruction for hiding the command list, and other instructions or other instructions or The case where there is no corresponding instruction will be explained.
S720で取得した指示が点検結果の入力指示であった場合、S722において現在時刻を取得し、S724において、作業結果情報生成部240が生成した点検結果情報を、記憶部210又はサーバ80に出力する。
When the instruction acquired in S720 is an input instruction of the inspection result, the current time is acquired in S722, and the inspection result information generated by the work result
続いて、S726において、点検項目リストに次の点検項目が存在するか否かを判断する。次の点検項目が存在する場合、S708に処理を移行する。次の点検項目が存在しない場合、S728において点検報告用の終了時刻を記憶して、本フローチャートの処理を終了する。 Subsequently, in S726, it is determined whether or not the next inspection item exists in the inspection item list. If the following inspection items exist, the process shifts to S708. If the next inspection item does not exist, the end time for the inspection report is stored in S728, and the processing of this flowchart ends.
S720で取得した指示が「コマンド」の場合、S730において、音声コマンド一覧を表示して、S720に処理を移行する。音声コマンド一覧については、図9に関連して説明する。S720で取得した指示が「閉じる」の場合、S732において、音声コマンド一覧の表示を閉じて、S720に処理を移行する。S720で取得した指示が点検結果の入力指示、「コマンド」及び「閉じる」のいずれでない場合や、作業者40の音声の認識結果に対応する指示がなかった場合、S734において、他の指示に対応する処理、又は、対応する指示がなかった場合の予め定められた処理を実行して、S720に処理を移行する。 When the instruction acquired in S720 is a "command", the voice command list is displayed in S730 and the process is transferred to S720. The list of voice commands will be described in relation to FIG. When the instruction acquired in S720 is "close", the display of the voice command list is closed in S732, and the process shifts to S720. If the instruction acquired in S720 is not an inspection result input instruction, "command" or "close", or if there is no instruction corresponding to the voice recognition result of the worker 40, the other instructions are handled in S734. The process is transferred to S720 by executing the process to be performed or the predetermined process when there is no corresponding instruction.
図8は、点検画面800の一例を示す。点検画面800は、点検結果を入力する内容を示すオブジェクト810と、本点検項目において最も良く使用される3つの指示を示すオブジェクト820を含む。
FIG. 8 shows an example of the
点検画面800は、ケーブルの型番を点検するための画面である。点検画面800においては、数字、アルファベット及び記号を、点検結果として入力することができる。アルファベットの小文字は、アルファベットの文字の直前に「こもじ」を付けることで音声入力可能である。例えば、「xYz」は、「こもじえっくすわいこもじぜっと」と発声することで入力可能である。すなわち、指示特定部280は、認識結果に「こもじ」が含まれている場合、「こもじ」に続く文字列が表すアルファベットを小文字に変換することで、指示された文字列を特定する。なお、日本語の発音では数字の「9」とアルファベットの「Q」を識別しにくいため、アルファベットの「Q」には「けべっく」を対応づける。すなわち、指示特定部280は、認識結果の「けべっく」を「Q」に変換する。
The
図9は、音声コマンド一覧が表示されている状態の点検画面900の一例を示す。点検画面900は、音声コマンド一覧を示すオブジェクト910を含む。表示制御部220は、オブジェクト910を点検画面800上にオーバーレイ表示することにより、音声コマンド一覧を表示する。
FIG. 9 shows an example of the
オブジェクト910は、点検画面800において入力可能な指示の一覧を含む。表示制御部220は、オブジェクト910において指示を表示する順番を、利用頻度が高い順に並べる。例えば、画面に向かって左側に位置する指示が、画面に向かって右側に位置する指示より利用頻度が高くなるように並べてよい。左右方向に同じ位置に指示については、画面に向かって上側に位置する指示が、画面に向かって下側に位置する指示より利用頻度が高くなるように並べてよい。
オブジェクト910が表示されている状態で「閉じる」の指示があった場合、表示制御部220は、オブジェクト910の表示を終了する。なお、オブジェクト910が表示されている状態でも、指示を入力することができる。例えば、オブジェクト910が表示されている状態で、作業者40が「じっせき」と発声すると、過去実績を表示する画面へと遷移する。
When the "close" instruction is given while the
図10は、ウェアラブル端末10において作業者40から音声で指示を取得する処理を表すフローチャートである。本フローチャートの処理は、主として、制御部200がウェアラブル端末10の各部を制御することにより実現される。本フローチャートの処理は、図7のS720の処理に適用することができる。
FIG. 10 is a flowchart showing a process of acquiring an instruction by voice from the worker 40 in the
S1002において、音声取得部260は、マイク205で取得された音声データを生成する。S1004において、指示取得部250は、ウェアラブル端末10がオンライン状態かつサーバ80と通信可能な状態であるか否かを判断する。ウェアラブル端末10がオンライン状態かつサーバ80と通信可能である場合、通信部290は、音声データをサーバ80に送信する。サーバ80において、音声取得部360、認識結果取得部370、指示特定部380により作業者40の指示が特定され、特定された指示を示す情報がサーバ80からウェアラブル端末10に送信される。サーバ80が作業者40の指示を特定する処理については、図11に関連して後述する。S1008において、指示取得部250は、通信部290を通じて、サーバ80で特定された指示を取得し、本フローチャートの処理を終了する。
In S1002, the
S1004において、ウェアラブル端末10がオフライン状態である場合、又は、ウェアラブル端末10がサーバ80と通信不可能である場合、S1010において、ウェアラブル端末10において作業者40の指示を特定し、本フローチャートの処理を終了する。S1010では、上述したように、音声認識部272、認識結果取得部270、及び指示特定部280により、作業者40の指示が特定される。
In S1004, when the
図11は、対応情報として記憶される情報をテーブル形式で示す。図11は、「実績」の指示に対応づけられた対応情報である。対応情報は指示毎に用意される。対応情報は、認識文字列と、認識回数と、取消回数と、有効フラグとを互いに対応づける。 FIG. 11 shows information stored as correspondence information in a table format. FIG. 11 is correspondence information associated with the instruction of “actual result”. Correspondence information is prepared for each instruction. The correspondence information associates the recognition character string, the recognition count, the cancellation count, and the valid flag with each other.
認識文字列は、音声認識により得られた文字列に該当する。認識回数は、音声認識によって認識文字列の文字列が得られた回数を表す。例えば、認識回数は、音声認識サーバ82等によって「じっせき」の文字列として認識される毎にインクリメントされる。
The recognition character string corresponds to the character string obtained by voice recognition. The recognition count represents the number of times that the character string of the recognition character string is obtained by voice recognition. For example, the number of recognitions is incremented each time the
取消回数は、認識文字列の文字列が認識された後に対応する指示が取り消された回数を表す。例えば、音声認識サーバ82等によって「ちせき」の文字列として認識されてから予め定められた時間内に「戻る」の指示が入力された場合に、「ちせき」に基づく「実績」の指示が取り消されたと判断して、「ちせき」に対応する取消回数をインクリメントする。
The number of cancellations represents the number of times the corresponding instruction was canceled after the character string of the recognition character string was recognized. For example, when the instruction of "return" is input within a predetermined time after being recognized as the character string of "chiseki" by the
有効フラグは、認識文字列と指示とが対応づけられているか否かを示す。「有効」は、認識文字列と指示とが対応づけられていることを示し、「無効」は、認識文字列と指示とが対応づけられていないことを示す。無効化部230は、認識回数及び取消回数に基づく指示の取消頻度が予め定められた値を以上となった場合に、有効フラグを「有効」から「無効」に切り換える。
The valid flag indicates whether or not the recognition character string and the instruction are associated with each other. "Valid" indicates that the recognition character string and the instruction are associated with each other, and "invalid" indicates that the recognition character string and the instruction are not associated with each other. The
図12は、対応情報を生成するための事前学習データの一例を示す。図12は、「実績」の指示に対応づけられた事前学習データである。「実績」の指示についての対応情報は、多数の人が「実績」を発声したときの音声の認識結果を学習することにより、生成される。 FIG. 12 shows an example of pre-learning data for generating correspondence information. FIG. 12 is pre-learning data associated with the “achievement” instruction. Correspondence information about the instruction of "achievement" is generated by learning the recognition result of the voice when a large number of people utter "achievement".
図12において、認識文字列は、多数の人が「実績」と発声したときに音声認識サーバ82等により認識された文字列を表す。人数は、認識文字列の文字列として認識された音声を発声した人の数を表す。人数は、事前学習を行う場合に、集計部392により集計される。選択部394は、事前学習データに基づいて、対応情報において「実績」の指示に対応づける認識文字列を選択する。具体的には、選択部394は、人数が多い順に認識文字列を選択する。選択部394は、選択した認識文字列の人数の合計が全人数の95%を上回るまで認識文字列を選択する。選択部394が選択した認識文字列は、対応情報により、「実績」の指示に対応づけられる。具体的には、図11に示されるように、「じっせき」から「ちせき」までの認識文字列が選択されて「実績」の指示との対応づけが有効となる。一方、「じせいき」の認識文字列は「実績」の指示との対応づけは無効とされる。
In FIG. 12, the recognition character string represents a character string recognized by the
図13は、サーバ80において作業者40の指示を特定する処理を表すフローチャートである。本フローチャートの処理は、主として、制御部300がサーバ80の各部を制御することにより実現される。
FIG. 13 is a flowchart showing a process of specifying the instruction of the worker 40 on the
S1302において、音声取得部360は、通信部390を通じて、ウェアラブル端末10から受信した音声データを取得すると、S1304において、通信部390は、音声認識サーバ82に音声データを送信する。S1306において、認識結果取得部370は、通信部390を介して、音声認識サーバ82で認識された文字列を取得する。
In S1302, the
S1310において、指示特定部380は、各指示の対応情報を参照して、有効フラグが「有効」である認識文字列の中に、S1306で取得した文字列が存在する対応情報が発見されたか否かを判断する。対応情報が発見された場合、S1312において、指示特定部380は、発見された対応情報に対応づけられている指示を、作業者40の指示として特定する。
In S1310, the
S1314において、対応情報の更新処理を行う。S1314の処理については図14に関連して説明する。 In S1314, the correspondence information is updated. The processing of S1314 will be described in relation to FIG.
S1316において、通信部390は、S1312で特定した指示を示す情報を、ウェアラブル端末10に送信する。S1310において、対応情報が発見されなかった場合、S1318において、通信部390は、対応する指示がなかったことを示す情報をウェアラブル端末10に送信する。
In S1316, the
図14は、対応情報の更新処理を表すフローチャートである。本フローチャートの処理は、主として、制御部300がサーバ80の各部を制御することにより実現される。本フローチャートの処理は、図13のS1314の処理に適用することができる。
FIG. 14 is a flowchart showing the update process of the correspondence information. The processing of this flowchart is mainly realized by the
S1402において、無効化部330は、特定された指示に対応する対応情報において、認識文字列に対応づけられた認識回数の値をインクリメントする。S1404において、S1312で特定した作業者40の指示が、直前の指示を取り消す指示であるか否かを判断する。例えば、S1312で特定された作業者40の指示が「戻る」であり、かつ、直前の指示を行った時刻からの経過時間が予め定められた値より短い場合に、直前の指示を取り消す指示であると判断する。直前の指示を取り消す指示でなかった場合は、本フローチャートの処理を終了する。直前の指示を取り消す指示であった場合、S1406において、無効化部330は、直前の指示の対応情報において、直前の指示における認識文字列に対応づけられている取消回数をインクリメントする。
In S1402, the
S1408において、取消頻度取得部334は利用頻度及び取消頻度に基づいて取消頻度を算出し、無効化部330は、取消頻度が予め定められた閾値以上であるか否かを判断する。取消頻度が予め定められた閾値未満の場合は、本フローチャートの処理を終了する。取消頻度が予め定められた閾値以上の場合、S1410において、無効化部330は、直前の指示の認識文字列の有効フラグを「無効」に切り換える。S1412において、無効化部330は、有効フラグが「無効」であった認識文字列のうち、事前学習において人数が最も多い認識文字列の有効フラグを「有効」に切り換える。例えば、「実績」に対応づけられた対応情報において、「ちせき」の有効フラグを「無効」に切り換える場合、「じせいき」の有効フラグを「有効」に切り換える。
In S1408, the cancellation
図11から図14に関連して説明したように、対応情報により、音声認識により得られる可能性がある複数の文字列を一つの指示に対応づけるので、ユーザ毎の発音の違いや周囲の外乱等により、指示が認識されない確率を低減することができる。ウェアラブル端末10においては、複数の作業項目を順次に表示して指示を音声で入力するが、一つの作業項目において入力可能な指示の数は比較的少数にすることができる。各指示に複数の文字列を対応づける手法は、入力可能な指示の数が少ないシステムにおいて、特に有効である。
As described in relation to FIGS. 11 to 14, the correspondence information associates a plurality of character strings that may be obtained by voice recognition with one instruction, so that the difference in pronunciation for each user and the disturbance of the surroundings are associated with each other. Therefore, the probability that the instruction is not recognized can be reduced. In the
なお、図11から図14に関連して、サーバ80で指示を特定する場合のサーバ80が行う処理を説明した。図11から図14に関連して説明した処理のうちの少なくとも一部の理を、ウェアラブル端末10において指示を特定する場合の処理に適用できる。例えば、図10のS1010の処理に適用できる。
In addition, in relation to FIGS. 11 to 14, the processing performed by the
図15は、サーバ80がウェアラブル端末10から収集した点検結果データに基づく点検結果の表示画面の一例を示す。図15の画面は、例えば、作業者40の点検を管理する管理者のコンピュータ端末に表示される。
FIG. 15 shows an example of an inspection result display screen based on the inspection result data collected by the
ウェアラブル端末10からサーバ80に送信される点検結果情報には、点検結果情報の送信者を識別する情報と、報告用の点検開始時刻及び報告用の点検終了時刻と、点検対象の場所、設備、部位を識別する情報と、複数の点検項目を識別する情報と、各点検項目の点検結果、点検開始時刻、点検終了時刻、及び点検時間とが含まれる。結果出力部340は、点検結果情報と、記憶部310に記憶されている点検項目の詳細情報から、点検結果データを生成する。
The inspection result information transmitted from the
図15は、ウェアラブル端末10がオンライン状態、かつ、サーバ80と通信可能な状態で取得した点検結果の点検結果情報から生成された点検結果の表示画面である。図15の「作業項目表示時刻」、「作結果入力時刻」、及び「作業時間」は、それぞれ点検開始時刻、点検終了時刻、及び点検時間を表す。「作業時間合計」は、合計時間算出部344によって点検時間を合計した時間を表す。ウェアラブル端末10はオンライン状態で点検結果を取得しているので、結果出力部340は、点検開始時刻及び点検終了時刻の時間をマスクせずに点検結果データに含める。よって、「作業項目表示時刻」及び「作結果入力時刻」にはウェアラブル端末10で計時された時刻が表示される。
FIG. 15 is a display screen of the inspection result generated from the inspection result information of the inspection result acquired while the
図16は、点検結果データに基づく点検結果の表示画面の他の一例を示す。図16の表示画面は、ウェアラブル端末10がオフライン状態で取得した点検結果の点検結果情報から生成された点検結果の表示画面である点で、図15の表示画面とは異なる。ウェアラブル端末10はオフライン状態で点検結果を取得しているので、結果出力部340は、点検結果データにおける点検開始時刻及び点検終了時刻の時間をマスクする。そのため、「作業項目表示時刻」及び「作結果入力時刻」には「----」が表示される。一方、「作業時間」及び「作業時間合計」にはウェアラブル端末10で計時された点検時間に基づく正確な時間が表示される。そのため、管理者は作業者40が点検に要した時間をきちんと把握することができる。
FIG. 16 shows another example of the inspection result display screen based on the inspection result data. The display screen of FIG. 16 is different from the display screen of FIG. 15 in that it is an inspection result display screen generated from the inspection result information of the inspection result acquired by the
図17は、ウェアラブル端末10からダウンロードされる、各点検項目の点検結果データの一例を示す。図18は、ウェアラブル端末10からダウンロードされる、点検対象毎の点検結果データの一例を示す。
FIG. 17 shows an example of inspection result data of each inspection item downloaded from the
各点検結果データは、例えばCSV形式のテキストデータとしてダウンロードすることができる。図17及び図18は、ウェアラブル端末10がオンライン状態、かつ、サーバ80と通信可能な状態で取得した点検結果の点検結果情報から生成された点検結果データを示す。図17の「作業項目表示時刻」、「作結果入力時刻」、及び「作業時間」は、それぞれ点検開始時刻、点検終了時刻、及び点検時間を表す。図18の「作業時間合計」は、合計時間算出部344によって点検時間を合計した時間を表す。図18の「作業開始時刻」及び「作業終了時刻」は、報告用の点検開始時刻及び報告用の点検終了時刻を示す。ウェアラブル端末10はオンライン状態で点検結果を取得している。そのため、結果出力部340は、各時刻をマスクせずに点検結果データに含める。
Each inspection result data can be downloaded as text data in CSV format, for example. 17 and 18 show inspection result data generated from the inspection result information of the inspection result acquired while the
図19は、ウェアラブル端末10からダウンロードされる、点検項目毎の点検結果データの他の一例を示す。図20は、ウェアラブル端末10からダウンロードされる、点検対象毎の点検結果データの他の一例を示す。
FIG. 19 shows another example of the inspection result data for each inspection item downloaded from the
各点検結果データは、例えばCSV形式のテキストデータとしてダウンロードすることができる。図19及び図20は、ウェアラブル端末10がオフライン状態で取得した点検結果の点検結果情報から生成された点検結果データである点で、図17及び図18の点検結果データとは異なる。ウェアラブル端末10はオフライン状態で点検結果を取得している。そのため、結果出力部340は、点検結果データに含まれる各時刻を「----」でマスクする。一方、「作業時間」及び「作業時間合計」には、ウェアラブル端末10で計時された点検時間に基づく正確な時間が含まれる。そのため、管理者は作業者40が点検に要した時間をきちんと把握することができる。
Each inspection result data can be downloaded as text data in CSV format, for example. 19 and 20 are different from the inspection result data of FIGS. 17 and 18 in that the inspection result data is generated from the inspection result information of the inspection result acquired by the
以上において、ウェアラブル端末10が、点検項目毎に点検開始時刻、点検終了時刻、及び点検時間を記憶する形態を主として説明した。しかし、点検開始時刻、点検終了時刻、及び点検時間を示す情報を記憶するために、点検開始時刻、点検終了時刻、及び点検時間の全てが必要ではない。例えば、点検開始時刻及び点検終了時刻の少なくとも一方と、点検時間とを記憶すれば、点検開始時刻、点検終了時刻、及び点検時間を表すことができる。他にも、点検開始時刻及び点検終了時刻を記憶すれば、点検開始時刻、点検終了時刻、及び点検時間を表すことができる。 In the above, the form in which the wearable terminal 10 stores the inspection start time, the inspection end time, and the inspection time for each inspection item has been mainly described. However, the inspection start time, the inspection end time, and the inspection time are not all required in order to store the information indicating the inspection start time, the inspection end time, and the inspection time. For example, if at least one of the inspection start time and the inspection end time and the inspection time are stored, the inspection start time, the inspection end time, and the inspection time can be represented. In addition, if the inspection start time and the inspection end time are stored, the inspection start time, the inspection end time, and the inspection time can be represented.
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments. It will be apparent to those skilled in the art that various changes or improvements can be made to the above embodiments. It is clear from the description of the claims that the form with such changes or improvements may be included in the technical scope of the present invention.
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The order of execution of each process such as operation, procedure, step, and step in the apparatus, system, program, and method shown in the claims, the specification, and the drawing is particularly "before" and "prior to". It should be noted that it can be realized in any order unless the output of the previous process is used in the subsequent process. Even if the scope of claims, the specification, and the operation flow in the drawings are explained using "first", "next", etc. for convenience, it means that it is essential to carry out in this order. It's not a thing.
10 ウェアラブル端末
11 本体部
12 表示部
40 作業者
42 頭部
80 サーバ
82 音声認識サーバ
90 ネットワーク
100 作業支援システム
200 制御部
202 撮像部
204 計時部
205 マイク
207 操作部材
208 開始処理部
210 記憶部
220 表示制御部
230 無効化部
232 利用頻度取得部
234 取消頻度取得部
240 作業結果情報生成部
248 作業結果出力部
250 指示取得部
260 音声取得部
270 認識結果取得部
272 音声認識部
280 指示特定部
290 通信部
300 制御部
304 時刻管理部
310 記憶部
320 認証制御部
330 無効化部
332 利用頻度取得部
334 取消頻度取得部
340 結果出力部
342 判断部
344 合計時間算出部
360 音声取得部
370 認識結果取得部
380 指示特定部
390 通信部
392 集計部
394 選択部
500 ログイン画面
510 オブジェクト
580 オブジェクト
800 点検画面
810 オブジェクト
820 オブジェクト
900 点検画面
910 オブジェクト
10
Claims (12)
前記作業に関する画像が前記ウェアラブル端末で表示されたときに前記ウェアラブル端末で計時された第1の時刻及び前記作業の作業結果を前記ウェアラブル端末が前記作業者から取得したときに前記ウェアラブル端末で計時された第2の時刻の少なくとも一方の時刻を示す情報と、前記画像が前記ウェアラブル端末で表示されてから前記ウェアラブル端末が前記作業者から前記作業結果を取得するまでの時間を示す情報と、前記作業結果とを含む作業結果情報を、前記ウェアラブル端末から受信する作業結果受信部と、
前記第1の時刻及び前記第2の時刻の少なくとも一方の時刻が前記サーバで管理されている時刻と整合する場合に、前記第1の時刻及び前記第2の時刻の少なくとも一方の時刻、前記時間、及び前記作業結果を出力し、前記第1の時刻及び前記第2の時刻の少なくとも一方の時刻が前記サーバで管理されている時刻と整合しない場合に、前記第1の時刻及び前記第2の時刻の少なくとも一方の時刻をマスクして、前記時間及び前記作業結果を出力する結果出力部と
を備えるサーバ。 A server for providing an image of work to the worker through a wearable terminal worn on the worker's head.
The first time clocked by the wearable terminal when the image related to the work is displayed on the wearable terminal and the work result of the work are timed by the wearable terminal when the wearable terminal acquires the work result of the work from the worker. Information indicating at least one of the second times, information indicating the time from when the image is displayed on the wearable terminal until the wearable terminal acquires the work result from the worker, and the work. A work result receiving unit that receives work result information including the result from the wearable terminal, and
When at least one of the first time and the second time matches the time managed by the server, at least one of the first time and the second time, the time. And, when the work result is output and at least one of the first time and the second time does not match the time managed by the server, the first time and the second time A server including a result output unit that masks at least one time and outputs the time and the work result.
前記作業結果情報は、前記複数の作業項目のそれぞれについて、それぞれの作業項目に関する画像が前記ウェアラブル端末で表示されたときに前記ウェアラブル端末で計時された第1の時刻及びそれぞれの作業項目の作業結果を前記ウェアラブル端末が前記作業者から取得したときに前記ウェアラブル端末で計時された第2の時刻の少なくとも一方の時刻を示す情報と、それぞれの作業項目に関する画像が前記ウェアラブル端末で表示されてから前記ウェアラブル端末が前記作業者から前記作業結果を取得するまでの時間を示す情報と、前記作業結果とを含み、
前記結果出力部は、
前記第1の時刻及び前記第2の時刻の少なくとも一方の時刻が前記サーバで管理されている時刻と整合する作業項目について、前記第1の時刻及び前記第2の時刻の少なくとも一方の時刻、前記時間、及び前記作業結果を出力し、
前記第1の時刻及び前記第2の時刻の少なくとも一方の時刻が前記サーバで管理されている時刻と整合しない作業項目について、前記第1の時刻及び前記第2の時刻の少なくとも一方の時刻をマスクして、前記時間及び前記作業結果を出力する
請求項1に記載のサーバ。 The work includes multiple work items.
The work result information includes, for each of the plurality of work items, the first time measured by the wearable terminal when the image related to each work item is displayed on the wearable terminal, and the work result of each work item. Information indicating at least one of the second times clocked by the wearable terminal when the wearable terminal acquires the time from the worker, and an image relating to each work item is displayed on the wearable terminal. The wearable terminal includes information indicating the time until the wearable terminal acquires the work result from the worker, and the work result.
The result output unit is
For work items in which at least one of the first time and the second time is consistent with the time managed by the server, the first time and at least one of the second times, the said. Output the time and the work result,
Mask at least one of the first time and the second time for a work item in which at least one of the first time and the second time does not match the time managed by the server. The server according to claim 1, wherein the time and the work result are output.
前記結果出力部は、
前記第1の時刻及び前記第2の時刻が前記サーバで管理されている時刻と整合する前記作業項目について、前記第1の時刻、前記第2の時刻、前記時間、及び前記作業結果を出力し、
前記第1の時刻及び前記第2の時刻の少なくともいずれかの時刻が前記サーバで管理されている時刻と整合しない前記作業項目について、前記第1の時刻及び前記第2の時刻をマスクして、前記時間及び前記作業結果を出力する
請求項2に記載のサーバ。 The work result information includes information indicating a first time clocked by the wearable terminal when an image relating to each work item is displayed on the wearable terminal for each of the plurality of work items, and each work. Information indicating the second time clocked by the wearable terminal when the wearable terminal acquires the work result of the item from the worker, and information indicating the time from the first time to the second time. And the above work results,
The result output unit is
For the work item whose first time and the second time are consistent with the time managed by the server, the first time, the second time, the time, and the work result are output. ,
For the work item in which at least one of the first time and the second time does not match the time managed by the server, the first time and the second time are masked. The server according to claim 2, which outputs the time and the work result.
前記サーバは、
前記作業対象毎に、前記作業対象に設定された前記複数の作業項目にわたる前記時間の合計値を算出する合計時間算出部
をさらに備え、
前記結果出力部は、前記作業対象に対応づけて、前記合計時間算出部が算出した合計値をさらに出力する
請求項2又は3に記載のサーバ。 The plurality of work items are set for each work target, and are set for each work target.
The server
For each work target, a total time calculation unit for calculating the total value of the time over the plurality of work items set for the work target is further provided.
The server according to claim 2 or 3, wherein the result output unit further outputs a total value calculated by the total time calculation unit in association with the work target.
前記ウェアラブル端末から受信した前記作業者の認証情報に基づいて前記作業者を認証するとともに、前記ウェアラブル端末において計時される時刻を前記現在時刻に合わせる時刻合わせを前記ウェアラブル端末に実行させる時刻制御部
をさらに備える請求項1から4のいずれか一項に記載のサーバ。 The time management unit that manages the current time and
A time control unit that authenticates the worker based on the authentication information of the worker received from the wearable terminal and causes the wearable terminal to adjust the time measured by the wearable terminal to the current time. The server according to any one of claims 1 to 4.
をさらに備える請求項5に記載のサーバ。 When the difference between at least one of the first time and the second time and the current time is larger than a predetermined value, at least one of the first time and the second time. The server according to claim 5, further comprising a determination unit for determining that the time does not match the time managed by the server.
前記ウェアラブル端末と
を備えるシステム。 The server according to any one of claims 1 to 6 and the server.
A system including the wearable terminal.
前記作業者の音声を取得する音声取得部
をさらに備え、
前記音声によって前記作業結果が入力された場合に、前記第1の時刻から前記第2の時刻までの時間を取得し、前記作業結果情報を前記サーバに送信し、前記作業結果が入力された作業の次の作業に関する画像を表示する
請求項7に記載のシステム。 The wearable terminal is
Further equipped with a voice acquisition unit for acquiring the voice of the worker,
When the work result is input by the voice, the work from the first time to the second time is acquired, the work result information is transmitted to the server, and the work result is input. The system according to claim 7, which displays an image relating to the next work of.
前記ウェアラブル端末の電源が投入される毎に、前記ウェアラブル端末に予め設定されている固定時刻から計時を開始し、前記サーバにより前記作業者が認証された場合に、前記ウェアラブル端末において計時される時刻を前記サーバで管理されている現在時刻に合わせる開始処理部
を備える請求項7又は8に記載のシステム。 The wearable terminal is
Each time the power of the wearable terminal is turned on, the time is started from a fixed time preset in the wearable terminal, and when the worker is authenticated by the server, the time is measured in the wearable terminal. 7. The system according to claim 7 or 8, further comprising a start processing unit that adjusts to the current time managed by the server.
前記作業結果情報を記憶する作業結果記憶部
をさらに備え、
前記作業者から前記作業結果が入力された場合に、前記サーバにより前記作業者が認証され、かつ、前記サーバと通信可能であることを条件として、前記作業結果情報を前記サーバに出力する作業結果出力部
をさらに備え、
前記作業結果出力部は、前記サーバにより前記作業者が認証されていない場合又は前記サーバと通信可能でない場合には、前記作業結果情報を前記作業結果記憶部に出力し、前記作業結果情報が前記作業結果記憶部に出力された後、前記サーバにより前記作業者が認証された場合に、前記作業結果記憶部に記憶されている前記作業結果情報を前記サーバに送信する
請求項9に記載のシステム。 The wearable terminal is
A work result storage unit for storing the work result information is further provided.
When the work result is input from the worker, the work result of outputting the work result information to the server, provided that the worker is authenticated by the server and can communicate with the server. With more output
When the worker is not authenticated by the server or cannot communicate with the server, the work result output unit outputs the work result information to the work result storage unit, and the work result information is the work result information. The system according to claim 9, wherein when the worker is authenticated by the server after being output to the work result storage unit, the work result information stored in the work result storage unit is transmitted to the server. ..
前記作業に関する画像が前記ウェアラブル端末で表示されたときに前記ウェアラブル端末で計時された第1の時刻及び前記作業の作業結果を前記ウェアラブル端末が前記作業者から取得したときに前記ウェアラブル端末で計時された第2の時刻の少なくとも一方の時刻を示す情報と、前記画像が前記ウェアラブル端末で表示されてから前記ウェアラブル端末が前記作業者から前記作業結果を取得するまでの時間を示す情報と、前記作業結果とを含む作業結果情報を、前記ウェアラブル端末から受信する段階と、
前記第1の時刻及び前記第2の時刻の少なくとも一方の時刻がサーバで管理されている時刻と整合する場合に、前記第1の時刻及び前記第2の時刻の少なくとも一方の時刻、前記時間、及び前記作業結果を出力し、前記第1の時刻及び前記第2の時刻の少なくとも一方の時刻が前記サーバで管理されている時刻と整合しない場合に、前記第1の時刻及び前記第2の時刻の少なくとも一方の時刻をマスクして、前記時間及び前記作業結果を出力する段階と
を備える方法。 A method of providing an image of work to the worker through a wearable terminal worn on the worker's head.
The first time clocked by the wearable terminal when the image related to the work is displayed on the wearable terminal and the work result of the work are timed by the wearable terminal when the wearable terminal acquires the work result of the work from the worker. Information indicating at least one of the second times, information indicating the time from when the image is displayed on the wearable terminal until the wearable terminal acquires the work result from the worker, and the work. At the stage of receiving work result information including the result from the wearable terminal,
When at least one of the first time and the second time is consistent with the time managed by the server, at least one of the first time and the second time, the time, and the like. And when the work result is output and at least one of the first time and the second time does not match the time managed by the server, the first time and the second time A method comprising masking at least one time of the time and outputting the time and the work result.
前記作業に関する画像が前記ウェアラブル端末で表示されたときに前記ウェアラブル端末で計時された第1の時刻及び前記作業の作業結果を前記ウェアラブル端末が前記作業者から取得したときに前記ウェアラブル端末で計時された第2の時刻の少なくとも一方の時刻を示す情報と、前記画像が前記ウェアラブル端末で表示されてから前記ウェアラブル端末が前記作業者から前記作業結果を取得するまでの時間を示す情報と、前記作業結果とを含む作業結果情報を、前記ウェアラブル端末から受信する作業結果受信部、
前記第1の時刻及び前記第2の時刻の少なくとも一方の時刻がサーバで管理されている時刻と整合する場合に、前記第1の時刻及び前記第2の時刻の少なくとも一方の時刻、前記時間、及び前記作業結果を出力し、前記第1の時刻及び前記第2の時刻の少なくとも一方の時刻が前記サーバで管理されている時刻と整合しない場合に、前記第1の時刻及び前記第2の時刻の少なくとも一方の時刻をマスクして、前記時間及び前記作業結果を出力する結果出力部
として機能させるためのプログラム。 A program for providing an image of work to the worker through a wearable terminal worn on the worker's head, the computer.
The first time timed by the wearable terminal when the image related to the work is displayed on the wearable terminal and the work result of the work are timed by the wearable terminal when the wearable terminal acquires the work result of the work from the worker. Information indicating at least one of the second times, information indicating the time from when the image is displayed on the wearable terminal until the wearable terminal acquires the work result from the worker, and the work. A work result receiving unit that receives work result information including a result from the wearable terminal.
When at least one of the first time and the second time is consistent with the time managed by the server, at least one of the first time and the second time, the time, and the like. And when the work result is output and at least one of the first time and the second time does not match the time managed by the server, the first time and the second time A program for masking at least one time of the time and functioning as a result output unit for outputting the time and the work result.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018098933A JP7059798B2 (en) | 2018-05-23 | 2018-05-23 | Servers, systems, methods, and programs |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018098933A JP7059798B2 (en) | 2018-05-23 | 2018-05-23 | Servers, systems, methods, and programs |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019204282A JP2019204282A (en) | 2019-11-28 |
JP7059798B2 true JP7059798B2 (en) | 2022-04-26 |
Family
ID=68726994
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018098933A Active JP7059798B2 (en) | 2018-05-23 | 2018-05-23 | Servers, systems, methods, and programs |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7059798B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005222406A (en) | 2004-02-06 | 2005-08-18 | Tdc Software Engineering Inc | Recording management method, report creation method, report management method, report creation program and report management program |
JP2009037356A (en) | 2007-07-31 | 2009-02-19 | Nec Corp | Earthquake prediction information notification server, earthquake prediction information notification system, notification method for earthquake prediction information, and program |
JP2016212729A (en) | 2015-05-12 | 2016-12-15 | 株式会社日立システムズ | Device check support system, operation progress confirmation method, and operation progress confirmation program |
JP2017162102A (en) | 2016-03-08 | 2017-09-14 | 株式会社東芝 | Maintenance support method, maintenance support system, and maintenance support program |
JP2017167991A (en) | 2016-03-17 | 2017-09-21 | Kddi株式会社 | Head mount device, program, and work support system |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5877961A (en) * | 1996-09-24 | 1999-03-02 | Genicom Corporation | Electronic support work station and method of operation |
-
2018
- 2018-05-23 JP JP2018098933A patent/JP7059798B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005222406A (en) | 2004-02-06 | 2005-08-18 | Tdc Software Engineering Inc | Recording management method, report creation method, report management method, report creation program and report management program |
JP2009037356A (en) | 2007-07-31 | 2009-02-19 | Nec Corp | Earthquake prediction information notification server, earthquake prediction information notification system, notification method for earthquake prediction information, and program |
JP2016212729A (en) | 2015-05-12 | 2016-12-15 | 株式会社日立システムズ | Device check support system, operation progress confirmation method, and operation progress confirmation program |
JP2017162102A (en) | 2016-03-08 | 2017-09-14 | 株式会社東芝 | Maintenance support method, maintenance support system, and maintenance support program |
JP2017167991A (en) | 2016-03-17 | 2017-09-21 | Kddi株式会社 | Head mount device, program, and work support system |
Also Published As
Publication number | Publication date |
---|---|
JP2019204282A (en) | 2019-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6594646B2 (en) | Robot, robot control method, and robot system | |
JP7339167B2 (en) | Work support system and work support method | |
CN107944378A (en) | The personal identification method and self-help serving system of a kind of Self-Service | |
CN110192386B (en) | Information processing apparatus, information processing method, and computer program | |
CN108133709A (en) | Speech recognition equipment and audio recognition method | |
CN108093167B (en) | Apparatus, method, system, and computer-readable storage medium for capturing images | |
WO2017033561A1 (en) | Display system, display device, display method, and program | |
JP6780767B2 (en) | Inspection support device, inspection support method and program | |
JP2017191490A (en) | Skill transmission system and method | |
CN107683446A (en) | Method and eye tracks equipment at least one user of automatic identification eye tracks equipment | |
CN109241907A (en) | Mask method, device and electronic equipment | |
JP7124442B2 (en) | System, method and program | |
JP7059798B2 (en) | Servers, systems, methods, and programs | |
KR101747712B1 (en) | interview auto recognizetion real-time management method by smart phone | |
US10823964B2 (en) | Work assistance apparatus, work assistance method, and computer-readable, non-transitory recording medium recording work assistance program executed by computer | |
KR20170005373A (en) | Method for Providing Customized Augmented Reality | |
CN109872273A (en) | A kind of image processing method and device | |
CN107077696B (en) | Man-machine matching device, matching system, man-machine matching method, and man-machine matching program | |
JP6870274B2 (en) | Image print system | |
US20210185223A1 (en) | Method and camera for photographic recording of an ear | |
WO2017195646A1 (en) | Work assistance device | |
KR20150082746A (en) | Hand measurement system to order customized golf gloves | |
CN110545386B (en) | Method and apparatus for photographing image | |
JP6693710B2 (en) | Video analysis apparatus and video analysis method | |
JP7098561B2 (en) | Distribution system, distribution system control method, program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210414 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220217 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220315 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220328 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7059798 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |