JP5099182B2 - Confirmation work support system, server device, head mounted display device, wearable terminal, confirmation work support method and program - Google Patents

Confirmation work support system, server device, head mounted display device, wearable terminal, confirmation work support method and program Download PDF

Info

Publication number
JP5099182B2
JP5099182B2 JP2010143642A JP2010143642A JP5099182B2 JP 5099182 B2 JP5099182 B2 JP 5099182B2 JP 2010143642 A JP2010143642 A JP 2010143642A JP 2010143642 A JP2010143642 A JP 2010143642A JP 5099182 B2 JP5099182 B2 JP 5099182B2
Authority
JP
Japan
Prior art keywords
inspection
image
predetermined
inspection location
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010143642A
Other languages
Japanese (ja)
Other versions
JP2012007985A (en
Inventor
貴行 小美濃
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2010143642A priority Critical patent/JP5099182B2/en
Publication of JP2012007985A publication Critical patent/JP2012007985A/en
Application granted granted Critical
Publication of JP5099182B2 publication Critical patent/JP5099182B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、確認業務を支援する確認業務支援システム、サーバ装置、ヘッドマウントディスプレイ装置、ウェアラブル端末、確認業務支援方法および確認業務支援プログラムに関する。   The present invention relates to a confirmation work support system, a server device, a head-mounted display device, a wearable terminal, a confirmation work support method, and a confirmation work support program that support a confirmation work.
製造ラインで行われる検査作業や保守業務における点検作業等の各種確認作業を支援するために、さまざまな技術が用いられている。例えば、特許文献1には、ヘッドマウントディスプレイ装置を活用して、半導体ウェハの基板等の被検体の外観を検査者の目視によって検査する外観検査装置が記載されている。   Various technologies are used to support various confirmation operations such as inspection operations performed on the production line and inspection operations in maintenance operations. For example, Patent Document 1 describes an appearance inspection apparatus that uses a head-mounted display device to inspect the appearance of an object such as a substrate of a semiconductor wafer by an inspector.
また、特許文献2には、半導体プロセスにおいて、色の違いによって検査対象物を判別する検査方法や検査装置が記載されている。   Patent Document 2 describes an inspection method and an inspection apparatus for discriminating an inspection object based on a color difference in a semiconductor process.
国際公開第2007/141857号International Publication No. 2007/141857 特開2006−237580号公報JP 2006-237580 A
一般的に工場での目視検査は、検査員が自分の目で製品の品質を確認することによって行われている。しかし、人間が目視検査を行っているため、精度に課題があった。   Generally, visual inspection at a factory is performed by an inspector confirming the quality of a product with his / her own eyes. However, since humans conduct visual inspection, there is a problem in accuracy.
また、特許文献1に記載された装置では、外観検査時の欠陥画像の共有化を図るにすぎず、個々の検査員の検査業務や保守作業員の点検業務における確認作業の精度を高めること等はできない。   In addition, the apparatus described in Patent Document 1 merely shares a defect image at the time of appearance inspection, and increases the accuracy of confirmation work in inspection work of individual inspectors and inspection work of maintenance workers. I can't.
また、特許文献2に記載された方法は、半導体向けであるため、検査員が目視で行うような検査や保守作業員の点検業務における確認作業を支援する用途には適用することはできない。   Moreover, since the method described in Patent Document 2 is intended for semiconductors, it cannot be applied to an application that supports an inspection performed by an inspector by visual inspection or a confirmation operation in an inspection operation by a maintenance worker.
そこで、本発明は、各種確認作業の精度を高めることができる確認業務支援システム、サーバ装置、ヘッドマウントディスプレイ装置、ウェアラブル端末、確認業務支援方法および確認業務支援プログラムを提供することを目的とする。   Accordingly, an object of the present invention is to provide a confirmation work support system, a server device, a head-mounted display device, a wearable terminal, a confirmation work support method, and a confirmation work support program that can improve the accuracy of various confirmation tasks.
本発明による確認業務支援システムは、少なくとも確認範囲を特定可能な確認範囲画像を含む確認情報を表示可能なヘッドマウントディスプレイ装置と、ヘッドマウントディスプレイ装置に設けられた撮影手段と、撮影手段が撮影した画像を用いた画像処理を行って、確認範囲中の異常箇所を判定する異常判定手段とを備えたことを特徴とする。   The confirmation work support system according to the present invention includes a head-mounted display device capable of displaying confirmation information including at least a confirmation range image that can identify a confirmation range, a photographing unit provided in the head-mounted display device, and a photographing unit. The image processing apparatus includes an abnormality determination unit that performs image processing using an image and determines an abnormal portion in the confirmation range.
本発明によるヘッドマウントディスプレイ装置は、少なくとも検査範囲を特定可能な検査範囲画像を含む検査情報を表示可能な表示制御手段と、当該ヘッドマウントディスプレイ装置に設けられた撮影手段が撮影した画像と検査範囲画像とに基づいて、検査範囲中の異常個所を判定する異常判定手段とを備えたことを特徴とする。   The head mounted display device according to the present invention includes a display control unit capable of displaying inspection information including an inspection range image that can specify at least an inspection range, an image captured by an imaging unit provided in the head mounted display device, and an inspection range. An abnormality determining means for determining an abnormal part in the inspection range based on the image is provided.
本発明によるウェアラブル端末は、少なくとも検査範囲を特定可能な検査範囲画像を含む検査情報を表示可能なヘッドマウントディスプレイ装置に設けられた撮影手段が撮影した画像と検査範囲画像とに基づいて、検査範囲中の異常個所を判定する異常判定手段と、ヘッドマウントディスプレイ装置を装着した検査員が所定の検査箇所において所定の動作を行ったか否かを判定する動作判定手段とを備え、動作判定手段は、撮影手段が撮影した第1画像と所定の検査箇所における所定の動作前の状態を示す動作前画像との類似度が所定の閾値以上であり、かつ該第1画像を撮影してから所定期間経過後に撮影手段が撮影した第2画像と所定の検査箇所における所定の動作後の状態を示す動作後画像との類似度が所定の閾値以上である場合に、検査員が所定の検査箇所において所定の動作を行ったと判定することを特徴とする。 The wearable terminal according to the present invention has an inspection range based on an image captured by an imaging unit provided in a head mounted display device capable of displaying inspection information including an inspection range image that can specify an inspection range and an inspection range image. An abnormality determination means for determining an abnormal portion in the operation, and an operation determination means for determining whether or not the inspector wearing the head-mounted display device has performed a predetermined operation at a predetermined inspection location. The similarity between the first image photographed by the photographing means and the pre-operation image indicating the state before the predetermined operation at a predetermined inspection location is equal to or greater than a predetermined threshold, and a predetermined period has elapsed since the first image was captured. When the degree of similarity between the second image captured by the imaging unit later and the post-operation image indicating the state after the predetermined operation at a predetermined inspection location is equal to or greater than a predetermined threshold,査員is characterized in that determines that performs a predetermined operation at a predetermined inspection position.
本発明によるサーバ装置は、少なくとも検査範囲を特定可能な検査範囲画像を含む検査情報を表示可能なヘッドマウントディスプレイ装置に設けられた撮影手段が撮影した画像と検査範囲画像とに基づいて、検査範囲中の異常個所を判定する異常判定手段と、ヘッドマウントディスプレイ装置を装着した検査員が所定の検査箇所において所定の動作を行ったか否かを判定する動作判定手段とを備え、動作判定手段は、撮影手段が撮影した第1画像と所定の検査箇所における所定の動作前の状態を示す動作前画像との類似度が所定の閾値以上であり、かつ該第1画像を撮影してから所定期間経過後に撮影手段が撮影した第2画像と所定の検査箇所における所定の動作後の状態を示す動作後画像との類似度が所定の閾値以上である場合に、検査員が所定の検査箇所において所定の動作を行ったと判定することを特徴とする。 The server device according to the present invention is based on an inspection range image based on an image captured by an imaging unit provided in a head mounted display device capable of displaying inspection information including an inspection range image that can specify an inspection range. An abnormality determination means for determining an abnormal portion in the operation, and an operation determination means for determining whether or not the inspector wearing the head-mounted display device has performed a predetermined operation at a predetermined inspection location. The similarity between the first image photographed by the photographing means and the pre-operation image indicating the state before the predetermined operation at a predetermined inspection location is equal to or greater than a predetermined threshold, and a predetermined period has elapsed since the first image was captured. If the similarity between the second image captured by the imaging means later and the post-operation image indicating the state after the predetermined operation at a predetermined inspection location is equal to or greater than a predetermined threshold, And wherein the determining and performing a predetermined operation at a predetermined inspection position.
本発明による確認業務支援方法は、少なくとも検査範囲を特定可能な検査範囲画像を含む検査情報を表示可能なヘッドマウントディスプレイ装置に設けられた撮影手段が撮影した画像と検査範囲画像とに基づいて、検査範囲中の異常個所を判定し、ヘッドマウントディスプレイ装置を装着した検査員が所定の検査箇所において所定の動作を行ったか否かを判定し、撮影手段が撮影した第1画像と所定の検査箇所における所定の動作前の状態を示す動作前画像との類似度が所定の閾値以上であり、かつ該第1画像を撮影してから所定期間経過後に撮影手段が撮影した第2画像と所定の検査箇所における所定の動作後の状態を示す動作後画像との類似度が所定の閾値以上である場合に、検査員が所定の検査箇所において所定の動作を行ったと判定することを特徴とする。 The confirmation work support method according to the present invention is based on an image captured by an imaging unit provided in a head-mounted display device capable of displaying inspection information including an inspection range image that can specify at least an inspection range, and an inspection range image. The abnormal part in the inspection range is determined , whether or not the inspector wearing the head mounted display device has performed a predetermined operation at the predetermined inspection part, and the first image and the predetermined inspection part taken by the photographing means are determined. A second image captured by the imaging means after a predetermined period of time after the first image is captured and a predetermined inspection It is determined that the inspector has performed a predetermined operation at a predetermined inspection location when the similarity with the post-operation image indicating the state after the predetermined operation at the location is greater than or equal to a predetermined threshold Characterized in that that.
本発明による確認業務支援プログラムは、コンピュータに、少なくとも検査範囲を特定可能な検査範囲画像を含む検査情報を表示可能なヘッドマウントディスプレイ装置に設けられた撮影手段が撮影した画像と検査範囲画像とに基づいて、検査範囲中の異常個所を判定する異常判定処理と、ヘッドマウントディスプレイ装置を装着した検査員が所定の検査箇所において所定の動作を行ったか否かを判定する動作判定処理とを実行させ、動作判定処理で、撮影手段が撮影した第1画像と所定の検査箇所における所定の動作前の状態を示す動作前画像との類似度が所定の閾値以上であり、かつ該第1画像を撮影してから所定期間経過後に撮影手段が撮影した第2画像と所定の検査箇所における所定の動作後の状態を示す動作後画像との類似度が所定の閾値以上である場合に、検査員が所定の検査箇所において所定の動作を行ったと判定する処理を実行させることを特徴とする。 The confirmation work support program according to the present invention includes an image captured by a photographing unit provided in a head-mounted display device capable of displaying at least inspection information including an inspection range image capable of specifying an inspection range on a computer and an inspection range image. Based on this, an abnormality determination process for determining an abnormal part in the inspection range and an operation determination process for determining whether or not the inspector wearing the head mounted display device has performed a predetermined operation at a predetermined inspection point are executed. In the operation determination process, the similarity between the first image captured by the imaging unit and the pre-operation image indicating the state before the predetermined operation at the predetermined inspection location is equal to or greater than a predetermined threshold, and the first image is captured. And the degree of similarity between the second image taken by the photographing means after the elapse of a predetermined period and the post-operation image indicating the state after the predetermined operation at the predetermined inspection location. If it is more than the threshold value, the inspector is characterized in that to execute a process of determining and performs a predetermined operation at a predetermined inspection position.
本発明によれば、各種確認作業の精度を高めることができる。   According to the present invention, the accuracy of various confirmation operations can be increased.
本発明による確認業務支援システムの機能構成例を示す機能ブロック図である。It is a functional block diagram which shows the function structural example of the confirmation business assistance system by this invention. 確認業務支援システムの動作例を示すシーケンス図である。It is a sequence diagram which shows the operation example of a confirmation work support system. 検査範囲判定処理の一例を示すフロー図である。It is a flowchart which shows an example of a test | inspection range determination process. 検査箇所判定処理の一例を示すフロー図である。It is a flowchart which shows an example of an inspection location determination process. 検査範囲判定処理の一例を示すフロー図である。It is a flowchart which shows an example of a test | inspection range determination process. 目視検査判定処理の一例を示すフロー図である。It is a flowchart which shows an example of a visual inspection determination process. ハンドジェスチャー判定処理の一例を示すフロー図である。It is a flowchart which shows an example of a hand gesture determination process. 検査データの一例を示す説明図である。It is explanatory drawing which shows an example of test | inspection data. 映像表示手段11が検査データを表示している状態での検査員の視界の一例を示す説明図である。It is explanatory drawing which shows an example of a visual field of an inspector in the state in which the video display means 11 is displaying inspection data. 動作前の画像例を示す説明図である。It is explanatory drawing which shows the example of an image before operation | movement. 動作後の画像例を示す説明図である。It is explanatory drawing which shows the example of an image after operation | movement. 確認業務支援システムの最小の構成例を示すブロック図である。It is a block diagram which shows the example of the minimum structure of a confirmation operation | work support system.
以下、本発明の実施形態について図面を参照して説明する。図1は、本発明による確認業務支援システムの機能構成例を示す機能ブロック図である。図1に示すように、確認業務支援システムは、ヘッドマウントディスプレイ装置10と、ウェアラブル端末20と、サーバ装置30とを含む。   Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a functional block diagram showing an example of a functional configuration of a confirmation work support system according to the present invention. As shown in FIG. 1, the confirmation work support system includes a head mounted display device 10, a wearable terminal 20, and a server device 30.
なお、本実施形態では、確認業務支援システムが工場等の製造ラインにおける検査業務を支援する場合を示しているが、本実施形態で示したものに限られない。例えば、保守業務における点検作業を支援する用途に適用してもよい。すなわち、確認業務支援システムによって支援可能な確認作業には、製造ラインにおける検査作業に加えて、保守業務における点検作業等、様々な作業が含まれる。   In the present embodiment, a case is shown in which the confirmation work support system supports an inspection work in a production line such as a factory, but is not limited to that shown in the present embodiment. For example, you may apply to the use which assists the check work in a maintenance work. That is, the confirmation work that can be supported by the confirmation work support system includes various work such as an inspection work in a maintenance work in addition to an inspection work in a production line.
ヘッドマウントディスプレイ装置10とウェアラブル端末とは、有線または無線で相互に接続されている。また、ウェアラブル端末20とサーバ装置30とは、無線LAN(802.11a/b/g/n)や3G、WiMAX(Worldwide Interoperability for Microwave Access )、LTE(Long Term Evolution)等のネットワーク100(図示せず)を介して相互に接続されている。   The head mounted display device 10 and the wearable terminal are connected to each other by wire or wireless. Further, the wearable terminal 20 and the server device 30 include a network 100 (not shown) such as a wireless LAN (802.11a / b / g / n), 3G, WiMAX (Worldwide Interoperability for Microwave Access), or LTE (Long Term Evolution). Z)).
ヘッドマウントディスプレイ装置10は、具体的には、メガネ型網膜走査ディスプレイ装置によって実現される。図1に示すように、ヘッドマウントディスプレイ装置10は、映像表示手段11、映像入力手段12および音声入出力手段13を含む。   Specifically, the head mounted display device 10 is realized by a glasses-type retinal scanning display device. As shown in FIG. 1, the head mounted display device 10 includes a video display unit 11, a video input unit 12, and an audio input / output unit 13.
なお、本実施形態では、メガネ型のヘッドマウントディスプレイ装置10を用いるが、これに限らず、頭部に装着可能であれば、例えばヘルメット型であってもよい。また、本実施形態では、網膜上に映像を投影する方式のヘッドマウントディスプレイ装置10を用いるが、これに限らず、例えば、ハーフミラーを用いた光学方式のものであってもよい。また、例えば、液晶ディスプレイ型等の網膜照射型以外のディスプレイを用いたものであってもよい。また、例えば、外部を直接見るのではなく、カメラで撮影した外部画像を投影するタイプのものでもよい。本実施形態では、一般的な表現に従い、メガネ型やヘルメット型、網膜照射型や光学方式型等を全て包括してヘッドマウントディスプレイ装置という。   In the present embodiment, the glasses-type head-mounted display device 10 is used. However, the present invention is not limited to this. In this embodiment, the head mounted display device 10 that projects an image on the retina is used. However, the present invention is not limited to this. For example, an optical system using a half mirror may be used. Further, for example, a display other than the retina irradiation type such as a liquid crystal display type may be used. Further, for example, a type of projecting an external image taken by a camera instead of directly viewing the outside may be used. In the present embodiment, according to general expressions, the glasses-type, helmet-type, retinal irradiation type, optical type, and the like are all referred to as a head-mounted display device.
映像表示手段11は、安全な明るさの光を網膜に当て、高速で動かし、その残像効果を利用して直接網膜上に映像を投影する機能を備えている。映像表示手段11が網膜上に映像を投影することによって、ユーザは、通常肉眼で認識する作業視界とともに、投影された検査データを認識可能となる。   The image display means 11 has a function of projecting an image directly on the retina by using a light of safe brightness on the retina, moving at high speed, and using the afterimage effect. The image display unit 11 projects the image on the retina, so that the user can recognize the projected inspection data together with the work field of view that is normally recognized with the naked eye.
映像入力手段12は、作業現場の映像を撮影し、撮影データをウェアラブル端末20に出力する機能を備えている。映像入力手段12は、具体的には、ヘッドマウントディスプレイ装置10が搭載するカメラによって実現される。そして、このカメラは、撮影する映像とヘッドマウントディスプレイ装置10を装着する検査員の視界とがほぼ一致するように配置されている。例えば、メガネのブリッジ部分に配置されている。そのため、映像入力手段12は、検査員の視界に近い映像を撮影することができる。ただし、検査員の視界と実際の撮影画像とは多少の位置の差があるので、本実施形態では、後述するように、映像入力手段12によって撮影した映像に画像補正手段33を用いて補正処理を施している。   The video input means 12 has a function of shooting a video of the work site and outputting the shooting data to the wearable terminal 20. Specifically, the video input unit 12 is realized by a camera mounted on the head mounted display device 10. The camera is arranged so that the video to be photographed and the field of view of the inspector wearing the head mounted display device 10 substantially coincide. For example, it is arranged at the bridge portion of the glasses. Therefore, the video input unit 12 can take a video close to the field of view of the inspector. However, since there is a slight difference in position between the field of view of the inspector and the actual captured image, in the present embodiment, as will be described later, correction processing is performed on the video captured by the video input unit 12 using the image correction unit 33. Has been given.
音声入出力手段13は、具体的には、マイクロフォン等の音声入力装置と入出力部とによって実現される。音声入出力手段13は、作業現場の音声を収集し、音声データをウェアラブル端末20に出力する機能を備えている。また、音声入出力手段13は、ウェアラブル端末20が出力する音声データを再生する機能を備えている。なお、音声入出力手段13は、ヘッドマウントディスプレイ装置10ではなく、ウェアラブル端末20に含まれていてもよい。   Specifically, the voice input / output unit 13 is realized by a voice input device such as a microphone and an input / output unit. The voice input / output means 13 has a function of collecting the voice of the work site and outputting the voice data to the wearable terminal 20. The voice input / output means 13 has a function of playing back voice data output from the wearable terminal 20. The voice input / output unit 13 may be included in the wearable terminal 20 instead of the head mounted display device 10.
ウェアラブル端末20は、具体的には、検査員が体に身に付けられる小型の情報処理装置によって実現され、プログラムに従って動作する。ウェアラブル端末20は、CPU(Central Processing Unit )やメモリ等の記憶装置を備え、データ送受信手段21と、通信手段22とを含む。   Specifically, the wearable terminal 20 is realized by a small information processing apparatus worn by an inspector on the body, and operates according to a program. The wearable terminal 20 includes a storage device such as a CPU (Central Processing Unit) and a memory, and includes a data transmission / reception means 21 and a communication means 22.
データ送受信手段21は、具体的には、プログラムに従って動作するCPUによって実現される。データ送受信手段21は、通信手段22を用いて、サーバ装置30との間で検査データや撮影データ等を送受信する機能を備えている。データ送受信手段21は、通信手段22を用いて、サーバ装置30からネットワーク100を介して受信した検査データをヘッドマウントディスプレイ装置10に出力する機能を備えている。また、データ送受信手段21は、通信手段22を用いて、映像入力手段12が出力した撮影データを、ネットワーク100を介して、サーバ装置30に送信する機能を備えている。   Specifically, the data transmission / reception means 21 is realized by a CPU that operates according to a program. The data transmitting / receiving unit 21 has a function of transmitting / receiving inspection data, imaging data, and the like to / from the server device 30 using the communication unit 22. The data transmitting / receiving unit 21 has a function of outputting the inspection data received from the server device 30 via the network 100 to the head mounted display device 10 using the communication unit 22. Further, the data transmitting / receiving unit 21 has a function of transmitting photographing data output from the video input unit 12 to the server device 30 via the network 100 using the communication unit 22.
通信手段22は、有線通信や無線通信(無線LAN(802.11a/b/g/n)、3G、WiMAX、LTE等)に対応可能なモジュールによって実現され、ネットワーク100を介してサーバ装置30と通信を行う機能を備えている。   The communication unit 22 is realized by a module that can support wired communication and wireless communication (wireless LAN (802.11a / b / g / n), 3G, WiMAX, LTE, etc.), and communicates with the server device 30 via the network 100. It has a function to communicate.
サーバ装置30は、具体的には、プログラムに従って動作するパーソナルコンピュータ等の情報処理装置によって実現される。サーバ装置30は、検査員が行う検査業務を支援し、管理する機能を備えている。   Specifically, the server device 30 is realized by an information processing device such as a personal computer that operates according to a program. The server device 30 has a function of supporting and managing inspection work performed by an inspector.
図1に示すように、サーバ装置30は、検査データ記憶手段31、データ送受信手段32、画像補正手段33、検査箇所判定手段34、目視検査判定手段35、ハンドジェスチャー判定手段36、検査結果記憶手段37および通信手段38を含む。   As shown in FIG. 1, the server device 30 includes an inspection data storage unit 31, a data transmission / reception unit 32, an image correction unit 33, an inspection point determination unit 34, a visual inspection determination unit 35, a hand gesture determination unit 36, and an inspection result storage unit. 37 and communication means 38.
検査データ記憶手段31は、具体的には、光ディスク装置や磁気ディスク装置等の記憶装置によって実現される。検査データ記憶手段31は、検査を行う対象製品の画像データや、検査に必要なデータ(例えば、検査項目や検査箇所、検査範囲等)、検査マニュアルのデータ、判定処理に用いるパターンデータ等を記憶する。なお、これらデータは、例えば、予め検査業務の管理者によって検査データ記憶手段31に登録される。以下、これらのデータを検査データともいう。   Specifically, the inspection data storage means 31 is realized by a storage device such as an optical disk device or a magnetic disk device. The inspection data storage means 31 stores image data of a target product to be inspected, data necessary for inspection (for example, inspection items, inspection locations, inspection ranges, etc.), inspection manual data, pattern data used for determination processing, and the like. To do. Note that these data are registered in the inspection data storage unit 31 in advance by, for example, an inspection business administrator. Hereinafter, these data are also referred to as inspection data.
データ送受信手段32は、具体的には、プログラムに従って動作するCPUによって実現される。データ送受信手段32は、通信手段38を用いて、検査データ記憶手段31が記憶する検査データを、ネットワーク100を介してウェアラブル端末20に送信する機能を備えている。また、データ送受信手段32は、通信手段38を用いて、ウェアラブル端末20がネットワーク100を介して送信する撮影データを受信する機能を備えている。   Specifically, the data transmission / reception means 32 is realized by a CPU that operates according to a program. The data transmission / reception unit 32 has a function of transmitting the inspection data stored in the inspection data storage unit 31 to the wearable terminal 20 via the network 100 using the communication unit 38. Further, the data transmission / reception means 32 has a function of receiving photographing data transmitted from the wearable terminal 20 via the network 100 using the communication means 38.
画像補正手段33は、具体的には、プログラムに従って動作する情報処理装置のCPUによって実現される。画像補正手段33は、カメラで撮影した映像を検査員の視界により近づけるために、ウェアラブル端末20から受信した撮影データを補正する機能を備えている。例えば、予めヘッドマウントディスプレイ装置10に配置されたカメラの位置と、ヘッドマウントディスプレイ装置10装着時の検査員の目の位置との誤差を補正するためのオフセット値を登録しておく。そして、画像補正手段33は、撮影データにオフセット値を演算することにより、検査員の視界に近くなるように画像を補正する。以下、画像補正手段33が補正した画像を視界画像データともいう。   Specifically, the image correction unit 33 is realized by a CPU of an information processing apparatus that operates according to a program. The image correcting unit 33 has a function of correcting the captured data received from the wearable terminal 20 in order to bring the video captured by the camera closer to the field of view of the inspector. For example, an offset value for correcting an error between the position of the camera arranged in the head mounted display device 10 and the eye position of the inspector when the head mounted display device 10 is mounted is registered in advance. Then, the image correcting unit 33 corrects the image so as to be close to the field of view of the inspector by calculating an offset value for the photographing data. Hereinafter, the image corrected by the image correcting unit 33 is also referred to as view image data.
検査箇所判定手段34は、具体的には、プログラムに従って動作する情報処理装置のCPUによって実現される。検査箇所判定手段34は、画像補正手段33が補正した視界画像データと、パターンデータとに基づいて、検査員の作業視界と検査範囲とが一致しているか否かを判定する機能を備えている。すなわち、検査員が、対象製品のうちの検査対象の範囲を見ている状態となっているか否かを判断する。検査範囲とは、対象製品のうちの検査箇所を全て含む範囲(全ての検査箇所を一望する範囲)である。   Specifically, the inspection location determination means 34 is realized by a CPU of an information processing apparatus that operates according to a program. The inspection location determination unit 34 has a function of determining whether the work field of view of the inspector matches the inspection range based on the view image data corrected by the image correction unit 33 and the pattern data. . That is, it is determined whether or not the inspector is in a state of looking at the range of the inspection target in the target product. The inspection range is a range including all inspection locations of the target product (a range over which all inspection locations are overlooked).
例えば、検査箇所判定手段34は、視界画像データと検査範囲判定用のパターンデータ(例えば、検査範囲の画像データ)とをマッチングし、類似度を算出する。そして、検査箇所判定手段34は、算出した類似度が予め定められた検査範囲判定用の閾値以上である場合に、検査員の作業視界と検査範囲とが一致していると判定する。   For example, the inspection location determination unit 34 matches the view image data and the pattern data for determining the inspection range (for example, image data of the inspection range), and calculates the similarity. Then, when the calculated similarity is equal to or greater than a predetermined inspection range determination threshold, the inspection location determination unit 34 determines that the work field of view of the inspector matches the inspection range.
また、検査箇所判定手段34は、視界画像データと、検査項目判定用のパターンデータとに基づいて、検査箇所に問題(例えば、部品の有無や取り付け場所の間違い等)があるか否かを判定する機能を備えている。   Further, the inspection location determination means 34 determines whether or not there is a problem in the inspection location (for example, the presence or absence of parts or an attachment location error) based on the view image data and the pattern data for determining the inspection item. It has a function to do.
例えば、検査箇所判定手段34は、視界画像データから検査箇所付近の部分画像データを抽出する。そして、検査箇所判定手段34は、抽出した部分画像データと検査項目判定用のパターンデータ(例えば、検査箇所に正しくビスが取り付けられている状態やシールが貼ってある状態を示す画像データ)とをマッチングし、類似度を算出する。そして、検査箇所判定手段34は、算出した類似度が予め定められた検査項目判定用の閾値以上である場合に、検査箇所に問題がないと判定する。また、検査箇所判定手段34は、算出した類似度が閾値未満である場合に、検査箇所に問題があると判定する。   For example, the inspection location determination unit 34 extracts partial image data near the inspection location from the view field image data. Then, the inspection location determination means 34 uses the extracted partial image data and the pattern data for inspection item determination (for example, image data indicating a state where a screw is correctly attached to the inspection location or a state where a sticker is attached). Match and calculate similarity. And the inspection location determination means 34 determines that there is no problem in the inspection location when the calculated similarity is equal to or greater than a predetermined inspection item determination threshold. Moreover, the inspection location determination means 34 determines that there is a problem in the inspection location when the calculated similarity is less than the threshold value.
また、逆に、例えば、検査箇所判定手段34は、部分画像データと、問題がある状態を示す異常検査項目判定用のパターンデータ(例えば、検査箇所のビスが外れている状態やシールが貼っていない状態を示す画像データ)との類似度を算出するようにしてもよい。この場合、検査箇所判定手段34は、算出した類似度が予め定められた異常検査項目判定用の閾値未満である場合に、検査箇所に問題がないと判定する。また、検査箇所判定手段34は、算出した類似度が予め定められた異常検査項目判定用の閾値以上である場合に、検査箇所に問題があると判定する。   On the other hand, for example, the inspection location determination means 34 is attached with partial image data and pattern data for determining abnormal inspection items indicating a problem state (for example, a state where a screw at the inspection location is removed or a sticker is attached. The degree of similarity with the image data indicating a non-existing state may be calculated. In this case, the inspection location determination unit 34 determines that there is no problem in the inspection location when the calculated similarity is less than a predetermined abnormality inspection item determination threshold. The inspection location determination means 34 determines that there is a problem in the inspection location when the calculated similarity is greater than or equal to a predetermined abnormality inspection item determination threshold.
例えば、検査箇所判定手段34は、いずれか一方または両方のパターンデータとの比較によって検査箇所に問題がないと判定した場合に、それを最終的な判定結果とするようにしてもよい。また、例えば、上記の2つのパターンデータを組み合わせて用いてもよい。この場合、例えば、いずれか一方または両方のパターンデータとの比較によって検査箇所に問題があると判定した場合に、それを最終的な判定結果とするようにしてもよい。   For example, when the inspection location determination unit 34 determines that there is no problem in the inspection location by comparison with one or both of the pattern data, it may be used as the final determination result. Further, for example, the above two pattern data may be used in combination. In this case, for example, when it is determined that there is a problem in the inspection portion by comparison with one or both of the pattern data, it may be used as a final determination result.
また、例えば、予め検査対象の製品等にバーコードを付しておくようにしてもよい。この場合、検査箇所判定手段34は、視界画像データからバーコードを抽出し、抽出したバーコードと検査範囲判定用のバーコードとが一致するか否かを判断し、一致する場合に検査員の作業視界と検査範囲とが一致していると判定する。なお、予め検査対象の製品等に複数のバーコードを付しておき、検査箇所判定手段34は、それぞれ検査範囲判定用のバーコードと一致するか否かを判断することで、検査員の作業視界と検査範囲とが一致しているか否かを判定してもよい。   Further, for example, a barcode may be attached to a product to be inspected in advance. In this case, the inspection location determination means 34 extracts a barcode from the field-of-view image data, determines whether or not the extracted barcode matches the barcode for inspection range determination, and if they match, It is determined that the work field of view matches the inspection range. A plurality of barcodes are attached to the product to be inspected in advance, and the inspection point determination means 34 determines whether or not it matches the barcode for determining the inspection range. It may be determined whether or not the field of view matches the inspection range.
また、例えば、予めビスやシール等にバーコードを付しておくようにしてもよい。この場合、検査箇所判定手段34は、視界画像データからビスに付されたバーコードを抽出し、抽出したバーコードと、検査データ記憶手段31が記憶する検査箇所に対応づけられたバーコードとが一致するか否かを判定する。そして、一致する場合には、検査箇所判定手段34は、所定の検査箇所にビスが存在するため、検査箇所に問題がないと判定する。   Further, for example, a bar code may be attached to a screw or a seal in advance. In this case, the inspection location determination unit 34 extracts the barcode attached to the screw from the view image data, and the extracted barcode and the barcode associated with the inspection location stored in the inspection data storage unit 31 are obtained. It is determined whether or not they match. If they match, the inspection location determination means 34 determines that there is no problem in the inspection location because there is a screw at the predetermined inspection location.
なお、検査箇所判定手段34は、検査箇所付近の部分画像データを抽出することなく、視界画像データ全体と検査項目判定用のパターンデータとの類似度を算出し、類似度が閾値以上である場合に、検査箇所に問題がないと判定するようにしてもよい。この場合、検査対象製品の各検査箇所の異常の有無を個別に検出することはできないが、検査対象製品全体として何らかの異常があるか否かを大まかに検出することができる。   The inspection location determination means 34 calculates the similarity between the entire view image data and the pattern data for inspection item determination without extracting partial image data in the vicinity of the inspection location, and the similarity is greater than or equal to the threshold value. In addition, it may be determined that there is no problem in the inspection location. In this case, it is not possible to individually detect the presence / absence of abnormality in each inspection portion of the inspection target product, but it is possible to roughly detect whether there is any abnormality in the entire inspection target product.
また、検査箇所判定手段34は、上記の判定結果をウェアラブル端末20に送信する機能を備えている。また、検査箇所判定手段34は、判定結果を検査結果記憶手段37に記憶させる機能を備えている。   The inspection location determination unit 34 has a function of transmitting the determination result to the wearable terminal 20. The inspection location determination unit 34 has a function of storing the determination result in the inspection result storage unit 37.
目視検査判定手段35は、具体的には、プログラムに従って動作する情報処理装置のCPUによって実現される。目視検査判定手段35は、視界画像データと検査箇所ごとに用意されている目視検査判定用のパターンデータとに基づいて、目視検査が正しく行われたか否かを判定する機能を備えている。なお、目視検査とは、検査員が所定の検査箇所を目視して問題があるか否かを確認するものである。   Specifically, the visual inspection determination unit 35 is realized by a CPU of an information processing apparatus that operates according to a program. The visual inspection determination unit 35 has a function of determining whether the visual inspection is correctly performed based on the visual field image data and the pattern data for visual inspection determination prepared for each inspection location. In the visual inspection, an inspector visually checks a predetermined inspection portion to check whether there is a problem.
例えば、検査員が検査対象製品中の特定の検査箇所に視点を移すと、目視検査判定手段35は、視界画像データから検査員の視点となる部分の部分画像データを抽出し、抽出した部分画像データと、目視検査判定用のパターンデータ(検査箇所ごとの画像データ)との類似度を算出する。そして、算出した類似度が所定の閾値以上である場合に、目視検査判定手段35は、検査員の視点と検査箇所とが一致していると判定する。   For example, when the inspector moves the viewpoint to a specific inspection location in the product to be inspected, the visual inspection determination unit 35 extracts the partial image data of the portion serving as the inspector's viewpoint from the view image data, and extracts the extracted partial image. The similarity between the data and the pattern data for visual inspection determination (image data for each inspection location) is calculated. When the calculated similarity is equal to or greater than a predetermined threshold value, the visual inspection determination unit 35 determines that the inspector's viewpoint matches the inspection location.
次いで、目視検査判定手段35は、検査員の視点と検査箇所とが一致していると判定した後に、一致した状態のまま所定期間(例えば、3秒間)経過した場合に、目視検査が正しく行われたと判定する。例えば、目視検査判定手段35は、所定期間経過後に再度視界画像データから検査員の視点となる部分の部分画像データを抽出し、抽出した部分画像データと検査箇所の画像データとの類似度が閾値以上である場合に、一致した状態のままであると判定する。なお、一致した状態の所定期間については、3秒間に限らず、それ以上でも以下でもよい。また、例えば、本実施形態では、所定時間(例えば、3秒間)の計測開始時と計測終了時とにパターンデータを用いたマッチング処理を行う場合を示しているが、このような方法にかぎらず、例えば、計測開始から計測終了までの間に複数回マッチング処理を行ってもよい。   Next, the visual inspection determination unit 35 determines that the inspector's viewpoint matches the inspection location, and then performs the visual inspection correctly when a predetermined period (for example, 3 seconds) elapses while maintaining the same state. Judge that it was broken. For example, the visual inspection determination unit 35 extracts the partial image data of the portion serving as the inspector's viewpoint from the view image data again after a predetermined period, and the similarity between the extracted partial image data and the image data of the inspection portion is a threshold value. In the case of the above, it is determined that the matching state remains. Note that the predetermined period of matching state is not limited to 3 seconds, and may be longer or shorter. For example, in the present embodiment, a case is shown in which matching processing using pattern data is performed at the start of measurement and at the end of measurement for a predetermined time (for example, 3 seconds). However, the present invention is not limited to this method. For example, the matching process may be performed a plurality of times between the start of measurement and the end of measurement.
目視検査判定手段35は、上記の処理を、検査員がきちんと製品の検査箇所を目視して確認しているかを判断し、記録するために行う。つまり、ヘッドマウントディスプレイ装置に搭載されたカメラが撮影した映像に検査データ記憶手段31に登録されている検査箇所が数秒間映っているか否かを判断し、数秒間動かずに映っていれば、検査員が確実に目視検査を行っていると判断することができる。   The visual inspection determination means 35 performs the above-described processing to determine and record whether or not the inspector has visually confirmed the inspection portion of the product. That is, it is determined whether or not the inspection location registered in the inspection data storage means 31 is reflected for a few seconds in the video taken by the camera mounted on the head-mounted display device. It can be determined that the inspector is surely conducting visual inspection.
目視検査判定手段35は、判定結果をウェアラブル端末20に送信する機能を備えている。また、目視検査判定手段35は、判定結果を検査結果記憶手段37に記憶させる機能を備えている。   The visual inspection determination unit 35 has a function of transmitting the determination result to the wearable terminal 20. The visual inspection determination unit 35 has a function of storing the determination result in the inspection result storage unit 37.
ハンドジェスチャー判定手段36は、具体的には、プログラムに従って動作する情報処理装置のCPUによって実現される。ハンドジェスチャー判定手段36は、撮影データとハンドジェスチャー用のパターンデータとに基づいて、所定のハンドジェスチャーが行われたか否かを判定する機能を備えている。なお、所定のハンドジェスチャーとは、具体的には、検査対象製品の検査箇所を実際に指などで触って確認する接触検査のことである。   Specifically, the hand gesture determination unit 36 is realized by a CPU of an information processing apparatus that operates according to a program. The hand gesture determination means 36 has a function of determining whether or not a predetermined hand gesture has been performed based on the shooting data and the pattern data for hand gesture. The predetermined hand gesture is, specifically, a contact inspection in which an inspection location of a product to be inspected is actually touched with a finger or the like.
例えば、ハンドジェスチャー判定手段36は、視界画像データから検査員の視点となる部分の部分画像データを抽出し、抽出した部分画像データと、予め定められたハンドジェスチャー判定用のパターンデータ(検査箇所ごとの画像データ)との類似度を算出する。そして、算出した類似度が所定の閾値以上である場合に、ハンドジェスチャー判定手段36は、検査員の視点と検査箇所とが一致していると判定する。   For example, the hand gesture determination means 36 extracts partial image data of a portion that becomes the inspector's viewpoint from the view image data, and extracts the extracted partial image data and predetermined hand gesture determination pattern data (for each inspection location). The degree of similarity with the image data) is calculated. When the calculated similarity is equal to or greater than a predetermined threshold value, the hand gesture determination unit 36 determines that the inspector's viewpoint matches the inspection location.
次いで、ハンドジェスチャー判定手段36は、検査員の視点と検査箇所とが一致していると判定した後に、視界画像データから検査箇所周辺の部分画像データ(例えば、検査箇所に指で接触を開始した画像)を抽出する。   Next, after determining that the inspector's viewpoint matches the inspection location, the hand gesture determination means 36 starts partial contact with the image around the inspection location from the view image data (for example, contact with the inspection location with a finger) Image).
次いで、ハンドジェスチャー判定手段36は、抽出した部分画像データと、動作前のハンドジェスチャーのパターンデータ(例えば、後述する図10に示す検査員の手が検査箇所付近に伸びている状態の画像データ)とが一致するか否かを判定する。例えば、ハンドジェスチャー判定手段36は、類似度を算出し、算出した類似度が閾値以上である場合に、一致すると判定する。   Next, the hand gesture determination means 36 extracts the extracted partial image data and the pattern data of the hand gesture before the operation (for example, image data in a state where the hand of the inspector shown in FIG. Is matched. For example, the hand gesture determination unit 36 calculates the similarity, and determines that they match when the calculated similarity is equal to or greater than a threshold value.
次いで、一致すると判定すると、ハンドジェスチャー判定手段36は、所定期間経過後の視界画像データから検査箇所周辺の部分画像データ(例えば、検査箇所に指で接触しながら所定の検査動作をし終えた画像)を抽出する。   Next, when it is determined that they coincide with each other, the hand gesture determination unit 36 determines partial image data around the inspection location from the view image data after the predetermined period has elapsed (for example, an image that has been subjected to a predetermined inspection operation while touching the inspection location with a finger). ).
次いで、ハンドジェスチャー判定手段36は、抽出した部分画像データと、動作後のハンドジェスチャーのパターンデータ(例えば、後述する図11に示す検査員の指が検査箇所に触れている状態の画像データ)とが一致するか否かを判定する。例えば、ハンドジェスチャー判定手段36は、類似度を算出し、算出した類似度が閾値以上である場合に、一致すると判定する。   Next, the hand gesture determination means 36 extracts the extracted partial image data, and the pattern data of the hand gesture after the operation (for example, image data in a state where the finger of the inspector shown in FIG. It is determined whether or not. For example, the hand gesture determination unit 36 calculates the similarity, and determines that they match when the calculated similarity is equal to or greater than a threshold value.
なお、例えば、目視検査判定手段35による目視検査判定と同様に、ハンドジェスチャー判定手段36は、検査箇所に触れている状態が所定時間継続しているか否かも判定するようにしてもよい。そして、検査箇所に触れている状態が所定時間継続している場合に、正しくハンドジェスチャーによる検査が行われたと判定するようにしてもよい。   For example, similarly to the visual inspection determination by the visual inspection determination means 35, the hand gesture determination means 36 may determine whether or not the state of touching the inspection location continues for a predetermined time. Then, when the state of touching the inspection location has continued for a predetermined time, it may be determined that the inspection by the hand gesture has been performed correctly.
以上の処理により、ある時点とそこから所定期間経過後の時点とで、特定した部分の画像データとパターンデータとが一致すると判定した場合に、ハンドジェスチャー判定手段36は、所定のハンドジェスチャーが行われたと判定する。   By the above processing, when it is determined that the image data of the specified portion and the pattern data match at a certain time point and a time point after the lapse of a predetermined period, the hand gesture determination means 36 performs the predetermined hand gesture. Judge that it was broken.
なお、判定処理の精度を高めるために、例えば、ハンドジェスチャーの動作前後に限らず、上記の処理を複数回繰り返し、動作の途中の形状についても判定するようにしてもよい。また、指等を用いた接触検査を行う場合に限らず、例えば、指等が入らないようなスペースの検査を行う場合には、指し棒等の検査用の治具を用いて接触検査を行う場合の判定に適用してもよい。なお、この場合には、判定を容易にするために、予め定められた治具を用いるようにすることが好ましい。   In addition, in order to improve the accuracy of the determination process, for example, the above process may be repeated a plurality of times without being limited to before and after the hand gesture operation, and the shape during the operation may be determined. Moreover, not only when performing a contact inspection using a finger or the like, but when performing an inspection of a space where a finger or the like does not enter, for example, a contact inspection is performed using an inspection jig such as a pointer. You may apply to the determination of a case. In this case, it is preferable to use a predetermined jig for easy determination.
また、ハンドジェスチャー判定手段36は、例えば、音声入出力手段13が収集したジェスチャー時に検査員が発した声の音声データと、予め定められた音声データとに基づいて、所定のハンドジェスチャーが行われたか否かを判定するようにしてもよい。   In addition, the hand gesture determination unit 36 performs a predetermined hand gesture based on, for example, voice data of a voice uttered by an inspector during a gesture collected by the voice input / output unit 13 and predetermined voice data. It may be determined whether or not.
ハンドジェスチャー判定手段36は、判定結果をウェアラブル端末20に送信する機能を備えている。また、ハンドジェスチャー判定手段36は、判定結果を検査結果記憶手段37に記憶させる機能を備えている。   The hand gesture determination unit 36 has a function of transmitting a determination result to the wearable terminal 20. In addition, the hand gesture determination unit 36 has a function of storing the determination result in the inspection result storage unit 37.
検査結果記憶手段37は、具体的には、光ディスク装置や磁気ディスク装置等の記憶装置によって実現される。検査結果記憶手段37は、検査箇所判定手段34、目視検査判定手段35及びハンドジェスチャー判定手段36の判定結果や、検査業務プロセスの履歴データを記憶する。検査結果記憶手段37は、例えば、誰が、いつ、どこで、どの製品の検査をどれだけの時間をかけて、検査を行ったか否か等を示すデータや、画像データを記憶する。   Specifically, the inspection result storage unit 37 is realized by a storage device such as an optical disk device or a magnetic disk device. The inspection result storage unit 37 stores the determination results of the inspection point determination unit 34, the visual inspection determination unit 35, and the hand gesture determination unit 36, and the history data of the inspection work process. The inspection result storage unit 37 stores, for example, data indicating whether, when, where, which product has been inspected for how long, and the like, and image data.
通信手段38は、有線通信や無線通信(無線LAN(802.11a/b/g/n)、3G、WiMAX、LTE等)に対応可能なモジュールによって実現され、ネットワーク100を介してウェアラブル端末20と通信を行う機能を備えている。   The communication unit 38 is realized by a module that can support wired communication and wireless communication (wireless LAN (802.11a / b / g / n), 3G, WiMAX, LTE, etc.). The communication unit 38 is connected to the wearable terminal 20 via the network 100. It has a function to communicate.
検査結果管理手段39は、具体的には、具体的には、プログラムに従って動作する情報処理装置のCPUによって実現される。検査結果管理手段39は、管理者の操作に従って、検査結果記憶手段37から各種検査結果の情報を抽出し出力(例えば、ディスプレイ装置等の表示装置に表示)する機能を備える。例えば、検査結果管理手段39は、検査結果記憶手段37から、検査員が検査範囲全体を見ているときの画像データや、特定の検査箇所を目視検査しているときの画像データ、ハンドジェスチャーによる検査を行っているときの画像データを抽出し、表示装置に表示する。また、例えば、検査結果管理手段39は、検査結果記憶手段37から、検査箇所判定手段34による判定結果(例えば、検査箇所毎の異常の有無の判定結果)や、目視検査判定手段35による判定結果(例えば、検査員が検査箇所毎に正しく目視検査を行ったか否かの判定結果)、ハンドジェスチャー判定手段37による判定結果(例えば、検査員が正しくハンドジェスチャーによる検査を行ったか否かの判定結果)を抽出し、表示装置に表示する。   Specifically, the inspection result management means 39 is realized by a CPU of an information processing apparatus that operates according to a program. The inspection result management unit 39 has a function of extracting and outputting (for example, displaying on a display device such as a display device) information on various inspection results from the inspection result storage unit 37 in accordance with the operation of the administrator. For example, the inspection result management unit 39 uses the image data when the inspector looks at the entire inspection range from the inspection result storage unit 37, the image data when the specific inspection portion is visually inspected, or the hand gesture. Image data at the time of inspection is extracted and displayed on a display device. In addition, for example, the inspection result management unit 39 determines from the inspection result storage unit 37 the determination result by the inspection point determination unit 34 (for example, the determination result of the presence or absence of abnormality for each inspection point) or the determination result by the visual inspection determination unit 35. (For example, the determination result of whether the inspector has correctly performed the visual inspection for each inspection location), the determination result by the hand gesture determination means 37 (for example, the determination result of whether the inspector has correctly performed the inspection by the hand gesture) ) Are extracted and displayed on the display device.
また、検査結果管理手段39は、検査結果記憶手段37が記憶する情報に基づいて統計処理を行い、検査作業における各種統計データを求める機能を備える。例えば、検査結果管理手段39は、検査結果記憶手段37が記憶する検査箇所判定手段34による判定結果を統計し、検査対象製品中の検査箇所毎の異常の発生頻度の統計値を求める。また、例えば、検査結果管理手段39は、検査結果記憶手段37が記憶する目視検査判定手段35による判定結果やハンドジェスチャー判定手段37による判定結果を統計し、作業員毎の目視検査やハンドジェスチャーによる検査の作業漏れの頻度の統計値を求める。   The inspection result management means 39 has a function of performing statistical processing based on information stored in the inspection result storage means 37 and obtaining various statistical data in the inspection work. For example, the inspection result management unit 39 statistically determines the determination result by the inspection point determination unit 34 stored in the inspection result storage unit 37 and obtains a statistical value of the occurrence frequency of abnormality for each inspection point in the inspection target product. Further, for example, the inspection result management unit 39 statistically determines the determination result by the visual inspection determination unit 35 and the determination result by the hand gesture determination unit 37 stored in the inspection result storage unit 37, and by the visual inspection or hand gesture for each worker. Obtain statistics on the frequency of inspection work leaks.
次に、確認業務支援システムの動作について説明する。図2は、確認業務支援システムが実行する処理例を示すシーケンス図である。なお、予め検査対象の製品情報をサーバ装置30に登録しているものとする。   Next, the operation of the confirmation job support system will be described. FIG. 2 is a sequence diagram illustrating an example of processing executed by the confirmation job support system. It is assumed that product information to be inspected is registered in the server device 30 in advance.
検査作業を開始するにあたって、検査員は、ヘッドマウントディスプレイ装置10を装着し、ウェアラブル端末20を用いて検査データを取得するための操作を行う。すると、ウェアラブル端末20(データ送受信手段21)は、検査員の操作に従って、ネットワーク100を介してサーバ装置30に検査用データの取得要求を送信する(ステップS1)。   In starting the inspection work, the inspector wears the head-mounted display device 10 and performs an operation for acquiring inspection data using the wearable terminal 20. Then, the wearable terminal 20 (data transmission / reception means 21) transmits an acquisition request for inspection data to the server device 30 via the network 100 in accordance with the operation of the inspector (step S1).
次いで、サーバ装置30(データ送受信手段32)は、受信した取得要求に基づいて、検査データ記憶手段31から検査データを抽出し、ネットワーク100を介してウェアラブル端末20に送信する(ステップS2)。本実施形態では、データ送受信手段32が検査データ記憶手段31から抽出する検査データには、図8に示すような検査対象の製品情報等を表示するための画像データが含まれているものとする。   Next, the server device 30 (data transmission / reception means 32) extracts the inspection data from the inspection data storage means 31 based on the received acquisition request, and transmits it to the wearable terminal 20 via the network 100 (step S2). In the present embodiment, it is assumed that the inspection data extracted from the inspection data storage unit 31 by the data transmitting / receiving unit 32 includes image data for displaying product information or the like to be inspected as shown in FIG. .
図8は、検査データの一例を示す説明図である。図8の左側の領域には、検査範囲のサンプル画像が表示され、右側には、作業手順等のマニュアルデータが表示される。検査作業中を通じて、検査員は、表示される作業手順に従って検査を行う。   FIG. 8 is an explanatory diagram showing an example of inspection data. In the left area of FIG. 8, the sample image of the inspection range is displayed, and on the right side, manual data such as work procedures are displayed. Throughout the inspection work, the inspector performs the inspection according to the displayed work procedure.
次いで、ウェアラブル端末20(データ送受信手段21)は、受信した検査データをヘッドマウントディスプレイ装置10に出力する。すると、ヘッドマウントディスプレイ装置10(映像表示手段11)は、ウェアラブル端末20が出力した検査データを検査員の網膜に照射して表示する(ステップS3)。   Next, the wearable terminal 20 (data transmission / reception means 21) outputs the received inspection data to the head mounted display device 10. Then, the head mounted display device 10 (video display means 11) irradiates and displays the inspection data output from the wearable terminal 20 on the retina of the inspector (step S3).
図9は、映像表示手段11が検査データを表示している状態での検査員の視界の一例を示す説明図である。図9に示すように、検査員が実際に見ている視界内に、検査データを重ね合わせて表示する。そのため、検査員は、視界の一部に図8の画像データを認識することができる。   FIG. 9 is an explanatory diagram showing an example of the field of view of the inspector in a state where the video display means 11 displays the inspection data. As shown in FIG. 9, the inspection data is superimposed and displayed in the field of view actually viewed by the inspector. Therefore, the inspector can recognize the image data of FIG. 8 in a part of the field of view.
なお、非透過型のヘッドマウントディスプレイ装置の場合、外部画像と検査データとを重畳表示してもよい。また、このとき、音声入出力手段13は、検査データに含まれる検査内容を示す音声データを再生するようにしてもよい。   In the case of a non-transmissive head-mounted display device, an external image and inspection data may be displayed in a superimposed manner. At this time, the voice input / output means 13 may reproduce the voice data indicating the examination content included in the examination data.
次いで、検査員は、ヘッドマウントディスプレイ装置を用いて撮影開始の操作を行うとともに、表示された検査範囲に合うように、頭を動かして視野を調整する。すると、ヘッドマウントディスプレイ装置10(映像入力手段12)は、撮影を開始し、撮影データをウェアラブル端末20に出力する(ステップS4)。そして、ウェアラブル端末20(データ送受信手段21)は、ネットワーク100を介して、撮影データをサーバ装置30に送信する。なお、これ以降、映像入力手段12は、継続して撮影を行うものとする。また、ウェアラブル端末20(データ送受信手段21)は、継続して撮影データをサーバ装置30に送信するものとする。   Next, the inspector performs an operation to start photographing using the head mounted display device, and adjusts the visual field by moving the head so as to fit the displayed examination range. Then, the head mounted display device 10 (video input means 12) starts photographing and outputs photographing data to the wearable terminal 20 (step S4). The wearable terminal 20 (data transmission / reception means 21) transmits the captured data to the server device 30 via the network 100. Note that, thereafter, the video input unit 12 continuously performs shooting. The wearable terminal 20 (data transmission / reception means 21) is assumed to continuously transmit photographing data to the server device 30.
なお、ヘッドマウントディスプレイ装置は、検査データの表示を開始したことに基づいて、自動的に撮影を開始してもよいし、検査員が手動で操作することによって、任意のタイミングで撮影を開始するようにしてもよい。   Note that the head-mounted display device may automatically start imaging based on the start of display of inspection data, or start imaging at an arbitrary timing by manual operation by an inspector. You may do it.
次いで、画像補正手段33は、受信した撮影データを補正する(ステップS5)。例えば、予めヘッドマウントディスプレイ装置10に配置されたカメラの位置と、ヘッドマウントディスプレイ装置10装着時の検査員の目の位置との誤差を補正するためのオフセット値を登録しておく。そして、画像補正手段33は、撮影データにオフセット値を演算することにより、検査員の視界に近くなるように画像を補正する。   Next, the image correcting unit 33 corrects the received shooting data (step S5). For example, an offset value for correcting an error between the position of the camera arranged in the head mounted display device 10 and the eye position of the inspector when the head mounted display device 10 is mounted is registered in advance. Then, the image correcting unit 33 corrects the image so as to be close to the field of view of the inspector by calculating an offset value for the photographing data.
なお、ステップS5の処理については、本システムにおいて必須の処理ではないが、補正処理を実行することによって検査員の視界と検査範囲とを一致させることができ、後述する各判定処理の精度を高めることができる。   In addition, although the process of step S5 is not an essential process in the present system, the field of view of the inspector and the inspection range can be matched by executing the correction process, and the accuracy of each determination process described later is increased. be able to.
次いで、検査箇所判定手段34は、補正した撮影データと、検査データ記憶手段31が記憶する各種パターンデータとに基づいて、検査箇所に問題があるか否かを判定し、判定結果をウェアラブル端末20に送信する(ステップS6)。なお、検査箇所の判定処理の詳細については後述する。   Next, the inspection location determination means 34 determines whether or not there is a problem in the inspection location based on the corrected imaging data and the various pattern data stored in the inspection data storage means 31, and the determination result is the wearable terminal 20. (Step S6). Details of the inspection location determination process will be described later.
次いで、ウェアラブル端末20のデータ送受信手段21は、受信した判定結果をヘッドマウントディスプレイ装置10に出力する。すると、ヘッドマウントディスプレイ装置10の映像表示手段11は、判定結果を検査員の網膜に照射して表示する(ステップS7)。   Next, the data transmitting / receiving unit 21 of the wearable terminal 20 outputs the received determination result to the head mounted display device 10. Then, the image display means 11 of the head mounted display device 10 irradiates and displays the determination result on the retina of the inspector (step S7).
このように、サーバ装置30は、受信した撮影データの画像認識・判定を行い、予め登録された画像と異なる点(例えば、図8に示す危険防止シールが貼ってない、左のネジが無い)があれば、検査箇所に問題があると判定する。そして、サーバ装置30は、ネットワーク100を介して、ウェアラブル端末20に判定結果を送信する。   In this way, the server device 30 performs image recognition / determination of the received shooting data, and is different from a pre-registered image (for example, the danger prevention seal shown in FIG. 8 is not affixed, and there is no left screw). If there is, it is determined that there is a problem in the inspection location. Then, the server device 30 transmits the determination result to the wearable terminal 20 via the network 100.
その後、ヘッドマウントディスプレイ装置10は、ウェアラブル端末20が受信した判定結果を検査員の網膜に照射して表示する。ヘッドマウントディスプレイ装置10は、検査箇所に問題ないという判定結果の場合には、例えば、検査箇所に問題ないことを示すメッセージを表示する。   Thereafter, the head mounted display device 10 displays the determination result received by the wearable terminal 20 by irradiating the retina of the inspector. In the case of the determination result that there is no problem in the inspection location, the head mounted display device 10 displays a message indicating that there is no problem in the inspection location, for example.
また、例えば、問題があるという判定結果の場合には、ヘッドマウントディスプレイ装置10は、検査箇所に問題があることを示すメッセージとともに、問題がある検査箇所を検査範囲のサンプル画像中において点滅表示等で強調して表示する。そのようにすることで、異常表示された箇所について、検査員の注目を向けさせることができ、異常個所の見落としを防止できる。   In addition, for example, in the case of a determination result that there is a problem, the head mounted display device 10 displays a message indicating that there is a problem in the inspection location and blinks the inspection location in question in the sample image in the inspection range. Press to highlight. By doing so, the inspector's attention can be directed to the abnormally displayed location, and oversight of the abnormal location can be prevented.
検査員は、検査箇所に問題がないことをメッセージで確認すると、映像表示手段11が表示する検査データの指示に従って、目視検査を行う。例えば、検査員は、ヘッドマウントディスプレイ装置10に表示されているマニュアルの指示に従って、顔の向きを変えることで検査範囲のうちの製品の検査箇所(例えば、図8のCheck1、Check2、Check3)に順番に視点を移し、それぞれ3秒ずつ目視する。   When the inspector confirms that there is no problem in the inspection location with a message, the inspector performs a visual inspection according to the instruction of the inspection data displayed by the video display means 11. For example, the inspector changes the face direction according to the instructions of the manual displayed on the head mounted display device 10 to change the inspection position of the product (for example, Check1, Check2, and Check3 in FIG. 8) in the inspection range. Move the viewpoint in order, and watch for 3 seconds each.
このとき、映像入力手段12は、検査員の視界に近い映像を撮影し、撮影データをウェアラブル端末20に出力している。また、ウェアラブル端末20は、ネットワーク100を介して、サーバ装置30に撮影データを送信している。これらの処理は、ステップS4の時点から継続して行われているものである。   At this time, the video input unit 12 captures an image close to the field of view of the inspector and outputs the captured data to the wearable terminal 20. In addition, the wearable terminal 20 transmits imaging data to the server device 30 via the network 100. These processes are continuously performed from the time of step S4.
サーバ装置30の目視検査判定手段35は、画像補正手段33が補正した視界画像データと、検査データ記憶手段31が記憶する目視検査判定用のパターンデータとに基づいて、目視検査が正しく行われているか否かを判定する。そして、目視検査判定手段35は、判定結果をウェアラブル端末20に送信する(ステップS8)。なお、目視検査の判定処理の詳細については後述する。   The visual inspection determination unit 35 of the server device 30 performs the visual inspection correctly based on the field-of-view image data corrected by the image correction unit 33 and the pattern data for visual inspection determination stored in the inspection data storage unit 31. It is determined whether or not. And the visual inspection determination means 35 transmits a determination result to the wearable terminal 20 (step S8). The details of the visual inspection determination process will be described later.
次いで、ウェアラブル端末20(データ送受信手段21)は、受信した判定結果をヘッドマウントディスプレイ装置10に出力する。すると、ヘッドマウントディスプレイ装置10(映像表示手段11)は、判定結果を検査員の網膜に照射して表示する(ステップS9)。このとき、例えば、目視が正しく行われなかった場合には、映像表示手段11は、目視検査をやり直す旨の表示を行う。   Next, the wearable terminal 20 (data transmission / reception means 21) outputs the received determination result to the head mounted display device 10. Then, the head mounted display device 10 (video display means 11) irradiates and displays the determination result on the retina of the inspector (step S9). At this time, for example, when the visual inspection is not performed correctly, the video display unit 11 displays that the visual inspection is performed again.
最後に、検査員は、映像表示手段11が表示する検査データの指示(例えば、ヘッドマウントディスプレイ装置10に表示されているマニュアルの指示)に従って、ハンドジェスチャーにより、検査箇所(Check1、Check2、Check3)を指で指す。上述のように、このとき、映像入力手段12は、検査員の視界に近い映像を撮影し、撮影データをウェアラブル端末20に出力している。また、ウェアラブル端末20は、ネットワーク100を介して、サーバ装置30に撮影データを送信している。   Finally, the inspector performs inspection points (Check1, Check2, Check3) by hand gesture according to an instruction of inspection data displayed by the video display means 11 (for example, a manual instruction displayed on the head mounted display device 10). Point with your finger. As described above, at this time, the video input unit 12 captures an image close to the field of view of the inspector and outputs the captured data to the wearable terminal 20. In addition, the wearable terminal 20 transmits imaging data to the server device 30 via the network 100.
サーバ装置30のハンドジェスチャー判定手段36は、画像補正手段33が補正した視界画像データと、検査データ記憶手段31が記憶するハンドジェスチャー判定用のパターンデータとに基づいて、所定のハンドジェスチャーが正しく行われているか否かを判定する。そして、ハンドジェスチャー判定手段36は、判定結果をウェアラブル端末20に送信する(ステップS8)。なお、ハンドジェスチャーの判定処理の詳細については後述する。   The hand gesture determination unit 36 of the server device 30 correctly performs a predetermined hand gesture based on the view image data corrected by the image correction unit 33 and the pattern data for hand gesture determination stored in the inspection data storage unit 31. It is determined whether or not And the hand gesture determination means 36 transmits a determination result to the wearable terminal 20 (step S8). The details of the hand gesture determination process will be described later.
次いで、ウェアラブル端末20(データ送受信手段21)は、受信した判定結果をヘッドマウントディスプレイ装置10に出力する。その後、ヘッドマウントディスプレイ装置10(映像表示手段11)は、判定結果を検査員の網膜に照射して表示する(ステップS11)。このとき、例えば、ハンドジェスチャーが正しく行われなかった場合には、映像表示手段11は、ハンドジェスチャーをやり直す旨の表示を行う。   Next, the wearable terminal 20 (data transmission / reception means 21) outputs the received determination result to the head mounted display device 10. Thereafter, the head mounted display device 10 (video display means 11) irradiates and displays the determination result on the retina of the inspector (step S11). At this time, for example, when the hand gesture is not correctly performed, the video display unit 11 displays that the hand gesture is to be redone.
検査作業が完了すると、サーバ装置30は、検査作業の結果(誰が、いつ、どこで、どの製品の目視検査をどれだけの時間をかけて、検査を行ったか等の情報や、撮影データ等)を検査結果記憶手段37に記憶させる(ステップS12)。なお、例えば、記憶する容量が大きくなることを回避するために、撮影データの代わりに所定の代表的な画像データのみを記憶するようにしてもよい。   When the inspection work is completed, the server device 30 displays the result of the inspection work (information such as who, when, where, and how long it took the visual inspection of the product, and the photographing data). The result is stored in the inspection result storage unit 37 (step S12). For example, in order to avoid an increase in the storage capacity, only predetermined representative image data may be stored instead of shooting data.
例えば、検査員が予めウェアラブル端末20に自身の名前や検査場所等を示す情報を登録しておき、ウェアラブル端末20は、検査作業完了時にこれらの情報をサーバ装置30に送信するようにしてもよい。また、例えば、検査開始時にこれらの情報をサーバ装置30に登録しておき、サーバ装置30が、各判定処理が完了する度に、検査員の名前や検査場所、判定処理を行った時間を示す情報とともに、判定結果を検査結果記憶手段37に記憶させるようにしてもよい。   For example, an inspector may register information indicating his / her name, inspection location, and the like in the wearable terminal 20 in advance, and the wearable terminal 20 may transmit such information to the server device 30 when the inspection operation is completed. . Further, for example, the information is registered in the server device 30 at the start of the inspection, and the server device 30 indicates the name of the inspector, the inspection location, and the time when the determination processing is performed each time each determination processing is completed. The determination result may be stored in the inspection result storage unit 37 together with the information.
このように、検査作業の結果(誰が、いつ、どこで、どの製品の目視検査をどれだけの時間をかけて、検査を行ったか等の情報や、撮影データ等)を検査結果記憶手段37に記憶させることで、検査結果を後で活用することができる。例えば、検査結果の統計データを用いて、見落としやすい検査箇所等を特定し、予め注意喚起することもできる。この場合、例えば、検査結果管理手段39は、統計データとして、目視検査判定手段35による判定結果やハンドジェスチャー判定手段37による判定結果を統計して、検査員の検査の見落とし回数を求め、検査結果記憶手段37に記憶させておく。そして、検査結果管理手段39は、検査結果記憶手段37が統計データとして記憶する見落とし回数が所定の閾値を超えたか否かを判定し、所定の閾値を超えた場合には、検査員が見落としやすい検査箇所であると判定する。そして、検査結果管理手段39は、見落としやすい検査箇所である旨をヘッドマウントディスプレイ装置10に映像表示させたり、音声出力させたりする制御を行うことによって、予め検査員に注意喚起させることもできる。   As described above, the result of the inspection work (who, when, where, and how much time the product was subjected to the visual inspection, information such as the inspection time, photographing data, etc.) is stored in the inspection result storage means 37. By doing so, the inspection result can be utilized later. For example, it is possible to identify an inspection location that is easily overlooked by using statistical data of the inspection result and call attention beforehand. In this case, for example, the inspection result management unit 39 statistically determines the determination result by the visual inspection determination unit 35 or the determination result by the hand gesture determination unit 37 as statistical data, obtains the number of inspection oversights of the inspector, and the inspection result The information is stored in the storage unit 37. Then, the inspection result management means 39 determines whether or not the number of oversights stored as statistical data by the inspection result storage means 37 has exceeded a predetermined threshold, and if it exceeds the predetermined threshold, the inspector is likely to overlook. It is determined that it is an inspection location. Then, the inspection result management means 39 can alert the inspector in advance by performing control to display an image on the head mounted display device 10 or to output a sound to the effect that the inspection location is easily overlooked.
次いで、検査箇所の判定処理(図2のステップS6)について図3を用いて説明する。図3は、検査箇所判定手段34が実行する検査範囲判定処理の一例を示すフロー図である。   Next, the inspection location determination process (step S6 in FIG. 2) will be described with reference to FIG. FIG. 3 is a flowchart showing an example of the inspection range determination process executed by the inspection point determination unit 34.
図2のステップS5において画像補正手段33が撮影データを補正すると、検査箇所判定手段34は、画像補正手段33が補正した視界画像データと、検査範囲判定用のパターンデータ(例えば、図8に示すような検査範囲の画像データ)とをマッチングし、類似度を算出する(図3のステップS101)。なお、検査範囲判定用のパターンデータは、例えば、予め検査員等によって検査データ記憶手段31に登録されているものとする。   When the image correction unit 33 corrects the captured data in step S5 of FIG. 2, the inspection point determination unit 34 displays the field-of-view image data corrected by the image correction unit 33 and pattern data for inspection range determination (for example, as shown in FIG. 8). And the similarity is calculated (step S101 in FIG. 3). It is assumed that the pattern data for determining the inspection range is registered in the inspection data storage unit 31 by an inspector or the like in advance.
次いで、検査箇所判定手段34は、算出した類似度が予め定められた検査範囲判定用の閾値以上であるか否かを判定する(図3のステップS102)。   Next, the inspection location determination unit 34 determines whether or not the calculated similarity is greater than or equal to a predetermined inspection range determination threshold value (step S102 in FIG. 3).
ステップS102において、検査範囲判定用の閾値以上であると判定すると、検査箇所判定手段34は、検査員の作業視界と検査範囲とが一致していると判定する(図3のステップS103)。   If it is determined in step S102 that the inspection range determination threshold value is exceeded, the inspection location determination means 34 determines that the work field of view of the inspector matches the inspection range (step S103 in FIG. 3).
一方、ステップS102において、検査範囲判定用の閾値未満であると判定すると、検査箇所判定手段34は、検査員の作業視界と検査範囲とが一致していないと判定する(図3のステップS104)。そして、一致していなければ、検査箇所判定手段34は、正確に検査範囲を見るように指示情報をウェアラブル端末20に送信する。   On the other hand, if it is determined in step S102 that the inspection range is less than the threshold for determining the inspection range, the inspection location determination means 34 determines that the work field of view of the inspector does not match the inspection range (step S104 in FIG. 3). . If they do not match, the inspection point determination means 34 transmits the instruction information to the wearable terminal 20 so that the inspection range is accurately viewed.
次に、検査箇所に問題があるか否かを判定する処理について説明する。図4は、検査箇所判定手段34が実行する検査箇所判定処理の一例を示すフロー図である。   Next, a process for determining whether or not there is a problem in the inspection location will be described. FIG. 4 is a flowchart showing an example of the inspection location determination process executed by the inspection location determination means 34.
検査箇所判定手段34は、作業視界と検査範囲とが一致していると判定した後に、視界画像データから検査箇所付近の部分画像データを抽出する(図4のステップS111)。例えば、サーバ装置30が検査範囲内における各検査箇所の位置を示す座標データを予め記憶しておき、検査箇所判定手段34は、その座標データに従って、視界画像データから検査箇所付近の部分画像データを抽出する。   After determining that the work view matches the inspection range, the inspection location determination unit 34 extracts partial image data near the inspection location from the view image data (step S111 in FIG. 4). For example, the server device 30 stores in advance coordinate data indicating the position of each inspection location within the inspection range, and the inspection location determination means 34 obtains partial image data near the inspection location from the view image data according to the coordinate data. Extract.
次いで、検査箇所判定手段34は、抽出した部分画像データと、異常検査項目判定用のパターンデータ(例えば、検査箇所に正しく部品が取り付けられていない画像データ)とをマッチングし、類似度を算出する(図4のステップS112)。なお、異常検査項目判定用のパターンデータは、例えば、予め検査員等によって検査データ記憶手段31に登録されているものとする。   Next, the inspection location determination means 34 matches the extracted partial image data with pattern data for determining abnormal inspection items (for example, image data in which parts are not correctly attached to the inspection location), and calculates the similarity. (Step S112 in FIG. 4). Note that the pattern data for determining abnormal inspection items is registered in the inspection data storage unit 31 by an inspector or the like in advance.
次いで、検査箇所判定手段34は、算出した類似度が予め定められた異常検査項目判定用の閾値以上であるか否かを判定する(図4のステップS113)。   Next, the inspection location determination means 34 determines whether or not the calculated similarity is equal to or greater than a predetermined abnormality inspection item determination threshold (step S113 in FIG. 4).
ステップS113において異常検査項目判定用の閾値未満であると判定した場合、検査箇所判定手段34は、抽出した部分画像データと、検査項目判定用のパターンデータ(例えば、検査箇所に正しく部品が取り付けられている画像データ)とをマッチングし、類似度を算出する(図4のステップS114)。なお、検査項目判定用のパターンデータは、例えば、予め検査員等によって検査データ記憶手段31に登録されているものとする。   If it is determined in step S113 that it is less than the threshold value for abnormal inspection item determination, the inspection point determination means 34 and the extracted partial image data and pattern data for inspection item determination (for example, the part is correctly attached to the inspection point). And the similarity is calculated (step S114 in FIG. 4). It is assumed that the pattern data for inspection item determination is registered in the inspection data storage unit 31 by an inspector or the like in advance.
次いで、検査箇所判定手段34は、算出した類似度が予め定められた検査項目判定用の閾値以上であるか否か(例えば、90%以上であるか否か)を判定する(図4のステップS115)。   Next, the inspection location determination means 34 determines whether or not the calculated similarity is equal to or greater than a predetermined threshold for determining an inspection item (for example, whether or not it is 90% or more) (step in FIG. 4). S115).
ステップS115において検査項目判定用の閾値以上であると判定した場合、検査箇所判定手段34は、検査箇所に問題がないと判定する(図4のステップS116)。   If it is determined in step S115 that the inspection item determination threshold value is exceeded, the inspection location determination means 34 determines that there is no problem in the inspection location (step S116 in FIG. 4).
一方、ステップS113において異常検査項目判定用の閾値以上であると判定した場合、またはステップS115において検査項目判定用の閾値未満であると判定した場合には、検査箇所判定手段34は、検査箇所に問題があると判定する(図4のステップS117)。   On the other hand, if it is determined in step S113 that it is equal to or greater than the threshold for abnormal inspection item determination, or if it is determined in step S115 that it is less than the threshold for inspection item determination, the inspection location determination means 34 sets the inspection location. It is determined that there is a problem (step S117 in FIG. 4).
上記の処理によって、検査箇所判定手段34は、検査箇所に問題があるか否かを判定することができる。なお、ステップS112およびS113と、ステップS114およびステップS115の処理の順序を逆にしてもよい。また、本実施形態では、ステップS112,S113の判定処理とステップS114,S115の判定処理との両方を行う場合を説明したが、いずれか一方のみの判定処理を行ってもよい。また、本実施形態では、検査箇所判定手段34は、異常検査項目判定用の閾値以上である場合、又は検査項目判定用の閾値未満である場合のうちのいずれか一方の条件でも満たせば、検査箇所に問題があると判定する場合を示したが、本実施形態で示した判定方法にかぎられない。例えば、検査箇所判定手段34は、異常検査項目判定用の閾値以上である場合、及び検査項目判定用の閾値未満である場合の両方の条件を満たしたときに、検査箇所に問題があると判定するようにしてもよい。   By the above processing, the inspection location determination means 34 can determine whether there is a problem in the inspection location. Note that the processing order of steps S112 and S113 and steps S114 and S115 may be reversed. Moreover, although this embodiment demonstrated the case where both the determination process of step S112, S113 and the determination process of step S114, S115 were performed, you may perform the determination process of any one. Moreover, in this embodiment, the inspection location determination means 34 is inspected if any one of the conditions for the abnormality inspection item determination threshold or more or the inspection item determination threshold is less than the inspection item determination threshold is satisfied. Although the case where it is determined that there is a problem in the location has been shown, the determination method shown in the present embodiment is not limited. For example, the inspection location determination unit 34 determines that there is a problem in the inspection location when both conditions of the abnormality inspection item determination threshold or more and the inspection item determination threshold value are less than the inspection item determination threshold are satisfied. You may make it do.
また、例えば、検査員が検査範囲を見ているか否かや、各検査箇所の異常の有無をバーコードやQR(Quick Response)コード等のコード情報を用いて判定できるように構成してもよい。以下、図5を用いて予め検査対象の製品等にバーコードやQRコードを付しておく場合の処理について説明する。なお、バーコードやQRコードは、対象製品に取り付けられるべきビスやシール等の部品(検査箇所に相当)に予め付されているものとする。ただし、検査員が検査範囲を見ているか否かを判定するためだけに用いるために、検査箇所以外の場所にバーコードやQRコードが付されていてもよい。なお、QRコードは、株式会社デンソーの登録商標である。   Further, for example, it may be configured such that whether or not the inspector is looking at the inspection range and whether or not there is an abnormality in each inspection portion can be determined using code information such as a barcode or a QR (Quick Response) code. . Hereinafter, a process in the case where a bar code or a QR code is attached to a product to be inspected in advance will be described with reference to FIG. It is assumed that the bar code and the QR code are attached in advance to parts (corresponding to inspection points) such as screws and seals to be attached to the target product. However, since it is used only for determining whether or not the inspector is looking at the inspection range, a bar code or a QR code may be attached to a place other than the inspection portion. QR code is a registered trademark of Denso Corporation.
この場合、検査箇所判定手段34は、画像補正手段33が補正した視界画像データから検査箇所の部分画像データ(正しく部品等が装着されていれば、バーコードやQRコードが含まれる画像)を抽出する(図5のステップS121)。   In this case, the inspection location determination means 34 extracts partial image data of the inspection location (an image including a barcode or QR code if the parts are correctly mounted) from the view image data corrected by the image correction means 33. (Step S121 in FIG. 5).
次いで、検査箇所判定手段34は、抽出した部分画像データと検査範囲判定用のバーコードやQRコードを含む画像データとを比較する(図5のステップS122)。なお、検査範囲判定用のバーコードやQRコードを含む画像データは、例えば、予め検査員等によって検査データ記憶手段31に登録されているものとする。   Next, the inspection location determination means 34 compares the extracted partial image data with image data including an inspection range determination barcode or QR code (step S122 in FIG. 5). It is assumed that image data including an inspection range determination barcode and QR code is registered in the inspection data storage unit 31 by an inspector or the like in advance.
次いで、検査箇所判定手段34は、抽出したバーコードやQRコードの数や種類が、検査範囲判定用のバーコードやQRコードと一致するか否かを判定する(図5のステップS123)。具体的には、検査箇所判定手段34は、検査箇所毎に抽出した部分画像データと検査範囲判定用のバーコードやQRコードを含む画像データとの類似度を求め、類似度が所定の閾値以上であれば、その検査箇所に対応するバーコードやQRコードが検出されたと判定する。そして、検査箇所判定手段34は、検査範囲に含まれる全ての検査箇所に対応するバーコードやQRコードを検出したか否かを判定する。   Next, the inspection location determination means 34 determines whether or not the number and type of the extracted barcodes and QR codes match the barcodes and QR codes for inspection range determination (step S123 in FIG. 5). Specifically, the inspection location determination unit 34 obtains the similarity between the partial image data extracted for each inspection location and the image data including the barcode or QR code for determining the inspection range, and the similarity is equal to or greater than a predetermined threshold value. If so, it is determined that a barcode or QR code corresponding to the inspection location has been detected. And the inspection location determination means 34 determines whether the barcode and QR code corresponding to all the inspection locations included in the inspection range have been detected.
ステップS123において一致すると判定した場合には、検査箇所判定手段34は、検査員の作業視界と検査範囲とが一致していると判定する(図5のステップS124)。また、ステップS123において一致すると判定した場合には、例えば、検査箇所判定手段34は、検出したバーコードやQRコードに対応するビスやシール等の検査箇所に異常がないと判定する。   If it is determined in step S123 that they match, the inspection location determination means 34 determines that the work field of view of the inspector matches the inspection range (step S124 in FIG. 5). If it is determined in step S123 that they match, for example, the inspection location determination means 34 determines that there is no abnormality in the inspection location such as a screw or seal corresponding to the detected barcode or QR code.
ステップS124において一致しないと判定した場合には、検査箇所判定手段34は、検査員の作業視界と検査範囲とが一致していないと判定する(図5のステップS125)。また、ステップS124において一致しないと判定した場合には、例えば、検査箇所判定手段34は、検出されなかったバーコードやQRコードに対応するビスやシール等の検査箇所に異常があると判定する。   If it is determined in step S124 that they do not match, the inspection location determination means 34 determines that the work field of view of the inspector does not match the inspection range (step S125 in FIG. 5). If it is determined in step S124 that they do not match, for example, the inspection location determination means 34 determines that there is an abnormality in the inspection location such as a screw or a seal corresponding to the barcode or QR code that has not been detected.
以上の処理によって、検査箇所判定手段34は、検査員の作業視界と検査範囲とが一致しているか否かを判定し、さらに、検査箇所に問題があるか否かを判定することができる。   Through the above processing, the inspection location determination means 34 can determine whether the work field of view of the inspector matches the inspection range, and can further determine whether there is a problem in the inspection location.
次に、目視検査の判定処理(図2のステップS8)について図6を用いて説明する。図6は、目視検査判定手段35が実行する処理例を示すフロー図である。   Next, the visual inspection determination process (step S8 in FIG. 2) will be described with reference to FIG. FIG. 6 is a flowchart showing an example of processing executed by the visual inspection determination unit 35.
目視検査判定手段35は、検査員が特定の検査箇所に視点を移した後の視界画像データ(例えば、特定の検査箇所が画面のほぼ中心に位置している画像)と目視検査判定用のパターンデータとに基づいて、検査員の視点と検査箇所とが一致しているか否かを判定する(図6のステップS201)。目視検査判定用のパターンデータには、例えば、検査箇所ごとの画像データや、特定の検査箇所を中心とする画像データ等を用いることができる。なお、目視検査判定用のパターンデータは、例えば、予め検査員等によって検査データ記憶手段31に登録されているものとする。   The visual inspection determination means 35 is a visual inspection image data (for example, an image in which the specific inspection portion is located at the approximate center of the screen) after the inspector moves the viewpoint to the specific inspection portion, and a pattern for visual inspection determination. Based on the data, it is determined whether or not the inspector's viewpoint matches the inspection location (step S201 in FIG. 6). As pattern data for visual inspection determination, for example, image data for each inspection location, image data centered on a specific inspection location, or the like can be used. It is assumed that the pattern data for visual inspection determination is registered in the inspection data storage unit 31 by an inspector or the like in advance.
例えば、目視検査判定手段35は、視界画像データから検査員の視点となる部分の部分画像データ(例えば、視界画像データ中の中心付近の特定の検査箇所が含まれる部分の画像)を抽出し、抽出した部分画像データと、目視検査判定用のパターンデータ(検査箇所ごとの画像データ)との類似度を算出する。そして、算出した類似度が所定の閾値以上である場合に、目視検査判定手段35は、検査員の視点と検査箇所とが一致していると判定する。   For example, the visual inspection determination unit 35 extracts partial image data of a portion serving as an inspector's viewpoint from the view image data (for example, an image of a portion including a specific inspection portion near the center in the view image data), The degree of similarity between the extracted partial image data and the pattern data for visual inspection determination (image data for each inspection location) is calculated. When the calculated similarity is equal to or greater than a predetermined threshold value, the visual inspection determination unit 35 determines that the inspector's viewpoint matches the inspection location.
なお、この場合、目視検査判定手段35は、部分画像データを抽出することなく、視界画像データ全体をパターンデータとマッチング処理して類似度を算出してもよい。ただし、検査員の視点が特定の検査箇所中心に移動した後であっても、視界画像データ中に他の検査箇所が含まれている場合もあるため、検査員が注視している検査箇所周辺の部分画像データを切り出してマッチング処理を行うことによって、より精度を高めることができる。   In this case, the visual inspection determination unit 35 may calculate the similarity by matching the entire view image data with the pattern data without extracting the partial image data. However, even after the inspector's viewpoint has moved to the center of a specific inspection location, other inspection locations may be included in the field of view image data. The accuracy can be further improved by cutting out the partial image data and performing the matching process.
ステップS201において一致していると判定した場合、目視検査判定手段35は、検査員の視点と検査箇所とが一致した状態のまま、所定時間(例えば、3秒)経過したか否かを判定する(図6のステップS202)。   If it is determined in step S201 that they match, the visual inspection determination means 35 determines whether a predetermined time (for example, 3 seconds) has passed while the inspector's viewpoint and the inspection location match. (Step S202 in FIG. 6).
具体的には、目視検査判定手段35は、予め登録されている製品等の検査箇所Check1、Check2、Check3が、それぞれ撮影データに所定時間記録されているか否かを判定する。例えば、目視検査判定手段35は、所定期間経過後に再度視界画像データから検査員の視点となる部分の部分画像データを抽出し、抽出した部分画像データと検査箇所の画像データとの類似度が閾値以上である場合に、一致した状態のままであると判定する。   Specifically, the visual inspection determination unit 35 determines whether or not inspection locations Check1, Check2, and Check3 such as products registered in advance are recorded in the photographing data for a predetermined time. For example, the visual inspection determination unit 35 extracts the partial image data of the portion serving as the inspector's viewpoint from the view image data again after a predetermined period, and the similarity between the extracted partial image data and the image data of the inspection portion is a threshold value. In the case of the above, it is determined that the matching state remains.
そして、所定時間経過したと判定すると、目視検査判定手段35は、目視検査が行われたと判定する(図6のステップS203)。   If it is determined that the predetermined time has elapsed, the visual inspection determination unit 35 determines that the visual inspection has been performed (step S203 in FIG. 6).
一方、ステップS201において検査員の視点と検査箇所とが一致していないと判定した場合、またはステップS202において所定期間経過しなかったと判定した場合には、目視検査判定手段35は、目視検査が行われていないと判定する(図6のステップS204)。その後、目視検査判定手段35は、上記の処理を検査箇所ごとに繰り返し行う。   On the other hand, if it is determined in step S201 that the inspector's viewpoint does not match the inspection location, or if it is determined in step S202 that the predetermined period has not elapsed, the visual inspection determination means 35 performs the visual inspection. It is determined that it is not broken (step S204 in FIG. 6). Thereafter, the visual inspection determination means 35 repeats the above processing for each inspection location.
以上の処理によって、目視検査判定手段35は、検査箇所ごとに目視検査が行われたか否かを判定することができる。つまり、目視検査判定手段35は、ヘッドマウントディスプレイ装置10に搭載されたカメラが撮影した映像に検査データ記憶手段31に登録されている検査箇所が数秒間映っているか否かを判断し、数秒間動かずに映っていれば、検査員が確実に目視検査を行っていると判断することができる。   Through the above processing, the visual inspection determination means 35 can determine whether or not a visual inspection has been performed for each inspection location. That is, the visual inspection determination means 35 determines whether or not the inspection location registered in the inspection data storage means 31 is reflected for several seconds in the video taken by the camera mounted on the head mounted display device 10, and for several seconds. If it appears without moving, it can be determined that the inspector is surely conducting visual inspection.
次に、ハンドジェスチャーの判定処理(図2のステップS10)について図7を用いて説明する。図7は、ハンドジェスチャー判定手段36が実行する処理例を示すフロー図である。   Next, the hand gesture determination process (step S10 in FIG. 2) will be described with reference to FIG. FIG. 7 is a flowchart showing an example of processing executed by the hand gesture determination unit 36.
ハンドジェスチャー判定手段36は、視界画像データとハンドジェスチャー用のパターンデータとに基づいて、検査員の視点と検査箇所とが一致しているか否かを判定する(図7のステップS301)。   The hand gesture determination means 36 determines whether or not the inspector's viewpoint matches the inspection location based on the view image data and the pattern data for hand gesture (step S301 in FIG. 7).
例えば、ハンドジェスチャー判定手段36は、視界画像データから検査員の視点となる部分の部分画像データを抽出し、抽出した部分画像データと、ハンドジェスチャー判定用のパターンデータ(検査箇所ごとの画像データ)との類似度を算出する。そして、算出した類似度が所定の閾値以上である場合に、ハンドジェスチャー判定手段36は、検査員の視点と検査箇所とが一致していると判定する。なお、ハンドジェスチャー用のパターンデータは、例えば、予め検査員等によって検査データ記憶手段31に登録されているものとする。   For example, the hand gesture determination means 36 extracts partial image data of a portion that becomes the inspector's viewpoint from the view image data, and extracts the extracted partial image data and pattern data for hand gesture determination (image data for each inspection location). The similarity is calculated. When the calculated similarity is equal to or greater than a predetermined threshold value, the hand gesture determination unit 36 determines that the inspector's viewpoint matches the inspection location. It is assumed that the pattern data for hand gesture is registered in advance in the inspection data storage means 31 by an inspector or the like, for example.
なお、この場合、ハンドジェスチャー判定手段36は、部分画像データを抽出することなく、視界画像データ全体をパターンデータとマッチング処理して類似度を算出してもよい。ただし、検査員の視点が特定の検査箇所中心に移動した後であっても、視界画像データ中に他の検査箇所が含まれている場合もあるため、検査員が注視している検査箇所周辺の部分画像データを切り出してマッチング処理を行うことによって、より精度を高めることができる。   In this case, the hand gesture determination unit 36 may calculate the similarity by matching the entire view image data with the pattern data without extracting the partial image data. However, even after the inspector's viewpoint has moved to the center of a specific inspection location, other inspection locations may be included in the field of view image data. The accuracy can be further improved by cutting out the partial image data and performing the matching process.
ステップS301において一致していると判定すると、ハンドジェスチャー判定手段36は、撮影データから、最新の視界画像データを抽出する(ステップS302)。   If it is determined in step S301 that they match, the hand gesture determination means 36 extracts the latest view field image data from the captured data (step S302).
次いで、ハンドジェスチャー判定手段36は、抽出した視界画像データから検査箇所周辺の部分画像データ(例えば、検査員は検査箇所を注視している筈なので、視界画像データ中の中央付近の検査箇所が含まれている画像)を抽出する。そして、ハンドジェスチャー判定手段36は、抽出した画像データと、動作前のハンドジェスチャーのパターンデータ(例えば、図10の検査員の手が検査箇所付近に伸びている状態の画像データ)との類似度を算出する(図7のステップS303)。   Next, the hand gesture determination means 36 includes partial image data around the inspection location from the extracted visual field image data (for example, since the inspector is gazing at the inspection location, the inspection location near the center in the visibility image data is included. Image). The hand gesture determination unit 36 then compares the extracted image data with the pattern data of the hand gesture before the operation (for example, image data in a state where the hand of the inspector in FIG. 10 extends near the inspection location). Is calculated (step S303 in FIG. 7).
なお、本実施形態では、単に検査員が検査箇所を指等で触ったか否かを判定するだけではなく、検査員が検査箇所を触った状態で一連の検査動作を行ったか否か(例えば、検査箇所を指等でなぞって見たか否か)も判定する。そのため、本実施形態では、ハンドジェスチャー用のパターンデータとして、動作前のパターンデータと動作後のパターンデータとを用い、動作前のパターンデータとのマッチング処理をクリアした後に、さらに動作後のパターンデータとのマッチング処理もクリアしたことを条件に、一連の検査動作が行われたと判定する。   In this embodiment, it is not only determined whether the inspector touched the inspection location with a finger or the like, but whether the inspector performed a series of inspection operations while touching the inspection location (for example, It is also determined whether or not the inspection spot is traced with a finger or the like. For this reason, in the present embodiment, pattern data before operation and pattern data after operation are used as pattern data for hand gesture, and after matching processing with pattern data before operation is cleared, pattern data after operation is further processed. It is determined that a series of inspection operations has been performed on the condition that the matching process with the above is also cleared.
次いで、ハンドジェスチャー判定手段36は、算出した類似度が閾値以上であるか否かを判定する(図7のステップS304)。   Next, the hand gesture determination unit 36 determines whether or not the calculated similarity is equal to or greater than a threshold (step S304 in FIG. 7).
ステップS304において閾値以上であると判定した場合、ハンドジェスチャー判定手段36は、所定期間後に、撮影データから最新の視界画像データを抽出する(ステップS305)。   If it is determined in step S304 that the threshold value is equal to or greater than the threshold value, the hand gesture determination unit 36 extracts the latest view field image data from the captured data after a predetermined period (step S305).
次いで、ハンドジェスチャー判定手段36は、抽出した視界画像データから手の形状を特定し、特定した部分の画像データを抽出する。そして、ハンドジェスチャー判定手段36は、抽出した画像データと、動作後のハンドジェスチャーのパターンデータ(例えば、図11の検査員の指が検査箇所に触れている状態の画像データ)との類似度を算出する(図7のステップS306)。   Next, the hand gesture determination unit 36 specifies the shape of the hand from the extracted view field image data, and extracts the image data of the specified part. Then, the hand gesture determination unit 36 determines the similarity between the extracted image data and the pattern data of the hand gesture after the operation (for example, image data in a state where the finger of the inspector in FIG. 11 is touching the inspection portion). Calculate (step S306 in FIG. 7).
次いで、ハンドジェスチャー判定手段36は、算出した類似度が閾値以上であるか否かを判定する(図7のステップS307)。   Next, the hand gesture determination means 36 determines whether or not the calculated similarity is greater than or equal to a threshold (step S307 in FIG. 7).
ステップS308において閾値以上であると判定した場合、ハンドジェスチャー判定手段36は、所定のハンドジェスチャーが行われたと判定する(図7のステップS308)。   If it is determined in step S308 that the value is equal to or greater than the threshold value, the hand gesture determination unit 36 determines that a predetermined hand gesture has been performed (step S308 in FIG. 7).
一方、ステップS304またはステップS308において閾値未満であると判定した場合、ハンドジェスチャー判定手段36は、所定のハンドジェスチャーが行われていないと判定する(図7のステップS309)。   On the other hand, when it is determined in step S304 or step S308 that the value is less than the threshold value, the hand gesture determination unit 36 determines that a predetermined hand gesture is not performed (step S309 in FIG. 7).
以上の処理により、ハンドジェスチャー判定手段36は、検査員が所定のハンドジェスチャーを行ったか否かを判定することができる。   With the above processing, the hand gesture determination unit 36 can determine whether or not the inspector has performed a predetermined hand gesture.
なお、判定処理の精度を高めるために、例えば、ハンドジェスチャーの前後に限らず、上記の処理を複数回繰り返し、動作の途中の形状についても判定するようにしてもよい。また、指等を用いた接触検査を行う場合に限らず、例えば、指等が入らないようなスペースの検査を行う場合には、指し棒等の検査用の治具を用いて接触検査を行う場合の判定に適用してもよい。   In order to increase the accuracy of the determination process, for example, not only before and after the hand gesture, the above process may be repeated a plurality of times to determine the shape in the middle of the operation. Moreover, not only when performing a contact inspection using a finger or the like, but when performing an inspection of a space where a finger or the like does not enter, for example, a contact inspection is performed using an inspection jig such as a pointer. You may apply to the determination of a case.
なお、作業員による検査作業が行われた後、管理者等は、サーバ装置30にアクセスして検査作業の各種管理業務を行う。例えば、サーバ装置30の検査結果管理手段39は、管理者等の操作に従って、検査結果記憶手段37から各種検査結果の情報を抽出し、ディスプレイ装置等の表示装置に表示する。   After the inspection work by the worker is performed, the administrator accesses the server device 30 and performs various management operations for the inspection work. For example, the inspection result management unit 39 of the server device 30 extracts information on various inspection results from the inspection result storage unit 37 in accordance with an operation by an administrator or the like, and displays the information on a display device such as a display device.
また、例えば、検査結果管理手段39は、管理者等の操作に従って、検査結果記憶手段37が記憶する情報に基づいて統計処理を行い、検査作業における各種統計データを求める。例えば、検査結果管理手段39は、検査結果記憶手段37が記憶する検査箇所判定手段34による判定結果を統計し、検査対象製品中の検査箇所毎の異常の発生頻度の統計値を求める。また、例えば、検査結果管理手段39は、検査結果記憶手段37が記憶する目視検査判定手段35による判定結果やハンドジェスチャー判定手段37による判定結果を統計し、作業員毎の目視検査やハンドジェスチャーによる検査の作業漏れの頻度の統計値を求める。   Further, for example, the inspection result management unit 39 performs statistical processing based on information stored in the inspection result storage unit 37 in accordance with an operation of an administrator or the like, and obtains various statistical data in the inspection work. For example, the inspection result management unit 39 statistically determines the determination result by the inspection point determination unit 34 stored in the inspection result storage unit 37 and obtains a statistical value of the occurrence frequency of abnormality for each inspection point in the inspection target product. Further, for example, the inspection result management unit 39 statistically determines the determination result by the visual inspection determination unit 35 and the determination result by the hand gesture determination unit 37 stored in the inspection result storage unit 37, and by the visual inspection or hand gesture for each worker. Obtain statistics on the frequency of inspection work leaks.
上記のように構成することによって、検査結果記憶手段37に記憶した各種検査結果の情報に基づいて、検査作業の管理を支援できるとともに、検査作業に関する各種統計データを求めることができ、検査結果を有効活用して検査作業の効率化の支援に役立てることができる。   By configuring as described above, it is possible to support the management of the inspection work based on the information of the various inspection results stored in the inspection result storage means 37, and to obtain various statistical data relating to the inspection work. It can be used effectively to support the efficiency of inspection work.
以上のように、本実施形態では、確認業務支援システムは、予め登録された検査データと検査員の視界に近い映像とに基づいて、検査箇所に問題があるか否か、所定の検査が正しく行われているか否かを判定し、判定結果を検査員に対して表示する。従って、検査員は的確かつ迅速に検査業務を行うことができる。例えば、一般的な検査方法では、人間が目視検査を行っているため、検査員が掛かりきりになってコストがかかることや、検査の精度に個人差(バラツキ)があること、間違いが発生すること等、精度に課題があったが、本実施形態によれば、検査箇所に問題があるか否かや、所定の検査が正しく行われているか否かの判定結果を検査員に提示できるので、検査の精度を向上させることができる。   As described above, in this embodiment, the confirmation work support system determines whether there is a problem in the inspection location based on the inspection data registered in advance and the video close to the field of view of the inspector. It is determined whether or not it is performed, and the determination result is displayed to the inspector. Therefore, the inspector can perform the inspection work accurately and promptly. For example, in a general inspection method, since humans perform visual inspections, it is costly due to inspectors, and there are individual differences (inconsistencies) in inspection accuracy, and errors occur. However, according to this embodiment, it is possible to present to the inspector whether or not there is a problem in the inspection location and whether or not the predetermined inspection is correctly performed. , Inspection accuracy can be improved.
また、一般的な検査方法では、目視検査の状況や結果が人間によって報告されているため、管理者にとっては目視検査の工程・プロセスを把握し、管理することが困難という課題がある。これに対して、本実施形態では、検査員を識別する情報等とともに検査結果の情報を記憶することができるため、上記課題を解決することができる。   Further, in general inspection methods, since the situation and results of visual inspection are reported by humans, there is a problem that it is difficult for an administrator to grasp and manage visual inspection processes and processes. On the other hand, in this embodiment, since the information of an inspection result can be memorize | stored with the information etc. which identify an inspector, the said subject can be solved.
なお、本実施形態では、サーバ装置30が検査データ記憶手段31や検査結果記憶手段37、各判定手段等を備えている例について説明したが、これらの手段をヘッドマウントディスプレイ装置10またはウェアラブル端末20が備えていてもよい。   In the present embodiment, the server device 30 has been described as having the inspection data storage unit 31, the inspection result storage unit 37, each determination unit, and the like. However, these units are included in the head mounted display device 10 or the wearable terminal 20. May have.
例えば、ヘッドマウントディスプレイ装置10は、上記の構成要素に加えて、検査データ記憶手段31、データ送受信手段32、画像補正手段33、検査箇所判定手段34、目視検査判定手段35、ハンドジェスチャー判定手段36および検査結果記憶手段37を含むようにしてもよい。   For example, the head mounted display device 10 includes an inspection data storage unit 31, a data transmission / reception unit 32, an image correction unit 33, an inspection point determination unit 34, a visual inspection determination unit 35, and a hand gesture determination unit 36 in addition to the above-described components. In addition, an inspection result storage unit 37 may be included.
この場合には、ヘッドマウントディスプレイ装置10は、ウェアラブル装置20やサーバ装置30を必要とせず、単独で処理を完結することができる。   In this case, the head mounted display device 10 does not require the wearable device 20 or the server device 30 and can complete the process independently.
また、例えば、ウェアラブル端末20は、上記の構成要素に加えて、検査データ記憶手段31、データ送受信手段32、画像補正手段33、検査箇所判定手段34、目視検査判定手段35、ハンドジェスチャー判定手段36および検査結果記憶手段37を含むようにしてもよい。   Further, for example, the wearable terminal 20 includes an inspection data storage unit 31, a data transmission / reception unit 32, an image correction unit 33, an inspection point determination unit 34, a visual inspection determination unit 35, and a hand gesture determination unit 36 in addition to the above-described components. In addition, an inspection result storage unit 37 may be included.
この場合には、ウェアラブル端末20が上述のサーバ装置30の処理を実行することができ、ネットワーク100を介してデータを送受信することなく、本実施形態と同等の効果を得ることができる。   In this case, the wearable terminal 20 can execute the processing of the server device 30 described above, and an effect equivalent to that of the present embodiment can be obtained without transmitting / receiving data via the network 100.
次に、本発明による確認業務支援システムの最小構成について説明する。図12は、確認業務支援システムの最小の構成例を示すブロック図である。図12に示すように、確認業務支援システムは、最小の構成要素として、ヘッドマウントディスプレイ装置10に設けられた撮影手段1と、異常判定手段2とを備えている。   Next, the minimum configuration of the confirmation work support system according to the present invention will be described. FIG. 12 is a block diagram illustrating a minimum configuration example of the confirmation job support system. As shown in FIG. 12, the confirmation task support system includes an imaging unit 1 and an abnormality determination unit 2 provided in the head mounted display device 10 as the minimum components.
図12に示す最小構成の確認業務支援システムでは、ヘッドマウントディスプレイ装置10は、少なくとも検査範囲を特定可能な検査範囲画像を含む検査情報を表示する。また、撮影手段1は、ヘッドマウントディスプレイ装置10を装着して検査情報に従って検査を行う検査員の視界に近い画像を撮影する。そして、異常判定手段2は、撮影手段1が撮影した画像と検査範囲画像とに基づいて、検査範囲中の異常個所を判定する。   In the minimum-confirmation confirmation support system shown in FIG. 12, the head mounted display device 10 displays inspection information including an inspection range image that can specify at least the inspection range. Moreover, the imaging | photography means 1 image | photographs the image close | similar to the visual field of the inspector who mount | wears the head mounted display apparatus 10 and inspects according to test | inspection information. Then, the abnormality determination unit 2 determines an abnormal part in the inspection range based on the image captured by the imaging unit 1 and the inspection range image.
従って、最小構成の確認業務支援システムによれば、各種確認作業の精度を高めることができる。   Therefore, according to the minimum-confirmation confirmation support system, the accuracy of various confirmation operations can be increased.
なお、本実施形態では、以下の(1)〜(13)に示すような確認業務支援システムの特徴的構成が示されている。   In this embodiment, the characteristic configuration of the confirmation work support system as shown in the following (1) to (13) is shown.
(1)確認業務支援システムは、少なくとも確認範囲を特定可能な確認範囲画像(例えば、図8に示す画像)を含む確認情報を表示可能なヘッドマウントディスプレイ装置(例えば、ヘッドマウントディスプレイ装置10によって実現される)と、ヘッドマウントディスプレイ装置に設けられた撮影手段(例えば、映像入力手段12によって実現される)と、撮影手段が撮影した画像を用いた画像処理を行って、確認範囲中の異常箇所を判定する異常判定手段(例えば、検査箇所判定手段34によって実現される)とを備えたことを特徴とする。 (1) The confirmation work support system is realized by a head mounted display device (for example, the head mounted display device 10) capable of displaying confirmation information including at least a confirmation range image (for example, the image shown in FIG. 8) that can identify the confirmation range. Abnormalities in the confirmation range by performing image processing using images captured by the imaging means (for example, realized by the video input means 12) provided in the head-mounted display device, and images captured by the imaging means. And an abnormality determining means (for example, realized by the inspection location determining means 34).
(2)確認業務支援システムにおいて、異常判定手段は、撮影手段が撮影した画像から確認箇所を含む部分画像(例えば、ステップS111で抽出する部分画像データ)を抽出し、抽出した部分画像と確認箇所のパターンデータとの照合処理を実行して、確認箇所に異常があるか否かを判定するように構成されていてもよい。 (2) In the confirmation work support system, the abnormality determination unit extracts a partial image including the confirmation portion (for example, partial image data extracted in step S111) from the image captured by the photographing unit, and extracts the extracted partial image and the confirmation portion. It may be configured to determine whether or not there is an abnormality in the confirmation location by executing a matching process with the pattern data.
(3)確認業務支援システムは、撮影手段が撮影した画像を用いた画像処理を行って、ヘッドマウントディスプレイ装置を装着した作業員が所定の確認箇所を所定期間以上目視したか否かを判定する目視確認判定手段(例えば、目視検査判定手段35によって実現される)を備えるように構成されていてもよい。 (3) The confirmation work support system performs image processing using the image photographed by the photographing means, and determines whether or not the worker wearing the head-mounted display device has observed the predetermined confirmation portion for a predetermined period or more. You may comprise so that a visual confirmation determination means (for example, implement | achieved by the visual inspection determination means 35) may be provided.
(4)確認業務支援システムは、撮影手段が撮影した画像を用いた画像処理を行って、ヘッドマウントディスプレイ装置を装着した作業員が所定の確認箇所の接触確認を行ったか否かを判定する接触確認判定手段(例えば、ハンドジェスチャー判定手段36によって実現される)を備えるように構成されていてもよい。 (4) The confirmation work support system performs image processing using an image photographed by the photographing means, and determines whether or not the worker wearing the head mounted display device has confirmed contact with a predetermined confirmation location. A confirmation determination unit (for example, realized by the hand gesture determination unit 36) may be provided.
(5)確認業務支援システムにおいて、異常判定手段は、抽出した部分画像と確認箇所のパターンデータとの類似度を算出し、算出した類似度と所定の閾値との比較処理を行って、確認箇所に異常があるか否かを判定するように構成されていてもよい。 (5) In the confirmation work support system, the abnormality determination means calculates the similarity between the extracted partial image and the pattern data of the confirmation portion, performs a comparison process between the calculated similarity and a predetermined threshold, It may be configured to determine whether or not there is an abnormality.
(6)確認業務支援システムにおいて、異常判定手段は、抽出した部分画像と確認箇所が正常である場合のパターンデータとの類似度を算出し、算出した類似度が所定の正常時用閾値未満であると判定すると、確認箇所に異常があると判定するように構成されていてもよい。 (6) In the confirmation work support system, the abnormality determination unit calculates the similarity between the extracted partial image and the pattern data when the confirmation part is normal, and the calculated similarity is less than a predetermined normal threshold value. If it is determined that there is an abnormality, the confirmation location may be determined to be abnormal.
(7)確認業務支援システムにおいて、異常判定手段は、抽出した部分画像と確認箇所に異常がある場合のパターンデータとの類似度を算出し、算出した類似度が所定の異常時用閾値以上であると判定すると、確認箇所に異常があると判定するように構成されていてもよい。 (7) In the confirmation work support system, the abnormality determination unit calculates the similarity between the extracted partial image and the pattern data when there is an abnormality in the confirmation part, and the calculated similarity is equal to or greater than a predetermined abnormality threshold value. If it is determined that there is an abnormality, the confirmation location may be determined to be abnormal.
(8)確認業務支援システムにおいて、目視確認判定手段は、所定の時点で撮影手段が撮影した画像と所定の目視確認用のパターンデータとの類似度が所定の目視確認用閾値以上であるとともに、所定の時点から所定時間経過後に撮影手段が撮影した画像と所定の目視確認用のパターンデータとの類似度が所定の目視確認用閾値以上であると判定したことに基づいて、作業員が確認箇所を所定期間以上目視したと判定するように構成されていてもよい。 (8) In the confirmation work support system, the visual confirmation determination means has a similarity between the image captured by the photographing means at a predetermined time and the predetermined visual confirmation pattern data equal to or greater than a predetermined visual confirmation threshold. Based on the fact that the similarity between the image photographed by the photographing means and the predetermined visual confirmation pattern data is determined to be equal to or greater than the predetermined visual confirmation threshold after a predetermined time has elapsed from the predetermined time point, May be configured to be determined as having been viewed for a predetermined period or longer.
(9)確認業務支援システムにおいて、接触確認判定手段は、撮影手段が撮影した画像を用いた画像処理を行って、接触確認として、ヘッドマウントディスプレイ装置を装着した作業員が所定の確認箇所に接触した状態で所定の確認動作を行ったか否かを判定するように構成されていてもよい。 (9) In the confirmation work support system, the contact confirmation determination unit performs image processing using the image captured by the imaging unit, and the worker wearing the head mounted display device contacts a predetermined confirmation part as contact confirmation. In this state, it may be configured to determine whether or not a predetermined confirmation operation has been performed.
(10)確認業務支援システムにおいて、接触確認判定手段は、所定の時点で撮影手段が撮影した画像と所定の確認動作中の第1の動作のパターンデータとの類似度が所定の閾値以上であり、かつ所定の時点以外の時点で撮影手段が撮影した画像と所定の確認動作中の第2の動作のパターンデータとの類似度が所定の閾値以上である場合に、作業員が所定の確認箇所に接触した状態で所定の確認動作を行ったと判定するように構成されていてもよい。 (10) In the confirmation work support system, the contact confirmation determination unit has a similarity between the image captured by the imaging unit at a predetermined time point and the pattern data of the first operation during the predetermined confirmation operation being a predetermined threshold value or more. And when the similarity between the image captured by the photographing means at a time other than the predetermined time and the pattern data of the second operation during the predetermined confirmation operation is equal to or greater than a predetermined threshold, It may be configured to determine that a predetermined confirmation operation has been performed in a state of being touched.
(11)確認業務支援システムにおいて、異常判定手段は、撮影手段が撮影した画像を用いた画像処理を行って、撮影手段が撮影した画像中に含まれる所定のコードデータ(例えば、バーコードやQRコード)を検出し、検出した所定のコードデータに基づいて、確変範囲中の異常箇所を判定するように構成されていてもよい。 (11) In the confirmation work support system, the abnormality determination unit performs image processing using the image captured by the imaging unit, and performs predetermined code data (for example, a barcode or QR code) included in the image captured by the imaging unit. Code) may be detected, and an abnormal location in the probability variation range may be determined based on the detected predetermined code data.
(12)確認業務支援システムは、異常判定手段による判定結果を記憶する判定結果記憶手段(例えば、検査結果記憶手段37によって実現される)と、判定結果記憶手段が記憶する判定結果を管理する判定結果管理手段(例えば、検査結果管理手段39によって実現される)とを備えるように構成されていてもよい。 (12) The confirmation work support system includes a determination result storage unit (for example, realized by the inspection result storage unit 37) that stores the determination result by the abnormality determination unit, and a determination that manages the determination result stored by the determination result storage unit. It may be configured to include result management means (for example, realized by the inspection result management means 39).
(13)確認業務支援システムにおいて、判定結果管理手段は、判定結果記憶手段が記憶する判定結果を用いた統計処理を行い、確認作業の統計データを求めるように構成されていてもよい。 (13) In the confirmation work support system, the determination result management unit may be configured to perform statistical processing using the determination result stored in the determination result storage unit and obtain statistical data of the confirmation operation.
本発明は、製造ライン等での検査業務や保守業務における各種確認作業を支援する用途に適用可能である。   The present invention can be applied to a purpose of supporting various confirmation operations in inspection work and maintenance work on a production line or the like.
1 撮影手段
2 異常判定手段
10 ヘッドマウントディスプレイ装置
11 映像表示手段
12 映像入力手段
13 音声入出力手段
20 ウェアラブル端末
21 データ送受信手段
22 通信手段
30 サーバ装置
31 検査データ記憶手段
32 データ送受信手段
33 画像補正手段
34 検査箇所判定手段
35 目視検査判定手段
36 ハンドジェスチャー判定手段
37 検査結果記憶手段
38 通信手段
39 検査結果管理手段
DESCRIPTION OF SYMBOLS 1 Imaging | photography means 2 Abnormality determination means 10 Head mounted display apparatus 11 Image | video display means 12 Image | video input means 13 Audio | voice input / output means 20 Wearable terminal 21 Data transmission / reception means 22 Communication means 30 Server apparatus 31 Inspection data storage means 32 Data transmission / reception means 33 Image correction Means 34 Inspection location determination means 35 Visual inspection determination means 36 Hand gesture determination means 37 Inspection result storage means 38 Communication means 39 Inspection result management means

Claims (18)

  1. 少なくとも検査範囲を特定可能な検査範囲画像を含む検査情報を表示可能なヘッドマウントディスプレイ装置と、
    前記ヘッドマウントディスプレイ装置に設けられた撮影手段と、
    前記撮影手段が撮影した画像と前記検査範囲画像とに基づいて、前記検査範囲中の異常個所を判定する異常判定手段と
    前記ヘッドマウントディスプレイ装置を装着した検査員が所定の検査箇所において所定の動作を行ったか否かを判定する動作判定手段とを備え、
    前記動作判定手段は、前記撮影手段が撮影した第1画像と前記所定の検査箇所における前記所定の動作前の状態を示す動作前画像との類似度が所定の閾値以上であり、かつ該第1画像を撮影してから所定期間経過後に前記撮影手段が撮影した第2画像と前記所定の検査箇所における前記所定の動作後の状態を示す動作後画像との類似度が所定の閾値以上である場合に、前記検査員が前記所定の検査箇所において前記所定の動作を行ったと判定する
    ことを特徴とする確認業務支援システム。
    A head mounted display device capable of displaying inspection information including an inspection range image capable of specifying at least an inspection range; and
    Photographing means provided in the head-mounted display device;
    An abnormality determining means for determining an abnormal portion in the inspection range based on the image taken by the imaging means and the inspection range image ;
    An operation determining means for determining whether or not the inspector wearing the head mounted display device has performed a predetermined operation at a predetermined inspection location;
    The motion determination means has a similarity between a first image captured by the imaging means and a pre-motion image indicating a state before the predetermined motion at the predetermined inspection location, which is equal to or greater than a predetermined threshold. When the similarity between the second image taken by the photographing means after the image is taken and the post-operation image indicating the state after the predetermined operation at the predetermined inspection location is equal to or greater than a predetermined threshold In addition, it is determined that the inspector has performed the predetermined operation at the predetermined inspection location .
  2. 異常判定手段は、撮影手段が撮影した画像から検査箇所付近の部分画像を抽出し、抽出した前記部分画像と検査範囲のうちの検査箇所を特定可能な検査箇所画像とに基づいて、前記検査箇所に異常があるか否かを判定する
    請求項1記載の確認業務支援システム。
    The abnormality determination unit extracts a partial image near the inspection location from the image captured by the imaging unit, and based on the extracted partial image and the inspection location image that can specify the inspection location in the inspection range, the inspection location The confirmation work support system according to claim 1, wherein it is determined whether or not there is an abnormality.
  3. 異常判定手段は、抽出した部分画像と検査箇所画像との類似度を算出し、算出した類似度が所定の閾値以上である場合に、検査箇所に異常がないと判定する
    請求項2記載の確認業務支援システム。
    The abnormality determination means calculates the similarity between the extracted partial image and the inspection location image, and determines that there is no abnormality in the inspection location when the calculated similarity is equal to or greater than a predetermined threshold. Business support system.
  4. 撮影手段が撮影した画像と検査範囲画像とに基づいて、ヘッドマウントディスプレイ装置を装着した検査員が所定の検査箇所を所定期間以上目視したか否かを判定する目視検査判定手段を備えた
    請求項1から請求項3のうちのいずれか1項に記載の確認業務支援システム。
    A visual inspection determination unit that determines whether or not an inspector wearing the head mounted display device has viewed a predetermined inspection portion for a predetermined period or longer based on an image captured by the imaging unit and an inspection range image. The confirmation work support system according to any one of claims 1 to 3.
  5. 目視検査判定手段は、撮影手段が撮影した画像と検査箇所画像との類似度が所定の閾値以上であり、かつ前記撮影手段が所定期間経過後に撮影した画像と前記検査箇所画像との類似度が所定の閾値以上である場合に検査員が前記検査箇所を所定期間以上目視したと判定する
    請求項4記載の確認業務支援システム。
    The visual inspection determination means has a similarity between the image taken by the imaging means and the inspection location image equal to or greater than a predetermined threshold, and the similarity between the image taken by the imaging means after the elapse of a predetermined period and the inspection location image. The confirmation work support system according to claim 4, wherein if it is equal to or greater than a predetermined threshold value, the inspector determines that the inspection location has been viewed for a predetermined period or longer.
  6. 異常判定手段は、撮影手段が撮影した画像からコードデータを抽出し、抽出したコードデータと予め記憶している検査箇所に付されたコードデータとに基づいて、前記検査箇所に異常があるか否かを判定する
    請求項1から請求項のうちのいずれか1項に記載の確認業務支援システム。
    The abnormality determination means extracts code data from the image photographed by the photographing means, and based on the extracted code data and the code data attached to the inspection place stored in advance, whether or not the inspection place is abnormal The confirmation work support system according to any one of claims 1 to 5 .
  7. 撮影手段が撮影した画像を予め定められたオフセット値に従って補正する画像補正手段を備えた
    請求項1から請求項のうちのいずれか1項に記載の確認業務支援システム。
    The confirmation work support system according to any one of claims 1 to 6 , further comprising an image correction unit that corrects an image captured by the imaging unit according to a predetermined offset value.
  8. 検査員を特定可能な情報と判定処理の結果とを対応付けて記憶する記憶手段を含む
    請求項1から請求項のうちのいずれか1項に記載の確認業務支援システム。
    The confirmation work support system according to any one of claims 1 to 7 , further comprising storage means for storing information that can identify an inspector and a result of determination processing in association with each other.
  9. 少なくとも検査範囲を特定可能な検査範囲画像を含む検査情報を表示可能な表示制御手段と、
    当該ヘッドマウントディスプレイ装置に設けられた撮影手段が撮影した画像と前記検査範囲画像とに基づいて、前記検査範囲中の異常個所を判定する異常判定手段と
    当該ヘッドマウントディスプレイ装置を装着した検査員が所定の検査箇所において所定の動作を行ったか否かを判定する動作判定手段とを備え、
    前記動作判定手段は、前記撮影手段が撮影した第1画像と前記所定の検査箇所における前記所定の動作前の状態を示す動作前画像との類似度が所定の閾値以上であり、かつ該第1画像を撮影してから所定期間経過後に前記撮影手段が撮影した第2画像と前記所定の検査箇所における前記所定の動作後の状態を示す動作後画像との類似度が所定の閾値以上である場合に、前記検査員が前記所定の検査箇所において前記所定の動作を行ったと判定する
    ことを特徴とするヘッドマウントディスプレイ装置。
    Display control means capable of displaying inspection information including an inspection range image capable of specifying at least an inspection range;
    An abnormality determining means for determining an abnormal location in the inspection range based on the image taken by the imaging means provided in the head mounted display device and the inspection range image ;
    Operation determining means for determining whether or not the inspector wearing the head mounted display device has performed a predetermined operation at a predetermined inspection location;
    The motion determination means has a similarity between a first image captured by the imaging means and a pre-motion image indicating a state before the predetermined motion at the predetermined inspection location, which is equal to or greater than a predetermined threshold. When the similarity between the second image taken by the photographing means after the image is taken and the post-operation image indicating the state after the predetermined operation at the predetermined inspection location is equal to or greater than a predetermined threshold And determining that the inspector has performed the predetermined operation at the predetermined inspection location .
  10. 異常判定手段は、撮影手段が撮影した画像から検査箇所付近の部分画像を抽出し、抽出した前記部分画像と検査範囲のうちの検査箇所を特定可能な検査箇所画像とに基づいて、前記検査箇所に異常があるか否かを判定する
    請求項記載のヘッドマウントディスプレイ装置。
    The abnormality determination unit extracts a partial image near the inspection location from the image captured by the imaging unit, and based on the extracted partial image and the inspection location image that can specify the inspection location in the inspection range, the inspection location The head mounted display device according to claim 9, wherein it is determined whether or not there is an abnormality.
  11. 少なくとも検査範囲を特定可能な検査範囲画像を含む検査情報を表示可能なヘッドマウントディスプレイ装置に設けられた撮影手段が撮影した画像と前記検査範囲画像とに基づいて、前記検査範囲中の異常個所を判定する異常判定手段と
    前記ヘッドマウントディスプレイ装置を装着した検査員が所定の検査箇所において所定の動作を行ったか否かを判定する動作判定手段とを備え、
    前記動作判定手段は、前記撮影手段が撮影した第1画像と前記所定の検査箇所における前記所定の動作前の状態を示す動作前画像との類似度が所定の閾値以上であり、かつ該第1画像を撮影してから所定期間経過後に前記撮影手段が撮影した第2画像と前記所定の検査箇所における前記所定の動作後の状態を示す動作後画像との類似度が所定の閾値以上である場合に、前記検査員が前記所定の検査箇所において前記所定の動作を行ったと判定する
    とを特徴とするウェアラブル端末。
    Based on the image photographed by the photographing means provided in the head mounted display device capable of displaying the examination information including the examination range image capable of specifying the examination range at least and the examination range image, the abnormal part in the examination range is determined. An abnormality determining means for determining ;
    An operation determining means for determining whether or not the inspector wearing the head mounted display device has performed a predetermined operation at a predetermined inspection location;
    The motion determination means has a similarity between a first image captured by the imaging means and a pre-motion image indicating a state before the predetermined motion at the predetermined inspection location, which is equal to or greater than a predetermined threshold. When the similarity between the second image taken by the photographing means after the image is taken and the post-operation image indicating the state after the predetermined operation at the predetermined inspection location is equal to or greater than a predetermined threshold And determining that the inspector has performed the predetermined operation at the predetermined inspection location.
    Wearable terminal, wherein a call.
  12. 異常判定手段は、撮影手段が撮影した画像から検査箇所付近の部分画像を抽出し、抽出した前記部分画像と検査範囲のうちの検査箇所を特定可能な検査箇所画像とに基づいて、前記検査箇所に異常があるか否かを判定する
    請求項1記載のウェアラブル端末。
    The abnormality determination unit extracts a partial image near the inspection location from the image captured by the imaging unit, and based on the extracted partial image and the inspection location image that can specify the inspection location in the inspection range, the inspection location wearable device according to claim 1 1, wherein determining whether or not there is an abnormality in.
  13. 少なくとも検査範囲を特定可能な検査範囲画像を含む検査情報を表示可能なヘッドマウントディスプレイ装置に設けられた撮影手段が撮影した画像と前記検査範囲画像とに基づいて、前記検査範囲中の異常個所を判定する異常判定手段と
    前記ヘッドマウントディスプレイ装置を装着した検査員が所定の検査箇所において所定の動作を行ったか否かを判定する動作判定手段とを備え、
    前記動作判定手段は、前記撮影手段が撮影した第1画像と前記所定の検査箇所における前記所定の動作前の状態を示す動作前画像との類似度が所定の閾値以上であり、かつ該第1画像を撮影してから所定期間経過後に前記撮影手段が撮影した第2画像と前記所定の検査箇所における前記所定の動作後の状態を示す動作後画像との類似度が所定の閾値以上である場合に、前記検査員が前記所定の検査箇所において前記所定の動作を行ったと判定する
    とを特徴とするサーバ装置。
    Based on the image photographed by the photographing means provided in the head mounted display device capable of displaying the examination information including the examination range image capable of specifying the examination range at least and the examination range image, the abnormal part in the examination range is determined. An abnormality determining means for determining ;
    An operation determining means for determining whether or not the inspector wearing the head mounted display device has performed a predetermined operation at a predetermined inspection location;
    The motion determination means has a similarity between a first image captured by the imaging means and a pre-motion image indicating a state before the predetermined motion at the predetermined inspection location, which is equal to or greater than a predetermined threshold. When the similarity between the second image taken by the photographing means after the image is taken and the post-operation image indicating the state after the predetermined operation at the predetermined inspection location is equal to or greater than a predetermined threshold And determining that the inspector has performed the predetermined operation at the predetermined inspection location.
    Server and wherein a call.
  14. 異常判定手段は、撮影手段が撮影した画像から検査箇所付近の部分画像を抽出し、抽出した前記部分画像と検査範囲のうちの検査箇所を特定可能な検査箇所画像とに基づいて、前記検査箇所に異常があるか否かを判定する
    請求項13記載のサーバ装置。
    The abnormality determination unit extracts a partial image near the inspection location from the image captured by the imaging unit, and based on the extracted partial image and the inspection location image that can specify the inspection location in the inspection range, the inspection location The server device according to claim 13, wherein it is determined whether or not there is an abnormality.
  15. 少なくとも検査範囲を特定可能な検査範囲画像を含む検査情報を表示可能なヘッドマウントディスプレイ装置に設けられた撮影手段が撮影した画像と前記検査範囲画像とに基づいて、前記検査範囲中の異常個所を判定し、
    前記ヘッドマウントディスプレイ装置を装着した検査員が所定の検査箇所において所定の動作を行ったか否かを判定し、
    前記撮影手段が撮影した第1画像と前記所定の検査箇所における前記所定の動作前の状態を示す動作前画像との類似度が所定の閾値以上であり、かつ該第1画像を撮影してから所定期間経過後に前記撮影手段が撮影した第2画像と前記所定の検査箇所における前記所定の動作後の状態を示す動作後画像との類似度が所定の閾値以上である場合に、前記検査員が前記所定の検査箇所において前記所定の動作を行ったと判定する
    ことを特徴とする確認業務支援方法。
    Based on the image photographed by the photographing means provided in the head mounted display device capable of displaying the examination information including the examination range image capable of specifying the examination range at least and the examination range image, the abnormal part in the examination range is determined. Judgment,
    Determine whether the inspector wearing the head mounted display device has performed a predetermined operation at a predetermined inspection location,
    The degree of similarity between the first image captured by the imaging means and the pre-operation image indicating the state before the predetermined operation at the predetermined inspection location is greater than or equal to a predetermined threshold, and after the first image is captured When the similarity between the second image photographed by the photographing means after the lapse of a predetermined period and the post-operation image indicating the state after the predetermined operation at the predetermined inspection location is equal to or greater than a predetermined threshold, the inspector It is determined that the predetermined operation has been performed at the predetermined inspection location .
  16. 撮影手段が撮影した画像から検査箇所付近の部分画像を抽出し、抽出した前記部分画像と検査範囲のうちの検査箇所を特定可能な検査箇所画像とに基づいて、前記検査箇所に異常があるか否かを判定する
    請求項15記載の確認業務支援方法。
    Whether or not there is an abnormality in the inspection location based on the extracted partial image and the inspection location image that can specify the inspection location in the inspection range from the image captured by the imaging means The confirmation work support method according to claim 15, wherein it is determined whether or not.
  17. コンピュータに、
    少なくとも検査範囲を特定可能な検査範囲画像を含む検査情報を表示可能なヘッドマウントディスプレイ装置に設けられた撮影手段が撮影した画像と前記検査範囲画像とに基づいて、前記検査範囲中の異常個所を判定する異常判定処理と、
    前記ヘッドマウントディスプレイ装置を装着した検査員が所定の検査箇所において所定の動作を行ったか否かを判定する動作判定処理とを実行させ、
    前記動作判定処理で、前記撮影手段が撮影した第1画像と前記所定の検査箇所における前記所定の動作前の状態を示す動作前画像との類似度が所定の閾値以上であり、かつ該第1画像を撮影してから所定期間経過後に前記撮影手段が撮影した第2画像と前記所定の検査箇所における前記所定の動作後の状態を示す動作後画像との類似度が所定の閾値以上である場合に、前記検査員が前記所定の検査箇所において前記所定の動作を行ったと判定する処理を実行させる
    めの確認業務支援プログラム。
    On the computer,
    Based on the image photographed by the photographing means provided in the head mounted display device capable of displaying the examination information including the examination range image capable of specifying the examination range at least and the examination range image, the abnormal part in the examination range is determined. An abnormality determination process for determining ;
    An operation determination process for determining whether or not the inspector wearing the head mounted display device has performed a predetermined operation at a predetermined inspection location;
    In the operation determination process, the similarity between the first image captured by the imaging unit and the pre-operation image indicating the state before the predetermined operation at the predetermined inspection location is greater than or equal to a predetermined threshold, and the first When the similarity between the second image taken by the photographing means after the image is taken and the post-operation image indicating the state after the predetermined operation at the predetermined inspection location is equal to or greater than a predetermined threshold To execute a process for determining that the inspector has performed the predetermined operation at the predetermined inspection location.
    Because of the check business support program.
  18. コンピュータに、
    異常判定処理で、撮影手段が撮影した画像から検査箇所付近の部分画像を抽出し、抽出した前記部分画像と検査範囲のうちの検査箇所を特定可能な検査箇所画像とに基づいて、前記検査箇所に異常があるか否かを判定する
    請求項17記載の確認業務支援プログラム。
    On the computer,
    In the abnormality determination process, a partial image near the inspection location is extracted from the image captured by the imaging unit, and the inspection location is based on the extracted partial image and the inspection location image that can specify the inspection location in the inspection range. The confirmation work support program according to claim 17, wherein it is determined whether or not there is an abnormality.
JP2010143642A 2010-06-24 2010-06-24 Confirmation work support system, server device, head mounted display device, wearable terminal, confirmation work support method and program Expired - Fee Related JP5099182B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010143642A JP5099182B2 (en) 2010-06-24 2010-06-24 Confirmation work support system, server device, head mounted display device, wearable terminal, confirmation work support method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010143642A JP5099182B2 (en) 2010-06-24 2010-06-24 Confirmation work support system, server device, head mounted display device, wearable terminal, confirmation work support method and program

Publications (2)

Publication Number Publication Date
JP2012007985A JP2012007985A (en) 2012-01-12
JP5099182B2 true JP5099182B2 (en) 2012-12-12

Family

ID=45538705

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010143642A Expired - Fee Related JP5099182B2 (en) 2010-06-24 2010-06-24 Confirmation work support system, server device, head mounted display device, wearable terminal, confirmation work support method and program

Country Status (1)

Country Link
JP (1) JP5099182B2 (en)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013205277A (en) * 2012-03-29 2013-10-07 Terumo Corp Visual inspection monitor system and visual inspection monitor method
JP6318462B2 (en) * 2013-01-30 2018-05-09 株式会社ニコン Display device
TWI649675B (en) 2013-03-28 2019-02-01 新力股份有限公司 Display device
KR20150021283A (en) * 2013-08-20 2015-03-02 한국전자통신연구원 System and method for learning foreign language using smart glasses
JP6188601B2 (en) * 2014-02-25 2017-08-30 Kddi株式会社 Change detection apparatus, method, and program
US9541507B2 (en) * 2014-08-26 2017-01-10 Northrop Grumman Systems Corporation Color-based foreign object detection system
JP6515473B2 (en) * 2014-09-18 2019-05-22 凸版印刷株式会社 Operation instruction system, operation instruction method, and operation instruction management server
JP6290760B2 (en) * 2014-09-25 2018-03-07 Kddi株式会社 Work similarity calculation method, apparatus and program
JP5943172B1 (en) * 2014-12-01 2016-06-29 東京電力ホールディングス株式会社 Reuse support system
US10539509B2 (en) 2015-08-21 2020-01-21 Ns Solutions Corporation Display system, display device, display method, and non-transitory computer readable recording medium
WO2017033539A1 (en) * 2015-08-25 2017-03-02 新日鉄住金ソリューションズ株式会社 Work assistance device, work assistance method, and program
JP6710555B2 (en) * 2016-03-17 2020-06-17 Kddi株式会社 Image display system, information processing device, image display method, and computer program
JP2017182441A (en) * 2016-03-30 2017-10-05 富士通株式会社 Operation actual condition processing device, method, and program
JP6646511B2 (en) * 2016-04-14 2020-02-14 株式会社フジタ Skill transfer system and method
JP6696384B2 (en) * 2016-09-28 2020-05-20 株式会社デンソー Inspection equipment
JP6607506B2 (en) * 2017-02-14 2019-11-20 浩平 田仲 Information providing system, information providing apparatus, information providing method, and information providing program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5537008B2 (en) * 2007-11-29 2014-07-02 株式会社東芝 Appearance inspection device
JP2010067154A (en) * 2008-09-12 2010-03-25 Brother Ind Ltd Head mounted display, information browsing system, and management server

Also Published As

Publication number Publication date
JP2012007985A (en) 2012-01-12

Similar Documents

Publication Publication Date Title
JP5099182B2 (en) Confirmation work support system, server device, head mounted display device, wearable terminal, confirmation work support method and program
US20200029795A1 (en) Use of human input recognition to prevent contamination
JP2014211763A5 (en)
JP2008003781A (en) Operation monitoring system
JP6165362B1 (en) Display system, display device, display method, and program
US20150005587A1 (en) Goggles for emergency diagnosis of balance disorders
US10579950B1 (en) Quantifying, tracking, and anticipating risk at a manufacturing facility based on staffing conditions and textual descriptions of deviations
JP2007163380A (en) Visual inspection work management system
JP2017208616A5 (en)
US20190026909A1 (en) Monitoring device and monitoring system
JP6852729B2 (en) Plant management system, plant management method, plant management equipment, and plant management program
US8958627B2 (en) System and method of distributed processing for machine-vision analysis
KR20150044449A (en) Plant management support system
JP6288249B2 (en) Visual inspection support device, visual inspection support method, and visual inspection support program
JP6270488B2 (en) Operator monitoring control device and operator monitoring control method
WO2018158815A1 (en) Inspection assistance device, inspection assistance method, and recording medium
KR102281400B1 (en) Analysis support device in steel plant
US9579015B2 (en) Ophthalmic image capture systems and methods
JP2017162103A (en) Inspection work support system, inspection work support method, and inspection work support program
KR102091314B1 (en) Wearable Device for Managing Food, Operating Method thereof and Operating Program thereof
CN108805818B (en) Content big data density degree analysis method
CN107862029B (en) Graphic display method for laboratory management system
JP2019194602A (en) Inspection auxiliary device of vehicle using head-mounted display
JP2020128908A (en) Gas leak position specification system and gas leak position specification program
TWM588291U (en) Optical detecting system using head-mounted display

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120508

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120828

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120910

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151005

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees