WO2023132131A1 - 検査装置、検査方法およびプログラム - Google Patents

検査装置、検査方法およびプログラム Download PDF

Info

Publication number
WO2023132131A1
WO2023132131A1 PCT/JP2022/042535 JP2022042535W WO2023132131A1 WO 2023132131 A1 WO2023132131 A1 WO 2023132131A1 JP 2022042535 W JP2022042535 W JP 2022042535W WO 2023132131 A1 WO2023132131 A1 WO 2023132131A1
Authority
WO
WIPO (PCT)
Prior art keywords
inspection
unit
image
registered
area
Prior art date
Application number
PCT/JP2022/042535
Other languages
English (en)
French (fr)
Inventor
秀穂 五味
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023132131A1 publication Critical patent/WO2023132131A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications

Definitions

  • This technology relates to an inspection device, an inspection method, and a program.
  • Inspections are carried out in the manufacturing process for manufacturing things in factories.
  • the inspection may be performed visually by a person or automatically by an apparatus.
  • a camera In automatic inspections using equipment, normally, a camera is used to photograph objects, the parts that make up the objects, and the state of work in the manufacturing process of objects, and the images obtained by the photographing are processed to detect abnormalities. do.
  • Patent Document 1 A technique shown in Patent Document 1 has been proposed as an appearance inspection system using such images.
  • the present technology has been made in view of such points, and aims to provide an inspection apparatus, an inspection method, and a program that enable a user to inspect an inspection target without specifying the inspection target in an image. .
  • a first technique includes a process determination unit that determines whether a process in an image obtained by photographing a process of manufacturing an object is a pre-registered process, and a process in the image that corresponds to the process. and an inspection unit for inspecting the inspection object in the area.
  • a second technique determines whether a process in an image obtained by photographing a process of manufacturing an object is a pre-registered process, and determines a region in the image that includes a pre-registered inspection target corresponding to the process. is specified, and an inspection object in the area is inspected.
  • a third technique determines whether a process in an image obtained by photographing a process of manufacturing an object is a pre-registered process, and includes an inspection object registered in advance corresponding to the process in the image. is specified, and a computer executes an inspection method for inspecting an inspection object in the area.
  • FIG. 1 is a diagram showing the configuration of an inspection system 10 and installation of a camera 100;
  • FIG. 2 is a block diagram showing the configuration of a terminal device 200;
  • FIG. 3 is a block diagram showing the configuration of an inspection device 300;
  • FIG. 4 is a flowchart showing processing in the inspection system 10;
  • FIG. 10 is a diagram showing a UI for inputting a process to be registered;
  • FIG. 4 is an explanatory diagram for specifying an inspection object in the first to third steps;
  • FIG. 4 is an explanatory diagram of tracking of an inspection target;
  • FIG. 10 is an explanatory diagram when inspecting a range in which a plurality of inspection target areas overlap; It is a figure which shows UI for an inspection result display.
  • FIG. 4 is a diagram showing a first modification of the terminal device 200 and the inspection device 300
  • FIG. 10 is a diagram showing a second modification of the terminal device 200 and the inspection device 300
  • FIG. 13 is a diagram showing a third modification of the terminal device 200 and the inspection device 300
  • FIG. 12 is a diagram showing a fourth modification of the terminal device 200 and the inspection device 300;
  • Embodiment> [1-1. Configuration of inspection system 10] [1-2. Configuration of Terminal Device 200] [1-3. Configuration of inspection device 300] [1-4. Processing in inspection system 10] ⁇ 2. Variation>
  • the inspection system 10 is composed of a camera 100 , a terminal device 200 and an inspection device 300 .
  • the camera 100 is composed of a lens, an imaging device, an image signal processing circuit, etc., and is used to photograph the manufacturing process of things in a factory or the like. As shown in FIG. 1, the camera 100 is installed at a position capable of photographing a work place where a process for manufacturing an object is performed by a worker. When there are a plurality of processes for manufacturing an object and these processes are performed at different work places, the camera 100 needs to be installed at each work place.
  • the camera 100A is installed at a position where the first step can be taken
  • the camera 100B is installed at a position where the second step can be taken
  • the third step is carried out.
  • a camera 100C is installed at a position where photography is possible.
  • the number of steps and the number of cameras are merely examples, and the present technology is not limited to a specific number of steps and number of cameras.
  • the cameras 100A, 100B, and 100C are simply referred to as cameras 100 when there is no need to distinguish between them.
  • An image captured by the camera 100 is transmitted to the terminal device 200 and supplied to the inspection device 300 for inspection by the inspection device 300 .
  • the camera 100 and the terminal device 200 can be connected by any connection method, such as USB connection or network connection, regardless of whether they are wired connection or wireless connection.
  • the camera 100 that captures one process is not limited to one, and one process may be captured by a plurality of cameras 100 .
  • one camera 100 may be installed, but in order to photograph a plurality of processes at one work place, it is necessary to photograph from different positions.
  • multiple cameras 100 may be installed to capture a single work location.
  • a plurality of cameras 100 may be installed to capture images from different positions and angles.
  • an electronic device with a camera function such as a smartphone or a tablet terminal, may be used.
  • the image output from the camera 100 may be a still image, or may be a plurality of frame images forming a video.
  • an image captured by the camera 100 may be referred to as a camera image.
  • the terminal device 200 is a device on which the inspection device 300 operates, and examples of the terminal device 200 include a personal computer, a smart phone, and a tablet terminal.
  • the inspection device 300 is a device that performs inspection processing in this technology. In this embodiment, inspection device 300 operates in terminal device 200 .
  • the terminal device 200 includes at least a control section 201 , a storage section 202 , an interface 203 , an input section 204 and a display section 205 .
  • the control unit 201 is composed of a CPU (Central Processing Unit), RAM (Random Access Memory), ROM (Read Only Memory), and the like.
  • the CPU executes various processes and issues commands according to programs stored in the ROM, thereby controlling the entire terminal device 200 and each unit.
  • the storage unit 202 is a large-capacity storage medium such as a hard disk or flash memory.
  • the storage unit 202 stores various applications, data, information, etc. used in the inspection apparatus 300 .
  • An interface 203 is an interface between an external device such as the camera 100 and the Internet.
  • Interface 203 may include a wired or wireless communication interface. More specifically, the wired or wireless communication interface includes cellular communication such as 3GPP (Third Generation Partnership Project), Wi-Fi, Bluetooth (registered trademark), NFC (Near Field Communication), Ethernet (registered trademark) , High-Definition Multimedia Interface (HDMI), Universal Serial Bus (USB), and the like.
  • the interface 203 may include different types of interfaces for each device. For example, interface 203 may include both a communication interface and an interface within the device.
  • the input unit 204 is for the user to input information and give various instructions to the terminal device 200 and the inspection device 300 .
  • a control signal corresponding to the input is created and supplied to the control unit 201 .
  • the control unit 201 performs various processes corresponding to the control signal.
  • Information input to the inspection device 300 is supplied from the terminal device 200 to the inspection device 300 .
  • the input unit 204 includes physical buttons, a touch panel, a touch screen integrated with a monitor, and the like.
  • a user is, for example, a worker in the manufacturing process or an administrator who manages the manufacturing of a product.
  • the display unit 205 is a display device such as a UI (User Interface) for using the inspection system 10 and a display for displaying inspection results.
  • UI User Interface
  • the terminal device 200 is configured as described above
  • the program may be installed in the terminal device 200 in advance, or may be downloaded or distributed in a storage medium, etc., and installed by the user himself/herself. good.
  • the inspection apparatus 300 includes a process registration section 301 , an inspection target registration section 302 , a process determination section 303 , an inspection target identification section 304 , an inspection section 305 , a display processing section 306 and an output section 307 .
  • the process registration unit 301 registers a process selected by the user from among a plurality of candidates listed in advance as a process to be inspected, based on input from the user.
  • the registered process information may be stored in the storage unit 202 or the like, or may be stored in the inspection apparatus 300 or the process registration unit 301 .
  • the inspection object registration unit 302 registers inspection objects in the process registered by the process registration unit 301 based on the input from the user.
  • the inspection object registration unit 302 registers an inspection object selected by the user from among a plurality of candidates listed in advance corresponding to the process.
  • the inspection object registration unit 302 can register one or more inspection objects for one process.
  • the registered inspection object information may be stored in the storage unit 202 or the like, or may be held by the inspection apparatus 300 or the inspection object registration unit 302 .
  • the process determination unit 303 determines whether or not the process captured in the camera image is the process registered by the process registration unit 301 .
  • the process determination unit 303 learns in advance with artificial intelligence based on the names of a plurality of processes and the images taken of the processes, so that it is possible to determine what kind of process is captured in the camera image obtained by the camera 100 . It is possible to determine whether the process is a registered process.
  • a machine learning algorithm can be used as the artificial intelligence, and a deep neural network can be used as the machine learning algorithm.
  • the inspection target specifying unit 304 specifies an area including the inspection target registered by the inspection target registration unit 302 from the camera image.
  • an area including an inspection target may be referred to as an inspection target area.
  • the inspection object identification unit 304 learns by artificial intelligence based on the names of objects (tools, parts, etc.) that can be inspected in advance, the names of work, and the images of the objects and works that can be inspected.
  • the area to be inspected in the camera image can be identified by the presence of the camera image.
  • a machine learning algorithm can be used as the artificial intelligence, and a deep neural network can be used as the machine learning algorithm. Specifically, technologies such as Object Detection and Segmentation can be used.
  • the inspection unit 305 performs inspection processing on the inspection target area in the camera image, and outputs inspection results to the display processing unit 306 and the output unit 307 .
  • the inspection unit 305 can perform anomaly detection using anomaly detection machine learning models such as MVTec AD and Describable Textures Dataset.
  • the inspection unit 305 calculates the degree of abnormality of the inspection target as a numerical value (referred to as an abnormality rate), and detects that the inspection target has an abnormality when the abnormality rate is greater than a predetermined threshold. Therefore, even if an abnormality is not detected in one process because the abnormality rate is smaller than the threshold, an abnormality is accumulated in multiple processes, and an abnormality is detected in one of the processes when the abnormality rate exceeds the threshold. Sometimes.
  • the inspection unit 305 records the abnormality rate even when the abnormality rate of the inspection object does not exceed the threshold value and no abnormality is detected.
  • the abnormality rate may be stored in the storage unit 202 or may be held by the inspection device 300 or the inspection unit 305 .
  • the inspection unit 305 a plurality of inspection objects are registered for one process, and when the inspection object specifying unit 304 specifies a plurality of areas including the plurality of inspection objects, the inspection unit 305 identifies the plurality of inspection object areas. Perform anomaly detection.
  • the inspection unit 305 If the inspection of the inspection target area is not possible, the inspection unit 305 outputs information on the fact and the process and inspection target that was not possible as an inspection result.
  • a case in which inspection is not possible is, for example, a case in which an operator's hand has entered between the camera 100 and the inspection target to hide the inspection target.
  • the display processing unit 306 performs processing for displaying the results of inspection by the inspection unit 305 on the display unit 205 of the terminal device 200 .
  • the details of the UI showing the display result will be described later.
  • the output unit 307 performs processing for outputting the results of inspection by the inspection unit 305 in a predetermined format such as text, QR (Quick Response) code (registered trademark), log data, or the like.
  • the inspection device 300 is configured as described above.
  • the inspection device 300 operates in the terminal device 200, but the terminal device 200 may have the function as the inspection device 300 in advance, or the terminal device 200 having the function as a computer may execute a program.
  • the inspection apparatus 300 and the inspection method in the inspection apparatus 300 may be realized.
  • the program may be pre-installed in the terminal device 200, or may be downloaded or distributed as a storage medium and installed by the user or the like.
  • the inspection device 300 may be configured as a single device.
  • n which indicates the order of steps, is a natural number, and its initial value is 1.
  • step S101 the process registration unit 301 registers a process based on input from the user.
  • the user selects a process to be actually performed from a plurality of process candidates listed in advance and displayed on the display unit 205 .
  • the process registration unit 301 registers the process selected by the user.
  • the inspection target registration unit 302 registers the inspection target in the process input by the user.
  • the user selects an inspection target from among a plurality of inspection target candidates listed in advance and displayed on the display unit 205 .
  • the inspection target registration unit 302 registers the inspection target selected by the user.
  • User input for process registration and inspection object registration can be performed using, for example, the input UI shown in FIG.
  • the input UI of FIG. 5A a list of candidates for each process is displayed in a pull-down menu format, and the user can input the process to be registered by selecting one of the candidates.
  • a list of candidates for inspection in the process is displayed in a pull-down menu format as shown in FIG. 5B, and the user selects one of the candidates to register. You can enter the object to be inspected. In this manner, the user can enter a process and an object to be inspected in that process. Although it is possible to register a plurality of inspection objects in one process, at least one inspection object should be registered. Note that the input UI shown in FIG. 5 is merely an example, and any UI other than the pull-down menu format may be used as long as the user can select and input the process to be registered and the inspection object to be registered by their names. Alternatively, the process to be registered and the inspection object may be input by voice input, gesture input, or the like.
  • the user does not need to perform detailed input work such as specifying a specific area in the camera image in order to register the inspection target, and the user selects the inspection target from multiple candidates. Just Therefore, inspection can be performed easily and efficiently.
  • the user designates an area including the inspection target in the camera image by inputting to the terminal device 200, and the object or work detected in that area is inspected. You may make it register as an object. Machine learning can be used to detect objects and tasks in the area.
  • the inspection target may be added to the list as a new inspection target candidate for subsequent processing.
  • the object to be manufactured is a single-lens reflex camera, which is an electronic device. It is assumed that three processes called "test", which are processes, are registered. Therefore, an image obtained by photographing with the camera 100 is an image photographing the state of manufacture of a single-lens reflex camera, which is an electronic device.
  • screw tightening is registered as an inspection target in the assembly process.
  • either one or both of the "driver” and the “camera body” may be registered as inspection targets in order to inspect screw tightening.
  • air blow is registered as an inspection object.
  • the "lens” is registered as an object to be inspected.
  • step S103 the inspection apparatus 300 acquires a camera image of the state of the first process input from the camera 100A.
  • a camera image is supplied to the process determination unit 303 .
  • step S104 the process determination unit 303 determines whether or not the process captured in the camera image matches the registered first process. If the process captured in the camera image matches the registered process, the process determination unit 303 outputs the determination result and the camera image to the inspection target identification unit 304, and the process proceeds to step S105 (Yes in step S104).
  • the inspection apparatus 300 may supply a common camera image to the process determination unit 303 and the inspection target identification unit 304. In this case, the camera image is output from the process determination unit 303 to the inspection target identification unit 304. No need.
  • the user may be notified of this by displaying a message on the display unit 205 or by outputting audio from the speaker.
  • the inspection target specifying unit 304 specifies an area including the inspection target in the camera image based on the registered inspection target information.
  • the inspection target identification unit 304 detects that screw tightening is performed in the camera image as indicated by the dashed frame in the camera image shown in FIG. 6A. identify areas where
  • the inspection object identification unit 304 repeats the identification of the inspection object for each frame image to obtain a frame as shown in FIG. Even if the object to be inspected moves, it can be tracked.
  • the "driver" is registered as an inspection target in the first step, and time passes in the order of FIG. 7A, FIG. 7B, and FIG. 7C. It shows the state of following the driver who is the subject of inspection.
  • step S106 the inspection unit 305 inspects whether or not there is an abnormality in "screw tightening", which is the inspection target in the first process "assembly".
  • the inspection unit 305 outputs inspection results to the display processing unit 306 and the output unit 307 .
  • the inspection object registration unit 302 can register multiple inspection objects in one process. Therefore, when a plurality of inspection objects are registered and the inspection object specifying unit 304 specifies an area including each of the plurality of inspection objects, the inspection unit 305 inspects each of the plurality of inspection objects.
  • the user inputs both the driver and the camera body, which is the target of screw tightening, as inspection targets, and the inspection target registration unit 302 registers the driver and the camera body as inspection targets.
  • the inspection object specifying unit 304 specifies the area including the driver and the area including the camera body, and the inspection unit 305 inspects the overlapping range of both the driver area and the camera body area.
  • the inspection unit 305 should perform inspection when the overlapping range of the area of the driver and the area of the camera body exceeds a predetermined size. For example, as shown in FIG. 8A, the area R1 of the driver and the area R2 of the camera body overlap, but if the overlapping range R3 of the area R1 and the area R2 is small, the overlapping range R3 is to be inspected. May not include driver and camera body.
  • the overlapping range R3 is the object of inspection. Since there is a high possibility that the driver and the camera body are included, the overlapping range R3 is inspected. As a result, it is possible to reliably inspect the state in which the driver is tightening the screw to the camera body.
  • Whether or not the overlapping range is equal to or greater than a predetermined size may be determined based on the area of the range, or may be determined based on dimensions such as length, width, or diameter. You may judge based on the ratio of the range which is covered.
  • the inspection unit 305 does not perform inspection when the area R1 of the driver and the area R2 of the camera body do not overlap as shown in FIG. 8C.
  • step S107 if the inspection has not been completed for all the processes registered by the process registration unit 301, the process proceeds to step S108 (No in step S107).
  • n is incremented in step S108, and the process proceeds to step S103.
  • step S103 a camera image of the state of the second process photographed by the camera 100B is acquired, and in step S104, it is checked whether the process captured in the camera image matches the registered second process. judge.
  • step S105 since the inspection target in the second process "cleaning" is "air blow", the inspection target identification unit 304 performs "air blow” in the camera image as indicated by the dashed frame in FIG. 6B. Identify areas. Then, in step S106, the inspection unit 305 detects whether or not there is an abnormality in the "air blow” which is the inspection target in the second process "cleaning".
  • step S103 a camera image of the state of the third process photographed by the camera 100C is acquired, and in step S104, it is checked whether the process reflected in the camera image matches the registered third process. judge.
  • step S105 since the inspection target in the third step "test" is the "lens", the inspection target identification unit 304 identifies an area including the "lens” in the camera image as indicated by the dashed frame in FIG. 6C. do. Then, in step S106, the inspection unit 305 inspects whether or not there is an abnormality in the "lens" to be inspected in the third process "test".
  • step S108 when all the processes registered by the process registration unit 301 have been completed, the process proceeds to step S109 (Yes in step S107).
  • step S109 the display processing unit 306 displays the inspection result on the display unit 205 of the terminal device 200. Also, the output unit 307 outputs the inspection result in a predetermined format.
  • the inspection apparatus 300 may display the inspection result on the display unit 205 by the display processing unit 306 or output the inspection result by the output unit 307, or may perform both. The user may be allowed to decide whether to display or output.
  • the inspection result display UI shown in FIG. 9A displays that an abnormality occurred in the inspection target, the date and time when the abnormality was detected, the process in which the abnormality was detected, and the inspection target in which the abnormality was detected. As a result, the user can grasp in which process the abnormality occurred, and in which work, tool, or part the abnormality occurred.
  • the abnormality rate for each inspection object may be displayed.
  • the camera image in which an abnormality was detected may be displayed, or a link to the camera image in which an abnormality was detected and stored in a server or the like may be displayed.
  • the user can later confirm the state and cause of the occurrence of the abnormality.
  • the terminal device 200 when the test result is displayed on the display unit 205, if the terminal device 200 has a speaker or if there is a speaker as an external device, a sound is output from the speaker to notify the user of an alert, or the terminal device Information to that effect may be transmitted to an external device other than 200, and the external device (such as a smart phone) may output the alert by voice.
  • the alert notification method is not limited to voice output, and any method such as vibration, LED lighting, or message may be used.
  • the user may be notified to that effect by display on the display unit 205 or audio output from the speaker. If the position or orientation of the camera 100 is shifted, the process or inspection target cannot be photographed, but if the user is notified of this fact, the user can correct the position or orientation of the camera 100 .
  • a shift in the position or angle of view of the camera 100 can be detected by, for example, comparing the latest camera image with a past camera image.
  • the inspection target identification unit 304 fails to identify the inspection target from the camera image for a predetermined number of times, it can be determined that the position or orientation of the camera 100 is misaligned. This is because if the camera 100 is not installed in the correct position and in the correct direction, the inspection object cannot be photographed, and the inspection object identification unit 304 cannot identify the inspection object from the camera image.
  • the output unit 307 outputs the inspection results in the form of table-format text as shown in FIG. 10, QR code (registered trademark), log data, and the like.
  • QR code registered trademark
  • log data log data
  • the output unit 307 outputs the inspection results in the form of table-format text as shown in FIG. 10, QR code (registered trademark), log data, and the like.
  • the QR code (registered trademark) output by the output unit 307 may be printed on a sticker or the like and attached to the inside of the product.
  • the manufacturer or repairer reads the QR code (registered trademark) to obtain the inspection results in the manufacturing process of the product as information. can be reflected in repairs and manufacturing process improvements.
  • the inspection unit 305 outputs information to that effect and the process and inspection target for which the inspection was not possible as an inspection result. Therefore, the inspection target identifying unit 304 uses the inspection result to specify the area including the inspection target that cannot be inspected in the camera images of the other processes after the process that cannot be inspected. Then, the inspection unit 305 inspects the inspection object that was not inspectable in the previous process in other processes after the process that was not inspectable. As a result, the inspection can be performed in the subsequent process without being inspected, so it is possible to prevent the product from being manufactured without being inspected.
  • the inspection unit 305 also inspects the lens registered as an inspection target in the third step.
  • the worker may be notified to that effect by means of display on the display unit 205, voice output, or the like. This allows the operator to perform the inspection manually.
  • an inspection target can be automatically inspected simply by selecting a process to be inspected and an inspection target from candidates without the user specifically specifying an area including the inspection target in a camera image.
  • inspection can be performed easily and efficiently.
  • the inspection target can be specified and inspected if the inspection target is shown in the camera image. , the user does not need to adjust the position.
  • the inspection target area in the camera image is inspected instead of the entire camera image, the inspection can be performed without being affected by noise such as the background outside the inspection target area.
  • the inspection can be performed without being affected by noise such as the background outside the inspection target area.
  • by closely managing the work process procedures and the results of abnormality detection it becomes easier to improve problems after abnormality detection.
  • the inspection system 10 is not limited to the configuration shown in FIG. 1, and the terminal device 200 may include the inspection device 300 and the camera 100 as shown in FIG. Also, as shown in FIG. 12, the inspection device 300 may be configured to operate on a cloud server 400.
  • the terminal device 200 is connected to the cloud server 400 via a network such as the Internet or a dedicated line.
  • the cloud server 400 includes at least the same control unit, storage unit, interface, etc. as those included in the terminal device 200 .
  • the process determination unit 303, the inspection target identification unit 304, and the inspection unit 305 that perform high-load processing operate in the cloud server 400, and the other process registration unit 301 and inspection target registration unit 302 It may be configured to operate on the terminal device 200 .
  • inspection processing can be performed at high speed.
  • the display processing unit 306 and the output unit 307 are described as operating in the cloud server 400 in FIG. 13 , they may also operate in the terminal device 200 .
  • a process determination unit 303, an inspection target identification unit 304, and an inspection unit 305 necessary for real-time anomaly detection operate in the terminal device 200, and receive input from the user and perform detection by the user.
  • the process registration unit 301, the inspection target registration unit 302, the display processing unit 306, and the output unit 307, which should be capable of displaying results even for users in remote locations, may be configured to operate on the cloud server 400. good.
  • the manufacturing of electronic devices in a factory has been described as an example, but the present technology is not limited to the manufacturing of electronic devices. It can be applied to the manufacturing process of any product, such as footwear, as long as it can be manufactured.
  • the present technology can also take the following configurations.
  • a process determination unit that determines whether the process in an image obtained by photographing a process of manufacturing an object is a pre-registered process; an inspection object identifying unit that identifies an area in the image that includes an inspection object registered in advance corresponding to the process; an inspection unit that inspects the inspection object in the area; inspection device.
  • the inspection apparatus according to (1) further comprising a process registration unit that registers the process selected by the user from among a plurality of candidates listed in advance.
  • the inspection apparatus according to (1) or (2) further comprising an inspection object registration unit that registers the inspection object selected by the user from among a plurality of candidates listed in advance corresponding to the process.
  • the inspection apparatus according to any one of (1) to (3), wherein the inspection target specifying unit specifies the inspection target in the image using a machine learning algorithm. (5) The inspection apparatus according to any one of (1) to (4), wherein the inspection unit detects an abnormality in the inspection target in the area. (6) The inspection apparatus according to any one of (1) to (5), wherein one or more inspection objects can be registered in the process. (7) The inspection apparatus according to any one of (1) to (6), wherein the inspection unit inspects the inspection object in a range in which a plurality of areas including each of the plurality of inspection objects overlap in the image.
  • the inspection apparatus inspects the inspection target in the range when the range where the plurality of areas overlap is equal to or larger than a predetermined size. (9) If the inspection unit cannot inspect the object to be inspected in the image obtained by photographing any one of the plurality of registered steps, the other of the plurality of registered steps is performed.
  • the inspection apparatus according to any one of (1) to (8), which inspects the inspection object that cannot be inspected in the captured image. (10) The inspection apparatus according to any one of (1) to (9), further comprising a display processing unit that displays a result of inspection by the inspection unit on a display unit. (11) The inspection apparatus according to any one of (1) to (10), further comprising an output unit that outputs inspection results by the inspection unit.
  • Inspection apparatus 301 Process registration unit 302 Inspection object registration unit 303 Process determination unit 304 Inspection object identification unit 305 Inspection unit 306 Display processing unit 307 ⁇ Output section

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

物を製造する工程を撮影した画像における工程が、予め登録された工程であるかを判定する工程判定部と、画像における、工程と対応して予め登録された検査対象を含む領域を特定する検査対象特定部と、領域における検査対象を検査する検査部とを備える検査装置である。

Description

検査装置、検査方法およびプログラム
　本技術は、検査装置、検査方法およびプログラムに関する。
　工場などにおいて物を製造するための製造工程においては検査が行われている。検査は人による目視の検査の他、装置により自動で行われる場合もある。
　装置による自動の検査では、通常、カメラで物や物を構成する部品、物の製造工程における作業の様子を撮影して、撮影によって得られた画像に対して画像処理を行うことにより異常を検知する。
　そのような画像による外観検査システムとして特許文献１に示す技術が提案されている。
特開２０２１－１７７１５４号公報
　特許文献１の技術のように、カメラで撮影した画像に基づく検査システムでは、画像中の検査対象を含む領域をユーザが入力により指定する必要があって煩雑であるという問題がある。また、検査対象の位置が変化するとその都度カメラの位置や作業場所の調整が必要になるという問題もある。
　本技術はこのような点に鑑みなされたものであり、ユーザが検査対象を画像において指定することなくその検査対象を検査することができる検査装置、検査方法およびプログラムを提供することを目的とする。
　上述した課題を解決するために、第１の技術は、物を製造する工程を撮影した画像における工程が、予め登録された工程であるかを判定する工程判定部と、画像における、工程と対応して予め登録された検査対象を含む領域を特定する検査対象特定部と、領域における前記検査対象を検査する検査部とを備える検査装置である。
　また、第２の技術は、物を製造する工程を撮影した画像における工程が、予め登録された工程であるかを判定し、画像における、工程と対応して予め登録された検査対象を含む領域を特定し、領域における検査対象を検査する検査方法である。
　さらに、第３の技術は、物を製造する工程を撮影した画像における工程が、予め登録された工程であるかを判定し、画像における、工程と対応して予め登録された検査対象を含む領域を特定し、領域における検査対象を検査する検査方法をコンピュータに実行させるプログラムである。
検査システム１０の構成とカメラ１００の設置を示す図である。 端末装置２００の構成を示すブロック図である。 検査装置３００の構成を示すブロック図である。 検査システム１０における処理を示すフローチャートである。 登録する工程を入力するためのＵＩを示す図である。 第１乃至第３の工程における検査対象の特定の説明図である。 検査対象の追従の説明図である。 複数の検査対象の領域が重なる範囲を検査する場合の説明図である。 検査結果表示用ＵＩを示す図である。 検査結果を表形式のテキストで出力する例を示す図である。 端末装置２００と検査装置３００の第１の変形例を示す図である。 端末装置２００と検査装置３００の第２の変形例を示す図である。 端末装置２００と検査装置３００の第３の変形例を示す図である。 端末装置２００と検査装置３００の第４の変形例を示す図である。
　以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．実施の形態＞
［１－１．検査システム１０の構成］
［１－２．端末装置２００の構成］
［１－３．検査装置３００の構成］
［１－４．検査システム１０における処理］
＜２．変形例＞
＜１．実施の形態＞
［１－１．検査システム１０の構成］
　まず図１を参照して検査システム１０の構成について説明する。検査システム１０はカメラ１００、端末装置２００、検査装置３００により構成されている。
　カメラ１００はレンズ、撮像素子、画像信号処理回路などから構成され、工場などにおける物の製造工程を撮影するためのものである。カメラ１００は図１に示すように、作業者により物を製造するための工程が行われる作業場所を撮影できる位置に設置されている。物を製造するための工程が複数あり、それら複数の工程が異なる作業場所で行われる場合にはカメラ１００は作業場所ごとに設置する必要がある。
　図１の例では、第１工程乃至第３工程があり、第１工程を撮影可能な位置にカメラ１００Ａを設置し、第２工程を撮影可能な位置にカメラ１００Ｂを設置し、第３工程を撮影可能な位置にカメラ１００Ｃを設置している。工程の数とカメラの数はあくまで例示であり、本技術が特定の工程の数、カメラの数に限定されることはない。なお、以下の説明においてカメラ１００Ａ、カメラ１００Ｂ、カメラ１００Ｃを区別する必要がない場合には単にカメラ１００と記載する。カメラ１００で撮影された画像は検査装置３００による検査のために端末装置２００に送信されて検査装置３００に供給される。カメラ１００と端末装置２００の接続方法は例えばＵＳＢ接続、ネットワーク接続などあらゆる接続方法を用いることができ、有線接続無線接続を問わない。
　１つの工程を撮影するカメラ１００は１つに限られず、１つの工程を複数のカメラ１００で撮影してもよい。また、複数の工程が一つの作業場所で行われる場合には設置するカメラ１００は１つでよいが、１つの作業場所で行われる複数の工程を撮影するためには異なる位置から撮影する必要がある場合には１つの作業場所の撮影のために複数のカメラ１００を設置するとよい。なお、死角が発生しやすい場所においては複数のカメラ１００を設置して異なる位置や角度から撮影するよい。
　カメラ１００としてはカメラ機能を備える専用の装置の他、カメラ機能を備える電子機器、例えば、スマートフォン、タブレット端末などを用いてもよい。
　カメラ１００から出力される画像は静止画像でもよいし、映像を構成する複数のフレーム画像でもよい。以下の説明ではカメラ１００で撮影した画像をカメラ画像と称する場合がある。
　端末装置２００は検査装置３００が動作する装置であり、端末装置２００としては例えばパーソナルコンピュータ、スマートフォン、タブレット端末などがある。
　検査装置３００は本技術における検査処理を行う装置である。本実施の形態では検査装置３００は端末装置２００において動作する。
［１－２．端末装置２００の構成］
　次に図２を参照して端末装置２００の構成について説明する。端末装置２００は少なくとも制御部２０１、記憶部２０２、インターフェース２０３、入力部２０４、表示部２０５を備えている。
　制御部２０１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などから構成されている。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって端末装置２００の全体および各部の制御を行う。
　記憶部２０２は、例えばハードディスク、フラッシュメモリなどの大容量記憶媒体である。記憶部２０２には検査装置３００で使用する各種アプリケーション、データ、情報などが格納されている。
　インターフェース２０３はカメラ１００などの外部装置やインターネットなどとの間のインターフェースである。インターフェース２０３は、有線または無線の通信インターフェースを含みうる。また、より具体的には、有線または無線の通信インターフェースは、３ＧＰＰ（Third Generation Partnership Project）などのセルラー通信、Ｗｉ－Ｆｉ、Bluetooth（登録商標）、ＮＦＣ（Near Field Communication）、イーサネット（登録商標）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、ＵＳＢ（Universal Serial Bus）などを含みうる。また、端末装置２００が複数の装置に分散して実現される場合、インターフェース２０３はそれぞれの装置のための異なる種類のインターフェースを含みうる。例えば、インターフェース２０３は、通信インターフェースと装置内のインターフェースとの両方を含んでもよい。
　入力部２０４は、端末装置２００および検査装置３００に対してユーザが情報の入力、各種指示など行うためのものである。入力部２０４に対してユーザから入力がなされると、その入力に応じた制御信号が作成されて制御部２０１に供給される。そして、制御部２０１はその制御信号に対応した各種処理を行う。また、検査装置３００に対して入力された情報は端末装置２００から検査装置３００に供給される。入力部２０４は物理ボタンの他、タッチパネル、モニタと一体に構成されたタッチスクリーンなどがある。
　ユーザとは例えば製造工程に作業者や、物の製造を管理する管理者などである。
　表示部２０５は、検査システム１０を使用するためのＵＩ（User Interface）や、検査結果などを表示するディスプレイなどの表示デバイスである。
　端末装置２００は以上のようにして構成されている
　本技術に係る処理のために必要なプログラムがある場合、そのプログラムは予め端末装置２００にインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自らインストールするようにしてもよい。
［１－３．検査装置３００の構成］
　次に図３を参照して検査装置３００の構成について説明する。検査装置３００は工程登録部３０１、検査対象登録部３０２、工程判定部３０３、検査対象特定部３０４、検査部３０５、表示処理部３０６、出力部３０７を備えて構成されている。
　工程登録部３０１は、ユーザからの入力に基づいて、予めリスト化された複数の候補の中からユーザにより選択された工程を検査する工程として登録する。登録された工程の情報は記憶部２０２などに保存してもよいし、検査装置３００や工程登録部３０１が保持できるようにしてもよい。
　検査対象登録部３０２は、ユーザからの入力に基づいて、工程登録部３０１により登録された工程における検査対象を登録する。検査対象登録部３０２は、工程と対応して予めリスト化された複数の候補の中からユーザに選択された検査対象を登録する。検査対象登録部３０２は、１つの工程に対して１または複数の検査対象を登録することができる。登録された検査対象の情報は記憶部２０２などに保存してもよいし、検査装置３００や検査対象登録部３０２が保持できるようにしてもよい。
　工程判定部３０３は、カメラ画像に写っている工程が工程登録部３０１により登録された工程であるか否かを判定する。工程判定部３０３は、予め複数の工程の名称とその工程を撮影した画像に基づいて人工知能で学習していることにより、カメラ１００の撮影で得られたカメラ画像に写るものがどのような工程であるかを特定し、その工程が登録された工程であるかを判定することができる。人工知能としては機械学習アルゴリズムを用いることができ、さらに、機械学習アルゴリズムとしてはディープニューラルネットワークを用いることができる。
　検査対象特定部３０４は、検査対象登録部３０２により登録された検査対象を含む領域をカメラ画像中から特定する。以下の説明では検査対象を含む領域を検査対象領域と称する場合がある。検査対象特定部３０４は、予め複数の検査対象となり得る物体（道具、部品など）の名称や作業の名称とその検査対象となり得る物体や作業などを撮影した画像に基づいて人工知能で学習していることによりカメラ画像中における検査対象領域を特定することができる。人工知能としては機械学習アルゴリズムを用いることができ、さらに、機械学習アルゴリズムとしてはディープニューラルネットワークを用いることができる。具体的にはObject DetectionやSegmentationなどの技術を利用することができる。
　検査部３０５は、カメラ画像中の検査対象領域に対して検査処理を行い、検査結果を表示処理部３０６と出力部３０７に出力する。検査部３０５は例えばMVTec ADやDescribable Textures Datasetなどの異常検知用機械学習モデルを用いて異常検知を行うことができる。
　検査部３０５は、検査対象の異常の度合いを数値（異常率と称する）として算出し、その異常率が所定の閾値より大きい場合に検査対象に異常があると検知する。よって、１つの工程においては異常率が閾値より小さいため異常とは検知されなくても、複数の工程で異常が積み重なり、いずれかの工程で異常率が閾値を超えて異常があると検知される場合がある。検査部３０５は、検査対象の異常率が閾値を超えずに異常があるとは検知しなかった場合でもその異常率を記録しておく。異常率は記憶部２０２に保存してもよいし、検査装置３００や検査部３０５が保持できるようにしてもよい。
　検査部３０５は、１つの工程に対して複数の検査対象が登録されており、検査対象特定部３０４がその複数の検査対象を含む複数の領域を特定した場合にはそれら複数の検査対象領域について異常検知を行う。
　検査部３０５は、検査対象領域の検査が不可であった場合、その旨と不可であった工程および検査対象の情報を検査結果として出力する。検査が不可である場合とは例えばカメラ１００と検査対象の間に作業者の手が入り込んで検査対象を隠してしまった場合などである。
　表示処理部３０６は、検査部３０５による検査の結果を端末装置２００の表示部２０５に表示する処理を行う。表示結果を示すＵＩの詳細は後述する。
　出力部３０７は、検査部３０５による検査の結果をテキスト、ＱＲ（Quick Response）コード（登録商標）、ログデータなどの所定の形式で出力する処理を行う。
　検査装置３００は以上のようにして構成されている。本実施の形態では検査装置３００は端末装置２００において動作するが、予め端末装置２００が検査装置３００としての機能を備えていてもよいし、コンピュータとしての機能を備える端末装置２００においてプログラムを実行することにより検査装置３００および検査装置３００における検査方法が実現されてもよい。そのプログラムは予め端末装置２００にインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザなどがインストールするようにしてもよい。また、検査装置３００は単体の装置として構成されてもよい。
［１－４．検査システム１０における処理］
　次に図４を参照して検査システム１０における処理について説明する。なお、工程の順番を示すｎは自然数であり、初期値は１とする。
　まずステップＳ１０１で、工程登録部３０１はユーザからの入力に基づいて工程を登録する。工程を登録するためには、ユーザは、予めリスト化されて表示部２０５に表示された複数の工程の候補の中から実際に行う工程を選択する。そして工程登録部３０１は、ユーザが選択した工程を登録する。
　次にステップＳ１０２で、検査対象登録部３０２が、ユーザから入力された工程における検査対象を登録する。検査対象を登録するためには、ユーザは予めリスト化されて表示部２０５に表示された複数の検査対象の候補の中から検査対象とするものを選択する。そして検査対象登録部３０２はユーザが選択した検査対象を登録する。
　工程の登録および検査対象の登録のためのユーザの入力は例えば図５に示す入力用ＵＩを用いて行うことができる。図５Ａの入力用ＵＩでは各工程の候補のリストがプルダウンメニュー形式で表示され、ユーザは候補のいずれかを選択することで登録する工程を入力することができる。
　入力用ＵＩでは工程の選択が完了すると、次に図５Ｂに示すように、その工程における検査対象の候補のリストがプルダウンメニュー形式で表示され、ユーザは候補のいずれかを選択することで登録する検査対象を入力することができる。このようにしてユーザは工程と、その工程における検査対象を入力することができる。１つの工程において複数の検査対象を登録することも可能であるが、検査対象は少なくとも１つを登録すればよい。なお、図５に示す入力用ＵＩはあくまで一例であり、登録する工程と登録する検査対象をユーザがその名称により選択して入力することができればプルダウンメニュー形式に限らずどのようなＵＩでもよい。また、音声入力やジェスチャ入力などにより登録する工程と検査対象を入力できるようにしてもよい。
　このように本技術では、検査対象を登録するためにユーザがカメラ画像における具体的な領域を指定するような細かい入力作業を行う必要がなく、ユーザは検査対象を複数の候補の中から選択するだけでよい。よって、容易かつ効率よく検査を行うことができる。
　なお、候補の中にユーザが登録したい検査対象がない場合には、ユーザがカメラ画像における検査対象を含む領域を端末装置２００に対する入力で指定し、その領域内で検出された物体や作業など検査対象として登録するようにしてよい。領域内における物体や作業の検出は機械学習により行うことができる。ユーザがカメラ画像における検査対象を含む領域を入力して検査対象を登録した場合、次回以降の処理のために、その検査対象を新たな検査対象の候補としてリストに追加してもよい。
　本実施の形態では具体例として、製造する物を電子機器である一眼レフカメラとし、一眼レフカメラを製造するための第１工程である「組み立て」、第２工程である「クリーニング」、第３工程である「試験」という３つの工程を登録するものとする。よって、カメラ１００の撮影により得られる画像は電子機器である一眼レフカメラの製造の様子を撮影した画像である。
　また、本実施の形態では具体例として、組み立て工程では「ネジ締め」を検査対象として登録する。以下の説明では組み立て工程ではネジ締めを検査するために「ドライバー」と「カメラ本体」のいずれか一方または両方を検査対象として登録する場合もある。また、クリーニング工程では「エアブロー」を検査対象として登録する。さらに、検査工程では「レンズ」を検査対象として登録する。
　フローチャートの説明に戻る。次にステップＳ１０３で、検査装置３００はカメラ１００Ａから入力された第１工程の様子を撮影したカメラ画像を取得する。カメラ画像は工程判定部３０３に供給される。
　次にステップＳ１０４で工程判定部３０３は、カメラ画像に写っている工程が登録された第１工程と一致するか否かを判定する。カメラ画像に写っている工程が登録された工程と一致する場合、工程判定部３０３は判定結果とカメラ画像を検査対象特定部３０４に出力し、処理はステップＳ１０５に進む（ステップＳ１０４のＹｅｓ）。なお、検査装置３００は共通のカメラ画像を工程判定部３０３と検査対象特定部３０４にそれぞれ供給するようにしてもよく、その場合、工程判定部３０３から検査対象特定部３０４にカメラ画像を出力する必要はない。
　なお、カメラ画像に写っている工程が登録された工程と一致しない場合、その旨を表示部２０５におけるメッセージ表示やスピーカからの音声出力などでユーザに通知するようにしてもよい。
　次にステップＳ１０５で検査対象特定部３０４は、登録された検査対象の情報に基づいてカメラ画像における検査対象を含む領域を特定する。第１工程である「組み立て」における検査対象は「ネジ締め」である場合、図６Ａに示すカメラ画像中の破線の枠で示すように検査対象特定部３０４はカメラ画像においてネジ締めが行われている領域を特定する。
　なお、カメラ１００から入力されるのが映像を構成する複数の連続するフレーム画像である場合、検査対象特定部３０４は各フレーム画像に対して検査対象の特定を繰り返すことにより、図７に示すように検査対象が移動してもそれを追従することができる。図７では第１工程において「ドライバー」を検査対象として登録しており、図７Ａ、図７Ｂ、図７Ｃの順で時間が経過し、その時間の経過に伴いドライバーの位置が変化しても特定した検査対象であるドライバーを追従している様子を示している。
　次にステップＳ１０６で、検査部３０５は第１工程である「組み立て」における検査対象である「ネジ締め」において異常があるか否かを検査する。検査部３０５は検査結果を表示処理部３０６と出力部３０７に出力する。
　上述したように、検査対象登録部３０２は１つの工程において複数の検査対象を登録することが可能である。よって、複数の検査対象が登録され、検査対象特定部３０４によりそれら複数の検査対象のそれぞれを含む領域が特定された場合、検査部３０５は複数の検査対象それぞれについて検査を行う。
　例えば、ドライバーで一眼レフカメラのカメラ本体をネジ締めする工程を検査しようとする際に、ドライバーだけを検査対象として登録するとドライバーの位置が変化してカメラ本体から離れたりすると適切に検査することができない。
　そこで、ユーザはドライバーとネジ締めの対象であるカメラ本体の両方を検査対象として入力し、検査対象登録部３０２はドライバーとカメラ本体を検査対象として登録する。そして、検査対象特定部３０４はドライバーを含む領域とカメラ本体を含む領域を特定し、検査部３０５はドライバーの領域とカメラ本体の領域の両方が重なった範囲について検査を行う。これにより、確実にドライバーでカメラ本体に対してネジ締めを行っている状態を検査することができる。
　その際検査部３０５は、ドライバーの領域とカメラ本体の領域の重なった範囲が所定の大きさ以上になった場合に検査を行うようにするとよい。例えば、図８Ａに示すようにドライバーの領域Ｒ１とカメラ本体の領域Ｒ２が重なっているが、領域Ｒ１と領域Ｒ２の重なっている範囲Ｒ３が小さい場合、その重なっている範囲Ｒ３は検査対象であるドライバーとカメラ本体を含んでいない場合がある。
　一方、図８Ｂに示すように、ドライバーの領域Ｒ１とカメラ本体の領域Ｒ２が重なっており、領域Ｒ１と領域Ｒ２の重なっている範囲Ｒ３が大きい場合、その重なっている範囲Ｒ３は検査対象であるドライバーとカメラ本体を含んでいる可能性が高いため、その重なっている範囲Ｒ３について検査を行う。これにより、確実にドライバーでカメラ本体に対してネジ締めを行っている状態の検査を行うことができる。重なっている範囲が所定の大きさ以上であるか否かは、その範囲の面積に基づいて判定してもよいし、縦横や直径などの寸法に基づいて判定してもよいし、領域における重なっている範囲の割合に基づいて判定してもよい。
　なお、図８Ｃに示すようにドライバーの領域Ｒ１とカメラ本体の領域Ｒ２が重なっていない場合には検査部３０５は検査を行わない。
　フローチャートの説明に戻る。次にステップＳ１０７で、工程登録部３０１が登録した全ての工程について検査が終了してはいない場合、処理はステップＳ１０８に進む（ステップＳ１０７のＮｏ）。
　そしてステップＳ１０８でｎをインクリメントし、処理はステップＳ１０３に進む。
　ｎが２である場合、ステップＳ１０３では、カメラ１００Ｂで撮影した第２工程の様子を撮影したカメラ画像を取得し、ステップＳ１０４ではカメラ画像に写る工程が登録された第２工程と一致するかを判定する。ステップＳ１０５では、第２工程である「クリーニング」における検査対象は「エアブロー」であるため、図６Ｂの破線の枠で示すように検査対象特定部３０４はカメラ画像において「エアブロー」が行われている領域を特定する。そしてステップＳ１０６で検査部３０５は第２工程である「クリーニング」における検査対象である「エアブロー」において異常があるか否かを検知する。
　ｎが３である場合、ステップＳ１０３では、カメラ１００Ｃで撮影した第３工程の様子を撮影したカメラ画像を取得し、ステップＳ１０４ではカメラ画像に写る工程が登録された第３工程と一致するかを判定する。ステップＳ１０５では、第３工程である「試験」における検査対象は「レンズ」であるため、図６Ｃの破線の枠で示すように検査対象特定部３０４はカメラ画像において「レンズ」を含む領域を特定する。そしてステップＳ１０６で検査部３０５は第３工程である「試験」における検査対象である「レンズ」において異常があるか否かを検査する。
　ステップＳ１０８で、工程登録部３０１が登録した全ての工程が終了した場合、処理はステップＳ１０９に進む（ステップＳ１０７のＹｅｓ）。
　そしてステップＳ１０９で、表示処理部３０６は検査結果を端末装置２００の表示部２０５に表示する。また、出力部３０７は検査結果を所定の形式で出力する。なお、検査装置３００は表示処理部３０６による表示部２０５における検査結果の表示と、出力部３０７による検査結果の出力のいずれか一方のみを行ってもよいし、両方を行ってもよい。ユーザが表示と出力のどちらを行うかを決定できるようにしてもよい。
　図９Ａに示す検査結果表示用ＵＩでは、検査対象に異常が発生したこと、異常を検知した日時、異常を検知した工程、異常を検知した検査対象を表示する。これにより、ユーザはどの工程において異常が発生したか、どの作業や道具や部品に異常があったのかを把握することができる。また、図９Ｂの検知結果表示用ＵＩに示すように各検査対象における異常率を表示してもよい。
　また、検知結果表示用ＵＩにおいては、異常が検知されたカメラ画像を表示したり、サーバなどに保存されている異常が検知されたカメラ画像へのリンクを表示してもよい。ユーザがそのカメラ画像を見ることにより、異常発生の様子や原因を後から確認することができる。
　なお、表示部２０５に検査結果を表示する際に、端末装置２００がスピーカを備える場合や外部装置としてのスピーカがある場合にはそのスピーカから音声を出力してユーザにアラート通知したり、端末装置２００以外の外部装置にその旨の情報を送信し、その外部装置（スマートフォンなど）において音声出力してアラート通知するようにしてもよい。アラート通知方法は音声出力に限らず、振動、ＬＥＤの点灯、メッセージなど、どのような方法でもよい。
　なお、カメラ１００の位置や向きがずれたことを検知した場合、その旨を表示部２０５における表示やスピーカからの音声出力によりユーザに通知してもよい。カメラ１００の位置や向きがずれた場合、工程や検査対象を撮影することができなくなるが、そのことをユーザに通知すれば、ユーザがカメラ１００の位置や向きを直すことができる。カメラ１００の位置や画角がずれたことは例えば最新のカメラ画像と過去のカメラ画像を比較することなどにより検知することができる。
　また、検査対象特定部３０４がカメラ画像から検査対象を特定できないことが所定回数起きた場合、カメラ１００の位置や向きがずれていると判定することができる。カメラ１００が正しい位置で正しい方向に向けて設置されていない場合、検査対象を撮影することができず、検査対象特定部３０４がカメラ画像から検査対象を特定できないからである。
　出力部３０７は検査結果を図１０に示すような表形式のテキストや、ＱＲコード（登録商標）、ログデータなどの形式で出力する。これにより、製造工程終了後（例えば出荷後）に製造物に問題が発見された場合、作業者など製造工程の関係者は検査結果を参照することにより工程のどこに問題があるのかを確認することができる。また、その問題を分析して問題が発生した工程を特定した場合には、検査結果を参照してその特定した工程における作業の見直しや改善を行うことができる。検査結果から検査部における事前学習の不足や、工程や検査対象の登録における不備などが判明された場合、再学習や登録の再実行などを行うようにするとよい。
　また、出力部３０７が出力したＱＲコード（登録商標）をシールなどに印字して製造物の内部などに貼り付けてもよい。例えば、製造物が故障して返品された場合や修理のために返品された場合、メーカーや修理業者はそのＱＲコード（登録商標）を読み取ることにより製造物の製造工程における検査結果を情報として得て修理や製造工程の改善などに反映させることができる。
　上述したように検査が不可であった場合、検査部３０５はその旨と検査が不可であった工程および検査対象の情報を検査結果として出力する。そこで、検査対象特定部３０４はその検査結果を用いて、検査が不可であった工程以降の他の工程を撮影したカメラ画像において検査が不可であった検査対象を含む領域を特定する。そして、検査部３０５は検査が不可であった工程以降の他の工程において以前の工程で検査不可であった検査対象を検査する。これにより検査がされずにその後の工程で検査をすることができるため、検査がされずに物が製造されてしまうことを防止できる。
　例えば、第２工程に対して「ファインダー」を検査対象として登録し、第３工程に対して「レンズ」を検査対象として登録したとする。しかし、作業者の手でファインダーが隠れてしまいカメラ画像にファインダーが写っておらず第２工程ではファインダーの検査ができなかった場合、第３工程に対する検査では、第３工程を撮影したカメラ画像でファインダーも検査する。その際検査部３０５は、第３工程における検査対象として登録されているレンズについても検査を行う。
　他の工程でも検査が不可であった場合には表示部２０５における表示や音声出力などで作業員に対してその旨の通知を行ってもよい。これにより作業員は人力により検査を行うことができる。
　以上のようにして本技術における処理が行われる。本技術によれば、ユーザがカメラ画像において検査対象を含む領域を具体的に指定することなく、検査する工程と検査対象を候補から選択するだけで、自動で検査対象を検査することができる。これにより、容易かつ効率よく検査を行うことができる。また、カメラ１００の位置や検査対象の位置がずれた場合や作業の場所等がずれた場合でも、カメラ画像中に検査対象が写っていれば検査対象を特定して検査をすることができるため、ユーザが位置の調整などをする必要がない。
　また、カメラ画像全体ではなくカメラ画像中の検査対象領域について検査を行うため、その検査対象領域外の背景などのノイズの影響を受けることなく検査をすることができる。
また、作業工程の手順と異常検知の結果を密に管理することで、異常検知後の問題の改善が容易になる。
＜２．変形例＞
　以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
　検査システム１０は図１に示した構成に限られず、図１１に示すように端末装置２００が検査装置３００とカメラ１００を備えていてもよい。また図１２に示すように、検査装置３００はクラウドサーバ４００において動作するように構成してもよい。この場合、端末装置２００はインターネットや専用回線などのネットワークを介してクラウドサーバ４００に接続される。クラウドサーバ４００は少なくとも端末装置２００が備えるものと同様の制御部、記憶部、インターフェースなどを備えて構成されている。
　また図１３に示すように、負荷が高い処理を行う工程判定部３０３、検査対象特定部３０４、検査部３０５はクラウドサーバ４００において動作し、それ以外の工程登録部３０１、検査対象登録部３０２は端末装置２００で動作するように構成してもよい。処理負荷が高い検査装置３００における処理をクラウドサーバ４００で行うことにより高速に検査処理を行うことができる。図１３では表示処理部３０６および出力部３０７はクラウドサーバ４００において動作するように記載してあるが、端末装置２００において動作しても良い。
　さらに図１４に示すように、リアルタイムに異常検知するために必要な工程判定部３０３、検査対象特定部３０４、検査部３０５は端末装置２００において動作し、ユーザからの入力の受け付けやユーザへの検知結果の表示など遠隔地にいるユーザに対しても対応可能とすべき工程登録部３０１、検査対象登録部３０２、表示処理部３０６、出力部３０７はクラウドサーバ４００で動作するように構成してもよい。
　実施の形態は工場における電子機器の製造を例にして説明を行ったが、本技術は電子機器の製造に限らず、家具や食器などの木材加工品や金属加工品、食材や食品、衣服や履物など製造することができる物であればどのような物の製造工程に対しても適用可能である。
　本技術は以下のような構成も取ることができる。
（１）
　物を製造する工程を撮影した画像における前記工程が、予め登録された工程であるかを判定する工程判定部と、
　前記画像における、前記工程と対応して予め登録された検査対象を含む領域を特定する検査対象特定部と、
　前記領域における前記検査対象を検査する検査部と、
を備える検査装置。
（２）
　予めリスト化された複数の候補の中からユーザに選択された前記工程を登録する工程登録部を備える（１）に記載の検査装置。
（３）
　前記工程と対応して予めリスト化された複数の候補の中からユーザに選択された前記検査対象を登録する検査対象登録部を備える（１）または（２）に記載の検査装置。
（４）
　前記検査対象特定部は、機械学習アルゴリズムを用いて前記画像における前記検査対象を特定する（１）から（３）のいずれかに記載の検査装置。
（５）
　前記検査部は、前記領域における前記検査対象の異常を検知する（１）から（４）のいずれかに記載の検査装置。
（６）
　前記工程において１または複数の前記検査対象が登録可能である（１）から（５）のいずれかに記載の検査装置。
（７）
　前記検査部は、前記画像において、前記複数の検査対象のそれぞれを含む複数の領域が重なる範囲における前記検査対象を検査する（１）から（６）のいずれかに記載の検査装置。
（８）
　前記検査部は、前記複数の領域が重なる範囲が所定の大きさ以上である場合、前記範囲における前記検査対象を検査する（７）に記載の検査装置。
（９）
　登録された複数の前記工程のうちのいずれかの工程を撮影した前記画像において前記検査部による前記検査対象の検査が不可であった場合、登録された複数の前記工程のうちの他の工程を撮影した前記画像において検査が不可であった前記検査対象の検査を行う（１）から（８）のいずれかに記載の検査装置。
（１０）
　前記検査部による検査の結果を表示部に表示させる表示処理部を備える（１）から（９）のいずれかに記載の検査装置。
（１１）
　前記検査部による検査の結果を出力する出力部を備える（１）から（１０）のいずれかに記載の検査装置。
（１２）
　前記出力部は前記検査の結果をＱＲコードとして出力する（１１）に記載の検査装置。
（１３）
　前記画像は工場における電子機器の製造の様子を撮影した画像である（１）から（１２）のいずれかに記載の検査装置。
（１４）
　物を製造する工程を撮影した画像における前記工程が、予め登録された工程であるかを判定し、
　前記画像における、前記工程と対応して予め登録された検査対象を含む領域を特定し、
　前記領域における前記検査対象を検査する
検査方法。
（１５）
　物を製造する工程を撮影した画像における前記工程が、予め登録された工程であるかを判定し、
　前記画像における、前記工程と対応して予め登録された検査対象を含む領域を特定し、
　前記領域における前記検査対象を検査する
検査方法をコンピュータに実行させるプログラム。
３００・・・検査装置
３０１・・・工程登録部
３０２・・・検査対象登録部
３０３・・・工程判定部
３０４・・・検査対象特定部
３０５・・・検査部
３０６・・・表示処理部
３０７・・・出力部

Claims (15)

  1. 　物を製造する工程を撮影した画像における前記工程が、予め登録された工程であるかを判定する工程判定部と、
    　前記画像における、前記工程と対応して予め登録された検査対象を含む領域を特定する検査対象特定部と、
    　前記領域における前記検査対象を検査する検査部と、
    を備える検査装置。
  2. 　予めリスト化された複数の候補の中からユーザに選択された前記工程を登録する工程登録部を備える
    請求項１に記載の検査装置。
  3. 　前記工程と対応して予めリスト化された複数の候補の中からユーザに選択された前記検査対象を登録する検査対象登録部を備える
    請求項１に記載の検査装置。
  4. 　前記検査対象特定部は、機械学習アルゴリズムを用いて前記画像における前記検査対象を特定する
    請求項１に記載の検査装置。
  5. 　前記検査部は、前記領域における前記検査対象の異常を検知する
    請求項１に記載の検査装置。
  6. 　前記工程において１または複数の前記検査対象が登録可能である
    請求項１に記載の検査装置。
  7. 　前記検査部は、前記画像において、前記複数の検査対象のそれぞれを含む複数の領域が重なる範囲における前記検査対象を検査する
    請求項１に記載の検査装置。
  8. 　前記検査部は、前記複数の領域が重なる範囲が所定の大きさ以上である場合、前記範囲における前記検査対象を検査する
    請求項７に記載の検査装置。
  9. 　登録された複数の前記工程のうちのいずれかの工程を撮影した前記画像において前記検査部による前記検査対象の検査が不可であった場合、登録された複数の前記工程のうちの他の工程を撮影した前記画像において検査が不可であった前記検査対象の検査を行う
    請求項１に記載の検査装置。
  10. 　前記検査部による検査の結果を表示部に表示させる表示処理部を備える
    請求項１に記載の検査装置。
  11. 　前記検査部による検査の結果を出力する出力部を備える
    請求項１に記載の検査装置。
  12. 　前記出力部は前記検査の結果をＱＲコードとして出力する
    請求項１１に記載の検査装置。
  13. 　前記画像は工場における電子機器の製造の様子を撮影した画像である
    請求項１に記載の検査装置。
  14. 　物を製造する工程を撮影した画像における前記工程が、予め登録された工程であるかを判定し、
    　前記画像における、前記工程と対応して予め登録された検査対象を含む領域を特定し、
    　前記領域における前記検査対象を検査する
    検査方法。
  15. 　物を製造する工程を撮影した画像における前記工程が、予め登録された工程であるかを判定し、
    　前記画像における、前記工程と対応して予め登録された検査対象を含む領域を特定し、
    　前記領域における前記検査対象を検査する
    検査方法をコンピュータに実行させるプログラム。
PCT/JP2022/042535 2022-01-05 2022-11-16 検査装置、検査方法およびプログラム WO2023132131A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022000443 2022-01-05
JP2022-000443 2022-01-05

Publications (1)

Publication Number Publication Date
WO2023132131A1 true WO2023132131A1 (ja) 2023-07-13

Family

ID=87073447

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/042535 WO2023132131A1 (ja) 2022-01-05 2022-11-16 検査装置、検査方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2023132131A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014149206A (ja) * 2013-01-31 2014-08-21 Nichia Chem Ind Ltd 半導体発光素子の検査方法及び半導体発光素子の製造方法
WO2015022739A1 (ja) * 2013-08-14 2015-02-19 株式会社日立製作所 半導体検査方法、半導体検査装置、および半導体素子の製造方法
JP2019060780A (ja) * 2017-09-27 2019-04-18 ファナック株式会社 検査装置及び検査システム
WO2020059743A1 (ja) * 2018-09-20 2020-03-26 三菱電機株式会社 不良検出装置および不良検出方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014149206A (ja) * 2013-01-31 2014-08-21 Nichia Chem Ind Ltd 半導体発光素子の検査方法及び半導体発光素子の製造方法
WO2015022739A1 (ja) * 2013-08-14 2015-02-19 株式会社日立製作所 半導体検査方法、半導体検査装置、および半導体素子の製造方法
JP2019060780A (ja) * 2017-09-27 2019-04-18 ファナック株式会社 検査装置及び検査システム
WO2020059743A1 (ja) * 2018-09-20 2020-03-26 三菱電機株式会社 不良検出装置および不良検出方法

Similar Documents

Publication Publication Date Title
US10297129B2 (en) Fire/security service system with augmented reality
JP6392908B2 (ja) 視覚センサの異常原因推定システム
CN110834327B (zh) 一种机器人的控制方法及设备
US20220012523A1 (en) Repair diagnostic system and method
WO2014006884A1 (ja) 製造設備の監視装置及び監視方法
WO2010101227A1 (ja) 物体位置推定用情報作成装置、物体位置推定用情報作成方法およびプログラム
CN107203196B (zh) 工业设备检测系统及方法
CN111542791B (zh) 使用设施诊断系统的设施诊断方法
JP6715282B2 (ja) 品質監視システム
JP6805199B2 (ja) 設備監視システム
JP7094164B2 (ja) 火災報知システムに対する試験の試験結果出力装置、試験結果出力方法及び試験結果出力プログラム
JP6618349B2 (ja) 映像検索システム
WO2023132131A1 (ja) 検査装置、検査方法およびプログラム
US20170050319A1 (en) Programmable Machine Vision Device
JP2021179321A (ja) 状態管理方法、プログラム、及び状態管理システム
JP6708695B2 (ja) 検査装置
KR101616973B1 (ko) 스마트기기를 이용한 건물 모니터링 시스템 및 그 모니터링 방법
JP2007010419A (ja) 対象物の３次元形状検証システム。
JP2005122378A (ja) 住宅施工品質管理システム
WO2020166468A1 (ja) 再生システム、記録システム、再生方法、再生用プログラム、記録方法及び記録用プログラム
Viharos et al. Vision based, statistical learning system for fault recognition in industrial assembly environment
US20230196906A1 (en) Customer experience diagnostics in premises monitoring systems
KR102151912B1 (ko) 비디오 감시 시스템 및 비디오 감시 시스템에서 수행되는 방법
JP7408731B1 (ja) 行動検知方法、行動検知装置、行動検知システム
KR102623979B1 (ko) 마스킹 기반 딥러닝 이미지 분류 시스템 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22918720

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023572362

Country of ref document: JP

Kind code of ref document: A