WO2018062240A1 - 検査装置 - Google Patents

検査装置 Download PDF

Info

Publication number
WO2018062240A1
WO2018062240A1 PCT/JP2017/034894 JP2017034894W WO2018062240A1 WO 2018062240 A1 WO2018062240 A1 WO 2018062240A1 JP 2017034894 W JP2017034894 W JP 2017034894W WO 2018062240 A1 WO2018062240 A1 WO 2018062240A1
Authority
WO
WIPO (PCT)
Prior art keywords
inspection
worker
image data
information
image
Prior art date
Application number
PCT/JP2017/034894
Other languages
English (en)
French (fr)
Inventor
耕平 中村
勝宏 宮垣
博行 岩月
加藤　慎司
潤 堀口
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Publication of WO2018062240A1 publication Critical patent/WO2018062240A1/ja
Priority to US16/362,764 priority Critical patent/US10908095B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/38—Releasing-devices separate from shutter
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G03B17/561—Support related camera accessories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18—Focusing aids
    • G03B13/20—Rangefinders coupled with focusing arrangements, e.g. adjustment of rangefinder automatically focusing camera
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00—Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing

Definitions

  • This disclosure relates to an inspection apparatus.
  • Wearable cameras that can be worn by workers are known. With such a wearable camera, it is possible to capture the state of work and record the state of products and equipment.
  • user authentication is executed, thereby associating captured image data with a photographer.
  • Patent Document 1 does not disclose any special consideration for using a wearable camera for product inspection.
  • a wearable camera is used for product inspection, it is ideal that the wearable camera and the product to be inspected maintain a certain distance and a certain angle.
  • the angle of the inspection object with respect to the inspection object varies depending on the way the inspection object is placed on the inspection table and the angle of the worker with respect to the inspection object is different. And it is difficult to secure a predetermined distance.
  • An object of the present disclosure is to provide an inspection apparatus capable of accurately inspecting an inspection object even when a worker cannot secure a predetermined angle and a predetermined distance with respect to the inspection object. To do.
  • the present disclosure is an inspection apparatus, an image acquisition unit (501, 501A) for acquiring image data including the inspection object captured by a wearable camera attached to a worker who inspects the inspection object, and the work
  • an image correction unit (503, 503A) that calculates at least one of the divergence distance and the divergence angle based on the inspection state information and corrects the image data.
  • the worker since at least one of the divergence distances x and y and the divergence angle ⁇ is calculated based on the image data and the inspection state information and the image data is corrected, the worker is inspected with a deviation from a specified position. Even if, it can be corrected as inspected from a predetermined position.
  • FIG. 1 is a diagram for explaining a use state of the inspection apparatus according to the first embodiment.
  • FIG. 2 is a block diagram showing the configuration of the inspection apparatus shown in FIG.
  • FIG. 3 is a block configuration diagram showing a functional configuration of the control device shown in FIG.
  • FIG. 4 is a view for explaining image correction of the inspection apparatus according to the first embodiment.
  • FIG. 5 is a diagram for explaining image correction of the inspection apparatus according to the first embodiment.
  • FIG. 6 is a diagram for explaining image correction of the inspection apparatus according to the first embodiment.
  • FIG. 7 is a diagram for explaining a use state of the inspection apparatus according to the second embodiment.
  • FIG. 8 is a block configuration diagram showing the configuration of the inspection apparatus shown in FIG.
  • FIG. 9 is a block configuration diagram showing a functional configuration of the control device shown in FIG.
  • an inspected object such as a workpiece 3 in an intermediate manufacturing stage or a finished product is a non-defective product. It is used for inspection work to determine whether or not.
  • the worker H of the inspection work inspects whether or not the work 3 sequentially transported by the transport conveyor 2 is a non-defective product.
  • a plurality of sets of workpieces 3 and signboards 4 are placed on the conveyor 2.
  • the conveyor 2 conveys the plurality of sets such that the plurality of sets are sequentially arranged in front of the worker H.
  • the signboard 4 is disposed in the vicinity of each work 3, and a code indicating the type of the work 3 is displayed.
  • the inspection device 1 includes a code reader 10, a wearable camera 20, a battery 30, and a tablet 40.
  • the code reader 10 includes a code reader unit 11, an illumination unit 12, a laser pointer unit 13, and a wireless unit 14.
  • the code reader unit 11 includes a light source that emits light, and emits light from the light source through the lens 10a, and then reflects the light by the reflected light that is reflected by the signboard 4 and received through the lens 10a.
  • the signboard 4 of the present embodiment is a display board on which a code is displayed.
  • the code is an identification index indicating the type of the work 3.
  • the code includes various codes such as a QR code (registered trademark) and a barcode.
  • the illumination unit 12 illuminates the work 3 and its surroundings through the lens 10a.
  • the laser pointer unit 13 irradiates a laser beam as a pointer through the lens 10a.
  • the laser pointer unit 13 assists the worker H in recognizing the read area in which the code reader unit 11 reads the code.
  • the region irradiated with the laser beam from the laser pointer unit 13 is set to coincide with the read region of the code reader unit 11.
  • the wireless unit 14 includes an antenna and a wireless circuit, and performs wireless communication with the wireless unit 41 of the tablet 40.
  • the wearable camera 20 is a small camera intended to be worn on the body or the like and photographed hands-free.
  • the wearable camera 20 includes a camera unit 21 and a radio unit 22 as shown in FIG.
  • the camera unit 21 photographs the workpiece 3 as a subject to be photographed with light received through the lens 20a.
  • the wireless unit 22 includes an antenna, a wireless circuit, and the like, and performs wireless communication with the wireless unit 42 of the tablet 40.
  • the battery 30 is a secondary battery that supplies DC power to the code reader 10 and the wearable camera 20 via a harness 31 or the like.
  • the code reader 10, the wearable camera 20, and the battery 30 are mounted on the cap 5 worn by the worker H as shown in FIG. Further, the code reader 10 and the wearable camera 20 are installed on the hat 5 of the worker H so that the lens 10a of the code reader 10 and the lens 20a of the wearable camera 20 are arranged facing the front of the worker H. Has been.
  • the tablet 40 is a mobile terminal configured to be portable by the worker H. As shown in FIG. 2, the tablet 40 includes wireless units 41 and 42, an amplifier 43, a speaker 44, a touch panel 45, and a control device 50.
  • the radio units 41 and 42 are composed of an antenna, a radio circuit, and the like.
  • the wireless unit 41 performs wireless communication with the wireless unit 14 of the code reader 10.
  • the wireless unit 42 performs wireless communication with the wireless unit 22 of the wearable camera 20.
  • various short-range wireless communications are used for wireless communication between the wireless units.
  • Bluetooth registered trademark
  • Wi-Fi registered trademark
  • the amplifier 43 amplifies the analog signal output from the control device 50 and outputs an amplified signal.
  • the speaker 44 converts the amplified signal output from the amplifier 43 into sound and outputs the sound.
  • the touch panel 45 is a display device that combines a transparent key input operation unit and a display panel.
  • the control device 50 is a device that controls the operation of each part of the inspection device 1 related to the inspection work.
  • the control device 50 is physically a microcomputer including a CPU, a memory, a digital-analog conversion circuit, and the like.
  • the control device 50 executes inspection processing according to a computer program stored in advance in the memory.
  • the inspection process is a determination process for determining whether or not the workpiece 3 is a non-defective product based on a code acquired from the code reader 10 and a photographed image acquired by the wearable camera 20.
  • the reference image is composed of a still image or a moving image, and is used to determine whether or not the work 3 is a non-defective product.
  • One reference image includes a non-defective image showing the non-defective work 3 and a non-defective image showing the non-defective work 3.
  • the digital-analog conversion circuit outputs an analog signal indicating sound based on a command from the CPU.
  • the tablet 40 is carried by the worker H, for example, stored in the pocket of the worker H, or placed in the vicinity of the worker H.
  • a standard operation for the inspection process of the workpiece 3 performed by the worker H is, for example, as follows.
  • worker H turns his head to the signboard 4 side and causes the code reader 10 attached to the hat 5 to read the code from the signboard 4.
  • the head 3 is pointed at the work 3, and the wearable camera 20 that is also mounted on the hat 5 is photographed, and the photographed image is acquired. That is, a photographed image of the work 3 is acquired by the wearable camera 20 when the code reader 10 reads a code from the signboard 4 as a trigger.
  • the tablet 40 receives a code from the code reader 10 via wireless communication, and receives a captured image from the wearable camera 20.
  • the control device 50 in the tablet 40 selects a reference image corresponding to the received code from a plurality of types of reference images stored in advance in the memory as described above.
  • the control device 50 determines whether or not the work 3 is a non-defective product by collating the captured image of the work 3 with the reference image. Further, the control device 50 notifies the worker H of the quality determination result of the work 3 by sound information or visual information via the speaker 44 or the touch panel 45 of the tablet 40.
  • the worker H moves to the next work based on the information of the determination result output from the tablet 40. For example, when it is determined that the workpiece 3 is a non-defective product, the next workpiece 3 on the conveyor 2 is inspected.
  • the inspection device 1 configured as described above is carried by the worker H as a wearable device so that both hands of the worker H are free.
  • the inspection apparatus 1 can automatically perform the inspection work of the inspection object without requiring the operation using both hands of the worker H, and supports the inspection work of the worker H.
  • the burden on the worker H can be reduced.
  • the worker H since the worker H is in a hands-free state during the inspection work, the worker H can perform other work (for example, screw tightening) other than the inspection while performing the inspection work on the workpiece 3. Efficiency can be improved.
  • the control device 50 includes an image acquisition unit 501, an inspection state acquisition unit 502, an image correction unit 503, and an image output unit 504 as functional components.
  • the image acquisition unit 501 is a part that acquires image data output from the wearable camera 20.
  • the inspection state acquisition unit 502 is a part that acquires inspection state information for calculating at least one of a deviation distance from the prescribed distance and a deviation angle from the prescribed angle with respect to the work 3 that is the inspection object of the worker H. Specifically, as shown in FIG. 4, for calculating that the worker H has shifted from the state facing the workpiece 3 as shown in (A) to the state shown in (B). Get inspection status information. As information for calculating the inclination ⁇ of the worker H, the workpiece lateral displacement x, and the workpiece longitudinal displacement y, the form information of the reference marker is acquired as the inspection state information.
  • the reference markers 71 and 72 are provided on the pallet 7 on which the workpiece 3 is placed. Since a pair of reference markers 71 and 72 are provided, when the worker H does not face the workpiece 3 and the pallet 7, the shape to be photographed changes.
  • both the reference marker 71 and the reference marker 72 are photographed in the same shape and size.
  • FIG. 6B when the worker H is shifted clockwise with respect to the workpiece 3 and the pallet 7, the reference marker 72 is photographed larger than the reference marker 71.
  • the shooting shapes of the reference markers 71 and 72 also change according to the clockwise angle of the worker H.
  • FIG. 6C when the worker H shifts counterclockwise with respect to the workpiece 3 and the pallet 7, the reference marker 71 is photographed larger than the reference marker 72. Further, according to the counterclockwise angle of the worker H, the shooting shapes of the reference markers 71 and 72 also change.
  • the image correction unit 503 calculates at least one of the divergence distance and the divergence angle based on the image data and the inspection state information, and corrects the image data.
  • the image correction unit 503 calculates at least one of the divergence distance and the divergence angle from the image data and the forms of the reference markers 71 and 72.
  • the image output unit 504 outputs the image data corrected by the image correction unit 503 to the touch panel 45.
  • the touch panel 45 displays the corrected image data.
  • the inspection apparatus 1 acquires the image data including the workpiece 3 captured by the wearable camera 20 attached to the worker H who inspects the workpiece 3 that is the inspection object.
  • an inspection state acquisition unit 502 that acquires inspection state information for calculating at least one of the divergence distances x and y from the specified distance to the workpiece 3 of the worker H and the divergence angle ⁇ from the specified angle, and image data
  • an image correction unit 503 that calculates at least one of the divergence distances x and y and the divergence angle ⁇ based on the inspection state information and corrects the image data.
  • the worker H since at least one of the divergence distances x and y and the divergence angle ⁇ is calculated based on the image data and the inspection state information, and the image data is corrected, the worker H is shifted from the specified position and inspected. Even if, it can be corrected as inspected from a predetermined position.
  • the inspection state acquisition unit 502 acquires the reference markers 71 and 72 imaged together with the workpiece 3 as the inspection object in the image data as inspection state information, and the image correction unit 503 includes the reference markers 71 and 72. At least one of the divergence distance and the divergence angle is calculated from the degree of deformation from the 72 standard shapes.
  • At least one of the divergence distance and the divergence angle can be calculated based on the change in the shape of the reference markers 71 and 72, at least one of the divergence distance and the divergence angle can be calculated using only a monocular camera.
  • the inspection state acquisition unit 502 acquires position specifying information imaged together with the work 3 that is the inspection object in the image data as inspection state information, and the image correction unit 503 includes the work 3 and the position specifying information. It is also possible to calculate at least one of the divergence distance and the divergence angle from the relative positional relationship with.
  • the position specifying information a lattice pattern written on the part on which the work 3 is placed is used. If the grid pattern of the reference markers 71 and 72 as shown in FIG. 5 is applied to the entire pallet 7, the position specifying information can be obtained by counting the number of grids up to the portion where the pattern is hidden.
  • the position specifying information is known shape information in a portion where the workpiece 3 is placed. As shown in FIG. 5, the arrangement position of the workpiece 3 with respect to the pallet 7 is grasped by calculating the ratio between the dimension L1 which is known shape information of the pallet 7 and the dimension L2 of the measurement target portion of the workpiece 3. Can do.
  • an inspected object such as a workpiece 3 at an intermediate manufacturing stage or a finished product is a non-defective product. It is used for inspection work to determine whether or not. Since the inspection work is the same as that of the inspection apparatus 1, the description thereof is omitted.
  • the inspection apparatus 1A includes a code reader 10, a wearable camera 20, a battery 30, a motion sensor 80, and a tablet 40.
  • the code reader 10 includes a code reader unit 11, an illumination unit 12, a laser pointer unit 13, and a radio unit 14, as shown in FIG. Since the code reader 10 is the same as the inspection apparatus 1, the description thereof is omitted.
  • the wearable camera 20 is a small camera intended to be worn on the body or the like and photographed hands-free.
  • the wearable camera 20 includes a camera unit 21 and a radio unit 22 as shown in FIG.
  • the wearable camera 20 is the same as the inspection apparatus 1, and thus the description thereof is omitted.
  • the battery 30 is a secondary battery that supplies DC power to the code reader 10 and the wearable camera 20 via a harness 31 or the like.
  • the motion sensor 80 is a sensor for detecting the movement of the worker H.
  • the motion sensor 80 includes a sensor unit 801 and a wireless unit 802.
  • the sensor unit 801 includes a plurality of acceleration sensors, and outputs the movement of the worker H as inspection state information.
  • the wireless unit 802 communicates with the wireless unit 42 and transmits inspection state information to the tablet 40.
  • the code reader 10, the wearable camera 20, the battery 30, and the motion sensor 80 are attached to the hat 5 worn by the worker H as shown in FIG. Further, the code reader 10 and the wearable camera 20 are installed on the hat 5 of the worker H so that the lens 10a of the code reader 10 and the lens 20a of the wearable camera 20 are arranged facing the front of the worker H. Has been.
  • the tablet 40 is a mobile terminal configured to be portable by the worker H. As shown in FIG. 9, the tablet 40 includes wireless units 41 and 42, an amplifier 43, a speaker 44, a touch panel 45, and a control device 50A.
  • the radio units 41 and 42 are composed of an antenna, a radio circuit, and the like.
  • the wireless unit 41 performs wireless communication with the wireless unit 14 of the code reader 10.
  • the wireless unit 42 performs wireless communication between the wireless unit 22 of the wearable camera 20 and the wireless unit 802 of the motion sensor 80.
  • various short-range wireless communications are used for wireless communication between the wireless units.
  • Bluetooth registered trademark
  • Wi-Fi registered trademark
  • the amplifier 43 amplifies the analog signal output from the control device 50A and outputs an amplified signal.
  • the speaker 44 converts the amplified signal output from the amplifier 43 into sound and outputs the sound.
  • the touch panel 45 is a display device that combines a transparent key input operation unit and a display panel.
  • the control device 50A is a device that controls the operation of each part of the inspection device 1 related to the inspection work.
  • the control device 50A is physically a microcomputer including a CPU, a memory, a digital-analog conversion circuit, and the like.
  • the control device 50A executes the inspection process according to a computer program stored in advance in the memory.
  • the inspection process is a determination process for determining whether or not the workpiece 3 is a non-defective product based on a code acquired from the code reader 10 and a photographed image acquired by the wearable camera 20.
  • the reference image is composed of a still image or a moving image, and is used to determine whether or not the work 3 is a non-defective product.
  • One reference image includes a non-defective image showing the non-defective work 3 and a non-defective image showing the non-defective work 3.
  • the digital-analog conversion circuit outputs an analog signal indicating sound based on a command from the CPU.
  • the tablet 40 is carried by the worker H, for example, stored in the pocket of the worker H, or placed in the vicinity of the worker H.
  • the standard operation of the inspection process of the workpiece 3 performed by the worker H is the same as that of the inspection apparatus 1, and thus the description thereof is omitted.
  • the control device 50A includes an image acquisition unit 501A, an inspection state acquisition unit 502A, an image correction unit 503A, and an image output unit 504A as functional components.
  • the image acquisition unit 501A is a part that acquires image data output from the wearable camera 20.
  • the inspection state acquisition unit 502A is a part that acquires inspection state information for calculating at least one of a deviation distance from the prescribed distance and a deviation angle from the prescribed angle with respect to the workpiece 3 that is the inspection object of the worker H. Specifically, as information for calculating the inclination ⁇ , the workpiece lateral deviation x, and the workpiece longitudinal deviation y of the worker H, the movement information of the worker H measured by the motion sensor 80 is acquired as inspection state information.
  • the image correction unit 503A calculates at least one of the divergence distance and the divergence angle based on the image data and the inspection state information, and corrects the image data.
  • the image correction unit 503A calculates at least one of the divergence distance and the divergence angle from the movement information of the worker H measured by the motion sensor 80.
  • the image output unit 504A outputs the image data corrected by the image correction unit 503A to the touch panel 45.
  • the touch panel 45 displays the corrected image data.
  • the inspection apparatus 1A acquires the image data including the workpiece 3 captured by the wearable camera 20 attached to the worker H who inspects the workpiece 3 as the inspection object.
  • an inspection state acquisition unit 502A that acquires inspection state information for calculating at least one of the deviation distances x and y from the prescribed distance of the worker H with respect to the workpiece 3 and the deviation angle ⁇ from the prescribed angle, and image data
  • an image correction unit 503A that calculates at least one of the divergence distances x and y and the divergence angle ⁇ based on the inspection state information and corrects the image data.
  • the worker H since at least one of the divergence distances x and y and the divergence angle ⁇ is calculated based on the image data and the inspection state information, and the image data is corrected, the worker H is shifted from the specified position and inspected. Even if, it can be corrected as inspected from a predetermined position.
  • the inspection state acquisition unit 502A acquires the operation information output from the motion sensor 80 that acquires the operation of the worker H as the inspection state information, and the image correction unit 503A grasps the operation state of the worker H from the operation information. Then, at least one of the deviation distance and the deviation angle is calculated.
  • the inspection state acquisition unit 502 acquires position specifying information imaged together with the work 3 that is the inspection object in the image data as inspection state information, and the image correction unit 503 includes the work 3 and the position specifying information. It is also possible to calculate at least one of the divergence distance and the divergence angle from the relative positional relationship with.
  • the position specifying information a lattice pattern written on the part on which the work 3 is placed is used. If the grid pattern of the reference markers 71 and 72 as shown in FIG. 5 is applied to the entire pallet 7, the position specifying information can be obtained by counting the number of grids up to the portion where the pattern is hidden.
  • the position specifying information is known shape information in a portion where the workpiece 3 is placed. As shown in FIG. 5, the arrangement position of the workpiece 3 with respect to the pallet 7 is grasped by calculating the ratio between the dimension L1 which is known shape information of the pallet 7 and the dimension L2 of the measurement target portion of the workpiece 3. Can do.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Textile Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • General Factory Administration (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

検査装置は、ウェアラブルカメラが撮像した被検査物を含む画像データを取得する画像取得部（５０１）と、作業員の被検査物に対する規定距離からの乖離距離及び規定角度からの乖離角の少なくとも一方を算出するための検査状態情報を取得する検査状態取得部（５０２）と、画像データと検査状態情報とに基づいて、乖離距離及び乖離角の少なくとも一方を算出し、画像データを補正する画像補正部（５０３）と、を備える。

Description

検査装置 関連出願の相互参照
　本出願は、2016年9月28日に出願された日本国特許出願2016-190100号に基づくものであって、その優先権の利益を主張するものであり、その特許出願の全ての内容が、参照により本明細書に組み込まれる。
　本開示は、検査装置に関する。
　作業者に装着可能なウェアラブルカメラが知られている。このようなウェアラブルカメラでは、作業の様子を撮像し、製品や設備の状態を記録することができる。下記特許文献１に記載のウェアラブルカメラでは、ユーザ認証を実行することで、撮像した画像データと撮像者との関連付けを実行している。
特開２０１６－５８０３８号公報
　上記特許文献１では、ウェアラブルカメラを製品の検査に用いることについて格別の配慮が開示されていない。製品の検査にウェアラブルカメラを用いる場合、ウェアラブルカメラと被検査物である製品とが一定の距離及び一定の角度を保つことが理想的である。
　しかしながら、実際には、被検査物の検査台への置き方がまちまちだったり、作業員の被検査物に対する角度がまちまちだったり、といったことに起因して、被検査物に対して所定の角度及び所定の距離を確保するのが困難である。
　本開示は、作業員が被検査物に対して所定の角度及び所定の距離を確保できない場合であっても、被検査物の検査を精度良く行うことができる検査装置を提供することを目的とする。
　本開示は、検査装置であって、被検査物を検査する作業員に装着されるウェアラブルカメラが撮像した前記被検査物を含む画像データを取得する画像取得部（５０１，５０１Ａ）と、前記作業員の前記被検査物に対する規定距離からの乖離距離及び規定角度からの乖離角の少なくとも一方を算出するための検査状態情報を取得する検査状態取得部（５０２，５０２Ａ）と、前記画像データと前記検査状態情報とに基づいて、前記乖離距離及び前記乖離角の少なくとも一方を算出し、前記画像データを補正する画像補正部（５０３，５０３Ａ）と、を備える。
　本開示によれば、画像データと検査状態情報とに基づいて、乖離距離ｘ，ｙ及び乖離角θの少なくとも一方を算出し、画像データを補正するので、作業員が規定の位置からずれて検査をしても、既定の位置から検査したように補正することができる。
　尚、「発明の概要」及び「請求の範囲」に記載した括弧内の符号は、後述する「発明を実施するための形態」との対応関係を示すものであって、「発明の概要」及び「請求の範囲」が、後述する「発明を実施するための形態」に限定されることを示すものではない。
図１は、第１実施形態である検査装置の使用状態を説明するための図である。 図２は、図１に示される検査装置の構成を示すブロック構成図である。 図３は、図２に示される制御装置の機能的な構成を示すブロック構成図である。 図４は、第１実施形態である検査装置の画像補正を説明するための図である。 図５は、第１実施形態である検査装置の画像補正を説明するための図である。 図６は、第１実施形態である検査装置の画像補正を説明するための図である。 図７は、第２実施形態である検査装置の使用状態を説明するための図である。 図８は、図７に示される検査装置の構成を示すブロック構成図である。 図９は、図８に示される制御装置の機能的な構成を示すブロック構成図である。
　以下、添付図面を参照しながら本実施形態について説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を付して、重複する説明は省略する。
　図１及び図２を参照しながら、第１実施形態に係る検査装置１が適用される検査作業の一例と、検査装置１の概略構成について説明する。
　図１に示されるように、第１実施形態に係る検査装置１は、熱交換器等の製品の製造工程において、製造中間段階のワーク３や完成後の製品などの被検査物が良品であるか否かを判定するための検査作業に用いられる。
　検査作業の作業員Ｈは、搬送コンベア２で順次搬送されるワーク３が良品であるか否かを検査する。搬送コンベア２には、ワーク３と看板４からなる組が複数載置されている。搬送コンベア２は、複数の組が作業員Ｈの前方に順次配置されるようにこれらの複数の組を搬送する。看板４は、ワーク３ごとにこの近傍に配置されるもので、ワーク３の種類を示すコードが表示されている。
　作業員Ｈは、上記の検査作業を、本実施形態の検査装置１を利用して実施することができる。図１及び図２に示されるように、検査装置１は、コードリーダ１０、ウェアラブルカメラ２０、バッテリ３０、及び、タブレット４０を具備する。
　コードリーダ１０は、図２に示されるように、コードリーダ部１１、照明部１２、レーザポインタ部１３、及び無線部１４を備える。
　コードリーダ部１１は、光を照射する光源を備え、この光源からレンズ１０ａを通して光を出射してから看板４で反射されてレンズ１０ａを通して受光される反射光によってコードを読み込むための周知の光学式コードリードである。ここで、本実施形態の看板４は、コードが表示されている表示板である。コードは、ワーク３の種類を示す識別指標である。コードとしては、ＱＲコード（登録商標）やバーコードなどの各種のコードが含まれる。
　照明部１２は、レンズ１０ａを通してワーク３およびその周辺を照明する。
　レーザポインタ部１３は、レンズ１０ａを通してレーザ光線をポインタとして照射する。レーザポインタ部１３は、これにより、コードリーダ部１１がコードを読み込む被読込領域を、作業員Ｈが認識することを補助する。本実施形態では、レーザポインタ部１３によりレーザ光線が照射される領域が、コードリーダ部１１の被読込領域に一致するように設定されている。
　無線部１４は、アンテナや無線回路等から構成されて、タブレット４０の無線部４１との間で無線通信する。
　ウェアラブルカメラ２０は、身体等に装着しハンズフリーで撮影する事を目的とした小型カメラである。ウェアラブルカメラ２０は、図２に示されるように、カメラ部２１及び無線部２２を備える。カメラ部２１は、レンズ２０ａを介して受光される光によって被撮影対象としてのワーク３を撮影する。無線部２２は、アンテナや無線回路等から構成されて、タブレット４０の無線部４２との間で無線通信する。
　バッテリ３０は、ハーネス等３１を介してコードリーダ１０やウェアラブルカメラ２０に直流電力を供給する二次電池である。
　本実施形態では、コードリーダ１０、ウェアラブルカメラ２０、バッテリ３０は、図１に示されるように、作業員Ｈが被る帽子５に装着されている。また、コードリーダ１０及びウェアラブルカメラ２０は、コードリーダ１０のレンズ１０ａと、ウェアラブルカメラ２０のレンズ２０ａとが作業員Ｈの前方に向いて配置されるように、作業員Ｈの帽子５上に設置されている。
　タブレット４０は、作業員Ｈが携帯可能に構成されている携帯端末である。タブレット４０は、図２に示されるように、無線部４１，４２、アンプ４３、スピーカ４４、タッチパネル４５、及び制御装置５０を備える。
　無線部４１，４２は、アンテナや無線回路等から構成される。無線部４１は、コードリーダ１０の無線部１４との間で無線通信する。無線部４２は、ウェアラブルカメラ２０の無線部２２との間で無線通信する。本実施形態において、各無線部間の無線通信には、各種の近距離無線通信が用いられる。近距離無線通信としては、Ｂｌｕｅｔｏｏｔｈ（登録商標）や、Ｗｉ－Ｆｉ（登録商標）を用いることができる。
　アンプ４３は、制御装置５０から出力されるアナログ信号を電圧増幅して増幅信号を出力する。スピーカ４４は、アンプ４３から出力される増幅信号を音に変換して出力する。タッチパネル４５は、透明のキー入力操作部と表示パネルとを組み合わせた表示ディスプレイ装置である。
　制御装置５０は、上記の検査作業に係る検査装置１の各部の動作を制御する装置である。制御装置５０は、物理的には、ＣＰＵ、メモリ、デジタル－アナログ変換回路などから構成されるマイクロコンピュータである。制御装置５０は、予めメモリに記憶されているコンピュータプログラムにしたがって、検査処理を実行する。検査処理は、コードリーダ１０から取得するコード、及びウェアラブルカメラ２０により取得された撮影画像に基づいて、ワーク３が良品であるか否かを判定する判定処理である。
　メモリには、複数種の基準画像が予め記憶されている。基準画像は、静止画、あるいは動画から成るもので、ワーク３が良品であるか否かを判別するために用いられる。１つの基準画像には、良品であるワーク３を示す良品画像と、不良品であるワーク３を示す不良品画像とが含まれる。デジタル－アナログ変換回路は、ＣＰＵの指令に基づいて音声を示すアナログ信号を出力する。
　本実施形態では、タブレット４０は、例えば作業員Ｈのポケットに収納されるなど、作業員Ｈにより携帯されているか、または、作業員Ｈの近傍に載置されている。
　このように構成される検査装置１を利用することにより、作業員Ｈが実施するワーク３の検査処理の標準的な作業は、例えば以下のような手順になる。
　まず、作業員Ｈは、頭を看板４側に向け、帽子５に装着されているコードリーダ１０に看板４からコードを読み取らせる。次いで、頭をワーク３に向け、同じく帽子５に装着されているウェアラブルカメラ２０にワーク３を撮影させ、撮影画像を取得させる。つまり、コードリーダ１０が看板４からコードを読み込むことをトリガとして、ウェアラブルカメラ２０によってワーク３の撮影画像を取得することになる。タブレット４０は、無線通信を介してコードリーダ１０からコードを受信し、ウェアラブルカメラ２０から撮影画像を受信する。
　タブレット４０内の制御装置５０は、上述のとおりメモリに予め記憶された複数種の基準画像のうちから、受信したコードに対応する基準画像を選択する。制御装置５０は、ワーク３の撮影画像をこの基準画像と照合させることで、ワーク３が良品であるか否かを判定する。また、制御装置５０は、タブレット４０のスピーカ４４やタッチパネル４５を介して、音情報や視覚情報によってワーク３の良否判定結果を作業員Ｈに報知する。
　作業員Ｈは、タブレット４０から出力された判定結果の情報に基づき、次の作業に移行する。例えば、ワーク３が良品と判定された場合には、搬送コンベア２上の次のワーク３の検査を行う。
　以上のように構成される検査装置１は、ウェアラブル装置として、作業員Ｈの両手が自由になるように、作業員Ｈに携帯されている。検査装置１は、上記構成により、作業員Ｈの両手を使う操作を要せずに被検査物の検査作業を自動的に実施することを可能とし、作業員Ｈの検査作業を支援して作業員Ｈの負担を軽減させることができる。また、作業員Ｈは検査作業中にハンズフリーの状態であるので、作業員Ｈはワーク３の検査作業を行いながら、検査以外の他の作業（例えばネジ締めなど）も行うことができ、作業効率を向上できる。
　続いて、図３を参照しながら、制御装置５０の機能的な構成要素とそれらの動作について説明する。制御装置５０は、機能的な構成要素として、画像取得部５０１と、検査状態取得部５０２と、画像補正部５０３と、画像出力部５０４と、を備えている。
　画像取得部５０１は、ウェアラブルカメラ２０から出力される画像データを取得する部分である。
　検査状態取得部５０２は、作業員Ｈの被検査物であるワーク３に対する規定距離からの乖離距離及び規定角度からの乖離角の少なくとも一方を算出するための検査状態情報を取得する部分である。具体的には、図４に示されるように、作業員Ｈが（Ａ）のようにワーク３に正対した状態から、（Ｂ）のようにずれた状態になったことを算出するための検査状態情報を取得する。作業員Ｈの傾きθ、ワーク横ずれｘ、ワーク縦ずれｙを算出するための情報として、基準マーカーの形態情報を検査状態情報として取得する。
　図５に示されるように、基準マーカー７１，７２は、ワーク３が載置されるパレット７に設けられている。基準マーカー７１，７２は一対設けられているので、ワーク３及びパレット７に対して作業員Ｈが正対しない場合、撮影される形状が変化する。
　図６の（Ａ）に示されるように、ワーク３及びパレット７に対して作業員Ｈが正対していると、基準マーカー７１も基準マーカー７２も互いに同じ形状同じ大きさに撮影される。一方、図６の（Ｂ）に示されるように、ワーク３及びパレット７に対して作業員Ｈが右回りにずれると、基準マーカー７１に対して基準マーカー７２が大きく撮影される。また、作業員Ｈの右回り角度に応じて、基準マーカー７１，７２の撮影形状も変化する。さらに、図６（Ｃ）に示されるように、ワーク３及びパレット７に対して作業員Ｈが左回りにずれると、基準マーカー７２に対して基準マーカー７１が大きく撮影される。また、作業員Ｈの左回り角度に応じて、基準マーカー７１，７２の撮影形状も変化する。
　画像補正部５０３は、画像データと検査状態情報とに基づいて、乖離距離及び乖離角の少なくとも一方を算出し、画像データを補正する。画像補正部５０３は、画像データ及び基準マーカー７１，７２の形態から乖離距離及び乖離角の少なくとも一方を算出する。
　画像出力部５０４は、画像補正部５０３が補正した画像データをタッチパネル４５に出力する。タッチパネル４５は、補正された画像データを表示する。
　上記したように第１実施形態に係る検査装置１は、被検査物であるワーク３を検査する作業員Ｈに装着されるウェアラブルカメラ２０が撮像したワーク３を含む画像データを取得する画像取得部５０１と、作業員Ｈのワーク３に対する規定距離からの乖離距離ｘ，ｙ及び規定角度からの乖離角θの少なくとも一方を算出するための検査状態情報を取得する検査状態取得部５０２と、画像データと検査状態情報とに基づいて、乖離距離ｘ，ｙ及び乖離角θの少なくとも一方を算出し、画像データを補正する画像補正部５０３と、を備えている。
　本実施形態では、画像データと検査状態情報とに基づいて、乖離距離ｘ，ｙ及び乖離角θの少なくとも一方を算出し、画像データを補正するので、作業員Ｈが規定の位置からずれて検査をしても、既定の位置から検査したように補正することができる。
　また検査装置１では、検査状態取得部５０２が、画像データにおいて被検査物であるワーク３と共に撮像される基準マーカー７１，７２を検査状態情報として取得し、画像補正部５０３は、基準マーカー７１，７２の標準形状からの変形度合から、乖離距離及び乖離角の少なくとも一方を算出する。
　基準マーカー７１，７２の形態変化に基づいて乖離距離及び乖離角度の少なくとも一方を算出することができるので、単眼のカメラのみで乖離距離及び乖離角の少なくとも一方を算出することができる。
　また本実施形態では、検査状態取得部５０２が、画像データにおいて被検査物であるワーク３と共に撮像される位置特定情報を検査状態情報として取得し、画像補正部５０３は、ワーク３と位置特定情報との相対的な位置関係から、乖離距離及び乖離角の少なくとも一方を算出することもできる。
　位置特定情報としては、ワーク３が載置される部分に記された格子状の模様が用いられる。図５に示されるような基準マーカー７１，７２の格子状の模様をパレット７全体に適用すれば、模様が隠された部分までの格子数を数えることで、位置特定情報を得ることができる。
　位置特定情報としては、ワーク３が載置される部分における既知の形状情報である。図５に示されるように、パレット７の既知の形状情報である寸法Ｌ１とワーク３の測定対象部位の寸法Ｌ２との比を算出することで、パレット７に対するワーク３の配置位置を把握することができる。
　図７及び図８を参照しながら、第２実施形態に係る検査装置１Ａが適用される検査作業の一例と、検査装置１Ａの概略構成について説明する。
　図７に示されるように、第２実施形態に係る検査装置１Ａは、熱交換器等の製品の製造工程において、製造中間段階のワーク３や完成後の製品などの被検査物が良品であるか否かを判定するための検査作業に用いられる。検査作業については、検査装置１と共通するので、その説明を省略する。
　図７及び図８に示されるように、検査装置１Ａは、コードリーダ１０、ウェアラブルカメラ２０、バッテリ３０、モーションセンサ８０、及び、タブレット４０を具備する。
　コードリーダ１０は、図８に示されるように、コードリーダ部１１、照明部１２、レーザポインタ部１３、及び無線部１４を備える。コードリーダ１０は、検査装置１と同様であるので、その説明を省略する。
　ウェアラブルカメラ２０は、身体等に装着しハンズフリーで撮影する事を目的とした小型カメラである。ウェアラブルカメラ２０は、図２に示されるように、カメラ部２１及び無線部２２を備える。ウェアラブルカメラ２０は、検査装置１と同様であるので、その説明を省略する。
　バッテリ３０は、ハーネス等３１を介してコードリーダ１０やウェアラブルカメラ２０に直流電力を供給する二次電池である。
　モーションセンサ８０は、作業員Ｈの動きを検知するためのセンサである。モーションセンサ８０は、センサ部８０１と、無線部８０２と、を備えている。センサ部８０１は、複数の加速度センサによって構成され、作業員Ｈの動きを検査状態情報をとして出力する。無線部８０２は、無線部４２と通信を行い、検査状態情報をタブレット４０に送信する。
　本実施形態では、コードリーダ１０、ウェアラブルカメラ２０、バッテリ３０、モーションセンサ８０は、図７に示されるように、作業員Ｈが被る帽子５に装着されている。また、コードリーダ１０及びウェアラブルカメラ２０は、コードリーダ１０のレンズ１０ａと、ウェアラブルカメラ２０のレンズ２０ａとが作業員Ｈの前方に向いて配置されるように、作業員Ｈの帽子５上に設置されている。
　タブレット４０は、作業員Ｈが携帯可能に構成されている携帯端末である。タブレット４０は、図９に示されるように、無線部４１，４２、アンプ４３、スピーカ４４、タッチパネル４５、及び制御装置５０Ａを備える。
　無線部４１，４２は、アンテナや無線回路等から構成される。無線部４１は、コードリーダ１０の無線部１４との間で無線通信する。無線部４２は、ウェアラブルカメラ２０の無線部２２及びモーションセンサ８０の無線部８０２との間で無線通信する。本実施形態において、各無線部間の無線通信には、各種の近距離無線通信が用いられる。近距離無線通信としては、Ｂｌｕｅｔｏｏｔｈ（登録商標）や、Ｗｉ－Ｆｉ（登録商標）を用いることができる。
　アンプ４３は、制御装置５０Ａから出力されるアナログ信号を電圧増幅して増幅信号を出力する。スピーカ４４は、アンプ４３から出力される増幅信号を音に変換して出力する。タッチパネル４５は、透明のキー入力操作部と表示パネルとを組み合わせた表示ディスプレイ装置である。
　制御装置５０Ａは、上記の検査作業に係る検査装置１の各部の動作を制御する装置である。制御装置５０Ａは、物理的には、ＣＰＵ、メモリ、デジタル－アナログ変換回路などから構成されるマイクロコンピュータである。制御装置５０Ａは、予めメモリに記憶されているコンピュータプログラムにしたがって、検査処理を実行する。検査処理は、コードリーダ１０から取得するコード、及びウェアラブルカメラ２０により取得された撮影画像に基づいて、ワーク３が良品であるか否かを判定する判定処理である。
　メモリには、複数種の基準画像が予め記憶されている。基準画像は、静止画、あるいは動画から成るもので、ワーク３が良品であるか否かを判別するために用いられる。１つの基準画像には、良品であるワーク３を示す良品画像と、不良品であるワーク３を示す不良品画像とが含まれる。デジタル－アナログ変換回路は、ＣＰＵの指令に基づいて音声を示すアナログ信号を出力する。
　本実施形態では、タブレット４０は、例えば作業員Ｈのポケットに収納されるなど、作業員Ｈにより携帯されているか、または、作業員Ｈの近傍に載置されている。
　このように構成される検査装置１Ａを利用することにより、作業員Ｈが実施するワーク３の検査処理の標準的な作業は、検査装置１と同様であるので説明を省略する。
　続いて、図９を参照しながら、制御装置５０Ａの機能的な構成要素とそれらの動作について説明する。制御装置５０Ａは、機能的な構成要素として、画像取得部５０１Ａと、検査状態取得部５０２Ａと、画像補正部５０３Ａと、画像出力部５０４Ａと、を備えている。
　画像取得部５０１Ａは、ウェアラブルカメラ２０から出力される画像データを取得する部分である。
　検査状態取得部５０２Ａは、作業員Ｈの被検査物であるワーク３に対する規定距離からの乖離距離及び規定角度からの乖離角の少なくとも一方を算出するための検査状態情報を取得する部分である。具体的には、作業員Ｈの傾きθ、ワーク横ずれｘ、ワーク縦ずれｙを算出するための情報として、モーションセンサ８０が計測する作業員Ｈの動き情報を検査状態情報として取得する。
　画像補正部５０３Ａは、画像データと検査状態情報とに基づいて、乖離距離及び乖離角の少なくとも一方を算出し、画像データを補正する。画像補正部５０３Ａは、モーションセンサ８０が計測する作業員Ｈの動き情報から乖離距離及び乖離角の少なくとも一方を算出する。
　画像出力部５０４Ａは、画像補正部５０３Ａが補正した画像データをタッチパネル４５に出力する。タッチパネル４５は、補正された画像データを表示する。
　上記したように第２実施形態に係る検査装置１Ａは、被検査物であるワーク３を検査する作業員Ｈに装着されるウェアラブルカメラ２０が撮像したワーク３を含む画像データを取得する画像取得部５０１Ａと、作業員Ｈのワーク３に対する規定距離からの乖離距離ｘ，ｙ及び規定角度からの乖離角θの少なくとも一方を算出するための検査状態情報を取得する検査状態取得部５０２Ａと、画像データと検査状態情報とに基づいて、乖離距離ｘ，ｙ及び乖離角θの少なくとも一方を算出し、画像データを補正する画像補正部５０３Ａと、を備えている。
　本実施形態では、画像データと検査状態情報とに基づいて、乖離距離ｘ，ｙ及び乖離角θの少なくとも一方を算出し、画像データを補正するので、作業員Ｈが規定の位置からずれて検査をしても、既定の位置から検査したように補正することができる。
　検査状態取得部５０２Ａは、作業員Ｈの動作を取得するモーションセンサ８０から出力される動作情報を検査状態情報として取得し、画像補正部５０３Ａは、動作情報から作業員Ｈの動作状態を把握し、乖離距離及び乖離角の少なくとも一方を算出する。
　また本実施形態では、検査状態取得部５０２が、画像データにおいて被検査物であるワーク３と共に撮像される位置特定情報を検査状態情報として取得し、画像補正部５０３は、ワーク３と位置特定情報との相対的な位置関係から、乖離距離及び乖離角の少なくとも一方を算出することもできる。
　位置特定情報としては、ワーク３が載置される部分に記された格子状の模様が用いられる。図５に示されるような基準マーカー７１，７２の格子状の模様をパレット７全体に適用すれば、模様が隠された部分までの格子数を数えることで、位置特定情報を得ることができる。
　位置特定情報としては、ワーク３が載置される部分における既知の形状情報である。図５に示されるように、パレット７の既知の形状情報である寸法Ｌ１とワーク３の測定対象部位の寸法Ｌ２との比を算出することで、パレット７に対するワーク３の配置位置を把握することができる。
　以上、具体例を参照しつつ本実施形態について説明した。しかし、本開示はこれらの具体例に限定されるものではない。これら具体例に、当業者が適宜設計変更を加えたものも、本開示の特徴を備えている限り、本開示の範囲に包含される。前述した各具体例が備える各要素およびその配置、条件、形状などは、例示したものに限定されるわけではなく適宜変更することができる。前述した各具体例が備える各要素は、技術的な矛盾が生じない限り、適宜組み合わせを変えることができる。

Claims (6)

  1. 　検査装置であって、
    　被検査物を検査する作業員に装着されるウェアラブルカメラが撮像した前記被検査物を含む画像データを取得する画像取得部（５０１，５０１Ａ）と、
    　前記作業員の前記被検査物に対する規定距離からの乖離距離及び規定角度からの乖離角の少なくとも一方を算出するための検査状態情報を取得する検査状態取得部（５０２，５０２Ａ）と、
    　前記画像データと前記検査状態情報とに基づいて、前記乖離距離及び前記乖離角の少なくとも一方を算出し、前記画像データを補正する画像補正部（５０３，５０３Ａ）と、を備える検査装置。
  2. 　請求項１に記載の検査装置であって、
    　前記検査状態取得部（５０２）は、前記画像データにおいて前記被検査物と共に撮像される基準マーカーを前記検査状態情報として取得し、
    　前記画像補正部（５０３）は、前記基準マーカーの標準形状からの変形度合から、前記乖離距離及び前記乖離角の少なくとも一方を算出する、検査装置。
  3. 　請求項１に記載の検査装置であって、
    　前記検査状態取得部（５０２Ａ）は、前記作業員の動作を取得するモーションセンサから出力される動作情報を前記検査状態情報として取得し、
    　前記画像補正部（５０３Ａ）は、前記動作情報から前記作業員の動作状態を把握し、前記乖離距離及び前記乖離角の少なくとも一方を算出する、検査装置。
  4. 　請求項１から３のいずれか１項に記載の検査装置であって、
    　前記検査状態取得部は、前記画像データにおいて前記被検査物と共に撮像される位置特定情報を、前記検査状態情報を補正するとして取得し、
    　前記画像補正部は、前記位置特定情報を用いて前記検査状態情報を補正し、前記乖離距離及び前記乖離角の少なくとも一方を算出する、検査装置。
  5. 　請求項４に記載の検査装置であって、
    　前記位置特定情報は、前記被検査物が載置される部分に記された格子状の模様である、検査装置。
  6. 　請求項４に記載の検査装置であって、
    　前記位置特定情報は、前記被検査物が載置される部分における既知の形状情報である、検査装置。
PCT/JP2017/034894 2016-09-28 2017-09-27 検査装置 WO2018062240A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/362,764 US10908095B2 (en) 2016-09-28 2019-03-25 Inspection device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016190100A JP6658430B2 (ja) 2016-09-28 2016-09-28 検査装置
JP2016-190100 2016-09-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/362,764 Continuation US10908095B2 (en) 2016-09-28 2019-03-25 Inspection device

Publications (1)

Publication Number Publication Date
WO2018062240A1 true WO2018062240A1 (ja) 2018-04-05

Family

ID=61759798

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/034894 WO2018062240A1 (ja) 2016-09-28 2017-09-27 検査装置

Country Status (3)

Country Link
US (1) US10908095B2 (ja)
JP (1) JP6658430B2 (ja)
WO (1) WO2018062240A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7290600B2 (ja) * 2020-04-22 2023-06-13 Kddi株式会社 点検システム、姿勢検出装置、点検方法、姿勢検出方法及びコンピュータプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007228154A (ja) * 2006-02-22 2007-09-06 Matsushita Electric Ind Co Ltd 画像処理装置および画像処理方法
JP2007310002A (ja) * 2006-05-16 2007-11-29 Sony Corp 表示装置、表示方法及び表示プログラム
WO2007141857A1 (ja) * 2006-06-08 2007-12-13 Olympus Corporation 外観検査装置
JP2008014700A (ja) * 2006-07-04 2008-01-24 Olympus Corp ワークの検査方法及びワーク検査装置
JP2014137244A (ja) * 2013-01-15 2014-07-28 Toshiba Corp 三次元合成処理システムおよび三次元合成処理方法
JP2016205836A (ja) * 2015-04-15 2016-12-08 株式会社デンソー 検査装置、およびプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7126558B1 (en) * 2001-10-19 2006-10-24 Accenture Global Services Gmbh Industrial augmented reality
US20090097737A1 (en) * 2004-12-10 2009-04-16 Olympus Corporation Visual inspection apparatus
US9736368B2 (en) * 2013-03-15 2017-08-15 Spatial Cam Llc Camera in a headframe for object tracking
EP2975492A1 (en) * 2013-03-11 2016-01-20 NEC Solution Innovators, Ltd. Three-dimensional user interface device and three-dimensional operation processing method
JP5857276B1 (ja) 2014-09-12 2016-02-10 パナソニックＩｐマネジメント株式会社 ウェアラブルカメラとそのユーザを認証する認証システム
US20160112636A1 (en) 2014-10-20 2016-04-21 Panasonic Intellectual Property Management Co., Ltd. Wearable camera
JP5810332B1 (ja) 2014-12-25 2015-11-11 パナソニックＩｐマネジメント株式会社 ウェアラブルカメラ
US9661283B2 (en) 2014-12-24 2017-05-23 Panasonic Intellectual Property Management Co., Ltd. Wearable camera
JP5861073B1 (ja) 2014-12-24 2016-02-16 パナソニックＩｐマネジメント株式会社 ウェアラブルカメラ
JP6696385B2 (ja) * 2016-09-28 2020-05-20 株式会社デンソー 検査装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007228154A (ja) * 2006-02-22 2007-09-06 Matsushita Electric Ind Co Ltd 画像処理装置および画像処理方法
JP2007310002A (ja) * 2006-05-16 2007-11-29 Sony Corp 表示装置、表示方法及び表示プログラム
WO2007141857A1 (ja) * 2006-06-08 2007-12-13 Olympus Corporation 外観検査装置
JP2008014700A (ja) * 2006-07-04 2008-01-24 Olympus Corp ワークの検査方法及びワーク検査装置
JP2014137244A (ja) * 2013-01-15 2014-07-28 Toshiba Corp 三次元合成処理システムおよび三次元合成処理方法
JP2016205836A (ja) * 2015-04-15 2016-12-08 株式会社デンソー 検査装置、およびプログラム

Also Published As

Publication number Publication date
JP2018054436A (ja) 2018-04-05
US20190219518A1 (en) 2019-07-18
US10908095B2 (en) 2021-02-02
JP6658430B2 (ja) 2020-03-04

Similar Documents

Publication Publication Date Title
US20190219517A1 (en) Inspection device
CN108297096B (zh) 校准装置、校准方法以及计算机能够读取的介质
WO2018062242A1 (ja) 検査装置
US8265895B2 (en) Interactive sensor systems and methods for dimensioning
JP6337822B2 (ja) 検査装置、およびプログラム
US10675759B2 (en) Interference region setting apparatus for mobile robot
US20080252248A1 (en) Device and Method for Calibrating the Center Point of a Tool Mounted on a Robot by Means of a Camera
US20190308324A1 (en) Information processing apparatus, information processing method, and program
CN107907055B (zh) 图案投射模组、三维信息获取系统、处理装置及测量方法
US10705025B2 (en) Inspection device
JP2001148025A (ja) 位置検出装置及びその方法、平面姿勢検出装置及びその方法
JP6031368B2 (ja) ワークとの相関位置決め方法
WO2018062240A1 (ja) 検査装置
WO2018062241A1 (ja) 検査装置
US8717579B2 (en) Distance measuring device using a method of spanning separately targeted endpoints
US20120044211A1 (en) Optical touch locating system and method thereof
US10883862B2 (en) Measurement-data collecting apparatus and computer program
JP2014035635A (ja) 対象物管理システム
JP2017007026A (ja) 位置補正システム
JP2015224949A (ja) 対象物計測装置及び対象物計測方法
JP6165069B2 (ja) 罫書き作業支援システム、罫書き作業方法及び機械加工部品
US11662860B2 (en) Reference position setting method and operation detection device for displaying an operation surface as a virtual image
JP2006258717A (ja) 距離計測システム
JP2018054440A (ja) 検査装置
JP5779302B1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17856189

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17856189

Country of ref document: EP

Kind code of ref document: A1