WO2017141475A1 - 車体部品の施工部位判定システム及び施工部位判定方法 - Google Patents

車体部品の施工部位判定システム及び施工部位判定方法 Download PDF

Info

Publication number
WO2017141475A1
WO2017141475A1 PCT/JP2016/077317 JP2016077317W WO2017141475A1 WO 2017141475 A1 WO2017141475 A1 WO 2017141475A1 JP 2016077317 W JP2016077317 W JP 2016077317W WO 2017141475 A1 WO2017141475 A1 WO 2017141475A1
Authority
WO
WIPO (PCT)
Prior art keywords
construction
image data
body part
vehicle body
construction site
Prior art date
Application number
PCT/JP2016/077317
Other languages
English (en)
French (fr)
Inventor
克秀 有元
貴夫 水野
雄太 横道
Original Assignee
トヨタ車体株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by トヨタ車体株式会社 filed Critical トヨタ車体株式会社
Publication of WO2017141475A1 publication Critical patent/WO2017141475A1/ja
Priority to US15/807,764 priority Critical patent/US10507550B2/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/12—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
    • B23K31/125—Weld quality monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K11/00—Resistance welding; Severing by resistance heating
    • B23K11/10—Spot welding; Stitch welding
    • B23K11/11—Spot welding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Definitions

  • the present invention relates to a technique for determining a construction site of a body part.
  • this inspection has been performed as a visual inspection in which an operator visually confirms the spot formed by spot welding. For example, the operator visually confirms the number and positions of the hit points formed by spot welding on the body parts on which spot welding is performed. Thereafter, the operator writes the inspection result on a check sheet or the like by handwriting.
  • an inspection method is based only on the judgment of the operator himself, it may cause an artificial misjudgment.
  • Patent Document 1 discloses an inspection system that performs hit point determination using a camera.
  • an indicator that indicates a hit point in a vehicle body part and a camera that is disposed toward an identification unit provided on the indicator are used.
  • the position of the hitting point is detected based on the imaging signal from the camera by photographing the vehicle body part with this camera. Then, it is determined whether or not the position of the detected hit point is appropriate by collating the position of the detected hit point with the position of the hit point registered in advance.
  • the present invention has been made in view of such a problem, and intends to provide a technique effective for determining a construction site of a vehicle body part easily and at low cost.
  • One embodiment of the present invention provides: An imaging device for recording a three-dimensional image of a vehicle body part; A processing device that performs a process of determining a construction site of the vehicle body part based on a three-dimensional image of the vehicle body part recorded by the imaging device; The processing device An image processing unit for converting the three-dimensional image into three-dimensional image data; An extraction unit for extracting the construction part and the reference part of the body part from both the three-dimensional image data and the three-dimensional design data used for designing the body part; An alignment unit that aligns the 3D image data and the 3D design data with reference to the reference part; The 3D image data and the 3D design data aligned by the alignment unit are extracted from the 3D design data by the construction part extracted from the 3D image data by the extraction unit and the extraction unit. A determination unit for determining a relationship with the construction part that has been made, and a construction part judgment system for body parts, It is in.
  • a method for determining a construction part of a vehicle body part for judging a construction part of a vehicle body part Prepare a photographing device to record the three-dimensional image of the car body parts, Converting the three-dimensional image of the vehicle body part recorded by the photographing device into three-dimensional image data; Extracting the construction part and the reference part of the vehicle body part from both the converted 3D image data and the 3D design data used for the design of the vehicle body part, Align the 3D image data and the 3D design data with reference to the extracted reference part, Construction of body parts for determining the relationship between the construction site extracted from the 3D image data and the construction site extracted from the 3D design data for the aligned 3D image data and the 3D design data Site determination method, It is in.
  • the reference part is extracted from the three-dimensional image data, and the three-dimensional image data and the three-dimensional design are based on the reference part. Alignment with data can be performed. For this reason, it is not necessary to fix and arrange the photographing device at a fixed position with respect to the vehicle body parts. Therefore, a relatively inexpensive photographing apparatus such as a portable 3D camera can be used. Further, the operator can easily photograph the vehicle body part by the photographing apparatus without worrying about the photographing environment (angle, brightness, distance, etc. with respect to the vehicle body part). Furthermore, when the determination about the construction site is not based on the visual determination, the time and man-hours required for the work can be kept low, and an artificial erroneous determination can be prevented.
  • the body part construction site can be easily and inexpensively determined.
  • part determination system of a vehicle body part of this embodiment The figure which shows the example of a display of the data confirmation screen in the processing apparatus in FIG.
  • the figure which shows the processing flow by the processing apparatus in FIG. The figure which shows typically the process in the 1st step of the processing flow of FIG.
  • part in the 3rd step of the processing flow of FIG. The figure for demonstrating the extraction logic used at a 3rd step.
  • the “construction site” refers to a site where a predetermined construction is performed on a vehicle body part constituting the vehicle body or a site where a predetermined construction is scheduled. Therefore, by determining the construction site, it is determined whether or not the construction result actually performed on the construction site is as designed, or whether the construction site is being constructed as planned.
  • the extraction unit of the processing device has a classifier that has been previously machine-learned so as to identify the shape features of the construction part and the reference part. And it is preferable to extract each of the construction site and the reference site by the classifier. Thereby, the precision which an extraction part extracts each of a construction site
  • the alignment unit of the processing device is configured such that the coordinate system of the three-dimensional image data and the three-dimensional design are based on the reference part extracted by the extraction unit. It is preferable to align the three-dimensional image data and the three-dimensional design data by matching the coordinate system of the data. Thereby, the precision of the alignment of the 3D image data and the 3D design data in the alignment unit can be increased.
  • the determination unit of the processing device extracts the construction part from the three-dimensional image data and extracts the construction part from the construction part and the three-dimensional design data.
  • the distance to the part is less than a preset allowable value, it is preferable to determine that the construction as designed is applied to the construction part in the vehicle body part as the relation. As a result, proper determination by the determination unit is possible.
  • the construction part in the body part is a part where a spot by spot welding is formed. Thereby, it is possible to determine the relationship between the hit points in the three-dimensional image data and the hit points in the three-dimensional design data for the hit points by spot welding.
  • the construction part determination system for vehicle body parts includes an output device that outputs a determination result by the determination unit of the processing device.
  • the determination result output by the output device can be checked by a plurality of people. As a result, artificial misjudgment can be made difficult to occur.
  • the output device preferably displays a three-dimensional image of the construction part together with the determination result.
  • the construction site determination system 1 is a system that determines the construction site of the vehicle body part W.
  • the construction site determination system 1 includes an imaging device 10, a processing device 20, an output device 30, a server 40 and a LAN 50. This construction site determination system 1 can also be referred to as a “construction site determination device”.
  • As the vehicle body part W various products constituting the vehicle body of the automobile can be targeted.
  • the vehicle body part W includes a construction site P and a reference site Q.
  • the photographing apparatus 10 has a function of recording a three-dimensional image of the body part W by photographing the body part W.
  • the imaging device 10 is connected to the processing device 20 so that data can be transmitted to and received from the processing device 20.
  • the photographing apparatus 10 may be connected to the processing device 20 when photographing the vehicle body part W, or may be separated from the processing device 20.
  • the photographing apparatus 10 is configured by a 3D camera.
  • a 3D camera a compound-eye camera that obtains a three-dimensional image by synthesizing images captured by two lenses, or by synthesizing an image captured twice by changing the angle with one lens.
  • a monocular camera that obtains a dimensional image can be used.
  • a portable small camera or a large fixed-point camera installed at a specific position can be used. In the case where the required accuracy of processing described later by the processing device 20 is not high, it is preferable to use an inexpensive portable small camera with high cost merit.
  • the processing device 20 has a function of performing a process of determining the construction site P of the body part W based on the three-dimensional image of the body part W recorded by the imaging device 10.
  • the processing device 20 includes an image processing unit 21, a storage unit 22, an input / output unit 23, and a calculation unit 24.
  • the processing device 20 is constituted by a desktop or notebook personal computer (PC) having a monitor (display means), a keyboard (input means), a mouse (selection means), a CPU, a ROM, a RAM, and the like.
  • the output device 30 includes at least one of a printer that outputs data by printing, a monitor that outputs data by display, and a speaker that outputs data by voice.
  • the server 40 stores the input data transmitted via the LAN 50, and has a function of reading the stored data in accordance with a control signal from the request destination and transmitting it to the request destination.
  • the server 40 is configured to store three-dimensional design data (also referred to as “three-dimensional CAD data”) for each of the plurality of vehicle body parts W as the input data.
  • the three-dimensional design data is three-dimensional point cloud data in designing the vehicle body part W, and is created based on a requirement specification (construction method manual) for the vehicle body part W.
  • the image processing unit 21 converts a three-dimensional image of the vehicle body part W photographed by the photographing apparatus 10 into three-dimensional point group data expressed by orthogonal coordinates (X, Y, Z), that is, three-dimensional image data (“3 It is also called “dimensional product data”).
  • the three-dimensional image data of the vehicle body part W obtained by the image processing unit 21 is transmitted to the storage unit 22.
  • the image processing unit 21 is configured to execute a conversion process for changing a three-dimensional image into three-dimensional image data in response to a predetermined processing start signal.
  • the image processing unit 21 may be configured to automatically execute the conversion process when the photographing apparatus 10 and the processing apparatus 20 are connected.
  • the storage unit 22 stores the 3D image transmitted from the imaging device 10, the 3D image data transmitted from the image processing unit 21, and the 3D design data transmitted from the server 40 via the input / output unit 23. (Store) function.
  • the storage unit 22 can transmit and receive data to and from the image processing unit 21, the input / output unit 23, and the calculation unit 24.
  • the input / output unit 23 has a function of transmitting / receiving data to / from an external device.
  • the external device includes a plurality of OA terminals connected to the output device 30, the server 40, and the LAN 50, respectively.
  • the calculation unit 24 has a function of processing information input from the storage unit 22 or the input / output unit 23, and includes an extraction unit 25, an alignment unit 26, and a determination unit 27.
  • the extraction unit 25 reads out the three-dimensional image data converted by the image processing unit 21 and the three-dimensional design data used for designing the vehicle body part W from the storage unit 22, and extracts the three-dimensional image data and the three-dimensional image data. It has a function of extracting construction parts Pa and Pb and reference parts Qa and Qb from both of the design data.
  • the construction site P of the vehicle body part W is set in advance as a site where a spot welding spot (hereinafter also simply referred to as “spot”) by spot welding is formed.
  • spot a spot welding spot
  • the reference part Q of the vehicle body part W is set in advance as a part where an opening hole is formed.
  • the alignment unit 26 has a function of aligning the 3D image data and the 3D design data with reference to the reference parts Qa and Qb extracted by the extraction unit 25.
  • the reference part Qa is extracted from the three-dimensional design data by the extraction unit 25.
  • the reference part Qb is extracted from the three-dimensional image data by the extraction unit 25.
  • the determination unit 27 extracts the construction site Pa extracted from the 3D design data by the extraction unit 25 and the 3D image data by the extraction unit 25.
  • the relationship with the extracted construction site Pb is determined. Specifically, whether or not the state of the construction site Pb corresponding to the construction site P to be actually constructed is as the construction site Pa according to the required specifications, that is, the construction site P is as designed. Whether or not construction has been performed is determined by the determination unit 27.
  • the construction site P it does not matter whether or not the construction site P is actually constructed.
  • whether or not the construction results (number and position) on the construction site P are as designed by comparing the construction site Pa and the construction site Pb. Is determined.
  • the construction site P is not actually constructed, it is determined whether or not the construction site P is constructed as planned by comparing the construction site Pa and the construction site Pb.
  • the three-dimensional image d of the vehicle body part W recorded by the photographing apparatus 10 is registered on a data confirmation screen (see FIG. 2) displayed on the monitor of the processing apparatus 20, for example.
  • the data confirmation screen displays a plurality of input fields 61 from which registration information can be selected from a pull-down list.
  • the registration information in the input field 61 includes the management number of the robot in which spot welding is applied to the body part W.
  • the display unit 62 of the data confirmation screen displays the three-dimensional design data d1 of the vehicle body part W specified by the registration information in the plurality of input fields 61.
  • the display unit 64 of the data confirmation screen displays a three-dimensional image d of the vehicle body part W stored in the file destination specified in the file field 63.
  • the worker uses the photographing device 10 to photograph the vehicle body part W. At this time, it is necessary to photograph so that both the construction part P and the reference part Q of the vehicle body part W can be seen. Thereby, the three-dimensional image d of the vehicle body part W used in the processing of the processing device 20 is obtained.
  • the three-dimensional image d displayed on the display unit 64 is stored in the storage unit 12 as information associated with the three-dimensional design data d1 when the display area 65 displayed as “Add to processing target” is clicked. Is done.
  • the processing by the processing device 20 is automatically executed by a predetermined processing start signal. This process will be described below with reference to FIGS.
  • the processing by the processing device 20 includes steps S101 to S105 in FIG. One or more steps may be added to these steps as necessary.
  • Step S101 is a step (first step) of converting the three-dimensional image d into the three-dimensional image data d2 for the designated vehicle body part W.
  • This step S101 is executed by the image processing unit 21 of the processing device 20.
  • the three-dimensional image d of the vehicle body part W is read from the storage unit 22, and the three-dimensional image data d2 which is three-dimensional point group data expressed by orthogonal coordinates (X, Y, Z). Is converted to The three-dimensional image data d2 obtained in step S101 is stored in the storage unit 22.
  • a plurality of types of three-dimensional images d are taken at different angles. It is preferable to use two types of three-dimensional images db).
  • Step S102 is a step (second step) of taking in each of the construction part Pa and the reference part Qa, which are characteristic points of the three-dimensional design data d1, for the specified body part W.
  • This step S102 is executed by the extraction unit 25 of the processing device 20.
  • the three-dimensional design data d1 is read from the storage unit 22, and data on the construction site Pa is taken in (extracted) from the three-dimensional design data d1.
  • the construction site Pa includes five hit points A1, B1, C1, D1, and E1 that are to be formed on the vehicle body part W by spot welding.
  • data on the reference portion Qa is taken (extracted) from the three-dimensional design data d1.
  • the reference portion Qa includes three opening holes L1, M1, and N1 that are to be provided in the vehicle body part W.
  • Step S103 is a step (third step) of detecting the construction site Pb and the reference site Qb, which are feature points of the three-dimensional image data d2, for the specified vehicle body part W.
  • This step S103 is executed by the extraction unit 25 of the processing device 20.
  • This step S103 may be executed concurrently with step S102, may be executed before step S102, or may be executed subsequent to step S102.
  • the three-dimensional image data d2 is read from the storage unit 22, and the data about the construction site Pb is detected (extracted) from the three-dimensional image data d2.
  • the construction site Pb includes five hit points A2, B2, C2, D2, and E2 that are assumed to be formed on the vehicle body part W by spot welding.
  • data on the reference part Qb is detected (extracted) from the three-dimensional image data d2.
  • the reference portion Qb includes three opening holes L2, M2, and N2 provided in the vehicle body part W.
  • the extraction logic shown in FIG. 9 is used to accurately extract the construction site Pa and the reference site Qa in step S102 and the construction site Pb and the reference site Qb in step S103.
  • the extraction unit 25 of the processing device 20 includes a classifier DC.
  • the classifier DC when extracting the hit point A2 included in the construction site Pb, the classifier DC is previously machine-learned so as to identify the feature of the shape of the hit point A2.
  • a plurality of sample image data Sa including the hit point A2 and a plurality of sample image data Sb including a shape A3 different from the hit point A2 are prepared.
  • the plurality of sample image data Sa and Sb are input to the classifier DC, and the feature of the shape of the hit point A2 included in the sample image data Sa is learned.
  • the hit point A2 as an identification target can be identified from the information included in the input image data Sc.
  • extraction using the same extraction logic as in the case of the hit point A2 is possible.
  • classifier DC for example, description of the classifier creation by the Haar-Like algorithm described in the link http://gihyo.jp/dev/feature/01/opencv/0003, Link to create classifier using LBP algorithm http://compsci.world.coocan.jp/OUJ/2012PR/pr_15_a.pdf Link to create classifier using HOG algorithm http://www.vision. You can refer to the explanation etc. described in cs.chubu.ac.jp/joint_hog/pdf/HOG+Boosting_LN.pdf.
  • Step S104 is a step (fourth step) for aligning the three-dimensional design data d1 and the three-dimensional image data d2 with reference to the reference parts Qa and Qb extracted by the extraction unit 25. This step S104 is executed by the alignment unit 26 of the processing device 20 after the completion of step S102 and step S103.
  • the coordinate system of the three-dimensional image data is different from the coordinate system of the three-dimensional design data because the coordinate system of the three-dimensional image data changes for each shooting depending on the shooting position by a person (not fixed to one). Therefore, as shown in FIG. 10, the coordinate system of the three-dimensional image data d2 is different from the coordinate system of the three-dimensional design data d1. Therefore, according to the positioning unit 26, the coordinate system of the three-dimensional image data d2 can be matched with the coordinate system of the three-dimensional design data d1 by matching the reference part Qa and the reference part Qb with each other.
  • Step S105 is a step of determining the relationship between the construction site Pb extracted from the 3D image data d2 and the construction site Pa extracted from the 3D design data d1.
  • This step S105 is executed by the determination unit 27 of the processing device 20 after the end of step S104.
  • the construction site Pa the hit points A1, B1, C1, D1, E1
  • the three-dimensional image data in the three-dimensional design data d1 see the solid line in the figure.
  • the relationship with the construction site Pb spots A2, B2, C2, D2, E2) at d2 (see the two-dot chain line in the figure) is determined.
  • the three-dimensional image data d2 by comparing the three-dimensional image data d2 with the three-dimensional design data d1, it is determined whether or not the three-dimensional image data d2 has hit points corresponding to the hit points of the three-dimensional design data d1 ( First determination).
  • First determination for the three-dimensional design data d1 and the three-dimensional image data d2 superimposed on each other, the dots included in the three-dimensional design data d1 are indicated by “ ⁇ ” and are included in the three-dimensional image data d2. The dots that are present are indicated by “ ⁇ ”. According to this first determination, the number of hit points (Number) actually applied to the vehicle body part W can be confirmed.
  • the 3D design data It is determined whether or not the positional deviation (hereinafter referred to as “error”) of the hit point of the three-dimensional image data d2 with respect to the hit point of d1 is less than a preset allowable value (second determination). In this case, the error is calculated as a distance between two hit points to be compared. According to the second determination, the position (Position) of the hit point actually constructed on the vehicle body part W can be confirmed.
  • a form 70 indicating the determination result by the determination unit 27 is printed out by the output device 30.
  • a column 71 for displaying the three-dimensional image d of the vehicle body part W a check result list 72 indicating a check result of a hit point of the construction site P (a determination result of the construction site Pb in the three-dimensional image data d2), Is described.
  • the check result list 72 includes a spot number column 73 indicating each spot of the construction site P, a spot image column 74, an error column 75, and a result column 76.
  • the three-dimensional image data d2 may be displayed in the column 71 instead of the three-dimensional image d.
  • the contents described in the form 70 may be displayed on a monitor (not shown).
  • the error e1 is calculated as the distance between the hit point A1 and the hit point A2.
  • the error e2 is calculated as the distance between the hit point B1 and the hit point B2.
  • the error e3 is calculated as the distance between the hit point C1 and the hit point C2.
  • the error e4 is calculated as the distance between the hit point D1 and the hit point D2.
  • the error e5 is calculated as the distance between the hit point E1 and the hit point E2.
  • the reference site Qb is extracted from the 3D image data d2, and the 3D image data d2 is based on the reference site Qb.
  • the three-dimensional design data d1 can be aligned. For this reason, it is not necessary to fix and arrange the photographing device 10 at a fixed position with respect to the vehicle body part W. Therefore, it is possible to use a relatively inexpensive photographing apparatus 10 such as a portable 3D camera. Further, the operator can easily photograph the vehicle body part W by the photographing apparatus 10 without worrying about the photographing environment (angle, brightness, distance to the vehicle body part W, etc.).
  • the extraction unit 25 of the processing device 20 includes the classifier DC, it is possible to increase the accuracy with which the extraction unit 25 extracts the construction sites Pa and Pb and the reference sites Qa and Qb.
  • the output device 30 which outputs the determination result by the determination part 27 of the processing apparatus 20 is used, the determination result output by this output device 30 can be checked by several people. As a result, artificial misjudgment can be made difficult to occur.
  • the output information from the output device 30 includes a three-dimensional image of the construction site P together with the determination result by the determination unit 27 of the processing device 20. For this reason, the operator or the confirmer can confirm at a glance whether or not the construction site P is being constructed as designed by paying attention to the three-dimensional image of the construction site P.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Mechanical Engineering (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

車体部品の施工部位を簡単に且つ低コストで判定するのに有効な技術を提供する。施工部位判定システム（１）は、撮影装置（１０）及び処理装置（２０）を備え、処理装置（２０）は、撮影装置（１０）によって記録された車体部品（Ｗ）の３次元画像を３次元画像データに変換する画像処理部（２１）と、３次元画像データと３次元設計データとの双方からそれぞれ、施工部位（Ｐａ，Ｐｂ）及び基準部位（Ｑａ，Ｑｂ）を抽出する抽出部（２５）と、基準部位（Ｑａ，Ｑｂ）を基準にして３次元画像データ及び３次元設計データの位置合わせを行う位置合わせ部（２６）と、位置合わせ部（２６）によって位置合わせされた３次元画像データ及び３次元設計データについて３次元画像データから抽出された施工部位（Ｐａ）と３次元設計データから抽出された施工部位（Ｐｂ）との関係を判定する判定部（２７）と、を備える。

Description

車体部品の施工部位判定システム及び施工部位判定方法
　本発明は、車体部品の施工部位を判定する技術に関する。
　自動車の製造工程においては、種々の車体部品に対してスポット溶接が施工された後、このスポット溶接が予め作成された工法書に従って適正になされているか否かが検査される。従来、この検査は、スポット溶接によって形成された打点を作業者が目視で確認する視覚的検査として行われていた。
　例えば、作業者は、スポット溶接が施工された車体部品について、スポット溶接によって形成された打点の数と位置を目視によって確認する。その後、作業者は、その検査結果をチェックシート等に手書きで記入する。
　ところが、このような検査手法は、作業者本人の判断のみによるため人為的な誤判定の原因になり得る。
　そこで、視覚的検査による検査手法の問題点を解消するべく、下記特許文献１には、カメラを用いて打点の判定を行う検査システムが開示されている。この検査システムでは、車体部品における打点を指し示す指示具と、指示具に設けられた識別部に向けて配置されるカメラと、が使用される。カメラを車体部品に対して固定位置に配置した後、このカメラによって車体部品を撮影することによってカメラからの撮像信号に基づいて打点の位置を検出する。そして、検出した打点の位置を予め登録された打点の位置と照合することによって、検出した打点の位置が適正であるか否かを判定する。
特開２００７－１５２３７１号公報
　しかしながら、上記特許文献１に開示の検査システムを用いる場合、カメラを車体部品に対して決まった位置に固定配置する必要がある。従って、準備作業に時間及び工数がかかる。また、カメラとは別に、該カメラを固定する固定部材、及び打点を指し示す指示具を少なくとも準備する必要があり、検査に要するコストが高い。
　そこで、この種のシステムの設計に際しては、車体部品の施工部位を簡単に且つ低コストで判定できる技術が求められている。また、この技術では、スポット溶接の打点が形成された施工部位のみならず、車体部品に開口形成された開口穴、車体部品に溶接されたボルト、ナット、座金などの施工部位についても同様に判定できるのが好ましい。
　本発明は、かかる課題に鑑みてなされたものであり、車体部品の施工部位を簡単に且つ低コストで判定するのに有効な技術を提供しようとするものである。
　本発明の一態様は、
　車体部品の３次元画像を記録する撮影装置と、
　上記撮影装置によって記録された上記車体部品の３次元画像に基づいて、上記車体部品の施工部位を判定する処理を行う処理装置と、を備え、
　上記処理装置は、
　上記３次元画像を３次元画像データに変換する画像処理部と、
　上記３次元画像データと上記車体部品の設計に用いられる３次元設計データとの双方からそれぞれ、上記施工部位と上記車体部品の基準部位とを抽出する抽出部と、
　上記基準部位を基準にして上記３次元画像データ及び上記３次元設計データの位置合わせを行う位置合わせ部と、
　上記位置合わせ部によって位置合わせされた上記３次元画像データ及び上記３次元設計データについて、上記抽出部によって上記３次元画像データから抽出された上記施工部位と上記抽出部によって上記３次元設計データから抽出された上記施工部位との関係を判定する判定部と、を備える、車体部品の施工部位判定システム、
にある。
　本発明の他の態様は、
　車体部品の施工部位を判定する、車体部品の施工部位判定方法であって、
　上記車体部品の３次元画像を記録する撮影装置を準備し、
　上記撮影装置によって記録された上記車体部品の３次元画像を３次元画像データに変換し、
　変換した上記３次元画像データと上記車体部品の設計に用いられる３次元設計データとの双方からそれぞれ、上記施工部位と上記車体部品の基準部位とを抽出し、
　抽出した上記基準部位を基準にして上記３次元画像データ及び上記３次元設計データの位置合わせを行い、
　位置合わせした上記３次元画像データ及び上記３次元設計データについて、上記３次元画像データから抽出した上記施工部位と上記３次元設計データから抽出した上記施工部位との関係を判定する、車体部品の施工部位判定方法、
にある。
　上記の、車体部品の施工部位判定システム、及び車体部品の施工部位判定方法によれば、３次元画像データから基準部位を抽出し、且つこの基準部位を基準にして３次元画像データと３次元設計データとの位置合わせを行うことができる。このため、撮影装置を車体部品に対して決まった位置に固定配置する必要がない。従って、可搬式の３Ｄカメラのような比較的安価な撮影装置を使用することができる。
　また、作業者は撮影環境（車体部品に対する角度、明るさ、距離など）を気にすることなく、撮影装置によって車体部品を簡単に撮影することができる。
　更に、施工部位についての判定が視覚的な判定によらない場合には、作業に要する時間及び工数を低く抑えることができ、また人為的な誤判定が生じるのを阻止できる。
　以上のごとく、上記の車体部品の施工部位判定システム、及び車体部品の施工部位判定方法によれば、車体部品の施工部位を簡単に且つ低コストで判定することが可能になる。
本実施形態の、車体部品の施工部位判定システムの概要を示す図。 図１中の処理装置におけるデータ確認画面の表示例を示す図。 図１中の処理装置による処理フローを示す図。 図３の処理フローの第１ステップにおける処理を模式的に示す図。 図３の処理フローの第２ステップにおける、施工部位についてのデータの抽出を模式的に示す図。 図３の処理フローの第２ステップにおける、基準部位についてのデータの抽出を模式的に示す図。 図３の処理フローの第３ステップにおける、施工部位についてのデータの抽出を模式的に示す図。 図３の処理フローの第３ステップにおける、基準部位についてのデータの抽出を模式的に示す図。 第３ステップで用いる抽出ロジックを説明するための図。 ３次元設計データと３次元画像データとの座標系の相違を説明するための図。 座標系の変換ロジックを説明するための図。 ３次元設計データと３次元画像データとを同一の座標系で重ね合わせた状態の図。 帳票の記載例を示す図。
　本実施形態において、「施工部位」とは、車体を構成する車体部品において所定の施工がなされた部位、若しくは所定の施工が予定された部位をいう。従って、施工部位の判定によって、施工部位に実際になされている施工結果が設計通りのものであるか否かが判定され、若しくは施工部位に予定通り施工されているか否かが判定される。
　また、上記の車体部品の施工部位判定システムにおいて、上記処理装置の上記抽出部は、上記施工部位及び上記基準部位のそれぞれの形状の特徴を識別するように予め機械学習がなされた分類器を有し、上記分類器によって上記施工部位及び上記基準部位のそれぞれを抽出するのが好ましい。
　これにより、抽出部が施工部位及び基準部位のそれぞれを抽出する精度を高めることができる。
　また、上記の車体部品の施工部位判定システムにおいて、上記処理装置の上記位置合わせ部は、上記抽出部によって抽出された上記基準部位を基準にして上記３次元画像データの座標系と上記３次元設計データの座標系とを合わせることにより、上記３次元画像データ及び上記３次元設計データの位置合わせを行うのが好ましい。
　これにより、位置合わせ部における３次元画像データと３次元設計データとの位置合わせの精度を高めることができる。
　また、上記の車体部品の施工部位判定システムにおいて、上記処理装置の上記判定部は、上記３次元画像データから上記施工部位が抽出され且つ該施工部位と上記３次元設計データから抽出された上記施工部位との間の距離が予め設定された許容値を下回る場合に、上記関係として上記車体部品における上記施工部位に設計通りの施工がなされていると判定するのが好ましい。
　これにより、判定部による適正な判定が可能になる。
　また、上記の車体部品の施工部位判定システムにおいて、上記車体部品における上記施工部位は、スポット溶接による打点が形成される部位であるのが好ましい。
　これにより、スポット溶接による打点について、３次元画像データにおける打点と３次元設計データにおける打点との関係を判定することができる。
　また、上記の車体部品の施工部位判定システムは、上記処理装置の上記判定部による判定結果を出力する出力装置を備えるのが好ましい。
　これにより、出力装置によって出力された判定結果を複数の人でチェックできる。その結果、人為的な誤判定を起こりにくくすることができる。
　また、上記の車体部品の施工部位判定システムにおいて、上記出力装置は、上記判定結果とともに上記施工部位の３次元画像を表示するのが好ましい。
　これにより、作業者若しくは確認者は、施工部位の３次元画像に着目することによって、施工部位に設計通りの施工がなされているか否かを一目で確認できる。
　以下、本実施形態の車体部品の施工部位判定システム及び施工部位判定方法について、図面を参照しつつ説明する。
　図１に示されるように、施工部位判定システム１は、車体部品Ｗの施工部位を判定するシステムである。この施工部位判定システム１は、撮影装置１０、処理装置２０、出力装置３０、サーバ４０及びＬＡＮ５０を含む。この施工部位判定システム１を、「施工部位判定装置」ということもできる。車体部品Ｗとして、自動車の車体を構成する各種の製品を対象とすることができる。この車体部品Ｗには、施工部位Ｐ及び基準部位Ｑが含まれている。
　撮影装置１０は、車体部品Ｗの撮影によってこの車体部品Ｗの３次元画像を記録する機能を有する。この撮影装置１０は、処理装置２０に接続されることによって、処理装置２０との間でのデータの送受信が可能になる。この撮影装置１０は、車体部品Ｗの撮影時に処理装置２０に接続された状態であってもよいし、或いは処理装置２０から分離された状態であってもよい。
　本実施形態では、この撮影装置１０が３Ｄカメラによって構成されている。３Ｄカメラとして、２つのレンズのそれぞれで撮影された画像を合成することによって３次元画像を得る複眼式のカメラや、１つのレンズで角度を変えて２回撮影された画像を合成することによって３次元画像を得る単眼式のカメラを用いることができる。この３Ｄカメラとして、可搬式の小型カメラや、特定の位置に設置される大型の定点カメラを用いることができる。処理装置２０による後述の処理についての要求精度が高くない場合には、コストメリットの高い安価な可搬式の小型カメラを用いるのが好ましい。
　処理装置２０は、撮影装置１０によって記録された車体部品Ｗの３次元画像に基づいて、車体部品Ｗの施工部位Ｐを判定する処理を行う機能を有する。この処理装置２０は、画像処理部２１、記憶部２２、入出力部２３及び演算部２４を備えている。この処理装置２０は、モニター（表示手段）、キーボード（入力手段）、マウス（選択手段）、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する、デスクトップ型若しくはノート型のパーソナルコンピュータ（ＰＣ）によって構成されている。
　出力装置３０は、データを印字によって出力するプリンター、データを表示によって出力するモニター、データを音声によって出力するスピーカーのうちの少なくとも１つによって構成されている。
　サーバ４０は、ＬＡＮ５０を介して送信された入力データを記憶する一方で、記憶しているデータを要求先からの制御信号に応じて読み出して要求先に送信する機能を有する。このサーバ４０は、上記の入力データとして、複数の車体部品Ｗのそれぞれについての３次元設計データ（「３次元ＣＡＤデータ」ともいう。）を記憶するように構成されている。この３次元設計データは、車体部品Ｗの設計上の３次元の点群データであり、車体部品Ｗの要求仕様書（工法書）に基づいて作製されている。
　画像処理部２１は、撮影装置１０によって撮影された車体部品Ｗの３次元画像を、直交座標（Ｘ，Ｙ，Ｚ）で表現される３次元の点群データ、即ち３次元画像データ（「３次元製品データ」ともいう。）に変換する機能を有する。この画像処理部２１によって得られた、車体部品Ｗの３次元画像データは、記憶部２２に送信される。
　この画像処理部２１は、所定の処理開始信号に応じて３次元画像を３次元画像データに変更する変換処理を実行するように構成されている。一方で、この画像処理部２１は、撮影装置１０と処理装置２０との接続時にこの変換処理を自動的に実行するように構成されてもよい。
　記憶部２２は、撮影装置１０から送信された３次元画像、画像処理部２１から送信された３次元画像データ、及びサーバ４０から入出力部２３を経由して送信された３次元設計データを記憶（格納）する機能を有する。この記憶部２２は、画像処理部２１、入出力部２３及び演算部２４のそれぞれとの間でデータの送受信が可能になっている。
　入出力部２３は、外部機器との間でデータの送受信を行う機能を有する。この外部機器は、上記の出力装置３０、サーバ４０及びＬＡＮ５０のそれぞれに接続された複数のＯＡ端末等によって構成されている。
　演算部２４は、記憶部２２或いは入出力部２３から入力された情報を処理する機能を有し、抽出部２５、位置合わせ部２６、判定部２７を備えている。
　抽出部２５は、画像処理部２１によって変換された３次元画像データと、車体部品Ｗの設計に用いられる３次元設計データとのそれぞれを記憶部２２から読み出して、これら３次元画像データ及び３次元設計データとの双方からそれぞれ、施工部位Ｐａ，Ｐｂ及び基準部位Ｑａ，Ｑｂを抽出する機能を有する。
　本実施形態の場合、車体部品Ｗの施工部位Ｐは、スポット溶接によるスポット溶接打点（以下、単に「打点」ともいう。）が形成される部位として予め設定されている。また、車体部品Ｗの基準部位Ｑは、開口穴が開口形成された部位として予め設定されている。
　位置合わせ部２６は、抽出部２５によって抽出された基準部位Ｑａ，Ｑｂを基準にして３次元画像データ及び３次元設計データの位置合わせを行う機能を有する。基準部位Ｑａは、抽出部２５によって３次元設計データから抽出される。基準部位Ｑｂは、抽出部２５によって３次元画像データから抽出される。
　判定部２７は、位置合わせ部２６によって位置合わせされた３次元画像データ及び３次元設計データについて、抽出部２５によって３次元設計データから抽出された施工部位Ｐａと抽出部２５によって３次元画像データから抽出された施工部位Ｐｂとの関係を判定する。具体的には、実際に施工がなされる予定の施工部位Ｐに対応した施工部位Ｐｂの状態が、要求仕様書に係る施工部位Ｐａの通りであるか否か、即ち施工部位Ｐに設計通りの施工がなされているか否かが、この判定部２７によって判定される。
　この判定において、施工部位Ｐに実際に施工がなされているか否かは問わない。施工部位Ｐに実際に施工がなされている場合には、施工部位Ｐａと施工部位Ｐｂとの対比によって、施工部位Ｐになされている施工結果（数及び位置）が設計通りのものであるか否かが判定される。これに対して、施工部位Ｐに実際に施工がなされていない場合には、施工部位Ｐａと施工部位Ｐｂとの対比によって、施工部位Ｐに予定通り施工されているか否かが判定される。
　撮影装置１０によって記録された車体部品Ｗの３次元画像ｄは、例えば、処理装置２０のモニターに表示されるデータ確認画面（図２参照）上で登録される。このデータ確認画面には、登録情報をプルダウンリストから選択可能な複数の入力欄６１が表示される。入力欄６１における登録情報には、車体部品Ｗにスポット溶接が施工されたロボットの管理番号等が含まれている。また、このデータ確認画面の表示部６２には、複数の入力欄６１の登録情報によって特定される、車体部品Ｗの３次元設計データｄ１が表示される。更に、このデータ確認画面の表示部６４には、ファイル欄６３において指定されたファイル先に保存されている、車体部品Ｗの３次元画像ｄが表示される。
　なお、処理装置２０において処理を実行する前の準備作業として、作業者は、撮影装置１０を使用して車体部品Ｗを撮影する。このとき、車体部品Ｗの施工部位Ｐ及び基準部位Ｑの双方が写るように撮影される必要がある。これにより、処理装置２０の処理で使用される、車体部品Ｗの３次元画像ｄが得られる。
　表示部６４に表示された３次元画像ｄは、「処理対象に追加」と表示された表示領域６５がクリックされることによって、３次元設計データｄ１に紐付けされた情報として記憶部１２に記憶される。「判定処理実行」と表示された表示領域６６がクリックされると、所定の処理開始信号によって処理装置２０による処理が自動的に実行される。この処理について、以下に図３～１３を参照しつつ説明する。
　処理装置２０による処理には、図３中のステップＳ１０１からステップＳ１０５までのステップが含まれている。これらのステップに対して、必要に応じて１または複数のステップが追加されてもよい。
　ステップＳ１０１は、指定された車体部品Ｗについて、その３次元画像ｄを３次元画像データｄ２に変換するステップ（第１ステップ）である。このステップＳ１０１は、処理装置２０の画像処理部２１によって実行される。このステップＳ１０１によれば、車体部品Ｗの３次元画像ｄが記憶部２２から読み出され、直交座標（Ｘ，Ｙ，Ｚ）で表現される３次元の点群データである３次元画像データｄ２に変換される。このステップＳ１０１で得られた３次元画像データｄ２は、記憶部２２に記憶される。
　なお、処理装置２０における処理精度を高めるためには、図４が参照されるように、車体部品Ｗが異なる角度で撮影された複数種類の３次元画像ｄ（図４では、３次元画像ｄａと３次元画像ｄｂとの２種類について記載）を使用するのが好ましい。
　ステップＳ１０２は、指定された車体部品Ｗについて、３次元設計データｄ１の特徴点である施工部位Ｐａ及び基準部位Ｑａのそれぞれの取り込みを行うステップ（第２ステップ）である。このステップＳ１０２は、処理装置２０の抽出部２５によって実行される。このステップＳ１０２によれば、記憶部２２から３次元設計データｄ１が読み出され、この３次元設計データｄ１から施工部位Ｐａについてのデータが取り込まれる（抽出される）。
　図５に示されるように、この施工部位Ｐａには、車体部品Ｗにスポット溶接によって形成される予定の５つの打点Ａ１，Ｂ１，Ｃ１，Ｄ１，Ｅ１が含まれている。同様に、３次元設計データｄ１から基準部位Ｑａについてのデータが取り込まれる（抽出される）。図６に示されるように、この基準部位Ｑａには、車体部品Ｗに設けられる予定の３つの開口穴Ｌ１，Ｍ１，Ｎ１が含まれている。
　ステップＳ１０３は、指定された車体部品Ｗについて、３次元画像データｄ２の特徴点である施工部位Ｐｂ及び基準部位Ｑｂのそれぞれの検出を行うステップ（第３ステップ）である。このステップＳ１０３は、処理装置２０の抽出部２５によって実行される。このステップＳ１０３は、ステップＳ１０２と同時並行的に実行されてもよいし、或いはステップＳ１０２よりも前に実行されてもよいし、或いはステップＳ１０２に引き続いて実行されてもよい。
　このステップＳ１０３によれば、記憶部２２から３次元画像データｄ２が読み出され、この３次元画像データｄ２から施工部位Ｐｂについてのデータが検出（抽出される）。図７に示されるように、この施工部位Ｐｂには、車体部品Ｗにスポット溶接によって形成されていると想定される５つの打点Ａ２，Ｂ２，Ｃ２，Ｄ２，Ｅ２が含まれている。同様に、３次元画像データｄ２から基準部位Ｑｂについてのデータが検出（抽出される）。図８に示されるように、この基準部位Ｑｂには、車体部品Ｗに設けられている３つの開口穴Ｌ２，Ｍ２，Ｎ２が含まれている。
　本実施形態では、ステップＳ１０２における施工部位Ｐａ及び基準部位Ｑａや、ステップＳ１０３における施工部位Ｐｂ及び基準部位Ｑｂを精度良く抽出するために、図９に示される抽出ロジックを用いている。この抽出ロジックを実行するために、処理装置２０の抽出部２５は分類器ＤＣを備えている。
　図９に示されるように、例えば施工部位Ｐｂに含まれる打点Ａ２を抽出する場合、分類器ＤＣは、打点Ａ２の形状の特徴を識別するように予め機械学習がなされている。この場合、打点Ａ２が含まれる複数のサンプル画像データＳａと、打点Ａ２とは異なる形状Ａ３が含まれる複数のサンプル画像データＳｂと、を準備する。そして、これらの複数のサンプル画像データＳａ，Ｓｂを分類器ＤＣに入力して、サンプル画像データＳａに含まれる打点Ａ２の形状の特徴を学習させる。これにより、打点Ａ２の形状、若しくは打点Ａ２の形状に近い形状を有する識別対象を識別可能な分類器ＤＣを作成できる。この分類器ＤＣによれば、入力画像データＳｃに打点Ａ２及び形状Ａ３の双方が含まれる場合、この入力画像データＳｃに含まれる情報から識別対象としての打点Ａ２を識別できる。
　その他の打点や、基準点についても、この打点Ａ２の場合と同様の抽出ロジックを使用した抽出が可能である。
　なお、分類器ＤＣの具体的な作成手法については、例えば、Ｈａａｒ－Ｌｉｋｅアルゴリズムによる分類器作成についてリンクhttp://gihyo.jp/dev/feature/01/opencv/0003に記載されている説明、ＬＢＰアルゴリズムによる分類器作成についてリンクhttp://compsci.world.coocan.jp/OUJ/2012PR/pr_15_a.pdfに記載されている説明、ＨＯＧアルゴリズムによる分類器作成についてリンクhttp://www.vision.cs.chubu.ac.jp/joint_hog/pdf/HOG+Boosting_LN.pdfに記載されている説明等を参考にすることができる。
　ステップＳ１０４は、抽出部２５によって抽出された基準部位Ｑａ，Ｑｂを基準にして３次元設計データｄ１及び３次元画像データｄ２の位置合わせを行うステップ（第４ステップ）である。このステップＳ１０４は、ステップＳ１０２及びステップＳ１０３の終了後に、処理装置２０の位置合わせ部２６によって実行される。
　ここで、３次元画像データの座標系は、人による撮影位置等に応じて撮影毎に変わる（１つに定まらない）ため、３次元設計データの座標系と異なる。従って、図１０が参照されるように、３次元画像データｄ２の座標系は３次元設計データｄ１の座標系と相違する。そこで、この位置合わせ部２６によれば、基準部位Ｑａと基準部位Ｑｂとを互いに合わせることによって、３次元画像データｄ２の座標系を３次元設計データｄ１の座標系に合わせることができる。
　具体的には、図１１の座標系の変換ロジックが参照されるように、３次元設計データｄ１の基準部位Ｑａに含まれる３つの開口穴Ｌ１，Ｍ１，Ｎ１を頂点とした三角形Ｔ１と、３次元画像データｄ２の基準部位Ｑｂに含まれる３つの開口穴Ｌ２，Ｍ２，Ｎ２を頂点とした三角形Ｔ２とを対比する。そして、開口穴Ｌ２を開口穴Ｌ１に合わせ、且つ開口穴Ｍ２を開口穴Ｍ１に合わせ、且つ開口穴Ｎ２を開口穴Ｎ１に合わせるように、３次元画像データｄ２の座標系を変換する。
　その結果、図１２に示されるように、３次元設計データｄ１及び３次元画像データｄ２は、同一の座標系で且つ基準部位Ｑａと基準部位Ｑｂとが一致するように互いに重ね合わせられた状態で表示される。この変換ロジックでは、異なる座標系を互いに合わせるために、開口穴のような基準点が少なくとも３つ必要になる。
　ステップＳ１０５は、３次元画像データｄ２から抽出された施工部位Ｐｂと３次元設計データｄ１から抽出された施工部位Ｐａとの関係を判定するステップである。このステップＳ１０５は、ステップＳ１０４の終了後に、処理装置２０の判定部２７によって実行される。このステップＳ１０５によれば、図１２が参照されるように、３次元設計データｄ１（図中の実線参照）における施工部位Ｐａ（打点Ａ１，Ｂ１，Ｃ１，Ｄ１，Ｅ１）と、３次元画像データｄ２（図中の二点鎖線参照）における施工部位Ｐｂ（打点Ａ２，Ｂ２，Ｃ２，Ｄ２，Ｅ２）との関係が判定される。
　具体的には、３次元画像データｄ２を３次元設計データｄ１と対比することによって、３次元画像データｄ２に３次元設計データｄ１の各打点に対応した打点が有るか否かが判定される（第１の判定）。図１２では、互いに重ね合わせられた３次元設計データｄ１及び３次元画像データｄ２について、３次元設計データｄ１に含まれている打点が「△」で示され、３次元画像データｄ２に含まれている打点が「□」で示されている。この第１の判定によれば、車体部品Ｗに実際に施工された打点の数（Ｎｕｍｂｅｒ）を確認できる。
　第１の判定において、３次元画像データｄ２に３次元設計データｄ１の打点に対応した打点が有ると判定された場合（第１の判定結果が「ＹＥＳ」の場合）、更に、３次元設計データｄ１の打点に対する３次元画像データｄ２の打点の位置ずれ（以下、「誤差」という。）が予め設定された許容値を下回るか否かが判定される（第２の判定）。この場合、誤差は、比較する２つの打点間の距離として算出される。この第２の判定によれば、車体部品Ｗに実際に施工された打点の位置（Ｐｏｓｉｔｉｏｎ）を確認できる。
　そして、第１の判定結果が「ＹＥＳ」であり、且つ第２の判定結果が「ＹＥＳ」の場合に、判定に係る打点が合格（ＯＫ）であり、打点が設計通り形成されていると判定される。そして、判定対象である全打点について合格（ＯＫ）である場合に、車体部品Ｗの施工部位Ｐに設計通りの施工がなされていると判定される。
　図１３に示されるように、本実施形態では、上記の判定部２７による判定結果を示す帳票７０が上記の出力装置３０によって印字出力される。帳票７０には、車体部品Ｗの３次元画像ｄを表示する欄７１と、施工部位Ｐの打点のチェック結果（３次元画像データｄ２における施工部位Ｐｂの判定結果）を示すチェック結果一覧７２と、が記載されている。チェック結果一覧７２には、施工部位Ｐの各打点を示す打点番号の欄７３、打点画像の欄７４、誤差の欄７５及び結果の欄７６が含まれている。
　なお、欄７１に３次元画像ｄに代えて３次元画像データｄ２が表示されてもよい。また、帳票７０の印字に代えて或いは加えて、帳票７０の記載の内容がモニター（図示省略）に表示されてもよい。
　誤差の欄７５において、誤差ｅ１は、打点Ａ１と打点Ａ２との間の距離として算出されている。誤差ｅ２は、打点Ｂ１と打点Ｂ２との間の距離として算出されている。誤差ｅ３は、打点Ｃ１と打点Ｃ２との間の距離として算出されている。誤差ｅ４は、打点Ｄ１と打点Ｄ２との間の距離として算出されている。誤差ｅ５は、打点Ｅ１と打点Ｅ２との間の距離として算出されている。
　作業者若しくは確認者は、結果の欄７６を視認することによって、各打点のチェック結果が合格（ＯＫ）であるか否かを確認できる。これにより、車体部品Ｗに実際に施工されている打点の数及び位置のチェック（ＮＰチェック）を容易に行うことができる。
　また、本実施形態では、打点画像の欄７４に、車体部品Ｗに実際に施工された打点の３次元画像が表示されるように設定されている。このため、スポット溶接が実際に施工されている場合には、打点画像の欄７４に打点の３次元画像が母材の３次元画像とともに表示される。一方で、スポット溶接が実際に施工されていない場合には、打点画像の欄７４に打点の３次元画像は表示されずに母材の３次元画像のみが表示される。従って、作業者若しくは確認者は、この打点画像の欄７４を視認することによって、スポット溶接が予定された部位に実際に打点が形成されているか否かを一目で確認できる。
　なお、処理装置２０の抽出部２５によって３次元画像データｄ２から抽出された打点の数の合計値や、３次元設計データｄ１から抽出された打点の数の合計値が帳票７０に記載されるようにしてもよい。
　上記の実施形態によれば、以下のような作用効果が得られる。
　上記の施工部位判定システム１、及び施工部位判定システム１を使用した判定方法によれば、３次元画像データｄ２から基準部位Ｑｂを抽出し、且つこの基準部位Ｑｂを基準にして３次元画像データｄ２と３次元設計データｄ１との位置合わせを行うことができる。
　このため、撮影装置１０を車体部品Ｗに対して決まった位置に固定配置する必要がない。従って、可搬式の３Ｄカメラのような比較的安価な撮影装置１０を使用することができる。
　また、作業者は撮影環境（車体部品Ｗに対する角度、明るさ、距離など）を気にすることなく、撮影装置１０によって車体部品Ｗを簡単に撮影することができる。
　更に、施工部位Ｐについての判定が処理装置２０によって自動的に実行され、当該判定が視覚的な判定によらないため、作業に要する時間及び工数を低く抑えることができ、また人為的な誤判定が生じるのを阻止できる。
　その結果、車体部品Ｗの施工部位Ｐの状態を簡単に且つ低コストで判定することが可能になる。
　また、処理装置２０の抽出部２５が分類器ＤＣを備えているため、抽出部２５が施工部位Ｐａ，Ｐｂ及び基準部位Ｑａ，Ｑｂのそれぞれを抽出する精度を高めることができる。
　また、処理装置２０の位置合わせ部２６は、基準部位Ｑａ，Ｑｂを基準にして３次元画像データｄ２の座標系と３次元設計データｄ１の座標系とを合わせるため、３次元画像データｄ２と３次元設計データｄ１との位置合わせの精度を高めることができる。
　また、処理装置２０の判定部２７による判定結果を出力する出力装置３０が用いられるため、この出力装置３０によって出力された判定結果を複数の人でチェックできる。その結果、人為的な誤判定を起こりにくくすることができる。
　また、この出力装置３０による出力情報には、処理装置２０の判定部２７による判定結果とともに施工部位Ｐの３次元画像が含まれている。このため、作業者若しくは確認者は、施工部位Ｐの３次元画像に着目することによって、施工部位Ｐに設計通りの施工がなされているか否かを一目で確認できる。
　本発明は、上記の典型的な実施形態のみに限定されるものではなく、本発明の目的を逸脱しない限りにおいて種々の応用や変形が考えられる。例えば、上記の実施形態を応用した次の各形態を実施することもできる。
　上記の実施形態では、溶接スポット溶接によって打点が形成される部位を車体部品Ｗの施工部位Ｐとする場合について例示したが、その他の部位を施工部位Ｐとすることもできる。その他の部位として、典型的には、車体部品Ｗに開口穴が開口形成された部位や、車体部品Ｗにボルト、ナット、座金などが接合された部位などが挙げられる。
　上記の実施形態では、開口穴が形成された部位を車体部品Ｗの基準部位Ｑとする場合について例示したが、その他の部位を基準部位Ｑとすることもできる。その他の部位として、典型的には、車体部品Ｗにボルト、ナット、座金などが接合された部位や、溶接スポット溶接による打点が形成される部位などが挙げられる。例えば、施工部位と同一の部位を基準部位にすることもできる。
　上記の実施形態では、撮影装置１０として３Ｄカメラを用いる場合について例示したが、３Ｄカメラに代えて、該３Ｄカメラと同様の機能を備えた装置、例えばタブレット型の端末を用いることもできる。

Claims (8)

  1. 　車体部品の３次元画像を記録する撮影装置と、
    　上記撮影装置によって記録された上記車体部品の３次元画像に基づいて、上記車体部品の施工部位を判定する処理を行う処理装置と、を備え、
    　上記処理装置は、
    　上記３次元画像を３次元画像データに変換する画像処理部と、
    　上記３次元画像データと上記車体部品の設計に用いられる３次元設計データとの双方からそれぞれ、上記施工部位と上記車体部品の基準部位とを抽出する抽出部と、
    　上記基準部位を基準にして上記３次元画像データ及び上記３次元設計データの位置合わせを行う位置合わせ部と、
    　上記位置合わせ部によって位置合わせされた上記３次元画像データ及び上記３次元設計データについて、上記抽出部によって上記３次元画像データから抽出された上記施工部位と上記抽出部によって上記３次元設計データから抽出された上記施工部位との関係を判定する判定部と、を備える、車体部品の施工部位判定システム。
  2. 　上記処理装置の上記抽出部は、上記施工部位及び上記基準部位のそれぞれの形状の特徴を識別するように予め機械学習がなされた分類器を有し、上記分類器によって上記施工部位及び上記基準部位のそれぞれを抽出する、請求項１に記載の、車体部品の施工部位判定システム。
  3. 　上記処理装置の上記位置合わせ部は、上記抽出部によって抽出された上記基準部位を基準にして上記３次元画像データの座標系と上記３次元設計データの座標系とを合わせることにより、上記３次元画像データ及び上記３次元設計データの位置合わせを行う、請求項１又は２に記載の、車体部品の施工部位判定システム。
  4. 　上記処理装置の上記判定部は、上記３次元画像データから上記施工部位が抽出され且つ該施工部位と上記３次元設計データから抽出された上記施工部位との間の距離が予め設定された許容値を下回る場合に、上記関係として上記車体部品における上記施工部位に設計通りの施工がなされていると判定する、請求項１～３のいずれか一項に記載の、車体部品の施工部位判定システム。
  5. 　上記車体部品における上記施工部位は、スポット溶接による打点が形成される部位である、請求項１～４のいずれか一項に記載の、車体部品の施工部位判定システム。
  6. 　上記処理装置の上記判定部による判定結果を出力する出力装置を備える、請求項１～５のいずれか一項に記載の、車体部品の施工部位判定システム。
  7. 　上記出力装置は、上記判定結果とともに上記施工部位の３次元画像を表示する、請求項６に記載の、車体部品の施工部位判定システム。
  8. 　車体部品の施工部位を判定する、車体部品の施工部位判定方法であって、
    　上記車体部品の３次元画像を記録する撮影装置を準備し、
    　上記撮影装置によって記録された上記車体部品の３次元画像を３次元画像データに変換し、
    　変換した上記３次元画像データと上記車体部品の設計に用いられる３次元設計データとの双方からそれぞれ、上記施工部位と上記車体部品の基準部位とを抽出し、
    　抽出した上記基準部位を基準にして上記３次元画像データ及び上記３次元設計データの位置合わせを行い、
    　位置合わせした上記３次元画像データ及び上記３次元設計データについて、上記３次元画像データから抽出した上記施工部位と上記３次元設計データから抽出した上記施工部位との関係を判定する、車体部品の施工部位判定方法。
PCT/JP2016/077317 2016-02-16 2016-09-15 車体部品の施工部位判定システム及び施工部位判定方法 WO2017141475A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/807,764 US10507550B2 (en) 2016-02-16 2017-11-09 Evaluation system for work region of vehicle body component and evaluation method for the work region

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-027110 2016-02-16
JP2016027110A JP6658054B2 (ja) 2016-02-16 2016-02-16 車体部品の施工部位判定システム及び施工部位判定方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/807,764 Continuation US10507550B2 (en) 2016-02-16 2017-11-09 Evaluation system for work region of vehicle body component and evaluation method for the work region

Publications (1)

Publication Number Publication Date
WO2017141475A1 true WO2017141475A1 (ja) 2017-08-24

Family

ID=59624950

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/077317 WO2017141475A1 (ja) 2016-02-16 2016-09-15 車体部品の施工部位判定システム及び施工部位判定方法

Country Status (3)

Country Link
US (1) US10507550B2 (ja)
JP (1) JP6658054B2 (ja)
WO (1) WO2017141475A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018129292B4 (de) 2017-11-28 2022-04-28 Fanuc Corporation Handprogrammiergerät und Robotersteuersystem

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109186457B (zh) * 2018-09-14 2021-02-12 天津玛特检测设备有限公司 一种双目的零件识别方法和装置及使用该装置的生产线

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006088160A (ja) * 2004-09-21 2006-04-06 Toyota Auto Body Co Ltd 溶接位置検査装置および溶接位置検査プログラム
JP2007152371A (ja) * 2005-12-01 2007-06-21 Kanto Auto Works Ltd 溶接打点位置検査システム
JP2009172608A (ja) * 2008-01-21 2009-08-06 Toyota Auto Body Co Ltd 溶接検査方法、溶接検査装置、溶接検査プログラム
JP2010025615A (ja) * 2008-07-16 2010-02-04 Central Motor Co Ltd 自動スポット溶接検査システム
JP2010271943A (ja) * 2009-05-21 2010-12-02 Toyota Auto Body Co Ltd スポット溶接の打点位置電子化装置、スポット溶接の打点位置電子化方法、及びスポット溶接の打点位置電子化プログラム
JP2013088169A (ja) * 2011-10-14 2013-05-13 Hitachi-Ge Nuclear Energy Ltd 検査装置及び方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69330513D1 (de) * 1992-03-20 2001-09-06 Commw Scient Ind Res Org Gegenstands-überwachungsystem
US5809658A (en) * 1993-09-29 1998-09-22 Snap-On Technologies, Inc. Method and apparatus for calibrating cameras used in the alignment of motor vehicle wheels
US6963661B1 (en) * 1999-09-09 2005-11-08 Kabushiki Kaisha Toshiba Obstacle detection system and method therefor
JP3849505B2 (ja) * 2001-11-26 2006-11-22 株式会社デンソー 障害物監視装置及びプログラム
US20050264472A1 (en) * 2002-09-23 2005-12-01 Rast Rodger H Display methods and systems
JP2004078987A (ja) * 2003-10-20 2004-03-11 Jutaku Shizai Ryutsu Center:Kk 建築物の施工状況確認方法
US8275193B2 (en) * 2004-08-04 2012-09-25 America Gnc Corporation Miniaturized GPS/MEMS IMU integrated board
US7515737B2 (en) * 2004-11-30 2009-04-07 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus
US20100222925A1 (en) * 2004-12-03 2010-09-02 Takashi Anezaki Robot control apparatus
WO2006070865A1 (ja) * 2004-12-28 2006-07-06 Kabushiki Kaisha Toyota Chuo Kenkyusho 車両運動制御装置
EP1901225A1 (en) * 2005-05-10 2008-03-19 Olympus Corporation Image processing device, image processing method, and image processing program
JP2008261749A (ja) * 2007-04-12 2008-10-30 Takata Corp 乗員検出装置、作動装置制御システム、シートベルトシステム、車両
EP2184208A4 (en) * 2007-07-31 2012-11-21 Toyota Jidoshokki Kk PARKING AID DEVICE, VEHICLE SIDE DEVICE FOR PARKING AID DEVICE, PARKING AID METHOD, AND PARKING ASSIST PROGRAM
JP4975592B2 (ja) * 2007-11-19 2012-07-11 アルプス電気株式会社 撮像装置
JP5112998B2 (ja) * 2008-09-16 2013-01-09 本田技研工業株式会社 車両周囲監視装置
JP5190712B2 (ja) * 2009-03-24 2013-04-24 アイシン精機株式会社 障害物検出装置
JP4553072B1 (ja) * 2009-03-31 2010-09-29 コニカミノルタホールディングス株式会社 画像統合装置および画像統合方法
JP5740241B2 (ja) * 2011-08-03 2015-06-24 株式会社東芝 車両検出装置
US9762880B2 (en) * 2011-12-09 2017-09-12 Magna Electronics Inc. Vehicle vision system with customized display
EP2879386B1 (en) * 2012-07-27 2018-01-03 Nissan Motor Co., Ltd Three-dimensional object detection device, and three-dimensional object detection method
EP2879111A4 (en) * 2012-07-27 2016-10-19 Clarion Co Ltd IMAGING DEVICE
JP6282157B2 (ja) * 2014-03-31 2018-02-21 ダイハツ工業株式会社 形状認識装置
JP6565148B2 (ja) * 2014-09-05 2019-08-28 アイシン精機株式会社 画像表示制御装置および画像表示システム
JP2017146228A (ja) * 2016-02-18 2017-08-24 トヨタ自動車株式会社 溶接位置検査システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006088160A (ja) * 2004-09-21 2006-04-06 Toyota Auto Body Co Ltd 溶接位置検査装置および溶接位置検査プログラム
JP2007152371A (ja) * 2005-12-01 2007-06-21 Kanto Auto Works Ltd 溶接打点位置検査システム
JP2009172608A (ja) * 2008-01-21 2009-08-06 Toyota Auto Body Co Ltd 溶接検査方法、溶接検査装置、溶接検査プログラム
JP2010025615A (ja) * 2008-07-16 2010-02-04 Central Motor Co Ltd 自動スポット溶接検査システム
JP2010271943A (ja) * 2009-05-21 2010-12-02 Toyota Auto Body Co Ltd スポット溶接の打点位置電子化装置、スポット溶接の打点位置電子化方法、及びスポット溶接の打点位置電子化プログラム
JP2013088169A (ja) * 2011-10-14 2013-05-13 Hitachi-Ge Nuclear Energy Ltd 検査装置及び方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018129292B4 (de) 2017-11-28 2022-04-28 Fanuc Corporation Handprogrammiergerät und Robotersteuersystem

Also Published As

Publication number Publication date
US10507550B2 (en) 2019-12-17
JP2017144454A (ja) 2017-08-24
US20180065211A1 (en) 2018-03-08
JP6658054B2 (ja) 2020-03-04

Similar Documents

Publication Publication Date Title
US11176287B2 (en) System and method for internal structural defect analysis using three-dimensional sensor data
US8849636B2 (en) Assembly and method for verifying a real model using a virtual model and use in aircraft construction
US11654571B2 (en) Three-dimensional data generation device and robot control system
US11105615B2 (en) Deformation processing support system and deformation processing support method
JP2009053147A (ja) ３次元計測方法および３次元計測装置
JP2011221988A (ja) ステレオ画像による３次元位置姿勢計測装置、方法およびプログラム
JP2008235504A (ja) 組立品検査装置
JP5093591B2 (ja) 三次元位置姿勢計測方法および装置
WO2017141475A1 (ja) 車体部品の施工部位判定システム及び施工部位判定方法
WO2016084151A1 (ja) 作業支援システム、作業支援装置及び作業支援方法
US20210287055A1 (en) Using rasterization to identify traffic signal devices
JP6643000B2 (ja) 仮想環境作成方法、ロボット装置の制御方法、ロボットシステム、および情報処理装置
CN110928235A (zh) 工件贴合方法、装置、电子设备及工件贴合系统
KR20180076966A (ko) 용접로봇의 작업대상물 용접선 검출방법
JP2009216480A (ja) 三次元位置姿勢計測方法および装置
JP2007152371A (ja) 溶接打点位置検査システム
JP2010146357A (ja) ３次元画像処理方法および３次元画像処理装置
JP7364269B2 (ja) 物体検知装置、画像処理表示方法及びプログラム
JP7470511B2 (ja) 情報処理システム、情報処理方法、情報処理プログラム
JP3384617B2 (ja) 物体計測装置及びその方法
US20240153069A1 (en) Method and arrangement for testing the quality of an object
JP5346674B2 (ja) マーキング制御システム及びこれを用いてマーキングされた部材同士の位置合わせ方法
TWI619372B (zh) Ultra-wide depth stereoscopic image system and method
JP2023111297A (ja) プログラム、検査方法、及び検査装置
JP2011238105A (ja) ワーク種別判別装置、及び、ワーク種別判別方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16890612

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16890612

Country of ref document: EP

Kind code of ref document: A1