WO2022024464A1 - 検査プログラム、情報処理装置及び検査方法 - Google Patents

検査プログラム、情報処理装置及び検査方法 Download PDF

Info

Publication number
WO2022024464A1
WO2022024464A1 PCT/JP2021/015291 JP2021015291W WO2022024464A1 WO 2022024464 A1 WO2022024464 A1 WO 2022024464A1 JP 2021015291 W JP2021015291 W JP 2021015291W WO 2022024464 A1 WO2022024464 A1 WO 2022024464A1
Authority
WO
WIPO (PCT)
Prior art keywords
line
inspection
jig
inspection object
captured image
Prior art date
Application number
PCT/JP2021/015291
Other languages
English (en)
French (fr)
Inventor
厚憲 茂木
知宏 青柳
あゆ 烏谷
敏幸 吉武
健介 倉木
克久 中里
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to CN202180049855.1A priority Critical patent/CN115956257A/zh
Priority to JP2022540016A priority patent/JPWO2022024464A1/ja
Publication of WO2022024464A1 publication Critical patent/WO2022024464A1/ja
Priority to US18/152,652 priority patent/US20230162348A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/12—Geometric CAD characterised by design entry means specially adapted for CAD, e.g. graphical user interfaces [GUI] specially adapted for CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Definitions

  • the present invention relates to an inspection program, an information processing apparatus, and an inspection method.
  • 3D CAD data of the inspection object is photographed by AR technology (augmented reality technology).
  • AR technology augmented reality technology
  • a technique for superimposing and displaying (three-dimensional image) is known. According to the inspection technique, an error such as a dimension or an angle can be inspected by measuring the amount of deviation between the inspection object and the three-dimensional CAD data.
  • an appropriate feature line for example, a feature line that is three-dimensionally distributed and has a sufficient length
  • the captured image including the inspection object Is required to be detected.
  • an inspection program for inspecting an inspection object by superimposing a three-dimensional image on the inspection object included in the captured image are provided.
  • the inspection program A photographed image including the inspection object to which a jig capable of providing a feature line having a predetermined positional relationship with respect to the inspection object is combined is acquired.
  • a three-dimensional image of the state in which the jig is connected to the inspection object is acquired.
  • Multiple feature lines are detected from the captured image, Using the plurality of feature lines detected from the photographed image and the line segments of the three-dimensional image corresponding to the plurality of feature lines, the inspection object included in the photographed image to which the jig is bonded is attached.
  • the computer is made to execute the process of superimposing and displaying the three-dimensional image.
  • FIG. 1 is a diagram showing an application example of an information processing apparatus.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the information processing apparatus.
  • FIG. 3 is a first diagram showing an example of the functional configuration of the information processing apparatus.
  • FIG. 4 is a first diagram showing a coupling example and an edge line detection example when an inspection jig is coupled to an inspection object.
  • FIG. 5 is a first diagram showing a specific example of the combined three-dimensional CAD data and an example of identifying a line segment.
  • FIG. 6A is a first diagram showing an example of an inspection screen.
  • FIG. 6B is a second diagram showing an example of an inspection screen.
  • FIG. 7 is a first flowchart showing the flow of the inspection process.
  • FIG. 1 is a diagram showing an application example of an information processing apparatus.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the information processing apparatus.
  • FIG. 3 is a first diagram showing an example of the functional configuration of the information processing apparatus
  • FIG. 8 is a diagram showing an example of an inspection jig suitable for a two-hole inspection object.
  • FIG. 9 is a diagram showing an example of an inspection jig suitable for an object to be inspected in one hole.
  • FIG. 10 is a diagram showing an example of an inspection jig suitable for a non-hole inspection object.
  • FIG. 11 is a second flowchart showing the flow of the inspection process.
  • FIG. 12 is a schematic diagram for explaining the relationship between the superimposed display and the deviation information.
  • FIG. 13 is a diagram showing an example of the shape of the jig for inspection and the color arrangement data of the jig.
  • FIG. 14 is a second diagram showing an example of the functional configuration of the information processing apparatus.
  • FIG. 14 is a second diagram showing an example of the functional configuration of the information processing apparatus.
  • FIG. 15 is a second diagram showing a coupling example and an edge line detection example when an inspection jig is coupled to an inspection object.
  • FIG. 16 is a second diagram showing a specific example of the combined three-dimensional CAD data and an example of identifying a line segment.
  • FIG. 17 is a first diagram showing a specific example of the corresponding pair determination process.
  • FIG. 18 is a second diagram showing a specific example of the corresponding pair determination process.
  • FIG. 19 is a third diagram showing a specific example of the corresponding pair determination process.
  • FIG. 20 is a third diagram showing an example of an inspection screen.
  • FIG. 21 is a third flowchart showing the flow of the inspection process.
  • FIG. 12 is a schematic diagram for explaining the relationship between the superimposed display and the deviation information.
  • the superimposed display referred to here means that a three-dimensional image, which is structural data (for example, three-dimensional CAD data) of the inspection object, is superimposed and displayed on the photographed image of the inspection object. ..
  • the 3D image 1220 which is the 3D CAD data of the inspection object
  • any superimposition method is used. Permissible.
  • FIG. 12 A plurality of edge lines (an example of feature lines) detected from a photographed image including an inspection object 1210, and A plurality of line segments (line segments corresponding to edge lines) forming a three-dimensional image 1220 for the inspection object, and It shows the case where four pairs are specified and superposed from "multiple pairs" including (because four pairs are required for superimposing display in principle).
  • 12b in FIG. 12 is represented by four pairs.
  • the edge line 1214 of the inspection object 1210 included in the captured image and the line segment 1224 forming the three-dimensional image 1220, Is specified, and the superimposition method is shown so that the sum of the deviation amounts of each of the four specified pairs is minimized.
  • a deviation occurs in any of the four pairs between the inspection object 1210 and the three-dimensional image 1220 included in the captured image.
  • the inspector can easily grasp that the deviation has occurred between the inspection target object 1210 and the three-dimensional image 1220 as the deviation information.
  • the inspector cannot grasp the cause of the deviation, such as which part of the inspection object 1210 is caused by the defect, as the deviation information.
  • a reference line one of the edge lines
  • a reference point a point on the edge line specified by the manufacturer
  • reference lines 1215 and 1216 are designated from the edge lines of the inspection object 1210 included in the captured image, and line segments 1225 and 1226 corresponding to the reference lines are designated from the line segments forming the three-dimensional image 1220. , The case where they are superimposed and displayed so that they match is shown.
  • the inspector can see the edge lines of the inspection object 1210 other than the reference line and the line segments forming the three-dimensional image 1220 other than the reference line. Compare with the line segment corresponding to the edge line other than the reference line. As a result, the inspector can grasp the amount of deviation and the location of the cause of the deviation, in addition to the presence or absence of the deviation, as the deviation information.
  • FIG. 1 is a diagram showing an application example of an information processing apparatus.
  • the process 100 shows a general process from manufacturing a product to shipping by a manufacturer or the like.
  • a manufacturer or the like first designs a product in the design process and generates 3D CAD data. At this time, it is assumed that the manufacturer or the like designs the jig for inspection and also generates the three-dimensional CAD data of the jig.
  • the manufacturer or the like manufactures various members constituting the product based on the three-dimensional CAD data in the manufacturing process, and assembles the manufactured various members in the member assembly process to generate a structure. Subsequently, the manufacturer completes the product by welding the structures together in the welding process and performing a finishing process in the finishing process. After that, the manufacturer or the like ships the completed product in the shipping process.
  • the photographed image data in which the inspection target object (various members, structures, etc.) is photographed in each process is used for inspection.
  • the photographed image data 122 including the inspection object "to which the jig is connected is acquired.
  • the superposed data 123 obtained by superimposing the corresponding coupled three-dimensional CAD data 121 on the acquired captured image data 122 is displayed to the inspector 130.
  • the combined 3D CAD data referred to here is 3D CAD data (3D image) in a state where the inspection jig is connected to the inspection object, and is the 3D CAD data of the inspection jig. , Generated based on the 3D CAD data of the inspection target.
  • the inspector 130 can inspect whether or not the inspection target in each process matches the design contents.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the information processing apparatus.
  • the information processing device 110 includes a CPU (Central Processing Unit) 201, a ROM (Read Only Memory) 202, and a RAM (Random Access Memory) 203.
  • the CPU 201, ROM 202, and RAM 203 form a so-called computer.
  • the information processing device 110 includes an auxiliary storage device 204, a UI device 205, an image pickup device 206, a communication device 207, and a drive device 208.
  • the hardware of the information processing apparatus 110 is connected to each other via the bus 209.
  • the CPU 201 is a device that executes various programs (for example, an inspection program described later) installed in the auxiliary storage device 204.
  • ROM 202 is a non-volatile memory.
  • the ROM 202 functions as a main storage device for storing various programs, data, and the like necessary for the CPU 201 to execute various programs installed in the auxiliary storage device 204.
  • the ROM 202 functions as a main memory device for storing boot programs such as BIOS (Basic Input / Output System) and EFI (Extensible Firmware Interface).
  • RAM 203 is a volatile memory such as DRAM (Dynamic Random Access Memory) or SRAM (Static Random Access Memory).
  • the RAM 203 functions as a main storage device that provides a work area that is expanded when various programs installed in the auxiliary storage device 204 are executed by the CPU 201.
  • the auxiliary storage device 204 is an auxiliary storage device that stores various programs and information used when various programs are executed.
  • the three-dimensional CAD data storage unit (described later) for storing the combined three-dimensional CAD data 121 and the like is realized in the auxiliary storage device 204.
  • the UI device 205 provides the inspector 130 with an inspection screen for displaying the combined three-dimensional CAD data 121, the captured image data 122, and the superimposed data 123. Further, the UI device 205 receives various instructions from the inspector 130 via the inspection screen.
  • the image pickup device 206 is an image pickup device that photographs an inspection object to which an inspection jig is combined and generates captured image data 122 in each process.
  • the communication device 207 is a communication device that connects to and communicates with the network.
  • the drive device 208 is a device for setting the recording medium 210.
  • the recording medium 210 referred to here includes a medium such as a CD-ROM, a flexible disk, a magneto-optical disk, or the like, which records information optically, electrically, or magnetically. Further, the recording medium 210 may include a semiconductor memory or the like for electrically recording information such as a ROM or a flash memory.
  • the various programs installed in the auxiliary storage device 204 are installed, for example, by setting the distributed recording medium 210 in the drive device 208 and reading the various programs recorded in the recording medium 210 by the drive device 208. Will be done.
  • various programs installed in the auxiliary storage device 204 may be installed by being downloaded from the network via the communication device 207.
  • FIG. 3 is a first diagram showing an example of the functional configuration of the information processing apparatus.
  • the information processing apparatus 110 has an inspection program installed, and when the program is executed, the information processing apparatus 110 functions as the inspection unit 300.
  • the inspection unit 300 includes a combined 3D CAD data generation unit 301, a combined 3D CAD data acquisition unit 302, a line segment identification unit 303, a captured image data acquisition unit 311, a feature line detection unit 312, and a superposition unit 321. And a designated unit 322 and a display unit 323.
  • the combined 3D CAD data generation unit 301 reads out the 3D CAD data for the inspection jig and the 3D CAD data for the inspection object stored in advance in the 3D CAD data storage unit 330. Further, the combined 3D CAD data generation unit 301 generates 3D CAD data in a state where the inspection jig is connected to the inspection object based on the read 3D CAD data, and generates the combined 3D CAD data as the combined 3D CAD data. It is stored in the three-dimensional CAD data storage unit 330.
  • the combined 3D CAD data acquisition unit 302 is an example of the second acquisition unit, and the combined 3D CAD data 121 designated by the inspector 130 (the combined 3 corresponding to the inspection object to which the inspection jig is connected). (Dimensional CAD data) is read from the three-dimensional CAD data storage unit 330.
  • the line segment identification unit 303 identifies each line segment of the read-out coupled 3D CAD data 121. Further, the line segment identification unit 303 notifies the superimposition unit 321 of the read-out combined three-dimensional CAD data (including information about each identified line segment).
  • the captured image data acquisition unit 311 is an example of the first acquisition unit, and by controlling the image pickup device 206 based on the instruction of the inspector 130, the inspection object to which the inspection jig is connected is connected in each process. Is photographed, and the photographed image data 122 is acquired.
  • the feature line detection unit 312 is an example of a detection unit, and detects an edge line from the captured image data 122. Specifically, the feature line detection unit 312 detects the edge line of the inspection target object to which the inspection jig is connected, which is included in the captured image data. Further, the feature line detection unit 312 notifies the superimposition unit 321 of the acquired captured image data 122 (including information about the detected edge line).
  • the superimposing unit 321 notifies the display unit 323 of the notified combined 3D CAD data 121 and the captured image data 122, thereby connecting the combined 3D CAD data 121 and the captured image data to the inspector 130 via the UI device 205. 122 is displayed.
  • the superimposing unit 321 is subjected to the designated unit 322 according to the display of the combined three-dimensional CAD data 121 and the captured image data 122 via the UI device 205.
  • the reference line is a reference edge line defined by the manufacturer for the inspection target in each process.
  • the superimposing unit 321 estimates the position and orientation of the image pickup apparatus 206 based on the designation of the reference line, the designation of the corresponding line segment, the designation of the edge line other than the reference line, and the designation of the corresponding line segment. .. Further, the superimposition unit 321 expands, moves, or rotates the combined three-dimensional CAD data based on the estimated position and orientation of the image pickup device 206, and superimposes the coupled 3D CAD data on the captured image data 122 to generate the superimposition data 123. Further, the superimposition unit 321 notifies the display unit 323 of the generated superimposition data 123.
  • the designation unit 322 accepts the designation of the reference line, the designation of the corresponding line segment, the designation of the edge line other than the reference line, and the designation of the corresponding line segment by the inspector 130. Notify the superimposing unit 321.
  • the display unit 323 generates and displays an inspection screen for displaying the combined three-dimensional CAD data 121, the captured image data 122, and the superimposed data 123 notified by the superimposing unit 321.
  • the inspection screen generated by the display unit 323 has operation buttons for specifying a reference line, a corresponding line segment, an edge line other than the reference line, and a corresponding line segment. It shall be included.
  • FIG. 4 is a first diagram showing a coupling example and an edge line detection example when an inspection jig is coupled to an inspection object.
  • the inspection target 410 has a position 412 (a line corresponding to the shape of the inspection jig 420) to which the reference line 411 and the inspection jig 420 are connected by the manufacturer.
  • the four sides of the rectangle are specified.
  • the inspection jig 420 has a rectangular parallelepiped shape, and when it is coupled to the inspection object 410, it has a predetermined positional relationship with respect to the reference line 411 of the inspection object 410.
  • ⁇ Edge lines that are independent of each other and have sufficient length, An edge line that is substantially orthogonal to the plane to which the reference line 411 belongs (that is, an edge line that is three-dimensionally distributed with respect to the reference line 411). I will provide a.
  • the shape of the inspection jig 420 is not limited to the rectangular parallelepiped, and may be a shape other than the rectangular parallelepiped as long as it can provide the edge line as described above.
  • the photographed image data acquisition unit In 311 the photographed image data 122 is acquired.
  • the feature line detection unit 312 detects the edge lines 441 to 445 of the inspection object 430 included in the captured image data 122.
  • FIG. 5 is a first diagram showing a specific example of the combined three-dimensional CAD data and an example of identifying a line segment.
  • the three-dimensional CAD data 510 is the three-dimensional CAD data of the inspection object 410, and is stored in advance in the three-dimensional CAD data storage unit 330.
  • the three-dimensional CAD data 510 includes a line segment 511 corresponding to the reference line 411 defined in the inspection object 410.
  • the 3D CAD data 510 includes a position 512 (a line corresponding to the shape of the inspection jig 420. A rectangular shape in the example of FIG. 5) to which the 3D CAD data 520 of the inspection jig 420 is combined. 4 sides) are specified.
  • the three-dimensional CAD data 520 is the three-dimensional CAD data for the inspection jig 420, and is stored in advance in the three-dimensional CAD data storage unit 330.
  • the combined 3D CAD data generation unit 301 combines the 3D CAD data 520 for the inspection jig 420 with the 3D CAD data 510 for the inspection object 410 at the position 512. ..
  • the coupling 3D CAD data generation unit 301 generates the coupling 3D CAD data 121 in a state where the inspection jig 420 is coupled to the inspection target 410.
  • the generated combined 3D CAD data 121 is stored in the 3D CAD data storage unit 330.
  • the line segment identification unit 303 identifies each line segment forming the combined three-dimensional CAD data 121.
  • the table 540 is a table showing the start point position and the end point position in the three-dimensional space of each identified line segment.
  • 20 line segments are identified based on the combined three-dimensional CAD data 121.
  • FIG. 6A the upper part of FIG. 6A is on the inspection screen 600.
  • the combined three-dimensional CAD data 121 is displayed so as to have a posture similar to the posture of the inspection object 430 included in the captured image data 122.
  • the hidden line of the combined 3D CAD data 121 is erased.
  • the reference line designation button 602 is pressed, and the reference line of the inspection object 430 included in the captured image data 122 and the corresponding line segment in the combined three-dimensional CAD data 121. Shows how is specified.
  • the edge line designation button 603 is pressed on the inspection screen 600, and the plurality of edge lines of the inspection object 430 included in the captured image data 122 correspond to the combined three-dimensional CAD data 121. It shows how multiple line segments are specified.
  • the inspector 130 designates at least three edge lines from the edge lines other than the reference line, and also designates at least three corresponding line segments. And.
  • the superimposition button 604 is pressed, and the superimposition data 123 on which the combined three-dimensional CAD data 121 is superimposed on the inspection object 430 included in the captured image data 122 is displayed. Is shown.
  • FIG. 6B shows that in the case of the inspection object 430, the dimension in the x-axis direction with respect to the reference line is shorter by the dimension shown in reference numeral 611 as compared with the combined three-dimensional CAD data 121.
  • the length of reference numeral 611 is presented as, for example, an error calculated in mm.
  • the return button 605 on the inspection screens 600 of FIGS. 6A and 6B is a button for returning to the state before the operation performed immediately before the return button 605 is pressed on the respective inspection screens 600. Is.
  • FIG. 7 is a first flowchart showing the flow of the inspection process.
  • the inspection program is started in the information processing apparatus 110
  • the inspection process shown in FIG. 7 is started.
  • step S701 the combined 3D CAD data generation unit 301 generates the combined 3D CAD data in a state where the inspection jig is connected to the inspection target object, and stores the combined 3D CAD data in the 3D CAD data storage unit 330.
  • step S702 the photographed image data acquisition unit 311 photographs the inspection object to which the inspection jig is connected and acquires the photographed image data.
  • the display unit 323 displays the acquired captured image data on the inspection screen.
  • step S703 the feature line detection unit 312 detects the feature line (edge line) from the acquired captured image data.
  • the combined 3D CAD data acquisition unit 302 is the combined 3D CAD data designated by the inspector 130, and the combined 3D CAD data corresponding to the inspection object included in the captured image data is 3D.
  • the display unit 323 displays the read combined three-dimensional CAD data on the inspection screen.
  • the line segment identification unit 303 identifies each line segment forming the read combined three-dimensional CAD data.
  • step S705 when the inspector 130 selects a feature line and a corresponding line segment, the designated unit 322 accepts this. Specifically, the designation unit 322 first accepts the designation of the reference line in the captured image data. Subsequently, the designation unit 322 accepts the designation of the line segment corresponding to the reference line in the combined three-dimensional CAD data. Subsequently, the designation unit 322 accepts designation of an edge line other than the reference line in the captured image data. Subsequently, the designation unit 322 accepts the designation of the line segment corresponding to the edge line other than the reference line in the combined three-dimensional CAD data.
  • step S706 the superimposing unit 321 estimates the position and posture of the image pickup apparatus 206 when the inspection object to which the inspection jig is connected is photographed (see References 1 and 2).
  • References 1 and 2 [Reference 1] C. Xu et al., "Pose Optimization from Line Correspondences: A Complete Analysis and a Series of Solutions,” IEEE Transactions on Pattern Analysis and Machine Intelligence “, Vol.39, No.6, pp.1209 -1222, June 2017.
  • Reference 2 Z. Zhang, "A Flexible New Technique for Camera Calibration," IEEE Transactions on Pattern Analysis and Machine Intelligence “, Vol.22, No.11, pp.1330-1334, Nov. 2000.
  • step S707 the superimposing unit 321 scales, moves, or rotates the coupled 3D CAD data based on the estimated position and orientation of the image pickup device 206.
  • the superimposing unit 321 superimposes the coupled 3D CAD data after scaling, movement, or rotation on the inspection object to which the inspection jig is coupled, which is included in the captured image data, and generates superimposing data.
  • the display unit 323 displays the generated superimposed data on the inspection screen.
  • step S708 the superimposition unit 321 visualizes the amount of deviation between the inspection target and the combined 3D CAD data in the superimposition data, presents the calculated error, and then ends the inspection process.
  • the information processing apparatus is inspected by connecting a jig capable of providing an edge line having a predetermined positional relationship with respect to a reference line of an inspection object. Acquires captured image data including an object. Further, the information processing apparatus according to the first embodiment acquires the coupled three-dimensional CAD data in a state where the jig is coupled to the inspection object. Further, the information processing apparatus according to the first embodiment detects a plurality of edge lines from the acquired captured image data. Further, the information processing apparatus according to the first embodiment uses a plurality of edge lines detected from the captured image data and a line segment of the corresponding coupled three-dimensional CAD data, and is included in the captured image data. The combined 3D CAD data is superimposed and displayed on the inspection object to which is combined.
  • the captured image data is used as an edge line.
  • ⁇ Independent of each other, having sufficient length, ⁇ Includes a predetermined reference line for the inspection object, ⁇ Three-dimensionally distributed, Multiple suitable edge lines can be detected.
  • the inspection object can be inspected by superimposing the three-dimensional CAD data on the inspection object included in the photographed image data regardless of the photographing environment of the inspection object. It will be possible.
  • the inspection jig is a rectangular parallelepiped.
  • the jig for inspection is not limited to a rectangular parallelepiped, and may have a shape suitable for the shape of the object to be inspected.
  • jigs having various shapes suitable for the shape of the object to be inspected will be described.
  • FIG. 8 is a diagram showing an example of an inspection jig suitable for a two-hole inspection object.
  • the inspection jig 800 is Cylindrical portions 801 and 802 that fit into each of the two machined holes, When the cylindrical portions 801 and 802 are fitted into the two machined holes, the base material portion 803 having a plane substantially orthogonal to the two machined holes, A cross portion 804 capable of providing an edge line substantially parallel to the plane of the base material portion 803 and an edge line substantially orthogonal to the plane. Have.
  • the cylindrical portion 802 is fixedly attached to the base material portion 803.
  • the cylindrical portion 801 is movably attached to the base material portion 803 in the direction of the arrow 811. Thereby, the distance between the cylindrical portion 801 and the cylindrical portion 802 can be changed according to the distance between the two machined holes provided in the inspection object.
  • the cross portion 804 is a rectangular parallelepiped parallel to the x-axis of the x-axis, y-axis, and z-axis defined as shown in FIG. 8 on the plane of the base material portion 803, and is parallel to the y-axis. It is formed by combining two rectangular parallelepipeds and one rectangular parallelepiped parallel to the z-axis direction. This makes it possible to provide a plurality of edge lines parallel to or orthogonal to each of the x-axis, y-axis, and z-axis (as a result, edges that are three-dimensionally distributed regardless of the direction in which the images are taken. Multiple lines can be provided).
  • the positions of the machined holes provided in the inspection object generally have high machining accuracy
  • the inspection jig 800 in which the cylindrical portions 801 and 802 are fitted to the two machined holes, respectively, the cross portion with respect to the reference line.
  • the 804 can be positioned with high accuracy.
  • the plurality of rectangular parallelepipeds forming the cross portion 804 have a sufficient length so as not to interfere with the inspection target when the inspection jig 800 is connected to the inspection target. It shall be.
  • the colors are not arranged on each surface of the plurality of rectangular parallelepipeds forming the cross portion 804, but the plurality of rectangular parallelepipeds have different colors (for example, the difference in luminance from each other) on the adjacent surfaces. Larger color) may be arranged. Further, when coloring, for example, painting may be performed with a paint having a low reflectance.
  • FIG. 9 is a diagram showing an example of an inspection jig suitable for an object to be inspected in one hole.
  • the inspection jig 900 is Cylindrical portion 901 that fits into one machined hole, When the cylindrical portion 901 is fitted into one machined hole, the base material part 902 having a plane substantially orthogonal to one machined hole, Cylindrical portion 903, which is substantially orthogonal to the plane of the base material portion 902, Have.
  • the cylindrical portion 901 is fixedly attached to the base material portion 902. Further, the base material portion 902 serves to prevent the inspection jig 900 from wobbling with respect to the inspection object when the cylindrical portion 901 is fitted into one machined hole.
  • the cylindrical portion 903 has the same axis as the cylindrical portion 901, and when the cylindrical portion 901 is fitted into one machined hole provided in the inspection object, two boundary lines (an example of a feature line). I will provide a. Since the cylindrical portion 903 has a cylindrical shape, two boundary lines (an example of a feature line) are always detected at the same interval regardless of the photographing direction around the axis of the machined hole. Become. Therefore, by calculating the center lines of the two boundary lines, the center lines can be used as the feature lines.
  • the machined holes provided in the inspection object generally have high machining accuracy
  • the inspection jig 900 having a cylindrical portion 901 having the same axis as the cylindrical portion 901 fitted to one machined hole
  • the reference line is used.
  • the cylindrical portion 903 can be positioned with high accuracy.
  • FIG. 10 is a diagram showing an example of a jig suitable for a non-hole inspection object.
  • the inspection jig 1000 is The base material portion 1001 that surface-bonds to the inspection object, A cross portion 1002 capable of providing an edge line substantially parallel to and an edge line substantially orthogonal to the plane of the inspection object to which the base material portion 1001 is surface-bonded. Have.
  • the base material portion 1001 has a magnet attached to the back surface so as to surface-bond to the plane of the inspection object.
  • the cross portion 1002 is a rectangular parallelepiped parallel to the x-axis of the x-axis, y-axis, and z-axis defined as shown in FIG. 10 on the plane of the base material portion 1001, and is parallel to the y-axis. It is formed by combining two rectangular parallelepipeds and one rectangular parallelepiped parallel to the z-axis direction. This makes it possible to provide a plurality of edge lines parallel to or orthogonal to each of the x-axis, y-axis, and z-axis.
  • the plurality of rectangular parallelepipeds forming the cross portion 1002 have a sufficient length so as not to interfere with the inspection target when the inspection jig 1000 is surface-bonded to the inspection target. It is assumed that there is.
  • the color is not arranged on each surface of the plurality of rectangular parallelepipeds forming the cross portion 1002, but the plurality of rectangular parallelepipeds may have different colors on the adjacent surfaces. Further, when coloring, for example, painting may be performed with a paint having a low reflectance.
  • the inspection jig 1000 it is difficult to position the cross portion 1002 with high accuracy with respect to the reference line of the inspection object. Therefore, in the case of the inspection jig 1000, for example, it is used to inspect the amount of deviation of the angle of the inspection object with respect to the coupled three-dimensional CAD data (for example, the amount of deviation in the normal direction of the plane of the inspection object). Be done.
  • FIG. 11 is a second flowchart showing the flow of the inspection process.
  • the inspection program is started in the information processing apparatus 110
  • the inspection process shown in FIG. 11 is started.
  • step S1101 the combined 3D CAD data generation unit 301 generates the combined 3D CAD data in a state where the inspection jig is connected to the inspection target object, and stores the combined 3D CAD data in the 3D CAD data storage unit 330.
  • step S1102 the photographed image data acquisition unit 311 photographs the inspection object to which the inspection jig is connected and acquires the photographed image data.
  • the display unit 323 displays the acquired captured image data on the inspection screen.
  • the feature line detection unit 312 detects a feature line (edge line or boundary line) from the acquired captured image data.
  • step S1104 the coupled 3D CAD data acquisition unit 302 accepts the type of the jig coupled to the inspection target when the inspector 130 selects the type, and determines which type is selected. ..
  • the inspector 130 selects the type of jig according to the number of machined holes in the inspection object.
  • step S1104 If it is determined in step S1104 that the jig to be coupled to the inspection target in one hole has been selected, the process proceeds to step S1111.
  • step S1111 the combined 3D CAD data acquisition unit 302 is connected to the combined 3D CAD data corresponding to the combined inspection object to which the selected jig (inspection jig suitable for the inspection object of 1 hole) is connected. Is read from the three-dimensional CAD data storage unit 330. In addition, the display unit 323 displays the read combined three-dimensional CAD data on the inspection screen. Further, the line segment identification unit 303 identifies the line segment forming the read combined three-dimensional CAD data.
  • step S1104 determines whether the jig to be coupled to the inspection object having two holes is selected. If it is determined in step S1104 that the jig to be coupled to the inspection object having two holes is selected, the process proceeds to step S1121.
  • step S1121 the combined 3D CAD data acquisition unit 302 is connected to the combined 3D CAD data corresponding to the combined inspection object to which the selected jig (inspection jig suitable for the 2-hole inspection object) is connected. Is read from the three-dimensional CAD data storage unit 330.
  • the display unit 323 displays the read combined three-dimensional CAD data on the inspection screen.
  • the line segment identification unit 303 identifies the line segment forming the read combined three-dimensional CAD data.
  • step S1122 when the inspector 130 selects a feature line and a corresponding line segment, the designated unit 322 accepts this. Specifically, the designation unit 322 first accepts the designation of the reference line in the captured image data. Subsequently, the designation unit 322 accepts the designation of the line segment corresponding to the reference line in the combined three-dimensional CAD data. Subsequently, the designation unit 322 accepts designation of an edge line or a boundary line other than the reference line in the captured image data. Further, the designation unit 322 accepts the designation of the line segment corresponding to the edge line or the boundary line other than the reference line in the combined three-dimensional CAD data.
  • step S1123 the superimposing unit 321 estimates the position and posture of the image pickup apparatus 206 when the inspection object to which the inspection jig is connected is photographed.
  • the superimposing unit 321 scales, moves, or rotates the coupled three-dimensional CAD data based on the estimated position and orientation of the image pickup device 206.
  • the superimposing unit 321 includes the combined 3D CAD data after expansion / contraction, movement, or rotation in the captured image data, and is an inspection jig suitable for the inspection object (one-hole or two-hole inspection object). Is superimposed on the combined inspection object) to generate superimposed data. Further, the display unit 323 displays the generated superimposed data on the inspection screen.
  • step S1125 the superimposing unit 321 visualizes the amount of deviation between the combined three-dimensional CAD data and the inspection object in the superimposing data, and presents the calculated error.
  • step S1104 determines whether the inspection jig to be coupled to the non-hole inspection object is selected. If it is determined in step S1104 that the inspection jig to be coupled to the non-hole inspection object is selected, the process proceeds to step S1131.
  • step S1131 the combined 3D CAD data acquisition unit 302 uses the combined 3D CAD data corresponding to the combined inspection object to which the selected jig (inspection jig suitable for the non-hole inspection object) is connected. Is read from the three-dimensional CAD data storage unit 330. In addition, the display unit 323 displays the read combined three-dimensional CAD data on the inspection screen. Further, the line segment identification unit 303 identifies the line segment forming the read combined three-dimensional CAD data.
  • step S1132 when the inspector 130 selects a feature line and a corresponding line segment, the designated unit 322 accepts this. Specifically, the designation unit 322 first accepts the designation of the reference line in the captured image data. Further, the designation unit 322 accepts the designation of the line segment corresponding to the reference line in the combined three-dimensional CAD data. Further, the designation unit 322 accepts designation of an edge line other than the reference line in the captured image data. Further, the designation unit 322 accepts the designation of the line segment corresponding to the edge line other than the reference line in the combined three-dimensional CAD data.
  • step S1133 the superimposing unit 321 estimates the position and posture of the image pickup apparatus 206 when the inspection object to which the inspection jig is connected is photographed.
  • step S1134 the superimposing unit 321 scales, moves, or rotates the coupled three-dimensional CAD data based on the estimated position and orientation of the image pickup device 206.
  • the superimposing portion 321 is coupled with the coupling 3D CAD data after expansion / contraction, movement, or rotation, and the inspection jig suitable for the inspection target (non-hole inspection target) included in the captured image data. It is superimposed on the inspection target) to generate superimposed data.
  • the display unit 323 displays the generated superimposed data on the inspection screen.
  • step S1135 the superimposing portion 321 has an angle in the z-axis direction (a plane in which an inspection jig suitable for a non-hole inspection object is in surface contact with respect to an edge line other than the reference line designated in step S1132). Normal direction) is calculated.
  • step S1136 the superimposing unit 321 visualizes the amount of deviation between the coupled 3D CAD data and the inspection object (the amount of deviation of the angle of the edge line in the z-axis direction) in the superimposed data, and calculates the error of the angle. Present.
  • a plurality of jigs having a shape suitable for the shape of the inspection target are prepared and used properly according to the shape of the inspection target.
  • a plurality of appropriate feature lines can be detected regardless of the shape of the inspection object.
  • the inspection object by superimposing the three-dimensional CAD data on the inspection object included in the photographed image data regardless of the shape of the inspection object. become.
  • the inspector 130 presses the reference line designation button 602, the edge line designation button 603, and the like, and then designates an edge line other than the reference line and the reference line, and a corresponding line segment.
  • the method of designating the reference line by the inspector 130 is not limited to this. For example, first, specify a plurality of edge lines and corresponding line segments, and then select a pair of a reference line and a corresponding line segment from the pair of the specified plurality of edge lines and the corresponding line segment. You may specify it.
  • the line segment corresponding to the edge line other than the reference line is described as being designated by the inspector 130.
  • the inspector 130 designates an edge line other than the reference line of the inspection object included in the captured image data 122, and designates a line segment corresponding to the edge line other than the reference line of the combined three-dimensional CAD data 121.
  • the unit 322 may automatically perform the correspondence.
  • the edge lines other than the reference line and the corresponding line segments may be, for example, automatically selected by the superimposing unit 321 from the combined three-dimensional CAD data 121 and the captured image data 122, and associated with each other. ..
  • the inspector 130 designates the reference line of the inspection object included in the captured image data 122 and the line segment corresponding to the reference line of the combined three-dimensional CAD data 121. By doing so, it was explained that the two are associated with each other. However, the inspector 130 does not have to specify the reference line of the inspection object included in the captured image data 122, and does not specify the line segment corresponding to the reference line of the combined three-dimensional CAD data 121. That is, even if the line segment corresponding to the reference line of the combined 3D CAD data 121 is automatically associated (paired) by the designated unit 322 based on the reference line of the designated inspection object. good. In this case, the designated unit 322 functions as a pairing unit.
  • the combined three-dimensional CAD data 121 is scaled, moved or rotated so that the reference lines match when the superimposed display is performed, and the combined three-dimensional CAD data 121 is superimposed on the combined three-dimensional CAD data 121.
  • the reference lines do not have to be exactly the same when the superimposed display is performed.
  • the combined three-dimensional CAD data 121 may be scaled, moved, or rotated so as to have the degree of coincidence of the reference lines equal to or higher than a predetermined degree of coincidence, and may be superimposed on the combined three-dimensional CAD data 121.
  • the superimposed display is performed so that the reference lines match, but the superimposed display may be performed so that the reference points match.
  • the combined three-dimensional CAD data is generated before the captured image data is acquired, but the combined three-dimensional CAD data is obtained after the captured image data is acquired. May be generated.
  • the inspector 130 superimposes and displays the combined three-dimensional CAD data on the inspection object to which the inspection jig included in the captured image data is combined, and the inspector 130 has a reference line or a reference line other than the reference line. It has been described as specifying an edge line and a corresponding line segment.
  • the operation load of the inspector 130 at the time of superimposing display is reduced by reducing the items designated by the inspector 130.
  • the fourth embodiment will be described focusing on the differences from each of the above embodiments.
  • FIG. 13 is a diagram showing an example of the shape of the jig for inspection and the color arrangement data of the jig.
  • the jig 1310 has the shape of a bipyramidal pyramid, and each surface (six surfaces) is colored in a different color (six colors) from each other.
  • the feature line detection unit can detect the jig 1310 from the photographed image data even when the jig 1310 is photographed from an arbitrary position.
  • ⁇ Edge lines that are independent of each other and have sufficient length ⁇ Edge lines that are three-dimensionally distributed with each other, Can be detected.
  • each surface of the bipyramidal pyramid in a different color from each other, in the color region extraction unit described later, even if the jig 1310 is photographed from an arbitrary position, two types are obtained from the photographed image data. It is possible to extract the above-mentioned surfaces having different colors.
  • the color area extraction unit described later when the shape of the jig is a rectangular parallelepiped as in the first embodiment, even if each surface is colored in different colors, when the image is taken from the front, the color area extraction unit described later will be used. , It is not possible to extract two or more types of surfaces with different colors from the captured image data. In this case, it is not possible to distinguish between the top and bottom and the left and right of the rectangular parallelepiped.
  • the color region extraction unit which will be described later, can extract two or more types of surfaces having different colors. You can distinguish between left and right.
  • the table 1320 is a table showing color arrangement data indicating the colors arranged on each surface of the jig 1310 and the colors arranged on the adjacent surfaces, and the information item includes "surface ID”. Includes “color” and “adjacent color”.
  • the "face ID” stores an identifier that identifies each face of the jig 1310. As described above, since the jig 1310 is formed by a bipyramid and has six faces, "1" to "6" are stored in the "face ID”.
  • the color arranged on each surface of the jig 1310 is stored.
  • the example of FIG. 13 shows that the colors arranged on each surface are “red” color, "green” color, “blue” color, “water” color, “yellow” color, and “black” color. There is.
  • the colors arranged on the surface adjacent to the surface identified by the corresponding "surface ID” are arranged and stored in a counterclockwise order.
  • the shape of each face is triangular, and each face is adjacent to three faces. Therefore, three kinds of colors are arranged and stored in the "adjacent color”.
  • the table 1330 is a table showing color arrangement data indicating colors arranged on the surfaces adjacent to each side of the jig 1310, and "side ID" and "adjacent color” are set as information items. include.
  • the colors arranged on the two faces adjacent to the side identified by the corresponding "side ID" are stored.
  • FIG. 14 is a second diagram showing an example of the functional configuration of the information processing apparatus.
  • the difference from the functional configuration described with reference to FIG. 3 is that, in the case of FIG. 14, it has a color region extraction unit 1411 and a corresponding pair determination unit 1421.
  • the functions of the line segment identification unit 1401, the feature line detection unit 1412, and the superimposition unit 1422 are different from the functions of the line segment identification unit 303, the feature line detection unit 312, and the superimposition unit 321, respectively. be.
  • FIG. 14 the case of FIG.
  • the 3D CAD data and the combined 3D CAD data stored in the 3D CAD data storage unit 1430 are stored in the 3D CAD data storage unit 330, and the 3D CAD data and the combined 3 are stored. This is different from the three-dimensional CAD data. The details of the differences will be described below.
  • the line segment identification unit 1401 identifies each line segment of the read-out combined 3D CAD data.
  • the line segment identification unit 1401 identifies the line segments of each side of the jig 1310 in the coupled three-dimensional CAD data. At this time, the line segment identification unit 1401 acquires the colors arranged on the two surfaces adjacent to each of the identified line segments. Further, the line segment identification unit 1401 notifies the corresponding pair determination unit 1421 of the identified line segment and the colors arranged on the two surfaces adjacent to the identified line segments.
  • the color area extraction unit 1411 extracts a color area from the captured image data 122. Specifically, the color region extraction unit 1411 extracts a region in which the color of each surface of the inspection jig 1310 is arranged, which is included in the photographed image data. Further, the color region extraction unit 1411 notifies the feature line detection unit 1412 of the extracted color region.
  • the feature line detection unit 1412 extracts the contour side of each color region notified by the color region extraction unit 1411, and identifies the boundary line of each color of the triangular pyramid and the adjacent color adjacent to the boundary line of each color.
  • the contour edge refers to the edge of the contour of the polygon formed by each color region in the captured image data 122.
  • the feature line detection unit 1412 extracts an edge line from the captured image data 122 and identifies the adjacent color adjacent to each edge line by associating the extracted edge line with the boundary line of each color. Further, the feature line detection unit 1412 notifies the corresponding pair determination unit 1421 of each edge line and the adjacent color adjacent to each edge line.
  • Corresponding pair determination unit 1421 -Each line segment notified by the line segment identification unit 1401 and the colors arranged on the two surfaces adjacent to each line segment, -Each edge line notified by the feature line detection unit 1412, and the adjacent color adjacent to each edge line, Identify the corresponding pair of line segments and edge lines based on.
  • the superimposing unit 1422 estimates the position and orientation of the image pickup apparatus 206 based on the corresponding pair specified by the corresponding pair determination unit 1421.
  • the superimposition unit 321 expands, moves, or rotates the coupled three-dimensional CAD data 121, and automatically superimposes the coupled 3D CAD data 122 on the captured image data 122 to generate the superimposition data 123. do.
  • the combined three-dimensional CAD data is superimposed and displayed on the inspection object to which the inspection jig included in the captured image data 122 is combined.
  • the inspector 130 ⁇ A reference line, an edge line other than the reference line, and ⁇ Corresponding line segment, etc. There is no need to specify.
  • it is possible to reduce the operation load of the inspector 130 at the time of superimposing and displaying.
  • the reference line since the reference line is not specified, the reference line and the corresponding line segment are superimposed and displayed so as to coincide with each other, but instead correspond to the edge line of the jig 1310. It is superimposed and displayed so that it matches the line segment to be processed. Therefore, according to the fourth embodiment, the inspector 130 compares the edge line other than the edge line of the jig 1310 (that is, the edge line of the inspection object 1510) with the corresponding line segment. , Grasp the amount of deviation and the cause of the deviation. That is, in the fourth embodiment, the edge line of the jig 1310 serves as a reference line.
  • FIG. 15 is a diagram showing a coupling example and an edge line detection example when an inspection jig is coupled to an inspection object.
  • the position 1511 (a line corresponding to the shape of the inspection jig 1310) to which the inspection jig 1310 is connected to the inspection object 1510 by the manufacturer.
  • the three sides of the triangle are specified.
  • the shape of the inspection jig 1310 is a bipyramidal pyramid, and as described above, when it is coupled to the inspection object 1510, ⁇ Edge lines that are independent of each other and have sufficient length ⁇ Edge lines that are three-dimensionally distributed with each other, I will provide a.
  • the photographed image data acquisition unit 311 captures the photographed image. Acquire the data 122.
  • FIG. 15 shows how seven edge lines 1521-1527 (an example of feature lines) are detected in the captured image data 122.
  • FIG. 16 is a second diagram showing a specific example of the combined three-dimensional CAD data and an example of identifying a line segment.
  • the three-dimensional CAD data 1610 is the three-dimensional CAD data of the inspection target object 1510, and is stored in advance in the three-dimensional CAD data storage unit 1430.
  • the position 1611 (a line corresponding to the shape of the inspection jig 1310. A line corresponding to the shape of the inspection jig 1310. In the example of FIG. Side) is specified.
  • the three-dimensional CAD data 1620 is the three-dimensional CAD data for the inspection jig 1310, and is stored in advance in the three-dimensional CAD data storage unit 1430.
  • the combined 3D CAD data generation unit 301 the 3D CAD data 1610 for the inspection jig 1310 is combined with the 3D CAD data 1610 for the inspection object 1510 at the position 1611. ..
  • the coupled 3D CAD data generation unit 301 generates the coupled 3D CAD data 121 in a state where the inspection jig 1310 is coupled to the inspection target object 1510.
  • the generated combined 3D CAD data 121 is stored in the 3D CAD data storage unit 1430.
  • the line segment identification unit 1401 identifies each line segment forming the combined three-dimensional CAD data 121.
  • the information drawn from each line segment by the leader line represents the side ID that identifies each line segment identified by the line segment identification unit 1401 and the information indicating the adjacent color of each line segment.
  • the color region included in the photographed image data 122 (the color of each surface of the inspection jig 1310).
  • the area where is colored) is extracted.
  • the pixel values (R value, G value, B value) of each pixel of the captured image data 122 are converted into HSV values, and the converted pixel values and the table 1710 are converted. Contrast.
  • the color region extraction unit 1411 identifies the color of each pixel of the captured image data 122, and extracts a block of pixels of each color as each color region.
  • reference numeral 1730 indicates a color region extracted from the captured image data 122
  • reference numeral 1720 indicates a color of the extracted color region.
  • the feature line detection unit 1412 extracts contour edges from each color region (reference numeral 1720) notified by the color region extraction unit 1411.
  • Reference numeral 1740 indicates contour edges extracted from each color region (reference numeral 1720), and reference numeral 1750 indicates details of the extracted contour edges.
  • the feature line detection unit 1412 extracts the contour edge by, for example, the following procedure.
  • a binary image in which the blue area is white and the area other than the blue area is black are generated.
  • the boundary pixels of black and white are connected, and the contour side is extracted, for example, under the following non-patent document A.
  • Non-Patent Document B D. Douglas et al., Algorithms for the reduction of the number of points required for represent a digitized line or its caricature, Canadian Cartographer, 10 (1973): pp.112-122 Subsequently, the feature line detection unit 1412 identifies the boundary line of each color region and the adjacent color adjacent to the boundary line of each color.
  • the feature line detection unit 1412 first calculates the coordinates of the start point and the coordinates of the end point in the captured image data 122 of each contour side included in the reference numeral 1750. Subsequently, the feature line detection unit 1412 determines the contour sides that match each other in each contour side included in the reference numeral 1750. Specifically, in the feature line detection unit 1412, -The angle between one contour side and the other contour side is within a predetermined angle. -The shorter of the distance between the start point of one contour side and the start point of the other contour side, or the end point of one contour side and the end point of the other contour side is the predetermined distance. Be within If both of the conditions are satisfied, it is determined that the two contour sides match.
  • the contour side is registered as the boundary line of the corresponding adjacent color, and the coordinates of the start point of the boundary line in the captured image data 122 are registered. And register the coordinates of the end point.
  • Reference numeral 1810 in FIG. 18 is determined to match the red_line 1 and the water_line 2 among the nine contour sides included in the reference numeral 1750, and is the "boundary line 1" of the adjacent colors (red, water). It shows how it was registered as. Further, it is determined that the water_line 3 and the blue_line 2 match, and it is shown that they are registered as the "boundary line 2" of the adjacent colors (water, blue).
  • reference numeral 1820 in FIG. 18 indicates edge lines 1521-1527 detected by the feature line detection unit 1412 from the captured image data 122. Further, reference numeral 1830 in FIG. 18 indicates the coordinates of the start points and end points of the seven detected edge lines 1521-1527 in the captured image data 122.
  • the feature line detection unit 1412 selects and matches the nearest edge line with respect to each boundary line indicated by reference numeral 1810 from the table indicated by reference numeral 1830.
  • the matching method by the feature line detection unit 1412 is arbitrary.
  • the slope of the boundary line, the section, and the slope of the edge line and the section are parameterized, and the edge line closest to the slope and the section is selected.
  • Reference numeral 1840 in FIG. 18 shows that "edge line 1" is selected as the edge line closest to "boundary line 1" and "edge line 2" is selected as the edge line closest to "boundary line 2". Is shown. As a result, the adjacent colors of "edge line 1" and "edge line 2" are specified. Therefore, in the corresponding pair determination unit 1421, the side ID of the jig 1310 (that is, that is, by referring to the table 1330 (FIG. 13)) is specified. , Line segment of combined 3D CAD data) (see reference numeral 1840).
  • the feature line detection unit 1412 and the corresponding pair determination unit 1421 also specify the side ID by matching the edge lines and specifying the adjacent colors for the other contour sides.
  • the feature line detection unit 1412 extracts contour sides whose adjacent colors are not specified from the contour sides indicated by reference numeral 1740, and edge lines corresponding to the respective contour sides (edge lines of reference numeral 1830). Of these, search for edge lines other than the matched edge lines).
  • the "edge line 1" and “edge line 2" have already been matched with the contour edge and the edge ID has been specified. Therefore, it is sufficient to specify the side ID by matching the contour side with the contour side for the other two edge lines, but here, the case where the side ID is specified by matching with the contour side for all five edge lines will be described. ..
  • the side ID is specified by matching with the contour side for all five edge lines.
  • Reference numeral 1850 in FIG. 18 is an edge matching the extracted contour sides "red_line 2", “red_line 3", “water_line 1", “blue_line 3", and “blue_line 1".
  • the line shows how the line is searched from “edge line 3" to "edge line 7".
  • the corresponding pair determination unit 1421 specifies the edge ID corresponding to "edge line 3" to "edge line 7".
  • the "boundary line 3" to "boundary line 7" (“red_line 2" to “blue_line 1") matched with "edge line 3" to "edge line 7" are all adjacent to each other. Of the two faces, one is visible and the other is invisible.
  • the color of the invisible surface is specified with reference to the table 1320 (FIG. 13).
  • “boundary line 3" and “boundary line 4" are contour edges of a red surface.
  • the colors of the surface adjacent to the red surface are yellow, black, and light blue in a counterclockwise direction.
  • the invisible surface becomes a yellow surface and a black surface, and by proceeding counterclockwise, the invisible surface adjacent to the "boundary line 3" can be identified as black. Further, the invisible surface adjacent to the "boundary line 4" can be specified as yellow.
  • the adjacent colors of "boundary line 3 (red_line 2)" can be specified as red and black, and the adjacent colors of "boundary line 4 (red_line 3)" can be specified as yellow and red. be able to.
  • the corresponding pair determination unit 1421 specifies the side ID of the "edge line 3" as "6” and the side ID of the "edge line 4" as "2" by referring to the table 1330. Can be done (see reference numeral 1910).
  • boundary line 5 (water_line 1) is the contour side of the light blue surface, and according to Table 1320, the colors of the surface adjacent to the light blue surface are red, black, counterclockwise. It is blue.
  • the invisible surface becomes a black surface, and the invisible surface adjacent to the "boundary line 5 (water_line 1)" can be specified as black.
  • the adjacent color of "boundary line 5 (water_line 1)" can be specified as light blue or black.
  • the corresponding pair determination unit 1421 can specify the side ID of the "edge line 5" as "7” by referring to the table 1330 (see reference numeral 1910).
  • boundary line 6 (blue_line 3)
  • boundary line 7 (blue_line 1)
  • the colors of are light blue, green, and yellow, counterclockwise.
  • the invisible surface becomes a green surface and a yellow surface, and the invisible surface adjacent to the "boundary line 7" can be identified as green by proceeding counterclockwise. Further, the invisible surface adjacent to the "boundary line 6" can be specified as yellow.
  • the adjacent colors of "boundary line 6 (blue_line 3)" can be specified as blue and yellow
  • the adjacent colors of "boundary line 7 (blue_line 1)" can be specified as blue and green. be able to.
  • the side ID of the "edge line 6" is specified as "1”
  • the side ID of the "edge line 7" is specified as "5" by referring to the table 1330. (See reference numeral 1910).
  • FIG. 20 is a third diagram showing an example of an inspection screen.
  • the upper part is on the inspection screen 600.
  • the superimposed data 123 in which the coupled three-dimensional CAD data 121 is superimposed on the inspection object 1520 included in the captured image data 122 by pressing the superimposed button 604 on the inspection screen 600. Is displayed.
  • the inspector 130 in displaying the superimposed data 123, the inspector 130 needs to specify a reference line, an edge line other than the reference line, a corresponding line segment, and the like.
  • FIG. 21 is a second flowchart showing the flow of the inspection process.
  • the inspection program is started in the information processing apparatus 110, the inspection process shown in FIG. 21 is started.
  • step S2101 the color area extraction unit 1411 extracts a color area from the acquired photographed image data and extracts the contour edge of each color area.
  • step S2102 the feature line detection unit 1412 detects the feature line (edge line) from the acquired captured image data.
  • the feature line detection unit 1412 searches for the feature line (edge line) corresponding to the extracted contour edge from the detected feature lines (edge lines). Further, the corresponding pair determination unit 1421 specifies the color of the surface adjacent to the contour side where the feature line (edge line) is searched.
  • step S2104 the corresponding pair determination unit 1421 specifies each line segment of the combined three-dimensional CAD data corresponding to each feature line (edge line) based on the adjacent color.
  • the color information of each of the two surfaces adjacent to the line segment is associated with the information for identifying the line segment of the three-dimensional CAD data of the jig. Further, in the fourth embodiment, the colors of the two surfaces adjacent to the edge lines detected from the captured image data are specified, and the line segment associated with the color information matching the specified adjacent colors and the edge. The combined 3D CAD data is superimposed and displayed based on the line segment.
  • the same effect as that of the first embodiment can be enjoyed, and the operation load of the inspector 130 at the time of superimposing the display can be reduced.
  • each surface of the jig 1310 has been described.
  • the color of the face may be the same as the color of the other five faces. .. That is, each surface of the jig 1310 may be colored in 6 or less colors.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Architecture (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

撮影画像に含まれる検査対象物に３次元画像を重畳表示させて検査対象物を検査する検査プログラム、情報処理装置及び検査方法を提供する。検査プログラムは、検査対象物に対して所定の位置関係を有する特徴線を提供可能な治具が結合された、該検査対象物が含まれる撮影画像を取得し、前記検査対象物に前記治具が結合された状態の３次元画像を取得し、前記撮影画像から、複数の特徴線を検出し、前記撮影画像から検出した複数の特徴線と、該複数の特徴線に対応する前記３次元画像の線分とを用いて、前記撮影画像に含まれる、前記治具が結合された検査対象物に、前記３次元画像を重畳表示する、処理をコンピュータに実行させる。

Description

検査プログラム、情報処理装置及び検査方法
　本発明は、検査プログラム、情報処理装置及び検査方法に関する。
　製造現場で製造された各種部材や各種部材を組み立てた構造物等を検査する検査技術として、例えば、検査対象物を撮影し、ＡＲ技術（拡張現実技術）により、検査対象物の３次元ＣＡＤデータ（３次元画像）を重畳表示させる技術が知られている。当該検査技術によれば、検査対象物と、３次元ＣＡＤデータとのずれ量等を測定することで、寸法や角度等の誤差を検査することができる。
特開２０１７－０９１０７８号公報 特開２０２０－００３９９５号公報
　ここで、ＡＲ技術により３次元ＣＡＤデータを重畳表示させるには、検査対象物が含まれる撮影画像から、適切な特徴線（例えば、３次元的に分布し、十分な長さを有する特徴線）を検出することが求められる。
　しかしながら、検査対象物の形状や撮影環境によっては、適切な特徴線を検出することができず、３次元ＣＡＤデータを重畳表示させることができないといった事態も生じ得る。
　一つの側面では、撮影画像に含まれる検査対象物に３次元画像を重畳表示させて検査対象物を検査する検査プログラム、情報処理装置及び検査方法を提供する。
　一態様によれば、検査プログラムは、
　検査対象物に対して所定の位置関係を有する特徴線を提供可能な治具が結合された、該検査対象物が含まれる撮影画像を取得し、
　前記検査対象物に前記治具が結合された状態の３次元画像を取得し、
　前記撮影画像から、複数の特徴線を検出し、
　前記撮影画像から検出した複数の特徴線と、該複数の特徴線に対応する前記３次元画像の線分とを用いて、前記撮影画像に含まれる、前記治具が結合された検査対象物に、前記３次元画像を重畳表示する、処理をコンピュータに実行させる。
　撮影画像に含まれる検査対象物に３次元画像を重畳表示させて検査対象物を検査する検査プログラム、情報処理装置及び検査方法を提供することができる。
図１は、情報処理装置の適用例を示す図である。 図２は、情報処理装置のハードウェア構成の一例を示す図である。 図３は、情報処理装置の機能構成の一例を示す第１の図である。 図４は、検査対象物に検査用の治具が結合される場合の結合例及びエッジ線の検出例を示す第１の図である。 図５は、結合３次元ＣＡＤデータの具体例及び線分の識別例を示す第１の図である。 図６Ａは、検査画面の一例を示す第１の図である。 図６Ｂは、検査画面の一例を示す第２の図である。 図７は、検査処理の流れを示す第１のフローチャートである。 図８は、２穴の検査対象物に適した検査用の治具の一例を示す図である。 図９は、１穴の検査対象物に適した検査用の治具の一例を示す図である。 図１０は、無穴の検査対象物に適した検査用の治具の一例を示す図である。 図１１は、検査処理の流れを示す第２のフローチャートである。 図１２は、重畳表示とずれ情報との関係を説明するための模式図である。 図１３は、検査用の治具の形状と治具の配色データの一例を示す図である。 図１４は、情報処理装置の機能構成の一例を示す第２の図である。 図１５は、検査対象物に検査用の治具が結合される場合の結合例及びエッジ線の検出例を示す第２の図である。 図１６は、結合３次元ＣＡＤデータの具体例及び線分の識別例を示す第２の図である。 図１７は、対応ペア決定処理の具体例を示す第１の図である。 図１８は、対応ペア決定処理の具体例を示す第２の図である。 図１９は、対応ペア決定処理の具体例を示す第３の図である。 図２０は、検査画面の一例を示す第３の図である。 図２１は、検査処理の流れを示す第３のフローチャートである。
　はじめに、以下の各実施形態に係る情報処理装置にて行われる、検査対象物と３次元ＣＡＤデータとの重畳表示と、検査対象物と３次元ＣＡＤデータとのずれ量等を示すずれ情報との関係について図１２を用いて簡単に説明する。
　図１２は、重畳表示とずれ情報との関係を説明するための模式図である。なお、ここでいう重畳表示とは、検査対象物を撮影した撮影画像上に、該検査対象物の構造データ（例えば、３次元ＣＡＤデータ）である３次元画像を重畳して表示することを指す。
　図１２の１２ａに示すように、撮影画像に含まれる検査対象物１２１０に対して、該検査対象物の３次元ＣＡＤデータである３次元画像１２２０を重畳表示させる場合、一般に、任意の重畳方法が許容される。
　図１２の１２ｂは、このうち、
・検査対象物１２１０が含まれる撮影画像から検出される複数のエッジ線（特徴線の一例）と、
・該検査対象物についての３次元画像１２２０を形成する複数の線分（エッジ線に対応する線分）と、
を含む"複数のペア"の中から、４つのペアを指定して重畳表示させた場合を示している（重畳表示には原理上、４つのペアが必要であるため）。
　具体的には、図１２の１２ｂは、４つのペアとして、
・撮影画像に含まれる検査対象物１２１０のエッジ線１２１１と３次元画像１２２０を形成する線分１２２１、
・撮影画像に含まれる検査対象物１２１０のエッジ線１２１２と３次元画像１２２０を形成する線分１２２２、
・撮影画像に含まれる検査対象物１２１０のエッジ線１２１３と３次元画像１２２０を形成する線分１２２３、
・撮影画像に含まれる検査対象物１２１０のエッジ線１２１４と３次元画像１２２０を形成する線分１２２４、
を指定して、指定した４つのペアそれぞれのずれ量の総和が最小となるように、重畳表示した重畳方法を示している。
　図１２の１２ｂに示す重畳方法の場合、撮影画像に含まれる検査対象物１２１０と３次元画像１２２０との間の４つのペアのいずれのペアにおいてもずれが生じている。
　このため、検査者は、ずれ情報として、検査対象物１２１０と３次元画像１２２０との間に、ずれが発生していることを容易に把握することができる。しかしながら、検査者は、ずれ情報として、検査対象物１２１０のどの部分の不具合に起因してずれが生じているのかといった、ずれの原因箇所までは把握することができない。
　これに対して、以下の各実施形態に係る情報処理装置では、検査対象物１２１０に対して製造者により規定された基準線（エッジ線の１つ）または基準点（エッジ線上の点）を指定し、基準線（または基準点）が一致するように重畳表示させる。
　図１２の１２ｃは、撮影画像に含まれる検査対象物１２１０のエッジ線から、基準線１２１５、１２１６を、３次元画像１２２０を形成する線分から、基準線に対応する線分１２２５、１２２６を指定し、両者が一致するように重畳表示させた場合を示している。
　このように、基準線が一致するように重畳表示させた場合、検査者は、基準線以外の検査対象物１２１０のエッジ線と、基準線以外の３次元画像１２２０を形成する線分のうち、基準線以外のエッジ線に対応する線分とを対比する。これにより、検査者は、ずれ情報として、ずれの有無に加えて、ずれ量、ずれの原因箇所を把握することができる。
　以下、各実施形態について添付の図面を参照しながら説明する。ただし、以下の各実施形態に係る明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
　［第１の実施形態］
　＜情報処理装置の適用例＞
　はじめに、第１の実施形態に係る情報処理装置の適用例について説明する。図１は、情報処理装置の適用例を示す図である。図１において、工程１００は、製造メーカ等において製品を製造し、出荷するまでの一般的な工程を示したものである。
　図１に示すように、製造メーカ等では、まず、設計工程において製品の設計を行い、３次元ＣＡＤデータを生成する。このとき、製造メーカ等では、検査用の治具の設計を行い、治具の３次元ＣＡＤデータについても生成しているものとする。
　続いて、製造メーカ等では、製造工程において、製品を構成する各種部材を３次元ＣＡＤデータに基づいて製造し、部材組立工程において、製造した各種部材の組立を行い、構造物を生成する。続いて、製造メーカでは、溶接工程において、構造物同士の溶接を行い、仕上工程において、仕上げ処理を行うことで、製品を完成させる。その後、製造メーカ等では、出荷工程において、完成した製品の出荷を行う。
　ここで、第１の実施形態に係る情報処理装置（例えば、タブレット端末）１１０では、各工程において検査対象物（各種部材や構造物等）が撮影された撮影画像データであって、"検査用の治具が結合された検査対象物"が含まれる撮影画像データ１２２を取得する。また、第１の実施形態に係る情報処理装置１１０では、取得した撮影画像データ１２２に、対応する結合３次元ＣＡＤデータ１２１を重畳させた重畳データ１２３を、検査者１３０に表示する。
　ここでいう、結合３次元ＣＡＤデータとは、検査用の治具が検査対象物に結合された状態の３次元ＣＡＤデータ（３次元画像）であり、検査用の治具の３次元ＣＡＤデータと、検査対象物の３次元ＣＡＤデータとに基づいて生成される。
　これにより、検査者１３０は、各工程における検査対象物が、設計内容と一致しているか否かを検査することができる。
　＜情報処理装置のハードウェア構成＞
　次に、情報処理装置１１０のハードウェア構成について説明する。図２は、情報処理装置のハードウェア構成の一例を示す図である。図２に示すように、情報処理装置１１０は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３を有する。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３は、いわゆるコンピュータを形成する。
　また、情報処理装置１１０は、補助記憶装置２０４、ＵＩ装置２０５、撮像装置２０６、通信装置２０７、ドライブ装置２０８を有する。なお、情報処理装置１１０の各ハードウェアは、バス２０９を介して相互に接続される。
　ＣＰＵ２０１は、補助記憶装置２０４にインストールされている各種プログラム（例えば、後述する検査プログラム等）を実行するデバイスである。
　ＲＯＭ２０２は、不揮発性メモリである。ＲＯＭ２０２は、補助記憶装置２０４にインストールされている各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラム、データ等を格納する、主記憶デバイスとして機能する。具体的には、ＲＯＭ２０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する、主記憶デバイスとして機能する。
　ＲＡＭ２０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ２０３は、補助記憶装置２０４にインストールされている各種プログラムがＣＰＵ２０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
　補助記憶装置２０４は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。例えば、結合３次元ＣＡＤデータ１２１等を格納する３次元ＣＡＤデータ格納部（後述）は、補助記憶装置２０４において実現される。
　ＵＩ装置２０５は、検査者１３０に、結合３次元ＣＡＤデータ１２１、撮影画像データ１２２、重畳データ１２３を表示するための検査画面を提供する。また、ＵＩ装置２０５は、検査者１３０から、検査画面を介して各種指示を受け付ける。
　撮像装置２０６は、各工程において、検査用の治具が結合された検査対象物を撮影し、撮影画像データ１２２を生成する撮像デバイスである。通信装置２０７は、ネットワークと接続し、通信を行う通信デバイスである。
　ドライブ装置２０８は記録媒体２１０をセットするためのデバイスである。ここでいう記録媒体２１０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
　なお、補助記憶装置２０４にインストールされる各種プログラムは、例えば、配布された記録媒体２１０がドライブ装置２０８にセットされ、該記録媒体２１０に記録された各種プログラムがドライブ装置２０８により読み出されることでインストールされる。あるいは、補助記憶装置２０４にインストールされる各種プログラムは、通信装置２０７を介してネットワークよりダウンロードされることでインストールされてもよい。
　＜情報処理装置の機能構成＞
　次に、情報処理装置１１０の機能構成について説明する。図３は、情報処理装置の機能構成の一例を示す第１の図である。上述したとおり、情報処理装置１１０には、検査プログラムがインストールされており、当該プログラムが実行されることで、情報処理装置１１０は、検査部３００として機能する。
　検査部３００は、結合３次元ＣＡＤデータ生成部３０１と、結合３次元ＣＡＤデータ取得部３０２と、線分識別部３０３と、撮影画像データ取得部３１１と、特徴線検出部３１２と、重畳部３２１と、指定部３２２と、表示部３２３とを有する。
　結合３次元ＣＡＤデータ生成部３０１は、３次元ＣＡＤデータ格納部３３０に予め格納された、検査用の治具についての３次元ＣＡＤデータと、検査対象物についての３次元ＣＡＤデータとを読み出す。また、結合３次元ＣＡＤデータ生成部３０１は、読み出した３次元ＣＡＤデータに基づいて、検査用の治具を検査対象物に結合した状態の３次元ＣＡＤデータを生成し、結合３次元ＣＡＤデータとして、３次元ＣＡＤデータ格納部３３０に格納する。
　結合３次元ＣＡＤデータ取得部３０２は第２の取得部の一例であり、検査者１３０により指定された結合３次元ＣＡＤデータ１２１（検査用の治具が結合された検査対象物に対応する結合３次元ＣＡＤデータ）を、３次元ＣＡＤデータ格納部３３０より読み出す。
　線分識別部３０３は、読み出された結合３次元ＣＡＤデータ１２１の、各線分を識別する。更に、線分識別部３０３は、読み出された結合３次元ＣＡＤデータ（識別した各線分についての情報を含む）を、重畳部３２１に通知する。
　撮影画像データ取得部３１１は第１の取得部の一例であり、検査者１３０の指示に基づき、撮像装置２０６を制御することで、各工程において、検査用の治具が結合された検査対象物を撮影し、撮影画像データ１２２を取得する。
　特徴線検出部３１２は検出部の一例であり、撮影画像データ１２２からエッジ線を検出する。具体的には、特徴線検出部３１２は、撮影画像データに含まれる、検査用の治具が結合された検査対象物のエッジ線を検出する。また、特徴線検出部３１２は、取得された撮影画像データ１２２（検出したエッジ線についての情報を含む）を重畳部３２１に通知する。
　重畳部３２１は、通知された結合３次元ＣＡＤデータ１２１及び撮影画像データ１２２を、表示部３２３に通知することで、ＵＩ装置２０５を介して検査者１３０に結合３次元ＣＡＤデータ１２１及び撮影画像データ１２２を表示する。
　また、重畳部３２１は、ＵＩ装置２０５を介して結合３次元ＣＡＤデータ１２１及び撮影画像データ１２２が表示されたことに応じて、指定部３２２より、
・撮影画像データ１２２における基準線の指定、及び、当該基準線に対応する結合３次元ＣＡＤデータの線分の指定、
・撮影画像データ１２２における基準線以外のエッジ線の指定、及び、当該エッジ線に対応する結合３次元ＣＡＤデータの線分の指定、
について通知を受け付ける。なお、基準線とは、各工程において製造者が検査対象物に対して規定した、基準となるエッジ線をいう。
　また、重畳部３２１は、基準線の指定、対応する線分の指定、及び、基準線以外のエッジ線の指定、対応する線分の指定に基づいて、撮像装置２０６の位置及び姿勢を推定する。また、重畳部３２１は、推定した撮像装置２０６の位置及び姿勢に基づいて、結合３次元ＣＡＤデータを拡張、移動または回転させ、撮影画像データ１２２に重畳させることで、重畳データ１２３を生成する。更に、重畳部３２１は、生成した重畳データ１２３を表示部３２３に通知する。
　指定部３２２は、検査者１３０によって、基準線の指定、対応する線分の指定、及び、基準線以外のエッジ線の指定、対応する線分の指定が行われた場合に、これを受け付け、重畳部３２１に通知する。
　表示部３２３は、重畳部３２１より通知される、結合３次元ＣＡＤデータ１２１、撮影画像データ１２２、重畳データ１２３を表示するための検査画面を生成し、表示する。なお、表示部３２３により生成される検査画面には、基準線の指定、対応する線分の指定、及び、基準線以外のエッジ線の指定、対応する線分の指定を行うための操作ボタンが含まれるものとする。
　＜検査対象物に検査用の治具が結合される場合の結合例及びエッジ線の検出例＞
　次に、検査対象物に検査用の治具が結合される場合の結合例、及び、検査用の治具が結合された検査対象物が含まれる撮影画像データ１２２から検出されるエッジ線の検出例について説明する。図４は、検査対象物に検査用の治具が結合される場合の結合例及びエッジ線の検出例を示す第１の図である。
　図４に示すように、検査対象物４１０には、製造者により、基準線４１１と、検査用の治具４２０が結合される位置４１２（検査用の治具４２０の形状に応じた線。図４の例では、長方形の４辺）と、が規定されている。
　また、図４に示すように、検査用の治具４２０は直方体形状を有し、検査対象物４１０に結合された際に、検査対象物４１０の基準線４１１に対して所定の位置関係を有するエッジ線を提供する。具体的には、検査用の治具４２０は、検査対象物４１０に結合された場合に、
・互いに独立し、十分な長さを有するエッジ線、
・基準線４１１が属する平面に対して略直交するエッジ線（つまり、基準線４１１に対して、３次元的に分布するエッジ線）、
を提供する。
　ただし、検査用の治具４２０の形状は直方体に限定されず、上記のようなエッジ線を提供可能な形状であれば、直方体以外の形状であってもよい。
　また、図４に示すように、検査用の治具４２０が位置４１２において検査対象物４１０に結合された結合後の検査対象物４３０が、撮像装置２０６により撮影されると、撮影画像データ取得部３１１では、撮影画像データ１２２を取得する。
　更に、図４に示すように、特徴線検出部３１２では、撮影画像データ１２２に含まれる検査対象物４３０のエッジ線４４１～４４５等を検出する。
　＜結合３次元ＣＡＤデータの具体例及び線分の識別例＞
　次に、結合３次元ＣＡＤデータの具体例、及び、結合３次元ＣＡＤデータを形成する線分の識別例について説明する。図５は、結合３次元ＣＡＤデータの具体例及び線分の識別例を示す第１の図である。
　図５において、３次元ＣＡＤデータ５１０は、検査対象物４１０の３次元ＣＡＤデータであり、３次元ＣＡＤデータ格納部３３０に予め格納されている。３次元ＣＡＤデータ５１０には、検査対象物４１０において規定された基準線４１１に対応する線分５１１が含まれる。また、３次元ＣＡＤデータ５１０には、検査用の治具４２０についての３次元ＣＡＤデータ５２０が結合される位置５１２（検査用の治具４２０の形状に応じた線。図５の例では、長方形の４辺）が規定されている。
　また、図５において、３次元ＣＡＤデータ５２０は、検査用の治具４２０についての３次元ＣＡＤデータであり、３次元ＣＡＤデータ格納部３３０に予め格納されている。
　図５に示すように、結合３次元ＣＡＤデータ生成部３０１では、検査用の治具４２０についての３次元ＣＡＤデータ５２０を、位置５１２において、検査対象物４１０についての３次元ＣＡＤデータ５１０に結合する。これにより、結合３次元ＣＡＤデータ生成部３０１は、検査用の治具４２０が検査対象物４１０に結合された状態の結合３次元ＣＡＤデータ１２１を生成する。なお、生成された結合３次元ＣＡＤデータ１２１は、３次元ＣＡＤデータ格納部３３０に格納される。
　また、図５に示すように、線分識別部３０３では、結合３次元ＣＡＤデータ１２１を形成する各線分を識別する。図５において、テーブル５４０は、識別した各線分の３次元空間における始点位置と終点位置とを示したテーブルである。図５の例では、結合３次元ＣＡＤデータ１２１に基づいて、２０本の線分が識別された様子を示している。
　＜検査画面の具体例＞
　次に、撮影画像データ１２２に含まれる、検査用の治具４２０が結合された検査対象物４３０に、結合３次元ＣＡＤデータ１２１を重畳表示させることで、検査対象物４３０を検査する場合の、検査画面の具体例について説明する。図６Ａ、図６Ｂは、検査画面の一例を示す第１及び第２の図である。
　このうち、図６Ａの上段は、検査画面６００に、
・検査用の治具４２０が結合された検査対象物４３０が含まれる撮影画像データ１２２と、
・検査対象物４３０に対応する結合３次元ＣＡＤデータ１２１と、
が表示された様子を示している。なお、結合３次元ＣＡＤデータ１２１は、撮影画像データ１２２に含まれる検査対象物４３０の姿勢と似た姿勢になるように表示される。その際、結合３次元ＣＡＤデータ１２１の隠線は消去される。
　また、図６Ａの下段は、検査画面６００において、基準線指定ボタン６０２が押圧され、撮影画像データ１２２に含まれる検査対象物４３０の基準線と、結合３次元ＣＡＤデータ１２１における、対応する線分とが指定された様子を示している。
　また、図６Ｂの上段は、検査画面６００において、エッジ線指定ボタン６０３が押圧され、撮影画像データ１２２に含まれる検査対象物４３０の複数のエッジ線と、結合３次元ＣＡＤデータ１２１における、対応する複数の線分とが指定された様子を示している。なお、エッジ線指定ボタン６０３を押圧した場合、検査者１３０は、基準線以外のエッジ線の中から、少なくとも３本のエッジ線を指定するとともに、対応する少なくとも３本の線分を指定するものとする。
　更に、図６Ｂの下段は、検査画面６００において、重畳ボタン６０４が押圧され、撮影画像データ１２２に含まれる検査対象物４３０に、結合３次元ＣＡＤデータ１２１を重畳した重畳データ１２３が表示された様子を示している。
　図６Ｂの下段の例は、検査対象物４３０の場合、基準線に対するｘ軸方向の寸法が、結合３次元ＣＡＤデータ１２１と比較して、符号６１１に示す寸法分、短いことを示している。重畳データ１２３において、符号６１１の長さは、例えば、ｍｍ単位で算出した誤差として提示されるものとする。
　なお、図６Ａ、図６Ｂのそれぞれの検査画面６００における戻るボタン６０５は、それぞれの検査画面６００において、戻るボタン６０５が押圧される直前に行われた操作が行われる前の状態に戻すためのボタンである。
　＜検査処理の流れ＞
　次に、第１の実施形態に係る情報処理装置１１０の検査部３００により実行される、検査処理の流れについて説明する。図７は、検査処理の流れを示す第１のフローチャートである。情報処理装置１１０において検査プログラムが起動されることで、図７に示す検査処理が開始される。
　ステップＳ７０１において、結合３次元ＣＡＤデータ生成部３０１は、検査用の治具を検査対象物に結合した状態の結合３次元ＣＡＤデータを生成し、３次元ＣＡＤデータ格納部３３０に格納する。
　ステップＳ７０２において、撮影画像データ取得部３１１は、検査用の治具が結合された検査対象物を撮影し、撮影画像データを取得する。また、表示部３２３は、取得された撮影画像データを、検査画面に表示する。
　ステップＳ７０３において、特徴線検出部３１２は、取得された撮影画像データから特徴線（エッジ線）を検出する。
　ステップＳ７０４において、結合３次元ＣＡＤデータ取得部３０２は、検査者１３０により指定された結合３次元ＣＡＤデータであって、撮影画像データに含まれる検査対象物に対応する結合３次元ＣＡＤデータを、３次元ＣＡＤデータ格納部３３０より読み出す。また、表示部３２３は、読み出された結合３次元ＣＡＤデータを、検査画面に表示する。更に、線分識別部３０３は、読み出された結合３次元ＣＡＤデータを形成する各線分を識別する。
　ステップＳ７０５において、検査者１３０が特徴線及び対応する線分を選択すると、指定部３２２では、これを受け付ける。具体的には、指定部３２２は、まず、撮影画像データにおいて基準線の指定を受け付ける。続いて、指定部３２２は、結合３次元ＣＡＤデータにおいて基準線に対応する線分の指定を受け付ける。続いて、指定部３２２は、撮影画像データにおいて基準線以外のエッジ線の指定を受け付ける。続いて、指定部３２２は、結合３次元ＣＡＤデータにおいて基準線以外のエッジ線に対応する線分の指定を受け付ける。
　ステップＳ７０６において、重畳部３２１は、検査用の治具が結合された検査対象物が撮影された際の、撮像装置２０６の位置及び姿勢を推定する（参考文献１、２参照）。
［参考文献１］C. Xu et al., "Pose Estimation from Line Correspondences: A Complete Analysis and a Series of Solutions, "IEEE Transactions on Pattern Analysis and Machine Intelligence", Vol.39, No.6, pp.1209-1222, June 2017.
［参考文献２］Z. Zhang, "A Flexible New Technique for Camera Calibration, "IEEE Transactions on Pattern Analysis and Machine Intelligence", Vol.22, No.11, pp.1330-1334, Nov. 2000.
　ステップＳ７０７において、重畳部３２１は、推定した撮像装置２０６の位置及び姿勢に基づいて結合３次元ＣＡＤデータを拡縮、移動または回転させる。これにより、重畳部３２１は、拡縮、移動または回転後の結合３次元ＣＡＤデータを、撮影画像データに含まれる、検査用の治具が結合された検査対象物に重畳させ、重畳データを生成する。また、表示部３２３は、生成された重畳データを検査画面に表示する。
　ステップＳ７０８において、重畳部３２１は、重畳データにおいて、検査対象物と結合３次元ＣＡＤデータとのずれ量を可視化するとともに、算出した誤差を提示した後、検査処理を終了する。
　以上の説明から明らかなように、第１の実施形態に係る情報処理装置は、検査対象物の基準線に対して所定の位置関係を有するエッジ線を提供可能な治具が結合された、検査対象物が含まれる撮影画像データを取得する。また、第１の実施形態に係る情報処理装置は、検査対象物に治具が結合された状態の結合３次元ＣＡＤデータを取得する。また、第１の実施形態に係る情報処理装置は、取得した撮影画像データから、複数のエッジ線を検出する。更に、第１の実施形態に係る情報処理装置は、撮影画像データから検出した複数のエッジ線と、対応する結合３次元ＣＡＤデータの線分とを用いて、撮影画像データに含まれる、治具が結合された検査対象物に、結合３次元ＣＡＤデータを重畳表示させる。
　このように、第１の実施形態に係る情報処理装置によれば、撮影画像データからエッジ線として、
・互いに独立し、十分な長さを有しており、
・検査対象物において予め規定された基準線を含んでおり、
・３次元的に分布している、
適切なエッジ線を複数検出することができる。
　この結果、第１の実施形態によれば、検査対象物の撮影環境によらず、撮影画像データに含まれる検査対象物に、３次元ＣＡＤデータを重畳表示させて検査対象物を検査することが可能になる。
　［第２の実施形態］
　上記第１の実施形態では、検査用の治具が直方体である場合について説明した。しかしながら、検査用の治具は直方体に限定されず、検査対象物の形状に適した形状を有していてもよい。以下、第２の実施形態では、検査対象物の形状に適した様々な形状の治具について説明する。
　＜２穴の検査対象物に適した検査用の治具の例＞
　はじめに、２つの加工穴が設けられた検査対象物に適した検査用の治具について説明する。図８は、２穴の検査対象物に適した検査用の治具の一例を示す図である。
　図８に示すように、検査用の治具８００は、
・２つの加工穴それぞれに嵌合する円筒部８０１、８０２、
・２つの加工穴に円筒部８０１、８０２が嵌合した場合に、２つの加工穴に対して略直交する平面を有する基材部８０３、
・基材部８０３の平面に対して、略平行なエッジ線及び略直交するエッジ線を提供可能な十字部８０４、
を有する。
　このうち、円筒部８０２は基材部８０３に対して固定して取り付けられている。一方、円筒部８０１は、基材部８０３に対して、矢印８１１方向に移動可能に取り付けられている。これにより、円筒部８０１と円筒部８０２との間の距離を、検査対象物に設けられた２つの加工穴間の距離に応じて変更することができる。
　また、十字部８０４は、基材部８０３の平面上に、図８に示すように定義した、ｘ軸、ｙ軸、ｚ軸のうち、ｘ軸に平行な２つの直方体と、ｙ軸に平行な２つの直方体と、ｚ軸方向に平行な１つの直方体とを組み合わせて形成される。これにより、ｘ軸、ｙ軸、ｚ軸それぞれに平行なエッジ線または直交するエッジ線を複数提供することができる（この結果、どのような方向から撮影されても、３次元的に分布したエッジ線を複数提供することができる）。
　検査対象物に設けられる加工穴の位置は、一般に加工精度が高いため、２つの加工穴それぞれに円筒部８０１、８０２を嵌合する検査用の治具８００の場合、基準線に対して十字部８０４を高い精度で位置決めすることができる。
　なお、十字部８０４を形成する複数の直方体は、検査用の治具８００を検査対象物に結合させた際に、検査対象物と干渉することがない程度に十分な長さを有しているものとする。
　また、図８の例では、十字部８０４を形成する複数の直方体の各面に色が配色されていないが、複数の直方体は、それぞれ、隣り合う面において異なる色（例えば、互いの輝度差が大きい色）が配色されていてもよい。更に、配色する際には、例えば、反射率の低い塗料により塗装を行ってもよい。
　＜１穴の検査対象物に適した検査用の治具の例＞
　次に、１つの加工穴が設けられた検査対象物に適した検査用の治具について説明する。図９は、１穴の検査対象物に適した検査用の治具の一例を示す図である。
　図９に示すように、検査用の治具９００は、
・１つの加工穴に嵌合する円筒部９０１、
・１つの加工穴に円筒部９０１が嵌合した場合に、１つの加工穴に対して略直交する平面を有する基材部９０２、
・基材部９０２の平面に略直交する円筒部９０３、
を有する。
　このうち、円筒部９０１は基材部９０２に対して固定して取り付けられている。また、基材部９０２は、１つの加工穴に円筒部９０１が嵌合した場合に、検査用の治具９００が検査対象物に対してぐらつくのを防ぐ役割を果たす。
　円筒部９０３は、円筒部９０１と同一軸を有しており、検査対象物に設けられた１つの加工穴に円筒部９０１が嵌合した際に、２本の境界線（特徴線の一例）を提供する。なお、円筒部９０３は、円筒形状を有しているため、加工穴の軸回りの撮影方向によらず、２本の境界線（特徴線の一例）が、常に同じ間隔で検出されることになる。したがって、２本の境界線の中心線を算出することで、当該中心線を特徴線として利用することもできる。
　なお、検査対象物に設けられる加工穴は、一般に加工精度が高いため、１つの加工穴に嵌合する円筒部９０１と同一軸の円筒部９０３を有する検査用の治具９００の場合、基準線に対して円筒部９０３を高い精度で位置決めすることができる。
　＜無穴の検査対象物に適した検査用の治具の例＞
　次に、加工穴が設けられていない検査対象物に適した検査用の治具について説明する。図１０は、無穴の検査対象物に適した治具の一例を示す図である。
　図１０に示すように、検査用の治具１０００は、
・検査対象物に面結合する基材部１００１、
・基材部１００１が面結合する検査対象物の平面に対して、略平行なエッジ線及び略直交するエッジ線を提供可能な十字部１００２、
を有する。
　このうち、基材部１００１は、検査対象物の平面に対して面結合するように、裏面に磁石が付されている。
　また、十字部１００２は、基材部１００１の平面上に、図１０に示すように定義した、ｘ軸、ｙ軸、ｚ軸のうち、ｘ軸に平行な２つの直方体と、ｙ軸に平行な２つの直方体と、ｚ軸方向に平行な１つの直方体とを組み合わせて形成される。これにより、ｘ軸、ｙ軸、ｚ軸それぞれに平行なエッジ線または直交するエッジ線を複数提供することができる。
　なお、十字部１００２を形成する複数の直方体は、検査用の治具１０００を検査対象物に面結合させた際に、検査対象物と干渉することがない程度に十分な長さを有しているものとする。
　また、図１０の例では、十字部１００２を形成する複数の直方体の各面に色が配色されていないが、複数の直方体は、それぞれ、隣り合う面において異なる色が配色されていてもよい。更に、配色する際には、例えば、反射率の低い塗料により塗装を行ってもよい。
　なお、検査用の治具１０００の場合、検査対象物の基準線に対して、十字部１００２を高い精度で位置決めすることは困難である。このため、検査用の治具１０００の場合、例えば、結合３次元ＣＡＤデータに対する検査対象物の角度のずれ量（例えば、検査対象物の平面の法線方向のずれ量）を検査するのに用いられる。
　＜検査処理の流れ＞
　次に、第２の実施形態に係る情報処理装置１１０の検査部３００により実行される、検査処理の流れについて説明する。図１１は、検査処理の流れを示す第２のフローチャートである。情報処理装置１１０において検査プログラムが起動されることで、図１１に示す検査処理が開始される。
　ステップＳ１１０１において、結合３次元ＣＡＤデータ生成部３０１は、検査用の治具を検査対象物に結合した状態の結合３次元ＣＡＤデータを生成し、３次元ＣＡＤデータ格納部３３０に格納する。
　ステップＳ１１０２において、撮影画像データ取得部３１１は、検査用の治具が結合された検査対象物を撮影し、撮影画像データを取得する。また、表示部３２３は、取得された撮影画像データを、検査画面に表示する。
　ステップＳ１１０３において、特徴線検出部３１２は、取得された撮影画像データから特徴線（エッジ線または境界線）を検出する。
　ステップＳ１１０４において、結合３次元ＣＡＤデータ取得部３０２は、検査者１３０が、検査対象物に結合された治具の種類を選択した場合に、これを受け付け、いずれの種類が選択されたかを判定する。なお、検査者１３０は、検査対象物が有する加工穴の数に応じた治具の種類を選択する。
　ステップＳ１１０４において、１穴の検査対象物に結合される治具が選択されたと判定した場合には、ステップＳ１１１１に進む。
　ステップＳ１１１１において、結合３次元ＣＡＤデータ取得部３０２は、選択された治具（１穴の検査対象物に適した検査用の治具）が結合された検査対象物に対応する結合３次元ＣＡＤデータを、３次元ＣＡＤデータ格納部３３０より読み出す。また、表示部３２３は、読み出された結合３次元ＣＡＤデータを、検査画面に表示する。更に、線分識別部３０３は、読み出された結合３次元ＣＡＤデータを形成する線分を識別する。
　一方、ステップＳ１１０４において、２穴の検査対象物に結合される治具が選択されたと判定した場合には、ステップＳ１１２１に進む。
　ステップＳ１１２１において、結合３次元ＣＡＤデータ取得部３０２は、選択された治具（２穴の検査対象物に適した検査用の治具）が結合された検査対象物に対応する結合３次元ＣＡＤデータを、３次元ＣＡＤデータ格納部３３０より読み出す。また、表示部３２３は、読み出された結合３次元ＣＡＤデータを、検査画面に表示する。更に、線分識別部３０３は、読み出された結合３次元ＣＡＤデータを形成する線分を識別する。
　ステップＳ１１２２において、検査者１３０が特徴線及び対応する線分を選択すると、指定部３２２では、これを受け付ける。具体的には、指定部３２２は、まず、撮影画像データにおいて基準線の指定を受け付ける。続いて、指定部３２２は、結合３次元ＣＡＤデータにおいて基準線に対応する線分の指定を受け付ける。続いて、指定部３２２は、撮影画像データにおいて基準線以外のエッジ線または境界線の指定を受け付ける。更に、指定部３２２は、結合３次元ＣＡＤデータにおいて基準線以外のエッジ線または境界線に対応する線分の指定を受け付ける。
　ステップＳ１１２３において、重畳部３２１は、検査用の治具が結合された検査対象物が撮影された際の、撮像装置２０６の位置及び姿勢を推定する。
　ステップＳ１１２４において、重畳部３２１は、推定した撮像装置２０６の位置及び姿勢に基づいて結合３次元ＣＡＤデータを拡縮、移動または回転させる。これにより、重畳部３２１は、拡縮、移動または回転後の結合３次元ＣＡＤデータを、撮影画像データに含まれる、検査対象物（１穴または２穴の検査対象物に適した検査用の治具が結合された検査対象物）に重畳させ、重畳データを生成する。また、表示部３２３は、生成された重畳データを、検査画面に表示する。
　ステップＳ１１２５において、重畳部３２１は、重畳データにおいて、結合３次元ＣＡＤデータと検査対象物とのずれ量を可視化するとともに、算出した誤差を提示する。
　一方、ステップＳ１１０４において、無穴の検査対象物に結合される検査用の治具が選択されたと判定した場合には、ステップＳ１１３１に進む。
　ステップＳ１１３１において、結合３次元ＣＡＤデータ取得部３０２は、選択された治具（無穴の検査対象物に適した検査用の治具）が結合された検査対象物に対応する結合３次元ＣＡＤデータを、３次元ＣＡＤデータ格納部３３０より読み出す。また、表示部３２３は、読み出された結合３次元ＣＡＤデータを、検査画面に表示する。更に、線分識別部３０３は、読み出された結合３次元ＣＡＤデータを形成する線分を識別する。
　ステップＳ１１３２において、検査者１３０が特徴線及び対応する線分を選択すると、指定部３２２では、これを受け付ける。具体的には、指定部３２２は、まず、撮影画像データにおいて基準線の指定を受け付ける。また、指定部３２２は、結合３次元ＣＡＤデータにおいて基準線に対応する線分の指定を受け付ける。また、指定部３２２は、撮影画像データにおいて基準線以外のエッジ線の指定を受け付ける。更に、指定部３２２は、結合３次元ＣＡＤデータにおいて基準線以外のエッジ線に対応する線分の指定を受け付ける。
　ステップＳ１１３３において、重畳部３２１は、検査用の治具が結合された検査対象物が撮影された際の、撮像装置２０６の位置及び姿勢を推定する。
　ステップＳ１１３４において、重畳部３２１は、推定した撮像装置２０６の位置及び姿勢に基づいて結合３次元ＣＡＤデータを拡縮、移動または回転させる。これにより、重畳部３２１は、拡縮、移動または回転後の結合３次元ＣＡＤデータを、撮影画像データに含まれる、検査対象物（無穴の検査対象物に適した検査用の治具が結合された検査対象物）に重畳させ、重畳データを生成する。また、表示部３２３は、生成された重畳データを、検査画面に表示する。
　ステップＳ１１３５において、重畳部３２１は、ステップＳ１１３２において指定を受け付けた基準線以外のエッジ線について、ｚ軸方向の角度（無穴の検査対象物に適した検査用の治具が面接触した平面の法線方向）を算出する。
　ステップＳ１１３６において、重畳部３２１は、重畳データにおいて、結合３次元ＣＡＤデータと検査対象物とのずれ量（エッジ線のｚ軸方向の角度のずれ量）を可視化するとともに、算出した角度の誤差を提示する。
　以上の説明から明らかなように、第２の実施形態では、検査対象物の形状に適した形状の治具を複数用意し、検査対象物の形状に応じて使い分ける。これにより、第２の実施形態に係る情報処理装置によれば、検査対象物の形状によらず、適切な特徴線を複数検出することができる。
　この結果、第２の実施形態によれば、検査対象物の形状によらず、撮影画像データに含まれる検査対象物に、３次元ＣＡＤデータを重畳表示させて検査対象物を検査することが可能になる。
　［第３の実施形態］
　上記第１の実施形態では、検査者１３０が、基準線指定ボタン６０２やエッジ線指定ボタン６０３等を押圧してから、基準線や基準線以外のエッジ線、及び、対応する線分を指定するものとして説明した。しかしながら、検査者１３０による基準線の指定方法はこれに限定されない。例えば、はじめに、複数のエッジ線と、対応する線分とを指定し、指定した複数のエッジ線と、対応する線分とのペアの中から、基準線と、対応する線分とのペアを指定するようにしてもよい。
　また、上記第１の実施形態では、基準線以外のエッジ線に対応する線分を、検査者１３０が指定するものとして説明した。しかしながら、検査者１３０は、撮影画像データ１２２に含まれる検査対象物の基準線以外のエッジ線を指定し、結合３次元ＣＡＤデータ１２１の基準線以外のエッジ線に対応する線分については、指定部３２２が自動で対応付けを行うようにしてもよい。あるいは、基準線以外のエッジ線及び対応する線分は、例えば、重畳部３２１が、結合３次元ＣＡＤデータ１２１及び撮影画像データ１２２それぞれから、自動で選択し、対応付けを行うようにしてもよい。
　また、上記第１及び第２の実施形態では、撮影画像データ１２２に含まれる検査対象物の基準線と、結合３次元ＣＡＤデータ１２１の基準線に対応する線分とを、検査者１３０が指定することで、両者の対応付けを行うものとして説明した。しかしながら、検査者１３０は、撮影画像データ１２２に含まれる検査対象物の基準線を指定し、結合３次元ＣＡＤデータ１２１の基準線に対応する線分については指定しなくてもよい。つまり、結合３次元ＣＡＤデータ１２１の基準線に対応する線分については、指定された検査対象物の基準線に基づいて、指定部３２２が自動で対応付け（ペアリング）を行うようにしてもよい。この場合、指定部３２２は、ペアリング部として機能する。
　また、上記第１及び第２の実施形態では、重畳表示させる際、基準線が一致するように、結合３次元ＣＡＤデータ１２１を拡縮、移動または回転させ、結合３次元ＣＡＤデータ１２１に重畳させるものとして説明した。しかしながら、重畳表示させる際、基準線は、完全一致していなくてもよい。例えば、基準線の一致度が所定の一致度以上となるように、結合３次元ＣＡＤデータ１２１を拡縮、移動または回転させ、結合３次元ＣＡＤデータ１２１に重畳させるようにしてもよい。
　また、上記第１及び第２の実施形態では、基準線が一致するように重畳表示させるものとして説明したが、基準点が一致するように重畳表示させてもよい。
　また、上記第１及び第２の実施形態では、撮影画像データを取得する前に、結合３次元ＣＡＤデータを生成するものとして説明したが、結合３次元ＣＡＤデータは、撮影画像データを取得した後に生成してもよい。
　［第４の実施形態］
　上記第１の実施形態では、撮影画像データに含まれる検査用の治具が結合された検査対象物に結合３次元ＣＡＤデータを重畳表示させるにあたり、検査者１３０は、基準線や基準線以外のエッジ線、及び、対応する線分等を指定するものとして説明した。これに対して、第４の実施形態では、検査者１３０が指定する項目を削減することで、重畳表示させる際の検査者１３０の操作負荷を低減させる。以下、第４の実施形態について、上記各実施形態との相違点を中心に説明する。
　＜検査用の治具の説明＞
　はじめに、第４の実施形態に係る情報処理装置が検査処理を実行する際に用いる検査用の治具について説明する。図１３は、検査用の治具の形状と治具の配色データの一例を示す図である。
　図１３に示すように、治具１３１０は、双三角錐の形状を有しており、各面（６個の面）が互いに異なる色（６色）で配色されている。治具１３１０を双三角錐等の双角錐により形成することで、特徴線検出部では、任意の位置から治具１３１０が撮影された場合であっても、撮影画像データから、
・互いに独立し、十分な長さを有するエッジ線
・互いに、３次元的に分布するエッジ線、
を検出することができる。
　また、双三角錐の各面を互いに異なる色で配色することにより、後述する色領域抽出部では、任意の位置から治具１３１０が撮影された場合であっても、撮影画像データから、２種類以上の色の異なる面を抽出することができる。
　なお、上記第１の実施形態のように、治具の形状が直方体の場合、仮に、各面を互いに異なる色で配色したとしても、正面から撮影した場合には、後述する色領域抽出部は、撮影画像データから２種類以上の色の異なる面を抽出することができない。この場合、直方体の上下及び左右の区別をつけることができない。これに対して、治具１３１０の場合、任意の位置から撮影された場合であっても、後述する色領域抽出部は、２種類以上の色の異なる面を抽出することができるため、上下及び左右の区別をつけることができる。
　なお、図１３において、テーブル１３２０は、治具１３１０の各面に配色された色及び隣接する面に配色された色を示す配色データを示すテーブルであり、情報の項目として、"面ＩＤ"、"色"、"隣接色"を含む。
　"面ＩＤ"には、治具１３１０の各面を識別する識別子が格納される。上述したように、治具１３１０は双三角錐により形成されており、６個の面を有するため、"面ＩＤ"には、"１"～"６"が格納される。
　"色"には、治具１３１０の各面に配色された色が格納される。図１３の例は、各面に配色された色が、"赤"色、"緑"色、"青"色、"水"色、"黄"色、"黒"色であることを示している。
　"隣接色"には、対応する"面ＩＤ"により識別される面に隣接する面に配色された色が、左回りの順序で配列して格納される。双三角錐の場合、各面の形状は三角形であり、各面は３個の面と隣接する。このため、"隣接色"には、３種類の色が配列して格納される。
　また、図１３において、テーブル１３３０は、治具１３１０の各辺に隣接する面に配色された色を示す配色データを示すテーブルであり、情報の項目として、"辺ＩＤ"、"隣接色"を含む。
　"辺ＩＤ"には、治具１３１０の各辺を識別する識別子が格納される。治具１３１０は、９本の辺を有するため、"辺ＩＤ"には、"１"～"９"が格納される。
　"隣接色"には、対応する"辺ＩＤ"により識別される辺に隣接する２つの面に配色された色が格納される。
　＜情報処理装置の機能構成＞
　次に、第４の実施形態に係る情報処理装置の機能構成について説明する。図１４は、情報処理装置の機能構成の一例を示す第２の図である。上記第１の実施形態において、図３を用いて説明した機能構成との相違点は、図１４の場合、色領域抽出部１４１１、対応ペア決定部１４２１を有する点である。また、図１４の場合、線分識別部１４０１、特徴線検出部１４１２、重畳部１４２２の機能が、それぞれ、線分識別部３０３、特徴線検出部３１２、重畳部３２１の機能とは異なる点である。更に、図１４の場合、３次元ＣＡＤデータ格納部１４３０に格納されている３次元ＣＡＤデータ及び結合３次元ＣＡＤデータが、３次元ＣＡＤデータ格納部３３０に格納されている３次元ＣＡＤデータ及び結合３次元ＣＡＤデータとは異なる点である。以下、相違点の詳細について説明する。
　線分識別部１４０１は、読み出された結合３次元ＣＡＤデータの、各線分を識別する。なお、線分識別部１４０１は、結合３次元ＣＡＤデータのうち、治具１３１０の各辺の線分を識別する。このとき、線分識別部１４０１では、識別した各線分に隣接する２つの面に配色された色を取得する。また、線分識別部１４０１では、識別した各線分、及び、識別した各線分に隣接する２つの面に配色された色を、対応ペア決定部１４２１に通知する。
　色領域抽出部１４１１は、撮影画像データ１２２から色領域を抽出する。具体的には、色領域抽出部１４１１は、撮影画像データに含まれる、検査用の治具１３１０の各面の色が配色された領域を抽出する。また、色領域抽出部１４１１は、抽出した色領域を特徴線検出部１４１２に通知する。
　特徴線検出部１４１２は、色領域抽出部１４１１より通知された各色領域の輪郭辺を抽出し、双三角錐の各色の境界線及び各色の境界線に隣接する隣接色を特定する。なお、本実施形態において輪郭辺とは、撮影画像データ１２２において各色領域が形成する多角形の輪郭の辺を指す。
　また、特徴線検出部１４１２は、撮影画像データ１２２からエッジ線を抽出し、抽出した各エッジ線と各色の境界線とを対応付けることで、各エッジ線に隣接する隣接色を特定する。更に、特徴線検出部１４１２は、各エッジ線、及び、各エッジ線に隣接する隣接色を、対応ペア決定部１４２１に通知する。
　対応ペア決定部１４２１は、
・線分識別部１４０１より通知された各線分、及び、各線分に隣接する２つ面に配色された色と、
・特徴線検出部１４１２より通知された各エッジ線、及び、各エッジ線に隣接する隣接色と、
に基づいて、線分とエッジ線との対応ペアを特定する。
　重畳部１４２２は、対応ペア決定部１４２１により特定された対応ペアに基づいて、撮像装置２０６の位置及び姿勢を推定する。
　撮像装置２０６の位置及び姿勢を推定することで、重畳部３２１では、結合３次元ＣＡＤデータ１２１を拡張、移動または回転させ、撮影画像データ１２２に自動的に重畳させることで、重畳データ１２３を生成する。
　このように、第４の実施形態に係る情報処理装置１１０によれば、撮影画像データ１２２に含まれる検査用の治具が結合された検査対象物に結合３次元ＣＡＤデータを重畳表示させるにあたり、検査者１３０は、
・基準線や基準線以外のエッジ線、及び、
・対応する線分等、
を指定する必要がなくなる。この結果、第４の実施形態に係る情報処理装置１１０によれば、重畳表示させる際の検査者１３０の操作負荷を低減させることができる。
　なお、第４の実施形態に係る情報処理装置１１０の場合、基準線を指定しないため、基準線と対応する線分とが一致するように重畳表示させる代わりに、治具１３１０のエッジ線と対応する線分とが一致するように重畳表示させる。このため、第４の実施形態によれば、検査者１３０は、治具１３１０のエッジ線以外のエッジ線（つまり、検査対象物１５１０のエッジ線）と、対応する線分とを対比することで、ずれ量、ずれの原因箇所を把握する。つまり、第４の実施形態では、治具１３１０のエッジ線が、基準線としての役割を果たすことになる。
　＜検査対象物に検査用の治具が結合される場合の結合例及びエッジ線の検出例＞
　次に、検査対象物に検査用の治具１３１０が結合される場合の結合例、及び、検査用の治具１３１０が結合された検査対象物が含まれる撮影画像データから検出されるエッジ線の検出例について説明する。図１５は、検査対象物に検査用の治具が結合される場合の結合例及びエッジ線の検出例を示す図である。
　図１５に示すように、検査対象物１５１０には、製造者により、検査用の治具１３１０が結合される位置１５１１（検査用の治具１３１０の形状に応じた線。図１５の例では、三角形の３辺）が規定されている。
　また、図１５に示すように、検査用の治具１３１０の形状は双三角錐であり、上述したように、検査対象物１５１０に結合された場合に、
・互いに独立し、十分な長さを有するエッジ線
・互いに、３次元的に分布するエッジ線、
を提供する。
　また、図１５に示すように、検査用の治具１３１０が位置１５１１において結合された結合後の検査対象物１５２０が、撮像装置２０６により撮影されると、撮影画像データ取得部３１１では、撮影画像データ１２２を取得する。
　なお、図１５の例は、撮影画像データ１２２において、７本のエッジ線１５２１～１５２７（特徴線の一例）が検出された様子を示している。
　＜結合３次元ＣＡＤデータの具体例及び線分の識別例＞
　次に、結合３次元ＣＡＤデータの具体例、及び、結合３次元ＣＡＤデータを形成する線分の識別例について説明する。図１６は、結合３次元ＣＡＤデータの具体例及び線分の識別例を示す第２の図である。
　図１６において、３次元ＣＡＤデータ１６１０は、検査対象物１５１０の３次元ＣＡＤデータであり、３次元ＣＡＤデータ格納部１４３０に予め格納されている。３次元ＣＡＤデータ１６１０には、検査用の治具１３１０についての３次元ＣＡＤデータ１６２０が結合される位置１６１１（検査用の治具１３１０の形状に応じた線。図１６の例では、三角形の３辺）が規定されている。
　また、図１６において、３次元ＣＡＤデータ１６２０は、検査用の治具１３１０についての３次元ＣＡＤデータであり、３次元ＣＡＤデータ格納部１４３０に予め格納されている。
　図１６に示すように、結合３次元ＣＡＤデータ生成部３０１では、検査用の治具１３１０についての３次元ＣＡＤデータ１６１０を、位置１６１１において、検査対象物１５１０についての３次元ＣＡＤデータ１６１０に結合する。これにより、結合３次元ＣＡＤデータ生成部３０１は、検査用の治具１３１０が検査対象物１５１０に結合された状態の結合３次元ＣＡＤデータ１２１を生成する。なお、生成された結合３次元ＣＡＤデータ１２１は、３次元ＣＡＤデータ格納部１４３０に格納される。
　また、図１６に示すように、線分識別部１４０１では、結合３次元ＣＡＤデータ１２１を形成する各線分を識別する。図１６において、各線分から引き出し線により引き出された情報は、線分識別部１４０１が識別した各線分を識別する辺ＩＤと、各線分の隣接色を示す情報を表している。
　＜対応ペア決定処理の具体例＞
　次に、色領域抽出部１４１１、特徴線検出部１４１２、対応ペア決定部１４２１による、対応ペア決定処理の具体例について説明する。図１７～図１９は、対応ペア決定処理の具体例を示す第１～第３の図である。
　上述したように、色領域抽出部１４１１は、撮影画像データ取得部３１１より撮影画像データ１２２が通知されると、撮影画像データ１２２に含まれる色領域（検査用の治具１３１０の各面の色が配色された領域）を抽出する。なお、色領域抽出部１４１１では、例えば、撮影画像データ１２２の各画素の画素値（Ｒ値、Ｇ値、Ｂ値）を、ＨＳＶ値に変換し、変換後の画素値と、テーブル１７１０とを対比する。これにより、色領域抽出部１４１１では、撮影画像データ１２２の各画素の色を識別し、それぞれの色の画素の塊を、それぞれの色領域として抽出する。
　図１７において、符号１７３０は、撮影画像データ１２２より抽出された色領域を示しており、符号１７２０は、抽出された色領域の色を示している。
　また、上述したように、特徴線検出部１４１２は、色領域抽出部１４１１より通知された各色領域（符号１７２０）から、輪郭辺を抽出する。符号１７４０は、各色領域（符号１７２０）から抽出された輪郭辺を示しており、符号１７５０は、抽出された輪郭辺の詳細を示している。
　符号１７５０に示すように、赤色領域、水色領域、青色領域からは、それぞれ、３本の輪郭辺が抽出される。なお、輪郭辺の抽出方法は任意であるが、特徴線検出部１４１２では、例えば、下記の手順により輪郭辺を抽出する。
・赤色領域を白、赤色領域以外を黒とする２値画像と、水色領域を白、水色領域以外を黒とする２値画像と、青色領域を白、青色領域以外を黒とする２値画像と、をそれぞれ生成する。
・それぞれの２値画像において、白と黒の境界画素を連結させて、例えば、下記非特許文献Ａのもとで、輪郭辺を抽出する。
［非特許文献Ａ］S.Suzuki et al., Topological structural analysis of digital binary images by border following, Computer Vision, Graphics and Image Processing, 30 (1985):pp.32-46
・抽出した輪郭辺を、例えば、下記非特許文献Ｂのもとで、双角錐の各面の形状（本実施形態では、双三角錐であるため、三角形）に近似する。
［非特許文献Ｂ］D.Douglas et al., Algorithms for the reduction of the number of points required for represent a digitized line or its caricature, Canadian Cartographer, 10 (1973):pp.112-122
　続いて、特徴線検出部１４１２では、各色領域の境界線及び各色の境界線に隣接する隣接色を特定する。具体的には、特徴線検出部１４１２では、まず、符号１７５０に含まれる各輪郭辺の、撮影画像データ１２２内での始点の座標及び終点の座標を算出する。続いて、特徴線検出部１４１２では、符号１７５０に含まれる各輪郭辺において、互いに一致する輪郭辺を判定する。具体的には、特徴線検出部１４１２では、
・一方の輪郭辺と他方の輪郭辺とが成す角度が所定角度以内であること、
・一方の輪郭辺の始点と他方の輪郭辺の始点との間の距離、または、一方の輪郭辺の終点と他方の輪郭辺の終点との間の距離のうち、短い方の距離が所定距離以内であること、
の両方の条件を満たす場合、２つの輪郭辺は一致すると判定する。
　そして、特徴線検出部１４１２では、２つの輪郭辺が一致すると判定した場合、当該輪郭辺を、対応する隣接色の境界線として登録するとともに、撮影画像データ１２２内での境界線の始点の座標及び終点の座標を登録する。
　図１８の符号１８１０は、符号１７５０に含まれる９本の輪郭辺のうち、赤＿線１と、水＿線２とが一致すると判定され、隣接色（赤、水）の"境界線１"として登録された様子を示している。また、水＿線３と、青＿線２とが一致すると判定され、隣接色（水、青）の"境界線２"として登録された様子を示している。
　一方、図１８の符号１８２０は、特徴線検出部１４１２が撮影画像データ１２２より検出したエッジ線１５２１～１５２７を示している。また、図１８の符号１８３０は、検出した７本のエッジ線１５２１～１５２７の始点及び終点の、撮影画像データ１２２内での座標を示している。
　特徴線検出部１４１２では、符号１８１０に示すそれぞれの境界線に対して、最も近いエッジ線を、符号１８３０に示すテーブルの中から選択してマッチングさせる。特徴線検出部１４１２によるマッチング方法は任意であり、例えば、境界線の傾き、切片、及び、エッジ線の傾き、切片をそれぞれパラメータ化し、傾き、切片が最も近いエッジ線を選択する。
　図１８の符号１８４０は、"境界線１"に最も近いエッジ線として、"エッジ線１"が選択され、"境界線２"に最も近いエッジ線として、"エッジ線２"が選択された様子を示している。これにより、"エッジ線１"、"エッジ線２"の隣接色が特定されるため、対応ペア決定部１４２１では、テーブル１３３０（図１３）を参照することにより、治具１３１０の辺ＩＤ（つまり、結合３次元ＣＡＤデータの線分）を特定する（符号１８４０参照）。
　なお、第１の実施形態において説明したように、重畳表示には原理上、線分とエッジ線のペアが４つ必要である。そこで、特徴線検出部１４１２及び対応ペア決定部１４２１では、他の輪郭辺についても、エッジ線をマッチングさせるとともに、隣接色を特定することで、辺ＩＤを特定する。
　具体的には、特徴線検出部１４１２では、符号１７４０に示す輪郭辺のうち、隣接色が特定されていない輪郭辺を抽出し、それぞれの輪郭辺に対応するエッジ線（符号１８３０のエッジ線のうち、マッチングしたエッジ線以外のエッジ線）を検索する。
　図１８の場合、隣接色が特定されていない輪郭辺として、"赤＿線２"、"赤＿線３"、"水＿線１"、"青＿線１"、"青＿線３"が抽出され、対応するエッジ線が"エッジ線３"～"エッジ線７"の中から検索される。
　上述したように、"エッジ線１"、"エッジ線２"は既に輪郭辺とマッチングして辺ＩＤが特定されている。このため、あと２本のエッジ線について輪郭辺とマッチングして辺ＩＤを特定すれば足りるが、ここでは、５本のエッジ線全てについて輪郭辺とマッチングして辺ＩＤを特定する場合について説明する。なお、５本のエッジ線のうち２本のエッジ線についてのみ輪郭辺とのマッチングを行い、辺ＩＤを特定する場合にあっては、例えば、長さが長い上位２本のエッジ線についてのみ輪郭辺とのマッチングを行い、辺ＩＤを特定するものとする。
　図１８の符号１８５０は、抽出された輪郭辺"赤＿線２"、"赤＿線３"、"水＿線１"、"青＿線３"、"青＿線１"にマッチングするエッジ線が、"エッジ線３"～"エッジ線７"の中から検索された様子を示している。
　続いて、図１９に示すように、対応ペア決定部１４２１では、"エッジ線３"～"エッジ線７"に対応する辺ＩＤを特定する。ここで、"エッジ線３"～"エッジ線７"とマッチングした"境界線３"～"境界線７"（"赤＿線２"～"青＿線１"）は、いずれも、隣接する２つの面のうち、一方の面が可視であり、他方の面が不可視である。
　そこで、対応ペア決定部１４２１では、テーブル１３２０（図１３）を参照し、不可視の面の色を特定する。例えば、"境界線３"、"境界線４"は、赤色の面の輪郭辺である。一方で、テーブル１３２０によれば、赤色の面に隣接する面の色は、左回りに、黄色、黒色、水色である。ここで、図１９の符号１７４０によれば、赤色の面に隣接する面のうち、水色の面は可視である。したがって、不可視の面は、黄色の面と黒色の面となり、左回りに進むことで、"境界線３"に隣接する不可視の面は、黒色と特定することができる。また、"境界線４"に隣接する不可視の面は、黄色と特定することができる。
　つまり、"境界線３（赤＿線２）"の隣接色は、赤色、黒色と特定することができ、"境界線４（赤＿線３）"の隣接色は、黄色、赤色と特定することができる。これにより、対応ペア決定部１４２１では、テーブル１３３０を参照することで、"エッジ線３"の辺ＩＤを"６"と特定し、"エッジ線４"の辺ＩＤを、"２"と特定することができる（符号１９１０参照）。
　同様に、"境界線５（水＿線１）"は、水色の面の輪郭辺であり、テーブル１３２０によれば、水色の面に隣接する面の色は、左回りに、赤色、黒色、青色である。ここで、図１９の符号１７４０によれば、水色の面に隣接する面のうち、青色の面と赤色の面は可視である。したがって、不可視の面は、黒色の面となり、"境界線５（水＿線１）"に隣接する不可視の面は、黒色と特定することができる。
　つまり、"境界線５（水＿線１）"の隣接色は、水色、黒色と特定することができる。これにより、対応ペア決定部１４２１では、テーブル１３３０を参照することで、"エッジ線５"の辺ＩＤを"７"と特定することができる（符号１９１０参照）。
　同様に、"境界線６（青＿線３）"、"境界線７（青＿線１）"は、青色の面の輪郭辺であり、テーブル１３２０によれば、青色の面に隣接する面の色は、左回りに、水色、緑色、黄色である。ここで、図１９の符号１７４０によれば、青色の面に隣接する面のうち、水色の面は可視である。したがって、不可視の面は、緑色の面と黄色の面となり、左回りに進むことで"境界線７"に隣接する不可視の面は、緑色と特定することができる。また、"境界線６"に隣接する不可視の面は、黄色と特定することができる。
　つまり、"境界線６（青＿線３）"の隣接色は、青色、黄色と特定することができ、"境界線７（青＿線１）"の隣接色は、青色、緑色と特定することができる。これにより、対応ペア決定部１４２１では、テーブル１３３０を参照することで、"エッジ線６"の辺ＩＤを"１"と特定し、"エッジ線７"の辺ＩＤを"５"と特定することができる（符号１９１０参照）。
　＜検査画面の具体例＞
　次に、第４の実施形態に係る情報処理装置１１０における検査画面の具体例について説明する。図２０は、検査画面の一例を示す第３の図である。
　図２０において、上段は、検査画面６００に、
・検査用の治具１３１０が結合された検査対象物１５２０が含まれる撮影画像データ１２２と、
・検査対象物１５２０に対応する結合３次元ＣＡＤデータである、結合３次元ＣＡＤデータ１２１と、
が表示された様子を示している。
　また、図２０において、下段は、検査画面６００において、重畳ボタン６０４が押圧されることで、撮影画像データ１２２に含まれる検査対象物１５２０に、結合３次元ＣＡＤデータ１２１を重畳させた重畳データ１２３が表示された様子を示している。
　このように、上記第１の実施形態では、重畳データ１２３を表示するにあたり、検査者１３０は、基準線や基準線以外のエッジ線、及び、対応する線分等を指定する必要があったのに対して、第４の実施形態では、重畳ボタン６０４を押圧するだけで済む。つまり、第４の実施形態によれば、重畳表示させる際の検査者１３０の操作負荷を低減させることができる。
　＜検査処理の流れ＞
　次に、第４の実施形態に係る情報処理装置１１０の検査部１４００により実行される、検査処理の流れについて説明する。図２１は、検査処理の流れを示す第２のフローチャートである。情報処理装置１１０において検査プログラムが起動されることで、図２１に示す検査処理が開始される。
　なお、図７を用いて説明した第１のフローチャートとの相違点は、ステップＳ２１０１～Ｓ２１０４に示す対応ペア決定処理である。
　ステップＳ２１０１において、色領域抽出部１４１１は、取得された撮影画像データから色領域を抽出し、各色領域の輪郭辺を抽出する。
　ステップＳ２１０２において、特徴線検出部１４１２は、取得された撮影画像データから特徴線（エッジ線）を検出する。
　ステップＳ２１０３において、特徴線検出部１４１２は、検出した特徴線（エッジ線）の中から、抽出された輪郭辺に対応する特徴線（エッジ線）を検索する。また、対応ペア決定部１４２１は、特徴線（エッジ線）が検索された輪郭辺に隣接する面の色を特定する。
　ステップＳ２１０４において、対応ペア決定部１４２１は、隣接色に基づいて、各特徴線（エッジ線）に対応する結合３次元ＣＡＤデータの各線分を特定する。
　以上の説明から明らかなように、第４の実施形態では、治具の３次元ＣＡＤデータの線分を識別する情報として、当該線分に隣接する２つの面それぞれの色情報を対応付ける。また、第４の実施形態では、撮影画像データから検出されたエッジ線に隣接する２つの面の色を特定し、特定した隣接色と一致する色情報が対応付けられた線分と、該エッジ線とに基づいて結合３次元ＣＡＤデータを重畳表示させる。
　これにより第４の実施形態によれば、上記第１の実施形態と同様の効果が享受できるとともに、重畳表示させる際の検査者１３０の操作負荷を低減させることが可能になる。
　［その他の実施形態］
　上記第４の実施形態では、治具１３１０の各面に異なる色（つまり、６色）を配色する場合について説明した。一方で、治具１３１０の６個の面のうち、１つの面は、検査対象物１５１０に取り付けられるため、当該面の色は、他の５個の面の色と同じ色であってもよい。つまり、治具１３１０の各面は、６色以下の色で配色されていてもよい。
　なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
　本出願は、２０２０年７月２９日に出願された日本国特許出願第２０２０－１２８２７９号に基づきその優先権を主張するものであり、同日本国特許出願の全内容を参照することにより本願に援用する。
　１１０　　　　　　　：情報処理装置
　１２１　　　　　　　：結合３次元ＣＡＤデータ
　１２２　　　　　　　：撮影画像データ
　１２３　　　　　　　：重畳データ
　３００　　　　　　　：検査部
　３０１　　　　　　　：結合３次元ＣＡＤデータ生成部
　３０２　　　　　　　：結合３次元ＣＡＤデータ取得部
　３０３　　　　　　　：線分識別部
　３１１　　　　　　　：撮影画像データ取得部
　３１２　　　　　　　：特徴線検出部
　３２１　　　　　　　：重畳部
　３２２　　　　　　　：指定部
　３２３　　　　　　　：表示部
　４２０　　　　　　　：治具
　５２０　　　　　　　：３次元ＣＡＤデータ
　８００　　　　　　　：治具
　９００　　　　　　　：治具
　１０００　　　　　　：治具
　１３１０　　　　　　：治具
　１４００　　　　　　：検査部
　１４０１　　　　　　：線分識別部
　１４１１　　　　　　：色領域抽出部
　１４１２　　　　　　：特徴線検出部
　１４２１　　　　　　：対応ペア決定部
　１４２２　　　　　　：重畳部

Claims (11)

  1. 　検査対象物に対して所定の位置関係を有する特徴線を提供可能な治具が結合された、該検査対象物が含まれる撮影画像を取得し、
    　前記検査対象物に前記治具が結合された状態の３次元画像を取得し、
    　前記撮影画像から、複数の特徴線を検出し、
    　前記撮影画像から検出した複数の特徴線と、該複数の特徴線に対応する前記３次元画像の線分とを用いて、前記撮影画像に含まれる、前記治具が結合された検査対象物に、前記３次元画像を重畳表示する、
    　処理をコンピュータに実行させる検査プログラム。
  2. 　前記検査対象物についての３次元画像と、前記治具についての３次元画像とに基づいて、前記検査対象物に前記治具が結合された状態の前記３次元画像を生成する、
    　処理を前記コンピュータに実行させる、請求項１に記載の検査プログラム。
  3. 　前記重畳表示する処理は、
    　前記撮影画像から検出した複数の特徴線のうちの指定された特徴線である基準線が、対応する前記３次元画像の線分と一致し、かつ、前記撮影画像から検出した複数の特徴線のうちの前記基準線以外の特徴線が、対応する前記３次元画像の線分と一致するように、前記３次元画像を重畳表示する、請求項１に記載の検査プログラム。
  4. 　前記重畳表示する処理は、
    　前記３次元画像を重畳表示した際の、前記撮影画像に含まれる、前記治具が結合された検査対象物と、前記３次元画像とのずれ量を可視化する処理を含む、請求項３に記載の検査プログラム。
  5. 　前記重畳表示する処理は、
    　前記撮影画像から検出した複数の特徴線のうちの前記基準線以外の特徴線と、対応する前記３次元画像の線分との角度のずれ量を可視化する処理を含む、請求項３に記載の検査プログラム。
  6. 　治具についての３次元画像の線分を識別する情報には、該線分に隣接する２つの面それぞれの色情報が対応付けられ、
    　前記撮影画像から検出された特徴線に隣接する２つの面が、前記撮影画像に含まれる場合、前記重畳表示する処理は、
    　　前記撮影画像から検出された特徴線と、
    　　前記隣接する２つの面のそれぞれの色情報と一致する色情報が対応付けられた線分と、
    　に基づいて、前記３次元画像を重畳表示する、請求項２に記載の検査プログラム。
  7. 　治具についての３次元画像の面を識別する情報は、該面に隣接する３つの面それぞれの色情報が、予め定められた順序で対応付けられ、
    　前記撮影画像から検出された特徴線に隣接する２つの面のうち、一方の面が前記撮影画像に含まれない場合、前記複数の特徴線を検出する処理は、前記撮影画像に含まれる他方の面に隣接する３つの面それぞれの色情報を取得することで、前記一方の面の色情報を特定し、前記重畳表示する処理は、
    　　前記撮影画像から検出された特徴線と、
    　　前記他方の面の色情報及び特定した前記一方の面の色情報と一致する色情報が対応付けられた線分と、
    　に基づいて、前記３次元画像を重畳表示する、請求項６に記載の検査プログラム。
  8. 　前記治具は双角錐であり、各面が三角形により形成されている、請求項６または７に記載の検査プログラム。
  9. 　前記治具は双三角錐であり、６色以下の色で各面が配色されている、請求項８に記載の検査プログラム。
  10. 　検査対象物に対して所定の位置関係を有する特徴線を提供可能な治具が結合された、該検査対象物が含まれる撮影画像を取得する第１の取得部と、
    　前記検査対象物に前記治具が結合された状態の３次元画像を取得する第２の取得部と、
    　前記撮影画像から、複数の特徴線を検出する検出部と、
    　前記撮影画像から検出した複数の特徴線と、該複数の特徴線に対応する前記３次元画像の線分とを用いて、前記撮影画像に含まれる、前記治具が結合された検査対象物に、前記３次元画像を重畳表示する重畳部と
    　を有する情報処理装置。
  11. 　検査対象物に対して所定の位置関係を有する特徴線を提供可能な治具が結合された、該検査対象物が含まれる撮影画像を取得し、
    　前記検査対象物に前記治具が結合された状態の３次元画像を取得し、
    　前記撮影画像から、複数の特徴線を検出し、
    　前記撮影画像から検出した複数の特徴線と、該複数の特徴線に対応する前記３次元画像の線分とを用いて、前記撮影画像に含まれる、前記治具が結合された検査対象物に、前記３次元画像を重畳表示する、
    　処理をコンピュータが実行する検査方法。
PCT/JP2021/015291 2020-07-29 2021-04-13 検査プログラム、情報処理装置及び検査方法 WO2022024464A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180049855.1A CN115956257A (zh) 2020-07-29 2021-04-13 检查程序、信息处理装置以及检查方法
JP2022540016A JPWO2022024464A1 (ja) 2020-07-29 2021-04-13
US18/152,652 US20230162348A1 (en) 2020-07-29 2023-01-10 Storage medium, information processing apparatus, and inspection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-128279 2020-07-29
JP2020128279 2020-07-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/152,652 Continuation US20230162348A1 (en) 2020-07-29 2023-01-10 Storage medium, information processing apparatus, and inspection method

Publications (1)

Publication Number Publication Date
WO2022024464A1 true WO2022024464A1 (ja) 2022-02-03

Family

ID=80037909

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/015291 WO2022024464A1 (ja) 2020-07-29 2021-04-13 検査プログラム、情報処理装置及び検査方法

Country Status (4)

Country Link
US (1) US20230162348A1 (ja)
JP (1) JPWO2022024464A1 (ja)
CN (1) CN115956257A (ja)
WO (1) WO2022024464A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006003263A (ja) * 2004-06-18 2006-01-05 Hitachi Ltd 視覚情報処理装置および適用システム
JP2009266221A (ja) * 2008-04-21 2009-11-12 Mori Seiki Co Ltd 加工シミュレーション方法及び加工シミュレーション装置
JP2018081589A (ja) * 2016-11-17 2018-05-24 富士通株式会社 重畳画像生成プログラム、重畳画像生成方法、および情報処理装置
JP2019012342A (ja) * 2017-06-29 2019-01-24 ファナック株式会社 仮想オブジェクト表示システム
US20190156472A1 (en) * 2017-11-17 2019-05-23 Kodak Alaris Inc. Automated in-line object inspection
JP2019158628A (ja) * 2018-03-14 2019-09-19 富士通株式会社 検査装置、検査方法、及び検査プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006003263A (ja) * 2004-06-18 2006-01-05 Hitachi Ltd 視覚情報処理装置および適用システム
JP2009266221A (ja) * 2008-04-21 2009-11-12 Mori Seiki Co Ltd 加工シミュレーション方法及び加工シミュレーション装置
JP2018081589A (ja) * 2016-11-17 2018-05-24 富士通株式会社 重畳画像生成プログラム、重畳画像生成方法、および情報処理装置
JP2019012342A (ja) * 2017-06-29 2019-01-24 ファナック株式会社 仮想オブジェクト表示システム
US20190156472A1 (en) * 2017-11-17 2019-05-23 Kodak Alaris Inc. Automated in-line object inspection
JP2019158628A (ja) * 2018-03-14 2019-09-19 富士通株式会社 検査装置、検査方法、及び検査プログラム

Also Published As

Publication number Publication date
JPWO2022024464A1 (ja) 2022-02-03
US20230162348A1 (en) 2023-05-25
CN115956257A (zh) 2023-04-11

Similar Documents

Publication Publication Date Title
JP4532982B2 (ja) 配置情報推定方法および情報処理装置
US10564127B2 (en) Augmented reality visualization for pipe inspection
EP2751777B1 (en) Method for estimating a camera motion and for determining a three-dimensional model of a real environment
CN110689579A (zh) 基于合作目标的快速单目视觉位姿测量方法及测量系统
US20160086343A1 (en) Contour line measurement apparatus and robot system
EP3496035B1 (en) Using 3d vision for automated industrial inspection
JP5096620B2 (ja) フィーチャー境界の結合
US10902664B2 (en) System and method for detecting damage using two-dimensional imagery and three-dimensional model
US8019148B2 (en) Image processing apparatus and image processing method
JP2006214832A (ja) 指標配置計測方法、位置姿勢推定方法、指標配置計測装置、位置姿勢推定装置
KR102235632B1 (ko) 머신 비전 시스템
JP5430138B2 (ja) 形状測定装置およびプログラム
CN107315011A (zh) 图像处理装置、图像处理方法及存储介质
JP5156601B2 (ja) 形状測定装置およびプログラム
JP4193519B2 (ja) 物体識別方法および物体識別装置
JP2008292405A (ja) 検査装置および検査プログラム
US6178392B1 (en) Method for combining the computer models of two surfaces in 3-D space
WO2022024464A1 (ja) 検査プログラム、情報処理装置及び検査方法
Zhang et al. On-machine 3D vision system for machining setup modeling
JP6350988B2 (ja) 橋梁の損傷診断用カメラ
Jeong et al. Vision-based real-time layer error quantification for additive manufacturing
CN112529960A (zh) 目标对象的定位方法、装置、处理器和电子装置
KR101541114B1 (ko) 3d 스캐너를 위한 추가 촬영 방향 결정 방법
Vaiapury et al. A vision based audit method and tool that compares a systems installation on a production aircraft to the original digital mock-up
Uyanik et al. A method for determining 3D surface points of objects by a single camera and rotary stage

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21850358

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022540016

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21850358

Country of ref document: EP

Kind code of ref document: A1