WO2022124152A1 - 検査経路生成装置、検査経路生成方法 - Google Patents

検査経路生成装置、検査経路生成方法 Download PDF

Info

Publication number
WO2022124152A1
WO2022124152A1 PCT/JP2021/044041 JP2021044041W WO2022124152A1 WO 2022124152 A1 WO2022124152 A1 WO 2022124152A1 JP 2021044041 W JP2021044041 W JP 2021044041W WO 2022124152 A1 WO2022124152 A1 WO 2022124152A1
Authority
WO
WIPO (PCT)
Prior art keywords
inspection
route
unit
information
posture
Prior art date
Application number
PCT/JP2021/044041
Other languages
English (en)
French (fr)
Inventor
佳一郎 西
信昭 中須
弘毅 森井
Original Assignee
日立Astemo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立Astemo株式会社 filed Critical 日立Astemo株式会社
Priority to US18/265,276 priority Critical patent/US20240042607A1/en
Priority to CN202180080879.3A priority patent/CN116569026A/zh
Priority to EP21903256.2A priority patent/EP4261530A1/en
Publication of WO2022124152A1 publication Critical patent/WO2022124152A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G01N2021/9518—Objects of complex shape, e.g. examined with use of a surface follower device using a surface follower, e.g. robot

Definitions

  • the present invention relates to an apparatus and a method for generating an inspection path when a visual inspection apparatus for visual inspection of an inspection object moves a plurality of inspection positions.
  • Patent Document 1 includes a moving mechanism for moving an inspected object so that an image of a plurality of imaging regions set on the inspection surface is performed, and the moving locus of the imaging region on the inspection surface is a movement locus of the inspected object.
  • An inspection system that can image an inspected object in a plurality of imaging regions (inspection regions) more smoothly by including a section that moves around the center of gravity is disclosed.
  • Patent Document 1 In the inspection system disclosed in Patent Document 1, a spiral movement locus that revolves around the center of gravity of the inspected body is set, and the inspected body is imaged and inspected in a plurality of inspection regions on the movement locus. , The amount of movement between inspection areas is minimized to shorten the inspection time.
  • the posture of the camera at the time of imaging is not taken into consideration. Therefore, when a defect existing in the inspected object is imaged in a plurality of inspection areas, the position of the defect on the captured image also changes in a spiral shape according to the movement of the camera.
  • the inspection route generation device generates an inspection path of an appearance inspection device that inspects the appearance of an inspection object based on an image captured by the image pickup unit, and the image pickup unit captures an image of the inspection object.
  • the image pickup is based on a storage unit that stores inspection position information representing a plurality of inspection positions and inspection device configuration information representing the configuration of the visual inspection device, and the inspection position information and the inspection device configuration information.
  • the path length and the amount of change in the posture of the imaging unit when the unit moves between the plurality of inspection positions are calculated, and the inspection route is determined based on the calculated path length and the amount of the change in attitude. It is provided with a routing unit to be used.
  • the inspection route generation method generates an inspection path of an appearance inspection device that inspects the appearance of an inspection object based on an image captured by the image pickup unit, and the image pickup unit performs the inspection by an arithmetic device.
  • the process of determining the inspection route based on the above and the process of determining the inspection route are executed.
  • FIG. 1 It is a figure which shows the structural example of the visual inspection system including the inspection path generation apparatus which concerns on 1st Embodiment of this invention. It is a figure which shows an example of the data of a robot configuration information. It is a figure which shows an example of the data of inspection equipment composition information. It is a figure which shows an example of the data of the inspection target area information. It is a figure which shows an example of the data of inspection condition information. It is a figure which shows an example of the connection relation between nodes represented by the connection information between nodes. It is a figure which shows an example of the data of the movement cost information. It is a figure which shows an example of the data of output information.
  • a process performed by executing a program may be described, but the program is executed by a processor (for example, CPU, GPU) to appropriately store a predetermined process as a storage resource (a storage resource (for example, CPU, GPU). Since it is performed using, for example, a memory) and / or an interface device (for example, a communication port), the main body of processing may be a processor. Similarly, the main body of the process of executing the program may be a controller, an apparatus, a system, a computer, or a node having a processor. The main body of the process of executing the program may be an arithmetic unit, and may include a dedicated circuit (for example, FPGA or ASIC) for performing a specific process.
  • a dedicated circuit for example, FPGA or ASIC
  • the program may be installed in a device such as a calculator from the program source.
  • the program source may be, for example, a program distribution server or a computer-readable storage medium.
  • the program distribution server includes a processor and a storage resource for storing the program to be distributed, and the processor of the program distribution server may distribute the program to be distributed to other computers.
  • two or more programs may be realized as one program, or one program may be realized as two or more programs.
  • FIG. 1 is a diagram showing a configuration example of a visual inspection system including an inspection route generation device according to a first embodiment of the present invention.
  • the visual inspection system shown in FIG. 1 is configured by connecting the inspection route generation device 100 and the visual inspection device 200 to each other via a communication line 300.
  • the communication line 300 is configured by using, for example, Ethernet (registered trademark), wireless LAN, or the like, and transmits various information transmitted and received between the inspection route generation device 100 and the visual inspection device 200.
  • the visual inspection device 200 includes an imaging unit 210, a robot unit 220, and an arithmetic processing unit 230.
  • the image pickup unit 210 takes an image of an inspection object (not shown) and outputs the obtained captured image to the arithmetic processing unit 230.
  • the robot unit 220 is configured by combining a plurality of joints rotatably configured along a predetermined rotation direction and a link connecting each joint, and is configured according to the control of the arithmetic processing unit 230. By adjusting the angle of each joint, the image pickup unit 210 attached to the tip portion is moved to an arbitrary inspection position, and the posture is set according to an arbitrary image pickup direction.
  • the arithmetic processing unit 230 controls the robot unit 220 and determines whether or not the appearance of the inspection object is normal based on the captured image input from the imaging unit 210. As a result, the appearance of the inspection object is inspected.
  • the inspection route generation device 100 visually inspects the order of each inspection position that the image pickup unit 210 passes through when the appearance inspection device 200 performs the appearance inspection of the inspection object, and the posture of the image pickup unit 210 at each inspection position. Generated as an inspection path of the device 200. Then, the generated inspection route information is transmitted to the visual inspection device 200 to support the visual inspection of the inspection object by the visual inspection device 200.
  • the inspection route generation device 100 includes an input device 110, an output device 120, a storage unit 130, and an arithmetic unit 140.
  • the input device 110 is a device for inputting each information to be described later stored in the storage unit 130 by the operation of the user.
  • the input device 110 is configured by using, for example, a keyboard, a mouse, a touch panel, or the like.
  • the output device 120 is a device for outputting information such as the generated inspection route and providing it to the user.
  • the output device 120 is configured by using, for example, a display, a printer, a smartphone, a tablet PC, or the like.
  • the storage unit 130 stores information input from the user using the input device 110 and information such as the calculation result of the calculation device 140.
  • the storage unit 130 is configured by using a well-known information storage device capable of reading and writing data, such as an HDD (Hard Disk Drive) and an SSD (Solid State Drive).
  • the storage unit 130 stores the inspection device configuration information 131, the inspection object information 132, the inspection condition information 133, the route graph information 134, and the output information 135.
  • Information other than this, for example, information such as a program executed by the arithmetic unit 140 may be stored in the storage unit 130.
  • the inspection device configuration information 131 is information regarding the configuration of the visual inspection device 200, and includes the robot configuration information 1310 and the inspection equipment configuration information 1311.
  • the robot configuration information 1310 is information representing the shape of the robot unit 220 in the visual inspection device 200, the range of each joint angle, the limit speed, and the like.
  • the inspection equipment configuration information 1311 is information representing the arrangement of the image pickup unit 210 and the robot unit 220 constituting the visual inspection device 200.
  • the inspection object information 132 is information about an inspection object to be visually inspected by the visual inspection apparatus 200, and includes shape information 1320 and inspection target area information 1321.
  • the shape information 1320 is information representing the shape of the object to be inspected.
  • the inspection target area information 1321 is information representing an area to be inspected for appearance in the inspection target object.
  • the inspection condition information 133 is information regarding constraint conditions when the visual inspection device 200 performs a visual inspection of an inspection object, and includes inspection position information 1330, inspectable area information 1331, and camera movable range information 1332.
  • the inspection position information 1330 is information indicating an inspection position in which the image pickup unit 210 takes an image of an inspection object and a posture of the image pickup unit 210 at each inspection position.
  • the inspectable area information 1331 is information representing an inspectable area for each inspection position.
  • the inspectable area represented by the inspectable area information 1331 is an visual inspection from an image captured for each inspection position acquired by the imaging unit 210 among a plurality of surface areas to be visually inspected in the inspection object. A surface area on which the device 200 can perform a visual inspection.
  • the camera movable range information 1332 is information representing the movable range of the imaging unit 210 at each inspection position.
  • the movable range represented by the camera movable range information 1332 corresponds to the constraint condition of the posture of the imaging unit 210 at each inspection position.
  • the route graph information 134 is information related to the route graph used in the calculation performed by the arithmetic unit 140 when generating the inspection route of the visual inspection apparatus 200, and includes the inter-node connection information 1340 and the movement cost information 1341.
  • the node-to-node connection information 1340 is information representing the connection relationship between the nodes corresponding to each inspection position.
  • the movement cost information 1341 is information representing the movement cost according to the length of the movement time when the image pickup unit 210 moves between each node represented by the connection information between nodes 1340.
  • the output information 135 is information representing the calculation result by the calculation device 140, and includes inspection path information 1350, camera angle information 1351, and robot posture information 1352.
  • the inspection route information 1350 is information representing the optimum inspection route of the visual inspection apparatus 200 generated by the arithmetic of the arithmetic unit 140.
  • the camera angle information 1351 is information representing the rotation angle of the image pickup unit 210 at each inspection position in the inspection path represented by the inspection path information 1350.
  • the robot posture information 1352 is information representing the posture of the robot unit 220 at each inspection position in the inspection path represented by the inspection route information 1350.
  • the arithmetic unit 140 is a part in which the inspection path generation device 100 performs various arithmetic processes for generating an inspection path, and is composed of well-known elements such as a CPU, GPU, RAM, and ROM.
  • the arithmetic unit 140 has, as its functions, a route determination unit 141, an inspectable area calculation unit 142, a camera movable range calculation unit 143, a route graph generation unit 144, a movement cost calculation unit 145, a minimum cost route selection unit 146, and an output information generation.
  • Each functional block of unit 147 is provided.
  • the arithmetic unit 140 can realize these functional blocks by, for example, executing a predetermined program stored in advance.
  • the route determination unit 141 determines the inspection route by using each functional block of the inspectable area calculation unit 142 to the output information generation unit 147. The details of the processing performed by the routing unit 141 will be described later with reference to FIGS. 9 and 10.
  • the inspectable area calculation unit 142 calculates an inspectable area for each inspection position, and stores the calculation result in the storage unit 130 as inspectable area information 1331.
  • the camera movable range calculation unit 143 calculates the movable range of the imaging unit 210 for each inspection position, and stores the calculation result in the storage unit 130 as the camera movable range information 1332.
  • the route graph generation unit 144 sets the nodes corresponding to each inspection position and generates a route graph showing the connection relationship between the nodes. Then, the generated route graph information is stored in the storage unit 130 as the inter-node connection information 1340.
  • the movement cost calculation unit 145 calculates the movement cost when the imaging unit 210 moves between each node of the route graph based on the inspection device configuration information 131 and the inspection condition information 133, and the calculation result is the movement cost information 1341. Is stored in the storage unit 130.
  • the minimum cost route selection unit 146 selects the minimum cost route via all the nodes based on the route graph generated by the route graph generation unit 144 and the movement cost calculated by the movement cost calculation unit 145. As a result, the visual inspection apparatus 200 generates an optimum inspection route when performing a visual inspection of the inspection object.
  • the output information generation unit 147 determines the rotation angle (imaging direction) of the imaging unit 210 at each node and the angle of each joint of the robot unit 220 at each node with respect to the minimum cost route selected by the minimum cost route selection unit 146. To determine. Then, the output information 135 is generated and stored in the storage unit 130 by using these determined information and the information of the inspection route generated by the minimum cost route selection unit 146.
  • FIG. 2 is a diagram showing an example of the data of the robot configuration information 1310 among the inspection device configuration information 131 stored in the storage unit 130.
  • the robot configuration information 1310 has the data shown in the data columns 101 to 103 for each component constituting the robot unit 220.
  • names such as "robot", "link”, and "joint” are stored as classification names of each component constituting the robot unit 220.
  • the item name of the data is stored in the data column 102.
  • data values, file names, and the like are stored as information corresponding to the item names of the data column 102.
  • FIG. 3 is a diagram showing an example of the data of the inspection equipment configuration information 1311 among the inspection equipment configuration information 131 stored in the storage unit 130.
  • the inspection equipment configuration information 1311 has the data shown in the data columns 111 to 114 for each equipment constituting the visual inspection apparatus 200.
  • the data column 111 stores the names of the facilities constituting the visual inspection device 200.
  • the data column 112 stores information corresponding to each equipment to be installed, that is, information indicating to which other equipment each equipment is installed.
  • the data column 113 stores information regarding the relative position of each equipment with respect to the equipment to be attached. Information regarding the relative posture of each equipment with respect to the equipment to be attached is stored in the data column 114.
  • FIG. 4 is a diagram showing an example of the data of the inspection target area information 1321 among the inspection target information 132 stored in the storage unit 130.
  • the inspection target area information 1321 has the data shown in the data columns 211 to 218 for each inspection target to be visually inspected by the visual inspection apparatus 200.
  • the part name of each inspection target is stored in the data column 211.
  • the data representing the areas F1 to Fn of the inspection object is stored in the storage unit 130 as the shape information 1320 of the inspection object information 132, and can be represented in a well-known polygon data format such as STL.
  • FIG. 5 is a diagram showing an example of the data of the inspection condition information 133 stored in the storage unit 130.
  • the inspection condition information 133 contains data columns 301 to 307, 311 to 316, 321 for each inspection position in which the image pickup unit 210 takes an image of the inspection object when the appearance inspection device 200 performs the appearance inspection. It has the data shown in ⁇ 322.
  • Information representing each inspection position is stored in the data column 301.
  • each inspection position is set to A to L, and information representing these inspection positions A to L is stored.
  • Information indicating the relative position of each inspection position with respect to the inspection object is stored in the data columns 302 to 304.
  • Information indicating the relative posture of the image pickup unit 210 at each inspection position with respect to the inspection object is stored in the data columns 305 to 307.
  • the inspection position information 1330 is configured by each of the data of these data columns 302 to 307.
  • the visual inspection apparatus 200 can perform a visual inspection of the regions F1 to Fn from the captured image of the inspection object acquired by the imaging unit 210 at each inspection position.
  • “1" indicates that the region can be inspected from the captured image obtained at each inspection position
  • "0" indicates that the region can be inspected from the captured image obtained at each inspection position. Indicates that the area cannot be inspected.
  • the inspectable area information 1331 is configured by each of the data of these data columns 311 to 316.
  • Information indicating the range in which the robot unit 220 can move the image pickup unit 210 at each inspection position is stored in the data columns 321 to 322, respectively.
  • the minimum rotation angle stored in the data string 321 and the maximum rotation angle stored in the data string 322 represent a rotation angle range when the image pickup unit 210 is rotated in the yaw direction.
  • "30" is stored in the data column 321
  • "200" is stored in the data column 322. This indicates that at the inspection position A, the imaging unit 210 can take the posture required for imaging the inspection object within the range of the yaw rotation angle of 30 ° to 200 °.
  • the camera movable range information 1332 is configured by each of the data of these data columns 321 and 322.
  • the camera movable range information 1332 may be represented by a roll rotation angle, a pitch rotation angle, or the like, or a combination thereof.
  • the camera movable range information 1332 may be used.
  • FIG. 6 is a diagram showing an example of the connection relationship between the nodes represented by the node-to-node connection information 1340 among the route graph information 134 stored in the storage unit 130.
  • the node-to-node connection information 1340 for example, as shown in FIG. 6, nodes corresponding to the inspection positions A to G are set, and the connection relationship between these nodes is represented by an arrow.
  • the information of the arrow between each node shown in FIG. 6 is stored in the storage unit 130 as the inter-node connection information 1340, so that when the visual inspection device 200 performs a visual inspection of the inspection object, the imaging unit 210 moves to the inspection position A.
  • the combination of the order of moving ⁇ G is expressed.
  • FIG. 7 is a diagram showing an example of the data of the movement cost information 1341 among the route graph information 134 stored in the storage unit 130.
  • the movement cost is large for each combination of the column 411 representing the start point node and the row 422 representing the end point node for the connection relationship between each node represented by the connection information between nodes 1340.
  • a numerical value indicating the value is stored.
  • No numerical value is stored for the combination of the start point B and the end point C in FIG. 7 between the nodes whose movement costs are known to be high, for example.
  • the numerical value of the movement cost stored between each node is an asymmetrical numerical value so that the numerical value changes when the start point and the end point are exchanged in order to impose restrictions such as patrolling the inspection position clockwise. It has become.
  • These moving cost values are obtained by obtaining the moving time between each inspection position, the posture change of the imaging unit 210, the traveling direction, etc. based on the inspection device configuration information 131 and the inspection condition information 133 in the moving cost calculation unit 145. Calculated.
  • FIG. 8 is a diagram showing an example of the data of the output information 135 stored in the storage unit 130.
  • the output information 135 is provided in the data columns 501 to 507, 511, 521 to 525 for each inspection position in which the image pickup unit 210 takes an image of the inspection object when the appearance inspection device 200 performs the appearance inspection.
  • Information representing each inspection position is stored in the data sequence 501 in the order in which the imaging unit 210 passes through the inspection route generated by the minimum cost route selection unit 146.
  • Information indicating the relative position of each inspection position with respect to the inspection object is stored in the data columns 502 to 504.
  • Information indicating the relative posture of the image pickup unit 210 at each inspection position with respect to the inspection object is stored in the data columns 505 to 507.
  • the inspection route information 1350 is configured by each of the data of these data columns 502 to 507.
  • the data of each row in the inspection route information 1350 corresponds to the data of each row in the inspection position information 1330, and the same data is stored in the same inspection position.
  • Information indicating the rotation angle of the imaging unit 210 at each inspection position is stored in the data column 511.
  • the camera angle information 1351 is configured by the data of the data string 511.
  • the camera angle information 1351 may be represented by, for example, a roll rotation angle or a pitch rotation angle, and these may be combined to represent the camera angle.
  • Information 1351 may be used.
  • the data columns 521 to 525 store information representing the angles of these joints J1 to Jn at each inspection position when the joints of the robot unit 220 are J1 to Jn (n is a natural number).
  • the robot posture information 1352 is configured by each of the data of these data columns 521 to 525.
  • FIG. 9 is an example of a flowchart of the inspection route planning process according to the first embodiment of the present invention. The process shown in the flowchart of FIG. 9 is executed by the routing unit 141 in the arithmetic unit 140.
  • step S101 the inspection device configuration information 131, the inspection object information 132, and the inspection position information 1330 are read from the storage unit 130 and input to the arithmetic unit 140 as the information used for the processing in step S102. It is assumed that these pieces of information are stored in advance in the storage unit 130 based on the information or the like previously input by the user using the input device 110.
  • step S102 an inspection route determination process for determining the optimum inspection route is executed based on each information input in step S101.
  • the details of the inspection route determination process executed in step S102 will be described later with reference to the flowchart of FIG.
  • step S103 the information of the inspection route determined in step S102 is stored in the storage unit 130 as output information 135, and is output to the output device 120.
  • FIG. 10 is an example of a flowchart of the inspection route determination process performed in step S102.
  • the route determination unit 141 in the arithmetic unit 140, the route determination unit 141 has the inspectable area calculation unit 142, the camera movable range calculation unit 143, the route graph generation unit 144, the movement cost calculation unit 145, and the minimum cost route selection unit. It is executed by using these functional blocks by appropriately calling 146 and the output information generation unit 147.
  • step S200 the inspectable area of the visual inspection device 200 at each inspection position is calculated based on the inspection object information 132 and the inspection position information 1330 read in step S101 of FIG.
  • the inspectable area calculation unit 142 based on the relative position and posture of the imaging unit 210 at each inspection position represented by the inspection position information 1330 by the inspectable area calculation unit 142, and the shape information 1320 included in the inspection object information 132.
  • the position and orientation of the image pickup unit 210 and the positions and orientations of the regions F1 to Fn of the inspection object are compared for each inspection position. As a result, if each of these differences is within a predetermined range, the area is determined as an inspectable area, and if it is outside the predetermined range, the area is determined not to be an inspectable area.
  • the inspectable area information calculated in step S200 is stored in the storage unit 130 as the inspectable area information 1331 included in the inspection condition information 133. Further, based on the inspection target area information 1321 included in the inspection target area information 132, the inspectable area calculated is extracted, and the area of each extracted inspectable area is based on the shape information 1320. To calculate. The area of each inspectable area calculated here is used when calculating the total inspectable areas Ao and Ac in steps S204 and S207 described later.
  • step S201 the movable range of the imaging unit 210 according to the posture in which the robot unit 220 can be taken at each inspection position is calculated based on the inspection device configuration information 131 and the inspection position information 1330 read in step S101 of FIG.
  • the shape of the robot unit 220, the angle range and limit speed of each joint, and the appearance inspection are performed by the camera movable range calculation unit 143.
  • Information such as the shape and arrangement of each facility in the device 200 is acquired, and based on this information, the range of postures that the robot unit 220 can take at each inspection position is calculated.
  • the movable range of the image pickup unit 210 at each inspection position that is, the constraint condition of the posture of the image pickup unit 210 is calculated.
  • the information on the movable range of the imaging unit 210 calculated in step S201 is stored in the storage unit 130 as the camera movable range information 1332 included in the inspection condition information 133.
  • step S202 the movement cost between each inspection position is calculated based on the inspection position information 1330 read in step S101 of FIG. 9 and the camera movable range information 1332 calculated in step S201, and a route graph is generated.
  • the route graph generation unit 144 sets the nodes corresponding to each inspection position based on the inspection position information 1330, and sets the movement route expressing the connection relationship of the image pickup unit 210 by the line connecting each node. .. Then, the movement cost calculation unit 145 calculates the path length (distance between nodes) of each set movement path, the posture change amount of the image pickup unit 210, the traveling direction, etc. based on the inspection position information 1330 and the camera movable range information 1332.
  • the travel route information and travel cost information calculated in step S202 are stored in the storage unit 130 as inter-node connection information 1340 and travel cost information 1341 included in the route graph information 134, respectively.
  • FIG. 11 is an explanatory diagram of a method of calculating the movement cost. Below, four nodes A to D are set as shown in FIG. 11, and an example of calculating the movement cost between these nodes will be described.
  • the movement cost calculation unit 145 is the length (distance) of each movement path connecting the two points for all combinations when two are selected from the four nodes A, B, C, and D shown in FIG. ,
  • the amount of change in posture of the imaging unit 210 and the traveling direction are calculated.
  • FIG. 11 shows an example of the distance of each movement path calculated in this way, the amount of change in the posture of the image pickup unit 210, and the traveling direction. For example, in the movement path starting from the node A and ending at the node B, the distance is 0.2, the posture change amount of the image pickup unit 210 is 30, and the image pickup unit 210 moves in the counterclockwise direction. ing.
  • the movement cost calculation unit 145 calculates the movement cost between each node by evaluating the length of time required for the imaging unit 210 to move each movement route based on the above information calculated for each movement route. It can be calculated and the movement cost information 1341 can be set. At this time, for a movement path in which the movement cost is clearly excessive as compared with other movement paths, such as a movement path in which the amount of change in posture of the imaging unit 210 is equal to or more than a predetermined threshold value, the example of FIG. It is preferable not to set the movement cost in the movement cost information 1341 as in the combination of the start point B and the end point C in. By doing so, in the processing after step S203 described later, it is possible to efficiently determine the inspection route by excluding the candidate of the inspection route which increases the moving cost in advance.
  • the minimum cost route selection unit 146 generates an initial inspection route candidate Ro using the route graph generated in step S202.
  • the initial inspection route candidate Ro is generated by randomly selecting the route route order of the nodes in the route graph, and this is set as the initial value of the inspection route candidate Rc. At this time, it is not always necessary to select a route that goes through all the nodes. Any route that passes through at least two or more nodes can be selected as the initial inspection route candidate Ro. Further, for the movement route for which the cost is not set in the movement cost information 1341, for example, the movement route corresponding to the combination of the start point B and the end point C in FIG. 7, the initial inspection route candidate Ro is generated so as not to include the movement route. It is preferable to do so.
  • the minimum cost route selection unit 146 calculates the total movement cost Co of the initial inspection route candidate Ro generated in step S203 and the total inspectable area Ao.
  • the total travel cost Co is calculated by summing the travel costs calculated in step S202 for each travel route included in the initial inspection route candidate Ro according to the route order of the nodes selected in the initial inspection route candidate Ro. be able to.
  • the total inspectable area Ao can be calculated by totaling the areas of the inspectable areas calculated in step S200 for each inspection position corresponding to each node of the initial inspection route candidate Ro while avoiding duplication. can.
  • the total movement cost Co of the initial inspection route candidate Ro and the total inspectable area Ao calculated in step S204 correspond to the total movement cost Cc of the inspection route candidate Rc and the initial values of the total inspectable area Ac, respectively.
  • steps S205 to S210 loop processing is executed.
  • step S206 From step S206 until the total movement cost Cc of the inspection route candidate Rc set during the loop processing and the value of the total inspectable area Ac each exceed a predetermined threshold value or the number of loops exceeds a predetermined threshold value.
  • the processing up to S210 is repeatedly executed.
  • the minimum cost route selection unit 146 generates a new inspection route candidate Rc from the route graph generated in step S202.
  • an unselected inspection route can be generated as an inspection route candidate Rc by randomly selecting the route passage order of the nodes in the route graph.
  • the inspection route candidate Rc may be generated by exchanging, adding, deleting, or the like, some nodes of the current inspection route R in the loop processing.
  • step S207 the minimum cost route selection unit 146 calculates the total movement cost Cc and the total inspectable area Ac of the inspection route candidate Rc generated in step S206.
  • the total movement cost Cc and the total inspectable area Ac can be calculated by the same method as in step S204.
  • step S210 the minimum cost route selection unit 146 updates the inspection route R, the total movement cost C of the inspection route R, and the total inspectable area A.
  • the inspection route candidate Rc generated in the latest step S206 is set in the inspection route R
  • the total movement cost Cc of the inspection route candidate Rc and the total inspectable area Ac are set to the total movement cost C of the inspection route R and These values are updated by setting each in the total inspectable area A.
  • the inspection route R having the smallest total movement cost Cc and the largest total inspectable region Ac among the plurality of inspection route candidate Rc is finally determined. ..
  • step S211 the output information generation unit 147 calculates the rotation angle of the image pickup unit 210 with respect to each inspection position of the inspection path R finally determined by the loop processing of steps S205 to S210.
  • a combination of rotation angles such that the change in the yaw rotation angle of the imaging unit 210 is minimized within the camera movable range calculated in step S201 is selected for the inspection path R.
  • Select for each inspection position The same calculation method can be applied to the case where the roll rotation angle, the pitch rotation angle, and the like are set for the image pickup unit 210 as described above. As a result, the posture P of the imaging unit 210 in the inspection path R is calculated.
  • step S212 output information 135 is generated based on the inspection path R finally determined by the loop processing of steps S205 to S210 and the posture P calculated in step S212.
  • the output information generation unit 147 determines the angle of each joint of the robot unit 220 in each node of the inspection path R based on the inspection device configuration information 131 and the inspection position information 1330 read in step S101 of FIG. do. Then, the inspection position information 1330 read in step S101 is rearranged according to the route order of each inspection position in the inspection path R, and the posture P corresponding to each inspection position and the angle of each joint are set to set the inspection path information 1350. , Camera angle information 1351 and robot attitude information 1352 are determined. As a result, the output information 135 can be generated.
  • the output information 135 generated in step S212 is stored in the storage unit 130 and is output to the output device 120 in step S103 of FIG. At this time, information such as the total movement cost C of the inspection route R and the total inspectable area A may be included in the output information 135.
  • the movement cost between each node may not be calculated when the route graph is generated in step S202.
  • the node for the entire inspection route candidate when calculating the total movement cost Co of the initial inspection route candidate Ro in step S204, or when calculating the total movement cost Cc of the inspection route candidate Rc in step S207, the node for the entire inspection route candidate. It is preferable to calculate the total movement costs Co and Cc in consideration of the total distance, the amount of change in the posture of the imaging unit 210, the change in the traveling direction, and the like.
  • the calculation method of the total travel cost Cc when the route passing through the four nodes A to D shown in FIG. 11 in the order of A ⁇ B ⁇ C ⁇ D is selected as the inspection route candidate Rc will be described below.
  • ⁇ , ⁇ , and ⁇ are weighting coefficients, and arbitrary values are set for each.
  • the inspection route candidate Rc that minimizes the total movement cost Cc represented by the equation (1) is finally selected as the inspection route R.
  • the inspection route candidate Rc that minimizes the total movement cost Cc represented by the equation (1) is finally selected as the inspection route R.
  • steps S208 and S209 may be exchanged, or only one of steps S208 or S209 may be carried out.
  • step S208 the inspection route candidate Rc having the lowest movement cost is finally selected as the inspection route R in the loop processing of steps S205 to S210. Therefore, an inspection route that can realize the visual inspection of the inspection object by the visual inspection apparatus 200 in a short time can be obtained.
  • step S209 it is determined whether or not the total inspectable area Ac of the inspection route candidate Rc is equal to or greater than a predetermined threshold value, and the process of step S210 is performed only when the threshold value is equal to or greater than the threshold value. You may do it. By doing so, it is possible to prevent the inspection route from being generated in which the inspectable area of the inspection object is narrow and therefore the desired inspection accuracy cannot be obtained.
  • step S208 when only step S208 is performed, the inspection route candidate Rc having the widest inspectable area is finally selected as the inspection route R in the loop processing of steps S205 to S210. Therefore, in the visual inspection of the inspection object by the visual inspection apparatus 200, an inspection route capable of maximizing the inspectable area can be obtained.
  • step S208 it is determined whether or not the total movement cost Cc of the inspection route candidate Rc is equal to or less than a predetermined threshold value, and the process of step S210 is performed only when it is equal to or less than the threshold value. You may. By doing so, it is possible to prevent the generation of an inspection route in which the visual inspection cannot be performed within a desired time due to the high movement cost.
  • the total cost W1 which is the weighted sum of the total movement cost Cc of the inspection route candidate Rc and the total inspectable area Ac is calculated by the following equation (2), and this total cost is calculated.
  • W1 may be used to evaluate the test route candidate Rc.
  • W1 ⁇ Cc + ⁇ (A all -Ac) ... Equation (2)
  • ⁇ and ⁇ are weighting coefficients, and arbitrary values are set for each. Further, A all is the total area of the inspection target area in the inspection target.
  • the total cost W1 for all the movement routes included in the route graph generated in step S202 is calculated by the above equation (2), and then the route for minimizing the total cost W1 is obtained. It may be obtained as the inspection route R.
  • the inspection path R that minimizes the total cost W1 may be calculated by a general method such as a brute force method or a greedy method.
  • the total cost W2 different from the total cost W1 is calculated for all the routes represented by the route graph generated in step S202, and then the total cost W2 is calculated.
  • the route to be minimized may be obtained as the inspection route R.
  • the total cost W2 is calculated using, for example, the following equation (3) as a weighted sum of the total movement cost Cc of each inspection route candidate Rc obtained from the route graph, the total inspectable region Ac, and the total posture change amount Y. can do.
  • W2 ⁇ Cc + ⁇ (A all -Ac) + ⁇ (MAX (Y) -MIN (Y)) ... Equation (3)
  • MAX (Y) is the maximum value of the total posture change amount Y
  • MIN (Y) is the minimum value of the total posture change amount Y.
  • the inspection path R can be optimized at one time including the amount of change in the posture of the imaging unit 210.
  • the optimum solution of the inspection path R in this case can be solved as a traveling salesman problem, or can be calculated by a general method such as a brute force method or a greedy method.
  • FIG. 12 is a diagram showing an example of an output screen in the inspection route generation device according to the first embodiment of the present invention.
  • the output screen 1100 shown in FIG. 12 is displayed in the output device 120 based on the output information 135 output in step S103 of FIG.
  • the output screen 1100 includes selection frames 1101 to 1103, operation buttons 1104 to 1107, an inspection route list 1108, and a display frame 1109.
  • the user can select any inspection equipment as the appearance inspection device 200 by using the input device 110.
  • Information on the selected inspection equipment is displayed in the selection frame 1101.
  • the inspection equipment configuration information 131 corresponding to the inspection equipment is stored in the storage unit 130.
  • the user can select an arbitrary inspection object by using the input device 110.
  • the information of the selected inspection object is displayed in the selection frame 1102.
  • the inspection object information 132 and the inspection position information 1330 corresponding to the inspection object are stored. It is stored in the unit 130.
  • the user After the inspection device configuration information 131, the inspection object information 132, and the inspection position information 1330 are stored in the storage unit 130 as described above, the user performs an operation of selecting the operation button 1106 on the output screen 1100.
  • the arithmetic unit 140 can be made to execute the route planning process.
  • the route determination unit 141 executes the process according to the flowcharts of FIGS. 9 and 10.
  • the inspection route list 1108 displays a list of inspection routes generated by the route planning process. Here, based on the output information 135 determined in the route planning process plus the above-mentioned total movement cost C and total inspectable area A, for example, the execution time of the appearance inspection in each inspection route and the posture change of the imaging unit 210. Information such as the amount and coverage of the area to be inspected is displayed. By selecting any of the inspection routes in the inspection route list 1108, the user can select an execution recipe when the visual inspection apparatus 200 performs the visual inspection. The information of the selected execution recipe is displayed in the selection frame 1103.
  • the appearance inspection by the execution recipe is displayed in the display frame 1109. From the display contents of the display frame 1109, the user visually confirms the movement of the visual inspection device 200 in the visual inspection, the posture change of the image pickup unit 210, the inspectable area of the inspection object, and the like, and determines the inspection route to be adopted. can do.
  • FIG. 13 is a diagram showing another example of an output screen in the inspection route generation device according to the first embodiment of the present invention.
  • the output screen 1200 shown in FIG. 13 is displayed in the output device 120 based on the output information 135 output in step S103 of FIG. 9, similarly to the output screen 1100 of FIG.
  • the output screen 1200 includes a display frame 1201 instead of the display frame 1109 in the output screen 1100 of FIG.
  • the display frame 1201 displays a change in the posture of the image pickup unit 210, for example, a change in the yaw rotation angle in the visual inspection according to the selected execution recipe. From the display contents of the display frame 1201, the user can confirm how much the posture change of the imaging unit 210 in the visual inspection is, and determine the inspection route to be adopted.
  • the inspection route generation device 100 generates an inspection route of the appearance inspection device 200 that inspects the appearance of the inspection object based on the image captured by the image pickup unit 210.
  • the inspection route generation device 100 is a storage unit that stores inspection position information 1330 representing a plurality of inspection positions in which the image pickup unit 210 captures an image of an inspection object, and inspection device configuration information 131 representing the configuration of the visual inspection device 200. It includes 130 and a routing unit 141. Based on the inspection position information 1330 and the inspection device configuration information 131, the route determination unit 141 determines the path length and the amount of change in the posture of the image pickup unit 210 between the inspection positions when the image pickup unit 210 moves through a plurality of inspection positions.
  • step S202 It is calculated (step S202), and the inspection route is determined based on the calculated route length and the amount of change in posture (steps S203 to S210). As described above, it is possible to provide an inspection route capable of shortening the inspection time while suppressing a decrease in inspection accuracy for the visual inspection apparatus 200 that inspects the appearance of the inspection object.
  • the route determination unit 141 sets the movement costs Co and Cc based on the path length between each inspection position when the image pickup unit 210 moves between a plurality of inspection positions, the amount of change in the posture of the image pickup unit 210, and the traveling direction. It is calculated (steps S202, S204, S206), and the inspection route is determined based on the calculated movement costs Co and Cc (steps S208 to S210). Since this is done, it is possible to reliably determine the inspection route having the shortest inspection time within a predetermined inspection accuracy range.
  • the route determination unit 141 calculates a constraint condition for the posture of the image pickup unit 210 at each inspection position based on the inspection device configuration information 131 (step S201), and changes the posture of the image pickup unit 210 based on the calculated constraint condition. Calculate the amount (step S202). As a result, the amount of change in the posture of the image pickup unit 210 can be accurately calculated in consideration of the range of postures that the image pickup unit 210 can take in the visual inspection apparatus 200.
  • the route determination unit 141 does not set the movement cost when the amount of change in the posture of the imaging unit 210 between arbitrary inspection positions is equal to or more than a predetermined threshold value. May be good. By doing so, when a plurality of inspection route candidate Rc are generated in the loop processing of steps S205 to S210 and the inspection route R is determined from the generated plurality of inspection route candidate Rc, the inspection route corresponding to the condition is satisfied.
  • the inspection route R is determined by excluding the candidate Rc. As a result, it is possible to efficiently determine the inspection route by excluding the inspection route candidates having an excessive inspection time in advance.
  • the inspection route generation device 100 comprises an inspection position information 1330 indicating a plurality of inspection positions in which the image pickup unit 210 of the visual inspection device 200 captures an image of an inspection object by the arithmetic unit 140, and a configuration of the visual inspection device 200.
  • a process of calculating the path length and the amount of change in the posture of the imaging unit 210 between them (step S202) and a process of determining the inspection route based on the calculated path length and the amount of change in the posture (steps S203 to S210) are executed. do.
  • FIG. 14 is a diagram showing a configuration example of a visual inspection system including an inspection route generation device according to a second embodiment of the present invention.
  • the visual inspection system shown in FIG. 14 is configured by connecting the inspection route generation device 100A and the visual inspection device 200 to each other via a communication line 300.
  • the difference between the inspection route generation device 100 of FIG. 1 described in the first embodiment and the inspection route generation device 100A shown in FIG. 14 is the route determination unit 141 and the inspectable area calculation unit already described in the arithmetic unit 140A.
  • the route change unit 151 changes the inspection route determined by the route determination unit 141 by using each functional block of the change target inspection position selection unit 152, the candidate position setting unit 153, and the candidate position selection unit 154. The details of the processing performed by the route changing unit 151 will be described later with reference to FIGS. 15 and 16.
  • the change target inspection position selection unit 152 selects any of a plurality of inspection positions in the inspection route determined by the route determination unit 141 as the change target inspection position.
  • the change target inspection position selection unit 152 selects the change target inspection position based on, for example, the movement cost between inspection positions or the designation from the user.
  • the candidate position setting unit 153 has a plurality of candidate positions that are candidates for the inspection position to be changed and the posture of the imaging unit 210 at each candidate position around the change target inspection position selected by the change target inspection position selection unit 152. Set the combination with.
  • the candidate position selection unit 154 does not reduce the inspectable area from the combination of the plurality of candidate positions set by the candidate position setting unit 153 and the posture of the image pickup unit 210, and the total movement cost in the entire inspection route is not reduced.
  • the combination that minimizes is selected as the changed inspection position and the posture of the imaging unit 210.
  • FIG. 15 is an example of a flowchart of the inspection route planning process according to the second embodiment of the present invention. The process shown in the flowchart of FIG. 15 is executed by the route determination unit 141 and the route change unit 151 in the arithmetic unit 140A.
  • step S301 the inspection device configuration information 131, the inspection object information 132, and the inspection position information 1330 are read from the storage unit 130 and input to the arithmetic unit 140A as the information used for the processing in step S302. It is assumed that these pieces of information are stored in advance in the storage unit 130 based on the information or the like previously input by the user using the input device 110.
  • step S302 an inspection route determination process for determining the optimum inspection route is executed based on each information input in step S301.
  • the inspection route determination process is executed according to the flowchart of FIG. 10 described in the first embodiment.
  • step S303 the inspection route change process for changing the inspection route determined in step S302 is executed.
  • the details of the inspection route change process executed in step S303 will be described later with reference to the flowchart of FIG.
  • step S304 it is determined whether or not the visual inspection by the inspection route changed in step S303 is feasible in the visual inspection apparatus 200. For example, from the inspection device configuration information 131 input in step S301, information such as the shape of the robot unit 220 in the visual inspection device 200, the angle range of each joint, the limit speed, and the shape of each facility constituting the visual inspection device 200. By acquiring information such as arrangement and performing buffering determination or the like based on this information, it is determined whether or not the operation according to the changed inspection path can be executed in the robot unit 220. As a result, if it is determined that it is feasible, the process proceeds to the process of step S305, and if it is determined that it is not feasible, the process proceeds to the process of step S302. When the process transitions to the process of step S302, the inspection route determination process is executed again in step S302, so that an inspection route different from the previous one is determined.
  • step S305 the information of the inspection route changed in step S303 is stored in the storage unit 130 as output information 135, and is output to the output device 120.
  • FIG. 16 is an example of a flowchart of the inspection route change process performed in step S303.
  • the route changing unit 151 in the arithmetic unit 140A, has the inspectable area calculation unit 142, the minimum cost route selection unit 146, the change target inspection position selection unit 152, the candidate position setting unit 153, and the candidate position selection. Execution is performed using these functional blocks by calling unit 154 as appropriate.
  • step S401 the inspection route R determined in step S302 of FIG. 15, the posture P of the inspection route R, the total movement cost C, and the total inspectable area A are input to the route change unit 151.
  • steps S402 to S407 loop processing is executed.
  • the processes from steps S403 to S407 are repeatedly executed until the number of loops exceeds a predetermined threshold value.
  • step S403 the change target inspection position selection unit 152 compares the change in the posture P of the imaging unit 210 with the front and rear inspection positions among the plurality of inspection positions included in the inspection path R input in step S401.
  • the larger inspection position is selected as the inspection position X to be changed.
  • FIG. 17 is an explanatory diagram of a method of selecting an inspection position to be changed.
  • the state of change in the posture P at each inspection position and the yaw rotation angle of the imaging unit 210 at each inspection position with respect to the inspection path R passing through the inspection positions A to G exemplified in FIG. 6 in order. Shows the range.
  • the range of the yaw rotation angle that the image pickup unit 210 can take is determined in consideration of the movable range of the robot unit 220.
  • the arrows in the graph of FIG. 17 indicate changes in the posture P set for each inspection position, that is, changes in the yaw rotation angle of the imaging unit 210.
  • the change in posture P is larger between the time of moving from the inspection position D to the inspection position E and the time of moving from the inspection position E to the inspection position F than when moving between other inspection positions. You can see that. Therefore, for this inspection path R, the inspection position E is selected as the inspection position X to be changed.
  • the inspection position X to be changed may be selected by using another method.
  • the user may arbitrarily select any inspection position to select the inspection position X to be changed.
  • an inspection position that matches the condition preset by the user may be selected as the inspection position X to be changed.
  • step S404 in the vicinity of the change target inspection position X set in step S403 by the candidate position setting unit 153, the candidate position X'instead of the change target inspection position X and the candidate position X thereof.
  • N sets (N is an arbitrary natural number) are randomly generated in combination with the candidate posture P in'.
  • FIG. 18 is an explanatory diagram of a method of setting a candidate position and a candidate posture.
  • FIG. 18 shows examples of inspection positions D, E, and F, candidate positions X', and candidate postures P'among the inspection positions A to G exemplified in FIG.
  • the inspection position E is selected as the inspection position X to be changed in step S403 as described above, as shown in FIG. 18, the combination of the candidate position X'and the candidate posture P'is random around the inspection position E. N sets are generated in.
  • step S404 only one of the candidate position X'and the candidate posture P'may be generated for the changed target inspection position X, and the original value may be used as it is for the other. That is, the inspection path R can be changed by changing at least one of the position and the posture of the imaging unit 210 at the inspection position X to be changed.
  • the inspectable area calculation unit 142 calculates the inspectable area of the appearance inspection device 200 at each candidate position X'generated in step S404.
  • the inspectable area of the appearance inspection device 200 at each candidate position X' can be calculated by the same method as in step S200 of FIG. .. That is, it is included in the relative position of the imaging unit 210 at each candidate position X', the candidate posture P'representing the relative posture of the imaging unit 210 at each candidate position X', and the inspection object information 132.
  • the position and orientation of the imaging unit 210 and the positions and orientations of the regions F1 to Fn of the inspection object are compared for each candidate position X'. As a result, if each of these differences is within a predetermined range, the area is determined as an inspectable area, and if it is outside the predetermined range, the area is determined not to be an inspectable area. Further, based on the inspection target area information 1321 included in the inspection target area information 132, the inspectable area calculated is extracted, and the area of each extracted inspectable area is based on the shape information 1320. To calculate. The area of each inspectable area calculated here is used when calculating the total inspectable area A'in step S406 described later.
  • step S406 the candidate position selection unit 154 calculates the total movement cost C'and the total inspectable area A'of the inspection path R when the change target inspection position X in the inspection path R is changed to each candidate position X'. do.
  • the same method as in steps S204 and S207 of FIG. 10 is used by using the area of each inspectable area calculated in step S405. Then, the total movement cost C'and the total inspectable area A'are calculated respectively.
  • the total movement cost C'based on the amount of change in posture and the traveling direction of 210 and the total inspectable area A'representing the area of the inspection object that can be inspected by the visual inspection device 200 can be calculated.
  • step S407 the candidate position selection unit 154 updates the inspection path R and the posture P based on the total movement cost C'calculated in step S406 and the total inspectable area A'.
  • the total inspectable area A' is equal to or greater than the total inspectable area A of the original inspection path R.
  • the candidate position X' that minimizes the total movement cost C'is set as the changed inspection position.
  • the inspection path R is updated by replacing the changed target inspection position X with this inspection position
  • the posture P is updated by setting the posture at this inspection position as the candidate posture P'.
  • the position and posture of the image pickup unit 210 after the change with respect to the change target inspection position X can be determined, and the inspection path R and the posture P can be updated so that the inspection accuracy is maintained and the inspection time is the shortest. ..
  • step S408 the inspection path R and the posture P updated in step S407 are output as the inspection path R and the posture P after the change by the inspection route change process.
  • the changed inspection path R and posture P are reflected in the inspection route generation device 100A.
  • the storage unit 130 may retain both the information on the inspection path R and the posture P before the change and the information on the inspection route R and the posture P after the change.
  • the inspection route generation device 100A includes a route changing unit 151 that changes the inspection route determined by the route determining unit 141.
  • the storage unit 130 stores the inspection object information 132 representing the shape of the inspection object.
  • the route changing unit 151 calculates an inspectable area representing an inspectable object area that can be inspected by the visual inspection device 200 when the inspection route is changed based on the inspection object information 132 (steps S405 and S406).
  • the changed inspection route is determined based on the calculated inspectable area (step S407).
  • the route changing unit 151 selects one of the plurality of inspection positions as the change target inspection position X (step S403), and at least one of the position and the posture of the image pickup unit 210 at the selected change target inspection position X. By changing the inspection route, the inspection route is changed (step S404). Since this is done, the inspection route can be appropriately changed by making the best use of the original inspection route to some extent.
  • the route changing unit 151 moves each of the imaging units 210 when moving a plurality of inspection positions of the inspection route R.
  • the movement cost C' based on the path length between the inspection positions, the amount of change in the posture of the imaging unit 210, and the traveling direction, and the inspectable area A'are calculated (step S406), and the calculated movement cost C'and the inspectable area are calculated.
  • the position and posture of the image pickup unit 210 after the change with respect to the inspection position X to be changed are determined, and the inspection path R after the change is determined based on the position and attitude of the image pickup unit 210 after the change. (Step S407).
  • a plurality of candidate positions X' are set in the vicinity of the inspection position X to be changed (step S404), and the inspectable area A'is not reduced in the set plurality of candidate positions X', and the inspectable area A'is not reduced.
  • the route change unit 151 may select the change target inspection position X based on the information input from the user. By doing so, the user can arbitrarily select the inspection position X to be changed and change the inspection route.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Manipulator (AREA)

Abstract

検査経路生成装置は、撮像部で撮像した画像に基づいて検査対象物の外観検査を行う外観検査装置の検査経路を生成するものであって、前記撮像部が前記検査対象物の撮像を行う複数の検査位置を表す検査位置情報と、前記外観検査装置の構成を表す検査装置構成情報と、を記憶する記憶部と、前記検査位置情報および前記検査装置構成情報に基づいて、前記撮像部が前記複数の検査位置を移動する際の各検査位置間での経路長および前記撮像部の姿勢変化量を算出し、算出した前記経路長および前記姿勢変化量に基づいて前記検査経路を決定する経路決定部と、を備える。

Description

検査経路生成装置、検査経路生成方法
　本発明は、検査対象物の外観検査を行う外観検査装置が複数の検査位置を移動する際の検査経路を生成する装置および方法に関する。
　本発明に関する背景技術として、下記特許文献１の技術が知られている。特許文献１には、検査面上に設定された複数の撮像領域の撮像が行われるように被検査体を動かす移動機構を備え、検査面上での撮像領域の移動軌跡に、被検査体の重心の回りを回るように移動する区間が含まれることで、よりスムーズに複数の撮像領域（検査領域）で被検査体を撮像することが可能な検査システムが開示されている。
日本国特開２０１６－２２４７０７号公報
　特許文献１に開示された検査システムでは、被検査体の重心の回りを回る渦巻き状の移動軌跡を設定し、この移動軌跡上の複数の検査領域で被検査体を撮像して検査することにより、検査領域間の移動量を最小化し、検査時間の短縮を図っている。しかしながら、特許文献１の方法では、撮像時のカメラの姿勢までは考慮されていない。そのため、被検査体に存在する欠陥を複数の検査領域で撮像した場合、その欠陥の撮像画像上の位置もカメラの動きに合わせて渦巻き状に変化してしまう。このように、検査対象物の同一面を複数の視点からカメラで撮像して外観検査を行う場合、従来技術ではカメラの姿勢変化が大きいため、検査対象物が有する欠陥の撮像画像上の位置変化が大きくなり、その結果、検査精度が下がるという問題があった。
　そこで本発明では、検査対象物の外観検査を行う外観検査装置に対して、検査精度の低下を抑えつつ、検査時間を短縮化することが可能な検査経路を提供することを主な目的とする。
　本発明による検査経路生成装置は、撮像部で撮像した画像に基づいて検査対象物の外観検査を行う外観検査装置の検査経路を生成するものであって、前記撮像部が前記検査対象物の撮像を行う複数の検査位置を表す検査位置情報と、前記外観検査装置の構成を表す検査装置構成情報と、を記憶する記憶部と、前記検査位置情報および前記検査装置構成情報に基づいて、前記撮像部が前記複数の検査位置を移動する際の各検査位置間での経路長および前記撮像部の姿勢変化量を算出し、算出した前記経路長および前記姿勢変化量に基づいて前記検査経路を決定する経路決定部と、を備える。
　本発明による検査経路生成方法は、撮像部で撮像した画像に基づいて検査対象物の外観検査を行う外観検査装置の検査経路を生成するものであって、演算装置により、前記撮像部が前記検査対象物の撮像を行う複数の検査位置を表す検査位置情報と、前記外観検査装置の構成を表す検査装置構成情報と、を取得する処理と、取得した前記検査位置情報および前記検査装置構成情報に基づいて、前記撮像部が前記複数の検査位置を移動する際の各検査位置間での経路長および前記撮像部の姿勢変化量を算出する処理と、算出した前記経路長および前記姿勢変化量に基づいて前記検査経路を決定する処理と、を実行する。
　本発明によれば、検査対象物の外観検査を行う外観検査装置に対して、検査精度の低下を抑えつつ、検査時間を短縮化することが可能な検査経路を提供することができる。
　上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
本発明の第１の実施形態に係る検査経路生成装置を含む外観検査システムの構成例を示す図である。 ロボット構成情報のデータの一例を示す図である。 検査設備構成情報のデータの一例を示す図である。 検査対象領域情報のデータの一例を示す図である。 検査条件情報のデータの一例を示す図である。 ノード間接続情報が表すノード間の接続関係の一例を示す図である。 移動コスト情報のデータの一例を示す図である。 出力情報のデータの一例を示す図である。 本発明の第１の実施形態に係る検査経路の計画処理のフローチャートの一例である。 検査経路決定処理のフローチャートの一例である。 移動コストの算出方法の説明図である。 本発明の第１の実施形態に係る検査経路生成装置における出力画面の一例を示す図である。 本発明の第１の実施形態に係る検査経路生成装置における出力画面の別の一例を示す図である。 本発明の第２の実施形態に係る検査経路生成装置を含む外観検査システムの構成例を示す図である。 本発明の第２の実施形態に係る検査経路の計画処理のフローチャートの一例である。 検査経路変更処理のフローチャートの一例である。 変更対象検査位置の選択方法の説明図である。 候補位置と候補姿勢の設定方法の説明図である。
　以下、図面を参照して本発明の実施形態を説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施する事が可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。
　図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。
　同一あるいは同様な機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。
　また、以下の説明では、プログラムを実行して行う処理を説明する場合があるが、プログラムは、プロセッサ（例えばＣＰＵ、ＧＰＵ）によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）および／またはインターフェースデバイス（例えば通信ポート）等を用いながら行うため、処理の主体がプロセッサとされてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算装置であれば良く、特定の処理を行う専用回路（例えばＦＰＧＡやＡＳＩＣ）を含んでいてもよい。
　プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。
－第１の実施形態－
　本発明の第１の実施形態について以下に説明する。
[装置構成の説明]
　図１は、本発明の第１の実施形態に係る検査経路生成装置を含む外観検査システムの構成例を示す図である。図１に示す外観検査システムは、検査経路生成装置１００と外観検査装置２００が通信回線３００を介して互いに接続されることにより構成されている。通信回線３００は、例えばイーサネット（登録商標）や無線ＬＡＮ等を用いて構成されており、検査経路生成装置１００と外観検査装置２００の間で送受信される様々な情報を伝送する。
　外観検査装置２００は、撮像部２１０、ロボット部２２０および演算処理部２３０を備える。撮像部２１０は、不図示の検査対象物を撮像し、得られた撮像画像を演算処理部２３０に出力する。ロボット部２２０は、所定の回転方向に沿って回転自在に構成された複数の関節（ジョイント）と、各ジョイント間をつなぐリンクとを組み合わせて構成されており、演算処理部２３０の制御に応じて各ジョイントの角度を調整することで、先端部に取り付けられた撮像部２１０を任意の検査位置に移動させるとともに、任意の撮像方向に応じた姿勢とする。演算処理部２３０は、ロボット部２２０の制御を行うとともに、撮像部２１０から入力される撮像画像に基づいて、検査対象物の外観が正常であるか否かを判断する。これにより、検査対象物の外観検査が行われる。
　検査経路生成装置１００は、外観検査装置２００が検査対象物の外観検査を行う際に撮像部２１０が通過する各検査位置の順序と、各検査位置での撮像部２１０の姿勢とを、外観検査装置２００の検査経路として生成する。そして、生成した検査経路の情報を外観検査装置２００へ送信し、外観検査装置２００による検査対象物の外観検査を支援する。
　検査経路生成装置１００は、入力装置１１０、出力装置１２０、記憶部１３０、演算装置１４０を有する。
　入力装置１１０は、ユーザの操作により、記憶部１３０において記憶される後述の各情報を入力するための装置である。入力装置１１０は、例えばキーボード、マウス、タッチパネルなどを用いて構成される。
　出力装置１２０は、生成した検査経路などの情報を出力してユーザに提供するための装置である。出力装置１２０は、例えば、ディスプレイ、プリンタ、スマートフォン、タブレット型ＰＣなどを用いて構成される。
　記憶部１３０は、入力装置１１０を用いてユーザから入力された情報や、演算装置１４０の演算結果などの情報を記憶する。記憶部１３０は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）など、データの読み書きが可能な周知の情報記憶装置を用いて構成される。記憶部１３０には、検査装置構成情報１３１、検査対象物情報１３２、検査条件情報１３３、経路グラフ情報１３４および出力情報１３５が記憶される。なお、これ以外の情報、例えば演算装置１４０において実行されるプログラムなどの情報を記憶部１３０に記憶してもよい。
　検査装置構成情報１３１は、外観検査装置２００の構成に関する情報であり、ロボット構成情報１３１０および検査設備構成情報１３１１を含む。ロボット構成情報１３１０は、外観検査装置２００におけるロボット部２２０の形状、各関節角度の範囲と限界速度などを表す情報である。検査設備構成情報１３１１は、外観検査装置２００を構成する撮像部２１０やロボット部２２０の配置などを表す情報である。
　検査対象物情報１３２は、外観検査装置２００が外観検査を行う検査対象物に関する情報であり、形状情報１３２０および検査対象領域情報１３２１を含む。形状情報１３２０は、検査対象物の形状を表す情報である。検査対象領域情報１３２１は、検査対象物において外観検査の対象となる領域を表す情報である。
　検査条件情報１３３は、外観検査装置２００が検査対象物の外観検査を行う際の制約条件に関する情報であり、検査位置情報１３３０、検査可能領域情報１３３１およびカメラ可動範囲情報１３３２を含む。検査位置情報１３３０は、撮像部２１０が検査対象物の撮像を行う検査位置と、各検査位置における撮像部２１０の姿勢とを表す情報である。検査可能領域情報１３３１は、各検査位置に対する検査可能領域を表す情報である。なお、検査可能領域情報１３３１によって表される検査可能領域とは、検査対象物において外観検査の対象とされる複数の表面領域のうち、撮像部２１０が取得した検査位置ごとの撮像画像から外観検査装置２００が外観検査を実施可能な表面領域のことである。カメラ可動範囲情報１３３２は、各検査位置における撮像部２１０の可動範囲を表す情報である。なお、カメラ可動範囲情報１３３２により表される可動範囲は、各検査位置における撮像部２１０の姿勢の制約条件に相当する。
　経路グラフ情報１３４は、外観検査装置２００の検査経路を生成する際に演算装置１４０が行う演算において使用される経路グラフに関する情報であり、ノード間接続情報１３４０および移動コスト情報１３４１を含む。ノード間接続情報１３４０は、各検査位置に対応するノード間の接続関係を表す情報である。移動コスト情報１３４１は、ノード間接続情報１３４０によって表される各ノード間を撮像部２１０が移動する際の移動時間の長さに応じた移動コストを表す情報である。
　出力情報１３５は、演算装置１４０による演算結果を表す情報であり、検査経路情報１３５０、カメラ角度情報１３５１およびロボット姿勢情報１３５２を含む。検査経路情報１３５０は、演算装置１４０の演算によって生成された外観検査装置２００の最適な検査経路を表す情報である。カメラ角度情報１３５１は、検査経路情報１３５０が表す検査経路における各検査位置での撮像部２１０の回転角度を表す情報である。ロボット姿勢情報１３５２は、検査経路情報１３５０が表す検査経路における各検査位置でのロボット部２２０の姿勢を表す情報である。
　演算装置１４０は、検査経路生成装置１００が検査経路を生成するための各種演算処理を行う部分であり、例えばＣＰＵ、ＧＰＵ、ＲＡＭ、ＲＯＭ等の周知の要素により構成される。演算装置１４０は、その機能として、経路決定部１４１、検査可能領域算出部１４２、カメラ可動範囲算出部１４３、経路グラフ生成部１４４、移動コスト算出部１４５、最小コスト経路選択部１４６、出力情報生成部１４７の各機能ブロックを有する。演算装置１４０は、例えば予め記憶された所定のプログラムを実行することで、これらの機能ブロックを実現することができる。
　経路決定部１４１は、検査可能領域算出部１４２～出力情報生成部１４７の各機能ブロックを用いて、検査経路を決定する。なお、経路決定部１４１が行う処理の詳細については、後で図９および図１０を参照して説明する。
　検査可能領域算出部１４２は、各検査位置に対する検査可能領域を算出し、その算出結果を検査可能領域情報１３３１として記憶部１３０に格納する。
　カメラ可動範囲算出部１４３は、各検査位置に対する撮像部２１０の可動範囲を算出し、その算出結果をカメラ可動範囲情報１３３２として記憶部１３０に格納する。
　経路グラフ生成部１４４は、各検査位置に対応するノードを設定し、各ノード間の接続関係を表す経路グラフを生成する。そして、生成した経路グラフの情報をノード間接続情報１３４０として記憶部１３０に格納する。
　移動コスト算出部１４５は、検査装置構成情報１３１や検査条件情報１３３に基づいて、経路グラフの各ノード間を撮像部２１０が移動する際の移動コストを算出し、その算出結果を移動コスト情報１３４１として記憶部１３０に格納する。
　最小コスト経路選択部１４６は、経路グラフ生成部１４４により生成された経路グラフと、移動コスト算出部１４５により算出された移動コストとに基づいて、全ノードを経由する最小コストの経路を選択する。これにより、外観検査装置２００が検査対象物の外観検査を行う際に最適な検査経路を生成する。
　出力情報生成部１４７は、最小コスト経路選択部１４６により選択された最小コストの経路について、各ノードにおける撮像部２１０の回転角度（撮像方向）と、各ノードにおけるロボット部２２０の各関節の角度とを決定する。そして、決定したこれらの情報と、最小コスト経路選択部１４６により生成された検査経路の情報とを用いて、出力情報１３５を生成し、記憶部１３０に格納する。
[データの説明]
　次に、本発明の第１の実施形態に係る検査経路生成装置において用いられるデータについて、図２～図８を参照して以下に説明する。
　図２は、記憶部１３０に格納されている検査装置構成情報１３１のうちロボット構成情報１３１０のデータの一例を示す図である。図２の例において、ロボット構成情報１３１０は、ロボット部２２０を構成する各構成要素について、データ列１０１～１０３に示すデータを有している。データ列１０１には、ロボット部２２０を構成する各構成要素の分類名称として、例えば「ロボット」、「リンク」、「ジョイント」等の名称が格納されている。データ列１０２には、データの項目名称が格納されている。データ列１０３には、データ列１０２の項目名称に対応した情報として、データ値やファイル名などが格納されている。
　図３は、記憶部１３０に格納されている検査装置構成情報１３１のうち検査設備構成情報１３１１のデータの一例を示す図である。図３の例において、検査設備構成情報１３１１は、外観検査装置２００を構成する各設備について、データ列１１１～１１４に示すデータを有している。データ列１１１には、外観検査装置２００を構成する各設備の名称が格納されている。データ列１１２には、各設備に対応する取り付け対象設備、すなわち各設備が他のどの設備に対して取り付けられているかを表す情報が格納されている。データ列１１３には、取り付け対象設備に対する各設備の相対位置に関する情報が格納されている。データ列１１４には、取り付け対象設備に対する各設備の相対姿勢に関する情報が格納されている。
　図４は、記憶部１３０に格納されている検査対象物情報１３２のうち検査対象領域情報１３２１のデータの一例を示す図である。図４の例において、検査対象領域情報１３２１は、外観検査装置２００が外観検査を行う各検査対象物について、データ列２１１～２１８に示すデータを有している。データ列２１１には、各検査対象物の部品名が格納されている。データ列２１１～２１８には、各検査対象物の表面を複数の領域に分割して各領域をＦ１～Ｆｎ（ｎは自然数）とした場合に、これらの領域Ｆ１～Ｆｎが外観検査の対象であるか否かを表す情報がそれぞれ格納されている。具体的には、データ列２１１～２１８において、「１」は当該領域が検査対象であることを表し、「０」は当該領域が検査対象外であることを表している。なお、検査対象物の領域Ｆ１～Ｆｎを表すデータは、検査対象物情報１３２のうち形状情報１３２０として記憶部１３０に記憶されており、例えばＳＴＬなどの周知のポリゴンデータ形式で表すことができる。
　図５は、記憶部１３０に格納されている検査条件情報１３３のデータの一例を示す図である。図５の例において、検査条件情報１３３は、外観検査装置２００が外観検査を行う際に撮像部２１０が検査対象物の撮像を行う各検査位置について、データ列３０１～３０７，３１１～３１６，３２１～３２２に示すデータを有している。データ列３０１には、各検査位置を表す情報が格納されている。図５の例では、各検査位置をＡ～Ｌとして、これらの検査位置Ａ～Ｌを表す情報が格納されている。
　データ列３０２～３０４には、検査対象物に対する各検査位置の相対的な位置を表す情報が格納されている。データ列３０５～３０７には、検査対象物に対する各検査位置での撮像部２１０の相対的な姿勢を表す情報が格納されている。これらのデータ列３０２～３０７の各データにより、検査位置情報１３３０が構成される。
　データ列３１１～３１６には、各検査位置において撮像部２１０により取得される検査対象物の撮像画像から、外観検査装置２００が領域Ｆ１～Ｆｎの外観検査を実施可能であるか否かを表す情報がそれぞれ格納されている。具体的には、データ列３１１～３１６において、「１」は各検査位置で得られる撮像画像から当該領域が検査可能であることを表し、「０」は各検査位置で得られる撮像画像から当該領域が検査不可能であることを表している。これらのデータ列３１１～３１６の各データにより、検査可能領域情報１３３１が構成される。
　データ列３２１～３２２には、各検査位置においてロボット部２２０が撮像部２１０を動かすことができる範囲を表す情報がそれぞれ格納されている。図５の例では、データ列３２１に格納される最小回転角度と、データ列３２２に格納される最大回転角度とにより、撮像部２１０をヨー方向に回転させる場合の回転角度範囲を表している。具体的には、例えば検査位置Ａについて、データ列３２１に「３０」，データ列３２２に「２００」がそれぞれ格納されている。これは、検査位置Ａでは３０°～２００°のヨー回転角度の範囲内で、撮像部２１０が検査対象物の撮像に必要な姿勢をとることが可能なことを表している。一方、検査位置Ｌについては、データ列３２１，３２２のいずれにも数値が格納されていない。これは、検査位置Ｌではいずれのヨー回転角度でも、撮像部２１０が検査対象物の撮像に必要な姿勢をとることができないことを表している。これらのデータ列３２１，３２２の各データにより、カメラ可動範囲情報１３３２が構成される。なお、図５の例ではヨー回転角度によりカメラ可動範囲情報１３３２を表す例を示したが、例えばロール回転角度やピッチ回転角度などでカメラ可動範囲情報１３３２を表してもよいし、これらを組み合わせてカメラ可動範囲情報１３３２としてもよい。
　図６は、記憶部１３０に格納されている経路グラフ情報１３４のうちノード間接続情報１３４０が表すノード間の接続関係の一例を示す図である。ノード間接続情報１３４０では、例えば図６に示すように、各検査位置Ａ～Ｇに対応するノードを設定し、これらのノード間の接続関係を矢印で表現している。図６に示す各ノード間の矢印の情報がノード間接続情報１３４０として記憶部１３０に格納されることで、外観検査装置２００が検査対象物の外観検査を行う際に撮像部２１０が検査位置Ａ～Ｇを移動する順序の組み合わせが表現される。
　図７は、記憶部１３０に格納されている経路グラフ情報１３４のうち移動コスト情報１３４１のデータの一例を示す図である。図７の例において、移動コスト情報１３４１には、ノード間接続情報１３４０が表す各ノード間の接続関係について、始点ノードを表す列４１１と終点ノードを表す行４２２の組み合わせごとに、移動コストの大きさを示す数値が格納されている。なお、移動コストが高いことが既知であるノード間、例えば図７の始点Ｂと終点Ｃの組み合わせについては、数値が格納されていない。また、各ノード間に対して格納される移動コストの数値は、時計回りに検査位置を巡回するなどの制約を持たせるため、始点と終点を入れ替えると数値が変化するように、非対称な数値となっている。これらの移動コストの数値は、移動コスト算出部１４５において、検査装置構成情報１３１や検査条件情報１３３に基づいて各検査位置間の移動時間、撮像部２１０の姿勢変化、進行方向などを求めることにより算出される。
　図８は、記憶部１３０に格納されている出力情報１３５のデータの一例を示す図である。図８の例において、出力情報１３５は、外観検査装置２００が外観検査を行う際に撮像部２１０が検査対象物の撮像を行う各検査位置について、データ列５０１～５０７，５１１，５２１～５２５に示すデータを有している。データ列５０１には、各検査位置を表す情報が、最小コスト経路選択部１４６により生成された検査経路において撮像部２１０が経由する順に格納されている。
　データ列５０２～５０４には、検査対象物に対する各検査位置の相対的な位置を表す情報が格納されている。データ列５０５～５０７には、検査対象物に対する各検査位置での撮像部２１０の相対的な姿勢を表す情報が格納されている。これらのデータ列５０２～５０７の各データにより、検査経路情報１３５０が構成される。なお、検査経路情報１３５０における各行のデータは、検査位置情報１３３０における各行のデータと対応しており、同じ検査位置には同一のデータがそれぞれ格納されている。
　データ列５１１には、各検査位置における撮像部２１０の回転角度を表す情報が格納されている。図８の例では、撮像部２１０のヨー方向の回転角度を表している。このデータ列５１１のデータにより、カメラ角度情報１３５１が構成される。なお、図８の例ではヨー回転角度によりカメラ角度情報１３５１を表す例を示したが、例えばロール回転角度やピッチ回転角度などでカメラ角度情報１３５１を表してもよいし、これらを組み合わせてカメラ角度情報１３５１としてもよい。
　データ列５２１～５２５には、ロボット部２２０の各関節をＪ１～Ｊｎ（ｎは自然数）とした場合に、各検査位置におけるこれらの関節Ｊ１～Ｊｎの角度を表す情報が格納されている。これらのデータ列５２１～５２５の各データにより、ロボット姿勢情報１３５２が構成される。
[フローチャートの説明]
　次に、本発明の第１の実施形態に係る検査経路生成装置において実行される検査経路の計画処理について、図９、図１０のフローチャートおよび図１１の説明図を参照して以下に説明する。
　図９は、本発明の第１の実施形態に係る検査経路の計画処理のフローチャートの一例である。図９のフローチャートに示す処理は、演算装置１４０において、経路決定部１４１により実行される。
　ステップＳ１０１では、ステップＳ１０２の処理に用いる情報として、検査装置構成情報１３１、検査対象物情報１３２および検査位置情報１３３０を記憶部１３０から読み込んで演算装置１４０に入力する。これらの情報は、ユーザが入力装置１１０を用いて事前に入力した情報などに基づいて、記憶部１３０に予め記憶されているものとする。
　ステップＳ１０２では、ステップＳ１０１で入力した各情報に基づいて、最適な検査経路を決定するための検査経路決定処理を実行する。このステップＳ１０２で実行される検査経路決定処理の詳細は、図１０のフローチャートを参照して後述する。
　ステップＳ１０３では、ステップＳ１０２で決定した検査経路の情報を出力情報１３５として記憶部１３０に格納し、出力装置１２０へ出力する。
　図１０は、ステップＳ１０２で行われる検査経路決定処理のフローチャートの一例である。図１０のフローチャートに示す処理は、演算装置１４０において、経路決定部１４１が検査可能領域算出部１４２、カメラ可動範囲算出部１４３、経路グラフ生成部１４４、移動コスト算出部１４５、最小コスト経路選択部１４６および出力情報生成部１４７を適宜呼び出すことで、これらの機能ブロックを用いて実行される。
　ステップＳ２００では、図９のステップＳ１０１で読み込んだ検査対象物情報１３２および検査位置情報１３３０に基づいて、各検査位置における外観検査装置２００の検査可能領域を算出する。ここでは、例えば検査可能領域算出部１４２により、検査位置情報１３３０が表す各検査位置での撮像部２１０の相対的な位置および姿勢と、検査対象物情報１３２に含まれる形状情報１３２０とに基づき、撮像部２１０の位置および向きと、検査対象物の領域Ｆ１～Ｆｎの位置および向きとを、各検査位置についてそれぞれ比較する。その結果、これらの差がそれぞれ所定範囲内であれば、当該領域を検査可能領域として判定し、所定範囲外であれば、当該領域を検査可能領域ではないと判定する。これにより、検査可能領域を算出することができる。ステップＳ２００で算出した検査可能領域の情報は、検査条件情報１３３に含まれる検査可能領域情報１３３１として記憶部１３０に格納される。さらに、検査対象物情報１３２に含まれる検査対象領域情報１３２１に基づいて、算出した検査可能領域のうち検査対象領域であるものを抽出し、抽出した各検査可能領域の面積を形状情報１３２０に基づいて算出する。ここで算出された各検査可能領域の面積は、後述のステップＳ２０４、Ｓ２０７において総検査可能領域Ａｏ，Ａｃを算出する際に利用される。
　ステップＳ２０１では、図９のステップＳ１０１で読み込んだ検査装置構成情報１３１および検査位置情報１３３０に基づいて、各検査位置においてロボット部２２０がとれる姿勢に応じた撮像部２１０の可動範囲を算出する。ここでは、例えばカメラ可動範囲算出部１４３により、検査装置構成情報１３１に含まれるロボット構成情報１３１０および検査設備構成情報１３１１から、ロボット部２２０の形状、各関節の角度範囲および限界速度や、外観検査装置２００における各設備の形状、配置などの情報を取得し、これらの情報に基づいて、各検査位置においてロボット部２２０がとれる姿勢の範囲を算出する。そして、算出したロボット部２２０の姿勢の範囲から、各検査位置における撮像部２１０の可動範囲、すなわち撮像部２１０の姿勢の制約条件を算出する。ステップＳ２０１で算出した撮像部２１０の可動範囲の情報は、検査条件情報１３３に含まれるカメラ可動範囲情報１３３２として記憶部１３０に格納される。
　ステップＳ２０２では、図９のステップＳ１０１で読み込んだ検査位置情報１３３０と、ステップＳ２０１で算出したカメラ可動範囲情報１３３２とに基づいて、各検査位置間の移動コストを算出し、経路グラフを生成する。ここでは、例えば経路グラフ生成部１４４により、検査位置情報１３３０に基づいて各検査位置に対応するノードを設定し、各ノード間を結ぶ線で撮像部２１０の接続関係を表現した移動経路を設定する。そして、移動コスト算出部１４５により、検査位置情報１３３０やカメラ可動範囲情報１３３２に基づいて、設定した各移動経路の経路長（ノード間距離）、撮像部２１０の姿勢変化量、進行方向などを算出し、これらの算出結果を用いて各ノード間の移動コストを算出する。これにより、経路グラフを生成することができる。ステップＳ２０２で算出した移動経路の情報および移動コストの情報は、経路グラフ情報１３４に含まれるノード間接続情報１３４０および移動コスト情報１３４１として記憶部１３０にそれぞれ格納される。
　図１１は、移動コストの算出方法の説明図である。以下では、図１１に示すように４つのノードＡ～Ｄが設定されており、これらのノード間の移動コストを算出する場合の例を説明する。
　移動コスト算出部１４５は、図１１に示す４つのノードＡ，Ｂ，Ｃ，Ｄから２つを選択したときの全ての組み合わせについて、当該２点間を接続する各移動経路の長さ（距離）、撮像部２１０の姿勢変化量、進行方向を算出する。図１１では、こうして算出された各移動経路の距離、撮像部２１０の姿勢変化量、進行方向の例を示している。例えば、ノードＡを始点、ノードＢを終点とする移動経路では、距離が０．２、撮像部２１０の姿勢変化量が３０であり、撮像部２１０が反時計回りの方向に移動することを示している。
　移動コスト算出部１４５は、各移動経路について算出した上記の各情報に基づき、各移動経路を撮像部２１０が移動する際に要する時間の長さを評価することで、各ノード間の移動コストを算出し、移動コスト情報１３４１を設定することができる。このとき、例えば撮像部２１０の姿勢変化量が所定の閾値以上となる移動経路のように、他の移動経路と比べて移動コストが過大となることが明らかな移動経路については、図７の例における始点Ｂと終点Ｃの組み合わせのように、移動コスト情報１３４１において移動コストを設定しないことが好ましい。このようにすれば、後述のステップＳ２０３以降の処理において、移動コストが高くなる検査経路の候補を予め除外して効率的に検査経路を決定することができる。
　図１０の説明に戻ると、ステップＳ２０３では、最小コスト経路選択部１４６により、ステップＳ２０２で生成した経路グラフを用いて、初期検査経路候補Ｒｏを生成する。ここでは、経路グラフにおいてランダムにノードの経由順序を選択することで初期検査経路候補Ｒｏを生成し、これを検査経路候補Ｒｃの初期値に設定する。このとき、必ずしも全てのノードを経由する経路を選択しなくてよい。少なくとも２つ以上のノードを経由する経路であれば、初期検査経路候補Ｒｏとして選択することが可能である。また、移動コスト情報１３４１においてコストが設定されていない移動経路、例えば図７の始点Ｂと終点Ｃの組み合わせに対応する移動経路については、当該移動経路を含まないように初期検査経路候補Ｒｏを生成することが好ましい。
　ステップＳ２０４では、最小コスト経路選択部１４６により、ステップＳ２０３で生成した初期検査経路候補Ｒｏの総移動コストＣｏと総検査可能領域Ａｏを算出する。例えば、初期検査経路候補Ｒｏで選択したノードの経由順序に従って、初期検査経路候補Ｒｏに含まれる各移動経路に対してステップＳ２０２で算出した移動コストを合計することにより、総移動コストＣｏを算出することができる。また、初期検査経路候補Ｒｏの各ノードに対応する各検査位置に対してステップＳ２００で算出した検査可能領域の面積を、重複を避けて合計することにより、総検査可能領域Ａｏを算出することができる。なお、ステップＳ２０４で算出される初期検査経路候補Ｒｏの総移動コストＣｏおよび総検査可能領域Ａｏは、検査経路候補Ｒｃの総移動コストＣｃと総検査可能領域Ａｃの初期値にそれぞれ相当する。
　ステップＳ２０５～Ｓ２１０では、ループ処理を実行する。ここでは、ループ処理中に設定された検査経路候補Ｒｃの総移動コストＣｃと総検査可能領域Ａｃの値がそれぞれ所定の閾値を超えるか、またはループ回数が所定の閾値を超えるまで、ステップＳ２０６からＳ２１０までの処理を繰り返し実行する。
　ステップＳ２０６では、最小コスト経路選択部１４６により、ステップＳ２０２で生成した経路グラフから新たな検査経路候補Ｒｃを生成する。ここでは、ステップＳ２０３と同様に、経路グラフにおいてランダムにノードの経由順序を選択することで、未選択の検査経路を検査経路候補Ｒｃとして生成することができる。あるいは、ループ処理における現在の検査経路Ｒのうち一部のノードの入れ替え、追加、削除等を行うことで、検査経路候補Ｒｃを生成してもよい。このときもステップＳ２０３と同様に、必ずしも全てのノードを経由する経路を選択しなくてよい。少なくとも２つ以上のノードを経由する経路であれば、検査経路候補Ｒｃとして選択することが可能である。また、移動コスト情報１３４１においてコストが設定されていない移動経路については、当該移動経路を含まないように検査経路候補Ｒｃを生成することが好ましい。
　ステップＳ２０７では、最小コスト経路選択部１４６により、ステップＳ２０６で生成した検査経路候補Ｒｃの総移動コストＣｃと総検査可能領域Ａｃを算出する。ここでは、ステップＳ２０４と同様の方法で、総移動コストＣｃと総検査可能領域Ａｃを算出することができる。
　ステップＳ２０８では、最小コスト経路選択部１４６により、ステップＳ２０７で算出した検査経路候補Ｒｃの総移動コストＣｃと、現在の検査経路Ｒの総移動コストＣとを比較する。その結果、Ｃｃ＜＝Ｃであった場合はステップＳ２０９の処理へ、それ以外はステップＳ２０５の処理へ遷移する。
　ステップＳ２０９では、最小コスト経路選択部１４６により、ステップＳ２０７で算出した検査経路候補Ｒｃの総検査可能領域Ａｃと、現在の検査経路Ｒの総検査可能領域Ａとを比較する。その結果、Ａｃ＞＝Ａであった場合はステップＳ２１０の処理へ、それ以外はステップＳ２０５の処理へ遷移する。
　ステップＳ２１０では、最小コスト経路選択部１４６により、検査経路Ｒと、検査経路Ｒの総移動コストＣおよび総検査可能領域Ａとを更新する。ここでは、直近のステップＳ２０６で生成された検査経路候補Ｒｃを検査経路Ｒに設定するとともに、その検査経路候補Ｒｃの総移動コストＣｃおよび総検査可能領域Ａｃを検査経路Ｒの総移動コストＣおよび総検査可能領域Ａにそれぞれ設定することで、これらの値を更新する。ステップＳ２１０の処理を実施したら、ステップＳ２０５の処理へ遷移する。
　ステップＳ２０５～Ｓ２１０のループ処理を終えると、複数の検査経路候補Ｒｃの中で総移動コストＣｃが最も小さく、かつ総検査可能領域Ａｃが最も大きいものが、検査経路Ｒとして最終的に決定される。
　ステップＳ２１１では、出力情報生成部１４７により、ステップＳ２０５～Ｓ２１０のループ処理で最終的に決定された検査経路Ｒの各検査位置に対する撮像部２１０の回転角度を計算する。ここでは、検査経路Ｒにおける各検査位置の経由順序に従って、ステップＳ２０１で算出したカメラ可動範囲内で撮像部２１０のヨー回転角度の変化が最小となるような回転角度の組み合わせを、検査経路Ｒの各検査位置に対して選択する。なお、前述のように撮像部２１０に対してロール回転角度やピッチ回転角度などを設定する場合についても、同様の計算方法を適用可能である。これにより、検査経路Ｒにおける撮像部２１０の姿勢Ｐが算出される。
　ステップＳ２１２では、ステップＳ２０５～Ｓ２１０のループ処理で最終的に決定された検査経路Ｒと、ステップＳ２１２で算出した姿勢Ｐとに基づいて、出力情報１３５を生成する。ここでは、例えば出力情報生成部１４７により、図９のステップＳ１０１で読み込んだ検査装置構成情報１３１および検査位置情報１３３０に基づいて、検査経路Ｒの各ノードにおけるロボット部２２０の各関節の角度を決定する。そして、検査経路Ｒにおける各検査位置の経由順序に従って、ステップＳ１０１で読み込んだ検査位置情報１３３０を並び替え、各検査位置に対応する姿勢Ｐおよび各関節の角度を設定することで、検査経路情報１３５０、カメラ角度情報１３５１およびロボット姿勢情報１３５２を決定する。これにより、出力情報１３５を生成することができる。ステップＳ２１２で生成した出力情報１３５は、記憶部１３０に格納されるとともに、図９のステップＳ１０３で出力装置１２０へ出力される。なお、このとき検査経路Ｒの総移動コストＣや総検査可能領域Ａなどの情報を出力情報１３５に含めるようにしてもよい。
　なお、以上説明した図１０のフローチャートにおいて、ステップＳ２０２で経路グラフを生成する際に、各ノード間の移動コストを算出しないようにしてもよい。この場合、ステップＳ２０４で初期検査経路候補Ｒｏの総移動コストＣｏを算出する際や、ステップＳ２０７で検査経路候補Ｒｃの総移動コストＣｃを算出する際には、当該検査経路候補の全体でのノード間距離の合計、撮像部２１０の姿勢変化量、進行方向の変化などを考慮して、総移動コストＣｏ，Ｃｃを算出することが好ましい。
　例えば、図１１に示した４つのノードＡ～ＤをＡ→Ｂ→Ｃ→Ｄの順に経由する経路が検査経路候補Ｒｃとして選択された場合の総移動コストＣｃの計算方法を以下に説明する。この場合、各ノード間の距離情報より、検査経路候補Ｒｃの総経路長Ｌは、Ｌ＝０．２＋０．１＋０．２＝０．５と求められる。また、各ノード間の進行方向情報より、検査経路候補Ｒｃの進行方向は反時計回り→反時計回り→反時計回りであるため、進行方向の変更回数ＤはＤ＝０となる。このように、進行方向の変更回数Ｄが少なくなることで、検査経路が滑らかになるため、撮像部２１０が各経由点を停止せずに連続動作する時に生じる経路誤差を小さくすることができる。また、各ノード間のカメラ姿勢変化情報より、検査経路候補Ｒｃにおける撮像部２１０の総姿勢変化量Ｙは、Ｙ＝３０＋２０＋５＝５５と求められる。
　上記のようにして求められた総経路長Ｌ、進行方向の変更回数Ｄおよび総姿勢変化量Ｙに基づき、例えば以下の式（１）を用いて、検査経路候補Ｒｃの総移動コストＣｃが求められる。
　Ｃｃ＝αＬ＋βＤ＋γＹ　…式（１）
　式（１）において、α、β、γは重み係数であり、それぞれ任意の値が設定される。
　図１０のフローチャートでは、ステップＳ２０５～Ｓ２１０のループ処理において、式（１）で表される総移動コストＣｃが最小となるような検査経路候補Ｒｃが、検査経路Ｒとして最終的に選択される。これにより、撮像部２１０の移動距離が短く、かつ姿勢変化が小さく、かつ方向転換が少ない検査経路を生成することができる。
　また、図１０のフローチャートにおいて、ステップＳ２０８とステップＳ２０９の順序を入れ替えてもよいし、ステップＳ２０８またはＳ２０９のいずれか一方のみを実施してもよい。
　ステップＳ２０８のみを実施する場合は、ステップＳ２０５～Ｓ２１０のループ処理において、最も移動コストが小さい検査経路候補Ｒｃが検査経路Ｒとして最終的に選択される。そのため、外観検査装置２００による検査対象物の外観検査を短時間で実現できるような検査経路が得られる。このとき、ステップＳ２０９の判定を行う代わりに、検査経路候補Ｒｃの総検査可能領域Ａｃが所定の閾値以上であるか否かを判定し、閾値以上である場合にのみステップＳ２１０の処理を行うようにしてもよい。このようにすれば、検査対象物における検査可能面積が狭く、そのため所望の検査精度を得られないような検査経路が生成されるのを防止できる。
　一方、ステップＳ２０８のみを実施する場合は、ステップＳ２０５～Ｓ２１０のループ処理において、最も検査可能面積が広い検査経路候補Ｒｃが検査経路Ｒとして最終的に選択される。そのため、外観検査装置２００による検査対象物の外観検査において、検査可能面積の最大化を実現できるような検査経路が得られる。このとき、ステップＳ２０８の判定を行う代わりに、検査経路候補Ｒｃの総移動コストＣｃが所定の閾値以下であるか否かを判定し、閾値以下である場合にのみステップＳ２１０の処理を行うようにしてもよい。このようにすれば、移動コストが大きく、そのため所望の時間内で外観検査を実施できないような検査経路が生成されるのを防止できる。
　あるいは、ステップＳ２０８，Ｓ２０９の判定を行う代わりに、検査経路候補Ｒｃの総移動コストＣｃと総検査可能領域Ａｃの加重和である総コストＷ１を以下の式（２）で算出し、この総コストＷ１を用いて検査経路候補Ｒｃを評価するようにしてもよい。
　Ｗ１＝δＣｃ＋ε（Ａall－Ａｃ）　…式（２）
　式（２）において、δ、εは重み係数であり、それぞれ任意の値が設定される。また、Ａallは検査対象物における検査対象領域の総面積である。
　さらに、ステップＳ２０３～Ｓ２１０の処理を行う代わりに、ステップＳ２０２で生成した経路グラフに含まれる全移動経路に対する総コストＷ１を上記式（２）で算出したのち、総コストＷ１を最小化する経路を検査経路Ｒとして求めてもよい。こうした検査経路Ｒを求める場合には、例えば巡回セールスマン問題として取り扱うことで、周知の手法を用いて最適解を得ることができる。あるいは、例えば総当たり法や貪欲法などの一般的な方法により、総コストＷ１を最小化する検査経路Ｒを算出してもよい。
　また、ステップＳ２０３～Ｓ２１１の処理を行う代わりに、ステップＳ２０２で生成した経路グラフによって表される全経路に対して、上記総コストＷ１とは別の総コストＷ２を算出したのち、総コストＷ２を最小化する経路を検査経路Ｒとして求めてもよい。総コストＷ２は、例えば、経路グラフから得られる各検査経路候補Ｒｃの総移動コストＣｃ、総検査可能領域Ａｃおよび総姿勢変化量Ｙの加重和として、例えば以下の式（３）を用いて算出することができる。
　Ｗ２＝δＣｃ＋ε（Ａall－Ａｃ）＋γ（ＭＡＸ（Ｙ）－ＭＩＮ（Ｙ））　…式（３）
　式（３）において、ＭＡＸ（Ｙ）は総姿勢変化量Ｙの最大値、ＭＩＮ（Ｙ）は総姿勢変化量Ｙの最小値である。
　式（３）で算出される総コストＷ２を用いて検査経路Ｒを求めることで、撮像部２１０の姿勢変化量も含めて、検査経路Ｒを一度に最適化することができる。なお、この場合の検査経路Ｒの最適解は、巡回セールスマン問題として解くこともできるし、総当たり法や貪欲法などの一般的な方法でも算出することができる。
[出力の説明]
　次に、本発明の第１の実施形態に係る検査経路生成装置における処理結果の出力例について、図１２および図１３を参照して以下に説明する。
　図１２は、本発明の第１の実施形態に係る検査経路生成装置における出力画面の一例を示す図である。図１２に示す出力画面１１００は、図９のステップＳ１０３で出力される出力情報１３５に基づき、出力装置１２０において表示される。出力画面１１００は、選択枠１１０１～１１０３、操作ボタン１１０４～１１０７、検査経路一覧表１１０８および表示枠１１０９を含んで構成されている。
　ユーザは、入力装置１１０を用いて、任意の検査設備を外観検査装置２００として選択することができる。選択された検査設備の情報は、選択枠１１０１に表示される。いずれかの検査設備が選択された状態で、ユーザが出力画面１１００上で操作ボタン１１０４を選択する操作を行うと、当該検査設備に対応する検査装置構成情報１３１が記憶部１３０に格納される。
　ユーザは、入力装置１１０を用いて、任意の検査対象物を選択することができる。選択された検査対象物の情報は、選択枠１１０２に表示される。いずれかの検査対象物が選択された状態で、ユーザが出力画面１１００上で操作ボタン１１０５を選択する操作を行うと、当該検査対象物に対応する検査対象物情報１３２および検査位置情報１３３０が記憶部１３０に格納される。
　上記のようにして検査装置構成情報１３１、検査対象物情報１３２および検査位置情報１３３０が記憶部１３０に格納された後、ユーザが出力画面１１００上で操作ボタン１１０６を選択する操作を行うことで、演算装置１４０に経路計画処理を実行させることができる。このとき演算装置１４０では、経路決定部１４１により、図９、図１０のフローチャートに従って処理が実行される。
　検査経路一覧表１１０８には、経路計画処理により生成された検査経路の一覧が表示される。ここでは、経路計画処理において決定された出力情報１３５に前述の総移動コストＣや総検査可能領域Ａを加えたものに基づき、例えば各検査経路における外観検査の実行時間、撮像部２１０の姿勢変化量、検査対象領域のカバー率などの情報が表示される。ユーザは、検査経路一覧表１１０８においていずれかの検査経路を選択することで、外観検査装置２００が外観検査を行う際の実行レシピを選択することができる。選択された実行レシピの情報は、選択枠１１０３に表示される。
　実行レシピが選択された状態で、ユーザが出力画面１１００上で操作ボタン１１０７を選択する操作を行うと、当該実行レシピによる外観検査の様子が表示枠１１０９に表示される。ユーザは、この表示枠１１０９の表示内容から、外観検査における外観検査装置２００の動き、撮像部２１０の姿勢変化、検査対象物の検査可能領域などを目視で確認し、採用すべき検査経路を決定することができる。
　図１３は、本発明の第１の実施形態に係る検査経路生成装置における出力画面の別の一例を示す図である。図１３に示す出力画面１２００は、図１２の出力画面１１００と同様に、図９のステップＳ１０３で出力される出力情報１３５に基づき、出力装置１２０において表示される。出力画面１２００は、図１２の出力画面１１００における表示枠１１０９の代わりに、表示枠１２０１を含んで構成されている。
　表示枠１２０１には、選択された実行レシピによる外観検査での撮像部２１０の姿勢変化、例えばヨー回転角度の変化の様子が表示される。ユーザは、この表示枠１２０１の表示内容から、外観検査における撮像部２１０の姿勢変化がどの程度であるかを確認し、採用すべき検査経路を決定することができる。
　以上説明した本発明の第１の実施形態によれば、以下の作用効果を奏する。
（１）検査経路生成装置１００は、撮像部２１０で撮像した画像に基づいて検査対象物の外観検査を行う外観検査装置２００の検査経路を生成する。検査経路生成装置１００は、撮像部２１０が検査対象物の撮像を行う複数の検査位置を表す検査位置情報１３３０と、外観検査装置２００の構成を表す検査装置構成情報１３１と、を記憶する記憶部１３０と、経路決定部１４１とを備える。経路決定部１４１は、検査位置情報１３３０および検査装置構成情報１３１に基づいて、撮像部２１０が複数の検査位置を移動する際の各検査位置間での経路長および撮像部２１０の姿勢変化量を算出し（ステップＳ２０２）、算出した経路長および姿勢変化量に基づいて検査経路を決定する（ステップＳ２０３～Ｓ２１０）。このようにしたので、検査対象物の外観検査を行う外観検査装置２００に対して、検査精度の低下を抑えつつ、検査時間を短縮化することが可能な検査経路を提供することができる。
（２）経路決定部１４１は、撮像部２１０が複数の検査位置を移動する際の各検査位置間での経路長、撮像部２１０の姿勢変化量および進行方向に基づいて移動コストＣｏ，Ｃｃを算出し（ステップＳ２０２，Ｓ２０４，Ｓ２０６）、算出した移動コストＣｏ，Ｃｃに基づいて検査経路を決定する（ステップＳ２０８～Ｓ２１０）。このようにしたので、所定の検査精度の範囲内で検査時間が最短となる検査経路を確実に決定することができる。
（３）経路決定部１４１は、検査装置構成情報１３１に基づいて各検査位置における撮像部２１０の姿勢の制約条件を算出し（ステップＳ２０１）、算出した制約条件に基づいて撮像部２１０の姿勢変化量を算出する（ステップＳ２０２）。このようにしたので、外観検査装置２００において撮像部２１０がとれる姿勢の範囲を考慮して、撮像部２１０の姿勢変化量を正確に算出することができる。
（４）経路決定部１４１は、ステップＳ２０２で行う移動コストの算出において、任意の検査位置間での撮像部２１０の姿勢変化量が所定の閾値以上となる場合は、移動コストを設定しなくてもよい。このようにすれば、ステップＳ２０５～Ｓ２１０のループ処理において検査経路候補Ｒｃを複数生成し、生成した複数の検査経路候補Ｒｃの中から検査経路Ｒを決定する際に、当該条件に該当する検査経路候補Ｒｃを除外して検査経路Ｒが決定される。これにより、検査時間が過大となる検査経路候補を予め除外して、効率的に検査経路を決定することができる。
（５）検査経路生成装置１００は、演算装置１４０により、外観検査装置２００の撮像部２１０が検査対象物の撮像を行う複数の検査位置を表す検査位置情報１３３０と、外観検査装置２００の構成を表す検査装置構成情報１３１と、を取得する処理（ステップＳ１０１）と、取得した検査位置情報１３３０および検査装置構成情報１３１に基づいて、撮像部２１０が複数の検査位置を移動する際の各検査位置間での経路長および撮像部２１０の姿勢変化量を算出する処理（ステップＳ２０２）と、算出した経路長および姿勢変化量に基づいて検査経路を決定する処理（ステップＳ２０３～Ｓ２１０）と、を実行する。このようにしたので、検査対象物の外観検査を行う外観検査装置２００に対して、検査精度の低下を抑えつつ、検査時間を短縮化することが可能な検査経路を提供することができる。
－第２の実施形態－
　本発明の第２の実施形態について以下に説明する。
[装置構成の説明]
　図１４は、本発明の第２の実施形態に係る検査経路生成装置を含む外観検査システムの構成例を示す図である。図１４に示す外観検査システムは、検査経路生成装置１００Ａと外観検査装置２００が通信回線３００を介して互いに接続されることにより構成されている。第１の実施形態で説明した図１の検査経路生成装置１００と、図１４に示す検査経路生成装置１００Ａとの違いは、演算装置１４０Ａにおいて、既に説明した経路決定部１４１、検査可能領域算出部１４２、カメラ可動範囲算出部１４３、経路グラフ生成部１４４、移動コスト算出部１４５、最小コスト経路選択部１４６、出力情報生成部１４７の各機能ブロックに加えて、経路変更部１５１、変更対象検査位置選択部１５２、候補位置設定部１５３および候補位置選択部１５４の各機能ブロックをさらに有する点である。以下では、これらの相違点を中心に、本実施形態について説明する。
　経路変更部１５１は、変更対象検査位置選択部１５２、候補位置設定部１５３および候補位置選択部１５４の各機能ブロックを用いて、経路決定部１４１により決定された検査経路を変更する。なお、経路変更部１５１が行う処理の詳細については、後で図１５および図１６を参照して説明する。
　変更対象検査位置選択部１５２は、経路決定部１４１により決定された検査経路における複数の検査位置のいずれかを、変更対象検査位置として選択する。変更対象検査位置選択部１５２による変更対象検査位置の選択は、例えば検査位置間の移動コストやユーザからの指定に基づいて行われる。
　候補位置設定部１５３は、変更対象検査位置選択部１５２により選択された変更対象検査位置の周辺に、変更先の検査位置の候補である複数の候補位置と、各候補位置における撮像部２１０の姿勢との組み合わせを設定する。
　候補位置選択部１５４は、候補位置設定部１５３により設定された複数の候補位置と撮像部２１０の姿勢との組み合わせの中から、検査可能領域が縮小せず、かつ検査経路全体での総移動コストが最小となる組み合わせを、変更後の検査位置および撮像部２１０の姿勢として選択する。
[フローチャートの説明]
　次に、本発明の第２の実施形態に係る検査経路生成装置において実行される検査経路の計画処理について、図１５、図１６のフローチャートおよび図１７、図１８の説明図を参照して以下に説明する。
　図１５は、本発明の第２の実施形態に係る検査経路の計画処理のフローチャートの一例である。図１５のフローチャートに示す処理は、演算装置１４０Ａにおいて、経路決定部１４１および経路変更部１５１により実行される。
　ステップＳ３０１では、ステップＳ３０２の処理に用いる情報として、検査装置構成情報１３１、検査対象物情報１３２および検査位置情報１３３０を記憶部１３０から読み込んで演算装置１４０Ａに入力する。これらの情報は、ユーザが入力装置１１０を用いて事前に入力した情報などに基づいて、記憶部１３０に予め記憶されているものとする。
　ステップＳ３０２では、ステップＳ３０１で入力した各情報に基づいて、最適な検査経路を決定するための検査経路決定処理を実行する。このステップＳ３０２では、第１の実施形態で説明した図１０のフローチャートに従って、検査経路決定処理が実行される。
　ステップＳ３０３では、ステップＳ３０２で決定した検査経路を変更するための検査経路変更処理を実行する。このステップＳ３０３で実行される検査経路変更処理の詳細は、図１５のフローチャートを参照して後述する。
　ステップＳ３０４では、ステップＳ３０３で変更した検査経路による外観検査が外観検査装置２００において実行可能であるか否かを判定する。例えば、ステップＳ３０１で入力した検査装置構成情報１３１から、外観検査装置２００におけるロボット部２２０の形状、各関節の角度範囲、限界速度などの情報や、外観検査装置２００を構成する各設備の形状、配置などの情報を取得し、これらの情報に基づく緩衝判定等を行うことで、変更後の検査経路に応じた動作がロボット部２２０において実行可能か否かを判定する。その結果、実行可能と判定した場合はステップＳ３０５の処理へ遷移し、実行不可能と判定した場合はステップＳ３０２の処理へ遷移する。なお、ステップＳ３０２の処理へ遷移した場合は、ステップＳ３０２で検査経路決定処理が再度実行されることにより、前回とは別の検査経路が決定される。
　ステップＳ３０５では、ステップＳ３０３で変更した検査経路の情報を出力情報１３５として記憶部１３０に格納し、出力装置１２０へ出力する。
　図１６は、ステップＳ３０３で行われる検査経路変更処理のフローチャートの一例である。図１６のフローチャートに示す処理は、演算装置１４０Ａにおいて、経路変更部１５１が検査可能領域算出部１４２、最小コスト経路選択部１４６、変更対象検査位置選択部１５２、候補位置設定部１５３および候補位置選択部１５４を適宜呼び出すことで、これらの機能ブロックを用いて実行される。
　ステップＳ４０１では、図１５のステップＳ３０２で決定された検査経路Ｒと、その検査経路Ｒの姿勢Ｐ、総移動コストＣおよび総検査可能領域Ａとを、経路変更部１５１へ入力する。
　ステップＳ４０２～Ｓ４０７では、ループ処理を実行する。ここでは、ループ回数が所定の閾値を超えるまで、ステップＳ４０３からＳ４０７までの処理を繰り返し実行する。
　ステップＳ４０３では、変更対象検査位置選択部１５２により、ステップＳ４０１で入力された検査経路Ｒに含まれる複数の検査位置の中で、撮像部２１０の姿勢Ｐの変化が前後の検査位置と比較して大きい検査位置を、変更対象検査位置Ｘとして選択する。
　図１７は、変更対象検査位置の選択方法の説明図である。図１７では、図６に例示した検査位置Ａ～Ｇを順に経由する検査経路Ｒに対して、各検査位置での姿勢Ｐの変化の様子と、各検査位置における撮像部２１０のヨー回転角度の範囲とを示している。ここで、撮像部２１０がとりうるヨー回転角度の範囲は、ロボット部２２０の可動範囲も考慮して決定されるものとする。
　図１７のグラフ中の矢印は、各検査位置に対して設定された姿勢Ｐの変化、すなわち撮像部２１０のヨー回転角度の変化を示している。図１７のグラフでは、検査位置Ｄから検査位置Ｅへの移動時と、検査位置Ｅから検査位置Ｆへの移動時とで、他の検査位置間の移動時よりも姿勢Ｐの変化が大きくなっていることが分かる。そのため、この検査経路Ｒに対しては、検査位置Ｅが変更対象検査位置Ｘとして選択される。
　なお、ステップＳ４０３では、他の方法を用いて変更対象検査位置Ｘを選択してもよい。例えば、前述の図１２、図１３で例示した出力画面において、ユーザがいずれかの検査位置を任意に選択することにより、変更対象検査位置Ｘを選択できるようにしてもよい。また、ユーザが予め設定した条件に合致する検査位置を、変更対象検査位置Ｘとして選択してもよい。これ以外にも、ユーザから入力された様々な情報に基づいて変更対象検査位置Ｘを選択することが可能である。
　図１６の説明に戻ると、ステップＳ４０４では、候補位置設定部１５３により、ステップＳ４０３で設定した変更対象検査位置Ｘの近傍において、変更対象検査位置Ｘに代わる候補位置Ｘ’と、その候補位置Ｘ’における候補姿勢Ｐ’との組み合わせを、ランダムにＮ組（Ｎは任意の自然数）生成する。
　図１８は、候補位置と候補姿勢の設定方法の説明図である。図１８では、図６に例示した検査位置Ａ～Ｇのうち検査位置Ｄ，Ｅ，Ｆと、候補位置Ｘ’および候補姿勢Ｐ’の例を示している。前述のようにステップＳ４０３で検査位置Ｅが変更対象検査位置Ｘとして選択された場合、図１８に示すように、この検査位置Ｅの周辺に、候補位置Ｘ’と候補姿勢Ｐ’の組み合わせがランダムにＮ組生成される。このとき、元の検査位置Ｅおよび姿勢Ｐとの差がそれぞれ所定の範囲内となるように、候補位置Ｘ’および候補姿勢Ｐ’の値を設定することが好ましい。
　なお、ステップＳ４０４では、変更対象検査位置Ｘに対して、候補位置Ｘ’および候補姿勢Ｐ’のいずれか一方のみを生成し、他方については元の値をそのまま用いるようにしてもよい。すなわち、変更対象検査位置Ｘにおける撮像部２１０の位置および姿勢の少なくとも一方を変化させることで、検査経路Ｒを変更することができる。
　図１６の説明に戻ると、ステップＳ４０５では、検査可能領域算出部１４２により、ステップＳ４０４で生成した各候補位置Ｘ’における外観検査装置２００の検査可能領域を算出する。ここでは、図１５のステップＳ３０１で読み込んだ検査対象物情報１３２に基づき、図１０のステップＳ２００と同様の方法で、各候補位置Ｘ’における外観検査装置２００の検査可能領域を算出することができる。すなわち、各候補位置Ｘ’での撮像部２１０の相対的な位置と、各候補位置Ｘ’での撮像部２１０の相対的な姿勢を表す候補姿勢Ｐ’と、検査対象物情報１３２に含まれる形状情報１３２０とに基づき、撮像部２１０の位置および向きと、検査対象物の領域Ｆ１～Ｆｎの位置および向きとを、各候補位置Ｘ’についてそれぞれ比較する。その結果、これらの差がそれぞれ所定範囲内であれば、当該領域を検査可能領域として判定し、所定範囲外であれば、当該領域を検査可能領域ではないと判定する。さらに、検査対象物情報１３２に含まれる検査対象領域情報１３２１に基づいて、算出した検査可能領域のうち検査対象領域であるものを抽出し、抽出した各検査可能領域の面積を形状情報１３２０に基づいて算出する。ここで算出された各検査可能領域の面積は、後述のステップＳ４０６において総検査可能領域Ａ’を算出する際に利用される。
　ステップＳ４０６では、候補位置選択部１５４により、検査経路Ｒ中の変更対象検査位置Ｘを各候補位置Ｘ’に変更した場合の検査経路Ｒの総移動コストＣ’と総検査可能領域Ａ’を算出する。ここでは、ステップＳ４０４で生成したＮ組の候補位置Ｘ’と候補姿勢Ｐ’の組み合わせについて、ステップＳ４０５で算出した各検査可能領域の面積を用いて、図１０のステップＳ２０４やＳ２０７と同様の方法で、総移動コストＣ’と総検査可能領域Ａ’をそれぞれ計算する。これにより、変更対象検査位置Ｘにおいて撮像部２１０の位置および姿勢の少なくとも一方を変化させた場合に、撮像部２１０が複数の検査位置を移動する際の各検査位置間での経路長、撮像部２１０の姿勢変化量および進行方向に基づく総移動コストＣ’と、外観検査装置２００が検査可能な検査対象物の領域を表す総検査可能領域Ａ’とを算出することができる。
　ステップＳ４０７では、候補位置選択部１５４により、ステップＳ４０６で算出した総移動コストＣ’と総検査可能領域Ａ’に基づいて、検査経路Ｒと姿勢Ｐを更新する。ここでは、各候補位置Ｘ’に対して算出された総移動コストＣ’と総検査可能領域Ａ’のうち、総検査可能領域Ａ’が元の検査経路Ｒの総検査可能領域Ａ以上であり、かつ総移動コストＣ’が最小となる候補位置Ｘ’を、変更後の検査位置とする。そして、変更対象検査位置Ｘをこの検査位置に置き換えることで検査経路Ｒを更新するとともに、この検査位置での姿勢を候補姿勢Ｐ’とすることで姿勢Ｐを更新する。これにより、検査精度を維持しつつ最短の検査時間となるように、変更対象検査位置Ｘに対する変更後の撮像部２１０の位置および姿勢を決定し、検査経路Ｒと姿勢Ｐを更新することができる。
　ステップＳ４０８では、ステップＳ４０７で更新した検査経路Ｒと姿勢Ｐを、検査経路変更処理による変更後の検査経路Ｒおよび姿勢Ｐとして出力する。ここで出力された情報に基づいて、記憶部１３０に格納されている出力情報１３５の内容が更新されることにより、検査経路生成装置１００Ａにおいて変更後の検査経路Ｒおよび姿勢Ｐが反映される。なお、記憶部１３０において、変更前の検査経路Ｒおよび姿勢Ｐの情報と、変更後の検査経路Ｒおよび姿勢Ｐの情報とを、両方とも保持するようにしてもよい。
　以上説明した本発明の第２の実施形態によれば、第１の実施形態で説明した（１）～（５）に加えて、さらに以下の作用効果を奏する。
（６）検査経路生成装置１００Ａは、経路決定部１４１により決定された検査経路を変更する経路変更部１５１を備える。記憶部１３０は、検査対象物の形状を表す検査対象物情報１３２を記憶する。経路変更部１５１は、検査対象物情報１３２に基づいて、検査経路を変更した場合に外観検査装置２００が検査可能な検査対象物の領域を表す検査可能領域を算出し（ステップＳ４０５，Ｓ４０６）、算出した検査可能領域に基づいて変更後の検査経路を決定する（ステップＳ４０７）。このようにしたので、検査対象物の外観検査を行う外観検査装置２００に対して、検査精度の低下を抑えつつ、一旦決定された検査経路を変更することができる。
（７）経路変更部１５１は、複数の検査位置のうちいずれかを変更対象検査位置Ｘとして選択し（ステップＳ４０３）、選択した変更対象検査位置Ｘにおいて撮像部２１０の位置および姿勢の少なくとも一方を変化させることで、検査経路を変更する（ステップＳ４０４）。このようにしたので、元の検査経路をある程度生かして、検査経路を適切に変更することができる。
（８）経路変更部１５１は、変更対象検査位置Ｘにおいて撮像部２１０の位置および姿勢の少なくとも一方を変化させた場合に、撮像部２１０が検査経路Ｒの複数の検査位置を移動する際の各検査位置間での経路長、撮像部２１０の姿勢変化量および進行方向に基づく移動コストＣ’と、検査可能領域Ａ’とを算出し（ステップＳ４０６）、算出した移動コストＣ’および検査可能領域Ａ’に基づいて、変更対象検査位置Ｘに対する変更後の撮像部２１０の位置および姿勢を決定し、決定した変更後の撮像部２１０の位置および姿勢に基づいて変更後の検査経路Ｒを決定する（ステップＳ４０７）。具体的には、変更対象検査位置Ｘの近傍に複数の候補位置Ｘ’を設定し（ステップＳ４０４）、設定した複数の候補位置Ｘ’の中で、検査可能領域Ａ’が縮小せず、かつ移動コストＣ’が最小となる候補位置Ｘ’を、変更対象検査位置Ｘに対する変更後の撮像部２１０の位置として決定する（ステップＳ４０７）。このようにしたので、検査精度を維持しつつ最短の検査時間となるように、変更後の検査経路Ｒを決定することができる。
（９）経路変更部１５１は、ステップＳ４０３において、ユーザから入力された情報に基づいて変更対象検査位置Ｘを選択してもよい。このようにすれば、ユーザが変更対象検査位置Ｘを任意に選択して検査経路の変更を行うことができる。
　以上説明した各実施形態や各種変形例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されるものではない。また、上記では種々の実施形態や変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
１００，１００Ａ・・・検査経路生成装置
１１０・・・入力装置
１２０・・・出力装置
１３０・・・記憶部
１３１・・・検査装置構成情報
１３２・・・検査対象物情報
１３３・・・検査条件情報
１３４・・・経路グラフ情報
１３５・・・出力情報
１４０，１４０Ａ・・・演算装置
１４１・・・経路決定部
１４２・・・検査可能領域算出部
１４３・・・カメラ可動範囲算出部
１４４・・・経路グラフ生成部
１４５・・・移動コスト算出部
１４６・・・最小コスト経路選択部
１４７・・・出力情報生成部
１５１・・・経路変更部
１５２・・・変更対象検査位置選択部
１５３・・・候補位置設定部
１５４・・・候補位置選択部
２００・・・外観検査装置
２１０・・・撮像部
２２０・・・ロボット部
２３０・・・演算処理部
３００・・・通信回線
１３１０・・・ロボット構成情報
１３１１・・・検査設備構成情報
１３２０・・・形状情報
１３２１・・・検査対象領域情報
１３３０・・・検査位置情報
１３３１・・・検査可能領域情報
１３３２・・・カメラ可動範囲情報
１３４０・・・ノード間接続情報
１３４１・・・移動コスト情報
１３５０・・・検査経路情報
１３５１・・・カメラ角度情報
１３５２・・・ロボット姿勢情報

Claims (18)

  1. 　撮像部で撮像した画像に基づいて検査対象物の外観検査を行う外観検査装置の検査経路を生成する検査経路生成装置であって、
    　前記撮像部が前記検査対象物の撮像を行う複数の検査位置を表す検査位置情報と、前記外観検査装置の構成を表す検査装置構成情報と、を記憶する記憶部と、
    　前記検査位置情報および前記検査装置構成情報に基づいて、前記撮像部が前記複数の検査位置を移動する際の各検査位置間での経路長および前記撮像部の姿勢変化量を算出し、算出した前記経路長および前記姿勢変化量に基づいて前記検査経路を決定する経路決定部と、を備える検査経路生成装置。
  2. 　請求項１に記載の検査経路生成装置において、
    　前記経路決定部により決定された前記検査経路を変更する経路変更部を備え、
    　前記記憶部は、前記検査対象物の形状を表す検査対象物情報を記憶し、
    　前記経路変更部は、前記検査対象物情報に基づいて、前記検査経路を変更した場合に前記外観検査装置が検査可能な前記検査対象物の領域を表す検査可能領域を算出し、算出した前記検査可能領域に基づいて変更後の前記検査経路を決定する検査経路生成装置。
  3. 　請求項２に記載の検査経路生成装置において、
    　前記経路変更部は、
    　前記複数の検査位置のうちいずれかを変更対象検査位置として選択し、
    　選択した前記変更対象検査位置において前記撮像部の位置および姿勢の少なくとも一方を変化させることで、前記検査経路を変更する検査経路生成装置。
  4. 　請求項３に記載の検査経路生成装置において、
    　前記経路変更部は、
    　前記変更対象検査位置において前記撮像部の位置および姿勢の少なくとも一方を変化させた場合に、前記撮像部が前記複数の検査位置を移動する際の各検査位置間での経路長、前記撮像部の姿勢変化量および進行方向に基づく移動コストと、前記検査可能領域とを算出し、
    　算出した前記移動コストおよび前記検査可能領域に基づいて、前記変更対象検査位置に対する変更後の前記撮像部の位置および姿勢を決定し、
    　決定した変更後の前記撮像部の位置および姿勢に基づいて変更後の前記検査経路を決定する検査経路生成装置。
  5. 　請求項４に記載の検査経路生成装置において、
    　前記経路変更部は、前記変更対象検査位置の近傍に複数の候補位置を設定し、設定した前記複数の候補位置の中で、前記検査可能領域が縮小せず、かつ前記移動コストが最小となる候補位置を、前記変更対象検査位置に対する変更後の前記撮像部の位置として決定する検査経路生成装置。
  6. 　請求項３に記載の検査経路生成装置において、
    　前記経路変更部は、ユーザから入力された情報に基づいて前記変更対象検査位置を選択する検査経路生成装置。
  7. 　請求項１に記載の検査経路生成装置において、
    　前記経路決定部は、前記撮像部が前記複数の検査位置を移動する際の各検査位置間での経路長、前記撮像部の姿勢変化量および進行方向に基づいて移動コストを算出し、算出した前記移動コストに基づいて前記検査経路を決定する検査経路生成装置。
  8. 　請求項１に記載の検査経路生成装置において、
    　前記経路決定部は、前記検査装置構成情報に基づいて各検査位置における前記撮像部の姿勢の制約条件を算出し、算出した前記制約条件に基づいて前記姿勢変化量を算出する検査経路生成装置。
  9. 　請求項１に記載の検査経路生成装置において、
    　前記経路決定部は、前記検査経路の候補を複数生成し、生成した複数の前記検査経路の候補の中から、任意の検査位置間での前記撮像部の姿勢変化量が所定の閾値以上となる前記検査経路の候補を除外して、前記検査経路を決定する検査経路生成装置。
  10. 　撮像部で撮像した画像に基づいて検査対象物の外観検査を行う外観検査装置の検査経路を生成する検査経路生成方法であって、
    　演算装置により、
    　前記撮像部が前記検査対象物の撮像を行う複数の検査位置を表す検査位置情報と、前記外観検査装置の構成を表す検査装置構成情報と、を取得する処理と、
    　取得した前記検査位置情報および前記検査装置構成情報に基づいて、前記撮像部が前記複数の検査位置を移動する際の各検査位置間での経路長および前記撮像部の姿勢変化量を算出する処理と、
    　算出した前記経路長および前記姿勢変化量に基づいて前記検査経路を決定する処理と、を実行する検査経路生成方法。
  11. 　請求項１０に記載の検査経路生成方法において、
    　前記演算装置により、
    　前記検査対象物の形状を表す検査対象物情報を取得する処理と、
    　取得した前記検査対象物情報に基づいて、前記検査経路を変更した場合に前記外観検査装置が検査可能な前記検査対象物の領域を表す検査可能領域を算出する処理と、
    　算出した前記検査可能領域に基づいて変更後の前記検査経路を決定することにより、前記検査経路を変更する処理と、を実行する検査経路生成方法。
  12. 　請求項１１に記載の検査経路生成方法において、
    　前記検査経路を変更する処理では、前記複数の検査位置のうちいずれかを変更対象検査位置として選択し、選択した前記変更対象検査位置において前記撮像部の位置および姿勢の少なくとも一方を変化させることで、前記検査経路を変更する検査経路生成方法。
  13. 　請求項１２に記載の検査経路生成方法において、
    　前記演算装置により、前記変更対象検査位置において前記撮像部の位置および姿勢の少なくとも一方を変化させた場合に、前記撮像部が前記複数の検査位置を移動する際の各検査位置間での経路長、前記撮像部の姿勢変化量および進行方向に基づく移動コストを算出する処理と、前記検査可能領域を算出する処理とを実行し、
    　前記検査経路を変更する処理では、算出した前記移動コストおよび前記検査可能領域に基づいて、前記変更対象検査位置に対する変更後の前記撮像部の位置および姿勢を決定し、決定した変更後の前記撮像部の位置および姿勢に基づいて変更後の前記検査経路を決定する検査経路生成方法。
  14. 　請求項１３に記載の検査経路生成方法において、
    　前記移動コストを算出する処理および前記検査可能領域を算出する処理では、前記変更対象検査位置の近傍に複数の候補位置を設定して、前記移動コストおよび前記検査可能領域をそれぞれ算出し、
    　前記検査経路を変更する処理では、設定した前記複数の候補位置の中で、前記検査可能領域が縮小せず、かつ前記移動コストが最小となる候補位置を、前記変更対象検査位置に対する変更後の前記撮像部の位置として決定する検査経路生成方法。
  15. 　請求項１２に記載の検査経路生成方法において、
    　前記検査可能領域を算出する処理では、ユーザから入力された情報を取得し、取得した前記情報に基づいて前記変更対象検査位置を選択する検査経路生成方法。
  16. 　請求項１０に記載の検査経路生成方法において、
    　前記検査経路を決定する処理では、前記撮像部が前記複数の検査位置を移動する際の各検査位置間での経路長、前記撮像部の姿勢変化量および進行方向に基づいて移動コストを算出し、算出した前記移動コストに基づいて前記検査経路を決定する検査経路生成方法。
  17. 　請求項１０に記載の検査経路生成方法において、
    　前記撮像部の姿勢変化量を算出する処理では、取得した前記検査装置構成情報に基づいて各検査位置における前記撮像部の姿勢の制約条件を算出し、算出した前記制約条件に基づいて前記姿勢変化量を算出する検査経路生成方法。
  18. 　請求項１０に記載の検査経路生成方法において、
    　前記検査経路を決定する処理では、前記検査経路の候補を複数生成し、生成した複数の前記検査経路の候補の中から、任意の検査位置間での前記撮像部の姿勢変化量が所定の閾値以上となる前記検査経路の候補を除外して、前記検査経路を決定する検査経路生成方法。
PCT/JP2021/044041 2020-12-11 2021-12-01 検査経路生成装置、検査経路生成方法 WO2022124152A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/265,276 US20240042607A1 (en) 2020-12-11 2021-12-01 Inspection route generation device and inspection route generation method
CN202180080879.3A CN116569026A (zh) 2020-12-11 2021-12-01 检查路径生成装置、检查路径生成方法
EP21903256.2A EP4261530A1 (en) 2020-12-11 2021-12-01 Inspection path generation device and inspection path generation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020206099A JP2022093035A (ja) 2020-12-11 2020-12-11 検査経路生成装置、検査経路生成方法
JP2020-206099 2020-12-11

Publications (1)

Publication Number Publication Date
WO2022124152A1 true WO2022124152A1 (ja) 2022-06-16

Family

ID=81973911

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/044041 WO2022124152A1 (ja) 2020-12-11 2021-12-01 検査経路生成装置、検査経路生成方法

Country Status (5)

Country Link
US (1) US20240042607A1 (ja)
EP (1) EP4261530A1 (ja)
JP (1) JP2022093035A (ja)
CN (1) CN116569026A (ja)
WO (1) WO2022124152A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5633717A (en) * 1996-06-26 1997-05-27 Forensic Technology Wai Inc. Method for monitoring and adjusting the position of an object under optical observation for imaging
JP2016224707A (ja) * 2015-05-29 2016-12-28 リコーエレメックス株式会社 検査システム
JP2017203744A (ja) * 2016-05-13 2017-11-16 三菱重工業株式会社 航空機パネル外観検査方法
JP2019007891A (ja) * 2017-06-27 2019-01-17 ファナック株式会社 機械学習装置、ロボット制御システム及び機械学習方法
JP2019078651A (ja) * 2017-10-25 2019-05-23 ファナック株式会社 検査システム
JP2019158499A (ja) * 2018-03-12 2019-09-19 オムロン株式会社 外観検査システム、設定装置、画像処理装置、設定方法およびプログラム
JP2020099215A (ja) * 2018-12-20 2020-07-02 三菱重工機械システム株式会社 植物管理システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5633717A (en) * 1996-06-26 1997-05-27 Forensic Technology Wai Inc. Method for monitoring and adjusting the position of an object under optical observation for imaging
JP2016224707A (ja) * 2015-05-29 2016-12-28 リコーエレメックス株式会社 検査システム
JP2017203744A (ja) * 2016-05-13 2017-11-16 三菱重工業株式会社 航空機パネル外観検査方法
JP2019007891A (ja) * 2017-06-27 2019-01-17 ファナック株式会社 機械学習装置、ロボット制御システム及び機械学習方法
JP2019078651A (ja) * 2017-10-25 2019-05-23 ファナック株式会社 検査システム
JP2019158499A (ja) * 2018-03-12 2019-09-19 オムロン株式会社 外観検査システム、設定装置、画像処理装置、設定方法およびプログラム
JP2020099215A (ja) * 2018-12-20 2020-07-02 三菱重工機械システム株式会社 植物管理システム

Also Published As

Publication number Publication date
US20240042607A1 (en) 2024-02-08
CN116569026A (zh) 2023-08-08
EP4261530A1 (en) 2023-10-18
JP2022093035A (ja) 2022-06-23

Similar Documents

Publication Publication Date Title
CA3055818C (en) Method and apparatus for robust reduction of shape error in laser powder deposition based additive manufacturing process due to uncertainty
EP3166081A2 (en) Method and system for positioning a virtual object in a virtual simulation environment
US20170091999A1 (en) Method and system for determining a configuration of a virtual robot in a virtual environment
EP2993001A1 (en) Method and apparatus for industrial robotic energy saving optimization using fly-by
WO2017001356A2 (en) Method in constructing a model of a scenery and device therefor
US11468211B2 (en) Method of operating a CAD system model for modelling an article to be manufactured
WO2018143019A1 (ja) 情報処理装置、情報処理方法およびプログラム記録媒体
JP2021196705A (ja) 画像処理装置、画像処理方法およびプログラム
WO2022124152A1 (ja) 検査経路生成装置、検査経路生成方法
CN111951348B (zh) 确定框选区域的方法、装置及电子设备
JP4809645B2 (ja) メッシュ分割方法、有限要素解析装置、及びコンピュータプログラム
US20210056245A1 (en) Method and system for performing a simulation of a retraction cable motion
CN106415554B (zh) 在具有相交跳动部的多个相邻腹板面上的航空摇动
WO2022212313A1 (en) Ml-based discrepancy surrogate for digital twin simulation
JP5509952B2 (ja) シミュレーション方法、シミュレーション装置、プログラム、及び記憶媒体
WO2020189269A1 (ja) 画像処理方法、画像処理装置、プログラム
JP6123398B2 (ja) 欠陥箇所予測装置、識別モデル生成装置、欠陥箇所予測プログラムおよび欠陥箇所予測方法
WO2022244444A1 (ja) 情報処理システム、情報処理方法、プログラム
US20220230702A1 (en) Optical Flow Based Forecasting of Binding States in Molecular Dynamic Simulations
WO2023248968A1 (ja) 画像加工方法、画像加工装置、及び画像加工プログラム
US20140303946A1 (en) Analysis device and simulation method
Dahlke et al. Near Design Analyse of Structural Components for Additive Manufacturing
JP3872469B2 (ja) データ処理方法、データ処理装置
JP2014087875A (ja) 経路探索方法、経路評価方法、経路探索装置、制御装置、ロボット、及び、プログラム
Saeedfar et al. Dynamic Space Conflict Modeling for Construction Operations

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21903256

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202180080879.3

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18265276

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021903256

Country of ref document: EP

Effective date: 20230711