WO2021161530A1 - 加工装置のためのワークの据え付け方法、ワーク据え付け支援システム、及び、ワーク据え付け支援プログラム - Google Patents

加工装置のためのワークの据え付け方法、ワーク据え付け支援システム、及び、ワーク据え付け支援プログラム Download PDF

Info

Publication number
WO2021161530A1
WO2021161530A1 PCT/JP2020/005889 JP2020005889W WO2021161530A1 WO 2021161530 A1 WO2021161530 A1 WO 2021161530A1 JP 2020005889 W JP2020005889 W JP 2020005889W WO 2021161530 A1 WO2021161530 A1 WO 2021161530A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
additional
image
camera
measurement
Prior art date
Application number
PCT/JP2020/005889
Other languages
English (en)
French (fr)
Inventor
堀部 和也
和正 丸田
博雅 山本
ヒョング パク
雅敏 伊藤
竜一 水上
Original Assignee
ヤマザキマザック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマザキマザック株式会社 filed Critical ヤマザキマザック株式会社
Priority to JP2020521387A priority Critical patent/JP6736798B1/ja
Priority to CN202080095937.5A priority patent/CN115066313B/zh
Priority to PCT/JP2020/005889 priority patent/WO2021161530A1/ja
Priority to EP20918869.7A priority patent/EP4104968B1/en
Publication of WO2021161530A1 publication Critical patent/WO2021161530A1/ja
Priority to US17/881,604 priority patent/US20220371143A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23QDETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q15/00Automatic control or regulation of feed movement, cutting velocity or position of tool or work
    • B23Q15/20Automatic control or regulation of feed movement, cutting velocity or position of tool or work before or after the tool acts upon the workpiece
    • B23Q15/22Control or regulation of position of tool or workpiece
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23QDETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q17/00Arrangements for observing, indicating or measuring on machine tools
    • B23Q17/22Arrangements for observing, indicating or measuring on machine tools for indicating or measuring existing or desired position of tool or work
    • B23Q17/2291Arrangements for observing, indicating or measuring on machine tools for indicating or measuring existing or desired position of tool or work for adjusting the workpiece relative to the holder thereof
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23QDETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q17/00Arrangements for observing, indicating or measuring on machine tools
    • B23Q17/24Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves
    • B23Q17/2433Detection of presence or absence
    • B23Q17/2442Detection of presence or absence of a tool
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23QDETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q17/00Arrangements for observing, indicating or measuring on machine tools
    • B23Q17/24Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves
    • B23Q17/2452Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves for measuring features or for detecting a condition of machine parts, tools or workpieces
    • B23Q17/2471Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves for measuring features or for detecting a condition of machine parts, tools or workpieces of workpieces
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23QDETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q17/00Arrangements for observing, indicating or measuring on machine tools
    • B23Q17/24Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves
    • B23Q17/248Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves using special electromagnetic means or methods
    • B23Q17/249Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves using special electromagnetic means or methods using image analysis, e.g. for radar, infrared or array camera images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B5/00Measuring arrangements characterised by the use of mechanical techniques
    • G01B5/004Measuring arrangements characterised by the use of mechanical techniques for measuring coordinates of points
    • G01B5/008Measuring arrangements characterised by the use of mechanical techniques for measuring coordinates of points using coordinate measuring machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Definitions

  • the present invention relates to a work installation method for a processing device, a work installation support system, and a work installation support program.
  • Patent Document 1 discloses a method of imaging a work piece installed on a table with a visual device, determining the work piece name based on the image, and calculating the rough position of the work piece on the table from the image data. ing. Further, in Patent Document 1, a contact probe for measurement is attached to a spindle, the precise position of the workpiece and the precise position of the characteristic point of the workpiece are automatically searched from the rough position, and the characteristic points of the workpiece are connected to each other. It discloses a method of finding the approximate posture of a workpiece based on a straight line and making corrections so that the reference coordinate system of the machining program and the coordinate system of the workpiece on the table match.
  • the technical problem disclosed in the present application is to provide a work installation method, a work installation support system, and a work installation support program for a processing device capable of efficiently adjusting the postures of a plurality of workpieces.
  • the reference work is placed on the mounting table, and the posture of the reference work is placed on the mounting table so that the posture of the reference work becomes the work reference posture.
  • the camera is set to the target configuration in which the viewpoint position and line-of-sight direction of the camera that shoots the mounting table are the reference viewpoint position and the reference line-of-sight direction, respectively, and the image was taken by the camera set in the target configuration.
  • a reference image for displaying a reference work whose posture has been adjusted is acquired, a plurality of work reference lines are set at the boundary of the first image area occupied by the reference work in the reference image, and a reference in which the plurality of work reference lines are respectively located.
  • a plurality of positions in the image are stored in the memory as a plurality of work reference line positions, and a work having substantially the same shape and size as the shape and size of the reference work can be used as a mounting table from which the reference work has been removed and a mounting table.
  • the measurement image that displays the work, taken by the camera set in the target configuration is acquired by placing it on one of the additional mounting bases that are different from the mounting base, which are arranged by replacing with.
  • the processor generates a measurement composite image in which a plurality of work reference lines are superimposed on the measurement image so that the plurality of work reference lines are displayed at the same multiple positions as the multiple work reference line positions in the measurement composite image. Then, on one table, the boundary of the second image area occupied by the work in the measurement composite image and the plurality of work reference lines are substantially parallel to each other or substantially coincide with each other. Adjust the posture.
  • the mounting table and the additional mounting table are set at the processing position where the work is processed by the processing apparatus and the setup position away from the processing position. It is movable.
  • the camera captures either the reference work or the work placed on one of the pedestals that has moved to the setup position.
  • the posture of the work is adjusted on the mounting table or the additional mounting table that has been moved to the setup position.
  • the reference when the mounting table on which the reference work whose posture is adjusted so as to be the work reference posture is moved to the machining position, the reference is made. All the positions of the plurality of reference feature points, which are the plurality of feature points of the shape of the work, exist within a predetermined allowable range.
  • the method of installing the work according to the third aspect moves one table on which the work whose posture is adjusted is placed to a machining position and corresponds to a plurality of reference feature points, respectively.
  • the positions of multiple machining reference points which are multiple feature points of substantially the same shape of the workpiece, are measured by the position measurement sensor of the machining device, and the positions of the plurality of machining reference points are allowed by the machining device. It further includes determining if it is within range.
  • the processing apparatus determines that the processing is permitted.
  • the judgment result of disapproving machining is output and the work is moved to the machining position. Further includes moving one of the stands on which the is placed to the setup position.
  • the posture of the reference work and the posture of the work are the coordinates set by the machining apparatus to execute the machining program. It is defined by the angle of rotation around the coordinate axes of the system or the center axis of rotation of the mounting table.
  • the work reference line is at the edge of the boundary of the first image region obtained by image processing by the processor. be.
  • the work reference line is a straight line or a circle.
  • a plurality of camera setting reference lines are set at the boundary of the third image area occupied by the stationary object in the background of the reference image. Including further setting.
  • a plurality of positions in the reference image in which the plurality of camera setting reference lines are located are further stored in the memory as a plurality of camera setting reference line positions, and the processor sets the plurality of camera setting reference lines.
  • the measurement composite image superimposed on the measurement image is generated so that the plurality of camera setting reference lines are displayed at the same plurality of positions as the plurality of camera setting reference line positions in the measurement composite image.
  • the camera is set in the target configuration by adjusting the viewpoint position and the line-of-sight direction of the camera so that the boundary of the fourth image region occupied by the stationary object in the measurement composite image overlaps the plurality of camera setting reference lines.
  • the camera setting reference line is the edge of the boundary of the third image region obtained by image processing by the processor.
  • the camera setting reference line is a straight line.
  • the viewpoint position and the line-of-sight direction of the first additional camera for photographing the mounting table are the reference viewpoint positions, respectively.
  • a plurality of positions in the first additional reference image in which the first additional work reference line is located are stored in the memory as a plurality of first additional work reference line positions, and a plurality of second additional work reference lines are located respectively.
  • a plurality of positions in the additional reference image are stored in the memory as a plurality of second additional work reference line positions, and the work taken by the first additional camera set in the first additional target configuration is displayed.
  • 1 Acquire the additional measurement image, acquire the second additional measurement image to display the work taken by the second additional camera set in the second additional target configuration, and use the processor to obtain multiple first additional work reference.
  • the first additional measurement composite image in which the line is superimposed on the first additional measurement image is placed at a plurality of positions where the plurality of first additional work reference lines are the same as the positions of the plurality of first additional work reference lines in the first additional measurement composite image.
  • a plurality of second additional work reference lines are secondarily added to a second additional measurement composite image in which a plurality of second additional work reference lines are superimposed on the second additional measurement image.
  • the boundary of the 7th image area occupied by the work in the 1st additional measurement composite image and the plurality of 1st additional work reference lines are substantially parallel to each other, or
  • the posture of the work is adjusted on one of the tables so that the work substantially matches, and the boundary of the eighth image area occupied by the work in the second additional measurement composite image and the plurality of second additional work reference lines are substantially aligned. It further includes adjusting the posture of the work on one of the pedestals so that it is parallel to or substantially in line with.
  • two of the reference line-of-sight direction, the first additional reference line-of-sight direction, and the second additional reference line-of-sight direction are substantially mutually exclusive.
  • the angle formed by a plane perpendicular to and parallel to both of the two gaze directions and the remaining gaze directions other than the two gaze directions is greater than 45 degrees.
  • the measurement image and the plurality of work reference lines are input, and as a result of the determination, whether the plurality of processing reference points are within the permissible range.
  • Target configuration using a machine learning model learned using teacher data that outputs at least one of the result of determining whether or not it is and the amount of deviation between a plurality of machining reference points and the center value of each allowable range.
  • the first additional work is placed from the third additional measurement image showing the first additional work having substantially the same shape and size as the reference work shape and size taken by the camera set in.
  • All of the plurality of first additional machining reference points which are the plurality of feature points having substantially the same shape of the first additional work, corresponding to the plurality of reference feature points when the table is moved to the machining position. Further includes determining whether or not the position of is within the permissible range.
  • the edge detected from the measurement image, the amount of deviation of the plurality of work reference line positions from the image center, the focal length of the camera lens, and the camera A machine learning model is trained using teacher data that further inputs at least one of the distortion parameters of.
  • the method of installing the work according to any one of the 1st to 15th aspects is a mounting table from which the reference work is removed and an additional mounting table which is arranged by replacing the mounting table.
  • a second additional work having substantially the same shape and size as the reference work is placed on the other table, and the second additional work taken by the camera set in the target configuration is displayed.
  • the 4th additional measurement composite image obtained by acquiring the additional measurement image and superimposing the plurality of work reference lines on the 4th additional measurement image by the processor, and the plurality of work reference lines in the 4th additional measurement composite image It is generated so that it is displayed at a plurality of positions that are the same as the line position, and the boundary of the ninth image area occupied by the second additional work in the fourth additional measurement composite image and the plurality of work reference lines are substantially.
  • the posture of the second additional work is adjusted on the other table so as to be parallel to or substantially in line with.
  • the work installation support system includes a mounting table, a camera, an input device, a memory, a processor, and a display.
  • the mounting table is configured to selectively mount the reference work or the work in order to adjust the posture of the work having substantially the same shape and size as the shape and size of the reference work and the posture of the reference work.
  • the camera is configured to capture the reference work and the work on the mounting table. Multiple work reference at the boundary of the first image area occupied by the reference work in the reference image that displays the reference work taken by the camera and adjusted so that the posture of the reference work becomes the work reference posture via the input device. The line is set.
  • the memory is configured to store a plurality of positions in the reference image in which the plurality of work reference lines are located as a plurality of work reference line positions.
  • the processor is a measurement composite image in which multiple work reference lines are superimposed on a measurement image that displays the work taken by the camera when the work posture is adjusted on the mounting table, and multiple work reference lines are measurement composite images. Is configured to be generated so as to be displayed at a plurality of positions that are the same as a plurality of work reference line positions.
  • the display is configured to display the measured composite image when the measured image is taken.
  • the work installation support system has a target configuration in which the viewpoint position and the line-of-sight direction of the camera are the reference viewpoint position and the reference line-of-sight direction, respectively, when the reference image is taken.
  • the camera is set in the system, and when the measurement image is taken, the camera is set in the target configuration.
  • the work installation support system further includes a processing device and an additional mounting table.
  • the processing apparatus is configured to process the workpiece.
  • the additional mounting table is configured to selectively mount the reference work or the work.
  • the mounting table and the additional mounting table can be moved to a machining position where the work is machined by the machining apparatus and a setup position separated from the machining position.
  • the camera takes a picture of one of the mounting table and the additional mounting table that has been moved to the setup position.
  • the posture of the reference work is adjusted on the mounting table that has been moved to the setup position.
  • the posture of the work is adjusted on the mounting table or the additional mounting table that has been moved to the setup position.
  • the mounting table on which the reference work whose posture is adjusted so that the machining apparatus is in the work reference posture is moved to the machining position.
  • a position measurement sensor configured to measure the positions of a plurality of reference feature points, which are a plurality of feature points in the shape of the reference work, and a predetermined allowable range for all the positions of the plurality of reference feature points.
  • includes electronic circuits configured to determine if they are present within.
  • the position measurement sensor uses a plurality of references. It is configured to measure the positions of a plurality of machining reference points, which are multiple feature points of substantially the same shape of the work corresponding to each feature point, and the electronic circuit can be used to measure the positions of the plurality of machining reference points. Each is configured to determine if it is within the permissible range.
  • the electronic circuit determines that all the positions of the plurality of processing reference points are within the permissible range, the determination result of permitting the processing. Is output to cause the processing device to process the workpiece.
  • the electronic circuit determines that at least one of the plurality of machining reference points does not exist within the permissible range, it outputs a judgment result of disapproval of machining, and the workpiece moved to the machining apparatus is placed. It is configured to move one of the stands to the setup position.
  • the posture of the reference work and the posture of the work are the coordinates set by the machining apparatus to execute the machining program. It is configured to be defined by the angle of rotation around the coordinate axes of the system or the center axis of rotation of the mount.
  • the work reference line is at the edge of the boundary of the first image region obtained by image processing by the processor. It is configured to be.
  • the work installation support system according to any one of the 18th to 24th aspects is configured such that the work reference line is a straight line or a circle.
  • a plurality of camera setting reference lines are formed at the boundary of the third image area occupied by the stationary object in the background of the reference image. It is configured to be set via an input device.
  • the memory is configured to further store a plurality of positions in the reference image in which the plurality of camera setting reference lines are located as a plurality of camera setting reference line positions.
  • the processor displays the measurement composite image in which a plurality of camera setting reference lines are superimposed on the measurement image at a plurality of positions that are the same as the multiple camera setting reference line positions in the measurement composite image. It is configured to generate.
  • the boundary of the fourth image area occupied by the stationary object in the measurement composite image overlaps with the plurality of camera setting reference lines.
  • the work installation support system according to the 26th aspect is configured such that the camera setting reference line is the edge of the boundary of the third image region obtained by image processing by the processor. ..
  • the work installation support system according to the 26th aspect or the 27th aspect is configured such that the camera setting reference line is a straight line.
  • the work installation support system according to any one of the 18th to 28th aspects further includes a first additional camera and a second additional camera.
  • the first additional camera is configured to capture the reference work and the work on the mounting table.
  • the second additional camera is configured to capture the reference work and the work on the mounting table.
  • In the first additional target configuration in which the viewpoint position and the line-of-sight direction of the first additional camera are different from the reference viewpoint position and the first additional reference line-of-sight direction is parallel to the reference line-of-sight direction, respectively. 1
  • An additional camera is set.
  • the second additional reference position in which the viewpoint position and the line-of-sight direction of the second additional camera are different from the reference viewpoint position and the first additional reference position, respectively, and the second additional reference position which is non-parallel to the reference line-of-sight direction and the first additional reference line-of-sight direction.
  • the second additional camera is set in the second additional target configuration which is the additional reference line-of-sight direction.
  • a plurality of fifth images are displayed at the boundary of the fifth image area occupied by the reference work in the first additional reference image, which displays the reference work taken by the first additional camera and adjusted so that the posture of the reference work becomes the work reference posture. 1
  • An additional work reference line is set via the input device.
  • a plurality of third images are displayed at the boundary of the sixth image area occupied by the reference work in the second additional reference image, which displays the reference work taken by the second additional camera and adjusted so that the posture of the reference work becomes the work reference posture.
  • the additional work reference line is set via the input device.
  • the memory is configured to store a plurality of positions in the first additional reference image in which the plurality of first additional work reference lines are located as a plurality of first additional work reference line positions.
  • the memory is configured to store a plurality of positions in the second additional reference image in which the plurality of second additional work reference lines are located as a plurality of second additional work reference line positions.
  • the processor uses a plurality of first additional work reference lines to display a first additional measurement composite image in which a plurality of first additional work reference lines are superimposed on a first additional measurement image displaying a work taken by the first additional camera. It is configured to be generated so as to be displayed at a plurality of positions that are the same as the positions of the plurality of first additional work reference lines in the first additional measurement composite image.
  • the processor produces a second additional measurement composite image in which a plurality of second additional work reference lines are superimposed on a second additional measurement image for displaying the work, which is taken by the second additional camera, and the plurality of second additional work reference lines are used.
  • the second additional measurement composite image is configured to be generated so as to be displayed at a plurality of positions that are the same as the positions of the plurality of second additional work reference lines.
  • the display is configured to display the first additional measurement composite image when the first additional measurement image is taken, and to display the second additional measurement composite image when the second additional measurement image is taken. It is composed.
  • two of the reference line-of-sight direction, the first additional reference line-of-sight direction, and the second additional reference line-of-sight direction are substantially mutually exclusive.
  • the angle between the plane perpendicular to and parallel to both of the two gaze directions and the remaining gaze directions other than the two gaze directions is configured to be greater than 45 degrees.
  • the processor inputs the measurement image and the plurality of work reference lines, and as a result of the determination, the plurality of processing reference points are within the permissible range.
  • the first additional work is placed from the third additional measurement image showing the first additional work having substantially the same shape and size as the reference work shape and size taken by the camera set in the target configuration.
  • a plurality of first additional machining reference points which are a plurality of feature points having substantially the same shape of the first additional work, corresponding to a plurality of reference feature points when one of the pedestals is moved to the machining position. It is configured to determine if all the positions of the points are within the permissible range.
  • the work installation support system according to the 31st aspect includes an edge detected from a measurement image, an amount of deviation of a plurality of work reference line positions from the image center, a focal length of a camera lens, and a camera.
  • the machine learning model is configured to be trained using teacher data that further inputs at least one of the distortion parameters of.
  • the posture of the work is taken by a camera set to a target configuration in which the viewpoint position and the line-of-sight direction of the camera are the reference viewpoint position and the reference line-of-sight direction, respectively.
  • a reference image for displaying the reference work on the mounting table adjusted to be the reference posture is acquired, and a plurality of work reference lines are set at the boundary of the first image area occupied by the reference work in the reference image, and a plurality of work reference lines are set.
  • Multiple positions in the reference image where the work reference line is located are stored in the memory as multiple work reference line positions, and the mounting table with the reference work removed, which was taken by the camera set in the target configuration, Display a work that has a shape and size substantially the same as the shape and size of the reference work, which is placed on one of the additional mounting tables different from the mounting table and is arranged in place of the mounting table.
  • a measurement composite image obtained by acquiring a measurement image and superimposing a plurality of work reference lines on the measurement image is displayed at a plurality of positions that are the same as a plurality of work reference line positions in the measurement composite image. And display the measurement composite image on the display, and let the processor execute the process.
  • the posture of the reference work and the posture of the work are the rotation angles around the coordinate axes of the coordinate system set by the machining apparatus to execute the machining program. , Or defined by the swivel center axis of the mount.
  • the work installation support program according to the 33rd aspect or the 34th aspect causes the processor to detect the edge of the boundary of the first image area obtained by the image processing as the work reference line. Let it run further.
  • the work reference line is a straight line or a circle.
  • the work installation support program sets a plurality of camera setting reference lines at the boundary of the third image area occupied by the stationary object in the background of the reference image. Multiple positions in the reference image where the multiple camera setting reference lines are set are further stored in the memory as multiple camera setting reference line positions, and the multiple camera setting reference lines are superimposed on the measurement image.
  • the processor is further subjected to a process of generating the image so that the plurality of camera setting reference lines are displayed at the same plurality of positions as the plurality of camera setting reference line positions in the measurement composite image.
  • the work installation support program according to the 36th aspect causes the processor to further execute a process of detecting the edge of the boundary of the third image region obtained by the image processing as a camera setting reference line. ..
  • the camera setting reference line is a straight line.
  • the viewpoint position and the line-of-sight direction of the first additional camera are different from the reference viewpoint position, respectively.
  • the first additional reference image that displays the posture-adjusted reference work taken by the first additional camera set in the first additional target configuration that is the first additional reference line-of-sight direction that is non-parallel to the reference line-of-sight direction.
  • the second additional reference position which is different from the reference viewpoint position and the first additional reference position, and the reference line-of-sight direction and the first additional reference line-of-sight direction are not parallel to each other.
  • the second additional reference image that displays the posture-adjusted reference work taken by the second additional camera set in the second additional target configuration, which is the direction of the second additional reference line of sight, is acquired and the first addition is performed.
  • a plurality of first additional work reference lines are set at the boundary of the fifth image area occupied by the reference work in the reference image, and a plurality of second additional work reference lines are set at the boundary of the sixth image area occupied by the reference work in the second additional reference image.
  • a line is set, and a plurality of positions in the first additional reference image in which the plurality of first additional work reference lines are located are stored in the memory as a plurality of first additional work reference line positions, and a plurality of second additional work reference lines are stored in the memory.
  • the second additional reference image where each reference line is located are stored in the memory as a plurality of second additional work reference line positions, and are photographed by the first additional camera set in the first additional target configuration.
  • the first additional measurement image for displaying the work is acquired
  • the second additional measurement image for displaying the work taken by the second additional camera set in the second additional target configuration is acquired, and a plurality of second additional measurement images are acquired.
  • the plurality of first additional work reference lines are the same as the positions of the plurality of first additional work reference lines in the first additional measurement composite image.
  • the second additional work reference line is generated so that it is displayed at a plurality of positions, and the second additional work reference line is superimposed on the second additional measurement image.
  • the additional measurement composite image the first additional measurement composite image and the second additional measurement composite image are displayed on the display by generating the images so that they are displayed at the same plurality of positions as the reference line positions of the second additional work. , Let the processor do more processing.
  • two of the reference line-of-sight direction, the first additional reference line-of-sight direction, and the second additional reference line-of-sight direction are substantially mutually exclusive.
  • the angle formed by a plane perpendicular to and parallel to both of the two gaze directions and the remaining gaze directions other than the two gaze directions is greater than 45 degrees.
  • the measurement image and the plurality of work reference lines are input, and whether all the positions of the plurality of processing reference points are within the permissible range. At least the judgment result of determining whether or not, the result of determining whether or not a plurality of machining reference points are within the permissible range, and the amount of deviation between the plurality of machining reference points and the center value of each permissible range.
  • the processor is made to perform a process of determining whether or not all the positions of the plurality of first additional machining reference points, which are the plurality of feature points having the same shape, are within the permissible range.
  • the edge detected from the measurement image, the amount of deviation of a plurality of work reference line positions from the image center, the focal length of the camera lens, and the camera A machine learning model is trained using teacher data that further inputs at least one of the distortion parameters of.
  • the work installation support system according to the 17th aspect, and the work installation support program according to the 33rd aspect a plurality of reference works whose postures are adjusted to be the work reference postures.
  • the posture of the work can be adjusted with reference to the reference line position. Therefore, the postures of the plurality of workpieces can be efficiently adjusted.
  • the camera is used so that the reference line position does not shift due to the deviation of the camera. It can be set to the target configuration. Therefore, the posture of the workpiece can be adjusted more efficiently.
  • the work installation method it is possible to process the work at the machining position and at the same time adjust the posture of another work at the setup position.
  • the postures of the plurality of workpieces can be efficiently adjusted so that the machining stop time of the machining apparatus is shortened by adjusting the posture of the work to be machined next at the setup position during machining by the machining apparatus.
  • the work reference posture is appropriately set by setting the allowable range according to the reference work and the cutting allowance of the work. .. Therefore, the processing apparatus can process the reference work set to the work reference posture.
  • the work determined to be unprocessable by the processing apparatus is returned to the setup position. Therefore, the posture of the work can be easily readjusted.
  • the rotation angle of the coordinate axis that is the reference of the coordinate conversion in the machining program is used. , The amount of coordinate conversion of the machining program can be reduced.
  • the work reference line can be set by the edge detection process, so that the work reference can be set. Line setting work becomes easy.
  • the work installation support system according to the 25th aspect, and the work installation support program according to the 36th aspect since the work reference line is a simple figure such as a circle or a straight line, the second image area It becomes easy to align the boundary of the work with the work reference line.
  • the camera can be adjusted to the target configuration by using the measurement composite image. can.
  • the camera setting reference line can be set by the edge detection process, so that the camera The setting work of the setting reference line becomes easy.
  • the camera setting reference line is a straight line
  • the boundary of the fourth image area is set as a camera. It becomes easy to match the setting reference line.
  • the work installation method according to the twelfth aspect, the work installation support system according to the 29th aspect, and the work installation support program according to the 39th aspect enable the posture adjustment of the work in three dimensions.
  • the three cameras are arranged so as to face substantially perpendicular to each other. Highly accurate posture adjustment in three dimensions is possible.
  • the work installation method according to the 14th aspect, the work installation support system according to the 31st aspect, and the work installation support program according to the 41st aspect are performed manually without moving one of the tables to the machining position. It is possible to determine whether or not the posture adjustment of the work is appropriate. Therefore, the time required for posture adjustment can be further shortened, and the postures of a plurality of workpieces requiring the same machining can be adjusted more efficiently.
  • the work installation support system according to the 32nd aspect, and the work installation support program according to the 42nd aspect the edge detected from the measurement image is input and the machine learning model is learned.
  • NS Since the positional relationship between the work reference line and the edge is an important feature that represents the posture of the work, high-precision judgment can be expected by a machine learning model.
  • the work installation support system according to the 32nd aspect, and the work installation support program according to the 42nd aspect the amount of deviation of the work reference line position from the image center and the camera lens The focal length of the camera and the distortion parameters of the camera are input, and the machine learning model is trained.
  • the work reference line is a straight line
  • the work reference line is more affected by the aberration as the distance from the center of the image increases, so that the error becomes larger. Therefore, by letting the machine learning model learn these parameters, high-precision judgment by the machine learning model can be expected.
  • the work can be arranged on either the mounting table or the additional mounting table, and the posture of the work can be adjusted.
  • the posture of the work can be adjusted by referring to a plurality of reference line positions of the reference work whose posture is adjusted to be the work reference posture. Therefore, the postures of the plurality of workpieces can be efficiently adjusted.
  • FIG. 1 is a diagram showing a schematic configuration of a work installation support system according to the first embodiment.
  • FIG. 2 shows an example of a reference image according to the first embodiment.
  • FIG. 3 shows an example of the first additional reference image.
  • FIG. 4 shows an example of the second additional reference image.
  • FIG. 5 shows an example of the measurement composite image according to the first embodiment.
  • FIG. 6 shows an example of a measurement composite image when the posture of the work according to the first embodiment is adjusted.
  • FIG. 7 shows another example of the measurement composite image when the posture of the work according to the first embodiment is adjusted.
  • FIG. 8 shows an example of the first additional measurement composite image.
  • FIG. 9 shows an example of the second additional measurement composite image.
  • FIG. 10 is a flowchart showing a method of installing the work according to the first embodiment.
  • FIG. 10 is a flowchart showing a method of installing the work according to the first embodiment.
  • FIG. 11 is a flowchart showing a method of adjusting the posture of the reference work to the work reference posture in the first embodiment.
  • FIG. 12 shows a posture adjusting method of the posture of the reference work according to the first embodiment.
  • FIG. 13 shows a posture adjusting method of the posture of the reference work according to the first embodiment.
  • FIG. 14 shows a posture adjusting method of the posture of the reference work according to the first embodiment.
  • FIG. 15 is a diagram for explaining a reference feature point and an allowable range.
  • FIG. 16 is a diagram for explaining a processing reference point.
  • FIG. 17 is a block diagram of a work installation support system according to a modified example of the first embodiment.
  • FIG. 18 is an example of a composite image displaying the determination result of the third additional measurement image.
  • FIG. 12 shows a posture adjusting method of the posture of the reference work according to the first embodiment.
  • FIG. 13 shows a posture adjusting method of the posture of the reference work according to the first embodiment.
  • FIG. 14
  • FIG. 19 shows an example of the fourth additional measurement composite image.
  • FIG. 20 is a diagram showing a schematic configuration of a work installation support system according to a second embodiment.
  • FIG. 21 is a diagram for explaining the reference work and the posture of the work according to the second embodiment.
  • FIG. 22 is a diagram for explaining the reference work and the posture of the work according to the second embodiment.
  • FIG. 23 is a flowchart showing a method of installing the work according to the second embodiment.
  • FIG. 24 is a flowchart showing a method of adjusting the posture of the reference work to the work reference posture in the second embodiment.
  • FIG. 25 shows a posture adjusting method of the posture of the reference work according to the second embodiment.
  • FIG. 26 shows a posture adjusting method of the posture of the reference work according to the second embodiment.
  • FIG. 20 is a diagram showing a schematic configuration of a work installation support system according to a second embodiment.
  • FIG. 21 is a diagram for explaining the reference work and the posture of the work according to the
  • FIG. 27 shows a posture adjusting method of the posture of the reference work according to the second embodiment.
  • FIG. 28 shows a posture adjusting method of the posture of the reference work according to the second embodiment.
  • FIG. 29 shows an example of a reference image according to the second embodiment.
  • FIG. 30 shows an example of the measurement composite image according to the second embodiment.
  • FIG. 31 shows an example of a measurement composite image in the process of adjusting the posture of the work according to the second embodiment.
  • FIG. 32 shows an example of a measurement composite image when the posture of the work according to the second embodiment is adjusted.
  • FIG. 1 shows a schematic configuration of a work installation support system 1 according to an embodiment of the present invention.
  • the work installation support system 1 includes a processing device 10, a camera 4, a first additional camera 4A, a second additional camera 4B, an image processing device 200, an input device 7, and a display 8.
  • the processing apparatus 10 includes, for example, a machining center capable of milling.
  • the processing device 10 includes a numerical control device 100, a mounting table 2, and an additional mounting table 2A.
  • the additional mounting table 2A may be arranged separately from the processing device 10 and configured to be connectable to the processing device 10.
  • the image processing device 200 includes a processor 5 and a memory 6.
  • the image processing device 200 may be a dedicated image processing device that processes images from the camera 4, the first additional camera 4A, and the second additional camera 4B, or may be a general-purpose computer.
  • the image processing device 200 captures images from the camera 4, the first additional camera 4A, and the second additional camera 4B via a well-known camera input / output interface 201 such as HDMI (registered trademark).
  • FIG. 1 shows an example in which the input device 7 and the display 8 are realized by a touch panel display connected to the image processing device 200 by a wireless network NW.
  • the input device 7 and the display 8 may be separate terminals such as a monitor and a mouse, or may be connected to the image processing device 200 by a cable.
  • the interface for transmitting the signal of the input device 7 to the image processing device 200 may be called the first communication interface 202.
  • an interface that outputs the video processed via the image processing device 200 or the video captured by the image processing device 200 via the camera input / output interface 201 to the display 8 may be referred to as a video output interface 203.
  • the first communication interface 202 and the video output interface 203 are realized by a wireless communication interface.
  • the processor 5, the memory 6, the camera input / output interface 201, the first communication interface 202, and the video output interface 203 are connected via the bus 205.
  • the processing device 10 includes a guide rail 2G1 extending in the first direction D1 and a guide rail 2G2 extending in the second direction D2.
  • the mounting table 2 and the additional mounting table 2A can be moved to the processing position MP in which the work W is processed by the processing device 10 and the setup position AP separated from the processing position MP. More specifically, the machining position MP and the setup position AP are separated from each other in the first direction D1, and the mounting table 2 and the additional mounting table 2A move along the guide rail 2G1 extending in the first direction D1. It is possible.
  • the mounting table 2 and the additional mounting table 2A may be further movable from the setup position AP to the additional setup position AAP.
  • the setup position AP and the additional setup position AAP are separated from each other in the second direction D2, which is substantially perpendicular to the first direction D1, and the mounting table 2 and the additional mounting table 2A are second. It can move along the guide rail 2G2 extending in the direction D2.
  • the mounting table 2 is configured to selectively mount the reference work RW or the work W.
  • the posture of the reference work RW or the posture of the work W can be adjusted.
  • the reference work RW is used to determine the work reference posture referred to for adjusting the posture of the work W.
  • the work W has substantially the same shape and size as the shape and size of the reference work RW. This means that the difference between the shape and size of the work W and the shape and size of the reference work RW is within the range of errors that can occur in the manufacturing process of the work W and the reference work RW. For example, when the reference work RW and the work W are castings manufactured by the same mold, the difference is within an error that can occur due to mold molding (for example, about 5 mm for a large work piece).
  • the reference work RW and the work W are mounted on the mounting table 2 (additional mounting table 2A) moved to the additional setting position AAP, temporarily fixed to the mounting table 2 (additional mounting table 2A), and moved to the setup position AP. Sent.
  • the posture of the reference work RW is adjusted on the mounting table 2 moved to the setup position AP.
  • the posture of the work W is adjusted on the mounting table 2 or the additional mounting table 2A that has been moved to the setup position AP.
  • the camera 4, the first additional camera 4A, and the second additional camera 4B are configured to photograph the reference work RW and the work W on the mounting table 2. More specifically, the camera 4, the first additional camera 4A, and the second additional camera 4B photograph one of the mounting table 2 and the additional mounting table 2A that has been moved to the setup position AP. ..
  • the camera 4 is set to a target configuration in which the viewpoint position and the line-of-sight direction of the camera 4 are the reference viewpoint position and the reference line-of-sight direction, respectively.
  • the viewpoint position and the line-of-sight direction of the first additional camera 4A are the first additional reference position different from the reference viewpoint position and the first additional reference line-of-sight direction non-parallel to the reference line-of-sight direction, respectively.
  • 1 Set to additional target configuration.
  • the second additional camera 4B has a second additional reference position in which the viewpoint position and the line-of-sight direction of the second additional camera 4B are different from the reference viewpoint position and the first additional reference position, respectively, and the reference line-of-sight direction and the first additional reference.
  • the second additional target configuration that is the second additional reference line-of-sight direction that is non-parallel to the line-of-sight direction.
  • the reference line-of-sight direction is parallel to the first direction D1
  • the first additional reference line-of-sight direction is parallel to the second direction D2
  • the second additional reference line-of-sight direction (third direction in FIG. 1). (Indicated as D3) is inclined with respect to a plane parallel to each of the first direction D1 and the second direction D2.
  • the two line-of-sight directions of the reference line-of-sight direction, the first additional reference line-of-sight direction, and the second additional reference line-of-sight direction are substantially perpendicular to each other and parallel to both of the two line-of-sight directions. It is desirable that the angle formed by the plane and the remaining line-of-sight directions other than the two line-of-sight directions is larger than 45 degrees.
  • the positions and line-of-sight directions of the camera 4, the first additional camera 4A, and the second additional camera 4B are not limited to the positions and line-of-sight directions shown in FIG. 1, and may be changed.
  • the processing device 10 is configured to process the work W.
  • the processing apparatus 10 may also process the reference work RW.
  • the processing device 10 includes a spindle 9A for attaching a tool for processing a workpiece, a spindle moving mechanism 9B, and a position measurement sensor 9.
  • the numerical control device 100 includes an electronic circuit 110 and an input interface 111.
  • the position measurement sensor 9 is, for example, a contact probe.
  • the position measurement sensor 9 is attached to the spindle 9A, and the spindle moving mechanism 9B moves the spindle 9A.
  • the position measurement sensor 9 is attached to the spindle 9A in exchange for the tool attached to the spindle 9A.
  • the electronic circuit 110 is, for example, a controller that executes a machining program.
  • the position measurement sensor 9, the electronic circuit 110, the input interface 111, the spindle 9A, and the spindle moving mechanism 9B are connected to each other via a bus 113 and / or a cable (not shown).
  • the position measurement sensor 9 is a plurality of feature points of the shape of the reference work RW when the mounting table 2 on which the reference work RW whose posture is adjusted so as to be the work reference posture is moved to the machining position MP. It is configured to measure the positions of multiple reference feature points. Further, the position measurement sensor 9 has substantially the same shape of the work, which corresponds to a plurality of reference feature points when one of the tables on which the work W whose posture has been adjusted is placed moves to the machining position MP.
  • the electronic circuit 110 is configured to determine whether or not all the positions of the plurality of reference feature points are within a predetermined allowable range. Further, the electronic circuit 110 is configured to determine whether or not the positions of the plurality of processing reference points are within the permissible range. This permissible range is set according to the reference work RW and the cutting allowance of the work W. A program that makes a determination by the electronic circuit 110 may be called a measurement program.
  • the electronic circuit 110 When it is determined that all the positions of the plurality of machining reference points are within the permissible range, the electronic circuit 110 is configured to output a determination result of permitting machining and cause the machining device 10 to machine the work W. .. When the electronic circuit 110 determines that at least one of the plurality of machining reference points does not exist within the permissible range, the electronic circuit 110 outputs a determination result of disapproving machining, and the work W moved to the machining position MP It is configured to move one of the mounted pedestals to the setup position AP.
  • the posture of the reference work RW is adjusted on the mounting table 2 moved to the machining position MP so that all the positions of the plurality of reference feature points are within a predetermined allowable range.
  • the posture of the reference work RW when it is determined that all the positions of the plurality of reference feature points are within a predetermined allowable range is the work reference posture. Therefore, when the mounting table 2 on which the reference work RW whose posture is adjusted so as to be the work reference posture is moved to the machining position MP, a plurality of reference features which are a plurality of feature points of the shape of the reference work RW. All positions of the points are within a predetermined tolerance.
  • the camera 4 captures a reference image IB displaying the reference work RW adjusted so that the posture of the reference work RW becomes the work reference posture. ..
  • the first additional camera 4A captures the first additional reference image IBA that displays the reference work RW adjusted so that the posture of the reference work RW becomes the work reference posture.
  • the second additional camera 4B captures a second additional reference image IBB that displays the reference work RW adjusted so that the posture of the reference work RW becomes the work reference posture.
  • the display 8 displays the reference image IB, the first additional reference image IBA, and the second additional reference image IBB.
  • the user uses a stationary object in the background of the reference image IB.
  • a plurality of camera setting reference lines CRL1 to CRL2 are set at the boundary of the third image area IR3 occupied by the camera via the input device 7. That is, a plurality of camera setting reference lines CRL1 to CRL2 are set via the input device 7 at the boundary of the third image region IR3 occupied by the stationary object in the background of the reference image IB.
  • the user sets a plurality of first additional camera setting reference lines CRL3 to CRL4 at the boundary of the image area BG1 occupied by the stationary object in the background of the first additional reference image IBA via the input device 7. That is, a plurality of first additional camera setting reference lines CRL3 to CRL4 are set via the input device 7 at the boundary of the image region BG1 occupied by the stationary object in the background of the first additional reference image IBA.
  • the user sets a plurality of second additional camera setting reference lines CRL5 to CRL6 at the boundary of the image area BG2 occupied by the stationary object in the background of the second additional reference image IBB via the input device 7.
  • a plurality of second additional camera setting reference lines CRL5 to CRL6 are set via the input device 7 at the boundary of the image area BG2 occupied by the stationary object in the background of the second additional reference image IBB.
  • the third image area IR3, the image area BG1, and the image area BG2 occupied by the stationary object are hatched, respectively. Is attached.
  • the camera setting reference lines CRL1 to CRL6 are straight lines.
  • the camera setting reference lines CRL1 to CRL2 may be edges of the boundary of the third image region IR3 obtained by image processing by the processor 5.
  • the first additional camera setting reference lines CRL3 to CRL4 may be edges of the boundary of the image region BG1 obtained by image processing by the processor 5.
  • the second additional camera setting reference lines CRL5 to CRL6 may be edges of the boundary of the image region BG2 obtained by image processing by the processor 5.
  • the regions of the reference image IB, the first additional reference image IBA, and the second additional reference image IBB for edge detection via the input device 7 may be determined, and the reference image IB may be determined via the input device 7.
  • the first additional reference image IBA, and a plurality of edges detected from the second additional reference image IBB may be selected.
  • the user sees the reference image IB displayed on the display 8 as shown in FIG. 2, and the boundary of the first image region IR1 occupied by the reference work RW in the reference image IB via the input device 7.
  • a plurality of work reference lines RL1 to RL3 are set in. That is, a plurality of work reference lines RL1 to RL3 are set at the boundary of the first image region IR1 occupied by the reference work RW in the reference image IB via the input device 7.
  • the user sees the first additional reference image IBA as shown in FIG. 3 displayed on the display 8, and the fifth image area occupied by the reference work RW in the first additional reference image IBA via the input device 7.
  • a plurality of first additional work reference lines RL4 to RL5 are set at the boundary of IR5. That is, as shown in FIG. 3, a plurality of first additional work reference lines RL4 to RL5 are set at the boundary of the fifth image region IR5 occupied by the reference work RW in the first additional reference image IBA via the input device 7. NS. The user sees the second additional reference image IBB as shown in FIG. 4 displayed on the display 8, and the sixth image area occupied by the reference work RW in the second additional reference image IBB via the input device 7. A plurality of second additional work reference lines RL6 to RL7 are set at the boundary of IR6.
  • a plurality of second additional work reference lines RL6 to RL7 are set at the boundary of the sixth image region IR6 occupied by the reference work RW in the second additional reference image IBB via the input device 7.
  • the first additional reference image IBA, and the second additional reference image IBB in the reference image IB, the first additional reference image IBA, and the second additional reference image IBB, the first image area IR1 and the fifth image area occupied by the reference work RW occupied by the reference work RW, respectively.
  • a polka dot pattern is attached to IR5 and the sixth image area IR6.
  • the work reference lines RL1 to RL7 are straight lines or circles.
  • the work reference lines RL1 to RL3 may be edges of the boundary of the first image region IR1 obtained by image processing by the processor 5.
  • the first additional work reference lines RL4 to RL5 may be edges of the boundary of the fifth image region IR5 obtained by image processing by the processor 5.
  • the second additional work reference lines RL6 to RL7 may be edges of the boundary of the sixth image region IR6 obtained by image processing by the processor 5.
  • the regions of the reference image IB, the first additional reference image IBA, and the second additional reference image IBB for edge detection via the input device 7 may be determined, and the reference image IB and the second additional reference image IBB may be determined via the input device 7. Any one of a plurality of edges detected from the 1 additional reference image IBA and the 2nd additional reference image IBB may be selected.
  • the memory 6 is configured to store a plurality of positions in the reference image IB in which the plurality of work reference lines RL1 to RL3 are located as a plurality of work reference line positions.
  • the memory 6 is configured to further store a plurality of positions in the reference image IB in which the plurality of camera setting reference lines CRL1 to CRL2 are located as a plurality of camera setting reference line positions.
  • These reference line positions are, for example, when the reference line is a straight line, the coordinates of the end points (RP1 to RP4, CRP1 to CRP4 in the example of FIG. 2) in the image coordinate system of the reference image IB, and the reference line is a circle.
  • the memory 6 is configured to store a plurality of positions in the first additional reference image IBA in which the plurality of first additional work reference lines RL4 to RL5 are located as a plurality of first additional work reference line positions. Will be done.
  • the memory 6 is configured to further store a plurality of positions in the first additional reference image IBA in which the plurality of first additional camera setting reference lines CRL3 to CRL4 are located as the plurality of first additional camera setting reference line positions. Will be done.
  • the memory 6 is configured to store a plurality of positions in the second additional reference image IBB where the plurality of second additional work reference lines RL6 to RL7 are located as a plurality of second additional work reference line positions.
  • the memory 6 is configured to further store a plurality of positions in the second additional reference image IBB where the plurality of second additional camera setting reference lines CRL5 to CRL6 are located as a plurality of second additional camera setting reference line positions. Will be done.
  • the mounting table 2 on which the reference work RW is mounted moves to the machining position MP or the additional setup position AAP.
  • the reference work RW is processed by the processing apparatus 10.
  • one of the additional mounting table 2A on which the work W is mounted and the mounting table 2 on which the work W is mounted in place of the reference work RW moves to the setup position AP.
  • the camera 4 captures a measurement image displaying the work W when the posture of the work W is adjusted on the one table.
  • the first additional camera 4A captures the first additional measurement image displaying the work W.
  • the second additional camera 4B captures a second additional measurement image displaying the work W.
  • the processor 5 has the measurement composite image IS in which the plurality of camera setting reference lines CRL1 to CRL2 are superimposed on the measurement image, and the plurality of camera setting reference lines CRL1 to CRL2 are the same as the positions of the plurality of camera setting reference lines in the measurement composite image IS. It is configured to be generated so that it is displayed at multiple positions. Further, the processor 5 superimposes a plurality of work reference lines RL1 to RL3 on a measurement image displaying the work W taken by the camera 4 when the posture of the work W is adjusted on one of the above-mentioned tables.
  • the image IS is configured so that the plurality of work reference lines RL1 to RL3 are displayed at the same plurality of positions as the plurality of work reference line positions in the measurement composite image IS.
  • the display 8 is configured to display the measurement composite image IS when the measurement image is taken.
  • FIG. 5 shows an example of the measurement composite image IS according to the first embodiment.
  • the second image region IR2 occupied by the work W in the measurement composite image IS is shown by a polka dot pattern.
  • the boundary of the fourth image region IR4 occupied by the stationary object corresponding to the third image region IR3 is indicated by hatching.
  • the user refers to the measurement composite image IS and configures the camera 4 so that the boundary of the fourth image region IR4 occupied by the stationary object in the measurement composite image IS overlaps with the plurality of camera setting reference lines CRL1 to CRL2. To adjust. As a result, the camera 4 is set in the target configuration when the measurement image is taken.
  • FIG. 6 shows an example of the measurement composite image IS displaying the work W whose posture is adjusted in this way.
  • FIG. 6 shows an example in which a plurality of work reference lines RL1 to RL3 substantially coincide with the boundary of the second image region IR2.
  • FIG. 7 shows an example in which a plurality of work reference lines RL1 to RL3 are substantially parallel to the boundary of the second image region IR2.
  • the work reference line RL1 and the boundary line BL1 of the second image area IR2 are separated so as to be parallel to each other, but the work reference line RL2 and the boundary line BL2 of the second image area IR2 substantially coincide with each other. ing.
  • the boundary of the second image area IR2 and the plurality of work reference lines RL1 to RL3 are substantially parallel means that the boundary of the second image area IR2 and the plurality of work reference lines RL1 to A part of RL3 may substantially coincide with each other, and the distances between the plurality of work reference lines RL1 to RL3 and the boundary line of the second image region IR2 may be different from each other.
  • the processor 5 and the display 8 perform the same processing on the first additional measurement image and the second additional measurement image. That is, as shown in FIG. 8, the processor 5 displays the first additional measurement composite image ISA in which the plurality of first additional camera setting reference lines CRL3 to CRL4 are superimposed on the first additional measurement image, and the plurality of first additional cameras.
  • the setting reference lines CRL3 to CRL4 are configured to be generated so as to be displayed at a plurality of positions that are the same as the setting reference line positions of the plurality of first additional cameras in the first additional measurement composite image ISA.
  • the processor 5 superimposes a plurality of first additional work reference lines RL4 to RL5 on the first additional measurement image to superimpose the first additional measurement composite image ISA, and the plurality of first additional work reference lines RL4 to RL5 are the first additional measurement composite.
  • the image ISA is configured to be generated so as to be displayed at a plurality of positions that are the same as the positions of the plurality of first additional work reference lines.
  • the processor 5 uses the second additional measurement composite image ISB in which the plurality of second additional camera setting reference lines CRL5 to CRL6 are superimposed on the second additional measurement image as the plurality of second additional camera setting reference.
  • the lines CRL5 to CRL6 are configured to be generated so as to be displayed at a plurality of positions that are the same as the plurality of second additional camera setting reference line positions in the second additional measurement composite image ISB.
  • the processor 5 superimposes a plurality of second additional work reference lines RL6 to RL7 on the second additional measurement image to superimpose the second additional measurement composite image ISB, and the plurality of second additional work reference lines RL6 to RL7 superimpose the second additional measurement composite image ISB.
  • the image ISB is configured to be generated so as to be displayed at a plurality of positions that are the same as the positions of the plurality of second additional work reference lines.
  • the display 8 is configured to display the first additional measurement composite image ISA when the first additional measurement image is taken.
  • the display 8 is configured to display the second additional measurement composite image ISB when the second additional measurement image is captured.
  • the user While referring to the first additional measurement composite image ISA, the user sets the first additional camera in which the boundaries of the image area BG3 occupied by the stationary object (the stationary object corresponding to the image area BG1) in the first additional measurement composite image ISA are plurality. Adjust the configuration of the first additional camera 4A so that it overlaps the reference lines CRL3 to CRL4. As a result, the first additional camera 4A is set in the first additional target configuration when the first additional measurement image is taken. While referring to the second additional measurement composite image ISB, the user sets the second additional camera in which the boundary of the image area BG4 occupied by the stationary object (the stationary object corresponding to the image area BG2) in the second additional measurement composite image ISB is a plurality.
  • the second additional camera 4B is set in the second additional target configuration when the second additional measurement image is taken.
  • the user substantially parallelizes or substantially coincides with the boundary of the seventh image region IR7 occupied by the work W in the first additional measurement composite image ISA and the plurality of first additional work reference lines RL4 to RL5.
  • the posture of the work W is adjusted on one of the above-mentioned tables.
  • the user substantially parallelizes or substantially coincides with the boundary of the eighth image region IR8 occupied by the work W in the second additional measurement composite image ISB and the plurality of second additional work reference lines RL6 to RL7.
  • the posture of the work W is adjusted on one of the above-mentioned tables.
  • FIG. 10 is a flowchart showing a method of installing the work according to the first embodiment.
  • step S1 the user places the reference work RW on the mounting table 2 and adjusts the posture of the reference work RW on the mounting table 2 so that the posture of the reference work RW becomes the work reference posture.
  • FIG. 11 is a flowchart of the specific process of step S1.
  • a dial gauge 101 (see FIGS. 12 to 13) is attached to the spindle 9A (see FIG. 1) of the processing apparatus 10.
  • step S102 as shown in FIG. 12, in the machining program, a plane (XY reference plane) parallel to the XY plane of the work coordinate system (coordinate system set by the machining apparatus 10 to execute the machining program).
  • the dial gauge 101 measures two points separated in the Y direction, which should be located above.
  • the dial gauge 101 indicates a value corresponding to the Z coordinate of these two points. It is desirable that these two points are separated as much as possible in the Y direction. If the two dial gauge values are different (No in step S103), adjust with a jack so that they are the same (the process of steps S104 ⁇ S102 ⁇ S103 is repeated until Yes in step S103).
  • the angle (roll angle) formed by the XY plane and the XY reference plane when translated so as to pass through the origin of the work coordinate system when viewed from the X direction is substantially. It becomes 0 degrees.
  • step S105 the position is on a plane (XY reference plane) parallel to the XY plane of the work coordinate system in the machining program.
  • the dial gauge 101 measures two points separated in the X direction, which should be done.
  • the XY reference plane in step S105 may be the same as or different from the XY reference plane in step S102. It is desirable that these two points are separated as much as possible in the X direction. Even in this case, the dial gauge 101 indicates a value corresponding to the Z coordinate of these two points.
  • step S106 If the two dial gauge values are different (No in step S106), adjust with a jack so that they are the same (the process of steps S107 ⁇ S105 ⁇ S106 is repeated until Yes in step S106).
  • the angle (pitch angle) formed by the XY plane and the XY reference plane when translated so as to pass through the origin of the work coordinate system when viewed from the Y direction is substantially. It becomes 0 degrees.
  • step S106 When the pitch angle setting is completed (Yes in step S106), the rod 102 (see FIG. 14) is attached to the spindle 9A (see FIG. 1) of the processing apparatus 10.
  • step S109 as shown in FIG. 14, a portion of the reference work RW that should be arranged so as to be plane-symmetric with respect to a plane parallel to the XX plane of the work coordinate system in the machining program ( Move to one point (symmetrical part SP). It is desirable that the symmetrical portion SP extends in the X direction.
  • step S110 the distance between the rod 102 and the reference work RW on both sides in the Y direction is measured with the ruler 103.
  • step S111 When the edge distances on both sides are different (No in step S111), the spindle 9A is moved so as to be the same (the processing of steps S112 ⁇ S110 ⁇ S111 is repeated until Yes in step S111).
  • FIG. 14 the place where the edge distances on both sides are equal is shown as P1.
  • step S113 the spindle 9A is translated in the X direction from the location P1 on the symmetrical portion SP.
  • step S114 the distance between the rod 102 and the reference work RW on both sides in the Y direction is measured with a ruler 103.
  • the jacks are adjusted so that they are the same (the process of steps S116 ⁇ S114 ⁇ S115 is repeated until Yes in step S115).
  • the angle (yaw angle) formed by the ZZ plane and the symmetric plane of the symmetric portion SP when viewed from the Z direction becomes substantially 0 degree.
  • the posture of the reference work RW set in this way is called a work reference posture. Therefore, the posture of the reference work RW is defined by the rotation angles (roll angle, pitch angle, yaw angle) around the coordinate axes of the coordinate system (work coordinate system) set by the machining apparatus 10 to execute the machining program.
  • the posture of the work W is also determined based on the work reference posture, the posture of the work W is the rotation angle (roll angle) around the coordinate axes of the coordinate system (work coordinate system) set by the machining apparatus 10 to execute the machining program. , Pitch angle, yaw angle).
  • a plurality of reference points which are a plurality of feature points of the shape of the machining origin MO and the reference work RW in the reference work RW in step S2, are present.
  • Each allowable range of the feature points BP1 to BPn is set. This setting will be described with reference to FIG. In FIG. 15, for convenience of explanation, only the machining origin MO and the reference feature points BP1 and BPn are shown. In FIG. 15, the ideal arrangement position and arrangement posture of the reference work RW and the work W are shown by dotted lines. Further, it is assumed that the reference work RW and the work W shown by the dotted lines in FIG.
  • the machining program executed by the machining apparatus 10 has an instruction to cut a cutting allowance portion for a work occupying a space occupied by a dotted line.
  • a work model managed by a machining program is called a work model.
  • setting the reference work RW and the work W to such an ideal placement position and placement posture imposes a heavy work load, and in reality, there is a manufacturing error, so parallel deviation of the positions is allowed.
  • the processing device 10 operates as such.
  • one point that is not processed or a point that is easy to be used as a reference (for example, the highest point) is set as the processing origin MO, and the position measurement sensor 9 coordinates the processing origin MO in the work coordinate system. Is measured, and the difference between the coordinates and the coordinates of the machining origin MO on the work model is used to perform coordinate transformation considering only translation, and the machining program is executed in the coordinate-transformed coordinate system. Machining work is performed.
  • the original work coordinate system is shown in the XYZ coordinate system
  • the converted work coordinate system is shown in the XYZ'coordinate system.
  • the position of the reference feature point BP1 on the work model is BP1o (Xo1, Yo1, Zo1), it is ideally represented by (Xo1, Yo1, Zo1) in the X'Y'Z'coordinate system.
  • the reference feature point BP1 should be located at the position BP1i, but the actual position BP1r of the reference work RW and the work W due to the manufacturing error and the slight deviation of the roll angle, pitch angle, and yaw angle from 0 degrees. Will deviate from BP1i.
  • the threshold value is a point on the surface farthest from the machining origin MO, such as the reference feature point BPn
  • the half straight line L passing through the BP1o from the MO on the work model and the surface farthest from the machining origin MO Find the intersection BF1o with, and set it to a value smaller than the value obtained by multiplying half of the cutting allowance by D1 / DF1 based on the distance DP1 from the machining origin MO to BP1o and the distance DF1 from the machining origin MO to BF1o.
  • the threshold value may be empirically set so as to satisfy the above-mentioned conditions.
  • the threshold may be set separately in the Z direction (Z'direction).
  • a sufficient number of reference feature points BP1 to BPn are selected to determine whether or not processing is possible. It is desirable that the reference feature points BP1 to BPn are edges or corners whose positions can be easily identified by the contact probe. Further, it is desirable that the reference feature points BP1 to BPn are points as far as possible from the machining origin MO. After determining the machining origin MO and the reference feature points BP1 to BPn, the allowable range can be determined by setting the threshold value for each reference feature point by the above method.
  • the reference work RW on the mounting table 2 whose posture is adjusted to be the work reference posture is adjusted so that the roll angle, pitch angle, and yaw angle are 0 degrees, which is about a manufacturing error.
  • step S3 when the reference image IB is photographed, the camera 4 is set to the target configuration in which the viewpoint position and the line-of-sight direction of the camera 4 that captures the mounting table 2 are the reference viewpoint position and the reference line-of-sight direction, respectively. .. Similarly, when the first additional reference image IBA is photographed, the viewpoint position and the line-of-sight direction of the first additional camera 4A that captures the mounting table 2 are different from the reference viewpoint position, respectively. The first additional camera 4A is set in the first additional target configuration which is the first additional reference line-of-sight direction non-parallel to the direction.
  • the viewpoint position and the line-of-sight direction of the second additional camera 4B that captures the mounting table 2 are different from the reference viewpoint position and the first additional reference position, respectively.
  • the second additional camera 4B is set in the additional reference position and the second additional target configuration which is the second additional reference line-of-sight direction which is non-parallel to the reference line-of-sight direction and the first additional reference line-of-sight direction.
  • step S4 the reference image IB that displays the posture-adjusted reference work RW taken by the camera 4 set in the target configuration is acquired.
  • the posture of the work is taken by the camera 4 set to the target configuration in which the viewpoint position and the line-of-sight direction of the camera 4 are the reference viewpoint position and the reference line-of-sight direction, respectively.
  • the processor 5 is made to execute the process of acquiring the reference image IB for displaying the reference work RW on the mounting table 2 adjusted to be the reference posture.
  • the first additional reference image IBA that displays the posture-adjusted reference work RW taken by the first additional camera 4A set in the first additional target configuration is acquired.
  • the viewpoint position and the line-of-sight direction of the first additional camera 4A are different from the reference viewpoint position, respectively, and the first additional reference position and the first additional reference that are not parallel to the reference line-of-sight direction.
  • the processor 5 executes a process of acquiring the first additional reference image IBA that displays the posture-adjusted reference work RW taken by the first additional camera 4A set in the first additional target configuration that is the line-of-sight direction. Let me.
  • the second additional reference image IBB that displays the posture-adjusted reference work RW taken by the second additional camera 4B set in the second additional target configuration is acquired.
  • the viewpoint position and the line-of-sight direction of the second additional camera 4B are different from the reference viewpoint position and the first additional reference position, respectively, and the second additional reference position and the reference line-of-sight direction.
  • the posture-adjusted reference work RW taken by the second additional camera 4B set in the second additional target configuration which is the second additional reference line-of-sight direction which is non-parallel to the first additional reference line-of-sight direction.
  • the processor 5 is made to execute the process of acquiring the second additional reference image IBB.
  • step S5 a plurality of camera setting reference lines CRL1 to CRL2 are set at the boundary of the third image area IR3 occupied by the stationary object in the background of the reference image IB.
  • a plurality of positions in the reference image IB in which the plurality of camera setting reference lines CRL1 to CRL2 are located are stored in the memory 6 as a plurality of camera setting reference line positions.
  • the work installation support program 6p sets a plurality of camera setting reference lines CRL1 to CRL2 at the boundary of the third image region IR3 occupied by a stationary object in the background of the reference image IB, and a plurality of camera setting reference lines CRL1.
  • the processor 5 is made to execute a process of storing a plurality of positions in the reference image IB in which each of the CRLs 2 is located in the memory 6 as a plurality of camera setting reference line positions. More specifically, the work installation support program 6p receives the input from the input device 7, displays and displays the camera setting reference lines CRL1 to CRL2 to be set by the user by superimposing them on the reference image IB. When the input of the settings of the camera setting reference lines CRL1 to CRL2 is received from the input device 7, a plurality of positions in the reference image IB in which the plurality of camera setting reference lines CRL1 to CRL2 are located are set as a plurality of camera setting reference line positions. The processor 5 is made to execute the process of storing in the memory 6.
  • the work installation support program 6p causes the processor 5 to execute a process of detecting the edge of the boundary of the third image region IR3 obtained by the image processing as the camera setting reference lines CRL1 to CRL2. Then, the work installation support program 6p superimposes the detected edge on the reference image IB and displays it, and when the input for selecting the edge is received from the input device 7, a plurality of camera setting reference lines CRL1 to CRL2 related to the edge are displayed.
  • the processor 5 is made to execute a process of storing a plurality of positions in the reference image IB at each position in the memory 6 as a plurality of camera setting reference line positions.
  • a plurality of first additional camera setting reference lines CRL3 to CRL4 are set at the boundary of the image area BG1 occupied by a stationary object in the background of the first additional reference image IBA.
  • a plurality of positions in the first additional reference image IBA in which the plurality of first additional camera setting reference lines CRL3 to CRL4 are located are stored in the memory 6 as a plurality of first additional camera setting reference line positions.
  • a plurality of second additional camera setting reference lines CRL5 to CRL6 are set at the boundary of the image area BG2 occupied by the stationary object in the background of the second additional reference image IBB.
  • a plurality of positions in the second additional reference image IBB where the plurality of second additional camera setting reference lines CRL5 to CRL6 are located are stored in the memory 6 as a plurality of second additional camera setting reference line positions.
  • the work installation support program 6p performs the same processing as the work installation support program 6p for setting a plurality of camera setting reference lines CRL1 to CRL2 and storing them in the memory 6. Let the processor 5 execute it.
  • step S6 a plurality of work reference lines RL1 to RL3 are set at the boundary of the first image area IR1 occupied by the reference work RW in the reference image IB.
  • a plurality of positions in the reference image IB in which the plurality of work reference lines RL1 to RL3 are located are stored in the memory 6 as a plurality of work reference line positions.
  • the work installation support program 6p sets a plurality of work reference lines RL1 to RL3 at the boundary of the first image area IR1 occupied by the reference work RW in the reference image IB, and the plurality of work reference lines RL1 to RL3 are set.
  • the processor 5 is made to execute a process of storing a plurality of positions in the reference image IB at each position in the memory 6 as a plurality of work reference line positions. More specifically, the work installation support program 6p receives the input from the input device 7, displays the work reference lines RL1 to RL3 to be set by the user by superimposing them on the reference image IB, and displays the displayed work. When the input of the setting of the reference lines RL1 to RL3 is received from the input device 7, a plurality of positions in the reference image IB in which the plurality of work reference lines RL1 to RL3 are located are stored in the memory 6 as a plurality of work reference line positions. The processor 5 is made to execute the processing to be made to be executed.
  • the work installation support program 6p causes the processor 5 to execute a process of detecting the edge of the boundary of the first image area IR1 obtained by the image processing as the work reference lines RL1 to RL3. Then, the work installation support program 6p superimposes the detected edge on the reference image IB and displays it, and when the input of the edge selection is received from the input device 7, the plurality of work reference lines RL1 to RL3 related to the edge are respectively.
  • the processor 5 is made to execute a process of storing a plurality of positions in the position reference image IB as a plurality of work reference line positions in the memory 6.
  • first additional work reference lines RL4 to RL5 are set at the boundary of the fifth image area IR5 occupied by the reference work RW.
  • a plurality of positions in the first additional reference image IBA in which the plurality of first additional work reference lines RL4 to RL5 are located are stored in the memory 6 as a plurality of first additional work reference line positions.
  • the work installation support program 6p sets a plurality of first additional work reference lines RL4 to RL5 at the boundary of the fifth image region IR5 occupied by the reference work RW in the first additional reference image IBA, and a plurality of first additional work reference lines RL4 to RL5.
  • the processor 5 is made to execute a process of storing a plurality of positions in the first additional reference image IBA where the additional work reference lines RL4 to RL5 are located in the memory 6 as a plurality of first additional work reference line positions.
  • a plurality of second additional work reference lines RL6 to RL7 are set at the boundary of the sixth image region IR6 occupied by the reference work RW in the second additional work reference image IBB.
  • a plurality of positions in the second additional reference image IBB where the plurality of second additional work reference lines RL6 to RL7 are located are stored in the memory 6 as a plurality of second additional work reference line positions.
  • a plurality of second additional work reference lines RL6 to RL7 are set at the boundary of the sixth image area IR6 occupied by the reference work RW in the second additional reference image IBB, and the plurality of second additional work reference lines RL6 to RL7 are respectively set.
  • the processor 5 is made to execute a process of storing a plurality of positions in the second additional reference image IBB located in the memory 6 as a plurality of second additional work reference line positions.
  • the work installation support program 6p performs the same processing as the work installation support program 6p for setting a plurality of work reference lines RL1 to RL3 and storing them in the memory 6.
  • step S7 the work W having substantially the same shape and size as the reference work RW is arranged with the mounting table 2 from which the reference work RW is removed and the mounting table 2 which is replaced with the mounting table 2. It is placed on one of the different additional mounting tables 2A.
  • the mounting table 2 on which the reference work RW is placed is moved to the machining position MP, and while the reference work RW is being machined, the additional mounting table 2A on which the work W is placed is placed in the setup position. Move to AP.
  • the mounting table 2 on which the reference work RW is placed is moved to the processing position MP, the reference work RW is processed, the processed reference work RW is removed from the mounting table 2, and then the mounting table on which the work W is placed is placed. 2 is moved to the setup position AP.
  • step S8 a measurement image displaying the work W taken by the camera 4 set in the target configuration is acquired.
  • the work installation support program 6p is a mounting table 2 in which the reference work RW is removed and the mounting table 2 is replaced with the mounting table 2 taken by the camera 4 set in the target configuration.
  • a processor that acquires a measurement image that displays a work W having a shape and size substantially the same as the shape and size of the reference work RW, which is placed on one of the additional mounting tables 2A different from the above. Let 5 do it. Further, the first additional measurement image displaying the work W taken by the first additional camera 4A set in the first additional target configuration is acquired.
  • the work installation support program 6p performs a process of acquiring the first additional measurement image displaying the work W taken by the first additional camera 4A set in the first additional target configuration on the processor 5. Let it run.
  • the second additional measurement image displaying the work W taken by the second additional camera 4B set in the second additional target configuration is acquired.
  • the work installation support program 6p performs a process of acquiring a second additional measurement image displaying the work W taken by the second additional camera 4B set in the second additional target configuration on the processor 5. Let it run.
  • step S9 the work installation support program 6p superimposes a plurality of work reference lines RL1 to RL3 on the measurement image, and a plurality of work reference lines L1 to RL3 superimpose the measurement composite image IS on the measurement composite image IS.
  • the processor 5 is made to execute a process of generating so as to be displayed at a plurality of positions that are the same as the positions.
  • the work installation support program 6p has a measurement composite image IS in which a plurality of camera setting reference lines CRL1 to CRL2 are superimposed on the measurement image, and a plurality of camera setting reference lines CRL1 to CRL2 have a plurality of camera setting reference lines in the measurement composite image IS.
  • the processor 5 is made to further execute a process of generating the images so that they are displayed at a plurality of positions that are the same as the line positions.
  • the work installation support program 6p causes the processor 5 to execute a process of displaying the measurement composite image IS on the display 8.
  • the processor 5 superimposes the plurality of work reference lines RL1 to RL3 on the measurement image, and the plurality of work reference lines RL1 to RL3 are the same as the plurality of work reference line positions in the measurement composite image IS. It is generated so that it is displayed at each position of.
  • the processor 5 sets the measurement composite image IS in which the plurality of camera setting reference lines CRL1 to CRL2 are superimposed on the measurement image, and the plurality of camera setting reference lines CRL1 to CRL2 together with the plurality of camera setting reference line positions in the measurement composite image IS. It is generated so that it is displayed at the same multiple positions.
  • the display 8 displays the measurement composite image IS.
  • the work installation support program 6p superimposes a plurality of first additional work reference lines RL4 to RL5 on the first additional measurement image, and superimposes the first additional measurement composite image ISA on the plurality of first additional work reference lines RL4 to RL5. Is displayed in the first additional measurement composite image ISA at a plurality of positions that are the same as the positions of the plurality of first additional work reference lines, and the processor 5 is made to execute the process of generating the image. Further, the work installation support program 6p superimposes a plurality of first additional camera setting reference lines CRL3 to CRL4 on the first additional measurement image, and superimposes the first additional measurement composite image ISA on the plurality of first additional camera setting reference lines CRL3 to.
  • the processor 5 is further executed to generate the CRL 4 so that it is displayed at a plurality of positions that are the same as the plurality of first additional camera setting reference line positions in the first additional measurement composite image ISA.
  • the work installation support program 6p causes the processor 5 to execute a process of displaying the first additional measurement composite image ISA on the display 8.
  • the processor 5 displays the first additional measurement composite image ISA in which the plurality of first additional work reference lines RL4 to RL5 are superimposed on the first additional measurement image, and the plurality of first additional work reference lines RL4 to RL5 first.
  • the additional measurement composite image is generated so as to be displayed at a plurality of positions that are the same as the positions of the plurality of first additional work reference lines in the ISA.
  • a plurality of first additional camera setting reference lines CRL3 to CRL4 superimpose the first additional measurement composite image ISA on the first additional measurement image, and the plurality of first additional camera setting reference lines CRL3 to CRL4 are the first.
  • 1 Additional measurement Synthetic image Generated so that it is displayed at a plurality of positions that are the same as the setting reference line positions of the plurality of first additional cameras in the ISA.
  • the display 8 displays the first additional measurement composite image ISA.
  • a plurality of second additional work reference lines RL6 to RL7 superimpose the second additional measurement composite image ISB on the second additional measurement image, and the plurality of second additional work reference lines RL6 to RL7.
  • the processor 5 is made to execute a process of generating the second additional measurement composite image ISB so as to be displayed at a plurality of positions that are the same as the positions of the plurality of second additional work reference lines.
  • a plurality of second additional camera setting reference lines CRL5 to CRL6 superimpose the second additional measurement composite image ISB on the second additional measurement image, and the plurality of second additional camera setting reference lines CRL5 to CRL6 are used.
  • the processor 5 further executes a process of generating the second additional measurement composite image ISB so as to be displayed at a plurality of positions that are the same as the positions of the plurality of second additional camera setting reference lines.
  • the work installation support program 6p causes the processor 5 to execute a process of displaying the second additional measurement composite image ISB on the display 8.
  • the processor 5 adds the second additional measurement composite image ISB in which the plurality of second additional work reference lines RL6 to RL7 are superimposed on the second additional measurement image, and the plurality of second additional work reference lines RL6 to RL7 secondly add.
  • the measurement composite image is generated so as to be displayed at a plurality of positions that are the same as the positions of the plurality of second additional work reference lines in the ISB.
  • the processor 5 adds a second additional measurement composite image ISB in which a plurality of second additional camera setting reference lines CRL5 to CRL6 are superimposed on the second additional measurement image, and a plurality of second additional camera setting reference lines CRL5 to CRL6 secondly.
  • the measurement composite image is generated so as to be displayed at a plurality of positions that are the same as the plurality of second additional camera setting reference line positions in the ISB.
  • the display 8 displays the second additional measurement composite image ISB.
  • step S10 the user sets a target based on whether or not the boundary of the fourth image region IS4 occupied by the stationary object in the measurement composite image IS displayed on the display 8 overlaps with the plurality of camera setting reference lines CRL1 to CRL2. Check if the camera 4 is set in the configuration. The user determines whether or not the boundary of the image area BG3 occupied by the stationary object in the first additional measurement composite image ISA displayed on the display 8 overlaps with the plurality of first additional camera setting reference lines CRL3 to CRL4. Check if the first additional camera 4A is set in the first additional target configuration.
  • the user determines whether or not the boundary of the image area BG4 occupied by the stationary object in the second additional measurement composite image ISB displayed on the display 8 overlaps with the plurality of second additional camera setting reference lines CRL5 to CRL6.
  • the user can use the camera setting reference line CRL1 in which the boundary of the fourth image area IS4 occupied by the stationary object in the measurement composite image IS is a plurality of boundaries.
  • the viewpoint position and line-of-sight direction of the camera 4 are adjusted so as to overlap with the CRL 2.
  • step S11 the user uses the image area BG3 occupied by the stationary object in the first additional measurement composite image ISA.
  • the viewpoint position and line-of-sight direction of the first additional camera 4A are adjusted so that the boundary of the first additional camera overlaps with the plurality of first additional camera setting reference lines CRL3 to CRL4.
  • step S11 the user can see that the boundary of the image area BG4 occupied by the stationary object in the second additional measurement composite image ISB is set.
  • the viewpoint position and line-of-sight direction of the second additional camera 4B are adjusted so as to overlap the plurality of second additional camera setting reference lines CRL5 to CRL6.
  • step S12 the user determines whether the boundary of the second image region IR2 occupied by the work W in the measurement composite image IS and the plurality of work reference lines RL1 to RL3 are substantially parallel or substantially coincident. Check. When the boundary of the second image region IR2 and the plurality of work reference lines RL1 to RL3 do not match or are not parallel (No in step S12), in step S13, the user works in the measurement composite image IS.
  • the work W is placed on one of the above-mentioned pedestals so that the boundary of the second image region IR2 occupied by W and the plurality of work reference lines RL1 to RL3 are substantially parallel to each other or substantially coincide with each other. Adjust the posture of. By repeating the processes of steps S8 to S10 and steps S12 and S13, the boundary of the second image region IR2 occupied by the work W in the measurement composite image IS and the plurality of work reference lines RL1 to RL3 are substantially parallel to each other. Or, it is a substantial match.
  • step S12 the user asks whether the boundary of the seventh image region IR7 occupied by the work W in the first additional measurement composite image ISA and the plurality of first additional work reference lines RL4 to RL5 are substantially parallel. Check if there is a substantial match. When the boundary of the seventh image area IR7 and the plurality of first additional work reference lines RL4 to RL5 do not match and are not parallel (No in step S12), in step S13, the user adds the first.
  • the boundary of the seventh image region IR7 occupied by the work W in the measurement composite image ISA and the plurality of first additional work reference lines RL4 to RL5 are described above so as to be substantially parallel to or substantially coincide with each other.
  • step S12 the boundary of the seventh image region IR7 occupied by the work W in the first additional measurement composite image ISA and the plurality of first additional work reference lines RL4 to RL5 are formed. , Substantially parallel or substantially coincident. Further, in step S12, the user can see that the boundary of the eighth image region IR8 occupied by the work W in the second additional measurement composite image ISB and the plurality of second additional work reference lines RL6 to RL7 are substantially parallel or substantially parallel to each other. Check if they match.
  • step S13 the user adds the second.
  • the boundary of the eighth image region IR8 occupied by the work W in the measurement composite image ISB and the plurality of second additional work reference lines RL6 to RL7 are described above so as to be substantially parallel to or substantially coincide with each other. Adjust the posture of the work W on one of the tables.
  • steps S8 to S10 and steps S12 and S13 the boundary of the eighth image area IR8 occupied by the work W in the second additional measurement composite image ISB and the plurality of second additional work reference lines RL6 to RL7 are formed. , Substantially parallel or substantially coincident.
  • step S14 When the adjustment of the posture of the work W is completed (Yes in step S12), in step S14, one table on which the work W whose posture has been adjusted is placed moves to the machining position MP.
  • the position measurement sensor 9 of the processing apparatus 10 corresponds to a plurality of reference feature points BP1 to BPn, which are a plurality of feature points having substantially the same shape of the work W, and a plurality of machining reference points CP1 to CP1 to The position of CPn is measured.
  • FIG. 16 shows the machining reference points CP1 to CPn, but as shown in FIGS. 15 and 16, the plurality of machining reference points CP1 to CPn correspond to the plurality of reference feature points BP1 to BPn, respectively. ..
  • the machining reference points CP1 to CPn are edges and corners whose positions can be easily identified by the contact probe, and considering that there is no large displacement, the position measurement sensor 9 determines the positions of the machining reference points CP1 to CPn. It is possible to search automatically. Then, the numerical control device 100 (electronic circuit 110) determines whether or not the positions of the plurality of processing reference points CP1 to CPn are within the permissible range. This determination method is the same determination method as determining whether the reference feature points BP1 to BPn are within the permissible range.
  • step S17 the machining apparatus 10 outputs a determination result of permitting machining. Then, the work W is processed.
  • the machining apparatus 10 determines that machining is not permitted.
  • One table on which the work W that has been output and moved to the machining position MP is placed moves to the setup position AP, or is readjusted at the machining position without returning to the setup position.
  • the boundary of the second image region IR2 occupied by the work W in the measurement composite image IS and the plurality of work reference lines RL1 to RL3 are substantially parallel to each other or substantially coincide with each other. Since the user visually adjusts the posture of the work W while visually recognizing the measured composite image IS, it is difficult to adjust the posture of the work W accurately. In particular, it is not easy to accurately determine whether or not the boundary of the second image region IR2 and the plurality of work reference lines RL1 to RL3 are substantially parallel. Therefore, this determination may be made by machine learning.
  • FIG. 17 is a block diagram of the work installation support system 1a according to the modified example of the first embodiment.
  • the work installation support program 6p includes a machine learning program 6m
  • the memory 6 includes measurement image data DA1, image processing data DA2, reference line data DA3, camera parameter DA4, and learning used in the machine learning program 6m.
  • the completed parameter DA5 is further stored.
  • the image processing device 200a and the processing device 10a each have a second communication interface 204 and a communication interface 112 capable of communicating with each other.
  • the second communication interface 204 and the communication interface 112 may be any interface as long as they can communicate with each other, such as an Ethernet (registered trademark) interface and a wireless communication interface.
  • the processing apparatus 10a allows a determination result (comprehensive determination result DA6) for determining whether or not all the positions of the plurality of processing reference points CP1 to CPn exist within an allowable range, and a plurality of processing reference points CP1 to CPn are allowed.
  • the result of determining whether or not the interface exists within the range (judgment result DA7 by machining reference point) and the amount of deviation between the plurality of machining reference points CP1 to CPn and the center value of each allowable range (judgment by machining reference point).
  • the result DA7) may be transmitted to the image processing device 200a via the second communication interface 204 and the communication interface 112.
  • the memory 6 may further store the comprehensive determination result DA6, the determination result DA7 for each processing reference point, and the deviation amount DA8 for each processing reference point.
  • Machine learning program 6m, measurement image data DA1, image processing data DA2, reference line data DA3, camera parameter DA4, learned parameter DA5, comprehensive judgment result DA6, processing reference point judgment result DA7, and processing reference point deviation amount may be stored in an external server such as a cloud service instead of the image processing device 200a, the machine learning program 6m may be executed by the external server, and only the execution result may be returned to the image processing device 200a.
  • the measurement image data DA1 is at least one of the measurement image taken by the camera 4, the first additional measurement image taken by the first additional camera 4A, and the second additional measurement image taken by the second additional camera 4B. It is data.
  • the image processing data DA2 is a binary image obtained by performing edge detection processing on each of the measurement image, the first additional measurement image, and the second additional measurement image, and the work W is detected by background subtraction and the like. At least one piece of data with an image.
  • the reference line data DA3 includes the work reference line positions of the plurality of work reference lines RL1 to RL3, the first additional work reference line positions of the plurality of first additional work reference lines RL4 to RL5, and the plurality of second additional work reference lines.
  • the camera parameter DA4 includes the image center position and distortion parameter of each of the measurement image, the first additional measurement image, and the second additional measurement image image, and the camera 4, the first additional camera 4A, and the second additional camera 4B. Includes each focal length of.
  • the comprehensive determination result DA6 is the determination result of step S15 described above.
  • Judgment result by machining reference point DA7 is the difference between the position measured by the position measurement sensor 9 and the ideal position of the plurality of machining reference points CP1 to CPn obtained from the work model at each of the plurality of machining reference points CP1 to CPn.
  • the deviation amount DA8 for each machining reference point is the position measured by the position measurement sensor 9 at each of the plurality of machining reference points CP1 to CPn and the ideal position of the plurality of machining reference points CP1 to CPn obtained from the work model. The value of the difference.
  • the machine learning program 6m uses, for example, a neural network, more preferably a neural network having three or more layers used for deep learning as a learning model, and inputs measurement image data DA1 and reference line data DA3 to make a comprehensive judgment.
  • the processor 5 is made to execute a process of learning a machine learning model using the teacher data that outputs at least one of the result DA6, the determination result DA7 for each machining reference point, and the deviation amount DA8 for each machining reference point.
  • At least one of the image processing data DA2 and the camera parameter DA4 may be further input to train the machine learning model.
  • the learned parameter DA5 stores data such as weight parameters between neurons in each layer of the neural network learned in this way.
  • the work installation support program 6p takes the measurement image and the plurality of work reference lines RL1 to RL3 as inputs, and determines whether or not all the positions of the plurality of processing reference points CP1 to CPn are within the permissible range. Judgment result, result of judging whether or not a plurality of machining reference points CP1 to CPn are within the permissible range, and a plurality of machining reference points CP1 to CPn and the center value of each permissible range (obtained from the work model). A machine learning model learned using teacher data that outputs at least one of a plurality of processing reference points CP1 to CPn (amount of deviation from the ideal position) is used.
  • the processor 5 inputs the measurement image and the plurality of work reference lines RL1 to RL3, and determines the determination result, whether or not the plurality of processing reference points CP1 to CPn are within the permissible range, and , It is configured to use a machine learning model learned using teacher data that outputs at least one of the deviation amounts between a plurality of processing reference points CP1 to CPn and the center value of each allowable range.
  • the measurement image and the plurality of work reference lines RL1 to RL3 are input, and the judgment result, the result of judging whether or not the plurality of processing reference points CP1 to CPn are within the permissible range, and ,
  • a machine learning model learned using teacher data that outputs at least one of the deviation amounts between a plurality of processing reference points CP1 to CPn and the center value of each allowable range is used.
  • Machine learning using teacher data that further inputs at least one of the edges detected from the measured image, the amount of deviation of multiple workpiece reference line positions from the image center, the focal length of the camera lens, and the distortion parameter of the camera. The model is trained.
  • the machine learning program 6m uses the trained machine learning model learned in this way to capture the first additional work AW having substantially the same shape and size as the shape and size of the reference work RW.
  • Input at least one of the image (third additional measurement image), the image of the first additional camera 4A (fifth additional measurement image), the image of the second additional camera 4B (sixth additional measurement image), and the reference line data DA3. Then, when one of the bases on which the first additional work AW is placed is moved to the machining position MP, the shape of the first additional work AW corresponding to a plurality of reference feature points BP1 to BPn is substantially the same.
  • FIG. 18 is an example of a composite image ISC displaying the determination result of the third additional measurement image.
  • the work installation support program 6p displays the first additional work AW having substantially the same shape and size as the shape and size of the reference work RW taken by the camera 4 set in the target configuration.
  • the first additional work AW corresponding to a plurality of reference feature points BP1 to BPn is substantially Further causes the processor 5 to perform a process of determining whether or not all the positions of the plurality of first additional processing reference points, which are a plurality of feature points having the same shape, are within the permissible range. That is, the processor 5 displays a third additional work AW that has substantially the same shape and size as the shape and size of the reference work RW, taken by the camera 4 set in the target configuration.
  • the work installation method is a third additional measurement image that displays the first additional work AW having substantially the same shape and size as the shape and size of the reference work RW, taken by the camera 4 set in the target configuration.
  • the shape of the first additional work AW corresponding to a plurality of reference feature points BP1 to BPn is substantially the same. It is determined whether or not all the positions of the plurality of first additional processing reference points, which are the plurality of feature points of the above, are within the permissible range. In this case, it is preferable that the machine learning program 6m is executed in step S12 described above.
  • the work W may be mounted on both the mounting table 2 and the additional mounting table 2A. Therefore, the above-described work installation method is based on the shape and size of the reference work RW on the other of the mounting table 2 from which the reference work RW is removed and the additional mounting table 2A arranged by replacing the mounting table 2.
  • a second additional work BW having substantially the same shape and size is placed, and a fourth additional measurement image displaying the second additional work BW taken by the camera 4 set in the target configuration is acquired.
  • a fourth additional measurement composite image ISD in which a plurality of work reference lines are superimposed on the fourth additional measurement image by the processor 5, and a plurality of work reference lines RL1 to RL3 are positioned in the fourth additional measurement composite image ISD.
  • FIG. 19 is an example of the fourth additional measurement composite image ISD.
  • a plurality of camera setting reference lines CRL1 to CRL2 are set, and a plurality of cameras are set.
  • the display of the setting reference lines CRL1 to CRL2 in the measurement composite image IS may be omitted.
  • the setting of the plurality of first additional camera setting reference lines CRL3 to CRL4 and the display of the plurality of first additional camera setting reference lines CRL3 to CRL4 in the first additional measurement composite image ISA may be omitted.
  • steps S3, S5, S10, and S11 may be omitted in FIG.
  • the work installation support program 6p and machine learning program 6m described above are not limited to the memory 6 built in the image processing devices 200 and 200a, but also include disks such as floppy disks, optical disks, CDROMs and magnetic disks, SD cards, USB memory, and external devices. It may be a hard disk or the like that is removable from the image processing devices 200 and 200a and recorded on a storage medium that can be read by the image processing devices 200 and 200a.
  • a plurality of reference line positions of the reference work RW adjusted so that the posture becomes the work reference posture.
  • the posture of the work W can be adjusted with reference to.
  • FIG. 20 is a diagram showing a schematic configuration of the work installation support system 11 according to the second embodiment.
  • the processing device 10m is a processing device capable of performing both milling and turning.
  • the mounting table 2m fixes the reference work RW and the work W by the locking claws 21 to 24.
  • the mounting table 2m has a swivel center axis Ax and is rotatable around the swivel center axis Ax.
  • FIG. 20 shows an example in which the machining position MP and the setup position AP are the same.
  • the mounting table 2 m has a machining position MP in which the reference work RW and the work W are machined.
  • the locking claws 21 to 24 are sequentially arranged clockwise at positions rotated by 90 degrees around the turning center axis Ax. That is, when viewed from the axial direction of the turning center axis Ax, the angle formed by the direction from the turning center axis Ax toward the locking claw 21 and the direction from the turning center axis Ax toward the locking claw 22 is 90 degrees.
  • the angle formed by the direction from the turning center axis Ax toward the locking claw 22 and the direction from the turning center axis Ax toward the locking claw 23 is 90 degrees.
  • the angle formed by the direction from the turning center axis Ax toward the locking claw 23 and the direction from the turning center axis Ax toward the locking claw 24 is 90 degrees.
  • the angle formed by the direction from the turning center axis Ax toward the locking claw 24 and the direction from the turning center axis Ax toward the locking claw 21 is 90 degrees.
  • the optical axis of the camera 4 is arranged so as to face substantially parallel to the turning center axis Ax.
  • the first additional camera 4A and the second additional camera 4B are omitted from the configuration of the work installation support system 1.
  • the processing apparatus 10m may include an additional mounting table 2mA having the same shape and function as the mounting table 2m.
  • the processing apparatus 10m may have the position measurement sensor 9 shown in the first embodiment, and the image processing apparatus 200 may have the function of the machine learning program 6m.
  • the same reference numerals are used for the same configurations and processes as those of the first embodiment, and detailed description thereof will be omitted.
  • the configuration not described in the present embodiment is substantially the same as the configuration of the first embodiment.
  • 21 and 22 are diagrams for explaining the reference work RW and the posture of the work W of the present embodiment.
  • the reference work RW and the work W of the present embodiment have a central axis Cx and have a shape substantially line-symmetrical with respect to the central axis Cx.
  • the center axis Cx of the reference work RW and the work W is made to coincide with the rotation center axis Ax as shown in FIG. 21, and then the reference work RW and the work are as shown in FIG. It is necessary to adjust the phase of W (the angle of rotation around the turning center axis Ax) to a predetermined phase. Therefore, the postures of the reference work RW and the work W are defined by the turning center axis Ax of the mounting table 2.
  • FIG. 23 is a flowchart showing a method of installing the work W according to the second embodiment.
  • the user places the reference work RW on the mounting table 2 and adjusts the posture of the reference work RW on the mounting table 2 so that the posture of the reference work RW becomes the work reference posture.
  • FIG. 24 is a flowchart of the specific process of step S1a.
  • step S121 as shown in FIG. 25, the long rod 30 is attached to the centering rod (an example of the position measurement sensor 9).
  • the central axis of the long rod 30 is adjusted so as to be parallel to the turning central axis Ax.
  • the radius of the long bar 30 is uniform with respect to the axial direction of the central axis of the long bar 30.
  • step S122 the mounting table 2 is rotated at an angle of 0 degrees.
  • This angle of 0 degrees defines the rotation angle at which the long rod 30 is located between the turning center axis Ax and the locking claw 21 when viewed from the axial direction of the turning center axis Ax.
  • step S123 the gap between the long rod 30 and the first measurement surface WP1 is visually measured at an angle of 0 degrees.
  • the first measurement surface WP1 is a surface of the reference work RW that is parallel to the turning center axis Ax when the reference work RW is adjusted in posture as shown in FIG. Therefore, the posture of the reference work RW is adjusted so that the distance between the long rod 30 and the first measurement surface WP1 is uniform with respect to the axial direction of the central axis of the long rod 30.
  • step S124 the mounting table 2 is rotated at an angle of 180 degrees.
  • the reference work RW and the mounting table 2 rotate around the turning center axis Ax so that the long rod 30 is located between the turning center axis Ax and the locking claw 23. Will be done.
  • the long rod 30 maintains the position and posture shown in FIG. 25.
  • the second measurement surface WP2 which is the surface opposite to the first measurement surface WP1 with respect to the turning center axis Ax, faces the long rod 30.
  • step S125 the gap between the long rod 30 and the second measurement surface WP2 is visually measured at an angle of 180 degrees. At this time, the second measurement surface WP2 is substantially parallel to the turning center axis Ax.
  • step S126 it is determined whether or not the distances between the gaps at angles of 0 degrees and 180 degrees are equal.
  • the center is misaligned as shown in FIG. 21, so in step S127, the reference is made in the direction perpendicular to the turning center axis Ax. Adjust the locking claws 21 and 23 so that the work RW slides.
  • steps S127 and steps S122 to S126 are repeated until the distances between the gaps of 0 degrees and 180 degrees are equal (Yes in step S126).
  • step S126 When the distance between the gaps of 0 degrees and 180 degrees becomes equal (Yes in step S126), the mounting table 2 is rotated to an angle of 90 degrees in step S128. At this time, as shown in FIG. 27, the reference work RW and the mounting table 2 rotate around the turning center axis Ax so that the long rod 30 is located between the turning center axis Ax and the locking claw 22. Will be done. However, the long rod 30 maintains the position and posture shown in FIG. 25. In step S129, the gap between the long rod 30 and the third measurement surface WP3 is visually measured at an angle of 90 degrees.
  • the third measurement surface is basically the same as the first measurement surface, which is the surface of the reference work RW that is parallel to the turning center axis Ax when the reference work RW is adjusted in posture as shown in FIG. Is. Therefore, the posture of the reference work RW is adjusted so that the distance between the long rod 30 and the third measurement surface WP3 is uniform with respect to the axial direction of the central axis of the long rod 30.
  • step S130 the mounting table 2 is rotated at an angle of 270 degrees.
  • the reference work RW and the mounting table 2 rotate around the turning center axis Ax so that the long rod 30 is located between the turning center axis Ax and the locking claw 24. Will be done.
  • the long rod 30 maintains the position and posture shown in FIG. 25.
  • the fourth measurement surface WP4 which is the surface opposite to the third measurement surface WP3 with respect to the turning center axis Ax, faces the long rod 30.
  • the gap between the long rod 30 and the fourth measurement surface WP4 is visually measured at an angle of 270 degrees.
  • step S132 it is determined whether or not the distance between the gaps of 90 degrees and 270 degrees is equal.
  • the center is misaligned as shown in FIG. 21, so in step S133, the reference is made in the direction perpendicular to the turning center axis Ax.
  • the locking claws 22 and 24 are operated so as to slide the work RW. After that, the processes of steps S133 and steps S128 to S132 are repeated until the distances between the gaps of 90 degrees and 270 degrees are equal (Yes in step S132).
  • FIG. 29 is an example of the reference image IB in the second embodiment.
  • step S6a the user sees the reference image IB as shown in FIG. 29 displayed on the display 8, and the first image region IR1 occupied by the reference work RW in the reference image IB via the input device 7.
  • a plurality of work reference lines RL1 to RL4 are set at the boundary. In this setting, it is desirable to set both the work reference lines RL1 and RL4 that are not affected by the phase shift and the work reference lines RL2 and RL3 that are affected by the phase shift.
  • the same processing as in the first embodiment is performed from steps S7 to S11, and the posture of the work W is adjusted in steps S12a and S13a.
  • FIG. 30 shows an example of the measurement composite image IS according to the second embodiment.
  • the second image region IR2 occupied by the work W in the measurement composite image IS is shown by a polka dot pattern.
  • the boundary of the fourth image region IR4 occupied by the stationary object corresponding to the third image region IR3 is indicated by hatching.
  • the boundary of the second image region IR2 occupied by the work W in the measurement composite image IS and the plurality of work reference lines RL1 to RL3 are allowed to be substantially parallel to each other.
  • the user uses the work W on the mounting table 2 so that the boundary of the second image region IR2 occupied by the work W in the measurement composite image IS and the plurality of work reference lines RL1 to RL4 substantially coincide with each other.
  • the posture of the work W is adjusted by operating the locking claws 21 to 24 so that the boundary lines BL1 and BL2 of IR2 substantially coincide with each other.
  • FIG. 31 shows a display example of the measurement composite image IS adjusted in this way.
  • FIG. 32 shows an example of the measurement composite image IS that displays the work W whose posture is adjusted in this way.
  • FIGS. 29 to 31 show a case where the plurality of work reference lines RL1 to RL4 are all circular, a straight work reference line may be included.
  • step S12a it is determined whether or not all the plurality of work reference lines RL1 to RL4 substantially coincide with the boundary of the second image region IR2 occupied by the work W in the measurement composite image IS. ..
  • step S13a the locking claws 21 to 24 are operated or the turning center axis.
  • the work W and the mounting table 2 are rotated around the Ax. After that, the processes of steps S13a and S8 to S13a are repeated until all the plurality of work reference lines RL1 to RL4 substantially coincide with the boundary of the second image region IR2.
  • Words such as “substantially,” “about,” and “approximately” that describe a degree can mean a reasonable amount of deviation that does not significantly change the final result, unless otherwise specified in the embodiment. .. All numbers described herein may be construed to include words such as “substantially,” “about,” and “approximately.”

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

加工装置のためのワークの据え付け方法は、姿勢が調整された基準ワークを表示する基準画像を取得し、基準画像において基準ワークが占める第1画像領域の境界に複数のワーク基準線を設定し、ワークを表示する計測画像を取得し、プロセッサによって、複数のワーク基準線を計測画像に重畳した計測合成画像を、複数のワーク基準線が計測合成画像において複数のワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成し、計測合成画像においてワークが占める第2画像領域の境界と、複数のワーク基準線とが、実質的に平行になる、または、実質的に一致するようにワークの姿勢を調整する。

Description

加工装置のためのワークの据え付け方法、ワーク据え付け支援システム、及び、ワーク据え付け支援プログラム
 本発明は、加工装置のためのワークの据え付け方法、ワーク据え付け支援システム、及び、ワーク据え付け支援プログラムに関する。
 数値制御工作機械で工作物を加工する場合、工作物は、加工プログラムで想定した位置と姿勢に置く必要がある。そのため、加工前に、工作物をテーブル上に載置し、その位置と姿勢を調整する据え付け作業を行う。特許文献1は、テーブル上に設置した工作物を視覚装置にて撮像し、その画像に基づいて工作物名を割り出すとともに、画像データから工作物のテーブル上の粗位置を算出する方法を開示している。さらに、特許文献1では、計測用接触プローブを主軸に装着し、工作物の精位置と工作物の特徴点の精位置を当該粗位置から自動探索して求め、工作物の特徴点同士を結ぶ直線に基づいて工作物のおおよその姿勢を求め、加工プログラムの基準座標系とテーブル上の工作物の座標系とが一致するように補正を行う方法を開示している。
特許第2011180号
 特許文献1に記載の方法を、表面に凹凸のある鋳物などの工作物に適用しようとした場合、凹凸のある表面から測定された特徴点同士を結ぶ直線から推定される工作物の姿勢と実際の工作物の姿勢との間の姿勢ずれによって、工作物の一部において削り代以上の取り付け誤差が生じてしまう恐れがある。さらに、工作物が大型である場合は、推定される工作物の姿勢と実際の工作物との間の姿勢ズレが大きくなるため、削り代以上の取り付け誤差が生じる可能性が高くなる。このため、特許文献1に記載の方法では不十分で、同一の加工を要する工作物を複数加工する場合には、工作物ごとに計測用接触プローブにより工作物の姿勢を求めて補正を行うとともに、工作物ごとに上記姿勢ズレがないかを確認し、必要に応じて再度計測用接触プローブにより工作物の姿勢を求めたり、補正量を調整したりしなければならない。このため、より効率的な工作物の姿勢の調整方法が求められている。
 本願に開示される技術の課題は、複数の工作物の姿勢を効率的に調整できる加工装置のためのワークの据え付け方法、ワーク据え付け支援システム、及び、ワーク据え付け支援プログラムを提供することにある。
 本開示の第1態様に係る加工装置のためのワークの据え付け方法は、基準ワークを載置台に載置し、基準ワークの姿勢がワーク基準姿勢となるように、基準ワークの姿勢を載置台上で調整し、載置台を撮影するカメラの視点位置及び視線方向が、それぞれ、基準視点位置及び基準視線方向となる目標コンフィギュレーションにカメラを設定し、目標コンフィギュレーションに設定されたカメラによって撮影された、姿勢が調整された基準ワークを表示する基準画像を取得し、基準画像において基準ワークが占める第1画像領域の境界に複数のワーク基準線を設定し、複数のワーク基準線がそれぞれ位置する基準画像内の複数の位置を、複数のワーク基準線位置としてメモリに記憶し、基準ワークの形状およびサイズと実質的に同じ形状およびサイズを有するワークを、基準ワークを取り外した載置台と、載置台と入れ替えて配置された、載置台と異なる追加載置台のうちの一方の台の上に載置し、目標コンフィギュレーションに設定されたカメラによって撮影された、ワークを表示する計測画像を取得し、プロセッサによって、複数のワーク基準線を計測画像に重畳した計測合成画像を、複数のワーク基準線が計測合成画像において複数のワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成し、計測合成画像においてワークが占める第2画像領域の境界と、複数のワーク基準線とが、実質的に平行になる、または、実質的に一致するように、一方の台の上においてワークの姿勢を調整する。
 本開示の第2態様によれば、第1態様によるワークの据え付け方法では、載置台及び追加載置台は、加工装置によってワークが加工される加工位置、及び、加工位置から離間した段取位置に移動可能である。カメラは、段取位置に移動した一方の台の上に載置された基準ワーク及びワークのいずれかを撮影する。ワークの姿勢は、段取位置に移動した、載置台または追加載置台上で調整される。
 本開示の第3態様によれば、第2態様によるワークの据え付け方法では、ワーク基準姿勢となるように姿勢が調整された基準ワークが載置された載置台が加工位置に移動したとき、基準ワークの形状の複数の特徴点である複数の基準特徴点の全ての位置は予め定められた許容範囲内に存在する。
 本開示の第4態様によれば、第3態様によるワークの据え付け方法は、姿勢が調整されたワークが載置された一方の台を加工位置に移動し、複数の基準特徴点にそれぞれ対応する、ワークの実質的に同じ形状の複数の特徴点である、複数の加工基準点の位置を加工装置の位置計測センサによって測定し、加工装置によって、複数の加工基準点の位置が、それぞれ、許容範囲内に存在するかを判定する、ことをさらに含む。
 本開示の第5態様によれば、第4態様によるワークの据え付け方法は、複数の加工基準点の全ての位置が許容範囲内に存在すると判定したとき、加工装置によって加工許可とする判定結果を出力してワークを加工し、複数の加工基準点のうちの少なくとも1つの位置が許容範囲内に存在しないと判定したとき、加工不許可とする判定結果を出力し、加工位置に移動した、ワークが載置された一方の台を段取位置に移動する、ことをさらに含む。
 本開示の第6態様によれば、第1態様から第5態様のいずれかによるワークの据え付け方法では、基準ワークの姿勢及びワークの姿勢は、加工装置が加工プログラムを実行するために設定する座標系の座標軸周りの回転角、または、載置台の旋回中心軸によって規定される。
 本開示の第7態様によれば、第1態様から第6態様のいずれかによるワークの据え付け方法では、ワーク基準線は、プロセッサによる画像処理によって求められた、第1画像領域の境界のエッジである。
 本開示の第8態様によれば、第1態様から第7態様のいずれかによるワークの据え付け方法では、ワーク基準線は直線または円である。
 本開示の第9態様によれば、第1態様から第8態様のいずれかによるワークの据え付け方法は、基準画像の背景において静止物体が占める第3画像領域の境界に複数のカメラ設定基準線を設定することをさらに含む。当該ワークの据え付け方法では、複数のカメラ設定基準線がそれぞれ位置する基準画像内の複数の位置が、複数のカメラ設定基準線位置としてメモリにさらに記憶され、プロセッサによって、複数のカメラ設定基準線を計測画像に重畳した計測合成画像が、複数のカメラ設定基準線が計測合成画像において複数のカメラ設定基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成される。計測合成画像において静止物体が占める第4画像領域の境界が複数のカメラ設定基準線と重なるように、カメラの視点位置及び視線方向が調整されることによって、目標コンフィギュレーションにカメラが設定される。
 本開示の第10態様によれば、第9態様によるワークの据え付け方法では、カメラ設定基準線は、プロセッサによる画像処理によって求められた、第3画像領域の境界のエッジである。本開示の第11態様によれば、第9態様または第10態様によるワークの据え付け方法では、カメラ設定基準線は直線である。
 本開示の第12態様によれば、第1態様から第11態様のいずれかによるワークの据え付け方法は、載置台を撮影する第1追加カメラの視点位置並びに視線方向が、それぞれ、基準視点位置とは異なる第1追加基準位置並びに基準視線方向と非平行な第1追加基準視線方向となる第1追加目標コンフィギュレーションに第1追加カメラを設定し、載置台を撮影する第2追加カメラの視点位置並びに視線方向が、それぞれ、基準視点位置及び第1追加基準位置とは異なる第2追加基準位置、並びに、基準視線方向及び第1追加基準視線方向と非平行な第2追加基準視線方向となる第2追加目標コンフィギュレーションに第2追加カメラを設定し、第1追加目標コンフィギュレーションに設定された第1追加カメラによって撮影された、姿勢が調整された基準ワークを表示する第1追加基準画像を取得し、第2追加目標コンフィギュレーションに設定された第2追加カメラによって撮影された、姿勢が調整された基準ワークを表示する第2追加基準画像を取得し、第1追加基準画像において基準ワークが占める第5画像領域の境界に複数の第1追加ワーク基準線を設定し、第2追加基準画像において基準ワークが占める第6画像領域の境界に複数の第2追加ワーク基準線を設定し、複数の第1追加ワーク基準線がそれぞれ位置する第1追加基準画像内の複数の位置を、複数の第1追加ワーク基準線位置としてメモリに記憶し、複数の第2追加ワーク基準線がそれぞれ位置する第2追加基準画像内の複数の位置を、複数の第2追加ワーク基準線位置としてメモリに記憶し、第1追加目標コンフィギュレーションに設定された第1追加カメラによって撮影された、ワークを表示する第1追加計測画像を取得し、第2追加目標コンフィギュレーションに設定された第2追加カメラによって撮影された、ワークを表示する第2追加計測画像を取得し、プロセッサによって、複数の第1追加ワーク基準線を第1追加計測画像に重畳した第1追加計測合成画像を、複数の第1追加ワーク基準線が第1追加計測合成画像において複数の第1追加ワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成し、プロセッサによって、複数の第2追加ワーク基準線を第2追加計測画像に重畳した第2追加計測合成画像を、複数の第2追加ワーク基準線が第2追加計測合成画像において複数の第2追加ワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成し、第1追加計測合成画像においてワークが占める第7画像領域の境界と、複数の第1追加ワーク基準線とが実質的に平行になる、または、実質的に一致するように、一方の台上においてワークの姿勢を調整し、第2追加計測合成画像においてワークが占める第8画像領域の境界と、複数の第2追加ワーク基準線とが実質的に平行になる、または、実質的に一致するように、一方の台上においてワークの姿勢を調整する、ことをさらに含む。本開示の第13態様によれば、第12態様によるワークの据え付け方法では、基準視線方向、第1追加基準視線方向、及び、第2追加基準視線方向のうちの2つの視線方向が互いに実質的に垂直であって、2つの視線方向の両方に対して平行な平面と2つの視線方向以外の残りの視線方向との成す角は、45度よりも大きい。
 本開示の第14態様によれば、第5態様によるワークの据え付け方法は、計測画像と複数のワーク基準線とを入力とし、判定結果、複数の加工基準点がそれぞれ許容範囲内に存在するか否かを判定した結果、及び、複数の加工基準点とそれぞれの許容範囲の中心値とのずれ量の少なくとも1つを出力とする教師データを用いて学習した機械学習モデルを用い、目標コンフィギュレーションに設定されたカメラによって撮影された、基準ワークの形状およびサイズと実質的に同じ形状およびサイズを有する第1追加ワークを表示する第3追加計測画像から、第1追加ワークが載置された一方の台が加工位置に移動されたときに、複数の基準特徴点にそれぞれ対応する、第1追加ワークの実質的に同じ形状の複数の特徴点である、複数の第1追加加工基準点の全ての位置が許容範囲内に存在するか否かを判定する、ことをさらに含む。本開示の第15態様によれば、第14態様によるワークの据え付け方法では、計測画像から検出されるエッジ、複数のワーク基準線位置の画像中心からのずれ量、カメラのレンズの焦点距離、カメラの歪曲収差パラメータの少なくとも1つをさらに入力とする教師データを用いて機械学習モデルが学習される。
 本開示の第16態様によれば、第1態様から第15態様のいずれかによるワークの据え付け方法は、基準ワークを取り外した載置台と、載置台と入れ替えて配置された追加載置台のうちの他方の台に基準ワークの形状およびサイズと実質的に同じ形状およびサイズを有する第2追加ワークを載置し、目標コンフィギュレーションに設定されたカメラによって撮影された、第2追加ワークを表示する第4追加計測画像を取得し、プロセッサによって、複数のワーク基準線を第4追加計測画像に重畳した第4追加計測合成画像を、複数のワーク基準線が第4追加計測合成画像において複数のワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成し、第4追加計測合成画像において第2追加ワークが占める第9画像領域の境界と、複数のワーク基準線とが、実質的に平行になる、または、実質的に一致するように、他方の台上において第2追加ワークの姿勢を調整する。
 本開示の第17態様に係るワーク据え付け支援システムは、載置台と、カメラと、入力装置と、メモリと、プロセッサと、ディスプレイと、を備える。載置台は、基準ワークの形状およびサイズと実質的に同じ形状およびサイズを有するワークの姿勢と基準ワークの姿勢とを調整するために、基準ワークまたはワークを択一的に載置するよう構成される。カメラは、載置台上の基準ワーク及びワークを撮影するように構成される。入力装置を介して、カメラで撮影された、基準ワークの姿勢がワーク基準姿勢になるように調整された基準ワークを表示する基準画像において基準ワークが占める第1画像領域の境界に複数のワーク基準線が設定される。メモリは、複数のワーク基準線がそれぞれ位置する基準画像内の複数の位置を、複数のワーク基準線位置として記憶するように構成される。プロセッサは、載置台上でワークの姿勢が調整される際にカメラで撮影されたワークを表示する計測画像に複数のワーク基準線を重畳した計測合成画像を、複数のワーク基準線が計測合成画像において複数のワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成するように構成される。ディスプレイは、計測画像が撮影される際に計測合成画像を表示するように構成される。
 本開示の第18態様によれば、第17態様によるワーク据え付け支援システムは、基準画像を撮影する際に、カメラの視点位置及び視線方向が、それぞれ、基準視点位置及び基準視線方向となる目標コンフィギュレーションにカメラが設定され、計測画像を撮影する際に、目標コンフィギュレーションにカメラが設定されるように構成される。
 本開示の第19態様によれば、第18態様によるワーク据え付け支援システムは、加工装置と、追加載置台とをさらに備える。加工装置は、ワークを加工するように構成される。追加載置台は、基準ワークまたはワークを択一的に載置するよう構成される。載置台及び追加載置台は、加工装置によってワークが加工される加工位置、及び、加工位置から離間した段取位置に移動可能である。カメラは、段取位置に移動した、載置台と追加載置台とのうちの一方の台を撮影する。基準ワークの姿勢は、段取位置に移動した載置台上で調整される。ワークの姿勢は、段取位置に移動した、載置台または追加載置台上で調整される。
 本開示の第20態様によれば、第19態様によるワーク据え付け支援システムでは、加工装置が、ワーク基準姿勢となるように姿勢が調整された基準ワークが載置された載置台が加工位置に移動したとき、基準ワークの形状の複数の特徴点である複数の基準特徴点の位置を計測するように構成された位置計測センサと、複数の基準特徴点の全ての位置が予め定められた許容範囲内に存在するかどうかを判定するように構成された電子回路とを含む。
 本開示の第21態様によれば、第20態様によるワーク据え付け支援システムでは、姿勢が調整されたワークが載置された一方の台が加工位置に移動したとき、位置計測センサが、複数の基準特徴点にそれぞれ対応する、ワークの実質的に同じ形状の複数の特徴点である、複数の加工基準点の位置を測定するように構成され、電子回路が、複数の加工基準点の位置が、それぞれ、許容範囲内に存在するかを判定するように構成されている。
 本開示の第22態様によれば、第21態様によるワーク据え付け支援システムでは、電子回路が、複数の加工基準点の全ての位置が許容範囲内に存在すると判定したとき、加工許可とする判定結果を出力して、加工装置にワークを加工させるように構成される。電子回路が、複数の加工基準点のうちの少なくとも1つの位置が許容範囲内に存在しないと判定したとき、加工不許可とする判定結果を出力して、加工装置に移動したワークが載置された一方の台を段取位置に移動させるように構成される。
 本開示の第23態様によれば、第18態様から第22態様のいずれかによるワーク据え付け支援システムは、基準ワークの姿勢及びワークの姿勢が、加工装置が加工プログラムを実行するために設定する座標系の座標軸周りの回転角、または、載置台の旋回中心軸によって規定されるように構成される。
 本開示の第24態様によれば、第18態様から第23態様のいずれかによるワーク据え付け支援システムは、ワーク基準線は、プロセッサによる画像処理によって求められた、第1画像領域の境界のエッジであるように構成される。本開示の第25態様によれば、第18態様から第24態様のいずれかによるワーク据え付け支援システムは、ワーク基準線は直線または円であるように構成される。
 本開示の第26態様によれば、第18態様から第24態様のいずれかによるワーク据え付け支援システムは、基準画像の背景において静止物体が占める第3画像領域の境界に複数のカメラ設定基準線が入力装置を介して設定されるように構成される。メモリは、複数のカメラ設定基準線がそれぞれ位置する基準画像内の複数の位置を、複数のカメラ設定基準線位置としてさらに記憶するように構成される。プロセッサは、複数のカメラ設定基準線を計測画像に重畳した計測合成画像を、複数のカメラ設定基準線が計測合成画像において複数のカメラ設定基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成するように構成される。計測合成画像において静止物体が占める第4画像領域の境界が複数のカメラ設定基準線と重なる。
 本開示の第27態様によれば、第26態様によるワーク据え付け支援システムは、カメラ設定基準線が、プロセッサによる画像処理によって求められた、第3画像領域の境界のエッジであるように構成される。本開示の第28態様によれば、第26態様または第27態様によるワーク据え付け支援システムは、カメラ設定基準線は直線であるように構成される。
 本開示の第29態様によれば、第18態様から第28態様のいずれかによるワーク据え付け支援システムは、第1追加カメラと、第2追加カメラとをさらに備える。第1追加カメラは、載置台上の基準ワーク及びワークを撮影するように構成される。第2追加カメラは、載置台上の基準ワーク及びワークを撮影するように構成される。第1追加カメラの視点位置並びに視線方向が、それぞれ、基準視点位置とは異なる第1追加基準位置並びに基準視線方向と非平行な第1追加基準視線方向となる第1追加目標コンフィギュレーションに、第1追加カメラが設定される。第2追加カメラの視点位置並びに視線方向が、それぞれ、基準視点位置及び第1追加基準位置とは異なる第2追加基準位置、並びに、基準視線方向及び第1追加基準視線方向と非平行な第2追加基準視線方向となる第2追加目標コンフィギュレーションに、第2追加カメラが設定される。第1追加カメラによって撮影された、基準ワークの姿勢がワーク基準姿勢になるように調整された基準ワークを表示する第1追加基準画像において基準ワークが占める第5画像領域の境界に、複数の第1追加ワーク基準線が入力装置を介して設定される。第2追加カメラによって撮影された、基準ワークの姿勢がワーク基準姿勢になるように調整された基準ワークを表示する第2追加基準画像において基準ワークが占める第6画像領域の境界に、複数の第2追加ワーク基準線が入力装置を介して設定される。メモリは、複数の第1追加ワーク基準線がそれぞれ位置する第1追加基準画像内の複数の位置を、複数の第1追加ワーク基準線位置として記憶するように構成される。メモリは、複数の第2追加ワーク基準線がそれぞれ位置する第2追加基準画像内の複数の位置を、複数の第2追加ワーク基準線位置として記憶するように構成される。プロセッサは、第1追加カメラによって撮影された、ワークを表示する第1追加計測画像に複数の第1追加ワーク基準線を重畳した第1追加計測合成画像を、複数の第1追加ワーク基準線が第1追加計測合成画像において複数の第1追加ワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成するように構成される。プロセッサは、第2追加カメラによって撮影された、ワークを表示する第2追加計測画像に複数の第2追加ワーク基準線を重畳した第2追加計測合成画像を、複数の第2追加ワーク基準線が第2追加計測合成画像において複数の第2追加ワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成するように構成される。ディスプレイは、第1追加計測画像が撮影される際に第1追加計測合成画像を表示するように構成され、第2追加計測画像が撮影される際に第2追加計測合成画像を表示するように構成される。本開示の第30態様によれば、第29態様によるワーク据え付け支援システムは、基準視線方向、第1追加基準視線方向、及び、第2追加基準視線方向のうちの2つの視線方向が互いに実質的に垂直であって、2つの視線方向の両方に対して平行な平面と2つの視線方向以外の残りの視線方向との成す角は、45度よりも大きいように構成される。
 本開示の第31態様によれば、第22態様によるワーク据え付け支援システムでは、プロセッサが、計測画像と複数のワーク基準線とを入力とし、判定結果、複数の加工基準点がそれぞれ許容範囲内に存在するか否かを判定した結果、及び、複数の加工基準点とそれぞれの許容範囲の中心値とのずれ量の少なくとも1つを出力とする教師データを用いて学習した機械学習モデルを用い、目標コンフィギュレーションに設定されたカメラによって撮影された、基準ワークの形状およびサイズと実質的に同じ形状およびサイズを有する第1追加ワークを表示する第3追加計測画像から、第1追加ワークが載置された一方の台が加工位置に移動されたときに、複数の基準特徴点にそれぞれ対応する、第1追加ワークの実質的に同じ形状の複数の特徴点である、複数の第1追加加工基準点の全ての位置が許容範囲内に存在するか否かを判定するように構成される。本開示の第32態様によれば、第31態様によるワーク据え付け支援システムは、計測画像から検出されるエッジ、複数のワーク基準線位置の画像中心からのずれ量、カメラのレンズの焦点距離、カメラの歪曲収差パラメータの少なくとも1つをさらに入力とする教師データを用いて機械学習モデルが学習されるように構成される。
 本開示の第33態様に係るワーク据え付け支援プログラムは、カメラの視点位置及び視線方向が、それぞれ、基準視点位置及び基準視線方向となる目標コンフィギュレーションに設定されたカメラによって撮影された、姿勢がワーク基準姿勢となるように調整された、載置台上の基準ワークを表示する基準画像を取得し、基準画像において基準ワークが占める第1画像領域の境界に複数のワーク基準線を設定し、複数のワーク基準線がそれぞれ位置する基準画像内の複数の位置を、複数のワーク基準線位置としてメモリに記憶させ、目標コンフィギュレーションに設定されたカメラによって撮影された、基準ワークを取り外した載置台と、載置台と入れ替えて配置された、載置台と異なる追加載置台のうちの一方の台の上に載置された、基準ワークの形状およびサイズと実質的に同じ形状およびサイズを有するワークを表示する計測画像を取得し、複数のワーク基準線を計測画像に重畳した計測合成画像を、複数のワーク基準線が計測合成画像において複数のワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成し、計測合成画像をディスプレイに表示させる、処理をプロセッサに実行させる。
 本開示の第34態様によれば、第33態様によるワーク据え付け支援プログラムでは、基準ワークの姿勢及びワークの姿勢は、加工装置が加工プログラムを実行するために設定する座標系の座標軸周りの回転角、または、載置台の旋回中心軸によって規定される。
 本開示の第35態様によれば、第33態様または第34態様によるワーク据え付け支援プログラムは、画像処理によって求められた第1画像領域の境界のエッジを、ワーク基準線として検出する処理をプロセッサにさらに実行させる。本開示の第36態様によれば、第33態様から第35態様のいずれかによるワーク据え付け支援プログラムでは、ワーク基準線は直線または円である。
 本開示の第36態様によれば、第33態様から第35態様のいずれかによるワーク据え付け支援プログラムは、基準画像の背景において静止物体が占める第3画像領域の境界に複数のカメラ設定基準線を設定し、複数のカメラ設定基準線がそれぞれ位置する基準画像内の複数の位置を、複数のカメラ設定基準線位置としてメモリにさらに記憶させ、複数のカメラ設定基準線を計測画像に重畳した計測合成画像を、複数のカメラ設定基準線が計測合成画像において複数のカメラ設定基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成する、処理をプロセッサにさらに実行させる。
 本開示の第37態様によれば、第36態様によるワーク据え付け支援プログラムは、画像処理によって求められた第3画像領域の境界のエッジを、カメラ設定基準線として検出する処理をプロセッサにさらに実行させる。本開示の第38態様によれば、第35態様または第36態様によるワーク据え付け支援プログラムでは、カメラ設定基準線は直線である。
 本開示の第39態様によれば、第33態様から第38態様によるワーク据え付け支援プログラムは、第1追加カメラの視点位置並びに視線方向が、それぞれ、基準視点位置とは異なる第1追加基準位置並びに基準視線方向と非平行な第1追加基準視線方向となる第1追加目標コンフィギュレーションに設定された第1追加カメラによって撮影された、姿勢が調整された基準ワークを表示する第1追加基準画像を取得し、第2追加カメラの視点位置並びに視線方向が、それぞれ、基準視点位置及び第1追加基準位置とは異なる第2追加基準位置、並びに、基準視線方向及び第1追加基準視線方向と非平行な第2追加基準視線方向となる第2追加目標コンフィギュレーションに設定された第2追加カメラによって撮影された、姿勢が調整された基準ワークを表示する第2追加基準画像を取得し、第1追加基準画像において基準ワークが占める第5画像領域の境界に複数の第1追加ワーク基準線を設定し、第2追加基準画像において基準ワークが占める第6画像領域の境界に複数の第2追加ワーク基準線を設定し、複数の第1追加ワーク基準線がそれぞれ位置する第1追加基準画像内の複数の位置を、複数の第1追加ワーク基準線位置としてメモリに記憶させ、複数の第2追加ワーク基準線がそれぞれ位置する第2追加基準画像内の複数の位置を、複数の第2追加ワーク基準線位置としてメモリに記憶させ、第1追加目標コンフィギュレーションに設定された第1追加カメラによって撮影された、ワークを表示する第1追加計測画像を取得し、第2追加目標コンフィギュレーションに設定された第2追加カメラによって撮影された、ワークを表示する第2追加計測画像を取得し、複数の第1追加ワーク基準線を第1追加計測画像に重畳した第1追加計測合成画像を、複数の第1追加ワーク基準線が第1追加計測合成画像において複数の第1追加ワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成し、複数の第2追加ワーク基準線を第2追加計測画像に重畳した第2追加計測合成画像を、複数の第2追加ワーク基準線が第2追加計測合成画像において複数の第2追加ワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成し、第1追加計測合成画像と第2追加計測合成画像とをディスプレイに表示させる、処理をプロセッサにさらに実行させる。本開示の第40態様によれば、第39態様によるワーク据え付け支援プログラムでは、基準視線方向、第1追加基準視線方向、及び、第2追加基準視線方向のうちの2つの視線方向が互いに実質的に垂直であって、2つの視線方向の両方に対して平行な平面と2つの視線方向以外の残りの視線方向との成す角は、45度よりも大きい。
 本開示の第41態様によれば、第33態様によるワーク据え付け支援プログラムは、計測画像と複数のワーク基準線とを入力とし、複数の加工基準点の全ての位置が許容範囲内に存在するか否かを判定した判定結果、複数の加工基準点がそれぞれ許容範囲内に存在するか否かを判定した結果、及び、複数の加工基準点とそれぞれの許容範囲の中心値とのずれ量の少なくとも1つを出力とする教師データを用いて学習した機械学習モデルを用い、目標コンフィギュレーションに設定されたカメラによって撮影された、基準ワークの形状およびサイズと実質的に同じ形状およびサイズを有する第1追加ワークを表示する第3追加計測画像から、第1追加ワークが載置された一方の台が加工位置に移動されたときに、複数の基準特徴点にそれぞれ対応する、第1追加ワークの実質的に同じ形状の複数の特徴点である、複数の第1追加加工基準点の全ての位置が許容範囲内に存在するか否かを判定する、処理をプロセッサにさらに実行させる。本開示の第42態様によれば、第41態様によるワーク据え付け支援プログラムでは、計測画像から検出されるエッジ、複数のワーク基準線位置の画像中心からのずれ量、カメラのレンズの焦点距離、カメラの歪曲収差パラメータの少なくとも1つをさらに入力とする教師データを用いて機械学習モデルが学習される。
 第1態様に係るワークの据え付け方法、第17態様に係るワーク据え付け支援システム、及び、第33態様に係るワーク据え付け支援プログラムでは、姿勢がワーク基準姿勢となるように調整された基準ワークの複数の基準線位置を参照して、ワークの姿勢を調整することができる。このため、複数の工作物の姿勢を効率的に調整できる。第1態様に係るワークの据え付け方法、第18態様に係るワーク据え付け支援システム、及び、第33態様に係るワーク据え付け支援プログラムでは、カメラのずれによる基準線位置のずれが生じないように、カメラが目標コンフィギュレーションに設定することが可能である。したがって、工作物の姿勢をさらに効率的に調整できる。
 第2態様に係るワークの据え付け方法、及び、第19態様に係るワーク据え付け支援システムでは、加工位置においてワークを加工すると同時に、段取位置において別のワークの姿勢を調整することが可能となる。これによって、加工装置による加工中に、段取位置において次に加工するワークの姿勢を調整することで、加工装置の加工停止時間が短くなるよう複数の工作物の姿勢を効率的に調整できる。
 第3態様に係るワークの据え付け方法、及び、第20態様に係るワーク据え付け支援システムでは、許容範囲を基準ワーク及びワークの削り代に合わせて設定することによって、ワーク基準姿勢が適切に設定される。このため、加工装置は、ワーク基準姿勢に設定された基準ワークを加工することができる。
 第4態様に係るワークの据え付け方法、及び、第21態様に係るワーク据え付け支援システムでは、姿勢が調整されたワークを、加工装置が加工することが可能か否か判定することができる。これにより、ワークの姿勢が不良であるか否かを加工前に判定するため、工作物の姿勢を効率的に調整できる。
 第5態様に係るワークの据え付け方法、及び、第22態様に係るワーク据え付け支援システムでは、加工装置が加工できないと判定されたワークは段取位置に戻される。したがって、ワークの姿勢の再調整が容易となる。
 第6態様に係るワークの据え付け方法、第23態様に係るワーク据え付け支援システム、及び、第34態様に係るワーク据え付け支援プログラムでは、加工プログラムにおいて座標変換の基準となる座標軸の回転角とすることによって、加工プログラムの座標変換の量を少なくすることができる。
 第7態様に係るワークの据え付け方法、第24態様に係るワーク据え付け支援システム、及び、第35態様に係るワーク据え付け支援プログラムでは、エッジ検出処理によってワーク基準線を設定することができるため、ワーク基準線の設定作業が容易となる。
 第8態様に係るワークの据え付け方法、第25態様に係るワーク据え付け支援システム、及び、第36態様に係るワーク据え付け支援プログラムでは、ワーク基準線が円もしくは直線といった単純図形のため、第2画像領域の境界をワーク基準線に合わせることが容易となる。
 第9態様に係るワークの据え付け方法、第26態様に係るワーク据え付け支援システム、及び、第36態様に係るワーク据え付け支援プログラムでは、計測合成画像を利用してカメラを目標コンフィギュレーションに調整することができる。
 第10態様に係るワークの据え付け方法、第27態様に係るワーク据え付け支援システム、及び、第37態様に係るワーク据え付け支援プログラムでは、エッジ検出処理によってカメラ設定基準線を設定することができるため、カメラ設定基準線の設定作業が容易となる。
 第11態様に係るワークの据え付け方法、第28態様に係るワーク据え付け支援システム、及び、第38態様に係るワーク据え付け支援プログラムでは、カメラ設定基準線が直線のため、第4画像領域の境界をカメラ設定基準線に合わせることが容易となる。
 第12態様に係るワークの据え付け方法、第29態様に係るワーク据え付け支援システム、及び、第39態様に係るワーク据え付け支援プログラムでは、ワークの3次元での姿勢調整が可能となる。
 第13態様に係るワークの据え付け方法、第30態様に係るワーク据え付け支援システム、及び、第40態様に係るワーク据え付け支援プログラムでは、3つのカメラが互いに概ね垂直に向くように配置されるため、ワークの3次元での高精度の姿勢調整が可能となる。
 第14態様に係るワークの据え付け方法、第31態様に係るワーク据え付け支援システム、及び、第41態様に係るワーク据え付け支援プログラムでは、一方の台を加工位置に移動させなくても、人手で行われたワークの姿勢調整が適切かどうか判定することができる。このため、姿勢調整に要する時間をさらに短縮することができ、同一の加工を要する複数の工作物の姿勢をさらに効率的に調整できる。
 第15態様に係るワークの据え付け方法、第32態様に係るワーク据え付け支援システム、及び、第42態様に係るワーク据え付け支援プログラムでは、計測画像から検出されるエッジが入力され、機械学習モデルが学習される。ワーク基準線とエッジとの位置関係は、ワークの姿勢を表す重要な特徴量であるため、機械学習モデルによる高精度の判定が期待できる。さらに、第15態様に係るワークの据え付け方法、第32態様に係るワーク据え付け支援システム、及び、第42態様に係るワーク据え付け支援プログラムでは、ワーク基準線位置の画像中心からのずれ量、カメラのレンズの焦点距離、カメラの歪曲収差パラメータが入力され、機械学習モデルが学習される。ワーク基準線を直線としたときに、ワーク基準線は、画像中心から離れるほど収差の影響を強く受けるため、誤差が大きくなる。したがって、これらのパラメータを機械学習モデルに学習させることによって、機械学習モデルによる高精度の判定が期待できる。
 第16態様に係るワークの据え付け方法、及び、第19態様に係るワーク据え付け支援システムでは、載置台及び追加載置台のいずれにもワークを配置し、ワークの姿勢調整を行うことができる。
 本願に開示される技術によれば、例えば、姿勢がワーク基準姿勢となるように調整された基準ワークの複数の基準線位置を参照して、ワークの姿勢を調整することができる。このため、複数の工作物の姿勢を効率的に調整できる。
図1は、第1実施形態に係るワーク据え付け支援システムの概略構成を示す図である。 図2は、第1実施形態に係る基準画像の一例を示す。 図3は、第1追加基準画像の一例を示す。 図4は、第2追加基準画像の一例を示す。 図5は、第1実施形態に係る計測合成画像の一例を示す。 図6は、第1実施形態に係るワークの姿勢が調整されたときの計測合成画像の一例を示す。 図7は、第1実施形態に係るワークの姿勢が調整されたときの計測合成画像の別の一例を示す。 図8は、第1追加計測合成画像の一例を示す。 図9は、第2追加計測合成画像の一例を示す。 図10は、第1実施形態に係るワークの据え付け方法を示すフローチャートである。 図11は、第1実施形態における、基準ワークの姿勢をワーク基準姿勢に調整する方法を示すフローチャートである。 図12は、第1実施形態に係る基準ワークの姿勢の姿勢調整方法を示す。 図13は、第1実施形態に係る基準ワークの姿勢の姿勢調整方法を示す。 図14は、第1実施形態に係る基準ワークの姿勢の姿勢調整方法を示す。 図15は、基準特徴点及び許容範囲を説明するための図である。 図16は、加工基準点を説明するための図である。 図17は、第1実施形態の変形例に係るワーク据え付け支援システムのブロック図である。 図18は、第3追加計測画像の判定結果を表示した合成画像の一例である。 図19は、第4追加計測合成画像の一例を示す。 図20は、第2実施形態に係るワーク据え付け支援システムの概略構成を示す図である。 図21は、第2実施形態の基準ワーク及びワークの姿勢を説明するための図である。 図22は、第2実施形態の基準ワーク及びワークの姿勢を説明するための図である。 図23は、第2実施形態に係るワークの据え付け方法を示すフローチャートである。 図24は、第2実施形態における、基準ワークの姿勢をワーク基準姿勢に調整する方法を示すフローチャートである。 図25は、第2実施形態に係る基準ワークの姿勢の姿勢調整方法を示す。 図26は、第2実施形態に係る基準ワークの姿勢の姿勢調整方法を示す。 図27は、第2実施形態に係る基準ワークの姿勢の姿勢調整方法を示す。 図28は、第2実施形態に係る基準ワークの姿勢の姿勢調整方法を示す。 図29は、第2実施形態に係る基準画像の一例を示す。 図30は、第2実施形態に係る計測合成画像の一例を示す。 図31は、第2実施形態に係るワークの姿勢が調整される途中の計測合成画像の一例を示す。 図32は、第2実施形態に係るワークの姿勢が調整されたときの計測合成画像の一例を示す。
 以下、この発明をその実施の形態を示す図面に基づいて具体的に説明する。なお、図中において同じ符号は、対応するまたは実質的に同一の構成を示している。
<第1実施形態>
<システム構成>
 図1は、本発明の実施形態に係るワーク据え付け支援システム1の概略構成を示す。ワーク据え付け支援システム1は、加工装置10と、カメラ4と、第1追加カメラ4Aと、第2追加カメラ4Bと、画像処理装置200と、入力装置7と、ディスプレイ8を備える。加工装置10は、例えば、フライス加工が可能なマシニングセンタ(machining center)を含む。加工装置10は、数値制御装置100と、載置台2と、追加載置台2Aとを含む。ここで、追加載置台2Aは、加工装置10とは別に配置し、加工装置10と接続可能に構成してもよい。画像処理装置200は、プロセッサ5とメモリ6とを含む。画像処理装置200は、カメラ4、第1追加カメラ4A、及び、第2追加カメラ4Bからの映像を処理する専用の画像処理装置であってもよく、汎用のコンピュータであってもよい。画像処理装置200は、HDMI(登録商標)などの周知のカメラ入出力インタフェース201を介してカメラ4、第1追加カメラ4A、及び、第2追加カメラ4Bからの映像を取り込む。図1では、入力装置7とディスプレイ8とは、画像処理装置200と無線ネットワークNWで接続されたタッチパネルディスプレイで実現された例を示している。しかし、入力装置7とディスプレイ8とは、例えば、モニタとマウスのように別々の端末であってもよく、画像処理装置200とケーブルで接続されていてもよい。なお、入力装置7の信号を画像処理装置200に送信するインタフェースを第1通信インタフェース202と呼んでもよい。また、画像処理装置200を介して処理された映像、もしくは、カメラ入出力インタフェース201を介して画像処理装置200に取り込まれた映像をディスプレイ8に出力するインタフェースを映像出力インタフェース203と呼んでもよい。図1の例では、第1通信インタフェース202と映像出力インタフェース203とは無線通信インタフェースによって実現されている。プロセッサ5、メモリ6、カメラ入出力インタフェース201、第1通信インタフェース202、及び、映像出力インタフェース203はバス205を介して接続されている。
 加工装置10は、第1方向D1に延びるガイドレール2G1と、第2方向D2に延びるガイドレール2G2とを備える。載置台2及び追加載置台2Aは、加工装置10によってワークWが加工される加工位置MP、及び、加工位置MPから離間した段取位置APに移動可能である。より具体的には、加工位置MPと段取位置APとは、第1方向D1において互いに離間しており、載置台2及び追加載置台2Aは第1方向D1に延びるガイドレール2G1に沿って移動可能である。載置台2及び追加載置台2Aは、段取位置APから追加段取位置AAPにさらに移動可能であってもよい。より具体的には、段取位置APと追加段取位置AAPとは、第1方向D1とは概ね垂直な第2方向D2において互いに離間しており、載置台2及び追加載置台2Aは第2方向D2に延びるガイドレール2G2に沿って移動可能である。
 載置台2は、基準ワークRWまたはワークWを択一的に載置するように構成される。載置台2上では、基準ワークRWの姿勢またはワークWの姿勢を調整することが可能である。基準ワークRWは、ワークWの姿勢を調整するために参照されるワーク基準姿勢を決定するために用いられる。ワークWは、基準ワークRWの形状及びサイズと実質的に同じ形状及びサイズを有する。これは、ワークWの形状及びサイズと、基準ワークRWの形状及びサイズとの差異は、ワークW及び基準ワークRWの製造工程で生じうる誤差の範囲内にある、ということを意味する。例えば、基準ワークRW及びワークWが同一の鋳型により製造される鋳物である場合、当該差異は、鋳型成形により生じうる誤差(例えば、大型加工物であると5mm程度)の範囲内にある。
 基準ワークRW及びワークWは、追加段取位置AAPに移動した載置台2(追加載置台2A)に載置され、載置台2(追加載置台2A)に仮止めされて、段取位置APに送られる。基準ワークRWの姿勢は、段取位置APに移動した載置台2上で調整される。ワークWの姿勢は、段取位置APに移動した、載置台2または追加載置台2A上で調整される。カメラ4、第1追加カメラ4A、及び、第2追加カメラ4Bは、載置台2上の基準ワークRW及びワークWを撮影するように構成される。より具体的には、カメラ4、第1追加カメラ4A、及び、第2追加カメラ4Bは、段取位置APに移動した、載置台2と追加載置台2Aとのうちの一方の台を撮影する。
 カメラ4は、カメラ4の視点位置及び視線方向が、それぞれ、基準視点位置及び基準視線方向となる目標コンフィギュレーションにカメラが設定される。第1追加カメラ4Aは、第1追加カメラ4Aの視点位置並びに視線方向が、それぞれ、基準視点位置とは異なる第1追加基準位置並びに基準視線方向と非平行な第1追加基準視線方向となる第1追加目標コンフィギュレーションに設定される。第2追加カメラ4Bは、第2追加カメラ4Bの視点位置並びに視線方向が、それぞれ、基準視点位置及び第1追加基準位置とは異なる第2追加基準位置、並びに、基準視線方向及び第1追加基準視線方向と非平行な第2追加基準視線方向となる第2追加目標コンフィギュレーションに設定される。図1の例では、基準視線方向は第1方向D1と平行であって、第1追加基準視線方向は第2方向D2と平行であって、第2追加基準視線方向(図1では第3方向D3と示す)は、第1方向D1と第2方向D2とのそれぞれに対して平行な平面に対して傾斜している。このように、基準視線方向、第1追加基準視線方向、及び、第2追加基準視線方向のうちの2つの視線方向が互いに実質的に垂直であって、2つの視線方向の両方に対して平行な平面と2つの視線方向以外の残りの視線方向との成す角は、45度よりも大きいことが望ましい。なお、カメラ4、第1追加カメラ4A、及び、第2追加カメラ4Bの位置及び視線方向は、図1に示される位置及び視線方向に限定されず、変更されてもよい。
 加工装置10は、ワークWを加工するように構成される。加工装置10は、基準ワークRWも加工してもよい。加工装置10は、ワークを加工する工具を取り付ける主軸9Aと、主軸移動機構9Bと、位置計測センサ9と、を含む。数値制御装置100は、電子回路110と入力インタフェース111とを含む。位置計測センサ9は、例えば、接触式プローブである。位置計測センサ9は主軸9Aに取り付けられ、主軸移動機構9Bが主軸9Aを移動させる。例えば、位置計測センサ9は、主軸9Aに取り付けられた工具と交換して、主軸9Aに取り付けられる。電子回路110とは、例えば、加工プログラムを実行するコントローラである。位置計測センサ9、電子回路110、入力インタフェース111、主軸9A、及び、主軸移動機構9Bは、バス113及び/または図示しないケーブルを介して互いに接続されている。位置計測センサ9は、ワーク基準姿勢となるように姿勢が調整された基準ワークRWが載置された載置台2が加工位置MPに移動したとき、基準ワークRWの形状の複数の特徴点である複数の基準特徴点の位置を計測するように構成されている。また、位置計測センサ9は、姿勢が調整されたワークWが載置された一方の台が加工位置MPに移動したとき、複数の基準特徴点にそれぞれ対応する、ワークの実質的に同じ形状の複数の特徴点である、複数の加工基準点の位置を測定するように構成される。ワーク基準姿勢及び複数の基準特徴点の詳細は後述する。電子回路110は、複数の基準特徴点の全ての位置が、それぞれ、予め定められた許容範囲内に存在するかどうかを判定するように構成される。さらに、電子回路110は、複数の加工基準点の位置が、それぞれ、許容範囲内に存在するかを判定するように構成されている。この許容範囲は基準ワークRW及びワークWの削り代に合わせて設定される。電子回路110による判定を行うプログラムを計測プログラムと呼んでもよい。電子回路110は、複数の加工基準点の全ての位置が許容範囲内に存在すると判定したとき、加工許可とする判定結果を出力して、加工装置10にワークWを加工させるように構成される。電子回路110は、複数の加工基準点のうちの少なくとも1つの位置が許容範囲内に存在しないと判定したとき、加工不許可とする判定結果を出力して、加工位置MPに移動したワークWが載置された一方の台を段取位置APに移動させるように構成される。
 複数の基準特徴点の全ての位置が予め定められた許容範囲内に存在するように、基準ワークRWの姿勢が加工位置MPに移動した載置台2上で調整される。複数の基準特徴点の全ての位置が予め定められた許容範囲内に存在すると判定されたときの基準ワークRWの姿勢がワーク基準姿勢となる。したがって、ワーク基準姿勢となるように姿勢が調整された基準ワークRWが載置された載置台2が加工位置MPに移動したとき、基準ワークRWの形状の複数の特徴点である複数の基準特徴点の全ての位置は予め定められた許容範囲内に存在する。
 基準ワークRWの姿勢がワーク基準姿勢に調整された後、カメラ4は、基準ワークRWの姿勢がワーク基準姿勢になるように調整された基準ワークRWを表示する基準画像IBを撮影(capture)する。第1追加カメラ4Aは、基準ワークRWの姿勢がワーク基準姿勢になるように調整された基準ワークRWを表示する第1追加基準画像IBAを撮影する。第2追加カメラ4Bは、基準ワークRWの姿勢がワーク基準姿勢になるように調整された基準ワークRWを表示する第2追加基準画像IBBを撮影する。ディスプレイ8は、基準画像IB、第1追加基準画像IBA、及び、第2追加基準画像IBBを表示する。
 まず、後の撮影において、カメラ4のコンフィギュレーション(視点位置及び視線方向)が、それぞれ、目標コンフィギュレーションからずれているかどうか確認できるようにするために、ユーザは、基準画像IBの背景において静止物体が占める第3画像領域IR3の境界に複数のカメラ設定基準線CRL1~CRL2を、入力装置7を介して設定する。つまり、基準画像IBの背景において静止物体が占める第3画像領域IR3の境界に複数のカメラ設定基準線CRL1~CRL2が入力装置7を介して設定される。同様に、ユーザは、第1追加基準画像IBAの背景において静止物体が占める画像領域BG1の境界に複数の第1追加カメラ設定基準線CRL3~CRL4を、入力装置7を介して設定する。つまり、第1追加基準画像IBAの背景において静止物体が占める画像領域BG1の境界に複数の第1追加カメラ設定基準線CRL3~CRL4が入力装置7を介して設定される。ユーザは、第2追加基準画像IBBの背景において静止物体が占める画像領域BG2の境界に複数の第2追加カメラ設定基準線CRL5~CRL6を、入力装置7を介して設定する。つまり、第2追加基準画像IBBの背景において静止物体が占める画像領域BG2の境界に複数の第2追加カメラ設定基準線CRL5~CRL6が入力装置7を介して設定される。なお、図2~図4では、基準画像IB、第1追加基準画像IBA、第2追加基準画像IBBにおいて、それぞれ、静止物体が占める第3画像領域IR3、画像領域BG1、画像領域BG2にはハッチングが付されている。
 なお、図2~図4に示すように、カメラ設定基準線CRL1~CRL6は、直線であることが望ましい。また、カメラ設定基準線CRL1~CRL2は、プロセッサ5による画像処理によって求められた、第3画像領域IR3の境界のエッジであってもよい。同様に、第1追加カメラ設定基準線CRL3~CRL4は、プロセッサ5による画像処理によって求められた、画像領域BG1の境界のエッジであってもよい。第2追加カメラ設定基準線CRL5~CRL6は、プロセッサ5による画像処理によって求められた、画像領域BG2の境界のエッジであってもよい。この場合、入力装置7を介してエッジ検出を行う基準画像IB、第1追加基準画像IBA、及び、第2追加基準画像IBBの領域が決定されてもよく、入力装置7を介して基準画像IB、第1追加基準画像IBA、及び、第2追加基準画像IBBから検出された複数のエッジのうちのいずれかが選択されてもよい。
 つぎに、ユーザは、ディスプレイ8に表示された、図2に示されるような基準画像IBを見ながら、入力装置7を介して、基準画像IBにおいて基準ワークRWが占める第1画像領域IR1の境界に複数のワーク基準線RL1~RL3を設定する。つまり、入力装置7を介して、基準画像IBにおいて基準ワークRWが占める第1画像領域IR1の境界に複数のワーク基準線RL1~RL3が設定される。ユーザは、ディスプレイ8に表示された、図3に示されるような第1追加基準画像IBAを見ながら、入力装置7を介して、第1追加基準画像IBAにおいて基準ワークRWが占める第5画像領域IR5の境界に複数の第1追加ワーク基準線RL4~RL5を設定する。つまり、図3に示すように、第1追加基準画像IBAにおいて基準ワークRWが占める第5画像領域IR5の境界に、複数の第1追加ワーク基準線RL4~RL5が入力装置7を介して設定される。ユーザは、ディスプレイ8に表示された、図4に示されるような第2追加基準画像IBBを見ながら、入力装置7を介して、第2追加基準画像IBBにおいて基準ワークRWが占める第6画像領域IR6の境界に複数の第2追加ワーク基準線RL6~RL7を設定する。つまり、第2追加基準画像IBBにおいて基準ワークRWが占める第6画像領域IR6の境界に、複数の第2追加ワーク基準線RL6~RL7が入力装置7を介して設定される。なお、図2~図4では、基準画像IB、第1追加基準画像IBA、第2追加基準画像IBBにおいて、それぞれ、基準ワークRWが占める基準ワークRWが占める第1画像領域IR1、第5画像領域IR5、第6画像領域IR6には水玉模様が付されている。
 なお、図2~図4に示すように、ワーク基準線RL1~RL7は、直線または円であることが望ましい。また、ワーク基準線RL1~RL3は、プロセッサ5による画像処理によって求められた、第1画像領域IR1の境界のエッジであってもよい。同様に、第1追加ワーク基準線RL4~RL5は、プロセッサ5による画像処理によって求められた、第5画像領域IR5の境界のエッジであってもよい。同様に、第2追加ワーク基準線RL6~RL7は、プロセッサ5による画像処理によって求められた、第6画像領域IR6の境界のエッジであってもよい。この場合、入力装置7を介してエッジ検出を行う基準画像IB、第1追加基準画像IBA、第2追加基準画像IBBの領域が決定されてもよく、入力装置7を介して基準画像IB、第1追加基準画像IBA、第2追加基準画像IBBから検出された複数のエッジのうちのいずれかが選択されてもよい。
 メモリ6は、複数のワーク基準線RL1~RL3がそれぞれ位置する基準画像IB内の複数の位置を、複数のワーク基準線位置として記憶するように構成される。メモリ6は、複数のカメラ設定基準線CRL1~CRL2がそれぞれ位置する基準画像IB内の複数の位置を、複数のカメラ設定基準線位置としてさらに記憶するように構成される。これらの基準線位置は、例えば、基準線が直線である場合、その端点(図2の例では、RP1~RP4、CRP1~CRP4)の基準画像IBの画像座標系における座標、基準線が円である場合、円形状を指定するための点(図2の例では、例えば中心RP5、円周上の点RP6~RP8などのいずれか)の基準画像IBの画像座標系における座標によって定義される。なお、これらの点の座標は、サブピクセル単位の値で表されてもよい。同様に、メモリ6は、複数の第1追加ワーク基準線RL4~RL5がそれぞれ位置する第1追加基準画像IBA内の複数の位置を、複数の第1追加ワーク基準線位置として記憶するように構成される。メモリ6は、複数の第1追加カメラ設定基準線CRL3~CRL4がそれぞれ位置する第1追加基準画像IBA内の複数の位置を、複数の第1追加カメラ設定基準線位置としてさらに記憶するように構成される。メモリ6は、複数の第2追加ワーク基準線RL6~RL7がそれぞれ位置する第2追加基準画像IBB内の複数の位置を、複数の第2追加ワーク基準線位置として記憶するように構成される。メモリ6は、複数の第2追加カメラ設定基準線CRL5~CRL6がそれぞれ位置する第2追加基準画像IBB内の複数の位置を、複数の第2追加カメラ設定基準線位置としてさらに記憶するように構成される。
 以上の処理の後、基準ワークRWが載置された載置台2は、加工位置MPまたは追加段取位置AAPに移動する。当該載置台2が加工位置MPに移動される場合、基準ワークRWが加工装置10によって加工される。それから、ワークWが載置された追加載置台2Aと、基準ワークRWと入れ替えてワークWが載置された載置台2とのうちの一方の台が段取位置APに移動する。カメラ4は、当該一方の台上でワークWの姿勢が調整される際に、ワークWを表示する計測画像を撮影する。同様に、第1追加カメラ4Aは、ワークWを表示する第1追加計測画像を撮影する。第2追加カメラ4Bは、ワークWを表示する第2追加計測画像を撮影する。
 プロセッサ5は、複数のカメラ設定基準線CRL1~CRL2を計測画像に重畳した計測合成画像ISを、複数のカメラ設定基準線CRL1~CRL2が計測合成画像ISにおいて複数のカメラ設定基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成するように構成される。さらに、プロセッサ5は、上述する一方の台上でワークWの姿勢が調整される際にカメラ4で撮影されたワークWを表示する計測画像に複数のワーク基準線RL1~RL3を重畳した計測合成画像ISを、複数のワーク基準線RL1~RL3が計測合成画像ISにおいて複数のワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成するように構成される。ディスプレイ8は、計測画像が撮影される際に計測合成画像ISを表示するように構成される。
 図5は、第1実施形態に係る計測合成画像ISの一例を示す。図5では、計測合成画像ISにおいてワークWが占める第2画像領域IR2は水玉模様で示されている。また、計測合成画像ISにおいて第3画像領域IR3に対応する静止物体が占める第4画像領域IR4の境界はハッチングで示されている。ユーザは、まず、計測合成画像ISを参照しながら、計測合成画像ISにおいて当該静止物体が占める第4画像領域IR4の境界が複数のカメラ設定基準線CRL1~CRL2と重なるようにカメラ4のコンフィギュレーションを調整する。これによって、計測画像を撮影する際に、目標コンフィギュレーションにカメラ4が設定される。
 つぎに、ユーザは、計測合成画像ISにおいてワークWが占める第2画像領域IR2の境界と、複数のワーク基準線RL1~RL3とが実質的に平行になる、または、実質的に一致するように、上述する一方の台の上においてワークWの姿勢を調整する。図6及び図7は、このように姿勢が調整されたワークWを表示する計測合成画像ISの例を示す。図6は、複数のワーク基準線RL1~RL3が第2画像領域IR2の境界と実質的に一致する場合の例を示す。図7は、複数のワーク基準線RL1~RL3が第2画像領域IR2の境界と実質的に平行となる場合の例を示す。図7では、ワーク基準線RL1と第2画像領域IR2の境界線BL1は平行になるように離隔しているが、ワーク基準線RL2と第2画像領域IR2の境界線BL2は実質的に一致している。このように、「第2画像領域IR2の境界と、複数のワーク基準線RL1~RL3とが実質的に平行になる」とは、第2画像領域IR2の境界と、複数のワーク基準線RL1~RL3の一部が実質的に一致してもよく、複数のワーク基準線RL1~RL3の夫々と、第2画像領域IR2の境界線との距離は互いに異なっていてもよい。
 プロセッサ5及びディスプレイ8は、第1追加計測画像、第2追加計測画像についても同様の処理を行う。すなわち、図8に示されるように、プロセッサ5は、複数の第1追加カメラ設定基準線CRL3~CRL4を第1追加計測画像に重畳した第1追加計測合成画像ISAを、複数の第1追加カメラ設定基準線CRL3~CRL4が第1追加計測合成画像ISAにおいて複数の第1追加カメラ設定基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成するように構成される。プロセッサ5は、第1追加計測画像に複数の第1追加ワーク基準線RL4~RL5を重畳した第1追加計測合成画像ISAを、複数の第1追加ワーク基準線RL4~RL5が第1追加計測合成画像ISAにおいて複数の第1追加ワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成するように構成される。図9に示されるように、プロセッサ5は、複数の第2追加カメラ設定基準線CRL5~CRL6を第2追加計測画像に重畳した第2追加計測合成画像ISBを、複数の第2追加カメラ設定基準線CRL5~CRL6が第2追加計測合成画像ISBにおいて複数の第2追加カメラ設定基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成するように構成される。プロセッサ5は、第2追加計測画像に複数の第2追加ワーク基準線RL6~RL7を重畳した第2追加計測合成画像ISBを、複数の第2追加ワーク基準線RL6~RL7が第2追加計測合成画像ISBにおいて複数の第2追加ワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成するように構成される。ディスプレイ8は、第1追加計測画像が撮影される際に第1追加計測合成画像ISAを表示するように構成される。ディスプレイ8は、第2追加計測画像が撮影される際に第2追加計測合成画像ISBを表示するように構成される。
 ユーザは、第1追加計測合成画像ISAを参照しながら、第1追加計測合成画像ISAにおいて静止物体(画像領域BG1に対応する静止物体)が占める画像領域BG3の境界が複数の第1追加カメラ設定基準線CRL3~CRL4と重なるように第1追加カメラ4Aのコンフィギュレーションを調整する。これによって、第1追加計測画像を撮影する際に、第1追加目標コンフィギュレーションに第1追加カメラ4Aが設定される。ユーザは、第2追加計測合成画像ISBを参照しながら、第2追加計測合成画像ISBにおいて静止物体(画像領域BG2に対応する静止物体)が占める画像領域BG4の境界が複数の第2追加カメラ設定基準線CRL5~CRL6と重なるように第2追加カメラ4Bのコンフィギュレーションを調整する。これによって、第2追加計測画像を撮影する際に、第2追加目標コンフィギュレーションに第2追加カメラ4Bが設定される。ユーザは、第1追加計測合成画像ISAにおいてワークWが占める第7画像領域IR7の境界と、複数の第1追加ワーク基準線RL4~RL5とが実質的に平行になる、または、実質的に一致するように、上述する一方の台の上においてワークWの姿勢を調整する。ユーザは、第2追加計測合成画像ISBにおいてワークWが占める第8画像領域IR8の境界と、複数の第2追加ワーク基準線RL6~RL7とが実質的に平行になる、または、実質的に一致するように、上述する一方の台の上においてワークWの姿勢を調整する。
 上述のプロセッサ5の処理は、典型的には、プロセッサ5がメモリ6に記憶されたワーク据え付け支援プログラム6pを実行し、カメラ4、第1追加カメラ4A、及び、第2追加カメラ4Bからの画像を取得することによって実現される。しかし、プロセッサ5は、専用の画像処理プロセッサや集積回路によって実現されてもよい。以下では、プロセッサ5がワーク据え付け支援プログラム6pを実行する場合を例に挙げて、ワーク据え付け支援システム1を利用したワーク据え付け方法についての詳細を説明する。
<ワークの据え付け方法>
 図10は、第1実施形態に係るワークの据え付け方法を示すフローチャートである。当該方法では、ステップS1において、ユーザが、基準ワークRWを載置台2に載置し、基準ワークRWの姿勢がワーク基準姿勢となるように、基準ワークRWの姿勢を載置台2上で調整する。図11は、ステップS1の具体的な処理のフローチャートである。まず、ステップS101において、加工装置10の主軸9A(図1参照)に、ダイヤルゲージ101(図12~図13参照)を取り付ける。ステップS102において、図12に示すように、加工プログラムではワーク座標系(加工装置10が加工プログラムを実行するために設定する座標系)のX-Y平面に平行な平面(X-Y基準面)上に位置すべきはずのY方向に離間した2点をダイヤルゲージ101で測定する。ダイヤルゲージ101は、これら2点のZ座標に対応する値を示す。この2点は、Y方向においてできるだけ離間していることが望ましい。もし、2点のダイヤルゲージ値が異なる場合(ステップS103でNo)、同じになるようにジャッキで調整する(ステップS103でYesとなるまでステップS104→S102→S103の処理を繰り返す)。ステップS101~S104の処理によって、X方向から見たときの、X-Y平面とワーク座標系の原点を通るように平行移動したときのX-Y基準面とのなす角(ロール角)が実質的に0度となる。
 ロール角の設定が終わると(ステップS103でYes)、ステップS105において、図13に示すように、加工プログラムではワーク座標系のX-Y平面に平行な平面(X-Y基準面)上に位置すべきはずのX方向に離間した2点をダイヤルゲージ101で測定する。ステップS105のX-Y基準面は、ステップS102のX-Y基準面と同じであっても異なっていてもよい。この2点は、X方向においてできるだけ離間していることが望ましい。この場合においても、ダイヤルゲージ101は、これら2点のZ座標に対応する値を示す。もし、2点のダイヤルゲージ値が異なる場合(ステップS106でNo)、同じになるようにジャッキで調整する(ステップS106でYesとなるまでステップS107→S105→S106の処理を繰り返す)。ステップS105~S106の処理によって、Y方向から見たときの、X-Y平面とワーク座標系の原点を通るように平行移動したときのX-Y基準面とのなす角(ピッチ角)が実質的に0度となる。
 ピッチ角の設定が終わると(ステップS106でYes)、加工装置10の主軸9A(図1参照)に、棒102(図14参照)を取り付ける。ステップS109において、図14に示すように、基準ワークRWのうちの、加工プログラムではワーク座標系のX-Z平面に対して平行な平面に対して面対称となるように配置されるべき部分(対称部分SP)の一点へ移動する。対称部分SPは、X方向へ延伸していることが望ましい。つぎに、ステップS110において、棒102と基準ワークRWのY方向の両側エッジ距離を定規103で測定する。両側エッジ距離が異なる場合(ステップS111でNo)、同じになるように主軸9Aを移動する(ステップS111でYesとなるまでステップS112→S110→S111の処理を繰り返す)。図14では、両側エッジ距離が等しくなった場所をP1として図示している。両側エッジ距離が等しくなると(ステップS111でYes)、ステップS113において、場所P1から対称部分SP上で主軸9AをX方向へ平行移動させる。ステップS114において、棒102と基準ワークRWのY方向の両側エッジ距離を定規103で測定する。両側エッジ距離が異なる場合(ステップS115でNo)、同じになるようにジャッキで調整する(ステップS115でYesとなるまでステップS116→S114→S115の処理を繰り返す)。ステップS108~S116の処理によって、Z方向から見たときの、Z-X平面と対称部分SPの対称面とのなす角(ヨー角)が実質的に0度となる。このように設定された基準ワークRWの姿勢をワーク基準姿勢と呼ぶ。したがって、基準ワークRWの姿勢は、加工装置10が加工プログラムを実行するために設定する座標系(ワーク座標系)の座標軸周りの回転角(ロール角、ピッチ角、ヨー角)によって規定される。ワークWの姿勢もワーク基準姿勢に基づいて定められるため、ワークWの姿勢は、加工装置10が加工プログラムを実行するために設定する座標系(ワーク座標系)の座標軸周りの回転角(ロール角、ピッチ角、ヨー角)によって規定される。
 図10に戻り、ステップS1において基準ワークRWの姿勢がワーク基準姿勢に調整されると、ステップS2において基準ワークRWにおいて加工原点MO、基準ワークRWの形状の複数の特徴点である、複数の基準特徴点BP1~BPnのそれぞれの許容範囲を設定する。この設定について図15を利用して説明する。図15においては説明の便宜上、加工原点MOと基準特徴点BP1及びBPnのみを図示している。図15では、基準ワークRW及びワークWの理想的な配置位置及び配置姿勢を点線で示している。さらに、図15において点線で示された基準ワークRW及びワークWは設計値通りに製造誤差がなく製造されたものであるとする。加工装置10により実行される加工プログラムは、点線で占められた空間を占めるワークに対して削り代部分を削る命令を有している。加工プログラムで管理されているこのようなワークのモデルをワークモデルと呼ぶ。しかし、基準ワークRW及びワークWをこのような理想的な配置位置及び配置姿勢に設定するのは作業負担が大きく、且つ、現実には製造誤差も存在するため、位置の平行ずれについては許容されるように加工装置10は動作する。具体的には、基準ワークRW及びワークWのうち、加工されない一点もしくは基準としやすい点(例えば、最高点など)を加工原点MOとして、位置計測センサ9で加工原点MOのワーク座標系での座標を測定し、その座標と、ワークモデル上の加工原点MOとの座標との差を利用して、平行移動のみを考慮した座標変換を行い、座標変換された座標系において加工プログラムが実行され、加工作業が実行される。図15では、もとのワーク座標系がXYZ座標系で示されており、変換されたワーク座標系がX'Y'Z'座標系で示されている。
 したがって、例えば、基準特徴点BP1のワークモデル上の位置をBP1o(Xo1,Yo1,Zo1)とすると、理想的には、X'Y'Z'座標系において(Xo1,Yo1,Zo1)で表される位置BP1iに基準特徴点BP1が位置するはずであるが、基準ワークRW及びワークWの製造誤差やロール角、ピッチ角、ヨー角が微妙に0度からずれることによって、BP1の実際の位置BP1rはBP1iからずれることとなる。したがって、例えば、BP1rのX'Y'Z'座標系で表される座標値を(Xr1,Yr1,Zr1)とすれば、(Xr1-Xo1)の絶対値、(Yr1-Yo1)の絶対値、(Zr1-Zo1)の絶対値が削り代から定められる閾値よりも小さい値であれば、基準特徴点BP1において加工可能であるとする。別の言い方をすれば、(Xr1-Xo1)の絶対値、(Yr1-Yo1)の絶対値、(Zr1-Zo1)の絶対値が上述する閾値よりも小さい値であれば、基準特徴点BP1の位置が予め定められた許容範囲内に存在するという。他の基準特徴点BP2(図示せず)~BPnについても同様に、許容範囲を定めることができる。
 ただし、閾値は、基準特徴点BPnのように、加工原点MOから最も遠い面上の点であれば、例えば、削り代の半分より小さい値に設定されることが好ましい。しかし、基準特徴点BP1のように加工原点MOに対してその基準特徴点BP1よりも遠い面が存在するときには、ワークモデル上のMOからBP1oを通る半直線Lと、加工原点MOから最も遠い面との交点BF1oを求め、加工原点MOからBP1oまでの距離DP1と加工原点MOからBF1oまでの距離DF1に基づいて、削り代の半分にD1/DF1を乗じた値よりも小さい値に設定することが望ましい。これにより、加工原点MOから最も遠い面において加工不能となることを抑止することができる。閾値は、上述する条件を満たすように経験的に定めてもよい。なお、削り代の大きさが、上述するX方向(X'方向)、Y方向(Y'方向)Z方向(Z'方向)によって異なる場合、X方向(X'方向)、Y方向(Y'方向)Z方向(Z'方向)に別々に閾値を定めてもよい。
 ステップS2では、加工可能かどうか判定する上で十分な数の基準特徴点BP1~BPnを選択する。基準特徴点BP1~BPnは、接触式プローブによって位置が識別しやすいエッジやコーナーであることが望ましい。また、基準特徴点BP1~BPnは、加工原点MOからできるだけ離れた点であることが望ましい。加工原点MOと基準特徴点BP1~BPnとを決定すると、上述の方法で基準特徴点ごとに閾値を定めることにより、許容範囲を決定することができる。なお、姿勢がワーク基準姿勢となるように調整された、載置台2上の基準ワークRWについては、ロール角、ピッチ角、ヨー角が0度となるように調整されており、製造誤差程度の誤差しかないため、ワーク基準姿勢となるように姿勢が調整された基準ワークRWが載置された載置台2が加工位置MPに移動したとき、複数の基準特徴点BP1~BPnの全ての位置が許容範囲内に存在する。
 ステップS3において、基準画像IBを撮影する際に、載置台2を撮影するカメラ4の視点位置及び視線方向が、それぞれ、基準視点位置及び基準視線方向となる目標コンフィギュレーションにカメラ4が設定される。同様に、第1追加基準画像IBAを撮影する際に、載置台2を撮影する第1追加カメラ4Aの視点位置並びに視線方向が、それぞれ、基準視点位置とは異なる第1追加基準位置並びに基準視線方向と非平行な第1追加基準視線方向となる第1追加目標コンフィギュレーションに第1追加カメラ4Aが設定される。同様に、第2追加基準画像IBBを撮影する際に、載置台2を撮影する第2追加カメラ4Bの視点位置並びに視線方向が、それぞれ、基準視点位置及び第1追加基準位置とは異なる第2追加基準位置、並びに、基準視線方向及び第1追加基準視線方向と非平行な第2追加基準視線方向となる第2追加目標コンフィギュレーションに第2追加カメラ4Bが設定される。
 ステップS4において、目標コンフィギュレーションに設定されたカメラ4によって撮影された、姿勢が調整された基準ワークRWを表示する基準画像IBが取得される。具体的には、ワーク据え付け支援プログラム6pは、カメラ4の視点位置及び視線方向が、それぞれ、基準視点位置及び基準視線方向となる目標コンフィギュレーションに設定されたカメラ4によって撮影された、姿勢がワーク基準姿勢となるように調整された、載置台2上の基準ワークRWを表示する基準画像IBを取得する処理をプロセッサ5に実行させる。第1追加目標コンフィギュレーションに設定された第1追加カメラ4Aによって撮影された、姿勢が調整された基準ワークRWを表示する第1追加基準画像IBAが取得される。具体的には、ワーク据え付け支援プログラム6pは、第1追加カメラ4Aの視点位置並びに視線方向が、それぞれ、基準視点位置とは異なる第1追加基準位置並びに基準視線方向と非平行な第1追加基準視線方向となる第1追加目標コンフィギュレーションに設定された第1追加カメラ4Aによって撮影された、姿勢が調整された基準ワークRWを表示する第1追加基準画像IBAを取得する処理をプロセッサ5に実行させる。第2追加目標コンフィギュレーションに設定された第2追加カメラ4Bによって撮影された、姿勢が調整された基準ワークRWを表示する第2追加基準画像IBBが取得される。具体的には、ワーク据え付け支援プログラム6pは、第2追加カメラ4Bの視点位置並びに視線方向が、それぞれ、基準視点位置及び第1追加基準位置とは異なる第2追加基準位置、並びに、基準視線方向及び第1追加基準視線方向と非平行な第2追加基準視線方向となる第2追加目標コンフィギュレーションに設定された第2追加カメラ4Bによって撮影された、姿勢が調整された基準ワークRWを表示する第2追加基準画像IBBを取得する処理をプロセッサ5に実行させる。
 ステップS5において、基準画像IBの背景において静止物体が占める第3画像領域IR3の境界に複数のカメラ設定基準線CRL1~CRL2が設定される。複数のカメラ設定基準線CRL1~CRL2がそれぞれ位置する基準画像IB内の複数の位置が、複数のカメラ設定基準線位置としてメモリ6に記憶される。具体的には、ワーク据え付け支援プログラム6pは、基準画像IBの背景において静止物体が占める第3画像領域IR3の境界に複数のカメラ設定基準線CRL1~CRL2を設定し、複数のカメラ設定基準線CRL1~CRL2がそれぞれ位置する基準画像IB内の複数の位置を、複数のカメラ設定基準線位置としてメモリ6に記憶させる処理をプロセッサ5に実行させる。さらに具体的には、ワーク据え付け支援プログラム6pは、入力装置7からの入力を受け付け、ユーザが設定しようとするカメラ設定基準線CRL1~CRL2を基準画像IBに重畳させて表示し、表示されているカメラ設定基準線CRL1~CRL2の設定の入力を入力装置7から受け付けると、複数のカメラ設定基準線CRL1~CRL2がそれぞれ位置する基準画像IB内の複数の位置を、複数のカメラ設定基準線位置としてメモリ6に記憶させる処理をプロセッサ5に実行させる。あるいは、ワーク据え付け支援プログラム6pは、画像処理によって求められた第3画像領域IR3の境界のエッジを、カメラ設定基準線CRL1~CRL2として検出する処理をプロセッサ5に実行させる。そして、ワーク据え付け支援プログラム6pは、検出したエッジを基準画像IBに重畳させて表示し、入力装置7からエッジの選択の入力を受け付けると、そのエッジに係る複数のカメラ設定基準線CRL1~CRL2がそれぞれ位置する基準画像IB内の複数の位置を、複数のカメラ設定基準線位置としてメモリ6に記憶させる処理をプロセッサ5に実行させる。
 同様に、第1追加基準画像IBAの背景において静止物体が占める画像領域BG1の境界に複数の第1追加カメラ設定基準線CRL3~CRL4が設定される。複数の第1追加カメラ設定基準線CRL3~CRL4がそれぞれ位置する第1追加基準画像IBA内の複数の位置が、複数の第1追加カメラ設定基準線位置としてメモリ6に記憶される。第2追加基準画像IBBの背景において静止物体が占める画像領域BG2の境界に複数の第2追加カメラ設定基準線CRL5~CRL6が設定される。複数の第2追加カメラ設定基準線CRL5~CRL6がそれぞれ位置する第2追加基準画像IBB内の複数の位置が、複数の第2追加カメラ設定基準線位置としてメモリ6に記憶される。これらの場合においても、具体的には、複数のカメラ設定基準線CRL1~CRL2を設定し、メモリ6に記憶させるためのワーク据え付け支援プログラム6pの処理と同様の処理を、ワーク据え付け支援プログラム6pはプロセッサ5に実行させる。
 ステップS6において、基準画像IBにおいて基準ワークRWが占める第1画像領域IR1の境界に複数のワーク基準線RL1~RL3が設定される。複数のワーク基準線RL1~RL3がそれぞれ位置する基準画像IB内の複数の位置が、複数のワーク基準線位置としてメモリ6に記憶される。具体的には、ワーク据え付け支援プログラム6pは、基準画像IBにおいて基準ワークRWが占める第1画像領域IR1の境界に複数のワーク基準線RL1~RL3を設定し、複数のワーク基準線RL1~RL3がそれぞれ位置する基準画像IB内の複数の位置を、複数のワーク基準線位置としてメモリ6に記憶させる処理をプロセッサ5に実行させる。さらに具体的には、ワーク据え付け支援プログラム6pは、入力装置7からの入力を受け付け、ユーザが設定しようとするワーク基準線RL1~RL3を基準画像IBに重畳させて表示し、表示されているワーク基準線RL1~RL3の設定の入力を入力装置7から受け付けると、複数のワーク基準線RL1~RL3がそれぞれ位置する基準画像IB内の複数の位置を、複数のワーク基準線位置としてメモリ6に記憶させる処理をプロセッサ5に実行させる。あるいは、ワーク据え付け支援プログラム6pは、画像処理によって求められた第1画像領域IR1の境界のエッジを、ワーク基準線RL1~RL3として検出する処理をプロセッサ5に実行させる。そして、ワーク据え付け支援プログラム6pは、検出したエッジを基準画像IBに重畳させて表示し、入力装置7からエッジの選択の入力を受け付けると、そのエッジに係る複数のワーク基準線RL1~RL3がそれぞれ位置する基準画像IB内の複数の位置を、複数のワーク基準線位置としてメモリ6に記憶させる処理をプロセッサ5に実行させる。
 同様に、第1追加基準画像IBAにおいて基準ワークRWが占める第5画像領域IR5の境界に複数の第1追加ワーク基準線RL4~RL5が設定される。複数の第1追加ワーク基準線RL4~RL5がそれぞれ位置する第1追加基準画像IBA内の複数の位置が、複数の第1追加ワーク基準線位置としてメモリ6に記憶される。具体的には、ワーク据え付け支援プログラム6pは、第1追加基準画像IBAにおいて基準ワークRWが占める第5画像領域IR5の境界に複数の第1追加ワーク基準線RL4~RL5を設定し、複数の第1追加ワーク基準線RL4~RL5がそれぞれ位置する第1追加基準画像IBA内の複数の位置を、複数の第1追加ワーク基準線位置としてメモリ6に記憶させる処理をプロセッサ5に実行させる。第2追加基準画像IBBにおいて基準ワークRWが占める第6画像領域IR6の境界に複数の第2追加ワーク基準線RL6~RL7が設定される。複数の第2追加ワーク基準線RL6~RL7がそれぞれ位置する第2追加基準画像IBB内の複数の位置が、複数の第2追加ワーク基準線位置としてメモリ6に記憶される。さらに、第2追加基準画像IBBにおいて基準ワークRWが占める第6画像領域IR6の境界に複数の第2追加ワーク基準線RL6~RL7を設定し、複数の第2追加ワーク基準線RL6~RL7がそれぞれ位置する第2追加基準画像IBB内の複数の位置を、複数の第2追加ワーク基準線位置としてメモリ6に記憶させる処理をプロセッサ5に実行させる。これらの場合においても、具体的には、複数の複数のワーク基準線RL1~RL3を設定し、メモリ6に記憶させるためのワーク据え付け支援プログラム6pの処理と同様の処理を、ワーク据え付け支援プログラム6pはプロセッサ5に実行させる。
 ステップS7において、基準ワークRWの形状およびサイズと実質的に同じ形状およびサイズを有するワークWを、基準ワークRWを取り外した載置台2と、載置台2と入れ替えて配置された、載置台2と異なる追加載置台2Aのうちの一方の台の上に載置する。典型的な例としては、基準ワークRWを載置した載置台2を加工位置MPに移動させ、基準ワークRWが加工されている間に、ワークWを載置した追加載置台2Aを段取位置APに移動させる。あるいは、基準ワークRWを載置した載置台2を加工位置MPに移動させ、基準ワークRWを加工し、加工後の基準ワークRWを載置台2から取り外した後、ワークWを載置した載置台2を段取位置APに移動させる。
 ステップS8において、目標コンフィギュレーションに設定されたカメラ4によって撮影された、ワークWを表示する計測画像が取得される。具体的には、ワーク据え付け支援プログラム6pは、目標コンフィギュレーションに設定されたカメラ4によって撮影された、基準ワークRWを取り外した載置台2と、載置台2と入れ替えて配置された、載置台2と異なる追加載置台2Aのうちの一方の台の上に載置された、基準ワークRWの形状およびサイズと実質的に同じ形状およびサイズを有するワークWを表示する計測画像を取得する処理をプロセッサ5に実行させる。さらに、第1追加目標コンフィギュレーションに設定された第1追加カメラ4Aによって撮影された、ワークWを表示する第1追加計測画像が取得される。具体的には、ワーク据え付け支援プログラム6pは、第1追加目標コンフィギュレーションに設定された第1追加カメラ4Aによって撮影された、ワークWを表示する第1追加計測画像を取得する処理をプロセッサ5に実行させる。第2追加目標コンフィギュレーションに設定された第2追加カメラ4Bによって撮影された、ワークWを表示する第2追加計測画像が取得される。具体的には、ワーク据え付け支援プログラム6pは、第2追加目標コンフィギュレーションに設定された第2追加カメラ4Bによって撮影された、ワークWを表示する第2追加計測画像を取得する処理をプロセッサ5に実行させる。
 ステップS9において、ワーク据え付け支援プログラム6pは、複数のワーク基準線RL1~RL3を計測画像に重畳した計測合成画像ISを、複数のワーク基準線L1~RL3が計測合成画像ISにおいて複数のワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成する処理をプロセッサ5に実行させる。さらに、ワーク据え付け支援プログラム6pは、複数のカメラ設定基準線CRL1~CRL2を計測画像に重畳した計測合成画像ISを、複数のカメラ設定基準線CRL1~CRL2が計測合成画像ISにおいて複数のカメラ設定基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成する処理をプロセッサ5にさらに実行させる。ワーク据え付け支援プログラム6pは、計測合成画像ISをディスプレイ8に表示させる処理をプロセッサ5に実行させる。これによって、プロセッサ5が複数のワーク基準線RL1~RL3を計測画像に重畳した計測合成画像ISを、複数のワーク基準線RL1~RL3が計測合成画像ISにおいて複数のワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成する。さらに、プロセッサ5は、複数のカメラ設定基準線CRL1~CRL2を計測画像に重畳した計測合成画像ISを、複数のカメラ設定基準線CRL1~CRL2が計測合成画像ISにおいて複数のカメラ設定基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成する。ディスプレイ8は、計測合成画像ISを表示する。
 同様に、ワーク据え付け支援プログラム6pは、複数の第1追加ワーク基準線RL4~RL5を第1追加計測画像に重畳した第1追加計測合成画像ISAを、複数の第1追加ワーク基準線RL4~RL5が第1追加計測合成画像ISAにおいて複数の第1追加ワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成する処理をプロセッサ5に実行させる。さらに、ワーク据え付け支援プログラム6pは、複数の第1追加カメラ設定基準線CRL3~CRL4を第1追加計測画像に重畳した第1追加計測合成画像ISAを、複数の第1追加カメラ設定基準線CRL3~CRL4が第1追加計測合成画像ISAにおいて複数の第1追加カメラ設定基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成する処理をプロセッサ5にさらに実行させる。ワーク据え付け支援プログラム6pは、第1追加計測合成画像ISAをディスプレイ8に表示させる処理をプロセッサ5に実行させる。これによって、プロセッサ5は、複数の第1追加ワーク基準線RL4~RL5を第1追加計測画像に重畳した第1追加計測合成画像ISAを、複数の第1追加ワーク基準線RL4~RL5が第1追加計測合成画像ISAにおいて複数の第1追加ワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成する。さらに、プロセッサ5は、複数の第1追加カメラ設定基準線CRL3~CRL4を第1追加計測画像に重畳した第1追加計測合成画像ISAを、複数の第1追加カメラ設定基準線CRL3~CRL4が第1追加計測合成画像ISAにおいて複数の第1追加カメラ設定基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成する。ディスプレイ8は、第1追加計測合成画像ISAを表示する。
 さらに、ワーク据え付け支援プログラム6pは、複数の第2追加ワーク基準線RL6~RL7を第2追加計測画像に重畳した第2追加計測合成画像ISBを、複数の第2追加ワーク基準線RL6~RL7が第2追加計測合成画像ISBにおいて複数の第2追加ワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成する処理をプロセッサ5に実行させる。ワーク据え付け支援プログラム6pは、複数の第2追加カメラ設定基準線CRL5~CRL6を第2追加計測画像に重畳した第2追加計測合成画像ISBを、複数の第2追加カメラ設定基準線CRL5~CRL6が第2追加計測合成画像ISBにおいて複数の第2追加カメラ設定基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成する処理をプロセッサ5にさらに実行させる。ワーク据え付け支援プログラム6pは、第2追加計測合成画像ISBをディスプレイ8に表示させる処理をプロセッサ5に実行させる。これによって、プロセッサ5が複数の第2追加ワーク基準線RL6~RL7を第2追加計測画像に重畳した第2追加計測合成画像ISBを、複数の第2追加ワーク基準線RL6~RL7が第2追加計測合成画像ISBにおいて複数の第2追加ワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成する。プロセッサ5は、複数の第2追加カメラ設定基準線CRL5~CRL6を第2追加計測画像に重畳した第2追加計測合成画像ISBを、複数の第2追加カメラ設定基準線CRL5~CRL6が第2追加計測合成画像ISBにおいて複数の第2追加カメラ設定基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成する。ディスプレイ8は、第2追加計測合成画像ISBを表示する。
 ステップS10において、ユーザは、ディスプレイ8に表示された計測合成画像ISにおいて静止物体が占める第4画像領域IS4の境界が複数のカメラ設定基準線CRL1~CRL2と重なっているか否かに基づいて、目標コンフィギュレーションにカメラ4が設定されているか確認する。ユーザは、ディスプレイ8に表示されている第1追加計測合成画像ISAにおいて静止物体が占める画像領域BG3の境界が複数の第1追加カメラ設定基準線CRL3~CRL4と重なっているか否かに基づいて、第1追加目標コンフィギュレーションに第1追加カメラ4Aが設定されているか確認する。ユーザは、ディスプレイ8に表示されている第2追加計測合成画像ISBにおいて静止物体が占める画像領域BG4の境界が複数の第2追加カメラ設定基準線CRL5~CRL6と重なっているか否かに基づいて、第2追加目標コンフィギュレーションに第2追加カメラ4Bが設定されているか確認する。目標コンフィギュレーションにカメラ4が設定されていない場合(ステップS10でNo)、ステップS11によって、ユーザは、計測合成画像ISにおいて静止物体が占める第4画像領域IS4の境界が複数のカメラ設定基準線CRL1~CRL2と重なるように、カメラ4の視点位置及び視線方向を調整する。ステップS8~S11の処理を繰り返すことによって、目標コンフィギュレーションにカメラ4が設定される。同様に、第1追加目標コンフィギュレーションに第1追加カメラ4Aが設定されていない場合(ステップS10でNo)、ステップS11において、ユーザは、第1追加計測合成画像ISAにおいて静止物体が占める画像領域BG3の境界が複数の第1追加カメラ設定基準線CRL3~CRL4と重なるように、第1追加カメラ4Aの視点位置及び視線方向を調整する。ステップS8~S11の処理を繰り返すことによって、第1追加目標コンフィギュレーションに第1追加カメラ4Aが設定される。第2追加目標コンフィギュレーションに第2追加カメラ4Bが設定されていない場合(ステップS10でNo)、ステップS11において、ユーザは、第2追加計測合成画像ISBにおいて静止物体が占める画像領域BG4の境界が複数の第2追加カメラ設定基準線CRL5~CRL6と重なるように、第2追加カメラ4Bの視点位置及び視線方向を調整する。ステップS8~S11の処理を繰り返すことによって、第2追加目標コンフィギュレーションに第2追加カメラ4Bが設定される。
 目標コンフィギュレーションにカメラ4が設定され、第1追加目標コンフィギュレーションに第1追加カメラ4Aが設定され、第2追加目標コンフィギュレーションに第2追加カメラ4Bが設定されているとき(ステップS10でYes)、ステップS12において、ユーザは、計測合成画像ISにおいてワークWが占める第2画像領域IR2の境界と、複数のワーク基準線RL1~RL3とが、実質的に平行か、実質的に一致するかを確認する。第2画像領域IR2の境界と、複数のワーク基準線RL1~RL3とが、一致しておらず、平行でもない場合(ステップS12でNo)、ステップS13において、ユーザは、計測合成画像ISにおいてワークWが占める第2画像領域IR2の境界と、複数のワーク基準線RL1~RL3とが、実質的に平行になる、または、実質的に一致するように、上述する一方の台の上においてワークWの姿勢を調整する。ステップS8~S10とステップS12とS13の処理を繰り返すことによって、計測合成画像ISにおいてワークWが占める第2画像領域IR2の境界と、複数のワーク基準線RL1~RL3とが、実質的に平行になるか、実質的に一致する。同様に、ステップS12において、ユーザは、第1追加計測合成画像ISAにおいてワークWが占める第7画像領域IR7の境界と、複数の第1追加ワーク基準線RL4~RL5とが実質的に平行か、実質的に一致するかを確認する。第7画像領域IR7の境界と、複数の第1追加ワーク基準線RL4~RL5とが、一致しておらず、平行でもない場合(ステップS12でNo)、ステップS13において、ユーザは、第1追加計測合成画像ISAにおいてワークWが占める第7画像領域IR7の境界と、複数の第1追加ワーク基準線RL4~RL5とが実質的に平行になる、または、実質的に一致するように、上述する一方の台上においてワークWの姿勢を調整する。ステップS8~S10とステップS12とS13の処理を繰り返すことによって、第1追加計測合成画像ISAにおいてワークWが占める第7画像領域IR7の境界と、複数の第1追加ワーク基準線RL4~RL5とが、実質的に平行になるか、実質的に一致する。さらに、ステップS12において、ユーザは、第2追加計測合成画像ISBにおいてワークWが占める第8画像領域IR8の境界と、複数の第2追加ワーク基準線RL6~RL7とが実質的に平行か、実質的に一致するかを確認する。第8画像領域IR8の境界と、複数の第2追加ワーク基準線RL6~RL7とが、一致しておらず、平行でもない場合(ステップS12でNo)、ステップS13において、ユーザは、第2追加計測合成画像ISBにおいてワークWが占める第8画像領域IR8の境界と、複数の第2追加ワーク基準線RL6~RL7とが実質的に平行になる、または、実質的に一致するように、上述する一方の台上においてワークWの姿勢を調整する。ステップS8~S10とステップS12とS13の処理を繰り返すことによって、第2追加計測合成画像ISBにおいてワークWが占める第8画像領域IR8の境界と、複数の第2追加ワーク基準線RL6~RL7とが、実質的に平行になるか、実質的に一致する。
 ワークWの姿勢の調整が終了すると(ステップS12でYes)、ステップS14において、姿勢が調整されたワークWが載置された一方の台が加工位置MPに移動する。ステップS15において、加工装置10の位置計測センサ9は、複数の基準特徴点BP1~BPnにそれぞれ対応する、ワークWの実質的に同じ形状の複数の特徴点である、複数の加工基準点CP1~CPnの位置を測定する。図16は、加工基準点CP1~CPnを示したものであるが、図15及び図16に示すように、複数の加工基準点CP1~CPnは、複数の基準特徴点BP1~BPnにそれぞれ対応する。加工基準点CP1~CPnは、接触式プローブによって位置が識別しやすいエッジやコーナーであり、位置の大きなズレがないことを考慮すれば、位置計測センサ9は、加工基準点CP1~CPnの位置を自動で探索することが可能である。そして、数値制御装置100(電子回路110)は、複数の加工基準点CP1~CPnの位置が、それぞれ、許容範囲内に存在するかを判定する。この判定方法は、基準特徴点BP1~BPnが許容範囲内に存在するかを判定するのと同じ判定方法である。
 複数の加工基準点CP1~CPnの全ての位置が許容範囲内に存在すると電子回路110が判定したとき(ステップS15でYes)、ステップS17において、加工装置10は、加工許可とする判定結果を出力してワークWを加工する。複数の加工基準点CP1~CPnのうちの少なくとも1つの位置が許容範囲内に存在しないと判定したとき(ステップS15でNo)、ステップS16において、加工装置10は、加工不許可とする判定結果を出力し、加工位置MPに移動したワークWが載置された一方の台は段取位置APに移動する、もしくは段取位置に戻らずに、加工位置で再調整を行う。
<第1実施形態の変形例>
 上述の方法において、計測合成画像ISにおいてワークWが占める第2画像領域IR2の境界と、複数のワーク基準線RL1~RL3とが、実質的に平行になる、または、実質的に一致するように、ワークWの姿勢を調整するのは、ユーザが計測合成画像ISを視認しながら行われるため、正確に行うことは難しい。特に、第2画像領域IR2の境界と、複数のワーク基準線RL1~RL3とが実質的に平行か否かを正確に判定することは容易ではない。したがって、この判定を機械学習によって行ってもよい。
 図17は、第1実施形態の変形例に係るワーク据え付け支援システム1aのブロック図である。本変形例では、ワーク据え付け支援プログラム6pは機械学習プログラム6mを含み、メモリ6は、機械学習プログラム6mに利用される計測画像データDA1、画像処理データDA2、基準線データDA3、カメラパラメータDA4、学習済パラメータDA5をさらに記憶する。また、画像処理装置200aと加工装置10aとは、それぞれ、互いに通信可能な第2通信インタフェース204と通信インタフェース112とを有する。第2通信インタフェース204及び通信インタフェース112は、イーサネット(登録商標)インタフェースや無線通信インタフェースなど、互いに通信可能なインタフェースであれば、どのようなインタフェースであってもよい。加工装置10aは、複数の加工基準点CP1~CPnの全ての位置が許容範囲内に存在するか否かを判定した判定結果(総合判定結果DA6)、複数の加工基準点CP1~CPnがそれぞれ許容範囲内に存在するか否かを判定した結果(加工基準点別判定結果DA7)、及び、複数の加工基準点CP1~CPnとそれぞれの許容範囲の中心値とのずれ量(加工基準点別判定結果DA7)を、第2通信インタフェース204と通信インタフェース112とを介して画像処理装置200aに送信してもよい。メモリ6は、総合判定結果DA6、加工基準点別判定結果DA7、及び、加工基準点別ずれ量DA8をさらに記憶してもよい。機械学習プログラム6m、計測画像データDA1、画像処理データDA2、基準線データDA3、カメラパラメータDA4、学習済パラメータDA5、総合判定結果DA6、加工基準点別判定結果DA7、及び、加工基準点別ずれ量DA8は、画像処理装置200aではなく、クラウドサービスなどの外部サーバに記憶され、機械学習プログラム6mが外部サーバで実行され、実行結果のみを画像処理装置200aに返信してもよい。
 計測画像データDA1は、カメラ4によって撮影された計測画像、第1追加カメラ4Aによって撮影された第1追加計測画像、及び、第2追加カメラ4Bによって撮影された第2追加計測画像の少なくとも1つのデータである。画像処理データDA2は、計測画像、第1追加計測画像、及び、第2追加計測画像のそれぞれを、エッジ検出処理をして得られた2値画像と背景差分等によってワークWを検出した2値画像との少なくとも1つのデータである。基準線データDA3は、複数のワーク基準線RL1~RL3のワーク基準線位置、複数の第1追加ワーク基準線RL4~RL5の第1追加ワーク基準線位置、及び、複数の第2追加ワーク基準線RL6~RL7の第2追加ワーク基準線位置の少なくとも1つのデータである。カメラパラメータDA4は、計測画像、第1追加計測画像、及び、第2追加計測画像画像のそれぞれの画像中心位置及び歪曲収差パラメータと、カメラ4、第1追加カメラ4A、及び、第2追加カメラ4Bのそれぞれの焦点距離とを含む。総合判定結果DA6は、上述するステップS15の判定結果である。加工基準点別判定結果DA7は複数の加工基準点CP1~CPnのそれぞれにおける、位置計測センサ9によって測定された位置とワークモデルから求められる複数の加工基準点CP1~CPnの理想的位置との差の絶対値が閾値以下かどうか判定された結果である。加工基準点別ずれ量DA8は、複数の加工基準点CP1~CPnのそれぞれにおける、位置計測センサ9によって測定された位置とワークモデルから求められる複数の加工基準点CP1~CPnの理想的位置との差の値である。
 機械学習プログラム6mは、例えば、ニューラルネットワーク、より好ましくは、深層学習に使用される三層以上のニューラルネットワークを学習モデルとして用い、計測画像データDA1と、基準線データDA3とを入力とし、総合判定結果DA6、加工基準点別判定結果DA7、及び、加工基準点別ずれ量DA8のうちの少なくとも1つのデータを出力とする教師データを用いて機械学習モデルを学習する処理をプロセッサ5に実行させる。画像処理データDA2とカメラパラメータDA4との少なくとも1つがさらに入力され、機械学習モデルが学習されてもよい。学習済パラメータDA5は、このように学習されたニューラルネットワークの各層のニューロン間の重みパラメータなどのデータが格納される。したがって、ワーク据え付け支援プログラム6pは、計測画像と複数のワーク基準線RL1~RL3とを入力とし、複数の加工基準点CP1~CPnの全ての位置が許容範囲内に存在するか否かを判定した判定結果、複数の加工基準点CP1~CPnがそれぞれ許容範囲内に存在するか否かを判定した結果、及び、複数の加工基準点CP1~CPnとそれぞれの許容範囲の中心値(ワークモデルから求められる複数の加工基準点CP1~CPnの理想的位置とのずれ量)の少なくとも1つを出力とする教師データを用いて学習した機械学習モデルを用いる。つまり、プロセッサ5は、計測画像と複数のワーク基準線RL1~RL3とを入力とし、判定結果、複数の加工基準点CP1~CPnがそれぞれ許容範囲内に存在するか否かを判定した結果、及び、複数の加工基準点CP1~CPnとそれぞれの許容範囲の中心値とのずれ量の少なくとも1つを出力とする教師データを用いて学習した機械学習モデルを用いるように構成される。ワークの据え付け方法は、計測画像と複数のワーク基準線RL1~RL3とを入力とし、判定結果、複数の加工基準点CP1~CPnがそれぞれ許容範囲内に存在するか否かを判定した結果、及び、複数の加工基準点CP1~CPnとそれぞれの許容範囲の中心値とのずれ量の少なくとも1つを出力とする教師データを用いて学習した機械学習モデルを用いる。計測画像から検出されるエッジ、複数のワーク基準線位置の画像中心からのずれ量、カメラのレンズの焦点距離、カメラの歪曲収差パラメータの少なくとも1つをさらに入力とする教師データを用いて機械学習モデルが学習される。
 機械学習プログラム6mは、このように学習された学習済みの機械学習モデルを用い、基準ワークRWの形状およびサイズと実質的に同じ形状およびサイズを有する第1追加ワークAWを撮影した、カメラ4の画像(第3追加計測画像)、第1追加カメラ4Aの画像(第5追加計測画像)、第2追加カメラ4Bの画像(第6追加計測画像)の少なくとも1つと、基準線データDA3とを入力し、第1追加ワークAWが載置された一方の台が加工位置MPに移動されたときに、複数の基準特徴点BP1~BPnにそれぞれ対応する、第1追加ワークAWの実質的に同じ形状の複数の特徴点である、複数の第1追加加工基準点の全ての位置が許容範囲内に存在するか否かを判定する処理をプロセッサ5にさらに実行させる。機械学習プログラム6mには、第3追加計測画像、第5追加計測画像、第6追加計測画像からエッジ検出処理がされた2値画像、背景差分により第1追加ワークAWが検出された2値画像、及び、カメラパラメータDA4のうちの少なくとも1つががさらに入力されてもよい。図18では、第3追加計測画像の判定結果を表示した合成画像ISCの一例である。この合成画像ISCでは、第3追加計測画像に複数のワーク基準線RL1~RL3と複数のカメラ設定基準線CRL1~CRL2と判定結果表示ウィンドウDWを重畳して表示している。したがって、ワーク据え付け支援プログラム6pは、目標コンフィギュレーションに設定されたカメラ4によって撮影された、基準ワークRWの形状およびサイズと実質的に同じ形状およびサイズを有する第1追加ワークAWを表示する第3追加計測画像から、第1追加ワークAWが載置された一方の台が加工位置MPに移動されたときに、複数の基準特徴点BP1~BPnにそれぞれ対応する、第1追加ワークAWの実質的に同じ形状の複数の特徴点である、複数の第1追加加工基準点の全ての位置が許容範囲内に存在するか否かを判定する処理をプロセッサ5にさらに実行させる。つまり、プロセッサ5は、目標コンフィギュレーションに設定されたカメラ4によって撮影された、基準ワークRWの形状およびサイズと実質的に同じ形状およびサイズを有する第1追加ワークAWを表示する第3追加計測画像から、第1追加ワークAWが載置された一方の台が加工位置MPに移動されたときに、複数の基準特徴点BP1~BPnにそれぞれ対応する、第1追加ワークAWの実質的に同じ形状の複数の特徴点である、複数の第1追加加工基準点の全ての位置が許容範囲内に存在するか否かを判定するように構成される。ワークの据え付け方法は、目標コンフィギュレーションに設定されたカメラ4によって撮影された、基準ワークRWの形状およびサイズと実質的に同じ形状およびサイズを有する第1追加ワークAWを表示する第3追加計測画像から、第1追加ワークAWが載置された一方の台が加工位置MPに移動されたときに、複数の基準特徴点BP1~BPnにそれぞれ対応する、第1追加ワークAWの実質的に同じ形状の複数の特徴点である、複数の第1追加加工基準点の全ての位置が許容範囲内に存在するか否かを判定する。この場合、上述のステップS12において、機械学習プログラム6mが実行されるとよい。
 また、ワークWは、載置台2及び追加載置台2Aの両方に載置されてもよい。このため、上述するワークの据え付け方法は、基準ワークRWを取り外した載置台2と、載置台2と入れ替えて配置された追加載置台2Aのうちの他方の台に基準ワークRWの形状およびサイズと実質的に同じ形状およびサイズを有する第2追加ワークBWを載置し、目標コンフィギュレーションに設定されたカメラ4によって撮影された、第2追加ワークBWを表示する第4追加計測画像を取得し、プロセッサ5によって、複数のワーク基準線を第4追加計測画像に重畳した第4追加計測合成画像ISDを、複数のワーク基準線RL1~RL3が第4追加計測合成画像ISDにおいて複数のワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成するようにしてもよい。そして、ユーザは、第4追加計測合成画像ISDにおいて第2追加ワークBWが占める第9画像領域IR9の境界と、複数のワーク基準線RL1~RL3とが、実質的に平行になる、または、実質的に一致するように、他方の台上において第2追加ワークの姿勢を調整するようにしてもよい。図19は、第4追加計測合成画像ISDの一例である。
 カメラ4、第1追加カメラ4A、第2追加カメラ4Bの位置姿勢が変化することがない環境においては、第1実施形態において、複数のカメラ設定基準線CRL1~CRL2の設定、及び、複数のカメラ設定基準線CRL1~CRL2の計測合成画像ISでの表示が省略されてもよい。同様に、複数の第1追加カメラ設定基準線CRL3~CRL4の設定、及び、複数の第1追加カメラ設定基準線CRL3~CRL4の第1追加計測合成画像ISAでの表示が省略されてもよい。複数の第2追加カメラ設定基準線CRL5~CRL6の設定、及び、複数の第2追加カメラ設定基準線CRL5~CRL6の第2追加計測合成画像ISBでの表示が省略されてもよい。この場合、図10において、ステップS3、S5、S10、S11が省略されてもよい。
 上述のワーク据え付け支援プログラム6p、機械学習プログラム6mは、画像処理装置200、200aに内蔵されたメモリ6にとどまらず、フロッピーディスク、光ディスク、CDROMおよび磁気ディスク等のディスク、SDカード、USBメモリ、外付けハードディスクなど画像処理装置200、200aから取り外し可能で、画像処理装置200、200aに読み取り可能な記憶媒体に記録されたものであってもよい。
<第1実施形態の作用及び効果>
 第1実施形態に係るワーク据え付け支援システム1、1a及びワーク据え付け支援システム1、1aを利用したワーク据え付け方法は、姿勢がワーク基準姿勢となるように調整された基準ワークRWの複数の基準線位置を参照して、ワークWの姿勢を調整することができる。このため、工作物の姿勢を効率的に調整できる。
<第2実施形態>
 本ワーク据え付け方法は、上述の加工装置10に限らず、他の加工装置においても適用可能である。図20は、第2実施形態に係るワーク据え付け支援システム11の概略構成を示す図である。第2実施形態では、加工装置10mは、フライス加工と旋削加工をともに行える加工装置である。載置台2mは、係止爪21~24によって基準ワークRW及びワークWを固定する。載置台2mは、旋回中心軸Axを有し、旋回中心軸Axの周りに回動可能である。図20では、加工位置MPと段取位置APとが同一である例を示しているが、第1実施形態と同様、載置台2mは、基準ワークRW及びワークWが加工される加工位置MP、及び、加工位置MPから離間した段取位置APに移動可能であってもよい。係止爪21~24は旋回中心軸Axの周りに90度ずつ回転した位置に順に時計回りに配置されている。つまり、旋回中心軸Axの軸方向から見て、旋回中心軸Axから係止爪21に向かう方向と、旋回中心軸Axから係止爪22に向かう方向とのなす角は90度である。旋回中心軸Axの軸方向から見て、旋回中心軸Axから係止爪22に向かう方向と、旋回中心軸Axから係止爪23に向かう方向とのなす角は90度である。旋回中心軸Axの軸方向から見て、旋回中心軸Axから係止爪23に向かう方向と、旋回中心軸Axから係止爪24に向かう方向とのなす角は90度である。旋回中心軸Axの軸方向から見て、旋回中心軸Axから係止爪24に向かう方向と、旋回中心軸Axから係止爪21に向かう方向とのなす角は90度である。カメラ4の光軸は、旋回中心軸Axに実質的に平行に向くように配置される。ワーク据え付け支援システム11において、ワーク据え付け支援システム1の構成から第1追加カメラ4A、及び、第2追加カメラ4Bが省略される。ただし、第1実施形態と同様、加工装置10mは、載置台2mと同一の形状及び機能を有する追加載置台2mAを備えてもよい。また、図20において図示されていないが、加工装置10mは、第1実施形態に示された位置計測センサ9を有し、画像処理装置200は、機械学習プログラム6mの機能を備えてもよい。第2実施形態の説明においては、第1実施形態と同じ構成、処理については同一の符号を使用して詳細な説明を省略する。また、本実施形態にて説明していない構成は、第1実施形態の構成と実質的に同一である。
 図21及び図22は、本実施形態の基準ワークRW及びワークWの姿勢を説明するための図である。図21に示すように、本実施形態の基準ワークRW及びワークWは、中心軸線Cxを有し、中心軸線Cxに対して概ね線対称な形状を有している。本実施形態の姿勢調整においては、図21に示すように基準ワークRW及びワークWの中心軸線Cxを旋回中心軸Axに一致させることと、その後、図22に示すように、基準ワークRW及びワークWの位相(旋回中心軸Axの周りの回転角)を所定の位相に合わせることの2つを要する。したがって、基準ワークRW及びワークWの姿勢は、載置台2の旋回中心軸Axによって規定される。
 図23は、第2実施形態に係るワークWの据え付け方法を示すフローチャートである。当該方法では、ステップS1aにおいて、ユーザが、基準ワークRWを載置台2に載置し、基準ワークRWの姿勢がワーク基準姿勢となるように、基準ワークRWの姿勢を載置台2上で調整する。図24は、ステップS1aの具体的な処理のフローチャートである。まず、ステップS121において、図25に示されるように、芯だし棒(位置計測センサ9の一例)に長尺棒30が取り付けられる。長尺棒30の中心軸は、旋回中心軸Axに対して平行になるように調整されている。長尺棒30の半径は、長尺棒30の中心軸の軸方向に対して一様である。つぎに、ステップS122において、載置台2が角度0度に回転される。この角度0度とは、旋回中心軸Axの軸方向から見て、長尺棒30が旋回中心軸Axと係止爪21との間に位置する回転角を規定する。ステップS123において、角度0度において、長尺棒30と第1測定面WP1の隙間が目測で計測される。ここで、第1測定面WP1は、基準ワークRWの表面のうち、基準ワークRWを図22のように姿勢調整したときに旋回中心軸Axに対して平行となる面である。したがって、長尺棒30と第1測定面WP1の隙間の距離は、長尺棒30の中心軸の軸方向に対して一様となるように、基準ワークRWの姿勢が調整される。
 つぎに、ステップS124において、載置台2が角度180度に回転される。このとき、図26に示されるように、長尺棒30が旋回中心軸Axと係止爪23との間に位置するように、基準ワークRW及び載置台2は旋回中心軸Axの周りに回転される。ただし、長尺棒30は、図25に示される位置・姿勢を保っている。このとき、旋回中心軸Axに対して第1測定面WP1と反対の面である第2測定面WP2が長尺棒30と面している。ステップS125において、角度180度において、長尺棒30と第2測定面WP2の隙間が目測で計測される。このとき、第2測定面WP2は、旋回中心軸Axに対して実質的に平行となっている。ステップS126において、角度0度と180度の隙間の距離が等しいか否かが判定される。角度0度と180度の隙間の距離が等しくない場合(ステップS126でNo)、図21のように芯ずれを起こしているため、ステップS127において、旋回中心軸Axに対して垂直な方向に基準ワークRWをスライドさせるように係止爪21及び23を調整する。その後、角度0度と180度の隙間の距離が等しくなるまで(ステップS126でYes)、ステップS127、ステップS122~S126の処理を繰り返す。
 角度0度と180度の隙間の距離が等しくなると(ステップS126でYes)、ステップS128において、載置台2が角度90度に回転される。このとき、図27に示されるように、長尺棒30が旋回中心軸Axと係止爪22との間に位置するように、基準ワークRW及び載置台2は旋回中心軸Axの周りに回転される。ただし、長尺棒30は、図25に示される位置・姿勢を保っている。ステップS129において、角度90度において、長尺棒30と第3測定面WP3の隙間が目測で計測される。第3測定面は、基本的に第1測定面と同様に、基準ワークRWの表面のうち、基準ワークRWを図22のように姿勢調整したときに旋回中心軸Axに対して平行となる面である。したがって、長尺棒30と第3測定面WP3の隙間の距離は、長尺棒30の中心軸の軸方向に対して一様となるように、基準ワークRWの姿勢が調整される。
 つぎに、ステップS130において、載置台2が角度270度に回転される。このとき、図28に示されるように、長尺棒30が旋回中心軸Axと係止爪24との間に位置するように、基準ワークRW及び載置台2は旋回中心軸Axの周りに回転される。ただし、長尺棒30は、図25に示される位置・姿勢を保っている。このとき、旋回中心軸Axに対して第3測定面WP3と反対の面である第4測定面WP4が長尺棒30と面している。ステップS131において、角度270度において、長尺棒30と第4測定面WP4の隙間が目測で計測される。このとき、第4測定面WP4は、旋回中心軸Axに対して実質的に平行となっている。ステップS132において、角度90度と270度の隙間の距離が等しいか否かが判定される。角度90度と270度の隙間の距離が等しくない場合(ステップS132でNo)、図21のように芯ずれを起こしているため、ステップS133において、旋回中心軸Axに対して垂直な方向に基準ワークRWをスライドさせるように係止爪22及び24を操作する。その後、角度90度と270度の隙間の距離が等しくなるまで(ステップS132でYes)、ステップS133、ステップS128~S132の処理を繰り返す。
 図23に戻り、ステップS2~S5まで第1実施形態と同様の処理が行われ、ステップS6aにおいてワーク基準線の設定が行われる。図29は、第2実施形態における基準画像IBの一例である。ステップS6aにおいて、ユーザは、ディスプレイ8に表示された、図29に示されるような基準画像IBを見ながら、入力装置7を介して、基準画像IBにおいて基準ワークRWが占める第1画像領域IR1の境界に複数のワーク基準線RL1~RL4を設定する。なお、この設定においては、位相ずれによる影響をうけないワーク基準線RL1とRL4と、位相ずれによる影響をうけるワーク基準線RL2とRL3とをともに設定することが望ましい。その後、ステップS7~S11まで第1実施形態と同様の処理が行われ、ステップS12a、S13aにおいてワークWの姿勢の調整が行われる。
 図30は、第2実施形態に係る計測合成画像ISの一例を示す。図30では、計測合成画像ISにおいてワークWが占める第2画像領域IR2は水玉模様で示されている。また、計測合成画像ISにおいて第3画像領域IR3に対応する静止物体が占める第4画像領域IR4の境界はハッチングで示されている。第1実施形態では、計測合成画像ISにおいてワークWが占める第2画像領域IR2の境界と、複数のワーク基準線RL1~RL3とが実質的に平行になる場合が許容されているが、第2実施形態では、ユーザは、計測合成画像ISにおいてワークWが占める第2画像領域IR2の境界と、複数のワーク基準線RL1~RL4とが実質的に一致するように、載置台2上においてワークWの姿勢を調整する。図30では、図21に示される芯ずれと、図22に示される位相ずれがともに生じているため、まず位相ずれによる影響をうけないワーク基準線RL1とRL4と、それに対応する第2画像領域IR2の境界線BL1とBL2とが実質的に一致するように、係止爪21~24を操作することによってワークWの姿勢を調整する。このような調整がされた計測合成画像ISの表示例を図31に示す。つぎに、残りのワーク基準線RL2とRL3とそれに対応する第2画像領域IR2の境界線と、BL1とBL2とが実質的に一致するように、旋回中心軸Ax周りにワークW及び載置台2を回転させる。図32は、このように姿勢が調整されたワークWを表示する計測合成画像ISの例を示す。なお、図29~31は、複数のワーク基準線RL1~RL4がすべて円の場合を示しているが、直線のワーク基準線を含んでいてもよい。
 図23に戻り、ステップS12aでは、計測合成画像ISにおいて全ての複数のワーク基準線RL1~RL4が、ワークWが占める第2画像領域IR2の境界と実質的に一致するか否かが判定される。全ての複数のワーク基準線RL1~RL4が第2画像領域IR2の境界と実質的に一致しない場合(ステップS12aでNo)、ステップS13aにおいて、係止爪21~24を操作するか、旋回中心軸Ax周りにワークW及び載置台2を回転させる。その後、全ての複数のワーク基準線RL1~RL4が第2画像領域IR2の境界と実質的に一致するまで、ステップS13a、ステップS8~S13aまでの処理が繰り返される。全ての複数のワーク基準線RL1~RL4が第2画像領域IR2の境界と実質的に一致する場合(ステップS12aでYes)、ステップS15~S17の処理が実行される。
<第2実施形態の作用及び効果>
 第2実施形態に係るワーク据え付け支援システム11及びワーク据え付け支援システム11を利用したワーク据え付け方法は、4つ爪の載置台へのワークWの据え付けのような手間がかかるワークWの据え付けに対し、合成画像を利用して据え付け時間を短縮することができる。
 本願においては、「備える」およびその派生語は、構成要素の存在を説明する非制限用語であり、記載されていない他の構成要素の存在を排除しない。これは、「有する」、「含む」およびそれらの派生語にも適用される。
 「~部材」、「~部」、「~要素」、「~体」、および「~構造」という文言は、単一の部分や複数の部分といった複数の意味を有し得る。
 「第1」や「第2」などの序数は、単に構成を識別するための用語であって、他の意味(例えば特定の順序など)は有していない。例えば、「第1要素」があるからといって「第2要素」が存在することを暗に意味するわけではなく、また「第2要素」があるからといって「第1要素」が存在することを暗に意味するわけではない。
 程度を表す「実質的に」、「約」、および「およそ」などの文言は、実施形態に特段の説明がない限りにおいて、最終結果が大きく変わらないような合理的なずれ量を意味し得る。本願に記載される全ての数値は、「実質的に」、「約」、および「およそ」などの文言を含むように解釈され得る。
 本願において「A及びBの少なくとも一方」という文言は、Aだけ、Bだけ、及びAとBの両方を含むように解釈されるべきである。
 上記の開示内容から考えて、本発明の種々の変更や修正が可能であることは明らかである。したがって、本発明の趣旨を逸脱しない範囲で、本願の具体的な開示内容とは別の方法で本発明が実施されてもよい。

Claims (15)

  1.  基準ワークを載置台に載置し、
     前記基準ワークの姿勢がワーク基準姿勢となるように、前記基準ワークの姿勢を前記載置台上で調整し、
     前記載置台を撮影するカメラの視点位置及び視線方向が、それぞれ、基準視点位置及び基準視線方向となる目標コンフィギュレーションに前記カメラを設定し、
     前記目標コンフィギュレーションに設定された前記カメラによって撮影された、姿勢が調整された前記基準ワークを表示する基準画像を取得し、
     前記基準画像において前記基準ワークが占める第1画像領域の境界に複数のワーク基準線を設定し、
     前記複数のワーク基準線がそれぞれ位置する前記基準画像内の複数の位置を、複数のワーク基準線位置としてメモリに記憶し、
     前記基準ワークの形状およびサイズと実質的に同じ形状およびサイズを有するワークを、前記基準ワークを取り外した前記載置台と、前記載置台と入れ替えて配置された、前記載置台と異なる追加載置台とのうちの一方の台の上に載置し、
     前記目標コンフィギュレーションに設定された前記カメラによって撮影された、前記ワークを表示する計測画像を取得し、
     プロセッサによって、前記複数のワーク基準線を前記計測画像に重畳した計測合成画像を、前記複数のワーク基準線が前記計測合成画像において前記複数のワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成し、
     前記計測合成画像において前記ワークが占める第2画像領域の境界と、前記複数のワーク基準線とが、実質的に平行になる、または、実質的に一致するように、前記一方の台の上において前記ワークの姿勢を調整する、
    加工装置のためのワークの据え付け方法。
  2.  前記載置台及び前記追加載置台は、前記加工装置によって前記ワークが加工される加工位置、及び、前記加工位置から離間した段取位置に移動可能であり、
     前記カメラは、前記段取位置に移動した前記一方の台の上に載置された前記基準ワーク及び前記ワークのいずれかを撮影し、
     前記ワークの姿勢は、前記段取位置に移動した、前記載置台または前記追加載置台上で調整される、
    請求項1に記載のワークの据え付け方法。
  3.  前記ワーク基準姿勢となるように姿勢が調整された前記基準ワークが載置された前記載置台が前記加工位置に移動したとき、前記基準ワークの前記形状の複数の特徴点である複数の基準特徴点の全ての位置は、予め定められた許容範囲内に存在する、
    請求項2に記載のワークの据え付け方法。
  4.  姿勢が調整された前記ワークが載置された前記一方の台を前記加工位置に移動し、
     前記複数の基準特徴点にそれぞれ対応する、前記ワークの前記実質的に同じ形状の複数の特徴点である、複数の加工基準点の位置を前記加工装置の位置計測センサによって測定し、
     前記加工装置によって、前記複数の加工基準点の位置が、それぞれ、前記許容範囲内に存在するかを判定する、
    ことをさらに含む、請求項3に記載のワークの据え付け方法。
  5.  前記複数の加工基準点の全ての位置が前記許容範囲内に存在すると判定したとき、前記加工装置によって加工許可とする判定結果を出力して前記ワークを加工し、
     前記複数の加工基準点のうちの少なくとも1つの位置が前記許容範囲内に存在しないと判定したとき、加工不許可とする判定結果を出力し、前記加工位置に移動した、前記ワークが載置された前記一方の台を前記段取位置に移動する、
    ことをさらに含む、請求項4に記載のワークの据え付け方法。
  6.  前記基準ワークの姿勢及び前記ワークの姿勢は、前記加工装置が加工プログラムを実行するために設定する座標系の座標軸周りの回転角、または、前記載置台の旋回中心軸によって規定される、
    請求項1から5のいずれかに記載のワークの据え付け方法。
  7.  前記ワーク基準線は、前記プロセッサによる画像処理によって求められた、前記第1画像領域の境界のエッジである、
    請求項1から6のいずれかに記載のワークの据え付け方法。
  8.  前記ワーク基準線は直線または円である、
    請求項1から6のいずれかに記載のワークの据え付け方法。
  9.  前記基準画像の背景において静止物体が占める第3画像領域の境界に複数のカメラ設定基準線を設定することをさらに含み、
     前記複数のカメラ設定基準線がそれぞれ位置する前記基準画像内の複数の位置が、複数のカメラ設定基準線位置として前記メモリにさらに記憶され、
     前記プロセッサによって、前記複数のカメラ設定基準線を前記計測画像に重畳した前記計測合成画像が、前記複数のカメラ設定基準線が前記計測合成画像において前記複数のカメラ設定基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成され、
     前記計測合成画像において前記静止物体が占める第4画像領域の境界が前記複数のカメラ設定基準線と重なるように、前記カメラの前記視点位置及び前記視線方向が調整されることによって、前記目標コンフィギュレーションに前記カメラが設定される、
    請求項1から8のいずれかに記載のワークの据え付け方法。
  10.  前記載置台を撮影する第1追加カメラの視点位置並びに視線方向が、それぞれ、前記基準視点位置とは異なる第1追加基準位置並びに前記基準視線方向と非平行な第1追加基準視線方向となる第1追加目標コンフィギュレーションに前記第1追加カメラを設定し、
     前記載置台を撮影する第2追加カメラの視点位置並びに視線方向が、それぞれ、前記基準視点位置及び前記第1追加基準位置とは異なる第2追加基準位置、並びに、前記基準視線方向及び前記第1追加基準視線方向と非平行な第2追加基準視線方向となる第2追加目標コンフィギュレーションに前記第2追加カメラを設定し、
     前記第1追加目標コンフィギュレーションに設定された前記第1追加カメラによって撮影された、姿勢が調整された前記基準ワークを表示する第1追加基準画像を取得し、
     前記第2追加目標コンフィギュレーションに設定された前記第2追加カメラによって撮影された、姿勢が調整された前記基準ワークを表示する第2追加基準画像を取得し、
     前記第1追加基準画像において前記基準ワークが占める第5画像領域の境界に複数の第1追加ワーク基準線を設定し、
     前記第2追加基準画像において前記基準ワークが占める第6画像領域の境界に複数の第2追加ワーク基準線を設定し、
     前記複数の第1追加ワーク基準線がそれぞれ位置する前記第1追加基準画像内の複数の位置を、複数の第1追加ワーク基準線位置として前記メモリに記憶し、
     前記複数の第2追加ワーク基準線がそれぞれ位置する前記第2追加基準画像内の複数の位置を、複数の第2追加ワーク基準線位置として前記メモリに記憶し、
     前記第1追加目標コンフィギュレーションに設定された前記第1追加カメラによって撮影された、前記ワークを表示する第1追加計測画像を取得し、
     前記第2追加目標コンフィギュレーションに設定された前記第2追加カメラによって撮影された、前記ワークを表示する第2追加計測画像を取得し、
     前記プロセッサによって、前記複数の第1追加ワーク基準線を前記第1追加計測画像に重畳した第1追加計測合成画像を、前記複数の第1追加ワーク基準線が前記第1追加計測合成画像において前記複数の第1追加ワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成し、
     前記プロセッサによって、前記複数の第2追加ワーク基準線を前記第2追加計測画像に重畳した第2追加計測合成画像を、前記複数の第2追加ワーク基準線が前記第2追加計測合成画像において前記複数の第2追加ワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成し、
     前記第1追加計測合成画像において前記ワークが占める第7画像領域の境界と、前記複数の第1追加ワーク基準線とが実質的に平行になる、または、実質的に一致するように、前記一方の台上において前記ワークの姿勢を調整し、
     前記第2追加計測合成画像において前記ワークが占める第8画像領域の境界と、前記複数の第2追加ワーク基準線とが実質的に平行になる、または、実質的に一致するように、前記一方の台上において前記ワークの姿勢を調整する、
    ことをさらに含む、請求項1から9に記載のワークの据え付け方法。
  11.  前記計測画像と前記複数のワーク基準線とを入力とし、前記判定結果、前記複数の加工基準点がそれぞれ前記許容範囲内に存在するか否かを判定した結果、及び、前記複数の加工基準点とそれぞれの前記許容範囲の中心値とのずれ量の少なくとも1つを出力とする教師データを用いて学習した機械学習モデルを用い、前記目標コンフィギュレーションに設定された前記カメラによって撮影された、前記基準ワークの形状およびサイズと実質的に同じ形状およびサイズを有する第1追加ワークを表示する第3追加計測画像から、前記第1追加ワークが載置された前記一方の台が前記加工位置に移動されたときに、前記複数の基準特徴点にそれぞれ対応する、前記第1追加ワークの前記実質的に同じ形状の複数の特徴点である、前記複数の第1追加加工基準点の全ての位置が前記許容範囲内に存在するか否かを判定する、ことをさらに含む、
    請求項5に記載のワークの据え付け方法。
  12.  前記計測画像から検出されるエッジ、前記複数のワーク基準線位置の画像中心からのずれ量、前記カメラのレンズの焦点距離、前記カメラの歪曲収差パラメータの少なくとも1つをさらに入力とする前記教師データを用いて前記機械学習モデルが学習される、
    請求項11に記載のワークの据え付け方法。
  13.  前記基準ワークを取り外した前記載置台と、前記載置台と入れ替えて配置された前記追加載置台のうちの他方の台に前記基準ワークの形状およびサイズと実質的に同じ形状およびサイズを有する第2追加ワークを載置し、
     前記目標コンフィギュレーションに設定された前記カメラによって撮影された、前記第2追加ワークを表示する第4追加計測画像を取得し、
     前記プロセッサによって、前記複数のワーク基準線を前記第4追加計測画像に重畳した第4追加計測合成画像を、前記複数のワーク基準線が前記第4追加計測合成画像において前記複数のワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成し、
     前記第4追加計測合成画像において前記第2追加ワークが占める第9画像領域の境界と、前記複数のワーク基準線とが、実質的に平行になる、または、実質的に一致するように、前記他方の台上において前記第2追加ワークの姿勢を調整する、
    請求項1から12のいずれかに記載のワークの据え付け方法。
  14.  基準ワークの形状およびサイズと実質的に同じ形状およびサイズを有するワークの姿勢と前記基準ワークの姿勢とを調整するために、前記基準ワークまたは前記ワークを択一的に載置するよう構成された載置台と、
     前記載置台上の前記基準ワーク及び前記ワークを撮影するように構成されたカメラと、
     前記カメラで撮影された、前記基準ワークの姿勢がワーク基準姿勢になるように調整された前記基準ワークを表示する基準画像において前記基準ワークが占める第1画像領域の境界に複数のワーク基準線を設定するための入力装置と、
     前記複数のワーク基準線がそれぞれ位置する前記基準画像内の複数の位置を、複数のワーク基準線位置として記憶するように構成されたメモリと、
     前記載置台上で前記ワークの姿勢が調整される際に前記カメラで撮影された前記ワークを表示する計測画像に前記複数のワーク基準線を重畳した計測合成画像を、前記複数のワーク基準線が前記計測合成画像において前記複数のワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成するように構成されたプロセッサと、
     前記計測画像が撮影される際に前記計測合成画像を表示するように構成されたディスプレイと、
    を備える、
    ワーク据え付け支援システム。
  15.  カメラの視点位置及び視線方向が、それぞれ、基準視点位置及び基準視線方向となる目標コンフィギュレーションに設定されたカメラによって撮影された、姿勢がワーク基準姿勢となるように調整された、載置台上の基準ワークを表示する基準画像を取得し、
     前記基準画像において前記基準ワークが占める第1画像領域の境界に複数のワーク基準線を設定し、
     前記複数のワーク基準線がそれぞれ位置する前記基準画像内の複数の位置を、複数のワーク基準線位置としてメモリに記憶させ、
     前記目標コンフィギュレーションに設定された前記カメラによって撮影された、前記基準ワークを取り外した前記載置台と、前記載置台と入れ替えて配置された、前記載置台と異なる追加載置台のうちの一方の台の上に載置された、前記基準ワークの形状およびサイズと実質的に同じ形状およびサイズを有するワークを表示する計測画像を取得し、
     前記複数のワーク基準線を前記計測画像に重畳した計測合成画像を、前記複数のワーク基準線が前記計測合成画像において前記複数のワーク基準線位置と同一の複数の位置にそれぞれ表示されるようにして生成し、
     前記計測合成画像をディスプレイに表示させる、
    処理をプロセッサに実行させるワーク据え付け支援プログラム。
PCT/JP2020/005889 2020-02-14 2020-02-14 加工装置のためのワークの据え付け方法、ワーク据え付け支援システム、及び、ワーク据え付け支援プログラム WO2021161530A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020521387A JP6736798B1 (ja) 2020-02-14 2020-02-14 加工装置のためのワークの据え付け方法、ワーク据え付け支援システム、及び、ワーク据え付け支援プログラム
CN202080095937.5A CN115066313B (zh) 2020-02-14 2020-02-14 用于加工装置的工件的安装方法、工件安装支援系统及存储介质
PCT/JP2020/005889 WO2021161530A1 (ja) 2020-02-14 2020-02-14 加工装置のためのワークの据え付け方法、ワーク据え付け支援システム、及び、ワーク据え付け支援プログラム
EP20918869.7A EP4104968B1 (en) 2020-02-14 2020-02-14 Workpiece mounting method for machining apparatus, workpiece mounting support system, and workpiece mounting support program
US17/881,604 US20220371143A1 (en) 2020-02-14 2022-08-05 Workpiece installation method and workpiece installation support system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/005889 WO2021161530A1 (ja) 2020-02-14 2020-02-14 加工装置のためのワークの据え付け方法、ワーク据え付け支援システム、及び、ワーク据え付け支援プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/881,604 Continuation US20220371143A1 (en) 2020-02-14 2022-08-05 Workpiece installation method and workpiece installation support system

Publications (1)

Publication Number Publication Date
WO2021161530A1 true WO2021161530A1 (ja) 2021-08-19

Family

ID=71892527

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/005889 WO2021161530A1 (ja) 2020-02-14 2020-02-14 加工装置のためのワークの据え付け方法、ワーク据え付け支援システム、及び、ワーク据え付け支援プログラム

Country Status (5)

Country Link
US (1) US20220371143A1 (ja)
EP (1) EP4104968B1 (ja)
JP (1) JP6736798B1 (ja)
CN (1) CN115066313B (ja)
WO (1) WO2021161530A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114029520A (zh) * 2021-11-10 2022-02-11 广东电网能源发展有限公司 自动寻路钻孔的方法、系统、加工终端和存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI786221B (zh) * 2017-12-22 2022-12-11 瑞士商謹觀股份公司 具有用於工具夾具及工件夾具間之三維對齊的光學測量裝置的工具機
CN112833779B (zh) * 2020-12-29 2023-07-18 富联裕展科技(深圳)有限公司 定位检测方法及定位检测装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007115851A (ja) * 2005-10-19 2007-05-10 Toshiba Corp 半導体部品の位置検査方法、位置検査装置および半導体装置の製造方法
JP2011000180A (ja) 2009-06-16 2011-01-06 Kyoraku Sangyo Kk 払出装置および遊技機
JP2014109493A (ja) * 2012-11-30 2014-06-12 Keyence Corp 計測顕微鏡装置、これを用いた計測方法及び操作プログラム並びにコンピュータで読み取り可能な記録媒体
JP2014149182A (ja) * 2013-01-31 2014-08-21 Honda Motor Co Ltd ワークとの相関位置決め方法
WO2014175324A1 (ja) * 2013-04-24 2014-10-30 川崎重工業株式会社 ワーク加工作業支援システムおよびワーク加工方法
JP2014215748A (ja) * 2013-04-24 2014-11-17 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
JP2018141707A (ja) * 2017-02-28 2018-09-13 Jfeスチール株式会社 鋼板のキャンバー量測定方法、鋼板のキャンバー量測定装置、及び鋼板のキャンバー量測定装置の校正方法
JP2019132731A (ja) * 2018-01-31 2019-08-08 ブラザー工業株式会社 位置特定装置及び位置特定方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003326486A (ja) * 2001-06-20 2003-11-18 Amada Co Ltd ワーク位置決め装置
DE102004002103A1 (de) * 2004-01-14 2005-08-18 E. Zoller GmbH & Co. KG Einstell- und Messgeräte Mess- und/oder Einstellgerät
JP5987073B2 (ja) * 2015-02-12 2016-09-06 ファナック株式会社 撮像部を用いたワークの位置決め装置
CN110672009B (zh) * 2019-10-11 2021-06-22 宁波舜宇仪器有限公司 基于机器视觉的基准定位、物体姿态调整及图形显示方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007115851A (ja) * 2005-10-19 2007-05-10 Toshiba Corp 半導体部品の位置検査方法、位置検査装置および半導体装置の製造方法
JP2011000180A (ja) 2009-06-16 2011-01-06 Kyoraku Sangyo Kk 払出装置および遊技機
JP2014109493A (ja) * 2012-11-30 2014-06-12 Keyence Corp 計測顕微鏡装置、これを用いた計測方法及び操作プログラム並びにコンピュータで読み取り可能な記録媒体
JP2014149182A (ja) * 2013-01-31 2014-08-21 Honda Motor Co Ltd ワークとの相関位置決め方法
WO2014175324A1 (ja) * 2013-04-24 2014-10-30 川崎重工業株式会社 ワーク加工作業支援システムおよびワーク加工方法
JP2014215748A (ja) * 2013-04-24 2014-11-17 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
JP2018141707A (ja) * 2017-02-28 2018-09-13 Jfeスチール株式会社 鋼板のキャンバー量測定方法、鋼板のキャンバー量測定装置、及び鋼板のキャンバー量測定装置の校正方法
JP2019132731A (ja) * 2018-01-31 2019-08-08 ブラザー工業株式会社 位置特定装置及び位置特定方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114029520A (zh) * 2021-11-10 2022-02-11 广东电网能源发展有限公司 自动寻路钻孔的方法、系统、加工终端和存储介质

Also Published As

Publication number Publication date
US20220371143A1 (en) 2022-11-24
CN115066313B (zh) 2023-06-30
JPWO2021161530A1 (ja) 2021-08-19
EP4104968B1 (en) 2023-10-25
EP4104968A4 (en) 2023-04-19
CN115066313A (zh) 2022-09-16
EP4104968A1 (en) 2022-12-21
JP6736798B1 (ja) 2020-08-05

Similar Documents

Publication Publication Date Title
WO2021161530A1 (ja) 加工装置のためのワークの据え付け方法、ワーク据え付け支援システム、及び、ワーク据え付け支援プログラム
US8520067B2 (en) Method for calibrating a measuring system
JP2020011339A (ja) ロボットシステムの制御方法、およびロボットシステム
US11403780B2 (en) Camera calibration device and camera calibration method
WO2013099302A1 (ja) カメラ計測システムのキャリブレーション方法
CN1854723B (zh) 借助x射线检验装置对检验部件进行自动缺陷识别的方法
CN104197960B (zh) 一种激光跟踪仪视觉导引摄像机的全局标定方法
CN102027568B (zh) 用于校准等离子体处理系统中的末端执行器对准的系统和方法
KR101762934B1 (ko) 직선 특징들로부터 비전 시스템 평면 핸드-아이 교정을 실행하기 위한 시스템 및 방법
CN105180855A (zh) 生成关于坐标测量机的传感器链的信息的方法
EP3607264B1 (en) Machine vision system
CN108089553A (zh) 用于启动多轴系统的方法和装置
WO2011118476A1 (ja) 3次元距離計測装置及びその方法
CN112312126A (zh) 一种机载平视视景系统校靶方法及校靶设备
JP2017037460A (ja) 加工システム及び加工方法
TWI504475B (zh) 用於多軸機械之補償控制方法
CN112631200A (zh) 一种机床轴线测量方法以及装置
Tian et al. A study on three-dimensional vision system for machining setup verification
JP2890874B2 (ja) ロボットアーム相対姿勢補正方法
JP6595065B1 (ja) 加工装置、加工装置の制御方法および加工装置の制御プログラム
KR101819576B1 (ko) 광학식 손떨림 보정의 검사 장치 및 검사 방법
CN111906770A (zh) 工件安装方法及系统、计算机可读存储介质
Moru et al. Improving optical pipeline through better alignment and calibration process
CN105759559A (zh) 一种调焦点胶设备的运动控制方法
CN114234902B (zh) 一种星光平台视场角自主测试方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020521387

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20918869

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020918869

Country of ref document: EP

Effective date: 20220914