WO2018096669A1 - レーザ加工装置、レーザ加工方法、及びレーザ加工プログラム - Google Patents

レーザ加工装置、レーザ加工方法、及びレーザ加工プログラム Download PDF

Info

Publication number
WO2018096669A1
WO2018096669A1 PCT/JP2016/085128 JP2016085128W WO2018096669A1 WO 2018096669 A1 WO2018096669 A1 WO 2018096669A1 JP 2016085128 W JP2016085128 W JP 2016085128W WO 2018096669 A1 WO2018096669 A1 WO 2018096669A1
Authority
WO
WIPO (PCT)
Prior art keywords
processing
laser processing
camera
feature points
image
Prior art date
Application number
PCT/JP2016/085128
Other languages
English (en)
French (fr)
Inventor
猛 大佐賀
智史 櫻井
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2017511800A priority Critical patent/JP6253847B1/ja
Priority to PCT/JP2016/085128 priority patent/WO2018096669A1/ja
Publication of WO2018096669A1 publication Critical patent/WO2018096669A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/02—Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/02—Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
    • B23K26/035—Aligning the laser beam
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/08—Devices involving relative movement between laser beam and workpiece

Definitions

  • the present invention relates to a laser processing apparatus for laser processing an object in accordance with a processing locus displayed on a display device, and a laser processing method and laser used for laser processing an object in accordance with the processing locus displayed on the display apparatus.
  • machining program related to machining program.
  • the command position (target processing position) of the workpiece for correction placed on the movable table is laser processed, and the amount of deviation between the command position and the actual processing position is detected and detected.
  • the position of laser processing is corrected based on the amount of deviation (for example, refer to Patent Document 1).
  • a reference hole indicating a reference position is formed in a correction work, and a processing origin position used for laser processing is corrected based on a camera image of the reference hole (for example, Patent Document 2).
  • Non-Patent Document 1 obtains correspondence information between each point on the checker pattern and each point on the camera image by capturing a checker pattern having a known shape while taking a camera while changing the posture of the camera.
  • a method for calculating camera parameters from the acquired correspondence information that is, a typical example of camera calibration is described.
  • the camera parameters it is possible to obtain a conversion formula between the coordinates of the actual three-dimensional position and the coordinates of the two-dimensional position in the camera image.
  • JP 2010-099674 A for example, paragraph 0012
  • International Publication No. 2015/170639 eg, paragraphs 0006, 0011, abstract
  • the workpiece is processed while moving the processing head or the movable table by the moving mechanism. Therefore, vibration generated by acceleration / deceleration of the processing head or the movable table is transmitted to the entire laser processing apparatus.
  • the position and orientation are not kept constant, and the accuracy of the processing position designation using the camera image may be reduced.
  • the processing trajectory indicating the processing planned position is superimposed and displayed on the camera image obtained by photographing the workpiece, and in the device that performs laser processing according to the displayed processing trajectory, when the position and orientation of the camera change due to vibration,
  • the relationship between the position of the actual processing locus in the camera image obtained by photographing the workpiece and the position of the processing locus superimposed on the camera image may deviate from the initial state immediately after the camera calibration.
  • the present invention has been made in order to solve the above-described conventional problems, and can maintain a high machining position accuracy and excellent maintainability, and a high machining position accuracy. It is an object of the present invention to provide a laser processing method and a laser processing program that can improve the maintainability.
  • a laser processing apparatus includes a laser processing unit that performs laser processing on an object, a camera that captures the object, a display device that displays an image, the laser processing unit, the camera, and the A control device that controls a display device, wherein the control device includes a target that is indicated by a three-dimensional coordinate in a first camera image generated by photographing the target object with the camera.
  • a display control unit that superimposes and displays an augmented reality image of a machining locus indicated by two-dimensional coordinates converted from a planned machining position of an object, and a machining control unit that causes the laser machining unit to laser machine a position corresponding to the machining locus
  • a plurality of first feature points are extracted from the processing locus, and after the laser processing, before the second camera image generated by photographing the object with the camera.
  • a plurality of second feature points are extracted from the actual processing trace of the object, and the first feature points and the second feature points corresponding to each other in the plurality of first feature points and the plurality of second feature points.
  • a pair of feature points, and for the pair of feature points, the shift amount between the coordinates of the first feature point and the coordinates of the second feature point is reduced.
  • a display correction unit that corrects the display position of the augmented reality image of the processing locus with respect to the second camera image.
  • a laser processing method includes a first imaging step of generating a first camera image by capturing an object to be laser processed with a camera, and a display device that includes the first camera image.
  • a matching step for obtaining a feature point pair consisting of a first feature point and a second feature point corresponding to each other, and for the feature point pair, the coordinates of the first feature point and the feature point A display correction step of correcting the position of the augmented reality image of the processing locus with respect to the second camera image so as to reduce a deviation amount from the coordinates of the second feature point.
  • the position of the camera image and the position of the augmented reality image of the processing locus to be superimposed are brought close to each other by using the feature point of the processing trace actually formed by laser processing and the feature point of the processing locus. Therefore, even if the position and orientation of the camera change, the accuracy of the processing position can be maintained high.
  • correction for bringing the position of the camera image close to the position of the processing locus using the feature point of the processing trace and the feature point of the processing locus actually formed by laser processing is performed. Since it can be executed automatically, maintainability can be improved.
  • FIG. 1 is a functional block diagram showing a schematic configuration of a laser processing apparatus according to Embodiment 1.
  • FIG. It is a figure which shows an example of the camera image in the laser processing apparatus which concerns on Embodiment 1.
  • FIG. 1 is a diagram schematically showing a hardware configuration of a laser processing apparatus according to Embodiment 1.
  • FIG. 3 is a flowchart showing an example of the operation of the laser processing apparatus according to the first embodiment.
  • FIG. 6 is a flowchart illustrating an example of a correction operation of a superimposed display position of the laser processing apparatus according to the first embodiment. It is a functional block diagram which shows schematic structure of the laser processing apparatus which concerns on Embodiment 2 of this invention. (A) And (b) is a figure which shows an example of the viewpoint change of the camera image in the laser processing apparatus which concerns on Embodiment 2. FIG. 6 is a flowchart illustrating an example of an operation of the laser processing apparatus according to the second embodiment.
  • the X axis and the Y axis correspond to the horizontal direction and the vertical direction of the workpiece (WorkiePiece) as an object of laser processing, respectively, and the Z axis is in the thickness direction of the workpiece.
  • the X axis and the Y axis correspond to the horizontal direction and the vertical direction of the workpiece (WorkiePiece) as an object of laser processing, respectively, and the Z axis is in the thickness direction of the workpiece.
  • FIG. 1 is an overhead view showing a schematic configuration of a laser processing apparatus 1 according to Embodiment 1 of the present invention.
  • FIG. 2 is a plan view showing a schematic configuration of the machining head moving mechanism shown in FIG.
  • the laser processing apparatus 1 includes a laser processing unit 10 that performs laser processing (for example, cutting and drilling) a workpiece 30 that is an object of laser processing, A camera 14 as a photographing device that generates a camera image (image data) by photographing the work 30, a display device 15 that displays an image, a laser processing unit 10, a camera 14, and a control device that controls the display device 15. 16.
  • the camera 14 is, for example, a CCD (Charge-Coupled Device) camera.
  • the control device 16 is, for example, an NC (Numerical Control) device.
  • the control device 16 may be a personal computer.
  • the laser processing unit 10 detects a position of the processing head 12 and a table 11 as a workpiece fixing unit on which the workpiece 30 is placed, a processing head 12 that performs laser processing on the workpiece 30 by irradiating the workpiece 30 with laser light. And a sensor 13.
  • the machining head 12 includes moving mechanisms 17 and 18 that can move in the X direction and the Y direction under the driving force of a driving unit such as a motor. Further, the machining head 12 may include a moving mechanism that can move in the Z direction by receiving a driving force of a driving unit such as a motor.
  • the table 11 may be a movable table that can move in the X direction, the Y direction, and the Z direction.
  • the table 11 is not limited to a table-like structure as long as the work 30 can be positioned and fixed.
  • the position of the machining head 12 may be fixed, and the sensor 13 preferably detects the position of the movable table 11.
  • the number of processing heads 12 may be two or more. Further, the number of cameras 14 may be two or more.
  • FIG. 3 is a functional block diagram showing a schematic configuration of the laser processing apparatus 1 according to the first embodiment.
  • the laser processing apparatus 1 is an apparatus that can perform the laser processing method according to the first embodiment.
  • the control device 16 includes a display control unit 21, a display correction unit 22, and a processing control unit 23 as main components.
  • the display control unit 21 displays a two-dimensional image obtained by projecting a three-dimensional position, which is a position in a three-dimensional space, onto a two-dimensional position, which is a position in a two-dimensional image acquired by camera photography, on the display device 15. It has a function to display.
  • the conversion from the three-dimensional position to the two-dimensional position can be calculated by obtaining information on the position and orientation of the camera 14.
  • Information indicating the position and orientation of the camera 14 is acquired as camera parameters (external parameters, internal parameters, etc.) by camera calibration.
  • camera calibration there is a method described in Non-Patent Document 1.
  • the camera calibration used may be another method capable of acquiring camera parameters.
  • the display control unit 21 includes, for example, an image acquisition unit 211, a projection position calculation unit 212, a storage unit 213, and a superimposed display unit 214.
  • the storage unit 213 may be provided outside the display control unit 21.
  • the storage unit 213 is, for example, an HDD (Hard Disk Drive), a semiconductor memory, or both.
  • the image acquisition unit 211 acquires a camera image (image data) generated by photographing the work 30 with the camera 14.
  • FIG. 4 is a diagram illustrating an example of a camera image in the laser processing apparatus 1.
  • 11 a is an image of the table 11
  • 30 a is an image of the work 30.
  • Images 11a and 30a are camera images generated by photographing with the camera 14.
  • Reference numeral 31a denotes an augmented reality (AR) image of the processing trajectory superimposed on the camera image.
  • FIG. 4 shows a case where the shaded area portion of the workpiece 30 is removed by laser processing.
  • AR augmented reality
  • the projection position calculation unit 212 calculates a projection matrix for projecting the three-dimensional position of the processing locus created by the processing control unit 23 onto the two-dimensional position of the camera image.
  • the projection position calculation unit 212 causes the storage unit 213 to store a conversion formula between the coordinates of the planned machining position of the workpiece 30 that is a three-dimensional position and the coordinates of the machining locus that is a two-dimensional position. Further, the projection position calculation unit 212 stores the calculated result in the storage unit 213 that can continue to be stored even after the power of the device is turned off.
  • the superimposing display unit 214 applies the projection matrix calculated by the projection position calculation unit 212 to the two-dimensional position of the camera image, and applies the projection matrix calculated by the projection position calculation unit 212 to the two-dimensional position of the camera image. Can be superimposed and displayed.
  • the superimposed display unit 214 superimposes and displays the processing locus created by the processing control unit 23 on the camera image acquired by the image acquisition unit 211 as an AR image.
  • the display control unit 21 converts the first camera image 30 a generated by photographing the workpiece 30 with the camera 14 into the two-dimensional position converted from the planned processing position of the workpiece 30, which is a three-dimensional position.
  • the augmented reality image 31a of the machining locus is superimposed and displayed.
  • the machining control unit 23 causes the laser machining unit 10 to laser machine a position corresponding to the machining locus of the workpiece 30.
  • the display correction unit 22 extracts a plurality of first feature points from the processing trajectory, and after the laser processing, the actual processing of the workpiece 30 in the second camera image generated by photographing the workpiece 30 with the camera 14.
  • a feature point extraction unit 221 that extracts a plurality of second feature points from the trace is provided.
  • the feature points can be extracted by a technique such as FAST (Features from Accelerated Segment Test), ORB (Oriented FAST and Rotated BRIEF), or KAZE. These techniques are described in Non-Patent Documents 2 and 3, for example.
  • the display correction unit 22 obtains a feature point pair including a first feature point and a second feature point corresponding to each other among the plurality of first feature points and the plurality of second feature points.
  • a matching unit 222 that performs point matching, a shift amount calculation unit 223 that calculates a shift amount between the coordinates of the first feature point and the coordinates of the second feature point, and a shift amount is reduced.
  • the shift correction unit 224 corrects the display position of the augmented reality image 31a of the processing locus with respect to the second camera image.
  • FIG. 5 is a diagram schematically showing a hardware configuration of the laser processing apparatus 1 according to the first embodiment.
  • the control device (NC device) 16 of the laser processing apparatus 1 includes a storage device 102 that stores a program, a memory 103 that is a place where the program is expanded, and a processor 101 that executes the program.
  • the control device (NC device) 16 includes a network interface 111 for connecting to the processing head 12 and the camera 14, a sensor interface 112 to which the sensor 13 for acquiring positional information of the processing head 12 is connected, and a program And a display interface 113 connected to the display device 15 for displaying the execution result.
  • the control device 16 shown in FIG. 5 includes a storage device 102 that stores a laser processing program as software, a memory 103 for expanding the laser processing program, and a processor 101 as an information processing unit that executes the laser processing program.
  • the storage unit 213 in FIG. 3 corresponds to the storage device 102 and the memory 103 in FIG. 5, and the other configuration in the control device 16 in FIG. 3 corresponds to the processor 101 that executes the laser processing program.
  • a part of the control device 16 shown in FIG. 3 may be realized by the storage device 102, the memory 103, and the processor 101 that executes a program shown in FIG.
  • FIG. 6 is a flowchart showing an example of the operation of the laser processing apparatus 1 according to the first embodiment (the laser processing method according to the first embodiment).
  • the projection position calculation unit 212 confirms whether or not the position and orientation of the camera 14 have been calculated (step S11).
  • the projection position calculation unit 212 reads from the storage device 102 a conversion formula for converting the three-dimensional coordinates of the laser processing program into the two-dimensional coordinates of the image captured by the camera 14. (Step S14), the process proceeds to Step S15.
  • Step S11 the projection position calculation unit 212 calculates the position and orientation of the camera 14, obtains a conversion formula (step S12), and stores the obtained conversion formula in the storage unit 213. (Step S13), the process proceeds to Step S15.
  • the image acquisition unit 211 causes the camera 14 to photograph the first workpiece 30 (step S15).
  • the machining control unit 23 reads a laser machining program from the storage unit 213, for example (step S16).
  • the superimposition display unit 214 superimposes and displays the processing trajectory generated by the processing control unit 23 as an AR image on the image acquired by photographing in step S15 (step S17).
  • the processing locus display position is, for example, coordinates on an image acquired by photographing corresponding to a three-dimensional coordinate value read from a laser processing program.
  • control device 16 processes the workpiece according to the display position of the processing trajectory that is the AR image by executing the laser processing program (step S18). Since the processing trajectory that is an AR image is displayed on the image corresponding to the three-dimensional position of the processing trajectory, the processing by the control device 16 is performed according to the processing trajectory that is the AR image displayed on the image.
  • the image acquisition unit 211 captures the workpiece 30 (second imaging), and acquires a real image showing an actual processing trace (step S19).
  • the feature point extraction unit 221 extracts an actual feature point in an image having an actual processing trace on the work 30 and an AR image feature point in an image displaying a processing trajectory that is an AR image (step S20).
  • the matching unit 222 acquires the correspondence between the feature points determined as the same feature point between the feature points extracted from the actual processing locus and the feature points extracted from the AR image processing locus (step S21). .
  • the deviation amount calculation unit 223 calculates the deviation amount between the feature points by comparing the actual feature points having the corresponding relationship with the feature points of the AR. The comparison of feature points having a correspondence relationship is based on how much each coordinate value is shifted (step S22).
  • the deviation amount calculation unit 223 ends the processing.
  • deviation amount calculation unit 210 advances the process to step S23.
  • step S23 the deviation correction unit 224 calculates a projective transformation matrix from the feature points of the actual processing trace and the feature points of the AR image that are in a corresponding relationship, and corrects the display position of the processing locus (step S23).
  • the correction of the display position can be executed by obtaining a projective transformation matrix so that the processing locus displayed on the image becomes the processing locus.
  • the projective transformation matrix A can be obtained by the following equation (1). .
  • the projective transformation matrix A is a (3 ⁇ 3) matrix.
  • three or more pairs of machining traces and machining trace feature points corresponding to each other are required (step S231).
  • ⁇ 1-3 Effect
  • the position of the camera image and the processing trajectory using the feature points of the processing trace and the processing trajectory actually formed by laser processing Since it is possible to automatically execute correction (position alignment) to bring the position close to the position, maintainability can be improved.
  • the image displayed on the display device 15 is when the work 30 is viewed obliquely downward with the camera 14 as the viewpoint position. It is an obtained image.
  • an image when the viewpoint position of the camera 14 is converted to an arbitrary viewpoint position different from the actual viewpoint position is displayed on the display device 15. be able to.
  • the viewpoint position is placed directly above the workpiece 30 by calculation, and an image when the workpiece 30 is viewed directly below (that is, when viewed in the ⁇ Z direction in FIG. 1) is displayed on the display device 15. The case where it does is demonstrated.
  • the function of automatically changing the viewpoint position in the second embodiment to a desired position is also referred to as an automatic display position calibration function.
  • FIG. 8 is a functional block diagram showing a schematic configuration of the laser processing apparatus 2 according to the second embodiment.
  • the laser processing apparatus 2 is an apparatus that can perform the laser processing method according to the second embodiment.
  • components that are the same as or correspond to the components shown in FIG. 3 are given the same reference numerals as those shown in FIG.
  • the laser processing apparatus 2 according to the second embodiment is different from the first embodiment in terms of processing contents of the projection position calculation unit 212a and the superimposed display unit 214a in the display control unit 21a of the control device 16a. 1 is different from the laser processing apparatus 1 according to FIG. Except for this point, the second embodiment is the same as the first embodiment.
  • FIGS. 9A and 9B are diagrams illustrating an example of changing the viewpoint of the camera image in the laser processing apparatus 2 according to the second embodiment.
  • the superimposed display unit 214 converts the three-dimensional coordinates of the processing locus into the two-dimensional coordinates similar to the camera image, and displays the processing locus as an image. It was displayed above.
  • the projection position calculation unit 212a obtains a conversion formula for converting the two-dimensional coordinates in the coordinate system of the camera image into the same three-dimensional coordinates as the coordinate system of the processing locus by camera calibration.
  • the camera parameters are obtained in advance and stored in the storage unit 213.
  • the projection position calculation unit 212a converts the two-dimensional image of the camera image into the same three-dimensional coordinates as the coordinate system of the processing trajectory, so that the superimposed display unit 214a moves the viewpoint position of the camera 14 to an arbitrary position, It can be converted into a camera image viewed from an arbitrary viewpoint that has moved.
  • a processing locus viewed from the same viewpoint can be superimposed and displayed on a camera image of an arbitrary viewpoint.
  • FIG. 9B in the second embodiment, the viewpoint position is placed directly above the work 30 by calculation, and an image 30b when the work 30 is seen directly below is displayed on the display device 15.
  • the processing locus 31b is superimposed on this image.
  • Reference numeral 11b denotes an image of the table 11.
  • FIG. 10 is a flowchart showing an example of the operation of the laser processing apparatus 2 according to the second embodiment (laser processing method according to the first embodiment).
  • processing steps that are the same as or correspond to the processing steps shown in FIG. 6 are given the same reference numerals as those in FIG.
  • the operation of the laser processing apparatus 2 according to the second embodiment is the same as the operation of the laser processing apparatus 1 according to the first embodiment in that step S17 in FIG. 6 is replaced with step 27 in FIG. The operation is different.
  • the projection position calculation unit 212a converts a two-dimensional coordinate in the coordinate system of the camera image into a three-dimensional coordinate that is the same as the coordinate system of the processing trajectory. Is obtained in advance from the camera parameters obtained by the above and stored in the storage unit 213.
  • the projection position calculation unit 212a converts the two-dimensional image of the camera image into the same three-dimensional coordinates as the coordinate system of the processing locus, so that the superimposed display unit 214a
  • the viewpoint position is moved to an arbitrary position, converted into a camera image viewed from the moved arbitrary viewpoint, and the viewpoint position is placed directly above the workpiece 30 as shown in FIG.
  • the image 30b is viewed on the display device 15 and the processing locus 31b is superimposed on the image.
  • steps 18 to S23 correction for laser processing and alignment is performed in the same manner as in the first embodiment.
  • the feature point of the processing trace and the feature point of the processing locus that are actually formed by laser processing are used to Since correction (positioning) is performed so that the position of the image and the position of the augmented reality image of the processing trajectory displayed in superimposition are close to each other, the accuracy of the processing position is increased even when the position and orientation of the camera 14 change. Can be maintained.
  • the position and processing of the camera image are performed using the feature points of the processing traces actually formed by laser processing and the feature points of the processing trajectories. Since correction (position alignment) that brings the locus closer can be automatically executed, maintainability can be improved.
  • the viewpoint position of the camera 14 can be moved to an arbitrary position, the user can easily recognize the camera image through the display device.
  • feature point extraction and feature point matching calculation are facilitated.
  • Embodiments 1 and 2 are merely examples of the apparatus, method, and program to which the present invention is applied, and various modifications can be made within the scope of the present invention.

Landscapes

  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Plasma & Fusion (AREA)
  • Mechanical Engineering (AREA)
  • Laser Beam Processing (AREA)
  • Numerical Control (AREA)

Abstract

レーザ加工装置（１）は、レーザ加工部（１０）と、カメラ（１４）と、表示装置（１５）と、制御装置（１６）とを備え、制御装置は、表示装置（１５）において、対象物（３０）の第１のカメラ画像に、３次元座標で示される対象物の加工予定位置から変換された２次元座標で示される加工軌跡のＡＲ画像を重畳表示させる表示制御部（２１）と、加工軌跡から複数の第１の特徴点を抽出し、レーザ加工の後の第２のカメラ画像における対象物（３０）の実際の加工跡から複数の第２の特徴点を抽出し、複数の第１の特徴点と複数の第２の特徴点とにおいて、互いに対応する第１の特徴点と第２の特徴点とからなる特徴点の対を求め、特徴点の対について、第１の特徴点の座標と第２の特徴点の座標との間のずれ量を小さくするように、第２のカメラ画像に対する加工軌跡の拡張現実画像の表示位置を補正する表示補正部（２２）とを有する。

Description

レーザ加工装置、レーザ加工方法、及びレーザ加工プログラム
　本発明は、表示装置に表示された加工軌跡に従って対象物をレーザ加工するレーザ加工装置、並びに、表示装置に表示された加工軌跡に従って対象物をレーザ加工するために使用されるレーザ加工方法及びレーザ加工プログラムに関する。
　従来のレーザ加工装置では、可動テーブル上に載置された補正用のワークの指令位置（加工目標位置）をレーザ加工し、指令位置と実際の加工箇所の位置とのずれ量を検出し、検出されたずれ量に基づいてレーザ加工の位置を補正している（例えば、特許文献１参照）。
　また、他の従来のレーザ加工装置では、補正用のワークに基準位置を示す基準穴を形成し、基準穴のカメラ画像に基づいてレーザ加工に用いられる加工原点位置を補正している（例えば、特許文献２参照）。
　また、非特許文献１は、既知の形状であるチェッカパターンを、カメラの姿勢を変えながらカメラ撮影することで、チェッカパターン上の各点とカメラ画像上の各点との対応情報を取得し、取得された対応情報からカメラパラメータを算出する方法、すなわち、カメラキャリブレーションの代表例を記載している。カメラパラメータを用いることにより、実際の３次元位置の座標とカメラ画像における２次元位置の座標との変換式を得ることができる。
特開２０１０－０９９６７４号公報（例えば、段落００１２） 国際公開２０１５／１７０６３９号（例えば、段落０００６，００１１、要約）
Zhengyou　Zhang、　"A　Flexible　New　Technique　for　Camera　Calibration"、　IEEE　Transactions　on　Pattern　Analysis　and　Machine　Intelligence、　VOL.22、　NO.11、　pp.1330-1334、　Nov.2000 藤吉弘亘及び安倍満、「局所勾配特徴抽出技術　ＳＩＦＴ以降のアプローチ」、精密工学会誌、Ｖｏｌ．７７、Ｎｏ．１２、２０１１、ｐｐ．１１０９－１１６． Pablo　F.　Alcantarilla、　Adrien　Bartoli、　and　Andrew　J.　Davison、　"KAZE　Features"、　European　Conference　on　Computer　Vision、　Springer　Berlin　Heidelberg、　2012.
　上記従来のレーザ加工装置では、加工ヘッド又は可動テーブルを移動機構で移動させながらワークを加工するので、加工ヘッド又は可動テーブルの加減速によって発生する振動がレーザ加工装置全体に伝わり、そのため、カメラの位置及び姿勢が一定に保たれず、カメラ画像を使用した加工位置指定の精度が低下するおそれがある。
　表示装置において、ワークを撮影したカメラ画像上に加工予定位置を示す加工軌跡を重畳表示し、表示された加工軌跡に従ってレーザ加工を行う装置では、カメラの位置及び姿勢が振動によって変化した場合に、ワークを撮影して得られたカメラ画像内の実際の加工軌跡の位置とカメラ画像に重畳表示された加工軌跡の位置との関係が、カメラキャリブレーションを行った直後の初期状態からずれることがある。
　上記ずれを補正するためには、補正用のワークを用いた補正プロセス又は再度のカメラキャリブレーションを行う必要があるが、この場合には、保守のための時間を要するので、保守性が低下する。
　本発明は、上記従来の課題を解決するためになされたものであり、加工位置の精度を高く維持することができ且つ保守性に優れたレーザ加工装置、並びに、加工位置の精度を高く維持することを可能にするとともに保守性を向上させることができるレーザ加工方法及びレーザ加工プログラムを提供することを目的とする。
　本発明の一態様に係るレーザ加工装置は、対象物をレーザ加工するレーザ加工部と、前記対象物を撮影するカメラと、画像を表示する表示装置と、前記レーザ加工部、前記カメラ、及び前記表示装置を制御する制御装置とを備え、前記制御装置は、前記表示装置において、前記対象物を前記カメラで撮影させることで生成された第１のカメラ画像に、３次元座標で示される前記対象物の加工予定位置から変換された２次元座標で示される加工軌跡の拡張現実画像を重畳表示させる表示制御部と、前記レーザ加工部に、前記加工軌跡に対応する位置をレーザ加工させる加工制御部と、前記加工軌跡から複数の第１の特徴点を抽出し、前記レーザ加工の後に、前記対象物を前記カメラで撮影させることで生成された第２のカメラ画像における前記対象物の実際の加工跡から複数の第２の特徴点を抽出し、前記複数の第１の特徴点と前記複数の第２の特徴点とにおいて、互いに対応する第１の特徴点と第２の特徴点とからなる特徴点の対を求め、前記特徴点の対について、前記第１の特徴点の座標と前記第２の特徴点の座標との間のずれ量を小さくするように、前記第２のカメラ画像に対する前記加工軌跡の拡張現実画像の表示位置を補正する表示補正部とを有するものである。
　本発明の他の態様に係るレーザ加工方法は、レーザ加工の対象物をカメラで撮影することで第１のカメラ画像を生成する第１の撮影ステップと、表示装置において、前記第１のカメラ画像に、３次元座標で示される前記対象物の加工予定位置から変換された２次元座標で示される加工軌跡の拡張現実画像を重畳表示させる表示ステップと、前記加工軌跡に対応する前記加工予定位置をレーザ加工する加工ステップと、前記加工ステップの後に、前記対象物を前記カメラで撮影することで第２のカメラ画像を生成する第２の撮影ステップと、前記加工軌跡から複数の第１の特徴点を抽出し、前記第２のカメラ画像における前記対象物の実際の加工跡から複数の第２の特徴点を抽出する抽出ステップと、前記複数の第１の特徴点と前記複数の第２の特徴点とにおいて、互いに対応する第１の特徴点と第２の特徴点とからなる特徴点の対を求めるマッチングステップと、前記特徴点の対について、前記第１の特徴点の座標と前記第２の特徴点の座標との間のずれ量を小さくするように、前記第２のカメラ画像に対する前記加工軌跡の拡張現実画像の位置を補正する表示補正ステップとを有するものである。
　本発明によれば、実際にレーザ加工で形成された加工跡の特徴点と加工軌跡の特徴点とを用いて、カメラ画像の位置と重畳表示される加工軌跡の拡張現実画像の位置とを近づけるように補正（位置合わせ）するので、カメラの位置及び姿勢が変化した場合であっても、加工位置の精度を高く維持することができる。
　また、本発明によれば、実際にレーザ加工で形成された加工跡の特徴点と加工軌跡の特徴点とを用いて、カメラ画像の位置と加工軌跡の位置とを近づける補正（位置合わせ）を自動的に実行することができるので、保守性を向上させることができる。
本発明の実施の形態１に係るレーザ加工装置の概略構成を示す俯瞰図である。 実施の形態１に係るレーザ加工装置の加工ヘッドの移動機構の概略構成を示す平面図である。 実施の形態１に係るレーザ加工装置の概略構成を示す機能ブロック図である。 実施の形態１に係るレーザ加工装置におけるカメラ画像の一例を示す図である。 実施の形態１に係るレーザ加工装置のハードウェア構成を概略的に示す図である。 実施の形態１に係るレーザ加工装置の動作の一例を示すフローチャートである。 実施の形態１に係るレーザ加工装置の重畳表示位置の補正動作の一例を示すフローチャートである。 本発明の実施の形態２に係るレーザ加工装置の概略構成を示す機能ブロック図である。 （ａ）及び（ｂ）は、実施の形態２に係るレーザ加工装置におけるカメラ画像の視点変更の一例を示す図である。 実施の形態２に係るレーザ加工装置の動作の一例を示すフローチャートである。
　以下に、本発明の実施の形態を、添付図面を参照しながら説明する。図に示される、ＸＹＺ直交座標系において、Ｘ軸とＹ軸は、レーザ加工の対象物としてのワーク（Work Piece）の横方向と縦方向にそれぞれ対応し、Ｚ軸は、ワークの厚み方向に対応する。
《１》実施の形態１．
《１－１》構成
　図１は、本発明の実施の形態１に係るレーザ加工装置１の概略構成を示す俯瞰図である。図２は、図１に示される加工ヘッドの移動機構の概略構成を示す平面図である。
　図１及び図２に示されるように、実施の形態１に係るレーザ加工装置１は、レーザ加工の対象物であるワーク３０をレーザ加工（例えば、切断及び穴開け）するレーザ加工部１０と、ワーク３０を撮影することでカメラ画像（画像データ）を生成する撮影装置としてのカメラ１４と、画像を表示する表示装置１５と、レーザ加工部１０、カメラ１４、及び表示装置１５を制御する制御装置１６とを備えている。カメラ１４は、例えば、ＣＣＤ（Charge-Coupled　Device）カメラである。制御装置１６は、例えば、ＮＣ（Numerical　Control）装置である。制御装置１６は、パーソナルコンピュータであってもよい。
　レーザ加工部１０は、ワーク３０が載置されるワーク固定部としてのテーブル１１と、ワーク３０にレーザ光を照射してワーク３０をレーザ加工する加工ヘッド１２と、加工ヘッド１２の位置を検出するセンサ１３とを有している。図２に示されるように、加工ヘッド１２は、モータなどの駆動手段の駆動力を受けてＸ方向及びＹ方向に移動可能な移動機構１７，１８を備えている。また、加工ヘッド１２は、モータなどの駆動手段の駆動力を受けてＺ方向に移動可能な移動機構を備えてもよい。また、テーブル１１は、Ｘ方向、Ｙ方向、Ｚ方向に移動可能な可動テーブルであってもよい。また、テーブル１１は、ワーク３０を位置決め固定できる構造であれば、テーブル状の構造に限られない。また、テーブル１１が可動テーブルである場合には、加工ヘッド１２の位置が固定されてもよく、センサ１３は、可動テーブル１１の位置を検出することが望ましい。なお、加工ヘッド１２の台数は、２台以上であってもよい。また、カメラ１４の台数は、２台以上であってもよい。
　図３は、実施の形態１に係るレーザ加工装置１の概略構成を示す機能ブロック図である。レーザ加工装置１は、実施の形態１に係るレーザ加工方法を実施することができる装置である。図３に示されるように、制御装置１６は、主要な構成として、表示制御部２１と、表示補正部２２と、加工制御部２３とを備えている。
　表示制御部２１は、３次元空間における位置である３次元位置を、カメラ撮影によって取得された２次元画像における位置である２次元位置に射影することで得られた２次元画像を、表示装置１５に表示させる機能を持つ。３次元位置から２次元位置への変換は、カメラ１４の位置及び姿勢に関する情報を求めることで算出することができる。カメラ１４の位置及び姿勢を示す情報は、カメラキャリブレーションによってカメラパラメータ（外部パラメータ及び内部パラメータなど）として取得される。カメラキャリブレーションの代表例としては、上記非特許文献１に記載されている方法がある。ただし、使用されるカメラキャリブレーションは、カメラパラメータを取得できる他の方法であってもよい。
　表示制御部２１は、例えば、画像取得部２１１と、射影位置演算部２１２と、記憶部２１３と、重畳表示部２１４とを有している。記憶部２１３は、表示制御部２１の外部に備えられても良い。記憶部２１３は、例えば、ＨＤＤ（Hard　Disk　Drive）、半導体メモリ、又はこれらの両方である。
　画像取得部２１１は、ワーク３０をカメラ１４で撮影させることで生成されたカメラ画像（画像データ）を取得する。図４は、レーザ加工装置１におけるカメラ画像の一例を示す図である。図４において、１１ａは、テーブル１１の画像であり、３０ａは、ワーク３０の画像である。画像１１ａと３０ａは、カメラ１４による撮影によって生成されたカメラ画像である。３１ａは、カメラ画像に重畳される加工軌跡の拡張現実（ＡＲ：Augmented　Reality）画像である。図４は、ワーク３０の網掛け領域の部分が、レーザ加工により除去される場合を示している。
　射影位置演算部２１２は、加工制御部２３が作成した加工軌跡の３次元位置を、カメラ画像の２次元位置に射影するための射影行列を演算する。射影位置演算部２１２は、３次元位置であるワーク３０の加工予定位置の座標と２次元位置である加工軌跡の座標との間の変換式を記憶部２１３に記憶させる。また、射影位置演算部２１２は、算出した結果を機器の電源をオフにした後も保存し続けることができる記憶部２１３に格納する。
　重畳表示部２１４は、加工制御部２３が作成した加工軌跡の３次元位置を、カメラ画像の２次元位置に射影位置演算部２１２が算出した射影行列を適用することで、カメラ画像上に加工軌跡を重畳表示することを可能にする。重畳表示部２１４は、画像取得部２１１によって取得されたカメラ画像上に加工制御部２３が作成した加工軌跡をＡＲ画像として重畳表示させる。
　表示制御部２１は、表示装置１５において、ワーク３０をカメラ１４で撮影させることで生成された第１のカメラ画像３０ａに、３次元位置であるワーク３０の加工予定位置から変換された２次元位置である加工軌跡の拡張現実画像３１ａを重畳表示させる。
　加工制御部２３は、レーザ加工部１０によって、ワーク３０の加工軌跡に対応する位置をレーザ加工させる。
　表示補正部２２は、加工軌跡から複数の第１の特徴点を抽出し、レーザ加工の後に、ワーク３０をカメラ１４で撮影させることで生成された第２のカメラ画像におけるワーク３０の実際の加工跡から複数の第２の特徴点を抽出する特徴点抽出部２２１を有している。特徴点の抽出は、例えば、ＦＡＳＴ（Features　from　Accelerated　Segment　Test）、ＯＲＢ（Oriented　FAST　and　Rotated　BRIEF）、ＫＡＺＥといった手法で抽出することができる。これらの手法は、例えば、上記非特許文献２及び３に記載されている。
　また、表示補正部２２は、複数の第１の特徴点と複数の第２の特徴点とにおいて、互いに対応する第１の特徴点と第２の特徴点とからなる特徴点の対を求める特徴点マッチングを行うマッチング部２２２と、特徴点の対について、第１の特徴点の座標と第２の特徴点の座標との間のずれ量を求めるずれ量演算部２２３と、ずれ量を小さくするように、第２のカメラ画像に対する加工軌跡の拡張現実画像３１ａの表示位置を補正するずれ補正部２２４とを有している。
　図５は、実施の形態１に係るレーザ加工装置１のハードウェア構成を概略的に示す図である。図５に示されるように、レーザ加工装置１の制御装置（ＮＣ装置）１６は、プログラムを保存する記憶装置１０２と、プログラムを展開する場所であるメモリ１０３と、プログラムを実行するプロセッサ１０１とを有している。また、制御装置（ＮＣ装置）１６は、加工ヘッド１２及びカメラ１４と接続するためのネットワークインタフェース１１１と、加工ヘッド１２の位置情報を取得するためのセンサ１３が接続されるセンサインタフェース１１２と、プログラムの実行結果を表示する表示装置１５に接続される表示インタフェース１１３とを有している。
　図５に示される制御装置１６は、ソフトウェアとしてのレーザ加工プログラムを格納する記憶装置１０２と、レーザ加工プログラムを展開するためのメモリ１０３と、レーザ加工プログラムを実行する情報処理部としてのプロセッサ１０１とを用いて（例えば、コンピュータにより）実現することができる。この場合には、図３における記憶部２１３は、図５における記憶装置１０２及びメモリ１０３に相当し、図３の制御装置１６におけるその他の構成は、レーザ加工プログラムを実行するプロセッサ１０１に相当する。なお、図３に示される制御装置１６の一部を、図５に示される記憶装置１０２とメモリ１０３とプログラムを実行するプロセッサ１０１とによって実現してもよい。
《１－２》動作
　図６は、実施の形態１に係るレーザ加工装置１の動作（実施の形態１に係るレーザ加工方法）の一例を示すフローチャートである。
　先ず、射影位置演算部２１２は、カメラ１４の位置及び姿勢が計算済みであるか否かを確認する（ステップＳ１１）。
　計算済みである場合は（ステップＳ１１においてＹＥＳ）、射影位置演算部２１２は、記憶装置１０２から、レーザ加工プログラムの３次元座標をカメラ１４で撮影した画像の２次元座標に変換する変換式を読み込み（ステップＳ１４）、処理をステップＳ１５に進める。
　計算済みでない場合は（ステップＳ１１においてＮＯ）、射影位置演算部２１２は、カメラ１４の位置及び姿勢を計算し、変換式を求め（ステップＳ１２）、求められた変換式を記憶部２１３に保存し（ステップＳ１３）、処理をステップＳ１５に進める。
　対象物としてのワーク３０が加工テーブル１１に位置決めされて載置された後、画像取得部２１１は、カメラ１４にワーク３０を撮影（第１の撮影）させる（ステップＳ１５）。
　次に、加工制御部２３は、例えば、記憶部２１３からレーザ加工プログラムを読み込む（ステップＳ１６）。
　次に、重畳表示部２１４は、加工制御部２３によって生成された加工軌跡をＡＲ画像として、ステップＳ１５における撮影によって取得された画像上に重畳表示する（ステップＳ１７）。加工軌跡の表示位置は、例えば、レーザ加工プログラムから読み込んだ３次元座標値に対応する、撮影によって取得された画像上の座標である。
　次に、制御装置１６は、レーザ加工プログラムを実行することで、ＡＲ画像である加工軌跡の表示位置に従ってワークを加工する（ステップＳ１８）。加工軌跡の３次元位置に対応した画像上に、ＡＲ画像である加工軌跡が表示されるため、制御装置１６による加工は、画像上に表示したＡＲ画像である加工軌跡どおりに行われる。
　加工終了後、画像取得部２１１は、ワーク３０を撮影（第２の撮影）し、現実の加工跡が写った現実画像を取得する（ステップＳ１９）。
　特徴点抽出部２２１は、ワーク３０に現実の加工跡がある画像における現実の特徴点と、ＡＲ画像である加工軌跡を表示した画像におけるＡＲ画像の特徴点とを抽出する（ステップＳ２０）。
　マッチング部２２２は、現実の加工軌跡から抽出した特徴点とＡＲ画像の加工軌跡から抽出した特徴点との間で、同じ特徴点と判断された特徴点同士の対応関係を取得する（ステップＳ２１）。
　ずれ量演算部２２３は、対応関係のある現実の特徴点とＡＲの特徴点とを比較することで、特徴点の間のずれ量を算出する。対応関係のある特徴点の比較は、それぞれの座標値が、どれだけずれているかを基準とする（ステップＳ２２）。
　ずれ量演算部２２３は、特徴点の間のずれ量が予め決められた閾値以内であれば（ステップＳ２２においてＮＯ）、加工処理を終了する。
　ずれ量演算部２１０は、特徴点の間のずれ量が予め決められた閾値より大きければ（ステップＳ２２においてＹＥＳ）、処理をステップＳ２３に進める。
　ずれ補正部２２４は、ステップＳ２３において、対応関係にある現実の加工跡の特徴点とＡＲ画像の特徴点とから、射影変換行列を算出し、加工軌跡の表示位置を補正する（ステップＳ２３）。表示位置の補正は、画像に表示した加工軌跡が加工跡になるように射影変換行列を求めることで実行できる。加工軌跡のＡＲ画像の特徴点の座標値を（ｘ，ｙ）、加工跡の現実の特徴点を（Ｘ，Ｙ）とすると、射影変換行列Ａは、次式（１）で求めることができる。
Figure JPOXMLDOC01-appb-M000001
　式（１）において、射影変換行列Ａは、（３×３）の行列である。Ａを求めるためには、互いに対応する加工軌跡と加工跡の特徴点の対を３対以上必要である（ステップＳ２３１）。
　射影変換行列Ａを求めたら、抽出されたすべての特徴点に関して、ずれる前の特徴点に射影変換行列Ａを使用した座標と、ずれた後の特徴点の座標とを比較する。比較した結果、誤差が最も小さくなる射影変換行列Ａを決定する（ステップＳ２３２）。
　式（１）で求めた射影変換行列Ａを用いて、レーザ加工プログラムの３次元座標をカメラ画像の２次元座標に変換する変換式を補正する（ステップＳ２３３）。
《１－３》効果
　以上に説明したように、実施の形態１に係るレーザ加工装置及びレーザ加工方法によれば、実際にレーザ加工で形成された加工跡の特徴点と加工軌跡の特徴点とを用いて、カメラ画像の位置と重畳表示される加工軌跡の拡張現実画像の位置とを近づけるように補正（位置合わせ）するので、カメラ１４の位置及び姿勢が変化した場合であっても、加工位置の精度を高く維持することができる。
　また、実施の形態１に係るレーザ加工装置及びレーザ加工方法によれば、実際にレーザ加工で形成された加工跡の特徴点と加工軌跡の特徴点とを用いて、カメラ画像の位置と加工軌跡の位置とを近づける補正（位置合わせ）を自動的に実行することができるので、保守性を向上させることができる。
《２》実施の形態２．
　実施の形態１に係るレーザ加工装置１及びレーザ加工方法では、図４に示されるように、表示装置１５に表示される画像は、カメラ１４を視点位置としてワーク３０を斜め下に見た場合に得られる画像である。これに対し、実施の形態２に係るレーザ加工装置２及びレーザ加工方法では、カメラ１４の視点位置を実際の視点位置とは異なる任意の視点位置に変換したときの画像を表示装置１５に表示することができる。実施の形態２においては、演算によりワーク３０の真上に視点位置を置き、ワーク３０を真下に見たとき（すなわち、図１における－Ｚ方向に見たとき）の画像を表示装置１５に表示する場合を説明する。実施の形態２における視点位置を所望の位置に自動的に変更する機能は、自動表示位置校正機能とも言う。
　図８は、実施の形態２に係るレーザ加工装置２の概略構成を示す機能ブロック図である。レーザ加工装置２は、実施の形態２に係るレーザ加工方法を実施することができる装置である。図８において、図３に示される構成要素と同一又は対応する構成要素には、図３に示される符号と同じ符号が付される。図８に示されるように、実施の形態２に係るレーザ加工装置２は、制御装置１６ａの表示制御部２１ａ内の射影位置演算部２１２ａと重畳表示部２１４ａの処理内容の点において、実施の形態１に係るレーザ加工装置１と相違する。この点を除いて、実施の形態２は、実施の形態１と同じである。
　図９（ａ）及び（ｂ）は、実施の形態２に係るレーザ加工装置２におけるカメラ画像の視点変更の一例を示す図である。図９（ａ）に示されるように、上記実施の形態１においては、重畳表示部２１４は、加工軌跡の３次元座標を、カメラ画像と同様の２次元座標に変換して、加工軌跡を画像上に表示していた。これに対し、実施の形態２においては、射影位置演算部２１２ａは、カメラ画像の座標系における２次元座標を、加工軌跡の座標系と同じ３次元座標に変換する変換式をカメラキャリブレーションによって得られるカメラパラメータから予め求めて、記憶部２１３に格納する。射影位置演算部２１２ａは、カメラ画像の２次元画像を、加工軌跡の座標系と同じ３次元座標に変換することで、重畳表示部２１４ａは、カメラ１４の視点位置を任意の位置に移動させ、移動した任意の視点から見たカメラ画像に変換することができる。この機能を利用して、実施の形態２においては、任意視点のカメラ画像に同じ視点から見た加工軌跡を重畳表示することができる。図９（ｂ）に示されるように、実施の形態２においては、演算によりワーク３０の真上に視点位置を置き、ワーク３０を真下に見たときの画像３０ｂを表示装置１５に表示し、この画像に加工軌跡３１ｂを重畳表示している。なお、１１ｂは、テーブル１１の画像である。
　図１０は、実施の形態２に係るレーザ加工装置２の動作（実施の形態１に係るレーザ加工方法）の一例を示すフローチャートである。図１０において、図６に示される処理ステップと同一又は対応する処理ステップには、図６における符号と同じ符号が付される。図１０に示されるように、実施の形態２に係るレーザ加工装置２の動作は、図６におけるステップＳ１７を図１０におけるステップ２７に置き替えた点において、実施の形態１に係るレーザ加工装置１の動作と相違する。
　実施の形態２においては、ステップＳ１１～Ｓ１４において、射影位置演算部２１２ａは、カメラ画像の座標系における２次元座標を、加工軌跡の座標系と同じ３次元座標に変換する変換式をカメラキャリブレーションによって得られるカメラパラメータから予め求めて、記憶部２１３に格納する。
　その後、ステップＳ１５，Ｓ１６，Ｓ２７において、射影位置演算部２１２ａは、カメラ画像の２次元画像を、加工軌跡の座標系と同じ３次元座標に変換することで、重畳表示部２１４ａは、カメラ１４の視点位置を任意の位置に移動させ、移動した任意の視点から見たカメラ画像に変換し、図９（ｂ）に示されるように、ワーク３０の真上に視点位置を置き、ワーク３０を真下に見たときの画像３０ｂを表示装置１５に表示し、この画像に加工軌跡３１ｂを重畳表示している。
　その後、ステップ１８～Ｓ２３において、実施の形態１と同様に、レーザ加工及び位置合わせのための補正を行う。
　以上に説明したように、実施の形態２に係るレーザ加工装置２及びレーザ加工方法によれば、実際にレーザ加工で形成された加工跡の特徴点と加工軌跡の特徴点とを用いて、カメラ画像の位置と重畳表示される加工軌跡の拡張現実画像の位置とを近づけるように補正（位置合わせ）するので、カメラ１４の位置及び姿勢が変化した場合であっても、加工位置の精度を高く維持することができる。
　また、実施の形態２に係るレーザ加工装置２及びレーザ加工方法によれば、実際にレーザ加工で形成された加工跡の特徴点と加工軌跡の特徴点とを用いて、カメラ画像の位置と加工軌跡の位置とを近づける補正（位置合わせ）を自動的に実行することができるので、保守性を向上させることができる。
　さらに、実施の形態２に係るレーザ加工装置２及びレーザ加工方法によれば、カメラ１４の視点位置を任意の位置に移動させることができるので、ユーザは表示装置を通してカメラ画像を認知し易くなり、また、特徴点の抽出及び特徴点のマッチングの演算が容易になる。
《３》変形例
　上記実施の形態１及び２は、本発明が適用された装置、方法、及びプログラムの例に過ぎず、本発明の範囲内において、種々の変更が可能である。
　１，２　レーザ加工装置、　１０　レーザ加工部、　１１　テーブル、　１１ａ，１１ｂ　テーブルの画像、　１２　加工ヘッド、　１３　センサ、　１４　カメラ、　１５　表示装置、　１６，１６ａ　ＮＣ制御部（制御装置）、　１７，１８　移動機構、　２１，２１ａ　表示制御部、　２２　表示補正部、　２３　加工制御部、　３０　ワーク（対象物）、　３０ａ，３０ｂ　ワークの画像、　３１ａ，３１ｂ　加工軌跡、　１０１　プロセッサ、　１０２　記憶装置、　１０３　メモリ、　１１１　ネットワークインタフェース、　１１２　センサインタフェース、　１１３　表示インタフェース、　２１１　画像取得部、　２１２，２１２ａ　射影位置演算部、　２１３　記憶部、　２１４，２１４ａ　重畳表示部、　２２１　特徴点抽出部、　２２２　マッチング部、　２２３　ずれ量演算部、　２２４　ずれ補正部。

Claims (7)

  1. 　対象物をレーザ加工するレーザ加工部と、
    　前記対象物を撮影するカメラと、
    　画像を表示する表示装置と、
    　前記レーザ加工部、前記カメラ、及び前記表示装置を制御する制御装置と
    　を備え、
    　前記制御装置は、
    　前記表示装置において、前記対象物を前記カメラで撮影させることで生成された第１のカメラ画像に、３次元座標で示される前記対象物の加工予定位置から変換された２次元座標で示される加工軌跡の拡張現実画像を重畳表示させる表示制御部と、
    　前記レーザ加工部に、前記加工軌跡に対応する位置をレーザ加工させる加工制御部と、
    　前記加工軌跡から複数の第１の特徴点を抽出し、前記レーザ加工の後に、前記対象物を前記カメラで撮影させることで生成された第２のカメラ画像における前記対象物の実際の加工跡から複数の第２の特徴点を抽出し、前記複数の第１の特徴点と前記複数の第２の特徴点とにおいて、互いに対応する第１の特徴点と第２の特徴点とからなる特徴点の対を求め、前記特徴点の対について、前記第１の特徴点の座標と前記第２の特徴点の座標との間のずれ量を小さくするように、前記第２のカメラ画像に対する前記加工軌跡の拡張現実画像の表示位置を補正する表示補正部と
    　を有することを特徴とするレーザ加工装置。
  2. 　前記対象物が存在する３次元座標で示される位置と前記第１のカメラ画像の２次元座標で示される位置との変換式を保存する記憶部をさらに有し、
    　前記表示制御部は、前記変換式を用いて、前記対象物の加工予定位置の座標から前記加工軌跡の拡張現実画像の座標を生成する
    　ことを特徴とする請求項１に記載のレーザ加工装置。
  3. 　前記特徴点の対は、３対以上であることを特徴とする請求項１又は２に記載のレーザ加工装置。
  4. 　前記表示制御部は、前記カメラの位置及び姿勢によって決まる視点の位置を変更する変換式を有し、前記変換式によって視点の位置が変更された画像を前記表示装置に表示させることを特徴とする請求項１から３のいずれか１項に記載のレーザ加工装置。
  5. 　前記変更された視点の位置は、前記対象物を真上から見ることができる位置であることを特徴とする請求項４に記載のレーザ加工装置。
  6. 　レーザ加工の対象物をカメラで撮影することで第１のカメラ画像を生成する第１の撮影ステップと、
    　表示装置において、前記第１のカメラ画像に、３次元座標で示される前記対象物の加工予定位置から変換された２次元座標で示される加工軌跡の拡張現実画像を重畳表示させる表示ステップと、
    　前記加工軌跡に対応する前記加工予定位置をレーザ加工する加工ステップと、
    　前記加工ステップの後に、前記対象物を前記カメラで撮影することで第２のカメラ画像を生成する第２の撮影ステップと、
    　前記加工軌跡から複数の第１の特徴点を抽出し、前記第２のカメラ画像における前記対象物の実際の加工跡から複数の第２の特徴点を抽出する抽出ステップと、
    　前記複数の第１の特徴点と前記複数の第２の特徴点とにおいて、互いに対応する第１の特徴点と第２の特徴点とからなる特徴点の対を求めるマッチングステップと、
    　前記特徴点の対について、前記第１の特徴点の座標と前記第２の特徴点の座標との間のずれ量を小さくするように、前記第２のカメラ画像に対する前記加工軌跡の拡張現実画像の位置を補正する表示補正ステップと
    　を有することを特徴とするレーザ加工方法。
  7. 　対象物をレーザ加工するレーザ加工装置に、
    　前記対象物をカメラで撮影することで第１のカメラ画像を生成する第１の撮影ステップと、
    　表示装置において、前記第１のカメラ画像に、３次元座標で示される前記対象物の加工予定位置から変換された２次元座標で示される加工軌跡の拡張現実画像を重畳表示させる表示ステップと、
    　前記加工軌跡に対応する前記加工予定位置をレーザ加工する加工ステップと、
    　前記加工ステップの後に、前記対象物を前記カメラで撮影することで第２のカメラ画像を生成する第２の撮影ステップと、
    　前記加工軌跡から複数の第１の特徴点を抽出し、前記第２のカメラ画像における前記対象物の実際の加工跡から複数の第２の特徴点を抽出する抽出ステップと、
    　前記複数の第１の特徴点と前記複数の第２の特徴点とにおいて、互いに対応する第１の特徴点と第２の特徴点とからなる特徴点の対を求めるマッチングステップと、
    　前記特徴点の対について、前記第１の特徴点の座標と前記第２の特徴点の座標との間のずれ量を小さくするように、前記第２のカメラ画像に対する前記加工軌跡の拡張現実画像の位置を補正する表示補正ステップと
    　を実行させるためのレーザ加工プログラム。
PCT/JP2016/085128 2016-11-28 2016-11-28 レーザ加工装置、レーザ加工方法、及びレーザ加工プログラム WO2018096669A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017511800A JP6253847B1 (ja) 2016-11-28 2016-11-28 レーザ加工装置、レーザ加工方法、及びレーザ加工プログラム
PCT/JP2016/085128 WO2018096669A1 (ja) 2016-11-28 2016-11-28 レーザ加工装置、レーザ加工方法、及びレーザ加工プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/085128 WO2018096669A1 (ja) 2016-11-28 2016-11-28 レーザ加工装置、レーザ加工方法、及びレーザ加工プログラム

Publications (1)

Publication Number Publication Date
WO2018096669A1 true WO2018096669A1 (ja) 2018-05-31

Family

ID=60860163

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/085128 WO2018096669A1 (ja) 2016-11-28 2016-11-28 レーザ加工装置、レーザ加工方法、及びレーザ加工プログラム

Country Status (2)

Country Link
JP (1) JP6253847B1 (ja)
WO (1) WO2018096669A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102357042B1 (ko) * 2019-03-15 2022-01-27 삼성중공업 주식회사 선박 용접 장치용 카메라 모듈 및 용접 방법
JP2023047141A (ja) * 2021-09-24 2023-04-05 村田機械株式会社 ワーク位置判定装置、レーザ加工装置、及びワーク位置判定方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007111763A (ja) * 2005-10-21 2007-05-10 Keyence Corp ３次元加工データ設定装置、３次元加工データ設定方法、３次元加工データ設定プログラム、コンピュータで読み取り可能な記録媒体及び記録した機器並びにレーザ加工装置
JP2010099674A (ja) * 2008-10-21 2010-05-06 Mitsubishi Electric Corp レーザ加工装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007111763A (ja) * 2005-10-21 2007-05-10 Keyence Corp ３次元加工データ設定装置、３次元加工データ設定方法、３次元加工データ設定プログラム、コンピュータで読み取り可能な記録媒体及び記録した機器並びにレーザ加工装置
JP2010099674A (ja) * 2008-10-21 2010-05-06 Mitsubishi Electric Corp レーザ加工装置

Also Published As

Publication number Publication date
JPWO2018096669A1 (ja) 2018-11-22
JP6253847B1 (ja) 2017-12-27

Similar Documents

Publication Publication Date Title
JP5949242B2 (ja) ロボットシステム、ロボット、ロボット制御装置、ロボット制御方法、およびロボット制御プログラム
JP5850962B2 (ja) ビジュアルフィードバックを利用したロボットシステム
TWI670153B (zh) 機器人及機器人系統
JP2018111165A (ja) 視覚センサのキャリブレーション装置、方法及びプログラム
JP2012254518A (ja) ロボット制御システム、ロボットシステム及びプログラム
US9884425B2 (en) Robot, robot control device, and robotic system
WO2022062464A1 (zh) 基于计算机视觉的手眼标定方法及装置、存储介质
WO2021012124A1 (zh) 机器人手眼标定方法、装置、计算设备、介质以及产品
WO2021012122A1 (zh) 机器人手眼标定方法、装置、计算设备、介质以及产品
JP6885856B2 (ja) ロボットシステムおよびキャリブレーション方法
JP2010112859A (ja) ロボットシステム、ロボット制御装置およびロボット制御方法
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
JP2014013146A (ja) ３次元計測装置及びロボット装置
JP2007319938A (ja) ロボット装置及び物体の三次元形状の取得方法
CN112276936A (zh) 三维数据生成装置以及机器人控制系统
JP2018189580A (ja) カメラ校正装置及びカメラ校正プログラム
JP6777670B2 (ja) 画像処理を利用してロボットの教示を補正するロボットシステム
JP6253847B1 (ja) レーザ加工装置、レーザ加工方法、及びレーザ加工プログラム
JP7427370B2 (ja) 撮像装置、画像処理装置、画像処理方法、撮像装置の校正方法、ロボット装置、ロボット装置を用いた物品の製造方法、制御プログラムおよび記録媒体
JP2015005093A (ja) パターンマッチング装置及びパターンマッチング方法
JP2019077026A (ja) 制御装置、ロボットシステム、制御装置の動作方法及びプログラム
JP5530391B2 (ja) カメラポーズ推定装置、カメラポーズ推定方法及びカメラポーズ推定プログラム
KR20130075712A (ko) 레이저비전 센서 및 그 보정방법
CN112643718B (zh) 图像处理设备及其控制方法和存储其控制程序的存储介质
JP6507792B2 (ja) ロボットおよびロボットシステム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017511800

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16922200

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16922200

Country of ref document: EP

Kind code of ref document: A1