JP6253847B1

JP6253847B1 - レーザ加工装置、レーザ加工方法、及びレーザ加工プログラム

Info

Publication number: JP6253847B1
Application number: JP2017511800A
Authority: JP
Inventors: 猛大佐賀; 智史櫻井
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2016-11-28
Filing date: 2016-11-28
Publication date: 2017-12-27
Anticipated expiration: 2036-11-28
Also published as: WO2018096669A1; JPWO2018096669A1

Abstract

レーザ加工装置（１）は、レーザ加工部（１０）と、カメラ（１４）と、表示装置（１５）と、制御装置（１６）とを備え、制御装置は、表示装置（１５）において、対象物（３０）の第１のカメラ画像に、３次元座標で示される対象物の加工予定位置から変換された２次元座標で示される加工軌跡のＡＲ画像を重畳表示させる表示制御部（２１）と、加工軌跡から複数の第１の特徴点を抽出し、レーザ加工の後の第２のカメラ画像における対象物（３０）の実際の加工跡から複数の第２の特徴点を抽出し、複数の第１の特徴点と複数の第２の特徴点とにおいて、互いに対応する第１の特徴点と第２の特徴点とからなる特徴点の対を求め、特徴点の対について、第１の特徴点の座標と第２の特徴点の座標との間のずれ量を小さくするように、第２のカメラ画像に対する加工軌跡の拡張現実画像の表示位置を補正する表示補正部（２２）とを有する。

Description

本発明は、表示装置に表示された加工軌跡に従って対象物をレーザ加工するレーザ加工装置、並びに、表示装置に表示された加工軌跡に従って対象物をレーザ加工するために使用されるレーザ加工方法及びレーザ加工プログラムに関する。

従来のレーザ加工装置では、可動テーブル上に載置された補正用のワークの指令位置（加工目標位置）をレーザ加工し、指令位置と実際の加工箇所の位置とのずれ量を検出し、検出されたずれ量に基づいてレーザ加工の位置を補正している（例えば、特許文献１参照）。

また、他の従来のレーザ加工装置では、補正用のワークに基準位置を示す基準穴を形成し、基準穴のカメラ画像に基づいてレーザ加工に用いられる加工原点位置を補正している（例えば、特許文献２参照）。

また、非特許文献１は、既知の形状であるチェッカパターンを、カメラの姿勢を変えながらカメラ撮影することで、チェッカパターン上の各点とカメラ画像上の各点との対応情報を取得し、取得された対応情報からカメラパラメータを算出する方法、すなわち、カメラキャリブレーションの代表例を記載している。カメラパラメータを用いることにより、実際の３次元位置の座標とカメラ画像における２次元位置の座標との変換式を得ることができる。

特開２０１０−０９９６７４号公報（例えば、段落００１２）国際公開２０１５／１７０６３９号（例えば、段落０００６，００１１、要約）

Zhengyou Zhang、 "A Flexible New Technique for Camera Calibration"、 IEEE Transactions on Pattern Analysis and Machine Intelligence、 VOL.22、 NO.11、 pp.1330-1334、 Nov.2000 藤吉弘亘及び安倍満、「局所勾配特徴抽出技術ＳＩＦＴ以降のアプローチ」、精密工学会誌、Ｖｏｌ．７７、Ｎｏ．１２、２０１１、ｐｐ．１１０９−１１６． Pablo F. Alcantarilla、 Adrien Bartoli、 and Andrew J. Davison、 "KAZE Features"、 European Conference on Computer Vision、 Springer Berlin Heidelberg、 2012.

上記従来のレーザ加工装置では、加工ヘッド又は可動テーブルを移動機構で移動させながらワークを加工するので、加工ヘッド又は可動テーブルの加減速によって発生する振動がレーザ加工装置全体に伝わり、そのため、カメラの位置及び姿勢が一定に保たれず、カメラ画像を使用した加工位置指定の精度が低下するおそれがある。

表示装置において、ワークを撮影したカメラ画像上に加工予定位置を示す加工軌跡を重畳表示し、表示された加工軌跡に従ってレーザ加工を行う装置では、カメラの位置及び姿勢が振動によって変化した場合に、ワークを撮影して得られたカメラ画像内の実際の加工軌跡の位置とカメラ画像に重畳表示された加工軌跡の位置との関係が、カメラキャリブレーションを行った直後の初期状態からずれることがある。

上記ずれを補正するためには、補正用のワークを用いた補正プロセス又は再度のカメラキャリブレーションを行う必要があるが、この場合には、保守のための時間を要するので、保守性が低下する。

本発明は、上記従来の課題を解決するためになされたものであり、加工位置の精度を高く維持することができ且つ保守性に優れたレーザ加工装置、並びに、加工位置の精度を高く維持することを可能にするとともに保守性を向上させることができるレーザ加工方法及びレーザ加工プログラムを提供することを目的とする。

本発明の一態様に係るレーザ加工装置は、対象物をレーザ加工するレーザ加工部と、前記対象物を撮影するカメラと、画像を表示する表示装置と、前記カメラの位置及び姿勢に関する情報を用いたカメラキャリブレーションにより、前記対象物を前記カメラで撮影させることで生成されたカメラ画像に拡張現実画像として重畳表示される、３次元座標で示される前記対象物の加工予定位置から変換された２次元座標で示される加工軌跡としての前記拡張現実画像を生成する表示制御部と、前記表示装置において、前記対象物を前記カメラで撮影させることで生成された第１のカメラ画像に重畳表示されている前記拡張現実画像である前記加工軌跡どおりに、前記レーザ加工部にレーザ加工を実行させる加工制御部と、前記加工軌跡から複数の第１の特徴点を抽出し、前記レーザ加工の後に、前記対象物を前記カメラで撮影させることで生成された第２のカメラ画像における前記対象物の実際の加工跡から複数の第２の特徴点を抽出し、前記複数の第１の特徴点と前記複数の第２の特徴点とにおいて、互いに対応する第１の特徴点と第２の特徴点とからなる特徴点の対を求め、前記特徴点の対について、前記第１の特徴点と前記第２の特徴点との間のずれ量を小さくするように、前記表示制御部に、前記レーザ加工時において表示された前記拡張現実画像である前記加工軌跡の表示位置の補正指示を与える表示補正部とを有し、前記表示補正部は、前記補正指示にしたがって、前記加工制御部が前記レーザ加工部に実行させる次のレーザ加工時に前記第１のカメラ画像に重畳表示されている前記拡張現実画像である前記加工軌跡の表示位置を補正することで、前記加工制御部によって制御される前記次のレーザ加工時における前記加工軌跡どおりのレーザ加工の位置を補正することを特徴とするものである。

本発明の他の態様に係るレーザ加工方法は、対象物をレーザ加工するレーザ加工部と前記対象物を撮影するカメラと画像を表示する表示装置とを有するレーザ加工装置によって実行されるレーザ加工方法であって、前記カメラの位置及び姿勢に関する情報を用いたカメラキャリブレーションにより、前記対象物を前記カメラで撮影させることで生成されたカメラ画像に拡張現実画像として重畳表示される、３次元座標で示される前記対象物の加工予定位置から変換された２次元座標で示される加工軌跡としての前記拡張現実画像を生成する表示制御ステップと、前記表示装置において、前記対象物を前記カメラで撮影させることで生成された第１のカメラ画像に重畳表示されている前記拡張現実画像である前記加工軌跡どおりに、前記レーザ加工部にレーザ加工を実行させる加工制御ステップと、前記加工軌跡から複数の第１の特徴点を抽出し、前記レーザ加工の後に、前記対象物を前記カメラで撮影させることで生成された第２のカメラ画像における前記対象物の実際の加工跡から複数の第２の特徴点を抽出し、前記複数の第１の特徴点と前記複数の第２の特徴点とにおいて、互いに対応する第１の特徴点と第２の特徴点とからなる特徴点の対を求め、前記特徴点の対について、前記第１の特徴点と前記第２の特徴点との間のずれ量を小さくするように、前記加工制御ステップの前記レーザ加工時において表示された前記拡張現実画像である前記加工軌跡の表示位置の補正指示を与える補正指示ステップと、前記補正指示にしたがって、前記レーザ加工部に実行させる次のレーザ加工時に前記第１のカメラ画像に重畳表示されている前記拡張現実画像である前記加工軌跡の表示位置を補正することで、次の前記加工制御ステップにおいて制御される前記次のレーザ加工時における前記加工軌跡どおりのレーザ加工の位置を補正する表示位置補正ステップとを有することを特徴とするものである。

本発明によれば、実際にレーザ加工で形成された加工跡の特徴点と加工軌跡の特徴点とを用いて、カメラ画像の位置と重畳表示される加工軌跡の拡張現実画像の位置とを近づけるように補正（位置合わせ）するので、カメラの位置及び姿勢が変化した場合であっても、加工位置の精度を高く維持することができる。

また、本発明によれば、実際にレーザ加工で形成された加工跡の特徴点と加工軌跡の特徴点とを用いて、カメラ画像の位置と加工軌跡の位置とを近づける補正（位置合わせ）を自動的に実行することができるので、保守性を向上させることができる。

本発明の実施の形態１に係るレーザ加工装置の概略構成を示す俯瞰図である。実施の形態１に係るレーザ加工装置の加工ヘッドの移動機構の概略構成を示す平面図である。実施の形態１に係るレーザ加工装置の概略構成を示す機能ブロック図である。実施の形態１に係るレーザ加工装置におけるカメラ画像の一例を示す図である。実施の形態１に係るレーザ加工装置のハードウェア構成を概略的に示す図である。実施の形態１に係るレーザ加工装置の動作の一例を示すフローチャートである。実施の形態１に係るレーザ加工装置の重畳表示位置の補正動作の一例を示すフローチャートである。本発明の実施の形態２に係るレーザ加工装置の概略構成を示す機能ブロック図である。（ａ）及び（ｂ）は、実施の形態２に係るレーザ加工装置におけるカメラ画像の視点変更の一例を示す図である。実施の形態２に係るレーザ加工装置の動作の一例を示すフローチャートである。

以下に、本発明の実施の形態を、添付図面を参照しながら説明する。図に示される、ＸＹＺ直交座標系において、Ｘ軸とＹ軸は、レーザ加工の対象物としてのワーク（Work Piece）の横方向と縦方向にそれぞれ対応し、Ｚ軸は、ワークの厚み方向に対応する。

《１》実施の形態１．
《１−１》構成
図１は、本発明の実施の形態１に係るレーザ加工装置１の概略構成を示す俯瞰図である。図２は、図１に示される加工ヘッドの移動機構の概略構成を示す平面図である。

図１及び図２に示されるように、実施の形態１に係るレーザ加工装置１は、レーザ加工の対象物であるワーク３０をレーザ加工（例えば、切断及び穴開け）するレーザ加工部１０と、ワーク３０を撮影することでカメラ画像（画像データ）を生成する撮影装置としてのカメラ１４と、画像を表示する表示装置１５と、レーザ加工部１０、カメラ１４、及び表示装置１５を制御する制御装置１６とを備えている。カメラ１４は、例えば、ＣＣＤ（Charge-Coupled Device）カメラである。制御装置１６は、例えば、ＮＣ（Numerical Control）装置である。制御装置１６は、パーソナルコンピュータであってもよい。

レーザ加工部１０は、ワーク３０が載置されるワーク固定部としてのテーブル１１と、ワーク３０にレーザ光を照射してワーク３０をレーザ加工する加工ヘッド１２と、加工ヘッド１２の位置を検出するセンサ１３とを有している。図２に示されるように、加工ヘッド１２は、モータなどの駆動手段の駆動力を受けてＸ方向及びＹ方向に移動可能な移動機構１７，１８を備えている。また、加工ヘッド１２は、モータなどの駆動手段の駆動力を受けてＺ方向に移動可能な移動機構を備えてもよい。また、テーブル１１は、Ｘ方向、Ｙ方向、Ｚ方向に移動可能な可動テーブルであってもよい。また、テーブル１１は、ワーク３０を位置決め固定できる構造であれば、テーブル状の構造に限られない。また、テーブル１１が可動テーブルである場合には、加工ヘッド１２の位置が固定されてもよく、センサ１３は、可動テーブル１１の位置を検出することが望ましい。なお、加工ヘッド１２の台数は、２台以上であってもよい。また、カメラ１４の台数は、２台以上であってもよい。

図３は、実施の形態１に係るレーザ加工装置１の概略構成を示す機能ブロック図である。レーザ加工装置１は、実施の形態１に係るレーザ加工方法を実施することができる装置である。図３に示されるように、制御装置１６は、主要な構成として、表示制御部２１と、表示補正部２２と、加工制御部２３とを備えている。

表示制御部２１は、３次元空間における位置である３次元位置を、カメラ撮影によって取得された２次元画像における位置である２次元位置に射影することで得られた２次元画像を、表示装置１５に表示させる機能を持つ。３次元位置から２次元位置への変換は、カメラ１４の位置及び姿勢に関する情報を求めることで算出することができる。カメラ１４の位置及び姿勢を示す情報は、カメラキャリブレーションによってカメラパラメータ（外部パラメータ及び内部パラメータなど）として取得される。カメラキャリブレーションの代表例としては、上記非特許文献１に記載されている方法がある。ただし、使用されるカメラキャリブレーションは、カメラパラメータを取得できる他の方法であってもよい。

表示制御部２１は、例えば、画像取得部２１１と、射影位置演算部２１２と、記憶部２１３と、重畳表示部２１４とを有している。記憶部２１３は、表示制御部２１の外部に備えられても良い。記憶部２１３は、例えば、ＨＤＤ（Hard Disk Drive）、半導体メモリ、又はこれらの両方である。

画像取得部２１１は、ワーク３０をカメラ１４で撮影させることで生成されたカメラ画像（画像データ）を取得する。図４は、レーザ加工装置１におけるカメラ画像の一例を示す図である。図４において、１１ａは、テーブル１１の画像であり、３０ａは、ワーク３０の画像である。画像１１ａと３０ａは、カメラ１４による撮影によって生成されたカメラ画像である。３１ａは、カメラ画像に重畳される加工軌跡の拡張現実（ＡＲ：Augmented Reality）画像である。図４は、ワーク３０の網掛け領域の部分が、レーザ加工により除去される場合を示している。

射影位置演算部２１２は、加工制御部２３が作成した加工軌跡の３次元位置を、カメラ画像の２次元位置に射影するための射影行列を演算する。射影位置演算部２１２は、３次元位置であるワーク３０の加工予定位置の座標と２次元位置である加工軌跡の座標との間の変換式を記憶部２１３に記憶させる。また、射影位置演算部２１２は、算出した結果を機器の電源をオフにした後も保存し続けることができる記憶部２１３に格納する。

重畳表示部２１４は、加工制御部２３が作成した加工軌跡の３次元位置を、カメラ画像の２次元位置に射影位置演算部２１２が算出した射影行列を適用することで、カメラ画像上に加工軌跡を重畳表示することを可能にする。重畳表示部２１４は、画像取得部２１１によって取得されたカメラ画像上に加工制御部２３が作成した加工軌跡をＡＲ画像として重畳表示させる。

表示制御部２１は、表示装置１５において、ワーク３０をカメラ１４で撮影させることで生成された第１のカメラ画像３０ａに、３次元位置であるワーク３０の加工予定位置から変換された２次元位置である加工軌跡の拡張現実画像３１ａを重畳表示させる。

加工制御部２３は、レーザ加工部１０によって、ワーク３０の加工軌跡に対応する位置をレーザ加工させる。

表示補正部２２は、加工軌跡から複数の第１の特徴点を抽出し、レーザ加工の後に、ワーク３０をカメラ１４で撮影させることで生成された第２のカメラ画像におけるワーク３０の実際の加工跡から複数の第２の特徴点を抽出する特徴点抽出部２２１を有している。特徴点の抽出は、例えば、ＦＡＳＴ（Features from Accelerated Segment Test）、ＯＲＢ（Oriented FAST and Rotated BRIEF）、ＫＡＺＥといった手法で抽出することができる。これらの手法は、例えば、上記非特許文献２及び３に記載されている。

また、表示補正部２２は、複数の第１の特徴点と複数の第２の特徴点とにおいて、互いに対応する第１の特徴点と第２の特徴点とからなる特徴点の対を求める特徴点マッチングを行うマッチング部２２２と、特徴点の対について、第１の特徴点の座標と第２の特徴点の座標との間のずれ量を求めるずれ量演算部２２３と、ずれ量を小さくするように、第２のカメラ画像に対する加工軌跡の拡張現実画像３１ａの表示位置を補正するずれ補正部２２４とを有している。

図５は、実施の形態１に係るレーザ加工装置１のハードウェア構成を概略的に示す図である。図５に示されるように、レーザ加工装置１の制御装置（ＮＣ装置）１６は、プログラムを保存する記憶装置１０２と、プログラムを展開する場所であるメモリ１０３と、プログラムを実行するプロセッサ１０１とを有している。また、制御装置（ＮＣ装置）１６は、加工ヘッド１２及びカメラ１４と接続するためのネットワークインタフェース１１１と、加工ヘッド１２の位置情報を取得するためのセンサ１３が接続されるセンサインタフェース１１２と、プログラムの実行結果を表示する表示装置１５に接続される表示インタフェース１１３とを有している。

図５に示される制御装置１６は、ソフトウェアとしてのレーザ加工プログラムを格納する記憶装置１０２と、レーザ加工プログラムを展開するためのメモリ１０３と、レーザ加工プログラムを実行する情報処理部としてのプロセッサ１０１とを用いて（例えば、コンピュータにより）実現することができる。この場合には、図３における記憶部２１３は、図５における記憶装置１０２及びメモリ１０３に相当し、図３の制御装置１６におけるその他の構成は、レーザ加工プログラムを実行するプロセッサ１０１に相当する。なお、図３に示される制御装置１６の一部を、図５に示される記憶装置１０２とメモリ１０３とプログラムを実行するプロセッサ１０１とによって実現してもよい。

《１−２》動作
図６は、実施の形態１に係るレーザ加工装置１の動作（実施の形態１に係るレーザ加工方法）の一例を示すフローチャートである。

先ず、射影位置演算部２１２は、カメラ１４の位置及び姿勢が計算済みであるか否かを確認する（ステップＳ１１）。

計算済みである場合は（ステップＳ１１においてＹＥＳ）、射影位置演算部２１２は、記憶装置１０２から、レーザ加工プログラムの３次元座標をカメラ１４で撮影した画像の２次元座標に変換する変換式を読み込み（ステップＳ１４）、処理をステップＳ１５に進める。

計算済みでない場合は（ステップＳ１１においてＮＯ）、射影位置演算部２１２は、カメラ１４の位置及び姿勢を計算し、変換式を求め（ステップＳ１２）、求められた変換式を記憶部２１３に保存し（ステップＳ１３）、処理をステップＳ１５に進める。

対象物としてのワーク３０が加工テーブル１１に位置決めされて載置された後、画像取得部２１１は、カメラ１４にワーク３０を撮影（第１の撮影）させる（ステップＳ１５）。

次に、加工制御部２３は、例えば、記憶部２１３からレーザ加工プログラムを読み込む（ステップＳ１６）。

次に、重畳表示部２１４は、加工制御部２３によって生成された加工軌跡をＡＲ画像として、ステップＳ１５における撮影によって取得された画像上に重畳表示する（ステップＳ１７）。加工軌跡の表示位置は、例えば、レーザ加工プログラムから読み込んだ３次元座標値に対応する、撮影によって取得された画像上の座標である。

次に、制御装置１６は、レーザ加工プログラムを実行することで、ＡＲ画像である加工軌跡の表示位置に従ってワークを加工する（ステップＳ１８）。加工軌跡の３次元位置に対応した画像上に、ＡＲ画像である加工軌跡が表示されるため、制御装置１６による加工は、画像上に表示したＡＲ画像である加工軌跡どおりに行われる。

加工終了後、画像取得部２１１は、ワーク３０を撮影（第２の撮影）し、現実の加工跡が写った現実画像を取得する（ステップＳ１９）。

特徴点抽出部２２１は、ワーク３０に現実の加工跡がある画像における現実の特徴点と、ＡＲ画像である加工軌跡を表示した画像におけるＡＲ画像の特徴点とを抽出する（ステップＳ２０）。

マッチング部２２２は、現実の加工軌跡から抽出した特徴点とＡＲ画像の加工軌跡から抽出した特徴点との間で、同じ特徴点と判断された特徴点同士の対応関係を取得する（ステップＳ２１）。

ずれ量演算部２２３は、対応関係のある現実の特徴点とＡＲの特徴点とを比較することで、特徴点の間のずれ量を算出する。対応関係のある特徴点の比較は、それぞれの座標値が、どれだけずれているかを基準とする（ステップＳ２２）。

ずれ量演算部２２３は、特徴点の間のずれ量が予め決められた閾値以内であれば（ステップＳ２２においてＮＯ）、加工処理を終了する。

ずれ量演算部２１０は、特徴点の間のずれ量が予め決められた閾値より大きければ（ステップＳ２２においてＹＥＳ）、処理をステップＳ２３に進める。

ずれ補正部２２４は、ステップＳ２３において、対応関係にある現実の加工跡の特徴点とＡＲ画像の特徴点とから、射影変換行列を算出し、加工軌跡の表示位置を補正する（ステップＳ２３）。表示位置の補正は、画像に表示した加工軌跡が加工跡になるように射影変換行列を求めることで実行できる。加工軌跡のＡＲ画像の特徴点の座標値を（ｘ，ｙ）、加工跡の現実の特徴点を（Ｘ，Ｙ）とすると、射影変換行列Ａは、次式（１）で求めることができる。

式（１）において、射影変換行列Ａは、（３×３）の行列である。Ａを求めるためには、互いに対応する加工軌跡と加工跡の特徴点の対を３対以上必要である（ステップＳ２３１）。

射影変換行列Ａを求めたら、抽出されたすべての特徴点に関して、ずれる前の特徴点に射影変換行列Ａを使用した座標と、ずれた後の特徴点の座標とを比較する。比較した結果、誤差が最も小さくなる射影変換行列Ａを決定する（ステップＳ２３２）。

式（１）で求めた射影変換行列Ａを用いて、レーザ加工プログラムの３次元座標をカメラ画像の２次元座標に変換する変換式を補正する（ステップＳ２３３）。

《１−３》効果
以上に説明したように、実施の形態１に係るレーザ加工装置及びレーザ加工方法によれば、実際にレーザ加工で形成された加工跡の特徴点と加工軌跡の特徴点とを用いて、カメラ画像の位置と重畳表示される加工軌跡の拡張現実画像の位置とを近づけるように補正（位置合わせ）するので、カメラ１４の位置及び姿勢が変化した場合であっても、加工位置の精度を高く維持することができる。

また、実施の形態１に係るレーザ加工装置及びレーザ加工方法によれば、実際にレーザ加工で形成された加工跡の特徴点と加工軌跡の特徴点とを用いて、カメラ画像の位置と加工軌跡の位置とを近づける補正（位置合わせ）を自動的に実行することができるので、保守性を向上させることができる。

《２》実施の形態２．
実施の形態１に係るレーザ加工装置１及びレーザ加工方法では、図４に示されるように、表示装置１５に表示される画像は、カメラ１４を視点位置としてワーク３０を斜め下に見た場合に得られる画像である。これに対し、実施の形態２に係るレーザ加工装置２及びレーザ加工方法では、カメラ１４の視点位置を実際の視点位置とは異なる任意の視点位置に変換したときの画像を表示装置１５に表示することができる。実施の形態２においては、演算によりワーク３０の真上に視点位置を置き、ワーク３０を真下に見たとき（すなわち、図１における−Ｚ方向に見たとき）の画像を表示装置１５に表示する場合を説明する。実施の形態２における視点位置を所望の位置に自動的に変更する機能は、自動表示位置校正機能とも言う。

図８は、実施の形態２に係るレーザ加工装置２の概略構成を示す機能ブロック図である。レーザ加工装置２は、実施の形態２に係るレーザ加工方法を実施することができる装置である。図８において、図３に示される構成要素と同一又は対応する構成要素には、図３に示される符号と同じ符号が付される。図８に示されるように、実施の形態２に係るレーザ加工装置２は、制御装置１６ａの表示制御部２１ａ内の射影位置演算部２１２ａと重畳表示部２１４ａの処理内容の点において、実施の形態１に係るレーザ加工装置１と相違する。この点を除いて、実施の形態２は、実施の形態１と同じである。

図９（ａ）及び（ｂ）は、実施の形態２に係るレーザ加工装置２におけるカメラ画像の視点変更の一例を示す図である。図９（ａ）に示されるように、上記実施の形態１においては、重畳表示部２１４は、加工軌跡の３次元座標を、カメラ画像と同様の２次元座標に変換して、加工軌跡を画像上に表示していた。これに対し、実施の形態２においては、射影位置演算部２１２ａは、カメラ画像の座標系における２次元座標を、加工軌跡の座標系と同じ３次元座標に変換する変換式をカメラキャリブレーションによって得られるカメラパラメータから予め求めて、記憶部２１３に格納する。射影位置演算部２１２ａは、カメラ画像の２次元画像を、加工軌跡の座標系と同じ３次元座標に変換することで、重畳表示部２１４ａは、カメラ１４の視点位置を任意の位置に移動させ、移動した任意の視点から見たカメラ画像に変換することができる。この機能を利用して、実施の形態２においては、任意視点のカメラ画像に同じ視点から見た加工軌跡を重畳表示することができる。図９（ｂ）に示されるように、実施の形態２においては、演算によりワーク３０の真上に視点位置を置き、ワーク３０を真下に見たときの画像３０ｂを表示装置１５に表示し、この画像に加工軌跡３１ｂを重畳表示している。なお、１１ｂは、テーブル１１の画像である。

図１０は、実施の形態２に係るレーザ加工装置２の動作（実施の形態１に係るレーザ加工方法）の一例を示すフローチャートである。図１０において、図６に示される処理ステップと同一又は対応する処理ステップには、図６における符号と同じ符号が付される。図１０に示されるように、実施の形態２に係るレーザ加工装置２の動作は、図６におけるステップＳ１７を図１０におけるステップ２７に置き替えた点において、実施の形態１に係るレーザ加工装置１の動作と相違する。

実施の形態２においては、ステップＳ１１〜Ｓ１４において、射影位置演算部２１２ａは、カメラ画像の座標系における２次元座標を、加工軌跡の座標系と同じ３次元座標に変換する変換式をカメラキャリブレーションによって得られるカメラパラメータから予め求めて、記憶部２１３に格納する。

その後、ステップＳ１５，Ｓ１６，Ｓ２７において、射影位置演算部２１２ａは、カメラ画像の２次元画像を、加工軌跡の座標系と同じ３次元座標に変換することで、重畳表示部２１４ａは、カメラ１４の視点位置を任意の位置に移動させ、移動した任意の視点から見たカメラ画像に変換し、図９（ｂ）に示されるように、ワーク３０の真上に視点位置を置き、ワーク３０を真下に見たときの画像３０ｂを表示装置１５に表示し、この画像に加工軌跡３１ｂを重畳表示している。

その後、ステップ１８〜Ｓ２３において、実施の形態１と同様に、レーザ加工及び位置合わせのための補正を行う。

以上に説明したように、実施の形態２に係るレーザ加工装置２及びレーザ加工方法によれば、実際にレーザ加工で形成された加工跡の特徴点と加工軌跡の特徴点とを用いて、カメラ画像の位置と重畳表示される加工軌跡の拡張現実画像の位置とを近づけるように補正（位置合わせ）するので、カメラ１４の位置及び姿勢が変化した場合であっても、加工位置の精度を高く維持することができる。

また、実施の形態２に係るレーザ加工装置２及びレーザ加工方法によれば、実際にレーザ加工で形成された加工跡の特徴点と加工軌跡の特徴点とを用いて、カメラ画像の位置と加工軌跡の位置とを近づける補正（位置合わせ）を自動的に実行することができるので、保守性を向上させることができる。

さらに、実施の形態２に係るレーザ加工装置２及びレーザ加工方法によれば、カメラ１４の視点位置を任意の位置に移動させることができるので、ユーザは表示装置を通してカメラ画像を認知し易くなり、また、特徴点の抽出及び特徴点のマッチングの演算が容易になる。

《３》変形例
上記実施の形態１及び２は、本発明が適用された装置、方法、及びプログラムの例に過ぎず、本発明の範囲内において、種々の変更が可能である。

１，２レーザ加工装置、１０レーザ加工部、１１テーブル、１１ａ，１１ｂテーブルの画像、１２加工ヘッド、１３センサ、１４カメラ、１５表示装置、１６，１６ａＮＣ制御部（制御装置）、１７，１８移動機構、２１，２１ａ表示制御部、２２表示補正部、２３加工制御部、３０ワーク（対象物）、３０ａ，３０ｂワークの画像、３１ａ，３１ｂ加工軌跡、１０１プロセッサ、１０２記憶装置、１０３メモリ、１１１ネットワークインタフェース、１１２センサインタフェース、１１３表示インタフェース、２１１画像取得部、２１２，２１２ａ射影位置演算部、２１３記憶部、２１４，２１４ａ重畳表示部、２２１特徴点抽出部、２２２マッチング部、２２３ずれ量演算部、２２４ずれ補正部。

Claims

対象物をレーザ加工するレーザ加工部と、
前記対象物を撮影するカメラと、
画像を表示する表示装置と、
前記カメラの位置及び姿勢に関する情報を用いたカメラキャリブレーションにより、前記対象物を前記カメラで撮影させることで生成されたカメラ画像に拡張現実画像として重畳表示される、３次元座標で示される前記対象物の加工予定位置から変換された２次元座標で示される加工軌跡としての前記拡張現実画像を生成する表示制御部と、
前記表示装置において、前記対象物を前記カメラで撮影させることで生成された第１のカメラ画像に重畳表示されている前記拡張現実画像である前記加工軌跡どおりに、前記レーザ加工部にレーザ加工を実行させる加工制御部と、
前記加工軌跡から複数の第１の特徴点を抽出し、前記レーザ加工の後に、前記対象物を前記カメラで撮影させることで生成された第２のカメラ画像における前記対象物の実際の加工跡から複数の第２の特徴点を抽出し、前記複数の第１の特徴点と前記複数の第２の特徴点とにおいて、互いに対応する第１の特徴点と第２の特徴点とからなる特徴点の対を求め、前記特徴点の対について、前記第１の特徴点と前記第２の特徴点との間のずれ量を小さくするように、前記表示制御部に、前記レーザ加工時において表示された前記拡張現実画像である前記加工軌跡の表示位置の補正指示を与える表示補正部と
を有し、
前記表示補正部は、前記補正指示にしたがって、前記加工制御部が前記レーザ加工部に実行させる次のレーザ加工時に前記第１のカメラ画像に重畳表示されている前記拡張現実画像である前記加工軌跡の表示位置を補正することで、前記加工制御部によって制御される前記次のレーザ加工時における前記加工軌跡どおりのレーザ加工の位置を補正する
ことを特徴とするレーザ加工装置。
前記対象物が存在する３次元座標で示される位置と前記２次元座標で示される位置との変換式を保存する記憶部をさらに有し、
前記表示制御部は、前記変換式を用いて、前記対象物の加工予定位置の座標から前記加工軌跡の拡張現実画像の座標を生成する
ことを特徴とする請求項１に記載のレーザ加工装置。
前記特徴点の対は、４対以上であることを特徴とする請求項１又は２に記載のレーザ加工装置。
前記表示制御部は、前記カメラの位置及び姿勢によって決まる視点の位置を変更する変換式を有し、前記変換式によって視点の位置が変更された画像を前記表示装置に表示させることを特徴とする請求項１から３のいずれか１項に記載のレーザ加工装置。
前記変更された視点の位置は、前記対象物を真上から見ることができる位置であることを特徴とする請求項４に記載のレーザ加工装置。
対象物をレーザ加工するレーザ加工部と前記対象物を撮影するカメラと画像を表示する表示装置とを有するレーザ加工装置によって実行されるレーザ加工方法であって、
前記カメラの位置及び姿勢に関する情報を用いたカメラキャリブレーションにより、前記対象物を前記カメラで撮影させることで生成されたカメラ画像に拡張現実画像として重畳表示される、３次元座標で示される前記対象物の加工予定位置から変換された２次元座標で示される加工軌跡としての前記拡張現実画像を生成する表示制御ステップと、
前記表示装置において、前記対象物を前記カメラで撮影させることで生成された第１のカメラ画像に重畳表示されている前記拡張現実画像である前記加工軌跡どおりに、前記レーザ加工部にレーザ加工を実行させる加工制御ステップと、
前記加工軌跡から複数の第１の特徴点を抽出し、前記レーザ加工の後に、前記対象物を前記カメラで撮影させることで生成された第２のカメラ画像における前記対象物の実際の加工跡から複数の第２の特徴点を抽出し、前記複数の第１の特徴点と前記複数の第２の特徴点とにおいて、互いに対応する第１の特徴点と第２の特徴点とからなる特徴点の対を求め、前記特徴点の対について、前記第１の特徴点と前記第２の特徴点との間のずれ量を小さくするように、前記加工制御ステップの前記レーザ加工時において表示された前記拡張現実画像である前記加工軌跡の表示位置の補正指示を与える補正指示ステップと、
前記補正指示にしたがって、前記レーザ加工部に実行させる次のレーザ加工時に前記第１のカメラ画像に重畳表示されている前記拡張現実画像である前記加工軌跡の表示位置を補正することで、次の前記加工制御ステップにおいて制御される前記次のレーザ加工時における前記加工軌跡どおりのレーザ加工の位置を補正する表示位置補正ステップと
を有することを特徴とするレーザ加工方法。
対象物をレーザ加工するレーザ加工部と前記対象物を撮影するカメラと画像を表示する表示装置とを有するレーザ加工装置に、
前記カメラの位置及び姿勢に関する情報を用いたカメラキャリブレーションにより、前記対象物を前記カメラで撮影させることで生成されたカメラ画像に拡張現実画像として重畳表示される、３次元座標で示される前記対象物の加工予定位置から変換された２次元座標で示される加工軌跡としての前記拡張現実画像を生成する表示制御ステップと、
前記表示装置において、前記対象物を前記カメラで撮影させることで生成された第１のカメラ画像に重畳表示されている前記拡張現実画像である前記加工軌跡どおりに、前記レーザ加工部にレーザ加工を実行させる加工制御ステップと、
前記加工軌跡から複数の第１の特徴点を抽出し、前記レーザ加工の後に、前記対象物を前記カメラで撮影させることで生成された第２のカメラ画像における前記対象物の実際の加工跡から複数の第２の特徴点を抽出し、前記複数の第１の特徴点と前記複数の第２の特徴点とにおいて、互いに対応する第１の特徴点と第２の特徴点とからなる特徴点の対を求め、前記特徴点の対について、前記第１の特徴点と前記第２の特徴点との間のずれ量を小さくするように、前記加工制御ステップの前記レーザ加工時において表示された前記拡張現実画像である前記加工軌跡の表示位置の補正指示を与える補正指示ステップと、
前記補正指示にしたがって、前記レーザ加工部に実行させる次のレーザ加工時に前記第１のカメラ画像に重畳表示されている前記拡張現実画像である前記加工軌跡の表示位置を補正することで、次の前記加工制御ステップにおいて制御される前記次のレーザ加工時における前記加工軌跡どおりのレーザ加工の位置を補正する表示位置補正ステップと
を実行させるためのレーザ加工プログラム。