JP7082715B2 - 深層畳み込みニューラルネットワークを用いたレーザ加工システムの加工誤差の検出 - Google Patents

Description

本開示は、被加工物を加工するためのレーザ加工システムのための加工誤差を認識するためのシステム、およびレーザビームを用いて被加工物を加工するための加工システムに関し、前記加工システムは、このような加工誤差を認識するためのシステムを含む。本開示はまた、被加工物を加工するためのレーザ加工システムにおける加工誤差を認識する方法に関する。

レーザビームを用いて被加工物を加工するための加工システムにおいて、レーザ光源またはレーザ光ファイバの端部から出るレーザビームは、ビーム誘導および合焦光学系を用いて、加工されることになる被加工物上に合焦され、またはコリメートされる。加工は、例えば、レーザ切断、はんだ付けまたは溶接を含み得る。レーザ加工システムは、例えばレーザ加工ヘッドを備え得る。

特に被加工物のレーザ溶接およびはんだ付けに関して、作成された接続の品質を検査するまたは評価することが重要である。レーザ溶接およびはんだ付けにおける品質評価のための現在の解決策は、通常いわゆる後処理検査を含む。

溶接またはんだ付けされた継ぎ目の後処理検査は通常、画像処理を用いて実行され、加工された被加工物の表面上の、溶接またはんだ付けされた継ぎ目を示す２Ｄ画像が分析される。後処理検査の目的は、すべての欠陥を確実に位置特定および識別することである。画像処理の専門用語において、溶接およびはんだ付けされた継ぎ目表面は、確率論的または決定論的なテクスチャからなる。また、溶接された接合部の幾何形状データを決定するために、加工された被加工物表面の３Ｄデータが取得され得る。どの幾何形状データが取得され、評価されなければならないかは、それぞれの標準において明記される。レーザ溶接の注文仕立て素材に対しては、これは例えばＳＥＬ１００標準である。２Ｄおよび３Ｄデータの抽出および査定は、通常は別々に実行される。

溶接およびはんだ付けされた継ぎ目の品質を表すまたは記述する有意な特徴は、データから抽出されまたは計算される。加工品質の最終的査定は、特徴計算のパラメータ化、およびテクスチャの計算された特性特徴のパラメータ化によって行われる。最も簡単な場合、これらは特徴を特性化する値がその間になければならない閾値である。例えば、被加工物表面における穴または細孔など、局所的欠陥または加工誤差は、目標幾何形状からの局所的偏移（被加工物表面の局所的に極度に深いまたは高い領域）を通じて検出される。

したがって、加工品質を特性化する特徴の抽出および分類が行われる。抽出され、分類された特徴を基礎にして、加工誤差が検出され、分類され、加工された被加工物は、例えば、「良品」として（すなわち、さらなる加工または販売に適する）、または「不良品」として（すなわち、スクラップとして）ラベル付けされ、または分類される。どの有意な特徴が本当にレーザ加工の品質の評価のために用いられ得るか、およびこれらの特徴が品質の評価にどのような影響を有するかは当分野でのエキスパートによってのみ決定されおよび実施されることができ、なぜなら調整されることになるパラメータの数のため、これらのシステムの複雑さが非常に高いからである。現在のシステムでは、この目的のために３００個までのパラメータが調整される。しかし、これらの設定は、幅広い知識を取得したエキスパートによってのみ調整され得る。

テクスチャのこの分析はまた、品質を特性化する特徴が、用いられる材料、印加されるレーザパワー、溶接測度、およびさらに多くに大きく依存するので複雑である。これは、特徴の抽出および評価または分類は、パラメータを通じて調整されなければならないことを意味する。新たな材料に対するレーザ加工を調整すること、または表面テクスチャを変化させる加工プロセスにおける変化は、画像処理のアルゴリズムおよびパラメータにおける変更を必要とする。例えば製品変更を通した、レーザ加工のあらゆる調整は、パラメータが再び設定されるまたは再調整されることを必要とする。

したがって、エキスパートの訓練は複雑で長期にわたる。加えて、パラメータを設定するおよび再調整することは、レーザ加工システムの顧客での製造における長い生産中断を必要とする。加えて、誤ったパラメータ化のリスクが高い。

したがって、レーザ加工の品質の査定を簡単にすることが本発明の目的である。また複雑なパラメータ化プロセスなしに、加工誤差を確実におよび迅速に検出することが本発明の目的である。

さらに、レーザ加工の品質の査定および加工誤差の検出を自動化し、これによりプロセスの監視を可能とするシステムを提供することが本発明の目的である。

またレーザ加工の品質の査定および加工誤差の検出は、変化した加工プロセスまたは異なる被加工物材料など、変化した環境または変化した状況に対して、迅速におよび容易に適合され得るシステムをもたらすことが本発明の目的である。

さらに、レーザ加工の品質および加工誤差の検出が、加工された被加工物表面から取得された未加工データに基づいて査定される、システムをもたらすことが本発明の目的である（いわゆる「エンドツーエンド」加工または分析）。

これらの目的は、独立請求項の主題によって達成される。有利な実施形態およびさらなる発展形態は、対応する従属請求項の主題である。

本発明は、レーザ加工の品質および加工誤差の検出は、加工された被加工物表面の画像および高さデータに基づいて査定されるという発想に基づく。

本開示の態様によれば、被加工物を加工するためのレーザ加工システムのための加工誤差を検出するためのシステムがもたらされ、前記システムは、被加工物表面の画像データおよび高さデータを検出するための検出ユニットと、コンピューティングユニットとを備え、前記コンピューティングユニットは、伝達関数を用いて、検出された画像データおよび高さデータに基づいて入力テンソルから、加工誤差についての情報を含んだ出力テンソルを決定するように構成される。

したがって、システムは、レーザ加工システムによって加工された被加工物内に加工誤差があるかどうかを独立して検出することができる。

言い換えれば、加工システムの加工プロセスの品質は、加工誤差についての情報を基礎にして決定され得る。画像および高さデータの同時処理は、評価をより確かに、コンパクトに、および高速にすることができる。

検出ユニットは、画像データを検出するための画像検出ユニットを備え得る。検出ユニットは、高さデータを検出するための高さ検出ユニットをさらに備え得る。画像検出ユニットおよび高さ検出ユニットは、それぞれ少なくとも１つの対応するセンサを備え得る。

画像検出ユニットは、カメラシステム、具体的には２Ｄおよび／または３Ｄカメラシステムを備えることが好ましく、入射光ＬＥＤ照明を有することが好ましい。より好ましくはまたは代替として、高さ検出ユニットは、三角測量システムおよび／またはＯＣＴ（「光コヒーレンストモグラフィ（ｏｐｔｉｃａｌ ｃｏｈｅｒｅｎｃｅ ｔｏｍｏｇｒａｐｈｙ）」）システムを備える。

実施形態によれば、高さ検出ユニットはまた、例えばＯＣＴシステムを用いて、被加工物表面までの距離、例えばレーザ加工システムの加工ヘッドと被加工物表面との間の距離を決定することができ、および距離を基礎にして高さデータを決定することができる。

検出ユニットはまた、画像データおよび高さデータの両方を検出するように構成された１つ以上のセンサ、例えばステレオカメラシステムを備えることができ、ＬＥＤ照明を有することが好ましい。

画像データは、加工された被加工物表面の区画の２次元画像または２次元イメージングに対応することが好ましい。高さデータは、表面の同じ区画の３次元高さ幾何形状に対応し得る。言い換えれば、画像データは、加工された被加工物表面の区画の２次元画像を表すことができ、高さデータは、表面の同じ区画の３次元高さまたは表面幾何形状を表し得る。

したがって、画像データは、加工された被加工物表面の区画、好ましくはレーザ加工システムによって前に加工された被加工物表面の区画の、画像または写真の画素データを備え得る。高さデータは、加工された被加工物表面の同じ区画の各画素に対する高さ値を備え得る。画像データおよび高さデータは、等価にスケーリングされ得る。

検出ユニットおよび／またはコンピューティングユニットは、区画のある領域を示す画像の各画素に対して、同じ領域の高さデータの高さ値が存在するように、画像データおよび高さデータを処理するように構成されることが好ましい。被加工物表面上のある領域または点の高さ値は、好ましくは被加工物表面に平行に延びる基準平面からの、この領域または点の距離を特定し得る。

検出ユニットは、高さデータおよび画像データから２チャネル画像を生成するように構成され得る。

したがって、２チャネル画像は、画素データに対応する被加工物表面の画素データおよび高さ値を含み得る。各画素は、被加工物表面の光学像に基づく明るさ情報またはグレーレベルを表し得る。

画像データおよび／または高さデータは、ｎ×ｍ個の値を備えることができ、ｎおよびｍは自然数である。入力テンソルは、ｎ×ｍ×２個の値を備え得る。言い換えれば、入力テンソルは、画像データの数の２倍に対応する大きさを有し得る。したがって、入力テンソルは、被加工物表面の画像の２倍の値を有し得る。例えば、画像は１０２４×１０２４画素を有し得る。

さらに、入力テンソルは、レーザ加工システムの制御データを含み得る。この場合、入力テンソルの大きさはそれに応じて増加し得る。制御データは、被加工物の加工の間の所与の時点における、レーザ加工システムのレーザの出力パワーを示す少なくとも１つの値、レーザビームの設定された焦点位置、加工速度などを含み得る。

最も簡単な場合、出力テンソルは、被加工物の加工が良いか不良かに関する情報を含み得る。この情報に基づいて、加工された被加工物は、さらなる加工を受ける、もしくは販売されることができ、またはスクラップとしてマークされることができ、もはや用いられない。システムによるこのいわゆる被加工物の加工後検査の目的は、したがってできるだけすべての関連した加工誤差または欠陥を検出することである。

さらに、システムは、被加工物の表面上に存在する加工誤差のタイプ、位置、および／またはサイズを示すことができる。

したがって、出力テンソルは以下の情報すなわち、加工誤差の存在、加工誤差のタイプ、被加工物表面上の加工誤差の位置、一定のタイプの加工誤差が生じた確率、および／または被加工物表面上の加工誤差の空間的および／または平面的範囲の、少なくとも１つを含み得る。

加工誤差のタイプは、細孔、穴、被加工物を通る貫通の欠如、フォールスフレンド、飛び散り、または間隙のうちの少なくとも１つとすることができる。

通常、システムは、すでに加工されている被加工物の位置における誤差を検出する。コンピューティングユニットは、したがって、被加工物がレーザ加工システムによって加工されている間、または加工が完了した後に、出力テンソルを決定するように構成される。

これは、被加工物がレーザ加工システムによって加工されたときに１つ以上の加工誤差が生じたかどうか、これらの１つ以上の誤差がどのような空間的範囲を有するか、または被加工物表面上のどの位置にこれらの１つ以上の誤差が位置するかを、決定することを可能にする。加えて、出力テンソルは、システムが１つ以上の誤差の存在を決定した確実性または信頼度についての情報を含み得る。

入力テンソルと出力テンソルとの間の伝達関数は、（事前に）教示されたまたは訓練されたニューラルネットワークによって形成されることが好ましい。言い換えれば、コンピューティングユニットは、ニューラルネットワークを備え得る。ニューラルネットワークは、誤差フィードバックまたは逆伝搬によって訓練されていてもよい。

コンピューティングユニットは、ニューラルネットワークを訓練するまたは適合させるための訓練データを受信するように構成されたインターフェースを有することが好ましい。加工ユニットは、具体的には、例えば訓練データに基づいて、転移学習を用いてニューラルネットワークを適合させるように構成され得る。加えて、加工ユニットは制御データを受信することができ、これはまた、インターフェースを通じてレーザ加工システムから、転移学習のために入力テンソル内に入る。

訓練データは、検出ユニットによって検出された加工された被加工物表面の画像データおよび高さデータに基づく、所定の入力テンソルと、それぞれの入力テンソルに関連付けられた所定の出力テンソルとを含むことができ、前記出力テンソルは、例えばエキスパートによって識別された、加工された被加工物表面における加工誤差についての情報を含む。結果として、伝達関数を形成するニューラルネットワークは、変化した状況に適合され得る。言い換えれば、伝達関数は修正される。変化した状況は、例えば、加工されることになる被加工物が異なる材料、異なる汚損の程度および／または厚さを有すること、またはレーザ加工のパラメータが変化することを含み得る。

転移学習において、ニューラルネットワークを訓練または教示するために用いられる訓練データセット、または縮小された訓練データセットは、新たな例によって補足され得る。

したがって、本明細書で述べられる態様による、加工誤差を検出するためのシステムにおける転移学習のために構成された訓練されたニューラルネットワークの使用は、システムが変化した状況に迅速に適合され得るという利点を有する。

ニューラルネットワークは、深層ニューラルネットワーク、例えば深層畳み込みネットワークまたは畳み込みネットワークとすることができる。畳み込みネットワークは、２０から４０個の間の畳み込み層、好ましくは４２個の畳み込み層を含み得る。加えて、畳み込みネットワークは、いわゆる「完全接続」層を含み得る。

本開示の他の態様によれば、レーザビームを用いて被加工物を加工するためのレーザ加工システムがもたらされ、本明細書で述べられる態様の１つによれば、前記加工システムは、加工されることになる被加工物上にレーザビームを放射するためのレーザ加工ヘッドと、加工誤差を検出するためのシステムとを備える。検出ユニットは、レーザ加工ヘッド上に配置されることが好ましい。

他の態様によれば、被加工物を加工するためのレーザ加工システムの加工誤差を検出する方法がもたらされ、前記方法は、被加工物の表面の画像データおよび高さデータを検出するステップと、検出された画像データおよび高さデータに基づいて入力テンソルを形成するステップと、入力テンソルに基づいて、および伝達関数を用いて加工プロセスにおける加工誤差についての情報を含んだ出力テンソルを決定するステップとを含む。

一般に、伝達関数を形成するニューラルネットワークの使用は、加工誤差が存在するかどうかおよびどの加工誤差であるかを、システムが独立に認識できるという利点を有する。したがってもはや、画像および高さデータなど、検出されたセンサデータが、誤差検出のためにアクセス可能になるように再処理される必要はない。さらに、検出されたデータから、加工品質または任意の加工誤差を特性化する特徴を抽出する必要はない。

加えて、どの抽出された特徴が、加工品質の査定、または加工誤差の分類のために必要であるかまたは関連するかを決定する必要はない。加工誤差を分類するために抽出された特徴のパラメータ化を規定する、または調整する必要もない。

レーザ加工システムによる加工品質または加工誤差の決定または査定は、それによって簡略化される。述べられたステップは、レーザ加工におけるエキスパートによって実行されなくてよくまたは付き添われなくてもよい。本明細書で開示される態様による、加工誤差を検出するためのシステムは、加工品質または加工誤差の査定または分類を独立して、すなわち自動的に実行し、容易に適合され得る。

本発明は、図を参照して以下で詳しく述べられる。
実施形態による、レーザビームを用いて被加工物を加工するためのレーザ加工システム、および加工誤差を検出するためのシステムの概略図である。 実施形態による、加工誤差を検出するためのシステムのブロック図である。 例示的画像データを例示する図である。 高さデータを例示する図である。 実施形態による深層畳み込みニューラルネットワークのブロック図である。 実施形態による深層畳み込みニューラルネットワークのブロック図である。 実施形態による加工誤差を検出する方法を示す図である。

別段の記載がない限り、本明細書の以下では、同じ、および同じ効果を有する要素に対して、同じ参照符号が用いられる。

図１は、本開示の実施形態による、レーザビームを用いて被加工物を加工するためのレーザ加工システム１００の概略図を示す。レーザ加工システム１００は、レーザ加工ヘッド１０１、具体的にはレーザ切断、レーザはんだ付け、またはレーザ溶接ヘッドと、加工誤差を検出するためのシステム３００とを備える。

レーザ加工システム１００は、レーザビーム１０（「加工ビーム」または「加工レーザビーム」とも呼ばれる）を生成するためのレーザ装置１１０を備える。

実施形態による、レーザ加工システム１００またはその部品、例えば、加工ヘッド１０１などは、加工方向２０に沿って移動可能とすることができる。加工方向２０は、切断、はんだ付け、または溶接方向、および／または被加工物１に対する、加工ヘッド１０１などの、レーザ加工システム１００の移動方向とすることができる。具体的には、加工方向２０は水平方向とすることができる。加工方向２０はまた「送り方向」とも呼ばれ得る。

レーザ加工システム１００は、加工ヘッド１０１および／またはレーザ装置１１０を制御するように構成された制御ユニット１４０によって制御される。

加工誤差を検出するためのシステム３００は、検出ユニット３１０と、コンピューティングユニット３２０とを備える。検出ユニット３１０は、被加工物１の加工された表面２の画像データおよび高さデータを検出するように構成される。実施形態によれば、検出ユニット３１０は加工ヘッド１０１上に配置される。例えば、検出ユニットは、加工方向２０に対して加工ヘッド１０１上に下流に配置され得る。

コンピューティングユニット３２０は、検出ユニット３１０によって検出された加工された被加工物表面２の画像データおよび高さデータを受信することと、画像データおよび高さデータに基づいて入力テンソルを形成することとを行うように構成される。コンピューティングユニット３２０は次いで、コンピューティングユニット３２０にアクセス可能な伝達関数を用いて、入力テンソルを基礎にして、加工誤差についての情報を含んだ出力テンソルを決定するようにさらに構成される。言い換えれば、出力テンソルは、１つ以上の算術演算の結果とすることができ、被加工物１がレーザ加工システム１００によって加工されたとき、誤差が生じたかどうかおよびどの誤差が生じたかについての情報を含み得る。さらに、出力テンソルは、被加工物表面２上の誤差のタイプ、位置、およびサイズについての情報を含み得る。

一実施形態によれば、コンピューティングユニット３２０は、制御ユニット１４０と組み合わされる（図示せず）。言い換えれば、コンピューティングユニット３２０の機能は、共通の処理ユニット内の制御ユニット１４０のそれと組み合わされ得る。

レーザ加工システム１００は、加工ヘッド１０１の端部部分と、加工されることになる被加工物１との間の距離を測定するための、測定デバイス１２０を任意選択で含む。測定デバイスは、光コヒーレンストモグラフ、具体的には光低コヒーレンストモグラフを含み得る。

レーザ装置１１０は、レーザビーム１０をコリメートするためのコリメータレンズ１１２を含み得る。コヒーレンストモグラフは、光測定ビーム１３をコリメートするように構成されたコリメータ光学系１２２と、光測定ビーム１３を被加工物１上に合焦するように構成された合焦光学系１２４とを含み得る。本開示において、距離測定は、干渉計を活用して光のコヒーレンス特性を使用する、光コヒーレンストモグラフィの原理に基づく。光コヒーレンストモグラフは、広帯域光源（例えば、スーパールミネッセントダイオード、ＳＬＤ）（図示せず）を有する評価ユニットを含み得る。しかし、レーザ装置１１０はこの構成に限定されない。光コヒーレンストモグラフの代わりに、測定デバイスはまた、三角測量システムまたはステレオカメラを用い得る。

図２は、実施形態による加工誤差を検出するためのシステム３００のブロック図を示す。

システム３００は、検出ユニット３１０と、コンピューティングユニット３２０とを備える。検出ユニット３１０と、コンピューティングユニット３２０とは、コンピューティングユニット３２０が、検出ユニット３１０によって検出された画像データおよび高さデータを受信することができるように、互いに接続される。

検出ユニット３１０は、以下の要素の少なくとも１つを含み得る：加工された被加工物表面２の画像データおよび高さデータの両方を検出し、出力するように構成されたステレオカメラシステム；例えば入射光ＬＥＤ照明を有するカメラシステム、三角測量システム、またはＯＣＴシステム。

実施形態によれば、検出ユニット３１０は、加工された被加工物表面２から画像データを検出するように構成された画像検出ユニット（図示せず）と、加工された被加工物表面２から高さデータを検出するように構成された高さ検出ユニット（図示せず）とを備える。画像検出ユニットは、例えば入射光ＬＥＤ照明を有するカメラシステムを備え得る。高さ検出ユニットは、三角測量システムまたはＯＣＴシステム、すなわち、「光コヒーレンストモグラフィ」システム、または光コヒーレンストモグラフィに基づくシステムを備え得る。

本発明によれば、画像データは、加工された被加工物表面２の区画２次元画像に対応する。言い換えれば、検出されたまたは取り込まれた画像データは、図３Ｂに例として示され、以下で詳しく述べられるように、加工された被加工物表面２の２次元画像を表す。高さデータは、図３Ａに例として示され、以下で詳しく述べられるように、加工された被加工物表面２の区画の３次元高さ幾何形状に対応する。画像データおよび高さデータは、加工された被加工物表面２の同じ区画についてのデータを含むことが好ましい。

実施形態によれば、コンピューティングユニット３２０は、出力テンソルを決定するためのプロセッサを含む。伝達関数は通常、コンピューティングユニット３２０のメモリ（図示せず）に記憶され、または回路として、例えばＦＰＧＡとして実施される。メモリは、さらなるデータ、例えば決定された出力テンソルを記憶するように構成され得る。

コンピューティングユニット３２０は、入力／出力ユニット３２２を含むことができ、これは具体的には、ユーザとの対話のためのグラフィカルユーザインターフェースを含み得る。コンピューティングユニット３２０はデータインターフェース３２１を有することができ、それを通じてコンピューティングユニットは、さらなるコンピューティングユニット、コンピュータ、ＰＣに、データベース、メモリカード、またはハードドライブなどの外部記憶ユニットなどの外部のロケーションに、出力テンソルを送信することができる。コンピューティングユニット３２０は、コンピューティングユニットがそれを用いてネットワークと通信することができる、通信インターフェース（図示せず）をさらに含み得る。さらに、コンピューティングユニット３２０は、出力テンソルを出力ユニット３２２上にグラフィックで表示し得る。

コンピューティングユニット３２０は、検出ユニット３１０によって検出された画像データおよび高さデータから、伝達関数のための入力テンソルを作成する。画像データおよび高さデータは、図３Ａおよび３Ｂを参照して以下で詳しく述べられる。

コンピューティングユニット３２０は、インターフェース３２１を通じて、レーザ加工システム１００の制御ユニット１４０から制御データを受信するように、およびまた制御データを入力テンソルに組み込むようにさらに構成され得る。制御データは、所与の時点でのそれぞれの場合に、例えば、レーザ装置１１０の出力パワー、加工ヘッド１０１と被加工物１の表面との間の距離、送り方向および速度を含み得る。

伝達関数は、教示された、すなわち予め訓練された深層畳み込みニューラルネットワークによって形成される。言い換えれば、コンピューティングユニットは、深層畳み込みニューラルネットワークを含む。出力テンソルは、伝達関数を入力テンソルに適用することによって形成される。伝達関数を用い、したがって出力テンソルは入力テンソルから決定される。

出力テンソルは、少なくとも１つの加工誤差についての情報またはデータを含む。この情報またはデータは、少なくとも１つの加工誤差があるかどうか、少なくとも１つの加工誤差のタイプ、加工された被加工物１の表面上の加工誤差の位置、および／または加工誤差のサイズまたは範囲とすることができる。

実施形態によれば、出力テンソルはまた、一定のタイプの加工誤差が生じた確率、またはシステムが一定のタイプの加工誤差を検出した信頼度を含み得る。加えて、出力テンソルは、加工された被加工物の表面上の加工欠陥の空間的または平面的範囲についての情報またはデータを含み得る。

実施形態によれば、コンピューティングユニット３２０は、入力テンソルおよび／または出力テンソルを出力ユニット３２２上にグラフィックで表示するように構成され得る。例えば、コンピューティングユニット３２０は、図３Ａまたは３Ｂに示されるように、入力テンソルに含まれる画像データおよび／または高さデータを、加工された被加工物表面２の２次元画像としてグラフィックで表示し、出力テンソルに含まれる加工誤差についての情報を重ね合わせることができる。

図３Ａは高度データを示し、図３Ｂは実施形態による画像データの表示を示す。図３Ａは、三角測量センサを用いて記録された、はんだ付けされた継ぎ目の例示的高さ画像を示す。図３Ｂは、ＬＥＤ入射光照射を活用して記録された、はんだ付けされた継ぎ目の例示的入射光画像を示す。

実施形態によれば、検出ユニット３１０、または画像検出ユニットおよび高さ検出ユニットによって検出された画像データおよび高さデータは、加工された被加工物表面の区画および対応する高さ画像の記録から作成され得る。記録は、２次元画像または写真とすることができ、これはＬＥＤ入射光照射のもとで作られることが好ましく、「入射光画像」と呼ばれる。高さ画像は、加工された被加工物表面の区画の高さ幾何形状または高さプロファイルを表し得る。したがってそれは、加工された被加工物表面の３次元形状についての情報を含む。

図３Ａにおいて、以下で詳しく述べられるように、異なる濃淡値は、加工された被加工物表面２の異なる高さ値を表す。図３Ｂにおいて、異なる濃淡値は、光の反射によって、例えばＬＥＤ入射光照射によって生成される、加工された被加工物表面２の異なる明るさ値を表す。枠２ａ、２ｂは、コンピューティングユニット３２０によって決定される出力テンソル内の情報として含まれるので、検出された加工誤差のサイズおよび位置を表す。

高さ画像では、各明るさまたは濃淡値は、被加工物表面に平行な平面からの距離値に対応し、入射光画像では、各明るさまたは濃淡値は、検出ユニットまたは画像検出ユニットの光センサ上に反射されて戻る光の強度に対応する。

実施形態によれば、入射光画像および高さ画像は、それらの大きさが同じになるようにスケーリングされる。言い換えれば、実施形態によれば、入射光画像および高さ画像は、加工された被加工物表面の同じ区画の記録を示す。上述のように、画像は別々の記録システムによって記録され得る。

実施形態によれば、入射光画像は、三角測量基線およびその周囲の強度からの三角測量評価において作成され得る。これは、三角測量基線の反射された散乱光を取り込むことによって、三角測量基線以内またはその周りの、被加工物表面の領域の入射光画像を作成する。複数のこれらの入射光画像が一緒にされた場合、濃淡値画像が作成される。三角測量システムの送り方向においてこのように作成された濃淡値画像の解像度は、三角測量システムの走査速度に依存する。

実施形態によれば、記録および高さ画像は組み合わされて２チャネル画像となる。したがって、コンピューティングユニット３２０によって作成された入力テンソルは、ｎ×ｍ画素の解像度を有する加工された被加工物表面の区画の記録または画像を含むことができ、ｎおよびｍは自然数であり、それぞれ１０２４であることが好ましい。これは画像が１０２４×１０２４画素からなることを意味する。入力テンソルはまた、各画素に対する高さデータとして高さ値を含み得る。これは入力テンソルが、１０２４×１０２４×２の大きさを有する２チャネル画像を含むことを意味する。２チャネル画像は、したがって各画素に対する明るさ値および高さ値を含み、画素は被加工物表面の区画の領域に対応する。

コンピューティングユニット３２０は、伝達関数を用いて入力テンソルに基づいて出力テンソルを決定する。出力テンソルから入力テンソルへの伝達関数またはマッピングは、図４Ａおよび４Ｂを参照して以下で詳しく述べられるように、深層畳み込みニューラルネットワークによって実施される。

図４Ａおよび４Ｂは、実施形態による深層畳み込みニューラルネットワーク４００のブロック図を示す。

入力テンソルは、画像データおよび高さデータを含んだ検出された未加工データを含む。上述のように、入力テンソルは、入射光画像および高さ画像からなる２チャネル画像から作成され得る。これらの画像データおよび高さデータは、深層畳み込みニューラルネットワークの入力テンソルを直接形成する。これは、入力テンソルと出力テンソルとの間で、いわゆる「エンドツーエンド」マッピングまたは分析が行われることを意味する。したがって、中間ステップでは何らの特徴も計算またはパラメータ化されない。

以下では「ＣＮＮ」と省略される、深層畳み込みニューラルネットワーク（ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）４０は、複数のコアを用いて畳み込みを行う複数の層４１０を備える。さらに、ＣＮＮ４００は、いわゆる「完全接続」層またはブロック４５０を含み得る。

ＣＮＮは、加工誤差または欠陥のサイズの表示を用いて加工誤差の迅速な検出および位置特定を可能にするために、いわゆる一度しか見ない（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）方法を用いることが好ましい場合がある。

実施形態によれば、ＣＮＮは、被加工物１の加工の間の細孔（誤差「ａ」）、穴（誤差「ｂ」）、および溶け込みの欠損（誤差「ｃ」）を検出するように構成される。これは、３つのクラスへの起こり得る加工誤差の分類を意味する。分類結果は、値Ｐｃ（誤差が存在すること／存在しないこと、または誤差が存在する確率）、Ｃａ（誤差「ａ」の確率）、Ｃｂ（誤差「ｂ」の確率）、Ｃｃ（誤差「ｃ」の確率）、および値ｘ，ｙ，ｄｘ，ｄｙ（それぞれの誤差の位置およびサイズ）を有するべきである。ここで、値ｘおよびｙは、ｘ軸およびｙ軸を有する２次元デカルト座標系における座標を表し、２次元デカルト座標系の平面は、被加工物表面に平行に配置される。それに応じて、値ｄｘ，ｄｙは、ｘおよびｙ方向における誤差の範囲またはサイズを表す。

大きさ１０２４×１０２４×２の実施形態による入力テンソル４３０、すなわちサイズ１０２４×１０２４画素の入射光画像および画素のそれぞれに対する高さ値の場合は、ＣＮＮは、１０２４×１０２４×２個のニューロンを有する入力層を備える。いわゆるグリッドまたはラスタ、例えばラスタセル当たり６４×６４画素のサイズを有するものが、入射光画像の上に置かれる。これは結果として１６×１６×８ニューロンを有する出力層を生じ、すなわち出力テンソルも大きさ１６×１６×８を有する。

例えば、入射光および高さ画像は、２５６個のグリッドまたはラスタセルに分割される。出力テンソルから、したがってニューラルネットワークは、グリッドセル当たり８個の値を含んだ、２５６個のグリッドセルのそれぞれに対して分類結果を決定する。これらの８個の値から、各グリッドセルに対する加工された被加工物表面の分類または査定の結果が、ニューラルネットワークによって取り込まれ得る。実施形態によれば、手順は、最初に値Ｐｃ、すなわち、対応するグリッドセル内に誤差があるか否かの表示が考慮される。誤差がある場合、値Ｃａ、Ｃｂ、およびＣｃが次に調べられる。これは、誤差「ａ」、誤差「ｂ」、または誤差「ｃ」が存在するかどうかの確率がどれだけ高いかが調べられることを意味する。最後に、誤差の位置およびサイズ、ｘ，ｙ，ｄｘ，ｄｙに対する値が調べられる。出力テンソルの迅速な分類、またはさらなる処理は、この段階的なまたはステップバイステップ手法を用いて確実にされ得る。

出力テンソルまたはそれに含まれる値の調査から、ひいては、加工された被加工物は、予め定義された分類アルゴリズムを用いて「良」または「不良」として分類され得る。言い換えれば、状況に応じて、被加工物は、販売またはさらなる加工に適するもの（良）として、またはスクラップもしくは後加工のためにマークされるもの（不良）として分類され得る。

別の例示的実施形態によれば、少なくとも２つの枠付けされた矩形、いわゆる「境界ボックス」が、関連付けられた確率を用いて各グリッドまたはラスタセルに対して計算される。各枠付けされた矩形に対して１つずつの対象物が、位置特定され、各誤差クラスに対する確率が計算される。これは１６×１６×２×８ニューロンを有する出力層を与える。すなわち、出力テンソル４４０はまた、大きさ１６×１６×２×８を有する。

各ラスタセルに対して、内容ｙ＝（Ｐｃ１，ｘ１，ｙ１，ｄｘ１，ｄｙ１，Ｃａ１，Ｃｂ１，Ｃｃ１；Ｐｃ２，ｘ１，ｘ２，ｄｘ２，ｄｙ２，Ｃａ２，Ｃｂ２，Ｃｃ２）を有するベクトルｙがある。添字「１」は２つの枠付けされた矩形の１つを意味し、添字「２」は枠付けされた矩形の他方を意味する。グリッドセルにおいて、両方の枠付けされた矩形が、予め定義された閾値より大きな確率Ｐｃを有する場合、一実施形態によれば、より大きな「ＩｏＵ値」を有する矩形が選択される。ＩｏＵ値は、枠付けされた矩形の共用体に対する交点を記述する。

分類結果は、例えば「非最大抑制」法を用いて、ネットワークの出力テンソルから直接読み出され得る。ネットワークの訓練は、ＧＰＵによってサポートされる。推論は、カメラ内のＦＰＧＡ、またはＦＰＧＡを有するコンピューティングユニット３２０内のプラグインカードを通じて行われる（図示せず）。

図４Ａおよび４Ｂに示されるように、ＣＮＮは、例えば、４２個の畳み込み層を備え、少なくともいくつかの畳み込み層は、正規化（バッチ正規化）およびいわゆる残差ブロックを備える。

層の出力を正規化することによって、「爆発」または「消滅」勾配の問題が避けられ得る。推論プロセスにおける挙動は、他の分布のデータに対する感受性は少ない。

正規化は通常、「ミニバッチ」にわたる平均値および標準偏差を含む。その効果は、レギュレーションである。

実施形態によれば、訓練されたネットワークにおけるハイパーパラメータとしてこれらのパラメータが用いられる：「バッチ正規化」、「低減した内部共変量シフトによる加速深層ネットワーク訓練（Ａｃｃｅｌｅｒａｔｉｎｇ Ｄｅｅｐ Ｎｅｔｗｏｒｋ Ｔｒａｉｎｉｎｇ ｂｙ Ｒｅｄｕｃｉｎｇ Ｉｎｔｅｒｎａｌ Ｃｏｖａｒｉａｔｅ Ｓｈｉｆｔ）」（Ｓｅｒｇｅｙ Ｉｏｆｆｅ、Ｃｈｒｉｓｔｉａｎ Ｓｚｅｇｅｄｙによる）。

図４において、「畳み込み３２ ３×３」ブロックは、３２個の異なる３×３畳み込みフィルタマスクを有する畳み込みブロックを表す。これは、ブロック「畳み込み３２ ３×３」は、入力大きさｍ×ｎ×ｃのテンソルを、テンソルｍ×ｎ×３２に生成することを意味し、ｍは高さ、ｎは幅、ｃはチャネルの数を表す。１０２４×１０２４×２を有する２チャネル入力テンソルの場合は、結果として大きさ１０２４×１０２４×３２のテンソル、すなわち大きさ１０２４×１０２４の３２個の画像を生じる。同じことが他の畳み込みブロックに当てはまる。

図４の畳み込みブロック内の「／２」という表示は、２の「ストライド」を表す。フィルタコアは２画素だけ前にシフトされ、その結果大きさは半分に低減される。ブロックの上の情報、例えば「５１２×５１２」は、チャネルの数なしに、テンソルの大きさｍ×ｎを表す。

「残差ブロック」という表示は、値が活性化関数を通じて渡される前に、前の層（１）の出力が、出力層（１＋２）の結果に加算されることを示す。

用いられるＣＮＮは、訓練されたまたは教示された深層畳み込みニューラルネットワークである。言い換えれば、ＣＮＮは、加工誤差を検出するためのシステムの納入の前に、どれが「良」およびどれが「不良」の加工された被加工物表面であるか、またはどれが「良」およびどれが「不良」の溶接もしくははんだ付けされた継ぎ目であるかを、例から学習している。言い換えれば、ＣＮＮは、加工された被加工物表面を「良」または「不良」として分類するように学習しており、または加工誤差を検出する、それらの位置を特定し、それらのタイプに従って分類する、およびそれらのサイズを決定するように学習している。

後処理の表面検査の場合は、システムは、加工された被加工物表面が加工誤差を有するかどうかを確実に決定するべきである。それはどの誤差が存在するか（例えば、細孔、穴、突出、飛び散り、粘着、または貫通の欠如または「フォールスフレンド」）を検出するべきであり、加工誤差の位置を特定し、被加工物表面上のそれのサイズを示すべきである。ＣＮＮを訓練し、ハイパーパラメータを設定するために、ＣＮＮには所定の入力テンソルおよび対応する出力テンソルがもたらされる。所定の入力テンソルは、上述のように、加工された被加工物表面の区画の画像データおよび高さデータを含む。対応する所定の出力テンソルまたは結果のテンソルは、各所定の入力テンソルに関連付けられる。この出力テンソルは、それぞれの入力テンソルに対する被加工物表面のこの区画に対するＣＮＮの所望の結果を含む。

言い換えれば、対応する所定の出力テンソルは、加工された被加工物表面の区画上に存在する加工誤差の分類、それらの位置、ならびにそれらの空間的および／または平面的範囲についての情報を含む。出力テンソルの各所定の入力テンソルへのこの関連付けは、手動で行われる（検出された画像および高さデータのいわゆる「ラベル付け」）。これは、画像および高さデータの、伝達関数の結果への所定の関連付けがあることを意味する。例えば、出力テンソルにおいて、入力テンソルによって表される加工された被加工物表面の区画に誤差があるかどうか、何のタイプの誤差が存在するか、例えばｘおよびｙ座標を有する２次元座標系を基礎にして、加工された被加工物表面上のどの位置に加工誤差が存在するか、ならびにｘおよびｙ方向での加工誤差のサイズが規定される。

ＣＮＮによって作成された伝達関数は、次いで最適化方法を用いて決定され、システム３００に、好ましくはコンピューティングユニット３２０のメモリに記憶される。最適化方法は、例えば、アダム最適化による「逆伝搬」プロセスによって実行される。推論の場合は、ＣＮＮは２チャネル画像の、誤差タイプ、位置、およびサイズに対する関連付けをもたらす。

教示された深層畳み込みニューラルネットワークは、それがいわゆる転移学習を用いて、変化した状況に適合され得るように構成される。ネットワークの基礎的訓練は、システムの稼働開始の前に実行される。加工プロセスが稼働開始の後に変更された場合、いわゆる転移学習のみが実行される。変化した状況は例えば、例えば材料が変化するときに、加工されることになる被加工物が変化することとすることができる。被加工物表面の厚さまたは材料組成もわずかに変化し得る。さらに、他のプロセスパラメータが被加工物を加工するために用いられ得る。これは他の加工誤差を引き起こし得る。例えば、異なるタイプの加工誤差の確率が変化する場合があり、または加工誤差は異なって形成され得る。これは、ニューラルネットワークが、変化した状況、および結果としての変化した加工誤差に適合されなければならないことを意味する。

転移学習は、ニューラルネットワークの初期教示と同様である。しかし通常、深層畳み込みニューラルネットワークの少数の特定の畳み込み層、特に最後の２つから３つの畳み込み層が転移学習において適合される。変更されるニューラルネットワークのパラメータの数は、ニューラルネットワークの訓練または教示の間より著しく少ない。これは転移学習が、顧客において迅速に、通常１時間未満で完了されることを可能にする。これは、転移学習を用いることによって、ニューラルネットワーク全体が、新規に訓練または教示されることはないことを意味する。

システム３００は、転移学習のために必要な訓練データを、インターフェース３２１を通じて受信し得る。

図５は、レーザビームを用いて被加工物を加工するためのレーザ加工システムにおける加工誤差を検出する方法を示す。第１のステップ５１０は、レーザ加工システムによって加工された被加工物表面の画像データおよび高さデータを検出することを含む。第２のステップ５２０において、検出された画像データおよび高さデータに基づいて、入力テンソルが作成される。ステップ５３０において、入力テンソルに基づいて、加工誤差についての情報を含んだ出力テンソルを決定するために、伝達関数が用いられる。

加工誤差を検出する方法は、被加工物が加工されている間に、すでに起動され得る。方法はまた、被加工物の加工が完了したときにのみ起動され得る。

方法は、加工された被加工物表面の複数の部分に対して別々に、または平行して実行され得る。実施形態によれば、方法は、加工された被加工物表面全体を通して動作する。この場合、画像および高さデータは、加工された被加工物表面全体に対して１回だけ検出されることができ、出力テンソルの決定は、各加工された被加工物に対して１回だけ生じ得る。

方法は、任意の加工された被加工物に対して実行され得る。実施形態によれば、方法は、レーザ加工システムによって加工されたｎ番目の被加工物ごとに実行されることができ、ｎは自然数である。

伝達関数を形成するニューラルネットワークの使用は、加工誤差が存在するかどうかおよびどの加工誤差であるかを、システムが独立に検出できるという利点を有する。したがってもはや、画像および高さデータなど、検出されたセンサデータが、誤差検出のためにアクセス可能になるように再処理される必要はない。さらに、検出されたデータから、加工品質または任意の加工誤差を特性化する特徴を抽出する必要はない。さらに、どの抽出された特徴が、加工品質の査定、または加工誤差の分類のために必要であるかまたは関連するかを決定する必要はない。加工誤差を分類するために抽出された特徴のパラメータ化を規定する、または適合させる必要もない。レーザ加工システムによる加工品質または加工誤差の決定または査定は、それによって簡略化される。述べられたステップは、レーザ加工におけるエキスパートによって実行されなくてよくまたは付き添われなくてもよい。

Claims (15)

1. 被加工物（１）を加工するためのレーザ加工システム（１００）のための加工誤差を認識するためのシステム（３００）であって、
   加工された被加工物表面（２）の画像データおよび高さデータを検出するための検出ユニット（３１０）と、
   コンピューティングユニット（３２０）と
   を備え、前記コンピューティングユニット（３２０）は、前記検出された画像データおよび高さデータに基づいて入力テンソルを作成することと、伝達関数を用いて前記入力テンソルに基づいて出力テンソルを決定することであって、前記出力テンソルは加工誤差についての情報を含む、決定することとを行うように構成され、前記伝達関数は、ニューラルネットワーク（４００）によって形成され、
   前記入力テンソルは、前記高さデータおよび画像データの未加工データの２チャネル画像を備えることを特徴とするシステム（３００）。
2. 請求項１に記載のシステム（３００）であって、前記検出ユニット（３１０）は、
   前記画像データを検出するための画像検出ユニットと、
   前記高さデータを検出するための高さ検出ユニットと
   を備えることを特徴とするシステム（３００）。
3. 請求項１または２に記載のシステム（３００）であって、前記検出ユニット（３１０）は、カメラシステム、ステレオカメラシステム、ＯＣＴシステム、および三角測量システムの少なくとも１つを備えることを特徴とするシステム（３００）。
4. 請求項１から３のいずれか１項に記載のシステム（３００）であって、前記入力テンソルは、前記画像データおよび高さデータの未加工データを含む、またはそれらからなることを特徴とするシステム（３００）。
5. 請求項１から４のいずれか１項に記載のシステム（３００）であって、前記画像データは、前記加工された被加工物表面（２）の区画の２次元画像に対応することを特徴とするシステム（３００）。
6. 請求項１から５のいずれか１項に記載のシステム（３００）であって、前記高さデータは、前記加工された被加工物表面（２）の同じ区画の高さ幾何形状に対応することを特徴とするシステム（３００）。
7. 請求項１から６のいずれか１項に記載のシステム（３００）であって、前記検出ユニット（３１０）および／または前記コンピューティングユニット（３２０）は、前記高さデータおよび画像データから２チャネル画像を作成するように構成されることを特徴とするシステム（３００）。
8. 請求項１から７のいずれか１項に記載のシステム（３００）であって、前記出力テンソルは、以下の情報すなわち、少なくとも１つの加工誤差の存在、前記加工誤差のタイプ、加工された被加工物の表面上の前記加工誤差の位置、一定のタイプの加工誤差の確率、ならびに前記加工された被加工物の前記表面上の前記加工誤差の空間的および／または平面的範囲の１つを含むことを特徴とするシステム（３００）。
9. 請求項１から８のいずれか１項に記載のシステム（３００）であって、前記入力テンソルと前記出力テンソルとの間の前記伝達関数は、教示された深層畳み込みニューラルネットワーク（４００）によって形成されることを特徴とするシステム（３００）。
10. 請求項９に記載のシステム（３００）であって、前記教示された深層畳み込みニューラルネットワーク（４００）は、転移学習を用いて、変化した状況に適合可能であることを特徴とするシステム（３００）。
11. 請求項９または１０に記載のシステム（３００）であって、前記コンピューティングユニット（３２０）は、前記ニューラルネットワーク（４００）を適合させるための訓練データ、および／または前記出力テンソルを決定するための制御データを受信するように構成されたインターフェース（３２１）を含むことを特徴とするシステム（３００）。
12. 請求項１１に記載のシステム（３００）であって、前記訓練データは、
    前記検出ユニット（３１０）によって検出された加工された被加工物表面（２）の画像データおよび高さデータに基づく、所定の入力テンソルと、
    前記それぞれの入力テンソルに関連付けられ、前記加工された被加工物表面（２）の存在する加工誤差についての情報を含む、所定の出力テンソルと
    を備えることを特徴とするシステム（３００）。
13. 請求項１から１２のいずれか１項に記載のシステム（３００）であって、前記入力テンソルは、前記画像データの２倍の大きさを有することを特徴とするシステム（３００）。
14. レーザビームを用いて被加工物を加工するためのレーザ加工システム（１００）であって、
    加工されることになる被加工物（１）上にレーザビームを放射するためのレーザ加工ヘッド（１０１）と、
    請求項１から１３のいずれか１項に記載のシステム（３００）と
    を備えることを特徴とするレーザ加工システム（１００）。
15. 被加工物（１）を加工するためのレーザ加工システム（１００）における加工誤差を認識する方法であって、
    加工された被加工物表面（２）の画像データおよび高さデータを検出するステップ（５１０）と、
    前記検出された画像データおよび高さデータに基づいて入力テンソルを作成するステップ（５２０）であって、前記入力テンソルは、前記高さデータおよび画像データの未加工データの２チャネル画像を備える、ステップ（５２０）と、
    伝達関数を用いて加工誤差についての情報を含んだ出力テンソルを決定するステップ（５３０）であって、前記伝達関数はニューラルネットワーク（４００）によって形成される、決定するステップ（５３０）と
    を含むことを特徴とする方法。

Images