JP5201416B2 - 写真計測用画像処理装置、それを用いた現場記録システム、荷物記録システム並びにレーザ加工システム - Google Patents

Description

本発明は、被計測対象に写真計測用の基準点を設けずに計測を行い画像処理により被計測対象上の任意の指定点の位置および間隔を測定する写真計測用画像処理装置およびそれを用いた現場記録システム、荷物記録システム、競技内容記録システム、並びにレーザ加工システムの技術に関するものである。

従来の写真計測は、１台のカメラで多くの視点から撮影した画像に基づいて、バンドル計算を行い対象点の位置を算出するバンドル計算方式や、予め位置を固定した２台のカメラで測定するステレオカメラ方式が用いられている。
先ず、バンドル計算方式の場合は、被計測対象に多数のターゲット（反射標識）を貼った状態でストロボ撮影することが行われるために計測の手間がかかるといった問題がある。また、長さや間隔などの距離を必要とする場合にはスケールバーなどを必要とする。

一方、ステレオカメラ方式の場合は、異なるアングルから撮影した２枚の写真の対応点を指定することにより、被計測対象上のポイントの３次元座標を知ることができるものである。２枚の写真の対応点像は写真上の異なる点に写るので、それぞれの像で写真上の位置の違い（視差）を測ることができ、この視差には距離の情報が含まれていることから、長さや間隔などの距離を自動的に算出することができる。
しかし、ステレオカメラ方式の場合、カメラが固定しているために、撮影範囲が限定され、また自由な方向から撮影することが困難である。更に、ステレオカメラ方式の場合は、装置自体も別に作製する必要があるため、カメラ１台のバンドル計算方式に比べて費用が高くつく欠点がある。

上述のバンドル計算方式において、複数方向から、同一のディジタルカメラにより、位置が既知の６以上の基準点を所定位置に備える標定基準体と被計測対象とを共に写真撮影し、各写真について、基準点の写真上の位置と標定基準体における基準点相互の位置関係に基づき外部標定を行い、外部標定要素の値を用いて、２つの写真上における、被計測対象上の指定したポイントに対応する位置に基づき、前方交会により三次元座標を求め、外部標定要素の値、計測対象上の指定ポイントについての三次元座標及び各写真上の像の位置、基準点についての三次元座標、各写真上の像の位置についてバンドル調整を行う写真計測方法が知られている（特許文献１）。

特許文献１に開示されている写真計測方法によれば、被計測対象に写真計測用のターゲット（反射標識）等の基準点を設けることを要せずに、多数の点について精度の良い写真計測を行うことができる。
しかしながら、特許文献１に開示されている写真計測方法の場合、校正のための計測用冶具に６以上の多くのターゲットが必要となり、冶具形状が複雑で、また計測を行うためには撮影画像が３枚以上必要となり、計測のために写真撮影の手間がかかるといった問題がある。

また、写真計測の用途として、建物の基礎工事やビル建築などの鉄筋コンクリート構造物の構築における配筋に関し、規則通り行われているか否かを調べるため、鉄筋のサイズ、本数、ピッチ、かぶり厚などを計測し、記録をとる目的で用いられる場合がある。かかる現場においては、現場作業員が多くの確認点を計測記録しなければならない。したがって、現場作業員に負担をかけないように、撮影の手間や撮影枚数は必要最小限とすることが求められている。

また、写真計測の用途として、多関節ロボットのティーチングやレーザ溶接などのレーザ加工があり、簡単な構成で要求精度を満足できる装置が求められている。

特開２００７−１４７５２２号公報

上記状況に鑑みて、本発明は、１台のカメラを用いて、建築構造物などの写真計測が容易に行え、建造過程における品質管理の向上に寄与できる写真計測用画像処理装置を提供することを目的とする。

上記目的を達成すべく、本発明の写真計測用画像処理装置は、（１）１台のカメラ手段と、
（２）計測用治具と、
（３）表示手段と入力手段と演算手段と記憶手段とデータ転送手段とを備えた情報演算端末と、を備えた写真計測用画像処理装置において、
上記（２）の計測用治具は、
矩形頂点を形成する４点の写真計測用基準点を有する方形平板もしくは方形フレーム状の構造とされ、被計測対象に組み込まれるか、被計測対象に隣接もしくは既知の距離を隔てて平行に配設され、
上記（３）の情報演算端末は、
記憶手段が予め算出されたカメラ手段の内部標定要素を記憶し、
データ転送手段がカメラ手段を用いて撮影された被計測対象および計測用治具をカメラ視野内に含む１枚の画像を取り込み、
演算手段が、取り込んだ１枚の画像からカメラ手段の画像と実座標の関連情報と外部標定要素を算出し、
表示手段と入力手段により、取り込んだ１枚の画像上の少なくとも２点以上の選択されたポイントであって、前記計測用治具のなす平面とその平行平面、及びそれらと既知の交角をもつ平面の内、いずれか一つの平面上の点を２点以上画像から選択し、該平面上での２次元座標位置及び距離を計測する構成とされる。

かかる構成によれば、１台のカメラで、４点の写真計測用基準点を有する簡単な構成の計測用治具を、計測対象箇所と共に1枚撮影するだけで、写真中の被計測対象上の任意の点の位置座標を計算できる。
ここで、上記（１）のカメラ手段とは、市販のディジタルカメラや計測カメラ、更にはディジタルビデオカメラ（例えば、１５ＦＰＳ（Frame Per Second）のもの）を用いることができる。このカメラ手段は、写真画像が撮影された際のカメラの状態を解析的に求めるカメラキャリブレーションを行うことが必要である。具体的には、撮影時のカメラの位置および姿勢（回転角）といった外部標定要素と、焦点距離や主点位置のズレ、レンズ歪み係数といった内部標定要素とを求める。外部標定要素は写真撮影現場における実際の撮影状況に依存するため、取得した画像から自動的に算出する。

また、内部標定要素は、以下のａ）〜ｄ）の内部パラメータであり、予め情報演算端末の記憶手段に記憶している。
ａ）焦点距離
カメラのレンズ中心（主点）から撮像面（ＣＣＤセンサ等）までの距離として、例えば、０．１ミクロンの精度で値を算出する。
ｂ）主点位置のズレ
カメラの主点と撮像面の中心位置との平面２軸(x, y)各方向のズレ量で、カメラ製造時の組み付け精度に依存するものであり、例えば、０．１ミクロンの精度で値を算出する。
ｃ）放射方向レンズ歪み補正係数
ディジタルカメラによる画像の撮影は、曲面のレンズを通して平面の撮像面で光を受光するものであり、撮影された画像上の各画素は中心から距離が離れるほど大きな歪みが生じることから、そのような歪みを補正するための係数を算出する。
ｄ）接線方向レンズ歪み補正係数
接線方向レンズ歪みは、レンズと撮像面とが平行に設置されていないことにより生じるものであり、カメラ製造時の組み付け精度に依存することから、補正係数を算出する。

また、上記（２）の計測用治具は、方形平板もしくは方形フレーム状の構造とされ、被計測対象に隣接して配設され、被計測対象物と共に撮影されるものである。計測用治具と被計測対象物と共に撮影することにより、カメラ手段の外部標定要素である位置と方向（姿勢）とを自動的に算出し、事前に得たカメラ手段の上記ａ）〜ｄ）の内部パラメータを加えた情報から、撮影画像上の任意の点の位置を計算する。

情報演算端末は、デスクトップ型コンピュータ、ノート型コンピュータ、ハンドヘルドコンピュータ、ＰＤＡ（Personal Digital Assistance）等のモバイルコンピュータでよい。記憶手段は、ＲＡＭ（揮発性メモリ）、ＰＲＯＭ（書き込み可能なメモリ）等で構成されればよい。
また、情報演算端末のデータ転送手段とは、ＵＳＢインタフェースのように有線ケーブルでカメラ手段と接続して画像データを転送するものに限らず、赤外線データ転送などの無線通信で画像データを転送するものでもよい。
情報演算端末において、表示手段と入力手段により、取り込んだ１枚の画像上の少なくとも２点以上の選択されたポイントの計測用治具のなす平面、その平行平面、及びそれらと既知の交角をもつ平面上での２次元座標位置ならびに距離を計測する点について説明する。
取り込んだ１枚の画像上の少なくとも２点以上の選択されたポイントとは、液晶パネルなどの表示手段によりカメラ撮影画像を画面表示させ、マウスなどの入力手段により画像上で測定する距離や幅などの長さのスケールを計測するための２点以上の選択されたポイントをいう。
計測用治具のなす平面上での２次元座標位置ならびに距離の計測とは、被計測対象の面と重なるように計測用治具を設置して、被計測対象の位置（座標）や長さ（距離）を計測するものである。
計測用治具のなす平面の平行平面上での２次元座標位置ならびに距離の計測とは、被計測対象の面と一定距離隔てて、平行になるように計測用治具を設置して、被計測対象の位置（座標）や長さ（距離）を計測するものである。
計測用治具のなす平面やその平行平面と既知の交角をもつ平面上での２次元座標位置ならびに距離の計測で、既知の交角とは、３０度、６０度、９０度などであり、計測用治具に立方体を載せた場合などは、計測用治具のなす平面が底面となり、その底面と既知の交角をもつ平面とは、例えば、既知の交角が９０度となる立方体の側面が挙げられる。９０度の交角を持てば、Ｘ，Ｙ，Ｚの各３次元位置座標および寸法（距離）を求めることが可能となるのである。
また、ここで計測用治具は、被計測対象に組み込まれていてもかまわない。矩形頂点を形成する４点の写真計測用基準点を有する方形平板もしくは方形フレーム状の構造を有する治具が被計測対象に予め取り付けられている場合や、矩形頂点を形成する４点の写真計測用基準点のみが、被計測対象の一部の面に取り付けられているものでもよい。

また、本発明の現場記録システムは、上述した本発明の写真計測用画像処理装置における情報演算端末が、更に、輪郭抽出手段とレポート手段を備え、
データ転送手段により、前記カメラ手段から工事現場の鉄筋配置の画像を取得し、
入力手段により、表示された画像上で鉄筋を選択し、
輪郭抽出手段により、鉄筋の輪郭を抽出し、
演算手段により、鉄筋本数、鉄筋太さ、鉄筋幅を算出し、
レポート手段により、鉄筋本数、鉄筋太さ、鉄筋幅、撮影画像、撮影日時、工事現場の諸元情報を記録レポートする構成とされる。
ここで、輪郭抽出手段とは、情報演算端末の演算手段であるプロセッサが実行するプログラム処理であり、取得した画像上の被計測対象の形状輪郭を画像処理によって抽出するものである。
また、レポート手段とは、情報演算端末の記憶手段であるメモリに書き込まれた、鉄筋本数、鉄筋太さ、鉄筋幅、撮影画像、撮影日時、工事現場の諸元情報などのデータ情報を、プリンタ装置に出力するものである。

また、本発明の現場記録システムは、上述した本発明の写真計測用画像処理装置における情報演算端末が、更に、輪郭抽出手段とレポート手段を備え、
データ転送手段により、カメラ手段から建造物のコンクリートの画像を取得し、
入力手段により、表示された画像上でクラックを選択し、
輪郭抽出手段により、クラックを抽出し、
演算手段により、クラック本数、クラック長さ、クラック太さを算出し、
レポート手段により、クラック本数、クラック長さ、クラック太さ、撮影画像、撮影日時、建造物のコンクリートの諸元情報を記録レポートする構成される。
ここで、クラック本数、クラック長さ、クラック太さなどのクラック関する情報は、撮影画像から選択する。コンクリートのクラックは、小さいクラックの場合は表面の汚れ・しみと区別が困難である。そのため、通常、現場でのクラック撮影時には、チョークなどでクラック箇所をなぞり、写真画像上でクラック箇所を判断し易くしている。
本装置の場合、クラック本数、クラック長さ、クラック太さを算出する場合は、かかるチョークでなぞられた箇所も考慮すべく、表示された画像上でクラックを選択することにしている。

また、本発明の荷物記録システムは、上述した本発明の写真計測用画像処理装置における情報演算端末が、更に、輪郭抽出手段とレポート手段を備え、
データ転送手段により、カメラ手段から荷物形状の画像を取得し、
入力手段により、表示された画像上で荷物を選択し、
輪郭抽出手段により、荷物の輪郭を抽出し、
演算手段により、荷物形状寸法を算出し、
レポート手段により、荷物形状寸法、撮影画像、撮影日時、荷物の諸元情報を記録レポートする構成とされる。

また、本発明のレーザ加工システムは、上述した本発明の写真計測用画像処理装置と、レーザ照射を行う加工ヘッドと、加工対象を載置させるワークと、を備え、
データ転送手段により、カメラ手段から、加工ヘッド、ワーク、及び該ワークに載置された加工対象をカメラ視野内に含む画像を取得し、
入力手段により、表示された画像上で加工対象の加工ポイントを選択し、
演算手段により、加工ヘッドと加工ポイントの３次元位置座標の差分データを算出し、
データ転送手段により、差分データまたは演算データを加工ヘッドの制御部に転送する構成とされる。

ここで、加工ヘッドは、レーザ照射源となるファイバー部と、ファイバーから出射したレーザ光をコリメートするための透過光学系と、レーザ光を導光するガルバノミラーのみから成る光学系と、レーザ光を走査するガルバノスキャナーと走査したビームを集光するためのレンズもしくはｆθレンズから構成されることが好ましい。また、レンズには加工に伴う埃から保護するための保護ガラスを設けている。

また、加工ヘッドは、レーザ照射源となるファイバー部と、ファイバーから出射したレーザ光をコリメートするための反射光学系と、レーザ光を導光するガルバノミラーのみから成る光学系と、レーザ光を走査するガルバノスキャナーと走査したビームを集光するためのレンズもしくはｆθレンズから構成されることが好ましい。

また、加工ヘッドは、レーザ照射源となるファイバー部と、ファイバーから出射したレーザ光をコリメートするための反射光学系と、集光するための反射光学系とレーザ光を導光するガルバノミラーのみから成る光学系と、レーザ光を走査するガルバノスキャナーから構成されることが好ましい。
かかる構成によれば、透過型レンズを用いる場合に比べ、レーザがレンズを透過する際の熱吸収によりレンズ温度が上昇することがなく、レンズの熱変形並びに温度分布により屈折率分布が発生することが無いため、レーザの集光スポット位置がシフトする現象が発生する問題が無い。

また、加工ヘッドは、アーク溶接、プラズマ切断、抵抗溶接、電子ビーム溶接、又は、摩擦拡散接合に適用されることが好ましい。

また、カメラ手段において、加工対象の周辺環境下で、カメラの撮影画像として外乱となる発光を除外するためのフィルター手段を更に備えることが好ましい。
かかる構成とすることにより、レーザ加工時における外乱光や煙による撮影障害の影響を除去することが可能となる。

また、加工対象の周辺環境下で、カメラの撮影画像として外乱となる発光と異なる波長帯域の光源を加工対象および加工ヘッドへ照射する照射手段を更に備え、反射してきた照射波長帯域の画像を計測し、外乱発生下においても所望の対象物の３次元座標位置が計測できることが好ましい。

また、加工途中に発生する加工対象の変形またはズレ量を逐次算出し、前記加工ヘッドの位置を補正するフィードバック制御手段を更に備えることが好ましい。
このフィードバック制御手段とは、カメラ撮影を加工途中でサンプリング的に撮影し、若しくはビデオカメラなどでリアルタイムに撮影し、得られた画像からレーザ照射位置座標を再び算出し直し、再計算した位置座標に従い、レーザ走査プログラムを更新していくものである。

本発明の写真計測用画像処理装置によれば、１台のカメラで、基準プレート又はフレームを、計測対象箇所と共に1枚以上撮影するだけで、任意の点の位置座標を計算できるといった効果を有する。これにより、従来では測定が困難であった、工事現場などの足場の悪い箇所や、高温などの理由から手で触れることが不可能な形状を測定することが可能になる。
また、本発明の写真計測用画像処理装置によれば、画像処理を施すことで、橋梁や鉄骨などの部材の結合部の穴位置や穴径、部材の厚さなどを、写真１枚で抽出することができる。
さらに、施工したものの位置や寸法を完成後であっても写真から検査することが可能になるので、品質管理の向上を図ることができる。

実施例１の写真計測用画像処理装置の構成模式図 実施例１の写真計測用画像処理装置の計測用治具 実施例１の現場記録システムの説明図（１） 実施例１の現場記録システムの説明図（２） 実施例１の現場記録システムの説明図（３） 実施例１のロボットティーティングシステム・荷造記録システムの説明図 実施例１の写真計測用画像処理装置の処理フロー 電池セルの溶接の説明図 加工ヘッドとワーク部の拡大図 従来のレーザ加工システムの処理フロー 従来のレーザ加工システムの問題点の説明図 従来のレーザ加工システムの説明図１ 従来のレーザ加工システムの詳細処理フロー１ 従来のレーザ加工システムの説明図２ 従来のレーザ加工システムの詳細処理フロー２ 実施例２のレーザ加工システムの構成図 実施例２のレーザ加工システムの処理フロー その他の実施例の説明図 実施例３の荷造記録システムの概念図 実施例４の競技内容記録システムの概念図

以下、本発明の実施形態について、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。

（写真計測用画像処理装置）
図１は、実施例１の写真計測用画像処理装置の構成図を示している。実施例１の写真計測用画像処理装置１は、１台のディジタルカメラ２と、計測用治具３と、表示手段と入力手段と演算手段と記憶手段とデータ転送手段とを備えた情報演算端末６のノート型パソコンからなる。
図１において、被計測対象４は、コンクリートブロックに開けられた鉄筋穴（４ａ〜４ｃ）である。計測用治具３と被計測対象４の双方をカメラ視野５に入れ、画像を撮影する。
また、計測用治具３は、図２に示すような正方形フレームの頂点を形成する４点（３ａ〜３ｄ）の写真計測用基準点を有する方形平板の構造を呈している。

図３〜図５は、実施例１の写真計測用画像処理装置を現場記録システムとして使用するイメージを示している。図３〜図５では、被計測対象に計測用治具が隣接して配設されている。
情報演算端末となるノート型パソコンは、予め算出されたカメラ手段の内部標定要素をメモリに記憶し、カメラ撮影した被計測対象および計測用治具をカメラ視野内に含む１枚の画像をデータ転送手段から取り込み、演算プロセッサが、取り込んだ１枚の画像からカメラ手段の画像と実座標の関連情報と外部標定要素を算出し、取り込んだ１枚の画像上の少なくとも２点以上の選択されたポイントの計測用治具のなす平面及びその平行平面上での２次元座標位置ならびに距離を計測する。

図３（１）は、コンクリートブロックに開けられた鉄筋穴の本数、直径、間隔を計測する様子を示している。図３（１）において、被計測対象４は、コンクリートブロックに開けられた鉄筋穴（４ａ〜４ｃ）である。計測用治具３と被計測対象４の双方を１台のディジタルカメラ２で画像を撮影している。取得した画像情報から、鉄筋穴（Ｈ１〜Ｈ８）のそれぞれの間隔（Ｄ１〜Ｄ４，Ｄ６〜Ｄ９）を計測することができる。
また、図３（２）は、鋼材の寸法を計測する様子を示している。図３（２）において、被計測対象４は、断面がＩ型形状を呈する鋼材である。断面に隣接して計測用治具３を設置し、計測用治具３と被計測対象４の双方を１台のディジタルカメラ２で画像を撮影している。取得した画像情報から、寸法（Ｄ１〜Ｄ３）を計測することができる。
また、図４（１）は、コンクリート壁のクラックを計測する様子を示している。被計測対象４のコンクリート壁に隣接して、計測用治具３を設置して、１台のディジタルカメラ２で画像を撮影している。取得した画像情報から、クラック（４ｆ，４ｇ）の形状、長さなどを計測することができる。
また、図４（２）は、図３（２）と同様に、被計測対象４の鋼材の寸法を計測する様子を示している。ここでは、鋼材の側面に設けた孔（４ｊ〜４ｌ）の直径、位置を計測している。また、側面の寸法（ポイント４ｈと４ｉの間隔Ｌ）を計測している。図３（２）と図４（２）と併せることにより、鋼材の断面、側面などの全体形状の寸法について、１台のカメラで取得できることがわかる。図４（２）における計測用治具３は、台形形状を呈するものである。このように計測用治具３は正方形状に限定されるものではない。
また、図５は、被計測対象４となるコンクリートに埋め込まれた鉄筋の本数・直径（Ｒ），間隔（Ｄ１，Ｄ２）を計測している。

また、図６は、実施例１の写真計測用画像処理装置をロボットティーティングシステム・荷造記録システムとして使用するイメージを示している。
２台のディジタルカメラ（２ａ，２ｂ）で計測している。これは１台のカメラを移動させて撮影するものでもよい。
図６（１）は、工作ロボット９の加工対象の３次元位置を計測し、それを工作ロボットに教示するシステムを示している。加工対象の近傍に計測用治具３を設置し、２台のカメラを用いて、若しくは１台のカメラを移動させて、異なるアングルから、計測ポイント（Ｐ１´〜Ｐ５´）の被計測対象４と計測用治具３を共に撮影することにより、加工対象の３次元位置を計測するのである。
また、図６（２）は、計測用治具３を床に設置し、４点の写真計測用基準点が隠れないように、計測用治具３の上に荷物を搭載し、２台のカメラを用いて、若しくは１台のカメラを移動させて、異なるアングルから、被計測対象４の荷物と計測用治具３を共に撮影することにより、荷物の寸法（高さＨ，横幅Ｌ，奥行Ｄ）を計測するものである。

次に、実施例１の写真計測用画像処理装置の処理について、図７を用いて説明する。
先ず、装置に使用するカメラは、予め校正を行って、レンズ歪みなどの内部パラメータ（内部標定要素）を算出したものを使用する（ステップＳ１）。次に、計測用治具（基準プレート）を設置し被計測対象と共にディジタルカメラで撮影する（ステップＳ２）。そして、計測用治具（基準プレート）の中心点を自動抽出し（ステップＳ３）、投影座標と実座標との相関付けを行う（ステップＳ４）。
画像からカメラの方向や姿勢などの外部内部標定要素を算出し（ステップＳ５）、得られた内部標定要素および外部標定要素を用いて画像から被計測対象を計測する（ステップＳ６）。

１台のカメラを用いて１画像だけを取得する場合は、予めカメラの内部パラメータを算出し、計測用治具の基準プレートの画像上の投影座標と実座標との相関付けを行った後、平面射影 (ホモグラフィー)変換を行い（測定平面が基準平面から平行移動している場合は、カメラの外部標定要素を算出し、再度測定平面に対する射影変換を行い）、測定対象点の投影座標から点の実座標を求める。

一方、２台のカメラを用いて複数画像を取得する場合、若しくは、１台のカメラを移動させて、異なるアングルで複数画像を取得する場合は、予めカメラの内部パラメータを算出し、計測用治具の基準プレートの画像上の投影座標と実座標との対応付けを行う。対応付けを行った後、対応付けで得られた位置情報をもとに、カメラの各撮影位置での外部標定要素を求める。最後に、測定対象点の投影座標とカメラパラメータから、測定対象点の実座標を求める。

１画像のみを取得する用途としては、構造物の同一平面上にある穴径、穴ピッチの計測、構造部材の断面寸法、厚さ等の計測、測定対象が高温で触れない場合に有効である。また、鋼、コンクリート面上のクラックの検査にも適用可能である。
一方、２画像以上取得する用途としては、構造物の任意の位置の三次元座標、２点間距離の計測、人の手で計測が容易でないものや箇所での位置、寸法の計測、荷物の寸法測定、 ロボットの作業位置の教授に適用可能である。

クラックの検査への応用としては、大きなものは画像処理で抽出し、自動識別できない小さなものは、クラック上をチョーク等でなぞる、又は写真の上のクラックの位置を別の色でトレースし、その後画像処理で抽出し、座標変換し、実寸法の抽出を行うと同時に、正面投影画像を作成する。

（レーザ加工システム）
次に、実施例２として、レーザ加工システムについて説明する。
実施例２のレーザ加工システムは、上述した実施例１の写真計測用画像処理装置と、レーザ照射を行う加工ヘッドと、加工対象を載置させるワークとを備えている。そして、本実施例のレーザ加工システムは、写真計測用画像処理装置のデータ転送手段により、ディジタルカメラから、加工ヘッド、ワーク、及び該ワークに載置された加工対象をカメラ視野内に含む画像を取得し、マウスにより表示された画像上で加工対象の加工ポイントを選択し、操作パソコンを用いて加工ヘッドと加工ポイントの３次元位置座標の差分データを算出し、算出したデータをデータ転送手段により差分データを加工ヘッドの制御部に転送するものである。

より具体的な説明のために、実施例２のレーザ加工システムが、２次電池の電極板の溶接を行う場合について、従来システムの課題、実施例と従来システムとの差異や実施例の有利な効果について図を参照して以下説明を行う。
昨今、２次電池の電極板の溶接加工に関しては、今後の電池市場の拡大を視野に入れ、加工ヘッドの位置決めの短縮化及び溶接プロセスの短縮化が課題となっている。

図８は、２次電池の外観図を示している。外観図に示すように、２次電池は、電池セルの積層体と各々のセルを繋ぐ接続板から構成されている。ここで、プレス加工品を含む各種の部品の組立てにより構成されている電池用接続板を重ね溶接するプロセスにおいて、図９に示すように、接続板の高さ、接続板の傾きなどの３次元のバラつきが存在している。従来の溶接方法が、加工前の位置決めと加工ロボットへのティーチング工程に多大の時間を要していることに鑑みて、タクト時間の短縮が求められている。

従来の加工方法は、図１０のフローに示すように、高さ計測センサを接続板へ移動し、接続板の高さ計測して、溶接ヘッド移動量算出する。そして、溶接ヘッドを接続板へ移動し、溶接ヘッドを走査して重ね溶接を行っている。
仮に、溶接箇所がセルの１組あたり２箇所とし、接続板が１列にｎ組とし、列数が１体の電池ケース内にｍ列とすると、総溶接箇所数は、電池１体の中にＬ箇所（L＝２×ｎ×ｍ）となる。２次電池の接続板の溶接プロセスのタクト時間は、[高さ計測及び調整時間（ｘ秒／箇所）＋溶接時間（ｙ秒／箇所）]×Ｌ箇所となる。
位置決めタクト時間の短縮化、レーザ溶接時間の短縮化を図るレーザ加工システムが求められている。

また近年、ファイバー伝送可能なＹＡＧレーザの高出力・高輝度レーザの開発が進展し、焦点深度が深く、かつ、微細集光が可能なビームが適用できるようになり、高速溶接の可能性が増大してきた。しかしながら、従来のレーザ加工システムにおいては、透過型レンズを組合せた光学系を用いているため、レーザが吸収された時に発生する熱レンズ効果により焦点位置がずれる問題が生じている。このような熱レンズ効果による焦点位置のずれは、加工ポイントにおけるパワー密度が変化するため、例えばシーム溶接等の溶接品質の劣化が発生する要因となっている（図１１参照）。

本実施例２のレーザ加工システムは、上述した実施例１の写真計測用画像処理装置を用いて、加工ヘッド、ワーク、及び該ワークに載置された加工対象となる電池セル溶接代全体をカメラ視野内に含む画像を撮影し画像を取得する。そして、写真計測用画像処理装置の情報演算端末である操作パソコンを用いて、画像データから電池セル溶接代部と加工ヘッドとの３次元座標を求め、加工ヘッドからレーザを照射目標である溶接代部の相対位置を算出する。すわなち、操作パソコンのマウスを用いて、画面に表示された画像上の加工対象の加工ポイントを選択し、操作パソコンを用いて加工ヘッドと加工ポイントの３次元位置座標の差分データを算出する。算出した差分データを加工ヘッドの制御部に転送する。

このように本実施例２のレーザ加工システムでは、写真計測用画像処理装置から算出した３次元位置座標の差分データを用いて、加工ヘッドを制御（例えば、リモートレーザ溶接システムを選択する場合は、レーザビームを走査するプログラムを作成若しくは更新）することにより、従来と比べて高速溶接が可能となりタクト時間が短縮できるようになる。
すなわち、本実施例２のレーザ加工システムは、複数の電池セルの積層体と各々のセルに繋がっている接続板の３次元の設置位置のバラつきを接続板毎に各々計測し、加工データを都度作成する従来システムと比べて、写真計測用画像処理装置により電池セル全体のＬ箇所の接続板の３次元設置位置座標を一括で算出し、加工ヘッドとの相対位置を求めることにより、レーザ加工プログラムを作成する。本実施例２のレーザ加工システムでは、複数の接続板毎に加工ヘッドを近接させて溶接作業を実施する従来システムに対して、高速で３次元のレーザビームを走査することができるリモートレーザ溶接を適用し、写真計測用画像処理装置により算出したバラつきを有する３次元設置位置座標データを用いて、レーザビームを走査するプログラムを作成・更新することにより、タクト短縮が可能となるのである。

また、本実施例２のレーザ加工システムでは、透過型レンズによる加工ヘッドに対して、全反射型ミラーを適用し且つ高速走査が可能なリモートレーザヘッドを開発し、熱レンズによる焦点位置のシフト量を低減させている。

以下、従来システムと対比して、本実施例２のレーザ加工システムの構成、処理フローについて説明する。
先ず、簡単に従来システムについて説明する。図１２は、電池セルの溶接プロセスを行う従来システムの加工ヘッドとワークの拡大模式図を示している。低コスト化の必要性から各電池セルはプレス成形品が採用されていることから、個々の電池セルの高さについてバラつきが存在する。そのため、従来システムでは、先ず、電池セル毎に溶接加工を実施する前に、倣い走査を行い３次元の形状計測を実施する。次に、３次元座標データをレーザ溶接走査データへ転送し半周分の溶接を行う。次に、半周溶接施工後にセルが熱変形するため、変形後の溶接代の３次元座標を、高さセンサを用いて再度形状計測を実施し、溶接加工を実施し完成させる。

図１３は、従来システムの処理フローを示している。高さセンサを電池セル溶接代へ設置し（ステップＳ１３１）、高さセンサを電池セル溶接代に沿って倣い走査して、溶接代の３次元位置座標を計測し（ステップＳ１３２）、倣い走査で計測した位置座標に従い溶接ヘッドを半周分走査し溶接し（ステップＳ１３３）、高さセンサを熱変形後の電池セル溶接代へ設置し、残り半周分の３次元位置座標を計測し（ステップＳ１３４）、熱変形後の電池セル溶接代に沿って計測した位置座標に従い溶接ヘッドを走査し溶接する（ステップＳ１３５）。

溶接部品は電池セルの積層体と各々の電池セルを繋ぐ接続板から構成されているため、接続板の高さ、傾き等３次元のバラつきが存在する。このように３次元のバラつきが存在する電池用接続板を重ね溶接するプロセスにおいて、加工プロセスにより位置決め、加工ヘッドのティーチング、レーザ溶接加工の工程を溶接箇所毎に実施する必要がある（図１４参照）。すなわち、上記のステップＳ１３１とステップＳ１３２の処理工程は、溶接箇所毎に実施する必要がある。図１５は、溶接箇所毎に実施する処理フローを示している。高さ計測センサを接続板へ移動し（ステップＳ１５１）、接続板の高さを計測して加工ヘッドの移動量を算出し（ステップＳ１５２）、加工ヘッドを接続板へ移動し（ステップＳ１５３）、加工ヘッド走査による重ね溶接を実施する（ステップＳ１５４）。これらの一連の処理を溶接箇所がＬ箇所存在する場合に、Ｌ回繰り返す（ステップＳ１５５）。

次に、本実施例２のレーザ加工システムの構成、処理フローについて説明する。図１６に、本実施例２のレーザ加工システムの概略構成図を示している。本実施例２のレーザ加工システムでは、図１６に示すように、レーザ光源（図示せず）から照射されたレーザ光は、導光路となるファイバーを通り、全反射鏡によりレーザ方向を制御される。そして、２軸のガルバノスキャナー（Ａ軸、Ｂ軸）によってレーザ光を走査して、溶接代の電池セルの全周を一括溶接加工する。

また、実施例２のレーザ加工システムでは、図１６に示すように、２台のディジタルカメラで３次元位置座標を計測している。この２台のカメラは、レーザ加工装置に固定されており、電池セル周辺の溶接代及び加工ヘッドの３次元位置座標を、２台のカメラで撮影した画像データから算出する。そして、加工ヘッドと溶接代の３次元位置座標の差分データを算出し、加工ヘッドからのレーザ照射位置座標を算出する。図１７に、実施例２のレーザ加工システムの処理フローを示す。図１７に示すように、写真計測用画像処理装置による画像撮影とレーザ照射位置座標を算出した後、算出した位置座標に従い、レーザ走査プログラムを作成する。それをレーザ加工装置にデータ転送することにより、レーザ加工装置は、電池セル全周を一括溶接加工することができる。
また、溶接加工中、溶接加工対象が熱等により変形する場合がある。かかる場合は、カメラ撮影を加工途中でサンプリング的に撮影し、若しくはビデオカメラなどでリアルタイムに撮影し、得られた画像からレーザ照射位置座標を再び算出し直し、再計算した位置座標に従い、レーザ走査プログラムを更新していくこともできる。

なお、加工ヘッドは、実施例では、ガルバノスキャナー光学系によるリモートヘッドを用いているが、従来の固定光学系の溶接ヘッドでもかまわない。ガルバノスキャナー光学系によるリモートヘッドを用いてレーザを遠隔走査することにより、従来の溶接ヘッドの場合よりも高速溶接を行うことが可能となる。

２台のカメラの画像データから、加工ヘッドと溶接代の３次元位置座標の差分データを算出し、加工ヘッドからのレーザ照射位置座標を算出した後、このデータをレーザ加工システムのガルバノスキャナー制御部に転送する。転送するデータ形式は、座標データのみであったり、座標データを組み込んだレーザ走査プログラムに変換したものであったりする。具体的には、リモートヘッド並びに加工対象物の３次元位置座標データからリモートヘッドの基準光軸に関する角度及びリモートヘッドと被加工対象物との相対位置座標を算出（X、Y、Z、θｘ、θｙ、θｚなどのデータ）し、ＣＡＤ図面上の加工対象物とリモートヘッドの相対位置関係に、算出したズレ量を補正して実空間上の相対位置関係と整合させるプログラムを作成するのである。

図１９は、荷物記録システムの概念図を示している。図１９に示すように、矩形頂点を形成する４点（３ａ〜３ｄ）の写真計測用基準点を有する方形フレーム状の構造の計測用治具のなす平面上に置かれたダンボール箱の荷物（被計測対象）４の横、奥行き、高さ（矢印で示す寸法）を、１台のカメラで図１９のような１枚の画像を取得して、上述の実施例１と同様な処理を施すことにより、荷物形状寸法が計算できる。

図２０は、競技内容記録システムの概念図を示している。図２０は、例えば、サッカー競技場において、プレイヤーがサッカーボール４１をキックして、そらがゴール４２に入るときのシュート距離（矢印の長さ）４３を１枚のカメラ画像から取得可能である。
この場合、計測用治具は、ゴール４３の枠であったり、ゴールライン４４やコート内の競技ルール上のペナルティーエリアなどのライン枠（４５，４６）であったりする。

（その他の実施例）
（１）上述の実施例２では、レーザ光の導光制御に、全反射ミラーを用いた（図１８（２））。この全反射ミラーの代わりに従来から用いられている透過型レンズを用いてもかまわない。透過型レンズを用いる場合、レーザがレンズを透過したときの吸収によりレンズの温度が上昇し、レンズの熱変形並びに温度分布により屈折率分布が発生するために、レーザの集光スポット位置がシフトする現象が発生する問題がある。
しかし、加工精度の要求に対して、レーザ集光スポットの位置シフト量が無視できるような場合、透過型レンズをそのまま使用できる（図１８（１））。
（２）また、上述の実施例２に、更に、レンズに対して、加工対象の周辺環境下でカメラの撮影画像として外乱となる発光を除外するためのフィルターを設けてもかまわない。レーザ加工時には、外乱光や煙による撮影障害があるが、特殊なフィルターを用いることで、これらの影響を除去するものである。
（３）また、上記（２）で透過型レンズを採用した場合に、透過型光学系のレーザ出力に対するフォーカスシフト量とレンズ部の温度分布を計測し、内部発熱による温度上昇とフォーカスシフト量の相関データを取得し、熱レンズ性能を予めデータベース化してもよい。

現在のヒューマノイド型ロボットは、ステレオ方式のカメラを使用するのが主流である。これに対して、本発明は、１台のカメラにより、３次元位置を認識可能である。上記の実施例３の応用として、例えば、室内において、予め壁に掛けた絵や動かない家具などの形状を入力しておくことにより、それを基準にして、カメラを搭載するロボット自身の位置や、他の形状を認識することが可能となるのである。

本発明の写真計測用画像処理装置は、現場記録システム、荷物記録システム、レーザ加工システム、競技内容記録システムなどに有用である。

１ 写真計測用画像処理装置
２ ディジタルカメラ
３ 計測用治具
４ 被計測対象
５ カメラ視野
６ 情報演算端末
７ 接続ケーブル
８ 現場用看板
９ 工作ロボット

Claims (12)

1. １台のカメラ手段と、計測用治具と、
   表示手段と入力手段と演算手段と記憶手段とデータ転送手段とを備えた情報演算端末と、を備えた写真計測用画像処理装置において、
   前記計測用治具は、矩形頂点を形成する４点の写真計測用基準点を有する方形平板もしくは方形フレーム状の構造とされ、被計測対象に組み込まれるか、被計測対象に隣接もしくは既知の距離を隔てて平行に配設され、
   前記情報演算端末は、
   前記記憶手段が、予め算出された前記カメラ手段の内部標定要素を記憶し、
   前記データ転送手段が、前記カメラ手段を用いて撮影された被計測対象および前記計測用治具をカメラ視野内に含む１枚の画像を取り込み、
   前記演算手段が、取り込んだ１枚の画像から前記カメラ手段の画像と実座標の関連情報と外部標定要素を算出し、
   前記表示手段と入力手段により、取り込んだ１枚の画像上の少なくとも２点以上の選択されたポイントであって、前記計測用治具のなす平面とその平行平面、及びそれらと既知の交角をもつ平面の内、いずれか一つの平面上の点を２点以上画像から選択し、該平面上での２次元座標位置及び距離を計測する、
   ことを特徴とする写真計測用画像処理装置。
2. 請求項１の写真計測用画像処理装置を用いて工事現場の鉄筋配置状況を記録するシステムであって、
   前記情報演算端末は、更に、輪郭抽出手段とレポート手段を備え、
   前記データ転送手段により、前記カメラ手段から工事現場の鉄筋配置の画像を取得し、
   前記入力手段により、表示された画像上で鉄筋を選択し、
   前記輪郭抽出手段により、鉄筋の輪郭を抽出し、
   前記演算手段により、鉄筋本数、鉄筋太さ、鉄筋幅を算出し、
   前記レポート手段により、鉄筋本数、鉄筋太さ、鉄筋幅、撮影画像、撮影日時、工事現場の諸元情報を記録レポートすることを特徴とする現場記録システム。
3. 請求項１の写真計測用画像処理装置を用いて建造物のコンクリートの経年劣化状況を検査するシステムであって、
   前記情報演算端末は、更に、輪郭抽出手段とレポート手段を備え、
   前記データ転送手段により、前記カメラ手段から建造物のコンクリートの画像を取得し、
   前記入力手段により、表示された画像上でクラックを選択し、
   前記輪郭抽出手段により、クラックを抽出し、
   前記演算手段により、クラック本数、クラック長さ、クラック太さを算出し、
   前記レポート手段により、クラック本数、クラック長さ、クラック太さ、撮影画像、撮影日時、建造物のコンクリートの諸元情報を記録レポートすることを特徴とする現場記録システム。
4. 請求項１の写真計測用画像処理装置を用いて荷物形状寸法を測定するシステムであって、
   前記情報演算端末は、更に、輪郭抽出手段とレポート手段を備え、
   前記データ転送手段により、前記カメラ手段から荷物形状の画像を取得し、
   前記入力手段により、表示された画像上で荷物を選択し、
   前記輪郭抽出手段により、荷物の輪郭を抽出し、
   前記演算手段により、荷物形状寸法を算出し、
   前記レポート手段により、荷物形状寸法、撮影画像、撮影日時、荷物の諸元情報を記録レポートすることを特徴とする荷物記録システム。
5. 請求項１の写真計測用画像処理装置と、レーザ照射を行う加工ヘッドと、加工対象を載置させるワークと、を備えたレーザ加工システムであって、
   前記データ転送手段により、前記カメラ手段から、加工ヘッド、ワーク、及び該ワークに載置された加工対象をカメラ視野内に含む画像を取得し、
   前記入力手段により、表示された画像上で加工対象の加工ポイントを選択し、
   前記演算手段により、加工ヘッドと加工ポイントの３次元位置座標の差分データを算出し、
   前記データ転送手段により、差分データまたは演算データを加工ヘッドの制御部に転送することを特徴とするレーザ加工システム。
6. 前記加工ヘッドは、レーザ照射源となるファイバー部と、ファイバーから出射したレーザ光をコリメートするための透過光学系と、レーザ光を導光するガルバノミラーのみから成る光学系と、レーザ光を走査するガルバノスキャナーと走査したビームを集光するためのレンズもしくはｆθレンズから構成されることを特徴とする請求項５に記載のレーザ加工システム。
7. 前記加工ヘッドは、レーザ照射源となるファイバー部と、ファイバーから出射したレーザ光をコリメートするための反射光学系と、レーザ光を導光するガルバノミラーのみから成る光学系と、レーザ光を走査するガルバノスキャナーと走査したビームを集光するためのレンズもしくはｆθレンズから構成されることを特徴とする請求項５に記載のレーザ加工システム。
8. 前記加工ヘッドは、レーザ照射源となるファイバー部と、ファイバーから出射したレーザ光をコリメートするための反射光学系と、集光するための反射光学系とレーザ光を導光するガルバノミラーのみから成る光学系と、レーザ光を走査するガルバノスキャナーから構成されることを特徴とする請求項５に記載のレーザ加工システム。
9. 前記加工ヘッドは、アーク溶接、プラズマ切断、抵抗溶接、電子ビーム溶接、又は、摩擦拡散接合に適用されることを特徴とする請求項５に記載のレーザ加工システム。
10. 前記カメラ手段において、加工対象の周辺環境下で、カメラの撮影画像として外乱となる発光を除外するためのフィルター手段を更に備えたことを特徴とする請求項５に記載のレーザ加工システム。
11. 加工対象の周辺環境下で、カメラの撮影画像として外乱となる発光と異なる波長帯域の光源を加工対象および加工ヘッドへ照射する照射手段を更に備え、反射してきた照射波長帯域の画像を計測し、外乱発生下においても所望の対象物の３次元座標位置が計測できることを特徴とする請求項５に記載のレーザ加工システム。
12. 加工途中に発生する加工対象の変形またはズレ量を逐次算出し、前記加工ヘッドの位置を補正するフィードバック制御手段を更に備えたことを特徴とする請求項５〜１１のいずれかに記載のレーザ加工システム。