JP6518574B2 - 溶接監視装置 - Google Patents

Description

本発明は、溶接作業中のワーク上に存在する溶接部を確実に目視確認できる溶接監視装置に関する。

従来より、溶接作業の自動化のために溶接ロボットが用いられている。溶接ロボットによる溶接施工においては、ロボットアームに設けられた各軸駆動モータの作動制御によりロボット姿勢が変化しつつ溶接作業が行なわれる。かかる溶接作業において、溶接アークや溶接部を撮像カメラなどで撮像し、得られた画像を観察して、溶接電流等の溶接条件の変更や溶接位置の修正を行っている。

しかしながら、溶接部においては、強烈なアーク光を発しながら供給される溶接ワイヤが溶けて溶融池を形成し、それが固まり溶接ビードとなる。溶融池、アーク光は高輝度の光を発する領域であるが、それに比して溶接対象であるワークやこのワークに形成された開先（ギャップ）は低輝度な領域であって、輝度レベルが大きく異なるので、１台の撮像手段で同時に観察するのは困難であった。

このように、高輝度な領域と低輝度な領域とが存在するような部位を撮像・監視する方法としては、特許文献１に開示された技術がある。
特許文献１の技術は、溶接状況をカメラで監視する遠隔監視方法において、溶接部における監視対象である溶融池、アーク、開先の状態を鮮明に撮像するため６００〜８００nmを中心波長として、１００nm以下の範囲の幅の波長を透過する干渉フィルタをＣＣＤカメラの前面に配し、シャッタースピードを選択して切り替えられる制御装置により、前記それぞれの各対象に合わせた最適なシャッタースピードによって撮像したアーク、溶融池の情報と、同様に最適なシャッタースピードによってガスシールドアーク溶接では、電圧が小さい時、ティグ溶接では、電流が小さい時に撮像した溶融池、開先内情報と画像処理装置により設定された画面のマスク位置にそれぞれを合成して、モニタ出力することで鮮明な画像を表示して、開先線倣いを含めた溶接条件制御を行う溶接状況の遠隔監視方法を開示する。

すなわち、特許文献１の技術は、アーク、溶融池、ビード等を撮像するのに適したシャッタースピード（露光時間）で撮像し、それぞれの矩形領域ごと切出して、合成して表示するものである。

特開平８−１５０４７５号公報

上記した特許文献１の技術は、ＨＤＲ（ハイダイナミックレンジ合成、high dynamic range imaging）といわれるものである。
とはいえ、特許文献１のような技術を用いて、溶接状況を撮像した場合、あらかじめ設定した矩形領域ごとに、最適なシャッタースピード（または露光時間）で撮像した画像を合成するので、溶融池とワーク、カメラの位置関係がずれると、矩形領域に入らないケースが出てくる虞がある。また、矩形領域に入る／入らないかで見え方が大きく変わり、溶接作業者が見ると違和感を感じ、正しく溶接状況を映し出しているとは言い難い。例えば、オペレータにとって、溶融池とギャップの境界がきちんと溶けているかどうかが、融合不良などの溶接欠陥を防ぐために重要であるが、それらを正しく観察できない。また、あらかじめ矩形領域を設定する作業も発生し、溶接作業者にとって手間である。

そもそも、ＨＤＲ技術は、露出を変えた複数の画像（例えば、高輝度領域に露出が合わせられた画像、中輝度領域に露出が合わせられた画像、低輝度領域に露出が合わせられた画像の３枚）を用意し、３枚の画像を合成することにより各所の明るさを調整して１枚の画像にするものであり、画像を蓄える多くのメモリや画像処理のための高速なＣＰＵを必要とするものであって、リアルタイムでの表示には不向きな技術である。

そこで本発明は、上記問題点に鑑み、アーク光のような高輝度の領域と、ワークや開先などの低輝度の領域とを含むような溶接状況を１台の撮像手段で同時に撮像し、確実に目視確認することができる溶接監視装置を提供することを目的とする。

上述の目的を達成するため、本発明においては以下の技術的手段を講じた。
本発明の溶接監視装置は、溶接作業が行われているワーク上に存在する溶接部を撮像部で撮像し、撮像された画像を表示モニタに映し出し、前記表示モニタをオペレータが目視することで、前記溶接部の状況を監視する溶接監視装置において、前記撮像部が、前記溶接部における高輝度領域を撮像するのに適した露光条件で「高輝度画像」を撮像すると共に、前記溶接部における低輝度領域を撮像するのに適した露光条件で「低輝度画像」を撮像するように構成され、前記撮像部が撮像した「高輝度画像」と「低輝度画像」とを、前記表示モニタにそれぞれ交互に表示させる画像合成部を備えることを特徴とする。

また、本発明の溶接監視装置は、溶接作業が行われているワーク上に存在する溶接部を撮像部で撮像し、撮像された画像を表示モニタに映し出し、前記表示モニタをオペレータが目視することで、前記溶接部の状況を監視する溶接監視装置において、前記撮像部が、前記溶接部における高輝度領域を撮像するのに適した露光条件で「高輝度画像」を撮像すると共に、前記溶接部における低輝度領域を撮像するのに適した露光条件で「低輝度画像」を撮像するように構成され、前記撮像部が撮像した「高輝度画像」と「低輝度画像」とを基に合成画像を作成し、作成した合成画像を前記表示モニタに表示させる画像合成部を備えるものであって、前記画像合成部は、前記撮像部が撮像した「高輝度画像」の輝度と「低輝度画像」の輝度とを加算平均することで、合成画像を作成するように構成されていることを特徴とする。

好ましくは、前記撮像部が、「高輝度画像」と「低輝度画像」とを交互に撮像するように構成されているとよい。

好ましくは、前記画像合成部は、「低輝度画像」において所定の閾値を超えた輝度データを、「高輝度画像」の輝度データに置換することで、前記合成画像を作成するように構成されているとよい。
好ましくは、前記画像合成部は、前記「高輝度画像」と「低輝度画像」とが白黒濃淡画像の場合、前記「高輝度画像」と「低輝度画像」との少なくとも一方に色データを付加し、その上で、「低輝度画像」において所定の閾値を超えた輝度データを、「高輝度画像」の輝度データに置換することで、前記合成画像を作成するように構成されているとよい。

本発明によれば、アーク光のような高輝度の領域とワークや開先などの低輝度の領域とを含むような溶接状況を１台の撮像手段で同時に撮像し、確実に目視確認することが可能となる。

本発明の溶接監視装置の装置構成を示す概略図である。 本発明の溶接監視装置により撮像した画像を示したものである（低輝度画像、高輝度画像、表示画像）。 他の手法により作成した合成画像を示した図である（変形例）。

以下、図面を参照し、本発明の実施形態を説明する。
なお、以下の説明では、同一の部品には同一の符号を付してある。それらの名称及び機能も同じである。したがって、それらについての詳細な説明は繰返さない。
図１は、本実施形態にかかる溶接監視装置１の概略を示す。
この溶接監視装置１は、溶接対象物（ワークＷ）に溶接を行う溶接ロボットなどに設けられている。溶接ロボットは、例えば垂直多関節型の６軸の産業用ロボットであり、その先端に溶接トーチ２が設けられている。

溶接監視装置１は、溶接トーチ２近傍の溶接状況（溶接部Ｔ）を撮像する撮像部３を有している。
撮像部３は、１台の撮像カメラ３から構成される。撮像カメラ３はＣＣＤ撮像素子やＣＭＯＳ撮像素子を内蔵したカメラであり、撮像するためのレンズを備えている。このレンズには、減光フィルタや帯域フィルタ（赤外波長のみを通す干渉フィルタ）を取り付けることが好ましい。これらフィルタにより溶融池を撮影しやすくなり、撮像画像として、主に溶接トーチ２の先端部、ワークＷ上に形成された溶融池、溶接後のビード部などを含む画像を得ることができる。

撮像カメラ３で撮像された画像は、画像蓄積部４に蓄えられ、本発明の中心的な技術を実施する画像合成部５へと送られる。画像合成部５からの出力は、表示モニタ６に表示される。
本実施形態において、表示モニタ６に映し出された画像（映像）は、アーク光、溶融池のような高輝度の領域のみならず、溶接ワークＷや開先などの低輝度の領域までもが鮮明に映し出されたものとなっており、溶接に携わるオペレータがこの表示モニタ６を見ることで、溶接状況を確実に目視確認することができるようになる。

上記した画像合成部５は、パソコンなどで実行されるプログラムとして実現されており、画像蓄積部４は、パソコンに内蔵されたフレームメモリやハードディスクで実現されている。
以下、図１，図２をもとに、溶接監視装置１で行われる画像の処理技術、特に画像合成部５での画像処理の詳細について説明する。

図１を参照して、まず、撮像カメラ３は溶接トーチ２の溶接進行方向対面側に配置されており、水平面から４５〜５０°の角度をもって設置されている。この撮像カメラ３により、溶接トーチ２の先端部分の状況（アーク光、溶融池、ワークＷ、開先など）を撮像する。撮像カメラ３に設けられた撮像レンズには、９５０ｎｍを中心波長とする近赤外光のみを透過する干渉フィルタが装着されており、レンズを通過するアーク光を減光するようにしている。

本実施形態に使用する撮像カメラ３は、事前に設定した複数の露光時間を瞬時に切り替え可能な機能を有するものとする。例えば、１００フレーム／秒で撮像する場合、１フレーム（１０ｍｓｅｃ）毎に、露光時間を切替可能なカメラである。最近の一般的なＣＭＯＳカメラにはこのような機能は標準搭載されていることが多い。
さて、溶接状況を適切に撮像しようと考えた場合、溶接条件や撮像カメラ３側の撮像条件によって、最適な露光時間は変わる。例えば、溶接電流200A、溶接電圧25V、レンズ絞りF8のとき、高輝度領域であるアーク光や溶融池を観察する場合は、露光時間50μsec程度が望ましい（撮像条件Ｈ）。溶接ワークＷや開先部（ギャップ）を観察する場合は、露光時間5000〜10000μsec程度が望ましい（撮像条件Ｌ）。

そこで、撮像カメラ３で撮像条件を切り替えつつ、溶接トーチ２の先端近傍を撮像することで、２種類の画像（撮像条件Ｈの画像と撮像条件Ｌの画像）を得る。例えば、１００フレーム／秒で１フレームごとに交互に撮像条件を切り替えた場合、高輝度画像（高輝度領域が鮮明に映り込んだ画像、撮像条件Ｈ）が５０枚、低輝度画像（低輝度領域が鮮明に映り込んだ画像、撮像条件Ｌ）が５０枚得られる。

図２の右上側に示される如く、高輝度画像は、溶接部Ｔにおける高輝度領域（アーク、溶融池）を撮像するのに適した露光時間で撮像されたものであり、溶融池、アークは適度な輝度で撮像される一方で、溶接ワークＷ、ギャップの輝度は低く、真っ暗な状態で映し出される。
図２の左上側に示される如く、得られた低輝度画像は、溶接部Ｔにおける低輝度領域（溶接ワークＷ、ギャップ）を撮像するのに適した露光時間で撮像されたものであり、溶融池、アークは輝度飽和状態で真っ白に映し出される一方で、溶接ワークＷ、ギャップは適度な輝度で映し出される。

これら撮像カメラ３で撮像された画像は、画像蓄積部４に保存される。
その後、２種類の画像は画像合成部５に転送され、画像合成部５では、高輝度画像と低輝度画像をそのまま交互に切り替えて、表示モニタ６上に表示する。
表示モニタ６に映像を映し出す信号がＮＴＳＣ信号の場合、例えば、１フレームごと（１／３０秒ごと）に、高輝度画像と低輝度画像を交互に表示するようにする。すなわち、ｎフレーム目に高輝度画像を表示した場合、ｎ＋１フレーム目に低輝度画像を表示し、ｎ＋２フレーム目に高輝度画像を表示する（以降同じ）。なお、交互に表示させる際の切り替えタイミングや各画像の輝度などは、適宜変更可能である。

このように、高輝度画像と低輝度画像とを交互に表示すると、真っ黒な輝度低い領域や輝度高く飽和状態の領域は濃淡がないので、表示モニタ６を確認するオペレータの印象に残らない（人間の視覚特性として残存しづらい）。
一方で、高輝度画像に鮮明に映り込んだ溶融池、アークの領域はオペレータの印象に残りやすい。この印象は、次のフレームへ切り替わったとしても、オペレータの脳内に鮮明な画像として温存され、次のフレームで表示される低輝度画像に加算される形で、オペレータに認識される。次フレームに表示される低輝度画像には、溶接ワークＷ、ギャップの領域が鮮明に映り込んでいるため、結果的に、高輝度画像と低輝度画像をそのまま交互に切り替えて、表示モニタ６上に表示することで、オペレータには、高輝度領域（溶融池、アークの領域）と、低輝度領域（溶接ワークＷ、ギャップの領域）の両方が鮮明に映し出された画像が認識されることになる。

それ故、溶接監視装置１の表示モニタ６を目視することで、画像上においてマスク領域や切り取り領域を設定することなく、アーク光のような高輝度の部位と溶接ワークＷや開先などの低輝度の部位とを含むような溶接状況を確実に確認することが可能となる。
［変形例］
以上述べた溶接監視装置１に関し、その変形例について以下説明する。特に画像合成部５における処理の変形例について、説明する。

前述した技術では、表示モニタ６において、高輝度画像と低輝度画像とを交互に表示するものとしている。この技術においては、高輝度画像と低輝度画像とで輝度差がある領域において、若干のちらつきが生じ、やや見づらくなる虞も否めない。
そこで、本変形例では、高輝度画像と低輝度画像とを画像処理的に合成した合成画像を作成し、作成した合成画像を表示モニタ６へ表示するようにしている。このように、画像処理により合成した合成画像を表示することで、ちらつきもなく目視確認しやすいものとなる。

合成画像の作成方法としては、３つの方法がある。
まず、１つめの方法として（変形例１）、高輝度画像と低輝度画像との輝度の加算平均をとることで、合成画像を作成する方法が採用できる。すなわち、「合成画像の輝度＝（高輝度画像の輝度＋低輝度画像の輝度）／２」とするとよい。変形例１の方法で作成した合成画像を図３の左側に示す。

２つめの方法として（変形例２）、低輝度画像の一部を高輝度画像とで置き換えることが考えられる。すなわち、低輝度画像の輝度が予め設定した閾値（例えば256階調であれば200）を超えた場合に、高輝度画像の輝度データを用い、閾値以下の場合は、低輝度画像の輝度データを用いるようにして、合成画像を作成するとよい。変形例２の方法で作成した合成画像を図３の右側に示す。

３つめの方法は、変形例２を更に工夫したものである（変形例３）。高輝度画像と低輝度画像とが白黒濃淡画像の場合、少なくともどちらか一方に色要素を付加し、その上で、変形例２の手法で合成画像を作成するものである。例えば、高輝度画像を赤色に着色する。また、低輝度画像を黄色に着色する。そして、変形例２にて画像を合成し、合成画像を作成するとよい。

以上述べた変形例１〜変形例３の手法によっても、画像上においてマスク領域や切り取り領域を設定することなく、アーク光のような高輝度の領域と溶接ワークＷや開先、ギャップなどの低輝度の領域とを含むような溶接状況を確実に確認することが可能な画像を作成でき、オペレータは、溶接状況を正確に把握することが可能となる。
なお、今回開示された各実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。特に、今回開示された各実施形態において、明示的に開示されていない事項、例えば、運転条件や操業条件、各種パラメータ、構成物の寸法、重量、体積などは、当業者が通常実施する範囲を逸脱するものではなく、通常の当業者であれば、容易に想定することが可能な値を採用している。

１ 溶接監視装置
２ 溶接トーチ
３ 撮像部（撮像カメラ）
４ 画像蓄積部
５ 画像合成部
６ 表示モニタ
Ｔ 溶接部
Ｗ ワーク

Claims (5)

1. 溶接作業が行われているワーク上に存在する溶接部を撮像部で撮像し、撮像された画像を表示モニタに映し出し、前記表示モニタをオペレータが目視することで、前記溶接部の状況を監視する溶接監視装置において、
   前記撮像部が、前記溶接部における高輝度領域を撮像するのに適した露光条件で「高輝度画像」を撮像すると共に、前記溶接部における低輝度領域を撮像するのに適した露光条件で「低輝度画像」を撮像するように構成され、
   前記撮像部が撮像した「高輝度画像」と「低輝度画像」とを、前記表示モニタにそれぞれ交互に表示させる画像合成部を備える
   ことを特徴とする溶接監視装置。
2. 溶接作業が行われているワーク上に存在する溶接部を撮像部で撮像し、撮像された画像を表示モニタに映し出し、前記表示モニタをオペレータが目視することで、前記溶接部の状況を監視する溶接監視装置において、
   前記撮像部が、前記溶接部における高輝度領域を撮像するのに適した露光条件で「高輝度画像」を撮像すると共に、前記溶接部における低輝度領域を撮像するのに適した露光条件で「低輝度画像」を撮像するように構成され、
   前記撮像部が撮像した「高輝度画像」と「低輝度画像」とを基に合成画像を作成し、作成した合成画像を前記表示モニタに表示させる画像合成部を備えるものであって、
   前記画像合成部は、前記撮像部が撮像した「高輝度画像」の輝度と「低輝度画像」の輝度とを加算平均することで、合成画像を作成するように構成されていることを特徴とする溶接監視装置。
3. 前記撮像部が、「高輝度画像」と「低輝度画像」とを交互に撮像するように構成されていることを特徴とする請求項１又は２に記載の溶接監視装置。
4. 前記画像合成部は、「低輝度画像」において所定の閾値を超えた輝度データを、「高輝度画像」の輝度データに置換することで、前記合成画像を作成するように構成されていることを特徴とする請求項２に記載の溶接監視装置。
5. 前記画像合成部は、前記「高輝度画像」と「低輝度画像」とが白黒濃淡画像の場合、前記「高輝度画像」と「低輝度画像」との少なくとも一方に色データを付加し、その上で、「低輝度画像」において所定の閾値を超えた輝度データを、「高輝度画像」の輝度データに置換することで、前記合成画像を作成するように構成されていることを特徴とする請求項２に記載の溶接監視装置。