JP7036632B2 - アーク溶接支援装置、アーク溶接支援方法及びプログラム - Google Patents

アーク溶接支援装置、アーク溶接支援方法及びプログラム Download PDF

Info

Publication number
JP7036632B2
JP7036632B2 JP2018045748A JP2018045748A JP7036632B2 JP 7036632 B2 JP7036632 B2 JP 7036632B2 JP 2018045748 A JP2018045748 A JP 2018045748A JP 2018045748 A JP2018045748 A JP 2018045748A JP 7036632 B2 JP7036632 B2 JP 7036632B2
Authority
JP
Japan
Prior art keywords
image
unit
moving speed
welding torch
stationary object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018045748A
Other languages
English (en)
Other versions
JP2019155425A (ja
Inventor
唯正 深江
敏生 巳波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daihen Corp
Original Assignee
Daihen Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daihen Corp filed Critical Daihen Corp
Priority to JP2018045748A priority Critical patent/JP7036632B2/ja
Publication of JP2019155425A publication Critical patent/JP2019155425A/ja
Application granted granted Critical
Publication of JP7036632B2 publication Critical patent/JP7036632B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Arc Welding In General (AREA)

Description

本発明は、アーク溶接支援装置、アーク溶接支援方法及びプログラムに関する。
非消耗電極アーク溶接、消耗電極アーク溶接、プラズマアーク溶接等のアーク溶接において、溶接トーチの移動速度である溶接速度は、母材の板厚、継手形状、溶接法等が設定されるとその適正値が決定される。溶接作業者が溶接トーチを手で把持して行う手動溶接の場合、溶接作業者は、この適正値となるように溶接トーチを移動させる必要があるが、溶接作業者が熟練者でない場合、溶接速度を適正値に維持して溶接することは困難である。
これに対し、特許文献1に記載のアーク溶接装置は、溶接トーチに3軸加速度センサを設け、当該センサからの各軸の加速度信号を積分し、これらの積分信号を合成して溶接トーチの移動速度信号を算出する。そして、定常状態における移動速度信号の値が所定速度範囲外にあるときは警報を発生して、溶接作業者に対し溶接トーチの移動速度を適正範囲に維持することを支援するとしている。
特開2013-223879号公報
しかしながら、溶接速度が低速の場合、3軸加速度センサによって出力される加速度の値の精度が悪くなるため、特許文献1のアーク溶接装置によっては、溶接トーチの移動速度を精度良く導出することが困難となり、誤警報を発生する等の問題点がある。
本発明は斯かる事情に鑑みてなされたものであり、その目的は、溶接トーチの移動速度を精度よく導出することができるアーク溶接支援装置等を提供することにある。
本開示の一態様に係るアーク溶接支援装置は、アーク溶接作業時における溶接トーチの移動方向を視野角に含むように該溶接トーチに設けられる撮像部と、該撮像部が撮像した画像に基づいて前記溶接トーチの移動速度を導出する速度導出部と、該速度導出部が導出した前記移動速度が所定の速度範囲から外れた場合、所定信号を出力する信号出力部とを備え、前記速度導出部は、第1画像及び、第1画像の撮像時から所定時間経過後に撮像した第2画像を取得する画像取得部と、取得した前記第1画像及び第2画像に基づいて、静止物を特定する静止物特定部とを含み、前記第1画像と第2画像との間での該静止物の変動量及び前記所定時間に基づいて、移動速度を導出し、前記撮像部はステレオカメラであり、前記速度導出部は、該ステレオカメラで撮像した画像に基づき、前記静止物と溶接トーチとの距離を導出する距離導出部を含み、前記特定した複数の静止物のうち、前記溶接トーチとの距離が最も短い静止物に基づいて、移動速度を導出する。
本態様にあたっては、撮像部が撮像した画像に基づいて前記溶接トーチの移動速度を導出するので、溶接トーチの移動速度が低速の場合であっても、精度良く溶接トーチの移動速度を導出することができる。
本開示の一態様に係るアーク溶接支援装置は、前記速度導出部は、第1画像及び、第1画像の撮像時から所定時間経過後に撮像した第2画像を取得する画像取得部と、取得した前記第1画像及び第2画像に基づいて、静止物を特定する静止物特定部とを含み、前記第1画像と第2画像との間での該静止物の変動量及び前記所定時間に基づいて、移動速度を導出する。
本態様にあたっては、第1画像及び、第1画像の撮像時から所定時間経過後に撮像した第2画像に基づいて、静止物を特定し、特定した静止物の変動量及び前記所定時間に基づいて、移動速度を導出するため、精度よく溶接トーチの移動速度を導出することができる。
本開示の一態様に係るアーク溶接支援装置は、前記撮像部はステレオカメラであり、前記速度導出部は、該ステレオカメラで撮像した画像に基づき、前記静止物と溶接トーチとの距離を導出する距離導出部を含み、前記特定した複数の静止物のうち、前記溶接トーチとの距離が所定距離以内の静止物に基づいて、移動速度を導出する。
本態様にあたっては、ステレオカメラで撮像した画像に基づき、前記静止物と溶接トーチとの距離を導出し、溶接トーチとの距離が所定距離以内の静止物に基づいて、移動速度を導出するため、精度良く溶接トーチの移動速度を導出することができる。
本開示の一態様に係るアーク溶接支援装置は、前記特定した複数の静止物は、仮止め溶接部又は溶接線の端点部を含み、前記速度導出部は、該仮止め溶接部又は溶接線の端点部に基づいて、移動速度を導出する。
本態様にあたっては、仮止め溶接部又は溶接線の端点部に基づいて移動速度を導出するため、溶接現場における特有の形状を用いて、精度よく溶接トーチの移動速度を導出することができる。
本開示の一態様に係るアーク溶接支援方法は、アーク溶接作業時における溶接トーチの移動方向を視野角に含むように該溶接トーチに設けられ撮像部が撮像した画像に基づいて前記溶接トーチの移動速度を導出し、導出した前記移動速度が所定の速度範囲から外れた場合、所定信号を出力し、前記移動速度を導出する処理は、第1画像及び、第1画像の撮像時から所定時間経過後に撮像した第2画像を取得し、取得した前記第1画像及び第2画像に基づいて、静止物を特定する処理を含み、前記第1画像と第2画像との間での該静止物の変動量及び前記所定時間に基づいて、移動速度を導出し、前記撮像部はステレオカメラであり、前記移動速度を導出する処理は、該ステレオカメラで撮像した画像に基づき、前記静止物と溶接トーチとの距離を導出する処理を含み、前記特定した複数の静止物のうち、前記溶接トーチとの距離が最も短い静止物に基づいて、移動速度を導出する。
本態様にあたっては、撮像部が撮像した画像に基づいて前記溶接トーチの移動速度を導出するので、溶接トーチの移動速度が低速の場合であっても、精度よく溶接トーチの移動速度を導出するアーク溶接支援方法を提供することができる。
本開示の一態様に係るプログラムは、コンピュータにアーク溶接作業時における溶接トーチの移動方向を視野角に含むように該溶接トーチに設けられる撮像部が撮像した画像を取得し、取得した前記画像に基づいて前記溶接トーチの移動速度を導出し、導出した前記移動速度が所定の速度範囲から外れた場合、所定信号を出力し、前記移動速度を導出する処理は、第1画像及び、第1画像の撮像時から所定時間経過後に撮像した第2画像を取得し、取得した前記第1画像及び第2画像に基づいて、静止物を特定する処理を含み、前記第1画像と第2画像との間での該静止物の変動量及び前記所定時間に基づいて、移動速度を導出し、前記撮像部はステレオカメラであり、前記移動速度を導出する処理は、該ステレオカメラで撮像した画像に基づき、前記静止物と溶接トーチとの距離を導出する処理を含み、前記特定した複数の静止物のうち、前記溶接トーチとの距離が最も短い静止物に基づいて、移動速度を導出する処理を実行させる。
本態様にあたっては、コンピュータを、溶接トーチの移動速度が低速の場合であっても精度よく溶接トーチの移動速度を導出するアーク溶接支援装置として機能させることができる。
本開示の一態様に係るアーク溶接支援装置は、溶接トーチ及び母材の被溶接部を視野角に含むように設けられる撮像部と、該撮像部が撮像した画像に基づいて前記溶接トーチの移動速度を導出する速度導出部と、該速度導出部が導出した前記移動速度が所定の速度範囲から外れた場合、所定信号を出力する信号出力部とを備え、前記速度導出部は、第1画像及び、第1画像の撮像時から所定時間経過後に撮像した第2画像を取得する画像取得部と、取得した前記第1画像及び第2画像に基づいて、静止物を特定する静止物特定部とを含み、前記第1画像と第2画像との間での該静止物の変動量及び前記所定時間に基づいて、移動速度を導出し、前記撮像部はステレオカメラであり、前記速度導出部は、該ステレオカメラで撮像した画像に基づき、前記静止物と溶接トーチとの距離を導出する距離導出部を含み、前記特定した複数の静止物のうち、前記溶接トーチとの距離が最も短い静止物に基づいて、移動速度を導出する。
本態様にあたっては、撮像部は、溶接トーチ及び前記母材の被溶接部を視野角に含むように設けられているため、溶接トーチの重量を軽減して溶接者の負荷を低減しつつ、精度よく溶接トーチの移動速度を導出することができる。
溶接トーチの移動速度を精度よく導出することができるアーク溶接支援装置等を提供することができる。
実施形態1に係るアーク溶接支援装置を備える溶接トーチの一例を示す模式図である。 実施形態1に係るアーク溶接支援装置(単眼カメラ)の一構成例を示すブロック図である。 アーク溶接支援装置による移動速度の導出に関する説明図である。 実施形態1に係る演算部の処理手順(メイン)を示すフローチャートである。 実施形態1に係る演算部の処理手順(サブルーチン)を示すフローチャートである。 実施形態2に係るアーク溶接支援装置(ステレオカメラ)の一構成例を示すブロック図である。 実施形態2に係る演算部の処理手順を示すフローチャートである。 仮止め溶接部の輝度に関する説明図である。 仮止め溶接部との距離の導出に関する説明図である。 変形例1に係るアーク溶接支援装置(別筐体にカメラ)の一構成例を示すブロック図である。
(実施形態1)
以下、本発明をその実施形態を示す図面に基づいて詳述する。図1は、実施形態1に係るアーク溶接支援装置1を備える溶接トーチ2の一例を示す模式図である。図2は、実施形態1に係るアーク溶接支援装置1(単眼カメラ)の一構成例を示すブロック図である。
アーク溶接支援装置1は、溶接トーチ2のトーチホルダ22の上面に固定され、後述する撮像部11の視野角(視野方向)が、トーチ本体21側に向くように設けられている。溶接トーチ2は、アークが発生する筒状のトーチ本体21、溶接者が担持するトーチホルダ22及びトーチスイッチ23を含む。
溶接トーチ2は、溶接電源装置4(図10参照)に接続されており、トーチスイッチ23がオンにされることにより、溶接電源装置4からの溶接電圧が電極(図示せず)に印加され、電極と母材3(図3参照)との間にてアーク放電が行われる。
図2に示すごとく、アーク溶接支援装置1は、撮像部11、撮像部11が撮像した画像を処理するための演算部12、記憶部13及び報知部14を含む。撮像部11、演算部12、記憶部13及び報知部14は内部バス15により通信可能に接続されている。
撮像部11は、レンズ111、イメージセンサ112、及びAD変換部113を含み、例えば単眼レンズによるカメラである。レンズ111は、例えば凸レンズ等の光学レンズである。
イメージセンサ112は、レンズ111の焦点位置となるようにアーク溶接支援装置1の筐体内に配置されている。イメージセンサ112は、例えばCMOS(Complementary Metal Oxide Semiconductor)センサ等であり、レンズ111から入射された光を受光し、複数の画素によって受光した光を露光することによって撮像し、撮像した画像をAD変換部113に出力する。イメージセンサ112の画素数、画素のピッチは、撮像する画像の解像度に合わせて適宜決定される。
AD変換部113は、入力された画像(アナログ信号)を一定時間ごとに区切ってサンプリングし、サンプリングした値をデジタル信号に変換できるように量子化し、量子化された値を予め指定された2進数の桁数で出力する。AD変換部113は、サンプリングレート及び分解能に応じて、フラッシュ形、パイプライン形等の方式が適宜決定される。
演算部12は、CPU(Central Processing Unit)又はMPU(Micro Processing Unit)等により構成してあり、時計機能を有する。演算部12は、記憶部13に予め記憶されたプログラム131P及びデータを読み出して実行することにより、種々の制御処理及び演算処理等を行う。演算部12は、画像に関するデータ(画像データ)を処理するにあたり、記憶部13に当該画像データ等を記憶するようにしてある。
記憶部13は、ROM(Read Only Memory)、EEPROM(Electrically Erasable Programmable ROM)、フラッシュメモリ等の不揮発性メモリ、又はRAM等の揮発性メモリにより構成してあり、プログラム131P及び処理時に参照するデータがあらかじめ記憶してある。記憶部13に記憶されたプログラム131Pは、演算部12が読み取り可能な記録媒体131から読み出されたプログラム131Pを記憶したものであってもよい。また、図示しない通信網に接続されている図示しない外部コンピュータからプログラム131Pをダウンロードし、記憶部13に記憶させたものであってもよい。
報知部14は、例えばスピーカ、回転ランプ、及び表示ディスプレイを含み、演算部12から出力された所定の信号に基づいて、溶接者に対し報知する。
アーク溶接支援装置1は、速度導出部、信号出力部を有する。速度導出部は、撮像部11が撮像した画像に基づいて、溶接トーチ2の移動速度を導出するものであり、画像取得部、静止物特定部及び距離導出部を含む。演算部12は、プログラム131Pを実行することにより、速度導出部として機能する。信号出力部は、導出した溶接トーチ2の移動速度が所定の速度範囲から外れた場合、所定信号を報知部14に出力する。演算部12は、プログラム131Pを実行することにより、信号出力部として機能する。演算部12が、速度導出部及び信号出力部として機能するにあたり、プログラム131Pの実行に関する処理については、後述するフローチャートにて説明する。
本実施形態にて、撮像部11は、アーク溶接支援装置1の筐体内に設けられ、撮像部11と演算部12とを内部バス15によって接続し、撮像部11及び演算部12等は一体化された構造としているが、これに限定されない。アーク溶接支援装置1は、撮像部11と、演算部12、記憶部13及び報知部14とを別体として構成し、撮像部11を収納する筐体を溶接トーチ2に設けるものであってもよい。この場合、撮像部11を収納する筐体には、別体として設けられた演算部12と通信するための通信部が設けられ、撮像部11のAD変換部113から出力された画像に関するデータは、当該通信部を介して演算部12に送信される。通信部は、シリアルケーブル等の有線通信、及びWiFi(登録商標)等の無線通信を含む。
図3は、アーク溶接支援装置1による移動速度の導出に関する説明図である。図3の説明図において、2つの母材3を平坦な台上に並設させ、これら母材3夫々における直線状の被溶接部31を互い接触させることにより、溶接線が形成されている。この溶接線上には、複数の仮止め溶接部(仮止めポイント)32が設けられており、すなわち、アーク溶接を開始するにあたり、これら母材3夫々の被溶接部31は、複数箇所において、仮止めとしてのスポット溶接が行われている。
溶接者により担持された溶接トーチ2は、紙面上、手前側から溶接線に沿って移動されるものとなる。撮像部11は、その視野方向がトーチ本体21を向くように設けられており、望ましくは、溶接作業時において、いずれかの仮止め溶接部32又は溶接線の終端が、視野角(視野範囲)に含まれるように設けられている。すなわち、溶接者がアーク溶接を開始してから完了するまでの間、撮像部11は、いずれかの仮止め溶接部32又は溶接線の終端の画像を撮像できるように設けられていることが望ましい。これら仮止め溶接部32又は溶接線の終端は、後述する静止物として、演算部12によって抽出される。なお、静止物は、仮止め溶接部32又は溶接線の終端に限定されず、溶接現場に設けられた溶接電源装置4等の設備等、又は溶接現場の環境風景に含まれる蛍光灯、ドア又は、窓等であってもよい。
図4は、実施形態1に係る演算部12の処理手順(メイン)を示すフローチャートである。図5は、実施形態1に係る演算部12の処理手順(サブルーチン)を示すフローチャートである。アーク溶接支援装置1の演算部12は、記憶部13に記憶されているプログラム131Pを実行することによって、以下に示す処理を開始する。演算部12は、例えば、溶接トーチ2のトーチスイッチ23がオンにされることにより、当該プログラム131Pを実行するものであってもよい。
演算部12は、第1の静止物の画像(静止物データ)を構成する(S01)。このS01の処理は、図5に示すサブルーチンの処理として、演算部12によって実行される。
演算部12は、撮像部11から出力された画像データを取得し、連続する2つの画像から2つの特徴点の組みを選択する(S101)。撮像部11から出力された画像データには、溶接現場の環境風景が含まれている。溶接現場の環境風景とは、上述のとおり母材3の被溶接部31、又は母材3の周辺に配置されている設備等を含む。撮像部11から出力された画像データが動画である場合、所定の分解能で撮像された連続する静止画の画像フレーム(連続フレーム)により構成される。
演算部12は、連続して撮像された2つの画像(画像1、画像2)を取得する。画像2は、画像1の次のフレームであり、画像1の撮像時刻(t)に対し、画像1の撮像時刻は、(t+1)に相当する。この+1とは、次フレームであることを意味する。
演算部12は、2つの画像(画像1、画像2)夫々において、輝度量に基づいた特徴点の集合(画像1:(p0、p1、・・・pn)、画像2:(p’0、p’1、・・・p’n))を導出し、これら特徴点の集合を記憶部13に記憶する。演算部12は、これら特徴点の集合から対応する特徴点の組みを2つ選択する。例えば、演算部12は、画像1の(p0、p1)と、画像2の(p’0、p’1)を選択し、夫々の輝度量の和(p0+p1、p’0+p’1)をマッチングスコアとし、当該マッチングスコアが所定量以上であれば、選択した特徴点の組みは、マッチすると判定する。以下の説明において、画像1の(p0、p1)と、画像2の(p’0、p’1)は、マッチしたペアであるとして、演算部12は、2つの特徴点の組みを選択する。
演算部12は、選択された2つの特徴点のベクトルを算出する(S102)。演算部12は、S101の処理で選択した2つの特徴点の組みに基づき、2つの画像夫々における選択された2つの特徴点によるベクトル(画像1:(V1=p0-p1)、画像2:(V2=p’0-p’1))を算出する。
演算部12は、算出した2つのベクトルが類似しているか否かを判定する(S103)。演算部12は、S102の処理で算出したベクトル(画像1:V1、画像2:V2)を比較し、これらベクトルの類似性を判定する。演算部12は、当該判定として、例えば、これらベクトルの差異の絶対値が所定値以内であるかにより行う。
類似していない場合(S103:NO)、演算部12は、再度S101の処理を実行すべくループ処理を行う。演算部12は、再度S101を実行するにあたり、今回選択した特徴点を除外し、他の特徴点の中から新たに2つの特徴点の組みを選択する。
類似している場合(S103:YES)、演算部12は、画像1にて選択した2つの特徴点(p0、p1)を位置不変点として設定する(S104)。すなわち、選択した2つの特徴点(p0、p1)は、静止物の一部であるとして設定され、演算部12は、当該2つの特徴点(p0、p1)に、例えば位置不変点フラグ等を付加して、記憶部13に記憶する。演算部12は、同様に、画像2にて選択した2つの特徴点(p’0、p’1)を位置不変点として設定してもよい。
演算部12は、2つの特徴点の中点(ベクトルの重心)を算出する(S105)。演算部12は、画像1及び画像2において選択した2つの特徴点において、これら特徴点の中点をベクトルの重心(画像1:VGG1=(p0+p1)/2、画像2:VGG2=(p’0+p’1)/2)として算出し、これらベクトルの重心を記憶部13に記憶する。
演算部12は、画像データから、2つの特徴点を削除する(S106)。演算部12は、S101の処理にて、画像1及び画像2から特徴点の集合を導出している。演算部12は、これら導出した夫々の集合から、S104で位置不変点として設定した特徴点((p0、p1)、(p’0、p’1))を削除する。この特徴点の削除は、特徴点のデータそのものを削除することに限定されず、演算部12は、例えば、これら特徴点に対し除外フラグを付与する等し、以降の特徴点を選択する処理において、これら除外フラグが付与された特徴点を除外するものとしてもよい。
演算部12は、画像データ夫々から、対応する特徴点夫々を選択する(S107)。
演算部12は、S101で導出した画像1及び画像2から特徴点の集合から、既に選択した特徴点((p0、p1)、(p’0、p’1))以外となる他の特徴点(画像1:p2、画像2:p’2)を選択する。
演算部12は、S107で選択した特徴点と、前回ベクトルの重心とのベクトルを算出する(S108)。演算部12は、S108の処理を同様に、S107で選択した特徴点と、前回算出したベクトルの重心とに基づき、画像1及び画像2における夫々のベクトル(画像1:(V1=p2-VG1)、画像2:(V2=p’2-VG2))を算出する。
演算部12は、S103の処理と同様に算出した2つのベクトルが類似しているか否かを判定する(S109)。
類似している場合(S109:YES)、選択した特徴点(p2、p’2)を位置不変点として設定し、ベクトルの重心を算出する(S110)。演算部12は、処理104と同様に選択した特徴点(p2、p’2)を位置不変点として設定して、記憶部13に記憶する。
演算部12は、S108の処理と同様に、今回選択した特徴点(p2、p’2)及び前回算出したベクトルの重心(VG1、VG2)との中点により、ベクトルの重心を算出し、算出したベクトルの重心を、以降の処理で用いるものとする。すなわち、演算部12は、VG1及びVG2に対し代入処理(VG1←(P2+VG1)/2、VG2←(P2+VG2)/2)を行うことによって、これらベクトルの重心の上書き処理を行う。
類似していない場合(S109:NO)、演算部12は、S110の処理をスキップし、S111の処理を行う。演算部12は、S106の処理と同様に、画像データ夫々からS107で選択した特徴点(p2、p’2)を削除する(S111)。
演算部12は、全ての特徴点を選択したか否かの判定を行う(S112)。演算部12は、S101の処理において、夫々の画像から特徴点の集合を導出しており、この集合において、例えば配列として記憶された特徴点夫々について、選択したか否かの判定を行う。選択された特徴点は、この配列から削除され、又は除去フラグが付与されているため、演算部12は、記憶部13を参照することにより、未だ選択されていない特徴点の有無を判定することができる。
全ての特徴点が選択されていない場合(S112:NO)、演算部12は、再度S107の処理を実行すべく、ループ処理を行う。S107で選択される特徴点は、これまでの処理にて選択されていない特徴点であることは、言うまでもない。従って、S112の判定処理に基づき、再度S107を実行するループ処理を繰り返すことにより、全ての特徴点が選択され、選択された特徴点及び前ルーチンの処理にて算出された重心のベクトルに基づき、位置不変点の設定が順次に行われる。
全ての特徴点が選択された(S112:YES)場合、演算部12は、設定した位置不変点から静止物の画像(静止物データ)を構成する(S113)。演算部12は、位置不変点として設定した特徴点に基づき、撮像された画像において、静止物を特定、すなわち静止物の位置画像を構成し、当該静止物の位置画像に関する静止物データを記憶部13に記憶する。このように静止物の位置画像を構成することによって、溶接環境において位置が変化しない静的特徴量を保存することができる。演算部12は、サブルーチンとなる第1の静止物データの構成(位置不変点抽出)の処理を終了する。
演算部12は、所定の時間(ΔT)が経過したか否かを判定する(S02)。演算部12は、時計機能を有しており、所定の時間(ΔT)が経過したか否かを判定する。または、演算部12は、所定の時間(ΔT)の間、待機処理(スリープ処理)を行うものであってもよい。
所定の時間(ΔT)が経過していない場合(S02:NO)、演算部12は、再度S02の処理を行うべくループ処理を行う。
所定の時間(ΔT)が経過した場合(S02:YES)、演算部12は、第2の静止物の画像(静止物データ)を構成する(S03)。S03の処理は、S01の処理と同様に、図2にてサブルーチンとして定義してある静止物データの構成(位置不変点抽出)の処理を行う。すなわち、S01の処理に対し、所定の時間(ΔT)の経過後に撮像された連続する2つの画像に基づき、静止物を特定、すなわち静止物の位置画像を構成し、当該静止物の位置画像に関する静止物データを記憶部13に記憶する。
演算部12は、変動量(移動速度)を導出する(S04)。演算部12は、S01で記憶した第1の静止物データと、S012で記憶した第2の静止物データとに基づいて、溶接トーチ2の移動速度を導出する。
演算部12は、第1の静止物データと、第2の静止物データとを比較し、これらデータの類似度をマッチングすることにより、変動量を導出する。第1の静止物データ及び第2の静止物データは、同じ静止物に関するデータを含むものであり、溶接トーチ2が溶接者の操作によって移動したことにより、これら静止物の画像上の位置が異なるものとなる。演算部12は、例えば、これら静止物データ間において画素単位の変位量を導出して、類似度のマッチングを行うものであってもよい。または、演算部12は、予めこれら静止物データ間における類似度又は差異量に基づいた変動量を機械学習等により学習しておき、当該学習結果として記憶部13に記憶してある学習データに基づき、変動量を導出するものであってもよい。
第1の静止物データ及び第2の静止物データにおいて、複数の静止物が含まれる場合がある。図3に示すごとく、被溶接部31(溶接線)に沿って、複数の仮止め溶接部32が設けられている場合、演算部12は、これら複数の仮止め溶接部32のうち、溶接トーチ2との距離が最も短い仮止め溶接部32を、変動量を導出するための静止物としてもよい。溶接トーチ2との距離が最も短い静止物に基づくことにより、精度よく変動量を導出することができる。
仮止め溶接部32の形状又輝度量に関するデータは、予め記憶部13に記憶されており、演算部12は、当該データに基づき、撮像された画像における仮止め溶接部32を抽出し、当該仮止め溶接部32を画像解析するためのマーカとして用いて、仮止め溶接部32及び他の静止物との距離を導出してもよい。なお、溶接トーチ2との距離が最も短い静止物は、仮止め溶接部32に限定されず、他の静止物であってもよい。
演算部12は、導出した変動量及びS02での所定時間(ΔT)に基づき、溶接トーチ2の移動速度を導出する。導出した変動量は、溶接トーチ2の移動距離との相関を有するため、演算部12は、導出した変動量に基づき決定される移動距離を、S02での所定時間(ΔT)で除算することにより、溶接トーチ2の移動速度を導出する。
演算部12は、変動量(移動速度)が所定の範囲内であるか否かを判定する(S05)。溶接トーチ2の移動速度において、適切速度(例えば、20cm/分)が設定されており、溶接品質を担保するため、当該適切速度を基準に所定の範囲が決定される。所定の範囲は、例えば、溶接トーチ2の適切速度の±5%以内として決定してもよい。この適切速度又は所定の範囲に関するデータは、記憶部13に記憶されている。演算部12は、記憶部13を参照し、S04で導出された溶接トーチ2の移動速度が、当該所定の範囲内であるか否かの判定を行う。
所定の範囲内である場合(S05:YES)、演算部12は、再度S01の処理を行うべくループ処理を行う。
所定の範囲内でない場合(S05:NO)、演算部12は、報知部14に所定信号を出力する(S06)。演算部12から出力された所定信号を取得した報知部14は、例えばスピーカから「溶接トーチ2の移動が速いですよ」等の音声を発して、溶接者を喚起する。または、報知部14が回転ランプを含む場合、回転ランプを回転点滅させて、溶接者を喚起してもよい。
演算部12は、S06の処理を行った後、再度S01の処理を行うべく、ループ処理を行う。演算部12は、溶接トーチ2のトーチスイッチ23がオンとなっている場合、S01からS06の処理を行うものであってよい。従って、溶接トーチ2のトーチスイッチ23がオフにされた場合、演算部12は、本処理を終了する。
アーク溶接支援装置1は、撮像部11が撮像した画像における静止物に関するデータ(静止物データ)に基づいて、溶接トーチ2の移動速度を導出する。従って、移動速度が低速のため加速度センサ等による移動速度の検出が困難な場合であっても、精度よく溶接トーチ2の移動速度を導出することができる。
アーク溶接支援装置1は、静止物データにおいて複数の静止物が含まれる場合、溶接トーチ2との距離が最も短い静止物に基づくことにより、精度よく溶接トーチ2の移動速度を導出することができる。
アーク溶接支援装置1は、母材3の被溶接部31(溶接線)に設けられた仮止め溶接部32を、溶接トーチ2の移動速度を導出するための静止物とするようにしてある。従って、溶接トーチ2の進行方向に沿った静止物となる仮止め溶接部32を用いることにより、精度よく溶接トーチ2の移動速度を導出することができる。
一般的な仮止め溶接部32の形状又は輝度量に関するデータを予め記憶部13に記憶しておくことにより、撮像した画像における仮止め溶接部32を画像解析のためのマーカとして用い、仮止め溶接部32等の静止物との距離の導出又は溶接トーチ2の移動速度の導出の精度を向上させることができる。
(実施形態2)
図6は、実施形態2にアーク溶接支援装置1(ステレオカメラ)の一構成例を示すブロック図である。図7は、実施形態2に係る演算部12の処理手順を示すフローチャートである。図8は、仮止め溶接部32の輝度に関する説明図である。図9は、仮止め溶接部32との距離の導出に関する説明図である。実施形態2は、撮像部11がステレオカメラであり、撮像された画像における静止物に関する処理において実施形態1と異なる。
実施形態2の撮像部11は、2つのレンズ111を含み、これらレンズ111は所定の間隔を経て、互いの視野角を一致させて設けられているステレオカメラである。
2つのレンズ111夫々には、実施形態1と同様に対応するイメージセンサ112夫々が、接続されている。これらイメージセンサ112夫々は、レンズ111の焦点距離に適合させて配置されている。
これらイメージセンサ112夫々には、実施形態1と同様に対応するAD変換部113夫々が接続されており、AD変換部113夫々は、内部バス15を介して演算部12等と通信可能に接続されている。
演算部12の処理については、図7に示すフローチャートに基づき説明する。演算部12は、第1の画像を取得する(S201)。演算部12は、撮像部11の2つのレンズ111によって、同タイミングで撮像された第1の画像を取得する。当該画像は、2つのレンズ111によって撮像された夫々の画像データを含む。
演算部12は、第1の画像の特徴点を抽出する(S202)。演算部12は、S201で取得した2つのレンズ111によって撮像された夫々の画像データにおいて、特徴点を抽出する。特徴点を抽出は、これら画像データにおいて静止物を抽出するものであり、演算部12は、例えば、予め記憶部13に記憶してある仮止め溶接部32とのパターンマッチングにより、抽出する。図8において、横軸は、溶接の進行方向に対する垂直成分となる距離を示し、縦軸は、輝度量を示す。図8に示すごとく、仮止め溶接部32は、その中心部に近づくにつれて輝度量が増加する傾向にあり、精度よく抽出することができる。
演算部12は、予め記憶部13に記憶してある仮止め溶接部32の形状又は輝度量に関するデータを参照し、このデータに基づき、取得した画像データに対しエッジ検出処理を行う。演算部12は、エッジ検出処理の結果に基づき、エッジを構成する点、すなわち輪郭線上の点を、特徴点として抽出する。演算部12は、この特徴点の抽出を画像データ夫々に行うことにより、一方のレンズ111による画像データの特徴点と、対応する他方のレンズ111による画像データの特徴点の夫々を導出し、これら特徴点夫々を記憶部13に記憶する。
演算部12は、溶接トーチ2と、特徴点との距離を導出する(S203)。演算部12は、特徴点との距離を例えば、公知の三角測量を用いて、導出する。図9に示すごとく、2つのレンズ111は、互いの視野角を一致させて並設してある。これらレンズ111夫々の中心間の距離(B)、レンズ111の焦点距離となるイメージセンサ112とレンズ111の距離(F)、及び抽出した特徴点夫々により視差(S)に基づき、レンズ111と特徴点との距離(D)は、算出(D=B×F/S)される。レンズ111を含む撮像部11は、溶接トーチ2に設けられているので、このレンズ111と特徴点との距離(D)は、溶接トーチ2と特徴点との距離とみなすことができる。
演算部12は、実施形態1の処理S02と同様に、S204の処理を行う。所定時間が経過していない場合(S204:NO)、演算部12は、再度S204の処理を行う。
所定時間が経過した場合(S204:YES)、演算部12は、第2の画像を取得する(S205)。演算部12は、S201の処理と同様に第2の画像を取得する。第2の画像は、第1の画像の撮像時から、所定時間が経過した後に撮像されたものとなる。
演算部12は、第2の画像の特徴点の抽出する(S206)。演算部12は、S202の処理と同様に第2の画像の特徴点を抽出する。
演算部12は、溶接トーチ2と、特徴点との距離を導出する(S207)。演算部12は、S203の処理と同様に溶接トーチ2と、特徴点との距離を導出する。
演算部12は、変動量(移動速度)の導出する(S208)。演算部12は、S203で導出した第1の画像の特徴点との距離と、S207で導出した第2の画像の特徴点の距離との差異(変動量)を導出する。当該差異は、S204における所定時間において、溶接トーチ2が移動した距離に相当する。演算部12は、これら特徴点において、複数の静止物が含まれる場合、溶接トーチ2との距離が最も短い静止物の特徴点を用いて、変動量を導出するものであってもよい。溶接トーチ2との距離が最も短い静止物の特徴点を用いることによって、精度よく変動量を導出することができる。演算部12は、導出した変動量(溶接トーチ2が移動した距離)を、S204における所定時間で除算することにより、溶接トーチ2の移動速度を導出する。
演算部12は、実施形態1の処理S05及びS06と同様に、S209及びS210の処理を行う。
アーク溶接支援装置1の撮像部11は、2つのレンズ111を含むステレオカメラであるため、これらレンズ111により撮像された画像データ間による視差等を基づき、公知の三角測量を用いることにより、例えば仮止め溶接部32等の静止物である特徴点との距離を効率的に導出ことができる。導出した特徴点との距離及び当該特徴点の変動量に基づくため、加速度センサによっては検出が困難な低速度時であっても、精度よく溶接トーチ2の移動速度を導出することができる。
(変形例1)
図10は、変形例1のアーク溶接支援装置1(別筐体にカメラ)の一構成例を示すブロック図である。実施形態3は、撮像部11が溶接トーチ2とは、別体に設けられている点で、実施形態1とは異なる。
変形例1のアーク溶接支援装置1は、溶接トーチ2とは別体の装置に設けられている。
この別体の装置は、一例として溶接電源装置4であり、アーク溶接支援装置1は、溶接電源装置4に設けられている。アーク溶接支援装置1は、撮像部11の視野角(視野範囲)に母材3の被溶接部31(溶接線)、及び溶接者が溶接作業をする際の溶接トーチ2を含むように設けられている。
アーク溶接支援装置1の撮像部11は、実施形態2と同様に2つのレンズ111を含むステレオカメラで構成されている。演算部12は、実施形態2の処理と同様に第1の画像を取得し、所定時間の経過後、第2の画像を取得する。
演算部12は、取得した第1の画像及び第2の画像から抽出する特徴点として、溶接トーチ2のトーチ本体21を抽出する。溶接トーチ2の形状又は輝度量は、予め記憶部13に記憶されており、演算部12は、記憶部13を参照して、これら画像(レンズ111夫々によって撮像された画像データ)から、トーチ本体21を特徴点として抽出する。
演算部12は、実施形態2の処理と同様に抽出した特徴点夫々に基づき変動量を導出し、この変動量を所定時間で除算することにより、溶接トーチ2の移動速度を導出し、この移動速度が所定範囲内にない場合、報知部14により報知が行われるように所定の信号を出力する。
撮像部11の視野範囲に溶接トーチ2及び母材3の被溶接部31(溶接線)を含むように、アーク溶接支援装置1は設けられているので、溶接者の溶接作業間において、溶接トーチ2を常に撮像することができる。
被溶接部31(溶接線)に最も近接するトーチ本体21を特徴点として抽出することにより、精度よく変動量を導出することができる。
アーク溶接支援装置1は、溶接トーチ2とは別体となる溶接電源装置4等に設けることにより、溶接トーチ2が重たくなることを抑制することができる。
アーク溶接支援装置1は、溶接電源装置4に設けられているとしたが、これに限定されない。アーク溶接支援装置1は、溶接トーチ2とは別体となる消耗電極ワイヤの送給装置等の他の装置、又は溶接現場に据え付けられている設備等に設けられていてもよい。抽出する特徴点をトーチ本体21としたが、これに限定されない。溶接トーチ2のトーチホルダ22等、他の部位を特徴点として抽出してもよい。
(変形例2)
本実施形態において、撮像部11が撮像した画像に基づいて静止物を特定し、特定した静止物の変動量に基づいてトーチの移動速度を導出するとしたがこれに限定されない。溶接を開始する場合、溶接線を撮像した画像の中央になるように撮像部11を設定し、演算部12は、当該溶接線と画像における仮想中心線との乖離量を導出し、当該乖離量に基づいて、トーチの移動速度又は移動量を導出するものであってもよい。
本実施形態において、溶接の仮止め溶接部32を静止物として特定して、特定した静止物の変動量に基づいてトーチの移動速度を導出するとしたがこれに限定されない。溶接線の終端部の形状に関する画像データを記憶部13に記憶させておき、演算部12は、溶接線の終端部を静止物として特定して、トーチの移動速度を導出してもよい。
今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
1 アーク溶接支援装置
11 撮像部
111 レンズ
112 イメージセンサ
113 AD変換部
12 演算部
13 記憶部
131 記録媒体
131P プログラム
14 報知部
15 内部バス
2 溶接トーチ
21 トーチ本体
22 トーチホルダ
23 トーチスイッチ
3 母材
31 被溶接部(溶接線)
32 仮止め溶接部(仮止めポイント)
4 溶接電源装置

Claims (5)

  1. アーク溶接作業時における溶接トーチの移動方向を視野角に含むように該溶接トーチに設けられる撮像部と、
    該撮像部が撮像した画像に基づいて前記溶接トーチの移動速度を導出する速度導出部と、
    該速度導出部が導出した前記移動速度が所定の速度範囲から外れた場合、所定信号を出力する信号出力部と
    を備え、
    前記速度導出部は、
    第1画像及び、第1画像の撮像時から所定時間経過後に撮像した第2画像を取得する画像取得部と、
    取得した前記第1画像及び第2画像に基づいて、静止物を特定する静止物特定部とを含み、
    前記第1画像と第2画像との間での該静止物の変動量及び前記所定時間に基づいて、移動速度を導出し、
    前記撮像部はステレオカメラであり、
    前記速度導出部は、該ステレオカメラで撮像した画像に基づき、前記静止物と溶接トーチとの距離を導出する距離導出部を含み、
    前記特定した複数の静止物のうち、前記溶接トーチとの距離が最も短い静止物に基づいて、移動速度を導出する
    ことを特徴とするアーク溶接支援装置。
  2. 前記特定した複数の静止物は、仮止め溶接部又は溶接線の端点部を含み、
    前記速度導出部は、該仮止め溶接部又は溶接線の端点部に基づいて、移動速度を導出する
    ことを特徴とする請求項1に記載のアーク溶接支援装置。
  3. アーク溶接作業時における溶接トーチの移動方向を視野角に含むように該溶接トーチに設けられ撮像部が撮像した画像に基づいて前記溶接トーチの移動速度を導出し、
    導出した前記移動速度が所定の速度範囲から外れた場合、所定信号を出力し、
    前記移動速度を導出する処理は、
    第1画像及び、第1画像の撮像時から所定時間経過後に撮像した第2画像を取得し、
    取得した前記第1画像及び第2画像に基づいて、静止物を特定する処理を含み、
    前記第1画像と第2画像との間での該静止物の変動量及び前記所定時間に基づいて、移動速度を導出し、
    前記撮像部はステレオカメラであり、
    前記移動速度を導出する処理は、
    該ステレオカメラで撮像した画像に基づき、前記静止物と溶接トーチとの距離を導出する処理を含み、
    前記特定した複数の静止物のうち、前記溶接トーチとの距離が最も短い静止物に基づいて、移動速度を導出する
    ことを特徴とするアーク溶接支援方法。
  4. コンピュータに
    アーク溶接作業時における溶接トーチの移動方向を視野角に含むように該溶接トーチに設けられる撮像部が撮像した画像を取得し、
    取得した前記画像に基づいて前記溶接トーチの移動速度を導出し、
    導出した前記移動速度が所定の速度範囲から外れた場合、所定信号を出力し、
    前記移動速度を導出する処理は、
    第1画像及び、第1画像の撮像時から所定時間経過後に撮像した第2画像を取得し、
    取得した前記第1画像及び第2画像に基づいて、静止物を特定する処理を含み、
    前記第1画像と第2画像との間での該静止物の変動量及び前記所定時間に基づいて、移動速度を導出し、
    前記撮像部はステレオカメラであり、
    前記移動速度を導出する処理は、
    該ステレオカメラで撮像した画像に基づき、前記静止物と溶接トーチとの距離を導出する処理を含み、
    前記特定した複数の静止物のうち、前記溶接トーチとの距離が最も短い静止物に基づいて、移動速度を導出する
    処理を実行させるプログラム。
  5. 溶接トーチ及び母材の被溶接部を視野角に含むように設けられる撮像部と、
    該撮像部が撮像した画像に基づいて前記溶接トーチの移動速度を導出する速度導出部と、
    該速度導出部が導出した前記移動速度が所定の速度範囲から外れた場合、所定信号を出力する信号出力部と
    を備え、
    前記速度導出部は、
    第1画像及び、第1画像の撮像時から所定時間経過後に撮像した第2画像を取得する画像取得部と、
    取得した前記第1画像及び第2画像に基づいて、静止物を特定する静止物特定部とを含み、
    前記第1画像と第2画像との間での該静止物の変動量及び前記所定時間に基づいて、移動速度を導出し、
    前記撮像部はステレオカメラであり、
    前記速度導出部は、該ステレオカメラで撮像した画像に基づき、前記静止物と溶接トーチとの距離を導出する距離導出部を含み、
    前記特定した複数の静止物のうち、前記溶接トーチとの距離が最も短い静止物に基づいて、移動速度を導出する
    ことを特徴とするアーク溶接支援装置。
JP2018045748A 2018-03-13 2018-03-13 アーク溶接支援装置、アーク溶接支援方法及びプログラム Active JP7036632B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018045748A JP7036632B2 (ja) 2018-03-13 2018-03-13 アーク溶接支援装置、アーク溶接支援方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018045748A JP7036632B2 (ja) 2018-03-13 2018-03-13 アーク溶接支援装置、アーク溶接支援方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2019155425A JP2019155425A (ja) 2019-09-19
JP7036632B2 true JP7036632B2 (ja) 2022-03-15

Family

ID=67992887

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018045748A Active JP7036632B2 (ja) 2018-03-13 2018-03-13 アーク溶接支援装置、アーク溶接支援方法及びプログラム

Country Status (1)

Country Link
JP (1) JP7036632B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7333243B2 (ja) * 2019-10-18 2023-08-24 日立Geニュークリア・エナジー株式会社 溶接速度算出システム、溶接速度算出方法及び溶接速度算出装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006281270A (ja) 2005-03-31 2006-10-19 Toshiba Corp 手溶接作業分析装置および手溶接作業分析装置に適用する手溶接トーチ一体型監視カメラ
JP2008110388A (ja) 2006-10-31 2008-05-15 Toshiba Corp 溶接作業情報計測方法および装置
JP2009500178A (ja) 2005-07-15 2009-01-08 フロニウス・インテルナツィオナール・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 熔接トーチの位置決定を備えた、熔接方法及び熔接システム
US20130206740A1 (en) 2012-02-10 2013-08-15 Illinois Tool Works Inc. Optical-based weld travel speed sensing system
JP2013223879A (ja) 2012-03-22 2013-10-31 Daihen Corp アーク溶接装置
US20160372006A1 (en) 2015-06-22 2016-12-22 Joachim Berkmanns Methods for welding training

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006281270A (ja) 2005-03-31 2006-10-19 Toshiba Corp 手溶接作業分析装置および手溶接作業分析装置に適用する手溶接トーチ一体型監視カメラ
JP2009500178A (ja) 2005-07-15 2009-01-08 フロニウス・インテルナツィオナール・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 熔接トーチの位置決定を備えた、熔接方法及び熔接システム
JP2008110388A (ja) 2006-10-31 2008-05-15 Toshiba Corp 溶接作業情報計測方法および装置
US20130206740A1 (en) 2012-02-10 2013-08-15 Illinois Tool Works Inc. Optical-based weld travel speed sensing system
JP2013223879A (ja) 2012-03-22 2013-10-31 Daihen Corp アーク溶接装置
US20160372006A1 (en) 2015-06-22 2016-12-22 Joachim Berkmanns Methods for welding training

Also Published As

Publication number Publication date
JP2019155425A (ja) 2019-09-19

Similar Documents

Publication Publication Date Title
CN108886582B (zh) 摄像装置及聚焦控制方法
JP5024410B2 (ja) 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム
CN106945035B (zh) 机器人控制设备及其控制方法和机器人系统
CN108700408B (zh) 三维形状数据及纹理信息生成系统、方法及拍摄控制方法
JP6587489B2 (ja) 画像処理装置、画像処理方法および画像処理システム
JP2017187988A (ja) コード認識装置
KR20150113889A (ko) 화상처리장치, 화상처리방법 및 기억매체
JP5311143B2 (ja) 測定装置および方法、並びに、プログラム
JP6494418B2 (ja) 画像解析装置、画像解析方法、およびプログラム
US20180095549A1 (en) Detection method and detection apparatus for detecting three-dimensional position of object
JP7036632B2 (ja) アーク溶接支援装置、アーク溶接支援方法及びプログラム
JP2017138947A (ja) 飛行高度制御装置、無人飛行体、飛行高度制御方法及び飛行高度制御プログラム
JP2017175507A5 (ja)
JP6621351B2 (ja) レーザー加工用の画像処理装置及び画像処理方法
JP4578864B2 (ja) 自動追尾装置及び自動追尾方法
CN111784781A (zh) 一种参数确定方法、装置、设备及系统
JP6564693B2 (ja) 撮像装置、撮像装置の制御方法、及び判定プログラム
CN110291771B (zh) 一种目标对象的深度信息获取方法及可移动平台
US20190228569A1 (en) Apparatus and method for processing three dimensional image
US10339661B2 (en) Movement direction determination method and movement direction determination device
JP2019188467A (ja) 記録用装置、溶接支援装置、記録方法及びプログラム
JP6413648B2 (ja) 計測システム、物体取出システム、計測方法およびプログラム
JP2009290816A (ja) カメラ
WO2017145270A1 (ja) 画像処理装置、画像処理方法および内視鏡
JP2017204251A (ja) 作業支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201008

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220303

R150 Certificate of patent or registration of utility model

Ref document number: 7036632

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150