JPH023806A - ロボット制御システム - Google Patents

ロボット制御システム

Info

Publication number
JPH023806A
JPH023806A JP63332774A JP33277488A JPH023806A JP H023806 A JPH023806 A JP H023806A JP 63332774 A JP63332774 A JP 63332774A JP 33277488 A JP33277488 A JP 33277488A JP H023806 A JPH023806 A JP H023806A
Authority
JP
Japan
Prior art keywords
seam
working end
control
line
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP63332774A
Other languages
English (en)
Inventor
Jeffrey D Taft
ジェフリー・デビット・タフト
James F Ellison
ジェームス・フランツ・エリソン
Gerald A Breakey
ジェラルド・アンドリュー・ブレーキー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CBS Corp
Original Assignee
Westinghouse Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Westinghouse Electric Corp filed Critical Westinghouse Electric Corp
Publication of JPH023806A publication Critical patent/JPH023806A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/42Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/425Teaching successive positions by numerical control, i.e. commands being entered to control the positioning servo of the tool head or end effector
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23QDETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q35/00Control systems or devices for copying directly from a pattern or a master model; Devices for use in copying manually
    • B23Q35/04Control systems or devices for copying directly from a pattern or a master model; Devices for use in copying manually using a feeler or the like travelling along the outline of the pattern, model or drawing; Feelers, patterns, or models therefor
    • B23Q35/08Means for transforming movement of the feeler or the like into feed movement of tool or work
    • B23Q35/12Means for transforming movement of the feeler or the like into feed movement of tool or work involving electrical means
    • B23Q35/127Means for transforming movement of the feeler or the like into feed movement of tool or work involving electrical means using non-mechanical sensing
    • B23Q35/128Sensing by using optical means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/36Nc in input of data, input key till input tape
    • G05B2219/36417Programmed coarse position, fine position by alignment, follow line, path adaptive
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/45Nc applications
    • G05B2219/45104Lasrobot, welding robot
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/47Tracing, tracking
    • G05B2219/4701Edge detector, project line, inclined camera detects discontinuity

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)
  • Control Of Position Or Direction (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 本発明は一般的には作働端が経時的に辿るべき軌道を追
跡するためのロボット制御に、詳細には前方感知型光学
センサーを具える産業用ロボットの制御システムに係わ
る0本発明はシームまたはシミインドにおける溶接、切
断及びシーラント/接着剤塗布に応用できる。
説明の便宜上、ロボットによるアーク溶接シーム追跡シ
ステムに関して本発明を説明する0本発明の要点は次の
2つである:第1は工具よりも前方に感知されるシーム
経路を追跡するための、ロボットまたはその他の作働端
マニピュレーターの自動的誘導、第2はシーム経路を検
出し、産業用ロボットの制御に必要なパラメーター情報
を作成するための画像処理である。
下記の技術は1982年に開催されたロボットの視覚及
び感覚制御に関する第2回国際会議議事録の189−2
00ページに掲載されたW、F、CLOCKSIN%P
、G、Davey、 C,G、Morgan及びA、R
,Vidlerの論文“Progress In Vi
sual Feedback For Robot^r
C−Welding Of Th1n 5heet 5
tael ”から公知である。
1)レーザー・ビームを利用して、追跡すべきシーム上
に光線条を形成し、カメラによって2軸座標子面内に光
線条画像を形成したのち、三角法を利用することによっ
て溶接すべきシームまたはジヨイントを3軸座標系で表
示する; 2)光線条によってシーム上に識別される各点に関する
情報をデジタル計算し、データベースに記憶させる; 3)光学的に得られたデータを利用してロボット位置を
表わすモデルを作成し、三角法で光学的かつデジタル的
に得られた情報とジヨイント・ギャップやシミインド・
コーナーの実際の位置との誤差、スタンドオフ及び横方
向誤差を求める;4)これらの誤差を利用して溶接トー
チ制御を修正する。
ただし、上記文献の場合、光学的画像形成とジヨイント
検出が2つの連続するシーム経路に沿って行われるトー
チ制御とは別に行われ、2つの連続するシーム経路のう
ち、第2のシーム経路だけが実際の溶接に利用される。
視覚的感知と溶接を同時に進めながら適応ロボット溶接
を行なう方法は1983年11月6−10日にマサチュ
ーセッツ州ケンブリッジで開催されたロボット視覚及び
感覚制御!3回会議議事録の641−648ページに掲
載されているM、Dufour及びG、Beglflの
論文“^daptive Robotic moldi
ng Llsing A RapidPre−Proc
essor″から公知である。ロボットのリアルタイム
制御が主題であることは本願と同じであるが、この論文
は光学的感知によって得られた情報に応答してロボット
をフィードバック制御する場合を考察している。
シーム光線条像を利用してシームを認識し、溝中心位置
を計算して溝パターンを認識し、トーチ位置ぎめを制御
することは1981年8月24−28に京都で開催され
た“Eighth Triennial World 
Congrass of the Intern、 F
ed、 of Automatic Contro1″
の議事録(Oxford、England; Perg
amon Press1982年刊、vol、4.2,
117−2112ページ)に掲載された鯖、にawah
ara及びH,Matsuiの論文” Trackin
gControl  System  For  ^r
c  Welding  tlsing  Image
Sensor”から公知である。トーチよりも前方で光
学的検出が行われ、この光学的データから得られたター
ゲツト値はトーチが光学的に感知された点に達すると制
御のため入力するように遅延させられる。
しかし、この公知技術は感知場所と溶接場所という2つ
の互いにずれた場所の間に単純な相関関係が成立するこ
とを前提にしている。6つの自由度を含み、比較的複雑
なシームを加工しなければならない産業用ロボットの場
合、現実にこのような単純な相関関係は成立しない。
1981年東京で開催された産業用ロボットに関する第
11回国際シンポジウムの議事録151−158ページ
に掲載されたTakao Bamba、 HisaLc
hi Maruyavsa、 Eiichi 0hno
及びYasunori Shlgaの論文“AVisu
al 5ensor For^rc−Welding 
Robots”から、下記の技術は既に公知である: 1)追跡すべ鮒トラックにスリット光線を当てて一連の
光線条を形成する: 2)三角法により光線条から2−Dシーム像を得る; 3)感知平面内におけるロボット位置の中心からの水平
方向偏差を検出する; 4)ロボット制御システムに偏差信号を送ってトーチ経
路を修正する。
この公知技術ではロボットの制御が分析されず、従来の
フィードバック方式以外の解決策は全く提案されていな
い。
5つの自由度を有するアーク溶接ロボットの制御に視覚
的誘導を採用することは1984年10月2−4日、ス
ウェーデン、ゴーテンプルクで開催された産業用ロボッ
トに関する第14回国際シンポジウムで発表されたT、
 Bamba、 H,Maruyama、 N、にod
aira及びE、 Tsudaの論文”A Visua
l Seam TrackingSystem For
 Arc−Welding Robotos   (3
65−373ベージ)から公知である。しかし、ここで
は溶接トーチを中心に感知装置を回転させながらシーム
領域を周期的に走査することによフて感知が行われロボ
ットの制御はフィードフォワードを考慮せずに直接行わ
れる。
コンピューターによって処理、解読されるカメラ画像に
応答して6自由度でロボットを制御する技術は1983
年11月6−1O日、マサチューセッツ、ケンブリッジ
で開催されたロボットの視覚及び感覚制御に関する′f
S3回会議に発表されたり、 Graham、S、 A
、 Jenkins及びJ、 R,Woodwarkの
論文(433−439ページ) Model Driv
en Vision To Control ASur
face Finishing Robot’″から公
知である。ただし、この公知技術では、予定経路及びコ
ンピューター・モデルのオフライン分析及び計測を利用
してロボット動作を計算することによってリアルタイム
制御の問題を解決している。
光学的センサーの座標に使用すべき溶接ジヨイントの5
つの特徴点を検出し、座標変換により前記特徴点からロ
ボットを制御するための情報を得ることは1983年1
1月6−10日、マサチューセッツ州ケンブリッジで開
催されたロボットの視覚及び感覚制御第3回会議議事録
に掲載されているG、 Nachev、 B、 Pat
kov及びり、 Blagoevの論文″Data P
r。
cessing Problea+ For Gas 
Metal Arc(GMA)  Walder  (
675−880ページ)から公知であるが、このアプロ
ーチはロボットの固有特性から外部的に制御指令を与え
るのではなく、ロボットをこのような作業に適応させる
ことを前提としている。
光学的感知システムからトーチが辿るべき経路の座標を
求め、カメラ座標から工作物座標への変換を利用するこ
とによりロボット・コントローラを介してトーチを正し
く位置ぎめすることは前記第3回会議議事録に掲載され
ているG、 L、 Oomen及びW、 P、 A、 
Verbeekの論文”A Real−Time 0p
tical  Profile  5ensor  F
or  Robot  Arc  ’llelding
   (659−6[18ページ)から公知である。た
だし、その実施の態様は示されておらず、この課題に伴
なう問題点もその解決策も示されていない。
光線茶抽出による視覚処理を利用して指示経路を移動す
る溶接ロボットを視覚的に誘導するための溶接ジヨイン
トの特徴を認識し、補間法によってジヨイント・ルート
位置及びその指示経路からの距離を検出してロボットを
制御、修正することは1986年11月刊Weldin
g Journal、33−41ページに掲載されたJ
、 F、 Agapakic、 J、 M、にatz、
 M、 Koifman、  G、N、Epstein
% J、M、Friedman、  D、0.Eyri
ng及びH,J、 Rutishauserの論文“J
oint Tracking And  Adapti
ve  Robotic  Welding  Usi
ng  Vision Sensing Of The
 Weld Joint Geometry ”から公
知であるが、この公知技術はロボットの指示経路を利用
するものであり、フィードフォワード・アプローチはと
らない。
作働端の予想位置を計算、制御しながらその次の動作を
明らかにするため、種々の前方感知技術が既に採用され
ている。例えば、米国特許$4,501.950号、4
,542,279号;4,590,356.4,663
,726号及び第4,675,502号を参照されたい
。しかし、これらはいずれも感知シームまたはジヨイン
トに沿った固有のロボット動作に必要な補正を求めるた
めリアルタイム・で、かつフィードフォワード制御下に
感知場所と外挿指示経路場所とを相関させる方法を開示
してはいない。例えば、米国特許第4゜590.351
i号;4.542,279号:及び4,501.950
号は木質的にはターミナル・ホーミングに係わり、静的
な指示経路により制御が行なわれるのではない。
米国特許第4.61!3,726号はロボット・システ
ムそのものに係わる。従って、ロボットは自動シーム追
跡システムにとってアプリオリではない。
米国特許第4,675,502号は前方感知型視覚シス
テムを具え、ロボット指示経路を利用するリアルタイム
・ロボット・コントローラーを開示している。変換され
た感知場所データを待ち行列に記憶させ、工具よりもや
や前方の場所をターゲットとして検索し、これを指示経
路と比較することによって現在位置からの工具移動を修
正し、制御する、指示経路の回復は行われず、フィード
フォワード制御下にロボットが目ざす予想工具位置を定
めるため、速度ではなく通過距離を考慮する。
以  下  余  白 本発明はその特徴の1つとして、補間法を採用する。こ
の点については公知技術としての米国特許第4,883
.543号は時間に基づくロボットの補間制御を開示し
ているが、本発明とは異なり、通過距離に基づく補間は
行われない。同じく時間に基づく補間法が米国特許第4
,883,726号に開示されている。
本発明は画像プロセッサーと連携する光学的シーム追跡
装置の前方感知型センサーよりも後方に位置する作働端
をリアルタイムで制御するロボット制御システムと、作
働端の現在位置に応答して対応のシーム場所に関連して
フィードフォワード方式で作働端を予想位置にむかって
制御する制御プロセッサーと、シーム上の順次感知され
た場所を示す画像プロセッサーを含み、制御プロセッサ
ーが前記感知された場所をセンサーの起点からの通過距
離と相関させると共に、作働端位置をその起点からの通
過距離と相関させるように構成されており、前記対応シ
ーム場所が画像プロセッサーから得られる感知場所及び
予想位置に対応する通過距離に基づいて制御プロセッサ
ーによって検出され、予想位置が制御プロセッサーによ
り、ロボットの指示経路上において外挿で得られた通過
距離と相関させられ、対応シーム場所が画像プロセッサ
ーの感知場所のうちから、前記外挿距離の関数として得
られ、対応シーム場所が適用される外挿通過距離と境を
接する通過距離に対応する2つの連続する感知シーム場
所間を制御プロセッサーが補間することによって求めら
れることを特徴とする。
また、本発明では作働端をその現在位置から対応のシー
ム場所に基づく指示経路に関してフィードフォワード制
御し、その際、前記指示経路は前記作働端現在位置に基
づき制御プロセッサーによって回復され、同じく前記現
在位置から外挿作働端位置及び予想通過距離が得られる
。前記対応シーム場所と回復指示経路から誤差が得られ
、これがフィードフォワード制御に利用される。フィー
ドフォワード制御が周期的に行われ、新しい作働端位置
及び外挿位置ごとに制御プロセッサーによつて通過距離
が測定され、記憶される。前方感知型センサーは作働端
より一定距離だけ前方に設置され、作働端位置及び感知
シーム場所に対応する通過距離を求める際に前記一定距
離が考慮される(以 下 余 白) 添付図面に沿って本発明の実施例を以下に説明する。
好ましい実施例は互いに作用し合う3つのマイクロコン
ピュータ−1即ち、ロボット・プロセッサーRB、制御
プロセッサーCP及び画像プロセッサーIPを含む。ロ
ボット・プロセッサーは産業用ロボットの一部であり、
公知であるから説明を省く。指示経路に従フて動作し、
ロボット作働端の位置及び姿勢を制御する0本発明の好
ましい実施例を2つの部分、即ち、制御プロセッサーと
画像プロセッサーに分けて以下に説明する。制御プロセ
ッサーは画像プロセッサーから得たデータを利用し、ロ
ボット・プロセッサーに制御信号を\ 送る。画像プロセッサーは作働端に先行してシーム経路
上の場所を感知する光学的シーム追跡システムの一部で
ある。追跡のための光学的感知及び産業用ロボットの制
御はロボット・システム内で指示経路を得られない状況
で行われる。制御プロセッサーはロボット・システムと
連携し、作働端の位置及び姿勢に関する情報を受信し、
これに基づいて指示経路を推定すると同時に、先行の制
御ステップに基づき、工具が経路をその起点から辿った
通過距離を絶えず計算する。他方、画像プロセッサーは
感知された場所から場所への通過距離及びそれぞれの通
過距離に対応するそれぞれの場所の空間座標を出力する
。こうして両プロセッサーから得たデータに基づき、制
御プロセッサーは少なくとも1制御ステツプ後に予想さ
れる作働端位置を繰り返し外挿する一方、補間により、
正確に対応するシーム経路上の感知場所を計算する。
この対応感知場所からこれに関する空間座標が明らかに
なるから、制御プロセッサーは同じ制御ステップにおい
て、感知された座標と、回復指示経路上の外挿または予
想作働端位置の座標とを比較して誤差を求めることがで
きる。ロボットの制御は作!!1t411が現在位置か
ら移動する過程で予想位置に対してフィードフォワード
方式で行われる。
シーム及びその中心が鮮明に解読されるようにビデオ信
号のデジタル化に続いて2−Dカメラ画像からの画像処
理が行われ、これに基づいて、通過距離ごとに感知シー
ム経路場所の3−D座標及び3軸方向性を求め、制御プ
ロセッサーがこれらのデータをIA理する。
画像プロセッサーと制御プロセッサーはシーム追跡及び
ロボット制御において一体として動作する。このためシ
ステムは3つのコンピューターを組み合わせる: (画像処理に関与する)第1コンピユーターは光学感知
システムと連携して、光学的に感知されたシームまたは
ジヨイント画像に基づいて位置ぎめされる工具に先行し
てシームまたはジヨイントを表出し、前記シームまたは
ジヨイントに沿った工具の移動を制御するための座標中
心に相当する中心点またはコーナー点を求める、 (ロボット・プロセッサーに対応する)第2コンビエー
タ−は産業用ロボットと一体化されていて、指示経路を
辿るのに必要な、かつロボットのサーボ・ループに入力
される指令を発すると共にシームまたはジヨイントに沿
った工具の位置を6つの自由度について計算する、 (制御処理に関与する)第3コンピユーターは第1コン
ピユーターに応答して、第2コンピユーターにデータを
提供し、光学的情報を実際の工具位置と相関させるため
の修正を行う。その場合、第3コンピユーターは工具が
光学センサーよりも後方を移動しつつあるという事実を
考慮する。工具の座標及び空間関係を計算する際に、工
具の現在位置から予測してリアルタイムで工具を制御す
る。
(以  下  余  白) 第1図にはロボット・プロセッサーRPを含む公知のロ
ボット・システムを示した。ロボット・プロセッサーは
指示経路RTPからライン1を介して得られる指示経路
制御信号と、ロボットRBによって作動される工具の動
作及び位置ぎめに伴なうエラーを示すフィードバック信
号からライン2を介して得られる修正入力とを組み合わ
せる。
ライン1及び2の信号はロボット・ボロセッサーRP内
の制御加算器インターブリーターによって組み合わせら
れ、前記インターブリーターはロボット制御に必要なパ
ラメーター、即ち、工具の3−り座標x、y、z及び工
具軸線に関するリード/ラグ角(またはピッチ)、ロー
リング及びヨーイングをライン3を介して出力する。ラ
イン3のパラメーターを数学的に組み合わせることによ
り、そのワールド座標をライン4の工具座標に変換する
。従って、これらが移動のためのモータ及び位置ぎめの
ための各継手のアームを作動させるサーボを制御して、
シーム経路に沿ったロボットの瞬間的な位置に対して工
具が必要な空間位置及び姿勢を取るようにする。
後述するように、本発明では1)ライン5(第13A図
ライン137)を介してロボット・プロセッサーから繰
り返し得られる工具の実際の位置及び姿勢に関する情報
、及び2)工具前方に配置されて工具が加工すべきシー
ムまたはジ日インドを光学的に追跡する光学センサーか
ら画像プロセッサーを介して繰り返し得られる情報に基
づきフィードフォワードで求められる制御信号がライン
1(第13A図ライン136)を介して供給される。
第2A、2B及び20図には3つのタイプのシームまた
はジヨイント、即ち、(a)には2つの工作片またはプ
レートP1、P2を接合するため、工具、例えば溶接ト
ーチによって加工できるようなシームまたはジヨイント
を、(b)には典型的には階段状、V字状及び0字状を
それぞれ呈するシームまたはジヨイントの断面形状を略
伝した次に、溝に溶接材を充填すべきジヨイントまたは
シームに沿ってトーチを位置ぎめし、移動させて行われ
る溶接操作との関連で本発明を説明する。第3図から明
らかなように、辿るべき“指示経路“をロボットに与え
て工具またはトーチをこれに沿って位置ぎめできるよう
にし、同時に、基準信号に従って動作するように工具を
制御する。従って、指示経路とシーム経路との間に基本
的な対応関係が成立する。しかし、シーム経路は工具の
動作、即ち、溶接操作を決定する正確な移動経路である
から、シームに対する加工位置への工具制御と、指示経
路に沿づたキャリッジ移動制御は空間的時間的に相関関
係にある。第1図に示すライン1及び2の信号の機能は
ライン3によって工具の移動及び位置ぎめを制御する際
にこのような空間的時間的相関関係を決定することにあ
る。
指示経路を略伝する第3図から明らかなように、指示経
路は初期場所L#1から直線に沿って第2場所L#2に
達し、場所L#2において90@回転したのち、場所L
#2から、同じく直線に沿フて、ただし、直線L#1−
L#2に対し、テ直角の直線に沿って場所L#3へ移動
する。場所L#3において指令信号の制御下にロボット
のキャリッジによって回転が行われ、直線に沿って、た
だし、直線L#1−L#2と平行な直線に沿りて場所L
#3から場所L#4への移動が行われる。指示経路とシ
ームそのものとの関係は第3図における指示経路、例え
ばLSI−L#2、またはL#2−L#3、またはL#
3−L#4について直線経路を考察するだけで説明でき
る。そこで、第4図ではロボットが先ず指示経路上の初
期場所ILTPから動作し、トーチまたは工具がシーム
経路上の場所ILSPからスタートすると想定する。
さらにまた、ロボット・システムにおいて通常想定する
ように、制御は経路に沿って、サイズは必ずしも等しく
はないがその継続時間がtである基本ステップまたは直
線もしくは線分ずつ行われるものとする。即ち、個々の
制御は一連の基本制御動作の一部として制御サイクル下
で行われる。その結果、ロボットは場所ILTPから線
分ab。
bC%cdを画定する場所a、b、c%dを順次通過し
て指示経路を辿り、これと同時に工具は同じく線分AB
%BC,CDを画定するシーム経路沿いの場所A、B、
C,Dを順次通過する。移動経路において、指示経路の
場所mにつき起点からの通過距離がad、シーム経路の
場所Mにつき通過距離がEDとなる。サイクリング処理
において、経過時間の代りにこの通過距離が考察される
即ち、ロボット・システムは各サイクルごとに、ロボッ
トが指示経路上のどこに位置するかを知ると共に、工具
制御からの逆プロセスによって工具がシーム経路上のど
こに位置すべきかをも知ることになる。
ただし、以上は簡略化し過ぎた考察であり、動作が完全
に同期し、経路が真に平行であるとの仮定に基づいた考
察である。実際にはこの仮定は成り立たない。即ち、第
4図に示すように、シーム経路は理想の経路からややず
れている。しかも、指示経路は実際のシーム、ジヨイン
トまたは経路を極端に簡略化した形となっている。ロボ
ットを制御するには、工具またはトーチと、点から点へ
または連続的に加工を施されるシームとを高精度で相関
させねばならない。換言すれば、工具はシームを追跡し
なければならない。即ち、ロボットは工具と共にシーム
を追跡しなければならない。
この場合、シーム追跡装置がシームまたはジヨイントを
正確に追跡し、工具に対して、追跡装置が読み取ったシ
ームを辿るように指令するものと仮定する。これが、フ
ィードバック・システム、即ち、場所ごとに検出され、
フィードバックされるエラーを即刻オフセットできるシ
ステムに期待されている。第4図に示す例では、同図の
AからMまでに感知される値ea、eb%ec、ed、
emに従って、フィードバック・システムがシームのあ
る経路と指示経路との間の偏差を即時的に補正する。
実際には、ロボット・システムにおいて指示経路に基づ
く工具制御とシーム経路を追跡させる工具制御との関係
は極めて複雑である。
先づ、溶接継ぎ目の性質、工具またはトーチの性質、及
び工具で行われる作業の性質が工具をどのように移動さ
せ、位置ぎめすべきかに影響を与える。例えば継ぎ目溶
接の場合、工具先端と溶接材を充填すべき溝の底との間
に維持すべきアークまたはギャップを考慮して工具基準
を設定しなければならない。また、アークに供給すべき
必要な電圧及び電流や、溶接ワイヤーを進めたりアーク
にトーチを近づける際に維持する必要のある工具または
トーチのピッチがある。このような条件を示す第5図で
は、工具先端から溝縁までの横方向またはバイアス・オ
フセットがd、溝底までの垂直オフセットまたはギャッ
プがhというのがジヨイント溝に対する工具の姿勢であ
る。 工具を、6つの軸線、即ち、工具の3−D座標、
ピッチ・ローリング及びヨーイング軸線を中心に制御す
る能力も複雑さを増す要因である。第6図が工具がヨー
イング軸線見、ローリング軸線旦及びピッチ軸線旦を中
心に姿勢制御されると同時に、位置ぎめされている状態
を示す。
さらにまた、6つの軸線、即ち、工具の3−D座標、ピ
ッチ軸線、ローリング軸線及びヨーイング軸線に沿って
工具をロボットと共に制御するという複雑な課題がある
。第6図ではベクトルLの先端を3−Dワールド座標系
の座標X%y、Z内で姿勢制御しながら、ヨーイング軸
線a、ロージング軸線!及びピッチ軸線ユに沿って工具
を姿勢制御している。制御はベクトル/マトリックス代
数学、均一!標変換理論、及び不連続時間線形カ学系理
論をそのプロセスに含む゛。   。
工具の位置及び姿勢の変換はワールド座標において、7
tで与えられ、これに伴なうマトリックスベクトルLは
3−Dロボット・ベースまたはワールド座標におけるw
Ttとして表わされる工具先端の座標を示す位置ベクト
ルである。豆は(工具アプリケータ方向の)“アプロー
チ”ベクトル、nは“ノーマル”ベクトル、旦は“姿勢
”ベクトルである。
wTt変換から、下記式で与えられる逆変換[tびド1
が得られる: ロボット・システムによる制御の演算には微分変換も伴
なう、即ち、位置及び姿勢の増分ベクトルは下記式で与
えられる6元ベクトルである:ただし、χ軸については
Δ8がχ方向の位置増分、δ8がχ軸を中心とする回転
増分を表わし、同様に、yM及びχ軸については、1つ
の座標系における微分ベクトルを下記式により他の座標
系における微分ベクトルに変換することができる:(以
 下 余 白) この場合旦、旦、ユ及びヱベクトルは[,7t]−’を
起点とする。
ロボット移動及びシーム経路に関しロボット・キャリッ
ジ及び工具の自由度数が少なければこのような複雑さの
要因も少なくなる。
本発明の場合、工具位置ぎめ及び姿勢制御には6つの自
由度があり、第3図では考慮しなかつたことであるが、
シームの位置を感知し、確認すると同時に、工具を位置
ぎめしなければならず、このシーム追跡と工具作動を共
にリアル・タイムで行わねばならないから、この点で複
雑さが増大する。
この問題に対する正攻法が負フィードバックというアプ
ローチであり、このアプローチを第7図に示した。
一般的なフィードバック法によれば、工具の位置をライ
ン13によって、シームをライン11によってそれぞれ
感知する。ライン11の検出信号を実シーム経路感知ユ
ニットSPSによって増幅し、スケーリングすることに
より、ライン12を介して信号を出力し、この信号がラ
イン13の工具位置と比較されるようにする。
アナログ加算器S1がライン14を介してエラー信号を
出力し、ロボット制御装置がこのエラー信号を利用して
エラーな0にしようとする。
ライン10を介して工具基準信号がアナログ加算器S1
に供給され、エラーが存在しない場合には、ロボットR
Bが工具を、第5図の場合のように、溝加工に備えて位
置ぎめし、姿勢制御できるようにする。制御はコントロ
ーラCNT、一般的には第1図に略伝したアームARM
を介してロボットによって行われる。ライン15からの
指示経路とライン14からの制御信号がアナログ加算器
S2を介して制御信号となり、これがライン16を介し
てコントローラに供給される。
第8図にはコントローラ動作のこの部分を詳細に図示し
た。
指示経路はこれを画定するロケーション・リストから得
られる。リストからのデータは経路プランナーPPによ
って動的に制御信号に翻訳される。コントローラを典型
的には28ミリ秒の周期で周期的に動作させることによ
り次のサイクルに対する準備段階を完了し、確立する。
工具位置ぎめ及びシーム位置検出も3つの連続的な位置
に基づき、これを平均することによって行うのが普通で
ある。即ち、現在位置及び先行する2つの位置について
それぞれの値を記憶する。新しい位置に関するデータを
加えたら、前記先行位置に関するデータを記憶手段から
消去する。この操作をそれぞれの新しい工具位置に関す
る制御作業ごとに行う。この操作を以下に3チック遅1
(3TD)と呼称する。従って、ライン14のエラー信
号はライン14′の平均エラー信号に翻訳され、この平
均エラー信号はスイッチSWの位置に応じて累積的にま
たは非累積的に利用される。累積モードの場合、加算器
が3チック情報を受信し、アナログ加算器S2に至るラ
イン18の出力からのフィードバック値を前記3チック
情報に加算する。非累積モードの場合にはライン14゛
のエラー信号がスイッチSWを介してそのままアナログ
加算器S2に伝送される。
ライン16の信号はコントローラCNT内で特定軸に関
する変数、または全部で6つの継手に関する座標に変換
される。第8図はIKSにおける逆変換に利用される1
つの継手に関する個別エラー信号と、3つのフィードバ
ック・ループ、即ち、トルク・フィードバック・ループ
(TTB)、速度フィードバック・ループ(■FB)及
び位置フィードバック・ループ(PFB)を介して継手
角度に作用するライン17の後続制御信号を図解する。
なお、前記後続制御信号は時変化継手動的制御ループJ
DLを介し、継手モータへの出力ライン19の制御信号
で継手を制御することにより制御ライン16のエラーを
同時に0にする。
特定ロボットの動作は継手動作の力学的作用が28ミリ
秒以内に消えるように制御されるから、制御のためにロ
ボットをモデリングする際には設定点と遅延効果だけを
考慮すればよい。
非累積モードの場合の運動は wp’(に)−wP’t−tht(K)”Psh+rt
(K−3)及び wot(に)=(K) :Rot[x、δ、 (K−3
)]:Rot[y、δy (K−3)]:Rot[z、
δ言に−”)] :WOttaughtで表わすことが
できる。ただし、wot(K)は工具wPt(K)−w
Ptt−utht(K)+ ΣPghIrt(m)及び wot(K) −(に):Rot[x、T:、δX (
01) ] :Rot [y、 ’Xδ、 (+n) 
] :Rot[x、26m(IIり]:wottaur
htフィードバック制御には感知が必要であり、追跡す
べきシームに関する情報システムを提供すると共に最新
のコンピューター制御ロボット・システムの演算素子に
対する適切なデータを作成するセンサーの開発が必要で
あった。この目的を達成するため、多くの場合電子光学
的な方法が採用されている。電子光学システムの場合、
シームを自動的に追跡するためシームまたはジヨイント
の位置及び寸法を測定できる視認システムを使用する。
好ましい実施態様としては、第9図に示すように、ジヨ
イントから反射されたレーザー光線条画像で位置、寸法
の測定が行われている。投光器PRJからの光線が横断
方向にジヨイントJNTを走査し、走査光線の平面に対
して角度φで、カメラC,AMが溝及び境界平面または
境界板P1、P2の表面に形成される光線条の像を捕捉
する。典型的な像は第2A、2B、2C図の(b)に示
したような形状を呈する。このプロセスは周期的に行わ
れ、駒ごとにカメラ画像が読み取られるから、シーム沿
いのストローブ・シーケンスの個々の場所において不連
続の形で光線条が検出される。
この方法で、シームに沿って1つの場所から次の場所へ
追跡すべき光線条の中心Cを検出する。
第10図は経路に沿ってシームを感知し、移動経路を1
つの場所から次の場所へ追跡するのに利用される光学系
を示す。投光器PRJは接合すべきプレートを光線LB
で走査し、所与の瞬間にプレート上の点Mに入射する。
光線は光学系の軸2、即ち、中心0、及び縦属myに沿
フて軸2と直交する平面を有するレンズLNSで表わさ
れるレンズ系の軸に対する角度位置φによって与えられ
る。レンズの後方、中心0から距111fの位置に像ア
レイIAを結像する焦点面があり、投光器の光線が点M
に入射するごとに前記焦点面上で像点mが点Mに対応す
る。点Mは縦属PAy及び横座1jJzを有し、像点m
は縦属mj及び横座標iを有し、横座標iは第10図の
平面に垂直であり、かつ像アレイIAの平面内に含まれ
る。光学系は3−D座標χ、y、zを有し、χは中心0
において第10図の平面に垂直である0点mを含む光線
条の像は像アレイIAの平面内にあって座標(t、j)
で与えられる2−D像である。もし第10図の平面内で
軸yが距離すの位置で光線と交差し、光学系の軸2が中
心0を通る線mMに対して角度φを形成するなら、光線
条の基本的な三角測量分析から下記式が得られる: 同様の三角形を利用してtanφを像座標と関連させる
ことができる。Jmがセンサーの垂直方向最大解像度、
Kiが像アレイIA上の垂直方向画素間隔、jがアレイ
上のmの縦座標を表わすとすれば、像(t、j)の中心
点Cからセンサー上の光線条像までの距離は で与えられる。ただし、Kjは垂直方向画素間隔Jmは
センサーの垂直方向最大解像度である。
この場合、 tanφの値は で与えられる。ただし、fはレンズ中心0から焦点面ま
での距離である。(この距離はレンズを無限大に焦点合
わせしない限り、レンズの焦点距離ではない、)これを
式(2)代入すると、上記のy式を同時に解けば、 (以 下 余 白) とができる。
ただし、Kjは垂直方向画素間隔、Jmはセンサーの垂
直方向最大解像度である。
χ方向に関する同様の分析から によって与えられる表面勾配成分mzxは、扁平面がレ
ンズ主軸に対して直角である場合i軸に平行な線を形成
するように投光器を整列させれば、像勾配Δj/Δiと
相関関係となる。例えばdzについては、 ただし、Kiは水平方向画素間隔、Imはセンサーの水
平方向最大解像度である。
式(3)及び(4)は既知または校正ずみ定数と単一の
変数jの関数である。jの変動範囲は(1乃至512)
の程度に過ぎないから、これらの式を探索表の形で実現
することができる0式(5)は2定数及び像度数lの関
数であり、この式もまた探索表と1回の乗算を利用して
実現できる。
像の勾配分析により回転自由度の1つを得るこ第11図
に図解したように、光学系は第2A、2B、2C図の(
b)に示すような2次元(i。
j、)像をカメラに供給し、ビデオカメラ信号としてデ
ジタル化情報がライン80を介して画像プロセッサーI
Pに入力される。画像プロセッサーIP内のCDにおい
て、シーム・プロフィルの中心Cがその座標i、jによ
って検出される。この情報がライン81を解してプロセ
ッサー・サブユニットSLCに伝送され−前記サブユニ
ットSLCはχ軸沿いに連続する画像を収集し、3−D
座標の形でシーム経路を出力する。従って、中心Cの連
続する個々の場所の軌跡として、光学的に感知されたシ
ーム経路の3−D座標がライン82を介して得られる。
他方、ロボット・プロセッサーRPはワールド座標で表
わされる工具先端が所与の瞬間においていかなる位置を
占めたかを知っている。これはwTtで表わされ、ロボ
ットからライン137を介して得られ、制御プロセッサ
ーCPに入力される。制御プロセッサーCPはこの情報
を、ライン137°を介して画像プロセッサーIPに転
送する。他方、制御プロセッサーはシーム経路追跡のエ
ラーを補正するため、ライン135を介してロボット・
プロセッサーに修正信号を送る。この時点では、工具よ
りも前方に設けた光学的センサーによりライン82を介
して感知されたシーム経路の場所は工具が位置する場所
と一致しない。即ち、処理サイクルにおける一定の遅延
、典型的には100チック後に初めて工具が感知場所に
到達し、前記遅延は28ミリ秒/チックの場合なら2.
8秒である。
後述するように、本発明では感知場所が個々の場所ごと
に画像プロセッサーによって順次識別され、これと同時
に画像プロセッサーは起点からの距離、即ち、シーム上
の通過距離を指示すると共に、必要に応じて工具の3−
D座標及び3軸姿勢をも指示する。これらの値はライン
103を介して制御プロセッサーに伝達されて記憶され
る。制御プロセッサーCPはライン169を介して画像
プロセッサーIPに前記通過距離データを送ることによ
り、このデータを、現時制御サイクルにおける工具先端
の位置及び姿勢を表わす座標であるライン137を介し
てロボット・プロセッサーRPから得られる情報に基づ
く工具の通過距離と相関させる。この時点において、制
御プロセッサーは工具がこの経路に沿フて直進するとし
て、直前の2つの場所から外挿する。同時に、制御プロ
セッサーは産業ロボットから直接得られない指示パスを
回復し、この回復された指示経路についても直前に制御
が行われた2つの場所から外挿する。工具の通過距離、
この通過距離及び感知された個々の場所での空間位置及
び姿勢に関して画像プロセッサーIPからライン103
を介して受信された情報を利用して、外挿工具位置に対
応する実通過距離を、2つの連続して感知された場所を
補間することによって求め、これに対応する工具の予想
される位置及び姿勢を識別する。
前記補間処理の結果及その前に行われた外挿位置及び姿
勢から、ライン136を介してロボットを指示経路に対
して制御する制御プロセッサーによって、従って、ロボ
ット・プロセッサーRBにおいてエラーが算出される。
既に述べたように、制御プロセスには3チックの遅延が
行われる。このことはKが現時点の制御及び計算を表わ
すとして工具の外挿位置が求められるのは時点に+3で
あることを意味する。同時に、指示経路の回復は時点に
−3におけるロボットの制御に伴なう制御エラーに基づ
ぎ、時点Kにおいて行われる。
第12図には、本発明のフィードフォワード制御をブロ
ックダイヤグラムで示した。光学センサーはカメラ’C
A Mが捕捉する画像シーケンス中のそれぞれの場所ご
とに光線条の中心Cがどこに位置するかを検出するのに
必要なすべての情報をリアル・タイムで画像プロセッサ
ーIPに供給する、従って、画像プロセッサーIPの出
力において、即ち、ライン103または121にシーム
の実位置データが現われる。また、ライン137を介し
てロボットRBは工具先端の位置をワールド座標で知る
。センサーによって検出される一連のシーム位置よりも
後方の工具位置に基づいてブロックBLKが工具位置の
外挿処理を行う。以下の説明において、時間差が3−チ
ックであると仮定する。即ち\もし時点K(現時点)に
おける工具がライン137によって示される通りなら、
必要な場合に外挿位置で完全修正を行うのに3サイクル
を要することになる。従って、工具先端位置wTtは時
点(K+3)まで外挿される。ブロックBLK内で、ア
ナログ加算器S1はライン103.121を介して示さ
れた対応のシーム場所を比較し、工具基準の出′カライ
ン126に応答して法線制御を調整するのに必要なエラ
ーを算出し、ライン136を介してロボットRBに修正
入力を供給する。その他の点では、ロボットの機能は第
7及び8図のフィードバック・アプローチと同様であり
、光学センサーが感知するシームに対して工具先端が正
しく位置ぎめされるように工具を位置ぎめし、姿勢制御
する。
先ず制御プロセッサーCPの内部構造を第13A−13
D、14A、14B及び15図を参照しながら考察し、
次いで画像プロセッサーIPの構造及び作用を考察する
第13A図から明らかなように、制御プロセッサーはロ
ボットALTERポート102を介して前記制御プロセ
ッサーが連携するロボット・プロセッサーRBと、IP
ポート101を介して連携する画像プロセッサーとの間
に介在する。産業ロボットは公知のように指示経路に対
して作働端の位置及び姿勢を制御する。ただし、指示経
路をロボットが知ることはできず、本発明ではロボット
に組込まれた制御プロセッサーが指示経路を“回復”す
る、このため、現時点における工具先端の実位置に関す
る情報をロボットALTERボート102からライン1
37を介して求める。この情報はワールド座標に変形さ
れたw7t (K)で表わされる。既に述べたように、
関連のマトリックスは下記の通りである: ベクトルpは工具先端の座標を示す位置ベクトルであり
、上記のようにa(アプローチ)、n(法線)及び0(
姿勢)ベクトルが与えられる。これはN14A図に示す
時点Kにおけるシーム経路上の工具位置りである0時点
(k−1)における位置はCであった。(図示の実施例
では)制御が3チック・ステップで行われるから、時点
Kにおけるシーム経路上の工具位置りは3サイクルΔを
前にロボットによって検出及び指令された指示経路位置
ddとの偏差D (K−3)を修正することによって得
られる。指示経路は産業ロボットから知ることができな
いから、ライン137を介して得られる情報を利用する
ことによって下記のように指示経路を“回復”する。
再び第13図に戻って、ライン140を介して位置ベク
トルヱが得られ、ライン!52を介して待ち行列151
から偏差D (K−3)が検索される。ライン140及
び152がブロック143へ情報を供給し、ブロック1
43は wPt(K )−Δp(K−3) を計算して空間位置の形で第14A図の点旦を提示する
。同様に、ライン140及び152からの入力に基づい
てブロック144は、T’:Rot−”を利用すること
により推定される指示経路庄に対応する姿勢(δχ、δ
y、δ2)を提示する。この作業が過去のすべての時点
(K−1)、(K−2)(−3)、・・・に関連して行
われ、指示経路は位置!、互、旦、旦に関して図示した
ように線分として回復される。具体的には、“回復され
た”経路はジヨイントの起点からスタートしている。ラ
イン153を介して時点Kに対応する変換wT”tau
ght (K)が得られ、ブロック154での遅延によ
り、回復された指示経路上の先行位置WTttaugh
t(に−1)が得られる。
同時に(第13B図)にライン137からライン138
を介して時点Kにおけるベクトル位置wPt(に)が得
られ、ライン139を介して1サイクルの遅延を伴ない
、ブロック142に記憶されていたベクトル位置wC(
に−1)が得られる。ブロック141はライン138及
びブロック142に応答してライン161を介して下記
式で表わされるΔSt (K)を出力する: 11ヱ(K)  −、,1(に−1)  、+  1 
=ΔS t (K)これは第14A図のシーム経路グラ
フにおける点C,Dの間隔である。この計算は起点から
順次行われ、(第13B図に示すように)個々の線分を
ブロック163及び165が合計することによリ(ブロ
ック163は最後の線分をライン168のそれまでの合
計に加算する)、シーム経路上における工具の起点、即
ち5t(K)からの“通過距離”をライン170に出力
する。最終サイクルにおいてライン170の合計結果が
遅延して与えられたから、時点Kにおいて得られる最新
の通過距離は時点(K−1)に対応する点Cまでの合計
である。従って、それぞれのライン176及び177に
2通りの通過距離が現われ、後述のようにブロック17
3及び175にそれぞれ入力される。同様に、ライン1
61から、かつブロック162及び164によって、シ
ーム経路に沿ったセンサーの通過距離5S(X)が起点
0からのカウントとして求められる。ただし、工具の事
実上の起点0゛はセンサー起点0よりも後方にあり、工
具に対して距離−5tに相当する位相差で通過距離が求
められる。センサーの現時点通過路113s(K)はラ
イン169及び画像プロセッサー・ボート101を介し
て画像プロセッサーに伝送される。既に述べたように、
センサーは工具よりも進んで移相されており、この位相
差は典型的には100ミリ秒である。なお、典型的な制
御サイクルは28ミリ秒である。後述するように、画像
プロセッサーIPは感知されたそれぞれの位置を、算出
された工具空間位置及び姿勢と連携させる。即ち、それ
ぞれの感知された位置において得られた通過路1!(S
s(に))ごとに対応のワールド座標変換w丁″(に)
が得られる。このような1対ずつのデータがIPポート
101を介して受信され、起点から順次待ち行列104
に記憶され、(RAMのアドレスとして利用される)連
続する通過距離ごとに分類される0時点Kにおいて制御
プロセッサーによって予測される特定工具位置とこれに
対応するIPからの通過距離データ(またはRAM10
4のアドレス)に基づき、前記工具(ライン125)に
おける工具の座標及び姿勢を確認する。回復された指示
経路上の対応位置(ライン128)を求めることにより
時点Kにおける偏差D (K)を求め、これを利用して
ライン126によりロボットを制御して工具を感知位置
へ戻すことができる。
第14A図に示すように、予想工具位置は線分CDから
線形に外挿することによって得られ、その結果、通過距
離という形でブロック171及び165により外挿位置
Ex、C及びDが得られる。工具通過距離を3チックで
外挿するため、下記式によって与えられる予想距離を時
点(K+3)における外挿工具位置にする: ただし、t (K) −t (K−1)は△tに、即ち
、28ミリ秒に等しい。従って、上記の式は次のように
簡略化される; s t(K”3)−s t(K)÷3[St(に)−s
t(に−1)]この式は簡単な速度依存未来位置予測式
であり、第13B図のブロック173がライン172及
びブロック171に応答してこの機能を行う。その結果
、ライン174を介して5t(K+3)が出力される。
しかし、こうしてシーム沿いの通過距離が予測されても
実際の空間位置は判明しない。そこで、回復指示経路に
沿って外挿処理することによって先ず外挿された対応の
位置e(第14A図)を検出する。この検出は回復指示
経路上の点C1旦及び旦の変換をシーム経路上のC,D
及びEX(第14A図)に対応する通過距離と相関させ
ることによって達成される。回復指示経路のサンプルか
ら得られた指示経路上の外挿は下記式によって与えられ
る: wTttautht:(fe wTttaught:[
wTt(K−1)−’)ただし、feは式 で与えられる外挿係数である。
ライン176及び177に応答してブロック175(第
13B図)からライン178を介して外挿係数を出力す
る。ブロック157は上記式に従って、ライン155.
156及び178を伴なう演算に基づき、(ライン12
8を介して)外挿位置を出力する0回復指示経路上のe
X位置(第14A図)は既知であるから、Ex  (第
14A図)における外挿工具位置と同じ通過位置のサン
プルを画像プロセッサが感知したサンプルから探し出す
だけでよい。該当のサンプルが見つかれば、待ち行列1
04から、この特定場所に対応する位置及び姿勢の座標
が、従って、工具Eの真の外挿位置がEX  (第14
A図)でなくどこであるかが判明する。この知見により
、制御プロセッサがロボットを制御することで工具をシ
ーム経路上に正しく位置ぎめし、かつ姿勢制御するのに
必要な偏差D (K)をも求めることができる。
第14A図の点EXに関してライン174を介して求め
られた経過距離5t(K◆3)と一致するサンプルを発
見するため、第14B図に示すようにこの値St(に+
3)を利用して待ち行列104内の記憶値のうちの2つ
の連続サンプルを補間する。検索されたこの2つの連続
値を3413C図のブロック180にS (1)及びS
  (jl−1)とし、て示した。
この2つの値を検索する態様を第15図のブロックダイ
ヤグラムで示したが、検索はソフトウェアで行われる。
スキャナーSCNがブロック104内のRAMのアドレ
スをデータリストの順に走査する。走査の過程でライン
25から得られるそれぞれのサンプルはライン26.2
7を介してコンパレーターCMPIへ、ライン26.2
8を介してコンパレーターCMP2へそれぞれ伝送され
るコンパレーターCMPIは閾値としてライン123の
値S t(K+3)を表わす基準信号を受信する。
走査され、ライン27に送られる値がライン123の値
よりも小さくなると、コンパレータCMP1はライン2
9を介してラッチLTCIに対する制御信号を出力し、
ラッチLTCIはこの時点でサンプル及びその変換、即
ち、smut>及び、7g (A)をラッチする。同様
に、コンパレーターCMP2はライン123の信号がス
キャナーSCHによって走査されるサンプルよりも大き
くなるとこれに応答して、ライン31を介して他のラッ
チLTC2を制御し、この時点におけるライン25及び
32からの値をラッチさせる。従って、ラッチLTCI
及びLTC2はライン123の値で補間された2つのサ
ンプルをライン121を介して第13C図のブロック1
22に入力する。ブロック122はライン121及び1
23の信号に従ってブロック180が決定する補間係数
flに応答する補間回路である。第15図のブロックダ
イヤグラムは第13C図の制御プロセッサーに組込まれ
るブロックBLK2の一部であると考えることができる
。(第14A図のEXにおける、ライン123によって
与えられる)工具の通過距離を、ライン121から得ら
れる5(1)とS  (J!−1)の間で利用すること
によりブロック180において補間係数flを決定し、
ライン124を介してブロック122にむかって出力す
る。補間係数flは下記式によって与えられる: この補間係数に基づき、サンプル5(i)及びs  (
i−t)の変換を下記式によって補間する:wT”(K
+3)−wT” (fL): (fl、T”(JN:[
wT” (41−1)ド1経験に照らして、旦、!、見
、Lベクトルの各要素を変換から線形補間する方が能率
的であることが判明した。従って、例えばnベクトル及
びpベクトルに関して、式は次のようになる:wp”(
に+3) −wP、3(jl −1)◆f t [wf
lx (ft −1) −wax (’ ) ] −’
これと同じ形式の式が合計12通り成立する。
これらの式に従ってブロック122が演算し、その結果
、外挿処理された、即ち、予測されるシーム上における
工具の真の空間位置及び姿勢(第14A図のE)を表わ
すw71 (ト3)がライン125を介して出力される
。ブロック127は回復指示経路上の座標(ライン12
8)を、時点(K◆3)に予測される通過距離5t(K
+3)における工具の感知経路上の位置及び姿勢として
得られたばかりの座標と比較する。ブロック127はま
た、シームに対する工具の動作条件(溶接におけるオフ
セット、ギャップ、電圧、電流など)を決定するブロッ
ク126からの基準信号をも考慮する。ブロック127
によって利用される一般式は次のように表わされる: ξff vlTw(K+3)−wT”(に+3): [wTt(
K+3)” ’ : tT”ド1この機能は蔦12図の
フィードフォワード制御ダイヤグラムに示すアナログ加
算器S1によって行われる。式 %式%] からの抽出によって経路修正に必要な差分ベクトルが得
られる。即ち: D (K ) −[’w P 乳”:P 艶”は” δ
””、6y、y−δj afδ21 ?上記式から明ら
かなように、基本的なフィードフォワード・エラー式は
次のような5つの非ゼロ要素を含んでいる。即ち、3つ
の位置エラーと、y軸を中心とするローリング・エラー
と、χ軸を中心とするピッチング・エラーであり、最後
の2ontriving  System  for 
 an  0ptical  Seam  Track
er(光学的シーム追跡装置のための経路制御システム
)”にも説明されており、本明細書でも後述するように
、第3の工具座標、即ち、ヨーイング角度は別の判断基
準及び制御法則に従って制御される。
ロボットのワールド座標に対する工具のシーム上におけ
る“好ましい”位置は下記式によって与えられる: prefwT” (に+3)−WTt(K*3):Re
ftT’第12図に示すライン126の基準信号Ref
tT’が要求するオフセットで工具を維持するためには
シームは上記式によって与えられる位置になければなら
ない。
具体的には、第15図の補間回路からライン125を介
して得られるシーム位置は w’r’(に−1+3) −wT” (K−1−1) 
: (fl、T” (K−j2−1) :[WTt(K
l)ド1) であり、この式はエラー wTw(に)−WTt(に):[w7*]−1を伴なう
から、次のようなエラー変換となる:wT1′(に+3
)−wT責に+3) : [wTl (に+3) :R
eftT’]りこの式から位置エラー・ベクトル@rr
pw(K+3)が@rr7W(に+3)からの旦ベクト
ルとして直接抽出される。回転エラー・ベクトルは小さ
い角度偏差に対応する姿勢サブマトリックスの形態 を認識することによフて抽出される。
従って、(ヨーイング姿勢を含まない)差分運動ベクト
ルは下記の通り: 既に述べたように、また、あらためて後述するように、
これがヨーイング・エラーに関係なく回復経路位置eと
予想工具位置Eとの間の時点Kにおける偏差D(K) 
となる。これがライン136(第13A図)及びロボッ
トのALTERポート102を介して行われる制御によ
って補正されるエラーである。偏差D (K)は作働端
の3−D座標△PX、ΔP、、ΔP工及び3つの方向(
姿勢)δe1、δφ1、δψ1を表わし、ブロック12
7(第13C図)の出力ライン129に現われる。これ
らのエラーに対して(これも後述するが)ブロックBL
KI (第13D図)のヨーイング弦演算回路からライ
ン131を介して送られる修正量を表わす座標値δx−
a、l△ψ、δ、・a、Δψ、及びδ2−a2△ψが加
算される。ブロック130においてライン129及び1
31の値が合成され、ライン132を介して値△χ、△
y、△2、△e、△φ、△ψが出力され、ライン133
によってブロックBLK3内に示すフィルターに送られ
、前記フィルターはライン136の制御信号を出力し、
この制御信号がライン150及びへLTERボート10
2を通って、最後の3つの修正値を記憶する待ち行列1
51に人力される。
第14A図に示すように、ロボットは線分ABBC,C
Dのような各制御ステップごとに直線に沿って工具を移
動させる。第14A図では、線分ごとに時点Kにおける
作働端の位置及び姿勢を先行の運動から判断し、次の運
動を判断するのに利用される(例えば第13F図の制御
プロセッサーCP内のブロックBLに2を参照されたい
)。
1ステツプずつ繰り返される工具のこのような移動は感
知されるシーム経路に沿って得られた複数の通過距離及
び位置/姿勢変換に基づいて行われるから(例えば第1
3C図のブロック104を参照されたい)、図示例では
100チックだけ工具の手前に位置するセンサーを常時
シームの上方に位置ぎめしなければならない、センサー
は工具と同一平面内を移動するから、シームが厳密に直
線的であれば問題は起こらない、しかし、もしシームが
カーブを辿ると、もはや整列関係は成立せず、第16図
に示すように、光学的感知のためにはシームの上方位置
PS2を占めねばならないのにセンサーはシームに対す
る接線上の位置PS1に残る。第17図に示すように、
センサーが位置PS2を占める場合、シームの平面内に
おいて、工具先端とカメラ中心を結ぶベクトルの射影M
Cは時点Kにおけるシームに対する作用点Mとシームが
光学的にサンプリングされる場所Cとを結ぶ弦に相当す
る。従って、センサーを位置PS1から所要の位置PS
2 (第16図)へ移動させるためにはΔψだけの回転
が必要である。
第18図には工具が点Mに位置ぎめされ、第13C図の
ブロック127及びライン129からのデータに従って
姿勢制御された時点における光学系とシーム平面との関
係を示した。換言すると、工具TLはΔPx、ΔPy1
ΔP、、Δθ1、Δφ1、Δψ1に従って位置ぎめされ
、姿勢制御されている。この時点で、工具先端に対して
固定されているセンサーSNS (ただし場合によって
は固定しなくてもよい)はシーム経路平面の位置R1に
射影するが、所要の位置は弦MR2の端部に相当するシ
ーム経路上の位置R2である。位置MRIを位置MR2
まで回転させるための角度はΔψである。第13D図の
ブロックBLDIは角度△ψを求める方法、及びこのよ
うにして得られた角度をライン119、ブロック120
及びライン131を介してブロック130内でライン1
29のデータと合成することにより工具を回転させ、セ
ンサーをR1からR2(第18図)まで移動させる態様
を示す。
ベクトル/マトリックス代数及び均質座標変換理論を利
用しなければならない、下線を施した小文字、例えば(
旦)でベクトルを表わし、右下に軸の名称を付した小文
字、例えばχ軸なら(nx)でベクトル成分を表わす。
均質座標変換マトリックスは右下及び右肩に文字を付し
た大文字、例えば(wt”)で表わす、従りて、MFL
lに沿った点Mにおける工具先端は下記マトリックスに
よって与えられる: (以 下 余 白) ベクトルヱはワールド座標によるwTtで表わされる位
置ベクトルである。他に点Mにおいて互いに直交する3
つのベクトルがある。即ち、既に述べたように旦(法線
)、旦(姿勢)及び見(アプローチ)である、これらは
ベクトル相互績によって互いに相関する。例えば、n=
oxa。、再び第18図において、MRI及びMR2を
知ることによってこの両者間の角度を求めることができ
る、MRIは工具に先行するセンサーで得られた最新サ
ンプルから検出される弦である。センサーから工具まで
のチック数をnとすれば(既に述べたように典型的なチ
ック数は100)、(工具が位置Mに来る)時点Kにお
いて、センサーは位置(K−n)に来る。ブロック10
4内の待ち行列の最下段にはシーム上の点R2の変換が
、最上段には点Mの変換がそれぞれ記憶されている。従
って、ライン105を介してブロック106が下記のよ
うにベクトル弦MR2を求める: tPchard −wP”(に)−wp’(に−n)(
Dで表わされる)ベクトルMRIはシーム経路平面にお
けるベクトルMOの射影であると考えることができる0
MO及びRIOが既知なら、MRlまたはDを求めるこ
とができる。MOは光学センサー系から与えられる。中
心0は第13図の109にHPcasとして示すように
既知である。工具とセンサーとの関係はpealaとし
て与えられる。工具先端位置も既知であり、wTtとし
て与えられる。従って、ブロック110は計算式[wT
tド1モpcinによってMOを求める。
垂直ベクトルRIOを求めるため、先ず両ベクトルMR
2及び0(K)に垂直なユニタリー・ベクトルU(即ち
、ライン105を介して待ち行列104から得られる点
Mにおける姿勢のユニタリー・ベクトル)を求める。こ
れはブロック106から得られる結果と、0ベクトルに
関してライン105を介し、待ち行列104から検索さ
れる情報に基づき、ブロック107において行われる。
この直交ベクトルは相互績 P chord X O(K) によって得られる。
これを単位(Un)に換算するため、スカラー値P c
hord X O(に)で割算する。その結果はブロッ
ク107から出力される。R10はブロック108から
得られるMOを演算[、P””−IJn]Onによって
Uに射影することで計算される。
MOはMRl及びRIOのベクトル和であるから、MR
Iに相当するDはブロック108において計算されるベ
クトル差pciI11−[、pcam、Un]1nから
得られる。
(ライン113を介してブロック106から得られる)
ベクトル弦MR2及び(ライン112を介してブロック
108から得られる)ベクトルMR1を利用して、ブロ
ック114及びライン115は式 %式% に従って前記ベクトル弦MR2及びベクトルMR1間の
角度cos△ψを求める。
角度Δψはsin△ψに極めて近似であるからライン1
15の値がブロック181内で△ψ=sin△ψ−系;
ト変換され、その結果はライン118を介して求められ
る。ただし、ベクトル旦に関する曲率は左右いずれかに
寄る可能性があるから、正負いずれの符号を付するかの
問題が残る。
この符号決定はブロック116内でベクトル且の方向を
ベクトル旦の方向と相関させることによつて、即ち、s
 gn [D・0(に)1によって行われる。具体的に
はアナログ加算器S1がライン118の角度Δψを符号
中または−と相関させる。
既に第13B図に関連して述べたように、ライン131
を介して得られるΔψの値がブロック130においてラ
イン129の値に加算される。ヨーイングは座標エラー
ΔPx1ΔP、またはΔP2に影響していない、ただし
、ライン129の姿勢パラメータ、即ち、△θ8、△φ
1、△ψ1に対してはピッチ、ローリング及びヨーイン
グに関して、ブロック120及び130に示すように、
それぞれaχ1△ψ、ay+Δψ及びaZl△ψだけ影
響を及ぼす。その結果、対応の制御信号によって補正さ
れるべきものとしてライン133にエラー△χ 、△y
 、△2、△θ 、△φ及び△ψが現われ、第13C図
のブロックBLK3によってフィルタされたのち、ライ
ン136を介してロボット・コントローラRBの^LT
ERボート101に送られるか、または直前の3チック
だけについてライン150を介して待ち行列151に記
憶される有効制御信号となる。
ここで第19乃至34図を参照して本発明の画像プロセ
ッサーを説明する。第10図に関連して既に述べたよう
に、光学系はアレイIAの平面内に座標がtiびjの点
mを含む2−D光線条像を形成する。kjが垂直方向画
素間隔、Jmがセンサーの垂直方向最大解像度、kiが
水平方向画素間隔、Inがセンサーの水平方向の最大解
像度を表わすとすれば、センサー上の光線条像は像(i
j)の中心点Cから2つの直交方向にそれぞれkj(j
−Jm/2)及びki(i−In/2)だけ離れている
。この像がTVカメラで形成されTVカメラは標準的R
3−170閉回路画像信号を出力する。
低レベル画像処理によって光線条の一方のエツジを表わ
す1画素幅線に簡略化された光線条画像を得るためのデ
ジタル・パイプラインを設ける。
画像処理のためのデジタル・パイプラインは公知であり
、例えばIEEE Transactions Tra
ns、 Comput、 vol G−19,11G1
.1015−1019 (1970年11月刊) に掲
載されたHerbert L、Groginsky及び
George A、Worksの論文“A Pipel
ine Fast Fourier Transfor
m“を参照されたい。
後述するように、本発明の画像プロセッサーは2通りの
レベルで処理を行う。先ず、バイブラインによってカメ
ラからの画像信号をデジタル処理する低レベル画像処理
では、光線条画像をその一方のエツジを表わす1画素幅
の線に簡略化し、次いで処理済みパイプライン出力によ
る高レベルの光線条を表示し、シーム・センサーの光線
条に包含されるシーム経路の座標を求める。
パイプライン処理について考察すると、カメラはフリー
・ラン・モードで動作し、その同期信号が画像処理パイ
プラインの残り部分のタイミングを駆動する。第19図
に示すように、ボードDGVF%FS%SP、5NAP
及びFMに配設されている一連のソリッドステート回路
から成るパイプラインによってデジタル画像信号を処理
する。画像信号がカメラCAMからライン201を介し
て受信される一方、アナログ再変換信号がライン202
を介してTVモニターに送られる。画像プロセッサーI
Pはその主要部分としてマイクロコンビエータ−M68
0103BCを含み、このマイクロコンピュータ−はラ
イン220及びデータ・バス(VME)を介して、さら
に2方向性ライン即ち、ボードDGについてはライン2
13、ボードVFについてはライン214、ボードFS
についてはライン215、ボードSPについてはライン
216、ボード5NAPについてはライン217、ボー
ドFMについてはライン218をそれぞれ介してパイプ
ライン各段のすべての動作をモニターし、制御する。す
べてのボードはタイミング及び同期化に関してライン2
12を介して互いに連携する。さらにまた、画像プロセ
ッサーはライン220、データ・バスVME及びライン
221を介して第11及び12図の制御プロセッサーC
Pと連携する。この制御プロセッサーはその主要部分と
して、R5−232ボート(第13A図のボー)−10
2)を介してロボット・プロセッサーと接続する別のマ
イクロコンピュータ−m68010を含むのが典型的で
ある。
ボードDGはライン201を介してカメラ信号に位相ロ
ックし、バイブラインを構成する他のボードに必要なす
べてのタイミング信号を出力する。30駒/秒で信号は
512x512x13の解像度でデジタル化されるのが
普通であり、それぞれの画素は1バイト量として表わさ
れる。データ流れを16組の選択可能かつプログラム可
能な探索表の1つに送り、使用する探索表をユニット・
ランプ手段によって初期設定することで透過モードにす
る。その目的はバックグラウンドを抑制し、画像の画素
を行及び列から順次ビット列に翻訳することにあり、こ
のビット列は後述のようにパイプラインのいくつかの段
に沿ってグループ分け、分析、変形またはデジタル変換
される。次段との接続はリボン・ケーブル203によっ
てなされ、ライン204を介してボードDGのデジタル
入力に至るフィツトバック・ループが形成される。
次が2−D線形フィルター係数である。フィルターVF
はTV駒速度で有限インパルス応答(TIR)フィルタ
ー作用を行い、支持部材の3×3領域は1画素に対応す
るマスクまたは隣接領域のサイズを画定する。複数のV
Fフィルター・ボードを縦続したり、もっと支持部材領
域の広いフィルターを使用することもできるが、図面で
はあえてフィルター・ボードVFを1つだけ示しである
。線形フィルターは2つの機能を果たす:即ち、カメラ
のノイズ分散を軽減すると共に光線条発生装置に組込ま
れるレーザー・ダイオードに起因するスベクル(spe
ckle)を平滑化する。低域フィルターとなるように
フィルター係数を選択し、オンボード・バレル・シフタ
ーを利用することによってフィルターに直流で1のゲイ
ンを与える。平均分離を低下させることなく、ノイズ分
散及び光線条ノイズの分散を軽減することによって光線
束に対する検出能力を高めることになる。
ライン205を介してボードVFはボードFSと、ライ
ン209を介してボードSPとそれぞれ接続する。ここ
ではスパッター及びスパークに起因する縞を消すことに
ある。狭帯域光学フィルタリングではスパークによる縞
を消すことができない。スパーク縞が1つのTV駒だけ
に現われる場合、CCDカメラのようなラグのないカメ
ラを使用しない限り、カメラ・ラグのため複数の駒に縞
信号が持ち越される。光線束には有効な自己相関ラグ値
があるのに対して、スパーク縞にはない。
そこで、ボードFS及びSPは空間的ではなく時間的な
自己相関に基づくフィルター作用を行う。
このため、第20図に示すように、ボードFSは画素プ
ロセッサーSPと連携する駒記憶ボードとして作用する
。TV駒速度(30駒/秒)で自己相関ラグを発生させ
るため、米国特許第4,683,493号に開示されて
いるような2つの全フレーム・バッファーFBI及びB
F2を駒記憶ボードに設ける。第1バツフアーは先行駒
からのデータを保持してこれをSPボードへ読み出し、
第2のバッファーはライン205から現時人ビデオ駒を
得る。第1バツフアーの出力には限時点の駒が乗算され
、第2フレームバツフアーは現時点の駒を記憶するのに
利用される。駒の端部においてスイッチSWが両バッフ
ァーの役割を切り換える。従ってFSボードはSPボー
ドに対して常に1駒だけ遅延した画像駒を出力する。I
Pマイクロプロセッサがライン215を介してバッファ
ーの切り換えをモニターすると共に、マルチプレクサの
設定をもモニターしてパイプライン遅延を補正する。
画像流れは8ビット/画素の形式を取る。VFボードか
らの一方の出力はライン208を介してSPボードに伝
送され、他方の出力はライン205205”を介してF
Sボードに入力する。1フレーム遅延に加えてライン2
05を通るデータ・バスに10画素線遅延が現われ、こ
のような遅延はライン208には存在しない。有効な自
己相関が成立するには2つの画像が正しく整合しなけれ
ばならない。従って、SPボードに対して読み出される
バッファーに関して10画素だけ進めることによって前
記10画素ラグを補正する。この時点で他方のバッファ
ーはそのパン・レジスターが0にセットされており、そ
の結果、バッファー切り換えごとにモニターIPからの
割り込みタスクで2つのパン・レジスターが組み込まれ
る。従って、VFボードからの画像流れとFSボードか
らの画像流れが同時にSPボードに入力する。現時点画
像に先行画像を画素ごとに乗算することにより1駒の時
間的自己相関ラグが確立される。SPボードは2つの8
ビツト形式画像データ流れからの1対ずつの画素に作用
する乗算回路である。
16ビツト積の最上位バイトがライン210を介して出
力される。このバイトは画像の瞬間ごとの時間的自己相
関ラグを表わす。スパーク縞をなくするだけでなく、こ
の方法は画像のコントラストを高めるという1点でも有
利である。これは信号の平均値がバックグラウンド・ノ
イズの平均値よりも低いことによる。この場合、平均値
の2乗の比は平均値の比よりも常に大きい。従って、ノ
イズ平均値が低ければ、乗算後置上位バイトだけを維持
することでバックグラウンド・ノイズの大部分を消すこ
とができる。
はとんどスパーク縞効果を伴なわない平滑な低ノイズ画
像がライン210を介して出力される。
後述するように、まフ黒のバックグラウンドとフル・ス
ケール白色光線条から成る2元画像とするため、振幅を
閾値と比較する(即ち、画素強度値255以上をすべて
“白”、以下をすべて“黒”として保持することによっ
て)画像を分ける。しかし、元の光線条像の太さ及びパ
イプライン遅延段における2−D低帯域フィルターの空
間的ぼかし効果のため、光線束が不都合に太い。
特にシーム追跡及びロボット制御のための座標抽出に関
連する以後の処理を行うには幅が狭く、かつ正確な光線
束でなければならない。そこで、本発明の画像処理では
、ライン210から得られる光線束画像を正確に、かつ
−様に、即ち、光線束のすべての位置で1画素幅となる
ように細くする、この方法を第19及び20図のデジタ
ル・パイプラインとの関連で説明する。第19図はパイ
プラインを形成するプリント回路として形成された一連
のソリッドステート回路を示す、第20図は第19図の
FS、SP及び5NAPボードを略伝するブロックダイ
ヤグラムである。
5NAPボードについて考察すると、ライン210の人
デジタル画像データは先ず入力探索表回路lRAMを通
過したのち、ライン220を介して、画素近傍発生器と
して作用する入力シーケンス論理回路PNGに入力し、
このように得られたカーネル(図示例では3×3近傍)
がマルチプレックスで、10本の並列ライン225を介
して、個々の画素に対し上記の閾値と比較され、その結
果得られた画素を並列ライン226を介して出力するコ
ンパレータ・バンクCMPBに伝送される(入力におい
て255以上はすべて白色、255以下はすべて黒)。
ライン226は探索表回路CRAMに達し、このCRA
Mは本発明の画像処理方式に従い光線条の下縁が明暗2
つのゾーンと境を接する第22A図に示す10通りの状
況の1つがそうであるようにライン225に現われる画
素だけを白色画素として保持する。(光線条の上縁に対
応するものを含む)その他のすべての近傍組み合わせが
バックグラウンド、即ち、黒色画素として翻訳される。
このような状況の典型例は第22B図のマスク11.1
2及び13の近傍である。結果がライン227に現われ
、ライン227は本発明の画像処理において高レベル処
理に使用されるカメラの光線条画像下縁を特徴づける“
画素線”を多重化する。
シストリック近傍領域プロセッサー用5NAPとして知
られるハードウェア回路についてはPeabody、 
MA、0198GのDatacubeから出版されてい
る(1986年5月)。この回路はCMPB回路による
閾値比較後にCRAM回路が10本のライン226の画
素を処理することにより、ライン210の画像信号に基
づいて光線条を検出し、かつ光線条画像下縁を表わす1
画素幅線まで細めるようにIPマイクロプロセッサ−に
よって管理され、制御される。5NAPに組み込まれる
I RAM回路はソフトウェアで選択できる8組の25
6に一バイト×8ビット探索表から成る。この8組のバ
ンクは典型的には初期設定の際にロードされ、動作の過
程でブランキング・インターバル中に画像を乱すことな
く作用バンクが1つのバンクから他のバンクへと変わる
。入力シーケンス論理回路PNGはライン210によっ
て送られ、かつパイプライン入力ライン201から走査
されるカメラ画像の1行及び1列に対応する現時点画素
である中心画素の周りに3×3近傍画素、即ち、8つの
周囲画素を形成する。中心画素をCとすれば、8つの近
傍画素はコンパス・カージナル及び2次点に従って第1
5及び16図のように、上列の画素はNW。
N%NEとして、下列の画素はSW、S、SEとして、
同一列の近接画素はW%Eとして示されるこれらの画素
はライン221により左から右へ1列に、かつ1つの列
から次の列へ接続される。
コンパレーター・バンクCMPBは1群の画素と同じ参
照記号で示す10個のコンパレーター・ユニットを含み
、中央部は共に中心画素Cから入力される2つのユニッ
トCP (Center Pimary)及びCS (
Center 5econdary)に分割されている
。その他のコンパレーター・ユニットはいずれも8つの
近傍画素のうちの対応画素から入力される。ライン22
5は[回路CMPHの10個のコンパレーター・ユニッ
トへの入力ラインである。閾値以下の画素はすべて黒と
して出力され、閾値以上の画素はすべて白として出力さ
れるように各コンパレーター・ユニットごとに基準閾値
が設定されている。出力ライン226は10個のコンパ
レーター・ユニットのそれぞれから単一ビット出力を受
信するCRAM回路への10本のアドレス・ラインとし
て多重化される。CRAMは典型的には2組の1024
X 8ビツト探索表から成ってコンパレーター出力デー
タを8ビツトの結果に翻訳し、1024通りの入力コー
ド・アドレスが256個の出力コードを形成できるよう
にする。2つのバンクは初期設定時にロードされ、動作
中、適当な時点に、即ち、垂直ブランキング・インター
バルに交換自在に利用される。5NAPの動作は7.1
5MHzプロセスとして行われる。
次にPGNブロック内の3×3カーネルについて考察す
る。ライン221沿いのすべての点は同一線上にある。
中心点(Primary Center、 5econ
dary Center)の処理結果は中心点が人力さ
れてから9画素後に出力される。中心点にむかって、ま
たは中心点からカウントした適当な画素数を加算または
減算することによってカーネル中の他のすべての点から
の遅延を設定する。即ち、5NAP回路はカーネル中心
点に対してV+6画素に相当するプロセス遅延を導入す
る。ただし、■は画像上の線の長さである。処理結果は
中心点(Primary Center及び5econ
dary Center)が入力されてからV+6画素
後に5NAP回路から出力される。カーネル中の他の点
に関連の遅延は前記遅延V+6に対して対応の画素数を
加算または減算することによって得られる。
スライディング・ウィンドー内に画定した形でカーネル
を考察すると、中心Cが同一線上の1つの画素から次の
画素へ左方向に移動するのに伴ない、点Eが新しい中心
Cとなり、N、C,SがそれぞれNW、W、SWとなり
、NE、E及びSEの左方に続く画素が新しいNE、E
、SEとなる1つの列からその下方の列へ9個の画素コ
ンビネーションが同様にシフトすると新しい近傍画素が
形成され、NW、N%NEが画像から消え、SW、S、
SEの代りにその真下にあった3個の近傍画素が現われ
る。5NAPは中心画素の8勤を追いながら、カーネル
画像全体の、バイブラインによってデジタル化された明
るさと考慮する。なお、ウィンドーのサイズは任意であ
り、図示例では3×3カーネルとした。
閾値に基づく白黒分類はコンパレータ・バンクCMPB
の10個のコンパレータ・ユニット(NE−3W)のそ
れぞれにおいて行われ、基準人力はいずれも強さレベル
255である。強さが225以上の画素値はすべて対応
のライン226に白色として出力され、225以下の値
はすべて黒色としてライン226に出力される。10本
のライン226がCRAM回路をアドレスする。
第22A図には、ウィンドーが光線条画像の一方のエツ
ジ、ここでは下縁にオーバラップした時の白黒画素の組
み合わせをマスク1〜10として示し、第22B図には
その他の組み合わせのうちの3列をマスク11〜13と
して示した。本発明では、第22A図の組み合わせの場
合、中心画素5NAP出力信号は1(白色)となるが、
マスク11〜13のような他の組み合わせの場合にはO
(黒色)となる。第23図は第22A図に示すマスク1
〜10及び第22B図に示すマスク11〜13に関して
探索テーブルCRAMをアドレスする10本のライン2
26のエンコーディングを示す表である。このようなC
RAM回路動作原理により、ウィンドーを通して見える
光線条のエツジに存在しないバックグラウンドが黒色と
なるだけでなく、エインドーに現われる画素がすべて白
色画素であるような光線条画像自体または(図示例に見
られるような)上縁については、画素組み合わせが第1
6A図に示した組み合わせとは補完関係になる。この場
合、5NAPがデジタル出力される光線条は1画素幅線
の形態を取る。探索表に関して公知のように、光線条下
縁に関する10通りの状況に対応する基準値が記憶され
ており、ライン226からの入力コードがアドレスとし
て該当のマスク状況の記憶場所を検出する。512×5
12X8駒/秒のカメラが使用される場合、探索表には
10進同値512X512の記憶場所がある。第20図
に示す10本の入力ライン226は既に述べた13通り
の組み合わせに対して第23図に示すようなアドレスを
形成する。例えばマスク#1に対する10本の入力ライ
ンの2進コードは10進同値127であり、探索表中の
この記憶場所が選択されると、白色として規定され、出
力コードは225となるが、マスク#11.12.13
の場合、いずれも出力コードはOとなる。
総合的な結果として、(第22A図のマスク1〜10で
は)下縁と特徴づける画素線がライン211に出力され
る。この段階でバイブラインは画像の低レベル処理を完
了したことになる。第13C図に示す制御プロセッサC
Pの待ち行列104に必要な座標を得るための高レベル
画像処理を考察する前に、カメラ画像がインターレース
されているため、バイブラインの5NAPによる光線条
を細める処理にもかかわらず、単一の行列組み合わせに
必要な1画素幅は得られず、2画素幅にとどまる。従っ
て画像エツジを所期の1画素幅線として表現するために
はさらにもう1つの処理段階が必要である。
第21図に示す画像プロセッサーの全体的なブロックダ
イヤグラムには(バイブラインPPI及び2−1画素幅
縮小オペレータから成る)低レベル処理部LLTと(補
足段を含む)高レベル処理部HLTを含む、高レベル処
理は点分類、抽象表現による光線条モデリング、形状マ
ツチング、ターゲット限定、及び3−D座標変換から成
る。これらの段階はすでに公知であるが、光線条を1画
素幅の線にすれば2−Dカメラ画像として受像される画
素線上の点の座標(t、j)を迅速かつ直接的に処理で
きるという知見に基づき、本発明では前記高レベル画像
処理のため新しいアプローチを試みる。
本発明の好ましい実施例では2−1画素幅縮小回路PR
Dの機能に含まれるためあえて第21図には示さなかっ
た重要な機能として、バイブラインPPLから得られる
画素線の2−D表現を1−り表現に変える機能がある。
即ち、(第24B図に示すように)画像の画素が配分さ
れている(第24A図に示すような)2−D行列格子を
画素ごとに列i及び行jによって求め、(第24C図に
示すように)それぞれ点について、横座標iの関数j=
f N)である値jの不連続縦座標によって1−D表現
を求める。これはそれぞれのアドレスiに対応するj値
すストを表(第24D図のRAM)中に配列することに
よって簡単に達成される。その結果が上記lの不連続関
数であり、後述するように公知の数値及び代数計算方法
によって迅速かつ正確に処理することができる。この計
算は第21図の高レベル処理部)ILTのすべてのブロ
ックの動作をモニター及び制御するマイクロプロセッサ
−によって行われる。
次に2→1画素幅縮小について考察する。これは2−D
→1−D信号変形と同時的にブロックPRD内で行われ
る。インターレースのため、第24C図に図解したよう
に、第20図のCRAM回路出力ライン211で得られ
る信号は多くの場合、二重の白色画素を表わす、第24
B図のRAMでは第1の駒でアドレスiの各画素が記憶
され、第2の駒で再び記憶される。ただし、2回目の記
憶で同じアドレスについて白色画素が現われると先行画
素が消去される。即ち、2回目の記憶が最初の記憶に取
りて代わる。その他の画素を第24C図には陰影域とし
て示しである。従って、“画素線”が2画素幅から1画
素幅に縮小されるだけでなく、第24B図のRAMにお
いて、第24D図に示す1−D不連続関数j=f (i
)が得られる。マイクロコンピュータ−CMPTは列ご
とに、かつ行ごとに列iの白色画素のj値、即ち、横座
標iの特定白色画素の縦座標位置を記憶し、第24B図
のRAMのl記憶場所にこのj値を書き込む、これと同
時に、同じl記憶場所に別のj値が既に記憶されている
場合、先行のj値を取り消す、その結果、所与の線上位
置に白色画素が記録されている場合、1回だけ記憶され
たか、2度目に記憶されたかに関係なく、記録される画
素縦座標は1つだけとなる。ブロックPRDにおけるこ
のプロセスの結果として、1画素幅線への縮小が達成さ
れ、2−D表現が不連続関数j−f(i)に置き換えら
れ、これが低レベル処理部LLTの出力ライン250で
出力される。
制御プロセッサーCPのうち、待ち行列104がライン
103を介して感知シーム経路を示すサンプルを受信す
る部分を除く第21図部分はマイクロプロセッサ−CM
PTの制御下に動作する画像プロセッサーに係わる。待
ち行列104は制御プロセッサーCP及び画像プロセッ
サーIPによって共用されるRAMであるが、説明の便
宜上、第13C図では制御プロセッサーに属するものと
して待ち行列104を図示した。
シーム追跡システムがシーム経路に沿ってレーザー・ビ
ームでシームを走査しながら少しずつ進むものと想定す
る。従って、一画素幅線に縮小された一連の光線条がデ
ジタル・パイプラインの出力ライン250からブロック
GRFへ順次伝送される。こうして得られるそれぞれの
光線条表現は不連続関数j=f (i)の形と取る。ブ
ロックGRFはマイクロコンピュータ−〇MPTの制御
下にライン250からのデータに基づいてストライブ・
グラフ、即ち、本発明の画像プロセッサーの場合には後
述のように光線条の記号表現である1−Dグラフを作成
する関数発生器である。
次に、感知されるシーム経路に沿った個々の光線条部分
に対し、ライン250の不連続関数データに基づいて検
知器ED、CRD、CRL及びLADが順次行う検出段
階に関連してブロックGRFの動作を説明する。その目
的はブロックGRFの出力をコンパレーターCMP3で
の比較に先立って得られる標準図形からライン302を
介して出力される信号とマツチングさせることにある。
第25図は想定される6通りの光線条画像を示す。典型
的には光線条画像(a)、(b)及び(d)の特徴は直
線から成ることにある。光線条画像(a)に対応するシ
ームは上方ノード及び下方ノードが同一の垂直線上に、
即ち、パイプラインのライン211から得られる画素線
で表わされる画像の同一列上に位置する。本発明の画像
プロセッサーでは、同一列上に2つの連続する画素が存
在することをマイクロコンピュータ−が検出すると第2
ノードが自動的に1列だけ前へ移動するように画像信号
の処理が行われる。従って、1−Dレベルでの処理及び
解読はライン150を越えると連続的に、かつ明瞭にな
る。第25図の画像(b)に対応するシームは■字形シ
ームであり、画像(d)に対応するシームはU字形であ
る。画像(C)及び(f)はノード間に直線ではなく円
弧が存在することを特徴とするが、画像(f)は直線と
円弧の双方を含む。画像(e)は直線だけで構成されて
いるが、それぞれタイプの異なる2つのシームを複合し
ている。ブロックGRFの動作原理は第25図に示した
ような光線条像を特徴づける第26図の図形から明らか
になるのであろう。
コーナーまたはノード小円で表わし、想定される状況を
8通り示しである。先ず、ENDにLINEが続く(図
形(a))またはARCが続く(図示(g))場合が考
えられる。LINEまたはARCが続く場合、この状況
は図形の開始と同時に自動的に検出され、状況を表わす
記号はEND/LINEまたはEND/ARCである。
同様に、図形(b)に示す記号LINE/LINEは2
木の直線の間にENDがあることを意味し、図形(e)
の記号ARC/ARCは2つの円弧の間にENDがある
ことを意味する。第26図は8通りの状況:END/L
INE:LINE/LINE;LINE/ARC;AR
C/LINE;ARC/ARC,LINE/END、E
ND/ARC,及びA RC/E N Dを示すことに
よって一般法則を図解している。LINEまたはARC
の終り、新しいLINEまたはARCに対する別の検出
が続く場合、またはLINEまたはARC検出の前後に
全く画像がない場合にENDが検出される。これらの記
号は“コーナー“の形状を特徴づけ、コーナー”自体は
作働端によたて加工すべきシームの形状を特徴づける。
パイプラインからライン211を介して得られる出力画
像は2画素幅に細められた光線条画像を表わす多数の黒
色画素及び400〜600白色画素から成る。これらの
白色画素の位置が表面再構成情報のすべてを含んでいる
。高レベル処理(第21図のHLT部)の目的は画像か
ら白色画素の座標を抽出することにある。
従来のシステムでは、画像中のすべての画素を走査し、
白黒をチエツクし、白色画素の座標を抽出するのに汎用
プロセッサーが使用された。その場合には必然的な結果
として、細められた線画像を記憶する駒バッファが必要
となり、700万乃至1000万バイト/秒という極め
てゆっくりしたプロセスでデータを走査し、座標を抽出
することになる。これに対して、FMボード(第20図
)は5NAPボードからの画像データ流れを走査し、1
駒ずつ白色画素座標を抽出する。抽出されたデータは一
連のi及びj座標の形を取り、画像データのインテリジ
ェント分析を行うMCPT(M68010汎用プロセッ
サー)にアクセス可能な大型の表(RAM)に記憶され
る。パイプラインの各ボードはVMEバスのP1コネク
ターに差し込まれる10M)izクロック(12,5M
Hz)で動作する単一ボード・コンピューター(CMP
T)、512バイトRAM、 リアルタイム・クロック
及び2つの直列ボートを含むMixar7100ボード
を使用する。このMizar7100ボードは画像のイ
ンテリジェント分析のためにパイプラインが行う低レベ
ル処理(LLT)及び高レベル処理(HLT)をモニタ
ーする。 M710Gプロセッサーは制御プロセッサー
CPとインターフェース関係にあり、これをラム104
と共用する。DGボードはビデオ・バス・マスターとし
て作用し、画像処理ボードの残りの部分に対して5YN
C及びタイミング信号と供給する。FMボードはビデオ
・バスを成端し、ビデオ・バスのスレーブとして作用す
る。その他の画像処理ボードはすべてビデオ・バスの非
成端スレーブとして構成されている。
次に第21図の高レベル処理部(HLT)について考察
する。ロボット・シーム追跡システムが追跡すべき表面
は多様である。公知のシーム追跡システムの多くは明確
に、または少なくとも暗示的に、いくつかのジヨイント
形状だけが重要であるとの仮定の下に設計されている。
しかし、これは現実的ではない、考慮しなければならな
い形状が余りに多く、所与の形状についても、その長さ
、角度及び半径は決して一定ではない、従って、正確な
形状認識には上記の特定属性以外のアプローチが必要で
ある。
そこで、光線条画像の特徴記述に基づいて光線条認識を
行う。このため、光線条画像の不変要素を捕捉し、これ
に基づいて記述を得る。既に述べたように、長さ、角度
及び半径は光線条画像を記述するための不変要素ではな
く、最終分析に利用される数値属性ではあっても形状認
識に利用できるものではない、光線条センサーには幾何
的制約があるから、1画素幅線に細めたのち、所与の画
像列から光線条サンプルを2つ以上検出することは不可
能であり、これを達成するのが第21図に示すPRD回
路の目的である。これにより、カメラにより2−D画像
に変換された3−D画像が元の3−D面形状を再構成す
るのに利用されるライン2501−D信号に変換される
線条信号は(1)線分(LINE); (2)円弧(A
RC)、及び(3)隅部、即ち、線分及び/または円弧
の交差点の3つの特徴に関してモデリングされる。円弧
は抽出し難いから、単純化のため、円弧を線分になぞら
えてもよい。
コーナーは光線条から抽出すべき重要な特徴であり、左
から右へ走査しながら、いくつかのタイプに分類されて
識別される。即ち、(1)左END/LINE; (2
)LINE/LINE; (3)LINE/ARC; 
(4)ARC/LINE;(5)ARC/ARC: (
6)LI NE/右END ; (7)END//1I
tc :及び(8)ARC/END、2本の線分が交差
してコーナーを形成する場合、追跡中の表面には自然な
変化があるから交差角度は不変ではない。コーナーは“
ターン”と考えることができる。しかし、“ターンアッ
プ”または“ラーンダウン”だけでは事態の正確な記述
とはならない0本発明では、コーナーにおいて光線条が
湾曲する場合、コーナーにおける方向性に関係なく“左
ターン”または“右ターン”として記述される。従って
、それぞれのコーナーはこの第2属性で分類される。
以上は記号属性である。記号属性のほかに、ライン25
0の光線条から数値属性も抽出される。
この数値属性は2つの目的に利用される。その1つは表
面の位置及び向きとギャップ・サイズのサンプルを作成
するための正確な測定値の抽出を容易にすることにある
。第2の目的は第21図の分析オペレータPOPに関連
して後述するように、いくつかのコーナーを省いてジヨ
イント認識プロセスを容易にすることにある。これらの
数値属性は(1)コーナーの水平座標; (2)コーナ
ーの垂直座標;及び(3)コーナーの法線距離である後
述するように本発明の画像プロセッサーの究極的な目標
はLINE%ARC%END、またはその他の幾何的特
徴及これらの組み合わせを検出することによって、いか
なるコーナーがいくつ存在するか、例えばLINEまた
はARC間にいくつのコーナーが存在するかを明らかに
することである。このようなデータから形状を識別する
ことができる。ジヨイントまたはシーム経路上の基準点
検出を目的とする場合、重要な要素となるのがコーナー
である。識別された形状から優先される0コーナー“、
即ち、作働端が加工すべき“ターゲット”がどこにある
か、従って、特定の光線条画像に対応するシーム位置が
実際にはどこにあるかを知ることができる。換言すると
、最終分析において、ターゲットの座標が求められ、こ
れが本発明の制御プロセッサーとの関連で利用されるこ
とになる。
再び第21図において、ライン251を介してライン2
50の信号(第24D図参照)が受信されると、先ずブ
ロックEDがENDを検出し、これがライン251′を
介してブロックGRFに伝送される。次いでコーナー検
出ブロックCRDがライン252から、ライン250の
信号中に存在するコーナーを検出する。このために、不
連続信号差オペレータによってブロックCRDの機能が
行われる。第24E図に示すように、数値計算であるこ
の動作は不連続間数j=f (i)の連続値間の差を求
め、2つの連続する差値の間で所定の最小量Cだけ値が
跳ぶのを検出するというものである。不規則な分布のた
めに生ずるノイズを解消するため、最大値(図示例では
最大値であるが、最小値でもよい)の直前、直後の値、
即ち、勾配変化に基づいて演算するのではなく、両側に
位置するランクSの値を利用するのが普通である。
従って、検出される差は次のような計算から得られる: c−f (i) −f (i−s) −[f (its
) −f (i)]−2f (i)−f (i−s)−
f (its) 関数f(i)の最大値または最小値を順次検出すること
によって逐次現われるコーナーの数が明らかになったら
、次の段階として例えば第21図に示すCRLのような
オペレーター(ライン254.254°及び256.2
56’)それぞれのコーナーとこれに接続している先行
または後続線分の勾配との関係を検出する。これは同じ
関数j=f (i)に基づいて行われる。このため、(
第1導関数により)前記コーナーから画素線が右ターン
するか(負勾配)、左ターンするか(正勾配)を検出す
る。されにまた、2つの連続するコーナーに基づいて、
これらのコーナーがLINEによつて接続されているか
ARCによって接続しているかを検出する。これはオペ
レーターLAD(ライン253.253°及び255.
255’)において行われる。再び、曲線j=f (i
)の不連続点を処理する簡単な代数演算によって直線上
に配列されてLINEを形成しているのか、曲線上に配
列されてARCを形成しているのかを明らかにする。最
終段階として、画素線の末尾においてENDを検出する
(ライン257及び257゜)。
点行列を線分、円弧、・・・などに区切る作業は多大の
時間を要し、例えばHough変換アプローチの場合、
線形方程式または円形方程式に従って点行列のエツジ点
から多数の点を発生させねばらならい。再帰釣線分割と
いうアプローチもあるがこの場合、典型的な形状及び線
分だけについても・約100ミリ秒を必要とする。これ
らに対して本発明のアプローチでは僅か8ミリ秒である
第27A及び27B図に示すように、それぞれの“コー
ナー (第27A図の場合には左右両端とE、F及びG
)と連携する5個のRAM (第28A図の場合は4個
)によって構成される記号図形をモニターするための図
形ヘッダーGRHを設ける。RAMはテール・エンド接
続されており、それぞれが隣接する光線条部分に対して
コーナー識別を行なう、即ち、RAMIは記号(第26
図(a)のようなEND/LINEを表わすL−EN 
D ) 、タイプE−L(第27A図点Eまでの線分の
タイプを表わすEND/LINE)、(勾配変化の大き
さを表わす)値C1コーナーの座標、及びこのコーナー
におけるターンを含んでいる。
(以 下 余 白) ブロックGRFが多数のコーナーを含む画素線を識別し
、コーナーの接続態様をも検出すると、残された作業と
して、第30図に示すように二重コーナーである可能性
もあるこれらのコーナーから真のコーナーを選別しなけ
ればならない、第30図の(a)では画素線が上方の線
EFと下方の線GKとを結ぶ同一垂直線に2つのコーナ
ーF及びGを含む(後述するように、実際には画素線を
求めるプロセスにおいてGはFとは別の列に位置する)
、第30図(b)の場合は二重コーナー(F、F’及び
G%G’ )であるから、多対のうちの一方のコーナー
を無視して他の一方だけ、即ち、第30図(a)の真の
シームにおけるコーナーと同じ状況のコーナーだけを使
用しなければならない。これが第21図に示した分析オ
ペレーターPOPの機能である。第27Aまたは28A
図から明らかなように、3つのコーナーE、F、Gのう
ち、2つのコーナーは例えばEとGなら一線EG上に整
列し、第3のコーナーFはこれと対向する三角形の1辺
に対する垂線FH上に位置する。
E及びGを求めたら線分EGを計算し、線分EGまでの
距離FHも計算する。第30図(b)においてFF’ 
またはGG’を比較すれば、上記三角形に基づくアプロ
ーチによって二重コーナーが判明する。従フて、分析オ
ペレーターPOPは2つの隣接コーナーのうち、一方の
指示を取り消すことにより第30図(a)に示すような
概略的な線形状を回復する。
第27A、27B図及び第28A、28B図を参照して
第21図に示した図形ブロックGRF及び分析オペレー
ターPOPの作用を考察する。関数j=f (i)の形
でライン250を介して受信された画素線は第27Aま
たは28A図の図形で見て左から右にむかってマイクロ
コンピュータ−によって読み取られる。例えば第27A
及び27B図の場合、センサーがシームを追跡する(第
11図、ブロックS LC)のと並行して発生するそれ
ぞれの光線条を順次チエツクする図形ヘッダー〇RHは
チエツクする特定画素(第27A図)に対してファイル
を開く。即ち、(第27A図に示す)重要な特徴を認識
し、これに関連する情報をファイル中に記憶するためで
ある。第1の動作はコーナー検出(第21図のブロック
CRD)であり、これは旦、即ち、既に第24E図に関
連して考察した第2差オペレーターによって検出される
勾配変化率を検出することによって達成される。
これによりコーナーの数が判明する。従って、各コーナ
ーごとに1つずつファイルRAMI、RAM2、RAM
3、RAM4及びRAM5が開かれる0次にこれらのフ
ァイルの特徴を各ファイルごとに詳しく説明する。
先ず、左手に第1のENDが存在する。ファイルFtA
M 1には旦嵩0と共にこのENDの座標、即ち、1w
1o、jx25Gが記憶され、さらに第27B図のRA
MIに示すように、記号“LEFT  END″ (L
−END)及びタイプ(第26図(A)に示すようなE
−L)が記憶される。
動作は起点から右にむかって進行し、逆向きのリンクは
存在しないから、システムは次のコーナーを求めて右へ
進む、従って、この第1フアイルから、次のコーナーと
対応する次のファイルの先頭に至る“順方向リンク”が
存在することになる。
ファイルRAM2はコーナーEを特徴づける勾配変化に
基づくコーナー検出動作中(第21図のCRD)開いて
いる。同時にこのファイルにコーナーEの1=50及び
j=250が記憶される。
ここでブロックCRL (第21図)はコーナーEにつ
いて右ターンがあるか左ターンがあるかを判定する。勾
配検出の結果に照らしてターンは右向きである。ファイ
アルにはこの情報が与えられるコーナーF (RAM3
)についてもコーナーG(RAM4)についても同様の
動作が行われる。
コーナーE、EからF、FからG、Gから右端(RAM
5)まで、これらのコーナーが線分で結ばれているか(
第27A図)、円弧で結ばれているか(第27B図)を
判定することができ、これは第21図のブロックLAD
によって達成される。
簡単なアプローチとして、線分で結ばれている場合を想
定すると、記号(第27B図)はRAMIがL−END
 (左端)、FLAM2がRT−TURN (righ
t turn) ; RA M 3がL T −T U
 RN (ieft turn)  ; RAM4がR
T −T U RN (right、 turn);R
AM5がR−END (右端)である。順方向リンク(
f 1ink)及び逆方向リンク(r 1ink)もフ
ァイルに記憶され、第27A図の図形において連続する
ファイルを左から右へ読むのか、右から左へ読むべきか
を示唆する。図形ヘッダーGRHに組み込まれている図
形ポインター(graph ptr)はセンサーがとの
ファイルに進むべきかを指示する、同じく図形ヘッダー
に含まれているトラック・ポインタ(track pt
r)は作働端にとって重要なコーナー、即ち、ターゲッ
トの位置を指示する。
このように識別された図形を標準図形(第21図のコン
パレーターCMP3によるマツチングのためブロックS
GFに送られるブロックSMDのシーム・モデル)とマ
ツチングさせる前に、第21図に示すブロックPOPの
分析オペレーターによる分析プロセスが必要である。即
ち、コーナー検出プロセスの結果として、必要以上のコ
ーナ・−が提示されるからである。典型的には、プロセ
スの進行に従って第1コーナー検出器によって(第30
図(b)のFo及びG′のような)二重コーナーが形成
され、これが光線条画像中に現われるコーナー分析プロ
セスではコーナー構造アレイが走査され、無関係なコー
ナーが削除される。削除プロセス、即ち、最初のコーナ
ー群を整理してマツチング用の唯一のコーナーを求める
分析は種々の分析法則に従って行うことができるが、好
ましい実施態様としては、分析プロセスにおいて2つの
隣接コーナー間の直線に対するコーナーからの垂直距離
という新しいコーナー属性を計算するコーナー(第27
A図のF)から隣接コーナーを結ぶ線分く第27A図の
EG)までの距1ll(第27A図のFH)を求めるの
である。第2コーナーF’が第1コーナーFに極めて近
接している第30図のような二重コーナーが存在する場
合には(2つの隣接コーナーがE%GではなくE、F’
として)線分EF’ までの距離FH’を求める。
当然の結果として距IIFH’ は極めて短くなる。
法則として、最短距離以下ならば中間コーナーを無視し
て以後これを使用しない。従って、この場合はコーナー
Fを削除する。残るのはFに極めて近い次のコーナーF
′である。Fは削除されたから、FoからE及びGまで
の距離を計算する。二重コーナーF、F’ がこのよう
に削除されたのちも、説明のための想定に従ってプロセ
スが進められる。一般的な法則として、コーナーごとに
距離が極めて短いかどうか(第30図のFF’ または
GG’のような場合にはこれらのコーナ一対のそれぞれ
最初のコーラに現われる)を検討し、このようなコーナ
ーを即刻削除し、次のコーナ一対の一方だけを取り出し
てこれを計算する。第29図は5つのコーナー1乃至5
(第27B図のRAM1乃至RAM5に対応)について
、図形全体の左から右へそれぞれのコーナーに基づいて
順次記号が作成されて行く態様を示す。垂直距離は下記
式に従って計算される: ただし、a= (y2−yl)、b= (z2−χ1)
、(χ1、yl)及び(χ2、y2)は中央コーナー(
χ、y)と隣接するコーナーの座標である。それぞれの
RAMにh値0.23.200.18及びOが記憶され
る。
h値を計算し、結論が得られ、単純化がなされたら、コ
ーナー記号を割り当てればよい(第27B図のRAMI
、RAM2、RAM3、RAM4及びRAM5)。なお
、方向(図形作成プロセスにおいて左から右へ)を決定
するため、勾配の代りに距離りの符号を利用することが
できる。従って、このような場合にはターン方向(RT
−TUARNまたはLT−TURN)はhの符号で決定
される。
特定の光線条について得られたデータを記憶させたら、
RAM (第27Bまたは28B図)はij及びhのよ
うな数値属性と、L−END、E−L、LF−TURN
、RT−TURN、f 1ink、 r 1inkのよ
うな記号属性を含むことになる。分析ルーチン完了と同
時にライン260(第21図)を介して出力される結果
はすべての数値属性及び記号属性で画かれた光線条画像
の単純化された図形である。第21図のコンパレーター
CMP3は記号属性をテスト過程でライン302を介し
て基準として出力される標準図形の記号属性とマツチン
グさせる。
図形マツチングプロセスにおいて、標準図形(第21図
のSMD)を各画像(第11図の5LC)から(ライン
260を介して)リアル・タイムで抽出される図形とマ
ツチングさせることによつてジヨイントの幾何的特徴が
認識される。このプロセスは(金属板に共通の現象であ
るが)経路沿いの形態変化と、起点、停止点、分岐点が
著しく異なる形態を有するため、1つのジヨイントにい
くつかの異なる表現が与えられる可能性があることから
複雑になる。この問題に対する解決策はそれぞれのシミ
インドを任意の数のコーナー図形で記述できるようにす
ることである。各コーナー図形は二重リンク・リストの
形で一連のコーナー構造を含んでおり、所与のジヨイン
トに対応するすべてのコーナー図形群を1つにリンクさ
せることで木構造としてまとめたものを、マツチングが
検出されるまで、あるいはすべての基準を使い果たすま
でサンプルと比較する。
単一図形マツチングは標準図形(ライン302)及びサ
ンプル図形(ライン260)に含まれるコーナーを一緒
に走査することによって行われ、図形が標準図形とマツ
チングするには次の条件が満たされねばならない: (
1)双方の図形中に含まれるコーナーの数が同じ; (
2)サンプル中の各コーナーが標準図形中の対応コーナ
ーと同じ記号(ターン方向)を有する; (3)各コー
ナーが同じタイプ(l i ne/l i ne、ar
c/l ine、・・・)である。マツチングテストが
逐次行われている間、標準図形中の追跡特徴コーナー(
ターゲット)に出会うと図形ヘッダー(第27B図のG
RH)に含まれるサンプル追跡特徴ポインターがセット
される。
木構造マツチングは木構造に含まれる個々のコーナー図
形についてマツチングが見つかるまで、あるいはすべて
の選択を使い果たすまでマツチングを試みることによっ
て行われる。
マツチングが成立すると、コンパレーターCMP3はゲ
ー)GTEを介してライン261からライン262に図
形を送り、図形の数値属性が利用される。どのタイプの
図形が感知下のシームと対応するかをライン267を介
して標準図形に従って判定したら、TR3に進んでター
ゲットの検出、即ち、工具によるジヨイント加工とシー
ム経路位置の検出に関連して重要なコーナーの選択を行
う(RAMに記憶されている(i、j>値のうちターゲ
ット座標となるもの、即ち、第27A図のコーナーFを
選択する)。
第26図にはRAM (第27Bまたは28B図)に記
憶させることのできる8つの記号属性を示した。これ“
左ターン”または“右ターン”属性が追加される。数値
属性はコーナーの水平及び垂直圧i(i、j)及びコー
ナーの垂直距離りである。
このプロセスではRAMだけでなく、ヘッダーGRH(
第27B図)にも情報が記憶される。記憶される情報は
図形全体に亘る、コーナー以外の3つの属性である。こ
れらはマツチングプロセスのあとに求められる。
その1つは図形中のコーナーの1つを、ターゲットを表
わすコーナーとして規定する追跡特徴であり、このター
ゲットの座標を利用することにより、シーム経路を3−
D空間座標を表わす一連の均質変形座標を作成し、これ
らの変形座標を利用することによりロボット制御関数を
作成する。既に述べたように、コーナー図形ヘッダー(
第27B図のRAMI乃至RAM5)はどのコーナーが
追跡特徴であるかを指示するポインターを含む。
標準図形ではこのポインターがトレーニング(trai
ning)によって初期設定され、サンプル図形ではマ
ツチングが成立するまでゼロである。
図形全体に関する第2の属性はターゲットのコーナー座
標を正確に求めるためラスター・データを使用する場合
、いくつかの発見的方法のうちどの方法を適用すべきか
を規定するターゲット画定コードである。このコードは
個々の標準図形に対するトレーニング(trainin
g)によって初期設定される。
第3の属性はライン260の特定図形にマツチングが成
立した時、制御プロセッサーCPが何をなすべきかを規
定する作用コードである。これらの作用の典型例として
はMOMATC)l (エラー状態。
現時点のサンプルから制御ベクトルを発生させない) 
、  MATCH(待ち行列104のために追跡制御サ
ンプルを発生させる)  、  5TART(ジヨイン
ト開始シーケンスを実行する)  ;  5TOP  
(ジヨイント終結シーケンスを実行する) ; BRA
NCH(新経路への分岐シーケンスを実行する)。それ
ぞれのジヨイントごとに異なる制御作用が行われる可能
性がある。それぞれの値はトレーニング(traini
ng)によって初期設定される。
以上3つの属性が図形ヘッダー〇RH(第27B図)に
追加される。
図形マツチングによってターゲット・コーナーが選択さ
れたら、元のラスター・データを再分析してターゲット
の正確な座標を求める。第21図のブロックCRFがラ
イン263に応答してこの機能を行う。具体的にはライ
ン268を介して標準図形から得られるデータに基づい
て行われる。
基本的な方法としては、線形回帰を利用して方程式をラ
スター・データにフィツトさせる。これによって最小平
均2乗誤差が得られる。公知の線形方程式を利用し、次
に挙げるいくつかの法則の1つに従って正確なターゲッ
ト座標を得る: (1)2木の隣接線分の交差点;(2
)左手または右手“差し金解” (carpenter
’s 5quare 5olution)  (3)最
良の左手フィツトまたは最良の右手フィツト;及び(4
)元のコーナー。第31図は線分L1またはL2、法線
N1垂直線Hがターゲット・ポイントCにおいて交差す
る上記法則に対応する4通りの状況を示す。差し金解は
第31図に例示するようなビーム・エツジの丸く摩耗ま
たは剥落したコーナーを対象とするのが普通である。
この段階で第21図のライン246.246゜を介して
得られた情報がブロックGDMに送られこのブロックに
おいて、サンプル図形からライン269を介して受信さ
れる情報に基づいてギャップが測定される。これは(ラ
イン265及び制御プロセッサーCPを介して)ロボッ
トに供給され、ギャップに金属を充填するように溶接プ
ロセスを自動的に調節する距離である。これは“適応充
填”の名称で知られているが、本発明におけるロボット
制御はフィードフォワード制御であフて、理論的には適
応制御ではない。
ターゲット・ポイントの正確な座標が得られたら、本発
明の画像プロセッサーの作用で前記座標が(待ち行列1
04を含む制御プロセッサーCPによってあとで利用さ
れる)カメラ、座標系の3−り座標に直接交換される。
関連の方程式は第10図に関連して既に述べた。データ
・ポイントを迅速に変換するためには、水平及び垂直座
標、及び画像座標の限られた変動範囲を分解することに
よって関数探索表を作成する。標準的方法として、下記
の座標変換を行う: (以 下 余 白) この場合、マトリックス乗算を行うには12回の乗算と
8回の加算が必要である。この新しい方法では画像縦座
標Jmの2及びy(第10図)関数と、2及び画像横座
標Inのχ関数を作成する、第10図に関連して既に述
べたように、関数は次のように表わされる: χは第10図に示すようにχ方向のユニット・ベクトル
、nは光線条平面に垂直なユニット・ベクトルである。
従って、制約は(χ・n) −〇、ただし符号(・)は
ベクトル・ドツト積を表わすy及びZは定数を含む画像
縦座標Jmの関数であり、χは同じく定数を含む、画像
横座標の2倍で与えられる。
この方法は専用ハードウェア、埋め込みファームウェア
または汎用ソフトウェアで行うことができる。この方法
には3つの探索表χLUT、 yl。
UT及びzLUT (第32図)と、第32図の51に
おける1回の乗算が利用される。ライン400を介して
yLUT探索表へ、ライン401を介してzLUT探索
表ヘアドレスjが送られ、ライン402.403を介し
て座標y及び2がそれぞれ出力される。アドレスiχL
UT探索表へ送られ、ライン405の出力に、ライン4
03.406から得られる2が乗算される。ライン40
7に座標χが現われる。演算のスピードアップのため整
数演算が利用されるから、χの計算はやや複雑になる。
従って、χLUT探索表は正規化(z=1)χ関数の変
動範囲を広げるために位取り因数を必要とする。この位
取り因数は変換時に除算しなければならないが、能率的
であるという点では2の累乗でもよい0表面オリエンテ
ーシミンのm■酸成分関しては、もう少し複雑になる。
第33図に示すように、3つの探索表gL U T、 
’g2 LUT及びhLUTが使用され、S6及びS8
において2つの加算、S3、S4、S5、S7において
4つの乗算、430において1つの除算がそれぞれ行わ
れる。S8ではライン410から得られるiにライン4
11から得られるI m / 2が乗算される。出力は
ライン412を介して乗算器S3に送られる。3つの探
索表はライン413及びそれぞれに連携のライン414
.415.416からアドレスjを受信し、ライン42
0.426及び423をそれぞれ介して連携の乗算器S
3、S5、S7に出力する。ライン420もライン41
2と同様に乗算器S3を接続し、その出力はライン42
1に現われる。乗算器S4はライン421に応答し、S
5はライン426に、S7はライン423にそれぞれ応
答する。さらに、ライン417.418からのΔjがS
4への第2の入力となり、ライン417.419を介し
てS5へも第2の入力として供給される。同様に、ライ
ン424からの△iがSフへの第2の入力となる。アナ
ログ加算器S6が84からのライン422とS7からの
ライン425を組み合わせて除数Bを形成しライン42
7がS7から除算器420に被除数を入力する。このア
プローチにより、方程式の冗長度を考慮したあとのスル
ーブツトを46%改善することができる。平凡な計算な
ら28.5相当の加算を必要とするのに対して、探索表
方式では19.5相当の加算で済む。
この結果、ライン266を介してシーム上の点の位置及
び姿勢:χ、y%2、θ、φ、ψが得られる。次にブロ
ックSCCを考察すると、均質座標変換は4つのベクト
ルから成るマトリックスであり、1つは位置を示すベク
トル、残り3つは姿勢を示す直交ユニット・ベクトルで
ある。既に述べたように、hctmは相対座標フレーム
を左下及び右上に付記した記号Tで表わされる。従って
ロボットのワールド座標からシーム・サンプルへの変換
はwT’で表わされる。なお、ここに使用する変分はシ
ームが王、ワールドがヱ、工具が1カメラがCである。
画像プロセッサーはシーム位置の位置オフセット成分を
カメラ座標で直接測定する。これらの値はそのままカメ
ラ−シーム変換値となる。画像プロセッサーは阜−フレ
ームから直接m28を測定する(扁平面が第9及び10
図に示すようにレンズ主軸に垂直な状態でi軸と並行な
線を投光するように投光器を整列された場合、第34図
、ライン523の画像勾配△j/Δiと相関する記のよ
うに計算する: で表わされる面勾配成分がm!Xであり、第34図のラ
イン528を介して得られる)。移動しながらいくつか
のシーム・サンプル位置のサンプルを採収したのち、m
 xy及びmt、をも直接計算する。
これらの値を利用してhctmの姿勢サブマトリックス
の法線(旦)及び姿勢(旦)ベクトルを下接近ベクトル
(りは旦及び旦のベクトル積として計算される。
参考のため、光線条の幾何的分析に関する光線条デザイ
ンのためのフォートラン・プログラムを付録に示した。
第34図のフォローチャートは第21図に示した画像プ
ロセッサーの動作全体を図解したものである。ブロック
500はバイブラインから出力される画素線のデータ・
ラスターにおける各列iに対応するj値をリストアツブ
する第24B図図示RAMの典型例であり、インターレ
ーシングの場合、ブロック502はライン501に応答
してライン250の1画素幅線を出力する。次いで、ラ
イン503を介してシステムは504に進み、ここで第
21図のCRDにおいてなされたように、コーナー検出
が行われる。ブロックGRFに含まれるRAM情報につ
ながる第21図のブロックED、LAD及びCRLによ
る予備的図形作成が506において行われる。ライン2
58を介して出力され、第21図に示す分析オペレータ
ーに送される粗図形が図形分析器508において簡略化
され、この簡略化された図形は分析器508からライン
509を通って最終属性計算器510へ送られ、最終的
に属性を決定された図形は計算器510からライン51
1を通りてマツチング段階513へ送られる(ライン5
12から得られる標準図形の木構造に応答してマツチン
グテストが行われる)。なお、感知される光線集画像の
実図形とのマツチングテストに供せられる標準図形は実
図形として得られるマツチング図形と共通の総合的属性
を具えている。これらの属性は標準として選択されたシ
ーム・モデルに基づいてあらかじめ設定される。マツチ
ング513に続き、ライン514を通ってギャップ抽出
515に進み、517においてギャップ・コードがスケ
ールされ、ライン265を介して制御プロセッサーCP
へギャップ・コードが出力される。他方、図形マツチン
グ513に続いて(第21図のCRFにおいて行われる
ように)ターゲット画定520が行われ、ライン521
にターゲット座miが、ライン522にターゲット座標
jがそれぞれ出力される。画像勾配もライン523を介
して得られる。
次いで、(第21図のCRVで行われるように)524
において1−Dから3−Dへの変換が行われ、ライン5
25.526.527を介して3つの座標χ、y、zが
それぞれ出力される。画像勾配はy軸に対する傾斜とし
ての面勾配m、y・に変換される。3つの座標は既に述
べたように式:から得られ、これと同時に、全微分dz
及びdχで表面勾配m28が計算され、ライン528を
介して出力される。
こうして得られた情報を組み立ててhct’mとし、シ
ニム・サンプルを形成するシーム変換の基本マトリック
スは: (以 下 余 白) ただし、第18図に関連して既に述べたように、旦はカ
メラとシームの間における姿勢ベクトル、見は接近ベク
トル、旦は法線ベクトル、Lは位置ベクトルである。ラ
イン525乃至528のデータを利用すれば、マトリッ
クスは下記のようになる: これはブロック529からライン530に現われる出力
である。ここで、制御プロセッサーに対してロボット・
プロセッサーを制御するように指令する前に、シーム座
標をワールド座標に変換しなければならない。その間係
式は: w7f、−7t、t7e畠論:Ca1lr’ただし、変
換wTt、即ち、工具座標は制御プロセッサーを介して
ロボット・プロセッサーからライン137に出力される
。変換Ca@T’はライン530によってブロック53
2へ人力され、t7ea−はセンサーから工具固定関数
に与えられる。その結果がライン533に現われるwT
lである。
、T’−、Tt:d″ であるから、この変換はブロック534において(制御
プロセッサーのライン137からの)ライン533及び
ライン534で行われ、ライン535で時点kに対応す
る。T” (K)が出力される。
シーム経路座標はライン103°を介して待ち行列10
4に対して出力される。これに対する通過距離が536
においてすべてのサンプルについて求められ、サンプリ
ングされた場所がライン103を介して待ち行列104
に記憶される。
本発明の好ましい実施例を構成する画像プロセッサーと
の関連でいくつかの特徴を述べたが、同じ目的を達成し
、すぐれた成果をもたらすなら、その他の解決手段もま
た本発明から除外されるものではない。
要約すれば、本発明の画像プロセッサーの特徴を次のよ
うに列記することができる: シーム・サンプル確認の際に考慮される幾何的形状を感
知するセンサー: 光線束画像を処理し、画像信号を1画素幅画像に変換す
るため相互に接続する電子ボードの集合体; 光線束画像を抽象データ構造として表現する方法; 長さ、角度などの数値属性に歪みがあってもマツチング
が得られるようにデータ構造を標準構造とマツチングさ
せる方法; 本質的形態変化を動的かつ非同期的に処理できるように
いくつかの標準モデルのうちのいずれかにマツチングさ
せることができること;ターゲット位置、ギャップ・サ
イズなどのような正確な数値属性を抽出するため、マツ
チングに関連してデータを正確に解読できること;本発
明の制御プロセッサーの特徴を要約すると次の通りであ
る: ロボットがその作業範囲内の任意の場所へセンサーを移
動させ、シーム起点を検出し、起点が検出されたらロボ
ットを停止させることができること: 追跡を開始し、所要の作働端基準オフセットを考慮する
前に、6つの自由度すべてに関して作働端をシーム起点
に“センター・アップ”するようロボットに指令できる
こと; ロボット経路を更新しながらリアルタイムで行われるフ
ィードフォワード方式にょる6自由度追跡、動的回復、
及び視覚システムによるロボット経路の外挿処理:及び 本発明のロボット・システムの重要な特徴として制御プ
ロセッサー及び画像プロセッサーを単一のロボット・シ
ステムに組み込んだこと。
以上、好ましい実施例に関して本発明を説明したが、本
発明の重要な構成要件を採用するその他の実施例も本発
明の範囲に含まれる。例えば、産業用ロボットからの指
示経路回復を重要な構成要件として上述したが、本発明
の制御プロセッサーによるフィードフォワード制御は指
示経路が得られる限り、ロボットで行うこともできる。
また、光学センサーを利用するシーム追跡システムにつ
いて述べたが、本発明の制御プロセッサーによって使用
される、工具に先行して感知されるシーム上の不連続な
一連の場所に関するデータを得るため、他の方式の感知
システムを採用することも可能である。工具から一定距
離に位置するようにセンサーを取り付けることも必須条
件ではない。通過距離ごとの感知場所と工具の位置及び
姿勢との相関関係を両者間の特定の関係を考慮して求め
ることも可能である。
【図面の簡単な説明】
第1図は公知ロボット・システムを示すブロックダイヤ
グラムである。 第2A、2B及び20図は典型的なジヨイントまたはシ
ームをそれぞれの特徴的断面形状と共に示す斜視図であ
る。 第3図はロボット・システムに対する指示経路の概略図
である。 第4図は指示経路とロボット工具が作業に際して追跡す
べきシームとの間の関係を略伝する説明図である。 第5図は加工すべきジヨイント溝に対する工具の位置及
び姿勢を決定するパラメーターを示す斜視図である。 第6図は工具姿勢のワールド座標系における座標軸を示
す斜視図である。 第7図はフィードバック・アプローチを利用するシーム
追跡系と共にロボットの制御系を示すブロックダイヤグ
ラムである。 第8図は記憶されている指示経路に基づくロボット・シ
ステムの動作を示すブロックダイヤグラムである。 第9図は投光してジヨイントに光線条を形成しこれをカ
メラが捕捉し、自動追跡システムによるシーム経路検出
の際に前記光線条がさらに処理されるように構成された
光学センサーの斜視図である。 第10図は光学系及び光線条の三角測量分析用幾何パラ
メーターを示す説明図である。 第11図は光学系とロボット・システムとの接続関係を
本発明の画像プロセッサー及び制御プロセッサーと共に
示すブロックダイヤグラムである第12図は第11図の
制御プロセッサーによるロボット・システムフィードフ
ォワード制御の態様を示すブロックダイヤグラムである
。 第13A−13D図は3411及び12図の制御プロセ
ッサーの動作を説明するためのブロックダイヤグラムで
ある。 第14A図は本発明の制御プロセッサーの作用下に行わ
れる産業用ロボットの制御シーケンスの各サイクルにお
ける、3チック移動する工具のシーム上における外挿位
置と共に、シーム経路及び回復された指示経路を略伝す
る説明図である。 第14B図はシームまたはジヨイントに沿って光学セン
サーが通過距離との関連で位置感知し、第14A図の外
挿位置における通過距離を夾叉する通過距離サンプルを
識別する態様を示す説明図である。 第15図は工具の外挿位置に対応する通過距離に応答す
る夾叉通過距離サンプルの選択と、第13C図において
誤差計算と産業用ロボットに対する制御指令の作成に利
用される前記位置に対応の工具座標を求めるための連続
的補間をアナログ形式で示すブロックダイヤグラムであ
る。 第16図は工具よりも前方に位置するようにセンサーを
工具に取り付けた場合、現在位置における工具の姿勢が
センサーをシーム上に位置させるような姿勢でなければ
ならないことを示す説明図である。 第17図はセンサーが有効に感知するためにはシーム経
路平面における工具からセンサーまでの距離がシーム経
路に対する弦に相当しなければならないことを示す説明
図である。 第18図は補正すべきヨーイング角度を第17図の弦で
画定するシーム平面に射影されたセンサーから工具まで
の光学的距離を示すベクトル図である。 第19図はシーム追跡システムとして使用される画像プ
ロセッサー全体を、本発明の画像プロセッサーにおいて
使用されるマイクロコンビエータ−によってモニターさ
れ、かつ制御されて感知シームの光線条画像の一方のエ
ツジを表わす画素線を形成すると共にロボット制御のた
めの制御プロセッサー(CP)が必要とするシーム経路
座標を出力するデジタル・バイブライン及びそのソリッ
ドステート・デバイスと共に示すブロックダイヤグラム
である。 第20図は第19図のブロックダイヤグラムの詳細図で
ある。 第21図は第13A乃至13D図の制御プロセッサー(
CP)と接続した状態で示す画像プロセッサー(I P
)全体のブロックダイヤグラムである。 第22A図は光線条の下方エツジに位置するマスクまた
はカーネルを特徴づける10通りの状況を示す説明図で
ある。 第22B図は第22A図の10通りの状況とは具なる3
つの状況を示す説明図である。 第23図は第22A及び22B図の13通りの状況のそ
れぞれに対応する画素マスクのコード化を示す表である
。 第24A乃至24D図は本発明の画像プロセッサーによ
り画素線を2画素幅から1画素幅に細めながら、パイプ
ライン画像を2−Dから1−Dに変換する段階を示すグ
ラフである。 第24E図は第21図に示すコーナー検出用不連続第2
微分オペレーターの動作を示すグラフである。 第25図は本発明の画像プロセッサーによる画素線によ
って特徴づけられる6通りのシーム形状を示す簡略図で
ある。 第26図は本発明の画像プロセッサーによる画素線の形
状を特徴づけるコーナーと隣接のリンクとの間に考えら
れ・る8通りの幾何的関係を示す簡略図である。 第27A図は典型的な画素線プロフィル、第27B図は
これに対応する光線条画像コーディングである。 第28A図は他の典型的な画素線プロフィルである。 第28B図はこれに対応する光線条画像のコーディング
である。 第29図は第27A、27B、28A、28B図との関
連において、特定の場合における画素線形状を翻訳する
コーナー図形の展開である。 第30図は画素線上に識別される擬似コーナーを例示す
る説明図である。 第31図は本発明の画像プロセッサーによって可能とな
るターゲット画定の5例を示す説明図である。 第32図は画像の1−D→3−D変換を示すブロックダ
イヤグラムである。 第33図は画像−勾配変換を示すブロックダイヤグラム
である。 第34図は第11.12及び13A乃至13D図の制御
プロセッサーにシーム経路位置サンプル・データを供給
するための画像プロセッサーによるパターン認識、中心
点抽出及び座標検出動作を示すフローチャートである。 出願人:  ウエスチンクへウス・エレクトリック・コ
ーポレーシ3ン代 理 人:加 藤 紘 一部(ばか1
名)ニ FIG、26

Claims (13)

    【特許請求の範囲】
  1. (1)作働端(TL)の現在位置に応答して対応のシー
    ム場所に基づきフィードフオワードで作働端を予想位置
    にむかって制御する制御プロセッサー(CP)を含み、
    画像プロセッサーを連携する光学的シーム追跡装置の前
    方感知型センサー(SNS)の後方に位置する前記作働
    端(TL)をリアルタイムで制御するロボット制御シス
    テムであって、画像プロセッサーがシーム上の順次感知
    される場所を提示し(104)、制御プロセッサー(C
    P)がこの感知場所をセンサーの起点からの通過距離と
    相関させる(137、169)と共に作働端の位置を作
    働端の起点からの通過距離(123)と相関させ、前記
    対応のシーム場所が制御プロセッサー(122)により
    、画像プロセッサー(103)から得られた感知場所(
    104)及び前記予想位置に対応する通過距離(128
    )に基づいて求められることを特徴とするロボット制御
    システム。
  2. (2)制御プロセッサーが前記予想位置をロボット指示
    経路上の外挿通過距離(第14A図、e(K+3)と相
    関させ、前記対応のシーム場所が前記外挿通過距離の関
    数(180)として前記感知場所から求められることを
    特徴とする請求項第(1)項に記載のシステム。
  3. (3)前記対応のシーム場所が前記外挿通過距離と境を
    接する通過距離と対応する2つの連続する前記感知シー
    ム場所間を補間(121)することにより制御プロセッ
    サーによって得られることを特徴とする請求項第(2)
    項に記載のシステム。
  4. (4)作働端のフィードフォワード制御が現在位置から
    これと連携する対応のシーム場所に基づく指示経路に関
    して行われ、前記指示経路が制御プロセッサーにより前
    記作働端現在位置に基づいて回復され、前記外挿作働端
    位置が前記現在位置から求められて前記予想通過距離を
    明らかにし、前記対応のシーム場所が前記回復指示経路
    との間にフィードフォワード制御に必要な誤差を提示す
    ることを特徴とする請求項第(2)項に記載のシステム
  5. (5)前記フィードフォワード制御が周期的に行われ、
    新しい作働端位置及び外挿位置ごとに制御プロセッサー
    により通過距離及び対応感知場所が求められることを特
    徴とする請求項第(4)項に記載のシステム。
  6. (6)前方感知型センサーが作働端から所定距離に位置
    し、作働端位置及び感知シーム場所に対応する通過距離
    が前記所定距離を考慮して求められることを特徴とする
    請求項第(5)項に記載のシステム。
  7. (7)指示経路に基づく誤差補正信号で作働端を繰り返
    し制御し、作働端現在位置を表わす第1信号を繰り返し
    出力するロボット・コントローラー(RB)と、作働端
    より前方のシーム上に逐次感知される不連続場所を表わ
    すデータを繰り返し求めるため作働端より前方に設置さ
    れたセンサー(SNS)を有するシーム・センサー・シ
    ステムと、前記第1信号及び前記感知場所を表わすデー
    タに応答して、作働端位置と感知シーム場所との間の誤
    差として前記制御信号を出力する制御プロセッサーを含
    むロボット・システムの操作方法であって、前記制御プ
    ロセッサーが: 前記制御信号及び前記第1信号に応答して起点位置から
    現在位置に至る作働端の通過距離を繰り返し計算し、か
    つ記憶し(BLK4); 前記制御信号(136)及び前記第1信号(137)に
    応答して作働端とセンサーとの間隔を考慮しつつ最初に
    感知されたシーム場所から現在の感知シーム場所に至る
    通過距離(123)を繰り返し計算し、かつ記憶し(B
    LK2); 前記感知場所をその通過距離(128)と相関させなが
    ら前記データを順序づけ、かつ記憶することによって検
    索表(104)を作成し; 作働端現在位置に関する前記第1信号及び作働端の現在
    時点位置ぎめに関する前記制御信号を利用して指示経路
    を回復された形で表わす連続的な位置を繰り返し求め(
    154); 前記回復指示経路上の通過し終った位置から予想位置ま
    で一定量だけ外挿し(157); 前記作働端が既に通過した通過距離から予想通過距離ま
    で一定量だけ外挿し(178); 前記検索表中の前記記憶感知場所通過距離と関連させな
    がら前記予想通過距離から対応の予想感知場所を求め(
    180、122); 前記予想感知場所を前記指示経路上予想位置と比較する
    ことによって(127)、前記予想作働端位置に関する
    現時点制御信号を求め; 前記現時点制御信号に応答してロボット・コントローラ
    をフィードフォワード制御し(136)作働端の各先行
    位置及び先行制御信号に従って作働端を前記予想位置へ
    移動させることを特徴とするロボット・システム作動方
    法。
  8. (8)前記シーム・センサー・システムが前記作働端よ
    りも一定距離だけ前方の場所の位置及び方向座標を提示
    し; 前記感知場所データのそれぞれがシーム場所をワールド
    座標で表わし; 前記第1信号が現時点作働端制御のため作働端現在位置
    をワールド座標で提示し; 制御プロセッサーがさらに; 作働端現在位置を感知シーム現在場所を結ぶ前記一定距
    離の弦をワールド座標で求め(106)前記作働端現在
    位置ワールド座標から経路に沿った作働端の移動方向を
    求め(108); 前記弦及び移動方向から両者間の角度を求め;前記作働
    端を前記角度だけ自転させることによってセンサーを移
    動させ(119); 別のシーム場所を感知する前にセンサーをシーム上に位
    置ぎめすることを特徴とする請求項第(7)項に記載の
    方法。
  9. (9)前記制御信号が作働端位置ワールド座標及び姿勢
    角度ワールド座標を含み; 前記センサーの移動に伴ない、前記制御信号に別の姿勢
    角度が加わることを特徴とする請求項第(8)項に記載
    の方法。
  10. (10)前記第1及び制御信号が一連のチック・サイク
    ルのそれぞれに対応して周期的に与えられ、作働端がチ
    ックごとに現時点制御位信号の制御下にシームの逐次感
    知される場所に沿って現在位置から次の位置へ移動する
    ことを特徴とする請求項第(7)項に記載の方法。
  11. (11)前記制御プロセッサーが作働端現在位置の3チ
    ック先に予想される作働端位置との関連で現時点制御信
    号を決定することを特徴とする請求項第(10)項に記
    載の方法。
  12. (12)指示経路に基づいて作働端をシーム沿いに制御
    するロボット・コントローラと、作働端よりも前方のシ
    ームを感知し、逐次感知されたシーム上の不連続な場所
    を表わすデータを得るセンサーを含むシーム追跡制御シ
    ステムと、前記シーム追跡制御システム及び前記ロボッ
    ト・コントローラーに応答して作働端位置及びこれに対
    応する感知場所との間の誤差を表わす制御信号を得る制
    御プロセッサーを含み、前記ロボット・コントローラー
    が前記制御信号に応答して作働端を制御することにより
    、作働端がシームを追跡できるようにするロボット・シ
    ステムであって、 前記ロボット・コントローラーに応答してかつ前記制御
    プロセッサーと連携して2つの連続する感知場所間の距
    離を順次計算し、前記距離を累算して最終感知場所まで
    の通過距離を繰り返し求め・ると共にそれぞれが通過距
    離によって分類されたサンプルを順序づけてシーム上の
    それぞれの感知場所を識別する手段と; 前記順序づけられたサンプルとの関連においてかつその
    順序に従って前記感知場所のそれぞれについてセンサー
    ・システムにより得られた座標を表わすデータを記憶す
    る検索表手段と; 制御プロセッサーが前記作働端の現在位置及び直前位置
    に応答してこれを外装処理して予想位置を求め、予想位
    置までの予想通過距離を求めることと; 制御プロセッサーが前記検索表と協働して作働端の前記
    予想通過距離をこれと密接に関連する前記検索表のサン
    プルと相関させることにより前記予想通過距離に対応す
    るシーム上の予想位置の座標を求めることと; 制御プロセッサーが前記座標に基づいて現時点制御信号
    を形成することと; 制御プロセッサーが前記制御信号でロボット・コントロ
    ーラーを制御することにより、前記予想位置によって与
    えられる新しい位置にむかって作働端をフィードフォワ
    ード制御することを特徴とするロボット・システム。
  13. (13)作働端位置と対応シーム場所との間の誤差を第
    1信号として制御プロセッサーがロボット・コントロー
    ラーへ周期的に伝送し、これに応答してロボット・コン
    トローラーが作働端を指示経路に基づいて同時制御する
    ことにより前記誤差を補正することと; ロボット・コントローラーが周期的にかつ前記作働端周
    期制御に続いて制御プロセッサーに前記現在位置を表わ
    す第1信号を供給することと;制御プロセッサーが前記
    第1及び制御信号と共に、回復指示経路を特徴づける対
    応の連続する現在位置を表わす連続する補足信号を周期
    的に出力することと; 前記外挿処理の段階において、前記回復指示経路上の現
    在及び直前位置を表わす連続する前記補足信号と共に、
    前記回復指示経路上の外挿位置を表わす別の信号が発生
    することと; 前記検索表から得られた2つの連続感知場所の間に前記
    別の信号を補間して対応シーム場所を表わす最終信号を
    求める手段を設けたことと;制御プロセッサーが前記別
    の信号及び最終信号に応答して前記現時点制御信号を形
    成することを特徴とする請求項第(7)項に記載のロボ
    ット・システム。
JP63332774A 1987-12-31 1988-12-28 ロボット制御システム Pending JPH023806A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US139,890 1987-12-31
US07/139,890 US4833381A (en) 1987-12-31 1987-12-31 Optical automatic seam tracker and real time control system for an industrial robot

Publications (1)

Publication Number Publication Date
JPH023806A true JPH023806A (ja) 1990-01-09

Family

ID=22488753

Family Applications (1)

Application Number Title Priority Date Filing Date
JP63332774A Pending JPH023806A (ja) 1987-12-31 1988-12-28 ロボット制御システム

Country Status (3)

Country Link
US (1) US4833381A (ja)
EP (1) EP0323278A3 (ja)
JP (1) JPH023806A (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4969108A (en) * 1988-04-08 1990-11-06 Cincinnati Milacron Inc. Vision seam tracking method and apparatus for a manipulator
US5276777A (en) * 1988-04-27 1994-01-04 Fanuc Ltd. Locus correcting method for industrial robots
US4952772A (en) * 1988-11-16 1990-08-28 Westinghouse Electric Corp. Automatic seam tracker and real time error cumulative control system for an industrial robot
US5083073A (en) * 1990-09-20 1992-01-21 Mazada Motor Manufacturing U.S.A. Corp. Method and apparatus for calibrating a vision guided robot
US5396160A (en) * 1991-03-11 1995-03-07 General Motors Corporation Method of real-time machine path planning from a math model
CA2074435C (en) * 1991-07-23 1996-04-02 Yuji Ishizaka High frequency electronic welding system
JPH06324733A (ja) * 1993-05-12 1994-11-25 Fanuc Ltd センサ付きロボットの制御方法及び装置
KR19980054432A (ko) * 1996-12-27 1998-09-25 이종수 월드좌표계에 대한 산업용 로봇좌표계의 정의 장치 및 그 방법
US6588738B1 (en) 1999-07-23 2003-07-08 Lillbacka Jetair Oy Laser cutting system
US6284999B1 (en) * 1999-07-23 2001-09-04 Lillbacka Jetair Oy Laser cutting system
US6326586B1 (en) 1999-07-23 2001-12-04 Lillbacka Jetair Oy Laser cutting system
US6300592B1 (en) 1999-07-23 2001-10-09 Lillbacka Jetair Oy Laser cutting system
US6376798B1 (en) 1999-07-23 2002-04-23 Lillbacka Jetair Oy Laser cutting system
US6430472B1 (en) * 1999-12-20 2002-08-06 Servo-Robot Inc. Robot feature tracking devices and methods
EP1448334B1 (de) * 2001-11-15 2011-04-20 Precitec Vision GmbH & Co. KG Verfahren und Vorrichtung zur Erfassung der Nahtqualität einer Schweißnaht bei der Schweißung von Werkstücken
JP4917252B2 (ja) * 2004-07-23 2012-04-18 ファナック株式会社 アーク溶接用装置
DE102006049627A1 (de) * 2006-10-20 2008-04-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Feinpositionierung eines Werkzeugs mit einer Handhabungseinrichtung
US20080221733A1 (en) * 2007-03-07 2008-09-11 Kmt Robotic Solutions, Inc. System and method of locating relative positions of objects
JP5444209B2 (ja) * 2007-04-16 2014-03-19 ニューロアーム サージカル リミテッド フレームマッピングおよびフォースフィードバックの方法、装置およびシステム
US8214415B2 (en) 2008-04-18 2012-07-03 Motion Engineering Incorporated Interpolator for a networked motion control system
US8457791B2 (en) * 2009-03-10 2013-06-04 GM Global Technology Operations LLC Method for dynamically controlling a robotic arm
RU2671787C1 (ru) * 2017-07-10 2018-11-06 Общество с ограниченной ответственностью "Эйдос - Робототехника" Способ повышения точности позиционирования промышленного робота
RU2692360C2 (ru) * 2017-11-03 2019-06-24 Федеральное государственное автономное образовательное учреждение высшего образования "Дальневосточный федеральный университет" (ДВФУ) Способ управления манипулятором
US11440119B2 (en) * 2018-10-12 2022-09-13 Teradyne, Inc. System and method for weld path generation
JP7326911B2 (ja) * 2019-06-20 2023-08-16 オムロン株式会社 制御システムおよび制御方法
CN112433495B (zh) * 2020-11-27 2023-11-21 沈阳工业大学 基于scn人机不确定模型的康复机器人快速有限时间控制
CN113400300B (zh) * 2021-05-24 2024-05-03 陶建明 用于机器人末端的伺服系统及其控制方法
CN114101851B (zh) * 2021-12-30 2022-11-01 华中科技大学 一种用于阀体零件的多焊缝填充自调节方法、系统及装置
WO2024045120A1 (en) * 2022-09-01 2024-03-07 Squaredog Robotics Limited System and method for self-adjustable welding

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56131077A (en) * 1980-02-13 1981-10-14 Commissariat Energie Atomique Automatic fusion welding method and its device
JPS60124475A (ja) * 1983-12-09 1985-07-03 Hitachi Ltd 溶接線倣い制御方法および装置
JPS60127987A (ja) * 1983-12-14 1985-07-08 株式会社日立製作所 ならい制御方法および装置
JPS62502110A (ja) * 1985-02-25 1987-08-20 キヤタピラ− インコ−ポレ−テツド 適応溶接案内装置
JPS6388612A (ja) * 1986-10-02 1988-04-19 Toyota Motor Corp 予見追跡制御型ロボツト

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3150624A (en) * 1958-10-16 1964-09-29 Motomation Inc Method and apparatus for welding joints
US4215299A (en) * 1975-05-02 1980-07-29 Minnesota Mining And Manufacturing Company Adaptive path following motion control system for welding head assembly
DE3579812D1 (de) * 1985-02-25 1990-10-25 Caterpillar Inc Adaptive schweissvorrichtung mit korrectur der fuellungssteuerung fuer gekruemmte schweissrinnen.
US4675502A (en) * 1985-12-23 1987-06-23 General Electric Company Real time tracking control for taught path robots

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56131077A (en) * 1980-02-13 1981-10-14 Commissariat Energie Atomique Automatic fusion welding method and its device
JPS60124475A (ja) * 1983-12-09 1985-07-03 Hitachi Ltd 溶接線倣い制御方法および装置
JPS60127987A (ja) * 1983-12-14 1985-07-08 株式会社日立製作所 ならい制御方法および装置
JPS62502110A (ja) * 1985-02-25 1987-08-20 キヤタピラ− インコ−ポレ−テツド 適応溶接案内装置
JPS6388612A (ja) * 1986-10-02 1988-04-19 Toyota Motor Corp 予見追跡制御型ロボツト

Also Published As

Publication number Publication date
EP0323278A2 (en) 1989-07-05
EP0323278A3 (en) 1990-07-18
US4833381A (en) 1989-05-23

Similar Documents

Publication Publication Date Title
JPH023806A (ja) ロボット制御システム
JP3004279B2 (ja) 光学的シーム追跡装置用画像処理システム
JPH023808A (ja) ロボット・システム
JPH02210506A (ja) ロボット制御方法及びシステム
US4952772A (en) Automatic seam tracker and real time error cumulative control system for an industrial robot
US4965499A (en) Parametric path modeling for an optical automatic seam tracker and real time robotic control system
US4568816A (en) Method and apparatus for manipulator welding apparatus with improved weld path definition
US4590577A (en) Welding robot controlling method
US4613943A (en) Operation teaching method and apparatus for industrial robot
US4945493A (en) Method and system for correcting a robot path
Agapakis et al. Vision-aided robotic welding: an approach and a flexible implementation
Baeten et al. Hybrid vision/force control at corners in planar robotic-contour following
US6023044A (en) Control method in multi-layer welding
US20080027580A1 (en) Robot programming method and apparatus with both vision and force
Nayak et al. Intelligent seam tracking for robotic welding
WO2011140646A1 (en) Method and system for generating instructions for an automated machine
Huang et al. Dynamic compensation robot with a new high-speed vision system for flexible manufacturing
Baeten et al. Improving force controlled planar contour following using online eye-in-hand vision based feedforward
Clark et al. Seam tracker for TIG welding
Baeten et al. Combined vision/force control at corners in planar robotic contour following
JP3562096B2 (ja) 位置検出方法
Han et al. The Key Technology of Robotic Autonomous Welding in More Subsections of Large Ship
JPH0614285B2 (ja) 産業用ロボットの自動教示方式
Lange et al. Predictive feedforward control for high speed tracking tasks
Agapakis et al. Adaptive Robotic Welding Using Preview Vision Sensing of Joint Geometry