JPH0412507B2 - - Google Patents
Info
- Publication number
- JPH0412507B2 JPH0412507B2 JP58163743A JP16374383A JPH0412507B2 JP H0412507 B2 JPH0412507 B2 JP H0412507B2 JP 58163743 A JP58163743 A JP 58163743A JP 16374383 A JP16374383 A JP 16374383A JP H0412507 B2 JPH0412507 B2 JP H0412507B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- feature point
- coordinate plane
- data
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000006073 displacement reaction Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 9
- 238000000034 method Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【発明の詳細な説明】
＜発明の技術分野＞
本発明は、産業ロボツト等の技術分野に適用さ
れる物体認識装置に関連し、殊に本発明は、物体
を画像化し物体画像の特徴をなす点（以下「特徴
点」という）に着目して物体を三次元的に認識す
る物体認識装置に関する。
れる物体認識装置に関連し、殊に本発明は、物体
を画像化し物体画像の特徴をなす点（以下「特徴
点」という）に着目して物体を三次元的に認識す
る物体認識装置に関する。
＜発明の背景＞
通常三次元物体の認識には、対をなす２個の視
覚系を用いる。この両視覚系に物体の画像を結像
させると、視覚系の隔りに起因する画像間のずれ
が生じ、このずれを両画像の対応する特徴点から
検出することにより、物体の立体的把握が可能と
なる。従つてこの場合、一方視覚系にかかる画像
の特徴点と、他方視覚系にかかる画像の特徴点と
を対応させることが必要となる。このため従来
は、画像の明暗パターンを照合する等して、両画
像の対応する特徴点を検出していたが、この種方
法では照合処理が著しく複雑となつて、効率が悪
く、而も精度的に十分満足ゆく結果が得られてい
ない。
覚系を用いる。この両視覚系に物体の画像を結像
させると、視覚系の隔りに起因する画像間のずれ
が生じ、このずれを両画像の対応する特徴点から
検出することにより、物体の立体的把握が可能と
なる。従つてこの場合、一方視覚系にかかる画像
の特徴点と、他方視覚系にかかる画像の特徴点と
を対応させることが必要となる。このため従来
は、画像の明暗パターンを照合する等して、両画
像の対応する特徴点を検出していたが、この種方
法では照合処理が著しく複雑となつて、効率が悪
く、而も精度的に十分満足ゆく結果が得られてい
ない。
＜発明の目的＞
本発明は、２個の視覚系を必要とせず、単一の
視覚系をもつてこれを移行させる方式を採用する
ことによつて、特徴点間の対応処理が必要なく、
処理効率および精度を向上させた物体認識装置を
提供することを目的とする。
視覚系をもつてこれを移行させる方式を採用する
ことによつて、特徴点間の対応処理が必要なく、
処理効率および精度を向上させた物体認識装置を
提供することを目的とする。
＜発明の構成および効果＞
上記目的を達成するため、本発明では、カメラ
を移行させて座標平面上で物体画像を変位させ、
カメラの移行に伴なう特徴点の変位範囲を規定す
ることにより、特徴点の変位位置を追跡すると共
に、特徴点の追跡データおよびカメラの空間位置
データに基づき特徴点に対応する物点の三次元座
標を算出するようにした。
を移行させて座標平面上で物体画像を変位させ、
カメラの移行に伴なう特徴点の変位範囲を規定す
ることにより、特徴点の変位位置を追跡すると共
に、特徴点の追跡データおよびカメラの空間位置
データに基づき特徴点に対応する物点の三次元座
標を算出するようにした。
本発明によれば、単一の視覚系をもつて、而も
特徴点間の対応処理を行なうことなく、着目した
特徴点にかかる物点を三次元的に認識でき、物体
認識処理の簡易化、更には処理効率および精度の
向上を実現できる。また着目した特徴点を座標平
面上で追跡する方式であるから、複数個の特徴点
につき同時に物体認識処理が可能である等、発明
目的を達成した顕著な効果を奏する。
特徴点間の対応処理を行なうことなく、着目した
特徴点にかかる物点を三次元的に認識でき、物体
認識処理の簡易化、更には処理効率および精度の
向上を実現できる。また着目した特徴点を座標平
面上で追跡する方式であるから、複数個の特徴点
につき同時に物体認識処理が可能である等、発明
目的を達成した顕著な効果を奏する。
＜実施例の説明＞
第１図は本発明を産業ロボツトの姿勢並びに位
置検出に実施した例を示す。図示例のロボツト１
は、基台２上に複数のアーム３，３を枢支連結し
た構造であり、各アーム３および手先部４には
夫々輝点５を設定してある。ロボツト１の対向位
置にはテレビカメラ６が移動可能に配備してあ
り、カメラ６を駆動機構（図示せず）により移行
させつつ座標平面上に各輝点５を含むロボツト１
の画像を得る。輝点５は物体画像において特徴点
を形成するためのものであり、発光ダイオード等
の発光素子を使用する他、第２図に示す如く、光
フアイバ７の端面を輝点５とする等、任意の方式
を採択し得る。
置検出に実施した例を示す。図示例のロボツト１
は、基台２上に複数のアーム３，３を枢支連結し
た構造であり、各アーム３および手先部４には
夫々輝点５を設定してある。ロボツト１の対向位
置にはテレビカメラ６が移動可能に配備してあ
り、カメラ６を駆動機構（図示せず）により移行
させつつ座標平面上に各輝点５を含むロボツト１
の画像を得る。輝点５は物体画像において特徴点
を形成するためのものであり、発光ダイオード等
の発光素子を使用する他、第２図に示す如く、光
フアイバ７の端面を輝点５とする等、任意の方式
を採択し得る。
第３図はXYZ座標におけるカメラ６の移動軌
跡を、また第４図はカメラ６の移行に伴なうIJ座
標平面８における特徴点の変位を夫々示す。同図
において、カメラ６が時刻t1でＡ（t1）地点に位
置し、時刻t2でＢ（t2）地点へ移行するとき、特
徴点P1はa1（t1）地点よりb1（t2）地点へ、特徴点
p2はa2（t1）地点よりb2（t2）地点へ、特徴点P3は
a3（t1）地点よりb3（t3）地点へ夫々変位する。こ
の座標平面８を光学走査すると、各フイールド間
に垂直同期信号ｄを含むビデオ信号ｖ（第５図に
示す）が得られる。かくてカメラ６を移動しつつ
座標平面８を走査した場合、第６図に示す座標
（ｉ，ｊ）に位置する特徴点Ｐは、１フイールド
に相当する時間経過後には座標（i′，j′）の位置
に変位しており、従つて前記ビデオ信号ｖは各フ
イールド毎に若干異なつた信号波形となる。
跡を、また第４図はカメラ６の移行に伴なうIJ座
標平面８における特徴点の変位を夫々示す。同図
において、カメラ６が時刻t1でＡ（t1）地点に位
置し、時刻t2でＢ（t2）地点へ移行するとき、特
徴点P1はa1（t1）地点よりb1（t2）地点へ、特徴点
p2はa2（t1）地点よりb2（t2）地点へ、特徴点P3は
a3（t1）地点よりb3（t3）地点へ夫々変位する。こ
の座標平面８を光学走査すると、各フイールド間
に垂直同期信号ｄを含むビデオ信号ｖ（第５図に
示す）が得られる。かくてカメラ６を移動しつつ
座標平面８を走査した場合、第６図に示す座標
（ｉ，ｊ）に位置する特徴点Ｐは、１フイールド
に相当する時間経過後には座標（i′，j′）の位置
に変位しており、従つて前記ビデオ信号ｖは各フ
イールド毎に若干異なつた信号波形となる。
第７図は本発明にかかる物体認識装置の回路構
成例を示す。図示例の装置は、複数個の追跡回路
１１と、各追跡回路１１の動作を制御ポート１５
を介して一連に制御するCPU（Central
Processing Unit）１２とを含み、CPU１２はメ
モリ１３に対するデータの読書きを行ないつつ物
体認識に関する各種演算、処理を実行すると共
に、外部インターフエイス１４を介して入出力機
器（図示せず）の動作を制御する。前記各追跡回
路１１は、同一構成のＩ座標追跡器９およびＪ座
標追跡器１０より成り、図示例の装置の場合、追
跡回路数に相当する個数の特徴点Ｐにつき同時に
物体認識処理を実行し得る。
成例を示す。図示例の装置は、複数個の追跡回路
１１と、各追跡回路１１の動作を制御ポート１５
を介して一連に制御するCPU（Central
Processing Unit）１２とを含み、CPU１２はメ
モリ１３に対するデータの読書きを行ないつつ物
体認識に関する各種演算、処理を実行すると共
に、外部インターフエイス１４を介して入出力機
器（図示せず）の動作を制御する。前記各追跡回
路１１は、同一構成のＩ座標追跡器９およびＪ座
標追跡器１０より成り、図示例の装置の場合、追
跡回路数に相当する個数の特徴点Ｐにつき同時に
物体認識処理を実行し得る。
第８図はＩ型追跡器９の回路構成例を示す。第
８図において、カウンタ１６はＩ軸クロツク信号
Ciを計数することにより、座標平面８におけるＩ
軸方向の現走査位置を検出する。ラツチ回路１７
はオア回路１８からの信号出力に応じてラツチ動
作し、ラツチしたカウンタ１６の計数値はデータ
バスを介してCPU１２に取り込まれると共に、
セツト信号Ｓ（第９図６に示す）の入力により、
その計数値と、所定数（例えば「１」）加算した
値および、所定数（例えば「１」）減算した値が
アツプダウンカウンタ等より成るデータ設定器１
９，２０，２１にセツトされる。前記オア回路１
８には、初期設定信号I1〜In（第９図３〜５に示
す）とアンド回路２２のアンド出力が入力され、
またアンド回路２２にはＪ軸追跡器１０からの一
致信号、クロツクビデオ信号Ｖ（第９図２に示す）
および、オア回路２３のオア出力が入力される。
前記カウンタ１６の係数値と、各データ設定器１
９，２０，２１の内容とは夫々エクスクルーシ
ブ・オア回路２４，２５，２６（以下「EX.オア
回路」という）にて比較され、両者が一致する
と、対応するEX.オア回路が一致信号を出力し、
この一致信号はオア回路２３を介してＪ軸追跡器
１０および前記アンド回路２２へ送出される。
８図において、カウンタ１６はＩ軸クロツク信号
Ciを計数することにより、座標平面８におけるＩ
軸方向の現走査位置を検出する。ラツチ回路１７
はオア回路１８からの信号出力に応じてラツチ動
作し、ラツチしたカウンタ１６の計数値はデータ
バスを介してCPU１２に取り込まれると共に、
セツト信号Ｓ（第９図６に示す）の入力により、
その計数値と、所定数（例えば「１」）加算した
値および、所定数（例えば「１」）減算した値が
アツプダウンカウンタ等より成るデータ設定器１
９，２０，２１にセツトされる。前記オア回路１
８には、初期設定信号I1〜In（第９図３〜５に示
す）とアンド回路２２のアンド出力が入力され、
またアンド回路２２にはＪ軸追跡器１０からの一
致信号、クロツクビデオ信号Ｖ（第９図２に示す）
および、オア回路２３のオア出力が入力される。
前記カウンタ１６の係数値と、各データ設定器１
９，２０，２１の内容とは夫々エクスクルーシ
ブ・オア回路２４，２５，２６（以下「EX.オア
回路」という）にて比較され、両者が一致する
と、対応するEX.オア回路が一致信号を出力し、
この一致信号はオア回路２３を介してＪ軸追跡器
１０および前記アンド回路２２へ送出される。
第９図および第１０図は上記回路構成例のタイ
ミングチヤートを示す。
ミングチヤートを示す。
図中クロツクビデオ信号Ｖ（第９図２および第
１０図４に示す）は、座標平面８における特徴点
の存在位置に対応して論理「１」のレベルを有す
る信号であり、前記ビデオ信号ｖにスレシユホー
ルドレベルTHを設定して２値ビデオ信号V′（第
１０図２に示す）を得、更に２値ビデオ信号
V′を基準クロツクＣ（第１０図３に示す）と同期
させることによりクロツクビデオ信号Ｖを得てい
る。
１０図４に示す）は、座標平面８における特徴点
の存在位置に対応して論理「１」のレベルを有す
る信号であり、前記ビデオ信号ｖにスレシユホー
ルドレベルTHを設定して２値ビデオ信号V′（第
１０図２に示す）を得、更に２値ビデオ信号
V′を基準クロツクＣ（第１０図３に示す）と同期
させることによりクロツクビデオ信号Ｖを得てい
る。
然して複数の輝点５を有する物体は、移動する
テレビカメラ６により画像化され、カメラ６の座
標平面８には、カメラ６の移動に伴なつて変位す
る物体画像が得られる。物体画像には各輝点５に
対応する複数の特徴点Ｐが含まれており、画像平
面８の走査によりビデオ信号ｖ、更には信号変換
されたクロツクビデオ信号Ｖが得られる。各追跡
回路１１には、クロツクビデオ信号Ｖの他、Ｉ軸
クロツクCi、Ｊ軸クロツクCj等の信号が入力さ
れ、最初の走査の場合、第１１図に示すステツプ
31が“YES”となるからステツプ32へ進み、各
追跡回路１１にCPU１２より初期設定信号I1〜In
が入力され、各特徴点Ｐの座標位置が個別に初期
設定される。すなわち各追跡回路１１において、
Ｉ軸追跡器９のデータ設定器１９〜２１にはある
特徴点が位置する座標平面８のＩ軸座標およびそ
の前後の座標がセツトされ、またＪ軸追跡器１０
の各データ設定器には同様にＪ軸座標およびその
前後の座標がセツトされる。更に特徴点の位置デ
ータである上記座標はCPU１２に取り込まれた
後、時刻、カメラ位置、カメラ姿勢に関するデー
タとともにメモリ１３（第１２図に示す）に格納
される。尚これらデータの取り込みは、第９図１
に示す垂直ブランキング期間を利用して行なわれ
る。
テレビカメラ６により画像化され、カメラ６の座
標平面８には、カメラ６の移動に伴なつて変位す
る物体画像が得られる。物体画像には各輝点５に
対応する複数の特徴点Ｐが含まれており、画像平
面８の走査によりビデオ信号ｖ、更には信号変換
されたクロツクビデオ信号Ｖが得られる。各追跡
回路１１には、クロツクビデオ信号Ｖの他、Ｉ軸
クロツクCi、Ｊ軸クロツクCj等の信号が入力さ
れ、最初の走査の場合、第１１図に示すステツプ
31が“YES”となるからステツプ32へ進み、各
追跡回路１１にCPU１２より初期設定信号I1〜In
が入力され、各特徴点Ｐの座標位置が個別に初期
設定される。すなわち各追跡回路１１において、
Ｉ軸追跡器９のデータ設定器１９〜２１にはある
特徴点が位置する座標平面８のＩ軸座標およびそ
の前後の座標がセツトされ、またＪ軸追跡器１０
の各データ設定器には同様にＪ軸座標およびその
前後の座標がセツトされる。更に特徴点の位置デ
ータである上記座標はCPU１２に取り込まれた
後、時刻、カメラ位置、カメラ姿勢に関するデー
タとともにメモリ１３（第１２図に示す）に格納
される。尚これらデータの取り込みは、第９図１
に示す垂直ブランキング期間を利用して行なわれ
る。
更に座標平面８が走査されると、ステツプ33が
“YES”となつてステツプ34へ進み、各追跡回路
１１において、カウンタ１１の計数値と各データ
設定器１９〜２１の内容とが比較され、画像変位
に伴なう特徴点の動きが追跡される。そしてＩ軸
追跡器９およびＪ軸追跡器１０においていずれが
EX.オア回路２４〜２６が同時に一致信号を出力
したとき、ラツチ回路１７によりカウンタ１６の
計数値がラツチされ、その計数値に基づき各デー
タ設定器１９〜２１の内容が更新される。同様の
処理が各フイールド毎に繰返し実行され、走査回
数が予め定められた値ｍに達すると、ステツプ36
が“YES”となり、CPU１２はラツチされたカ
ウンタ１６の計数値を特徴点の現在位置座標とし
て取り込み、これを時刻、カメラ位置、カメラ姿
勢の各データとともにメモリ１３へ格納する。つ
いでステツプ37において、CPU１２はメモリ１
３の上記格納データに基づき公知の演算を実行
し、各特徴点（輝点）の三次元座標を算出し、こ
れをメモリ１３に格納する。尚第１１図のステツ
プ36は、各走査完了毎にCPU１２が実行するシ
ステム各部への通信処理動作を示す。
“YES”となつてステツプ34へ進み、各追跡回路
１１において、カウンタ１１の計数値と各データ
設定器１９〜２１の内容とが比較され、画像変位
に伴なう特徴点の動きが追跡される。そしてＩ軸
追跡器９およびＪ軸追跡器１０においていずれが
EX.オア回路２４〜２６が同時に一致信号を出力
したとき、ラツチ回路１７によりカウンタ１６の
計数値がラツチされ、その計数値に基づき各デー
タ設定器１９〜２１の内容が更新される。同様の
処理が各フイールド毎に繰返し実行され、走査回
数が予め定められた値ｍに達すると、ステツプ36
が“YES”となり、CPU１２はラツチされたカ
ウンタ１６の計数値を特徴点の現在位置座標とし
て取り込み、これを時刻、カメラ位置、カメラ姿
勢の各データとともにメモリ１３へ格納する。つ
いでステツプ37において、CPU１２はメモリ１
３の上記格納データに基づき公知の演算を実行
し、各特徴点（輝点）の三次元座標を算出し、こ
れをメモリ１３に格納する。尚第１１図のステツ
プ36は、各走査完了毎にCPU１２が実行するシ
ステム各部への通信処理動作を示す。
第１図は産業ロボツトの位置等の認識処理動作
を示す説明図、第２図は輝点の構成例を示す説明
図、第３図はカメラの移動状態を示す説明図、第
４図は座標平面上の特徴点の変位を示す説明図、
第５図はビデオ信号の波形説明図、第６図は座標
平面上の特徴点の変位を示す説明図、第７図およ
び第８図は本発明にかかる物体認識装置の回路構
成例を示すブロツク図、第９図１〜７および第１
０図１〜４は第７図および第８図の回路構成例に
おけるタイミングチヤート、第１１図は物体認識
処理動作を示すフローチヤート、第１２図はメモ
リの内容を示す説明図である。 ６……カメラ、８……座標平面、１１……追跡
回路、１２……CPU。
を示す説明図、第２図は輝点の構成例を示す説明
図、第３図はカメラの移動状態を示す説明図、第
４図は座標平面上の特徴点の変位を示す説明図、
第５図はビデオ信号の波形説明図、第６図は座標
平面上の特徴点の変位を示す説明図、第７図およ
び第８図は本発明にかかる物体認識装置の回路構
成例を示すブロツク図、第９図１〜７および第１
０図１〜４は第７図および第８図の回路構成例に
おけるタイミングチヤート、第１１図は物体認識
処理動作を示すフローチヤート、第１２図はメモ
リの内容を示す説明図である。 ６……カメラ、８……座標平面、１１……追跡
回路、１２……CPU。
Claims (1)
- 【特許請求の範囲】 １ 座標平面上に物体画像を得るカメラと、カメ
ラを移行させて物体画像を変位させる手段と、座
標平面を走査して物体画像の特徴点を検出する手
段と、座標平面上の現走査位置を計測する手段
と、カメラの移行に伴なう特徴点の変位範囲をデ
ータ設定する手段と、現走査位置と特徴点の変位
範囲とをデータ比較して特徴点が変位した位置を
追跡する手段と、特徴点の追跡データおよびカメ
ラの空間位置データに基づき特徴点に対応する物
点の三次元座標を算出する手段とを具備して成る
物体認識装置。 ２ 特徴点は、物体に配置された輝点によつて与
えられる特許請求の範囲第１項記載の物体認識装
置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP58163743A JPS6055479A (ja) | 1983-09-05 | 1983-09-05 | 物体認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP58163743A JPS6055479A (ja) | 1983-09-05 | 1983-09-05 | 物体認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPS6055479A JPS6055479A (ja) | 1985-03-30 |
| JPH0412507B2 true JPH0412507B2 (ja) | 1992-03-04 |
Family
ID=15779832
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP58163743A Granted JPS6055479A (ja) | 1983-09-05 | 1983-09-05 | 物体認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPS6055479A (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4054104B2 (ja) | 1998-04-10 | 2008-02-27 | オリンパス株式会社 | 内視鏡画像処理装置 |
-
1983
- 1983-09-05 JP JP58163743A patent/JPS6055479A/ja active Granted
Also Published As
| Publication number | Publication date |
|---|---|
| JPS6055479A (ja) | 1985-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106780601B (zh) | 一种空间位置追踪方法、装置及智能设备 | |
| CN109255813B (zh) | 一种面向人机协作的手持物体位姿实时检测方法 | |
| US11117262B2 (en) | Intelligent robots | |
| US4272756A (en) | Method of pattern recognition and apparatus thereof | |
| US6763284B2 (en) | Robot teaching apparatus | |
| US5062056A (en) | Apparatus and method for tracking a target | |
| JP3004279B2 (ja) | 光学的シーム追跡装置用画像処理システム | |
| JP2686351B2 (ja) | 視覚センサのキャリブレーション方法 | |
| US7599548B2 (en) | Image processing apparatus and image processing method | |
| US20050002555A1 (en) | Image processing apparatus | |
| JP3208953B2 (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
| JPS60200103A (ja) | 光切断線抽出回路 | |
| JPH05241626A (ja) | 検出位置補正方式 | |
| JP2019119027A (ja) | ロボットシステムの制御方法、およびロボットシステム | |
| CN109213202A (zh) | 基于光学伺服的货物摆放方法、装置、设备和存储介质 | |
| Smith et al. | Eye-in-hand robotic tasks in uncalibrated environments | |
| JP2020179441A (ja) | 制御システム、情報処理装置および制御方法 | |
| JPS62206684A (ja) | パタ−ン投影による位置形状計測方法 | |
| JP2730457B2 (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
| JPH0412507B2 (ja) | ||
| Chang | Binocular vision-based 3-D trajectory following for autonomous robotic manipulation | |
| Papanikolopoulos et al. | Feature based robotic visual tracking of 3-D translational motion | |
| JPH05173644A (ja) | ３次元物体認識装置 | |
| JP2020190551A (ja) | 計測システム、計測装置、計測方法、及び計測プログラム | |
| JP2003106813A (ja) | ビデオメータを用いて空間内の剛体の状態値を決定するための方法 |