JPH061171B2 - 複合視覚装置 - Google Patents
複合視覚装置Info
- Publication number
- JPH061171B2 JPH061171B2 JP59246768A JP24676884A JPH061171B2 JP H061171 B2 JPH061171 B2 JP H061171B2 JP 59246768 A JP59246768 A JP 59246768A JP 24676884 A JP24676884 A JP 24676884A JP H061171 B2 JPH061171 B2 JP H061171B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional
- object recognition
- dimensional object
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【発明の詳細な説明】 〈発明の技術分野〉 この発明は、ＦＭＳ（Flexible Manufacturing Syste
m）に代表される多種少量生産ライン等に適用される視
覚システムに関連し、殊にこの発明は、肉厚が大きい３
次元的形状の物体（以下、３次元物体という）および肉
厚が小さい２次元的形状の物体（以下、２次元物体とい
う）の認識が可能な複合視覚装置を提供するものであ
る。
m）に代表される多種少量生産ライン等に適用される視
覚システムに関連し、殊にこの発明は、肉厚が大きい３
次元的形状の物体（以下、３次元物体という）および肉
厚が小さい２次元的形状の物体（以下、２次元物体とい
う）の認識が可能な複合視覚装置を提供するものであ
る。
〈発明の概要〉 この発明の複合視覚装置は、複数の撮像手段で得た物体
の画像入力を、一方で２次元処理して認識し、他方で３
次元処理して認識すると共に、その物体が立体的か否か
を判断して、いずれか認識結果を選択して出力するもの
であり、これにより、肉厚が小さい２次元物体、肉厚が
大きい３次元物体を問わず、高速且つ対象物に応じた適
切な物体認識を行なうようにした。
の画像入力を、一方で２次元処理して認識し、他方で３
次元処理して認識すると共に、その物体が立体的か否か
を判断して、いずれか認識結果を選択して出力するもの
であり、これにより、肉厚が小さい２次元物体、肉厚が
大きい３次元物体を問わず、高速且つ対象物に応じた適
切な物体認識を行なうようにした。
〈発明の背景〉 一般に多種少量生産ラインでは、肉厚が大小異なる各種
の物体を取り扱っている。そしてこれら物体を認識する
のに、物体を上方より垂直視し、その画像入力を平面図
形として２次元処理する視覚システムが実用化されてい
る。ところがこの種システムでは、物体が３次元物体の
場合、これを垂直視すると、視野内の位置によっては物
体の側面も含めて撮像されるため、画像入力に差異が生
じ、２次元処理結果がばらつく等の問題があった。
の物体を取り扱っている。そしてこれら物体を認識する
のに、物体を上方より垂直視し、その画像入力を平面図
形として２次元処理する視覚システムが実用化されてい
る。ところがこの種システムでは、物体が３次元物体の
場合、これを垂直視すると、視野内の位置によっては物
体の側面も含めて撮像されるため、画像入力に差異が生
じ、２次元処理結果がばらつく等の問題があった。
このため近年、複数の撮像手段を用いて得た複数の物体
画像を３次元処理することによって、上記問題を解消し
得る視覚システムが提案された（日経メカニカル、１９
８４年１−２号、82〜86頁）。ところがこの種３次元処
理方式の場合、３次元物体の認識が可能な反面、複数の
画像を処理するので、従前の２次元処理の方式と比較し
て処理時間が長くなる。従って３次元処理方式を前記多
種少量生産ラインに適用実施した場合、取り扱う物体全
て３次元物体でないにも拘らず、常に３次元処理が実施
されることになり、生産性の著しい低下を招く等の不利
がある。
画像を３次元処理することによって、上記問題を解消し
得る視覚システムが提案された（日経メカニカル、１９
８４年１−２号、82〜86頁）。ところがこの種３次元処
理方式の場合、３次元物体の認識が可能な反面、複数の
画像を処理するので、従前の２次元処理の方式と比較し
て処理時間が長くなる。従って３次元処理方式を前記多
種少量生産ラインに適用実施した場合、取り扱う物体全
て３次元物体でないにも拘らず、常に３次元処理が実施
されることになり、生産性の著しい低下を招く等の不利
がある。
〈発明の目的〉 この発明は、上記問題を解消するためのもので、２次元
画像処理と３次元画像処理とを組合せることによって、
物体の種類を問わず、高速且つ対象物に応じた適切な物
体認識を行ない得る複合視覚装置を提供することを目的
とする。
画像処理と３次元画像処理とを組合せることによって、
物体の種類を問わず、高速且つ対象物に応じた適切な物
体認識を行ない得る複合視覚装置を提供することを目的
とする。
〈発明の構成および効果〉 上記目的を達成するため、この発明の複合視覚装置は、
認識対象とする物体に向けて異なる位置に配置された複
数の撮像手段と、前記複数の撮像手段のうち、いくつか
の撮像手段で得られた前記物体の各画像より画像毎に物
体の２次元的特徴量をそれぞれ抽出する特徴量検出手段
と、前記複数の撮像手段のうち、いくつかの撮像手段で
得られた前記物体の各画像により２次元の物体認識処理
を行う２次元物体認識手段と、前記複数の撮像手段で得
られた前記物体の各画像により３次元の物体認識処理を
行う３次元物体認識手段と、前記特徴量抽出手段で各画
像毎に得られた２次元的特徴量の相違度合をしきい値と
比較し、前記相違度合がしきい値以下であれば前記２次
元物体認識手段による物体認識処理結果を出力させ、し
きい値より大きければ前記３次元物体認識手段による物
体認識処理結果を出力させる制御手段とで構成されてい
る。
認識対象とする物体に向けて異なる位置に配置された複
数の撮像手段と、前記複数の撮像手段のうち、いくつか
の撮像手段で得られた前記物体の各画像より画像毎に物
体の２次元的特徴量をそれぞれ抽出する特徴量検出手段
と、前記複数の撮像手段のうち、いくつかの撮像手段で
得られた前記物体の各画像により２次元の物体認識処理
を行う２次元物体認識手段と、前記複数の撮像手段で得
られた前記物体の各画像により３次元の物体認識処理を
行う３次元物体認識手段と、前記特徴量抽出手段で各画
像毎に得られた２次元的特徴量の相違度合をしきい値と
比較し、前記相違度合がしきい値以下であれば前記２次
元物体認識手段による物体認識処理結果を出力させ、し
きい値より大きければ前記３次元物体認識手段による物
体認識処理結果を出力させる制御手段とで構成されてい
る。
この発明によれば、物体が２次元物体であれば２次元物
体認識手段の認識結果を、また物体が３次元物体であれ
ば３次元物体認識手段の認識結果を夫々出力させるか
ら、全ての物体を３次元画像処理する従来方式に比較し
て処理の高速化をはかることができ、多種少量生産ライ
ンでの生産性向上に貢献すると共に、全ての物体を２次
元画像処理する従来方式のように処理結果のばらつきが
なく、対象物に応じた適切な物体認識を行ない得る等、
発明目的を達成した顕著な効果を奏する。
体認識手段の認識結果を、また物体が３次元物体であれ
ば３次元物体認識手段の認識結果を夫々出力させるか
ら、全ての物体を３次元画像処理する従来方式に比較し
て処理の高速化をはかることができ、多種少量生産ライ
ンでの生産性向上に貢献すると共に、全ての物体を２次
元画像処理する従来方式のように処理結果のばらつきが
なく、対象物に応じた適切な物体認識を行ない得る等、
発明目的を達成した顕著な効果を奏する。
〈実施例の説明〉 第１図はこの発明にかかる複合視覚装置の一実施例を示
す。図示例の装置は、３台のテレビカメラ１，２，３
（以下、第１カメラ１、第２カメラ２、第３カメラ３と
いう）を物体７の上方に配置し、このうち第１，第２カ
メラ１，２は物体１を垂直視する姿勢で固定され、また
第３カメラ３は物体１を斜視する姿勢で固定される。
す。図示例の装置は、３台のテレビカメラ１，２，３
（以下、第１カメラ１、第２カメラ２、第３カメラ３と
いう）を物体７の上方に配置し、このうち第１，第２カ
メラ１，２は物体１を垂直視する姿勢で固定され、また
第３カメラ３は物体１を斜視する姿勢で固定される。
第１，第２の各カメラ１，２は、２次元画像処理装置４
と３次元画像処理装置５とに接続されるが、第３カメラ
３は３次元画像処理装置５のみに接続されている。第１
〜第３の各カメラ１〜３および両方の画像処理装置４，
５には全体制御装置６が接続され、この全体制御装置６
が送出する制御信号Ｊにより、第１，第２カメラ１，２
からの画像入力Ｇ１，Ｇ２が両画像処理装置４，５に送
られると共に、第３カメラ３からの画像入力Ｇ３が３次
元画像処理装置５に送られる。
と３次元画像処理装置５とに接続されるが、第３カメラ
３は３次元画像処理装置５のみに接続されている。第１
〜第３の各カメラ１〜３および両方の画像処理装置４，
５には全体制御装置６が接続され、この全体制御装置６
が送出する制御信号Ｊにより、第１，第２カメラ１，２
からの画像入力Ｇ１，Ｇ２が両画像処理装置４，５に送
られると共に、第３カメラ３からの画像入力Ｇ３が３次
元画像処理装置５に送られる。
２次元画像処理装置４は、２つの画像入力Ｇ１，Ｇ２を
同時に並行処理して、各画像中の物体部分の面積および
周囲長さを求めると共に、画像入力Ｇ１について２次元
画像処理を実施して、物体７の位置や形状を認識する。
画像入力Ｇ１より得た面積データＳ１および周囲長デー
タＬ１、画像入力Ｇ２より得た面積データＳ２および周
囲長データＬ２は、物体認識結果Ａとともに全体制御装
置６へ送出される。
同時に並行処理して、各画像中の物体部分の面積および
周囲長さを求めると共に、画像入力Ｇ１について２次元
画像処理を実施して、物体７の位置や形状を認識する。
画像入力Ｇ１より得た面積データＳ１および周囲長デー
タＬ１、画像入力Ｇ２より得た面積データＳ２および周
囲長データＬ２は、物体認識結果Ａとともに全体制御装
置６へ送出される。
全体制御装置６は、前記の面積データＳ１，Ｓ２および
周囲長データＬ１，Ｌ２につき夫々の大小を比較し、両
者の差｜S1,S2｜，｜L1,L2｜が所定のしきい値TH1,TH2
以下かどうかを判定する。これは物体７が肉厚の小さい
２次元物体である場合、垂直視用の第１，第２のカメラ
１，２からの物体７の見え方に差異がなく（物体側面の
画像への影響が少ない）、両画像についての面積および
周囲長の各データがともに近接した値をとることに着目
したものであり、その結果、つぎの(1)(2)式の関係がと
もに成立するとき、物体７は２次元物体であると判断さ
れる。
周囲長データＬ１，Ｌ２につき夫々の大小を比較し、両
者の差｜S1,S2｜，｜L1,L2｜が所定のしきい値TH1,TH2
以下かどうかを判定する。これは物体７が肉厚の小さい
２次元物体である場合、垂直視用の第１，第２のカメラ
１，２からの物体７の見え方に差異がなく（物体側面の
画像への影響が少ない）、両画像についての面積および
周囲長の各データがともに近接した値をとることに着目
したものであり、その結果、つぎの(1)(2)式の関係がと
もに成立するとき、物体７は２次元物体であると判断さ
れる。
｜S1,S2｜≦TH1………(1) ｜L1,L2｜≦TH2………(2) この場合、全体制御装置６は、２次元画像処理装置４に
おける認識結果Ａを最終結果として出力すると共に、３
次元処理装置５の処理を中止させる。
おける認識結果Ａを最終結果として出力すると共に、３
次元処理装置５の処理を中止させる。
これに対し上記(1)(2)式のいずれか一方でも成立しない
ときは、第１，第２のカメラ１，２からの物体７の見え
方に差異があり（物体側面の画像への影響が大きい）、
物体７は３次元物体であると判断される。この場合、全
体制御装置６は、３次元画像処理装置５による認識結果
Ｂの出力を待ち、これを最終結果として外部へ出力す
る。
ときは、第１，第２のカメラ１，２からの物体７の見え
方に差異があり（物体側面の画像への影響が大きい）、
物体７は３次元物体であると判断される。この場合、全
体制御装置６は、３次元画像処理装置５による認識結果
Ｂの出力を待ち、これを最終結果として外部へ出力す
る。
本実施例の場合、３次元画像処理装置５はエピポーララ
インを用いた３眼立方視方法を実施して、各物点間の対
応付けを行ない且つ各物点の３次元座標を算出して、３
次元物体の認識処理を行なっている。
インを用いた３眼立方視方法を実施して、各物点間の対
応付けを行ない且つ各物点の３次元座標を算出して、３
次元物体の認識処理を行なっている。
第２図は各画像間における物点像の対応付け方法を示す
原理図であり、各テレビカメラ１〜３の画像１０，２
０，３０（以下、第１画像１０、第２画像２０、第３画
像３０という）上に物点Ｐについての物点像P1,P2,P3が
表われている。また第２画像２０上には、第１カメラ１
の焦点F1と物点像P1とを結ぶ直線F1P1の像（この直線像
をエピポーララインという）l1が設定され、同様に第３
画像３０上には、直線F1P1および直線F2P2の各エピポー
ララインl3,m4が設定される。
原理図であり、各テレビカメラ１〜３の画像１０，２
０，３０（以下、第１画像１０、第２画像２０、第３画
像３０という）上に物点Ｐについての物点像P1,P2,P3が
表われている。また第２画像２０上には、第１カメラ１
の焦点F1と物点像P1とを結ぶ直線F1P1の像（この直線像
をエピポーララインという）l1が設定され、同様に第３
画像３０上には、直線F1P1および直線F2P2の各エピポー
ララインl3,m4が設定される。
第３図(1)(2)(3)は上記各画像１０，２０，３０を示
す。同図によれば、第２画像２０における物点像P2はエ
ピポーララインl2上に位置し、第３画像３０における物
点像P3はエピポーララインl3,m3の交点上に位置する。
このことから物点像P1,P2,P3は物点Ｐの画像として相互
に対応する点であることが理解され、従って物点Ｐの３
次元座標は直線F1P1,F2P2,F3P3の交点として求めること
ができる。尚第３図(2)(3)には、第２図の直線F1P1の延
長線上に位置する他の物点Ｒの物点像R2,R3を併せて示
しており、この場合物点像R3ははエピポーララインl3,m
3の交点上に位置しない。
す。同図によれば、第２画像２０における物点像P2はエ
ピポーララインl2上に位置し、第３画像３０における物
点像P3はエピポーララインl3,m3の交点上に位置する。
このことから物点像P1,P2,P3は物点Ｐの画像として相互
に対応する点であることが理解され、従って物点Ｐの３
次元座標は直線F1P1,F2P2,F3P3の交点として求めること
ができる。尚第３図(2)(3)には、第２図の直線F1P1の延
長線上に位置する他の物点Ｒの物点像R2,R3を併せて示
しており、この場合物点像R3ははエピポーララインl3,m
3の交点上に位置しない。
尚上記実施例では３次元物体の認識に３眼立体視方法を
用いているが、これに限らず、画像の明るさの類似度に
基づく両眼立方視方法を用いることも可能であり、この
場合第３カメラ３を省略することができる。
用いているが、これに限らず、画像の明るさの類似度に
基づく両眼立方視方法を用いることも可能であり、この
場合第３カメラ３を省略することができる。
第１図はこの発明の一実施例を示すブロック図、第２図
および第３図は３眼立体視方法の原理を説明するための
図である。 １，２，３……テレビカメラ ４……２次元画像処理装置 ５……３次元画像処理装置 ６……全体制御装置
および第３図は３眼立体視方法の原理を説明するための
図である。 １，２，３……テレビカメラ ４……２次元画像処理装置 ５……３次元画像処理装置 ６……全体制御装置
───────────────────────────────────────────────────── フロントページの続き (72)発明者 中塚 信雄 京都府京都市右京区花園土堂町10番地 立 石電機株式会社内 (72)発明者 加藤 充孝 京都府京都市右京区花園土堂町10番地 立 石電機株式会社内 (56)参考文献 特開 昭50−48856（ＪＰ，Ａ)
Claims (2)
- 【請求項１】認識対象とする物体に向けて異なる位置に
配置された複数の撮像手段と、 前記複数の撮像手段のうち、いくつかの撮像手段で得ら
れた前記物体の各画像より画像毎に物体の２次元的特徴
量をそれぞれ抽出する特徴量抽出手段と、 前記複数の撮像手段のうち、いくつかの撮像手段で得ら
れた前記物体の各画像により２次元の物体認識処理を行
う２次元物体認識手段と、 前記複数の撮像手段で得られた前記物体の各画像により
３次元の物体認識処理を行う３次元物体認識手段と、 前記特徴量抽出手段で各画像毎に得られた２次元的特徴
量の相違度合をしきい値と比較し、前記相違度合がしき
い値以下であれば前記２次元物体認識手段による物体認
識処理結果を出力させ、しきい値より大きければ前記３
次元物体認識手段による物体認識処理結果を出力させる
制御手段とを備えて成る複合視覚認識装置。 - 【請求項２】前記２次元的特徴量は、前記物体の画像の
面積および周囲長である特許請求の範囲第１項記載の複
合視覚認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP59246768A JPH061171B2 (ja) | 1984-11-20 | 1984-11-20 | 複合視覚装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP59246768A JPH061171B2 (ja) | 1984-11-20 | 1984-11-20 | 複合視覚装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPS61122509A JPS61122509A (ja) | 1986-06-10 |
| JPH061171B2 true JPH061171B2 (ja) | 1994-01-05 |
Family
ID=17153375
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP59246768A Expired - Lifetime JPH061171B2 (ja) | 1984-11-20 | 1984-11-20 | 複合視覚装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH061171B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6310280A (ja) * | 1986-07-01 | 1988-01-16 | Omron Tateisi Electronics Co | ３眼立体視装置 |
| FR2621999A1 (fr) * | 1987-10-20 | 1989-04-21 | Annoni Henri | Procede de determination des coordonnees des points du contour d'un objet dans l'espace |
| JPH01242907A (ja) * | 1988-03-24 | 1989-09-27 | Nippon Steel Corp | 光切断法における断面形状測定方法 |
| JPH076780B2 (ja) * | 1988-03-30 | 1995-01-30 | 近畿日本鉄道株式会社 | 三次元物体の判別方法およびその装置 |
| JP2919284B2 (ja) * | 1994-02-23 | 1999-07-12 | 松下電工株式会社 | 物体認識方法 |
| US11584016B2 (en) | 2018-04-24 | 2023-02-21 | Fanuc Corporation | Robot controller and system |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5721746B2 (ja) * | 1973-09-01 | 1982-05-10 |
-
1984
- 1984-11-20 JP JP59246768A patent/JPH061171B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPS61122509A (ja) | 1986-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhu et al. | Generalized parallel-perspective stereo mosaics from airborne video | |
| CN108564041B (zh) | 一种基于rgbd相机的人脸检测和修复方法 | |
| US7680323B1 (en) | Method and apparatus for three-dimensional object segmentation | |
| JP2011166264A (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
| WO2008002271A1 (en) | Method for fast stereo matching of images | |
| CN116309813A (zh) | 一种固态激光雷达-相机紧耦合位姿估计方法 | |
| JPH061171B2 (ja) | 複合視覚装置 | |
| CN113724335B (zh) | 一种基于单目相机的三维目标定位方法及系统 | |
| JPH0991436A (ja) | 画像処理方法及びその装置 | |
| CN102567992A (zh) | 遮挡区域的图像匹配方法 | |
| Pachidis et al. | Pseudo-stereo vision system: a detailed study | |
| Nakano | Stereo vision based single-shot 6d object pose estimation for bin-picking by a robot manipulator | |
| JPH0624000B2 (ja) | 複合立体視装置 | |
| JP2972924B2 (ja) | 物体の認識装置および方法 | |
| JPH0625649B2 (ja) | 立体視方法 | |
| Chon et al. | Three-dimensional image mosaicking using multiple projection planes for 3-D visualization of roadside standing buildings | |
| Aondoakaa et al. | 3D depth estimation from a holoscopic 3D image | |
| JP3329400B2 (ja) | 物体の３次元情報抽出装置 | |
| KR100376962B1 (ko) | 선형 푸시브룸센서에서 촬영한 스테레오 영상의 에피폴라특성곡선 추출방법 | |
| Faisal et al. | 2BEDM: Brightness-Based Enhancement for Disparity Maps | |
| JPH0973554A (ja) | ３次元シーン復元方法とその装置 | |
| Tian et al. | Novel Automatic Human-Height Measurement Using a Digital Camera | |
| CN117392482A (zh) | 多模态人脸防伪模型训练及人脸防伪识别方法 | |
| CN1207504A (zh) | 电脑立体照片的加工方法 | |
| EP2426930A1 (en) | System and method of analyzing a stereo video signal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| EXPY | Cancellation because of completion of term |