JPH0624000B2 - 複合立体視装置 - Google Patents

複合立体視装置

Info

Publication number
JPH0624000B2
JPH0624000B2 JP59247395A JP24739584A JPH0624000B2 JP H0624000 B2 JPH0624000 B2 JP H0624000B2 JP 59247395 A JP59247395 A JP 59247395A JP 24739584 A JP24739584 A JP 24739584A JP H0624000 B2 JPH0624000 B2 JP H0624000B2
Authority
JP
Japan
Prior art keywords
point
corresponding point
image
reliability
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP59247395A
Other languages
English (en)
Other versions
JPS61125686A (ja
Inventor
敦司 久野
俊道 政木
和彦 坂
充孝 加藤
信雄 中塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Tateisi Electronics Co filed Critical Omron Tateisi Electronics Co
Priority to JP59247395A priority Critical patent/JPH0624000B2/ja
Publication of JPS61125686A publication Critical patent/JPS61125686A/ja
Publication of JPH0624000B2 publication Critical patent/JPH0624000B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】 <発明の技術分野> この発明は、複数台の2次元撮像手段を用いて3次元物
体の認識を行なう視覚システムに関連し、殊にこの発明
は、両眼立体視および3眼立体視の各方式を複合して用
いる複合立体視装置に関する。
<発明の概要> この発明は、3台以上の2次元撮像手段で得た各画像上
の物点を3眼立体視による対応付けを行なって対応点の
組を抽出し、つぎに両眼立体視で得る対応点の組候補に
つき抽出済の対応点の組との関係に基づきその信頼性を
判断して新たに対応点の組を選定するようにしたもの
で、これにより、立体視装置の視野範囲を拡大し、広範
囲の物体認識を可能とした。
<発明の背景> 近年、3台のテレビカメラをもって物体を3方向より撮
像し、各画像上の物点像を相互に対応付けして、各物点
の三次元座標を求め、これにより物体を立体認識する3
眼立体視方式が提案された(日経メカニカル1984年1-2
号)。
第7図はこの方式における物点像間の対応付け方法を示
しており、各テレビカメラの画像G1,G2,G3(以下、第1
画像G1,第2画像G2,第3画像G3という)上に物点Pに
ついての物点像P1,P2,P3があらわれている。また第2画
像G2上には、第1カメラの焦点F1と物点像P1とを結ぶ直
線F1P1の像(この直線像をエピポーララインという)l
が設定され、同様に第3画像G3上には、直線F1P1およ
び直線F2P2の各エピポーララインl3,m3が設定されてい
る。
第8図(1)(2)(3)は上記各画像G1,G2,G3を示す。同図に
よれば、第2画像G2における物点像P2はエピポーラライ
ンl2上に位置し、第3画像G3における物点像P3はエピポ
ーララインl3,m3の交点上に位置する。このことから物
点像P1,P2,P3は物点Pの画像として相互に対応する点で
あることが理解され、従つて物点Pの三次元座標は直線
F1P1,F2P2,F3P3の交点として求めることができる。尚第
8図(2)(3)には、第7図の直線FPの延長線上に位置
する他の物点Rの物点像R2,R3を併せて示しており、こ
の場合物点像R3はエピポーララインl3m3の交点上に位置
しない。
かくして上記3眼立体視方式によれば、各画像G1,G2,G3
における物点像の対応付けを確実かつ容易に実現し得る
が、この場合、この対応付けは3台のテレビカメラが共
通して観測できる視野範囲に限定されるという問題があ
る。例えば第9図において、3台のテレビカメラの視野
範囲をS1,S2,S3とすると、3眼立体視の適用範囲は3者
の視野が重なる領域SSに限られる。従つてこの方式を
用いた立体視装置では、視野範囲が狭いため、立体認識
に必要な情報量が不足して、物体認識に支障が生ずる虞
がある。
<発明の目的> この発明は、上記問題を解消するためのもので、3眼立
体視と両眼立体視とを複合して用いる複合立体視装置を
提案し、これにより立体視装置の視野範囲を拡大するこ
とを目的とする。
<発明の構成および効果> 物体を異なる方向から撮像する3台以上の2次元撮像手
段と、各2次元撮像手段により得られた各画像上の物体
像について、互いが対応点組である場合に成立する物点
像の画像位置座標間の拘束条件に基づく3眼立体視によ
る対応付けを行うことにより、対応点組を抽出して記憶
する対応点組抽出手段と、前記3台以上の2次元撮像手
段のうち任意の2台の2次元撮像手段の組による両眼立
体視により求めた対応点組候補と前記対応点組抽出手段
により抽出された対応点組との中から前記対応点組の任
意の組の中の第1の点と前記対応点候補の任意の組の中
の第1の点との接続関係と、前記対応点組の任意の組の
中の前記第1の点と組をなす第2の点と前記対応点候補
の任意の組の中の前記第1の点と組をなす第2の点との
接続関係とから信頼度を算出する信頼度算出手段と、前
記信頼度算出手段で算出された信頼度が所定の基準値以
上の対応点組候補を正しい対応点組であると判断して記
憶する対応点組選定手段とで構成されている。
この発明によれば、例えば第9図において、3台のテレ
ビカメラの共通視野SSに限らず、2台のテレビカメラ
の共通視野S12,S23,S31からも対応点の組データが得ら
れることになり、これにより装置の視野範囲が大幅に拡
大し、立体認識に必要な情報量を増大させることがで
き、物体認識精度を向上させる等、発明目的を達成した
顕著な効果を奏する。
<実施例の説明> 第1図はこの発明にかかる複合立体視装置の全体構成を
示す。図示例の装置は、物体を撮像して録画化するため
の2次元CCD(Charge Couple Device)を含む3台の
テレビカメラ1、2、3(以下、第1カメラ1、第2カ
メラ2、第3カメラ3という)と、第1、第2、第3カ
メラ1、2、3の録画データを一斉入力する3眼立体視
部4と、いずれか2台のカメラの録画データを入力する
両眼立体視部6、7、8とを含む。
3眼立体視部4は、前記エピポーララインを用いた公知
の方法を実施して、第1〜第3カメラ1、2、3の各画
像の物点像を対応付け、その対応点の組データを抽出す
る。これら対応点の組データは記憶部5に格納され、更
にこの格納データは前記両眼立体視部6、7、8毎に接続さ
れた記憶部9、10、11にもセットされる。
前記各両眼立体視部6、7、8は、公知の両眼立体視を実施
して2個の各画像より対応点の組候補データを求めると
共に、夫々記憶部9、10、11にセット済の対応点の組デー
タを手がかりにして、前記組候補データの信頼性を判断
し、これにより新たに対応点の組を選定する。そしてこ
の両眼立体視系で得られた新たな対応点の組データは、
夫々の記憶部9、10、11に登録され、同様の処理を反復実
行することにより、夫々記憶部9、10、11に対応点の組デ
ータを蓄積してゆく。
第2図は上記両眼立体視部6、7、8の構成例(図面はひと
つの両眼立体視部について示す)を示す。図中、Aは3
眼立体視系で得た対応点の組データであり、このデータ
は夫々記憶部9、10、11に格納される。aは両眼立体視系
で得た対応点の組候補データであり、このデータは複数
個の信頼度算出部12、13、14へ入力される。各信頼度算出
部12、13、14は、入力される対応点の組候補データにつき
対応点の組データ(例えばA)との関係に矛盾がないか
どうかを判断して信頼度R1,…,R1,…,RNを算出する。
第3図ないし第5図は前記信頼度算出部12〜14にお
ける矛盾性の判断方法の具体例を図示したものである。
まず第3図において、G1,G2は2台のカメラで得た画像
を示し、夫々画像G1,G2上の点P1,Q1は対応点の組として
抽出されたものである。また第3図(1)(2)中、l(P1)お
よびl(P2)は点P1,P2が夫々画像G2上に生成するエピポ
ーラライン、l(Q1)は点Q1が画像G1上に生成するエピポ
ーララインであり、点Q2,Q3,Q4はエピポーララインl
(P2)上に位置する点の集合、すなわち前記点P2に対応
する点の候補である。そしてこの3点Q2,Q3,Q4より点P2
の対応点を選定する場合、点P2よりエピポーララインl
(Q1)への垂線を引いて交点P2′を求め、一方点Q2,Q3,Q
4よりエピポーララインl(P1)へ垂線を引いて支点Q2′,
Q3′,Q4′を求めた後、ベクトルP1,P2′(以下、 で表わす)と との夫々内積を求め、その値が所定の正の値αを越える
か否かをチエツクする。そして内積が値αを越える点
(例えば点Q2)を点P2の対応点とみなし、この点の組に
高い信頼度Riを与える。
つぎに第4図において、同様に、G1,G2は2台のカメラ
で得た画像を示し、また点P1,Q1は抽出済の対応点の組
を示す。今画像G2上の点Q2,Q3,Q4が画像G1上の点P2に対
応する点の候補であるとすると、点P2は1本の径路dを
介して点P1に関連しており、同様に点Q2は1本の径路d1
を介して、また点Q3は2本の径路d1,d2を介して、更に
点Q4は3本の径路d1,d2,d3を介して、夫々点Qに関連
している。かくて点P2と点Q2とは1本の径路を介して夫
々対応点P1,Q1に関連し、この点でこの両者は一致する
もので、この場合、点Q2を点P2の対応点とみなし、この
点の組に高い信頼度Riを与える。
つぎに第5図において、同様に、G1,G2は2台のカメラ
で得た画像を示し、また点P1,Q1は抽出済の対応点の組
を示す。今画像G2上の点Q2,Q3が画像G1上の点P2に対応
する点の候補であつて、このいずれか点Q2,Q3より点P2
の対応点を選定する場合、点P1,Q1から得られる物点N
と点P2,Q2および点P2,Q3から得られる物点Mおよび物点
Hとを求め、これらの点間で生成されるベクトル,
が物体を置く面と平行または垂直か否かをチエツク
する。この方法は物体が水平、垂直の直交平面で構成さ
れる場合に適用され、この場合、が物体載置面と水
平をなすから、点Q2を点P2の対応点とみなし、この点の
組に高い信頼度Riを与える。
前記各信頼度算出部12、13、14は、上記に例示したような
異なる方法によつて各対応点の組候補につき信頼度Ri(i
=1,…,N)を算出して、これをつぎの総合評価部15へ
出力する。この総合評価部15は、各信頼度算出部から
の信頼度Riを解析し、例えばその平均値または最大値ま
たは最小値等から総合信頼度Rを求める。この総合信頼
度Rはつぎの決定部16へ送られ、この決定部16にお
いて所定のしきい値と比較される。そして総合信頼度R
が所定のしきい値以上の値であれば、その対応点の組候
補データを新たな対応点の組データとして認め、これを
記憶部9へ登録する。
第6図は両眼立体視系における新たな対応点の組データ
の登録過程を示す。図中、A、Bは3眼立体視系によつ
て得られた対応点の組であり、これは記憶部9、10、11に
あらかじめ格納されている。a,b,cは対応点の組候補デ
ータであり、まず組候補データaが組データA、Bを用
いて新たな対応点の組データとして選定するか否かが決
定される。そして組候補データaを新たな組データとし
て登録すると、つぎに組候補データbが組データA,
B、aを用いて新たな対応点の組データとして選定する
か否かが決定される。そして組候補データbを新たな対
応点の組データとして登録すると、つぎに組候補データ
cが組データA、B、a、bを用いて同様に選定処理さ
れることになる。
このようにして3眼立体視部4で検出した対応点の組デ
ータを基礎として、両眼立体視部6、7、8において対応点
の組データを次々に検出し、これを記憶部9、10、11に蓄
積してゆくのである。
【図面の簡単な説明】
第1図はこの発明にかかる複合立体視装置の構成例を示
すブロック図、第2図は両眼立体視部の構成例を示すブ
ロック図、第3図〜第5図は信頼度算出部における矛盾
性判断方法の具体例を説明するための図、第6図は両眼
立体視系における新たな対応点の組データの登録過程を
示す図、第7図および第8図は物点像間の対応付け方法
の原理を説明するための図、第9図は各テレビカメラの
視野範囲を示す図である。 1、2、3…テレビカメラ 4…3眼立体視部 6、7、8…両眼立体視部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 加藤 充孝 京都府京都市右京区花園土堂町10番地 立 石電機株式会社内 (72)発明者 中塚 信雄 京都府京都市右京区花園土堂町10番地 立 石電機株式会社内 (56)参考文献 情報処理学会第29回(昭和59年後期)全 国大会講演論文集(▲II▼) P.1057 −1058 「3眼画像による立体視対応点処 理」

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】物体を異なる方向から撮像する3台以上の
    2次元撮像手段と、 各2次元撮像手段により得られた各画像上の物体像につ
    いて、互いが対応点組である場合に成立する物点像の画
    像位置座標間の拘束条件に基づく3眼立体視による対応
    付けを行うことにより、対応点組を抽出して記憶する対
    応点組抽出手段と、 前記3台以上の2次元撮像手段のうち任意の2台の2次
    元撮像手段の組による両眼立体視により求めた対応点組
    候補と前記対応点組抽出手段により抽出された対応点組
    との中から前記対応点組の任意の組の中の第1の点と前
    記対応点候補の任意の組の中の第1の点との接続関係
    と、前記対応点組の任意の組の中の前記第1の点と組を
    なす第2の点と前記対応点候補の任意の組の中の前記第
    1の点と組をなす第2の点との接続関係とから信頼度を
    算出する信頼度算出手段と、 前記信頼度算出手段で算出された信頼度が所定の基準値
    以上の対応点組候補を正しい対応点組であると判断して
    記憶する対応点組選定手段とから構成される複合立体視
    装置。
JP59247395A 1984-11-21 1984-11-21 複合立体視装置 Expired - Lifetime JPH0624000B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP59247395A JPH0624000B2 (ja) 1984-11-21 1984-11-21 複合立体視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP59247395A JPH0624000B2 (ja) 1984-11-21 1984-11-21 複合立体視装置

Publications (2)

Publication Number Publication Date
JPS61125686A JPS61125686A (ja) 1986-06-13
JPH0624000B2 true JPH0624000B2 (ja) 1994-03-30

Family

ID=17162788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP59247395A Expired - Lifetime JPH0624000B2 (ja) 1984-11-21 1984-11-21 複合立体視装置

Country Status (1)

Country Link
JP (1) JPH0624000B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6310280A (ja) * 1986-07-01 1988-01-16 Omron Tateisi Electronics Co 3眼立体視装置
US5703961A (en) * 1994-12-29 1997-12-30 Worldscape L.L.C. Image transformation and synthesis methods
US6327381B1 (en) 1994-12-29 2001-12-04 Worldscape, Llc Image transformation and synthesis methods
US7123254B2 (en) 2000-06-30 2006-10-17 Minolta Co., Ltd. Method of and device for modifying standard model
US7239345B1 (en) 2001-10-12 2007-07-03 Worldscape, Inc. Camera arrangements with backlighting detection and methods of using same
JP5011528B2 (ja) * 2006-10-06 2012-08-29 国立大学法人岩手大学 3次元距離計測センサおよび3次元距離計測方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6029995B2 (ja) * 1981-11-24 1985-07-13 工業技術院長 3次元物体の検出方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
情報処理学会第29回(昭和59年後期)全国大会講演論文集(▲II▼)P.1057−1058「3眼画像による立体視対応点処理」

Also Published As

Publication number Publication date
JPS61125686A (ja) 1986-06-13

Similar Documents

Publication Publication Date Title
US7680323B1 (en) Method and apparatus for three-dimensional object segmentation
JPH07336669A (ja) ステレオ画像対応付け方法およびステレオ画像視差計測方法
JPS59182688A (ja) ステレオ視処理装置
CN105898107B (zh) 一种目标物体抓拍方法及系统
JPH0719832A (ja) 複数画像の対応点抽出方法
CN104700355A (zh) 室内二维平面图的生成方法、装置和系统
CN110120013A (zh) 一种点云拼接方法及装置
JP3008875B2 (ja) 被写体抽出装置
KR101715781B1 (ko) 물체 인식 시스템 및 그 물체 인식 방법
JP3103478B2 (ja) 複眼撮像装置
JPH0624000B2 (ja) 複合立体視装置
JPH07287764A (ja) 立体視方法およびその方法が用いられる立体認識装置
JPH07103734A (ja) ステレオ対応探索装置
US20100254592A1 (en) Calculating z-depths and extracting objects in images
JPH05215547A (ja) ステレオ画像間対応点決定方法
JP2807137B2 (ja) 立体形状検出方法
CN114694204A (zh) 社交距离检测方法、装置、电子设备及存储介质
Mikrut et al. Integration of image and laser scanning data based on selected example
JPH0625649B2 (ja) 立体視方法
JPH061171B2 (ja) 複合視覚装置
JP2504641B2 (ja) 3次元形状計測処理方式
Chien et al. Improved visual odometry based on transitivity error in disparity space: A third-eye approach
JPH06265322A (ja) 複数画像からの視差検出方法
JPH07296194A (ja) 画像処理方法およびその装置
JPH0762871B2 (ja) 画像処理方法