JPS61240376A - 三次元立体視方法 - Google Patents

三次元立体視方法

Info

Publication number
JPS61240376A
JPS61240376A JP60080159A JP8015985A JPS61240376A JP S61240376 A JPS61240376 A JP S61240376A JP 60080159 A JP60080159 A JP 60080159A JP 8015985 A JP8015985 A JP 8015985A JP S61240376 A JPS61240376 A JP S61240376A
Authority
JP
Japan
Prior art keywords
information
points
image
brightness
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP60080159A
Other languages
English (en)
Other versions
JPH07109625B2 (ja
Inventor
Makoto Shiotani
塩谷 真
Seiju Funabashi
舩橋 誠壽
Takuji Nishitani
西谷 卓史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=13710522&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JPS61240376(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP60080159A priority Critical patent/JPH07109625B2/ja
Priority to EP86105212A priority patent/EP0199269B2/en
Priority to DE8686105212T priority patent/DE3683524D1/de
Priority to CA000506640A priority patent/CA1255788A/en
Priority to KR1019860002914A priority patent/KR950001578B1/ko
Priority to US06/853,231 priority patent/US4792694A/en
Publication of JPS61240376A publication Critical patent/JPS61240376A/ja
Publication of JPH07109625B2 publication Critical patent/JPH07109625B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/257Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)
  • Image Input (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の利用分野〕 本発明は視覚システムに係り、特に、三次元距離情報抽
出機能を有するパッシブな三次元立体視方法に関する。
具体的な応用分野は、自動車(車庫入、駐車、渋滞路、
高速路での運転ガイダンスを一般路でのナビゲーション
)、自動車以外の移動体、ロボット、ファクトリ−・オ
ートメーション(FA)。
ラボラトリ−・オートメーション(LA)、オフィス・
オートメーション(OA) 、ビル・オートメーション
、ホーム・オートメーション(HA)、精密計測、その
他一般向の高精度・高速パッシブ視覚システムを必要と
する分野である。
詳細項目の例として、無人修理・点検作業、無人運搬車
、無人クレーン、無人建設・土木機械、精密部品組立、
待人数計測、防犯、防災、盲導装置、速度検出器、距離
検出器、物体検出器、顕微鏡・引伸機・映写機・複写器
・光ディスク・ピックアップ・カメラ等の自動合焦、文
字・図形等の認識、ナンバー・プレート認識、立体カメ
ラ(静止画、動画)、ゲーム・レジャー機器、等がある
〔発明の背景〕
従来の三次元立体視方法として、二眼を通して得られた
2つの輝度データのパターン・マツチングによるものが
ある。第1図はその説明用参考図で、簡単のために、被
写系が、a、b、cの3点のみの場合を示しである。従
来法では、レンズ結像系1および2の2個を用意し、そ
れらを通して得られる検出面上の輝度分布を結像系の1
系と2系に対応させてそれぞれ得る。第1図の例では、
被写系として互いに離九た位置にある3点のみを考えて
いるため、輝度分布は図に示すように、1系、2系とも
3つの輝線(a 1.b 1* c 1.および、a2
.b2.c2)を有する離散分布となる。この1系、2
系の各輝線が互いに他の系のどの輝線と対応しているか
(同じ被写点に由来するものであるカリを何らかの方法
で決定し、対応する2つの輝線間の間隔距離彦から被写
系までの奥行距離を、輝線のレンズ結像系に対する幾何
学的位置関係n#から被写系の方位角度を、それぞれ決
めることにより被写系の三次元距離情報を抽出する。
従来法ではこの1系の輝線と2系の輝線との対応づけ(
対応点決定)を何らかのパターン・マツチング手法で行
なう、パターン・マツチングの手法は基本的には輝度分
布が存在する座標空間の各点で座標空間尺度の拡大縮小
交換を行なって輝度分布の形を変え、変換後の座標空間
での輝度分布と比較対象の輝度分布との相異が何らかの
基準下で最小となる(マツチングする)ように、上記の
尺度変換を行なうものである。第1図の場合、尺度変換
はa2とb2の間隔やb2と02の間隔を変えること、
すなわち、a2.b2.c2の隣接関係を変えずに位置
をずらすことに相当し、パターン・マツチングは位置を
ずらした結果、al。
ble clの゛位置関係とa 2 * b 2 * 
c 2の位置関係が同じになるようにすること(こうす
ると輝度分布を全く同じにでき相異がなくなるため)に
相当する。
パターン・マツチングの手法では、まず第1に、尺度変
換すべき座標点の数は輝線の数だけあり、位置のずらし
方は各輝線につき隣接関係を変えない範囲で任意である
ため、可能な尺度変換の組合せの数は原理上膨大になり
、それらの中から輝度分布の相異を最小にするものを選
択することになる。そのため、これをディジタル処理で
実現しようとすると処理時間がかかるという問題があっ
た。
また、パターン・マツチングの手法の場合、第2には、
輝線同士の隣接関係を変えない尺度変換をするので、1
系と2系とでもともと隣接関係が一致しない輝度分布を
含む被写系の場合には、原理的な誤差が付随するという
問題があった。このような場合は、被写点相互の前後位
置(奥行き)の相異が上下左右位置(方位角度)の相異
に比べて大きい被写系の場合である。第211はその説
明用参考図で、第1図における点aの代りに点8′があ
る a I とbとの奥行きの相異は方位角度の相異に
比べ、bと2つのレンズ結像系を結んだ線がつくる角度
内にa′が含まれる程度に、大きい。
第2図に示すように、1系と2系の輝度分布にお、いて
 a I とbの隣接関係は等しくなく、1系ではa’
 1.blと左右に並んでいるのに対し、2系ではb2
.a’ 2と左右に並んでいる。この輝度分布データを
基にパターン・マツチングを行なうと、輝線のa’ 1
とb2を対応させ、blとa’ 2を対応させてしまう
可能性が極めて高い。
その結果、被写系として本来はa′とbが逆算されるべ
きところを、mとnに被写系が存在するものとされてし
まい、原理的な誤差が発生することになる。
被写系が独立した点から構成されずに連続的に分布して
いる場合には、連続分布を離散化してディジタル処理す
るため、上記の2つの問題点は同様に存在する。
また、多眼の輝度分布データを用いてパターン・マツチ
ングの精度を高める場合でも、パターン・マツチングの
手法を用いる限り、上記の2つの問題点はやはり同様に
存在する。
〔発明の目的〕
本発明の目的は、上記の問題点を除去し、処理時間が短
かく、かつ、被写系の分布状況に依存する原理的な誤差
を含まない、三次元立体視方法を提供することにある。
−〔発明の概要〕 本発明においては、レンズ結像系をもう1つ以上増やし
1合計3個以上のレンズ結像系(眼)を用いる。3個以
上の眼がある場合、同一被写点の検出面上の答録に対応
する各結像点(輝線)相互の間の幾何学的配置関係と、
各眼相互および検出面との間の幾何学的配置関係との間
には、特定の関係が存在する0本発明は、この特定の関
係を対応点決定(同一の被写点に由来する輝線の対応づ
け)に利用することにより、パターン・マツチングの手
法を採用することに起因する従来法の2つの問題点を除
去する。
幾何学的配置関係における特定の関係とは、たとえば、
3個以上の眼が同一平面上に乗るとしその平面と結像検
出平面とが平行な場合、同一被写点の答録に対応する各
輝線相互の間隔比が各眼相互の間隔比に等しい、という
関係である。別の言い方をすると、答録を相互に結んで
できる図形と対応する各輝線についてのそれとは互いに
相似形をなすということである。
従って、検出面上の輝線がどの眼を通ってきたものかわ
かるようにしておけば、具体的には検出面を眼の個数だ
け少なくとも論理的に用意しておけば、互いに異なる眼
を通ってきた輝線のうち給線相互の間隔比が各眼相互の
間隔比に等しい輝線の組を選び出すことにより、対応点
の候補が抽出されることになる。
このようにして抽出された全ての対応点の候補には、被
写点のうち全ての検出面に結像したものは(検出面から
はみ出さなかったものは)全て網らされ、かつ、各検出
面相互でもともと隣接関係が一致しない輝度分布を含む
被写系の場合でも、それらに原理的な誤差は含まれない
しかし一方、実際には存在しない被写点でも、ごくわず
かではあるが、たまたま上記の特定の関係を満足する対
応点として抽出されることがある。
これらの存在しない被写点抽出の可能性は、眼の個数を
増やすことか、あるいは眼の相互間隔を同一間隔にしな
いとか眼を必ずしも同一平面上に乗せないとかの眼の幾
何学的配置を複雑にすることか、により激減する。これ
らの対策は、対応点決定の制約条件を厳しくすることに
相当するためである。
こうして抽出された全ての対応点の候補は、そのまま全
て対応点としても良いが、実際にはその中に対応点候補
を更に絞り込むのに利用可能な情報を有している。その
情報は輝度の値である。検出面が輝度(濃淡°・強度・
振幅)だけでなく1色(周波数特性)、位相、偏光方向
やそれらの微分値(空間的2時間的)1等のデータも検
出している場合には、それらのデータも利用可能である
今、輝度の場合で説明すると、同一被写点がそれぞれの
眼を通って検出面にどれだけの輝度を与えるかが相対的
な比でわかっているとし、その比を満足する対応点のみ
を抽出する。具体的には、輝度は被写点の反射率の方向
依存性と検出面までの距離に依存するが、後者は対応点
候補が抽出された段階ですでに判明するから、前者の反
射率の方向依存性が現実的とみなされる対応点のみを抽
出すれば良い、他の情報を利用する場合もそれぞれの方
法で可能である。
本発明は以上述べた原理を利用するが、検出面と平行な
一直線上に並べられた3個の眼を用いる場合について、
第3図を用いてこの原理を簡単に説明する。
第3図は第2図の眼1.2に眼3を追加した場合である
。眼1と2の間隔Q1□、眼2と3の間隔a、3にそれ
ぞれ等しい間隔を置いて、1系、2系。
3系の論理的な検出面上の輝度分布を示しである。
これは、各眼相互および検出面との間の幾何学的配置関
係と同一被写点の検出面上の答録に対応する各結像点(
輝線)相互の間の幾何学的配置関係との間に存在する特
定の関係を説明図上でわかり易くするためである。第3
図の場合では特定の関係とは銀量間隔比が輝線間間隔比
に等しいことであるから、各県の輝度分布を上記間隔で
配置すれば、同一被写点からの3個の輝線は同一直線上
に乗ることになる。
逆に、同一直線上に乗る3個の輝線の組を求めれば対応
点の候補が抽出されることになる。第3図では、この輝
線を対応づける直線は破線で示したA、A’ 、B、C
,Pである。これらの直線の1つを求める方法は、ある
系(たとえば2系)の任意の輝線の位置から1系上で左
側にIAxz、3系上で右側にQ*、の長さの比率でず
れた位置に、1系、3系の輝線がともに存在することを
確認することによる。これは、1系上と3系上のL2対
Ω!3の長さ率による位置決め処理とそれらの位置で得
られた輝線情報(たとえば、輝度)のAND処理により
、ハード的にも、ソフト的にも高速がつ容易に実現でき
る。
残りの直線を求めるには、2系以上の輝線として初めの
ものとは別の輝線を用いること、および、位置決め処理
においてQt2対Q。の長さ率を保ったまま2系上の!
till線と1系、3系上の位置との絶対的な長さを初
めの長さとは種々異なる長さにすること、により行なう
この場合、1系、2系、3系上の位置決め処理の回数が
増えるが、その回数は、2系上の輝線の数(レンズ結像
系が乗る直線と平行な方向−水平方位角方向とする−に
ある被写点の数)と1系ないしは3系上の輝線の数(2
系上の輝線との組合せで被写点までの垂直距離(奥行き
)を規定する)と垂直方位角方向の輝線の数との積にほ
ぼ等しい。
今、各糸上の輝線の数が検出面の各方面の空間分解能(
解像度)に等しいという最大の場合を考え、さらに、分
解能が等方向であると仮定すると、位置決め処理の回数
は最大でその分解能の3乗となる。
空間分解能が500の場合は、位置決め処理回数は、1
25X10”回であり、IMHzのクロックを用いてシ
リアルなディジタル処理でこれを行なったとすると12
5sec、 10 MHzのクロックでは12.5se
cにそれぞれ比例する処理時間を要する。
実際には、この位置決め処理はパラレルな処理により実
行可能で、処理時間は大幅に短縮可能である。たとえば
、垂直方位角方向は各方位角毎に独立して得られた輝度
分布データを用いるため、全部の方位角に関して一度に
パラレルに処理してしまうことができ、処理回数が見か
け上25×104回となるので、IMHzで0.25s
ec、10MHzで0.025 s e cにそれぞれ
比例した処理時間ですむ、また、水平方位角方向(2系
)と垂直距離(1系ないし3系)のどちらか一方は、片
方を固定するとやはり一度にパラレルに処理してしまう
ことができ、処理回数は見かけ上500回となり、I 
M Hzで0.5rnsac、10 M Hzで0.0
5m5ecにそれぞれ比例した処理時間となる。この5
00回の処理には、パイプライン型の処理を適用するこ
ともできる。
さらに1M理上は、水平方位角方向と垂直距離との組合
せは全てわかっているので、全てパラレル処理させるこ
とが可能であり、処理回数は見かけ上1回、I M H
zで1μs、10 M Hzで0.1μsが可能である
もし、水平方位角方向、垂直方位角方向、垂直距離(奥
行き)が限定された範囲についてのみ調べれば良い場合
には、それぞれの範囲が全体の10%だとすると、パラ
レル処理を用いない場合でも、125 X 10” 回
、I M Hzで0.125sec、10 M Hzで
0.0125s e cとなる。
また、被写点そのものの輝度分布の代りに、エツジを示
す輝度分布を利用できる場合には、エツジを表わす輝線
数がどの方向に関してももとの輝線数の20%になって
いたとすると、パラレル処理を用いない場合でも10’
回、IMHzで1s e c 、  10 M Hzで
0.1secとなる。
上記の処理時間で対応点候補を抽出する直線A。
A’ 、B、C,Pが求められるわけであるが、第3図
でわかるように、直線A、A’ 、B、Cは現実の被写
点a、a’ 、b、cに対応しているが、直線Pに対応
する被写点pは実際には存在しない。
これは、被写点a、a’ 、bのそれぞれ1系、2系、
3系上の輝線al、a’ 2.b3が、それらの間の間
隔比が銀量間隔比と一致するような位置に、たまたま存
在したためである。
このような可能性は、第4の眼を任意の位置に導入する
ことにより減少することが図から推察できる。簡単のた
めに、第4の眼を眼1,2.3が乗る直線と同一直線上
に置いた場合を考えると第3図から容易に推察できる。
第4の眼を導入する代りに、眼1,2.3の幾何学的配
置を変えることによっても、上記の可能性が減ることが
類推できる。簡単には、眼1,2゜3の同一直線上での
間隔比を変えた場合を考えれば第3図から容易に類推で
きる。
極端な場合として、被写点が連続的に直線状に存在する
場合を第6図を用いて説明する。第6図は線分aaが乗
る平面上に3個の眼1,2.3が全て乗る場合である。
この場合、冬眠と線分の両端を結んでできる3つの三角
形状の内側の共通部分(斜線を施した部分)は、どの眼
を通った検出面上にも輝線が存在するため、その共通部
分にはあたかも被写系があるかの如くみなされる。
被写点が面状に存在する場合には、この斜線部分に相当
するのは、一般的には、冬眠と面の縁とを結んでできる
3つの錐面形状の内側の共通部分となる。
さて、第6図で発生した斜線部分は、眼3を眼1.2お
よび線分aQが乗る平面とからはずれたところに置くこ
とにより、除去できる。第7図はその説明図で、眼3を
平面の上方にずらし、眼3′としである。このようにす
ると眼3′と線分acがつくる三角形状は平面と線分a
Qのところでのみ交差することになり、斜線部分はなく
なる。
眼3′の代りに第4の眼を眼1,2.3と同一平面上に
導入しても斜線部分を狭くできることが容易に類推でき
る。
被写点が面状に存在する場合にも同様に眼の配置や個数
を考慮することにより減少できることがわかる0面状の
場合はエツジ抽出等の事前処理を加えて線状にしておく
か、面の大きさを小さくシ。
ておくことにより、斜線部分を激減させることが可能で
ある。
第3図において現われた現実に存在しない被写点pに対
応する直線Pは、この場合、輝線の輝度情報を利用して
除去する。今、同一被写点から3個の眼を通って各検出
面に到達した光の輝度が互いに等しいとみなせるとする
(第3図)と、直線で対応づけられた輝線の輝度が互い
に等しくないものを含む場合には、それを除去すれば良
い、直AHA、A’ 、B、Cのそれぞれに対応する輝
線はそれぞれ互いに輝度が等しいが、直線Pに対応する
輝線はalとa’ 2の輝度とb3の輝度とが異なるの
で、この場合Pが除去される。
この処理は、ソフトウェアでもハードウェアでも容易に
短時間で実現でき、前述の位置決め処理と組合せて同時
に行なうことも可能である。
次に、同一被写点からの検出面上の等輝度性が成立せず
、被写点における反射率(被写点が発光体の場合は発光
輝度)の等方性のみが成立する場合は、検出面上の輝度
は輝線と被写点との距離の2乗に反比例するので、各対
応直線上の輝度に距離の2乗を掛は合わせたものが等し
いか否かで対応直線の除去判断をすれば良い、。
これらの仮定の下に大部分の場合は処理可能であるが、
反射率に等方性が成立しない場合でも、どの程度の異方
性かが事前にわかっていれば、それを各輝線の輝度に関
して補正してやれば対応点−の除去判断が可能になる。
これらの処理も等輝度の場合と同様にソフトウェアでも
ハードウェアでも容易に短時間で実現できる。
パターン・マツチの手法による従来の方法は、検出面上
の等輝度性の仮定の下での対応点決定方法であるとほぼ
みなせる。
以上述べた方法で対応点の決めた後、3個の輝線のうち
少なくとも2個の輝線の検出面上の位置情報とレンズ結
像系との幾何学的位置関係情報とを用いて、被写点に関
する二次元距離情報(検出面からの垂直距離(奥行き)
と1つの水平方位角、又は2つの水平方位角)を得る。
これらと独立して得られる垂直方位角情報とを合わせ、
最終的に被写点の三次元距離情報を得る。
これらの距離を求める処理は単純な代数式に基づく処理
であり容易に短時間に実現できるが、全体の処理量は被
写点の数に比例する。
〔発明の実施例〕
以下、本発明の一実施例を第4図により説明する。
本実施例による三次元立体視方法は、レンズ、ミラー等
の結像系11,12,13.結像状況の検出面21,2
2,23、検出情報前処理部30゜検出情報記憶部40
、対応点候補抽出部50、非実在対応点除去部60、三
次元距離情報抽出部70、結像系配置変更部80とから
構成されるシステムで実現される。
結像系11,12.13は必ずしも検出面21゜22.
23と平行な一直線上に乗っているわけではなく、11
,12.13が乗る平面は三次元空間において検出面2
1,22.23と任意の角度をなすように、結像系配置
変更部80で調整可能である。
結像系11,12.13を通って検出面21゜22.2
3に到達した被写系の像は検出情報前処理部30に送ら
れる。前処理部30では、結像系の歪や各種収差の補正
をしたり、必要に応じてエツジ抽出や三次元距離情報抽
出に利用したい輝度範囲や色等の条件を満足する輝線の
抽出をしたりし、その結果を検出情報記憶部40に送る
。このとき、結像系を3個より多くして非実在対応点を
減らしたい場合は、結像系配置変更部80にて結像系1
1,12,13.検出面21.22.23の配置を変え
、そうして得られた被写系の情報も同様に前処理を行な
った上で記憶部40に記憶する1次に、対応点候補抽出
部50が検出情報記憶部40に記憶された情報を利用し
、発明の概要に述べた方法に従って幾何学的配置の関係
を用いて対応点の候補を抽出する。抽出された対応点候
補の中から実在しない被写点に対応する対応点候補を発
明の概要に述べたように輝度等の条件を用いて除去する
処理を非実在対応点除去部60にて行ない、その結果を
三次元距離情報抽出部70に送り、そこで発明の概要に
述べた方法に従って抽出する。
本実施例によれぼり結像系と検出面の配置を自由に変え
られるとともに、そうして得た情報を記憶することによ
り事実上の4眼以上も実現できるので、被写系がどんな
ものでも対応点候補抽出の冗長性を大幅に減らせる効果
がある。
以下に本発明のもう一つの実施例を第5図により説明す
る。本実施例による三次元立体視方法は、三原色フィル
タ101,102,103.光路長補正部112,11
3.ミラー123,133゜121.131、前処理系
200、結像系300゜カラー撮像素子400.水平方
向アドレッシング部500、輝度補正用回路600、輝
度補正部700、AND回路800、二次元距離情報抽
出部900、三次元距離情報抽出部1000.とから構
成されるシステムで実現される。
色フイjlz夕101,102,103はそれぞれ赤色
、緑色、青色の透過フィルタであり、カラー撮像素子4
00に用いられる三原色フィルタに対応している。三原
色フィルタ101,102゜103、光路長補正部11
2,113およびミラー123,133,121,13
1は、色フィルタ101,102,103とカラー撮像
素子400との間の光路長が等しくなるように、かつ、
各色フィルタを通る光軸が水平面上に乗りまたカラー撮
像素子上の各色フィルタの水平方向の幅だけずれるよう
に配しである。なお、ミラー133゜131は普通のミ
ラーではなく、裏側から光の透過が可能なミラーである
三原色フィルタ101,102,103.光路長補正部
112,113、ミラー123,133゜121.13
1を通った被写系からの光は前処理系200にて必要な
輝度変換処理や偏光処理等を受けた後、結像系300に
てカラー撮像素子400上に結像させられる。カラー撮
像素子400は水平方向アドレッシング部500により
各色毎のアドレッシングが可能なようにできており、ま
た。
そのアドレッシングにより垂直方向の画素については同
時に検出情報をとり出せるように作られている。今、所
定の順番で水平方向アドレッシングがなされるとそのア
ドレスに相当する画素の各色フイルタ対応の検出情報が
同時にとり出され、輝度補正用回路600の各色対応、
各垂直方向対応の回路に入力され、輝度補正部700で
指定された各回路定数に従って変換を受けた後、三色−
組にして1つのAND回路800に送り出される。
輝度補正部700は三原色の輝度バランス補正や被写系
の特性に依存する輝度補正、輝度レベル分解等を行なう
ための回路定数を補正用回路600に設定する。輝度補
正後の三原色情報を受けたAND回路800では、三原
色が全て同じ範囲にあればON情報を出し、1つでも同
じ範囲にないとOFF情報を出す、0N−OFF情報は
二次元距離情報抽出部900で受けとられ、ONであれ
ば被写点があるとみなして発明の概要に述べた方法に従
って水平アドレッシング部500がらのアドレス情報を
用いて二次元距離情報を抽出する。
OFFであれば被写点はないとみなして何もしない、こ
のようにして得られた全ての垂直方向に関する二次元距
離情報は三次元距離情報抽出部1000へ送られ、最終
的に三次元距離情報としてまとめて出力される。
本実施例によれば、垂直方向に関しパラレルに処理して
しまうので処理時間を大幅に低減できる、全部をハード
ウェア化できるので生産性、信頼性、が高まると同時に
高速処理が可能となる、検出面がカラー撮像素子1個で
すむため、簡単、安価に作ねる等の効果がある。
〔発明の効果〕
以上述べたように、本発明によれば、処理時間が短かく
、かつ、被写系の分布状況に依存する原理的な誤差を含
まない、三次元立体視方法が可能である。
また、これ以外にも下記の効果、特徴がある。
(1)眼の個数と配置を適切に選ぶことにより、特異な
パターンを有する被写系でも正確に立体視可能である。
(2)結像の位置情報だけでなく、輝度5色1等の情報
を併用することやそれらを用いた段階的処理も可能とな
り、一層の正確化、高速化が可能となる。
(3)全体を一度に処理するパターン・マツチングの手
法と異なり、特定の距離範囲、特定の水平方位角範囲、
特定の垂直方位角範囲を調べたい順番に指定して、三次
元距離情報抽出や被写点の有無の判断が可能であり、目
的に応じて効率的な使い方ができる。
(4)全体を一度に処理するパターン・マツチングの手
法と異なり、各被写点毎に対応点決定が可能であるため
、結像情報に局所的な誤差が加わっていても、その誤差
を三次元距離情報抽出において局所領域に閉じ込めてお
くことが可能であり、無関係の被写点の三次元距離情報
抽出にまで影響することはない。
(5)パラレル処理を併用することにより、処理をより
高速化できる。
(6)エツジ抽出等の前処理を行なった場合は、輝線の
数が減るので、さらに高速化可能である。
(7)結像系と検出面は少なくとも論理的に3個以上あ
れば良いので、物理的には1個の結像系と検出面とを時
分割で利用するなど、目的に応じてハードウェアの物理
的構成を選択することができる。
(8)本発明は光学系だけでなく、電磁波系、音響系1
弾性波系、電子ビーム等の粒子系(顕微鏡等)、その他
各種の伝播系にも利用可能である。
【図面の簡単な説明】
第11!fは従来の二眼輝度データのパターン・マツチ
ング手法を用いた三次元立体視方法の説明用参考図、第
2図はパターン・マツチング手法による上記立体視方法
における原理的誤差発生の説明用参考図、第3図は本発
明による三次元立体視方法の原理説明図、第4図は本発
明の第1の実施例のブロック構成図、第5図は本発明の
第2の実施例のブロック構成図、第6図および第7図は
本発第 3 図

Claims (1)

  1. 【特許請求の範囲】 1、少なくとも論理的に3個以上の結像系と結像状況検
    出面、および、同一被写点の該検出面上の各結像系に対
    応する結像点相互の間の幾何学的配置関係と各結像系相
    互および上記検出面との間の幾何学的配置関係との間の
    特定の関係を利用して同一被写点に由来する結像点の対
    応づけを行ない、対応づけられた結像点のうち少なくと
    も2個の結像点の検出面上の位置情報と結像系との幾何
    学的位置関係情報とを用いて被写点に関する三次元距離
    情報を得ることを特徴とする三次元立体視方法。 2、上記検出面が一次元に縮退したことを特徴とする第
    1項の三次元立体視方法。
JP60080159A 1985-04-17 1985-04-17 三次元立体視方法 Expired - Lifetime JPH07109625B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP60080159A JPH07109625B2 (ja) 1985-04-17 1985-04-17 三次元立体視方法
EP86105212A EP0199269B2 (en) 1985-04-17 1986-04-15 Method for deriving 3-dimensional distance information
DE8686105212T DE3683524D1 (de) 1985-04-17 1986-04-15 Verfahren und anordnung zur dreidimensionalen stereovision.
CA000506640A CA1255788A (en) 1985-04-17 1986-04-15 Method and apparatus for 3-dimensional stereo vision
KR1019860002914A KR950001578B1 (ko) 1985-04-17 1986-04-16 3차원 스테레오 비젼 방법 및 장치
US06/853,231 US4792694A (en) 1985-04-17 1986-04-17 Method and apparatus for obtaining three dimensional distance information stereo vision

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP60080159A JPH07109625B2 (ja) 1985-04-17 1985-04-17 三次元立体視方法

Publications (2)

Publication Number Publication Date
JPS61240376A true JPS61240376A (ja) 1986-10-25
JPH07109625B2 JPH07109625B2 (ja) 1995-11-22

Family

ID=13710522

Family Applications (1)

Application Number Title Priority Date Filing Date
JP60080159A Expired - Lifetime JPH07109625B2 (ja) 1985-04-17 1985-04-17 三次元立体視方法

Country Status (6)

Country Link
US (1) US4792694A (ja)
EP (1) EP0199269B2 (ja)
JP (1) JPH07109625B2 (ja)
KR (1) KR950001578B1 (ja)
CA (1) CA1255788A (ja)
DE (1) DE3683524D1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6473474A (en) * 1987-09-14 1989-03-17 Sony Corp Image processor
JPS6473468A (en) * 1987-09-14 1989-03-17 Sony Corp Image processor
EP3564904A1 (fr) 2018-05-03 2019-11-06 Commissariat À L'Énergie Atomique Et Aux Énergies Alternatives Procédé et dispositif de reconnaissance de distance en temps réel

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4965840A (en) * 1987-11-27 1990-10-23 State University Of New York Method and apparatus for determining the distances between surface-patches of a three-dimensional spatial scene and a camera system
US5193124A (en) * 1989-06-29 1993-03-09 The Research Foundation Of State University Of New York Computational methods and electronic camera apparatus for determining distance of objects, rapid autofocusing, and obtaining improved focus images
US5231443A (en) * 1991-12-16 1993-07-27 The Research Foundation Of State University Of New York Automatic ranging and automatic focusing
IL115971A (en) * 1995-11-14 1997-01-10 Razon Moshe Computer stereo vision system and method
JP3852070B2 (ja) * 1999-11-11 2006-11-29 富士通株式会社 光路シミュレーションcad装置及び方法
US7170677B1 (en) 2002-01-25 2007-01-30 Everest Vit Stereo-measurement borescope with 3-D viewing
WO2005065085A2 (en) * 2003-12-21 2005-07-21 Kremen Stanley H System and apparatus for recording, transmitting, and projecting digital three-dimensional images
JP2007124088A (ja) * 2005-10-26 2007-05-17 Olympus Corp 画像撮影装置
US20080298674A1 (en) * 2007-05-29 2008-12-04 Image Masters Inc. Stereoscopic Panoramic imaging system
EP2717012B1 (en) * 2011-05-27 2016-07-27 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and image processing method
US9185391B1 (en) 2014-06-17 2015-11-10 Actality, Inc. Adjustable parallax distance, wide field of view, stereoscopic imaging system
JP6084192B2 (ja) * 2014-10-15 2017-02-22 本田技研工業株式会社 物体認識装置
CN109842758B (zh) * 2017-11-29 2022-06-07 超威半导体公司 计算传感器

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6054081A (ja) * 1983-09-03 1985-03-28 Omron Tateisi Electronics Co 両眼視系画像の特徴点認識装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3770887A (en) * 1972-01-31 1973-11-06 Us Navy Color stereo television
JPS51142212A (en) * 1975-06-02 1976-12-07 Hokkaido Daigaku Tridimensional television system
JPS52119818A (en) * 1976-04-01 1977-10-07 Kiyoshi Nagata Stereoscopic color televisition transmitter*receiver system and apparatus therefor
US4142138A (en) * 1977-05-02 1979-02-27 E. I. Du Pont De Nemours And Company Motor control
AT356725B (de) * 1977-07-28 1980-05-27 Univ Moskovsk Steroskopisches farbfernsehverfahren
US4217602A (en) * 1979-02-12 1980-08-12 Lady Bea Enterprises, Inc. Method and apparatus for generating and processing television signals for viewing in three dimensions
US4259589A (en) * 1979-07-20 1981-03-31 Solid Photography, Inc. Generation of contiguous data files of three-dimensional information
FR2498402A1 (fr) * 1981-01-16 1982-07-23 Centre Nat Rech Scient Procede et dispositif de visualisation tri-dimensionnelle a partir de video-signaux, notamment pour microscopie electronique
NL8202934A (nl) * 1982-07-21 1984-02-16 Philips Nv Inrichting voor het weergeven van drie-dimensionale beelden.
US4654872A (en) * 1983-07-25 1987-03-31 Omron Tateisi Electronics Co. System for recognizing three-dimensional objects

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6054081A (ja) * 1983-09-03 1985-03-28 Omron Tateisi Electronics Co 両眼視系画像の特徴点認識装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6473474A (en) * 1987-09-14 1989-03-17 Sony Corp Image processor
JPS6473468A (en) * 1987-09-14 1989-03-17 Sony Corp Image processor
EP3564904A1 (fr) 2018-05-03 2019-11-06 Commissariat À L'Énergie Atomique Et Aux Énergies Alternatives Procédé et dispositif de reconnaissance de distance en temps réel
US11080887B2 (en) 2018-05-03 2021-08-03 Commissariat A L'energie Atomique Et Aux Energies Alternatives Method and device for recognising distance in real time

Also Published As

Publication number Publication date
JPH07109625B2 (ja) 1995-11-22
US4792694A (en) 1988-12-20
KR950001578B1 (ko) 1995-02-25
EP0199269A3 (en) 1988-07-20
EP0199269B2 (en) 1996-03-13
EP0199269B1 (en) 1992-01-22
EP0199269A2 (en) 1986-10-29
KR860008462A (ko) 1986-11-15
CA1255788A (en) 1989-06-13
DE3683524D1 (de) 1992-03-05

Similar Documents

Publication Publication Date Title
JPS61240376A (ja) 三次元立体視方法
CN113160068B (zh) 基于图像的点云补全方法及系统
US20120002866A1 (en) Method and apparatus for reducing the memory requirement for determining disparity values for at least two stereoscopically recorded images
CN101577004B (zh) 一种极线矫正方法、装置和系统
JPH0719832A (ja) 複数画像の対応点抽出方法
CN107534731B (zh) 图像处理装置和图像处理方法
US6480620B1 (en) Method of and an apparatus for 3-dimensional structure estimation
CN110458952B (zh) 一种基于三目视觉的三维重建方法和装置
CN112630469B (zh) 一种基于结构光和多光场相机的三维检测方法
US6980210B1 (en) 3D stereo real-time sensor system, method and computer program therefor
CN110675436A (zh) 基于3d特征点的激光雷达与立体视觉配准方法
Svoboda et al. Matching in catadioptric images with appropriate windows, and outliers removal
CN111709995A (zh) 一种激光雷达与摄像头之间的位置标定方法
Schönbein et al. Environmental Perception for Intelligent Vehicles Using Catadioptric Stereo Vision Systems.
US20230162442A1 (en) Image processing apparatus, image processing method, and storage medium
NL2016718B1 (en) A method for improving position information associated with a collection of images.
CN112785647A (zh) 一种三目立体图像检测方法和系统
Bender et al. A Hand-held Laser Scanner based on Multi-camera Stereo-matching
CN112562014B (zh) 相机标定方法、系统、介质及装置
JPS6361108A (ja) 三次元物体認識方法及びその装置
Vezeteu Stereo-Camera–LiDAR Calibration for Autonomous Driving
JPH01311207A (ja) 3次元形状測定方法
Zhang Camera Imaging and Calibration
JPH07159167A (ja) カメラ位置算出方法
JPS61286979A (ja) ステレオ視覚システム

Legal Events

Date Code Title Description
EXPY Cancellation because of completion of term