JPH06249628A - 立体視覚センサ - Google Patents

立体視覚センサ

Info

Publication number
JPH06249628A
JPH06249628A JP3779893A JP3779893A JPH06249628A JP H06249628 A JPH06249628 A JP H06249628A JP 3779893 A JP3779893 A JP 3779893A JP 3779893 A JP3779893 A JP 3779893A JP H06249628 A JPH06249628 A JP H06249628A
Authority
JP
Japan
Prior art keywords
light
image
subject
light receiving
receiving element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP3779893A
Other languages
English (en)
Inventor
Hidetoshi Yamada
秀俊 山田
Hiroyuki Fukuda
弘之 福田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd filed Critical Olympus Optical Co Ltd
Priority to JP3779893A priority Critical patent/JPH06249628A/ja
Publication of JPH06249628A publication Critical patent/JPH06249628A/ja
Withdrawn legal-status Critical Current

Links

Abstract

(57)【要約】 【目的】簡単な処理で正確な奥行き情報が得られる立体
視覚センサを提供する。 【構成】被写体に光パターンを投影する光投影部2と、
光パターンが投影された被写体Obを視差を伴う複数の
像に結像させる光学系3と、光学系3により結像された
複数の被写体像を検出する受光素子4と、受光素子4で
検出される視差情報から被写体Obの立体情報を算出す
る演算処理部5とを具備する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は被写体の光学像を利用す
ることで、奥行き情報を含めた画像情報を検出する立体
視覚センサに関する。
【0002】
【従来の技術】画像を電気信号に変換する固体撮像素子
を用いた視覚センサが、自動制御やロボット等の高度な
機能を持つ装置に使用されている。視覚センサで平面的
な画像だけでなく、立体情報を含めた画像情報を検出す
ることができれば、被写体の正確な認識や対称物の取り
扱い(ハンドリング)、移動物体の制御などに極めて有
用である。
【0003】このため、複数のカメラにより異なった方
向からの画像を投影し、これらの視差情報から被写体の
奥行き情報を検出するステレオ法が知られている。すな
わち図7に示すように、被写体のある点Pが距離Lにあ
るレンズ1−R,1−Lにより点PR ,PL に結像され
る場合、その間隔をDとすると距離L=DB/(D−D
0 )で与えられる。ここでD0 はレンズ間隔、Bはレン
ズと結像面との距離である。
【0004】
【発明が解決しようとする課題】しかしながら、この方
法では、一方のカメラから見た被写体の各点がもう一方
のカメラの画像のどの点に対応しているかを求める処理
が必要となる。この対応点検出処理は一般に被写体のコ
ントラストがそれほど高くないため正確な結果を得るこ
とが難しく、複雑な処理を必要とし処理時間も長くな
る。
【0005】上記したステレオ法を変形したものとし
て、一方のカメラを光源に置き換え、スリット等の光パ
ターンを被写体に投影してこれを異なった角度から撮像
し、その変形から奥行き情報を求める光切断法も考案さ
れている。この場合、被写体全体の形状を計測するには
光の投影方向を変えて多くの画像を撮る必要があり、装
置が複雑化するうえに観測時間も長くなる。
【0006】本発明の立体視覚センサはこのような課題
に着目してなされたものであり、その目的とするところ
は、簡単な処理で正確な奥行き情報が得られる立体視覚
センサを提供することにある。
【0007】
【課題を解決するための手段】上記目的を達成するため
に本発明の立体視覚センサは、被写体に光パターンを投
影する光投影手段と、前記光パターンが投影された被写
体を視差を伴う複数の像に結像させる光学系と、この光
学系により結像された複数の被写体像を検出する受光素
子と、この受光素子で検出される視差情報から被写体の
立体情報を算出する演算手段とを具備する。
【0008】
【作用】すなわち、本発明の立体視覚センサは、まず、
光パターンが投影された被写体を視差を伴う複数の像に
結像させる。そして、結像された複数の被写体像を検出
して、検出された視差情報から被写体の立体情報を算出
する。
【0009】
【実施例】本実施例は、ステレオ法において対応点検出
処理を容易にするため、光パターンを被写体に投影しこ
れを基に奥行き情報を検出することを特徴とする。以
下、本発明の実施例を図面に基づいて説明する。
【0010】図1は第1実施例に係る立体視覚センサの
構成を示す図であり、光投影部2、光学系3、受光素子
4および演算処理部5とを備える。光投影部2は光源ラ
ンプ11とパターンマスク12とからなり、パターンマ
スク12には例えばスリット状の開口が設けられ、細線
上の光パターンを被写体Obに投影する機能を持つ。光
学系3は図2に示すように、撮像レンズ13とアパーチ
ャ14とからなり、アパーチャ14には二つの開口15
R,15Lが設けられている。
【0011】光学系3は受光素子4の前部に設置され、
被写体像を結像させる。受光素子4は図2に示すよう
に、CCD等で構成される固体撮像素子16と、その前
面に設けられたレンチキュラーレンズアレイ17とから
構成される。レンチキュラーレンズアレイ17により開
口15Rを透過した光は固体撮像素子16のA列に、開
口15Lを透過した光はB列に投射される。レンチキュ
ラーレンズアレイ17は固体撮像素子16の受光面上に
レジスト等の樹脂を用いてフォトリソグラフィにより矩
形断面のストライプパターンを形成し、続いて熱処理に
より樹脂を軟化させ、表面を曲面にすることで容易に作
成できる。
【0012】演算処理部5は受光素子4の出力に接続さ
れ、図2に示すように、フレームメモリ18A,18
B、ブロック選択回路19、相関演算回路20、シフト
量検出回路21、深さ算出回路22および出力回路23
とを備える。
【0013】上記構成の立体視覚センサの動作を次に説
明する。まず光パターンを照射しないで自然照明を用い
て被写体Obの画像が撮影される。受光素子4からA
列,B列の信号が出力され、対応する列ごとに加算され
て映像信号とされる。これが被写体の平面画像を与え
る。
【0014】続いて光投影部2から被写体Obに光パタ
ーンが投影され、これを用いて奥行き情報が求められ
る。光学系3により被写体像が受光素子4上に結像され
る。ここで開口15Rを透過した光は固体撮像素子16
のA列に、開口15Lを透過した光はB列に投射され
る。このため、A列で検出される画像とB列で検出され
る画像とでは開口15R,15Lの間隔で定まる視差を
持つことになる。
【0015】この映像信号が列A,列Bから出力され、
演算処理部5のフレームメモリ18A,18Bにそれぞ
れ記憶される。これらの画像内の一部の領域(ブロッ
ク)ごとにシフト量検出処理がおこなわれる。ブロック
は図3(a)、(b)に示すように例えば8×8画素の
領域からなり、画像内の複数の箇所に設定される。ブロ
ック選択回路19によりこのアドレスが指定され、相関
演算回路20に出力される。相関演算回路20ではブロ
ック内の対応する画素ごとに撮像素子A列,B列の信号
の差分の自乗を計算し、その総和を評価値として求め
る。
【0016】続いてB列からの出力画像のブロックの位
置が例えば1画素ごとにシフトされ、同様に評価値が求
められる。この演算が所定の範囲内のすべてのシフト値
に対して行なわれ、シフト量検出回路21において最も
小さい評価値が得られた位置をA列,B列の画像が対応
する位置とし、これからシフト量(視差)が得られる。
深さ算出回路22ではこの値を用いてその領域の距離を
算出する。先に得られた平面画像と、光パターンを投影
して得られた奥行き情報とあわせて被写体の立体情報が
得られる。
【0017】本例では、左右像間のシフト量を求める際
に光パターンが投影されてこのパターンが高コントラス
トの信号となるため、対応点検出演算が極めて容易にな
り、簡単な処理で高精度に奥行き情報を求めることが可
能である。また、レンチキュラーレンズアレイ17が積
層された単一の固体撮像素子16により視差情報が得ら
れるため、装置を小型化することが可能である。なお上
記の例では、光学系として一つのレンズとアパーチャと
で構成したが、これには限らない。例えば二つのレンズ
とプリズムとの組み合わせでも良い。
【0018】次に本発明の第2実施例を図4、図5を参
照して説明する。図4,図5は第2実施例の視覚センサ
の構成を上面,側面,前面の三方向から示した図であ
る。本実施例の立体視覚センサは光投影部32、撮像レ
ンズ33,34,35、撮像素子36、受光素子37
R,37Lおよび演算処理部38とを備える。光投影部
32は複数の近赤外発光ダイオード(LED)アレイ3
9と投影レンズ40とからなる。撮像レンズ33は撮像
素子36の前面に、撮像レンズ34,35はそれぞれ受
光素子37R,37Lの前面に設置され、被写体像を結
像させる。
【0019】撮像素子36の前面には近赤外光を反射す
るフィルタ41が設置され、自然照明光による被写体像
を結像させる。受光素子37R,37Lの前面には近赤
外光のみを透過するフィルタ42,43が設置され、L
EDアレイ39の像のみを結像させる。受光素子37
R,37Lは固体位置検出素子(PSD)アレイにより
構成される。
【0020】PSDは図6に示すように表面にp型抵抗
層P、裏面にn型抵抗層Nを持つ高抵抗半導体Sに、p
型抵抗層Pの両端に電極T1 ,T2 が設けられた素子で
ある。光の入射により発生した電荷は電極T1 ,T2
ら電流I1 ,I2 として取り出されるが、この電流
1 ,I2 は入射光の位置により比例配分されるので、
電流比(I1 −I2 )/(I1 +I2 )から入射光の位
置が求められる。各PSDには加算器46、減算器47
および割算器48が接続され、入射光位置が出力され
る。
【0021】なおPSDアレイは、LEDアレイの像に
対して一つのLEDの輝点が各PSD素子に入射するよ
うに対応して配列されている。演算処理部38は受光素
子37R,37Lの出力に接続され、複数の差分回路4
1 ,442 ,443 …と深さ算出回路45とを備え
る。
【0022】次に上記した構成の立体視覚センサの動作
を説明する。光投影部32のLEDアレイ39から発し
た光がレンズ40により被写体Obに投射される。ここ
でレンズ40の開口数は小さいものが用いられ、LED
アレイ39の輝点パターンは被写体Obの距離によらず
に集光されたパターンとして現れる。被写体Obの像が
レンズ33により撮像素子36に投影されるが、ここで
フィルタ41により可視光のみが透過され、LEDアレ
イ39のパターンは撮像素子36には現れない。
【0023】一方、LEDアレイ39の像がレンズ3
4,35により結像され、フィルタ42,43を透過し
て受光素子37R,37Lにそれぞれ投影される。受光
素子37R,37Lの各PSDには、LEDアレイ39
による輝点が入射する。PSDで求められる位置情報
を、左右の受光素子で比較することにより輝点の視差が
求められる。すなわち、PSD1Rの位置情報とPSD
1Lの位置出力が差分回路441 に入力され、差分値が
視差として深さ算出回路45に入力される。
【0024】同様に、PSD2Rの出力とPSD2Lの
出力が差分回路442 に、PSD3Rの出力とPSD3
Lの出力が差分回路443 にというように対応する位置
ごとに入力され、差分値が視差として深さ算出回路45
に入力される。このようにして画面内の各所における奥
行きが求められ、撮像素子36により得られた平面画像
の奥行きマッピングが得られる。
【0025】本実施例では、平面画像と奥行き情報とが
それぞれ別個の撮像素子及び受光素子とで同時に求めら
れ、またその波長が異なっているため互いに影響を及ぼ
さない。また奥行き情報の算出がPSDの出力を用い
て、複雑な演算処理なしに即座に求められる。
【0026】以上の実施例で説明したように、本実施例
の立体視覚センサでは被写体に光パターンを投影してス
テレオ法を行なうため、簡単な処理で正確な奥行き情報
を得ることができる。この方法では、得られる奥行き情
報の数は被写体に投影する光パターンの密度あるいは受
光素子アレイの密度によるが、例えば移動体の障害物回
避や進路決定のためには、概略の立体情報が得られれば
十分であり、必ずしも撮像素子並の密度としなくても十
分な効果を得ることができる。
【0027】また、高分解能の平面画像情報と奥行き情
報とを併せて利用してもよい。たとえば平面画像を領域
分割(セグメンテーション)し、ここで得られた領域の
ある点の距離が求められていれば、領域全体にわたって
同じ距離を適用できる。
【0028】また本実施例では、撮像素子や受光素子、
光投影部を平面上に配置することができ、同一半導体基
板上に集積することも可能である。このため極めて微小
な視覚センサを構成することもでき、微細加工技術を用
いて作成される機械(マイクロマシン)に用いるにも非
常に有効である。
【0029】
【発明の効果】以上詳述したように、本発明の立体視覚
センサによれば、簡単な処理で正確な奥行き情報が得ら
れる。
【図面の簡単な説明】
【図1】第1実施例に係る立体視覚センサの構成を示す
図である。
【図2】図1の一部の構成を詳細に示す図である。
【図3】画像のブロック構成の一例を示す図である。
【図4】第2実施例に係る立体視覚センサの構成を示す
図である。
【図5】第2実施例に係る立体視覚センサを他方向から
みた構成を示す図である。
【図6】PSDの構成を示す図である。
【図7】被写体の奥行き情報を検出する従来の方法を説
明するための図である。
【符号の説明】
2…光投影部、3…光学系、4…受光素子、5…演算処
理部、11…光源ランプ、12…パターンマスク、Ob
…被写体。

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 被写体に光パターンを投影する光投影手
    段と、 前記光パターンが投影された被写体を視差を伴う複数の
    像に結像させる光学系と、 この光学系により結像された複数の被写体像を検出する
    受光素子と、 この受光素子で検出される視差情報から被写体の立体情
    報を算出する演算手段と、を具備したことを特徴とする
    立体視覚センサ。
JP3779893A 1993-02-26 1993-02-26 立体視覚センサ Withdrawn JPH06249628A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP3779893A JPH06249628A (ja) 1993-02-26 1993-02-26 立体視覚センサ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3779893A JPH06249628A (ja) 1993-02-26 1993-02-26 立体視覚センサ

Publications (1)

Publication Number Publication Date
JPH06249628A true JPH06249628A (ja) 1994-09-09

Family

ID=12507526

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3779893A Withdrawn JPH06249628A (ja) 1993-02-26 1993-02-26 立体視覚センサ

Country Status (1)

Country Link
JP (1) JPH06249628A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6996339B2 (en) 2002-10-10 2006-02-07 Olympus Corporation Three-dimensional photographing apparatus and three-dimensional photographing method, and stereo adapter
JP2007101275A (ja) * 2005-09-30 2007-04-19 Topcon Corp 三次元計測用投影装置及びシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6996339B2 (en) 2002-10-10 2006-02-07 Olympus Corporation Three-dimensional photographing apparatus and three-dimensional photographing method, and stereo adapter
JP2007101275A (ja) * 2005-09-30 2007-04-19 Topcon Corp 三次元計測用投影装置及びシステム

Similar Documents

Publication Publication Date Title
EP3480648A1 (en) Adaptive three-dimensional imaging system
WO1999044096A2 (en) Aperture coded camera for three-dimensional imaging
JPH067219B2 (ja) カメラの焦点検出装置
JP2023115356A (ja) 計測装置、撮像装置、制御方法及びプログラム
US20020006281A1 (en) Focus detection device and distance measurement device
US7016604B2 (en) Autofocus using a holographic aperture element
JPH06249628A (ja) 立体視覚センサ
US4220406A (en) Optical electronic focusing device
JP3564383B2 (ja) 3次元動画入力装置
US4697905A (en) Photographic apparatus
JPS6113566B2 (ja)
JPH1096852A (ja) 2次元撮像素子を用いた焦点検出装置
JP3292415B2 (ja) カメラの測距装置
JPH061189B2 (ja) 物体情報処理装置
JP2632178B2 (ja) カメラの自動焦点検出装置
JP2874485B2 (ja) 合焦検出手段を有した撮像装置
JPH0226205B2 (ja)
JP2757373B2 (ja) 焦点検出装置
JPS58100807A (ja) 焦点合せ装置
JPH0643893B2 (ja) 距離測定装置
JPS6188212A (ja) 物体情報処理装置
JPH0789058B2 (ja) 距離測定装置
JPS6219828A (ja) 焦点位置検出装置
JPH0522883B2 (ja)
JP3388108B2 (ja) カメラ用焦点検出装置

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20000509