JPH0634341A

JPH0634341A - ３次元撮像装置

Info

Publication number: JPH0634341A
Application number: JP4189471A
Authority: JP
Inventors: Mitsuo Oshima; 光雄大島
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1992-07-16
Filing date: 1992-07-16
Publication date: 1994-02-08
Anticipated expiration: 2013-11-18
Also published as: JP2825707B2

Abstract

(57)【要約】【目的】少なくとも２つの感光面の相対位置精度を確
保し、対応点検索装置の負担を軽減し、さらに振動等に
よる２つの感光面の相対位置のずれ等を防止する。【構成】被写体からの光は結像装置５１，５２を通
り、光路変換部材４０内のミラー４１，４２，４３，４
４で光路が変えられ、半導体チップ内に集積化された固
体撮像素子３０の２つの感光面３１，３２に結像され
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、コンピュータビジョン
（ＣＶ）及びコンピュータグラフィックス（ＣＧ）等の
３次元画像情報技術において、ステレオ画像法を用いた
３次元画像入力装置に使用される３次元撮像装置、特に
２つの感光面を集積化して対応点検索装置の負担の軽減
が可能な３次元撮像装置に関するものである。

【０００２】

【従来の技術】従来、このような分野の技術としては、
例えば次のような文献に記載されるものがある。文献１；映像情報、２２［９］（１９９０−５）産業開
発機構（株）Ｐ．２３−３０文献２；テレビジョン学会誌、４５［４］（１９９１）
Ｐ．４４６−４５２文献３；テレビジョン学会誌、４５［４］（１９９１）
Ｐ．４５３−４６０従来、３次元画像入力方式には、受動的手法（パッシブ
手法）と能動的手法（アクティブ手法）とがある。能動
的手法とは、３次元情報を取得するために、巧みに制御
され、その形状パターンや濃淡、スペクトル等に対し何
等かの意味を持ったエネルギー（光波、電波、音波等）
を対象に照射する手法のことを指す。これに対して受動
的手法とは、対象に対して通常の照明等は行うにして
も、計測に関して意味のあるエネルギーを利用しない計
測のことをいう。一般的にいって、能動的手法の方が、
受動的手法のものより計測の信頼性が高くなる。受動的
手法の代表的なものがステレオ画像法であり、それを図
２に示す。

【０００３】図２は、前記文献３に記載された従来の３
次元画像入力方式の一つであるステレオ画像法の説明図
である。このステレオ画像法では、２台の２次元画像入
力装置１，２を所定間隔離間して配置し、左右の２次元
画像入力装置１，２で撮られた被写体３の結像位置の
差、即ち位相差を利用し、三角測量法によって被写体３
までの距離を計る方法である。

【０００４】２次元画像入力装置１，２は、結像用のレ
ンズ、及び光電変換装置等でそれぞれ構成されている。
光電変換装置としては、撮像管や固体撮像素子が使用さ
れている。ステレオ画像法においては、小型、軽量、長
寿命、さらに画素の配置精度が良いことから、固体撮像
素子の方が使用しやすく、前記文献１の技術では該固体
撮像素子が電荷結合素子（以下、ＣＣＤという）で構成
されている。図２の装置では、各２次元画像入力装置
１，２にＣＣＤをそれぞれ設け、該２次元画像入力装置
１と２を離間して被写体３の３次元画像を入力する。２
台の２次元画像入力装置１，２では、例えば左目で見た
画面と、右目で見た画面が得られる。そして、左右の画
面に見えている被写体３の位相差を検出して該被写体３
までの距離を計る。この際、被写体３の特徴をそれぞれ
抽出し、その特徴点が左右の画面のどの位置に存在する
かの対応点検索を行って位相差を検出し、該位相差を距
離値に変換する方法が採用されている。

【０００５】図３は、図２のステレオ画像法で得られた
濃淡画像と距離画像の説明図である。濃淡画像は、図２
の第１と第２の２次元画像入力装置１，２で得られるカ
ラーや白黒の画像である。距離画像は、３次元位置に関
する画像であり、マトリクスデータで一つ一つの画素が
対象物（被写体３）の奥行きに関する情報を持つもので
ある。このような濃淡画像と距離画像とから、偏光フイ
ルタを用いた両眼融合方式によって立体画像表示を行っ
たり、レンチキュラ板を用いて立体画像表示を行ったり
している。立体画像表示の一例を図４に示す。

【０００６】図４は、前記文献２に記載された従来の３
次元画像表示方式の一つである多眼式レンチキュラ方式
の原理を示す図である。多眼式レンチキュラ方式は、複
数のかまぼこ状のレンズ板からなるレンチキュラ板１０
を用い、各レンズ板の焦点面に左右画像をストライプ状
に配置した方式である。１個のレンズ板内にはａ，ｂ，
ｃ，…，ｆの部分に、それぞれａ₁，ｂ₁，ｃ₁，…，
ｆ₁という多方向から撮像したストライプ状の多眼像１
１を表示する。レンズ板の作用によって各方向のストラ
イプ状の多眼像１１は左右の眼１２，１３に別々に入
り、視点を移動すれば、横方向の立体映像を見ることが
できる。

【０００７】

【発明が解決しようとする課題】しかしながら、上記構
成の装置では、２台の２次元画像入力装置１，２が別々
に組み立てられた後に、その２台を離間して配置してい
るので、各２次元画像入力装置１，２内に設けられるＣ
ＣＤからなる２次元撮像装置の感光面の水平及び垂直の
それぞれの中心、及び相対的な回転ずれを調整すること
は、１画素の大きさが約１０μm 程度と小さいので、非
常に困難である。この位置関係がずれると、被写体３の
特徴点の対応点検索において、Ｘ方向、Ｙ方向、及び回
転の補正が大規模な装置となり、しかもその補正の処理
時間に大幅な時間を要する欠点がある。その上、その中
心を微調整して整合させても、振動等によって変化しや
すいという欠点もあり、未だ技術的に十分満足のゆく２
次元撮像装置を得ることが困難であった。

【０００８】本発明は、前記従来技術が持っていた課題
として、離間して配置する２つの２次元固体撮像素子の
感光面の相対位置を精度良く出すことが困難な点、その
相対位置がずれた場合の対応点検索装置の規模が大きく
なって処理時間も多大な時間を要する点、及び振動によ
って感光面の相対位置が変わってしまうという点につい
て解決した、２つの感光面を集積化した３次元撮像装置
を提供するものである。

【０００９】

【課題を解決するための手段】第１の発明は、前記課題
を解決するために、３次元画像入力装置に使用される３
次元撮像装置において、画素が２次元配列された光／電
変換機能を有する感光面が少なくとも２つ半導体チップ
に集積化された固体撮像素子と、対称な２つの光軸を有
する結像装置と、前記固体撮像素子と前記結像装置との
間に配置された光路変更用の光路変換部材とを備え、前
記各感光面の画面中心と前記結像装置及び光路変換部材
の各光軸とを整合し一体化している。第２の発明では、
第１の発明の２つの感光面を、位相差検出方向に離間し
て配置形成している。第３の発明では、画素が２次元配
列された光／電変換機能を有する感光面が少なくとも２
つ半導体チップに集積化された固体撮像素子と、前記２
つの感光面のそれぞれの側方に配置され該感光面と平行
な光軸を有する２つの結像装置と、前記固体撮像素子と
前記結像装置との間に配置された光路変更用の光路変換
部材とを備え、前記各感光面の画面中心と前記各結像装
置及び光路変換部材の各光軸とを整合し一体化してい
る。第４の発明では、第３の発明の２つの感光面を、位
相差検出方向と直角な方向に離間して配置形成してい
る。第５の発明では、第４の発明の２つの感光面を、点
対称に配置形成している。

【００１０】

【作用】第１の発明によれば、以上のように３次元撮像
装置を構成したので、被写体からの光は結像装置及び光
路変換部材における２つの光路を別々に通って固体撮像
素子の各感光面に結像される。そして、少なくとも２つ
の感光面を有する固体撮像素子が半導体チップに集積化
され、結像装置及び光路変換部材と共に一体化されてい
るので、２つの感光面の相対位置精度を確保し、対応点
検索装置の負担の軽減化が図れる。第２の発明によれ
ば、位相差検出方向に離間して配置された２つの感光面
は、十分遠方の距離にある被写体の特徴点検出を容易に
させる働きがあり、対応点検索装置の負担の軽減化が図
れる。第３の発明によれば、第１の発明とほぼ同様の作
用を行うと共に、光路変換部材の構成の簡単化を図り、
例えばバックフォーカスの小さなレンズで結像装置の構
成が可能になる。第４及び第５の発明によれば、２つの
感光面は、それを集積化する半導体チップ面積の小型化
を可能にさせる。従って、前記課題を解決できるのであ
る。

【００１１】

【実施例】第１の実施例図１（ａ）〜（ｃ）は、本発明の第１の実施例を示す３
次元撮像装置の構成図であり、同図（ａ）は全体側面
図、同図（ｂ）は全体平面図、及び同図（ｃ）は固体撮
像素子の拡大平面図である。この３次元撮像装置は、パ
ッケージ２０を有し、該パッケージ２０には、半導体チ
ップに第１及び第２の感光面３１，３２が集積化された
固体撮像素子３０がダイボンド（固定）されている。固
体撮像素子３０と対向する位置には、光路を変更するた
めの２つの光路を持つ光路変換部材４０が設けられてい
る。光路変換部材４０には、２つの第１のミラー４１，
４２と２つの第２のミラー４３，４４とが設けられてい
る。光路変換部材４０の２つの光路に対応して２つの結
像装置５１，５２が配置されている。

【００１２】各結像装置５１，５２は、光軸Ｈ１，Ｈ２
を有するレンズでそれぞれ構成されている。一方の結像
装置５１は、光軸Ｈ１を有し、第１の感光面３１に像を
結び、他方の結像装置５２は、光軸Ｈ２を有し、第２の
感光面３２に像を結ぶ機能を有している。これらのパッ
ケージ２０、固体撮像素子３０、光路変換部材４０、及
び結像装置５１，５２は、図示しない筺体等によって一
体化されている。

【００１３】半導体チップに集積化された固体撮像素子
３０は、第１と第２の感光面３１，３２を有し、それら
が位相差検出方向Ａに間隔Ｄだけ離間して配置形成され
ている。各感光面３１，３２には、多数の光／電変換用
の感光素子３１ａ，３２ａが２次元に配列され、さらに
該感光素子３１ａ，３２ａの信号を垂直方向へ転送する
垂直ＣＣＤ３１ｂ，３２ｂと、該垂直ＣＣＤ３１ｂ，３
２ｂの信号を水平方向へ転送する水平ＣＣＤ３１ｃ，３
２ｃと、該水平ＣＣＤ３１ｃ，３２ｃの信号を増幅して
出力する出力アンプ３１ｄ，３２ｄとが、それぞれ設け
られている。

【００１４】なお、各感光面３１，３２には、他にクロ
ック入力端子や電源入力端子等が設けられているが、本
実施例には直接関係がないので、図示されていない。次
に、動作について説明する。被写体からの光は、光軸Ｈ
１及びＨ２を通って第１，第２の感光面３１，３２へ到
達するが、それらの２つの光路は対称配置としてあるの
で、片側の光路のみを説明する。光軸Ｈ１の光は、結像
装置５１を通り、光路変換部材４０内の第１のミラー４
１で直角に反射され、さらに第２のミラー４３で直角に
曲げられて固体撮像素子３０内の第１の感光面３１に入
射される。第１の感光面３１に入射した光は、感光素子
３１ａで信号電荷に変換され、それが垂直ＣＣＤ３１ｂ
によって順次水平ＣＣＤ３１ｃへと転送されていく。そ
して、１垂直ＣＣＤ段毎に水平ＣＣＤ３１ｃより順次出
力アンプ３１ｄで増幅され、その増幅された出力電圧が
外部へ出力される。第２の感光面３２においても、第１
の感光面３１と同様に、出力アンプ３２ｄを通して出力
電圧の形で外部へ出力される。

【００１５】この第１の実施例では、次のような利点を
有している。（１）第１と第２の感光面３１，３２は、同一の半導
体チップ内に集積化されているので、該第１と第２感光
面３１，３２の相対位置精度は半導体集積回路の製造精
度であり、μm オーダ以下の位置精度になっている。そ
のため、Ｘ方向、Ｙ方向、及び回転のそれぞれのずれが
ないので、第１と第２の感光面３１，３２の相対位置を
調整する困難さを解消できる。例えば、位相差が検出さ
れない程度の十分遠方の距離にある被写体は、第１の感
光面３１の結像位置と、第２の感光面３２の結像位置と
が、同じになってくるので、複雑な特徴点抽出を行わな
くても、簡単な対応点検索でそのまま打ち消せる利点が
ある。即ち、十分遠方の被写体は、濃淡あるいはカラー
にしても、その特長距離を定めておけば、十分遠方にあ
ることが容易に判明できるので、その他の距離にある被
写体についてのみ特徴抽出、及び対応点検索等を行うだ
けでよく、対応点検索装置の負担を軽減できる。

【００１６】（２）光路変換部材４０は、半導体チッ
プの面積を小さくするために光軸Ｈ１とＨ２の光路間隔
を広げる役目をしており、各結像装置５１，５２の鏡筒
径が大きくとも、平行に配置させることができる。な
お、図１（ｃ）に示す感光面間隔Ｄは、光路変換部材４
０のクロストーク等からのがれるための寸法であり、固
体撮像素子３０と該光路変換部材４０との間隔にもよる
が、例えば５mm程度に設定されている。（３）パッケージ２０、固体撮像素子３０、光路変換
部材４０、及び結像装置５１，５２は、一体構造となっ
ているので、振動等が生じても、それらの全ての相対的
な位置関係が保持できるので、該振動等にも強いという
利点を有している。（４）図５は、図１の光軸間隔の拡大例を示す図であ
り、５３，５４，５５，５６はミラーである。

【００１７】ステレオ画像法にて距離を検出する場合、
少なくとも２つの光軸Ｈ１，Ｈ２を離間して配置する必
要がある。この光軸間隔は大きいほど長距離の検出がで
きるので、長距離の検出を行うときには、結像装置５
１，５２の外側にミラー５３，５４，５５，５６を配置
すれば、光軸間隔を任意に拡大できる。

【００１８】第２の実施例図６（ａ）〜（ｃ）は、本発明の第２の実施例を示す３
次元撮像装置の構成図であり、同図（ａ）は全体側面
図、同図（ｂ）は全体平面図、及び同図（ｃ）は固体撮
像素子の拡大平面図であり、第１の実施例を示す図１及
び図５中の要素と共通の要素には共通の符号が付されて
いる。この３次元撮像装置では、図１の固体撮像素子３
０及び光路変換部材４０と異なる固体撮像素子３０Ａ及
び光路変換部材４０Ａが設けられると共に、結像装置５
１，５２の外側にミラー５５，５６が設けられている。
固体撮像素子３０Ａは、図１と同様に、第１及び第２の
感光面３１，３２が半導体チップに集積化されている
が、その第１の感光面３１と第２の感光面３２とが位相
差検出方向Ｂと直角な方向に間隔Ｅだけ離間して配置形
成され、さらにその第１の感光面３１と第２の感光面３
２とが点対称に配置されている。固体撮像素子３０Ａと
対向して光路変換部材４０Ａが設けられ、該光路変換部
材４０Ａが２つの光路を有する直角反射用のミラー４１
及び４２で構成されている。光路変換部材４０Ａの両側
には、結像装置５１，５２がそれぞれ設けられ、さらに
それらの外側に、該結像装置５１，５２の光路Ｈ１，Ｈ
２を直角に曲げるためのミラー５５，５６が設けられて
いる。そして、ミラー５５，５６によって直角に曲げら
れた光軸Ｈ１とＨ２は、ある間隔を持った平行線となる
ように配置されている。

【００１９】図６（ａ），（ｂ）の３次元撮像装置は、
第１の実施例と同様に、図示しない筺体等に一体形成さ
れている。この３次元画像装置の動作は、被写体からの
光がミラー５５で直角に反射され、結像装置５１を通
し、光路変換部材４０Ａ内のミラー４１で直角に反射さ
れ、固体撮像素子３０Ａ内の第１の感光面３１上に結像
される。第２の感光面３２側も、第１の感光面３１側と
対称なので、光軸Ｈ２で結像される。固体撮像素子３０
Ａにおける、光の入射から信号出力までは第１の実施例
と同様である。

【００２０】第１のミラー５５，５６，３１，３２の数
（偶奇数）によって被写体の左右等が変わるが、それは
第１，第２の感光面３１，３２の読み出し順序を変える
ことで対応できるので、何等問題はない。この第２の実
施例では、第１の実施例と同様な利点を有する他に、次
のような利点を有している。（ｉ）結像装置５１，５２をそれぞれ構成するレンズに
は、焦点面が存在し、レンズ外形からその焦点面までの
距離をバックフォーカスと呼んでいる。このバックフォ
ーカスは、レンズ後端から感光面までの光軸が描く長さ
になる。第１の実施例では、２回反射を利用する光路変
換部材４０を使用するので、その分、光路が長く、バッ
クフォーカスの大きなレンズしか使用できないという不
都合がある。これに対して第２の実施例では、光路変換
部材４０Ａが１回の反射を行う構造のため、１回分の反
射を削減しており、その分、光路長が短くなり、バック
フォーカスの小さなレンズを使用でき、装置の小型化が
可能になる。（ii）光軸Ｈ１とＨ２の間隔を広げる場合、第１の実施
例では、図５に示すようなミラー５３，５４，５５，５
６を必要としたが、第２の実施例では、ミラー５５と５
６の間隔を広げればよく、光学装置の部品点数を削減で
きる。 (iii）図６（ｃ）の感光面間隔Ｅを図１の間隔Ｄと同じ
とした場合、その間隔Ｅ内に水平ＣＣＤ３１ｃ，３２ｃ
や出力アンプ３１ｄ，３２ｄを配置でき、その分、半導
体チップの面積を有効に使える。（iv）図６（ｃ）のような一般的なＣＣＤは、例えば、
テレビジョンのアスペクト比に合わせて、水平方向の長
さ４に対して垂直方向の長さ３のように、感光面サイズ
を決めており、位相差検出方向Ｂが長いのが通常であ
る。そこで、第２の実施例では、図６（ｃ）に示すよう
な感光面配置が可能なので、光路変換部材４０Ａのミラ
ー４１，４２は感光面３１，３２の垂直方向の高さ（位
相差検出方向Ｂと直角方向）分に相当する分だけ反射面
を有すれば良い。そのため、第１の実施例の水平方向の
長さ（図１（ｃ）の位相差検出方向Ａ）分に相当する分
だけの反射面よりも、光軸Ｈ１，Ｈ２方向に対して小さ
くて良いので、より光軸方向の長さを短くでき、バック
フォーカスを短くしたレンズに対して、より優位な面を
有する。（ｖ）図６（ｃ）に示す第１及び第２の感光面３１，３
２は、点対称に配置形成されているので、光路変換部材
４０Ａの回転ずれに対しても同じ変化となり、該回転ず
れに対しても強い。

【００２１】なお、本発明は上記実施例に限定されず、
種々の変形が可能である。その変形例としては、例えば
次のようなものがある。（ａ）第２の実施例においても、図５に示すようなミ
ラー５３，５４を別に設けてもよい。（ｂ）上記実施例の固体撮像素子３０，３０Ａは、２
つの感光面３１，３２を有しているが、４つの感光面
等、多数配置してもよい。例えば、４つの感光面を有す
る場合、その一対を焦点合わせし、他の対では少しぼけ
た像を結像させる等の応用が考えられる。（ｃ）固体撮像素子３０，３０Ａは、図示以外の構成
に変更してもよい。同様に、光路変換部材４０，４０Ａ
や結像装置５１，５２等の光学装置は、図示以外の構成
に変更してもよい。

【００２２】

【発明の効果】以上詳細に説明したように、第１及び第
２の発明によれば、少なくとも２つの感光面を有する固
体撮像素子を同一の半導体チップ上に集積化したので、
光軸に対する２つの感光面の相対的なずれをなくせ、し
かも、光路変換部材及び結像装置によって光軸間隔を確
保した上で一体化しているので、従来の反射面位置調整
作業の困難さを解消できると共に、その作業の削減化が
可能となる。さらに、対応点検索を簡単化できるので、
対応点検索装置の負担を軽減でき、対応点検索装置規模
の削減と、対応点検索時間の短縮化が可能となる。ま
た、結像装置及び光路変換部材を設けているので、感光
面配置間隔の損失を低減でき、半導体チップを小さくで
きる。第３の発明によれば、第１の発明とほぼ同様の効
果を有する他に、光路変換部材を構成する例えばミラー
の数を減少でき、それによってバックフォーカスの短い
レンズからなる結像装置を使用できる。さらに、結像装
置及び光路変換部材等の光学装置の部品点数を減少で
き、しかも、少なくとも２つの感光面を有する固体撮像
素子を集積化した半導体チップの面積を有効に使用でき
る。第４の発明によれば、２つの感光面は位相差検出方
向と直角な方向に離間して配置したので、半導体チップ
上のミラー等による光路を短くでき、よりバックフォー
カスの小さなレンズからなる結像装置を使用でき、装置
全体の小型化が可能となる。第５の発明によれば、２つ
の感光面は点対称に配置されているので、それを集積化
した半導体チップの面積を有効に利用でき、該半導体チ
ップの小型化が可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施例を示す３次元撮像装置の
構成図である。

【図２】従来の３次元画像入力方式の一つであるステレ
オ画像法の説明図である。

【図３】図２のステレオ画像法で得られた濃淡画像と距
離画像の説明図である。

【図４】従来の３次元画像表示方式の一つである多眼式
レンチキュラ方式の原理図である。

【図５】図１の光軸間隔拡大例を示す図である。

【図６】本発明の第２の実施例を示す３次元撮像装置の
構成図である。

【符号の説明】

２０パッケージ３０，３０Ａ固体撮像素子３１，３２第１，第２の感光面３１ａ，３２ａ感光素子３１ｂ，３２ｂ垂直ＣＣＤ３１ｃ，３２ｃ水平ＣＣＤ４０，４０Ａ光路変換部材４１，４２第１のミラー４３，４４第２のミラー５１，５２結像装置Ａ，Ｂ位相差検出方向Ｄ，Ｅ感光面間隔

Claims

【特許請求の範囲】

【請求項１】画素が２次元配列された光／電変換機能
を有する感光面が少なくとも２つ半導体チップに集積化
された固体撮像素子と、対称な２つの光軸を有する結像装置と、前記固体撮像素子と前記結像装置との間に配置された光
路変更用の光路変換部材とを備え、前記各感光面の画面中心と前記結像装置及び光路変換部
材の各光軸とを整合し一体化したことを特徴とする３次
元撮像装置。
【請求項２】前記２つの感光面は、位相差検出方向に
離間して配置形成した請求項１記載の３次元撮像装置。
【請求項３】画素が２次元配列された光／電変換機能
を有する感光面が少なくとも２つ半導体チップに集積化
された固体撮像素子と、前記２つの感光面のそれぞれの側方に配置され該感光面
と平行な光軸を有する２つの結像装置と、前記固体撮像素子と前記結像装置との間に配置された光
路変更用の光路変換部材とを備え、前記各感光面の画面中心と前記各結像装置及び光路変換
部材の各光軸とを整合し一体化したことを特徴とする３
次元撮像装置。
【請求項４】前記２つの感光面は、位相差検出方向と
直角な方向に離間して配置形成した請求項３記載の３次
元撮像装置。
【請求項５】前記２つの感光面は、点対称に配置形成
した請求項４記載の３次元撮像装置。