JP2825707B2

JP2825707B2 - ３次元撮像装置

Info

Publication number: JP2825707B2
Application number: JP4189471A
Authority: JP
Inventors: 光雄大島
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1992-07-16
Filing date: 1992-07-16
Publication date: 1998-11-18
Anticipated expiration: 2013-11-18
Also published as: JPH0634341A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、コンピュータビジョン
（ＣＶ）及びコンピュータグラフィックス（ＣＧ）等の
３次元画像情報技術において、ステレオ画像法を用いた
３次元画像入力装置に使用される３次元撮像装置、特に
２つの感光面を集積化して対応点検索装置の負担の軽減
が可能な３次元撮像装置に関するものである。

【０００２】

【従来の技術】従来、このような分野の技術としては、
例えば次のような文献に記載されるものがある。文献１；映像情報、２２［９］（１９９０−５）産業開
発機構（株）Ｐ．２３−３０文献２；テレビジョン学会誌、４５［４］（１９９１）
Ｐ．４４６−４５２文献３；テレビジョン学会誌、４５［４］（１９９１）
Ｐ．４５３−４６０従来、３次元画像入力方式には、受
動的手法（パッシブ手法）と能動的手法（アクティブ手
法）とがある。能動的手法とは、３次元情報を取得する
ために、巧みに制御され、その形状パターンや濃淡、ス
ペクトル等に対し何等かの意味を持ったエネルギー（光
波、電波、音波等）を対象に照射する手法のことを指
す。これに対して受動的手法とは、対象に対して通常の
照明等は行うにしても、計測に関して意味のあるエネル
ギーを利用しない計測のことをいう。一般的にいって、
能動的手法の方が、受動的手法のものより計測の信頼性
が高くなる。受動的手法の代表的なものがステレオ画像
法であり、それを図２に示す。

【０００３】図２は、前記文献３に記載された従来の３
次元画像入力方式の一つであるステレオ画像法の説明図
である。このステレオ画像法では、２台の２次元画像入
力装置１，２を所定間隔離間して配置し、左右の２次元
画像入力装置１，２で撮られた被写体３の結像位置の
差、即ち位相差を利用し、三角測量法によって被写体３
までの距離を計る方法である。

【０００４】２次元画像入力装置１，２は、結像用のレ
ンズ、及び光電変換装置等でそれぞれ構成されている。
光電変換装置としては、撮像管や固体撮像素子が使用さ
れている。ステレオ画像法においては、小型、軽量、長
寿命、さらに画素の配置精度が良いことから、固体撮像
素子の方が使用しやすく、前記文献１の技術では該固体
撮像素子が電荷結合素子（以下、ＣＣＤという）で構成
されている。図２の装置では、各２次元画像入力装置
１，２にＣＣＤをそれぞれ設け、該２次元画像入力装置
１と２を離間して被写体３の３次元画像を入力する。２
台の２次元画像入力装置１，２では、例えば左目で見た
画面と、右目で見た画面が得られる。そして、左右の画
面に見えている被写体３の位相差を検出して該被写体３
までの距離を計る。この際、被写体３の特徴をそれぞれ
抽出し、その特徴点が左右の画面のどの位置に存在する
かの対応点検索を行って位相差を検出し、該位相差を距
離値に変換する方法が採用されている。

【０００５】図３（ａ）〜（ｃ）は、図２のステレオ画
像法で得られた濃淡画像と距離画像の説明図である。濃
淡画像は、図２の第１と第２の２次元画像入力装置１，
２で得られるカラーや白黒の画像である。距離画像は、
３次元位置に関する画像であり、マトリクスデータで一
つ一つの画素が対象物（被写体３）の奥行きに関する情
報を持つものである。このような濃淡画像と距離画像と
から、偏光フイルタを用いた両眼融合方式によって立体
画像表示を行ったり、レンチキュラ板を用いて立体画像
表示を行ったりしている。立体画像表示の一例を図４に
示す。

【０００６】図４は、前記文献２に記載された従来の３
次元画像表示方式の一つである多眼式レンチキュラ方式
の原理を示す図である。多眼式レンチキュラ方式は、複
数のかまぼこ状のレンズ板からなるレンチキュラ板１０
を用い、各レンズ板の焦点面に左右画像をストライプ状
に配置した方式である。１個のレンズ板内にはａ，ｂ，
ｃ，…，ｆの部分に、それぞれａ₁，ｂ₁，ｃ₁，…，
ｆ₁という多方向から撮像したストライプ状の多眼像１
１を表示する。レンズ板の作用によって各方向のストラ
イプ状の多眼像１１は左右の眼１２，１３に別々に入
り、視点を移動すれば、横方向の立体映像を見ることが
できる。

【０００７】

【発明が解決しようとする課題】しかしながら、上記構
成の装置では、２台の２次元画像入力装置１，２が別々
に組み立てられた後に、その２台を離間して配置してい
るので、各２次元画像入力装置１，２内に設けられるＣ
ＣＤからなる２次元撮像装置の感光面の水平及び垂直の
それぞれの中心、及び相対的な回転ずれを調整すること
は、１画素の大きさが約１０μm 程度と小さいので、非
常に困難である。この位置関係がずれると、被写体３の
特徴点の対応点検索において、Ｘ方向、Ｙ方向、及び回
転の補正が大規模な装置となり、しかもその補正の処理
時間に大幅な時間を要する欠点がある。その上、その中
心を微調整して整合させても、振動等によって変化しや
すいという欠点もあり、未だ技術的に十分満足のゆく３
次元撮像装置を得ることが困難であった。

【０００８】本発明は、前記従来技術が持っていた課題
として、離間して配置する２つの２次元固体撮像素子の
感光面の相対位置を精度良く出すことが困難な点、その
相対位置がずれた場合の対応点検索装置の規模が大きく
なって処理時間も多大な時間を要する点、及び振動によ
って感光面の相対位置が変わってしまうという点につい
て解決した、２つの感光面を集積化した３次元撮像装置
を提供するものである。

【０００９】

【課題を解決するための手段】前記課題を解決するため
に、本発明のうちの第１の発明は、画素が２次元配列さ
れた光／電変換機能を有する感光面が少なくとも２つ半
導体チップに集積化された固体撮像素子と、前記２つの
感光面のそれぞれの側方に配置され該感光面と平行な光
軸を有する２つの結像装置と、前記固体撮像素子と前記
結像装置との間に配置された光路変更用の光路変換部材
とを備え、前記各感光面の画面中心と前記各結像装置及
び光路変換部材の各光軸とを整合し一体化した３次元撮
像装置において、前記２つの感光面を、位相差検出方向
と直角な方向に離間して配置形成している。第２の発明
では、第１の発明の２つの感光面を、点対称に配置形成
している。

【００１０】

【作用】第１及び第２の発明によれば、以上のように３
次元撮像装置を構成したので、被写体からの光は結像装
置及び光路変換部材における２つの光路を別々に通って
固体撮像素子の各感光面に結像され、該感光面で電気信
号に変換される。

【００１１】

【実施例】図５（ａ）〜（ｃ）は、本発明の実施例の基
礎技術となる３次元撮像装置の構成図であり、同図
（ａ）は全体側面図、同図（ｂ）は全体平面図、及び同
図（ｃ）は固体撮像素子の拡大平面図である。この３次
元撮像装置は、パッケージ２０を有し、該パッケージ２
０には、半導体チップに第１及び第２の感光面３１，３
２が集積化された固体撮像素子３０がダイボンド（固
定）されている。固体撮像素子３０と対向する位置に
は、光路を変更するための２つの光路を持つ光路変換部
材４０が設けられている。光路変換部材４０には、２つ
の第１のミラー４１，４２と２つの第２のミラー４３，
４４とが設けられている。光路変換部材４０の２つの光
路に対応して２つの結像装置５１，５２が配置されてい
る。

【００１２】各結像装置５１，５２は、光軸Ｈ１，Ｈ２
を有するレンズでそれぞれ構成されている。一方の結像
装置５１は、光軸Ｈ１を有し、第１の感光面３１に像を
結び、他方の結像装置５２は、光軸Ｈ２を有し、第２の
感光面３２に像を結ぶ機能を有している。これらのパッ
ケージ２０、固体撮像素子３０、光路変換部材４０、及
び結像装置５１，５２は、図示しない筺体等によって一
体化されている。

【００１３】半導体チップに集積化された固体撮像素子
３０は、第１と第２の感光面３１，３２を有し、それら
が位相差検出方向Ａに間隔Ｄだけ離間して配置形成され
ている。各感光面３１，３２には、多数の光／電変換用
の感光素子３１ａ，３２ａが２次元に配列され、さらに
該感光素子３１ａ，３２ａの信号を垂直方向へ転送する
垂直ＣＣＤ３１ｂ，３２ｂと、該垂直ＣＣＤ３１ｂ，３
２ｂの信号を水平方向へ転送する水平ＣＣＤ３１ｃ，３
２ｃと、該水平ＣＣＤ３１ｃ，３２ｃの信号を増幅して
出力する出力アンプ３１ｄ，３２ｄとが、それぞれ設け
られている。

【００１４】なお、各感光面３１，３２には、他にクロ
ック入力端子や電源入力端子等が設けられているが、本
発明には直接関係がないので、図示されていない。次
に、動作について説明する。被写体からの光は、光軸Ｈ
１及びＨ２を通って第１，第２の感光面３１，３２へ到
達するが、それらの２つの光路は対称配置としてあるの
で、片側の光路のみを説明する。光軸Ｈ１の光は、結像
装置５１を通り、光路変換部材４０内の第１のミラー４
１で直角に反射され、さらに第２のミラー４３で直角に
曲げられて固体撮像素子３０内の第１の感光面３１に入
射される。第１の感光面３１に入射した光は、感光素子
３１ａで信号電荷に変換され、それが垂直ＣＣＤ３１ｂ
によって順次水平ＣＣＤ３１ｃへと転送されていく。そ
して、１垂直ＣＣＤ段毎に水平ＣＣＤ３１ｃより順次出
力アンプ３１ｄで増幅され、その増幅された出力電圧が
外部へ出力される。第２の感光面３２においても、第１
の感光面３１と同様に、出力アンプ３２ｄを通して出力
電圧の形で外部へ出力される。

【００１５】この図５の３次元撮像装置では、次のよう
な利点を有している。（１）第１と第２の感光面３１，３２は、同一の半導
体チップ内に集積化されているので、該第１と第２の感
光面３１，３２の相対位置精度は半導体集積回路の製造
精度であり、μm オーダ以下の位置精度になっている。
そのため、Ｘ方向、Ｙ方向、及び回転のそれぞれのずれ
がないので、第１と第２の感光面３１，３２の相対位置
を調整する困難さを解消できる。例えば、位相差が検出
されない程度の十分遠方の距離にある被写体は、第１の
感光面３１の結像位置と、第２の感光面３２の結像位置
とが、同じになってくるので、複雑な特徴点抽出を行わ
なくても、簡単な対応点検索でそのまま打ち消せる利点
がある。即ち、十分遠方の被写体は、濃淡あるいはカラ
ーにしても、その特長距離を定めておけば、十分遠方に
あることが容易に判明できるので、その他の距離にある
被写体についてのみ特徴抽出、及び対応点検索等を行う
だけでよく、対応点検索装置の負担を軽減できる。

【００１６】（２）光路変換部材４０は、半導体チップの面積を小
さくするために光軸Ｈ１とＨ２の光路間隔を広げる役目
をしており、各結像装置５１，５２の鏡筒径が大きくと
も、平行に配置させることができる。なお、図５（ｃ）
に示す感光面間隔Ｄは、光路変換部材４０のクロストー
ク等からのがれるための寸法であり、固体撮像素子３０
と該光路変換部材４０との間隔にもよるが、例えば５mm
程度に設定されている。（３）パッケージ２０、固体撮像素子３０、光路変換
部材４０、及び結像装置５１，５２は、一体構造となっ
ているので、振動等が生じても、それらの全ての相対的
な位置関係が保持できるので、該振動等にも強いという
利点を有している。（４）図６は、図５の光軸間隔の拡大例を示す図であ
り、５３，５４，５５，５６はミラーである。

【００１７】ステレオ画像法にて距離を検出する場合、
少なくとも２つの光軸Ｈ１，Ｈ２を離間して配置する必
要がある。この光軸間隔は大きいほど長距離の検出がで
きるので、長距離の検出を行うときには、結像装置５
１，５２の外側にミラー５３，５４，５５，５６を配置
すれば、光軸間隔を任意に拡大できる。

【００１８】図１（ａ）〜（ｃ）は、本発明の実施例を
示す３次元撮像装置の構成図であり、同図（ａ）は全体
側面図、同図（ｂ）は全体平面図、及び同図（ｃ）は固
体撮像素子の拡大平面図であり、図５及び図６中の要素
と共通の要素には共通の符号が付されている。この３次
元撮像装置では、図５の固体撮像素子３０及び光路変換
部材４０と異なる固体撮像素子３０Ａ及び光路変換部材
４０Ａが設けられると共に、結像装置５１，５２の外側
にミラー５５，５６が設けられている。固体撮像素子３
０Ａは、図５と同様に、第１及び第２の感光面３１，３
２が半導体チップに集積化されているが、その第１の感
光面３１と第２の感光面３２とが位相差検出方向Ｂと直
角な方向に間隔Ｅだけ離間して配置形成され、さらにそ
の第１の感光面３１と第２の感光面３２とが点対称に配
置されている。固体撮像素子３０Ａと対向して光路変換
部材４０Ａが設けられ、該光路変換部材４０Ａが２つの
光路を有する直角反射用のミラー４１及び４２で構成さ
れている。光路変換部材４０Ａの両側には、結像装置５
１，５２がそれぞれ設けられ、さらにそれらの外側に、
該結像装置５１，５２の光路Ｈ１，Ｈ２を直角に曲げる
ためのミラー５５，５６が設けられている。そして、ミ
ラー５５，５６によって直角に曲げられた光軸Ｈ１とＨ
２は、ある間隔を持った平行線となるように配置されて
いる。

【００１９】図１（ａ），（ｂ）の３次元撮像装置は、
図５と同様に、図示しない筺体等に一体形成されてい
る。この３次元画像装置の動作は、被写体からの光がミ
ラー５５で直角に反射され、結像装置５１を通し、光路
変換部材４０Ａ内のミラー４１で直角に反射され、固体
撮像素子３０Ａ内の第１の感光面３１上に結像される。
第２の感光面３２側も、第１の感光面３１側と対称なの
で、光軸Ｈ２で結像される。固体撮像素子３０Ａにおけ
る、光の入射から信号出力までは図５と同様である。

【００２０】第１のミラー５５，５６，３１，３２の数
（偶奇数）によって被写体の左右等が変わるが、それは
第１，第２の感光面３１，３２の読み出し順序を変える
ことで対応できるので、何等問題はない。本実施例で
は、図５の３次元撮像装置と同様な利点を有する他に、
次のような利点を有している。（ｉ）結像装置５１，５２をそれぞれ構成するレンズに
は、焦点面が存在し、レンズ外形からその焦点面までの
距離をバックフォーカスと呼んでいる。このバックフォ
ーカスは、レンズ後端から感光面までの光軸が描く長さ
になる。図５では、２回反射を利用する光路変換部材４
０を使用するので、その分、光路が長く、バックフォー
カスの大きなレンズしか使用できないという不都合があ
る。これに対して本実施例では、光路変換部材４０Ａが
１回の反射を行う構造のため、１回分の反射を削減して
おり、その分、光路長が短くなり、バックフォーカスの
小さなレンズを使用でき、装置の小型化が可能になる。（ii）光軸Ｈ１とＨ２の間隔を広げる場合、図５では、
図６に示すようなミラー５３，５４，５５，５６を必要
としたが、本実施例では、ミラー５５と５６の間隔を広
げればよく、光学装置の部品点数を削減できる。 (iii）図１（ｃ）の感光面間隔Ｅを図５の間隔Ｄと同じ
とした場合、その間隔Ｅ内に水平ＣＣＤ３１ｃ，３２ｃ
や出力アンプ３１ｄ，３２ｄを配置でき、その分、半導
体チップの面積を有効に使える。（iv）図１（ｃ）のような一般的なＣＣＤは、例えば、
テレビジョンのアスペクト比に合わせて、水平方向の長
さ４に対して垂直方向の長さ３のように、感光面サイズ
を決めており、位相差検出方向Ｂが長いのが通常であ
る。そこで、本実施例では、図１（ｃ）に示すような感
光面配置が可能なので、光路変換部材４０Ａのミラー４
１，４２は感光面３１，３２の垂直方向の高さ（位相差
検出方向Ｂと直角方向）分に相当する分だけ反射面を有
すれば良い。そのため、本実施例の水平方向の長さ（図
５（ｃ）の位相差検出方向Ａ）分に相当する分だけの反
射面よりも、光軸Ｈ１，Ｈ２方向に対して小さくて良い
ので、より光軸方向の長さを短くでき、バックフォーカ
スを短くしたレンズに対して、より優位な面を有する。（ｖ）図１（ｃ）に示す第１及び第２の感光面３１，３
２は、点対称に配置形成されているので、光路変換部材
４０Ａの回転ずれに対しても同じ変化となり、該回転ず
れに対しても強い。

【００２１】なお、本発明は上記実施例に限定されず、
種々の変形が可能である。その変形例としては、例えば
次のようなものがある。（ａ）図１の３次元撮像装置においても、図６に示す
ようなミラー５３，５４を別に設けてもよい。（ｂ）固体撮像素子３０，３０Ａは、２つの感光面３
１，３２を有しているが、４つの感光面等、多数配置し
てもよい。例えば、４つの感光面を有する場合、その一
対を焦点合わせし、他の対では少しぼけた像を結像させ
る等の応用が考えられる。（ｃ）固体撮像素子３０，３０Ａは、図示以外の構成
に変更してもよい。同様に、光路変換部材４０，４０Ａ
や結像装置５１，５２等の光学装置は、図示以外の構成
に変更してもよい。

【００２２】

【発明の効果】以上詳細に説明したように、第１の発明
によれば、次の（ａ）〜（ｃ）のような効果がある。（ａ）少なくとも２つの感光面を有する固体撮像素子
を同一の半導体チップ上に集積化したので、光軸に対す
る２つの感光面の相対的なずれをなくせ、しかも、光路
変換部材及び結像装置によって光軸間隔を確保した上で
一体化しているので、従来の反射面位置調整作業の困難
さを解消できると共に、その作業の削減化が可能とな
る。さらに、対応点検索を簡単化できるので、対応点検
索装置の負担を軽減でき、対応点検索装置規模の削減
と、対応点検索時間の短縮化が可能となる。また、結像
装置及び光路変換部材を設けているので、感光面配置間
隔の損失を低減でき、半導体チップを小さくできる。（ｂ）光路変換部材を構成する例えばミラーの数を減
少でき、それによってバックフォーカスの短いレンズか
らなる結像装置を使用できる。さらに、結像装置及び光
路変換部材等の光学装置の部品点数を減少でき、しか
も、少なくとも２つの感光面を有する固体撮像素子を集
積化した半導体チップの面積を有効に使用できる。（ｃ）この第１の発明では、特に、２つの感光面を、
位相差検出方向と直角な方向に離間して配置したので、
半導体チップ上のミラー等による光路を短くでき、より
バックフォーカスの小さなレンズからなる結像装置を使
用でき、装置全体の小型化が可能となる。第２の発明に
よれば、２つの感光面を点対称に配置しているので、光
路変換部材の回転ずれに対しても同じ変化となり、該回
転ずれに対しても強い。さらに、その２つの感光面を集
積化した半導体チップの面積を有効に利用でき、該半導
体チップの小型化が可能となる。

【図面の簡単な説明】

【図１】本発明の実施例を示す３次元撮像装置の構成図
である。

【図２】従来の３次元画像入力方式の一つであるステレ
オ画像法の説明図である。

【図３】図２のステレオ画像法で得られた濃淡画像と距
離画像の説明図である。

【図４】従来の３次元画像表示方式の一つである多眼式
レンチキュラ方式の原理図である。

【図５】本発明の実施例の基礎技術となる３次元撮像装
置の構成図である。

【図６】図１の光軸間隔拡大例を示す図である。

【符号の説明】

２０パッケージ３０，３０Ａ固体撮像素子３１，３２第１，第２の感光面３１ａ，３２ａ感光素子３１ｂ，３２ｂ垂直ＣＣＤ３１ｃ，３２ｃ水平ＣＣＤ４０，４０Ａ光路変換部材４１，４２第１のミラー４３，４４第２のミラー５１，５２結像装置Ａ，Ｂ位相差検出方向Ｄ，Ｅ感光面間隔

Claims

(57)【特許請求の範囲】

【請求項１】画素が２次元配列された光／電変換機能
を有する感光面が少なくとも２つ半導体チップに集積化
された固体撮像素子と、前記２つの感光面のそれぞれの
側方に配置され該感光面と平行な光軸を有する２つの結
像装置と、前記固体撮像素子と前記結像装置との間に配
置された光路変更用の光路変換部材とを備え、前記各感
光面の画面中心と前記各結像装置及び光路変換部材の各
光軸とを整合し一体化した３次元撮像装置において、前記２つの感光面は、位相差検出方向と直角な方向に離
間して配置形成したことを特徴とする３次元撮像装置。
【請求項２】前記２つの感光面は、点対称に配置形成
したことを特徴とする請求項１記載の３次元撮像装置。