JPH11223516A

JPH11223516A - ３次元画像撮像装置

Info

Publication number: JPH11223516A
Application number: JP10027146A
Authority: JP
Inventors: Ken Tokai; 研東海
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 1998-02-09
Filing date: 1998-02-09
Publication date: 1999-08-17

Abstract

(57)【要約】【課題】撮像対象物の範囲が奥行き方向に比較的広い
レンジを有しても、距離情報の算出の速度及び精度を向
上する３次元画像撮像装置を提供する。【解決手段】この３次元画像撮像装置は、複数の合焦
面１〜Ｎの各々で、物体を撮像する光学系１ａ、１ｂ
と、光学系１ａ、１ｂを制御して合焦面１〜Ｎの各々に
設定する合焦位置設定部５と、光学系１ａ、１ｂからの
輝度情報に基づいて物体が合焦している合焦面を検出す
る合焦領域検出部４ａ、４ｂと、検出された合焦面と光
学系、光学系１ａ１ｂとの距離から物体２１に対する予
測視差領域２５を算出する予測視差領域算出部６と、算
出された予測視差領域２５から、物体２１の対応点を探
索する対応点探索部７と、探索された物体２１の対応点
に基づいて、物体２１と光学系１ａ、１ｂとの距離を算
出する距離算出部８を有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、３次元画像の輝度
情報と距離情報を得ることができる３次元画像撮像装置
に関し、特に、対象範囲が奥行き方向に比較的広いレン
ジを有している３次元画像の距離情報の算出の速度およ
び精度を向上させた３次元画像撮像装置に関する。

【０００２】

【従来の技術】従来から、対象物体の形状を測定する手
法として、パッシブ手法（shape fromX、ステレオ視）
とアクティブ手法（レーザレーダ、アクティブステレ
オ、モアレ、干渉）とが存在する。一般に、アクティブ
手法のほうが計測精度は高いが、投光手段の限界などに
より、測定できるレンジが小さい場合が多い。一方、パ
ッシブ手法は汎用的であり、対象に対する制約が少な
い。

【０００３】このパッシブ手法の中でも、ステレオ視は
比較的精度が良いが、２つの撮像位置（レンズ位置）か
ら得たステレオ画像対中の画素の輝度値によって対応点
を探索しているため、撮像画像にボケが存在する場合に
問題が生じる。一般に、結像光学系は固有の有限被写界
深度を有しているため、合焦面に対し被写界深度を超え
る範囲に存在する被写体に対しては、ボケが生じる。ピ
ンホールカメラの場合には無限の被写界深度を有する
が、受光素子の感度以上の光量を確保することが困難で
あるため、撮像を行うことは難しいものになっている。
すなわち、現実的に、撮像画像にボケが生じないように
することは困難である。

【０００４】このようなボケの生じた部分においては、
原画像成分がある領域にわたって広がった形で撮像され
るため、対応点の位置決定に誤差が生じてしまう。この
対応点の位置誤差によって、距離情報の算出誤差を生じ
る。

【０００５】図４（ａ）は、ステレオ視における基線長
Ｂ、距離ｚ、視差ｄの関係を示し、図４（ｂ）は、撮像
画像面上のピクセルを示す。図４（ａ）において、基線
長Ｂとは、ステレオ視における２つの撮像位置にあるレ
ンズ４２ａとレンズ４２ｂの物体側主点間距離であり、
距離ｚとは、レンズ４２ａ、４２ｂと撮像対象物体４１
との距離である。

【０００６】また、図４（ｂ）において、撮像画像面４
３ａと撮像画像面４３ｂを重ねて示し、各ピクセルに番
号１、２、．．．、ｍ−１、ｍを付している。ここで、
レンズ４２ａで撮像対象物体４１を撮像したとき、この
撮像対象物体４１上の点４１ａに対応する撮像画像面４
３ａ上のピクセル４４ａの番号をｉとする。また、レン
ズ４２ｂで撮像対象物体４１を撮像したとき、この撮像
対象物体４１上の点４１ａに対応する撮像画像面４３ｂ
上のピクセル４４ｂの番号をｉ＋ｄとする。撮像画像面
４３ａ上のピクセル４４ａに対応する撮像画像面４３ｂ
上のピクセルは、ピクセル４４ａ’であり、このピクセ
ル４４ａ’の番号は、ピクセル４４ａと同じくｉ＋ｄで
ある。

【０００７】ここで、撮像画像面４３ａと撮像画像面４
３ｂを同一の撮像画像面とした場合、ピクセル４４ａと
ピクセル４４ｂとのズレ量をピクセル数ｄ（ｄ＝ｉ＋ｄ
−ｉ）で表し、これを視差ｄとする。また、ピクセルの
ピッチをλとすると、λ×ｄが撮像画像面上での実際の
視差の長さとなり、図４（ａ）の撮像画像面４３ｂ上で
示すピクセル４４ｂとピクセル４４ａ’間の距離とな
る。

【０００８】ここで、レンズ４２ａ、４２ｂの焦点距離
Ｆは、レンズ４２ａ、４２ｂと撮像画像面４３ａ、４３
ｂとの距離であり、対応点４１ａ、レンズ４２ａ及びレ
ンズ４２ｂを頂点とする三角形４５ａと、レンズ４２
ｂ、ピクセル４４ａ’及びピクセル４４ｂを頂点とする
三角形４５ｂは相似形となる。従って、図４に示すよう
なステレオ視において、視差ｄと、レンズ４２ａ、４２
ｂから撮像対象物体４１中の対応点４１ａまでの距離ｚ
の関係は、以下の数１で表すことができる。

【数１】ｚ＝Ｂ・Ｆ／λ・ｄ

【０００９】ここで、上述したように視差ｄは、撮像画
像面４３ａ上と撮像画像面４３ｂ上の対応点４１ａのず
れ量であり、対応点４１ａの位置決定の誤差は、視差ｄ
の誤差となる。従って、数１から解るとおり、対応点４
１ａの位置の決定誤差は、距離情報ｚの算出に誤差を生
じさせることになる。

【００１０】そこで、この誤差を生じないために、複数
の合焦面を持つように光学系を設定してステレオ画像対
を撮像し、合焦している領域で対応点を探索する従来の
３次元画像撮像装置が、特開平６−７４７６２号公報に
示されている。

【００１１】図５は、従来の３次元画像撮像装置におい
て物体を複数の合焦面で撮像する場合を示す。図５にお
いて、撮像する物体５１〜５４に対して合焦している画
像領域（合焦面）、即ち、ボケのない鮮明な合焦領域で
全ての点を検索して、各物体５１〜５４に対する対応点
の探索を行うので、ボケによる対応点の位置の決定誤差
を回避することができ、距離情報ｚを精度よく算出する
ことができる。

【００１２】また、合焦領域にある全ての点の探索を行
うと、対応点の誤検出、例えば、合焦面１での物体５２
の対応点の検出などが生じてしまう場合もある。この対
策として、数１で求められた距離情報ｚが、合焦面に対
して被写界深度の範囲内にあるかどうかの判定を行って
対応点の誤検出を防止し、距離情報ｚの算出の精度を向
上している。

【００１３】

【発明が解決しようとする課題】しかしながら、従来の
３次元画像撮像装置によれば、物体の対応点を探索する
際に、合焦領域にある全ての点の探索を行っているた
め、物体の対応点の探索時間が長くなってしまうという
問題があった。

【００１４】また、距離情報ｚが合焦面に対して被写界
深度の範囲内にあるかどうかの判定を行ったとしても、
同一の合焦面内に複数の物体が存在した場合、例えば、
図５に示したように、合焦面１に物体５１及び物体５３
があると、物体５１の対応点を物体５３の対応点として
誤検出する場合が生じるため、誤検出した対応点で物体
５３の距離情報ｚを算出してしまい、距離情報ｚの精度
を低下させるとうい問題があった。

【００１５】従って、本発明の目的は、撮像対象物の範
囲が奥行き方向に比較的広いレンジを有している場合で
も、距離情報の算出の速度及び精度を向上することがで
きる３次元画像撮像装置を提供することである。

【００１６】

【課題を解決するための手段】本発明は、以上に述べた
目的を実現するため、物体を撮像する複数の合焦面から
の輝度情報によって物体の３次元画像情報を得る３次元
画像撮像装置において、複数の合焦面の各々の合焦面
で、複数の位置から物体を撮像する撮像手段と、撮像手
段を制御して複数の合焦面の各々の合焦面に設定する合
焦面設定手段と、輝度情報に基づいて物体が合焦してい
る合焦面を検出する合焦面検出手段と、合焦面検出手段
によって検出された合焦面と撮像手段との距離から、撮
像手段によって撮像された物体に対する予測視差領域を
算出する予測視差領域算出手段と、予測視差領域算出手
段によって算出された予測視差領域から、物体の対応点
を探索する対応点探索手段と、対応点探索手段によって
探索された物体の対応点に基づいて、物体と撮像手段と
の距離を算出する距離情報算出手段と、を有することを
特徴とする３次元画像撮像装置を提供する。

【００１７】

【発明の実施の形態】以下本発明の３次元画像撮像装置
を詳細に説明する。

【００１８】図１は、本発明の３次元画像撮像装置の構
成を示す。この３次元画像撮像装置は、所定の基線長Ｂ
を隔てて配置されたレンズなどの光学系１ａ、１ｂおよ
び光学系１ａ、１ｂで撮された物体の画像が撮像される
撮像素子２ａ、２ｂと、撮像素子２ａ、２ｂ上に撮像さ
れた物体の画像の輝度値を検出して記憶する輝度値メモ
リ３ａ、３ｂと、光学系１ａ、１ｂが複数の合焦面を持
つように光学系１ａ、１ｂを制御する合焦位置設定部５
と、合焦位置設定部５によって設定された合焦面毎に輝
度値メモリ３ａ、３ｂの輝度値に基づいて、撮像された
物体が合焦しているかどうかを検出する合焦領域検出部
４ａ、４ｂと、合焦領域検出部４ｂが合焦している撮像
物体を検出したとき、合焦位置設定部５の合焦位置デー
タ（光学系１ａ、１ｂの合焦面までの距離）に基づいて
撮像素子２ａと撮像素子２ｂに撮像された物体の視差を
予測する予測視差領域算出部６と、合焦領域検出部４
ａ、４ｂからの合焦領域、輝度値メモリ３ａ、３ｂから
の輝度値および予測視差領域算出部６からの予測視差値
に基づいて撮像された物体の対応点を探索する対応点探
索部７と、対応点探索部７の対応点の探索結果に基づい
て撮像された物体までの距離を算出する距離算出部８
と、距離算出部８によって算出された距離値を記憶する
距離値メモリ９と、輝度値メモリ３ｂからの輝度値と距
離値メモリ９からの距離値を記憶する３次元画像メモリ
１０とを備えている。

【００１９】図２（ａ）は、撮像される物体２１〜２３
および背景物体２４と、合焦位置設定部５によって設定
される合焦面１〜Ｎと、光学系１ａ、１ｂと、撮像画像
を示し、図２（ｂ）は、撮像素子２ａ、２ｂに撮像され
た物体２１〜２３および背景物体２４を示し、図２
（ｃ）は、合焦面１で合焦している物体２１、２５と予
測視差領域２５を示す。

【００２０】図３は、図１に示した３次元画像撮像装置
の動作を示す。以下、図１と図２を参照しながら図３に
示した３次元画像撮像装置の動作を説明する。

【００２１】図３において、まず、合焦位置設定部５
は、光学系１ａ、１ｂが複数の合焦面１〜Ｎで物体２１
〜２３および背景物体２４を撮像するように光学系１
ａ、１ｂを制御し、合焦面１〜Ｎを順に設定する（３０
１）。まず、合焦位置設定部５によって合焦面１が設定
されると、その合焦面における物体２１〜２３および背
景物体２４のステレオ画像撮像を光学系１ａ、１ｂで撮
像素子２ａ、２ｂに行い（３０２）、得られた撮像画像
（図２（ｂ））の輝度値を輝度値メモリ３ａ、３ｂに記
憶する（３０３）。このステップ３０１〜３０３の処理
を全ての合焦面１〜Ｎで物体２１〜２３および背景物体
２４の撮像が終了するまで繰り返す。

【００２２】合焦領域検出部４ａ、４ｂは、複数の合焦
面１〜Ｎを設定して得られたそれぞれのステレオ画像対
において、合焦している部分の抽出を行う（３０５）。
これは、例えば、各々の画像を複数のブロックに分割
し、各ブロックごとに輝度値メモリ３ａ、３ｂ内の輝度
値のコントラストの算出を行い、高コントラストを有し
ているならばそのブロックを合焦していると判断する。

【００２３】次に、合焦していると判断したステレオ画
像対（図２（ｂ））において、一方の撮像素子２ｂの画
像中で抽出された合焦領域（合焦面１）に存在する任意
の点について、ステレオ画像対（図２（ｂ））の他方の
撮像素子２ａの画像中における対応点の探索を行う。こ
れについて以下に説明する。

【００２４】上述の任意の点は合焦領域（合焦面１）中
の点であるので、大まかな距離情報ｚを合焦位置設定部
５から得ることができ、物体２１および物体２３が、合
焦面１の距離情報ｚ±光学系１ｂの被写界深度ｚｄの領
域に存在していると予測できる。従って、予測視差領域
算出部６は、視差ｄを以下の数２から算出し（３０
６）、他方の撮像素子２ａ中の物体２１および物体２３
の位置を予測することができる。

【数２】ｄ＝Ｂ・Ｆ／λ（ｚ±ｚｄ)

【００２５】数２は前述の数１を変形して得られるもの
で、各パラメータは数１と同様である。尚、被写界深度
ｚｄは、撮像条件（設定された合焦面の距離ｚ、光学系
１ｂの絞りなど）によって変化するが、これらの条件
は、撮像時に決定されているので、予め各撮像条件に対
応して被写界深度ｚｄを得ておけばよい。

【００２６】このように、既に得られている大まかな距
離情報ｚから視差ｄを予測することによって、対応点の
探索領域の範囲を小さく設定することができる（３０
７）。例えば、対応点探索部７で物体２１の対応点の探
索をする場合、図２（ａ）に示すように物体２１と物体
２３の表面がほぼ同じ合焦面１に位置するとき、従来の
ように視差予測をしない場合では、合焦面１で合焦して
いるとして抽出された物体２１の対応点の探索を、撮像
素子２ａ上の全ての領域で行わなければならなかった
が、本発明のように物体２１の視差ｄを予測した場合に
は、物体２１と物体２３は撮像素子２ａ中では異なる位
置に結像しているので、対応点探索部７は、撮像素子２
ａ中の物体２１の視差ｄに対応する予測視差領域２５
（図２（ｃ））のみを探索することになる。

【００２７】次に、例えば、対応点探索部７が物体２１
の対応点を検索する場合、対象となる物体２１の近傍
に、ある一定の大きさの窓（図示せず）を設け、窓内の
画素の輝度値の差が最も小さい画素を対応点とする（３
０８）。即ち、対応点探索部７は、以下の数３に示すＤ
ｗを最小にする画素を対応点とする。

【数３】ここで、ｗは設定した窓の大きさ、Ｉｒｅｆは撮像素子
２ｂ中の物体２１の画素の輝度値、Ｉｓは撮像素子２ａ
中の物体２１の画素の輝度値である。

【００２８】この対応点の抽出（３０８）の後、距離算
出部８において得られた視差量から数１を用いて距離情
報ｚを算出し（３０９）、距離値メモリ９に記憶する
（３１０）。

【００２９】以上のステップ３０５〜ステップ３１０の
動作を、各合焦面１〜Ｎ毎に得られたステレオ画像対に
対して行い、撮像された全てのステレオ画像対から距離
情報を得て距離値メモリ９に記憶する。

【００３０】最後に、輝度値メモリ３ｂに記憶されてい
る輝度値と、距離値メモリ９に記憶されている距離値の
情報に基づいて各画素を決定し、これらの画素を３次元
画像として出力して３次元画像メモリ１０に記憶する
（３１２）。

【００３１】以上、物体２１について説明したが、物体
２１と同一の合焦面１にある物体２３や、他の物体２
２、２４についても同様にして距離情報などの３次元画
像のデータを得ることができる。

【００３２】上述のように、既に得られている大まかな
距離情報ｚから視差ｄを予測することによって、対応点
の探索の範囲を小さくすることができ、この対応点の探
索範囲の広さにほぼ比例して探索時間がかかるので、同
一の合焦面に対して複数の物体表面が存在するような複
雑な撮影対象に対しては、大幅に探索時間を削減するこ
とができる。更に、予測視差領域から得られた対応点を
使用して算出した距離情報ｚは自動的に合焦面までの距
離±被写界深度の範囲内の値になるので、距離情報ｚを
算出した後に、距離情報ｚが合焦面までの距離±被写界
深度の範囲内の値となっているかどうかを判定する必要
が無く、これによっても時間を削減することができる。

【００３３】また、図２において、例えば、物体２１と
物体２３が同様な表面色を有していた場合、物体２１と
物体２３の輝度値が同一となり、視差ｄを予測せずに対
応点の探索を行うと、対応点を誤検出してしまう可能性
がある。即ち、図２（ａ）に示す状況で撮像を行った場
合、図２（ｂ）のようなステレオ画像が得られる。この
時、物体２１と物体２３の表面が同じ合焦面１に存在
し、かつその表面色が同じであると、従来のように視差
ｄを予測をしない場合には、物体２３の領域においても
物体２１の対応点の探索を行うため、物体２３は物体２
１と同じ表面色を有しているので、物体２３上に物体２
１に対応する誤まった対応点を抽出してしまう可能性が
ある。特に、物体２１と物体２１が同一物体の場合に
は、形状、表面色共に全く同じであり、図２（ａ）のよ
うに物体２１、２３からほぼ等距離、等角度に光学系１
ａ、１ｂおよび撮像素子２ａ、２ｂの撮像系が存在した
場合には、従来の３次元画像撮像装置においては、物体
２１と物体２３の輝度情報（輝度値）はほとんど同じ値
になってしまうので、誤対応の可能性が更に高くなる。
この場合、数１から解るように、対応点の位置の決定誤
差は距離情報ｚの算出に誤差を生じさせることになる。
つまり、このような対応点の誤検出は距離情報ｚの精度
の低下になる。しかし、本発明の３次元画像撮像装置の
ように、物体２１に対する視差ｄを予測した場合には、
図２（ｃ）の予測視差領域２５に示すような、物体２１
が存在する領域近辺のみを探索するので、物体２３の存
在する領域が物体２１の対応点の検索領域となることは
ない。従って、従来の３次元画像撮像装置において生じ
た誤まった対応点の検索を避けることができ、物体２１
に対する距離情報ｚの精度の向上を図ることができる。

【００３４】また、本発明は上記の形態例に限定される
ものではなく、次のようにしてもよい。例えば、上記形
態例では視差画像を得る手段としてあらかじめ複数の光
学系１ａ、１ｂを設置していたが、１つの光学系を平行
移動させて物体を撮影し、複数の視差画像を得るように
してもよい。

【００３５】また、対応点の探索の際に用いる輝度情報
としては、輝度情報画像に使用する通常のＲ、Ｇ、Ｂ信
号以外にも、たとえば赤外線領域に感度を有する撮像装
置を使用して赤外線の反射光情報を利用するようにして
もよい。一般に、異なる材質は、異なる反射スペクトル
を有しているので、通常の可視光では対応点の探索が不
可能な場合でも、赤外線に限らず可視領域以外の複数の
スペクトルを利用することで対応点探索が可能になる。

【００３６】また、対応点の探索の際に、窓内の輝度値
の差を最小にすることで対応点を検出したが、ハフ変換
などにより直線成分を検出し特徴量を算出することで対
応点の検出を行ってもよい。

【００３７】また、上述のように予め一括して全ての合
焦面１〜Ｎで画像を撮像するのではなく、合焦面を設定
して撮像する度に合焦領域検出、対応点探索、距離算出
を行うこともでき、これにより、輝度値メモリの容量削
減を図ることができる。

【００３８】また、３次元画像メモリ１０に輝度値を記
憶する際に、合焦領域であると判断された場合の輝度値
だけを記憶することにより、撮像画像全面に渡ってピン
トが合っているいわゆる全焦点画像を記憶するようにし
てもよい。

【００３９】

【発明の効果】以上述べた通り、本発明の３次元画像撮
像装置によれば、複数の合焦面を設定してステレオ画像
を撮像し、画像から合焦している領域を検出することに
より大まかな距離を測定し、得られた合焦領域について
視差を予測して、予測された視差の範囲内のみを対応点
の候補領域として探索を行うことにしたので、探索時間
を大幅に短縮することができるようになった。

【００４０】また、合焦している領域の中から対応点を
探索するので、算出された距離情報が合焦面までの距離
±被写界深度の範囲内にあるかどうかを判定する必要が
なく、これによって、処理全体の時間を短縮することが
できるようになった。

【００４１】更に、同じ合焦面の領域に複数の物体が存
在した場合でも、複数の物体が同じ視差領域に存在しな
いので、誤った対応点を検出することが無くなり、物体
の距離情報を高い精度で得ることができるようになっ
た。

【００４２】即ち、本発明の３次元画像撮像装置によれ
ば、撮像対象の範囲が奥行き方向に比較的広いレンジを
有している場合であっても、撮像対象の距離情報の算出
速度および精度を向上させることができるようになっ
た。

【図面の簡単な説明】

【図１】本発明による３次元画像撮像装置を示す図であ
る。

【図２】本発明の３次元画像撮像装置によって物体を撮
像した様子を示す図である。

【図３】本発明による３次元画像撮像装置の動作を示す
フローチャート図である。

【図４】従来の３次元画像撮像装置のステレオ視におけ
る基線長と距離、視差を示す概念図である。

【図５】従来の３次元画像撮像装置の異なる合焦面で合
焦を行うことを示す図である。

【符号の説明】

１ａ、１ｂ光学系２ａ、２ｂ撮像素子３ａ、３ｂ輝度値メモリ４ａ、４ｂ合焦領域検出部５合焦位置設定部６予測視差領域算出部７対応点探索部８距離算出部９距離値メモリ１０３次元画像メモリ２１、２２、２３、５１、５２、５３物体２４、５４背景物体２５予測視差領域４１撮像対象物体４２ａ、４２ｂレンズ４３ａ、４３ｂ撮像画像面４４ａ、４４ａ’、４４ｂピクセル

Claims

【特許請求の範囲】

【請求項１】物体を撮像する複数の合焦面からの輝度情
報によって前記物体の３次元画像情報を得る３次元画像
撮像装置において、前記複数の合焦面の各々の合焦面で、複数の位置から前
記物体を撮像する撮像手段と、前記撮像手段を制御し
て前記複数の合焦面の各々の合焦面に設定する合焦面設
定手段と、前記輝度情報に基づいて前記物体が合焦し
ている合焦面を検出する合焦面検出手段と、前記合焦
面検出手段によって検出された前記合焦面と前記撮像手
段との距離から、前記撮像手段によって撮像された前記
物体に対する予測視差領域を算出する予測視差領域算出
手段と、前記予測視差領域算出手段によって算出され
た前記予測視差領域から、前記物体の対応点を探索する
対応点探索手段と、前記対応点探索手段によって探索された前記物体の前記
対応点に基づいて、前記物体と前記撮像手段との距離を
算出する距離情報算出手段と、を有することを特徴とする３次元画像撮像装置。
【請求項２】前記撮像手段は、複数の光学系であること
を特徴とする請求項１記載の３次元画像撮像装置。
【請求項３】前記撮像手段は、１つの光学系を前記複数
の位置に移動させて前記物体を撮像することを特徴とす
る請求項１記載の３次元画像撮像装置。
【請求項４】前記輝度情報は、ＲＧＢ信号であることを
特徴とする請求項１記載の３次元画像撮像装置。
【請求項５】前記輝度情報は、赤外線反射光情報などの
可視領域以外の反射スペクトルであることを特徴とする
請求項１記載の３次元画像撮像装置。