JPH1069543A - 被写体の曲面再構成方法及び被写体の曲面再構成装置 - Google Patents

Abstract

(57)【要約】 【課題】 被写体の曲面形状を良好な精度で検出して再
構成する。 【解決手段】 被写体を２つの異なる位置から撮像して
それぞれの位置から見た濃淡画像を検出するための画像
検出部１０と、異なる濃淡画像における画素同士の輝度
比を算出し、この輝度比に基づいて被写体の面の傾きを
算出し被写体の曲面を再構成する曲面再構成部１２とを
具えている。被写体における第１着目部分の面の傾き
を、第１着目部分に隣接する第２および第３着目部分の
面の傾きを第１および第２傾きとしてそれぞれ求め、こ
れら第１および第２傾きの平均を取ることにより求め
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、被写体のステレ
オ画像からその被写体の各部の面の傾きを算出し、その
傾きに基づき被写体の曲面を再構成する方法とその装置
とに関する。

【０００２】

【従来の技術】従来、被写体の各部の面の傾きを検出す
る方法として、例えば文献１「電子情報通信学会論文誌
Ｄ−II Ｖｏｌ．Ｊ７７−Ｄ−II Ｎｏ．９ ｐｐ．
１７９７−１８０５ １９９４年９月」に開示されてい
る“照度差ステレオ法”と呼ばれる方法がある。この照
度差ステレオ法によれば、輝度の変化から物体の面の傾
きを算出する３次元形状の再現手法であって、同一シー
ンで光源の方向のみを変化させて同一位置より写した複
数枚の画像からその物体各点の面素の方向を得ることが
できる。そして、その面素の傾きを積分することにより
物体の３次元形状を再構成することができる。

【０００３】また、被写体を少なくとも２つの異なる位
置から撮像してそれぞれの位置から見た濃淡画像いわゆ
るステレオ画像を検出し、被写体の着目部分に対応する
それぞれの濃淡画像中の画素を検出することにより被写
体上の位置を検出して物体の３次元形状を再構成する方
法がある（文献２「電子情報通信学会論文誌 Ｄ−IIＶ
ｏｌ．Ｊ７７−Ｄ−II Ｎｏ．９ ｐｐ．１６７３−１
６７９ １９９４年９月」）。

【０００４】

【発明が解決しようとする課題】しかしながら、従来の
傾き検出方法である照度差ステレオ法では、光源と物体
の材質を限定した上で反射率マップを用意する必要があ
るし、また照明方向をいくつか変えて照明する必要があ
る（例えば文献１）。これらは、検出対象物を制限する
ことになったり、検出装置の構成を複雑化する等の原因
になると考えられている。

【０００５】従って、従来より、被写体の色や明るさに
制限されないで、広い使用環境で動作可能で、然も、光
源配置に依らないで被写体の傾きが検出できる方法及び
装置の出現が望まれていた。

【０００６】そこで、この出願に係る発明は、上述した
課題を解決するとともに、さらに、測定精度を向上さ
せ、従来検出することが出来なかった被写体の細かい凹
凸をも検出可能な方法及び装置を提案することを目的と
する。

【０００７】

【課題を解決するための手段及び作用】この出願に係る
第１発明の被写体の曲面再構成方法によれば、被写体を
少なくとも２つの異なる位置から撮像してそれぞれの位
置から見た各々１つずつの濃淡画像を検出し、前記異な
る濃淡画像における画素同士の輝度比を算出し、この輝
度比に基づいて前記被写体の面の傾きを算出し前記被写
体の曲面を再構成するに当たり、前記被写体における第
１着目部分の面の傾きを、この第１着目部分に隣接す
る、互いに異なる第２および第３着目部分の面の傾きを
それぞれ第１および第２傾きとして求めて、これら第１
および第２傾きの平均を取ることにより求めることを特
徴とする。

【０００８】このように、被写体の１部分に着目してそ
の着目部分の面の傾きを求めるのではなく、その着目部
分に隣接する他の部分の面の傾きを求めこれらの平均を
取ることにより前述した着目部分の面の傾きを得る。こ
のため、この方法により求めた傾きに基づき再構成され
た曲面には、被写体の曲面形状の連続性が取り入れられ
ており、より正確な曲面を再構成することができる。ま
た、この方法によれば、輝度の絶対値を使用することな
く被写体の傾き検出ができるから、被写体の色や明るさ
に制限されず、また、光源配置にも依らない広い使用環
境で被写体の傾き検出ができる。

【０００９】次に、この出願に係る第２発明の被写体の
曲面再構成方法によれば、（ａ）被写体を少なくとも２
つの異なる位置から撮像してそれぞれの位置から見た各
々１つずつの濃淡画像を検出し、（ｂ）異なる前記濃淡
画像における画素同士の輝度比を算出し、（ｃ）この輝
度比に基づいて前記被写体の面の傾きを算出し前記被写
体の曲面を再構成するに当たり、前記（ｂ）工程は、
（ｂ−１）前記濃淡画像の１つを基準画像として設定し
てこの基準画像を構成するマトリックス配列された多数
の画素のうち前記被写体の着目部分に対応した１つの画
素を第１画素としてこの第１画素の第１輝度を検出する
ステップと、（ｂ−２）前記基準画像とは異なる前記１
つの濃淡画像を構成するマトリックス配列された多数の
画素のうち前記着目部分に対応した１つの画素を原点画
素とし、この原点画素から第１オフセットだけ離れた画
素を第２画素としてこの第２画素の第２輝度を検出する
ステップと、（ｂ−３）前記原点画素と前記第２画素と
を結ぶ直線上であって、前記第２画素とは反対側に前記
原点画素から第２オフセットだけ離れた画素を第３画素
としてこの第３画素の第３輝度を検出するステップと、
（ｂ−４）前記第１輝度と前記第２輝度との第１輝度比
を求めるステップと、及び（ｂ−５）前記第１輝度と前
記第３輝度との第２輝度比を求めるステップとを含み、
及び前記（ｃ）工程は、（ｃ−１）前記第１および第２
輝度比に基づいて前記被写体の面の傾きを算出し前記被
写体の曲面を再構成するステップを含むことを特徴とす
る。

【００１０】このように、着目部分に隣接する２つの被
写体部分について面の傾きを求めこれらの平均傾きを前
述した着目部分の面の傾きとすることにより、１つの着
目部分について輝度比を求め傾きを算出する場合にその
着目部分の位置やその着目部分に相当する画素の輝度値
の検出精度が不充分であったために生じていた、細かい
凹凸の見逃しを抑制することができる。従って、測定精
度を向上させることができる。また、この方法によれ
ば、輝度の絶対値を使用することなく被写体の傾き検出
ができるから、被写体の色や明るさに制限されず、ま
た、光源配置にも依らない広い使用環境で被写体の傾き
検出ができる。

【００１１】また、この第２発明の被写体の曲面再構成
方法において、好ましくは、前記（ｃ−１）ステップ
は、（ｈ１）前記第１輝度比から第１傾きを算出するサ
ブステップと、（ｈ２）前記第２輝度比から第２傾きを
算出するサブステップと、（ｈ３）前記着目部分を変え
て前記第１傾きを求めこれら第１傾きに基づいて第１曲
面を構成するサブステップと、（ｈ４）前記着目部分を
変えて前記第２傾きを求めこれら第２傾きに基づいて第
２曲面を構成するサブステップと、（ｈ５）前記第１お
よび第２曲面の平均曲面を前記被写体の曲面として再構
成するサブステップとを含むのが良い。

【００１２】また、この第２発明の被写体の曲面再構成
方法において、好ましくは、前記（ｃ−１）ステップ
は、（ｉ１）前記第１および第２輝度比の平均輝度比を
求めるサブステップと、（ｉ２）前記平均輝度比から平
均傾きを算出するサブステップと、（ｉ３）前記着目部
分を変えて前記平均傾きを求めこれら平均傾きに基づい
て求めた平均曲面を前記被写体の曲面として再構成する
サブステップとを含むのが良い。

【００１３】また、この第２発明の被写体の曲面再構成
方法の好適例によれば、前記（ａ）ステップで検出され
た前記濃淡画像の全てに対して前記（ｂ−１）ステップ
で順次に前記基準画像を設定して前記（ｂ−１）〜（ｂ
−５）ステップを実行した後、前記基準画像に関してそ
れぞれ得られた第１および第２輝度比の組に基づいて前
記被写体の予備曲面をそれぞれ求め、これら予備曲面の
重み付け平均曲面を前記被写体の曲面として再構成する
ことを特徴とする。

【００１４】このように、複数の濃淡画像の各々を基準
画像とした場合にそれぞれ予備奥行を求めこれら予備奥
行を重み付け平均することにより、被写体の曲面を、見
る位置を変えて再構成することができるようになる。

【００１５】次に、この出願に係る第３発明の被写体の
曲面再構成装置によれば、被写体を少なくとも２つの異
なる位置から撮像して複数の濃淡画像を検出する画像検
出部と、検出された互いに異なる濃淡画像における画素
同士の輝度比を算出し、この輝度比に基づいて前記被写
体の面の傾きを算出して前記被写体の曲面を再構成する
曲面再構成部とを具える曲面再構成装置において、前記
曲面再構成部は、前記複数の濃淡画像の１つを基準画像
として設定して該基準画像を構成するマトリックス配列
された多数の画素のうち前記被写体の着目部分に対応し
た１つの画素を第１画素としてこの第１画素の第１輝度
を検出する第１輝度検出部と、前記基準画像とは異なる
前記１つの濃淡画像を構成するマトリックス配列された
多数の画素のうち前記第１画素に対応する１つの画素を
原点画素として対応付けを行う原点画素設定部と、前記
原点画素から第１オフセットだけ離れた画素を第２画素
としてこの第２画素の第２輝度を検出する第２輝度検出
部と、前記原点画素と前記第２画素とを結ぶ直線上であ
って、前記第２画素とは反対側に前記原点画素から第２
オフセットだけ離れた画素を第３画素としてこの第３画
素の第３輝度を検出する第３輝度検出部と、前記第１輝
度と前記第２輝度との第１輝度比を求める第１輝度比算
出部と、前記第１輝度と前記第３輝度との第２輝度比を
求める第２輝度比算出部と、前記第１および第２輝度比
に基づいて前記被写体の曲面を再構成する奥行検出部と
を具える手段であることを特徴とする。

【００１６】このように、着目部分に隣接する２つの被
写体部分について面の傾きを求めこれらの平均傾きを前
述した着目部分の面の傾きとすることにより、１つの着
目部分について輝度比を求め傾きを算出する場合にその
着目部分の位置やその着目部分に相当する画素の輝度値
の検出精度が不充分であったために生じていた、細かい
凹凸の見逃しを抑制することができる。従って、測定精
度を向上させることができる。また、この装置によれ
ば、輝度の絶対値を使用することなく被写体の傾き検出
ができるから、被写体の色や明るさに制限されず、ま
た、光源配置にも依らない広い使用環境で被写体の傾き
検出ができる。

【００１７】また、第３発明の被写体の曲面再構成装置
において、好ましくは、前記画像検出部は、２眼ステレ
オ検出装置と、この２眼ステレオ検出装置が検出した左
右の濃淡画像をそれぞれ格納する濃淡画像格納部と、格
納された左右の濃淡画像における、前記被写体の同一箇
所に対応するそれぞれの画素間の関係を記す左右画像対
応情報を格納する位相差画像格納部とを具えるのが良
い。

【００１８】また、第３発明の被写体の曲面再構成装置
において、好ましくは、前記奥行検出部は、前記第１輝
度比から第１傾きを算出する第１傾き算出部と、前記第
２輝度比から第２傾きを算出する第２傾き算出部と、前
記第１傾きに基づいて第１奥行を算出する第１奥行算出
部と、前記第２傾きに基づいて第２奥行を算出する第２
奥行算出部と、前記第１および第２奥行の平均奥行きを
求めこの平均奥行きに基づき前記被写体の曲面を再構成
する平均奥行算出部とを具えるのが良い。

【００１９】また、第３発明の被写体の曲面再構成装置
において、好ましくは、前記奥行検出部は、前記第１お
よび第２輝度比の平均輝度比を求める平均輝度比算出部
と、前記平均輝度比から平均傾きを算出する平均傾き算
出部と、前記平均傾きに基づいて平均奥行を算出しこの
平均奥行に基づき前記被写体の曲面を再構成する第３奥
行算出部とを具えるのが良い。

【００２０】また、第３発明の被写体の曲面再構成装置
の好適な構成例によれば、前記曲面再構成部を複数段具
え、これら各曲面再構成部ごとに異なる前記濃淡画像を
前記基準画像として設定してあり、これら各曲面再構成
部が出力する予備奥行を統合することにより前記被写体
の奥行とする奥行統合部を具えることを特徴とする。

【００２１】このように、複数の濃淡画像の各々を基準
画像とした場合にそれぞれ求めた予備奥行きを統合する
ことにより、被写体の曲面を、見る位置を変えて再構成
することができる装置である。

【００２２】また、第３発明の被写体の曲面再構成装置
において、好ましくは、前記統合は、重み付け平均によ
り行うのが良い。

【００２３】

【発明の実施の形態】以下、図を参照して、この発明の
実施の形態につき説明する。尚、図は、この発明の構
成、大きさ及び配置関係が理解出来る程度に概略的に示
してあり、また、以下に記載する数値条件等は単なる一
例に過ぎないから、従って、この発明は、この実施の形
態に何ら限定されることがない。

【００２４】［第１の実施の形態］図１は、第１の実施
の形態の被写体の曲面再構成装置の構成を示すブロック
図である。この構成例の被写体の曲面再構成装置は、被
写体を少なくとも２つの異なる位置から撮像して複数の
濃淡画像を検出する画像検出部１０と、検出された互い
に異なる濃淡画像における画素同士の輝度比を算出し、
この輝度比に基づいて被写体の面の傾きを算出して被写
体の曲面を再構成する曲面再構成部１２とを具えてい
る。

【００２５】上述した画像検出部１０は、主として、２
眼ステレオ検出装置１４および画像記憶部１６を具えて
いる。この２眼ステレオ検出装置１４は、２台のカメラ
２２ａおよび２２ｂと対応画素探索手段とを具えてい
る。図２は、これら２台のカメラ２２ａおよび２２ｂと
被写体２４との光学的配置例を示す線図である。また、
この図２は、被写体２４の着目部分２６から２台のカメ
ラ２２ａおよび２２ｂへの入射光等を含めた光学配置の
説明図である。尚、図２では被写体２４を平板のごとく
示しているがこれは一例に過ぎない。

【００２６】図２において、２眼ステレオ検出装置１４
は、左カメラ２２ａ、右カメラ２２ｂおよび対応画素探
索手段（図示せず）を具えた構成である。２台のカメラ
２２ａおよび２２ｂは、距離Ｗをもってそれぞれの光軸
ｏ１およびｏ２が平行になるように被写体２４に対し配
置してある。また、カメラ２２ａおよび２２ｂと被写体
２４の着目部分２６との間の、光軸ｏ１およびｏ２に沿
った方向の距離を記号Ｄで示してある。これらカメラ２
２ａおよび２２ｂは、例えばＣＣＤ（Charge Coupled D
evice ）カメラで構成できる。それぞれのカメラ２２ａ
および２２ｂは被写体の像を濃淡画像として検出する。
この濃淡画像は、マトリックス状に配列された多数の画
素での輝度情報でそれぞれ表されている。尚、濃淡画像
は、典型的には、被写体の濃度分布を多値ディジタル信
号で表した情報である。さらに濃淡画像は、Ｒ（赤）、
Ｇ（緑）およびＢ（青）の各色ごとの濃度分布を多値デ
ィジタル信号でそれぞれ表した情報とできる。

【００２７】また、図示しない対応画素探索手段は、左
カメラ２２ａで得られるマトリックス画素配列中のある
画素での濃淡画像（以下、左濃淡画像と称する。）にお
ける被写体２４の位置が、右カメラ２２ｂで得られる濃
淡画像（以下、右濃淡画像と称する。）中のどの画素位
置に対応しているかを探索する手段である。この探索結
果は、後述するように位相差画像（左右画像対応情報）
と呼ばれる情報で表される。この２眼ステレオ検出装置
１４の構成は、例えば、文献２に開示の技術で構成でき
る。

【００２８】さらに、図１において、画像検出部１０
は、２眼ステレオ検出装置１４で検出・生成した濃淡画
像および位相差画像を格納しておくための画像記憶部１
６を具えている。この画像記憶部１６は、２眼ステレオ
検出装置１４が検出した左右の濃淡画像をそれぞれ格納
する濃淡画像格納部１８と、格納された左右の濃淡画像
における、被写体２４の同一箇所（着目部分２６）に対
応するそれぞれの画素間の関係を記す左右画像対応情報
を格納する位相差画像格納部２０とを具えている。上述
の濃淡画像格納部１８は、左カメラ２２ａで撮像した左
濃淡画像を対応する画素配列中の各画素と対応させて格
納しておくための左濃淡画像格納部１８ａと、右カメラ
２２ｂで撮像した右濃淡画像を対応する画素配列中の各
画素と対応させて格納しておくための右濃淡画像格納部
１８ｂとを具えている。また、上述した位相差画像格納
部２０は、対応画素探索手段により生成された位相差画
像（左右画像対応情報）を格納しておくための手段であ
る。

【００２９】次に、曲面再構成部１２は、第１輝度検出
部２７、原点画素設定部２８、第２輝度検出部２９、第
３輝度検出部３０、第１輝度比算出部３２、第２輝度比
算出部３４および奥行検出部３６を具えている。

【００３０】上述の第１輝度検出部２７は、画像検出部
１０で検出された複数の濃淡画像の１つを基準画像とし
て設定して、この基準画像を構成するマトリックス配列
された多数の画素のうち被写体２４の着目部分２６に対
応した１つの画素を第１画素としてこの第１画素の第１
輝度を検出する手段である。この実施の形態では、第１
輝度検出部２７は、上述の右濃淡画像をこの基準画像と
して設定して右濃淡画像格納部１８ｂから右濃淡画像を
呼び出し、呼び出した画素情報の中から着目部分２６に
対応する画素を第１画素として選択し、その第１画素の
輝度を第１輝度として検出する。

【００３１】また、原点画素設定部２８は、基準画像と
は異なる１つの濃淡画像を構成するマトリックス配列さ
れた多数の画素のうち第１画素に対応する１つの画素を
原点画素として対応付けを行う手段である。すなわち、
この実施の形態では、左濃淡画像格納部１８ａから左濃
淡画像を呼び出し、その画素情報の中から右濃淡画像の
第１画素に対応する画素を原点画像として選択する。

【００３２】また、第２輝度検出部２９は、原点画素か
ら第１オフセットだけ離れた画素を第２画素としてこの
第２画素の第２輝度を検出する手段である。この実施の
形態の第２輝度検出部２９は、原点画素設定部２８で原
点画素として選択された画素から第１オフセットだけ離
間した画素を第２画素として選択するオフセット付加部
６２ａと、そして、そのオフセット付加部６２ａで選択
した第２画素の輝度を第２輝度として検出する輝度検出
部６４ａとを具えている。

【００３３】また、第３輝度検出部３０は、原点画素と
第２画素とを結ぶ直線上であって、第２画素とは反対側
に原点画素から第２オフセットだけ離れた画素を第３画
素としてこの第３画素の第３輝度を検出する手段であ
る。この第３輝度検出部３０は、原点画素設定部２８で
原点画素として選択された画素から第２オフセットだけ
離間した画素を第３画素として選択するオフセット付加
部６２ｂと、このオフセット付加部６２ｂで選択した第
３画素の輝度を第３輝度として検出する輝度検出部６４
ｂとを具えている。

【００３４】第１輝度比算出部３２は、第１輝度と第２
輝度との第１輝度比を求める手段である。第１輝度検出
部２７で検出した第１輝度と、第２輝度検出部２９で検
出した第２輝度とを読み込み、これらの比（第２輝度／
第１輝度）を第１輝度比として算出する。

【００３５】また、第２輝度比算出部３４は、第１輝度
と第３輝度との第２輝度比を求める手段である。第１輝
度検出部２７で検出した第１輝度と、第３輝度検出部３
０で検出した第３輝度とを読み込み、これらの比（第３
輝度／第１輝度）を第２輝度比として算出する。

【００３６】また、奥行検出部３６は、第１および第２
輝度比に基づいて被写体の曲面を再構成する手段であ
る。この奥行検出部３６は、第１傾き算出部４４、第２
傾き算出部４６、第１奥行算出部４８、第２奥行算出部
５０および平均奥行算出部５２を具えている。

【００３７】次に、この発明の被写体の曲面再構成方法
における処理について説明する。尚、曲面再構成部１２
の動作についても、この曲面再構成方法と併せて説明す
る。

【００３８】先ず、被写体を少なくとも２つの異なる位
置から撮像して複数の濃淡画像を検出する。この実施の
形態では、被写体２４を左カメラ２２ａおよび右カメラ
２２ｂで撮像する。これにより、２台のカメラ２２ａお
よび２２ｂそれぞれの位置から見た濃淡画像を得る。撮
像は時間的に連続的に行うことが可能であるがここでは
ステレオ画像が１対あればこの発明の主旨を説明できる
ので、１対についてのみ説明する。

【００３９】撮像されたステレオ画像（左濃淡画像およ
び右濃淡画像）はそのまま左濃淡画像格納部１８ａ、右
濃淡画像格納部１８ｂに出力され格納されるが、同時に
２眼ステレオ検出装置１４による左右濃淡画像の対応画
素探索が行われて、左右画像対応情報（上述した位相差
画像に相当する。）が抽出される。左右画像対応情報の
抽出について図３（Ａ）〜（Ｃ）を参照し、具体的に説
明する。図３（Ａ）は左濃淡画像格納部１８ａ内の様子
を模式的に示した図、図３（Ｂ）は右濃淡画像格納部１
８ｂ内の様子を模式的に示した図、図３（Ｃ）は位相差
画像格納部２０内の様子を模式的に示した図である。対
応点画素検索手段は、左濃淡画像格納部１８ａおよび右
濃淡画像格納部１８ｂ内をそれぞれ走査する。この際、
例えば濃淡の変化具合が同様な画像部分が出現したか否
か等を検出し、左右濃淡画像における対応画素を探索す
る。図３（Ａ）および（Ｂ）には、左濃淡画像における
基準から（ｄ１，ｙ１）の位置の画素「Ａ」と、右濃淡
画像における基準から（ｄ２，ｙ１）の位置の画素
「Ｂ」とが対応する例を示している。これに応じ、位相
差画像格納部２０の（ｄ１，ｙ１）の位置には、ｄ＝ｄ
２−ｄ１で与えられる情報ｄ（ｄを位相差と称する。）
が格納される。左右濃淡画像の全画素について上記同様
に対応画素探索をすることで、右濃淡画像を基準とする
左右画像対応情報が得られる。もちろん、左濃淡画像を
基準として左右画像対応情報を抽出しても良い。

【００４０】このように、左濃淡画像および右濃淡画像
の一方を基準画像として設定する。そして、この基準画
像を構成するマトリックス配列された多数の画素のう
ち、被写体２４の着目部分２６に対応した１つの画素を
第１画素として、この第１画素の輝度を第１輝度として
検出する。これらの処理は、前述した第１輝度検出部２
７において行われる。この処理の結果、図３（Ｂ）にお
いて、列位置ｄ２における画素「Ｂ」を被写体２４の着
目部分２６に対応した第１画素として設定し、この第１
画素「Ｂ」の輝度すなわち第１輝度Ｌｒ（ｄ２）が検出
される。

【００４１】次に、左濃淡画像を構成するマトリックス
配列された多数の画素のうち着目部分２６に対応した１
つの画素を原点画素として設定する。この処理は、前述
した原点画素設定部２８において行われる。左右濃淡画
像における対応画素は、上述した左右画像対応情報によ
り判明しているから、右濃淡画像中の第１画素「Ｂ」に
対応する左濃淡画像中の画素を検出することができる。
図３（Ａ）において、列位置ｄ１における画素「Ａ」を
着目部分２６に対応した原点画素とする。この原点画素
「Ａ」の輝度を記号Ｌｌ（ｄ１）で表す。

【００４２】そして、この原点画素から第１オフセット
だけ離れた画素を第２画素として、この第２画素の第２
輝度を検出する。この実施の形態では、第１オフセット
は図３（Ａ）の列方向（図３（Ａ）の矢印Ｄで示す方
向）の１画素分の変移量であり、原点画素「Ａ」から列
方向に１画素だけ右側に離れた位置（ｄ１＋１，ｙ１）
の画素「Ａ１」を第２画素として設定する。そして、こ
の第２画素「Ａ１」の輝度すなわち第２輝度Ｌｌ（ｄ１
＋１）を検出する。この処理は、画像記憶部１６に格納
されている情報に基づき、前述した第２輝度検出部２９
において行われる。尚、第１オフセットとしては上述し
た１画素分の変移量に限らず、被写体２４の凹凸を反映
できる範囲の変移量であればよい。

【００４３】次に、原点画素「Ａ」と第２画素「Ａ１」
とを結ぶ直線上であって、第２画素「Ａ１」とは反対側
に原点画素「Ａ」から第２オフセットだけ離れた画素を
第３画素として設定し、この第３画素の第３輝度を検出
する。第２オフセットは、図３（Ａ）において、原点画
素「Ａ」から左側向きの列方向の１画素分の変移量であ
り、原点画素「Ａ」から列方向に１画素だけ左側に離れ
た位置（ｄ１−１，ｙ１）の画素「Ａ２」を第３画素と
して設定する。そして、この第３画素「Ａ２」の輝度す
なわち第３輝度Ｌｌ（ｄ１−１）を検出する。この処理
は、画像記憶部１６に格納されている情報に基づき、前
述の第３輝度検出部３０において行われる。尚、第２オ
フセットとしては上述した１画素分の変移量に限らず、
被写体２４の凹凸を反映できる範囲の変移量であればよ
い。また、第１および第２オフセットの大きさが同じで
なくともよい。

【００４４】次に、第１輝度Ｌｒ（ｄ２）と第２輝度Ｌ
ｌ（ｄ１＋１）との第１輝度比Ｈ１を求める。すなわち
第１輝度比Ｈ１＝Ｌｌ（ｄ１＋１）／Ｌｒ（ｄ２）を算
出する。この処理は、第１オフセット付加部２８の出力
を受けて、前述の第１輝度比算出部３２において行われ
る。

【００４５】また、第１輝度Ｌｒ（ｄ２）と第３輝度Ｌ
ｌ（ｄ１−１）との第２輝度比Ｈ２を求める。すなわち
第２輝度比Ｈ２＝Ｌｌ（ｄ１−１）／Ｌｒ（ｄ２）を算
出する。この処理は、第２オフセット付加部３０の出力
を受けて、前述の第２輝度比算出部３４において行われ
る。尚、輝度比の計算は走査ラインの右側からでも左側
からでもどちら側からでもよい。

【００４６】そして、第１および第２輝度比Ｈ１および
Ｈ２に基づいて被写体２４の面の傾きを算出し、被写体
２４の曲面を再構成する。この処理は、第１および第２
輝度比算出部３２および３４の出力を受けて、奥行検出
部３６において行われる。

【００４７】ここで、輝度比から面の傾きを算出する方
法につき、図２、図４（Ａ）および（Ｂ）を参照して具
体的に説明する。尚、図４（Ａ）は左カメラ２２ａで得
た左濃淡画像上の着目部分２６に対応する画素の位置の
説明図である。また、図４（Ｂ）は、右カメラ２２ｂで
得た右濃淡画像上での着目部分２６に対応する画素の位
置の説明図である。

【００４８】被写体２４の着目部分２６に対してはラン
バートの余弦法則を適用する。着目部分２６における面
の傾きは、この部分２６から２台のカメラ２２ａおよび
２２ｂに入射する輝度の強さが変わることを利用して検
出することができる。この着目部分２６から左カメラ２
２ａに入射される入射光強度Ｌｌと、この着目部分２６
から右カメラ２２ｂに入射される入射光強度Ｌｒとは、
下記の（１）、（２）式でそれぞれ表せる。

【００４９】 Ｌｌ＝Ｌ０・ｃｏｓ（β＋θｌ）ｃｏｓψ ・・・（１） Ｌｒ＝Ｌ０・ｃｏｓ（β＋θｒ）ｃｏｓψ ・・・（２） ただし、βは被写体２４における着目部分２６の面の傾
きを表す。この場合この傾き角βは、被写体２４の着目
部分２６における面の法線がカメラの光軸ｏ１およびｏ
２に対しなす角度である（図２）。また、ψはカメラの
視線（すなわち光軸）が被写体２４に対しなす角度であ
る（よってβと同じ）。また、θｌは左カメラ２２ａの
光軸と、左カメラ２２ａおよび着目部分２６を結ぶ線分
とがなす角度、θｒは右カメラ２２ｂの光軸と、右カメ
ラ２２ｂおよび着目部分２６を結ぶ線分とがなす角度で
ある。また、Ｌ０は着目部分２６からこの着目部分２６
における面の法線方向の光強度成分を表している。

【００５０】左右濃淡画像の対応画素の輝度比Ｈは、上
記（１）、（２）式を用いて下記の（３）式で表せる。

【００５１】 Ｈ＝Ｌｌ／Ｌｒ＝ｃｏｓ（β＋θｌ）／ｃｏｓ（β＋θｒ） ・・・（３） この（３）式中のθｌは左濃淡画像における着目部分２
６に対応する画素の位置から求められ、θｒは右濃淡画
像における着目部分２６に対応する画素の位置から求め
られる。すなわち、図４（Ａ）に示したように、カメラ
２２ａから角度θｌの視線上にある着目部分２６は、画
角αでＮの画素数から成る画像上においては画素位置Ｐ
ｌ上に現れる。よって、画素位置Ｐｌを与える角度θｌ
は θｌ＝ｔａｎ^-1［｛２（Ｐｌ−Ｐ０）／Ｎ｝・ｔａｎ（α／２）］ ・・・・ （４） で求められる。ただし、記号Ｐ０は画像の中心画素位置
を表す。同様に、図４（Ｂ）に示したように、カメラ２
２ｂから角度θｒの視線上にある着目部分２６は、画角
αでＮの画素数から成る画像上においては画素位置Ｐｒ
に現れる。よって、画素位置Ｐｒを与える角度θｒは θｒ＝ｔａｎ^-1［｛２（Ｐｒ−Ｐ０）／Ｎ｝・ｔａｎ（α／２）］ ・・・・ （５） で求められる。

【００５２】これら（３）式、（４）式および（５）式
から明らかなように、被写体２４の着目部分２６の傾き
角βは、左右画像の輝度比に基づいて、具体的には、左
濃淡画像および右濃淡画像における対応画素どうしの輝
度比と、用いたカメラ２２ａ、２２ｂの画角αと、左濃
淡画像および右濃淡画像における対応画素の画素位置
と、左濃淡画像および右濃淡画像の大きさＮとにより求
められる。尚、対応画素どうしの輝度比を算出する際、
左濃淡画像の輝度値Ｌｌと右濃淡画像の輝度値Ｌｒのど
ちらを分母にしどちらを分子にするかは画素面の傾きの
正負に関係するので予め決めておけば良く、本質的な問
題ではない。

【００５３】そして、被写体２４における着目部分２６
を順次に他の部分に移して同様な手順で傾き角βをそれ
ぞれ検出する。これら検出した各部の傾き角βから奥行
微分量ｍ・ｔａｎβ（ただし、ｍは１画素の単位長さを
表す。）を求め、この奥行微分量を積分装置等で画素の
配列方向に沿って積分すれば被写体の奥行を求めること
ができ、画像の細かい凹凸を再現することができる。そ
の一例を図５に示す。ただし、通常は１枚の画像として
得られるので面の画面になっているが、ここでは説明の
簡単化のため画面の中の１走査線（ライン）についての
み示している。

【００５４】すなわち、図５（Ａ）は、１走査線に沿う
複数の画素（正確には被写体上の複数の着目部分）ごと
の傾き角を法線の方向によって示した図である。横軸に
１走査線（水平走査線）上の画素の画素Ｎｏ．（画素番
号）を取り、その横軸に直交する方向（図５（Ａ）の矢
印ｐで示す方向）にカメラ２２ａ、２２ｂの光軸ｏ１、
ｏ２が延在するものとする。この図５（Ａ）は、カメラ
２２ａ、２２ｂの光軸ｏ１、ｏ２に対し矢印に示すよう
な向きに画面（着目部分の面）が傾いていることを示し
ている。その画面の傾きをもとに積分などの従来の処理
で凹凸を再現すると図５（Ｂ）の図が得られる。

【００５５】図５（Ｂ）は、求めた面の傾きから再現し
た曲面の様子を示す図であり、横軸に画素Ｎｏ．を取
り、縦軸に奥行を取って示す。１画素の単位長さｍは既
知であるから、法線の向きが判れば凹凸の度合い（奥行
微分量）も三角関数から求められる。このような処理を
画面全体に亘って処理することで、１画面の凹凸（奥
行）を再現できる。このように、左濃淡画像および右濃
淡画像中のそれぞれの着目部分に対応する画素同士の輝
度比に基づいて、その着目部分の面の傾きを求めること
ができる。

【００５６】一方、この実施の形態では、上述したよう
に、着目部分２６に対応する画素同士の輝度比Ｈ＝［Ｌ
ｒ（ｄ２）／Ｌｌ（ｄ１）］を求めるのではなく、基準
画像の着目部分２６に対応する第１画素「Ｂ」と、この
第１画素「Ｂ」に対応する左濃淡画像の原点画素「Ａ」
から第１および第２オフセットだけ離間した各画素「Ａ
１」、「Ａ２」との、前述した第１および第２輝度比Ｈ
１およびＨ２を算出する。そして、これら第１および第
２輝度比Ｈ１およびＨ２に対して、上記（３）式、
（４）式および（５）式を適用して傾きβを求める。

【００５７】図６は、凸部３８を有する被写体２４の着
目部分２６とこの着目部分２６に対応する濃淡画像の画
素位置との関係を模式的に示す線図である。図６に、左
カメラ２２ａをレンズ４０ａおよび結像面４２ａの構成
にて示し、また、右カメラ２２ｂをレンズ４０ｂおよび
結像面４２ｂの構成にて示す。従って、結像面４２ａお
よび４２ｂに結像される像は、そのまま左濃淡画像およ
び右濃淡画像のそれぞれに対応することになる。また、
左カメラ２２ａおよび右カメラ２２ｂは、各々の光軸ｏ
１およびｏ２が平行になるように被写体２４に対し配置
されている。

【００５８】図６において、被写体２４の凸部３８の先
端部分を着目部分２６とし、この部分２６から発してレ
ンズ４０ａで集光され結像面４２ａ上の位置ａに結像さ
れる光線と、同じく着目部分２６から発してレンズ４０
ｂで集光され結像面４２ｂ上の位置ｂに結像される光線
とを実線で示してある。結像面４２ａ上の位置ｂは、上
述した左濃淡画像中の原点画素「Ａ」に対応するとし、
この位置ａに到達する光の強度が原点画素「Ａ」の輝度
Ｌｌ（ｄ１）に相当すると考える。また、同様にして、
結像面４２ｂ上の位置ｂは、上述した右濃淡画像中の第
１画素「Ｂ」に対応するとし、結像面４２ｂ上の位置ｂ
に到達する光の強度が第１画素「Ｂ」の輝度Ｌｒ（ｄ
２）に相当すると考える。

【００５９】この実施の形態では、着目部分２６の面の
傾きを求めるに当たって、先ず、上述したように原点画
素「Ａ」から第１および第２オフセットだけ離れた第２
および第３画素「Ａ１」および「Ａ２」を求める。この
第２画素「Ａ１」に相当する結像面４２ａ上の位置を記
号ｃで示し、また、第３画素「Ａ２」に相当する結像面
４２ｂ上の位置を記号ｄで示す。そして、結像面４２ａ
上の位置ｃに対応する被写体２４上の部分２６ａと、結
像面４２ａ上の位置ｄに対応する被写体２４上の部分２
６ｂとは、着目部分２６を間にして両隣に位置する被写
体２４上の部分となっている。

【００６０】次に、前の処理で得られた第１および第２
輝度比Ｈ１およびＨ２に基づいて、被写体２４の曲面を
再構成する処理につき説明する。

【００６１】先ず、第１輝度比Ｈ１から第１傾きβ（Ｈ
１）を算出する。第１傾きβ（Ｈ１）は、上記（３）
式、（４）式および（５）式を用いて算出することがで
きる。その際に、（４）式および（５）式中の画素位置
Ｐｌとしては位置（ｄ１＋１）を代入し、画素位置Ｐｒ
としては位置ｄ２を代入して計算すればよい。ここで求
めた第１傾きβ（Ｈ１）は、被写体２４上の部分２６ａ
における面の傾きにほぼ相当している量である（この実
施の形態では、基準画像としての右濃淡画像中の着目部
分２６に対応する第１画素についてはオフセット処理を
施さずにそのまま固定しているので、正確には部分２６
ａにおける面の傾きとは異なっている。）。この処理
は、前述した第１輝度比算出部３２の出力を受けて、第
１傾き算出部４４において行われる。

【００６２】次に、第２輝度比Ｈ２から第２傾きβ（Ｈ
２）を算出する。第２傾きβ（Ｈ２）は、上記（３）
式、（４）式および（５）式を用いて算出することがで
きる。その際に、（４）式および（５）式中の画素位置
Ｐｌとしては位置（ｄ１−１）を代入し、画素位置Ｐｒ
としては位置ｄ２を代入して計算すればよい。ここで求
めた第２傾きβ（Ｈ２）は、被写体２４上の部分２６ｂ
における面の傾きにほぼ相当している量である（先に述
べた理由から、正確には異なっている。）。この処理
は、前述した第２輝度比算出部３４からの出力を受け
て、第２傾き算出部４６において行われる。

【００６３】次に、着目部分２６を変えて第１傾きβ
（Ｈ１）を求め、これら第１傾きβ（Ｈ１）に基づいて
第１曲面を構成する。この処理は被写体２４における着
目部分２６を順次に他の部分に移して、同様な手順で第
１傾き角β（Ｈ１）をそれぞれ検出してゆけばよい。こ
れら検出した各部の第１傾き角β（Ｈ１）から奥行微分
量ｍ・ｔａｎβ（Ｈ１）を求め、この奥行微分量を積分
装置等で画素の配列方向に沿って積分すれば被写体の奥
行が求められ、画像の細かい凹凸を再現できる。

【００６４】図７（Ａ）は、１走査線に沿う複数の画素
（正確には被写体上の複数の着目部分）ごとの傾き角β
（Ｈ１）を法線の方向によって示した図である。カメラ
２２ａ、２２ｂの光軸に対し矢印に示すような向きに画
面（着目部分の面）が傾いていることを示している。横
軸に１走査線（水平走査線）上の画素の画素Ｎｏ．（画
素番号）を取り、その横軸に直交する方向にカメラ２２
ａ、２２ｂの光軸ｏ１、ｏ２が延在するものとする。そ
の画面の傾きをもとに積分などの従来の処理で凹凸を再
現すると図７（Ｂ）の図が得られる。図７（Ｂ）は、求
めた面の傾きから再現した曲面の様子を示す図であり、
横軸に画素Ｎｏ．を取り、縦軸に奥行を取って示す。こ
のような処理を画面全体に亘って行うことで１画面の凹
凸（奥行）を再現できる。この第１傾きβ（Ｈ１）に基
づいて構築した凹凸を第１曲面と称している。この第１
曲面をΣβ（Ｈ１）で表す（この量を第１奥行とも称す
る。）。この処理は、第１傾き算出部４４の出力を受け
て、第１奥行算出部４８において行われる。

【００６５】次に、着目部分２６を変えて第２傾きβ
（Ｈ２）を求めこれら第２傾きβ（Ｈ２）に基づいて第
２曲面を構成する。この処理も第１曲面を構成した処理
と同様に、先ず、被写体２４における着目部分２６を順
次に他の部分に移して同様な手順で第２傾き角β（Ｈ
２）をそれぞれ検出してゆく。これら検出した各部分の
第２傾き角β（Ｈ２）から奥行微分量ｍ・ｔａｎβ（Ｈ
１）をそれぞれ求め、この奥行微分量を積分装置等で画
素の配列方向に沿って積分すれば被写体の奥行が求めら
れ、画像の細かい凹凸を再現できる。

【００６６】図７（Ｃ）は、１走査線に沿う複数の画素
（正確には被写体上の複数の着目部分）ごとの傾き角β
（Ｈ２）を法線の方向によって示した図である。カメラ
２２ａ、２２ｂの光軸に対し矢印に示すような向きに画
面（着目部分の面）が傾いていることを示している。横
軸に１走査線（水平走査線）上の画素の画素Ｎｏ．（画
素番号）を取り、その横軸に直交する方向にカメラ２２
ａ、２２ｂの光軸ｏ１、ｏ２が延在するものとする。そ
の画面の傾きをもとに積分などの従来の処理で凹凸を再
現すると図７（Ｄ）の図が得られる。図７（Ｄ）は、求
めた面の傾きから再現した曲面の様子を示す図であり、
横軸に画素Ｎｏ．を取り、縦軸に奥行を取って示す。こ
のような処理を画面全体に亘って行うことで１画面の凹
凸（奥行）を再現できる。この第２傾きβ（Ｈ２）に基
づいて構築した凹凸を第２曲面と称している。この第２
曲面をΣβ（Ｈ２）で表す（この量を第２奥行とも称す
る。）。この処理は、第２傾き算出部４６の出力を受け
て、第２奥行算出部５０で行われる。

【００６７】次に、第１および第２曲面の平均曲面を被
写体２４の曲面として再構成する。この処理は、求めた
第１および第２曲面すなわちこれら曲面を表す第１およ
び第２奥行を平均することにより平均奥行を求め、この
平均奥行に基づいた曲面を第１および第２曲面の平均曲
面として求める。すなわち、平均曲面（平均奥行）｛Σ
β（Ｈ１）＋Σβ（Ｈ２）｝／２を求める。この実施の
形態では、この平均曲面を以て被写体２４の曲面として
いる。一例として、図７（Ｅ）に第１および第２曲面
（図７（Ｂ）および（Ｄ））の平均曲面を示す。図７
（Ｅ）は、求めた面の第１曲面および第２曲面から求め
た平均曲面の様子を示す図であり、横軸に画素Ｎｏ．を
取り、縦軸に奥行を取って示す。上述の処理は、第１お
よび第２奥行算出部４８および５０の出力を受けて、平
均奥行算出部５２において行われる。

【００６８】尚、上述したように、第１輝度比Ｈ１と第
２輝度比Ｈ２とを求め、各々について傾きを算出し、各
々の傾きに基づいて曲面を再構成し、それらの平均曲面
を求めることによって被写体の曲面を再構成してもよい
し、あるいは、第１輝度比と第２輝度比とを求めこれら
の輝度比の平均を取り、その平均輝度比に基づいて平均
傾きを求め、その平均傾きに基づいて曲面を再構成して
もよい。前者については説明したので、次に、後者の方
法及び装置の例につき説明する。

【００６９】図８は、第１の実施の形態の被写体の曲面
再構成装置の変形例の構成を示すブロック図である。図
１を参照して説明した装置とは、奥行検出部３６の構成
が異なるだけであるから、この奥行検出部３６の構成に
つき説明する。この変形例の奥行検出部３６は、平均輝
度比算出部５４、平均傾き算出部５６および第３奥行算
出部５８を備えている。

【００７０】平均輝度比算出部５４は、第１および第２
輝度比の平均輝度比を求める手段である。上述した第１
および第２輝度比算出部３２および３４の各出力に対し
処理を施して、平均輝度比を出力する。

【００７１】また、平均傾き算出部５６は、平均輝度比
から平均傾きを算出する手段である。この平均傾き算出
部５６は、平均輝度比算出部５４から出力された平均輝
度比を入力とし、この平均輝度比を用いて平均傾きを算
出して出力する。

【００７２】また、第３奥行算出部５８は、平均傾きに
基づいて第３奥行を算出してこの第３奥行に基づき被写
体の曲面を再構成する手段である。第３奥行算出部５８
は、平均傾き算出部５６から出力された平均傾きから第
３奥行を算出する。そして、この第３奥行算出部５８で
は、被写体上の着目部分を変えて求めた平均傾きに基づ
いて第３奥行（平均曲面）を求め、被写体の曲面の再構
成を行う。この変形例の構成であっても、前述した第１
の実施の形態の被写体の曲面再構成装置と同様の効果を
奏する装置を構成することができる。

【００７３】以上説明したように、第１の実施の形態の
被写体の曲面再構成方法は、被写体における第１着目部
分の面の傾きを、この第１着目部分に隣接する、互いに
異なる第２および第３着目部分の面の傾きをそれぞれ第
１および第２傾きとして求めて、これら第１および第２
傾きの平均を取ることにより求める方法である。このよ
うに、被写体の１部分に着目して面の傾きを求めるので
はなく、その着目部分に隣接する部分の面の傾きを求め
これらの平均傾きを前述の着目部分の傾きとして求めて
いるので、被写体の曲面形状の連続性を取り入れてより
正確な曲面を再構成することができる。

【００７４】次に、この実施の形態の被写体の曲面再構
成方法の効果につき説明する。上述したように、従来は
輝度比ＨとしてＨ＝Ｌｌ（ｄ１）／Ｌｒ（ｄ２）を用
い、この輝度比Ｈに基づき、傾きを求め、奥行を求め被
写体の曲面を再構成していた。しかし、測定精度の関係
上、被写体上の位置を表す量である位相差に被写体の凹
凸部分に対応した変化が現れないことがあった。つま
り、位相差画像上では、その凹凸部分に対応する画素の
値に変化が認められずに、あたかも平坦であるかのよう
に検出してしまうことがあった。従って、検出した位相
差を用いて輝度比を計算すると、被写体上にその凹凸部
分が無い曲面を再構成してしまう場合があった。このこ
とは、実際の着目部分とは異なる位置についての輝度比
を計算してしまうということでもある。このように、被
写体上の位置の検出があいまいであり、また、輝度の絶
対値Ｌｌ（ｄ１）およびＬｒ（ｄ２）を正確に検出する
ことができないため、実際の被写体にあるべき細かい凹
凸を検出することが困難であった。

【００７５】例えば、図９に着目部分と画素位置との関
係を模式的に示す。被写体２４上の凸部３８の先端部分
を着目部分２６とするとき、この着目部分２６から発し
てレンズ４０ａで集光され結像面４２ａ上の位置ａに結
像される光線と、同様に、着目部分２６から発してレン
ズ４０ｂで集光され結像面４２ｂ上の位置ｂに結像され
る光線とを、図９には実線で示してある。また、同図中
において、この被写体２４に凸部３８が無くその部分が
平坦面（図９の破線ｎで示す面）であるときに、その平
坦面上の着目部分２６ｃから発してレンズ４０ａで集光
され結像面４２ａ上の位置ｃに結像される光線と、同様
にして、着目部分２６ｃから発してレンズ４０ｂで集光
され結像面４２ｂ上の位置ｄに結像される光線とを破線
で示してある。

【００７６】この図９から明らかなように、凸部３８が
小さく着目部分２６と平坦面上の着目部分２６ｃとの距
離が小さいとき、結像面４２ａ上の位置ａおよびｃ間、
あるいは、結像面４２ｂ上の位置ｂおよびｄ間の距離が
小さくなり、これらの位置の識別ができなくなることが
ある。従って、凸部３８上を位相差検出面としたときと
平坦面ｎを位相差検出面としたときとで、位相差の変化
が認められなくなる。また、図９では、被写体２４上に
凸部３８がある場合につき説明したが、図１０に示すよ
うに、凸部３８の代わりに被写体２４上に凹部３９があ
る場合であっても同様の問題が生じていた（尚、図１０
において、凹部３９以外の符号は図９の符号と対応して
いる。）。

【００７７】一方、上述したように、この実施の形態の
被写体の曲面再構成方法によれば、着目部分に対応する
一方の濃淡画像中の画素から第１および第２オフセット
だけ離間した画素に対して、上記（３）式、（４）式お
よび（５）式を適用して被写体の曲面を再構成する。す
なわち、従来に測定していた輝度比Ｈ＝Ｌｌ（ｄ１）／
Ｌｒ（ｄ２）を用いるのではなく、第１輝度比Ｈ１＝Ｌ
ｌ（ｄ１＋１）／Ｌｒ（ｄ２）と第２輝度比Ｈ２＝Ｌｌ
（ｄ１−１）／Ｌｒ（ｄ２）とを測定して、これらに基
づき曲面を再構成する。ここで、第２輝度Ｌｌ（ｄ１＋
１）を Ｌｌ（ｄ１＋１）＝Ｌｌ（ｄ１）＋Δ１ ・・・（６） で表す。また、第３輝度Ｌｌ（ｄ１−１）を Ｌｌ（ｄ１−１）＝Ｌｌ（ｄ１）−Δ２ ・・・（７） で表す。この実施の形態では、測定した第１輝度比Ｈ１
と第２輝度比Ｈ２との平均値を、被写体の着目部分にお
ける輝度比（平均輝度比）として求める。すなわち、求
める平均輝度比Ｈ０は Ｈ０＝（Ｈ１＋Ｈ２）／２ ＝｛Ｌｌ（ｄ１＋１）＋Ｌｌ（ｄ１−１）｝／（２Ｌｒ（ｄ２）） ＝｛Ｌｌ（ｄ１）＋Δ１＋Ｌｌ（ｄ１）−Δ２｝／（２Ｌｒ（ｄ２）） ＝Ｌｌ（ｄ１）／Ｌｒ（ｄ２）＋（Δ１−Δ２）／（２Ｌｒ（ｄ２）） ・・・（８） と表すことができる。上述したように、この実施の形態
においては、第１および第２オフセットを被写体が連続
体とみなせる範囲に設定してあるから、Δ１≒Δ２と考
えてよい。よって、上記（８）式で表される輝度比Ｈ０
を、本来の輝度比Ｈに代えて用いることができる。この
ように、輝度値Ｌｌ（ｄ１）を実際に正確に測定するこ
とができなくても、この方法によれば、着目部分の面に
おける輝度比が求められることが理解できる。

【００７８】このように、この実施の形態の被写体の曲
面再構成方法によれば、被写体の輝度の分布とカメラの
配置による輝度比の歪とを、第１および第２オフセット
の処理を施すこの実施の形態の手法により是正すること
が可能である。よって、従来より正確に輝度比を測定す
ることができるから、より正確に被写体の曲面を再構成
することができるようになる。

【００７９】また、傾きから奥行を算出するための積分
としては、例えば、同じ位相差の被写体上の部分につい
て継続して積分を行い、所定位相差以上の変化がある場
合には積分開始値にリセットし、その後、次の所定の位
相差の被写体上の部分について積分を行うといった方法
を用いるのが良い。このように、輝度比を求める対応す
る画素同士が同じ位相差として扱える範囲を積分区間と
して設定して、積分を行う。図１１は、この積分方法の
説明に供する図である。図１１の上側から、画素Ｎｏ．
（画素番号）と位相差の関係を示すグラフ、画素Ｎｏ．
と傾き値の関係を示すグラフ、画素Ｎｏ．と積分値との
関係を示すグラフを示してある。各グラフの横軸に画素
Ｎｏ．を取って示し、各グラフの横軸の画素Ｎｏ．を揃
えて示してある。積分は、画面（濃淡画像）の走査ライ
ンごとにカメラ配列方向に沿って行う。

【００８０】図１１において、積分は画素番号Ｎ１から
画素番号Ｎ４側に行ってゆく。積分開始値を記号Ｓで表
す。画素Ｎｏ．がＮ１のときに第１の積分を開始し、画
素Ｎｏ．がＮ２のときに位相差が変化するからこの第１
の積分を終了する。そして、この画素Ｎ２で積分開始値
Ｓにリセットする。次に、画素Ｎ２から第２の積分を開
始し、画素Ｎｏ．がＮ３のところで位相差が変化するか
らこの第２の積分を終了する。同様にして、画素Ｎ３で
積分開始値Ｓにリセットし、次に、第３の積分を開始し
て、画素Ｎｏ．がＮ４になるまで積分を行う。

【００８１】この積分方法は、一般に、被写体が、距離
方向においては離散的に存在しており、同一被写体は一
定位相差内に存在するという経験則に基づいた積分方法
である。この積分方法によれば、被写体の積分領域を位
相差の変化によって自動的に設定することができるか
ら、従来のように、積分領域決定操作を行う必要がない
（文献３「電子情報通信学会論文誌 Ｄ−II Ｖｏｌ．
Ｊ７６−Ｄ−II Ｎｏ．１０ ｐｐ．２２４３−２２４
６ １９９３年１０月」参照）。従って、従来のよう
に、積分計算の初期値として画像中の最明点を用いた
り、あるいは、初期傾き値の誤差を最小にするような積
分開始点を求めてから積分を行うなどの手間がかからな
いで済む（文献３）。

【００８２】また、この積分方法によれば、被写体の色
が混在している場合であっても被写体の位相差は同一値
として得られるから、連続して積分を行うことが可能で
ある。従って、従来のように、色ごとに積分領域を変え
るといった操作が不要になる。このように、従来は２次
元画像を明度値を用いて領域分割しなければならなかっ
た欠点や、積分開始点を別途に求めなければならない欠
点を解消することができる。

【００８３】また、ステレオ画像から得た位相差を用い
て復元した粗い凹凸に対して、前述した積分方法で得た
凹凸（奥行）を重畳することで、細かい凹凸を再現する
ことが可能である。尚、例えば第１および第２オフセッ
トの各々の場合に対して逆方向、すなわち水平走査線の
順方向と逆方向とに積分方向を設定することにより、積
分ノイズの累積の偏りを低減させることができる。ま
た、積分走査方向は走査ラインの左からと右からとの結
果の平均でよいので、所定位相差ごとに画面内で方向を
変えてもよい。また、各位相差ごとに別々に積分を並列
に行ってもよい。そして、この積分方法を用いる場合に
は、被写体の曲面再構成装置として前述した、第１奥行
算出部４８、第２奥行算出部５０および第３奥行算出部
５８に、積分を行っている領域が所定位相差内か否かを
判定する手段すなわち積分範囲を設定するための手段を
備えておくのが良い。

【００８４】以上説明した被写体の曲面再構成方法によ
れば、位相差画像すなわちステレオ画像を用いた従来手
法だけでは、例えば被写体までの距離が１ｍ程度でカメ
ラ画角１３度程度、２台のカメラ間隔が６．５ｃｍ程度
でＣＣＤの画素数が６４０×４８０程度の場合に、数ｃ
ｍ程度の距離分解能しか持てず、人間の顔などを測定し
た場合には平面的に見えてしまっていたのが、この実施
の形態で説明した手法を用いることにより鼻などの凹凸
を得ることができるようになる。このように、被写体の
輝度反射特性とカメラ配置との関係で、ステレオ視した
ときのステレオ画像から求めた位相差画像が平坦である
ために、実画像の凹凸との間にズレが存在し、正しい対
応画素同士で輝度比を得ることができなかった問題を緩
和することができる。従って、従来に比べ、より正確な
曲面再構成を可能にする３次元形状再構成装置を実現で
きる。

【００８５】また、この実施の形態の被写体の曲面再構
成方法によれば、輝度の絶対値を使用する必要がない。
従って、傾きマップを使用する必要が無くなり、種々の
条件下での測定が可能になる。また、被写体の色や明る
さに制限されないから、反射率マップも不要であり、使
用環境を広くすることができる。また、光源の位置にも
依らないから、従来のように光源位置をパラメータとし
て用意する必要がなく、装置を簡略化することができ
る。さらに、面の傾きの初期値を位相差画像のエッジ
（位相差の変わり目部分）で得るから、積分範囲の検出
や積分初期値の選択などの余分な処理を必要としない利
点がある。そして、色の混在する被写体であっても連続
して積分が可能であるから、従来のように色ごとに積分
領域を設定する必要がなく、装置を簡略化することがで
きる。

【００８６】尚、第１および第２オフセットは画素単位
で設定したが、例えば隣接画素の重み付け平均により画
素間の値を算出して、画素単位より小さいオフセットを
利用することができる。また、画素の輝度比を例えばそ
の画素を取り囲んでいる３×３画素の平均として求めて
もよい。さらに、輝度比を階調として量子化して扱って
もよい。また、２眼のステレオ画像装置に限らず、多眼
のステレオ画像装置を用いて、各濃淡画像の対ごとにこ
の実施の形態で説明した手法を適用してもよい。さら
に、２眼ステレオ検出装置で撮像せずに他の手段で距離
画像あるいは左右画像対応情報（位相差画像）を得て
も、その後にこの実施の形態の手法を適用することがで
きる。例えば、１台のカメラを移動して複数位置からの
濃淡画像を得る構成としてもよい。

【００８７】［第２の実施の形態］図１２は、第２の実
施の形態の被写体の曲面再構成装置の構成を示すブロッ
ク図である。第２の実施の形態の構成は、前述した曲面
再構成部１２を複数段具え、これら各曲面再構成部１２
ごとに異なる濃淡画像を基準画像として設定してあり、
これら各曲面再構成部１２が出力する予備奥行を統合す
ることにより被写体の奥行とする奥行統合部を具える構
成である。この実施の形態では、曲面再構成部１２を２
つ具えており、図１２においてそれぞれを第１曲面再構
成部１２ａおよび第２曲面再構成部１２ｂとして示して
ある。また、図１２において、左濃淡画像格納部１８ａ
および右濃淡画像格納部１８ｂをひとまとめにして濃淡
画像格納部１８として示してある。さらに図１２におい
て、位相差画像格納部２０は、左位相差画像格納部２０
ａと右位相差画像格納部２０ｂとに分けて示してある。

【００８８】ここで、左位相差画像とは、右濃淡画像を
基準とした場合の位相差画像のことである。また、右位
相差画像とは、左濃淡画像を基準とした場合の位相差画
像のことである。これら左右位相差画像はそれぞれ上述
した左位相差画像格納部２０ａおよび右位相差画像格納
部２０ｂに格納されている。そして、左位相差画像格納
部２０ａに格納されている左位相差画像の情報が第１曲
面再構成部１２ａに出力されるように構成してあり、ま
た、右位相差画像格納部２０ｂに格納されている右位相
差画像の情報が第２曲面再構成部１２ｂに出力されるよ
うに構成してある。このように、第１曲面再構成部１２
ａにおいては、基準画像として左濃淡画像を設定して第
１の実施の形態で説明した処理を行い、第２曲面再構成
部１２ｂにおいては、基準画像として右濃淡画像を設定
して第１の実施の形態で説明した処理を行うようにした
構成となっている。そして、これら第１および第２曲面
再構成部１２ａおよび１２ｂの出力が、奥行統合部６０
に入力される。そして、第１曲面再構成部１２ａで求め
た第１予備奥行と、第２曲面再構成部１２ｂで求めた第
２予備奥行とを、奥行統合部６０において統合し、この
統合結果としての奥行を用いて被写体の曲面を再構成す
る。

【００８９】また、この統合として重み付け平均を行う
のが良い。すなわち、第１曲面再構成部１２ａで求めた
予備奥行と、第２曲面再構成部１２ｂで求めた予備奥行
とのそれぞれに対し重みを付して平均を取ることにより
算出される奥行で以て、左カメラの位置で見た画像と右
カメラの位置で見た画像との中間の位置で見た画像を表
現できるようになる。例えば、重みがそれぞれ０．５で
あるならば両カメラの真ん中の位置の画像が得られ、重
みが左０．７、右０．３ならばやや左カメラ側から見た
画像が得られる。

【００９０】図１３は、着目部分と画素位置との関係を
模式的に示す図である。この実施の形態では、先ず、右
濃淡画像を基準画像に設定し、第１の実施の形態で説明
したように、左濃淡画像中の原点画素（図１３の結像位
置ａに相当する画素。着目部分２６に対応する左濃淡画
像中の画素である。）から第１および第２オフセットだ
け離間した各画素（図１３の結像位置ｂおよびｃにそれ
ぞれ相当する画素。それぞれ着目部分２６ａおよび２６
ｂに対応する左濃淡画像中の画素である。）を求め、こ
れに続く前述した処理を行う。次に、左濃淡画像を基準
画像に設定し、第１の実施の形態で述べた処理を適用し
て、右濃淡画像中の原点画素（図１３の結像位置ｄに相
当する画素。着目部分２６に対応する右濃淡画像中の画
素である。）から第１および第２オフセットだけ離間し
た各画素（図１３の結像位置ｅおよびｆにそれぞれ相当
する画素。それぞれ着目部分２６ｄおよび２６ｅに対応
する右濃淡画像中の画素である。）を求め、これに続く
前述した処理を行う。尚、右濃淡画像を基準画像に設定
した場合と、左濃淡画像を基準画像に設定した場合と
で、第１および第２オフセットの大きさが異なっていて
もよい。この実施の形態では、説明の複雑化の解消を図
るため、すべてのオフセットを１画素分の大きさに取っ
て説明する。

【００９１】右濃淡画像を基準画像に設定した場合に、
第１および第２オフセットに対応する各輝度比Ｈ１およ
びＨ２は、第１の実施の形態と同様に、 Ｈ１＝Ｌｌ（ｄ１＋１）／Ｌｒ（ｄ２） Ｈ２＝Ｌｌ（ｄ１−１）／Ｌｒ（ｄ２） で表せる。また、左濃淡画像を基準画像に設定した場合
に、第１および第２オフセットに対応する各輝度比Ｈ３
およびＨ４は、 Ｈ３＝Ｌｌ（ｄ１）／Ｌｒ（ｄ２＋１） Ｈ４＝Ｌｌ（ｄ１）／Ｌｒ（ｄ２−１） で表せる。これら各輝度比Ｈ１、Ｈ２、Ｈ３およびＨ４
が各曲面再構成部１２ａおよび１２ｂのそれぞれで処理
され、先ず、それぞれの輝度比に基づき傾きβ（Ｈ
１）、β（Ｈ２）、β（Ｈ３）およびβ（Ｈ４）が求め
られる。そして、これらβ（Ｈ１）、β（Ｈ２）、β
（Ｈ３）およびβ（Ｈ４）から奥行Σβ（Ｈ１）、Σβ
（Ｈ２）、Σβ（Ｈ３）およびΣβ（Ｈ４）がそれぞれ
求められる。そして、第１曲面再構成部１２ａからは予
備奥行｛Σβ（Ｈ１）＋Σβ（Ｈ２）｝／２が出力さ
れ、第２曲面再構成部１２ｂからは予備奥行｛Σβ（Ｈ
３）＋Σβ（Ｈ４）｝／２が出力される。これら予備奥
行のそれぞれは奥行統合部６０に入力され、そこで重み
付け平均が取られる。例えば、重みをＡおよびＢ（Ａ＋
Ｂ＝１、Ａ＞０、Ｂ＞０）で表すと、奥行統合部６０か
らは、値 Ａ・｛Σβ（Ｈ１）＋Σβ（Ｈ２）｝／２＋Ｂ・｛Σβ
（Ｈ３）＋Σβ（Ｈ４）｝／２ が出力される。前述したように、例えばＡ＝Ｂ＝０．５
とすれば、左カメラと右カメラとの中間の位置で見た３
次元形状を再現することができる。

【００９２】

【発明の効果】この出願に係る第１発明の被写体の曲面
再構成方法によれば、被写体の１部分に着目してその着
目部分の面の傾きを求めるのではなく、その着目部分に
隣接する部分の面の傾きを求めこれらの平均を取ること
により前述の着目部分の面の傾きとする方法であるか
ら、この方法により求めた傾きに基づいて再構成された
曲面には被写体の曲面形状の連続性が取り入れられ、よ
り正確な曲面を再構成することができる。

【００９３】次に、この出願に係る第２発明の被写体の
曲面再構成方法によれば、着目部分に隣接する２つの被
写体の部分について面の傾きを求めこれらの平均傾きを
前述の着目部分の面の傾きとすることにより、１つの着
目部分について輝度比を求め傾きを算出する場合にその
着目部分の位置やその着目部分に相当する画素の輝度値
の検出精度が不充分であったために生じていた、細かい
凹凸の見逃しを抑制することができる。

【００９４】また、この第２発明の被写体の曲面再構成
方法の好適例によれば、複数の濃淡画像の各々を基準画
像とした場合にそれぞれ予備奥行を求めこれら予備奥行
を重み付け平均することにより、被写体の曲面を、見る
位置を変えて再構成することができるようになる。

【００９５】次に、この出願に係る第３発明の被写体の
曲面再構成装置によれば、或る着目部分に隣接する２つ
の被写体の部分について傾きを求めこれらの平均傾きを
その着目部分の傾きとするから、１つの着目部分につい
て輝度比を求め傾きを算出し曲面を再構成する場合に着
目部分の位置の検出精度や画素の輝度値の検出精度が良
くなかったために生じていた、被写体上の細かい凹凸の
見逃しを抑制することができる。

【００９６】また、第３発明の被写体の曲面再構成装置
の好適な構成例によれば、複数の濃淡画像の各々を基準
画像とした場合にそれぞれ求めた予備奥行きを統合する
ことにより、被写体の曲面を、見る位置を変えて再構成
することができる装置である。

【００９７】また、第３発明の被写体の曲面再構成装置
において、好ましくは、前記奥行統合部は、前記予備奥
行を重み付け平均して前記被写体の奥行とする手段であ
るのが良い。

【図面の簡単な説明】

【図１】第１の実施の形態の被写体の曲面再構成装置の
構成を示す図である。

【図２】カメラと被写体との光学的配置例を示す図であ
る。

【図３】左右画像の対応づけ処理の説明図である。

【図４】輝度比算出処理および傾き検出処理の説明図で
ある。

【図５】被写体面の傾き再現処理の説明図である。

【図６】着目部分と画素位置との関係を示す図である。

【図７】被写体面の傾き再現処理の説明図である。

【図８】第１の実施の形態の被写体の曲面再構成装置の
変形例の構成を示す図である。

【図９】着目部分と画素位置との関係を示す図である。

【図１０】着目部分と画素位置との関係を示す図であ
る。

【図１１】積分方法の説明図である。

【図１２】第２の実施の形態の被写体の曲面再構成装置
の構成を示す図である。

【図１３】着目部分と画素位置との関係を示す図であ
る。

【符号の説明】

１０：画像検出部 １２：曲面再構成部 １４：２眼ステレオ検出装置 １６：画像記憶部 １８：濃淡画像格納部 １８ａ：左濃淡画像格納部 １８ｂ：右濃淡画像格納部 ２０：位相差画像格納部 ２２ａ：左カメラ ２２ｂ：右カメラ ２４：被写体 ２６：被写体の着目部分 ２７：第１輝度検出部 ２８：原点画素設定部 ２９：第２輝度検出部 ３０：第３輝度検出部 ３２：第１輝度比算出部 ３４：第２輝度比算出部 ３６：奥行検出部 ３８：凸部 ３９：凹部 ４０ａ，４０ｂ：レンズ ４２ａ，４２ｂ：結像面 ４４：第１傾き算出部 ４６：第２傾き算出部 ４８：第１奥行算出部 ５０：第２奥行算出部 ５２：平均奥行算出部 ５４：平均輝度比算出部 ５６：平均傾き算出部 ５８：第３奥行算出部 ６０：奥行統合部 ６２ａ，６２ｂ：オフセット付加部 ６４ａ，６４ｂ：輝度検出部

Claims (11)

【特許請求の範囲】
1. 【請求項１】 被写体を少なくとも２つの異なる位置か
   ら撮像してそれぞれの位置から見た各々１つずつの濃淡
   画像を検出し、前記異なる濃淡画像における画素同士の
   輝度比を算出し、この輝度比に基づいて前記被写体の面
   の傾きを算出し前記被写体の曲面を再構成するに当た
   り、 前記被写体における第１着目部分の面の傾きを、該第１
   着目部分に隣接する、互いに異なる第２および第３着目
   部分の面の傾きをそれぞれ第１および第２傾きとして求
   めて、これら第１および第２傾きの平均を取ることによ
   り求めることを特徴とする被写体の曲面再構成方法。
2. 【請求項２】 （ａ）被写体を少なくとも２つの異なる
   位置から撮像してそれぞれの位置から見た各々１つずつ
   の濃淡画像を検出し、（ｂ）異なる前記濃淡画像におけ
   る画素同士の輝度比を算出し、（ｃ）この輝度比に基づ
   いて前記被写体の面の傾きを算出し前記被写体の曲面を
   再構成するに当たり、 前記（ｂ）工程は、（ｂ−１）前記濃淡画像の１つを基
   準画像として設定して該基準画像を構成するマトリック
   ス配列された多数の画素のうち前記被写体の着目部分に
   対応した１つの画素を第１画素として該第１画素の第１
   輝度を検出するステップと、（ｂ−２）前記基準画像と
   は異なる前記１つの濃淡画像を構成するマトリックス配
   列された多数の画素のうち前記着目部分に対応した１つ
   の画素を原点画素とし、該原点画素から第１オフセット
   だけ離れた画素を第２画素として該第２画素の第２輝度
   を検出するステップと、（ｂ−３）前記原点画素と前記
   第２画素とを結ぶ直線上であって、前記第２画素とは反
   対側に前記原点画素から第２オフセットだけ離れた画素
   を第３画素として該第３画素の第３輝度を検出するステ
   ップと、（ｂ−４）前記第１輝度と前記第２輝度との第
   １輝度比を求めるステップと、及び（ｂ−５）前記第１
   輝度と前記第３輝度との第２輝度比を求めるステップと
   を含み、及び前記（ｃ）工程は、（ｃ−１）前記第１お
   よび第２輝度比に基づいて前記被写体の面の傾きを算出
   し前記被写体の曲面を再構成するステップを含むことを
   特徴とする被写体の曲面再構成方法。
3. 【請求項３】 請求項２に記載の被写体の曲面再構成方
   法において、前記（ｃ−１）ステップは、（ｈ１）前記
   第１輝度比から第１傾きを算出するサブステップと、
   （ｈ２）前記第２輝度比から第２傾きを算出するサブス
   テップと、（ｈ３）前記着目部分を変えて前記第１傾き
   を求めこれら第１傾きに基づいて第１曲面を構成するサ
   ブステップと、（ｈ４）前記着目部分を変えて前記第２
   傾きを求めこれら第２傾きに基づいて第２曲面を構成す
   るサブステップと、（ｈ５）前記第１および第２曲面の
   平均曲面を前記被写体の曲面として再構成するサブステ
   ップとを含むことを特徴とする被写体の曲面再構成方
   法。
4. 【請求項４】 請求項２に記載の被写体の曲面再構成方
   法において、前記（ｃ−１）ステップは、（ｉ１）前記
   第１および第２輝度比の平均輝度比を求めるサブステッ
   プと、（ｉ２）前記平均輝度比から平均傾きを算出する
   サブステップと、（ｉ３）前記着目部分を変えて前記平
   均傾きを求めこれら平均傾きに基づいて求めた平均曲面
   を前記被写体の曲面として再構成するサブステップとを
   含むことを特徴とする被写体の曲面再構成方法。
5. 【請求項５】 請求項２に記載の被写体の曲面再構成方
   法において、前記（ａ）ステップで検出された前記濃淡
   画像の全てに対して前記（ｂ−１）ステップで順次に前
   記基準画像を設定して前記（ｂ−１）〜（ｂ−５）ステ
   ップを実行した後、前記基準画像に関してそれぞれ得ら
   れた第１および第２輝度比の組に基づいて前記被写体の
   予備曲面をそれぞれ求め、これら予備曲面の重み付け平
   均曲面を前記被写体の曲面として再構成することを特徴
   とする被写体の曲面再構成方法。
6. 【請求項６】 被写体を少なくとも２つの異なる位置か
   ら撮像して複数の濃淡画像を検出する画像検出部と、検
   出された互いに異なる濃淡画像における画素同士の輝度
   比を算出し、この輝度比に基づいて前記被写体の面の傾
   きを算出して前記被写体の曲面を再構成する曲面再構成
   部とを具える曲面再構成装置において、前記曲面再構成
   部は、 前記複数の濃淡画像の１つを基準画像として設定して該
   基準画像を構成するマトリックス配列された多数の画素
   のうち前記被写体の着目部分に対応した１つの画素を第
   １画素として該第１画素の第１輝度を検出する第１輝度
   検出部と、 前記基準画像とは異なる前記１つの濃淡画像を構成する
   マトリックス配列された多数の画素のうち前記第１画素
   に対応する１つの画素を原点画素として対応付けを行う
   原点画素設定部と、 前記原点画素から第１オフセットだけ離れた画素を第２
   画素として該第２画素の第２輝度を検出する第２輝度検
   出部と、 前記原点画素と前記第２画素とを結ぶ直線上であって、
   前記第２画素とは反対側に前記原点画素から第２オフセ
   ットだけ離れた画素を第３画素として該第３画素の第３
   輝度を検出する第３輝度検出部と、 前記第１輝度と前記第２輝度との第１輝度比を求める第
   １輝度比算出部と、 前記第１輝度と前記第３輝度との第２輝度比を求める第
   ２輝度比算出部と、 前記第１および第２輝度比に基づいて前記被写体の曲面
   を再構成する奥行検出部とを具える手段であることを特
   徴とする被写体の曲面再構成装置。
7. 【請求項７】 請求項６に記載の被写体の曲面再構成装
   置において、 前記画像検出部は、２眼ステレオ検出装置と、 該２眼ステレオ検出装置が検出した左右の濃淡画像をそ
   れぞれ格納する濃淡画像格納部と、 格納された左右の濃淡画像における、前記被写体の同一
   箇所に対応するそれぞれの画素間の関係を記す左右画像
   対応情報を格納する位相差画像格納部とを具えることを
   特徴とする被写体の曲面再構成装置。
8. 【請求項８】 請求項６に記載の被写体の曲面再構成装
   置において、 前記奥行検出部は、前記第１輝度比から第１傾きを算出
   する第１傾き算出部と、 前記第２輝度比から第２傾きを算出する第２傾き算出部
   と、 前記第１傾きに基づいて第１奥行を算出する第１奥行算
   出部と、 前記第２傾きに基づいて第２奥行を算出する第２奥行算
   出部と、 前記第１および第２奥行の平均奥行を求めこの平均奥行
   に基づき前記被写体の曲面を再構成する平均奥行算出部
   とを具えることを特徴とする被写体の曲面再構成装置。
9. 【請求項９】 請求項６に記載の被写体の曲面再構成装
   置において、 前記奥行検出部は、前記第１および第２輝度比の平均輝
   度比を求める平均輝度比算出部と、 前記平均輝度比から平均傾きを算出する平均傾き算出部
   と、 前記平均傾きに基づいて平均奥行を算出しこの平均奥行
   に基づき前記被写体の曲面を再構成する第３奥行算出部
   とを具えることを特徴とする被写体の曲面再構成装置。
10. 【請求項１０】 請求項６に記載の被写体の曲面再構成
    装置において、 前記曲面再構成部を複数段具え、これら各曲面再構成部
    ごとに異なる前記濃淡画像を前記基準画像として設定し
    てあり、これら各曲面再構成部が出力する予備奥行を統
    合することにより前記被写体の奥行とする奥行統合部を
    具えることを特徴とする被写体の曲面再構成装置。
11. 【請求項１１】 請求項１０に記載の被写体の曲面再構
    成装置において、前記統合は、重み付け平均により行う
    ことを特徴とする被写体の曲面再構成装置。