JPH10122838A - 三次元構造推定方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】 複数の位置から撮影された画像群を利用し
て、画像上の物体の３次元構造を高精度に推定する。 【解決手段】 第１の対応小領域抽出手段１４が画像中
から小領域を抽出し、第１の近傍小領域平均計算手段１
６が小領域の平均を各視点位置毎に計算し、第１の差分
計算手段１８が前記一つの視点における前記対応小領域
と、前記平均値との差分を、各視点位置毎に計算し、総
和計算手段６０が前記複数視点全ての前記差分の和であ
る差分総和を計算し、最小コスト奥行き選択手段６２が
前記直線から奥行きと推定される点までの距離を変化さ
せて前記差分総和が最も小さくなる距離を奥行きとして
求める。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像から画像上の物
体の構造を得る三次元構造推定方法及び装置に関し、特
に複数の視点から撮影された画像群を利用して、三角測
量の原理に基づき画像上の物体の三次元構造を推定する
三次元構造推定方法及び装置に関する。

【０００２】

【従来の技術】複数の位置から撮影された画像群を利用
して、三角測量の原理に基づき画像上の物体の三次元構
造を推定する、いわゆるステレオ法と呼ばれる画像処理
の手法がある。

【０００３】従来の三次元構造推定装置の一例として、
‘A Multiple-Baseline Stereo’(IEEE Transactions o
n Pattern Analysis and Machinne Intelligence,pp.35
3-363,Vol.15,No.4,April 1993)で詳述された複数位置
から撮影された画像から三次元構造を推定する装置につ
いて説明する。

【０００４】図６を参照してステレオ法の基本原理を説
明する。焦点距離Ｆを持つ第１のカメラ１０のレンズ中
心位置をＸ１に置き、本地点Ｘ１を第１のカメラの視点
位置と呼ぶ。同じく焦点距離Ｆを持つ第２のカメラ２０
のレンズ中心位置をＸ２に置き、本地点Ｘ２を第２のカ
メラの視点位置と呼ぶ。それぞれの視点位置間の距離と
して定義される光軸間距離Ｂ（以下、ベースラインと呼
ぶ。）は、Ｂ＝Ｘ２−Ｘ１で与えられ、あるＢの値を持
つ位置にレンズを置いて物体１を撮影するとする。物体
表面のある位置Ｐが、二つのカメラで撮影され、撮像面
上でそれぞれｘ１、ｘ２である位置に対応することがわ
かったとき、これらそれぞれの位置の差分ｄ（以下、デ
ィスパリティと呼ぶ。）は、ｄ＝ｘ２−ｘ１で与えら
れ、物体上の該地点の奥行きｚに以下に示す式（１）の
ように依存している。

【０００５】

【数１】

【０００６】即ち第１のカメラ１０で撮影された画像上
の各点が、第２のカメラ２０で撮影された画像上でどの
点に対応するのかが推測できれば、画像上の三次元構造
が推測できることになる。

【０００７】通常ステレオ法のアルゴリズムとしては、
例えば第１のカメラ１０で撮影された画像上の一点につ
いてまず注目し、第２のカメラ２０で撮影された画像上
において該点と対応する画像点を探索して、該点につい
ての奥行きを推測する。この手続きを、第１のカメラ１
０で撮影された画像上のすべての点について繰り返すこ
とにより、各点の奥行きを推測する。

【０００８】対応する点であるか否かの判定は、輝度値
の差分や小領域の差分の和が最も小さい等の条件を用い
て判定することが多い。探索するディスパリティの範囲
は、調べる奥行きの範囲をｚ^min からｚ^max までとする
と、式（１）よりｄ^max ＝ＢＦ／ｚ^max からｄ^max ＝Ｂ
Ｆ／ｚ^min までとなり、本範囲内から上記判定条件を最
も満たす点を選択する。

【０００９】また前記判定条件だけで対応点を決定せず
に、差分などが十分小さな複数の対応点を候補として残
しておいた後、奥行きのラインが滑らかになるような対
応の組を最終的に決定する手法も多く取られる。また図
７に示したように前面の物体２があると推定される場合
には、遮られている箇所で判定条件を満たしていても物
理的にはあり得ない解であるとして除去する手法もよく
取られる。

【００１０】物体の該地点の奥行きｚが一定であるとす
ると、ディスパリティｄはベースラインＢに比例して大
きくなる。画像上での精度は画素位置レベルで制限され
ていることから、ディスパリティｄが大きければ大きい
ほど推定精度は高くなると言える。式（１）からディス
パリティｄを大きくするためには、ベースラインＢを大
きくすれば良いことがわかる。しかしながら、ベースラ
インＢを大きくとると、調べるディスパリティｄの範囲
が広がるため誤対応の起こる確率が大きくなってしま
う。即ち推定精度と誤対応頻度との間にはトレード・オ
フがある。

【００１１】誤対応を防ぎつつ推定精度をあげる方法と
して大まかに二つの方法がある。一つは最低解像度画像
により大まかな対応をつけた後、高解像度画像で精度を
あげて対応づけする方法である。もう一つは複数視点に
置いたカメラで撮影した複数の画像を用いることで、対
応する場合としない場合とで、判定に用いる値の差が十
分大きくなるようにする方法（以下、マルチベースライ
ン・ステレオ法と呼ぶ。）である。

【００１２】前記文献では、後者のマルチベースライン
・ステレオ法を用いている。図８を参照して前記文献に
記載されたマルチベースライン・ステレオ法の説明を行
なう。

【００１３】焦点距離Ｆを持つ第１のカメラ１０、第２
のカメラ２０、第３のカメラ３０、第４のカメラ４０、
・・・、第ｎのカメラ５０（但し、ｎは自然数とす
る。）のレンズ中心位置をそれぞれＸ１、Ｘ２、Ｘ３、
Ｘ４、・・・、Ｘｎに置き、各地点を各カメラの視点位
置と呼び、これらのカメラにより物体１を撮影したとす
る。また第１のカメラ１０と第２のカメラ２０との間、
第１のカメラ１０と第３のカメラ３０との間、第１のカ
メラ１０と第４のカメラ４０との間、第１のカメラ１０
と第ｎのカメラ５０との間の各ベースラインをＢ_1,2 ＝
Ｘ２−Ｘ１、Ｂ_1,3＝Ｘ３−Ｘ１、Ｂ_1,4 ＝Ｘ４−Ｘ
１、Ｂ_1,n ＝Ｘｎ−Ｘ１、とする。物体１上の奥行きｚ
である地点Ｐ’が、第１のカメラ１０でｘ１、第２のカ
メラ２０でｘ２、第３のカメラ３０でｘ３、第４のカメ
ラ４０でｘ４、・・・、第ｎのカメラ５０でｘｎなる位
置に対応しているとき、第１のカメラ１０と第２のカメ
ラ２０との間、第１のカメラ１０と第３のカメラ３０と
の間、第１のカメラ１０と第４のカメラ４０との間、第
１のカメラ１０と第ｎのカメラ５０との間のディスパリ
ティｄ_1,2 、ｄ_1,3 、ｄ_1,4 、・・・、ｄ_1,n は、式
（２）の通りとなる。

【００１４】

【数２】

【００１５】即ち一つの奥行きｚに対して、式（２）の
関係で結ばれた複数のカメラで撮影された画像地点によ
り対応関係の判定を行なうため、誤対応を減らしつつベ
ースラインＢを大きくして推定精度を向上させることが
可能となる。

【００１６】マルチベースライン・ステレオ法は前記二
眼式のステレオ法と同様に、第２のカメラ２０〜第ｎの
カメラ５０で撮影された画像上において、第１のカメラ
１０で撮影された画像上におけるある一点と対応する画
像点を探索するという手続きを、第１のカメラ１０で撮
影された画像上のすべての点について繰り返すことにな
る。前記二眼式のステレオ法ではディスパリティを変化
させながら探索していたが、マルチベースライン・ステ
レオ法においてはカメラによりそれぞれディスパリティ
が異なるため、本文献では奥行きの逆数１／ｚを、調べ
る奥行きの逆数の範囲１／ｚ^min から１／ｚ^max の間で
値を変えながら、式（２）に基づき各カメラで撮影され
た画像上の画素位置を計算して対応するか否かを調べて
ゆくとしている。

【００１７】図９に直方体３をマルチベースライン・ス
テレオ法で撮影し、左上隅の角に対応する小領域を各カ
メラで撮影した画像から取り出す模式図を示す。対応小
領域抽出は第１のカメラ１０で撮影された画像から第１
の小領域１１６を、第２のカメラ２０から第２の小領域
１２６を、第３のカメラ３０から第３の小領域１３６
を、第４のカメラ４０から第４の小領域１４６を、第ｎ
のカメラ５０から第ｎの小領域１５６を、それぞれ取り
出している。

【００１８】対応するか否かの判定は、本文献ではまず
第１の小領域１１６と第２の小領域１２６、第１の小領
域１１６と第３の小領域１３６、第１の小領域１１６と
第４の小領域１４６、・・・、第１の小領域１１６と第
ｎの小領域１５６の間でそれぞれ差分二乗和を計算した
後、該差分の二乗和を更に総和し、調べる奥行きの範囲
内で該値が最も小さいことを条件としている。通常本操
作を、第１のカメラ１０で撮影された画像上の全ての画
素について繰り返すことになる。

【００１９】次に特開平４−３２９４８１で開示されて
いる「３次元データ獲得方法及び装置」について説明す
る。本手法はディスパリティが大きな場合に相関計算を
正しく行なうものである。ディスパリティが大きいとい
うことは、対象物体を見るカメラから見る角度が大きく
異なるということになる。例えば図９において、第１の
小領域１１６は第ｎの小領域１５６とは直方体３上の同
一の角を撮影しているが、小画像の内容は大きく異な
る。この場合、単純な相関では相関値を正しく求めるこ
とができず精度が落ちてしまう。よって該発明では相関
を計算する小領域の大きさや代表点位置を修正すること
により、より精度の高い奥行きを求めることができると
している。

【００２０】以上説明してきた従来の技術では同一点起
源の判定条件として差分の二乗和や相関等を用いていた
が、その他にもエッジやテクスチャ情報の差分を利用す
る方法もよく用いられている。

【００２１】

【発明が解決しようとする課題】従来技術で取り上げら
れていた問題点として、大きなベースラインを持つカメ
ラペアで撮影された対象物体において、視点位置が大き
く離れているために見え方が異なり、領域相関が正しく
計算出来ないという問題点があった。従来技術では小領
域の大きさや代表点位置を修正することで対応していた
が、図９に示すように第１の小領域１１６と第ｎの小領
域１５６の小画像の内容が大きく異なることから明らか
なように、該修正方法はアドホックなものであり根本的
な解決方法とはなっていない。即ち小領域を基にして従
来手法で対応関係を調べる方法では、ベースラインを大
きくするカメラ設定が基本的に困難であった。

【００２２】また物体を異なる視点から撮影したとき、
通常物体は向きにより反射率が異なるために輝度値は視
点毎に異なるのが普通である。

【００２３】例えば図１０で示したように、ライト７で
物体１が照射されているとき、ちょうど鏡面反射となる
矢印方向へ光が大きく反射される。その他の方向への反
射光量も角度により異なるために、ベースラインを大き
くするカメラ配置では輝度値は大きく変化してしまう。
即ち推定精度が低くなる原因として従来文献で取り上げ
られてきたものの他に、本視点位置による輝度値変化の
効果を考慮する必要がある。

【００２４】従来用いられてきた複数視点画像から物体
の三次元構造を取得する装置では、複数の画像上での点
が同じ物体表面位置からの起源であるかどうかの判定
を、小領域の二乗和が小さいという条件により行なって
いる。このような単純な差分では、上記輝度値変化の効
果の影響をそのまま受けてしまい本来対応しているはず
の画素位置で二乗和が十分小さくならず、推定誤差増加
の原因となっていた。

【００２５】輝度値を直接用いる代わりにエッジやテク
スチャ情報などを利用したり、差分ではなく相関を用い
ることなどにより、輝度値の違いの影響を少なくするこ
とができる。しかしこれらは小領域により対応付けを行
なう方法であるため、前述の視点による見え方の違いを
吸収することはできず、大きなベースラインとなるカメ
ラ設定を取り推定精度を向上させることに対して根本的
な問題点を抱えたままであった。

【００２６】

【課題を解決するための手段】請求項１記載の発明は、
カメラで物体を撮影する位置である直線上に並んだ複数
の視点において撮影されたそれぞれの画像から、カメラ
の焦点距離と、前記複数の視点の内の一つの視点である
基準視点において撮影された画像の画素位置と、前記直
線からの距離とで定まる基準視点以外の各視点の基準視
点において撮影された画像の画素位置に対応する対応画
素あるいは該画素位置を含む対応小領域を取り出す工程
と、前記各視点での対応画素を該視点の近傍視点におけ
る対応画素と比較するかあるいは前記対応小領域を該視
点の近傍視点における対応小領域と該視点毎に比較する
工程と、前記視点毎の比較情報を総和して総和値を計算
する工程と、所定の範囲内の前記直線からの距離におい
て、前記総和値が最も小さくなる直線からの距離を前記
基準視点における画素の奥行きとする工程と、以上の工
程を全画素について繰り返す工程とを有することを特徴
とする。

【００２７】請求項２記載の発明は、請求項１記載の発
明において、前記直線上に並んだ複数の視点は、カメラ
を直線上で移動させることにより形成されることを特徴
とする。

【００２８】請求項３記載の発明は、請求項１記載の発
明において、前記直線上に並んだ複数の視点は、視点の
位置にカメラを配置させることにより形成されることを
特徴とする。

【００２９】請求項４記載の発明は、請求項１から３の
いずれかに記載の発明において、前記各視点での対応画
素を該視点の近傍視点における対応画素と比較するかあ
るいは前記対応小領域を該視点の近傍視点における対応
小領域と該視点毎に比較する工程は、前記複数の視点の
内の一つの視点における対応画素あるいは前記対応小領
域と、前記一つの視点の近傍にある視点における前記対
応画素あるいは前記対応小領域とを用いてこれらの画素
値あるいは小領域の平均を各視点位置毎に計算し、前記
一つの視点における前記対応画素あるいは対応小領域
と、前記平均値との差分を、各視点位置毎に計算する工
程であることを特徴とする。

【００３０】請求項５記載の発明は、請求項１から３の
いずれかに記載の発明において、前記各視点での対応画
素を該視点の近傍視点における対応画素と比較するかあ
るいは前記対応小領域を該視点の近傍視点における対応
小領域と該視点毎に比較する工程は、前記複数の視点の
内の一つの視点における対応画素あるいは前記対応小領
域と、前記一つの視点の近傍にある視点における前記対
応画素あるいは前記対応小領域とを用いて各視点位置毎
に各対応画素毎あるいは対応小領域毎の分散の和を計算
する工程であることを特徴とする。

【００３１】請求項６記載の発明は、直線上に並んだ複
数の視点の内の一つである基準視点において撮影された
画像上の画素位置と、前記基準視点における視点位置と
基準視点以外の視点における視点位置との間のそれぞれ
の距離と、カメラの焦点距離と、前記直線から奥行きと
推定される点までの距離とにより決定される基準視点以
外の視点において撮影されたそれぞれの画像上の前記画
素位置に対応する位置にある画素を含む小領域を抽出す
る第１の対応小領域抽出手段と、前記複数の視点の内の
一つの視点における前記対応小領域と、前記一つの視点
の近傍にある視点における前記対応小領域とを用いてこ
れらの小領域の平均値を各視点位置毎に計算する第１の
近傍小領域平均計算手段と、前記一つの視点における前
記対応小領域と、前記平均値との差分を、各視点位置毎
に計算する第１の差分計算手段と、前記複数視点全ての
前記差分の和である差分総和を計算する第１の総和計算
手段と、前記直線から奥行きと推定される点までの距離
を変化させて前記差分総和が最も小さくなる距離を奥行
きとして求めた後、画素位置を更新するための移動指令
を出力する第１の最小コスト奥行き選択手段と、前記基
準視点において撮影された画像上の画素位置を更新する
第１の基準画素位置カウンタ手段と、前記基準視点にお
ける画素位置を入力して、該画素位置が更新されると、
調査範囲内の奥行きを順次出力する第１の奥行きカウン
タ手段とを有することを特徴とする。

【００３２】即ち請求項６の発明では、基準視点となる
カメラからの画像信号上の一点についてまず注目し、直
線からの距離である奥行きを変化させながら最もよく対
応する奥行きを探索するときに、視点が近傍にあるカメ
ラで撮影された小領域を束ねて利用することに特徴があ
る。

【００３３】請求項６の発明では、ある視点から得られ
た小領域と比較する小領域画像を、近傍視点で撮影され
た小領域群から近傍小領域平均計算手段が行なう平均操
作により求めている。本操作は、例えば第ｉ番目のカメ
ラ（ｉ＝１，２，３，４，・・・，ｎ）の視点位置Ｘｉ
から距離Ｃ内にあるカメラからの小領域の各地点（ｘ，
ｙ）での平均値を以下に示す式（３）で求めることであ
る。なお第ｉの小領域の座標（ｘ，ｙ）地点における輝
度値をｇ⁽ⁱ⁾ _x,y 、ａｒｇ_j ｜Ｘｉ−Ｘｊ｜＜Ｃとは視
点位置Ｘｉから距離Ｃ内にあるカメラの番号を指してい
る。

【００３４】

【数３】

【００３５】図５に一つの小領域の近傍の小領域により
平均する動作の例を示す。第２の小領域１２６は、近傍
で撮影された第１の小領域１１６、第２の小領域１２
６、第３の小領域１３６の平均である第２の平均小領域
１２８と、差分計算手段により比較される。この差分操
作とは、以下の式で示される小領域中の各地点（ｘ，
ｙ）での平均値との差分の二乗和

【００３６】

【数４】

【００３７】を指している。図５から明らかなように、
従来問題であった大きく異なる視点からの小領域を比較
する際に未解決であった（ｉ）見え方の違いによる小領
域の違いや、更に前節で図１０を用いて説明したように
（ｉｉ）物体表面反射率の角度依存性による輝度値の違
いを大きく低減することが可能となり、三次元構造の推
定精度を向上することができる。しかも従来よりもさら
にベースラインを広げることも可能となり、より精度の
高い三次元構造推定装置が実現できる。

【００３８】本請求項６記載の発明での各カメラ毎の近
傍平均計算手段が行なう平均処理の意味は、担当してい
るカメラからの小領域がとるであろう値を、近傍のカメ
ラからの小領域で推定することにある。同様に、各カメ
ラ毎の差分計算手段が行なう差分処理の意味は、担当し
ているカメラからの小領域と、取るであろうと推定され
た小領域との差を計算するものである。従って、以上の
説明では平均処理を式（３）としたが、担当しているカ
メラからの小領域が取るであろう値を推測する方法であ
れば何でも良い。また差分処理も、以上の説明では式
（４）と説明したが、画素（小領域）間の距離として用
いることが可能なものであれば何でも良い。また複数の
視点にカメラが複数置かれている図８を基に説明した
が、実際には視点が複数でありさえすればよく、一つの
カメラを移動させながら撮影するなど、カメラは複数で
なくとも構わない。

【００３９】請求項７記載の発明は、直線上に並んだ複
数の視点の内の一つである基準視点において撮影された
画像上の画素位置と、前記基準視点における視点位置と
基準視点以外の視点における視点位置との間のそれぞれ
の距離と、カメラの焦点距離と、前記直線から奥行きと
推定される点までの距離とにより決定される基準視点以
外の視点において撮影されたそれぞれの画像上の前記画
素位置に対応する位置にある画素を対応画素として抽出
する第１の対応画素抽出手段と、前記複数の視点の内の
一つの視点における前記対応画素と、該視点の近傍の視
点における前記対応画素とを用いてこれらの画素値の平
均値を各視点位置毎に計算する第１の近傍画素平均計算
手段と、前記一つの視点における前記対応画素の画素値
と、前記平均値との差分を、各視点位置毎に計算する第
２の差分計算手段と、前記複数視点全ての前記差分の和
である差分総和を計算する第２の総和計算手段と、前記
直線から奥行きと推定される点までの距離を変化させて
前記差分総和が最も小さくなる距離を奥行きとして求め
た後、画素位置を更新するための移動指令を出力する第
２の最小コスト奥行き選択手段と、前記基準視点におい
て撮影された画像上の画素位置を更新する第２の基準画
素位置カウンタ手段と、前記基準視点における画素位置
を入力して、該画素位置が更新されると、調査範囲内の
奥行きを順次出力する第２の奥行きカウンタ手段とを有
することを特徴とする。

【００４０】請求項６記載の発明では、基準視点となる
カメラからの画像信号上の一点についてまず注目し、奥
行きを変化させながら最も良く対応する奥行きを探索す
るときに、小領域単位で比較していた。しかし請求項７
記載の発明では単位を画素とすることで、小領域の大き
さの設定に煩わされずに、従来よりも精度の高い三次元
構造推定装置を実現している。

【００４１】本請求項７記載の発明での各カメラ毎の近
傍画素値平均計算手段が行なう平均処理の意味は、担当
しているカメラからの画素値が取るであろう値を、近傍
のカメラからの画素値で推定することにある。同様に、
各カメラ毎の差分計算手段が行なう差分処理の意味は、
担当しているカメラからの画素値と、取るであろうと推
定された画素値との差を計算するものである。従って、
以上の説明では平均処理を式（３）としたが、担当して
いるカメラからの画素値が取るであろう値を推測する方
法であれば何でも良い。また差分処理も、以上の説明で
は式（４）と説明したが、画素（小領域）間の距離とし
て用いることが可能なものであれば何でも良い。また複
数の視点にカメラが複数置かれている図８を基に説明し
たが、実際には視点が複数でありさえすればよく、一つ
のカメラを移動させながら撮影するなど、カメラは複数
でなくとも構わない。

【００４２】請求項８記載の発明は、直線上に並んだ複
数の視点の内の一つである基準視点において撮影された
画像上の画素位置と、前記基準視点における視点位置
と、基準視点以外の視点における視点位置との間のそれ
ぞれの距離と、カメラの焦点距離と、前記直線から奥行
きと推定される点までの距離とにより決定される基準視
点以外の視点において撮影されたそれぞれの画像上の前
記画素位置に対応する位置にある画素を含む小領域を抽
出する第２の対応小領域抽出手段と、前記複数の視点の
内の一つの視点における前記対応小領域と、前記一つの
視点の近傍にある視点における前記対応小領域とを用い
て各視点位置毎に各画素位置毎の分散を計算する第１の
近傍分散計算手段と、前記複数視点全ての前記分散の和
である分散総和を計算する第３の総和計算手段と、前記
直線から奥行きと推定される点までの距離を変化させて
前記分散総和が最も小さくなる距離を奥行きとして求め
た後、画素位置を更新するための移動指令を出力する第
３の最小コスト奥行き選択手段と、前記基準視点におい
て撮影された画像上の画素位置を更新する第３の基準画
素位置カウンタ手段と、前記基準視点における画素位置
を入力して、該画素位置が更新されると、調査範囲内の
奥行きを順次出力する第３の奥行きカウンタ手段とを有
することを特徴とする。

【００４３】すなわち本請求項８記載の発明では、基準
視点となるカメラからの画像信号上の一点についてまず
注目し、奥行きを変化させながら最も良く対応する奥行
きを探索する際に、近傍視点からの小領域の分散を近傍
分散計算手段により以下の式に基づき求める。

【００４４】

【数５】

【００４５】上式で求めた分散、すなわち、ばらつきが
最も小さいものを対応点であると判定している点を特徴
としている。これにより従来よりも精度の高い三次元構
造推定装置を実現している。

【００４６】本請求項８記載の発明での各カメラ毎の近
傍分散計算手段が行なう分散計算処理の意味は、担当し
ているカメラの近傍で、小領域がどの程度ばらついてい
るかを推定することにある。従って、以上の説明では分
散計算処理を式（５）としたが、担当しているカメラ近
傍での小領域のばらつきを推測する方法であれば何でも
良い。また複数の視点にカメラが複数置かれていなくと
も、実際には視点が複数でありさえすればよく、一つの
カメラを移動させながら撮影するなど、カメラは複数で
なくとも構わない。

【００４７】請求項９記載の発明は、直線上に並んだ複
数の視点の内の一つである基準視点において撮影された
画像上の画素位置と、前記基準視点における視点位置
と、基準視点以外の視点における視点位置との間のそれ
ぞれの距離と、カメラの焦点距離と、前記直線から奥行
きと推定される点までの距離とにより決定される基準視
点以外の視点において撮影されたそれぞれの画像上の前
記画素位置に対応する位置にある画素を抽出する第２の
対応画素抽出手段と、前記複数の視点の内の一つの視点
における前記対応画素と、該視点の近傍にある視点にお
ける前記対応画素とを用いて各視点位置毎に各画素毎の
分散を計算する第２の近傍分散計算手段と、前記複数視
点全ての前記分散の和である分散総和を計算する第４の
総和計算手段と、前記直線から奥行きと推定される点ま
での距離を変化させて前記分散総和が最も小さくなる距
離を奥行きとして求めた後、画素位置を更新するための
移動指令を出力する第４の最小コスト奥行き選択手段
と、前記基準視点において撮影された画像上の画素位置
を更新する第４の基準画素位置カウンタ手段と、前記基
準視点における画素位置を入力して、該画素位置が更新
されると、調査範囲内の奥行きを順次出力する第４の奥
行きカウンタ手段とを有することを特徴とする。

【００４８】請求項９記載の発明では、基準視点となる
カメラからの画像信号上の一点についてまず注目し、奥
行きを変化させながら最も良く対応する奥行きを探索す
るときに、小領域単位で比較していた。しかし請求項４
記載の発明では単位を画素とすることで、小領域の大き
さ設定に煩わされずに、従来よりも精度の高い三次元構
造推定装置を実現している。

【００４９】本請求項９記載の発明での各カメラ毎の近
傍分散計算手段が行なう分散計算処理の意味は、担当し
ているカメラの近傍で、画素値がどの程度ばらついてい
るかを推定することにある。従って本処理は、担当して
いるカメラ近傍での画素値のばらつきを推測する方法で
あれば良く、上記の処理に限定されない。また複数の視
点にカメラが複数おかれてないくとも、実際には視点が
複数でありさえすれば良く、一つのカメラを移動させな
がら撮影するなど、カメラは複数でなくとも構わない。

【００５０】請求項１０記載の発明は、請求項６から９
のいずれかに記載の発明において、前記直線上に並んだ
複数の視点は、カメラを直線上で移動させることにより
形成されることを特徴とする。

【００５１】請求項１１記載の発明は、請求項６から９
のいずれかに記載の発明において、前記直線上に並んだ
複数の視点は、視点の位置にカメラを配置させることに
より形成されることを特徴とする。

【００５２】請求項１２記載の発明は、請求項６から９
のいずれかに記載の発明において、前記近傍の視点は、
前記複数の視点の内の一つの視点の両隣の視点あること
を特徴とする。

【００５３】

【発明の実施の形態】以下実施例に基づき本発明を詳細
に説明する。

【００５４】図１は本発明に係る三次元構造推定装置の
第１の実施例の構成を示すブロック図である。図８に示
したように、ｎ個の視点を有するようにカメラが複数配
置されている。

【００５５】第１の対応小領域抽出手段１４には第１の
画像信号１１を伝送する配線と、第１の視点位置信号１
２を伝送する配線と、第１の焦点距離信号１３を伝送す
る配線と、第１の対応小領域信号１５を伝送する配線
と、基準画素位置信号６８を伝送する配線とが接続され
ている。

【００５６】第２の対応小領域抽出手段２４には第２の
画像信号２１を伝送する配線と、第２の視点位置信号２
２を伝送する配線と、第２の焦点距離信号２３を伝送す
る配線と、第２の対応小領域信号２５を伝送する配線
と、基準画素位置信号６８を伝送する配線と、奥行き信
号６８を伝送する配線とが接続されている。

【００５７】第３の対応小領域抽出手段３４には第３の
画像信号３１を伝送する配線と、第３の視点位置信号３
２を伝送する配線と、第３の焦点距離信号３３を伝送す
る配線と、第３の対応小領域信号３５を伝送する配線
と、基準画素位置信号６８を伝送する配線と、奥行き信
号６８を伝送する配線とが接続されている。

【００５８】第４の対応小領域抽出手段４４には第４の
画像信号４１を伝送する配線と、第４の視点位置信号４
２を伝送する配線と、第４の焦点距離信号４３を伝送す
る配線と、第４の対応小領域信号４５を伝送する配線
と、基準画素位置信号６８を伝送する配線と、奥行き信
号６８を伝送する配線とが接続されている。

【００５９】第ｎの対応小領域抽出手段５４には第ｎの
画像信号５１を伝送する配線と、第ｎの視点位置信号５
２を伝送する配線と、第ｎの焦点距離信号５３を伝送す
る配線と、第ｎの対応小領域信号５５を伝送する配線
と、基準画素位置信号６８を伝送する配線と、奥行き信
号６８を伝送する配線とが接続されている。

【００６０】前記第１の視点位置信号１２を伝送する配
線、第２の視点位置信号２２を伝送する配線、第３の視
点位置信号３２を伝送する配線、第４の視点位置信号４
２を伝送する配線、・・・、第ｎの視点位置信号５２を
伝送する配線のそれぞれは、それぞれの対応小領域抽出
手段に接続する他に途中で枝分かれし、視点位置信号群
５を伝送する配線に接続する。この視点位置信号群５を
伝送する配線は第１から第ｎの近傍小領域平均計算手段
に接続する。

【００６１】前記第１の対応小領域信号１５を伝送する
配線、第２の対応小領域信号２５を伝送する配線、第３
の対応小領域信号３５を伝送する配線、第４の対応小領
域信号４５を伝送する配線、・・・、第ｎの対応小領域
信号５５を伝送する配線のそれぞれは、小領域信号群４
を伝送する配線に接続する他に、途中で枝分かれし、そ
れぞれに対応する差分計算手段に接続する。前記小領域
信号群４を伝送する配線は第１から第ｎの近傍小領域平
均計算手段に接続している。

【００６２】第１の近傍小領域平均計算手段１６には前
記視点位置信号群５を伝送する配線と小領域信号群４を
伝送する配線との他に、第１の小領域平均信号１７を伝
送する配線が接続している。

【００６３】第２の近傍小領域平均計算手段２６には前
記視点位置信号群５を伝送する配線と小領域信号群４を
伝送する配線との他に、第２の小領域平均信号２７を伝
送する配線が接続している。

【００６４】第３の近傍小領域平均計算手段３６には前
記視点位置信号群５を伝送する配線と小領域信号群４を
伝送する配線との他に、第３の小領域平均信号３７を伝
送する配線が接続している。

【００６５】第４の近傍小領域平均計算手段４６には前
記視点位置信号群５を伝送する配線と小領域信号群４を
伝送する配線との他に、第４の小領域平均信号４７を伝
送する配線が接続している。

【００６６】第ｎの近傍小領域平均計算手段５６には前
記視点位置信号群５を伝送する配線と小領域信号群４を
伝送する配線との他に、第ｎの小領域平均信号５７を伝
送する配線が接続している。

【００６７】第１の差分計算手段１８には前記途中で枝
分かれした第１の対応小領域信号１５が接続される他
に、前記第１の小領域平均信号１７を伝送する配線と差
分信号を伝送する配線とが接続している。

【００６８】第２の差分計算手段２８には前記途中で枝
分かれした第２の対応小領域信号２５が接続される他
に、前記第２の小領域平均信号２７を伝送する配線と差
分信号を伝送する配線とが接続している。

【００６９】第３の差分計算手段３８には前記途中で枝
分かれした第３の対応小領域信号３５が接続される他
に、前記第３の小領域平均信号３７を伝送する配線と差
分信号を伝送する配線とが接続している。

【００７０】第４の差分計算手段４８には前記途中で枝
分かれした第４の対応小領域信号４５が接続される他
に、前記第４の小領域平均信号４７を伝送する配線と差
分信号を伝送する配線とが接続している。

【００７１】第ｎの差分計算手段５８には前記途中で枝
分かれした第ｎの対応小領域信号５５が接続される他
に、前記第５の小領域平均信号５７を伝送する配線と差
分信号を伝送する配線とが接続している。

【００７２】総和計算手段６０は、前記第１から第ｎの
差分計算手段から出力された差分信号を伝送するそれぞ
れの配線と差分総和信号６１を伝送する配線とが接続さ
れている。

【００７３】最小コスト奥行き選択手段６２には、前記
差分総和信号６１を伝送する配線と、三次元構造推定信
号６３を伝送する配線と、カウント指令信号６４を伝送
する配線と、基準画素位置信号６６を伝送する配線と、
奥行き信号６８を伝送する配線とが接続されている。

【００７４】基準画素位置カウンタ手段６５にはカウン
ト指令信号６４を伝送する配線と、義俊画素位置信号６
６を伝送する配線とが接続されている。

【００７５】奥行きカウンタ手段６７には基準画素位置
信号６６を伝送する配線と、奥行き信号６８を伝送する
配線とが接続されている。

【００７６】前記カメラ群のうちの１つである第１のカ
メラ１０で撮影した第１の画像信号１１、第１の視点位
置信号１２及び第１の焦点距離信号１３は、後述する基
準画素位置カウンタ６５から出力される第１のカメラ１
０における基準画素位置信号６６と共に対応小領域抽出
手段１４に入力される。この対応小領域抽出手段１４は
画像から基準画素位置ｘ１を中心に５×５画素の大きさ
の小領域を切り出し、この小領域を第１の対応小領域信
号１５として出力する。

【００７７】前記カメラ群のうちの１つである第２のカ
メラ２０で撮影した第２の画像信号２１、第２の視点位
置信号２２及び第２の焦点距離信号２３は、後述する奥
行きカウンタ手段６７から出力される奥行き信号６８
と、前記第１のカメラ１０における基準画素位置信号６
６と共に、第２の対応小領域抽出手段２４に入力され
る。第２の対応小領域抽出手段２４は、前記ｘ１、Ｆ及
びｚを式（２）に代入することにより得られる座標位置
ｘ２を中心として５×５画素の大きさの小領域を切り出
し、第２の対応小領域信号２５として出力する。

【００７８】同様に第３の対応小領域抽出手段３４、第
４の対応小領域抽出手段４４、・・・、第ｎの対応小領
域抽出手段５４は、それぞれ第３のカメラ３０、第４の
カメラ４０、・・・、第ｎのカメラ５０で撮影した第３
の画像信号３１、第４の画像信号４１、・・・、第ｎの
画像信号５１、第３の視点位置信号３２、第４の視点位
置信号４２、・・・、第ｎの視点位置信号５２、第３の
焦点距離信号３３、第４の焦点距離信号４３、・・・、
第ｎの焦点距離信号５３、基準画素位置信号６６、奥行
き信号６８を式（２）に代入することにより得られる座
標位置ｘ３、ｘ４、・・・、ｘｎを中心とした５×５画
素の大きさの小領域を切り出し、第３の対応小領域信号
３５、第４の対応小領域信号４５、・・・、第ｎの対応
小領域信号５５を出力する。

【００７９】前記切り出された第１の対応小領域信号１
５、第２の対応小領域信号２５、第３の対応小領域信号
３５、第４の対応小領域信号４５、・・・、第ｎの対応
小領域信号５５をまとめて小領域信号群４とし、この信
号を伝送する配線を図１中で薄くハッチングして示し
す。同様に前記第１の視点位置信号１２、第２の視点位
置信号２２、第３の視点位置信号３２、第４の視点位置
信号４２、・・・、第ｎの視点位置信号５２をまとめて
視点位置信号群５とし、この信号を伝送する配線を図１
中で濃くハッチングして示す。

【００８０】前記小領域信号群４と前記視点位置信号群
５とは第１の近傍小領域平均計算手段１６に入力する。
第１の近傍小領域平均計算手段１６は第１のカメラ１０
の視点Ｘ１からあらかじめ指定した距離Ｃ内の視点を持
つカメラで撮影された小領域信号を選択し、式（３）に
基づいて平均を計算し、第１の小領域平均信号１７を出
力する。同様に第２の近傍小領域平均計算手段２６、第
３の近傍小領域平均計算手段３６、第４の近傍小領域平
均計算手段４６、・・・、第ｎの近傍小領域平均計算手
段５６は、前記小領域信号群４と前記視点位置信号群５
とを入力し、それぞれ第２のカメラ２０、第３のカメラ
３０、第４のカメラ４０、・・・、第ｎのカメラ５０の
各視点Ｘ２、Ｘ３、Ｘ４、・・・、Ｘｎからあらかじめ
指定した距離Ｃ内の視点を持つカメラで撮影された小領
域信号を選択し、式（３）に基づいて平均を計算し、第
２の小領域平均信号２７、第３の小領域平均信号３７、
第４の小領域平均信号４７、・・・、第ｎの小領域平均
信号５７を出力する。

【００８１】前記第１の対応小領域信号１５と前記第１
の小領域平均信号１７は第１の差分計算手段１８に入力
する。第１の差分計算手段１８は、式（４）に基づき両
信号の差分の二乗和を計算し、差分信号群７０のうちの
一つとして出力する。同様に第２の差分計算手段２８、
第３の差分計算手段３８、第４の差分計算手段４８、・
・・、第５の差分計算手段５８はそれぞれ前記第２の小
領域平均信号２７、第３の小領域平均信号３７、第４の
小領域平均信号４７、・・・、第ｎの小領域平均信号５
７と、前記第２の対応小領域信号２５、第３の対応小領
域信号３５、第４の対応小領域信号４５、・・・、第５
の対応小領域信号５５を入力し、差分二乗和をそれぞれ
計算し差分信号群７０の一つ一つを出力する。前記差分
信号群７０は総和計算手段６０に入力される。総和計算
手段６０は差分の総和を計算し、差分総和信号６１を出
力する。

【００８２】前記差分総和信号６１、前記基準画素位置
信号６６及び前記奥行き信号６８は最少コスト奥行き選
択手段６２へと入力する。最少コスト奥行き選択手段６
２は調べる奥行きの範囲ｚ^min からｚ^max においても最
も差分総和が小さくなる奥行きｚを選択し、三次元構造
推定信号６３を出力する。同時にカウント指令信号６４
を出力し、基準画素位置ｘ１の更新を指令する。

【００８３】前記カウント指令信号６４が入力した基準
画素位置カウンタ手段６５は、調べる奥行きの範囲内で
最も差分総和が小さな奥行きが決定される度毎に、基準
となる前記カメラ１０での画素位置ｘ１を更新し、基準
画素位置信号６６を出力する。前記基準画素位置信号６
６は奥行きカウンタ手段６７に入力する。奥行きカウン
タ手段６７は基準となる画素位置ｘ１が更新される毎
に、奥行きｚを、調べる奥行き範囲内ｚ^min からｚ^max
にスキャンしながら、奥行き信号６８として出力する。

【００８４】この第１の実施例では、小領域の大きさと
して５×５画素の大きさを用いたが、別の大きさでも構
わない。また基準となる画素位置を定めるカメラとして
第１のカメラ１０と記したが、どのカメラを基準として
も構わない。前記近傍小領域平均計算手段として式
（３）に基づいた単純平均処理を行なうとしたが、注目
している視点からの小領域を推定する処理であればどの
ような処理でも構わない。また前記差分計算手段は、前
記対応小領域信号と前記小領域平均信号との差分の二乗
和を出力するとしたが、画素間の距離として用いること
が可能なものであれば二乗和を用いることに限定されな
い。また図８に例示したような複数の視点にカメラが複
数置かれているとしたが、実際には視点が複数でありさ
えすればよく、一つのカメラを移動させながら撮影する
など、カメラは複数でなくとも構わない。

【００８５】図２は本発明に係る三次元構造推定装置の
第２の実施例の構成を示すブロック図である。

【００８６】回路構成としては、第１の実施例で説明し
た回路構成において、第１から第ｎの対応小領域抽出信
号のそれぞれを第１から第ｎの対応画素抽出手段に、第
１から第ｎの近傍小領域平均計算手段のそれぞれを第１
から第ｎの近傍画素平均計算手段に置き換えたものとな
っている。ただし、第１から第ｎの対応小領域信号のそ
れぞれは第１から第ｎの対応画素信号に、第１から第ｎ
の小領域平均信号は第１から第ｎの画素平均信号に置き
換わる。

【００８７】第１のカメラ１０で撮影した第１の画像信
号１１、第１の視点位置信号１２、第１の焦点距離信号
１３は、後述する基準画素位置カウンタ手段６５から出
力される第１のカメラ１０における基準画素位置信号６
６と共に、第１の対応画素抽出手段１１１に入力す。第
１の対応画素抽出手段１１１は基準画素位置ｘ１の画素
値を取り出し、第１の対応画素信号１１２を出力する。

【００８８】第２のカメラ２０で撮影した第２の画像信
号２１、第２の視点位置信号２２及び第２の焦点距離信
号２３は、前記基準画素位置信号６６と、後述する奥行
きカウンタ手段６７から出力される奥行き信号６８と共
に、第２の対応画素抽出手段１２１に入力す。第２の対
応画素抽出手段１２１は式（２）にｘ１、Ｆ及びｚを代
入することにより得られる座標位置ｘ２の画素値を取り
出し、第２の対応画素信号１２２として出力する。同様
に第３の対応画素抽出手段１３１、第４の対応画素抽出
手段１４１、・・・、第ｎの対応画素抽出手段１５１
は、それぞれ第３のカメラ３０、第４のカメラ４０、・
・・、第ｎのカメラ５０で撮影した第３の画像信号３
１、第４の画像信号４１、・・・、第ｎの画像信号５
１、第３の視点位置信号３２、第４の視点位置信号４
２、・・・、第ｎの視点位置信号５２、第３の焦点距離
信号３３、第４の焦点距離信号４３、・・・、第ｎの焦
点距離信号５３、前記奥行き信号６８を入力として、第
３の対応画素信号１３２、第４の対応画素信号１４２、
・・・、第ｎの対応画素信号１５２を出力する。

【００８９】前記第１の対応画素信号１１２、第２の対
応画素信号１２２、第３の対応画素信号１３２、第４の
対応画素信号１４２、・・・、第ｎの対応画素信号１５
２をまとめて画素信号群６とし、この信号を伝送する配
線を図２中で薄くハッチングして示す。同様に前記切り
出された第１の視点位置信号１２、第２の視点位置信号
２２、第３の視点位置信号３２、第４の視点位置信号４
２、・・・、第ｎの視点位置信号５２をまとめて視点位
置信号群５とし、この信号を伝送する配線を図２中で濃
くハッチングして示す。

【００９０】前記画素信号群６と前記視点位置信号群５
は、第１の近傍画素平均計算手段１１３に入力する。第
１の近傍画素平均計算手段１１３は第１のカメラ１０の
視点からあらかじめ指定した距離Ｃ内の視点を持つカメ
ラで撮影された画素信号を選択して平均を計算し、第１
の画素値平均信号１１４を出力する。同様に第２の近傍
画素平均計算手段１２３、第３の近傍画素平均計算手段
１３３、第４の近傍画素平均計算手段１４３、・・・、
第ｎの近傍画素平均計算手段１５３は、前記画素信号群
６と前記視点位置信号群５とが入力され、それぞれ第２
のカメラ２０、第３のカメラ３０、第４のカメラ４０、
・・・、第ｎのカメラ５０の視点からあらかじめ指定し
た距離Ｃ内の視点を持つカメラで撮影された画素信号を
選択して平均を計算し、第２の画素平均信号１２４、第
３の画素平均信号１３４、第４の画素平均信号１４４、
・・・、第ｎの画素平均信号１５４を出力する。

【００９１】前記第１の対応画素信号１１２と前記第１
の画素平均信号１１４は第１の差分計算手段１８に入力
する。第１の差分計算手段１８は式（４）に基づき両信
号の差分の二乗和を計算し、差分信号群７０のうちの一
つとして出力する。同様に第２の差分計算手段２８、第
３の差分計算手段３８、第４の差分計算手段４８、・・
・、第ｎの差分計算手段５８はそれぞれ前記第２の画素
平均信号１２２、第３の画素平均信号１３２、第４の画
素平均信号１４２、・・・、第ｎの画素平均信号１５２
と前記第２の対応画素信号１２４、第３の対応画素信号
１３４、第４の対応画素信号１４４、・・・、第ｎの対
応画素信号１５４を入力とし、差分信号群７０の一つ一
つを出力する。前記差分信号群７０は総和計算手段６０
に入力される。総和計算手段６０は差分の総和を計算
し、差分総和信号６１を出力する。

【００９２】前記差分総和信号６１、前記基準画素位置
信号６６及び前記奥行き信号６８は最少コスト奥行き選
択手段６２へと入力される。最少コスト奥行き選択手段
６２は、調べる奥行きの範囲ｚ^min からｚ^max において
も最も差分総和が小さな奥行きを選択し、三次元構造推
定信号６３として出力すると同時にカウント指令信号６
４を出力し、基準画素位置ｘ１の更新を指令する。

【００９３】前記カウント指令信号６４は基準画素位置
カウンタ手段６５に入力する。基準画素位置カウンタ手
段６５は調べる奥行きの範囲内で最も差分総和が小さな
奥行きが決定される度毎に、基準となる前記カメラ１０
での画素位置ｘ１を更新し、基準画素位置信号６６を出
力する。前記基準画素位置信号６６は奥行きカウンタ手
段６７へと入力されて、基準となる画素位置ｘ１が更新
されるたびに、奥行きｚを、調べる奥行き範囲内ｚ^min
からｚ^max をスキャンしながら、奥行き信号６８を出力
する。

【００９４】この第２の実施例では、前記近傍画素平均
計算手段として式（３）に基づいた単純平均処理を行な
うとしたが、注目している視点からの画素を推定する処
理であればこれに限定されず他の処理でも構わない。ま
た前記差分計算手段は、前記対応画素信号と前記画素平
均信号との差分の二乗和を出力すると記したが、画素間
の距離として用いることが可能なものであれば二乗和で
なくても構わない。また図８に例示したように複数の視
点にカメラが複数置かれているとしたが、実際には視点
が複数でありさえすればよく、一つのカメラを移動させ
ながら撮影するなど、カメラは複数でなくとも構わな
い。

【００９５】図３は本発明に係る三次元構造推定装置の
第３の実施例の構成を示すブロック図である。

【００９６】第１の対応小領域抽出手段１４には第１の
画像信号１１を伝送する配線と、第１の視点位置信号１
２を伝送する配線と、第１の焦点距離信号１３を伝送す
る配線と、第１の対応小領域信号１５を伝送する配線
と、基準画素位置信号６８を伝送する配線とが接続され
ている。

【００９７】第２の対応小領域抽出手段２４には第２の
画像信号２１を伝送する配線と、第２の視点位置信号２
２を伝送する配線と、第２の焦点距離信号２３を伝送す
る配線と、第２の対応小領域信号２５を伝送する配線
と、基準画素位置信号６８を伝送する配線と、奥行き信
号６８を伝送する配線とが接続されている。

【００９８】第３の対応小領域抽出手段３４には第３の
画像信号３１を伝送する配線と、第３の視点位置信号３
２を伝送する配線と、第３の焦点距離信号３３を伝送す
る配線と、第３の対応小領域信号３５を伝送する配線
と、基準画素位置信号６８を伝送する配線と、奥行き信
号６８を伝送する配線とが接続されている。

【００９９】第４の対応小領域抽出手段４４には第４の
画像信号４１を伝送する配線と、第４の視点位置信号４
２を伝送する配線と、第４の焦点距離信号４３を伝送す
る配線と、第４の対応小領域信号４５を伝送する配線
と、基準画素位置信号６８を伝送する配線と、奥行き信
号６８を伝送する配線とが接続されている。

【０１００】第ｎの対応小領域抽出手段５４には第ｎの
画像信号５１を伝送する配線と、第ｎの視点位置信号５
２を伝送する配線と、第ｎの焦点距離信号５３を伝送す
る配線と、第ｎの対応小領域信号５５を伝送する配線
と、基準画素位置信号６８を伝送する配線と、奥行き信
号６８を伝送する配線とが接続されている。

【０１０１】前記第１の視点位置信号１２を伝送する配
線、第２の視点位置信号２２を伝送する配線、第３の視
点位置信号３２を伝送する配線、第４の視点位置信号４
２を伝送する配線、・・・、第ｎの視点位置信号５２を
伝送する配線のそれぞれは、それぞれの対応小領域抽出
手段に接続する他に途中で枝分かれし、視点位置信号群
５を伝送する配線に接続する。この視点位置信号群５を
伝送する配線は第１から第ｎの近傍小領域分散計算手段
に接続している。

【０１０２】前記第１の対応小領域信号１５を伝送する
配線、第２の対応小領域信号２５を伝送する配線、第３
の対応小領域信号３５を伝送する配線、第４の対応小領
域信号４５を伝送する配線、・・・、第ｎの対応小領域
信号５５を伝送する配線のそれぞれは小領域信号群４を
伝送する配線に接続する。この小領域信号群４を伝送す
る配線は第１から第ｎの近傍小領域分散計算手段に接続
している。

【０１０３】第１から第ｎの近傍小領域分散計算手段の
それぞれには前記視点位置信号群５を伝送する配線、小
領域信号群４を伝送する配線の他に、分散信号を伝送す
る配線が接続している。

【０１０４】総和計算手段６０は、前記第１から第ｎの
分散計算手段から出力された分散信号を伝送するそれぞ
れの配線と分散総和信号６９を伝送する配線とが接続さ
れている。

【０１０５】最小コスト奥行き選択手段６２には、三次
元構造推定信号６３を伝送する配線と、カウント指令信
号６４を伝送する配線と、基準画素位置信号６６を伝送
する配線と、奥行き信号６８を伝送する配線と、前記分
散総和信号６９を伝送する配線とが接続されている。

【０１０６】基準画素位置カウンタ手段６５にはカウン
ト指令信号６４を伝送する配線と、基準画素位置信号６
６を伝送する配線とが接続されている。

【０１０７】奥行きカウンタ手段６７には基準画素位置
信号６６を伝送する配線と、奥行き信号６８を伝送する
配線とが接続されている。

【０１０８】第１のカメラ１０で撮影した第１の画像信
号１１、第１の視点位置信号１２及び第１の焦点距離信
号１３は、後述する基準画素位置カウンタ手段６５から
出力される第１のカメラ１０における基準画素位置信号
６６と共に、第１の対応小領域抽出手段１４に入力す
る。第１の対応小領域抽出手段１４は基準画素位置ｘ１
の画素値を取り出し、この画素を中心に５×５画素の大
きさの小領域を切り出し、第１の対応小領域信号１５と
して出力する。

【０１０９】第２のカメラ２０で撮影した第２の画像信
号２１、第２の視点位置信号２２及び第２の焦点距離信
号２３は、後述する奥行きカウンタ手段６７から出力さ
れる奥行き信号６８と共に、第２の対応小領域抽出手段
２４に入力する。第２の対応小領域抽出手段２４は式
（２）によりｘ１、Ｆ及びｚから計算した対応する座標
位置ｘ２を中心とした５×５画素の大きさの小領域を切
り出し、これを第２の対応小領域信号２５として出力す
る。同様に第３の対応小領域抽出手段３４、第４の対応
小領域抽出手段４４、・・・、第ｎの対応小領域抽出手
段５４は、それぞれ第３のカメラ３０、第４のカメラ４
０、・・・、第ｎのカメラ５０で撮影した第３の画像信
号３１、第４の画像信号４１、・・・、第ｎの画像信号
５１、第３の視点位置信号３２、第４の視点位置信号４
２、・・・、第ｎの視点位置信号５２、第３の焦点距離
信号３３、第４の焦点距離信号４３、・・・、第ｎの焦
点距離信号５３、前記奥行き信号６８を入力として、第
３の対応小領域信号３５、第４の対応小領域信号４５、
・・・、第ｎの対応小領域信号５５を出力する。

【０１１０】前記切り出された第１の対応小領域信号１
５、第２の対応小領域信号２５、第３の対応小領域信号
３５、第４の対応小領域信号４５、・・・、第ｎの対応
小領域信号５５をまとめて小領域信号群４とし、この信
号を伝送する配線を図３中で薄くハッチングして示す。
同様に前記切り出された第１の視点位置信号１２、第２
の視点位置信号２２、第３の視点位置信号３２、第４の
視点位置信号４２、・・・、第ｎの視点位置信号５２を
まとめて視点位置信号群５とし、この信号を伝送する配
線を図３中で濃くハッチングして示す。

【０１１１】前記小領域信号群４と前記視点位置信号群
５は、第１の近傍小領域分散計算手段１１５に入力され
る。第１の近傍小領域分散計算手段１１５は第１のカメ
ラ１０の視点からあらかじめ指定した距離Ｃ内の視点を
持つカメラで撮影された小領域信号を選択し、式（５）
に基づいて分散を計算し、分散信号群７１のうちの１つ
を出力する。同様に第２の近傍小領域分散計算手段１２
５、第３の近傍小領域分散計算手段１３５、第４の近傍
小領域分散計算手段１４５、・・・、第ｎの近傍小領域
分散計算手段１５５は、前記小領域信号群４と前記視点
位置信号群５を入力し、それぞれ第２のカメラ２０、第
３のカメラ３０、第４のカメラ４０、・・・、第ｎのカ
メラ５０の視点からあらかじめ指定した距離Ｃ内の視点
を持つカメラで撮影された小領域信号を選択し、式
（５）に基づいて分散を計算し、分散信号群７１の１つ
１つを出力する。

【０１１２】前記分散信号群７１は、総和計算手段６０
に入力される。総和計算手段６０は分散の総和を計算
し、分散総和信号６９を出力する。

【０１１３】前記分散総和信号６９、前記基準画素位置
信号６６及び前記奥行き信号６８は最少コスト奥行き選
択手段６２へと入力される。最少コスト奥行き選択手段
６２は調べる奥行きの範囲ｚ^min からｚ^max においても
最も分散総和が小さな奥行きを選択し、三次元構造推定
信号６３として出力する。同時にカウント指令信号６４
を出力し、基準画素位置ｘ１の更新を指令する。

【０１１４】前記カウント指令信号６４は基準画素位置
カウンタ手段６５に入力される。基準画素位置カウンタ
手段６５は調べる奥行きの範囲内で最も分散総和が小さ
な奥行きが決定される度毎に、基準となる前記カメラ１
０での小領域位置ｘ１を更新し、基準画素位置信号６６
を出力する。前記画素位置信号６６は奥行きカウンタ手
段６７へと入力する。奥行きカウンタ手段６７は基準と
なる小領域位置ｘ１が更新されるたびに、奥行きｚを、
調べる奥行き範囲内ｚ^min からｚ^max をスキャンしなが
ら、奥行き信号６８を出力する。

【０１１５】この第３の実施例では、小領域の大きさと
して５×５画素の大きさを用いたが、別の大きさでも構
わない。また基準となる画素位置を定めるカメラとして
第１のカメラ１０と記したが、どのカメラを基準として
も構わない。前記近傍小領域分散計算手段として式
（５）に基づいた単純分散処理を行なうと記したが、注
目している視点からの小領域を推定する処理であれば他
の処理でも構わない。また前記分散計算手段は、前記対
応小領域信号と前記小領域分散信号との分散の二乗和を
出力するとしたが、画素間の距離として用いることが可
能なものであればどれを用いても構わない。また図８に
例示したように複数の視点にカメラが複数置かれている
としたが、実際には視点が複数でありさえすればよく、
一つのカメラを移動させながら撮影するなど、カメラは
複数でなくとも構わない。

【０１１６】図４は本発明に係る三次元構造推定装置の
第４の実施例の構成を示したブロック図である。

【０１１７】回路構成としては、第３の実施例において
説明した回路構成において、第１から第ｎの対応小領域
抽出手段のそれぞれを第１から第ｎの対応画素抽出手段
に、第１から第ｎの近傍小領域分散計算手段を第１から
第ｎの近傍画素分散計算手段に置き換えたものとなって
いる。ただし、第１から第ｎの対応小領域信号のそれぞ
れが第１から第ｎの対応画素信号に置き換わる。

【０１１８】第１のカメラ１０で撮影した第１の画像信
号１１、第１の視点位置信号１２及び第１の焦点距離信
号１３は、後述する基準画素位置カウンタ手段６５から
出力される第１のカメラ１０における基準画素位置信号
６６と共に、第１の対応画素抽出手段１１１に入力す
る。第１の対応画素抽出手段１１１は基準画素位置ｘ１
の画素値を取り出し、第１の対応画素信号１１２を出力
する。

【０１１９】第２のカメラ２０で撮影した第２の画像信
号２１、第２の視点位置信号２２及び第２の焦点距離信
号２３は、後述する奥行きカウンタ手段６７から出力さ
れる奥行き信号６８と共に、第２の対応画素抽出手段１
２１に入力する。第２の対応画素抽出手段１２１は式
（２）にｘ１、Ｆ及びｚ代入することにより得られる座
標位置ｘ２における画素値を取り出し、第２の対応画素
信号１２２として出力する。同様に第３の対応画素抽出
手段１３１、第４の対応画素抽出手段１４１、・・・、
第ｎの対応画素抽出手段１５１は、それぞれ第３のカメ
ラ３０、第４のカメラ４０、・・・、第ｎのカメラ５０
で撮影した第３の画像信号３１、第４の画像信号４１、
・・・、第ｎの画像信号５１、第３の視点位置信号３
２、第４の視点位置信号４２、・・・、第ｎの視点位置
信号５２、第３の焦点距離信号３３、第４の焦点距離信
号４３、・・・、第ｎの焦点距離信号５３、前記奥行き
信号６８を入力として、第３の対応画素信号１３２、第
４の対応画素信号１４２、・・・、第ｎの対応画素信号
１５２を出力する。

【０１２０】前記切り出された第１の対応画素信号１１
２、第２の対応画素信号１２２、第３の対応画素信号１
３２、第４の対応画素信号１４２、・・・、第ｎの対応
画素信号１５２をまとめて画素信号群６とし、この信号
を伝送する配線を図４中で薄くハッチングして示す。同
様に前記切り出された第１の視点位置信号１２、第２の
視点位置信号２２、第３の視点位置信号３２、第４の視
点位置信号４２、・・・、第ｎの視点位置信号５２をま
とめて視点位置信号群５とし、この信号を伝送する配線
を図４中で濃くハッチングして示す。

【０１２１】前記視点位置信号群５と前記画素信号群６
とは、第１の近傍画素分散計算手段１１７に入力する。
第１の近傍画素分散計算手段１１７は第１のカメラ１０
の視点からあらかじめ指定した距離Ｃ内の視点を持つカ
メラで撮影された小領域信号を選択し、式（５）に基づ
いて分散を計算し、分散信号群７１のうちの１つを出力
する。同様に第２の近傍画素分散計算手段１２７、第３
の近傍画素分散計算手段１３７、第４の近傍画素分散計
算手段１４７、・・・、第ｎの近傍画素分散計算手段１
５７は、前記画素信号群６と前記視点位置信号群５を入
力し、それぞれ第２のカメラ２０、第３のカメラ３０、
第４のカメラ４０、・・・、第ｎのカメラ５０の視点か
らあらかじめ指定した距離Ｃ内の視点を持つカメラで撮
影された画素信号を選択し、式（５）に基づいて分散を
計算し、分散信号群７１の１つ１つを出力する。

【０１２２】前記分散信号群７１は、総和計算手段６０
に入力される。総和計算手段６０は分散の総和を計算
し、分散総和信号６９を出力する。

【０１２３】前記分散総和信号６９、前記基準画素位置
信号６６及び前記奥行き信号６８は最少コスト奥行き選
択手段６２へと入力される。最少コスト奥行き選択手段
６２は、調べる奥行きの範囲ｚ^min からｚ^max において
も最も分散総和が小さな奥行きを選択し、三次元構造推
定信号６３として出力する。同時にカウント指令信号６
４を出力し、基準画素位置ｘ１の更新を指令する。

【０１２４】前記カウント指令信号６４は基準画素位置
カウンタ手段６５に入力される。基準画素位置カウンタ
６５は調べる奥行きの範囲ｚ^min からｚ^max 内で最も分
散総和が小さな奥行きが決定される度毎に、基準となる
前記カメラ１０での画素位置ｘ１を更新し、基準画素位
置信号６６を出力する。

【０１２５】前記基準画素位置信号６６は奥行きカウン
タ手段６７へと入力される。奥行きカウンタ手段６７は
基準となる画素位置が更新される毎に、奥行きｚを、調
べるべき奥行き範囲ｚ^min からｚ^max 内をスキャンしな
がら、奥行き信号６８として出力する。

【０１２６】この第４の実施例では、基準となる画素位
置を定めるカメラとして第１のカメラ１０と記したが、
どのカメラを基準としても構わない。前記近傍画素分散
計算手段として単純分散処理を行なうと記したが、注目
している視点からの画素を推定する方法であればなんで
も構わない。また図８に例示したような複数の視点にカ
メラが複数置かれているとしたが、実際には視点が複数
でありさえすればよく、一つのカメラを移動させながら
撮影するなど、カメラは複数でなくとも構わない。

【０１２７】

【発明の効果】以上の説明から明らかなように、本発明
の三次元構造推定方法及び装置によれば、基準視点にお
いて撮影した画像上の画素を含む小領域と、その近傍の
前記小領域に対応する対応小領域とを用いて平均を計算
し、各視点での小領域と前記平均との差分が最も小さく
なる奥行きを選択するので、精度の良い三次元構造推定
することができる。

【０１２８】また、基準視点において撮影した画像上の
画素と、その近傍の前記画素に対応する対応小画素とを
用いて平均画素を計算し、各視点での画素と前記平均画
素との差分が最も小さくなる奥行きを選択するので、精
度の良い三次元構造推定することができる。

【０１２９】また、基準視点において撮影した画像上の
画素を含む小領域と、その近傍の前記小領域に対応する
対応小領域とを用いて平均を計算し、各視点での小領域
の前記平均からのバラツキの和、つまり分散の和が最も
小さくなる奥行きを選択するので、精度の良い三次元構
造推定することができる。

【０１３０】さらに、基準視点において撮影した画像上
の画素と、その近傍の前記画素に対応する対応画素とを
用いて平均を計算し、各視点での画素の前記平均からの
バラツキの和、つまり分散の和が最も小さくなる奥行き
を選択するので、精度の良い三次元構造推定することが
できる。

【図面の簡単な説明】

【図１】本発明に係る三次元構造推定装置の構成を示す
ブロック図である。

【図２】本発明に係る三次元構造推定装置の構成を示す
ブロック図である。

【図３】本発明に係る三次元構造推定装置の構成を示す
ブロック図である。

【図４】本発明に係る三次元構造推定装置の構成を示す
ブロック図である。

【図５】本発明に係る小領域の平均を取る動作を示す図
である。

【図６】ステレオ法を行なう際の物体と視点の位置関係
を示す図である。

【図７】ステレオ法における物理的制約条件を示す図で
ある。

【図８】マルチベースラインステレオ法を行なう際の物
体と視点の位置関係を示す図である。

【図９】マルチベースラインステレオ法による小領域の
抽出を示す図である。

【図１０】物体の表面に当たった光の反射を示す図であ
る。

【符号の説明】 １０ 第一のカメラ １１ 第一の画像信号 １２ 第一の視点位置信号 １３ 第一の焦点距離信号 １４ 第一の対応小領域抽出手段 １５ 第一の対応小領域信号 １６ 第一の近傍小領域平均計算手段 １７ 第一の小領域平均信号 １８ 第一の差分計算手段 ６０ 総和計算手段 ６１ 差分総和信号 ６２ 最小コスト奥行き選択手段 ６３ 三次元構造推定信号 ６４ カウント指令信号 ６５ 基準画素位置カウンタ手段 ６６ 基準画素位置信号 ６７ 奥行きカウンタ手段 ６８ 奥行き信号 ７０ 差分信号群 １００ 第一の三次元構造推定装置

Claims (12)

【特許請求の範囲】
1. 【請求項１】 カメラで物体を撮影する位置である直線
   上に並んだ複数の視点において撮影されたそれぞれの画
   像から、カメラの焦点距離と、前記複数の視点の内の一
   つの視点である基準視点において撮影された画像の画素
   位置と、前記直線からの距離とで定まる基準視点以外の
   各視点の基準視点において撮影された画像の画素位置に
   対応する対応画素あるいは該画素位置を含む対応小領域
   を取り出す工程と、 前記各視点での対応画素を該視点の近傍視点における対
   応画素と比較するかあるいは前記対応小領域を該視点の
   近傍視点における対応小領域と該視点毎に比較する工程
   と、 前記視点毎の比較情報を総和して総和値を計算する工程
   と、 所定の範囲内の前記直線からの距離において、前記総和
   値が最も小さくなる直線からの距離を前記基準視点にお
   ける画素の奥行きとする工程と、 以上の工程を全画素について繰り返す工程とを有するこ
   とを特徴とする三次元構造推定方法。
2. 【請求項２】 前記直線上に並んだ複数の視点は、カメ
   ラを直線上で移動させることにより形成されることを特
   徴とする請求項１記載の三次元構造推定方法。
3. 【請求項３】 前記直線上に並んだ複数の視点は、視点
   の位置にカメラを配置させることにより形成されること
   を特徴とする請求項１記載の三次元構造推定方法。
4. 【請求項４】 前記各視点での対応画素を該視点の近傍
   視点における対応画素と比較するかあるいは前記対応小
   領域を該視点の近傍視点における対応小領域と該視点毎
   に比較する工程は、 前記複数の視点の内の一つの視点における対応画素ある
   いは前記対応小領域と、前記一つの視点の近傍にある視
   点における前記対応画素あるいは前記対応小領域とを用
   いてこれらの画素値あるいは小領域の平均を各視点位置
   毎に計算し、前記一つの視点における前記対応画素ある
   いは対応小領域と、前記平均値との差分を、各視点位置
   毎に計算する工程であることを特徴とする請求項１から
   ３のいずれかに記載の三次元構造推定方法。
5. 【請求項５】 前記各視点での対応画素を該視点の近傍
   視点における対応画素と比較するかあるいは前記対応小
   領域を該視点の近傍視点における対応小領域と該視点毎
   に比較する工程は、 前記複数の視点の内の一つの視点における対応画素ある
   いは前記対応小領域と、前記一つの視点の近傍にある視
   点における前記対応画素あるいは前記対応小領域とを用
   いて各視点位置毎に各対応画素毎あるいは対応小領域毎
   の分散の和を計算する工程であることを特徴とする請求
   項１から３のいずれかに記載の三次元構造推定方法。
6. 【請求項６】 直線上に並んだ複数の視点の内の一つで
   ある基準視点において撮影された画像上の画素位置と、
   前記基準視点における視点位置と基準視点以外の視点に
   おける視点位置との間のそれぞれの距離と、カメラの焦
   点距離と、前記直線から奥行きと推定される点までの距
   離とにより決定される基準視点以外の視点において撮影
   されたそれぞれの画像上の前記画素位置に対応する位置
   にある画素を含む小領域を抽出する第１の対応小領域抽
   出手段と、 前記複数の視点の内の一つの視点における前記対応小領
   域と、前記一つの視点の近傍にある視点における前記対
   応小領域とを用いてこれらの小領域の平均値を各視点位
   置毎に計算する第１の近傍小領域平均計算手段と、 前記一つの視点における前記対応小領域と、前記平均値
   との差分を、各視点位置毎に計算する第１の差分計算手
   段と、 前記複数視点全ての前記差分の和である差分総和を計算
   する第１の総和計算手段と、 前記直線から奥行きと推定される点までの距離を変化さ
   せて前記差分総和が最も小さくなる距離を奥行きとして
   求めた後、画素位置を更新するための移動指令を出力す
   る第１の最小コスト奥行き選択手段と、 前記基準視点において撮影された画像上の画素位置を更
   新する第１の基準画素位置カウンタ手段と、 前記基準視点における画素位置を入力して、該画素位置
   が更新されると、調査範囲内の奥行きを順次出力する第
   １の奥行きカウンタ手段とを有することを特徴とする三
   次元構造推定装置。
7. 【請求項７】 直線上に並んだ複数の視点の内の一つで
   ある基準視点において撮影された画像上の画素位置と、
   前記基準視点における視点位置と基準視点以外の視点に
   おける視点位置との間のそれぞれの距離と、カメラの焦
   点距離と、前記直線から奥行きと推定される点までの距
   離とにより決定される基準視点以外の視点において撮影
   されたそれぞれの画像上の前記画素位置に対応する位置
   にある画素を対応画素として抽出する第１の対応画素抽
   出手段と、 前記複数の視点の内の一つの視点における前記対応画素
   と、該視点の近傍の視点における前記対応画素とを用い
   てこれらの画素値の平均値を各視点位置毎に計算する第
   １の近傍画素平均計算手段と、 前記一つの視点における前記対応画素の画素値と、前記
   平均値との差分を、各視点位置毎に計算する第２の差分
   計算手段と、 前記複数視点全ての前記差分の和である差分総和を計算
   する第２の総和計算手段と、 前記直線から奥行きと推定される点までの距離を変化さ
   せて前記差分総和が最も小さくなる距離を奥行きとして
   求めた後、画素位置を更新するための移動指令を出力す
   る第２の最小コスト奥行き選択手段と、 前記基準視点において撮影された画像上の画素位置を更
   新する第２の基準画素位置カウンタ手段と、 前記基準視点における画素位置を入力して、該画素位置
   が更新されると、調査範囲内の奥行きを順次出力する第
   ２の奥行きカウンタ手段とを有することを特徴とする三
   次元構造推定装置。
8. 【請求項８】 直線上に並んだ複数の視点の内の一つで
   ある基準視点において撮影された画像上の画素位置と、
   前記基準視点における視点位置と、基準視点以外の視点
   における視点位置との間のそれぞれの距離と、カメラの
   焦点距離と、前記直線から奥行きと推定される点までの
   距離とにより決定される基準視点以外の視点において撮
   影されたそれぞれの画像上の前記画素位置に対応する位
   置にある画素を含む小領域を抽出する第２の対応小領域
   抽出手段と、 前記複数の視点の内の一つの視点における前記対応小領
   域と、前記一つの視点の近傍にある視点における前記対
   応小領域とを用いて各視点位置毎に各画素位置毎の分散
   を計算する第１の近傍分散計算手段と、 前記複数視点全ての前記分散の和である分散総和を計算
   する第３の総和計算手段と、 前記直線から奥行きと推定される点までの距離を変化さ
   せて前記分散総和が最も小さくなる距離を奥行きとして
   求めた後、画素位置を更新するための移動指令を出力す
   る第３の最小コスト奥行き選択手段と、 前記基準視点において撮影された画像上の画素位置を更
   新する第３の基準画素位置カウンタ手段と、 前記基準視点における画素位置を入力して、該画素位置
   が更新されると、調査範囲内の奥行きを順次出力する第
   ３の奥行きカウンタ手段とを有することを特徴とする三
   次元構造推定装置。
9. 【請求項９】 直線上に並んだ複数の視点の内の一つで
   ある基準視点において撮影された画像上の画素位置と、
   前記基準視点における視点位置と、基準視点以外の視点
   における視点位置との間のそれぞれの距離と、カメラの
   焦点距離と、前記直線から奥行きと推定される点までの
   距離とにより決定される基準視点以外の視点において撮
   影されたそれぞれの画像上の前記画素位置に対応する位
   置にある画素を抽出する第２の対応画素抽出手段と、 前記複数の視点の内の一つの視点における前記対応画素
   と、該視点の近傍にある視点における前記対応画素とを
   用いて各視点位置毎に各画素毎の分散を計算する第２の
   近傍分散計算手段と、 前記複数視点全ての前記分散の和である分散総和を計算
   する第４の総和計算手段と、 前記直線から奥行きと推定される点までの距離を変化さ
   せて前記分散総和が最も小さくなる距離を奥行きとして
   求めた後、画素位置を更新するための移動指令を出力す
   る第４の最小コスト奥行き選択手段と、 前記基準視点において撮影された画像上の画素位置を更
   新する第４の基準画素位置カウンタ手段と、 前記基準視点における画素位置を入力して、該画素位置
   が更新されると、調査範囲内の奥行きを順次出力する第
   ４の奥行きカウンタ手段とを有することを特徴とする三
   次元構造推定装置。
10. 【請求項１０】 前記直線上に並んだ複数の視点は、カ
    メラを直線上で移動させることにより形成されることを
    特徴とする請求項６から９のいずれかに記載の三次元構
    造推定装置。
11. 【請求項１１】 前記直線上に並んだ複数の視点は、視
    点の位置にカメラを配置させることにより形成されるこ
    とを特徴とする請求項６から９のいずれかに記載の三次
    元構造推定装置。
12. 【請求項１２】 前記近傍の視点は、前記複数の視点の
    内の一つの視点の両隣の視点あることを特徴とする請求
    項６から９のいずれかに記載の三次元構造推定装置。