JP3514373B2 - ３次元情報抽出方法、装置、および３次元情報抽出プログラムを記録した記録媒体 - Google Patents
３次元情報抽出方法、装置、および３次元情報抽出プログラムを記録した記録媒体Info
- Publication number
- JP3514373B2 JP3514373B2 JP19766499A JP19766499A JP3514373B2 JP 3514373 B2 JP3514373 B2 JP 3514373B2 JP 19766499 A JP19766499 A JP 19766499A JP 19766499 A JP19766499 A JP 19766499A JP 3514373 B2 JP3514373 B2 JP 3514373B2
- Authority
- JP
- Japan
- Prior art keywords
- voxel
- information
- image
- contour
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、撮影被写体の３次
元形状を抽出する３次元情報抽出方法および装置に関す
るものである。
元形状を抽出する３次元情報抽出方法および装置に関す
るものである。
【０００２】
【従来の技術】被写体の３次元座標を復元する技術とし
ては、従来、図１０に示すように、回転台等を用いて同
一被写体を異なる視点から撮像した多数の２次元画像に
基づいて、画像上に現われた被写体の、エッジや境界領
域を表す特徴点へ向かって視点から直線を延ばし、被写
体が存在する３次元空間上を通過させることによって、
被写体の特徴点が存在する可能性のある３次元座標へ投
票（ボーティング）をする方法が知られている（図１１
参照）。なお、同一被写体を異なる視点から撮像した複
数枚の２次元画像に基づいて、３次元空間上にある被写
体上の特徴点から視点に向かって延ばされた直線を「投
影線」といい、その投影線を通過させることを「投影」
という。反対に、画像上に現われた被写体の特徴点へ向
かって視点から延ばされた直線を「逆投影線」といい、
被写体が存在する３次元空間上に逆投影線を通過させる
ことを「逆投影」という。また、図１１に示したよう
に、またボーティング法では、単位３次元空間である
「ボクセル」の集合として投票対象空間である「ボクセ
ル空間」を定義しており、通常逆投影線が各ボクセルを
通過する場合に、そのボクセルに対して投票操作を行っ
ている。ここで、「投票操作」とは、逆投影線が通過す
るボクセルの持つ関数値を１増加させることであり、こ
の関数は逆投影線の通過本数を表すことが多い。また、
投票操作を実行するために、撮影時のカメラパラメータ
（撮影位置および向き）は既知である必要がある。
ては、従来、図１０に示すように、回転台等を用いて同
一被写体を異なる視点から撮像した多数の２次元画像に
基づいて、画像上に現われた被写体の、エッジや境界領
域を表す特徴点へ向かって視点から直線を延ばし、被写
体が存在する３次元空間上を通過させることによって、
被写体の特徴点が存在する可能性のある３次元座標へ投
票（ボーティング）をする方法が知られている（図１１
参照）。なお、同一被写体を異なる視点から撮像した複
数枚の２次元画像に基づいて、３次元空間上にある被写
体上の特徴点から視点に向かって延ばされた直線を「投
影線」といい、その投影線を通過させることを「投影」
という。反対に、画像上に現われた被写体の特徴点へ向
かって視点から延ばされた直線を「逆投影線」といい、
被写体が存在する３次元空間上に逆投影線を通過させる
ことを「逆投影」という。また、図１１に示したよう
に、またボーティング法では、単位３次元空間である
「ボクセル」の集合として投票対象空間である「ボクセ
ル空間」を定義しており、通常逆投影線が各ボクセルを
通過する場合に、そのボクセルに対して投票操作を行っ
ている。ここで、「投票操作」とは、逆投影線が通過す
るボクセルの持つ関数値を１増加させることであり、こ
の関数は逆投影線の通過本数を表すことが多い。また、
投票操作を実行するために、撮影時のカメラパラメータ
（撮影位置および向き）は既知である必要がある。
【０００３】３次元座標復元技術における従来手法とし
て、例えば、浜野らによる文献１「空間へのボーティン
グによる３次元環境情報抽出手法」（信学論（Ｄ−I
I）、Ｊ７５−Ｄ−II、 ｐｐ．３４２−３５０、１９９
２−０２）では、あらかじめ、３次元ボクセル空間上の
全てのボクセル位置に対して、投票数を記憶する記憶手
段を持ち、全ての撮影画像上の全特徴点から逆投影線を
延ばし、全てのボクセルの逆投影線の通過本数を投票数
として計測し、その後、３次元ボクセル空間上で投票数
が極大値であるボクセル位置を探し出し、投票数が極大
値であるボクセル位置を特徴点の３次元位置として抽出
している。しかし、この方法では、本来対応点ではない
特徴点からの逆投影線同士が通過するボクセルが極大値
を持つことがあり、その場合に誤った投票結果（誤投票
点）が得られるという問題がある。
て、例えば、浜野らによる文献１「空間へのボーティン
グによる３次元環境情報抽出手法」（信学論（Ｄ−I
I）、Ｊ７５−Ｄ−II、 ｐｐ．３４２−３５０、１９９
２−０２）では、あらかじめ、３次元ボクセル空間上の
全てのボクセル位置に対して、投票数を記憶する記憶手
段を持ち、全ての撮影画像上の全特徴点から逆投影線を
延ばし、全てのボクセルの逆投影線の通過本数を投票数
として計測し、その後、３次元ボクセル空間上で投票数
が極大値であるボクセル位置を探し出し、投票数が極大
値であるボクセル位置を特徴点の３次元位置として抽出
している。しかし、この方法では、本来対応点ではない
特徴点からの逆投影線同士が通過するボクセルが極大値
を持つことがあり、その場合に誤った投票結果（誤投票
点）が得られるという問題がある。
【０００４】一方、川戸による文献２「空間への２段階
投票による３次元情報の抽出」（信学論（Ｄ−II）、Ｊ
７７−Ｄ−II、 ｐｐ．２３３４−２３４１、１９９４−
１２）では、投票操作を２回行うことにより誤投票点を
防ぐ方法も提案されている。この方法では、全ての逆投
影線が通過する全てのボクセル位置に対する通過本数計
測を、上記文献１の方法と同様に行った後、逆投影線上
には特徴点がひとつのみ存在することを利用した２回目
の通過本数計測によって、誤投票の抽出を抑制するよう
にしたものである。すなわち、文献２に方法では、３次
元ボクセル空間内の全てのボクセル位置について、投票
数を記憶する記憶手段を２つ用意し、全ての逆投影線に
対する投票操作を文献１での方法と同様に行い、その結
果として得られる投票数をｋ1 とし、各ボクセル毎にそ
の投票数ｋ1 を記憶し、各画像上の特徴点からの逆投影
線を再度引き、その逆投影線上の各ボクセルに対応する
投票数ｋ1 が最大であるボクセルの位置を探し、投票数
ｋ1 が最大であるボクセルに対してのみ２度目の投票数
記憶手段の対応するボクセルに投票操作を行う。この最
大値検索と投票操作とを全ての逆投影線に対して行った
結果、各ボクセル位置に記憶されている投票数をｋ2 と
する。最後に、各ボクセルにおけるｋ2 を求め、その値
がある閾値以上であるものを抽出し、その位置を特徴点
の３次元座標として出力する。このようにすれば、１つ
の逆投影線上の各ボクセルに対応する投票数の最大値が
抽出され、したがって、文献２の方法では誤投票点の抽
出が抑えられることになる。また、本方法ではボクセル
空間を表現するためにオクトトリー型のデータ構造を採
用している。手法内では、まず物体領域を含む十分大き
なボクセルを用意しておき、そのボクセルに対して前出
の２回の投票操作を行い、投票結果が得られたボクセル
のみ８等分割し（図１２参照）、再度２回の投票操作を
実行することを繰り返しながら必要な分解能まで２回の
投票操作、ボクセル分割を繰り返し実行するという手法
である。本構造を採用することにより、空間を構成する
ために必要な記憶手段および無駄なボクセルの探索の削
減を実現している。ボクセル分割は、１ボクセルに一本
の逆投影線が通過するようになるまで行う。
投票による３次元情報の抽出」（信学論（Ｄ−II）、Ｊ
７７−Ｄ−II、 ｐｐ．２３３４−２３４１、１９９４−
１２）では、投票操作を２回行うことにより誤投票点を
防ぐ方法も提案されている。この方法では、全ての逆投
影線が通過する全てのボクセル位置に対する通過本数計
測を、上記文献１の方法と同様に行った後、逆投影線上
には特徴点がひとつのみ存在することを利用した２回目
の通過本数計測によって、誤投票の抽出を抑制するよう
にしたものである。すなわち、文献２に方法では、３次
元ボクセル空間内の全てのボクセル位置について、投票
数を記憶する記憶手段を２つ用意し、全ての逆投影線に
対する投票操作を文献１での方法と同様に行い、その結
果として得られる投票数をｋ1 とし、各ボクセル毎にそ
の投票数ｋ1 を記憶し、各画像上の特徴点からの逆投影
線を再度引き、その逆投影線上の各ボクセルに対応する
投票数ｋ1 が最大であるボクセルの位置を探し、投票数
ｋ1 が最大であるボクセルに対してのみ２度目の投票数
記憶手段の対応するボクセルに投票操作を行う。この最
大値検索と投票操作とを全ての逆投影線に対して行った
結果、各ボクセル位置に記憶されている投票数をｋ2 と
する。最後に、各ボクセルにおけるｋ2 を求め、その値
がある閾値以上であるものを抽出し、その位置を特徴点
の３次元座標として出力する。このようにすれば、１つ
の逆投影線上の各ボクセルに対応する投票数の最大値が
抽出され、したがって、文献２の方法では誤投票点の抽
出が抑えられることになる。また、本方法ではボクセル
空間を表現するためにオクトトリー型のデータ構造を採
用している。手法内では、まず物体領域を含む十分大き
なボクセルを用意しておき、そのボクセルに対して前出
の２回の投票操作を行い、投票結果が得られたボクセル
のみ８等分割し（図１２参照）、再度２回の投票操作を
実行することを繰り返しながら必要な分解能まで２回の
投票操作、ボクセル分割を繰り返し実行するという手法
である。本構造を採用することにより、空間を構成する
ために必要な記憶手段および無駄なボクセルの探索の削
減を実現している。ボクセル分割は、１ボクセルに一本
の逆投影線が通過するようになるまで行う。
【０００５】一方、細谷らによる文献３「特徴点の３次
元情報抽出方法及び抽出装置」（特願平７−３２２９９
４）では、ボクセル空間を２次元のボクセル平面の集合
として扱う手法も提案されている。この方法では、撮影
画像を基準画像と参照画像の２種類に分類し、基準画像
上の特徴点の逆投影線Ｌ1 が通過する各ボクセルに対し
参照画像上の特徴点の逆投影線Ｌ2 が通過する場合に投
票数を１増加させる操作を行っている。投票は、ボクセ
ル空間を基準画像に近いボクセル平面から遠い平面に向
かって順に追っていきながら行う。この際、ボクセル空
間内の全てのボクセルを情報として持つわけではなく、
画像上の特徴点数、すなわち逆投影線数だけ持つように
し、逆投影線がボクセル空間を通過する軌跡に沿って参
照画像からの投票操作を行い、無駄なハードウェア領域
の削減を実現している。また、投票時に、常に基準画像
からの逆投影線上で最も投票数が多いボクセルの位置を
記憶しておくことにより、ボクセル空間内の探索の繰り
返しを避け、高速化を実現している。しかし、この方法
においてもボクセル空間をあらかじめ定義しておくこと
が必要なことに変りはない。
元情報抽出方法及び抽出装置」（特願平７−３２２９９
４）では、ボクセル空間を２次元のボクセル平面の集合
として扱う手法も提案されている。この方法では、撮影
画像を基準画像と参照画像の２種類に分類し、基準画像
上の特徴点の逆投影線Ｌ1 が通過する各ボクセルに対し
参照画像上の特徴点の逆投影線Ｌ2 が通過する場合に投
票数を１増加させる操作を行っている。投票は、ボクセ
ル空間を基準画像に近いボクセル平面から遠い平面に向
かって順に追っていきながら行う。この際、ボクセル空
間内の全てのボクセルを情報として持つわけではなく、
画像上の特徴点数、すなわち逆投影線数だけ持つように
し、逆投影線がボクセル空間を通過する軌跡に沿って参
照画像からの投票操作を行い、無駄なハードウェア領域
の削減を実現している。また、投票時に、常に基準画像
からの逆投影線上で最も投票数が多いボクセルの位置を
記憶しておくことにより、ボクセル空間内の探索の繰り
返しを避け、高速化を実現している。しかし、この方法
においてもボクセル空間をあらかじめ定義しておくこと
が必要なことに変りはない。
【０００６】
【発明が解決しようとする課題】以上述べたように、従
来の方法ではボクセル空間の位置および大きさを被写体
が含まれるような３次元空間上での位置、大きさに合わ
せてあらかじめ指定しておく必要がある。文献１では、
３次元ボクセル空間上における全てのボクセル位置に対
して投票数を記憶するものであり、全てのボクセル位置
に対して投票数を記憶する記憶手段を用意する必要があ
り、したがって、膨大な量の記憶手段が必要であるとい
う問題がある。また、誤投票点も避けられない。一方、
文献２の方法では、ボクセル空間をオクトトリー構造を
用いて表現することにより無駄な記憶領域が使用される
のを防いでいるが、ボクセル空間の位置、大きさの指定
があらかじめ必要なことに変りはなく、また、投票結果
が得られたボクセルに対して等分割していくため、その
度に２回の投票操作を繰り返し行う。そのため、文献１
の従来方法より少なくてすむものの、結果として被写体
領域全てにわたるボクセル情報を保持するための記憶手
段領域が必要となるという問題がある。文献３の方法で
は、基準画像からの逆投影線上に必ず投票数最大の投票
点が与えられるという手法で、基準画像近辺については
良好な投票結果が得られることが期待できる。しかし、
基準画像上では見えない部分については投票結果を得る
ことができない。また基準画像とボクセル平面がほぼ向
かい合っているような形になっている必要があり、基準
画像を変化させながら被写体の全周についての３次元情
報を抽出しようとすると、データ構造の持ち方が複雑に
なり、非常に困難である。
来の方法ではボクセル空間の位置および大きさを被写体
が含まれるような３次元空間上での位置、大きさに合わ
せてあらかじめ指定しておく必要がある。文献１では、
３次元ボクセル空間上における全てのボクセル位置に対
して投票数を記憶するものであり、全てのボクセル位置
に対して投票数を記憶する記憶手段を用意する必要があ
り、したがって、膨大な量の記憶手段が必要であるとい
う問題がある。また、誤投票点も避けられない。一方、
文献２の方法では、ボクセル空間をオクトトリー構造を
用いて表現することにより無駄な記憶領域が使用される
のを防いでいるが、ボクセル空間の位置、大きさの指定
があらかじめ必要なことに変りはなく、また、投票結果
が得られたボクセルに対して等分割していくため、その
度に２回の投票操作を繰り返し行う。そのため、文献１
の従来方法より少なくてすむものの、結果として被写体
領域全てにわたるボクセル情報を保持するための記憶手
段領域が必要となるという問題がある。文献３の方法で
は、基準画像からの逆投影線上に必ず投票数最大の投票
点が与えられるという手法で、基準画像近辺については
良好な投票結果が得られることが期待できる。しかし、
基準画像上では見えない部分については投票結果を得る
ことができない。また基準画像とボクセル平面がほぼ向
かい合っているような形になっている必要があり、基準
画像を変化させながら被写体の全周についての３次元情
報を抽出しようとすると、データ構造の持ち方が複雑に
なり、非常に困難である。
【０００７】また、従来の方法では、いずれも各画像の
特徴点座標を入力とし、各特徴点から３次元空間に向か
って逆投影線を延ばしていたため、各画像毎に抽出して
いる特徴点が対応しているという暗黙の了解が必要であ
り、特に視点が近い画像同士を使って投票を行うと、量
子化による誤差が投票ボクセルを大きく変えてしまい、
撮影位置が近い画像からの投票が行われないという欠点
があった。また、特徴点の色に関する情報を扱うことは
行っておらず、目的は座標の復元を行うのみであった。
さらに文献１および２の投票方法においては、全ての撮
影画像からの投票操作を行うため、被写体を１８０度回
転させた方向から見たような、明らかに見えない部分か
らの投票操作も行われており、前述の欠点と相互作用し
て、さらに誤投票点を導出してしまう原因ともなってい
た。
特徴点座標を入力とし、各特徴点から３次元空間に向か
って逆投影線を延ばしていたため、各画像毎に抽出して
いる特徴点が対応しているという暗黙の了解が必要であ
り、特に視点が近い画像同士を使って投票を行うと、量
子化による誤差が投票ボクセルを大きく変えてしまい、
撮影位置が近い画像からの投票が行われないという欠点
があった。また、特徴点の色に関する情報を扱うことは
行っておらず、目的は座標の復元を行うのみであった。
さらに文献１および２の投票方法においては、全ての撮
影画像からの投票操作を行うため、被写体を１８０度回
転させた方向から見たような、明らかに見えない部分か
らの投票操作も行われており、前述の欠点と相互作用し
て、さらに誤投票点を導出してしまう原因ともなってい
た。
【０００８】本発明の目的は、ボクセル空間を保持する
ための記憶手段がとる領域を削減することができ、ま
た、投票の高精度化を行い誤投票を抑制するとともに色
情報も抽出可能な３次元情報抽出方法、装置および３次
元情報抽出プログラムを記録した記録媒体を提供するこ
とである。
ための記憶手段がとる領域を削減することができ、ま
た、投票の高精度化を行い誤投票を抑制するとともに色
情報も抽出可能な３次元情報抽出方法、装置および３次
元情報抽出プログラムを記録した記録媒体を提供するこ
とである。
【０００９】
【課題を解決するための手段】本発明の３次元情報抽出
方法は、撮影画像のうちの被写体の全形を復元できるよ
うな方向から撮影した画像複数枚を輪郭画像として選択
し、輪郭画像上の被写体領域の輪郭線情報を用いてボク
セル空間情報を生成するボクセル空間生成段階と、前記
生成されたボクセル空間情報を記憶するボクセル空間記
憶段階と、前記複数の画像のうち所定数の画像を基準画
像、その近傍の画像を参照画像とし、その特徴点を通過
する単位３次元空間であるボクセルをボクセル空間内に
生成するボクセル生成段階と、生成されたボクセルおよ
びボクセルを生成するために使った、基準画像上の特徴
点の色情報Ｃを記憶するボクセル・色情報を記憶する段
階と、生成されたボクセルから各参照画像に向かって境
界線を延ばし、参照画像との交点の色情報と前記色情報
Ｃとの比較を行うボクセル情報比較段階と、前記両色情
報の差分が閾値以下の場合に、ボクセルを生成するため
に使った、基準画像上の特徴点の３次元座標および色情
報を抽出する３次元情報抽出段階を有する。
方法は、撮影画像のうちの被写体の全形を復元できるよ
うな方向から撮影した画像複数枚を輪郭画像として選択
し、輪郭画像上の被写体領域の輪郭線情報を用いてボク
セル空間情報を生成するボクセル空間生成段階と、前記
生成されたボクセル空間情報を記憶するボクセル空間記
憶段階と、前記複数の画像のうち所定数の画像を基準画
像、その近傍の画像を参照画像とし、その特徴点を通過
する単位３次元空間であるボクセルをボクセル空間内に
生成するボクセル生成段階と、生成されたボクセルおよ
びボクセルを生成するために使った、基準画像上の特徴
点の色情報Ｃを記憶するボクセル・色情報を記憶する段
階と、生成されたボクセルから各参照画像に向かって境
界線を延ばし、参照画像との交点の色情報と前記色情報
Ｃとの比較を行うボクセル情報比較段階と、前記両色情
報の差分が閾値以下の場合に、ボクセルを生成するため
に使った、基準画像上の特徴点の３次元座標および色情
報を抽出する３次元情報抽出段階を有する。
【００１０】まず、ボクセル空間生成段階について説明
する。撮影画像の中から、被写体の全形が見えるよう
に、複数枚の画像を輪郭画像として選択する。ここで
は、クロマキー処理を用いて、被写体領域を表す輪郭線
を抽出する。
する。撮影画像の中から、被写体の全形が見えるよう
に、複数枚の画像を輪郭画像として選択する。ここで
は、クロマキー処理を用いて、被写体領域を表す輪郭線
を抽出する。
【００１１】今、選択した輪郭画像のうち一枚の基準輪
郭画像、その他を参照輪郭画像と定義する。定義した基
準輪郭画像上の輪郭線上の点ｆ1 について３次元空間上
へ視点Ｉ1 から逆投影線
郭画像、その他を参照輪郭画像と定義する。定義した基
準輪郭画像上の輪郭線上の点ｆ1 について３次元空間上
へ視点Ｉ1 から逆投影線
【００１２】
【外１】
を延ばす（図７）。次に、参照輪郭画像のうち１枚を選
択し、逆投影線
択し、逆投影線
【００１３】
【外２】
と参照輪郭画像の視点Ｉ2 が作るエピポーラ面を計算す
る。次に、このエピポーラ面と参照輪郭画像との交線
る。次に、このエピポーラ面と参照輪郭画像との交線
【００１４】
【外３】
（エピポーラ線）と、参照輪郭画像上の輪郭線との交点
を求める。交点はエピポーラ線
を求める。交点はエピポーラ線
【００１５】
【外４】
を両端から内側に向かって順に見ていき、最初に輪郭線
とぶつかる画素の２点とする。この２点と視点Ｉ2 が通
る２直線と逆投影線
とぶつかる画素の２点とする。この２点と視点Ｉ2 が通
る２直線と逆投影線
【００１６】
【外５】
との２交点
【００１７】
【外６】
を求めれば、線分
【００１８】
【外７】
が、輪郭線上の点ｆ1 に対応する被写体上の点が存在す
る可能性のある範囲を示していると見なすことができ
る。同様の操作を他の全ての参照輪郭画像に対して適用
し、元の特徴点に最も遠い
る可能性のある範囲を示していると見なすことができ
る。同様の操作を他の全ての参照輪郭画像に対して適用
し、元の特徴点に最も遠い
【００１９】
【外８】
と最も近い
【００２０】
【外９】
を選択すれば、それがｆ1 に対応する被写体上の点が３
次元空間上で存在し得る範囲となる（図９）。以上の操
作を全輪郭画像上の輪郭線上の点に対して行えば、最終
的に全ての輪郭線上の逆投影線が交差して作る３次元の
凸包領域を作成することができる。これは、被写体を囲
む凸包領域に他ならず、必ず被写体の存在する３次元空
間領域を含んでおり、投票操作時のボクセル空間の外郭
として使用できる。
次元空間上で存在し得る範囲となる（図９）。以上の操
作を全輪郭画像上の輪郭線上の点に対して行えば、最終
的に全ての輪郭線上の逆投影線が交差して作る３次元の
凸包領域を作成することができる。これは、被写体を囲
む凸包領域に他ならず、必ず被写体の存在する３次元空
間領域を含んでおり、投票操作時のボクセル空間の外郭
として使用できる。
【００２１】次に、投票操作について説明する。ここで
は、全ての撮影画像の中から一枚を基準画像、複数枚を
参照画像として選択する。
は、全ての撮影画像の中から一枚を基準画像、複数枚を
参照画像として選択する。
【００２２】基準画像上の特徴点から上記の生成された
ボクセル空間の外郭内へ引いた逆投影線上にボクセルを
生成する。ここで特徴点の色をＣとする。生成した各ボ
クセルの中心から各参照画像に向かって投影線を引き、
参照画像との交点の色とＣを比較する。その差が閾値以
下の場合、そのボクセルに投票操作を行う。ここで、基
準画像からの逆投影線は、前出のボクセル空間領域内の
みに存在することから、結果として参照画像上の被写体
領域内のエピポーラ線上を探索して投票していることに
なる。このことにより、参照画像上の特徴点の位置に依
存せず、かつ無駄な探索を行わずに、高精度な投票操作
を行うことが可能となる。一本の逆投影線に対する投票
終了後に、ボクセルに対して閾値操作により元の特徴点
の３次元空間上での座標を決定する。ここで、閾値操作
とは、必要最低投票数等のような条件をいくつか与え
て、その条件を満たすボクセルを選択することである。
ボクセル空間の外郭内へ引いた逆投影線上にボクセルを
生成する。ここで特徴点の色をＣとする。生成した各ボ
クセルの中心から各参照画像に向かって投影線を引き、
参照画像との交点の色とＣを比較する。その差が閾値以
下の場合、そのボクセルに投票操作を行う。ここで、基
準画像からの逆投影線は、前出のボクセル空間領域内の
みに存在することから、結果として参照画像上の被写体
領域内のエピポーラ線上を探索して投票していることに
なる。このことにより、参照画像上の特徴点の位置に依
存せず、かつ無駄な探索を行わずに、高精度な投票操作
を行うことが可能となる。一本の逆投影線に対する投票
終了後に、ボクセルに対して閾値操作により元の特徴点
の３次元空間上での座標を決定する。ここで、閾値操作
とは、必要最低投票数等のような条件をいくつか与え
て、その条件を満たすボクセルを選択することである。
【００２３】本発明では、投票原理を利用した特徴点の
３次元座標復元装置において、まず輪郭画像上の被写体
の輪郭線からボクセル空間の外郭情報を生成する。次
に、生成したボクセル空間情報を用いて、基準画像上の
特徴点毎に投票操作を行う。この際には、特徴点の逆投
影線上を通過するボクセルのみを生成するので、全ボク
セル情報を持つ必要はなく、ボクセル情報を保持するた
めの記憶領域を大幅に削減することが可能である。最後
に、投票を行ったボクセルの中から閾値操作により、元
の特徴点の３次元空間座標を決定する。
３次元座標復元装置において、まず輪郭画像上の被写体
の輪郭線からボクセル空間の外郭情報を生成する。次
に、生成したボクセル空間情報を用いて、基準画像上の
特徴点毎に投票操作を行う。この際には、特徴点の逆投
影線上を通過するボクセルのみを生成するので、全ボク
セル情報を持つ必要はなく、ボクセル情報を保持するた
めの記憶領域を大幅に削減することが可能である。最後
に、投票を行ったボクセルの中から閾値操作により、元
の特徴点の３次元空間座標を決定する。
【００２４】また、品質の点においても、最初に生成す
るボクセル空間の外郭が被写体の凸包領域となっている
ことから、投票操作時に被写体領域外の無駄な領域を探
索することを防ぐと同時に、凸包領域外への誤投票を抑
えることが可能となっている。また、従来の方法では、
近傍画像からの投票数の加算が困難であったが、本発明
では逆投影線上のボクセルから参照画像に向かって投影
線を延ばし、色情報を比較する、という投票操作を行う
ことにより、それを可能としている。
るボクセル空間の外郭が被写体の凸包領域となっている
ことから、投票操作時に被写体領域外の無駄な領域を探
索することを防ぐと同時に、凸包領域外への誤投票を抑
えることが可能となっている。また、従来の方法では、
近傍画像からの投票数の加算が困難であったが、本発明
では逆投影線上のボクセルから参照画像に向かって投影
線を延ばし、色情報を比較する、という投票操作を行う
ことにより、それを可能としている。
【００２５】以上の理由から、本発明では、処理に必要
な記憶手段を削減しつつ、かつ高品質、高精度な３次元
情報抽出結果を得ることが可能である。
な記憶手段を削減しつつ、かつ高品質、高精度な３次元
情報抽出結果を得ることが可能である。
【００２６】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。
て図面を参照して説明する。
【００２７】図１を参照すると、本発明の一実施形態の
３次元情報抽出装置は、撮影画像、視点情報、特徴点情
報、輪郭線情報を入力し、上記撮影画像のうち被写体の
全形が復元できるような各方向から撮影した複数枚の画
像を輪郭画像として選択し、輪郭画像上の被写体領域の
輪郭線情報を用いてボクセル空間情報を生成し、ボクセ
ル空間情報を情報記憶部１５に記憶するボクセル空間生
成部１１と、上記複数枚の画像のうち所定数の画像を基
準画像、その近傍の画像を参照画像とし、基準画像上の
特徴点についてその特徴点を通過する単位３次元空間で
あるボクセルをボクセル空間内に生成し、ボクセルおよ
び元の特徴点（ボクセルを生成するために使った、基準
画像上の特徴点）の色情報Ｃを情報記憶部１５に記憶す
るボクセル生成部１２と、生成されたボクセルから各参
照画像に向けて投影線を延ばし、参照画像との交点の色
情報とＣとの比較を行い、結果を情報記憶部１５に記憶
するボクセル情報比較部１３と、色情報と色情報Ｃの差
分が閾値以下である場合、元の特徴点の３次元座標およ
び色情報を抽出し、情報記憶部１５に記憶する３次元情
報抽出部１４で構成されている。
３次元情報抽出装置は、撮影画像、視点情報、特徴点情
報、輪郭線情報を入力し、上記撮影画像のうち被写体の
全形が復元できるような各方向から撮影した複数枚の画
像を輪郭画像として選択し、輪郭画像上の被写体領域の
輪郭線情報を用いてボクセル空間情報を生成し、ボクセ
ル空間情報を情報記憶部１５に記憶するボクセル空間生
成部１１と、上記複数枚の画像のうち所定数の画像を基
準画像、その近傍の画像を参照画像とし、基準画像上の
特徴点についてその特徴点を通過する単位３次元空間で
あるボクセルをボクセル空間内に生成し、ボクセルおよ
び元の特徴点（ボクセルを生成するために使った、基準
画像上の特徴点）の色情報Ｃを情報記憶部１５に記憶す
るボクセル生成部１２と、生成されたボクセルから各参
照画像に向けて投影線を延ばし、参照画像との交点の色
情報とＣとの比較を行い、結果を情報記憶部１５に記憶
するボクセル情報比較部１３と、色情報と色情報Ｃの差
分が閾値以下である場合、元の特徴点の３次元座標およ
び色情報を抽出し、情報記憶部１５に記憶する３次元情
報抽出部１４で構成されている。
【００２８】ここで、用語について説明する。
【００２９】・撮影画像
被写体を撮影した画像。
【００３０】・視点情報
被写体を撮影した際の、カメラ位置および被写体を向い
た方向のこと。ここでは、カメラパラメータと同じ意味
に使っている。
た方向のこと。ここでは、カメラパラメータと同じ意味
に使っている。
【００３１】・特徴点情報
撮影画像上の、被写体のエッジや境界領域にある点の情
報。
報。
【００３２】・輪郭線情報
撮影画像上の、被写体領域と背景領域の境界を表わす情
報。線上にある点の集合として表わされる。
報。線上にある点の集合として表わされる。
【００３３】・カメラパラメータ
被写体を撮影した際の、カメラ位置および被写体に対す
る向きのこと。ただし、本明細書では撮影時のカメラの
レンズ歪みが全くないもと仮定しており、そうでない場
合はそれをカメラパラメータに入れる必要がある。
る向きのこと。ただし、本明細書では撮影時のカメラの
レンズ歪みが全くないもと仮定しており、そうでない場
合はそれをカメラパラメータに入れる必要がある。
【００３４】本実施形態では色情報の比較をＲＧＢ表記
を用いて考えている。本表記では、ひとつの画素のボク
セルの色をＲ（赤）値、Ｇ（緑）値、Ｂ（青）値の３原
色を用いて表わしている。画素とボクセルの色情報の比
較の際には、Ｒ値、Ｇ値、Ｂ値それぞれについて個別に
差分値を求め、３つ全ての差分値が、与えられた閾値よ
り小さい場合にボクセルへの投票を行う。
を用いて考えている。本表記では、ひとつの画素のボク
セルの色をＲ（赤）値、Ｇ（緑）値、Ｂ（青）値の３原
色を用いて表わしている。画素とボクセルの色情報の比
較の際には、Ｒ値、Ｇ値、Ｂ値それぞれについて個別に
差分値を求め、３つ全ての差分値が、与えられた閾値よ
り小さい場合にボクセルへの投票を行う。
【００３５】第１の実施形態
本実施形態では基準画像と参照画像の組を１組選択し、
基準画像から見た３次元情報を抽出する。
基準画像から見た３次元情報を抽出する。
【００３６】次に、本実施形態の全体の処理の流れを図
２のフローチャートにより説明する。
２のフローチャートにより説明する。
【００３７】まず、基準輪郭画像と参照輪郭画像からボ
クセル空間外郭情報を生成する（ステップ２１）。図３
はボクセル空間外郭情報の生成の詳細な処理を示すフロ
ーチャートである。輪郭画像のうち１枚を基準輪郭画像
として選択し、その他の画像を参照輪郭画像と定義す
る。全ての輪郭画像について、一度ずつ基準輪郭画像と
して以下の処理が終了した場合、全ての処理を終了する
（ステップ４０、４１）。
クセル空間外郭情報を生成する（ステップ２１）。図３
はボクセル空間外郭情報の生成の詳細な処理を示すフロ
ーチャートである。輪郭画像のうち１枚を基準輪郭画像
として選択し、その他の画像を参照輪郭画像と定義す
る。全ての輪郭画像について、一度ずつ基準輪郭画像と
して以下の処理が終了した場合、全ての処理を終了する
（ステップ４０、４１）。
【００３８】次に、定義した基準輪郭画像上の、被写体
の輪郭線上の画素ｆ1 について逆投影
の輪郭線上の画素ｆ1 について逆投影
【００３９】
【外１０】
を表わす式を、視点Ｉ1 とｆ1 を通る直線として求める
（ステップ４２〜４４）。未処理の参照輪郭画像が存在
すれば、参照輪郭画像を選択し、逆投影線
（ステップ４２〜４４）。未処理の参照輪郭画像が存在
すれば、参照輪郭画像を選択し、逆投影線
【００４０】
【外１１】
と参照輪郭画像の視点Ｉ2 が作るエピポーラ面を計算す
る（ステップ４５〜４７）。次に、エピポーラ線
る（ステップ４５〜４７）。次に、エピポーラ線
【００４１】
【外１２】
を、このエピポーラ面と参照輪郭画像との交線として求
める（ステップ４８）。次に、２交点
める（ステップ４８）。次に、２交点
【００４２】
【外１３】
を、エピポーラ線
【００４３】
【外１４】
を両端から内側に向かって順に見ていき、最初に輪郭線
とぶつかる点の２交点として求める（ステップ４９）。
次に、これら２点と、視点Ｉ2 を通る２直線と逆投影線
とぶつかる点の２交点として求める（ステップ４９）。
次に、これら２点と、視点Ｉ2 を通る２直線と逆投影線
【００４４】
【外１５】
との２交点
【００４５】
【外１６】
を求める（ステップ５０）。他の参照輪郭画像に対して
も、同様の方法で線分
も、同様の方法で線分
【００４６】
【外１７】
を求めていき、基準輪郭画像から見て最も遠い点Ｐ1 と
最も近い点Ｐ2 をボクセル空間の外郭の一部として追
加、変更していく（ステップ５１）。
最も近い点Ｐ2 をボクセル空間の外郭の一部として追
加、変更していく（ステップ５１）。
【００４７】次に、図２に戻り、基準画像上に未処理の
特徴点が存在すれば、基準画像上の特徴点からボクセル
空間内へ逆投影線を引き、その上を通過する全ボクセル
を生成し、各ボクセルに元の特徴点の色をＲ値、Ｇ値、
Ｂ値の３値により与え、情報記憶部１５に記憶する（ス
テップ２４、２５）。
特徴点が存在すれば、基準画像上の特徴点からボクセル
空間内へ逆投影線を引き、その上を通過する全ボクセル
を生成し、各ボクセルに元の特徴点の色をＲ値、Ｇ値、
Ｂ値の３値により与え、情報記憶部１５に記憶する（ス
テップ２４、２５）。
【００４８】次に、未処理の参照画像が存在すれば、参
照画像を選択し、生成されたボクセルの中心から各参照
画像に投影線を引き、投影線が通過する画素の色（Ｒ．
Ｇ．Ｂ値）とボクセルのそれとの差分が閾値以下であっ
た場合、そのボクセルに投票値１を加算する（ステップ
２８、２９）。未処理の参照画像が存在しなければ、次
の条件 ・最大投票数をとるボクセルが１つである ・投票数が閾値より多く、かつ最大である を満たすボクセルを選択し、それを基準画像上の、元の
特徴点の３次元空間座標とみなす（ステップ２６、２
７）。条件を満たすボクセルがない場合には、その特徴
点の３次元空間座標は復元不可能とみなし、投票結果に
は加えない。その後ステップ２３からの処理を繰り返
す、第２の実施形態 本実施形態ではボクセル空間の大きさがあらかじめ与え
られており、かつ被写体全形の３次元形状を抽出する場
合で、図４に本実施形態のフローチャートを示す。本実
施形態では、基準画像と参照画像の組み合わせを複数選
択することにより（ステップ３１、３２、２８）、被写
体全形の３次元形状を抽出する。ここで、基準画像は輪
郭画像を選択する場合と同様被写体の全形が見えるよう
にしなければならない。このとき、例えば図１０に示し
たように、回転台を用いて一定角度おきに撮影した画像
を用いれば、撮影位置、向きまでわかった画像を容易に
得ることができる。
照画像を選択し、生成されたボクセルの中心から各参照
画像に投影線を引き、投影線が通過する画素の色（Ｒ．
Ｇ．Ｂ値）とボクセルのそれとの差分が閾値以下であっ
た場合、そのボクセルに投票値１を加算する（ステップ
２８、２９）。未処理の参照画像が存在しなければ、次
の条件 ・最大投票数をとるボクセルが１つである ・投票数が閾値より多く、かつ最大である を満たすボクセルを選択し、それを基準画像上の、元の
特徴点の３次元空間座標とみなす（ステップ２６、２
７）。条件を満たすボクセルがない場合には、その特徴
点の３次元空間座標は復元不可能とみなし、投票結果に
は加えない。その後ステップ２３からの処理を繰り返
す、第２の実施形態 本実施形態ではボクセル空間の大きさがあらかじめ与え
られており、かつ被写体全形の３次元形状を抽出する場
合で、図４に本実施形態のフローチャートを示す。本実
施形態では、基準画像と参照画像の組み合わせを複数選
択することにより（ステップ３１、３２、２８）、被写
体全形の３次元形状を抽出する。ここで、基準画像は輪
郭画像を選択する場合と同様被写体の全形が見えるよう
にしなければならない。このとき、例えば図１０に示し
たように、回転台を用いて一定角度おきに撮影した画像
を用いれば、撮影位置、向きまでわかった画像を容易に
得ることができる。
【００４９】また、ボクセル空間の大きさがあらかじめ
与えられているため、本実施形態では、本発明の原理を
用いて空間情報を変更している。図５にそのフローチャ
ートを示す。この場合には、逆投影線
与えられているため、本実施形態では、本発明の原理を
用いて空間情報を変更している。図５にそのフローチャ
ートを示す。この場合には、逆投影線
【００５０】
【外１８】
を求めた後、第１の実施形態の場合のように各参照輪郭
画像のエピポーラ線
画像のエピポーラ線
【００５１】
【外１９】
を陽に求める必要はなく、与えられたボクセル空間の領
域から
域から
【００５２】
【外２０】
の上下限値を求めることができるので（ステップ５
２）、その範囲で
２）、その範囲で
【００５３】
【外２１】
上を直接探索することにより、交点
【００５４】
【外２２】
を直接求めることができる（ステップ５３）。
【００５５】本実施形態によれば、従来の方法では十分
な大きさで指定する必要があったボクセル空間を必要最
小限な大きさまで縮小してから投票操作を行うことがで
きるようになる。
な大きさで指定する必要があったボクセル空間を必要最
小限な大きさまで縮小してから投票操作を行うことがで
きるようになる。
【００５６】なお、本実施形態では、被写体の撮影方法
として回転台を用いる場合について述べているが、本発
明はこれに限定されるものではなく、カメラパラメータ
が得られる撮影画像であれば何でもよい。
として回転台を用いる場合について述べているが、本発
明はこれに限定されるものではなく、カメラパラメータ
が得られる撮影画像であれば何でもよい。
【００５７】第３の実施形態
また、以上の実施形態において、それぞれ全ての適用範
囲は、これに限定されるものではない。例えば、第１の
実施形態のボクセル空間の外郭情報生成と第２の実施形
態におけるボクセル空間変更のフローチャートを組み合
わせて、より効率よくボクセル空間を生成する手法も考
えられる。
囲は、これに限定されるものではない。例えば、第１の
実施形態のボクセル空間の外郭情報生成と第２の実施形
態におけるボクセル空間変更のフローチャートを組み合
わせて、より効率よくボクセル空間を生成する手法も考
えられる。
【００５８】本実施形態では、第１の実施形態のボクセ
ル空間外郭情報生成処理を輪郭線の一部に適用すること
により、初期情報なしにボクセル空間を生成し、その結
果に対し第２の実施形態のボクセル空間外郭情報変更の
処理を適用して、ボクセル空間の外郭の詳細な形状を決
定する。ボクセル空間の外郭を生成した後は第１の実施
形態での図２のフローチャートを用いて３次元情報を抽
出する。
ル空間外郭情報生成処理を輪郭線の一部に適用すること
により、初期情報なしにボクセル空間を生成し、その結
果に対し第２の実施形態のボクセル空間外郭情報変更の
処理を適用して、ボクセル空間の外郭の詳細な形状を決
定する。ボクセル空間の外郭を生成した後は第１の実施
形態での図２のフローチャートを用いて３次元情報を抽
出する。
【００５９】本実施形態におけるボクセル空間生成のア
ルゴリズムは以下である。
ルゴリズムは以下である。
【００６０】ボクセル空間概略形状決定
基準輪郭画像上の輪郭線上の画素から、被写体領域を囲
む矩形を作ることができる４点（最上下および左右の４
点）を選択し、その４点に対する逆投影線について、参
照輪郭画像からの逆投影線との交点
む矩形を作ることができる４点（最上下および左右の４
点）を選択し、その４点に対する逆投影線について、参
照輪郭画像からの逆投影線との交点
【００６１】
【外２３】
を求める（図８（ａ））。結局、１枚の基準輪郭画像に
対して、合計で８つの交点が求まる。この交点を求める
ルーチンを、全ての基準輪郭画像に対して実行し、得ら
れた全交点を含む、ｘｙ，ｙｚ，ｘｚ平面に平行な面を
持つ直方体を作成し（図８（ｂ））、それをボクセル空
間の外郭の概略形状とする。
対して、合計で８つの交点が求まる。この交点を求める
ルーチンを、全ての基準輪郭画像に対して実行し、得ら
れた全交点を含む、ｘｙ，ｙｚ，ｘｚ平面に平行な面を
持つ直方体を作成し（図８（ｂ））、それをボクセル空
間の外郭の概略形状とする。
【００６２】ボクセル空間詳細形状決定で求めたボクセ
ル空間を初期ボクセル空間として、第２の実施形態での
ボクセル空間外郭情報変更の処理をそのまま適用し、ボ
クセル空間の詳細形状を決定する。
ル空間を初期ボクセル空間として、第２の実施形態での
ボクセル空間外郭情報変更の処理をそのまま適用し、ボ
クセル空間の詳細形状を決定する。
【００６３】図６を参照すると、本発明の他の実施形態
の３次元情報抽出装置は入力装置６１と記憶装置６２、
６３と出力装置６４と記録媒体６５とデータ処理装置６
６で構成されている。
の３次元情報抽出装置は入力装置６１と記憶装置６２、
６３と出力装置６４と記録媒体６５とデータ処理装置６
６で構成されている。
【００６４】入力装置６１は撮影情報、視点情報、特徴
点情報、輪郭線情報等を入力するためのものである。記
憶装置６２は図１中の情報記憶部１５に対応する。記憶
装置６３はハードディスクである。出力装置６４は抽出
された３次元情報を表示したり、印刷したりする。記録
媒体６５は以上の各実施形態で述べた処理からなる３次
元情報抽出プログラムが記録されている、ＦＤ（フロッ
ピィ・ディスク）、ＣＤ−ＲＯＭ、ＭＤ（光磁気ディス
ク）等の記録媒体である。データ処理装置６６は記録媒
体６５から３次元情報抽出プログラムを読み込んで、こ
れを実行するＣＰＵである。
点情報、輪郭線情報等を入力するためのものである。記
憶装置６２は図１中の情報記憶部１５に対応する。記憶
装置６３はハードディスクである。出力装置６４は抽出
された３次元情報を表示したり、印刷したりする。記録
媒体６５は以上の各実施形態で述べた処理からなる３次
元情報抽出プログラムが記録されている、ＦＤ（フロッ
ピィ・ディスク）、ＣＤ−ＲＯＭ、ＭＤ（光磁気ディス
ク）等の記録媒体である。データ処理装置６６は記録媒
体６５から３次元情報抽出プログラムを読み込んで、こ
れを実行するＣＰＵである。
【００６５】
【発明の効果】以上述べたように本発明によれば、
１．投票操作対象とするボクセル空間をあらかじめ指定
することなく、被写体が写っている凸包領域をボクセル
空間として自動的に生成、またはボクセル空間を凸包領
域まで縮小でき、 ２．高品質で高精度な３次元情報抽出結果が得られる、
という効果が得られる。
することなく、被写体が写っている凸包領域をボクセル
空間として自動的に生成、またはボクセル空間を凸包領
域まで縮小でき、 ２．高品質で高精度な３次元情報抽出結果が得られる、
という効果が得られる。
【図１】本発明の一実施形態の３次元情報抽出装置の構
成図である。
成図である。
【図２】図１の３次元情報抽出装置の全体の処理の流れ
を示すフローチャートである。
を示すフローチャートである。
【図３】図１の実施形態におけるボクセル空間生成の流
れを示すフローチャートである。
れを示すフローチャートである。
【図４】本発明の第２の実施形態の全体の処理の流れを
示すフローチャートである。
示すフローチャートである。
【図５】第２の実施形態におけるボクセル空間生成の流
れを示すフローチャートである。
れを示すフローチャートである。
【図６】本発明の他の実施形態の３次元情報抽出装置の
構成図である。
構成図である。
【図７】本発明の原理の説明図である。
【図８】本発明の原理の説明図である。
【図９】本発明の原理の説明図である。
【図１０】回転台を用いて被写体を撮影する様子を示す
図である。
図である。
【図１１】ボクセル空間生成時に、ボクセルの範囲が決
定される様子を示す図である。
定される様子を示す図である。
【図１２】オクトトリー生成の概念図である。
１１ ボクセル空間生成部
１２ ボクセル生成部
１３ ボクセル情報比較部
１４ ３次元情報抽出部
１５ 情報記憶部
２１〜２９、３０〜３２、４０〜５３ ステップ
６１ 入力装置
６２ 記憶装置
６３ 記憶装置
６４ 出力装置
６５ 記録媒体
６６ データ処理装置
─────────────────────────────────────────────────────
フロントページの続き
(56)参考文献 特開 平７−71937（ＪＰ，Ａ)
特開 平９−138112（ＪＰ，Ａ)
特開 平10−124704（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06T 1/00 315
G01B 11/00
G01B 11/24
ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (12)
- 【請求項１】 同一被写体を多数の視点方向から撮影し
た複数枚の画像を入力し、被写体の３次元座標および色
に関する情報を抽出する３次元情報抽出方法であって、 前記撮影画像のうちの被写体の全形が復元できるような
各方向から撮影した画像複数枚を輪郭画像として選択
し、輪郭画像上の被写体領域の輪郭線情報を用いてボク
セル空間情報を生成するボクセル空間生成段階と、 前記生成されたボクセル空間情報を記憶するボクセル空
間記憶段階と、 前記複数の画像のうち所定数の画像を基準画像、その近
傍の画像を参照画像とし、その特徴点を通過する単位３
次元空間であるボクセルをボクセル空間内に生成するボ
クセル生成段階と、 生成されたボクセルおよびボクセルを生成するために使
った、基準画像上の特徴点の色情報Ｃを記憶するボクセ
ル・色情報を記憶する段階と、 生成されたボクセルから各参照画像に向かって投影線を
延ばし、参照画像との交点の色情報と前記特徴点の色情
報Ｃとの比較を行うボクセル情報比較段階と、 前記両色情報の差分が閾値以下の場合に、ボクセルを生
成するために使った、基準座標上の特徴点の３次元座標
および色情報を抽出する３次元情報抽出段階を有する３
次元情報抽出方法。 - 【請求項２】 前記ボクセル空間生成段階は、前記基準
輪郭画像の輪郭線上の点を選択する段階と、該点につい
て３次元空間上へ視点から逆投影線を延ばす段階と、全
ての参照輪郭画像について、前記逆投影線と該参照輪郭
画像の視点が作るエピポーラ面を計算し、該エピポーラ
面と参照輪郭画像との交線であるエピポーラ線と、参照
輪郭画像上の輪郭線との、エピポーラ線を両端から内側
に向かって見ていき最初に輪郭線とぶつかる２点の画素
である２交点を求めることで、全ての輪郭線上の逆投影
線が交差して作る３次元の凸包領域を作成する段階を含
む、請求項１記載の方法。 - 【請求項３】 前記ボクセル空間生成段階では、前記輪
郭線情報に加えて、初期のボクセル空間情報から被写体
の概略形状を表わすボクセル空間情報を生成し、前記ボ
クセル生成段階では前記基準画像と参照画像の組を複数
用いる、請求項１記載の方法。 - 【請求項４】 前記ボクセル空間生成段階は、基準輪郭
画像上の輪郭線上の画素から、被写体領域を囲むことが
できる４点を選択し、その４点に対する逆投影線につい
て、参照輪郭画像からの逆投影線との交点を求めること
を全ての基準輪郭画像に対して実行し、得られた全交点
を含む直方体を作成し、それをボクセル空間の外郭の概
略形状とする、請求項１記載の方法。 - 【請求項５】 同一被写体を多数の視点から撮影した複
数枚の画像を入力し、被写体の３次元座標および色に関
する情報を抽出する３次元情報抽出装置であって、 前記撮影画像のうちの被写体の全形が復元できるような
各方向から撮影した画像複数枚を輪郭画像として選択
し、輪郭画像上の被写体領域の輪郭線情報を用いてボク
セル空間情報を生成するボクセル空間生成手段と、 前記生成されたボクセル空間情報を記録する第１の情報
記憶手段と、 前記複数枚の画像のうちの所定数の画像を基準画像、そ
の近傍の画像を参照画像とし、基準画像上の特徴点につ
いて、その特徴点を通過する単位３次元空間であるボク
セルをボクセル空間内に生成するボクセル生成手段と、 前記生成されたボクセルおよびボクセル空間を生成する
ために使った、基準画像上の特徴点の色情報Ｃを記憶す
る第２の情報記憶手段と、 前記生成されたボクセルから各参照画像に向かって投影
線を延ばし、参照画像との交点の色情報と前記特徴点の
色情報Ｃとの比較を行い、結果を第２の情報記憶手段に
記憶するボクセル情報記憶手段と、 前記両色情報の差分が閾値以下の場合に、ボクセルを生
成するために使った、基準座標上の特徴点の３次元座標
および色情報を抽出し、前記第１の情報記憶手段に記憶
する手段を有する３次元情報抽出装置。 - 【請求項６】 前記ボクセル空間生成手段は、前記基準
輪郭画像の輪郭線上の点を選択する手段と、該点につい
て３次元空間上へ視点から逆投影線を延ばす段階と、全
ての参照輪郭画像について、前記逆投影線と該参照輪郭
画像の視点が作るエピポーラ面を計算し、該エピポーラ
面と参照輪郭画像との、交線であるエピポーラ線と、参
照輪郭画像上の輪郭線との、エピポーラ線を両端から内
側に向かって見ていき最初に輪郭線とぶつかる２点の画
素である２交点を求めることで、全ての輪郭線上の逆投
影線が交差して作る３次元の凸包領域を作成する手段を
含む、請求項５記載の装置。 - 【請求項７】 前記ボクセル空間生成手段では、前記輪
郭線情報に加えて初期のボクセル空間情報から被写体の
概略形状を表わすボクセル空間情報を生成し、前記ボク
セル生成段階では前記基準画像と参照画像の組を複数用
いる、請求項５記載の装置。 - 【請求項８】 前記ボクセル空間生成手段は、基準輪郭
画像上の輪郭線上の画素から、被写体領域を囲むことが
できる４点を選択し、その４点に対する逆投影線につい
て、参照輪郭画像からの逆投影線との交点を求めること
を全ての基準輪郭画像に対して実行し、得られた全交点
を含む直方体を作成し、それをボクセル空間の外郭の概
略形状とする、請求項５記載の装置。 - 【請求項９】 同一被写体を多数の視点から撮影した複
数枚の画像を入力し、被写体の３次元座標および色に関
する情報を抽出する３次元情報抽出プログラムであっ
て、 前記撮影画像のうちの被写体の全形が復元できるような
各方向から撮影した画像複数枚を輪郭画像として選択
し、輪郭画像上の被写体領域の輪郭線情報を用いてボク
セル空間情報を生成するボクセル空間生成処理と、 前記生成されたボクセル空間情報を記録する第１の情報
記憶処理と、 前記複数枚の画像のうちの所定数の画像を基準画像、そ
の近傍の画像を参照画像とし、基準画像上の特徴点につ
いて、その特徴点を通過する単位３次元空間であるボク
セルを投票対象空間内に生成するボクセル生成処理と、 前記生成されたボクセルおよびボクセルを生成するため
に使った、基準画像上の特徴点の色情報Ｃを記憶する第
２の情報記憶処理と、 前記生成されたボクセルから各参照画像に向かって投影
線を延ばし、参照画像との交点の色情報と前記特徴点の
色情報Ｃとの比較を行い、結果を第２の情報記憶手段に
記憶するボクセル情報記憶処理と、 前記両色情報の差分が閾値以下の場合に、ボクセルを生
成するために使った、基準座標上の特徴点の３次元座標
および色情報を抽出し、前記第１の情報記憶手段に記憶
する処理をコンピュータに実行させるための３次元情報
抽出プログラムを記録した記録媒体。 - 【請求項１０】 前記ボクセル空間生成処理は、前記基
準輪郭画像の輪郭線上の点を選択する処理と、該点につ
いて３次元空間上へ視点から逆投影線を延ばす処理と、
全ての参照輪郭画像について、前記逆投影線と該参照輪
郭画像の視点が作るエピポーラ面を計算し、該エピポー
ラ面と参照輪郭画像との交線であるエピポーラ線と、参
照輪郭画像上の輪郭線とのエピポーラ線を両端から内側
に向かって見ていき最初に輪郭線とぶつかる２点の画素
である２交点を求めることで、全ての輪郭線上の逆投影
線が交差して作る３次元の凸包領域を作成する処理を含
む、請求項９記載の記録媒体。 - 【請求項１１】 前記ボクセル空間生成処理では、前記
輪郭線情報に加えて初期のボクセル空間情報から被写体
の概略形状を表わすボクセル空間情報を生成し、前記ボ
クセル空間情報を生成し、前記ボクセル処理では前記基
準画像と参照画像の組を複数用いる、請求項９記載の記
録媒体。 - 【請求項１２】 前記ボクセル空間生成処理は、基準輪
郭画像上の輪郭線上の画素から、被写体領域を囲むこと
ができる４点を選択し、その４点に対する逆投影線につ
いて、参照輪郭画像からの逆投影線との交点を求めるこ
とを全ての基準輪郭画像に対して実行し、得られた全交
点を含む直方体を作成し、それをボクセル空間の外郭の
概略形状とする、請求項９記載の記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19766499A JP3514373B2 (ja) | 1999-07-12 | 1999-07-12 | ３次元情報抽出方法、装置、および３次元情報抽出プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19766499A JP3514373B2 (ja) | 1999-07-12 | 1999-07-12 | ３次元情報抽出方法、装置、および３次元情報抽出プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001022939A JP2001022939A (ja) | 2001-01-26 |
| JP3514373B2 true JP3514373B2 (ja) | 2004-03-31 |
Family
ID=16378286
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19766499A Expired - Fee Related JP3514373B2 (ja) | 1999-07-12 | 1999-07-12 | ３次元情報抽出方法、装置、および３次元情報抽出プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3514373B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5103697B2 (ja) * | 2001-04-19 | 2012-12-19 | 株式会社島津製作所 | ３次元光学カメラ |
| US8121399B2 (en) | 2005-12-16 | 2012-02-21 | Ihi Corporation | Self-position identifying method and device, and three-dimensional shape measuring method and device |
| JP4650750B2 (ja) * | 2005-12-16 | 2011-03-16 | 株式会社Ｉｈｉ | 三次元形状データの記憶・表示方法と装置および三次元形状の計測方法と装置 |
| JP4650751B2 (ja) * | 2005-12-16 | 2011-03-16 | 株式会社Ｉｈｉ | 三次元形状データの位置合わせ方法と装置 |
| JP4839237B2 (ja) * | 2007-02-07 | 2011-12-21 | 日本電信電話株式会社 | ３次元形状復元方法，３次元形状復元装置，その方法を実装した３次元形状復元プログラム及びそのプログラムを記録した記録媒体 |
| JP5380792B2 (ja) * | 2007-06-15 | 2014-01-08 | 株式会社Ｉｈｉ | 物体認識方法および装置 |
| CN112767506A (zh) * | 2020-12-31 | 2021-05-07 | 维沃移动通信有限公司 | 图像处理方法、装置和电子设备 |
-
1999
- 1999-07-12 JP JP19766499A patent/JP3514373B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001022939A (ja) | 2001-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7760932B2 (en) | Method for reconstructing three-dimensional structure using silhouette information in two-dimensional image | |
| US20180300937A1 (en) | System and a method of restoring an occluded background region | |
| US20030091227A1 (en) | 3-D reconstruction engine | |
| US6975756B1 (en) | Image-based photo hulls | |
| US7456831B2 (en) | Method for generating 3D mesh based on unorganized sparse 3D points | |
| US7356164B2 (en) | Method and apparatus for finding feature correspondences between images captured in real-world environments | |
| JP2010502945A (ja) | 画像から奥行きマップを決定する方法、奥行きマップを決定する装置 | |
| JP5561786B2 (ja) | ３次元形状モデル高精度化方法およびプログラム | |
| WO2022052032A1 (zh) | 图像的分割方法、装置和图像的三维重建方法、装置 | |
| US8929587B2 (en) | Multi-tracking of video objects | |
| JP3514373B2 (ja) | ３次元情報抽出方法、装置、および３次元情報抽出プログラムを記録した記録媒体 | |
| CN108985132B (zh) | 一种人脸图像处理方法、装置、计算设备及存储介质 | |
| JP6901885B2 (ja) | 前景抽出装置及びプログラム | |
| US11475629B2 (en) | Method for 3D reconstruction of an object | |
| Nguyen et al. | High-definition texture reconstruction for 3D image-based modeling | |
| KR102455843B1 (ko) | 영상 재구성 장치 및 방법 | |
| US20030103673A1 (en) | Shape searcher | |
| CN115601430A (zh) | 基于关键点映射的无纹理高反物体位姿估计方法及系统 | |
| JPH09204532A (ja) | 画像認識方法および画像表示方法 | |
| US6828965B2 (en) | Regularization of implicial fields representing objects and models | |
| Howard et al. | Depth-based patch scaling for content-aware stereo image completion | |
| US20040085314A1 (en) | Method for rendering outlines of 3D objects | |
| Claux et al. | Crack‐free rendering of dynamically tesselated B‐rep models | |
| JP2020101922A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| CN115908162B (zh) | 一种基于背景纹理识别的虚拟视点生成方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040108 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040108 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040108 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080123 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090123 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090123 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100123 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110123 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |