JP3819662B2

JP3819662B2 - 三次元モデリング装置、方法及び媒体並びに三次形状データ記録装置、方法及び媒体

Info

Publication number: JP3819662B2
Application number: JP2000052422A
Authority: JP
Inventors: 幸則松本
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 1999-12-24
Filing date: 2000-02-28
Publication date: 2006-09-13
Anticipated expiration: 2020-02-28
Also published as: JP2001243468A; TWI226022B

Description

【０００１】
【発明の属する技術分野】
対象物についての複数枚の画像データから対象物の三次元形状データを生成する三次元モデリング技術に関し、特に三次元モデリング装置、方法及び媒体並びに三次形状データ記録装置、方法及び媒体に関する。
【０００２】
【従来の技術】
従来、各種の三次元画像の生成方法として、対象物のシルエット情報から三次元形状を推定するシルエット法や、レーザ光を用いた光切断法、複数の白黒パタンを照射する空間コード化法などが広く知られている。
【０００３】
シルエット法では以下のようにして形状データを生成する。例えば、対象物を回転台の上に載せ、適当な角度間隔で複数画像を撮影したのち、これらの画像毎に、対象物のシルエット画像を求める。ここで、撮影時にブルーバックなどの背景板を用いれば、良く知られているクロマキー技術を用いて容易にかつ安定してシルエット画像を得ることができる。
【０００４】
今、回転テーブルと撮影カメラとの位置関係が予め正確に求められているとすれば、回転テーブル上に仮定した三次元空間に対し、それぞれの撮影視点からシルエットを投影することができる。そして、全てのシルエットが投影された空間を物体領域として抽出する。こうすることで、対象物の三次元形状を推定する。
【０００５】
一方、レーザ光を用いた光切断法では、基本的に図１５に示すような構造を持つレーザ光照射機器を用いる。即ち、図１５では、ビーム状のレーザ光を円筒レンズで一旦スリット光にしたのち、その進行方向をガルバノミラー或いはポリゴンミラーを用いて変化させることで、２次元的なスキャンを可能にしている。
【０００６】
このようにして対象物に照射されたレーザ光は、カメラなどの画像入力部に取り込まれる。レーザ光は一般照明光に比べ、強度が十分に大きいものであり、入力された画像中から最大輝度を示す点（或いは線）を容易に抽出できる。レーザ光源と画像入力部との位置関係は予め正確に計測されており、また、画像入力時のミラーの角度が正確に判明していれば、三角測量の原理に基づいて、カメラ或いはレーザ光源から対象物までの距離が計算できる。
【０００７】
また、空間コード化光方式では、図９に示すような複数の白黒パタンを対象物に照射し、撮影する。そして、それぞれの画像について、各画素ごとに白黒パタンのどちらが照射されているかを求める。これは、上記パタンをさらに反転させて照射した画像との比較をすることにより、正確に求まることが知られている。
【０００８】
このようにして、例えば、７パタンを照射した場合には、画像は全部で１２８の短冊領域に分割できることになる。ここで、パタンの方向と、カメラから照射部への向とがほぼ直交すれば、各画素のパタン系列と、パタン照射部から発せられた光の方向とが対応づけることができる。従って、三角測量の原理に基づいて、カメラ或いはレーザ光源から対象物までの距離が計算できることになる。
【０００９】
【発明が解決しようとする課題】
上述のシルエット法では、背景と対象物を分離しシルエット情報が得られさえすれば、三次元形状が推定できる。従って、対象物の材質や色に関する制約はない。その一方、シルエット輪郭としてあらわれない形状については、正確に三次元形状推定できないという問題がある。具体的にはコップの内側などが該当する。この部分は、つねに他の部分のシルエット内部に対応するため、シルエット輪郭としては観測できない部分であり、シルエット法では正確に三次元形状推定できないことになる。
【００１０】
一方、基本的に、レーザ光を用いた光切断法や空間コード化法は、対象物に光を照射し、照射部分と非照射部分を区別出来なくてはならない。しかしながら、例えば人間の頭髪部など黒色の部分については、この区別が極めて困難である。従って、レーザ光を用いた光切断法や空間コード化法では、光を吸収する材質や色の部分については、三次元形状情報をえることが難しい。もちろん、この解決法として極めて強力なレーザ光を用いるという方法が考えられる。しかし、人間が対象の場合、安全性の観点から問題が発生すると考えられる。
【００１１】
これに加えて、空間コード化法では複数のパタンを時分割的に照射する必要があり、高速なデータ入力は難しい。同様にレーザ光を用いた光切断法でも、照射できるレーザビームは一つのみであり、これをスキャンする必要があるため、やはり高速なデータ入力は難しいという問題があった。
【００１２】
【課題を解決するための手段】
請求項１の三次元モデリング装置に係る発明は、三次元物体の三次元形状データを生成する三次元モデリング装置であって、前記三次元物体を撮影して得られた複数の物体画像から概略形状を計算する概略形状計算手段と、前記三次元物体を撮影して得られた複数の物体画像から詳細形状を計算する詳細形状計算手段と、前記計算された概略形状及び詳細形状に基づいて、それぞれ概略デプスマップ及び詳細デプスマップを求め、これらを所定ルールに従って最終デプスマップを求めて前記三次元物体の三次元形状データを生成する三次元形状データ生成手段と、を具備し、前記概略形状計算手段で計算される概略形状は、前記物体画像から求められたシルエット情報に基づいて計算され、また前記詳細形状計算手段で計算される詳細形状は、空間コード化法や光切断法を用いて、前記物体画像において色彩或いは濃度が変化する箇所を抽出し、前記物体画像間で、前記色彩或いは濃度が変化する箇所相互の対応関係を得ることによって計算されることを特徴とする。
【００１３】
請求項２の三次元モデリング装置に係る発明は、請求項１に係る三次元モデリング装置において、前記三次元物体に対し、パタン光を照射する照射手段と、前記三次元物体の画像を取得する画像入力手段と、を具備し、前記画像入力手段は、前記照射手段が前記三次元物体に対し、パタン光を照射した際に少なくとも二つの画像を取得することを特徴とする。
【００１４】
請求項３の三次元モデリング装置に係る発明は、請求項１又は２に記載の三次元モデリング装置において、前記三次元形状データ生成手段は、前記詳細形状のうち、前記概略形状の内部に存在するものについての情報を前記物体の三次元形状データとし、それ以外は概略形状の表面を前記物体の三次元形状データとして処理することを特徴とする。
【００１６】
請求項４の三次元モデリング装置に係る発明は、請求項１〜３のうちいずれかに記載の三次元モデリング装置において、前記詳細形状計算手段は、前記入力された画像から物体表面位置の候補を複数求めることを特徴とする。
【００１９】
請求項５の三次元モデリング装置に係る発明は、請求項１〜４のうちいずれかに記載の三次元モデリング装置において、前記照射されるパタン光は多色パタン光であり、隣接パタン間では、その色彩をＨＳＶ空間で記した際に色相が少なくとも９０度以上異なるか、又は明度が０.３以上異なることを特徴とする。
【００２０】
請求項６の三次元モデリング装置に係る発明は、請求項１〜５のうちいずれかに記載の三次元モデリング装置において前記色彩或いは濃度が変化する部位相互の対応関係は、前記入力された画像から前記色彩或いは濃度が変化する部位の属性を求め、この属性に基いて得ることを特徴とする。
【００２１】
請求項７の三次元モデリング装置に係る発明は、請求項６に記載の三次元モデリング装置において、前記色彩或いは濃度が変化する部位の属性は、前記入力された画像において前記色彩或いは濃度が変化する部位の左右或いは上下の色彩情報であることを特徴とする。
【００２２】
請求項８の三次元モデリング装置に係る発明は、請求項６、又は７に記載の三次元モデリング装置において、前記属性を求める際に、前記入力された画像に対し、平均化処理を施すことを特徴とする。
【００２３】
請求項９の三次元モデリング装置に係る発明は、請求項８に記載の三次元モデリング装置において、前記平均化処理は、前記入力された画像に対し領域分割処理を行い、分割された領域単位で行うことを特徴とする。
【００２４】
請求項１０の三次元モデリング方法に係る発明は、三次元物体の三次元形状データを生成する三次元モデリング方法は、前記三次元物体を撮影して得られた複数の物体画像から概略形状を計算する概略形状計算ステップと、前記三次元物体を撮影して得られた複数の物体画像から詳細形状を計算する詳細形状計算ステップと、前記計算された概略形状及び詳細形状に基づいて、それぞれ概略デプスマップ及び詳細デプスマップを求め、これらを所定ルールに従って最終デプスマップを求めて前記三次元物体の三次元形状データを生成する三次元形状データ生成ステップと、からなり、前記概略形状計算ステップで計算される概略形状は、前記物体画像から求められたシルエット情報に基づいて計算され、また前記詳細形状計算ステップで計算される詳細形状は、空間コード化法や光切断法を用いて、前記物体画像において色彩或いは濃度が変化する箇所を抽出し、前記物体画像間で、前記色彩或いは濃度が変化する箇所相互の対応関係を得ることによって計算されることを特徴とする。
【００２５】
請求項１１の三次元モデリング方法に係る発明は、請求項１０に係る三次元モデリング方法において、前記三次元物体に対し、照射手段によってパタン光を照射する照射ステップと、前記三次元物体の画像を取得する画像入力ステップと、を備え、前記画像入力ステップは、前記照射手段が前記三次元物体に対し、パタン光を照射した際に少なくとも二つの画像を取得することを特徴とする。
【００２６】
請求項１２の三次元モデリング方法に係る発明は、請求項１０又は１１に記載の三次元モデリング方法において、前記三次元形状データ生成ステップは、前記詳細形状のうち、前記概略形状の内部に存在するものについての情報を前記物体の三次元形状データとし、それ以外は概略形状の表面を前記物体の三次元形状データとして処理することを特徴とする。
【００２８】
請求項１３の三次元モデリング方法に係る発明は、請求項１０〜１２のうちいずれかに記載の三次元モデリング方法において、前記詳細形状計算ステップは、前記入力された画像から物体表面位置の候補を複数求めることを特徴とする。
【００３１】
請求項１４の三次元モデリング方法に係る発明は、請求項１０〜１３のうちいずれかに記載の三次元モデリング方法において、前記照射されるパタン光は多色パタン光であり、隣接パタン間では、その色彩をＨＳＶ空間で記した際に色相が少なくとも９０度以上異なるか、又は明度が０.３以上異なることを特徴とする。
【００３２】
請求項１５の三次元モデリング方法に係る発明は、請求項１０〜１４のうちいずれかに記載の三次元モデリング方法において前記色彩或いは濃度が変化する部位相互の対応関係は、前記入力された画像から前記色彩或いは濃度が変化する部位の属性を求め、この属性に基いて得ることを特徴とする。
【００３３】
請求項１６の三次元モデリング方法に係る発明は、請求項１５に記載の三次元モデリング方法において、前記色彩或いは濃度が変化する部位の属性は、前記入力された画像において前記色彩或いは濃度が変化する部位の左右或いは上下の色彩情報であることを特徴とする。
【００３４】
請求項１７の三次元モデリング方法に係る発明は、請求項１５、又は１６に記載の三次元モデリング方法において、前記属性を求める際に、前記入力された画像に対し、平均化処理を施すことを特徴とする。
【００３５】
請求項１８の三次元モデリング方法に係る発明は、請求項１７に記載の三次元モデリング方法において、前記平均化処理は、前記入力された画像に対し領域分割処理を行い、分割された領域単位で行うことを特徴とする。
【００７７】
【発明の実施の形態】
以下に本発明の好適な実施の形態を示す。
【００７８】
尚、以下の説明及び請求項において、「画像」とはコンピュータで処理可能なデジタル化された画像情報（画像データ）から、３５ｍフィルム或いは印画紙に焼き付けられた画像までもを含めた広義の画像を意味するものとする。
（構成の説明）
図１に本発明の概念構成図を示す。入力対象物１０は回転台１１の上に設置される。１２はパタン照射部であり、パタン光を対象物１０に照射する。パタンを照射された対象物は受光部１３により撮影される。
【００７９】
尚、これらパタン照射及び撮影は制御部１４により制御される。撮影された画像データは処理部１５に送られる。処理部では、三次元形状計算が行われ、得られた三次元形状データは記録部１６に保存される。
【００８０】
尚、受光部１３は通常アナログカメラ或いはデジタルカメラが利用されるが、対象物によっては、非可視光画像を得る特殊カメラであっても良い。また、制御部１４及び処理部１５は通常パーソナルコンピュータやワークステーションなどの計算機が用いられる。さらに、記録部１６はハードディスク、CD-R、フロッピーディスク、MO、DVDその他あらゆる記録媒体を用いることができる。
【００８１】
図２に、本発明における処理の大まかな流れを示す。処理はキャリブレーション、概略形状抽出、詳細形状抽出、三次元形状データ生成の４ステップからなる。
【００８２】
キャリブレーションステップ（Ｓ２０）では、カメラの内部パラメータ（画角情報即ち焦点距離とCCDサイズの比やレンズ歪みなど）、及び外部パラメータ（カメラ位置）を求める。概略形状抽出ステップ（Ｓ２１）では、対象物の大まかな形状情報を得る。一方詳細形状抽出ステップ（Ｓ２２）では対象物の詳細な形状情報を得る。また、三次元形状データ生成ステップ（Ｓ２３）では、対象物の大まかな形状情報と詳細な形状情報とを統合し、最終的な三次元形状データを生成する。
【００８３】
以下に、本発明の好適な実施の形態の一つをより詳細に示す。
【００８４】
ここでは、図１で示したように、回転台１１の上に対象物１０を載せて、回転台１１を回転させつつカメラで対象物１０の画像を撮影することを前提にする。もちろん、多数のカメラ１３を対象物１０の回りに配置させ、これらから対象物１０の複数の画像を得ても良い。対象物１０が回転台１１に載せられないような物体や、長時間静止出来ない物体などは、多数カメラ配置の方が好適と考えられる。
【００８５】
また、概略形状抽出ステップでシルエット法を用いること、及び詳細形状抽出ステップでバイナリーパタンを用いた空間コード化法による能動ステレオ法を用いて形状測定をすること、を前提に説明する。従って、受光部１３としては二つのカメラを用いることになる。
以下、図２の流れに従って順に説明してゆく。
【００８６】
（キャリブレーションステップ）
キャリブレーションステップでは、カメラ１３の内部パラメータ及び外部パラメータを求める。ここでカメラ１３の内部パラメータとは、画角情報（焦点距離とCCDサイズの比：以後「パースペクティブ比」と呼ぶ。）やレンズ歪みパラメータである。また、カメラ１３の外部パラメータとは、カメラ１３の位置及び姿勢情報であり、より具体的には、回転台回転軸とカメラ１３の位置関係、及びカメラ１３の相互の位置関係を意味する。
【００８７】
図３はパースペクティブ比を説明するための図である。ここでカメラモデルとして、ピンホールカメラモデルを前提としている。パースペクティブ比は、焦点距離とCCDサイズ（例えばCCD縦サイズ）の比として定義する。図３の場合、h_ccd/fがパースペクティブ比である。これは、遠近法において、画面に投影される物体サイズが視点から物体までの距離に応じて拡大／縮小される際の、拡大／縮小率を決定するパラメータにほかならない。
【００８８】
さて、実際にはカメラ１３の焦点距離及びCCDサイズは未知の場合が多い。或いは、既知であっても、実際の形状計測に用いる場合には不正確である場合が多い。
【００８９】
この時には次のようにして求めることができる。まず、長さＨの基準ポール３０が画像面３１に入るように撮影する。そして、このときのカメラと基準ポールとの距離Ｌを計測する。ここで画像面の縦サイズをh_px（単位：ピクセル）とし、画像面に基準ポールがhピクセルの長さで映っているとすると、H/L = h/fであるから、パースペクティブ比は(H×h_px)/(h×L)で計算される値となる。
【００９０】
次に、外部パラメータ即ち回転台１１の回転軸とカメラ１３の位置関係を求める方法について説明する。以下ではこの処理を「回転台キャリブレーション」と呼ぶことにする。
【００９１】
図４を参照して、回転台キャリブレーション処理では、まず、回転台１１の上に、既知パタンを印刷した物体４０（これを「参照物体」と呼ぶ。）を配置する。ここで既知パタンとは、例えば円マーク４２であり、これが平板状の参照物体に複数印刷されている。すべての円マークは予め指定された場所に印刷されており、回転台キャリブレーション処理を行う計算機には、予め各円マークの印刷位置が登録されているとする。このように既知パタンが印刷された物体とカメラ１３との位置関係は、Hough変換を用いて信頼性良く求めることができる。この概略については後述する。
【００９２】
さて、回転台１１の回転軸４１とカメラ１３との位置関係を求めるためには、カメラ１３と参照物体４０の位置関係が求められただけでは不十分である。そこで、回転台１１を回しながら、幾つかの視点から参照物体４０を撮影し、それぞれの視点における、カメラ１３と参照物体４０との位置関係を求める。これは、カメラ視点が固定と考えると、参照物体４０が回転台１１の回転動作に伴い、どのように動いたかという情報を得たことになる。この動きは回転台１１の回転軸４１に沿って円運動を形成しているため、参照物体４０上における任意の点（例えば原点）の動きを追跡し、その軌跡に円あてはめを行う。この円の中心を通り、円が成す平面に直交する直線が回転台１１の回転軸４１となる。
【００９３】
尚、以下にHough変換を用いた参照物体４０とカメラ１３との位置関係算出
方法について説明する。図４及び図５を参照して、まず、参照物体４０を撮影する。そして、撮影された画像５０から、円マーク４２を抽出する。参照物体４０上の円マーク４２は複数存在しており、従って、この時点で円マークは互いに区別できない。そこで、抽出された円マークから任意の３つを取り出す。一方、計算機に登録されている円マーク位置データ５１から、やはり任意の３つを取りだす。
【００９４】
そして、これらが仮に正しいとした場合の、参照物体座標系と、カメラ座標系との変換行列を求める。この変換行列は、参照物体座標系から見たカメラの位置及び姿勢と見做すことができ、カメラの位置（Ｘ，Ｙ，Ｚ）及びカメラの向き(α，β，γ)の６自由度で決定される。尚、Ｘ，Ｙ，Ｚ，α，β，γによって規定されるカメラ座標系と参照物体座標系の関係式は、以下の数１となる。
【００９５】
【数１】

【００９６】
さて、ここで得られたＸ，Ｙ，Ｚ，α，β，γは正しいことが保証されていない。しかし、上述のような任意の３つの抽出円マーク組、及び３つの登録位置データ組の全組み合わせについて、Ｘ，Ｙ，Ｚ，α，β，γを求めた場合を考えてみると、いくつかは正しい組み合わせとなり、正しいＸ，Ｙ，Ｚ，α，β，γの値を得ることになる。これら正しい組合わせの場合は常に同じＸ，Ｙ，Ｚ，α，β，γとなる。一方、誤った組合わせの場合は、でたらめなＸ，Ｙ，Ｚ，α，β，γとなる。
【００９７】
そこで、図６に示すように、Ｘ，Ｙ，Ｚ，α，β，γ各変数に対応したテーブルを準備し、上記すべての組み合わせについて得られたＸ，Ｙ，Ｚ，α，β，γについて、テーブルに投票処理する。そして各テーブルでピークを呈する部分を正しい解と見なす。図６では上向き矢印で示された点がそれぞれの変数の解となる。
【００９８】
一方、図４に示されるカメラ１３間の位置関係は、複数のカメラ１３で同じ参照物体４０を撮影した際の、参照物体座標系と、カメラ座標系との変換行列から容易に計算できる。即ち、カメラa座標系の三次元の点Pをカメラaの座標系であらわした値をP_a、カメラbの座標系であらわした値をP_b、参照物体座標系であらわした値をP_o、とすると、これらの関係は以下のようになる。
【００９９】
P_a = R_oa * P_o + T_oa
P_b = R_ob * P_o + T_ob
ここでR_oa、R_ob、T_oa、T_obはそれぞれ参照物体座標系からカメラa、b座標系への回転変換パラメータ、及び並進パラメータである。即ち、カメラ間の座標変換は、
P_a = R_oa *R_ob ^(-1) *P_b + (T_oa - R_ob ^(-1) *T_ob)
であらわされる。従って、例えば、カメラbの原点は、カメラaでは(T_oa - R_ob ^(-1) T_ob)の位置にあることになる。
（シルエット法による概略形状計算ステップ）
次に、シルエット法を用いた概略形状抽出について説明する。図７を参照して、まず、カメラから入力された複数の物体画像に対し、対象物体のシルエットを抽出する処理を行なう（Ｓ７０）。シルエット抽出には、例えば、ブルーバックを用いたクロマキー法や、予め背景画像データを入力しておき、上記物体画像データと背景画像データとの差分処理からシルエットを得る背景差分法などを用いることができる。クロマキー法や背景差分法についての詳細説明は割愛するが、例えば、特開平１１−９６３６１号公報などを参照されたい。
【０１００】
続いて、複数のシルエット画像から、対象物の三次元形状を再構成する形状再構成処理を行なう（Ｓ７１）。ここでは、まず、対象物体が存在すると予測される三次元空間を、ボクセル空間として表現する。ボクセル空間とは、非常に小さな立体素（ボクセル）の集まりで三次元空間を表現するものである。また、対象物体が存在する空間は、回転台の上方で、かつ、カメラの視野に収まる領域として予測することができる。
【０１０１】
そして、各ボクセルをそれぞれのシルエット画像に投影し、全ての物体シルエット画像上に（或いは一定枚数以上のシルエット画像上に）投影されたもののみを物体概略形状として抽出する。
【０１０２】
図８は、上記の形状再構成過程を説明するものである。一般に、多数枚のシルエット画像をもとにボクセル空間８０へ投影処理を行うが、図では一部のシルエット画像のみを示している。
【０１０３】
ここで存在可能領域を考える。シルエット画像１に対する存在可能領域とは、カメラの視点中心８１を頂点とし、シルエット画像１中の物体像を断面形状とする錐体状の領域８２となる。尚、他のシルエット画像に対する存在可能領域も同様に定義できる。従って、対象物体はかならず（シルエット画像に誤りがない限り）、この存在可能領域の内部に存在していることになる。この処理は、直感的には、石膏ブロックから、シルエット外の部分を削り落としてゆき、最終的に物体を削り出す作業になぞらえることが出来る。
【０１０４】
以上のようにして抽出されたボクセルの集合が物体の三次元形状を表現するものとなる。しかしながら、上記の概略形状では、細かい物体形状は表現されていない。例えば、シルエット輪郭として観測できない部分（例えばコップの内面など）については、埋まった状態で概略形状として計算されてしまう点に注意が必要である。そして、このような凹形状をより正確に求める手法の一つとして、次に説明する空間コード化法がある。
（空間コード化法を用いた詳細形状計算ステップ）
バイナリーパタンを用いた空間コード化法による能動ステレオ法について以下に説明する。バイナリーパタンとは白黒のパタンを意味する。図９（Ａ）〜（Ｇ）に、コード化されたバイナリーパタンの一例が示されている。（Ａ）は明の部分と暗の部分が半々のパタンで、（Ｂ）、（Ｃ）、・・と順次パターンのピッチが１／２となっていく。このようなパタン光を順次対象物に照射していく。
【０１０５】
図１０には、説明のために３種類のパタン光を順次照射した場合のコード例が示されている。各パターンを８ビットのデータとみなすと、パタンＡ（図１０における（Ａ））の明の部分が（１１１１）、暗の部分が（００００）となり、８ビットで（１１１１００００）となる。パタンＢ（図１０における（Ｂ））は同様にして（１１００１１００）となり、パタンＣ（図１０における（Ｃ））は（１０１０１０１０）となる。
【０１０６】
そして、パタンＡをＭＳＢ（最上位ビット）、パタンＣをＬＳＢ（最下位ビット）とすると、３ビットの２進コードを各々の分割領域に割り当てることができる。例えば、右端の領域に対しては（０００）＝０（１０進）を割り当て、左端の領域に対しては（１１１）＝７（１０進）を割り当てることができる。
【０１０７】
このように、ｎ個のパタンを用いることで、ｎビットの２進コードを空間領域に割り当てることができ、このコードにより空間を一意に識別することができる。図９では合計７個のパタンを用いているため、１２８個の空間領域を一意に識別することができる。対象物に対してこのようなパタン光を照射して対象物のある点Ｐの空間領域が特定されると、二つのカメラ画像に投影されているそれぞれの空間領域について容易に識別でき、画像間の対応関係が容易に得られる。
【０１０８】
即ち、例えば画像にて時系列的に0010101と観測される部位は、それぞれのカメラ画像において唯一であり、これが対応点となる。そして、二つのカメラ位置はキャリブレーションステップにおいて予め求められているため、三角測量原理から各空間領域の三次元位置は容易に計算できる。
【０１０９】
以上のようにして得られる詳細形状は、観測視点、即ち、受光部視点からの奥行きデータとなる。これを「詳細デプスマップ」と呼ぶことにする。詳細デプスマップは、次の三次元形状データ生成において用いられる。尚、空間コード化による３次元位置計測の詳細に関しては、例えば「三次元画像計測」（井口征士、佐藤宏介共著：昭晃堂）を参照されたい。
（三次元形状データ生成ステップ）
上述のように空間コード化法によって、詳細な形状が求められるが、光を吸収するような黒色の部分については、全く情報が得られない場合がある。一方、シルエット法では、詳細な形状を求めないかわりに、光を吸収するような黒色の部分についても概略の形状を求めることができる。そこで、両者の長所を組み合わせるよう、生成データ統合する必要がある。この統合処理を行うのが三次元形状データ生成ステップである。
【０１１０】
三次元形状データ生成ステップでは、まず、ボクセルで表現された概略形状を、空間コード化法のカメラ視点からの奥行きデータに変換する。これを概略デプスマップと呼ぶことにする。これに対し、すでに空間コード化法により得られた詳細デプスマップのデータも存在している。
【０１１１】
さて、詳細デプスマップに関しては、光を吸収するような黒色の部分が対象物に存在している場合などは、一部情報が欠けている可能性がある。これに対し、概略デプスマップは、詳細な凹凸が表現されていない可能性がある。従って、各部位に対する、それぞれのデプスマップ情報の状態は、以下の４つの場合に分けることができる。
【０１１２】
１：概略デプスマップと詳細デプスマップの奥行き値が等しい。
【０１１３】
２：概略デプスマップより詳細デプスマップの方が奥行き値が大きい。
【０１１４】
３：概略デプスマップより詳細デプスマップの方が奥行き値が小さい。
【０１１５】
４：詳細デプスマップの値が存在しない。
【０１１６】
１は、シルエット法でも、空間コード化法でも正しく物体形状が計測できた部位になる。２は、シルエット法より、空間コード化法のほうが正確に物体形状が計測できた部位と考えられる。これらに対し、３は、空間コード化法において、白黒パタンの抽出に失敗（具体的には黒パタンが照射されているにも関わらず白パタンが照射されていると判定するなど）するなどして、空間コード化法が明らかに誤った値を出力していると判断できる。
【０１１７】
なぜなら、正しい物体表面は、かならずシルエット法で求められた表面の上或いは内部にのみ存在するからである。また、４は、該部位が黒色であるなどの理由で、形状データが得られなかった場合に相当する。
【０１１８】
そこで、以下のようにそれぞれのデプスマップを統合し、最終デプスマップを得る。
【０１１９】
１、及び２の場合：詳細デプスマップをそのまま最終デプスマップとする。
【０１２０】
３、及び４の場合：概略デプスマップを最終デプスマップとする。
【０１２１】
図１１に、概略デプスマップ及び詳細デプスマップ、並びにこれらから得られた最終デプスマップの鳥瞰図（ワイヤフレーム表示）を示す。
【０１２２】
そしてこれらの最終デプスマップを、すでに得られた概略データ（ボクセル集合体の形式で表現されている）に対し、適用する。即ち、概略データを表現するボクセルのうち、最終デプスマップと整合性がとれないもの、より具体的には、最終デプスマップで示される受光部視点からの距離より短い距離のボクセルについては、これを除去する。このようにして除去処理の後、最終的に残っているボクセルにより、物体形状が表現される。
【０１２３】
尚、三次元形状データは、しばしばCG(Computer Graphics)及びCAD（Computer Aided Design）の各種ツールにおいて使用されるが、この際にはボクセル集合で表現するよりも、ポリゴンやNURBSなどパラメトリック曲面で表現されることが一般的である。この目的で、ボクセル集合の中から、物体表面に対応するボクセルを抽出し、これらを接続することで、ポリゴン表現に変換したり、NURBSに変換することが可能である。
【０１２４】
以上に述べた本手法の効果を再度まとめると以下のようになる。
1.シルエット法では、対象物の色彩に依存せず三次元形状情報が得られるが、凹形状部分は正しく計測されないという問題がある。
2.凹部分についても正確に形状を求める方法として、レーザ光を用いた光切断法、複数の白黒パタンを照射する空間コード化法があるが、黒色部分や鏡面反射部についてはデータが得られないという問題がある。
3.シルエット法による概略形状抽出と、例えば空間コード化を組み合わせることで、凹形状、黒色部及び鏡面反射部それぞれについて良好な三次元形状計測が可能になる。
（別の実現例：パタン枚数の削減）
上記では、シルエット法と空間コード化法それぞれの長所を適切に利用することで、より汎用的な三次元形状モデリングを実現する方法について述べた。一方、シルエット法などによる概略形状情報を利用することで、空間コード化法における照射パタン数の削減も可能になる。この利点に着目した実施の形態について以下に説明する。
【０１２５】
この場合の概念構成図は、第１の実施の形態と同じになるため、ここでは説明を省略する。また、処理の大まかな流れも第１の実施の形態と同じであり、キャリブレーション、概略形状抽出、詳細形状計算、及び三次元データ生成の４ステップからなるが、詳細形状計算ステップでは、より具体的には対象物表面候補抽出をおこない、また、三次元データ生成ステップは、表面存在可能領域決定、及び最終三次元形状決定の二つのサブステップからなる。これを示した流れ図が図１２である。このうち、キャリブレーション及び概略形状抽出については既に説明したので、ここでの説明は割愛する。
【０１２６】
以下に、まず、対象物表面候補抽出ステップの処理内容を記す。今、図９に示されたパタンのうち、（Ｄ）（Ｅ）（Ｆ）及び（Ｇ）のみ用いる場合を考える。この場合、本来（Ａ）（Ｂ）（Ｃ）によって区別される３ビット分の情報が欠けているため、同じ白黒パタン時系列を示す部位が一般に８個存在することになる。
【０１２７】
図１３は、上記の状況を示した図である。ここでは、二つのカメラa、bが左右に配置され、対象物には縦方向のバイナリーパタンが照射したと仮定し、これを上方から見た図となっている。カメラaの画面上の、ある点において、コード0010が割り当てられたとすると、カメラbの画面上で同じコード0010が割り当てられた点は、図中対応点候補として○で示した個所であり、８点存在することになる。これら８点の三次元位置は図中表面候補として示した○の地点である。従って、これらを８つの三次元位置を物体表面候補として抽出する。
【０１２８】
次に、表面存在可能領域決定ステップを説明する。概略形状の内部領域は、物体の表面が存在可能な領域を示すと見做せる。なぜなら、概略形状の外部には決して物体の表面が存在し得ないからである。加えて、対象物の性質が分かっている場合にはさらに表面存在可能領域に制限を与えることができる。例えば、人の顔を入力している場合、表面の凹凸には一定の制限がある。
【０１２９】
従って、例えば、「概略形状表面から３cmより内側に真の表面は存在しない」というルールを適用することが可能である。このようなルール適用は、人の顔に限らず、あらかじめ対象物体の性質が分かっている場合には一般に可能である。従って、表面存在可能領域決定ステップでは、概略形状情報、及び対象物体の性質を用いて、物体の表面が存在可能な領域を決定する。
【０１３０】
そして、最終三次元形状抽出ステップでは、得られた物体表面候補のうち、表面存在可能領域内にあるもののみを抽出する。例えば、図１３の場合、もともと８個の物体表面候補が存在しているが、それぞれの候補の間隔は極めて疎である。また、決定されている表面存在可能領域が斜線で示される部分だとすると、これらの候補のうち、表面存在可能領域内に当てはまる候補は１３０で示される○のみになる。従って、１３０で示される○が最終的な三次元形状として抽出される。
【０１３１】
このように、概略形状情報を利用することで、空間コード化法におけるパタン数削減が可能になる。これは、データ入力時間の短縮に極めて有効となる。また、空間コード化法の代わりに、レーザ光照射による光切断法を用いた場合、スパイクと呼ばれる対象物体表面データに関するノイズ（極端に表面から飛び出ている、或いは凹んでいるとして誤計測された表面形状データ部分）を容易に除去することができる。
（データ記録）
以上、データ生成について述べたが、このように、信頼性或いは精度の異なる機器又は手法により獲得された三次元データを統合し、あらたな三次元データを生成した場合、このデータは部位により、精度或いは信頼性が異なることになる。
【０１３２】
例えば、概略形状データをそのまま最終データとした個所は、詳細形状データを最終データとした個所に比べ、信頼性は低いと考えられる。そこで、このようなデータを記録する際に、三次元データの部位毎に信頼性評価値を付加して記録することが好適である。
【０１３３】
今、三次元データはポリゴンに基づいて表現されるとし、図１４に、信頼性データの具体例を示す。図１４に示すように、三次元データは頂点座標データ部と、これらを接続して構成されるポリゴンデータ部に別けられる。たとえば、頂点０番（vid 0）は(x,y,z)=（0.0, 20.0,43.0）、頂点１番は（10.3, 5.2, 133.8）、頂点２番は（-20.9,3.2,13.9）に位置し、ポリゴン０番（pid 0）はこれら頂点０番、１番、２番が接続されたものとなることを、このデータは意味している。また、信頼性（例えば、値が大きいほど信頼性が高いとする）は各頂点に対して定義されており、例えば頂点０ではr=1.0、頂点１ではr=0.5となっている。
【０１３４】
このように、三次元形状データに信頼性を付加して記録することで、生成された対象物体の三次元形状データと、別の手法或いは装置により獲得された同じ対象物体の三次元形状データを更に統合する際、信頼性に応じた重みづけを行いつつ統合処理を進めることが出来る。
【０１３５】
また、三次元形状データをさまざまなアプリケーションに応用する場合、信頼性に応じて、利用可能な部分を適宜抽出できることになる。たとえば、インターネット上で形状をみる場合などは、形状精度はあまり重要でない場合が多く、信頼性が低いものも含めて表示する。
【０１３６】
一方、同じデータをCADツールに入力する際は、形状精度が重要であるため、信頼性が高いものだけを入力し、その他はCADツールの持つマニュアルモデリング機能で補間生成するなどの利用方法が考えられる。
【０１３７】
さらには、三次元データを人手により修正加工する場合、オペレータに修正すべき個所を自動的に教示すると操作性がよくなると考えられる。この際に、上記の信頼性情報が三次元データに付加されておれば、これに応じて修正個所の教示をすることができる。
【０１３８】
以上、信頼性を数値的な評価値で表現することを前提にデータ記録について述べた。しかし、信頼性の表現は数値的な評価値としてあらわすことに限定されないのはいうまでもない。たとえば、信頼性をいくつかのレベルにわけ、それぞれをシンボルに割り当てる方法が考えられる。そのほか、複数メディアを統合したデータ記録方式が一般的になった場合、音声、或いは映像を用いて信頼性を表現する場合も考えられる。
（その他）
尚、上記では概略形状をシルエット法によって求めたが、その他の手法で概略形状を得ても良い。また、対象物があらかじめ限定されている場合、人手により、或いはデータベース等からの供給により、概略形状を与えることも好適である。
【０１３９】
さらに、詳細形状抽出の手法として、バイナリーコード化光を用いた能動ステレオ法を用いた場合について説明したが、カラーコード化光或いはレーザ光を用いた光切断法、さらにはモアレ法などを用いても良い。本明細書における「パタン光」とは、これらの方法において用いられる照射光すべてを含んでいることはいうまでもない。また、予めパタン照射部とカメラとの位置関係が正確に求まっていれば、使用カメラ数は１台のみとしても良い。
【０１４０】
また、空間コード化法において概略形状情報を利用することで、照射パタン数の削減が可能となることについて述べたが、同様に、レーザ光を用いた光切断法においては、複数レーザ光を照射し、奥行きデータの複数候補を得た後、概略形状情報を利用した絞り込を行うことが可能である。この場合も、単一レーザ光を用いた場合に比べ、高速なデータ入力が可能になる。
【０１４１】
加えて、上記ではシルエット法によって得られる概略形状をボクセルの集合体で表現する方法について述べたが、佐藤他、「曲面物体の形状測定と記述」電子通信学会論文誌 Vol. J-62-D,No.1 (1979)で述べられているように包絡線によって形状を再構成してもよい。また、再構成された形状をポリゴンやNURBSなどのパラメトリック曲面で表現しても良い。
（位置あわせ不要なバイナリーパタン照射）
さて、以上では、一般的なバイナリーパタンによる空間コード化法について述べた。
【０１４２】
しかし、図９或いは図１０に示したバイナリーパタンを用いる場合、以下の問題が発生する。一般に、対象物にバイナリーパタンを照射した入力画像内を白パタンに対応する部分（白パタン領域）と黒パタンに対応する部分（黒パタン領域）とに分離する必要がある。このとき、白パタンと黒パタンの境界部は、白パタン領域に割り当てられるか黒パタン領域に割り当てられるか極めて不安定になる。
【０１４３】
図１６は、入力対象物１０に対し、パタン照射部１２からバイナリーパタンを照射し、二つのカメラ１３A及びBにより画像を入力している状況を示している。カメラAで入力された画像において、白パタン部と黒パタン部との境界付近を拡大した物を図１７に示している。
【０１４４】
図１７（ａ１）はカメラAで入力した画像の一部を示し、図１７（ｂ１）はカメラBで入力した画像の一部を示している。いずれにおいても↑で示された白黒パタンの境界は中間的な明度となっている。このような場合、↑で示された部分が最終的に黒パタンに対応したコードが割り当てられるか、或いは白パタンに対応したコードが割り当てられるかは非決定的である。
【０１４５】
図１７（ａ２）はカメラAで入力した画像の↑部分が白パタンに対応したコードが割り当てられ、図１７（ｂ２）はカメラBで入力した画像↑部分が白パタンに対応したコードが割り当てられた場合を示す。この場合、本来↑部には同じコードが割り当てられるべきであるにもかかわらず実際には異なるコードが割り当てられ、その結果、対応関係の誤りが発生することになる。
【０１４６】
この問題を避けるため、図１８に示すように、パタンAの白と黒との境界位置iは、パタンBの白と黒との境界位置ii及びiiiの中点に存在させる方法がある。パタンBとCについても同様な位置関係とする。ここで、もっとも細かいパタンについては、コード割り当てはパタン境界に割り当てることにする。即ち、左が白、右が黒の境界部分に１の、左が黒、右が白の境界部分に０のコードを割り当てる。
【０１４７】
しかし、この場合、パタンの位置が正確に設定されなければならない。この設定が不正確だと、例えばパタンAが大きく右方向にずれることが考えられ、iがiiと重なって結局上述の問題が発生しうるからである。
【０１４８】
しかしながら、パタンの位置を正確に設定するためには、高価なパタン照射機構が必要になる．これに対し、パタンの位置を正確に設定する必要がなければ、たとえばスライドプロジェクタのような安価なパタン照射機構を用いることができる。パタンの位置を正確に設定することなく、上記問題を回避するためには、以下の方法が好適である。
【０１４９】
即ち、対象物にバイナリーパタンを照射した入力画像内を白パタンに対応する部分（白パタン領域）と黒パタンに対応する部分（黒パタン領域）とにのみ分離するのではなく、図１９で示すように６種類の領域に分類する。即ち、
A：白パタン領域、
B：白パタンから黒パタンの遷移領域での白領域、
C：白パタンから黒パタンの遷移領域での黒領域、
D：黒パタン領域、
E：黒パタンから白パタンの遷移領域での黒領域、
F：黒パタンから白パタンの遷移領域での白領域、
以上のような領域わけ（コード割り当て）の後、対応関係を得ることになる。
【０１５０】
ここで、領域割り当てのエラーを考慮し、以下の対応関係を正しいとみなす。
【０１５１】
A <-> F,A,B
B <-> A,B,C
C <-> B,C,D
D <-> C,D,E
E <-> D,E,F
F <-> E,F,A
以上のように、割り当てコードを２つより増やし、かつ、対応関係に許容範囲を導入することで、領域わけ時に不安定要素があっても対応関係は安定して得ることが出来る。
（カラーコードパタン照射）
次にカラーパタンによる空間コード化法について説明する。上記のバイナリーパタンを用いた空間コード化法では複数のパタンを照射する必要がある。これに代えて、カラーパタンを用いることで、照射パタン数を削減することが可能である。
【０１５２】
図２０にカラーパタンの例を示す。ここで隣接したパタンの間で色彩は出来るだけ異なることが望ましく、その色彩をHSV空間で記した際に色相が少なくとも９０度以上異なるか、又は明度が0.3以上ことなることが望ましい。図２０の場合、赤、緑、青、黒、の４種類の色を用いてパタンを構成している。もちろん、これ以外の組み合わせでもよいし、互いの色相や明度が十分異なれば、別の色でもよい。
【０１５３】
このようなパタンを照射された物体の画像に対し、以下の処理を行うことで、各画像を撮影した視点から対象物までの距離を計算する。
１．画像から特徴点を抽出
画像に対し、エッジ抽出を行い、さらに細線化処理を施す。このうち、予め定められた一定値以上の細線化エッジを特徴点とする。
２．各特徴点の属性を割り当て
特徴点の左右の色彩情報を属性として割り当てる。ここで、安定した属性割り当てのため、左右二つの特徴点に挟まれた領域ないの色彩データを平均化することが好適である。また、画像に対し、領域分割を施し、同領域内の色彩データを平均化してもよい。
３：属性に基づいた複数視点からの画像間で特徴点の対応づけ
それぞれの画像から抽出された特徴点どうしの対応づけを属性に基いて行う。
【０１５４】
ここで、属性の類似したものほど尤らしい対応とみなす。類似性は、上記属性をRGBで表現し、たとえば、
|Rla - Rlb| +|Gla - Glb| +|Bla - Blb| +|Rra - Rrb| +|Gra - Grb| +|Bra - Brb|
として計算する。ここで、Rlaとはカメラ視点aの画像における特徴点の左の色彩に関するR成分の値を意味する。また|Rla - Rlb|はRlaとRlbの差の絶対値をあらわす。このほか、HSVその他の色空間を用いて同様に類似性を評価してもよい。
【０１５５】
尚、３の処理においては、二つの画像間で属性が最も類似している特徴点どうしを対応づける、いわゆる２眼ステレオ法に基いた方法の他に、３眼以上の多眼ステレオ法を用いることで、より信頼性良く特徴点の対応づけを行うことも好適である。
【０１５６】
たとえば、３眼ステレオ法の場合、カメラ視点A,Bに対応した二つの画像間(ABペア)で属性が類似している特徴点を複数抽出するともに、カメラ視点B,Cに対応した二つの画像間(BCペア)でも属性が類似している特徴点を複数抽出する。そしてそれぞれの対応特徴点候補に対し、カメラ視点Bからの奥行き値を求める。もし、対応特徴点候補が正しければ、A,Bペアで求めた場合の奥行き値と、B,Cペアで求めた奥行き値は一致（或いはある誤差範囲内）するはずである。
【０１５７】
したがって、それぞれ抽出された候補特徴点の奥行きを比較し、その差が最も小さいものを正しい対応特徴点とする。これにより信頼性良く特徴点の対応づけを行うことができる。図２１は、A、B、及びCの３つのカメラを用いて得られた対応特徴点候補の奥行き値を模式的に示している。この場合、図中○で示された組が最終的に正しい対応特徴点と判断される。
【０１５８】
尚、上記の説明では、ステレオカメラの配置が左右方向になされることを前提としており、このため、パタンは縦長の短冊上とした。もちろん、ステレオカメラが上下方向にの配置される場合には、横長の短冊状パタンを用いることが好適である。
（精度の異なる３Dセンサーの利用）
この他、三次元形状入力装置において、入力精度が異なる複数の三次元形状入力手段、たとえばレーザスキャナヘッドをもちいることは好適である。
【０１５９】
一般に、入力精度の高いレーザスキャナヘッドは、入力精度の低いレーザスキャナヘッドにくらべて計測範囲が小さい。そこで、まず、低精度レーザスキャナヘッドを用いて対象物の概略形状を得る。つぎに、高精度レーザスキャナヘッドを用いて、より詳細に対象物の形状を得る。
【０１６０】
ここで、高精度レーザスキャナヘッドはロボットアーム或いは多軸ステージに取り付けられており、得られた概略形状に基いて、計測に適切な位置に高精度レーザスキャナヘッドを移動し、必要な形状データを得る。このようにして、高精度レーザスキャナヘッドのみでは全体の形状計測が困難な大きな対象物に対しても、精度良く、かつ自動的に形状計測が可能になる。
【０１６１】
尚、以上の説明では、精度の異なる２種類のレーザスキャナヘッドを用いた場合を説明したが、さらに多くの種類のレーザスキャナヘッドを用いてもよい。また、レーザスキャナヘッドの代わりに、別の手法に基いた三次元計測手段を用いてよいことは当然であり、すでに述べた能動ステレオ法、或いはモアレ法を用いた三次元計測手段などが利用できる。
【０１６２】
【発明の効果】
以上説明したように、本発明によれば、概略形状情報と、光照射により得られた詳細形状情報を共に利用することで、凹形状、暗色部及び鏡面反射部それぞれについて良好な三次元形状計測が可能になる。
【０１６３】
さらに、詳細形状情報を利用することで、空間コード化法を用いた場合の照射パタンを削減したり、レーザ光照射による光切断法におけるスパイクノイズを容易に除去することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態に関する構成図である。
【図２】本発明の一実施の形態の流れ図である。
【図３】パースペクティブ比を説明する図である。
【図４】キャリブレーション（外部パラメータ算出）を説明する図である。
【図５】Hough変換の原理を説明する図である。
【図６】Hough変換でのパラメータ決定を説明する図である。
【図７】シルエット法による概略形状計算の流れ図である。
【図８】シルエット法による形状再構成を説明する図である。
【図９】７種類のバイナリーパタンの例である。
【図１０】バイナリーパタンによる空間コード化法の原理を示す図である。
【図１１】概略デプスマップ、詳細デプスマップ及び最終デプスマップの説明図である。
【図１２】本発明の別の実施の形態の流れ図である。
【図１３】複数の表面候補と、概略形状に基づいた表面存在可能領域の関係を説明する図である。
【図１４】信頼性情報を持つ三次元形状データの例である。
【図１５】レーザ光照射部の基本構成を説明する図である。
【図１６】二つのカメラによるパタン照射画像入力の例を示す図である。
【図１７】バイナリーパタンのコード割り当て誤りの例を説明する図である。
【図１８】別のバイナリーパタンの例を説明する図である。
【図１９】６種類のコード化領域の割り当てを説明する図である。
【図２０】カラーコードパタンの例を示す図である。
【図２１】A、B、及びCの３つのカメラを用いて得られた対応特徴点候補の奥行き値を模式的に示す図である。
【符号の説明】
１０…入力対象物
１１…回転台
１２…パタン照射部
１３…受光部（カメラ）
１４…制御部
１５…処理部
１６…記録部
３０…基準ポール
３１…画像面
４０…参照物体
４１…回転軸
４２…円マーク
５０…撮影画像
５１…登録済み円マーク位置データ
８０…ボクセル空間
８１…カメラ視点中心
８２…錐体状領域
１３０…最終三次元形状部分

Claims

三次元物体の三次元形状データを生成する三次元モデリング装置であって、
前記三次元物体を撮影して得られた複数の物体画像から概略形状を計算する概略形状計算手段と、
前記三次元物体を撮影して得られた複数の物体画像から詳細形状を計算する詳細形状計算手段と、
前記計算された概略形状及び詳細形状に基づいて、それぞれ概略デプスマップ及び詳細デプスマップを求め、これらを所定ルールに従って最終デプスマップを求めて前記三次元物体の三次元形状データを生成する三次元形状データ生成手段と、
を具備し、
前記概略形状計算手段で計算される概略形状は、前記物体画像から求められたシルエット情報に基づいて計算され、また前記詳細形状計算手段で計算される詳細形状は、空間コード化法や光切断法を用いて、前記物体画像において色彩或いは濃度が変化する箇所を抽出し、前記物体画像間で、前記色彩或いは濃度が変化する箇所相互の対応関係を得ることによって計算されることを特徴とする三次元モデリング装置。
請求項１に係る三次元モデリング装置において、
前記三次元物体に対し、パタン光を照射する照射手段と、
前記三次元物体の画像を取得する画像入力手段と、
を具備し、
前記画像入力手段は、前記照射手段が前記三次元物体に対し、パタン光を照射した際に少なくとも二つの画像を取得することを特徴とする三次元モデリング装置。
請求項１又は２に記載の三次元モデリング装置において、
前記三次元形状データ生成手段は、前記詳細形状のうち、前記概略形状の内部に存在するものについての情報を前記物体の三次元形状データとし、それ以外は概略形状の表面を前記物体の三次元形状データとして処理することを特徴とする三次元モデリング装置。
請求項１〜３のうちいずれかに記載の三次元モデリング装置において、
前記詳細形状計算手段は、前記入力された画像から物体表面位置の候補を複数求めることを特徴とする三次元モデリング装置。
請求項１〜４のうちいずれかに記載の三次元モデリング装置において、
前記照射されるパタン光は多色パタン光であり、隣接パタン間では、その色彩をＨＳＶ空間で記した際に色相が少なくとも９０度以上異なるか、又は明度が０.３以上異なることを特徴とする三次元モデリング装置。
請求項１〜５のうちいずれかに記載の三次元モデリング装置において
前記色彩或いは濃度が変化する部位相互の対応関係は、前記入力された画像から前記色彩或いは濃度が変化する部位の属性を求め、この属性に基いて得ることを特徴とする三次元モデリング装置。
請求項６に記載の三次元モデリング装置において、
前記色彩或いは濃度が変化する部位の属性は、前記入力された画像において前記色彩或いは濃度が変化する部位の左右或いは上下の色彩情報であることを特徴とする三次元モデリング装置。
請求項６、又は７に記載の三次元モデリング装置において、
前記属性を求める際に、前記入力された画像に対し、平均化処理を施すことを特徴とする三次元モデリング装置。
請求項８に記載の三次元モデリング装置において、
前記平均化処理は、前記入力された画像に対し領域分割処理を行い、分割された領域単位で行うことを特徴とする三次元モデリング装置。
三次元物体の三次元形状データを生成する三次元モデリング方法は、
前記三次元物体を撮影して得られた複数の物体画像から概略形状を計算する概略形状計算ステップと、
前記三次元物体を撮影して得られた複数の物体画像から詳細形状を計算する詳細形状計算ステップと、
前記計算された概略形状及び詳細形状に基づいて、それぞれ概略デプスマップ及び詳細デプスマップを求め、これらを所定ルールに従って最終デプスマップを求めて前記三次元物体の三次元形状データを生成する三次元形状データ生成ステップと、
からなり、
前記概略形状計算ステップで計算される概略形状は、前記物体画像から求められたシルエット情報に基づいて計算され、また前記詳細形状計算ステップで計算される詳細形状は、空間コード化法や光切断法を用いて、前記物体画像において色彩或いは濃度が変化する箇所を抽出し、前記物体画像間で、前記色彩或いは濃度が変化する箇所相互の対応関係を得ることによって計算されることを特徴とする三次元モデリング方法。
請求項１０に係る三次元モデリング方法において、
前記三次元物体に対し、照射手段によってパタン光を照射する照射ステップと、
前記三次元物体の画像を取得する画像入力ステップと、
を備え、
前記画像入力ステップは、前記照射手段が前記三次元物体に対し、パタン光を照射した際に少なくとも二つの画像を取得することを特徴とする三次元モデリング方法。
請求項１０又は１１に記載の三次元モデリング方法において、
前記三次元形状データ生成ステップは、前記詳細形状のうち、前記概略形状の内部に存在するものについての情報を前記物体の三次元形状データとし、それ以外は概略形状の表面を前記物体の三次元形状データとして処理することを特徴とする三次元モデリング方法。
請求項１０〜１２のうちいずれかに記載の三次元モデリング方法において、
前記詳細形状計算ステップは、前記入力された画像から物体表面位置の候補を複数求めることを特徴とする三次元モデリング方法。
請求項１０〜１３のうちいずれかに記載の三次元モデリング方法において、
前記照射されるパタン光は多色パタン光であり、隣接パタン間では、その色彩をＨＳＶ空間で記した際に色相が少なくとも９０度以上異なるか、又は明度が０.３以上異なることを特徴とする三次元モデリング方法。
請求項１０〜１４のうちいずれかに記載の三次元モデリング方法において
前記色彩或いは濃度が変化する部位相互の対応関係は、前記入力された画像から前記色彩或いは濃度が変化する部位の属性を求め、この属性に基いて得ることを特徴とする三次元モデリング方法。
請求項１５に記載の三次元モデリング方法において、
前記色彩或いは濃度が変化する部位の属性は、前記入力された画像において前記色彩或いは濃度が変化する部位の左右或いは上下の色彩情報であることを特徴とする三次元モデリング方法。
請求項１５、又は１６に記載の三次元モデリング方法において、
前記属性を求める際に、前記入力された画像に対し、平均化処理を施すことを特徴とする三次元モデリング方法。
請求項１７に記載の三次元モデリング方法において、
前記平均化処理は、前記入力された画像に対し領域分割処理を行い、分割された領域単位で行うことを特徴とする三次元モデリング方法。