JP3862402B2 - ３次元モデル生成装置および３次元モデル生成プログラムを記録したコンピュータ読取可能な記録媒体 - Google Patents
３次元モデル生成装置および３次元モデル生成プログラムを記録したコンピュータ読取可能な記録媒体 Download PDFInfo
- Publication number
- JP3862402B2 JP3862402B2 JP04687698A JP4687698A JP3862402B2 JP 3862402 B2 JP3862402 B2 JP 3862402B2 JP 04687698 A JP04687698 A JP 04687698A JP 4687698 A JP4687698 A JP 4687698A JP 3862402 B2 JP3862402 B2 JP 3862402B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- point sequence
- depth information
- imaging
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、奥行き情報を有する画像をもとに物体の３次元モデルを生成する３次元モデル生成装置に関し、特に所望する物体の輪郭線などをユーザが描くことによって、その物体の３次元モデルを対話的に生成する３次元モデル生成装置に関する。
【０００２】
【従来の技術】
従来、対象物をディジタルカメラなどで撮像した２次元画像を処理することにより非接触で３次元モデルを生成する方法が知られており、コンピュータビジョンの研究で多くなされている。特にステレオ法は、三角測距の原理を応用したもので、対象物体を異なる位置から撮像して得られた複数の視差原画から対象物体を測定する方法である。この方法はある原画中から対象物体の輪郭などの特徴点を抽出して他の原画のどこに対応しているのかを見つける処理（マッチング）が必要である。
【０００３】
また、特徴点の抽出処理を行なうことなく複数の視差原画の対応点を一度に決定できる３次元画像測定装置が特開平５−２７２９４３号公報に開示されている。この３次元画像測定装置は、対象物を異なる位置から撮像して得られた複数の視差原画から対象物の連続ステレオ画像を作成して、フーリエ変換と、周波数空間で傾きの成分だけをフィルタリングする処理と、一定の奥行きの部分のみの画像を抽出する逆フーリエ変換とを行なうことで、３次元ボクセルデータを構成するようにしている。
【０００４】
また、ＣＣＤカメラで対象物を撮像する一方で、レーザビームを対象物に照射してその反射光をＣＣＤカメラで受光することにより三角測距の原理で対象物の奥行き情報を得る３次元測定器が市販されている。この３次元測定器によると、ＣＣＤカメラの画素ごとに奥行き情報を得ることができる。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来のステレオ法における特徴点の抽出は、他の視差原画中の対応点の決定を簡単にするために行なう処理であるが、原画の明るさや複雑さなどによって適当な特徴点を抽出するのが困難な場合がある。
【０００６】
また、マッチングにおいては、コントラストの変化が少ない場合や対象物が曲面をもつ場合などの撮像した画像によっては、視差原画間で適切な対応を見つけることが困難であった。このような場合、間違った対応点で対象物を測定して３次元モデルを生成することがあったため、確実に３次元モデルを生成することができなかった。また、特徴点の抽出とマッチングができたとしても３次元空間上の点データの集合として得られるので、線で３次元モデルを生成する場合に線分の３次元のトポロジー（どの点とどの点が結ばれているかの関係）を決定することが困難であり、計算負荷が大きくなるといった欠点があった。
【０００７】
また、特開平５−２７２９４３に開示されている３次元画像測定装置においては、複数の視差原画が必要で、必要となる視差原画の数と同じ台数のカメラを準備する必要があった。これは、コストアップになる。また、１台のカメラを移動させることで複数の視差原画を撮像できるが、この場合にはカメラの光軸が移動方向に対して常に直角の状態で直線上を移動させる必要があったため、制御が困難であるといった欠点があった。
【０００８】
また、市販されている３次元測定器においては、ＣＣＤカメラで撮像した２次元画像から得られる対象物の大きさと、ＣＣＤカメラの画素ごとに得られる対象物の奥行き情報との測定方法が異なるため、尺度を整合させた３次元モデルを生成することが困難であった。この３次元測定器を図７、図８を用いて説明する。
【０００９】
図７は、対象物をディジタルカメラで撮像した画像を液晶ディスプレイに表示した状態を示す図である。図８は、レーザビームの反射光を用いて測定したＣＣＤカメラの画素ごとの奥行き情報を示す。ここでは、ＣＣＤカメラの画素数と液晶ディスプレイの画素数は同じにしている。図７に示される画像と図８とから線分ＡＢ（Ｌ１）は画素数６個、線分ＡＣ（Ｌ２）は画素数６個、線分ＡＤ（Ｌ５）は画素数３個となる。奥行き情報は、０〜１の範囲内に正規化された値として図８に示すごとく画素ごとに得られ、点Ａは０．５、点Ｂは０．５、点Ｃは０．５、点Ｄは０．８として得られる。このことから点Ａ，点Ｂ，点Ｃは、ＣＣＤカメラから同一距離にあり、同一平面内に存在することがわかる。また、線分ＡＢ，線分ＡＣ上のすべての点の奥行き情報は０．５で同一なので、視線に対して垂直な同一平面上に存在する。このことは線分ＡＢと線分ＡＣとは、視線に対して垂直な同一平面上に存在して、かつ同じ画素数であるので、同一の長さであると判断できる。
【００１０】
しかし、点Ｄの奥行き情報は０．８であることから線分ＡＤがどの程度の大きさなのか、線分ＡＢより長いのか、または短いのか判断できない。これは奥行き情報と図８に示される平面上の長さとでスケールが異なるためである。
【００１１】
【課題を解決するための手段】
本発明は上述の問題点を解決するためになされたもので、２次元画像中から抽出された特徴点を用いて３次元モデルを容易に生成することを目的とする。
【００１２】
また、本発明はさらに、次元ごとの尺度を整合させた正確な３次元モデルを生成することを目的とする。
【００１３】
また、本発明はさらに、複数のカメラを用いることなく１台のカメラで撮像した２次元画像から特徴点を容易に抽出することを目的とする。
【００１４】
また、本発明はさらに、３次元点列のトポロジーを正確に求めることを目的とする。
【００１５】
上述の目的を達成するため、この発明のある局面に従うと、対象物の３次元モデルを生成する３次元モデル生成装置であって、
前記対象物の奥行き情報を含む撮像情報を取得する取得手段と、
描画が行なわれる物理デバイスに依存した座標系であるデバイス座標系が定められた表示部に前記取得手段により取得した対象物の２次元画像を表示する表示手段と、
該表示手段により表示された前記２次元画像に基づいて、操作者が前記対象物をモデル化するための特徴点を前記２次元画像上に描いたときの前記デバイス座標系における２次元点列を入力する２次元点列入力手段と、
該２次元点列入力手段により入力された前記デバイス座標系での前記２次元点列の座標位置に対応する前記奥行き情報を、前記取得手段が取得した撮像情報に含まれる奥行き情報の中から抽出する抽出手段と、
前記２次元点列入力手段により入力された前記２次元点列と、前記抽出手段により抽出された前記奥行き情報とから、前記対象物の３次元モデルを生成する生成手段とを備えていることを特徴とする。
【００１６】
この発明に従うと、２次元画像に入力された特徴点を用いて３次元モデルを容易に生成することが可能な３次元モデル生成装置を提供することが可能である。
また、複数のカメラを用いることなく１台のカメラで撮像した２次元画像に特徴点を容易に入力することが可能な３次元モデル生成装置を提供することが可能となる。
【００１７】
好ましくは、３次元モデル生成装置は、前記取得手段が取得する撮像情報を得るために前記対象物を撮像手段により撮像した際における、前記撮像手段の撮像部から最前面の撮像面までの距離データｄ、撮像部から最後面の撮像面までの距離データｆ、撮像対象物の最前面から最後面までの間における撮像面の中心軸からの高さｈを含むカメラパラメータを取得する手段と、
前記２次元点列入力手段により入力された前記２次元点列と、前記抽出手段により抽出された前記奥行き情報と、前記カメラパラメータを取得する手段により取得された前記各カメラパラメータとを用いて、奥行き方向の尺度と平面状における尺度とを整合させたモデリング座標を算出する算出手段とを、さらに備えていることを特徴とする。
【００１８】
この発明に従うと、次元ごとの尺度を整合させた正確な３次元モデルを生成することがさらに可能な３次元モデル生成装置を提供することが可能となる。
【００２１】
さらに好ましくは、３次元モデル生成装置は、前記２次元点列のトポロジーを抽出する第１のトポロジー抽出手段と、
前記第１のトポロジー抽出手段により抽出された２次元点列のトポロジーに基づき３次元点列のトポロジーを抽出する第２のトポロジー抽出手段とを、さらに備える。
【００２２】
この発明に従うと、３次元点列のトポロジーを正確に求めることがさらに可能な３次元モデル生成装置を提供することが可能となる。
【００２３】
この発明の他の局面に従うと、プログラムを記録したコンピュータ読取可能な記録媒体は、３次元モデルを生成する対象物の奥行き情報を含む撮像情報を取得するステップと、
描画が行なわれる物理デバイスに依存した座標系であるデバイス座標系が定められた表示部に前記取得手段により取得した対象物の２次元画像を表示するステップと、
該表示するステップにより表示された前記２次元画像に基づいて、操作者が前記対象物をモデル化するための特徴点を前記２次元画像上に描いたときの前記デバイス座標系における２次元点列を入力するステップと、
該２次元点列を入力するステップにより入力された前記デバイス座標系での前記２次元点列の座標位置に対応する前記奥行き情報を、前記取得するステップにより取得された撮像情報に含まれる奥行き情報の中から抽出するステップと、
前記２次元点列を入力するステップにより入力された前記２次元点列と、前記抽出するステップにより抽出された前記奥行き情報とから、前記対象物の３次元モデルを生成するステップとをコンピュータに実行させる。
【００２４】
この発明に従うと、２次元画像に入力された特徴点を用いて３次元モデルをコンピュータで容易に生成することが可能なプログラムを記録した記録媒体を提供することが可能となる。
【００２７】
【発明の実施の形態】
図１は、本発明の実施の形態のひとつにおける３次元モデル生成装置の構成を示すブロック図である。図を参照して３次元モデル生成装置は、ディジタルカメラなどにより構成される撮像部１と、撮像部１の画素ごとに対象物の奥行き情報を取得する奥行き情報取得部２と、特徴点座標を指示する指示部３と、特徴点座標とそれに対応する奥行き情報とから３次元モデルを生成する生成部４と、撮像部１で撮像された画像を表示する表示部５と、記憶部６とから構成される。
【００２８】
図２は、図１の３次元モデル生成装置が行なう３次元モデルの生成処理を示すフローチャートである。図を参照して、ステップｓ０で奥行き情報をもつ画像が入力される。ステップｓ１で、２次元線分の入力が行なわれる。ステップｓ２で、撮像部１より出力されるカメラパラメータが生成部４に入力される。ステップｓ３で、指示部３で入力された２次元線分間のトポロジーの抽出が行なわれる。ステップｓ４で２次元線分のサンプリングを行なう。ステップｓ５で２次元座標に対するＺｓの値を求める。ステップｓ６で、３次元の線分の生成を行なう。次に図２のそれぞれのステップで行なわれる処理を詳しく説明する。
【００２９】
［ステップｓ０］
３次元モデルの生成は、最初に奥行き情報をもつ画像入力がなされる。奥行き情報をもつ画像とは、３次元モデル生成の対象となる対象物を撮像部１で撮像した２次元画像と、奥行き情報取得部２で撮像部１の画素ごとに取得される奥行き情報とからなる。
【００３０】
奥行き情報は、レーザビームを対象物に照射して、その反射光を撮像部１で受光し、奥行き情報取得部２で処理することにより、三角測距の原理で取得される。この奥行き情報は、撮像距離や焦点距離などの撮影環境の違いに対応するべく、撮像部１が撮像することができる最も前方（撮像部側）の面（前方面）の位置を０．０、最も後の方面（後方面）の位置を１．０とした。０．０〜１．０の範囲に正規化された実数値となる。
【００３１】
図３に奥行き情報の配列を示す。ｎ×ｍ配列の奥行き情報Ｚij（０≦ｉ≦ｎ，０≦ｊ≦ｍ）は、撮像部１の画素の配列に対応している。なお、奥行き情報は、撮像部１の画素ごとに取得する必要がなく、近傍の複数の画素を一まとめにして１つの奥行き情報を取得するように粗い処理をしてもよい。
【００３２】
撮像部１で撮像された２次元画像と奥行き情報取得部２で取得された奥行き情報とが生成部４に送られ、２次元画像が表示部５で表示される。
【００３３】
［ステップｓ１］
次に、２次元線分の入力が指示部３で行なわれる。これは操作者が、表示部５に表示されている２次元画像を見て、特徴点を入力する作業にあたる。指示部３は、表示部５上に設けられた透明な部材からなるデジタイザとポインティングデバイスとで構成される。操作者が、ポインティングデバイスでデジタイザ上の所望の位置を指示すると、指示位置に該当する表示部５の画素の位置が、デバイス座標系の指示座標として生成部４に出力される。線を入力する場合は、ポインティングデバイスをデジタイザ上で指示した時点で始点信号が生成部に出力され、ポインティングデバイスをデジタイザ上で移動させている間、指示位置に該当する２次元画像の画素の位置がデバイス座標系の指示座標として出力され、ポインティングデバイスをデジタイザから離した時点で終点信号が出力される。これにより、生成部４では始点信号の受信から終点信号の受信までの間に受信した指示座標の集合を２次元点列として認識し、受信した指示座標の順番から指示座標間のトポロジー（どの座標とどの座標が結ばれているかの関係）を把握する。したがって、線は指示座標の集合（２次元点列）として認識される。
【００３４】
図４に、指示部３の出力により認識される線分とその線分を構成する座標との関係を示す。線分の数はｓで、Ｌ１，Ｌ２，Ｌ３，Ｌｓは直線（群）の名称を表わす。Ｐ１は始点の指示座標を、Ｐｒは終点の指示座標を、Ｐ２はその間の指示座標を示しており、指示座標の順番から指示座標間のトポロジーがわかるようになっている。デバイス座標系は左下を原点として右にＸ座標、上にＹ座標の正の方向がとられる。それぞれのデバイス座標はｎ×ｍの撮像部１の画素に１対１に対応する。したがって、Ｘは１以上ｍ以下の整数値で、Ｙは１以上ｎ以下の整数値である。
【００３５】
なお、指示部３をデジタイザとポインティングデバイスで構成したが、マウスの操作で表示部５にマウスポインタを移動させるようにして、表示部５に表示されている２次元画像上の所望の画素の位置を、マウスでクリックすることによりデバイス座標系の指示座標を生成部４に出力するようにしてもよい。この場合に線分の入力は、ドラッグの開始で始点信号を、ドラッグの終了で終了信号を出力するようにすれば、ポインティングデバイスとデジタイザとで構成した場合と同様にして生成部４で群を認識することができる。
【００３６】
［ステップｓ２］
次に、撮像部１より出力されるカメラパラメータが、生成部４に入力される。ここでカメラパラメータについて図５に基づき説明する。
【００３７】
Ｘｖ軸，Ｙｖ軸，Ｚｖ軸は、モデリング座標系を示す。撮像部１は、その原点にＺｖ軸の正の方向を向いて置かれている。カメラパラメータは、撮像部１で撮像する場合の実測値で、前方面１１のＺｖの値ｄ，後方面１２のＺｖの値ｆ，投像面（前方面と同じ面）１１のＺｖ軸からの高さｈである。ここで、前方面とは撮像部１で撮像することができる最も前方（撮像部側）の面をいい、後方面とは最も後方の面をいい、投像面とは前方面と後方面の間にある対象物が像として映し出される面をいう。ここでは説明を簡単にするため投像面の位置を前方面と同じにした。
【００３８】
なお、本実施の形態に示す３次元モデル生成装置では、ステップｓ０からステップｓ２までのステップを省略して、別の装置でこれらのステップの処理を行ない、２次元点列とそれに対応する奥行き情報とカメラパラメータを入力するように構成してもよい。この場合図１に示される撮像部１，奥行き情報取得部２，指示部３，表示部５を省いて装置を構成することができる。
【００３９】
［ステップｓ３］
カメラパラメータが生成部４に入力されると、指示部３で入力された２次元線分間のトポロジーの抽出を行なう。２次元線分間のトポロジーとは、１つの２次元線分が他の２次元線分と結びついている関係をいい、トポロジーの抽出により２次元線分が交差する座標が求められる。
【００４０】
図４に示すｓ個の２次元線分が指示部３で入力された場合の２次元線分間のトポロジーの抽出について説明する。図４に表わされている線分（Ｌ１〜Ｌｓ）を構成する座標から同一の座標を抽出し、それを記憶部６に記憶する。この抽出された座標が線分が交差する座標を示す。たとえば、線分Ｌ１を構成する座標（Ｘ11，Ｙ11）と線分Ｌ３を構成する座標（Ｘ32，Ｙ32）とが同一の座標（５，２８７）であるならば、（５，２８７）が記憶部６に記憶される。
【００４１】
同様にして、線分（Ｌ１〜Ｌｓ）を構成するすべての座標について、同一性が調べられ、同一の座標が記憶部６に記憶される。
【００４２】
２次元線分間のトポロジーの抽出結果は、次に説明する２次元線分のサンプリングに用いられる。
【００４３】
［ステップｓ４］
２次元線分間のトポロジーの抽出が行なわれると、次に２次元線分のサンプリングを行なう。２次元線分のサンプリングは、指示部３で入力された２次元線分を構成する座標を間引きする処理である。サンプリングにより２次元線分を構成する座標の数を減らすことができ、後の処理の計算負荷を減らすことができる。特に、２次元線分が直線である場合に有効である。もちろんこの処理をしないようにしてもよい。
【００４４】
２次元線分のサンプリングは、指示部３で入力された２次元線分について、２次元線分を構成する座標のうち始点座標と終点座標と記憶部６に記憶されている座標とが優先してサンプリングされる。記憶部６に記憶されている座標は、２次元線分が交差する座標を示す。その他の座標については、サンプリングされた座標からサンプリング幅の範囲外にある座標がサンプリングされる。たとえば、２次元線分Ｌ１については、まず始点座標Ｐ１（Ｘ11，Ｙ11）がサンプリングされ、次の座標Ｐ２（Ｘ12，Ｙ12）が座標Ｐ１（Ｘ11，Ｙ11）からどれだけ離れているかが判断される。今、サンプリング幅を縦方向と横方向ともに２とした場合、座標Ｐ１（Ｘ11，Ｙ11）と座標Ｐ２（Ｘ12，Ｙ12）が縦方向と横方向ともに２以上離れていれば（｜Ｘ12−Ｘ11｜≧２ ＡＮＤ ｜Ｙ12−Ｙ11｜≧２）、座標Ｐ２（Ｘ12，Ｙ12）がサンプリングされて、次の座標Ｐ３（Ｘ13，Ｙ13）が座標Ｐ２（Ｘ12，Ｙ12）とどれだけ離れているかが判断される。
【００４５】
座標Ｐ１（Ｘ11，Ｙ11）と座標Ｐ２（Ｘ12，Ｙ12）が縦方向と横方向ともに２以上離れていなければ（｜Ｘ12−Ｘ11｜＜２ ＯＲ ｜Ｙ12−Ｙ11｜＜２）、座標Ｐ２（Ｘ12，Ｙ12）はサンプリングされず、次の座標Ｐ３（Ｘ13，Ｙ13）が座標Ｐ１（Ｘ11，Ｙ11）とどれだけ離れているかが判断される。
【００４６】
この処理が終点座標Ｐｒ（Ｘ1r，Ｙ1r）まで繰返される。ただし、記憶部６に記憶されている座標と終点座標は、サンプリング幅の範囲外にあるか否かにかかわらず必ずサンプリングされる。以下説明を簡単にするためすべての座標がサンプリングされたものとする。
【００４７】
［ステップｓ５］
次に、２次元座標に対するＺｓの値を求める。２次元線分のサンプリング（ステップｓ４）でサンプリングされた座標に対応する画像の奥行き情報Ｚｓが、奥行き情報の配列（図３）から求められる。たとえばサンプリングされた座標が（ｉ，ｊ）である場合のＺｓはＺijとなる。
【００４８】
［ステップｓ６］
次に３次元の線分の生成を行なう。３次元線分の生成は、２次元線分を構成する座標と画像の奥行き情報とから正規化座標を求める処理と、正規化座標をモデリング座標に変換する処理とからなる。正規化座標を求める処理では、２次元線分を構成する座標（Ｘd ，Ｙd ）のＸ座標とＹ座標を−１．０以上１．０以下の範囲に正規化することにより、正規化座標（Ｘｓ，Ｙｓ，Ｚｓ）を求める。座標Ｘd の正規化座標Ｘｓは次の（１）式で、座標Ｙd の正規化座標Ｙｓは次の（２）式で求められる。ただし、ＸdmaxおよびＹdmaxは、Ｘd およびＹd がとり得る最大値をいう。本実施の形態の場合ｎ×ｍの画素の配列であるからＸdmax＝ｍ，Ｙdmax＝ｎとなる。Ｚｎの範囲は（３）式で示される。
【００４９】
【数１】
【００５０】
次に、正規化座標をモデリング座標に変換する処理を行なう。正規化座標とモデリング座標との関係から次の（４）（５）（６）式が導かれる。
【００５１】
【数２】
【００５２】
（４）（５）（６）式を変形して次の式が求められる。
【００５３】
【数３】
【００５４】
（７）（８）（９）式により、正規化座標（Ｘｓ，Ｙｓ，Ｚｓ）をモデリング座標（Ｘｖ，Ｙｖ，Ｚｖ）に変換する。ただし、ｄ，ｆ，ｈは上述のカメラパラメータである。また、（７）（８）（９）式が成立するためには、前方面１１と後方面１２とが同一平面上になく（ｄ≠ｆ）、かつモデリング座標の原点を含まないこと（ｄ≠０ ＡＮＤ ｆ≠０）が条件となる。
【００５５】
この正規化座標を求める処理とモデリング座標に変換する処理とを、２次元線分のサンプリング（ステップｓ４）でサンプリングされた座標すべてについて行なえば、図６に示すごとく３次元線分ごとに各線分を構成する３次元座標と３次元座標間のトポロジーが得られる。そして処理の結果を記憶部６に記憶する。
【００５６】
次に上述の処理の具体例について説明する。図７にディジタルカメラで撮像した対象物が、液晶ディスプレイに表示されている場合を示す。図８は奥行き情報取得部で取得した奥行き情報の配列を示し、各枠が画素に対応している。液晶ディスプレイ上には透明なデジタイザが設けられており、ペンで指示すると液晶ディスプレイのどの画素が指示されたのかがわかるようになっている。図９にディスプレイに表示されている対象物の特徴点を操作者がペンでなぞった場合を示す。Ｌ１〜Ｌ９は対象物の特徴となる線分を示す。本実施の形態では線分ごとにデジタイザ上をペンでなぞったので、ペンをデジタイザ上に当てた時点で始点信号と指示座標が、移動した時点で指示座標が、離した時点で終点信号と指示座標が線分ごとに出される。これによりデジタイザからペンで指示した画素に対応する座標が指示した順番で指示部３から生成部４に送られる。
【００５７】
次にカメラパラメータがディジタルカメラから生成部４に送られる。ここではカメラパラメータをｄ＝１０．０，ｆ＝２０．０，ｈ＝５．０とした。
【００５８】
生成部４では受信した座標をもとに２次元線分のトポロジーの抽出が行なわれ、同じ座標、すなわち線分が交差する座標が記憶部６に記憶された後、サンプリングが行なわれる。ここではサンプリング幅を縦方向、横方向ともに２としてある。サンプリングの結果サンプルされたサンプル座標と線分との関係を図１０に示す。
【００５９】
また、サンプリングされた座標がデバイス座標のどの点に位置するかをサンプリングされた座標に識別番号Ｃ１〜Ｃ１６を付して図１１に示す。また、サンプリングされた座標に識別番号Ｃ１〜Ｃ１６を付してＸ座標Ｘd およびＹ座標Ｙd を図１２に示す。
【００６０】
次にサンプリング座標に対応する奥行き情報Ｚｓを奥行き情報の配列（図８）より求める。そして正規化座標を求める処理が行なわれる。図１２に示すサンプリングされた座標のデバイス座標（Ｘd ，Ｙd ）を（１）（２）式により正規化して、図１３に示す正規化座標（Ｘｓ，Ｙｓ，Ｚｓ）を求める。ここでは画素配列は１０×１０であるのでＸdmax＝１０，Ｙdmax＝１０である。
【００６１】
そして、正規化座標を（７）（８）（９）式によりモデリング座標に変換する。その結果を図１４に示す。求められたモデリング座標（Ｃ１〜Ｃ１６）と線分（Ｌ１〜Ｌ９）との関係は図１５に示すごとくである。
【００６２】
このようにしてカメラで撮像した２次元の画像で、抽出したい３次元物体の輪郭線を描くことで、特徴点の抽出が容易となり、さらに抽出された特徴点と奥行き情報とから３次元のモデルを容易に作成することが可能となる。
【００６３】
なお、本実施の形態では指示部３で線分が入力される場合について説明したが、点や曲線などの２次元情報として入力される場合であれば同様に適用できることはいうまでもない。
【００６４】
また、本実施の形態においては、図１の構成を有する３次元モデル生成装置としたが、図２に示される処理をコンピュータに実行させることができるプログラムを記録媒体（ＣＤ−ＲＯＭ、フロッピィディスク（登録商標）など）に記録させ、コンピュータにより実行させるようにしてもよい。
以上説明した実施の形態に開示されている発明の構成と効果を以下に記載する。
（１）デバイス座標系に操作者によって描かれた２次元点列を入力するステップと、
前記２次元点列に対応する奥行き情報を入力するステップと、
前記２次元点列のトポロジーを抽出するステップと、
前記２次元点列と前記奥行き情報とからモデリング座標を算出するステップと、
前記抽出された２次元点列のトポロジーに基づき３次元点列のトポロジーを抽出するステップと、
前記算出されたモデリング座標と前記抽出された３次元点列のトポロジーとから３次元モデルを生成するステップとをコンピュータに実行させるプログラムを記録したコンピュータ読取可能な記録媒体。
（１）に従うと、２次元画像中から抽出された特徴点を用いて、３次元点列のトポロジーを正確にした３次元モデルをコンピュータで容易に生成することが可能なプログラムを記録した記録媒体を提供することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態のひとつにおける３次元モデル生成装置の機能構成を示すブロック図である。
【図２】本発明の実施の形態のひとつにおける３次元モデル生成の処理の流れを示すフロー図である。
【図３】本発明の実施の形態のひとつにおける奥行き情報の配列を示す図である。
【図４】本発明の実施の形態のひとつにおける２次元線分と線分を構成する座標との関係を示す図である。
【図５】本発明の実施の形態のひとつにおけるモデリング座標系とカメラパラメータの関係を説明するための図である。
【図６】本発明の実施の形態のひとつにおける３次元線分と線分を構成する座標との関係を示す図である。
【図７】本発明の実施の形態のひとつにおける撮像した画像を液晶ディスプレイに表示した状態を示す図である。
【図８】本発明の実施の形態のひとつにおける奥行き情報の配列と指示線分との関係を説明するための図である。
【図９】本発明の実施の形態のひとつにおける特徴点をペンで指示した状態を示す図である。
【図１０】本発明の実施の形態のひとつにおける線分とサンプリング座標との関係を示す図である。
【図１１】本発明の実施の形態のひとつにおけるデバイス座標におけるサンプリング座標の位置を示す図である。
【図１２】本発明の実施の形態のひとつにおけるサンプリング座標を示す図である。
【図１３】本発明の実施の形態のひとつにおける正規化された座標を示す図である。
【図１４】本発明の実施の形態のひとつにおけるモデリング座標への変換結果を示す図である。
【図１５】本発明の実施の形態のひとつにおける線分とモデリング座標との関係を示す図である。
【符号の説明】
１ 撮像部
２ 奥行き情報取得部
３ 指示部
４ 生成部
５ 表示部
６ 記憶部
１１ 前方面，投像面
１２ 後方面
【発明の属する技術分野】
この発明は、奥行き情報を有する画像をもとに物体の３次元モデルを生成する３次元モデル生成装置に関し、特に所望する物体の輪郭線などをユーザが描くことによって、その物体の３次元モデルを対話的に生成する３次元モデル生成装置に関する。
【０００２】
【従来の技術】
従来、対象物をディジタルカメラなどで撮像した２次元画像を処理することにより非接触で３次元モデルを生成する方法が知られており、コンピュータビジョンの研究で多くなされている。特にステレオ法は、三角測距の原理を応用したもので、対象物体を異なる位置から撮像して得られた複数の視差原画から対象物体を測定する方法である。この方法はある原画中から対象物体の輪郭などの特徴点を抽出して他の原画のどこに対応しているのかを見つける処理（マッチング）が必要である。
【０００３】
また、特徴点の抽出処理を行なうことなく複数の視差原画の対応点を一度に決定できる３次元画像測定装置が特開平５−２７２９４３号公報に開示されている。この３次元画像測定装置は、対象物を異なる位置から撮像して得られた複数の視差原画から対象物の連続ステレオ画像を作成して、フーリエ変換と、周波数空間で傾きの成分だけをフィルタリングする処理と、一定の奥行きの部分のみの画像を抽出する逆フーリエ変換とを行なうことで、３次元ボクセルデータを構成するようにしている。
【０００４】
また、ＣＣＤカメラで対象物を撮像する一方で、レーザビームを対象物に照射してその反射光をＣＣＤカメラで受光することにより三角測距の原理で対象物の奥行き情報を得る３次元測定器が市販されている。この３次元測定器によると、ＣＣＤカメラの画素ごとに奥行き情報を得ることができる。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来のステレオ法における特徴点の抽出は、他の視差原画中の対応点の決定を簡単にするために行なう処理であるが、原画の明るさや複雑さなどによって適当な特徴点を抽出するのが困難な場合がある。
【０００６】
また、マッチングにおいては、コントラストの変化が少ない場合や対象物が曲面をもつ場合などの撮像した画像によっては、視差原画間で適切な対応を見つけることが困難であった。このような場合、間違った対応点で対象物を測定して３次元モデルを生成することがあったため、確実に３次元モデルを生成することができなかった。また、特徴点の抽出とマッチングができたとしても３次元空間上の点データの集合として得られるので、線で３次元モデルを生成する場合に線分の３次元のトポロジー（どの点とどの点が結ばれているかの関係）を決定することが困難であり、計算負荷が大きくなるといった欠点があった。
【０００７】
また、特開平５−２７２９４３に開示されている３次元画像測定装置においては、複数の視差原画が必要で、必要となる視差原画の数と同じ台数のカメラを準備する必要があった。これは、コストアップになる。また、１台のカメラを移動させることで複数の視差原画を撮像できるが、この場合にはカメラの光軸が移動方向に対して常に直角の状態で直線上を移動させる必要があったため、制御が困難であるといった欠点があった。
【０００８】
また、市販されている３次元測定器においては、ＣＣＤカメラで撮像した２次元画像から得られる対象物の大きさと、ＣＣＤカメラの画素ごとに得られる対象物の奥行き情報との測定方法が異なるため、尺度を整合させた３次元モデルを生成することが困難であった。この３次元測定器を図７、図８を用いて説明する。
【０００９】
図７は、対象物をディジタルカメラで撮像した画像を液晶ディスプレイに表示した状態を示す図である。図８は、レーザビームの反射光を用いて測定したＣＣＤカメラの画素ごとの奥行き情報を示す。ここでは、ＣＣＤカメラの画素数と液晶ディスプレイの画素数は同じにしている。図７に示される画像と図８とから線分ＡＢ（Ｌ１）は画素数６個、線分ＡＣ（Ｌ２）は画素数６個、線分ＡＤ（Ｌ５）は画素数３個となる。奥行き情報は、０〜１の範囲内に正規化された値として図８に示すごとく画素ごとに得られ、点Ａは０．５、点Ｂは０．５、点Ｃは０．５、点Ｄは０．８として得られる。このことから点Ａ，点Ｂ，点Ｃは、ＣＣＤカメラから同一距離にあり、同一平面内に存在することがわかる。また、線分ＡＢ，線分ＡＣ上のすべての点の奥行き情報は０．５で同一なので、視線に対して垂直な同一平面上に存在する。このことは線分ＡＢと線分ＡＣとは、視線に対して垂直な同一平面上に存在して、かつ同じ画素数であるので、同一の長さであると判断できる。
【００１０】
しかし、点Ｄの奥行き情報は０．８であることから線分ＡＤがどの程度の大きさなのか、線分ＡＢより長いのか、または短いのか判断できない。これは奥行き情報と図８に示される平面上の長さとでスケールが異なるためである。
【００１１】
【課題を解決するための手段】
本発明は上述の問題点を解決するためになされたもので、２次元画像中から抽出された特徴点を用いて３次元モデルを容易に生成することを目的とする。
【００１２】
また、本発明はさらに、次元ごとの尺度を整合させた正確な３次元モデルを生成することを目的とする。
【００１３】
また、本発明はさらに、複数のカメラを用いることなく１台のカメラで撮像した２次元画像から特徴点を容易に抽出することを目的とする。
【００１４】
また、本発明はさらに、３次元点列のトポロジーを正確に求めることを目的とする。
【００１５】
上述の目的を達成するため、この発明のある局面に従うと、対象物の３次元モデルを生成する３次元モデル生成装置であって、
前記対象物の奥行き情報を含む撮像情報を取得する取得手段と、
描画が行なわれる物理デバイスに依存した座標系であるデバイス座標系が定められた表示部に前記取得手段により取得した対象物の２次元画像を表示する表示手段と、
該表示手段により表示された前記２次元画像に基づいて、操作者が前記対象物をモデル化するための特徴点を前記２次元画像上に描いたときの前記デバイス座標系における２次元点列を入力する２次元点列入力手段と、
該２次元点列入力手段により入力された前記デバイス座標系での前記２次元点列の座標位置に対応する前記奥行き情報を、前記取得手段が取得した撮像情報に含まれる奥行き情報の中から抽出する抽出手段と、
前記２次元点列入力手段により入力された前記２次元点列と、前記抽出手段により抽出された前記奥行き情報とから、前記対象物の３次元モデルを生成する生成手段とを備えていることを特徴とする。
【００１６】
この発明に従うと、２次元画像に入力された特徴点を用いて３次元モデルを容易に生成することが可能な３次元モデル生成装置を提供することが可能である。
また、複数のカメラを用いることなく１台のカメラで撮像した２次元画像に特徴点を容易に入力することが可能な３次元モデル生成装置を提供することが可能となる。
【００１７】
好ましくは、３次元モデル生成装置は、前記取得手段が取得する撮像情報を得るために前記対象物を撮像手段により撮像した際における、前記撮像手段の撮像部から最前面の撮像面までの距離データｄ、撮像部から最後面の撮像面までの距離データｆ、撮像対象物の最前面から最後面までの間における撮像面の中心軸からの高さｈを含むカメラパラメータを取得する手段と、
前記２次元点列入力手段により入力された前記２次元点列と、前記抽出手段により抽出された前記奥行き情報と、前記カメラパラメータを取得する手段により取得された前記各カメラパラメータとを用いて、奥行き方向の尺度と平面状における尺度とを整合させたモデリング座標を算出する算出手段とを、さらに備えていることを特徴とする。
【００１８】
この発明に従うと、次元ごとの尺度を整合させた正確な３次元モデルを生成することがさらに可能な３次元モデル生成装置を提供することが可能となる。
【００２１】
さらに好ましくは、３次元モデル生成装置は、前記２次元点列のトポロジーを抽出する第１のトポロジー抽出手段と、
前記第１のトポロジー抽出手段により抽出された２次元点列のトポロジーに基づき３次元点列のトポロジーを抽出する第２のトポロジー抽出手段とを、さらに備える。
【００２２】
この発明に従うと、３次元点列のトポロジーを正確に求めることがさらに可能な３次元モデル生成装置を提供することが可能となる。
【００２３】
この発明の他の局面に従うと、プログラムを記録したコンピュータ読取可能な記録媒体は、３次元モデルを生成する対象物の奥行き情報を含む撮像情報を取得するステップと、
描画が行なわれる物理デバイスに依存した座標系であるデバイス座標系が定められた表示部に前記取得手段により取得した対象物の２次元画像を表示するステップと、
該表示するステップにより表示された前記２次元画像に基づいて、操作者が前記対象物をモデル化するための特徴点を前記２次元画像上に描いたときの前記デバイス座標系における２次元点列を入力するステップと、
該２次元点列を入力するステップにより入力された前記デバイス座標系での前記２次元点列の座標位置に対応する前記奥行き情報を、前記取得するステップにより取得された撮像情報に含まれる奥行き情報の中から抽出するステップと、
前記２次元点列を入力するステップにより入力された前記２次元点列と、前記抽出するステップにより抽出された前記奥行き情報とから、前記対象物の３次元モデルを生成するステップとをコンピュータに実行させる。
【００２４】
この発明に従うと、２次元画像に入力された特徴点を用いて３次元モデルをコンピュータで容易に生成することが可能なプログラムを記録した記録媒体を提供することが可能となる。
【００２７】
【発明の実施の形態】
図１は、本発明の実施の形態のひとつにおける３次元モデル生成装置の構成を示すブロック図である。図を参照して３次元モデル生成装置は、ディジタルカメラなどにより構成される撮像部１と、撮像部１の画素ごとに対象物の奥行き情報を取得する奥行き情報取得部２と、特徴点座標を指示する指示部３と、特徴点座標とそれに対応する奥行き情報とから３次元モデルを生成する生成部４と、撮像部１で撮像された画像を表示する表示部５と、記憶部６とから構成される。
【００２８】
図２は、図１の３次元モデル生成装置が行なう３次元モデルの生成処理を示すフローチャートである。図を参照して、ステップｓ０で奥行き情報をもつ画像が入力される。ステップｓ１で、２次元線分の入力が行なわれる。ステップｓ２で、撮像部１より出力されるカメラパラメータが生成部４に入力される。ステップｓ３で、指示部３で入力された２次元線分間のトポロジーの抽出が行なわれる。ステップｓ４で２次元線分のサンプリングを行なう。ステップｓ５で２次元座標に対するＺｓの値を求める。ステップｓ６で、３次元の線分の生成を行なう。次に図２のそれぞれのステップで行なわれる処理を詳しく説明する。
【００２９】
［ステップｓ０］
３次元モデルの生成は、最初に奥行き情報をもつ画像入力がなされる。奥行き情報をもつ画像とは、３次元モデル生成の対象となる対象物を撮像部１で撮像した２次元画像と、奥行き情報取得部２で撮像部１の画素ごとに取得される奥行き情報とからなる。
【００３０】
奥行き情報は、レーザビームを対象物に照射して、その反射光を撮像部１で受光し、奥行き情報取得部２で処理することにより、三角測距の原理で取得される。この奥行き情報は、撮像距離や焦点距離などの撮影環境の違いに対応するべく、撮像部１が撮像することができる最も前方（撮像部側）の面（前方面）の位置を０．０、最も後の方面（後方面）の位置を１．０とした。０．０〜１．０の範囲に正規化された実数値となる。
【００３１】
図３に奥行き情報の配列を示す。ｎ×ｍ配列の奥行き情報Ｚij（０≦ｉ≦ｎ，０≦ｊ≦ｍ）は、撮像部１の画素の配列に対応している。なお、奥行き情報は、撮像部１の画素ごとに取得する必要がなく、近傍の複数の画素を一まとめにして１つの奥行き情報を取得するように粗い処理をしてもよい。
【００３２】
撮像部１で撮像された２次元画像と奥行き情報取得部２で取得された奥行き情報とが生成部４に送られ、２次元画像が表示部５で表示される。
【００３３】
［ステップｓ１］
次に、２次元線分の入力が指示部３で行なわれる。これは操作者が、表示部５に表示されている２次元画像を見て、特徴点を入力する作業にあたる。指示部３は、表示部５上に設けられた透明な部材からなるデジタイザとポインティングデバイスとで構成される。操作者が、ポインティングデバイスでデジタイザ上の所望の位置を指示すると、指示位置に該当する表示部５の画素の位置が、デバイス座標系の指示座標として生成部４に出力される。線を入力する場合は、ポインティングデバイスをデジタイザ上で指示した時点で始点信号が生成部に出力され、ポインティングデバイスをデジタイザ上で移動させている間、指示位置に該当する２次元画像の画素の位置がデバイス座標系の指示座標として出力され、ポインティングデバイスをデジタイザから離した時点で終点信号が出力される。これにより、生成部４では始点信号の受信から終点信号の受信までの間に受信した指示座標の集合を２次元点列として認識し、受信した指示座標の順番から指示座標間のトポロジー（どの座標とどの座標が結ばれているかの関係）を把握する。したがって、線は指示座標の集合（２次元点列）として認識される。
【００３４】
図４に、指示部３の出力により認識される線分とその線分を構成する座標との関係を示す。線分の数はｓで、Ｌ１，Ｌ２，Ｌ３，Ｌｓは直線（群）の名称を表わす。Ｐ１は始点の指示座標を、Ｐｒは終点の指示座標を、Ｐ２はその間の指示座標を示しており、指示座標の順番から指示座標間のトポロジーがわかるようになっている。デバイス座標系は左下を原点として右にＸ座標、上にＹ座標の正の方向がとられる。それぞれのデバイス座標はｎ×ｍの撮像部１の画素に１対１に対応する。したがって、Ｘは１以上ｍ以下の整数値で、Ｙは１以上ｎ以下の整数値である。
【００３５】
なお、指示部３をデジタイザとポインティングデバイスで構成したが、マウスの操作で表示部５にマウスポインタを移動させるようにして、表示部５に表示されている２次元画像上の所望の画素の位置を、マウスでクリックすることによりデバイス座標系の指示座標を生成部４に出力するようにしてもよい。この場合に線分の入力は、ドラッグの開始で始点信号を、ドラッグの終了で終了信号を出力するようにすれば、ポインティングデバイスとデジタイザとで構成した場合と同様にして生成部４で群を認識することができる。
【００３６】
［ステップｓ２］
次に、撮像部１より出力されるカメラパラメータが、生成部４に入力される。ここでカメラパラメータについて図５に基づき説明する。
【００３７】
Ｘｖ軸，Ｙｖ軸，Ｚｖ軸は、モデリング座標系を示す。撮像部１は、その原点にＺｖ軸の正の方向を向いて置かれている。カメラパラメータは、撮像部１で撮像する場合の実測値で、前方面１１のＺｖの値ｄ，後方面１２のＺｖの値ｆ，投像面（前方面と同じ面）１１のＺｖ軸からの高さｈである。ここで、前方面とは撮像部１で撮像することができる最も前方（撮像部側）の面をいい、後方面とは最も後方の面をいい、投像面とは前方面と後方面の間にある対象物が像として映し出される面をいう。ここでは説明を簡単にするため投像面の位置を前方面と同じにした。
【００３８】
なお、本実施の形態に示す３次元モデル生成装置では、ステップｓ０からステップｓ２までのステップを省略して、別の装置でこれらのステップの処理を行ない、２次元点列とそれに対応する奥行き情報とカメラパラメータを入力するように構成してもよい。この場合図１に示される撮像部１，奥行き情報取得部２，指示部３，表示部５を省いて装置を構成することができる。
【００３９】
［ステップｓ３］
カメラパラメータが生成部４に入力されると、指示部３で入力された２次元線分間のトポロジーの抽出を行なう。２次元線分間のトポロジーとは、１つの２次元線分が他の２次元線分と結びついている関係をいい、トポロジーの抽出により２次元線分が交差する座標が求められる。
【００４０】
図４に示すｓ個の２次元線分が指示部３で入力された場合の２次元線分間のトポロジーの抽出について説明する。図４に表わされている線分（Ｌ１〜Ｌｓ）を構成する座標から同一の座標を抽出し、それを記憶部６に記憶する。この抽出された座標が線分が交差する座標を示す。たとえば、線分Ｌ１を構成する座標（Ｘ11，Ｙ11）と線分Ｌ３を構成する座標（Ｘ32，Ｙ32）とが同一の座標（５，２８７）であるならば、（５，２８７）が記憶部６に記憶される。
【００４１】
同様にして、線分（Ｌ１〜Ｌｓ）を構成するすべての座標について、同一性が調べられ、同一の座標が記憶部６に記憶される。
【００４２】
２次元線分間のトポロジーの抽出結果は、次に説明する２次元線分のサンプリングに用いられる。
【００４３】
［ステップｓ４］
２次元線分間のトポロジーの抽出が行なわれると、次に２次元線分のサンプリングを行なう。２次元線分のサンプリングは、指示部３で入力された２次元線分を構成する座標を間引きする処理である。サンプリングにより２次元線分を構成する座標の数を減らすことができ、後の処理の計算負荷を減らすことができる。特に、２次元線分が直線である場合に有効である。もちろんこの処理をしないようにしてもよい。
【００４４】
２次元線分のサンプリングは、指示部３で入力された２次元線分について、２次元線分を構成する座標のうち始点座標と終点座標と記憶部６に記憶されている座標とが優先してサンプリングされる。記憶部６に記憶されている座標は、２次元線分が交差する座標を示す。その他の座標については、サンプリングされた座標からサンプリング幅の範囲外にある座標がサンプリングされる。たとえば、２次元線分Ｌ１については、まず始点座標Ｐ１（Ｘ11，Ｙ11）がサンプリングされ、次の座標Ｐ２（Ｘ12，Ｙ12）が座標Ｐ１（Ｘ11，Ｙ11）からどれだけ離れているかが判断される。今、サンプリング幅を縦方向と横方向ともに２とした場合、座標Ｐ１（Ｘ11，Ｙ11）と座標Ｐ２（Ｘ12，Ｙ12）が縦方向と横方向ともに２以上離れていれば（｜Ｘ12−Ｘ11｜≧２ ＡＮＤ ｜Ｙ12−Ｙ11｜≧２）、座標Ｐ２（Ｘ12，Ｙ12）がサンプリングされて、次の座標Ｐ３（Ｘ13，Ｙ13）が座標Ｐ２（Ｘ12，Ｙ12）とどれだけ離れているかが判断される。
【００４５】
座標Ｐ１（Ｘ11，Ｙ11）と座標Ｐ２（Ｘ12，Ｙ12）が縦方向と横方向ともに２以上離れていなければ（｜Ｘ12−Ｘ11｜＜２ ＯＲ ｜Ｙ12−Ｙ11｜＜２）、座標Ｐ２（Ｘ12，Ｙ12）はサンプリングされず、次の座標Ｐ３（Ｘ13，Ｙ13）が座標Ｐ１（Ｘ11，Ｙ11）とどれだけ離れているかが判断される。
【００４６】
この処理が終点座標Ｐｒ（Ｘ1r，Ｙ1r）まで繰返される。ただし、記憶部６に記憶されている座標と終点座標は、サンプリング幅の範囲外にあるか否かにかかわらず必ずサンプリングされる。以下説明を簡単にするためすべての座標がサンプリングされたものとする。
【００４７】
［ステップｓ５］
次に、２次元座標に対するＺｓの値を求める。２次元線分のサンプリング（ステップｓ４）でサンプリングされた座標に対応する画像の奥行き情報Ｚｓが、奥行き情報の配列（図３）から求められる。たとえばサンプリングされた座標が（ｉ，ｊ）である場合のＺｓはＺijとなる。
【００４８】
［ステップｓ６］
次に３次元の線分の生成を行なう。３次元線分の生成は、２次元線分を構成する座標と画像の奥行き情報とから正規化座標を求める処理と、正規化座標をモデリング座標に変換する処理とからなる。正規化座標を求める処理では、２次元線分を構成する座標（Ｘd ，Ｙd ）のＸ座標とＹ座標を−１．０以上１．０以下の範囲に正規化することにより、正規化座標（Ｘｓ，Ｙｓ，Ｚｓ）を求める。座標Ｘd の正規化座標Ｘｓは次の（１）式で、座標Ｙd の正規化座標Ｙｓは次の（２）式で求められる。ただし、ＸdmaxおよびＹdmaxは、Ｘd およびＹd がとり得る最大値をいう。本実施の形態の場合ｎ×ｍの画素の配列であるからＸdmax＝ｍ，Ｙdmax＝ｎとなる。Ｚｎの範囲は（３）式で示される。
【００４９】
【数１】
次に、正規化座標をモデリング座標に変換する処理を行なう。正規化座標とモデリング座標との関係から次の（４）（５）（６）式が導かれる。
【００５１】
【数２】
（４）（５）（６）式を変形して次の式が求められる。
【００５３】
【数３】
（７）（８）（９）式により、正規化座標（Ｘｓ，Ｙｓ，Ｚｓ）をモデリング座標（Ｘｖ，Ｙｖ，Ｚｖ）に変換する。ただし、ｄ，ｆ，ｈは上述のカメラパラメータである。また、（７）（８）（９）式が成立するためには、前方面１１と後方面１２とが同一平面上になく（ｄ≠ｆ）、かつモデリング座標の原点を含まないこと（ｄ≠０ ＡＮＤ ｆ≠０）が条件となる。
【００５５】
この正規化座標を求める処理とモデリング座標に変換する処理とを、２次元線分のサンプリング（ステップｓ４）でサンプリングされた座標すべてについて行なえば、図６に示すごとく３次元線分ごとに各線分を構成する３次元座標と３次元座標間のトポロジーが得られる。そして処理の結果を記憶部６に記憶する。
【００５６】
次に上述の処理の具体例について説明する。図７にディジタルカメラで撮像した対象物が、液晶ディスプレイに表示されている場合を示す。図８は奥行き情報取得部で取得した奥行き情報の配列を示し、各枠が画素に対応している。液晶ディスプレイ上には透明なデジタイザが設けられており、ペンで指示すると液晶ディスプレイのどの画素が指示されたのかがわかるようになっている。図９にディスプレイに表示されている対象物の特徴点を操作者がペンでなぞった場合を示す。Ｌ１〜Ｌ９は対象物の特徴となる線分を示す。本実施の形態では線分ごとにデジタイザ上をペンでなぞったので、ペンをデジタイザ上に当てた時点で始点信号と指示座標が、移動した時点で指示座標が、離した時点で終点信号と指示座標が線分ごとに出される。これによりデジタイザからペンで指示した画素に対応する座標が指示した順番で指示部３から生成部４に送られる。
【００５７】
次にカメラパラメータがディジタルカメラから生成部４に送られる。ここではカメラパラメータをｄ＝１０．０，ｆ＝２０．０，ｈ＝５．０とした。
【００５８】
生成部４では受信した座標をもとに２次元線分のトポロジーの抽出が行なわれ、同じ座標、すなわち線分が交差する座標が記憶部６に記憶された後、サンプリングが行なわれる。ここではサンプリング幅を縦方向、横方向ともに２としてある。サンプリングの結果サンプルされたサンプル座標と線分との関係を図１０に示す。
【００５９】
また、サンプリングされた座標がデバイス座標のどの点に位置するかをサンプリングされた座標に識別番号Ｃ１〜Ｃ１６を付して図１１に示す。また、サンプリングされた座標に識別番号Ｃ１〜Ｃ１６を付してＸ座標Ｘd およびＹ座標Ｙd を図１２に示す。
【００６０】
次にサンプリング座標に対応する奥行き情報Ｚｓを奥行き情報の配列（図８）より求める。そして正規化座標を求める処理が行なわれる。図１２に示すサンプリングされた座標のデバイス座標（Ｘd ，Ｙd ）を（１）（２）式により正規化して、図１３に示す正規化座標（Ｘｓ，Ｙｓ，Ｚｓ）を求める。ここでは画素配列は１０×１０であるのでＸdmax＝１０，Ｙdmax＝１０である。
【００６１】
そして、正規化座標を（７）（８）（９）式によりモデリング座標に変換する。その結果を図１４に示す。求められたモデリング座標（Ｃ１〜Ｃ１６）と線分（Ｌ１〜Ｌ９）との関係は図１５に示すごとくである。
【００６２】
このようにしてカメラで撮像した２次元の画像で、抽出したい３次元物体の輪郭線を描くことで、特徴点の抽出が容易となり、さらに抽出された特徴点と奥行き情報とから３次元のモデルを容易に作成することが可能となる。
【００６３】
なお、本実施の形態では指示部３で線分が入力される場合について説明したが、点や曲線などの２次元情報として入力される場合であれば同様に適用できることはいうまでもない。
【００６４】
また、本実施の形態においては、図１の構成を有する３次元モデル生成装置としたが、図２に示される処理をコンピュータに実行させることができるプログラムを記録媒体（ＣＤ−ＲＯＭ、フロッピィディスク（登録商標）など）に記録させ、コンピュータにより実行させるようにしてもよい。
以上説明した実施の形態に開示されている発明の構成と効果を以下に記載する。
（１）デバイス座標系に操作者によって描かれた２次元点列を入力するステップと、
前記２次元点列に対応する奥行き情報を入力するステップと、
前記２次元点列のトポロジーを抽出するステップと、
前記２次元点列と前記奥行き情報とからモデリング座標を算出するステップと、
前記抽出された２次元点列のトポロジーに基づき３次元点列のトポロジーを抽出するステップと、
前記算出されたモデリング座標と前記抽出された３次元点列のトポロジーとから３次元モデルを生成するステップとをコンピュータに実行させるプログラムを記録したコンピュータ読取可能な記録媒体。
（１）に従うと、２次元画像中から抽出された特徴点を用いて、３次元点列のトポロジーを正確にした３次元モデルをコンピュータで容易に生成することが可能なプログラムを記録した記録媒体を提供することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態のひとつにおける３次元モデル生成装置の機能構成を示すブロック図である。
【図２】本発明の実施の形態のひとつにおける３次元モデル生成の処理の流れを示すフロー図である。
【図３】本発明の実施の形態のひとつにおける奥行き情報の配列を示す図である。
【図４】本発明の実施の形態のひとつにおける２次元線分と線分を構成する座標との関係を示す図である。
【図５】本発明の実施の形態のひとつにおけるモデリング座標系とカメラパラメータの関係を説明するための図である。
【図６】本発明の実施の形態のひとつにおける３次元線分と線分を構成する座標との関係を示す図である。
【図７】本発明の実施の形態のひとつにおける撮像した画像を液晶ディスプレイに表示した状態を示す図である。
【図８】本発明の実施の形態のひとつにおける奥行き情報の配列と指示線分との関係を説明するための図である。
【図９】本発明の実施の形態のひとつにおける特徴点をペンで指示した状態を示す図である。
【図１０】本発明の実施の形態のひとつにおける線分とサンプリング座標との関係を示す図である。
【図１１】本発明の実施の形態のひとつにおけるデバイス座標におけるサンプリング座標の位置を示す図である。
【図１２】本発明の実施の形態のひとつにおけるサンプリング座標を示す図である。
【図１３】本発明の実施の形態のひとつにおける正規化された座標を示す図である。
【図１４】本発明の実施の形態のひとつにおけるモデリング座標への変換結果を示す図である。
【図１５】本発明の実施の形態のひとつにおける線分とモデリング座標との関係を示す図である。
【符号の説明】
１ 撮像部
２ 奥行き情報取得部
３ 指示部
４ 生成部
５ 表示部
６ 記憶部
１１ 前方面，投像面
１２ 後方面
Claims (4)
- 対象物の３次元モデルを生成する３次元モデル生成装置であって、
前記対象物の奥行き情報を含む撮像情報を取得する取得手段と、
描画が行なわれる物理デバイスに依存した座標系であるデバイス座標系が定められた表示部に前記取得手段により取得した対象物の２次元画像を表示する表示手段と、
該表示手段により表示された前記２次元画像に基づいて、操作者が前記対象物をモデル化するための特徴点を前記２次元画像上に描いたときの前記デバイス座標系における２次元点列を入力する２次元点列入力手段と、
該２次元点列入力手段により入力された前記デバイス座標系での前記２次元点列の座標位置に対応する前記奥行き情報を、前記取得手段が取得した撮像情報に含まれる奥行き情報の中から抽出する抽出手段と、
前記２次元点列入力手段により入力された前記２次元点列と、前記抽出手段により抽出された前記奥行き情報とから、前記対象物の３次元モデルを生成する生成手段とを備えていることを特徴とする、３次元モデル生成装置。 - 前記取得手段が取得する撮像情報を得るために前記対象物を撮像手段により撮像した際における、前記撮像手段の撮像部から最前面の撮像面までの距離データｄ、撮像部から最後面の撮像面までの距離データｆ、撮像対象物の最前面から最後面までの間における撮像面の中心軸からの高さｈを含むカメラパラメータを取得する手段と、
前記２次元点列入力手段により入力された前記２次元点列と、前記抽出手段により抽出された前記奥行き情報と、前記カメラパラメータを取得する手段により取得された前記各カメラパラメータとを用いて、奥行き方向の尺度と平面状における尺度とを整合させたモデリング座標を算出する算出手段とを、さらに備えていることを特徴とする、請求項１に記載の３次元モデル生成装置。 - 前記２次元点列のトポロジーを抽出する第１のトポロジー抽出手段と、
前記第１のトポロジー抽出手段により抽出された２次元点列のトポロジーに基づき３次元点列のトポロジーを抽出する第２のトポロジー抽出手段とを、さらに備えた請求項１または２に記載の３次元モデル生成装置。 - ３次元モデルを生成する対象物の奥行き情報を含む撮像情報を取得するステップと、
描画が行なわれる物理デバイスに依存した座標系であるデバイス座標系が定められた表示部に前記取得手段により取得した対象物の２次元画像を表示するステップと、
該表示するステップにより表示された前記２次元画像に基づいて、操作者が前記対象物をモデル化するための特徴点を前記２次元画像上に描いたときの前記デバイス座標系における２次元点列を入力するステップと、
該２次元点列を入力するステップにより入力された前記デバイス座標系での前記２次元点列の座標位置に対応する前記奥行き情報を、前記取得するステップにより取得された撮像情報に含まれる奥行き情報の中から抽出するステップと、
前記２次元点列を入力するステップにより入力された前記２次元点列と、前記抽出するステップにより抽出された前記奥行き情報とから、前記対象物の３次元モデルを生成するステップとをコンピュータに実行させるプログラムを記録したコンピュータ読取可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04687698A JP3862402B2 (ja) | 1998-02-27 | 1998-02-27 | ３次元モデル生成装置および３次元モデル生成プログラムを記録したコンピュータ読取可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04687698A JP3862402B2 (ja) | 1998-02-27 | 1998-02-27 | ３次元モデル生成装置および３次元モデル生成プログラムを記録したコンピュータ読取可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11248431A JPH11248431A (ja) | 1999-09-17 |
| JP3862402B2 true JP3862402B2 (ja) | 2006-12-27 |
Family
ID=12759563
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP04687698A Expired - Fee Related JP3862402B2 (ja) | 1998-02-27 | 1998-02-27 | ３次元モデル生成装置および３次元モデル生成プログラムを記録したコンピュータ読取可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3862402B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220073601A (ko) * | 2020-11-26 | 2022-06-03 | 세종대학교산학협력단 | 깊이 센서와 컬러 카메라를 이용한 실시간 객체 위치 측정을 위한 전자 장치 및 그의 동작 방법 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3907891B2 (ja) * | 1999-11-11 | 2007-04-18 | 富士フイルム株式会社 | 画像撮像装置及び画像処理装置 |
| US6975361B2 (en) | 2000-02-22 | 2005-12-13 | Minolta Co., Ltd. | Imaging system, two-dimensional photographing device and three-dimensional measuring device |
| KR100461339B1 (ko) * | 2002-05-14 | 2004-12-10 | 주식회사 포디컬쳐 | 영상데이터 전송장치 및 방법 |
| JP5538667B2 (ja) * | 2007-04-26 | 2014-07-02 | キヤノン株式会社 | 位置姿勢計測装置及びその制御方法 |
| JP4462581B1 (ja) * | 2009-12-04 | 2010-05-12 | 洋 佐藤 | ３次元コンピュータグラフィックス用モデル生成装置 |
| CN103218849A (zh) * | 2012-01-19 | 2013-07-24 | 数伦计算机技术（上海）有限公司 | 一种图像建模系统 |
| CN103175485A (zh) * | 2013-02-20 | 2013-06-26 | 天津工业大学 | 一种飞机涡轮发动机叶片修复机器人的视觉标定方法 |
| CN110570524B (zh) * | 2019-09-18 | 2021-08-03 | 中国科学院软件研究所 | 一种拓扑保持的三维模型中值面的简化方法 |
| CN111651055A (zh) * | 2020-06-09 | 2020-09-11 | 浙江商汤科技开发有限公司 | 城市虚拟沙盘展示方法、装置、计算机设备及存储介质 |
-
1998
- 1998-02-27 JP JP04687698A patent/JP3862402B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220073601A (ko) * | 2020-11-26 | 2022-06-03 | 세종대학교산학협력단 | 깊이 센서와 컬러 카메라를 이용한 실시간 객체 위치 측정을 위한 전자 장치 및 그의 동작 방법 |
| KR102502100B1 (ko) * | 2020-11-26 | 2023-02-23 | 세종대학교산학협력단 | 깊이 센서와 컬러 카메라를 이용한 실시간 객체 위치 측정을 위한 전자 장치 및 그의 동작 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11248431A (ja) | 1999-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11629955B2 (en) | Dual-resolution 3D scanner and method of using | |
| KR101841668B1 (ko) | 입체 모델 생성 장치 및 방법 | |
| EP2531980B1 (en) | Depth camera compatibility | |
| JP3624353B2 (ja) | ３次元形状計測方法およびその装置 | |
| JP5818857B2 (ja) | 情報処理装置およびその制御方法 | |
| JP2011129082A (ja) | ３次元物体認識装置及び３次元物体認識方法 | |
| WO2010004466A1 (en) | Three dimensional mesh modeling | |
| CN104933704B (zh) | 一种三维立体扫描方法及系统 | |
| CN110926330B (zh) | 图像处理装置和图像处理方法 | |
| JP6091658B2 (ja) | 情報処理装置及び情報処理方法及びプログラム | |
| JP3798161B2 (ja) | 眼底計測装置及び眼底計測プログラムを記録した記録媒体 | |
| JP3862402B2 (ja) | ３次元モデル生成装置および３次元モデル生成プログラムを記録したコンピュータ読取可能な記録媒体 | |
| JP6541920B1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
| CN111833392A (zh) | 标记点多角度扫描方法、系统及装置 | |
| JP6409769B2 (ja) | ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム | |
| CN104680520B (zh) | 一种现场三维信息勘验方法及系统 | |
| KR101673144B1 (ko) | 부분 선형화 기반의 3차원 영상 정합 방법 | |
| JP2005141655A (ja) | ３次元モデリング装置及び３次元モデリング方法 | |
| JPH0981737A (ja) | 三次元物体モデル生成方法 | |
| JPH11259658A (ja) | 物体認識方法およびその方法を用いた物体認識装置，車輌認識方法，車輌認識装置 | |
| KR102355578B1 (ko) | 정보 처리 장치, 프로그램을 기록한 기록 매체 및 정보 처리 방법 | |
| JPH09229648A (ja) | 画像情報入出力装置及び画像情報入出力方法 | |
| CN110363806A (zh) | 一种利用不可见光投射特征进行三维空间建模的方法 | |
| Du et al. | Relative epipolar motion of tracked features for correspondence in binocular stereo | |
| JP2002135807A (ja) | ３次元入力のためのキャリブレーション方法および装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040812 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060315 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060620 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060821 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060919 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060926 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091006 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101006 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111006 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121006 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131006 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |