JP4253985B2 - 物体の三次元形状モデル作製装置 - Google Patents
物体の三次元形状モデル作製装置 Download PDFInfo
- Publication number
- JP4253985B2 JP4253985B2 JP2000040858A JP2000040858A JP4253985B2 JP 4253985 B2 JP4253985 B2 JP 4253985B2 JP 2000040858 A JP2000040858 A JP 2000040858A JP 2000040858 A JP2000040858 A JP 2000040858A JP 4253985 B2 JP4253985 B2 JP 4253985B2
- Authority
- JP
- Japan
- Prior art keywords
- point
- model
- interpolation
- data
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Input (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、カメラによって得られた画像データを使用して、カメラで撮影可能な範囲に存在する工業部品等の対象物体の三次元形状データを生成し、それにより物体認識処理等に用いる物体の三次元形状モデルを作製する装置に関するものである。
【0002】
【従来の技術】
我々は、既に三次元形状モデルを作製する方法として幾つかの提案を行っている。
その中で、特願平11−323864号及び特願平11−323865号では、画面上で設定した長方形範囲内(これを”モデル計測範囲”と呼ぶ)に格子状に設定した点(これを”モデル計測点”と呼ぶ)についてステレオ計剛により三次元位置データを計測し、三次元位置データを持つ点データ(これを”モデル構成点”と呼ぶ)の集合(これを”三次元形状データ”と呼ぶ)として物体の三次元形状モデルを構成した。これらを”先件提案”と呼ぶ。
【0003】
【発明が解決しようとする課題】
先件提案では、物体の三次元形状モデルをモデル構成点の集合で構成するため、対象物体が多面体のように角張っている場合はもちろん、円柱や球面のような滑らかな曲面から構成される場合でも、対象物の三次元形状データを生成でき、これにより三次元形状モデルを作製することができる。
また、データの入力手段としてカメラによる入力画像を用いているため、対象物体がどのような大きさのものであっても、カメラで撮影可能な範囲内に存在する物体であれば、例えば、建造物、もしくは山肌、崖というた自然の地形のような工業部品以外の対象であっても、物体の三次元形状モデルを作製することができる。
【0004】
しかしながら、ステレオ計測による三次元位置データによりモデル構成点を設定する際、モデル計測点を設定する基準画面では見えているが、その対応点を探索する参照画面では視差の関係で対象物体上の突起や斜面のために見えない部分が存在する場合があったり、また基準画面と参照画面両方で見えているが特徴のない滑らかな部分であるため対応点を見つけられない場合がある。
このような場合は、ステレオ計測による三次元位置計測が困難なためモデル構成点を設定できず三次元形状データ上でデータの欠落した部分(これを”データ欠落部”と呼ぶ)となる。
データ欠落部が1,2点程度の小さなものであれば平滑化フィルタ等で補間できるが、穴の様に大きくデータの抜けたデータ欠落部ではその部分を何らかの方法により補間する必要がある。
【0005】
【課題を解決するための手段】
上記課題を解決する本発明の請求項1に係る物体の三次元形状モデル作製装置は、入力画像において画面上で対象物体を囲むモデル計測範囲に予め格子状に設定されたモデル計測点の三次元位置データをステレオ計測によって計測することで物体上のモデル構成点を生成するモデル構成点生成器と、前記モデル構成点の集合として三次元形状データを生成するモデル構成点三次元形状データ生成部と、前記モデル計測範囲中で前記モデル構成点が得られなかった点であるデータ欠落点について、該データ欠落点の左右方向にモデル構成点があるかどうかを検査し、左右方向の両方にモデル構成点が検出された場合は、前記データ欠落点をデータ欠落部内にある補間の必要な点である補間対象点とする横方向検査補間対象点検出部と、前記補間対象点の高さデータを前記検査により検出した左右のモデル構成点の高さデータの平均により求め、該高さデータとモデル計測点の位置から前記補間対象点の三次元位置を計算してモデル構成点を設定する平均補間モデル構成点設定部とからなり、データ欠落部のない三次元形状データを生成し、三次元形状モデルを構成することを特徴とする。
【0006】
上記課題を解決する本発明の請求項2に係る物体の三次元形状モデル作製装置は、請求項1記載の前記平均補間モデル構成点設定部に代えて、前記検査により検出した左右のモデル構成点を通る直線を計算し、該直線と前記補間対象点のモデル計測点とレンズ焦点を通る直線との交点の三次元位置を前記補間対象点の位置データとして計算する直線補間モデル構成点設定部を用いることを特徴とする。
【0007】
上記課題を解決する本発明の請求項3に係る物体の三次元形状モデル作製装置は、請求項1記載の前記横方向検査補間対象点検出部に代えて、前記モデル計測範囲中で前記モデル構成点が得られなかった点であるデータ欠落点について、前記データ欠落点の左右方向にモデル構成点があるかどうかの検査に加えて、前記データ欠落点の上下方向にもモデル構成点があるかどうかを検査し、上下左右方向にモデル構成点が予め設定しておいた数以上検出された場合は、前記データ欠落点を前記補間対象点とする十字方向検査補間対象点検出部を用い、また、請求項1記載の前記平均補間モデル構成点設定部に代えて、上記検査により検出されたモデル構成点の高さデータの平均値とモデル計測点の位置から前記補間対象点の位置データを求めてモデル構成点を設定する平均補間モデル構成点設定部を用いることを特徴とする。
【0009】
上記課題を解決する本発明の請求項4に係る物体の三次元形状モデル作製装置は、請求項3記載の前記平均補間モデル構成点設定部に代えて、前記補間対象点と前記検査により検出したモデル構成点から補間点距離を計算し、該補間点距離を当該補間点距離の総計で割った値を重みとし、前記検査により検出されたモデル構成点の高さデータについて前記重みを付けて平均値を求め、該平均値である重み付き平均高さデータとモデル計測点の位置から前記補間対象点の位置データを求めてモデル構成点を設定する重み付き平均補間モデル構成点設定部を用いることを特徴とする。
【0010】
上記課題を解決する本発明の請求項5に係る物体の三次元形状モデル作製装置は、請求項1記載の前記横方向検査補間対象点検出部に代えて、前記モデル計測範囲中で前記モデル構成点が得られなかった点であるデータ欠落点について、前記データ欠落点の左右方向にモデル構成点があるかどうかの検査に加えて、前記データ欠落点の上下方向及び斜め方向にもモデル構成点があるかどうかを検査し、上下左右斜めの8方向にモデル構成点が予め設定しておいた数以上検出された場合は、前記データ欠落点を前記補間対象点とする8方向検査補間対象点検出部を用い、また、請求項1記載の前記平均補間モデル構成点設定部に代えて、上記検査により検出されたモデル構成点の高さデータの平均値とモデル計測点の位置から前記補間対象点の位置データを求めてモデル構成点を設定する平均補間モデル構成点設定部を用いることを特徴とする。
【0012】
上記課題を解決する本発明の請求項6に係る物体の三次元形状モデル作製装置は、請求項5記載の前記平均補間モデル構成点設定部に代えて、前記補間対象点と前記検査により検出したモデル構成点から補間点距離を計算し、該補間点距離を当該補間点距離の総計で割った値を重みとし、前記検査により検出されたモデル構成点の高さデータについて前記重みを付けて平均値を求め、該平均値である重み付き平均高さデータとモデル計測点の位置から前記補間対象点の位置データを求めてモデル構成点を設定する重み付き平均補間モデル構成点設定部を用いることを特徴とする。
【0013】
【発明の実施の形態】
(1)基本的な考え方
本発明の目的は、カメラで撮影可能な範囲に存在する対象物の三次元形状データを生成し、それにより物体の三次元形状モデルを作製することである。
先件提案では、図2に示すように、画像入力するためのカメラ1と、入力画像において対象物体を囲むモデル計測範囲に格子状に設定されたモデル計測点の三次元位置データをステレオ計測によって計測するモデル構成点生成器2と、モデル構成点の集合として三次元形状データを生成するモデル構成点三次元形状データ生成部3と、その三次元形状データを記憶するモデルメモリ4とを備える三次元形状モデル作製装置を提案した。
そのため、基準画面上で設定したモデル計測範囲に格子状に設定したモデル計測点についてステレオ計測により三次元位置データを計測し、三次元位置データを持つモデル構成点の集合である三次元形状データを生成し、物体の三次元形状モデルを構成することができた。
【0014】
なお、モデル計測範囲は対象物体の映った画面を見ながら作業者が対象物体のモデルとして必要な部分が入るように設定し、また、モデル計測点の設定に必要なモデル計測点の間隔は予めパラメータとして設定しておくこととする。
更に、本発明では、図2に示すように、横方向検査補間対象点検出部5及び平均補間モデル構成点設定部6とを追加したものである。
横方向検査補間対象点検出部5は、図1に示すように、モデル計測範囲中でモデル構成点が得られなかった点(これを、データ欠落点”と呼ぶ)について、その左右方向にモデル構成点があるかどうかを検査し、左右方向の両方にモデル構成点が存在する場合は、このデータ欠落点をデータ欠落部10内にある補間の必要な点(これを”補間対象点”と呼ぶ)20とするものである。
平均補間モデル構成点設定部6は、補間対象点20の高さデータを先に検出した左右のモデル構成点の高さデータの平均により求め、その高さデータとモデル計測点の位置から補間対象点20の三次元位置を計算してモデル構成点を設定する。
【0015】
従って、本発明では、図1に示すように、モデル構成点生成器2により三次元形状モデルを構成する物体の三次元形状データを生成した後、横方向検査補間対象点検出部5により、モデル計測範囲中でモデル構成点が得られなかったデータ欠落点について、その左右方向にモデル構成点があるかどうかを検査し、左右方向の両方にモデル構成点が存在する場合は、このデータ欠落点をデータ欠落部10内にある補間の必要な補間対象点20とし、平均補間モデル構成点設定部6により、補間対象点20の高さデータを先に検出した左右のモデル構成点の高さデータの平均により求め、その高さデータとモデル計測点の位置から補間対象点20の三次元位置を計算してモデル構成点を設定することで、データ欠落部10のない三次元形状データをモデル構成点三次元形状データ生成部3により生成し、三次元形状モデルを構成する。
この装置は、物体の三次元形状モデルをモデル構成点の集合で構成するため、対象物体が多面体のように角張っている場合はもちろん、円柱や球面のような滑らかな曲面から構成される場合でも、対象物の三次元形状データを生成でき、これにより三次元形状モデルを作製することができる。
【0016】
また、ステレオ計測によりモデル構成点を設定する際、モデル計測点を設定する基準画面では見えているが、その対応点を探索する参照画面では視差の関係で対象物体上の突起や斜面のために見えない部分が存在する場合があったり、また基準画面と参照画面両方で見えているが特徴のない滑らかな部分であるため対応点を見つけられない場合でも、データ欠落部10を補間するためデータ抜けのない対象物体の三次元形状データを生成できる。
更に、横方向検査補間対象点検出部5はデータ欠落点の検査方法として左右方向のモデル構成点の有無を調べる簡単な方法を用いており、また、平均補間モデル構成点設定部6はモデル構成点の位置データ計算に左右に見つかったモデル構成点の位置データの単純平均を基にする方法を用いるため、データ処理が簡単で高速な処理を実現できる。
【0017】
(2)その他の実施例
(2.1)横方向検査直線補間処理を加えた三次元形状モデル作製装置
この装置は、基本的な考え方で述べた装置の処理のうち、補間対象点20の位置データを先に検出した左右のモデル構成点の高さデータの平均を基に求める平均補間モデル構成点設定部6に代えて、図3に示すように、左右のモデル構成点を通る直線を計算し、その直線と補間対象点20のモデル計測点とレンズ焦点を通る直線との交点の三次元位置を補間対象点20の位置データとして計算する直線補間モデル構成点設定部16を使用することでモデル構成点を設定し、データ欠落部10のない三次元形状データを生成し、三次元形状モデルを構成する。
この装置は、物体の三次元形状モデルをモデル構成点の集合で構成するため、対象物体が多面体のように角張っている場合はもちろん、円柱や球面のような滑らかな曲面から構成される場合でも、対象物の三次元形状データを生成でき、これにより三次元形状モデルを作製することができる。
【0018】
また、ステレオ計測によりモデル構成点を設定する際、モデル計測点を設定する基準画面では見えているが、その対応点を探索する参照画面では視差の関係で対象物体上の突起や斜面のために見えない部分が存在する場合があったり、また基準画面と参照画面両方で見えているが特徴のない滑らかな部分であるため対応点を見つけられない場合でも、データ欠落部10を補間するためデータ抜けのない対象物体の三次元形状データを生成できる。
更に、補間対象点20の検査方法として左右方向のモデル構成点の有無を調べる簡単な方法を用いているため検査処理の構成が簡単で、直線補間モデル構成点設定部16はデータ欠落部10の補間に直線補間を用いるため補間した部分と元々モデル構成点が存在した部分との境目にギャップを生じない。
【0019】
(2.2)十字方向検査平均補間処理を加えた三次元形状モデル作製装置
この装置は、基本的な考え方で述べた装置の処理のうち、データ欠落点が補間対象点20であるかどうかを左右方向に検査する横方向検査補間対象点検出部5に代えて、図4に示すように、その左右方向にモデル構成点があるかどうかの検査に加えて、その上下方向にもモデル構成点があるかどうかを検査し、上下左右方向にモデル構成点が予め設定しておいた数以上存在する場合は、このデータ欠落点を補間対象点20とする十字方向検査補間対象点検出部15を図5に示すように用いる。
また、補間対象点20の位置データを計算する平均補間モデル構成点設定部6に代えて、上下左右方向の検査により検出されたモデル構成点の高さデータの平均値とモデル計測点の位置から補間対象点20の位置データを求めてモデル構成点を設定する平均補間モデル構成点設定部26を図5に示すように使用する。
この装置は、物体の三次元形状モデルをモデル構成点の集合で構成するため、対象物体が多面体のように角張っている場合はもちろん、円柱や球面のような滑らかな曲面から構成される場合でも、対象物の三次元形状データを生成でき、これにより三次元形状モデルを作製することができる。
【0020】
また、ステレオ計測によりモデル構成点を設定する際、モデル計測点を設定する基準画面では見えているが、その対応点を探索する参照画面では視差の関係で対象物体上の突起や斜面のために見えない部分が存在する場合があったり、また基準画面と参照画面両方で見えているが特徴のない滑らかな部分であるため対応点を見つけられない場合でも、データ欠落部10を補間するためデータ抜けのない対象物体の三次元形状データを生成できる。更に、十字方向検査補間対象点検出部15は、補間対象点20の検査方法として上下左右方向のモデル構成点の有無を調べる方法を用いており、左右方向にモデル構成点の存在する穴形状や縦方向切欠き形状のデータ欠落部10だけでなく横方向切欠き形状のデータ欠落部10にも対応できる。また、平均補間モデル構成点設定部26は、モデル構成点の位置データ計算に検出したモデル構成点の位置データの単純平均を基にする方法を用いるため、データ処理が簡単で高速な処理を実現できる。
【0021】
(2.3)十字方向検査直線補間処理を加えた三次元形状モデル作製装置
この装置は、(2.2)で述べた装置の処理のうち、補間対象点20の位置データを先に検出されたモデル構成点の高さデータの平均を基に求める平均補間モデル構成点設定部26に代えて、図6に示すように、上下もしくは左右のモデル構成点の組が見つかった方についてモデル構成点の組を通る直線を計算し(上下及び左右両方についてモデル構成点の組が見つかった場合は予め優先度を設定しておいた方の組について直線を計算し、もしくは、全ての組について直線を計算し)、その直線と補間対象点20のモデル計測点とレンズ焦点を通る直線との交点の三次元位置を補間対象点20の位置データとして計算する(全ての組について直線を計算した場合は各直線から計算される交点の三次元位置の平均を補間対象点20の位置データとして計算する)直線補間モデル構成点設定部36を使用することでモデル構成点を設定し、データ欠落部10のない三次元形状データを生成し、三次元形状モデルを構成する。この装置は、物体の三次元形状モデルをモデル構成点の集合で構成するため、対象物体が多面体のように角張っている場合はもちろん、円柱や球面のような滑らかな曲面から構成される場合でも、対象物の三次元形状データを生成でき、これにより三次元形状モデルを作製することができる。
【0022】
また、ステレオ計測によりモデル構成点を設定する際、モデル計測点を設定する基準画面では見えているが、その対応点を探索する参照画面では視差の関係で対象物体上の突起や斜面のために見えない部分が存在する場合があったり、また基準画面と参照画面両方で見えているが特徴のない滑らかな部分であるため対応点を見つけられない場合でも、データ欠落部10を補間するためデータ抜けのない対象物体の三次元形状データを生成できる。
更に、十字方向検査補間対象点検出部15は、補間対象点20の検査方法として上下左右方向のモデル構成点の有無を調べる方法を用いており、左右方向にモデル構成点の存在する穴形状や縦方向切欠き形状のデータ欠落部10だけでなく横方向切欠き形状のデータ欠落部10にも対応できる。
また、直線補間モデル構成点設定部36は、データ欠落部10の補間に直線補間を用いるため補間した部分と元々モデル構成点が存在した部分との境目にギャップを生じない。
【0023】
(2.4)十字方向検査距離重み付き平均補間処理を加えた三次元形状モデル作製装置
この装置は、(2.2)で述べた装置の処理のうち、補間対象点20の位置データを先に検出されたモデル構成点の高さデータの平均を基に求める平均補間モデル構成点設定部26に代えて、図7に示すように、画面上における補間対象点20の位置から検出したモデル構成点までの距離(これを”補間点距離”と呼ぶ)を計算し、その補間点距離を補間点距離の総計で割った値を重みとし、検出されたモデル構成点の高さデータについて先に計算した重みを付けて平均値を求め、その重み付き平均高さデータとモデル計測点の位置から補間対象点20の位置データを求めてモデル構成点を設定する重み付き平均補間モデル構成点設定部46を使用し、データ欠落部10のない三次元形状データを生成し、三次元形状モデルを構成する。
この装置は、物体の三次元形状モデルをモデル構成点の集合で構成するため、対象物体が多面体のように角張っている場合はもちろん、円柱や球面のような滑らかな曲面から構成される場合でも、対象物の三次元形状データを生成でき、これにより三次元形状モデルを作製することができる。
【0024】
また、ステレオ計測によりモデル構成点を設定する際、モデル計測点を設定する基準画面では見えているが、その対応点を探索する参照画面では視差の関係で対象物体上の突起や斜面のために見えない部分が存在する場合があったり、また基準画面と参照画面両方で見えているが特徴のない滑らかな部分であるため対応点を見つけられない場合でも、データ欠落部10を補間するためデータ抜けのない対象物体の三次元形状データを生成できる。
更に、十字方向検査補間対象点検出部15は、補間対象点20の検査方法として上下左右方向のモデル構成点の有無を調べる方法を用いており、左右方向にモデル構成点の存在する穴形状や縦方向切欠き形状のデータ欠落部10だけでなく横方向切欠き形状のデータ欠落部10にも対応できる。
また、重み付き平均補間モデル構成点設定部46は、データ欠落部10の補間に距離重み付き平均補間を用いるため補間対象点20により近い位置のモデル構成点の位置データが補間したモデル構成点の位置データに大きく影響し、結果的にデータ欠落部10全体を元々の、モデル形状データと滑らかに接続することができる。
【0025】
(2.5)8方向検査平均補間処理を加えた三次元形状モデル作製装置
この装置は、基本的な考え方で述べた装置の処理のうち、データ欠落点が補間対象点20であるかどうかを左右方向に検査する横方向検査補間対象点検出部5に代えて、その左右方向にモデル構成点があるかどうかの検査に加えて、図8に示すように、その上下方向及び斜め方向にもモデル構成点があるかどうかを検査し、上下左右斜めの8方向に、モデル構成点が予め設定しておいた数以上存在する場合は、このデータ欠落点を補間対象点20とする8方向検査補間対象点検出部25を図9に示すように用いる。また、補間対象点20の位置データの計算においては、8方向の検査により検出されたモデル構成点の高さデータの平均値とモデル計測点の位置から補間対象点20の位置データを求めてモデル構成点を設定する平均補間モデル構成点設定部56を図9に示すように使用する。この装置は、物体の三次元形状モデルをモデル構成点の集合で構成するため、対象物体が多面体のように角張っている場合はもちろん、円柱や球面のような滑らかな曲面から構成される場合でも、対象物の三次元形状データを生成でき、これにより三次元形状モデルを作製することができる。
【0026】
また、ステレオ計測によりモデル構成点を設定する際、モデル計測点を設定する基準画面では見えているが、その対応点を探索する参照画面では視差の関係で対象物体上の突起や斜面のために見えない部分が存在する場合があったり、また基準画面と参照画面両方で見えているが特徴のない滑らかな部分であるため対応点を見つけられない場合でも、データ欠落部10を補間するためデータ抜けのない対象物体の三次元形状データを生成できる。
更に、補間対象点20の検査方法として上下左右斜めの8方向のモデル構成点の有無を調べる方法を用いており、左右方向にモデル構成点の存在する穴形状や縦方向欠き形状のデータ欠落部10だけでなく横方向切欠き形状のデータ欠落部10にも劫応でき、切欠き欠落部の開口部が斜めになっていても開口部出口付近までを補間対象点20とすることができる。
また、8方向検査補間対象点検出部25は、補間対象点20を検査するための8方向のモデル構成点の存在数を調整することによって、8方向全てにモデル構成点が存在するような穴形状のデータ欠落点のみを補間対象としたり、8方向のうち3方向程度にモデル構成点が見つかれば良いといった浅い切欠き形状のデータ欠落点をも対象とするといった、補間対象とするデータ欠落部10の度合いを設定することができる。
また、平均補間モデル構成点設定部57は、モデル構成点の位置データ計算に検出したモデル構成点の位置データの単純平均を基にする方法を用いるため、データ処理が簡単で高速な処理を実現できる。
【0027】
(2.6)8方向検査直線補間処理を加えた三次元形状モデル作製装置
この装置は、(2.5)で述べた装置の処理のうち、補間対象点20の位置データを先に検出されたモデル構成点の高さデータの平均を基に求める平均補間モデル構成点設定部57に代えて、補間対象点20の対角のモデル構成点の組が見つかったモデル構成点の組を通る直線を計算し(複数のモデル構成点の組が見つかった場合は予め優先度を設定しておいた方の組について直線を計算し、もしくは、全ての組について直線を計算し)、その直線と補間対象点20のモデル計測点とレンズ焦点を通る直線との交点の三次元位置を補間対象点20の位置データとして計算する(全ての組について直線を計算した場合は各直線から計算される交点の三次元位置の平均を補間対象点20の位置データとして計算する)ことでモデル構成点を設定する直線補間構成点設定部66を図10のように使用し、データ欠落部10のない三次元形状データを生成し、三次元形状モデルを構成する。この装置は、物体の三次元形状モデルをモデル構成点の集合で構成するため、対象物体が多面体のように角張っている場合はもちろん、円柱や球面のような滑らかな曲面から構成される場合でも、対象物の三次元形状データを生成でき、これにより三次元形状モデルを作製することができる。
【0028】
また、ステレオ計測によりモデル構成点を設定する際、モデル計測点を設定する基準画面では見えているが、その対応点を探索する参照画面では視差の関係で対象物体上の突起や斜面のために見えない部分が存在する場合があったり、また基準画面と参照画面両方で見えているが特徴のない滑らかな部分であるため対応点を見つけられない場合でも、データ欠落部10を補間するためデータ抜けのない対象物体の三次元形状データを生成である。
更に、補間対象点20の検査方法として上下左右斜めの8方向のモデル構成点の有無を調べる方法を用いており、左右方向にモデル構成点の存在する穴形状や撮方向切欠き形状のデータ欠落部10だけでなく横方向切欠き形状のデータ欠落部10にも対応でき、切欠き欠落部の開口部が斜めになっていても開口部出口付近までを補間対象点20とすることができる。
また、8方向検査補間対象点検出部25は、補間対象点20を検査するための8方向のモデル構成点の存在数を調整することによって、8方向全てにモデル構成点が存存するような穴形状のデータ欠落点のみを補間対象としたり、8方向のうち3方向程度にモデル構成点が見つかれば良いといった浅い切欠き形状のデータ欠落点おも対象とするといった、補間対象となるデータ欠落部10の度合いを設定することができる。
また、直線補間構成点設定部67は、データ欠落部10の補間に直線補間を用いるため補間した部分と元々モデル構成点が存在した部分との境目にギャップを生じない。
【0029】
(2.7)8方向検査重み付き平均補間処理を加えた三次元形状モデル作製装置
この装置は、(2.5)で述べた装置の処理のうち、補間対象点20の位置データを先に検出されたモデル構成点の高さデータの平均を基に求める平均補間モデル構成点設定部57に代えて、図11に示すように、補間対象点20と検出したモデル構成点から補間点距離を計算し、その補間点距離を補間点距離の総計で割った値を重みとし、検出されたモデル構成点の高さデータについて先に計算した重みを付けて平均値を求め、その重み付き平均高さデータとモデル計測点の位置から補間対象点20の位置データを求めてモデル構成点を設定する重み付き平均補間モデル構成点設定部77を使用し、データ欠落部10のない三次元形状データを生成し、三次元形状モデルを構成する。
この装置は、物体の三次元形状モデルをモデル構成点の集合で構成するため、対象物体が多面体のように角張っている場合はもちろん、円柱や球面のような滑らかな曲面から構成される場合でも、対象物の三次元形状データを生成でき、これにより三次元形状モデルを作製することができる。
【0030】
また、ステレオ計測によりモデル構成点を設定する際、モデル計測点を設定する基準画面では見えているが、その対応点を探索する参照画面では視差の関係で対象物体上の突起や斜面のために見えない部分が存在する場合があつたり、また基準画面と参照画面両方で見えているが特徴のない滑らかな部分であるため対応点を見つけられない場合でも、データ欠落部10を補間するためデータ抜けのない対象物体の三次元形状データを生成できる。
更に、補間対象点20の検査方法として上下左右斜めの8方向のモデル構成点の有無を調べる方法を用いており、左右方向にモデル構成点の存在する穴形状や縦方向切欠き形状のデータ欠落部10だけでなく横方両切欠き形状のデータ欠落部10にも対応でき、切欠き欠落部の開口部が斜めになっていても開口部出口付近までを補間対象点20とすることができる。
【0031】
また、補間対象点20を検査するための8方向のモデル構成点の存在数を調整することによって、8方向全てにモデル構成点が存在するような穴形状のデータ欠落点のみを補間対象としたり、8方向のうち3方向程度にモデル構成点が見つかれば良いといった浅い切欠き形状のデータ欠落点をも対象とするといった、補間対象となるデータ欠落部10の度合いを設定することができる。
また、8方向検査補間対象点検出部25は、重み付き平均補間モデル構成点設定部77は、データ欠落部10の補間に距離重み付き平均補間を用いるため補間対象点20により近い位置のモデル構成点の位置データが補間したモデル構成点の位置データに大きく影響し、結果的にデータ欠落部10全体を元々のモデル形状データと滑らかに接続することができる。
【0032】
【発明の効果】
本発明は物体の三次元形状モデルを作製する処理に関するものである。
(1)データの入力手段としてカメラによる入力画像を用いているため、対象物体がどのような大きさのものであっても、カメラで撮影可能な範囲内に存在する物体であれば、例えば、建造物、もしくは山肌、崖といった自然の地形のような工業部品以外の対象であっても、物体の三次元形状モデルを作製することができる。
(2)データの入力手段としてカメラによる入力画像を用いているため、対象物に触ることなく非接触で物体の三次元形状モデルを作製することができる。
(3)三次元形状データを構成するデータとして、三次元位置データを持つモデル構成点の集合を用いるため、円柱や球面のような滑らかな曲面を持つ物体に対しても三次元形状モデルを作製することができる。
(4)対象物体上に関してモデル構成点を格子状にまんべんなく設定するため、対象物上に異物が存在する場合は、それを容易に検知できる。
(5)ステレオ計測によりモデル構成点を設定する際、モデル計測点を設定する基準画面では見えているが、その対応点を探索する参照画面では視差の関係で対象物体上の突起や斜面により見えない部分が存在するために、対象物体上の三次元形状データに大きなデータ欠落部が出来た場合でも、データ欠落部のモデル構成点を補間により設定することで、データ欠落部の無い三次元形状データを生成することができる。
(6)ステレオ計測によりモデル構成点を設定する際、基準画面と参照画面両方で見えているが特徴のない滑らかな部分であるため対応点を見つけられないことにより、対象物体上の三次元形状データに大きなデータ欠落部が出来た場合でも、データ欠落部のモデル構成点を補間により設定することで、データ欠落部の無い三次元形状データを生成することができる。
(7)データ欠落部の無い三次元形状データを生成することができるため、カメラから見えている対象物体上の全ての点の三次元位置データを持つ三次元形状モデルを得ることができる。
【図面の簡単な説明】
【図1】横方向検査による補間対象点の検出の例を示す説明図である。
【図2】本発明による三次元形状モデル作製装置の例を示す説明図である。
【図3】本発明による横方向検査直線補間処理を加えた三次元形状モデル作製装置の例を示す説明図である。
【図4】十字方向検査による補間対象点の検出の例を示す説明図である。
【図5】本発明による十字方向検査平均補間処理を加えた三次元形状モデル作製装置の例を示す説明図である。
【図6】本発明による十字方向検査直線補間処理を加えた三次元形状モデル作製装置の例を示す説明図である。
【図7】本発明による十字方向検査重み付き平均補間処理を加えた三次元形状モデル作製装置の例を示す説明図である。
【図8】8方向検査による補間対象点の検出の例を示す説明図である。
【図9】本発明による8方向検査平均補間処理を加えた三次元形状モデル作製装置の例を示す説明図である。
【図10】本発明による8方向検査直線補間処理を加えた三次元形状モデル作製装置の例を示す説明図である。
【図11】本発明による8方向検査重み付き平均補間処理を加えた三次元形状モデル作製装置の例を示す説明図である。
【符号の説明】
1 カメラ
2 モデル構成点生成器
3 モデル構成点三次元形状データ生成部
4 モデルメモリ
5 横方向検査補間対象点検出部
25 十字方向検査補間対象点検出部
35 8方向検査補間対象点検出部
6,26,56 平均補間モデル構成点設定部
16,36,66 直線補間モデル構成点設定部
46,76 重み付き平均補間モデル構成点設定部
10 データ欠落点
20 補間対象点
Claims (6)
- 入力画像において画面上で対象物体を囲むモデル計測範囲に予め格子状に設定されたモデル計測点の三次元位置データをステレオ計測によって計測することで物体上のモデル構成点を生成するモデル構成点生成器と、
前記モデル構成点の集合として三次元形状データを生成するモデル構成点三次元形状データ生成部と、
前記モデル計測範囲中で前記モデル構成点が得られなかった点であるデータ欠落点について、該データ欠落点の左右方向にモデル構成点があるかどうかを検査し、左右方向の両方にモデル構成点が検出された場合は、前記データ欠落点をデータ欠落部内にある補間の必要な点である補間対象点とする横方向検査補間対象点検出部と、
前記補間対象点の高さデータを前記検査により検出した左右のモデル構成点の高さデータの平均により求め、該高さデータとモデル計測点の位置から前記補間対象点の三次元位置を計算してモデル構成点を設定する平均補間モデル構成点設定部とからなり、
データ欠落部のない三次元形状データを生成し、三次元形状モデルを構成することを特徴とする物体の三次元形状モデル作製装置。 - 請求項1記載の前記平均補間モデル構成点設定部に代えて、前記検査により検出した左右のモデル構成点を通る直線を計算し、該直線と前記補間対象点のモデル計測点とレンズ焦点を通る直線との交点の三次元位置を前記補間対象点の位置データとして計算する直線補間モデル構成点設定部を用いることを特徴とする物体の三次元形状モデル作製装置。
- 請求項1記載の前記横方向検査補間対象点検出部に代えて、前記モデル計測範囲中で前記モデル構成点が得られなかった点であるデータ欠落点について、前記データ欠落点の左右方向にモデル構成点があるかどうかの検査に加えて、前記データ欠落点の上下方向にもモデル構成点があるかどうかを検査し、上下左右方向にモデル構成点が予め設定しておいた数以上検出された場合は、前記データ欠落点を前記補間対象点とする十字方向検査補間対象点検出部を用い、また、請求項1記載の前記平均補間モデル構成点設定部に代えて、上記検査により検出されたモデル構成点の高さデータの平均値とモデル計測点の位置から前記補間対象点の位置データを求めてモデル構成点を設定する平均補間モデル構成点設定部を用いることを特徴とする物体の三次元形状モデル作製装置。
- 請求項3記載の前記平均補間モデル構成点設定部に代えて、前記補間対象点と前記検査により検出したモデル構成点から補間点距離を計算し、該補間点距離を当該補間点距離の総計で割った値を重みとし、前記検査により検出されたモデル構成点の高さデータについて前記重みを付けて平均値を求め、該平均値である重み付き平均高さデータとモデル計測点の位置から前記補間対象点の位置データを求めてモデル構成点を設定する重み付き平均補間モデル構成点設定部を用いることを特徴とする物体の三次元形状モデル作製装置。
- 請求項1記載の前記横方向検査補間対象点検出部に代えて、前記モデル計測範囲中で前記モデル構成点が得られなかった点であるデータ欠落点について、前記データ欠落点の左右方向にモデル構成点があるかどうかの検査に加えて、前記データ欠落点の上下方向及び斜め方向にもモデル構成点があるかどうかを検査し、上下左右斜めの8方向にモデル構成点が予め設定しておいた数以上検出された場合は、前記データ欠落点を前記補間対象点とする8方向検査補間対象点検出部を用い、また、請求項1記載の前記平均補間モデル構成点設定部に代えて、上記検査により検出されたモデル構成点の高さデータの平均値とモデル計測点の位置から前記補間対象点の位置データを求めてモデル構成点を設定する平均補間モデル構成点設定部を用いることを特徴とする物体の三次元形状モデル作製装置。
- 請求項5記載の前記平均補間モデル構成点設定部に代えて、前記補間対象点と前記検査により検出したモデル構成点から補間点距離を計算し、該補間点距離を当該補間点距離の総計で割った値を重みとし、前記検査により検出されたモデル構成点の高さデータについて前記重みを付けて平均値を求め、該平均値である重み付き平均高さデータとモデル計測点の位置から前記補間対象点の位置データを求めてモデル構成点を設定する重み付き平均補間モデル構成点設定部を用いることを特徴とする物体の三次元形状モデル作製装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000040858A JP4253985B2 (ja) | 2000-02-18 | 2000-02-18 | 物体の三次元形状モデル作製装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000040858A JP4253985B2 (ja) | 2000-02-18 | 2000-02-18 | 物体の三次元形状モデル作製装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008277736A Division JP4715903B2 (ja) | 2008-10-29 | 2008-10-29 | 物体の三次元形状モデル作製装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001227926A JP2001227926A (ja) | 2001-08-24 |
JP4253985B2 true JP4253985B2 (ja) | 2009-04-15 |
Family
ID=18564177
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000040858A Expired - Fee Related JP4253985B2 (ja) | 2000-02-18 | 2000-02-18 | 物体の三次元形状モデル作製装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4253985B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7120181B2 (ja) * | 2019-08-22 | 2022-08-17 | トヨタ自動車株式会社 | 物体認識装置 |
-
2000
- 2000-02-18 JP JP2000040858A patent/JP4253985B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001227926A (ja) | 2001-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101155816B1 (ko) | 3차원 계측을 행하는 화상 처리 장치 및 화상 처리 방법 | |
TWI607412B (zh) | 多維度尺寸量測系統及其方法 | |
KR101601331B1 (ko) | 물체의 모양을 삼차원 측정하기 위한 시스템 및 방법 | |
US9984177B2 (en) | Modeling device, three-dimensional model generation device, modeling method, program and layout simulator | |
US8442306B2 (en) | Volume-based coverage analysis for sensor placement in 3D environments | |
US9418291B2 (en) | Information processing apparatus, information processing method, and computer-readable storage medium | |
Chang et al. | Three-dimensional structural translation and rotation measurement using monocular videogrammetry | |
JP2008537190A (ja) | 赤外線パターンを照射することによる対象物の三次元像の生成 | |
JP2008267836A (ja) | 溶接部の表面欠陥形状検出方法及びコンピュータプログラム | |
Vilaça et al. | Non-contact 3D acquisition system based on stereo vision and laser triangulation | |
CN112308963A (zh) | 一种无感三维人脸重建方法及采集重建系统 | |
JP4048779B2 (ja) | 距離画像処理装置 | |
CN112967312B (zh) | 一种面向野外刚体目标的实时鲁棒位移监测方法及系统 | |
JP6035031B2 (ja) | 複数の格子を用いた三次元形状計測装置 | |
CN106123864B (zh) | 基于成像原理及数据回归模型的图像测距方法 | |
JP4253985B2 (ja) | 物体の三次元形状モデル作製装置 | |
US10373373B2 (en) | Systems and methods for reducing the stimulation time of physics based garment simulations | |
KR101538014B1 (ko) | 3d 모델링을 통해 사진 이미지로부터 입체영상을 생성하는 방법 | |
JP4715903B2 (ja) | 物体の三次元形状モデル作製装置 | |
JP6720358B2 (ja) | 3dスキャンシステム | |
CN110136077A (zh) | 一种基于投影的多视角点云融合方法 | |
Maimone et al. | A taxonomy for stereo computer vision experiments | |
KR100379948B1 (ko) | 3차원 형상 측정방법 | |
JPH0478924B2 (ja) | ||
Wang et al. | Active stereo method for three-dimensional shape measurement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051209 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080219 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080527 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080724 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080930 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081029 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20081204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090106 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090119 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120206 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4253985 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130206 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140206 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |