JP4122663B2 - 物体の三次元形状モデル作製装置 - Google Patents
物体の三次元形状モデル作製装置 Download PDFInfo
- Publication number
- JP4122663B2 JP4122663B2 JP32386599A JP32386599A JP4122663B2 JP 4122663 B2 JP4122663 B2 JP 4122663B2 JP 32386599 A JP32386599 A JP 32386599A JP 32386599 A JP32386599 A JP 32386599A JP 4122663 B2 JP4122663 B2 JP 4122663B2
- Authority
- JP
- Japan
- Prior art keywords
- model
- measurement
- range
- point
- correlation value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、物体の三次元形状モデル作製装置に関する。詳しくは、カメラによって得られた画像データを使用して、カメラで撮影可能な範囲に存在する工業部品等の対象物体の三次元形状データを生成し、それにより物体認識処理等に用いる物体の三次元形状モデルを作製する装置に関するものである。
【０００２】
【背景技術】
本発明者は、既に三次元形状モデルを作製する方法として、幾つかの提案を行っている。
その一つとして、入力画像から物体の外形、凹凸、模様等を輪郭線、直線特徴、円弧特徴として抽出し、作業者が部品の形状モデルを構成するために必要な特徴を抽出特徴から選択し、選択した特徴に関してステレオ視による三角測量（これを”ステレオ計測”と呼ぶ）によって各特徴の三次元位置データを求めることで、対象物体の三次元形状モデルを作製する装置を提案した（特願平７−２３２２２５号、これを先件提案１という）。
【０００３】
ここで、ステレオ計測により三次元位置データを計測する方法としては、２台のカメラから入力した画像のうち一方の画像上で三次元計測する点（これを”計測点”と呼ぶ）を指定し、計測点近傍の小領域の画像データ（これを”パッチ”と呼ぶ）を切り出し、もう一方の入力画像においてパッチと同じパターンを持つ画像の小領域の位置（これを”対応点”と呼ぶ）を、濃淡パターンの相関値から検出する領域相関法を提案した（特願平１０−３４８３１５号、特願平１１−３０８４８２号、特願平１１−３２２２３２号、これらを先件提案２という）。
【０００４】
また、対応点を探索する範囲は、２台のカメラの位置関係から導かれる対応点が存在可能な直線上（この直線を”エピポーラライン”と呼ぶ）に限定し、その直線の長さを三次元計測の対象とする実際の範囲（これを”探索範囲”と呼ぶ）によって設定した（このようにして設定したエピポーラライン上の対応点の探索範囲を”対応点探索範囲”と呼ぶ）。
【０００５】
【発明が解決しようとする課題】
上述した先件提案１では、物体の外形、凹凸、模様等から輪郭線、直線、角、閉曲線、円といった特徴を抽出し、上述した先件提案２に係るステレオ計測によってそれら特徴の三次元位置データを計測し、こうして得られた三次元位置データを持つ特徴データの集合として物体の三次元形状モデルを構成した。
このため、システムは三次元形状モデルを構成する特徴データを持っていれば良く、モデルを現すために必要なデータ量を非常に小さくする事ができ、またモデルのデータ量が小さいため座標変換等の計算に必要な処理時間が少なく、物体認識に用いる際は高速な処理が可能となる。
【０００６】
ところが、円柱や球面のような滑らかな曲面を持つ物体に対しては、表面に模様がない場合はその表面上の特徴が抽出されないため、先件提案１のような特徴を基礎としたモデルを構成出来ない。
また、特徴のみで構成したモデルでは、特徴と特徴との間にデータが存在しないため、例えば、その部分に何か異物が存在した場合等は、それを検知することは難しい。
【０００７】
そこで、本発明者は、画面上で設定した長方形範囲内（これを”モデル計測範囲”と呼ぶ）に格子状に設定した点（これを”モデル計測点”と呼ぶ）についてステレオ計測により三次元位置データを計測し、三次元位置データを持つ点データ（これを”モデル構成点”と呼ぶ）の集合として物体の三次元形状データを生成し、対象物体の三次元形状モデルを作製する装置を提案した（これを先件提案３と言う）。
この先件提案３では、画面上で設定したモデル計測範囲に格子状に設定したモデル計測点について、上述した先件提案２に係るステレオ計測により三次元位置データを計測して物体上のモデル構成点を生成し、物体の三次元形状モデルをモデル構成点の集合として構成することにより、先件提案１の問題点を補うことができる。
【０００８】
しかしながら、モデル計測範囲を画面上で長方形範囲として設定しているため、背景に対象物体以外の物体（これを”対象外物体”と呼ぶ）が見えている場合は、対象外物体の一部がモデル計測範囲に入り、対象外物体上に設定されたモデル計測点に対しても先件提案２に係るステレオ計測により位置計測を行った場合、対象物体と対象外物体の表面状態が似通っていたり、周りにパッチと模様の似通った物体が存在する場合は、対応点間違いによって探索範囲内に間違った対応点が得られる場合があり、このような状態では本来なら存在しないモデル構成点が生成されてしまい、結果的に間違った三次元形状データが生成される場合がある。
【０００９】
本発明の目的は、カメラで撮影可能な範囲に存在する対象物の三次元形状データを生成し、それにより物体の三次元形状モデルを作製することである。
【００１０】
【課題を解決するための手段】
上記課題を解決する本発明の請求項１に係る物体の三次元形状モデル作製装置は、入力画像において画面上で対象物体を囲むモデル計測範囲を設定し、前記モデル計測範囲において予め設定しておいた間隔でモデル計測点を格子状に設定し、前記対象物体が存在する探索範囲における前記モデル計測点に対して対応点探索を行うに先立って、先ず前記探索範囲の最も遠い位置から無限遠点までの範囲における遠方対応点探索を行い、これにより得られた遠方相関値が予め設定しておいた値よりも大きければここで位置計測を打ち切り、遠方相関値が設定値以下であれば探索範囲に対してモデル計測点の三次元位置をステレオ計測により計測し、三次元位置データが得られた場合は物体上のモデル構成点を生成し、前記モデル構成点の集合として三次元形状データを生成し、生成した三次元形状データに対してメディアンフィルタによる平滑化処理を行い、平滑化した三次元形状データから物体の三次元形状モデルを作製することを特徴とする。
【００１１】
上記課題を解決する本発明の請求項２に係る物体の三次元形状モデル作製装置は、入力画像において画面上で対象物体を囲むモデル計測範囲を設定し、前記モデル計測範囲において予め設定しておいた間隔でモデル計測点を格子状に設定し、前記対象物体が存在する探索範囲における前記モデル計測点に対して対応点探索を行うに先立って、先ず前記探索範囲の最も遠い位置から無限遠点までの範囲における遠方対応点探索を行って遠方相関値を求める一方、前記モデル計測点に対してステレオ計測を行って三次元位置データを求めると共にこの時の対応点の相関値である範囲内相関値を覚えておき、範囲内相関値と遠方相関値を比較して、範囲内相関値が遠方相関値以上の場合は、前記三次元位置データからモデル構成点を生成し、前記モデル構成点の集合として三次元形状データを生成し、生成した三次元形状データに対してメディアンフィルタによる平滑化処理を行い、平滑化した三次元形状データから物体の三次元形状モデルを作製することを特徴とする。
【００１２】
【発明の実施の形態】
（１）基本的な考え方
先件提案３において、ステレオ計測について先件提案２に係る方法により位置計測を行いモデル構成点を生成する場合には、対象外物体上に設定したモデル計測点についても対象物体が存在する探索範囲とカメラの位置関係から設定した対応点探索範囲について対応点探索を行うこととなる。
【００１３】
本発明では、対象物体の位置よりも対象外物体の位置がカメラから見て通常遠い位置にあることに注目し、三次元位置データの計測において先件提案２に係るステレオ計測を用いる代わりに、先ず対応点探索において探索範囲の最も遠い位置から無限遠点までの範囲（これを”遠方探索範囲”と呼ぶ）に関するエピポーラライン上の対応点探索範囲（これを”対応点遠方探索範囲”と呼ぶ）について対応点探索を行い（この対応点遠方探索範囲に対して対応点探索を行い対応点を求める一連の処理を”遠方対応点探索”と呼ぶ）、ここで得られた対応点に関する相関値（これを”遠方相関値”と呼ぶ）が予め設定しておいた値よりも大きければここで位置計測を打ち切り、遠方相関値が設定値以下であれば、探索範囲に対して先件提案２に係るステレオ計測により位置計測を行う方式よって三次元位置計測を行い、モデル構成点を生成する。この時もし三次元位置データが得られない場合は、モデル構成点を生成しない。
【００１４】
そのため、本実施例に係る三次元形状モデル作製装置は、図１に示すように、画像入力するためのカメラ１と、一定の条件が満たされるモデル計測点の三次元位置データをステレオ計測によって計測するモデル構成点生成器２と、モデル構成点の集合として三次元形状データを生成するモデル構成点三次元形状データ生成部３と、その三次元形状データを記憶するモデルメモリ４とを備えるものである。
【００１５】
ここで、モデル構成点生成器２は、図２に示すように、入力画像において画面上で対象物体を囲むモデル計測範囲を設定し、このモデル計測範囲において予め設定しておいた間隔でモデル計測点を格子状に設定する計測点設定部２１と、このモデル計測点に対して遠方対応点探索を行う遠方対応点探索部２２と、これにより得られた遠方相関値が予め設定しておいた値よりも大きければここで位置計測を打ち切る相関値検査部２３と、遠方相関値が設定値以下であれば探索範囲に対してモデル計測点の三次元位置をステレオ計測により計測するステレオ計測部２４と、三次元位置データが得られた場合は物体上のモデル構成点を生成するモデル構成点生成部２５とを備えるものである。
【００１６】
従って、図３に示すように、入力画像において画面上で対象物体を囲むモデル計測範囲を設定し、このモデル計測範囲において予め設定しておいた間隔でモデル計測点を格子状に設定し（ステップＳ１）、モデル計測点に対して遠方対応点探索を行い（ステップＳ２）、これにより得られた遠方相関値が予め設定しておいた値よりも大きければここで位置計測を打ち切り（ステップＳ３）、遠方相関値が設定値以下であれば探索範囲に対してモデル計測点の三次元位置をステレオ計測により計測し（ステップＳ４）、三次元位置データが得られた場合は物体上のモデル構成点を生成する（ステップＳ５）。
【００１７】
この装置によれば、先件提案３の装置と同様、物体の三次元形状モデルをモデル構成点の集合で構成するため、対象物体が多面体のように角張っている場合はもちろん、円柱や球面のような滑らかな曲面から構成される場合でも、対象物の三次元形状データを生成でき、これにより三次元形状モデルを作製することができる。
また、データの入力手段としてカメラによる入力画像を用いているため、対象物体がどのような大きさのものであっても、カメラで撮影可能な範囲内に存在する物体であれば、例えば建造物、もしくは山肌、崖といった自然の地形のような工業部品以外の対象であっても、物体の三次元形状モデルを作製することができる。
【００１８】
さらに、三次元位置計測の遠方対応点探索において、相関値の高い対応点が得られた場合はモデル構成点を生成しないため、対象物体の背景に存在する対象外物体上に設定されたモデル計測点からモデル構成点を生成せず、間違った三次元形状データの生成を防ぐことができる。
ここで、モデル構成点生成器２が生成した三次元形状データに対し、メディアンフィルタ（参考「画像解析ハンドブック」高木幹雄，下田陽久監修，東京大学出版会，ｐｐ５３９−５４０，１９９１）によりデータの平滑化処理を行う機能をモデル構成点三次元形状データ生成部３に加え、平滑化したモデル構成点により対象物の三次元形状データを生成することで、ステレオ計測処理による対応点間違いを排除した三次元形状モデルを作製することもできる。
【００１９】
尚、上述したモデル構成点生成器２及びモデル構成点三次元形状データ生成部３の各機能を実現するためのソフトウェアをフロッピーディスク、ＣＤ−ＲＯＭ等の媒体に記憶し、その媒体をコンピュータに読み込んで上記装置を実現するようにしても良い。
【００２０】
（２）その他の実施例
（２．１）部品形状モデル作製装置
この装置では、基本的な考え方で述べた装置のモデル計測点の三次元位置データを計測する部分において、遠方対応点探索を行って遠方相関値を求めておき、これとは別に先件提案２に係るステレオ計測を行って三次元位置データを求めると共にこの時の対応点の相関値（これを”範囲内相関値”と呼ぶ）を覚えておき、範囲内相関値と遠方相関値を比較して、範囲内相関値が遠方相関値以上の場合は、先に求めておいたステレオ計測の結果を三次元位置データとする三次元位置計測方式を用いる。この時もし三次元位置データが得られない場合は、モデル構成点を生成しない。
【００２１】
この装置におけるモデル構成点生成器は、図４に示すように、入力画像において画面上で対象物体を囲むモデル計測範囲を設定し、このモデル計測範囲において予め設定しておいた間隔でモデル計測点を格子状に設定する計測点設定部２１と、モデル計測点に対して遠方対応点探索を行う遠方対応点探索部２２と、前記モデル計測点の三次元位置データをステレオ計測により求めると共にこの時の対応点の相関値である範囲内相関値を求めるステレオ計測部２６と、範囲内相関値と遠方相関値を比較する相関値比較部２７と、範囲内相関値が遠方相関値以上の場合は、先に求めておいたステレオ計測の結果を三次元位置データとするモデル構成点生成部２８とを備えるものである。
【００２２】
従って、図５に示すように、入力画像において画面上で対象物体を囲むモデル計測範囲を設定し、このモデル計測範囲において予め設定しておいた間隔でモデル計測点を格子状に設定し（ステップＴ１）、モデル計測点に対して遠方対応点探索を行い（ステップＴ２）、前記モデル計測点の三次元位置データをステレオ計測により求めると共にこの時の対応点の相関値である範囲内相関値を覚えておき（ステップＴ３）、範囲内相関値と遠方相関値を比較し（ステップＴ４）、範囲内相関値が遠方相関値以上の場合は、先に求めておいたステレオ計測の結果を三次元位置データとする（ステップＴ５）。
【００２３】
この装置によれば、基本的な考え方の装置の効果に加え、対象物体と対象外物体の表面状態が似通っており、対象物体上に設定されたモデル計測点に対する相関値が対象外物体上においても高い値で得られるような場合でも、範囲内相関値と遠方相関値の比較により三次元位置データの有無を判断するため、対象物体上のモデル構成点を生成でき、三次元形状データの欠落を抑えることができる。
【００２４】
ここで、モデル構成点生成器により生成した三次元形状データに対して、メディアンフィルタによりデータの平滑化処理を行う機能をモデル構成点三次元形状データ生成部に加え、平滑化したモデル構成点により対象物の三次元形状データを生成することで、ステレオ計測処理による対応点間違いを排除した三次元形状モデルを作製することもできる。
【００２５】
【発明の効果】
以上、詳細に説明したように、本発明によれば以下の効果を奏する。
（１）データの入力手段としてカメラによる入力画像を用いているため、対象物体がどのような大きさのものであっても、カメラで撮影可能な幅囲内に存在する物体であれば、例えば建造物、もしくは山肌、崖といった自然の地形のような工業部品以外の対象であっても、物体の三次元形状モデルを作製することができる。
（２）データの入力手段としてカメラによる入力画像を用いているため、対象物に触ることなく非接触で物体の三次元形状モデルを作製することができる。
（３）三次元位置計測において遠方対応点探索による遠方相関値を用いて三次元位置データの有無を判断するため、探索範囲より遠方の物体上に設定されたモデル計測点からモデル構成点を生成しない。
（４）対象物体と対象外物体の表面状態が似通っていたり、背景の模様が対象物体と似通っている場合でも、三次元位置計測において遠方対応点探索による遠方相関値を用いて三次元位置データの有無を判断するため、対応点間違いによる間違ったモデル構成点の生成を抑え、正しい三次元形状データを得ることができる。
（５）三次元形状データを構成するデータとして、三次元位置データを持つモデル構成点の集合を用いるため、円柱や球面のような滑らかな曲面を持つ物体に対しても三次元形状モデルを作製することができる。
（６）対象物体上に関してモデル構成点を格子状にまんべんなく設定するため、対象物上に異物が存在する場合は、それを容易に検知できる。
（７）平滑化処理を行ったモデル構成点の三次元形状データから特徴データの三次元位置データを設定することで、より精度の良い三次元位置データを持つ特徴データを三次元形状モデルに用いることができる。
【図面の簡単な説明】
【図１】本発明に係る物体の三次元形状モデル作製装置の構成例である。
【図２】三次元形状モデル作製装置に用いるモデル構成点生成器の構成例である。
【図３】モデル構成点生成器によるモデル構成点生成法を示すフローチャートである。
【図４】三次元形状モデル作製装置に用いるモデル構成点生成器の構成例である。
【図５】モデル構成点生成器によるモデル構成点生成法を示すフローチャートである。
【符号の説明】
１ カメラ
２ モデル構成点生成器
３ モデル構成点三次元形状データ生成部
４ モデルメモリ
２１ 計測点設定部
２２ 遠方対応点探索部
２３ 相関値検査部
２４，２６ ステレオ計測部
２５，２８ モデル構成点生成部
２７ 相関値比較部
【発明の属する技術分野】
本発明は、物体の三次元形状モデル作製装置に関する。詳しくは、カメラによって得られた画像データを使用して、カメラで撮影可能な範囲に存在する工業部品等の対象物体の三次元形状データを生成し、それにより物体認識処理等に用いる物体の三次元形状モデルを作製する装置に関するものである。
【０００２】
【背景技術】
本発明者は、既に三次元形状モデルを作製する方法として、幾つかの提案を行っている。
その一つとして、入力画像から物体の外形、凹凸、模様等を輪郭線、直線特徴、円弧特徴として抽出し、作業者が部品の形状モデルを構成するために必要な特徴を抽出特徴から選択し、選択した特徴に関してステレオ視による三角測量（これを”ステレオ計測”と呼ぶ）によって各特徴の三次元位置データを求めることで、対象物体の三次元形状モデルを作製する装置を提案した（特願平７−２３２２２５号、これを先件提案１という）。
【０００３】
ここで、ステレオ計測により三次元位置データを計測する方法としては、２台のカメラから入力した画像のうち一方の画像上で三次元計測する点（これを”計測点”と呼ぶ）を指定し、計測点近傍の小領域の画像データ（これを”パッチ”と呼ぶ）を切り出し、もう一方の入力画像においてパッチと同じパターンを持つ画像の小領域の位置（これを”対応点”と呼ぶ）を、濃淡パターンの相関値から検出する領域相関法を提案した（特願平１０−３４８３１５号、特願平１１−３０８４８２号、特願平１１−３２２２３２号、これらを先件提案２という）。
【０００４】
また、対応点を探索する範囲は、２台のカメラの位置関係から導かれる対応点が存在可能な直線上（この直線を”エピポーラライン”と呼ぶ）に限定し、その直線の長さを三次元計測の対象とする実際の範囲（これを”探索範囲”と呼ぶ）によって設定した（このようにして設定したエピポーラライン上の対応点の探索範囲を”対応点探索範囲”と呼ぶ）。
【０００５】
【発明が解決しようとする課題】
上述した先件提案１では、物体の外形、凹凸、模様等から輪郭線、直線、角、閉曲線、円といった特徴を抽出し、上述した先件提案２に係るステレオ計測によってそれら特徴の三次元位置データを計測し、こうして得られた三次元位置データを持つ特徴データの集合として物体の三次元形状モデルを構成した。
このため、システムは三次元形状モデルを構成する特徴データを持っていれば良く、モデルを現すために必要なデータ量を非常に小さくする事ができ、またモデルのデータ量が小さいため座標変換等の計算に必要な処理時間が少なく、物体認識に用いる際は高速な処理が可能となる。
【０００６】
ところが、円柱や球面のような滑らかな曲面を持つ物体に対しては、表面に模様がない場合はその表面上の特徴が抽出されないため、先件提案１のような特徴を基礎としたモデルを構成出来ない。
また、特徴のみで構成したモデルでは、特徴と特徴との間にデータが存在しないため、例えば、その部分に何か異物が存在した場合等は、それを検知することは難しい。
【０００７】
そこで、本発明者は、画面上で設定した長方形範囲内（これを”モデル計測範囲”と呼ぶ）に格子状に設定した点（これを”モデル計測点”と呼ぶ）についてステレオ計測により三次元位置データを計測し、三次元位置データを持つ点データ（これを”モデル構成点”と呼ぶ）の集合として物体の三次元形状データを生成し、対象物体の三次元形状モデルを作製する装置を提案した（これを先件提案３と言う）。
この先件提案３では、画面上で設定したモデル計測範囲に格子状に設定したモデル計測点について、上述した先件提案２に係るステレオ計測により三次元位置データを計測して物体上のモデル構成点を生成し、物体の三次元形状モデルをモデル構成点の集合として構成することにより、先件提案１の問題点を補うことができる。
【０００８】
しかしながら、モデル計測範囲を画面上で長方形範囲として設定しているため、背景に対象物体以外の物体（これを”対象外物体”と呼ぶ）が見えている場合は、対象外物体の一部がモデル計測範囲に入り、対象外物体上に設定されたモデル計測点に対しても先件提案２に係るステレオ計測により位置計測を行った場合、対象物体と対象外物体の表面状態が似通っていたり、周りにパッチと模様の似通った物体が存在する場合は、対応点間違いによって探索範囲内に間違った対応点が得られる場合があり、このような状態では本来なら存在しないモデル構成点が生成されてしまい、結果的に間違った三次元形状データが生成される場合がある。
【０００９】
本発明の目的は、カメラで撮影可能な範囲に存在する対象物の三次元形状データを生成し、それにより物体の三次元形状モデルを作製することである。
【００１０】
【課題を解決するための手段】
上記課題を解決する本発明の請求項１に係る物体の三次元形状モデル作製装置は、入力画像において画面上で対象物体を囲むモデル計測範囲を設定し、前記モデル計測範囲において予め設定しておいた間隔でモデル計測点を格子状に設定し、前記対象物体が存在する探索範囲における前記モデル計測点に対して対応点探索を行うに先立って、先ず前記探索範囲の最も遠い位置から無限遠点までの範囲における遠方対応点探索を行い、これにより得られた遠方相関値が予め設定しておいた値よりも大きければここで位置計測を打ち切り、遠方相関値が設定値以下であれば探索範囲に対してモデル計測点の三次元位置をステレオ計測により計測し、三次元位置データが得られた場合は物体上のモデル構成点を生成し、前記モデル構成点の集合として三次元形状データを生成し、生成した三次元形状データに対してメディアンフィルタによる平滑化処理を行い、平滑化した三次元形状データから物体の三次元形状モデルを作製することを特徴とする。
【００１１】
上記課題を解決する本発明の請求項２に係る物体の三次元形状モデル作製装置は、入力画像において画面上で対象物体を囲むモデル計測範囲を設定し、前記モデル計測範囲において予め設定しておいた間隔でモデル計測点を格子状に設定し、前記対象物体が存在する探索範囲における前記モデル計測点に対して対応点探索を行うに先立って、先ず前記探索範囲の最も遠い位置から無限遠点までの範囲における遠方対応点探索を行って遠方相関値を求める一方、前記モデル計測点に対してステレオ計測を行って三次元位置データを求めると共にこの時の対応点の相関値である範囲内相関値を覚えておき、範囲内相関値と遠方相関値を比較して、範囲内相関値が遠方相関値以上の場合は、前記三次元位置データからモデル構成点を生成し、前記モデル構成点の集合として三次元形状データを生成し、生成した三次元形状データに対してメディアンフィルタによる平滑化処理を行い、平滑化した三次元形状データから物体の三次元形状モデルを作製することを特徴とする。
【００１２】
【発明の実施の形態】
（１）基本的な考え方
先件提案３において、ステレオ計測について先件提案２に係る方法により位置計測を行いモデル構成点を生成する場合には、対象外物体上に設定したモデル計測点についても対象物体が存在する探索範囲とカメラの位置関係から設定した対応点探索範囲について対応点探索を行うこととなる。
【００１３】
本発明では、対象物体の位置よりも対象外物体の位置がカメラから見て通常遠い位置にあることに注目し、三次元位置データの計測において先件提案２に係るステレオ計測を用いる代わりに、先ず対応点探索において探索範囲の最も遠い位置から無限遠点までの範囲（これを”遠方探索範囲”と呼ぶ）に関するエピポーラライン上の対応点探索範囲（これを”対応点遠方探索範囲”と呼ぶ）について対応点探索を行い（この対応点遠方探索範囲に対して対応点探索を行い対応点を求める一連の処理を”遠方対応点探索”と呼ぶ）、ここで得られた対応点に関する相関値（これを”遠方相関値”と呼ぶ）が予め設定しておいた値よりも大きければここで位置計測を打ち切り、遠方相関値が設定値以下であれば、探索範囲に対して先件提案２に係るステレオ計測により位置計測を行う方式よって三次元位置計測を行い、モデル構成点を生成する。この時もし三次元位置データが得られない場合は、モデル構成点を生成しない。
【００１４】
そのため、本実施例に係る三次元形状モデル作製装置は、図１に示すように、画像入力するためのカメラ１と、一定の条件が満たされるモデル計測点の三次元位置データをステレオ計測によって計測するモデル構成点生成器２と、モデル構成点の集合として三次元形状データを生成するモデル構成点三次元形状データ生成部３と、その三次元形状データを記憶するモデルメモリ４とを備えるものである。
【００１５】
ここで、モデル構成点生成器２は、図２に示すように、入力画像において画面上で対象物体を囲むモデル計測範囲を設定し、このモデル計測範囲において予め設定しておいた間隔でモデル計測点を格子状に設定する計測点設定部２１と、このモデル計測点に対して遠方対応点探索を行う遠方対応点探索部２２と、これにより得られた遠方相関値が予め設定しておいた値よりも大きければここで位置計測を打ち切る相関値検査部２３と、遠方相関値が設定値以下であれば探索範囲に対してモデル計測点の三次元位置をステレオ計測により計測するステレオ計測部２４と、三次元位置データが得られた場合は物体上のモデル構成点を生成するモデル構成点生成部２５とを備えるものである。
【００１６】
従って、図３に示すように、入力画像において画面上で対象物体を囲むモデル計測範囲を設定し、このモデル計測範囲において予め設定しておいた間隔でモデル計測点を格子状に設定し（ステップＳ１）、モデル計測点に対して遠方対応点探索を行い（ステップＳ２）、これにより得られた遠方相関値が予め設定しておいた値よりも大きければここで位置計測を打ち切り（ステップＳ３）、遠方相関値が設定値以下であれば探索範囲に対してモデル計測点の三次元位置をステレオ計測により計測し（ステップＳ４）、三次元位置データが得られた場合は物体上のモデル構成点を生成する（ステップＳ５）。
【００１７】
この装置によれば、先件提案３の装置と同様、物体の三次元形状モデルをモデル構成点の集合で構成するため、対象物体が多面体のように角張っている場合はもちろん、円柱や球面のような滑らかな曲面から構成される場合でも、対象物の三次元形状データを生成でき、これにより三次元形状モデルを作製することができる。
また、データの入力手段としてカメラによる入力画像を用いているため、対象物体がどのような大きさのものであっても、カメラで撮影可能な範囲内に存在する物体であれば、例えば建造物、もしくは山肌、崖といった自然の地形のような工業部品以外の対象であっても、物体の三次元形状モデルを作製することができる。
【００１８】
さらに、三次元位置計測の遠方対応点探索において、相関値の高い対応点が得られた場合はモデル構成点を生成しないため、対象物体の背景に存在する対象外物体上に設定されたモデル計測点からモデル構成点を生成せず、間違った三次元形状データの生成を防ぐことができる。
ここで、モデル構成点生成器２が生成した三次元形状データに対し、メディアンフィルタ（参考「画像解析ハンドブック」高木幹雄，下田陽久監修，東京大学出版会，ｐｐ５３９−５４０，１９９１）によりデータの平滑化処理を行う機能をモデル構成点三次元形状データ生成部３に加え、平滑化したモデル構成点により対象物の三次元形状データを生成することで、ステレオ計測処理による対応点間違いを排除した三次元形状モデルを作製することもできる。
【００１９】
尚、上述したモデル構成点生成器２及びモデル構成点三次元形状データ生成部３の各機能を実現するためのソフトウェアをフロッピーディスク、ＣＤ−ＲＯＭ等の媒体に記憶し、その媒体をコンピュータに読み込んで上記装置を実現するようにしても良い。
【００２０】
（２）その他の実施例
（２．１）部品形状モデル作製装置
この装置では、基本的な考え方で述べた装置のモデル計測点の三次元位置データを計測する部分において、遠方対応点探索を行って遠方相関値を求めておき、これとは別に先件提案２に係るステレオ計測を行って三次元位置データを求めると共にこの時の対応点の相関値（これを”範囲内相関値”と呼ぶ）を覚えておき、範囲内相関値と遠方相関値を比較して、範囲内相関値が遠方相関値以上の場合は、先に求めておいたステレオ計測の結果を三次元位置データとする三次元位置計測方式を用いる。この時もし三次元位置データが得られない場合は、モデル構成点を生成しない。
【００２１】
この装置におけるモデル構成点生成器は、図４に示すように、入力画像において画面上で対象物体を囲むモデル計測範囲を設定し、このモデル計測範囲において予め設定しておいた間隔でモデル計測点を格子状に設定する計測点設定部２１と、モデル計測点に対して遠方対応点探索を行う遠方対応点探索部２２と、前記モデル計測点の三次元位置データをステレオ計測により求めると共にこの時の対応点の相関値である範囲内相関値を求めるステレオ計測部２６と、範囲内相関値と遠方相関値を比較する相関値比較部２７と、範囲内相関値が遠方相関値以上の場合は、先に求めておいたステレオ計測の結果を三次元位置データとするモデル構成点生成部２８とを備えるものである。
【００２２】
従って、図５に示すように、入力画像において画面上で対象物体を囲むモデル計測範囲を設定し、このモデル計測範囲において予め設定しておいた間隔でモデル計測点を格子状に設定し（ステップＴ１）、モデル計測点に対して遠方対応点探索を行い（ステップＴ２）、前記モデル計測点の三次元位置データをステレオ計測により求めると共にこの時の対応点の相関値である範囲内相関値を覚えておき（ステップＴ３）、範囲内相関値と遠方相関値を比較し（ステップＴ４）、範囲内相関値が遠方相関値以上の場合は、先に求めておいたステレオ計測の結果を三次元位置データとする（ステップＴ５）。
【００２３】
この装置によれば、基本的な考え方の装置の効果に加え、対象物体と対象外物体の表面状態が似通っており、対象物体上に設定されたモデル計測点に対する相関値が対象外物体上においても高い値で得られるような場合でも、範囲内相関値と遠方相関値の比較により三次元位置データの有無を判断するため、対象物体上のモデル構成点を生成でき、三次元形状データの欠落を抑えることができる。
【００２４】
ここで、モデル構成点生成器により生成した三次元形状データに対して、メディアンフィルタによりデータの平滑化処理を行う機能をモデル構成点三次元形状データ生成部に加え、平滑化したモデル構成点により対象物の三次元形状データを生成することで、ステレオ計測処理による対応点間違いを排除した三次元形状モデルを作製することもできる。
【００２５】
【発明の効果】
以上、詳細に説明したように、本発明によれば以下の効果を奏する。
（１）データの入力手段としてカメラによる入力画像を用いているため、対象物体がどのような大きさのものであっても、カメラで撮影可能な幅囲内に存在する物体であれば、例えば建造物、もしくは山肌、崖といった自然の地形のような工業部品以外の対象であっても、物体の三次元形状モデルを作製することができる。
（２）データの入力手段としてカメラによる入力画像を用いているため、対象物に触ることなく非接触で物体の三次元形状モデルを作製することができる。
（３）三次元位置計測において遠方対応点探索による遠方相関値を用いて三次元位置データの有無を判断するため、探索範囲より遠方の物体上に設定されたモデル計測点からモデル構成点を生成しない。
（４）対象物体と対象外物体の表面状態が似通っていたり、背景の模様が対象物体と似通っている場合でも、三次元位置計測において遠方対応点探索による遠方相関値を用いて三次元位置データの有無を判断するため、対応点間違いによる間違ったモデル構成点の生成を抑え、正しい三次元形状データを得ることができる。
（５）三次元形状データを構成するデータとして、三次元位置データを持つモデル構成点の集合を用いるため、円柱や球面のような滑らかな曲面を持つ物体に対しても三次元形状モデルを作製することができる。
（６）対象物体上に関してモデル構成点を格子状にまんべんなく設定するため、対象物上に異物が存在する場合は、それを容易に検知できる。
（７）平滑化処理を行ったモデル構成点の三次元形状データから特徴データの三次元位置データを設定することで、より精度の良い三次元位置データを持つ特徴データを三次元形状モデルに用いることができる。
【図面の簡単な説明】
【図１】本発明に係る物体の三次元形状モデル作製装置の構成例である。
【図２】三次元形状モデル作製装置に用いるモデル構成点生成器の構成例である。
【図３】モデル構成点生成器によるモデル構成点生成法を示すフローチャートである。
【図４】三次元形状モデル作製装置に用いるモデル構成点生成器の構成例である。
【図５】モデル構成点生成器によるモデル構成点生成法を示すフローチャートである。
【符号の説明】
１ カメラ
２ モデル構成点生成器
３ モデル構成点三次元形状データ生成部
４ モデルメモリ
２１ 計測点設定部
２２ 遠方対応点探索部
２３ 相関値検査部
２４，２６ ステレオ計測部
２５，２８ モデル構成点生成部
２７ 相関値比較部
Claims (2)
- 入力画像において画面上で対象物体を囲むモデル計測範囲を設定し、前記モデル計測範囲において予め設定しておいた間隔でモデル計測点を格子状に設定し、前記対象物体が存在する探索範囲における前記モデル計測点に対して対応点探索を行うに先立って、先ず前記探索範囲の最も遠い位置から無限遠点までの範囲における遠方対応点探索を行い、これにより得られた遠方相関値が予め設定しておいた値よりも大きければここで位置計測を打ち切り、遠方相関値が設定値以下であれば探索範囲に対してモデル計測点の三次元位置をステレオ計測により計測し、三次元位置データが得られた場合は物体上のモデル構成点を生成し、前記モデル構成点の集合として三次元形状データを生成し、生成した三次元形状データに対してメディアンフィルタによる平滑化処理を行い、平滑化した三次元形状データから物体の三次元形状モデルを作製することを特徴とする物体の三次元形状モデル作製装置。
- 入力画像において画面上で対象物体を囲むモデル計測範囲を設定し、前記モデル計測範囲において予め設定しておいた間隔でモデル計測点を格子状に設定し、前記対象物体が存在する探索範囲における前記モデル計測点に対して対応点探索を行うに先立って、先ず前記探索範囲の最も遠い位置から無限遠点までの範囲における遠方対応点探索を行って遠方相関値を求める一方、前記モデル計測点に対してステレオ計測を行って三次元位置データを求めると共にこの時の対応点の相関値である範囲内相関値を覚えておき、範囲内相関値と遠方相関値を比較して、範囲内相関値が遠方相関値以上の場合は、前記三次元位置データからモデル構成点を生成し、前記モデル構成点の集合として三次元形状データを生成し、生成した三次元形状データに対してメディアンフィルタによる平滑化処理を行い、平滑化した三次元形状データから物体の三次元形状モデルを作製することを特徴とする物体の三次元形状モデル作製装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32386599A JP4122663B2 (ja) | 1999-11-15 | 1999-11-15 | 物体の三次元形状モデル作製装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32386599A JP4122663B2 (ja) | 1999-11-15 | 1999-11-15 | 物体の三次元形状モデル作製装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001143082A JP2001143082A (ja) | 2001-05-25 |
| JP4122663B2 true JP4122663B2 (ja) | 2008-07-23 |
Family
ID=18159466
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32386599A Expired - Fee Related JP4122663B2 (ja) | 1999-11-15 | 1999-11-15 | 物体の三次元形状モデル作製装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4122663B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5078296B2 (ja) * | 2006-08-07 | 2012-11-21 | 倉敷紡績株式会社 | 写真測量装置及び写真測量システム |
-
1999
- 1999-11-15 JP JP32386599A patent/JP4122663B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001143082A (ja) | 2001-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3907702B1 (en) | Three-dimensional sensor system and three-dimensional data acquisition method | |
| US8218858B2 (en) | Enhanced object reconstruction | |
| JP4785880B2 (ja) | 三次元オブジェクト認識のためのシステムおよび方法 | |
| JP2919284B2 (ja) | 物体認識方法 | |
| US8208029B2 (en) | Method and system for calibrating camera with rectification homography of imaged parallelogram | |
| US8269766B2 (en) | Method for generating three-dimensional shape data, apparatus for generating three-dimensional shape data, and three-dimensional shape data generating program | |
| JP5018721B2 (ja) | 立体模型の作製装置 | |
| WO2010004466A1 (en) | Three dimensional mesh modeling | |
| JPH11149576A (ja) | ３次元モデリング装置、３次元モデリング方法、３次元モデリングプログラムを記録した媒体、および３次元形状推定プログラムを記録した媒体 | |
| JP5667818B2 (ja) | ３次元形状の骨格モデル作成方法及び装置並びに３次元形状の寸法測定方法及び装置 | |
| KR20020035652A (ko) | 3 차원적인 복구를 위한 스트랩다운 시스템 | |
| JP2016217941A (ja) | ３次元データ評価装置、３次元データ測定システム、および３次元計測方法 | |
| US20190353477A1 (en) | Three-dimensional sensor system and three-dimensional data acquisition method | |
| KR100623666B1 (ko) | 디지털 사진측량기술과 무타켓 토탈 스테이션을 이용한3차원 지리정보시스템용 수치영상도면 제작방법 | |
| JPH09212643A (ja) | 三次元物体認識方法及びその装置 | |
| JP4122663B2 (ja) | 物体の三次元形状モデル作製装置 | |
| Zetu et al. | Data input model for virtual reality-aided facility layout | |
| CN113140031A (zh) | 三维影像建模系统、方法及应用其的口腔扫描设备 | |
| JP3991595B2 (ja) | 物体の三次元形状モデル作製装置 | |
| JP3504128B2 (ja) | ３次元情報復元装置及びその方法 | |
| JP2004325464A (ja) | 三次元情報再構成装置及び三次元情報再構成方法、基準パターン並びに撮影装置及び撮影方法。 | |
| JP3451316B2 (ja) | ステレオ画像に基づく３次元モデルの生成方法および装置 | |
| Chen et al. | Scan-Based registration of range measurements | |
| JP2001143081A (ja) | 物体の三次元形状モデル作製装置 | |
| JP4754422B6 (ja) | 距離情報出力装置及び３次元形状復元装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041117 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071205 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080115 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080317 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080408 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080421 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120516 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130516 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140516 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |