JP5830004B2 - 3次元モデル生成装置、3次元モデル生成方法及び3次元モデル生成プログラム - Google Patents

3次元モデル生成装置、3次元モデル生成方法及び3次元モデル生成プログラム Download PDF

Info

Publication number
JP5830004B2
JP5830004B2 JP2012270817A JP2012270817A JP5830004B2 JP 5830004 B2 JP5830004 B2 JP 5830004B2 JP 2012270817 A JP2012270817 A JP 2012270817A JP 2012270817 A JP2012270817 A JP 2012270817A JP 5830004 B2 JP5830004 B2 JP 5830004B2
Authority
JP
Japan
Prior art keywords
data
dimensional
point cloud
graph
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012270817A
Other languages
English (en)
Other versions
JP2014115915A (ja
JP2014115915A5 (ja
Inventor
隆宏 中野
隆宏 中野
洋一 野中
洋一 野中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2012270817A priority Critical patent/JP5830004B2/ja
Priority to PCT/JP2013/079846 priority patent/WO2014091837A1/ja
Publication of JP2014115915A publication Critical patent/JP2014115915A/ja
Publication of JP2014115915A5 publication Critical patent/JP2014115915A5/ja
Application granted granted Critical
Publication of JP5830004B2 publication Critical patent/JP5830004B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426Graphical representations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/653Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20072Graph-based image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Description

本発明は、3次元モデル生成装置、3次元モデル生成方法及び3次元モデル生成プログラムに関するものである。
本技術分野の背景技術として、特開2002−8014(特許文献1)がある。この公報には、対象物体を、その周囲に配された複数のマーカーと一緒に撮影した2組の画像群を入力し、各画像群から対象物体の特徴点及びマーカーの3次元座標を表す点群データを生成し、2組の画像群間でマーカーの対応付けを行い、対応付けられたマーカーの点群データに基づき点群データと統合して、対象物体の全周形状を抽出することが記載されている。
特開2002−8014号公報
しかし、上記技術では、対象物体を、その周囲に配された複数のマーカーと一緒に撮影しなければ、対象物体の3次元モデルを生成することはできない。
そこで、本発明は、マーカー等を一緒に撮影することなく、物品の測定結果に基づいて自動的に3次元モデルを生成することができる3次元モデル生成装置、3次元モデル生成方法及び3次元モデル生成プログラムを提供する。
上記課題を解決すべく、本発明に係る3次元モデル生成装置は、三次元空間内に設けられた部材の位置を示す情報を点情報の集合体である点群データとして取得する点群データ取得部と、3次元CADデータを取得するCADデータ取得部と、前記点群データ及び前記3次元CADデータを複数のセグメントに分割するセグメント算出部と、前記点群データについてのグラフであって、前記点群データを分割したセグメントをノードとしたグラフである第1のグラフ、及び前記3次元CADデータについてのグラフであって、前記3次元CADデータを分割したセグメントをノードとしたグラフである第2のグラフを生成するグラフ生成部と、前記第1のグラフと前記第2のグラフとをマッチングするマッチング部と、前記マッチング部によるマッチング結果に基づいて、前記点群データの基となる部材を前記3次元CADデータが存在する部品と、前記3次元CADデータが存在しない部品とに分類する分類部と、前記点群データの基となる部材について前記3次元CADデータが存在しないと分類された場合に、識別規則に基づいて前記点群データの基となる部材の部品種類を識別する識別部と、前記分類部による分類結果に基づいて前記点群データに基づいた3次元モデルを生成する3次元モデル生成部であって、前記点群データの基となる部材について前記3次元CADデータが存在しないと分類された場合には、前記識別部で識別した部品種類の特徴に基づいて前記点群データに面をフィッティングして3次元モデルを生成する3次元モデル生成部と、を備えることを特徴とする。
本発明によれば、マーカー等を一緒に撮影することなく、物品の測定結果に基づいて自動的に3次元モデルを生成することができる。
本発明の実施形態に係る3次元モデル生成装置1の構成例を示す図である。 部材識別モデルDBに格納される学習データのデータ構造を示す図である。 形状フィッティングDBに格納されるフィッティングデータのデータ構造を示す図である。 制御部のハードウェア構成を示す図である。 3次元モデル生成装置1の処理の流れを示すフローチャートである。 マッチング処理の流れを示すフローチャートである。 マッチング処理を説明する図である。 部品に基づくモデル作成処理の流れを示すフローチャートである。 3次元モデル生成装置1の出力結果の一例を示す図である。 3次元モデル生成装置1の出力結果の一例を示す図である。
以下、実施例を図面を用いて説明する。
[構成の説明]図1は、本発明の一実施形態である3次元モデル生成装置1を示す図である。3次元モデル生成装置1は、主として、制御部11と、出力部12と、入力部13と、通信部14と、記憶部15とを有する。3次元モデル生成装置1には、主として、3次元測定器20と、部材識別モデルDB(データベース)21と、形状フィッティングDB22と、表示装置25と、図示しない3次元CADサーバとが有線又は無線で接続されている。
制御部11は、3次元モデル生成装置1の全体を制御する処理を行う。制御部11の内部の構成については、後に詳述する。
出力部12は、プログラムの実行状態、処理結果等の出力を行う。
入力部13は、ユーザからのプログラム実行開始指示や中止指示等の入力を行う。
通信部14は、3次元モデル生成装置1の各部間のデータ交換を行う。また、通信部14は、他装置(例えば図示しない3次元CADサーバ)と通信してデータ交換を行う。
記憶部15は、取得した各種データを一時的に保存したり、作成したデータを記憶したりする。
3次元測定器20は、プラント等の内部にある部品の各部位にレーザビームを照射し、三次元の測定結果を取得する。測定結果は、図示しない処理部等でデータ処理され、測定データ23として3次元モデル生成装置1に出力される。測定データ23は、点情報の集合体である点群データである。
さらに、3次元モデル生成装置1には、3次元CADデータ24が図示しない3次元CADサーバから出力される。3次元CADデータ24は、プラント等の内部にある部品の3次元設計データである3次元CADデータである。なお、本実施の形態では、3次元設計データはポリゴンデータである。本実施の形態では、3次元CADサーバには、計測対象の部品のうち、全ての設計部品の3次元CADデータ24が記憶されている。
部材識別モデルDB21は、学習データ210を格納する。学習データ210は、設計部品ではない部品、例えば配管、足場、補器等のサンプルデータである。
図2は、学習データ210のデータ構造を示す図である。学習データ210は、部品格納領域2101と、サンプルデータ格納領域2102とを有する。部品格納領域2101と、サンプルデータ格納領域2102とは関連付けられている。
部品格納領域2101には、配管、足場、補器等の部品名が格納される。サンプルデータ格納領域2102には、部品格納領域2101に部品名が格納された部品のサンプルデータが格納される。なお、サンプルデータは、3次元の点群データである。図2においては、サンプルデータとして線図が記載されているが、これは説明のためであり、実際には3次元形状が認識可能な点群データである。
学習データとして、1つの部品に対して複数のサンプルデータが格納される必要がある。そのため、部品格納領域2101には、同じ名称の部品が複数格納される。ただし、サンプルデータ格納領域2102には、すべて異なるサンプルデータが格納され、同一のサンプルデータは2個以上格納されない。
図1の説明に戻る。形状フィッティングDB22は、部材識別モデルDB21に学習データが記憶された部品について、フィッティングに必要な情報であるフィッティング情報220が記憶される。
図3は、フィッティング情報220のデータ構造を示す図である。フィッティング情報220は、部品格納領域2201と、フィッティングデータ格納領域2202とを有する。部品格納領域2201と、フィッティングデータ格納領域2202とは関連付けられている。
部品格納領域2201には、配管、足場、補器等の部品名が格納される。フィッティングデータ格納領域2202には、部品格納領域2101に格納された部品についてのフィッティングに必要な情報、すなわちどういうフィッティングをすればよいかを示す情報(以下、フィッティングデータという)が記憶される。
フィッティングデータについて、部品が足場である場合を例に説明する。足場は、鉄パイプ等の円管と、円管に取り付けられた板材とで構成される。したがって、部品格納領域2101に「足場」が格納された場合には、フィッティングデータ格納領域2202には「平面と円管との組み合わせ」という情報、すなわち平面と円管面とで点群データをフィッティングすればよいことを示すフィッティングデータが格納される。
図1の説明に戻る。表示装置25は、CRTモニタ、液晶モニタ等のディスプレイ装置により構成される。
次に、制御部11の各構成について詳細に説明する。図1に示すように、制御部11は、主として、セグメント算出部111と、グラフネットワーク算出部112と、グラフマッチング部113と、点群特徴量算出部114と、部品識別部115と、形状フィッティング部116と、CADフィッティング部117とを有する。
セグメント算出部111は、測定データ23及び3次元CADデータ24のそれぞれについて、平面セグメントや曲面セグメント等の複数のセグメントに分割する。セグメント算出部111が求めたデータは、グラフネットワーク算出部112に出力される。セグメント算出部111がセグメントに分割する具体的な処理は、既に公知であるため、説明を省略する。
グラフネットワーク算出部112は、セグメント算出部111が分割した測定データ23のセグメント及び3次元CADデータ24のセグメントのそれぞれについて、セグメントのつながり、具体的には、どのセグメントとどのセグメントが連結するか、連結の位置はどこか、連結の角度は何度か、等を算出する。グラフネットワーク算出部112は、算出したセグメントのつながり(以下、グラフネットワークという)を、構造情報としてグラフマッチング部113に出力する。なお、グラフネットワーク算出部112の行う具体的な処理は、すでに公知であるため、詳細な説明を省略する。
グラフマッチング部113は、グラフネットワーク算出部112が生成した測定データ23のグラフネットワークと3次元CADデータ24のグラフネットワークとのマッチングを行う。具体的には、グラフマッチング部113は、測定データ23のグラフネットワークと3次元CADデータ24のグラフネットワークとを比較し、ネットワークの構造体としての近さを求める。また、グラフマッチング部113は、マッチング結果に基づいて、測定データ23の基となる部品は3次元設計データがある部品なのか、測定データ23の基となる部品は3次元設計データがない部品なのかを分類する。グラフマッチング部113が行う処理については、後に詳述する。
点群特徴量算出部114は、グラフマッチング部113において測定データ23の基となる部品が3次元設計データのない部品であると分類された場合に、測定データ23から特徴量を算出する。例えば、点群特徴量算出部114は、測定データ23のある部分のx方向、y方向、z方向の分散、大きさ、重心距離等の点群の持っている特徴を特徴量として算出する。さらに、点群特徴量算出部114は、部材識別モデルDB21に記憶されたサンプルデータについても、特徴量を算出する。サンプルデータについて算出された特徴量は、学習モデルを作る際に用いられる。なお、点群特徴量算出部114の行う具体的な処理は、すでに公知であるため、詳細な説明を省略する。
部品識別部115は、サポートベクトルマシン等の公知の手法を用いて、点群特徴量算出部114が算出した特徴量に基づいて部品を識別する。部品識別部115は、点群特徴量算出部114が算出した測定データ23の特徴量と、部材識別モデルDB21に記憶されたサンプルデータの特徴量とを比較し、測定データ23の基となる部品が、部材識別モデルDB21にサンプルデータが格納された部品のどの部品に該当するかを識別する。なお、部品識別部115が用いる手法は、サポートベクトルマシンに限定されず、識別規則に基づいて識別を行う識別手法であればどのような手法を用いてもよい。また、部品識別部115の行う処理には、すでに公知の方法を用いるため、詳細な説明を省略する。
形状フィッティング部116は、部品識別部115の識別結果に基づいて、測定データ23をフィッティングする。形状フィッティング部116の処理については、後に詳述する。
CADフィッティング部117は、3次元CADデータ24を用いて、測定データ23をフィッティングする。CADフィッティング部117の処理については、後に詳述する。
図4は、3次元モデル生成装置1の概略構成の一例を示すブロック図である。図示するように、例えばコンピューターなどで構成される3次元モデル生成装置1は、演算装置であるCPU(Central Processing Unit)101と、揮発性の記憶装置であるRAM(Random Access Memory)や不揮発性の記憶装置であるROM(Read only Memory)からなるメモリ102と、外部記憶装置103と、外部の装置と通信を行う通信装置104と、ユーザからの入力を受け付けるキーボード、マウス、或いはタッチパネル等のユーザインターフェイスで構成される入力装置105と、ディスプレイ等の出力装置106と、CDドライブ、DVDドライブ等の読み書き装置107と、制御部11と他のユニットを接続するインターフェイス(I/F)108とを備える。
上記の制御部11の各機能部は、例えば、CPU101がメモリ102に格納された所定のプログラムをメモリ32に読み出して実行することにより実現される。なお、所定のプログラムは、例えば、予めメモリ102にインストールされてもよいし、通信装置104を介してネットワークからダウンロードされてインストール又は更新されてもよいし、外部記憶装置103からインストール又は更新されてもよいし、読み書き装置107を介してCDドライブ、DVDドライブからインストール又は更新されてもよい。入力部13は入力装置105により実現される。出力部12及び通信部14は通信装置104及びI/F108により実現される。記憶部15はメモリ102により実現される。表示装置25は出力装置106により実現される。なお、出力装置106は3次元モデル生成装置1の構成として必須ではなく、I/F108を介して接続されていればよい。
以上の3次元モデル生成装置1の構成は、本実施形態の特徴を説明するにあたって主要構成を説明したのであって、上記の構成に限られなるものではない。
[動作の説明]次に、本実施形態における3次元モデル生成装置1の動作を説明する。
図5は、本実施形態における3次元モデル生成装置1の全体の処理の流れを示すフローチャートである。
制御部11は、通信部14を介して、3次元測定器20に指示を出し、部品の3次元計測を行う(ステップS10)。制御部11は、通信部14を介して、3次元測定器20で計測された測定データ23を取得する(ステップS12)。また、制御部11は、通信部14を介して、図示しない3次元CADサーバに記憶されたすべての3次元CADデータ24を取得する(ステップS14)。ステップS12で取得した測定データ23及びステップS14で取得した3次元CADデータ24は、記憶部15に記憶される。
セグメント算出部111は、ステップS12で取得した測定データ23をセグメンテーション化し、かつステップS14で取得した3次元CADデータ24を要素面(セグメントと同義)に分割することにより、平面セグメントや曲面セグメント等の複数のセグメントに分割する(ステップS16)。
グラフネットワーク算出部112は、ステップS16で複数のセグメントに分割された測定データ23及び3次元CADデータ24のそれぞれについて、グラフネットワーク化を行う(ステップS18)。具体的には、グラフネットワーク算出部112は、測定データ23のセグメントをノード、連結しているセグメント間をアーク、連結している角度をアークに付加する情報としてグラフネットワーク化する。また、グラフネットワーク算出部112は、3次元CADデータ24の要素面をノード、連結している要素面間をアーク、連結している角度をアークに付加する情報としてグラフネットワーク化する。
グラフマッチング部113は、ステップS18で算出された測定データ23のグラフネットワークと3次元CADデータ24のグラフネットワークとのマッチングを行う(ステップS20)。以下、ステップS20について、具体的に説明する。
図6は、マッチング処理(ステップS20)の処理の流れを示すフローチャートである。
まず、グラフマッチング部113は、測定データ23のグラフネットワーク230と3次元CADデータ24のグラフネットワーク240とを比較し、最も類似したノード、アークの集合体を抽出する(ステップS201)。測定データ23のグラフネットワーク230と3次元CADデータ24のグラフネットワーク240とを比較した結果、測定データ23のグラフネットワーク230と3次元CADデータ24のグラフネットワーク240とが一致する領域が複数抽出されることがある。この場合には、グラフマッチング部113は、複数の領域のうちの最も大きい集合体、最も類似度が高い領域等を抽出する。
図7は、測定データ23のグラフネットワーク230と3次元CADデータ24のグラフネットワーク240を示す図である。グラフネットワーク230、240において、ノード(図7の黒丸参照)がセグメントであり、アーク(図7の線参照)がセグメントのつながりを示す。図7に示す例においては、マッチングした結果、点線で囲まれた領域が、測定データ23のグラフネットワーク230と3次元CADデータ24のグラフネットワーク240とが類似する集合体として抽出される。
次に、グラフマッチング部113は、ステップS201で測定データ23のグラフネットワーク230から抽出された集合体に、ステップS201で3次元CADデータ24のグラフネットワーク240から抽出された集合体の部分につけられた部品名称を対応付ける(ステップS202)。ステップS201で集合体が抽出されなかった場合には、グラフマッチング部113は、ステップS202で名称を対応付けず、次のステップへ進む。
グラフマッチング部113は、測定データ23のグラフネットワーク230と3次元CADデータ24のグラフネットワーク240とを比較した結果、マッチするノード、アークの集合体があるか否かを判断する(ステップS203)。
マッチするノード、アークの集合体がある場合(ステップS203でYES)は、測定データ23のグラフネットワーク230と3次元CADデータ24のグラフネットワーク240とが複数の領域で一致する場合である。この場合には、グラフマッチング部113は、再度ステップS201を行う。
マッチするノード、アークの集合体がない場合(ステップS203でNO)は、グラフマッチング部113は、マッチング処理を終了する。
これにより、測定データ23のグラフネットワーク230と3次元CADデータ24のグラフネットワーク240との構造体としての近さが求められる。なお、構造体としての近さは、部分一致する領域の数、領域の面積比等により算出することもできる。
次に、グラフマッチング部113は、マッチング結果に基づいて、測定データ23の基となる部品は3次元設計データがある部品なのか、測定データ23の基となる部品は3次元設計データがない部品なのかを分類し、測定データ23の基となる部品は3次元設計データがある部品であるか否かを判断する(ステップS22)。以下、ステップS22について具体的に説明する。
ステップS20(詳しくはステップS202)で3次元CADデータ24の部品名称と関連付けられた領域があった場合には、グラフマッチング部113は、点群データの基となる部品の3次元CADデータ24が入力されたと判断する。そして、グラフマッチング部113は、測定データ23の基となる部品を3次元設計データがある部品に分類する。
なお、グラフマッチング部113は、測定データ23のグラフネットワーク230と3次元CADデータ24のグラフネットワーク240の一致する領域が複数あった場合や、測定データ23のグラフネットワーク230と3次元CADデータ24のグラフネットワーク240の一致する領域の面積比が所定の閾値(例えば70%)以上の場合に、測定データ23の基となる部品を3次元設計データがある部品に分類することもできる。
それに対し、測定データ23のグラフネットワーク230と3次元CADデータ24のグラフネットワーク240とがほとんど一致しない場合等には、グラフマッチング部113は、点群データの基となる部品の3次元CADデータ24が入力されていないと判断する。そして、グラフマッチング部113は、測定データ23の基となる部品を3次元設計データがない部品に分類する。
測定データ23の基となる部品が、3次元設計データがない部品に分類された場合(ステップS22でNO)には、制御部11は、測定データ23の基となる部品が3次元モデル作成の対象か否かを判断する(ステップS24)。以下、ステップS24について、具体的に説明する。
点群特徴量算出部114は、測定データ23及び部材識別モデルDB21に記憶されたサンプルデータの特徴量を算出する。部品識別部115は、点群特徴量算出部114が算出した測定データ23の特徴量と、部材識別モデルDB21に記憶されたサンプルデータの特徴量とを比較し、測定データ23の基となる部品が、部材識別モデルDB21にサンプルデータが格納された部品のどの部品に該当するかを識別する。
測定データ23の基となる部品が、部材識別モデルDB21にサンプルデータが格納された部品のどの部品にも該当しない場合、すなわち測定データ23の基となる部品が3次元モデル作成の対象でない場合(ステップS24でNO)は、形状フィッティング部116は、測定データ23を記憶部15から削除する(ステップS26)。
測定データ23の基となる部品が、部材識別モデルDB21にサンプルデータが格納された部品のどれかに該当する場合、すなわち測定データ23の基となる部品が3次元モデル作成の対象である場合(ステップS24でYES)は、形状フィッティング部116は、部品識別結果に基づいてフィッティングを行い、3次元モデルを生成する(ステップS28)。以下、ステップS28について、具体的に説明する。
図8は、部品識別結果に基づいてフィッティングを行って、3次元モデルを生成する処理の流れを示すフローチャートである。
形状フィッティング部116は、ステップS24で識別された、測定データ23の基となる部品の特徴を、形状フィッティングDB22から取得する。例えば、ステップS24において、測定データ23の基となる部品が足場と識別された場合には、形状フィッティング部116は、フィッティングデータ格納領域2202から「平面と円管との組み合わせ」という情報を取得する(ステップS280)。
その後、形状フィッティング部116は、ステップS280で取得された情報に基づいて測定データ23をフィッティングする(ステップS282〜S288)。図3に示すように、本実施の形態では、3次元モデルの基となる部品は、足場に限らず、平面と円管とを結合させることにより形成することができる。したがって、形状フィッティング部116は、以下に説明するように、平面、円筒を別々にフィッティングする。
形状フィッティング部116は、測定データ23から平面成分の点群を抽出する(ステップS282)。形状フィッティング部116は、ステップS282で抽出した点群に対して平面フィッティングを行う(ステップS284)。
次に、形状フィッティング部116は、測定データ23から平面成分の点群を除去する(ステップS286)。これにより、測定データ23の円筒面の成分のみが残るため、形状フィッティング部116は、ステップS286で平面成分の点群を除去した点群に円筒面をフィッティングする(ステップS288)。
一般的に、平面のフィッティングの方が処理が単純で、精度が比較的高い。また、一般的に、曲面に属する点群より平面に属する点群の方が多い。したがって、平面をフィッティングした後で、曲面のフィッティングを行うことが望ましい。
図5の説明に戻る。測定データ23の基となる部品が、3次元設計データがある部品に分類された場合(ステップS22でYES)には、CADフィッティング部117は、3次元CADデータ24を用いて測定データ23をフィッティングする(ステップS30)。
ステップS30の処理について一例を用いて説明する。CADフィッティング部117は、グラフマッチング部113でのマッチング結果、3次元CADデータ24と一致した部分については、3次元CADデータ24と同じ形状となるように、測定データ23のフィッティングを行う。ここでいう形状は、線、平面、曲面、円管等である。その後、CADフィッティング部117は、3次元CADデータ24と一致しなかった部分についてフィッティングを行う。このように、3次元CADデータ24を用いてフィッティングすることにより、他の部分に隠れてしまう等により測定データ23がない部分についても、フィッティングを行うことができる。
CADフィッティング部117は、3次元CADデータ24を用いて、ステップS30で生成したフィッティング結果を修正し、3次元モデルを生成する(ステップS32)。具体的には、CADフィッティング部117は、3次元CADデータ24における規格情報を用いて、フィッティング結果を修正する。規格情報とは、例えば配管の径等の大きさに関する情報である。これにより、測定結果に基づく3次元モデルと設計データとの誤差を吸収し、高精度の3次元モデルを生成することができる。
しかしながら、ステップS32では、位置のズレ等の規格に関しない部分については、フィッティング結果の修正を行わない。本実施の形態においては、あくまで計測された結果を再現することが重要であるためである。なお、3次元CADデータ24と、生成した3次元モデルとの位置のずれの大きさ等の情報(以下、差異情報という)を保持するようにしてもよい。
制御部11は、このようにして生成された3次元モデル及び差異情報を、記憶部15に記憶する。出力部12は、必要に応じて、3次元CADデータ24、3次元モデル及び差異情報を表示装置25に出力する。
[出力例1]図9は、3次元モデル及び差異情報を出力した場合の表示装置25の表示例である。図9に示すように、表示装置25には、3次元CADデータ24及び3次元モデルに基づいて、3次元CADデータ24を表示した画像251と、生成した3次元モデルの画像252が表示される。これにより、設計データと、実際の状態とを一目で比較することができる。
また、表示装置25には、3次元CADデータ24が存在する部品を表示する表示領域253と、3次元CADデータが存在しない部品を表示する表示領域254とが表示される。これにより、3次元CADデータ24が存在するか否かを容易に確認することができる。
さらに、表示装置25には、差異情報に基づいて、3次元CADデータ24が存在する部品について、3次元CADデータ24と位置が異なることを表示する表示領域255と、3次元CADデータ24と形状が異なることを表示する表示領域256が表示される。これにより、3次元モデルと3次元CADデータ24との差異について容易に把握することができる。
なお、3次元CADデータ24と位置や形状が異なる場合には、生成した3次元モデルの画像252上でも差異が分かるような表示を行ってもよい。図9においては、3次元モデルにあって、3次元CADデータ24に無い部分については、黒塗りで表示をしている。また、3次元CADデータ24と位置や形状が異なる部分については、網掛けをしている。
なお、図9は、3次元モデル及び差異情報を出力した場合の表示装置25の表示の一例であり、表示形態はこれに限定されない。
[出力例2]図10は、3次元モデルを出力した場合の表示装置25の表示例である。図10に示すように、表示装置25には、生成した3次元モデルの画像252が表示される。これにより、3次元モデルを確認することができる。
本実施の形態によれば、測定結果から自動的に3次元モデルを生成することができる。3次元CADデータがある場合には、3次元CADデータを参照して3次元モデルの生成を行うため、早く、高精度に3次元モデルを生成することができる。特に、規格のある形状等については、3次元CADデータに基づいて生成した3次元モデルを修正することにより、精度の高い3次元モデルを生成することができる。
また、本実施の形態によれば、3次元CADデータがない場合には、サンプルデータを参照して部品を識別し、部品の特徴に基づいて3次元モデルを生成することにより、精度の高い3次元モデルを生成することができる。
また、本実施の形態によれば、3次元モデルの生成の対象外である場合には、計測データを削除することで、ノイズをなくし、処理を高速化かつ高精度にすることができる。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば修正機会とで設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することよりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、又は、ICカード、SDカード、DVD等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報戦を示しているとは限らない。実際には殆どすべての構成が相互に接続されていると考えてもよい。
1:3次元モデル生成装置、11:制御部、12:出力部、13:入力部、14:通信部、15:記憶部、20:3次元測定器、21:部材識別モデルDB、22:形状フィッティングDB、23:測定データ、24:3次元CADデータ、25:表示装置、111:セグメント算出部、112:グラフネットワーク算出部、113:グラフマッチング部、114:点群特徴量算出部、115:部品識別部、116:形状フィッティング部、117:CADフィッティング部、210:学習データ、220:フィッティング情報

Claims (8)

  1. 三次元空間内に設けられた部材の位置を示す情報を点情報の集合体である点群データとして取得する点群データ取得部と、
    3次元CADデータを取得するCADデータ取得部と、
    前記点群データ及び前記3次元CADデータを複数のセグメントに分割するセグメント算出部と、
    前記点群データについてのグラフであって、前記点群データを分割したセグメントをノードとしたグラフである第1のグラフ、及び前記3次元CADデータについてのグラフであって、前記3次元CADデータを分割したセグメントをノードとしたグラフである第2のグラフを生成するグラフ生成部と、
    前記第1のグラフと前記第2のグラフとをマッチングするマッチング部と、
    前記マッチング部によるマッチング結果に基づいて、前記点群データの基となる部材を前記3次元CADデータが存在する部品と、前記3次元CADデータが存在しない部品とに分類する分類部と、
    前記点群データの基となる部材について前記3次元CADデータが存在しないと分類された場合に、識別規則に基づいて前記点群データの基となる部材の部品種類を識別する識別部と、
    前記分類部による分類結果に基づいて前記点群データに基づいた3次元モデルを生成する3次元モデル生成部であって、前記点群データの基となる部材について前記3次元CADデータが存在しないと分類された場合には、前記識別部で識別した部品種類の特徴に基づいて前記点群データに面をフィッティングして3次元モデルを生成する3次元モデル生成部と、
    を備えることを特徴とする3次元モデル生成装置。
  2. 請求項1に記載の3次元モデル生成装置であって、
    前記3次元生成モデル生成部は、前記点群データの基となる部材について前記3次元CADデータが存在すると分類された場合には、前記3次元CADデータを参照して3次元モデルを生成する
    ことを特徴とする3次元生成装置。
  3. 請求項1又は2に記載の3次元モデル生成装置であって、
    前記識別部は、識別した部品種類に基づいて、前記点群データの基となる部材が3次元モデル生成の対象であるか否かを判断し、
    前記3次元モデル生成部は、前記点群データの基となる部材が3次元モデル生成の対象でないと判断された場合には、当該判断された点群データを削除する
    ことを特徴とする3次元モデル生成装置。
  4. 請求項1乃至3のいずれか一項に記載の3次元モデル生成装置であって、
    前記3次元モデル生成部により生成された3次元モデル、又は前記分類部の分類結果を出力する出力部
    を備えことを特徴とする3次元モデル生成装置。
  5. 三次元空間内に設けられた部材の位置を示す情報を点情報の集合体である点群データ及び3次元CADデータを取得するステップと、
    前記点群データ及び前記3次元CADデータを複数のセグメントに分割するステップと、
    前記点群データについてのグラフであって、前記点群データを分割したセグメントをノードとしたグラフである第1のグラフ、及び前記3次元CADデータについてのグラフであって、前記3次元CADデータを分割したセグメントをノードとしたグラフである第2のグラフを生成するステップと、
    前記第1のグラフと前記第2のグラフとをマッチングするステップと、
    前記マッチングされた結果に基づいて、前記点群データの基となる部材を前記3次元CADデータが存在する部品と、前記3次元CADデータが存在しない部品とに分類するステップと、
    前記3次元CADデータが存在しないと分類された場合に、識別規則に基づいて前記点群データの基となる部材の部品種類を識別するステップと、
    前記分類された結果に基づいて前記点群データに基づいた3次元モデルを生成するステップであって、前記点群データの基となる部材について前記3次元CADデータが存在しないと分類された場合には、前記識別した部品種類の特徴に基づいて前記点群データに面をフィッティングして3次元モデルを生成するステップと
    を含むことを特徴とする3次元モデル生成方法。
  6. 請求項5記載の3次元モデル生成方法であって、
    前記点群データの基となる部材について前記3次元CADデータが存在すると分類された場合には、前記3次元CADデータを参照して3次元モデルを生成するステップ
    を含むことを特徴とする3次元モデル生成方法。
  7. 三次元空間内に設けられた部材の位置を示す情報を点情報の集合体である点群データ及び3次元CADデータを取得するステップと、
    前記点群データ及び前記3次元CADデータを複数のセグメントに分割するステップと、
    前記点群データについてのグラフであって、前記点群データを分割したセグメントをノードとしたグラフである第1のグラフ、及び前記3次元CADデータについてのグラフであって、前記3次元CADデータを分割したセグメントをノードとしたグラフである第2のグラフを生成するステップと、
    前記第1のグラフと前記第2のグラフとをマッチングするステップと、
    前記マッチングされた結果に基づいて、前記点群データの基となる部材を前記3次元CADデータが存在する部品と、前記3次元CADデータが存在しない部品とに分類するステップと、
    前記3次元CADデータが存在しないと分類された場合に、識別規則に基づいて前記点群データの基となる部材の部品種類を識別するステップと、
    前記分類された結果に基づいて前記点群データに基づいた3次元モデルを生成するステップであって、前記点群データの基となる部材について前記3次元CADデータが存在しないと分類された場合には、前記識別した部品種類の特徴に基づいて前記点群データに面をフィッティングして3次元モデルを生成するステップと
    を演算装置に実行させることを特徴とする3次元モデル生成プログラム。
  8. 請求項7記載の3次元モデル生成プログラムであって、
    前記点群データの基となる部材について前記3次元CADデータが存在すると分類された場合には、前記3次元CADデータを参照して3次元モデルを生成するステップ
    を演算装置に実行させることを特徴とする3次元モデル生成プログラム。
JP2012270817A 2012-12-11 2012-12-11 3次元モデル生成装置、3次元モデル生成方法及び3次元モデル生成プログラム Expired - Fee Related JP5830004B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012270817A JP5830004B2 (ja) 2012-12-11 2012-12-11 3次元モデル生成装置、3次元モデル生成方法及び3次元モデル生成プログラム
PCT/JP2013/079846 WO2014091837A1 (ja) 2012-12-11 2013-11-05 3次元モデル生成装置、3次元モデル生成方法及び3次元モデル生成プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012270817A JP5830004B2 (ja) 2012-12-11 2012-12-11 3次元モデル生成装置、3次元モデル生成方法及び3次元モデル生成プログラム

Publications (3)

Publication Number Publication Date
JP2014115915A JP2014115915A (ja) 2014-06-26
JP2014115915A5 JP2014115915A5 (ja) 2015-01-29
JP5830004B2 true JP5830004B2 (ja) 2015-12-09

Family

ID=50934135

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012270817A Expired - Fee Related JP5830004B2 (ja) 2012-12-11 2012-12-11 3次元モデル生成装置、3次元モデル生成方法及び3次元モデル生成プログラム

Country Status (2)

Country Link
JP (1) JP5830004B2 (ja)
WO (1) WO2014091837A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9916398B2 (en) * 2013-12-10 2018-03-13 Dassault Systemes Laser scan re-engineering of 3D CAD models
CN104899378A (zh) * 2015-06-10 2015-09-09 上海大学 基于bim和三维测量的高层钢结构数字化安装方法
JP6526488B2 (ja) * 2015-06-16 2019-06-05 株式会社日立製作所 3次元モデル生成装置、構成部材判定方法、およびプログラム
JP6860776B2 (ja) * 2016-06-30 2021-04-21 キヤノンマーケティングジャパン株式会社 仮想空間制御装置、その制御方法、及びプログラム
JP2020052032A (ja) * 2018-09-21 2020-04-02 ファナック株式会社 撮像装置及び撮像システム
JP7237541B2 (ja) * 2018-11-21 2023-03-13 日立Geニュークリア・エナジー株式会社 マップ生成装置、および、マップ生成方法
EP3675061A1 (en) 2018-12-29 2020-07-01 Dassault Systèmes Forming a dataset for inference of editable feature trees
JP2020204805A (ja) * 2019-06-14 2020-12-24 パナソニックIpマネジメント株式会社 表示方法、画像生成装置、及び、プログラム
JP7233313B2 (ja) * 2019-06-14 2023-03-06 日立Geニュークリア・エナジー株式会社 計測支援装置および計測支援方法
WO2021176877A1 (ja) * 2020-03-02 2021-09-10 富士フイルム株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP7468002B2 (ja) 2020-03-10 2024-04-16 日本電気株式会社 異常箇所表示装置、異常箇所表示システム、異常箇所表示方法、及び異常箇所表示プログラム
JP7549987B2 (ja) * 2020-07-17 2024-09-12 日立Geニュークリア・エナジー株式会社 アズビルト化支援装置およびアズビルト化支援方法
CN114792372B (zh) * 2022-06-22 2022-11-04 广东工业大学 一种基于多头两级注意力的三维点云语义分割方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003242186A (ja) * 2002-02-20 2003-08-29 Toyota Motor Corp Cadデータ処理装置
JP2006195850A (ja) * 2005-01-17 2006-07-27 Mitsubishi Electric Corp 設備更新情報抽出装置及び方法
JP2010061259A (ja) * 2008-09-02 2010-03-18 Hitachi Ltd 3次元立体形状データ変換装置および変換方法
JP2010211434A (ja) * 2009-03-10 2010-09-24 Hitachi Ltd 設計支援装置

Also Published As

Publication number Publication date
WO2014091837A1 (ja) 2014-06-19
JP2014115915A (ja) 2014-06-26

Similar Documents

Publication Publication Date Title
JP5830004B2 (ja) 3次元モデル生成装置、3次元モデル生成方法及び3次元モデル生成プログラム
JP4785598B2 (ja) 類似形状検索装置
JP5654438B2 (ja) 類似設計構造検索装置、および類似設計構造検索方法
JP5251080B2 (ja) 物体認識方法
JP6888484B2 (ja) 検索プログラム、検索方法、及び、検索プログラムが動作する情報処理装置
JP5639907B2 (ja) 設計支援装置、方法およびプログラム
JP2023525535A (ja) 3次元画像内の表面特徴を識別する方法及び装置
JP2015184061A (ja) 抽出装置、方法及びプログラム
JP6253053B2 (ja) データ探索装置、データ探索装置の制御方法およびデータ探索装置の制御プログラム
JP2008077594A (ja) 設計支援装置,設計支援方法,設計支援プログラム,および設計支援システム
WO2015092842A1 (ja) 解析用メッシュデータ生成方法および解析用メッシュデータ生成装置
JP7237541B2 (ja) マップ生成装置、および、マップ生成方法
JP6280425B2 (ja) 画像処理装置、画像処理システム、3次元計測器、画像処理方法及び画像処理プログラム
KR101545154B1 (ko) 중첩 격자에서의 필드라인 생성 장치 및 그 방법
JP6996200B2 (ja) 画像処理方法、画像処理装置、および画像処理プログラム
JP7265143B2 (ja) 表示制御方法、表示制御プログラムおよび情報処理装置
JP4912756B2 (ja) ポリゴンデータ分割方法およびポリゴンデータ分割装置
JP6237002B2 (ja) モデル計測装置、モデル計測方法、及びプログラム
JP6894398B2 (ja) オブジェクト追跡装置、オブジェクト追跡方法、及びオブジェクト追跡プログラム
KR101671908B1 (ko) 조립체 모델 비교 장치 및 방법
JP2008310576A (ja) 設計支援方法および設計支援システム
Munkelt et al. Automatic complete high-precision optical 3D measurement of air cooling-holes of gas turbine vanes for repair
JP2020038527A (ja) 情報処理装置、分析モデル管理方法及び分析モデル管理プログラム
WO2022185462A1 (ja) 基本行列生成装置、制御方法、及びコンピュータ可読媒体
Avagyan et al. Scanned three-dimensional model matching and comparison algorithms for manufacturing applications

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141208

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151023

R151 Written notification of patent or utility model registration

Ref document number: 5830004

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees