JP6508733B2 - 3dモデルの比較方法および装置 - Google Patents

3dモデルの比較方法および装置 Download PDF

Info

Publication number
JP6508733B2
JP6508733B2 JP2016540980A JP2016540980A JP6508733B2 JP 6508733 B2 JP6508733 B2 JP 6508733B2 JP 2016540980 A JP2016540980 A JP 2016540980A JP 2016540980 A JP2016540980 A JP 2016540980A JP 6508733 B2 JP6508733 B2 JP 6508733B2
Authority
JP
Japan
Prior art keywords
model
dimensional
models
descriptor
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016540980A
Other languages
English (en)
Other versions
JP2017504108A (ja
Inventor
ローランド マランザナ
ローランド マランザナ
オマー ムサーフ
オマー ムサーフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
7893159
Original Assignee
7893159
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 7893159 filed Critical 7893159
Publication of JP2017504108A publication Critical patent/JP2017504108A/ja
Application granted granted Critical
Publication of JP6508733B2 publication Critical patent/JP6508733B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/653Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2016Rotation, translation, scaling

Description

この特許出願は、3次元空間中のデジタル表示(図面 representations)に関し、より詳細には、例えば、その一群の検索(探索)、順位付けおよび/または比較分析を目的とする記述子(ディスクリプタ)を使用した、3D(三次元)モデルの比較(対比)のような、3Dモデル(3D model:立体模型)の分野に関するものである。
物体の3次元(3D)のデジタル表示(図面representations)は、工学、医学、テレビゲーム、映画、そして更に広く普及したアプリケーション(例えば、Google(登録商標)社によるSketchUp(登録商標)、現在はTrimble(登録商標)社)の分野において、広く知られている。そのような分野における利用は、CAD(computer aided design)システムを含む3Dの作成・編集ソフトウェア、リバースエンジニアリング、そして他の3D再構築技術や、3Dスキャン装置によっても可能となっている。これら全ての手段は、3次元のデジタルモデルを生成する。前記デジタルモデルは、いずれも物体と境界表現(boundary representation)(B−rep、例えばSTEP規格またはパラソリッドやACISのような幾何学的(モデラで見られる形状)としても知られる)それらの周囲の境界(線)を描画した3Dモデルではない。その他は、テッセレーション(例えば、STLやVRML形式)を提供する。これらのモデルは、純粋な幾何学(形状)的データ(geometrical data)以外の情報を包含し得る。
上記タイプの3D(三次元)モデルは、通常企業内や日常生活のあらゆる領域(分野)で用いられており、それらの数は現在でも急速に増加している。それ故、マルチファセットの問題、すなわち(i)3D(三次元)モデルを識別すること、(ii)類似するデジタルオブジェクト(digital objects)を見つけること、(iii)それらの違いや同一の部品(パーツ)を識別する為に比較対比すること、そして最後に(iv)サーチ結果の簡単かつ効果的な利用を確保するため一連の基準に従って関連する結果を表示すること、が生じている。
現在は、2つの異なる種別のシステムが存在する。第一の種別に属するシステムは、それらの相違を測定するため第1の3D(三次元)モデルを第2の3D(三次元)モデルと比較する。第二の種別からのシステムは、参照として与えられた3D(三次元)モデルと類似する3D(三次元)モデルを見つけ出す。
[3D(三次元)モデルの比較システム]
本願の第二のカテゴリーは、参照3D(三次元)モデル(reference 3D model)とのそれらの類似性に基づいて前記3D(三次元)モデルを順序整理する(order)ため、参照する3D(三次元)モデルを一連の3D(三次元)モデルと比較対比することにより、3D(三次元)モデルを見つけることに照準を定めている。見つけられた類似性は、通常は、これらの3Dモデルを順序整理する(order)ために用いられる定量値で表現される。様々な方法が類似性を計算処理するために利用できる。最初は、各々の3Dモデルの分析は、後の比較を効果的に実施するために用いられる表示(representation)を生成する。この場合、この表示(representation)は、しばしば、記述子(ディスクリプタ)、表示(representation)および指数(インデックス index)を含む様々な条件(terms)で参照される。名称は何であれ、表示図面(representation)は、グラフ(US2004/0249809 A1)、あらかじめ定義されたN次元のベクトル(US6,625,607 B1)または3D(三次元)モデルによる変更(変数)などのように、いくつかの形をとる。記述子(ディスクリプタ descriptors)は、通常、比較対比の実行中保存される(saved)。1つの3D(三次元)モデルが、参照(参考用)として選択される。参照する3D(三次元)モデルは、画像、写真または2次元の図面に置き換えられる[3Dモデル検索エンジン、パトリック ミン、博士論文、プリンストン大学、2004年]。必要であれば、記述子(ディスクリプタ descriptors)は計算される。記述子(ディスクリプタ descriptors)は比較される。繰り返して述べるが、いくつかの方法は、[コンテンツベースの3次元工学形状検索、K.ルー、S.プラボカー、K.ラマニ、第20回データエンジニアリング国際会議2004 議事録]で説明されている。比較結果を基に、類似する3D(三次元)モデルは、通常、類似性の指数(インデックス index)として我々が参照する量に基づいて整理順序付けられる(ordered)。これらの結果は、その後、様々な形式(通常は、小サイズ(アイコン、縮小図)の画像)で表示される。
前述のように、参照3D(三次元)モデルの形状に基づいて3D(三次元)モデルを検索するための多くのアプローチが提案されている。幾つかのアプローチは、有機的形態(オーガニックフォーム organic type shapes)に重点を置いており、その他は、緩やかな(厳格でない)類似性(例えば、自動車、椅子、眼鏡を探す)を探索する。特に、これらの方法は、2つの3D(三次元)モデルが正確に同じかどうかを決定するように設計されておらず、製造における公差と同等の程度の正確性を用いている。Siemens(登録商標)社のGeolus(登録商標)やCadenas社のGeoSearchのようなシステムは、この分野の代表的なものである。前記システムは、記述子(ディスクリプタ)を生成するため、テッセレーション化した(tessellated)表示(図面 representations)に近似した3D(三次元)モデルを分析し、また、それらは境界点のサンプルを利用する(US20100073365)ため、比較の正確性が劣化する。3D(三次元)モデルから記述子(ディスクリプタ)を抽出するため、およびそれらを比較するための幾つかの提案された方法では、高度な(high)計算時間を必要とし、それ故に、処理する3D(三次元)モデルの数が増加すると(例えば、100万件以上のモデル)や、インタラクティブ(対話型)サーチにおいて、応用(採用)することが困難となる。
更に、これらの、参照3D(三次元)モデルと完全に類似する3D(三次元)モデルの検索(探索)は、すなわち、完全な(complete)3D(三次元)モデルに近付くことになる。既知の3D(三次元)モデルの検索ツールやシステムでは、検索(探索)工程において、3D(三次元)モデルの部品(パーツ)や、これらの3D(三次元)モデルの好ましい部品(パーツ)の検索(探索)を実行するための情報や技術のどちらも有していない。
アメリカ合衆国特許US2004/0249809 A1 アメリカ合衆国特許US6,625,607 B1
全体または一部が類似する不均一な情報源からのデジタル3D(三次元)モデルを検索するためのシステムの需要(必要性)が存在している。そのようなシステムは、その全体や部分的に考察される参照3D(三次元)モデルからの相違を確定し、表記(describe)すべきであり、見出した相違点や類似点において関連する幾つかの情報とともに結果を表示するべきである。そのようなシステムは、異なる基準に従い、極めて高度な正確性を提供すべきであり、大量の3D(三次元)モデルを扱うよう構成されているべきである。
これらの要求に対応するため、ある方法が提案される。前記方法は、最初に、3D(三次元)モデルを識別する(または、索引付けをする(index))ための記述子(ディスクリプタ)を構築するように構成されている。構築された記述子(ディスクリプタ)は、完全な3D(三次元)モデル、3Dモデルを構成する各々の固形物(通常の意味での三次元の幾何学形状(ジオメトリック)および位相幾何学形状(トポロジカル)の表示(representation))のレベルにおける特性(属性)、そして各々の3D(三次元)モデルを形成する面(フェース)のレベルにおける特性(属性)(いつも、通常の意味での三次元の幾何学形状(ジオメトリック)および位相幾何学形状(トポロジカル)の表示(representation)の範囲内)も同様に捉える(capture)能力を有する。境界表現は、3D(三次元)モデルの表示(representation)の独自性を保証しない。換言すれば、複合的な境界表現は、同じオブジェクトに相当(一致)し得る。そのような3Dモデルの比較の本質的要素である特性(属性)を得る為に、共通端のうちの一つに沿ったG2連続(幾何学的(ジオメトリック)2次導関数)である面(フェース)は再編成され、G2連続ではない表面に構築される面(フェース)は、要求があれば分割される。全ての後に続くこの方法の工程(ステップ)は、3D(三次元)での表示を除き、必ずしも3D(三次元)モデルを使用する必要はなく、記述子(ディスクリプタ)において用いられる。
この方法は、更に、オペレータ(操作者)によって選択された基準に基づいて記述子(ディスクリプタ)の特性を比較対比する構成からなる。前記工程(ステップ)は、記述子(ディスクリプタ)の記載条件(terms)や特徴の整合(突合 リコンシレーション)と、3Dモデルの部品(パーツ)のレベルに適用されるより厳格な制限(qualification)の相違(例えば、立体の本体(ソリッドボディ)および面(フェース))の2つの要素に基づいている。前記整合(突合)は、すなわち異なる整合(調整 coordinate)システム、異なるCADシステム、および異なる幾何学図形的(ジオメトリック)および位相幾何学図形的(トポロジカル)な表示(図面 representation)において示される3D(三次元)モデルの立体の本体(ソリッドボディ)および面(フェース)のペアリング(符合)の完成(達成)に相当する(corresponds to)。そのようなペアリング(符合)は、処理する3Dモデルの部品(パーツ)だけを考慮することを可能にする(allow)。現在の方法は、通常は次のキャラクタリゼーション(特徴評定 characterizations)に限定される:一致、修正または新規。9つまでのキャラクタリゼーション(特徴評定 characterizations)が用いられ得る(例えば、一致、本質的な一致、一致する幾何学形状(ジオメトリック)タイプ、異なる位相幾何学形状(トポロジー)、等)。3D(三次元)モデルの一部分である、立体の本体(ソリッドボディ)および面(フェース)は、同時に多数のキャラクタリゼーション(特徴評定 characterizations)を保有する。表示するためのマーキングは、これらの特性(属性)(例えば、条件の組み合わせに関連する色彩)、および、オペレータ(操作者)のクエリ(問い合わせ query)の基準に依拠する。相違に基づく機能(ファンクション)は、3D(三次元)モデルを示すため、類似性の指数(インデックス index)(または類似性)を決定する。
処理されるデジタルオブジェクトは3D(三次元)モデルであることから、単一の3D空間の中に3D(三次元)構造(映像(シーン))のフォームの結果を伝達する新しい方法が提案されている。軸の一つは、類似値を表しており、そこでは、面(フェース)のマーキング(色、など)が相違するタイプを表すために用いられている。そして、他の二軸は、他の量(数量)や、例えば、コスト、日付、サプライヤー、形状、バージョンなどの属性(特性)を表している。
例として、該方法は、(i)前記オブジェクト(コピーまたは幾何学形状的クローン(geometric clones)の識別)の製造工程の正確さに匹敵する正確性により参照3D(三次元)モデルと一致する3D(三次元)モデルを識別すること;(ii)機械装置(3Dモデル)中の同一または類似する部品(パーツ)(ソリッドボディー(solid body))を識別すること;(iii)装置またはいくつかの装置群(3Dモデル)中の同一または類似する構成要素(コンポーネント)(ソリッドボディー(solid body)の集合体)を識別すること;(iv)3Dモデルの大規模な任意の分散データベースにおいて類似する3Dモデルを識別すること;他
超高精度で特性(属性)を捉える(キャプチャする)記述子(各々の面(フェース)のレベルにおけるパラメータや特性の組み合わせ)および、面(フェース)の整合(突合)および評定(qualification)の原理を含むコンパレータ(比較器)の能力のおかげで、システムは、例えば3Dモデルの部品(パーツ)のように、形状特性(form features)を識別および認識することができる。例として、システムは、(i)様々な3Dモデルにおける所定の直径からなる貫通孔および軸間の間隔(長さ)の組み合わせ(切断(分離)された面(フェース)およびそれらのパラメータの組み合わせ);(ii)鍵穴(接続された面(フェース)と内在する(固有の)パラメータの組み合わせ);(iii)一または数個の3Dモデルにおける面(フェース)または同一または類似の面(フェース)の組み合わせ等、を識別するように構成するごとができる。
各々の要素、(i)体積(容積)と境界の記述(描画)に基づく類似する3Dモデルの検索、(ii)3Dモデルの部品(パーツ)のマルチリポジショニング(マルチな再配置 multi repositioning)や復元(回復 retrieval)を可能にする記述子(ディスクリプタ)の記述条件(term)または特徴の整合(突合)(ペアリング(符合))、(iii)相違点の評定(qualification)の原理、および(iv)複数個の3D(三次元)モデルの間の類似性と相違性を単一の3D(三次元)空間へ統合(結合 combining)したものの結果の表示、は発明に該当する。
本発明の第一の観点(aspect)から、我々は、3D(三次元)モデルの検索(探索)、ソート(分類)、および/または境界表現の比較解析の目的のための3D(三次元)モデルの比較対比方法を提案する。この方法によると、記述子(ディスクリプタ)は、複数(多数)の3Dモデルの各々に提供される。これらの記述子(ディスクリプタ)は、(i)モデリング整合システム(modeling coordinate system)に関しては不変である3D(三次元)モデルの幾何学形状的(ジオメトリック)な特性、および(ii)整合システム(coordinate system)に依存する3D(三次元)モデルの幾何学形状的(ジオメトリック)な特性を包含する。必要な際には、第一(first)の3D(三次元)モデルの部品(パーツ)と、少なくとも別の3Dモデルの部品(パーツ)とを対比(マッチ)させる(ペアリング(符合)プロセス(工程))ための整合システム(coordinate system)に依存しない特性を使用し得る。3D(三次元)モデルの部品(パーツ)を少なくとも他の3D(三次元)モデルの部品(パーツ)に関連付ける(結び付ける)変形グループ(a group of transformations)を決定するために、ペアリング(符合)が成功した部品(パーツ)のために整合システム(coordinate system)に依存する特性もまた、使用され得る。少なくとも、同一の(一致する)変形グループが決定され、そこでは、3Dモデル間の類似性および相違性が、前記同一の(一致する)変形グループ(一定の閾値に関する識別手段)によって、少なくとも一部分において(in part)識別される。
整合システム(coordinate system)に従って一定である3D(三次元)モデルの部品(パーツ)の幾何学形状的(ジオメトリック)な特性は、3D(三次元)モデルの領域、慣性モーメントの固有値、および/または、平らな面(フェース)の外周の長さ(境界線 perimeter)を含み得る。整合システム(coordinate system)に依存する3Dモデルの一部分の幾何学形状的(ジオメトリック)な特性は、重心および/または平らな面(フェース)の慣性モーメントの軸(axes of the moments)を含むことができる。
少なくとも同一の(一致する)変形グループを決定するためのステップは、類似する3D(三次元)モデルの比較を可能にする(allow)ため、少なくとも2つの同一の(一致する)変形グループを決定する事を含むことができるが、そこでは、少なくとも3D(三次元)モデルの部品(パーツ)は、異なる位置および/または方向性となる。
本発明の第二の観点(aspect 特徴)として、3D(三次元)モデルの検索、ソート(分類)、および/または境界表現の比較解析の目的のための3D(三次元)モデルの比較方法が提供される。この方法によると、記述子(ディスクリプタ)は、複数(多数)の3D(三次元)モデル、モデリング整合システム(modeling coordinate system)に依存する、3Dモデルの幾何学的(ジオメトリック)な特性を有する不変の(invariant)記述子(ディスクリプタ)、および、整合システム(coordinate system)に依存する3Dモデルの幾何学形状的(ジオメトリック)な特性の各々に提供される。もし必要であれば、整合システム(coordinate system)に依存しない特徴(特性)は、第一(first)の3D(三次元)モデルから少なくとも他の一つの3D(三次元)モデルの面(フェース)までを対比(マッチ)させる為に用いられる。少なくとも2つの3Dモデルの記述子(ディスクリプタ)の特性間におけるペアリング(符合)プロセス(工程)で得られるデータは、蓄積される。ペアリング(符合)に成功した3D(三次元)モデルの部品(パーツ)のために、変形グループは、同じ整合システム(coordinate system)内において、3Dモデルの部品(パーツ)を再配置することが決定される。少なくとも、3D(三次元)モデルの部品(パーツ)が相違性のタイプに従って作成された2つの3D(三次元)モデルが表示される。他の要素の中で、3D(三次元)モデルの部分の一つとして、面(フェース)を意味する。
本発明の第三の観点(aspect 特徴)として、3D(三次元)モデルの検索、ソート(分類)、および/または境界表現の比較解析の目的のための3D(三次元)モデルの比較方法が提供される。この方法によると、記述子(ディスクリプタ)は、不変の(invariant)モデリング整合システム(modeling coordinate system)に依存する3Dモデルの幾何学形状的(ジオメトリック)特性のある記述子(ディスクリプタ)と、整合システム(coordinate system)に依存する該3Dモデルの幾何学形状的(ジオメトリック)な特性のある記述子(ディスクリプタ)とが、複数(多数)の3D(三次元)モデルに提供される。もし必要であれば、整合システム(coordinate system)に依存しない特性(features)は、第一(first)の3D(三次元)モデルと少なくとも他の一つの3Dモデルの面(フェース)とを対比(マッチ)させる為に用いられる。少なくとも数個の3D(三次元)モデルのペアリング(符合)に関連して回収されたデータ(collection)は、蓄積される。該方法では、3Dモデルの境界表現の検索、ソート(分類)、および/または比較からでた最初(一番目)の結果を包含し、それは、少なくとも部分的に蓄積されたペアリング(符合)プロセス(工程)において使用される。該方法は、更に、これらペアリング(符合)から最初の(initial)データを構築するために最初の(第一の first)3Dモデルと前記少なくとも他の3Dモデル間で面(フェース)を対比(マッチ)させるため、整合システム(coordinate system)に依存して不変である特性(feature)の使用を包含する。3Dモデルの境界表現の検索、ソート(分類)、および/または比較の二番目の結果としては、少なくとも対比(マッチング)プロセス(工程)から生じた部分的に精錬された(refined)データが使用される。
モデリング整合システム(modeling coordinate system)に依存しながらも、不変である3D(三次元)モデルの幾何学形状的(ジオメトリック)な特性として、領域、慣性モーメントの固有値、平らな面(フェース)の外周の長さ(境界線 perimeter)およびそのタイプ(類型)である(例えば、平面、円柱)を含むものであり、モデリング整合システム(modeling coordinate system)に依存する3D(三次元)モデルの幾何学形状的(ジオメトリック)な特性として、平らな面(フェース)の慣性モーメントの重心および/または軸(axes of the moments)を含むものである。
本発明の第四の観点(aspect)として、3D(三次元)モデルの検索、ソート(分類)、および/または境界表現の比較解析を目的とする3D(三次元)モデルの比較対比方法が提供される。その方法は、複数(多数)の3D(三次元)モデルの各々に記述子(ディスクリプタ)、3D(三次元)モデルの特性(特徴)を含む記述子(ディスクリプタ)を提供することを包含する。その方法には更に、第一の3D(三次元)モデル中の、一つ、又は一つ以上の特性(feature)に、関連する重要性(weight)を割り当てることを包含する。該方法は、特性に基づく第一の3D(三次元)モデルと、少なくとも他の3D(三次元)モデルとの間の数的なペアリング(符合)値、および、適用可能な場合は、第一の3D(三次元)モデルのこれらの一つ又は一つ以上の特性に起因する重要性(weight)を生成することが含まれる。
本発明の第五の観点(aspect)として、3D(三次元)モデルの検索、ソート(分類)、および/または境界表現の比較解析の目的のための3D(三次元)モデルの比較方法が提供される。その方法は、複数(多数)の3D(三次元)モデルの各々に、記述子(ディスクリプタ)を提供する事を包含する。該方法は、更に、それら夫々の記述子(ディスクリプタ)を用いる事によって、第一の3D(三次元)モデルと他の複数(多数)の3D(三次元)モデルとの間の数的なペアリング(符合)値を生成する事を含んでいる。該方法は、更に、空間に集団(in clusters)で配置される複合的な3D(三次元)モデルの表示を生成することを含み、そこでは、各々の集団(cluster)が記述子(ディスクリプタ)の一般的な特性に従って定義される。集団(Clusters)は、検索クエリ(疑念:query)を基礎とするか、一または複数の記述子(ディスクリプタ)の特性(特徴)に与えられる重要性(importance)(例えば、記述子(ディスクリプタ)の重み付け(weighting))を基礎とすることができる。
本発明の第六の観点(aspect)として、3D(三次元)モデルの検索、ソート(分類)、および/または境界表現の比較解析の目的のための3D(三次元)モデルの比較方法が提供される。その方法は、“G2連続性”に関して特定の面(フェース)を再編成すること、および、内在する(下部の underlying)面がG2連続でない面(フェース)を切断することにより、面(フェース)の内在する(下部の)面の二次連続性(一般的に“G2連続性”と称する)を基礎とする複数(多数)の3D(三次元)モデルの各々に、記述子(ディスクリプタ)を提供することを包含する。
本発明の第七の観点(aspect)として、3D(三次元)モデルの検索、ソート(分類)、および/または境界表現の比較解析の目的のための3D(三次元)モデルの比較方法が提供される。その方法は、少なくとも2つの3D(三次元)モデルから異なる部品(パーツ)を選択することを包含する。該方法は、更に、相違のタイプを基礎として、各々一致する部分を識別する(identifying)ことや、一致する部分を評定する(qualify)ことを包含する。該方法は、更に、状態(一致、相違タイプ)の評定(qualification)に従い、一部分(portions)を構成する(make)ことにより少なくとも1つの3D(三次元)モデルを表示することを包含する。
いくつかの実施例によると、3D(三次元)モデルの集合から、3D(三次元)モデルを探し出すために用いられる検索システムは、記述子(ディスクリプタ)が、少なくとも3D(三次元)モデルの一つの特徴または部品(パーツ)の特徴/特性を選択することに用いられるセレクタ(選択手)からなるか、または、検索のための異なる重要性(weight)に所以することになると考えられるものであり、3D(三次元)モデルの記述子(ディスクリプタ)を介するクエリ(疑念)3D(三次元)モデルを使用する、または、3D(三次元)モデルコンパレータ(比較器:comparator)(このコンパレータは、前記特性の重要性(重み)や検索クエリの3D(三次元)モデルの部品(パーツ)を考慮して、記述子(ディスクリプタ)と記述子(ディスクリプタ)の集合とを比較すること、および比較を基礎とした3D(三次元)モデルのリストの生成が可能)を使用する。
特徴のセレクタ(features selector)は、重要度の値を、前記検索クエリ(疑問)3D記述子の記述子(ディスクリプタ)の特性(特徴)に割り当てる。該システムは、検索結果のソート(分類)システム、および、予め定められた基準に従って配置されおよび整理された、少なくとも一致する(相当する corresponding)3Dモデルのリストの一部分とともに表示可能な映像(シーン scene)を生成するように形成されたビュージェネレータ(view generator)も構成に含ませることが出来る。そのようなソート(分類)された3Dモデルは、記述子(ディスクリプタ)から計算される類似指数(インデックス index)に基づいて整理することができる。これらの予め選択された基準は、記述子(ディスクリプタ)に依存する基準を含むことができる。特徴のセレクタ(features selector)は、3Dの結果セット中の重要な(significant)記述子(ディスクリプタ)を認識し、重要な(significant)記述子(ディスクリプタ)のうちの一つを選択するように構成され得る。記述子(ディスクリプタ)は、体積測定(volumetric)の構成要素(コンポーネント)および面(フェース)またはいくつかの他の境界表現を包含することができる。
いくつかの実施例によると、製品の製造工程は、少なくとも、製品の一部分の製造のための3D(三次元)モデルの開発によって特徴付けられ、前記3Dモデルは、3D(三次元)モデルの検索/比較システムを使用することや、本発明による何れかの実施例に従ったプロセスにより直接選択され、場合によっては修正される。
[定義]
本願中、次の用語は、以下の意味合いを持つ。
[3Dモデル]
この明細書では、3D(三次元)モデルの語句(expression)は、オブジェクト(対象物)の三次元空間におけるデジタル表示(representations)であることを表現することに用いられる。3D(三次元)モデルは、一または複数のオブジェクト(対象物)とそれらの周囲との間の境界線を描画(表現)する。例えば、境界線は、一般的には、例えばCADシステムやCAMシステムのSTEP規格や幾何学的(ジオメトリック)モデラにおける境界表現(B−Rep)や、STLやVRML形式としてのテッセレーションを基礎としている。境界線は、一以上の端(境界 edge)によって限定される表面である、一以上の面(フェース)からなる。面(フェース)は3D(三次元)モデルである。接合された或は接合されていない複数の面(フェース)は、3D(三次元)モデルである。ソリッドボディ(solid body)として一般的に知られる三次元のユークリッドサブ空間を表す一組の面(フェース)は、3D(三次元)モデルである。複数のソリッド(solids)を表す一組の面(フェース)は、3D(三次元)モデルである。現在の定義において、3D(三次元)モデルのあらゆる部品(パーツ)は3D(三次元)モデルであり、またあらゆる3D(三次元)モデルの合成は3D(三次元)モデルである。3D(三次元)モデルは、製造プロセスにおいて用いられ、或は推奨される材質の性質のような純粋な幾何学的形状(ジオメトリック)以外の情報を包含し得る。
[記述子(ディスクリプタ descriptors)]
記述子(ディスクリプタ descriptors)は、表示(representation)が通常は3D(三次元)モデル自身よりもより効率的でより簡潔であるという特有の(specific)目的に適している3D(三次元)モデルの表示(representation)形式であり得る。記載(description)は、3D(三次元)モデルまたはその部分を特徴付ける一組の情報を包含することができる。場合によっては、記述子(ディスクリプタ)は、網羅的ではないが例えば、3D(三次元)モデルの境界ボックス(bounding box)の面積(体積、寸法 dimensions)、その体積(volume)、その領域、その主慣性モーメント、その重心、その慣性主軸、3D(三次元)モデル中のソリッドボディのリスト、そして同様に3D(三次元)モデルである各々の体積、全体の領域、主慣性モーメント、重心、慣性主軸など、3D(三次元)モデルの体積測定(ボリューメトリック volumetric)の特性のリストを包含する。場合によっては、記述子(ディスクリプタ)は(網羅的ではないが)、例えば、3Dモデルの面(フェース)のリスト、および、内在する(下部の)面とそのパラメータのタイプを含む特徴リスト、境界ボックス(bounding box)の面積(体積、寸法 dimensions)、領域、外周(perimeter)、慣性モーメント、重心、慣性主軸などを含む。3Dモデル間の相違点や類似点は、記述子(ディスクリプタ)の比較と呼ばれるプロセスから得られる。3Dモデルもまた、記述子(ディスクリプタ)であり得る。3Dモデルは、いくつかの(several)異なる記述子(ディスクリプタ)を持つことができる。
[形状特性(フォームフィーチャー Form feature)]
形状特性(フォームフィーチャー form features)は、特定の処理のための特定の目的(利害:interest)を持った記述子(ディスクリプタ)(3Dモデルのため)の部分または属性(所以)として理解され得るであろう。形状特性(form features)または輪郭の特徴は、同様に、記述子(ディスクリプタ)または、記述子(ディスクリプタ)の、複数(多数)の要素のいくつかの結合体として定義される。例として、円筒形状の面(フェース)の直径の値が基本形状特性(form features)であり、2つの孔の中心間距離の値も形状特性(form features)であり、そして、円形終端の鍵穴も形状特性(form features)である。これらの例は何れも、記述子(ディスクリプタ)の一部分に一致(correspond)し、そこでは、形状特性(form features)は、記述子(ディスクリプタ)によって決定される。その最も基本的なフォームにおいて、形状特性(form features)は、よりシンプルに、特徴(フィーチャー)や特性(キャラクタリスティック)と呼ばれる。特性(キャラクタリスティック)は、もし、前記3D(三次元)モデルかその記述子(ディスクリプタ)のみに依存し、および環境(コンテキスト)(例えば、特徴(フィーチャー)を包含する3Dモデル)からではなくそれ自身によって決定されるのであれば、3D(三次元)モデルまたはその記述子(ディスクリプタ)に内在的特質(本来備わっていた)と称される。それ以外の特徴(フィーチャー)は、外因性特質(エクストリンシック)と称される。
[ペアリング(pairing 符合)]
ペアリング(符合)は、2つの記述子(ディスクリプタ)の間の特性(キャラクタリスティック)の一致を決定するためのプロセス(工程)を意味する。例えば、記述子(ディスクリプタ)の一部分は、ソリッドボディ(固体)や面(フェース)の特性を示し得る。ペアリング(符合)プロセス(工程)は、2つの記述子(ディスクリプタ)の一部分が類似の特性(例えば、同一であるか、または数値の中間のものを含む)を共有するとき、記述子(ディスクリプタ)の一部分と他の記述子(ディスクリプタ)の一部分(同じものか他の記述子(ディスクリプタ))とを照合する。そのようなプロセス(工程)は、とりわけ、空間中のそれらの位置を考慮する事なしに、個別の記述子(ディスクリプタ)、ソリッドボディ(固体)、または3Dモデルの面(フェース)を通して、対(ペア)にすることを可能にする。ペアリング(符合)プロセス(工程)は、3Dモデルが同じ幾何学的(ジオメトリック)な表示(representation)(例えば、STEPおよびパラソリッド)に示されている事や、一般的な整合システム(coordinate system)に示されている事を必要としない。
[調整(突合 リコンシレーション Reconciliation)]
調整(突合)は、対(ペア)にされた記述子(ディスクリプタ)の一部分と関連付けられる形状特性(form features)の空間中の相対的位置を考慮することによる、要素(構成部分)の集積のプロセス(工程)を意味する。該プロセス(工程)は、一般的な整合システム(coordinate system)における形状特性(form features)の位置調整(positioning)を可能にする変換行列(transformation matrices)のグループを決定する事によって進行する。前記プロセス(工程)は、とりわけ、3Dモデル間の同一または類似の形状(フォーム forms)の特性の認識を可能にする。従って、面(フェース)のレベルにおける一例として、ペアリング(符合)は、内在する(固有の)特性を共有する面(フェース)を識別する。例として、いくつかの面(フェース)のタイプ(種類)が円筒形状であれば、直径は5から6mmの間で長さは20mmであり得る。調整(突合)の間、外因性のパラメータが考慮される。例として、円筒形状の面(フェース)の軸の方向は、Z軸に等しく、中心間距離は20mmと等しくなる。ペアリング(符合)−調整(突合)プロセス(工程)は、反復して適用される。
[記述子(ディスクリプタ)の比較分析]
記述子(ディスクリプタ)の比較分析は、オペレータ(操作者)によって指定(特定)されるクエリ(疑問:query)に従い、記述子(ディスクリプタ)間の同一または相違する特性を決定し、記述(掲載)するプロセス(工程)である。比較は、記述子(ディスクリプタ)の全体または一部分のみにおいて実行される。オペレータ(操作者)によって指定(特定)される相違の重要性(重み付け:weighting)は、それぞれの部分の特定の形状特性(form features)を強調すること、または、単に3D(三次元)モデルの一部分のみを考慮することの所以になると考えられる。各部に起因し得る。類似指数(インデックス index)は、記述子(ディスクリプタ)の比較分析から決定される。
[オペレータ(操作者)]
オペレータ(操作者)とは、他のコンピュータシステムにおける人間のオペレータと、システムと対話形式またはオフライン(バッチモード)でやり取りをすること、の両方を指す。
本発明の実施例は、以下に列挙する、本発明の実施例の詳細な説明中に現れる例示番号の付された図面を通して、より良く理解することができる。
図1は、本発明の実施例に従ったプロセス(工程)の一連のステップの図表を示す。
図2は、少なくとも図1に示されたプロセス(工程)を実行するために設定される実施例に従ったコンピュータシステムのブロック図を示す。
図3は、3D(三次元)モデルのビュー(立体図)である。
図4は、図3の3Dモデルの簡略板のビュー(立体図)である。
図5は、一般的な方法で3D(三次元)モデルの面(フェース)を識別する図4の3D(三次元)モデルのビュー(立体図)である。
図6Aは、この実在するものとして表示した参照3D(三次元)モデル(reference 3D model)として用いられる3D(三次元)モデルのビュー(立体図)である。
図6Bは、比較のプロセス(工程)を説明するための、図6Aに示されるものに類似する3D(三次元)モデルのビュー(立体図)である。
図7Aは、最初の位置と揃えた(following an initial position)図6Aおよび図6Bの3Dモデルのビュー(立体図)である。
図7Bは、2番目の位置に揃えた(following an initial position)図6Aおよび図6Bの3Dモデルのビュー(立体図)である。
図8は、参照3Dモデルの斜視図および詳細や実施例を記述(説明)することに用いられる制約(条件)の一式を示すオペレータ(操作者)による制約(条件)の定義へのインターフェース(interface)を示す。
図9は、参照3D(三次元)モデルと、それら(対象物)との比較の結果、並びに、オペレータ(操作者)によって定義された制約、に従って、配置され、マークされた複数(多数)の類似3Dモデルの斜視図である。
図10は、分散型アーキテクチャ(構造)に基づく、図2のコンピュータシステムのバージョンのブロック図を示す。
[本発明の実施例の詳細な説明]
本発明の実施例は、図1と図2に基づいて説明され、参考(資料)3D(三次元)モデルと数多くの3D(三次元)モデルとの間の記述子(ディスクリプタ)に共存付随する類似性および相違性とを確定する一連の工程からなる。検討対象となる多数の3D(三次元)モデルは大変に異なっていることがある。目的が、いくつかの既知の3D(三次元)モデルと、参考にする3D(三次元)モデルとを比較対比するものである限り、その多数の数は低くてもよい。これに対し、目的が好適なまたは類似する3D(三次元)モデルを見つけることである場合は、数千またはむしろ数百万以上の既存の3D(三次元)モデルの記述子(ディスクリプタ)について探索調査を実行することになる。図2は、図の1、2に示す基本ステップを実行することができるソフトウェアシステムのブロック図を示すものである。
図3は、部品(パーツ)の3D(三次元)モデルの一例を示すものである。以下における実施例の詳述を簡単にするため、図4は、図3の3D(三次元)モデルを単純化した態様となっている。この単純化した態様が、以下の説明で使用される。図示では、上部と下部で異なるサイズの2つの円形開口と上部と下部とを連結する中間部という内容が示されている。
図5では、面(フェース)にSi 1からSi 20のマークが付けられている。標識付けは全く任意なもので、他の3D(三次元)モデルとは相違してもよい。ここで、面f(フェース)が3D(三次元)モデルmの面(フェース)fを特定(識別)している。この実施例の記述子(ディスクリプタ)は、3D(三次元)モデルの種類(タイプ)の特性のリスト、タイプ(TypePar)によるパラメータ、ソリッドボディ(固体)や領域の場合、面(フェース)INT(N)である場合、面(フェース)の外周(INT(N-1)である場合にはそのボリューム(重量)、重力(GX、Y、Z)の中心、慣性モーメント(M1、2 、3)、慣性(Ai x, y, z with i = 1, 2, 3)の軸、3D(三次元)モデルを構成するための各立体または3D(三次元)モデルの完成またはモデルを形成するそれぞれの面(フェース)のための境界ボックスの寸法(BX、Y、Z)からなるものであってもよい。
境界表現は、例えば、1以上の境界表現が特定された3D(三次元)モデルの対比のために存在する可能性があり、独自の特性は表わしていない。しかし、その独自の特性が、3D(三次元)モデルの比較対比には不可欠である。他のモデリングシステム(たとえば2D(二次元)CADシステム)で使用する3Dモデルの境界を構成する面(フェース)のセットは、必ずしも独自性のない可能性がある。この問題を解決するために“厳密なG2連続”面(フェース)が使用されている。かように、もし二つの面(フェース)が共通する縁に沿って、通常G2で表わされる幾何学的二次関数で連続している場合、面(フェース)は単一面を形成するようにグループ化される。同様に、面(フェース)の下部にある表面(underlying surface)が連続G2ではないものは、下部の面(underlying surface)がそれぞれ連続G2の面となるように、複数の面(フェース)に分割される。このような方法で処理することにより、境界表現の面(フェース)のレベルにおける独自な特性は復元される。
表1は、図6Aの3D(三次元)モデルの特性の値を示したものである。記述子(ディスクリプタ)(Mod3Dカラム)内の3D(三次元)モデルの識別子と、3D(三次元)モデルそれ自体との間のリンク(関連付け)は、例えば、ルックアップテーブルを用いて解決することができる。
図6Bは、その他の3D(三次元)モデルを表示したものである。表2は、記述子(ディスクリプタ)の特性の値を示したものである。
図1において、記述子(ディスクリプタ)を構築するためのステップ(工程)がS100である。全ての3D(三次元)モデルは、この工程の対象となる。前記ステップ(工程)は、異なる時間に行うことが出来る。適切な記述子(ディスクリプタ)は3D(三次元)モデルのデータと共に、または別々に格納することができる。
図2において、3D(三次元)モデルは、S30のデータストア(情報格納庫)に格納される。データストアS30は、3D(三次元)モデルの単なるデータストア(情報格納庫)として、または分配(配送)ストレージ(格納庫)として構築される。記述子(ディスクリプタ)のジェネレータS32は、データストアS30で3Dモデルを読み込み、第二データストアであるS34内に記述子(ディスクリプタ)を保存する。該データストアS34はS30のデータストア内に統合することができるが、また、分離していてもよいが、また、リモート(遠隔地設置)であってもよい。
システムは、比較対比される3D(三次元)モデルを制御する3Dモデル管理システムS40からなる。資料となる3D(三次元)モデルS42のセレクタ〈選択子〉またはジェネレータは、操作者が、資料となる3D(三次元)モデルを選択または生成(ジェネレート)することを許容する。資料となる3D(三次元)モデルの記述子(ディスクリプタ)は、記述子ジェネレータS32を用いて生成され、検索エンジンや比較エンジンS50に入力されることになる。S50エンジンは、データストアS34から記述子(ディスクリプタ)を入手または取得する。
図2に記載されているシステムは、独立したワークステーション上に構築されてもよいが、データの処理、保管、管理を容易にするために、異なるコンピュータおよび/またはサーバ間に分散(拡散)させることもできる。
図7Aは、図4の3D(三次元)モデルに、図6Bの第二の3D(三次元)モデルを重ね合わせたものである。後者(7A)は、資料3D(三次元)モデルとの差を表わしており、中央部分が長く(中心から中心までの距離が120ミリメートルから150ミリメートルに伸長し)、かつ、中央部分が30度の相違で底に接している。図6Aの3D(三次元)モデルは、図1および図6Bの3D(三次元)モデルのステップS102で選択された資料の3Dモデルで、資料は方法を説明するためのものである。このような比較対比は、それぞれの利用可能な3Dモデルに対して行われる。
図7Bは、異なる相対的な位置関係にある2つの3D(三次元)モデルを示している。従来技術に記されたシステムでは、3D(三次元)モデルを比較するために、一つの相対的な位置だけを使用している。相対的な位置関係は、2つの3D(三次元)モデルの“最良のフィット”を使用したり、又は、オペレータ(操作者)によって、それぞれの3Dモデルに特定の総合関連により自動的に決定される。以下の実施例で採用されている手法において記述子(ディスクリプタ)の面(フェース)の特性は、比較される3D(三次元)モデルの形状特性(初期3Dモデルの部品(パーツ))の整合(突合)を容認するすべての相対的な位置関係から決定される。
2つの3D(三次元)モデル間での固体のレベルの比較は、研究目的のために有益な結果をもたらす可能性があるが、このような方法は、3D(三次元)モデルと、他の(高度の複雑性ある)3D(三次元)モデルで1つまたは複数の部品(パーツ)からなる探索調査される3D(三次元)モデルの内部、との同一性を探索するのには有効ではないかもしれない。面(フェース)の比較対比では、所望の3D(三次元)モデルを含む可能性のある3D(三次元)モデルを識別するために、その面(フェース)を対比(マッチング)させることが許容される。面(フェース)の対比(マッチング)は、2つの工程(ステップ)における記述子(ディスクリプタ)の比較対比の反復プロセスによって得られる。最初の工程(ステップ)では、内在的(固有)な3D(三次元)モデルの詳細仕様に基づいて、ペアリング(符合)する。一例としては、領域または固有の3次元モデルの慣性モーメントがある。二の工程(ステップ)としては、例えば3D(三次元)モデルの重心または慣性軸、3D(三次元)モデルにも記載されている整合系に依存した特性、さらに一般的には、3D(三次元)モデルのコンテキスト(凡例)のような3D(三次元)モデルの外因的特性に基づいて整合(突合)を試みる(施す)。
面(フェース)の識別(ラベリングするという意味で)は、対比する3D(三次元)モデルの間で典型的に異なる。しかし、我々の簡略化した例についてのコンテキスト(凡例)では、ナンバリングは、プロセスの理解を容易にするために同一にしている。記述子(ディスクリプタ)の面(フェース)の内在的(固有)な特性を使用して、3D(三次元)モデルの間で面(フェース)を一致させている。例えば、特徴領域Int(N)、外周のInt(N-1)、および Si,5、Si,18、Si,6、Si,4の面(フェース)の3つの慣性モーメントM1、2、3の値は、独自性があり、かつ同一であるので、したがって、これらの面(フェース)は、最大信頼感指数1として、3D(三次元)モデルの間で一致している。これとは対照的に、面(フェース)のための固有の値のSi,7、Si,8、Si,16、Si,17には独自性はなく、面(フェース)の複数の潜在的なペアリング(符合)に包含され、例えば、S1,7は{S2,7、S2,8、S2,16、S2,17}に、また、S1,9も{S2,9、S2,25}となる。未確定な面(フェース)のペアリング(符合)は、調整(突合)工程の中で送出される。S1,1、S1,2、S1,3 と S2,1、S2,2、S2,3の表面は、それぞれ、固有の特性の値が独自的であるが、いくつかの値が2つの比較対比される3D(三次元)モデルの面(フェース)の間で異なる。2つの比較対比される3D(三次元)モデルの面(フェース)には、信頼感指数が1未満であるとしてペアー(対)にされている。この指数は他の方法を用いて算出することができる。簡略化のために、指数を計算するための簡単な方法が提示されている。その方法としては、各特性の指数の総計が使用されており、考察される特性の数で割ったものが考慮に入れられている。定量パラメータとして使用する場合、例えば、インデックス(指数)が1マイナス以下と計算されたとして、この特性の値とそれらの平均の値の差異の比率の絶対値は、たとえば、|(Vref-Vcomp/((Vref+Vcomp)/2)|となり、定性パラメータとして使用される場合、表(テーブル)の値は事例における差異に対応する。判りやすく言えば、この方法は、単に例として使用されたもので、他の実施例のプロセスでは異なった定義をされている。この指数は、本発明の実施例では、2つの3D(三次元)モデルの間における類似性の指数の決定に関与する。二つ比較対比される3D(三次元)モデルの数多くの面(フェース)が異なっていてもよく、本発明の工程の最終段階でも面(フェース)がペアー(対)にならないで残ることもある。
記述子(ディスクリプタ)の簡略化した例と、ペアリング(符合)段階の後の前記実施例との比較の結果は表(テーブル)3に表示されている。
表3は、面(フェース)の固有の特性との比較に次ぐ、不完全なペアリング(符合)(類似するが同一ではない3D(三次元)モデル)を示す固体の固有の特性の比較を示すものである。たとえば、同一の特性の値による完全な独自のペアリング(符合)とマルチペアリング(符合)、または、同一の特性の値によるペアリング(符合)とマルチペアリング(符合)、または、部分的にのみ同一な特性の値、それゆえ、1に満たない信頼値に基づくペアリング(符合)のようないくつかの例が示されている。曖昧さは、調整(突合)フェーズの次に投げられる。
ペアリング(符合)処理は、3D(三次元)モデルの面(フェース)のレベルで記述される。同様のプロセス(処理)は、3D(三次元)モデルで存在すれば、複数の固体の立体レベルにも適用可能であると理解される。ペアリング(符合)は、同じ原理に基づく記述子(ディスクリプタ)の存在を例とする、ボリューム(INT(N))、地域(INT(N-1))、慣性の3モーメント(M1、2、3)により、固有の特性を使用して行われる。プロセス(処理)は、また、例えば、3D(三次元)モデルのアセンブリを比較するのに用いられ、より複雑なシステムのサブシステムを見つけることにも使用され得る。ステップS120(図1参照)から始めると、信頼感指数は、プロセスにおいて、計算の効率を高めるために使用される一時的な類似係数に相当する。資料となる3D(三次元)モデルとの関係で計算された信頼感指数を有する3次元モデルは、オペレータによって決定された閾値を下回った場合、記述子(ディスクリプタ)と一時的な類似指数(図1のステップS122)との間の比較対比は生成しない。この工程(ステップ)は、類似の蓋然性のある3D(三次元)モデルの迅速な表示を提供し、必要のない比較の改変をすることなしに、数多くの3D(三次元)モデルの取扱いを許容する。
ペアリング(符合)は、3D(三次元)モデルとして知られている部分の記述子(ディスクリプタ)の内部パラメータを解析した(面(フェース)または面(フェース)のセット(形状特性)、1つまたはいくつかの固体)からなる3D(三次元)モデルか又はその一部を比較対比する。この段階では、各3D(三次元)モデルは、他の3D(三次元)モデルと比較した3D(三次元)モデルの相対的な位置を考慮することなく、単独と考えられている。
3D(三次元)モデルのスケール(尺度)については、概してよく明示(定義)されていると考えられ、寸法の特性に対する低い信頼感指数がペアリング(符合)を拒否する理由と考えることができる。しかし、いくつかのケースでは、スケーリング(尺度)の要素は、面(フェース)のペアリング(符合)プロセス(処理)の中で決定されるので、ペアリング(符合)は、与えられたスケール(尺度)の要素と理解(悟る)することができる。
資料となる3D(三次元)モデルと比較される、各3D(三次元)モデルの表(テーブル)における行(横列)の中のデータの追加は、図1のステップS124において処理される。類似する3D(三次元)モデルの閾値が得られた場合、または使用可能なすべての記述子(ディスクリプタ)の比較が完了した場合、比較対比処理の更改(調整)が(ステップS126で)継続される。ステップS126から、この方法はさらに、例えば、多くの対になった面(フェース)、または対になった面(フェース)の面積の合計とすべての面積の合計の割合、更には、一時的に類似指数を決定するであろう他の関数、に基づけば、ほとんど類似とされる3D(三次元)モデルを識別するためのステップからなる。また、図1を参照すると、本願発明の方法はさらに、3D(三次元)モデルの調整(突合)のステップを含んでいる。上記の定義に基づけば、3D(三次元)モデルは、一つまたは複数の面(フェース)、または1つもしくは複数の固体であってもよい。この方法はさらに、最も有望な3D(三次元)モデルに焦点を当てることからなるものである。
図2で、比較対比するためのエンジンS52は、記述子(ディスクリプタ)の比較対比をするとともに、データストア(格納庫)S54の格納(ストーレージ)において、記述子(ディスクリプタ)の表(テーブル)に示された比較データのストレージ(格納)処理を行う。エンジンS50は、プロセス(処理)を制御し、類似度指数の計算を行う。
図1に示す調整(突合)S140の工程(ステップ)は、アカウントに記述子(ディスクリプタ)と、記述子(ディスクリプタ)の外因性の特性と、さらに詳細には、3D(三次元)モデルの間の相対的な位置関係を考慮に入れることからなる。最終的な(信頼度=1を有する)ペアリング(符合)を使用して、整合(突合)システムの変換マトリックス(行列)が決定される。変換マトリックス(行列)は、資料となる3D(三次元)モデルの整合(突合)システムのように、共通の整合(突合)システムの中で比較された3D(三次元)モデルを再配置する。変換マトリックス(行列)による決定は、当技術分野でよく知られており、かなりルーチン(所定の)操作となっている。この段階では、いくつかの変換マトリックス(行列)が生成されている。3D(三次元)モデルに適用した場合、マトリックスのいくつかは、マトリックスの計算に貢献する3D(三次元)モデルの調整(突合)にのみ使用される。このように、マトリックスの関連性は低く、マトリクスは、ステップS142で廃棄される。
判りやすく言えば、整合システムの変換または変換マトリックス(行列)は、少なくとも同一のグループの(計算公差を考慮に入れた)変換を確定明示するために記述子(3Dモデルの部品(パーツ)、例えば面(フェース))のすべての幾何学的特性の間の計算をしなくてもよい。丁度、最初の特性(例えば、第1の面(フェース))の変換が他の特性(例えば、他の面(フェース))の変換に応用できるように計算されているであろうように。したがって、共通の変換を持つ特性のグループが開発されてもよい。
保持されている変換マトリックス(行列)を適用することにより得られた各再配置については、外因の特性は、(ステップ144)で比較対比される。ここの例では、2つのマトリックス(行列)が保持されている。第1のマトリックスM1は、3D(三次元)モデルを図7Aに示すように配置する。すでに積極的に対となった面(フェース)、Si,5、Si,6およびSi,18は、調整(突合)して完全に整合一致している。面(フェース)は、特定の位置において同一と判定される。生成したマトリックス(行列)を使用して、Si,7、Si,8、Si,9、 Si,15、Si,16およびSi,17の面(フェース)のペアリング(符合)の曖昧さは解消された。残りの面(フェース)は、調整(突合)され、また、位置決めのために同一と判定される。最後に、面(フェース)S1,2とS1,10の記述子の外因の特性が、S2,10とS2,14と比較対比される。比較対比によって、複数の値が同一、また、その他は、相違すると認定される。面(フェース)は、1未満の信頼感指数と調整(突合)される。面(フェース)は相違すると識別され、識別された相違は、マーキング段階で実証開示される記述子(ディスクリプタ)の比較対比の使用により認証(格付)される。第2のマトリックスM2は、3D(三次元)モデルを図7Bに示されるように配置するために適用される。積極的に対になった面(フェース)Si,4およびSi,6は、調整(突合)して完全に整合一致する。したがって、対になった面(フェース)は、この第2の位置決めで同一と宣言される。最後に、Si,11、Si,12、とSi,13は、1以下のインデックス(行列)を使用して調整し、これにより、特定の位置決めのための相違を形成する。信頼感指数の所定の閾値に基づいて、例えば、Si,3のような面(フェース)も調整(突合)する。複数の変換マトリックス(行列)は、いくつかの面(フェース)を何度も調整(突合)するように導くことがある。そのような場合、最高の信頼感指数のある調整(突合)が使用される。これらのマトリックス(行列)は、すべてのケース内の全ての曖昧さを解決はしないで、時々、いくつかの面(フェース)が孤立したまま残存する。このような面(フェース)は、新しい面(フェース)であるか、若しくは、大幅に修正された面(フェース)である。
表4は、この実施例のために調整(突合)の段階で追加されたデータである。表4の全てのデータ、または、プロセス(処理)の継続に何らかの関心のあるデータ、および、操作者が必要とするデータだけが格納されるであろう。
本発明において導入されたマルチポジショニングの原則が、3D(三次元)モデルの比較対比と相違の概念を完全に再定義すること、および、3D(三次元)モデルの部品(パーツ)(形状特性)を比較対比することが可能であることが判明した。したがって、比較対比は、すべての変換マトリックス(行列)を用いて実行することができ、または、1つまたは複数の特性マトリックス(行列)を用いてすることも、また、オペレータによって選択された記述子(ディスクリプタ)についてのいくつかの特性マトリックス(行列)規定を制約することによっても、実行することができる。判り易くは、ステップS146において、これらの選択に関わる類似性の指数を計算することができる。
調整(突合)(ステップS148)中の固有特性の値は非関連と考えられるので、ペアリング(符合)工程の間に導入された複数またはあいまいな面(フェース)のペアリング(符合)を除去するための比較データのテーブルの切り捨てを含む更なる方法である。表5は、本実施例で内容を一掃した後の比較データを示している。
3D(三次元)モデルの類似の数が十分な数に達するまで、または、すべての利用可能な記述子(ディスクリプタ)がステップS150で比較されるまでのいずれかが達成されるまで、比較プロセスの微細化を継続させる。
判り易くいえば、3D(三次元)モデルを比較対比するようなプロセスでは、類似した3D(三次元)モデルの取得、類似性の指標に従った3D(三次元)モデルの分類、3D(三次元)モデルの分類(クラスタリング)の作成、類似特性と相違特性の強調表示、などの多くの応用が有効であり、さらに、3Dモデルを参照3Dモデルに置換する際に、参照(識別子)の識別または調整(突合)までを可能にしている。
調整(突合)エンジンS56(図2参照)は、データ格納庫S54で上記の操作とデータの更新を行う。
図2を参照すると、この方法は、エンジンS52とS56で起動するデータ格納庫(ストア)S54のテーブルからのデータに依存しているエンジンS50を用いて参照する3D(三次元)モデルに最も近似する3D(三次元)モデルを特定することからなる。特定された3D(三次元)モデルは、システムS46を介してオペレータに表示する準備ができている。システムS46は、3D(三次元)モデルの要求されたビュー(立体図)を生成する。ビュー(立体図)を生成するために、システムS46は、データ格納庫(ストア)S30に格納された3Dモデルを取り出し、マーキングエンジンS45は、比較データ格納庫(ストア)S54からのデータを使用して、同一または相違する面(フェース)をマークしたり、3D(三次元)モデルの他の特性をマークしている。オペレータは、インタフェースS44を介して所望の設定やマーキングの基準を選択する。インタフェースS44は、また、システムS46で生成された3次元空間での3D(三次元)モデルのレイアウトを決定するプロパティ(特性)や機能を選択するもできる。特定の実施例では、S46は、CADシステムやWebブラウザ(Webビューア)を用いて結果を3D表示する。表示される3D(三次元)モデルのレイアウトとマーキングは、操作者のニーズに応じて変化する。例えば、いくつかの場合において、オペレータは、特定の位置決め用の、または複数の位置決め用の3D(三次元)モデルの同一部分(形状特性)の強調表示、または、1つまたは複数の特性の違いですら強調表示すること要求できる。図9に示す、3D(三次元)シーン中の3D(三次元)モデルの位置およびマーキングに基づいて、いくつかの3Dモデルの比較を同時に通信するこのような方法は、全く新しいものであると考えられている。
判り易く言えば、3D(三次元)モデルの比較では、面(フェース)、面(フェース)のセット(形状特性)または、固体の間の差異のいくつかの種類が比較して認定される。マーキングでは、オペレータ(操作者)の要請に応じて、これらの3D(三次元)モデルが識別される。以下には、オペレータ(操作者)の要請に応じた差異の種類の例の図示を提示する。最初の例では、オペレータは3D(三次元)モデルのセットの中でその特性形式が参照3D(三次元)モデルとして提示されたものと同一のものを、該特性形式を入力することなく検索する。この場合、ペアリング(符合)、調整(突合)、マルチ再配置および結果としての面(フェース)のマーキングの処理が行われる。面(フェース)のSi,4、Si,5、Si,6、Si,7、Si,8、Si,9、Si,15、Si,16、Si,17、Si,18の、それぞれ参照3Dモデル(i=1)上のものと、比較された(i=2)のものとは、指定された位置(変換行列)が完全に同一であり、したがって、同一のように説明され、それに応じて(例えばブルーのカラーが使用されて)マークされる。3D(三次元)モデルの面(フェース)Si,1、Si,2、Si,11、Si,13と面(フェース)S1,10、S1,14および面(フェース)S2,10とは最初に低信頼感指数によってペアリング(符合)される。信頼感指数は調整(突合)処理中に増加しているのが観察される。その面(フェース)は取り敢えず、同一の幾何学形状で異なるトポロジー(位相幾何形状)を持つものとして(例えば、緑色を使用して)マークされており、なぜなら、これらは同じ幾何学的特性(軸と半径の円筒表面S1,10、S1,14、S2,10と、同じ正常と位置の平坦な平面Si,1、Si,2、Si,11、Si,13)と、(周囲を特徴づける該記述子の外周)のトポロジー(位相幾何形状)が相違する他の記述子(ディスクリプタ)の特性(値)とを共有している。比較対比の済んだ3D(三次元)モデルの面(フェース)Si,13のペアリング(符合)および調整(突合)は、面(フェース)が変更された面(フェース)と同じであると結論するのに十分に高い(足る)という信頼のレベルには復元しない。この段階で、いくつか未整合(未突合)の面(フェース)が残っているが、最良の選択は残存することである。この場合、特性のタイプ(種類)は同一であり、信頼感指数の閾値に依存している。特性は「整合して(した結果)相違」(例えばハープルカラー(色紫色)を使用)と認定されるか、または、単に「整合しないので新規」(例えば赤色を使用)とされる。面(フェース)は、選択したすべての変換マトリックス(行列)の幾何学とも、それらのトポロジ(位相幾何形状)とも両方から異なっている。面(フェース)S2,19とS2,20は、「整合せず」(例えば赤色を使用)として識別される。
別の例では、3D(三次元)モデルの一部(事実上の参照3Dモデルとなる)を、インタフェースS44(図2参照)を介して、オペレータが選択する。3D(三次元)モデルの一部は、面(フェース)の機能、または、面(フェース)の他の構成要素(インターフェース)との接触、例えば、整合(突合)のステップのための位値(変換マトリックス行列)の確定のためにも使用されている面(フェース)S1,5、S1,1、S1,18並びに表面S1,6、S1,4を図示して表わしている。結果の釈明を容易にするために、オペレータは見つかった3D(三次元)モデルの上の同一面(フェース)(同一の幾何学的形状で調整(突合)された表面)に青色をマークし、同一の幾何学形状でトポロジー(位相幾何学形状)が相違する場合はシアン(青緑色)をマークし、最終的にその他の面(フェース)(考慮されていない、調整(突合)しない、新規)にはグレーから透明を入力する。さて、図6Aと7Bの3D(三次元)モデルを参照すると、面(フェース)S2,5、S2,18が同一と識別され(それゆえ、青)、面(フェース)S2,1、S2,4、S2,6は幾何学的に同一であるとして(したがって、シアン)、その他のすべての面(フェース)は考慮されないとして(したがって、グレー、透明)となっている。
判り易くいえば、オペレータ(操作者)は、適切なグラフィカル・インタフェースS44を使用して、例えば、面(フェース)Si,5、Si,6の中心から中心までの距離や直径または、Si,11、とSi,13の間の平行度および距離を割り付けるように、非常に精確な制約(条件)を設定することができる。これらすべての制約(条件)は、この実施例に含まれる記述子(ディスクリプタ)の特性から計算することができる。
ラベルを付けて、または、相違する感触または特定の面(フェース)に付されたカラーで3D(三次元)モデルを表示することは、当該分野でよく知られている。
違いは、カラー(色)、透明度、テクスチャ(感触)、ハッチ(網掛)、注釈または、マーキングと考えられる他のグラフィック効果を使用して表示される。3D(三次元)モデルの間の類似性は、ビューアに表示された3D(三次元)映像(シーン)の3D(三次元)空間内における3D(三次元)モデルの位置によって表わされる。類似度は、典型的には、オペレータ(操作者)の要求による相違性の最小数を持つ3D(三次元)モデルと認識される。
範囲の広いマーキング(手段)が使用可能であることが理解されなければならない。したがって、類似度指数の関数計算によって得られた3D(三次元)モデルの三次元空間内のそれぞれの位置で類似度は表示される。また、類似性は、3D(三次元)モデルの相違性のマーキングからも察することができる。たとえば、参照3D(三次元)モデルの孔が、他の比較される3D(三次元)モデルの孔よりも直径は小さいが、同一の軸にある場合、3D(三次元)モデルは、あるいくつかの方法でマークされるが、一方で、直径も軸も異なる場合、前記孔は、異なる2つのタイプン相違を区別化するための異なるマーキングを使用してマークされる。
ある実施例では、記述子(ディスクリプタ)の比較の方法は、利害ある関連か、逆に希薄な関連かの特性の定義によって影響される。特性の定義は、操作者による外因特性または内因(固有)特性によって明確化される。図1のステップS152において、3D(三次元)モデルは類似指数、および、オペレータ(操作者)により明示された基準によって選択される。結果は、フォーマットされ、ステップS160で表示される。他の可能な形式の中で、図9に示した3D(三次元)空間内に表示された3D(三次元)モデルは、上記のようなマーキングによる類似点と相違点の表示を付し、さらに3D(三次元)モデルの3D(三次元)空間内での位置決めの使用により、新しいものであること、および、結果の伝達方法を表示している。これらの結果は、テキスト形式(表、リスト、または他の形式)で送信されてよいものと理解している。
図8は、図4の簡略化された3D(三次元)モデルを示し、比較における制約(条件)を定義するためのインタフェースの例を表している。この場合、完全な3D(三次元)モデルは、類似性の評価のための多位置変更を許可することによって比較を行うために考慮に入れられ、制約(条件)として、(i)シリンダのSi,5、とSi,6の軸の間の距離が120と150ミリメートルの間である必要があること、(ii)面(フェース)Si,18とSi,5は平行でなければならないこと、(iii)Si,6は最終的に20ミリメートルの半径を持っていなければならないこと、最後的に(iv)面(フェース)Si,11とSi,13の間の距離は10ミリメートルよりも大きくなければならないこと、が課せられる。制約(条件)は、図2に示された制約決定インタフェースS48を用いて決定される。オペレータ(操作者)は、3D(三次元)モデルのすべて又は一部のみを考慮すると決めることが出来る。この場合、オペレータ(操作者)は、使用する3D(三次元)モデルの部品(パーツ)(これもまた、3Dモデルである)を選択し、各部分について、オペレータは、3D(三次元)モデルの部分が、比較される3D(三次元)モデルと同一であるか単に類似するにすぎないかを表示する。オペレータはさらに、比較対比を行うためにマルチ再配置を使用するか整合システムを設定するかの可能性の選択をする。一例として、整合システムは、3D(三次元)モデルの現在の整合システム、または、制約(条件)が設定されて構築された特別の整合システムであってもよい。最後に、オペレータ(操作者)は、自身にとってより重要な制約(条件)を設定してもよい。例として、ユーザは、2つのシリンダのSi,5およびSi,6の中心と中心の距離について、120〜150ミリメートル(mm)とする制約(条件)を設定することができ、シリンダSi,6を半径620mmとすることや、面(フェース)Si,11とSi,13との距離として、10ミリメートル若しくはそれ以上とすることができる。オペレータ(操作者)は、したがって、記述子(Si,6の半径=20ミリメートル)の外因特性に直接に制約(条件)を設定し、それだけでなく、内因(固有)特性(軸Si,5とSi,6との間の距離、およびSi,18とSi,5との並行性)も設定する。この内因(固有)特性は、類似の指数の計算に加えるために、比較の結果(追加の欄)を含むテーブルに追加される。
制約(条件)を定義する方法は、スケッチ(略図)やアセンブリ(部品)を制約(条件付け)するためにCADシステムにより提供される方法と類似しており、最新技術として知られている。
判り易くいえば、制約がどの程度重みづけられるかと同様に、特性の一覧(inventory of properties)や利用可能な制約、それらの選択の方法(モード)、それらの配置および順序は、基礎的な機能を逸脱しない範囲において、多くのバリエーションに変化し得る。単純に二者択一(選択“保持(keep)/重要”ともう一つの“保留(withhold)/非重要”を区別すること)の提供よりむしろ、例えば、インターフェース(接点 interface)は、重要性の割合や他の較正値として表される、重量値(重み付け値 a value of weighting)を承認(容認 accept)し得る。同様に、オペレータ(操作者)は、オペレータ(操作者)の適用(application)には重要でないとみなされる3Dモデルの部分(パーツ)や一部分を除去する。例として、既定のサイズまたは容積(境界ボックス(bounding box))より小さいソリッドボディ(solid bodies)、または、3Dモデルの全領域(総面積)の特定の(若干の certain)割合より少ないエリアからなる面(フェース)(3Dモデルの単純化)は除去され得る。最大占有率の容積(体積)により比較を強制することもまた可能性がある(アセンブリ(組立品、 Assembly)における空間の予約(指定 reservation))。
比較対比(comparison)のプロセス(工程)の間、例えば2つの円柱間の距離を表現することのような制約は、フィルター(Go/No Go)として用いられ、または、制約が満たされまたはそうでなければ満たされていないことを示すマーキング段階(marking stage)の間のみ介在し得る。これらの制約は、制約との適合性のしるし(indication)と看做され得る類似指数(インデックス index)の計算の際に考慮され得る。
制約が満たされるとき、全てのプロセス(工程)は繰り返され得、または、類似指数(インデックス index)と既に選択された(選択済みの)3Dモデルのマーキングのみが計算(算出)され得ると理解されるであろう。
ある実施態様では、3Dモデルは、計算された類似指数(インデックス index)に従い、記述子(ディスクリプタ)のペアリング(符合)と調整(突合)を基礎とする比較プロセス(工程)に倣って整頓される(順序付けられる ordered)。図9は、参照3Dモデルと類似するヒンジ(蝶番)の構成要素(コンポーネント)の8つの3Dモデルの例を示す(例えば、提示された検索の目的のために、比較対比で用いられる3Dモデル)。3Dモデルは、同サイズの(isometric)3Dビュー(立体図)に配置される(例えば、CADシステムにおけるアセンブリ(組立品、 Assembly))。オペレータ(操作者)は、見方(視点 perspective)を変え得るのは明らかであろう。
参照3Dモデルとして用いられる3Dモデルは、原点(または、右下角)に配置される。青い面(フェース)(*でマークされている)は、比較対比後の相違点のマーキングにおいて考慮される。灰色の面(フェース)(識別されない面(フェース))は、そのような面(フェース)が、例えば結果の説明(解釈、判断 interpretation)を促進するため、一致するか相違するかに拘わらず、マークされない。類似する3Dモデルは、3軸各々と関連する基準を用いて3D空間内に配置される。マーキング(カラー(色)、テクスチャ(感触)、透明度、注釈、など)は、他の基準や情報を示し得る。特に、この図面中、軸のうちの1つは、類似指数(インデックス index)を表すために用いられる。3Dモデルが参照3Dモデルと異なるほど、距離は軸に沿って増加する。同等の規模からなる類似指数(インデックス index)を有する3Dモデルは、第2の軸に沿って集められる(グループ化される)。このように、2つの3Dモデルは、参照3Dモデルの直接隣の最初の列に表示され、2つのモデルのうち1つは同一の(一致する)ものであり、他のものは正確に映し出した(反射投影した mirror)ものである(左/右手、例えば、平面対称性)。相異するが全制約を満たしている結果として生じた3Dモデル(黄色の面(フェース)ではなく、添付図面中ではどの面(フェース)もマークされていない)だけは、2行目に配置される。全ての制約を満たさず、参照3Dモデルとの比較するほど相違する3Dモデルは、次の行に表示される。3行目の最初の3Dモデルは、異なる溝(groove)を有しており、面(フェース)は、それに応じてマークされている(黄色、この図面中、*によってマークされている)。4つの孔とくりぬき(boring)(*でマークされた全ての面(フェース))は、同じ行中の3Dモデルにおいて相違する。
現在の例において、第3の軸は用いられていない。第3の軸は、バージョン、発行源(origin of issue)、製造工程、またはその他のオペレータ(操作者)にとって興味深い3Dモデルの分類のような他の情報を示すために用いられる。
判り易くいえば、参照3Dモデルは、既存のスキャン(走査)された構成要素(コンポーネント)(部品(パーツ)または機構(装置))、または、画面上でオペレータ(操作者)によって程度の差はあるが大雑把に写生(スケッチ roughly sketched)された3Dモデルから得られる。後者の場合においては、オペレータ(操作者)は、検索される3Dモデルの中に現れるにも拘らず、いくつかの詳細を除外(省略)し得る。そのようなインタフェースは、オペレータ(操作者)が、初期参照3Dモデルから、検索の結果中にリストアップされる結果として生じる3Dモデルのうちの一つに切り替えることを可能にする(許可する allow)。参照3Dモデルが置換されたとき、オペレータ(操作者)は、任意に、従前の対比(比較)制約を維持するか新たなものを定義し得る。
前述の3Dモデル対比(比較)システムは、3Dモデルの検索、解析、または統合(区分、分類(クラスタリング))において強力なツールであり得ることが理解されるであろう。多くの産業および他の領域で、前述の方法のみならずシステムの利用は、製品の設計や製造段階を含む、製品のライフサイクルを通して時間の節約を可能にする(allow for)。
図10に示すように、図2のシステムは、複数のコンピュータ、ウェブ(クラウド)または、またはイントラネットで、分散型システムとして展開することができ、オペレータへ、3D(三次元)モデルのデータ格納庫(ストア)へ、記述子の格納庫へ、探索または比較対比エンジンへ、マーキングシステムまたは他のアドオンへ、のリモートアクセスを許可する。図10の例では、探索、比較対比作業は、オペレータ(操作者)のワークステーションからリモートサーバによって実行される。マーキングエンジンと、付属の3D(三次元)映像(シーン)を計算するために使用されるエンジンとは、探索サーバ上にある。他の実施例では、マーキングエンジンは、クライアント側で実行することができる。3D(三次元)映像(シーン)と3D(三次元)モデルは、例えば、ブラウザ(Webブラウザ)での使用のためにオペレータに送られる。同様に、図によれば、記述子(ディスクリプタ)のストレージ(収納)がリモート(遠隔)でホスト(支援)されている。記述子(ディスクリプタ)の生成は、3D(三次元)モデルのデータを格納するための別のサービスとして構築することができる。また、図10に示すシステムは、3D(三次元)モデルとは異なる、別の場所にある3つのデータ格納庫(ストア)を示すものである。
このようなシステムの使用は、オペレータに、ブラウズ、探索、さらに、単一の顧客のワークステーションから複数の発信元の3D(三次元)モデルを比較対比することを可能にしている。
このシステムの使用は、リモートサービスを使用して記述子(ディスクリプタ)を生成させる目的でオペレータ(操作者)に彼の既存の3D(三次元)モデルをアップロードすることを可能にしており、彼の3D(三次元)モデルの探索と比較対比が彼と彼一人によるものか、または、探索と比較対比が他のものを含んだものであるかを比較させる。
表1は、図6Aの3D(三次元)モデルの特性の値を示したものである。
表2は、図6Bの3D(三次元)モデルの特性の値を示したものである。
表3は、3Dモデルのペアリング(符合)後の結果を示したものである。
表4は、3Dモデルのペアリング(符合)および調整(突合)後の結果を示したものである。
表5は、3Dモデルのペアリング(符合)および調整(突合)後に一掃した結果を示したものである(最終ではない)。

Claims (15)

  1. 参照3D(三次元)モデルと多数の(a plurality of)3D(三次元)モデルを比較対比するためのコンピュータに実装される方法において、該コンピュータに実装される方法は:
    参照3D(三次元)モデルの記述子(ディスクリプタ descriptors)と、少なくとも多数の3D(三次元)モデルのうちの1つの一の記述子(ディスクリプタ)との間で、幾何学的(ジオメトリック)特性の類似性および相違性に従って信頼水準(信頼度 confidence level)を計算処理し、各々の記述子(ディスクリプタ)は、少なくとも3Dモデルの1つの面(フェース)と関連付けられる多数の特性を包含する工程と、
    参照3D(三次元)モデルの記述子(ディスクリプタ)の特性と、少なくとも多数の3Dモデルのうちの1つの一の記述子(ディスクリプタ)の特性との間で、計算処理された信頼水準(信頼度 confidence level)を使用して、類似値を計算処理する工程と、
    からなることを特徴とする参照3Dモデルと多数の3Dモデルを比較対比するためのコンピュータに実装される3D(三次元)モデルの比較方法。
  2. 請求項1に記載のコンピュータに実装される3D(三次元)モデルの比較方法は、更に、参照3D(三次元)モデルの幾何学的(ジオメトリック)特性に従って多数の3D(三次元)モデルを再配置することからなることを特徴とする、請求項1に記載のコンピュータに実装される3D(三次元)モデルの比較方法。
  3. 請求項2に記載のコンピュータに実装される3D(三次元)モデルの比較方法において、各々の記述子(ディスクリプタ)は、更に:
    調和(座標)システムに依存する幾何学的(ジオメトリック)特性と、調和(座標)システムの不変量(invariant)である幾何学的(ジオメトリック)特性と、からなるとともに;
    多数の3D(三次元)モデルの再配置において:
    少なくとも参照3D(三次元)モデルの記述子(ディスクリプタ)の不変量(invariant)である幾何学的(ジオメトリック)特性、および、少なくとも多数の3Dモデルのうちの1つの記述子(ディスクリプタ)の一つの不変量(invariant)である幾何学的(ジオメトリック)特性に基づいた、参照3D(三次元)モデルの記述子(ディスクリプタ)のサブセット(sub sets)と、多数の3Dモデルのうちの1つの記述子(ディスクリプタ)の一つのサブセットと、をペアリング(符合)させる工程と、
    参照3Dモデルの記述子(ディスクリプタ)の従属(依存)する幾何学的(ジオメトリック)特性と、少なくとも多数の3Dモデルのうちの1つの記述子(ディスクリプタ)の一つの従属(依存)する幾何学的(ジオメトリック)特性とを用いて、ペアリング(符合)を調整(突合)するために、変換グループを決定する工程と、とからなるとともに;
    変換グループから第一の類似変換を識別する工程
    を包含することを特徴とするコンピュータに実装される3D(三次元)モデルの比較方法。
  4. 請求項3に記載のコンピュータに実装される3D(三次元)モデルの比較方法において、該方法は、更に:
    参照3Dモデルの記述子(ディスクリプタ)の不変量(invariant)である幾何学的(ジオメトリック)特性と、多数の3Dモデルのうちの1つの記述子(ディスクリプタ)の不変量(invariant)である幾何学的(ジオメトリック)特性との間の類似点および相違点に従って、各々のペアリング(符合)の信頼水準(信頼度 confidence level)の計算処理(工程)を含むことを特徴とする請求項3に記載のコンピュータに実装される3D(三次元)モデルの比較方法。
  5. 請求項3または請求項4に記載のコンピュータに実装される3D(三次元)モデルの比較方法において、類似点および相違点を識別するために、第一の変換グループを用いて類似値を計算処理する工程(ステップ)を含むことを特徴とする請求項3または請求項4に記載のコンピュータに実装される3D(三次元)モデルの比較方法。
  6. 請求項3乃至請求項5の何れかに記載のコンピュータに実装される3D(三次元)モデルの比較方法において、該方法は、更に:
    参照3Dモデルの記述子(ディスクリプタ)と、多数の3Dモデルのうちの1つの記述子(ディスクリプタ)の、従属(依存)する幾何学的(ジオメトリック)特性の類似点に従って、参照3Dモデルの記述子(ディスクリプタ)の調整(突合)されたサブセットの各ペアの信頼水準(信頼度 confidence level)を計算処理する工程を含むことを特徴とする請求項3乃至請求項5の何れかに記載のコンピュータに実装される3D(三次元)モデルの比較方法。
  7. 請求項3乃至請求項6の何れかに記載のコンピュータに実装される3D(三次元)モデルの比較方法において、該方法は、更に:
    変換のグループから類似変換の第二グループを識別する工程と、
    該第二変換グループを使用して調整(突合)の信頼水準(信頼度 confidence level)を計算処理する工程と、
    第一および第二変換グループを用いて参照3D(三次元)モデルと多数の3D(三次元)モデル中の一または複数の3Dモデルとの間の類似性と相違性を識別する工程と、
    第一および第二変換グループを基礎とする結合された(combined)類似値の計算処理を行う工程と、
    を含むことを特徴とする請求項3乃至請求項の何れかに記載のコンピュータに実装される3D(三次元)モデルの比較方法。
  8. 請求項3乃至請求項7の何れかに記載のコンピュータに実装される3D(三次元)モデルの比較方法において、
    調和(座標)システムの不変量である幾何学的(ジオメトリック)特性として、少なくとも領域(エリア)、境界(外周)のうちの1つの幾何学的(ジオメトリック)特性を含むとともに、
    調和(座標)システムに依存する幾何学的(ジオメトリック)特性として、少なくとも重心と慣性モーメントの軸のうちの1つの幾何学的(ジオメトリック)特性を含む
    ことを特徴とする請求項3乃至請求項7の何れかに記載のコンピュータに実装される3D(三次元)モデルの比較方法。
  9. 請求項1乃至請求項8の何れかに記載のコンピュータに実装される3D(三次元)モデルの比較方法において、記述子(ディスクリプタ)は、更に、G2連続性(G2 continuity)を有する一組の面(フェース)に関係するG2連続(G2 continuity)の幾何学的(ジオメトリック)特性を含むことを特徴とする請求項1乃至請求項8の何れかに記載のコンピュータに実装される3D(三次元)モデルの比較方法。
  10. 請求項1乃至請求項9の何れかに記載のコンピュータに実装される3D(三次元)モデルの比較方法において、記述子(ディスクリプタ)の一部(portion)は、信頼水準(信頼度 confidence level)の計算処理に使用されることを特徴とする請求項1乃至請求項9の何れかに記載のコンピュータに実装される3D(三次元)モデルの比較方法。
  11. 請求項1乃至請求項10の何れかに記載のコンピュータに実装される3D(三次元)モデルの比較方法において、記述子(ディスクリプタ)は、少なくとも参照3Dモデルの選択された面(フェース)として(のために)生成される事を特徴とする請求項1乃至請求項10の何れかに記載のコンピュータに実装される3D(三次元)モデルの比較方法。
  12. 請求項1乃至請求項10の何れかに記載のコンピュータに実装される3D(三次元)モデルの比較方法において、信頼水準(信頼度 confidence level)の計算処理は、3Dモデルの一または複数の特性、および/または、3Dモデルの特性間における少なくとも一つの制約(条件)、によって影響を受けることを特徴とする請求項1乃至請求項10の何れかに記載のコンピュータに実装される3D(三次元)モデルの比較方法。
  13. 請求項12に記載のコンピュータに実装される3D(三次元)モデルの比較方法において、制約(条件)は、オペレータ(操作者)によって入力されることを特徴とする請求項12に記載のコンピュータに実装される3D(三次元)モデルの比較方法。
  14. データ処理システム、同一または類似の3D(三次元)モデルの探索(検索)、3Dモデルの類似性および相違性の決定、分類、順位付け、順序付け、分類(ソート)、フィルタリングのため、2以上の3D(三次元)モデルを比較対比する処理を達成するように構成されていることを特徴とする前記請求項1乃至13のいずれかに記載の3D(三次元)モデルの比較方法を使用したデータ処理システム
  15. 製品の製造工程(方法)、少なくとも製品の一部を製造する3D(三次元)モデルの操作として特徴付けられる工程であって、前記請求項1乃至13のいずれかに記載の3D(三次元)モデルの比較方法を用いて直接3D(三次元)モデルを選択する、または、選択した3Dモデルを修正することを特徴とする製品の製造方法。
JP2016540980A 2013-12-15 2014-12-12 3dモデルの比較方法および装置 Active JP6508733B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361916279P 2013-12-15 2013-12-15
US61/916,279 2013-12-15
PCT/IB2014/066870 WO2015087308A2 (fr) 2013-12-15 2014-12-12 Methode et systeme de comparaison de modeles 3d

Publications (2)

Publication Number Publication Date
JP2017504108A JP2017504108A (ja) 2017-02-02
JP6508733B2 true JP6508733B2 (ja) 2019-05-08

Family

ID=53370418

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016540980A Active JP6508733B2 (ja) 2013-12-15 2014-12-12 3dモデルの比較方法および装置

Country Status (7)

Country Link
US (2) US20170004621A1 (ja)
EP (2) EP3080783A4 (ja)
JP (1) JP6508733B2 (ja)
CN (1) CN106062827B (ja)
CA (2) CA2929892C (ja)
SG (2) SG11201604822TA (ja)
WO (2) WO2015087308A2 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2750107B1 (en) 2012-12-31 2017-03-15 Dassault Systèmes Groups of faces that form a geometrical pattern
EP2750106B1 (en) 2012-12-31 2021-09-15 Dassault Systèmes Geometrical elements transformed by rigid motions
EP2808810B1 (en) 2013-05-28 2017-01-11 Dassault Systèmes Compression and decompression of 3d modeled object
JP2015146980A (ja) * 2014-02-07 2015-08-20 セイコーエプソン株式会社 運動支援システム、運動支援装置及び運動支援方法
US11599086B2 (en) * 2014-09-15 2023-03-07 Desprez, Llc Natural language user interface for computer-aided design systems
EP3098734A1 (en) 2015-05-28 2016-11-30 Dassault Systèmes Querying a database with likeness criterion
EP3098735A1 (en) 2015-05-28 2016-11-30 Dassault Systèmes Querying a database with thickness criterion
WO2017040905A1 (en) * 2015-09-03 2017-03-09 Stc.Unm Accelerated precomputation of reduced deformable models
US10831937B2 (en) * 2015-09-03 2020-11-10 The Boeing Company Formation of a simplified model
US9836673B2 (en) * 2015-12-30 2017-12-05 International Business Machines Corporation System, method and computer program product for training a three dimensional object indentification system and identifying three dimensional objects using semantic segments
US10380758B2 (en) * 2016-04-27 2019-08-13 Mad Street Den, Inc. Method for tracking subject head position from monocular-source image sequence
WO2017218943A1 (en) * 2016-06-17 2017-12-21 Dassault Systemes Solidworks Corporation Simplifying a computer-aided design model while retaining references
EP3264286B1 (en) 2016-06-28 2020-11-18 Dassault Systèmes Querying a database with morphology criterion
CN109791554B (zh) * 2016-08-12 2023-05-09 派克赛斯有限责任公司 用于自动地生成用于媒体文档的元数据的系统和方法
EP3321817A1 (en) 2016-11-14 2018-05-16 Dassault Systèmes Querying a database based on a parametric view function
EP3340084A1 (en) * 2016-12-22 2018-06-27 Dassault Systèmes Replica selection
US20180268614A1 (en) * 2017-03-16 2018-09-20 General Electric Company Systems and methods for aligning pmi object on a model
US10831179B2 (en) * 2017-03-16 2020-11-10 General Electric Company Systems and methods for generating PMI association among features on a machine part of a model
KR102628508B1 (ko) * 2017-05-04 2024-01-24 한국전자통신연구원 영상 처리 장치 및 방법
CA3062802C (en) * 2017-05-08 2023-10-10 Physna Llc System and methods for 3d model evaluation
LU100465B1 (en) 2017-10-05 2019-04-09 Applications Mobiles Overview Inc System and method for object recognition
US11281824B2 (en) 2017-12-13 2022-03-22 Dassault Systemes Simulia Corp. Authoring loading and boundary conditions for simulation scenarios
US20190251744A1 (en) * 2018-02-12 2019-08-15 Express Search, Inc. System and method for searching 3d models using 2d images
CN108492362B (zh) * 2018-03-26 2021-10-19 辽宁工程技术大学 三维模型创建方法及装置
WO2020023042A1 (en) * 2018-07-26 2020-01-30 Hewlett-Packard Development Company, L.P. Determination of matches between transformed and first 3d models
US10834413B2 (en) * 2018-08-24 2020-11-10 Disney Enterprises, Inc. Fast and accurate block matching for computer generated content
CN109685147B (zh) * 2018-12-27 2023-08-11 武汉益模科技股份有限公司 一种基于三维模型的差异性对比方法
EP3675059B1 (en) * 2018-12-29 2022-09-14 Dassault Systèmes Extracting a feature tree from a mesh
US11308245B2 (en) 2019-01-08 2022-04-19 Caterpillar Inc. Systems and methods for facilitating evaluation of characteristics related to quality
CN109871761A (zh) * 2019-01-16 2019-06-11 中德(珠海)人工智能研究院有限公司 一种三维模型的识别系统
JP7057303B2 (ja) * 2019-03-14 2022-04-19 ファナック株式会社 加工シミュレート装置及び加工シミュレートプログラム
US11217036B1 (en) * 2019-10-07 2022-01-04 Facebook Technologies, Llc Avatar fidelity and personalization
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
US11676406B2 (en) 2020-05-20 2023-06-13 Applications Mobiles Overview Inc. System and method of augmenting a three-dimensional objects training dataset
US11947491B2 (en) 2020-12-22 2024-04-02 Paperless Parts, Inc. Apparatus and methods for geometric searching
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6160907A (en) * 1997-04-07 2000-12-12 Synapix, Inc. Iterative three-dimensional process for creating finished media content
WO1999015945A2 (en) * 1997-09-23 1999-04-01 Enroute, Inc. Generating three-dimensional models of objects defined by two-dimensional image data
US6072496A (en) * 1998-06-08 2000-06-06 Microsoft Corporation Method and system for capturing and representing 3D geometry, color and shading of facial expressions and other animated objects
US6999073B1 (en) * 1998-07-20 2006-02-14 Geometrix, Inc. Method and system for generating fully-textured 3D
JP2000222428A (ja) * 1999-02-03 2000-08-11 Hitachi Ltd 3次元モデルの類似検索システム及び3次元モデルデータベース登録システム
DE69934478T2 (de) * 1999-03-19 2007-09-27 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren und Gerät zur Bildverarbeitung auf Basis von Metamorphosemodellen
US6625607B1 (en) * 1999-07-22 2003-09-23 Parametric Technology Corporation Method of comparing parts
JP3639475B2 (ja) * 1999-10-04 2005-04-20 シャープ株式会社 3次元モデル生成装置および3次元モデル生成方法ならびに3次元モデル生成プログラムを記録した記録媒体
JP3513562B2 (ja) * 2000-04-20 2004-03-31 インターナショナル・ビジネス・マシーンズ・コーポレーション 形状解析システム、3次元形状モデルの差分検出システム、類似形状検索システム、形状解析方法及び記憶媒体
EP1337963A4 (en) 2000-10-30 2005-11-02 Translation Technologies Inc COMPUTATIONAL GEOMETRY SYSTEM, INTERRUPTION INTERFACE, GEOMETRIC MODEL COMPARATOR, AND CORRESPONDING METHOD
US8429174B2 (en) * 2003-01-25 2013-04-23 Purdue Research Foundation Methods, systems, and data structures for performing searches on three dimensional objects
JP2004288170A (ja) * 2003-03-05 2004-10-14 Olympus Corp 三次元モデル検索方法及びシステム
US7212664B2 (en) * 2003-08-07 2007-05-01 Mitsubishi Electric Research Laboratories, Inc. Constructing heads from 3D models and 2D silhouettes
JP2005084717A (ja) * 2003-09-04 2005-03-31 Tama Tlo Kk 形状類似判断方法、及び、形状類似判断のためのプログラム
US20050276443A1 (en) * 2004-05-28 2005-12-15 Slamani Mohamed A Method and apparatus for recognizing an object within an image
US7623731B2 (en) * 2005-06-20 2009-11-24 Honda Motor Co., Ltd. Direct method for modeling non-rigid motion with thin plate spline transformation
US8422763B2 (en) 2006-02-28 2013-04-16 Parametric Technology Corporation Method for comparing first computer-aided 3D model with a second computer-aided 3D model
CN101350016B (zh) * 2007-07-20 2010-11-24 富士通株式会社 三维模型检索装置及方法
DE602007003849D1 (de) * 2007-10-11 2010-01-28 Mvtec Software Gmbh System und Verfahren zur 3D-Objekterkennung
WO2009067560A1 (en) * 2007-11-20 2009-05-28 Big Stage Entertainment, Inc. Systems and methods for generating 3d head models and for using the same
CN101464999B (zh) 2007-12-19 2011-01-05 鸿富锦精密工业(深圳)有限公司 三维色阶比对系统及方法
US9098926B2 (en) * 2009-02-06 2015-08-04 The Hong Kong University Of Science And Technology Generating three-dimensional façade models from images
EP2284770A1 (en) * 2009-07-06 2011-02-16 Stavros Perantonis Method and system for content-based search and retrieval of 3D models using panoramic views
CN102375831B (zh) 2010-08-13 2014-09-10 富士通株式会社 三维模型检索装置及其方法和模型库生成装置及其方法
WO2012113732A1 (en) * 2011-02-25 2012-08-30 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Determining model parameters based on transforming a model of an object
CN103988226B (zh) * 2011-08-31 2017-09-26 Metaio有限公司 用于估计摄像机运动以及用于确定实境三维模型的方法
US8521418B2 (en) * 2011-09-26 2013-08-27 Honeywell International Inc. Generic surface feature extraction from a set of range data
WO2013044484A1 (en) 2011-09-29 2013-04-04 Thomson Licensing Method and apparatus for robust similarity comparison of 3d models
US20140028799A1 (en) * 2012-07-25 2014-01-30 James Kuffner Use of Color and Intensity Modulation of a Display for Three-Dimensional Object Information

Also Published As

Publication number Publication date
CA2934031A1 (en) 2015-06-18
SG10201804876PA (en) 2018-07-30
WO2015087308A2 (fr) 2015-06-18
SG11201604822TA (en) 2016-07-28
US9946732B2 (en) 2018-04-17
US20170004621A1 (en) 2017-01-05
WO2015087308A3 (fr) 2015-08-20
US20160314341A1 (en) 2016-10-27
JP2017504108A (ja) 2017-02-02
CN106062827A (zh) 2016-10-26
WO2015085435A1 (fr) 2015-06-18
EP3080783A2 (fr) 2016-10-19
EP3080783A4 (fr) 2018-01-10
EP3080782A4 (fr) 2017-10-18
CA2929892A1 (fr) 2015-06-18
CA2934031C (en) 2024-03-26
EP3080782A1 (fr) 2016-10-19
BR112016013869A8 (pt) 2022-11-16
BR112016013869A2 (ja) 2017-08-08
CA2929892C (fr) 2018-12-18
CN106062827B (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
JP6508733B2 (ja) 3dモデルの比較方法および装置
US8429174B2 (en) Methods, systems, and data structures for performing searches on three dimensional objects
US6985898B1 (en) System and method for visually representing a hierarchical database objects and their similarity relationships to other objects in the database
US11010593B2 (en) Method and system for comparing 3D models
EP2439664A1 (en) Designing a modeled object within a session of a computer-aided design system interacting with a database
Fonseca et al. Content-based retrieval of technical drawings
JP7017852B2 (ja) 記述子を用いた3dオブジェクトの位置特定
Fonseca et al. Sketch-based retrieval of complex drawings using hierarchical topology and geometry
US11886493B2 (en) Method and system for displaying 3D models
JP2018136946A (ja) 3次元cadモデル部分検索方法及び3次元cadモデル検索方法
JP2017162447A (ja) 量子化を用いた3dオブジェクトの位置特定
Wang et al. A study of 3D model similarity based on surface bipartite graph matching
Kao Shape-based 3D model retrieval system
Visconti et al. Fuzzy Database for Language-Driven Procedurally Generated Simulated Datasets
Luo et al. Study of 3D Printing Model Aggregation and Retrieval Mechanism in Cloud Manufacturing
Pitchandi Wild Image Retrieval with HAAR Features and Hybrid DBSCAN Clustering For 3D Cultural Artefact Landmarks Reconstruction
El-Mehalawi A geometric similarity case-based reasoning system for cost estimation in net-shape manufacturing
Bilodeau et al. PLASTIQUE: Image retrieval based on cognitive theories
BR112016013869B1 (pt) Método implementado por computador para comparação de um modelo 3d de referência com uma pluralidade de modelos 3d, para exibir os resultados, sistema de processamento de dados e processo para a fabricação de um produto
Biasotti et al. Report on shape analysis and matching and on semantic matching
Wefelscheid Monocular Camera Path Estimation Cross-linking Images in a Graph Structure
Schreck Effective Retrieval and Visual Analysis in Multimedia Databases
Bespalov Scale Space Representation for Matching of 3D Models
Kalyanaraman Shape mining in three dimensional models databases
Lourenço ShaDe Workbench: 3D Shape Descriptor Workbench

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190206

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190328

R150 Certificate of patent or registration of utility model

Ref document number: 6508733

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250