JP7075654B2 - 3次元cadモデル部分検索方法及び3次元cadモデル検索方法 - Google Patents
3次元cadモデル部分検索方法及び3次元cadモデル検索方法 Download PDFInfo
- Publication number
- JP7075654B2 JP7075654B2 JP2018030202A JP2018030202A JP7075654B2 JP 7075654 B2 JP7075654 B2 JP 7075654B2 JP 2018030202 A JP2018030202 A JP 2018030202A JP 2018030202 A JP2018030202 A JP 2018030202A JP 7075654 B2 JP7075654 B2 JP 7075654B2
- Authority
- JP
- Japan
- Prior art keywords
- model
- synogram
- data
- cad
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
年々増えているデータを効率的に管理するためには、3次元アセンブリモデルの検索手法が必要となる。効率的に管理することが可能になれば、設計者の設計にかかる時間が短縮されより効率的な設計、生産につながる。主な処理として、形状だけを特徴量に反映して検索を行うのが一般的である。 3次元アセンブリモデルにおいては、 形状はもちろん、内部構造や各部品の配置や部品に使用されている材質まで識別する検索手法が必要になる。またデータの再利用をする場合、使われている部品単位で検索を行うことができればさらにデータの再利用が効率化する。部品単位で検索を行う場合、モデルの一部分から全体を検索する部分検索技術が必要になるが、比較するモデルで形状が異なるため、類似するモデルを検索する技術の適用では実現が難しい。アセンブリモデルの部品の配置や材質などを識別する3次元モデルの検索手法として複数の視点からの投影データを用いた3次元モデル検索がある。複数枚の投影画像の類似度を計算して、 3次元モデルの類似度とするものである。投影画像に対してラドン変換を行い、フーリエ変換を行い位相限定相関法で比較することでモデルの類似度を計算している。しかし得られた投影の画像の類似度を計算する方法ではその物体が類似しているかどうかしかわからない。部分検索の場合には、モデル全体に対して比較対象がそのモデルを構成する一部品であるため、必ずしも類似しているわけではないという問題点がある。
これらの手法については、アセンブリモデル構造を持たない3次元モデルを検索の対象としている。非特許文献5ではモデルの構成部品を頂点としたグラフに変換し、グラフ検索を行うことで、モデルの内部構造を識別するモデル検索を提案している。部分検索の研究として、非特許文献6では、”KAZE特徴量”が提案されている。SIFTや SURFに用いられる"Gaussian Filter"によるスケールスペースは、"Gaussian Filter" が等方的であるため、モデルの輪郭をぼやかしてしまい、局所的な特徴量をうまくとれないことがある。それを解決するために、非線形なスケールスペースを用いたのが” KAZE 特徴量”である。非特許文献7では複数視点から”Depth Buffer ”画像という物体の深さ画像を生成し、”Depth Buffer”画像から抽出した KAZE 特徴量のエンコーディング手法に”Vector of Locally AggregatedDescriptors(VLAD) ”を用いて、局所特徴量を3次元モデルの特徴量として統合し、3次元物体の部分検索を実現している。この手法は3次元モデルのアセンブリ構造を考慮した部分検索ではないため、提案手法とは異なる。
また、特許文献1には、膨大であり且つ多種フォーマットで格納された3次元CADデータからアセンブリ構造を含めて必要なデータを簡易に検索できる検索方法として、複数の3次元CADデータからなるデータ群から特定の3次元構造と類似する構造に係る3次元CADデータを特定する3次元CADデータの検索方法で、3次元CADデータを3次元モデル化するステップ、3次元モデルを複数の方向からスキャニングして複数の2次元投影図を得るステップ、別に検索対象の3次元CADデータを3次元モデル化し、検索対象となる3次元構造を示す2次元投影図が得られるようにスキャニングして対象投影図を得るステップ、 得られた複数の2次元投影図の中から対象投影図と最も高い相関性を有する2次元投影図を選出するステップ、選出した2次元投影図が得られた3次元CADデータにアクセスして、3次元CADデータを検索結果として表示するステップを具備する検索方法が提案されている。
しかし、従来提案されている手法では未だ迅速な検索の点では不十分であり、また一宇の構成要素から全体図を検索する等現在の多様な要求にこたえることができていなかった。
従って本発明の目的は、複雑な3次元CADデータを迅速に検索できるだけでなく、複雑な3次元CADデータを構成する構成要素ごとに検索を行い、かかる構成要素から完成品である3次元CADデータにアクセスする等多種多様な検索が可能な3次元CADモデル部分検索方法を提供することにある。
を提供することにより上記課題を解消したものである。
1.複数の3次元CADデータからなるデータ群から特定の3次元構造を包含する3次元CADデータを特定する3次元CADモデル部分検索方法であって、
上記3次元CADデータを3次元配列化する配列化ステップ、
得られた3次元モデルをCADデータの構成要素ごとに分解して要素データを得る分解ステップ、
得られた要素データを処理してサイノグラムを得るサイノグラム化ステップ、
得られたサイノグラムと元の3次元CADデータとを関連付ける関連付けステップ、
及び
上記サイノグラムを目印として各3次元データの検索を行い、構成要素データごとに照合して適合する構成要素を抽出するか、又は当該構成要素と関連付けられた3次元CADデータを抽出する、抽出ステップ
を具備する3次元CADモデル部分検索方法。
2.さらに、得られたサイノグラムの横軸を細分化すると共に各要素データを関連付けて、位置情報が関連付けられた位置情報サイノグラムを得る位置情報取得ステップを有し、
上記関連付けステップが、
位置情報サイノグラムと元の3次元CADデータにおける位置情報サイノグラムと対比するステップを含む
1記載の3次元CADモデル部分検索方法。
3.複数の3次元CADデータからなるデータ群から特定の3次元構造を包含する3次元CADデータを特定する3次元CADモデル検索方法であって、
上記3次元CADデータを3次元配列化する配列化ステップ、
得られた3次元モデルをCADデータの構成要素ごとに分解して要素データを得る分解ステップ、
得られた要素データを処理してサイノグラムを得るサイノグラム化ステップ、
得られたサイノグラムの横軸を細分化すると共に各要素データを関連付けて、位置情報が関連付けられた位置情報サイノグラムを得る位置情報取得ステップ、
得られたサイノグラムと元の3次元CADデータとを関連付けると共に、位置情報サイノグラムと元の3次元CADデータにおける位置情報サイノグラムと対比する、関連付けステップ、
及び
各位置情報サイノグラムを動径方向にフーリエ変換し、次いで角度方向にフーリエ変換することにより、不変量データを得、得られた不変量データを基に検索を行う
3次元CADモデル検索方法。
複数の3次元CADデータからなるデータ群から特定の3次元構造を包含する3次元CADデータを特定する3次元CADモデル部分検索方法であって、
上記3次元CADデータを3次元配列化する配列化ステップ、
得られた3次元モデルをCADデータの構成要素ごとに分解して要素データを得る分解ステップ、
得られた要素データを処理してサイノグラムを得るサイノグラム化ステップ、
得られたサイノグラムと元の3次元CADデータとを関連付ける関連付けステップ、
及び
上記サイノグラムを目印として各3次元データの検索を行い、構成要素データごとに照合して適合する構成要素を抽出するか、又は当該構成要素と関連付けられた3次元CADデータを抽出する、抽出ステップ
を行うことにより実施することができる。
本発明では投影画像に2次元ラドン変換を施し、得られたサイノグラムの性質を利用し比較を行うことで部分検索を実現する手法を提案する。検索の前準備として、検索に不要な部品の除去と部品を表すラベルの重み付けを行う。なおラベルについては設計者間で部品に対して一意にラベルが決まっているものとする。ラベルの重み付けについては、それぞれの部品に対して体積に基づいた値の設定を行うことで、ラベルの値が検索結果に与える影響を少なくした。サイノグラムの性質上、3次元アセンブリモデルの平行移動と回転量がサイノグラムの上下の平行移動に置き換わる。またサイノグラムの比較には膨大な時間がかかってしまう問題がある。そのため、回転の量を計算し投影点を絞り比較に用いるサイノグラムの数を削減することで計算量の削減を行った。
本発明で扱う部分検索については「クエリモデルをすべて含むデータベースモデルを検索すること」を定義とする。つまり、データベースモデルの一部がクエリモデルと一致するモデル」を検索することである。図1に示す Gear モデルを例に本稿で扱う部分検索について説明する。アセンブリモデルとは図1に示すように複数の部品が組み合わさって1つのモデルが構成されているモデルのことを表す。本発明で扱う部分検索は、Gearモデルの構成部品である"Cap" をクエリモデルとしてデータベースモデルのギアモデルを検索することを表す。ただ Gear モデルは、"Cap" を6つもっている。クエリモデルが"Cap" 6つでありデータベースモデルと同じ配置で構成されるのであれば当然部分検索である。しかし本発明ではクエリモデル"Cap" 1つの場合も6つのうちの1つと同じ形状であれば、部分検索として扱う。形状検索の場合は、クエリモデルに対して類似するデータベースモデルを検索することが目的であるため、クエリモデルと検索したいデータベースモデルの形状が類似しているという前提がある。クエリモデルを Gear モデルとした場合、Gear モデルに形状が似ているデータベースモデルを検索することを形状検索という。しかし部分検索においては、データベースモデルの一部であるため、 検索したいデータベースのモデルと形状が類似しているとは限らない。そのため、画像の類似度を計算するだけでは、部分検索の実現は難しい。
以下、本発明の部分検索方法の各ステップを説明する。
(配列化ステップ)
上記配列ステップは、上記3次元CADデータを3次元配列化する配列化ステップである。
3次元CADアセンブリモデルの形状と、使用している部品の配置を考慮した部分検索手法を提案する。検索に用いるアセンブリモデルの形式は3次元配列である。すなわち、通常3次元CADデータは3次元配列されたデータであるので、3次元配列されたデータであればそのまま使用する。また、異なる形式で表されている場合は3次元配列へと公知の関数を用いて変換する。
3次元配列の大きさは元の3次元アセンブリモデルの大きさに比例した大きさとする。
使用されている部品ごとにラベルを付与することで部品の情報を含む3次元配列となる。またこのラベルの情報については設計者間で共通のラベルリストがあり、ラベルに対して一意に部品が決まっているものとする。
一般に部分検索の場合、使用されている部品の種類や数が異なる為、比較対象との形状が異なり検索が難しい場合がある。そのような場合には検索の精度を上げる為に、検索の前処理を行い、不要な部品の排除とラベルの再付与を行うことが好ましい。
不要な部品の削除とは、 データベースモデルに含まれている部品の中でクエリモデル(後述する)に含まれていない部品を削除することを表す。 元々のラベルの値を検索に用いると、ラベル間の差異によって検索の結果に影響を及ぼす。ラベル値の影響は完全にはなくならないが、 ラベルの値を再付与し影響をできるだけ少なくする。
この前処理について具体的に説明すると、例えば以下のように行う。
3次元アセンブリモデルmの3次元配列の要素数を V(m)とする。同様にmの構成部品である ckの要素数をV (ck)とする。また比較対象のモデルを p とする。このとき前処理として以下の方法を行う。(1)mの構成部品のうち、p の構成部品ではない部品 ck に対してラベル0を付与する。(2)mの構成部品であるckのうち要素が0でない部品に対して、1=V (ck) をラベル値として再付与する。
このステップは、得られた3次元モデルをCADデータの構成要素ごとに分解して要素データを得るステップであり、3次元CADアセンブリモデルの特徴量を得るステップとして把握することができる。
3次元モデルの位置や向きはそれぞれ異なるため、一般的には事前に姿勢の正規化を行う。3次元アセンブリモデルの検索の場合、機械部品を扱うため対称の形状を持ったり、 部品が円形であったりするため向きが一意に決まらないという問題がある。3次元モデルの平行移動や回転に普遍な検索を行う為には、モデルの平行移動や回転に対して頑強な特徴量が必要である。そのような特徴量を得る為に、様々な角度からアセンブリモデルに対しての投影画像を得る。クエリモデルとデータベースモデルの比較は投影画像の特徴量を用いる。投影画像は、アセンブリモデルの3次元配列の投影面に対して垂直な値の和であり、モデルの形状や構成部品の配置も画像に反映されている。 本実施形態においてはGeodesic Dome の頂点座標を投影点として、3次元アセンブリモデルの特徴量を得る。
得られた要素データを処理してサイノグラムを得るサイノグラム化ステップ、
こうして得られた投影画像に対して、2次元ラドン変換を行うことでサイノグラムを得る。 サイノグラムの性質として2次元平面上の平行移動が動径方向の平行移動で表され、 2次元平面上の回転が偏角方向の平行移動として表される。その後、動径方向に対して1次元離散フーリエ変換を行い、振幅スペクトルを得て、さらに角度方向へ、1次元離散フーリエ変換を行い、振幅スペクトルを得る。こうすることにより、2次元空間において平行移動と回転に対して頑強な特徴量が得られる。
なお、本実施形態では、振幅スペクトルを位相限定相関法で計算する手法を比較手法として、本発明の方法の優位性を説明する(後述する)。 それに加えて形状が異なる部分検索を実現するために投影画像を2次元ラドン変換したサイノグラムを比較に用いる。
このステップは、得られたサイノグラムと元の3次元CADデータとを関連付けるステップである。具体的には、上述の分解ステップにおいて特徴量を算出する際に、投影前の3次元アセンブリモデルのデータと関連付けを行うか、上述のサイノグラム化ステップで得られたサイノグラムを投影前のデータにさかのぼって関連付けを行うことにより行う。本実施形態においては、前者の方法を採用しており、分解ステップにおいて、絵次元アセンブリモデルのデータを、投影、特徴量の算出、サイノグラム化まで型ぞっくして関連付けを行うことにより、本ステップを実施している。
本ステップは、上記サイノグラムを目印として各3次元データの検索を行い、構成要素データごとに照合して適合する構成要素を抽出するか、又は当該構成要素と関連付けられた3次元CADデータを抽出する、ステップである。本ステップにおいては、アセンブリモデル間の一致度>
アセンブリモデルの特徴量は上述のように投影を経て得られているので2次元配列で表されている。一致度の計算に用いるのは投影画像に対して2次元ラドン変換を行ったサイノグラムである。特徴量の抽出の手順は 表1に示すAlgorithm1に示す。2つのサイノグラムを比較し、サイノグラム間の一致度を計算する。 2つのサイノグラムの一致度の計算の手順は表1に示すAlgorithm2と表1に示すAlgorithm3 に表す。 Algorithm2はサイノグラム間の一致度の計算の手順を表している。Algorithm2 のCirc(syn, k) はsynを偏角方向にkずらし、配列の大きさが偏角の大きさを超えた場合は、 また配列の1番目から順に値を格納していく処理を表している。これは2次元平面上の物体の回転量が偏角方向の平行移動に置き換わるサイノグラムの性質を利用した処理である。 Algorithm3 はサイノグラムの列同士の比較の手順を表している。Algorithm3 の Extension(s, )I) は sを動径方向にiだけずらし、配列の大きさが動径方向の大きさを超えた場合は、 配列を拡張し0を代入する処理を表している。 またサイノグラムの比較の例を図2と図3に示す。 図 4 はサイノグラムの一列同士の比較の手順を示しており、 図3はサイノグラムの全体の比較の流れを示している。 パラメータはそれぞれのAlgorithm と対応している。 図2はサイノグラムの列S1とS2の比較の手順を示している。 まずはS1とs2の各要素の差を計算する。計算した値の中で0より大きい値は0とする。S2を動径方向に一行ずつずらしてこの処理を繰り返す。 得られたNの総和をサイノグラムの列間の一致度とする。 図3はサイノグラム syn1とsyn2の比較の手順を示している。 まずそれぞれのサイノグラムの列を取り出し、列間の一致度を図2の手順で計算する。syn2を偏角方向にずらしてこの処理を繰り返す。そうして得られたmdegree1 の各列の最小値を mdegree2とする。
mdegree2の総和がサイノグラム間の一致度mdegreeとなる。計算された一致度については差であり、 数値は負になるが値が大きいほどモデルが一致していることを表す。しかし一致度が0を超える場合は、クエリモデルの方が大きいことを表すため除く。モデル間の一致度を計算する手順を表2に示す Algorithm4 に表す。
3次元アセンブリモデルの一致度の計算に、サイノグラムを用いて部分検索を行う。サイノグラムの比較に時間がかかってしまう問題がある。検索にかかる時間を削減するために2つの工夫を行う。1つ目が投影数の削減である。従来、クエリモデルの投影数とデータベースモデルの投影数を等しくして投影画像の比較を行っていた。本実施形態においてはクエリモデルの投影数を減らして検索を行うことで効率化を図った。2つ目の工夫として、クエリモデルの投影点間から回転量を計算し、データベースモデルの投影点を絞り比較するサイノグラムの数を減らすことで計算量の削減を行った。 例えば図 4に示すクエリモデルの投影点のように、AからFまでの6つの投影点から投影画像を生成している場合、 点 A から生成したクエリモデルの投影画像1枚に対してデータベースモデルの全ての投影点から生成した投影画像との一致度を計算していた。クエリモデルの投影画像に対して、 最も一致度が高い投影画像を持つ投影点を対応点と呼ぶとすると、クエリモデルの投影画像1枚目の対応点がわかれば、2枚目の対応点の座標は Geodesic Dome の頂点座標の回転量から計算することができる。 クエリモデルの投影画像1枚目の対応点は、 クエリモデルの投影画像1枚目とデータベースモデルの全ての投影画像の一致度を計算し、 最も一致度が高い投影画像の投影点を対応点とする。 例えば図4においてクエリモデルの投影画像1枚目の対応点が投影点Gだったとする。 投影点Gに対して、Geodesic Domeの頂点座標から計算した回転量分だけ回転をした点をG’とすると、クエリモデルの投影画像2枚目の対応点がG’付近となるはずである。同じ点から投影されるということが起こりにくいため、本実施形態では計算した点の座標から距離が近い5つの投影点を対応点の候補の点を候補点とする。クエリモデルの投影画像2枚目以降との一致度計算についてはこの候補点から得られた投影画像のみと計算を行い、候補点の中で最も一致度が高い投影画像が得られた点をそれ以降の対応点とし一致度計算を行っていく。
本実施形態における評価のために、部品の配置が異なる3次元 CADアセンブリモデルを用いて実験的評価をした。 GrabCAD[9] から選んだ、様々な部品を持つ図5に示すClutch、Die、Gear の3種類の3次元CAD アセンブリモデルを選び、簡素化のためにいくつかの部品を削除した。3種類のモデルそれぞれをモデルの構成によってタイプ1からタイプ3に分類した。タイプ1はコンポーネントの総数に違いがあるモデル、タイプ2はコンポーネント数は一致、コンポーネントの部品数に違いがあるモデル、タイプ3はコンポーネントの総数、部品数両方に違いがあるモデルである。それぞれのタイプの中で部品の配置が異なる3種類のモデルを作成した。Clutch、Die、Gearそれぞれに対して、 タイプ1としてA、B、Cの3種類のモデルを用意した。 Aを正解モデルとし、B、Cを不正解モデルとする。 タイプ2についてはDを正解モデル、e、Fを不正解モデルとする。 タイプ3については Gを正解モデル、H、Iを不正解モデルとする。
モデルの一覧を表 3に示す。クエリとして与えられたアセンブリモデルをクエリモデルと呼び、 クエリモデルと比較するアセンブリモデルをデータベースモデルと呼ぶ。 データベースモデルは、Clutch、Die、Gearの3種類に対して9パターン、 計 27 個のアセンブリモデルを用意した。 クエリモデルとしてClutch、Die、Gearの3モデルを用意した。 それぞれにランダムに平行移動と回転を加えたアセンブリモデルを10種類ずつ用意した。 データベースモデルにも、 それぞれランダムな平行移動と回転を加えた。 実験に用いたモデルを図6に示す。 色調の違いは部品の違いを表している。 Clutchモデルの構成についても表3に示す。 モデルのサイズは64 ×64V64、データベースモデルの投影数は162、 クエリモデルの投影数は 42 で実験を行う。 Visual C++2012、 MATLAB 2015b を Windows 7 Professional 64 bit 上で用い、 2.8GHz Intel Core i3 プロセッサ、 16GB RAM のコンピュータで実験を行った。
部品の配置が異なるモデルを用いて、提案手法を実験的に評価した。前述の計 27 個のアセンブリモデルをデータベースモデルとし、それらのモデルについてあらかじめ投影画像を生成しておく。 投影画像は各モデルで 162 枚用意し、 27 個のモデルの投影画像に対してサイノグラムを生成し、それらを用いた。クエリモデルも同様に投影画像を 42 枚生成し、それらを用いてデータベース検索を行う。 図7 が Clutch、 Die、 Gearの各データベースモデルとクエリモデルとの一致度を提案手法で計算したものである。Clutch、 Die、 Gearの各モデルのタイプ内で正解モデル (各モデルの A、 D、 G) の一致度が最も高いという結果を得ることができた。この結果から、本発明の手法は実験で使用したアセンブリモデルについては、タイプごとに分類すれば、形状だけでなく、部品の配置が異なるアセンブリモデルの部分検索の識別ができているとわかる。Clutchモデルのタイプ3のモデル (Clutch G、 H、 I) については他のタイプ1、 2の結果より全体的に一致度が高い。 Clutch H、 I については不正解モデルであるが、タイプ2の正解モデルより一致度が高くなっている。 すなわちタイプごとに分類せずに検索を行うよりも、タイプごとに分類した方がより高い精度で検索を行うことができることがわかる。 各手法の検索精度を図8に示す。なお、本実施形態における検索精度とは、クエリモデルの集合をQとすると以下のように表される。
検索精度 =(|タイプ内で最も一致度が高いモデルのうち; 正解モデルであるモデルの数 |)/|Q|
投影画像の枚数を変化させ、データベース検索の実験を行い、我々の提案手法の検索精度とモデル間の一致度計算にかかる処理時間の評価を行う。 本稿では投影画像の枚数は、 GeodesicDome の頂点数によって決定する。 ここでは頂点数を 42、 92、162、 252、 362 と変化させ、 投影枚数を 42 枚、 92 枚、 162 枚、 252枚、 362 枚と変化させたときのデータベースの各モデルの一致度と処理時間を評価する。 図 9はそれぞれ正解モデルを ClutchA、 Die A、 Gear A としたときのクエリモデルとデータベース内の各モデルとの一致度を表している。 図9から、 正解モデルが Clutch A、 Die A のときは、 投影数を変えても正解モデルの一致度が一番高くなっていることがわかる。 すなわちタイプごとであれば正しく検索ができているといえる。しかし、正解モデルが Gear A のときでは、 投影数によっては正解モデルではないモデルの一致度が最大の一致度となっている場合がある。これは、モデルの姿勢の影響により 一致度が高い投影画像が少ないために、検索ができなかったと考えられる。
最も処理時間がかかっているのが、 サイノグラムの比較である。 処理時間を短縮するためにサイノグラムの比較を行う回数を減らし、 計算量を削減する。 提案手法では 3。 4 で述べた方法で計算量の削減を行い、 検索精度とモデル間の一致度計算にかかる処理時間を評価する。 2枚目以降の一致度計算に用いる投影点の数を 3、 5、 12、 42、 92、 162 と変化させた場合の処理時間が図10である。 また投影点を削減した場合の提案手法の検索精度の変化を図11に示す。 図11より投影点を5点まで削減しても検索精度にあまり影響がないことがわかる。しかし、投影点を3点まで削減してしまうと、 検索精度が低下してしまう。これは、投影点の削減により正しい対応点がとれなくなっていることが原因だと思われる。投影点の削減を行わない場合、比較に用いる投影点の数は 162 である。 提案手法では2枚目以降の一致度計算に用いる投影点の数を5点に削減し、 モデル間の一致度計算にかかる処理時間を5%まで短縮することができた。
本実施形態の方法によれば、投影画像を用いて、3次元 CAD アセンブリモデルの形状や部品の数だけでなく、 部品の配置まで考慮した部分検索が高精度に行うことができる。 形状が異なる部分検索の実現のためにサイノグラムを用いて比較を行い、比較にかかる時間は、投影数の削減と比較に用いる投影点の削減により実現することができる。
さらに、得られたサイノグラムの横軸を細分化すると共に各要素データを関連付けて、位置情報が関連付けられた位置情報サイノグラムを得る位置情報取得ステップを有し、
上記関連付けステップが、
位置情報サイノグラムと元の3次元CADデータにおける位置情報サイノグラムと対比するステップを含む
ようにすることもできる。
本ステップは、得られたサイノグラムの横軸を細分化すると共に各要素データを関連付けて、位置情報が関連付けられた位置情報サイノグラムを得るステップである。
部分検索においては、クエリモデルに包含されるモデルを検索する場合と、クエリモデルを包含するモデルを検索する場合が考えられるが、本実施形態においては前者を前提とする。なお、後者の場合でも、後述する差の方向を変更することで対応できる。
この位置情報取得ステップを行う場合のアルゴリズムを表5の Algorithm 1 に示す.Algorithm 1 は,以下に示すステップによりデータベースモデルとクエリモデルの比較を行うものである。なお、ここでは配列化ステップは省略している。
( 1 ) データベースモデル及びクエリモデルのサブアセンブリの全ての組み合わせの中から、対応候補となる組み合わせを探す(前処理ステップ)。
( 2 ) “Geodesic Sphere” の頂点座標から2次元平面への投影画像を,データベースモデルとクエリモデルの各サブアセンブリについて計算する(分解ステップ)。
( 3 ) ラドン変換によって投影画像からサイノグラムを構成する(サイノグラム化ステップ)。
( 4 ) 対応候補となるサブアセンブリの組について,サイノグラム間の相違度を計算する。
( 5 ) 得られた相違度を基に,データベースモデルとクエリモデルのサブアセンブリの対応関係を決定して,そのときの相違度をデータベースモデルとクエリモデルの間の相違度として返す(4及び5で位置情報取得ステップ)。
ここで,アセンブリモデル内で同じ材質ラベルを持つ部品の集合をサブアセンブリと呼ぶ。また、アセンブリモデルmのサブアセンブリを集合SA(m)として表し、mに含まれる部品からなる集合をC(m)のように表す。同様に、サブアセンブリsa∈SA(m)について、C(sa)はsaに含まれる部品の集合を表す。本実施形態では、C(sa) には同じ部品のみ含まれるものとする。
データベースモデル mdとクエリモデル mqが与えられたとき、2つのアセンブリモデル間の材質情報の対応関係が不明となるため,まず mdに含まれるサブアセンブリ毎に,mqのどのサブアセンブリが同じ部品を含んでいるかを判定する.サブアセンブリ sad∈SA(md) および saq∈SA(mq) について,sadに含まれる部品 cd∈C(sad) の体積 Vol(cd) と,sadに含まれる部品総数|C(sad)|を,saqに含まれる部品 cq∈C(saq) の体積 Vol(cq) 及び,saqに含まれる部品総数 |C(saq)|とそれぞれ比較する。体積比|Vol(cq)/Vol(cd)-1|が閾値 tよりも大きければ,cqは cdとは異なる部品とみなし,sadは saqに含まれないとみなす。また,|C(sad) | が |C(saq) |よりも大きい時は、明らかに sadは saqに含まれない。表6のAlgorithm 2 に,mdと mqのサブアセンブリ毎の対応を判定し,対応候補となるペアを格納した集合 CRP を返すアルゴリズムを示す。
次に、CRP を基に、 mdのサブアセンブリに対して mqのサブアセンブリが一対一に対応するような組み合わせを全て求め、集合 CSA を構成する。この処理は、Algorithm 1 の 10 行目における関数 MakeSubassemblyPairs(CRP ) によって行う。例えば,CRP ={ (sad 1; saq 1); (sad 1; saq 2); (sad 2; saq 1); (sad 2; saq 2)) } であるとき,戻り値 CSA は, CSA ={ ((sad 1; saq 1); (sad 2; saq 2));((sad 1; saq 2); (sad 2; saq 1)) }となる.材質情報の一対一対応が取れず、|CSA|= 0 となる場合には,mdと mqは異なるアセンブリモデルと判断して、処理を終了する。
一般に3次元モデルの空間上における位置や姿勢は製作者によって異なるため,モデルの平行移動や回転に対して頑健な特徴量が必要となる。そこでまず、モデルの仰角及び方位角方向の回転に対して頑健な特徴量を得るため,ある視点に垂直な2次元平面へのモデルの投影画像を計算する。使用する視点には,正多面体を拡張して得られる \Geodesic Sphere" の頂点座標を利用することができ、この点で上述した分解ステップと異なる。
(サイノグラム化ステップ)
本ステップについては上述したサイノグラム化ステップと同様であるが、角度を変化させながら投影ベクトルを計算し,得られた投影ベクトルを横に並べることで構成されるようにすることもできる。サイノグラムには,原画像の回転を角度方向の平行移動に変換し、平行移動を動径方向のゆらぎに変換するという特徴がある。
通常サイノグラムは,0°≦角度θ<180°の範囲で投影ベクトルを計算して構成されるが、サイノグラムの位置合わせによって投影軸方向の回転に対応するために、クエリモデルmq側のサイノグラムについては、0°≦角度θ<540°の範囲で投影ベクトルを計算する。表7のAlgorithm 3 に3次元 CADアセンブリモデルmの特徴量抽出手順を示す.前述の通り,mdについては|Ad| = 180 となり,mqについては |Aq| = 540 となる。
集合 CRP に含まれる md及び mqのサブアセンブリの対応候補 (saq; sad) 毎に,サイノグラムの比較を行い,候補 (sad; saq)における相違度を計算する.この処理は,Algorithm 1 における,14 行目から 18 に相当する。
サイノグラム sngd及び sngqの比較は,md及び mqの 3次元空間上における位置や姿勢のずれを埋め合わせるために,sngdを動径方向及び角度方向に移動させながら,sngqとの差を投影ベクトル単位で計算することで行っている.sngd及びsngqには、それぞれサブアセンブリ sad及び saqの部品配置が反映されており,差の絶対値 |sngq-sngd|は,部品配置の異なりの度合いである相違度を表す.ここで,C(saq) > C(sad) であるときには,部品配置が部分一致していても,差 sngq-sngdには正の要素が残る.そこで,差 sngq-sngdにおいて 0 より大きい要素については全て 0 に置き換えてから,相違度を評価することにより,部品総数が異なっていても部品配置の部分一致を評価することができる.また,|sngq-sngd|を Vol(sad)によって除算することで,体積の大きいサブアセンブリによる相違度計算結果が支配的となることを防ぐ。
表8のAlgorithm 4 及び Algorithm 5 に,サイノグラム sngd及びsngqの相違度計算アルゴリズムを示す。ここで、Algorithm 4 における添字“:”は,配列から特定の次元の要素を全て抜出する処理を表す.例えば,サイズ ny×nxの配列 a 及び 1≦k≦nxである kに対し,a(:, k) は,サイズ ny である,a の k 番目の行ベクトルを返す。また、Algorithm 4 における関数 sum(v)は,ベクトル v の全ての要素の和を返す関数である。さらに、Algorithm 5 における関数 abs(x) は,スカラー値xの絶対値を返す関数であり、Algorithm 5 における関数 shift(pv, i) は,投影ベクトル pv を i だけシフトさせ,空いた要素を 0 で埋める関数である。
ただし,候補 (sad; saq) について得られた相違度から,動径方向及び角度方向に最もマッチする位置を求めてしまうと,サブアセンブリの対応候補 (saq; sad) 毎に位置や姿勢のずれの位置合わせ結果が異なってしまうため,md及び mqの各サブアセンブリの配置関係が失われてしまう.そこで,Algorithm 1の 19 行目から 27 行目に示すように,サブアセンブリの対応候補 (saq; sad) 毎に計算した相違度を,md及び mqのサブアセンブリの一対一対応の候補 csa∈CSA に従い足し合わせてから,動径方向及び角度方向の位置合わせを行って得られたmd及び mqの対応 csa における相違度を集合 CSAD[csa] に追加することで,アセンブリモデル全体として md及び mqの位置合わせを行っている.ここで,相違度を足し合わせる回数は jSA(md)j に依存するため,離散誤差の蓄積を考慮して,Algorithm 1 の 26 のように,位置合わせにより得られた相違度を |SA(md)| で除算している.また,Algorithm 1 における関数 ArrayMin(a,dim) 及び関数 ArraySum(a,dim) はそれぞれ,多次元配列 a の dim 次元における最小値を求める関数、及びa の dim 次元の要素を総和する関数となる。例えば,サイズ ny nx の配列 a に対して,ArrayMin(a,1) は,a の各列ベクトルについて最小の要素を求めた,サイズ nx のベクトルを返す。また、ArraySum(a, 1) は,a の各列ベクトルについて,その列ベクトルの全ての要素の和を求めた,サイズ nxのベクトルを返す。
投影点 vd∈Vd及び vq∈Vqの全組み合わせについて,サイノグラムの比較による相違度を求めたあとは,csa∈CSAの中から,最も md,mq間の相違度が低くなるサブアセンブリの対応関係を探す.このときの md,mq間の相違度が,そのままデータベースモデル mdとクエリモデル mqの最終的な相違度となる。この処理を,表9のAlgorithm 6 に示す。Algorithm 6における処理は,csa∈CSA における,投影点 vd∈Vd及びvq∈Vqの全組み合わせについて,CSAD[csa] に格納された相違度を基にして,相違度が最も低くなる投影点の組を,同じ視点を重複して選ばないようにしながら探す処理となる。
この位置情報取得ステップは、上述の抽出ステップにより適合する構成要素を抽出した後で行うことができる。すなわち、形状の特徴点としては上述の抽出ステップにより適合すると判断された場合でも、この位置情報取得ステップを行うことにより、全体の中での部品の位置や配置角度を正確に把握することが可能となる。
また、この場合には関連付けステップにおいて、取得された位置情報と元の3次元CADデータとの関連付けを行うことにより検索が可能となる。この関連付けについては、上述の関連付けステップにおいて説明した関連付けの手法を用いて行うことができる。
本実施形態の3次元CADモデル検索方法は、
複数の3次元CADデータからなるデータ群から特定の3次元構造を包含する3次元CADデータを特定する3次元CADモデル検索方法であって、
上記3次元CADデータを3次元配列化する配列化ステップ、
得られた3次元モデルをCADデータの構成要素ごとに分解して要素データを得る分解ステップ、
得られた要素データを処理してサイノグラムを得るサイノグラム化ステップ、
得られたサイノグラムの横軸を細分化すると共に各要素データを関連付けて、位置情報が関連付けられた位置情報サイノグラムを得る位置情報取得ステップ、
得られたサイノグラムと元の3次元CADデータとを関連付けると共に、位置情報サイノグラムと元の3次元CADデータにおける位置情報サイノグラムと対比する、関連付けステップ、
及び
各位置情報サイノグラムを動径方向にフーリエ変換し、次いで角度方向にフーリエ変換することにより、不変量データを得、得られた不変量データを基に検索を行う検索ステップを行うことにより実施できる。
すなわち、上述の抽出ステップに代えて検索ステップを行う点が異なり、それ以外は上述の本実施形態の3次元CADモデル部分検索方法と同じである。なお、本実施形態においても抽出ステップを行ってはいけないということはなく、上記検索ステップが必須のステップであるという意味である。この検索ステップを行うことにより、構成部品点数が多い場合でも正確に検索を行うことが可能となる。
一般に内部構造が複雑なアセンブリモデルの場合, 内部構造が単純なアセンブリモデルと比べて検索するのが難しい. したがって構成部品が多い 3 次元アセンブリモデルの検索手法が必要となってきている. しかし構成部品の多いアセンブリモデルが少なく, 我々の研究室にはそういったモデルが今までなかった. 本稿では, GrabCAD[2] から複数個の 3 次元モデルのポリゴンメッシュを用いることで, 人工的に構成部品が多いアセンブリモデル生成する手法を提案する.
本稿では GrabCAD[2] から同じまたは異なる 3 次元 CADモデルを 2 2 2 = 8 個, 2 2 3 = 12 個, 3 3 3 = 27個, 4 4 4 = 64 個で複合し, 人工的に構成部品の多いアセンブリモデルを生成する.
本実施形態の方法は以下のような流れになる. 以下の流れでは 8 個のアセンブリモデルを複合していく. アセンブリモデル k,l,m,n,p,q,r,s の頂点データを vk,vl, vm,vn,vp,vq ,vr,vsとする. 3 次元空間の一辺の大きさは w とする.
( 1 ) k を構成している頂点データを保存している stl ファイルから vk を取得する.
( 2 ) vk から k の中心を計算し, アセンブリモデルごとに配置する座標に平行移動する.
( 3 ) モデル空間の一辺の長さが w=2 に合わせるため倍率を平行移動した k に反映させる.
( 4 ) 上記を l,m, n, p, q, r, s において行い総和する.
2 の場合においての配置する座標の決定は, 図 1 に基づき, K = (w/4, w/4, w/4), L = (3w/4, w/4, w/4),M =(w/4, 3w/4, w/4),N = (3w/4, 3w/4, w/4), P = (w/4, w/4, 3w/4),Q = (3w/4, w/4, 3w/4),R = (w/4, 3w/4, 3w/4), S =(3w/4, 3w/4, 3w/4) と定義している。8, 12, 27, 64 個を複合するときの配置する座標は表 10に示す。
これによりアセンブリモデル同士が重なることがなく複合することができる. しかし配置する座標の決定や, 複合したモデル空間の中心から離れているので, 検索前に保存されている姿勢変化量によってモデル空間からはみ出す可能性があるので考慮する必要がある。
一般的に3次元モデルの位置や向きはそれぞれ異なり, それを正規化する手法にはいくつかの問題点が存在する。このような問題点を改善するには平行移動や回転に対して頑健な特徴量が必要である。3次元CADモデルを3次元ボクセルモデルに変換し、それを投影点ごとに投影画像を生成し、得られた投影画像に対して、2次元ラドン変換を行い(サイノグラム化ステップ)、その後動径方向に対して1次元フーリエ変換し振幅スペクトルをとり、その後偏角方向に対して 1次フーリエ変換を行い、振幅スペクトルをとることで平行移動や回転に対して頑健な特徴量を得ることができた。しかし、構成部品の材質の種類ごとの数値の付与について、ユーザーやモデル間で統一されていない場合、2つのアセンブリモデルの類似度を計算する際に数値の正規化を行わなければ、その数値によって検索の結果に影響を及ぼす. このような場合を想定し, 以下のような手法を提案する。
アセンブリモデル m とし、m の構成部品集合の1要素であるci の体積を V (c) とし、 m の構成部品の材質の種類の数をnとする。球面座標系における2次元ラドン変換の角度をAとする。
( 1 ) 投影点ごとに ci の投影画像を計算し(分解ステップ)、2次元ラドン変換を行いサイノグラム sino(ci ) を n 個分すべて計算しsino(c1 ,...,cn) に格納する(サイノグラム化ステップ)。
( 2 ) sino(c1 ,...,cn) を動径方向に離散フーリエ変換を行い、振幅スペクトルをとり, f (sino(c1 ,...,cn)) に格納する。
( 3 ) f (sino(c1 ,...,cn)) のそれぞれの A ごとに f (sino(c1 ,...,cn))の要素 e(cn,A) を 2 乗し総和したものを B(c n,A) として格納する。
( 4 ) s(c n,A) = e(c n,A)/B(c n,A) とし, s(c n,A) を e(c n,A) に再付与する.
( 5 ) V (c) が小さいものから f (sino(c1 ,...,cn)) をソートし, 動径方向に連結したもの f (sino(cs1 + ... + csn)) を生成する。
( 6 ) f (sino(cs1 + ... + csn)) を角度方向に離散フーリエ変換を行い、振幅スペクトルをとり, f (f (sino(cs1 + ... + csn))) に格納する(2~6について検索ステップ)。
これにより f (f (sino(cs1 + ...+ csn))) は構成部品の体積が異なる場合においても特徴量を得ることができる。
また、検索ステップにおける検索結果の判定、即ち、類似度の判定は以下のようにして行うことができる。
アセンブリモデルの特徴量は 2 次元配列として表されている。2次元配列をユークリッド空間のベクトルとし、2つのベクトルのユークリッド距離を計算し、これを類似度とする。2つのアセンブリモデル間の類似度を以下のように計算することができる。
ユーザーやモデルによって構成部品に付与する数値が統一されていない場合には, その数値によって共通の構成部品を検索することは難しいため、従来手法では2つのアセンブリモデルの類似度が一致する可能性のある、それぞれの構成部品をすべて計算する必要があった。 しかし、本実施形態の手法では投影点ごとにすべて構成部品の材質ごとのサイノグラムを生成し一つにするのでユーザやモデルによって構成部品に付与する数値が統一されていない場合においても同じ特徴量を得ることができるため、アセンブリモデルの投影点ごとの類似度計算を行い、最小となるものをその投影点の類似度とし、投影点ごとに出た類似度を総和したものを最終的な類似度とする。そして、この類似度が高いものを抽出することができる。
Claims (3)
- コンピュータに下記の各ステップを実行させることにより、データベースに格納された複数の3次元CADデータからなるデータ群から特定の3次元構造を包含する3次元CADデータを特定する、3次元CADモデル部分検索方法であって、
上記3次元CADデータを3次元配列化する配列化ステップ、
得られた3次元モデルをCADデータの構成要素ごとに分解して要素データを得る分解ステップ、
得られた要素データを処理してサイノグラムを得るサイノグラム化ステップ、
得られたサイノグラムと元の3次元CADデータとを関連付ける関連付けステップ、
及び
上記サイノグラムを目印として各3次元データの検索を行い、構成要素データごとに照合して適合する構成要素を抽出するか、又は当該構成要素と関連付けられた3次元CADデータを抽出する、抽出ステップ
を具備する3次元CADモデル部分検索方法。 - さらに、得られたサイノグラムの横軸を細分化すると共に各要素データを関連付けて、位置情報が関連付けられた位置情報サイノグラムを得る位置情報取得ステップを実行させると共に、
上記関連付けステップが、
上記位置情報サイノグラムと元の3次元CADデータにおける位置情報サイノグラムとを対比するステップを含む
請求項1記載の3次元CADモデル部分検索方法。 - コンピュータに下記の各ステップを実行させることにより、データベースに格納された複数の3次元CADデータからなるデータ群から特定の3次元構造を包含する3次元CADデータを特定する、3次元CADモデル検索方法であって、
上記3次元CADデータを3次元配列化する配列化ステップ、
得られた3次元モデルをCADデータの構成要素ごとに分解して要素データを得る分解ステップ、
得られた要素データを処理してサイノグラムを得るサイノグラム化ステップ、
得られたサイノグラムの横軸を細分化すると共に各要素データを関連付けて、位置情報が関連付けられた位置情報サイノグラムを得る位置情報取得ステップ、
得られたサイノグラムと元の3次元CADデータとを関連付けると共に、位置情報サイノグラムと元の3次元CADデータにおける位置情報サイノグラムと対比する、関連付けステップ、
及び
各位置情報サイノグラムを動径方向にフーリエ変換し、次いで角度方向にフーリエ変換することにより、不変量データを得、得られた不変量データを基に検索を行う
3次元CADモデル検索方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017032589 | 2017-02-23 | ||
JP2017032589 | 2017-02-23 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018136946A JP2018136946A (ja) | 2018-08-30 |
JP7075654B2 true JP7075654B2 (ja) | 2022-05-26 |
Family
ID=63365678
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018030202A Active JP7075654B2 (ja) | 2017-02-23 | 2018-02-22 | 3次元cadモデル部分検索方法及び3次元cadモデル検索方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7075654B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7429430B2 (ja) | 2019-02-21 | 2024-02-08 | 東京都公立大学法人 | 3次元アセンブリモデル検索システム、方法およびプログラム |
DE112019007827T5 (de) * | 2019-11-28 | 2022-08-04 | Mitsubishi Electric Corporation | Werkstückbildsuchvorrichtung, Werkstückbildsuchverfahren und Maschinelles-Lernen-Gerät |
CN112100703B (zh) * | 2020-09-17 | 2024-05-07 | 合肥工业大学 | 一种基于creo的三维模型着色系统的设计方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013254269A (ja) | 2012-06-05 | 2013-12-19 | Hitachi Ltd | アセンブリモデル類似構造検索システム、及びアセンブリモデル類似構造検索方法 |
WO2014192889A1 (ja) | 2013-05-29 | 2014-12-04 | 地方独立行政法人東京都立産業技術研究センター | X線エネルギー別画像再構成装置及び方法並びにx線三次元測定装置及び方法 |
JP2015158752A (ja) | 2014-02-21 | 2015-09-03 | 公立大学法人首都大学東京 | 3次元cadモデル類似検索方法 |
-
2018
- 2018-02-22 JP JP2018030202A patent/JP7075654B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013254269A (ja) | 2012-06-05 | 2013-12-19 | Hitachi Ltd | アセンブリモデル類似構造検索システム、及びアセンブリモデル類似構造検索方法 |
WO2014192889A1 (ja) | 2013-05-29 | 2014-12-04 | 地方独立行政法人東京都立産業技術研究センター | X線エネルギー別画像再構成装置及び方法並びにx線三次元測定装置及び方法 |
JP2015158752A (ja) | 2014-02-21 | 2015-09-03 | 公立大学法人首都大学東京 | 3次元cadモデル類似検索方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2018136946A (ja) | 2018-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Jiang et al. | Pointsift: A sift-like network module for 3d point cloud semantic segmentation | |
Mitra et al. | Symmetry in 3d geometry: Extraction and applications | |
Tangelder et al. | Polyhedral model retrieval using weighted point sets | |
Mitra et al. | Partial and approximate symmetry detection for 3d geometry | |
Yang et al. | Content-based 3-D model retrieval: A survey | |
Bai et al. | 3D shape matching via two layer coding | |
Li et al. | A comparison of 3D shape retrieval methods based on a large-scale benchmark supporting multimodal queries | |
Laga et al. | 3D Shape analysis: fundamentals, theory, and applications | |
Masry et al. | A freehand sketching interface for progressive construction of 3D objects | |
Daras et al. | Efficient 3-D model search and retrieval using generalized 3-D radon transforms | |
Sfikas et al. | Rosy+: 3d object pose normalization based on pca and reflective object symmetry with application in 3d object retrieval | |
Guo et al. | 3D free form object recognition using rotational projection statistics | |
JP7075654B2 (ja) | 3次元cadモデル部分検索方法及び3次元cadモデル検索方法 | |
Song et al. | 6-DOF image localization from massive geo-tagged reference images | |
CN108537887A (zh) | 基于3d打印的草图与模型库三维视图匹配方法 | |
Lin et al. | The shape interaction matrix-based affine invariant mismatch removal for partial-duplicate image search | |
Joo et al. | Globally optimal inlier set maximization for Atlanta world understanding | |
ElNaghy et al. | Taxonomy for 3D content-based object retrieval methods | |
CN111597367B (zh) | 基于视图和哈希算法的三维模型检索方法 | |
JP2018136642A (ja) | 三次元形状検索方法及び三次元形状検索システム | |
Vajramushti et al. | Efficient 3D object retrieval using depth images | |
Dang et al. | Similarity Detection for Free-Form Parametric Models | |
Wuhrer et al. | Posture invariant correspondence of incomplete triangular manifolds | |
Flagg et al. | Searching document repositories using 3D model reconstruction | |
Tan et al. | Local features and manifold ranking coupled method for sketch-based 3D model retrieval |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210126 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20210126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220413 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220426 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220509 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7075654 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |