JP7256005B2 - 実オブジェクトのスキンを表すファセットの集合の決定 - Google Patents
実オブジェクトのスキンを表すファセットの集合の決定 Download PDFInfo
- Publication number
- JP7256005B2 JP7256005B2 JP2018239485A JP2018239485A JP7256005B2 JP 7256005 B2 JP7256005 B2 JP 7256005B2 JP 2018239485 A JP2018239485 A JP 2018239485A JP 2018239485 A JP2018239485 A JP 2018239485A JP 7256005 B2 JP7256005 B2 JP 7256005B2
- Authority
- JP
- Japan
- Prior art keywords
- facets
- point cloud
- facet
- parametric
- energy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/30—Polynomial surface description
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Algebra (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Architecture (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Description
・“R. Hartley and A. Zisserman: Multiple View Geometry in Computer Vision, Cambridge Univ. Press 2004”、
・“R. Szeliski: Computer Vision: Algorithms and Applications, Edition Springer 2010”、及び、
・“Faugeras: Three-Dimensional Computer Vision: A Geometric viewpoint, MIT Press 1994”。
・“Yan Cui et al.: 3D Shape Scanning with a Time-of-Flight Camera, CVPR 2010”、
・“RS. Izadi et al.: KinectFusion: Real-Time Dense Surface Mapping and Tracking, Symposium ISMAR 2011”、及び、
・“R. Newcombe et al.: Live Dense Reconstruction with a Single Moving Camera, IEEE ICCV2011”。
“Jenke, P., Kruckeberg, B. & Straser, W., 2008. Surface Reconstruction from Fitted Shape Primitives, Vision, Modeling, and Visualization (VMV), pp. 31-40”という論文において、著者は、パラメトリック曲面の検知された集合の境界を推定している。次に、彼らは、隣接するパラメトリック曲面の境界が一致するように、推定された境界の最適化を行っている。それらの操作は、複雑であり且つ自明ではない。さらに、入力ポイントクラウドは、この場合、しばしば、不完全であり且つ穴を含み、パラメトリック形状の推定された境界は他の曲面の境界と一致しないかもしれず、閉じていない最終曲面(それは明らかに実際のソリッドを表すことができない)をもたらすことになる。
-“Schnabel, et al., 2009”の論文のソリューションは、“in”及び“out”とラベル付けされた隣接するボクセル間のパラメトリック曲面がないか1つ又はそれより多くあるかに応じて、追加の最適化ステップを必要とする。それは、回避されるかもしれない複雑な計算を導入する。さらに、得られた結果は、グリッドへの空間の分割に極度に依存する。異なるグリッドサイズは、異なるソリューションをもたらす。最適化されたグラフは異なり、さらに、追加の最適化ステップは変わるかもしれない。
-4つの隣接するファセットのグループのそれぞれに対して、0及び2とは異なる数の維持されたファセットによって、又は、一致しない配向を有する2に等しい数の維持されたファセットによって、非スキン形状が形成される。
-前記エネルギーは、前記ファセットのそれぞれの各々の1つに割り当て可能で且つ前記各々のファセットを維持するための信頼レベルを表すラベルの連続体を調査する。
-前記決定するステップは、前記割り当てられたラベルに基づいてどのファセットを維持してどのファセットを切り捨てるかを選択することをさらに含む。
-前記割り当てられたラベルに基づいてどのファセットを維持してどのファセットを切り捨てるかを決定するステップは、それぞれの割り当てられたラベルを所定の閾値と比較することを含む。
-前記エネルギーを最小化することは、連続最適化を含む。
-前記エネルギーは自由変数を有する。
-前記データ項は、前記自由変数のそれぞれに対して単調である。
-前記制約項は、他の自由変数が固定されている場合に要素の自由変数のそれぞれに対してそれぞれ単調である合算された要素を有する。
-前記制約項は、
-ファセットと前記3Dポイントクラウドとの間のフィットのレベルは、ファセット密度に対応する;
-前記ファセット密度は、前記ファセットの面積で割られた、ファセットに関係づけられたポイントの数に等しい。
-前記パラメトリック曲面で前記3DポイントクラウドをフィッティングするステップはRANSACアルゴリズムを含む。
-実オブジェクトを表す前記3Dポイントクラウドを供給するステップは、前記実オブジェクトの実例及び1つ以上のセンシングデバイスを供給するステップ、前記1つ以上のセンシングデバイスによって前記実例について1回以上の測定を行うこと、及び、前記1回以上の測定に基づいて前記3Dポイントクラウドを出力すること、を含む。及び/又は、
-前記1つ以上のセンシングデバイスは、ライダー(lidar)、深度センサ、及び/又は、ストラクチャー・フロム・モーション分析(structure-from-motion analysis)用に構成されたカメラを含む。
本方法を行うための命令を含むコンピュータプログラムがさらに提供される。
前記コンピュータプログラムが記録されているコンピュータ読み取り可能な記憶媒体がさらに提供される。
前記コンピュータプログラムが記録されているメモリにつながれたプロセッサを含むシステムがさらに提供される。
そのような方法は、3D再構成の分野を改善し、ここで、「3D再構成」という表現は、実オブジェクトを表す3Dポイントクラウドに基づいて実オブジェクトを表す3Dモデル化オブジェクトの任意のコンピュータ処理された構築を意味し、ここでの3Dモデル化オブジェクトは、S40において決定されたファセットの集合を含むかその集合からなる。
また、クライアントコンピュータは、カーソル制御装置、キーボードなどのような触覚デバイス1090を含んでもよい。ディスプレイ1080上の任意の所望の位置にユーザが選択的にカーソルを置くことを可能にするために、クライアントコンピュータにおいてカーソル制御装置が使用される。さらに、カーソル制御装置は、ユーザが、様々なコマンドを選択し、制御信号を入力することを可能にする。カーソル制御装置は、システムに制御信号を入力するための複数の信号生成装置を含む。典型的には、カーソル制御装置は、マウスであってもよく、マウスのボタンは信号を生成するために使用される。あるいは又はさらに、クライアントコンピュータシステムは、感知可能なパッド及び/又は感知可能なスクリーンを含んでもよい。
ファセットは、パラメトリック曲面の結合部である(例えば、結合部が厳密な部分ではない場合、全体のパラメトリックな部分かもしれない)。有向ファセットは、ベクトルに関係するファセットである。本方法の場合、ベクトルは、実オブジェクトによって形成されたソリッドに対して外側(同様に内側)を指す方向を示す。
1.ポイントクラウドを入力とする(S10)。
2.パラメトリック曲面の集合を計算する(S20)。
3.区分けを形成する「ファセット」の集合を計算する(S30)。
4.ファセットのグラフについて考える(S40)。
5.グラフについてエネルギー関数を規定する(S40)。
6.エネルギー関数を最小化する(S40)。
7.ソリッドのハル(S40)を回復する。
ここで、道筋のステップのそれぞれについての例の詳細について述べる。
入力ポイントクラウドは、ソリッドオブジェクトを表す3Dポイントの集合であってもよい。ポイントクラウドは、取得人工物(acquisition artifact)のために、不規則であるかもしれないし、ノイズを有するかもしれないし、不完全かもしれない。それぞれのポイントは、法線ベクトル(すなわち、外側を指すソリッド表面の接線方向を推定する単項3Dベクトル)に関係づけられてもよい。図4は、ノイズを有し、不規則で不完全なポイントクラウドの2次元の略図を示すことによってこれを表す。
そのようなポイントクラウドは、3Dスキャナ、写真測量再構成などから生じてもよい。メッシュが供給される場合、ポイントクラウドは、頂点の集合について考えることによって、又は、メッシュを表す表面のポイントをサンプリングすることによって、抽出されてもよい。
パラメトリック曲面の集合は、入力クラウドから計算されてもよい。ポイントクラウドからパラメトリック曲面の集合を抽出するいくつかの方法が存在する。パラメトリック曲面で3Dポイントクラウドのそのようなフィッティングを行う1つの方法は、例えば“Schnabel, R., Wahl, R. & Klein, R., 2007. Efficient RANSAC for point-cloud shape detection. Computer Graphics Forum, 26(2), pp. 214-226.”の論文に記載されているような、ランダム・サンプル・コンセンサス(RANSAC)アルゴリズムを実行することを含んでもよい。それぞれのパラメトリック曲面は、それが由来するポイントの部分集合に関係づけられてもよい。パラメトリック曲面の2つのサイドは、“in”及び“out”とラベル付けされてもよい。サイドのラベル付けは、パラメトリック曲面に関係づけられたポイントの法線ベクトルから推定されてもよい。パラメトリック曲面がもしかすると無限(例えば平面)かもしれないことを思い起こす。
パラメトリック曲面間の交差が計算されてもよい。ファセットは、ファセットをホストするパラメトリック曲面と他のパラメトリック曲面との間の交差によって境界が定められたパラメトリック曲面の一部である。これは、平面について考える図5(ファセットの表現を示す)によって図示される。
ノード(N)の集合及び弧(A)の集合を含むグラフについて考えてもよい。グラフのそれぞれのノードはファセットを表し、グラフ弧は隣接するファセットをリンクする。なお、それぞれのエッジは、4つのファセット、すなわち、エッジを共有する所与のパラメトリック曲面の2つのファセットだけでなく同じエッジを共有する交差を生成するパラメトリック曲面の2つのファセット、をリンクする。これは、図6によって図示される。
エネルギー関数は、グラフについて規定されてもよい。関数の変数は、ノードのラベルであってもよい。このエネルギー関数は、ラベルln=“keep”を備えるノードが、入力ポイントクラウドによって表されたソリッドの形状にできるだけ類似している閉曲面を形成する場合に、最小化されてもよい。このタスクを達成するために、本方法は、2項エネルギー関数
E=Edata+Econstraint
について考える。
a)“keep”とラベル付けされエッジによってリンクされたノードの数が0(すなわち、4つのファセットのうちの任意のファセットが近接曲面の一部を形成する)又は2とは異なる場合、又は、
b)“keep”とラベル付けされエッジによってリンクされたノードの数が2であるが、対応するパラメトリック曲面の“in”及び“out”のラベル付けが一致していない場合(“keep”のファセットの“in”及び“out”のサイドは同じであるべきである)。
[問題緩和(Problem relaxation)]
エネルギー関数(E)は、離散値(ln∈{“keep”,“discard”})をとるノードのラベルに依存する。したがって、そのエネルギーを最小化することは、最小値に相当する“discard”又は“keep”のラベルを備えるノードの組み合わせを見つけることにあるかもしれない。そのような組み合わせの問題は、単に、ラベル付けのすべての可能な組み合わせをテストし、最小エネルギーに対応するものを維持することによって解かれてもよい。ファセットの数が増大する場合、テストされる組み合わせの数が極端に増えるので、その問題を解くことは困難又は不可能になるかもしれない。
テストされた実行では、以下の緩和されたデータ項が使用された。
あるいは、他のデータ項が実行されてもよい。
緩和されたエネルギーは、緩和されたノードラベルの連続関数である。したがって、それを最小化する任意の連続最適化法を使用することが可能である。
テストされた実行では、エネルギーは、二乗誤差の合計として表現できるものと規定された。その結果、“Marquardt, D., 1963. An Algorithm for Least-Squares Estimation of Nonlinear Parameters. SIAM Journal on Applied Mathematics, 11(2), p. 431-441”の論文(テストされた)に記載されたレーベンバーグ・マルカートアルゴリズム(Levenberg-Marquardt algorithm)のような標準的な方法が、最小二乗問題を解くために使用されてもよい。
緩和されたエネルギーの最小化の後、離散的なノードのラベルが緩和されたものから回復されてもよい。それを行う簡単な方法は、0と1との間の閾値を決定するステップであってもよい。この閾値を越える緩和されたラベルは“discard”に設定されてもよいし、それより低い緩和されたラベルは“keep”に設定されてもよい。閾値は、0.5のような、0.1又は0.2より高い、及び/又は、0.9又は0.8より低い、任意の値であってもよい。エネルギーの最小化は、[0,1]範囲の極値に向けてラベルを効率的に送り、0.5近傍のラベルはないか又はわずかとなる。換言すれば、アルゴリズムは、維持されるファセットと切り捨てられるファセットとを効率的に区別する。
Claims (14)
- 3D再構成のためのコンピュータ実行方法であって
実オブジェクトを表す3Dポイントクラウドを供給するステップ、
パラメトリック曲面で前記3Dポイントクラウドをフィッティングするステップ、
前記パラメトリック曲面間の交差を遵守する有向ファセットへの前記パラメトリック曲面の区分けを規定するステップ、
エネルギーを最小化することを含む決定するステップであって、前記区分けの前記有向ファセットの中で前記実オブジェクトのスキンを表すファセットの集合を決定するステップ
を含み、
前記エネルギーは、
切り捨てられるファセットと前記3Dポイントクラウドとの間のフィットのレベルが増加するにつれて、ファセットを切り捨てることに漸増的にペナルティを課すデータ項と、
維持されるファセットによる非スキン形状の形成にペナルティを課す制約項と
を含み、
前記非スキン形状が、4つの隣接するファセットのグループのそれぞれに対して、少なくとも以下の2つの状況において形成され、
(第1の状況)維持されるファセットの数が0と2以外の数である
(第2の状況)維持されるファセットの数が2であり、かつ当該2つのファセットが一致しない配向を有する
前記制約項が、前記少なくとも2つの状況に対してペナルティを課す
方法。 - 前記エネルギーは、前記ファセットのそれぞれの各々の1つに割り当て可能で且つ前記各々のファセットを維持するための信頼レベルを表すラベルの連続体を調査する
請求項1に記載の方法。 - 前記決定するステップは、前記割り当てられたラベルに基づいてどのファセットを維持してどのファセットを切り捨てるかを選択することをさらに含む
請求項2に記載の方法。 - 前記割り当てられたラベルに基づいてどのファセットを維持してどのファセットを切り捨てるかを決定するステップは、それぞれの割り当てられたラベルを所定の閾値と比較することを含む
請求項3に記載の方法。 - 前記エネルギーの最小化は連続最適化を含む
請求項3又は4に記載の方法。 - 前記エネルギーは自由変数を有し、
前記データ項は、前記自由変数のそれぞれに対して単調であり、及び/又は、前記制約項は合算された要素を有し、当該合算された要素は、他の自由変数が固定されている場合に当該要素の自由変数のそれぞれに対してそれぞれ単調である
請求項2~5のいずれか1項に記載の方法。 - ファセットと前記3Dポイントクラウドとの間のフィットのレベルは、ファセット密度に対応し、前記ファセット密度は任意に、前記ファセットの面積で割られた、ファセットに関係づけられたポイントの数に等しい
請求項1~7のいずれか1項に記載の方法。 - 前記パラメトリック曲面で前記3DポイントクラウドをフィッティングするステップはRANSACアルゴリズムを含む
請求項1~8のいずれか1項に記載の方法。 - 前記実オブジェクトを表す3Dポイントクラウドを供給するステップは、
前記実オブジェクトの実例及び1つ以上のセンシングデバイスを供給するステップ、
前記1つ以上のセンシングデバイスによって前記実例について1回以上の測定を行うステップ、及び、
前記1回以上の測定に基づいて前記3Dポイントクラウドを出力するステップ
を含む、請求項1~9のいずれか1項に記載の方法。 - 前記1つ以上のセンシングデバイスは、ライダー、深度センサ、及び/又は、ストラクチャー・フロム・モーション分析用に構成されたカメラを含む
請求項10に記載の方法。 - 請求項1~11のいずれか1項に記載の前記方法を行うための命令を含むコンピュータプログラム。
- 請求項12に記載のコンピュータプログラムが記録されている、コンピュータ読み取り可能な記憶媒体。
- 請求項1に記載のコンピュータプログラムが記録されているメモリに接続されたプロセッサを含むシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17306907.1A EP3502929A1 (en) | 2017-12-22 | 2017-12-22 | Determining a set of facets that represents a skin of a real object |
EP17306907.1 | 2017-12-22 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019145083A JP2019145083A (ja) | 2019-08-29 |
JP7256005B2 true JP7256005B2 (ja) | 2023-04-11 |
Family
ID=60957102
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018239485A Active JP7256005B2 (ja) | 2017-12-22 | 2018-12-21 | 実オブジェクトのスキンを表すファセットの集合の決定 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10783707B2 (ja) |
EP (1) | EP3502929A1 (ja) |
JP (1) | JP7256005B2 (ja) |
CN (1) | CN110060346B (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11816798B1 (en) * | 2020-03-17 | 2023-11-14 | Apple Inc. | 3D surface representation refinement |
EP3996051A1 (en) * | 2020-11-04 | 2022-05-11 | Dassault Systèmes | 3d reconstruction of a structure of a real scene with an open surface |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009142037A1 (ja) | 2008-05-23 | 2009-11-26 | 国立大学法人横浜国立大学 | 近似処理方法、および近似処理装置 |
WO2017028961A1 (en) | 2015-08-14 | 2017-02-23 | Thomson Licensing | 3d reconstruction of a human ear from a point cloud |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7728833B2 (en) * | 2004-08-18 | 2010-06-01 | Sarnoff Corporation | Method for generating a three-dimensional model of a roof structure |
US8903126B2 (en) * | 2011-05-31 | 2014-12-02 | Hewlett-Packard Development Company, L.P. | Determining parameter values based on indications of preference |
US10621781B2 (en) * | 2015-11-23 | 2020-04-14 | Autodesk, Inc. | Robustly blending surfaces via spherical parametrization |
EP3188033B1 (en) * | 2015-12-31 | 2024-02-14 | Dassault Systèmes | Reconstructing a 3d modeled object |
CN107025685B (zh) * | 2017-04-11 | 2020-03-17 | 南京林业大学 | 拓扑感知下的机载建筑屋顶点云建模方法 |
-
2017
- 2017-12-22 EP EP17306907.1A patent/EP3502929A1/en active Pending
-
2018
- 2018-12-21 JP JP2018239485A patent/JP7256005B2/ja active Active
- 2018-12-21 CN CN201811569235.7A patent/CN110060346B/zh active Active
- 2018-12-21 US US16/230,841 patent/US10783707B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009142037A1 (ja) | 2008-05-23 | 2009-11-26 | 国立大学法人横浜国立大学 | 近似処理方法、および近似処理装置 |
US20110078223A1 (en) | 2008-05-23 | 2011-03-31 | National Univeristy Corporation Yokohama National University | Approximation processing method and approximation processing device |
WO2017028961A1 (en) | 2015-08-14 | 2017-02-23 | Thomson Licensing | 3d reconstruction of a human ear from a point cloud |
Also Published As
Publication number | Publication date |
---|---|
EP3502929A1 (en) | 2019-06-26 |
US10783707B2 (en) | 2020-09-22 |
US20190197775A1 (en) | 2019-06-27 |
CN110060346B (zh) | 2024-08-20 |
JP2019145083A (ja) | 2019-08-29 |
CN110060346A (zh) | 2019-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109767495B (zh) | 3d部件的增材制造 | |
JP6878011B2 (ja) | 3dモデル化オブジェクトの再構築 | |
JP6659336B2 (ja) | 3dモデル化オブジェクトのテクスチャリング | |
EP2874118A1 (en) | Computing camera parameters | |
EP3340085B1 (en) | B-rep of the result of a two-axis 3d printing process | |
US11893690B2 (en) | 3D reconstruction with smooth maps | |
EP3293648B1 (en) | Representation of a skeleton of a mechanical part | |
JP2018109948A (ja) | パラメトリックビュー関数に基づくデータベースの照会 | |
CN115374546A (zh) | Cad模型参数化 | |
CN115631486A (zh) | 分割表示机械组装件的3d建模对象 | |
JP7256005B2 (ja) | 実オブジェクトのスキンを表すファセットの集合の決定 | |
US11657195B2 (en) | Processing a 3D signal of a shape attribute over a real object | |
US11195330B2 (en) | Generation of a structured 3D model from a raw mesh | |
US20230306162A1 (en) | Sketch-processing | |
US20210240887A1 (en) | Structural simulation of a mechanical part | |
US20210200907A1 (en) | 3D Modeled Object Of A Physical Prototype Of A Product | |
US20230290064A1 (en) | Processing a tesselation | |
US20230342507A1 (en) | 3d reconstruction from images | |
CN117313257A (zh) | Cad特征树生成 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230330 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7256005 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |