JP7453470B2 - 3次元再構成及び関連インタラクション、測定方法及び関連装置、機器 - Google Patents
3次元再構成及び関連インタラクション、測定方法及び関連装置、機器 Download PDFInfo
- Publication number
- JP7453470B2 JP7453470B2 JP2023513719A JP2023513719A JP7453470B2 JP 7453470 B2 JP7453470 B2 JP 7453470B2 JP 2023513719 A JP2023513719 A JP 2023513719A JP 2023513719 A JP2023513719 A JP 2023513719A JP 7453470 B2 JP7453470 B2 JP 7453470B2
- Authority
- JP
- Japan
- Prior art keywords
- dataset
- image
- dimensional
- image data
- predetermined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims description 43
- 238000000691 measurement method Methods 0.000 title claims description 23
- 238000005457 optimization Methods 0.000 claims description 179
- 238000000034 method Methods 0.000 claims description 169
- 230000009466 transformation Effects 0.000 claims description 144
- 238000005259 measurement Methods 0.000 claims description 41
- 238000003384 imaging method Methods 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 25
- 239000013598 vector Substances 0.000 claims description 20
- 238000012216 screening Methods 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 14
- 230000005484 gravity Effects 0.000 claims description 9
- 238000007621 cluster analysis Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 description 17
- 238000012545 processing Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 239000011505 plaster Substances 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 210000000088 lip Anatomy 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241001494479 Pecora Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000001351 cycling effect Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000010146 3D printing Methods 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008846 dynamic interplay Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 210000002816 gill Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010883 osseointegration Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Description
本開示は、出願番号が202110031502.0であり、出願日が2021年1月11日であり、出願名称が「3次元再構成及び関連インタラクション、測定方法及び関連装置、機器」である中国特許出願に基づいて提出され、当該中国特許出願の優先権を主張し、当該中国特許の全ての内容がここで参照により本開示に組み込まれる。
例えば、本願は以下の項目を提供する。
(項目1)
3次元再構成方法であって、
撮影デバイスが再構成待ち目標をスキャンすることにより得られた複数のフレームの処理待ち画像を取得することと、
前記処理待ち画像の各フレームと前記撮影デバイスのキャリブレーションパラメータを使用して、前記再構成待ち目標に属する前記処理待ち画像の各フレームの目標画素点及びそのカメラポーズパラメータを決定することと、
所定の分割ポリシーに従って、前記処理待ち画像の各フレームの画像データを対応するデータセットに順次分割することであって、前記画像データは少なくとも、前記目標画素点を含むことと、
各前記データセットの画像データ、及び時系列がその前に配置されているデータセットの画像データとポーズ最適化パラメータを順次使用して、各前記データセットのポーズ最適化パラメータを決定することと、
各前記データセットのポーズ最適化パラメータを使用して、前記データセットに含まれる画像データの属する前記処理待ち画像のカメラポーズパラメータを調整することと、
所定の3次元再構成方式及び前記処理待ち画像の調整後のカメラポーズパラメータを使用して、前記処理待ち画像の画像データに対して再構成処理を実行して、前記再構成待ち目標の3次元モデルを取得することと、を含む、3次元再構成方法。
(項目2)
前記各前記データセットの画像データ、及び時系列がその前に配置されているデータセットの画像データとポーズ最適化パラメータを順次使用して、各前記データセットのポーズ最適化パラメータを決定することは、
各前記データセットを現在のデータセットとして順次使用し、時系列が前記現在のデータセットの前に配置されている少なくとも1つのデータセットを候補データセットとして選択することと、
前記現在のデータセットの画像データと前記候補データセットの画像データを使用して、前記現在のデータセットと前記候補データセットとの空間変換パラメータを決定することと、
少なくとも前記候補データセットのポーズ最適化パラメータ、及び前記現在のデータセットと前記候補データセットとの空間変換パラメータを使用して、前記現在のデータセットのポーズ最適化パラメータを取得し、少なくとも前記候補データセットのポーズ最適化パラメータを更新することと、を含む
項目1に記載の3次元再構成方法。
(項目3)
前記少なくとも前記候補データセットのポーズ最適化パラメータ、及び前記現在のデータセットと前記候補データセットとの空間変換パラメータを使用して、前記現在のデータセットのポーズ最適化パラメータを取得し、少なくとも前記候補データセットのポーズ最適化パラメータを更新することは、
前記現在のデータセット及び時系列がその前に配置されている前記候補データセットにそれぞれ関連付けられた各空間変換パラメータに対応する2つのデータセットをデータセットペアとして使用することと、
各前記データセットペアの空間変換パラメータ、及びそれぞれのポーズ最適化パラメータを使用して、前記ポーズ最適化パラメータに関する目標関数を構築することと、
所定の解法によって前記目標関数を解いて、前記現在のデータセット及び時系列がその前に配置されている前記候補データセットのそれぞれに対応するデータセットに含まれるデータセットのポーズ最適化パラメータを取得することと、を含む
項目2に記載の3次元再構成方法。
(項目4)
前記現在のデータセットの画像データと前記候補データセットの画像データを使用して、前記現在のデータセットと前記候補データセットとの空間変換パラメータを決定することは、
前記候補データセットと前記現在のデータセット内で、所定のマッチング条件を満たす1グループのマッチング待ち画像データを検索することと、
各グループの前記マッチング待ち画像データから抽出された、所定の画像特徴に基づいて、各グループの前記マッチング待ち画像データ間のマッチング画素点対を取得することと、
前記マッチング画素点対のうち、前記現在のデータセットに属する画素点を3次元空間にマッピングし、第1の3次元マッチングポイントを取得し、前記マッチング画素点対のうち、前記候補データセットに属する画素点を前記3次元空間にマッピングして、第2の3次元マッチングポイントを取得することと、
前記第1の3次元マッチングポイントと前記第2の3次元マッチングポイントとを位置合わせして、前記空間変換パラメータを取得することと、を含む
項目2に記載の3次元再構成方法。
(項目5)
前記第1の3次元マッチングポイントと前記第2の3次元マッチングポイントとを位置合わせして、前記空間変換パラメータを取得することは、
前記第1の3次元マッチングポイントと前記第2の3次元マッチングポイントとの第1のポーズ変換パラメータを取得することと、
前記第1のポーズ変換パラメータと所定のポーズ変換パラメータを使用して、前記第1の3次元マッチングポイントに対してポーズ最適化を実行して、第1の最適化マッチングポイントと第2の最適化マッチングポイントとをそれぞれ取得することと、
前記第2の3次元マッチングポイントと、前記第1の最適化マッチングポイントおよび前記第2の最適化マッチングポイントとのそれぞれの一致度を計算し、前記一致度の高い最適化マッチングポイントが使用するポーズ変換パラメータを第2のポーズ変換パラメータとして選択することと、
前記第2のポーズ変換パラメータを初期値とし、所定の位置合わせ方式によって前記第1の3次元マッチングポイントと前記第2の3次元マッチングポイントを位置合わせして、前記現在のデータセットと前記候補データセットとの空間変換パラメータを取得することと、を含む
項目4に記載の3次元再構成方法。
(項目6)
前記現在のデータセットの画像データと前記候補データセットの画像データを使用して、前記現在のデータセットと前記候補データセットとの空間変換パラメータを決定した後、及び少なくとも前記候補データセットのポーズ最適化パラメータ、及び前記現在のデータセットと前記候補データセットとの空間変換パラメータを使用して、前記現在のデータセットのポーズ最適化パラメータを取得する前に、前記3次元再構成方法は、
前記現在のデータセットと各前記候補データセットとの空間変換パラメータから、所定のパラメータスクリーニング条件を満たす空間変換パラメータを選択することをさらに含み、
前記所定のパラメータスクリーニング条件は、前記空間変換パラメータに関連する前記候補データセットが前記現在のデータセットと隣接すること、前記空間変換パラメータを使用して、前記第1の3次元マッチングポイントをポーズ最適化することにより得られた最適化マッチングポイントと、前記第2の3次元マッチングポイントとの一致度が所定の一致度閾値より大きいことのいずれか1つを含む
項目4に記載の3次元再構成方法。
(項目7)
時系列が前記現在のデータセットの前に配置されている少なくとも1つのデータセットを候補データセットとして選択することは、
前記現在のデータセット及び時系列がその前に配置されているデータセットの画像データの所定の画像特徴を使用して、Bag of Wordsモデルを構築することと、
前記現在のデータセットにおける所定の時系列に位置する属する処理待ち画像の画像データをマッチング待ち画像データとして選択することと、
前記Bag of Wordsモデルの所定の範囲から、前記マッチング待ち画像データの所定の画像特徴との類似度スコアが所定の類似度閾値より大きい所定の画像特徴をクエリすることと、
クエリされた所定の画像特徴の属する画像データが所在するデータセット、及び前記現在のデータセットと隣接するデータセットを前記候補データセットとして使用することと、を含み、
前記所定の範囲は、属するデータセットが前記現在のデータセットと隣接せず、且つ前記現在のデータセットに含まれない画像データの所定の画像特徴を含む
項目2に記載の3次元再構成方法。
(項目8)
前記Bag of Wordsモデルの所定の範囲から、前記マッチング待ち画像データの所定の画像特徴との類似度スコアが所定の類似度閾値より大きい所定の画像特徴をクエリする前に、前記3次元再構成方法は、
前記現在のデータセットと隣接するデータセットにおける各前記画像データと前記マッチング待ち画像データとの類似度スコアのうちの最大スコア値を取得することと、
前記最大スコア値の所定の倍数と所定のスコア値のいずれか1つを所定の類似度閾値として使用することと、をさらに含む
項目7に記載の3次元再構成方法。
(項目9)
前記所定の分割ポリシーに従って、前記処理待ち画像の各フレームの画像データを対応するデータセットに順次分割することは、
前記処理待ち画像の各フレームを現在の処理待ち画像として順次使用することと、
現在の処理待ち画像の画像データを分割する場合、既存の前記データセットの最後のデータセットが所定のオーバーフロー条件を満たすと、前記最後のデータセットにおける最新の複数のフレームの前記処理待ち画像の画像データを取得し、新しい前記最後のデータセットとして新しく作成された前記データセットに記憶し、前記現在の処理待ち画像の画像データを新しい前記最後のデータセットに分割することと、を含む
項目1に記載の3次元再構成方法。
(項目10)
前記所定のオーバーフロー条件は、
前記最後のデータセットに含まれる前記画像データに対応する前記処理待ち画像のフレーム数が所定のフレーム数閾値より大きいか等しいこと、前記最後のデータセットのいずれかの前記画像データが属する処理待ち画像のカメラ位置と前記現在の処理待ち画像のカメラ位置との距離が所定の距離閾値より大きいこと、前記最後のデータセットのいずれかの前記画像データが属する処理待ち画像のカメラ向き角度と前記現在の処理待ち画像のカメラ向き角度との差が所定の角度閾値より大きいことのいずれか1つを含み、
前記カメラ位置と前記カメラ向き角度は、前記処理待ち画像のカメラポーズパラメータを使用して計算されるものである
項目9に記載の3次元再構成方法。
(項目11)
前記処理待ち画像の各フレームは、カラーデータと深度データとを含み、前記処理待ち画像の各フレームと前記撮影デバイスのキャリブレーションパラメータを使用して、前記再構成待ち目標に属する前記処理待ち画像の各フレームの目標画素点を決定することは、
前記カラーデータとの位置合わせ後の深度データに含まれる各画素点の法線ベクトルと、前記処理待ち画像の重力方向との夾角を取得することと、
前記各画素点を3次元空間で前記重力方向に投影して、前記3次元空間における前記各画素点の高さの値を取得することと、
前記夾角が所定の角度条件を満たす画素点の高さの値を分析して、前記再構成待ち目標の平面高さを取得することと、
前記平面高さを使用して、前記カラーデータにおける前記再構成待ち物体に属する目標画素点をスクリーニングすることと、を含む
項目1-10のいずれか一項に記載の3次元再構成方法。
(項目12)
前記夾角が所定の角度条件を満たす画素点の高さの値を分析して、前記再構成待ち目標の平面高さを取得することは、
前記夾角が所定の角度条件を満たす前記画素点の高さの値を高さセットとして使用することと、
前記高さセット内の高さの値に対してクラスタ分析を実行して、前記再構成待ち目標の平面高さを取得することと、を含む
項目11に記載の3次元再構成方法。
(項目13)
前記各前記データセットの画像データ、及び時系列がその前に配置されているデータセットの画像データとポーズ最適化パラメータを順次使用して、各前記データセットのポーズ最適化パラメータを決定した後、前記3次元再構成方法は、
各前記データセットの画像データを3次元空間に順次マッピングして、各前記データセットに対応する3次元ポイントクラウドを取得することと、
各前記データセットの前記ポーズ最適化パラメータを使用して、それに対応する前記3次元ポイントクラウドを調整することと、をさらに含む
項目1-12のいずれか一項に記載の3次元再構成方法。
(項目14)
3次元再構成に基づくインタラクション方法であって、
再構成待ち目標の3次元モデルを取得することであって、前記3次元モデルは、項目1-13のいずれか一項に記載の3次元再構成方法を使用して取得されるものであることと、
所定の視覚慣性ナビゲーション方式を使用して、撮影デバイスが配置されているシーンの3次元地図を構築し、前記3次元地図における前記撮影デバイスの現在のポーズ情報を取得することと、
前記ポーズ情報に基づいて、前記撮影デバイスによって現在撮影されているシーン画像に前記3次元モデルを表示することと、を含む、前記3次元再構成に基づくインタラクション方法。
(項目15)
3次元再構成に基づく測定方法であって、
再構成待ち目標の3次元モデルを取得することであって、前記3次元モデルは、項目1-13のいずれか一項に記載の3次元再構成方法を使用して取得されるものであることと、
ユーザが3次元モデルで設定した複数の測定ポイントを受信することと、
前記複数の測定ポイントの間の距離を取得して、前記再構成待ち目標上の前記複数の測定ポイントに対応する位置の間の距離を取得することと、を含む、前記3次元再構成に基づく測定方法。
(項目16)
3次元再構成装置であって、
撮影デバイスが再構成待ち目標をスキャンすることにより得られた複数のフレームの処理待ち画像を取得するように構成される画像取得部と、
前記処理待ち画像の各フレームと前記撮影デバイスのキャリブレーションパラメータを使用して、前記再構成待ち目標に属する前記処理待ち画像の各フレームの目標画素点及びそのカメラポーズパラメータを決定するように構成される第1の決定部と、
所定の分割ポリシーに従って、前記処理待ち画像の各フレームの画像データを対応するデータセットに順次分割するように構成されるデータ分割部であって、前記画像データは少なくとも、前記目標画素点を含むデータ分割部と、
各前記データセットの画像データ、及び時系列がその前に配置されているデータセットの画像データとポーズ最適化パラメータを順次使用して、各前記データセットのポーズ最適化パラメータを決定するように構成される第2の決定部と、
各前記データセットのポーズ最適化パラメータを使用して、前記データセットに含まれる画像データが属する処理待ち画像のカメラポーズパラメータを調整するように構成されるパラメータ調整部と、
所定の3次元再構成方式及び前記処理待ち画像の調整後のカメラポーズパラメータを使用して、前記処理待ち画像の画像データに対して再構成処理を実行して、前記再構成待ち目標の3次元モデルを取得するように構成されるモデル再構成部と、を備える、前記3次元再構成装置。
(項目17)
前記第2の決定部は、
各前記データセットを現在のデータセットとして順次使用し、時系列が前記現在のデータセットの前に配置されている少なくとも1つのデータセットを候補データセットとして選択するように構成されるデータセット選択サブ部と、
前記現在のデータセットの画像データと前記候補データセットの画像データを使用して、前記現在のデータセットと前記候補データセットとの空間変換パラメータを決定するように構成される空間変換パラメータサブ部と、
少なくとも前記候補データセットのポーズ最適化パラメータ、及び前記現在のデータセットと前記候補データセットとの空間変換パラメータを使用して、前記現在のデータセットのポーズ最適化パラメータを取得し、少なくとも前記候補データセットのポーズ最適化パラメータを更新するように構成されるポーズ最適化パラメータサブ部と、を備える
項目16に記載の3次元再構成装置。
(項目18)
前記ポーズ最適化パラメータサブ部は、
前記現在のデータセット及び時系列がその前に配置されている前記候補データセットにそれぞれ関連付けられた各空間変換パラメータに対応する2つのデータセットをデータセットペアとして使用するように構成されるデータセットペア部と、
各前記データセットペアの空間変換パラメータ、及びそれぞれのポーズ最適化パラメータを使用して、前記ポーズ最適化パラメータに関する目標関数を構築するように構成される目標関数構築部と、
所定の解法によって前記目標関数を解いて、前記現在のデータセット及び時系列がその前に配置されている前記候補データセットのそれぞれに対応するデータセットに含まれるデータセットのポーズ最適化パラメータを取得するように構成される目標関数解決部と、を備える
項目17に記載の3次元再成装置。
(項目19)
前記空間変換パラメータサブ部は、
前記候補データセットと前記現在のデータセット内で、所定のマッチング条件を満たす1グループのマッチング待ち画像データを検索するように構成される画像データ検索部と、
各グループの前記マッチング待ち画像データから抽出された、所定の画像特徴に基づいて、各グループの前記マッチング待ち画像データ間のマッチング画素点対を取得するように構成されるマッチング画素点選択部と、
前記マッチング画素点対のうち、前記現在のデータセットに属する画素点を3次元空間にマッピングし、第1の3次元マッチングポイントを取得し、前記マッチング画素点対のうち、前記候補データセットに属する画素点を前記3次元空間にマッピングして、第2の3次元マッチングポイントを取得するように構成される3次元空間マッピング部と、
前記第1の3次元マッチングポイントと前記第2の3次元マッチングポイントとを位置合わせして、前記空間変換パラメータを取得するように構成される3次元マッチングポイント位置合わせ部と、を備える
項目17に記載の3次元再構成装置。
(項目20)
3次元マッチングポイント位置合わせ部は、
前記第1の3次元マッチングポイントと前記第2の3次元マッチングポイントとの第1のポーズ変換パラメータを取得するように構成される第1のポーズ変換パラメータサブ部と、
前記第1のポーズ変換パラメータと所定のポーズ変換パラメータを使用して、前記第1の3次元マッチングポイントに対してポーズ最適化を実行して、第1の最適化マッチングポイントと第2の最適化マッチングポイントとをそれぞれ取得するように構成される3次元マッチングポイント最適化サブ部と、
前記第2の3次元マッチングポイントと、前記第1の最適化マッチングポイントおよび前記第2の最適化マッチングポイントとのそれぞれの一致度を計算し、前記一致度の高い最適化マッチングポイントが使用するポーズ変換パラメータを第2のポーズ変換パラメータとして選択するように構成される第2のポーズ変換パラメータサブ部と、
前記第2のポーズ変換パラメータを初期値とし、所定の位置合わせ方式によって前記第1の3次元マッチングポイントと前記第2の3次元マッチングポイントとを位置合わせして、前記現在のデータセットと前記候補データセットとの空間変換パラメータを取得するように構成される空間変換パラメータサブ部と、を備える
項目19に記載の3次元再構成装置。
(項目21)
前記空間変換パラメータサブ部は、
前記現在のデータセットの画像データと前記候補データセットの画像データを使用して、前記現在のデータセットと前記候補データセットとの空間変換パラメータを決定した後、及び少なくとも前記候補データセットのポーズ最適化パラメータ、及び前記現在のデータセットと前記候補データセットとの空間変換パラメータを使用して、前記現在のデータセットのポーズ最適化パラメータを取得する前に、前記現在のデータセットと各前記候補データセットとの空間変換パラメータから、所定のパラメータスクリーニング条件を満たす空間変換パラメータを選択するように構成される変換パラメータスクリーニングユニットをさらに備え、
前記所定のパラメータスクリーニング条件は、前記空間変換パラメータに関連する前記候補データセットが前記現在のデータセットと隣接すること、前記空間変換パラメータを使用して、前記第1の3次元マッチングポイントをポーズ最適化することにより得られた最適化マッチングポイントと、前記第2の3次元マッチングポイントとの一致度が所定の一致度閾値より大きいことのいずれか1つを含む
項目19に記載の3次元再構成装置。
(項目22)
前記データセット選択サブ部は、
前記現在のデータセット及び時系列がその前に配置されているデータセットの画像データの所定の画像特徴を使用して、Bag of Wordsモデルを構築するように構成されるBag of Wordsモデル構築部と、
属する処理待ち画像の前記現在のデータセットの所定の時系列に位置する画像データをマッチング待ち画像データとして選択するように構成されるマッチング待ち画像データユニットと、
前記Bag of Wordsモデルの所定の範囲から、前記マッチング待ち画像データの所定の画像特徴との類似度スコアが所定の類似度閾値より大きい所定の画像特徴をクエリするように構成される画像特徴クエリユニットと、
クエリされた所定の画像特徴の属する画像データが所在するデータセット、及び前記現在のデータセットと隣接するデータセットを前記候補データセットとして使用するように構成される候補データセットユニットと、を備え、
前記所定の範囲は、属するデータセットが前記現在のデータセットと隣接せず、且つ前記現在のデータセットに含まれない画像データの所定の画像特徴を含む
項目16に記載の3次元再構成装置。
(項目23)
前記データセット選択サブ部は、
前記Bag of Wordsモデルの所定の範囲から、前記マッチング待ち画像データの所定の画像特徴との類似度スコアが所定の類似度閾値より大きい所定の画像特徴をクエリする前に、前記現在のデータセットと隣接するデータセットにおける各前記画像データと前記マッチング待ち画像データとの類似度スコアのうちの最大スコア値を取得するように構成される最大類似度スコア値取得ユニットと、
前記最大スコア値の所定の倍数と所定のスコア値のいずれか1つを所定の類似度閾値として使用するように構成される所定の類似度閾値決定ユニットと、をさらに備える
項目22に記載の3次元再構成装置。
(項目24)
前記データ分割部は、
前記処理待ち画像の各フレームを現在の処理待ち画像として順次使用するように構成される現在処理待ち画像決定サブ部と、
現在の処理待ち画像の画像データを分割する場合、既存の前記データセットの最後のデータセットが所定のオーバーフロー条件を満たすと、前記最後のデータセットにおける最新の複数のフレームの前記処理待ち画像の画像データを取得し、新しい前記最後のデータセットとして新しく作成された前記データセットに記憶し、前記現在の処理待ち画像の画像データを新しい前記最後のデータセットに分割するように構成されるデータ処理サブ部と、を備える
項目16に記載の3次元再構成装置。
(項目25)
前記所定のオーバーフロー条件は、
前記最後のデータセットに含まれる前記画像データに対応する前記処理待ち画像のフレーム数が所定のフレーム数閾値より大きいか等しいこと、前記最後のデータセットのいずれかの前記画像データが属する処理待ち画像のカメラ位置と前記現在の処理待ち画像のカメラ位置との距離が所定の距離閾値より大きいこと、前記最後のデータセットのいずれかの前記画像データが属する処理待ち画像のカメラ向き角度と前記現在の処理待ち画像のカメラ向き角度との差が所定の角度閾値より大きいことのいずれか1つを含み、
前記カメラ位置と前記カメラ向き角度は、前記処理待ち画像のカメラポーズパラメータを使用して計算されるものである
項目24に記載の3次元再構成装置。
(項目26)
前記処理待ち画像の各フレームは、カラーデータと深度データとを含み、第1の決定部は、
前記カラーデータとの位置合わせ後の深度データに含まれる各画素点の法線ベクトルと、前記処理待ち画像の重力方向との夾角を取得するように構成される夾角取得サブ部と、
前記各画素点を3次元空間で前記重力方向に投影し、前記3次元空間における前記各画素点の高さの値を取得するように構成される高さ取得サブ部と、
前記夾角が所定の角度条件を満たす画素点の高さの値を分析して、前記再構成待ち目標の平面高さを取得するように構成される高さ分析サブ部と、
前記平面高さによって前記カラーデータにおける前記再構成待ち物体に属する目標画素点をスクリーニングするように構成される画素スクリーニングサブ部と、を備える
項目16-26のいずれか一項に記載の3次元再構成装置。
(項目27)
前記高さ分析サブ部は、
前記夾角が所定の角度条件を満たす前記画素点の高さの値を高さセットとして使用するように構成される高さセット取得ユニットと、
前記高さセット内の高さの値に対してクラスタ分析を実行して、前記再構成待ち目標の平面高さを取得するように構成される高さクラスタ分析ユニットと、を備える
項目26に記載の3次元再構成装置。
(項目28)
前記3次元再構成装置は、
各前記データセットの画像データを3次元空間に順次マッピングして、各前記データセットに対応する3次元ポイントクラウドを取得するように構成される3次元マッピング部と、
各前記データセットの前記ポーズ最適化パラメータを使用して、それに対応する前記3次元ポイントクラウドを調整するように構成されるポイントクラウド調整部と、をさらに備える
項目16-27のいずれか一項に記載の3次元再構成装置。
(項目29)
3次元再構成に基づくインタラクション装置であって、
再構成待ち目標の3次元モデルを取得するように構成され、前記3次元モデルは、項目16に記載の3次元再構成装置により得られるモデル取得部と、
所定の視覚慣性ナビゲーション方式により、撮影デバイスが配置されているシーンの3次元地図を構築し、3次元地図における前記撮影デバイスの現在のポーズ情報を取得するように構成されるマッピング及び位置決め部と、
前記ポーズ情報に基づいて、前記撮影デバイスによって現在撮影されているシーン画像に前記3次元モデルを表示するように構成される表示インタラクション部と、を備える、3次元再構成に基づくインタラクション装置。
(項目30)
3次元再構成に基づく測定装置であって、
再構成待ち目標の3次元モデルを取得するように構成され、前記3次元モデルは、項目16に記載の3次元再構成装置により得られるモデル取得部と、
ユーザが前記3次元モデルで設定した複数の測定ポイントを受信するように構成される表示インタラクション部と、
前記複数の測定ポイントの間の距離を取得して、前記再構成待ち目標上の前記複数の測定ポイントに対応する位置の間の距離を取得するように構成される距離取得部と、を備える、3次元再構成に基づく測定装置。
(項目31)
電子機器であって、
互いに結合されたメモリ及びプロセッサを備え、前記プロセッサは、項目1-13のいずれか一項に記載の3次元再構成方法を実現し、又は項目14に記載の3次元再構成に基づくインタラクション方法を実現し、又は項目15に記載の3次元再構成に基づく測定方法を実現するために、前記メモリに記憶されたプログラム命令を実行するように構成される、電子機器。
(項目32)
プログラム命令を記憶するコンピュータ可読記憶媒体であって、前記プログラム命令がプロセッサに実行されると、項目1-13のいずれか一項に記載の3次元再構成方法を実現し、又は項目14に記載の3次元再構成に基づくインタラクション方法を実現し、又は項目15に記載の3次元再構成に基づく測定方法を実現する、コンピュータ可読記憶媒体。
(項目33)
コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で動作し、前記電子機器のプロセッサに実行される場合、項目1-13のいずれか一項に記載の3次元再構成方法を実現し、又は項目14に記載の3次元再構成に基づくインタラクション方法を実現し、又は項目15に記載の3次元再構成に基づく測定方法を実現する、コンピュータプログラム。
(項目34)
コンピュータで動作する場合、コンピュータに項目1-13のいずれか一項に記載の3次元再構成方法を実行させ、又は項目14に記載の3次元再構成に基づくインタラクション方法を実行させ、又は項目15に記載の3次元再構成に基づく測定方法を実行させる、コンピュータプログラム製品。
図1を参照すると、図1は本開示の3次元再構成方法の一実施例のフローチャートである。前記3次元再構成方法は、以下のステップを含むことができる:
は、カラーカメラの焦点距離を表し、
は、カラーカメラの主点座標を表す。また、深度カメラの内部パラメータ
は、このように類推されてもよく、ここでは例を1つずつ挙げない。
と3*1の並進マトリックス
とを含むことができる。回転マトリックス
を使用して、世界座標系における座標点
を左乗算し、並進マトリックス
と合計することにより、世界座標系における座標点
のカメラ座標系における対応する座標点
を取得することができる。
及びその前にあるフレームの処理待ち画像の再構成待ち目標に属する目標画素点
、撮影ダバイスの内部パラメータ
を使用して、相対ポーズパラメータ
の目標関数を構築し、ICP(Iterative Closest Point:反復最接近点)アルゴリズムを利用して当該目標関数を最小化し、それによって相対ポーズパラメータ
を求めることができ、ここで、相対ポーズパラメータ
は、その前にあるフレームの処理待ちカメラポーズパラメータ
に対する各フレームの処理待ち画像のカメラポーズパラメータ
の相対パラメータである。ここで、相対ポーズパラメータ
の目標関数については、次の式を参照することができる:
は重みであり、
は、画素点
(画素点
が目標画素点である)のカラーデータ
における2次元画像座標であり、
は、深度データ
をカラーデータ
に投影した後の画素点
の深度値である。したがって、上記式において、
は、現在のフレームの画素点
が相対ポーズパラメータ
、内部パラメータ
を使用して、その前にあるフレームに変換された後の理論上の対応する画素点の3次元空間における位置座標を表すことができ、当該相対ポーズパラメータ
が正確であるほど、当該対応する画素点の前のフレームのカラーデータ
における画素値
と画素点
の現在のフレームのカラーデータ
における画素値
との二乗和誤差
が小さくなり、且つ当該対応する画素点の前のフレームの深度データ
の深度値
と対応する画素点の3次元空間における
座標値
との二乗和誤差
も小さくなり、したがって、上記目標関数
を正確に取得することができ、それによってカメラポーズパラメータの精度を向上させることができる。
に対する各フレームの処理待ち画像のカメラポーズパラメータ
の相対ポーズパラメータ
が得られた後、相対ポーズパラメータ
の逆(即ち
)をその前にあるフレームの処理待ち画像のカメラポーズパラメータ
と左乗算し、現在のフレームの処理待ち画像のカメラポーズパラメータ
を取得することができる。一実施シーンでは、処理待ち画像が撮影デバイスによってスキャンされて得られた複数のフレームの処理待ち画像のうちの第1のフレームである場合、そのカメラポーズパラメータは、単位マトリックスとして初期化されてもよく、本開示の実施例では、単位マトリックスは、主対角線上の要素が全て1であり、他の要素が0である方形マトリックスである。また、別の実施シーンでは、処理待ち画像へのスキャン、及び目標画素点とカメラポーズパラメータの決定を同時に行うことができ、即ちスキャンによって1フレームの処理待ち画像が得られた後、即ちスキャンして得られた処理待ち画像に対して目標画素点とカメラポーズパラメータの決定を実行して、それと同時に、スキャンによって次のフレームの処理待ち画像を取得して、これにより、再構成待ち目標に対して3次元再構成をリアルタイム且つオンラインで行うことができる。
を決定することができ、これにより、両者間の空間変換パラメータ
、及びそれぞれのポーズ最適化パラメータ
を使用して、ポーズ最適化パラメータ
に関する目標パラメータを構築することができ、さらに目標関数を解いて、そのポーズ最適化パラメータ
及び時系列がその前に配置されているデータセットのポーズ最適化パラメータを取得することができ、これにより、その前にあるデータセットのポーズ最適化パラメータ
を更新することができる。したがって、各データセットのポーズ最適化パラメータ
を順次ソルビングする場合、時系列がその前に配置されているデータセットのポーズ最適化パラメータ
が考慮され、即ちデータセットとその前にあるデータセットのポーズ最適化パラメータは、互いに関連し、且つ新しいデータセットの継続的な生成につれて、前のデータセットのポーズ最適化パラメータも継続的に更新され、このようにして最後のデータセットまで循環し、それによって各データセットの最終的なポーズ最適化パラメータを取得することができ、そのため、累積された誤差を効果的に無くすことができる。1つの実施シーンでは、データセットが1番目のデータセットである場合、1番目のデータセットのポーズ最適化パラメータは、単位マトリックスとして初期化されてもよい。1つの実施シーンでは、新しいデータセットを作成するたびに、その前にあるデータセットのポーズ最適化パラメータを計算し、関連するデータセットのポーズ最適化パラメータの更新を実現することができ、このように循環し、スキャンが終了するまで続き、各データセットの最終的なポーズ最適化パラメータが得られ、それによって計算量の均一化に役立ち、さらに計算負荷の軽減に役立つことができる。撮影デバイスが携帯電話、タブレットコンピュータなどの移動端末である場合、撮影された処理待ち画像を対応するデータセットに分割するとともに、データセットのポーズ最適化パラメータを解いて、更新することができ、それによって再構成待ち目標の3次元再構成をリアルタイムかつオンラインで行うことができる。なお、本開示の実施例及び下記の他の開示された実施例では、別段の指定がない限り、時系列は、データセット内の処理待ち画像の全体的な撮影時系列を表すことができる。例えば、データセット1は、撮影時系列t=1の処理待ち画像、撮影時系列t=2の処理待ち画像、及び撮影時系列t=3の処理待ち画像を含み、データセット2は、撮影時系列t=4の処理待ち画像、撮影時系列t=5の処理待ち画像、及び撮影時系列t=6の処理待ち画像を含み、データセット1内の処理待ち画像の全体的な撮影時系列がデータセット2内の処理待ち画像の全体的な撮影時系列に位置する場合、データセット1の時系列は、データセット2の前にあると見なすことができる。他の場合、このように類推することができ、ここで例を1つずつ挙げない。
を使用して、画像データを3次元空間にマッピングし、3次元ポイントクラウドを取得することができ、まず、画像データを3次元同次にし、画素座標を取得することができ、カメラポーズパラメータ
と、内部パラメータ
を使用して、同次になった後の画素座標を左乗算し、3次元空間における3次元ポイントクラウドを取得することができる。別の実施シーンでは、データセットのポーズ最適化パラメータ
を使用して、3次元ポイントクラウドを左乗算し、動的調整を実現することができる。即ち、各データセットのポーズ最適化パラメータが得られた後、データセットのカメラポーズパラメータを使用して、それに対応する3次元ポイントクラウドを調整することができる。さらなる別の実施シーンでは、3次元ポイントクラウドを所定の色(例えば、緑色)で示すことができ、ここでは限定されない。
を使用して、その中に含まれる画像データの属する処理待ち画像のカメラポーズパラメータ
を左乗算し、それによってカメラポーズパラメータの調整を実現することができる。例えば、データセットAにおいてデータセットAに分割された時系列が画像データ01(処理待ち画像01に属する)、画像データ02(処理待ち画像02に属する)、画像データ03(処理待ち画像03に属する)を含むため、データセットAのポーズ最適化パラメータ
を使用して、処理待ち画像01のカメラポーズパラメータ
、処理待ち画像02のカメラポーズパラメータ
、処理待ち画像03のカメラポーズパラメータ
をそれぞれ左乗算し、それによってデータセットAに含まれる画像データの属する処理待ち画像のカメラポーズパラメータの調整を実現することができる。1つの実施シーンでは、隣接するデータセットの間に同じ処理待ち画像に属する画像データがある場合、2つのデータセットのいずれかのポーズ最適化パラメータのみを使用して、同じ処理待ち画像のカメラポーズパラメータを調整することができる。例えば、依然として上記データセットAを例とすると、それに隣接するデータセットBは、画像データ03(処理待ち画像03に属する)、画像データ04(処理待ち画像04に属する)を含むため、データセットAのポーズ最適化パラメータ
を使用して、処理待ち画像01のカメラポーズパラメータ
、処理待ち画像02のカメラポーズパラメータ
、処理待ち画像03のカメラポーズパラメータ
を左乗算する場合、データセットBに含まれる画像データの属する処理待ち画像のカメラポーズパラメータを調整するときに、データセットBのポーズ最適化パラメータ
を使用して、処理待ち画像03のカメラポーズパラメータ
を左乗算せず、処理待ち画像04のカメラポーズパラメータを左乗算することができる。
ここで、各フレームの処理待ち画像は、カラーデータ
と深度データ
とを含み、深度データ
をカラーデータ
に投影させて、位置合わせした後の深度データ
を取得することができる。1つの実施シーンでは、式(6)を使用して、深度データ
における画素点の2次元画像座標
をその深度値
で3次元同次座標
に変換することができる:
式(7)に基づいて、撮影デバイスにおける深度カメラの内部パラメータ
を使用して、3次元同次座標
を3次元空間に逆投影した後、深度カメラ及びカラーカメラの回転マトリックス
と並進マトリックス
を使用して、剛性変換を実行して、カラーカメラの内部パラメータ
を2次元平面に投影し、カラーデータにおける対象の画素点座標
を取得する:
上記式では、カラーデータにおける対象の画素点座標
は、3次元座標であり、それを2次元座標に変換するために、式(8)に基づいて、その深度値、即ち3番目の値
を使用して、その1番目の値と第2の値と除算し、カラーデータにおける対象の画素点座標
の2次元座標
を取得する:
を例とすると、その深度値
に基づいてその3次元同次座標を取得することができ、内部パラメータ
を3次元同次座標と左乗算し、画素点
が3次元空間に逆投影された3次元点
を取得することができ、画素点
の3*3ウィンドウにおける8つの近傍画素点を反時計回りに配列し、それぞれ3次元空間に逆投影し、対応する3次元点を取得して、
に記すると、画素点
の3次元法線ベクトル
は、次のように表されてもよい:
は、クロス積を表し、
は余りを取ることを表し、例えば、
は、1を8で割った余り、即ち1を表し、他の場合はこのように類推することができ、ここで例を1つずつ挙げない。
を例とすると、上記ステップを参照して3次元空間における3次元点
を取得して、3次元点
の重力方向における投影3次元点を取得し、それによって投影3次元点の3番目の値(z座標)を画素点
の3次元空間における高さの値
として使用することができる。
図4を参照すると、図4は図1のステップS13の一実施例のフローチャートである。ここで、図4は各フレームの処理待ち画像の画像データを対応するデータセットに分割する一実施例のフローチャートである。それは以下のステップを含むことができる:
は、マトリックス
で表されてもよく、即ちカメラポーズパラメータは、回転マトリックス
と並進マトリックス
を含み、カメラ位置
は、次のように表されてもよい:
はマトリックスの転置を表す。また、
の第3行のベクトルをカメラ向き角度として表すことができる。
図5を参照すると、図5は図1のステップS14の一実施例のフローチャートである。ここで、図5はデータセットのポーズ最適化パラメータを決定する一実施例のフローチャートである。それは以下のステップを含むことができる:
1つの実施シーンでは、ポーズ最適化パラメータの精度を向上させ、それによって3次元再構成効果を高めるために、現在のデータセットの前に配置されているデータセットから、画像データが類似したものを候補データセットとして選択することができ、ここで、図6を参照すると、図6は図5のステップS141の一実施例のフローチャートであり、以下のステップを含むことができる:
を取得し、最大スコア値
の所定の倍数(例えば、1.5倍、2倍、2.5倍)を所定の類似度閾値として使用することができる。別の実施シーンでは、最大スコア値
の所定の倍数、上記の所定のスコア値のいずれかを所定の類似度閾値として使用することができ、即ち、Bag of Wordsモデルの所定の範囲から、マッチング待ち画像データの所定の画像特徴との類似度スコア
が最大スコア値
の所定の倍数、上記の所定のスコア値のいずれかより大きい所定の画像特徴をクエリすることができ、ここでは限定されない。
の最も大きい3つのデータセット、及び現在のデータセットと隣接するデータセットGを候補データセットとして選択することができる。
に記し、候補データセットに属するマッチング待ち画像データを
に記することができる。
の所定の画像特徴(例えば、ORB画像特徴)に対してマッチングペアのスクリーニングを実行して、
の間のマッチング画素点を取得することができ、説明を容易にするために、
にそれぞれ記してもよい。RANSACアルゴリズムについては、上記の実施例における関連ステップを参照することができ、ここでは説明を省略する。
を3次元空間にマッピングし、第1の3次元マッチングポイントを取得して、説明を容易にするために、
に記し、
を3次元空間にマッピングし、第2の3次元マッチングポイントを取得して、説明を容易にするために、
に記する。ここで、
を3次元同次座標にそれぞれ変換し、内部パラメータ
の逆
を使用して、
の3次元同次座標をそれぞれ左乗算し、第1の3次元マッチングポイント
と第2の3次元マッチングポイント
を取得することができる。
を取得することができる。
は、3次元空間における第iペアの3次元マッチングポイントをそれぞれ表す。
が得られた後、第1のポーズ変換パラメータ
と所定のポーズ変換パラメータ(例えば、単位マトリックス)を使用して、第1の3次元マッチングポイントに対してポーズ最適化を実行して、第1の最適化マッチングポイントと第2の最適化マッチングポイントとをそれぞれ取得することもでき、ここで、第1のポーズ変換パラメータ
と所定のポーズ変換パラメータを使用して、第1の3次元マッチングポイント
とそれぞれ左乗算し、それによって第1の最適化マッチングポイントと第2の最適化マッチングポイントとをそれぞれ得ることができ、説明を容易にするために、
にそれぞれ記することができる。さらに、第2の3次元マッチングポイント
と、第1の最適化マッチングポイント
および第2の最適化マッチングポイント
とのそれぞれの一致度を計算し、一致度の高い最適化マッチングポイントが使用するポーズ変換パラメータを第2のポーズ変換パラメータとして選択することができ、説明を容易にするために、
に記することができる。ここで、第2の3次元マッチングポイント
と第1の最適化マッチングポイント
との一致度を計算する場合、各第2の3次元マッチングポイント
の所定の範囲内(例えば、5cmの範囲)で第1の最適化マッチングポイント
を検索することができ、検索できる場合、第2の3次元マッチングポイント
を有効してマーキングし、そうでない場合、無効としてマーキングすることができ、全ての第2の3次元マッチングポイント
への検索が完了した後、第2の3次元マッチングポイント
の総数に対する有効としてマーキングされた第2の3次元マッチングポイント
の割合、即ち第2の3次元マッチングポイント
と第1の最適化マッチングポイント
との一致度を計算し、第2の3次元マッチングポイント
と第2の最適化マッチングポイント
との一致度は、このように類推されてもよく、ここでは説明を省略する。
を求めた後、第2のポーズ変換パラメータ
を初期値とし、所定の位置合わせ方式(例えば、point-to-normalのICP方式)によって第1の3次元マッチングポイント
と第2の3次元マッチングポイント
とを位置合わせし、現在のデータセットと候補データセットとの空間変換パラメータを取得することができ、説明を容易にするために、
に記する。上記ステップを繰り返すことにより、現在のデータセットと各候補データセットの間の空間変換パラメータ
を取得することができる。
をスクリーニングすることもでき、ここで、現在のデータセットのポーズ最適化パラメータをソルビングするために、現在のデータセットと各候補データセットとの空間変換パラメータ
から、所定のパラメータスクリーニング条件を満たす空間変換パラメータを選択することができる。所定のパラメータスクリーニング条件は、空間変換パラメータ
に関連する候補データセットが現在のデータセットと隣接すること、又は、空間変換パラメータ
をポーズ最適化することにより得られた最適化マッチングポイントと、第2の3次元マッチングポイント
との一致度が所定の一致度閾値(例えば、60%、65%、70%など)より大きいことを含むことができる。ここで、空間変換パラメータ
を使用して、第1の3次元マッチングポイント
を左乗算し、それによってそれへのポーズ最適化を実現することができる。
に対応する候補データセットCと現在のデータセットHを1つのデータセットペアとして使用し、空間変換パラメータ
に対応する候補データセットDと現在のデータセットHを1つのデータセットペアとして使用し、空間変換パラメータ
に対応する候補データセットEと現在のデータセットHを1つのデータセットペアとして使用し、空間変換パラメータ
に対応する候補データセットFと現在のデータセットHを1つのデータセットペアとして使用し、空間変換パラメータ
に対応する候補データセットGと現在のデータセットHを1つのデータセットペアとして使用する。また、現在のデータセットHの前にある各データセット(即ちデータセットA~G)もそれぞれ対応して空間変換パラメータが存在し、例えば、データセットBについては、データセットAとの空間変換パラメータが存在してもよく、データセットBとデータセットAをデータセットペアとして使用することができ、データセットCについては、データセットAとデータBとの空間変換パラメータが存在してもよく、したがって、データセットCとデータセットAをデータセットペアとしてそれぞれ用い、データセットCとデータセットBとをデータセットペアとして使用することができ、このように類推し、ここで例を1つずつ挙げなく、空間変換パラメータの解法については、具体的に上記実施例における関連ステップを参照することができる。
ここで、目標関数は、次のように表されてもよい:
ここで、式(12)において、
は、各データセットペアに含まれるデータセットの番号(例えば、C、D、Eなどのアルファベット、又は、1、2、3などのアラビア数字で表す)をそれぞれ表し、
は、各データセットペア間の空間変換パラメータを表し、
は、各データセットペアに含まれるデータセットのそれぞれのポーズ最適化パラメータをそれぞれ表し、
は、最適化式を表し、次のように表されても良い:
は、
の逆をそれぞれ表す。したがって、データセットの空間変換パラメータが決定されるたびに、目標関数に新しい最適化関係をもたらすことができ、これにより、その前にあるデータセットのポーズ最適化パラメータを再度最適化し、全てのデータセットのポーズ最適化パラメータの決定が完了するまで続き、したがって、スキャンプロセスにおける累積されたポーズ誤差を無くし、ポーズ最適化パラメータの精度を向上させ、3次元再構成の効果を高めることに役立つことができる。1つの実施シーンでは、現在のデータセットが第1のデータセットである場合、そのポーズ最適化パラメータは、単位マトリックスとして初期化されてもよく、上記の実施例における関連ステップを参照することができ、ここでは説明を省略する。
図9を参照すると、図9は本開示の3次元再構成に基づくインタラクション方法の一実施例のフローチャートである。前記3次元再構成方法は、以下のステップを含むことができる:
図10を参照すると、図10は本開示の3次元再構成に基づく測定方法の一実施例のフローチャートである。前記3次元再構成方法は、以下のステップを含むことができる:
Claims (14)
- 3次元再構成方法であって、前記3次元再構成方法は、
撮影デバイスが再構成待ち目標をスキャンすることにより得られた複数のフレームの処理待ち画像を取得することと、
前記処理待ち画像の各フレームと前記撮影デバイスのキャリブレーションパラメータとを使用して、前記再構成待ち目標に属する前記処理待ち画像の各フレームの目標画素点およびそのカメラポーズパラメータを決定することと、
所定の分割ポリシーに従って、前記処理待ち画像の各フレームの画像データを対応するデータセットに順次分割することであって、前記画像データは、少なくとも前記目標画素点を含む、ことと、
各前記データセットの画像データおよび時系列がその前に配置されているデータセットの画像データとポーズ最適化パラメータとを順次使用して、各前記データセットのポーズ最適化パラメータを決定することと、
各前記データセットのポーズ最適化パラメータを使用して、前記データセットに含まれる画像データの属する前記処理待ち画像のカメラポーズパラメータを調整することと、
所定の3次元再構成方式および前記処理待ち画像の調整後のカメラポーズパラメータを使用して、前記処理待ち画像の画像データに対して再構成処理を実行して、前記再構成待ち目標の3次元モデルを取得することと
を含み、
前記各前記データセットの画像データおよび時系列がその前に配置されているデータセットの画像データとポーズ最適化パラメータとを順次使用して、各前記データセットのポーズ最適化パラメータを決定することは、
各前記データセットを現在のデータセットとして順次使用し、時系列が前記現在のデータセットの前に配置されている少なくとも1つのデータセットを候補データセットとして選択することと、
前記現在のデータセットの画像データと前記候補データセットの画像データとを使用して、前記現在のデータセットと前記候補データセットとの空間変換パラメータを決定することと、
少なくとも前記候補データセットのポーズ最適化パラメータおよび前記現在のデータセットと前記候補データセットとの空間変換パラメータを使用して、前記現在のデータセットのポーズ最適化パラメータを取得し、少なくとも前記候補データセットのポーズ最適化パラメータを更新することと
を含む、3次元再構成方法。 - 前記少なくとも前記候補データセットのポーズ最適化パラメータおよび前記現在のデータセットと前記候補データセットとの空間変換パラメータを使用して、前記現在のデータセットのポーズ最適化パラメータを取得し、少なくとも前記候補データセットのポーズ最適化パラメータを更新することは、
前記現在のデータセットおよび時系列がその前に配置されている前記候補データセットにそれぞれ関連付けられた各空間変換パラメータに対応する2つのデータセットをデータセットペアとして使用することと、
各前記データセットペアの空間変換パラメータおよびそれぞれのポーズ最適化パラメータを使用して、前記ポーズ最適化パラメータに関する目標関数を構築することと、
所定の解法によって前記目標関数を解いて、前記現在のデータセットおよび時系列がその前に配置されている前記候補データセットのそれぞれに対応するデータセットに含まれるデータセットのポーズ最適化パラメータを取得することと
を含む、請求項1に記載の3次元再構成方法。 - 前記現在のデータセットの画像データと前記候補データセットの画像データとを使用して、前記現在のデータセットと前記候補データセットとの空間変換パラメータを決定することは、
前記候補データセットと前記現在のデータセット内で、所定のマッチング条件を満たす1グループのマッチング待ち画像データを検索することと、
各グループの前記マッチング待ち画像データから抽出された、所定の画像特徴に基づいて、各グループの前記マッチング待ち画像データ間のマッチング画素点対を取得することと、
前記マッチング画素点対のうち、前記現在のデータセットに属する画素点を3次元空間にマッピングし、第1の3次元マッチングポイントを取得し、前記マッチング画素点対のうち、前記候補データセットに属する画素点を前記3次元空間にマッピングして、第2の3次元マッチングポイントを取得することと、
前記第1の3次元マッチングポイントと前記第2の3次元マッチングポイントとを位置合わせして、前記空間変換パラメータを取得することと
を含む、請求項1に記載の3次元再構成方法。 - 前記第1の3次元マッチングポイントと前記第2の3次元マッチングポイントとを位置合わせして、前記空間変換パラメータを取得することは、
前記第1の3次元マッチングポイントと前記第2の3次元マッチングポイントとの第1のポーズ変換パラメータを取得することと、
前記第1のポーズ変換パラメータと所定のポーズ変換パラメータとを使用して、前記第1の3次元マッチングポイントに対してポーズ最適化を実行して、第1の最適化マッチングポイントと第2の最適化マッチングポイントとをそれぞれ取得することと、
前記第2の3次元マッチングポイントと、前記第1の最適化マッチングポイントおよび前記第2の最適化マッチングポイントとのそれぞれの一致度を計算し、前記一致度の高い最適化マッチングポイントが使用するポーズ変換パラメータを第2のポーズ変換パラメータとして選択することと、
前記第2のポーズ変換パラメータを初期値とし、所定の位置合わせ方式によって前記第1の3次元マッチングポイントと前記第2の3次元マッチングポイントを位置合わせして、前記現在のデータセットと前記候補データセットとの空間変換パラメータを取得することと
を含む、請求項3に記載の3次元再構成方法。 - 前記現在のデータセットの画像データと前記候補データセットの画像データとを使用して、前記現在のデータセットと前記候補データセットとの空間変換パラメータを決定した後、かつ、少なくとも前記候補データセットのポーズ最適化パラメータおよび前記現在のデータセットと前記候補データセットとの空間変換パラメータを使用して、前記現在のデータセットのポーズ最適化パラメータを取得する前に、前記3次元再構成方法は、
前記現在のデータセットと各前記候補データセットとの空間変換パラメータから、所定のパラメータスクリーニング条件を満たす空間変換パラメータを選択することをさらに含み、
前記所定のパラメータスクリーニング条件は、前記空間変換パラメータに関連する前記候補データセットが前記現在のデータセットと隣接すること、前記空間変換パラメータを使用して、前記第1の3次元マッチングポイントをポーズ最適化することにより得られた最適化マッチングポイントと前記第2の3次元マッチングポイントとの一致度が所定の一致度閾値より大きいことのいずれか1つを含む、請求項3に記載の3次元再構成方法。 - 時系列が前記現在のデータセットの前に配置されている少なくとも1つのデータセットを候補データセットとして選択することは、
前記現在のデータセットおよび時系列がその前に配置されているデータセットの画像データの所定の画像特徴を使用して、Bag of Wordsモデルを構築することと、
前記現在のデータセットにおける所定の時系列に位置する属する処理待ち画像の画像データをマッチング待ち画像データとして選択することと、
前記Bag of Wordsモデルの所定の範囲から、前記マッチング待ち画像データの所定の画像特徴との類似度スコアが所定の類似度閾値より大きい所定の画像特徴をクエリすることと、
クエリされた所定の画像特徴の属する画像データが所在するデータセットおよび前記現在のデータセットと隣接するデータセットを前記候補データセットとして使用することと
を含み、
前記所定の範囲は、属するデータセットが前記現在のデータセットと隣接せず、かつ、前記現在のデータセットに含まれない画像データの所定の画像特徴を含み、
前記Bag of Wordsモデルの所定の範囲から、前記マッチング待ち画像データの所定の画像特徴との類似度スコアが所定の類似度閾値より大きい所定の画像特徴をクエリする前に、前記3次元再構成方法は、
前記現在のデータセットと隣接するデータセットにおける各前記画像データと前記マッチング待ち画像データとの類似度スコアのうちの最大スコア値を取得することと、
前記最大スコア値の所定の倍数と所定のスコア値とのいずれか1つを所定の類似度閾値として使用することと
をさらに含む、請求項1に記載の3次元再構成方法。 - 前記所定の分割ポリシーに従って、前記処理待ち画像の各フレームの画像データを対応するデータセットに順次分割することは、
前記処理待ち画像の各フレームを現在の処理待ち画像として順次使用することと、
現在の処理待ち画像の画像データを分割する場合、既存の前記データセットの最後のデータセットが所定のオーバーフロー条件を満たすと、前記最後のデータセットにおける最新の複数のフレームの前記処理待ち画像の画像データを取得し、新しい前記最後のデータセットとして新しく作成された前記データセットに記憶し、前記現在の処理待ち画像の画像データを新しい前記最後のデータセットに分割することと
を含み、
前記所定のオーバーフロー条件は、
前記最後のデータセットに含まれる前記画像データに対応する前記処理待ち画像のフレーム数が所定のフレーム数閾値より大きいか等しいこと、前記最後のデータセットのいずれかの前記画像データが属する処理待ち画像のカメラ位置と前記現在の処理待ち画像のカメラ位置との距離が所定の距離閾値より大きいこと、前記最後のデータセットのいずれかの前記画像データが属する処理待ち画像のカメラ向き角度と前記現在の処理待ち画像のカメラ向き角度との差が所定の角度閾値より大きいことのいずれか1つを含み、
前記カメラ位置と前記カメラ向き角度とは、前記処理待ち画像のカメラポーズパラメータを使用して計算されるものである、請求項1に記載の3次元再構成方法。 - 前記処理待ち画像の各フレームは、カラーデータと深度データとを含み、前記処理待ち画像の各フレームと前記撮影デバイスのキャリブレーションパラメータを使用して、前記再構成待ち目標に属する前記処理待ち画像の各フレームの目標画素点を決定することは、
前記カラーデータとの位置合わせ後の深度データに含まれる各画素点の法線ベクトルと、前記処理待ち画像の重力方向との夾角を取得することと、
前記各画素点を3次元空間で前記重力方向に投影して、前記3次元空間における前記各画素点の高さの値を取得することと、
前記夾角が所定の角度条件を満たす画素点の高さの値を分析して、前記再構成待ち目標の平面高さを取得することと、
前記平面高さを使用して、前記カラーデータにおける前記再構成待ち物体に属する目標画素点をスクリーニングすることと
を含み、
前記夾角が所定の角度条件を満たす画素点の高さの値を分析して、前記再構成待ち目標の平面高さを取得することは、
前記夾角が所定の角度条件を満たす前記画素点の高さの値を高さセットとして使用することと、
前記高さセット内の高さの値に対してクラスタ分析を実行して、前記再構成待ち目標の平面高さを取得することと
を含む、請求項1~7のいずれか一項に記載の3次元再構成方法。 - 前記各前記データセットの画像データおよび時系列がその前に配置されているデータセットの画像データとポーズ最適化パラメータとを順次使用して、各前記データセットのポーズ最適化パラメータを決定した後、前記3次元再構成方法は、
各前記データセットの画像データを3次元空間に順次マッピングして、各前記データセットに対応する3次元ポイントクラウドを取得することと、
各前記データセットの前記ポーズ最適化パラメータを使用して、それに対応する前記3次元ポイントクラウドを調整することと
をさらに含む、請求項1~8のいずれか一項に記載の3次元再構成方法。 - 3次元再構成に基づくインタラクション方法であって、
再構成待ち目標の3次元モデルを取得することであって、前記3次元モデルは、請求項1~9のいずれか一項に記載の3次元再構成方法を使用して取得されるものである、ことと、
所定の視覚慣性ナビゲーション方式を使用して、撮影デバイスが配置されているシーンの3次元地図を構築し、前記3次元地図における前記撮影デバイスの現在のポーズ情報を取得することと、
前記ポーズ情報に基づいて、前記撮影デバイスによって現在撮影されているシーン画像に前記3次元モデルを表示することと
を含む、3次元再構成に基づくインタラクション方法。 - 3次元再構成に基づく測定方法であって、
再構成待ち目標の3次元モデルを取得することであって、前記3次元モデルは、請求項1~9のいずれか一項に記載の3次元再構成方法を使用して取得されるものである、ことと、
ユーザが3次元モデルで設定した複数の測定ポイントを受信することと、
前記複数の測定ポイントの間の距離を取得して、前記再構成待ち目標上の前記複数の測定ポイントに対応する位置の間の距離を取得することと
を含む、3次元再構成に基づく測定方法。 - 電子機器であって、
前記電子機器は、互いに結合されたメモリおよびプロセッサを備え、前記プロセッサは、請求項1~9のいずれか一項に記載の3次元再構成方法を実現し、または、請求項10に記載の3次元再構成に基づくインタラクション方法を実現し、または、請求項11に記載の3次元再構成に基づく測定方法を実現するために、前記メモリに記憶されたプログラム命令を実行するように構成されている、電子機器。 - プログラム命令を記憶するコンピュータ読み取り可能な記憶媒体であって、前記プログラム命令がプロセッサに実行されると、請求項1~9のいずれか一項に記載の3次元再構成方法を実現し、または、請求項10に記載の3次元再構成に基づくインタラクション方法を実現し、または、請求項11に記載の3次元再構成に基づく測定方法を実現する、コンピュータ読み取り可能な記憶媒体。
- コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能なコードが電子機器で動作し、前記電子機器のプロセッサに実行される場合、請求項1~9のいずれか一項に記載の3次元再構成方法を実現し、または、請求項10に記載の3次元再構成に基づくインタラクション方法を実現し、または、請求項11に記載の3次元再構成に基づく測定方法を実現する、コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110031502.0 | 2021-01-11 | ||
CN202110031502.0A CN112767538B (zh) | 2021-01-11 | 2021-01-11 | 三维重建及相关交互、测量方法和相关装置、设备 |
PCT/CN2021/102882 WO2022147976A1 (zh) | 2021-01-11 | 2021-06-28 | 三维重建及相关交互、测量方法和相关装置、设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023540917A JP2023540917A (ja) | 2023-09-27 |
JP7453470B2 true JP7453470B2 (ja) | 2024-03-19 |
Family
ID=75701311
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023513719A Active JP7453470B2 (ja) | 2021-01-11 | 2021-06-28 | 3次元再構成及び関連インタラクション、測定方法及び関連装置、機器 |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP7453470B2 (ja) |
KR (1) | KR20230127313A (ja) |
CN (1) | CN112767538B (ja) |
WO (1) | WO2022147976A1 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112767538B (zh) * | 2021-01-11 | 2024-06-07 | 浙江商汤科技开发有限公司 | 三维重建及相关交互、测量方法和相关装置、设备 |
CN113450417B (zh) * | 2021-05-12 | 2024-08-06 | 深圳市格灵精睿视觉有限公司 | 标定参数优化方法、装置、设备及存储介质 |
CN113240656B (zh) * | 2021-05-24 | 2023-04-07 | 浙江商汤科技开发有限公司 | 视觉定位方法及相关装置、设备 |
CN115222799B (zh) * | 2021-08-12 | 2023-04-11 | 达闼机器人股份有限公司 | 图像重力方向的获取方法、装置、电子设备及存储介质 |
CN113706373A (zh) * | 2021-08-25 | 2021-11-26 | 深圳市慧鲤科技有限公司 | 模型重建方法及相关装置、电子设备和存储介质 |
CN113887290A (zh) * | 2021-08-31 | 2022-01-04 | 际络科技(上海)有限公司 | 单目3d检测方法、装置、电子设备及存储介质 |
CN117372612B (zh) * | 2022-08-03 | 2024-08-27 | 荣耀终端有限公司 | 集束调整方法及电子设备 |
CN116704152B (zh) * | 2022-12-09 | 2024-04-19 | 荣耀终端有限公司 | 图像处理方法和电子设备 |
CN115690693B (zh) * | 2022-12-13 | 2023-03-21 | 山东鲁旺机械设备有限公司 | 一种建筑吊篮的智能监控系统及监控方法 |
CN115661371B (zh) * | 2022-12-14 | 2023-03-31 | 深圳思谋信息科技有限公司 | 三维对象建模方法、装置、计算机设备及存储介质 |
CN116486008B (zh) * | 2023-04-12 | 2023-12-12 | 荣耀终端有限公司 | 一种三维重建方法、显示方法及电子设备 |
CN116863087B (zh) * | 2023-06-01 | 2024-02-02 | 中国航空油料集团有限公司 | 基于数字孪生的航油信息显示方法、装置和可读存储介质 |
CN116758157B (zh) * | 2023-06-14 | 2024-01-30 | 深圳市华赛睿飞智能科技有限公司 | 一种无人机室内三维空间测绘方法、系统及存储介质 |
CN117152399A (zh) * | 2023-10-30 | 2023-12-01 | 长沙能川信息科技有限公司 | 基于变电站的模型制作方法、装置、设备和存储介质 |
CN117168313B (zh) * | 2023-11-03 | 2024-01-23 | 武汉工程大学 | 基于光栅投影三维重建的相位误差模型校正方法及系统 |
CN117476509B (zh) * | 2023-12-27 | 2024-03-19 | 联合富士半导体有限公司 | 一种用于半导体芯片产品的激光雕刻装置及控制方法 |
CN118229913A (zh) * | 2024-03-29 | 2024-06-21 | 北京大希科技有限公司 | 基于特征描述符的室内三维重建方法 |
CN118212366B (zh) * | 2024-05-21 | 2024-08-13 | 中国科学院空天信息创新研究院 | 基于多重遥感影像的运动目标三维重建方法及其装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108986037A (zh) | 2018-05-25 | 2018-12-11 | 重庆大学 | 基于半直接法的单目视觉里程计定位方法及定位系统 |
CN110910493A (zh) | 2019-11-29 | 2020-03-24 | 广州极飞科技有限公司 | 三维重建方法、装置及电子设备 |
US10733718B1 (en) | 2018-03-27 | 2020-08-04 | Regents Of The University Of Minnesota | Corruption detection for digital three-dimensional environment reconstruction |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9892552B2 (en) * | 2015-12-15 | 2018-02-13 | Samsung Electronics Co., Ltd. | Method and apparatus for creating 3-dimensional model using volumetric closest point approach |
CN108537876B (zh) * | 2018-03-05 | 2020-10-16 | 清华-伯克利深圳学院筹备办公室 | 三维重建方法、装置、设备及存储介质 |
CN109166149B (zh) * | 2018-08-13 | 2021-04-02 | 武汉大学 | 一种融合双目相机与imu的定位与三维线框结构重建方法与系统 |
CN112767538B (zh) * | 2021-01-11 | 2024-06-07 | 浙江商汤科技开发有限公司 | 三维重建及相关交互、测量方法和相关装置、设备 |
-
2021
- 2021-01-11 CN CN202110031502.0A patent/CN112767538B/zh active Active
- 2021-06-28 WO PCT/CN2021/102882 patent/WO2022147976A1/zh active Application Filing
- 2021-06-28 KR KR1020237025998A patent/KR20230127313A/ko active Search and Examination
- 2021-06-28 JP JP2023513719A patent/JP7453470B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10733718B1 (en) | 2018-03-27 | 2020-08-04 | Regents Of The University Of Minnesota | Corruption detection for digital three-dimensional environment reconstruction |
CN108986037A (zh) | 2018-05-25 | 2018-12-11 | 重庆大学 | 基于半直接法的单目视觉里程计定位方法及定位系统 |
CN110910493A (zh) | 2019-11-29 | 2020-03-24 | 广州极飞科技有限公司 | 三维重建方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2022147976A1 (zh) | 2022-07-14 |
JP2023540917A (ja) | 2023-09-27 |
CN112767538B (zh) | 2024-06-07 |
KR20230127313A (ko) | 2023-08-31 |
CN112767538A (zh) | 2021-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7453470B2 (ja) | 3次元再構成及び関連インタラクション、測定方法及び関連装置、機器 | |
US20210232924A1 (en) | Method for training smpl parameter prediction model, computer device, and storage medium | |
WO2021175050A1 (zh) | 三维重建方法和三维重建装置 | |
CN111243093B (zh) | 三维人脸网格的生成方法、装置、设备及存储介质 | |
Zhuang et al. | Acdnet: Adaptively combined dilated convolution for monocular panorama depth estimation | |
WO2019205852A1 (zh) | 确定图像捕捉设备的位姿的方法、装置及其存储介质 | |
Torii et al. | From google street view to 3d city models | |
WO2015135323A1 (zh) | 一种摄像机跟踪方法及装置 | |
CN111127524A (zh) | 一种轨迹跟踪与三维重建方法、系统及装置 | |
WO2023093739A1 (zh) | 一种多视图三维重建的方法 | |
US20200057778A1 (en) | Depth image pose search with a bootstrapped-created database | |
CN115439607A (zh) | 一种三维重建方法、装置、电子设备及存储介质 | |
Zhang et al. | Research on 3D architectural scenes construction technology based on augmented reality | |
GB2566443A (en) | Cross-source point cloud registration | |
CN116097316A (zh) | 用于非模态中心预测的对象识别神经网络 | |
CN114255285A (zh) | 视频与城市信息模型三维场景融合方法、系统及存储介质 | |
WO2022247126A1 (zh) | 视觉定位方法、装置、设备、介质及程序 | |
WO2022208440A1 (en) | Multiview neural human prediction using implicit differentiable renderer for facial expression, body pose shape and clothes performance capture | |
CN112750164B (zh) | 轻量化定位模型的构建方法、定位方法、电子设备 | |
CN118102044A (zh) | 基于3d高斯泼溅的点云数据生成方法、装置、设备及介质 | |
CN113705379A (zh) | 一种手势估计方法、装置、存储介质及设备 | |
Geng et al. | SANet: A novel segmented attention mechanism and multi-level information fusion network for 6D object pose estimation | |
CN113570535B (zh) | 视觉定位方法及相关装置、设备 | |
CN110135474A (zh) | 一种基于深度学习的倾斜航空影像匹配方法和系统 | |
WO2023159517A1 (en) | System and method of capturing three-dimensional human motion capture with lidar |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230227 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231031 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240209 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240307 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7453470 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |