JP6768400B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP6768400B2 JP6768400B2 JP2016153708A JP2016153708A JP6768400B2 JP 6768400 B2 JP6768400 B2 JP 6768400B2 JP 2016153708 A JP2016153708 A JP 2016153708A JP 2016153708 A JP2016153708 A JP 2016153708A JP 6768400 B2 JP6768400 B2 JP 6768400B2
- Authority
- JP
- Japan
- Prior art keywords
- evaluation value
- viewpoint
- virtual object
- real space
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本実施形態では、仮想物体と現実空間との重ね合わせ精度が所定の値よりも高い領域を仮想物体の配置として決定する方法について説明する。以下、本実施形態の詳細について説明する。
図1に示すように、情報処理装置100は、視点設定部101、第1の評価値導出部102、第2の評価値導出部103及び配置決定部104を備えている。また、記憶部105は、情報処理装置100の外部に存在し、第1の評価値導出部102は、記憶部105からデータを入力することができる。なお、記憶部105は、情報処理装置100が備える不図示の不揮発性メモリであってもよい。
第1の評価値導出部102は、視点ごとに視点の位置姿勢推定精度を示す評価値を導出する。
第2の評価値導出部103は、現実空間の領域ごとに仮想物体と現実空間との重ね合わせ精度を示す評価値を導出する。
配置決定部104は、仮想物体の配置を決定する。
記憶部105は、現実空間に配置された特徴配置に関する情報(以下、特徴マップと呼ぶ)及びカメラの視野情報を保持する。
(ステップS200)
まず、視点設定部101は、位置姿勢推定精度を評価する視点を1つ以上設定する。設定方法は、次の通りである。まず、図3(a)に示すように、空間を複数の3次元のグリッドに分割し、各グリッドの中心位置を視点位置とする。次に、図3(b)に示すように、グリッドごとに視点の方向を離散的に設定する。そして、視点の位置及び方向の組み合わせにより、視点を設定する。図3(a)は、空間を36個のグリッドに分割している例を示しており、図3(b)は、グリッドごとに視点方向を6方向に設定する例を示している。この場合、36×6=216個の視点を設定することになる。なお、図3における黒い丸印は視点位置を示している。
次に、第1の評価値導出部102は、記憶部105から特徴マップおよびカメラの視野情報を取得し、ステップS200で設定した視点ごとに、視点の位置姿勢推定精度を示す第1の評価値を導出する。ここで、特徴マップは、現実空間を撮影した画像から検出されるコーナー特徴の3次元空間での位置を保持するマップである。第1の評価値は、視点ごとに観測可能な特徴の空間的な分布の広がりとする。
次に、第2の評価値導出部103は、ステップS201で導出した第1の評価値に基づいて、現実空間の領域ごとに、仮想物体と現実空間との重ね合わせ精度を示す第2の評価値を導出する。第2の評価値は、第1の評価値が所定の値よりも高いもの同士の和とする。
次に、配置決定部104は、ステップS202で導出した第2の評価値に基づいて、仮想物体の現実空間での配置を決定する。具体的には、ステップS202で導出した第2の評価値が所定の値よりも高い領域を、仮想物体を配置する領域として決定する。
第1の実施形態では、特徴マップを用いて視点の位置姿勢推定を行うことを前提とし、第1の評価値を特徴マップに基づいて導出した。一方、視点の位置姿勢は、特徴マップを用いた方法以外で推定してもよく、さらに、第1の評価値は視点ごとの位置姿勢推定精度が示せれば何でもよく、視点の位置姿勢推定方法に応じて変更して構わない。例えば、磁気式のセンサーを用いて視点の位置姿勢を算出する場合には、磁気の送信側と受信側との距離が近いほど位置姿勢推定精度が高くなるため、該距離が近いほど高い値となるように第1の評価値を導出してもよい。例えば、磁気の送信側と受信側との距離をdとした場合には、第1の評価値EをE=1/(d2+1)として導出するようにしてもよい。その他の例として、位置姿勢とともに計測精度を出力する装置を用いて視点の位置姿勢推定を行う場合には、該計測精度を第1の評価値としてもよい。
本実施形態では、仮想物体を設置する平面が限定されている条件のもとで、仮想物体と現実空間との重ね合わせ精度が高い領域を抽出し、該領域を仮想物体の配置として決定する方法について説明する。
情報処理装置500は、仮想物体情報取得部501、配置範囲設定部502、視点設定部151、第1の評価値導出部152、第2の評価値導出部153及び配置決定部154を備えている。また、記憶部155は情報処理装置500の外部に存在し、仮想物体情報取得部501及び第1の評価値導出部152は、記憶部155からデータを入力することができる。なお、記憶部155は、第1の実施形態と同様に情報処理装置500が備える不図示の不揮発性メモリであってもよい。また、視点設定部151、第1の評価値導出部152及び第2の評価値導出部153は、それぞれ図1の視点設定部101、第1の評価値導出部102、第2の評価値導出部103と同様のため、説明は省略する。
仮想物体情報取得部501は、記憶部155が保持する仮想物体の3次元形状モデルを取得する。
配置範囲設定部502は、仮想物体を配置する範囲として、配置する平面を設定する。
配置決定部154は、仮想物体の3次元形状モデル、配置する平面及び第2の評価値に基づいて、仮想物体の配置を決定する。
まず、仮想物体情報取得部501は、記憶部155から仮想物体の3次元形状モデルを取得する。3次元形状モデルは、複数のポリゴン(微小平面)で表現されるポリゴンモデルとする。
次に、配置範囲設定部502は、仮想物体を配置する平面を設定する。平面は、壁、床あるいは机などのように現実空間中に実在する平面とする。平面の設定は、特徴マップに記述されたコーナー特徴の3次元位置に基づいて抽出した平面の中から、表示装置(不図示)に表示したGUIを介して、ユーザが所望の平面を選択できるようにする。
配置決定部154は、ステップS601で設定した平面及びステップS202で導出した第2の評価値に基づいて、仮想物体の配置を決定する。具体的には、次の通りである。まず、第2の評価値が所定の値よりも高い領域を抽出し、該領域を定義する3軸方向及びその寄与率(以下、説明のため主成分Aと呼ぶ)を主成分分析により算出する。つまり、現実空間を図3(a)で示したような複数のグリッドに分割する。次に、第2の評価値が所定の値よりも高いグリッドを抽出する。次に、抽出した複数のグリッドの中心位置(3次元)をベクトルとして主成分分析を行い、3軸方向及びその寄与率を算出する。次に、仮想物体の領域に対しても、仮想物体の3次元モデルを構成する各頂点(3次元)をベクトルとした主成分分析を行うことで、3軸方向及びその寄与率(以下、説明のため主成分Bと呼ぶ)を算出する。そして、仮想物体をステップS601で設定した平面に設置する。その結果、主成分Aと主成分Bとの第1主成分方向(寄与率が最大となる軸の方向)同士の差、及び第2主成分方向(寄与率が2番目に高い軸の方向)同士との差が最小となる仮想物体の位置及び向きを、仮想物体の配置として算出する。
また、本実施形態では、仮想物体を設置する平面の候補を、特徴マップに基づいて抽出したが、ユーザが任意に生成した仮想平面であってもよい。
本実施形態では、仮想物体を観察するユーザの視点の範囲及び発生頻度を考慮して、仮想物体の配置を決定する方法について説明する。なお、本実施形態に係る情報処理装置の構成及び処理手順は、それぞれ図1及び図2と同様であるが、以下、第1の実施形態と異なる点について説明する。
視点設定部101は、位置姿勢推定精度を評価する視点を1つ以上設定するが、具体的には次の通りである。まず、記憶部105から仮想物体を観察するユーザの視点の範囲を取得する。そして、視点の範囲で定義される領域内で、位置姿勢推定精度を評価する視点を1つ以上設定する。設定方法は、第1の実施形態のステップS200で説明した方法と同様である。
第2の評価値導出部103は、現実空間の領域ごとに、仮想物体と現実空間との重ね合わせ精度を示す第2の評価値を導出する。具体的には次の通りである。まず、記憶部105から視点の発生頻度を取得する。そして、視点の発生頻度に応じた重みを第1評価値に付与し、さらに、第1の実施形態のステップS202で説明した方法と同様に、第1の評価値を足し合わせることで、第2の評価値を導出する。
本実施形態では、現実空間に混入する移動物体を考慮して、仮想物体の配置を決定する方法について説明する。
情報処理装置800は、視点設定部181、遮蔽領域算出部801、第1の評価値導出部182、第2の評価値導出部183及び配置決定部184を備えている。また、記憶部185は、情報処理装置800の外部に存在し、遮蔽領域算出部801及び第1の評価値導出部182は、記憶部185からデータを入力することができる。なお、記憶部185は、第1の実施形態と同様に情報処理装置800が備える不図示の不揮発性メモリであってもよい。また、視点設定部181、第2の評価値導出部183及び配置決定部184は、それぞれ図1の視点設定部101、第2の評価値導出部103、配置決定部104と同様であるため、ここでの説明は省略する。
第1の評価値導出部182は、特徴マップ及び遮蔽領域に基づいて視点ごとの位置姿勢推定精度を示す第1の評価値を導出する。
記憶部185は、特徴マップ、カメラの視野情報、仮想物体の3次元形状モデル、移動物体の3次元形状モデル及び移動物体の現実空間での存在範囲に関する情報を保持する。
遮蔽領域算出部801は、ステップS200で設定した視点ごとに、移動物体による遮蔽領域を移動物体の位置ごとに算出する。遮蔽領域は、移動物体の3次元形状モデル、移動物体の現実空間での位置及びステップS200で設定した視点に基づいて算出する。具体的には、移動物体の3次元形状モデルを移動物体の位置及び視点に基づいて画像上に投影し、画像上での移動物体の位置及び大きさを示す領域を遮蔽領域として算出する。移動物体の位置は、記憶部185が保持する移動物体の存在範囲の中から、空間的に任意に選択した位置とする。ここでは、空間的に均一となるように、移動物体の位置を移動物体の存在範囲の中から選択する。
第1の評価値導出部182は、記憶部185から取得した特徴マップとステップS900で導出した遮蔽領域とに基づいて、視点の位置姿勢推定の精度を示す第1の評価値を視点ごとに導出する。具体的な手順は、図10を用いて説明する。
第1の評価値導出部182は、ステップS200で設定した視点の中から1つを選択する。
第1の評価値導出部182は、ステップS1000で選択した視点に関して遮蔽領域算出部801で算出した、移動物体の位置ごとに算出した遮蔽領域の中から1つの遮蔽領域を選択する。
次に、第1の評価値導出部182は、視点の位置姿勢推定精度を示す評価値を導出する。具体的には、次の通りである。まず、ステップS1001で選択した遮蔽領域に基づいて、遮蔽領域に該当しない特徴を抽出し、該視点での位置姿勢推定精度を示す評価値Eaを導出する。評価値Eaは、第1の実施形態で説明した第1の評価値と同様に、特徴の画像上での空間的な分布とする。
次に、第1の評価値導出部182は、移動物体のすべての位置に対して視点の位置姿勢推定精度を示す評価値Eaを導出したか否かを判定する。この判定の結果、移動物体のすべての位置で評価値Eaを導出した場合はステップS1004へ進み、導出していない位置が存在する場合には、ステップS1001に戻る。
第1の評価値導出部182は、ステップS1002で導出した評価値Eaの統計値を、評価する視点における位置姿勢推定精度を示す第1の評価値として導出する。統計値は、評価値Eaの最大値とする。なお、統計値は、最大値に代わって、平均、分散または中間値などであってもよい。
第1の評価値導出部182は、ステップS200で設定したすべての視点において、第1の評価値を導出したか否かを判定する。この判定の結果、すべての視点において第1の評価値を導出した場合は処理を終了し、そうでない場合はステップS1000に戻り、次の視点を選択する。
本実施形態では、視点の位置決め精度を向上させるために、仮想物体の拡大または縮小する方法について説明する。なお、本実施形態に係る情報処理装置は第3の実施形態で説明した図5と同様であり、処理手順も基本的には図6と同様である。以下、第3の実施形態と異なる点について説明する。
配置決定部154は、ステップS202で導出した第2の評価値及びステップS600で取得した仮想物体の3次元形状モデルに基づいて、仮想物体の配置およびサイズを決定する。具体的には、まず、第1の実施形態のステップS202で説明した方法を用いて仮想物体を配置する領域を定義する曲面と、第3の実施形態のステップS602で説明した方法を用いて仮想物体の位置及び向きとを決定する。そして、決定した位置及び向きで仮想物体を配置した時に、仮想物体を構成する面と決定した配置する領域の曲面とが交差しない範囲で、仮想物体のサイズを任意に変更する。
本実施形態では、配置する仮想物体が複数存在する場合に、視点の位置姿勢推定精度が高い領域の大きさに合わせて、配置する仮想物体を選択する方法について説明する。なお、本実施形態に係る情報処理装置は第3の実施形態で説明した図5と同様であり、処理手順も基本的には図6と同様である。以下、第3の実施形態と異なる点について説明する。
配置決定部154は、配置する仮想物体ごとに、配置を決定する。具体的には、次の通りである。まず、ステップS202で導出した第2の評価値及びステップS600で取得した仮想物体の3次元形状モデルに基づいて、第6の実施形態と同様に仮想物体の位置及び向きと、仮想物体を配置する領域を定義する曲面とを決定する。そして、仮想物体を決定した位置及び向きで配置した時に、仮想物体を構成する面と領域の曲面とが交差しない場合に、該仮想物体を該位置及び向きで配置すると決定する。
本実施形態では、仮想物体の配置を、第1〜第7の実施形態で説明した方法を用いて決定し、さらに現実空間と仮想物体とを重ね合わせて表示する方法について説明する。
図11において、HMD(Head Mounted Display)1110は、ユーザが装着する頭部装着型表示装置であり、撮像部1101及び表示装置1102を備えている。撮像部1101は、現実空間を撮影するカメラであり、表示装置1102は、現実空間に仮想物体を重ね合わせた画像をユーザに提供するためのものである。
(ステップS1200)
情報処理部1104は、仮想物体の配置を決定する。仮想物体の配置を決定する方法は、第1〜第7の実施形態のどの方法で決定してもよい。
撮像部1101は、現実空間の画像を撮影する。
算出部1103は、ステップS1201で現実空間を撮影した視点の位置姿勢を算出する。算出方法は、特徴マップで記述された指標情報とステップS1201で撮影した画像から検出される指標情報とに基づいて、特許文献1に記載の方法を用いて算出する。
表示制御部1105は、ステップS1200で決定した配置、及びステップS1202で算出した視点の位置姿勢に基づいて、仮想物体をステップS1201で撮影した画像上に投影して撮影画像に重畳し、撮影画像に仮想物体が重なった合成画像を生成する。
表示制御部1105は、ステップS1203で生成した撮影画像に仮想物体が重ね合わさった合成画像を表示装置1102に表示する。
なお、ステップS1200の処理を1回実行した後、ステップS1201〜S1204までの一連の処理を繰り返し実行するようにしてもよい。
前述した第1〜第8の実施形態における視点設定部は、評価する視点の位置及び向きの少なくとも一方が設定できればどのような方法を用いてもよい。例えば、空間中で均一となるように設定してもよいし、ランダムに設定してもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
102 第1の評価値導出部
103 第2の評価値導出部
104 配置決定部
Claims (11)
- 現実空間を観察する視点を設定する視点設定手段と、
前記視点設定手段によって設定された視点ごとに、前記現実空間における視点の位置姿勢の推定精度を示す第1の評価値を導出する第1の評価値導出手段と、
前記第1の評価値導出手段によって導出された第1の評価値に基づいて、前記現実空間の中の領域ごとに、該領域に仮想物体を配置した際の前記現実空間への仮想物体の位置合わせの精度を示す第2の評価値を導出する第2の評価値導出手段と、
前記第2の評価値導出手段によって導出された第2の評価値に基づいて、前記現実空間における前記仮想物体の配置を決定する配置決定手段と、
を有することを特徴とする情報処理装置。 - 前記第1の評価値導出手段は、前記現実空間を撮影した画像から検出される特徴の配置に関する情報を取得し、前記取得した特徴の配置に関する情報に基づいて、前記第1の評価値を導出することを特徴とする請求項1に記載の情報処理装置。
- 前記第1の評価値導出手段は、前記現実空間を観察する視点の位置及び姿勢を計測するセンサーの精度に係る情報を取得し、前記精度に係る情報に基づいて、前記第1の評価値を導出することを特徴とする請求項1に記載の情報処理装置。
- 前記視点設定手段によって設定された視点ごとに、移動物体による遮蔽領域を算出する遮蔽領域算出手段をさらに有し、
前記第1の評価値導出手段は、さらに前記遮蔽領域に基づいて、前記第1の評価値を導出することを特徴とする請求項2又は3に記載の情報処理装置。 - 前記第2の評価値導出手段は、前記第1の評価値導出手段によって導出された第1の評価値のうちの所定の値よりも高い第1の評価値を足し合わせることによって前記第2の評価値を導出することを特徴とする請求項1〜4の何れか1項に記載の情報処理装置。
- 前記第2の評価値導出手段は、さらに前記視点設定手段によって設定された視点の発生頻度に基づいた重みを前記所定の値よりも高い第1の評価値に付与して足し合わせることによって前記第2の評価値を導出することを特徴とする請求項5に記載の情報処理装置。
- 前記配置決定手段は、前記第2の評価値が所定の値よりも高い領域を、前記仮想物体を配置する領域として決定することを特徴とする請求項1〜6の何れか1項に記載の情報処理装置。
- 前記配置決定手段は、前記第2の評価値が所定の値よりも高い領域、及び前記仮想物体の領域を規定する属性情報に基づいて、前記仮想物体の位置及び向きを決定することを特徴とする請求項1〜6の何れか1項に記載の情報処理装置。
- 前記現実空間に係る撮影画像の中の前記配置決定手段によって決定された配置に前記仮想物体を描画した合成画像を生成する合成手段と、
前記合成手段によって生成された合成画像を表示装置に表示させる表示制御手段と、
をさらに有することを特徴とする請求項1〜8の何れか1項に記載の情報処理装置。 - 現実空間を観察する視点を設定する視点設定工程と、
前記視点設定工程において設定された視点ごとに、前記現実空間における視点の位置姿勢の推定精度を示す第1の評価値を導出する第1の評価値導出工程と、
前記第1の評価値導出工程において導出された第1の評価値に基づいて、前記現実空間の中の領域ごとに、該領域に仮想物体を配置した際の前記現実空間への仮想物体の位置合わせの精度を示す第2の評価値を導出する第2の評価値導出工程と、
前記第2の評価値導出工程において導出された第2の評価値に基づいて、前記現実空間における前記仮想物体の配置を決定する配置決定工程と、
を有することを特徴とする情報処理方法。 - 現実空間を観察する視点を設定する視点設定工程と、
前記視点設定工程において設定された視点ごとに、前記現実空間における視点の位置姿勢の推定精度を示す第1の評価値を導出する第1の評価値導出工程と、
前記第1の評価値導出工程において導出された第1の評価値に基づいて、前記現実空間の中の領域ごとに、該領域に仮想物体を配置した際の前記現実空間への仮想物体の位置合わせの精度を示す第2の評価値を導出する第2の評価値導出工程と、
前記第2の評価値導出工程において導出された第2の評価値に基づいて、前記現実空間における前記仮想物体の配置を決定する配置決定工程と、
をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016153708A JP6768400B2 (ja) | 2016-08-04 | 2016-08-04 | 情報処理装置、情報処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016153708A JP6768400B2 (ja) | 2016-08-04 | 2016-08-04 | 情報処理装置、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018022376A JP2018022376A (ja) | 2018-02-08 |
JP6768400B2 true JP6768400B2 (ja) | 2020-10-14 |
Family
ID=61164607
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016153708A Active JP6768400B2 (ja) | 2016-08-04 | 2016-08-04 | 情報処理装置、情報処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6768400B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3827374A4 (en) * | 2018-07-24 | 2021-09-15 | Magic Leap, Inc. | CORNER DETECTION METHODS AND APPARATUS |
JP2020204989A (ja) | 2019-06-19 | 2020-12-24 | ソニー株式会社 | 情報処理装置および情報処理方法、並びにプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4115117B2 (ja) * | 2001-10-31 | 2008-07-09 | キヤノン株式会社 | 情報処理装置および方法 |
JP5665333B2 (ja) * | 2010-03-10 | 2015-02-04 | キヤノン株式会社 | 情報処理装置および情報処理装置の制御方法 |
JP6413521B2 (ja) * | 2014-09-08 | 2018-10-31 | 富士通株式会社 | 表示制御方法、情報処理プログラム、及び情報処理装置 |
-
2016
- 2016-08-04 JP JP2016153708A patent/JP6768400B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018022376A (ja) | 2018-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104995666B (zh) | 用于在真实环境中表示虚拟信息的方法 | |
CN104995665B (zh) | 用于在真实环境中表示虚拟信息的方法 | |
US10930008B2 (en) | Information processing apparatus, information processing method, and program for deriving a position orientation of an image pickup apparatus using features detected from an image | |
JP5872923B2 (ja) | Ar画像処理装置及び方法 | |
JP6338021B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP7182976B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP7164968B2 (ja) | 画像処理装置、画像処理装置の制御方法及びプログラム | |
KR101851303B1 (ko) | 3차원 공간 재구성 장치 및 방법 | |
US20200021727A1 (en) | Camera parameter estimation device, method, and program | |
JP6723798B2 (ja) | 情報処理装置、方法、プログラム | |
US20180020203A1 (en) | Information processing apparatus, method for panoramic image display, and non-transitory computer-readable storage medium | |
JP2015050693A (ja) | カメラ設置シミュレータ及びそのコンピュータプログラム | |
JP2022058658A (ja) | 画像の鮮鋭レベルを表わす位置合わせ誤差マップを得るための装置および方法 | |
JP6768400B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
KR20140031129A (ko) | 사용자 인터렉션에 기반한 전방위 영상의 가상면 생성 방법 | |
JP6719945B2 (ja) | 情報処理装置、情報処理方法、情報処理システム及びプログラム | |
JP2004030408A (ja) | 三次元画像表示装置及び表示方法 | |
JP6109213B2 (ja) | 情報処理装置および方法、プログラム | |
JP6073123B2 (ja) | 立体表示システム、立体像生成装置及び立体像生成プログラム | |
JP2013092888A (ja) | データ処理装置 | |
JP6606748B2 (ja) | ステレオペア画像表示装置 | |
JP6073121B2 (ja) | 立体表示装置及び立体表示システム | |
CN116309854A (zh) | 标定增强现实设备的方法、装置、设备、系统及存储介质 | |
JP6306903B2 (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
Stein et al. | MAP3D: An explorative approach for automatic mapping of real-world eye-tracking data on a virtual 3D model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190802 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200806 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200825 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200923 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6768400 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |