JP6868992B2 - 画像処理装置、画像処理方法および画像処理用プログラム - Google Patents
画像処理装置、画像処理方法および画像処理用プログラム Download PDFInfo
- Publication number
- JP6868992B2 JP6868992B2 JP2016188223A JP2016188223A JP6868992B2 JP 6868992 B2 JP6868992 B2 JP 6868992B2 JP 2016188223 A JP2016188223 A JP 2016188223A JP 2016188223 A JP2016188223 A JP 2016188223A JP 6868992 B2 JP6868992 B2 JP 6868992B2
- Authority
- JP
- Japan
- Prior art keywords
- point cloud
- cloud data
- mark
- displayed
- viewpoints
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000000034 method Methods 0.000 description 9
- 238000013500 data storage Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
- H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
- G01C21/32—Structuring or formatting of map data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/324—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/56—Particle system, point based geometry or rendering
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明は、点群データの画像処理技術に関する。
レーザスキャナやステレオ写真計測によって得られる点群データが知られている（例えば特許文献１や２を参照）。
点群データをＰＣ等のディスプレイ上に３Ｄ表示させると、点群により測定対象物の三次元形状が表示される。点群データの主な活用方法として、点群データから三次元モデルを得る技術がある。三次元モデルは、対象物の輪郭線を表示したもので、ＣＡＤソフト上で扱う三次元データと親和性が高い。
点群データは、視点から死角となる部分は取得できない。そのため複数の視点から点群データを取得し、それらを位置合わせして統合する作業が必要である。この際、各点群データと統合された点群データの関係が視覚的に把握できると便利である。
そこで、本発明は、複数の点群データとそれらが統合された点群データとの関係を視覚的に把握し易い画面表示を行う技術の提供を目的とする。
請求項１に記載の発明は、複数の視点から得られた点群データを統合した統合点群データを３Ｄ表示すると共に、前記複数の視点から得られた複数の点群データの中の一つを３Ｄ表示させることが可能な表示制御部を備え、前記複数の点群データは、レーザースキャナにより取得され、前記複数の点群データに含まれる視点の異なる２つの点群データ同士の位置合わせを行う画面において、前記レーザースキャナを表示し、前記位置合わせの良否を識別可能な第１のマークとターゲットを表示する第２のマークが表示され、前記第１のマークで示されるレーザースキャナの位置と前記第２のマークの位置とが合った時に前記第２のマークの色が変わることを特徴とする画像処理装置である。
請求項２に記載の発明は、請求項１に記載の発明において、前記統合点群データを３Ｄ表示したものと、前記複数の視点から得られた複数の点群データの中の一つを３Ｄ表示したものとが階層表示されることを特徴とする。
請求項３に記載の発明は、請求項１または２に記載の発明において、前記統合点群データの３Ｄ表示において、前記複数の視点から得られた前記複数の点群データのそれぞれは、識別可能な状態で３Ｄ表示されることを特徴とする。
請求項４に記載の発明は、請求項３に記載の発明において、前記複数の視点から得られた前記複数の点群データのそれぞれは、異なる色に着色されることを特徴とする。
請求項５に記載の発明は、複数の視点から得られた点群データを統合した統合点群データを３Ｄ表示すると共に、前記複数の視点から得られた複数の点群データの中の一つを３Ｄ表示させ、前記複数の点群データは、レーザースキャナにより取得され、前記複数の点群データに含まれる視点の異なる２つの点群データ同士の位置合わせを行う画面において、前記レーザースキャナを表示し、前記位置合わせの良否を識別可能な第１のマークとターゲットを表示する第２のマークが表示され、前記第１のマークで示されるレーザースキャナの位置と前記第２のマークの位置とが合った時に前記第２のマークの色が変わることを特徴とする画像処理方法である。
請求項６に記載の発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータを、複数の視点から得られた点群データを統合した統合点群データを３Ｄ表示すると共に、前記複数の視点から得られた複数の点群データの中の一つを３Ｄ表示させることが可能な表示制御部として動作させ、前記複数の点群データは、レーザースキャナにより取得され、前記複数の点群データに含まれる視点の異なる２つの点群データ同士の位置合わせを行う画面において、前記レーザースキャナを表示し、前記位置合わせの良否を識別可能な第１のマークとターゲットを表示する第２のマークが表示され、前記第１のマークで示されるレーザースキャナの位置と前記第２のマークの位置とが合った時に前記第２のマークの色が変わることを特徴とする画像処理用プログラムである。
本発明によれば、複数の点群データとそれらが統合された点群データとの関係を視覚的に把握し易い画面表示を行う技術が得られる。
図１には、画像処理装置１００が示されている。画像処理装置１００は、点群データの処理を行うための装置である。通常は、専用のハードウェアではなく、ＰＣ（パーソナルコンピュータ）に画像処理装置１００の機能を実現するアプリケーションソフトウェアをインストールし、当該アプリケーションソフトウェア起動することで、画像処理装置１００がソフトウェア的に実現される。
ＰＣを利用した場合、図１に図示する各機能部は、ソフトウェア的に構成される。なお、図１に示す各機能部を専用の演算回路によって構成してもよい。また、ソフトウェア的に構成された機能部と、専用の演算回路によって構成された機能部が混在していてもよい。例えば、図示する各機能部は、ＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などのＰＬＤ（Programmable Logic Device）などの電子回路により構成される。
各機能部を専用のハードウェアで構成するのか、ＣＰＵにおけるプログラムの実行によりソフトウェア的に構成するのかは、要求される演算速度、コスト、消費電力等を勘案して決定される。例えば、特定の機能部をＦＰＧＡで構成すれば、処理速度の上では優位であるが高コストとなる。他方で、ＣＰＵでプログラムを実行することで特定の機能部を実現する構成は、ハードウェア資源を節約できるので、コスト的に優位となる。しかしながら、ＣＰＵで機能部を実現する場合、処理速度は、専用のハードウェアに比較して見劣りする。機能部を専用のハードウェアで構成することとソフトウェア的に構成することは、上述した違いはあるが、特定の機能を実現するという観点からは、等価である。
画像処理装置１００は、点群データ記憶部１０１、操作内容受付部１０２、画像データ表示制御部１０３、三次元モデル作成部１０４を備えている。点群データ記憶部１０１は、三次元レーザスキャナが計測した点群データを記憶する。点群データは、ステレオ写真測量の原理を用いて、撮影画像中から抽出した多数の特徴点の三次元座標を求める手法により得ることもできる。
操作内容受付部１０２は、画像処理装置１００を操作する作業者の操作内容に係るデータの受付を行う。例えば、当該作業者は、画像処理装置１００として動作するＰＣを操作して各種の作業を行うが、この際における作業者によるＰＣの操作内容が操作内容受付部１０２で受け付けられる。
画像データ表示制御部１０３は、点群データをＰＣや適当なディスプレイ（例えば、液晶ディスプレイ）上に表示するための制御を行う。画面表示は、２Ｄ表示および３Ｄ表示が可能である。
図２には、画像データ表示制御部１０３で行われる処理によって得られた画面表示の一例が示されている。図２には３分割された画面が示されている。中央上画面は、鉛直上方から見たマップ表示であり、ここでは、対象物（建物）を囲む４方の４つの視点からレーザスキャンを行い４群の点群データが得られた場合が示されている。
左下の画面は、上記４群の点群データを統合（一つの座標系上で記述）した統合点群データの３Ｄ表示である。ここで、４つの視点毎に色を変えて点群を表示した例が示され、統合点群データと各点群データの関係が認識し易いようにされている。
図２右下の点群データは、図２左下の統合点群データを構成する４群の点群データの一つ（１群）の３Ｄ表示である。この場合、左側の４色の画面が上位の階層の点群データ（統合点群データ）であり、右側の緑色の点群データが下位の階層の点群データ（統合点群データを構成する４群の点群データの中の一つ）である。図２のＵＩ画面では、左側のツリー表示された各画面の識別表示をクリックすることで、他の視点から得られた点群データの３Ｄ表示を適宜選択できる。
図２の画面表示を行うことで、上位階層の点群データ（統合された点群データ）と下位階層の点群データ（各視点から得た点群データ）の関係が視覚的に把握し易くなる。特に、上位の階層の統合された点群データと、その下位の階層の複数の点群データのツリー構造が視覚的に把握し易くなるので、特定の点群データの視点の変更の検討等を行う場合に便利となる。
図３および図４には、画像データ表示制御部１０３で行われる処理によって得られた画面表示の一例が示されている。点群データの取得に際、予め測定対象物に複数の位置合わせ用のマーカを配置しておき、このマーカを利用して、視点の異なる２つの点群データの位置合わせ（レジストレーション）が行われる。
図３，４において、スキャナー（ステーション）が▲表示され、ターゲットは○で表示されている。ターゲット単体では黄色の○表示され、レジストレーションに使用され、スキャナーの位置と合わされた時、オレンジに色が変わる。また、レジストレーションの位置合わせがずれている場合、図３に示す様に△表示が○表示の中央からずれて表示され、位置合わせが出来ていないことが明確に示される。また、位置合わせができると中央から円周に向けた線が表示され、位置合わせができたことを作業者が認識できるようにされている。
以上の様に、スキャナーのレジストレーションをする際に、正確な位置合わせが出来ているかを視覚的に判断できるように表示が工夫されている。これらの表示制御が画像データ表示制御部１０３で行われる。
三次元モデル作成部１０４は、点群データに基づく三次元モデルの作成を行う。点群データに基づき三次元モデルを作成する技術については、国際公開番号ＷＯ２０１１/０７０９２７号公報、特開２０１２−２３０５９４号公報、特開２０１４−３５７０２号公報に記載された技術を利用できる。
Claims (6)
- 複数の視点から得られた点群データを統合した統合点群データを３Ｄ表示すると共に、前記複数の視点から得られた複数の点群データの中の一つを３Ｄ表示させることが可能な表示制御部を備え、
前記複数の点群データは、レーザースキャナにより取得され、
前記複数の点群データに含まれる視点の異なる２つの点群データ同士の位置合わせを行う画面において、
前記レーザースキャナを表示し、前記位置合わせの良否を識別可能な第１のマークとターゲットを表示する第２のマークが表示され、
前記第１のマークで示されるレーザースキャナの位置と前記第２のマークの位置とが合った時に前記第２のマークの色が変わることを特徴とする画像処理装置。 - 前記統合点群データを３Ｄ表示したものと、前記複数の視点から得られた複数の点群データの中の一つを３Ｄ表示したものとが階層表示されることを特徴とする請求項１に記載の画像処理装置。
- 前記統合点群データの３Ｄ表示において、前記複数の視点から得られた前記複数の点群データのそれぞれは、識別可能な状態で３Ｄ表示されることを特徴とする請求項１または２に記載の画像処理装置。
- 前記複数の視点から得られた前記複数の点群データのそれぞれは、異なる色に着色されることを特徴とする請求項３に記載の画像処理装置。
- 複数の視点から得られた点群データを統合した統合点群データを３Ｄ表示すると共に、前記複数の視点から得られた複数の点群データの中の一つを３Ｄ表示させ、
前記複数の点群データは、レーザースキャナにより取得され、
前記複数の点群データに含まれる視点の異なる２つの点群データ同士の位置合わせを行う画面において、
前記レーザースキャナを表示し、前記位置合わせの良否を識別可能な第１のマークとターゲットを表示する第２のマークが表示され、
前記第１のマークで示されるレーザースキャナの位置と前記第２のマークの位置とが合った時に前記第２のマークの色が変わることを特徴とする画像処理方法。 - コンピュータに読み取らせて実行させるプログラムであって、
コンピュータを、複数の視点から得られた点群データを統合した統合点群データを３Ｄ表示すると共に、前記複数の視点から得られた複数の点群データの中の一つを３Ｄ表示させることが可能な表示制御部として動作させ、
前記複数の点群データは、レーザースキャナにより取得され、
前記複数の点群データに含まれる視点の異なる２つの点群データ同士の位置合わせを行う画面において、
前記レーザースキャナを表示し、前記位置合わせの良否を識別可能な第１のマークとターゲットを表示する第２のマークが表示され、
前記第１のマークで示されるレーザースキャナの位置と前記第２のマークの位置とが合った時に前記第２のマークの色が変わることを特徴とする画像処理用プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016188223A JP6868992B2 (ja) | 2016-09-27 | 2016-09-27 | 画像処理装置、画像処理方法および画像処理用プログラム |
| US15/712,288 US10382747B2 (en) | 2016-09-27 | 2017-09-22 | Image processing apparatus, image processing method, and image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016188223A JP6868992B2 (ja) | 2016-09-27 | 2016-09-27 | 画像処理装置、画像処理方法および画像処理用プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018055246A JP2018055246A (ja) | 2018-04-05 |
| JP6868992B2 true JP6868992B2 (ja) | 2021-05-12 |
Family
ID=61686992
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016188223A Active JP6868992B2 (ja) | 2016-09-27 | 2016-09-27 | 画像処理装置、画像処理方法および画像処理用プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10382747B2 (ja) |
| JP (1) | JP6868992B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6910820B2 (ja) * | 2017-03-02 | 2021-07-28 | 株式会社トプコン | 点群データ処理装置、点群データ処理方法、点群データ処理用プログラム |
| US10353073B1 (en) * | 2019-01-11 | 2019-07-16 | Nurulize, Inc. | Point cloud colorization system with real-time 3D visualization |
| US10346998B1 (en) * | 2019-02-25 | 2019-07-09 | Nurulize, Inc. | Method of merging point clouds that identifies and retains preferred points |
| JP6708917B1 (ja) * | 2020-02-05 | 2020-06-10 | リンクウィズ株式会社 | 形状検出方法、形状検出システム、プログラム |
| JP7348144B2 (ja) * | 2020-07-09 | 2023-09-20 | 株式会社神戸製鋼所 | 廃棄物高さ情報検出装置および該方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5287152B2 (ja) * | 2008-11-04 | 2013-09-11 | オムロン株式会社 | ３次元モデルの作成方法および物体認識装置 |
| JP5480914B2 (ja) * | 2009-12-11 | 2014-04-23 | 株式会社トプコン | 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム |
| JP5465128B2 (ja) * | 2010-08-11 | 2014-04-09 | 株式会社トプコン | 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法、および点群位置データ処理プログラム |
| JP5593177B2 (ja) * | 2010-09-14 | 2014-09-17 | 株式会社トプコン | 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム |
| WO2012141235A1 (ja) * | 2011-04-13 | 2012-10-18 | 株式会社トプコン | 三次元点群位置データ処理装置、三次元点群位置データ処理システム、三次元点群位置データ処理方法およびプログラム |
| JP5711039B2 (ja) | 2011-04-27 | 2015-04-30 | 株式会社トプコン | 三次元点群位置データ処理装置、三次元点群位置データ処理方法、三次元点群位置データ処理システムおよびプログラム |
| JP5963353B2 (ja) * | 2012-08-09 | 2016-08-03 | 株式会社トプコン | 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム |
| US9129435B2 (en) * | 2012-12-04 | 2015-09-08 | Fuji Xerox Co., Ltd. | Method for creating 3-D models by stitching multiple partial 3-D models |
| JP6192938B2 (ja) * | 2013-01-15 | 2017-09-06 | 株式会社東芝 | 三次元合成処理システムおよび三次元合成処理方法 |
| JP2014185996A (ja) * | 2013-03-25 | 2014-10-02 | Toshiba Corp | 計測装置 |
| JP6230442B2 (ja) * | 2014-02-20 | 2017-11-15 | 株式会社東芝 | 算出装置、方法及びプログラム |
| KR20160147491A (ko) * | 2015-06-15 | 2016-12-23 | 한국전자통신연구원 | 3차원 모델 생성 장치 및 방법 |
-
2016
- 2016-09-27 JP JP2016188223A patent/JP6868992B2/ja active Active
-
2017
- 2017-09-22 US US15/712,288 patent/US10382747B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20180091802A1 (en) | 2018-03-29 |
| JP2018055246A (ja) | 2018-04-05 |
| US10382747B2 (en) | 2019-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6868992B2 (ja) | 画像処理装置、画像処理方法および画像処理用プログラム | |
| US9529945B2 (en) | Robot simulation system which simulates takeout process of workpieces | |
| KR102399630B1 (ko) | 굴착기의 버킷의 포즈 결정 방법 및 장치 | |
| JP4492654B2 (ja) | ３次元計測方法および３次元計測装置 | |
| US20180350055A1 (en) | Augmented reality feature detection | |
| KR101973917B1 (ko) | 3차원 계측 장치 및 그 계측 지원 처리 방법 | |
| CN106797458B (zh) | 真实对象的虚拟改变 | |
| US10354447B2 (en) | Image processing device, image processing method, and image processing program | |
| TW201629909A (zh) | 三維物件識別技術 | |
| US9182220B2 (en) | Image photographing device and method for three-dimensional measurement | |
| WO2015049853A1 (ja) | 寸法計測装置、寸法計測方法、寸法計測システム、プログラム | |
| CN109690622A (zh) | 多相机系统中的相机登记 | |
| JP2011185872A5 (ja) | ||
| JP6910820B2 (ja) | 点群データ処理装置、点群データ処理方法、点群データ処理用プログラム | |
| WO2006098258A1 (ja) | ３次元計測のためのキャリブレーション方法およびその方法を用いた３次元計測システム | |
| EP3330928A1 (en) | Image generation device, image generation system, and image generation method | |
| JP6906916B2 (ja) | 画像処理装置、画像処理方法、画像処理用プログラム | |
| WO2018223038A1 (en) | Augmented reality application for manufacturing | |
| US11210571B2 (en) | Using rasterization to identify traffic signal devices | |
| JP2007212187A (ja) | ステレオ写真計測装置、ステレオ写真計測方法、及びステレオ写真計測プログラム | |
| KR100733396B1 (ko) | 3차원 측정 데이터 획득장치 및 방법 | |
| US10645363B2 (en) | Image-based edge measurement | |
| JPH09329430A (ja) | 物体の損傷程度計測方法及び装置、並びに物体の修理費算出装置 | |
| JP6132246B2 (ja) | 寸法計測方法 | |
| CN114724104B (zh) | 一种视认距离检测的方法、装置、电子设备、系统及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190801 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200714 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200722 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200914 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201119 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210409 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210413 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6868992 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |