JP7094299B2 - ジョイントバイラテラルフィルタの効率的な実現 - Google Patents
ジョイントバイラテラルフィルタの効率的な実現 Download PDFInfo
- Publication number
- JP7094299B2 JP7094299B2 JP2019555620A JP2019555620A JP7094299B2 JP 7094299 B2 JP7094299 B2 JP 7094299B2 JP 2019555620 A JP2019555620 A JP 2019555620A JP 2019555620 A JP2019555620 A JP 2019555620A JP 7094299 B2 JP7094299 B2 JP 7094299B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- volume
- depth
- splatting
- bin
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002146 bilateral effect Effects 0.000 title claims description 23
- 238000000034 method Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 13
- 230000001419 dependent effect Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 9
- 230000009471 action Effects 0.000 description 8
- 238000013507 mapping Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005562 fading Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
- 特定用途向けハードウェア回路が、スプラッティング動作と補間動作を実行するように構成され、
- マイクロプロセッサが、集積回路の動作中にスライス動作を実行するようにソフトウェアによって構成される。
以下の参考および略語のリストは、図面の解釈を容易にするために提供されており、特許請求の範囲を限定するものとして解釈されるべきではない。
020 深度ボリューム入力データ
022 深度出力データ
024 テンプレート深度データ
026 補間されたテンプレート深度データ
030 重みの合計ボリュームデータ
032 重み付き深度の合計ボリュームデータ
052 重みおよびボリュームインデックスデータ
054 重みデータ
100 集積回路の処理サブシステム
110 画像データ入力インターフェース
120 深度ボリュームデータ入力インターフェース
122 深度データ出力インターフェース
130-132 ボリュームデータ出力インターフェース
140 スプラッティングブロック
150 重み付けブロック
160 補間ブロック
170 2D補間ブロック
180 制御ロジック
200 画像
210 水平次元
220 垂直次元
250 明るい画像パッチのマッピング
260 暗い画像の背景のマッピング
300 画像のボリューム表現
310 水平次元
320 垂直次元
330 範囲次元
400 次元(水平、垂直、または範囲)
410 深度サンプルの連続
420 スプラット蓄積区間
430 重み関数
440 ビン区間
442 エッジビン
444 非エッジビン
500 画像から深度マップを推定する方法
510 画像データへアクセスすること
520 深度データへアクセスすること
530 ジョイントバイラテラルフィルタを適用すること
540 ボリュームを初期化すること
550 スプラッティング動作
560 スライス動作
570 補間動作
600 コンピュータ可読媒体
610 命令を表す非一時的データ
Claims (15)
- 画像から深度マップを推定するように構成され、メモリを備えるかまたはメモリに接続されている、集積回路であって、集積回路は、
- 画像の画像データにアクセスするように構成された画像データインターフェースと、
- 画像データに適合させる深度マップの深度データにアクセスするように構成された深度データインターフェースと、
- ジョイントバイラテラルフィルタの範囲項として画像データを使用して、ジョイントバイラテラルフィルタを深度マップに適用して、画像に適合された深度マップを、出力として取得するように構成された処理サブシステムと
を備え、
処理サブシステムは、
- 重み付き深度の合計ボリュームと重みの合計ボリュームとを、メモリ内のそれぞれの空のデータ構造として初期化することであって、前記ボリュームの各々は、
- 画像データの2つの空間次元のダウンサンプリングされたバージョンを表す、2つの空間次元と、
- 画像データの画像要素の範囲次元のダウンサンプリングされたバージョンを表す、少なくとも1つの範囲次元とを備え、
前記ボリュームのセルは、画像の2つの空間次元および画像データの範囲次元に関して定義される画像の座標系でビンを定義する、初期化することと、
- 前記ボリュームを満たすためにスプラッティング動作を実行することであって、スプラッティング動作は、画像内の各ピクセルに対して、
- 画像の座標系におけるピクセルの座標に基づいて、ピクセルがスプラッティング動作において寄与する重み付き深度の合計ボリューム内の、隣接するビンを識別し、座標は、前記ボリュームの各々のビンに関するピクセルの相対位置を示し、
- 深度マップからピクセルの深度値を取得し、
- 隣接するビンの各々に対して、
- 深度値を重み付けするためのスプラッティング重みを取得し、スプラッティング重みは、それぞれのビンへのピクセルの寄与を決定し、それぞれのビンに関するピクセルの相対位置に基づいて決定され、
- スプラッティング重みによって深度値を重み付けし、
- 重み付き深度の合計ボリュームのそれぞれのビンに重み付き深度値を蓄積し、重みの合計ボリュームの対応するビンにスプラッティング重みを蓄積すること
を含む、スプラッティング動作を実行することと、
- 重み付き深度の合計ボリュームの各ビンと、重みの合計ボリュームの対応するビンとについて、蓄積した重み付き深度値を蓄積した重みで除算することによって、画像に適合された深度ボリュームを取得するためにスライス動作を実行することと、
- 画像内の各ピクセルに対して、画像に適合された深度マップの画像に適合された深度値を取得するために補間動作を実行することであって、補間動作は、
- 画像の座標系内のピクセルの座標に基づき、スプラッティング動作中に重み付き深度の合計ボリュームの対応するビンに寄与するピクセルに基づいて、画像に適合された深度ボリューム内の隣接するビンを識別し、
- 補間フィルタを画像に適合された深度ボリュームの隣接ビンに適用することを含み、補間フィルタは、隣接するビンの各々について、それぞれのビンに関するピクセルの相対位置に基づいて決定される補間重みを備える、補間動作を実行することと
によってジョイントバイラテラルフィルタを実行するように構成される、
集積回路。 - 処理サブシステムが、特定用途向けハードウェア回路と、ソフトウェアによって構成可能なマイクロプロセッサとを備え、
- 特定用途向けハードウェア回路が、スプラッティング動作と補間動作を実行するように構成され、
- マイクロプロセッサが、集積回路の動作中にスライス動作を実行するためにソフトウェアによって構成される、請求項1に記載の集積回路。 - 特定用途向けハードウェア回路が、スプラッティング動作で使用されるスプラッティング重みおよび/または補間動作で使用される補間重みを格納するためのフィルタテーブルを備える、請求項2に記載の集積回路。
- フィルタテーブルは、スプラッティング動作で使用されるスプラッティング重みと、補間動作で使用される補間重みとが、それぞれの動作を実行する前に、ロードされる、請求項3に記載の集積回路。
- スプラッティング動作で使用されるスプラッティング重みと、補間動作で使用される補間重みとが同じである、請求項1から3のいずれか一項に記載の集積回路。
- スプラッティング動作で使用されるスプラッティング重みおよび補間動作で使用される補間重みが、画像の座標系に関する線形補間を表す、請求項1から5のいずれか一項に記載の集積回路。
- マイクロプロセッサが、集積回路の動作中に、スライス動作を実行する前に、重み付き深度の合計ボリュームに、および重みの合計ボリュームに時間フィルタリングを適用するようにソフトウェアによって構成される、請求項2に従属する、請求項2から6のいずれか一項に記載の集積回路。
- 時間フィルタリングが、一次、または、より高次の無限インパルス応答フィルタである、請求項7に記載の集積回路。
- 処理サブシステムが、スプラッティング動作を実行した後、重み付き深度の合計ボリュームをガウスカーネルで畳み込むように構成される、請求項1から8のいずれか一項に記載の集積回路。
- 集積回路が、フィールドプログラマブルゲートアレイであるか、またはフィールドプログラマブルゲートアレイの一部である、請求項1から9のいずれか一項に記載の集積回路。
- 集積回路が、システムオンチップであるか、またはシステムオンチップの一部である、請求項1から9のいずれか一項に記載の集積回路。
- 請求項1から11のいずれか一項に記載の集積回路を備える、デバイス。
- ディスプレイデバイスまたはセットトップボックスである、請求項12に記載のデバイス。
- 画像から深度マップを推定するための、コンピュータにより実行される方法であって、
- 画像の画像データへアクセスするステップと、
- 画像データに適合させる深度マップの深度データにアクセスするステップと、
- 画像データをジョイントバイラテラルフィルタの範囲項として使用して、深度マップにジョイントバイラテラルフィルタを適用して、画像に適合された深度マップを、出力として取得するステップとを含み、
ジョイントバイラテラルフィルタを適用するステップは、
- 重み付き深度の合計ボリュームと重みの合計ボリュームとを、メモリ内のそれぞれの空のデータ構造として初期化するステップであって、前記ボリュームの各々は:
- 画像データの2つの空間次元のダウンサンプリングされたバージョンを表す、2つの空間次元と、
- 画像データの画像要素の範囲次元のダウンサンプリングされたバージョンを表す、少なくとも1つの範囲次元とを備え、
前記ボリュームのセルは、画像の2つの空間次元および画像データの範囲次元に関して定義される画像の座標系でビンを定義する、初期化するステップと、
- 前記ボリュームを満たすためにスプラッティング動作を実行するステップであって、スプラッティング動作は、画像内の各ピクセルに対して、
- 画像の座標系におけるピクセルの座標に基づいて、ピクセルがスプラッティング動作において寄与する重み付き深度の合計ボリューム内の、隣接するビンを識別し、座標は、前記ボリュームの各々のビンに関するピクセルの相対位置を示し、
- 深度マップからピクセルの深度値を取得するステップと、
- 隣接するビンの各々に対して、
- 深度値を重み付けするためのスプラッティング重みを取得し、スプラッティング重みは、それぞれのビンへのピクセルの寄与を決定し、それぞれのビンに関するピクセルの相対位置に基づいて決定され、
- スプラッティング重みによって深度値を重み付けし、
- 重み付き深度の合計ボリュームのそれぞれのビンに重み付き深度値を蓄積し、重みの合計ボリュームの対応するビンにスプラッティング重みを蓄積するステップを含む、スプラッティング動作を実行するステップと、
- 重み付き深度の合計ボリュームの各ビンと、重みの合計ボリュームの対応するビンとについて、蓄積した重み付き深度値を蓄積した重みで除算することによって、画像に適合された深度ボリュームを取得するために、スライス動作を実行するステップと、
- 画像内の各ピクセルに対して、画像に適合された深度マップの画像に適合された深度値を取得するために、補間動作を実行するステップであって、補間動作は、
- 画像の座標系内のピクセルの座標に基づき、スプラッティング動作中に重み付き深度の合計ボリュームの対応するビンに寄与するピクセルに基づいて、画像に適合された深度ボリューム内の隣接するビンを識別し、
- 補間フィルタを画像に適合された深度ボリュームの隣接ビンに適用するステップを含み、補間フィルタは、隣接するビンの各々について、それぞれのビンに関するピクセルの相対位置に基づいて決定される補間重みを備える、補間動作を実行するステップと
を含む、方法。 - プロセッサシステムに、請求項14に記載の方法を実行させるように構成された命令を表す一時的または非一時的データを含む、コンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17166455.0A EP3389265A1 (en) | 2017-04-13 | 2017-04-13 | Efficient implementation of joint bilateral filter |
EP17166455.0 | 2017-04-13 | ||
PCT/EP2018/058604 WO2018189010A1 (en) | 2017-04-13 | 2018-04-04 | Efficient implementation of joint bilateral filter |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020518892A JP2020518892A (ja) | 2020-06-25 |
JP7094299B2 true JP7094299B2 (ja) | 2022-07-01 |
Family
ID=58632767
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019555620A Active JP7094299B2 (ja) | 2017-04-13 | 2018-04-04 | ジョイントバイラテラルフィルタの効率的な実現 |
Country Status (12)
Country | Link |
---|---|
US (1) | US11216962B2 (ja) |
EP (2) | EP3389265A1 (ja) |
JP (1) | JP7094299B2 (ja) |
KR (1) | KR102464876B1 (ja) |
CN (1) | CN110506418B (ja) |
BR (1) | BR112019019379A2 (ja) |
CA (1) | CA3056371C (ja) |
ES (1) | ES2928563T3 (ja) |
IL (1) | IL269868B (ja) |
RU (1) | RU2767512C2 (ja) |
TW (1) | TWI762617B (ja) |
WO (1) | WO2018189010A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11501413B2 (en) * | 2020-11-17 | 2022-11-15 | Adobe Inc. | Kernel reshaping-powered splatting-based efficient image space lens blur |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110210969A1 (en) | 2008-11-04 | 2011-09-01 | Koninklijke Philips Electronics N.V. | Method and device for generating a depth map |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2317336A1 (en) * | 2000-09-06 | 2002-03-06 | David Cowperthwaite | Occlusion resolution operators for three-dimensional detail-in-context |
RU2215326C2 (ru) * | 2001-06-29 | 2003-10-27 | Самсунг Электроникс Ко., Лтд. | Иерархическое основанное на изображениях представление неподвижного и анимированного трехмерного объекта, способ и устройство для использования этого представления для визуализации объекта |
KR100574974B1 (ko) * | 2004-02-26 | 2006-05-02 | 삼성전자주식회사 | 암호화된 방송 데이터를 위한 제한수신기능과복제방지기능을 구비하는 장치 및 방법 |
KR20080114324A (ko) * | 2007-06-27 | 2008-12-31 | 엘지이노텍 주식회사 | 카메라 모듈, 이의 검사 장치 및 검사 방법 |
WO2010084460A1 (en) | 2009-01-20 | 2010-07-29 | Nxp B.V. | Image processing using a bilateral grid |
WO2010134890A1 (en) | 2009-05-21 | 2010-11-25 | Esa Group Pte Ltd | System and method for testing and managing camera modules |
US8988461B1 (en) * | 2011-01-18 | 2015-03-24 | Disney Enterprises, Inc. | 3D drawing and painting system with a 3D scalar field |
CN102055996B (zh) * | 2011-02-23 | 2013-01-23 | 南京航空航天大学 | 基于空间逐层扫描的真三维立体显示系统及其显示方法 |
US8754829B2 (en) * | 2012-08-04 | 2014-06-17 | Paul Lapstun | Scanning light field camera and display |
TW201432622A (zh) | 2012-11-07 | 2014-08-16 | Koninkl Philips Nv | 產生一關於一影像之深度圖 |
CN103927717B (zh) | 2014-03-28 | 2017-03-15 | 上海交通大学 | 基于改进型双边滤波的深度图像恢复方法 |
US8988317B1 (en) * | 2014-06-12 | 2015-03-24 | Lytro, Inc. | Depth determination for light field images |
US9838679B2 (en) | 2015-07-28 | 2017-12-05 | Viavi Solutions Inc. | Distance to fault measurements in cable TV networks |
CN106210713A (zh) | 2016-08-30 | 2016-12-07 | 昆山软龙格自动化技术有限公司 | 一种手机摄像头模组多模组同时测试装置 |
-
2017
- 2017-04-13 EP EP17166455.0A patent/EP3389265A1/en not_active Withdrawn
-
2018
- 2018-04-04 JP JP2019555620A patent/JP7094299B2/ja active Active
- 2018-04-04 BR BR112019019379A patent/BR112019019379A2/pt unknown
- 2018-04-04 WO PCT/EP2018/058604 patent/WO2018189010A1/en unknown
- 2018-04-04 EP EP18713711.2A patent/EP3610645B1/en active Active
- 2018-04-04 RU RU2019136258A patent/RU2767512C2/ru active
- 2018-04-04 KR KR1020197033378A patent/KR102464876B1/ko active IP Right Grant
- 2018-04-04 CN CN201880024410.6A patent/CN110506418B/zh active Active
- 2018-04-04 US US16/604,734 patent/US11216962B2/en active Active
- 2018-04-04 CA CA3056371A patent/CA3056371C/en active Active
- 2018-04-04 ES ES18713711T patent/ES2928563T3/es active Active
- 2018-04-13 TW TW107112754A patent/TWI762617B/zh active
-
2019
- 2019-10-07 IL IL269868A patent/IL269868B/en unknown
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110210969A1 (en) | 2008-11-04 | 2011-09-01 | Koninklijke Philips Electronics N.V. | Method and device for generating a depth map |
Non-Patent Citations (2)
Title |
---|
Sylvain Paris,A Fast Approximation of the Bilateral Filter Using a Signal Processing Approach,Computer Vision ECCV 2006, Part IV, LNCS 3954,オーストリア,Springer,2006年05月13日,P.568-580 |
高田 洋佑,座標と画素値の積空間での係数分解によるバイラテラルフィルタの高速化,映像情報メディア学会技術報告 Vol.32 No.54,ME2008-188, BCT2008-154, AIT2008-123,日本,(社)映像情報メディア学会,2008年11月28日,P.77-82 |
Also Published As
Publication number | Publication date |
---|---|
CN110506418A (zh) | 2019-11-26 |
RU2767512C2 (ru) | 2022-03-17 |
RU2019136258A3 (ja) | 2021-05-13 |
KR102464876B1 (ko) | 2022-11-07 |
JP2020518892A (ja) | 2020-06-25 |
IL269868B (en) | 2022-03-01 |
TW201837863A (zh) | 2018-10-16 |
BR112019019379A2 (pt) | 2020-05-05 |
EP3389265A1 (en) | 2018-10-17 |
US11216962B2 (en) | 2022-01-04 |
EP3610645B1 (en) | 2022-07-13 |
US20210192760A1 (en) | 2021-06-24 |
EP3610645A1 (en) | 2020-02-19 |
CA3056371C (en) | 2024-04-02 |
ES2928563T3 (es) | 2022-11-21 |
TWI762617B (zh) | 2022-05-01 |
KR20190135527A (ko) | 2019-12-06 |
CA3056371A1 (en) | 2018-10-18 |
WO2018189010A1 (en) | 2018-10-18 |
RU2019136258A (ru) | 2021-05-13 |
CN110506418B (zh) | 2021-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8902229B2 (en) | Method and system for rendering three dimensional views of a scene | |
KR20140088200A (ko) | 예제 유사 이미지와 연관된 예제 근사 깊이-맵을 사용하여 입력 이미지에 대한 깊이-맵 생성 | |
Horng et al. | VLSI architecture for real-time HD1080p view synthesis engine | |
Werner et al. | Hardware implementation of a full HD real-time disparity estimation algorithm | |
JP2022101507A (ja) | インテリジェントノイズ除去 | |
JP7094299B2 (ja) | ジョイントバイラテラルフィルタの効率的な実現 | |
WO2012040162A1 (en) | Color correction for digital images | |
CN109076205B (zh) | 双模深度估计器 | |
US9384593B2 (en) | Level of detail processing | |
EP2680224A1 (en) | Method and device for determining a depth image | |
CN111369435A (zh) | 基于自适应稳定模型的彩色图像深度上采样方法及系统 | |
EP2677496B1 (en) | Method and device for determining a depth image | |
US20100103164A1 (en) | Apparatus and method of processing three dimensional graphic data using texture factor | |
EP3211599A1 (en) | Adaptive depth-guided non-photorealistic rendering method, corresponding computer program product, computer-readable carrier medium and device | |
JP2023551896A (ja) | 拡張次元ライトフィールド画像の処理 | |
EP4162441A1 (en) | Multi-channel extended depth-of-field method for automated digital cytology | |
Nguyen et al. | Fast selective interpolation for 3D depth images | |
Wei et al. | Efficient view synthesis scheme with ray casting and pull-push techniques |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191211 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210316 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220512 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220524 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220621 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7094299 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |