JP6927382B2 - 撮像システム、方法、プログラム、動画表示装置および画像処理装置。 - Google Patents
撮像システム、方法、プログラム、動画表示装置および画像処理装置。 Download PDFInfo
- Publication number
- JP6927382B2 JP6927382B2 JP2020125020A JP2020125020A JP6927382B2 JP 6927382 B2 JP6927382 B2 JP 6927382B2 JP 2020125020 A JP2020125020 A JP 2020125020A JP 2020125020 A JP2020125020 A JP 2020125020A JP 6927382 B2 JP6927382 B2 JP 6927382B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- spherical
- frames
- moving image
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Cameras In General (AREA)
- Camera Data Copying Or Recording (AREA)
- Image Processing (AREA)
Description
以下、図1および図2を参照しながら、本実施形態による全天球動画撮像システムの全体構成について説明する。図1は、本実施形態による全天球動画撮像システム100を構成する全天球カメラ110の断面図である。図1に示す全天球カメラ110は、撮像体12と、上記撮像体12およびコントローラやバッテリなどの部品を保持する筐体14と、上記筐体14に設けられたシャッター・ボタン18とを備える。
以下、図3〜図16を参照しながら、本実施形態による全天球動画撮像システム100が備える全天球動画撮像記録機能について説明する。図3は、本実施形態による全天球動画撮像システム100上に実現される全天球動画撮像記録機能に関連する主要な機能ブロック200を示す。
(付記1)
撮像システムであって、
複数のフレームの画像を撮像する撮像手段と、
基準方向に対する前記撮像手段の傾きを検出する検出手段と、
前記検出手段により検出された傾きの時系列データを記録する記録手段と、
前記記録手段により記録された傾きの時系列データおよび前記撮像手段固有の付加情報に基づき、前記撮像手段により撮像された複数のフレーム各々の画像に対し傾き補正を行う補正手段と、
前記補正手段により補正された複数のフレーム各々の画像に基づき、動画データを生成する動画生成手段と
を含む、撮像システム。
(付記2)
前記撮像システムは、さらに、
前記撮像手段により撮像された複数のフレームの画像を動画形式に圧縮する動画圧縮手段と、
前記動画圧縮手段により圧縮された動画形式の画像データと、前記記録手段により記録された傾きの時系列データとを出力する出力手段と、
前記出力手段により出力された動画形式の画像データと傾きの時系列データとを読み出す読出手段と、
前記読出手段により読み出した動画形式の画像データから、複数のフレーム各々の画像を復元する復元手段と
を含み、前記補正手段は、前記読出手段により読み出された傾きの時系列データに基づいて、前記復元手段により復元された複数のフレーム各々の画像に対し傾き補正を行う、付記1に記載の撮像システム。
(付記3)
前記撮像システムは、さらに、
前記撮像手段により撮像された複数のフレームの画像と、前記記録手段により記録された傾きの時系列データとを出力する出力手段と、
前記出力手段により出力された複数のフレームの画像と傾きの時系列データとを読み出す読出手段と
を含み、前記補正手段は、前記読出手段により読み出された傾きの時系列データに基づいて、前記読出手段により読み出した複数のフレーム各々の画像に対し傾き補正を行う、付記1に記載の撮像システム。
(付記4)
前記撮像手段、前記検出手段、前記記録手段および前記出力手段は、撮像装置に含まれ、前記読出手段、前記補正手段および前記動画生成手段は、前記撮像装置と分離された画像処理装置に含まれる、付記2または3に記載の撮像システム。
(付記5)
前記撮像手段は、第1の広角撮像光学系と、第2の広角撮像光学系とを含み、前記撮像手段が撮像するフレームの画像は、前記第1の広角撮像光学系で撮像された第1の部分画像と、前記第2の広角撮像光学系で撮像された第2の部分画像とを含み、前記補正手段は、
前記第1の部分画像および前記第2の部分画像を球面座標系へ変換する変換データに対し前記傾きに応じて修正を施す修正手段と、
前記修正手段により修正された変換データを用いて前記第1の部分画像および前記第2の部分画像を球面座標系へ変換し、全天球画像を生成する全天球画像生成手段と
を含み、前記動画データは、前記全天球画像の動画データである、付記1〜4のいずれか1つに記載の撮像システム。
(付記6)
前記補正手段は、補正に際して、全体を構成するフレームのうちの、起点となるフレームに基づく一部のフレームの画像をメモリ上に展開する、付記1〜5のいずれか1つに記載の撮像システム。
(付記7)
前記基準方向は、鉛直方向であり、前記補正手段は、前記補正手段により補正された複数のフレーム各々の画像の天頂が鉛直線に一致するように補正することを特徴とする、付記1〜6のいずれか1つに記載の撮像システム。
(付記8)
前記検出手段は、加速度センサを含む、付記1〜7のいずれか1つに記載の撮像システム。
(付記9)
画像を撮像する撮像装置であって、
複数のフレームの画像を撮像する撮像手段と、
基準方向に対する前記撮像手段の傾きを検出する検出手段と、
前記検出手段により検出された傾きの時系列データを記録する記録手段と、
前記撮像手段により撮像された複数のフレーム各々の画像および前記撮像手段固有の付加情報を出力する第1の出力手段と、
前記記録手段により記録された傾きの時系列データを出力する第2の出力手段と
を含み、前記第1の出力手段により出力された複数のフレーム各々の画像は、前記第2の出力手段により出力された傾きの時系列データおよび前記付加情報に基づき傾き補正が施される、撮像装置。
(付記10)
画像を生成する画像処理装置を実現するためのプログラムであって、コンピュータを、
撮像装置により撮像された複数のフレームの画像を含む画像データを読み出す第1の読出手段、
前記画像データに対応する前記撮像装置により記録された前記撮像装置の基準方向に対する傾きの時系列データを読み出す第2の読出手段、
前記第2の読出手段により読み出した傾きの時系列データおよび前記撮像装置固有の付加情報に基づき、前記第1の読出し手段により読み出された画像データに含まれる複数のフレーム各々の画像に対し傾き補正を行う補正手段、および
前記補正手段により補正された複数のフレーム各々の画像に基づき、動画データを生成する動画生成手段
として機能させるためのプログラム。
(付記11)
対象を撮像し、複数の画像として出力する撮像手段と、
前記対象を撮像したときの傾きを検出する検出手段と、
前記複数の画像から動画を生成する動画生成手段と、
前記傾きに関する情報、前記動画、および、前記傾きに関する情報とともに用いて前記動画に対し傾き補正を行うための前記撮像手段固有の付加情報を出力する出力手段と、
を備えた撮像装置。
(付記12)
前記出力手段は、前記動画を構成する前記複数の画像と該複数の画像の各画像を撮像した時の傾きに関する情報を対応させて出力する、付記11に記載の撮像装置。
(付記13)
前記撮像手段を複数備え、
前記動画生成手段は、前記複数の撮像手段から出力される複数の画像に対して各々動画を生成し、
前記出力手段は、前記各々の動画を出力する、
付記11または12に記載の撮像装置。
(付記14)
対象を撮像し、複数の画像として出力する撮像手段と、
前記対象を撮像したときの傾きを検出する検出手段と、
前記傾きおよび前記撮像手段固有の付加情報に応じて前記複数の画像の変換を行う画像変換手段と、
前記変換された複数の画像から動画を生成する動画生成手段と、
を備えたシステム。
(付記15)
前記撮像手段を複数備え、
前記画像変換手段は、前記複数の撮像手段から出力される複数の画像の変換を行い、
前記動画生成手段は、前記変換された複数の画像のうち、前記複数の撮像手段で同じタイミングで撮像した画像を一つに合成した画像から動画を生成する、
付記14に記載のシステム。
Claims (11)
- 撮像システムであって、
複数のフレームの画像を撮像する撮像手段と、
基準方向に対する前記撮像手段の傾きを検出する検出手段と、
前記検出手段により検出された複数の傾斜角データを記録する記録手段と、
前記記録手段により記録された前記複数の傾斜角データに基づいて、前記複数のフレームの各画像から得られる全天球画像の天頂方向が鉛直方向となるよう前記複数のフレームの各画像に傾斜補正を行う補正手段と、
前記傾斜補正された前記複数のフレームの各画像に基づいて全天球動画を生成する全天球動画生成手段と、
を含む、撮像システム。 - 前記記録手段に記録される傾斜角データは時系列で記録され、前記複数の傾斜角データは、前記複数のフレームの画像のフレームレートと同じレートで記録されるか、または、前記フレームレートと同じレートでない場合は前記複数の傾斜角データと前記フレームレートを所定のレートで対応させて記録される、請求項1に記載の撮像システム。
- 前記所定のレートで対応させて記録されることは、前記フレームレートでリサンプリングし、前記複数の傾斜角データと前記フレームレートとを一対一で対応させることを含む、請求項2に記載の撮像システム。
- 前記撮像手段は2つの光学系および2つの撮像素子を有し、前記2つの撮像素子各々で撮像された画像を合成することによって全天球画像が生成され、前記全天球動画は、生成された全天球画像をフレームとした、圧縮された動画形式の画像データである、請求項1〜3のいずれか1項に記載の撮像システム。
- 前記撮像手段、前記検出手段、前記記録手段は、撮像装置に含まれ、前記補正手段および全天球動画生成手段は、前記撮像装置と分離された画像処理装置に含まれる、請求項1〜4のいずれか一項に記載の撮像システム。
- 複数のフレームの画像を撮像する撮像手段と、
基準方向に対する前記撮像手段の傾きを検出する検出手段と、
前記検出手段により検出された複数の傾斜角データを記録する記録手段と、
前記記録手段により記録された前記複数の傾斜角データに基づいて、前記複数のフレームの各画像から得られる全天球画像の天頂方向が鉛直方向となるよう前記複数のフレームの各画像に傾斜補正を行う補正手段と、
前記傾斜補正された前記複数のフレームの各画像に基づいて全天球動画を生成する全天球動画生成手段
を含む撮像装置。 - 撮像システムが実行する方法であって、前記方法は、撮像システムに対し、
撮像手段により複数のフレームの画像を撮像することと、
検出手段により基準方向に対する前記撮像手段の傾きを検出することと、
記録手段により前記検出手段により検出された複数の傾斜角データを記録することと、
前記記録手段により記録された前記複数の傾斜角データに基づいて、補正手段により前記複数のフレームの各画像から得られる全天球画像の天頂方向が鉛直方向となるよう前記複数のフレームの各画像に傾斜補正を行うことと、
前記傾斜補正された前記複数のフレームの各画像に基づいて、全天球動画生成手段により全天球動画を生成することと
を実行させる方法。 - コンピュータを撮像システムとして機能させるためのコンピュータ実行可能なプログラムであって、前記プログラムは、前記コンピュータを、
複数のフレームの画像を撮像する撮像手段、
基準方向に対する前記撮像手段の傾きを検出する検出手段、
前記検出手段により検出された複数の傾斜角データを記録する記録手段、
前記記録手段により記録された前記複数の傾斜角データに基づいて、前記複数のフレームの各画像から得られる全天球画像の天頂方向が鉛直方向となるよう前記複数のフレームの各画像に傾斜補正を行う補正手段、
前記傾斜補正された前記複数のフレームの各画像に基づいて全天球動画を生成する全天球動画生成手段
として機能させる、コンピュータ実行可能なプログラム。 - 動画表示装置であって、
撮像した複数のフレームの画像、各画像に対応する画像撮像時の傾斜角データを受け取る情報取得手段と、
前記傾斜角データに基づいて、前記複数のフレームの各画像から得られる全天球画像の天頂方向が鉛直方向となるよう前記複数のフレームの各画像に傾斜補正を行う補正手段と、
前記傾斜補正された前記複数のフレームの各画像に基づいて全天球動画を生成する全天球動画生成手段と、
を含む、動画表示装置。 - コンピュータを動画表示装置として機能させるためのコンピュータ実行可能なプログラムであって、前記コンピュータを、
撮像した複数のフレームの画像、各画像に対応する画像撮像時の傾斜角データを受け取る情報取得手段、
前記傾斜角データに基づいて、前記複数のフレームの各画像から得られる全天球画像の天頂方向が鉛直方向となるよう前記複数のフレームの各画像に傾斜補正を行う補正手段、
前記傾斜補正された前記複数のフレームの各画像に基づいて全天球動画を生成する全天球動画生成手段、
として機能させる、プログラム。 - 全天球動画を生成するための画像処理装置であって、
複数のフレームデータからなる画像データと、複数の光学系により前記画像データの撮像を開始してから終了までの間の基準方向に対する前記光学系の傾き角のデータであり、前記複数のフレームデータと関連付けられた複数の傾斜角データと、を有する全天球動画を生成するためのデータのデータ構造を読み出す読出手段と、
前記複数のフレームデータに関連付けられた前記複数の傾斜角データに基づき前記複数のフレームデータの傾きを補正する補正手段と、
補正された前記複数のフレームデータに基づき全天球動画を生成する動画生成手段と
を含む、画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021127892A JP7226484B2 (ja) | 2014-05-15 | 2021-08-04 | 撮像システム、撮像装置、動画表示装置、画像処理装置、方法およびプログラム。 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014101058 | 2014-05-15 | ||
JP2014101058 | 2014-05-15 | ||
JP2015021878 | 2015-02-06 | ||
JP2015021878 | 2015-02-06 | ||
JP2017249282A JP6740996B2 (ja) | 2014-05-15 | 2017-12-26 | データ生成装置、画像処理装置、方法およびプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017249282A Division JP6740996B2 (ja) | 2014-05-15 | 2017-12-26 | データ生成装置、画像処理装置、方法およびプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021127892A Division JP7226484B2 (ja) | 2014-05-15 | 2021-08-04 | 撮像システム、撮像装置、動画表示装置、画像処理装置、方法およびプログラム。 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020191650A JP2020191650A (ja) | 2020-11-26 |
JP6927382B2 true JP6927382B2 (ja) | 2021-08-25 |
Family
ID=55073302
Family Applications (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015089189A Active JP5843034B1 (ja) | 2014-05-15 | 2015-04-24 | 動画表示装置およびプログラム |
JP2015222650A Active JP6308198B2 (ja) | 2014-05-15 | 2015-11-13 | 撮像装置、画像処理装置、方法およびプログラム |
JP2017249282A Active JP6740996B2 (ja) | 2014-05-15 | 2017-12-26 | データ生成装置、画像処理装置、方法およびプログラム |
JP2017249281A Pending JP2018067963A (ja) | 2014-05-15 | 2017-12-26 | ファイル |
JP2020125020A Active JP6927382B2 (ja) | 2014-05-15 | 2020-07-22 | 撮像システム、方法、プログラム、動画表示装置および画像処理装置。 |
JP2021127892A Active JP7226484B2 (ja) | 2014-05-15 | 2021-08-04 | 撮像システム、撮像装置、動画表示装置、画像処理装置、方法およびプログラム。 |
Family Applications Before (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015089189A Active JP5843034B1 (ja) | 2014-05-15 | 2015-04-24 | 動画表示装置およびプログラム |
JP2015222650A Active JP6308198B2 (ja) | 2014-05-15 | 2015-11-13 | 撮像装置、画像処理装置、方法およびプログラム |
JP2017249282A Active JP6740996B2 (ja) | 2014-05-15 | 2017-12-26 | データ生成装置、画像処理装置、方法およびプログラム |
JP2017249281A Pending JP2018067963A (ja) | 2014-05-15 | 2017-12-26 | ファイル |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021127892A Active JP7226484B2 (ja) | 2014-05-15 | 2021-08-04 | 撮像システム、撮像装置、動画表示装置、画像処理装置、方法およびプログラム。 |
Country Status (1)
Country | Link |
---|---|
JP (6) | JP5843034B1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5846549B1 (ja) | 2015-02-06 | 2016-01-20 | 株式会社リコー | 画像処理システム、画像処理方法、プログラム、撮像システム、画像生成装置、画像生成方法およびプログラム |
JP5920507B1 (ja) | 2015-03-10 | 2016-05-18 | 株式会社リコー | 画像処理システム、画像処理方法およびプログラム |
JP6724659B2 (ja) | 2016-08-30 | 2020-07-15 | 株式会社リコー | 撮影装置、方法およびプログラム |
US10264302B2 (en) * | 2016-09-30 | 2019-04-16 | Ricoh Company, Ltd. | Communication management apparatus, method and computer-readable storage medium for generating image data identification information |
JP7180074B2 (ja) | 2017-01-31 | 2022-11-30 | 株式会社リコー | 撮像装置 |
GB2559788B (en) * | 2017-02-18 | 2019-12-25 | Denholm Tim | 360 degree dual lens camera |
JP6969121B2 (ja) | 2017-03-17 | 2021-11-24 | 株式会社リコー | 撮像システム、画像処理装置および画像処理プログラム |
US11245849B2 (en) | 2017-05-18 | 2022-02-08 | Sony Corporation | Information processing apparatus and information processing method |
WO2018211780A1 (ja) | 2017-05-18 | 2018-11-22 | ソニー株式会社 | 撮像装置 |
CN110622500B (zh) | 2017-05-18 | 2021-08-24 | 索尼公司 | 成像设备和成像方法 |
JP2019012935A (ja) * | 2017-06-30 | 2019-01-24 | アイホン株式会社 | インターホン機器 |
JP7043255B2 (ja) * | 2017-12-28 | 2022-03-29 | キヤノン株式会社 | 電子機器及びその制御方法 |
US11523054B2 (en) * | 2018-04-26 | 2022-12-06 | Tenntwo Co., Ltd. | Wide-angle image providing method |
JP7467958B2 (ja) * | 2019-02-13 | 2024-04-16 | 株式会社リコー | 撮像装置 |
EP4016464A1 (en) | 2020-11-26 | 2022-06-22 | Ricoh Company, Ltd. | Apparatus, system, method, and carrier means |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1169288A (ja) * | 1997-08-11 | 1999-03-09 | Nikon Corp | 画像処理装置 |
JP2005004487A (ja) * | 2003-06-12 | 2005-01-06 | Sony Corp | 捕捉パス上で撮影されたサラウンド画像を処理する装置及び方法 |
JP4355535B2 (ja) * | 2003-08-07 | 2009-11-04 | 株式会社岩根研究所 | 360度画像変換処理装置 |
JP2005063141A (ja) * | 2003-08-12 | 2005-03-10 | D Link Corp | 画像変換システム及び画像変換方法 |
JP2006059202A (ja) * | 2004-08-20 | 2006-03-02 | Iwate Univ | 撮像装置及び画像補正方法 |
JP2006129391A (ja) * | 2004-11-01 | 2006-05-18 | Sony Corp | 撮像装置 |
JP2006211378A (ja) * | 2005-01-28 | 2006-08-10 | Casio Comput Co Ltd | 動画記録再生装置、動画記録装置、動画再生装置及びプログラム |
JP2006311196A (ja) * | 2005-04-28 | 2006-11-09 | Sony Corp | 撮像装置および撮像方法 |
JP4886850B2 (ja) * | 2007-06-28 | 2012-02-29 | パナソニック株式会社 | 画像処理装置、画像処理方法、プログラム |
JP2010004227A (ja) * | 2008-06-19 | 2010-01-07 | Alps Electric Co Ltd | 撮像装置 |
JP2011114496A (ja) * | 2009-11-25 | 2011-06-09 | Olympus Imaging Corp | 撮像装置 |
CN102474573B (zh) * | 2010-06-11 | 2016-03-16 | 松下电器(美国)知识产权公司 | 图像处理装置以及图像处理方法 |
JP5406813B2 (ja) * | 2010-10-05 | 2014-02-05 | 株式会社ソニー・コンピュータエンタテインメント | パノラマ画像表示装置およびパノラマ画像表示方法 |
US8681230B2 (en) * | 2010-11-11 | 2014-03-25 | Panasonic Corporation | Picture processing device, picture processing method, program for picture processing, and imaging device |
JP2013214947A (ja) * | 2012-03-09 | 2013-10-17 | Ricoh Co Ltd | 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム |
JP5971207B2 (ja) * | 2012-09-18 | 2016-08-17 | 株式会社リコー | 画像調整装置、画像調整方法およびプログラム |
-
2015
- 2015-04-24 JP JP2015089189A patent/JP5843034B1/ja active Active
- 2015-11-13 JP JP2015222650A patent/JP6308198B2/ja active Active
-
2017
- 2017-12-26 JP JP2017249282A patent/JP6740996B2/ja active Active
- 2017-12-26 JP JP2017249281A patent/JP2018067963A/ja active Pending
-
2020
- 2020-07-22 JP JP2020125020A patent/JP6927382B2/ja active Active
-
2021
- 2021-08-04 JP JP2021127892A patent/JP7226484B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2021185681A (ja) | 2021-12-09 |
JP6740996B2 (ja) | 2020-08-19 |
JP7226484B2 (ja) | 2023-02-21 |
JP2018067964A (ja) | 2018-04-26 |
JP2016149734A (ja) | 2016-08-18 |
JP6308198B2 (ja) | 2018-04-11 |
JP2020191650A (ja) | 2020-11-26 |
JP2016149752A (ja) | 2016-08-18 |
JP5843034B1 (ja) | 2016-01-13 |
JP2018067963A (ja) | 2018-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6927382B2 (ja) | 撮像システム、方法、プログラム、動画表示装置および画像処理装置。 | |
JP5843033B1 (ja) | 撮像システム、撮像装置、プログラムおよびシステム | |
JP5920507B1 (ja) | 画像処理システム、画像処理方法およびプログラム | |
JP7031280B2 (ja) | 画像処理装置、画像処理システムおよびプログラム | |
JP6724659B2 (ja) | 撮影装置、方法およびプログラム | |
JP2021005831A (ja) | 撮像システム、画像処理装置、撮像装置およびプログラム | |
JP6256513B2 (ja) | 撮像システム、撮像装置、方法およびプログラム | |
US11128814B2 (en) | Image processing apparatus, image capturing apparatus, video reproducing system, method and program | |
JP7487464B2 (ja) | 画像処理装置、撮像装置、動画再生システム、方法およびプログラム | |
JP7206797B2 (ja) | 撮像装置、情報処理装置、補正値計算方法およびプログラム | |
US11122202B2 (en) | Imaging device, image processing system, and image processing method | |
US20200412928A1 (en) | Imaging device, imaging system, and imaging method | |
JP2020078065A (ja) | 撮像装置、情報処理装置、補正量設定方法およびプログラム | |
JP2018011172A (ja) | 撮像装置、撮像システムおよびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200811 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200811 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210528 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210706 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210719 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6927382 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |