JP6966934B2 - 画像生成装置及び撮像装置 - Google Patents
画像生成装置及び撮像装置 Download PDFInfo
- Publication number
- JP6966934B2 JP6966934B2 JP2017244714A JP2017244714A JP6966934B2 JP 6966934 B2 JP6966934 B2 JP 6966934B2 JP 2017244714 A JP2017244714 A JP 2017244714A JP 2017244714 A JP2017244714 A JP 2017244714A JP 6966934 B2 JP6966934 B2 JP 6966934B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- light
- photodiode
- filter array
- random
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 claims description 128
- 238000000034 method Methods 0.000 claims description 48
- 230000005540 biological transmission Effects 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 description 46
- 238000002834 transmittance Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 21
- 239000011159 matrix material Substances 0.000 description 18
- 238000012545 processing Methods 0.000 description 18
- 238000005070 sampling Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 230000008901 benefit Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000000295 complement effect Effects 0.000 description 6
- 239000000463 material Substances 0.000 description 5
- 238000004590 computer program Methods 0.000 description 3
- 230000004907 flux Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14643—Photodiode arrays; MOS imagers
- H01L27/14645—Colour imagers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/65—Circuits for processing colour signals for synchronous modulators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/67—Circuits for processing colour signals for matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
Description
特許文献1及び2に記載の技術では、1つの画素において、R(赤色)、G(緑色)及びB(青色)のいずれかの情報しか取得されない。このため、取得される情報は必ずしも十分ではなく、解像度の高い適切な画像が生成されない可能性がある。
図1は、本実施の形態に係る撮像システム10の構成を示す。撮像システム10は、撮像装置11と画像生成装置12とを備える。
まず、図2を参照しながら撮像装置11を説明する。
結像光学系201は、少なくとも、1枚又は複数枚のレンズと、レンズ位置調整機構とを有する(いずれも図示せず)。1枚又は複数枚のレンズは被写体からの光を集めて、光信号を結像する。光信号は被写体の像を示す。レンズ位置調整機構は、例えば、レンズによる結像位置を調整するためのアクチュエータ及びアクチュエータの駆動量を制御する制御回路(コントローラ)である。なお、1枚又は複数枚のレンズの焦点が固定されている場合には、レンズ位置調整機構は不要である。また、ピンホールカメラのように、レンズを利用せずに光信号を結像させてもよい。
図3は、ランダムカラーフィルタアレイ202及び撮像素子203の構成の詳細の一例を示す。
ランダムカラーフィルタアレイ202は、複数種類のカラーフィルタ202a〜202cと光線発散部204を含む。ランダムカラーフィルタアレイ202は、例えば、カラーフィルタ202a〜202cのそれぞれを複数個、略平面上の互いに異なる位置に配置してなるカラーフィルタの集合体と複数の光線発散部204とを備える。ランダムカラーフィルタアレイ202は、フォトダイオード203aの受光面の前に配置される、つまり、ランダムカラーフィルタアレイ202は、結像光学系201から出力された光が撮像素子203に入射するまでにたどる光路上、例えば、結像光学系201の出光面とフォトダイオード203aの受光面の間、に配置される。ランダムカラーフィルタアレイ202において複数種類のカラーフィルタ202a〜202cは、結像光学系201から出力された光がフォトダイオード203aの受光面に入射するまでにたどる光路上に配置される。光線発散部204は、結像光学系201とフォトダイオード203aとの間に配置される。光線発散部204は、結像光学系201と複数種類のカラーフィルタ202a〜202cの前、すなわち、光線発散部204は、結像光学系201と複数種類のカラーフィルタ202a〜202cの間に配置されてもよい。光線発散部204は、カラーフィルタ202a〜202cの後であって撮像素子203の前、すなわち、光線発散部204は、カラーフィルタ202a〜202cと撮像素子203の間に配置されてもよい。ここでは、光線発散部204は、複数種類のカラーフィルタ202a〜202cの前、すなわち、光線発散部204は、結像光学系201と複数種類のカラーフィルタ202a〜202cの間に配置される例を主に用いて説明する。
送信回路103は、撮像素子203が撮像した変調画像と、ランダムカラーフィルタアレイ202に対応して設定された変調情報とを、画像生成装置12に送信する。変調情報は、位置毎の波長特性としての光透過率と点拡がり関数とを示す。送信は、有線通信及び無線通信のいずれで行われてもよい。
再び図1を参照し、画像生成装置12の受信回路104、カラー画像生成回路105及び出力インタフェース装置106をそれぞれ説明する。
受信回路104は、撮像装置11から出力された変調画像と変調情報とを受け取る。受信回路104と送信回路103との間の通信は、有線通信でも無線通信でもよい。なお、送信回路103が変調画像及び変調情報を有線通信で送信したとしても、有線通信を無線通信に変換する機器を経由することにより、受信回路104がこれらの情報を無線で受信してもよい。その逆も同様である。
カラー画像生成回路105は、受信回路104が受信した変調画像及び変調情報を利用してカラー画像を生成する。カラー画像を生成する処理(カラー画像生成処理と称する)の詳細については後述する。カラー画像生成回路105は、生成されたカラー画像を出力インタフェース装置106に送る。
出力インタフェース装置106は、映像出力端子等である。出力インタフェース装置106は、カラー画像を、デジタル信号として又はアナログ信号として画像生成装置12の外部に出力する。
次に、図4〜図7を参照しながら、ランダムカラーフィルタアレイ202をより詳細に説明する。
次に、図14に即して画像生成装置12(図1参照)における処理について説明する。
以下、ステップS102でのカラー画像生成回路105によるカラー画像生成処理について、より詳しく説明する。
ための拘束項。
図17は、本実施の形態に係る撮像システム10の構成を示す。本実施の形態に係る撮像システム10の構成要素のうち、実施の形態1で示した撮像システム10と同じ構成要素については、図17において図1と同一の符号を付しており、ここでは説明を適宜省略する。本実施の形態に係る撮像システム10は、画像生成装置12において、実施の形態1で示したカラー画像生成回路105の代わりに、マルチバンド画像生成回路107を備える。この撮像システム10は、3原色のRGBカラー画像に限られないマルチバンド画像を生成し得る。マルチバンド画像は、光の波長帯域を4以上の領域に分割した信号で表現する画像である。その波長帯域は可視光に限られず、近赤外、赤外、紫外等の波長帯域であってもよく、マルチバンド画像は、例えば近赤外光画像、赤外光画像、紫外光画像等であり得る。
以下、ステップS104でのマルチバンド画像生成処理について、より詳しく説明する。
以上のように、本開示に係る技術の例示として実施の形態1、2を説明した。しかしながら、本開示に係る技術は、これらの実施の形態に限定されず、適宜、変更、置き換え、付加、省略等を行った実施の形態にも適用可能である。即ち、本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記実施の形態に施した形態、互いに異なる実施の形態における構成要素を組み合わせて構築される形態等は、本開示に係る技術の一実施態様に含まれる。例えば、以下のような変形例も本開示に係る技術の一実施態様に含まれる。
11 撮像装置
12 画像生成装置
101 波長変調部
102 変調画像取得部
103 送信回路
104 受信回路
105 カラー画像生成回路
106 出力I/F(インタフェース)装置
107 マルチバンド画像生成回路
201 結像光学系
202 ランダムカラーフィルタアレイ
202a、202b、202c、202d カラーフィルタ
203 撮像素子
203a フォトダイオード
203b AD変換部
204、204a〜204c 光線発散部
206 従来のカラーフィルタアレイ
Claims (7)
- 透過特性が異なる複数の光学フィルタと光を収束させずに発散させる複数の凹レンズとを有するランダム光学フィルタアレイと、
前記ランダム光学フィルタアレイを透過した光を受光するフォトダイオードと、
前記フォトダイオードで受光した光をデジタルデータに変換するAD変換部と、
前記デジタルデータと、前記ランダム光学フィルタアレイの変調情報とを用いて、画像を生成する生成回路とを備え、
前記複数の凹レンズは、前記複数種類の光学フィルタと前記フォトダイオードとの間に位置する、又は、前記複数の光学フィルタは前記複数の凹レンズと前記フォトダイオードとの間に位置する
画像生成装置。 - 前記複数の凹レンズの各々は、互いに、大きさ、屈折率、及び、レンズの凹面を規定する曲率のうちの1つ以上が異なる
請求項1に記載の画像生成装置。 - 前記画像生成装置は、凸レンズを備え、
前記複数の光学フィルタが前記複数の凹レンズと前記フォトダイオードとの間に位置する場合は、前記複数の凹レンズは前記凸レンズと前記複数の光学フィルタの間に位置し、 前記複数の凹レンズは、前記凸レンズを透過した光を、前記複数の光学フィルタを透過するように発散させる
請求項1又は2記載の画像生成装置。 - 前記複数の光学フィルタは、複数のカラーフィルタであり、
前記ランダム光学フィルタアレイは、前記複数のカラーフィルタをランダムに配置し、
前記生成回路が生成する前記画像は、カラー画像である
請求項1〜3のいずれか一項に記載の画像生成装置。 - 前記生成回路が生成する前記画像は、光の波長帯域を4以上の領域に分割した信号で表現する画像である
請求項1〜3のいずれか一項に記載の画像生成装置。 - 前記生成回路は、圧縮センシング技術を用いて前記画像を生成する
請求項1〜5のいずれか一項に記載の画像生成装置。 - 透過特性が異なる複数の光学フィルタと光を収束させずに発散させる複数の凹レンズとを有するランダム光学フィルタアレイと、
前記ランダム光学フィルタアレイを透過した光を受光するフォトダイオードと、
前記フォトダイオードで受光した光をデジタルデータに変換するAD変換部とを備え、
前記複数の凹レンズは、前記複数の光学フィルタと前記フォトダイオードとの間に位置する、又は、前記複数の光学フィルタは前記複数の凹レンズと前記フォトダイオードとの間に位置する
撮像装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017066108 | 2017-03-29 | ||
JP2017066108 | 2017-03-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018170757A JP2018170757A (ja) | 2018-11-01 |
JP6966934B2 true JP6966934B2 (ja) | 2021-11-17 |
Family
ID=63669901
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017244714A Active JP6966934B2 (ja) | 2017-03-29 | 2017-12-21 | 画像生成装置及び撮像装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10446600B2 (ja) |
JP (1) | JP6966934B2 (ja) |
CN (1) | CN108696728B (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190172385A1 (en) * | 2017-12-01 | 2019-06-06 | Innolux Corporation | Display device and detecting method for signal from subject using the same |
JPWO2022162801A1 (ja) * | 2021-01-27 | 2022-08-04 | ||
WO2022162800A1 (ja) * | 2021-01-27 | 2022-08-04 | 日本電信電話株式会社 | 撮像装置及び光学素子 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5151790A (en) | 1990-07-23 | 1992-09-29 | Fuji Photo Film Co., Ltd. | Image pickup device for stabilizing optical aberrations |
US5629734A (en) | 1995-03-17 | 1997-05-13 | Eastman Kodak Company | Adaptive color plan interpolation in single sensor color electronic camera |
US6737719B1 (en) * | 2002-10-25 | 2004-05-18 | Omnivision International Holding Ltd | Image sensor having combination color filter and concave-shaped micro-lenses |
JP2008270423A (ja) | 2007-04-18 | 2008-11-06 | Rosnes:Kk | 固体撮像装置 |
JP5010533B2 (ja) * | 2008-05-21 | 2012-08-29 | 株式会社リコー | 撮像装置 |
CN102812709B (zh) * | 2009-11-20 | 2015-11-25 | M·辛格 | 压缩彩色图像采样和重建的方法和系统 |
US8400555B1 (en) * | 2009-12-01 | 2013-03-19 | Adobe Systems Incorporated | Focused plenoptic camera employing microlenses with different focal lengths |
JP5237978B2 (ja) * | 2010-02-12 | 2013-07-17 | パナソニック株式会社 | 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法 |
CN102068277B (zh) * | 2010-12-14 | 2013-03-13 | 哈尔滨工业大学 | 基于压缩感知的单阵元多角度观测光声成像装置及方法 |
JP6361965B2 (ja) | 2013-10-24 | 2018-07-25 | パナソニックIpマネジメント株式会社 | 撮像システム、撮像装置、符号化装置、および撮像方法 |
JP6653460B2 (ja) | 2015-09-08 | 2020-02-26 | パナソニックIpマネジメント株式会社 | 撮像装置、撮像システム、画像生成装置およびカラーフィルタ |
-
2017
- 2017-12-21 JP JP2017244714A patent/JP6966934B2/ja active Active
-
2018
- 2018-03-08 US US15/915,111 patent/US10446600B2/en active Active
- 2018-03-22 CN CN201810237992.8A patent/CN108696728B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
US20180286906A1 (en) | 2018-10-04 |
US10446600B2 (en) | 2019-10-15 |
CN108696728A (zh) | 2018-10-23 |
JP2018170757A (ja) | 2018-11-01 |
CN108696728B (zh) | 2021-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6975897B2 (ja) | 画像生成装置及び撮像装置 | |
JP5976676B2 (ja) | レンズ部の縦の色収差を利用したイメージングシステム及びその操作方法 | |
US8988590B2 (en) | Two-dimensional imager with solid-state auto-focus | |
US9681057B2 (en) | Exposure timing manipulation in a multi-lens camera | |
CN106575035B (zh) | 用于光场成像的系统和方法 | |
US9210387B2 (en) | Color imaging element and imaging device | |
US9159758B2 (en) | Color imaging element and imaging device | |
KR101808355B1 (ko) | 촬상 장치 | |
JP2013546249A5 (ja) | ||
JP6966934B2 (ja) | 画像生成装置及び撮像装置 | |
US9324749B2 (en) | Color imaging element and imaging device | |
JP2004228662A (ja) | 撮像装置 | |
KR102605761B1 (ko) | 단일 매트릭스 센서에 의해 가시 및 근적외 이미지들을 획득하는 시스템 및 방법 | |
US10209440B2 (en) | Imaging sensor with Bragg filter and method of manufacturing the same | |
US9219894B2 (en) | Color imaging element and imaging device | |
JPWO2012176355A1 (ja) | 撮像装置 | |
WO2013100034A1 (ja) | カラー撮像素子 | |
JP2018107731A (ja) | 画像生成装置及び撮像装置 | |
JP2015185943A (ja) | フィルタアレイ付マイクロレンズおよび固体撮像装置 | |
US8675093B2 (en) | Image capturing apparatus and image processing method | |
EP2800373A1 (en) | Color imaging element | |
US9124828B1 (en) | Apparatus and methods using a fly's eye lens system for the production of high dynamic range images | |
US8736722B2 (en) | Enhanced image capture sharpening | |
US20230402485A1 (en) | Imaging system using spatially separated spectral arrays | |
JP6655790B2 (ja) | 撮像装置及び撮像システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200626 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210304 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210323 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210520 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211005 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211022 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6966934 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |