JP5836821B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP5836821B2 JP5836821B2 JP2012016413A JP2012016413A JP5836821B2 JP 5836821 B2 JP5836821 B2 JP 5836821B2 JP 2012016413 A JP2012016413 A JP 2012016413A JP 2012016413 A JP2012016413 A JP 2012016413A JP 5836821 B2 JP5836821 B2 JP 5836821B2
- Authority
- JP
- Japan
- Prior art keywords
- microlens
- microlenses
- distance information
- type
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 88
- 230000003287 optical effect Effects 0.000 claims description 10
- 238000005259 measurement Methods 0.000 description 32
- 238000000034 method Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- RKTYLMNFRDHKIL-UHFFFAOYSA-N copper;5,10,15,20-tetraphenylporphyrin-22,24-diide Chemical compound [Cu+2].C1=CC(C(=C2C=CC([N-]2)=C(C=2C=CC=CC=2)C=2C=CC(N=2)=C(C=2C=CC=CC=2)C2=CC=C3[N-]2)C=2C=CC=CC=2)=NC1=C3C1=CC=CC=C1 RKTYLMNFRDHKIL-UHFFFAOYSA-N 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/0006—Arrays
- G02B3/0037—Arrays characterized by the distribution or form of lenses
- G02B3/005—Arrays characterized by the distribution or form of lenses arranged along a single direction only, e.g. lenticular sheets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/0006—Arrays
- G02B3/0037—Arrays characterized by the distribution or form of lenses
- G02B3/0043—Inhomogeneous or irregular arrays, e.g. varying shape, size, height
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/0006—Arrays
- G02B3/0037—Arrays characterized by the distribution or form of lenses
- G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/307—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Measurement Of Optical Distance (AREA)
- Studio Devices (AREA)
- Cameras In General (AREA)
- Automatic Focus Adjustment (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
この撮像装置は、被写体からの光を集光する撮像レンズと、該撮像レンズにより集光された光を撮影する撮像素子との間の、撮像レンズによって形成される実像と撮像素子との間に配される位置に配置されたマイクロレンズアレイを備えている。
本発明の一態様は、被写体からの光を集光する撮像レンズと、該撮像レンズにより集光された光を撮影して画像信号を検出する撮像素子と、焦点距離が等しく有効径が異なる2種以上のマイクロレンズを光軸に交差する方向にアレイ状に配列してなり、前記撮像素子と前記撮像レンズの焦点面との間に、該焦点面を通った光が前記各マイクロレンズによって個別に前記撮像素子の撮像面に結像するように光軸方向に間隔をあけて配置されたマイクロレンズアレイと、前記撮像素子により検出された、同一種類の複数の前記マイクロレンズにそれぞれ割り当てられた複数の画素からの画像信号を用いてステレオマッチングを行って、前記マイクロレンズの種類別に複数種類の距離情報を算出する種類別距離情報算出部と、該種類別距離情報算出部により算出された一の種類の距離情報を用いて、他の種類の距離情報を補間する補間部と、を備える撮像装置を提供する。
また、撮像素子により検出された同一種類の複数の前記マイクロレンズにそれぞれ割り当てられた複数の画素からの画像信号を用いてステレオマッチングを行って、前記マイクロレンズの種類別に複数種類の距離情報を算出する種類別距離情報算出部と、該種類別距離情報算出部により算出された一の種類の距離情報を用いて、他の種類の距離情報を補間する補間部とを備えることで、異なる有効径を有する複数種のマイクロレンズを介して撮像素子により検出された複数種の画像信号を用いて、距離情報算出部により複数種の距離情報が算出され、これにより、広い測定範囲にわたる距離計測および分解能の高い距離計測を両立することができる。特に、撮像素子により画像信号が検出されると、種類別距離情報算出部が、同一種類の複数のマイクロレンズに割り当てられた複数の画素からの画像信号を用いてステレオマッチングを行うことにより、マイクロレンズの種類別に複数種類の距離情報を算出する。そして、補間部が、位置の種類の距離情報を用いて、他の種類の距離情報を補間することにより、広い測定範囲にわたる距離計測および分解能の高い距離計測を両立することができる。
このようにすることで、一方の種類のマイクロレンズの位置における距離情報を、それを挟む他方の種類のマイクロレンズの位置における距離情報によって、精度よく補間することができる。
このようにすることで、一方の種類のマイクロレンズの位置における距離情報を、それを挟む他方の種類のマイクロレンズの位置における距離情報によって、さらに精度よく補間することができる。
このようにすることで、マイクロレンズ自体の大きさではなく、絞りの開度によって有効径を決定することができる。
このようにすることで、隣接するマイクロレンズを通過した光が遮光部材によって遮蔽され、撮像素子上において混じり合うクロストークの発生を未然に防止することができる。
本実施形態に係る撮像装置1は、図1に示されるように、被写体Aを撮影する撮像部2と、該撮像部2により取得された画像信号を処理する画像処理部3と、撮像部2を制御する撮像制御部4と、画像処理部3および撮像制御部4を制御する制御部5と、該制御部5に対して外部信号を入力するI/F部6とを備えている。
撮像素子10は、例えば、RGB原色系の単板CCDである。
具体的には、図4に示される例では、直径が大きい方のマイクロレンズ9aの1つであるマイクロレンズA2に対応する撮像素子10の画素領域で撮影された画像と、直径が大きい方の他のマイクロレンズ9aであるマイクロレンズA3に対応する撮像素子10の画素領域で撮影された画像とを用いてステレオマッチング処理を行い、例えば、2つの画素領域間で対応する画素のx方向の座標値を求める。
距離算出部19は、マイクロレンズアレイ9と実像Bとの距離z、および撮像レンズ7の結像倍率Mを用いて、撮像レンズ7と被写体Aとの距離Zを、下式(1)により求めるようになっている。
ここで、fはマイクロレンズ9a,9bの焦点距離、x2,x3は2つの画素領域間で対応する画素のx方向の座標値である。
図5においてはマイクロレンズ9a,9bの結像倍率がd/4d=1/4である。小さい方のマイクロレンズ9bの直径をΦ、大きい方のマイクロレンズ9aの直径を2Φとすると、領域R1における基線長は6Φ、領域R2,R3における基線長は3Φである。
領域R1,R2,R3の各々における距離の分解能ΔzR1,ΔzR2,ΔzR3は下式(2)により算出される。
ΔzR2=ΔzR3=εμ・Z/3Φ ・・・(2)
ここで、εμは、ステレオマッチング処理における対応点の誤差を示す。
また、図5に示されるように、領域R1,R3は直径2Φのマイクロレンズ9aが視差画像を形成し、領域R2は直径Φのマイクロレンズ9bが視差画像を形成している。このため、距離の測定範囲ΔRR1,ΔRR2,ΔRR3は、下式(3)の通りとなる。
式(3)から領域R2における距離の測定範囲ΔRR2が最も長いことがわかる。
+(Z2・δ・F・S)/(f2・2Φ−Z・δ・F・S)
ΔRR2=(Z2・δ・F・S)/(f2・Φ+Z・δ・F・S)
+(Z2・δ・F・S)/(f2・Φ−Z・δ・F・S) ・・・(3)
式(4)では、領域R34の距離情報ZR34を補間する場合について説明したが、補間部21は、他の領域R3nについても同様な処理を行い、距離情報ZR3nを補間するようになっている。
ZR34=(ZR22+ZR24+ZR25+ZR28)/4 ・・・(5)
ここで、ZR15,ZR25,ZR22,ZR24,ZR25,ZR28は領域R15,R25,R22,R24,R25,R28の距離情報である。
式(5)では、領域R15,R34の距離情報ZR15,ZR34を補間する場合について説明したが、補間部21は、他の領域R1n,R3nについても同様な処理を行い、距離情報ZR1n,ZR3nを補間するようになっている。
本実施形態に係る撮像装置1を用いて、被写体Aと撮像レンズ7との間の距離Zを計測するには、I/F部6を介してISO感度、露出などの撮影条件を設定した後、図示しないシャッタボタンを半押しにすることにより、プリ撮影モードに入る。被写体Aからの光は撮像レンズ7を介して撮像部2内に入り、実像Bを結像した後にマイクロレンズアレイ9によって集光され撮像素子10により撮影される。撮像素子10により取得された画像信号は、A/D変換器13によってディジタル信号に変換された後、バッファ14に転送され格納される。
同種のマイクロレンズ9a,9bに対応する画素領域についてそれぞれ算出された距離情報Zは、バッファ20に転送され、その後、補間部21に転送されて、補間される。
また、マイクロレンズ9a,9b異ならせるために、直径の異なる2種類のマイクロレンズ9a,9bをアレイ状に配列することとしたが、これに代えて、各マイクロレンズ9a,9bに該マイクロレンズの有効径を決定する絞りを設け、該絞りの開度を異ならせることにより、各マイクロレンズ9a,9bの有効径を異ならせることにしてもよい。
また、信号処理部15において、公知のデモザイキング処理およびホワイトバランス処理が行われた各画素RGBの三板状態の画像信号を生成することにしたが、これに代えて、さらに、式(6)を用いてYCbCr信号に変換してもよい。
1 撮像装置
7 撮像レンズ
9 マイクロレンズアレイ
9a,9b マイクロレンズ
10 撮像素子
16 距離情報算出部
19 距離算出部(種類別距離情報算出部)
21 補間部
22 遮光部材
Claims (6)
- 被写体からの光を集光する撮像レンズと、
該撮像レンズにより集光された光を撮影して画像信号を検出する撮像素子と、
焦点距離が等しく有効径が異なる2種以上のマイクロレンズを光軸に交差する方向にアレイ状に配列してなり、前記撮像素子と前記撮像レンズの焦点面との間に、該焦点面を通った光が前記各マイクロレンズによって個別に前記撮像素子の撮像面に結像するように光軸方向に間隔をあけて配置されたマイクロレンズアレイと、
前記撮像素子により検出された、同一種類の複数の前記マイクロレンズにそれぞれ割り当てられた複数の画素からの画像信号を用いてステレオマッチングを行って、前記マイクロレンズの種類別に複数種類の距離情報を算出する種類別距離情報算出部と、
該種類別距離情報算出部により算出された一の種類の距離情報を用いて、他の種類の距離情報を補間する補間部と、を備える撮像装置。 - 前記マイクロレンズアレイが、一方の種類の前記マイクロレンズを他方の種類の前記マイクロレンズで挟むように2種類の前記マイクロレンズを配列してなる請求項1に記載の撮像装置。
- 前記マイクロレンズアレイが、一方の種類の前記マイクロレンズを他方の種類の前記マイクロレンズで異なる2方向から挟むように2種類の前記マイクロレンズを配列してなる請求項2に記載の撮像装置。
- 各前記マイクロレンズに、該マイクロレンズの有効径を決定する絞りが設けられている請求項1から請求項3のいずれかに記載の撮像装置。
- 前記補間部が、有効径の大きい方のマイクロレンズに割り当てられた画素からの画像信号を用いて算出された距離情報を用いて、有効径の小さい方のマイクロレンズに割り当てられた画素からの画像信号を用いて算出された距離情報を補間する請求項1から請求項4のいずれかに記載の撮像装置。
- いずれかの前記マイクロレンズを通過した光が、隣接する前記マイクロレンズに対応する画素に入射しないように遮蔽する遮光部材を備える請求項1から請求項5のいずれかに記載の撮像装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012016413A JP5836821B2 (ja) | 2012-01-30 | 2012-01-30 | 撮像装置 |
PCT/JP2013/051139 WO2013114999A1 (ja) | 2012-01-30 | 2013-01-22 | 撮像装置 |
US14/335,370 US9658367B2 (en) | 2012-01-30 | 2014-07-18 | Image acquisition apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012016413A JP5836821B2 (ja) | 2012-01-30 | 2012-01-30 | 撮像装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015215671A Division JP6028082B2 (ja) | 2015-11-02 | 2015-11-02 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013157780A JP2013157780A (ja) | 2013-08-15 |
JP5836821B2 true JP5836821B2 (ja) | 2015-12-24 |
Family
ID=48905041
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012016413A Expired - Fee Related JP5836821B2 (ja) | 2012-01-30 | 2012-01-30 | 撮像装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9658367B2 (ja) |
JP (1) | JP5836821B2 (ja) |
WO (1) | WO2013114999A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6119193B2 (ja) * | 2012-02-24 | 2017-04-26 | 株式会社リコー | 距離測定装置及び距離測定方法 |
JP5627622B2 (ja) * | 2012-03-15 | 2014-11-19 | 株式会社東芝 | 固体撮像装置および携帯情報端末 |
US9383548B2 (en) * | 2014-06-11 | 2016-07-05 | Olympus Corporation | Image sensor for depth estimation |
EP3171587A4 (en) * | 2014-07-16 | 2018-03-14 | Sony Corporation | Compound-eye imaging device |
FR3040798B1 (fr) * | 2015-09-08 | 2018-02-09 | Safran | Camera plenoptique |
CN105911713B (zh) * | 2016-06-30 | 2018-07-03 | 成都工业学院 | 一种基于渐变节距微透镜阵列的集成成像3d显示装置 |
US10924667B2 (en) * | 2018-10-04 | 2021-02-16 | Samsung Electronics Co., Ltd. | Image sensor and image sensing method |
JP7378920B2 (ja) * | 2018-10-16 | 2023-11-14 | キヤノン株式会社 | 光学装置及びそれを備える撮像システム |
CN112600994B (zh) * | 2020-12-02 | 2023-04-07 | 达闼机器人股份有限公司 | 物体探测装置、方法、存储介质和电子设备 |
CN112839149B (zh) * | 2020-12-31 | 2022-05-06 | 光沦科技(深圳)有限公司 | 异构微光学成像模块及其图像重建方法和装置 |
CN118363097A (zh) * | 2022-11-26 | 2024-07-19 | 荣耀终端有限公司 | 一种光学透镜、光体积描记器和电子设备 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09186917A (ja) | 1995-12-29 | 1997-07-15 | Kokusai Electric Co Ltd | 撮像装置 |
JP2003250080A (ja) * | 2002-02-22 | 2003-09-05 | Canon Inc | 撮影装置および撮影システム |
JP4348118B2 (ja) | 2003-06-04 | 2009-10-21 | 富士フイルム株式会社 | 固体撮像素子及び撮影装置 |
EP2398223B1 (en) | 2004-10-01 | 2014-03-19 | The Board Of Trustees Of The Leland Stanford Junior University | Imaging arrangement and method therefor |
JP4967296B2 (ja) * | 2005-10-03 | 2012-07-04 | 株式会社ニコン | 撮像素子、焦点検出装置、および、撮像システム |
US7962033B2 (en) | 2008-01-23 | 2011-06-14 | Adobe Systems Incorporated | Methods and apparatus for full-resolution light-field capture and rendering |
JP5301414B2 (ja) * | 2009-10-28 | 2013-09-25 | 京セラ株式会社 | 撮像装置 |
CN102483510B (zh) * | 2009-11-20 | 2015-04-15 | 富士胶片株式会社 | 固态成像装置 |
-
2012
- 2012-01-30 JP JP2012016413A patent/JP5836821B2/ja not_active Expired - Fee Related
-
2013
- 2013-01-22 WO PCT/JP2013/051139 patent/WO2013114999A1/ja active Application Filing
-
2014
- 2014-07-18 US US14/335,370 patent/US9658367B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20140327763A1 (en) | 2014-11-06 |
US9658367B2 (en) | 2017-05-23 |
JP2013157780A (ja) | 2013-08-15 |
WO2013114999A1 (ja) | 2013-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5836821B2 (ja) | 撮像装置 | |
EP2160018B1 (en) | Image pickup apparatus | |
JP5929553B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP5810173B2 (ja) | 撮像装置および電子情報機器 | |
US9313469B2 (en) | Image capturing apparatus and method of controlling the same | |
KR101824265B1 (ko) | 입체 촬상 방법 및 화소 행렬을 서브그룹으로 나눈 시스템 | |
JP5629832B2 (ja) | 撮像装置及び位相差画素の感度比算出方法 | |
JP5361535B2 (ja) | 撮像装置 | |
JP5619294B2 (ja) | 撮像装置及び合焦用パラメータ値算出方法 | |
JPWO2008032820A1 (ja) | 撮像素子および撮像装置 | |
KR20130038388A (ko) | 이미지를 기록하기 위한 이미지 기록 장치 및 방법 | |
JP7264192B2 (ja) | 撮像素子、および撮像装置 | |
US9756304B2 (en) | Image-acquisition apparatus for performing distance measurement using parallax | |
WO2013069445A1 (ja) | 立体撮像装置及び画像処理方法 | |
JP6028082B2 (ja) | 撮像装置 | |
JP2006165601A (ja) | 撮像装置及び撮像素子 | |
JP5874334B2 (ja) | 画像処理装置、撮像装置、画像処理プログラムおよび撮像装置の制御プログラム | |
JP5820831B2 (ja) | 撮像装置 | |
JP6257201B2 (ja) | 焦点検出装置、その制御方法、および制御プログラム、並びに撮像装置 | |
JP6727856B2 (ja) | 撮像装置およびその制御方法 | |
JP5929021B2 (ja) | 焦点検出装置、撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141216 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20150219 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20150519 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150526 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150727 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151006 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151104 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5836821 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |