JP5820794B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP5820794B2 JP5820794B2 JP2012223212A JP2012223212A JP5820794B2 JP 5820794 B2 JP5820794 B2 JP 5820794B2 JP 2012223212 A JP2012223212 A JP 2012223212A JP 2012223212 A JP2012223212 A JP 2012223212A JP 5820794 B2 JP5820794 B2 JP 5820794B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- microlens
- polarization
- distance
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 121
- 230000010287 polarization Effects 0.000 claims description 68
- 238000000034 method Methods 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 28
- 230000003287 optical effect Effects 0.000 claims description 12
- 238000002834 transmittance Methods 0.000 claims description 5
- 230000007423 decrease Effects 0.000 claims 3
- 238000005259 measurement Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 7
- 238000012935 Averaging Methods 0.000 description 4
- 101100354331 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) rrd-1 gene Proteins 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Polarising Elements (AREA)
- Automatic Focus Adjustment (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
この方法は、1回の撮像で複数種の偏光情報を有する視差画像を取得して偏光解析を行うこととしている。
本発明の一態様は、被写体からの光を集光する撮像レンズと、該撮像レンズにより集光された光を撮像する撮像素子と、該撮像素子と前記撮像レンズとの間に配置され、偏光状態の異なる複数種のマイクロレンズをその光軸に交差する方向にアレイ状に配列してなり、前記撮像レンズから入射された光を集光して前記撮像素子の撮像面にそれぞれ結像させるマイクロレンズアレイと、前記撮像素子により取得された情報を用いて前記被写体までの距離を算出する距離算出手段とを備え、前記撮像素子が、前記マイクロレンズアレイにより結像された光を撮像することにより複数の偏光状態を有する画像信号を取得し、前記距離算出手段が、前記画像信号の輝度情報に対して画素毎にエッジ量を算出し、該エッジ量が多いほど重み付け係数を大きくし、エッジ量が少ないほど重み付係数を小さくして、一のマイクロレンズに対応する画素領域に含まれる画素と他のマイクロレンズに対応する画素領域に含まれる画素とのマッチング処理を行い、前記マッチング処理により算出された視差を用いて、前記被写体までの距離を算出する撮像装置を提供する。
このようにすることで、各マイクロレンズに対応して取得される画像毎に、複数の色情報を備えた画像が取得でき、被写体までの距離の算出と同時に、カラー画像も取得することができる。
このようにすることで、撮像レンズによって集光された被写体からの光が各マイクロレンズを通過する際に異なる色情報を付与される。したがって、各マイクロレンズに対応して取得される画像毎に、異なる色情報を備えた画像が取得でき、被写体までの距離の算出と同時に、カラー画像も取得することができる。
上記態様においては、前記距離算出手段が、前記一のマイクロレンズの近傍のマイクロレンズに対応する画素領域に対してマッチング処理を行ってもよい。
上記態様においては、前記距離算出手段が、前記一のマイクロレンズと隣り合うマイクロレンズに対応する画素領域に対してマッチング処理を行ってもよい。
本実施形態に係る撮像装置1は、図1に示されるように、被写体Aを撮像する撮像部2と、該撮像部2により取得された画像信号を処理する画像処理部3と、撮像部2を制御する撮像制御部4と、画像処理部3および撮像制御部4を制御する制御部5と、該制御部5に対して外部信号を入力するI/F部6とを備えている。
まず、偏光状態に対しては、Rの領域において、Rru1,Rru2,Rru3,Rru4の偏光状態が同じ4つの画素を用いて、公知のバイリニアもしくはバイキュービックの補間処理を行い、他の偏光状態の画素を補間する。また、Rv1,Rv2およびRh1,Rh2についても同様に2つの画素を用いて補間処理を行う。Rrd1に関しては、この画素の情報を他の偏光状態の画素に割り当てる。
G,Bの領域についても同様の処理を行い、1つの画素に対して4つの偏光状態が存在する信号を生成する。
gB1=(g1+g3+g4+g5)/4 (1)
他の信号に対しても同様の処理を行う。
距離情報算出部16においては、信号処理部15において生成された12板の画像信号を用いて距離情報の算出が行われる。
本実施形態においては、ある偏光状態の画像信号の輝度情報に対して画素毎にエッジ量を算出し、そのエッジ量に基づいて重み付け係数を算出する。
ここで、fはマイクロレンズ9aの焦点距離、Φはマイクロレンズ9aの有効径、x,uは2つの画素領域間で対応する画素のx方向の座標値である。
一方、再構成部17では信号処理部15で処理された画像信号から1枚の画像信号が作成され、出力部18に出力される。
図4を用いて説明すると、マイクロレンズ9aを通過した領域D1,D2の画像信号を抽出して被写体Aの画像信号を生成する。この場合、被写体Aは撮像レンズ7の端部から被写体Aを観測した画像信号となる。領域D1,D2以外の領域を抽出して画像信号を生成すると、撮像レンズ7の異なる場所から観測した画像信号を生成することができる。
画像信号はある偏光状態のRGB信号でもよいし、4つの偏光状態を平均したRGB信号でもよい。上記処理により、1枚の画像信号が生成される。
本実施形態に係る撮像装置1を用いて、被写体Aと撮像レンズ7との間の距離Zを計測するには、I/F部6を介してISO感度、露出などの撮像条件を設定した後、図示しないシャッタボタンを半押しにすることにより、プリ撮像モードに入る。被写体Aからの光は撮像レンズ7を介して撮像部2内に入り、実像Bを結像した後にマイクロレンズアレイ9によって集光され撮像素子10により撮像される。撮像素子10により取得された画像信号は、A/D変換器13によってディジタル信号に変換された後、バッファ14に転送される格納される。
図9において、Rrui(i=1〜4)、Gruj(j=1〜4)、Bru1は3個の色情報を持つ同一の偏光状態の画素となる。
これにより、上記と同様の12板の画像信号が生成され、これに基づいて距離計測を行うことができる。
1 撮像装置
7 撮像レンズ
9 マイクロレンズアレイ
9a マイクロレンズ
10 撮像素子
16 距離情報算出部(距離算出手段)
Claims (6)
- 被写体からの光を集光する撮像レンズと、
該撮像レンズにより集光された光を撮像する撮像素子と、
該撮像素子と前記撮像レンズとの間に配置され、偏光状態の異なる複数種のマイクロレンズをその光軸に交差する方向にアレイ状に配列してなり、前記撮像レンズから入射された光を集光して前記撮像素子の撮像面にそれぞれ結像させるマイクロレンズアレイと、
前記撮像素子により取得された情報を用いて前記被写体までの距離を算出する距離算出手段とを備え、
前記撮像素子が、前記マイクロレンズアレイにより結像された光を撮像することにより複数の偏光状態を有する画像信号を取得し、
前記距離算出手段が、前記画像信号の輝度情報に対して画素毎にエッジ量を算出し、該エッジ量が多いほど重み付け係数を大きくし、エッジ量が少ないほど重み付係数を小さくして、一のマイクロレンズに対応する画素領域に含まれる画素と他のマイクロレンズに対応する画素領域に含まれる画素とのマッチング処理を行い、前記マッチング処理により算出された視差を用いて、前記被写体までの距離を算出する撮像装置。 - 前記撮像素子が、その撮像面の各前記マイクロレンズに対応する領域に複数のカラーフィルタを配列してなるカラー撮像素子である請求項1に記載の撮像装置。
- 被写体からの光を集光する撮像レンズと、
該撮像レンズにより集光された光を複数の偏光成分毎に撮像する偏光撮像素子と、
該偏光撮像素子と前記撮像レンズとの間に配置され、複数のマイクロレンズをその光軸に交差する方向にアレイ状に配列してなり、前記撮像レンズから入射された光を集光して前記偏光撮像素子の撮像面にそれぞれ結像させるマイクロレンズアレイと、
前記偏光撮像素子により取得された情報を用いて前記被写体までの距離を算出する距離算出手段とを備え、
前記偏光撮像素子が、前記マイクロレンズアレイにより結像された光を撮像することにより複数の偏光状態を有する画像信号を取得し、
前記距離算出手段が、前記偏光撮像素子により取得された画像信号の輝度情報に対して画素毎にエッジ量を算出し、該エッジ量が多いほど重み付け係数を大きくし、エッジ量が少ないほど重み付係数を小さくして、一のマイクロレンズに対応する画素領域に含まれる画素と他のマイクロレンズに対応する画素領域に含まれる画素とのマッチング処理を行い、前記マッチング処理により算出された視差を用いて、前記被写体までの距離を算出する撮像装置。 - 前記マイクロレンズアレイが、波長透過率の異なる複数種のマイクロレンズを光軸に交差する方向にアレイ状に配列してなる請求項3に記載の撮像装置。
- 前記距離算出手段が、前記一のマイクロレンズの近傍のマイクロレンズに対応する画素領域に対してマッチング処理を行う請求項1乃至請求項4の何れか1項に記載の撮像装置。
- 前記距離算出手段が、前記一のマイクロレンズと隣り合うマイクロレンズに対応する画素領域に対してマッチング処理を行う請求項1乃至請求項5記載の何れか1項に撮像装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012223212A JP5820794B2 (ja) | 2012-10-05 | 2012-10-05 | 撮像装置 |
PCT/JP2013/076603 WO2014054598A1 (ja) | 2012-10-05 | 2013-09-30 | 撮像装置 |
US14/677,456 US9756304B2 (en) | 2012-10-05 | 2015-04-02 | Image-acquisition apparatus for performing distance measurement using parallax |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012223212A JP5820794B2 (ja) | 2012-10-05 | 2012-10-05 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014074690A JP2014074690A (ja) | 2014-04-24 |
JP5820794B2 true JP5820794B2 (ja) | 2015-11-24 |
Family
ID=50434925
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012223212A Expired - Fee Related JP5820794B2 (ja) | 2012-10-05 | 2012-10-05 | 撮像装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9756304B2 (ja) |
JP (1) | JP5820794B2 (ja) |
WO (1) | WO2014054598A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9667846B2 (en) * | 2012-11-27 | 2017-05-30 | Nokia Technologies Oy | Plenoptic camera apparatus, a method and a computer program |
EP3131292B1 (en) | 2015-08-14 | 2022-06-15 | InterDigital CE Patent Holdings | Plenoptic camera comprising a shuffled color filter array |
US10460422B2 (en) | 2015-11-10 | 2019-10-29 | Sony Corporation | Image processing device and image processing method |
JP6697681B2 (ja) * | 2016-08-17 | 2020-05-27 | ソニー株式会社 | 検査装置、検査方法、およびプログラム |
DE112017005244T5 (de) | 2016-10-17 | 2019-07-11 | Sony Corporation | Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Bildaufnahmevorrichtung |
TWI848391B (zh) * | 2022-10-05 | 2024-07-11 | 浚輔科技股份有限公司 | 機械手臂自動補正裝置及其方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6396873B1 (en) * | 1999-02-25 | 2002-05-28 | Envision Advanced Medical Systems | Optical device |
US7936392B2 (en) * | 2004-10-01 | 2011-05-03 | The Board Of Trustees Of The Leland Stanford Junior University | Imaging arrangements and methods therefor |
JP4974543B2 (ja) | 2005-08-23 | 2012-07-11 | 株式会社フォトニックラティス | 偏光イメージング装置 |
JP5040493B2 (ja) * | 2006-12-04 | 2012-10-03 | ソニー株式会社 | 撮像装置及び撮像方法 |
US7962033B2 (en) | 2008-01-23 | 2011-06-14 | Adobe Systems Incorporated | Methods and apparatus for full-resolution light-field capture and rendering |
JP2010050521A (ja) * | 2008-08-19 | 2010-03-04 | Olympus Corp | 撮像装置 |
US8228417B1 (en) * | 2009-07-15 | 2012-07-24 | Adobe Systems Incorporated | Focused plenoptic camera employing different apertures or filtering at different microlenses |
JP5440927B2 (ja) | 2009-10-19 | 2014-03-12 | 株式会社リコー | 測距カメラ装置 |
JP5387856B2 (ja) * | 2010-02-16 | 2014-01-15 | ソニー株式会社 | 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置 |
JP5669529B2 (ja) * | 2010-11-17 | 2015-02-12 | オリンパス株式会社 | 撮像装置、プログラム及びフォーカス制御方法 |
JP5906062B2 (ja) | 2010-12-17 | 2016-04-20 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP5699609B2 (ja) * | 2011-01-06 | 2015-04-15 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP5214754B2 (ja) * | 2011-02-25 | 2013-06-19 | 株式会社東芝 | 固体撮像装置および携帯情報端末 |
JP2013074400A (ja) * | 2011-09-27 | 2013-04-22 | Toshiba Corp | 固体撮像装置 |
JP2013072923A (ja) * | 2011-09-27 | 2013-04-22 | Sanyo Electric Co Ltd | 撮像装置 |
-
2012
- 2012-10-05 JP JP2012223212A patent/JP5820794B2/ja not_active Expired - Fee Related
-
2013
- 2013-09-30 WO PCT/JP2013/076603 patent/WO2014054598A1/ja active Application Filing
-
2015
- 2015-04-02 US US14/677,456 patent/US9756304B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014074690A (ja) | 2014-04-24 |
WO2014054598A1 (ja) | 2014-04-10 |
US20150215593A1 (en) | 2015-07-30 |
US9756304B2 (en) | 2017-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5820794B2 (ja) | 撮像装置 | |
JP5836821B2 (ja) | 撮像装置 | |
JP7009091B2 (ja) | 距離情報生成装置、撮像装置、距離情報生成方法、およびプログラム | |
JP5619294B2 (ja) | 撮像装置及び合焦用パラメータ値算出方法 | |
CN103444183B (zh) | 彩色摄像元件及摄像装置 | |
JP2009244858A (ja) | 撮像装置及び画像処理方法 | |
JP2016102733A (ja) | レンズ及び撮影装置 | |
JP7104294B2 (ja) | 測距カメラ | |
CN103460703B (zh) | 彩色摄像元件及摄像装置 | |
JP5882789B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2012141435A (ja) | 焦点検出装置及び焦点検出方法 | |
JP5157084B2 (ja) | 相関演算装置、焦点検出装置および撮像装置 | |
JP2011239241A (ja) | 3次元撮像装置 | |
JP2022000695A (ja) | 撮像装置 | |
JP2014216970A5 (ja) | 撮像素子、測距装置及び撮像装置 | |
CN105324991B (zh) | 摄像装置、图像处理装置、摄像方法和图像处理方法 | |
JP6045208B2 (ja) | 撮像装置 | |
WO2019181622A1 (ja) | 測距カメラ | |
JP2012123317A5 (ja) | ||
JP2020008415A (ja) | 測距カメラ | |
JP2004229055A (ja) | 画像処理装置 | |
JP5338112B2 (ja) | 相関演算装置、焦点検出装置および撮像装置 | |
JP6469026B2 (ja) | 撮像装置およびその制御方法 | |
JP5820831B2 (ja) | 撮像装置 | |
JP5338119B2 (ja) | 相関演算装置、焦点検出装置および撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150213 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20150213 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20150304 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150310 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150423 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150616 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150817 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150908 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151005 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5820794 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |