JPWO2014006783A1 - 撮像装置及び画像処理方法 - Google Patents
撮像装置及び画像処理方法 Download PDFInfo
- Publication number
- JPWO2014006783A1 JPWO2014006783A1 JP2014523550A JP2014523550A JPWO2014006783A1 JP WO2014006783 A1 JPWO2014006783 A1 JP WO2014006783A1 JP 2014523550 A JP2014523550 A JP 2014523550A JP 2014523550 A JP2014523550 A JP 2014523550A JP WO2014006783 A1 JPWO2014006783 A1 JP WO2014006783A1
- Authority
- JP
- Japan
- Prior art keywords
- color
- filter
- phase difference
- pixels
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims description 114
- 238000003672 processing method Methods 0.000 title claims description 27
- 239000003086 colorant Substances 0.000 claims description 83
- 238000001514 detection method Methods 0.000 claims description 78
- 238000002834 transmittance Methods 0.000 claims description 37
- 210000001747 pupil Anatomy 0.000 claims description 24
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 239000000470 constituent Substances 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000002093 peripheral effect Effects 0.000 claims description 10
- 238000003491 array Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 abstract description 95
- 230000003247 decreasing effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 44
- 230000006870 function Effects 0.000 description 33
- 238000000034 method Methods 0.000 description 30
- 230000035945 sensitivity Effects 0.000 description 18
- 238000004891 communication Methods 0.000 description 17
- 230000003595 spectral effect Effects 0.000 description 15
- 230000006866 deterioration Effects 0.000 description 14
- 239000004973 liquid crystal related substance Substances 0.000 description 13
- 238000003860 storage Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 230000000295 complement effect Effects 0.000 description 7
- 238000012937 correction Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 238000005096 rolling process Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 241000579895 Chlorostilbon Species 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 229910052876 emerald Inorganic materials 0.000 description 3
- 239000010976 emerald Substances 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/01—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by phase separation
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14623—Optical shielding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/767—Horizontal readout lines, multiplexers or registers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Human Computer Interaction (AREA)
- Color Television Image Signal Generators (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
図1及び図2はそれぞれ本発明に係る撮像装置の実施形態を示す斜視図及び背面図である。この撮像装置10は、レンズを通った光を撮像素子で受け、デジタル信号に変換して静止画又は動画の画像データとして記録メディアに記録するデジタルカメラである。
図3は上記撮像装置10の内部構成の実施形態を示すブロック図である。この撮像装置10は、撮像した画像をメモリカード54に記録するもので、装置全体の動作は、中央処理装置(CPU)40によって統括制御される。
撮像素子16は、水平方向(第1の方向)及び垂直方向(第2の方向)に配列された光電変換素子(フォトダイオード)で構成される複数の画素上に、以下に例示するカラーフィルタ配列のカラーフィルタが配設されて構成されている。
図9は本発明に係る画像処理方法を示すフローチャートであり、特に動画撮影時の画像処理に関して示している。
図11は撮像素子における位相差画素の第2の配置例と撮像素子から画像データを間引き読出しする様子を示す概念図である。
図12は撮像素子における位相差画像の第3の配置例と撮像素子から画像データを間引き読出しする様子を示す概念図である。
図13は撮像素子における位相差画像の第4の配置例と撮像素子から画像データを間引き読出しする様子を示す概念図である。
図14は撮像素子における位相差画像の第5の配置例と撮像素子から画像データを間引き読出しする様子を示す概念図である。
図15は撮像素子における位相差画像の第6の配置例と撮像素子から画像データを間引き読出しする様子を示す概念図である。
図16の(a)は撮像素子における位相差画像の第7の配置例を示す図である。
カラーフィルタ配列は、図4等に示した配列に限られず、図17に示すような配列でもよい。
図18は図17に示した撮像素子における位相差画像の他の配置例と撮像素子から画像データを間引き読出しする様子を示す概念図である。
図10から図18に示した画像データの間引き読出しは、撮像素子の水平方向のライン(水平ライン)を選択し、選択した水平ラインの画像データを間引き読出しているが、これに限らず、水平ライン及び撮像素子の垂直方向のライン(垂直ライン)を選択し、選択した水平ラインと垂直ラインとが交差する位置の画素の画像データを間引き読出しするようにしてもよい。
<R、G、B以外の画素を有する撮像素子の他の実施形態>
上記各実施形態では、本発明の第1の色を有する第1のフィルタとしてG色のGフィルタを例に挙げて説明を行ったが、Gフィルタの代わりに、あるいはGフィルタの一部に代えて、下記条件(1)から条件(4)のいずれかを満たすフィルタを用いてもよい。
〔条件(1)〕
条件(1)は、輝度信号を得るための寄与率が50%以上であることである。この寄与率50%は、本発明の第1の色(G色など)と、第2の色(R、B色など)とを区別するために定めた値であって、輝度データを得るための寄与率がR色、B色などよりも相対的に高くなる色が「第1の色」に含まれるように定めた値である。
Y=0.3R+0.6G+0.1B
この[数1]式ではG色の寄与率が60%になるため、G色は、R色(寄与率30%)やB色(寄与率10%)よりも寄与率が高くなる。したがって、G色が3原色のうち最も輝度信号に寄与する色となる。
条件(2)は、フィルタの透過率のピークが波長480nm以上570nm以下の範囲内にあることである。フィルタの透過率は、例えば分光光度計で測定された値が用いられる。この波長範囲は、本発明の第1の色(G色など)と、第2の色(R、B色など)とを区別するために定められた範囲であって、前述の寄与率が相対的に低くなるR色、B色などのピークが含まれず、かつ寄与率が相対的に高くなるG色などのピークが含まれるように定められた範囲である。したがって、透過率のピークが波長480nm以上570nm以下の範囲内にあるフィルタを第1のフィルタとして用いることができる。尚、透過率のピークが波長480nm以上570nm以下の範囲外となるフィルタが本発明の第2のフィルタ(Rフィルタ、Bフィルタ)となる。
条件(3)は、波長500nm以上560nm以下の範囲内での透過率が第2のフィルタ(RフィルタやBフィルタ)の透過率よりも高いことである。この条件(3)においても、フィルタの透過率は、例えば分光光度計で測定された値が用いられる。この条件(3)の波長範囲も、本発明の第1の色(G色など)と、第2の色(R、B色など)とを区別するために定められた範囲であって、R色やB色などよりも前述の寄与率が相対的に高くなる色を有するフィルタの透過率が、RBフィルタなどの透過率よりも高くなる範囲である。したがって、透過率が波長500nm以上560nm以下の範囲内で相対的に高いフィルタを第1のフィルタとして用い、透過率が相対的に低いフィルタを第2のフィルタとして用いることができる。
条件(4)は、3原色のうち最も輝度信号に寄与する色(例えばRGBのうちのG色)と、この3原色とは異なる色とを含む2色以上のフィルタを、第1のフィルタとして用いることである。この場合には、第1のフィルタの各色以外の色に対応するフィルタが第2のフィルタとなる。
上述の実施形態では、主としてRGB色に対応する色フィルタから成るカラーフィルタが示されているが、これらの色フィルタの一部を透明フィルタ(白色画素に対応するWフィルタ)としてもよい。特に第1のフィルタ(Gフィルタ)の一部に代えてWフィルタWを配置することが好ましい。このようにG画素の一部を白色画素に置き換えることにより、画素サイズを微細化しても色再現性の劣化を抑制することができる。
第1のフィルタとしてのG色のGフィルタは一種類に限定されるものではなく、例えば複数種類のGフィルタを第1のフィルタとして用いることもできる。即ち、上述の各実施形態に係るカラーフィルタ(基本配列パターン)のGフィルタが、G1フィルタ、G2フィルタに適宜置き換えられてもよい。
上述の実施形態では、主としてRGB色に対応する色フィルタから成るカラーフィルタが示されているが、これらの色フィルタの一部を他の色フィルタとしてもよく、例えばエメラルド(E)色に対応するフィルタ(E画素に対応するEフィルタ)としてもよい。特に第1のフィルタ(Gフィルタ)の一部に代えてEフィルタを配置することが好ましい。このようにGフィルタの一部をEフィルタで置き換えた4色のカラーフィルタ配列を用いることで、輝度の高域成分の再現を向上させ、ジャギネスを低減させるとともに、解像度感の向上を可能とすることができる。
上述の各実施形態では、原色RGBのカラーフィルタで構成されるカラーフィルタ配列について説明したが、例えば原色RGBの補色であるC(シアン)、M(マゼンタ)、Y(イエロー)に、Gを加えた4色の補色系のカラーフィルタのカラーフィルタ配列にも本発明を適用することができる。この場合も上記条件(1)〜(4)のいずれかを満たすカラーフィルタを本発明の第1のフィルタとし、他のカラーフィルタを第2のフィルタとする。
図24は、撮像装置10の他の実施形態であるスマートフォン500の外観を示すものである。図24に示すスマートフォン500は、平板状の筐体502を有し、筐体502の一方の面に表示部としての表示パネル521と、入力部としての操作パネル522とが一体となった表示入力部520を備えている。また、筐体502は、スピーカ531と、マイクロホン532、操作部540と、カメラ部541とを備えている。尚、筐体502の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。
本発明の実施形態では、動画撮影時に撮像素子から間引きパターンにしたがって直接画素信号を間引き読出しするようにしたが、これに限らず、撮像素子から全画素の画像を読み出しし、読み出した画像から間引きパターンにしたがって画素信号を抽出し、位相差画素を含む所定のカラー配列のカラー画像を取得するようにしてもよい。この場合でも同時化処理を含む信号処理の対象画像の画像サイズを小さくすることができるため、動画の処理時間の短縮化を図ることができる。尚、間引きパターンにしたがった画素信号を抽出する方法としては、周辺の複数の同色画素の出力信号を加算または混合する画素混合処理により、間引きパターンにしたがった画素信号を抽出するようにしても良い。特に、撮像素子において読み出した直後に画素混合処理を行うことで動画の処理時間をより短縮することが可能である。
図11は撮像素子における位相差画素の第2の配置例と撮像素子から画像データを間引き読出しする様子を示す概念図である。
図12は撮像素子における位相差画素の第3の配置例と撮像素子から画像データを間引き読出しする様子を示す概念図である。
図13は撮像素子における位相差画素の第4の配置例と撮像素子から画像データを間引き読出しする様子を示す概念図である。
図14は撮像素子における位相差画素の第5の配置例と撮像素子から画像データを間引き読出しする様子を示す概念図である。
図15は撮像素子における位相差画素の第6の配置例と撮像素子から画像データを間引き読出しする様子を示す概念図である。
図16の(a)は撮像素子における位相差画素の第7の配置例を示す図である。
図18は図17に示した撮像素子における位相差画素の他の配置例と撮像素子から画像データを間引き読出しする様子を示す概念図である。
上述の実施形態では、主としてRGB色に対応する色フィルタから成るカラーフィルタが示されているが、これらの色フィルタの一部を透明フィルタ(白色画素に対応するWフィルタ)としてもよい。特に第1のフィルタ(Gフィルタ)の一部に代えてWフィルタを配置することが好ましい。このようにG画素の一部を白色画素に置き換えることにより、画素サイズを微細化しても色再現性の劣化を抑制することができる。
Claims (23)
- 撮影レンズと、
第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、前記撮影レンズの異なる第1、第2の領域を通過した被写体像が瞳分割されてそれぞれ結像される第1、第2の位相差画素を含む撮像素子と、
前記撮像素子から間引きパターンにしたがって前記複数の画素から画素信号を間引き読み出しし、又は前記撮像素子から読み出した前記所定のカラーフィルタ配列に対応するカラー画像から前記間引きパターンにしたがって前記複数の画素から画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得手段と、
前記間引かれたカラー画像に基づいて動画データを生成する動画生成手段と、
前記間引かれたカラー画像中に含まれる前記第1、第2の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出手段と、
前記位相差検出手段により検出された位相差に基づいて前記撮影レンズの焦点位置を調節する焦点調節手段と、を備え、
前記所定のカラーフィルタ配列は、1色以上の第1の色に対応する第1のフィルタと、輝度信号を得るための寄与率が前記第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとを有し、前記第1のフィルタと前記第2のフィルタとが配列された基本配列パターンを含み、当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置され、
前記第1のフィルタ及び前記第2の色の各色に対応する前記第2のフィルタのそれぞれは、前記基本配列パターン内の前記第1の方向及び第2の方向の各画素ライン内にそれぞれ1以上配置され、
前記第1、第2の位相差画素は、前記撮像素子の焦点検出領域内の前記間引きパターン上であって、前記第1の方向の画素ライン上の同一の色のフィルタの位置に配置される撮像装置。 - 撮影レンズと、
第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、前記撮影レンズの異なる第1、第2の領域を通過した被写体像が瞳分割されてそれぞれ結像される第1、第2の位相差画素を含む撮像素子と、
前記撮像素子から間引きパターンにしたがって前記複数の画素から画素信号を間引き読み出しし、又は前記撮像素子から読み出した前記所定のカラーフィルタ配列に対応するカラー画像から前記間引きパターンにしたがって前記複数の画素から画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得手段と、
前記間引かれたカラー画像に基づいて動画データを生成する動画生成手段と、
前記間引かれたカラー画像中に含まれる前記第1、第2の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出手段と、
前記位相差検出手段により検出された位相差に基づいて前記撮影レンズの焦点位置を調節する焦点調節手段と、を備え、
前記所定のカラーフィルタ配列は、透過率のピークが波長480nm以上570nm以下の範囲内にある1色以上の第1の色に対応する第1のフィルタと、透過率のピークが前記範囲外にある2色以上の第2の色に対応する第2のフィルタとを有し、前記第1のフィルタと前記第2のフィルタとが配列された基本配列パターンを含み、当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置され、
前記第1のフィルタ及び前記第2の色の各色に対応する前記第2のフィルタのそれぞれは、前記基本配列パターン内の前記第1の方向及び第2の方向の各画素ライン内にそれぞれ1以上配置され、
前記第1、第2の位相差画素は、前記撮像素子の焦点検出領域内の前記間引きパターン上であって、前記第1の方向の画素ライン上の同一の色のフィルタの位置に配置される撮像装置。 - 撮影レンズと、
第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、前記撮影レンズの異なる第1、第2の領域を通過した被写体像が瞳分割されてそれぞれ結像される第1、第2の位相差画素を含む撮像素子と、
前記撮像素子から間引きパターンにしたがって前記複数の画素から画素信号を間引き読み出しし、又は前記撮像素子から読み出した前記所定のカラーフィルタ配列に対応するカラー画像から前記間引きパターンにしたがって前記複数の画素から画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得手段と、
前記間引かれたカラー画像に基づいて動画データを生成する動画生成手段と、
前記間引かれたカラー画像中に含まれる前記第1、第2の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出手段と、
前記位相差検出手段により検出された位相差に基づいて前記撮影レンズの焦点位置を調節する焦点調節手段と、を備え、
前記所定のカラーフィルタ配列は、1色以上の第1の色に対応する第1のフィルタと、波長500nm以上560nm以下の範囲内で透過率が前記第1のフィルタよりも低くなる2色以上の第2の色に対応する第2のフィルタとを有し、前記第1のフィルタと前記第2のフィルタとが配列された基本配列パターンを含み、当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置され、
前記第1のフィルタ及び前記第2の色の各色に対応する前記第2のフィルタのそれぞれは、前記基本配列パターン内の前記第1の方向及び第2の方向の各画素ライン内にそれぞれ1以上配置され、
前記第1、第2の位相差画素は、前記撮像素子の焦点検出領域内の前記間引きパターン上であって、前記第1の方向の画素ライン上の同一の色のフィルタの位置に配置される撮像装置。 - 撮影レンズと、
第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、前記撮影レンズの異なる第1、第2の領域を通過した被写体像が瞳分割されてそれぞれ結像される第1、第2の位相差画素を含む撮像素子と、
前記撮像素子から間引きパターンにしたがって前記複数の画素から画素信号を間引き読み出しし、又は前記撮像素子から読み出した前記所定のカラーフィルタ配列に対応するカラー画像から前記間引きパターンにしたがって前記複数の画素から画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得手段と、
前記間引かれたカラー画像に基づいて動画データを生成する動画生成手段と、
前記間引かれたカラー画像中に含まれる前記第1、第2の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出手段と、
前記位相差検出手段により検出された位相差に基づいて前記撮影レンズの焦点位置を調節する焦点調節手段と、を備え、
前記所定のカラーフィルタ配列は、3原色のうち最も輝度信号に寄与する色と前記3原色とは異なる色の第4色とを含む2色以上の第1の色に対応する第1のフィルタと、前記第1の色以外の2色以上の第2の色に対応する第2のフィルタとを有し、前記第1のフィルタと前記第2のフィルタとが配列された基本配列パターンを含み、当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置され、
前記第1のフィルタ及び前記第2の色の各色に対応する前記第2のフィルタのそれぞれは、前記基本配列パターン内の前記第1の方向及び第2の方向の各画素ライン内にそれぞれ1以上配置され、
前記第1、第2の位相差画素は、前記撮像素子の焦点検出領域内の前記間引きパターン上であって、前記第1の方向の画素ライン上の同一の色のフィルタの位置に配置される撮像装置。 - 前記間引かれたカラー画像は、前記第1、第2の位相差画素に隣接して該第1、第2の位相差画素の位置における画素の色と同じ色の画素が配置され、
前記間引かれたカラー画像中の第1、第2の位相差画素の位置における画素の画素値を、前記第1、第2の位相差画素に隣接する同じ色の画素を含む周辺画素の画素値を補間して算出する補間演算手段を備え、
前記動画生成手段は、前記間引かれたカラー画像中の前記第1、第2の位相差画素の位置における画素の画素値として前記補間演算手段により算出された値を使用したカラー画像に基づいて動画データを生成する請求項1から4のいずれか1項に記載の撮像装置。 - 前記間引かれたカラー画像は、前記第1の色の画素が前記第2の方向に配列され、かつ前記第2の色の各色の画素がそれぞれ前記第2の方向に配列されて構成される請求項1から5のいずれか1項に記載の撮像装置。
- 前記間引かれたカラー画像は、前記第1の色の画素が前記第2の方向に配列され、かつ前記第2の色の各色の画素がそれぞれ交互に第2の方向に配列されて構成される請求項1から5のいずれか1項に記載の撮像装置。
- 前記第1のフィルタに対応する第1の色の全画素数の比率は、前記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きく、
前記第1、第2の位相差画素は、前記第1のフィルタの位置に配置される請求項1から7のいずれか1項に記載の撮像装置。 - 前記第1のフィルタは、M×N画素(M,N:3以上の整数)内に複数配置され、該M×N画素が前記第1、第2の方向に繰り返し配置される請求項1から8のいずれか1項に記載の撮像装置。
- 前記第1、第2の位相差画素のうちの一方の位相差画素が、前記M×N画素内に1又は2つ配置される請求項9に記載の撮像装置。
- 前記第1、第2の位相差画素は、前記第2の方向に前記第1、第2の位相差画素が一対となって配置される請求項10に記載の撮像装置。
-
前記第1、第2の位相差画素は、前記第1の方向の1つの画素ライン上に交互に配置される請求項10又は11に記載の撮像装置。 - 前記第2の色は、第1の構成色及び第2の構成色から成る2色によって構成され、
前記基本配列パターンは、第1のサブ配列及び第2のサブ配列が第1の方向及び第2の方向に交互に配置されて構成されるものであり、
前記第1のサブ配列と前記第2のサブ配列において第2のフィルタが同じ位置に配置され、前記第1のサブ配列における前記第1の構成色に対応する第2のフィルタの位置と前記第2のサブ配列における前記第2の構成色に対応する第2のフィルタの位置とが対応し、
前記第1のサブ配列における前記第2の構成色に対応する第2のフィルタの位置と前記第2のサブ配列における前記第1の構成色に対応する第2のフィルタの位置とが対応する請求項1から12のいずれか1項に記載の撮像装置。 - 前記第1または第2位相差画素は、前記第1のサブ配列及び前記第2のサブ配列の各サブ配列の少なくとも1つの前記第1のフィルタの位置に配置される請求項13に記載の撮像装置。
- 前記第1の方向または前記第2の方向のうち少なくとも1つの方向において、前記第1のサブ配列及び前記第2のサブ配列の各サブ配列の画素サイズの周期で、前記第1または第2位相差画素が配置される請求項13に記載の撮像装置。
- 前記第1の色は、緑(G)色であり、前記第2の色は、赤(R)色及び青(B)色であり、
前記カラーフィルタは、前記R、G、Bの色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、
前記基本配列パターンは、第1のサブ配列及び第2のサブ配列が第1の方向及び第2の方向に交互に配置されて構成されるものであり、
前記第1のサブ配列は、3×3画素の中心と4隅にGフィルタが配置され、中心のGフィルタを挟んで上下にBフィルタが配置され、左右にRフィルタが配列されて構成され、
前記第2のサブ配列は、3×3画素の中心と4隅にGフィルタが配置され、中心のGフィルタを挟んで上下にRフィルタが配置され、左右にBフィルタが配列されて構成され、
前記第1、第2のサブ配列内のGフィルタを有する画素のうちの1つの画素が、前記第1、第2の位相差画素のうちの一方の位相差画素として構成される請求項1から12のいずれか1項に記載の撮像装置。 - 前記第1の色は、緑(G)色であり、前記第2の色は、赤(R)色及び青(B)色であり、
前記カラーフィルタは、前記R、G、Bの色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、
前記基本配列パターンは、第1のサブ配列及び第2のサブ配列が第1の方向及び第2の方向に交互に配置されて構成されるものであり、
前記第1のサブ配列は、3×3画素の中心にRフィルタが配置され、4隅にBフィルタが配置され、中心のRフィルタを挟んで上下左右にGフィルタが配置されて構成され、
前記第2のサブ配列は、3×3画素の中心にBフィルタが配置され、4隅にRフィルタが配置され、中心のBフィルタを挟んで上下左右にGフィルタが配置されて構成され、
前記第1、第2のサブ配列内のGフィルタを有する画素のうちの1つの画素が、前記第1、第2の位相差画素のうちの一方の位相差画素として構成される請求項1から11のいずれか1項に記載の撮像装置。 - 前記第1、第2の位相差画素として構成された前記Gフィルタを有する画素に替えて、透明フィルタを有する画素を使用する請求項16又は17に記載の撮像装置。
- 前記動画生成手段により生成した動画を記録する記録手段を備えた請求項1から18のいずれか1項に記載の撮像装置。
- 撮影レンズと、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、前記撮影レンズの異なる第1、第2の領域を通過した被写体像が瞳分割されてそれぞれ結像される第1、第2の位相差画素を含む撮像素子とを備えた撮像装置における画像処理方法であって、
前記撮像素子から間引きパターンにしたがって前記複数の画素から画素信号を間引き読み出しし、又は前記撮像素子から読み出した前記所定のカラーフィルタ配列に対応するカラー画像から前記間引きパターンにしたがって前記複数の画素から画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得工程と、
前記間引かれたカラー画像に基づいて動画データを生成する動画生成工程と、
前記間引かれたカラー画像中に含まれる前記第1、第2の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出工程と、
前記位相差検出工程により検出された位相差に基づいて前記撮影レンズの焦点位置を調節する焦点調節工程であって、前記動画生成工程による動画の生成と並行して前記撮影レンズの焦点位置を調節する焦点調節工程と、を含み、
前記所定のカラーフィルタ配列は、1色以上の第1の色に対応する第1のフィルタと、輝度信号を得るための寄与率が前記第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとを有し、前記第1のフィルタと前記第2のフィルタとが配列された基本配列パターンを含み、当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置され、
前記第1のフィルタ及び前記第2の色の各色に対応する前記第2のフィルタのそれぞれは、前記基本配列パターン内の前記第1の方向及び第2の方向の各画素ライン内にそれぞれ1以上配置され、
前記第1、第2の位相差画素は、前記撮像素子の焦点検出領域内の前記間引きパターン上であって、前記第1の方向の画素ライン上の同一の色のフィルタの位置に配置される画像処理方法。 - 撮影レンズと、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、前記撮影レンズの異なる第1、第2の領域を通過した被写体像が瞳分割されてそれぞれ結像される第1、第2の位相差画素を含む撮像素子とを備えた撮像装置における画像処理方法であって、
前記撮像素子から間引きパターンにしたがって前記複数の画素から画素信号を間引き読み出しし、又は前記撮像素子から読み出した前記所定のカラーフィルタ配列に対応するカラー画像から前記間引きパターンにしたがって前記複数の画素から画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得工程と、
前記間引かれたカラー画像に基づいて動画データを生成する動画生成工程と、
前記間引かれたカラー画像中に含まれる前記第1、第2の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出工程と、
前記位相差検出工程により検出された位相差に基づいて前記撮影レンズの焦点位置を調節する焦点調節工程であって、前記動画生成工程による動画の生成と並行して前記撮影レンズの焦点位置を調節する焦点調節工程と、を含み、
前記所定のカラーフィルタ配列は、透過率のピークが波長480nm以上570nm以下の範囲内にある1色以上の第1の色に対応する第1のフィルタと、透過率のピークが前記範囲外にある2色以上の第2の色に対応する第2のフィルタとを有し、前記第1のフィルタと前記第2のフィルタとが配列された基本配列パターンを含み、当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置され、
前記第1のフィルタ及び前記第2の色の各色に対応する前記第2のフィルタのそれぞれは、前記基本配列パターン内の前記第1の方向及び第2の方向の各画素ライン内にそれぞれ1以上配置され、
前記第1、第2の位相差画素は、前記撮像素子の焦点検出領域内の前記間引きパターン上であって、前記第1の方向の画素ライン上の同一の色のフィルタの位置に配置される画像処理方法。 - 撮影レンズと、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、前記撮影レンズの異なる第1、第2の領域を通過した被写体像が瞳分割されてそれぞれ結像される第1、第2の位相差画素を含む撮像素子とを備えた撮像装置における画像処理方法であって、
前記撮像素子から間引きパターンにしたがって前記複数の画素から画素信号を間引き読み出しし、又は前記撮像素子から読み出した前記所定のカラーフィルタ配列に対応するカラー画像から前記間引きパターンにしたがって前記複数の画素から画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得工程と、
前記間引かれたカラー画像に基づいて動画データを生成する動画生成工程と、
前記間引かれたカラー画像中に含まれる前記第1、第2の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出工程と、
前記位相差検出工程により検出された位相差に基づいて前記撮影レンズの焦点位置を調節する焦点調節工程であって、前記動画生成工程による動画の生成と並行して前記撮影レンズの焦点位置を調節する焦点調節工程と、を含み、
前記所定のカラーフィルタ配列は、1色以上の第1の色に対応する第1のフィルタと、波長500nm以上560nm以下の範囲内で透過率が前記第1のフィルタよりも低くなる2色以上の第2の色に対応する第2のフィルタとを有し、前記第1のフィルタと前記第2のフィルタとが配列された基本配列パターンを含み、当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置され、
前記第1のフィルタ及び前記第2の色の各色に対応する前記第2のフィルタのそれぞれは、前記基本配列パターン内の前記第1の方向及び第2の方向の各画素ライン内にそれぞれ1以上配置され、
前記第1、第2の位相差画素は、前記撮像素子の焦点検出領域内の前記間引きパターン上であって、前記第1の方向の画素ライン上の同一の色のフィルタの位置に配置される画像処理方法。 - 撮影レンズと、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、前記撮影レンズの異なる第1、第2の領域を通過した被写体像が瞳分割されてそれぞれ結像される第1、第2の位相差画素を含む撮像素子とを備えた撮像装置における画像処理方法であって、
前記撮像素子から間引きパターンにしたがって前記複数の画素から画素信号を間引き読み出しし、又は前記撮像素子から読み出した前記所定のカラーフィルタ配列に対応するカラー画像から前記間引きパターンにしたがって前記複数の画素から画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得工程と、
前記間引かれたカラー画像に基づいて動画データを生成する動画生成工程と、
前記間引かれたカラー画像中に含まれる前記第1、第2の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出工程と、
前記位相差検出工程により検出された位相差に基づいて前記撮影レンズの焦点位置を調節する焦点調節工程であって、前記動画生成工程による動画の生成と並行して前記撮影レンズの焦点位置を調節する焦点調節工程と、を含み、
前記所定のカラーフィルタ配列は、3原色のうち最も輝度信号に寄与する色と前記3原色とは異なる色の第4色とを含む2色以上の第1の色に対応する第1のフィルタと、前記第1の色以外の2色以上の第2の色に対応する第2のフィルタとを有し、前記第1のフィルタと前記第2のフィルタとが配列された基本配列パターンを含み、当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置され、
前記第1のフィルタ及び前記第2の色の各色に対応する前記第2のフィルタのそれぞれは、前記基本配列パターン内の前記第1の方向及び第2の方向の各画素ライン内にそれぞれ1以上配置され、
前記第1、第2の位相差画素は、前記撮像素子の焦点検出領域内の前記間引きパターン上であって、前記第1の方向の画素ライン上の同一の色のフィルタの位置に配置される画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014523550A JP5740053B6 (ja) | 2012-07-06 | 2012-12-28 | 撮像装置及び画像処理方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012152816 | 2012-07-06 | ||
JP2012152816 | 2012-07-06 | ||
PCT/JP2012/084087 WO2014006783A1 (ja) | 2012-07-06 | 2012-12-28 | 撮像装置及び画像処理方法 |
JP2014523550A JP5740053B6 (ja) | 2012-07-06 | 2012-12-28 | 撮像装置及び画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP5740053B2 JP5740053B2 (ja) | 2015-06-24 |
JP5740053B6 JP5740053B6 (ja) | 2015-10-07 |
JPWO2014006783A1 true JPWO2014006783A1 (ja) | 2016-06-02 |
Family
ID=
Also Published As
Publication number | Publication date |
---|---|
US20150117832A1 (en) | 2015-04-30 |
US9172926B2 (en) | 2015-10-27 |
WO2014006783A1 (ja) | 2014-01-09 |
JP5740053B2 (ja) | 2015-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5740054B2 (ja) | 撮像装置及び画像処理方法 | |
JP5749403B2 (ja) | 撮像装置及び画像処理方法 | |
JP5697801B2 (ja) | 撮像装置及び自動焦点調節方法 | |
WO2014006783A1 (ja) | 撮像装置及び画像処理方法 | |
JP5542249B2 (ja) | 撮像素子及びこれを用いた撮像装置及び撮像方法 | |
US9179059B2 (en) | Image capture device and image display method | |
JP5755814B2 (ja) | 画像処理装置、方法、プログラム及び撮像装置 | |
JP5753323B2 (ja) | 撮像装置及び画像表示方法 | |
WO2014046039A1 (ja) | 撮像装置及び合焦確認表示方法 | |
JP6651672B2 (ja) | 撮像装置 | |
WO2014083914A1 (ja) | 撮像装置及び合焦制御方法 | |
WO2014046038A1 (ja) | 撮像装置及び合焦確認表示方法 | |
JP5542248B2 (ja) | 撮像素子及び撮像装置 | |
WO2018181164A1 (ja) | 撮像装置及び画像処理方法 | |
JP5740053B6 (ja) | 撮像装置及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20150414 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150424 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5740053 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |