JPWO2012132270A1 - 画像処理装置、撮像装置および画像処理プログラム - Google Patents
画像処理装置、撮像装置および画像処理プログラム Download PDFInfo
- Publication number
- JPWO2012132270A1 JPWO2012132270A1 JP2013507129A JP2013507129A JPWO2012132270A1 JP WO2012132270 A1 JPWO2012132270 A1 JP WO2012132270A1 JP 2013507129 A JP2013507129 A JP 2013507129A JP 2013507129 A JP2013507129 A JP 2013507129A JP WO2012132270 A1 JPWO2012132270 A1 JP WO2012132270A1
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- image data
- pixel
- image
- photoelectric conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 50
- 238000003384 imaging method Methods 0.000 title claims abstract description 25
- 238000006243 chemical reaction Methods 0.000 claims abstract description 90
- 238000012937 correction Methods 0.000 claims abstract description 28
- 210000001747 pupil Anatomy 0.000 claims description 34
- 238000002834 transmittance Methods 0.000 claims description 6
- 230000004907 flux Effects 0.000 abstract description 39
- 230000003252 repetitive effect Effects 0.000 description 42
- 230000003287 optical effect Effects 0.000 description 30
- 238000000034 method Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 22
- 230000002093 peripheral effect Effects 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
Abstract
Description
[先行技術文献]
[特許文献]
[特許文献1] 特開平8−47001号公報
Claims (9)
- 少なくとも一部の光電変換素子のそれぞれに対応してカラーフィルタと開口マスクを備え、少なくとも2つの視差画像データを出力する撮像素子から前記視差画像データを取得する画像データ取得部と、
前記撮像素子における前記光電変換素子の位置および前記開口マスクの開口偏位の少なくとも一方に基づいて、前記視差画像データ間に生じる対応画素の色バランス崩れを補正する補正部と
を備える画像処理装置。 - 前記視差画像データの取得時における撮影レンズのレンズ情報を取得するレンズ情報取得部を備え、
前記補正部は、前記レンズ情報を加味して前記色バランス崩れを補正する請求項1に記載の画像処理装置。 - 前記レンズ情報は、前記撮影レンズの瞳位置情報を含む請求項2に記載の画像処理装置。
- 前記レンズ情報は、前記視差画像データの取得時における絞り情報を含む請求項2または3に記載の画像処理装置。
- 前記レンズ情報は、前記撮影レンズの瞳における径方向に対する透過率情報を含む請求項2から4のいずれか1項に記載の画像処理装置。
- 前記視差画像データの取得時における合焦情報を取得する合焦情報取得部を備え、
前記補正部は、前記合焦情報を加味して前記色バランス崩れを補正する請求項1から5のいずれか1項に記載の画像処理装置。 - 前記画像データ取得部は、前記撮像素子から前記視差画像データと共に出力される非視差画像データを取得し、
前記補正部は、前記非視差画像データの対応画素を参照して前記色バランス崩れを補正する請求項1から6のいずれか1項に記載の画像処理装置。 - 前記撮像素子と請求項1から7のいずれか1項に記載の画像処理装置を含む撮像装置であって、
前記撮像素子は、
隣接するn個(nは3以上の整数)の前記光電変換素子のうち、少なくとも3つに対応して設けられたそれぞれの前記開口マスクの開口は、互いに異なる波長帯域を透過させる少なくとも2種類の前記カラーフィルタから構成されるカラーフィルターパターンの一パターン内に含まれると共に、入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、前記n個の前記光電変換素子を一組とする光電変換素子群が周期的に配列されており、
前記開口マスクが設けられた前記光電変換素子の出力信号に基づいて前記視差画像データを出力する撮像装置。 - 少なくとも一部の光電変換素子のそれぞれに対応してカラーフィルタと開口マスクを備え、少なくとも2つの視差画像データを出力する撮像素子から前記視差画像データを取得する画像データ取得ステップと、
前記撮像素子における前記光電変換素子の位置および前記開口マスクの開口偏位の少なくとも一方に基づいて、前記視差画像データ間に生じる対応画素の色バランス崩れを補正する補正ステップと
をコンピュータに実行させる画像処理プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011076408 | 2011-03-30 | ||
JP2011076408 | 2011-03-30 | ||
PCT/JP2012/001704 WO2012132270A1 (ja) | 2011-03-30 | 2012-03-12 | 画像処理装置、撮像装置および画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2012132270A1 true JPWO2012132270A1 (ja) | 2014-07-24 |
JP5942984B2 JP5942984B2 (ja) | 2016-06-29 |
Family
ID=46930064
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013507129A Active JP5942984B2 (ja) | 2011-03-30 | 2012-03-12 | 画像処理装置、撮像装置および画像処理プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US9854224B2 (ja) |
JP (1) | JP5942984B2 (ja) |
KR (1) | KR20140023953A (ja) |
CN (1) | CN103430094B (ja) |
WO (1) | WO2012132270A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6003575B2 (ja) * | 2012-11-22 | 2016-10-05 | 株式会社ニコン | 撮像装置およびレンズユニット |
US9030580B2 (en) * | 2013-09-28 | 2015-05-12 | Ricoh Company, Ltd. | Color filter modules for plenoptic XYZ imaging systems |
US11056521B2 (en) * | 2017-03-27 | 2021-07-06 | Nikon Corporation | Imaging device and image sensor |
IL257635A (en) * | 2018-02-20 | 2018-04-30 | Tech Innovation Momentum Fund Israel Limited Partnership | System and method for light field imaging |
WO2021033191A1 (en) * | 2019-08-20 | 2021-02-25 | Technology Innovation Momentum Fund (Israel) Limited Partnership | Method and apparatus for authentication of a three-dimensional object |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02228191A (ja) * | 1989-02-28 | 1990-09-11 | Toshiba Corp | 立体カメラの色信号処理回路 |
JP2562733B2 (ja) * | 1991-02-19 | 1996-12-11 | 三洋電機株式会社 | 白バランス調整装置 |
JP3186448B2 (ja) | 1994-08-01 | 2001-07-11 | ミノルタ株式会社 | 立体テレビカメラ |
JPH11209144A (ja) * | 1998-01-21 | 1999-08-03 | Hoya Corp | 近赤外吸収フィルター用ガラスおよびそれを用いた近赤外吸収フィルター |
JP3969688B2 (ja) * | 1999-03-24 | 2007-09-05 | 株式会社リコー | 両眼立体視画像評価装置、両眼立体視画像評価方法及び記録媒体 |
EP1107316A3 (en) | 1999-12-02 | 2004-05-19 | Nikon Corporation | Solid-state image sensor, production method of the same and digital camera |
JP2003007994A (ja) | 2001-06-27 | 2003-01-10 | Konica Corp | 固体撮像素子、立体カメラ装置及び測距装置 |
JP4646459B2 (ja) * | 2001-08-01 | 2011-03-09 | オリンパス株式会社 | 固体撮像装置 |
JP2003161912A (ja) * | 2001-09-13 | 2003-06-06 | Hit Design:Kk | 3次元画像表示装置および3次元画像表示における色再現方法 |
JP3897712B2 (ja) * | 2003-02-14 | 2007-03-28 | キヤノン株式会社 | 立体画像表示装置 |
KR100770019B1 (ko) * | 2004-12-06 | 2007-10-25 | 한국전자통신연구원 | 스테레오 카메라의 영상왜곡 보정 장치 및 그 방법 |
KR101114608B1 (ko) | 2006-04-03 | 2012-03-05 | 도판 인사츠 가부시키가이샤 | 컬러 촬상 소자 및 컬러 촬상 소자 제조 방법 |
JP4710693B2 (ja) * | 2006-04-03 | 2011-06-29 | 凸版印刷株式会社 | カラー撮像素子及びカラー撮像素子製造方法 |
JP2007304525A (ja) * | 2006-05-15 | 2007-11-22 | Ricoh Co Ltd | 画像入力装置および電子機器および画像入力方法 |
US7989745B2 (en) * | 2007-10-01 | 2011-08-02 | Nikon Corporation | Solid-state imaging device with focus detection and electronic camera with focus adjustment |
JP4905326B2 (ja) * | 2007-11-12 | 2012-03-28 | ソニー株式会社 | 撮像装置 |
CN100581265C (zh) * | 2008-01-16 | 2010-01-13 | 宁波大学 | 一种多视点视频的处理方法 |
JP2011223562A (ja) * | 2010-03-23 | 2011-11-04 | Fujifilm Corp | 撮像装置 |
JP2012212975A (ja) * | 2011-03-30 | 2012-11-01 | Nikon Corp | 撮像装置および撮像装置の制御プログラム |
-
2012
- 2012-03-12 CN CN201280012222.4A patent/CN103430094B/zh active Active
- 2012-03-12 WO PCT/JP2012/001704 patent/WO2012132270A1/ja active Application Filing
- 2012-03-12 KR KR1020137028610A patent/KR20140023953A/ko not_active Application Discontinuation
- 2012-03-12 JP JP2013507129A patent/JP5942984B2/ja active Active
- 2012-03-12 US US14/008,838 patent/US9854224B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US9854224B2 (en) | 2017-12-26 |
CN103430094A (zh) | 2013-12-04 |
CN103430094B (zh) | 2017-03-01 |
JP5942984B2 (ja) | 2016-06-29 |
US20140055571A1 (en) | 2014-02-27 |
WO2012132270A1 (ja) | 2012-10-04 |
KR20140023953A (ko) | 2014-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5915537B2 (ja) | 撮像素子、及び、撮像装置 | |
JP5804055B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
WO2013136819A1 (ja) | 撮像素子、撮像装置および撮像システム | |
JP5942984B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP5979134B2 (ja) | 画像処理装置および画像処理プログラム | |
WO2013114895A1 (ja) | 撮像装置 | |
WO2013057859A1 (ja) | 撮像素子 | |
JP6197316B2 (ja) | 撮像素子および撮像装置 | |
JP5874729B2 (ja) | 撮像装置 | |
JP5874334B2 (ja) | 画像処理装置、撮像装置、画像処理プログラムおよび撮像装置の制御プログラム | |
JP5979137B2 (ja) | 撮像装置および撮像装置の制御プログラム | |
JP5887845B2 (ja) | 画像処理方法および画像処理プログラム | |
JP6476630B2 (ja) | 撮像装置 | |
JP2012212975A (ja) | 撮像装置および撮像装置の制御プログラム | |
JP5978737B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP6205770B2 (ja) | 撮像素子および撮像システム | |
JP2014107594A (ja) | 撮像素子および撮像装置 | |
JP2013090265A (ja) | 画像処理装置および画像処理プログラム | |
JP5978735B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP6051568B2 (ja) | 撮像素子および撮像装置 | |
JP5991461B2 (ja) | 撮像装置およびその撮像プログラム | |
JP2013150055A (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP2014085608A (ja) | 撮像装置 | |
JP2013162362A (ja) | 撮像装置および撮像プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150302 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160426 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160509 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5942984 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |