JP6131546B2 - 画像処理装置、撮像装置および画像処理プログラム - Google Patents
画像処理装置、撮像装置および画像処理プログラム Download PDFInfo
- Publication number
- JP6131546B2 JP6131546B2 JP2012183511A JP2012183511A JP6131546B2 JP 6131546 B2 JP6131546 B2 JP 6131546B2 JP 2012183511 A JP2012183511 A JP 2012183511A JP 2012183511 A JP2012183511 A JP 2012183511A JP 6131546 B2 JP6131546 B2 JP 6131546B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- parallax
- color
- image
- pixel value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 88
- 238000003384 imaging method Methods 0.000 title claims description 40
- 238000000034 method Methods 0.000 claims description 107
- 238000004364 calculation method Methods 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 29
- 238000012935 Averaging Methods 0.000 claims description 20
- 230000003287 optical effect Effects 0.000 claims description 18
- 238000003672 processing method Methods 0.000 claims 11
- 238000006243 chemical reaction Methods 0.000 description 80
- 238000009826 distribution Methods 0.000 description 68
- 238000012937 correction Methods 0.000 description 44
- 230000004907 flux Effects 0.000 description 35
- 238000010586 diagram Methods 0.000 description 29
- 230000003252 repetitive effect Effects 0.000 description 28
- 210000001747 pupil Anatomy 0.000 description 15
- 239000003086 colorant Substances 0.000 description 12
- 230000004304 visual acuity Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 230000007423 decrease Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 238000006073 displacement reaction Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000013213 extrapolation Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000008033 biological extinction Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 229910004298 SiO 2 Inorganic materials 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14643—Photodiode arrays; MOS imagers
- H01L27/14645—Colour imagers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/15—Processing image signals for colour aspects of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
Description
[先行技術文献]
[特許文献]
[特許文献1] 特開2003−7994号公報
−−−Bayer型G視差画素配列−−−
図1の上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。その逆格子空間の周波数解像領域も各色と各視差の組み合わせについて示す。周波数をfとすると、k=2πfで表される波数kのk空間で記述している。周波数解像域は、逆格子空間の単位胞(ウィグナー・ザイツ・セル)を表す第一ブリルアンゾーンによって記述される。以下の処理によって、視差なしの中間画像(基準画像)で周波数解像が外側に伸びてナイキスト周波数に近づく効果を得ることができる。
フローチャート
1)色・視差多重化モザイク画像データ入力
2)色・視差モザイク画像のグローバル・ゲインバランス補正
3)仮の視差画像の生成
4)左右の局所照度分布補正による視差なし色モザイク画像の生成
(ローカル・ゲインバランス補正)
5)視差なし基準画像の生成
6)実際の視差画像の生成
7)出力色空間への変換
1)色・視差多重化モザイク画像データ入力
図1の色と視差の多重化された単板式モザイク画像:M(x,y)
階調はA/D変換によって出力された線形階調であるものとする。すなわち、光量に比例した画素値を持つ。これをRAWデータと呼ぶこともある。
空間周波数解像度の低い分解能の左視差画像と右視差画像を生成する。
左視差画素ばかりを集めたG色面内の単純平均補間を行う。隣接に存在する画素値を用いて、距離の比に応じて線形補間を行う。同様に、右視差画素ばかりを集めたG色面内の単純平均補間を行う。すなわち、Ltmosaic(x,y)からLt(x,y)を、Rtmosaic(x,y)からRt(x,y)を生成する。
仮の左視差画像:Lt(x,y)
仮の右視差画像:Rt(x,y)
なお、仮の左視差画像Lt(x,y)と仮の右視差画像Rt(x,y)を作るときは、信号面内での方向判定を導入して高精細に行ってもよい。
(ローカル・ゲインバランス補正)
次にステップ1で行ったグローバル・ゲイン補正と同様の考え方で、画素単位のローカル・ゲイン補正を行うことによって、画面内の左視差画素と画面内の右視差画素の照度を合わせる。そうして、ゲイン整合のとれた新しいBayer面を作成する。これは平均値と置き換えることと等価であり、視差の消滅したBayer面が出来上がる。これをMN(x,y)と書くことにする。
この場合も、各画素の基準点として揃える目標値の設定方法に、相加平均を選ぶ方法と相乗平均を選ぶ方法の2種類が存在する。
こうしてG成分の照度バランスが揃い、視差の消滅したBayer面MN(x,y)から、従来の色補間の技術を用いてセンサーが持つ画素数相当のナイキスト周波数にまで分解能をもつ視差なしのカラー画像を中間画像として生成することができる。例えば、公知のBayer補間技術の最も優れた例として、本出願人と同一発明者のUS公開2010/021853に示される補間アルゴリズムがある。この技術には、本出願人と同一発明者の方向判定の分解能を上げて縦横のナイキスト周波数を解像する技術USP6,836,572や、補間値算出時の斜め方向の分解能を上げる技術USP7,236,628、色判定法による適応的偽色対策技術と方向判定の分解能を上げる技術USP7,565,007、色勾配判定法による適応的偽色対策技術USP7,391,903と方向判定の分解能を上げる技術への適用が総合的に用いられた最良の高性能デモザイク技術が導入されている。
上述の高解像なBayer補間を行うために、更に均等ノイズ空間を実現する階調変換を行って、補間用のガンマ空間(画像処理空間)で、補間値の予測を行う。これは本出願人と同一発明者のUSP7,957,588によって導入された方法である。
によって行われる。
ここに、y=f(x)の階調特性は、
である。正のオフセット値εは、暗電流ノイズ成分が増える高感度の撮影条件になるほど大きな値を設定する。
色補間処理の部分については、本出願人と同一発明者のUSP7,957,588(WO2006/006373)に示された簡易な処理だけをもう一度、書き写す。ただし、(x,y)は[i,j]の記号を用いて説明する。また、階調変換後のMN面上のG成分はG、R,B成分はZの記号を用いて参照する。
CPUは、画素位置[i,j]で示されるG画素でない画素(R画素もしくはB画素)に関して、縦方向の類似度CvN[i,j]、および横方向の類似度ChN[i,j]をそれぞれ次式(3)、(4)により算出する。
CPUは、判定した類似方向に基づき、R成分もしくはB成分の凸凹情報を利用してG成分の補間を行う。すなわち、周辺のG成分の内分点補間だけでは予測できない外分点に補間すべきか否かの情報を補間対象位置に存在する他の色成分の情報と近傍に位置するそれと同じ色成分の情報を見て、画像構造が上に凸なのか下に凸なのかを判断することによって得ることができる。すなわち、他の色成分のサンプリングによって得られた高周波成分の情報を補間対象色成分に重畳する。G色補完は、WO2006/006373のたとえば図4で示される中央のR画素の位置[i,j]に対して、縦方向類似の場合は次式(6)および(9)により算出し、横方向類似の場合は次式(7)および(10)により算出する。B画素の位置に対してG色補間を行う場合の画素位置は、WO2006/006373の図5によって示される。
CPUは、類似の方向が縦横両方向と分類されている場合は、上式(9)および(10)によりG色補間値をそれぞれ算出し、算出された2つのG色補間値の平均をとってG色補間値とする。
R色補間は、WO2006/006373のたとえば図6で示されるR画素の位置[i,j]以外の画素位置[i+1,j]、[i,j+1]、[i+1,j+1]に対して、それぞれ次式(11)〜(13)により算出される。このとき、上述したG補間により得られた全ての画素位置に対応するG成分信号値(WO2006/006373の図7)の凸凹情報が利用される。
B成分補間についてもR成分と同様に補間処理を行う。WO2006/006373のたとえば図8で示されるB画素の位置[i,j]以外の画素位置[i+1,j]、[i,j+1]、[i+1,j+1]に対して、それぞれ次式(14)〜(16)により算出される。このとき、上述したG補間により得られた全ての画素位置に対応するG成分信号値(WO2006/006373の図9)の凸凹情報が利用される。
Bayer補間されたRGB各色面に対して、ステップ5−1の逆階調変換を施し、線形階調のRGBデータに戻す。
こうして、得られた視差なしのRGBカラー画像をRN(x,y)、GN(x,y)、BN(x,y)によって表す。これらは線形階調で表されたRGBデータである。
ステップ3で生成した解像力の低い仮の左視差画像Lt(x,y)とステップ5で中間処理として生成した解像力の高い視差なしのカラー画像RN(x,y)、GN(x,y)、BN(x,y)を用いて、実際に出力する解像力の高い左視差のカラー画像RLt(x,y)、GLt(x,y)、BLt(x,y)を生成する。同様に、ステップ3で生成した解像力の低い仮の右視差画像Rt(x,y)とステップ5で中間処理として生成した解像力の高い視差なしのカラー画像RN(x,y)、GN(x,y)、BN(x,y)を用いて、実際に出力する解像力の高い右視差のカラー画像RRt(x,y)、GRt(x,y)、BRt(x,y)を生成する。これは、仮の視差画像が持つ視差成分を重畳することによって変位処理を実現するため、視差変調と呼ぶことができる。
こうして得られた高解像な視差なしの中間カラー画像RN(x,y)、GN(x,y)、BN(x,y)と高解像の左視差のカラー画像RLt(x,y)、GLt(x,y)、BLt(x,y)、高解像の右視差のカラー画像RRt(x,y)、GRt(x,y)、BRt(x,y)のそれぞれをセンサーの分光特性のカメラRGBから標準的なsRGB色空間へ色マトリックス変換とガンマ変換を行って出力色空間の画像として出力する。
単眼瞳分割方式特有の特性を踏まえた解決策として、左右間の照度分布の不一致と視差の存在による被写体位置の不一致を同時に消滅させる効果。すなわち、ボケの中にだけ視差が発生するという被写体像の性質をうまく利用して、平均操作によって空間解像をできるだけ落とすことなく、視差ずれと照度差の2つの問題を一致させて、視差なしの中間画像を生成することができる。
効果2
従来のデモザイク技術の資産をそのまま引き継いで利用することができ、高解像な画像を生成することができる。
視差なし画素を全開口から半開口に変える説明図。図6。
実施形態1〜3では視差なし画素が、左視差画素と右視差画素の開口面積の和である全開口のときのボケ幅を持っているので、視差あり画素において視差なし画素値を生成するための照度分布補正では、左と右の視差画素値の相加平均をとることによって、撮像された視差なし画素の被写体像のボケ幅と一致させる方策をとった。更に、最後に視差変調を加えるとき、視差なしカラー画像が全開口のボケ幅と一致する被写体像を形成しているので、比を一定に保つ視差変調の分母には左視点像と右視点像の相加平均による全開口のボケ幅を持った像を基準点にとり、視差変調後の左右のカラー画像が再度、半開口のボケ幅をもつ像となるように変調を加えた。
この考え方は、以下の実施形態でも全て共通である。
−−−Bayer型RGB疎な視差画素配列−−−
図4の上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。その逆格子空間の周波数解像領域も各色と各視差の組み合わせについて示す。この配列は、単眼瞳分割方式のボケた被写体領域にしか視差を生じないという性質を捉えて、視差画素の密度を疎な配置にし、残りの画素を視差なし画素にできるだけ割り当てた構造をした撮像素子である。視差なし画素も視差あり画素もBayer配列を基本構造としており、左視差画素にも右視差画素にもR:G:B=1:2:1のカラーフィルタを配置した構造をしている。すなわち、実施形態1よりも更に原信号で捉える視差なしの中間画像の解像力を重視し、その高周波成分を視差変調によって、左視差画素と右視差画素に重畳することによって高解像な立体画像を得ようとするものである。したがって、非合焦域においても高解像な2D画像と3D画像を得る能力をもつ色・視差配列である。
フローチャート:実施形態1と同じ。
1)色・視差多重化モザイク画像データ入力
図4の色と視差の多重化された単板式モザイク画像:M(x,y)
階調はA/D変換によって出力された線形階調であるものとする。
R成分の視差なし画素の信号面をRN_mosaic(x,y)、
R成分の左視差画素の信号面をRLt_mosaic(x,y)、
R成分の右視差画素の信号面をRRt_mosaic(x,y)、
G成分の左視差画素の信号面をGN_mosaic(x,y)、
G成分の視差なし画素の信号面をGLt_mosaic(x,y)、
G成分の右視差画素の信号面をGRt_mosaic(x,y)、
B成分の視差なし画素の信号面をBN_mosaic(x,y)、
B成分の左視差画素の信号面をBLt_mosaic(x,y)、
B成分の右視差画素の信号面をBRt_mosaic(x,y)
と表すことにする。
空間周波数解像度の低い分解能の仮の左視差画像と仮の右視差画像を生成する。
左視差画素ばかりを集めたG色面内の単純平均補間を行う。近接して存在する画素値を用いて、距離の比に応じて線形補間を行う。同様に、右視差画素ばかりを集めたG色面内の単純平均補間を行う。同様に、視差なし画素ばかりを集めたG色面内の単純平均補間を行う。同様の処理をR,G,Bの各々について行う。すなわち、RLt_mosaic(x,y)からRLt(x,y)を、RRt_mosaic(x,y)からRRt(x,y)を、RN_mosaic(x,y)からRN(x,y)を、GLt_mosaic(x,y)からGLt(x,y)を、GRt_mosaic(x,y)からGRt(x,y)を、GN_mosaic(x,y)からGN(x,y)を、BLt_mosaic(x,y)からBLt(x,y)を、BRt_mosaic(x,y)からGRt(x,y)を、BN_mosaic(x,y)からGN(x,y)を生成する。
仮のR成分の視差なし画像:RN(x,y)
仮のG成分の視差なし画像:GN(x,y)
仮のB成分の視差なし画像:BN(x,y)
仮のR成分の左視差画像:RLt(x,y)
仮のG成分の左視差画像:GLt(x,y)
仮のB成分の左視差画像:BLt(x,y)
仮のR成分の右視差画像:RRt(x,y)
仮のG成分の右視差画像:GRt(x,y)
仮のB成分の右視差画像:BRt(x,y)
なお、仮の視差なし画像RN(x,y)、GN(x,y)、BN(x,y)を作るときは、信号面内での方向判定を導入して高精細に行ってもよい。
(ローカル・ゲインバランス補正)
次にステップ1で行ったグローバル・ゲイン補正と同様の考え方で、画素単位のローカル・ゲイン補正を行うことによって、まず画面内の左視差画素と画面内の右視差画素の照度を合わせる。この操作によって左右間の視差を消滅させる。その上で左右平均をとった信号面と視差なし画素の撮像信号面との間で更に照度を合わせる。そうして、全ての画素でゲイン整合のとれた新しいBayer面を作成する。これは平均値と置き換えることと等価であり、視差の消滅したBayer面が出来上がる。これをMN(x,y)と書くことにする。
実施形態1と同様である。
6)実際の視差画像の生成
ステップ3で生成した解像力の低い仮の左視差のカラー画像RLt(x,y)、GLt(x,y)、BLt(x,y)とステップ5で中間処理として生成した解像力の高い視差なしのカラー画像RN(x,y)、GN(x,y)、BN(x,y)を用いて、実際に出力する解像力の高い左視差のカラー画像R'Lt(x,y)、G'Lt(x,y)、B'Lt(x,y)を生成する。同様に、ステップ3で生成した解像力の低い仮の右視差のカラー画像RRt(x,y)、GRt(x,y)、BRt(x,y)とステップ5で中間処理として生成した解像力の高い視差なしのカラー画像RN(x,y)、GN(x,y)、BN(x,y)を用いて、実際に出力する解像力の高い右視差のカラー画像R'Rt(x,y)、G'Rt(x,y)、B'Rt(x,y)を生成する。
実施形態1と同様である。
<実施形態3>
−−−モノクロ疎な視差画素配列−−−
図5の上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。その逆格子空間の周波数解像領域も各視差の組み合わせについて示す。この配列は、単眼瞳分割方式のボケた被写体領域にしか視差を生じないという性質を捉えて、視差画素の密度を疎な配置にし、残りの画素を視差なし画素にできるだけ割り当てた構造をしたモノクロ撮像素子である。
1)視差多重化モザイク画像データ入力
2)視差モザイク画像のグローバル・ゲインバランス補正
3)仮の視差画像の生成
4)左右の局所照度分布補正による視差なし基準画像の生成
(ローカル・ゲインバランス補正)
5)実際の視差画像の生成
7)出力空間への変換
空間周波数解像度の低い分解能の仮の左視差画像と仮の右視差画像を生成する。
左視差画素ばかりを集めた信号面内の単純平均補間を行う。近接して存在する画素値を用いて、距離の比に応じて線形補間を行う。同様に、右視差画素ばかりを集めた信号面内の単純平均補間を行う。同様に、視差なし画素ばかりを集めた信号面内の単純平均補間を行う。すなわち、Ltmosaic(x,y)からLt(x,y)を、Rtmosaic(x,y)からRt(x,y)を、Nmosaic(x,y)から N(x,y)を生成する。
仮の視差なし画像:N(x,y)
仮の左視差画像:Lt(x,y)
仮の右視差画像:Rt(x,y)
なお、仮の視差なし画像N(x,y)を作るときは、信号面内での方向判定を導入して高精細に行ってもよい。
(ローカル・ゲインバランス補正)
次にステップ1で行ったグローバル・ゲイン補正と同様の考え方で、画素単位のローカル・ゲイン補正を行うことによって、まず画面内の左視差画素と画面内の右視差画素の照度を合わせる。この操作によって左右間の視差を消滅させる。その上で左右平均をとった信号面と視差なし画素の撮像信号面との間で更に照度を合わせる。そうして、全ての画素でゲイン整合のとれた新しい視差なしの基準画像面を作成する。これは平均値と置き換えることと等価であり、視差の消滅した中間画像面が出来上がる。これをN(x,y)と書くことにする。
ステップ3で生成した解像力の低い仮の左視差画像Lt(x,y)とステップ5で中間処理として生成した解像力の高い視差なしのモノクロ画像N(x,y)を用いて、実際に出力する解像力の高い左視差のモノクロ画像Lt'(x,y)を生成する。同様に、ステップ3で生成した解像力の低い仮の右視差画像Rt(x,y)とステップ5で中間処理として生成した解像力の高い視差なしのモノクロ画像N(x,y)を用いて、実際に出力する解像力の高い右視差のカラー画像Rt'(x,y)を生成する。
こうして得られた高解像な視差なしの中間モノクロ画像N(x,y)と高解像の左視差のモノクロ画像Lt'(x,y)、高解像の右視差のモノクロ画像Rt'(x,y)のそれぞれを適当なガンマ変換を行って出力空間の画像として出力する。
<尚書き>
−−−従来の全て視差画素配列−−−
従来技術の特許文献1に示された左視差画素と右視差画素のみが敷き詰められたBayer配列の撮像素子に対しても、実施形態1で示したG視差画素と同様の処理をR視差画素とB視差画素に対しても行い、視差のないBayer配列を作ることができる。それに対して、従来のBayer補間を施したものを中間画像として生成し、R,G,B各々から得られる解像度の低い視差画像を利用して、実施形態2と同様の手法を用いて視差変調を加えて、高解像の左視差カラー画像と右視差カラー画像を作ることができる。こうして従来型の撮像素子で生じる左右の視差画素の間での照度ムラ問題に対処することができる。
図7は、デジタルカメラ10の構成を説明する図である。デジタルカメラ10は、撮影光学系としての撮影レンズ20を備え、光軸21に沿って入射する被写体光束を撮像素子100へ導く。撮影レンズ20は、デジタルカメラ10に対して着脱できる交換式レンズであっても構わない。デジタルカメラ10は、撮像素子100、制御部201、A/D変換回路202、メモリ203、駆動部204、画像処理部205、メモリカードIF207、操作部208、表示部209、LCD駆動回路210およびAFセンサ211を備える。
このようにモノクロ6視差の場合、視差なしの2D中間画像を作成するために、視差消滅と照度ムラに対処する方法は実施形態3の延長線上で考えることができる。すなわち、視差を消滅させるためにIm_fとIm_aとの間で相加平均をとった画像データをIm_afとする。同様にIm_eとIm_bとの間で相加平均をとったものをIm_beとする。更に、Im_dとIm_cとの間で相加平均をとったものをIm_cdとする。これら視差の消滅した3つの画像の照度レベルを合わせるため最終出力画像Im_outとして、3つの画像の相加平均をとる。すなわち、Im_out=(Im_af+Im_be+Im_cd)/3。こうして得られる出力画像Im_outは、照度差の影響が取り除かれた視差なしの2D画像で、6視差に亘るボケ幅を全て1つに合わせた広いボケ幅、すなわち全開口マスクを備えた視差なし画素と同じボケ幅の被写体の画像が得られる。
カラーフィルタ102と視差画像について説明する。図12は、ベイヤー配列を説明する図である。図示するように、ベイヤー配列は、緑フィルタが左上と右下の2画素に、赤フィルタが左下の1画素に、青フィルタが右上の1画素に割り当てられる配列である。ここでは、緑フィルタが割り当てられた左上の画素をGb画素と、同じく緑色フィルタが割り当てられた右下の画素をGr画素とする。また、赤色フィルタが割り当てられた画素をR画素と、青色が割り当てられた画素をB画素とする。そして、Gb画素およびB画素が並ぶ横方向をGb行とし、R画素およびGr画素が並ぶ横方向をGr行とする。また、Gb画素およびR画素が並ぶ縦方向をGb列とし、B画素およびGr画素が並ぶ縦方向をGr列とする。
Claims (22)
- 第1〜第n(n≧2)の色成分からなる表色系で表され、1つの画素に1つの色成分の色情報を有する複数の画素からなり、第1の色成分を有する画素には、基準方向に対して左方向の視差を生み出す開口マスクを備えた左視差画素と右方向の視差を生み出す開口マスクを備えた右視差画素の少なくとも2種類の画素を配置し、第2〜第nの色成分を有する画素には、基準方向の視点を生み出す開口マスクを備えた視差なし画素の少なくとも1種類の画素を配置した画素配列からなる撮像素子を用いて、1つの光学系を通して被写体像を左方向の視点と右方向の視点と基準方向の視点を同時にそれぞれ異なる画素に撮像した第1の画像を入力し、
前記各々の画素に対して、基準方向の視点に関する第1〜第nの色成分の色情報を有する第2の画像に変換する画像処理方法であって、
第1の画像の第1の色成分の左視差画素の位置に、撮像された第1の色成分の右視差画素の色情報を用いて、右方向の視点に関する第1の色成分の色情報を生成する手順と、
第1の画像の第1の色成分の左視差画素の位置上で、撮像素子によって撮像された左方向の視点に関する第1色成分の色情報と、前記生成された右方向の視点に関する第1色成分の色情報との2視点の間の平均値を算出する手順と、
第1の画像の第1の色成分の右視差画素の位置に、撮像された第1の色成分の左視差画素の色情報を用いて、左方向の視点に関する第1の色成分の色情報を生成する手順と、
第1の画像の第1の色成分の右視差画素の位置上で、撮像素子によって撮像された右方向の視点に関する第1色成分の色情報と、前記生成された左方向の視点に関する第1色成分の色情報との2視点の間の平均値を算出する手順と、
前記算出された第1の色成分の2視点の間の平均値の色情報と、第1の画像の第2〜第nの色成分の色情報を合わせて、1つの画素に1つの色成分の色情報を有する第3の画像を出力する手順と、
前記第3の画像の色情報に基づいて、前記第2の画像を生成する手順と
を備えたことを特徴とする画像処理方法。 - 第1〜第n(n≧1)の色成分からなる表色系で表され、1つの画素に1つの色成分の色情報を有する複数の画素からなり、第1の色成分を有する画素には、基準方向に対して左方向の視差を生み出す開口マスクを備えた左視差画素と、右方向の視差を生み出す開口マスクを備えた右視差画素と、基準方向の視点を生み出す開口マスクを備えた視差なし画素の少なくとも3種類の画素を配置した画素配列からなる撮像素子を用いて、1つの光学系を通して被写体像を左方向の視点と右方向の視点と基準方向の視点を同時にそれぞれ異なる画素に撮像した第1の画像を入力し、
前記各々の画素に対して、基準方向の視点に関する第1〜第nの色成分の色情報を有する第2の画像に変換する画像処理方法であって、
第1の画像の第1の色成分の左視差画素の位置に、撮像された第1の色成分の右視差画素の色情報を用いて、右方向の視点に関する第1の色成分の色情報を生成する手順と、
第1の画像の第1の色成分の左視差画素の位置に、撮像された第1の色成分の視差なし画素の色情報を用いて、基準方向の視点に関する第1の色成分の色情報を生成する手順と、
第1の画像の第1の色成分の左視差画素の位置上で、撮像素子によって撮像された左方向の視点に関する第1色成分の色情報と、前記生成された右方向の視点に関する第1色成分の色情報との2視点の間の平均値を算出する手順と、
第1の画像の第1の色成分の左視差画素の位置上で、前記算出された左方向の視点と右方向の視点の2視点の間の第1色成分の平均値の色情報と、前記生成された基準方向の視点に関する第1色成分の色情報との3視点の間の平均値を算出する手順と、
第1の画像の第1の色成分の右視差画素の位置に、撮像された第1の色成分の左視差画素の色情報を用いて、左方向の視点に関する第1の色成分の色情報を生成する手順と、
第1の画像の第1の色成分の右視差画素の位置に、撮像された第1の色成分の視差なし画素の色情報を用いて、基準方向の視点に関する第1の色成分の色情報を生成する手順と、
第1の画像の第1の色成分の右視差画素の位置上で、撮像素子によって撮像された右方向の視点に関する第1色成分の色情報と、前記生成された左方向の視点に関する第1色成分の色情報との2視点の間の平均値を算出する手順と、
第1の画像の第1の色成分の右視差画素の位置上で、前記算出された左方向の視点と右方向の視点の2視点の間の第1色成分の平均値の色情報と、前記生成された基準方向の視点に関する第1色成分の色情報との3視点の間の平均値を算出する手順と、
第1の画像の第1の色成分の視差なし画素の位置に、撮像された第1の色成分の左視差画素の色情報を用いて、左方向の視点に関する第1の色成分の色情報を生成する手順と、
第1の画像の第1の色成分の視差なし画素の位置に、撮像された第1の色成分の右視差画素の色情報を用いて、右方向の視点に関する第1の色成分の色情報を生成する手順と、
第1の画像の第1の色成分の視差なし画素の位置上で、戦記生成された左方向の視点に関する第1色成分の色情報と、前記生成された右方向の視点に関する第1色成分の色情報との2視点の間の平均値を算出する手順と、
第1の画像の第1の色成分の視差なし画素の位置上で、前記算出された左方向の視点と右方向の視点の2視点の間の第1色成分の平均値の色情報と、撮像素子によって撮像された基準方向の視点に関する第1色成分の色情報との3視点の間の平均値を算出する手順と、
前記算出された第1の色成分の3視点の間の平均値の色情報と、第1の画像のその他の色成分の色情報を合わせて、1つの画素に1つの色成分の色情報を有する第3の画像を出力する手順と、
前記第3の画像の色情報に基づいて、前記第2の画像を生成する手順と
を備えたことを特徴とする画像処理方法。 - 請求項1、2に記載の画像処理方法は更に、
第1の色成分の左視差画素の色情報を用いて、各々の画素に第1の色成分の左方向の視点の画像を生成する手順と、
第1の色成分の右視差画素の色情報を用いて、各々の画素に第1の色成分の右方向の視点の画像を生成する手順と、
前記生成された第1の色成分の左方向の視点の画像と、前記第1〜第nの色成分の基準方向の視点の第2の画像を少なくとも用いて、第1〜第nの色成分を有した左方向の視点の画像を新たに生成する手順と、
前記生成された第1の色成分の右方向の視点の画像と、前記第1〜第nの色成分の基準方向の視点の第2の画像を少なくとも用いて、第1〜第nの色成分を有した右方向の視点の画像を新たに生成する手順と
を備えたことを特徴とする。 - 請求項1、2に記載の画像処理方法において、
前記撮像素子の視差なし画素の開口マスクが、左視差画素の開口マスク及び右視差の開口マスクを合わせた2倍の開口面積を有しているとき、前記左方向の視点と前記右方向の視点の2視点の間の平均値は相加平均を算出することを特徴とする。 - 請求項1、2に記載の画像処理方法において、
前記撮像素子の視差なし画素の開口マスクが、左視差画素の開口マスク及び右視差の開口マスクと同一の開口面積を有しているとき、前記左方向の視点と前記右方向の視点の2視点の間の平均値は相乗平均を算出することを特徴とする。 - 請求項2に記載の画像処理方法において、
前記3視点の間の平均値は相乗平均を算出することを特徴とする。 - 請求項1、2に記載の画像処理方法において、
前記第3の画像から第2の画像を生成する手順は、
前記第3の画像の色情報を用いて、少なくとも2方向に関する類似度を算出する類似度算出手順と、
前記類似度の大きさを比較して類似性の高い方向を判定する類似性判定手順と、
前記類似性の高い方向の色情報を用いて第3の画像に欠落する色成分を補間する補間手順と
を備えることを特徴とする。 - 請求項7に記載の画像処理方法において、
前記類似度算出手順は、同じ色成分の間の類似度を算出する同色間類似度算出部と、異なる色成分間の類似度を算出する異色間類似度算出部を備える。 - 請求項1、2に記載の画像処理方法において、
前記第3の画像から第2の画像を生成手順は、
第3の画像に欠落する色成分を、欠落する色成分の色情報の他に、欠落する色成分とは異なる他の色成分の色情報も同時に用いて補間値を算出する補間手順を備えることを特徴とする。 - 被写体像のカラーを構成する複数の色成分のうち第1成分色の第1フィルタおよび基準方向に対応する視差なし開口部を有する第1画素の第1画素値と、前記複数の色成分のうち第2成分色の第2フィルタおよび前記基準方向に対する一方向に視差を生じさせる視差開口部を有する第2画素の第2画素値と、前記第2フィルタおよび前記一方向とは反対の他方向に視差を生じさせる視差開口部を有する第3画素の第3画素値とを含む第1画像データを取得する取得部と、
前記第2画素の画素位置に対し、当該画素位置における前記第2画素値と、周辺の前記第3画素の前記第3画素値を用いて算出した仮想的な前記第3画素値とを平均化処理した第4画素値と、前記第3画素の画素位置に対し、当該画素位置における前記第3画素値と、周辺の前記第2画素の前記第2画素値を用いて算出した仮想的な前記第2画素値とを平均化処理した第5画素値とを算出する算出部と、
前記第1画素値、前記第4画素値および前記第5画素値を用いて、少なくとも前記第1成分色と前記第2成分色の色情報を含む前記基準方向における2D画像データである第2画像データを生成する画像生成部と
を備える画像処理装置。 - 被写体像のカラーを構成する複数の色成分のうち第1成分色の第1フィルタおよび基準方向に対応する視差なし開口部を有する第1画素の第1画素値と、前記複数の色成分のうち第2成分色の第2フィルタおよび前記基準方向に対する一方向に視差を生じさせる視差開口部を有する第2画素の第2画素値と、前記第2フィルタおよび前記一方向とは反対の他方向に視差を生じさせる視差開口部を有する第3画素の第3画素値と、前記第2フィルタおよび前記基準方向に対応する視差なし開口部を有する第4画素の第4画素値とを含む第1画像データを取得する取得部と、
前記第2画素の画素位置に対し、当該画素位置における前記第2画素値と、周辺の前記第3画素の前記第3画素値を用いて算出した仮想的な前記第3画素値と、周辺の前記第4画素の前記第4画素値を用いて算出した仮想的な前記第4画素値とを平均化処理した第5画素値と、前記第3画素の画素位置に対し、当該画素位置における前記第3画素値と、周辺の前記第2画素の前記第2画素値を用いて算出した仮想的な前記第2画素値と、周辺の前記第4画素の前記第4画素値を用いて算出した仮想的な前記第4画素値とを平均化処理した第6画素値と、前記第4画素の画素位置に対し、当該画素位置における前記第4画素値と、周辺の前記第2画素の前記第2画素値を用いて算出した仮想的な前記第2画素値と、周辺の前記第3画素の前記第3画素値を用いて算出した仮想的な前記第3画素値とを平均化処理した第7画素値とを算出する算出部と、
前記第1画素値、前記第5画素値、前記第6画素値および前記第7画素値を用いて、少なくとも前記第1成分色と前記第2成分色の色情報を含む前記基準方向における2D画像データである第2画像データを生成する画像生成部と
を備える画像処理装置。 - 前記画像生成部は、前記第2画素値と前記算出部が算出した仮想的な前記第2画素値とを含む第1視差画像データ、前記第3画素値と前記算出部が算出した仮想的な前記第3画素値とを含む第2視差画像データ、および前記第2画像データを用いて、少なくとも前記第1成分色と前記第2成分色の色情報を含む、前記一方向と前記他方向における3D画像データである第3画像データを生成する請求項10または11に記載の画像処理装置。
- 前記算出部は、前記平均化処理として相加平均を用いる請求項10から12のいずれか1項に記載の画像処理装置。
- 前記算出部は、前記第1画素の視差なし開口部の開口面積が、前記第2画素の視差開口部の開口面積と前記第3画素の視差開口部の開口面積の和に等しい場合に、前記平均化処理として相加平均を用いる請求項13に記載の画像処理装置。
- 前記算出部は、前記平均化処理として相乗平均を用いる請求項10から12のいずれか1項に記載の画像処理装置。
- 前記算出部は、前記第1画素の視差なし開口部の開口面積が、前記第2画素の視差開口部の開口面積、前記第3画素の視差開口部の開口面積と等しい場合に、前記平均化処理として相乗平均を用いる請求項15に記載の画像処理装置。
- 前記画像生成部は、各々の画素位置に前記複数の色成分のそれぞれに対する画素値を有する前記第2画像データを生成する場合は、対象画素位置に対して少なくとも2方向の画素位置に存在する画素の画素値を用いて演算される類似度に基づいて補間処理に用いる補間処理画素を定め、前記補間処理画素の画素値を用いて前記対象画素位置において欠落する色成分の画素値を算出する請求項10から16のいずれか1項に記載の画像処理装置。
- 前記画像生成部は、前記類似度を、前記複数の色成分のうち同じ色成分の画素値を用いて演算する請求項17に記載の画像処理装置。
- 前記画像生成部は、前記類似度を、前記複数の色成分のうち異なる色成分の画素値を用いて演算する請求項17に記載の画像処理装置。
- 前記被写体像を撮像する撮像素子と、
請求項10から19のいずれか1項に記載の画像処理装置と
を備える撮像装置であって、
前記第1画像データは、前記撮像素子の出力に基づいて生成される撮像装置。 - 被写体像のカラーを構成する複数の色成分のうち第1成分色の第1フィルタおよび基準方向に対応する視差なし開口部を有する第1画素の第1画素値と、前記複数の色成分のうち第2成分色の第2フィルタおよび前記基準方向に対する一方向に視差を生じさせる視差開口部を有する第2画素の第2画素値と、前記第2フィルタおよび前記一方向とは反対の他方向に視差を生じさせる視差開口部を有する第3画素の第3画素値とを含む第1画像データを取得する取得ステップと、
前記第2画素の画素位置に対し、当該画素位置における前記第2画素値と、周辺の前記第3画素の前記第3画素値を用いて算出した仮想的な前記第3画素値とを平均化処理した第4画素値と、前記第3画素の画素位置に対し、当該画素位置における前記第3画素値と、周辺の前記第2画素の前記第2画素値を用いて算出した仮想的な前記第2画素値とを平均化処理した第5画素値とを算出する算出ステップと、
前記第1画素値、前記第4画素値および前記第5画素値を用いて、少なくとも前記第1成分色と前記第2成分色の色情報を含む前記基準方向における2D画像データである第2画像データを生成する画像生成ステップと
をコンピュータに実行させる画像処理プログラム。 - 被写体像のカラーを構成する複数の色成分のうち第1成分色の第1フィルタおよび基準方向に対応する視差なし開口部を有する第1画素の第1画素値と、前記複数の色成分のうち第2成分色の第2フィルタおよび前記基準方向に対する一方向に視差を生じさせる視差開口部を有する第2画素の第2画素値と、前記第2フィルタおよび前記一方向とは反対の他方向に視差を生じさせる視差開口部を有する第3画素の第3画素値と、前記第2フィルタおよび前記基準方向に対応する視差なし開口部を有する第4画素の第4画素値とを含む第1画像データを取得する取得ステップと、
前記第2画素の画素位置に対し、当該画素位置における前記第2画素値と、周辺の前記第3画素の前記第3画素値を用いて算出した仮想的な前記第3画素値と、周辺の前記第4画素の前記第4画素値を用いて算出した仮想的な前記第4画素値とを平均化処理した第5画素値と、前記第3画素の画素位置に対し、当該画素位置における前記第3画素値と、周辺の前記第2画素の前記第2画素値を用いて算出した仮想的な前記第2画素値と、周辺の前記第4画素の前記第4画素値を用いて算出した仮想的な前記第4画素値とを平均化処理した第6画素値と、前記第4画素の画素位置に対し、当該画素位置における前記第4画素値と、周辺の前記第2画素の前記第2画素値を用いて算出した仮想的な前記第2画素値と、周辺の前記第3画素の前記第3画素値を用いて算出した仮想的な前記第3画素値とを平均化処理した第7画素値とを算出する算出ステップと、
前記第1画素値、前記第5画素値、前記第6画素値および前記第7画素値を用いて、少なくとも前記第1成分色と前記第2成分色の色情報を含む前記基準方向における2D画像データである第2画像データを生成する画像生成ステップと
をコンピュータに実行させる画像処理プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012183511A JP6131546B2 (ja) | 2012-03-16 | 2012-08-22 | 画像処理装置、撮像装置および画像処理プログラム |
PCT/JP2013/001746 WO2013136809A1 (ja) | 2012-03-16 | 2013-03-14 | 画像処理装置、撮像装置および画像処理プログラム |
CN201380014377.6A CN104170377B (zh) | 2012-03-16 | 2013-03-14 | 图像处理装置、摄像装置 |
US14/482,397 US10027942B2 (en) | 2012-03-16 | 2014-09-10 | Imaging processing apparatus, image-capturing apparatus, and storage medium having image processing program stored thereon |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012061012 | 2012-03-16 | ||
JP2012061012 | 2012-03-16 | ||
JP2012183511A JP6131546B2 (ja) | 2012-03-16 | 2012-08-22 | 画像処理装置、撮像装置および画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013219737A JP2013219737A (ja) | 2013-10-24 |
JP6131546B2 true JP6131546B2 (ja) | 2017-05-24 |
Family
ID=49160732
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012183511A Active JP6131546B2 (ja) | 2012-03-16 | 2012-08-22 | 画像処理装置、撮像装置および画像処理プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10027942B2 (ja) |
JP (1) | JP6131546B2 (ja) |
CN (1) | CN104170377B (ja) |
WO (1) | WO2013136809A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104322061B (zh) * | 2012-06-22 | 2017-01-18 | 株式会社尼康 | 图像处理装置、摄像装置及图像处理方法 |
WO2014024500A1 (ja) | 2012-08-10 | 2014-02-13 | 株式会社ニコン | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
CN105122793B (zh) | 2013-03-29 | 2017-05-10 | 株式会社尼康 | 图像处理装置、摄像装置及图像处理程序 |
JP5982601B2 (ja) * | 2014-03-18 | 2016-08-31 | 富士フイルム株式会社 | 撮像装置及び合焦制御方法 |
JP6405243B2 (ja) * | 2014-03-26 | 2018-10-17 | キヤノン株式会社 | 焦点検出装置及びその制御方法 |
CN106165398B (zh) | 2014-04-04 | 2019-07-02 | 株式会社尼康 | 摄像元件、摄像装置以及图像处理装置 |
JP6900161B2 (ja) * | 2016-09-14 | 2021-07-07 | キヤノン株式会社 | 焦点調節装置及び撮像装置 |
WO2018066141A1 (ja) * | 2016-10-07 | 2018-04-12 | 株式会社ディー・ディー・エス | 情報処理プログラム及び情報処理装置 |
CN110176280B (zh) * | 2019-05-10 | 2023-06-06 | 北京大学深圳研究生院 | 一种描述材料晶体结构的方法及其应用 |
US11367743B2 (en) * | 2019-10-28 | 2022-06-21 | Omnivision Technologies, Inc. | Image sensor with shared microlens between multiple subpixels |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6836572B2 (en) | 1998-06-01 | 2004-12-28 | Nikon Corporation | Interpolation processing apparatus and recording medium having interpolation processing program recorded therein |
US6396873B1 (en) * | 1999-02-25 | 2002-05-28 | Envision Advanced Medical Systems | Optical device |
JP4599672B2 (ja) | 1999-12-21 | 2010-12-15 | 株式会社ニコン | 補間処理装置および補間処理プログラムを記録した記録媒体 |
CN1312939C (zh) | 2001-01-25 | 2007-04-25 | 株式会社尼康 | 图像处理方法、图像处理程序、图像处理装置 |
JP2003007994A (ja) * | 2001-06-27 | 2003-01-10 | Konica Corp | 固体撮像素子、立体カメラ装置及び測距装置 |
CN100544450C (zh) | 2003-06-12 | 2009-09-23 | 株式会社尼康 | 图像处理方法 |
US7957588B2 (en) * | 2004-07-07 | 2011-06-07 | Nikon Corporation | Image processor and computer program product |
US8233710B2 (en) * | 2005-07-14 | 2012-07-31 | Nikon Corporation | Image processing device and image processing method |
US8274715B2 (en) * | 2005-07-28 | 2012-09-25 | Omnivision Technologies, Inc. | Processing color and panchromatic pixels |
JP4976310B2 (ja) * | 2005-11-22 | 2012-07-18 | パナソニック株式会社 | 撮像装置 |
US20090051790A1 (en) * | 2007-08-21 | 2009-02-26 | Micron Technology, Inc. | De-parallax methods and apparatuses for lateral sensor arrays |
WO2009066770A1 (ja) | 2007-11-22 | 2009-05-28 | Nikon Corporation | デジタルカメラおよびデジタルカメラシステム |
KR101484111B1 (ko) * | 2008-09-25 | 2015-01-19 | 삼성전자주식회사 | 입체 이미지 센서 |
US8913657B2 (en) * | 2008-10-27 | 2014-12-16 | Lg Electronics Inc. | Virtual view image synthesis method and apparatus |
JP5332978B2 (ja) * | 2009-07-07 | 2013-11-06 | ソニー株式会社 | 立体表示装置 |
US8508580B2 (en) * | 2009-07-31 | 2013-08-13 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene |
US8611654B2 (en) * | 2010-01-05 | 2013-12-17 | Adobe Systems Incorporated | Color saturation-modulated blending of exposure-bracketed images |
CN103039066B (zh) | 2010-06-30 | 2016-01-27 | 富士胶片株式会社 | 成像装置、图像处理装置以及图像处理方法 |
CN102934025B (zh) * | 2010-06-30 | 2015-07-22 | 富士胶片株式会社 | 摄像装置及摄像方法 |
JP5628914B2 (ja) | 2010-06-30 | 2014-11-19 | 富士フイルム株式会社 | 撮像装置および撮像方法 |
KR101590146B1 (ko) * | 2010-08-24 | 2016-02-01 | 후지필름 가부시키가이샤 | 고체 촬상 장치 |
JP5513326B2 (ja) * | 2010-09-07 | 2014-06-04 | キヤノン株式会社 | 撮像素子及び撮像装置 |
CN103109536B (zh) | 2010-09-13 | 2015-09-02 | 富士胶片株式会社 | 单眼立体摄像装置、单眼立体摄像装置用阴影校正方法 |
JP5451894B2 (ja) | 2010-09-22 | 2014-03-26 | 富士フイルム株式会社 | 立体撮像装置およびシェーディング補正方法 |
KR20120049636A (ko) * | 2010-11-09 | 2012-05-17 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
US9532033B2 (en) | 2010-11-29 | 2016-12-27 | Nikon Corporation | Image sensor and imaging device |
US8742309B2 (en) * | 2011-01-28 | 2014-06-03 | Aptina Imaging Corporation | Imagers with depth sensing capabilities |
CN104185983B (zh) | 2012-03-16 | 2016-10-26 | 株式会社尼康 | 摄像元件、摄像装置以及摄像系统 |
-
2012
- 2012-08-22 JP JP2012183511A patent/JP6131546B2/ja active Active
-
2013
- 2013-03-14 WO PCT/JP2013/001746 patent/WO2013136809A1/ja active Application Filing
- 2013-03-14 CN CN201380014377.6A patent/CN104170377B/zh active Active
-
2014
- 2014-09-10 US US14/482,397 patent/US10027942B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2013136809A1 (ja) | 2013-09-19 |
JP2013219737A (ja) | 2013-10-24 |
US10027942B2 (en) | 2018-07-17 |
CN104170377A (zh) | 2014-11-26 |
CN104170377B (zh) | 2017-03-08 |
US20150062307A1 (en) | 2015-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6131546B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP5904281B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP5804055B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
EP2845167A1 (en) | CAMERA MODULES PATTERNED WITH pi FILTER GROUPS | |
JP6131545B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP6003983B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
WO2013136819A1 (ja) | 撮像素子、撮像装置および撮像システム | |
US9544570B2 (en) | Three-dimensional image pickup apparatus, light-transparent unit, image processing apparatus, and program | |
JP5979134B2 (ja) | 画像処理装置および画像処理プログラム | |
JP5942984B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
WO2013057859A1 (ja) | 撮像素子 | |
JP6197316B2 (ja) | 撮像素子および撮像装置 | |
JP6692749B2 (ja) | マルチスペクトルカメラ | |
JP5979137B2 (ja) | 撮像装置および撮像装置の制御プログラム | |
JP5982907B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP5978736B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP5874334B2 (ja) | 画像処理装置、撮像装置、画像処理プログラムおよび撮像装置の制御プログラム | |
JP5978737B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP6205770B2 (ja) | 撮像素子および撮像システム | |
JP5978735B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP5978738B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2013090265A (ja) | 画像処理装置および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150709 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161102 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170321 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170403 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6131546 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |