JPWO2014024500A1 - 画像処理方法、画像処理装置、撮像装置および画像処理プログラム - Google Patents
画像処理方法、画像処理装置、撮像装置および画像処理プログラム Download PDFInfo
- Publication number
- JPWO2014024500A1 JPWO2014024500A1 JP2014529320A JP2014529320A JPWO2014024500A1 JP WO2014024500 A1 JPWO2014024500 A1 JP WO2014024500A1 JP 2014529320 A JP2014529320 A JP 2014529320A JP 2014529320 A JP2014529320 A JP 2014529320A JP WO2014024500 A1 JPWO2014024500 A1 JP WO2014024500A1
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- image
- pixel
- image data
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims description 154
- 238000003384 imaging method Methods 0.000 title claims description 37
- 238000003672 processing method Methods 0.000 title claims description 15
- 238000000034 method Methods 0.000 claims abstract description 110
- 230000008569 process Effects 0.000 claims abstract description 31
- 238000001914 filtration Methods 0.000 claims description 15
- 230000003287 optical effect Effects 0.000 claims description 13
- 238000009826 distribution Methods 0.000 description 63
- 238000006243 chemical reaction Methods 0.000 description 60
- 238000012937 correction Methods 0.000 description 43
- 238000010586 diagram Methods 0.000 description 28
- 230000004907 flux Effects 0.000 description 15
- 239000003086 colorant Substances 0.000 description 12
- 210000001747 pupil Anatomy 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 238000005070 sampling Methods 0.000 description 9
- 230000004304 visual acuity Effects 0.000 description 9
- 230000007423 decrease Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000012935 Averaging Methods 0.000 description 6
- 230000003252 repetitive effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000013213 extrapolation Methods 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 229910004298 SiO 2 Inorganic materials 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
- H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14623—Optical shielding
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
- H04N13/289—Switching between monoscopic and stereoscopic modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Abstract
Description
[先行技術文献]
[特許文献]
[特許文献1] 特開2003−7994号公報
‐‐‐Bayer型G視差画素配列、エッジ強調‐‐‐
画像処理の手順は、およそ以下の通りである。
1)色・視差多重化モザイク画像データ入力
2)色・視差モザイク画像のグローバル・ゲインバランス補正
3)仮の視差画像の生成
4)左右の局所照度分布補正による視差なし色モザイク画像の生成
(ローカル・ゲインバランス補正)
5)視差なし基準画像の生成
6)視差なし基準画像に対するエッジ強調処理
7)実際の視差画像の生成
8)出力色空間への変換
以下、順に説明する。
図7の色と視差の多重化された単板式モザイク画像:M(x,y)
階調はA/D変換によって出力された線形階調であるものとする。すなわち、光量に比例した画素値を持つ。これをRAWデータと呼ぶこともある。
空間周波数解像度の低い分解能の左視差画像と右視差画像を生成する。
左視差画素ばかりを集めたG色面内の単純平均補間を行う。隣接に存在する画素値を用いて、距離の比に応じて線形補間を行う。同様に、右視差画素ばかりを集めたG色面内の単純平均補間を行う。すなわち、Ltmosaic(x,y)からLt(x,y)を、Rtmosaic(x,y)からRt(x,y)を生成する。
仮の左視差画像:Lt(x,y)
仮の右視差画像:Rt(x,y)
なお、仮の左視差画像Lt(x,y)と仮の右視差画像Rt(x,y)を作るときは、信号面内での方向判定を導入して高精細に行ってもよい。
(ローカル・ゲインバランス補正)
次にステップ1で行ったグローバル・ゲイン補正と同様の考え方で、画素単位のローカル・ゲイン補正を行うことによって、画面内の左視差画素と画面内の右視差画素の照度を合わせる。そうして、ゲイン整合のとれた新しいBayer面を作成する。これは平均値と置き換えることと等価であり、視差の消滅したBayer面が出来上がる。これをMN(x,y)と書くことにする。
この場合も、各画素の基準点として揃える目標値の設定方法に、相加平均を選ぶ方法と相乗平均を選ぶ方法の2種類が存在する。
こうしてG成分の照度バランスが揃い、視差の消滅したBayer面MN(x,y)から、従来の色補間の技術を用いてセンサが持つ画素数相当のナイキスト周波数にまで分解能をもつ視差なしのカラー画像を中間画像として生成することができる。例えば、公知のBayer補間技術の最も優れた例として、本出願人と同一発明者のUS公開2010/021853に示される補間アルゴリズムがある。この技術には、本出願人と同一発明者の方向判定の分解能を上げて縦横のナイキスト周波数を解像する技術USP6,836,572、補間値算出時の斜め方向の分解能を上げる技術USP7,236,628、色判定法による適応的偽色対策技術と方向判定の分解能を上げる技術USP7,565,007、色勾配判定法による適応的偽色対策技術USP7,391,903と方向判定の分解能を上げる技術への適用が総合的に用いられた最良の高性能デモザイク技術が導入されている。
上述の高解像なBayer補間を行うことを目的として、更に均等ノイズ空間を実現する階調変換を行って、補間用のガンマ空間(画像処理空間)で、補間値の予測を行う。これは本出願人と同一発明者のUSP7,957,588によって導入された方法である。
によって行われる。
ここに、y=f(x)の階調特性は、
である。正のオフセット値εは、暗電流ノイズ成分が増える高感度の撮影条件になるほど大きな値を設定する。
色補間処理の部分については、本出願人と同一発明者のUSP7,957,588(WO2006/006373)に示された簡易な処理だけをもう一度、書き写す。ただし、(x,y)は[i,j]の記号を用いて説明する。また、階調変換後のMN面上のG成分はG、R,B成分はZの記号を用いて参照する。
CPUは、画素位置[i,j]で示されるG画素でない画素(R画素もしくはB画素)に関して、縦方向の類似度CvN[i,j]、および横方向の類似度ChN[i,j]をそれぞれ次式(3)、(4)により算出する。
CPUは、判定した類似方向に基づき、R成分もしくはB成分の凸凹情報を利用してG成分の補間を行う。すなわち、周辺のG成分の内分点補間だけでは予測できない外分点に補間すべきか否かの情報を補間対象位置に存在する他の色成分の情報と近傍に位置するそれと同じ色成分の情報を見て、画像構造が上に凸なのか下に凸なのかを判断することによって得ることができる。すなわち、他の色成分のサンプリングによって得られた高周波成分の情報を補間対象色成分に重畳する。G色補完は、WO2006/006373のたとえば図4で示される中央のR画素の位置[i,j]に対して、縦方向類似の場合は次式(6)および(9)により算出し、横方向類似の場合は次式(7)および(10)により算出する。B画素の位置に対してG色補間を行う場合の画素位置は、WO2006/006373の図5によって示される。
R色補間は、WO2006/006373のたとえば図6で示されるR画素の位置[i,j]以外の画素位置[i+1,j]、[i,j+1]、[i+1,j+1]に対して、それぞれ次式(11)〜(13)により算出される。このとき、上述したG補間により得られた全ての画素位置に対応するG成分信号値(WO2006/006373の図7)の凸凹情報が利用される。
B成分補間についてもR成分と同様に補間処理を行う。WO2006/006373のたとえば図8で示されるB画素の位置[i,j]以外の画素位置[i+1,j]、[i,j+1]、[i+1,j+1]に対して、それぞれ次式(14)〜(16)により算出される。このとき、上述したG補間により得られた全ての画素位置に対応するG成分信号値(WO2006/006373の図9)の凸凹情報が利用される。
6‐1)色空間変換処理
ステップ5のBayer補間で得られた視差なしのRGBカラー画像をRN Γ(x,y)、GN Γ(x,y)、BN Γ(x,y)によって表す。これらは補間ガンマ空間の階調で表されたRGBデータである。これらのRGBデータを輝度と色差で表される表色系のYCbCr空間へ変換する。
Y(x,y)=0.2990RN Γ(x,y)+0.5870GN Γ(x,y)+0.1140BN Γ(x,y)
Cb(x,y)=-0.1684RN Γ(x,y)-0.3316GN Γ(x,y)+0.5000BN Γ(x,y)
Cr(x,y)=0.5000RN Γ(x,y)-0.4187GN Γ(x,y)-0.0813BN Γ(x,y)
輝度Y面に対して、エッジ強調処理を行う。
Y'(x,y)=Y(x,y)+k*△Y(x,y)
ここに、△は2次微分を表すラプラシアンフィルタを表す。定数kは、エッジ強調の度合いを調整するパラメータである。ラプラシアンフィルタとして、例えば、以下のようなフィルタ係数が考えられるが、これに限らない。
エッジ強調された輝度成分Y'(x,y)とそのままの色差成分Cb(x,y)、Cr(x,y)を用いて、YCbCr空間からRGB空間に戻す。ステップ6‐1)の逆行列を掛けるだけでよい。JPEGで採用されている定義と同じであるので、ここでは説明を省略する。
Bayer補間とエッジ強調処理されたRGB各色面に対して、ステップ5‐1の逆階調変換を施し、線形階調のRGBデータに戻す。
こうして、得られた視差なしのRGBカラー画像をRN(x,y)、GN(x,y)、BN(x,y)によって表す。これらは線形階調で表されたRGBデータである。
ステップ3で生成した解像力の低い仮の左視差画像Lt(x,y)とステップ5で中間処理として生成した解像力の高い視差なしのカラー画像RN(x,y)、GN(x,y)、BN(x,y)を用いて、実際に出力する解像力の高い左視差のカラー画像RLt(x,y)、GLt(x,y)、BLt(x,y)を生成する。同様に、ステップ3で生成した解像力の低い仮の右視差画像Rt(x,y)とステップ5で中間処理として生成した解像力の高い視差なしのカラー画像RN(x,y)、GN(x,y)、BN(x,y)を用いて、実際に出力する解像力の高い右視差のカラー画像RRt(x,y)、GRt(x,y)、BRt(x,y)を生成する。これは、仮の視差画像が持つ視差成分を重畳することによって変位処理を実現するため、視差変調と呼ぶことができる。
こうして得られた高解像な視差なしの中間カラー画像RN(x,y)、GN(x,y)、BN(x,y)と高解像の左視差のカラー画像RLt(x,y)、GLt(x,y)、BLt(x,y)、高解像の右視差のカラー画像RRt(x,y)、GRt(x,y)、BRt(x,y)のそれぞれをセンサの分光特性のカメラRGBから標準的なsRGB色空間へ色マトリックス変換とガンマ変換を行って出力色空間の画像として出力する。以上により、エッジ強調がなされた高精細な2D画像および3D画像が生成される。
図11は、視差画素の種類が2つである場合の繰り返しパターン110の一例を示す図である。デジタルカメラ10の座標系は、X軸、Y軸、Z軸で定義したが、撮像素子100においては、左端かつ上端の画素を基準に右方向にx軸を、下方向にy軸を定義する。図の例においては、ベイヤー配列と同じ4画素を繰り返しパターン110とする。この繰り返しパターン110は、撮像素子100の有効画素領域を上下左右に周期的に配列されている。すなわち、撮像素子100は、図の太線で示す繰り返しパターン110を基本格子とする。R画素とB画素は視差なし画素であり、Gb画素を視差L画素に、Gr画素を視差R画素に割り当てる。この場合、同一の繰り返しパターン110に含まれる視差Lt画素と視差Rt画素が、被写体が合焦位置に存在するときに、同じ微小領域から放射される光束を受光するように開口部104が定められる。また、この例では、図6(a)で説明したように、視差なし画素が全開口の開口部であり、視差Lt画素および視差Rt画素が半開口の開口部であるとする。なお、画素ピッチをaとする。
‐‐‐Bayer型RGB疎な視差画素配列、エッジ強調‐‐‐
図9の上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。その逆格子空間の周波数解像領域も各色と各視差の組み合わせについて示す。この配列は、単眼瞳分割方式のボケた被写体領域にしか視差を生じないという性質を捉えて、視差画素の密度を疎な配置にし、残りの画素を視差なし画素にできるだけ割り当てた構造をした撮像素子である。視差なし画素も視差あり画素もBayer配列を基本構造としており、左視差画素にも右視差画素にもR:G:B=1:2:1のカラーフィルタを配置した構造をしている。すなわち、実施形態1よりも更に原信号で捉える視差なしの中間画像の解像力を重視し、その高周波成分を視差変調によって、左視差画素と右視差画素に重畳することによって高解像な立体画像を得ようとする。したがって、非合焦域においても高解像な2D画像と3D画像を得る能力をもつ色・視差配列である。
画像処理の手順は、実施形態1と同じである。以下、順に説明する。
図9の色と視差の多重化された単板式モザイク画像:M(x,y)
階調はA/D変換によって出力された線形階調であるものとする。
R成分の視差なし画素の信号面をRN_mosaic(x,y)、
R成分の左視差画素の信号面をRLt_mosaic(x,y)、
R成分の右視差画素の信号面をRRt_mosaic(x,y)、
G成分の左視差画素の信号面をGN_mosaic(x,y)、
G成分の視差なし画素の信号面をGLt_mosaic(x,y)、
G成分の右視差画素の信号面をGRt_mosaic(x,y)、
B成分の視差なし画素の信号面をBN_mosaic(x,y)、
B成分の左視差画素の信号面をBLt_mosaic(x,y)、
B成分の右視差画素の信号面をBRt_mosaic(x,y)
と表すことにする。
空間周波数解像度の低い分解能の仮の左視差画像と仮の右視差画像を生成する。左視差画素ばかりを集めたG色面内の単純平均補間を行う。近接して存在する画素値を用いて、距離の比に応じて線形補間を行う。同様に、右視差画素ばかりを集めたG色面内の単純平均補間を行う。同様に、視差なし画素ばかりを集めたG色面内の単純平均補間を行う。同様の処理をR,G,Bの各々について行う。すなわち、RLt_mosaic(x,y)からRLt(x,y)を、RRt_mosaic(x,y)からRRt(x,y)を、RN_mosaic(x,y)からRN(x,y)を、GLt_mosaic(x,y)からGLt(x,y)を、GRt_mosaic(x,y)からGRt(x,y)を、GN_mosaic(x,y)からGN(x,y)を、BLt_mosaic(x,y)からBLt(x,y)を、BRt_mosaic(x,y)からGRt(x,y)を、BN_mosaic(x,y)からGN(x,y)を生成する。
仮のR成分の視差なし画像:RN(x,y)
仮のG成分の視差なし画像:GN(x,y)
仮のB成分の視差なし画像:BN(x,y)
仮のR成分の左視差画像:RLt(x,y)
仮のG成分の左視差画像:GLt(x,y)
仮のB成分の左視差画像:BLt(x,y)
仮のR成分の右視差画像:RRt(x,y)
仮のG成分の右視差画像:GRt(x,y)
仮のB成分の右視差画像:BRt(x,y)
なお、仮の視差なし画像RN(x,y)、GN(x,y)、BN(x,y)を作るときは、信号面内での方向判定を導入して高精細に行ってもよい。
(ローカル・ゲインバランス補正)
次にステップ1で行ったグローバル・ゲイン補正と同様の考え方で、画素単位のローカル・ゲイン補正を行うことによって、まず画面内の左視差画素と画面内の右視差画素の照度を合わせる。この操作によって左右間の視差を消滅させる。その上で左右平均をとった信号面と視差なし画素の撮像信号面との間で更に照度を合わせる。そうして、全ての画素でゲイン整合のとれた新しいBayer面を作成する。これは平均値と置き換えることと等価であり、視差の消滅したBayer面が出来上がる。これをMN(x,y)と書くことにする。
実施形態1と同様である。
6)視差なし基準画像に対するエッジ強調処理
実施形態1と同様である。
ステップ3で生成した解像力の低い仮の左視差のカラー画像RLt(x,y)、GLt(x,y)、BLt(x,y)とステップ5で中間処理として生成した解像力の高い視差なしのカラー画像RN(x,y)、GN(x,y)、BN(x,y)を用いて、実際に出力する解像力の高い左視差のカラー画像R'Lt(x,y)、G'Lt(x,y)、B'Lt(x,y)を生成する。同様に、ステップ3で生成した解像力の低い仮の右視差のカラー画像RRt(x,y)、GRt(x,y)、BRt(x,y)とステップ5で中間処理として生成した解像力の高い視差なしのカラー画像RN(x,y)、GN(x,y)、BN(x,y)を用いて、実際に出力する解像力の高い右視差のカラー画像R'Rt(x,y)、G'Rt(x,y)、B'Rt(x,y)を生成する。
実施形態1と同様である。
‐‐‐モノクロ疎な視差画素配列、エッジ強調‐‐‐
図10の上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。その逆格子空間の周波数解像領域も各視差の組み合わせについて示す。この配列は、単眼瞳分割方式のボケた被写体領域にしか視差を生じないという性質を捉えて、視差画素の密度を疎な配置にし、残りの画素を視差なし画素にできるだけ割り当てた構造をしたモノクロ撮像素子である。
1)視差多重化モザイク画像データ入力
2)視差モザイク画像のグローバル・ゲインバランス補正
3)仮の視差画像の生成
4)左右の局所照度分布補正による視差なし基準画像の生成
(ローカル・ゲインバランス補正)
5)視差なし基準画像の生成
6)視差なし基準画像に対するエッジ強調処理
7)実際の視差画像の生成
8)出力空間への変換
空間周波数解像度の低い分解能の仮の左視差画像と仮の右視差画像を生成する。左視差画素ばかりを集めた信号面内の単純平均補間を行う。近接して存在する画素値を用いて、距離の比に応じて線形補間を行う。同様に、右視差画素ばかりを集めた信号面内の単純平均補間を行う。同様に、視差なし画素ばかりを集めた信号面内の単純平均補間を行う。すなわち、Ltmosaic(x,y)からLt(x,y)を、Rtmosaic(x,y)からRt(x,y)を、Nmosaic(x,y)から N(x,y)を生成する。
仮の視差なし画像:N(x,y)
仮の左視差画像:Lt(x,y)
仮の右視差画像:Rt(x,y)
なお、仮の視差なし画像N(x,y)を作るときは、信号面内での方向判定を導入して高精細に行ってもよい。
(ローカル・ゲインバランス補正)
次にステップ1で行ったグローバル・ゲイン補正と同様の考え方で、画素単位のローカル・ゲイン補正を行うことによって、まず画面内の左視差画素と画面内の右視差画素の照度を合わせる。この操作によって左右間の視差を消滅させる。その上で左右平均をとった信号面と視差なし画素の撮像信号面との間で更に照度を合わせる。そうして、全ての画素でゲイン整合のとれた新しい視差なしの基準画像面を作成する。これは平均値と置き換えることと等価であり、視差の消滅した中間画像面が出来上がる。これをN(x,y)と書くことにする。
実施形態1と同様である。
実施形態1のステップ6‐2)の記号Yを記号Nに置き換えた演算を行うだけでよい。すなわち、
N'(x,y)=N(x,y)+k*△N(x,y)
なお、以下では記号N'のことを記号Nに置き換えて表記する。
ステップ3で生成した解像力の低い仮の左視差画像Lt(x,y)とステップ5で中間処理として生成した解像力の高い視差なしのモノクロ画像N(x,y)を用いて、実際に出力する解像力の高い左視差のモノクロ画像Lt'(x,y)を生成する。同様に、ステップ3で生成した解像力の低い仮の右視差画像Rt(x,y)とステップ5で中間処理として生成した解像力の高い視差なしのモノクロ画像N(x,y)を用いて、実際に出力する解像力の高い右視差のカラー画像Rt'(x,y)を生成する。
こうして得られた高解像な視差なしの中間モノクロ画像N(x,y)と高解像の左視差のモノクロ画像Lt'(x,y)、高解像の右視差のモノクロ画像Rt'(x,y)のそれぞれを適当なガンマ変換を行って出力空間の画像として出力する。これらはいずれの2D、3D画像も高精細なエッジ強調がなされた画像が生成される。
‐‐‐Bayer型RGB疎な視差画素配列、ノイズ除去‐‐‐
画像処理の手順は、およそ以下の通りである。
1)色・視差多重化モザイク画像データ入力
2)色・視差モザイク画像のグローバル・ゲインバランス補正
3)仮の視差画像の生成
4)左右の局所照度分布補正による視差なし色モザイク画像の生成
(ローカル・ゲインバランス補正)
5)視差なし基準画像の生成
6)視差なし基準画像に対するノイズ除去処理
7)実際の視差画像の生成
8)出力色空間への変換
ここで、ステップ1)〜6)、及びステップ7)〜8)は実施形成2と同様であるので、その説明を省略する。ここでは、視差なし基準画像に対するノイズ除去処理について説明する。
6‐1)色空間変換処理
実施形態1と同様である。
6‐2)ノイズ除去処理
輝度Y面に対して、ノイズ除去処理を行う。前述の本出願人と同一発明者の特開2006-309749号公報等、公知の高性能なノイズ除去処理を用いるとよい。ここでは、本出願人と同一発明者のWO2006/068025に開示される2引数積バイラテラル・フィルタを示しておく。
ここに、σthはノイズの揺らぎ幅である。rthはフィルタ半径で、対象とするノイズの広がり幅に応じて任意の大きさに設定することができる。なお、フィルタ処理部233は、左視差画像データおよび右視差画像データに対してはノイズ除去のフィルタリング処理を施さなくてもよい。
ノイズ除去された輝度成分Y'(x,y)と色差成分Cb'(x,y)、Cr'(x,y)を用いて、YCbCr空間からRGB空間に戻す。
6‐4)逆階調変換による元の線形階調空間への移行
実施形態1と同様である。
実施形態2のエッジ強調と実施形態4のノイズ除去を併用する場合は、実施形態4のステップ6のノイズ除去処理を先に行ってから、実施形態2のステップ6のエッジ強調処理を行うとよい。また、実施形態3の疎なモノクロ視差画素配列に対してノイズ除去処理を行う場合は、実施形態4に示したノイズ除去処理の輝度成分に対して行ったものと同様の手続きを、モノクロ面に対して行えばよい。
Claims (17)
- 1つの画素に1つの開口マスクを有する複数の画素からなり、基準方向の視点を生み出す開口マスクを備えた視差なし画素と、基準方向に対して左方向の視差を生み出す開口マスクを備えた左視差画素と、基準方向に対して右方向の視差を生み出す開口マスクを備えた右視差画素の少なくとも3種類の画素を配置した画素配列からなる撮像素子を用いて、1つの光学系を通して被写体像を基準方向の視点と左方向の視点と右方向の視点を同時にそれぞれ異なる画素に撮像した第1の画像を入力し、
左方向の視点に関する画像と、右方向の視点に関する画像に変換する画像処理方法であって、
前記第1の画像の左視差画素の画素値を用いて、各画素に仮の左視点画像を生成する手順と、
前記第1の画像の右視差画素の画素値を用いて、各画素に仮の右視点画像を生成する手順と、
前記第1の画像の少なくとも視差なし画素の画素値を用いて、各画素に基準視点画像を生成する手順と、
前記基準視点画像に対して、エッジ強調処理を行って、エッジ強調された基準視点画像を生成する手順と、
前記エッジ強調された基準視点画像と前記仮の左視点画像と前記仮の右視点画像に基づき、各画素に左方向の視点に関する画像と右方向の視点に関する画像のそれぞれを生成する手順と
を備えたことを特徴とする画像処理方法。 - 1つの画素に1つの開口マスクを有する複数の画素からなり、基準方向の視点を生み出す開口マスクを備えた視差なし画素と、基準方向に対して左方向の視差を生み出す開口マスクを備えた左視差画素と、基準方向に対して右方向の視差を生み出す開口マスクを備えた右視差画素の少なくとも3種類の画素を配置した画素配列からなる撮像素子を用いて、1つの光学系を通して被写体像を基準方向の視点と左方向の視点と右方向の視点を同時にそれぞれ異なる画素に撮像した第1の画像を入力し、
左方向の視点に関する画像と、右方向の視点に関する画像に変換する画像処理方法であって、
前記第1の画像の左視差画素の画素値を用いて、各画素に仮の左視点画像を生成する手順と、
前記第1の画像の右視差画素の画素値を用いて、各画素に仮の右視点画像を生成する手順と、
前記第1の画像の視差なし画素の画素値を用いて、各画素に基準視点画像を生成する手順と、
前記基準視点画像に対して、ノイズ除去処理を行って、ノイズ除去された基準視点画像を生成する手順と、
前記ノイズ除去された基準視点画像と前記仮の左視点画像と前記仮の右視点画像に基づき、各画素に左方向の視点に関する画像と右方向の視点に関する画像のそれぞれを生成する手順と
を備えたことを特徴とする画像処理方法。 - 前記基準視点画像を生成する手順は、前記第1の画像の視差なし画素の画素値の他に、左視差画素の画素値と右視差画素の画素値も用いて、基準視点画像の画素値を生成する請求項1または2に記載の画像処理方法。
- 前記第1の画像が複数の色成分からなるとき、
前記基準視点画像を生成する手順は、前記複数の色成分に対して基準視点画像を生成し、前記エッジ強調された基準視点画像を生成する手順は、前記基準視点画像の輝度成分に対してエッジ強調処理を行う請求項1に記載の画像処理方法。 - 前記第1の画像が複数の色成分からなるとき、
前記基準視点画像を生成する手順は、前記複数の色成分に対して基準視点画像を生成し、前記ノイズ除去された基準視点画像を生成する手順は、前記基準視点画像の輝度成分と色差成分に対してノイズ除去処理を行う請求項2に記載の画像処理方法。 - 前記第1の画像は、視差なし画素の密度を左視差画素と右視差画素を合わせた画素の密度よりも高く配置した画素配列からなる撮像素子により撮像された画像である請求項2に記載の画像処理方法。
- 基準方向に対して第1方向にずれた視点に対応する第1視差画像データと、前記基準方向に対して前記第1方向とは反対の第2方向にずれた視点に対応する第2視差画像データとを取得する視差画像データ取得部と、
前記基準方向に対応し、かつ、第1視差画像データおよび第2視差画像データの空間周波数解像度より高解像な基準画像データを取得する基準画像データ取得部と、
前記基準画像データに対してエッジ調整およびノイズ除去の少なくともいずれかのフィルタリング処理を施すフィルタ処理部と、
前記フィルタリング処理が施された前記基準画像データ、前記第1視差画像データおよび前記第2視差画像データを用いて、前記第1方向にずれた視点に対応する第3視差画像データと、前記第2方向にずれた視点に対応する第4視差画像データとを生成する視差画像データ生成部と
を備える画像処理装置。 - 前記基準画像データ取得部は、一部の画素値が欠落した仮の基準画像データを取得し、前記基準方向に対応した基準画素の画素値を用いて欠落した画素値を補間することによって、前記基準画像データを生成する請求項7に記載の画像処理装置。
- 前記基準画像データ取得部は、前記第1視差画像データおよび前記第2視差画像データの画素値を用いて欠落した画素値を補間することによって、前記基準画像データを生成する請求項7または8に記載の画像処理装置。
- 前記基準画像データ取得部は、前記基準画像データに対応する基準画素、前記第1視差画像データに対応する第1画素、および前記第2視差画像データに対応する第2画素の数に応じて重み付けを施す請求項9に記載の画像処理装置。
- 前記基準画像データ取得部は、それぞれの画素に対応付けられたカラーフィルタの色成分毎に前記基準画像データを生成する請求項7から10のいずれか1項に記載の画像処理装置。
- 前記視差画像データ生成部は、前記第1視差画像データの視点とは異なる視点の前記第3視差画像データを生成し、前記第2視差画像データの視点とは異なる視点の前記第4視差画像データを生成する請求項7から11のいずれか1項に記載の画像処理装置。
- 前記第1視差画像データおよび前記第2視差画像データの少なくともいずれかを出力する撮像素子と、
請求項7から12のいずれか1項に記載の画像処理装置と
を備える撮像装置。 - 前記撮像素子は、前記基準画像データも共に出力する請求項13に記載の撮像装置。
- 前記撮像素子は、前記基準画像データに対応する画素、前記第1視差画像データに対応する画素、および前記第2視差画像データに対応する画素の中で、前記基準画像データに対応する画素を最も多く有する請求項14に記載の撮像装置。
- 前記フィルタ処理部は、前記第1視差画像データおよび前記第2視差画像データに対してノイズ除去のフィルタリング処理を施さない請求項15に記載の撮像装置。
- 基準方向に対して第1方向にずれた視点に対応する第1視差画像データと、前記基準方向に対して前記第1方向とは反対の第2方向にずれた視点に対応する第2視差画像データとを取得する視差画像データ取得ステップと、
前記基準方向に対応し、かつ、第1視差画像データおよび第2視差画像データの空間周波数解像度より高解像な基準画像データを取得する基準画像データ取得ステップと、
前記基準画像データに対してエッジ調整およびノイズ除去の少なくともいずれかのフィルタリング処理を施すフィルタ処理ステップと、
前記フィルタリング処理が施された前記基準画像データ、前記第1視差画像データおよび前記第2視差画像データを用いて、前記第1方向にずれた視点に対応する第3視差画像データと、前記第2方向にずれた視点に対応する第4視差画像データとを生成する視差画像データ生成ステップと
をコンピュータに実行させる画像処理プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012179038 | 2012-08-10 | ||
JP2012179038 | 2012-08-10 | ||
PCT/JP2013/004798 WO2014024500A1 (ja) | 2012-08-10 | 2013-08-08 | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5904281B2 JP5904281B2 (ja) | 2016-04-13 |
JPWO2014024500A1 true JPWO2014024500A1 (ja) | 2016-07-25 |
Family
ID=50067750
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014529320A Active JP5904281B2 (ja) | 2012-08-10 | 2013-08-08 | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US9509978B2 (ja) |
JP (1) | JP5904281B2 (ja) |
CN (1) | CN104429056B (ja) |
WO (1) | WO2014024500A1 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104322061B (zh) * | 2012-06-22 | 2017-01-18 | 株式会社尼康 | 图像处理装置、摄像装置及图像处理方法 |
CN104969545B (zh) * | 2013-02-05 | 2018-03-20 | 富士胶片株式会社 | 图像处理装置、摄像装置、图像处理方法以及程序 |
CN105359519B (zh) * | 2013-07-05 | 2017-07-04 | 株式会社尼康 | 摄像装置 |
JP6135490B2 (ja) | 2013-12-12 | 2017-05-31 | ソニー株式会社 | 動画画像処理システムおよび動画画像処理方法 |
JPWO2015186439A1 (ja) * | 2014-06-03 | 2017-04-20 | 株式会社日立製作所 | 画像処理装置及び立体視表示方法 |
JP6494328B2 (ja) * | 2015-03-02 | 2019-04-03 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
JP6516510B2 (ja) | 2015-03-02 | 2019-05-22 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
JP2017076899A (ja) * | 2015-10-15 | 2017-04-20 | ソニー株式会社 | 固体撮像素子、および電子装置 |
JP6764574B2 (ja) * | 2016-01-13 | 2020-10-07 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、及び、手術システム |
CN105631810B (zh) * | 2016-01-20 | 2018-09-11 | 北京邮电大学 | 一种基于像素网点复用的印刷方法及系统 |
KR102557087B1 (ko) | 2016-10-20 | 2023-07-20 | 삼성전자주식회사 | 이미지 생성을 위한 전자 장치 및 저장 매체 |
CN107040724B (zh) | 2017-04-28 | 2020-05-15 | Oppo广东移动通信有限公司 | 双核对焦图像传感器及其对焦控制方法和成像装置 |
JP2019021991A (ja) | 2017-07-12 | 2019-02-07 | オリンパス株式会社 | 撮像素子、撮像装置、撮像プログラム、撮像方法 |
CN111614959B (zh) * | 2019-02-26 | 2023-02-03 | 北京嘀嘀无限科技发展有限公司 | 一种视频打码方法、装置以及电子设备 |
CN111260768B (zh) * | 2020-02-07 | 2022-04-26 | 腾讯科技(深圳)有限公司 | 图片处理方法和装置、存储介质及电子装置 |
KR102148127B1 (ko) * | 2020-02-14 | 2020-08-26 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | 상보적인 픽슬렛 구조가 적용된 카메라 시스템 |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6836572B2 (en) | 1998-06-01 | 2004-12-28 | Nikon Corporation | Interpolation processing apparatus and recording medium having interpolation processing program recorded therein |
JP4164215B2 (ja) | 1999-12-27 | 2008-10-15 | キヤノン株式会社 | 画像処理方法、装置および記録媒体 |
JP2001177731A (ja) | 1999-12-15 | 2001-06-29 | Canon Inc | 画像処理方法、装置および記憶媒体 |
US6980326B2 (en) | 1999-12-15 | 2005-12-27 | Canon Kabushiki Kaisha | Image processing method and apparatus for color correction of an image |
JP4599672B2 (ja) | 1999-12-21 | 2010-12-15 | 株式会社ニコン | 補間処理装置および補間処理プログラムを記録した記録媒体 |
WO2002060186A1 (fr) | 2001-01-25 | 2002-08-01 | Nikon Corporation | Procede de traitement d'image, programme de traitement d'image et processeur d'image |
JP2003007994A (ja) | 2001-06-27 | 2003-01-10 | Konica Corp | 固体撮像素子、立体カメラ装置及び測距装置 |
WO2004112401A1 (ja) | 2003-06-12 | 2004-12-23 | Nikon Corporation | 画像処理方法、画像処理プログラム、画像処理装置 |
WO2006006373A1 (ja) | 2004-07-07 | 2006-01-19 | Nikon Corporation | 画像処理装置およびコンピュータプログラム製品 |
JP5023702B2 (ja) | 2004-12-20 | 2012-09-12 | 株式会社ニコン | 画像処理方法、画像処理プログラム、記録媒体及び画像処理装置 |
JP5352942B2 (ja) | 2005-03-31 | 2013-11-27 | 株式会社ニコン | 画像処理方法、画像処理プログラム、および画像処理装置 |
JP4807499B2 (ja) * | 2006-02-23 | 2011-11-02 | セイコーエプソン株式会社 | 画像処理システム、表示装置、プログラムおよび情報記憶媒体 |
JP4798358B2 (ja) * | 2006-03-14 | 2011-10-19 | セイコーエプソン株式会社 | 画像処理システム、表示装置および画像処理方法 |
EP2003612A4 (en) | 2006-03-31 | 2010-10-13 | Nikon Corp | IMAGE PROCESSING |
WO2009066770A1 (ja) | 2007-11-22 | 2009-05-28 | Nikon Corporation | デジタルカメラおよびデジタルカメラシステム |
JP4763827B2 (ja) * | 2009-11-26 | 2011-08-31 | 富士フイルム株式会社 | 立体画像表示装置、複眼撮像装置及び立体画像表示プログラム |
JP2011203811A (ja) * | 2010-03-24 | 2011-10-13 | Fujifilm Corp | 画像処理装置、画像処理方法、画像処理プログラム、及び複眼デジタルカメラ |
CN102812714B (zh) * | 2010-03-24 | 2014-04-30 | 富士胶片株式会社 | 立体图像获取装置 |
JP2011205374A (ja) * | 2010-03-25 | 2011-10-13 | Fujifilm Corp | 表示装置 |
JP4783465B1 (ja) * | 2010-03-26 | 2011-09-28 | 富士フイルム株式会社 | 撮像装置及び表示装置 |
JP2011259211A (ja) * | 2010-06-09 | 2011-12-22 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
CN102972032A (zh) * | 2010-06-30 | 2013-03-13 | 富士胶片株式会社 | 三维图像显示装置、三维图像显示方法、三维图像显示程序及记录介质 |
JP5594067B2 (ja) * | 2010-11-02 | 2014-09-24 | ソニー株式会社 | 画像処理装置および画像処理方法 |
US9532033B2 (en) * | 2010-11-29 | 2016-12-27 | Nikon Corporation | Image sensor and imaging device |
JP5625887B2 (ja) * | 2010-12-22 | 2014-11-19 | ソニー株式会社 | 撮像装置、その制御方法およびプログラム |
US8742309B2 (en) | 2011-01-28 | 2014-06-03 | Aptina Imaging Corporation | Imagers with depth sensing capabilities |
JP5444505B2 (ja) * | 2011-05-03 | 2014-03-19 | オリンパスイメージング株式会社 | 立体画像処理装置および立体画像処理方法 |
EP2760209B1 (en) * | 2011-09-21 | 2017-07-12 | FUJIFILM Corporation | Image processing device, method, program and recording medium, stereoscopic image capture device, portable electronic apparatus, printer, and stereoscopic image player device |
JP6131546B2 (ja) | 2012-03-16 | 2017-05-24 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理プログラム |
WO2013136819A1 (ja) | 2012-03-16 | 2013-09-19 | 株式会社ニコン | 撮像素子、撮像装置および撮像システム |
JP6131545B2 (ja) | 2012-03-16 | 2017-05-24 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理プログラム |
CN104412586B (zh) | 2012-04-25 | 2016-12-28 | 株式会社尼康 | 图像处理装置、摄像装置 |
-
2013
- 2013-08-08 WO PCT/JP2013/004798 patent/WO2014024500A1/ja active Application Filing
- 2013-08-08 CN CN201380036470.7A patent/CN104429056B/zh active Active
- 2013-08-08 JP JP2014529320A patent/JP5904281B2/ja active Active
-
2015
- 2015-02-10 US US14/618,247 patent/US9509978B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN104429056B (zh) | 2017-11-14 |
JP5904281B2 (ja) | 2016-04-13 |
WO2014024500A1 (ja) | 2014-02-13 |
CN104429056A (zh) | 2015-03-18 |
US9509978B2 (en) | 2016-11-29 |
US20150264333A1 (en) | 2015-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5904281B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP6131546B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP5398346B2 (ja) | 撮像装置及び信号処理装置 | |
JP6036829B2 (ja) | 画像処理装置、撮像装置および画像処理装置の制御プログラム | |
CN103688536B (zh) | 图像处理装置、图像处理方法 | |
US9338364B2 (en) | Imaging device and image generation method | |
JP6131545B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
WO2014192300A1 (ja) | 撮像素子、撮像装置、および画像処理装置 | |
WO2013190814A1 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
US9706186B2 (en) | Imaging apparatus for generating parallax image data | |
JP6370348B2 (ja) | 画像処理装置および画像処理方法、撮像装置、プログラム、記憶媒体 | |
WO2016111175A1 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP6190119B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP2009047734A (ja) | 撮像装置及び画像処理プログラム | |
JP5982907B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
TWI450594B (zh) | 串色影像處理系統和提高清晰度的方法 | |
JP5978737B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2014107594A (ja) | 撮像素子および撮像装置 | |
WO2016063316A1 (ja) | 画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法 | |
JP5978735B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2015108710A (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2017118293A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP2009047733A (ja) | 撮像装置及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160216 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160229 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5904281 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |