JP5767602B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP5767602B2 JP5767602B2 JP2012102033A JP2012102033A JP5767602B2 JP 5767602 B2 JP5767602 B2 JP 5767602B2 JP 2012102033 A JP2012102033 A JP 2012102033A JP 2012102033 A JP2012102033 A JP 2012102033A JP 5767602 B2 JP5767602 B2 JP 5767602B2
- Authority
- JP
- Japan
- Prior art keywords
- interpolation
- luminance
- signal
- unit
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
Description
(1)被写体を撮像する撮像装置であって、複数の色フィルタを有する撮像素子と、前記撮像素子からの画像信号のうち同色画素を用いて画素の重心をずらした色信号を生成する同色補間部と、前記撮像素子からの画像信号から輝度信号を生成する輝度信号生成部と、前記輝度信号生成部からの輝度信号を用いて前記同色補間部により生成した色信号と同じサンプリング位置に対応する輝度信号を生成する第1輝度補間部と、前記輝度信号生成部からの輝度信号を用いて前記同色補間部により生成した色信号と同じサンプリング位置に対応する輝度信号であって、前記第1輝度補間部で輝度補間信号を生成する際に用いた輝度信号とは一部またはすべて異なる輝度信号を用いて補間信号を生成する第2輝度補間部と、前記第1輝度補間部と前記第2輝度補間部の各々に対して個別に画素重心ずれ補正に用いる補間条件を設定して出力する画素重心ずれ補正係数・座標演算部と、前記第1輝度補間部で生成した補間信号と前記第2輝度補間部で生成した補間信号の比から前記同色補間部からの信号レベルを補正して出力する補正部と、を有する撮像装置である。
本実施形態に係る撮像装置は、図1に示す通り、複数の色フィルタを有するカラー撮像素子100と、撮像素子から出力された電気信号をA/D変換してデジタル信号を出力A/D変換回路107と、A/D変換回路から出力されるRAW信号から輝度信号を生成する輝度信号生成部101と、生成された輝度信号を用いてそれぞれ補間信号を生成して出力する第1輝度補間部102及び第2輝度信号補間部103と、A/D変換回路から出力されるRAW信号のうち同色画素の信号を用いて補間信号を生成する同色補完部104と、それぞれの補間信号を用いて演算により補正RAW信号を生成して出力する補正部105と、を適宜用いて構成される。以下、各構成の動作について詳細に説明する。
A/D変換回路から出力されたRAW信号は、画素ごとに順次、輝度信号生成部101と同色補間部104にそれぞれ入力する。撮像素子はカラー単板撮像素子であれば、たとえばA色、B色、C色、D色の4色の色フィルタに対応する画素が2x2のペアで図2(a)のように配列される。撮像素子が原色ベイヤ配列であれば、例えばA=R、B=C=G、D=Bと表せば良い。輝度信号生成部101は、RAW信号の各画素のサンプリング位置に対応する輝度信号を、フィルタ処理による補間を行うことで生成する。例えば、Y33の場合には、
(数1)Y33=(A33+(B32+B34)/2+(C23+C43)/2+(D22+D24+D42+D44)/4)/4
の演算で生成し、他の位置の画素についても同様に処理することで輝度(Y)信号を生成できる。
図3は、A33とA44とA53とA55の間にある★印の重心位置に対応したA色の補間信号を生成する場合であり、その重心位置はA33とA44とA53とA55のうちA33が最も近い場合の例である。これを補間係数パターン1(α<0.5、β<0.5)と定義する。
(数2)AL= A33*(1-α)*(1-β)+A35*α*(1-β)+A53*(1-α)*β+A55*α*β
の、ように求める。
(数3)YL= Y33*(1-α)*(1-β) +Y35*α*(1-β)+Y53*(1-α)*β+Y55*α*β
の、ように求める。
(数4)YH= Y33*(1-2α)*(1-2β)+Y34*2α*(1-2β)+Y43*(1-2α)*2β+Y44*2α*2β
の、ように求める。第2輝度補間部103では、第1輝度補間部102とは使用する輝度信号が異なるため、第1輝度補間部102での、α、βが、第2輝度補間部103では、それぞれ2α、2β相当となる。
(数5)AH(広帯域):AL(狭帯域)≒ YH(広帯域):YL(狭帯域)
が成り立つ。そこで補正部105は図3(d)に示すとおり、上記(式5)を変形し、
(数6)AH=AL*YH/YL
として、高周波の利得が高くボケていないA色の補間信号AHを求める。
(数7)YH= Y34*(2-α)*(1-2β)+Y35*(2α-1)*(1-2β)+Y44*(2-α)*2β+Y45*(2α-1)*2β
の、ように求める。第2輝度補間部103では、第1輝度補間部102とは使用する輝度信号が異なるため、第1輝度補間部102での、α、(1-α)、βが、第2輝度補間部103では、それぞれ(2α-1)、(2-α)、2β相当となる。
(数8)YH= Y43*(1-2α)*(2-β)+Y44*2α*(2-β)+Y53*(1-2α)*(2β-1)+Y54*2α*(2β-1)
の、ように求める。第2輝度補間部103では、第1輝度補間部102とは使用する輝度信号が異なるため、第1輝度補間部102での、α、β、(1-β)が、第2輝度補間部103では、それぞれ2α、(2β-1)、(2-β)相当となる。
(数9)YH=Y44*(2-α)*(2-β)+Y45*(2α-1)*(2-β)+Y54*(2-α)*(2β-1)+Y55*(2α-1)*(2β-1)
の、ように求める。第2輝度補間部103では、第1輝度補間部102とは使用する輝度信号が異なるため、第1輝度補間部102での、α、(1-α)、β、(1-β)が、第2輝度補間部103では、それぞれ(2α-1)、(2-α)、(2β-1)、(2-β)相当となる。
図9は、拡大時の動作説明を補足する図で、8/6=4/3倍に左上の部分から拡大する例である。水平垂直に6*6ある画素を同一面積内に8*8の画素を配置して、8*8の各画素の重心になるようにそれぞれ順に始点と補間係数α、βの比率を割り当て、上記した補間によりA11’、B12’、A13’、B14’、A15’、B16’、C21’、D22’、C23’、D24’、C25’、D26’、A31’、B32’、A33’、B34’、A35’、B36’、C41’、D42’、C43’、D44’、C45’、D46’、A51’、B52’、A53’、B54’、A55’、B56’、C61’、D62’、C63’、D64’、C65’、D66’の補正後RAW信号を生成する。その後、当該補正後RAW信号を元のRAW信号と同様の速度で処理することで所望である4/3倍の拡大処理となる。
図11は、図9での拡大時のB34’、D46’に対するスケーリング演算の例である。B34’の重心座標は、(3.5*3/4,2.5*3/4)=(2.625,1.875)となり、この値がスケーリング演算部207の出力となる。座標・補間係数設定部206では、座標情報(2.625,1.875)と、該座標情報から求めたα=0.5625、β=0.6875を出力する。第1輝度補間部202、第2輝度補間部203、同色補間部204では、該座標を囲む同色4画素のB12、B14、B32、B34を選択する。同様にD46’時には、座標=(4.125,2.625)、α=0.3125、β=0.5625、同色4画素は、D24、D26、D44、D46となる。
(数10)x’= cosθ*(x-a)+sinθ*(y-b)+a
(数11)y’=-sinθ*(x-a)+cosθ*(y-b)+b
として求める。A13’の場合には(x’,y’)=(2.219,2.451)、D24’の場合には(x’,y’)= (3.585,2.817)となる。回転後の座標を元に、上記実施例1と同様に処理することで、RAWデータの補間をおこなう。
(数12)y’=Kv1*y^2+Kv2*y
(数13)x’=(x+X/2*(1-Kh*(Y-y))-X/2)/(1-Kh*(Y-y))
として求める。図19は、Kh=0.08、Kv1=-0.12、Kv2=1.72、X=6、Y=6の例である。C23’の場合には(x’,y’)=(2.219,2.310)、C43’の場合には(x’,y’)= (3.625,4.550)となる。視点変換の座標を元に、上記実施例1と同様に処理することで、RAWデータの補間をおこなう。
A’22=A11+A13+A31+A33
B’23=B12+B14+B32+B34
C’32=C21+C23+C41+C43
D’33=D22+D24+D42+D44
A’26=A15+A17+A35+A37
B’23=B16+B18+B36+B3
C’32=C25+C27+C45+C47
D’33=D26+D28+D46+D48
A’62=A51+A53+A71+A73
B’63=B52+B54+B72+B74
C’72=C61+C63+C81+C83
D’73=D62+D64+D82+D84
A’66=A55+A57+A75+A77
B’67=B56+B58+B76+B78
C’76=C65+C67+C85+C87
D’77=D66+D68+D86+D88
上記4画素加算後の画素信号は、所定のタイミングによって読み出される。たとえばラスタスキャンで読み出されるとすれば、
A’22、B’23、A’26、B’27、・・・・
C’32、D’33、C’36、D’37、・・・・
といった形で点順次に読み出される。したがって、A〜Dの4種類の色フィルタに対応する画素の配列順序が変わることがなく画像サイズを小さくすることができる。
B”24=B’23×a+B’27×b+B’63×c+B’67×d
という式で画素の重心ずれを補正した信号を生成する。
輝度信号生成部101においては、輝度信号の画素の重心が各々図26(a)に示す画素の位置と同一となる輝度信号を生成するものであり、例えば周辺画素A〜Dに対して重み付き加重平均値を輝度信号として算出し、第1輝度補間部202と第2輝度補間部203に出力するものである。例えば、A’22の画素の位置と同一となる輝度信号を、周辺のA〜Dの画素信号に重み付き加重平均値を算出し、Y’22とする。
第1輝度補間部202は、上記同色補間部204でフィルタリングに用いた画素と同じサンプリング位置の輝度信号を用いて、重心をずらした画素信号をフィルタリングにより生成し、補正部105に出力するものである。例えば、a,b,c,dをそれぞれ所定の係数とし、
Y”24=Y’23×a+Y’27×b+Y’63×c+Y’67×d
という式で画素の重心をずらした信号を生成する。
第2輝度補間部203は、相関性の高い近隣輝度信号を用いフィルタリングにより補間することで生成し、補正部105に出力するものである。例えば、a,b,c,dをそれぞれ所定の係数とし、
Y”24=Y’23×a+Y’26×b+Y’63×c+Y’66×d
という式で画素の重心をずらした信号を生成する。
補正部105の動作は、実施例1に記載の同様であり、高周波の利得が高くボケていない各色に対応する補間信号を求める。
102 第1輝度補間部
103 第2輝度補間部
104 同色補間部
105 補正部
106 補間係数設定部
206 座標・補間係数設定部
207 スケーリング演算部
307 レンズ歪特性テーブルデータ部
407 レンズ歪特性関数演算部
507 回転演算部
607 視点変換演算部
707 回転補正データテーブル部
807 視点変換補正データテーブル部
907 被写体変形演算部
1007 被写体変形補正データテーブル部
1106 画素重心ずれ補正係数・座標演算部
Claims (5)
- 被写体を撮像する撮像装置であって、
複数の色フィルタを有する撮像素子と、
前記撮像素子からの画像信号のうち同色画素を用いて画素の重心をずらした色信号を生成する同色補間部と、
前記撮像素子からの画像信号から輝度信号を生成する輝度信号生成部と、
前記輝度信号生成部からの輝度信号を用いて前記同色補間部により生成した色信号と同じサンプリング位置に対応する輝度信号を生成する第1輝度補間部と、
前記輝度信号生成部からの輝度信号を用いて前記同色補間部により生成した色信号と同じサンプリング位置に対応する輝度信号であって、前記第1輝度補間部で輝度補間信号を生成する際に用いた輝度信号とは一部またはすべて異なる輝度信号を用いて補間信号を生成する第2輝度補間部と、
前記第1輝度補間部と前記第2輝度補間部の各々に対して個別に画素重心ずれ補正に用いる補間条件を設定して出力する画素重心ずれ補正係数・座標演算部と、
前記第1輝度補間部で生成した補間信号と前記第2輝度補間部で生成した補間信号の比から前記同色補間部からの信号レベルを補正して出力する補正部と、
を有する撮像装置。 - 請求項1記載の撮像装置であって、
前記画素重心ずれ補正係数・座標演算部は、装置外部から受信した前記第1輝度補間部と前記第2輝度補間部と前記同色補間部における画素の重心をずらす量の情報に基づいて、補間条件を設定することを特徴とする撮像装置。 - 請求項2記載の撮像装置であって、
前記画素の重心をずらす量の情報は、水平方向のサンプリング間隔ばらつき情報と垂直方向のサンプリング間隔ばらつき情報であることを特徴とする撮像装置。 - 請求項1乃至3のいずれかに記載の撮像装置であって、
前記第1輝度補間部は、前記同色補間部で用いた画素と同じサンプリング位置に対応する輝度信号を用いて輝度信号を生成することを特徴とする撮像装置。 - 請求項1乃至4のいずれかに記載の撮像装置であって、
前記画素重心ずれ補正係数・座標演算部は、各画素のサンプリング間隔にばらつきを持たせるように補間条件を設定することを特徴とする撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012102033A JP5767602B2 (ja) | 2012-04-27 | 2012-04-27 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012102033A JP5767602B2 (ja) | 2012-04-27 | 2012-04-27 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013229833A JP2013229833A (ja) | 2013-11-07 |
JP5767602B2 true JP5767602B2 (ja) | 2015-08-19 |
Family
ID=49677041
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012102033A Active JP5767602B2 (ja) | 2012-04-27 | 2012-04-27 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5767602B2 (ja) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4055927B2 (ja) * | 2000-08-25 | 2008-03-05 | シャープ株式会社 | 画像処理装置およびデジタルカメラ |
JP4657564B2 (ja) * | 2002-04-30 | 2011-03-23 | イーストマン コダック カンパニー | 電子スチルカメラ及び画像処理方法 |
JP2004147093A (ja) * | 2002-10-24 | 2004-05-20 | Canon Inc | 信号処理装置及び方法、及び撮像装置 |
JP4391431B2 (ja) * | 2005-03-07 | 2009-12-24 | 日本放送協会 | 撮像装置 |
EP2002663A2 (en) * | 2006-03-27 | 2008-12-17 | Nxp B.V. | Method and arrangement for generating a color video signal |
JP5053654B2 (ja) * | 2007-02-09 | 2012-10-17 | オリンパスイメージング株式会社 | 画像処理装置およびその方法と電子カメラ |
JP5326943B2 (ja) * | 2009-08-31 | 2013-10-30 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
CN103155567B (zh) * | 2010-10-20 | 2015-08-12 | 松下电器产业株式会社 | 图像处理装置以及图像处理方法 |
-
2012
- 2012-04-27 JP JP2012102033A patent/JP5767602B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013229833A (ja) | 2013-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9392241B2 (en) | Image processing apparatus and image processing method | |
TWI524306B (zh) | 圖像轉換和多視圖輸出系統及方法 | |
US8854483B2 (en) | Image processing device, image processing method and image processing program | |
JP5591261B2 (ja) | 画像処理装置 | |
US9313411B2 (en) | Camera, distortion correction device and distortion correction method | |
EP2133238B1 (en) | Imaging apparatus and image correction method | |
RU2557067C1 (ru) | Устройство обработки изображения и способ управления для устройства обработки изображения | |
WO2018220711A1 (ja) | 画像処理装置 | |
US8289420B2 (en) | Image processing device, camera device, image processing method, and program | |
JP2015049402A (ja) | 焦点ずれ量検出装置およびその制御方法、撮像装置 | |
JP2010141663A (ja) | 撮像装置 | |
JP5398750B2 (ja) | カメラモジュール | |
JP2018207413A (ja) | 撮像装置 | |
JP5789542B2 (ja) | 撮像装置 | |
JP5631769B2 (ja) | 画像処理装置 | |
JP2015231052A (ja) | 撮像装置および方法、並びにプログラム | |
JP5846986B2 (ja) | 撮像装置 | |
JP5767602B2 (ja) | 撮像装置 | |
JP5739365B2 (ja) | 撮像装置 | |
WO2012056684A1 (ja) | 画像信号処理装置、画像信号処理方法およびプログラム | |
US9215354B2 (en) | Image processing method and solid-state imaging device having a noise reduction filter | |
JP2018067868A (ja) | 撮像装置 | |
JP5649409B2 (ja) | 画像処理装置 | |
US10348984B2 (en) | Image pickup device and image pickup method which performs diagonal pixel offset and corrects a reduced modulation depth in a diagonal direction | |
KR102643588B1 (ko) | 카메라 장치 및 이를 구비하는 전자 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140311 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20140317 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20140318 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20140319 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140627 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20140908 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150525 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150619 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5767602 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |