JP5789542B2

JP5789542B2 - 撮像装置

Info

Publication number: JP5789542B2
Application number: JP2012042749A
Authority: JP
Inventors: 雄一野中; 健木佐貫
Original assignee: Hitachi Maxell Energy Ltd
Current assignee: Hitachi Maxell Energy Ltd
Priority date: 2012-02-29
Filing date: 2012-02-29
Publication date: 2015-10-07
Anticipated expiration: 2032-02-29
Also published as: WO2013128693A1; JP2013179513A; CN104106261B; US20150009368A1; CN104106261A; US9154757B2

Description

本発明は、撮像装置に関する。

本技術分野の背景技術として、特許文献１がある。該公報には、「本発明による映像信号処理回路は、イメージセンサより入力される映像信号に対する画像処理で光学歪曲収差により画像歪が発生する映像信号処理回路であって、ＹＣ処理前のＲＡＷ画像データに対して歪補正処理を行う歪補正処理回路を備えたものである。この構成によれば、ＹＣ画像データに変換される前のいわゆる生のデータであるＲＡＷ画像データに対して歪補正処理を行うので、歪補正処理直前のデータ（ＲＡＷ画像データ）を格納しておくためのメモリについて、そのメモリサイズを縮小することが可能となる。」と記載されている。（要約参照）

特開２００８−３０１３９５号公報

上記のようなシステムにおいては少ない回路規模で解像度の劣化の無い画像処理ができることが好ましい。前記特許文献１では、ＲＧＢやＹＵＶの信号を用いた歪補正に比べて回路規模を減らすことはできるが、ＲＡＷ信号の位置を所望の位置に移動したＲＡＷ信号を生成する構成ではなかった。また、一般的なカラー撮像素子では、色フィルタは水平垂直に2*2画素で規則的に配置されており、ＲＡＷデータを補間する場合には、画素間隔の開いた同色の画素を使用するために解像度が劣化するという問題があった。

そこで、本発明は、上記課題を解決し、少ない回路規模で解像度の劣化の少ない画像処理が可能な撮像装置を提供するものである。

本願において開示された発明のうち代表的なものの概要を簡単に説明すれば次の通りである。
（１）被写体を撮像する撮像装置であって、複数の色フィルタを有する撮像素子と、該撮像素子からの画像信号のうち同色画素を用いてレンズの歪補正後の補間信号を生成する同色補間部と、該撮像素子からの画像信号から輝度信号を生成する輝度信号生成部と、該輝度信号生成部で生成した輝度信号を用いてレンズの歪補正後の補間信号を生成する第1輝度補間部および第2輝度補間部と、レンズ歪特性補正後の座標の情報をメモリに保持しておくレンズ歪特性テーブルデータ部と、該レンズ歪特性テーブルデータ部からの情報を基に、レンズ歪を補正するための補間係数を前記同色補間部と前記第1輝度補間部と前記第2輝度補間部の各々に対して個別に生成する座標・補間係数設定部と、前記第1輝度補間部で生成した補間信号と前記第2輝度補間部で生成した補間信号の比から前記同色補間部からの信号を補正する補間信号を出力する補正部と、を有することを特徴とする撮像装置である。
（２）被写体を撮像する撮像装置であって、複数の色フィルタを有する撮像素子と、該撮像素子からの画像信号のうち同色画素を用いてレンズの歪補正後の補間信号を生成する同色補間部と、該撮像素子からの画像信号から輝度信号を生成する輝度信号生成部と、該輝度信号生成部で生成した輝度信号を用いてレンズの歪補正後の補間信号を生成する第1輝度補間部および第2輝度補間部と、予め設定されたレンズ歪特性関数を基に画素毎にレンズ歪特性補正後の座標を演算するレンズ歪特性関数演算部と、該レンズ歪特性関数演算部からの情報を基に、レンズ歪を補正するための補間係数を前記同色補間部と前記第1輝度補間部と前記第2輝度補間部の各々に対して個別に設定する座標・補間係数設定部と、前記第1輝度補間部で生成した補間信号と前記第2輝度補間部で生成した補間信号の比から前記同色補間部からの信号を補正する補間信号を出力する補正部と、を有することを特徴とする撮像装置である。

このように、本願に係る撮像装置は、ＲＡＷ信号の周波数成分と相関のある輝度信号を用いて、同色画素から生成する補間信号よりも、周波数成分の高い補正後ＲＡＷ信号を所望の補正位置に生成することで、解像度の劣化を抑制したＲＡＷデータ補間を可能とし、合わせて回路規模を減らすことを実現したものである。

また、本願に係る撮像装置は、補正後ＲＡＷ信号の補正位置を適宜設定することで、スケーリング（拡大・縮小）、レンズ歪補正、回転・視点変換、画素加算歪補正などの機能を備えるものである。

本発明によれば、少ない回路規模で解像度の劣化の少ない画像処理が可能な撮像装置を提供することができる。

撮像装置の第一の構成例を示す図である。 (a)は輝度信号生成部の動作説明図(1)であり、(b)は輝度信号生成部の動作説明図(2)である。 (a)は補間係数パターン１（α＜0.5、β＜0.5）の説明補足図(1)であり、(b)は補間係数パターン１（α＜0.5、β＜0.5）の説明補足図(2)であり、(c)は補間係数パターン１（α＜0.5、β＜0.5）の説明補足図(3)であり、(d)は補間係数パターン１（α＜0.5、β＜0.5）の説明補足図(4)である。 (a)は補間係数パターン２（α＞＝0.5、β＜0.5）の説明補足図(1)であり、(b)は補間係数パターン２（α＞＝0.5、β＜0.5）の説明補足図(2)であり、(c)は補間係数パターン２（α＞＝0.5、β＜0.5）の説明補足図(3)であり、(d)は補間係数パターン２（α＞＝0.5、β＜0.5）の説明補足図(4)である。 (a)は補間係数パターン３（α＜0.5、β＞＝0.5）の説明補足図(1)であり、(b)は補間係数パターン３（α＜0.5、β＞＝0.5）の説明補足図(2)であり、(c)は補間係数パターン３（α＜0.5、β＞＝0.5）の説明補足図(3)であり、(d)は補間係数パターン３（α＜0.5、β＞＝0.5）の説明補足図(4)である。 (a)は補間係数パターン４（α＞＝0.5、β＞＝0.5）の説明補足図(1)であり、(b)は補間係数パターン４（α＞＝0.5、β＞＝0.5）の説明補足図(2)であり、(c)は補間係数パターン４（α＞＝0.5、β＞＝0.5）の説明補足図(3)であり、(d)は補間係数パターン４（α＞＝0.5、β＞＝0.5）の説明補足図(4)である。第２輝度補間部の説明補足図である。撮像装置の第二の構成例を示す図である。拡大時の説明補足図である。縮小時の説明補足図である。拡大時のスケーリング演算例である。縮小時のスケーリング演算例である。撮像装置の第三の構成例を示す図である。撮像装置の第四の構成例を示す図である。 (a)は歪補正機能の説明補足図(1)であり、(b)は歪補正機能の説明補足図(2)である。

以下、本発明の実施形態について図面を用いて説明する。

本実施形態では、撮像装置の一例であるカメラの例を用いて説明する。
本実施形態に係る撮像装置は、図１に示す通り、複数の色フィルタを有するカラー撮像素子１００と、撮像素子から出力された電気信号をＡ／Ｄ変換してデジタル信号を出力Ａ／Ｄ変換回路１０７と、Ａ／Ｄ変換回路から出力されるＲＡＷ信号から輝度信号を生成する輝度信号生成部１０１と、生成された輝度信号を用いてそれぞれ補間信号を生成して出力する第１輝度補間部１０２及び第２輝度信号補間部１０３と、Ａ／Ｄ変換回路から出力されるＲＡＷ信号のうち同色画素の信号を用いて補間信号を生成する同色補完部１０４と、それぞれの補間信号を用いて演算により補正ＲＡＷ信号を生成して出力する補正部１０５と、を適宜用いて構成される。以下、各構成の動作について詳細に説明する。

撮像レンズを介して被写体から入射された光は撮像素子１００に照射され、被写体像が結像される。撮像素子１００はタイミングジェネレータによる駆動パルスによって水平と垂直の走査がなされ、被写体像を撮像し電気信号を発生する。この電気信号はＡ／Ｄ変換回路１０７でデジタル信号に変換され、ＲＡＷ信号として信号処理回路に入力される。信号処理回路ではＹＵＶ生成処理の他、ノイズ除去やガンマ補正などの各種カメラ信号処理を施し、ＴＶ信号などの信号に変換後出力する。

本実施形態における一の特徴は、上記したＡ／Ｄ変換回路と信号処理の間で、スケーリング（拡大・縮小）やレンズ歪補正、回転・視点変換、撮像素子内で画素加算された場合に発生する歪の補正などの、各画素の重心をずらす補正を行う点にあり、ＲＡＷ信号の色フィルタ配列順番を変えることなく、且つ解像度劣化の少ない出力ＲＡＷ信号を、少ないコストで実現するものである。

輝度信号生成部１０１の動作について、図２を用いて説明する。
Ａ／Ｄ変換回路から出力されたＲＡＷ信号は、画素ごとに順次、輝度信号生成部１０１と同色補間部１０４にそれぞれ入力する。撮像素子はカラー単板撮像素子であれば、たとえばＡ色、Ｂ色、Ｃ色、Ｄ色の4色の色フィルタに対応する画素が２ｘ２のペアで図２(a)のように配列される。撮像素子が原色ベイヤ配列であれば、例えばA＝R、B=C=G、D=Bと表せば良い。輝度信号生成部１０１は、ＲＡＷ信号の各画素のサンプリング位置に対応する輝度信号を、フィルタ処理による補間を行うことで生成する。例えば、Y33の場合には、
（数１）Y33=(A33+(B32+B34)/2+(C23+C43)/2+(D22+D24+D42+D44)/4)/4
の演算で生成し、他の位置の画素についても同様に処理することで輝度（Ｙ）信号を生成できる。

輝度信号生成部１０１で生成された輝度信号は、第１輝度補間部１０２と第２輝度補間部１０３にそれぞれ入力される。

同色補間部１０４は、重心をずらした画素信号を、近隣の同色画素信号を用いてフィルタリングにより補間することで補間信号を生成し、補正部１０５に出力する。

第１輝度補間部１０２では、重心をずらした画素信号を、上記同色補間部１０４でフィルタリングに用いた画素の位置と同じサンプリング位置の輝度信号を用いてフィルタリングにより補間することで補間信号を生成し、補正部１０５に出力する。

第２輝度補間部１０３では、重心をずらした画素信号を、第１輝度補間部で補間信号を生成する際に用いた輝度信号とは一部またはすべて異なる輝度信号（例えば相関性の最も高い近隣輝度信号）を用いフィルタリングにより補間することで補間信号を生成し、補正部１０５に出力する。

第１輝度補間部１０２と、第２輝度補間部１０３と、同色補間部１０４で補間された信号は、それぞれ補正部１０５で演算を施し、入力されたＲＡＷ信号の各画素に対して、所望の位置に重心の位置をずらした補正後のＲＡＷ信号を出力する。ここで、補正部１０５では、第１輝度補間部１０２で生成した補間信号と第２輝度補間部１０３で生成した補間信号との比を用いて、同色補間部１０４からの信号を補正して出力する。

上記、第１輝度補間部１０２と、第２輝度補間部１０３と、同色補間部１０４と、補正部１０５の動作に付き、図３から図７を用いて詳細を説明する。各図３から図７は、あるＡ色の1画素を補間生成する際の例を示している。
図３は、Ａ３３とＡ４４とＡ５３とＡ５５の間にある★印の重心位置に対応したＡ色の補間信号を生成する場合であり、その重心位置はＡ３３とＡ４４とＡ５３とＡ５５のうちＡ３３が最も近い場合の例である。これを補間係数パターン1（α＜0.5、β＜0.5）と定義する。

図４から図６についても同様に、Ａ３３とＡ４４とＡ５３とＡ５５のうち最も近い画素の違いに応じてパターン２（α＞＝0.5、β＜0.5）、３（α＜0.5、β＞＝0.5）、４（α＞＝0.5、β＞＝0.5）と定義する。以上のように、生成する補間画素の位置に応じて４つのパターンに分かれる。

同色４画素の位置と、補正により生成するＲＡＷデータ（AH）の位置について、係数αは水平方向の位置の比率を表し、係数βは垂直方向の位置の比率を表している。

まず、図３を用いて、A33のＲＡＷに対して、補間係数パターン１（α＜0.5、β＜0.5）の範囲の位置に補正後のＲＡＷデータ（AH）を生成する例を説明する。

同色補間部１０４は、図３(a)に示すとおり、補間係数設定部１０６から設定された補間係数αとβによって、補間信号（AL）を、A33,A35,A53,A55を用いて、
（数２）AL= A33*(1-α)*(1-β)+A35*α*(1-β)+A53*(1-α)*β+A55*α*β
の、ように求める。

第１輝度補間部１０２は、図３(b)に示すとおり、補間係数設定部１０６から設定された補間係数αとβによって、補間信号（YL）を、Y33,Y35,Y53,Y55を用いて、
（数３）YL= Y33*(1-α)*(1-β) +Y35*α*(1-β)+Y53*(1-α)*β+Y55*α*β
の、ように求める。

第２輝度補間部１０３は、図３(c)に示すとおり、補間係数設定部１０６から設定された補間係数αとβ（α＜0.5、β＜0.5）によって、Y33,Y34,Y43,Y44を用いて補間信号（YH）を、
（数４）YH= Y33*(1-2α)*(1-2β)+Y34*2α*（1-2β）+Y43*(1-2α)*2β+Y44*2α*2β
の、ように求める。第２輝度補間部１０３では、第１輝度補間部１０２とは使用する輝度信号が異なるため、第１輝度補間部１０２での、α、βが、第２輝度補間部１０３では、それぞれ2α、2β相当となる。

ここで、同色補間部１０４にて算出したALは、補間に使用する画素の距離が離れているために、狭帯域の（高周波の利得が低いボケた）画像信号となる。第1輝度補間部１０２にて算出したYLは、同色補間部１０４にて算出したALと同じフィルタ特性となり、同様に狭帯域の輝度信号となる。一方で、第2輝度補間部１０３にて算出したYHは、補間に使用する画素の距離が近いため広帯域の（高周波の利得がYLに比べて高くボケていない）輝度信号となる。輝度信号は、各A、B、C、Dの色信号に対して一定の相関性を持つため、
（数５）AH（広帯域）：AL（狭帯域）≒ YH（広帯域）：YL（狭帯域）
が成り立つ。そこで補正部１０５は図３(d)に示すとおり、上記（数５）を変形し、
（数６）AH=AL*YH/YL
として、高周波の利得が高くボケていないA色の補間信号AHを求める。

次に、図４を用いてA33のＲＡＷに対して、補間係数パターン２（α＞＝0.5、β＜0.5）の範囲の位置に補正後のＲＡＷデータ（AH）を生成する例を説明する。ここでは、同色補間部１０４、第１輝度補間部１０２、補正部１０５は、図３と同じ動作をするため説明を省略し、第２輝度補間部１０３の動作について説明する。

第２輝度補間部１０３は、図４(c)に示すとおり、補間係数設定部１０６から設定された補間係数αとβ（α＞＝0.5、β＜0.5）によって、Y34,Y35,Y44,Y45を用いて補間信号（YH）を、
（数７）YH= Y34*(2-α)*(1-2β)+Y35*(2α-1)*(1-2β)+Y44*(2-α)*2β+Y45*(2α-1)*2β
の、ように求める。第２輝度補間部１０３では、第１輝度補間部１０２とは使用する輝度信号が異なるため、第１輝度補間部１０２での、α、(1-α)、βが、第２輝度補間部１０３では、それぞれ(2α-1)、(2-α)、2β相当となる。

次に、図５を用いてA33のＲＡＷに対して、補間係数パターン３（α＜0.5、β＞＝0.5）の範囲の位置に補正後のＲＡＷデータ（AH）を生成する例を説明する。上記同様に、第２輝度補間部１０３の動作について説明する。

第２輝度補間部１０３は、図５(c)に示すとおり、補間係数設定部１０６から設定された補間係数αとβ（α＜0.5、β＞＝0.5）によって、Y43,Y44,Y53,Y54を用いて補間信号（YH）を、
（数８）YH= Y43*(1-2α)*(2-β)+Y44*2α*(2-β)+Y53*(1-2α)*(2β-1)+Y54*2α*(2β-1)
の、ように求める。第２輝度補間部１０３では、第１輝度補間部１０２とは使用する輝度信号が異なるため、第１輝度補間部１０２での、α、β、(1-β)が、第２輝度補間部１０３では、それぞれ2α、(2β-1)、(2-β)相当となる。

次に、図６を用いてA33のＲＡＷに対して、補間係数パターン４（α＞＝0.5、β＞＝0.5）の範囲の位置に補正後のＲＡＷデータ（AH）を生成する例を説明する。上記同様に、第２輝度補間部１０３の動作について説明する。

第２輝度補間部１０３は、図６(c)に示すとおり、補間係数設定部１０６から設定された補間係数αとβ（α＞＝0.5、β＞＝0.5）によって、Y43,Y44,Y53,Y54を用いて補間信号（YH）を、
（数９）YH=Y44*(2-α)*(2-β)+Y45*(2α-1)*(2-β)+Y54*(2-α)*(2β-1)+Y55*(2α-1)*(2β-1)
の、ように求める。第２輝度補間部１０３では、第１輝度補間部１０２とは使用する輝度信号が異なるため、第１輝度補間部１０２での、α、(1-α)、β、(1-β)が、第２輝度補間部１０３では、それぞれ(2α-1)、(2-α)、(2β-1)、(2-β)相当となる。

上記のように、第２輝度補間部１０３では、生成する補間画素の重心位置に応じて係数を変化させる必要がある。第２輝度補間部１０３の係数の切り替え方法について図７を用いて補足説明する。

第２輝度補間部１０３では、補間係数設定部１０６から設定された補間係数αとβによって４つのパターンの処理に切り分ける。

ＳＴＥＰ１で補間係数設定部１０６から設定された補間係数αがα＜0.5となるかを比較判定する。真の場合にはＳＴＥＰ２へ、偽の場合にはＳＴＥＰ３へと分岐する。ＳＴＥＰ２では補間係数設定部１０６から設定された補間係数βがβ＜0.5となるかを比較判定する。真の場合にはＳＴＥＰ４へ、偽の場合にはＳＴＥＰ５へと分岐する。ＳＴＥＰ４では上記した補間係数パターン１（α＜0.5、β＜0.5）の処理を施す。ＳＴＥＰ５では上記した補間係数パターン２（α＞＝0.5、β＜0.5）の処理を施す。

ＳＴＥＰ３では補間係数設定部１０６から設定された補間係数βがβ＜0.5となるかを比較判定する。真の場合にはＳＴＥＰ６へ、偽の場合にはＳＴＥＰ７へと分岐する。ＳＴＥＰ６では上記した補間係数パターン３（α＜0.5、β＞＝0.5）の処理を施す。ＳＴＥＰ７では上記した補間係数パターン４（α＞＝0.5、β＞＝0.5）の処理を施す。

以上の動作により、第２輝度補間部１０３では、補間係数設定部１０６から設定された補間係数αとβに応じて、４つの処理を切り分けて、補間信号（YH）を生成する。

以上の構成により、解像度の劣化を抑制しつつ、ＲＡＷ信号について重心をずらした信号を補間により生成することができる。さらには、ＲＡＷ信号は、一般にＲＧＢ信号やＹＵＶ信号に比べて、信号のビット幅が少ないことから、小さな回路規模で補間信号を生成することが可能となる。

なお、本実施例では、第２輝度補間部１０３で４つのパターンを判定し、パターンに応じて処理を切り分けるように一例を説明したが、例えば補間係数設定部１０６で４つのパターンを判定し、第２輝度補間部１０３にパターン情報を供給し、第２輝度補間部１０３でパターン情報によって処理の切り分けをおこなっても良い。

撮像装置の第２の実施例について、図８から図１２を用いて説明する。なお、図８において、図１と同じ動作をする構成については、適宜説明を省略し、異なる構成について主として説明する。

本実施例２では、実施例１の構成と異なる点として、実施例１の補間係数設定部１０６において、不図示の制御マイコン等から指示された倍率と開始位置を入力し、不図示のタイミングジェネレータ等から与えられるＲＡＷ信号と同期した水平（Ｈ）・垂直（Ｖ）の座標情報を入力し、これらの入力情報から画素毎のスケーリング（拡大・縮小）後の座標を演算し、画素ごとに順次、座標・補間係数設定部２０６に出力するスケーリング演算部２０７と、スケーリング演算部２０７からの座標情報と、座標情報から算出した、補間係数α、βを、それぞれ第１輝度補間部２０２、第２輝度補間部２０３、同色補間部２０４に出力する座標・補間係数設定部２０６と、を有する構成としている。

第１輝度補間部２０２、第２輝度補間部２０３、同色補間部２０４では、スケーリング演算部２０７からの座標情報の位置を囲む同色４画素を選択し、該同色４画素の位置に対して上記した図１と同様の補間処理を施す。

次に、拡大・縮小の動作の例につき、それぞれ図９と図１０を用いて説明する。
図９は、拡大時の動作説明を補足する図で、8/6=4/3倍に左上の部分から拡大する例である。水平垂直に6*6ある画素を同一面積内に8*8の画素を配置して、8*8の各画素の重心になるようにそれぞれ順に始点と補間係数α、βの比率を割り当て、上記した補間によりA11’、B12’、A13’、B14’、A15’、B16’、C21’、D22’、C23’、D24’、C25’、D26’、A31’、B32’、A33’、B34’、A35’、B36’、C41’、D42’、C43’、D44’、C45’、D46’、A51’、B52’、A53’、B54’、A55’、B56’、C61’、D62’、C63’、D64’、C65’、D66’の補正後ＲＡＷ信号を生成する。その後、当該補正後ＲＡＷ信号を元のＲＡＷ信号と同様の速度で処理することで所望である4/3倍の拡大処理となる。

図１０は、縮小時の動作説明を補足する図で、4/6=2/3倍に左上の部分から縮小する例である。水平垂直に6*6ある画素を同一面積内に4*4の画素を配置して、4*4の各画素の重心になるようにそれぞれ順に始点とα、βの比率を割り当て、上記した補間によりA11’、B12’、A13’、B14’、C21’、D22’、C23’、D24’、A31’、B32’、A33’、B34’、C41’、D42’、C43’、D44’の補正後ＲＡＷ信号を生成する。その後、当該補正後ＲＡＷ信号を元のＲＡＷ信号と同様の速度で処理することで所望である2/3倍の縮小処理となる。

さらに、上記図９、図１０の場合についてスケーリング演算の例を図１１と図１２を用いてそれぞれ説明する。
図１１は、図９での拡大時のB34’、D46’に対するスケーリング演算の例である。

B34’の重心座標は、（3.5*3/4,2.5*3/4）=（2.625,1.875）となり、この値がスケーリング演算部２０７の出力となる。座標・補間係数設定部２０６では、座標情報（2.625,1.875）と、該座標情報から求めたα=0.5625、β=0.6875を出力する。第１輝度補間部２０２、第２輝度補間部２０３、同色補間部２０４では、該座標を囲む同色４画素のB12、B14、B32、B34を選択する。同様にD46’時には、座標=（4.125,2.625）、α=0.3125、β=0.5625、同色４画素は、D24、D26、D44、D46となる。

図１２は、図１０での縮小時のA33’、D44’に対するスケーリング演算の例である。A33’の重心座標は、（2.5*3/2,2.5*3/2）=（3.75,3.75）となり、この値がスケーリング演算部２０７の出力となる。座標・補間係数設定部２０６では、座標情報（3.75,3.75）と、該座標情報から求めたα=0.625、β=0.625を出力する。第１輝度補間部２０２、第２輝度補間部２０３、同色補間部２０４では、該座標を囲む同色４画素のA33、A35、A53、A55を選択する。同様にD44’時には、座標=（5.25,5.25）、α=0.875、β=0.875、同色４画素は、D44、D46、D64、D66となる。

以上の構成により、本実施形態に係る撮像装置については、解像度の劣化を抑制しつつ、スケーリング（拡大・縮小）したＲＡＷ信号を生成することができる。さらには、ＲＡＷ信号は、一般にＲＧＢ信号やＹＵＶ信号に比べて、信号のビット幅が少ないことから、小さな回路規模でスケーリング機能を有する撮像装置の提供が可能となる。

撮像装置の他の変形例について、図１３から図１５を用いて説明する。なお、図１３、図１４において、図１、図８と同じ動作をする構成については、適宜説明を省略し、異なる構成について主として説明する。

図１３は、撮像装置の第三の構成例を示す図であり、レンズの歪補正機能を備えるものである。本実施例におけるレンズの歪補正機能の構成例では、実施例１と異なる点として、実施例１の補間係数設定部において、レンズ歪の特性に従った各画素の座標のズレ量をテーブルデータとして格納してあり、不図示のタイミングジェネレータ等から与えられるＲＡＷデータの位置と同期した水平（Ｈ）・垂直（Ｖ）の座標情報に対応したテーブルデータを読み出し、座標情報を加えることで、レンズ歪補正後の座標を演算し、画素ごとに順次、座標・補間係数設定部２０６に出力するレンズ歪特性テーブルデータ部３０７と、レンズ歪特性テーブルデータ部３０７からの座標情報と、座標情報から算出した、補間係数α、βを、それぞれ第１輝度補間部２０２、第２輝度補間部２０３、同色補間部２０４に出力する座標・補間係数設定部２０６と、を有する構成としている。

図１４は、レンズの歪補正機能を備える撮像装置の変形例として、第四の構成例を示す図である。本実施例におけるレンズの歪補正機能の構成例では、実施例１と異なる点として、実施例１の補間係数設定部において、不図示のタイミングジェネレータ等から与えられるＲＡＷデータの位置と同期した水平（Ｈ）・垂直（Ｖ）の座標情報を入力し、例えば、レンズ中心から現在の座標までの距離に応じて歪量をレンズの特性に従った計算式を用いて演算し、撮像素子の中心位置から現在の画素までの方向に対して該歪量を補正することで、レンズ歪補正後の座標を演算し、画素ごとに順次、座標・補間係数設定部２０６に出力するレンズ歪特性関数演算部４０７と、レンズ歪特性関数演算部４０７からの座標情報と、座標情報から算出した、補間係数α、βを、それぞれ第１輝度補間部２０２、第２輝度補間部２０３、同色補間部２０４に出力する座標・補間係数設定部２０６と、を有する構成としている。

図１５は、歪補正機能の説明を補足する図である。図１５（a）歪補正前の図、図１５(b)は歪補正後の図であり、点線はレンズの歪特性を示し、点は画素の重心の位置を示し、矢印はレンズ歪を補正する前と補正した後で画素の重心が移動したベクトルを示している。

撮像装置の第三の構成例においては、レンズ歪特性テーブルデータ部３０７にこのベクトルがテーブルデータとして格納してあり、座標・補間係数設定部２０６は、このレンズ歪特性テーブルデータに基づいて、レンズ歪を補正するための補間係数を、第１輝度補間部２０２、第２輝度補間部２０３、同色補間部２０４各々に対して個別に生成して出力する。

また、撮像装置の第四の構成例においては、レンズ歪特性関数演算部４０７にこのベクトルの大きさが撮像素子の中心からの距離に応じた関数として予め定めてあり、レンズ歪特性関数演算部４０７は予め設定されたレンズ歪特性関数をもとに画素毎にレンズ歪特性補正後の座標を演算し、座標・補間係数設定部２０６では、レンズ歪特性関数演算部４０７からの情報に基づいて、レンズ歪を補正するための補間係数を、第１輝度補間部２０２、第２輝度補間部２０３、同色補間部２０４各々に対する個別に設定して出力する。

いずれの撮像装置においても、各補間部において、レンズ歪補正後の座標を元に、上記実施例１と同様の処理がなされ、ＲＡＷデータの補間をおこなう。

以上のように本実施例では、前記実施例１の効果を得たまま、ＲＡＷデータの補間を行うことによって、歪補正機能を実現できる。

なお、本実施例では、一例として樽型歪の場合を説明したが、これに限られるものではなく、例えば糸巻き歪の場合等にも同様に本実施例を適用可能であり、本実施例と同様の効果を得られる。

また、上記テーブルデータ方式において、テーブルデータの数を減らし、数を減らした部分を演算で補うように構成しても本発明を適用可能であり、本実施例と同様の効果を得られる。

また、上記レンズ歪補正機能の構成例その１のテーブルデータ方式において、ＲＡＷ信号における各色に対応した歪データを個別に保持し、各色信号毎に個別に補間信号を生成する構成とすれば、前記実施例１の効果を得たまま、レンズ歪のうちディストーションのみならず倍率色収差を補正することができる。

また、上記レンズ歪補正機能の構成例その２のレンズ関数方式において、ＲＡＷ信号における各色に対応した歪関数を個別に保持し、各色信号毎に個別に補間信号を生成する構成とすれば、前記実施例１の効果を得たまま、レンズ歪のうちディストーションのみならず倍率色収差を補正することができる。

上記した本発明の説明においては、水平・垂直に2*2画素の周期的な色フィルタ配置を例にして説明したが、2*2の配列に限らず、2*4の配列の撮像素子であっても、ハニカム構造のような特殊な配列の撮像素子であっても、他の色フィルタ配置の場合であっても同様にして本発明を適用可能である。

さらに、本発明の説明においてはスケーリング（拡大・縮小）、レンズ歪補正の機能について説明したが、それ以外のＲＡＷ信号に対して重心をずらす補正を行うことで実現する機能であればすべてにおいて適用可能である。

また、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０１輝度信号生成部
１０２第１輝度補間部
１０３第２輝度補間部
１０４同色補間部
１０５補正部
１０６補間係数設定部
２０６座標・補間係数設定部
２０７スケーリング演算部
３０７レンズ歪特性テーブルデータ部
４０７レンズ歪特性関数演算部

Claims

被写体を撮像する撮像装置であって、
複数の色フィルタを有する撮像素子と、
該撮像素子からの画像信号のうち同色画素を用いてレンズの歪補正後の補間信号を生成する同色補間部と、
該撮像素子からの画像信号から輝度信号を生成する輝度信号生成部と、
該輝度信号生成部で生成した輝度信号を用いてレンズの歪補正後の補間信号を生成する第1輝度補間部および第2輝度補間部と、
レンズ歪補正後の座標の情報を保持しておくレンズ歪特性テーブルデータ部と、
該レンズ歪特性テーブルデータ部からの情報を基に、レンズ歪を補正するための補間係数を前記同色補間部と前記第1輝度補間部と前記第2輝度補間部の各々に対して個別に生成する座標・補間係数設定部と、
前記第1輝度補間部で生成した補間信号と前記第2輝度補間部で生成した補間信号の比から前記同色補間部からの信号を補正する補間信号を出力する補正部と、
を有することを特徴とする撮像装置。
被写体を撮像する撮像装置であって、
複数の色フィルタを有する撮像素子と、
該撮像素子からの画像信号のうち同色画素を用いてレンズの歪補正後の補間信号を生成する同色補間部と、
該撮像素子からの画像信号から輝度信号を生成する輝度信号生成部と、
該輝度信号生成部で生成した輝度信号を用いてレンズの歪補正後の補間信号を生成する第1輝度補間部および第2輝度補間部と、
予め設定されたレンズ歪特性関数を基に画素毎にレンズ歪特性補正後の座標を演算するレンズ歪特性関数演算部と、
該レンズ歪特性関数演算部からの情報を基に、レンズ歪を補正するための補間係数を前記同色補間部と前記第1輝度補間部と前記第2輝度補間部の各々に対して個別に設定する座標・補間係数設定部と、
前記第1輝度補間部で生成した補間信号と前記第2輝度補間部で生成した補間信号の比から前記同色補間部からの信号を補正する補間信号を出力する補正部と、
を有することを特徴とする撮像装置。
請求項１又は２に記載の撮像装置であって、
前記第1輝度補間部は、前記同色補間部による補間信号生成の際に用いた画素の位置と同じサンプリング位置にある輝度信号を用いて補間信号を生成し、
前記第2輝度補間部は、第1輝度補間部で補間信号を生成する際に用いた輝度信号とは一部またはすべて異なる輝度信号を用いて補間信号を生成することを特徴とする撮像装置。
請求項１に記載の撮像装置であって、
前記レンズ歪特性テーブルデータ部は撮像素子からの画素信号における各色に対応した歪データを個別に保持し、
前記同色補間部および前記第1輝度補間部および前記第2輝度補間部は、前記各色毎に個別に補間信号を生成することを特徴とする撮像装置。
請求項２に記載の撮像装置であって、
前記レンズ歪特性関数演算部は撮像素子からの画素信号における各色に対応した歪関数を個別に保持し、
前記同色補間部および前記第1輝度補間部および前記第2輝度補間部は、前記各色毎に個別に補間信号を生成することを特徴とする撮像装置。