JP4606218B2

JP4606218B2 - 歪補正装置

Info

Publication number: JP4606218B2
Application number: JP2005090727A
Authority: JP
Inventors: 実大森; 隆弘矢代; 拓二川久保; 誠司岡田
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2005-03-28
Filing date: 2005-03-28
Publication date: 2011-01-05
Anticipated expiration: 2025-03-28
Also published as: JP2006279144A

Description

この発明は、歪補正装置に関し、特にたとえばディジタルカメラに適用され、撮影された被写界像に歪補正を施す、歪補正装置に関する。

従来のこの種の装置の一例が、特許文献１に開示されている。この従来技術によれば、能動化される歪補正回路が、撮影モードに応じて第１歪補正回路および第２歪補正回路の間で切り換えられる。第１歪補正回路は、補正精度が低いものの処理時間が短い回路であり、動画撮影モードで能動化される。第２歪補正回路は、補正精度が高いものの処理時間が長い回路であり、静止画撮影モードで能動化される。これによって、処理の破綻を回避しつつ、可能な限り高精度で歪を補正することができる。
特開２００４−７３０４号公報［H04N 5/232, G03B 17/16］

しかし、従来技術では、第１歪補正回路の補正精度が低いため、動画像について十分な画質が得られないという問題がある。

それゆえに、この発明の主たる目的は、動画像について高精度の歪補正を施すことができる、歪補正装置を提供することである。

請求項１の発明に従う歪補正装置(10)は、第１数の水平画素を有する画像データを出力する出力手段(64)、出力手段によって出力された画像データに水平画素方向の歪補正を施して第１補正画像データを作成する第１補正手段(66)、各々が水平方向において第１数の半分以下のアドレス数である第１および第２バンクを有するメモリ(30)、第１補正手段によって作成された第１補正画像データを、偶数ラインの水平画素を第１バンクおよび第２バンクの一方の先頭アドレスから書き込み、奇数ラインの水平画素を第１バンクおよび第２バンクの他方の先頭アドレスから書き込むことによって、垂直方向に隣接する画素間で書き込みバンクが相違するようにメモリに書き込む書き込み手段(26，32a,32d,32f)、第１補正画像データを、偶数ラインの第１数よりも小さい第２数の水平画素を第１バンクおよび第２バンクの一方の先頭アドレスから読み出し、奇数ラインの第２数の水平画素を第１バンクおよび第２バンクの他方の先頭アドレスから読み出すことによって、メモリからライン順次に読み出す読み出し手段(32b,32d,32f,40)、および読み出し手段によってライン順次に読み出された第２数の水平画素に相当する偶数ラインおよび奇数ラインの第１補正画像データに垂直方向の歪補正を施して第２補正画像データを作成する第２補正手段(70)を備える。

出力手段は、第１数の水平画素を有する画像データを出力する。出力された画像データは第１補正手段によって水平画素方向の歪補正を施され、これによって第１補正画像データが作成される。作成された第１補正画像データは、垂直画素方向に隣接する画素間で書き込みバンクが相違するように、書き込み手段によって複数のメモリバンクに書き込まれる。

読み出し手段は、こうして複数のメモリバンクに格納された第１補正画像データを第１数よりも小さい第２数の水平画素ずつ垂直画素方向に読み出す。読み出された第１補正画像データは第２補正手段によって垂直画素方向の歪補正を施され、これによって第２補正画像データが作成される。

第１補正画像データの書き込みバンクは、垂直画素方向に隣接する画素間で相違する。このため、第１補正画像データを垂直画素方向に読み出すときにバンクインタリーブアクセスが可能となり、高速のデータ読み出しが実現される。また、水平画素方向に読み出される画素数は第１数よりも小さい第２数であるため、垂直画素方向の歪補正が高速で実行される。

請求項２の発明に従う歪補正装置は、請求項１に従属し、読み出し手段はバーストアクセス態様で読み出し動作を行い、第２数は１回のバーストアクセス量に相当する。

請求項３の発明に従う歪補正装置は、請求項１または２に従属し、第２補正手段は、各々が少なくとも第２数の水平画素の画素データを格納する複数のメモリ手段(Y00-Y47)、複数のメモリ手段のうち２つのメモリ手段から垂直画素方向に隣接する２画素の画素データを読み出すデータ読み出し手段(70j)、およびデータ読み出し手段によって読み出された２画素の画素データに補間演算を施して１画素の画素データを作成する垂直補間手段(70d)を含む。

請求項４の発明に従う歪補正装置は、請求項３に従属し、第２補正手段は注目画素の位置情報に基づいて垂直歪率係数を算出する垂直歪率係数算出手段(70g, 70h, 70i)をさらに含み、データ読み出し手段は垂直歪率係数算出手段によって算出された垂直歪率係数と注目画素の垂直画素位置とに基づいて２画素の画素データを読み出すべき２つのメモリ手段を特定する。

請求項５の発明に従う歪補正装置は、請求項１ないし４のいずれかに従属し、第１補正手段は、注目画素の位置情報に基づいて水平歪率係数を算出する水平歪率係数算出手段(66h, 66g, 66j)、水平歪率係数算出手段によって算出された水平歪率係数に基づいて水平補間係数を算出する水平補間係数算出手段(66n)、および出力手段によって出力された画像データのうち注目画素に対応する２画素の画素データに水平補間係数算出手段によって算出された水平補間係数に従う補間演算を施す水平補間手段(66p, 66q, 66r, 66s)を含む。

請求項６の発明に従うビデオカメラは、請求項１ないし５のいずれかに記載の歪補正装置を備える。

この発明によれば、第１補正画像データの書き込みバンクは、垂直画素方向に隣接する画素間で相違する。このため、第１補正画像データを垂直画素方向に読み出すときにバンクインタリーブアクセスが可能となり、高速のデータ読み出しが実現される。また、水平画素方向に読み出される画素数は第１数よりも小さい第２数であるため、垂直画素方向の歪補正が高速で実行される。この結果、動画像について高精度の歪補正を施すことができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例のディジタルカメラ１０は、光学レンズ１２を含む。被写界の光学像は、光学レンズ１２を経てイメージセンサ１６の撮像面に照射される。撮像面は、図２に示す原色フィルタ１４によって覆われる。このため、撮像面を形成する複数の画素の各々で生成される電荷は、Ｒ(Red)，Ｇ(Green)およびＢ(Blue)のいずれか１つの色情報を有する。

電源が投入されると、被写界のリアルタイム動画像（スルー画像）をＬＣＤモニタ５０から出力するべく、スルー画像処理が実行される。ＣＰＵ５６は、プリ露光および間引き読み出しの繰り返しをＴＧ１８に命令する。ＴＧ１８は、垂直同期信号Ｖｓｙｎｃが発生する毎にイメージセンサ１６にプリ露光を施し、かつこのプリ露光によって生成された電荷の一部をラスタ走査態様でイメージセンサ１６から読み出す。

垂直同期信号Ｖｓｙｎｃは１／３０秒毎に発生し、イメージセンサ１６から読み出された電荷によって形成される生画像信号は、水平６４０画素×垂直４８０画素のサイズと３０ｆｐｓのフレームレートとを有する。この生画像信号の偶数ラインおよび奇数ラインには、Ｒ，Ｇ，Ｒ，Ｇ，…の色情報およびＧ，Ｂ，Ｇ，Ｂ，…の色情報がそれぞれ割り当てられる。

イメージセンサ１６から出力された生画像信号は、ＣＤＳ／ＡＧＣ／ＡＤ回路２０によって相関２重サンプリング，自動ゲイン調整およびＡ／Ｄ変換の一連の処理を施され、これによって、ディジタル信号である生画像データが得られる。スルー画像処理が実行されるとき、スイッチＳＷ１は端子Ｔ１に接続され、スイッチＳＷ２はオフされる。したがって、ＣＤＳ／ＡＧＣ／ＡＤ回路２０から出力された３０ｆｐｓの生画像データは、スイッチＳＷ１を介して前処理回路２４に与えられる。

前処理回路２４は、図４に示すように白バランス調整回路６０，色分離回路６２，ＹＵＶ変換回路６４および水平歪補正回路６６を有する。生画像データの白バランスは、白バランス調整回路６０によって調整され、調整された生画像データの各画素が欠いている色情報は色分離回路６２によって補間される。色分離回路６２から出力された補間画像データはＹＵＶ変換回路６４によってＹＵＶ形式に従う水平６４０画素×垂直４８０画素の画像データに変換され、変換された画像データの水平方向の歪みは水平歪補正回路６６によって補正される。

図６（Ａ）に示す被写界に対応する光学像が光学レンズ１２を通過すると、イメージセンサ１６の撮像面で生成される生画像信号ひいてはＹＵＶ変換回路６４から出力される画像データに、図６（Ｂ）に示すような樽型歪み（収差）が発生する。水平歪補正回路６６は、このような歪みのうち水平方向の歪みを補正する。

なお、水平歪補正動作によって画像データの水平方向両端に現れる不要画素ＵＮ（図６（Ｃ）参照）は、水平歪補正回路６６から画像データを出力するときに排除される。

バッファ回路２６は、前処理回路２４から出力された画像データを書き込みリクエストとともにメモリ制御回路３２に与える。画像データは、メモリ制御回路３２によってＳＤＲＡＭ３０の動画像エリア３０ａ（図３参照）に書き込まれる。バッファ回路４０は、動画像エリア３０ａに格納された画像データを図６（Ｄ）に示す短冊ＲＣ毎に読み出すべく、メモリ制御回路３２に向けて読み出しリクエストを発行する。メモリ制御回路３２によって読み出された画像データは、バッファ回路４０を介して後処理回路４２に与えられる。

後処理回路４２は、図５に示すように垂直歪補正回路７０，ＦＩＲフィルタ７２およびズーム回路７４を有する。各々の短冊ＲＣに属する画像データの垂直方向の歪みは垂直歪補正回路７０によって補正され、この結果、図６（Ｅ）に示す画像データが垂直歪補正回路７０から出力される。

垂直歪補正が施された画像データは、ＦＩＲフィルタ７２によって２次元フィルタ処理を施され、ＦＩＲフィルタ７２から出力された画像データは、ズーム回路７４によって縮小ズーム処理を施される。縮小ズーム処理を施された画像データの解像度は、ＬＣＤモニタ５０の解像度と一致する。

バッファ回路４４は、後処理回路４２から出力された画像データを書き込みリクエストとともにメモリ制御回路３２に与える。画像データは、メモリ制御回路３２によってＳＤＲＡＭ３０の動画像エリア３０ｂ（図３参照）にバンクインタリーブ方式で書き込まれる。動画像エリア３０ｂに格納された画像データはその後、メモリ制御回路３２およびバッファ回路４６を経てビデオエンコーダ４８に与えられ、ＮＴＳＣ方式のコンポジットビデオ信号に変換される。変換されたコンポジットビデオ信号はＬＣＤモニタ５０に与えられ、この結果、３０ｆｐｓのフレームレートを有するスルー画像が画面に表示される。

キー入力装置５８によって撮影操作が行われると、撮影操作が行われた時点の静止画像を記録媒体５４に記録するべく、静止画撮影／記録処理が実行される。ＣＰＵ５６は、本露光および全画素読み出しをＴＧ１８に命令する。ＴＧ１８は、垂直同期信号Ｖｓｙｎｃの発生に応答してイメージセンサ１６に本露光を施し、これによって生成された全ての電荷をラスタ走査態様でイメージセンサ１６から読み出す。

イメージセンサ１６から読み出された電荷によって形成される高解像度の生画像信号は、偶数ラインにＲ，Ｇ，Ｒ，Ｇ，…の色情報を有し、奇数ラインにＧ，Ｂ，Ｇ，Ｂ，…の色情報を有する。この生画像信号もまた、ＣＤＳ／ＡＧＣ／ＡＤ回路２０によって上述と同様の処理を施され、ディジタル信号である生画像データに変換される。

静止画撮影／記録処理が実行されるとき、スイッチＳＷ１は端子Ｔ２に接続され、スイッチＳＷ２はオンされる。ＣＤＳ／ＡＧＣ／ＡＤ回路２０から出力された生画像データは、バッファ回路２８を介してメモリ制御回路３２に与えられ、図２に示す静止画像エリア３０ｃに書き込まれる。

静止画像エリア３０ｃに格納された生画像データは、メモリ制御回路３２，バッファ回路２２およびスイッチＳＷ１を介して前処理回路２４に与えられ、白バランス調整，色分離，ＹＵＶ変換および水平歪補正の一連の処理を施される。前処理回路２４から出力された画像データは、バッファ回路２６を介してメモリ制御回路３２に与えられ、これによってＳＤＲＡＭ３０の静止画像エリア３０ｄに書き込まれる。

静止画像エリア３０ｄに格納された画像データはその後、メモリ制御回路３２およびバッファ回路４０を経て後処理回路４２に与えられ、垂直歪補正，２次元フィルタ処理およびズーム処理の一連の処理を施される。後処理回路４２から出力された画像データは、バッファ回路４４およびメモリ制御回路３２を経て、ＳＤＲＡＭ３０の静止画像エリア３０ｅに書き込まれる。

静止画像エリア３０ｅに格納された画像データは、メモリ制御回路３２およびバッファ回路３４を介して、ＪＰＥＧエンコーダ３６に与えられる。ＪＰＥＧエンコーダ３６は、与えられた画像データをＪＰＥＧ方式に従って圧縮し、圧縮された画像データをバッファ回路３８を介してメモリ制御回路３２に与える。この画像データは、メモリ制御回路３２によってＳＤＲＡＭ３０の静止画像エリア３０ｆに書き込まれる。静止画像エリア３０ｆに格納された画像データはその後、メモリ制御回路３２およびＩ／Ｆ５２を経て、記録媒体５４に記録される。

水平歪補正回路６６は、図１２に示すように構成される。ＹＵＶ変換回路６４から出力された画像データのうち、ＵデータはＳＲＡＭ６６ａに書き込まれ、ＶデータはＳＲＡＭ６６ｂに書き込まれ、そしてＹデータはＳＲＡＭ６６ｃに書き込まれる。Ｙデータはアパーチャ生成回路６６ｄにも与えられる。アパーチャ生成回路６６ｄは与えられたＹデータに基づいてアパーチャデータを生成し、生成されたアパーチャデータは乗算器６６ｅを介してＳＲＡＭ６６ｆに書き込まれる。なお、これらのデータの書き込み動作は、後述するＳＲＡＭ６６ｋへの水平アドレスの書き込み動作に同期する。

ＹＵＶ変換回路６４はまた、今回出力された画素つまり注目画素の位置を示す水平アドレスおよび垂直アドレスを出力する。出力された水平アドレスおよび垂直アドレスは、像高比算出回路６６ｈに与えられる。

図１４を参照して、ラスタ走査態様で出力される画像データの画素位置は、被写界像の左上頂角を原点とするｈｖ座標系を用いて特定される。これに対して、像高比は、光学レンズ１２の中心つまり被写界像の中心を原点とするｘｙ座標系を用いて算出される。

このため、像高比算出回路６６ｈは、まず数１に従ってｈｖ座標系のアドレスをｘｙ座標系のアドレスに変換し、次に注目画素の像高比を数２に従って算出する。
［数１］
ｘ（ｍ）＝ｈ（ｍ）−ｈｓｉｚｅ／２
ｙ（ｍ）＝ｖ（ｍ）−ｖｓｉｚｅ／２
ｘ（ｍ）：注目画素のｘアドレス
ｙ（ｍ）：注目画素のｙアドレス
ｈ（ｍ）：注目画素の水平アドレス
ｖ（ｍ）：注目画素の垂直アドレス
ｈｓｉｚｅ：被写界像の水平サイズ（＝６４０）
ｖｓｉｚｅ：被写界像の垂直サイズ（＝４８０）
［数２］
ｒ＝√｛ｘ（ｍ）^２＋ｙ（ｍ）^２｝
Ｒ＝√｛（ｈｓｉｚｅ／２）^２＋（ｖｓｉｚｅ／２）^２｝
ＲＤ＝ｒ／Ｒ
ＲＤ：像高比
水平歪率と像高比との関係は、図１５に示す曲線Ｃｈによって定義される。図１５によれば、水平歪率は、像高比が“０．０”のとき“０．０”を示し、像高比の増大に従って減少する。水平歪率算出回路６６ｇは、このような曲線Ｃｈの近似式を利用して、像高比算出回路６６ｈから出力された像高比に対応する水平歪率を算出する。算出された水平歪率は、ゲイン算出回路６６ｉおよび水平アドレス変換回路６６ｊに与えられる。

ゲイン算出回路６６ｉは、入力された水平歪率に対応するゲインを算出し、算出されたゲインを乗算器６６ｅに与える。アパーチャデータは、かかるゲインに従って増幅される。

水平アドレス変換回路６６ｊは、像高比算出回路６６ｈによって算出された注目画素のｘアドレスと水平歪率算出回路６６ｇによって算出された注目画素の水平歪率とに、数３および数４に従う演算を施す。変換された水平アドレスは、直接ＳＲＡＭ６６ｋに書き込まれ、フリップフロップ回路６６ｌを経て（１画素期間遅れて）ＳＲＡＭ６６ｍに書き込まれる。
［数３］
ｘｃｖｔ（ｍ）＝ｘ（ｍ）／｛１＋α（ｍ）｝＊ＺＭ
ｘｃｖｔ（ｍ）：注目画素の変換後のｘアドレス
α（ｍ）：注目画素の水平歪率
ＺＭ：ズーム係数（サイズ調整用：０＜ＺＭ＜１）
［数４］
ｈｃｖｔ（ｍ）＝ｘｃｖｔ（ｍ）＋ｈｓｉｚｅ／２
ｈｃｖｔ（ｍ）：注目画素の変換後の水平アドレス
注目画素に対応するＵデータ，注目画素に対応するＶデータ，注目画素に対応するＹデータ，注目画素に対応するアパーチャデータ，注目画素に対応する２つの水平アドレスは、ＳＲＡＭ６６ａ，６６ｂ，６６ｃ，６６ｆ，６６ｋ，６６ｍから同時に出力される。

補間係数算出回路６６ｎは、数５に従って補間水平アドレスを算出し、数６に従って水平補間係数を算出する。
［数５］
ｈｉｔｐ＝ｉｎｔ｛ｈｃｖｔ（ｍ）｝
ｈｉｔｐ：補間水平アドレス
［数６］
Ｋｈ＝｛ｈｉｔｐ−ｈ（ｍ）｝／｛ｈ（ｍ＋１）−ｈ（ｍ）｝
Ｋｈ：水平補間係数
ｈ（ｍ＋１）：水平方向において注目画素に１つ遅れる画素（水平遅延画素）の水平アドレス
数５によれば、変換された水平アドレスの整数部が補間水平アドレスとされる。数６によれば、注目画素の水平アドレス，水平遅延画素の水平アドレスおよび補間水平アドレスに基づいて、水平補間係数が求められる。

ただし、数５および数６に従う演算は、数７または数８に示す条件が満足されたときに許可され、数９に示す条件が満足されるときに実行され、そして演算回数が被写界像の水平サイズに相当する“６４０”に達したときに禁止される。
［数７］
ｈｃｖｔ（ｍ）＝０
［数８］
ｈｃｖｔ（ｍ＋１）＞０ａｎｄｈｃｖｔ（ｍ）＜０
［数９］
ｈｃｖｔ（ｍ＋１）＞ｈｃｖｔ（ｍ）
数７または数８に示す許可条件と演算回数に関する禁止条件とを課すことで、図６（Ｃ）に示す不要画素ＵＮが排除される。また、数９に示す実行条件を課すことで、補間演算処理が水平画素方向に均一に実行される。

数５に従って求められた補間水平アドレスはバッファ回路２６に向けて出力され、数６に従って求められた水平補間係数は線形補間回路６６ｐ〜６６ｓに与えられる。

線形補間回路６６ｐは、注目画素のＵデータおよび水平遅延画素のＵデータに数１０に従う演算を実行し、線形補間回路６６ｑは、注目画素のＶデータおよび水平遅延画素のＶデータに数１１に従う演算を実行する。また、線形補間回路６６ｒは、注目画素のＹデータおよび水平遅延画素のＹデータに数１２に従う演算を実行し、線形補間回路６６ｓは、注目画素のアパーチャデータおよび水平遅延画素のアパーチャデータに数１３に従う演算を実行する。
［数１０］
Ｕｉｔｐｈ＝Ｕ（ｍ）＋｛Ｕ（ｍ＋１）−Ｕ（ｍ）｝＊Ｋｈ
Ｕｉｔｐｈ：水平補間Ｕデータ
Ｕ（ｍ）：注目画素のＵデータ
Ｕ（ｍ＋１）：水平遅延画素のＵデータ
［数１１］
Ｖｉｔｐｈ＝Ｖ（ｍ）＋｛Ｖ（ｍ＋１）−Ｖ（ｍ）｝＊Ｋｈ
Ｖｉｔｐｈ：水平補間Ｖデータ
Ｖ（ｍ）：注目画素のＶデータ
Ｖ（ｍ＋１）：水平遅延画素のＶデータ
［数１２］
Ｙｉｔｐｈ＝Ｙ（ｍ）＋｛Ｙ（ｍ＋１）−Ｙ（ｍ）｝＊Ｋｈ
Ｙｉｔｐｈ：水平補間Ｙデータ
Ｙ（ｍ）：注目画素のＹデータ
Ｙ（ｍ＋１）：水平遅延画素のＹデータ
［数１３］
ＡＰｉｔｐｈ＝ＡＰ（ｍ）＋｛ＡＰ（ｍ＋１）−ＡＰ（ｍ）｝＊Ｋｈ
ＡＰｉｔｐｈ：水平補間アパーチャデータ
ＡＰ（ｍ）：注目画素のアパーチャデータ
ＡＰ（ｍ＋１）：水平遅延画素のアパーチャデータ
こうして求められた水平補間Ｕデータ，水平補間Ｖデータ，水平補間Ｙデータおよび水平補間アパーチャデータは、図１６に斜線で示す位置に割り当てられる。水平補間Ｕデータおよび水平補間Ｖデータは、そのままバッファ回路２６に与えられる。水平補間Ｙデータおよび水平補間アパーチャデータは、加算器６６ｔによって互いに加算された状態でバッファ回路２６に与えられる。水平補間アパーチャデータの加算によって、水平補間Ｙデータに基づく画像のエッジが強調される。

メモリ制御回路３２は、図７に示すように構成される。ＳＤＲＡＭ３０へのデータ書き込みを担うバッファ回路２６，２８，３８および４４の各々は、“データ書き込み”のアクセス態様情報と出力元の識別情報とを含むリクエストを調停回路３２ｃに与え、ｈｖ座標系のアドレスが記述されたアドレス情報をアドレス選択回路３２ｅに与え、そして書き込むべき画像データを３ステートバッファ３２ａに与える。

一方、ＳＤＲＡＭ３０からのデータ読み出しを担うバッファ回路２２，３４，４０および４６の各々は、“データ書き込み”のアクセス態様情報と出力元の識別情報とを含むリクエストを調停回路３２ｃに与え、ｈｖ座標系のアドレスが記述されたアドレス情報をアドレス選択回路３２ｅに与える。

なお、ＳＤＲＡＭ３０へのアクセス動作は、バースト転送態様で実行される。具体的には、１回のバーストアクセス動作によって、６４画素に相当するデータ書き込み／データ読み出しが実行される。このため、各々のリクエストに含まれるアドレス情報は、注目する６４画素のうち先頭画素の水平アドレスおよび垂直アドレスを示す。

調停回路３２ｃは、与えられた複数のリクエストの中から優先度が最も高いリクエストを選択し、選択されたリクエストの出力元に承認信号ＡＣＫを返送し、選択されたリクエストに対応するアドレス情報の選択をアドレス選択回路３２ｅに命令し、そして選択されたリクエストに含まれるアクセス態様情報に従うアクセス動作をメモリアクセス回路３２ｄに命令する。

アドレス選択回路３２ｅは、与えられたアドレス情報の中から命令に従うアドレス情報を選択し、選択されたアドレス情報をアドレス変換回路３２ｆに与える。アドレス変換回路３２ｅは、与えられたアドレス情報が示す水平アドレスおよび垂直アドレスを所定の演算式を用いてロウアドレスおよびカラムアドレスに変換する。変換されたロウアドレスおよびカラムアドレスは、ＳＤＲＡＭ３０に向けて出力される。まずロウアドレスが出力され、続いてカラムアドレスが出力される。

メモリアクセス回路３２ｄは、アドレス変換回路３２ｆからロウアドレスが出力されるタイミングでＲＡＳ(Row Address Strobe)信号とアクティブコマンドとを出力し、アドレス変換回路３２ｆからカラムアドレスが出力されるタイミングでＣＡＳ(Column Address Strobe)信号と書き込み／読み出しコマンドを出力する。メモリアクセス回路３２ｄはさらに、データ書き込みを行うとき３ステートバッファ３２ａを能動化し、データ読み出しを行うとき３ステートバッファ３２ｂを能動化する。

この結果、データ書き込みのためにバッファ回路２６，２８，３８または４４から出力された６４画素相当のデータは、３ステートバッファ３２ａを介してＳＤＲＡＭ３０に与えられ、アドレス変換回路３２ｆによって指定されたロウアドレスおよびカラムアドレスを基点として連続する複数のアドレスに書き込まれる。

また、データ読み出し時は、アドレス変換回路３２ｆによって指定されたロウアドレスおよびカラムアドレスを基点として連続する複数のアドレスから、６４画素相当のデータが読み出される。読み出されたデータは、３ステートバッファ３２ｂを介してバッファ回路２２，３４，４０または４６に与えられる。

図８を参照して、動画像エリア３０ａは、バンクＢ１およびＢ２によって形成される。バンクＢ１およびＢ２のいずれも、カラム方向に２５６画素相当のデータを格納できる容量を有する。

図９を参照して、動画像エリア３０ａにアクセスするとき、アドレス変換回路３２ｆは、偶数ラインに属する第０画素〜第２５５画素および第５１２画素〜第６３９画素の書き込み先／読み出し先としてバンクＢ１を指定し、偶数ラインに属する第２５６画素〜５１１画素の書き込み先／読み出し先としてバンクＢ２を指定する。

アドレス変換回路３２ｆはまた、奇数ラインに属する第０画素〜第２５５画素および第５１２画素〜第６３９画素の書き込み先／読み出し先としてバンクＢ２を指定し、奇数ラインに属する第２５６画素〜５１１画素の書き込み先／読み出し先としてバンクＢ１を指定する。なお、アドレス変換回路３２ｆは、バンクＢ１の先頭のカラムアドレスを指定するときに、ロウアドレスをインクリメントする。

この結果、画像データは、図１０に示すように動画像エリア３０ａに格納される。格納された画像データを垂直画素方向に眺めると、同じ水平アドレスを有する画素の書き込み先は、バンクＢ１およびＢ２の間で１ライン毎に切り換わる。

バッファ回路４０は、動画像エリア３０ａに格納された画像データを図１１に示す短冊ＲＣ毎に読み出すべく、注目する短冊を形成する複数ラインの各々に属する先頭画素の水平アドレスおよび垂直アドレスを指定する。図１１に示すラインＬ０〜Ｌ９の各々の先頭アドレスがバッファ回路４０からの読み出しリクエストに割り当てられると、図１０に示すラインＣ０〜Ｃ９の各々の先頭アドレスがアドレス変換回路３２ｆによって指定される。この結果、ラインＣ０〜Ｃ９の各々に属する６４画素の画素データが読み出される。

垂直歪補正回路７０は、図１３に示すように構成される。ラインメモリＹ００〜Ｙ４７の各々は６４画素のＹデータを格納できる容量を有し、ラインメモリＵ００〜Ｕ４７の各々は６４画素のＵデータを格納できる容量を有し、そしてラインメモリＶ００〜Ｖ４７の各々は６４画素のＶデータを格納できる容量を有する。

バッファ回路４０から出力された画像データのうち、ＹデータはラインメモリＹ００〜Ｙ４７に循環的に書き込まれ、ＵデータはラインメモリＵ００〜Ｕ４７に循環的に書き込まれ、そしてＶデータはラインメモリＶ００〜Ｖ４７に循環的に書き込まれる。

ここで、ラインメモリＹ＊＊，Ｕ＊＊およびＶ＊＊（＊＊：同一番号）にそれぞれ格納されたＹデータ，ＵデータおよびＶデータは、互いに同じラインに属する。さらに、ラインメモリＹ００〜Ｙ４７はそれぞれ、自分に属する画素データのライン番号を示す識別子ＩＤ００〜ＩＤ４７を読み出し制御回路７０ｊに与える。

バッファ回路４４は、今回入力する画素つまり注目画素の位置を示すｈアドレスおよびｖアドレスを像高比算出回路７０ｇに与える。注目画素のｈアドレスおよびｖアドレスはまた、読み出し制御回路７０ｊおよび垂直アドレス変換回路７０ｉにそれぞれ与えられる。

像高比算出回路７０ｇは、上述と同様、数１４に従って注目画素のアドレスをｈｖ座標系からｘｙ座標系に変換し、注目画素の像高比を数１５に従って算出する。
［数１４］
ｘ（ｎ）＝ｈ（ｎ）−ｈｓｉｚｅ／２
ｙ（ｎ）＝ｖ（ｎ）−ｖｓｉｚｅ／２
ｘ（ｎ）：注目画素のｘアドレス
ｙ（ｎ）：注目画素のｙアドレス
ｈ（ｎ）：注目画素の水平アドレス
ｖ（ｎ）：注目画素の垂直アドレス
［数１５］
ｒ＝√｛ｘ（ｎ）^２＋ｙ（ｎ）^２｝
Ｒ＝√｛（ｈｓｉｚｅ／２）^２＋（ｖｓｉｚｅ／２）^２｝
ＲＤ＝ｒ／Ｒ
垂直歪率と像高比との関係は、図１５に示す曲線Ｃｖによって定義される。垂直歪率算出回路７０ｈは、この曲線Ｃｖの近似式を利用して、像高比算出回路７０ｇから出力された像高比に対応する垂直歪率を算出する。算出された垂直歪率は、Ｖアドレス変換回路７０ｉに与えられる。

垂直アドレス変換回路７０ｉは、像高比算出回路７０ｇによって算出された注目画素のｙアドレスと垂直歪率算出回路７０ｈによって算出された注目画素の垂直歪率とに数１６および数１７に従う演算を施す。変換された垂直アドレスは、読み出し制御回路７０ｊおよび補間係数算出回路７０ｋに与えられる。
［数１６］
ｙｃｖｔ（ｎ）＝ｙ（ｎ）＊｛１＋β（ｎ）｝／ＺＭ
ｙｃｖｔ（ｎ）：注目画素の変換後のｙアドレス
β（ｎ）：注目画素の垂直歪率
［数１７］
ｖｃｖｔ（ｎ）＝ｙｃｖｔ（ｎ）＋ｖｓｉｚｅ／２
ｖｃｖｔ（ｎ）：注目画素の変換後の垂直アドレス
読み出し制御回路７０ｊは、変換された垂直アドレスに数１８に従う演算を施して、垂直画素方向に連続する第１垂直アドレスおよび第２垂直アドレスを算出する。
［数１８］
ｖｒｅａｄ１＝ｉｎｔ｛ｖｃｎｔ（ｎ）｝
ｖｒｅａｄ２＝ｉｎｔ｛ｖｃｎｔ（ｎ）｝＋１
ｖｒｅａｄ１：第１垂直アドレス
ｖｒｅａｄ２：第２垂直アドレス
読み出し制御回路７０ｊはさらに、第１垂直アドレスのＹデータおよび第２垂直アドレスのＹデータがそれぞれ属する２つのラインメモリをラインメモリＹ００〜Ｙ４７から特定し、第１垂直アドレスのＵデータおよび第２垂直アドレスのＵデータがそれぞれ属する２つのラインメモリをラインメモリＵ００〜Ｕ４７から特定し、第１垂直アドレスのＶデータおよび第２垂直アドレスのＹデータがそれぞれ属する２つのラインメモリをラインメモリＶ００〜Ｖ４７から特定する。このとき、識別子ＩＤ００〜ＩＤ４７が参照される。

読み出し制御回路７０ｊは、バッファ回路４４から与えられた水平アドレスに対応するＹデータをラインメモリＹ００〜Ｙ４７の中から特定された２つのラインメモリから選択することをセレクタ７０ａに命令し、バッファ回路４４から与えられた水平アドレスに対応するＵデータをラインメモリＵ００〜Ｕ４７の中から特定された２つのラインメモリから選択することをセレクタ７０ｂに命令し、そしてバッファ回路４４から与えられた水平アドレスに対応するＶデータをラインメモリＶ００〜Ｖ４７の中から特定された２つのラインメモリから選択することをセレクタ７０ｃに命令する。

セレクタ７０ａは指定された２画素のＹデータを線形補間回路７０ｄに与え、セレクタ７０ｂは指定された２画素のＵデータを線形補間回路７０ｅに与え、そしてセレクタ７０ｃは指定された２画素のＶデータを線形補間回路７０ｆに与える。

補間係数算出回路７０ｋは、垂直アドレス変換回路７０ｉによって算出された垂直アドレスに数１９に従う演算を施し、これによって求められた垂直補間係数を線形補間回路７０ｄ〜７０ｆの各々に与える。
［数１９］
Ｋｖ＝ｖｃｖｔ（ｎ）−ｉｎｔ｛ｖｃｖｔ（ｎ）｝
Ｋｖ：垂直補間係数
線形補間回路７０ｄは、セレクタ７０ａから与えられた２画素のＹデータと補間係数算出回路７０ｋから与えられた垂直補間係数とに数２０に従う垂直補間演算を施す。また、線形補間回路７０ｅは、セレクタ７０ｂから与えられた２画素のＵデータと補間係数算出回路７０ｋから与えられた垂直補間係数とに数２１に従う垂直補間演算を施す。
［数２０］
Ｙｉｔｐｖ＝Ｙｒｅａｄ１＋（Ｙｒｅａｄ２−Ｙｒｅａｄ１）＊Ｋｖ
Ｙｉｔｐｖ：垂直補間Ｙデータ
Ｙｒｅａｄ１：第１垂直アドレスのＹデータ
Ｙｒｅａｄ２：第２垂直アドレスのＹデータ
［数２１］
Ｕｉｔｐｖ＝Ｕｒｅａｄ１＋（Ｕｒｅａｄ２−Ｕｒｅａｄ１）＊Ｋｖ
Ｕｉｔｐｖ：垂直補間Ｕデータ
Ｕｒｅａｄ１：第１垂直アドレスのＵデータ
Ｕｒｅａｄ２：第２垂直アドレスのＵデータ
［数２２］
Ｖｉｔｐｖ＝Ｖｒｅａｄ１＋（Ｖｒｅａｄ２−Ｖｒｅａｄ１）＊Ｋｖ
Ｖｉｔｐｖ：垂直補間Ｖデータ
Ｖｒｅａｄ１：第１垂直アドレスのＶデータ
Ｖｒｅａｄ２：第２垂直アドレスのＶデータ
垂直補間が施された画素は、図１７に示す位置に配置される。こうして求められた垂直補間Ｙデータ，垂直補間Ｕデータおよび垂直補間Ｖデータは、ＦＩＲフィルタ７２（図５参照）に向けて出力される。

以上の説明から分かるように、ＹＵＶ変換回路６４は、水平６４０画素×垂直４８０画素のサイズを有する画像データを出力する。出力された画像データは、水平歪補正回路６６によって水平画素方向の歪補正を施される。水平歪補正回路６６から出力された画像データは、ＳＤＲＡＭ３０の動画像エリア３０ａにメモリ制御回路３２によって書き込まれる。動画像エリア３０ａは、バンクＢ１およびＢ２によって形成される。画像データは、垂直画素方向に隣接する画素間で書き込みバンクが相違するように、バンクＢ１およびＢ２に書き込まれる。バッファ回路４０は、こうして動画像エリア３０ａに格納された画像データを水平６４画素ずつ垂直画素方向に読み出す。読み出された画像データは垂直歪補正回路７０によって垂直画素方向の歪補正を施される。

水平歪補正が施された画像データが書き込まれるバンクは、垂直画素方向に隣接する画素間で相違する。このため、この画像データを垂直画素方向に読み出すときにバンクインタリーブアクセスが可能となり、高速のデータ読み出しが実現される。また、１回のアクセスで読み出される水平画素数は、画像データの水平サイズよりも少ない“６４”である。このため、垂直画素方向の歪補正が高速で実行される。

なお、この実施例では、動画像はＬＣＤモニタ５０に出力されるのみであるが、動画像を記録媒体に記録するようにしてもよいことは言うまでもない。

この発明の一実施例の構成を示すブロック図である。図１実施例に適用される色フィルタの一例を示す図解図である。図１実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。図１実施例に適用される前処理回路の構成の一例を示すブロック図である。図１実施例に適用される後処理回路の構成の一例を示すブロック図である。（Ａ）は被写界の一例を示す図解図であり、（Ｂ）は樽型歪が発生した被写界像の一例を示す図解図であり、（Ｃ）は水平歪補正を施された被写界像の一例を示す図解図であり、（Ｄ）はＳＤＲＡＭに格納された被写界像の一例を示す図解図であり、（Ｅ）は垂直歪補正を施された被写界像の一例を示す図解図である。図１実施例に適用されるメモリ制御回路の構成の一例を示すブロック図である。ＳＤＲＡＭに形成された動画像エリアの一例を示す図解図である。図７実施例の動作の一部を示す図解図である。図７実施例の動作の他の一部を示す図解図である。図１実施例に適用されるバッファ回路の動作の一部を示す図解図である。図４実施例に適用される水平歪補正回路の構成の一例を示すブロック図である。図５実施例に適用される垂直歪補正回路の構成の一例を示すブロック図である。図１２実施例に適用される像高比算出回路の動作の一部を示す図解図である。像高比と歪率との関係の一例を示す図解図である。図１２実施例の動作の一部を示す図解図である。図１３実施例の動作の一部を示す図解図である。

符号の説明

１０ …ディジタルカメラ
１２ …ズームレンズ
１６ …イメージセンサ
２４ …前処理回路
３０ …ＳＤＲＡＭ
４４ …後処理回路
５０ …ＬＣＤモニタ
６６ …水平歪補正回路
７０ …垂直歪補正回路

Claims

第１数の水平画素を有する画像データを出力する出力手段、
前記出力手段によって出力された画像データに水平画素方向の歪補正を施して第１補正画像データを作成する第１補正手段、
各々が水平方向に前記第１数の半分以下のアドレス数である第１および第２バンクを有するメモリ、
前記第１補正手段によって作成された第１補正画像データを、偶数ラインの水平画素を前記第１バンクおよび前記第２バンクの一方の先頭アドレスから書き込み、奇数ラインの水平画素を前記第１バンクおよび前記第２バンクの他方の先頭アドレスから書き込むことによって、垂直方向に隣接する画素間で書き込みバンクが相違するように前記メモリに書き込む書き込み手段、
前記第１補正画像データを、偶数ラインの前記第１数よりも小さい第２数の水平画素を前記第１バンクおよび前記第２バンクの一方の先頭アドレスから読み出し、奇数ラインの前記第２数の水平画素を前記第１バンクおよび前記第２バンクの他方の先頭アドレスから読み出すことによって、前記メモリからライン順次に読み出す読み出し手段、および
前記読み出し手段によってライン順次に読み出された前記第２数の水平画素に相当する偶数ラインおよび奇数ラインの第１補正画像データに垂直方向の歪補正を施して第２補正画像データを作成する第２補正手段を備える、歪補正装置。
前記読み出し手段はバーストアクセス態様で読み出し動作を行い、
前記第２数は１回のバーストアクセス量に相当する、請求項１記載の歪補正装置。
前記第２補正手段は、各々が少なくとも前記第２数の水平画素の画素データを格納する複数のメモリ手段、前記複数のメモリ手段のうち２つのメモリ手段から垂直画素方向に隣接する２画素の画素データを読み出すデータ読み出し手段、および前記データ読み出し手段によって読み出された２画素の画素データに補間演算を施して１画素の画素データを作成する垂直補間手段を含む、請求項１または２記載の歪補正装置。
前記第２補正手段は注目画素の位置情報に基づいて垂直歪率係数を算出する垂直歪率係数算出手段をさらに含み、
前記データ読み出し手段は前記垂直歪率係数算出手段によって算出された垂直歪率係数と前記注目画素の垂直画素位置とに基づいて前記２画素の画素データを読み出すべき２つのメモリ手段を特定する、請求項３記載の歪補正装置。
前記第１補正手段は、注目画素の位置情報に基づいて水平歪率係数を算出する水平歪率係数算出手段、前記水平歪率係数算出手段によって算出された水平歪率係数に基づいて水平補間係数を算出する水平補間係数算出手段、および前記出力手段によって出力された画像データのうち注目画素に対応する２画素の画素データに前記水平補間係数算出手段によって算出された水平補間係数に従う補間演算を施す水平補間手段を含む、請求項１ないし４のいずれかに記載の歪補正装置。
請求項１ないし５のいずれかに記載の歪補正装置を備える、ビデオカメラ。