JP4827213B2 - 画像補正装置および画像補正方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、光学系に起因する歪曲収差などの歪みを補正する画像補正装置およびその補正方法に関する。
【０００２】
【従来の技術】
デジタル・スチル・カメラやデジタル・ビデオ・カメラなどのデジタル撮影装置では、各種レンズからなる光学系で結像した光はＣＣＤやＣＭＯＳなどの固体撮像素子からなる画像センサで検出されデジタル信号に変換された後に、色空間変換や画素補間、輪郭強調などのデジタル画像処理を施されれる。その画像センサで撮像した画像データには光学系に起因する様々な収差（球面収差、コマ収差、非点収差、像面湾曲、歪曲収差など）が含まれるが、歪曲収差（ディストーション）と称する幾何学的歪みは、光学系の焦点距離や絞り値などにより決まり、画像の中央部と周辺部とで結像倍率が異なるために起こる歪みである。画像の中央部に対して周辺部の結像倍率が小さい場合、図１９（ａ）に示す正方状の図形Ｓ１は、同図（ｂ）に示すように画像の端に行くに従って凹形（糸巻き形）に歪む糸巻き形図形Ｓ２になる。また、画像の中央部に対して周辺部の結像倍率が大きい場合は、図１９（ａ）に示す正方状の図形Ｓ１は、同図（ｃ）に示すように画像の端に行くに従って凸形（樽形）に歪む樽形図形Ｓ３になる。画像がこれら樽形歪曲と糸巻き形歪曲の双方を含む場合は、図２０（ａ）に示す画像Ｉ１００は、図２０（ｂ）に示すような歪曲画像Ｉ１０１になる。この歪曲画像Ｉ１０１には、画像中心１００に対して左右の水平方向に樽形歪曲が生じ、その上下の垂直方向に対して糸巻き形歪曲が生じている。
【０００３】
以上の歪曲収差は、撮像した画像データにデジタル画像処理を施すことである程度補正できる。従来の補正方法ではアフィン変換が用いられており、この補正処理は、歪曲収差を含む画像データを複数の多角形状の領域に分割し、その多角形状の各頂点座標を基にして各領域をアフィン変換で変形するものである。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記のアフィン変換などを用いた補正処理は、アルゴリズムの複雑さなどのためリアルタイム処理に適しておらず、主にＣＰＵによるソフトウェア処理で実行されていた。このため、撮像センサの画素数の増大に伴い処理量が増大し、処理時間が長大になり、更には消費電力が増大するという問題があった。従って、従来のデジタル・スチル・カメラでは、連続撮影の時間的制約のためシャッター・チャンスを逃し易く、電力消費量が大きいため連続使用時間も短くなり易かった。
【０００５】
以上の問題などに鑑みて本発明が解決しようとするところは、光学系に起因する歪曲収差などの歪みをリアルタイムに且つ高精度に補正できる画像補正装置およびその補正方法を提供する点にある。
【０００６】
【課題を解決するための手段】
上記課題を解決するため、請求項１に係る発明は、画像データに含まれる歪みを補正する画像補正装置であって、前記画像データを画素データ単位で転送すると共に、前記画像データの転送に同期して前記各画素データに対応する変換係数を転送するデータ転送制御部と、前記データ転送制御部により転送された当該変換係数に基づいて第１補間係数と第２補間係数とを算出する補間係数算出部と、前記データ転送制御部により転送された第１の画素データに前記第１補間係数を重み付けした値と、前記第１の画素データの転送前に保持された第２の画素データに前記第２補間係数を重み付けした値とから補間画素データを算出する補間画素算出部とを備え、前記変換係数は、前記歪みの無い画素間隔を規定する単位長を前記歪みにより生じた画素間隔の変化率で除算した値であり、前記補間係数算出部は、転送された前記変換係数と前記第１補間係数とを加算する加算回路と、該加算回路から出力された加算値が前記単位長未満のときは該加算値を前記第１補間係数として出力すると共に前記単位長から前記第１補間係数を減じた値を前記第２補間係数として出力し、前記加算値が前記単位長以上のときには該加算値から前記単位長を減じた値を前記第１補間係数として出力すると共に前記単位長から前記第１補間係数を減じた値を前記第２補間係数として出力する選択回路と、前記加算値と前記単位長とを比較し、前記加算値が前記単位長未満の間は前記データ転送制御部に対して同一の前記第１の画素データを転送させ、前記加算値が前記単位長以上の時には新たな画素データを転送させる制御信号を生成する比較回路とを有することを特徴とするものである。
【０００８】
また請求項２に係る発明は、請求項１記載の画像補正装置であって、前記補間画素算出部は、前記比較回路から伝達された前記制御信号により前記加算値が前記単位長以上のときに前記第１の画素データを読み込んで第２の画素データとして保持する保持回路を備える。
【０００９】
また請求項３に係る発明は、請求項１または請求項２に記載の画像補正装置であって、前記画像データに含まれる歪みは光学系に起因する歪曲収差である。
【００１０】
また請求項４に係る発明は、請求項１から請求項３の何れか１項に記載の画像補正装置であって、前記データ転送制御部は、水平ラインおよび垂直ラインの一方のライン毎に前記画素データを補間画素算出部に転送した後に、前記補間画素算出部により算出された前記補間画素データを他方のライン毎に前記補間画素算出部に転送するものである。
【００１１】
また請求項５に係る発明は、請求項１から請求項４の何れか１項に記載の画像補正装置であって、前記変換係数は垂直ライン用と水平ライン用とで個別に用意されているものである。
【００１２】
また請求項６に係る発明は、請求項１から請求項５の何れか１項に記載の画像補正装置であって、前記画像データは複数の画素領域に分割されており、前記画素領域の各々に同一値の変換係数が割り当てられるものである。
【００１３】
また請求項７に係る発明は、請求項１から請求項５の何れか１項に記載の画像補正装置であって、前記画像データを複数の境界線で区画し、該境界線上の画素データに対応する前記変換係数を用いて該境界線間の画素データを補間する変換係数補間部を備えるものである。
【００１４】
また請求項８に係る発明は、請求項１から請求項７の何れか１項に記載の画像補正装置であって、前記データ転送制御部は、前記画像データを水平方向または垂直方向の略画像中心を通る中心線で２分し、該中心線の両側の画像領域の各々について個別にデータ転送を実行するものである。
【００１５】
また請求項９に係る発明は、請求項８記載の画像補正装置であって、前記中心線で２分された前記画像領域の各々に対応付ける前記変換係数の値は前記中心線を対称軸として同一値に設定されるものである。
【００１６】
また請求項１０に係る発明は、請求項８または請求項９記載の画像補正装置であって、前記補間画素算出部が算出した各前記画像領域の補間画素データを格納するバッファ領域の両端に余領域を設けてなるものである。
【００１７】
また請求項１１に係る発明は、請求項１から請求項１０の何れか１項に記載の画像補正装置であって、前記データ転送制御部により転送される前記変換係数と、前記画像データのサイズを変更するサイズ変更係数との何れかを選択して前記補間係数算出部に出力する第２の選択回路を備え、前記補間係数算出部は、前記第２の選択回路から伝達した前記変換係数または前記サイズ変更係数に基づいて前記第１補間係数と前記第２補間係数とを算出するものである。
【００１８】
次に、請求項１２に係る発明は、画像データに含まれる歪みを補正する画像補正方法であって、（ａ）前記画像データを画素データ単位で転送すると共に、前記画像データの転送に同期して前記各画素データに対応する変換係数を転送する工程と、（ｂ）前記工程（ａ）で転送された当該変換係数に基づいて第１補間係数と第２補間係数とを算出する工程と、（ｃ）前記工程（ａ）で転送された第１の画素データに前記第１補間係数を重み付けした値と、前記第１の画素データの転送前に保持された第２の画素データに前記第２補間係数を重み付けした値とから補間画素データを算出する工程とを備え、前記変換係数は、前記歪みの無い画素間隔を規定する単位長を前記歪みにより生じた画素間隔の変化率で除算した値であり、前記工程（ｂ）は、転送された前記変換係数と前記第１補間係数とを加算して加算値を出力する工程と、前記加算値が前記単位長未満のときは該加算値を前記第１補間係数として出力すると共に前記単位長から前記第１補間係数を減じた値を前記第２補間係数として出力し、前記加算値が前記単位長以上のときには該加算値から前記単位長を減じた値を前記第１補間係数として出力すると共に前記単位長から前記第１補間係数を減じた値を前記第２補間係数として出力する工程と、を有し、前記工程（ａ）は、前記加算値が前記単位長未満の間は同一の前記第１の画素データを転送し、前記加算値が前記単位長以上の時には新たな画素データを転送する工程を有することを特徴とするものである。
【００２０】
また請求項１３に係る発明は、請求項１２記載の画像補正方法であって、前記工程（ａ）は、前記加算値が前記単位長以上の時に前記第１の画素データを読み込んで第２の画素データとして保持する工程を有するものである。
【００２１】
また請求項１４に係る発明は、請求項１２または請求項１３に記載の画像補正方法であって、前記画像データに含まれる歪みは光学系に起因する歪曲収差である。
【００２２】
また請求項１５に係る発明は、請求項１２から請求項１４の何れか１項に記載の画像補正方法であって、前記工程（ａ）は、水平ラインおよび垂直ラインの一方のライン毎に前記画素データを転送した後に、前記工程（ｃ）で算出された前記補間画素データを他方のライン毎に転送する工程を有するものである。
【００２３】
また請求項１６に係る発明は、請求項１２から請求項１５の何れか１項に記載の画像補正方法であって、前記変換係数は垂直ライン用と水平ライン用とで個別に用意されるものである。
【００２４】
また請求項１７に係る発明は、請求項１２から請求項１６の何れか１項に記載の画像補正方法であって、前記工程（ａ）は、前記画像データを複数の画素領域に分割し、前記画素領域の各々に同一値の変換係数を割り当てる工程を有する。
【００２５】
また請求項１８に係る発明は、請求項１２から請求項１６の何れか１項に記載の画像補正方法であって、前記工程（ａ）は、前記画像データを複数の境界線で区画し、該境界線上の画素データに対応する前記変換係数を用いて該境界線間の画素データを補間する工程を有するものである。
【００２６】
また請求項１９に係る発明は、請求項１２から請求項１８の何れか１項に記載の画像補正方法であって、前記工程（ａ）は、前記画像データを水平方向または垂直方向の略画像中心を通る中心線で２分し、該中心線の両側の画像領域の各々について個別に画素データを転送する工程を有するものである。
【００２７】
また請求項２０に係る発明は、請求項１９記載の画像補正方法であって、前記中心線で２分された前記画像領域の各々に対応付ける前記変換係数の値を前記中心線を対称軸として同一値に設定するものである。
【００２８】
また請求項２１に係る発明は、請求項１９または請求項２０記載の画像補正方法であって、前記工程（ｃ）で算出された補間画素データを両端に余領域を設けたバッファ領域に転送するものである。
【００２９】
そして請求項２２に係る発明は、請求項１２から請求項２１の何れか１項に記載の画像補正方法であって、前記工程（ａ）は、転送される前記変換係数と前記画像データのサイズを変更するサイズ変更係数との何れかを選択する工程を有し、前記工程（ｂ）において、前記工程（ａ）で選択された前記変換係数または前記サイズ変更係数に基づいて前記第１補間係数と前記第２補間係数とが算出されるものである。
【００３０】
【発明の実施の形態】
以下、本発明の種々の実施の形態について説明する。
【００３１】
実施の形態１．
図１は、本発明の実施の形態１に係る画像補正装置１の概略構成を示すブロック図、図２は、この画像補正装置１を構成する補間係数算出部２の回路図、図３は、この画像補正装置１を構成する補間画素算出部３の回路図である。
【００３２】
図１に示すように、画像補正装置１は、変換係数記憶部４（または主メモリ５）に格納した変換係数γと主メモリ５に格納した画素データとを同期して読み出しＤＭＡ（ダイレクト・メモリ・アクセス）転送するＤＭＡコントローラ（データ転送制御部）６と、転送されたその変換係数γに基づいて後述する第１補間係数α（０≦α≦単位長）および第２補間係数β（＝単位長−α）を算出する補間係数算出部２と、これら補間係数α，βを用いて、入力画素データに対して各画素毎に画素補間（解像度変換）を施して得られる補間画素データを算出する補間画素算出部３とを備えて構成される。本実施の形態では、単位長Ｐ_BASEは歪みが無い場合の画素間隔を規定する値であり、その値は１６進法表記で０ｘ８０、１０進法表記で１２８に設定される。ここで「０ｘ」は１６進法表記を表す接頭記号である。
【００３３】
前記主メモリ５から前記補間画素算出部３に転送され入力する画素データは画像信号であり、「Ｒ（赤色成分）」，「Ｇ（緑色成分）」，「Ｂ（青色成分）」の３原色成分（ＲＧＢ成分）、あるいはＮＴＳＣ（National Television System Commitee）方式で採用されるＹＣｂＣｒ成分に変換されたものなどである。尚、本実施の形態ではＹＣｂＣｒ成分を用いるが、この代わりに、ＮＴＳＣ方式で採用されるＹＵＶ成分やＹＩＱ成分などの他の色空間成分を用いても構わない。
【００３４】
また、変換係数記憶部４には、補間画素算出部３に入力する各画素データに対応する変換係数の群Γ＝｛γ（０，０），γ（０，１），γ（０，２），…，γ（ｉ，ｊ），…｝が記憶されている。この変換係数群Γは、撮像センサに結像させる光学系に起因する上記樽形歪曲や上記糸巻き形歪曲などの歪曲収差を補正するものであり、光学系の検査段階でテストチャートや画像上の直線情報などに基づいて算出される。各画素データに対応する変換係数γは、次式で定義される。
【００３５】
γ＝Ｐ_BASE／Ｒ （１）
上式（１）中、Ｒは、歪曲収差がある場合の当該画素の結像倍率（ＩＭ１）と歪曲収差が無い場合の当該画素の結像倍率（ＩＭ０）との比率であり、厳密には次式（２）で算出される。
【００３６】
Ｒ＝ＩＭ０／ＩＭ１ （２）
従って、変換係数γの値は、例えば、結像倍率の比率Ｒの値が１．０、１．５、２．０の時、それぞれ１２８、８５、６４となる。尚、実際には比率Ｒの値は、上式（２）に従って厳密に求められる必要は無く、前述の光学系の検査段階で近似的に算出されるものでよい。
【００３７】
以下、図２に示す補間係数算出部２の回路構成を詳説する。図２中、第１〜第３セレクタ１１，１７，１９の入力端子のうち、「０」を付した端子は当該セレクタに「Ｌ（Low）」レベルの選択制御信号が入力した時に選択される端子、「１」を付した端子は当該セレクタに「Ｈ（High）」レベルの選択制御信号が入力した時に選択される端子である。
【００３８】
上記変換係数γ（８ビット値）は、ＤＭＡコントローラ６の制御により変換係数記憶部４から読み出され補間係数算出部２に転送される。加算回路１０は、入力する変換係数γと第２セレクタ１７から伝達した８ビット値との加算値を第１セレクタ１１の「０」側端子と比較回路１２とに出力する。第１セレクタ１１は、選択制御信号であるリセット信号ＨＲＳＴのレベルが「Ｌ」の場合は「０」側端子を選択して前記加算値をフリップ・フロップ１３に出力し、リセット信号ＨＲＳＴのレベルが「Ｈ」の場合は「１」側端子を選択して単位長Ｐ_BASEをフリップ・フロップ１３に出力する。
【００３９】
前記比較回路１２は、加算回路１０から伝達した加算値と単位長Ｐ_BASEとを比較し、前記加算値が単位長Ｐ_BASE以上の時は「Ｌ」レベルであり、前記加算値が単位長Ｐ_BASE 未満の時に「Ｈ」レベルに変化する比較信号ＳＰを、インバータ２５やＤＭＡコントローラ６などに出力する。比較信号ＳＰのレベルが「Ｈ」ならば、ＤＭＡコントローラ６は新たな画素データを読み出さず、同じ画素データが補間画素算出部３に入力させられる。また比較信号ＳＰのレベルが「Ｌ」ならば、ＤＭＡコントローラ６は次の画素データを読み出してＤＭＡ転送させる。またインバータ２５は、入力する比較信号ＳＰを反転した反転信号ＩＳＰを出力する。従って、図３に示す補間画素算出部３の論理積素子３２は、比較信号ＳＰのレベルが「Ｈ」ならば「Ｌ」レベル信号をＥＮ端子に出力し、この信号により保持していた値を出力する。他方、論理積素子３２は、比較信号ＳＰのレベルが「Ｌ」のときに「Ｈ」レベル信号をフリップ・フロップ３１のＥＮ端子に出力し、この信号により、フリップ・フロップ３１はＤ端子に入力する画素データを保持する。
【００４０】
前記フリップ・フロップ１３は、動作タイミングを規定するクロック信号ＣＬＫに同期し且つ論理積素子１４を介してＥＮ端子に入力するイネーブル信号ＰＥＮに従って動作し、第１セレクタ１１からＤ端子に入力する値を保持して第２セレクタ１７、比較回路１５および減算回路２０に出力する。リセット信号ＨＲＳＴはＬＤ端子に入力し、その信号レベルが「Ｈ」になった時点でフリップ・フロップ１３が保持する値をリセットする。
【００４１】
前記比較回路１５は、前記クロック信号ＣＬＫに同期し且つ論理積素子１６を介してＥＮ端子に入力するイネーブル信号ＰＥＮに従って動作し、フリップ・フロップ１３から伝達した値と単位長Ｐ_BASEとを比較し、当該値が単位長Ｐ_BASEを超えると「Ｈ」レベル信号を論理和素子２１，２２に出力する。また比較回路１８は、フリップ・フロップ１３から伝達した値が単位長Ｐ_BASEに一致した時に「Ｈ」レベル信号を論理和素子２１，２２に出力し、双方が不一致の時は「Ｌ」レベル信号を出力する。
【００４２】
尚、ＣＰＵ（図示せず）などから「Ｈ」レベルの停止信号ＤＡがインバータ２４に入力すると、このインバータ２４はその停止信号ＤＡを反転した「Ｌ」レベルの反転信号ＩＤＡを、論理積素子１４，１６および補間画素算出部３の論理積素子３２に出力するから、フリップ・フロップ１３、比較回路１５および補間画素算出部３のフリップ・フロップ３１は、動作を停止する。
【００４３】
また前記減算回路２０は、フリップ・フロップ１３から伝達した値から単位長Ｐ_BASEを減じた減算値を、第２セレクタ１７の「１」側端子および第３セレクタ１９の「１」側端子に出力する。第２セレクタ１７は、論理和素子２２から出力される選択制御信号のレベルが「Ｌ」の時は「０」側端子を選択してフリップ・フロップ１３から伝達した値を加算回路１０に出力し、他方、前記選択制御信号のレベルが「Ｈ」の時は「１」側端子を選択して減算回路２０から伝達した減算値を加算回路１０に出力する。また第３セレクタ１９は、論理和素子２１から出力される選択制御信号のレベルが「Ｌ」の時は「０」側端子を選択してフリップ・フロップ１３から伝達した値を第１補間係数αとして補間画素算出部３に出力し、他方、前記選択制御信号のレベルが「Ｈ」の時は「１」側端子を選択して減算回路２０から伝達した減算値を第１補間係数αとして補間画素算出部３に出力する。第３セレクタ１９から出力された第１補間係数αの値は分岐して減算回路２３にも伝達する。減算回路２３は単位長Ｐ_BASEからその第１補間係数αを減じた減算値を第２補間係数β（＝Ｐ_BASE−α）として補間画素算出部３に出力する。
【００４４】
次に、図３に示す補間画素算出部３の回路構成を詳説する。補間画素算出部３の論理積素子３０の一方の端子には２４ビットの上記画像信号の画素データが画素単位で入力する。この画像信号は、８ビットの輝度信号（Ｙ成分）、８ビットの第１色差信号（Ｃｂ成分）および８ビットの第２色差信号（Ｃｒ成分）から構成されている。また論理積素子３０の他方の端子には、上記補間係数算出部２のインバータ２４から伝達する反転信号ＩＤＡが入力しており、反転信号ＩＤＡのレベルが「Ｈ」の期間に限り、論理積素子３０は入力する画素データを出力する。
【００４５】
論理積素子３０を介して入力した画素データは２本の画素データに分岐し、分岐した一方の画素データはフリップ・フロップ３１のＤ端子に入力し、また分岐した他方の画素データのＹ成分はＹチャンネル３３へ、そのＣｂ成分はＣｂチャンネル３７へ、そのＣｒ成分はＣｒチャンネル４１へそれぞれ入力する。また論理積素子３２は、上記反転信号ＩＳＰ、イネーブル信号ＰＥＮおよび反転信号ＩＤＡとを論理積演算した信号をフリップ・フロップ３１のＥＮ端子に出力する。フリップ・フロップ３１は、上記クロック信号ＣＬＫに同期し且つ論理積素子３２から入力するイネーブル信号に従って動作し、論理積素子３０から伝達した画素データの値を保持して出力する。このフリップ・フロップ３１が保持する値は、論理積素子３０に入力する画素データ値よりも一画素前のものになるように制御される。そのフリップ・フロップ３１が保持する画素データのＹ成分はＹチャンネル３３へ、Ｃｂ成分はＣｂチャンネル３７へ、Ｃｒ成分はＣｒチャンネル４１へそれぞれ出力される。
【００４６】
Ｙチャンネル３３では、乗算回路３４は論理積素子３０から直接入力したＹ成分に第１補間係数αを乗算した（重み付けした）値を加算回路３６に出力し、乗算回路３５はフリップ・フロップ３１から入力したＹ成分に第２補間係数βを乗算した（重み付けした）値を加算回路３６に出力する。加算回路３６は、双方の乗算回路３４，３５から入力した値を加算して出力する。またＣｂチャンネル３７でも同様に、乗算回路３９は論理積素子３０から直接入力したＣｂ成分に第１補間係数αを乗算した値を出力し、乗算回路３８はフリップ・フロップ３１から入力したＣｂ成分に第２補間係数βを乗算した値を出力し、加算回路４０は乗算回路３８，３９の双方から入力した値を加算して出力する。更にＣｒチャンネル４１でも同様に、乗算回路４３は論理積素子３０から直接入力したＣｒ成分に第１補間係数αを乗算した値を出力し、乗算回路４２はフリップ・フロップ３１から入力したＣｒ成分に第２補間係数βを乗算した値を出力し、加算回路４４は乗算回路４２，４３の双方から入力した値を加算して出力する。このようにして、論理積素子３０から出力される画素値をＰ１、フリップ・フロップ３１から出力される画素値をＰ２で表すとすると、補間画素算出部３から出力される補間画素値ＰＩは、ＰＩ＝α・Ｐ１＋β・Ｐ２に従って算出される。
【００４７】
以上の構成を有する画像補正装置１の動作例を以下に説明する。図４は、画像データ５０の模式図である。この画像データ５０は、複数の画素データＡ（０，０），Ａ（０，１），…，Ａ（ｋ，ｎ）（ｋ，ｎは正の整数）から構成される。また、図５に示すように、補間係数算出部２に入力する変換係数群Γは、図４に示した画像データ５０の各画素に対応する変換係数γ（０，０），γ（０，１），…，γ（ｋ，ｎ）から構成される。後述するように、この種の変換係数群Γは垂直ライン用と水平ライン用とで個別に用意されている。
【００４８】
最初の例として、上記した結像倍率の比率Ｒが１．０の場合、すなわち、画像データ５０が歪曲収差を含まない場合で、変換係数群Γの全要素γ（０，０），γ（０，１），…，γ（ｋ，ｎ）の値が上式（１）に基づいて１２８となる場合の動作例を説明する。先ず、第０番目の水平ラインの先頭の画素データＡ（０，０）が上記補間画素算出部３にＤＭＡ転送され、論理積素子３０を介してＹチャンネル３３、Ｃｂチャンネル３７およびＣｒチャンネル４１に入力する。この時、フリップ・フロップ３１のＥＮ端子には論理積素子３２から「Ｌ」レベル信号が入力しており、フリップ・フロップ３１は零値からなる画素データＡ（０，−１）をＹチャンネル３３、Ｃｂチャンネル３７およびＣｒチャンネル４１に出力している。尚、以後、画素データＡ（ｊ，−１）（０≦ｊ≦ｎ）は零値からなるものとする。
【００４９】
他方、補間係数算出部２の第１セレクタ１１とフリップ・フロップ１３のＬＤ端子には、アドレス・コントローラ（図示せず）から、「Ｈ」レベルのリセット信号ＨＲＳＴが入力する。この時、第１セレクタ１１は「１」側端子を選択して単位長Ｐ_BASE（＝０ｘ８０）をフリップ・フロップ１３に出力する。またこの時、論理積素子１４は、インバータ２４から入力する「Ｈ」レベルの反転信号ＩＤＡと「Ｈ」レベルのイネーブル信号ＰＥＮとを論理積演算した「Ｈ」レベル信号をフリップ・フロップ１３のＥＮ端子に出力し、フリップ・フロップ１３は第１セレクタ１１から伝達した単位長Ｐ_BASEを保持しつつ出力する。
【００５０】
次に、比較回路１５，１８は、フリップ・フロップ１３から伝達した値（０ｘ８０）と単位長Ｐ_BASEとを比較し、比較回路１５は「Ｌ」レベル信号を論理和素子２１，２２に出力し、比較回路１８は「Ｈ」レベル信号を論理和素子２１，２２に出力するから、論理和素子２１，２２は共に「Ｈ」レベルの選択制御信号を出力する。従って、第３セレクタ１９は「１」側端子を選択して減算回路２０から伝達した零値を第１補間係数αとして出力し、減算回路２３は１２８の値を第２補間係数βとして出力する。
【００５１】
また第２セレクタ１７は「１」側端子を選択して減算回路２０から入力した零値を加算回路１０に出力する。加算回路１０は、次に入力する変換係数γ（０，１）（＝１２８）と第２セレクタ１７から伝達した零値とを加算した加算値（１２８）を比較回路１２に出力する。次に比較回路１２は、前記加算値（１２８）と単位長Ｐ_BASEとを比較して「Ｌ」レベルの比較信号ＳＰをＤＭＡコントローラとインバータ２５とに出力する。ＤＭＡコントローラは、その「Ｌ」レベルの比較信号ＳＰを受けて、次に補間画素算出部３に入力させる画素データＡ（０，１）を変換係数記憶部４から読出してＤＭＡ転送する。
【００５２】
従って、図６に示すように、補間画素算出部３は、画素データＡ（０，０）に第１補間係数α（＝零）を重み付けし、画素データＡ（０，−１）に第２補間係数β（＝１２８）を重み付けして両者を加算した補間画素データＩ（０，−１）（＝零）を生成出力する。
【００５３】
続けて、補間画素算出部３にはＤＭＡ転送された画素データＡ（０，１）が入力するが、このとき、補間画素算出部３のフリップ・フロップ３１は、画素データＡ（０，０）を保持して出力している。また補間係数算出部２の第１セレクタ１１は、「Ｌ」レベルのリセット信号ＨＲＳＴを受けて「０」側端子を選択し、加算回路１０から伝達する１２８の値をフリップ・フロップ１３に出力する。フリップ・フロップ１３はその値を保持しつつ出力する。この後の動作は上述と同様となり、第３セレクタ１９は、零値をもつ第１補間係数αを出力し、減算回路２３は、１２８の値をもつ第２補間係数βを出力する。従って、図６に示すように、補間画素算出部３は、画素データＡ（０，１）に第１補間係数α（＝零）を重み付けし、画素データＡ（０，０）に第２補間係数β（＝１２８）を重み付けして両者を加算した補間画素データＩ（０，０）を生成出力する。
【００５４】
以後、同様の手順で、水平ラインの先頭の画素データＡ（１，０）が入力する迄、入力画素データＡ（０，１），Ａ（０，２），…に単位長Ｐ_BASEを乗算した補間画素データＩ（０，１），Ｉ（０，２），…が順次、生成され出力される。
【００５５】
次に、上記した結像倍率の比率Ｒが２．０の場合、すなわち変換係数群Γの全要素γ（０，０），γ（０，１），…，γ（ｋ，ｎ）の値が上式（１）に基づいて６４となる場合の動作例を説明する。先ず、第０番目の水平ラインの画素データＡ（０，０）が上記補間画素算出部３にＤＭＡ転送され、論理積素子３０を介してＹチャンネル３３、Ｃｂチャンネル３７およびＣｒチャンネル４１に入力する。この時、フリップ・フロップ３１のＥＮ端子には論理積素子３２から「Ｌ」レベル信号が入力しており、フリップ・フロップ３１は零値からなる画素データＡ（０，−１）を出力している。
【００５６】
他方、補間係数算出部２の第１セレクタ１１とフリップ・フロップ１３のＬＤ端子には「Ｈ」レベルのリセット信号ＨＲＳＴが入力する。この時、第１セレクタ１１は「１」側端子を選択して単位長Ｐ_BASEをフリップ・フロップ１３に出力する。またこの時、論理積素子１４は、インバータ２４から入力する「Ｈ」レベルの反転信号ＩＤＡと「Ｈ」レベルのイネーブル信号ＰＥＮとを論理積演算した「Ｈ」レベル信号をフリップ・フロップ１３のＥＮ端子に出力し、フリップ・フロップ１３は第１セレクタ１１から伝達した単位長Ｐ_BASEを保持しつつ出力する。
【００５７】
よって、比較回路１５は「Ｌ」レベルの比較信号を論理和素子２１，２２に出力し、比較回路１８は「Ｈ」レベルの比較信号を論理和素子２１，２２に出力するから、論理和素子２１，２２は「Ｈ」レベルの選択制御信号をそれぞれ第３セレクタ１９と第２セレクタ１７とに出力する。よって、第３セレクタ１９は零値をもつ第１補間係数αを出力し、減算回路２３は１２８の値をもつ第２補間係数βを出力する。従って、図７に示すように、補間画素算出部３は、画素データＡ（０，−１）に１２８の値を乗算した補間画素データＩ（０，−１）を生成出力する。
【００５８】
また、前記補間係数α，βを算出する際、比較回路１２は「Ｌ」レベルの比較信号ＳＰを出力するため、次の反転信号ＩＳＰのレベルは「Ｈ」に変化する。よって、補間画素算出部３のフリップ・フロップ３１のＥＮ端子には「Ｈ」レベル信号が入力するから、フリップ・フロップ３１は画素データＡ（０，０）を読み込み保持しつつ出力する。その後、補間画素算出部３には画素データＡ（０，１）が入力し、論理積素子３０を介してＹチャンネル３３、Ｃｂチャンネル３７およびＣｒチャンネル４１に入力する。
【００５９】
補間係数算出部２では、「Ｌ」レベルのリセット信号ＨＲＳＴを受けた第１セレクタ１１は「０」側端子を選択して加算回路１０から伝達した変換係数γ（０，１）（＝６４）をフリップ・フロップ１３に出力し、フリップ・フロップ１３は、イネーブル信号ＰＥＮの制御によりその値を保持しつつ出力する。
【００６０】
次いで、比較回路１５，１８は共に「Ｌ」レベル信号を論理和素子２１，２２に出力するから、第３セレクタ１９は「０」側端子を選択し、フリップ・フロップ１３から伝達した６４の値を第１補間係数αとして出力し、減算回路２３は６４の値を第２補間係数βとして出力する。従って、図７に示すように、補間画素算出部３は、画素データＡ（０，０）に６４の値を重み付けし、画素データＡ（０，１）に６４の値を重み付けして両者を加算した補間画素データＩ（０，０）を生成出力する。
【００６１】
他方、第２セレクタ１７は「０」側端子を選択してフリップ・フロップ１３から伝達した６４の値を加算回路１０に出力する。加算回路１０は、その値と、次に入力する変換係数γ（０，２）（＝６４）との加算値（１２８）を比較回路１２に出力するから、比較回路１２は「Ｌ」レベルの比較信号ＳＰを出力する。よって、補間画素算出部３の論理積素子３２に入力する反転信号ＩＳＰのレベルは「Ｈ」に変化し、フリップ・フロップ３１のＥＮ端子には「Ｈ」レベル信号が入力するため、フリップ・フロップ３１は画素データＡ（０，１）を読み込み保持して出力する。また、前記比較信号ＳＰを受けたＤＭＡコントローラは、次の画素データＡ（０，２）を読み出してＤＭＡ転送する。
【００６２】
次に、フリップ・フロップ１３は第１セレクタ１１が出力した１２８の値を保持するから、第３セレクタ１９は、「１」側端子から入力する零値を第１補間係数αとして出力し、減算回路２３は１２８の値をもつ第２補間係数βを出力する。従って、図７に示すように、補間画素算出部３は、画素データＡ（０，１）に１２８の値を重み付けし、画素データＡ（０，２）に零値を重み付けして両者を加算した補間画素データＩ（０，１）を生成出力する。
【００６３】
他方、第２セレクタ１７は「１」側端子から入力する零値を加算回路１０に出力し、加算回路１０はその零値と、転送された変換係数γ（０，３）（＝６４）との加算値（６４）を比較回路１２に出力するから、比較回路１２は「Ｈ」レベルの比較信号ＳＰを出力する。よって、その比較信号ＳＰを受けたＤＭＡコントローラは、保持していた画素データＡ（０，２）を再度入力させる。このような動作を続けることにより、補間画素算出部３は、補間画素データＩ（０，０），Ｉ（０，１），…を出力することとなる。
【００６４】
次に、上記結像倍率の比率Ｒが４．０から２．０へ、更には２．０から１．５へ変化する場合の補間画素データの出力例を図８に示す。図８では、変換係数γが３２（結像倍率の比率Ｒが４．０）の値をもつ間、入力画素データに対して４倍の個数の補間画素データが出力され、変換係数γが６４（結像倍率の比率Ｒが２．０）の値をもつ間、入力画素データに対して２倍の個数の補間画素データが出力され、変換係数γが８５（結像倍率の比率が１．５）の値をもつ間、入力画素データに対して１．５倍の個数の補間画素データが出力される。
【００６５】
以上に示した画像補正装置１により、図９に示すような歪曲収差を含む画像データＩ１を補正する補正方法を説明する。図９の画像データＩ１は、画像中心６０ｃから見て水平方向に樽形歪曲が発生し、垂直方向に糸巻き形歪曲が発生したものである。この画像データＩ１が歪曲収差を含まない場合のものが画像データＩ０である。先ず、画像データＩ１を水平ライン用の変換係数群を用いることで水平方向の樽形歪曲収差を補正すると画像データＩ２が生成される。この画像データＩ２を右回りに９０°回転したのが画像データＩ２ａである。この画像データＩ２ａに対して垂直ライン用の変換係数群を用いることで垂直方向（図では水平方向）の糸巻き形歪曲収差を補正したのが画像データＩ３である。
【００６６】
このように本実施の形態１では、光学系に起因する歪曲収差などの歪みをリアルタイムに補正できるハードウェア構成を実現することが可能である。従って、従来技術のようにＣＰＵによるソフトウェア処理をせずとも歪みを抑制された画像データを迅速に得ることが可能となる。このため、撮像センサの画素数の増大に伴って画像処理量が増大しても、極めて短時間で歪みの補正処理を終了させることが可能となる。
【００６７】
また本実施の形態１では、図５に示したように変換係数γ（ｊ，ｉ）は画素データＡ（ｊ，ｉ）と一対一対応であったが、この代わりに図１０に示すように変換係数群Γを複数のブロック領域（画素領域）Γ（０，０），Γ（０，１），Γ（０，２），…に分割し、これらブロック領域の各々に同一の変換係数を割り当ててもよい。例えば、領域Γ（０，０）は４つの変換係数γ（０，０），γ（０，１），γ（１，０），γ（１，１）で構成され、これら変換係数は全て同一の値をもつ。これにより、変換係数の個数が減るため変換係数記憶部４の記憶領域を削減でき、変換係数記憶部４の消費電力を低減させることが可能となる。尚、図１０に示した例では変換係数群Γを２×２のブロック単位で分割したが、この代わりに変換係数群Γを垂直方向または水平方向のライン単位で分割しても構わない。
【００６８】
実施の形態２．
次に、本発明の実施の形態２について説明する。図１１は、本実施の形態２に係る画像補正装置１Ａの概略構成を示すブロック図である。尚、図１１中、図１に示した符号と同一符号を付されたブロックについては、上記ブロックと略同一構成を有するものとして詳細な説明を省略する。
【００６９】
図１２に模式的に示すように本実施の形態２では、図４の画像データ５０に対応する変換係数群Γは、斜線を付した変換係数からなる境界領域（境界線）で区画されており、その境界領域の交点に対応する太線で囲まれた変換係数γ（０，０），γ（０，４），γ（４，０），γ（４，４），…のみが変換係数記憶部４に格納されている。よって、全ての画素データＡ（ｊ，ｉ）に対応する変換係数γ（ｊ，ｉ）を用意する場合と比べて、変換係数記憶部４の記憶領域を削減できる。
【００７０】
また変換係数補間部７は、補間係数算出部２から「Ｌ」レベルの比較信号ＳＰを受けると、ＤＭＡコントローラ６Ａに対して補間に必要な変換係数の転送要求ＴＲを発する。ＤＭＡコントローラ６Ａは、当該転送要求ＴＲに従った変換係数を変換係数記憶部４から読み出して変換係数補間部７に出力する。変換係数補間部７における補間処理の例は次の通りである。前記境界領域の交点に対応する変換係数、例えばγ（０，０）やγ（０，４）などは変換係数記憶部４から転送されると、そのまま補間係数算出部２に出力される。また、境界領域上の変換係数、例えばγ（０，１）やγ（０，３）を補間する場合、当該境界領域上の変換係数γ（０，０）、γ（０，４）を用いて線形補間法により、γ（０，１）＝（３／４）・γ（０，０）＋（１／４）・γ（０，４）、γ（０，３）＝（２／４）・γ（０，０）＋（２／４）・γ（０，４）、に従って補間処理が実行される。
【００７１】
更に、当該境界領域内の変換係数、例えばγ（１，１）を補間する場合、前記交点に対応する変換係数γ（０，０）、γ（０，４）、γ（４，０）およびγ（４，４）を用いて線形補間法により、γ（１，１）＝（３／４）・γ（０，１）＋（１／４）・γ（４，１）、またはγ（１，１）＝（３／４）・γ（１，０）＋（１／４）・γ（１，４）、すなわちγ（１，１）＝（９／１６）・γ（０，０）＋（３／１６）・γ（０，４）＋（３／１６）・γ（４，０）＋（１／１６）・γ（４，４）、に従って補間処理が実行される。このような補間処理により変換係数としてほぼ正確な近似値を算出できるから、変換係数の個数を削減できるため変換係数記憶部４の消費電力を低減できると同時に、画像データ中の歪みを高精度に補正することが可能となる。
【００７２】
尚、図１２に示す変換係数群Γの代わりに、図１３に示すような変換係数群Γ、すなわち、斜線を付された複数本（複数領域）の変換係数列Γ１，Γ２，Γ３のみを変換係数記憶部４に格納しておき、変換係数補間部７は、変換係数列Γ１，Γ２，Γ３に属する変換係数を用いて当該変換係数列の間に位置する変換係数を補間導出するものでもよい。また、本実施の形態２では線形補間法を用いたが、本発明では線形補間法に限定せず、スプライン関数などを用いた他の公知の補間法を採用してもよい。
【００７３】
実施の形態３．
次に、本発明の実施の形態３について説明する。図１４に模式的に示すように、上記実施の形態１，２においてＤＭＡコントローラ６は、補正前の画像データ５０の左端から右端に向けたアドレス増加方向５１に従ってアドレスを指定し、当該アドレスの画素データを読み出しＤＭＡ転送している。しかしながら、図１５に示すように上記補間画素算出部３から出力された補間画像データ５５には、左端から右端に行くに従って誤差が累積することで、各ライン毎に補間画素データ５６の画素数が異なる結果となる。また、その誤差は、補間画像データ５５中に左右非対称に現れるため補間画像データ５５の画質が若干低下する場合があった。
【００７４】
そこで、本実施の形態３に係る画像補正方法では、図１６に示すように画像データ５０の歪みの程度が最低の画像中心を通る中心線６１ｃを設定し、この中心線６１ｃの両側に左画像データ５０ａおよび右画像データ５０ｂを設ける。そして、ＤＭＡコントローラ６は、その中心線６１ｃを起点としてアドレス増加方向５１ａまたは５１ｂに従ってアドレス指定を実行し、且つ左右の画像データ５０ａ，５０ｂの各々について個別に画素データを読出して補間画素算出部３に転送する。転送された左右の画像データ５０ａ，５０ｂは、補間画素算出部３で個別に補間処理を受けた後に、主メモリ５などのバッファ領域７０にフレーム単位で転送され格納される。これにより、図１７に示すように、補間画像データ５７は左右対称に歪みを補正されているから、補間処理の際に発生した誤差の累積も左右対称に現れるため、補間後の画質の低下を抑制することが可能となる。
【００７５】
また、バッファ領域７０には、図１７に示すように、補間画像データ５７を格納する領域として、補正処理の誤差が累積し画素数の違いが現れる左右両端を格納する左側余領域７０ｂおよび右側余領域７０ｃと、それ以外の太枠で囲まれる中央領域７０ａとを設けることが望ましい。これにより、中央領域７０ａのみの画素データを読み出し転送することで、一定の画素数をもつ補間画像データを取得できる。また左側および右側の余領域７０ｂ、７０ｃに含まれる補間画素データの個数は予測し難いことから、中央領域７０ａの画素データのみを転送することで、転送時のアドレス指定の方法を簡略化できる。
【００７６】
実施の形態４．
また図１８は、本発明の実施の形態４に係る画像補正装置の補間係数算出部２Ａを示す回路図である。図１８中、図２に示す符号と同一符号を付した回路については上記のものと略同一機能を有するとして詳細な説明を省略する。
【００７７】
本実施の形態４の補間係数算出部２Ａは、ＣＰＵ（図示せず）などから転送されたサイズ変更係数ＳＶを格納するレジスタ２７を備えており、またＣＰＵなどから伝達した選択制御信号ＤＳにより、上記変換係数γが入力する「１」側端子とサイズ変更係数ＳＶが入力する「０」側端子との何れか一方を選択する第４セレクタ２６を備えている。これらレジスタ２７と第４セレクタ２６とを除いた構成および動作は上記実施の形態１の補間係数算出部２のそれらと同じである。サイズ変更係数ＳＶは、画像データの拡大率Ｋ₀から算出される値であり、次式（３）で定義される。
【００７８】
ＳＶ＝Ｐ_BASE／Ｋ₀ （３）
よって、サイズ変更係数ＳＶの値は、拡大率Ｋ₀の値が１．０、１．５、２．０の時、それぞれ１２８、８５、６４となる。従って、このような補間係数算出部２Ａを備えた画像補正装置は、第４セレクタ２６が「１」側端子を選択した場合は転送される変換係数γに基づいて歪みを補正し、第４セレクタ２６が「０」側端子を選択した場合にはサイズ変更係数ＳＶに基づいて画像データを拡大または縮小することができる。このため、本実施の形態４に係る画像補正装置により、画像サイズを変更する回路構成と歪みを補正する回路構成とを独立にもつ必要が無くなるため、回路規模が小さくなり電力消費量の低減が可能となる。
【００７９】
【発明の効果】
以上の如く、本発明の請求項１に係る画像補正装置および請求項１２に係る画像補正方法によれば、画像データに含まれる歪みをリアルタイムに補正処理するハードウェア構成を実現できることから、ＣＰＵによるソフトウェア処理が不必要となり、歪みが抑制された高品位な画像データを迅速に得ることが可能となる。また、補正処理時間が短縮化されるため撮影時間を短縮化でき、更には消費電力が低減するためにこの画像補正装置を組み込んだデジタル・スチル・カメラなどの撮影デバイスを長時間動作させることが可能となる。
【００８０】
また請求項１および請求項１２によれば、上記補間係数算出部は、画素データの転送と同期して連続的に転送される上記変換係数に対して、リアルタイムに上記第１補間係数と第２補間係数とを算出する。またデータ転送制御部は、上記比較回路から出力される制御信号により、上記第１補間係数と第２補間係数とが算出されるタイミングに合わせて画素データを転送するように制御される。従って、上記歪みを画素データ単位でリアルタイムに補正できる。
【００８１】
また請求項２および請求項１３によれば、補間画素算出部は、上記第２補間係数を重み付けする第２の画素データを正確なタイミングで保持することができる。従って、上記歪みを画素データ単位でリアルタイムに且つより高精度に補正できる。
【００８２】
また請求項３および請求項１４によれば、デジタル・スチル・カメラやデジタル・ビデオ・カメラなどの光学系に起因する歪曲収差を高精度に補正することが可能となる。
【００８３】
また請求項４および請求項１５によれば、水平方向の歪みと垂直方向の歪みとを含む画像データをリアルタイムに且つ高精度に補正することが可能となる。
【００８４】
また請求項５および請求項１６によれば、水平方向の歪みと垂直方向の歪みとを個別に補正できる。
【００８５】
また請求項６および請求項１７によれば、各画素データ毎に上記変換係数を用意する場合と比べて、変換係数の個数が減少するためそれら変換係数の記憶領域を削減でき、消費電力を低減させることが可能となる。
【００８６】
また請求項７および請求項１８によれば、各画素データ毎に上記変換係数を用意する場合と比べて、変換係数の個数が減少するためそれら変換係数の記憶領域を削減でき、消費電力を低減することができると共に、上記境界線間の画素データに対応する変換係数が補間されるから、歪曲収差を高精度に補正することが可能となる。
【００８７】
また請求項８および請求項１９によれば、補間後の画像データは左右対称に歪みを補正されているため、画質の低下を抑制することが可能となる。
【００８８】
また請求項９および請求項２０によれば、２つの画像領域について同一の変換係数値を使用できるため、変換係数の記憶領域をおよそ半分に削減できる。
【００８９】
また請求項１０および請求項２１によれば、上記余領域を除いたバッファ領域から補正後の画像データを切り出すことで、補間処理の際に発生した誤差が蓄積し画素数の違いが現れる両端部を含まない、一定の画素数をもつ補間画像データを取得できる。
【００９０】
そして請求項１１および請求項２２によれば、画像サイズを変更する回路構成と歪みを補正する回路構成とを独立にもつ必要が無くなるため、全体の回路規模が小さくなり且つ電力消費量の低減が可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る画像補正装置の概略構成を示すブロック図である。
【図２】実施の形態１に係る画像補正装置を構成する補間係数算出部の回路図である。
【図３】実施の形態１に係る画像補正装置を構成する補間画素算出部の回路図である。
【図４】実施の形態１に係る画像補正装置の補間画素算出部に転送される画像データを示す模式図である。
【図５】実施の形態１に係る画像補正装置の補間係数算出部に転送される変換係数群を示す模式図である。
【図６】結像倍率の比率Ｒが１．０の場合の補間方法を説明するための図である。
【図７】結像倍率の比率Ｒが２．０の場合の補間方法を説明するための図である。
【図８】結像倍率の比率Ｒが４．０から２．０、２．０から１．５に変化する場合の補間方法を説明するための図である。
【図９】樽形と糸巻き形の歪曲収差を含む画像データの補間方法を説明するための図である。
【図１０】実施の形態１に係る画像補正装置で用いる他の変換係数群の例を示す模式図である。
【図１１】本発明の実施の形態２に係る画像補正装置の概略構成を示すブロック図である。
【図１２】実施の形態２に係る画像補正装置で用いる変換係数群の例を示す模式図である。
【図１３】実施の形態２に係る画像補正装置で用いる変換係数群の他の例を示す模式図である。
【図１４】従来の補正前の画像データの読出し方法を説明するための図である。
【図１５】従来の補正後の画素データの配列を示す模式図である。
【図１６】本発明の実施の形態３において補正前の画像データの読出し方法を説明するための図である。
【図１７】実施の形態３において補正後の画素データの配列を示す模式図である。
【図１８】本発明の実施の形態４に係る画像補正装置を構成する補間係数算出部の回路図である。
【図１９】（ａ）は、歪曲収差を含まない正方形状の画像データを示す図、（ｂ）は、糸巻き形に歪曲した画像データを示す図、（ｃ）は、樽形に歪曲した画像データを示す図である。
【図２０】（ａ）は、歪曲収差を含まない画像データを示す図、（ｂ）は、水平方向に糸巻き形に、垂直方向に樽形に歪曲した画像データを示す図である。
【符号の説明】
１ 画像補正装置
２ 補間係数算出部
３ 補間画素算出部
４ 変換係数記憶部
５ 主メモリ
６ ＤＭＡコントローラ

Claims (22)

1. 画像データに含まれる歪みを補正する画像補正装置であって、
   前記画像データを画素データ単位で転送すると共に、前記画像データの転送に同期して前記各画素データに対応する変換係数を転送するデータ転送制御部と、
   前記データ転送制御部により転送された当該変換係数に基づいて第１補間係数と第２補間係数とを算出する補間係数算出部と、
   前記データ転送制御部により転送された第１の画素データに前記第１補間係数を重み付けした値と、前記第１の画素データの転送前に保持された第２の画素データに前記第２補間係数を重み付けした値とから補間画素データを算出する補間画素算出部と、
   を備え、
   前記変換係数は、前記歪みの無い画素間隔を規定する単位長を前記歪みにより生じた画素間隔の変化率で除算した値であり、
   前記補間係数算出部は、
   転送された前記変換係数と前記第１補間係数とを加算する加算回路と、
   該加算回路から出力された加算値が前記単位長未満のときは該加算値を前記第１補間係数として出力すると共に前記単位長から前記第１補間係数を減じた値を前記第２補間係数として出力し、前記加算値が前記単位長以上のときには該加算値から前記単位長を減じた値を前記第１補間係数として出力すると共に前記単位長から前記第１補間係数を減じた値を前記第２補間係数として出力する選択回路と、
   前記加算値と前記単位長とを比較し、前記加算値が前記単位長未満の間は前記データ転送制御部に対して同一の前記第１の画素データを転送させ、前記加算値が前記単位長以上の時には新たな画素データを転送させる制御信号を生成する比較回路と、
   を有する画像補正装置。
2. 請求項１記載の画像補正装置であって、前記補間画素算出部は、前記比較回路から伝達された前記制御信号により前記加算値が前記単位長以上のときに前記第１の画素データを読み込んで第２の画素データとして保持する保持回路を備える、画像補正装置。
3. 請求項１または請求項２に記載の画像補正装置であって、前記画像データに含まれる歪みは光学系に起因する歪曲収差である、画像補正装置。
4. 請求項１から請求項３の何れか１項に記載の画像補正装置であって、前記データ転送制御部は、水平ラインおよび垂直ラインの一方のライン毎に前記画素データを補間画素算出部に転送した後に、前記補間画素算出部により算出された前記補間画素データを他方のライン毎に前記補間画素算出部に転送する、画像補正装置。
5. 請求項１から請求項４の何れか１項に記載の画像補正装置であって、前記変換係数は垂直ライン用と水平ライン用とで個別に用意されている、画像補正装置。
6. 請求項１から請求項５の何れか１項に記載の画像補正装置であって、前記画像データは複数の画素領域に分割されており、前記画素領域の各々に同一値の変換係数が割り当てられる、画像補正装置。
7. 請求項１から請求項５の何れか１項に記載の画像補正装置であって、前記画像データを複数の境界線で区画し、該境界線上の画素データに対応する前記変換係数を用いて該境界線間の画素データを補間する変換係数補間部を備える、画像補正装置。
8. 請求項１から請求項７の何れか１項に記載の画像補正装置であって、前記データ転送制御部は、前記画像データを水平方向または垂直方向の略画像中心を通る中心線で２分し、該中心線の両側の画像領域の各々について個別にデータ転送を実行する、画像補正装置。
9. 請求項８記載の画像補正装置であって、前記中心線で２分された前記画像領域の各々に対応付ける前記変換係数の値は前記中心線を対称軸として同一値に設定される、画像補正装置。
10. 請求項８または請求項９記載の画像補正装置であって、前記補間画素算出部が算出した各前記画像領域の補間画素データを格納するバッファ領域の両端に余領域を設けてなる、画像補正装置。
11. 請求項１から請求項１０の何れか１項に記載の画像補正装置であって、前記データ転送制御部により転送される前記変換係数と、前記画像データのサイズを変更するサイズ変更係数との何れかを選択して前記補間係数算出部に出力する第２の選択回路を備え、
    前記補間係数算出部は、前記第２の選択回路から伝達した前記変換係数または前記サイズ変更係数に基づいて前記第１補間係数と前記第２補間係数とを算出する、画像補正装置。
12. 画像データに含まれる歪みを補正する画像補正方法であって、
    （ａ）前記画像データを画素データ単位で転送すると共に、前記画像データの転送に同期して前記各画素データに対応する変換係数を転送する工程と、
    （ｂ）前記工程（ａ）で転送された当該変換係数に基づいて第１補間係数と第２補間係数とを算出する工程と、
    （ｃ）前記工程（ａ）で転送された第１の画素データに前記第１補間係数を重み付けした値と、前記第１の画素データの転送前に保持された第２の画素データに前記第２補間係数を重み付けした値とから補間画素データを算出する工程と、
    を備え、
    前記変換係数は、前記歪みの無い画素間隔を規定する単位長を前記歪みにより生じた画素間隔の変化率で除算した値であり、
    前記工程（ｂ）は、
    転送された前記変換係数と前記第１補間係数とを加算して加算値を出力する工程と、 前記加算値が前記単位長未満のときは該加算値を前記第１補間係数として出力すると共に前記単位長から前記第１補間係数を減じた値を前記第２補間係数として出力し、前記加算値が前記単位長以上のときには該加算値から前記単位長を減じた値を前記第１補間係数として出力すると共に前記単位長から前記第１補間係数を減じた値を前記第２補間係数として出力する工程と、
    を有し、
    前記工程（ａ）は、前記加算値が前記単位長未満の間は同一の前記第１の画素データを転送し、前記加算値が前記単位長以上の時には新たな画素データを転送する工程を有する、画像補正方法。
13. 請求項１２記載の画像補正方法であって、前記工程（ａ）は、前記加算値が前記単位長以上の時に前記第１の画素データを読み込んで第２の画素データとして保持する工程を有する、画像補正方法。
14. 請求項１２または請求項１３に記載の画像補正方法であって、前記画像データに含まれる歪みは光学系に起因する歪曲収差である、画像補正方法。
15. 請求項１２から請求項１４の何れか１項に記載の画像補正方法であって、前記工程（ａ）は、水平ラインおよび垂直ラインの一方のライン毎に前記画素データを転送した後に、前記工程（ｃ）で算出された前記補間画素データを他方のライン毎に転送する工程を有する、画像補正方法。
16. 請求項１２から請求項１５の何れか１項に記載の画像補正方法であって、前記変換係数は垂直ライン用と水平ライン用とで個別に用意される、画像補正方法。
17. 請求項１２から請求項１６の何れか１項に記載の画像補正方法であって、前記工程（ａ）は、前記画像データを複数の画素領域に分割し、前記画素領域の各々に同一値の変換係数を割り当てる工程を有する、画像補正方法。
18. 請求項１２から請求項１６の何れか１項に記載の画像補正方法であって、前記工程（ａ）は、前記画像データを複数の境界線で区画し、該境界線上の画素データに対応する前記変換係数を用いて該境界線間の画素データを補間する工程を有する、画像補正方法。
19. 請求項１２から請求項１８の何れか１項に記載の画像補正方法であって、前記工程（ａ）は、前記画像データを水平方向または垂直方向の略画像中心を通る中心線で２分し、該中心線の両側の画像領域の各々について個別に画素データを転送する工程を有する、画像補正方法。
20. 請求項１９記載の画像補正方法であって、前記中心線で２分された前記画像領域の各々に対応付ける前記変換係数の値を前記中心線を対称軸として同一値に設定する、画像補正方法。
21. 請求項１９または請求項２０記載の画像補正方法であって、前記工程（ｃ）で算出された補間画素データを両端に余領域を設けたバッファ領域に転送する、画像補正方法。
22. 請求項１２から請求項２１の何れか１項に記載の画像補正方法であって、前記工程（ａ）は、転送される前記変換係数と前記画像データのサイズを変更するサイズ変更係数との何れかを選択する工程を有し、前記工程（ｂ）において、前記工程（ａ）で選択された前記変換係数または前記サイズ変更係数に基づいて前記第１補間係数と前記第２補間係数とが算出される、画像補正方法。

Images