JP4028306B2

JP4028306B2 - デジタル撮像装置

Info

Publication number: JP4028306B2
Application number: JP2002185805A
Authority: JP
Inventors: 憲司船本
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2002-06-26
Filing date: 2002-06-26
Publication date: 2007-12-26
Anticipated expiration: 2022-06-26
Also published as: US20040001152A1; US7260271B2; JP2004032368A

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタル撮像装置に係わり、特に、光学レンズを介して被写体像を撮影し、前記被写体像を示すデジタル画像データを取得するデジタル撮像装置に関する。
【０００２】
【従来の技術】
銀塩カメラやデジタルカメラなどの光学レンズを通して被写体像を撮像して、被写体像を表す画像を取得する撮像装置では、レンズの屈折により取得した画像の周辺に歪みが生じてしまう。この歪みは、一般に光学歪み（ディストーション）と称され、撮像装置に用いられるレンズは、この光学歪みを打ち消すように構成されるが、ズームレンズの場合、同一のレンズ構成でテレ端及びワイド端を共に補正することは難しく、大きな光学歪みが発生し易い。また、単焦点のレンズにおいても、補正するために高価な素材レンズ或いはレンズ構成を増やすことが必要とされ、薄くて安価なレンズ構成とするのは難しく、やはり光学歪みが残ってしまう。
【０００３】
銀塩カメラのように取得された画像がフイルムに記録される場合は、記録後の画像の補正は不可能であり、レンズ性能によって光学歪みが決まってしまう。一方、デジタルカメラのようにデジタルデータで画像が取得されて記録メディアに記録される場合は、記録後でも演算処理によって画像を補正することが可能である。このため、デジタルカメラの分野では、従来より、光学歪み補正に関する技術が提案されている。
【０００４】
このような光学歪みを補正する技術の１つとして、特開平１１−２５０２３８号公報、特開平１１−２５０２３９号公報、特開平１１−２５０２４０号公報、及び特開平１１−２５２４３１号公報に記載されているように、補正量を近似式で表して補正する方法が挙げられる。これは、光学的歪みによる変位量は、光学中心からの距離に依存する多項式で近似表現可能であることが一般に知られており、その逆数を補正式として用いるものである。詳しくは、ＣＰＵにより、多項式に基づいて補正後の画像の各画素に対応する補正前の画像における座標を算出し、算出した座標周辺の画素データにより当該画素を補間することで補正を行うようになっている。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来技術では、例えば、線形補間法で補間する場合は、算出した座標周辺の４つの画素データを用いた演算が必要であり、補正のための演算が複雑なため、１画素分の処理だけでもＣＰＵでの演算量が多く、画像全体となると多大な処理時間を要するという問題があった。特に、デジタル画像データの画素数が多くなると、補正に要する時間も増えるため、デジタル撮像装置の更なる高解像度化のためには、補正処理時間の短縮化が求められている。
【０００６】
本発明は上記問題点を解消するためになされたもので、光学歪みの補正に要する処理時間を短縮可能なデジタル撮像装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、請求項１に記載の発明は、光学レンズを介して被写体像を撮影し、前記被写体像を示すデジタル画像データを取得するデジタル撮像装置であって、前記デジタル画像データに含まれる光学歪みを、予め定められた所定方向の光学歪み成分と、前記所定方向と交差する方向の光学歪み成分とに分けて時系列に補正する補正手段と、前記補正手段による各光学歪み成分の補正前後のデジタル画像データを記憶するための記憶手段とを有し、前記補正手段は、補正前のデジタル画像データを読み出す場合と、補正後のデジタル画像データを書き込む場合とで、前記記憶手段に対して前記補正前後のデジタル画像データを読書きする方向を変更することを特徴としている。
【０００８】
請求項１に記載の発明によれば、デジタル画像データに含まれる光学歪みは、補正手段により、所定方向の歪み成分の補正と、当該所定方向と交差する方向の光学歪み成分の補正との２回に分けて補正される。また、前記補正手段による各光学歪み成分の補正前後のデジタル画像データを記憶するための記憶手段を備えている。そして、前記補正手段は、補正前のデジタル画像データを読み出す場合と、補正後のデジタル画像データを書き込む場合とで、前記記憶手段に対して前記補正前後のデジタル画像データを読書きする方向も変更する。これにより、例えば線形補間法で補間する場合であれば、各成分毎の補正では、周辺の２つの画素データを用いた演算処理で済む。したがって、従来よりも簡単な演算処理だけで補正することができ、光学歪みの補正に要する処理時間を短縮できる。
また、補正処理に要する全体の処理時間をより短縮できる。
【００１１】
また、上記のデジタル撮像装置においては、補正手段は、光学歪みによる変位量を光学中心からの距離に依存する多項式で近似表現し、当該多項式に基づいて補正後の画像の各画素に対応する補正前の画像における座標を算出し、算出した座標周辺の画素を示す画素データにより当該画素を補間することで補正を行えばよく、このとき用いる光学歪みを近似する多項式は、奇数次の項を省略し、偶数次の項のみの関数とするとよい。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態として、本発明を主として静止画像を撮影するデジタルカメラに適用した場合について説明するが、デジタルビデオカメラのように動画像を撮影する装置にも本発明は適用可能である。
【００１３】
＜第１の実施の形態＞
（全体構成）
まず、図１を参照して、本実施の形態に係るデジタルカメラ１０の構成を説明する。図１には、デジタルカメラ１０全体の概略構成が示されている。
【００１４】
図１に示すように、本実施の形態に係るデジタルカメラ１０は、被写体像を結像させるための光学ユニット１２と、光学ユニット１２の光軸後方に配設されたＣＣＤ（Charge Coupled Device）１４と、アナログ信号をデジタル信号に変換するＡ／Ｄコンバータ１６と、デジタルカメラ１０の撮影によって得られた画像や各種情報を表示するためのＬＣＤ（液晶ディスプレイ）１８と、レリーズボタン、モード切替スイッチ、電源スイッチなどの撮影者によって操作される操作手段２０と、を備えている。
【００１５】
また、デジタルカメラ１０は、入力されたデジタル信号に対して所定の処理を施してデジタル画像データを生成する信号処理プロセッサ２２と、デジタルデジタル画像データの光学歪みを補正する本発明の補正装置としてのディストーション補正部２４と、ＬＣＤ１８に対する表示を制御するＬＣＤ制御部２６と、スマートメディア、ＩＣカード、ＣＤ−Ｒ、ＣＤ−ＲＷ等の外部記録メディア２８に対する各種情報の読み書きを制御するメディア制御部３０と、光学ユニット１２の光学ズーム倍率及び焦点を調整するＡ／Ｆ制御回路３２と、操作手段２０とのＩ／Ｆ（インタフェース）部３４と、デジタルカメラ１０の全体の制御を司るＣＰＵ（中央演算処理装置）３６と、主としてＣＣＤ１４による撮像によって得られたデジタル画像データを記憶する本発明のデジタル画像データ記憶手段としてのメインメモリ３８と、各種プログラム、パラメータなどが予め記憶されたＲＯＭ４０と、を備えており、これら信号処理プロセッサ２２、ディストーション補正部２４、ＬＣＤ制御部２６、メディア制御部３０、Ａ／Ｆ制御回路３２、Ｉ／Ｆ部３４、ＣＰＵ３６、メインメモリ３８、及びＲＯＭ４０は、バス４２を介して相互に接続されている。
【００１６】
光学ユニット１２は、図示しないズームレンズ群及びフォーカスレンズを有し、且つそれぞれを光軸方向に移動させるレンズ移動機構を備え、焦点距離の変更（変倍）が可能なズームレンズとして構成されている。光学ユニット１２は、Ａ／Ｆ制御回路３２と接続されており、Ａ／Ｆ制御回路３２の制御により、所望のズーム倍率になるようにズームレンズ群が光軸方向に移動され（焦点距離可変レンズ）、レンズを通過した被写体像を示す入射光がＣＣＤ１４の受光面上に結像するように、フォーカスレンズが光軸方向に移動される（オートフォーカス（ＡＦ）機構）ようになっている。これにより、ＣＣＤ１４では、光学ユニット１２のレンズを通過した被写体像を示す入射光に基づき被写体を撮像して被写体像を示すアナログ画像信号を出力する。
【００１７】
このＣＣＤ１４の出力端は、Ａ／Ｄコンバータ１６と接続されている。すなわち、Ａ／Ｄコンバータ１６は、ＣＣＤ１４により出力された被写体像を示すアナログ画像信号をデジタル画像信号に変換する。
【００１８】
Ａ／Ｄコンバータ１６の出力端は、信号処理プロセッサ２２に接続されている。すなわち、信号処理プロセッサ２２には、撮影時にＣＣＤ１４によって得られた被写体像を示す画像信号が、アナログ信号からデジタル信号に変換された後、入力され、デジタル画像データとして取り扱われる。具体的には、信号処理プロセッサ２２では、入力されたデジタル画像データに対して、ホワイトバランス調整、ガンマ補正、シャープネス補正等の各種補正処理、及びＲＧＢデータをＹＣ信号に変換するＹＣ変換処理といった所定のデジタル信号処理を施す。信号処理プロセッサ２２によりＹＣ変換されたデジタル画像データは、補正前のデジタル画像データとして、バス４２を介してメインメモリ３８に一旦格納される。
【００１９】
メインメモリ３８には、例えばＳＲＡＭやＳＤＲＡＭといった大容量のメモリを一般に用いることができる。なお、このようなメモリは、ライン方向への連続したアクセスは早いが、不連続なアドレスへのアクセスは遅いという特徴を有する。
【００２０】
ディストーション補正部２４は、メインメモリ３８に格納された補正前のデジタル画像データの光学歪みを補正するためのものであり、詳細は後述するが、補正前のデジタル画像データをメインメモリ３８から読み出して、光学歪みを補正し、補正後のデジタル画像データのメインメモリ３８に書き込むようになっている。
【００２１】
デジタルカメラ１０では、この補正後のデジタル画像データを、図示しない圧縮伸長回路により所定の圧縮形式（例えばＪＰＥＧ）により圧縮した後、メディア制御部３０を介して、外部記録メディア２８に記憶することができる。
【００２２】
一方、ＬＣＤ制御部２６には、前述のＬＣＤ１８が接続されており、ＬＣＤ１８はＬＣＤ制御部２６の制御下で作動するようになっている。撮影時には、ＬＣＤ制御部２６は、バス４２を介してメインメモリ３８から補正後のデジタル画像データを読出して、ＬＣＤ１８に表示させる。また、画像再生時には、外部記録メディア２８に記憶された再生対象とするデジタル画像データが読み出されて、図示しない圧縮伸長回路により伸長された後、ＬＣＤ制御部２６の制御によりＬＣＤ１８に表示される。
【００２３】
また、Ｉ／Ｆ部３４には撮影者によって操作される各種スイッチ乃至ボタンなどの操作手段２０が接続されており、ＣＰＵ３６では、Ｉ／Ｆ部３４を介して撮影者による操作手段２０の操作状況を常時把握可能であり、把握した操作状況に応じて、上記各部の動作を制御する。
【００２４】
（ディストーション補正部の詳細）
次に、ディストーション補正部２４について詳細に説明する。
【００２５】
ディストーション補正部２４は、図１、２に示すように、１ライン分の画素データを記憶するための入力ラインメモリ５０と、メインメモリ３８から入力ラインメモリ５０へメインメモリ３８に格納されているデジタル画像データを構成する水平又は垂直方向に並んだ１ライン分の画素を表す画素データをＤＭＡ（Direct Memory Access）転送するＤＭＡ入力制御部５２と、演算により画像の光学歪みを各画素毎に補正する演算処理部５４と、演算処理部５４による演算により得られた１ライン分の補正後の画素データを記憶するための出力ラインメモリ５６と、出力ラインメモリ５６からメインメモリ３８へ水平又は垂直方向に並んだ１ライン分の補正後の画素データのＤＭＡ転送するＤＭＡ出力制御部５８と、を備えて構成されている。
【００２６】
なお、画素データとは、画像を構成する各画素の色を示すデータのことであり、デジタル画像データは複数の画素データにより構成されている。
【００２７】
また、入力ラインメモリ５０及び出力ラインメモリ５６は、必ずしも１ライン分の容量を必要とせず、複数のメモリでリングバッファとして使用して構成することも可能である。また、図１、２では、入力ラインメモリ５０及び出力ラインメモリ５６を物理的に異なる部材として示しているが、同一のメモリ（装置）内の互いに異なるメモリ領域を入力ラインメモリ５０及び出力ラインメモリ５６として用いるようにしてもよい。
【００２８】
ＤＭＡ入力制御部５２は、バス４２及び入力ラインメモリ５０と接続されており、バス４２を介して、メインメモリ３８から１ライン分の画素データを読み取り、当該読み取った画素データを入力ラインメモリ５０に書き込む。
【００２９】
演算処理部５４は、入力ラインメモリ５０及び出力ラインメモリ５６とアクセス可能に接続されており、入力ラインメモリ５０の画素データを用いた演算により光学歪みを補正した補正後の画素データを生成して出力ラインメモリ５６に書き込むようになっている。
【００３０】
詳しくは、演算処理部５４は、図２に示すように、水平又は垂直方向に１画素づつ移動するように、出力する補正後の画素データの座標（出力座標）を設定する出力座標設定部６０と、出力座標設定部６０で設定された出力座標に対応する補正前の画像上の座標（補正座標）を演算する座標演算処理部６２と、座標演算処理部６２により演算された補正座標周辺の画素データ（補正前）を入力ラインメモリ５０から読み出すメモリ制御部６４と、読み出された補正座標周辺の画素データにより出力座標の画素データを補間することで、補正後の画素データを生成する補間演算処理部６６と、補間演算処理部６６により生成された補正後の画素データを出力座標設定部６０で設定された出力座標の画素データとして出力ラインメモリ５６に書き込むメモリ制御部６８と、を備えて構成されている。
【００３１】
なお、演算処理部５４には、出力座標設定部６０、座標演算処理部６２、メモリ制御部６４、補間演算処理部６６、及びメモリ制御部６８として機能する回路を各々実装させてもよいし、プログラムの実行により、出力座標設定部６０、座標演算処理部６２、及び補間演算処理部６６の各機能が構築されるようにしてもよい。
【００３２】
出力座標設定部６０は、出力座標を設定し、座標演算処理部６２は、出力座標設定部６０で出力座標が設定（変更）される度に、当該設定された出力座標に対応する補正座標を演算により算出する。
【００３３】
ＤＭＡ入力制御部５２は、バス４２及び出力ラインメモリ５６と接続されており、出力ラインメモリ５６から１ライン分の画素データを読み出し、当該読み出した画素データを、バス４２を介して、メインメモリ３８に書き込む。
【００３４】
ここで、本実施の形態に係わるディストーション補正部２４は、補正対象のデジタル画像データに対して、当該デジタル画像データに含まれる光学歪みを、水平方向の光学歪み成分と垂直方向の光学歪み成分とに分けて、各成分毎の補正を時系列に行うようになっている。すなわち、１つのデジタル画像データに対して、水平方向の歪みを補正する補正処理と、垂直方向の歪みを補正する補正処理との２回の補正処理が施されるようになっている。
【００３５】
このため、ディストーション補正部２４では、補正する光学歪み成分の方向に応じて、メインメモリ３８に対して前記補正前後のデジタル画像データを読書きする方向（以下、メインメモリ３８に対するデータアクセス方向）が変更されるようになっている。
【００３６】
具体的には、水平方向の光学歪み成分を補正する時は、ＤＭＡ入力制御部５２では、メインメモリ３８からデジタル画像データを水平方向に読み込んで、水平方向に並んだ１ライン分の画素データを入力ラインメモリ５０に格納し、ＤＭＡ出力制御部５８では、出力ラインメモリ５６から１ライン分の画素データを読み取って、メインメモリ３８に水平方向に書き込む。
【００３７】
また、垂直方向の光学歪み成分を補正する時は、ＤＭＡ入力制御部５２では、メインメモリ３８からデジタル画像データを垂直方向に読み込んで、垂直方向に並んだ１ライン分の画素データを入力ラインメモリ５０に格納し、ＤＭＡ出力制御部５８では、出力ラインメモリ５６から１ライン分の画素データを読み取って、メインメモリ３８に垂直方向に書き込む。
【００３８】
＜作用＞
次に、本実施の形態の作用を説明する。本実施の形態に係わるデジタルカメラ１０では、ＣＣＤ１４により、光学ユニット１２のレンズを通過した被写体像を示す入射光に基づいく被写体が撮像されて、被写体像を示すアナログ画像信号が取得される。このアナログ画像信号は、Ａ／Ｄコンバータ１６によりデジタル画像信号に変換され、信号処理プロセッサ２２により、ＹＣ信号に変換されて、補正前のデジタル画像データとして、メインメモリ３８に一旦格納される。
【００３９】
そして、ディストーション補正部２４により、メインメモリ３８から補正前のデジタル画像データを読み出して光学歪みが補正された後、メインメモリ３８に再度格納され（詳細後述）、この補正後のデジタル画像データがＬＣＤ制御部２６を通じてＬＣＤ１８に表示されたり、メディア制御部３０を通じて、外部記録メディア２８に記録されたりする。なお、ＬＣＤ１８への表示の際には補正前のデジタル画像データを用い、撮像した被写体像が直ちに表示されるようにしてもよい。
【００４０】
（光学歪み補正処理）
次に、図３乃至図５のフローチャートを参照して、ディストーション補正部２４により実行される光学歪み補正処理について説明する。以下では、ディストーション補正部２４において、最初に水平方向の光学歪み成分を補正した後、垂直方向の光学歪み成分を補正する場合を例に説明する。なお、補正順序は逆でもよい。また、以下では、デジタル画像データの水平方向をｘ方向、垂直方向をｙ方向とし、ｘ方向にｍ画素、ｙ方向にｎ画素が２次元配列された、所謂ｍ×ｎ画素の画像サイズのデジタル画像データを補正する場合を例に説明する。
【００４１】
図３には、光学歪みを補正するために行われるディストーション補正部２４の処理が示されている。図３に示すように、ディストーション補正部２４では、まず、水平方向の光学歪み成分の補正を行うために、ステップ１００において、出力座標設定部６０で出力座標を設定するための出力ｙ座標のカウンタ値を初期化する（ｙ＝０）。
【００４２】
続いてステップ１０２では、ＤＭＡ入力制御部５２により、メインメモリ３８に格納されているデジタル画像データを、出力座標設定部６０で設定されている出力ｙ座標の位置にある画素を水平方向（すなわちｘ方向）にスキャンして、水平方向に並んだ１ライン分の画素データを読み取って、入力ラインメモリ５０に格納する。なお、メインメモリ３８に格納されているデジタル画像データのｘ、ｙ座標を用いて、このとき読み取った画素データをＤsource（ｘ、ｙ）で表すと、入力ラインメモリ５０には、画素データＤsource（０、ｙ）〜Ｄ（ｍ−１、ｙ）が格納されることになる。
【００４３】
そして、次のステップ１０４で、演算処理部５４により、入力ラインメモリ５０に読み込んだ１ライン分の画素について、図４に示す水平方向補正演算処理が開始される。
【００４４】
この水平方向演算処理では、図４に示すように、まず、ステップ１４０において、出力座標設定部６０で出力座標を設定するための出力ｘ座標のカウンタ値を初期化する（ｘ＝０）。そして、次のステップ１４２では、座標演算処理部６２により、出力座標設定部６０で設定されている出力座標（ｘ、ｙ）に対応する補正座標（Ｘ，ｙ）が演算される。
【００４５】
一般に、光学歪みによる歪み率を表す関数Ｆは、画像上の光学中心に対応する位置（以下、中心座標）からの距離ｄの多次元関数で近似表現することができることが知られており、ここでは、一例として、次式（１）で示す４次関数で表わす。
【００４６】
Ｆ（ｄ）＝α×ｄ⁴＋β×ｄ² …（１）
ただし、ｄ：光学中心からの距離、α、β：係数、である。
【００４７】
したがって、出力座標を（ｘ、ｙ）とした場合に（ｘ、ｙは整数）、これに対応する補正座標（Ｘ，Ｙ）は、以下の式（２）で表される。
【００４８】
（Ｘ，Ｙ）＝（ｘ×Ｆ（ｄ）、ｙ×Ｆ（ｄ））、ｄ＝（ｘ²＋ｙ²）^1/2…（２）
なお、上記式（１）において奇数次の項を省略し、偶数次の項のみの関数としたのは、式（２）からも分かるように、奇数次の項が含まれると光学中心からの距離ｄの演算に平方根の計算が必要となり、座標演算部の回路で組む場合に、ハード構成が複雑になるためである。すなわち、奇数次の項を省略して偶数次の項のみの関数でこのように光学歪みを表わすことで、平方根の計算を回避し、回路構成の簡素化を図ることができる。
【００４９】
ところで、水平方向補正演算処理中は、水平方向（ｘ方向）の歪みについてのみ考えるため、座標演算処理部６２では、補正座標のｘ座標値Ｘのみ求め、ｙ座標については、出力座標のｙ座標値ｙをそのまま用いる。
【００５０】
以下、座標値Ｘの演算について詳しく説明する。図６に示すように、画像上の光学中心に対応する中心座標を（ｉ，ｊ）とすると、出力座標（ｘ，ｙ）の中心座標からの距離ｄの２乗は、Δｘ＝｜ｘ−ｉ｜、Δｙ＝｜ｙ−ｊ｜として、
ｄ²＝Δｘ²＋Δｙ² …（３）
となる。ここで、画像サイズに寄らずに適用可能とするために、中心座標からの距離の最大値が「１」となるように、次式（４）のように距離ｄの２乗を正規化する。
【００５１】
ｄ²＝ｄ²／ＳＦ …（４）
ただし、ＳＦは正規化係数、である。
【００５２】
続いて、次式（５）のように、式（４）で求めた正規化した距離ｄの２乗を用いて、距離ｄの４乗の項を求める。
【００５３】
ｄ⁴＝ｄ²×ｄ² …（５）
このように式（４）、（５）により求めたｄ２、ｄ４を式（１）に代入すれば、出力座標（ｘ、ｙ）における歪み率Ｆ（ｄ）を求めることができる。
【００５４】
次に、補正量を「０」とする位置を、次式（６）のように調整値をγとして調整し、
Ｆ（ｄ）＝Ｆ（ｄ）＋γ …（６）
次式（７）のように、調整後の歪み率Ｆ（ｄ）を用いて補正画素数Δｘｄを求める。
【００５５】
Δｘｄ＝Δｘ×Ｆ（ｄ） …（７）
これにより、補正座標（Ｘ、ｙ）のｘ座標値Ｘは、
ｘ＜ｉの場合、Ｘ＝ｘ＋Δｘｄ
ｘ≧ｉの場合、Ｘ＝ｘ−Δｘｄ…（８）
と求められる。
【００５６】
このようにして、補正座標（Ｘ，ｙ）を求めたら、次のステップ１４４では、メモリ制御部６４により、入力ラインメモリ５０から求められた補正座標（Ｘ、ｙ）周辺の画素データを読み出し、補間演算処理部６６により、読み出したデジタル画像データを用いた補間により、光学歪みを補正した補正後の出力座標（ｘ、ｙ）の画素データＤdist（ｘ、ｙ）を求める。補間方法としては、最近房補間法、線形補間法、３次折りたたみ補間法などを適用可能である。以下では、線形補間法を採用した場合について説明する。
【００５７】
メモリ制御部６４では、補正座標（Ｘ，ｙ）の周辺画素として、補正座標に対してｘ方向前後にある画素データ、具体的には、Ｘの整数部をintＸとして、Ｄsource（intＸ、ｙ）、Ｄsource（intＸ＋１、ｙ）を入力ラインメモリ５０から読み出す。補間演算処理部６６では、次式（９）のように、補正座標（Ｘ、ｙ）の画素データＤsource（Ｘ、ｙ）として、読み出した補正座標のｘ方向前後にある画素データＤsource（intＸ、ｙ）、Ｄsource（intＸ＋１、ｙ）の補正座標との距離に応じて重み付けした重み付け平均を求める。
【００５８】
Ｄsource（Ｘ、ｙ）＝ＣＦ１×Ｄsource（intＸ、ｙ）＋ＣＦ２×Ｄsource（intＸ＋１、ｙ） …（９）
ただし、ＣＦ１＝１−ＣＦ２、ＣＦ２＝Ｘ−ｉｎｔＸ、である。
【００５９】
そして、補間演算処理部６６では、求めた画素データＤsource（Ｘ、ｙ）を補正後の出力座標（ｘ、ｙ）の画素データＤdist（ｘ、ｙ）として出力する。すなわち、
Ｄdist（ｘ、ｙ）＝Ｄsource（Ｘ、ｙ） …（１０）
となる。これにより、補正後の出力座標（ｘ、ｙ）の画素データＤdist（ｘ、ｙ）が得られる。
【００６０】
次のステップ１４６では、このようにして補間演算処理部６６の演算により得られた画素データＤdist（ｘ、ｙ）を、メモリ制御部６８により、出力座標（ｘ、ｙ）の画素データとして、出力ラインメモリ５６に格納し、次のステップ１４８では、出力座標設定部６０で出力座標を設定するための出力ｘ座標のカウンタ値をインクリメントする（ｘ＝ｘ＋１）。
【００６１】
そして、水平方向に並んだ１ライン分の全画素について処理が終了する（すなわちｘ＝ｍになる）まで、次のステップ１５０で否定判定されて、ステップ１４２に戻り、次の画素について同様の処理を行う。これにより、前述のステップ１０２で読み込んだ１ライン分の各画素について、水平方向の光学歪み成分が補正され、補正後の画素データＤdist（０、ｙ）〜Ｄdist（ｍ−１、ｙ）が出力ラインメモリ５６に順次格納されていく。そして、入力ラインメモリ５０に読み込まれた水平方向に並んだ１ライン分の全画素について処理が終了したら、当該１ライン分の画素についての水平方向補正演算処理は終了する。
【００６２】
一方、ディストーション補正部２４では、図３に示すように、水平方向補正演算処理を開始した後は、ステップ１０６に進み、ＤＭＡ出力制御部５８により、出力ラインメモリ５６に順次格納された１ライン分の補正後の画素データを読み取って、メインメモリ３８に水平方向にスキャンしながら水平方向に並んだ１ライン分の画素データとして書込む。このとき、補正前のデジタル画像データにおける出力座標設定部６０で設定されている出力ｙ座標の水平方向に並んだ画素データ上に上書きするようになっている。すなわち、メインメモリ３８に記憶されているデジタル画像データは、画素データＤsource（０、ｙ）〜Ｄ（ｍ−１、ｙ）が、補正後の画素データＤdist（０、ｙ）〜Ｄdist（ｍ−１、ｙ）に更新される。
【００６３】
続いてステップ１０８で、出力座標設定部６０で出力座標を設定するための出力ｙ座標のカウンタ値をインクリメントして（ｙ＝ｙ＋１）する。そして、デジタル画像データの全ラインについて処理が終了（すなわちｙ＝ｎになる）まで、次のステップ１１０で否定判定されて、ステップ１０２に戻り、次のラインについて同様の処理を行う。デジタル画像データの全ラインについて処理が終了すると、デジタル画像データの水平方向の光学歪み成分の補正が完了して、このとき、メインメモリ３８には、水平方向の光学歪み成分補正されたデジタル画像データが格納されている。
【００６４】
そして、ディストーション補正部２４では、次に、垂直方向の光学歪み成分の補正するために、ステップ１１２に進み、出力座標設定部６０で出力座標を設定するための出力ｘ座標のカウンタ値を初期化する（ｘ＝０）。
【００６５】
続いてステップ１１４では、ＤＭＡ入力制御部５２により、メインメモリ３８に格納されているデジタル画像データを、出力座標設定部６０で設定されている出力ｘ座標の位置にある画素を垂直方向（すなわちｙ方向）にスキャンして、垂直方向に並んだ１ライン分の画素データを読み取って、入力ラインメモリ５０に格納する。なお、メインメモリ３８に格納されているデジタル画像データのｘ、ｙ座標を用いて、このとき読み取った画素データをＤsource（ｘ、ｙ）で表すと、入力ラインメモリ５０には、画素データＤsource（ｘ、０）〜Ｄ（ｘ、ｎ−１）が格納されることになる。
【００６６】
そして、次のステップ１１６で、入力ラインメモリ５０に読み込んだ１ライン分の画素について、図５に示す垂直方向補正演算処理が開始される。この垂直方向演算処理は、前述の水平方向演算処理で水平方向（ｘ方向）について考えていたことを垂直方向（ｙ方向）に変えるだけであるため、以下では簡単に説明する。
【００６７】
垂直方向演算処理では、図５に示すように、まず、ステップ１６０において、出力座標設定部６０で出力座標を設定するための出力ｙ座標のカウンタ値を初期化する（ｙ＝０）。そして、次のステップ１６２では、座標演算処理部６２により、出力座標設定部６０で設定されている出力座標（ｘ、ｙ）に対応する補正座標（ｘ，Ｙ）が演算される。
【００６８】
なお、垂直方向補正演算処理中は、垂直方向（ｘ方向）の歪みについてのみ考えるため、座標演算処理部６２では、補正座標のｙ座標値Ｙのみ求め、ｘ座標については、出力座標のｘ座標値ｘをそのまま用いる。補正座標のｙ座標値Ｙは、前述の式（３）〜（６）により、補正量を「０」とする位置を調整した歪み率Ｆ（ｄ）を求めた、次式（１１）のように、この調整後の歪み率Ｆ（ｄ）を用いて補正画素数Δｙｄを求める。
【００６９】
Δｙｄ＝Δｙ×Ｆ（ｄ） …（１１）
これにより、補正座標（ｘ、Ｙ）のｙ座標値Ｙは、
ｙ＜ｊの場合、Ｙ＝ｙ＋Δｙｄ
ｙ≧ｊの場合、Ｙ＝ｙ−Δｙｄ…（１２）
と求められる。
【００７０】
このようにして、補正座標（ｘ，Ｙ）を求めたら、次のステップ１６４では、メモリ制御部６４により、入力ラインメモリ５０から求められた補正座標（ｘ、Ｙ）周辺の画素データを読み出し、補間演算処理部６６により、読み出したデジタル画像データを用いた補間により、光学歪みを補正した補正後の出力座標（ｘ、ｙ）の画素データＤdist（ｘ、ｙ）を求める。
【００７１】
メモリ制御部６４では、補正座標（ｘ，Ｙ）の周辺画素として、補正座標に対してｙ方向前後にある画素データ、具体的には、Ｙの整数部をintＹとして、Ｄsource（ｘ、intＹ）、Ｄsource（ｘ、intＹ＋１）を入力ラインメモリ５０から読み出す。補間演算処理部６６では、次式（１２）のように、画素データＤsource（ｘ、Ｙ）を求める。
【００７２】
Ｄsource（ｘ、Ｙ）＝ＣＦ３×Ｄsource（ｘ、intＹ）＋ＣＦ４×Ｄsource（ｘ、intＹ＋１） …（１２）
ただし、ＣＦ３＝１−ＣＦ３、ＣＦ４＝Ｙ−ｉｎｔＹ、である。
【００７３】
そして、補間演算処理部６６では、求めた画素データＤsource（ｘ、Ｙ）を補正後の出力座標（ｘ、ｙ）の画素データＤdist（ｘ、ｙ）として、すなわち、
Ｄdist（ｘ、ｙ）＝Ｄsource（ｘ、Ｙ） …（１３）
として出力し、次のステップ１６６で、メモリ制御部６８により、この画素データＤdist（ｘ、ｙ）を、出力座標（ｘ、ｙ）の画素データとして出力ラインメモリ５６に格納し、次のステップ１６８で、出力座標設定部６０で出力座標を設定するための出力ｙ座標のカウンタ値をインクリメントする（ｙ＝ｙ＋１）。
【００７４】
そして、垂直方向に並んだ１ライン分の全画素について処理が終了する（すなわちｙ＝ｎになる）まで、次のステップ１７０で否定判定されて、ステップ１６２に戻り、次の画素について同様の処理を行う。これにより、前述のステップ１１４で読み込んだ１ライン分の各画素について、垂直方向の光学歪み成分が補正され、補正後の画素データＤdist（ｘ、０）〜Ｄdist（ｘ、ｎ−１）が出力ラインメモリ５６に順次格納されていく。そして、垂直方向に並んだ１ライン分の全画素について処理が終了したら、当該１ライン分の画素についての垂直方向補正演算処理は終了する。
【００７５】
一方、ディストーション補正部２４では、図３に示すように、垂直方向補正演算処理を開始した後は、ステップ１１８に進み、ＤＭＡ出力制御部５８により、出力ラインメモリ５６に順次格納される１ライン分の補正後の画素データを読み取って、メインメモリ３８に垂直方向にスキャンしながら垂直方向に並んだ１ライン分の画素データとして書込む。このとき、補正前のデジタル画像データにおける出力座標設定部６０で設定されている出力ｘ座標の水平方向に並んだ画素データ上に上書きするようになっている。すなわち、メインメモリ３８に記憶されているデジタル画像データは、画素データＤsource（ｘ、０）〜Ｄ（ｘ、ｎ−１）が、補正後の画素データＤdist（ｘ、０）〜Ｄdist（ｘ、ｎ−１）に更新される。
【００７６】
続いてステップ１２０で、出力座標設定部６０で出力座標を設定するための出力ｘ座標のカウンタ値をインクリメントして（ｘ＝ｘ＋１）する。そして、デジタル画像データの全ラインについて処理が終了（すなわちｘ＝ｍになる）まで、次のステップ１２２で否定判定されて、ステップ１１４に戻り、次のラインについて同様の処理を行う。デジタル画像データの全ラインについて処理が終了すると、垂直方向の光学歪み成分の補正が終わり、ディストーション補正部２４の処理は終了する。
【００７７】
上記のように処理することにより、ディストーション補正部２４では、まず、図７（Ａ）に示すように、メインメモリ３８に格納されているＣＣＤ１４の撮影により取得された光学歪みを有するデジタル画像データ（補正前のデジタル画像データ）を水平方向にスキャンして読み出して、当該デジタル画像データに対して水平方向の光学歪み成分の補正を施して、メインメモリ３８に水平方向にスキャンして書込むことができ、メインメモリ３８に水平方向の光学歪み成分を補正後のデジタル画像データを向きを変えずに格納することができる。次に、図７（Ｂ）に示すように、水平方向の光学歪み成分の補正後のデジタル画像データを垂直方向にスキャンして読み出して、当該デジタル画像データに対して垂直方向の光学歪み成分の補正を施して、メインメモリ３８に垂直方向にスキャンして書込むことができ、メインメモリ３８に垂直方向の光学歪み成分を補正後のデジタル画像データを変えずに格納することができる。したがって、メインメモリ３８には、最終的に、水平方向の光学歪み成分及び垂直方向の光学歪み成分が補正されたデジタル画像データが格納される。
【００７８】
このように、本実施の形態では、デジタル画像データに含まれる光学歪みを、水平方向の光学歪み成分の補正と、垂直方向の光学歪み成分の補正との２回に分けて補正するようになっており、ディストーション補正部２４では、上記式（３）〜（１３）に示した如く、線形補間法で補間する場合は、各成分毎の補正では、周辺の２つの画素データを用いた演算処理で済み、従来よりも簡単な演算処理だけで補正することができ、光学歪みの補正に要する処理時間を短縮できる。
【００７９】
また、ディストーション補正部２４では、ＤＭＡ入力制御部５２によりメインメモリ３８から水平又は垂直方向に読み取った１ライン内の画素データで、当該１ライン内の各画素の水平又は垂直方向の光学歪み成分を補正することができ、ディストーション補正部２４のメモリ容量（入力ラインメモリ５０、出力ラインメモリ５６のメモリ容量）を小さくすることができる。
【００８０】
また、特に第１の実施の形態では、ディストーション補正部２４において、補正を行う光学歪み成分の方向に応じて、メインメモリ３８に対するデータアクセス方向を変更することで、各方向（水平方向、垂直方向）の光学歪み成分の補正を行うようにしたことにより、各方向の光学歪み成分を補正後のデータをメインメモリ３８の当該補正前のデータに上書きすることができ、メインメモリ３８のメモリ容量の削減効果も有する。
【００８１】
＜第２の実施の形態＞
次に、本発明の第２の実施の形態について説明する。なお、第２の実施の形態の構成は、第１の実施の形態と同様でよいため、ここでは説明を省略する。ただし、第２の実施の形態では、ＤＭＡ入力制御部５２及びＤＭＡ出力制御部５８各々のメインメモリ３８に対するデータアクセス方向が、水平又は垂直方向に固定されており、補正を行う光学歪み成分の方向に係わらず変更されないようになっている点が異なる。
【００８２】
具体的には、図８に示すように、ＤＭＡ入力制御部５２のメインメモリ３８に対するデータアクセス方向を水平方向とし、ＤＭＡ入力制御部５２では、メインメモリ３８からデジタル画像データを水平方向に読み込んで、水平方向に並んだ１ライン分の画素データを入力ラインメモリ５０に格納するようになっている。また、ＤＭＡ出力制御部５８のメインメモリ３８に対するデータアクセス方向を垂直方向とし、ＤＭＡ出力制御部５８では、出力ラインメモリ５６から１ライン分の画素データを読み取って、メインメモリ３８に垂直方向に書き込むようになっている。なお、ＤＭＡ入力制御部５２及びＤＭＡ出力制御部５８のデータアクセス方向の組合せは逆でもよい。
【００８３】
次に、図９を参照して、第２の実施の形態に係わるディストーション補正部２４により実行される光学歪み補正処理について説明する。なお、図９では、図３と同一の処理については同一のステップ番号を付与して示しており、以下では詳細な説明を省略する。
【００８４】
図９に示すように、ディストーション補正部２４では、まず、ステップ１００において、出力座標設定部６０で出力ｙ座標のカウンタ値を初期化し（ｙ＝０）、次のステップ１０２で、ＤＭＡ入力制御部５２により、メインメモリ３８に格納されているデジタル画像データを水平方向（すなわちｘ方向）にスキャンして、水平方向に並んだ１ライン分の画素データＤsource（０、ｙ）〜Ｄsource（ｍ−１、ｙ）を読み取って、入力ラインメモリ５０に格納して、続いてステップ１０４で、図４に示した水平方向補正演算処理が開始される。これにより、読み込んだ１ライン分各画素について、水平方向の光学歪み成分が補正され、補正後の画素データＤdist（０、ｙ）〜Ｄdist（ｍ−１、ｙ）が出力ラインメモリ５６に順次格納されていく。
【００８５】
ディストーション補正部２４は、水平方向補正演算処理を開始した後は、ステップ１０６Ａに進み、ＤＭＡ出力制御部５８により、出力ラインメモリ５６に順次格納される１ライン分の補正後の画素データを読み取って、メインメモリ３８に垂直方向にスキャンしながら垂直方向に並んだ１ライン分の画素データとして書込む。すなわち、１ライン分の補正後の画素データは、９０度回転されてメインメモリ３８に格納されるようになっている。
【００８６】
なお、このとき、補正前のデジタル画像データとは別の領域に書込むようになっている（上書き禁止）。すなわち、第２の実施の形態では、各方向の光学歪み成分を補正後のデータをメインメモリ３８の当該補正前のデータに上書きすることはできないので、第１の実施の形態よりもメインメモリ３８のメモリ容量は多く必要とする。
【００８７】
続いてステップ１０８で、出力座標設定部６０で出力ｙ座標のカウンタ値をインクリメントして（ｙ＝ｙ＋１）してから、デジタル画像データの全ラインについて処理が終了する（すなわちｙ＝ｎになる）まで、次のステップ１１０で否定判定されて、ステップ１０２に戻り、次のラインについて同様の処理を行う。デジタル画像データの全ラインについて処理が終了すると、水平方向の光学歪み成分の補正が終わり、デジタル画像データの水平方向の光学歪み成分の補正が終わり、このとき、メインメモリ３８には、水平方向の光学歪み成分補正されたデジタル画像データが９０度回転されて格納されている。
【００８８】
続いて、ディストーション補正部２４では、ステップ１１２で、出力座標設定部６０で出力ｘ座標のカウンタ値を初期化し（ｘ＝０）、次のステップ１１４Ａで、ＤＭＡ入力制御部５２により、メインメモリ３８に格納されているデジタル画像データを水平方向（すなわちｘ方向）にスキャンして、水平方向に並んだ１ライン分の画素データを読み取って入力ラインメモリ５０に格納する。このとき、デジタル画像データは前述したようにメインメモリ３８に９０度回転されて格納されているため、この水平方向のスキャンにより、未回転状態でのデジタル画像データにおける画素データＤsource（ｘ、０）〜Ｄ（ｘ、ｎ−１）が読み取られて、入力ラインメモリ５０に格納されることになる。そして、ステップ１１６で、図５に示した垂直方向補正演算処理が開始される。
【００８９】
これにより、読み込んだ１ライン分各画素について、垂直方向の光学歪み成分が補正され、補正後の画素データＤdist（ｘ、０）〜Ｄdist（ｘ、ｎ−１）が出力ラインメモリ５６に順次格納されていく。
【００９０】
ディストーション補正部２４は、垂直方向補正演算処理を開始した後は、ステップ１１８に進み、ＤＭＡ出力制御部５８により、出力ラインメモリ５６に順次格納される１ライン分の補正後の画素データを読み取って、メインメモリ３８に垂直方向にスキャンしながら垂直方向に並んだ１ライン分の画素データとして書込む。すなわち、１ライン分の補正後の画素データは、９０度回転（水平方向の光学歪み成分の補正後の画素データを書込む際の回転方向を正とすると、この回転は−９０度）されて格納されるようになっている。
【００９１】
なお、このとき、当該垂直方向の光学歪み成分の補正前のデジタル画像データ（すなわち水平方向の光学歪み成分の補正後のデジタル画像データ）とは別の領域に書込むようになっており（上書き禁止）、本実施の形態では、メインメモリ３８のメモリ容量削減のために、水平方向の光学歪み成分の補正前のデジタル画像データに上書きするようになっている。
【００９２】
続いてステップ１２０で、出力座標設定部６０で出力ｘ座標のカウンタ値をインクリメントして（ｘ＝ｘ＋１）してから、デジタル画像データの全ラインについて処理が終了する（すなわちｘ＝ｍになる）まで、次のステップ１２２で否定判定されて、ステップ１１４に戻り、次のラインについて同様の処理を行う。デジタル画像データの全ラインについて処理が終了すると、垂直方向の光学歪み成分の補正も終わり、ディストーション補正部２４の処理は終了する。
【００９３】
上記のようにＤＭＡ入力制御部５２、ＤＭＡ出力制御部５８のメインメモリ３８に対するデータアクセス方向をそれぞれ水平方向、垂直方向に固定して処理することにより、ディストーション補正部２４では、まず、図１０（Ａ）に示すように、メインメモリ３８に格納されていたＣＣＤ１４の撮影により取得された光学歪みを有するデジタル画像データ（補正前のデジタル画像データ）を水平方向にスキャンして読み出して、当該デジタル画像データに対して水平方向の光学歪み成分の補正を施して、メインメモリ３８に垂直方向にスキャンして書込むことができ、補正後のデジタル画像データを９０度回転して格納することができる。次に、図１０（Ｂ）に示すように、水平方向の光学歪み成分の補正後のデジタル画像データを水平方向にスキャンして読み出して、当該デジタル画像データに対して垂直方向の光学歪み成分の補正を施して、メインメモリ３８に垂直方向にスキャンして書込むことができ、メインメモリ３８に補正後のデジタル画像データを−９０度回転して格納することができる。したがって、メインメモリ３８には、最終的に、水平方向の光学歪み成分及び垂直方向の光学歪み成分が補正されたデジタル画像データが本来のデジタル画像データの向きで格納される。
【００９４】
このように、第２の実施の形態では、ＤＭＡ入力制御部５２及びＤＭＡ出力制御部５８各々のメインメモリ３８に対するデータアクセス方向を固定し、補正を行う光学歪み成分の方向に係わらずデータアクセス方向を変更しないようにしても、デジタル画像データに含まれる光学歪みを、水平方向の光学歪み成分の補正と、垂直方向の光学歪み成分の補正の２回に分けて補正することができ、第１の実施の形態と同様の効果を得ることができる。
【００９５】
特に、第２の実施の形態では、メインメモリ３８からのデータ読み込みは水平方向にデータアクセスして行い、メインメモリ３８へのデータ書き込みは垂直方向にデータアクセスして行うことにより、メインメモリ３８は、水平方向のデータアクセスの方が垂直方向のデータアクセスよりも速いという特徴を有しているため、演算処理部５４による演算処理（水平方向又は垂直方向補正演算処理）時間に対するＤＭＡ入力制御部５２及びＤＭＡ出力制御部５８によるデータ転送時間を、水平方向及び垂直方向の光学歪み成分の補正を通じて平均化することができ、第１の実施の形態よりも、補正処理に要する全体の処理時間を短縮できるという効果がある。
【００９６】
すなわち、第１の実施の形態では、図１１（Ａ）のように、水平方向の光学歪み成分を補正する場合は、メインメモリ３８に対して水平方向にデータアクセスして画素データを読み書きするため、画素データの読み書き両方とも高速に行われるため、水平方向の光学歪み成分の補正に要する時間は、演算処理部５４による演算処理時間により決まるが、垂直方向の光学歪み成分を補正する場合は、メインメモリ３８に対して垂直方向にデータアクセスして画素データを読み書きするため、画素データの読み書き両方に時間が長くかかるため、その分だけ垂直方向の光学歪み成分の補正に要する時間が長くなる。
【００９７】
これに対して、第２の実施の形態では、図１１（Ｂ）のように、水平方向及び垂直方向の何れの光学歪み成分を補正する場合も、メインメモリ３８からの画素データの読み込みは高速で、画素データの書き込みは低速で行われるため、図１１（Ａ）との比較により分かるように、結果として、補正処理に要する全体の処理時間を短くすることができる。
【００９８】
【発明の効果】
上記に示したように、本発明は光学歪みの補正に要する処理時間を短縮できるという優れた効果を有する。
【図面の簡単な説明】
【図１】第１の実施の形態に係わるデジタルカメラの構成を示すブロック図である。
【図２】第１の実施の形態に係わるディストーション補正部の演算処理部の詳細構成を示すブロック図である。
【図３】第１の実施の形態に係わるディストーション補正部で実行される処理（光学歪み補正処理）を示すフローチャートである。
【図４】第１の実施の形態に係わるディストーション補正部の演算処理部で実行される水平方向補正演算処理を示すフローチャートである。
【図５】第１の実施の形態に係わるディストーション補正部の演算処理部で実行される垂直方向補正演算処理を示すフローチャートである。
【図６】第１の実施の形態に係わる演算処理部による出力座標からの補正座標の演算を説明するための概念図である。
【図７】第１の実施の形態に係わるディストーション補正部による、（Ａ）は、水平方向の光学歪み成分の補正前後のデジタル画像データ、（Ｂ）は、垂直方向の光学歪み成分の補正による補正前後のデジタル画像データを示す概念図である。
【図８】第２の実施の形態に係わるディストーション補正部の演算処理部の詳細構成を示すブロック図である。
【図９】第２の実施の形態に係わるディストーション補正部で実行される処理（光学歪み補正処理）を示すフローチャートである。
【図１０】第２の実施の形態に係わるディストーション補正部による、（Ａ）は、水平方向の光学歪み成分の補正前後のデジタル画像データ、（Ｂ）は、垂直方向の光学歪み成分の補正による補正前後のデジタル画像データを示す概念図である。
【図１１】（Ａ）は、第１の実施の形態における補正処理、（Ｂ）は、第２の実施の形態における補正処理に要する時間を説明するための概念図である。
【符号の説明】
１０デジタルカメラ
１２光学ユニット
１４ＣＣＤ
２４ディストーション補正部
３８メインメモリ
４２バス
５０入力ラインメモリ
５２入力制御部
５４演算処理部
５６出力ラインメモリ
５８出力制御部
６０出力座標設定部
６２座標演算処理部
６４メモリ制御部
６６補間演算処理部
６８メモリ制御部

Claims

光学レンズを介して被写体像を撮影し、前記被写体像を示すデジタル画像データを取得するデジタル撮像装置であって、
前記デジタル画像データに含まれる光学歪みを、予め定められた所定方向の光学歪み成分と、前記所定方向と交差する方向の光学歪み成分とに分けて時系列に補正する補正手段と、
前記補正手段による各光学歪み成分の補正前後のデジタル画像データを記憶するための記憶手段とを有し、
前記補正手段は、補正前のデジタル画像データを読み出す場合と、補正後のデジタル画像データを書き込む場合とで、前記記憶手段に対して前記補正前後のデジタル画像データを読書きする方向を変更することを特徴とするデジタル撮像装置。