JP4004346B2 - 撮像装置及びディストーション補正方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、撮影レンズにより結像された被写体像を光電変換した後、その画像データをデジタル化して記憶する撮像装置に関するものであり、さらに詳しくは、デジタル化された画像データに対して前記撮影レンズに起因する歪曲収差を補正する機能を備えた撮像装置に関するものである。
【０００２】
【従来の技術】
デジタルカメラに代表されるように、撮影画像をデジタルデータに変換してメモリーカードなどの記憶媒体に記録する撮像装置が知られている。デジタルカメラは、小型化及びローコスト化が進んでおり、急速に普及している。また、撮像装置を、ＰＣ（パーソナルコンピュータ）や携帯電話などの電子機器に組み込んだカメラ付き電子機器なども販売が開始されている。こうした市況を睨んで撮像装置市場に参入するメーカーの数も増加してきており、競争の激化に伴って撮像装置の小型化やローコスト化の傾向は、今後さらに進んで行くと予想されている。
【０００３】
撮像装置のローコスト化の一環として、撮影レンズのコストダウンが検討されている。撮影レンズには、結像した像が歪む歪曲収差（ディストーション）が発生することが知られているが、ローコストな撮影レンズではその程度が大きい。そこで、例えば、特開平１１−２５２４３１号公報に記載された撮像装置では、デジタル化された画像データに対してデジタル信号処理を施すことで、撮影レンズに起因するディストーションを補正している。この撮像装置では、撮像装置全体を統括的に制御するＣＰＵが、ＣＣＤからフレームメモリ（画像データが１フレーム分展開されるメインメモリ）に取り込まれたデジタルデータを読み出して、各画素毎に座標変換処理の演算を実行するとともに、座標変換によって生じた隙間を埋めるための画素補間処理の演算を実行することにより、ディストーション補正処理が施される。これによれば、ローコストな撮影レンズを用いた場合でも、歪みのない画像を得ることができる。
【０００４】
しかし、上記撮像装置では、ＣＰＵによってディストーション補正処理の演算を実行するため、処理に時間がかかるという問題がある。画像データは、ＣＣＤの性能向上により多画素化が進んでおり、２００万画素クラスのＣＣＤで撮像した場合には、１フレームのファイルサイズは約２ＭＢに達する。今後多画素化の傾向はさらに進む傾向にあり、そうなると、ファイルサイズがさらに大きくなるので、補正処理の高速化が求められている。
【０００５】
そこで、特開２００１−１０１３９６号公報の画像補正装置では、ＣＰＵとは別に画像処理専用のＩＣを設け、このＩＣによりディストーション補正処理を実行させている。ＩＣは、フレームメモリから取り込んだデータを一時的に記憶するバッファメモリと、このバッファメモリ内のデータに対して補正処理を実行するプロセッサとを備えている。専用のＩＣを設けたことで、処理の高速化を実現している。
【０００６】
また、この画像補正装置では、フレームメモリから前記バッファメモリへのデータ転送を、ＤＭＡ（Direct Memory Access）方式で行うことで、より高速な処理を可能にしている。ＤＭＡ方式とは、周知のように、ＣＰＵを介さずにフレームメモリとバッファメモリとの間でデータ転送を行う方式である。これにより、データ転送速度が向上し、処理をより高速化することができる。さらに、この方式では、転送元のデータの先頭アドレスと、そのアドレスから読み出すデータの長さとを指定することにより転送命令を構成することができる。このため、先頭アドレスが一定である固定長のデータを複数ライン読み出す場合に効率的な転送を行うことができる。
【０００７】
【発明が解決しようとする課題】
しかしながら、この画像補正装置では、１フレームの全幅の長さを持つライン単位で画像補正を行っているため、補正を行うためにバッファメモリへ取り込まれるデータ量が大きい。このため、バッファメモリのサイズを大きくせざるを得ないが、バッファメモリは非常に高価であるため、その容量を大きく取ると、ＩＣのコストが大幅に上昇してしまうという問題があった。
【０００８】
また、この画像補正方法では、１ラインを補正するために、歪曲率が等しい曲線部分のデータをすべてバッファメモリへ取り込んで処理しているため、前記曲線が属するブロックを複数読み出さなければならない。そのため、ＤＭＡ方式を採用しても、転送命令の転送元の先頭アドレスを、曲線に合わせて読み出すブロック毎に変更していかなければならないので、転送効率が低下してしまうという問題があった。
【０００９】
本発明は、デジタル信号処理によってディストーション補正処理を行う補正回路をローコストで提供することを目的とする。
【００１０】
また、本発明の別の目的は、ディストーション補正処理時間を短縮することを目的とする。
【００１１】
【課題を解決するための手段】
前記目的を達成するために、本発明のディストーション補正方法は、撮像手段によって得られた１フレーム分のデジタルデータをメモリに展開し、このフレーム内のすべての画素に対して撮影レンズに起因するディストーションを補正するディストーション補正方法において、前記フレームを、光軸に対応する原点を中心に、直交する水平軸（Ｘ軸）及び垂直軸（Ｙ軸）の２つの軸によって第１〜第４の４つの象限に分割し、この分割された各象限内の画素を、Ｘ軸と平行なライン単位で、かつ、Ｘ軸に近い方から順に読み出して、各象限毎に補正処理を実行することを特徴とする。
【００１２】
前記各象限毎の補正処理においては、さらに、前記各象限をＸ軸方向に複数の短冊に断片化し、象限の側端側から原点側に向かって各短冊毎に順次補正処理を実行することが好ましい。
【００１３】
前記メモリから読み出される短冊の幅と、補正後に前記メモリへ出力される短冊の幅を、補正量に応じて変更することが好ましい。
【００１４】
本発明の撮像装置は、撮影レンズによって光電面に結像された被写体像を電気信号に変換して画素毎の撮像信号を得る撮像手段と、この撮像信号をデジタルデータに変換した後に、デジタル化された画素毎のデータを１フレーム分展開して記憶するフレームメモリと、前記撮影レンズに起因するディストーションを補正するために、前記１フレーム分のすべての画素に対して画素位置の変換処理を施すディストーション補正部と、これら各部を制御する制御部とを備えた撮像装置であって、前記ディストーション補正部は、前記１フレームのうちの一部を一時的に記憶するバッファメモリと、前記制御部を介さずに前記フレームメモリと前記バッファメモリとの間で直接データ転送を行うＤＭＡ転送部と、前記バッファメモリに転送されたデータ単位で前記画素位置の変換処理を順次実行するプロセッサ部とからなり、前記１フレームを、前記撮影レンズの光軸に対応する原点を中心に直交する水平軸（Ｘ軸）及び垂直軸（Ｙ軸）によって第１〜第４の４つの象限に分割するとともに、前記ＤＭＡ転送部により、各象限内の画素を、Ｘ軸と平行なライン単位で、かつ、Ｘ軸に近い方から順に前記バッファメモリへ読み出して、各象限毎に前記変換処理を施すことを特徴とする。
【００１５】
前記ディストーション補正部は、前記各象限毎の処理においては、さらに、前記各象限をＸ軸方向に複数の短冊に断片化し、象限の側端側から原点側に向かって各短冊毎に順次処理することが好ましい。
【００１６】
前記フレームメモリから前記ディストーション補正部に入力される各短冊の補正量に応じて、補正後に前記フレームメモリへ出力される短冊の幅が各短冊毎に変更されることが好ましい。
【００１７】
前記撮像手段から取り込まれ、前記補正処理が施される前の１フレーム分の補正前データを、Ｘ軸を分割軸として上下の各フレームに分割し、これら上フレーム及び下フレームを、前記フレームメモリ内の所定のエリアに、上下の間に間隔を空けて展開し、前記エリアに前記間隔を埋めるように補正後のデータを上書きしていくようにしてもよい。
【００１８】
撮影直後にディスプレイに確認用の撮影画像であるポストビュー画像を表示するために、前記フレームメモリから画像データを読み出し、この画像データに対して縮小処理を施すリサイズ処理部を備えており、このリサイズ処理部に、前記上フレームと下フレームとの分割位置を記憶させ、この分割位置で読み出しラインのアドレスをジャンプさせて上フレームと下フレームとを連続的に読み出せるようにしてもよい。
【００１９】
【発明の実施の形態】
図１は、デジタルカメラ１０の構成を示すブロック図である。デジタルカメラ１０は、被写体を撮影する撮影モードと、撮影した画像を再生する再生モードとを備えており、これらのモードは、モード切り換えスイッチ１１によって切り換えられる。ＣＰＵ１２は、モード切り換えスイッチ１１によって選択されたモードに応じて、デジタルカメラ１０の各部を制御する。
【００２０】
周知のとおり、デジタルカメラ１０の前面には、ズームレンズ１３とフォーカスレンズ１４とからなる撮影レンズが設けられている。ズームレンズ１３とフォーカスレンズ１４との間には、絞り１５が、フォーカスレンズ１４の背後にはメカニカルシャッタを構成するシャッタ羽根１６が配置されている。
【００２１】
ズームレンズ１３とフォーカスレンズ１４は、それぞれモータを含むレンズ駆動機構１７，１８によって光軸方向で移動される。絞り１５は、モータを含む絞り駆動機構１９によって駆動されて絞り径が切り換えられる。シャッタ羽根１６は、モータを含むシャッタ駆動機構２０によって駆動される。
【００２２】
レンズ駆動機構１７，１８及び絞り駆動機構１９は、ＣＰＵ１２に制御されるモータドライバ２２〜２４によって駆動される。シャッタ駆動機構２０は、タイミングジェネレータ２６からタイミング信号が入力されたときに、モータドライバ２７によって駆動される。
【００２３】
撮影光学系の前方には、手動で開閉されるレンズバリア２８が設けられている。レンズバリア２８の開閉状況は、レンズバリア検出スイッチ２９によって検出される。レンズバリア検出スイッチ２９の検出信号はＣＰＵ１２に入力され、シャッタレリーズの可否判断に利用される。
【００２４】
撮影レンズの背後には、撮像素子としてＣＣＤイメージセンサ３１が配置されている。ＣＣＤイメージセンサ３１は、周知のように、多数の受光素子をマトリックス状に配列することにより光電面が形成されており、撮影光学系を通過し、この光電面に結像した被写体光を光電変換する。光電面の前方には、各画素に光を集光するためのマイクロレンズアレイと、各画素がそれぞれＲ，Ｇ，Ｂのいずれかに対応するように各色のフイルタが規則的に配列されたカラーフイルタアレイとが配置されている。ＣＣＤイメージセンサ３１としては、例えば、縦１２００画素、横１６００画素で合計２００万画素の画素数を持つものが使用される。
【００２５】
ＣＣＤイメージセンサ３１は、被写体確認用にＬＣＤ（Liquid Crystal Display) ３２へ表示されるスルー画を撮像するとともに、レリーズボタンの押下により本露光を行い、メモリーカードへ記録する本画像を撮像する。ＣＣＤイメージセンサ３１は、ＣＣＤドライバ３３から供給される垂直転送クロック及び水平転送クロックに同期して、画素毎に蓄積された電荷を１ラインずつシリアルな撮像信号として出力する。各画素の電荷蓄積時間（露出時間）は、ＣＣＤドライバ３３から与えられる電子シャッタ駆動信号によって決められる。
【００２６】
本画像撮影時は、ＣＣＤイメージセンサ３１と同期してメカニカルシャッタが作動する。ＣＣＤイメージセンサ３１では、太陽光などの強い光が光電面に入射すると、電荷の垂直転送が行われる縦方向にスジが生じるスミアと呼ばれる現象が発生する。メカニカルシャッタは、電子シャッタが駆動した直後に閉じて光電面に入射する光を遮ることで、このスミアの発生を防止する。ＣＣＤドライバ３３には、シャッタ駆動機構２０と同様に、タイミングジェネレータ２６からタイミング信号が入力され、このタイミング信号により、ＣＣＤイメージセンサ３１とメカニカルシャッタとの間で同期が取られる。また、スルー画は、確認用の画像なので、本画像撮像時よりも少ない画素数で取り込まれる。スルー画の取り込みは、電源がオンして撮影モードが選択されると開始され、予め決められた時間間隔で行われる。
【００２７】
ＣＣＤイメージセンサ３１から取り込まれたアナログの撮像信号は、アナログ信号処理回路３８に入力される。アナログ信号処理回路３８は、相関２重サンプリング回路（ＣＤＳ）と、オートゲインコントローラ（ＡＧＣ）と、ＡＤコンバータ（ＡＤＣ）とからなる。ＣＤＳは、アナログ信号のノイズを除去し、ＡＧＣはアナログ信号のゲインを自動調節する。ＡＤＣは、アナログ信号をデジタル変換して画像データを生成する。この画像データは、各画素毎にＲ，Ｇ，Ｂの濃度値を持つＣＣＤ−ＲＡＷデータであり、このＣＣＤ−ＲＡＷデータがＤＳＰ（Digital Signal Processor) ４１へ入力される。アナログ信号処理回路３８にも、タイミングジェネレータ２６からのタイミング信号が供給され、ＣＣＤイメージセンサ３１から電荷が取り込みまれるタイミングと同期が取られている。
【００２８】
ＤＳＰ４１は、ＡＦ回路３６，ＡＥ／ＡＷＢ回路３７，画像入力コントローラ４２，画像処理回路４３，圧縮処理回路４４，メディアコントローラ４６，ビデオエンコーダ４７からなるＩＣチップであり、アナログ信号処理回路３８から入力された画像データに対して、各種の信号処理を施した後、スルー画のＬＣＤ３２への表示及び本画像データのメモリーカード４９への書き込み処理を行う。
【００２９】
ＡＦ回路３６は、ＣＣＤイメージセンサ３１によって撮像された画像データに基づいて、焦点位置を検出し、フォーカシングを行う。焦点検出方式としては、例えば、ピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するパッシブ方式が採用されている。ＡＥ回路は、前記画像データに基づいて、被写体輝度を測定し、絞り値やシャッタ速度等を決定する。ＡＷＢ回路は、オートホワイトバランス回路であり、撮影時のホワイトバランスを自動調整する。
【００３０】
シャッタスイッチ３４は、レリーズボタンの半押しと全押しとを検出し、検出した信号をＣＰＵ１２に入力する。ＣＰＵ１２は、半押し信号を検出すると、ＡＦ回路３６及びＡＥ／ＡＷＢ回路３７で決定された撮影条件をロックし、シャッタスイッチ３４からの全押し信号がＣＰＵ１２に入力されると、上記撮影条件のもとで本画像の撮影を実行する。
【００３１】
フレームメモリ５１は、ＤＳＰ４１が前記画像データに対して信号処理を施す際に使用される作業用のメモリである。画像入力コントローラ４２は、アナログ信号処理回路３８から前記ＣＣＤ−ＲＡＷデータを取り込んで、これをフレームメモリ５１に書き込む。フレームメモリ５１は、データバス５５を介して、ＣＰＵ１２とＤＳＰ４１の各部と接続されている。フレームメモリ５１としては、例えば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）が使用される。
【００３２】
フレームメモリ５１内には、画像処理エリア５２と、ディストーション補正後エリア５３と、ＶＲＡＭエリア５４とが設けられている。画像処理エリア５２は、ＣＣＤイメージセンサ３１から取り込まれた本画像データが１フレーム分展開されるエリアであり、ＤＳＰ４１の各部は、このエリアにアクセスして本画像データを読み込み各種の画像処理を施す。
【００３３】
ディストーション補正後エリア５３は、後述するように、画像データに対してディストーション補正処理が実行された後に、補正処理済みのデータが展開されるエリアである。このディストーション補正後エリア５３は、画像処理エリア５２とほぼ同じ大きさを持つ。ＶＲＡＭエリア５４には、スルー画のデータが書き込まれるとともに、本画像撮影時には、後述するポストビュー表示を行うためのポストビュー画像が書き込まれる。このＶＲＡＭエリア５４に書き込まれたデータは、ビデオエンコーダ４７によってコンポジット信号に変換されてＬＣＤ３２に出力される。スルー画やポストビュー画像は、本画像と比較して画素数が少ないので、ＶＲＡＭエリア５４のサイズは、画像処理エリア５２及びディストーション補正後エリア５３と比較して小さい。
【００３４】
ＶＲＡＭエリア５４へのスルー画の取り込みと、ＶＲＡＭエリア５４からのＬＣＤ３２への出力とは高速で繰り返される。このため、ＶＲＡＭエリア５４には、第１及び第２の２つのエリア５４ａ，５４ｂが設けられており、各エリア５４ａ，５４ｂを、取り込み用又は出力用として交互に使用することで、高速に取り込みと出力とが行われるようにしている。すなわち、第１エリア５４ａが取り込み用として使用されている場合には、第２エリア５４ｂに書き込み済みのスルー画が読み出されてＬＣＤ３２に出力される。次のスルー画の取り込みの際には、第２エリア５４ｂが取り込み用として使用され、第１エリア５４ａが出力用として使用される。
【００３５】
図２は、本画像撮影時のＤＳＰ４１が実行する画像処理フローを示す。画像入力コントローラ４２によって取り込まれたＣＣＤ−ＲＡＷデータは、画像処理エリア５２に１フレーム分展開される。画像処理回路４３は、画質補正回路６１，ＹＣ処理回路６２，ディストーション補正回路６３，リサイズ処理回路６４からなる。
【００３６】
画質補正回路６１は、画像処理エリア５２にアクセスしてＣＣＤ−ＲＡＷデータを読み出して、ガンマ補正，シャープネス補正，コントラスト補正などの画質補正処理を施し、補正済みのＣＣＤ−ＲＡＷデータを画像処理エリア５２に再度書き込む。ＹＣ処理回路６２は、画像処理エリア５２にアクセスして画質補正済みのＣＣＤ−ＲＡＷデータを読み出し、輝度信号であるＹデータと、青色色差信号であるＣｂデータ及び赤色色差信号であるＣｒデータとからなるＹＣデータに変換するＹＣ処理を施す。ＹＣ処理が施されたＹＣデータは、再度画像処理エリア５２に書き込まれる。
【００３７】
ディストーション補正回路６３は、前記ＹＣデータを読み出して、ディストーション補正処理を施し、補正済みのＹＣデータをディストーション補正後エリア５３へ書き込む。圧縮処理回路４４は、ディストーション補正後エリア５３から補正済みのＹＣデータを読み出して、例えば、ＪＰＧなどの圧縮形式で圧縮処理を施す。この圧縮された画像データが、メディアコントローラ４６によってメモリーカード４９へ書き込まれる。再生モードにおいては、このメモリーカード４９から圧縮された画像データが読み出されて、圧縮処理回路４４によって伸張処理が施された後、ＬＣＤ３２に再生表示される。
【００３８】
また、デジタルカメラ１０は、撮影した画像を撮影直後に確認できるように、確認用の画像をＬＣＤ３２に表示するポストビュー表示機能を備えている。リサイズ処理回路６４は、画像処理エリア５２からディストーション補正がなされる前の補正前ＹＣデータを読み出して、このＹＣデータに対して縮小処理を施して、ポストビュー画像を作成する。このポストビュー画像は、ＶＲＡＭエリア５４内の各エリア５４ａ，５４ｂのいずれか一方のエリアに書き込まれる。このポストビュー画像は、本画像データがメモリーカード４９に記録されるまでの間、ＬＣＤ３６に表示される。これにより、撮影者は、撮影した画像を、撮影直後に確認することができる。
【００３９】
図３に示すように、スルー画表示においては、画像入力コントローラ４２が間引きされた表示用ＣＣＤ−ＲＡＷデータをＶＲＡＭエリア５４に取り込む。画像処理回路４３は、この表示用ＣＣＤ−ＲＡＷデータに対して、簡易的な画質補正処理と簡易的なＹＣ処理とからなる簡易画像処理を施す。この変換された表示用ＣＣＤ−ＲＡＷデータがＬＣＤ３２に出力されてスルー画が表示される。
【００４０】
上述したように、このスルー画は、予め決められた時間間隔で随時更新されるが、本画像の撮影がなされる際には、この更新が停止されるとともに、ＬＣＤ３２のバックライトを消灯してその画面をブラックアウトさせることにより、スルー画の表示が中断される。本画像撮影時にはメカニカルシャッタが作動するので、スルー画の表示を中断することで、その駆動電圧が確保されるようにしている。そして、本画像データのＤＳＰ４１への取り込み後、リサイズ処理回路６４によってポストビュー画像が作成されると、ＬＣＤ３２のバックライトが再び点灯し、ポストビュー表示がなされる。所定時間経過して、ポストビュー表示が終了すると、再びスルー画の表示が再開される。
【００４１】
画像処理回路４３内の各処理回路は、処理速度を向上するために、フレームメモリ５１とのデータ転送方式として、ＣＰＵ１２を介さずに、フレームメモリ５１へ直接アクセスしてデータ転送を行う方式であるＤＭＡ方式を採用している。ＣＰＵ１２を経由してデータ転送を行う場合には、転送されるデータがＣＰＵ１２内のレジスタにいったん書き込まれた後、転送先へ送られる。ＤＭＡ方式によれば、このような処理が省略されるので、転送速度を向上させることができる。
【００４２】
図４は、ＤＭＡ方式の転送命令のデータ構造の例を示す。転送命令６６には、データの転送元アドレス，転送先アドレス，読み出すデータの長さが含まれる。例えば、フレームメモリ５１から各処理回路内のバッファメモリにデータ転送をする場合には、転送元アドレスとして、フレームメモリ５１内のアドレスを指定する。このアドレスは、読み出すデータの先頭アドレスが指定される。そして、その先頭アドレスから読み出すデータの長さを指定することにより、読み出すデータを特定する。転送先アドレスには、バッファメモリ内のデータの格納位置が指定される。
【００４３】
画像処理回路４３内の各処理回路のうち、ディストーション補正回路６３以外の回路は、図５に示すように、画像処理エリア５２に展開されたフレーム７１を、フレーム７１の幅方向に、矩形状の複数の短冊に断片化して、各短冊７２毎に処理を実行する。各短冊７２の処理順は、例えば、画面左側から行われる。各短冊７２毎の処理では、短冊７２の一番上のラインＬ１から順にライン単位でデータが読み出されて処理が実行される。各短冊７２の幅は、各処理回路内のバッファメモリの容量に応じて決められる。このように短冊毎に処理することで、高価なバッファメモリのサイズを小さくすることができるので、画像処理回路４３をローコストにすることができる。また、このように各短冊７２毎に処理すれば、１つの短冊内においてラインの読み出し位置をフレーム７１の幅方向で固定することができるので、転送効率も向上する。
【００４４】
画質補正回路６１及びＹＣ処理回路６２が処理した処理済みデータは、読み出し元の画像処理エリア５１に再度上書きされていく。リサイズ処理回路６４が作成したポストビュー画像は、ＶＲＡＭエリア５４へ書き込まれる。
【００４５】
図６に示すように、ディストーション補正回路６３は、プロセッサ部７６，入力用バッファメモリ７７，出力用バッファメモリ７８，ＤＭＡ転送部７９からなる。ディストーション補正回路６３は、上記画質補正回路６１やＹＣ処理回路６２と同様に、フレームメモリ５１との間でＤＭＡ方式によりデータ転送を行う。ＤＭＡ転送部７９は、フレームメモリ５１から入力用バッファメモリ７７への補正前データの読み出しと、出力用バッファメモリ７８からフレームメモリ５１への補正後のデータの読み出しとを制御する。
【００４６】
プロセッサ部７６内のレジスタには、前記撮影光学系のディストーション特性に応じた補正パラメータが記憶されている。プロセッサ部７６は、補正パラメータに従って、入力用バッファメモリ７７に格納されたデータに対して画素位置の変換処理と画素位置の移動に伴って欠落した画素を補間する補間処理とを行う。図６に示すように、樽型のディストーションの場合には、フレームを構成する各画素は、理想的な結像位置よりも、フレームの中心に近い位置に結像する。そのため、補正においては、各画素をフレームの中心から離れるように移動する。このため、補正前データのうち、フレームの４隅の画素（ドットのハッチングで示す）は、フレーム外に移動されるので、破棄される。そして、４隅の画素が破棄される分、フレーム内で画素が欠落するので、画素補間処理がなされる。これにより、歪みのない画像を得ることができる。
【００４７】
図７は、ディストーション補正処理における１フレームのデータの処理順序を示す説明図である。ディストーション補正処理は、図５に示した他の画像処理の順序と異なり、１フレームを、光軸に対応する原点Ｏを中心に直交する水平軸（Ｘ軸）及び垂直軸（Ｙ軸）によって第１〜第４の４つの象限Ｑ１〜Ｑ４に分割し、各象限Ｑ１〜Ｑ４毎に補正処理が実行される。さらに、各象限Ｑ１〜Ｑ４が、Ｘ軸方向に、複数の矩形状の短冊に断片化されて、各短冊７３〜７６毎に処理される。そして、樽型のディストーションの場合には、各画素がフレーム７１の中心から離れる方向に移動されるから、各短冊は、実線の矢印で示すように、各象限Ｑ１〜Ｑ４の側端側に位置する短冊から原点Ｏ側に位置する短冊に向かって、端から順に処理される。
【００４８】
このように、各象限Ｑ１〜Ｑ４内の画素の処理順序を、ディストーションの歪曲率の分布状況に合わせて、光軸を中心に点対称となるようにしているので、ディストーション補正回路６３の処理のアルゴリズムを各象限Ｑ１〜Ｑ４で、ほぼ共通化することができる。このように、処理のアルゴリズムの流用が可能になるので、ディストーション補正回路６３の開発コストを抑えることができる。
【００４９】
各象限毎の処理を、第４象限Ｑ４を例に説明する。図８（Ａ）に示すように、ＤＭＡ転送部７９は、画像処理エリア５２から、短冊８４を構成する画素をＸ軸に近い方から順にライン単位で入力バッファメモリ７７へ転送する。入力バッファメモリ７７には、補正対象となるラインとその前後のラインを含む複数のラインが格納される。プロセッサ部７６は、入力バッファメモリ７７へ転送されたラインに対して、補正パラメータに従って画素毎に補正処理を施す。
【００５０】
図８（Ｂ）に示すように、補正前の画素Ｄは、補正により画素Ｄ’に変換されるので、入力された短冊８４は、計算上、フレーム７１の外側に向かってカーブした短冊８６に変換される。この短冊８６のうち、斜線のハッチングで示す矩形状の短冊８７が取り出されて、この部分が補正後データとして出力される。短冊８６のうち、ドットでハッチングされた残りのデータ８６ａ，８６ｂは、破棄される。出力される短冊８７のＸ軸方向の幅Ｗｏｕｔは、入力される短冊８４の幅Ｗｉｎよりも狭く、入力された短冊８４の先頭アドレスを基準に、フレーム７１の上辺と計算上出力された短冊８６の右端が重なる点Ｐのアドレスまでとなる。
【００５１】
プロセッサ７６により補正処理が終了したラインは、順次出力バッファメモリ７８へ格納される。ＤＭＡ転送部７９は、出力バッファメモリ７８から補正後データをディストーション補正後エリア５３へ転送する。上述したように、樽型のディストーションの場合には、補正後のラインが、入力されたラインよりも上方位置に移動されるので、画像処理エリア５２に補正後のラインを上書きしていくと、未補正のラインを上書きしてしまうおそれがある。そのため、ディストーション補正処理においては、他の画像処理とは異なり、画像処理エリア５２とは別のディストーション補正後エリア５３に補正後のデータが書き込まれる。
【００５２】
１つの短冊８４の処理が終了すると、次の短冊８４が読み込まれる。短冊８７の幅Ｗｏｕｔは、短冊８４の幅Ｗｉｎよりも狭いので、次の短冊８４は、前回入力された短冊と部分的にオーバーラップして読み出される。このように、矩形状の短冊毎に処理することで、１つの短冊を処理する際に、読み出すラインのＸ軸方向のアドレスを固定化することができるので、転送効率が向上する。また、各短冊毎に処理するため、読み出すラインの長さは短冊の幅になるので、ディストーション補正回路６３の各バッファメモリの容量を小さくすることができる。
【００５３】
また、図９に示すように、入力される短冊８４の幅Ｗｉｎは、一定であるが、出力される短冊８７の幅Ｗｏｕｔを補正量に応じて変更している。ディストーションは、フレーム７１の原点Ｏよりも、端の方が歪曲率が大きい。すなわち、図９（Ａ）に示す側端に位置する短冊の補正量よりも、図９（Ｂ）に示す原点Ｏよりの短冊の補正量の方が小さくなる。そのため、原点Ｏに近い短冊の方が、出力される短冊８７の幅Ｗｏｕｔを広くとることができる。入力される短冊８４の読み出し位置（先頭アドレス）は、出力される短冊８７の幅Ｗｏｕｔに応じて決まるから、補正量に応じて幅Ｗｏｕｔを変更することで、短冊８４の読み出し回数を減らすことができる。このため、処理時間が短縮される。
【００５４】
次に、上記構成の作用について、図１０及び１１のフローチャートを参照して説明する。電源がオンされて撮影モードが選択されると、図３に示す処理手順に従って、ＬＣＤ３２にスルー画表示が行われる。撮影者は、この表示を見ながらフレーミングを行う。レリーズボタンが全押しされて、ＣＰＵ１２がシャッタスイッチ３４の全押し信号を検出すると、図４に示す処理手順に従って、本画像の撮影処理が実行される。
【００５５】
本画像撮影時には、ＬＣＤ３２のバックライトが消灯し、スルー画表示が中断される。アナログ信号処理回路３８によってデジタルデータに変換されたＣＣＤ−ＲＡＷデータが、画像入力コントローラ４２に入力される。画像入力コントローラ４２は、画素毎のＣＣＤ−ＲＡＷデータを画像処理エリア５２に１フレーム分展開する。画質補正回路６１は、図５に示すように、画像処理エリア５２内のフレーム７１に対して、各短冊７２毎に補正処理を施し、処理済みのデータを再度画像処理エリア５２に上書きしていく。ＹＣ処理回路６２も同様に、フレーム７１を短冊毎に処理して、ＹＣデータに変換し、このＹＣデータを画像処理エリア５２に上書きしていく。
【００５６】
リサイズ処理回路６４は、画像処理エリア５２から各短冊７２毎にＹＣデータを読み出して、リサイズ処理し、ポストビュー画像が作成される。このポストビュー画像は、ＶＲＡＭ５４に書き込まれ、ＬＣＤ３２に出力されてポストビュー表示がなされる。これにより、撮影者は、撮影した画像を確認することができる。所定時間が経過して、ポストビュー表示が終了すると、スルー画表示が再開される。
【００５７】
リサイズ処理回路６４によって、ＹＣデータの読み出しが終了すると、ディストーション補正回路６３がＹＣデータを読み出して、ディストーション補正処理を開始する。図１０に示すように、ディストーション補正回路６３は、フレームを４つの象限Ｑ１〜Ｑ４に分割し、各象限毎に順次補正処理を行う。
【００５８】
各象限毎の処理では、図７に示すように、各象限Ｑ１〜Ｑ４が矩形上の複数の短冊に断片化されて、各短冊毎に処理される。図１１に示すように、まず、ディストーション補正回路６３は、象限の側端を先頭アドレスとし、この先頭アドレスと入力幅とを指定することにより、１つ目の入力短冊を設定する。ＤＭＡ転送部７９は、設定された短冊内の画素を、Ｘ軸に近い方から順にライン単位で入力バッファメモリ７７へ転送する。プロセッサ部７６は、入力されたラインに対して補正処理を施し、処理済みのデータを出力バッファメモリ７８へ格納する。ＤＭＡ転送部７９は、補正済みデータをディストーション補正後エリア５３へ転送する。
【００５９】
こうしたライン単位の処理が繰り返されて、１つの短冊の処理が終了すると、次の短冊の処理が開始される。次の短冊の先頭アドレスは、前回の短冊の出力幅Ｗｏｕｔに応じて決められる。この先頭アドレスと、入力幅とを指定することにより、入力短冊が設定される。このように、短冊毎の処理が繰り返されて１象限分の処理がなされる。
【００６０】
第１〜第４のすべての象限Ｑ１〜Ｑ４の処理が終了すると、圧縮処理回路４４が、ディストーション補正後エリア５３からデータを読み出して、圧縮処理を施し、この圧縮データがメディアコントローラ４６によってメモリーカード４９に記録される。
【００６１】
上記実施形態では、ディストーション補正がなされる前の補正前データが展開される画像処理エリアと、補正後データが展開されるディストーション補正後エリアの２つのエリアを設けた例で説明している。上述したように、ディストーション補正においては、補正後のラインの位置が、未補正ラインよりも上方に位置してしまうおそれがあるので、補正後のラインによって未補正のラインの上書きを防ぐために、ディストーション補正後エリアが必要であった。しかし、このように、２つのエリアを設けると、その分フレームメモリの容量を大きくしなければならない。
【００６２】
そこで、図１２に示すように、ＹＣ処理がなされた後、ディストーション補正がなされる前の補正前データをＸ軸を基準に上下２つのフレーム９１，９２に分割し、これら上下の各フレーム９１，９２の間に間隔Ｓをあけて画像処理エリア５２上に補正前データを書き込み、同じ画像処理エリア５２上に、前記間隔Ｓを埋めるように補正後データを書き込んでいくとよい。図１３に示すように、第４象限Ｑ４を例に説明すると、間隔Ｓは、入力される短冊８４の上端が、計算上求められる短冊８６の上端よりも高くなるように決められる。各短冊の処理は、Ｘ軸に近い方からライン単位で順に読み出されるので、上フレーム９１と、下フレーム９２との間に間隔Ｓを空けておくことで、補正後のラインによって、未補正ラインが上書きされることを防止することができる。
【００６３】
こうすることで、ディストーション補正後エリア５３を設ける必要がなくなり、フレームメモリ５１の容量を小さくすることができる。画素数の増加に伴って、画像データのサイズが大きくなった場合には、このようなメモリ節約の効果は、より大きなものとなる。
【００６４】
このように、上フレーム９１と下フレーム９２との間に間隔Ｓを空けて画像処理エリア５２へ展開しても、ディストーション補正処理は、各象限毎に行われるので、読み出しラインのＹ軸方向のアドレスが不連続になることはない。
【００６５】
しかし、図１４に示すように、上フレーム９１と下フレーム９２の展開は、ＹＣ処理後に行われる。このＹＣ処理後のデータは、ポストビュー表示のため、リサイズ処理回路６４によっても読み出される。リサイズ処理では、上述したように、ディストーション補正処理とは異なり、各象限毎に行われず、図上点線で示すように、フレーム全体を複数の短冊に分割して処理するので、１フレームを、上フレーム９１と下フレーム９２に分割すると、読み出しラインのＹ軸方向のアドレスが不連続になってしまう。このため、ディストーション補正後のデータに対してリサイズ処理を行うことも考えられるが、こうすると、画像取り込み後、ポストビュー表示がなされるまでの表示待ちの時間が長くなってしまう。
【００６６】
そこで、リサイズ処理回路６４内のレジスタに上フレーム９１と下フレーム９２の分割位置を記憶させておき、この分割位置でアドレスをジャンプさせることで、あたかも上フレーム９１と下フレーム９２とがつながっているようにラインを連続的に読み出されるようにするとよい。こうすれば、時間のかかるディストーション補正を行う前に、ポストビュー表示を行うことができるので、表示待ちの時間が長くなることがなくなる。分割位置としては、例えば、フレームメモリ５１内における上フレーム９１の下端のラインが格納されるアドレスと、下フレーム９２の上端のラインが格納されるアドレスとを記憶させておいてもよいし、間隔Ｓが占有するアドレスを記憶させておいてもよい。
【００６７】
なお、上記実施形態では、ディストーション補正を各象限毎に行い、さらに、各象限を複数の短冊毎に処理する例で説明しているが、各象限を短冊に断片化せずに処理してもよい。この場合、各象限の幅に相当するライン単位で処理することになるが、従来技術のようにフレームの全幅に相当するライン単位で処理する場合に比べれば、バッファメモリの容量を小さくすることができる。また、こうした場合でも、各象限を、Ｘ軸に近い方から順にライン単位で読み出すようにすれば、各象限毎の補正処理のアルゴリズムをほぼ共通化することができるので、ディストーション補正回路の開発コストを低減する効果は期待できる。
【００６８】
上記実施形態では、本発明をデジタルカメラに適用した例で説明したが、カメラ付き携帯電話やカメラ付きＰＣなど、デジタルカメラ以外の各種撮像装置に適用してもよい。
【００６９】
【発明の効果】
以上詳細に説明したように、本発明は、撮像手段によって得られた１フレーム分のデジタルデータをメモリに展開し、このフレーム内のすべての画素に対して撮影レンズに起因するディストーションを補正する場合に、前記フレームを、光軸に対応する原点を中心に、直交する水平軸（Ｘ軸）及び垂直軸（Ｙ軸）の２つの軸によって第１〜第４の４つの象限に分割し、この分割された各象限内の画素を、Ｘ軸と平行なライン単位で、かつ、Ｘ軸に近い方から順に読み出して、各象限毎に補正処理を実行するようにしたから、１フレームの全幅の長さを持つライン単位で処理する場合に比べて、補正回路のバッファメモリの容量を小さくすることができるので、補正回路をローコスト化することができる。また、各象限内の画素の処理順序を、ディストーションの歪曲率の分布状況に合わせて、光軸を中心に点対称とすることで、各象限毎の処理のアルゴリズムがほぼ共通化されるので、補正回路の開発コストをローコスト化することができる。
【００７０】
また、前記各象限毎の補正処理においては、前記各象限をＸ軸方向に複数の短冊に断片化し、象限の側端側に位置する短冊から原点側に位置する短冊に向かって各短冊毎に補正処理を実行するようにしたから、さらに補正回路のバッファメモリの容量を小さくすることができる。また、短冊毎にラインを読み出すようにしたから、読み出しラインの先頭アドレスを固定化することができるので、転送効率が向上し、処理時間が短縮される。
【００７１】
前記メモリから読み出される短冊の幅と、補正後に前記メモリへ出力される短冊の幅を、補正量に応じて変更するようにしたから、短冊の読み出し回数を減らすことができるので、補正処理時間が短縮される。
【図面の簡単な説明】
【図１】デジタルカメラの構成図である。
【図２】本画像取得時の処理手順を示す説明図である。
【図３】スルー画表示処理の手順を示す説明図である。
【図４】ＤＭＡ転送部の転送命令のデータ構造を示す説明図である。
【図５】画質補正回路，ＹＣ処理回路，リサイズ処理回路のデータ処理の順序を示す説明図である。
【図６】ディストーション補正回路６３の構成図である。
【図７】ディストーション補正における画素の処理順序の説明図である。
【図８】ディストーション補正における各短冊の処理の説明図である。
【図９】出力される短冊の幅を補正量に応じて変更する例を示す説明図である。
【図１０】ディストーション補正の手順を示すフローチャートである。
【図１１】各象限毎の補正処理の手順を示すフローチャートである。
【図１２】ディストーション補正後エリアを設けない場合のフレーム展開方法を示す説明図である。
【図１３】上フレームと下フレームの間隔の決定方法の説明図である。
【図１４】上下の各フレームの間に間隔がある場合のリサイズ処理における読み出し方法を示す説明図である。
【符号の説明】
１０ デジタルカメラ
１３ ズームレンズ
１４ フォーカスレンズ
３１ ＣＣＤ
３２ ＬＣＤ
４１ ＤＳＰ
４３ 画像処理回路
５１ フレームメモリ
５２ 画像処理エリア
５３ ディストーション補正後エリア
５４ ＶＲＡＭエリア
６２ ＹＣ処理回路
６３ ディストーション補正回路
６４ リサイズ処理回路
７１ フレーム
７６ プロセッサ部
７７ 入力バッファメモリ
７８ 出力バッファメモリ

Claims (10)

1. 撮像手段によって得られた１フレーム分のデジタルデータをメモリに展開し、このフレーム内のすべての画素に対して撮影レンズに起因するディストーションを補正するディストーション補正方法において、
   前記フレームを、光軸に対応する原点を中心に、直交する水平軸（Ｘ軸）及び垂直軸（Ｙ軸）の２つの軸によって第１〜第４の４つの象限に分割し、
   この分割された各象限内の画素を、Ｘ軸と平行なライン単位で、かつ、Ｘ軸に近い方から順に読み出して、各象限毎に補正処理を実行するとともに、
   前記各象限毎の補正処理においては、さらに、前記各象限をＸ軸方向に複数の短冊に断片化し、象限の側端側から原点側に向かって各短冊毎に順次補正処理を実行することを特徴とするディストーション補正方法。
2. 前記メモリから読み出される各短冊の補正量に応じて、補正後に前記メモリへ出力される各短冊の幅を変更することを特徴とする請求項１記載のディストーション補正方法。
3. 撮影レンズによって光電面に結像された被写体像を電気信号に変換して画素毎の撮像信号を得る撮像手段と、この撮像信号をデジタルデータに変換した後に、デジタル化された画素毎のデータを１フレーム分展開して記憶するフレームメモリと、前記撮影レンズに起因するディストーションを補正するために、前記１フレーム分のすべての画素に対して画素位置の変換処理を施すディストーション補正部と、これら各部を制御する制御部とを備えた撮像装置であって、
   前記ディストーション補正部は、前記１フレームのうちの一部を一時的に記憶するバッファメモリと、前記制御部を介さずに前記フレームメモリと前記バッファメモリとの間で直接データ転送を行うＤＭＡ転送部と、前記バッファメモリに転送されたデータ単位で前記画素位置の変換処理を順次実行するプロセッサ部とからなり、
   前記１フレームを、前記撮影レンズの光軸に対応する原点を中心に直交する水平軸（Ｘ軸）及び垂直軸（Ｙ軸）によって第１〜第４の４つの象限に分割するとともに、前記ＤＭＡ転送部により、各象限内の画素を、Ｘ軸と平行なライン単位で、かつ、Ｘ軸に近い方から順に前記バッファメモリへ読み出して、各象限毎に前記変換処理を施すとともに、
   前記各象限毎の処理においては、さらに、前記各象限をＸ軸方向に複数の短冊に断片化し、象限の側端側から原点側に向かって各短冊毎に順次処理することを特徴とする撮像装置。
4. 前記フレームメモリから前記ディストーション補正部に入力される各短冊の補正量に応じて、補正後に前記フレームメモリへ出力される短冊の幅が各短冊毎に変更されることを特徴とする請求項３記載の撮像装置。
5. 前記撮像手段から取り込まれ、前記補正処理が施される前の１フレーム分の補正前データを、Ｘ軸を分割軸として上下の各フレームに分割し、これら上フレーム及び下フレームを、前記フレームメモリ内の所定のエリアに、上下の間に間隔を空けて展開し、前記エリアに前記間隔を埋めるように補正後のデータを上書きしていくことを特徴とする請求項４記載の撮像装置。
6. 撮影直後にディスプレイに確認用の撮影画像であるポストビュー画像を表示するために、前記フレームメモリから画像データを読み出し、この画像データに対して縮小処理を施すリサイズ処理部を備えており、このリサイズ処理部に、前記上フレームと下フレームとの分割位置を記憶させ、この分割位置で読み出しラインのアドレスをジャンプさせて上フレームと下フレームとを連続的に読み出せるようにしたことを特徴とする請求項５記載の撮像装置。
7. 撮像手段によって得られた１フレーム分のデジタルデータをメモリに展開し、このフレーム内のすべての画素に対して撮影レンズに起因するディストーションを補正するディストーション補正方法において、
   前記フレームを、光軸に対応する原点を中心に、直交する水平軸（Ｘ軸）及び垂直軸（Ｙ軸）の２つの軸によって第１〜第４の４つの象限に分割し、
   さらに、前記各象限をＸ軸方向に複数の短冊に断片化し、各短冊毎に順次補正処理を実行することを特徴とするディストーション補正方法。
8. 前記各象限内の画素の処理順序が、ディストーションの歪曲率の分布状況に合わせて、前記原点を中心に点対称となるように、前記補正処理を実行することを特徴とする請求項７記載のディストーション補正方法。
9. 撮影レンズによって光電面に結像された被写体像を電気信号に変換して画素毎の撮像信号を得る撮像手段と、
   この撮像信号をデジタルデータに変換した後に、デジタル化された画素毎のデータを１フレーム分展開して記憶するフレームメモリと、
   前記１フレームを、前記撮影レンズの光軸に対応する原点を中心に直交する水平軸（Ｘ軸）及び垂直軸（Ｙ軸）によって第１〜第４の４つの象限に分割するとともに、さらに、前記各象限をＸ軸方向に複数の短冊に断片化し、前記各短冊毎に、前記撮影レンズに起因するディストーションを補正する補正処理を、順次実行するディストーション補正部とを備えたことを特徴とする撮像装置。
10. 前記ディストーション補正部は、前記各象限内の画素の処理順序が、ディストーションの歪曲率の分布状況に合わせて、前記原点を中心に点対称となるように、前記補正処理を実行することを特徴とする請求項９記載の撮像装置。

Images