JP5607345B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関する。

デジタルスチルカメラ、ビデオカメラ、銀塩カメラ等の撮像装置を用いて撮像された画像には、像レンズの歪曲収差特性の影響により歪みが生じていた。ここで、性能の良いレンズを使用する場合においては画像の歪みは目立たないが、性能が良くなく、コストが低いレンズを使用する場合や、光学ズームレンズを使用する場合には、画像の歪みの影響を完全に回避することは難しい。そこで、近年、この画像の歪みを信号処理により補正する画像処理装置が提案されてきている（例えば特許文献１、２）。

特許文献１に開示された発明は、画像データを所定の画素数の横幅を持つ短冊データに分割し、補正する画像がたる歪みであるか糸巻き歪みであるかを判別し、中心を通る水平軸と垂直軸により画像を４つの象限に分割し、補正しようとする短冊の象限がどの象限であるかを判別して、それぞれの象限において短冊毎に異なる光学歪みを補正するものである。また、特許文献２に開示された発明は、歪みの補正に際してパラメータとして必要だった歪量を演算によって圧縮することにより、パラメータ保持用のメモリを削減するためのものである。

特開２００８−２３６５４４号公報 特開２００４−２３４３７９号公報

しかし、引用文献１に開示された発明は、歪補正用のＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）の本数がほぼ固定の場合には意味を成さず、補正するモードによっては無駄なラインメモリが存在してしまうという問題があった。また、引用文献２に開示された発明は、膨大なサイズとなるテーブルを削減するものであり、回路規模の削減には繋がるが、引用文献１に開示された発明同様に、補正するモードによっては無駄なラインメモリが存在してしまうという問題があった。歪を補正する場合には多くのＳＲＡＭを搭載する必要があるが、殆どの場合にはこれらのＳＲＡＭは動作しておらず、従来においてはこれら全てのＳＲＡＭに常時クロックを供給していたため、消費電力が大きくなるという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像データに対する補正処理を実行する際にメモリへのクロックの供給を制御することで消費電力の削減が可能な、新規かつ改良された画像処理装置及び画像処理方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、複数のラインメモリを備え、該ラインメモリに画像データを１ラインずつ保持して画像データに対する補正処理を実行する画像補正部と、画像補正部での補正処理の際に必要なラインメモリの数をライン単位で検出するラインメモリ数検出部と、ラインメモリ数検出部で検出したラインメモリの数に基づいて、ライン単位で、画像補正部における補正処理に用いられるラインメモリに対してのみクロックを供給し、画像補正部における補正処理に用いられないラインメモリに対してはクロックの供給を停止するラインメモリ制御部と、を含むことを特徴とする、画像処理装置が提供される。

かかる構成によれば、画像補正部は、複数のラインメモリを備え、該ラインメモリに画像データを１ラインずつ保持して画像データに対する補正処理を実行し、ラインメモリ数検出部は画像補正部での補正処理の際に必要なラインメモリの数をライン単位で検出する。そして、ラインメモリ制御部は、ラインメモリ数検出部で検出したラインメモリの数に基づいて、ライン単位で、画像補正部における補正処理に用いられるラインメモリに対してのみクロックを供給し、画像補正部における補正処理に用いられないラインメモリに対してはクロックの供給を停止する。その結果、画像データに対する補正処理を実行する際に、補正処理の際に必要なラインメモリの数を検出し、その必要なラインメモリに対してのみクロックを供給し、使われないラインメモリに対してクロックを供給せず、動作を停止させることで、画像データに対する補正処理を実行する際に消費電力を削減することができる。

ラインメモリ制御部は、ラインメモリへのクロックの供給の制御を、画像データ中の補正対象のラインに対する処理が完了する度に実行するようにしてもよい。その結果、１ラインずつクロックの供給制御を実行することで、消費電力を細かく削減することができる。

画像補正部は、画像の歪みを補正する歪補正処理を実行するようにしてもよい。その結果、画像の歪みを補正する歪補正処理を実行する際に、必要なラインメモリの数を検出し、その必要なラインメモリに対してのみクロックを供給し、使われないラインメモリに対してクロックを供給せず、動作を停止させることで消費電力を削減することができる。

ラインメモリ数検出部は、画像の歪み量の情報を用いてラインメモリの数をライン単位で検出するようにしてもよい。その結果、画像の歪みを補正する歪補正処理を実行する際に、画像の歪み量からその歪みを補正するために必要となるラインメモリの数を検出することができる。

画像補正部の補正対象となる画像を分割して画像補正部に供給する画像分割部をさらに含んでいてもよい。その結果、画像データを分割することで１つのラインメモリに格納する画像データの量を少なくすることができる。

ラインメモリ数検出部は、画像分割部で分割された画像に対して画像補正部での補正処理の際に必要なラインメモリの数をライン単位で検出するようにしてもよい。その結果、分割された画像データに対する歪補正処理を実行する際に、必要なラインメモリの数を検出し、その必要なラインメモリに対してのみクロックを供給し、使われないラインメモリに対してクロックを供給せず、動作を停止させることで消費電力を削減することができる。また、一般的に画像データの中央部は歪みが少ないので、画像データを分割することで、中央部に対する補正処理を実行する際にはより少ないラインメモリで動作させることができ、消費電力の削減に大きく寄与することが出来る。

画像補正部は、画像の色収差を補正する色収差補正処理を実行するようにしてもよい。その結果、画像の色収差を補正する色収差補正処理を実行する際に、必要なラインメモリの数を検出し、その必要なラインメモリに対してのみクロックを供給し、使われないラインメモリに対してクロックを供給せず、動作を停止させることで消費電力を削減することができる。

画像補正部で補正される画像データ並びに画像データに対する補正処理の対象となる処理対象ライン毎の補正量の最大値及び最小値が格納される画像データ格納部をさらに備え、ラインメモリ検出部は、画像データ格納部に格納される最大値及び最小値に基づいて画像補正部での補正処理の際に必要なラインメモリの数をライン単位で検出するようにしてもよい。その結果、処理対象ライン毎の補正量の最大値及び最小値の情報を用いることで、ラインメモリ検出部は、画像補正部での補正処理の際に必要なラインメモリの数を検出することができる。

画像データに対する補正処理の対象となる処理対象ライン毎に補正量の最大値及び最小値を保持する補正量保持部をさらに備え、ラインメモリ制御部は、補正量保持部に保持される現在の処理対象ラインにおける最大値及び最小値並びに１つ前の処理対象ラインにおける最大値及び最小値から、１つ前の処理対象ラインからのラインメモリの新規読み込みライン数とデータ破棄ライン数を決定するようにしてもよい。その結果、前後の処理対象ラインにおける補正量の最大値及び最小値の情報から新規読み込みライン数とデータ破棄ライン数を決定することで、ラインメモリ制御部は、必要となるラインメモリに対してのみ電力を供給するように制御することができる。

また、上記課題を解決するために、本発明の別の観点によれば、複数のラインメモリを用いて、該ラインメモリに画像データを１ラインずつ保持して画像データに対する補正処理を実行する画像補正ステップと、画像補正ステップでの補正処理の際に必要なラインメモリの数をライン単位で検出するラインメモリ数検出ステップと、ラインメモリ数検出ステップで検出したラインメモリの数に基づいて、ライン単位で、画像補正ステップにおける補正処理に用いられるラインメモリに対してのみクロックを供給し、画像補正ステップにおける補正処理に用いられないラインメモリに対してはクロックの供給を停止するラインメモリ制御ステップと、を含むことを特徴とする、画像処理方法が提供される。

かかる構成によれば、画像補正ステップは複数のラインメモリを用いて、該ラインメモリに画像データを１ラインずつ保持して画像データに対する補正処理を実行し、ラインメモリ数検出ステップは画像補正ステップでの補正処理の際に必要なラインメモリの数をライン単位で検出する。そして、ラインメモリ制御ステップは、ラインメモリ数検出ステップで検出したラインメモリの数に基づいて、ライン単位で、画像補正ステップにおける補正処理に用いられるラインメモリに対してのみクロックを供給し、画像補正ステップにおける補正処理に用いられないラインメモリに対してはクロックの供給を停止する。その結果、画像データに対する補正処理を実行する際に、補正処理の際に必要なラインメモリの数を検出し、その必要なラインメモリに対してのみクロックを供給し、使われないラインメモリに対してクロックを供給せず、動作を停止させることで、画像データに対する補正処理を実行する際に消費電力を削減することができる。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、複数のラインメモリを用いて、該ラインメモリに画像データを１ラインずつ保持して画像データに対する補正処理を実行する画像補正ステップと、画像補正ステップでの補正処理の際に必要なラインメモリの数をライン単位で検出するラインメモリ数検出ステップと、ラインメモリ数検出ステップで検出したラインメモリの数に基づいて、ライン単位で、画像補正ステップにおける補正処理に用いられるラインメモリに対してのみクロックを供給し、画像補正ステップにおける補正処理に用いられないラインメモリに対してはクロックの供給を停止するするラインメモリ制御ステップと、を実行させることを特徴とする、コンピュータプログラムが提供される。

かかる構成によれば、画像補正ステップは複数のラインメモリを用いて、該ラインメモリに画像データを１ラインずつ保持して画像データに対する補正処理を実行し、ラインメモリ数検出ステップは画像補正ステップでの補正処理の際に必要なラインメモリの数をライン単位で検出する。そして、ラインメモリ制御ステップは、ラインメモリ数検出ステップで検出したラインメモリの数に基づいて、ライン単位で、画像補正ステップにおける補正処理に用いられるラインメモリに対してのみクロックを供給し、画像補正ステップにおける補正処理に用いられないラインメモリに対してはクロックの供給を停止する。その結果、画像データに対する補正処理を実行する際に、補正処理の際に必要なラインメモリの数を検出し、その必要なラインメモリに対してのみクロックを供給し、使われないラインメモリに対してクロックを供給せず、動作を停止させることで、画像データに対する補正処理を実行する際に消費電力を削減することができる。

以上説明したように本発明によれば、画像データに対する補正処理を実行する際にメモリへのクロックの供給を制御することで消費電力の削減が可能な、新規かつ改良された画像処理装置及び画像処理方法を提供することができる。

本発明の一実施形態に係るデジタルスチルカメラ１００の構成について示す説明図である。 本発明の一実施形態にかかる歪補正処理部１１３の構成について示す説明図である。 ＳＲＡＭ１２３に格納された、歪みが生じている画像データの一例を示す説明図である。 歪みの度合いに応じて必要なラインメモリの数が異なることを示す説明図である。 画像の領域に応じて歪みの度合いが異なることを示す説明図である。 ＳＲＡＭ制御部１２２の構成について示す説明図である。 本発明の一実施形態にかかる歪補正処理部１１３の動作について示す流れ図である。 新規読み込みライン数とデータ破棄ライン数の決定手法について示す説明図である。 新規読み込みライン数とデータ破棄ライン数の決定手法について示す説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜１．本発明の一実施形態＞
［デジタルスチルカメラの構成例］
まず、本発明の一実施形態に係るデジタルスチルカメラの構成について説明する。図１は、本発明の一実施形態に係るデジタルスチルカメラ１００の構成について示す説明図である。以下、図１を用いて本発明の一実施形態に係るデジタルスチルカメラ１００の構成について説明する。

図１に示したデジタルスチルカメラ１００は、本発明の画像処理装置の一例である。図１に示したように、本発明の一実施形態に係るデジタルスチルカメラ１００は、レンズ部１０２と、ＣＰＵ１０４と、ＲＯＭ１０５と、マルチプレクサ（ＭＵＸ）１０６と、倍率色収差補正部１０８と、現像部１１０と、画像圧縮部１１２と、歪補正処理部１１３と、メモリカード１１４と、ＬＣＤ１１６と、ＳＤＲＡＭ Ｉ／Ｆ１１８と、ＳＤＲＡＭ１２０と、を含んで構成される。

レンズ部１０２は、図１には図示しないが、ズームレンズ、フォーカスレンズ、ベイヤー配列の色フィルタが設けられた撮像素子等からなり、被写体からの光を撮像素子で光電変換し、撮像素子からのベイヤー配列のＲＧＢ画像データを出力するものである。ここで、撮像素子としてはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを用いることができる。レンズ部１０２で生成されて出力されるベイヤー配列のＲＧＢ画像データ（以下、レンズ部１０２から出力されるベイヤー配列のＲＧＢ画像データを単に「データ」とも称する）はＳＤＲＡＭ Ｉ／Ｆ１１８を介してＳＤＲＡＭ１２０に送られるか、または直接マルチプレクサ１０６に送られる。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０４は、デジタルスチルカメラ１０４の各部の動作を制御するものである。ＲＯＭ１０５は、デジタルスチルカメラ１００の動作制御に用いる各種プログラムや設定情報が格納されるものである。マルチプレクサ１０６は、レンズ部１０２で生成されて出力されるデータと、ＳＤＲＡＭ１２０に格納された画像データの入力を受け、倍率色収差補正部１０８に送るものである。

色収差補正部１０８は、レンズ部１０２が生成したデータに対する所定の色収差補正処理を実行するものである。倍率色収差補正部１０８で色収差補正処理が施されたデータは、現像部１１０に送られた後に、ＳＤＲＡＭ Ｉ／Ｆ１１８を介してＳＤＲＡＭ１２０に送られる。

現像部１１０は、レンズ部１０２で生成され、倍率色収差補正部１０８で倍率色収差補正処理が施されたデータを用いて、輝度信号と色差信号とを含むＹＣｂＣｒ情報からなる画像データを生成する（現像処理に相当する処理を実行する）ものである。現像部１１０が生成する画像データは、ＳＤＲＡＭ Ｉ／Ｆ１１８を介してＳＤＲＡＭ１２０に送られる。

画像圧縮部１１２は、ＳＤＲＡＭ１２０に格納された画像データに対して所定の画像圧縮処理を実行するものである。所定の画像圧縮処理としては、ＪＰＥＧへの圧縮処理を用いることができる。ＣＰＵ１０４の制御によって画像圧縮部１１２で圧縮処理が施された画像データはＳＤＲＡＭ Ｉ／Ｆ１１８を介してＳＤＲＡＭ１２０に送られる。

歪補正処理部１１３は、ＳＲＡＭへのクロックの供給を制御することで消費電力を抑えつつ、ＳＤＲＡＭ１２０に格納された画像データに対して歪みを補正する処理を実行するものである。歪補正処理部１１３によって、ＳＤＲＡＭ１２０に格納された画像データの歪みを補正することができ、また従来に比べて消費電力を抑えた処理ができる。なお、歪補正処理部１１３の構成については後に詳述する。

メモリカード１１４は、画像圧縮部１１２で圧縮され、ＳＤＲＡＭ１２０に格納された画像データを保存するものである。メモリカード１１４への画像データの記録はＣＰＵ１０４の制御によって実行される。

ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）１１６は、デジタルスチルカメラ１００の各種設定画面を表示したり、レンズ部１０２が生成したデータをリアルタイムで表示（ライブビュー表示）したり、メモリカード１１４に保存された画像データを表示したりするものである。なお、本実施形態ではＬＣＤを用いているが、本発明においてはＬＣＤ以外の表示デバイス、例えば有機ＥＬを用いた表示デバイスを用いても良い。

ＳＤＲＡＭ Ｉ／Ｆ１１８は、ＳＤＲＡＭ１２０との間のインタフェースであり、ＳＤＲＡＭ１２０へのデータの記録やＳＤＲＡＭ１２０からのデータの読み出しを仲介するものである。ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２０は、レンズ部１０２が生成したデータや、現像部１１０で現像処理が施されたデータ、画像圧縮部１１２で圧縮された画像データ等を一時的に格納するものである。

なお、図１には図示しないが、デジタルスチルカメラ１００には、ユーザの入力操作を受け付ける入力部を備えていてもよく、入力部には、撮影処理を実行するためのシャッタボタンや、デジタルスチルカメラ１００を操作するための操作ボタンを備えていても良い。

以上、図１を用いて本発明の一実施形態に係るデジタルスチルカメラ１００の構成について説明した。次に、本発明の一実施形態にかかる歪補正処理部１１３の構成について説明する。

［歪補正処理部の構成例］
図２は、本発明の一実施形態にかかる歪補正処理部１１３の構成について示す説明図である。以下、図２を用いて本発明の一実施形態にかかる歪補正処理部１１３の構成について説明する。

図２に示したように、本発明の一実施形態にかかる歪補正処理部１１３は、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）１２１、１２６と、ＳＲＡＭ制御部１２２と、ＳＲＡＭ１２３と、歪補正回路１２５と、を含んで構成される。

ＤＭＡ１２１は、ＳＤＲＡＭ１２０にアクセスして、ＳＤＲＡＭ１２０に格納されている、歪み補正処理の対象となる画像データを読み出す機能を有するものである。ＤＭＡ１２１がＳＤＲＡＭ１２０から読み出した画像データは横方向に複数の長方形に分割してＳＲＡＭ１２３に供給すると共に、画像データの歪み量の情報をＳＲＡＭ制御部１２２に送る。またＤＭＡ１２６は、後述する歪補正部１２４で画像の歪みの補正が施された画像データをＳＤＲＡＭ１２０へ書き込む機能を有するものである。

ＳＲＡＭ制御部１２２は、ＤＭＡ１２１から送られる、ＤＭＡ１２１が読み出した画像データの歪み量に基づいて、ＳＲＡＭ１２３の動作を制御するものである。具体的には、ＳＲＡＭ制御部１２２は、（ラインメモリを上から順に並べたとした場合に最も上のラインから番号を付して）歪みが生じているラインの最大ライン及び最小ラインの位置に基づいてＳＲＡＭ１２３へ供給するクロックを制御することで、デジタルスチルカメラ１００の消費電力の低減を図るものである。ＳＲＡＭ制御部１２２の具体的な構成については後に詳述する。

ＳＲＡＭ１２３は、画像データの歪みを補正するために、画像データを先頭ラインから順次格納するものである。ＳＲＡＭ１２３は、画像データを１ラインずつ格納するために、複数のラインメモリで構成されており、ラインメモリの数が多ければ多いほど大きな歪みを補正することができるが、ラインメモリの数が多ければ多いほど、全てのラインメモリを動作させればその分消費電力も増大してしまう。本実施形態は、上述したようにＳＲＡＭ制御部１２２からＳＲＡＭ１２３へ供給するクロックを制御してＳＲＡＭ１２３の動作を制御することで、デジタルスチルカメラ１００の消費電力の低減を図るものである。

歪補正回路１２５は、ＳＲＡＭ１２３に格納された画像データを用いて、画像データの歪みを補正する歪み補正処理を実行するものである。歪補正回路１２５によって歪み補正処理が施された画像データは、ＤＭＡ１２６を介してＳＤＲＡＭ１２０に格納される。

ここで、歪補正回路１２５による歪み補正処理の概要について説明する。図３は、ＳＲＡＭ１２３に格納された、歪みが生じている画像データの一例を示す説明図である。図３には３４本のラインメモリを図示している（以降、ＳＲＡＭ１２３には３４本のラインメモリが搭載されているとして説明する）。そして、歪補正回路１２５で使用するフィルタがバイリニアフィルタの場合、バイリニアフィルタのリングの水平方向のピクセル数及び垂直方向のラインの数は、各１となり、図３に符号１４１で示した線の処理ウィンドウがあれば良いことになる。このため、この３４本のラインメモリで補正できる歪みの最大ラインは３２ラインとなる。

しかし、全ての領域でこれだけのラインメモリが必要とされている訳ではない。例えば、歪み量からリングのラインを減算した歪みのライン数が２４本である場合、残りのラインメモリは使用する必要がない。従って、この場合には、補正が必要な歪み量からリングのライン数を引いた残りの領域のラインメモリに対するクロックを停止するよう、ＳＲＡＭ制御部１２２で制御する。これにより歪補正処理部１１３の消費電力を低減させることが可能となる。

図４は、歪みの度合いに応じて必要なラインメモリの数が異なることを示す説明図である。図４に示したように、発生している歪みの度合いによって、歪み補正処理に必要なラインメモリの数は異なる。発生している歪みが大きければ大きいほど、歪みを補正するために多くのラインメモリが必要となるが、歪みが少なければ必要なラインメモリの数も少なくなる。図４に示したように、最大の歪み量を補正する場合には全てのラインメモリを使用する必要があるが、歪み量が小さくなるに従って使用するラインメモリの数も少なくなる。従って、歪みの度合いを予め検出し、歪みを補正するために必要なラインメモリの数を把握することで、ＳＲＡＭ制御部１２２によるＳＲＡＭ１２３の効果的な動作制御が可能となる。

図５は、画像の領域に応じて歪みの度合いが異なることを示す説明図である。画像の四隅においては歪みが強く発生しているが、画像の中央部においては、歪みは殆ど発生していない。従って、画像の四隅の部分に対して歪み補正処理を施す際には多くのラインメモリを必要とするが、画像の中央の部分に対して歪み補正処理を施す際にはラインメモリはあまり必要としない。従って、画像を例えば縦方向に複数の領域に分割し、歪みが多く発生している領域とあまり発生していない領域とに分けて画像の歪み補正処理を実行することで、画像の歪み補正処理を施す部分に応じたＳＲＡＭ制御部１２２によるＳＲＡＭ１２３の効果的な動作制御が可能となる。

上述したように、ＳＲＡＭ１２３の効果的な動作制御には、歪みの最大ラインと最小ラインの情報をＳＲＡＭ制御部１２２に渡すことが必要となる。歪みの最大ラインと最小ラインをＳＲＡＭ制御部１２２に設定する方法としては、例えば、レジスタ設定として処理対象のブロック毎にＣＰＵ１０４から設定する方法、ＳＤＲＡＭ１２０に歪みの最大ラインと最小ラインの情報を画像データと一緒に書き込んでおき、歪み補正処理時に読み出す方法、設定された歪み量から演算する手段を別途設ける方法等が考えられる。本実施形態ではでは、最も効率的な方法として、ＳＤＲＡＭ１２０に歪みの最大ラインと最小ラインの情報を画像データと一緒に書き込んでおき、歪み補正処理時に読み出す方法について説明する。

歪んでいるラインの歪みの最大ライン及び最小ラインの情報を画像データと一緒にＳＤＲＡＭ１２０に書き込んでおくことで、歪み補正処理の対象となるライン毎に、この歪みの最大ラインと最小ラインの情報を保存して読み出すことにより、ライン毎に歪補正を行う際のリングを変更することができる。

図６は、ＳＲＡＭ制御部１２２の構成について示す説明図である。図６に示したように、ＳＲＡＭ制御部１２２は、使用ライン数判定部１３１と、クロック制御信号生成部１３２と、メモリカウンタ１３３と、を含んで構成される。

使用ライン数判定部１３１は、歪みを補正する対象のラインの歪みの最小ラインと最大ラインとの情報から、使用するラインメモリの数を判定するものである。例えば、バイリニアフィルタのリングの垂直方向のラインの数が１で、歪みを補正する対象のラインの歪みの最大ラインから最小ラインを引き、リングの垂直方向のラインの数を加えた値が２４であれば、当該ラインの歪みを補正するために２４本のラインメモリを用いる必要がある。言い換えれば、必要なラインメモリ以外のラインメモリは動作を停止させても問題は無く、不必要なラインメモリの動作を停止させることで消費電力を低減させることができる。使用ライン数判定部１３１によって判定した、歪み補正に必要なラインメモリの数についての情報はクロック制御信号生成部１３２に送られる。

クロック制御信号生成部１３２は、使用ライン数判定部１３１が判定した、歪み補正に必要なラインメモリの数についての情報に基づいて、ＳＲＡＭ１２３に搭載されているラインメモリへ供給するクロックを制御するクロック制御信号を生成するものである。例えば、上述のように、歪みを補正するために２４本のラインメモリを用いる必要があると使用ライン数判定部１３１が判定した場合には、２４本分のラインメモリに対してのみクロックを供給するためのクロック制御信号を生成する。

メモリカウンタ１３３は、ＣＰＵ１０４からのタイミング信号に基づいてカウンタの値を変化させるものである。

このようにＳＲＡＭ制御部１２２を構成することで、ＳＲＡＭ制御部１２２は歪み補正処理で使用するラインの最大値と最小値を内部で１ライン分ずつ保持するこができる。そして、現在処理しようとしているラインの１つ前のラインの歪みの最大値及び最小値と、現在処理しようとしているラインの歪みの最大値と最小値を比較することにより、ＳＲＡＭ１２３の内部のラインメモリの内容を放棄する数と、追加読み出しを行う数を決定することができる。

クロック制御信号生成部１３２によって読み出しラインが制御されたＳＲＡＭ１２３から読み出されたデータは、マルチプレクサ（ＭＵＸ）１２４で多重化された後に歪補正回路１２５に送られ、歪補正回路１２５での歪み補正処理に用いられる。

以上、図６を用いてＳＲＡＭ制御部１２２の構成について説明した。このようにＳＲＡＭ制御部１２２を構成することで、歪み量に応じたラインメモリのみを動作させることができ、デジタルスチルカメラ１００で歪み補正処理を実行する際の消費電力を低減させることができる。次に、本発明の一実施形態にかかる歪補正処理部１１３の動作について説明する。

図７は、本発明の一実施形態にかかる歪補正処理部１１３の動作について示す流れ図である。以下、図７を用いて本発明の一実施形態にかかる歪補正処理部１１３の動作について説明する。

まず、歪補正処理部１１３は、ＳＤＲＡＭ１２０に格納されている画像データを、横方向に長方形からなる複数のブロックに分割して、最初のブロックをＳＤＲＡＭ１２０から（ステップＳ１０１）。ここで、歪補正処理部１１３による、画像データに対する歪み補正処理はどのブロックから始めても構わないが、本実施形態では、歪補正処理部１１３は一番左のブロックから右のブロックへ順に歪み補正処理を実行するものとして説明する。

歪補正処理部１１３で最初のブロックに対する歪み補正処理を実行する際には、歪補正処理部１１３は、最初に先頭ラインの歪み量の最大値及び最小値を取得する（ステップＳ１０２）。先頭ラインの歪み量の最大値及び最小値はＤＭＡ１２１が取得する。

上記ステップＳ１０２で、ＤＭＡ１２１が先頭ラインの歪み量の最大値及び最小値を取得すると、使用ライン数判定部１３１は、取得した先頭ラインの歪み量の最大値及び最小値に基づいて使用するラインメモリのライン数を判定する（ステップＳ１０３）。

上記ステップＳ１０３で、使用ライン数判定部１３１が使用するラインメモリのライン数を判定すると、クロック制御信号生成部１３２は、そのライン数の情報に基づいて、ＳＲＡＭ１２３に供給するクロックを制御するクロック制御信号を生成する（ステップＳ１０４）。

上記ステップＳ１０４で、クロック制御信号生成部１３２が、ＳＲＡＭ１２３に供給するクロックを制御するクロック制御信号を生成すると、ラインカウンタ１３３は、新規読み込みライン数とデータ破棄ライン数を決定する（ステップＳ１０５）。

図８及び図９は、新規読み込みライン数とデータ破棄ライン数の決定手法について示す説明図である。図８は、現在の歪み補正処理の対象ラインの歪み量の最大値と最小値、及び１つ前のラインの歪み量の最大値と最小値から、新規読み込みライン数とデータ破棄ライン数を決定する様子を示したものである。すなわち、１つ前のラインの歪み量の最大値と最小値をそれぞれ１減算し、現在の歪み補正処理の対象ラインの歪み量の最大値と最小値からそれぞれ引いたものを、新規読み込みライン数及びデータ破棄ライン数として決定するものである。

図９は、上からＮ番目のラインに対する歪み補正処理で使用するラインメモリと、上からＮ＋１番目のラインに対する歪み補正処理で使用するラインメモリの様子を示したものである。新規読み込みライン数とデータ破棄ライン数の演算の結果、新規読み込みライン数Ａが２、データ破棄ライン数Ｂが１である場合には、Ｎ番目のラインに対する歪み補正処理で使用していたラインメモリの内、図９の一番上で使用していたラインメモリへのクロックの供給を停止すると共に、一番下で使用していたラインメモリから下２つのラインメモリへクロックを供給する。

このように、ＳＲＡＭ制御部１２２がラインメモリに対するクロックの供給を制御することで、ＳＲＡＭ制御部１２２からは歪み補正処理に必要となるラインメモリに対してのみクロックが供給されるので、全てのラインメモリに対してクロックを供給し、全てのラインメモリを動作させて歪み補正処理を実行する場合と比較して、消費電力を抑えることが可能となる。また、歪みを補正するライン毎に、新たに読み込むラインと読み込みを放棄するラインとを演算して求めることで、歪み補正処理を実行する際のラインメモリに供給するクロックの制御を簡易化することができる。

上記ステップＳ１０５で、ラインカウンタ１３３が新規読み込みライン数とデータ破棄ライン数を決定すると、ＳＲＡＭ１２３にクロックを供給して必要な数のラインメモリのみを動作させてから、歪補正回路１２５が、ラインメモリから読み出したデータを用いて、補正対象ラインに対する歪み補正処理を実行する（ステップＳ１０６）。歪補正回路１２５での歪み補正処理は、上述したようにバイリニアフィルタを用いたものであり、バイリニアフィルタを用いた処理であれば任意のものを用いることができるので、ここでは歪補正回路１２５での歪み補正処理についての詳細な説明は省略する。

上記ステップＳ１０６で、補正回路１２５が補正対象ラインに対する歪み補正処理を実行すると、これが最終ラインに対する歪み補正処理かどうかを判定する（ステップＳ１０７）。最終ラインに対する歪み補正処理で無ければ、ステップＳ１０２に戻って、次のラインの歪み量の最大値及び最小値を取得する処理を実行する。一方、最終ラインに対する歪み補正処理であった場合には、続いて、補正回路１２５はこれが最後のブロックに対する歪み補正処理かどうかを判定する（ステップＳ１０８）。最後のブロックに対する歪み補正処理で無い場合には、ステップＳ１０１に戻って、補正回路１２５は次のブロックに対する歪み補正処理を開始する。一方、最後のブロックに対する歪み補正処理である場合には、この画像データに対する歪み補正処理が終了される。

以上、本発明の一実施形態にかかる歪補正処理部１１３の動作について説明した。

以上説明したように、本発明の一実施形態にかかるデジタルスチルカメラ１００によれば、画像データの歪みを補正する際に、歪みの最大値及び最小値を取得し、歪み量に応じてＳＲＡＭ１２３に供給するクロックを制御することで、歪み補正処理に必要な分だけのラインメモリを動作させる。これにより、歪み補正処理に必要となるＳＲＡＭ１２３の動作を制御することで、消費電力を削減することが可能となる。特に、デジタルスチルカメラ１００に内蔵された、歪み補正処理機能を有する画像処理回路において、ＳＲＡＭの構成が変更できない場合でも、効果的に消費電力を削減することが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、画像処理装置の一例としてデジタルスチルカメラ１００を挙げて説明したが、本発明はかかる例に限定されない。本発明は、デジタルスチルカメラ以外の装置、例えば、デジタルビデオカメラ、銀塩カメラその他の撮像装置や、撮像された画像データの歪みを補正するための情報処理装置においても適用可能である。

また例えば、上記実施形態では、歪み補正処理を例に挙げてＳＲＡＭの消費電力を低減させる例について説明したが、本発明はかかる例に限定されない。例えば、同様に複数のラインメモリからなるＳＲＡＭを用いて色収差補正を実行する場合には、緑色に対して赤色や青色の収差が大きい部分では、色収差を補正するために多くのＳＲＡＭが必要となるが、あまり収差が大きくない部分ではＳＲＡＭの数は少なくて済む。従って、収差が大きくなく、ＳＲＡＭをあまり使わなくても済むような場合には、収差量を検出して色収差を補正するために必要となるラインメモリの数を検出し、必要なラインメモリにだけ動作させるようにＳＲＡＭへ供給するクロックを制御して、画像処理装置の消費電力を低減するようにしても良い。

また例えば、デジタルスチルカメラ１００に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述したデジタルスチルカメラ１００の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

本発明は、画像処理装置及び画像処理方法に適用可能であり、特に画像データに生じる歪みを補正する画像処理装置及び画像処理方法に適用可能である。

１００ デジタルスチルカメラ
１０２ レンズ部
１０４ ＣＰＵ
１０５ ＲＯＭ
１０６ マルチプレクサ（ＭＵＸ）
１０８ 色収差補正部
１１０ 現像部
１１２ 画像圧縮部
１１３ 歪補正処理部
１１４ メモリカード
１１６ ＬＣＤ
１１８ ＳＤＲＡＭ Ｉ／Ｆ
１２０ ＳＤＲＡＭ
１２１、１２６ ＤＭＡ
１２２ ＳＲＡＭ制御部
１２３ ＳＲＡＭ
１２５ 歪補正回路
１３１ 使用ライン数判定部
１３２ クロック制御信号生成部
１３３ メモリカウンタ

Claims (11)

1. 複数のラインメモリを備え、該ラインメモリに画像データを１ラインずつ保持して画像データに対する補正処理を実行する画像補正部と、
   前記画像補正部での一の補正処理の際に必要な前記ラインメモリの数をライン単位で検出するラインメモリ数検出部と、
   前記ラインメモリ数検出部で検出した前記ラインメモリの数に基づいて、ライン単位で、前記画像補正部における前記一の補正処理に用いられる前記ラインメモリに対してのみクロックを供給し、前記画像補正部における前記一の補正処理に用いられない前記ラインメモリに対してはクロックの供給を停止するラインメモリ制御部と、
   を含むことを特徴とする、画像処理装置。
2. 前記ラインメモリ制御部は、前記ラインメモリへのクロックの供給の制御を、画像データ中の補正対象のラインに対する処理が完了する度に実行することを特徴とする、請求項１に記載の画像処理装置。
3. 前記画像補正部は、前記一の補正処理として、画像の歪みを補正する歪補正処理を実行することを特徴とする、請求項１に記載の画像処理装置。
4. 前記ラインメモリ数検出部は、画像の歪み量の情報を用いて前記ラインメモリの数をライン単位で検出することを特徴とする、請求項３に記載の画像処理装置。
5. 前記画像補正部の補正対象となる画像を分割して前記画像補正部に供給する画像分割部をさらに含むことを特徴とする、請求項３に記載の画像処理装置。
6. 前記ラインメモリ数検出部は、前記画像分割部で分割された画像に対して前記画像補正部での前記一の補正処理の際に必要な前記ラインメモリの数を検出することを特徴とする、請求項５に記載の画像処理装置。
7. 前記画像補正部は、前記一の補正処理として、画像の色収差を補正する色収差補正処理を実行することを特徴とする、請求項１に記載の画像処理装置。
8. 前記画像補正部で補正される画像データ並びに画像データに対する前記一の補正処理の対象となる処理対象ライン毎の補正量の最大値及び最小値が格納される画像データ格納部をさらに備え、
   前記ラインメモリ数検出部は、前記画像データ格納部に格納される前記最大値及び最小値に基づいて前記画像補正部での前記一の補正処理の際に必要な前記ラインメモリの数をライン単位で検出する、請求項１に記載の画像処理装置。
9. 画像データに対する前記一の補正処理の対象となる処理対象ライン毎に補正量の最大値及び最小値を保持する補正量保持部をさらに備え、
   前記ラインメモリ制御部は、前記補正量保持部に保持される現在の処理対象ラインにおける最大値及び最小値並びに１つ前の処理対象ラインにおける最大値及び最小値から、１つ前の処理対象ラインからの前記ラインメモリの新規読み込みライン数とデータ破棄ライン数を決定する、請求項１に記載の画像処理装置。
10. 複数のラインメモリを用いて、該ラインメモリに画像データを１ラインずつ保持して画像データに対する補正処理を実行する画像補正ステップと、
    前記画像補正ステップでの一の補正処理の際に必要な前記ラインメモリの数をライン単位で検出するラインメモリ数検出ステップと、
    前記ラインメモリ数検出ステップで検出した前記ラインメモリの数に基づいて、ライン単位で、前記画像補正ステップにおける前記一の補正処理に用いられる前記ラインメモリに対してのみクロックを供給し、前記画像補正ステップにおける前記一の補正処理に用いられない前記ラインメモリに対してはクロックの供給を停止するするラインメモリ制御ステップと、
    を含むことを特徴とする、画像処理方法。
11. コンピュータに、
    複数のラインメモリを用いて、該ラインメモリに画像データを１ラインずつ保持して画像データに対する補正処理を実行する画像補正ステップと、
    前記画像補正ステップでの一の補正処理の際に必要な前記ラインメモリの数をライン単位で検出するラインメモリ数検出ステップと、
    前記ラインメモリ数検出ステップで検出した前記ラインメモリの数に基づいて、ライン単位で、前記画像補正ステップにおける前記一の補正処理に用いられる前記ラインメモリに対してのみクロックを供給し、前記画像補正ステップにおける前記一の補正処理に用いられない前記ラインメモリに対してはクロックの供給を停止するするラインメモリ制御ステップと、
    を実行させることを特徴とする、コンピュータプログラム。
    

Images