JP5553579B2

JP5553579B2 - デジタルカメラ、画像処理方法及びコンピュータプログラム

Info

Publication number: JP5553579B2
Application number: JP2009256001A
Authority: JP
Inventors: 峰樹田岡
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2009-11-09
Filing date: 2009-11-09
Publication date: 2014-07-16
Anticipated expiration: 2029-11-09
Also published as: KR101646672B1; KR20110051120A; JP2011101292A

Description

本発明は、デジタルカメラ、画像処理方法及びコンピュータプログラムに関する。

現在広く普及しているデジタルスチルカメラは、ＣＣＤイメージセンサやＣＭＯＳイメージセンサのような撮像素子に、レンズを通じて被写体からの光が照射されることで得られる、赤色成分（Ｒ成分）、緑色成分（Ｇ成分）及び青色成分（Ｂ成分）の画素信号がベイヤー配列に並んだＲＡＷデータに対して、画素補間処理、倍率色収差補正処理、歪曲収差補正処理等を施すことで画像データを生成している。

ここで、撮像素子に光を照射するためのレンズは、波長によって屈折率が異なる。色によって像の倍率が異なり、像の大きさが異なる倍率色収差を補正するための倍率色収差補正処理についての従来技術としては、例えば特許文献１で開示された手法がある。特許文献１では、ＲＡＷデータのＧ成分を基準として、Ｒ成分及びＢ成分を補正する方法が開示されている。

特開２００８−１５９４６号公報

しかし、特許文献１に記載された倍率色収差補正処理を単純に実行しようとすると、Ｂ成分及びＲ成分に対し、最大の収差量のメモリ（ＳＲＡＭ；ＳｔａｔｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）が必要になるという問題があった。通常、倍率色収差には物理的波長が存在し、後述するが、全体の１／４程度のＳＲＡＭは倍率色収差補正処理時には全く動作しておらず、動作していないＳＲＡＭのために電力を使用するのは無駄である。

また、近年では撮像素子の画素数が増加の一途を辿っている。従って、１つの水平ラインにおける補正処理に要するメモリの容量も、画素数の増加に伴って多く確保しなければならず、デジタルスチルカメラの回路規模の小型化や消費電力の低減化に影響を与えてしまう問題が生じてしまう。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、回路規模及び消費電力を削減した倍率色収差補正処理を実行することが可能な、新規かつ改良されたデジタルカメラ、画像処理方法及びコンピュータプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、撮像素子に照射された光から光電変換することで所定の複数の色成分を有する画素信号がベイヤー配列に並んだ画像信号に対して倍率色収差の補正を実行する倍率色収差補正部を備え、倍率色収差補正部は、画像信号を水平ライン単位で一時的に格納するラインメモリと、ラインメモリへの各画素信号の格納を制御する格納制御部と、を含み、格納制御部は、色収差の発生方向に応じてラインメモリへの画像信号の格納を制御することを特徴とする、デジタルカメラが提供される。

かかる構成によれば、倍率色収差補正部は、撮像素子に照射された光から光電変換することで所定の複数の色成分を有する画素信号がベイヤー配列に並んだ画像信号に対して倍率色収差の補正を実行する。倍率色収差補正部は、画像信号を水平ライン単位で一時的に格納するラインメモリと、ラインメモリへの各画素信号の格納を制御する格納制御部と、を含み、格納制御部は、色収差の発生方向に応じてラインメモリへの画像信号の格納を制御する。その結果、色収差の発生方向に応じたラインメモリへの画像信号の格納により、使用するラインメモリが節約され、回路規模及び消費電力を削減した倍率色収差補正処理を実行することが可能となる。

画像信号は、赤色成分の画素信号、緑色成分の画素信号及び青色信号の画素信号がベイヤー配列に並んでおり、格納制御部は、赤色成分が上側になるように色収差が発生している領域では、赤色成分を格納するラインより少なくなるように青色成分をラインメモリに格納するようにしてもよい。これにより、青色成分について使用するラインメモリが節約され、回路規模及び消費電力を削減することが可能となる。

画像信号は、赤色成分の画素信号、緑色成分の画素信号及び青色信号の画素信号がベイヤー配列に並んでおり、格納制御部は、青色成分が上側になるように色収差が発生している領域では、青色成分を格納するラインより少なくなるように赤色成分をラインメモリに格納するようにしてもよい。これにより、赤色成分について使用するラインメモリが節約され、回路規模及び消費電力を削減することが可能となる。

画像信号は、赤色成分の画素信号、緑色成分の画素信号及び青色信号の画素信号がベイヤー配列に並んでおり、格納制御部は、緑色成分については最大色収差分のライン数＋１ライン分のラインメモリに格納し、赤色成分または青色成分については、一方は最大色収差分の倍のライン数のラインメモリに格納し、他方については、最大色収差分の倍のライン数のラインメモリに格納するようにしてもよい。これにより、赤色成分または青色成分については、使用するラインメモリが節約され、回路規模及び消費電力を削減することが可能となる。

また、上記課題を解決するために、本発明の別の観点によれば、撮像素子に照射された光から光電変換することで所定の複数の色成分を有する画素信号がベイヤー配列に並んだ画像信号に対して倍率色収差の補正を実行する倍率色収差補正ステップを備え、倍率色収差補正ステップは、画像信号を水平ライン単位で一時的にラインメモリへ格納する格納ステップと、ラインメモリへの各画素信号の格納を制御する格納制御ステップと、を含み、格納制御ステップは、色収差の発生方向に応じてラインメモリへの画像信号の格納を制御することを特徴とする、画像処理方法。

かかる構成によれば、倍率色収差補正ステップは、撮像素子に照射された光から光電変換することで所定の複数の色成分を有する画素信号がベイヤー配列に並んだ画像信号に対して倍率色収差の補正を実行する。倍率色収差補正ステップは、画像信号を水平ライン単位で一時的にラインメモリへ格納する格納ステップと、ラインメモリへの各画素信号の格納を制御する格納制御ステップと、を含み、格納制御ステップは、色収差の発生方向に応じてラインメモリへの画像信号の格納を制御する。その結果、色収差の発生方向に応じたラインメモリへの画像信号の格納により、使用するラインメモリが節約され、回路規模及び消費電力を削減した倍率色収差補正処理を実行することが可能となる。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、撮像素子に照射された光から光電変換することで赤色成分の画素信号、緑色成分の画素信号及び青色信号の画素信号がベイヤー配列に並んだ画像信号に対して倍率色収差の補正を実行する倍率色収差補正ステップを実行させるコンピュータプログラムであって、倍率色収差補正ステップは、画像信号を水平ライン単位で一時的にラインメモリへ格納する格納ステップと、ラインメモリへの各画素信号の格納を制御する格納制御ステップと、を含み、格納制御ステップは、色収差の発生方向に応じてラインメモリへの画像信号の格納を制御することを特徴とする、コンピュータプログラムが提供される。

かかる構成によれば、コンピュータに倍率色収差補正ステップを実行させる。倍率色収差補正ステップは、撮像素子に照射された光から光電変換することで赤色成分の画素信号、緑色成分の画素信号及び青色信号の画素信号がベイヤー配列に並んだ画像信号に対して倍率色収差の補正を実行する。倍率色収差補正ステップは、画像信号を水平ライン単位で一時的にラインメモリへ格納する格納ステップと、ラインメモリへの各画素信号の格納を制御する格納制御ステップと、を含み、格納制御ステップは、色収差の発生方向に応じてラインメモリへの画像信号の格納を制御する。その結果、色収差の発生方向に応じたラインメモリへの画像信号の格納により、使用するラインメモリが節約され、回路規模及び消費電力を削減した倍率色収差補正処理を実行することが可能となる。

以上説明したように本発明によれば、回路規模及び消費電力を削減した倍率色収差補正処理を実行することが可能な、新規かつ改良されたデジタルカメラ、画像処理方法及びコンピュータプログラムを提供することができる。

本発明の一実施形態に係るデジタルスチルカメラ１００の構成について示す説明図である。本発明の一実施形態に係る倍率色収差補正部１０８の構成について示す説明図である。本来撮影したい画像と、色収差によりＧ成分に対してＲ成分やＢ成分がずれてしまった画像とを比較して示す説明図である。倍率色収差の補正例について示す説明図である。画面上端での色収差補正の例を示す説明図である。画面左上端での色収差補正の例を示す説明図である。図７は画面左端での色収差補正の例を示す説明図である。従来の色収差補正処理時のラインメモリの動作例について示す説明図である。本発明の一実施形態にかかる倍率色収差補正部１０８で倍率色収差を補正する場合における、ＳＲＡＭ１２２のラインメモリへのデータの格納例を示す説明図である。本発明の一実施形態にかかる倍率色収差補正部１０８で倍率色収差を補正する場合における、ＳＲＡＭ１２２のラインメモリへのデータの格納例を示す説明図である。本発明の一実施形態にかかる倍率色収差補正部１０８における、倍率色収差補正処理について示す流れ図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜１．本発明の一実施形態＞
［デジタルスチルカメラの構成例］
まず、本発明の一実施形態に係るデジタルスチルカメラの構成について説明する。図１は、本発明の一実施形態に係るデジタルスチルカメラ１００の構成について示す説明図である。以下、図１を用いて本発明の一実施形態に係るデジタルスチルカメラ１００の構成について説明する。

図１に示したように、本発明の一実施形態に係るデジタルスチルカメラ１００は、レンズ部１０２と、ＣＰＵ１０４と、ＲＯＭ１０５と、マルチプレクサ（ＭＵＸ）１０６と、倍率色収差補正部１０８と、現像部１１０と、画像圧縮部１１２と、メモリカード１１４と、ＬＣＤ１１６と、ＳＤＲＡＭＩ／Ｆ１１８と、ＳＤＲＡＭ１２０と、を含んで構成される。

レンズ部１０２は、図１には図示しないが、ズームレンズ、フォーカスレンズ、ベイヤー配列の色フィルタが設けられた撮像素子等からなり、被写体からの光を撮像素子で光電変換し、撮像素子からのベイヤー配列のＲＧＢ画像データを出力するものである。ここで、撮像素子としてはＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）イメージセンサやＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを用いることができる。レンズ部１０２で生成されて出力されるベイヤー配列のＲＧＢ画像データ（以下、レンズ部１０２から出力されるベイヤー配列のＲＧＢ画像データを単に「データ」とも称する）はＳＤＲＡＭＩ／Ｆ１１８を介してＳＤＲＡＭ１２０に送られるか、または直接マルチプレクサ１０６に送られる。

ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１０４は、デジタルスチルカメラ１０４の各部の動作を制御するものである。ＲＯＭ１０５は、デジタルスチルカメラ１００の動作制御に用いる各種プログラムや設定情報が格納されるものである。マルチプレクサ１０６は、レンズ部１０２で生成されて出力されるデータと、ＳＤＲＡＭ１２０に格納された画像データの入力を受け、倍率色収差補正部１０８に送るものである。

倍率色収差補正部１０８は、レンズ部１０２が生成したデータに対する倍率色収差補正処理を実行するものである。倍率色収差補正部１０８で倍率色収差補正処理が施されたデータは、現像部１１０に送られた後に、ＳＤＲＡＭＩ／Ｆ１１８を介してＳＤＲＡＭ１２０に送られる。この倍率色収差補正部１０８の構成については後に詳述する。

現像部１１０は、レンズ部１０２で生成され、倍率色収差補正部１０８で倍率色収差補正処理が施されたデータを用いて、輝度信号と色差信号とを含むＹＣｂＣｒ情報からなる画像データを生成する（現像処理に相当する処理を実行する）ものである。現像部１１０が生成する画像データは、ＳＤＲＡＭＩ／Ｆ１１８を介してＳＤＲＡＭ１２０に送られる。

画像圧縮部１１２は、ＳＤＲＡＭ１２０に格納された画像データに対して所定の画像圧縮処理を実行するものである。所定の画像圧縮処理としては、ＪＰＥＧへの圧縮処理を用いることができる。ＣＰＵ１０４の制御によって画像圧縮部１１２で圧縮処理が施された画像データはＳＤＲＡＭＩ／Ｆ１１８を介してＳＤＲＡＭ１２０に送られる。

メモリカード１１４は、画像圧縮部１１２で圧縮され、ＳＤＲＡＭ１２０に格納された画像データを保存するものである。メモリカード１１４への画像データの記録はＣＰＵ１０４の制御によって実行される。

ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）１１６は、デジタルスチルカメラ１００の各種設定画面を表示したり、レンズ部１０２が生成したデータをリアルタイムで表示（ライブビュー表示）したり、メモリカード１１４に保存された画像データを表示したりするものである。なお、本実施形態ではＬＣＤを用いているが、本発明においてはＬＣＤ以外の表示デバイス、例えば有機ＥＬを用いた表示デバイスを用いても良い。

ＳＤＲＡＭＩ／Ｆ１１８は、ＳＤＲＡＭ１２０との間のインタフェースであり、ＳＤＲＡＭ１２０へのデータの記録やＳＤＲＡＭ１２０からのデータの読み出しを仲介するものである。ＳＤＲＡＭ（ＳｙｎｃｈｒｏｎｏｕｓＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１２０は、レンズ部１０２が生成したデータや、現像部１１０で現像処理が施されたデータ、画像圧縮部１１２で圧縮された画像データ等を一時的に格納するものである。

なお、図１には図示しないが、デジタルスチルカメラ１００には、ユーザの入力操作を受け付ける入力部を備えていてもよく、入力部には、撮影処理を実行するためのシャッタボタンや、デジタルスチルカメラ１００を操作するための操作ボタンを備えていても良い。

以上、図１を用いて本発明の一実施形態に係るデジタルスチルカメラ１００の構成について説明した。次に、本発明の一実施形態に係る倍率色収差補正部１０８の構成について説明する。

［倍率色収差補正部の構成例］
図２は、本発明の一実施形態に係る倍率色収差補正部１０８の構成について示す説明図である。以下、図２を用いて本発明の一実施形態に係る倍率色収差補正部１０８の構成について説明する。

図２に示したように、本発明の一実施形態に係る倍率色収差補正部１０８は、ＳＲＡＭ１２２と、ＳＲＡＭ制御部１２４と、倍率色収差補正実行部１２６と、を含んで構成される。

ＳＲＡＭ１２２は、倍率色収差補正を実行するために、レンズ部１０２で生成されたデータ（ベイヤーデータ）を一時的に、倍率色収差を受けたデータの先頭ラインから格納するものである。本実施形態においては、ＳＲＡＭ１２２には、倍率色収差補正実行部１２６で倍率色収差補正を実行するために、最大の色収差に相当する本数分のラインメモリを確保しておく。このラインメモリは、画像の水平方向の画素列（ライン）単位で画像データを一時的に保持するためのものである。

ＳＲＡＭ制御部１２４は、予め取得しておいた色収差情報を用いて、ＳＲＡＭ１２２に確保されたラインメモリのうち、使用するラインメモリの制御を実行するものである。なお、ＳＲＡＭ制御部１２４が用いる色収差情報は、レンズ部１０２やＲＯＭ１０５に格納されるものであり、例えば、予め白黒のパターンを撮像し、光軸からの距離に応じて色収差がどの程度発生しているかを色収差情報としてレンズ部１０２やＲＯＭ１０５に格納しておいてもよい。この色収差の情報を用いることで、ＳＲＡＭ制御部１２４はＳＲＡＭ１２２におけるラインメモリをどの程度確保すべきかを判断できる。

倍率色収差補正実行部１２６は、ラインメモリ１２２に格納されたデータを用いて倍率色収差補正処理を実行するものである。倍率色収差補正実行部１２６における倍率色収差補正処理については後述する。

図２のように倍率色収差補正部１０８を構成することで、ＳＲＡＭ１２２の動作を必要最低限に抑えることができるが、倍率色収差補正部１０８の動作については後に後述する。

以上、本発明の一実施形態に係る倍率色収差補正部１０８の構成について説明した。次に、本発明の一実施形態にかかるデジタルスチルカメラ１００の動作について説明するが、デジタルスチルカメラ１００の動作の説明の前に、倍率色収差が発生する原因と一般的な倍率色収差の補正方法について述べることにする。

［倍率色収差が発生する原因及び倍率色収差の補正方法］
上述したように、ＣＣＤイメージセンサやＣＭＯＳイメージセンサのような撮像素子に、レンズを通じて被写体からの光が照射されると、Ｒ成分、Ｇ成分、及びＢ成分の画素信号がベイヤー配列に並んだＲＡＷデータが得られる。そして、レンズの色毎の屈折率が異なるため、Ｇ成分を基準とすると、Ｇ成分に対してＲ成分やＢ成分がずれてしまう。図３は、本来撮影したい画像と、色収差によりＧ成分に対してＲ成分やＢ成分がずれてしまった画像とを比較して示す説明図である。図３（ａ）が本来撮影したい画像を示し、図３（ｂ）が色収差によりＧ成分に対してＲ成分やＢ成分がずれてしまった画像を示す説明図である。なお、図３（ｂ）に示した３本の曲線は、上からＲ成分、Ｇ成分、Ｂ成分に相当するものである。

このように、Ｇ成分に対してＲ成分やＢ成分がずれてしまった場合には、本来Ｒ成分やＢ成分があるべき位置へデータを置き換えることで、倍率色収差補正を実現することができる。このデータの置き換えは、本発明の一実施形態にかかるデジタルスチルカメラ１００においては、倍率色収差補正実行部１２６が実行する。

図４は、倍率色収差の補正例について示す説明図である。図４（ａ）は、Ｒ成分を補間することでＲ成分のずれを修正する場合の補正例を示し、図４（ｂ）は、Ｂ成分を補間することでＢ成分のずれを修正する場合の補正例を示している。

図４（ａ）を用いてＲ成分のずれを修正する場合について説明すると、符号４０１で示した画素の場所が本来のＲ成分の位置であり、符号４０２で示した画素の場所が、色収差によりずれてしまったＲ成分の位置である。

このような場合においては、倍率色収差補正実行部１２６は、符号４０２で示した画素の場所の周囲の画素からＲ成分のデータを生成する。具体的には、倍率色収差補正実行部１２６は、符号４０３ａ〜４０３ｄで示したＲ成分のデータから符号４０２に示した位置のＲ成分のデータを補間処理によって生成する。そして、符号４０２に示した位置のＲ成分のデータを生成すると、倍率色収差補正実行部１２６は生成したデータを符号４０１で示した位置へコピーする。このような処理を実行することで、Ｇ成分に対するＲ成分のずれを修正することが出来る。

同様にＢ成分のずれも修正することができる。図４（ｂ）を用いてＢ成分のずれを修正する場合について説明すると、符号４１１で示した画素の場所が本来のＢ成分の位置であり、符号４１２で示した画素の場所が、色収差によりずれてしまったＢ成分の位置である。

このような場合においては、倍率色収差補正実行部１２６は、符号４１２で示した画素の場所の周囲の画素からＢ成分のデータを生成する。具体的には、倍率色収差補正実行部１２６は、符号４１３ａ〜４１３ｄで示したＢ成分のデータから符号４１２に示した位置のＢ成分のデータを補間処理によって生成する。そして、符号４１２に示した位置のＢ成分のデータを生成すると、倍率色収差補正実行部１２６は生成したデータを符号４１１で示した位置へコピーする。このような処理を実行することで、Ｇ成分に対するＢ成分のずれを修正することが出来る。

図４に示したように、Ｒ成分とＢ成分のうち、Ｇ成分に対して上側に存在するデータと、下側に存在するデータとの間には位置対象性がある。そこで本実施形態では、この位置対象性を利用することでＳＲＡＭの容量を節約し、消費電力の低減及び回路規模の縮小を図る。

例えば、青色が外側に広がっている倍率色収差のあるレンズを用いる場合について考えると、当然赤色が内側に広がることになる。従って、画像の位置によって補正の仕方は少しずつ異なることになる。図５〜図７にその様子を示す。図５は、画面上端での色収差補正の例を示す説明図であり、図６は画面左上端での色収差補正の例を示す説明図であり、図７は画面左端での色収差補正の例を示す説明図である。なお、図５〜図７に示した３つの楕円は、外側からＲ成分、Ｇ成分、Ｂ成分に相当するものである。

図５を用いて画面上端での色収差補正について説明する。符号５０１で示した画素の場所が本来のＲ成分の位置であり、符号５０２で示した画素の場所が、色収差によりずれてしまったＲ成分の位置である。このような場合においては、符号５０２で示した画素の場所の周囲の画素からＲ成分のデータを生成することで色収差を補正することができる。具体的には、符号５０３ａ〜５０３ｄで示したＲ成分のデータから符号５０２に示した位置のＲ成分のデータを補間処理によって生成する。そして、符号５０２に示した位置のＲ成分のデータを符号５０１で示した位置へコピーすることで、Ｇ成分に対するＲ成分のずれを修正することが出来る。

次に図６を用いて画面左上端での色収差補正について説明する。符号６０１で示した画素の場所が本来のＲ成分の位置であり、符号６０２で示した画素の場所が、色収差によりずれてしまったＲ成分の位置である。このような場合においては、符号６０２で示した画素の場所の周囲の画素からＲ成分のデータを生成することで色収差を補正することができる。具体的には、符号６０３ａ〜６０３ｄで示したＲ成分のデータから符号６０２に示した位置のＲ成分のデータを補間処理によって生成する。そして、符号６０２に示した位置のＲ成分のデータを符号６０１で示した位置へコピーすることで、Ｇ成分に対するＲ成分のずれを修正することが出来る。

最後に図７を用いて画面左端での色収差補正について説明する。符号７０１で示した画素の場所が本来のＲ成分の位置であり、符号７０２で示した画素の場所が、色収差によりずれてしまったＲ成分の位置である。このような場合においては、符号７０２で示した画素の場所の周囲の画素からＲ成分のデータを生成することで色収差を補正することができる。具体的には、符号７０３ａ〜７０３ｄで示したＲ成分のデータから符号７０２に示した位置のＲ成分のデータを補間処理によって生成する。そして、符号７０２に示した位置のＲ成分のデータを符号７０１で示した位置へコピーすることで、Ｇ成分に対するＲ成分のずれを修正することが出来る。

図５〜図７に示した色収差補正の例から以下のことが分かる。

（１）上端では色収差が最大となる。
（２）下端でも色収差の値がほぼ同じとなることが考えられる。ただし色の位置関係は赤色と青色とが反転する。
（３）左右端、すなわち中心からの距離が垂直方向で見て大きくない場合、垂直方向の色収差は少ない。

Ｇ成分に対するＲ成分やＢ成分のずれを補正するために、図２に示したラインメモリ（ＳＲＡＭ１２２）が必要となる。色収差が最大となる上端部分や下端部分における色収差補正処理を実行するには、色収差量に応じたラインメモリが必要となる。しかし、上述したように、色収差には対象性があり、収差の中心から上側では、Ｇ成分に対するＲ成分とＢ成分の位置関係は一定であり、収差の中心から下側では、Ｒ成分とＢ成分の位置関係が反転することになる。そこで、本実施形態に係るＳＲＡＭ制御部１２４にて、以下のようにラインメモリへのデータの格納を制御することで、ラインメモリの容量を節約することが出来る。

［本実施形態でのラインメモリへのデータの格納制御］
以下の説明では、収差の中心が画像の中心に略一致し、色収差量が赤色も青色も最大３画素あると仮定して説明する。

ＳＲＡＭ１２２に入力されているＲＡＷデータに対し、画面の上部においては、Ｒ成分についてはカレントライン（またはカレントラインに近いライン）を使用し、Ｇ成分はＲ成分に対して３ライン蓄積した（３ライン分ディレイした）ラインを使用し、Ｂ成分はＧ成分に対して３ライン蓄積した（３ライン分ディレイした）ライン、すなわちＲ成分に対して６ライン蓄積した（６ライン分ディレイした）ラインを使用して色収差補正処理を実行する。

逆に、画面の下部においては、Ｒ成分とＢ成分の関係が反転する。ＲＡＷデータのスキャンが収差方向に対して逆転することになるので、Ｂ成分についてはカレントライン（またはカレントラインに近いライン）を使用し、Ｇ成分はＢ成分に対して３ライン蓄積した（３ライン分ディレイした）ラインを使用し、Ｒ成分はＧ成分に対して３ライン蓄積した（３ライン分ディレイした）ライン、すなわちＢ成分に対して６ライン蓄積した（６ライン分ディレイした）ラインを使用して色収差補正処理を実行する。

従って、色収差補正処理に必要なラインメモリの数は、Ｒ成分またはＢ成分のいずれか一方に対しては６ライン分、他方の成分及びＧ成分に対しては３ライン分となる。

よって、画像の垂直方向のどの部分に対して色収差補正処理を実行するのか、また色収差量の最大値と最小値がどの程度であるのかによって、ＳＲＡＭ１２２のラインメモリの組み換えを行うことで、単に色収差補正処理を実行する場合に比べてメモリの容量を節約することが可能となる。

なお、１つのラインに対する倍率色収差補正処理を倍率色収差補正実行部１２６で実行する場合に、処理の間に色収差の無い領域を横切ることが考えられる。色収差の無い領域を横切るような場合には、ラインメモリを組み換えることはできないので、このような場合を考慮して、Ｒ成分またはＢ成分のいずれか一方に対しては６ライン分、他方の成分に対しては４ライン分、Ｇ成分に対しては３ライン分のラインメモリを確保することが望ましい。

単に倍率色収差補正処理を行う場合には、下記に示すだけのラインメモリが必要となっていた。
Ｇ成分：最大色収差分のラインメモリ＋１ライン分のラインメモリ
Ｒ成分及びＢ成分：最大色収差分の倍のラインメモリ

これに対し本実施形態では、倍率色収差補正実行部１２６での倍率色収差補正処理においては、下記に示すラインメモリだけで良い。
Ｇ成分：最大色収差分のラインメモリ＋１ライン分のラインメモリ
Ｒ成分またはＢ成分：最大色収差分の倍のラインメモリ
Ｒ成分またはＢ成分（上記の他方の成分）：最大色収差分のラインメモリ

従って、単に倍率色収差補正処理を行う場合に比べて、最大色収差分のラインメモリを節約することができる。

なお、このようにラインメモリを節約して使用するためには、上述したように、画像のどの部分に対して色収差補正処理を実行するのか、また画像の垂直方向の上下どちらの方向に色収差が生じているのかを把握する必要がある。

従って、ＳＲＡＭ制御部１２４において、色収差補正処理を実行するラインが、どちらの方向に色収差が発生しているラインなのか、つまり赤色が上側に広がっているラインなのか、青色が上側に広がっているラインなのかを判断することで、ラインメモリの節約が可能となる。なお、画像中の垂直方向の位置が中心付近の場合は、赤色と青色の色収差の関係が入れ替わる場合もある。しかし、この場合では垂直方向の色収差はごく僅かであるので、画像中の垂直方向の位置が中心付近の場合は、ＳＲＡＭ制御部１２４は、Ｒ成分とＢ成分には同数のラインメモリを割り当てるようにしてもよい。

従って、色収差補正処理の際にラインメモリを節約して使用するには、少なくとも、処理しようとするラインが、（１）赤色が上側に広がっているラインなのか、（２）青色が上側に広がっているラインなのか、（３）垂直方向で中心付近のラインなのか、をＳＲＡＭ制御部１２４において判断すればよい。なお、画像中の各ラインが上記（１）〜（３）のどのラインに該当するかは、画像の上部から１／３ずつ区切ってもよく、レンズの特性によって範囲を上下させてもよい。

図８は、従来の色収差補正処理時のラインメモリの動作例について示す説明図である。色収差補正処理を単純に実行すると、図８に示したようにラインメモリにデータを格納することになる。図８に示す例では、赤色についても青色についても共に６ライン分ラインメモリにデータを格納している。しかし、上述したように、色収差補正処理に必要なラインメモリの数は、Ｒ成分に対しては６ライン分必要になるが、Ｂ成分については３ライン分あれば良い。従って、青色の上部３ライン分については色収差補正処理には用いられないのでラインメモリを無駄に使用してしまうことになる。

そこで本実施形態では、ＳＲＡＭ制御部１２４によって、使用していない青色の上部３ライン分についてはラインメモリに格納しないように制御することで、ラインメモリをこの３ライン分節約する。図９は、本発明の一実施形態にかかる倍率色収差補正部１０８で倍率色収差を補正する場合における、ＳＲＡＭ制御部１２４によるＳＲＡＭ１２２のラインメモリへのデータの格納例を示す説明図である。図９に示したＳＲＡＭ制御部１２４によるＳＲＡＭ１２２への格納例は、赤色が上側に広がっている領域における例を示したものである。図９に示したように、ＳＲＡＭ１２２へは、ＳＲＡＭ制御部１２４の制御によって、Ｒ成分については６ライン分格納し、Ｂ成分については３ライン分格納することで、図８に示した例よりも３ライン分ラインメモリを節約して使用することが可能となる。

なお、図９に示した格納例は赤色が上側に広がっている領域における例であるが、青色が上側に広がる領域については、図９に示した例からＲ成分とＢ成分が反転した状態となる。

図１０は、本発明の一実施形態にかかる倍率色収差補正部１０８で倍率色収差を補正する場合における、ＳＲＡＭ制御部１２４によるＳＲＡＭ１２２のラインメモリへのデータの格納例を示す説明図である。図１０に示した例は、画像の垂直方向の中心付近の領域に対して倍率色収差補正部１０８で倍率色収差を補正する場合における格納例を示したものである。

画像の垂直方向の中心付近の領域では、図１０に示したように、Ｒ成分とＢ成分とに対してそれぞれ均等にラインメモリを割り当てる。

なお、Ｇ成分は信号が多いが、Ｇ成分についてはラインの蓄積（ディレイ）しか使用しないので、Ｒ：Ｇ：Ｂ＝１：１：１となるように割り当てる。例えば、図９ではハーフライン（１列のラインメモリの半分）分データが格納されたラインメモリが述べ１５本あるので、各色に対してハーフラインで５本分となるように、ＳＲＡＭ制御部１２４によってデータをラインメモリに格納する。

図１１は、本発明の一実施形態にかかる倍率色収差補正部１０８における、倍率色収差補正処理について示す流れ図である。以下、図１１を用いて本発明の一実施形態にかかる倍率色収差補正部１０８における、倍率色収差補正処理について説明する。

まず、ＳＲＡＭ制御部１２４が、Ｒ成分及びＢ成分に対する、色収差の最大値・最小値を取得する（ステップＳ１０１）。色収差の最大値・最小値を取得すると、続いて、色収差補正の対象となるのが画像のどの領域なのかをＳＲＡＭ制御部１２４が判断する（ステップＳ１０２）。

ＳＲＡＭ制御部１２４が、画像のどの領域に対して色収差補正を実行するのかについての判断が完了すると、続いて、その領域に応じて使用するラインメモリをＳＲＡＭ制御部１２４で決定する（ステップＳ１０３）。使用するラインメモリの決定が完了すると、ＳＲＡＭ制御部１２４は、使用を決定したラインメモリに対してデータを格納し、倍率色収差補正実行部は、ラインメモリに格納されたデータを用いて倍率色収差補正処理を実行する（ステップＳ１０４）。

以上、本発明の一実施形態にかかる倍率色収差補正部１０８で倍率色収差を補正する場合における、ＳＲＡＭ１２２のラインメモリへのデータの格納例について説明した。このようにラインメモリでデータを格納し、倍率色収差補正処理の際にラインメモリからデータを読み出すことで、色収差補正処理を単純に実行した場合に比べてラインメモリを節約して使用することができる。

＜２．まとめ＞
以上説明したように本発明の一実施形態によれば、倍率色収差補正処理を実行する際に、ベイヤー配列に並んだＲＡＷデータを１ラインずつラインメモリに格納する。ラインメモリへの格納の際には、倍率色収差補正処理を実行しようとするラインが、どちらの方向に色収差が発生しているラインなのか、つまり赤色が上側に広がっているラインなのか、青色が上側に広がっているラインなのかによって、ラインメモリへのデータの格納パターンを変化させる。ラインメモリへのデータの格納パターンを変化させることで、色収差補正処理を単純に実行した場合に比べてラインメモリを節約して使用でき、回路規模及び消費電力の削減に寄与することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、画像の色成分は加法三原色の赤（Ｒ）、緑（Ｇ）、青（Ｂ）として説明したが、本発明はかかる例に限定されない。例えば、画像の各成分は減法三原色のＹ（黄）、Ｍ（マゼンタ）、Ｃ（シアン）でもよい。

また例えば、デジタルスチルカメラ１００に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述したデジタルスチルカメラ１００の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

本発明は、デジタルカメラ、画像処理方法及びコンピュータプログラムに適用可能であり、特に倍率色収差補正処理を実行するデジタルカメラ、画像処理方法及びコンピュータプログラムに適用可能である。

１００デジタルスチルカメラ
１０２レンズ部
１０４ＣＰＵ
１０５ＲＯＭ
１０６マルチプレクサ（ＭＵＸ）
１０８倍率色収差補正部
１１０現像部
１１２画像圧縮部
１１４メモリカード
１１６ＬＣＤ
１１８ＳＤＲＡＭＩ／Ｆ
１２０ＳＤＲＡＭ
１２２ＳＲＡＭ
１２４ＳＲＡＭ制御部
１２６倍率色収差補正実行部

Claims

撮像素子に照射された光から光電変換することで所定の複数の色成分を有する画素信号がベイヤー配列に並んだ画像信号に対して倍率色収差の補正を実行する倍率色収差補正部を備え、
前記倍率色収差補正部は、
前記画像信号を水平ライン単位で一時的に格納するラインメモリと、
前記ラインメモリへの各画素信号の格納を制御する格納制御部と、
を含み、
前記画像信号は、赤色成分の画素信号、緑色成分の画素信号及び青色信号の画素信号がベイヤー配列に並んでおり、
前記格納制御部は、色収差の発生方向に応じて前記ラインメモリへの前記画像信号の格納を制御し、赤色成分が上側になるように色収差が発生している領域では、赤色成分を格納するラインより少なくなるように青色成分をラインメモリに格納することを特徴とする、デジタルカメラ。
撮像素子に照射された光から光電変換することで所定の複数の色成分を有する画素信号がベイヤー配列に並んだ画像信号に対して倍率色収差の補正を実行する倍率色収差補正部を備え、
前記倍率色収差補正部は、
前記画像信号を水平ライン単位で一時的に格納するラインメモリと、
前記ラインメモリへの各画素信号の格納を制御する格納制御部と、
を含み、
前記画像信号は、赤色成分の画素信号、緑色成分の画素信号及び青色信号の画素信号がベイヤー配列に並んでおり、
前記格納制御部は、色収差の発生方向に応じて前記ラインメモリへの前記画像信号の格納を制御し、青色成分が上側になるように色収差が発生している領域では、青色成分を格納するラインより少なくなるように赤色成分をラインメモリに格納することを特徴とする、デジタルカメラ。
前記画像信号は、赤色成分の画素信号、緑色成分の画素信号及び青色信号の画素信号がベイヤー配列に並んでおり、
前記格納制御部は、緑色成分については最大色収差分のライン数＋１ライン分のラインメモリに格納し、赤色成分または青色成分については、一方は最大色収差分の倍のライン数のラインメモリに格納し、他方については、最大色収差分のライン数のラインメモリに格納する、請求項１または２に記載のデジタルカメラ。
撮像素子に照射された光から光電変換することで所定の複数の色成分を有する画素信号がベイヤー配列に並んだ画像信号に対して倍率色収差の補正を実行する倍率色収差補正ステップを備え、
前記倍率色収差補正ステップは、
前記画像信号を水平ライン単位で一時的にラインメモリへ格納する格納ステップと、
前記ラインメモリへの各画素信号の格納を制御する格納制御ステップと、
を含み、
前記画像信号は、赤色成分の画素信号、緑色成分の画素信号及び青色信号の画素信号がベイヤー配列に並んでおり、
前記格納制御ステップは、色収差の発生方向に応じて前記ラインメモリへの前記画像信号の格納を制御し、赤色成分が上側になるように色収差が発生している領域では、赤色成分を格納するラインより少なくなるように青色成分をラインメモリに格納することを特徴とする、画像処理方法。
撮像素子に照射された光から光電変換することで所定の複数の色成分を有する画素信号がベイヤー配列に並んだ画像信号に対して倍率色収差の補正を実行する倍率色収差補正ステップを備え、
前記倍率色収差補正ステップは、
前記画像信号を水平ライン単位で一時的にラインメモリへ格納する格納ステップと、
前記ラインメモリへの各画素信号の格納を制御する格納制御ステップと、
を含み、
前記画像信号は、赤色成分の画素信号、緑色成分の画素信号及び青色信号の画素信号がベイヤー配列に並んでおり、
前記格納制御ステップは、色収差の発生方向に応じて前記ラインメモリへの前記画像信号の格納を制御し、青色成分が上側になるように色収差が発生している領域では、青色成分を格納するラインより少なくなるように赤色成分をラインメモリに格納することを特徴とする、画像処理方法。
コンピュータに、
撮像素子に照射された光から光電変換することで所定の複数の色成分を有する画素信号がベイヤー配列に並んだ画像信号に対して倍率色収差の補正を実行する倍率色収差補正ステップを実行させるコンピュータプログラムであって、
前記倍率色収差補正ステップは、
前記画像信号を水平ライン単位で一時的にラインメモリへ格納する格納ステップと、
前記ラインメモリへの各画素信号の格納を制御する格納制御ステップと、
を含み、
前記画像信号は、赤色成分の画素信号、緑色成分の画素信号及び青色信号の画素信号がベイヤー配列に並んでおり、
前記格納制御ステップは、色収差の発生方向に応じて前記ラインメモリへの前記画像信号の格納を制御し、赤色成分が上側になるように色収差が発生している領域では、赤色成分を格納するラインより少なくなるように青色成分をラインメモリに格納することを特徴とする、コンピュータプログラム。
コンピュータに、
撮像素子に照射された光から光電変換することで所定の複数の色成分を有する画素信号がベイヤー配列に並んだ画像信号に対して倍率色収差の補正を実行する倍率色収差補正ステップを実行させるコンピュータプログラムであって、
前記倍率色収差補正ステップは、
前記画像信号を水平ライン単位で一時的にラインメモリへ格納する格納ステップと、
前記ラインメモリへの各画素信号の格納を制御する格納制御ステップと、
を含み、
前記画像信号は、赤色成分の画素信号、緑色成分の画素信号及び青色信号の画素信号がベイヤー配列に並んでおり、
前記格納制御ステップは、色収差の発生方向に応じて前記ラインメモリへの前記画像信号の格納を制御し、青色成分が上側になるように色収差が発生している領域では、青色成分を格納するラインより少なくなるように赤色成分をラインメモリに格納することを特徴とする、コンピュータプログラム。