JP5619882B2 - 輝度情報に基づいて修正された値を使用したレンズロールオフ補正操作 - Google Patents

Description

I.分野
本開示は、一般には、画像のレンズロールオフ補正(lens roll-off correction)のシーン依存調整(scene dependent adjustment)に関する。

II.関連する技術の記載
技術の進歩によって、コンピューティングデバイスはより小さく、より強力になっている。たとえば、小さく、軽量で、ユーザが持ち運びし易い携帯型ワイヤレス電話、携帯情報端末（ＰＤＡ）およびページングデバイスなどのワイヤレスコンピューティングデバイスを含めて、様々な携帯型パーソナルコンピューティングデバイスが現在、存在している。より具体的には、携帯電話およびインターネットプロトコル（ＩＰ）電話など、携帯型ワイヤレス電話は、ワイヤレスネットワークを介して音声およびデータを伝達することができる。さらに、ワイヤレス電話は、そこに組み込まれた他のタイプのデバイスを含んでよい。たとえば、ワイヤレス電話は、デジタルスチルカメラ、デジタルビデオカメラ、デジタルレコーダおよびオーディオファイルプレーヤを含むことができる。ワイヤレス電話は、インターネットにアクセスするのに使用できるウェブブラウザアプリケーションなど、ソフトウェアアプリケーションを含めて、実行可能命令を処理することもできる。さらなる例として、デジタル画像処理技法を使用して、モバイル端末でマルチメディア機能をサポートすることができる。

デジタル画像処理の一面は、色情報の処理を伴う。色情報は一般に、赤、緑、青（ＲＧＢ）成分からなる複合信号として表される。色情報を伝えるのに必要なデータ容量は、完全なルーマ帯域幅(luma bandwidth)が維持されるならば人間の目の色識別力が比較的に低いということを利用することによって減少させることができる。具体的には、信号のＲＧＢ成分は、ルーマ（Ｙ）成分およびクロマ（Ｃ_b Ｃ_r）成分に変換することができ、クロマ成分は、圧縮することができる。

ルーマ(luma)（Ｙ）成分は一般に、画像の輝度(brightness)に関連付けられる。画像の輝度は、レンズシェーディング(lens shading)による影響を受けることがある。レンズシェーディングによって引き起こされる減光を補償するために、レンズロールオフ補正が、デジタル画像処理システム内で使用されてよい。一部のシナリオでは、画像の端近くの明るい物体は、レンズロールオフ補正がない場合は、詳細を保存することができる。しかし、レンズロールオフプロセスの間に画像に利得を適用した後、こうした詳細は、過飽和(oversaturation)により区別がつかなくなることがある。

III.概要
画像の過飽和により画像データの詳細を区別不可能にしないレンズロールオフ補正操作を実施するための画像処理システムが開示される。画像処理システムは、画像データの輝度情報に基づいて修正された値を使用してレンズロールオフ補正操作を実施することによって過飽和を防ぐ。画像データの輝度情報に基づいて値を修正することによって、デフォルト補正値を適用するとレンズロールオフ補正操作が画像の輝度を増加させて画像の詳細が失われることになるであろう場合の過飽和を回避するように値を減少させることが可能になる。したがって、輝度情報に基づいて値を修正することによって、画像処理システムは、過飽和を引き起こすことにより画像品質をさらに劣化させないレンズロールオフ補正操作を実施することによって、レンズロールオフに起因した画像劣化を補償することができる。

特定の一実施形態では、画像データを受け取ることを含む方法が開示される。この方法は、画像データの輝度情報を計算することをも含む。この方法は、レンズロールオフ補正操作で使用される少なくとも１つのレンズロールオフ値（lens roll-off value）を輝度情報に基づいて修正することをも含む。この方法は、少なくとも１つの修正されたレンズロールオフ値を使用して画像データに対してレンズロールオフ補正操作を実施することをも含む。

別の特定の一実施形態では、画像プロセッサを含む装置が開示される。画像プロセッサは、画像データを受け取り、画像データの輝度情報を計算するように構成される。画像プロセッサは、輝度情報に基づくレンズロールオフ補正操作で使用される少なくとも１つのレンズロールオフ補正値を修正するようにも構成される。画像プロセッサは、少なくとも１つの修正されたレンズロールオフ値を使用してレンズロールオフ補正操作を実施するようにも構成される。

別の特定の一実施形態では、画像データを受け取るための手段を含む装置が開示される。この装置は、画像データの輝度情報を計算するための手段をさらに含む。この装置は、輝度情報に基づくレンズロールオフ補正操作で使用される少なくとも１つのレンズロールオフ値を修正するための手段をさらに含む。この装置は、修正されたレンズロールオフ値を使用して画像データに対してレンズロールオフ補正操作を実施するための手段をさらに含む。

別の特定の一実施形態では、画像データを受け取るためのコードを備えるコンピュータ実行可能コードを格納するコンピュータ読取り可能媒体が開示される。コンピュータ読取り可能媒体は、画像データの輝度情報を計算するためのコードをも含む。コンピュータ読取り可能媒体は、輝度情報に基づくレンズロールオフ補正操作で使用される少なくとも１つのレンズロールオフ値を修正するためのコードをさらに含む。コンピュータ読取り可能媒体は、修正されたレンズロールオフ値を使用して画像データに対してレンズロールオフ補正操作を実施するためのコードをさらに含む。

開示された実施形態によって提供される１つの特定の態様は、ピクセルを含む領域の輝度に基づいて画像のピクセルの輝度を調整することである。ピクセルを含む領域の輝度に基づいて画像のピクセルの輝度を調整することは、レンズ補正プロセッサで適用される利得による過飽和を防ぐことによって画像の詳細を保存することができる。

本開示の他の態様、利点および特徴は、以下の節：図面の簡単な説明、発明を実施するための形態、特許請求の範囲を含めて、本出願全体を精査した後、明らかになろう。

IV, 図面の簡潔な説明
輝度情報ベースレンズロールオフ補正モジュールを有する画像キャプチャ処理システムの特定の例示的な一実施形態を示すブロック図。 輝度情報に基づいて修正された値を使用して画像データに対してレンズロールオフ補正操作を実施する方法を示す一般的な図。 輝度情報に基づいて修正された値を使用して画像データに対してレンズロールオフ補正操作を実施するシステムの例示的な一実施形態を示すブロック図。 輝度情報に基づくレンズロールオフ値の補正を示す一般的な図。 輝度情報に基づいて修正された値を使用して画像データに対してレンズロールオフ補正操作を実施する方法の例示的な一実施形態を示すフローチャート。 輝度情報に基づいて修正された値を使用して画像データに対してレンズロールオフ補正操作を実施するデバイスの特定の一実施形態を示すブロック図。 輝度情報ベースレンズロールオフ補正モジュールを含むワイヤレス通信デバイスの特定の一実施形態を示すブロック図。

V.詳細な説明
図１を参照すると、画像キャプチャ処理システムの例示的な一実施形態が示されており、その全体が１００と表されている。画像キャプチャ処理システム１００は、画像キャプチャデバイス１０１と、画像処理システム１１０と、画像記憶デバイス１２０とを含む。画像キャプチャデバイス１０１は、レンズ１０２と、オートフォーカスモジュール１０４と、オート露出モジュール１０６と、センサ１０８とを含む。画像処理システム１１０は、輝度情報ベースレンズロールオフ補正モジュール１１４と、ノイズ低減モジュール１１６と、圧縮格納モジュール１１８とを含む。画像キャプチャ処理システム１００は、輝度情報１１１に基づいて修正されるレンズロールオフ補正値１１２に基づいてレンズロールオフ補正操作を実施することによってピクセルの輝度を調整するように構成された電子デバイスであってよい。

特定の一実施形態では、画像キャプチャデバイス１０１は、ビデオカメラやスチルカメラなどのカメラである。図１に示されたように、画像キャプチャデバイス１０１のレンズ１０２は、オートフォーカスモジュール１０４およびオート露出モジュール１０６に結合されてよい。特定の一実施形態では、レンズ１０２は、オートフォーカスモジュール１０４およびオート露出モジュール１０６に応答する。センサ１０８は、レンズ１０２を介して光を受け取り、レンズ１０２を介して画像１５０が受け取られたことに応答して画像データ１０９を生成するように適応されてよい。センサ１０８は、電荷結合素子（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）画像検出器、フォトダイオードアレイ、光起電検出器、または光学画像をキャプチャするための他の何らかのセンサであってよい。特定の一実施形態では、オートフォーカスモジュール１０４は、センサ１０８に応答し、レンズ１０２のフォーカシングを自動的に制御するように適応される。オート露出モジュール１０６は、センサ１０８に応答することができ、画像１５０の露出を制御するように適応されてよい。画像データ１０９は、センサ１０８と画像処理システム１１０の間で通信されてよい。

特定の一実施形態では、画像処理システム１１０は、画像キャプチャデバイス１０１から受け取られた画像データ１０９を調整するように構成されたデジタル画像処理集積回路である。画像処理システム１１０は、モジュール上で画像データ１０９が受け取られ、調整され、別のモジュールに送信されるパイプラインとして構成されてよい。特定の一実施形態では、画像処理システム１１０は、画像データ１０９の輝度情報１１１を計算するように構成されてよい。

輝度情報ベースレンズロールオフ補正モジュール１１４は、画像キャプチャデバイス１０１から、または画像処理システム１１０の前のモジュール（図示せず）から画像データ１０９を受け取るように構成される。輝度情報ベースレンズロールオフ補正モジュール１１４は、輝度情報１１１に基づくレンズロールオフ補正操作で使用される少なくとも１つのレンズロールオフ補正値１１２を修正して、修正されたレンズロールオフ値１１９を生成するように構成される。特定の一実施形態では、輝度情報ベースレンズロールオフ補正モジュール１１４は、修正されたレンズロールオフ値１１９の使用により少なくとも１つの修正されたレンズロールオフ値を使用してレンズロールオフ補正操作を実施するように構成される。レンズロールオフ補正操作を実施すると、調整された画像データ１１５がもらされる。

輝度情報ベースレンズロールオフ補正モジュール１１４は、調整された画像データ１１５からノイズを除去するノイズ低減モジュール１１６に、調整された画像データ１１５を送信するように構成されてよい。ノイズ低減モジュール１１６は、様々な方法を使用して複数のタイプのノイズを除去するように構成されてよい。特定の一実施形態では、ノイズ低減モジュール１１６は、調整された画像データ１１５内のピクセルが、直接囲んでいる１つまたは複数のピクセルと、いつ色または照度強度が異なるか決定し、その決定に基づいてピクセルの輝度を変更するように構成されてよい。たとえば、ノイズ低減モジュール１１６は、選択された領域内の高周波成分（たとえば周囲のピクセルより明るい特定のピクセル）を除去するために低域フィルタを適用してもよい。

特定の一実施形態では、ノイズ低減モジュール１１６は、ノイズ低減画像データ１１７を圧縮格納モジュール１１８に送信するように構成される。圧縮格納モジュール１１８は、ノイズ低減モジュール１１６からノイズ低減画像データ１１７を受け取り、ノイズ低減画像データ１１７を画像記憶デバイス１２０に格納するように構成されてよい。たとえば、圧縮格納モジュール１１８は、格納するノイズ低減画像データ１１７を符号化するためにＪｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＪＰＥＧ）符号化を使用してよい。画像記憶デバイス１２０は、１つまたは複数の表示バッファ、レジスタ、キャッシュ、フラッシュメモリ素子、ハードディスク、他の任意の記憶デバイス、またはその任意の組合せなど、記憶媒体を含んでよい。

操作中、画像キャプチャ処理システム１００は、画像キャプチャデバイス１０１で画像データ１０９を生成し、画像処理システム１１０で画像データ１０９を処理し、処理された画像データを画像記憶デバイス１２０に格納してよい。一実施形態では、レンズ１０２は、光がレンズ１０２に入るときに画像１５０を受け取り、オートフォーカスモジュール１０４およびオート露出モジュール１０６は、センサ１０８に応答してレンズ１０２を自動的に調整する。画像１５０がレンズ１０２から受け取られたことに応答して、センサ１０８は、画像データ１０９を生成する。特定の一実施形態では、画像データ１０９は、画像１５０を光成分の形で電子的に表現するものである。たとえば、センサ１０８は、キャプチャされた画像１５０のピクセルに対応する別個の赤（Ｒ）、緑（Ｇ）および青（Ｂ）表現を生成してよい。特定の一実施形態では、センサ１０８は、隣接した検出器が光の様々な色を検出するように配列された複数の検出器、またはピクセルウェル(pixel well)を含む。たとえば、受け取られた光は、各検出器が赤、緑または青の入射光を受け取るようにフィルタリングされてよい。

画像データ１０９は、レンズ１０２、センサ１０８または両方の物理的特性および幾可学的形状によって引き起こされる様々なひずみのせいで、画像１５０を正確に表現しないことがある。たとえば、こうしたひずみは、限定的ではなく例示的な実施例を挙げると、センサの端に入って来る光の入射角度のせいでピクセルウェルに生じる陰影、レンズ上の各色成分の屈折の差によるひずみ、またはレンズの欠陥または調整不良によるゆがみの結果、生じることがある。こうした要因はひとまとめにして、ここではレンズロールオフと呼ばれる。

画像処理システム１１０は、画像データ１０９を格納する前に様々な画像処理操作を適用することによって画像データ１０９を向上させることができる。輝度情報ベースレンズロールオフ補正モジュール１１４は、レンズロールオフ補正操作を実施することによってレンズロールオフを修正するために画像データ１０９を処理するように構成される。別の例として、ノイズ低減モジュール１１６は、ノイズ低減を実施することによって画像データ１０９の一部を調整してよい。

特定の一実施形態では、輝度情報ベースレンズロールオフ補正モジュール１１４は、レンズロールオフ操作を実施するためにレンズロールオフ値１１２を使用する。レンズロールオフ値１１２は、少なくとも部分的にオフセットされたレンズロールオフ効果にピクセルの輝度値を変更するためにピクセル値に適用され得るデフォルトの１組の補正係数を含んでよい。レンズロールオフ値１１２は、画像データ１０９の個々のピクセル、または画像データ１０９の複数のピクセルに対応してよい。たとえば、輝度情報ベースレンズロールオフ補正モジュール１１４は、画像データ１０９内の複数のピクセルを調整するために単一のレンズロールオフ値を使用してよい。レンズロールオフ値１１２は、画像データの各ピクセルの画像１５０の中心からの距離に基づいて決定されてよい。たとえば、画像１５０の上方角を表す第１のピクセルに対応するレンズロールオフ値の第１の補正係数は、画像１５０の中心を表す第２のピクセルに対応する第２のレンズロールオフ値の補正係数より大きいことがある。

輝度情報ベースレンズロールオフ補正モジュール１１４は、レンズロールオフ補正操作を実施する前に、輝度情報１１１を使用してレンズロールオフ値１１２を修正してよい。修正されたレンズロールオフ値１１９を使用して画像データ１０９に対してレンズロールオフ補正操作を実施することによって、未修正のレンズロールオフ値（たとえばレンズロールオフ値１１２）を使用するレンズロールオフ補正操作を実施するよりも多くの画像データの詳細を保存することができる。たとえば、未修正のレンズロールオフ値は、画像の中心から対応するピクセルまでの距離が増加するにつれて増加する補正係数を有してよい。この場合、未修正のレンズロールオフ値を使用して、非常に明るいピクセルを含む画像データ１０９に対してレンズロールオフ補正操作を実施すると、画像データ１０９の過飽和が生じることがある。たとえば、明るい地平線を含む画像のピクセルを調整するために未修正のレンズロールオフ値（たとえばレンズロールオフ値１１２）を使用してレンズロールオフ補正操作を実施すると、地平線を表すピクセルの輝度が増加することがある。しかし、地平線を表すピクセルの輝度を増加させると、地平線の詳細が失われることがある。たとえば、地平線の一部である雲の色および暗さの変化が、雲のすべての輝度が最大輝度レベルに増加されるにつれて失われることがある。

過飽和を防ぐために、レンズロールオフ値１１２の補正係数を減少させてよい。レンズロールオフ値１１２を減少させることによって、レンズロールオフ補正操作は、飽和に近いピクセル輝度がほとんどまたは全く増加しない結果をもたらすことができる。たとえば、修正されたレンズロールオフ値１１９を用いたレンズロールオフ補正操作を実施すると、雲ピクセルを囲む領域が既に明るいと決定した後、雲を表すピクセルの輝度がほとんどまたは全く増加しない結果がもたらされ得る。この場合、雲を表すピクセルが、レンズロールオフによる減少した輝度を有し得る画像領域内にある場合でも、雲を表すピクセルの輝度は、最大光度レベルに増加されない。レンズロールオフ補正操作が、ピクセル輝度を最大輝度レベルに増加させる利得を適用するのを防ぐことによって、レンズロールオフによる画像データの劣化を、過飽和のせいで詳細を失うことなしに修正することができる。

特定の一実施形態では、輝度情報１１１は、複数の色成分のそれぞれに対応する輝度値を含み、レンズロールオフ値１１２は、色成分のそれぞれに対する値を含む。複数の色成分のそれぞれに対応する輝度値に基づいてレンズロールオフ値を修正することは、色成分のうちの１つに対応するレンズロールオフ値を修正することを含んでよい。特定の一実施形態では、画像データ１０９のピクセルの特定の色成分に対してレンズロールオフ操作を実施するために、特定のレンズロールオフ値が、輝度情報ベースレンズロールオフ補正モジュール１１４によって使用されてよい。たとえば、画像データ１０９に対してレンズロールオフ補正操作を実施することは、ピクセルの少なくとも１つの色成分の輝度値を増加させることを含んでよい。各色成分の輝度値に対してレンズロールオフ補正操作を実施することによって、レンズロールオフによる画像劣化を修正する際の精度向上を可能にすることができる。

図２を参照すると、輝度情報に基づいて修正されたレンズロールオフ値を使用して画像データに対してレンズロールオフ補正操作を実施する方法の例示的な一実施形態が開示されており、その全体が２００と表されている。画像処理システム（たとえば図１の画像処理システム１１０）は、方法２００によるレンズロールオフ補正操作を実施してよい。

画像処理システムは、２１２で、画像データを受け取り、輝度情報を計算してよい。輝度情報は、画像データのピクセルの輝度を示してよい。特定の一実施形態では、ピクセルの輝度情報は、ピクセルの位置の関数に基づいて表される。図２で輝度情報のグラフ２１０によって示されたように、「Ｘ」軸および「Ｙ」軸は、画像の２次元面の座標に対応する。グラフの第３の軸は、ピクセルの位置（Ｘ，Ｙ）のピクセルの輝度測定を表す。たとえば、画像データの輝度情報のグラフ２１０に示されたように、画像データのピクセルの輝度は一般に、「Ｙ」値が増加するにつれて増加する（たとえば、画像の右側を表すピクセルは、画像の左側を表すピクセルより明るい）。

画像処理システムは、２１６で、レンズロールオフ値を決定してよい。特定の一実施形態では、レンズロールオフ値は、ピクセルの位置の関数に基づいて計算され、ピクセルに適用される利得値を表すことができる。図２でレンズロールオフ値のグラフ２１４によって示されたように、「Ｘ」軸および「Ｙ」軸は、画像の２次元面の座標に対応する。第３の軸は、特定の位置（Ｘ，Ｙ）のピクセルのレンズロールオフ値を表す。特定の一実施形態では、少なくとも１つのレンズロールオフ値は、レンズロールオフ補正関数から計算される。たとえば、レンズロールオフ値のグラフ２１４によれば、レンズロールオフ値は、画像の中心からの距離が増加するにつれて増加する。この場合、画像の外縁を表すピクセルは、対応する最も高いレンズロールオフ値を有する。

画像処理システムは、２２０で、輝度情報に基づいてレンズロールオフ値を修正してよい。輝度情報に基づくレンズロールオフ値の修正は、レンズロールオフ補正操作を実施するとピクセルの輝度値が輝度しきい値２２６を超えて増加するであろう場合は少なくとも１つのレンズロールオフ値を減少させることを含んでよい。たとえば、レンズロールオフ値のグラフ２１４からのレンズロールオフ値を使用してレンズロールオフ補正操作を実施すると、画像データの輝度情報は、輝度しきい値２２６を超えるであろう。あるいは、またはさらに、輝度情報に基づいてレンズロールオフ値を修正することは、１つまたは複数のレンズロールオフ値を増加させることを含んでよい。特定の一実施形態では、レンズロールオフ値を増加または減少させることは、レンズロールオフ補正関数に変更を導入することを含んでよい。たとえば、レンズロールオフ補正関数は、レンズロールオフ補正関数を表す方程式の項に係数を追加することよって変更することができる。

図２は、減少された修正済みレンズロールオフ値のグラフ２１８を含む。グラフ２１８に示されたように、画像の右側を表すピクセルに対応するレンズロールオフ値は、過飽和を防ぐために輝度情報に基づいて減少されている。たとえば、輝度しきい値２２６に近い画像の右側を表すピクセルの輝度情報の計算に応答して、画像処理システムは、レンズロールオフ補正操作の実施後にピクセルの輝度情報が輝度しきい値２２６を超えないようにするために、画像の右側を表すピクセルに対応するレンズロールオフ値を減少させてよい。しかし、グラフ２１８で画像の左側に適用するレンズロールオフ値は、未修正のレンズロールオフ値を使用したレンズロールオフ補正操作の実施により、左側を表すピクセルの輝度情報がしきい値を超えては増加しないであろうという理由から減少されていない。

画像処理システムは、２２４で、修正されたレンズロールオフ値を使用して、レンズロールオフ補正操作を実施してよい。特定の一実施形態では、レンズロールオフ補正操作の実施は、対応するピクセルに、修正されたレンズロールオフ値を適用することを含む。たとえば、修正されたデータの輝度情報のグラフ２２２に示されたように、画像の右側を表すピクセルの画像データの輝度は、画像の左側を表すピクセルの画像データの輝度より小さい割合だけ増加されている。

図３を参照すると、輝度情報ベースレンズロールオフ補正システムの例示的な一実施形態が示されており、その全体が３００と表されている。輝度情報ベースレンズロールオフ補正システム３００は、図１の画像キャプチャ処理システム１００であってよい。特定の一実施形態では、図３に示されたように、輝度情報ベースレンズロールオフ補正システム３００は、レンズ３９１と、センサ３９０と、画像プロセッサ３６８とを含む。画像プロセッサ３６８は、センサ３９０に結合され、センサ３９０は、レンズ３９１に結合されてよい。画像プロセッサ３６８は、メモリ３０８と、レンズロールオフ選択モジュール３０１と、輝度情報ベースレンズロールオフ補正モジュール３０２と、利得制御モジュール３０４とを含んでよい。レンズロールオフ選択モジュール３０１は、初期レンズロールオフ値を決定し、輝度情報ベースレンズロールオフ補正モジュール３０２は、輝度情報に基づいてレンズロールオフ値を修正し、利得制御モジュール３０４は、修正されたレンズロールオフ値が上限利得しきい値および下限利得しきい値を満たすことを検証した後、修正されたレンズロールオフ値を画像データに適用する。

センサ３９０は、レンズ３９１を介して受け取られた画像３５０をキャプチャし、画像３５０を画像データとして画像プロセッサ３６８に伝達するように構成される。特定の一実施形態では、画像データは、個々のピクセル値に加えて、画像３５０の輝度情報３１１を含む。あるいは、画像プロセッサ３６８は、輝度情報３１１を計算するように構成されてよい。示されたように、輝度情報３１１は、第１の輝度測定（Ｂ₁）３１２および第２の輝度測定（Ｂ₂）３１３など、グリッド３１４の各領域の輝度尺度を含んでよい。

特定の一実施形態では、輝度情報ベースレンズロールオフ補正モジュール３０２は、第１の定義された領域と第２の定義された領域とを含む画像３５０の複数の領域を定義するように構成される。特定の一実施形態では、複数の領域は、実質的に等しいサイズの領域のグリッド３１４に対応する。図３に示された実施形態では、グリッド３１４は、１６個の等しいサイズの正方形領域を含む。あるいは、グリッド３１４は、任意の数の領域を含んでよく、等しいサイズの領域は、長方形、ピラミッド形、または別の形であってよい。また他の実施形態では、領域は、それぞれ異なるサイズを有してよい。

示されたように、複数の領域（たとえば図３の１６個の等しいサイズの正方形領域）は、個々の領域の輝度情報を決定する前に定義される。しかし、他の実施形態では、画像プロセッサ３６８は、画像データの少なくとも１つの領域を定義するように構成されてよい。特定の一実施形態では、複数の領域のうちの少なくとも１つの領域は、エッジ検出を使用して識別される。たとえば、実質的に類似の輝度レベルを有するピクセルを含む領域が識別されてよく、ただし、実質的に類似の輝度レベルは、領域外の輝度レベルとは所定量だけ異なる。

輝度情報ベースレンズロールオフ補正モジュール３０２は、輝度情報３１１に基づくレンズロールオフ補正操作で使用される少なくとも１つのレンズロールオフ値を修正するように構成されてよい。特定の一実施形態では、輝度情報３１１に基づいて少なくとも１つのレンズロールオフ値を修正することは、レンズロールオフ補正操作の実施によってピクセルの輝度値が輝度しきい値を超えて増加するであろう場合は少なくとも１つのレンズロールオフ値を減少させることを含む。特定の一実施形態では、輝度情報ベースレンズロールオフ補正モジュール３０２は、画像３５０の第１の定義された領域の第１の輝度測定３１２に基づいて第１のレンズロールオフ値（ＬＲＯＶ₁）３１５を修正するように構成される。輝度情報ベースレンズロールオフ補正モジュール３０２は、画像３５０の第２の定義された領域の第２の輝度測定３１３に基づいて第２のレンズロールオフ値（ＬＲＯＶ₂）３１６を修正するように構成されてよい。

利得制御モジュール３０４は、利得しきい値に基づいて少なくとも１つのレンズロールオフ値を修正するように構成されてよい。たとえば、利得しきい値に基づいて少なくとも１つのレンズロールオフ値を修正することは、少なくとも１つのレンズロールオフ値が上限利得しきい値３４０を超える場合は少なくとも１つのレンズロールオフ値を減少させることを含む。あるいは、利得しきい値に基づいて少なくとも１つのレンズロールオフ値を修正することは、少なくとも１つのレンズロールオフ値が下限利得しきい値３４１を下回る場合はそのレンズロールオフ値を増加させることを含んでよい。

利得制御モジュール３０４は、修正されたレンズロールオフ値を使用してレンズロールオフ補正操作を実施するように構成されてよい。特定の一実施形態では、画像データに対してレンズロールオフ補正操作を実施することは、画像データのピクセルの輝度値を増加させることを含む。ピクセルの輝度値を増加させることは、ピクセルの輝度値に少なくとも１つの修正されたレンズロールオフ値を掛けることを含む。レンズロールオフ補正操作の間、増加されるピクセルの輝度値の量は、修正されたレンズロールオフ値に基づいてよい。たとえば、利得制御モジュール３０４は、第１の修正されたレンズロールオフ値（ＣＶ₁）３１９に基づいて、第１の定義された領域の第１のピクセル値（Ｐ₁）３５１を少なくとも部分的に調整するように構成されてよい。特定の一実施形態では、利得制御モジュール３０４は、第２の修正されたレンズロールオフ値（ＣＶ₂）３２０に基づいて、第２の定義された領域の第２のピクセル値（Ｐ₂）２５２を少なくとも部分的に調整するように構成される。あるいは、利得制御モジュール３０４は、修正されたレンズロールオフ値および他の情報の組合せに基づいてピクセル値を調整してよい。したがって、調整されたピクセル値は、修正されたレンズロールオフ値に少なくとも部分的に基づくが、追加の情報に基づいてもよい。

操作中、センサ３９０は、画像３５０を受け取り、画像３５０を、レンズロールオフ選択モジュール３０１によって受け取られ得る画像データに変換してもよい。画像データに基づいて、レンズロールオフ選択モジュール３０１は、照明条件など、レンズロールオフ特性を生成し、レンズロールオフ特性を使用して、複数のレンズロールオフ値シナリオテーブル(scenario table)３０７からレンズロールオフ値シナリオテーブル３０６を選択することができる。あるいは、レンズロールオフ値シナリオテーブル３０６は、ユーザによって直接選択されてもよい。たとえば、ユーザは、画像３５０がキャプチャされる前の時点に低照度条件が存在する場合は低照度レンズロールオフ値シナリオテーブルを選択するなどによって、画像３５０がキャプチャされる前の照明条件に基づいてレンズロールオフ値シナリオテーブル３０６を選択することができる。あるいは、レンズロールオフ選択モジュール３０１は、画像３５０がキャプチャされる前の時点でセンサ３９０が高照度条件が存在すると示す場合は、高照度レンズロールオフ値シナリオテーブルを選んでよい。他の実施形態では、画像３５０がキャプチャされた後、レンズロールオフ値シナリオテーブルの選択が実施される。選択されたレンズロールオフ値シナリオテーブル３０６および複数のレンズロールオフ値シナリオテーブ３０７は、メモリ３０８に格納することができる。

レンズロールオフ値シナリオテーブル３０６の選択後、レンズロールオフ選択モジュール３０１は、選択されたレンズロールオフ値シナリオテーブル３０６の値を使用して、画像データに適用される補正係数を決定することができる。特定の一実施形態では、画像データのピクセルに適用される補正係数は、画像３５０の中心に対するピクセルの位置に依存してよい。たとえば、ピクセルに適用された補正係数は、画像３５０の中心までのピクセルの距離が増加するにつれて増加することがある。特定の一実施形態では、レンズロールオフ選択モジュール３０１によって選択または計算された画像データのピクセル位置に対応する各補正係数によって、レンズロールオフ値がもたらされる。たとえば、第１のピクセルに適用された補正係数は、第１のレンズロールオフ値３１５をもたらすことができる。特定の一実施形態では、第２のピクセルに適用される補正係数の適用によって、第２のレンズロールオフ値３１６がもたらされる。レンズロールオフ選択モジュール３０１は、第１のレンズロールオフ値３１５および第２のレンズロールオフ値３１６をメモリ３０８内のレンズロールオフ値テーブル３０９に格納してよい。レンズロールオフ選択モジュール３０１は、選択されたレンズロールオフシナリオテーブル３０６から取得されたデータに基づいてレンズロールオフ値を生成または計算すると述べられるが、他の実施形態では、少なくとも１つのレンズロールオフ値は、レンズロールオフ補正シナリオテーブルから取り出されてよい（たとえば選択されたレンズロールオフシナリオテーブル３０６は、レンズロールオフ値３１５および３１６を含んでよい）。

画像データ、および第１のレンズロールオフ値３１５と第２のレンズロールオフ値３１６とを含むレンズロールオフ値は、輝度情報ベースレンズロールオフ補正モジュール３０２に伝達されてよい。輝度情報ベースレンズロールオフ補正モジュール３０２は、レンズロールオフ値のテーブル３０９から、第１のレンズロールオフ値３１５および第２のレンズロールオフ値３１６を取り出してよい。あるいは、輝度情報ベースレンズロールオフ補正モジュール３０２は、レンズロールオフ選択モジュール３０１から、第１のレンズロールオフ値３１５および第２のレンズロールオフ値３１６を受け取ってよい。

輝度情報ベースレンズロールオフ補正モジュール３０２は、画像３５０の複数の領域の輝度測定を含む輝度情報３１１を受け取ってよい。輝度情報３１１は、画像３５０の各領域の各ピクセルの輝度測定、または画像３５０の各領域の平均輝度測定を含んでよい。たとえば、輝度情報３１１は、輝度情報ベースレンズロールオフ補正モジュール３０２の外部で計算されたホワイトバランス統計(white balance statistic)に対応してよい。あるいは、輝度情報ベースレンズロールオフ補正モジュール３０２は、各領域の平均輝度測定を決定してもよい。領域の平均輝度は、領域内の各ピクセルの輝度測定の和を領域内のピクセル総数で割ることによって計算されてよい。たとえば、画像３５０の第１の領域は、第１のピクセルを含む２５０個のピクセルによって表すことができる。ピクセルの２５０個の輝度測定すべての和を２５０で割ることによって、第１の領域の平均輝度測定（たとえば第１の輝度測定３１２）がもたらされる。

輝度情報ベースレンズロールオフ補正モジュール３０２は、輝度情報３１１に基づいて、第１のレンズロールオフ値３１５および第２のレンズロールオフ値３１６を調整することができる。一実施形態では、第１のレンズロールオフ値３１５は、第１のピクセルのレンズロールオフを修正するために第１のピクセル値に適用される利得を表す値である。たとえば、第１のレンズロールオフ値３１５が１．３５に等しい場合、第１のピクセルの輝度は、第１のピクセルのレンズロールオフを修正するために１．３５の利得だけ増加させてよい。輝度情報ベースレンズロールオフ補正モジュール３０２は、第１の領域の平均輝度測定など、第１のピクセルを含む第１の領域の第１の輝度測定３１２に基づいて、第１のレンズロールオフ値３１５を調整してよい。

輝度情報ベースレンズロールオフ補正モジュール３０２は、第１のピクセル値に適用される利得を減少させることによって第１のレンズロールオフ値３１５を調整してよい。たとえば、第１の領域の平均輝度（たとえば第１の輝度測定３１２）が、第１の輝度しきい値を超える場合は、輝度情報ベースレンズロールオフ補正モジュール３０２は、第１のレンズロールオフ値３１５を減少させてよい。輝度情報ベースレンズロールオフ補正モジュール３０２は、第１のレンズロールオフ値３１５の減少の結果を、第１の修正されたレンズロールオフ値３１９として格納してよい。第１の修正されたレンズロールオフ値３１９は、メモリ３０８における修正されたレンズロールオフ値のテーブル３１８に格納されてよい。たとえば、輝度情報ベースレンズロールオフ補正モジュール３０２は、第１のレンズロールオフ値３１５（たとえば１．３５）を１．０１の調整値に減少させることができ、調整値１．０１を第１の修正されたレンズロールオフ値３１９としてメモリ３０８内の修正されたレンズロールオフ値のテーブル３１８に格納することができる。

一実施形態では、第２のレンズロールオフ値３１６は、第２のピクセルのレンズロールオフを修正するために第２のピクセルに適用されてよい利得を表す値である。たとえば、第２のレンズロールオフ値３１６が１．１３に等しい場合、第２のピクセルの輝度は、第２のピクセルのレンズロールオフを修正するために１．１３の利得だけ増加させてよい。輝度情報ベースレンズロールオフ補正モジュール３０２は、第２のピクセルを含む第２の領域の第２の輝度測定３１３に基づいて第２のレンズロールオフ値３１６を調整してよい。

輝度情報ベースレンズロールオフ補正モジュール３０２は、第２のピクセルに適用される利得を増加させることによって第２のレンズロールオフ値３１６を調整してよい。たとえば、輝度情報ベースレンズロールオフ補正モジュール３０２は、第２の領域の平均の輝度（たとえば第２の輝度測定３１３）が、第２の輝度しきい値を超える場合は、第２のレンズロールオフ値３１６を増加させてよい。輝度情報ベースレンズロールオフ補正モジュール３０２は、第２のレンズロールオフ値３１６の増加の結果を、第２の修正されたレンズロールオフ値３２０として格納してよい。第２の修正されたレンズロールオフ値３２０は、修正されたレンズロールオフ値のテーブル３１８に格納されてよい。たとえば、輝度情報ベースレンズロールオフ補正モジュール３０２は、第２のレンズロールオフ値３１６（たとえば１．１３）を、１．３０の調整された値に増加してよく、調整された値１．３０を第２の修正されたレンズロールオフ値３２０としてメモリ３０８内の修正されたレンズロールオフ値のテーブル３１８に格納することができる。

利得制御モジュール３０４は、輝度情報ベースレンズロールオフ補正モジュール３０２から画像データを受け取り、修正されたレンズロールオフ値のテーブル３１８から、修正されたレンズロールオフ値を取り出してよい。利得制御モジュール３０４は、修正されたレンズロールオフ値のテーブル３１８に格納された第１の修正されたレンズロールオフ値３１９および第２の修正されたレンズロールオフ値３２０を調整してよい。たとえば、利得制御モジュール３０４は、値が上限利得しきい値３４０を超える場合は、修正されたレンズロールオフ値のテーブル３１８に格納された値を減少させる。たとえば、第１の修正されたレンズロールオフ値３１９が１．３０に等しく、上限利得しきい値３４０が、１．１７５に等しい第１の利得しきい値である場合は、利得制御モジュール３０４は、第１の修正されたレンズロールオフ値３１９を１．１７５に減少させてよく、減少した値を修正されたレンズロールオフ値のテーブル３１８に任意選択で格納してよい。

特定の一実施形態では、利得制御モジュール３０４が、修正されたレンズロールオフ値のテーブル３１８の修正されたレンズロールオフ値が下限利得しきい値３４１を下回ることを検出した後、修正されたレンズロールオフ値のテーブル３１８に格納された値が、利得制御モジュール３０４によって増加される。たとえば、第２の修正されたレンズロールオフ値３２０が１．０１に等しく、下限利得しきい値３４１が、１．０５に等しい第２の利得しきい値である場合は、利得制御モジュール３０４は、第２の修正されたレンズロールオフ値３２０を１．０５に増加させてよく、増加した値を、修正されたレンズロールオフ値のテーブル３１８に任意選択で格納することができる。

利得制御モジュール３０４は、画像データのピクセル輝度を調整するために、第１の修正されたレンズロールオフ値３１９および第２の修正されたレンズロールオフ値３２０など、修正されたレンズロールオフ値を適用してよい。特定の一実施形態では、利得制御モジュール３０４は、修正されたレンズロールオフ値のテーブル３１８内に第１の修正されたレンズロールオフ値３１９として格納された値によって、第１のピクセルの輝度３５１を増加させる。利得制御モジュール３０４は、第１のピクセルの輝度３５１に、第１の修正されたレンズロールオフ値３１９を掛けてよい。たとえば、第１のピクセルの輝度３５１が１．１に等しく、第１の修正されたレンズロールオフ値３１９が１．７５に等しい場合は、利得制御モジュール３０４は、第１のピクセルの輝度３５１（たとえば１．１）に、第１の修正されたレンズロールオフ値３１９（たとえば１．７５）を掛けて、１．９２５に等しい積がもたらされ得る。利得制御モジュール３０４は、第１のピクセルの輝度３５１を１．９２５に増加させてよい。

利得制御モジュール３０４は、第２の修正されたレンズロールオフ値３２０に基づいて第２のピクセルの輝度３５２を減少させてよい。たとえば、第２のピクセル値の輝度３５２が１．４に等しく、第２の修正されたレンズロールオフ値３２０が０．８０に等しい場合は、第２のピクセルの輝度３５２（たとえば１．４）に、第２の修正されたレンズロールオフ値３２０（たとえば０．８０）を掛けることによって、１．１２に等しい積がもたらされる。利得制御モジュール３０４は、第２のピクセルの輝度３５２を１．１２に減少させてよい。利得制御モジュール３０４は、調整された画像データをさらなる処理のために、図１の画像処理システム１３０のノイズ低減モジュール１１６など他のモジュールに送信してよい。

レンズロールオフ補正操作中に使用されるレンズロールオフ値（たとえば第１のレンズロールオフ値３１５および第２のレンズロールオフ３１６）を修正することによって、画像１５０内、特に画像１５０の明るいまたは低照度領域において詳細を保存することができる。たとえば、ピクチャの上縁に明るい地平線を含む風景画の画像用にレンズロールオフ選択モジュール３０１によって生成されたレンズロールオフ値は、非常に明るいピクセルの輝度を増加させてよい。一実施形態では、地平線を表すピクセルの輝度を増加させると、地平線の詳細が失われることがある。たとえば、地平線の一部である雲の色および暗さの変化が、雲のすべての輝度が増加されるにつれて区別できなくなることがある。雲ピクセルの輝度を増加させるのでなく、輝度情報ベースレンズロールオフ補正モジュール３０２は、雲ピクセルを囲む領域が既に明るいと決定した後、雲を表すピクセルの輝度を減少させることができる。雲を表すピクセルが、レンズロールオフによる減少した輝度を有し得る画像の領域内にある場合でも、雲ピクセルの輝度を減少させてよい。したがって、図３の輝度情報ベースレンズロールオフ補正システム３００は、画像の詳細を保存することができる。

図４を参照すると、一般的な図が、輝度情報に基づくレンズロールオフ値の修正を示しており、その全体が３００と表されている。輝度情報ベースレンズロールオフ補正モジュール（たとえば図２の輝度情報ベースレンズロールオフ補正モジュール３０２）は、レンズロールオフ値のテーブル４０１に格納されたレンズロールオフ値を修正することができ、修正されたレンズロールオフ値を、修正されたレンズロールオフのテーブル４０２に格納してよい。

たとえば図４で、第１のレンズロールオフ値４０３は、１．２５００に等しい。第１のレンズロールオフ値４０３の補正は、輝度情報に基づいて第１のレンズロールオフ値４０３を減少させることを含んでよい。たとえば、第１の領域の平均輝度が第１の輝度しきい値を超える場合は、図３の輝度情報ベースレンズロールオフ補正モジュール３０２は、第１のレンズロールオフ値４０３を減少させてよい。減少したレンズロールオフ値は、第１の修正されたレンズロールオフ値４０４として格納されてよい。特定の一実施形態では、第１の修正されたレンズロールオフ値４０４は、修正されたレンズロールオフ値のテーブル４０２に格納されてよい。たとえば、図３の輝度情報ベースレンズロールオフ補正モジュール３０２は、１．２５００に等しい第１のレンズロールオフ値３１５を１．０１０３に減少させ、値１．０１０３を第１の修正されたレンズロールオフ値３１９として、修正されたレンズロールオフ値のテーブル３１８に格納することができる。

別の例として、図４では、第２のレンズロールオフ値４０５は、１．１３００に等しい。第２のレンズロールオフ値４０５を修正することは、輝度情報ベースレンズロールオフ補正モジュール３０２が、第２のピクセルに適用する第２のレンズロールオフ値４０５を増加させることを含んでよい。たとえば、図３の輝度情報ベースレンズロールオフ補正モジュール３０２は、第２の領域の平均輝度が第２の輝度しきい値未満である場合は、第２のレンズロールオフ値４０５を増加させてよい。増加したレンズロールオフ値は、第２の修正されたレンズロールオフ値４０６として格納されてよい。たとえば、第２の修正されたレンズロールオフ値３０６は、修正されたレンズロールオフ値のテーブル４０２に格納されてよい。たとえば、図３の輝度情報ベースレンズロールオフ補正モジュール３０２は、１．２５００に等しい第２のレンズロールオフ値３１６を１．０１０３に減少させ、値１．０１０３を第２の修正されたレンズロールオフ値３２０として、修正されたレンズロールオフ値のテーブル３１８に格納することができる。

図４の特定の実装形態に示されたように、レンズロールオフ値は、グリッド３１４の各領域の中心など、代表的なピクセル位置に提供されてよく、各ピクセルのレンズロールオフ値は、提供される値の双３次または双１次補間によって計算されてよい。しかし、他の実施形態では、レンズロールオフ値操作は、そうではなく、各ピクセル位置で補正関数の値を計算するなどによって、ピクセルごとに実装することができる。

図５は、画像データに対して輝度情報ベースのレンズロールオフ補正を実施する方法５００の第１の例示的な実施形態のフローチャートである。特定の一実施形態では、方法５００は、図１〜図３のシステムのいずれか、またはその任意の組合せによって実施される。５０２で、画像データが受け取られる。たとえば、図３の画像プロセッサ３６８は、センサ３９０から画像データを受け取る。５０４で、画像データの輝度情報が計算される。たとえば、図３の画像プロセッサ３６８は、画像データの輝度情報３１１を計算してよい。５０６で、レンズロールオフ補正操作で使用される少なくとも１つのレンズロールオフ値が、輝度情報に基づいて修正される。たとえば、輝度情報ベースレンズロールオフ補正モジュール３０２は、輝度情報３１１の第１の輝度測定３１２に基づいて第１のレンズロールオフ値３１５を修正する。５０８で、修正された少なくとも１つのレンズロールオフ値を使用して、画像データに対してレンズロールオフ補正操作が実施される。たとえば、利得制御モジュール３０４は、修正された少なくとも１つのレンズロールオフ値（たとえば修正されたレンズロールオフ値３１９）を使用して、画像データ（たとえばピクセル値３５１）に対してレンズロールオフ補正操作を実施する。

輝度情報に基づいて修正された値を使用して画像データに対してレンズロールオフ補正操作を実施することによって、画像データ内で、特に画像データの明るいまたは低照度領域の詳細を保存しまたは向上させることができる。たとえば、過飽和を防ぐために、明るい領域は、輝度しきい値を超えないようにし、暗い領域は向上させることができる。

図６は、輝度情報に基づいて修正された値を使用して画像データに対してレンズロールオフ補正操作を実施するデバイス６００の特定の実施形態のブロック図である。デバイス６００は、レンズ６６８に結合されており、また携帯型マルチメディアデバイス６７０のアプリケーションプロセッサチップセットにも結合されている画像センサデバイス６２０を含む。画像センサデバイス６２０は、図１〜図３のモジュールまたはシステムのうちの１つまたは複数を実装することができ、図５の諸実施形態または方法のいずれか、またはその任意の組合せに従って動作できる輝度情報ベースレンズロールオフ補正モジュール６６４を含む。

輝度情報ベースレンズロールオフ補正モジュール６６４は、画像アレイ６５０の出力を受け取るように構成されたアナログデジタル（Ａ／Ｄ）コンバータ６２６を介してなど、画像アレイ６５０から画像データを受け取るように構成される。輝度情報ベースレンズロールオフ補正モジュール６６４は、画像アレイ６５０を用いた輝度情報ベースレンズロールオフ補正機能性を可能にするために、画像アレイ６５０でキャプチャされた画像から得られた輝度測定に基づいてレンズロールオフ値を修正してよい。さらに、輝度情報ベースレンズロールオフ補正モジュール６６４は、結果として生じる画像を、より低い解像度の移送および格納機構と互換性をもつように圧縮することができる。たとえば、輝度情報ベースレンズロールオフ補正モジュール６６４は、図３のレンズロールオフ選択モジュール３０１と、図３の輝度情報ベースレンズロールオフ補正モジュール３０２と、図３の利得制御モジュール３０４とを含んでよい。

画像センサデバイス６２０は、プロセッサ６１０をも含んでよい。特定の一実施形態では、輝度情報ベースレンズロールオフ補正モジュール６６４は、プロセッサ６１０によって実行される。たとえば、プロセッサ６１０は、プロセッサ読取り可能媒体から命令を読み出し、輝度情報ベースレンズロールオフ補正モジュール６６４の機能を実装するために命令を実行するように構成されてよい。別の実施形態では、輝度情報ベースレンズロールオフ補正モジュール６６４は、画像処理回路として実装される。

プロセッサ６１０は、図１のモジュール１１４、１１６および１１８によって実施される操作のうちの１つまたは複数など、追加の画像処理操作を実施するように構成することもできる。プロセッサ６１０は、さらなる処理、送信、格納、表示またはその任意の組合せのために、処理された画像データを携帯型マルチメディアデバイスのアプリケーションプロセッサチップセット６７０に提供してよい。

画像アレイ６５０からの画像データは、画像アレイ６５０のハードウェアへの変更なしにレンズロールオフ補正操作を実施するために、輝度情報ベースレンズロールオフ補正モジュール６６４に送信されてよい。したがって、輝度情報に基づくレンズロールオフ補正は、画像データに対して実施されてよく、既存の画像アレイハードウェアを用いて実装されてよい。

図７は、輝度情報ベースレンズロールオフ補正モジュール７６４を有するワイヤレス通信デバイス７００の一実施形態のブロック図である。ワイヤレス通信デバイス７００は、メモリ７３２に結合されたデジタル信号プロセッサ（ＤＳＰ）などのプロセッサ７１０を含む携帯型ワイヤレス電子デバイスとして実装されてよい。例示的な一実施例では、輝度情報ベースレンズロールオフ補正モジュール７６４は、図１〜図３および図６のモジュールもしくはシステムのうちの１つまたは複数を含み、あるいは図５の諸実施形態もしくは方法、またはその組合せに従って動作する。輝度情報ベースレンズロールオフ補正モジュール７６４は、プロセッサ７１０に組み込まれてもよいし、別個のデバイスであってもよい。

一実施形態では、ワイヤレス通信デバイス７００は、プロセッサ７１０に結合されており、またビデオカメラやスチルカメラの７７０など、カメラにも結合されているカメラインターフェース７６８を含む。ディスプレイコントローラ７２６は、プロセッサ７１０および表示デバイス７２８に結合される。コーダ／デコーダ（ＣＯＤＥＣ）７３４もまた、プロセッサ７１０に結合されてよい。スピーカ７３６およびマイクロホン７３８は、ＣＯＤＥＣ ７３４に結合されてよい。ワイヤレスインターフェース７４０は、プロセッサ７１０およびワイヤレスアンテナ７４２に結合されてよい。

特定の一実施形態では、プロセッサ７１０は、輝度情報ベースレンズロールオフ補正モジュール７６４を含み、カメラ７７０によってキャプチャされた画像データを受け取って、画像データの輝度情報をキャプチャし、レンズロールオフ補正操作で使用される少なくとも１つのレンズロールオフ値を輝度情報に基づいて修正し、カメラ７７０を用いた修正されたレンズロールオフ値機能性を使用して、画像データに対してレンズロールオフ補正操作を実施するように適応される。さらに、輝度情報ベースレンズロールオフ補正モジュール７６４は、結果として生じる処理された画像を、より低い解像度の移送および格納機構と互換性をもつように圧縮することができる。

プロセッサ７１０は、様々なソースから受け取られてよい輝度情報画像データに基づいてレンズロールオフ補正を生成し圧縮するようにも適応されてよい。たとえば、限定的ではなく、例示的な例としては、画像データは、カメラ７７０からのビデオデータまたは静止画像、ワイヤレスインターフェース７４０を介して受信されたワイヤレス送信から、あるいはユニバーサルシリアルバス（ＵＳＢ）インターフェース（図示せず）を介して結合された外部デバイスなど、他のソースからの画像データを含むことができる。

特定の一実施形態では、プロセッサ７１０は、画像のピクセル値に追加された調整された利得値を用いて画像データを生成し、ディスプレイデバイス７２８に表示する調整された画像データを提供するように構成される。さらに、プロセッサ７１０は、メモリ７３２に画像データを格納し、またはワイヤレスインターフェース７４０を介して通信される画像データを提供するようにさらに構成されてよい。

ディスプレイコントローラ７２６は、処理された画像データを受け取り、処理された画像データをディスプレイデバイス７２８に提供するように構成される。さらに、メモリ７３２は、処理された画像データを受け取り格納するように構成されてよく、ワイヤレスインターフェース７４０は、アンテナ７４２を介して送信するための処理された画像データを受け取るように構成されてよい。

特定の一実施形態では、信号プロセッサ７１０、ディスプレイコントローラ７２６、メモリ７３２、ＣＯＤＥＣ ７３４、ワイヤレスインターフェース７４０およびカメラインターフェース７６８は、システムインパッケージまたはシステムオンチップデバイス７２２に含まれる。特定の一実施形態では、入力デバイス７３０および電源７４４は、システムオンチップデバイス７２２に結合される。さらに、特定の一実施形態では、図６に示されたように、ディスプレイデバイス７２８、入力デバイス７３０、スピーカ７３６、マイクロホン７３８、ワイヤレスアンテナ７４２、ビデオカメラ７７０および電源７４４は、システムオンチップデバイス７２２の外部にある。しかし、ディスプレイデバイス７２８、入力デバイス７３０、スピーカ７３６、マイクロホン７３８、ワイヤレスアンテナ７４２、ビデオカメラ７７０および電源７４４はそれぞれ、インターフェースやコントローラなど、システムオンチップデバイス７２２のコンポーネントに結合されてよい。

本明細書の開示された諸実施形態に関連して述べられた様々な例示的な論理ブロック、構成、モジュール、回路およびアルゴリズムステップは、電子ハードウェア、プロセッサ上で実行されるコンピュータソフトウェア、または両方の組合せとして実装されてよいことが当業者にはさらに理解されよう。様々な例示的なコンポーネント、ブロック、構成、モジュール、回路およびステップは、上記では概してその機能性に関して述べられている。こうした機能性がハードウェアとして実装されるか、それともソフトウェアとして実装されるかは、システム全体に課された特定のアプリケーションおよび設計の制約に依存する。当業者は、それぞれの特定の応用例について、述べられた機能性を様々なやり方で実装することができるが、こうした実装上の決定は、本開示の範囲からの逸脱をもたらすものと解釈すべきではない。

本明細書に開示された諸実施形態に関連して述べられた方法またはアルゴリズムの諸ステップは、ハードウェアで直接に、プロセッサによって実行される命令を含むソフトウェアで、またはその２つの組合せで具体化されてよい。ソフトウェアモジュールは、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、読取り専用メモリ（ＲＯＭ）、プログラマブル読取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、レジスタ、ハードディスク、取外し可能ディスク、コンパクトディスク読取り専用メモリ（ＣＤ−ＲＯＭ）、または当技術分野で知られている他の任意の形の記憶媒体に常駐してよい。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み出し、そこに情報を書き込むことができるようにプロセッサに結合される。別法では、記憶媒体は、プロセッサと一体化されてよい。プロセッサおよび記憶媒体は、特定用途向け集積回路（ＡＳＩＣ）に常駐してよい。ＡＳＩＣは、コンピューティングデバイスに常駐することも、ユーザ端末に常駐することもある。別法では、プロセッサおよび記憶媒体は、コンピューティングデバイスまたはユーザ端末内の個別コンポーネントとして常駐してよい。

開示された諸実施形態についての上記説明は、当業者が開示された諸実施形態を作成しまたは使用することを可能にするために提供されている。これらの実施形態への様々な修正が当業者には容易に明らかになり、本明細書に定義された原理は、本開示の範囲から逸脱せずに他の実施形態に適用することができる。したがって、本開示は、本明細書に示された諸実施形態に限定されることを意図されてはおらず、添付の特許請求の範囲で定義された原理および新規な特徴に一致する可能な最も広い範囲が与えられるものである。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
［１］ 画像データを受け取ることと、前記画像データの輝度情報を計算することと、レンズロールオフ補正操作で使用される少なくとも１つのレンズロールオフ値を前記輝度情報に基づいて修正することと、前記少なくとも１つの修正されたレンズロールオフ値を使用して前記画像データに対して前記レンズロールオフ補正操作を実施することと、を備える方法。
［２］ 前記輝度情報に基づいて前記少なくとも１つのレンズロールオフ値を修正することが、前記レンズロールオフ補正操作の実施によってピクセルの輝度値が輝度しきい値を超えて増加するであろう場合は前記少なくとも１つのレンズロールオフ値を減少させることを含む、［１］に記載の方法。
［３］ 前記画像データに対して前記レンズロールオフ補正操作を実施することが、前記画像データのピクセルの輝度値を増加させることを含む。［１］に記載の方法。
［４］ 利得しきい値に基づいて前記少なくとも１つのレンズロールオフ値を修正することをさらに備える、［１］に記載の方法。
［５］ 前記利得しきい値に基づいて前記少なくとも１つのレンズロールオフ値を修正することが、前記少なくとも１つのレンズロールオフ値が上限利得しきい値を超える場合は前記少なくとも１つのレンズロールオフ値を減少させることを含む、［４］に記載の方法。
［６］ 前記利得しきい値に基づいて前記少なくとも１つのレンズロールオフ値を修正することが、前記少なくとも１つのレンズロールオフ値が下限利得しきい値を下回る場合は前記レンズロールオフ値を増加させることを含む、［４］に記載の方法。
［７］ 前記ピクセルの前記輝度値を増加させることが、前記ピクセルの前記輝度値に前記少なくとも１つの修正されたレンズロールオフ値を掛けることを含む、［３］に記載の方法。
［８］ 前記少なくとも１つのレンズロールオフ値がレンズロールオフ補正関数から計算される、［１］に記載の方法。
［９］ 前記少なくとも１つのレンズロールオフ値を修正することが、前記レンズロールオフ補正関数を変更することを含む、［８］に記載の方法。
［１０］ 前記画像データの複数の領域を定義することをさらに備える、［１］に記載の方法。
［１１］ 少なくとも１つの領域がエッジ検出を使用して識別される、［１０］に記載の方法。
［１２］ 前記少なくとも１つの領域をエッジ検出を使用して識別することが、実質的に類似の輝度レベルを有するピクセルを含む領域を識別することを含み、前記実質的に類似の輝度レベルが、前記識別された領域外の輝度レベルとは所定量だけ異なる、［１１］に記載の方法。
［１３］ 画像データを受け取り、前記画像データの輝度情報を計算し、レンズロールオフ補正操作で使用される少なくとも１つのレンズロールオフ補正値を前記輝度情報に基づいて修正し、前記少なくとも１つの修正されたレンズロールオフ値を使用して前記レンズロールオフ補正操作を実施するように構成された画像プロセッサを備える装置。
［１４］ 前記輝度情報に基づいて前記少なくとも１つのレンズロールオフ値を修正することが、前記レンズロールオフ補正操作の実施によってピクセルの輝度値が輝度しきい値を超えて増加するであろう場合は前記少なくとも１つのレンズロールオフ値を減少させることを含む、［１３］に記載の装置。
［１５］ 前記輝度情報が、複数の色成分のそれぞれに対応する輝度値を備える、［１３］に記載の装置。
［１６］ 前記画像データに対して前記レンズロールオフ補正操作を実施することが、前記ピクセルの少なくとも１つの色成分の輝度値を増加させることを含む、［１３］に記載の装置。
［１７］ 前記画像プロセッサが、領域の平均輝度測定を決定するようにさらに構成される、［１３］に記載の装置。
［１８］ 前記輝度情報に基づいて前記少なくとも１つのレンズロールオフ値を修正することが、前記領域の前記平均輝度測定に基づいて前記少なくとも１つのレンズロールオフ値を修正することを含む、［１７］に記載の装置。
［１９］ 前記画像プロセッサが、前記画像データの少なくとも１つの領域を定義するようにさらに構成される、［１３］に記載の装置。
［２０］ 前記画像プロセッサが、前記画像データの複数の領域を定義するようにさらに構成され、前記複数の領域が、実質的に等しいサイズの領域のグリッドを形成する、［１３］に記載の装置。
［２１］ 前記少なくとも１つのレンズロールオフ値がレンズロールオフ補正シナリオテーブルから取り出され、前記レンズロールオフ補正シナリオテーブルが、前記画像データに関連する照明条件に基づいて選択される、［１３］に記載の装置。
［２２］ 前記修正されたレンズロールオフ値が、修正されたレンズロールオフ値のテーブルに格納される、［１２］に記載の装置。
［２３］ 画像データを受け取るための手段と、前記画像データの輝度情報を計算するための手段と、レンズロールオフ補正操作で使用される少なくとも１つのレンズロールオフ値を前記輝度情報に基づいて修正するための手段と、前記少なくとも１つの修正されたレンズロールオフ値を使用して前記レンズロールオフ補正操作を実施するための手段と
を備える装置。
［２４］ 利得しきい値に基づいて前記少なくとも１つのレンズロールオフ値を修正するための手段をさらに備える、［２３］に記載の装置。
［２５］ 前記利得しきい値に基づいて前記少なくとも１つのレンズロールオフ値を修正するための前記手段が、前記少なくとも１つのレンズロールオフ値が上限利得しきい値を超える場合は前記少なくとも１つのレンズロールオフ値を減少させるための手段を含む、［２４］に記載の装置。
［２６］ 前記利得しきい値に基づいて前記少なくとも１つのレンズロールオフ値を修正するための前記手段が、前記レンズロールオフ値が下限利得しきい値を下回る場合は前記少なくとも１つのレンズロールオフ値を増加させるための手段を含む、［２４］に記載の装置。
［２７］ 画像データを受け取るためのコードと、前記画像データの輝度情報を計算するためのコードと、レンズロールオフ補正操作で使用される少なくとも１つのレンズロールオフ値を前記輝度情報に基づいて修正するためのコードと、前記修正されたレンズロールオフ値を使用して前記レンズロールオフ補正操作を実施するためのコードと
を備えるコンピュータ実行可能コードを格納するコンピュータ読取り可能媒体。
［２８］ 前記輝度情報に基づいて前記少なくとも１つのレンズロールオフ値を修正するための前記コードが、前記レンズロールオフ補正操作の実施によってピクセルの輝度値が輝度しきい値を超えて増加するであろう場合は前記少なくとも１つのレンズロールオフ値を減少させるためのコードを含む、［２７］に記載のコンピュータ読取り可能媒体。
［２９］ 前記輝度情報が、複数の色成分のそれぞれに対応する輝度値を備える、［２７］に記載のコンピュータ読取り可能媒体。
［３０］ 前記画像データに対して前記レンズロールオフ補正操作を実施するための前記コードが、前記ピクセルの少なくとも１つの色成分の輝度値を増加させるためのコードを含む、［２７］に記載のコンピュータ読取り可能媒体。

Claims (27)

1. 画像センサとレンズとを有する電子装置における方法であって、
   前記画像センサから画像データを受け取ることと、
   前記レンズに関するレンズロールオフ値を取得すること、
   前記画像データの輝度情報を計算することと、
   レンズロールオフ補正操作の実施によってピクセルの輝度値が輝度しきい値を超えて増加するであろう場合は少なくとも１つの前記レンズロールオフ値を減少させることによって前記レンズロールオフ補正操作で使用される少なくとも１つの前記レンズロールオフ値を前記輝度情報に基づいて修正することと、
   少なくとも１つの修正されたレンズロールオフ値を使用して前記画像データに対して前記レンズロールオフ補正操作を実施することと
   を備える方法。
2. 前記画像データに対して前記レンズロールオフ補正操作を実施することが、前記画像データのピクセルの輝度値を増加させることを含む、請求項１に記載の方法。
3. 利得しきい値に基づいて前記少なくとも１つのレンズロールオフ値を修正することをさらに備える、請求項１に記載の方法。
4. 前記利得しきい値に基づいて前記少なくとも１つのレンズロールオフ値を修正することが、前記少なくとも１つのレンズロールオフ値が上限利得しきい値を超える場合は前記少なくとも１つのレンズロールオフ値を減少させることを含む、請求項３に記載の方法。
5. 前記利得しきい値に基づいて前記少なくとも１つのレンズロールオフ値を修正することが、前記少なくとも１つのレンズロールオフ値が下限利得しきい値を下回る場合は前記レンズロールオフ値を増加させることを含む、請求項３に記載の方法。
6. 前記ピクセルの前記輝度値を増加させることが、前記ピクセルの前記輝度値に前記少なくとも１つの修正されたレンズロールオフ値を掛けることを含む、請求項２に記載の方法。
7. 前記少なくとも１つのレンズロールオフ値がレンズロールオフ補正関数から計算される、請求項１に記載の方法。
8. 前記少なくとも１つのレンズロールオフ値を修正することが、前記レンズロールオフ補正関数を変更することを含む、請求項７に記載の方法。
9. 前記画像データの複数の領域を定義することをさらに備える、請求項１に記載の方法。
10. 少なくとも１つの領域がエッジ検出を使用して識別される、請求項９に記載の方法。
11. 前記少なくとも１つの領域をエッジ検出を使用して識別することが、実質的に類似の輝度レベルを有するピクセルを含む領域を識別することを含み、前記実質的に類似の輝度レベルが、前記識別された領域外の輝度レベルとは所定量だけ異なる、請求項１０に記載の方法。
12. 画像センサと、
    レンズと、
    前記画像センサから画像データを受け取り、
    前記レンズに関するレンズロールオフ値を取得し、
    前記画像データの輝度情報を計算し、
    レンズロールオフ補正操作の実施によってピクセルの輝度値が輝度しきい値を超えて増加するであろう場合は少なくとも１つの前記レンズロールオフ値を減少させることによって前記レンズロールオフ補正操作で使用される少なくとも１つの前記レンズロールオフ値を前記輝度情報に基づいて修正し、
    少なくとも１つの修正されたレンズロールオフ値を使用して前記レンズロールオフ補正操作を実施する
    ように構成された画像プロセッサ
    を備える装置。
13. 前記輝度情報が、複数の色成分のそれぞれに対応する輝度値を備える、請求項１２に記載の装置。
14. 前記画像データに対して前記レンズロールオフ補正操作を実施することが、前記ピクセルの少なくとも１つの色成分の輝度値を増加させることを含む、請求項１２に記載の装置。
15. 前記画像プロセッサが、領域の平均輝度測定を決定するようにさらに構成される、請求項１２に記載の装置。
16. 前記輝度情報に基づいて少なくとも１つの前記レンズロールオフ値を修正することが、前記領域の前記平均輝度測定に基づいて少なくとも１つの前記レンズロールオフ値を修正することを含む、請求項１５に記載の装置。
17. 前記画像プロセッサが、前記画像データの少なくとも１つの領域を定義するようにさらに構成される、請求項１２に記載の装置。
18. 前記画像プロセッサが、前記画像データの複数の領域を定義するようにさらに構成され、前記複数の領域が、実質的に等しいサイズの領域のグリッドを形成する、請求項１２に記載の装置。
19. 少なくとも１つの前記レンズロールオフ値がレンズロールオフ補正シナリオテーブルから取り出され、前記レンズロールオフ補正シナリオテーブルが、前記画像データに関連する照明条件に基づいて選択される、請求項１２に記載の装置。
20. 前記修正されたレンズロールオフ値が、修正されたレンズロールオフ値のテーブルに格納される、請求項１２に記載の装置。
21. 画像センサと、
    レンズと、
    前記画像センサから画像データを受け取るための手段と、
    前記レンズに関するレンズロールオフ値を取得するための手段と、
    前記画像データの輝度情報を計算するための手段と、
    レンズロールオフ補正操作の実施によってピクセルの輝度値が輝度しきい値を超えて増加するであろう場合は少なくとも１つの前記レンズロールオフ値を減少させることによって前記レンズロールオフ補正操作で使用される少なくとも１つの前記レンズロールオフ値を前記輝度情報に基づいて修正するための手段と、
    少なくとも１つの修正されたレンズロールオフ値を使用して前記レンズロールオフ補正操作を実施するための手段と
    を備える装置。
22. 利得しきい値に基づいて少なくとも１つの前記レンズロールオフ値を修正するための手段をさらに備える、請求項２１に記載の装置。
23. 前記利得しきい値に基づいて少なくとも１つの前記レンズロールオフ値を修正するための前記手段が、少なくとも１つの前記レンズロールオフ値が上限利得しきい値を超える場合は少なくとも１つの前記レンズロールオフ値を減少させるための手段を含む、請求項２２に記載の装置。
24. 前記利得しきい値に基づいて少なくとも１つの前記レンズロールオフ値を修正するための前記手段が、前記レンズロールオフ値が下限利得しきい値を下回る場合は少なくとも１つの前記レンズロールオフ値を増加させるための手段を含む、請求項２２に記載の装置。
25. 画像センサから画像データを受け取るためのコードと、
    レンズに関するレンズロールオフ値を取得するためのコードと、
    前記画像データの輝度情報を計算するためのコードと、
    レンズロールオフ補正操作の実施によってピクセルの輝度値が輝度しきい値を超えて増加するであろう場合は少なくとも１つの前記レンズロールオフ値を減少させることによって前記レンズロールオフ補正操作で使用される少なくとも１つの前記レンズロールオフ値を前記輝度情報に基づいて修正するためのコードと、
    修正されたレンズロールオフ値を使用して前記レンズロールオフ補正操作を実施するためのコードと
    を備えるコンピュータ実行可能コードを格納するコンピュータ読取り可能記憶媒体。
26. 前記輝度情報が、複数の色成分のそれぞれに対応する輝度値を備える、請求項２５に記載のコンピュータ読取り可能記憶媒体。
27. 前記画像データに対して前記レンズロールオフ補正操作を実施するための前記コードが、前記ピクセルの少なくとも１つの色成分の輝度値を増加させるためのコードを含む、請求項２５に記載のコンピュータ読取り可能記憶媒体。

Images