JP5054184B2 - オートフォーカスカメラモジュールでのレンズシェーディング補償方法 - Google Patents

Description

本発明は、オートフォーカスカメラモジュールでレンズシェーディングを補償する方法に関するものである。

カメラモジュールは、携帯電話、ノートブックコンピュータ、ＰＤＡ（personal digital assistants）等を含む種々のカメラ機能付き製品に装着されており、最近のカメラモジュールの性能は、一般のデジタルカメラと比較しても遜色のない程のレベルになってきている。

一般に、映像撮像装置などにより撮像された映像には、被写体に該当する対象物の種々の情報を持っているが、対象物、撮影機器の性能あるいは撮影条件等によってその映像信号に該当する輝度信号及び色信号の成分にバラツキや歪みが頻繁に発生することがあった。したがって、カメラモジュールは、被写体の撮影において、レンズシェーディング補償（lens shading correction）、自動露出（auto exposure）補正及びオートホワイトバランス（auto white balance）などの補正を経た後にイメージのキャプチャーを行う。

かかるカメラモジュールにおいてイメージセンサーの周辺領域はレンズの光学特性により充分の光を受けられず、信号の減殺が起こるが、これをレンズシェーディング（lens shading）という。レンズシェーディングによる信号の減殺は、ピクセルの位置及びカラーによって異なってくる。したがって、イメージ信号処理器（image signal processor: ISP）は、より向上したイメージを得るためにレンズシェーディング補償（lens shading correction）という映像処理過程を通じて周辺の領域における信号の減殺を補償する。

固定レンズシェーディング補償（fixed lens shading correction）は、量産のカメラモジュールに同一のレンズシェーディング補償を適用するものである。レンズシェーディング補償を適用するためのゲインテーブルがカメラモジュールに一括として生成されてメモリーに保存され、イメージ信号処理器では、メモリーに保存されているゲインテーブルを用いて各ピクセルごとにゲインを補償することで、レンズ歪みを補正する。しかし、オートフォーカス（autofocus）機能付きカメラモジュールは、被写体にフォーカスを合わせるためにレンズが動きながらレンズシェーディング補償の歪み偏差が発生するという問題点があった。

本発明の目的は、オートフォーカス（autofocus）機能付きカメラモジュールで被写体にフォーカスを合わせるためにレンズが動きながら発生するレンズシェーディング補償の歪み偏差を最小化させることができるレンズシェーディング補償方法を提供することにある。

本発明の一実施例によるレンズシェーディング補償方法は、オートフォーカス（autofocus）機能を用いて、多数のレンズを含むレンズ部から光イメージを受けてイメージセンサーで電気的信号である映像データに変換し、該映像データをイメージ信号処理部でレンズシェーディング補償（lens shading correction）する方法において、各ピクセルが、均一な明るさ値を持つ標準映像入力に対して、あらかじめ設定された遠距離フォーカシング及び近距離フォーカシングのレンズ位置にしたがって光軸座標及び中心対比周辺のゲイン（gain）を獲得する段階と、前記オートフォーカス機能を用いて映像データを獲得する段階と、前記映像データの獲得時に用いられたレンズ位置にしたがって修正された光軸座標及び中心対比周辺のゲインを獲得する段階と、前記修正された光軸座標及び中心対比周辺のゲインを用いて前記映像データをレンズシェーディング補償する段階と、を含む。

本実施例によるレンズシェーディング補償方法によると、オートフォーカス機能付きカメラモジュールは、被写体にフォーカスを合わせるためにレンズが動きながらレンズシェーディング補償の歪み偏差が発生する問題点を解決することができ、レンズシェーディング補償による歪み偏差を最小化させることが可能になる。

遠距離フォーカシングと近距離フォーカシングにおけるレンズシェーディング補償前の明るさ状態を示す図である。 遠距離フォーカシングと近距離フォーカシングにおいて遠距離フォーカシングで最適化されたレンズシェーディング補償後の明るさ状態を示す図である。 本実施例によるレンズシェーディング補償方法を示すフローチャートである。 遠距離フォーカシング及び近距離フォーカシングにおける光軸移動を示す図である。 遠距離フォーカシング及び近距離フォーカシングにおける中心対比周辺のゲインを示す図である。 本実施例によるレンズシェーディング補償を行うカメラモジュールを含む映像システムを示すブロック図である。

本発明は、様々な変更を加えることができ、様々な実施例を有することができ、したがって、以下では、特定の実施例を図面に基づいて詳細に説明する。ただし、以下の特定の実施例及び図面は、本発明を限定するためのものではなく、本発明の思想及び技術範囲に含まれるいかなる変更、均等物乃至代替物も本発明の範囲に含まれるものとして理解すべきである。

ある構成要素が別の構成要素に「連結されている」とか「接続されている」とされた場合は、別の構成要素に直接連結されていたり接続されていたりすることもでき、中間の構成要素を介在していることもできる。

以下、添付の図面を参照しつつ、本発明の好適な実施例について詳細に説明する。ただし、図面中、同一のまたは対応する構成要素は同一の参照番号を付し、その重複説明は省略するものとする。

図１は、遠距離フォーカシングと近距離フォーカシングにおけるレンズシェーディング補償前の明るさ状態を示す図である。

図１を参照すると、レンズシェーディング補償前は、レンズの光学特性によって歪みが発生して、レンズの中心部の明るさと周辺部の明るさが一定でない状態を表し、近距離フォーカシングに比べて遠距離フォーカシングにおける歪みがより大きい。

図２は、遠距離フォーカシングと近距離フォーカシングにおいて遠距離フォーカシングで最適化されたレンズシェーディング補償後の明るさ状態を示す図である。

図２を参照すると、イメージの中心からの距離によってゲインを補償するレンズシェーディング補償を行う。このようなレンズシェーディング補償後には、レンズの中心部の明るさと周辺部の明るさが一定の状態を示すが、遠距離フォーカシングで最適化されたレンズシェーディング補償とする場合、近距離フォーカシングでは、周辺領域（Ａ参照）が過剰補正されて、中心よりも周辺が明るくなる歪みが発生してしまう。

オートフォーカス機能付きカメラモジュールでは、レンズ位置が遠距離フォーカシングから近距離フォーカシングへと動きながら発生するチルト（tilt）によって光軸がシフトする。遠距離フォーカシングではレンズがイメージセンサーに近づき、近距離フォーカシングではレンズがイメージセンサーから相対的に遠ざかりながら周辺の光量が変化することで中心対比周辺のゲインが変化することになる。

図３は、本実施例によるレンズシェーディング補償方法を示すフローチャートである。

図３を参照すると、各ピクセルが均一な明るさ値を有する標準映像入力に対して遠距離フォーカシング及び近距離フォーカシングにおける光軸座標及び中心対比周辺のゲインを獲得する（Ｓ１１０）。ここで、遠距離フォーカシング及び近距離フォーカシングにおけるレンズ位置は、カメラモジュールにおいて設定されていることもできる。例えば、遠距離フォーカシングにおける光軸座標及び中心対比周辺のゲインと、近距離フォーカシングにおける光軸座標及び中心対比周辺のゲインを、標準映像入力に対してそれぞれ獲得することができる。また、Ｓ１１０は、カメラモジュールの製作後に出荷に当たって行うこともできる。

図４は、遠距離フォーカシング及び近距離フォーカシングにおける光軸移動を示す図である。図４を参照すると、イメージセンサーピクセルをｘ軸及びｙ軸としたもので、遠距離フォーカシング光軸２１０が、レンズ位置の変化にしたがって近距離フォーカシング光軸２２０へと変化する。

図５は、遠距離フォーカシング及び近距離フォーカシングにおける中心対比周辺のゲインを示す図である。図５を参照すると、光軸を中心に、光軸からの距離による中心対比周辺のゲインであって、遠距離フォーカシングの中心対比周辺のゲイン３１０が、レンズ位置の変化にしたがって近距離フォーカシングの中心対比周辺のゲイン３２０へと変化する。

再び図３を参照すると、カメラモジュールが正常に動作すると（Ｓ１２０）、オートフォーカス機能を用いて被写体を撮影し、イメージデータを獲得する（Ｓ１３０）。

その後、被写体を撮影してイメージデータを獲得する時のレンズ位置にしたかって修正された光軸座標及び中心対比周辺のゲインを獲得して保存する（Ｓ１４０）。本実施例によるレンズ位置にしたがって修正された光軸座標は、下記の数学式１及び２で示すことができる。

ここで、ｄは、レンズ位置、ｍｉｎは遠距離フォーカシングレンズ位置、ｍａｘは近距離フォーカシングレンズ位置、ＣＸｍｉｎは遠距離フォーカシング光軸ｘ座標、ＣＹｍｉｎは遠距離フォーカシング光軸ｙ座標、ＣＸｍａｘは近距離フォーカシング光軸ｘ座標、ＣＹｍａｘは近距離フォーカシング光軸ｙ座標、ｃｅｎｔｅｒＸ（ｄ）はレンズ位置にしたがう光軸ｘ座標、ｃｅｎｔｅｒＹ（ｄ）はレンズ位置にしたがう光軸ｙ座標、をそれぞれ表す。

本実施例による修正された中心対比周辺のゲインは、下記の数学式３で示すことができる。

ここで、ｄはレンズ位置、ｍｉｎは遠距離フォーカシングレンズ位置、ｍａｘは近距離フォーカシングレンズ位置、Ｇｍｉｎは遠距離フォーカシングの中心対比周辺のゲイン、Ｇｍａｘは近距離フォーカシングの中心対比周辺のゲイン、Ｇａｉｎ（ｄ）はレンズ位置にしたがう中心対比周辺のゲイン、をそれぞれ表す。

その後、イメージデータをイメージ信号処理部（image signal processor: ISP）で、修正された光軸座標及び中心対比周辺のゲインを用いてレンズシェーディング補償処理する（Ｓ１５０）。続いて、レンズシェーディング補償処理によって補正されたイメージデータを出力する（Ｓ１６０）。補正されたイメージデータを、ディスプレイを通して出力することができる。

図６は、本実施例によるレンズシェーディング補償を行うカメラモジュールを含む映像システムを示すブロック図である。

図６を参照すると、映像システム１０は、カメラモジュール４００及びディスプレイ５００を含み、カメラモジュール４００は、レンズ部４１０、イメージセンサー部４２０、光軸／ゲイン修正部４３０、メモリー４４０、イメージ信号処理部４５０を含む。

レンズ部４１０は、多数のレンズを含み、被写体の光イメージを受ける。イメージセンサー部４２０は、レンズ部４１０から入射した光イメージを、電気的信号である原本映像データに変換し、映像システムで処理可能にする。ここで、原本映像データは、原データ（raw data）を意味し、光の強弱による電気的信号の変化のみが記録された情報である。

光軸／ゲイン修正部４３０は、本実施例によってレンズ部４１０で被写体を撮影してイメージデータを獲得する時のレンズ位置にしたがって修正された光軸座標及び中心対比周辺のゲインを獲得する。

メモリー４４０は、標準映像入力に対して遠距離フォーカシング及び近距離フォーカシングにおける光軸座標及び中心対比周辺のゲインと遠距離フォーカシングレンズ位置及び近距離フォーカシングレンズ位置に関する情報を保存しており、光軸／ゲイン修正部４３０から獲得された修正された光軸座標及び中心対比周辺のゲインと以下に説明されるイメージ信号処理部４５０で処理された映像データとをエンコーダを経てエンコーディングした圧縮映像データを保存する。

イメージ信号処理部４５０は、オートフォーカス機能を用いて撮影する時、メモリー４４０に保存されている修正された光軸座標及び中心対比周辺のゲインに基づき、イメージセンサー部４２０から入力された原本映像データをあらかじめ設定された基準によってレンズシェーディング補償処理する。それ以外にも、イメージ信号処理部４５０は、適応カラー補間（Adaptive Color Interpolation）、カラー補正（Color Correction）、ガンマ制御（GAMMA Control）、色相／ゲイン制御（Hue/Gain Control）、映像効果（Image Effect）、自動露出（Auto Exposure）、自動ホワイトバランス（Auto White Balance）、逆光補正などを行うことができる。

ディスプレイ５００は、メモリー４４０に保存された映像データを読んで画面に出力する。ディスプレイ５００は、液晶ディスプレイ（ＬＣＤ）または有機発光素子ディバイス（ＯＬＥＤ）などとすることができる。このような映像システムは、携帯電話に搭載することができる。

本実施例で使われた「〜部」という用語は、ソフトウェアまたはＦＰＧＡ（field-programmable gate array）またはＡＳＩＣのようなハードウェア構成要素を意味し、「〜部」は、特定役割を行う。ただし、「〜部」がソフトウェアまたはハードウェアに限定されることはない。「〜部」は、アドレシング可能な記憶媒体に含まれるように構成されることもでき、一つまたはそれ以上のプロセッサーを再生するように構成されることもできる。したがって、例えば、「〜部」は、ソフトウェア構成要素、客体指向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバー、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、及び変数を含む。これらの構成要素及び「〜部」より提供される機能は、より少ない数の構成要素及び「〜部」に結合されたり、追加的な構成要素及び「〜部」にさらに分離されたりすることができる。なお、構成要素及び「〜部」は、デバイスまたは保安マルチメディアカード内の一つまたはそれ以上のＣＰＵを再生するように具現されることもできる。

上述の全ての機能は、これらの機能を行うようにコーディングされたソフトウェアやプログラムコードなどによるマイクロプロセッサー、制御機、マイクロ制御機、ＡＳＩＣ（Application Specific Integrated Circuit）などのようなプロセッサーにより処理されることができる。該コードの設計、開発及び具現は、本発明の説明から当業者には明らかになるであろう。

以上では具体的な実施例に挙げて本発明を説明したが、当該技術分野における通常の知識を有する者にとっては、本発明の技術的思想及び領域を逸脱しない範囲内で本発明の様々な修正及び変更実施ができるということは明らかである。したがって、具体的な実施例に限定されず、本発明は、以下の特許請求の範囲内におけるいずれの実施例も含むことができる。

Claims (4)

1. オートフォーカス機能を用いて多数のレンズを含むレンズ部から光イメージを受け、該光イメージをイメージセンサーで電気的信号である映像データに変換し、該映像データをイメージ信号処理部でレンズシェーディング補償する方法であって、
   各ピクセルが均一な明るさ値を有する標準映像入力に対してあらかじめ設定された遠距離フォーカシング及び近距離フォーカシングにおけるレンズ位置にしたがって光軸座標及び中心対比周辺のゲインを獲得する段階と、
   前記オートフォーカス機能を用いて映像データを獲得する段階と、
   前記映像データの獲得時に用いられたレンズ位置に応じたシフト分を修正された光軸座標、及び前記レンズ位置に応じた変化分を修正された中心対比周辺のゲインを獲得する段階と、
   前記修正された光軸座標及び中心対比周辺のゲインを用いて前記映像データをレンズシェーディング補償する段階と、
   を含むレンズシェーディング補償方法。
2. 前記修正された光軸座標のうちｘ座標は、
   によって獲得し、
   ここで、ｄはレンズ位置、ｍｉｎは遠距離フォーカシングレンズ位置、ｍａｘは近距離フォーカシングレンズ位置、ＣＸｍｉｎは遠距離フォーカシング光軸ｘ座標、ＣＸｍａｘは近距離フォーカシング光軸ｘ座標、ｃｅｎｔｅｒＸ（ｄ）は修正された光軸座標のうちｘ座標である、請求項１に記載のレンズシェーディング補償方法。
3. 前記修正された光軸座標のうちｙ座標は、
   を用いて獲得し、
   ここで、ｄはレンズ位置、ｍｉｎは遠距離フォーカシングレンズ位置、ｍａｘは近距離フォーカシングレンズ位置、ＣＹｍｉｎは遠距離フォーカシング光軸ｙ座標、ＣＹｍａｘは近距離フォーカシング光軸ｙ座標、及びｃｅｎｔｅｒＹ（ｄ）は修正された光軸座標のうちｙ座標である、請求項１に記載のレンズシェーディング補償方法。
4. 前記修正された中心対比周辺のゲインは、
   を用いて獲得し、
   ここで、ｄはレンズ位置、ｍｉｎは遠距離フォーカシングレンズ位置、ｍａｘは近距離フォーカシングレンズ位置、Ｇｍｉｎは遠距離フォーカシングの中心対比周辺のゲイン、Ｇｍａｘは近距離フォーカシングの中心対比周辺のゲイン、Ｇａｉｎ（ｄ）は修正された中心対比周辺のゲインである、請求項１に記載のレンズシェーディング補償方法。