JP4185468B2 - 露光装置及び撮影画像の補正方法 - Google Patents

露光装置及び撮影画像の補正方法 Download PDF

Info

Publication number
JP4185468B2
JP4185468B2 JP2004096559A JP2004096559A JP4185468B2 JP 4185468 B2 JP4185468 B2 JP 4185468B2 JP 2004096559 A JP2004096559 A JP 2004096559A JP 2004096559 A JP2004096559 A JP 2004096559A JP 4185468 B2 JP4185468 B2 JP 4185468B2
Authority
JP
Japan
Prior art keywords
correction
image
optical distortion
distortion
contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004096559A
Other languages
English (en)
Other versions
JP2005286621A (ja
Inventor
靖雄 高根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2004096559A priority Critical patent/JP4185468B2/ja
Priority to US11/085,203 priority patent/US7944487B2/en
Publication of JP2005286621A publication Critical patent/JP2005286621A/ja
Application granted granted Critical
Publication of JP4185468B2 publication Critical patent/JP4185468B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Description

本発明は、撮像装置及び撮影画像の補正方法に係り、特に、光学レンズを介した撮影により得られた画像情報に含まれる光学歪みを補正すると共に、その画像情報に対して輪郭補正を行う撮像装置及び撮影画像の補正方法に関する。
銀塩カメラやデジタルカメラなどの光学レンズを通して被写体像を撮像して、被写体像を表す画像を取得する撮像装置では、光学レンズの屈折により取得した画像の周辺に歪みが生じてしまう。この歪みは、一般に光学歪み(ディストーション)と称され、撮像装置に用いられるレンズは、この光学歪みを打ち消すように構成されるが、ズームレンズの場合、同一のレンズ構成でテレ端及びワイド端を共に補正することは難しく、大きな光学歪みが発生し易い。また、単焦点のレンズにおいても、補正するために高価な素材レンズ或いはレンズ構成を増やすことが必要とされ、薄くて安価なレンズ構成とするのは難しく、やはり光学歪みが残ってしまう。このように、撮像装置に用いられるレンズの歪み特性はコストや大きさの制限から0%にすることは難しく、1%前後が視覚上妥当であると考えられている。
銀塩カメラのように取得された画像がフイルムに記録される場合は、記録後の画像の補正は不可能であり、レンズ性能によって光学歪みが決まってしまう。一方、デジタルカメラのようにデジタルデータで画像が取得されて記録メディアに記録される場合は、記録後でも演算処理によって画像を補正することが可能である。このため、デジタルカメラの分野では、従来より、光学歪み補正に関する技術が提案されている。
ここで、光学歪みは、図6(A)に示すように、画像の角部が外側に伸びる「糸巻き型」と、図6(B)に示すように、逆に角部が縮む「たる型」の2種類に分けられ、何れも光学中心からの距離によって歪み量(変位量)が決まることが一般に知られている。すなわち、変位量が線形であれば、単に縮小或いは拡大されるだけであるが、実際には、図6(C)に示すように非線形であり、正の変位量の場合は、各画素は本来の位置から中心より遠ざかる位置にずれるので「糸巻き型」となり、負の変位量の場合は、各画素は本来の位置から中心へ近づく位置になるので「たる型」となる。
従来、このような光学歪みを補正するための技術として、画像の各座標で補正量を求めてテーブルとしてメモリに予め格納しておき、被写体を撮影して得られたデジタル画像データに対して、記憶しておいた補正量に基づいて、線形補間を行って各画素を補正する方法がある(例えば、特許文献1参照)。しかしながら、この技術では、補正量のテーブルを格納するメモリには画像の大きさに応じた記憶容量が必要とされ、画像サイズが大きくなるとこのメモリに必要とされる記憶容量も大きくなるので、ワーク領域の減少や価格が高くなってしまう。
これを解消するために考えられた技術が、補正量を近似式で表して補正する方法である。すなわち、光学的歪みの変位量は、多項式で近似表現可能であることが一般に知られており、その逆数を補正式として用いるものである。この技術では、各座標の補正量をテーブルで保持する必要がなく、メモリにはパラメータ(多項式の係数)のみを記憶しておけば、演算により全ての補正前後の画像の座標を対応付けることができる(例えば、特許文献2参照)。また、テレ端及びワイド端などの異なる焦点距離に対応するために、焦点距離毎にパラメータを記憶しておき、撮影時の焦点距離に応じて、パラメータを選択して補正を行う技術もある(例えば、特許文献3参照)。さらに、デジタル画像データ(RGBデータ)をYUVデータに変換し、このうちUVデータについて間引きして、補正を行うことで、補正処理を高速化する技術もある(例えば、特許文献4参照)。
なお、コンピュータ(PC)で実行するアプリケーションソフトには、光学歪みの補正処理を行うアプリケーションソフトもあり、デジタル撮像装置により撮影した画像データをPCに転送し、PC側でこのアプリケーションソフトを実行することによって、光学歪みを補正することもできる。ただし、PCに光学歪みの補正処理を行うアプリケーションソフトをインストールする作業や、補正したいデジタル画像データをPC(内蔵のRMA等)に転送する作業が必要とされ、撮影者の作業負担軽減のためには、上記技術のようにデジタル撮像装置側で補正を行うのが好ましい。
特開平6−292207号公報 特開平11−252431号公報 特開平11−275391号公報 特開平11−250240号公報
しかしながら、光学歪みに対して画面全体で均一な歪み率の画像になるように補正するのが上述したディストーション補正であるが、光学歪みは光学レンズの中心部から周辺部に向かうに従って大きくなるため、これらの技術を含め、光学歪みを補正する殆どの技術では、光学レンズを介して得られた画像データにより示される画像の中心部から周辺部に向かうに従って移動量が大きくなる座標変換(近傍の数点からの補間演算)を行っており、この結果として補正後の画像データによって示される画像が中心部から周辺部に向かうに従って周波数応答の変化が顕著になり画質が劣化するという問題がある。
例えば、上記座標変換を行うに際して画素補間を伴う場合には、図7に示すように、画素補間によって得られた画素GHの光学歪みに応じた移動量は画像の中心部から周辺部に向かうほど移動量が大きくなる。この問題は、光学歪みが糸巻き型であっても、たる型であっても生じる。
本発明は上記事実を考慮して、光学歪みの補正に起因する画質の劣化を抑制することができる撮像装置及び撮影画像の補正方法を提供することを課題とする。
上記目的を達成するために請求項1に記載の発明は、光学レンズを介した撮影により得られた画像情報に含まれる光学歪みを補正する歪み補正手段と、前記歪み補正手段による光学歪みの補正量が大きくなるほど輪郭補正の補正量が大きくなるように補正係数を設定する設定手段と、前記歪み補正手段により光学歪みが補正された前記画像情報によって示される画像に対して、前記設定手段により設定された前記補正係数を用いて輪郭補正を行う輪郭補正手段と、を有すると共に、前記設定手段は、前記画像情報に含まれる光学歪みが所定の閾値を超える領域に前記補正係数を設定することを特徴としている。
請求項3に記載の発明は、光学レンズを介した撮影により得られた画像情報に含まれる光学歪みを補正し、前記光学歪みの補正量が大きくなるほど輪郭補正の補正量が大きくなるように補正係数を設定し、前記光学歪みが補正された前記画像情報によって示される画像に対して、前記補正係数を用いて輪郭補正を行うと共に、前記画像情報に含まれる光学歪みが所定の閾値を超える領域に前記補正係数を設定することを特徴としている。
請求項1及び請求項3に記載の発明では、光学レンズを介した撮影により得られた画像情報に含まれる光学歪みが歪み補正手段によって補正される。なお、当該補正の手法としては、前述したような歪み補正テーブルを用いる手法、当該テーブルを設けることなく当該テーブルによって示される情報を高次の関数等を用いた演算により導出して適用する手法等、光学歪みを補正するあらゆる手法を適用することができる。
ここで、本発明では、歪み補正手段による光学歪みの補正量が大きくなるほど、輪郭補正の補正量が大きくなるように設定手段により補正係数が設定され、輪郭補正手段によって、歪み補正手段により光学歪みが補正された画像情報によって示される画像に対して上記設定手段により設定された補正係数が用いられて輪郭補正が行われる。これにより、光学歪みの補正に起因する画質の劣化を抑制することができる。
また、本発明の設定手段は、画像情報に含まれる光学歪みが所定の閾値を超える領域に設定する。例えば、画像に表れる歪みが視覚上ほぼ問題とならない所定の閾値以下の領域に対しては補正係数を設定せず、当該所定の閾値を超える領域に対してのみ補正係数を設定するなどが可能であり、これによって、取り扱う情報量が減少し処理の高速化を図ることができる。
ところで、光学歪みは光学レンズの中心部から周辺部に向かうに従って大きくなることは前述した通りであるが、画像に表れる歪みとしては、通常、画像は横長の矩形状とされるため画像の縦方向よりも横方向の方が大きくなる。
この点に着目し、請求項2に記載の発明は、請求項1に記載の撮像装置において、前記設定手段は、前記画像情報によって示される画像の縦方向及び横方向に対する前記補正係数を、それぞれ独立して設定するものである。同様に、請求項4に記載の発明は、請求項3に記載の撮影画像の補正方法において、前記画像情報によって示される画像の縦方向及び横方向に対して、それぞれ独立して前記補正係数を設定するものである。
例えば、画像に表れる歪みが横方向よりも小さくなる縦方向は、補正手段によって補正される上記光学歪みの補正量が画像の横方向よりも小さくなるため、この縦方向に対しては横方向よりも補正係数を小さく設定するなどが可能であり、これによって、取り扱う情報量が減少し処理の高速化を図ることができる。
本発明の撮像装置及び撮影画像の補正方法は、上記構成及び方法としたので、光学歪みの補正に起因する画質の劣化を抑制することができる。
以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、ここでは、本発明の撮像装置をデジタルカメラに適用した場合について説明する。
まず、図1を参照して、本実施の形態に係るデジタルカメラ10の構成を説明する。同図に示されるように、このデジタルカメラ10には、被写体像を結像させるためのレンズ12と、レンズ12の光軸後方に配設された電荷結合素子(以下、「CCD」という。)14と、入力されたアナログ信号に対してCDS(相関2重サンプリング処理)等の各種のアナログ信号処理を行った後にデジタルデータに変換する前処理部16と、撮影を実行する際に押圧操作されるレリーズボタン18と、デジタルカメラ10の全体的な動作を司る主制御部20と、CCD14に対する同期信号を生成するタイミングジェネレータ31と、が備えられている。
一方、主制御部20には、設定手段としてのCPU(中央演算処理装置)21と、入力されたデジタルデータに対して各種デジタル信号処理を行う信号処理部22と、入力された未圧縮のデジタルデータに対して予め定められた圧縮形式(本実施の形態では、JPEG形式)で圧縮処理を施す一方、入力された圧縮済みのデジタルデータに対して圧縮形式に応じた伸張形式で伸張処理を施す圧縮・伸張部23と、主制御部20の外部に配置された各部との間の情報の授受を司る入出力制御部(以下、「I/O」という。)24と、が備えられている。
また、主制御部20には、装着された記録媒体に対するアクセスの制御を行うメディアインタフェース(以下、「メディアI/F」という。)25と、被写体像やメニュー画面等を不図示の液晶ディスプレイに表示させるための信号を生成して当該液晶ディスプレイに供給する表示制御部26と、外部装置との間のUSB(Universal Serial Bus)規格による相互通信を司るUSBインタフェース(以下、「USBI/F」という。)27と、内部メモリに対するアクセスの制御を行うメモリ制御部30と、が備えられている。
CPU21、信号処理部22、圧縮・伸張部23、I/O24、メディアI/F25、表示制御部26、USBI/F27、及びメモリ制御部30は、バスB1を介して相互に接続されている。
したがって、CPU21は、信号処理部22、圧縮・伸張部23の作動の制御、I/O24を介した各部との間の情報の授受、装着された記録媒体へのメディアI/F25を介したアクセス、不図示の液晶ディスプレイへの表示制御部26を介した各種情報の表示、外部装置との間のUSBI/F27を介したUSB規格による相互通信、及び内部メモリへのメモリ制御部30を介したアクセス、を各々行うことができる。
また、CPU21にはレリーズボタン18が接続されており、CPU21は、レリーズボタン18に対する押圧操作の状態を常時把握することができる。
また、信号処理部22の入力端は前処理部16を介してCCD14の出力端に接続されており、I/O24の出力端はタイミングジェネレータ31を介してCCD14の入力端に接続されている。したがって、被写体に対する撮像によってCCD14から出力された被写体像を示すアナログ信号は前処理部16において各種アナログ信号処理が施された後にデジタル画像データに変換されて信号処理部22に入力され、各種デジタル信号処理が施された後にメモリ制御部30を介して内部メモリ(詳細には、後述するSDRAM32)に一旦記憶される。また、このときのCCD14による撮像動作は、CPU21によるI/O24を介した制御によってタイミングジェネレータ31により生成された同期信号に同期して行われる。
一方、デジタルカメラ10には、上記内部メモリとしてSDRAM(Synchronous DRAM)32及びROM34が備えられており、これらのメモリはバスB2を介してメモリ制御部30に接続されている。したがって、CPU21は、メモリ制御部30及びバスB2を介してSDRAM32及びROM34にアクセスすることができる。
また、デジタルカメラ10には、記録媒体36A及び記録媒体36Bの2枚の記録媒体が装着可能とされており、これらの記録媒体は装着された状態でバスB3を介してメディアI/F25に接続される。したがって、CPU21は、メディアI/F25及びバスB3を介して記録媒体36A及び記録媒体36Bにアクセスすることができる。なお、本実施の形態のデジタルカメラ10では、記録媒体36Aとしてスマート・メディアが、記録媒体36Bとしてコンパクト・フラッシュが、各々適用されている。
また、本実施の形態では、主制御部20は、1チップLSI(Large Scale Integrated circuit)として構成されており、これによってデジタルカメラ10の小型化、高信頼性化、及び低コスト化が図られている。
以下、要部について詳細に説明する。
レンズ12は、図示しないズームレンズ群及びフォーカスレンズを有し、且つそれぞれを光軸方向に移動させるレンズ移動機構を備え、焦点距離の変更(変倍)が可能なズームレンズ(光学ユニット)として構成されている。
レンズ12は、図示しないA/F制御回路と接続されており、A/F制御回路の制御により、所望のズーム倍率になるようにズームレンズ群が光軸方向に移動され(焦点距離可変レンズ)、レンズを通過した被写体像を示す入射光がCCD14の受光面上に結像するように、フォーカスレンズが光軸方向に移動される(オートフォーカス(AF)機構)ようになっている。これにより、CCD14では、レンズ12を通過した被写体像を示す入射光に基づき被写体を撮影して被写体像を示すアナログ画像信号を出力する。
なお、本実施の形態では、合焦制御として、撮影によって得られた画像のコントラストが最大となるようにレンズ位置を調整する、所謂TTL(Through The Lens)方式を採用しており、撮影エリア内の予め定められた位置(AFフレーム)に存在する被写体に焦点が合うように、自動的に合焦制御が行われるようになっている。具体的には、撮影者による図示しないモード切替スイッチの操作により、静止画を撮影するための静止画撮影モードが選択されている場合には、レリーズボタン18が半押しされることによって、自動的に合焦制御が行われる。一方、動画を撮影するための動画撮影モードが選択されている場合には、レリーズボタン18が全押しされて撮影が開始された後、連続的に合焦制御が行われるようになっている。
また、CCD14による撮影は、静止画又は動画を撮影するための撮影モード(静止画撮影モード、動画撮影モード)が選択されている場合に行われるようになっている。具体的には、静止画撮影モードが選択され、レリーズボタン18が全押しされた場合には、所定のシャッタスピード及び露出光量で撮影が1回行われ、被写体像を示す静止画像が撮影される。それ以外の場合、すなわち、静止画撮影モード又は動画撮影モードが選択されて静止画又は動画の撮影スタンバイ時や、動画撮影モードが選択されてレリーズボタン18が全押しされている場合には、CCD14による連続的な撮影結果が出力される、動画撮影可能となっている。
信号処理部22は、図2に示すように、静止画及び動画に係わらず、入力されたデジタル画像データに対して所定のデジタル信号処理を施す信号処理回路50と、動画を示すデジタル画像データに対して所定のデジタル信号処理を施す動画信号処理回路52と、静止画を示すデジタル画像データに対して所定のデジタル信号処理を施す静止画信号処理回路54と、を備えている。さらに、信号処理部22は、レンズ12を介した撮影により得られたデジタル画像データに含まれる光学歪みを補正する歪み補正手段としてのディストーション補正回路56と、ディストーション補正回路56により光学歪みが補正されたデジタル画像データに対して輪郭強調補正を行う輪郭補正手段としての輪郭補正回路58と、を備えている。
これら動画信号処理回路52、静止画信号処理回路54、ディストーション補正回路56及び輪郭補正回路58各々は、バスB1とも接続されている。すなわち、主制御部20内では、バスB1を介して、信号処理部22及びCPU21が相互に接続されている。
信号処理部22では、前処理部16からのデジタル画像データは、まず、信号処理回路50に入力されるようになっており、この信号処理回路50において、デジタル画像データには、例えば、ホワイトバランス調整、ガンマ補正、シャープネス補正等の各種補正処理、及びRGBデータ(R(赤)、G(緑)、B(青)の各色毎の画像データ)をYC信号(輝度信号Yとクロマ信号Cr、Cb)に変換するYC変換処理といった処理が施される。
信号処理回路50の出力端は、動画信号処理回路52及び静止画信号処理回路54と接続されている。動画信号処理回路52及び静止画信号処理回路54には、信号処理回路50により各種補正処理が施されYC変換後のデジタル画像データが入力される。
動画信号処理回路52又は静止画信号処理回路54による処理後のデジタル画像データは、バスB1を介してディストーション補正回路56に入力される。
ディストーション補正回路56には、光学歪みの変位量を近似した多項式を示すパラメータ(多項式の係数)が予め記憶されており、このパラメータを利用して、入力されたデジタル画像データに含まれる光学歪みを補正するものである。
詳しくは、光学歪みによる変位量は、画像中心(光学中心)からの距離dの多次元関数F(d)で近似表現することができる。したがって、補正後の画像における画素の座標を(x、y)とすると(x、yは整数)、これに対応する補正前の画像の座標(X,Y)は、次式に示すようになる。
(X,Y)=(x×F(d)、y×F(d))、d=(x2+y21/2
光学歪みの補正は、このようにして補正後の画像の座標(x、y)に対応する補正前の画像の座標(X、Y)を求めたら、該補正前の画像における座標(X、Y)にある画素データPを補正後の画像の座標(x、y)に移動することで行うことができるが、通常、上記式により求めた補正前の画像の座標(X、Y)は整数値にならず、補正前の画像には対応する画素データが存在しない。
このため、求めた補正前の画像の座標(X、Y)に対応する画素データを、当該補正前の画像の座標(X、Y)近傍の実在する画素データから内挿によって求めて補間する必要がある。この場合の補間方法(内挿方法)としては、例えば、最近傍補間法(nearest neighbor interpolation)、線形補間法(bi-linear interpolation)を挙げられる。
すなわち、最近傍法や線形補間法などの補間方法に従って補間して求めた画素データを補正後の画像における座標(x、y)の画素データとすることで、光学歪みを補正することができる。
なお、本実施の形態に係るディストーション補正回路56では、補間方法として線形補間法を適用している。
次に、図3を参照して、本実施の形態に係る輪郭補正回路58の構成について説明する。同図に示すように、輪郭補正回路58は、予め定められた高周波数帯域を通過させるバンド・パス・フィルタ(以下、「BPF」という。)58Aと、乗算器58Bと、加算器58Cと、ゲイン演算回路58Dと、を含んで構成されている。
ゲイン演算回路58Dは、CPU21から入力された、詳細については後述する補正係数を示すデータ信号に基づいて輪郭補正の度合いを示すゲインを演算する。
BPF58Aは、SDRAM32に記憶された輝度信号Yが入力されるものであり、当該輝度信号Yから所定高周波帯域の成分を抽出して乗算器58Bに出力する。例えば、入力された輝度信号Yが図4(A)に示すような状態である場合、BPF58Aから乗算器58Bには、図4(B)に示すような輝度信号Yのエッジの位置に対応するパルス(以下、「エッジ・パルス」という。)が出力される。すなわち、BPF58Aは、輝度信号Yにより示される被写体像の輪郭部を抽出する役割を有している。
乗算器58Bでは、BPF58Aから入力されたエッジ・パルスに対してゲイン演算回路58Dが上記補正係数を示すデータ信号に基づいて演算したゲインを乗算して、一方の入力端に上記輝度信号Yが入力される加算器58Cの他方の入力端に出力する。
したがって、加算器58Cでは、入力された輝度信号Yに対して、乗算器58Bにより上記ゲインに応じて増幅されたエッジ・パルスが加算され、一例として図4(C)に示すような、画像(被写体像)の輪郭が強調された状態の輝度信号Y’が生成されて出力され、SDRAM32に記憶される。
一方、本実施の形態に係るデジタルカメラ10は、CPU21の不図示のレジスタに、前述した画像の輪郭を強調するための補正係数を近似した多項式を示すパラメータ(多項式の係数)が予め記憶されており、このパラメータによって示される多項式(演算式)を利用して、入力されたアドレスによって示される処理対象とする画素の画像上の位置に対応する補正係数を示すデータ信号を出力するものである。
ここで、本実施の形態に係る上記演算式は、一例として図5(B)に示すように、画像に表れる歪みが視覚上ほぼ問題とならない所定の閾値以下の領域、ここでは、図5(A)に示す光学歪み率:Z=1%に対応するレンズ中心からの距離dzに相当する値以下の領域、に対しては補正係数を出力せず、上記所定の閾値を超える領域に対してのみ輪郭強調ゲインを演算するための補正係数を出力し、且つ、レンズ中心からの距離が離れるほど輪郭強調ゲインが大きな値となるような補正係数を出力する多項式が設定されている。
さらに、上記演算式は、画像の横方向に対応する補正係数を出力する演算式GHと、画像の縦方向に対応する補正係数を出力する演算式GVと、で個別に設定されており、演算式GVは、演算式GHよりも輪郭強調ゲインが小さな値となるような補正係数を出力する多項式に設定されている。
これらの演算式GH、GVにより、CPU21のレジスタからは、入力されたアドレスによって示される処理対象とする画素の画像上の位置に対応する補正係数を示すデータ信号が出力される。
次に、本実施の形態に係るデジタルカメラ10の作用を説明する。
まず、CCD14は、レンズ12を介して被写体の撮像を行い、被写体像を示すR(赤)、G(緑)、B(青)毎のアナログ信号を前処理部16に順次出力する。前処理部16は、CCD14から入力されたアナログ信号に対してCDS等の各種のアナログ信号処理を行った後にデジタル画像データに変換して信号処理部22に順次出力する。
信号処理部22は、前処理部16から入力されたデジタル画像データに対してホワイトバランス調整処理、ガンマ処理等の各種デジタル信号処理を行った後にYC信号処理を行って輝度信号Yとクロマ信号Cr、Cbを生成し、これらの信号をデジタル画像データとしてメモリ制御部30を介してSDRAM32の所定領域に格納する。
SDRAM32の所定領域に格納されたデジタル画像データは、CPU21による制御に応じてディストーション補正回路56によって読み出され、前述した手法による光学歪みの補正が行われた後に再度SDRAM32の所定領域に格納される。
その後、以上によって光学歪みの補正が行われ、SDRAM32に格納されたデジタル画像データに対し、CPU21による制御の下で輪郭補正回路58により、前述した演算式GH、GVにより設定される補正係数に基づいた輪郭強調補正が行われる。
詳細には、CPU21は、輪郭補正の処理対象とする画素の位置を示すアドレス(本実施の形態では、処理対象とするデジタル画像データにより示される被写体像の左上端部に位置する画素のアドレスを起点とした水平方向及び垂直方向の画素単位のアドレス)が入力され、当該アドレスにより示される当該画素の被写体像上の位置に対応する補正係数を、前述した演算式GH、GVに基づき、当該画素に対するディストーション補正回路56による光学歪みの補正量が大きくなるほど輪郭強調補正の補正量(乗算器58Bに入力される上記ゲイン)を増加させるものとしてゲイン演算回路58Dに出力する。
以上の処理によって、輪郭補正回路58の加算器58Cからは、演算式GH、GVに基づき、ディストーション補正回路56による光学歪みの補正量が大きくなるほど補正量が大きくなるように設定されたゲインを用いて輪郭強調補正が行われた輝度信号Y’が出力されるので、当該輝度信号Y’をSDRAM32の対応する輝度信号Yの値に上書き記憶する。
そして、処理対象とするデジタル画像データの全ての画素についての処理が終了すると、ディストーション補正回路56による光学歪み補正後の1被写体像分のデジタル画像データが、輪郭補正回路58によって輪郭強調補正が施されたものとされる。
なお、本実施の形態に係るデジタルカメラ10の不図示の液晶ディスプレイは、CCD14による連続的な撮像によって得られた動画像(スルー画像)を表示してファインダとして使用することができるものとして構成されており、当該液晶ディスプレイをファインダとして使用する場合には、輪郭補正回路58により輪郭強調補正が施された輝度信号Y’と、クロマ信号Cr、Cbとを、表示制御部26を介して順次液晶ディスプレイに出力する。これによって液晶ディスプレイにスルー画像が表示されることになる。
また、レリーズボタン18がユーザによって半押し状態とされた場合、AE機能が働いて露出状態が設定された後、AF機能が働いて合焦制御され、その後、引き続き全押し状態とされた場合、この時点でSDRAM32に格納されている輝度信号Y’と、クロマ信号Cr、Cbとを、圧縮・伸張部23によって所定の圧縮形式(本実施の形態では、JPEG形式)で圧縮した後にメディアI/F25及びバスB3を介して、ユーザによって予め指定された記録媒体36A又は36Bに記録する。これにより撮影が行われる。
以上詳細に説明したように、本実施の形態に係るデジタルカメラ10では、レンズ12を介した撮影により得られたデジタル画像データに含まれる光学歪みを補正し、当該光学歪みの補正量が大きくなるほど補正量が大きくなるように補正係数(ゲイン)を設定し、光学歪みが補正されたデジタル画像データに対して、上記設定した補正係数を用いて輪郭補正を行っているので、光学歪みの補正に起因する画質の劣化を抑制することができる。
また、本実施の形態に係るデジタルカメラ10では、デジタル画像データに含まれる光学歪みが所定の閾値(光学歪み率:Z=1%に対応するレンズ中心からの距離dzに相当する値)を超える領域のみに補正係数を設定しているため、取り扱う情報量が減少し処理の高速化を図ることができる。
また、画像に表れる歪みが横方向よりも小さくなる縦方向は、ディストーション補正回路56によって補正される光学歪みの補正量が画像の横方向よりも小さくなるため、本実施の形態に係るデジタルカメラ10では、デジタル画像データによって示される画像の縦方向及び横方向でそれぞれ独立して補正係数を設定し、縦方向に対しては横方向よりも補正係数を小さく設定しているため、これによっても取り扱う情報量が減少し処理の高速化を図ることができる。
なお、本実施の形態では、本発明の補正係数を、処理対象画素の被写体像の中心からの距離に応じて演算結果が大きくなる演算式(GH、GV)を用いて導出する場合について説明したが、他にも、例えば演算式(GH、GV)によって示される補正係数が割り振られたテーブル(LUT)を用い、入力されたアドレスによって示される処理対象とする画素の被写体像上の位置に対応する補正係数が出力される形態とすることもできる。この場合は、演算式による演算のための負荷を減少させることができ、更なる高速処理が可能となる。
また、本実施の形態では、輪郭補正回路58による輪郭補正処理にCPU21を関与させた場合について説明したが、本発明はこれに限定されるものではなく、例えば、他のプロセッサを信号処理部22に設け、そのプロセッサによって輪郭補正処理を実行することによりCPU21を関与させない形態とすることもできる。この場合は、CPU21の負荷を低減することができる。
また、ディストーション補正回路56で行う光学歪みの補正手法は本実施の形態で説明したものに限らず、前述した歪み補正テーブルを用いる手法等、光学歪みを補正する既存のあらゆる手法を適用することができる。
更に、本実施の形態に係るデジタルカメラ10及び輪郭補正回路58の構成(図1〜図3参照)も一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能である。
例えば、上述した輪郭補正を行う輪郭補正回路58には、特性の異なる複数のBPFを設け、その複数のBPFを組み合わせて輪郭補正を実行することも可能である。さらにその場合は、ズーム位置(焦点距離)を検出し、レンズ12の歪み率と焦点距離とに応じて輪郭補正を行うよう、複数のBPFの組み合わせ加算の割合を可変できるようにしてもよい。
本発明の一実施の形態に係るデジタルカメラの構成を示すブロック図である。 本発明の一実施の形態に係る信号処理部の構成を示すブロック図である。 本発明の一実施の形態に係る輪郭補正回路の構成を示すブロック図である。 本発明の一実施の形態に係る輪郭補正回路の動作の説明に供する波形図である。 (A)はレンズ中心からの距離とレンズの光学歪み率の関係を示す図で、(B)は(A)に対応する輪郭補正の補正係数を演算する演算式を示す図である。 (A)は糸巻き型の光学歪みの形状、(B)はたる型の光学歪みの形状を示し、(C)は、糸巻き型及びたる型の各々の光学歪みの変位量(光学ディストーション)を示す図である。 従来技術の問題点の説明に供する模式図である。
符号の説明
10 デジタルカメラ(撮像装置)
21 CPU(設定手段)
56 ディストーション補正回路(歪み補正手段)
58 輪郭補正回路(輪郭補正手段)

Claims (4)

  1. 光学レンズを介した撮影により得られた画像情報に含まれる光学歪みを補正する歪み補正手段と、
    前記歪み補正手段による光学歪みの補正量が大きくなるほど輪郭補正の補正量が大きくなるように補正係数を設定する設定手段と、
    前記歪み補正手段により光学歪みが補正された前記画像情報によって示される画像に対して、前記設定手段により設定された前記補正係数を用いて輪郭補正を行う輪郭補正手段と、を有すると共に
    前記設定手段は、前記画像情報に含まれる光学歪みが所定の閾値を超える領域に前記補正係数を設定することを特徴とする撮像装置。
  2. 前記設定手段は、前記画像情報によって示される画像の縦方向及び横方向に対する前記補正係数を、それぞれ独立して設定することを特徴とする請求項1に記載の撮像装置。
  3. 光学レンズを介した撮影により得られた画像情報に含まれる光学歪みを補正し、
    前記光学歪みの補正量が大きくなるほど輪郭補正の補正量が大きくなるように補正係数を設定し、
    前記光学歪みが補正された前記画像情報によって示される画像に対して、前記補正係数を用いて輪郭補正を行うと共に、
    前記画像情報に含まれる光学歪みが所定の閾値を超える領域に前記補正係数を設定することを特徴とする撮影画像の補正方法
  4. 前記画像情報によって示される画像の縦方向及び横方向に対して、それぞれ独立して前記補正係数を設定することを特徴とする請求項3に記載の撮影画像補正方法。
JP2004096559A 2004-03-29 2004-03-29 露光装置及び撮影画像の補正方法 Expired - Fee Related JP4185468B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004096559A JP4185468B2 (ja) 2004-03-29 2004-03-29 露光装置及び撮影画像の補正方法
US11/085,203 US7944487B2 (en) 2004-03-29 2005-03-22 Image pickup apparatus and image pickup method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004096559A JP4185468B2 (ja) 2004-03-29 2004-03-29 露光装置及び撮影画像の補正方法

Publications (2)

Publication Number Publication Date
JP2005286621A JP2005286621A (ja) 2005-10-13
JP4185468B2 true JP4185468B2 (ja) 2008-11-26

Family

ID=34989875

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004096559A Expired - Fee Related JP4185468B2 (ja) 2004-03-29 2004-03-29 露光装置及び撮影画像の補正方法

Country Status (2)

Country Link
US (1) US7944487B2 (ja)
JP (1) JP4185468B2 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4743007B2 (ja) * 2006-06-16 2011-08-10 ソニー株式会社 画像処理装置および画像処理方法、記録媒体、並びに、プログラム
JP4732303B2 (ja) * 2006-11-02 2011-07-27 キヤノン株式会社 撮像装置
TW200822699A (en) * 2006-11-03 2008-05-16 Innolux Display Corp Image signal processing circuit
CN101287066A (zh) * 2007-04-12 2008-10-15 Hoya株式会社 摄像装置
WO2008139577A1 (ja) * 2007-05-09 2008-11-20 Fujitsu Microelectronics Limited 画像処理装置、撮像装置、および画像歪み補正方法
JP5001717B2 (ja) * 2007-05-28 2012-08-15 パナソニック株式会社 輪郭強調装置
US20100141852A1 (en) * 2008-12-05 2010-06-10 Robe Lighting S.R.O. Distortion Corrected Improved Beam Angle Range, Higher Output Digital Luminaire System
JP5607911B2 (ja) * 2009-10-21 2014-10-15 オリンパスイメージング株式会社 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
JP2011090563A (ja) * 2009-10-23 2011-05-06 Mitsubishi Electric Corp 画像補正装置
JP2011205288A (ja) * 2010-03-25 2011-10-13 Toshiba Corp 固体撮像装置およびテストチャート
JP5793975B2 (ja) * 2010-08-03 2015-10-14 株式会社リコー 画像処理装置、画像処理方法、プログラム、記録媒体
JP5914813B2 (ja) * 2011-01-06 2016-05-11 パナソニックIpマネジメント株式会社 カメラ、歪み補正装置、及び歪み補正方法
WO2016031763A1 (ja) * 2014-08-29 2016-03-03 株式会社日立国際電気 固体撮像装置及び撮像方法
JP2017191572A (ja) * 2016-04-15 2017-10-19 キヤノン株式会社 画像処理装置及びその方法、プログラム
US20190047488A1 (en) * 2017-08-10 2019-02-14 Gentex Corporation Low cost camera
CN111667398B (zh) * 2019-03-07 2023-08-01 株式会社理光 图像处理方法、装置和计算机可读存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4757385A (en) * 1985-03-16 1988-07-12 Canon Kabushiki Kaisha Video signal processing apparatus with means for correcting interlace displacement
JPS63292777A (ja) * 1987-05-25 1988-11-30 Mitsubishi Electric Corp 輪郭補正装置
GB2256989B (en) * 1991-06-21 1995-02-08 Sony Broadcast & Communication Video image capture apparatus
FR2692424B1 (fr) * 1992-06-10 1994-08-26 Gen Electric Cgr Dispositif de filtrage d'un signal vidéo.
JPH06292207A (ja) 1993-04-02 1994-10-18 Sony Corp 撮像装置
JPH06350877A (ja) 1993-06-08 1994-12-22 Matsushita Electric Ind Co Ltd 輪郭補償装置とその装置に用いる利得制御信号発生回路
JPH11252431A (ja) 1998-02-27 1999-09-17 Kyocera Corp ディストーション補正機能を有するディジタル撮像装置
JPH11250240A (ja) 1998-02-27 1999-09-17 Kyocera Corp Yuvデータによりディストーション補正を行うディジタル撮像装置
JPH11275391A (ja) 1998-03-20 1999-10-08 Kyocera Corp ディストーション補正を選択できるディジタル撮像装置
US6538691B1 (en) * 1999-01-21 2003-03-25 Intel Corporation Software correction of image distortion in digital cameras
JP2003189169A (ja) 2001-09-27 2003-07-04 Fuji Photo Film Co Ltd 画像処理装置
JP4023716B2 (ja) 2001-12-27 2007-12-19 シャープ株式会社 解像度補正装置、解像度補正プログラムおよび解像度補正プログラムを記録したコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
US20050213847A1 (en) 2005-09-29
US7944487B2 (en) 2011-05-17
JP2005286621A (ja) 2005-10-13

Similar Documents

Publication Publication Date Title
US7944487B2 (en) Image pickup apparatus and image pickup method
JP3971246B2 (ja) デジタル撮影装置
US7245319B1 (en) Digital image shooting device with lens characteristic correction unit
JP5036599B2 (ja) 撮像装置
JP2001275029A (ja) デジタルカメラ、その画像信号処理方法及び記録媒体
JP2004336106A (ja) 画像処理装置、画像処理方法ならびに撮像装置
JP5864037B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2003255424A (ja) 画像撮影装置及び色収差補正方法
JP2002199410A (ja) 撮像装置、画像劣化補正処理方法及び記憶媒体
JP2000069343A (ja) デジタル撮像装置
US8269859B2 (en) Photographing apparatus that performs distortion correction in association with digital and optical zoom, method of controlling the same, and recording medium having recorded thereon computer program to implement the method
US7260271B2 (en) Digital image data correction apparatus, digital image data correction method and digital image pickup apparatus
JP2006129175A (ja) 撮像装置
JP4608436B2 (ja) 画像撮影装置
JP2001186533A (ja) 画像処理装置
KR101626447B1 (ko) 렌즈 왜곡과 색수차를 보정하는 장치, 방법, 및 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 매체
JP2004242125A (ja) 画像処理装置
JP5070690B2 (ja) 色収差補正装置
US7391446B2 (en) Digital camera having circuitry shortening processing time to correct distortion
US20100097499A1 (en) Image pickup apparatus and method of using the same
JP2006253970A (ja) 撮像装置、シェーディング補正データ作成方法およびプログラム
JP6702792B2 (ja) 画像処理装置およびその制御方法
JP7134666B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP5482428B2 (ja) 撮像装置、手ブレ補正方法、プログラム
JP6795961B2 (ja) 画像処理装置、画像処理装置の制御方法、及び、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060531

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20070115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080902

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080905

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110912

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4185468

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120912

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130912

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees