JP5577939B2 - 撮像装置、収差補正方法、および、プログラム - Google Patents

撮像装置、収差補正方法、および、プログラム Download PDF

Info

Publication number
JP5577939B2
JP5577939B2 JP2010184674A JP2010184674A JP5577939B2 JP 5577939 B2 JP5577939 B2 JP 5577939B2 JP 2010184674 A JP2010184674 A JP 2010184674A JP 2010184674 A JP2010184674 A JP 2010184674A JP 5577939 B2 JP5577939 B2 JP 5577939B2
Authority
JP
Japan
Prior art keywords
aberration
amount
aberration correction
concentric
uniform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010184674A
Other languages
English (en)
Other versions
JP2012044498A (ja
Inventor
元太郎 入澤
敦雄 菊地
卓也 加藤
篤郎 湊
研一 西尾
弘征 木下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010184674A priority Critical patent/JP5577939B2/ja
Priority to US13/190,900 priority patent/US8446477B2/en
Priority to EP11177364.4A priority patent/EP2421248A3/en
Priority to CN2011102303768A priority patent/CN102378013A/zh
Priority to TW100128856A priority patent/TW201223266A/zh
Publication of JP2012044498A publication Critical patent/JP2012044498A/ja
Application granted granted Critical
Publication of JP5577939B2 publication Critical patent/JP5577939B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H04N25/6153Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Description

本発明は、撮像装置に関し、特に、倍率色収差を補正する機能を有する撮像装置、および、その収差補正方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
レンズを通過した光は倍率色収差を生じることが知られている。倍率色収差は、レンズの屈折率が光の波長によって異なることに起因する光の色ごとの像倍率の相違により生じる。例えば白色の点光源を撮像した場合には、その撮像画像において、光軸に対応する位置を中心としてここから虹色に色づきながら放射方向に伸びていく状態が観察される。
このような倍率色収差は、撮像画像において色のにじみとして現れ、その画像品質を低下させる要因となるため補正が必要になる。そこで、従来から、撮像装置において撮像画像信号に対する信号処理によって倍率色収差を補正する機能を与えることが行われている。1つめの従来技術としては、入力画像について、例えば画像を8つの動径方向に沿った領域に分割し、この分割領域ごとに動径方向におけるエッジを検出する。次に、検出されたエッジ部分における色のずれ量を求め、さらにこのずれ量から、異なる色画像面の倍率差をエッジ部分ごとに算出する。そして、この最も出現頻度が高い倍率差に基づいて、倍率色収差により処理対象画素から変位した位置の画素値を求め、この画素値を処理対象画素の画素値とするものである(例えば、特許文献1参照。)。
また、2つめの従来技術として、8つの分割領域ごとに算出した倍率差を利用して、上下左右4方向の倍率差を算出する。そして、上下左右方向に沿って4つに分割した画面ごとに色ずれの変位ベクトルを求めるという手法も知られている(例えば、特許文献1参照。)。
また、3つめの従来技術として次のような倍率色収差補正の構成も知られている。すなわち、画素位置ごとの移動量を予め算出し、これらの移動量のデータをさらにレンズパラメータごとに対応させて補正データとして撮像装置に記憶させておく。そして、補正処理時においては、補正データを利用して処理対象として選択した画素ごとに補正量を求める。次に、この補正量に基づいて倍率色収差により処理対象画素から変位した位置の画素値を求め、この画素値を処理対象画素の画素値とするものである(例えば、特許文献2参照。)。
特開2006−20275号公報(図1) 特開2006−135805号公報(図5)
倍率色収差は、理論的には光軸を中心に同心円状に発生し、光軸からの距離に相当する像高が同じ位置では倍率の変化量も同じとなる。しかし、実際の撮像画像においては、正確な同心円状ではなく、その中心が偏倚しているような状態の倍率色収差のパターンが現れる場合がある。すなわち、同心円としての点対称性が保たれずに、同じ像高であっても動径方向に応じて倍率の変化量が異なるように倍率色収差が現れる。このような点対称性が保たれない状態の同心円状収差は撮像装置におけるレンズの取り付け誤差が原因で発生する。また、レンズの取りつけ誤差の程度状態は製品によって異なるために個体ばらつきが生じる。したがって、点対称性が保たれない同心円状収差における偏倚の発生状態も個体ごとにばらつきを生じる。
先に説明した1つめの従来技術では、撮像画像の中心と光軸とが一致しているうえで、点対称に倍率色収差が現れるものであることを前提にしている。このため、上記のように点対称性が保たれていない状態で発生する倍率色収差に対応することは難しい。
これに対して、2つめの従来技術であれば、撮像画像の中心と光軸が一致していない倍率色収差にも対応可能ではある。しかし、例えば8つの分割領域ごとに倍率差を算出した結果から、さらに上下左右の4方向の倍率差を算出し、変位ベクトルまで求める必要があり、計算量が相当に増加することになる。
この点からすれば、3つめの従来技術では、予め記憶した補正データを利用することで、計算量としては少なくて済む。ただし、補正データとして、全画素についての水平移動量および垂直移動量のデータを、レンズパラメータごとに対応させて記憶しておく必要があり、倍率色収差補正のために記憶すべきデータ量が大きいという点では不利となる。また、補正データが予め一律に定められていることから、レンズの個体ばらつきに対応することが難しいという点では、1つめの従来技術と同様である。ただし、例えば製造時において撮像装置ごとに倍率色収差の発生量を測定し、この測定結果から求めた補正データを記憶させるようにすれば、レンズの個体ばらつきには対応できる。しかし、このような作業を製造時に行うことは量産性の低下につながるものであり現実的ではなく、実際には、或る基準を設けたうえで求めた補正データを、例えば同じ機種の撮像装置に対して記憶させるというものにならざるを得ない。また、仮にこのように撮像装置ごとに倍率色収差の発生量の測定結果に基づく補正データを記憶させてレンズの個体ばらつきに対応させたとしても、データ量が大きくなる問題は解決されない。
このように、1つ目の従来技術ではレンズの個体ばらつきに対応する倍率色収差補正は難しい。しかし、2つ目または3つ目の従来技術によりレンズの個体ばらつきに対応しようとすれば、計算量または記憶すべき補正データ量が増加せざるを得ない。
本発明はこのような状況に鑑みてなされたものであり、少ない補正データ量と計算量でありながらも、レンズの個体ばらつきにより点対称性が崩れた収差発生パターンに対応した倍率色収差補正を行えるようにすることを目的とする。
本発明は、上記課題を解決するためになされたものであり、その第1の側面は、変位するように駆動される変位レンズと、画像全体において色ずれの方向と色ずれの量が均一に発生する倍率色収差の成分である均一収差を補正するための均一収差補正データを保持する均一収差補正データ保持部と、上記均一収差補正データを利用して均一収差を補正するための上記変位レンズの収差補正変位量を算出する変位量算出部と、上記収差補正変位量に基づく駆動変位量に応じて上記変位レンズを変位させるように駆動する変位レンズ駆動部と、画像の中心から同心円状の色ずれを生じる倍率色収差の成分である同心円状収差を補正するための同心円状収差補正量を入力画像信号における処理対象画素について算出する同心円状収差補正量算出部と、算出された上記同心円状収差補正量に基づいて、上記処理対象画素の画素値を補正する画素値補正部とを具備する撮像装置である。これにより、均一収差成分を補正レンズの駆動により補正し、同心円状収差成分を画像信号処理によって補正することで、倍率色収差を補正するという作用をもたらす。
また、この第1の側面において、当該撮像装置の動きに応じた撮像画像の揺れをキャンセルするための上記変位レンズの防振変位量を生成する防振制御部と、上記収差補正変位量に上記防振変位量を加算して上記駆動変位量として出力する加算部とをさらに具備してもよい。これにより、レンズ駆動により防振を行う構成を利用して均一収差を補正するという作用をもたらす。
また、この第1の側面において、上記均一収差補正データ保持部は、上記変位レンズを含むレンズ部における所定の可動部位についての制御状態を示す所定のレンズ制御情報の組合せから成る均一収差条件ごとに対応する上記均一収差補正データを保持し、上記変位量算出部は、上記均一収差補正データのうちから現在の上記レンズ制御情報の組合せから成る上記均一収差条件に対応する均一収差補正データを選択し、当該選択された均一収差補正データに基づいて上記収差補正変位量を算出することとしてもよい。これにより、レンズ制御の状態に応じて変化する均一収差に応じて補正を行うという作用をもたらす。
また、この第1の側面において、上記均一収差補正データは、対応する上記均一収差条件の下で発生する均一収差を補正するための上記変位レンズの均一収差条件対応変位量を示し、上記変位量算出部は、選択された上記均一収差補正データが示す均一収差条件対応変位量に基づいて上記収差補正変位量を算出するようにしてもよい。これにより、同じ変位量を基とする均一収差補正データ(均一収差条件対応変位量)に基づいて収差補正変位量を算出するという作用をもたらす。
また、この第1の側面において、上記均一収差条件対応変位量は、レンズの特性に基づくシミュレーションにより算出されたレンズの均一収差についての感度と、撮像画像を利用して測定された均一収差による色ずれ量とに基づいて算出されてもよい。これにより、シミュレーションと測定とを併用して均一収差条件対応変位量を算出するという作用をもたらす。
また、この第1の側面において、光の色と像高との組合せを少なくとも含む同心円状収差条件ごとに対応した補正量を示す同心円状収差補正データを保持する同心円状収差補正データ保持部をさらに具備し、上記同心円状収差補正量算出部は、上記同心円状収差補正データのうちから上記処理対象画素が該当する上記同心円状収差条件に対応する上記同心円状収差補正データを選択し、当該選択された上記同心円状収差補正データを利用して前記同心円状収差補正量を算出してもよい。これにより、予め記憶された同心円状収差補正データを利用して同心円状収差の補正を行うという作用をもたらす。
また、この第1の側面において、上記入力画像信号から上記同心円状収差に対応するエッジを検出するエッジ検出部をさらに具備し、上記同心円状収差補正量算出部は、上記エッジ検出部によって検出されたエッジごとにおいて同心円状収差によって発生している色ずれ量に基づいて上記処理対象画素についての上記同心円状収差補正量を算出してもよい。これにより、撮像を元として生成された入力画像信号のエッジを検出した結果に基づいて同心円状収差補正量を算出して同心円状収差の補正を行うという作用をもたらす。
また、本発明の第2の側面は、変位するように駆動される変位レンズを含み、倍率色収差が補正された光学レンズ部と、画像全体において色ずれの方向と色ずれの量が均一に発生する倍率色収差の成分である均一収差を補正するための均一収差補正データを保持する均一収差補正データ保持部と、上記均一収差補正データを利用して均一収差を補正するために上記変位レンズを変位させる収差補正変位量を算出する変位量算出部と、上記収差補正変位量に基づく駆動変位量に応じて上記変位レンズを変位させるように駆動する変位レンズ駆動部とを具備する撮像装置である。これにより、均一収差成分を補正レンズの駆動により補正し、同心円状収差成分をレンズ自体により補正することで、倍率色収差を補正するという作用をもたらす。
本発明によれば、少ない補正データ量と計算量により、点対称性が崩れた収差発生パターンの倍率色収差を補正することが可能になるという効果を奏し得る。
本発明の実施の形態におけるビデオカメラ100の構成例を示す図である。 倍率色収差の基本的な発生パターンを説明するための図である。 レンズの個体ばらつきに応じて生じる実際の倍率色収差の発生パターンを説明するための図である。 本発明の実施の形態における倍率色収差を形成する同心円状収差成分と均一収差成分とを説明するための図である。 均一収差成分の発生を説明するための図である。 均一収差成分の発生を説明するための図である。 本発明の実施の形態における均一収差補正に関連する部位を示す図である。 均一収差補正テーブル620の構造例を示す図である。 均一収差補正テーブル620を作成するための手順例を示すフローチャートである。 均一収差補正テーブル620の均一収差補正データ621を取得する際の均一収差による色ずれ量の測定に用いるチャート画像の例を示す図である。 均一収差補正テーブル620の均一収差補正データ621を取得する際の均一収差による色ずれ量の測定に用いるチャート画像の例を示す図である。 均一収差補正部600による均一収差補正のための処理手順例を示す図である。 同心円状収差補正に対応するカメラ信号処理部200の構成例を示す図である。 本発明の第1の実施の形態における同心円状収差補正部210の構成例を示す図である。 同心円状収差補正テーブル240の構造例を示す図である。 同心円状収差補正部210が実行する処理手順例を示す図である。 同心円状収差補正部210が実行する処理手順例を示す図である。 本発明の第2の実施の形態における同心円状収差補正部210Aの構成例を示す図である。 同心円状収差補正部210Aが実行する処理手順例を示す図である。 同心円状収差補正部210Aが実行する同心円状収差補正量算出のための処理手順例を示す図である。 本発明の第2の実施の形態において色信号補間部221が実行する補間G信号算出処理の一例を説明するための図である。 本発明の第2の実施の形態においてエッジ検出部224が実行するエッジ検出処理例を示す図である。 本発明の第2の実施の形態における差分絶対値和算出部226による差分絶対値和の算出結果例を示す図である。 本発明の第2の実施の形態において収差倍率頻度情報生成部229により作成されるヒストグラムの例を示す図である。 光軸上における線像強度分布の例を示す図である。 光軸上以外の位置における線像強度分布の例を示す図である。 画像中における立ち上がりエッジと立ち下がりエッジに対する補正結果例を示す図である。
以下、本発明を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(倍率色収差補正:防振レンズの駆動により均一収差を補正し、補正データテーブルを用いた画像処理によって同心円状収差を補正する例)
2.第2の実施の形態(倍率色収差補正:防振レンズの駆動により均一収差を補正し、撮像画像信号から求めた補正量をもとに画像処理によって同心円状収差を補正する例)
3.第3の実施の形態(倍率色収差補正:防振レンズの駆動により均一収差を補正し、レンズ自体により同心円状収差を補正する例)
4.変形例
<1.第1の実施の形態>
[ビデオカメラの構成例]
図1は、本発明の実施の形態が具現化される画像処理装置の一例としてのビデオカメラ100の構成例を示す図である。このビデオカメラ100は、光学レンズ部120、レンズ制御部140、光電変換部103、カメラ信号処理部200、画像信号処理部104、画像入出力部105、表示部106、音声処理部107、音声入出力部108、操作入力部109、通信部110を備える。また、CPU(Central Processing Unit)111、RAM112(Random Access Memory)、ROM(Read Only Memory)113、メディアドライブ115、電源部114を備える。また、ジャイロセンサ150を備える。
光学レンズ部120は、内部に、被写体を撮像するためのレンズ群、絞り調整機構、フォーカス調整機構、ズーム機構、シャッター機構、および、手ぶれ補正に対応する機構などを備える。レンズ制御部140は、CPU111からの制御信号を受けて、光学レンズ部120に供給する制御信号を生成する。そして、生成した制御信号を光学レンズ部120に供給して、ズーム制御、フォーカス制御、シャッター制御、露出制御、および光学式による手振れ補正制御などの各種制御を行う。本発明の実施の形態においては、このように光学レンズ部120における所定部位に対する制御をレンズ制御と称する。なお、以降においては、防振という語句を手振れ補正と同義な意味で用いる場合がある。
光電変換部103は撮像素子により構成され、その結像面に、光学レンズ部120を通じた像が結像される。なお、撮像素子には、CCD(Charge Coupled Device)センサやCMOS(Complementary Metal Oxide Semiconductor)センサなどを採用できる。この光電変換部103はその結像面に結像されている被写体像を画像信号に変換し、カメラ信号処理部200に供給する。
カメラ信号処理部200に入力される画像信号は、例えばデモザイクなどの色補間処理が施される前のRAW画像データといわれる形式のものとなる。カメラ信号処理部200は、RAWデータ形式の画像信号に対して上記の色補間処理や各種補正などの所要の画像信号処理を施す部位である。本発明の実施の形態においては、このカメラ信号処理部200により倍率色収差補正のための画像信号処理が実行される。カメラ信号処理部200による処理が施された画像信号は画像信号処理部104に供給される。
画像信号処理部104は、供給された画像信号について、例えば主としては表示や記録再生に関連した画像信号処理を実行する部位である。例えば画像信号処理部104は、入力される画像信号について、MPEG(Moving Picture Experts Group)等の圧縮方式による画像圧縮処理を実行可能とされている。
また、画像信号処理部104は、所定形式の画像信号を生成して画像入出力部105から外部に出力させることができる。また、画像入出力部105は、外部から所定形式の画像信号を入力可能ともされている。画像信号処理部104は、この画像入出力部105から入力された画像信号を画像信号処理部104によりサイズ変換などを行って表示部106に表示させることができる。また、画像信号処理部104は、画像入出力部105が入力した画像信号を記録用画像データに変換して、例えばCPU111経由でメディアドライブ115に供給することもできる。
また、ビデオカメラ100は、音声処理部107及び音声入出力部108を備えることで、音声信号の入出力が可能とされている。音声入出力部108は音声信号の入出力が行われる部位である。まず、音声入出力部108から入力した音声信号は音声信号を音声処理部107にて、所要の音声信号処理が施される。例えば、所定の音声圧縮符号化方式による圧縮処理などを行う。また、音声入出力部108は、音声処理部107から供給される所定形式の音声信号を外部に出力させることもできる。
この場合のCPU111は、画像信号処理部104から供給される圧縮画像信号と音声処理部107から供給される圧縮画像信号データとにより、所定形式の画像音声ファイルを形成可能とされている。ここでの画像音声ファイルとは、例えば動画に対して音声が同期して再生される形式の動画ファイルなどである。
上記画像音声ファイルのデータは、例えばCPU111の制御によって書込みデータとしてメディアドライブ115に供給される。メディアドライブ115は、CPU111との連携により、メディア(記憶媒体)116に対して例えば物理層レベルでのデータの書込み、読出しを実行可能なように構成される。なお、このメディア116としては、例えば、磁気ディスク、光ディスク、光磁気ディスク、および、半導体メモリなどとされる。このメディア116は、例えばビデオカメラ100に固定的に内蔵されるものであってもよい。また、ビデオカメラ100に対して装脱可能な、所定の規格に従ったリムーバブル形式のものとされてもよい。
メディアドライブ115は、ファイルの記録などのために記録データが転送されてくるのに応じて、この記録データを制御対象として選択されているメディア116に対して書き込む処理を行う。なお、メディア116に記録されたデータは例えば所定のファイルシステム方式によってファイル単位で管理される。
また、例えばメディア116に記録されているファイルの再生として、画像音声ファイルを再生するときには、CPU111及びメディアドライブ115は、指定された画像音声ファイルが記録されているメディアにアクセスして読出しを行う。このように読み出される画像音声ファイルは、例えばCPU111の処理により、圧縮画像信号データと圧縮音声信号データとに分離される。そのうえで、圧縮画像信号データについては画像信号処理部104に受け渡し、圧縮音声信号については、音声処理部107に受け渡す。
この場合の画像信号処理部104及び音声処理部107は、それぞれ、上記のように転送されてきた圧縮音声信号データと圧縮画像信号データについて、復調処理を含む所要の再生信号処理を実行する。これにより、圧縮ビデオデータを再生した画像を表示部106にて表示させることができる。また、この画像の再生時間に同期して、圧縮音声信号データを再生して得られる音声信号を、音声入出力部108に含まれるとされるスピーカにより音声として出力させたり、ヘッドフォン端子から出力させることができる。
CPU111は、プログラムを実行することでビデオカメラ100についての各種制御処理を実行する。RAM112は、CPU111がプログラムに従った処理を実行するときの作業領域(ワークメモリ)として使用されるものである。ROM113は、CPU111が実行する各種プログラムのほか、CPU111が処理を実行するのに使用する各種設定情報などが記憶される部位である。
ジャイロセンサ150は、防振制御に対応して設けられ、ビデオカメラ100本体の動きを角速度により検出する部位である。CPU111は、ジャイロセンサ150により検出された角速度に基づいて防振レンズの変位量を求め、レンズ制御部140に対して出力する。レンズ制御部140は、入力された変位量により光学レンズ部120における防振レンズが変位するように駆動制御を実行する。これにより、手振れによる撮像画像の揺れがキャンセルされる。
この場合の操作入力部109は、ビデオカメラ100に備えられる各種操作子を一括して示しているものとされる。例えば、この操作入力部109における操作子としては、撮像画像の記録開始、停止に応じて操作される記録ボタン、撮像モードなどを選択する操作子、各種パラメータの変更を行うための操作子などが含まれる。
通信部110は、CPU111の制御に応じて、所定のデータ通信方式により外部デバイスと通信を行うための部位である。この通信部110が対応するデータ通信方式としては、有線、無線を問わず特に限定されるべきものではなく、また、対応するデータ通信方式の数も限定されるべきものでない。現状であれば、データ通信方式としては、有線ではEthernet(登録商標)などのネットワークを挙げることができる。また、USB(Universal Serial Bus)、IEEE(Institute of Electrical and Electronic Engineers)1394などのデータインターフェース規格を挙げることができる。また、無線であれば、Bluetooth(登録商標)などのデバイス間近距離無線通信、IEEE802.11a/b/gなどの無線LAN(Local Area Network)規格を挙げることができる。
電源部114は、ビデオカメラ100における各種のハードウェアデバイスに対して動作電源を供給するもので、例えばバッテリや電源アダプタからの電力供給を受けて動作する電源回路などを備えて構成される。
なお、本発明の実施の形態は、上記図1に示されるビデオカメラ100のほかに、例えばデジタルスチルカメラにより具現化することも可能である。
[倍率色収差について]
上記構成による本発明の実施の形態のビデオカメラ100は、以下に説明するように倍率色収差の補正を行う。そこで、まず倍率色収差について説明する。倍率色収差は、レンズの屈折率が光の波長によって異なることに起因して、光の色によって像の倍率が異なることにより色ずれが生じる現象をいう。図2は、撮像画像の画像面300に現れる倍率色収差の状態を模式的に示している。図2(a)は画像面300に現れる倍率色収差の状態として、その色ずれの大きさを等高線により示している。また、図2(b)は、図2(a)と同じ倍率色収差の発生の状態について、色ずれの大きさと方向をベクトルにより示している。なお、これらの図では、画像面300の中心C(画像面300の垂直方向および水平方向の中央をそれぞれ通過する直線の交点)とレンズの光軸Lとが一致した状態を示している。これらの図に示されるように、倍率色収差は、本来は光軸を中心として同心円状により色ずれが生じるものとなる。また、色ずれの量は、例えば光軸からの像高が高くなるのに応じて増加していくものとなる。
上記図2に示されるように、倍率色収差は、レンズの光軸Lと画像面300の中心Cとが一致しており、かつ、レンズの光軸Lを中心とする同心円、すなわち点対称となるように色ずれが生じる収差である。しかし、実際の撮像装置にあっては、撮像光学系におけるレンズの取り付け誤差などにより、レンズの光軸Lと画像面300の中心Cがずれたり色ずれ量の点対称性が失われたりするなど、色ずれのパターンが偏倚した状態の倍率色収差を生じる場合がある。
図3(a)および図3(b)は、上記のように色ずれパターンが偏倚した倍率色収差の発生状態についての一例を示している。この図に示される倍率色収差としては、まず、画像の中心Cから光軸Lが外れた状態となっている。これは、例えば画像面300において中心Cから等距離にある画像位置の間で像高が異なってくることを意味する。そのうえで、例えば、図3(a)から分かるように、光軸Lを中心としてずれ量を示す等高線は、その同心円形状が崩れている。すなわち、倍率色収差による色ずれ量の点対称性が失われている。本発明の実施の形態では、例えば図3に示されるように色ずれパターンが偏倚した状態にも対応して倍率色収差を補正する。以降、この点についての説明を行っていく。
[本発明の実施の形態における倍率色収差の表現手法]
まず、本発明の実施の形態においては、倍率色収差について次のように近似表現することとした。図4(a)には、図3(b)と同様に、色ずれパターンが偏倚した状態の倍率色収差が発生している画像面300において、その色ずれの量および方向をベクトルにより示したものである。本発明の実施の形態では、この図4(a)に示される色ずれパターンが偏倚した倍率色収差について、図4(b)の画像面300に示す収差成分と、図4(c)の画像面300に示す収差成分とに分離されるものであるとして近似表現する。
図4(b)に示す収差成分は、図示するように、画像面300の中心Cと光軸Lとが一致した状態のもとで、色ずれ量が光軸Lを中心として点対称となるように現れる収差の成分である。また、その色ずれ量は、像高(光軸Lからの距離)が高くなるのに応じて例えば増加していくように変化する。これは、取り付け誤差などの個体ばらつき要因を排除してレンズの特性のみに依存して現れる収差成分であるとしてみることができる。なお、本願明細書においては、以降、この図4(b)に示す収差については、「同心円状収差」と称することとする。
また、図4(c)に示す収差成分は、画像面300の全体において色ずれのベクトルが同じとなるように現れる収差の成分である。すなわち、画像面300のどの部分においても色ずれ量が等しく、かつ、色ずれの方向も同じとなる収差成分である。これは、光軸Lの位置であるとか像高には依存することなく画面全体において均一に現れる収差成分であるとみることができる。この収差成分は、例えば取り付け誤差などのばらつき要因の存在に応じて現れる収差成分となる。なお、本願明細書においては、以降、この図4(c)に示す収差については、「均一収差」と称することとする。
[均一収差成分が発生することについての説明]
倍率色収差は、レンズの中央と縁とで厚みに差があることにより像高に応じて色ずれ量が変化する現象であり、本来は同心円状に発生するものである。しかしながら、先に述べたように、色ずれのパターンが偏倚した状態の倍率色収差では、単純に同心円状収差成分のみに対する補正を行ったのでは十分な補正効果は得られない。そこで、本願発明者らは、色ずれのパターンが偏倚した状態の倍率色収差は、上記図4(b)の同心円状収差に加えて図4(c)に示した均一収差成分が発生していることにより生じたものであるとの想定に立ち、試験を行った。すなわち、同心円状収差成分に対する補正と均一収差成分に対する補正とを併用する構成により倍率色収差補正を行う試験を行った。この試験の結果、例えば実用に耐えるだけの十分な補正効果が得られることが確認された。
上記した均一収差成分の発生については、次のように説明することができる。この点について、図5および図6を参照して説明する。レンズのばらつき要因となる取り付け誤差は、レンズの光軸が平面方向において本来の位置からずれる偏芯の要素と、レンズの光軸が本来の角度に対してずれることによる傾きの要素とがあるものとして考えることができる。
まず、図5を参照してレンズの偏芯に対応した均一収差成分の発生に関して説明する。ここで、波線で示されるレンズ121の位置は、例えば偏芯が存在していない正しい位置状態に対応している。この状態において、物体高yに対応して得られるG(緑)光、R(赤)光の像高をそれぞれy、yとする。このときレンズ121のG光、R光のそれぞれについての横倍率βg、βrは、近軸領域で近似すると、以下の式により表される。
βg=y/y
βr=y/y
また、上式から、G光とR光それぞれの像高y、yは、次式により表すことができる。
=y・βg
=y・βr
次に、上式に示される2つの式の差分を求めることで、偏芯が存在していない状態での、G光に対するR光の色ずれ量(倍率色収差量)Δyは、次式のように求めることができる。
Δy=y−y=y(βr−βg)
上式は、物体高yについての関数になっている。物体高yの変化に応じては像高yg、yrも変化する。したがって上式は、偏芯が存在していない状態での色ずれ量が像高からの距離に応じて変化することを示している。
次に、レンズ121を波線で示す位置から実線で示す位置に移動させ、移動量Δshiftによる偏芯を与えた状態を想定する。このとき、G光の結像位置が偏芯前の状態と同じになる物体高y01は、先の像高y、yを表した式に基づいて、次式のように求められる。
−Δshift=(y01)・βg
01=(y−Δshift)/βg
また、このときのR光の結像位置yr1は、先の像高y、yを表した式および上式から、次式により求められる。
r1−Δshift=y01・βr
r1=βr(y−Δshift)/βg+Δshift
よって偏芯後におけるG光に対するR光の色ずれ量Δyは、次式のように表される。
Δy=yr1−y
=(y・(βr−βg)/βg)−(βr・Δshift)/βg+Δshift
=(βr−βg)・y+((βg−βr)/βg)・Δshift
上式もまた、先の偏芯前の色ずれ量Δyの算出式と同様に、物体高yの関数となっており、したがって偏芯後の色ずれ量Δyも、像高に依存して変化することが示されている。
そして、偏芯前と偏芯後とでの色ずれ量について差分、すなわち色ずれ変化量は、次式のように表すことができる。
Δy−Δy=((βg−βr)/βg)・Δshift
ここで、上式における右辺においては、物体高y0を係数とする項は消去されている。すなわち、上式によっては、偏芯前と偏芯後とでの色ずれの変化量は、像高に依存して変化するのではなく、偏芯量(Δshift)のみに依存して変化するものであることが示されている。そして、このことは、レンズの偏芯に応じては、画面全体において一様に同じ色ずれ方向および同じ色ずれ量で色ずれが発生することを示している。すなわち、均一収差成分が発生することを示している。
次に、図6を参照して、レンズの傾きに対応した均一収差成分の発生に関して説明する。ここでも、波線で示されるレンズ121の位置は、例えば傾きを生じていない正しい位置状態に対応している。この状態においては、G光に対するR光の色ずれ量Δyは、先の色ずれ量Δyの算出式により表されるものとなる。
次に、レンズ121を波線で示す位置状態での光軸に対して角度θが与えられた方向に光軸が向くように傾きを与えた状態を想定する。このとき、G光の結像位置が偏芯前の状態と同じになる物体高y01は、レンズ121から像面までの距離をsとして、先の像高y、yを表した式に基づいて次式のように求められる。
01=(ycosθ−s・sinθ)/βg
また、このときのR光の結像位置yr1は、先の像高yg、yrを表した式および上式から、次式により求められる。
r1・cosθ−s・sinθ=(βr/βg)・(ycosθ−s・sinθ)
r1=(βr/βg)・y+((βg−βr)/βg)・(s・tanθ)
したがって、傾き後におけるG光に対するR光の色ずれ量であるΔyは、次式のように表される。
Δy=yr1−y
=(βr−βg)・y+((βg−βr)/βg)・(s・tanθ)
上式も物体高yの関数となっており、したがって、傾き後の色ずれ量Δy2についても像高に依存して変化することが分かる。
そのうえで、傾き前と傾き後とでの色ずれの変化量は、次式のように表すことができる。
Δy−Δy=((βg−βr)/βg)・(s・tanθ)
上式もまた、物体高yを係数とする項は消去されており、したがって、色ずれの変化量は、像高に依存して変化するのではなく、光軸の傾き角度θのみに依存して変化するものであることが示されている。すなわち、レンズの傾きに応じても、均一収差成分が発生することが示される。
上記図5および図6による説明に基づけば、実際のレンズ取り付け誤差などとして、レンズの偏芯と傾きとがともに生じている状態であっても、その偏芯量と傾き角度とに応じてその色ずれ量が決まるように、均一収差成分が発生するということがいえる。そして、実際に撮像装置で発生する均一収差成分は、レンズ群における各レンズの偏芯や傾きにより発生する均一収差成分の和として発生するものと捉えられる。
[第1の実施の形態における倍率色収差補正の概要]
以降、本発明の第1の実施の形態における倍率色収差補正について説明していく。本発明の第1の実施の形態においては、上記のように倍率色収差が同心円状収差成分と均一収差成分とに分離できることを前提として、同心円状収差成分の補正と均一収差成分の補正とを分離して行う。
そして、本発明の第1の実施の形態においては、均一収差成分については光学レンズ部120における特定のレンズを変位させることにより補正を行うものとする。これまでの説明から理解されるように、倍率色収差における均一収差成分は、レンズの取り付け誤差により発生する。すなわち、レンズが理想的な位置姿勢に対して偏芯したり傾いたりした状態で取り付けられることにより発生する。このことに基づけば、意図的にレンズを偏芯させる、または、傾きを与えるように変位させれば、取り付け誤差による偏芯や傾きによる光軸のずれを修正して均一収差を補正できることになる。
これに対して、同心円状収差成分は、レンズ自体の特性により発生するものであり、レンズの取り付け誤差に依存するものではない。そこで、同心円状収差については画像処理によって補正を行うものとする。
[均一収差補正のための構成]
まず、本発明の第1の実施の形態における均一収差を補正するための構成例について説明する。図7においては、均一収差補正に関連する部位として、光学レンズ部120、レンズ制御部140および均一収差補正部600、防振制御部700およびジャイロセンサ150が示される。
この図における光学レンズ部120は、均一収差補正に関連する部位として、レンズ群130およびアクチュエータ122を備える。レンズ群130は、光学系を形成するレンズを備えて成る部位であり、ここではレンズ131、防振レンズ群132およびレンズ133から成るものとしている。なお、実際にはより多くのレンズなどが設けられて形成されてよいが、ここでは図示を簡単にすることなどの便宜上、簡易化した構成を示している。防振レンズ群132は、防振制御に利用されるレンズであり、1枚以上の所定数のレンズを組み合わせて構成されている。
上記レンズ131、防振レンズ群132およびレンズ133のうち、防振レンズ群132は、光軸Lに対して直交する平面方向に沿って水平および垂直方向に変位されるように支持されている。すなわち、防振レンズ群132は、レンズ群に対して設定された光軸Lに対して、自己の光軸が略平行となる状態で水平および垂直方向に移動(シフト)される。アクチュエータ122は、防振レンズ群132の支持機構において備えられ、供給される駆動信号により防振レンズ群132を変位させるものである。なお、防振レンズ群132は特許請求の範囲に記載の変位レンズの一例である。
この図に示すレンズ制御部140は、均一収差補正に関連する部位として防振レンズ駆動部141およびレンズ制御情報保持部142を備える。防振レンズ駆動部141は、防振レンズ群132を変位させるように駆動する部位である。このため、防振レンズ駆動部141は、防振レンズ群132を変位させるための駆動変位量SFTを入力し、この入力された駆動変位量SFTに応じた駆動信号を生成してアクチュエータ122に対して出力する。防振レンズ駆動部141は、特許請求の範囲に記載の変位レンズ駆動部の一例である。
レンズ制御情報保持部142は、現在のレンズ制御情報保持部を保持する部位である。レンズ制御部140は、絞り、ズームレンズ、フォーカスレンズ、および防振レンズ群132など、光学レンズ部120における所定の可動部を駆動制御する。レンズ制御情報は、このような可動部の状態を示す情報となる。
防振制御部700は防振(手振れ補正)制御を実行する部位である。このため、防振制御部700は、ジャイロセンサ150によって検出された角速度に基づいて、防振変位量SFT1を生成する。防振変位量SFT1は、上記角速度が示すビデオカメラ100の動きに応じた撮像画像の揺れがキャンセルされるように防振レンズ群132を変位させるための変位量成分となる。なお、防振制御部700は、図1との対応では、CPU111がプログラムを実行することによって実現される機能となる。
均一収差補正部600は、均一収差補正のために防振レンズ群132を駆動制御する部位である。均一収差補正部600は、変位量算出部610、均一収差補正テーブル620および加算部630を備える。なお、均一収差補正部600は、図1との対応では、CPU111がプログラムを実行することによって実現される機能となる。
変位量算出部610は、収差補正変位量SFT2を算出する部位である。このため、変位量算出部610は、レンズ制御部140のレンズ制御情報保持部142からレンズ制御情報を入力する。この場合のレンズ制御情報は、絞り値、ズーム位置、および、フォーカス位置の情報となる。
上記レンズ制御情報において上記絞り値は、光学レンズ部120が備える絞りに対して設定されている絞り値を示す。ズーム位置は、光学レンズ部120が備えるズームレンズの位置を示す。フォーカス位置は、光学レンズ部120が備えるフォーカスレンズの位置を示す。レンズ制御部140は、先にも述べたように露出制御、ズーム制御、および、フォーカス制御等のレンズ制御を実行するが、その制御結果として、上記絞り値、ズーム位置、および、フォーカス位置を算出して保持している。
そして、変位量算出部610は、上記絞り値、ズーム位置、フォーカス位置の組合せに対応する均一収差補正データを均一収差補正テーブル620から選択する。そして、この選択した均一収差補正データを利用して収差補正変位量SFT2を算出する。
均一収差補正テーブル620は、上記のように絞り値、ズーム位置、フォーカス位置の組合せに対応させて均一収差補正データを格納したテーブルである。この均一収差補正テーブル620のテーブル構造例、および、ここに格納される補正データの取得方法例については後述する。また、均一収差補正テーブル620は、図1との対応では、ROM113などに記憶されるものとなる。このROM113は、特許請求の範囲に記載の均一収差補正データ保持部の一例である。
加算部630は、防振制御部700から出力される防振変位量SFT1と均一収差補正部600から出力される収差補正変位量SFT2とを加算し、駆動変位量SFTとして防振レンズ駆動部141に対して出力する。
上記のように、本発明の実施の形態においては、防振変位量SFT1に収差補正変位量SFT2の成分に基づく駆動変位量SFTによって防振レンズ群132が変位される。まず、収差補正変位量SFT2によって、防振レンズ群132の中点位置に対するオフセットが与えられる。例えば振動が全く検出されない静止状態では、上記のオフセットによって均一収差が適正に補正された状態が得られる。このオフセットが与えられた状態の下で、防振変位量SFT1の成分によって、手振れによる画像の揺れがキャンセルされるように防振レンズ群132が駆動される。これにより、防振制御を適正に実行した状態を保ちながら、同時に、均一収差も適正に補正される状態が得られる。このように、本発明の実施の形態においては、防振レンズ群132を利用して、均一収差補正を行うこととしている。
例えば、図7の構成に代えて、防振レンズ群132とは個別に均一収差補正のためのレンズを備え、この均一収差補正のためのレンズを均一収差補正部600により駆動制御するように構成してもよい。しかし、このような構成とした場合には、防振レンズ群132とは個別に、均一収差補正のためのレンズをさらに備えることになり、部品コストや光学レンズ部120の小型化などの点で不利になる。
防振レンズ群132は、前述のように、光軸Lに対して垂直の平面方向に沿って変位する。これは、防振レンズ群132の変位により、図5で説明した偏芯による均一収差を発生させることが可能であることを意味する。そして、均一収差を発生させることが可能であるということは、逆に、防振レンズ群132を変位させることにより均一収差を補正可能であるということにもなる。本発明の実施の形態は、この点に着目して防振レンズ群132を、均一収差補正に利用することとしている。これにより、均一収差補正による部品コストの増加はなくなる。
また、防振レンズ群132を均一収差補正に利用する場合には、防振制御と両立させる必要があることになる。しかし、この点についても、図7にて説明したように、防振レンズ群132は、防振変位量SFT1に対して収差補正変位量SFT2を加算した駆動変位量SFTによって駆動される。すなわち、防振変位量SFT1に対して収差補正変位量SFT2を加算するという簡単な制御によって、防振制御と均一収差補正とを同時に行うことができる。
なお、上記図7の例では、防振レンズ群132は、光軸Lに対して直交する平面方向において偏芯が与えられるように移動する。これに応じて、防振変位量SFT1および収差補正変位量SFT2は偏芯量を示すことになる。この偏芯量としての変位量は、水平および垂直方向の各ベクトル成分により表される。また、防振レンズとして、本来の光軸に対して傾きが与えられるように変位するチルト構造のものも知られている。防振レンズ群132が、このようなチルト構造である場合、上記の変位量は傾き(チルト角度)を示すものとなる。なお、偏芯量とチルト角度の両者の変位量を組み合わせて防振レンズ群132を制御することも可能であるが、レンズの傾きにより生じている均一収差であっても、防振レンズ群132を偏芯させることで十分に補正が可能であり、また、その逆も可能である。したがって、偏芯量とチルト角度の何れか一方によって防振レンズ群132を制御すればよい。
[均一収差対応変位テーブルの構造例]
続いて、図8を参照して均一収差補正テーブル620の構造例について説明する。図8は、均一収差補正テーブル620のテーブル構造を模式的に示している。この図の説明にあたり、変数i(0≦i<ni)は絞り値を示し、変数z(0≦z<nz)はズーム位置を示し、変数f(0≦f<nf)はフォーカス位置を示すものとする。例えば実際の絞り値、ズーム位置、および、フォーカス位置としての各値は小数の位を取り得る。しかし、変数i、z、fにより示される絞り値、ズーム位置、および、フォーカス位置は何れも整数値であるものとする。
この図に示される均一収差補正テーブル620においては、まず、「0」乃至「ni−1」までの絞り値iと、「0」乃至「nz−1」までのズーム位置zとのマトリクス(組合せ)に対応して求められた、(ni×nz)個の均一収差補正データ621を格納する。この(ni×nz)個の均一収差補正データ621は2次元テーブルの構造となる。
上記の2次元テーブルにおける均一収差補正データ621は、1つのフォーカス位置に対応した値となる。そこで、2次元テーブルについては、図示するように「0」乃至「nf−1」のフォーカス位置fごとに対応して求めた均一収差補正データ621を格納した、nf個を設ける。これにより、絞り値i、ズーム位置z、および、フォーカス位置fの組合せに対応した均一収差補正データ621を格納した3次元テーブルが得られる。
前述のように、防振レンズ群132を変位させるための変位量は水平方向と垂直方向におけるベクトル成分、すなわち、変位量成分から成る。これに応じて、均一収差補正テーブル620は、水平方向と垂直方向とに応じた変位量成分方向dのパラメータが与えられる。なお、ここでは、変位量成分方向dは、「0」により水平方向を指定し、「1」により垂直方向を指定するものとする。そして、上記の3次元テーブルについては、「0」と「1」の変位量成分方向dごとに対応する均一収差補正データ621を格納した、2個を設ける。
このように、均一収差補正テーブル620は、絞り値i、ズーム位置z、フォーカス位置f、および、変位量成分方向dの組合せごとに対応して求められた均一収差補正データ621を格納した4次元テーブルとしての構造を有する。したがって、均一収差補正テーブル620を形成する均一収差補正データ621の数は、(ni×nz×nf×nd)となる。均一収差補正データ621は、ある1つの絞り値i、ズーム位置z、フォーカス位置fの組合せのときに発生する均一収差を補正するために必要な防振レンズ群132の変位量(偏芯量)の水平方向成分および垂直方向成分を示している。この均一収差補正データ621としての変位量は、後述するように均一収差により発生する色ずれ量から求められる。このことから、均一収差により発生する色ずれ量は、絞り、ズーム位置およびフォーカス位置などの光学系の条件に依存して変化するものであることが理解される。なお、以降において、均一収差により発生する色ずれ量については「均一収差量」とも称する。
なお、均一収差量は、上記絞り、ズーム位置およびフォーカス位置のほかに、光の色にも依存して変化する。例えばR(赤)とB(青)では、同じ絞り、ズーム位置およびフォーカス位置の条件であっても均一収差量が異なる。しかし、レンズの変位量としてみた場合、光の色に応じた均一収差量の相違は、レンズの単位変位量に対応して発生する均一収差量の相違として捉えられる。すなわち、均一収差についてのレンズの感度の相違として捉えられる。なお、以降において、この感度については「均一収差感度」とも称する。
ここで、偏芯の状態となっている或る位置から均一収差が補正される位置にレンズを変位させていくこととする。このとき、偏芯した位置ではR光とB光の均一収差量は互いに異なっている。しかし、この均一収差量の差は、均一収差感度によるものであるため、均一収差が補正される位置にレンズが近づいていくのにしたがってその差は小さくなり、均一収差が補正される位置では互いの均一収差量はいずれも「0」となる。このことから、均一収差補正テーブル620としては、光の色ごとに応じた均一収差補正データ621は必要ないことになる。
一例として、画像処理によって均一収差成分を補正しようとする場合において、図8に準じた構造により、画素の色ずれについての補正量を示す補正量データを格納するテーブルを利用する場合を想定する。この場合には、光の色ごとに異なる色ずれ量を個別に補正する必要が生じる。したがって、絞り、ズーム位置、フォーカス位置、光の色、および、水平垂直方向の補正量成分の区別による、計5つの組合せに対応した4次元テーブルを形成する必要がある。すなわち、図8に示した均一収差補正テーブル620は、画像処理によって均一収差成分を補正する場合と比較すれば、そのデータ量は1/2で済むことになる。
[均一収差補正テーブルの作成例]
次に、均一収差補正テーブル620の作成手順例について説明する。図9のフローチャートは、均一収差補正テーブル620を作成するための手順例を示している。
均一収差補正テーブル620の作成に際しては、まず、シミュレーションによって均一収差感度を算出する(ステップS901)。ここでの均一収差感度とは、レンズを或る単位変位量により変位させたときに発生する均一収差量を示すものとなる。具体例として、レンズを1μm変位させたときの均一収差成分による色ずれ量が2ピクセル(pixel)である場合、均一収差感度は
2=2pixel/1μm
であることになる。すなわち、均一収差感度は、(均一収差量/変位量)で求められる。
本発明の実施の形態において均一収差補正に利用する防振レンズ群132の光学的な特性は既知である。したがって、防振レンズ群132をレンズ光学系の光軸から変位させた変位量に応じて発生する均一収差量についてはシミュレーションによって算出することができる。そして、上記のように均一収差感度は、(均一収差量/レンズ変位量)で求められる。すなわち、均一収差感度もシミュレーションによって求めることができる。
また、均一収差感度は、均一収差発生量がレンズ制御情報(絞り値i、ズーム位置z、および、フォーカス位置f)の組合せパターンに応じて変化するのと同様に、レンズ制御情報の組合せパターンに応じて変化する。
そこで、均一収差感度を算出するにあたっては、予め、絞り値i、ズーム位置z、および、フォーカス位置fについて、それぞれ、代表となるmi個、mz個、mf個ずつの値を決めておく。そして、これらのmi個、mz個、mf個の絞り値i、ズーム位置z、および、フォーカス位置fによる組合せパターンごとに均一収差感度を算出するものとする。なお、代表となるmi個、mz個、mf個の絞り値i、ズーム位置z、および、フォーカス位置fは、それぞれ、均一収差補正データ621を指定するni個、nz個、nf個の絞り値i、ズーム位置z、および、フォーカス位置fのうちから選択される。
また、ここでの均一収差量は、G光を基準としたうえでのG光に対するR光およびB光の均一収差成分による色ずれ量であることとする。均一収差成分を含む倍率色収差は、R光とB光だけではなくG光にも生じているのであるが、収差の補正は、例えばR、G、B間の相対的な結像位置のずれが一致するようにされればよい。そこで、本発明の実施の形態の倍率色収差補正では、G光を基準として選択したものである。
そして、均一収差量は、同じレンズ制御情報(絞り値i、ズーム位置z、および、フォーカス位置fなど)の条件の下であっても、R光とB光とで異なる。これは、均一収差感度もR光とB光とで異なることを意味する。そこで、ステップS901においては、1つの絞り値i、ズーム位置z、および、フォーカス位置fの組合せの下で、R光とB光それぞれの均一収差感度を算出することとする。
なお、上記の均一収差感度は、防振レンズ群132の光学的特性に基づいて求められるものであり、この光学的特性は防振レンズ群132としての製品に共通となる。したがって、上記ステップS901により算出された均一収差感度は、ビデオカメラ100としての製品に対して共通に使用することができる。
これに対して、以下に説明するステップS902以降は、ビデオカメラ100としての製品ごとに対応して行うものとなる。ステップS902以降の手順は、ビデオカメラ100において実際に発生している均一収差量の測定と、この測定結果を利用した均一収差補正テーブル620の作成のための手順となる。実際に発生する均一収差量は、レンズ取り付け誤差によりビデオカメラ100ごとに異なるものであり、したがって、最終的に得られる均一収差補正データ621としての変位量もビデオカメラ100としての製品ごとに異なる。
均一収差量の測定のために、まず、測定対象のビデオカメラ100によりチャート画像を撮像させる(ステップS902)。この場合のチャート画像とは、撮像画像から均一収差を測定するために用意された所定の絵柄による画像である。このチャート画像の具体例については後述する。また、ステップS902によるチャート画像の撮像は、代表となるmi個、mz個、mf個の絞り値i、ズーム位置z、および、フォーカス位置fのうちから選択した1つの組合せパターンを光学レンズ部120に設定した状態で行われる。
次は、上記ステップS902によりチャート画像を撮像して得られる画像を利用して、実際に発生している均一収差量を測定する(ステップS903)。ここで測定される均一収差量は、上記ステップS902によりチャート画像を撮像していたときに設定された絞り値i、ズーム位置z、および、フォーカス位置fの組合せパターンに対応したものとなる。また、前述したように、同じ絞り値i、ズーム位置z、および、フォーカス位置fの組合せパターンにおける均一収差量は、R光とB光とで異なる。そこで、ステップS903においては、R光とB光のそれぞれについての均一収差量を求める。
上記ステップS903の手順は、代表となるmi個、mz個、mf個の絞り値i、ズーム位置z、および、フォーカス位置fによる全ての組合せパターンごとの均一収差量を測定するまで(ステップS904)、繰り返し行う。すなわち、未だ均一収差量を測定していない組合せパターンがある場合には、新たな代表の絞り値i、ズーム位置z、および、フォーカス位置fの組合せパターンにより、ステップS902およびS903の手順を繰り返す。そして、最終的には、代表となる絞り値i、ズーム位置z、および、フォーカス位置fによる全ての組合せパターンごとに対応した均一収差量が測定され(ステップS904)、続けて下記の手順を行う。
まず、ステップS901にて算出されたR光およびB光の均一収差感度と、ステップS903により測定されたR光およびB光の均一収差量とを利用して、防振レンズ群132の変位量を算出する(ステップS905)。このステップS905では、代表となる絞り値i、ズーム位置z、および、フォーカス位置fの組合せパターンごとに対応した、(mi×mz×mf)個の変位量を求める。
ステップS905における、1つの絞り値i、ズーム位置z、および、フォーカス位置fの組合せパターンに対応した変位量の算出例について説明する。ステップS901により算出された均一収差感度のうち、R光に対応する均一収差感度をε、B光に対応する均一収差感度をεとする。また、ステップS903により求められた均一収差量のうち、R光に対応する均一収差量をδとし、B光に対応する均一収差量をδとする。
先のステップS901での均一収差感度の算出手順によれば、均一収差感度は、(均一収差量/変位量)により表される。したがって、ステップS903により測定された実際の均一収差量β、βに対応するレンズの変位量γ、γは、シミュレーションにより求められた均一収差感度ε、εを利用して、それぞれ次式のように求めることができる。
γ=δ/ε
γ=δ/ε
上式により求められるR光とB光の各々に対応する変位量γ、γは、理想的には同じ値となるべきである。しかし、均一収差感度α、αがシミュレーションにより求められるのに対して、均一収差量β、βは実測によって求められる。このため、本発明の実施の形態においては、均一収差感度α、αと均一収差量β、βbとの間で誤差を生じ、同じ値の変位量γ、γが算出されない場合があることを想定する。この想定のもとで、本実施の形態においては、上式により求めたR光とB光の各々に対応する変位量γ、γの平均値を求めることにより、1つの絞り値i、ズーム位置z、および、フォーカス位置fの組合せパターンに対応した変位量γを求めるものとする。このように求められる変位量γは、誤差が縮小されたより正確な値を有するものとなる。
なお、例えば上記の誤差が許容範囲内であるような場合には、R光とB光の何れか一方に対応する変位量γおよびγの何れか一方を、そのまま変位量γとして扱ってもよい。この場合には、ステップS901およびステップS903においてR光とB光の何れか一方のみに対応する均一収差感度の算出、および、均一収差量の測定を行えばよい。
先に述べたように、代表としてのmi個、mz個、mf個の絞り値i、ズーム位置z、および、フォーカス位置fは、均一収差補正テーブル620におけるni個、nz個、nf個のうちから選択したものである。したがって、ステップS905の手順が完了した段階では、まだ、代表となるもの以外の(ni−mi)個、(nz−mz)個、(nf−mf)個の絞り値i、ズーム位置z、および、フォーカス位置fによる組合せパターンに対応した変位量は求められていない。そこで、ステップS906においては、これらの代表以外の絞り値i、ズーム位置z、および、フォーカス位置fによる組合せパターンごとに対応した変位量を算出する。このためには、ステップS905にて算出された代表の絞り値i、ズーム位置z、および、フォーカス位置fの組合せパターンごとに対応する変位量のうちから、必要な組合せパターンの変位量を利用して、所定の補間演算を行えばよい。
上記ステップS906までの手順が完了したことにより、ni個、nz個、nf個の絞り値i、ズーム位置z、および、フォーカス位置fによる組合せパターンごとに応じた変位量が求められたことになる。そこで、ステップS907においては、このように求められた変位量に基づいて均一収差補正データ621を生成し、生成した均一収差補正データ621を格納して均一収差補正テーブル620を作成する。
ステップS905およびS906により求められた変位量は、均一収差を発生させるための防振レンズの移動方向および移動量を示している。これに対して、均一収差を補正するための補正値としての変位量を均一収差補正データ621とすることが考えられる。この補正値としての変位量は、ステップS905およびS906により求められた変位量としての水平および垂直方向の各ベクトル成分が示す値を反転させることによって生成することができる。また、ステップS905およびS906により求められた変位量をそのまま均一収差補正データ621とすることもできる。この場合には、均一収差補正データ621としての水平および垂直方向の各ベクトル成分の値を反転させる演算を行うことにより補正のための変位量を求めることができる。
[均一収差測定のためのチャート画像例]
続いて、上記図9のステップS902において撮像される均一収差測定のためのチャート画像の例について説明する。
まず、図10(a)に示すチャート画像400について説明する。この図に示すチャート画像400は、画面の中心Cを水平方向に沿って通過する直線Ln1と、垂直方向に沿って通過する直線Ln2が示されている。なお、これら2つの直線Ln1、Ln2については、例えば実際においては、背景色とは異なる所定の色が設定されている。
そして、測定にあたっては、水平方向の直線Ln1に対して垂直方向に発生しているG光に対するR光およびB光それぞれの色ずれ量を測定する。同心円状収差成分は画面中心から同心円状に拡がるように色ずれが生じるので、水平方向の直線Ln1にて垂直方向の色ずれが生じることはない。したがって、水平方向の直線L1にて発生する垂直方向の色ずれを測定するということは、同心円状収差成分による色ずれが生じていない状態のもとで、均一収差成分による色ずれ量の垂直方向のベクトル成分を測定できることを意味する。
なお、このときの色ずれ量の測定は、画素配列における列ごとに行ってもよいし、一定間隔ごとに行ってもよい。例えば、測定結果の信頼性を失わない範囲で色ずれ量を測定する間隔をできるだけ大きく設定することで測定に要する時間を短縮できる。そして、上記のように測定された垂直方向のベクトル成分についての平均値を、R光とB光とでそれぞれ算出する。
次は、同様にして、垂直方向の直線Ln2に対して水平方向に発生しているG光に対するR光およびB光の色ずれ量を測定し、測定された色ずれ量についての平均値を、R光とB光とでそれぞれ算出する。なお、垂直方向の直線Ln2にて発生する水平方向の色ずれ量を測定するということは、上記と同様の理由で、同心円状収差成分による色ずれが生じていない状態のもとで、均一収差成分による色ずれ量の水平方向のベクトル成分を測定できることを意味する。そして、このように算出されたR光およびB光に対応する垂直方向と水平方向の各ベクトル成分を均一収差量とするものである。
次に、図10(b)のチャート画像400Aについて説明する。このチャート画像400Aにおいては、画像の中心Cを通過する仮想水平線Lhに沿った左右両側の位置において、それぞれ水平バー401、401が描かれている。同様にして、画像の中心Cを通過する仮想垂直線Lvに沿った上下両側の位置において、それぞれ垂直バー402、402が描かれている。この場合には、水平バー401、401に対して垂直方向に発生しているG光に対するR光およびB光それぞれの色ずれ量を測定することで、均一収差量の垂直方向のベクトル成分を測定する。また、垂直バー402、402に対して水平方向に発生しているG光に対するR光およびB光それぞれの色ずれ量を測定することで、均一収差量の水平方向のベクトル成分を測定する。
次に、図10(c)に示すチャート画像400Bは、上記図10(b)に示される左右の水平バー401、401の各々の上下に対して、さらに一定間隔を有して、水平バー401aおよび401bを追加した例である。この場合には、チャート画像400Bの左右の水平バー401、401aおよび401bのそれぞれについて、垂直方向に発生している色ずれ量を測定する。同様にして、チャート画像400Bの上下の垂直バー402、402aおよび402bのそれぞれについて水平方向に発生している色ずれ量を測定する。この場合には、画像の水平中心および垂直中心近傍で測定できる画素数を増やすことができるために、測定再現性(耐ノイズ性)の向上が期待できる。
次に、図11(a)に示すチャート画像400Cは、その画像の全体に対して、所定の行数と列数によってドット403を配列させている。そして、測定に際しては、例えば図において波線で示す部位における色ずれ量を測定する。すなわち、仮想水平線Lhに沿った左右両側の領域におけるドット403に対して発生している垂直方向の色ずれ量を測定する。また、仮想垂直線Lvに沿った上下両側の領域におけるドット403に対して発生している水平方向の色ずれ量を測定するというものである。例えば、このチャート画像400Cは、収差の測定において一般的に用いられるものの1つであるが、均一収差量はこのような一般的なものを利用した測定によっても取得できる。
また、図11(b)のチャート画像400Dは、本発明の実施の形態の均一収差量の測定に特化して、例えば上記図11(a)から、波線部分において示されるドット402のみからなるパターンのみを抜き出して形成したものである。
また、図11(c)のチャート画像400Eは、例えば、図11(a)に示した直線Ln1と直線Ln2とを、ドット402の配列に置き換えたパターンとなっている。したがって、測定の仕方については、図10(a)と同様になる。このように、図10および図11に示したいずれのチャート画像によっても、本発明の実施の形態において変位量を求めるのに必要である均一収差量を測定することができる。
[均一収差補正のための処理手順例]
図12のフローチャートは、図7に示した均一収差補正部600が実行する処理手順例を示している。なお、この図に示す各ステップとしての処理は、例えばCPU111がプログラムを実行することにより実現される。また、ハードウェアにより構成することも可能である。
まず、変位量算出部610は、レンズ制御部140からレンズ制御情報を入力する(ステップS911)。ここでのレンズ制御情報とは、先にも述べたように、現在において光学レンズ部120にて設定されている絞り値、ズーム位置、および、フォーカス位置の情報となる。
次に、変位量算出部610は、上記ステップS911により入力したレンズ制御情報に対応する収差補正変位量SFT2を算出する(ステップS912)。この収差補正変位量SFT2は、例えば下記のように算出することができる。
ここで、先のステップS911により取得したレンズ制御情報である絞り値、ズーム位置、および、フォーカス位置について、それぞれ、p、p、pにより表すこととする。また、絞り値p、ズーム位置p、および、フォーカス位置pは、それぞれ、整数部(i)および所定の位までの小数部(f)とから成るものとして次式により表現されるものとする。
=pii+pif
=pzi+pzf
=pfi+pff
変位量算出部610は、均一収差補正テーブル620における任意の均一収差補正データ621を選択するにあたり、次のように指定するものとする。すなわち、整数による絞り値i、ズーム位置z、および、フォーカス位置fの組合せにより指定する。これは、前述したように、均一収差補正テーブル620が、整数値の絞り値i、ズーム位置z、および、フォーカス位置fの組合せに応じた均一収差補正データ621を格納することに対応している。このように指定される均一収差補正データ621については、Tca1[i][z][f][d]と表す。
そして、変位量算出部610は、均一収差補正テーブル620から、Tca1[pii][pzi][pfi][d]で指定される均一収差補正データ621にアクセスして読み出しを行う。ここで、[d]は「0」または「1」であり、Tca1[pii][pzi][pfi][d]により指定される均一収差補正データ621は、水平および垂直方向のそれぞれに対応した2つの変位量成分であることになる。
また、変位量算出部610は、均一収差補正テーブル620から、Tca1[pii+1][pzi+1][pfi+1][d]で指定される均一収差補正データ621にアクセスして読み出しを行う。
次に、変位量算出部610は、均一収差補正に対応する変位量Timg1[d]を算出する。このためには、上記Tca1[pii][pzi][pfi][d]およびTca1[pii+1][pzi+1][pfi+1][d]で示される均一収差補正データ621を利用して、次式による演算を行う。
Figure 0005577939
すなわち、絞り値p、ズーム位置p、および、フォーカス位置pの整数値により、補間元となる均一収差補正データ621を取得する。これが、Tca1[pii][pzi][pfi][d]およびTca1[pii+1][pzi+1][pfi+1][d]である。そして、補間元となる均一収差補正データ621と、絞り値p、ズーム位置p、および、フォーカス位置pの各小数値pif、pzf、および、pffを用いて、3次元線形補間が行われる。このように求められた補間値が変位量Timg1[d]であり、この場合には、収差補正変位量SFT2として、この変位量Timg1[d]の値を用いる。なお、ここでは線形補間により収差補正変位量SFT2を求めることとしているが、他の補間処理や算出手法が採用されてもよい。
次に、加算部630は、防振制御部700から出力される防振変位量SFT1を入力する(ステップS913)。次に、この防振変位量SFT1と、上記ステップS912により算出された収差補正変位量SFT2とを加算して駆動変位量SFTを算出する(ステップS914)。そして、加算部630は、このように求められた駆動変位量SFTを防振レンズ駆動部141に対して出力する(ステップS915)。
上記図12により説明した処理手順は、撮像画像を記録可能な撮像モードが設定されたビデオカメラ100において継続的に繰り返し実行される。これにより、撮像モード中においては、倍率色収差における均一収差成分による色ずれが補正された状態の撮像画像が定常的に得られる。また、これと同時に、手振れによる撮像画像の揺れがキャンセルされた状態の撮像画像も定常的に得られることになる。
[同心円状収差補正のための構成]
続いて、本発明の第1の実施の形態における同心円状収差補正のための構成について説明する。上記のように、本発明の実施の形態においてはレンズ制御によって均一収差に対する補正が定常的に行われている。このままの状態の場合、撮像画像においては、均一収差は補正されているが、同心円状収差が残っていることになる。第1の実施の形態においては、この同心円状収差による色ずれを以下に説明するように画像信号処理によって補正する。
図13は、図1に示したカメラ信号処理部200の構成例を示している。この図に示すカメラ信号処理部200は、前段信号処理部201、同心円状収差補正部210、および、後段信号処理部202を備える。
前段信号処理部201は、例えば入力されるRAW画像データ形式の画像信号に対して黒レベル補正、ゲイン補正などの補正処理を実行する部位である。同心円状収差補正部210は、上記前段信号処理部201における処理を経たRAW画像データ形式の画像信号を補正対象画像信号として入力して倍率色収差補正のための画像信号処理を実行する部位である。後段信号処理部202は、上記同心円状収差補正部210における処理を経た収差補正画像信号を入力して、色変換、色補間処理、および、ガンマ補正などの画像信号処理を実行する部位である。
このように、倍率色収差における同心円状収差成分の補正は、同心円状収差補正部210によって画像信号を対象にして行われる。すなわち、同心円状収差補正は画像処理によって行われる。
図14は、上記図13に示した同心円状収差補正部210の構成例を示している。この図に示す同心円状収差補正部210は、色画素選択部211、像高算出部212、同心円状収差補正量算出部213、色ずれ先画素値算出部214および画素値補正部215を備える。また、同心円状収差補正テーブル240を保持する。
同心円状収差補正部210が入力する補正対象画像信号は、前述したようにRAW画像データの形式であり、例えば光電変換部における受光素子の画素に対するカラーフィルタの配列に応じてR(赤)、G(緑)、B(青)の各色に対応する色画素信号から成る。色画素選択部211は、入力した補正対象画像信号からR画素信号とB画素信号とを選択して抽出し、これらのうちから例えば処理対象画素として選択した画素信号を所定のタイミングで順次、画素値補正部215に出力する。また、G画素信号を選択して抽出し、同心円状収差補正部210から出力する収差補正画素信号のG信号成分として出力する。また、第1の実施の形態の同心円状収差補正部210では、R画像面を形成する画素とB画像面を形成する画素のそれぞれを対象としてその画素値の補正を行う。色画素選択部211は、処理対象画素の座標P(m,n)の情報を像高算出部212に出力することも行う。色画素選択部211は、色画素選択処理の際に、画素ごとの座標を認識している。さらに、色画素選択部211は、処理対象画素として選択されている画素の色について、R、Gの何れであるのかを示す処理対象色情報を同心円状収差補正量算出部213に対して出力する。
像高算出部212は、入力される処理対象画素の座標P(m,n)に対応する画面上での像高を算出する部位である。
同心円状収差補正テーブル240は、同心円状収差成分に対応した補正データを格納したテーブルである。この同心円状収差補正テーブル240のテーブル構造例、および、ここに格納される補正データの取得方法例については後述する。また、同心円状収差補正テーブル240は、例えば実際には、同心円状収差補正部210が備えるメモリ、または図1のROM113などに記憶される。これらのメモリ、ROM113は、特許請求の範囲に記載の同心円状収差補正データ保持部の一例である。
同心円状収差補正量算出部213は、同心円状収差成分に対応した補正量を算出する部位である。このため、同心円状収差補正量算出部213は、レンズ制御部140のレンズ制御情報保持部142(図7参照)から、レンズ制御情報として、絞り値、ズーム位置、および、フォーカス位置を入力し、像高算出部212にて算出された像高値を入力する。さらに、色画素選択部211からの処理対象色情報を入力する。
そして、同心円状収差補正量算出部213は、上記絞り値、ズーム位置、フォーカス位置、像高値、および、処理対象色情報が示す色の組合せに対応する補正量データを同心円状収差補正テーブル240から選択する。そして、この選択した補正量データを利用して同心円状収差成分に対応する補正量を算出する。
色ずれ先画素値算出部214は、上記のように算出された同心円状収差成分対応の補正量を利用して、色ずれ先画素の画素値を算出する部位である。色ずれ先画素とは、処理対象画素の位置に本来結像すべき光が、同心円状収差に起因する色ずれにより実際に結像しているとされる画素をいう。
画素値補正部215は、処理対象画素ごとに、その画素値を補正する処理を実行する。このため、処理対象画素の画素値を、上記色ずれ先画素値算出部214により算出された色ずれ先画素の画素値で書き換える処理を実行する。
そして、同心円状収差補正部210からは、収差補正画像信号として、上記画素値補正部215によってその画素値が書き換えられたR、Bの各色画素信号、および、色画素選択部211を経由したGの色画素信号が出力される。このように出力されるR、Bの各色画素信号は、同心円状収差によるGの画素に対する色ずれが補正されたものとなっている。
なお、上記図14に示した同心円状収差補正部210における各部は、例えばDSP(Digital Signal Processor)などがプログラムを実行することにより実現される。また、同心円状収差補正部210における少なくとも一部の機能をCPU111がプログラムを実行することにより実現するようにしてもよい。また、ハードウェアにより実現することも考えられる。
[同心円状収差補正データテーブルの構造例]
続いて、図15を参照して、同心円状収差補正テーブル240の構造例について説明する。図15は、同心円状収差補正テーブル240のテーブル構造を模式的に示している。この図の場合にも、図8の均一収差補正テーブル620の場合と同様に、変数i(0≦i<ni)は絞り値を示し、変数z(0≦z<nz)はズーム位置を示し、変数f(0≦f<nf)はフォーカス位置を示すものとする。また、変数y(0≦f<ny)は像高値を示すものとする。また、この図の場合にも、変数i、z、f、yにより示される絞り値、ズーム位置、フォーカス位置、および、像高値は何れも整数値であるとする。また、変数c(0≦c<2)は補正処理対象となる光の色(処理対象色)を示す。この処理対象色はR、Bの2通りとなるが、ここでは、変数cが「0」のときにR(赤)を示し、「1」のときに(B)を示すものとする。
この図に示される同心円状収差補正テーブル240は、まず、変数cが示すR、Bの処理対象色ごとに応じて大きくテーブルが区分される。そのうえで、まず、Rの処理対象色に対応しては、絞り値iと、ズーム位置zとのマトリクス(組合せ)に対応して求められた、(ni×nz)個の同心円状収差補正データ241を格納する2次元テーブルが設けられる。
上記の2次元テーブルにおける同心円状収差補正データ241は、1つのフォーカス位置に対応した値となる。そこで、2次元テーブルについては、図示するように「0」乃至「nf−1」のフォーカス位置fごとに対応して求めた同心円状収差補正データ241を格納した、nf個を設ける。これにより、絞り値i、ズーム位置z、および、フォーカス位置fの組合せに対応した同心円状収差補正データ241を格納した3次元テーブルが得られる。
また、上記の3次元テーブルは、1つの像高値yに対応したものである。そこで、さらに図示するように、「0」乃至「ny−1」の像高値yごとに対応する同心円状収差補正データ241を格納した、ny個の3次元テーブルを用意する。これにより、絞り値i、ズーム位置z、フォーカス位置f、および、像高値yの組合せに対応した同心円状収差補正データ241を格納した4次元テーブルが得られる。そして、この4次元テーブルを、B(c=1)の処理対象色にも対応して用意する。
このように、同心円状収差補正テーブル240は、絞り値i、ズーム位置z、フォーカス位置f、像高値y、および、処理対象色cの組合せごとに対応して求められた同心円状収差補正データ241を格納する。すなわち、5次元テーブルとしての構造を有する。したがって、同心円状収差補正テーブル240を形成する同心円状収差補正データ241の数は、(ni×nz×nf×ny×nc)となる。この同心円状収差補正テーブル240の構造は、同心円状収差成分としての像高方向に沿った色ずれ量が、絞り、ズーム位置、フォーカス位置などの光学系の条件、像高および光の色の各要素に依存して変化するものであることを意味している。
[同心円状収差成分に対応する補正データの取得方法例]
次に、同心円状収差補正テーブル240における同心円状収差補正データ241の取得方法例について説明する。光学レンズ部120に採用されるレンズの特性は既知である。これは、例えば図3に示した同心円状収差の像高に応じた色ずれ量の変化などもレンズの特性として既知であることを意味している。そこで、レンズの特性に基づいてシミュレーションを行うことで、同心円状収差補正テーブル240を形成する同心円状収差補正データ241を求めることが可能である。より具体的には、例えばR光に対応する同心円状収差補正データ241については、次のように求める。すなわち、或る1つの絞り値i、ズーム位置z、フォーカス位置f、および、像高値yの各パラメータの組合せ条件でのR光とG光についてのシミュレーションを行い、このシミュレーションにより得られるG光に対するR光の色ずれ量を求める。そして、この色ずれ量をキャンセルしてG光にR光の位置を一致させることのできる補正量を算出し、これを上記の同心円状収差補正データ241とする。このシミュレーションを他の全てのパラメータの組合せ条件ごとにも行い、R光に対応する全ての同心円状収差補正データ241を求める。また、B光については、同様にして上記パラメータの組合せ条件ごとにB光とG光についてのシミュレーションを行いG光に対するB光の色ずれ量を求めたうえで、同心円状収差補正データ241を求めるようにする。
また、先に図4(b)において述べたように、同心円状収差成分は、撮像光学系の個体ばらつきには依存せず、レンズ自体の特性のみに応じてそのずれ量が決定されるものとして扱われる。このことに基づき、上記のようにシミュレーションにより求めた同心円状収差補正データ241から成る同心円状収差補正テーブル240は、ビデオカメラ100としての製品に対して共通のものを使用することができる。
また、本明細書において「補正量」とは、色ずれを解消するために必要な「収差補正量」であり、その単位は、倍率、ピクセル値、または、画面サイズに対する相対値などとなる。また、色ずれ量は、収差により発生する色ずれの量であり、「収差発生量」をいう。また、その単位は、倍率、ピクセル値、または画面サイズに対する相対値のいずれかとなる。
上記説明では、まず、同心円状収差による色ずれ量を求め、この求められた色ずれ量から、補正量としての同心円状収差補正データ241を求めることとしているが、同心円状収差補正データ241としては、色ずれ量をそのまま格納してよい。この場合には、同心円状収差補正量算出部213は、同心円状収差補正データ241として示される色ずれ量を補正量に変換したうえで、この変換された補正量から実際の処理で必要とされる補正量の値を算出すればよい。具体的には、例えば倍率が単位であれば、補正量と色ずれ量との関係は、(補正量=1/色ずれ量)により表される。また、ピクセル値または画面サイズに対する相対値が単位であれば、補正量と色ずれ量との関係は、(補正量=−色ずれ量)により表される。いずれにせよ、上記2つの関係式は簡単なものであり、したがって、色ずれ量と補正量との間の変換は、非常に少ない演算量によって容易に行うことができる。
[同心円状収差補正部の処理手順例]
図16および図17のフローチャートは、図14に示した同心円状収差補正部210が実行する処理手順例を示している。なお、この図に示す各ステップとしての処理は、同心円状収差補正部210を形成する各部の何れかが適宜実行するものとなる。また、この図に示す各ステップとしての処理は、例えばCPU111またはDSP(Digital Signal Processor)がプログラムを実行することにより実現される。また、ハードウェアにより構成することも可能である。
まず、同心円状収差補正量算出部213は、レンズ制御部140から、レンズ制御情報を取得する(ステップS921)。ここでのレンズ制御情報とは、先にも述べたように、現在において光学レンズ部120にて設定されている絞り値、ズーム位置、および、フォーカス位置の情報となる。
次に、同心円状収差補正量算出部213は、上記ステップS921により取得したレンズ制御情報に対応する同心円状収差補正量Timg2を算出する(ステップS922)。この同心円状収差補正量Timg2は、例えば下記のように算出する。
上記ステップS921により取得したレンズ制御情報である絞り値p、ズーム位置p、および、フォーカス位置pは、先に図12のステップS911により取得されるものと同じである。したがって、先に述べたように、絞り値p、ズーム位置p、および、フォーカス位置pは、整数部(i)および所定の位までの小数部(f)とから成る。
また、同心円状収差補正量算出部213は、同心円状収差補正テーブル240における任意の同心円状収差補正データ241を選択するにあたり、次のように指定するものとする。すなわち、整数による絞り値i、ズーム位置z、フォーカス位置f、像高値y、および、処理対象色cの組合せにより指定する。このように指定される同心円状収差補正データ241については、Tca2[i][z][f][y][c]と表す。
そして、同心円状収差補正量算出部213は、同心円状収差補正テーブル240から、Tca2[pii][pzi][pfi][y][c]で指定される全ての同心円状収差補正データ241にアクセスして読み出しを行う。このとき、像高値yおよび処理対象色cについては、それぞれ、同心円状収差補正テーブル240が格納する全ての値が対象となる。したがって、Tca2[pii][pzi][pfi][y][c]により指定される同心円状収差補正データ241の数は、(ny×nc)により表される。
また、同心円状収差補正量算出部213は、同心円状収差補正テーブル240から、Tca2[pii+1][pzi+1][pfi+1][y][c]で指定される同心円状収差補正データ241にアクセスして読み出しを行う。このTca2[pii+1][pzi+1][pfi+1][y][c]により指定される同心円状収差補正データ241の数も、(ny×nc)により表される。
次に、同心円状収差補正量算出部213は、同心円状収差補正量Timg2[y][c]を算出する。このためには、上記Tca2[pii][pzi][pfi][y][c]およびTca2[pii+1][pzi+1][pfi+1][y][c]で示される同心円状収差補正データ241を利用して、次式による演算を行う。
Figure 0005577939
続いては、像高算出部212により、補正対象画像信号の画素配列により形成される画像における中心画素座標C(h0,w0)を算出する(ステップS923)。この中心画素座標Cは、後述する処理対象画素P(m,n)ごとの像高yrを算出する際に利用されるものとなる。ここでの中心画素座標C(h0,w0)は、上記画像において、同心円状収差成分に対応して得られる光軸の位置となる。これは、例えば取り付け誤差を考慮しない理想的な状態において、撮像素子の結像面におけるレンズ光軸の位置に相当する。なお、この場合の画素配列として、例えば一般的にはベイヤ配列が知られている。
中心画素座標C(h0,w0)の算出処理として最も簡単な例としては、補正対象画像信号を形成する全色により形成される画面の垂直方向のサイズをh、水平方向のサイズをwとして、C(h/4,w/4)で求めることができる。
ただし、実際においては、光学レンズ部120における設計上の条件などによって撮像素子の結像面に対してレンズ光軸を移動させた位置に設定する場合がある。このような場合には、上記のレンズ光軸のずれ量が反映された中心画素座標C(h0,w0)を算出することが好ましい。また、この場合のレンズ光軸の位置は固定となるので、ステップS923による算出処理を実行するのに代えて、例えば中心画素座標C(h0,w0)の値を記憶しておき、この値を読み出すようにしてもよい。また、本発明の実施の形態のビデオカメラ100のように防振機能を備える場合には、防振制御に応じて変更される画像に対するレンズ光軸の位置に応じて、中心画素座標C(h0,w0)の値をダイナミックに算出することが好ましい。これにより、防振制御によるレンズ光軸位置の変化に係わらず、より高い精度での倍率色収差補正が行える。
続いて、像高算出部212は、10割像高に対応する距離(10割像高対応距離)r10を算出する(ステップS924)。10割像高とは、補正対象画像信号の画素配列により形成される画面において、その中心から最も離れた位置の像高を指す。したがって、10割像高対応距離r10は、例えば四角形による画面の対角線の交点から1つの頂点までの直線距離となる。ただし、ここでの10割像高対応距離r10は、以降の処理の対象となるRまたはBのみの色画素から成る色画面におけるものとなる。例えば画素配列がベイヤ配列であるとした場合には、R画素のみから成る色画面(R画面)は縦がh/2、横がw/2となる。同様に、B画素のみから成る色画面(B画面)も縦がh/2、横がw/2となる。したがって、R画面とB画面の10割像高対応距離は何れも次式により表されるものとなる。なお、次式において「sqrt」は平方根の演算であることを示す。
sqrt((h/4)+(w/4)))
続いては、例えば色画素選択部211は、処理対象色を示す変数cに「0」を代入する(ステップS925)。本発明の実施の形態では、「0」の変数cに対応する処理対象色をR(赤)、「1」に対応する処理対象色をB(青)とする。
次に、色画素選択部211は、補正対象画像信号から、現在の変数cが示す処理対象色のサブサンプル画像を抽出する(ステップS926)。すなわち、変数cが示す処理対象色の画素のみから成る画像信号を抽出する。
次に、色画素選択部211は、処理対象色のサブサンプル画像を形成する画素のうち、処理対象画素Pの座標を表す変数(m,n)の組について初期値を設定する(ステップS927)。この処理対象画素Pの座標(m,n)を示すデータは、例えば像高算出部212に渡される。
像高算出部212は、例えば色画素選択部211から渡された処理対象画素座標P(m,n)の動径距離rを算出し(ステップS928)、さらにこの算出された動径距離rを像高値yrに換算する(ステップS929)。まず、動径距離rについては、処理対象画素P(m,n)の各座標値と、先のステップS923により算出された中心画素座標(h0、w0)とを利用して、例えば次式により求めることができる
r=sqrt((m−h0)+(n−w0)
次に、処理対象画素P(m,n)が対応する像高値rは次式により求めることができる。次式においては、10割の像高に対応する像高値をny−1としている。また、r10は、先のステップS924により算出された10割像高対応距離を示す。
=(r/r10)×(ny−1)
なお、上式により算出される像高値yは、整数部(i)と小数部(f)から成り、したがって、像高値yは次式により表されるものとなる。
=yri+yrf
続いては、同心円状収差補正量算出部213により処理対象画素Pに対応する同心円状収差補正量Mを算出する処理が実行される(ステップS930)。このために、まず、同心円状収差補正量算出部213は、色画素選択部211から現在の変数cを示す処理対象色情報を入力する。また、像高算出部212から上記ステップS929により算出された像高値yを入力する。そのうえで、同心円状収差補正量算出部213は、ステップS922にて算出された同心円状収差補正量Timg2のうちから、現在の変数cと像高値yrの整数部yriとに基づいて、次の2つの補正量を選択する。すなわち、Timg2[yri][c]により指定される補正量と、Timg2[yri+1][c]により指定される補正量とを選択する。
次に、同心円状収差補正量算出部213は、同心円状収差補正量Timg2[yri][c]、Timg2[yri+1][c]と像高値yとを利用して、処理対象画素Pについての同心円状収差補正量Mを算出する。この同心円状収差補正量Mも、例えば次式による線形補間のための演算により求めることができる。なお、この同心円状収差補正量Mは補正倍率となる。
Figure 0005577939
次に、色ずれ先画素値算出部214は、同心円状収差に対応した色ずれ先画素の画素値を算出する(ステップS931)。この色ずれ先画素の画素値の算出にあたり、まず、色ずれ先画素値算出部214は色ずれ先画素の座標を算出する。このため、色ずれ先画素値算出部214は、例えばステップS930にて算出された同心円状収差補正量Mを入力する。そして、次式により色ずれ先画素Pd(m1,n1)の座標値を求める。
m1=(m−h0)×M+h0
n1=(n−w0)×M+w0
次に、色ずれ先画素値算出部214は、色ずれ先画素Pd(m1,n1)の画素値を算出し、この画素値を補正画素値Vとして出力する(ステップS932)。色ずれ先画素Pd(m1,n1)の各座標値は、上式において含まれる同心円状収差補正量Mが小数部を含むことからも分かるように、小数部を含む。画素値補正部215は、色ずれ先画素Pd(m1,n1)の近傍に位置する所定の画素の画素値を利用した補間処理によって、色ずれ先画素Pd(m1,n1)の画素値である補正画素値Vを算出する。そして、画素値補正部215は、算出した補正画素値Vを、現在の処理対象画素P(m,n)の画素値として設定する(ステップS933)。
ここまでの処理が実行されると、例えば色画素選択部211は、処理対象画素Pを示す変数(m,n)の値の組合せについての更新を行う(ステップS934)。これに応じて処理対象画素Pの変更が行われることになる。次に色画素選択部211は、現在の変数(m,n)が無効な値の組合せであるか否かについて判別する(ステップS935)。例えば現在の変数cに対応した処理対象色において未処理の画素が残っている場合には、ステップS935により更新された後の変数(m,n)は、上記未処理の画素の何れかに該当する有効な値の組合せを有する。これに対して、現在の処理対象色における全ての色画素の処理を終了してからステップS934により更新された変数(m,n)は、現在の処理対象色における何れの色画素にも該当しない無効な値の組合せとなっているものとする。ステップS935において無効な値の組合せではないと判定された場合には、未処理の色画素が残っていることから、ステップS928の処理に戻る。これに対して、ステップS935において無効な値の組合せであると判定された場合には、画素値補正部215により次の処理が実行される。
すなわち、ステップS935において無効な値の組合せであると判定された場合には、現在の処理対象色における全ての画素ごとに補正画素値Vが設定されている状態にある。そこで、画素値補正部215は、色画素選択部211から、現在の変数cにより示されるRまたはBの何れかの処理対象色によるサブサンプル画像の信号を入力する。そして、このサブサンプル画像を形成する各画素の画素値を、その画素に対して設定された補正画素値Vにより書き換える(ステップS936)。このようにして画素値の書き換えが行われたサブサンプル画像の信号は倍率色収差が補正されているものであり、収差補正画像信号におけるRまたはBに対応する信号成分となる。
上記のステップS936の処理が終了したことに応じて、例えば色画素選択部211は、変数cをインクリメントする(ステップS937)。この処理により、変数cが「0」から「1」に変更された場合には、処理対象色が例えばRからBに変更されることになり、色画素選択部211が出力する処理対象色情報もRからBを示す値に変更される。
次に、色画素選択部211は、現在の変数cが最大値より大きいか否かについて判定し(ステップS938)、最大値より小さいと判定した場合には、ステップS926の処理に戻る。これにより、これまでのR光を対象とする倍率色収差補正から、例えばB光を処理対象色とする倍率色収差補正の処理に移行することになる。そして、再度、ステップS938の処理までが実行された結果、ステップS938にて変数cが最大値より大きいと判定されると、例えば1フレーム分の画像に対応した倍率色収差補正が行われたことになる。これに応じて、同心円状収差補正部210からは画素値の書き換えが行われたR、Bのそれぞれに対応する色信号と、色画素選択部211からそのまま出力されるGの色信号とが出力される。これらのR、B、Gの各色信号が収差補正画像信号となる。すなわち、基準となるGの色信号と、このGの色信号に対して生じていた同心円状収差成分による色ずれが補正されたR、Bの各色信号が出力されるものである。そして、本発明の第1の実施の形態では、均一収差成分による色ずれは、防振レンズ群132を駆動することにより補正された状態となっている。
このように、本発明の第1の実施の形態においては、均一収差成分についてはレンズ制御によって補正を行い、同心円状収差については画像処理によって補正を行うことで、倍率色収差が補正できるようになっている。
また、上記第1の実施の形態においては、均一収差補正テーブル620と同心円状収差補正テーブル240とを作成して記憶させることになる。図15に示したように、同心円状収差補正テーブル240は、5次元のテーブルとなるが、画面位置に関連するパラメータは像高値yのみである。また、均一収差成分は画素位置に依存するものではないために、図8に示したように、光学系のパラメータと収差の水平方向成分と垂直方向成分の組合せとから成る4次元テーブルとなっている。これに対して、例えば従来技術では、光学系のパラメータの組合せごとの補正値を、さらに画素ごとに持つようにした補正データを用いる。このような補正データと比較すれば、本発明の実施の形態としては、同心円状収差補正テーブル240と均一収差補正テーブル620とを合わせたとしても、そのデータサイズは大幅に縮小されている。また、データサイズの縮小に伴って補正処理における演算量もさらに少なくすることができる。
また、均一収差補正テーブル620については、例えばレンズの個体ばらつきに対応するために製品ごとに測定を行うが、測定に際しては、代表的なものとして限定された数の絞り値i、ズーム位置z、および、フォーカス位置fの組合せパターンを用いる。そのうえで、測定にあたっては、例えば図10(a)のチャート画像400の場合であれば、画面中心または直線L1、L2の部分における色ずれ量を測定するだけでよい。いずれにせよ、この程度の作業量であれば、個々の製品に対して測定を行ったとしても製品の量産性の妨げ要因となる作業量の増加が少なくて済む。
また、同心円状収差だけではなく、均一収差についても画像信号処理によって補正するように構成することは可能である。ただし、画像信号処理による収差補正は、画質を劣化させる場合がある。本発明の実施の形態は、レンズを変位させて均一収差の補正を行うことで、同心円状収差のみを画像信号処理により補正する。これにより、本発明の実施の形態は、同心円状収差と均一収差の両者を画像信号処理により補正する場合と比較して画質の劣化が抑えられることになる。
また、均一収差補正テーブル620は、均一収差を補正するための防振レンズ群132の変位量を示す均一収差補正データ621を格納しているものとして説明したが、均一収差補正データ621は、図9により説明したように均一収差量を利用して求められる。そこで、図示は省略するが、均一収差補正テーブル620の構造として、均一収差補正データ621に代えて、均一収差量を示すデータを格納することが考えられる。この場合には、まず、レンズ制御情報が示す絞り値i、ズーム位置z、および、フォーカス位置fに対応する均一収差量を求める。次に、求められた均一収差量から変位量を求めるようにする。均一収差量に対応する変位量は、例えば均一収差感度の逆数を係数として、均一収差量にこの係数を乗算することによって求めることができる。
<2.第2の実施の形態>
[均一収差補正部の構成例]
続いて、本発明の第2の実施の形態について説明する。先の第1の実施の形態における同心円状収差補正は、予め記憶させた同心円状収差補正テーブル240を利用して補正量を求めて補正を行うというものであった。これに対して、第2の実施の形態においては、同心円状収差補正について、撮像により得られた画像信号に基づいて補正量を求めて補正を行うという構成を採る。なお、均一収差補正については、第1の実施の形態と同様である。すなわち、均一収差補正テーブル620を利用して求めた収差補正変位量SFT2により防振レンズ群132を駆動することで均一収差の補正を行う。
図18は、第2の実施の形態における同心円状収差補正部210Aの構成例を示している。この同心円状収差補正部210Aは、例えば図13に示された同心円状収差補正部210に代えて設けられるものとなる。なお、この図において、図14と同一部分には同一符号を付して説明を省略する。
図18に示される同心円状収差補正部210Aは、色画素選択部211、色信号補間部221、1/4プレーン画像生成部222、疑似輝度信号生成部223、エッジ検出部224、および、ウィンドウ生成部225を備える。また、差分絶対値和算出部226および色ずれ量算出部227を備える。また、収差倍率算出部228、および、収差倍率頻度情報生成部229を備える。また、同心円状収差補正量算出部213A、色ずれ先画素値算出部214、および、画素値補正部215を備える。
なお、以下の図18の説明にあたっては、R信号を処理対象として補正を行う場合を例に挙げることとする。同心円状収差補正部210Aは、以下に説明するR信号を処理対象とする倍率色収差補正の処理を、同様にしてB信号についても行う。
色信号補間部221は、補正対象画像信号を入力して、補正対象画像信号のR画素ごとの位置のG信号を補間する処理を実行する部位である。この補間処理については、後述するようにしてバイリニア補間の手法を採用することができる。
1/4プレーン画像生成部222は、1/4プレーン画像を生成する部位である。ベイヤ配列は、全画像領域を形成する画素のうちG画素が1/2を占め、R画素とB画素のそれぞれが1/4を占める。上記のR画素位置に対応する補間G信号を生成する処理を実行した後は、全画像領域を形成する画素数に対して1/4の数の補間G画素による補間G信号が得られている。そこで、1/4プレーン画像生成部222は、補間G画素のみからなる画像信号を生成する。これが補間G信号に対応する1/4プレーン画像となる。また、同様にして、R画素のみから成るR信号に対応する1/4プレーン画像を生成する。
疑似輝度信号生成部223は、上記のように生成される2つの1/4プレーン画像を利用して疑似輝度信号を生成する部位である。例えば、補間G信号に対応する1/4プレーン画像とR信号に対応する1/4プレーン画像とを利用する場合には、同じ位置の補間G画素の画素値とR画素の画素値との平均値を算出する処理を、1/4プレーン画像における全画素位置について行う。このように算出された画素位置ごとの平均値により疑似輝度信号が得られる。この疑似輝度信号の生成は、次のエッジ検出処理のために行われる。エッジ検出には色情報を排除した輝度信号を利用することが好ましいが、RAW画像データはR、G、Bの色信号のみから成り、輝度信号成分を含まない。このため、上記のように疑似輝度信号を生成することとしている。
エッジ検出部224は、上記疑似輝度信号を入力して同心円状収差に応じて発生しているエッジを検出する部位である。倍率色収差による色ずれは画像のエッジ部分において顕著に発生することが知られている。すなわち、本発明の第2の実施の形態では、撮像画像のエッジを検出することで同心円状収差を検出しようとするものであり、エッジ検出部224は、同心円状収差補正のために、同心円状収差成分の検出に相当するエッジ検出を行うものである。エッジ検出部224が検出するエッジの方向は、画面中心からの動径方向に沿ったものとなる。
第2の実施の形態のビデオカメラ100の場合、既にレンズ制御によって均一収差は補正されている状態にあるため、撮像画像における同心円状収差の中心は、画面中心と一致した状態となっている。したがって、エッジ検出に際しては、上記のように画面中心を基準とした動径方向を検出すればよく、また、均一収差が補正された状態とされていることで検出結果も安定して得られる。また、このエッジ検出に際しては、その画素値の変化方向の種別として、検出したエッジが立ち上がりエッジと立ち下がりエッジの何れであるのかについても検出することとしている。このようなエッジ検出処理の手法例については後述する。
ウィンドウ生成部225は、上記エッジ検出部224により検出されたエッジの位置を中心として補間G信号およびR信号に対してウィンドウを設定する部位である。これらのウィンドウは、例えば1/4プレーン画像生成部222により生成された1/4プレーン画像において所定の水平画素数と垂直画素数により形成される部分画像領域となる。また、これら補間G信号のウィンドウとR信号のウィンドウは同サイズでよい。
差分絶対値和算出部226は、上記のように設定された2つのウィンドウの位置関係をシフトさせながら、そのシフトさせた位置ごとに差分絶対値和を算出する部位である。なお、ウィンドウのシフト方向は、ウィンドウ生成の元となったエッジの方向と同じ方向にウィンドウをシフトさせる。同心円状収差に対応して検出されるエッジの方向は、動径方向となる。したがって、この場合には画面中心を基準とした動径方向に沿ってウィンドウをシフトさせることになる。なお、補間G信号のウィンドウを固定してR信号のウィンドウを移動させているのは、G信号を参照信号として、G光に対するR光の色ずれ量を求めようとしていることによる。また、このシフト量は、一例であるが、上下方向または左右方向に沿ってそれぞれ5画素分程度の範囲とすればよい。
そして、シフトさせた位置ごとに同じ座標に位置することとなった補間G画素とR画素の差分絶対値を求め、この座標ごとに求められた差分絶対値を全て加算する。これにより、1つのエッジに対応する差分絶対値和が得られる。なお、差分絶対値和は、SAD(Sum of Absolute Difference)ともいわれる。また、差分の2乗和(SSD:Sum of Squared Difference)を求めることとしてもよい。上記のウィンドウ生成部225によるウィンドウ設定と、差分絶対値和算出部226による差分絶対値和の算出は、検出されたエッジごとに行うものとなる。
色ずれ量算出部227は、算出された差分絶対値和を利用して、検出されたエッジの画像部分ごとに対応する色ずれ量を算出する部位である。ここで算出される色ずれ量は、参照信号となるG信号に対するR信号の色ずれ量となる。そして、本発明の実施の形態においては、例えば補間演算を行うことにより、画素単位よりも小さいサブピクセル単位による色ずれ量を算出することとしている。また、色ずれ量算出部227は、動径方向における補間G画素に対するR画素の色ずれ量を、立ち上がりエッジと立ち下がりエッジとで分別して算出する。
収差倍率算出部228は、上記色ずれ量算出部227によって算出された同心円状収差成分に対応する色ずれ量を収差倍率に変換する部位である。ここでいう収差倍率とは、G補間信号に対して色ずれがない状態を1倍としたうえで、算出されたR信号の色ずれ量が得られる状態の倍率値となる。例えばこの収差倍率は基準となるG画素が対応する像高と、算出された色ずれ量に応じて決まる色ずれ先の像高との比率により算出することができる。
収差倍率頻度情報生成部229は、収差倍率算出部228により、R信号において検出されたエッジごとに対応して算出された複数の収差倍率について、そのヒストグラムを作成する部位である。すなわち、収差倍率の出現頻度についての分布を示す情報(収差倍率頻度情報)を生成する。なお、収差倍率は、検出されたエッジごとに対応して算出されたものであり、したがって、立ち上がりエッジと立ち下がりエッジの何れかが対応するものとなる。収差倍率のヒストグラムは、立ち上がりエッジに対応する収差倍率と、立ち下がりエッジに対応する収差倍率のそれぞれとについて作成する。
同心円状収差補正量算出部213Aは、上記のように生成された収差倍率頻度情報に基づいて同心円状収差補正量を算出する部位である。このためには、まず、収差倍率頻度情報に基づいて、実際の補正に採用する収差倍率値を算出する。例えば、この算出された収差倍率値を同心円状収差補正量として扱えばよい。
色ずれ先画素値算出部214は、上記同心円状収差補正量の入力に応じて、同心円状収差成分によるR信号の色ずれ先画素の画素値をR画素ごとについて算出する。また、画素値補正部215はR信号を形成するR画素を対象に、それぞれに対応して算出された色ずれ先画素の画素値に書き換える処理を行う。この画素値の書き換えが同心円状収差の補正に相当する。
上記の画素値の書き換えの完了によりR信号成分についての同心円状収差成分に対応する補正が行われたことになる。そして、同心円状収差補正部210Aの各部位は、これまでに説明した処理をB信号についても実行し、同心円状収差補正後のB信号を出力する。このように出力される同心円状収差補正後のR信号およびB信号を含む収差補正画像信号は、同心円状収差が補正されたものとなっている。そして、レンズ制御によって定常的に実行されている均一収差補正と併せて倍率色収差補正が行われていることになる。
[同心円状収差補正部の処理手順例]
図19は、同心円状収差補正部210Aが実行する倍率色収差補正のための処理手順例を示している。この図に示す各ステップの処理は、同心円状収差補正部210Aにおける各部位が適宜実行するものとなる。また、この図に示される各ステップの処理も例えばCPU111またはDSPがプログラムを実行することにより実現されるものとなる。また、ハードウェアにより実現することも考えられる。また、この図に示す処理においては、まず、補正対象画像信号におけるR信号を対象とする補正処理を実行し、続いて、補正対象画像信号におけるB信号を対象とする補正処理を実行するものとしている。
図19において、まず、色信号補間部221は、例えば1フレーム画像分の処理対象画素信号を入力し(ステップS941)、入力した処理対象画素信号におけるR画素の位置に対応する補間G信号を生成する(ステップS942)。
上記ステップS942による補間G信号生成処理の一具体例について、図21を参照して説明する。図21は、色信号補間部221が入力する補正対象画像信号を、撮像素子におけるR、G、Bの画素配列パターンに対応させて模式的に示している。なお、この画素配列パターンは、ベイヤ配列によるものとなっている。ベイヤ配列では、R、G、Bの各色に対応する色画素であるR画素521R、G画素521G、B画素521Bについて、それぞれ1:2:1の画素数配分により所定の配列規則に従って配列される。そして、R画素位置に対応する補間G信号を生成するのにあたっては、図示するように、1つのR画素521Rの上下左右に隣接する4つのG画素521Gの画素値の加算平均を算出する。この加算平均値が、補間G信号において、上記1つのR画素の位置に対応するG画素の画素値となる。すなわち、ここではバイリニア補間により補間G信号を生成している。そして、この補間処理による補間G信号の生成を、全画像領域におけるR画素位置ごとに実行する。なお、B画素521Bの位置に対応するG信号を補間する場合も、同様にして、1つのB画素521Bの上下左右に隣接する4つのG画素521Gの画素値の加算平均によりGの補間画素値を求めるという処理を全画像領域におけるB画素ごとに行うようにする。
次に、1/4プレーン画像生成部222は、上記色信号補間部221が生成した補正対象画像信号におけるR信号と、上記色信号補間部221が生成した補間G上記色信号補間部221を入力する。そして、入力したR信号から成る1/4プレーン画像と、補間G信号から成る1/4プレーン画像とを生成する(ステップS943)。
次に疑似輝度信号生成部223は、上記のR信号から成る1/4プレーン画像と補間G信号から成る1/4プレーン画像とにより疑似輝度信号を生成する(ステップS944)。この疑似輝度信号は、例えば前述もしたように、R信号から成る1/4プレーン画像における1つのR画素の画素値をVrとし、補間G信号から成る1/4プレーン画像においてこのR画素と同じ位置にある補間G画素の画素値をVgとして、次式による演算を行う。
(Vr+Vg)/2
上式は、R画素の画素値Vrと補間G画素の画素値Vgとの平均値を算出するものとなる。このように算出された平均値が、その画素位置における輝度値を示す。そして、この輝度値の算出を、1/4プレーン画像を形成する全画素について行う。このようにして得られる輝度値から成る信号が疑似輝度信号となる。
上記ステップS944により生成された疑似輝度信号は、エッジ検出部224に対して供給される。エッジ検出部224は、供給された疑似輝度信号に対して同心円状収差に対応したエッジ検出処理を実行する(ステップS945)。
エッジ検出部224が実行する、同心円状収差成分に対応するエッジ検出の手法例について、図22を参照して説明する。図22は、疑似輝度信号により形成される画像面500を示している。エッジ検出部224は、この画像面500について、その中心位置の画素の座標Cを起点とする動径方向に沿った分割線により、N領域、NE領域、E領域、SE領域、S領域、SW領域、W領域、および、NW領域の8つの領域に分割する。そのうえで、これらの領域ごとに動径方向(像高方向)におけるエッジを検出する。このためには、上記8つのN領域、NE領域、E領域、SE領域、S領域、SW領域、W領域、および、NW領域に対応して、それぞれ、カーネル511、516、514、518、512、517、513、および、515を設定すればよい。これらの各カーネルの係数パターンは、画像中心Cから動径方向にエッジを検出するものとなっている。
なお、同心円状収差は像高方向、すなわち動径方向において発生する収差であるから、上記の8つの領域のうちの少なくとも何れか1つの領域を利用することでエッジ検出は可能である。また、8つよりも多い領域に分割して検出してもよい。本発明の実施の形態では、高い精度で補正量を算出することと、計算量が許容範囲を越えて大きくならないようにすることを考慮して、例えば8方向でのエッジ検出を行うこととしている。
また、エッジ検出部224は、ステップS945としてのエッジ検出に際して、検出したエッジごとに、その画素値の変化方向の種別として、立ち上がりエッジと立ち下がりエッジの何れであるのかについても検出することとしている。立ち上がりエッジとは、エッジの検出方向に沿って輝度の低い状態から高い状態に変化するエッジをいう。立ち下がりエッジとは、エッジを検出していく方向に沿って輝度の高い状態から低い状態に変化するエッジをいう。
N領域を例に挙げると、エッジ検出方向は画面の中心Cから上の方向となる。このエッジ検出方向に沿ってカーネル511によりエッジ検出した場合において、フィルタの出力は、立ち上がりエッジでは正の値となり、立ち下がりエッジでは負の値となる。したがって、エッジを検出した際のフィルタ出力の値が正と負の何れであるのかに応じて、そのエッジが立ち上がりエッジと立ち下がりエッジの何れであるのかを判定することができる。エッジ検出部224は、上記N領域以外の他の領域についても同様にして、検出したエッジごとに、立ち上がりエッジと立ち下がりエッジのいずれであるのかについて検出する。なお、エッジ検出のためのフィルタとしては、図22に示したカーネルによるもの以外であってもよく、例えばこれまでに知られている各種の構成、アルゴリズムが採用されればよい。
上記ステップS945によっては、例えば輝度変化が一定以上の変化を示す画像部分ごとに応じて1以上のエッジが検出される。続くステップS946乃至S955の処理は、上記ステップS945により検出されたエッジごとに対応して実行される処理となる。
まず、ウィンドウ生成部225は、検出されたエッジに付した番号に対応する変数Nに初期値である1を代入し(ステップS946)、R信号および補間G信号のそれぞれに対してN番目のエッジに対応するウィンドウを設定する(ステップS947)。すなわち、先のステップS943にて生成されたR信号の1/4プレーン画像に対して、N番目のエッジが検出された位置を中心とする所定サイズのウィンドウを設定する。同様に、先のステップS943にて生成された補間G信号の1/4プレーン画像の同じ位置に対しても同じサイズのウィンドウを設定する。
次に、差分絶対値和算出部226は、設定された補間G信号のウィンドウを固定したうえで、R信号のウィンドウを予め設定された移動量の範囲で移動(シフト)させる。そして、このシフトを行いながら、図14にて説明したように同じ位置にある補間G信号とR信号の画素値についての差分絶対値和を算出する(ステップS948)。なお、ステップS948におけるR信号のウィンドウのシフト方向は、画像中心Cを基準とするN番目のエッジの検出方向と同じ動径方向となる
図23には、上記ステップS948によって1つのエッジに対応して算出された差分絶対値和(SAD値)とウィンドウのシフト量との関係が示されている。例えば、この図においては、「+1」のシフト量において差分絶対値和が最小となっており、「+1」からシフト量の値が変化していくのに応じて、差分絶対値和が増加している。補間G画素のウィンドウとR画素のウィンドウとの相関は、差分絶対値和が小さいほど高く、差分絶対値和が大きいほど低い。そして、最小の差分絶対値和に対応するシフト量が、補間G信号に対するR信号の色ずれ量に相当することになる。図23の例では、補間G画素のウィンドウに対してR画素のウィンドウを「+1」画素分のシフト量によりシフトしたときが最も差分絶対値和が低くなっている。すなわち、この図の場合の補間G信号に対するR信号の色ずれ量は、「+1」画素分のシフト量に相当する。
なお、ウィンドウ生成部225によるウィンドウ設定と、差分絶対値和算出部226による差分絶対値和の算出処理は、画像のブロックマッチング処理の一手法例となる。本発明の実施の形態としては、例えば他のブロックマッチングの手法などにより補間G信号とR信号との相関を算出してよい。
続いて、色ずれ量算出部227は、上記ステップS948により算出された差分絶対値和からN番目のエッジに対応する色ずれ量を算出する(ステップS949)。なお、前述したように、ここでの色ずれ量は、例えば補間演算によって画素単位よりも小さいサブピクセル単位まで算出される。そして、収差倍率算出部228は、上記ステップS949により算出された色ずれ量から収差倍率を算出する(ステップS950)。
次に、収差倍率頻度情報生成部229は、N番目のエッジについて、立ち上がりエッジとして検出されているか否かについて判定する(ステップS951)。収差倍率頻度情報生成部229は、立ち上がりエッジであると判定したことに応じては、立ち上がりエッジ対応ヒストグラムに対して、N番目のエッジに対応して算出された収差倍率を登録する(ステップS952)。すなわち、このヒストグラムは、収差倍率ごとに応じたビンを有している。ステップS952においては、N番目のエッジに対応して算出された収差倍率が該当するビンの度数をインクリメントする。これに対して、ステップS951により立ち上がりエッジではないと判定した場合には、収差倍率頻度情報生成部229は、立ち下がりエッジ対応ヒストグラムに対して、N番目のエッジに対応して算出された収差倍率を登録する(ステップS953)。
次に、例えばウィンドウ生成部225は、変数Nをインクリメントしたうえで(ステップS954)、変数Nが最大値であるか否かについて判定する(ステップS955)。ステップS955にて変数Nが最大値であるとして判定されるまで、ステップS947乃至S954の処理が繰り返される。
ステップS955にて変数Nが最大値であるとして判定された段階では、検出された全ての立ち上がりエッジと立ち下がりエッジの収差倍率の出現頻度が統計された立ち上がりエッジ対応ヒストグラムと立ち下がりエッジ対応ヒストグラムが形成されている。図24は、この段階にて得られた立ち上がりエッジ対応ヒストグラムまたは立ち下がりエッジ対応ヒストグラムの一例を示している。このように、立ち上がりエッジ対応ヒストグラムと立ち下がりエッジ対応ヒストグラムは、収差倍率の出現頻度をその度数により示すものとなる。
次に、同心円状収差補正量算出部213Aは、同心円状収差補正量を算出する(ステップS970)。この同心円状収差補正量の算出には、立ち上がりエッジ対応ヒストグラムにより示される立ち上がりエッジに対応した収差倍率の出現頻度の情報を利用する。また、立ち下がりエッジ対応ヒストグラムにより示される立ち下がりエッジに対応した収差倍率の出現頻度の情報を利用する。このステップS970としての同心円状収差補正量算出の処理手順例については後述する。
なお、例えばステップS952、S953のそれぞれに対応する立ち上がりエッジ対応ヒストグラム、立ち下がりエッジ対応ヒストグラムの形成は、像高がほぼ等しくなるリング状の領域ごとに分けて行うようにしてもよい。これに応じて、同心円状収差補正量も上記リング状の領域ごとに算出する。これにより、像高に応じた同心円状収差補正量が求められるため、より精度の高い収差補正を行うことができる。
次に、色ずれ先画素値算出部214は、上記ステップ970により算出された同心円状収差補正量に対応する色ずれ先画素の画素値(補正画素値)を、R画素ごとに算出する(ステップS956)。画素値補正部215は、算出された補正画素値により各R画素の画素値を書き換える(ステップS957)。これにより、R信号は、同心円状収差補正が行われたことになる。そこで、例えば画素値補正部215は、同心円状収差が補正されたR信号を、収差補正画像信号におけるR成分として出力する(ステップS958)。
続いては、これまでのステップS931乃至ステップS959と同様の処理手順により、処理対象画像信号におけるB信号を補正処理対象とする倍率色収差を実行する(ステップS959)。ここまでの処理が実行されることにより、例えば1つのフレーム画像についての倍率色収差補正が行われたことになる。
[エッジ変化方向検出の必要性について]
これまでの説明から理解されるように、本発明の第2の実施の形態においては、エッジ検出に際して、そのエッジの変化方向を検出している。すなわち、立ち上がりエッジと立ち下がりエッジの何れであるのかを検出している。そして、このエッジの変化方向を同心円状収差補正量の算出において利用する。本発明の第2の実施の形態の同心円状収差補正においてエッジの変化方向の検出結果を利用するのは、以下のような理由による。
図25および図26は、線像強度分布関数(LSF:Line Spread Function)を示している。図25は、レンズの光軸に対応する画像中心位置(像高「0」)上において得られる線像強度分布を示し、図26は、画像中心位置から一定距離離れた0以上の絶対値による所定値の像高における線像強度分布を示している。横軸は像高であり、縦軸は光強度である。なお、ここでは、横軸の像高の値は、所定の動径方向に対応する像高方向を正の値により示し、これとは点対称の動径方向に対応する像高方向を負の値により示している。また、実線はR成分を示し、一点鎖線はG成分を示し、破線はB成分を示す。
図25においては、R、G、Bの各色の線像強度分布のピークが像高「0」で一致している。また、分布形状は、像高「0」に対してほぼ左右対称の分布とみてよいものとなっている。これに対して、図26においては、R、G、Bの各色の線像強度分布のピークが現れる像高にばらつきを生じている。これが倍率色収差における同心円状収差に相当する。また、分布形状としては、その裾側が図25の場合よりも広がるとともに、ピークに対する対象性が失われている。図においては、ピークに対して像高値が低い側よりも、像高値の高い側の方の裾の部分が長く広がる形状が示されている。
図26の例では、分布形状のピークに対して像高が高い側の裾の形状は立ち下がりエッジの特性と相関があり、像高が低い側の裾の形状は立ち上がりエッジの特性と相関がある。したがって、上記のように像高が高くなるのに応じて線像強度分布が非対称の形状となることによっては、画像における立ち上がりエッジと立ち下がりエッジとで同心円状収差により発生する色ずれ量が異なってくる。
例えば従来技術においては、立ち上がりエッジと立ち下がりエッジの何れであるのかについては検出せずに、検出した全てのエッジごとの収差倍率を統計した1つのヒストグラムを作成している。この場合、実際においては、立ち上がりエッジと立ち下がりエッジとで色ずれ量が異なるために、ヒストグラムには立ち上がりエッジと立ち下がりエッジのそれぞれに対応する2つの度数のピークが現れる。この場合には、例えば何れか一方のピークに該当する収差倍率により補正量を求めることになる。この結果、立ち上がりエッジと立ち下がりエッジの何れか一方のエッジのみに対して収差補正が行われ、他方のエッジに対しては、十分な収差補正が行われないという補正結果となってしまう。このように補正された画像は、視覚的に十分な補正効果が得られていないという印象を与えやすいことが確認されている。
そこで、本発明の実施の形態としては、例えば同心円状収差の補正に際して、検出されたエッジについて立ち上がりエッジと立ち下がりエッジとで分別し、両者のそれぞれについて個別にヒストグラムを形成することとしている。これにより、立ち上がりエッジと立ち下がりエッジとのそれぞれについての収差倍率、すなわち同心円状収差補正量を的確に求めることができる。
[同心円状収差補正量算出処理例]
図19におけるステップS970としての同心円状収差補正量算出の処理は、上記のように立ち上がりエッジと立ち下がりエッジとのそれぞれに対応して得られたヒストグラムの統計結果を利用する。この同心円状収差補正量算出処理についてはいくつか考えられるが、ここでは4例を挙げて説明する。
まず、第1例としては、立ち上がりエッジ対応ヒストグラムにおける最大頻度に該当する収差倍率(立ち上がりエッジ対応最頻収差倍率)を特定する。同様に、立ち下がりエッジ対応ヒストグラムにおける最大頻度に該当する収差倍率(立ち下がりエッジ対応最頻収差倍率)を特定する。そして、これらの最頻収差倍率の単純平均を算出する。この算出された値を利用して補正量を算出するというものである。なお、立ち上がりエッジ対応収差倍率と立ち下がりエッジ対応収差倍率は、それぞれ、立ち上がりエッジ対応ヒストグラムと立ち下がりエッジ対応ヒストグラムにおける最頻値に該当する収差倍率により決定すればよい。
また、第2例としては、立ち上がりエッジ対応最頻収差倍率と立ち下がりエッジ対応最頻収差倍率との加重平均を算出し、この加重平均の値を利用して補正量を求めるというものである。この加重平均の演算において用いる重み係数は、例えば次のようにして設定できる。まず、予め例えば1つの代表となる像高を決定し、この像高における光学レンズ部120の点像強度分布を測定する。あるいは、測定の代わりに、光学レンズ部120のスペックとして定められた点像強度分布を用意する。そして、この点像強度分布の形状におけるピークを境界とする右側と左側の面積の比を求める。この面積の比に基づいて、立ち上がりエッジ対応最頻収差倍率と立ち下がりエッジ対応最頻収差倍率との重み係数を算出するというものである。また、例えば実際において所定の絵柄のチャート画像を撮像しながら重み係数の組合せを変化させていき、最も補正後の画像が良好なときの重み係数を採用するということも考えられる。
ここで、図27を参照して、上記第2例による同心円状収差補正の効果について説明しておく。図27(a)は、同心円状収差補正前の画像信号により得られる画像の一部を示している。この画像は、例えば黒色部分が実際には青色であり、これ以外の白色部分は実際に白色である。また、同心円状収差によって発生する色ずれによりエッジがぼけている部分はハッチングにより示している。この色ずれを生じている部分は、例えば実際には黄色などが現れる。この図の例では、立ち上がりエッジ部分の方が立ち下がりエッジ部分よりもぼけが大きくなっている場合が示されている。
図27(b)は、図27(a)に示す画像に対して、立ち上がりエッジ対応最頻収差倍率のみにより同心円状収差補正を行った場合の画像を示している。また、図27(c)は、図27(a)に示す画像に対して、例えば立ち下がりエッジ対応最頻収差倍率のみにより同心円状収差補正を行うことによって得られる画像を示している。
すなわち、図27(b)および図27(c)は、第2例との比較として、加重平均を求めることなく、立ち上がりエッジ対応最頻収差倍率または立ち下がりエッジ対応最頻収差倍率の何れか一方のみによって同心円状収差補正を行った結果を示す。
そして、この図27(b)および図27(c)は、先に従来技術として述べた、立ち上がりエッジと立ち下がりエッジを分けて検出せずに、検出したエッジの収差倍率を1つのヒストグラムに統計するという構成のもとでの同心円状収差補正の結果にも対応する。すなわち、ヒストグラムに現れた2つのピークのうち、立ち上がりエッジのピークに該当する収差倍率により補正が行われたとすれば、図27(b)に示す結果となる。一方、立ち下がりエッジのピークに該当する収差倍率により補正が行われたとすれば、図27(c)に示す結果となる。
これに対して、図27(d)は、立ち上がりエッジ対応最頻収差倍率と立ち下がりエッジ対応最頻収差倍率との加重平均により同心円状収差補正を行って得られる画像を示している。
これらの図から理解されるように、図27(b)では、立ち上がりエッジ部分における色ずれのみが補正されており、立ち下がりエッジ部分における色ずれはそのままとなっている。一方、図27(c)では、立ち下がりエッジ部分における色ずれのみが補正されており、立ち上がりエッジ部分における色ずれはそのままとなっている。すなわち従来技術のようにして立ち上がりエッジと立ち下がりエッジとを区別しない場合には、補正効果が偏ってしまい、全体として十分な補正効果が得られない。これに対して、本発明の実施の形態に対応する図27(d)では、立ち上がりエッジ部分と立ち下がりエッジ部分との両者について、それぞれ重み付け係数に応じた度合いにより色ずれが補正されている。すなわち、全体として高い補正効果が得られている。
次に、第3例としては、立ち上がりエッジと立ち下がりエッジについての信頼度(エッジ信頼度)を求めることとする。そして、このエッジ信頼度が高い方に対応する最頻収差倍率を採用するというものである。例えば画像内容により、立ち上がりエッジと立ち下がりエッジとの何れか一方が明確で、他方は明確さに欠けるというような状態となることがしばしばある。例えばエッジが明確に現れているほど、その信頼度は高くなるといえる。
上記のエッジ信頼度は、例えば図19のステップS948により算出する差分絶対値和に基づいて求めることができる。例えば図21に示したシフト位置と差分絶対値和との関係を示した図では、最小値に対応する極値が1つだけ得られている。しかし、実際においては、エッジが不明確であると、最小値に対応する極値が複数出現するような結果が得られる。そこで、ステップS948により差分絶対値和を算出した際において、最小値に対応する極値の数を判定するようにして、判定された極値の数に応じた点数を与えることとする。この点数は、例えば最小値に対応する極値が1つのみのときに最大値で、以降、極値の数が多くなるのに応じて値を小さくしていくようにする。そして、ステップS948を繰り返し実行するごとに、立ち上がりエッジと立ち下がりエッジとで、それぞれ、点数を加算していくようにする。これにより、全てのエッジについて色ずれ量を算出した段階では、立ち上がりエッジと立ち下がりエッジのそれぞれに対応する総合点数が得られていることになる。この総合点数がすなわちエッジ信頼度であり、基本的には、立ち上がりエッジと立ち下がりエッジとで、上記総合点数の高い方がエッジ信頼度は高いということになる。
図20のフローチャートは、ステップS970の同心円状収差補正量算出の処理として、上記のように求められたエッジ信頼度を利用した場合の手順例を示している。まず、同心円状収差補正量算出部213Aは、上記のように求められた立ち上がりエッジと立ち下がりエッジのそれぞれについてのエッジ信頼度(総合点数)についての評価を行う(ステップS971)。ここでのエッジ信頼度についての評価は、立ち上がりエッジと立ち下がりエッジのエッジ信頼度が同等であるのか否かを、また、同等でなければ、何れが高いのかを判断するものとなる。
また、上記ステップS971としての評価のための具体的な処理としては、例えば、次のようなものを考えることができる。例えば立ち上がりエッジの総合点数をA、立ち下がりエッジの総合点数をBとして(C=A−B)による演算により差分値Cを算出する。そして、この差分値Cの絶対値と所定の閾値Dとを比較し、差分値Cが閾値D未満であれば、両者の信頼度は同等であるとの評価結果を出力する。これに対して、差分値Cが、閾値D以上であり、かつ、正の値であれば、立ち上がりエッジの方の信頼度が高いとの評価結果を出力する。また、差分値Cが、閾値D以上であり、かつ、負の値であれば、立ち下がりエッジの方の信頼度が高いとの評価結果を出力するというものである。
次に同心円状収差補正量算出部213Aは、上記ステップS971により出力された評価結果について判定する(ステップS972)。このステップS972において、立ち上がりエッジの信頼度の方が高いという評価結果であったことが判定されたとする。この場合、同心円状収差補正量算出部213Aは、立ち上がりエッジ対応最頻収差倍率を補正量算出に利用する収差倍率として採用する(ステップS973)。これに対して、ステップS972において、立ち下がりエッジの信頼度の方が高いという評価結果はあったことが判定された場合には、立ち下がりエッジ対応最頻収差倍率を補正量算出に利用する収差倍率として採用する(ステップS974)。
さらに、ステップS972において、評価結果は同等の信頼度であったと判定された場合には、同心円状収差補正量算出部213Aは、立ち上がりエッジ対応最頻収差倍率と立ち下がりエッジ対応最頻収差倍率との平均値を算出する。そして、この算出した平均値を補正量算出に利用する収差倍率として採用する(ステップS975)。この平均値算出処理は、第1例の単純平均を求めるものであってもよいし、第2例の加重平均を求めるものであってもよい。そして、同心円状収差補正量算出部213Aは、上記ステップS973、S974およびS975の何れかにより採用された収差倍率を利用して、同心円状収差補正量を算出する(ステップS976)。
また、第4例としては、例えば立ち上がりエッジが検出された画像領域の画素については立ち上がりエッジ対応最頻収差倍率を採用して同心円状収差補正量を算出する。一方、立ち下がりエッジが検出された画像領域の画素については立ち下がりエッジ対応最頻収差倍率を採用して同心円状収差補正量を算出するという構成も考えることができる。
なお、第2の実施の形態のもとでは、実際に要求される補正効果の程度などに応じて、ヒストグラムを利用しない同心円状収差の補正処理を行うこととしてもよい。一例として、立ち上がりエッジまたは立ち下がりエッジの色ずれ量の平均値から求めた補正量によって補正を行う構成とすることが考えられる。また、検出されたエッジ全ての色ずれ量の平均値から算出した補正量によって補正を行う構成とすることも考えられる。
<3.第3の実施の形態>
続いて、本発明の第3の実施の形態について説明する。この第3の実施の形態におけるビデオカメラ100は、倍率色収差が補正された光学レンズ部120と、図7に示したレンズ制御による均一収差補正の構成とを組み合わせることによって倍率色収差補正を行うように構成される。これに伴い、第3の実施の形態においては、図14および図18などに示した同心円状収差補正部210および210Aのように、画像処理によって同心円状収差を補正する構成は備えなくともよい。
光学レンズ部120自体による倍率色収差の補正は、光の波長による屈折率の差が小さい材質のレンズを使用することで可能である。また、屈折率の異なるレンズを組み合わせることによっても可能である。なお、屈折率の異なるレンズを組み合わせることによって倍率色収差を補正したレンズとしては、例えば色消しレンズやアクロマートレンズと称されるものが知られている。
レンズの特性としての倍率色収差は、レンズ光軸を中心として同心円状に色ずれを生じるものとなる。すなわち、本発明の実施の形態における同心円状収差に相当する。したがって、上記のように倍率色収差が補正された光学レンズ部120を備えることによっては、まず、倍率色収差における同心円状収差成分が補正されることになる。
ただし、上記のように同心円状収差成分が補正されているとしても、光学レンズ部120を組み立てる際には取りつけ誤差によってレンズの偏芯や傾きが生じる。この取り付け誤差によっては均一収差が発生してしまう。そこで、第3の実施の形態においては、上記のように発生する均一収差を、先の第1および第2の実施の形態と同様に、図7に示した構成によって補正する。これにより倍率色収差の補正が行われる。
このように第3の実施の形態においては、光学レンズ部120自体による同心円状収差補正と防振レンズ群132の駆動による均一収差補正とにより倍率色収差補正を行う。この構成の場合には、画像処理による同心円状収差補正は行わなくともよい。画像処理による収差補正は画質を劣化させる原因となる場合があるが、第3の実施の形態においては、このような画質の劣化は全く生じない。
なお、図1の光学レンズ部120は、ビデオカメラ100の本体に対して固定的に取り付けられるものを想定しているが、例えば交換レンズとされて、ビデオカメラ100の本体に対して着脱が可能とされているものであってもよい。倍率色収差が補正されたレンズの製造にはコストがかかる。このため、倍率色収差が補正されたレンズは、レンズ自体に高い性能が求められる交換レンズに採用されることが多い。第3の実施の形態の構成は、光学レンズ部120が交換レンズである場合にも有効である。光学レンズ部120自体の倍率色収差が補正されていても、例えば光学レンズ部120をビデオカメラ100の本体に装着する機構部位などに精度誤差が存在する場合がある。この場合には、装着した段階でレンズの偏芯又は傾きが生じて均一収差が発生する。第3の実施の形態によっては、このような均一収差が補正されるものであり、この結果、倍率色収差が補正された撮像画像が得られる。
<4.変形例>
次に、本発明の実施の形態の変形例について説明する。この変形例は、均一収差補正のためのレンズをダイナミックに変位させるように駆動するものではないが、以下のようにレンズを変位させて均一収差を補正する。
レンズ光学系の製造工程においては、調芯と称される、レンズ光学系の解像度を高くするためにレンズの配置位置を調整する工程が行われる場合がある。調芯が行われる場合、レンズ光学系を形成するレンズにおける特定のレンズが調芯レンズとして機能する。そして、調芯の工程では、まず、調芯レンズを光軸に対して垂直な方向に移動させながらMTF(Modulation Transfer Function)が最大となる位置を特定する。次に、この特定された位置にて調芯レンズを固定するというものである。これにより、レンズ光学系の解像度が最良の状態に設定される。
調芯レンズは、上記のように光軸に対して垂直な方向に沿って変位される。このことからすれば、調芯レンズによって均一収差を補正することも可能であることになる。そこで、本発明の実施の形態の変形例としては、調芯の工程に際して、MTFおよび均一収差補正がともに最良となる調芯レンズの位置を特定する。そして、この位置にて調芯レンズを固定するというものである。これにより、調芯の工程において、本来の解像度の調整とともに均一収差を補正することができる。
この変形例の構成においては、図7に示される防振レンズ群132の駆動により均一収差を補正する構成を省略することができる。同心円状収差の補正は、図14または図18に示した同心円状収差補正部210または210Aにより行う。
なお、これまでの説明においては、本発明の実施の形態としての倍率色収差補正の構成をビデオカメラ100などの撮像装置に適用しているが、例えばパーソナルコンピュータのアプリケーションプログラムとして構成することも考えられる。
また、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disk)、メモリカード、ブルーレイディスク(Blu-ray Disc(登録商標))等を用いることができる。
100 ビデオカメラ
120 光学レンズ部
122 アクチュエータ
132 防振レンズ群
140 レンズ制御部
141 防振レンズ駆動部
142 レンズ制御情報保持部
150 ジャイロセンサ
200 カメラ信号処理部
210、210A 同心円状収差補正部
600 均一収差補正部
610 変位量算出部
620 均一収差補正テーブル
621 均一収差補正データ
630 加算部
700 防振制御部

Claims (10)

  1. 変位するように駆動される変位レンズと、
    画像全体において色ずれの方向と色ずれの量が均一に発生する倍率色収差の成分である均一収差を補正するための均一収差補正データを保持する均一収差補正データ保持部と、
    前記均一収差補正データを利用して均一収差を補正するための前記変位レンズの収差補正変位量を算出する変位量算出部と、
    前記収差補正変位量に基づく駆動変位量に応じて前記変位レンズを変位させるように駆動する変位レンズ駆動部と、
    画像の中心から同心円状の色ずれを生じる倍率色収差の成分である同心円状収差を補正するための同心円状収差補正量を入力画像信号における処理対象画素について算出する同心円状収差補正量算出部と、
    算出された前記同心円状収差補正量に基づいて、前記処理対象画素の画素値を補正する画素値補正部と
    を具備する撮像装置。
  2. 当該撮像装置の動きに応じた撮像画像の揺れをキャンセルするための前記変位レンズの防振変位量を生成する防振制御部と、
    前記収差補正変位量に前記防振変位量を加算して前記駆動変位量として出力する加算部と
    をさらに具備する請求項1記載の撮像装置。
  3. 前記均一収差補正データ保持部は、前記変位レンズを含むレンズ部における所定の可動部位についての制御状態を示す所定のレンズ制御情報の組合せから成る均一収差条件ごとに対応する前記均一収差補正データを保持し、
    前記変位量算出部は、前記均一収差補正データのうちから現在の前記レンズ制御情報の組合せから成る前記均一収差条件に対応する均一収差補正データを選択し、当該選択された均一収差補正データに基づいて前記収差補正変位量を算出する
    請求項1記載の撮像装置。
  4. 前記均一収差補正データは、対応する前記均一収差条件の下で発生する均一収差を補正するための前記変位レンズの均一収差条件対応変位量を示し、
    前記変位量算出部は、選択された前記均一収差補正データが示す均一収差条件対応変位量に基づいて前記収差補正変位量を算出する
    請求項3記載の撮像装置。
  5. 前記均一収差条件対応変位量は、レンズの特性に基づくシミュレーションにより算出されたレンズの均一収差についての感度と、撮像画像を利用して測定された均一収差による色ずれ量とに基づいて算出される
    請求項4記載の撮像装置。
  6. 光の色と像高との組合せを少なくとも含む同心円状収差条件ごとに対応した補正量を示す同心円状収差補正データを保持する同心円状収差補正データ保持部をさらに具備し、
    前記同心円状収差補正量算出部は、前記同心円状収差補正データのうちから前記処理対象画素が該当する前記同心円状収差条件に対応する前記同心円状収差補正データを選択し、当該選択された前記同心円状収差補正データを利用して前記同心円状収差補正量を算出する、
    請求項1記載の撮像装置。
  7. 前記入力画像信号から前記同心円状収差に対応するエッジを検出するエッジ検出部をさらに具備し、
    前記同心円状収差補正量算出部は、前記エッジ検出部によって検出されたエッジごとにおいて同心円状収差によって発生している色ずれ量に基づいて前記処理対象画素についての前記同心円状収差補正量を算出する、
    請求項1記載の撮像装置。
  8. 変位するように駆動される変位レンズを含み、倍率色収差が補正された光学レンズ部と、
    画像全体において色ずれの方向と色ずれの量が均一に発生する倍率色収差の成分である均一収差を補正するための均一収差補正データを保持する均一収差補正データ保持部と、
    前記均一収差補正データを利用して均一収差を補正するために前記変位レンズを変位させる収差補正変位量を算出する変位量算出部と、
    前記収差補正変位量に基づく駆動変位量に応じて前記変位レンズを変位させるように駆動する変位レンズ駆動部と、
    を具備する撮像装置。
  9. 画像全体において色ずれの方向と色ずれの量が均一に発生する倍率色収差の成分である均一収差を補正するための均一収差補正データを利用して、均一収差を補正するための変位レンズの収差補正変位量を算出する変位量算出手順と、
    前記収差補正変位量に基づく駆動変位量に応じて前記変位レンズを変位させるように駆動する変位レンズ駆動手順と、
    画像の中心から同心円状の色ずれを生じる倍率色収差の成分である同心円状収差を補正するための同心円状収差補正量を入力画像信号における処理対象画素について算出する同心円状収差補正量算出手順と、
    算出された前記同心円状収差補正量に基づいて、前記処理対象画素の画素値を補正する画素値補正手順と
    を具備する収差補正方法。
  10. 画像全体において色ずれの方向と色ずれの量が均一に発生する倍率色収差の成分である均一収差を補正するための均一収差補正データを利用して、均一収差を補正するための変位レンズの収差補正変位量を算出する収差補正変位量算出手順と、
    前記収差補正変位量に基づく駆動変位量に応じて前記変位レンズを変位させるように駆動する変位レンズ駆動手順と、
    画像の中心から同心円状の色ずれを生じる倍率色収差の成分である同心円状収差を補正するための同心円状収差補正量を入力画像信号における処理対象画素について算出する同心円状収差補正量算出手順と、
    算出された前記同心円状収差補正量に基づいて、前記処理対象画素の画素値を補正する画素値補正手順と
    をコンピュータに実行させるプログラム。
JP2010184674A 2010-08-20 2010-08-20 撮像装置、収差補正方法、および、プログラム Expired - Fee Related JP5577939B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010184674A JP5577939B2 (ja) 2010-08-20 2010-08-20 撮像装置、収差補正方法、および、プログラム
US13/190,900 US8446477B2 (en) 2010-08-20 2011-07-26 Imaging apparatus, aberration correcting method, and program
EP11177364.4A EP2421248A3 (en) 2010-08-20 2011-08-12 Imaging apparatus, aberration correcting method, and program
CN2011102303768A CN102378013A (zh) 2010-08-20 2011-08-12 成像设备、象差校正方法和程序
TW100128856A TW201223266A (en) 2010-08-20 2011-08-12 Imaging apparatus, aberration correcting method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010184674A JP5577939B2 (ja) 2010-08-20 2010-08-20 撮像装置、収差補正方法、および、プログラム

Publications (2)

Publication Number Publication Date
JP2012044498A JP2012044498A (ja) 2012-03-01
JP5577939B2 true JP5577939B2 (ja) 2014-08-27

Family

ID=44645556

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010184674A Expired - Fee Related JP5577939B2 (ja) 2010-08-20 2010-08-20 撮像装置、収差補正方法、および、プログラム

Country Status (5)

Country Link
US (1) US8446477B2 (ja)
EP (1) EP2421248A3 (ja)
JP (1) JP5577939B2 (ja)
CN (1) CN102378013A (ja)
TW (1) TW201223266A (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201143429A (en) * 2010-05-17 2011-12-01 Hon Hai Prec Ind Co Ltd System for correcting image and correcting method thereof
JP5505135B2 (ja) * 2010-06-30 2014-05-28 ソニー株式会社 画像処理装置、画像処理方法、および、プログラム
JP5269143B2 (ja) * 2010-07-16 2013-08-21 キヤノン株式会社 像ブレ補正装置及びその制御方法及び撮像装置
JP2012070046A (ja) * 2010-09-21 2012-04-05 Sony Corp 収差補正装置、収差補正方法、および、プログラム
JP5889010B2 (ja) * 2012-01-31 2016-03-22 キヤノン株式会社 撮像装置およびその制御方法
JP5987387B2 (ja) * 2012-03-22 2016-09-07 ソニー株式会社 ヘッドマウントディスプレイ及び手術システム
JP2013219705A (ja) * 2012-04-12 2013-10-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US20130321675A1 (en) * 2012-05-31 2013-12-05 Apple Inc. Raw scaler with chromatic aberration correction
CN103889302B (zh) * 2012-06-01 2016-04-13 奥林巴斯株式会社 内窥镜系统
US8913141B2 (en) * 2012-06-28 2014-12-16 Gopro, Inc. Edge-based electronic image stabilization
US9894269B2 (en) 2012-10-31 2018-02-13 Atheer, Inc. Method and apparatus for background subtraction using focus differences
JP2014188603A (ja) * 2013-03-26 2014-10-06 Brother Ind Ltd 加工装置、及びデータ処理プログラム
JP6104010B2 (ja) * 2013-03-26 2017-03-29 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP5887465B2 (ja) 2013-04-17 2016-03-16 富士フイルム株式会社 撮像装置、撮像装置駆動方法、撮像装置制御プログラム
JP2015012304A (ja) * 2013-06-26 2015-01-19 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
KR102025184B1 (ko) * 2013-07-31 2019-09-25 엘지디스플레이 주식회사 데이터 변환 장치 및 이를 이용한 디스플레이 장치
JP6170395B2 (ja) * 2013-09-26 2017-07-26 キヤノン株式会社 撮像装置およびその制御方法
JP6313685B2 (ja) * 2014-05-01 2018-04-18 キヤノン株式会社 撮像装置およびその制御方法
US10438331B2 (en) * 2014-06-26 2019-10-08 Intel Corporation Distortion meshes against chromatic aberrations
US9804392B2 (en) 2014-11-20 2017-10-31 Atheer, Inc. Method and apparatus for delivering and controlling multi-feed data
KR102176284B1 (ko) * 2015-04-08 2020-11-09 삼성전기주식회사 디지털 촬영시스템 및 그 제어방법
CN105357507B (zh) * 2015-10-16 2017-08-25 凌云光技术集团有限责任公司 色彩偏差图像的校正方法及装置
JP2017116738A (ja) * 2015-12-24 2017-06-29 キヤノン株式会社 画像補正装置、画像補正装置の制御方法及びプログラム
JP6214713B1 (ja) 2016-04-18 2017-10-18 キヤノン株式会社 画像処理装置、撮像装置、レンズ装置、画像処理方法、プログラム、記憶媒体、および、情報処理方法
JP6261676B1 (ja) * 2016-07-28 2018-01-17 キヤノン株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP6328182B2 (ja) * 2016-07-28 2018-05-23 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
EP3358844A1 (en) * 2017-02-07 2018-08-08 Koninklijke Philips N.V. Method and apparatus for processing an image property map
JP2019008178A (ja) * 2017-06-26 2019-01-17 キヤノン株式会社 撮像装置およびその制御方法
CN107345836A (zh) * 2017-07-14 2017-11-14 无锡北方湖光光电有限公司 一种红外热像前置镜光学中心的校准装置及校准的方法
CN107403149A (zh) * 2017-07-17 2017-11-28 广东欧珀移动通信有限公司 虹膜识别方法及相关产品
TWI733015B (zh) * 2018-03-30 2021-07-11 光芒光學股份有限公司 鏡頭及其製造方法
EP3564917B1 (en) * 2018-05-04 2020-07-01 Axis AB A method for detecting motion in a video sequence
JP7059171B2 (ja) * 2018-12-14 2022-04-25 キヤノン株式会社 レンズ装置、撮像装置、処理装置、およびカメラ装置
US11483547B2 (en) * 2019-12-04 2022-10-25 Nxp Usa, Inc. System and method for adaptive correction factor subsampling for geometric correction in an image processing system
US11350063B2 (en) * 2020-04-14 2022-05-31 Apple Inc. Circuit for correcting lateral chromatic abberation
JP2022059763A (ja) * 2020-10-02 2022-04-14 キヤノン株式会社 収差補正方法、プログラムおよび撮像装置
US11763421B2 (en) 2021-01-07 2023-09-19 Apple Inc. Circuit for combined down sampling and correction of image data
JP2022112125A (ja) * 2021-01-21 2022-08-02 キヤノン株式会社 距離計測装置、コンピュータプログラム及び距離計測方法
JP2023072212A (ja) * 2021-11-12 2023-05-24 旭化成エレクトロニクス株式会社 プログラム、制御装置、撮像装置、及び制御方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2840401B2 (ja) * 1990-07-17 1998-12-24 キヤノン株式会社 ビデオカメラ装置
JP2001103358A (ja) * 1999-09-30 2001-04-13 Mitsubishi Electric Corp 色収差補正装置
JP4000872B2 (ja) * 2002-03-05 2007-10-31 ソニー株式会社 画像撮影装置及び色収差補正方法
JP3919580B2 (ja) * 2002-04-04 2007-05-30 キヤノン株式会社 ズームレンズ及びそれを有する光学機器
JP4010254B2 (ja) * 2003-02-06 2007-11-21 ソニー株式会社 画像記録再生装置、画像撮影装置及び色収差補正方法
JP4378994B2 (ja) * 2003-04-30 2009-12-09 ソニー株式会社 画像処理装置、画像処理方法ならびに撮像装置
US7221793B2 (en) * 2003-05-27 2007-05-22 Hewlett-Packard Development Company, L.P. Systems and methods for providing spatially-varied demosaicing
JP4815807B2 (ja) 2004-05-31 2011-11-16 株式会社ニコン Rawデータから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ
JP5119567B2 (ja) * 2004-09-30 2013-01-16 カシオ計算機株式会社 カメラ
JP4649171B2 (ja) * 2004-11-08 2011-03-09 日本放送協会 倍率色収差補正装置、倍率色収差補正方法及び倍率色収差補正プログラム
JP4310645B2 (ja) * 2004-12-28 2009-08-12 ソニー株式会社 撮像画像信号の歪み補正方法および撮像画像信号の歪み補正装置
CN101001309A (zh) * 2006-01-13 2007-07-18 鸿富锦精密工业(深圳)有限公司 一种成像系统及方法
US8089555B2 (en) * 2007-05-25 2012-01-03 Zoran Corporation Optical chromatic aberration correction and calibration in digital cameras
JP2010134974A (ja) * 2008-12-02 2010-06-17 Panasonic Corp 光ピックアップ装置および光ピックアップ用レンズ
JP5446285B2 (ja) * 2009-01-28 2014-03-19 株式会社ニコン 画像処理装置及び画像処理方法
JP5412863B2 (ja) 2009-02-13 2014-02-12 トヨタ自動車株式会社 車両前部構造

Also Published As

Publication number Publication date
CN102378013A (zh) 2012-03-14
JP2012044498A (ja) 2012-03-01
US20120044369A1 (en) 2012-02-23
TW201223266A (en) 2012-06-01
EP2421248A2 (en) 2012-02-22
US8446477B2 (en) 2013-05-21
EP2421248A3 (en) 2015-01-21

Similar Documents

Publication Publication Date Title
JP5577939B2 (ja) 撮像装置、収差補正方法、および、プログラム
JP5505135B2 (ja) 画像処理装置、画像処理方法、および、プログラム
US8395677B2 (en) Aberration correction apparatus, aberration correction method, and program
KR101313686B1 (ko) 화상처리장치 및 그 제어 방법
RU2321964C2 (ru) Устройство записи и воспроизведения изображения, устройство съема изображения и способ коррекции хроматической аберрации
US9071751B2 (en) Image processor method and program for correcting distance distortion in panorama images
US8350951B2 (en) Image sensing apparatus and image data correction method
US20090128643A1 (en) Image Pickup Apparatus, Method for Capturing Image, and Method for Designing Image Pickup Apparatus
CN107306335B (zh) 摄像设备及其控制方法
WO2013046827A1 (ja) 画像処理装置、方法、プログラム及び記録媒体並びに撮像装置
US20140184853A1 (en) Image processing apparatus, image processing method, and image processing program
JP2013037296A (ja) 撮像装置及び撮像素子
US9635260B2 (en) Image processing apparatus, image pickup apparatus, and image processing method
JP2014146872A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP6980480B2 (ja) 撮像装置および制御方法
JP6370004B2 (ja) 撮像装置および撮像方法
JP6105960B2 (ja) 画像処理装置、画像処理方法、および撮像装置
JP5968145B2 (ja) 画像処理装置及びその制御方法
JP5769790B2 (ja) 画像処理装置および画像処理方法
JP2016184776A (ja) 画像処理装置と画像処理方法とプログラムおよび撮像装置
JP2011130381A (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130701

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140610

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140623

LAPS Cancellation because of no payment of annual fees