JP4873721B2

JP4873721B2 - 画像処理方法及び装置

Info

Publication number: JP4873721B2
Application number: JP2007048091A
Authority: JP
Inventors: 貴志前川
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2007-02-27
Filing date: 2007-02-27
Publication date: 2012-02-08
Anticipated expiration: 2027-02-27
Also published as: JP2008211673A

Description

本発明は画像処理方法及び装置に係り、特に、レンズの歪曲収差あるいは色収差を有する撮像レンズにより撮像素子上に結像された像の歪みを、インターレース、プログレッシブなどの走査方式にかかわらず画像処理により補正し、良好な画像が得られるようにした画像処理方法及び装置に関するものである。

一般にカメラ等に用いられる撮影レンズには、球面収差、非点収差、コマ収差などの様々な収差が存在する。その中で、撮影された画像が幾何学的に歪む収差が歪曲収差と云われ、この歪曲収差を少なくする方法としては、極力、歪曲収差を抑えたレンズ設計を行うのが一般的である。

ところが歪曲収差の少ないレンズを設計するには、レンズの大きさ、コスト増などの面から制限が多く、コンパクトデジタルスチルカメラ、カメラ付携帯電話の普及に伴い、撮影レンズは小さく、しかも安価なことが要請されるようになって、上記要請に応えることができない場合が多くなっている。また、特にテレビインターホン等の監視カメラや車載カメラのレンズ等においては、広角であることが要請され、特に魚眼レンズと呼ばれるレンズにおいては画像の歪みは必然的なものとなる。

しかしながら、レンズにより結像させた像を撮像素子で取り込む撮像装置では、銀塩式フィルムのカメラと異なり、一度歪んでしまった画像をレンズではなく、データ上で補正することが可能である。

例えば特許文献１には、撮影レンズの倍率色収差とディストーションを補正するため、撮影レンズ１に補正データメモリ２２を設け、ここに、レンズ部２１における倍率色収差とディストーションを補正する補正データを記憶しておき、ＣＰＵ３６により補正データメモリ２２に記憶されている補正データを読み出して、フレームメモリ３４より読み出されたデータを補正データにより補正し、外部記憶装置１６に記憶させるようにした撮像装置が示されている。

また、特許文献２には、高精度な歪み補正処理を行うため、インタレース走査の映像信号を出力する撮像手段から出力されたインタレース走査の映像信号を、プログレッシブ走査の映像信号に変換してこのプログレッシブ走査の映像信号に対し、撮像レンズによる幾何学的歪みを補正する歪み補正処理を施す歪み補正処理手段を設け、インターレース走査の映像信号に対して垂直方向の情報量が倍の状態で歪み補正処理を行うことができるようにした、撮像装置及び撮像方法が示されている。

特開平６−２９２２０７号公報特開２００６−１２９０６９号公報

図７は、プログレッシブ走査方式とインターレース走査方式の違いを説明するための図で、（Ａ）に示したプログレッシブ走査方式では、撮像素子における全ての素子からの信号が１枚の画像として出力され、（Ｂ−１）、（Ｂ−２）に示したインターレース走査方式の場合、走査線はフィール度毎に１本おきに飛び越し走査され、奇数フィールドの（Ｂ−１）の画像と、偶数フィールドの（Ｂ−２）の画像とを合わせて初めて１枚の画像となる。

そのため、レンズの収差による歪みをソフト的に補正するに当たり、このようにインターレース走査方式の場合でも、プログレッシブ走査方式の場合でも、全く同じように歪み補正を行いたいというニーズがあるが、前記した特許文献１の撮像装置ではプログレッシブ走査方式のみへの対応であり、また、特許文献２の撮像装置及び撮像方法は、インターレース走査方式とプログレッシブ走査方式の両者に対応してはいるが、インターレース走査方式の撮像信号をプログレッシブ走査方式に変換し、その変換したデータに対して歪み補正を実施していて、メモリや演算回路などの規模が増大してしまう。

そのため本発明においては、メモリや演算回路などの規模を増大させることなく、インターレース走査方式とプログレッシブ走査方式のいずれの画像信号に対しても、全く同じようにして画像歪みの補正を行うことができる画像処理方法及び装置を提供することが課題である。

上記課題を解決するため本発明になる画像処理方法は、
撮影レンズを介して被写体像を撮像し、インターレース走査方式若しくはプログレッシブ走査方式で得た画像信号における、前記撮影レンズに起因する画像歪みを補正する画像処理方法であって、
前記画像信号をデジタルの画像データに変換して画像データ格納用メモリに格納し、
該画像データ格納用メモリから画像データを出力するとき、前記インターレース走査方式とプログレッシブ走査方式のそれぞれに対応して格納された補正係数から前記画像データの走査方式に対応する補正係数を選択し、該選択した補正係数を用いて出力アドレス毎に補正データを求め、前記撮影レンズに起因する画像歪みにより、前記画像データ格納用メモリにおけるどのアドレスの画像データが出力アドレスに対応するかを算出し、
該算出結果に基づき、前記出力アドレス毎に画像データ格納用メモリから画像データを読み出して前記インターレース走査方式とプログレッシブ走査方式のそれぞれに対応させ、前記撮影レンズに起因する画像歪みを補正した画像データを出力することを特徴とする。
また、この画像処理方法を実施する本発明になる画像処理装置は、
撮影レンズを介して被写体像を撮像し、インターレース走査方式若しくはプログレッシブ走査方式の画像信号を出力する撮像手段を備え、
前記インターレース走査方式とプログレッシブ走査方式のそれぞれで出力された画像信号における、前記撮影レンズに起因する画像歪みを補正する画像処理装置であって、
Ａ／Ｄ変換器によりデジタルデータに変換された前記画像信号を格納する画像データ格納用メモリと、
前記撮影レンズに起因する画像歪みを補正するため、前記画像処理装置における出力アドレス毎に、前記画像データ格納用メモリに格納された画像データのいずれのアドレスのデータが対応するかを算出する補正量算出手段と、
前記インターレース走査方式とプログレッシブ走査方式のそれぞれに対応して格納された補正係数から前記画像データの走査方式に対応する補正係数を選択し、該選択した補正係数を用いて、前記補正量算出手段で用いる補正データを格納した補正データ格納用メモリと、
前記補正量算出手段の算出結果に基づき、前記画像データ格納用メモリから前記出力アドレス毎の画像データを読み出すアドレス補正手段とを備え、
前記補正量算出手段は、前記インターレース走査方式とプログレッシブ走査方式のそれぞれに対応して前記補正データ格納用メモリから対応する前記補正データを読み出し、該補正データを用いて前記アドレス補正手段が読み出す前記画像データ格納用メモリのアドレスを算出して、前記撮影レンズに起因する画像歪みを補正した画像データを出力することを特徴とする。

このように、インターレース走査方式とプログレッシブ走査方式のそれぞれに対応し、補正量算出手段の補正量算出用補正データを補正データ格納用メモリに格納しておき、その補正量算出用補正データで算出して画像歪みを補正した画像データを出力することで、メモリや演算回路などの規模を増大させることなく簡単な構成で、インターレース走査方式とプログレッシブ走査方式のいずれの画像信号に対しても、画像歪みの補正を行うことができる画像処理方法及び装置を提供することができる。

そして、前記補正量算出手段は、前記画像処理装置における出力アドレスを（Ｘｏ，Ｙｏ）、前記撮影レンズに起因する画像歪みを補正するために読み出す画像データ格納用メモリのアドレスを（Ｘｉ，Ｙｉ）としたとき、前記画像信号がプログレッシブ走査方式の場合は、
Ｘｉ＝ｆｘ（Ｘｏ，Ｙｏ），Ｙｉ=ｆｙ（Ｘｏ，Ｙｏ）
なる演算によりアドレス補正量の算出を行い、
前記画像信号がインターレース走査方式の場合は、
Ｘｉ＝ｆｘ（Ｘｏ, Ｙｏ×２），Ｙｉ=ｆｙ（Ｘｏ,Ｙｏ×２）／２
なる演算により各フィールド毎に補正量の算出を行うようインターレース走査方式とプログレッシブ走査方式とを切り換えるようにしたり、
前記補正量算出手段は、前記画像処理装置における出力アドレスを（Ｘｏ，Ｙｏ）、前記撮影レンズに起因する画像歪みを補正するために読み出す画像データ格納用メモリのアドレスを（Ｘｉ，Ｙｉ）としたとき、前記画像信号がプログレッシブ走査方式の場合は、
Ｘｉ＝ｆｘ（Ｘｏ，Ｙｏ），Ｙｉ=ｆｙ（Ｘｏ，Ｙｏ）
なる演算によりアドレス補正量の算出を行い、
前記画像信号がインターレース走査方式の場合は、一のフィールドを、
Ｘｉ＝ｆｘ（Ｘｏ, Ｙｏ×２），Ｙｉ=ｆｙ（Ｘｏ,Ｙｏ×２）／２
なる演算によりアドレス補正量の算出を行い、他のフィールドを、
Ｘｉ＝ｆｘ（Ｘｏ, Ｙｏ×２＋１），Ｙｉ=（ｆｙ（Ｘｏ,Ｙｏ×２＋１）−１）／２
または、
Ｘｉ＝ｆｘ（Ｘｏ, Ｙｏ×２−１），Ｙｉ=（ｆｙ（Ｘｏ,Ｙｏ×２−１）＋１）／２
なる演算によりアドレス補正量の算出を行うことで、各フィールド毎に補正量の算出を行うようインターレース走査方式とプログレッシブ走査方式とを切り換えるようにすることで、各フィールド毎に補正量の算出を行い、正確に画像歪みを補正できる画像処理方法及び装置を提供することができる。

また、前記補正量算出手段の演算に用いる関数ｆｘ、ｆｙは、補正データ格納用メモリに格納された補正係数を用いて演算したり、前記補正量算出手段の演算に用いる関数ｆｘ、ｆｙは、予め用意され、補正データ格納用メモリに格納された出力アドレス毎のテーブルデータを用いたアドレス変換とすることが、本発明の好適な実施形態である。

以上記載のごとく本発明になる画像処理装置は、メモリや演算回路などの規模を増大させることなく、インターレース走査方式とプログレッシブ走査方式のいずれの画像信号に対しても、全く同じようにに画像歪みの補正を行うことができる、画像処理方法及び装置を提供することができる。

以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。但しこの実施例に記載されている構成部品の形状、その相対的配置等は、この発明の範囲をそれに限定する趣旨ではなく、単なる説明例に過ぎない。

図１は本発明になる画像処理装置のブロック図であり、図２は、図１に示した補正量算出手段８のブロック図である。図１において１は撮影レンズ、２はＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｅｒ）を用いた撮像素子で、後記する撮像素子駆動手段１０により、インターレース走査方式、プログレッシブ走査方式の何れかの方式で画像データを出力できるよう構成されている。

３は撮像素子２からのアナログ画像信号をデジタル画像信号に変換するアナログ、デジタル変換器（Ａ／Ｄ変換器）、４はデジタル画像信号に変換された画像データを格納する画像データ格納用メモリで、これはフレームメモリでも、ラインメモリでも構わない。

５は、撮影レンズ１の収差による画像歪みを補正するアドレス補正手段で、出力アドレスに対し、補正量算出手段８が補正データ格納用メモリ９に格納されている補正係数に基づいて算出した画像歪みを補正する位置の入力アドレスに対応した、画像データ格納用メモリ４のアドレスからデータを選択し、出力手段６に送る機能を有している。なお、このアドレス補正手段５は、必要に応じて画像データ格納用メモリ４のデータの補間処理も行う。

出力手段６は、入力のスキャンデータに対応した方式で画像データを出力する。このときの出力データは、デジタルデータ（主にプログレッシブの場合）でも、アナログデータ（インターレースのＮＴＳＣ信号）でも構わない。７は表示手段と例えばフラッシュメモリなどを含む外部記録層を含む記録手段、９は補正データ格納用メモリで、ＲＡＭまたはＲＯＭに歪み補正のための補正係数またはテーブルデータを格納し、入力データがインターレースかプログレッシブかをレジスタで指定したりすると共に、光軸中心や出力画素数などの設定を行っても良い。

１０は撮像素子駆動手段で、プログレッシブ走査方式で駆動するのか、インターレース走査方式で駆動するのかの判断は、メモリの情報から受け取るようになっている。

図２は、図１に示した補正量算出手段８のブロック図である。図中２０は歪み補正のための係数設定手段で、図に示した係数ｋ１、ｋ２、ｋ３、ｋ４については後記するが、プログレッシブ走査方式の場合はｋ１＝ｋ４＝１、ｋ２＝ｋ３＝０で、インターレース走査方式の場合、偶数フィールドではｋ１＝２、ｋ２＝０、ｋ３＝０、ｋ４＝０．５、奇数フィールドではｋ１＝２、ｋ２＝１、ｋ３＝−１、ｋ４＝０．５で、偶数フィールド、奇数フィールドを分けないで演算する場合は、ｋ３＝ｋ２＝０となる。

また、２１はｆｘ演算部、２２はｆｙ演算部で、これらも後記するように、
ｆｘ（Ｘｏ，Ｙｏ）＝ｋｘ１｛１＋ｋｘ２（Ｘｏ^２＋Ｙｏ^２）｝Ｘｏ
ｆｙ（Ｘｏ，Ｙｏ）＝ｋｙ１｛１＋ｋｙ２（Ｘｏ^２＋Ｙｏ^２）｝Ｙｏ
の演算を行う。２３、２６は乗算器、２４、２５は加算器である。

以上が図１、図２の構成ブロックの説明であるが、この図１、図２の動作を説明する前に、本発明の概略を説明すると、図３（Ａ）に示した収差のない撮影レンズで撮影した画像に対し、樽型収差を持つ撮影レンズで撮影した画像（Ｂ）は、直線が樽型に歪んで表示される。これを補正するためには（Ｃ）に示したように、座標（１ｂ，１ｂ）のデータは（１，１）の座標に、座標（１ｂ，２ｂ）のデータは（１，２）の座標に、座標（１ｂ，３ｂ）のデータは（１，３）の座標に、……と、（１，１）の座標、（１，２）の座標、（１，３）の座標を出力するときに、座標（１ｂ，１ｂ）のデータ、座標（１ｂ，２ｂ）のデータ、座標（１ｂ，３ｂ）のデータ……を出力させればよいわけで、出力データの各アドレスが、画像データにおけるどのアドレスのデータであるかを演算し、対応するデータを出力するようにすれば、図３（Ｂ）のような樽型収差を持つ撮影レンズで撮像した画像データの歪みを図３（Ｃ）に示したように補正することができる。

また、インターレース走査方式の場合は、図３（Ｂ）と同様な樽型収差を持つ撮影レンズで撮影した図５（Ａ）に示したような画像は、奇数フィールド（Ｂ−１）、偶数フィールド（Ｂ−２）に別れる。そのため図３（Ｂ）と同様な樽型収差を修正する場合、その修正も奇数フィールド（Ｂ−１）、偶数フィールド（Ｂ−２）毎に行われることになり、図５（Ｂ−１）、（Ｂ−２）、（Ｃ−１）、（Ｃ−２）に概念的に示したように、（Ｂ−１）、（Ｂ−２）のそれぞれのフィールドにおける歪み成分に該当する部分が、図５（Ｃ−１）、（Ｃ−２）のように補正されることになる。

以上が本発明の概略であるが、本発明になる画像処理装置の処理内容をさらに詳細に説明すると、通常、光学的な歪曲は、光軸中心からの距離により定義される。例えば、
ｒ：実物の光軸中心からの距離
ｒ’：歪曲画像の光軸中心からの距離
ｍ：レンズの倍率
Ｅ：歪曲収差係数
とすると、歪曲画像の光軸中心からの距離ｒ’は、
ｒ’＝ｍ＊ｒ−Ｅ＊ｒ^３ ………（１）
のように表現することができる。

またこの（１）式から、歪曲した画像の座標を（Ｘｉ，Ｙｉ）、歪曲補正後の画像の座標を（Ｘｏ，Ｙｏ）、ｋ１、ｋ２を歪曲収差係数とすると、
Ｘｉ＝ｆｘ（Ｘｏ，Ｙｏ）＝ｋ１｛１＋ｋ２（Ｘｏ^２＋Ｙｏ^２）｝Ｘｏ ……（２）
Ｙｉ＝ｆｙ（Ｘｏ，Ｙｏ）＝ｋ１｛１＋ｋ２（Ｘｏ^２＋Ｙｏ^２）｝Ｙｏ ……（３）
と歪曲補正式を近似することができる。そのため、この補正式（２）、（３）を用い、歪曲画像の座標（Ｘｉ，Ｙｉ）の画素データを補正後の画像座標（Ｘｏ，Ｙｏ）の画素データに代入することで、歪曲の補正を行うことができる。なお、この補正式（２）、（３）は、光軸中心を基準にしたパラメータにより歪曲補正を行っているが、簡易的には画像中心を光軸中心とみなし、像高をパラメータとして歪曲補正することもできる。

以上説明してきた歪曲補正は、前記図７（Ａ）のプログレッシブ走査方式の画像を順次走査する方式の場合にそのまま適用でき、図４に示したように、画像データ格納用メモリ４（図１参照）上にも１フレーム分の画像データが順次格納され、例えば１フレームがｍ×ｎピクセルの画像の場合、画像データは（１，１）、（２，１）、……、（ｍ−１，１）、（ｍ，１）、（１，２）、（２，２）、……、（ｍ−１，２）、（ｍ，２）、……、（ｍ−１，ｎ）、（ｍ，ｎ）のような順序で格納されていく。これは、走査方向が逆の場合でも同様である。

一方、図７（Ｂ−１）、（Ｂ−２）に示し、図５でも説明したインターレース走査方式の場合、１フレームの画像は奇数フィールド（Ｂ−１）と偶数フィールド（Ｂ−２）とに分かれて出力されるため、１フレームが同じｍ×ｎピクセルであっても例えば奇数フィールドでは図６（Ａ）に示したように、（１，１）、（２，１）、……、（ｍ−１，１）、（ｍ，１）、（１，３）、（２，３）、……、（ｍ−１，３）、（ｍ，３）、……、（ｍ−１，ｎ−１）、（ｍ，ｎ−１）のような順序で格納され、偶数フィールドでは、図６（Ｂ）に示したように、（１，２）、（２，２）、……、（ｍ−１，２）、（ｍ，２）、（１，４）、（２，４）、……、（ｍ−１，４）、（ｍ，４）、……、（ｍ−１，ｎ）、（ｍ，ｎ）のような順序で格納されていく。これは走査方向が逆の場合でも同様である。

これをまとめると、１フレームの画像を
ＩＮ（ｘ，ｙ）ｘ＝１，２，……，ｍｙ＝１，２，……，ｎ ………（４）
で表すと、プログレッシブ走査方式でのメモリ上のデータＰＲ（Ｘｉ，Ｙｉ）は、
ＰＲ（Ｘｉ，Ｙｉ）＝ＩＮ（Ｘｉ，Ｙｉ） ………（５）
Ｘｉ＝１，２，……，ｍＹｉ＝１，２，……，ｎ
と表現できる。

また、インターレース走査方式でのメモリ上のデータＩＬｏｄｄ（Ｘｉ，Ｙｉ），ＩＬｅｖｎ（Ｘｉ，Ｙｉ）は、
ＩＬｏｄｄ（Ｘｉ，Ｙｉ）＝ＩＮ（Ｘｉ，２＊Ｙｉ−１） ………（６）
Ｘｉ＝１，２，…，ｍＹｉ＝１，２，…，ｎ／２
ＩＬｅｖｎ（Ｘｉ，Ｙｉ）＝ＩＮ（Ｘｉ，２＊Ｙｉ） ………（７）
Ｘｉ＝１，２，…，ｍＹｉ＝１，２，…，ｎ／２
と表現できる。

あるいは、ＩＮ（ｘ，ｙ）を
ＩＮ（ｘ，ｙ）ｘ＝０，１，…，ｍ−１ｙ＝０，１，…，ｎ−１ ………（８）
と表した場合は、
ＰＲ（Ｘｉ，Ｙｉ）＝ＩＮ（Ｘｉ，Ｙｉ） ………（９）
Ｘｉ＝０，１，…，ｍ−１Ｙｉ＝０，１，…，ｎ−１
ＩＬｏｄｄ（Ｘｉ，Ｙｉ）＝ＩＮ（Ｘｉ，２＊Ｙｉ） ……（１０）
Ｘｉ＝０，１，…，ｍ−１Ｙｉ＝０，１，…，ｎ／２−１
ＩＬｅｖｎ（Ｘｉ，Ｙｉ）＝ＩＮ（Ｘｉ，２＊Ｙｉ＋１） ……（１１）
Ｘｉ＝０，１，…，ｍ−１Ｙｉ＝０，１，…，ｎ／２−１
と表現できるが、本質的には（４）〜（７）式と同様である。

すなわち、インターレース走査方式ではＩＬｏｄｄ（Ｘｉ，Ｙｉ）、ＩＬｅｖｎ（Ｘｉ，Ｙｉ）において、
Ｘｉ＝１，２，…，ｍＹｉ＝１，２，…，ｎ／２ ……（１２）
であるので、主走査方向で１／２に圧縮されたデータとなっている。

またインターレース走査方式の場合は、図１の出力手段６への画像データ出力ＯＵＴ（Ｘｏ，Ｙｏ）についても同様に、主走査方向で１／２に圧縮されたデータとなっている。このため、（２）、（３）式で表されるような歪曲補正を行うに当たっては、インターレース走査方式時は、（６）、（７）または（１０）、（１１）のような座標変換を用いる。以後、一例として（６）、（７）式でＩＬｏｄｄ（Ｘｉ，Ｙｉ）、ＩＬｅｖｎ（Ｘｉ，Ｙｉ）が定義される場合について記述する。

図１の補正量算出手段８では、奇数フィールドについて
Ｘｉ＝ｆｘ（Ｘｏ，２＊Ｙｏ−１）
＝ｋ１{１＋ｋ２（Ｘｏ^２＋（２＊Ｙｏ−１）^２）}Ｘｏ ……（１３）
Ｙｉ＝{ｆｙ（Ｘｏ，２＊Ｙｏ−１）＋１}／２
＝{ｋ１{１＋ｋ２（Ｘｏ^２＋（２＊Ｙｏ−１）^２）}＊（２＊Ｙｏ−１）＋１}／２
……（１４）
偶数フィールドについて
Ｘｉ＝ｆｘ（Ｘｏ，２＊Ｙｏ）
＝ｋ１{１＋ｋ２（Ｘｏ^２＋（２＊Ｙｏ）^２）}Ｘｏ ……（１５）
Ｙｉ＝{ｆｙ（Ｘｏ，２＊Ｙｏ）}／２
＝{ｋ１{１＋ｋ２（Ｘｏ^２＋（２＊Ｙｏ）^２）}＊（２＊Ｙｏ）}／２…（１６）
なる補正式より、補正後の画像に対応する入力画像のアドレスを算出する。

ここで、関数ｆｘ，ｆｙは、補正データ格納用メモリ９上のデータを使用しても構わない。すなわち、（１３）〜（１６）の関数は、関数の係数ｋ１，ｋ２がメモリ上のデータを使用しても良いし、（Ｘｏ，Ｙｏ）に対する（Ｘｉ，Ｙｉ）を対応させる、ルックアップテーブルのような構成でも構わない。

また、奇数フィールドと偶数フィールドとは、１ラインずつずれた位置関係にあるので、より精度よく光軸中心（画像中心）を合わせた歪曲補正を行うためには、上記のようにフィールド毎に計算式を変えるのが良いが、１ライン分の補正精度を必要としない場合や、フィールドを特定できない場合、回路やソフトの規模を増大させたくない場合などは、フィールド毎に計算式を分けなくてもよい。すなわちこの場合、奇数・偶数フィールドいずれの場合も（１５）、（１６）式により歪曲補正を行えばよい。

このように、補正の方法（プログレッシブ／インターレース、奇数／偶数フィールドで補正式を変える／変えない、Ｘｉ・Ｙｉの定義の仕方、等々）により歪曲補正式が異なるが、図２の構成のようにしてやると、例えば補正データ格納用メモリ９上のデータを用いて補正式を変えることで対応が可能となる。

以上が本発明の処理内容の詳細であるが、以下、図１、図２を用いて本発明の画像処理装置の動作について説明する。撮像素子駆動手段１０によりインターレース走査方式、またはプログレッシブ走査方式で駆動される撮像素子２上に撮像レンズ１で結像された被写体像の画像データは、Ａ／Ｄ変換器３によってアナログ、デジタル変換され、画像データ格納用メモリ４に前記図４、図６に示したように格納される。

一方、補正量算出手段８は、図２に示したように、画像データ格納用メモリ４に格納されている撮影レンズ１の収差を補正するための係数、またはテーブルデータを読み出し、係数設定手段２０によって関数ｆｘ、ｆｙの係数を設定し、プログレッシブ走査方式の場合は前記（２）、（３）式により図３（Ｃ）の、インターレース走査方式の場合は（１３）〜（１６）式により図５（Ｃ−１）、（Ｃ−２）のように、出力アドレスに対する画像歪みを補正する、画像データ格納用メモリ４のアドレスを算出してアドレス補正手段５に送る。

そのためアドレス補正手段５は、画像データ格納用メモリ４における算出した位置の画像データを読み出し、出力手段６に送って表示手段と記録手段７に読み出したデータを表示させると共に必要に応じて記録させる。そのため表示手段と記録手段７には、前記図３（Ｃ）、または図５（Ｃ−１）、（Ｃ−２）に示したように、撮影レンズ１による収差が補正された画像が表示または記録される。

なお、前記したようにアドレス補正手段５は、例えば画像歪み補正のために算出したアドレスが、小数点のついたアドレスなど、実際には読み出すことができないアドレスなどの場合、画像データ格納用メモリ４のデータの補間処理を行い、それによって正確に画像歪みを補正した画像データを出力することができる。

このように本発明の画像処理方法及び装置は、メモリや演算回路などの規模を増大させることなく簡単な構成で、インターレース走査方式とプログレッシブ走査方式のいずれの画像信号に対しても、画像歪みの補正を行うことができ、大きな効果をもたらすものである。

本発明によれば、撮影レンズ１の収差に起因する画像歪みをインターレース走査方式、プログレッシブ走査方式の別に関わりなく簡単に、正確に補正することのできる画像処理方法及び装置を提供することができる。

本発明になる画像処理装置のブロック図である。図１に示した補正量算出手段のブロック図である。（Ａ）は収差のない撮影レンズで撮影した画像に対し、（Ｂ）は樽型収差を持つ撮影レンズで撮影した画像、（Ｃ）は樽型収差を持つ撮影レンズの収差補正のためのアドレス補正を説明するための図である。プログレッシブ走査方式における画像データ格納用メモリを示した図である。インターレース走査方式における樽型収差を持つ撮影レンズの収差補正のためのアドレス補正を説明するための図である。インターレース走査方式における画像データ格納用メモリを示した図である。（Ａ）はプログレッシブ走査方式における画像例で、（Ｂ−１）、（Ｂ−２）は、インターレース走査方式における奇数フィールド（Ｂ−１）と偶数フィールド（Ｂ−２）の画像例である。

符号の説明

１撮影レンズ
２撮像素子
３Ａ／Ｄ変換器
４画像データ格納用メモリ
５アドレス補正手段
６出力手段
７表示手段と記録手段
８補正量算出手段
９補正データ格納用メモリ
１０撮像素子駆動手段
２０計数設定手段
２１ｆｘ演算部
２２ｆｙ演算部
２３、２６乗算器
２４、２５加算器

Claims

撮影レンズを介して被写体像を撮像し、インターレース走査方式若しくはプログレッシブ走査方式で得た画像信号における、前記撮影レンズに起因する画像歪みを補正する画像処理方法であって、
前記画像信号をデジタルの画像データに変換して画像データ格納用メモリに格納し、
該画像データ格納用メモリから画像データを出力するとき、前記インターレース走査方式とプログレッシブ走査方式のそれぞれに対応して格納された補正係数から前記画像データの走査方式に対応する補正係数を選択し、該選択した補正係数を用いて出力アドレス毎に補正データを求め、前記撮影レンズに起因する画像歪みにより、前記画像データ格納用メモリにおけるどのアドレスの画像データが出力アドレスに対応するかを算出し、
該算出結果に基づき、前記出力アドレス毎に画像データ格納用メモリから画像データを読み出して前記インターレース走査方式とプログレッシブ走査方式のそれぞれに対応させ、前記撮影レンズに起因する画像歪みを補正した画像データを出力することを特徴とする画像処理方法。
前記出力アドレスを（Ｘｏ，Ｙｏ）、前記撮影レンズに起因する画像歪みを補正するために読み出す画像データ格納用メモリのアドレスを（Ｘｉ，Ｙｉ）としたとき、前記画像信号がプログレッシブ走査方式の場合は、
Ｘｉ＝ｆｘ（Ｘｏ，Ｙｏ），Ｙｉ=ｆｙ（Ｘｏ，Ｙｏ）
なる演算を行い、
前記画像信号がインターレース走査方式の場合は、
Ｘｉ＝ｆｘ（Ｘｏ, Ｙｏ×２），Ｙｉ=ｆｙ（Ｘｏ,Ｙｏ×２）／２
なる演算を行ってインターレース走査方式とプログレッシブ走査方式とを切り換え、前記撮影レンズに起因する画像歪みを補正した画像データを出力することを特徴とする請求項１に記載した画像処理方法。
前記出力アドレスを（Ｘｏ，Ｙｏ）、前記撮影レンズに起因する画像歪みを補正するために読み出す画像データ格納用メモリのアドレスを（Ｘｉ，Ｙｉ）としたとき、前記画像信号がプログレッシブ走査方式の場合は、
Ｘｉ＝ｆｘ（Ｘｏ，Ｙｏ），Ｙｉ=ｆｙ（Ｘｏ，Ｙｏ）
なる演算を行い、
前記画像信号がインターレース走査方式の場合は、一のフィールドを、
Ｘｉ＝ｆｘ（Ｘｏ, Ｙｏ×２），Ｙｉ=ｆｙ（Ｘｏ,Ｙｏ×２）／２
なる演算を行い、他のフィールドを、
Ｘｉ＝ｆｘ（Ｘｏ, Ｙｏ×２＋１），Ｙｉ=（ｆｙ（Ｘｏ,Ｙｏ×２＋１）−１）／２
または、
Ｘｉ＝ｆｘ（Ｘｏ, Ｙｏ×２−１），Ｙｉ=（ｆｙ（Ｘｏ,Ｙｏ×２−１）＋１）／２
なる演算を行って、各フィールド毎に補正量の算出を行うようインターレース走査方式とプログレッシブ走査方式とを切り換え、前記撮影レンズに起因する画像歪みを補正した画像データを出力することを特徴とする請求項１に記載した画像処理方法。
前記関数ｆｘ、ｆｙによる演算は、光軸中心からの補正係数を用いた演算か、または予め用意された出力アドレス毎のテーブルデータを用いたアドレス変換により行うことを特徴とする請求項２または３に記載した画像処理方法。
撮影レンズを介して被写体像を撮像し、インターレース走査方式若しくはプログレッシブ走査方式の画像信号を出力する撮像手段を備え、
前記インターレース走査方式とプログレッシブ走査方式のそれぞれで出力された画像信号における、前記撮影レンズに起因する画像歪みを補正する画像処理装置であって、
Ａ／Ｄ変換器によりデジタルデータに変換された前記画像信号を格納する画像データ格納用メモリと、
前記撮影レンズに起因する画像歪みを補正するため、前記画像処理装置における出力アドレス毎に、前記画像データ格納用メモリに格納された画像データのいずれのアドレスのデータが対応するかを算出する補正量算出手段と、
前記インターレース走査方式とプログレッシブ走査方式のそれぞれに対応して格納された補正係数から前記画像データの走査方式に対応する補正係数を選択し、該選択した補正係数を用いて、前記補正量算出手段で用いる補正データを格納した補正データ格納用メモリと、
前記補正量算出手段の算出結果に基づき、前記画像データ格納用メモリから前記出力アドレス毎の画像データを読み出すアドレス補正手段とを備え、
前記補正量算出手段は、前記インターレース走査方式とプログレッシブ走査方式のそれぞれに対応して前記補正データ格納用メモリから対応する前記補正データを読み出し、該補正データを用いて前記アドレス補正手段が読み出す前記画像データ格納用メモリのアドレスを算出して、前記撮影レンズに起因する画像歪みを補正した画像データを出力することを特徴とする画像処理装置。
前記補正量算出手段は、前記画像処理装置における出力アドレスを（Ｘｏ，Ｙｏ）、前記撮影レンズに起因する画像歪みを補正するために読み出す画像データ格納用メモリのアドレスを（Ｘｉ，Ｙｉ）としたとき、前記画像信号がプログレッシブ走査方式の場合は、
Ｘｉ＝ｆｘ（Ｘｏ，Ｙｏ），Ｙｉ=ｆｙ（Ｘｏ，Ｙｏ）
なる演算によりアドレス補正量の算出を行い、
前記画像信号がインターレース走査方式の場合は、
Ｘｉ＝ｆｘ（Ｘｏ, Ｙｏ×２），Ｙｉ=ｆｙ（Ｘｏ,Ｙｏ×２）／２
なる演算により各フィールド毎に補正量の算出を行うようインターレース走査方式とプログレッシブ走査方式とを切り換えることを特徴とする請求項５に記載した画像処理装置。
前記補正量算出手段は、前記画像処理装置における出力アドレスを（Ｘｏ，Ｙｏ）、前記撮影レンズに起因する画像歪みを補正するために読み出す画像データ格納用メモリのアドレスを（Ｘｉ，Ｙｉ）としたとき、前記画像信号がプログレッシブ走査方式の場合は、
Ｘｉ＝ｆｘ（Ｘｏ，Ｙｏ），Ｙｉ=ｆｙ（Ｘｏ，Ｙｏ）
なる演算によりアドレス補正量の算出を行い、
前記画像信号がインターレース走査方式の場合は、一のフィールドを、
Ｘｉ＝ｆｘ（Ｘｏ, Ｙｏ×２），Ｙｉ=ｆｙ（Ｘｏ,Ｙｏ×２）／２
なる演算によりアドレス補正量の算出を行い、他のフィールドを、
Ｘｉ＝ｆｘ（Ｘｏ, Ｙｏ×２＋１），Ｙｉ=（ｆｙ（Ｘｏ,Ｙｏ×２＋１）−１）／２
または、
Ｘｉ＝ｆｘ（Ｘｏ, Ｙｏ×２−１），Ｙｉ=（ｆｙ（Ｘｏ,Ｙｏ×２−１）＋１）／２
なる演算によりアドレス補正量の算出を行うことで、各フィールド毎に補正量の算出を行うようインターレース走査方式とプログレッシブ走査方式とを切り換えることを特徴とする請求項５に記載した画像処理装置。
前記補正量算出手段の演算に用いる関数ｆｘ、ｆｙは、補正データ格納用メモリに格納された補正係数を用いて演算することを特徴とする請求項６または７に記載した画像処理装置。
前記補正量算出手段の演算に用いる関数ｆｘ、ｆｙは、予め用意され、補正データ格納用メモリに格納された出力アドレス毎のテーブルデータを用いたアドレス変換であることを特徴とする請求項６または７に記載した画像処理装置。