JP4803224B2 - 画像処理装置、画像処理システム、撮像装置および画像処理方法 - Google Patents

画像処理装置、画像処理システム、撮像装置および画像処理方法 Download PDF

Info

Publication number
JP4803224B2
JP4803224B2 JP2008215047A JP2008215047A JP4803224B2 JP 4803224 B2 JP4803224 B2 JP 4803224B2 JP 2008215047 A JP2008215047 A JP 2008215047A JP 2008215047 A JP2008215047 A JP 2008215047A JP 4803224 B2 JP4803224 B2 JP 4803224B2
Authority
JP
Japan
Prior art keywords
zoom
correction
distortion
distortion correction
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008215047A
Other languages
English (en)
Other versions
JP2008295097A (ja
Inventor
敦 能勢
幸治 青山
徹 倉田
仁孝 和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008215047A priority Critical patent/JP4803224B2/ja
Publication of JP2008295097A publication Critical patent/JP2008295097A/ja
Application granted granted Critical
Publication of JP4803224B2 publication Critical patent/JP4803224B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像された画像の歪みを補正する画像処理装置、画像処理システム、撮像装置および画像処理方法に関し、特に、光学ズーム機構を具備する集光レンズ群を用いて撮像された画像に対して、ズーム位置に応じた歪み補正を行うことが可能な画像処理装置、画像処理システム、撮像装置および画像処理方法に関する。
ビデオカメラやスチルカメラ等の撮像装置では、撮像レンズの歪曲収差特性の影響により、撮像した画像に歪みが生じることが知られている。高精度・高性能なレンズを用いた場合にはこのような歪みは目立たないが、コストの低いレンズを使用した場合や、光学ズームレンズを使用した場合には、歪みによる画質への影響を回避することは難しい。そこで、近年では、このような光学歪みを信号処理によって補正する画像撮像システムが提案されている。
図１７は、このような信号処理機能を具備する従来の画像撮像システムの構成例を示すブロック図である。
図１７に示す画像撮像システムは、撮像装置３と、前処理装置４とを具備している。なお、ここでは、撮像装置３としてデジタルビデオカメラを想定する。また、前処理装置４は、例えばこの撮像装置３の外部に設置されたパーソナルコンピュータ等として構成される。
撮像装置３は、光学ブロック１０１、撮像素子１０２、画像前処理部１０３、画像信号処理部１０４、画像メモリ１０５、表示処理部１０６、モニタ１０７、圧縮・伸長処理部１０８、記録再生部１０９、記録媒体１１０、制御マイクロコンピュータ（以下、制御マイコンと呼称する）３１１、補正パラメータデコーダ３１２、および歪み補正メモリ３１３を具備する。また、前処理装置４は、補正パラメータ導出部４０１と、補正パラメータエンコーダ４０２とを具備する。
撮像装置３において、被写体からの反射光は光学ブロック１０１に入射される。光学ブロック１０１は、複数のレンズやこれらの駆動機構等からなり、入射光を撮像素子１０２に集光する。撮像素子１０２は、ＣＣＤ（Charge Coupled Device）等からなり、入射光を電気信号に変換して画像前処理部１０３に供給する。画像前処理部１０３では、撮像素子１０２から出力された画像信号に対して、ＣＤＳ（Correlated Double Sampling）処理やＡＧＣ（Auto Gain Control）処理、Ａ／Ｄ変換処理等が行われ、デジタル化された画像信号が画像信号処理部１０４に供給される。
画像信号処理部１０４では、入力されたデジタル画像信号が画像メモリ１０５に格納されるとともに、このデジタル画像信号に対して、補正パラメータデコーダ３１２から受け取った補正量パラメータに基づく歪み補正処理等の画質補正処理が行われる。処理後の画像信号は表示処理部１０６に供給されて、モニタ１０７で表示される画像信号が生成され、これにより撮像画像がモニタ１０７に表示される。なお、モニタ１０７は、例えばＬＣＤ（Liquid Crystal Display）等からなる。
また、画像信号処理部１０４で画質補正処理された画像信号は、圧縮・伸長処理部１０８において所定の画像フォーマットで圧縮符号化処理され、記録再生部１０９により記録媒体１１０に書き込まれる。これにより、撮像画像の記録が行われる。なお、記録媒体１１０としては、例えば磁気テープ、半導体メモリ、光ディスク、ハードディスク等を用いることが可能である。
一方、記録媒体１１０に記録された画像データを再生する場合には、この画像データは記録再生部１０９によって読み出されて、圧縮・伸長処理部１０８において伸長復号化処理され、処理後の画像信号が表示処理部１０６に供給されることにより、再生画像がモニタ１０７に表示される。
このような画像の記録・再生動作は制御マイコン３１１によって制御される。制御マイコン３１１は、図示しないユーザインタフェース（Ｉ／Ｆ）からの制御信号に応じて、所定の動作を命令するコマンド等を画像信号処理部１０４に出力する。
補正パラメータデコーダ３１２は、制御マイコン３１１から供給された情報等に応じて、歪み補正メモリ３１３から読み出した圧縮データを、各画素に対応した補正量パラメータに伸長（デコード）し、画像信号処理部１０４に供給する。歪み補正メモリ３１３は、補正パラメータデコーダ３１２からの要求に応じて、保持している歪み補正パラメータを補正パラメータデコーダ３１２に供給する。
ここで、画像信号処理部１０４において実行される歪み補正処理の例について説明する。画像信号処理部１０４では、例えば、歪み補正後の画像を格子状に分割し、補正対象の画素を含むｘ方向、ｙ方向の複数の格子点の座標を用いて、各方向について補間演算することにより、歪みを補正する。
補正パラメータデコーダ３１２からは、例えば、ｘ方向、ｙ方向に対する補正座標および補間位相を与える補正量パラメータが出力される。そして、画像信号処理部１０４は、これらの補正量パラメータに基づいて各方向に対する補正ベクトルおよび補間係数を算出し、各方向について一次元補間演算を順次行う。このような処理により、比較的負荷の低い処理により各方向の歪みを補正することができる。
一方、前処理装置４において、補正パラメータ導出部４０１は、撮像画像における全画素の歪み補正座標を、光学ブロック１０１に搭載されているレンズのレンズデータに基づいて作成し、補正パラメータエンコーダ４０２に出力する。
補正パラメータエンコーダ４０２は、歪み補正後の画像を格子状に区分し、その格子位置を利用して、補正パラメータ導出部４０１からの全画素の歪み補正座標をｘ方向、ｙ方向にそれぞれ圧縮する。これにより生成された歪み補正パラメータは、歪み補正メモリ３１３に格納される。
なお、歪み補正パラメータは、歪み補正処理の実行のたびに補正パラメータエンコーダ４０２においてリアルタイムに生成され、歪み補正メモリ３１３に供給されてもよい。あるいは、電源投入時等の初期動作時に歪み補正メモリ３１３に一括してロードされるようにしてもよい。
補正パラメータデコーダ３１２は、画像信号処理部１０４から補正対象とする座標の指定を受けて、この座標を含む格子に対応する歪み補正パラメータを、歪み補正メモリ３１３から読み出し、ｘ方向、ｙ方向にそれぞれ補間処理を行うことにより歪み補正座標を伸長して、補正量パラメータを生成する。
このように、全画像を格子分割して、各画素についての歪み補正座標を圧縮しておき、補正パラメータデコーダ３１２において伸長するような構成により、必要なデータ量や演算処理の負担が軽減され、リアルタイム処理が可能となる。
ところで、光学ズーム機能を具備する撮像装置においては、ズーム動作によりレンズ位置が変化すると、歪みの特性が大きく変化することが知られている。
ここで、図１８は、ズーム動作時のレンズ位置と歪み量との関係を示すグラフの例である。
図１８に示すように、レンズ位置に応じた歪み量の特性は非線形であり、かつ、画像内の各点において変化量が異なる。このため、歪みを補正するためには、すべてのレンズ位置に対応する全画素の歪み補正用データを用意する必要がある。これらのデータを算出するためには膨大な演算量が必要となり、またこれらのデータを保持するためには、大きなメモリ容量が必要となる。
なお、低コストな回路を用いて、レンズ位置に応じた歪みの補正を行うことが可能な従来の例として、撮像ズームレンズの撮像ポジションが歪曲収差の大きいポジション内であることが検出されている場合には、固体撮像素子の画像データを幾何学的変形に基づいて読み出すことにより像の歪みを補正するように構成された固体撮像カメラがあった（例えば、特許文献１参照）。
特許第２９２５８７１号公報（段落番号〔００１５〕〜〔００２０〕、第１図）
上述したように、ズーム動作時のレンズ位置に応じた適切な歪み補正をデジタル信号処理により行うためには、すべてのレンズ位置に対応する全画素の歪み補正用データを用意しなければならず、必要な演算能力や回路規模、消費電力等が増大し、製造コストが高くなることが問題であった。また、レンズ交換等によりレンズ系の歪曲収差の特性が変わった場合には、新たな特性に応じた歪み補正用データを用意する必要があり、このような場合に対応することは困難であった。
図１７に例示した従来の画像撮像システムでは、例えば、制御マイコン３１１がズーム位置を補正パラメータデコーダ３１２に通知し、補正パラメータデコーダ３１２が、このズーム位置に応じた歪み補正パラメータを選択的にデコードすることにより、レンズ位置に応じた適切な歪み補正を行うことができる。また、歪み補正パラメータのデータ量を抑制するためには、レンズ位置を区分して各点に対応するデータのみ用意し、レンズ位置が区分点に合致しない場合はこれに近い区分点のデータを選択して、近似的なデータにより補正する方法が考えられる。しかし、この方法では、分割点の数を減らしてデータ量を少なくするほど、歪み補正の精度が低下し、画質が劣化してしまう。
なお、上記の特許文献１で開示した固体撮像カメラでは、レンズ位置が歪曲収差の大きい領域内であるときだけ歪み補正を行うので、補正精度が低く、歪みを目立たなくすることは困難であった。
本発明はこのような点に鑑みてなされたものであり、光学ズームを利用した場合にも、撮像画像に生じる歪みを補正してその画質を高めることが可能な画像処理装置を提供することを目的とする。
また、本発明の他の目的は、光学ズームを利用した場合にも、撮像画像に生じる歪みを補正してその画質を高めることが可能な画像処理システムを提供することである。
さらに、本発明の他の目的は、光学ズームを利用した場合にも、撮像画像に生じる歪みを補正してその画質を高めることが可能な撮像装置を提供することである。
また、本発明の他の目的は、光学ズームを利用した場合にも、撮像画像に生じる歪みを補正してその画質を高めることが可能な画像処理方法を提供することである。
本発明では上記課題を解決するために、光学ズーム機構を具備する集光レンズ群を用いて撮像された画像の入力を受けてその画像の歪みを補正する画像処理装置において、入力画像の撮像時における前記光学ズーム機構のレンズ位置状態を示すズーム位置を取得するズーム位置取得手段と、前記光学ズーム機構におけるレンズ位置状態をワイド端からテレ端までの間でその両端を含み、前記ズーム位置の移動に応じた画像の歪み量の変化が小さい領域では広い間隔で、当該歪み量の変化が大きい領域では狭い間隔で区分したズーム区分点を単位として割り当てられた歪み補正用の補正パラメータを基に、前記ズーム位置取得手段によって取得された前記ズーム位置に対応する補正パラメータを補間演算により算出するズーム方向デコード手段と、前記ズーム方向デコード手段により補間演算された補正パラメータを基に前記入力画像の各画素に対応する歪み補正座標をデコードする補正座標デコード手段と、前記補正座標デコード手段によってデコードされた歪み補正座標を基にして前記入力画像の歪みを補正する画像補正手段とを有し、前記補正パラメータは、前記各ズーム区分点での撮像画像の各画素に対応する歪み補正座標のうち、当該撮像画像を格子状に分割した格子点同士を結ぶ格子線上の歪み補正座標の推移を近似したｎ次多項式（ただし、ｎは自然数）を基に、当該格子線分の両端の歪み補正座標と、当該格子線分をｎ分割して得られる（ｎ−１）の内分点の歪み補正座標とを算出することで生成され、前記ズーム方向デコード手段は、前記ズーム位置に基づいて選択された複数の前記ズーム区分点に対応する補正パラメータを取得し、選択された複数の前記ズーム区分点間の各レンズ位置状態に対応する補正パラメータのｎ次多項式を再現し、選択した複数の前記ズーム区分点間における前記ズーム位置の相対位置を、再現した前記ｎ次多項式に適用することで補間演算を行うことを特徴とする画像処理装置が提供される。
ここで、ズーム位置取得手段は、入力画像の撮像時における光学ズーム機構のレンズ位置状態を示すズーム位置を取得する。また、入力画像の歪みを補正するために、ズーム区分点を単位として割り当てられた歪み補正用の補正パラメータが用意される。このズーム区分点は、光学ズーム機構におけるワイド端からテレ端までのレンズ位置状態を、その両端を含む複数段階に区分したものであり、ズーム区分点の間隔は、ズーム位置の移動に応じた画像の歪み量の変化が小さい領域では広く、その変化が大きい領域では狭く設定されている。ズーム方向デコード手段は、このようなズーム区分点単位の補正パラメータを基に、ズーム位置取得手段によって取得されたズーム位置に対応する補正パラメータを補間演算により算出する。補正座標デコード手段は、ズーム方向デコード手段により補間演算された補正パラメータを基に入力画像の各画素に対応する歪み補正座標をデコードする。そして、画像補正手段は、補正座標デコード手段によってデコードされた歪み補正座標を基にして、入力画像の歪みを補正する。
また、本発明では、光学ズーム機構を具備する集光レンズ群を用いて撮像された画像の入力を受けてその画像の歪みを補正する画像処理システムにおいて、前記光学ズーム機構におけるレンズ位置状態をワイド端からテレ端までの間でその両端を含み、前記ズーム位置の移動に応じた画像の歪み量の変化が小さい領域では広い間隔で、当該歪み量の変化が大きい領域では狭い間隔で区分したズーム区分点を単位としてレンズ位置状態ごとの歪み補正用の補正パラメータを割り当てるズーム方向エンコード手段、を備えたパラメータ出力装置と、入力画像の撮像時における前記光学ズーム機構のレンズ位置状態を示すズーム位置を取得するズーム位置取得手段と、前記ズーム方向エンコード手段からの前記ズーム区分点単位の補正パラメータを基に、前記ズーム位置取得手段によって取得された前記ズーム位置に対応する補正パラメータを補間演算により算出するズーム方向デコード手段と、前記ズーム方向デコード手段により補間演算された補正パラメータを基に前記入力画像の各画素に対応する歪み補正座標をデコードする補正座標デコード手段と、前記補正座標デコード手段によってデコードされた歪み補正座標を基にして前記入力画像の歪みを補正する画像補正手段と、を備えた画像処理装置と、を有し、前記補正パラメータは、前記各ズーム区分点での撮像画像の各画素に対応する歪み補正座標のうち、当該撮像画像を格子状に分割した格子点同士を結ぶ格子線上の歪み補正座標の推移を近似したｎ次多項式（ただし、ｎは自然数）を基に、当該格子線分の両端の歪み補正座標と、当該格子線分をｎ分割して得られる（ｎ−１）の内分点の歪み補正座標とを算出することで生成され、前記ズーム方向デコード手段は、前記ズーム位置に基づいて選択された複数の前記ズーム区分点に対応する補正パラメータを取得し、選択された複数の前記ズーム区分点間の各レンズ位置状態に対応する補正パラメータのｎ次多項式を再現し、選択した複数の前記ズーム区分点間における前記ズーム位置の相対位置を、再現した前記ｎ次多項式に適用することで補間演算を行うことを特徴とする画像処理システムが提供される。
このような画像処理システムでは、歪み補正に必要な補正パラメータが、パラメータ出力装置から画像処理装置に出力される。パラメータ出力装置において、ズーム方向エンコード手段は、補正パラメータをズーム区分点を単位として割り当てる。このズーム区分点は、光学ズーム機構におけるワイド端からテレ端までのレンズ位置状態を、その両端を含む複数段階に区分したものであり、ズーム区分点の間隔は、ズーム位置の移動に応じた画像の歪み量の変化が小さい領域では広く、その変化が大きい領域では狭く設定されている。また、画像処理装置において、ズーム位置取得手段は、入力画像の撮像時における光学ズーム機構のレンズ位置状態を示すズーム位置を取得する。ズーム方向デコード手段は、パラメータ出力装置からのズーム区分点単位の補正パラメータを基に、ズーム位置取得手段によって取得されたズーム位置に対応する補正パラメータを補間演算により算出する。補正座標デコード手段は、ズーム方向デコード手段により補間演算された補正パラメータを基に入力画像の各画素に対応する歪み補正座標をデコードする。そして、画像補正手段は、補正座標デコード手段によってデコードされた歪み補正座標を基にして入力画像の歪みを補正する。
本発明の画像処理装置によれば、ズーム区分点単位の補正パラメータを基にズーム位置に対応する補正パラメータが補間演算されて、歪み補正処理に利用されるので、ズーム位置に応じた高精度の歪み補正が可能でありながらも、必要とされる補正用データのデータ量が削減され、例えば、これらの補正用データを算出するために必要な演算能力、あるいはこれらの補正用データを記憶しておくメモリの容量が抑制される。また、ズーム位置の移動に応じた画像の歪み量によってズーム区分点の間隔を変えるようにしたことで、補正パラメータの補間演算の精度を高め、歪み補正の精度を向上させることができる。
また、本発明の画像処理システムによれば、パラメータ出力装置からのズーム区分点単位の補正パラメータを基に、ズーム位置に対応する補正パラメータが補間演算されて、歪み補正処理に利用されるので、ズーム位置に応じた高精度の歪み補正が可能でありながらも、必要とされる補正用データのデータ量が削減され、また、これらの補正用データを算出するために必要な演算能力が抑制される。また、ズーム位置の移動に応じた画像の歪み量によってズーム区分点の間隔を変えるようにしたことで、補正パラメータの補間演算の精度を高め、歪み補正の精度を向上させることができる。
以下、本発明の実施の形態について図面を参照して詳細に説明する。なお、以下の実施の形態では、画像を撮像して記録する撮像装置を含む画像撮像システムに本発明を適用した場合を例に挙げて説明する。また、撮像装置としては、デジタルビデオカメラを想定する。
〔第１の実施の形態〕
図１は、本発明の第１の実施の形態に係る画像撮像システムの構成例を示すブロック図である。
図１に示す画像撮像システムは、画像を撮像してデジタルデータとして記録媒体に記録するためのものであり、撮像装置１と、前処理装置２とを具備している。
撮像装置１は、光学ブロック１０１、撮像素子１０２、画像前処理部１０３、画像信号処理部１０４、画像メモリ１０５、表示処理部１０６、モニタ１０７、圧縮・伸長処理部１０８、記録再生部１０９、記録媒体１１０、制御マイクロコンピュータ（以下、制御マイコンと呼称する）１１１、補正パラメータデコーダ１１２、歪み補正メモリ１１３、およびズーム補間処理部１１４を具備する。また、前処理装置２は、補正パラメータ導出部２０１と、補正パラメータエンコーダ２０２とを具備する。
撮像装置１において、光学ブロック１０１は、被写体からの反射光を集光するレンズ群やこれらを駆動するための駆動機構等からなり、入射光を撮像素子１０２に集光する。特に、本実施の形態では、光学ブロック１０１は光学ズーム機能を備えている。光学ズーム動作時のレンズ駆動は、制御マイコン１１１からの制御信号によって制御される。
撮像素子１０２は、ＣＣＤやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等からなり、光学ブロック１０１において集光された光を電気信号に変換して、アナログ画像信号を画像前処理部１０３に供給する。
画像前処理部１０３は、撮像素子１０２から供給されたアナログ画像信号に対して、ＣＤＳ処理やＡＧＣ処理、Ａ／Ｄ変換処理等を行い、デジタル画像信号を画像信号処理部１０４に供給する。
画像信号処理部１０４は、画像前処理部１０３からのデジタル画像信号を画像メモリ１０５に格納するとともに、このデジタル画像信号に対して、補正パラメータデコーダ１１２から受け取った補正量パラメータに基づく歪み補正処理等の画質補正処理を行う。画像メモリ１０５は、例えばＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリ等によって構成される。
表示処理部１０６は、画像信号処理部１０４または圧縮・伸長処理部１０８からの画像信号から、モニタ１０７に表示させるための画像信号を生成して、モニタ１０７に出力する。モニタ１０７は、例えばＬＣＤ等により構成される。
圧縮・伸長処理部１０８は、画像信号処理部１０４からの画像信号を所定の画像フォーマットで圧縮符号化処理し、記録再生部１０９に供給する。また、記録再生部１０９からの画像信号を伸長復号化処理し、表示処理部１０６に供給する。
記録再生部１０９は、圧縮・伸長処理部１０８によって圧縮符号化された画像信号を、記録媒体１１０に書き込む。また、記録媒体１１０から読み出した画像データを、圧縮・伸長処理部１０８に供給する。記録媒体１１０は、例えば、可搬型の半導体メモリ、光ディスク、ハードディスク等からなる。
制御マイコン１１１は、図示しないユーザインタフェース（Ｉ／Ｆ）からの制御信号に応じて、所定の動作を命令するコマンド等を画像信号処理部１０４等に出力する。また、光学ブロック１０１内のレンズの位置情報等を補正パラメータデコーダ１１２に供給する。また、歪み補正メモリ１１３に対して、メモリの読み書きのためのクロック信号を与える。
補正パラメータデコーダ１１２は、制御マイコン１１１から供給された情報等に応じて、歪み補正メモリ１１３から読み出されてズーム補間処理部１１４において補間演算によりズーム方向に伸長（デコード）された歪み補正パラメータを、各画素に対応した補正量パラメータとしてｘ−ｙ方向にデコードし、この補正量パラメータを画像信号処理部１０４に供給する。
歪み補正メモリ１１３は、前処理装置２の補正パラメータエンコーダ２０２から、歪み補正座標を圧縮して生成された歪み補正パラメータの入力を受けて、これらを保持する。そして、補正パラメータデコーダ１１２からの要求に応じて、保持している歪み補正パラメータをズーム補間処理部１１４に出力する。
ズーム補間処理部１１４は、歪み補正メモリ１１３から読み出された歪み補正パラメータを用いてズーム方向の補間処理を行い、処理後の歪み補正パラメータを補正パラメータデコーダ１１２に供給する。
また、前処理装置２において、補正パラメータ導出部２０１は、撮像画像における全画素に対応する歪み補正座標を、光学ブロック１０１に搭載されているレンズのレンズデータに基づいて作成し、補正パラメータエンコーダ２０２に出力する。
補正パラメータエンコーダ２０２は、補正パラメータ導出部２０１からの全画素の歪み補正座標を、歪み補正パラメータに圧縮（エンコード）して、歪み補正メモリ１１３に格納する。また、エンコード時に用いた格子情報を補正パラメータデコーダ１１２に供給する。
なお、前処理装置２は、撮像装置１の外部に設置されたパーソナルコンピュータ等の外部情報処理機器により構成されればよい。例えば、補正パラメータ導出部２０１および補正パラメータエンコーダ２０２における演算は、非常に負荷の大きな演算となるが、これらを外部情報処理機器において実行させることにより、撮像装置１の撮像動作に対するリアルタイムの歪み補正処理に影響が及ばなくなる。また、補正パラメータエンコーダ２０２から歪み補正メモリ１１３や補正パラメータデコーダ１１２に供給される情報は、例えば電源投入時等の初期動作時にあらかじめ供給されればよい。
ここで、まず、上記の撮像装置１における基本的な動作について説明する。
被写体からの反射光は、光学ブロック１０１によって撮像素子１０２に集光され、撮像素子１０２からはアナログ画像信号が画像前処理部１０３に出力される。画像前処理部１０３では、撮像素子１０２からのアナログ画像信号に対してＣＤＳ処理やＡＧＣ処理等が施され、さらにＡ／Ｄ変換されて、デジタル化された画像信号が画像信号処理部１０４に供給される。
画像信号処理部１０４では、入力されたデジタル画像信号が画像メモリ１０５に格納されるとともに、このデジタル画像信号に対して、補正パラメータデコーダ１１２から受け取った補正量パラメータに基づく歪み補正処理等の画質補正処理が行われる。処理後の画像信号は表示処理部１０６に供給され、これにより、歪みが補正された撮像画像がモニタ１０７に表示される。
また、画像信号処理部１０４で画質補正処理された画像信号は、圧縮・伸長処理部１０８において所定の画像フォーマットで圧縮符号化処理され、記録再生部１０９により記録媒体１１０に書き込まれる。これにより、撮像画像の記録が行われる。なお、圧縮符号化された画像データは、この他に、例えば通信Ｉ／Ｆを通じて外部の機器に対して送信されてもよい。
一方、記録媒体１１０に記録された画像データを再生する場合には、この画像データは記録再生部１０９によって読み出されて、圧縮・伸長処理部１０８において伸長復号化処理され、処理後の画像信号が表示処理部１０６に供給されることにより、再生画像がモニタ１０７に表示される。
ところで、撮像した画像信号を表示・記録する際には、画像信号処理部１０４において、原画像に生じた光学歪みに対するデジタル補正処理が行われる。この光学歪みは、光学ブロック１０１内のレンズの光学的特性に起因するものである。
本実施の形態では、前処理装置２において、全画素分の歪み補正座標をエンコードして、歪み補正メモリ１１３に格納する。そして、制御マイコン１１１から撮像画像上の座標を受けた補正パラメータデコーダ１１２が、歪み補正メモリ１１３から対応する圧縮データをズーム補間処理部１１４を介して取得してデコードし、歪み補正座標を復元して画像信号処理部１０４に出力する。これにより、画像信号処理部１０４は、受け取った歪み補正座標等を用いて歪み補正処理を行うことが可能となっている。
また、光学歪みの特性は、光学ズーム動作時のレンズ位置によって異なる。従って、厳密には、レンズ位置に応じた補正データを利用する必要がある。
ここで、図２は、ズーム動作時のレンズ位置と歪み量との関係の例と、レンズ位置の区分点とを示す図である。
図２に示すグラフのように、レンズ位置に応じた歪み量の特性は非線形であり、かつ、画像内の各点において変化量が異なる。このため、高精度な歪み補正を行うためには、補正パラメータデコーダ１１２は、レンズ位置に対応する歪み補正パラメータを選択的にデコードして、画像信号処理部１０４に供給する必要がある。しかし、すべてのレンズ位置に対応する歪み補正座標を用意した場合、そのデータ量は膨大なものとなってしまう。
本発明ではこれに対して、ワイド端からテレ端までの間のズーム位置を複数に区分し、この区分を利用して歪み補正座標をズーム方向にエンコードする。そして、歪み補正時には、実際のレンズ位置に応じた必要な歪み補正パラメータを用いて補間処理を行うことで、このレンズ位置に対応する歪み補正パラメータをデコードし、歪み補正に利用することを特徴とする。これにより、必要なデータ量の削減と、歪み補正精度の向上とを両立させる。本実施形態の場合、このようなズーム方向の補間処理はズーム補間処理部１１４において行われ、補間された歪み補正パラメータが補正パラメータデコーダ１１２においてさらにｘ−ｙ方向に対してデコードされ、画像信号処理部１０４で利用される。
なお、以下の説明では、制御マイコン１１１により制御される光学ズーム機構内のレンズ位置状態をズーム位置と呼称し、また、レンズ位置状態をワイド端からテレ端までの間で区分した区分点（両端部を含む）を、ズームポイントと呼称する。
図２の例では、光学ズーム機構内のレンズは、ワイド端からテレ端までの間でＰ０〜Ｐ１６の各ズーム位置をとるものとしている。そして、歪み補正パラメータのズーム方向のエンコードを行うためのズームポイントとして、Ｚ０〜Ｚ７を規定している。ここで、ズーム位置の移動に応じた歪み量の変化が小さい領域ではズームポイントの間隔を広くとり、歪み量の変化が大きい領域ではズームポイントの間隔を狭くすることにより、歪み補正の精度を高めることができる。
ここで、まず、ズーム方向の補間演算として、線形補間を用いる場合について説明する。ここでは例として、ズーム位置を跨ぐ２つのズームポイントに対応する歪み補正パラメータを用いて、ズーム方向の補間演算を行うことにする。例えば、撮像時の光学ズーム機構内のズーム位置が図２のようにＰ９であれば、例えばこのＰ９に近接するズームポイントＺ４およびＺ５に対応する歪み補正パラメータを用いて補間演算を行い、Ｐ９に対応する歪み補正パラメータを算出して歪み補正処理を行うことができる。また、補間演算時には、選択したズームポイント間におけるズーム位置の位相を用いる。なお、以下では、ｘ−ｙ方向の補間演算としては、例として、ｎ次多項式（ただし、ｎは自然数）を用いた近似による補間を行うものとする。
光学ズーム機構のズーム位置は、ユーザＩ／Ｆを通じて入力される制御信号に基づいて、制御マイコン１１１によって制御される。制御マイコン１１１は、この制御信号に応じて光学ブロック１０１にズーム位置制御のための制御信号を出力するとともに、ズーム位置情報を補正パラメータデコーダ１１２に出力する。このとき、制御マイコン１１１は、指定されたズーム位置を跨ぐ２つのズームポイントを認識し、このうちワイド端側のズームポイントを識別する数値と、２つのズームポイント間におけるズーム位置の位相係数とを加算した値をズーム位置情報として設定する。ここで、位相係数は、ズームポイント間の距離を１とした場合に、ズームポイント間の基準点からズーム位置までの距離を表す。本実施の形態ではその基準点をワイド端側のズームポイントとする。この場合、ズーム位置情報の整数部は、選択されたズームポイントのうちワイド端側のものを示し、小数部がこのズームポイントを基準とした位相係数を示すことになる。
次に、歪み補正のためのパラメータを算出する動作について説明する。図３は、前処理装置２内の補正パラメータエンコーダ２０２の内部構成例を示すブロック図である。
補正パラメータエンコーダ２０２は、図３に示すように、格子分割部２１１と、圧縮データ導出部２１２とを具備している。
格子分割部２１１は、全画面に対する格子の分割方法を決定し、格子情報として、圧縮データ導出部２１２および補正パラメータデコーダ１１２に出力する。また、ズーム位置を区分したズームポイントの区分方法を決定し、ズームポイント情報として、圧縮データ導出部２１２および歪み補正メモリ１１３に出力する。
圧縮データ導出部２１２は、補正パラメータ導出部２０１から全画素および全ズーム位置に対応する歪み補正座標の入力を受け、格子分割部２１１からの格子情報とズームポイント情報とから、画面のｘ−ｙ方向およびズーム方向（ｚ方向）のそれぞれについて歪み補正座標を圧縮し、歪み補正パラメータを算出する。なお、ｘ方向、ｙ方向、およびズーム方向（ｚ方向）のそれぞれについては、デコード時における補間演算の方法は同じである必要はない。
圧縮データ導出部２１２は、格子分割部２１１において分割された各格子線分のすべての歪み補正座標と格子線分上の位置とから離散関数を生成し、求める区分ｎ次多項式で近似する。そして、その格子線分をｎ分割した内分点およびその両端（格子点）における歪み補正座標を、求めた区分ｎ次多項式から算出し、算出した歪み補正座標を歪み補正パラメータとして歪み補正メモリ１１３に出力する。なお、格子線分とは、互いの格子線で区切られた格子線（格子点間の線分）を表す。
ここで、ｎ次多項式は以下の式（１）で表され、区分ｎ次多項式とは、ある有効範囲で区切られた区間のみを、式（１）のようなｎ次多項式で表したものである。なお、ｎは自然数とする。
Ｆ（ｘ）＝ａ（ｎ）＊ｘn＋ａ（ｎ−１）＊ｘ(n-1)＋ａ（ｎ−２）＊ｘ(n-2)＋・・・＋ａ（０） ……（１）
なお、画面を格子状に分割する場合には、例えば、画面全体を分割の対象とする方法、あるいは、レンズの歪みが点対称であることを利用して、画面の１／４を分割の対象とする方法等がある。これらは、歪みの特性に応じて選択される。さらに、格子分割の方法としては、例えば、画面内を均等な間隔で分割する方法や、画面の中心から端部までの距離を２のべき乗ごとに分割する方法、歪みの大きい画面上下端および左右端の歪み補正座標を利用して、この歪み補正座標と位置との関数を作成し、作成された関数から、区分ｎ次多項式を用いて関数と区分ｎ次多項式との誤差が最も小さくなる分割位置を探索する方法等が提案されている。
また、ｎ次多項式の算出は、例えば以下のように行われる。ここでは、２次多項式を例に挙げて説明する。まず、１つの格子線分を選択する。ここで、例えばｘ１＝ｘ０＋１として、（ｘ０，ｈ（ｘ０））、（ｘ１，ｈ（ｘ１））、（ｘ２，ｈ（ｘ２））の３点を通る区分ｎ次多項式を算出するものとすると、選択した格子線分のｘ方向の両端ｘ０とｘ２との間において、ｘ０からｘ２に対してｘ１の値を１ずつずらしていき、ｘ２−１の点まで上記の算出を行う。このようにして、すべての区分２次多項式の中で、元の関数との誤差が最も小さい区分ｎ次多項式を算出する。
図４は、補正パラメータエンコーダ２０２における処理の流れを示すフローチャートである。
ステップＳ４０１において、補正パラメータエンコーダ２０２は、対象画面上のすべての画素に対する歪み補正座標を、補正パラメータ導出部２０１から読み込む。このとき、ズームポイントごとにすべての歪み補正座標を読み込む。
ステップＳ４０２において、格子分割部２１１は、ユーザＩ／Ｆを通じて指定された格子分割数や分割方法、画面サイズ等の情報に従って、画面を格子状に分割する。
ステップＳ４０３において、分割された格子の画面上の座標等を示す格子情報を、圧縮データ導出部２１２および補正パラメータデコーダ１１２に転送する。また、ズームポイントの区分方法を示すズームポイント情報を、圧縮データ導出部２１２および歪み補正メモリ１１３に対して転送する。
ステップＳ４０４〜Ｓ４０９の処理は、１つのズームポイントに対応する歪み補正座標を用いて行われる。ステップＳ４０４において、圧縮データ導出部２１２は、格子点間に囲まれる格子線分を１つ選択する。
ステップＳ４０５において、圧縮データ導出部２１２は、選択された格子線分上に含まれるすべての点の歪み補正座標をｙ軸、格子線上の距離をｘ軸上にとって離散関数を作成し、この離散関数を区分ｎ次多項式で近似する。これにより、近似式として区分ｎ次多項式が導出される。
ステップＳ４０６において、パラメータを抽出するための格子線分の分割点を決定する。この処理では、対象の格子線分をｎ分割し、その内分点と両端の格子点を抽出する。
ステップＳ４０７において、ステップＳ４０５で導出した区分ｎ次多項式から、上記の各分割点上の歪み補正座標を算出する。
ステップＳ４０８において、算出した歪み補正座標を、歪み補正パラメータとして歪み補正メモリ１１３に転送する。これにより、１つのズームポイントおよび１つの格子線分に対応する圧縮データが、歪み補正メモリ１１３の所定領域に格納される。
ステップＳ４０９において、画面上のすべての格子線分に対するパラメータ導出処理が終了したか否かを判断し、終了した場合はステップＳ４１０に進む。また、終了していない場合はステップＳ４０４に戻って、すべての格子線分に対してステップＳ４０４〜Ｓ４０８を繰り返し実行する。
ステップＳ４１０において、すべてのズームポイントについての圧縮データ導出処理が終了していない場合はステップＳ４０４に戻り、すべてのズームポイントに対応する歪み補正座標を用いて、ステップＳ４０４〜Ｓ４０９の処理を繰り返す。
以上の処理によって、すべてのズームポイントにおける全画素の歪み補正座標が圧縮されて、圧縮データが歪み補正メモリ１１３に格納される。ここで、例えば近似式として区分２次多項式を用いた場合、ステップＳ４０７では、格子線分上の中点と両端の格子点とが分割点に決定され、これらの３点に対応する歪み補正座標が歪み補正パラメータとされる。従って、１つの格子に対した必要とされる歪み補正パラメータは、４つの格子点と４つの格子線分の中点の合計８点における歪み補正座標とされるので、データ量を圧縮することができる。このようなエンコード処理が行われることで、歪み補正処理のために必要とされる補正用データのデータ量が削減されるので、歪み補正メモリ１１３のメモリ容量を小さくして、部品コストや回路規模を削減することが可能となる。
次に、ズーム方向に対する歪み補正パラメータの補間処理について説明する。まず、図５は、歪み補正メモリ１１３の内部構成例を示すブロック図である。
歪み補正メモリ１１３は、図５に示すように、パラメータ記憶部１３１と、アドレス生成器１３２とを具備している。
パラメータ記憶部１３１には、補正パラメータエンコーダ２０２から転送された歪み補正パラメータが格納される。そして、アドレス生成器１３２からのアドレス指定に応じて、格納された歪み補正パラメータをズーム補間処理部１１４に転送する。
アドレス生成器１３２は、補正パラメータデコーダ１１２から、ズーム位置情報、および補正対象に指定された画素の座標の指定を受けて、演算に必要な歪み補正パラメータが格納されているメモリアドレスに変換し、これを読み出しアドレスとしてパラメータ記憶部１３１に対して指定する。また、後述するように、ズーム位置情報の小数部に示されたズーム位置のズームポイント間の位相係数を、ズーム補間処理部１１４に対して通知する。なお、アドレス生成器１３２は、補正パラメータエンコーダ２０２から転送されたズームポイント情報を保持している。
ここで、アドレス生成器１３２は、補正パラメータデコーダ１１２から受け取ったズーム位置情報により指定されたズーム位置（すなわち撮像中の現在のズーム位置）に基づき、このズーム位置に近接するズームポイントに対応する歪み補正パラメータを、補間対象の値として指定する。例えば、現在のズーム位置を跨ぐ複数のズームポイントに対応する歪み補正パラメータを指定する。そして、このように指定した歪み補正パラメータが格納されたメモリアドレスをパラメータ記憶部１３１に対して指定し、ズーム補間処理部１１４に出力させる。補間対象値の指定数やその指定方法は、ズーム補間処理部１１４における補間処理に応じて決定される。
本実施の形態では、上述したように、２つのズームポイントに対応する歪み補正パラメータを利用して、ズーム方向のパラメータ補間処理を行うことにする。アドレス生成器１３２は、ズーム位置情報の整数部により指定されたズームポイント、およびそれより１つテレ端側のズームポイントにそれぞれ対応する歪み補正パラメータを、補間対象の値として指定し、これらと座標値とに対応するメモリアドレスをパラメータ記憶部１３１に対して指定する。例えば、図２のようにズームポイントが設定された場合、現在のズーム位置がＰ９であるときは、補間対象の値としてＺ４およびＺ５の各ズームポイントに対応する歪み補正パラメータを利用する。
また、アドレス生成器１３２は、ズーム位置情報の小数部により指定された、２つのズームポイント（Ｚｏｏｍ０，Ｚｏｏｍ１とする）の間における現在のズーム位置の位相係数を、ズーム補間処理部１１４に対して転送する。この情報は、ズーム方向の補間処理で利用される。
図６は、ズーム補間処理部１１４における補間処理を説明するための図である。
ズーム補間処理部１１４には、パラメータ記憶部１３１より、２つのズームポイントＺｏｏｍ０およびＺｏｏｍ１に対応する歪み補正パラメータが入力される。ズーム補間処理部１１４では、対象とされる画素の近傍の４つの格子点の歪み補正パラメータについて、それぞれズームポイントＺｏｏｍ０およびＺｏｏｍ１の値を用いて補間演算を行い、歪み補正パラメータを２次元の値に落とす。
ここで、図６に示すように、対象画素近傍の４つの格子点の歪み補正パラメータを、ズームポイントＺｏｏｍ０についてはそれぞれＤｉｓｔ＿ｘ０＿ｙ０＿ｚ０、Ｄｉｓｔ＿ｘ０＿ｙ１＿ｚ０、Ｄｉｓｔ＿ｘ１＿ｙ０＿ｚ０、Ｄｉｓｔ＿ｘ１＿ｙ１＿ｚ０とし、Ｚｏｏｍ１についてはそれぞれＤｉｓｔ＿ｘ０＿ｙ０＿ｚ１、Ｄｉｓｔ＿ｘ０＿ｙ１＿ｚ１、Ｄｉｓｔ＿ｘ１＿ｙ０＿ｚ１、Ｄｉｓｔ＿ｘ１＿ｙ１＿ｚ１とする。また、アドレス生成器１３２から供給されるズーム位置の位相係数をｃｏｅｆ（０≦ｃｏｅｆ＜１）とする。ズーム補間処理部１１４における線形補間による補間処理後の各格子点の歪み補正パラメータＤｉｓｔ＿ｘ０＿ｙ０、Ｄｉｓｔ＿ｘ０＿ｙ１、Ｄｉｓｔ＿ｘ１＿ｙ０、Ｄｉｓｔ＿ｘ１＿ｙ１は、例えばそれぞれ以下の式（２）〜（５）によって算出される。
Ｄｉｓｔ＿ｘ０＿ｙ０＝Ｄｉｓｔ＿ｘ０＿ｙ０＿ｚ０＊（１−ｃｏｅｆ）＋Ｄｉｓｔ＿ｘ０＿ｙ０＿ｚ１＊ｃｏｅｆ ……（２）
Ｄｉｓｔ＿ｘ０＿ｙ１＝Ｄｉｓｔ＿ｘ０＿ｙ１＿ｚ１＊（１−ｃｏｅｆ）＋Ｄｉｓｔ＿ｘ０＿ｙ１＿ｚ１＊ｃｏｅｆ ……（３）
Ｄｉｓｔ＿ｘ１＿ｙ０＝Ｄｉｓｔ＿ｘ１＿ｙ０＿ｚ０＊（１−ｃｏｅｆ）＋Ｄｉｓｔ＿ｘ１＿ｙ０＿ｚ１＊ｃｏｅｆ ……（４）
Ｄｉｓｔ＿ｘ１＿ｙ１＝Ｄｉｓｔ＿ｘ１＿ｙ１＿ｚ０＊（１−ｃｏｅｆ）＋Ｄｉｓｔ＿ｘ１＿ｙ１＿ｚ１＊ｃｏｅｆ ……（５）
図７は、歪み補正メモリ１１３およびズーム補間処理部１１４における処理の流れを示すフローチャートである。
ステップＳ７０１において、補正パラメータデコーダ１１２から、光学ズーム機構における現在のズーム位置に応じて選択されたズームポイントおよび位相係数を示すズーム位置情報が、歪み補正メモリ１１３に入力される。
ステップＳ７０２において、歪み補正メモリ１１３内のアドレス生成器１３２は、入力されたズーム位置情報の整数部に基づいて、利用する２つのズームポイントを設定する。また、ズーム位置情報の小数部に基づいて、各ズームポイント間におけるズーム位置の位相係数の値を、ズーム補間処理部１１４に転送する。
ステップＳ７０３において、補正パラメータデコーダ１１２から、補正対象とする画素の座標が、歪み補正メモリ１１３に入力される。
ステップＳ７０４において、アドレス生成器１３２は、入力された座標値と、ステップＳ７０２で設定したズームポイントとから読み出しアドレスを生成し、パラメータ記憶部１３１に対して指定する。これにより、各ズームポイントおよび座標値に対応する歪み補正パラメータが、ズーム補間処理部１１４に転送される。
ステップＳ７０５において、ズーム補間処理部１１４は、パラメータ記憶部１３１からの歪み補正パラメータと、アドレス生成器１３２からの位相係数とを用いてズーム方向に対する補間演算を行う。そして、２次元座標に対応するデータとして算出された歪み補正パラメータを、補正パラメータデコーダ１１２に転送する。
ステップＳ７０６において、全画素分についての歪み補正パラメータの補間演算が終了していない場合には、ステップＳ７０３に戻り、補正パラメータデコーダ１１２から新たな座標の値を受け取って、同様に補間演算を行う。これにより、全画素についての歪み補正パラメータが算出される。
なお、上記のフローチャートは、撮像した画像の１フィールドごと、あるいは１フレームごとに実行される。ただし、インタレース方式で動画像を撮像する場合、ステップＳ７０１においてズーム位置情報を１フィールドごとに受け取り、上記フローチャートの処理を実行することが望ましい。
また、実際には、補正パラメータデコーダ１１２から指定される座標値が、同じ格子内に存在している場合には、上記の補間演算を新たに行う必要はなく、それ以前に算出された歪み補正パラメータが再び補正パラメータデコーダ１１２に転送されればよい。また、補正対象の画素の座標値を包含する格子が補正パラメータデコーダ１１２において算出され、算出された格子の位置がアドレス生成器１３２に通知されるようにしてもよい。
以上の処理により、歪み補正パラメータが実際のズーム位置に応じて補間される。歪み補正パラメータは、ズーム位置を区分したズームポイントごとに補正パラメータエンコーダ２０２で生成され、歪み補正メモリ１１３に格納されるので、これらのデータ量は大幅に削減される。このため、歪み補正メモリ１１３のメモリ容量を削減することができ、製造コストや回路規模が削減される。また、補正パラメータエンコーダ２０２における演算量も減らすことができる。そして、以上の効果が得られながらも、ズーム方向の補間演算により実際のズーム位置に適した歪み補正パラメータが算出されるので、精度のよい歪み補正を行うことが可能となる。
次に、図８は、補正パラメータデコーダ１１２および画像信号処理部１０４の内部構成例を示すブロック図である。
図８に示すように、補正パラメータデコーダ１１２は、格子情報バッファ１２１、格子決定部１２２、正規化部１２３、関数算出部１２４、関数変換部１２５、および平面補間部１２６を具備している。また、画像信号処理部１０４は、水平一次元補間部１０４ａと、垂直一次元補間部１０４ｂとを具備している。
補正パラメータデコーダ１１２において、格子情報バッファ１２１は、補正パラメータエンコーダ２０２から出力された格子情報を保持する。
格子決定部１２２は、画像信号処理部１０４から補正対象として指定された画素の座標と、制御マイコン１１１からのズーム位置情報とを、歪み補正メモリ１１３に通知して、対応する歪み補正パラメータの読み出しを要求するとともに、指定された座標が包含される格子を、格子情報バッファ１２１に保持された格子の位置情報と比較して算出する。また、算出した格子の位置を指定する情報を歪み補正メモリ１１３に通知するようにしてもよい。
正規化部１２３は、補正対象の座標、格子決定部１２２で算出された格子位置、および、格子情報バッファ１２１に格納された格子情報より、その画素が囲まれた４本の格子線分において利用する相対座標を算出する。
関数算出部１２４は、ズーム補間処理部１１４から歪み補正パラメータを受け取り、格子線分上の各分割点の歪み補正座標から区分ｎ次多項式を再構築する。
関数変換部１２５は、関数算出部１２４によって得られた区分ｎ次多項式の係数を、平面補間で利用する関数形式に変換する。
平面補間部１２６は、関数変換部１２５によって得られた平面関数の係数を用いて平面関数を作成し、その関数に代入する座標を正規化部１２３から取得して、指定された画素に対応する歪み補正座標を計算する。そして、算出した歪み補正座標と、正規化部１２３で算出された相対座標とを、補正量パラメータとして画像信号処理部１０４に転送する。
ここで、図９は、補正パラメータデコーダ１１２における処理の流れを示すフローチャートである。
ステップＳ９０１において、初期設定として、補正パラメータエンコーダ２０２から、格子情報を読み込む。読み込んだ格子情報は、格子情報バッファ１２１に格納される。
ステップＳ９０２において、画像信号処理部１０４から、補正対象とする画素の座標が入力され、歪み補正パラメータのデコードが要求される。また、制御マイコン１１１から、このときの光学ズーム機構におけるズーム位置に応じたズーム位置情報が入力される。
ステップＳ９０３において、格子決定部１２２は、入力された座標に基づいて、指定された画素が含まれる格子を決定する。また、格子決定部１２２は、入力された座標とズーム位置情報とを歪み補正メモリ１１３に転送し、必要な歪み補正パラメータの読み出しを要求する。これにより、上述したように、歪み補正メモリ１１３から、ズーム位置に近接する２つのズームポイントに対応する歪み補正パラメータがズーム補間処理部１１４に出力され、ズーム方向に対する補間処理が行われて、補間された歪み補正パラメータが補正パラメータデコーダ１１２に供給される。
ステップＳ９０４において、正規化部１２３は、対象画素の各格子線分の中での相対座標を算出する。
ステップＳ９０５において、関数算出部１２４は、格子を囲む４本の格子線分のうちの１本を選択し、ズーム補間処理部１１４からの歪み補正パラメータから該当する歪み補正座標を選択して、区分ｎ次多項式を再構築する。
ステップＳ９０６において、ステップＳ９０５の処理が、４本すべての格子線分に対して行われているか否かを判定し、行われていない場合はステップＳ９０５に戻り、行われている場合はステップＳ９０７に進む。
ステップＳ９０７において、関数変換部１２５は、得られた区分ｎ次多項式の係数を基に平面関数を導出する。
ステップＳ９０８において、平面補間部１２６は、導出された平面関数に、正規化部１２３で算出された相対座標を代入して、対象画素の歪み補正座標を導出する。そして、相対座標とともに、補正量パラメータとして画像信号処理部１０４に出力する。ここでは、例えば、補正量パラメータの整数部に歪み補正座標、小数部に相対座標を設定する。
以上の処理により、補正対象とされた１画素分の歪み補正座標がデコードされ、歪み補正に必要な補正量パラメータが画像信号処理部１０４に出力される。そして、ステップＳ９０９において、処理の終了要求がない場合には、ステップＳ９０２に戻って、次の画素の座標の入力を待機する。
ここで、図８に戻って説明する。画像信号処理部１０４において、水平一次元補間部１０４ａおよび垂直一次元補間部１０４ｂは、補正パラメータデコーダ１１２の平面補間部１２６からの補正量パラメータに基づいて、入力された画像信号に対してそれぞれｘ方向（水平方向）およびｙ方向（垂直方向）についての一次元補間処理を行って、各方向への歪みを補正する。画像信号処理部１０４では、画像前処理部１０３から出力されたデジタル画像信号を一旦画像メモリ１０５に格納した後、この画像の各画素信号について、まず水平一次元補間部１０４ａにおいてｘ方向の補間処理を行った後、処理済みの信号に対して、垂直一次元補間部１０４ｂにおいてｙ方向の補間処理を行う。
このように、ｘ方向およびｙ方向に対する補間処理を分割して行うことで、各補間処理を処理負荷の軽い一次元補間演算により行うことが可能となる。また、一次元補間処理とされたことで、例えばキュービック補間のような４タップのフィルタ、あるいはより高次タップ数のフィルタを用いることができ、より高画質な画像を得ることが可能となる。
次に、ｘ−ｙ方向とともに、ズーム方向（ｚ方向）に対しても、上記のｎ次多項式を用いた近似による補間演算を行うことで、パラメータのエンコード・デコードを行う場合の処理について、補足説明する。図１０は、ｘ−ｙ−ｚ方向の補間演算にｎ次多項式を用いた場合の歪み補正パラメータについて説明するための図である。
上述したように、ｘ−ｙ方向の補間演算に区分ｎ次多項式を用いた場合には、ｘ方向、ｙ方向の各格子線上の座標に対応する歪み補正座標を区分ｎ次多項式により近似した後、各格子線をｎ分割してその内分点に対応する歪み補正座標を、求められた区分ｎ次多項式から算出していた。このような方法をｚ方向に対して拡張した場合、ｘ−ｙ方向のデータ圧縮で歪み補正パラメータの抽出点とされたすべての各格子点および各内分点について、さらにｚ方向に対して同様なデータ圧縮が行われる。すなわち、補正パラメータエンコーダ２０２は、ズーム位置を跨ぐ２つのズームポジション（図中のＺｏｏｍ０、Ｚｏｏｍ１）でそれぞれ抽出されたすべての格子点の間、および内分点の間で、歪み補正座標の推移を示す関数を区分ｎ次多項式で近似し、格子点間、内分点間をそれぞれｎ分割してその内分点に対応する歪み補正座標を歪み補正パラメータとする。
図１０は、区分２次多項式により近似した場合の歪み補正座標の抽出点を示しており、ズーム位置を跨ぐ２つのズームポジションにそれぞれ対応する格子で囲まれる直方体の範囲では、２４カ所の格子点および内分点に対応する歪み補正座標が、歪み補正パラメータとして出力される。
ズーム補間処理部１１４は、補正対象の座標およびズーム位置が指定されると、これらを囲む上記直方体の範囲に対応する２４カ所の歪み補正座標を歪み補正メモリ１１３から読み出し、選択された２つのズームポイントに対応する各格子上の格子点間および内分点間について、区分２次多項式を再構築する。そして、得られた区分２次多項式にズーム方向の位相係数を適用し、ズーム方向の補間演算を行う。これにより、ズーム位置に対応する格子上の歪み補正座標が算出されて、補正パラメータデコーダ１１２に供給される。補正パラメータデコーダ１１２における処理は、図９で説明した処理を同様である。
以上の処理により、線形補間を用いた場合と比較して、ズーム位置に対してより高精度な歪み補正処理を行うことが可能となる。
なお、この他に例えば、ｚ方向に対してはｎ次多項式を用いた補間演算を行い、ｘ−ｙ方向に対しては線形補間による補間演算を行うことで、パラメータのエンコード・デコードを行うことも可能である。この場合、歪み補正パラメータとして、近似した区分ｎ次多項式の係数を用いることも可能である。
以上の実施の形態では、ズーム位置を区分したズームポイントごとに歪み補正パラメータが生成され、歪み補正メモリ１１３に格納されるので、これらのデータ量が大幅に削減され、歪み補正メモリ１１３のメモリ容量を小さくして、その製造コストや回路規模を削減することが可能となる。そして、なおかつ、ズーム補間処理部１１４におけるズーム方向の補間演算により、実際のズーム位置に対応する歪み補正パラメータが算出されるので、高精度な歪み補正を行うことが可能となる。
また、低コストで、かつデジタル信号処理による高精度な歪み補正が可能となることで、レンズ設計に対する自由度が高くなり、レンズの小型化や低コスト化を容易に実現することが可能になる。
なお、上記の実施の形態では、前処理装置２においてエンコードされた歪み補正パラメータを、あらかじめ撮像装置１内の歪み補正メモリ１１３に格納しておく構成としたが、このような歪み補正メモリ１１３を設けずに、補正パラメータデコーダ１１２からの要求に応じて、前処理装置２においてその都度歪み補正パラメータをエンコードして、ズーム補間処理部１１４に供給するようにしてもよい。このような場合にも、必要となる歪み補正パラメータのデータ量が抑制されるので、前処理装置２における処理負荷を大幅に低減することができ、歪み補正処理に同期して歪み補正パラメータをリアルタイムに読み込むことが可能となる。リアルタイム性が高まることで、静止画像だけでなく、特に動画像に対するより低コストで高精度な歪み補正が実現可能となるメリットが生じる。
また、エンコードされた歪み補正パラメータを、通信Ｉ／Ｆを通じて外部機器からリアルタイムに受信して、歪み補正処理に使用する構成としてもよい。この場合にも、通信されるデータ量が小さくなるので、通信回線への負担が低減される。
さらに、上記の実施の形態では、ｘ−ｙ方向にエンコードされた歪み補正パラメータを取得して、補正パラメータデコーダ１１２においてデコードした後、画像信号処理部１０４に供給して歪み補正を行う構成としたが、ｘ−ｙ方向についてデコードされた状態の歪み補正用データを、外部から受信する、あるいはメモリに保持しておくような構成の場合にも、本発明を適用することが可能である。ただし、この場合には、上記の実施の形態と比較して、用意すべきデータ量や演算量が大きくなり、より大きなメモリ容量あるいは演算能力が必要となる。
〔第２の実施の形態〕
ところで、上記の実施の形態に係る画像撮像システムでは、光学ズームレンズ機構のズームポイントごとに、歪み補正パラメータを用意して、歪み補正メモリ１１３に記憶させていた。このため、従来のシステムと比較すると用意するデータ量が大幅に削減され、メモリ容量を削減できるものの、ある程度のメモリ容量を確保する必要があった。また、これらの歪み補正パラメータが外部から供給されるように構成した場合にも、ある程度の通信容量や、これらの値を算出する演算能力が必要とされていた。従って、必要なメモリ容量や通信容量、演算能力をより低下させ、低コスト化で歪み補正処理のリアルタイム性を確保したいという要求があった。
一方、上記の第１の実施の形態では、ズーム位置に近接する２つのズームポイントに対応する歪み補正パラメータを用いて補間処理を行い、ズーム位置に応じた歪み補正パラメータを算出していた。このため、例えば補間演算に必要な２つのズームポイントに対応する歪み補正パラメータのみを歪み補正メモリ１１３に格納しておき、撮像画像の１フィールドまたは１フレームごとに、必要な歪み補正パラメータを通信により受信し、記憶内容を書き換えることで、歪み補正メモリ１１３の容量を削減することが考えられる。
以下、このような構成により撮像装置に搭載するメモリの容量を削減するとともに、受信する歪み補正パラメータのデータ量を削減した画像撮像システムを、第２の実施の形態として説明する。なお、以下の説明では、第１の実施の形態と同様に、ｚ方向の補間演算として線形補間を用いるものとするが、区分ｎ次多項式等の他の補間方式を用いた場合にも適用することが可能である。また、以下の説明では、例として、１フィールド分の画面ごとに歪み補正処理が行われるものとする。
図１１は、本発明の第２の実施の形態に係る画像撮像システムに設けられる歪み補正メモリ１１３およびズーム補間処理部１１４の内部構成例を示すブロック図である。
本実施の形態に係る画像撮像システムの基本的な構成は、図１に示したものと同様である。ただし、歪み補正メモリ１１３およびズーム補間処理部１１４の内部構成が異なる。また、補正パラメータエンコーダ２０２は、歪み補正メモリ１１３からの要求に応じて、必要な歪み補正パラメータのみを歪み補正メモリ１１３に供給する。
図１１に示すように、歪み補正メモリ１１３は、パラメータ記憶部１３１、アドレス生成器１３２、セレクタ１３３および１３４、レジスタ判定部１３５を具備している。また、ズーム補間処理部１１４は、ズーム補間器１４１および位相演算器１４２を具備している。
歪み補正メモリ１１３において、パラメータ記憶部１３１は、２つのレジスタＲｅｇ０およびＲｅｇ１を具備している。各レジスタＲｅｇ０およびＲｅｇ１には、それぞれ選択されたズームポイントに対応する歪み補正パラメータが格納される。各レジスタＲｅｇ０およびＲｅｇ１は、歪み補正のための画像の格子分割数をｘ方向、ｙ方向のそれぞれについてｍ、ｎとすると、（ｍ＋１）＊（ｎ＋１）個のデータを格納可能な容量を具備している。
アドレス生成器１３２は、補正パラメータデコーダ１１２から供給された、補正対象画素の座標に基づいて、演算に必要な歪み補正パラメータが格納されているメモリアドレスに変換し、読み出しアドレスをパラメータ記憶部１３１に対して指定する。
セレクタ１３３および１３４は、レジスタ判定部１３５からレジスタセレクト信号および書き込み制御信号の入力を受けて、これらに基づいて、補正パラメータエンコーダ２０２から転送された歪み補正パラメータの格納先としてレジスタＲｅｇ０またはＲｅｇ１のいずれかを指定する。
レジスタ判定部１３５は、補正パラメータデコーダ１１２から、ズーム位置情報（ｚ＿ｐｏｓ）、設定値の変更を指示する信号（ＳＥＴ）、データの有効期間を示す信号（ＡＣＴ）の入力を受けるとともに、補正パラメータエンコーダ２０２からズームポイント情報の入力を受けて、１フィールド前において選択していたズームポイントと比較して、現在のズーム位置に応じたズームポイントを選択し、そのズームポイントに対応する歪み補正パラメータの読み出し要求を補正パラメータエンコーダ２０２に出力する。そして、選択したズームポイントや、このときのレジスタＲｅｇ０およびＲｅｇ１の状態に応じて、レジスタセレクト信号および書き込み制御信号を出力する。また、歪み補正パラメータの読み出しを要求する信号（ｒｅａｄ＿ｅｎａｂｌｅ）を補正パラメータデコーダ１１２から受けて、この信号に応じてアドレス生成器１３２にアドレス指定を要求する。さらに、選択したズームポイントを示す情報（ｐｒｅ＿ｕ，ｐｒｅ＿ｄ）と、どちらのレジスタＲｅｇ０およびＲｅｇ１に格納されているかを示す情報（ｕ１ｘ０）とを、位相演算器１４２に出力する。
このような構成により、レジスタ判定部１３５からの読み出し要求に応じて、補正パラメータエンコーダ２０２から所定のズームポイントに対応する歪みパラメータが転送される。そして、レジスタ判定部１３５からのレジスタセレクトおよび書き込み制御信号により、セレクタ１３３および１３４の動作が制御され、書き込み先として選択されたレジスタＲｅｇ０またはＲｅｇ１に対して、歪み補正パラメータが格納される。
また、アドレス生成器１３２は、レジスタ判定部１３５からのアドレス指定要求に応じて、入力された座標に対応する各レジスタＲｅｇ０およびＲｅｇ１内のアドレスをパラメータ記憶部１３１に対して指定する。これにより、座標に対応する歪み補正パラメータが各レジスタＲｅｇ０およびＲｅｇ１から順次読み出され、ズーム補間器１４１に供給される。
一方、ズーム補間処理部１１４において、ズーム補間器１４１は、レジスタＲｅｇ０およびＲｅｇ１から読み出した歪み補正パラメータと、位相演算器１４２によって算出された位相係数とを用いて補間演算を行い、２次元の値にデコードした歪み補正パラメータを補正パラメータデコーダ１１２に出力する。
位相演算器１４２は、レジスタ判定部１３５からの入力情報と、補正パラメータデコーダ１１２からのズーム位置情報とに基づいて、選択されているズームポイント間におけるズーム位置を示す位相係数を演算して、ズーム補間器１４１に出力する。
なお、レジスタ判定部１３５の機能は、歪み補正パラメータの送信元機器（例えば前処理装置２）に設けられてもよい。また、本実施の形態では、歪み補正パラメータを補正パラメータエンコーダ２０２から取得する構成としているが、例えば、あらかじめすべてのズームポイントに対応する歪み補正パラメータが生成されて外部のメモリに保持され、このメモリに撮像装置１からアクセスして取得するようにしてもよい。
ところで、本実施の形態では、歪み補正メモリ１１３においては常に２つのズームポイントに対応する歪み補正パラメータのみ保持しておく。また、光学ズーム機構への操作によりズーム位置が変化した場合にも、保持している歪み補正パラメータの再読み込みおよび書き換えをできるだけ行わないようにすることで、前処理装置２からのデータ転送量を抑制する。具体的には、ズーム位置が変更された場合に、レジスタＲｅｇ０およびＲｅｇ１のうち、いずれか一方の書き換えのみを行うようにする。
このような動作により、ズーム位置の変更時には、常に一方のみのズームポイントが変更されるようになる。このため、隣接していないズームポイントが選択される場合もある。ここで、制御マイコン１１１から、補正パラメータデコーダ１１２を介して供給されるズーム位置情報では、整数部が、そのズーム位置の基準点側（本実施の形態ではワイド端側）に位置するズームポイントを示し、小数部が、隣接するズームポイント（本実施の形態ではテレ端側に隣接するズームポイント）との間の位相係数を示している。従って、レジスタ判定部１３５において実際に選択されたズームポイントが隣接していないものである場合には、ズーム位置情報で指定される位相係数を、実際に選択されたズームポイント間を基準として換算し、ズーム補間器１４１に供給する必要がある。このような換算が、位相演算器１４２において実行される。
以下、図１２を用いて、ズーム位置の変化に伴う歪み補正パラメータの書き換え動作の概要について説明する。図１２は、ズーム位置の変化に応じたズームポイントの選択方法を説明する図である。
ズーム位置の変化に応じたズームポイントの選択は、主に図１２（Ａ）〜（Ｃ）にそれぞれ示す３パターンのズーム位置変化によって異なる方法が採られる。なお、図１２では、各ズームポイントをワイド端側からテレ端側に向かって「Ｚｏｏｍ０」〜「Ｚｏｏｍ４」として示している。また、歪み補正メモリ１１３において各ズームポイントの歪み補正パラメータが格納されるメモリ領域を、それぞれ「Ｒｅｇ０」「Ｒｅｇ１」と表している。
図１２（Ａ）のパターンでは、ズーム位置が「Ｚｏｏｍ１」「Ｚｏｏｍ２」の各ズームポイントの間にある状態から、「Ｚｏｏｍ２」「Ｚｏｏｍ３」の各ズームポイント間に変化した場合を示している。すなわち、ズーム位置の変化前と変化後で、指定されるズームポイントの組み合わせが１区分だけテレ端側にシフトしている。
ここで、ズーム位置の変化前には、「Ｚｏｏｍ１」「Ｚｏｏｍ２」に対応する歪み補正パラメータがそれぞれレジスタＲｅｇ０およびＲｅｇ１に格納されていたものとすると、レジスタＲｅｇ１に格納された歪み補正パラメータは、ズーム位置の変化後にもそのまま利用することができる。従って、レジスタＲｅｇ０に格納された歪み補正パラメータのみを、「Ｚｏｏｍ３」に対応する歪み補正パラメータに書き換えればよい。
しかし、ズーム位置の変化前と変化後とでは、レジスタＲｅｇ０およびＲｅｇ１の間で対応するズームポイントの配列（すなわち、ズーム補間器１４１が受け取る歪み補正パラメータに対応するズームポイントの配列）が逆転するため、ズーム補間器１４１に対して供給する位相係数ｃｏｅｆは、「Ｚｏｏｍ３」を基点としてワイド端側への位置状態を示すように算出されなければならない。
また、図１２（Ｂ）のパターンでは、ズーム位置が「Ｚｏｏｍ１」「Ｚｏｏｍ２」の各ズームポイントの間にある状態から、「Ｚｏｏｍ０」「Ｚｏｏｍ１」の各ズームポイント間に変化した場合を示している。すなわち、ズーム位置の変化前と変化後で、指定されるズームポイントの組み合わせが１区分だけワイド端側にシフトしている。
ここで、ズーム位置の変化前には、「Ｚｏｏｍ１」「Ｚｏｏｍ２」に対応する歪み補正パラメータがそれぞれレジスタＲｅｇ０およびＲｅｇ１に格納されていたものとすると、レジスタＲｅｇ０に格納された歪み補正パラメータは、ズーム位置の変化後にもそのまま利用することができるので、レジスタＲｅｇ１に格納された歪み補正パラメータのみを、「Ｚｏｏｍ０」に対応する歪み補正パラメータに書き換えればよい。なお、この場合にも、レジスタＲｅｇ０およびＲｅｇ１の間でズームポイントの配列が逆転するため、位相係数ｃｏｅｆはテレ端側の「Ｚｏｏｍ１」を基点として換算する必要がある。
これらのパターンのように、ズームポイントの組み合わせが、ズーム位置の変化前と変化後とで１区分だけシフトした場合には、一方の歪み補正パラメータのみ新たに受信することで対応できる。従って、通信データ量を減少させることができる。また、ズーム位置の変化後に、書き換えをしなかったメモリ領域からのデータ読み出しを行っている間に、他方のメモリ領域へのデータ書き換えを行うことで、歪み補正メモリ１１３の書き込み・読み出しに要する時間が短縮されるので、処理のリアルタイム性を保ちやすくなる。
一方、図１２（Ｃ）のパターンでは、ズーム位置が「Ｚｏｏｍ１」「Ｚｏｏｍ２」の各ズームポイントの間にある状態から、「Ｚｏｏｍ３」「Ｚｏｏｍ４」の各ズームポイント間に変化した場合を示している。すなわち、ズーム位置の変化前と変化後で、指定されるズームポイントの組み合わせが２区分以上ワイド端側にシフトしている。
ここで、上記のパターンと同様に、メモリ領域の書き換えを一方のみとすることで、通信データ量を同様に削減する。このために、ズーム位置の移動方向に近い側（図１２（Ｃ）の場合はテレ端側）となる変化前のズームポイント（ここでは「Ｚｏｏｍ２」）を、変化後のズームポイントとしてそのまま利用し、他方のズームポイントに対応するレジスタのみデータの書き換えを行うようにする。図１２（Ｃ）の場合には、「Ｚｏｏｍ２」に対応する歪み補正パラメータが格納されたレジスタＲｅｇ１の書き換えを行わずに、このデータを変化後にもそのまま利用し、レジスタＲｅｇ０に保持された歪み補正パラメータを、「Ｚｏｏｍ４」に対応する歪み補正パラメータに書き換える。
これにより、ズーム補間処理部１１４では、変化後には「Ｚｏｏｍ２」と「Ｚｏｏｍ４」とにそれぞれ対応する歪み補正パラメータを用いて補間演算を行うことになる。このとき、各ズームポイント間のズーム位置の位相係数ｃｏｅｆについては、ズームポイントの配列逆転に伴いテレ端側の「Ｚｏｏｍ４」を基点として、「Ｚｏｏｍ２」と「Ｚｏｏｍ４」との距離の割合を示すように換算し、ズーム補間処理部１１４に供給する必要がある。
次に、図１３は、本実施の形態における歪み補正処理の流れを示すフローチャートである。
ステップＳ１３０１において、歪み補正メモリ１１３における初期設定を行う。ここで、「ｐｒｅ＿ｕ」「ｐｒｅ＿ｄ」は、選択された２つのズームポイントのうち、ズーム位置の基準点から見て遠い側のズームポイント、近い側のズームポイントをそれぞれ示す変数であり、レジスタ判定部１３５が保持する。ここでは、基準点を最もワイド端側のズームポイント（Ｚｏｏｍ０）とし、ワイド端側のズームポイントを「ｐｒｅ＿ｕ」、テレ端側のズームポイントを「ｐｒｅ＿ｄ」とし、初期設定としてそれぞれ「Ｚｏｏｍ１」「Ｚｏｏｍ０」を選択しておく。
また、「ｕ１ｘ０」は、「ｐｒｅ＿ｕ」が格納されているレジスタを示す変数で、レジスタＲｅｇ０、Ｒｅｇ１をそれぞれ「０」「１」として表す。ここでは初期設定としてレジスタＲｅｇ１を設定しておく。なお、「ｐｒｅ＿ｄ」が格納されているレジスタは「〜ｕ１ｘ０」と示すことにする。
そして、選択した「Ｚｏｏｍ０」「Ｚｏｏｍ１」にそれぞれ対応する歪み補正パラメータの読み出しを補正パラメータエンコーダ２０２に要求し、これらを受信してパラメータ記憶部１３１に格納する。ここで、「ａｌｌｓｅｔ［＃］」は、補正パラメータエンコーダ２０２から必要な歪み補正パラメータの読み出しを要求し、歪み補正メモリ１１３に格納する処理を示し、引数「０」「１」により書き込み先のレジスタＲｅｇ０、Ｒｅｇ１がそれぞれ指定される。初期設定では、例として、「Ｚｏｏｍ０」「Ｚｏｏｍ１」に対応する歪み補正パラメータをそれぞれレジスタＲｅｇ０、Ｒｅｇ１に格納しておく。
なお、この時点で、補正パラメータエンコーダ２０２より格子情報およびズームポイント情報が転送され、それぞれ補正パラメータデコーダ１１２、歪み補正メモリ１１３に格納される。
ここで、光学ズーム機構におけるズーム位置の変更があった場合には、補正パラメータデコーダ１１２からの、ズーム位置の変更を示す信号「ＳＥＴ」が１になる。ステップＳ１３０２では、「ＳＥＴ」が１である場合はステップＳ１３０３に進み、変更されたズーム位置に基づいてズームポイントを再設定する処理を行う。設定終了後に再びステップＳ１３０２の判定を行う。
また、「ＳＥＴ」が０である場合は、ステップＳ１３０４に進み、データ有効期間を示す信号「ＡＣＴ」が１である場合はステップＳ１３０５に進み、０である場合はステップＳ１３０２に戻る。なお、通常は、ズーム位置の変更に応じてステップＳ１３０３が実行され、設定終了後に「ＳＥＴ」が０となって、ステップＳ１３０４以後の歪み補正パラメータの補間および歪み補正処理が、次に「ＳＥＴ」が１となるまで繰り返し実行される。
ここで、図１４は、上記のステップＳ１３０３で示したズームポイント設定処理の流れを示すフローチャートである。
図１４のフローチャートの開始時には、制御マイコン１１１から、補正パラメータデコーダ１１２を介して、新たなズーム位置情報「ｚ＿ｐｏｓ」が歪み補正メモリ１１３およびズーム補間処理部１１４に入力される。上述したように、「ｚ＿ｐｏｓ」の整数部により、指定されたズーム位置のワイド端側に近接するズームポイントが指定され、小数部により、そのズームポイントとテレ端側に隣接するズームポイントとの間におけるズーム位置の位相が指定される。
なお、以下の各ステップの処理は、特に記述しない限り、レジスタ判定部１３５によって行われる。
ステップＳ１４０１において、「ｚ＿ｐｏｓ」の値が「ｐｒｅ＿ｕ」より小さく、かつ「ｐｒｅ＿ｄ」より大きい場合、すなわち、「ｚ＿ｐｏｓ」で指定されるズームポイントが、レジスタ判定部１３５により１フィールド前に選択されていた２つのズームポイントの間に存在する場合には、ステップＳ１４０２に進む。そうでない場合はステップＳ１４０６に進む。
ステップＳ１４０２において、「ｚ＿ｐｏｓ」の整数部が「ｐｒｅ＿ｄ」（選択されていたズームポイントのうち、ワイド端側のズームポイント）と一致していない場合はステップＳ１４０３に進み、一致している場合にはステップＳ１４０４に進む。
ステップＳ１４０３において、「ｚ＿ｐｏｓ」で指定されるズームポイントに対応する歪み補正パラメータの読み出しを、補正パラメータエンコーダ２０２に対して要求し、転送されたデータを「ｐｒｅ＿ｄ」が格納されていたレジスタに格納する。そして、「ｐｒｅ＿ｄ」の値を「ｚ＿ｐｏｓ」の整数部に一致させる。すなわち、ワイド端側に選択されていたズームポイントを、ズーム位置情報で指定されたズームポイントに変更する。そして、設定処理を終了する。 一方、ステップＳ１４０４において、「ｚ＿ｐｏｓ」に１を加えた値（「ｚ＿ｐｏｓ」により指定されたズームポイントのテレ端側に隣接するズームポイント）が「ｐｒｅ＿ｕ」と一致しない場合にはステップＳ１４０５に進む。また、一致しない場合は、１フィールド前に選択されていたズームポイントの間に再びズーム位置が設定されたことになり、ズームポイントの選択を変更する必要がないため、設定処理を終了する。
ステップＳ１４０５において、「ｚ＿ｐｏｓ」で指定されるズームポイントに対応する歪み補正パラメータの読み出しを、補正パラメータエンコーダ２０２に対して要求し、転送されたデータを「ｐｒｅ＿ｕ」が格納されていたレジスタに格納する。そして、「ｐｒｅ＿ｕ」の値を、「ｚ＿ｐｏｓ」で指定されたズームポイントのテレ端側に設定し、テレ端側のズームポイントを変更して、処理を終了する。
以上のステップＳ１４０３およびＳ１４０５は、１フィールド前に選択されていたズームポイントが隣接しておらず、かつ、新たなズーム位置がそのズームポイント間の領域に存在した場合の処理となる。なお、ステップＳ１４０４〜Ｓ１４０５の間に、「ｚ＿ｐｏｓ」の位置が「ｐｒｅ＿ｕ」と「ｐｒｅ＿ｄ」のどちらに近いかを判定し、「ｐｒｅ＿ｕ」に近い場合にはステップＳ１４０３の処理を行うようにしてもよい。この場合は、歪み補正の精度をより高めることができる。
また、ステップＳ１４０６以降の処理は、「ｚ＿ｐｏｓ」の位置がそれ以前のズームポイント間の領域外に存在する場合、あるいはいずれかのズームポイントに完全に一致する場合に実行される。ステップＳ１４０６において、「ｚ＿ｐｏｓ」の値が「ｐｒｅ＿ｄ」より小さい場合（すなわち、それ以前のワイド端側のズームポイントよりさらにワイド端側の位置が指定された場合）はステップＳ１４０７に進み、そうでない場合はステップＳ１４０８に進む。
ステップＳ１４０７において、「ｚ＿ｐｏｓ」で指定されるズームポイントに対応する歪み補正パラメータの読み出しを、補正パラメータエンコーダ２０２に対して要求し、転送されたデータを「ｐｒｅ＿ｕ」が格納されていたレジスタに格納する。そして、「ｐｒｅ＿ｕ」が格納されているレジスタをワイド端側のズームポイントに対応するレジスタに設定変更するとともに、「ｐｒｅ＿ｕ」の値を「ｐｒｅ＿ｄ」の値に置換する。すなわち、それ以前に選択していたワイド端側のズームポイントを、テレ端側のズームポイントとする。さらに、そのズームポイントを「ｚ＿ｐｏｓ」の整数値で置換し、設定処理を終了する。これにより、以前にテレ端側として設定されていたレジスタが、新たにワイド端側として設定変更され、これに対応する歪み補正パラメータが格納された状態になる。
一方、ステップＳ１４０８において、「ｚ＿ｐｏｓ」が「ｐｒｅ＿ｄ」に完全に一致し、かつ、「ｐｒｅ＿ｕ」がレジスタＲｅｇ０に格納されている場合は、ステップＳ１４０９に進む。また、そうでない場合はステップＳ１４１０に進む。なお、「ｚ＿ｐｏｓ」が「ｐｒｅ＿ｄ」に完全に一致し、かつ、「ｐｒｅ＿ｕ」がレジスタＲｅｇ１に格納されている場合は、設定を変更する必要がないので、処理を終了する。
ステップＳ１４０９において、レジスタＲｅｇ０およびＲｅｇ１に対して同じ「ｐｒｅ＿ｄ」の値（＝「ｚ＿ｐｏｓ」の値）を格納することにより、位相係数ｃｏｅｆを０にするように操作する。すなわち、「ｚ＿ｐｏｓ」で指定されるズームポイントに対応する歪み補正パラメータの読み出しを、補正パラメータエンコーダ２０２に要求し、転送されたデータをレジスタＲｅｇ０に格納する。これとともに、レジスタＲｅｇ１をテレ端側のズームポイントに対応するデータを格納したレジスタとして設定し、「ｐｒｅ＿ｕ」の値を「ｐｒｅ＿ｄ」に一致させ、設定処理を終了する。
また、ステップＳ１４１０において、「ｚ＿ｐｏｓ」が「ｐｒｅ＿ｕ」に完全に一致する場合はステップＳ１４１１に進み、そうでない場合はステップＳ１４１２に進む。
ステップＳ１４１１では、「ｚ＿ｐｏｓ」で指定されるズームポイントが、以前におけるテレ端側のズームポイントと一致しており、この場合にも、レジスタＲｅｇ０およびＲｅｇ１に対して同じ「ｐｒｅ＿ｄ」の値（＝「ｚ＿ｐｏｓ」の値）を格納して、位相係数ｃｏｅｆを０にするように操作する。すなわち、「ｚ＿ｐｏｓ」で指定されるズームポイントに対応する歪み補正パラメータの読み出しを、補正パラメータエンコーダ２０２に要求し、転送されたデータを、「ｐｒｅ＿ｄ」の対応データが格納されていたレジスタに格納する。これとともに、「ｐｒｅ＿ｕ」の対応データが格納されていたレジスタをワイド端側のズームポイントの対応データを格納したレジスタとして設定し、「ｐｒｅ＿ｄ」の値を「ｚ＿ｐｏｓ」に一致させて、設定処理を終了する。
また、ステップＳ１４１２において、「ｚ＿ｐｏｓ」の値が「ｐｒｅ＿ｕ」より大きい場合（すなわち、それ以前のテレ端側のズームポイントよりさらにテレ端側の位置が指定された場合）はステップＳ１４１３に進む。なお、そうでない場合は設定処理を終了する。
ステップＳ１４１３では、それ以前のテレ端側のズームポイントよりさらにテレ端側のズーム位置が指定された状態となっている。このステップでは、まず、補正パラメータエンコーダ２０２からの新たな歪み補正パラメータの格納先として、テレ端側に対応するように設定されていたレジスタを指定するとともに、ワイド端側およびテレ端側の対応レジスタを逆転させる。そして、「ｐｒｅ＿ｄ」の値を「ｐｒｅ＿ｕ」の値に置換した後、「ｐｒｅ＿ｕ」を、「ｚ＿ｐｏｓ」の整数値に１を加算した値で置換する。これにより、「ｚ＿ｐｏｓ」で指定されるズームポイントのテレ端側が「ｐｒｅ＿ｕ」に設定され、このズームポイントに対応する歪み補正パラメータの読み出しを、補正パラメータエンコーダ２０２に対して要求して、設定処理を終了する。補正パラメータエンコーダ２０２から転送されたデータは、新たにテレ端側に指定されたレジスタに格納される。
以上の処理によって設定された「ｐｒｅ＿ｕ」「ｐｒｅ＿ｄ」「ｕ１ｘ０」の各変数が、位相演算器１４２に出力されて、図１３のフローチャート（ステップＳ１３０２）に戻る。
ここで、図１５および図１６は、ズームポイント設定処理の具体例を示す図である。
図１５（Ａ）および（Ｂ）は、それぞれステップＳ１４０３およびＳ１４０５での処理に対応する例であり、隣接しないズームポイントが選択された状態から、それらのズームポイント間に新たなズーム位置が設定されている。図１５（Ａ）では、テレ端側のズームポイントのみ変更され、図１５（Ｂ）ではワイド端側のズームポイントのみ変更される。
また、図１５（Ｃ）は、ステップＳ１４０７に対応する例であり、以前に選択されていたズームポイント間の領域よりワイド端側に、新たなズーム位置が指定されている。この場合、ワイド端側とされていたズームポイントをテレ端側に変更し、ワイド端側について、「ｚ＿ｐｏｓ」で指定されるズームポイントを新たに設定する。
また、図１６（Ａ）および（Ｂ）は、それぞれステップＳ１４０９、Ｓ１４１１に対応する例であり、新たなズーム位置が、以前にそれぞれワイド端側、テレ端側として選択されていたズームポイントと一致している。これらの場合は、ワイド端側およびテレ端側の双方のズームポイントとして、「ｚ＿ｐｏｓ」で指定されるズーム位置を設定することで、位相係数ｃｏｅｆの値を０にすることができる。
また、図１６（Ｃ）は、ステップＳ１４１３に対応する例であり、以前に選択されていたズームポイント間の領域よりテレ端側に、新たなズーム位置が指定されている。この場合、テレ端側とされていたズームポイントをワイド端側に変更し、テレ端側について、「ｚ＿ｐｏｓ」で指定されるズームポイントよりさらにテレ端側のズームポイントを新たに設定する。
以下、再び図１３を参照して説明する。
「ＳＥＴ」「ＡＣＴ」がともに１である場合は、歪み補正処理が実行されることになる。ステップＳ１３０５において、位相演算器１４２は、レジスタ判定部１３５から供給された各変数を用いて、実際に選択された各ズームポイント間における位相係数ｃｏｅｆを算出する。位相演算器１４２は、ｐｒｅ＿ｕ−ｐｒｅ＿ｄ＝１となるように、ズーム位置情報で指定された位相係数を正規化する。なお、ズームポイントの位置を示す値は整数と仮定している。
ｕ１ｘ０＝１のとき、位相係数ｃｏｅｆは以下の式（６）によって求められる。
ｃｏｅｆ＝（ｚ＿ｐｏｓ−ｐｒｅ＿ｄ）／（ｐｒｅ＿ｕ−ｐｒｅ＿ｄ） ……（６）
また、ｕ１ｘ０＝０のとき、位相係数ｃｏｅｆは以下の式（７）によって求められる。
ｃｏｅｆ＝（ｐｒｅ＿ｕ−ｚ＿ｐｏｓ）／（ｐｒｅ＿ｕ−ｐｒｅ＿ｄ） ……（７）
なお、ｐｒｅ＿ｕ＝ｐｒｅ＿ｄの場合には、位相係数ｃｏｅｆの値を０とする。
このような処理により、レジスタＲｅｇ０およびＲｅｇ１が、それぞれワイド端側、テレ端側のズームポイントに対応するデータを保持している場合は、位相係数ｃｏｅｆはワイド端側のズームポイントを基準として算出される。また、その逆の場合は、位相係数ｃｏｅｆはテレ端側のズームポイントを基準として算出される。すなわち、本実施の形態では、レジスタＲｅｇ０に対応付けられたズームポイントを起点として、レジスタＲｅｇ１に対応付けられたズームポイント側に対する位相係数ｃｏｅｆが常に算出される。
ステップＳ１３０６において、歪み補正パラメータの読み出しを要求する「ｒｅａｄ＿ｅｎａｂｌｅ」が１になった場合にはステップＳ１３０７に進む。また、０である場合はステップＳ１３０９に進む。
ステップＳ１３０７において、アドレス生成器１３２は、レジスタ判定部１３５からの要求に応じて、補正パラメータデコーダ１１２からの座標を取得し、画面の中の位置を検索して、対照する画素を囲む４つの格子点を算出する。そして、これらの格子点の歪み補正パラメータが格納されているアドレスを生成し、レジスタＲｅｇ０およびＲｅｇ１に対して順次指定し、２つのズームポイントに対応する歪み補正パラメータを読み出す。
ステップＳ１３０８において、ズーム補間器１４１は、各レジスタＲｅｇ０およびＲｅｇ１から読み出された歪み補正パラメータを、位相演算器１４２からの位相係数ｃｏｅｆを用いて補間演算する。このとき、ステップＳ１３０５で説明したように、位相係数ｃｏｅｆは、レジスタＲｅｇ０およびＲｅｇ１の間におけるズームポイントの対応付けに応じて、位相の基準方向が正規化されているため、ズーム補間器１４１では、各レジスタＲｅｇ０およびＲｅｇ１へのズームポイントの対応に関係なく、正常な補間演算が行われる。
ズーム補間器１４１によってズーム方向に補間された歪み補正パラメータは、補正パラメータデコーダ１１２に出力される。補正パラメータデコーダ１１２は、受け取った歪み補正パラメータをデコードして画像信号処理部１０４に供給し、これにより対象画素における歪み補正演算が実行される。
ステップＳ１３０９において、上記のステップＳ１３０７およびＳ１３０８の処理が全画素について行われたか否かを判定し、行われていない場合はステップＳ１３０６に戻る。なお、「ｒｅａｄ＿ｅｎａｂｌｅ」が０である間は、１になるまで待機状態となる。
また、１フィールド分の全画素に対する歪み補正が終了すると、ステップＳ１３１０に進む。ここで、処理を終了するか否かを判定し、終了しない場合はステップＳ１３０２に戻り、次のフィールドに対する歪み補正処理の要求、あるいはズーム位置の移動に伴うズームポイントの設定変更の要求を待機する。
なお、実際の処理では、ズームポイント設定処理が終了して、補正パラメータエンコーダ２０２から歪み補正パラメータがレジスタＲｅｇ０またはＲｅｇ１に転送されると、これに並行して、レジスタＲｅｇ０およびＲｅｇ１からのデータ読み出しやズーム方向の補間演算、歪み補正処理が実行されることが望ましい。
以上の第２の実施の形態では、歪み補正処理に利用される２つのズームポイントに対応する歪み補正パラメータのみが、歪み補正メモリ１１３に記憶されるので、歪み補正メモリ１１３のメモリ容量を小さくすることができ、製造コストや設置面積が削減される。これとともに、ズーム位置が変化した場合に、一方のズームポイントのみの選択が変更されるので、このとき１つのズームポイントに対応する歪み補正パラメータのみが補正パラメータエンコーダ２０２から転送される。このため、１フィールド当たりの通信データ量が削減され、通信Ｉ／Ｆや歪み補正メモリ１１３のデバイスとして低コストのものを使用した場合にも、歪み補正処理と同期したリアルタイムのデータ転送を行うことが可能となる。
また、上記構成により、ズームポイントの間隔を短くして、より多くの歪み補正パラメータを補正パラメータエンコーダ２０２において生成可能とした場合にも、転送される１フィールド当たりのデータ量や必要なメモリ容量は変化しないので、ズーム方向のレンズ移動に応じてより高精度な歪み補正を行うことが可能となる。さらに、ズーム位置が変化しても、選択されるズームポイントが変わらない場合には、新たな歪み補正パラメータを取得する必要がないので、データ転送やメモリの書き換えによる消費電力を抑制することが可能となる。
ここで、上記の第２の実施の形態において、ズーム方向の補間演算に区分ｎ次多項式を用いた場合について、補足説明する。
ズーム方向の補間演算に区分ｎ次多項式を用いた場合、補正対象の画素の座標とズーム位置とが指定されたときに歪み補正メモリ１１３に格納すべきデータは、ズーム位置を跨ぐ２つのズームポジションに対応する各格子からエンコードされた歪み補正座標（または区分ｎ次多項式の係数）と、これらのズームポジション間をｎ分割した内分点に対応する格子からエンコードされた歪み補正座標（または区分ｎ次多項式の係数）となる。従って、これらをそれぞれ格納する（ｎ＋１）個のレジスタをパラメータ記憶部１３１に設ければよい。
一例として区分２次多項式を用いた場合、必要なレジスタは３個となる。ここで、ズーム位置が変化した場合には、このうち２つのレジスタの書き換えを行う。具体的には、変化後のズーム位置に近いズームポイントに対応する歪み補正パラメータが格納されていたレジスタの書き込みを禁止する。そして、他のレジスタのうちの一方に、新たに選択されたズームポイントに対応する歪み補正パラメータを格納する。
また、他方のレジスタには、選択された２つのズームポイント間に存在するいずれかの内分点またはズームポイントに対応する歪み補正パラメータを格納する。このとき選択する内分点またはズームポイントは、他の２つのレジスタの格納データに対応するズームポイント間の中間位置に近いものとすることで、歪み補正の精度を上げることができる。
また、このとき選択した内分点またはズームポイントが格納されるレジスタを常に同じにしておくことにより、上記の位相演算器１４２のように、他の２つのレジスタへのデータ格納状態に基づいて、位相係数の算出方向を変えることが可能となる。具体的には、この２つのレジスタのうち、あらかじめ決められた一方のレジスタに対応するズームポイントを常に算出基準として、位相係数を算出するようにする。
以上の処理により、ズーム方向の補間演算に区分ｎ次多項式を用いた場合にも、１フィールド当たりのデータ転送量を削減することが可能となる。ただし、多項式の次数ｎが増加するほど、データ転送量の削減割合は低くなる。
なお、上記の各実施の形態では、撮像装置としてデジタルビデオカメラを想定したが、この他に、デジタルスチルカメラや、撮像機能を具備する携帯型電話機、ＰＤＡ（Personal Digital Assistants）等の情報処理機器を適用することも可能である。また、撮像機能を有していない機器において、すでに撮影済みの画像データを例えば記録媒体から読み出して、あるいは通信により受信して、撮像時のズーム位置情報を基にして歪み補正処理を行う場合にも、本発明を適用可能である。
本発明は、上記のように撮像した画像の歪みを補正する用途以外に、例えば、ディスプレイ装置におけるミスコンバージェンスを補正する用途にも適用することが可能である。この場合、本発明の画像処理装置の機能は例えばディスプレイ装置の内部に設けられ、入力画像信号から生成したＲＧＢ信号に対して、各色について異なる補正データを用いて歪み補正を行うことで、表示画面上の色ずれを解消することができる。また、上記の実施の形態における光学ズーム機構のズーム位置に相当する信号として、ユーザからの入力操作により各色の色ずれの調整量を指定する制御信号が入力される。ここで、調整量としてとり得る範囲を区分して、その区分点（ズームポイントに対応）ごとに歪み補正データを用意しておき、入力された調整量に近接する区分点の歪み補正データを用いて補間演算を行うことで、必要な歪み補正データのデータ量を削減しながら、調整量に応じた高精度な色ずれ補正を行うことが可能となる。
本発明の第１の実施の形態に係る画像撮像システムの構成例を示すブロック図である。 ズーム動作時のレンズ位置と歪み量との関係の例と、レンズ位置の区分点とを示す図である。 補正パラメータエンコーダの内部構成例を示すブロック図である。 補正パラメータエンコーダにおける処理の流れを示すフローチャートである。 歪み補正メモリの内部構成例を示すブロック図である。 ズーム補間処理部における補間処理を説明するための図である。 第１の実施の形態に係る歪み補正メモリおよびズーム補間処理部における処理の流れを示すフローチャートである。 補正パラメータデコーダおよび画像信号処理部の内部構成例を示すブロック図である。 補正パラメータデコーダにおける処理の流れを示すフローチャートである。 ｘ−ｙ−ｚ方向の補間演算にｎ次多項式を用いた場合の歪み補正パラメータについて説明するための図である。 本発明の第２の実施の形態に係る画像撮像システムに設けられる歪み補正メモリおよびズーム補間処理部の内部構成例を示すブロック図である。 ズーム位置の変化に応じたズームポイントの選択方法を説明する図である。 本発明の第２の実施の形態における歪み補正処理の流れを示すフローチャートである。 本発明の第２の実施の形態におけるズームポイント設定処理の流れを示すフローチャートである。 ズームポイント設定処理の具体例を示す第１の図である。 ズームポイント設定処理の具体例を示す第２の図である。 光学歪みを信号処理により補正する機能を具備する従来の画像撮像システムの構成例を示すブロック図である。 ズーム動作時のレンズ位置と歪み量との関係を示すグラフの例である。
符号の説明
１……撮像装置、２……前処理装置、１０１……光学ブロック、１０２……撮像素子、１０３……画像前処理部、１０４……画像信号処理部、１０５……画像メモリ、１０６……表示処理部、１０７……モニタ、１０８……圧縮・伸長処理部、１０９……記録再生部、１１０……記録媒体、１１１……制御マイコン、１１２……補正パラメータデコーダ、１１３……歪み補正メモリ、１１４……ズーム補間処理部、２０１……補正パラメータ導出部、２０２……補正パラメータエンコーダ

Claims (12)

  1. 光学ズーム機構を具備する集光レンズ群を用いて撮像された画像の入力を受けてその画像の歪みを補正する画像処理装置において、
    入力画像の撮像時における前記光学ズーム機構のレンズ位置状態を示すズーム位置を取得するズーム位置取得手段と、
    前記光学ズーム機構におけるレンズ位置状態をワイド端からテレ端までの間でその両端を含み、前記ズーム位置の移動に応じた画像の歪み量の変化が小さい領域では広い間隔で、当該歪み量の変化が大きい領域では狭い間隔で区分したズーム区分点を単位として割り当てられた歪み補正用の補正パラメータを基に、前記ズーム位置取得手段によって取得された前記ズーム位置に対応する補正パラメータを補間演算により算出するズーム方向デコード手段と、
    前記ズーム方向デコード手段により補間演算された補正パラメータを基に前記入力画像の各画素に対応する歪み補正座標をデコードする補正座標デコード手段と、
    前記補正座標デコード手段によってデコードされた歪み補正座標を基にして前記入力画像の歪みを補正する画像補正手段と、
    を有し、
    前記補正パラメータは、前記各ズーム区分点での撮像画像の各画素に対応する歪み補正座標のうち、当該撮像画像を格子状に分割した格子点同士を結ぶ格子線上の歪み補正座標の推移を近似したｎ次多項式（ただし、ｎは自然数）を基に、当該格子線分の両端の歪み補正座標と、当該格子線分をｎ分割して得られる（ｎ−１）の内分点の歪み補正座標とを算出することで生成され、
    前記ズーム方向デコード手段は、前記ズーム位置に基づいて選択された複数の前記ズーム区分点に対応する補正パラメータを取得し、選択された複数の前記ズーム区分点間の各レンズ位置状態に対応する補正パラメータのｎ次多項式を再現し、選択した複数の前記ズーム区分点間における前記ズーム位置の相対位置を、再現した前記ｎ次多項式に適用することで補間演算を行うことを特徴とする画像処理装置。
  2. 前記各ズーム区分点の間隔は、前記ズーム位置をとり得る全領域のうち、中間領域よりもワイド端側の領域の方が狭く設定されていることを特徴とする請求項１記載の画像処理装置。
  3. 前記補正座標デコード手段は、前記ズーム方向デコード手段から取得した、前記格子線分の両端および当該格子線分上の（ｎ−１）の前記内分点の各歪み補正座標を基に、当該格子線分上の歪み補正座標の推移を近似したｎ次多項式を構築し、当該ｎ次多項式を基に前記入力画像の各画素に対応する歪み補正座標をデコードすることを特徴とする請求項１記載の画像処理装置。
  4. 前記ズーム区分点単位の補正パラメータは、前記ズーム位置に基づいて選択された２つの前記ズーム区分点と、選択された前記各ズーム区分点間をｎ分割することで得られる（ｎ−１）の内分点とに対応する補正パラメータからなり、
    前記ズーム方向デコード手段は、前記ズーム位置に基づいて選択した２つの前記ズーム区分点とその間における前記内分点とに対応する補正パラメータより前記ｎ次多項式を再現して、前記ズーム位置に対応する補正パラメータを補間演算により算出することを特徴とする請求項１記載の画像処理装置。
  5. 前記ズーム方向デコード手段による補間演算に必要な補正パラメータを格納する複数の記憶領域を具備するパラメータ記憶手段と、
    前記ズーム位置の変化に応じて前記ズーム方向デコード手段による補間演算に必要な、前記ズーム区分点単位の補正パラメータを選択し、前記ズーム位置が変化したときは、変化後の前記ズーム位置が、変化前で選択されていた補正パラメータに対応する前記ズーム区分点間の領域外に存在する場合に、変化前での選択に対応する前記ズーム区分点のうち、変化後の前記ズーム位置に近い前記ズーム区分点に対応する補正パラメータを継続して選択するとともに、他の補正パラメータのみ新たに選択するパラメータ選択手段と、
    前記パラメータ選択手段によって選択された補正パラメータを格納する前記記憶領域を選択する記憶領域選択手段と、
    前記パラメータ選択手段によって選択された補正パラメータに対応する前記ズーム区分点間における前記ズーム位置の相対位置を位相係数として算出する位相演算手段と、
    をさらに有し、
    前記ズーム方向デコード手段は、前記各記憶領域から読み出した補正パラメータと、前記位相演算手段によって算出された前記位相係数とを基にして補間演算を行うことを特徴とする請求項１記載の画像処理装置。
  6. 前記位相演算手段は、前記パラメータ選択手段によって選択された補正パラメータと、前記記憶領域選択手段による前記記憶領域の選択とに応じて、常に、あらかじめ決められた一つの前記記憶領域に記憶された補正パラメータに対応する前記ズーム区分点を基準とした前記ズーム位置の相対位置を前記位相係数として算出することを特徴とする請求項５記載の画像処理装置。
  7. 前記ズーム区分点単位の補正パラメータは、当該画像処理装置の外部に設けられ、前記ズーム区分点を単位として補正パラメータを割り当てるズーム方向エンコード装置から入力されることを特徴とする請求項１記載の画像処理装置。
  8. 前記ズーム方向デコード手段による補間演算に必要な補正パラメータを格納する複数の記憶領域を具備するパラメータ記憶手段と、
    前記ズーム位置の変化に応じて前記ズーム方向デコード手段による補間演算に必要な前記ズーム区分点単位の補正パラメータを、前記ズーム方向エンコード装置に対して要求するパラメータ要求手段と、
    前記パラメータ要求手段からの要求に応じて前記ズーム方向エンコード装置から入力された補正パラメータを格納する前記記憶領域を選択する記憶領域選択手段と、
    前記パラメータ要求手段によって要求された補正パラメータに対応する前記ズーム区分点間における前記ズーム位置の相対位置を位相係数として算出する位相演算手段と、
    をさらに有し、
    前記ズーム方向デコード手段は、前記各記憶領域から読み出した補正パラメータと、前記位相演算手段によって算出された前記位相係数とを基にして補間演算を行うことを特徴とする請求項７記載の画像処理装置。
  9. 歪み補正後の画像の横方向および縦方向に対して補正パラメータが圧縮されたＸ−Ｙ圧縮パラメータを補間演算により伸長するＸ−Ｙ方向デコード手段をさらに有し、
    前記ズーム方向デコード手段は、前記ズーム区分点を単位として割り当てられたレンズ位置状態ごとの前記Ｘ−Ｙ圧縮パラメータを基に、前記ズーム位置に対応する前記Ｘ−Ｙ圧縮パラメータを補間演算により算出して前記Ｘ−Ｙ方向デコード手段に供給し、
    前記画像補正手段は、前記Ｘ−Ｙ方向デコード手段によって補間演算により伸長された補正パラメータに基づいて歪みの補正を行うことを特徴とする請求項１記載の画像処理装置。
  10. 光学ズーム機構を具備する集光レンズ群を用いて撮像された画像の入力を受けてその画像の歪みを補正する画像処理システムにおいて、
    前記光学ズーム機構におけるレンズ位置状態をワイド端からテレ端までの間でその両端を含み、前記ズーム位置の移動に応じた画像の歪み量の変化が小さい領域では広い間隔で、当該歪み量の変化が大きい領域では狭い間隔で区分したズーム区分点を単位としてレンズ位置状態ごとの歪み補正用の補正パラメータを割り当てるズーム方向エンコード手段、
    を備えたパラメータ出力装置と、
    入力画像の撮像時における前記光学ズーム機構のレンズ位置状態を示すズーム位置を取得するズーム位置取得手段と、
    前記ズーム方向エンコード手段からの前記ズーム区分点単位の補正パラメータを基に、前記ズーム位置取得手段によって取得された前記ズーム位置に対応する補正パラメータを補間演算により算出するズーム方向デコード手段と、
    前記ズーム方向デコード手段により補間演算された補正パラメータを基に前記入力画像の各画素に対応する歪み補正座標をデコードする補正座標デコード手段と、
    前記補正座標デコード手段によってデコードされた歪み補正座標を基にして前記入力画像の歪みを補正する画像補正手段と、
    を備えた画像処理装置と、
    を有し、
    前記補正パラメータは、前記各ズーム区分点での撮像画像の各画素に対応する歪み補正座標のうち、当該撮像画像を格子状に分割した格子点同士を結ぶ格子線上の歪み補正座標の推移を近似したｎ次多項式（ただし、ｎは自然数）を基に、当該格子線分の両端の歪み補正座標と、当該格子線分をｎ分割して得られる（ｎ−１）の内分点の歪み補正座標とを算出することで生成され、
    前記ズーム方向デコード手段は、前記ズーム位置に基づいて選択された複数の前記ズーム区分点に対応する補正パラメータを取得し、選択された複数の前記ズーム区分点間の各レンズ位置状態に対応する補正パラメータのｎ次多項式を再現し、選択した複数の前記ズーム区分点間における前記ズーム位置の相対位置を、再現した前記ｎ次多項式に適用することで補間演算を行うことを特徴とする画像処理システム。
  11. 光学ズーム機構を具備する集光レンズ群を用いて画像を撮像する撮像装置において、
    前記光学ズーム機構のレンズ位置状態を示すズーム位置を検知するズーム位置検知手段と、
    前記光学ズーム機構におけるレンズ位置状態をワイド端からテレ端までの間でその両端を含み、前記ズーム位置の移動に応じた画像の歪み量の変化が小さい領域では広い間隔で、当該歪み量の変化が大きい領域では狭い間隔で区分したズーム区分点を単位として割り当てられた歪み補正用の補正パラメータを基に、前記ズーム位置検知手段によって検知された前記ズーム位置に対応する補正パラメータを補間演算により算出するズーム方向デコード手段と、
    前記ズーム方向デコード手段により補間演算された補正パラメータを基に前記入力画像の各画素に対応する歪み補正座標をデコードする補正座標デコード手段と、
    前記補正座標デコード手段によってデコードされた歪み補正座標を基にして撮像画像の歪みを補正する画像補正手段と、
    を有し、
    前記補正パラメータは、前記各ズーム区分点での撮像画像の各画素に対応する歪み補正座標のうち、当該撮像画像を格子状に分割した格子点同士を結ぶ格子線上の歪み補正座標の推移を近似したｎ次多項式（ただし、ｎは自然数）を基に、当該格子線分の両端の歪み補正座標と、当該格子線分をｎ分割して得られる（ｎ−１）の内分点の歪み補正座標とを算出することで生成され、
    前記ズーム方向デコード手段は、前記ズーム位置に基づいて選択された複数の前記ズーム区分点に対応する補正パラメータを取得し、選択された複数の前記ズーム区分点間の各レンズ位置状態に対応する補正パラメータのｎ次多項式を再現し、選択した複数の前記ズーム区分点間における前記ズーム位置の相対位置を、再現した前記ｎ次多項式に適用することで補間演算を行うことを特徴とする撮像装置。
  12. 光学ズーム機構を具備する集光レンズ群を用いて撮像された画像の入力を受けてその画像の歪みを補正するための画像処理方法において、
    入力画像の撮像時における前記光学ズーム機構のレンズ位置状態を示すズーム位置を取得し、
    前記光学ズーム機構におけるレンズ位置状態をワイド端からテレ端までの間でその両端を含み、前記ズーム位置の移動に応じた画像の歪み量の変化が小さい領域では広い間隔で、当該歪み量の変化が大きい領域では狭い間隔で区分したズーム区分点を単位として割り当てられた歪み補正用の補正パラメータを基に、前記ズーム位置に対応する補正パラメータを補間演算により算出し、
    補間演算された補正パラメータを基に前記入力画像の各画素に対応する歪み補正座標をデコードし、
    デコードされた歪み補正座標を基にして前記入力画像の歪みを補正する、
    処理を含み、
    前記補正パラメータは、前記各ズーム区分点での撮像画像の各画素に対応する歪み補正座標のうち、当該撮像画像を格子状に分割した格子点同士を結ぶ格子線上の歪み補正座標の推移を近似したｎ次多項式（ただし、ｎは自然数）を基に、当該格子線分の両端の歪み補正座標と、当該格子線分をｎ分割して得られる（ｎ−１）の内分点の歪み補正座標とを算出することで生成され、
    補間演算では、前記ズーム位置に基づいて選択された複数の前記ズーム区分点に対応する補正パラメータを取得し、選択された複数の前記ズーム区分点間の各レンズ位置状態に対応する補正パラメータのｎ次多項式を再現し、選択した複数の前記ズーム区分点間における前記ズーム位置の相対位置を、再現した前記ｎ次多項式に適用する処理を行う、
    ことを特徴とする画像処理方法。
JP2008215047A 2008-08-25 2008-08-25 画像処理装置、画像処理システム、撮像装置および画像処理方法 Expired - Fee Related JP4803224B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008215047A JP4803224B2 (ja) 2008-08-25 2008-08-25 画像処理装置、画像処理システム、撮像装置および画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008215047A JP4803224B2 (ja) 2008-08-25 2008-08-25 画像処理装置、画像処理システム、撮像装置および画像処理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2003288109A Division JP4337463B2 (ja) 2003-08-06 2003-08-06 画像処理装置、画像処理システム、撮像装置および画像処理方法

Publications (2)

Publication Number Publication Date
JP2008295097A JP2008295097A (ja) 2008-12-04
JP4803224B2 true JP4803224B2 (ja) 2011-10-26

Family

ID=40169290

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008215047A Expired - Fee Related JP4803224B2 (ja) 2008-08-25 2008-08-25 画像処理装置、画像処理システム、撮像装置および画像処理方法

Country Status (1)

Country Link
JP (1) JP4803224B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101623828B1 (ko) * 2015-03-31 2016-05-24 주식회사 아이디스 연산 속도를 개선한 어안 카메라의 왜곡 영상 보정장치
JP7309482B2 (ja) * 2019-07-03 2023-07-18 キヤノン株式会社 レンズ装置および撮像装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0746610A (ja) * 1993-07-27 1995-02-14 Tochigi Nikon:Kk 画像入力装置
JPH11275391A (ja) * 1998-03-20 1999-10-08 Kyocera Corp ディストーション補正を選択できるディジタル撮像装置
JP2000125175A (ja) * 1998-10-16 2000-04-28 Olympus Optical Co Ltd カメラ、画像処理システム、及び記録媒体
JP2002262174A (ja) * 2001-03-06 2002-09-13 Olympus Optical Co Ltd 電子カメラシステム、電子カメラ及びその画像処理方法
JP2003085542A (ja) * 2001-09-07 2003-03-20 Neucore Technol Inc 画像データ校正方法および装置
JP2003219246A (ja) * 2002-01-23 2003-07-31 Nikon Corp 電子カメラ及び電子カメラシステム

Also Published As

Publication number Publication date
JP2008295097A (ja) 2008-12-04

Similar Documents

Publication Publication Date Title
JP4337463B2 (ja) 画像処理装置、画像処理システム、撮像装置および画像処理方法
KR101035836B1 (ko) 화상 처리 장치, 화상 처리 시스템, 촬상 장치 및 화상처리 방법
JP4144292B2 (ja) 画像処理装置と画像処理システム及び画像処理方法
US7424172B2 (en) Image processing method, image processing apparatus and image pickup apparatus and display apparatus suitable for the application of image processing method
CN100556082C (zh) 拍摄图像的失真校正方法和装置、拍摄方法和拍摄装置
JP4657367B2 (ja) 画像処理装置、撮像装置、および画像歪み補正方法
US20090073277A1 (en) Image processing apparatus, image processing method and image pickup apparatus
CN101662690A (zh) 图像处理设备、成像设备、图像处理方法及程序
US8861846B2 (en) Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image
US11669942B2 (en) Image de-warping system
KR101140953B1 (ko) 영상 왜곡 보정 장치 및 방법
JP2009105533A (ja) 画像処理装置、撮像装置、画像処理方法および撮像画像処理方法
JP4803224B2 (ja) 画像処理装置、画像処理システム、撮像装置および画像処理方法
JP4333270B2 (ja) 画像処理装置、画像処理システム、撮像装置および画像処理方法
JP5811879B2 (ja) 画像処理装置および画像処理方法
JP4285575B2 (ja) 画像処理装置とカメラシステム及び画像処理方法
JP4720626B2 (ja) 画像処理システム、画像処理方法及びプログラム
JP4888306B2 (ja) 画像処理装置および画像処理方法
JP5704057B2 (ja) 画像補正装置および画像補正方法
Nair et al. Recent Trends in Deep Learning Based Omnidirectional Image SuperResolution
JP2009140046A (ja) 画像処理装置および画像データのメモリアクセス方法
JP2008079202A (ja) 画像処理装置および画像処理方法、並びにカメラシステム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110712

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110725

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140819

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees