JP4781229B2

JP4781229B2 - 歪曲収差補正装置、撮像装置、及び歪曲収差補正装置の制御方法

Info

Publication number: JP4781229B2
Application number: JP2006298213A
Authority: JP
Inventors: 貴幸原
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-11-01
Filing date: 2006-11-01
Publication date: 2011-09-28
Anticipated expiration: 2026-11-01
Also published as: CN101175153A; US20080100929A1; CN100579176C; US8098954B2; JP2008118306A

Description

本発明は、光学系の歪曲収差を補正する歪曲収差補正処理装置、撮像装置及び撮像システムに関する。

従来、撮像装置の光学系には歪曲収差があるため、撮像画像の周辺が変形するという問題があった。これに対し、撮像装置の光学系の歪曲収差に応じて、メモリ上の画素を歪曲収差に対応する曲線に沿って読み出すようにアドレス制御することにより、歪曲収差を補正する技術がある（特許文献１を参照）。
特開平６−１９７２６１号公報（段落番号００３９、図３）

しかしながら、特許文献１の技術をバーストアクセス機能を持つメモリ（以下「バーストアクセスメモリ」という。）に適用すると、不連続なアドレスに対するアクセスが頻発し、アドレスの再設定やバーストストップなどの処理が発生しうる。そのため、著しくパフォーマンスが低下するという課題があった。

また、特許文献１の技術をバーストアクセス機能を持たないメモリ（以下「ランダムアクセスメモリ」という。）に適用すると、アクセス速度が低下するという課題があった。

本発明は、上記の問題点に鑑みてなされたものであり、メモリのアクセス速度の低下を抑えつつ、光学系の歪曲収差を補正することを目的とする。

本発明の第１の側面は、入力画像を記憶し、バーストアクセスが可能な第１のメモリと、ランダムアクセスが可能な第２のメモリと、出力画像を構成することになる複数の出力座標から、当該出力画像の一部を構成する矩形領域を構成することになる複数の出力座標を選ぶ出力座標算出手段と、前記出力座標算出手段で選ばれた複数の出力座標それぞれにおける歪曲率を求める歪曲収差算出手段と、前記歪曲率に基づいて、前記選ばれた複数の出力座標それぞれに対応する、前記第１のメモリに記憶された入力画像の座標を求める座標変換手段と、前記第１のメモリに記憶された前記入力画像から第１の矩形領域の画像をバーストアクセスして読み出し、前記第１の矩形領域より幅の短い第２の矩形領域のみの画像を前記第２のメモリに書き込む第１のアドレス制御手段と、前記第１のアドレス制御手段によって前記第２のメモリに書き込まれた画像のうち、前記選ばれた複数の出力座標に対応した前記入力画像の座標にランダムアクセスして、前記選ばれた複数の出力座標に対応する画像を出力する第２のアドレス制御手段と、前記出力画像を構成することになる複数の出力座標から全ての座標が選ばれるまで、前記出力座標算出手段、前記歪曲収差算出手段、前記座標変換手段、前記第１のアドレス制御手段、及び前記第２のアドレス制御手段による処理を繰り返す制御を実行することにより、前記第２のアドレス制御手段で出力した複数の画像から構成される前記出力画像を生成する出力制御手段と、を有し、前記第２の矩形領域は、前記座標変換手段で求められた座標全てを包含し、前記第１の矩形領域の幅は、前記第１のメモリのバーストレングスの整数倍であることを特徴とする歪曲収差補正装置に関する。

本発明の第２の側面は、光学系と、前記光学系を通過した光を受け、電気信号へ変換する光電変換素子と、入力画像を記憶し、バーストアクセスが可能な第１のメモリと、ランダムアクセスが可能な第２のメモリと、出力画像を構成することになる複数の出力座標から、当該出力画像の一部を構成する矩形領域を構成することになる複数の出力座標を選ぶ出力座標算出手段と、前記光学系の歪曲収差データに基づいて、前記出力座標算出手段で選ばれた複数の出力座標それぞれにおける歪曲率を求める歪曲収差算出手段と、前記歪曲率に基づいて、前記選ばれた複数の出力座標それぞれに対応する、前記第１のメモリに記憶された入力画像の座標を求める座標変換手段と、前記第１のメモリに記憶された前記入力画像から第１の矩形領域の画像をバーストアクセスして読み出し、前記第１の矩形領域より幅の短い第２の矩形領域のみの画像を前記第２のメモリに書き込む第１のアドレス制御手段と、前記第１のアドレス制御手段によって前記第２のメモリに書き込まれた画像のうち、前記選ばれた複数の出力座標に対応した前記入力画像の座標にランダムアクセスして、前記選ばれた複数の出力座標に対応する画像を出力する第２のアドレス制御手段と、前記出力画像を構成することになる複数の出力座標から全ての座標が選ばれるまで、前記出力座標算出手段、前記歪曲収差算出手段、前記座標変換手段、前記第１のアドレス制御手段、及び前記第２のアドレス制御手段による処理を繰り返す制御を実行することにより、前記第２のアドレス制御手段で出力した複数の画像から構成される前記出力画像を生成する出力制御手段と、を有し、前記第２の矩形領域は、前記座標変換手段で求められた座標全てを包含し、前記第１の矩形領域の幅は、前記第１のメモリのバーストレングスの整数倍であることを特徴とする撮像装置に関する。

本発明の第３の側面は、入力画像を記憶し、バーストアクセスが可能な第１のメモリと、ランダムアクセスが可能な第２のメモリと、を有する歪曲収差補正装置の制御方法であって、出力画像を構成することになる複数の出力座標から、当該出力画像の一部を構成する矩形領域を構成することになる複数の出力座標を選ぶ出力座標算出工程と、前記出力座標算出工程で選ばれた複数の出力座標それぞれにおける歪曲率を求める歪曲収差算出工程と、前記歪曲率に基づいて、前記選ばれた複数の出力座標それぞれに対応する、前記第１のメモリに記憶された入力画像の座標を求める座標変換工程と、前記第１のメモリに記憶された前記入力画像から第１の矩形領域の画像をバーストアクセスして読み出し、前記第１の矩形領域より幅の短い第２の矩形領域のみの画像を前記第２のメモリに書き込む第１のアドレス制御工程と、前記第１のアドレス制御工程によって前記第２のメモリに書き込まれた画像のうち、前記選ばれた複数の出力座標に対応した前記入力画像の座標にランダムアクセスして、前記選ばれた複数の出力座標に対応する画像を出力する第２のアドレス制御工程と、前記出力画像を構成することになる複数の出力座標から全ての座標が選ばれるまで、前記出力座標算出工程、前記歪曲収差算出工程、前記座標変換工程、前記第１のアドレス制御工程、及び前記第２のアドレス制御工程による処理を繰り返す制御を実行することにより、前記第２のアドレス制御工程で出力した複数の画像から構成される前記出力画像を生成する出力制御工程と、を有し、前記第２の矩形領域は、前記座標変換工程で求められた座標全てを包含し、前記第１の矩形領域の幅は、前記第１のメモリのバーストレングスの整数倍であることを特徴とする制御方法に関する。

本発明によれば、メモリのアクセス速度の低下を抑えつつ、光学系の歪曲収差を補正することができる。

以下、本発明の好適な実施の形態を図を参照しながら詳細に説明する。本発明の好適な実施の形態では、補正対象の画像を格納するバーストアクセスメモリ領域よりも小さいランダムアクセスメモリ領域を用いる。バーストアクセスメモリ領域から補正対象の画像の一部を複数画素で構成される領域単位で読み出し、ランダムアクセスメモリ領域へ転送し、ランダムアクセスメモリ領域に対してランダムアクセスすることにより、補正対象の画像に対して歪曲収差の補正を行う。ランダムアクセスメモリ領域へ転送する際に、バーストアクセスメモリ領域から読み出す上記領域は、バーストアクセスが可能な幅であり、アドレスインクリメントで読み出せるアドレスが指定される。

［第１の実施形態］
図１は、本発明の好適な第１の実施形態に係る撮像システムの概略構成を示すブロック図である。本実施形態に係る撮像システムは、レンズ系１と、撮像装置とを備える。撮像装置は、光電変換素子２と、Ａ／Ｄ変換器３と、ＤＲＡＭ４と、ＳＲＡＭ５と、歪曲収差補正処理装置１４とを備える。歪曲収差補正処理装置１４は、歪曲収差算出回路６と、座標変換回路７と、第１のアドレス制御回路８と、第２のアドレス変換回路９と、出力座標算出回路１０とを備える。

レンズ系１は、光学系として機能する。このレンズ系１は、少なくとも１枚のレンズで構成され、被写体側からの光を集光する。光電変換素子２は、レンズ系１を通過した光を電気信号に光電変換する。Ａ／Ｄ変換器３は、光電変換素子２により光電変換された電気信号をデジタル信号へ変換する。ＤＲＡＭ４は、バーストアクセスメモリとして機能し、Ａ／Ｄ変換器３から出力されたデジタル信号を入力画像として記憶する。ここで、バーストアクセスとは、メモリ内の第1の位置から第2の位置までライン状に（所定の順番で）順次信号を読み出す場合に、始点（最初に読み出す信号が格納されている領域の位置）と長さ（最初に読み出す信号が格納されている領域から、読み出しが終了する領域までのワード数）を指定することによって行うアクセス方法である。

出力座標算出回路１０は、出力部１２の出力座標を求める出力座標算出回路である。歪曲収差算出回路６は、予め取得したレンズ系１の歪曲収差データに基づいて、出力座標算出回路１０で求めた出力座標における歪曲率を求める。座標変換回路７は、出力座標算出回路１０で求めた出力座標を歪曲率に応じた入力座標へ変換する。

出力画像１１は、図２に示すように、格子状に分割された単位１３（以下「出力分割単位」という。）で出力部１２に出力される。第１のアドレス制御回路８は、後述するように出力分割単位１３を包含する入力画像上の矩形領域のＤＲＡＭ４上におけるアドレスを求める。第２のアドレス制御回路９は、ＳＲＡＭ５へ読み出された矩形領域上の出力座標に対応するＳＲＡＭ５上の座標を求める。

歪曲収差算出回路６、座標変換回路７及び第１のアドレス制御回路８は、ＤＲＡＭ４上に１フレーム分の入力画像が格納された時点で、ＤＲＡＭ４上の入力画像の一部をＳＲＡＭ５へ転送する。座標変換回路７及び第２のアドレス制御回路９は、ＳＲＡＭ５への転送が完了した時点で、出力分割単位１３内の全画素についてアドレス変換を実行し、ＳＲＡＭ５上の画素値を出力部１２に出力する。

図３は、上記歪曲率の算出方法を説明するための図である。図３（ａ）は、出力座標３１と入力座標３２との関係を示した図である。入力座標３２は、レンズ系１の歪曲収差により歪曲している。点Ｏは、入力画像の光軸の位置に対応する。点Ｐは、出力座標３１上に位置する。点Ｐ’は、点Ｐに対応する入力座標３２上の点である。ｈは、点Ｐにおける像高である。ｈ’は、点Ｐ’における像高である。なお、点Ｐ’は、下記の数式１により求められる。

…（数式１）
図３（ｂ）は、像高ｈにおける歪曲率Ｄ（ｈ）を示す式である。出力画像の全て画素における歪曲率を保持すると膨大な量になるが、出力画像の一部の画素における歪曲率を保持し、その間を補間することにより、保持するデータ量を低減できる。以下、その一例として具体例を示す。

図４は、樽型の歪曲収差における像高に応じた歪曲率を示す図である。横軸は像高ｈを示し、縦軸は像高ｈにおける歪曲率Ｄ（ｈ）を示す。図４では、ｈ１、ｈ２、ｈ３及びｈ４の４点の歪曲率を保持している。この４点以外の像高における歪曲率は補間により求めることができる。例えば、図４の像高ｈ０は、ｈ１とｈ２の歪曲率を用いて、補間により求めることができる。なお、図４では、４点における歪曲率を保持したが、保持する点の数はこれに限定されない。

以上のようにして、出力座標３１に対応する入力座標３２を求めることができる。以下、出力座標３１に対応する入力座標３２を求めることを「座標変換」という。

座標変換は、図５に示すように、出力分割単位１３ごとに行われる。まず、図５（ａ）に示すように、出力分割単位１３の四隅ａ、ｂ、ｃ、ｄを、予め取得したレンズ系１の歪曲収差データに基づいた座標変換により、入力座標ａ’、ｂ’、ｃ’、ｄ’に変換する。そして、入力座標ａ’、ｂ’、ｃ’、ｄ’を包含する最小の矩形領域を求め、その四隅をａ”、ｂ”、ｃ”、ｄ”とする。

図５（ｂ）は、図５（ａ）に示すａ”、ｂ”、ｃ”、ｄ”、ａ’、ｄ’をＳＲＡＭ５上の座標で表した図を示す。ａ_（ｓ）”、ｂ_（ｓ）”、ｃ_（ｓ）”、ｄ_（ｓ）”、ａ_（ｓ）’、ｄ_（ｓ）’は、それぞれａ”、ｂ”、ｃ”、ｄ”、ａ’、ｄ’に対応する。ａ_（ｓ）”、ｂ_（ｓ）”、ｃ_（ｓ）”、ｄ_（ｓ）”で囲まれた領域は、ＳＲＡＭ５における読み出し領域に対応する。そのため、ａ_（ｓ）”、ｂ_（ｓ）”、ｃ_（ｓ）”、ｄ_（ｓ）”で囲まれる領域が、ＳＲＡＭの最大容量を超えないように、出力分割単位１３の大きさを設定することが好ましい。

図５（ｃ）は、図５（ｂ）に示すａ_（ｓ）”、ｂ_（ｓ）”、ｃ_（ｓ）”、ｄ_（ｓ）”、ａ_（ｓ）’、ｄ_（ｓ）’をＤＲＡＭ４上の座標で表した図を示す。ａ_（ｄ）”、ｂ_（ｄ）”、ｃ_（ｄ）”、ｄ_（ｄ）”、ａ_（ｄ）’、ｄ_（ｄ）’は、それぞれａ_（ｓ）”、ｂ_（ｓ）”、ｃ_（ｓ）”、ｄ_（ｓ）”、ａ_（ｓ）’、ｄ_（ｓ）’に対応する。左上の座標ａ_（ｄ） ”をＤＲＡＭ４の読出し開始アドレス（以下「ＤＲＡＭ読出し開始アドレス」という。）とし、ａ_（ｓ）”、ｂ_（ｓ）”、ｃ_（ｓ）”、ｄ_（ｓ）”、ａ_（ｓ）’、ｄ_（ｓ）’を含む矩形領域の幅ｌをバーストレングスＢＬの整数倍ｎＢＬ（ｎは１以上の整数）に変更する。その結果、矩形領域は列方向に延びて、ａ_（ｄ）”、ｃ_（ｄ）”、ｅ_（ｄ）、ｆ_（ｄ）となる。

例えば、バーストレングスＢＬ＝２、４、８が利用可能なＤＲＡＭ４を採用し、ＤＲＡＭ４の１アドレスに１画素の情報を記録できるとする。この場合、矩形領域の幅ｌはバーストレングス最小値である２の倍数になるように変更される。矩形領域の幅ｌにある画素数を２進数であらわした場合の各桁をＬＳＢからｂ０、ｂ１、ｂ２・・・とする。すると、２の倍数となるため、ｂ０は０に固定、ｂ１はＢＬ＝２を利用する回数（１又は０）、ｂ２はＢＬ＝４を利用する回数（１又は０）、ｂ３以上はＢＬ＝８を利用する回数（０以上）となる。

図５（ｃ）に示すＤＲＡＭ４では、ＤＲＡＭ読出し領域ａ_（ｄ）”、ｃ_（ｄ）”、ｅ_（ｄ）、ｆ_（ｄ）において読み出しが行われる。そして、図５（ｂ）に示すＳＲＡＭ５に対し、ａ_（ｓ）”、ｃ_（ｓ）”、ｂ_（ｓ）”、ｄ_（ｓ）”における書き込みが行われ、ＳＲＡＭ５から出力画素が読み出される。すなわち、ＳＲＡＭ５には、ＤＲＡＭ４におけるａ_（ｄ）”、ｃ_（ｄ）”、ｂ _（ｄ） ”、ｄ _（ｄ） ”の領域を書き込むが、ｂ _（ｄ） ”、ｄ _（ｄ） ”、ｅ _（ｄ）、ｆ _（ｄ）の領域を書き込まない。座標変換は、ＤＲＡＭ４上の座標位置を求めるために行われるが、ＳＲＡＭ５上の矩形画像の左上に対応するＤＲＡＭ４上の座標ａ_（ｄ）”を保持しておくことにより、ＤＲＡＭ４上の座標をＳＲＡＭ５上の座標に変換することもできる。

ＤＲＡＭ４及びＳＲＡＭ５に画像を格納する処理を、図６を用いて説明する。図６（ａ）は、ＤＲＡＭ４上での読み出し動作を示す図であり、図６（ｂ）は、ＳＲＡＭ５上での読み出し動作を示す図である。

図６（ａ）に示すように、ＤＲＡＭ４では、バーストレングスＢＬの整数倍の幅を持つ矩形領域ａ、ｂ、ｃ…ｎ単位で、レンズ系１の歪曲収差に沿ってバーストアクセスにより読み出しを行う。例えば、出力画像１１上に出力したい領域として、ＳＲＡＭ５上で矩形領域ａ’を選び、矩形領域ａ’に対応するＤＲＡＭ４上の読出し位置として、歪曲収差データから矩形領域ａが決まる。そして、ＤＲＡＭ４の矩形領域ａをＳＲＡＭ５へ書き込む。そして、ＳＲＡＭ５からの出力は、図６（ｂ）に示すように、画素単位でレンズ系１の歪曲収差に対応する曲線に沿ってランダムアクセスにより行う。ＳＲＡＭ５では、画素単位で読み出しを行うため、ＤＲＡＭ４よりも読み出しが細かく、レンズ系１の歪曲収差に対応する曲線に沿って読み出しを行う。図６（ｃ）に示すように、ＳＲＡＭ５から矩形領域ａ’の出力が終了したら、次の出力画像１１上に出力したい領域として矩形領域ｂ’を選ぶ。この矩形領域ｂ’に対応するＤＲＡＭ４上の読出し位置として、歪曲収差データから矩形領域ｂが決まる。そして、ＤＲＡＭ４の矩形領域ｂをＳＲＡＭ５へ書き込む。この矩形領域ｂをＳＲＡＭ５から出力し終えたら、次の出力画像１１上に出力したい領域として矩形領域ｃ’を選ぶ。この矩形領域ｃ’に対応するＤＲＡＭ４上の読出し位置として、歪曲収差データから矩形領域ｃが決まる。そして、ＤＲＡＭ４の矩形領域ｃをＳＲＡＭ５へ書き込む。

以後、同様にしてＤＲＡＭ４からＳＲＡＭ５へ書き出し、及びＳＲＡＭ５からの出力を実行する。

図７は、本実施形態に係る撮像装置及び撮像システムの制御フローを示すブロック図である。出力画像１１の出力分割単位１３毎に歪曲収差補正処理を実行する。

ステップＳ１では、第１のアドレス制御回路８は、出力分割単位１３の四隅に対応する入力座標を求める。

ステップＳ２では、第１のアドレス制御回路８は、ステップＳ１で求めた入力座標上の４点を包含する矩形を求める。

ステップＳ３では、第１のアドレス制御回路８は、ステップＳ２で求めた矩形の幅がＤＲＡＭ４のバーストレングスの整数倍ではない場合、その幅をバーストレングスの整数倍に変更する。

ステップＳ４では、第１のアドレス制御回路８は、ステップＳ２で求めた矩形の左上座標に対応するＤＲＡＭ４上のアドレスを算出する。

ステップＳ５では、ＤＲＡＭ４は、ステップＳ４で求められたＤＲＡＭ４上のアドレスにおいてバースト転送により読み出しを行い、ＳＲＡＭ５へ転送する。

ステップＳ６以降は、ステップＳ５で転送されたＳＲＡＭ５上の部分画像についての処理となる。

ステップＳ６では、第２のアドレス制御回路９は、出力分割単位１３の座標に対応するＳＲＡＭ５上の座標を求める。

ステップＳ７では、ＳＲＡＭ５は、ステップＳ６で求めたＤＲＡＭ４上の座標をＳＲＡＭ５上のアドレスに変換して読み出す。このとき、必要に応じて周辺画素からの補間を行う。

ステップＳ８では、ＳＲＡＭ５は、ステップＳ７で読み出した画素値を出力する。

ステップＳ９では、出力分割単位１３内の全画素を処理するまでステップＳ６以降の処理を繰り返す。

ステップＳ１０では、出力画像１１の全ての出力分割単位１３を処理するまで、ステップＳ１以降を繰り返し、歪曲収差補正を実行する。

本実施形態によれば、ＤＲＡＭではバーストアクセスにより読み出しを行うため、アドレス再設定の発生回数は、ランダムアクセスを用いるよりも少ない。また、ＳＲＡＭではランダムアクセスにより読み出しを行うため、光学系の歪曲収差を細かく補正できる。

［第２の実施形態］
図８は、本発明の好適な第２の実施形態に係る撮像システムの概略構成を示すブロック図である。座標変換部分やＤＲＡＭ４の読出しに関する部分は、第１の実施形態と同様であるが、第１のＳＲＡＭ５ａと第２のＳＲＡＭ５ｂの２バンクのＳＲＡＭを持つことが第１の実施形態と相違する。

本実施形態では、第１のＳＲＡＭ５ａを読み出して第１の出力分割単位を出力している間は、第２の出力分割単位に対応するＤＲＡＭ４上の矩形領域を読み出して、第２のＳＲＡＭ５ｂへ記録する。第２のＳＲＡＭ５ｂを読み出して第２の出力分割単位を出力している間は、第３の出力分割単位に対応するＤＲＡＭ４上の矩形領域を読み出して、第１のＳＲＡＭ５ａへ記録する。第２の実施形態によれば、第１の実施形態の構成に比べて、待ち時間が少なくなる。

第２の実施形態の場合も、図６に示すようにバーストアクセスによりＤＲＡＭ４から読み出し、ランダムアクセスによりＳＲＡＭ５から読み出す。

図９は、第２の実施形態における読み出し動作及び書き込み動作のタイミング図である。まず、ＤＲＡＭ４では、出力画像１１上に出力したい領域として、ＳＲＡＭ５上で矩形領域ａ’を選び、矩形領域ａ’に対応するＤＲＡＭ４上の読出し位置として、歪曲収差データから矩形領域ａが決まる。そして、ＤＲＡＭ４の矩形領域ａを第１のＳＲＡＭ５ａへ書き込む。第１のＳＲＡＭ５ａへの書き込みが終了したら、次の出力画像１１上に出力したい領域として矩形領域ｂ’を選ぶ。この矩形領域ｂ’に対応するＤＲＡＭ４上の読出し位置として、歪曲収差データから矩形領域ｂが決まる。そして、ＤＲＡＭ４の矩形領域ｂを第２のＳＲＡＭ５ｂへ書き込む。ＤＲＡＭ４の矩形領域ｂを第２のＳＲＡＭ５ｂへ書き込んでいる間に、第１のＳＲＡＭ５ａから矩形領域ａ’を出力部１２に出力する。ＤＲＡＭ４から矩形領域ｂを書き込む処理と、矩形領域ａ’を出力部１２に出力する処理の両方が終わった段階で、次の出力画像１１上の出力したい領域として矩形領域ｃ’を選ぶ。矩形領域ｃ’に対応するＤＲＡＭ４上の読出し位置として、歪曲収差データから矩形領域ｃが決まる。そして、ＤＲＡＭ４の矩形領域ｃを第１のＳＲＡＭ５ａへ書き込む。そして、ＤＲＡＭ４から矩形領域ｃを書き込んでいる間に、第２のＳＲＡＭ５ｂから矩形領域ｂ’を出力部１２に出力する。

以後、同様にしてＤＲＡＭ４から第１のＳＲＡＭ５ａ及び第２のＳＲＡＭ５ｂへ書き込みと、ＳＲＡＭ５からの出力とを実行する。このように、一方のＳＲＡＭでＤＲＡＭから書き出しを行っている間に、他方のＳＲＡＭで出力を行うことにより、処理待ちに費やす時間を最小限に抑えることができる。

［第３の実施形態］
図１０は、本発明の好適な第３の実施形態に係る撮像システムの概略構成を示すブロック図である。レンズ系以外の構成は、第２の実施形態と同様である。レンズ系１を構成する複数枚のレンズにはズームレンズ８１が含まれ、ズームエンコーダ８２を搭載する。歪曲収差算出回路６は、複数のズーム位置における図１１に示すような歪曲率を保持している。図１１において、歪曲率Ｄ（ｈ、ｘ）は、像高ｈとズーム位置ｘにより求められる。図４と同様に、中間のズーム位置又は像高においては、前後の歪曲収差データのあるズーム位置の歪曲収差データから補間により、歪曲率を求めることができる。

［第４の実施形態］
図１２は、本発明の好適な第４の実施形態に係る撮像システムの概略構成を示すブロック図である。本実施形態では、概略的には、第２の実施形態と同様の構成を有するが、メモリカード１２０１に記録された画像（歪みがわかっているレンズで撮像された画像が、光電変換素子・Ａ／Ｄ変換器を介して得られた画像データが記録されてる）に対して歪曲収差補正処理を実行する点で相違する。本実施形態では、メモリカード１２０１上に記録された画像と、メモリカード１２０１上に記録された画像の歪曲収差データとをＤＲＡＭ４へ読み出し、歪曲収差を含む画像に対して、第２の実施形態と同様の歪曲収差補正処理を実施する。

なお、上述した第１〜第４の実施形態において、バーストアクセスメモリの一例としてＤＲＡＭを用い、ランダムアクセスメモリの一例としてＳＲＡＭを用いた。しかしながら、これらは本発明の好適な実施形態の一例に過ぎない。したがって、本発明はこれらに限定されず、他のメモリを用いてもよい。

また、上述した第１〜第４の実施形態において、バーストアクセスメモリとランダムアクセスメモリとを、別々のメモリで実現したが、これも本発明の好適な実施形態の一例に過ぎない。したがって、本発明はこれに限定されず、例えば、１つのメモリ内をバーストアクセス用の第１のメモリ領域と、ランダムアクセス用の第２のメモリ領域と、に分けて用いてもよい。

符号の説明

１光学系
４ＤＲＡＭ
５ＳＲＡＭ
８第１のアドレス制御回路
９第２のアドレス制御回路
１２出力部
１４歪曲収差補正処理装置

本発明の好適な第１の実施形態に係る撮像システムの概略構成を示すブロック図である。格子状に分割された出力画像を示す図である。歪曲率の算出方法を説明するための図である。樽型の歪曲収差における像高に応じた歪曲率を示す図である。出力画像、ＤＲＡＭ、ＳＲＡＭにおける読み出し領域を示す図である。ＤＲＡＭ及びＳＲＡＭに画像を格納する処理を示す図である。本実施形態に係る撮像装置及び撮像システムの制御フローを示すブロック図である。本発明の好適な第２の実施形態に係る撮像システムの概略構成を示すブロック図である。第２の実施形態における読み出し動作及び書き込み動作のタイミング図である。本発明の好適な第３の実施形態に係る撮像システムの概略構成を示すブロック図である。ズーム位置及び像高に応じた歪曲率を示す図である。本発明の好適な第４の実施形態に係る撮像システムの概略構成を示すブロック図である。

Claims

入力画像を記憶し、バーストアクセスが可能な第１のメモリと、
ランダムアクセスが可能な第２のメモリと、
出力画像を構成することになる複数の出力座標から、当該出力画像の一部を構成する矩形領域を構成することになる複数の出力座標を選ぶ出力座標算出手段と、
前記出力座標算出手段で選ばれた複数の出力座標それぞれにおける歪曲率を求める歪曲収差算出手段と、
前記歪曲率に基づいて、前記選ばれた複数の出力座標それぞれに対応する、前記第１のメモリに記憶された入力画像の座標を求める座標変換手段と、
前記第１のメモリに記憶された前記入力画像から第１の矩形領域の画像をバーストアクセスして読み出し、前記第１の矩形領域より幅の短い第２の矩形領域のみの画像を前記第２のメモリに書き込む第１のアドレス制御手段と、
前記第１のアドレス制御手段によって前記第２のメモリに書き込まれた画像のうち、前記選ばれた複数の出力座標に対応した前記入力画像の座標にランダムアクセスして、前記選ばれた複数の出力座標に対応する画像を出力する第２のアドレス制御手段と、
前記出力画像を構成することになる複数の出力座標から全ての座標が選ばれるまで、前記出力座標算出手段、前記歪曲収差算出手段、前記座標変換手段、前記第１のアドレス制御手段、及び前記第２のアドレス制御手段による処理を繰り返す制御を実行することにより、前記第２のアドレス制御手段で出力した複数の画像から構成される前記出力画像を生成する出力制御手段と、
を有し、
前記第２の矩形領域は、前記座標変換手段で求められた座標全てを包含し、
前記第１の矩形領域の幅は、前記第１のメモリのバーストレングスの整数倍であることを特徴とする歪曲収差補正装置。
ランダムアクセスが可能な第３のメモリを更に有し、
前記繰り返す制御の際に、
前記第２のアドレス制御手段による前記第２のメモリからの前記出力の実行時に、前記第１のアドレス制御手段は、前記書き込むことを前記第２のメモリの代わりに前記第３のメモリに対して実行し、
前記第１のアドレス制御手段による前記第２のメモリに対する前記書き込むことの実行時に、前記第２のアドレス制御手段は、前記第２のメモリの代わりに前記第３のメモリからの前記出力を実行する
ことを特徴とする請求項１に記載の歪曲収差補正装置。
光学系と、
前記光学系を通過した光を受け、電気信号へ変換する光電変換素子と、
入力画像を記憶し、バーストアクセスが可能な第１のメモリと、
ランダムアクセスが可能な第２のメモリと、
出力画像を構成することになる複数の出力座標から、当該出力画像の一部を構成する矩形領域を構成することになる複数の出力座標を選ぶ出力座標算出手段と、
前記光学系の歪曲収差データに基づいて、前記出力座標算出手段で選ばれた複数の出力座標それぞれにおける歪曲率を求める歪曲収差算出手段と、
前記歪曲率に基づいて、前記選ばれた複数の出力座標それぞれに対応する、前記第１のメモリに記憶された入力画像の座標を求める座標変換手段と、
前記第１のメモリに記憶された前記入力画像から第１の矩形領域の画像をバーストアクセスして読み出し、前記第１の矩形領域より幅の短い第２の矩形領域のみの画像を前記第２のメモリに書き込む第１のアドレス制御手段と、
前記第１のアドレス制御手段によって前記第２のメモリに書き込まれた画像のうち、前記選ばれた複数の出力座標に対応した前記入力画像の座標にランダムアクセスして、前記選ばれた複数の出力座標に対応する画像を出力する第２のアドレス制御手段と、
前記出力画像を構成することになる複数の出力座標から全ての座標が選ばれるまで、前記出力座標算出手段、前記歪曲収差算出手段、前記座標変換手段、前記第１のアドレス制御手段、及び前記第２のアドレス制御手段による処理を繰り返す制御を実行することにより、前記第２のアドレス制御手段で出力した複数の画像から構成される前記出力画像を生成する出力制御手段と、
を有し、
前記第２の矩形領域は、前記座標変換手段で求められた座標全てを包含し、
前記第１の矩形領域の幅は、前記第１のメモリのバーストレングスの整数倍であることを特徴とする撮像装置。
入力画像を記憶し、バーストアクセスが可能な第１のメモリと、ランダムアクセスが可能な第２のメモリと、を有する歪曲収差補正装置の制御方法であって、
出力画像を構成することになる複数の出力座標から、当該出力画像の一部を構成する矩形領域を構成することになる複数の出力座標を選ぶ出力座標算出工程と、
前記出力座標算出工程で選ばれた複数の出力座標それぞれにおける歪曲率を求める歪曲収差算出工程と、
前記歪曲率に基づいて、前記選ばれた複数の出力座標それぞれに対応する、前記第１のメモリに記憶された入力画像の座標を求める座標変換工程と、
前記第１のメモリに記憶された前記入力画像から第１の矩形領域の画像をバーストアクセスして読み出し、前記第１の矩形領域より幅の短い第２の矩形領域のみの画像を前記第２のメモリに書き込む第１のアドレス制御工程と、
前記第１のアドレス制御工程によって前記第２のメモリに書き込まれた画像のうち、前記選ばれた複数の出力座標に対応した前記入力画像の座標にランダムアクセスして、前記選ばれた複数の出力座標に対応する画像を出力する第２のアドレス制御工程と、前記出力画像を構成することになる複数の出力座標から全ての座標が選ばれるまで、前記出力座標算出工程、前記歪曲収差算出工程、前記座標変換工程、前記第１のアドレス制御工程、及び前記第２のアドレス制御工程による処理を繰り返す制御を実行することにより、前記第２のアドレス制御工程で出力した複数の画像から構成される前記出力画像を生成する出力制御工程と、
を有し、
前記第２の矩形領域は、前記座標変換工程で求められた座標全てを包含し、
前記第１の矩形領域の幅は、前記第１のメモリのバーストレングスの整数倍であることを特徴とする制御方法。