JP5676233B2 - 画像処理装置、画像処理方法、及び撮像装置 - Google Patents

Description

本発明は、光学系の歪曲収差を補正する、画像処理装置、画像処理方法、及び撮像装置に関する。

一般的に、監視カメラ、カムコーダ、デジタルスチルカメラなどにより撮像された画像には、光学系の歪曲収差の影響により歪みが生じる。これは画像の中心部と周辺部とで結像倍率が異なることが原因で、例えば正方格子画像を撮像した場合に、周辺に向かって結像倍率が小さくなると、図９（Ａ）に示すような「樽型歪み」が生じ、周辺に向かって結像倍率が大きくなると、図９（Ｂ）に示すような「糸巻き型歪み」が生じる。

「樽型歪み」または「糸巻き型歪み」はいずれの場合も、垂直方向の歪み量が最大となるのは、画像の先頭、または最終ラインにおいてである。図１０に示すように、歪み補正の処理は、着目点に対応する原画像の座標（補正対象ラインＬＬｘ上の対応点の座標）を求め、その対応点の周辺画素で補間を行うことにより行う。

また、画像処理によって歪曲収差を補正する手法としては、下記のアルゴリズムがよく用いられる。

ｈ_ｄ＝ｈ_ｕ＋（ｈ_ｕ−ｈ_０）×（ｋ１×ｒ^２＋ｋ２×ｒ^４）・・・式（１）
ｖ_ｄ＝ｖ_ｕ＋（ｖ_ｕ−ｖ_０）×（ｋ１×ｒ^２＋ｋ２×ｒ^４）・・・式（２）

ここで、図１１に示すように、符号（ｈ_０，ｖ_０）は歪み中心の座標、符号（ｈ_ｕ，ｖ_ｕ）は着目点の座標、符号ｒは歪み中心から着目点までの距離であり、パラメータｋ１，ｋ２を使用して、着目点に対応する原画像の座標（ｈ_ｄ，ｖ_ｄ）を求めることが出来る。ラインＬＬｘ上の対応点の座標（ｈ_ｄ，ｖ_ｄ）は、演算により求めても良いが、例えば、着目点の中心からの距離ｒに応じた補正値をあらかじめ格納したルックアップテーブルを使用して求めても良い。この処理を、後述する図１２に示す画像歪み補正部２０Ａにおいて行う。

ところで、歪曲収差を補正する方法としては、図１２に示す構成の撮像装置２のように、画像データを一旦フレームメモリ１５に格納して、歪み補正処理を行うものがある。図１２に示す撮像装置２では、レンズ１１を介して得られた被写体の光学像を撮像素子１２に結像させ、この撮像素子に結像された画像をアナログ信号として順次取り出し、そのアナログ信号をＡ／Ｄ変換器１３によりデジタル信号に変換して信号処理部１４に入力する。そして、撮像装置２は、信号処理部１４から出力される画像データをフレームメモリ１５に一時保管し、その後、画像歪み補正部２０Ａにより、フレームメモリ１５に一時保管されたデータに対して歪み補正処理し、その処理された画像データをフレームメモリ１５に再び格納する。この撮像装置２では、画像データをブロックに分割して処理を行うことで、補正時に必要となるメモリ容量を少なく抑えることができるが、フレームメモリ１５へのデータの読み書きのため、システムバス１６へのアクセス回数が増えるのが難点である。

このため画像データをフレームメモリに書き込む前にリアルタイムに歪み補正処理を行う、すなわち、画像データに対してオンザフライで歪み補正を行う構成の撮像装置が提案されている。例えば、図１３に示す構成の撮像装置３のように、信号処理部１４から出力される画像データに対して、画像歪み補正部２０Ｂにより、リアルタイムに歪み補正処理を行い、この歪み補正された画像データをフレームメモリ１５に格納する。この種の装置は、システムバス１６へのアクセスを増やすことなく実装が可能であるが、少なくとも、垂直方向の最大歪み量に応じたライン数分のメモリ（ラインメモリ）が必要である。このため、撮像素子の高画素化が進むと、必要となるメモリ容量も増えて行く。

なお、関連する画像補正装置がある（特許文献１を参照）。この特許文献１に記載の画像補正装置は、光学系に起因する歪曲収差をリアルタイムに且つ高精度に補正することを目的とする。この画像補正装置は、変換係数記憶部に格納した変換係数γと、主メモリに格納した画素データとを基に、画像データの水平方向と垂直方向との歪みを補正する。
また、関連する半導体集積回路装置がある（特許文献２を参照）。この特許文献２に記載の半導体集積回路装置は、カメラから取り込まれた画像を、低コストにかつ高精度にリアルタイムで歪み補正処理し、なめらかな画像として描画することを目的とする。この半導体集積回路装置では、カメラから取り込まれた画像は、フレームメモリに格納された後、描画処理部によって画像補正処理が実行される。

また、関連する画像歪み補正装置がある（特許文献３を参照）。この特許文献３に記載の画像歪み補正部装置は、コストを抑えつつ画像歪みをリアルタイムで適切に補正することを目的とする。この画像歪み補正部は、画素の輝度成分Ｙに対しては線形近似補間処理を行い、色差成分Ｕ，Ｖに対しては最近傍補間処理を行うことにより補間処理を簡素化し、画像歪みをリアルタイムで適切に補正する。
また、関連する画像処理装置がある（特許文献４を参照）。この特許文献４に記載の画像処理装置は、低コストで画像の歪みを補正し、高品質な画像をリアルタイムに生成することを目的とする。この画像処理装置では、画素点における水平方向の補正量を示す水平補正パラメータを用いて原画像に対し補間演算を施し、水平方向の補正により得られた画像に対し、垂直補正パラメータを用いた補間演算を施す。

特開２００２−２６８６２４号公報 特開２００８−１１７３６９号公報 特開２００８−２８７４３１号公報 特開２００８−０９２６０２号公報

前述のように、画像データをフレームメモリに書き込む前にオンザフライで歪み補正を行う構成の撮像装置は、システムバスへのアクセス回数を増やすことがない利点があり、さらに、この歪み補正処理を、ハードウェア（ソフトウェアによるプログラム処理に対比する意味でのハードウェア）で処理することにより、ＣＰＵへの負担の軽減を図ることができる。

上記特許文献１に記載の画像補正装置や、特許文献２に記載の半導体集積回路装置では、フレームメモリから画像データを読み出して、歪み補正を行うのでシステムバスへのアクセス回数が増える。また、特許文献３に記載の画像歪み補正装置における歪み補正処理は、ソフトウェア処理により行われ、ＣＰＵの負担が増大する。また、特許文献４に記載の画像処理装置では、オンザフライで歪み補正処理が行われるが、垂直方向の最大歪み量に応じたライン数分のラインメモリが必要であり、撮像素子の高画素化が進むと、必要となるメモリ容量も増えてしまうという問題がある。

本発明は、斯かる実情に鑑みなされたものであり、本発明の主たる目的は、画像データの歪み補正処理をオンザフライで行う際に必要となるラインメモリのメモリ容量を低減できる、画像処理装置、画像処理方法、及び撮像装置を提供することにある。

上記課題を解決するために、本発明は、レンズを介して撮像された原画像データの内、所定の水平ライン数分の画像データを、水平方向に垂直に分割して保持するラインメモリと、前記分割された画像データが保持される前記ラインメモリのそれぞれのメモリ領域ごとに、歪み補正対象となる原画像データに対して歪み補正処理を行う画像歪み補正部と、
を備えることを特徴とする画像処理装置である。

この構成により、画像処理装置は、撮像された原画像データから所定のライン数分（垂直方向の所定のライン数分）の画像データをラインメモリに順次に取り込み、このラインメモリに取り込んだ原画像データの中の補正対象となる画像データに対して歪み補正処理を行う。すなわち、画像処理装置は、原画像データをフレームメモリに書き込む前にオンザフライで歪み補正処理を行う。また、画像処理装置は、画像データをラインメモリに保持する際には、この画像データを水平方向に垂直に分割して保持する。そして、画像処理装置は、分割された画像データが保持されるラインメモリのそれぞれのメモリ領域ごとに歪み補正処理を行う。

この発明によれば、画像処理装置は、所定の水平ライン数分の原画像データを、水平方向に垂直に分割してラインメモリに保持し、この分割された画像データが保持されるそれぞれのメモリ領域ごとに、保持された画像データに対して歪み補正処理を行う。そのため、このそれぞれのメモリ領域において、歪み補正処理に使用されない分割された水平ラインの画像データが生じ、この使用されない画像データはラインメモリに保持しておく必要がないため、メモリ領域を削減できる。これにより、画像データの歪み補正処理をオンザフライで行う際に必要となるラインメモリのメモリ容量を低減できる。

本発明の実施形態に係わる撮像装置の構成を示すブロック図である。 画像分割の例を示す図である。 画像歪み補正部の構成を示すブロック図である。 歪み補正処理の手順について説明するための図である。 ラインメモリのメモリ容量の低減について説明するための図である。 原画像のある１ラインが着目点の２ラインに対応する例について説明するための図である。 ２ライン処理の例を示す図である。 ２ライン処理に対応するデータ補間部の構成を示すブロック図である。 「樽型歪み」及び「糸巻き型歪み」について説明するための図である。 歪み補正の方法について説明するための図である。 歪み補正の処理のアルゴリズムについて説明するための図である。 フレームメモリに保管された画像データに対して歪み補正処理を行う撮像装置の構成を示す図である。 オンザフライで歪み補正処理を行う撮像装置の構成を示す図である。

以下、本発明の実施の形態を添付図面を参照して説明する。
なお、以下の説明において「原画像」とは、光学歪みを有するレンズを介して撮像された画像（歪み補正前の画像）を意味し、「原画像データ」は原画像の画像データを意味する。また、「画像」または「画像データ」と呼ぶ場合に、「原画像」または「原画像データ」であることを明示した方がよい場合は、そのように呼ぶ。また、着目点とは、液晶（ＬＣＤ）表示パネル等の表示画上の所定の画素の位置（座標）を意味し、この着目点は、図１０に示すように、表示画面上の水平方向のライン上に位置する。また、対応点とは、歪み補正により着目点を補間するために使用される原画像上の画素の位置（座標）を意味し、この対応点は、図１０に示すように、原画像データ中の補正対象ラインＬＬｘ上に位置する。

［撮像装置１の構成についての説明］
図１は、本発明の実施形態に係わる撮像装置１の構成を示すブロック図である。この撮像装置１は、例えば、監視カメラ等であり、本発明に直接関係する要部のみを示したものである。図１に示す撮像装置１は、被写体（図示せず）の光学像を集光するレンズ１１と、レンズ１１により集光されて得られた被写体の光学像を光電変換するＣＣＤ等で構成される撮像素子１２と、撮像素子１２から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器１３と、所定の画像処理パラメータに従って画像処理（例えば、ＲＧＢ信号からＹＣ信号を生成する処理）を行う信号処理部１４と、信号処理部１４から出力される画像データに対してオンザフライで歪み補正処理を行う画像処理装置１Ａと、画像処理装置１Ａにより歪み補正処理された画像データをシステムバス１６を通して格納するフレームメモリ１５と、を有する。また、撮像装置１は、表示部１７を有し、この表示部１７の表示画面１７Ａ上に歪み補正され画像が表示される。

また、撮像装置１内の画像処理装置１Ａは、撮像された原画像データに対して歪み補正処理を行う装置であり、この画像処理装置１Ａは、画像歪み補正部２０と、この画像歪み補正部２０内に含まれるラインメモリ２２とで構成される。この画像歪み補正部２０の構成については後述する。

なお、図１に示す撮像装置１は、制御プログラムに基づいて所定の制御を実行するＣＰＵと、操作者が装置本体を操作するためのボタン等を備えた操作部と、制御プログラムや画像処理用のパラメータを格納するＥＥＰＲＯＭ等（いずれも図示せず）を備えている。

このように、図１に示す撮像装置１では、被写体の光学像を撮像素子１２に結像させ、この撮像素子に結像された光学像をアナログ信号として順次取り出し、そのアナログ信号をＡ／Ｄ変換器１３によりデジタル信号に変換し、信号処理部１４に入力する。画像処理装置１Ａの画像歪み補正部２０は、信号処理部１４から入力した原画像の画像データに対してオンザフライで歪み補正処理を行い、この歪み補正処理した画像データをフレームメモリ１５に格納する。なお、画像歪み補正部２０は、ＣＰＵの負荷を軽減するために専用のハードウェアとして実装される。

［画像処理装置１Ａの構成と動作についての説明］
本実施形態の画像処理装置１Ａ（「画像歪み補正部２０」とも呼ぶ）では、図２（Ａ）に示すように原画像を水平方向Ｈに垂直に３つの領域（エリア１、エリア２、エリア３）に分割して歪み補正処理を行うことを特徴としている。すなわち、画像処理装置１Ａは、原画像における水平ラインの画像データの水平方向の幅を３つに分割して歪み補正処理を行う。この、原画像を水平方向に垂直に分割して、分割した領域（エリア）ごとに歪み補正処理を行うことにより、画像処理装置１Ａにおいては、ラインメモリ２２のメモリ容量を低減し、さらには、歪み補正処理のパフォーマンス（歪み補正処理の効率）を向上させている。

前述したように、「樽型歪み」、または「糸巻き型歪み」（図９を参照）のいずれの場合も、垂直方向の歪み量が最大となるのは、画像の先頭、または最終ラインにおいてであり、少なくともこの最大歪み量に応じたライン数分のラインメモリが必要とされる。しかし、画像上部、及び下部においては、歪み補正に使用されない領域がある。画像上部、及び下部において、歪み補正に使用されない領域は「樽型歪み」の場合は水平方向の周辺部であり、「糸巻き型歪み」の場合は水平方向の中央部である。
従って、画像処理装置１Ａにおいては、画像を水平方向に垂直に分割することにより、この分割された領域において歪み補正に使用されない領域のライン数に対応して、ラインメモリ２２のメモリ領域を削減できる。これにより、画像処理装置１Ａにおいては、画像データの歪み補正処理をオンザフライで行う際に必要となるラインメモリ２２のメモリ容量を低減できる。

例えば、画像歪み補正部２０では、図２（Ｂ）に示すように、補正対象となる原画像のラインＬＬｘ（より正確にはラインＬＬｘ上の原画像データ）の最大歪み量に応じた垂直方向Ｖのライン数分（Ｌ０〜Ｌｎ）の画像データをラインメモリ２２に保持する。また、画像歪み補正部２０では、画像の水平方向Ｈへの分割に対応して、原画像のラインＬＬｘを３つの領域（エリア１、エリア２、エリア３）に分割してラインメモリ２２に格納する。

そして、画像歪み補正部２０では、それぞれの領域（エリア１、エリア２、エリア３）に歪み補正処理に必要な原画像データ（ラインＬＬｘ）が格納されると、当該原画像データ（ラインＬＬｘ）が格納された領域において歪み補正処理を開始する。

なお、図２に示す水平方向Ｈにおける画像分割の例では、エリア１とエリア２とエリア３のそれぞれの水平方向の幅が、概略１：２：１の比となるように設定されているが、これに限定されず、所望の比率とすることができる。また、画像分割数は、３分割に限らず５分割、７分割等、所望の分割数とすることができる。また、図２に示す画像分割において隣り合う領域同士が一部オーバラップするように分割することもできる。

図３は、画像を水平方向に垂直に３分割して処理を行う場合の、画像歪み補正部２０の構成を示すブロック図である。図３に示す画像歪み補正部２０の入力は、前段の信号処理部１４から出力されるＹＣ信号である。画像歪み補正部２０では、入力データ制御部２１により、信号処理部１４から入力される原画像データを、水平方向に垂直に分割された領域（エリア１、エリア２、エリア３）ごとにラインメモリ２２に格納する。

出力データ制御部２４は、各領域（エリア１、エリア２、エリア３）ごとに、着目点のラインに対応する原画像の対応点の周辺画素データ（図２（Ｂ）に示す原画像のラインＬＬｘの周辺画像データ）を含むライン全てが格納されたかどうかを確認し、格納済みであれば、各領域（エリア１、エリア２、エリア３）ごとに歪み補正処理を行う。この歪み補正処理においては、着目点に対応する原画像の対応点の座標を求め、その対応点の周辺画素をラインメモリ２２から読み出し、データ補間部２３で補間を行うことにより、画像歪みを補正する。対応点の座標は、前述したように、式（１）及び（２）を用いて（図１１を参照）演算により求めても良いが、例えば、歪み中心から着目点までの距離ｒに応じた補正値をあらかじめ格納したルックアップテーブルを使用して求めても良い。
なお、対応点の周辺画素をラインメモリ２２から読み出し、データ補間部２３で補間を行う際の補間アルゴリズムは、最近傍法（Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ）でもよいし、線形補間法（Ｂｉｌｉｎｅａｒ）でもよいし、３次補間法（Ｂｉｃｕｂｉｃ）でもよい。

図４は、画像処理装置１Ａにおける歪み補正処理の手順について説明するための図である。図４（Ａ）に示すように、画像歪み補正部２０では、１ライン（ＬＬｘ）分の対応点の画素データ、すなわち、先頭のラインＬ０からＬ２（着目点ａ１及びａ２に対応する対応点ｂ１及びｂ２のライン位置）までの原画像データを、各領域（エリア１、エリア２、エリア３）に分割してラインメモリ２２に格納することにより、１ライン（ＬＬｘ）分の画像データに対して歪み補正処理を行う。

この場合に、画面の先頭のラインＬ０からラインＬ１までの原画像データがラインメモリ２２に取り込まれると、３分割された中央のエリア２´内に、歪み補正処理の対象となる補正対象ラインＬＬｘが含まれることになる。この時点で、エリア２´内の補正対象ラインＬＬｘについて、歪み補正処理を開始する。

その後、ラインＬ１からラインＬ２までの画像データがラインメモリ２２に取り込まれると、エリア１´及びエリア３´内に、歪み補正処理の対象となる補正対象ラインＬＬｘが含まれることになる。この時点で、エリア１´及びエリア３´内の補正対象ラインＬＬｘについて、歪み補正処理を開始する。

一方、特許文献４に記載の画像処理装置の場合は、図４（Ｂ）に示すように、ラインＬ０からラインＬ２までの原画像データの全てをラインメモリ２２に取り込んだ後に、補正対象ラインＬＬｘについての歪み補正処理を開始する。

このように、ラインＬ０〜Ｌ２までの原画像データをラインメモリ２２に分割して格納する場合、図５（Ａ）に示すように、補正対象ラインＬＬｘの歪み補正処理に必要な領域は、エリア１´、エリア２´、及びエリア３´であり、領域Ａ１、領域Ａ２、及び領域Ａ３は使用されず不要である。このため、この領域Ａ１、領域Ａ２、及び領域Ａ３の分のメモリ容量をラインメモリ２２から削減することができる。
一方、従来の場合は、図５（Ｂ）に示すように、ラインＬ０からラインＬ２までの画像データに対応するメモリ容量が必要となる。今後、撮像素子の高画素化が進むと、オンザフライで補正を行う場合に必要となるラインメモリ容量も増えていくが、本発明の画像処理装置１Ａでは画像を水平方向に垂直に分割して歪み補正処理を行うことにより、ラインメモリ２２のメモリ容量を低減することができる。

さらには、前述の図４で説明したように、ラインメモリ２２への画像データの取り込みの最中に、すなわち、中央のエリア２´に歪み補正処理の対象となる補正対象ラインＬＬｘが格納されると、この中央のエリア２´において直ちに歪み補正処理を開始することができる。また、エリア２´における歪み補正処理が完了した後は、次の補正対象ラインＬＬｘの読み込みを開始することができる。このため、歪み補正処理におけるパフォーマンスを大幅に向上させることができる。

一方、従来の場合は、図４（Ｂ）に示すように、ラインＬ０からラインＬ２までの原画像データの全てをラインメモリ２２に取り込んだ後に、補正対象ラインＬＬｘについての歪み補正処理を開始しており、本実施形態の画像処理装置１Ａに比べて、歪み補正処理のパフォーマンスが低い。

（２ライン処理に対応するデータ補間部２３の構成の説明）
ところで、通常、「樽型歪み」の場合、４隅を拡大するよう補正を行い、「糸巻き型歪み」の場合、４辺の中心部を拡大するよう補正を行うが、例えば、図６の表に示すように、原画像（対応点の画像）のある１ラインが着目点の２ライン分に対応する状況が不連続に発生することがある。

図６に示す表は、例えば、着目点（ｈ_ｕ，ｖ_ｕ）を、図４に示す左端の点ａ１（ｈ_ｕ＝０，ｖ_ｕ＝０）から１ラインずつ垂直方向に移動させた場合の、対応点（ｈ_ｄ，ｖ_ｄ）の位置を示す表である。この表に示すように、破線Ｖｄ１で囲んだ対応点の垂直座標の整数部は、同じ数値「ｖ_ｄ＝５７」となる。同様に、破線Ｖｄ２で囲んだ対応点の垂直座標の整数部は、同じ数値「ｖ_ｄ＝７１」となる。このため、２つの着目点（ｈ_ｕ，ｖ_ｕ）に対して、同一ライン上の対応点（ｈ_ｄ，ｖ_ｄ）による補間処理（２ライン処理）が行われることがある。

図７は、２ライン処理が、３分割（水平方向の幅を１：１：１の比で分割）した全ての領域（エリア１、エリア２、エリア３）で同時に発生する場合の例を示すシーケンスである。図７に示す例では、エリア１、エリア２、及びエリア３において、この順番に補正対象の原画像データが読み込まれ、かつ、２つの領域の原画像データに対して同時に補間処理を行う例を示している。なお、図７のシーケンスにおける２ライン処理のサイクルでは、対応点の１ラインにより、着目点の２ライン分の補間処理が行われるが、この場合に、１番目の着目点のラインに対して行われる補間処理を「補間処理１」で示し、２番目の着目点のラインに対して行われる補間処理を「補間処理２」で示す。
この図に示すように、補間処理の同期信号Ｃ（補間指令信号）の立ち上がりに同期して、時刻ｔ０において、エリア１内の原画像データ（対応点の１ライン分の画像データ）が読みこまれた後、このエリア１の原画像データ（対応点の１ライン分の画像データ）により、１番目の着目点のラインに対する補間処理１が開始され、この補間処理１は時刻ｔ１の前に終了される。また、時刻ｔ１において、２番目の着目点のラインに対する補間処理２が開始され、この補間処理２は、時刻ｔ２の前に終了される。

また、時刻ｔ１において、エリア２内の原画像データ（対応点の１ライン分の画像データ）が読みこまれた後、このエリア２の原画像データ（対応点の１ライン分の画像データ）により、１番目の着目点のラインに対する補間処理１が開始され、この補間処理１は時刻ｔ２の前に終了される。また、時刻ｔ２において、２番目の着目点のラインに対する補間処理２が開始され、この補間処理２は、時刻ｔ３の前に終了される。なお、このエリア２に対する補間処理１は、エリア１に対する補間処理２と並列に行われる。

同様にして、時刻ｔ２において、エリア３内の原画像データ（対応点の１ライン分の画像データ）が読みこまれた後、このエリア３の原画像データ（対応点の１ライン分の画像データ）により、１番目の着目点のラインに対する補間処理１が開始され、この補間処理１は、時刻ｔ３の前に終了される。また、時刻ｔ３において、２番目の着目点のラインに対する補間処理２が開始され、この補間処理２が実行されて終了することにより、２ライン処理のサイクルが完了する。なお、このエリア３に対する補間処理１は、エリア２に対する補間処理２と並列に行われる。

その後、次の補間処理の同期信号Ｃの立ち上がりに同期して、時刻ｔ４から、補間処理のサイクルが再び開始されるが、この例では、対応点の１ラインにより、１ライン分の着目点の補間処理（１ライン処理）のみが行われる。
図７に示すように、時刻ｔ４において、エリア１の原画像データ（１ライン分の対応点の画像データ）が読み込まれた後、このエリア１の原画像データ（対応点の１ライン分の画像データ）により、１ライン分の着目点の画像データの補間処理１が開始され、この補間処理１は、時刻ｔ５の前に終了する。また、時刻ｔ５において、エリア２の原画像データ（１ライン分の対応点の画像データ）が読み込まれた後、このエリア２の原画像データ（対応点の１ライン分の画像データ）により、１ライン分の着目点の画像データの補間処理１が開始され、この補間処理１は時刻ｔ６の前に終了される。また、時刻ｔ６において、エリア３の原画像データ（１ライン分の対応点の画像データ）が読み込まれた後、このエリア３の原画像データ（対応点の１ライン分の画像データ）により、１ライン分の着目点の画像データの補間処理１が開始される。そして、このエリア３における補間処理１が実行されて終了することにより、１ライン処理のサイクルが完了する。

図７に示したように、２ライン処理が行われる場合は、時刻ｔ１において開始されるエリア１に対する補間処理２と、同じく時刻ｔ１において開始されるエリア２に対する補間処理１とが並列に行われる。このため、データ補間部２３では、２ライン処理を並行に行う機能を備える必要がある。

図８は、２ライン処理に対応するデータ補間部の構成を示すブロック図であり、２ライン処理を並行に行うことができるデータ補間部２３の例である。この図８に示すデータ補間部２３は、補間回路Ａ１１１及び補間回路Ｂ１１２の２セット持つことで２ライン処理に対応する。図に示すように、ラインメモリ２２に格納された各エリア１、エリア２、及びエリア３内の原画像データのそれぞれが、マルチプレクサ１０１及び１０２に入力される。

マルチプレクサ１０１は、ラインメモリ２２内のエリア１、エリア２、またはエリア３のいずれかの領域を選択し、この選択した領域の原画像データを補間回路１１１に出力する。同様に、マルチプレクサ１０２は、ラインメモリ２２内のエリア１、エリア２、またはエリア３のいずれかの領域を選択し、この選択した領域の原画像データを補間回路１１２に出力する。また、補間回路１１１及び補間回路１１２から出力される歪み補正された画像データのそれぞれが、マルチプレクサ１２１、１２２及び１２３に入力される。

マルチプレクサ１２１は、補間回路１１１、１１２から出力される信号（歪み補正処理された画像データ）からエリア１に対応する歪み補正された画像データを選択してバスインタフェース２５に出力し、マルチプレクサ１２２は、補間回路１１１、１１２から出力される信号（歪み補正処理された画像データ）からエリア２に対応する歪み補正された画像データを選択してバスインタフェース２５に出力する。また、マルチプレクサ１２３は、補間回路１１１、１１２から出力される信号（歪み補正処理された画像データ）からエリア３に対応する歪み補正された画像データを選択してバスインタフェース２５に出力する。バスインタフェース２５に入力された画像データは、このバスインタフェース２５においてバス調停（アービトレーション）され、バス調停された画像データは、システムバス１６に出力されてフレームメモリ１５に格納される。
上記データ補間部２３の構成により、２つの領域の原画像データに対する補間処理を同時に並行して行うことができ、上記２ライン処理が複数の領域で発生する場合に、この２ライン処理を効率よく実行することができる。

以上説明したように、本発明の画像処理装置１Ａでは、画面を水平方向に垂直に分割し、それぞれ分割した領域において歪み補正処理を行う。撮像素子の高画素化が進むと画像データが増大し、必要となるラインメモリ容量も増えていくが、本発明の画像処理装置１Ａでは、画像を水平方向に垂直に分割して処理を行うことにより、必要なラインメモリ容量を低減することが可能になる。さらに、本発明の画像処理装置１Ａでは、歪み補正処理におけるパフォーマンスを向上させることができる。

なお、上述した撮像装置１において、画像処理装置１Ａの入力は、前段の信号処理部１４から出力されるＹＣ信号としたが、画像歪み補正部２０をＹＣ信号変換前に配置し、歪み補正をＲＡＷデータやＲＧＢ信号に対して行って、ＹＣ信号変換などの必要な処理を行うブロックを画像歪み補正部２０の後に配置するようにしても構わない。

なお、ここで、本発明と上記実施形態との対応関係について補足して説明しておく。本発明における撮像装置は、撮像装置１が対応し、本発明における画像処理装置は、画像処理装置１Ａが対応する。また、本発明における画像歪み補正部は、画像歪み補正部２０が対応する。また、本発明におけるフレームメモリは、フレームメモリ１５が対応し、本発明におけるラインメモリはラインメモリ２２が対応する。また、本発明における補間回路は、図８に示すデータ補間部２３内の補間回路１１１，１１２が対応する。

そして、上記実施形態において、本発明の画像処理装置１Ａは、レンズを介して撮像された原画像データの内、所定の水平ライン数分の画像データを、水平方向に垂直に分割して保持するラインメモリ２２と、分割された画像データが保持されるラインメモリ２２のそれぞれのメモリ領域ごとに、歪み補正対象となる原画像データに対して歪み補正処理を行う画像歪み補正部２０と、を備える。

このような構成の画像処理装置１Ａでは、レンズを介して撮像された原画像データから所定のライン数分（垂直方向のライン数分）の画像データをラインメモリ２２に順次に取り込み、このラインメモリ２２に取り込んだ原画像データの内、補正対象となる画像データに対して歪み補正処理を行う。すなわち、原画像データに対してフレームメモリ１５に書き込む前にオンザフライで歪み補正処理を行う。また、画像処理装置１Ａは、画像データをラインメモリ２２に保持する際には、この画像データを水平方向に垂直に分割して保持する。そして、画像処理装置１Ａは、分割された画像データが保持されるラインメモリ２２のそれぞれのメモリ領域ごとに歪み補正処理を行う。
これにより、画像データの歪み補正処理をオンザフライで行う際に必要となるラインメモリのメモリ容量を低減できる。

また、上記実施形態において、画像歪み補正部２０は、ラインメモリ２２のそれぞれのメモリ領域ごとに、歪み補正対象となる原画像データに対して歪み補正処理を開始する。
これにより、画像データの歪み補正処理をオンザフライで行う際に必要となるラインメモリのメモリ容量を低減できる。

また、上記実施形態において、ラインメモリ２２のそれぞれのメモリ領域ごとに、原画像データの内、歪み補正に必要な水平ライン数分の原画像データが格納されることに応じて、歪み補正処理を開始する。
このような構成の画像処理装置１Ａでは、ラインメモリ２２のそれぞれのメモリ領域ごとに、歪み補正処理に必要な補正対象となる原画像データが読み込まれると、直ちに歪み補正処理を開始する。
これにより、ラインメモリ２２において、歪み補正処理に必要な原画像データの読み込が完了したそれぞれのメモリ領域から、直ちに歪み補正処理を開始することができる。このため、歪み補正処理のパフォーマンスを大幅に向上させることができる。

また、上記実施形態において、画像歪み補正部２０は、歪み補正処理された画像データを原画像データにより補間して求める補間回路を２つ備え、２つの補間回路のそれぞれが、それぞれのメモリ領域の内の１つのメモリ領域に格納された原画像データを選択して歪み補正処理を行う。
これにより、１つの原画像データ（対応点の１ライン）から歪み補正された２つの画像データ（着目点の２ライン）を生成する２ライン処理が、複数の領域で連続して発生する場合に、この２ライン処理のサイクルを効率よく並列処理することができる。

また、上記実施形態において、撮像装置１は、上記画像処理装置１Ａを備える。
これにより、撮像装置１において、レンズを介して撮像した画像データの歪み補正処理をオンザフライで行う際に必要となるラインメモリのメモリ容量を低減できる。また、撮像装置１における歪み補正処理のパフォーマンスが向上する。

以上説明したように、本実施形態の画像処理装置１Ａは、画像歪み補正部２０がハードウェア実装であり、ソフトウェア実装と比べ、ＣＰＵの負荷を軽減できる。また、画像データをフレームメモリに書き込む前にオンザフライで歪み補正処理を行うので、システムバスへのアクセス回数を増やすことなく、実装が可能であり、リアルタイム処理が必要な監視カメラ等の用途に適している。

また、撮像素子の高画素化が進むと、オンザフライで補正を行う場合に必要となるメモリ容量が増えるとともに、歪み補正処理の負荷が増大するが、本実施形態の画像処理装置１Ａでは、水平方向に垂直に画像を分割して歪み補正処理を行うため、分割した領域において歪み補正処理に不要な原画像データをラインメモリ２２に保持しておく必要がないため、ラインメモリ２２のメモリ容量を低減することができる。また、画像処理装置１Ａでは歪み補正処理におけるパフォーマンスを向上させることができる。

以上、本発明の実施の形態について説明したが、本発明の撮像装置及び画像処理装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

１，２，３…撮像装置
１Ａ…画像処理装置
１１…レンズ
１２…撮像素子
１３…Ａ／Ｄ変換器
１４…信号処理部
１５…フレームメモリ
１６…システムバス
２０，２０Ａ，２０Ｂ…画像歪み補正部
２１…入力データ制御部
２２…ラインメモリ
２３…データ補間部
２４…出力データ制御部
２５…バスインタフェース
１０１，１０２…マルチプレクサ
１１１，１１２…補間回路
１２１，１２２，１２３…マルチプレクサ

Claims (4)

1. レンズを介して撮像された原画像データの内、所定の水平ライン数分の画像データを、水平方向に垂直に分割して保持するラインメモリと、
   前記分割された画像データが保持される前記ラインメモリのそれぞれのメモリ領域ごとに、歪み補正対象となる前記原画像データに対して歪み補正処理を行う画像歪み補正部と、
   を備え、
   前記画像歪み補正部は、
   前記歪み補正処理された画像データを前記原画像データにより補間して求める補間回路を２つ備え、
   前記２つの補間回路のそれぞれが、
   前記それぞれのメモリ領域の内の１つのメモリ領域に格納された前記原画像データを選択して前記歪み補正処理を行う
   ことを特徴とする画像処理装置。
2. 前記画像歪み補正部は、
   前記それぞれのメモリ領域ごとに、前記歪み補正対象となる前記原画像データに対して前記歪み補正処理を開始する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記それぞれのメモリ領域ごとに、前記原画像データの内、前記歪み補正に必要な水平ライン数分の前記画像データが格納されることに応じて、前記歪み補正処理を開始する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 請求項１に記載の画像処理装置、
   を備えること特徴とする撮像装置。

Images