WO2005010818A1

WO2005010818A1 - 画像処理装置、画像処理方法及び歪補正方法

Info

Publication number: WO2005010818A1
Application number: PCT/JP2004/011010
Authority: WO
Inventors: Masaki Higurashi; Hideaki Furukawa; Akira Ueno
Original assignee: Olympus Corporation
Priority date: 2003-07-28
Filing date: 2004-07-27
Publication date: 2005-02-03
Also published as: US7813585B2; EP2533192A2; EP1650705A4; EP1650705A1; EP2533192A3; EP1650705B1; US20060188172A1; EP2533192B1

Abstract

歪補正処理部8を有する画像処理装置であって、この画像処理装置は、前記歪補正処理部8が歪補正処理を行うのに必要な入力画像範囲を算出する歪補正範囲算出部12を備えたものである。これにより、歪補正によって得られる補正画像(出力画像)は画像出力範囲に対して過不足なく出力することが可能となり、元データである入力(撮影)画像データを有効に活用した歪補正処理を行え、糸巻き型歪,樽型歪,及び陣笠型歪などに対しても有効な歪補正処理を行うことができる。

Description

明細書発明の名称

画像処理装置、画像処理方法及び歪補正方法技術分野

本発明は、主に、デジタルカメラ等の電子的撮像装置に用いられる画像処理装置及び画像処理方法に関し、特に、回路規模やデータ転送量を増大させること無く、歪補正機能を実現し、小領域（例えばブロックライン）単位での歪補正処理を行う場合に、小領域の空間的な位置を算出可能とした画像処理装置.、画像処理方法及び歪補正方法に関する。背景技術

デジタルカメラ，銀塩カメラを問わず、一般的にカメラの光学系においては歪曲収差が現れる。また、現在発売されているカメラでは、光学ズームが可能な機が殆どであり、その場合、ワイド端からテレ端にかけて、歪曲収差の状態が変化する。ワイド端では樽型歪が多く、テレ端では糸巻き型歪が多い。

歪曲収差は、例えば格子状の被写体を撮影すると、樽型歪、糸巻き型歪として観測される。

図 5 6は格子状の被写体、図 5 7は樽型歪を生じた撮影画像、図 5 8は糸巻き型歪を生じた撮影画像である。

ところで、デジタルカメラにおいては、 C C D等の撮像素子のデ一夕に対し、様々な画像処理を行なった後、 J P E G等の圧縮方式で圧縮したデ一夕をメモリ力一ド等の記録媒体に記録する。

図 5 9は一般的なデジ夕ルカメラで行われている画像処理手順の概念を示している。 C C Dにより取り込まれた撮像信号にプリプロセスで画素欠陥処理、 AZ D変換等を行い、得られた画像デ一夕を S D RAM等のフレームメモリに一旦記憶する。次に、フレームメモリから読み出された画像デ一夕に対してイメージプロセスにより各種の画像処理を行い、さらに J P E G処理で画像圧縮して記録媒体としてのメモリカード等に記録する。

X

図 60は従来のデジタルカメラの画像処理装置のブロック図（例えば特閧 20

II

00-3123 X 27号公報での従来例）を示している。

図 60において、従来の画像処理装置は、パス 103に CPU 104と共にプリプロセス回路 102, 複数のイメージプロセス回路 106-1〜： 106-n, J PEG処理部 1 07, フレームメモリ 105及び記録媒体としてのメモリカード 108が接続されている。そして、 CPU 104の制御により、 CCD 101からの撮像信号がプリプロセス回路 102で画素欠陥処理や A/D変換等が施された後、ノス 103を通してフレームメモリ 105に一旦記憶される。次に、フレームメモリ 105から画像デ一夕を読み出し、パス 103を通してイメージプロセス回路 106-1に入力して所定の画像処理を行い、再びバス 103を通してフレームメモリ 105に書き直す。以下同様にして、バス 103·を介してフレームメモリ 105とイメージプロセス回路' 106-2 ~ 1 06-n との間でデータのやり取りを順次行って、最後に J PEG処理部 107で J PEG圧縮処理を行い、画像処理したデ一夕をフレームメモリ 105に一旦記憶し、フレームメモリ 105から読み出した処理データをメモリカード等 108に記録するようになつている。以上の各段のイメージプロセス及び J PEG処理では、小領域（プロヅクライン）を単位として画像処理が行われる。

ところで、イメージプロセス回路の少なくとも 1つにおいて図 56〜図 58で述べたような歪補正処理を行う方法として、下記の光学的に表現される歪補正式 [式 5] を用いることによって撮像画像の歪曲収差を補正することが行われる。

[式 5]

2 = (X-X_d) + (Y-Yd ) ²

• [1 +A · z²] +x_d

Υ' 二 (Y-Yd) • [1 + A · Z²〗 +Y_d

(X. Y) ：補正画像内での座標

(Χ' . Υ' ) ：撮影画像内での座檁

(X_d. Y_d) ：歪中心位 BL

A ：歪補正係数しかしながら、光学的に表現される上記の [式 5 ] を用いて歪補 IEを行った場合、補正画像に過不足が生じる。

図 6 1，図 6 2は樽型歪，糸巻き型歪を生じた撮影画像を、上記の [式 5 ] によって補正する動作を説明するものである。

図 6 1は点線のように樽型に歪んだ元画像（図示左）を [式 5 ] にて補正した場合であって、補正された画像（図示右）は画像出力範囲からはみ出して無駄になる部分を生じている。

図 6 2は点線のように糸巻き型に歪んだ元画像（図示左）を [式 5 ] にて補正した場合であって、補正された画像（図示右）は画像出力範囲より小さぐなりデ —夕が不足する部分が生じる。

このような図 6 1 , 図 6 2の不具合に対して、先行出願である日本国特開平 9 - 0 9 8 3 4 0号公報では、歪補正後に、電子ズームを行うことで補正により伸長した分を縮小して元の位置まで戻して、歪補正により失われる画像'情報を最小限に抑えている。

.一方、通常、 C C D等の撮像素子の読み出しは、（1) 本撮影用の全画素読み出し、（2) スルー画用の間引き読み出し、の 2種類の読み出しが可能である。間引き読み出し等によって、撮像したデ一夕から一部を取り込んだ画像デ一夕は、ァスぺクト比が 1 ： 1ではないため、そのままでは正確な歪補正が行えない。また、従来、この画像処理の一部として歪補正を行う先行技術が開示されている。例えば、特開平 6— 1 8 1 5 3 0号公報，特開平 1 0— 2 2 4 6 9 5号公報がある。

特開平 6— 1 8 1 5 3 0号公報には、撮影時における撮像ズームレンズの撮像ポジションが歪曲収差の大きいポジション内であることが検出手段にて検出されている場合には、この撮像ズームレンズによって生じた像の幾何学的歪みを、固体撮像素子の撮像データを幾何学的変形に基づき読み出すことにより補正することが記載されている。

特開平 1 0— 2 2 4 6 9 5号公報には、光学系を経由した光を受光する固体撮像デバイスで撮像したデータをランダムアクセスビデオメモリに記憶し、ランダム読み出しタイミング発生回路は光学系によって生ずる収差を補正するための収差補正デ一夕を有し、この収差補正デ一夕に基づいて固体撮像デバイスによって生成された信号を所定の順に読み出してビデオ信号を生成することで、光学系の歪曲収差を補正することが記載されている。

しかしながら、特開 2 0 0 0 - 3 1 2 3 2 7号公報では、フレームメモリと各イメージプロセス回路間でデ一夕のやり取りが多く、バスのデ一夕転送量が増大する。さらに、小領域（ブロックライン）単位での歪補正処理については全く記載されていない。

また、特閧平 9一 0 9 8 3 4 0号公報では、樽型歪の補正にしか言及しておらず、撮像中心に一番近い点を基準にしており、原理的に樽型歪の補正のみである。糸巻き歪に対しては、補正された画像が画像出力範囲より小さくなり画像デー夕が不足する部分が生じる。さらに、図 2 2に示すような陣笠型歪を補正するには、歪補正式に 4次項以上が必要になるが、元画像データを最大限使うための補正倍率 Mを解析的に求めることが困難であった。

特開平 6— 1 8 1 5 3 0号公報では、歪補正処理を行うことが述べられているが、図 3 6に示すように C C Dの撮像面における画素（黒丸印にて示される縦横の格子点） 3 1に対して、本来直線であるべき被写体像が光学レンズの歪曲収差により湾曲して結像（符号 3 2にて示す）すると、歪曲収差補正回路内のラインメモリに大容量バッファメモリが必要となる。また、ノ、 °ッファメモリの容量で処理できる画像サイズが制限されてしまう。さらに、バッファメモリに保持されているデ一夕の空間的な位置の確定方法等についての記載がない。さらに、特開平 6 - 1 8 1 5 3 0号公報では、小領域（プロックライン）単位での歪補正処理については全く記載されていない。

また、特開 1 0— 2 2 4 6 9 5号公報では、ランダムアクセスで処理するのに、バッファメモリは必要ないが、一般的に S D R AM等のメモリをランダムァクセスすると、転送時間がかかる。そこで、本発明の第 1の目的は、撮像した元デ一夕を有効に活用して歪補正処理を行い、補正した画像が画像出力範囲に対して無駄なく有効に出力でき、糸巻き型歪，樽型歪，及び陣笠型歪にも対応できる歪補正処理が可能な画像処理装置及び画像処理方法を提供することである。

本発明の第 2の目的は、小領域（例えばブロヅクライン）の空間的な位置を算出可能とし、小領域単位での歪補正処理を実現可能とした画像処理装置及び歪補正方法を提供することである。

本発明の第 3の自的は、間引き取り込みされた画像デ一夕に対しても、正確な歪補正を行える一方、デジタルズームなど、任意領域を切り出したデ一夕に対しても正確な歪補正を行える画像処理装置及び歪補正方法を提供することである。本発明の第 4の目的は、バスの転送量ゃメモリの容量を大きく増大させることなく、歪補正処理を実現できる画像処理装置及び画像処理方法を提供することである。 ' 発.明の開示

本発明による画像処理装置は、歪補正手段を有する画像処理装置であって、該画像処理装置は、さらに、前記歪補正手段が歪補正処理を行う入力画像範囲を算出する歪補正範囲算出部を有する。

このように、歪補正処理を行う入力画像範囲を算出する歪補正範囲算出部を設けることにより、出力画像（即ち、歪補正後の画像）の出力範囲の一部または全部に相当する領域が入力画像（即ち、撮像画像）内に占める範囲を算出することで、歪補正によって得られる補正画像は出力すべき出力範囲に対して過不足なく出力することが可能となり、出力範囲に対して補正画像がはみ出したり不足したりすることのないようにできる。

好ましくは、前記歪補正範囲算出部は、補間座槔を生成する座標生成部と、前記生成された補間座標に対して所定の歪補正式を適用して変換した座標を出力する歪補正座標変換部と、前記変換された座標位置から前記入力画像範囲を算出する補正範囲検出部と、を有する。

この構成で、補間座標を生成するとは、歪補正前の撮像画像（入力画像）の位置を求めるために、出力されるべき補正後の補正画像（出力画像）の位置を前もつて生成することである。この補間座標に対して歪補正式を適用して、歪補正前の画像位置（座標）を生成（変換）出力させ、変換された補正前の座標位置から歪補正処理すべき入力画像範囲を算出するようにしている。

或いは、好ましくは、前記歪補正範囲算出部は、座標変換により生成された座標に対し、前記出力画像範囲の 4辺の各辺に対応する画素の座標の最大値と最小値および前記出力画像範囲の 4頂点に対応する座標の少なくともいずれかから前記入力画像範囲を算出する。この構成で、 4頂点とは、歪補正後の出力画像における各辺の頂点を指している。

或いは、好ましくは、前記歪補正範囲算出部は、歪補正処理を行う複数入力信号に対して順次範囲算出を繰り返して前記入力画像範囲を算出する。

この構成では、複数のチャンネルを扱う場合に、複数入力信号に対して同時に補正処理を行っている間に、複数入力信号に対してそれぞれ次の処理対象であるブロックラインにっき歪補正範囲算出を順次に繰り返して行うことで、 1つの歪補正範囲算出部で複数チヤンネル分の範囲算出を行わせることが可能である。好ましくは、前記範囲算出を繰り返し処理で行い、入力画像範囲に対して歪補正後の画像範囲が所定の範囲になるような補正倍率 Mを決定する。

この構成により、補正倍率 Mを適宜の値に決定することで、陣笠型歪にも対応可能となる。

好ましくは、前記歪補正範囲算出部は、前記歪補正処理部が歪補正実行中に、次に歪補正を行う画像入力範囲を算出する。

この構成では、歪補正実行中に、次に歪補正を行う画像入力範囲を算出するので、 1つのブロックラインの歪補正が終わつたときには次の歪補正処理を行う画像入力範囲が分かっており、歪補正処理を次のブロックラインに対して順次スム —ズに行なっていくことが可能である。本発明による画像処理方法は、歪補正処理を行う画像処理方法であって、前記歪補正処理を行うに際して、歪補正処理を行う入力画像範囲を算出する。

このように、歪補正処理を行うに際して、歪補正処理を行う入力画像範囲を算出することにより、歪補正後の画像の出力範囲の一部または全部に相当する領域が入力画像内に占める範囲を算出することで、歪補正によって得られる補正画像は画像出力範囲に対して過不足なく出力することが可能となり、画像出力範囲に対して補正画像がはみ出したり不足したりすることのないようにできる。

本発明による画像処理装置は、画像デ一夕に対して歪補正処理を行う歪補正手段を有する画像処理装置において、前記歪補正手段は、補正前の画像データ内において、補正画像の各画素が対応する位置を所定の補正式に従って算出する際、撮像面における空間的な位置を記述可能な座標系において算出する。

この構成では、補正前の画像デ一夕内において、補正画像の各画素が対応する位置を算出する際、撮像面に対応する座標系（即ち 2次元空間におけ'る位置）を基準にして計算を行う。

.好ましくは、前記歪補正手段は、補正画像に含まれる第 1の小領域を単位に処理を行い、前記第 1の小領域の各画素の座標位置を前記補正式に従って変換した小領域を含む撮像面における第 2の小領域について、前記撮像面に対応する座標系での位置を、前記第 2の小領域での座標に変換した後に、前記補正画像の各画素のデータを生成する。

この構成では、変換される小領域内での座標に基づいて、補間処理を行うことができる。

なお、前記画像デ一夕は、撮像デ一夕の一部のみを取り込んだ部分画像データであってもよい。

画像デ一夕としては、撮像したデータ全てではなくその一部、例えばデジタルズームの際に撮像データの中央部分から切り出されるデータや、撮像デ一夕から間引きによって生成される縮小デ一夕に対しても、適用することができる。

また、前記画像デ一夕は、前記撮像デ一夕に対してフィルタリング，空間サンプリングまたは補間処理の少なくともいずれか 1つを行って生成されるデ一夕であってもよい。

画像データとしては、周波数的に制限するフィル夕リングを行ったり、撮像デノイスの撮像面のような 2次元的空間から適宜にサンプリングしたり、補間処理 (標本化処理などで離散化した画素と画素の間に、周囲の画素からの推定によつて画素を作り出す処理）したり、することによって得られるデ一夕などがある。本発明による歪補正方法は、画像データに対して歪補正処理を行う歪補正手段を有する画像処理装置の歪補正方法であって、前記歪補正方法は、補正画像の各画素に対応する座標系での第 1の位置を生成するステップと、前記第 1の位置を、歪補正式に従って歪補正前の画像データ内における座標系での第 2の位置に変換するステツプと、前記歪補正前の画像データ内における座標系での第 2の位置を、撮像面に対応する座標系を基準とする設定領域内での座標に変換するステップと、前記設定領域内での座標に基づいて補間処理を行い、前記補芷画像の各画素のデータを生成するステップと、を有する。

.この歪補正方法では、例えば撮像レンズによる幾何学的歪みを補正する補正式によって、補正画像の各画素のデ一夕を得る際には、補正画像の各画素に対応する座標系での第 1の位置に対して、歪補正式に従って歪補正前の画像データ内における座標系での第 2の位置に変換し、この変換された第 2の位置を、撮像面に対応する座標系を基準とする設定領域内での座標に変換し、この座標に基づいて補間処理を行って補正画像の画素データを生成する。

好ましくは、前記補正画像に含まれる小領域を単位に処理を行う。

この方法では、補正画像に含まれる小領域（例えばブロックラインと呼ばれる領域）を単位に処理を行うものである。

本発明による画像処理装置は、画像データに対して歪補正処理を行う歪補正手段を有する画像処理装置において、前記歪補正手段は、前記画像データの一部を格納するメモリ部と、前記メモリ部に対するデ一夕の書き込みおよび読み込みを制御するメモリ制御部と、を有し、前記メモリ部から読み出した画像データに対する補間演算を行う。

この構成では、内部バッファとしてのメモリ部に画像デ一夕の一部を格納して、そのデータを利用して歪補正処理のための補間演算を行うことができる。

好ましくは、前記メモリ制御部は、前記メモリ部への書き込みの際は、列方向に一列に並んだ一定数分の画素からなる画像データ（ュニットライン： UL) を単位として書き込むように制御し、前記メモリ部からの読み出しの際は、歪補正処理後の画像が前記 U Lを単位として出力されるように、前記メモリ部に格納された画像データに対して読み出し制御する。

この構成では、メモリ部に対して ULを単位として書き込み、読み出しを行うので、メモリ部のバッファ容量としては光学的歪量に応じて数 UL分、すなわち少なくとも 1 UL分の容量があればよく、バスの転送量やメモリの容量を大きく増大させることなく、歪補正を実現できる。

さらに、好ましくは、前記メモリ制御部は、前記 ULの最初に処理'される画素の座標位置に対して、行方向に対して前側および後側に所定幅の領域（それそれ p-reULB、 postULB) を設け、前記 U Lの処理中は他の処理によって前記領域が上書きされないよう制御する。

この構成により、処理に必要なバッファとしてのメモリ部の前記 p r eULB、 pos t ULBの領域のデ一夕が上書きされないよう確保できる。

好ましくは、前記画像処理装置は、さらにバッファの空き領域を検出するバッファ空き容量監視回路を有し、該バッファ空き容量監視回路によりバッファ内の空き領域が検出されると、該空き領域へのデータの書き込みを可能とする。

この構成により、データ出力中に入力も可能なパイプライン的な動作を可能とする。

好ましくは、前記メモリ部は、デ一夕のリード動作とライト動作が同時に可能な複数のメモリからなり、前記メモリ制御部は、さらに、前記メモリ部へのデ一夕書込み制御を行う書込みアドレス生成回路と、前記メモリ部に格納されている画像デ一夕から補間演算に必要なデ一夕を同時に読み出すためのアドレスを生成する読出しアドレス生成回路と、を有し、前記データ書込み制御は、同時に読み出すデータをそれそれ異なるメモリに書き込むものである。

この構成によれば、バッファ内にある画像データから、補間演算に必要なデ一夕として任意の座標の周辺の複数の画素（例えば、 1 6画素）情報を同時に読み出すことが可能となり、演算処理を速やかに行える。

本発明による画像処理方法は、画像デ一夕に対して歪補正処理を行う画像処理方法において、前記歪補正処理を行う際には、データの書き込みおよび読み込みが制御されるメモリ部に、前記画像データの一部を格納し、該メモリ部から読み出した画像データに対して補間演算を行う。

この方法では、内部バヅファとしてのメモリ部に画像データの一部を格納して、そのデ一夕を利用して歪補正処理のための補間演算を行うことができる。図面の簡単な説明：

図 1は本発明の第 1の実施の形態の画像処 a装置の全体構成を示すプロック図である。

図 2は歪補正処理部の構成を示すブロック図である。

図 3〜図 5は歪補正処理部における座標変換の概念図であり、図 3は撮像画像データを示す図、図 4は補正画像を示す図、図 5は補間処理を説明する図である。図 6は画像データの読み出し順序を示す図である。

図 7は第 1デ一夕順序変換部におけるデ一夕順序変換処理を説明する図である。

図 8は第 2データ順序変換部におけるデ一夕順序変換処理を説明する図である。

図 9はブロックラインと歪補正処理に必要なメモリ容量（バッファ容量）の関係を示す図である。

図 1 0はブロックライン幅の設定方法を示す図である。

図 1 1は歪補正範囲算出部の構成を示すブロック図である。図 1 2及び図 1 3は歪補正範囲算出部における、歪補正処理を行う際の入力画像範囲を算出する動作を説明する図であり、図 1 2は補正画像上の範囲を示す図、図 1 3は元デ一夕上の範囲を示す図である。

図 1 4は歪補正処理の動作を説明するフローチャートである。

図 1 5は図 1 4のステップ S 11 における補正倍率 Mの算出方法を説明するフローチャートである。

図 1 6は図 1 1の歪補正範囲算出部の構成を示すブロック図である。

図 1 7は図 1 6のデ一夕出力のタイミングチャートである。

図 1 8は図 1 7の動作を改善したもので、パイプラインでのデ一夕出力の夕ィミングチャートである。

図 1 9は 3チャンネル分の歪補正処理を行う際の入力画像範囲を算出する方法を説明する図である。

図 2 0は 3チヤンネルの場合の歪補正処理の動作を説明するフロー'チャートでめる。

_図 2 1は本発明の第 2の実施の形態の画像処理装置の全体構成を示すプロック図である。

図 2 2は陣笠型の歪を生じた撮影画像を示す図である。

図 2 3及び図 2 4は補正前の撮像画像データと補正後の補正画像の関係を示す図であり、図 2 3は補正前の撮像画像デ一夕を示す図、図 2 4は補正後の補正画像を示す図である。

図 2 5は図 2 3及び図 2 4の歪補正処理のフローチャートである。

図 2 6及び図 2 7は、デジタルズームの場合で、補正前の撮像画像デ一夕と補正後の補正画像の関係を示す図であり、図 2 6は補正前の撮像画像デ一夕を示す図、図 2 7は補正後の補正画像を示す図である。

図 2 8及び図 2 9は、撮像デ一夕から或る領域を切り出す場合で、補正前の撮像画像データと補正後の補正画像の関係を示す図であり、図 2 8は補正前の撮像画像デ一夕を示す図、図 2 9は補正後の補正画像を示す図である。図 30〜図 32は CCDのモニタ一モードにおけるライン間引きを説明する図であり、図 30は CCDから撮像時のデータを縦方向に 3ライン間引いてメモリに取り込む状態を説明する図、図 31はメモリに取り込まれた状態の撮影画像デ一夕を示す図、図 32は縦と横で画像が非対称となるのを補正した補正画像を示す図である。

図 33及び図 34は YC 422形式のデータにおける色デ一夕の横方向の間引きを説明する図であり、図 33は輝度データを示す図、図 34は色データを示す図である。

図 35は画像の中心ずれを説明する図である。

図 36は CCDの画素と撮影画像の関係を示す図である。

図 37は本発明の第 3の実施の形態の画像処理装置における歪補正処理部の詳細な構成を示すブロック図である。 '

図 38は補間回路における補間演算のイメージ図である。 ' ' 図 39は歪補正処理部における内部メモリ部を説明する図である。

図40及び図 41は、図 39の補足説明をする、 2ポート SRAMにデ一夕が書き込まれる様子を説明する図であり、図 40は書き込む順番を示す図、図 41 は図 40に示した書込み順番のデ一夕が 16個の 2ポート SRAM上のどこに書き込まれていくかを示す図である。

図 42は図 38の補正座標位置を算出するのに必要な DOを求めるための説明図である。

図 43はエラ一処理例を示す図である。

図 44は他のエラ一処理例を示す図である。

図 45は他のエラ一処理例を示す図である。

図 46は歪補正処理に要するバッファ量について説明する図である。

図 47は歪補正処理に要するバッファ量について説明する図である。

図 48及び図 49は歪補正処理に要するバッファ量について説明する図であり、図 48は preULB、 p o s t ULBの定義を説明する図、図 49は歪中心を跨ぐ時のバッファ開放量を説明する図である。

図 5 0は U L処理に伴う開放量の算出方法について説明する図である。

図 5 1は U L処理に伴う開放量の算出方法について説明する図である。

図 5 2は図 5 1の処理に伴うパイプライン処理の空きについて説明する図である o

図 5 3は U L処理に伴う開放量の算出方法について説明する図である。

図 5 4は図 5 3の処理に伴うパイブライン処理の空きについて説明する図である。

図 5 5は U L処理に伴う開放量の算出方法について説明する図である。

図 5 6は格子状の被写体を示す図である。

図 5 7は樽型歪を生じた撮影画像を示す図である。

図 5 8は糸巻き型歪を生じた撮影画像を示す図である。

図 5 9は一般的なデジ夕ルカメラの画像処理手順の概念を示す図である。図 6 0は従来のデジタルカメラの画像処理装置におけるブロック構成を示す図

^める o

図 6 1は樽型歪を生じた撮影画像を、 [式 5 ] によって補正する動作を説明する図である。

図 6 2は糸巻き型歪を生じた撮影画像を、 [式 5 ] によって補正する動作を説明する図である。発明を実施するための最良の形態

発明の実施の形態について図面を参照して説明する。

図 1は本発明の第 1の実施の形態の画像処理装置の全体構成を示すプロック図である。

図 1の画像処理装置においては、バス 3に接続された各部の制御を行う C P U 4の制御により、 C C D 1からの撮像信号をプリプロセス回路 2で画素欠陥処理、 AZD変換等を行い、得られた画像デ一夕を、バス 3を介してフレームメモリ 5 に一旦記憶する。フレームメモリ 5は、 S D R AM等で構成され、画像処理前のデ一夕及び画像処理後のデ一夕を格納するメモリである。次いで、フレームメモリ 5から読み出した画像デ一夕をバス 3を介して、第 1データ順序変換部 6に入力する。第 1デ一夕順序変換部 6は、後に図 7で説明するように、ブロック単位のデ一夕を記憶可能なメモリを複数、ここでは 2つ備えている。第 1データ順序変換部 6は、フレームメモリ 5から行方向にデ一夕を読み出して記憶した後、列方向にデータを順に読み出し、イメージプロセス回路 7に出力する。

イメージプロセス回路 7は入力したデ一夕に対して所定の画像処理を行って次段の歪補正手段としての歪補正処理部 8に転送する。歪補正処理部 8は入力したデ一夕に対して歪補正処理を行って次段の第 2データ順序変換部 9へ転送する。第 2デ一夕順序変換部 9は、後に図 8で説明するように、ブロック単位のデ一夕を記憶可能なメモリを複数、ここでは 2つ備えている。第 2デ一夕順序変換部 9 は、歪補正処理部 8から列方向にデ一夕を読み出して記憶した後、方向にデ —夕を順に読み出し、 J P E G処理部 1 0に転送する。そして、. J P E G処理部 1 0で J P E G圧縮処理を行い、処理デ一夕をフレームメモリ 5に一旦記憶し、フレームメモリ 5から読み出した処理デ一夕をメモリカード等 1 1に記録するようになつている。

歪補正処理部 8は、図 2に示すように、歪補正後の補正画像の位置（補間位置という、 X， Y) とこれに対応した歪補正前の元の画像の位置（Χ ' , Υ ') を生成する補間座標生成部 8 1と、歪補正処理部 8の前段ブロックの回路からの画像データの一部を一時的に格納しておくバッファメモリ（以下、単にバッファ）としての内部メモリ部 8 2と、その内部メモリ部 8 2に対する書き込み及び読み出しの制御を行うメモリ制御部 8 3と、変換した歪補正前の画像位置の座標 ( X ⁵ , Υ ' ) に従って画像処理をしてデータの歪補正をする補間演算部 8 4と、を有して構成されている。

補間座標生成部 8 1は、図 2に示すように、補間座標（X , Υ) を生成する補間位置生成部 811と、生成された補間座標（X , Υ) に対して所定の歪補正式 [式 1 ] (後述する）を適用して変換した補正前の座標（Χ ' , Υ ' ) を出力する歪補正座標変換部 812と、補間位置生成部 811からの補間座標（Χ， Υ) と歪補正座標変換部 812からの変換座標（Χ '， Υ ' ) とを選択的に出力可能なセレクタ 813 と、で構成されている。歪補正処理部 8における補間位置生成部 811 , 歪補正座標変換部 812，セレクタ 813，メモリ制御部 8 3については、制御データを格納した制御レジス夕 8 5に設定された各ブロックに対する設定値に従って動作する。また、処理結果のステータスなどを C P Uから参照することができる。

歪補正処理部 8には、図 1に示すように、歪補正処理部 8が歪補正処理を行う入力画像範囲を算出する歪補正範囲算出部 1 2が設けられている。歪補正範囲算出部 1 2は、図 1 1で説明するように、補間座標を生成する座標生成部 9 1と、生成された補間座標に対して所定の歪補正式を適用して変換した座標を出力する歪補正座標変換部 9 2と、変換された補正前の座標位置から前記入力画像範囲を算出する補正範囲検出部 9 3と、を有して構成されている。

以上のように構成された本発明による画像処理装置においては、上記第 1デ一夕-順序変換部 6から J P E G処理部 1 0までは、バス 3を介することなく、該バス 3とは異なる情報伝達経路でパイプライン処理可能なように接続されていて、画像デ一夕を、 2次元的な画素配列における所定のプロック単位で転送して処理するようになつている。このようにバス 3を介したデ一夕転送は、フレームメモリ 5から第 1データ順序変換部 6への転送と、 J P E G処理部 1 Qからフレームメモリ 5への転送及びフレームメモリ 5からメモリ力一ド 1 1への転送だけとなり、したがってフレームメモリと各イメージプロセス回路との間でデ一夕のやりとりを行っていた従来例（図 6 0 ) と比べて、バス 3によるデ一夕転送量を大幅に低減させることができ、バス 3の負荷を大幅に軽減することが可能となる。また、この図 1に示す例においては、画像処理を行うイメージプロセス回路 7を 1 つのみ設けているが、複数あっても構わない。さらに、図では、イメージプロセス回路 7の後に歪補正処理部 8が設けられているが、逆の構成であつても構わない。初段のイメージプロセス回路 7と 2段目のイメージプロセス回路である歪補正処理部 8で構成されるイメージプロセス回路部では、各イメージプロセス回路 7 , 8の前段或いは内部にパイプラインレジス夕として、図示しない小容量のメモリが配置されていて、該小メモリを介して、各イメージプロセス回路 7 , 8がパイプライン処理動作を行うように構成されている。これらの小容量のメモリは、各イメージプロセス回路 7， 8で空間的な画像処理を行う場合、画像処理に必要な周辺デ一夕の記憶をするために、また画像データをブロック単位で読み出して配列換えなどを行って処理する必要があるために、設けられている。

図 3〜 5は歪補正処理部 8における座標変換の概念図を示している。図 3は元デ一夕である撮像画像デ一夕、図 4は補正画像、図 5は図 4の補正画像の座標位置（X， Y) に対して図 3の元デ一夕の座標上に変換された座標位置 Pでのデ一夕の座標（Χ '， Υ ' ) (この座標 Ρは元データを実際に構成する複数の画素の位置には必ずしも正確には一致しない座標位置にある）を示している。その Ρ点での座標位置（Χ '， Υ ' ) はその Ρ点の周辺の画素 1 6点の座標を使って算出され ¾と共に Ρ点での画像デ一夕はその周囲の前記 1 6点の画素データを用いて補間演算される。補間演算部 8 4にて点 Ρの位置のデ一夕をその周囲の 1 6点の画素値（輝度データ）から補間演算するべく処理が行われる。図 2の補間位置生成部 811で補間座標を生成するというのは、図 4の補正画像側でどこの画素位置（ X， Υ) を指し示すか、ということである。

[式 1 ]では、歪補正後の画素位置（Χ ,. Υ) に対する歪補正前の画素位置（X '， Υ ' ) を算出することができる。但し、歪補正前の画素位置（Χ '， Υ ' ) は元画像デ一夕上の画素位置に対応した整数値になるとは限らないことは前述した通りである。

[式 1 ]に従うと、図 4の座標（Χ， Υ) が図 3のように座標（Χ ' , Υ ') に変換される。これにより、元デ一夕の中のどこの座標位置のデ一夕を作成すれば、よいかを知ることができ、その位置（Χ '， Υ ' ) のデ一夕を 1 6点補間処理を行う補間式を用いて周囲 1 6点の既知の画素値（図 5の黒丸印の入力画像データ）から算出して得ることができる。

ぱ 1]

Χ= · (X-X _d) + (X _d+ Χ _{β( (})

(1)

Υ=Μ · (Y-Y + (Y _d + Y oil)

Z² = IS , · (X - X _d) ] ² + (S _y · (Y-Y _d) (2)

= (x-x _d) ² +Β · Ζ +0 · Ζ⁶ + 〗 +X d

(3)

= (Y-Y d) [1 +Α · Z +B 4 +C . Z ⁶

(X, Y) 補正画像内での座棵

(X' , Y' ) 撮影画像内での座標

(x_d-. Y _d) 歪中心位置

(X oil. Y o 中心ずれ捕正

範囲補正倍率

(S S _y) サンプリング比

A, B. C, ' 歪補正係数

[式 1]における Zは、歪中心（X d, Yd) から今注目している点（X, Y) までの距離である。 [式 1】によって、補正画像の点（X, Y) に対して歪んでいる元画像の方の座標（Χ'， Υ') が算出される。 [式 1】について補足説明すると、 Μは光学系のデ一夕を用いて理論的に補正した際、補正後に画像がはみ出したり、不足したりする現象を補正するための補正倍率である。 S X, S yは間引き取込みなど、縦横で空間的なサンプリング間隔が異なる現象の補正をするためのサンプリング比である。 X off, Y off は歪補正処理によって、歪補正処理後に、被写体位置が撮影時の位置とはずれてしまう現象の補正をする中心ずれの値であ。

本発明に係る [式 1]では、高次項（具体的には Z⁴、 z⁶、 ···) を考慮することで、より複雑な陣笠型の歪（図 22参照）にも対応できるようにしている。また、中心が一致していても撮像素子の一部しかデータを取り込まない場合や、光軸中心と撮像素子中心がずれている場合など、歪中心（X d， Y d ) を考慮する必要がある。さらに、歪補正処理により被写体位置が撮影時の位置からずれる現象を補正するため、中心ずれ補正値（X off， Y off) を考慮する必要がある。間引き取込みの場合や輝度デ一夕（Y) と色デ一夕（C b, C r) からなる Y C画像を処理する場合は、 X , Yで空間的なサンプリングが異なる。そこで係数としてサンプリング比（S x , S y ) を導入して、座標変換を補正するようにしている。

図 6 1の樽型歪では歪補正するために M< 1として少し縮むようにしておかなければならない。図 6 2の糸巻き型歪の場合は逆に引き伸ばさなければならないので、 M> 1に設定する。

従来例で述べた [式 5 ] では、樽型歪 ·糸巻き型歪を補正することを考慮して記述されている。

次に、図 6〜図 8を参照して画像データの書き込み及び読み出しの処理及び順序について説明する。

図 6は、本実施の形態におけるフレームメモリからの画像デ一夕の読み出し順序を説明する図である。

画像デ一夕は、通常は、ライン方向、つまり行方向にスイープさせて書き込まれていて、読み出し時は行方向に読み出されるようになっており、. 1ラインの画像デ一夕を全て読み出して、次に隣接するラィンの画像デ一夕を全て読み出すといった動作を繰り返して行うのが普通である。

これに対して、本発明に係る画像処理装置は、行方向にスイープさせて書き込まれた画像デ一夕を、列方向にある一定の長さを単位に、行方向の画像デ一夕を順番にイメージプロセス部 7に入力し、以降、順次隣の列をイメージプロセス部 7に入力して、画像の右端まで繰り返し入力するようにしており、こうして得られる小領域（矩形状の画像データ）をブロックライン（B L ) と呼ぶ。

こうした画像デ一夕の読み出しを可能にするための第 1デ一夕順序変換部 6 と、第 2デ一夕順序変換部 9との構成を、図 7及び図 8を参照して説明する。図 7及び図 8は、第 1，第 2デ一夕順序変換部の構成を示すブロック図である。第 1デ一夕順序変換部 6は、図 7に示すように、ブロック単位の画像デ一夕を記憶可能なメモリを複数、ここでは 2つ備えており、この 2つのメモリ 6 aとメモリ 6 bが書き込み側，読み出し側の各スィツチにて書き込み，読み出しが交互に切り換えられるようになつている。すなわち、フレームメモリ 5は、書き込み側のスィツチにて、これらメモリ 6 aとメモリ 6 bとに切換可能に接続されているとともに、イメージプロセス部 7も読み出し側のスィツチにてこれらのモリ 6 aとメモリ 6 bとに切換可能に接続されていて、フレームメモリ 5がメモリ 6 a とメモリ 6 bとの一方に接続されているときには、該メモリ 6 aとメモリ 6 bとの他方がイメージプロセス部 7に接続されるように切り換えられる。すなわち、メモリ 6 a , 6 bは、フレームメモリ 5とイメージプロセス部 7との両方に同時に接続されることがないようにスィツチングされ、交互に書き込み，み出しが行われるようになつている。

レームメモリ 5に記憶されているフレーム画像の一部は、ブロック単位でラィン方向に読み出され、一方のメモリ、ここでは例えばメモリ 6 aに記憶される。これと並行して、メモリ 6 bからは、既にフレームメモリ 5から読み出されて記憶されているブロック単位の画像デ一夕が、列方向（縦方向）に順に読み出されて、イメージプロセス部 7へ出力される。

フレームメモリ 5からメモリ 6 aへの書き込みと、メモリ 6 bからイメージプ口セス部 7への読み出しが終了すると、書き込み側のスィツチおよび読み出し側のスイッチが切り換えられて、次に、フレームメモリ 5からメモリ 6 bへ次のブロック単位の画像デ一夕の書き込みが開始されるとともに、メモリ 6 aからィメ —ジプロセス部 7へのブロック単位の画像データの読み出しが開始される。第 2デ一夕順序変換部 9も、図 8に示すように、上記第 1データ順序変換部 6 とほぽ同様に構成されていて、ほぼ同様に動作するようになっている。

すなわち、第 2デ一夕順序変換部 9は、メモリ 9 a，メモリ 9 bと、書き込み側スイッチ，読み出し側スィッチとを有して構成されている。

そして、該第 2データ順序変換部 9の動作時には、歪補正処理部 8からの書き込みがメモリ 9 aとメモリ 9 bとの一方に対して列方向（縦方向）に行われ、メモリ 9 aとメモリ 9 bとの他方からは行方向（横方向）に読み出しが行われて、 J P E G処理部 1 0へ出力されるようになっている。

図 9はブロックラインと歪補正処理に必要なメモリ容量（バヅファ容量）の関係を示している。点線枠上の歪曲した 4本の実線は、歪補正後の出力データでは直線（縦 1ライン）となるべきデ一夕であるが元デ一夕では歪んでいる。 4本の直線のうち、画像中心から離れた左端の直線がもっとも歪曲している。黒丸印は歪補正後の出力データの画素位置に対応する歪補正前の位置を示している。前述の内部メモリ部 8 2では、撮像後の歪んだ入力デ一夕がブロックライン内で最大の歪量となる横方向の幅に 1 6点補間を考慮して左右に余裕分をとつた範囲を、歪補正処理に必要なバッファ量として確保するようにする。すなわち'、これだけのバッファ容量があれば、歪補正可能であるバッファ量、換言すれば歪補正したと.きに正しい直線形状を作成することが可能なバッファ量を示している。

図 1 0は、ブロックライン幅の設定方法を示すものである。ブロックライン幅を歪補正処理の対象位置に応じて可変設定する例を示している。湾曲した点線は入力側の歪んだデ一夕を示しており、画像中心より離れるほど、すなわち外側にいくほど歪み度合いが大きくなつている。従って、フレームメモリ上の入力デ一夕に対してブロヅクライン幅を設定する際には、その幅は画像中心から離れるほど大きく、中心に近いほど幅を狭くするように設定する。これにより、フレームメモリ 5からバス 3を介してイメージプロセス回路にデ一夕転送する際に、デ一夕幅が狭くてよければそのときのバスの専有時間を減らすことができる。

一般的に、画像中心では歪による変形量が小さい。歪補正の処理対象の位置によって、ブロックライン幅（図示の縦方向にスイープする幅）の設定値を変更する。式 1には高次項が含まれるため、ブロックライン分の処理に必要な入力範囲を解析的に求めることができない。ブロックライン幅の設定は、歪補正範囲算出部 1 2の処理結果に基づき、また、 C P Uで該結果に所定の演算を施すことにより設定する。

図 1 1は、歪補正範囲算出部 1 2の構成を示している。歪補正範囲算出部 1 2 は、補間座標 (X , Y)を生成する座標生成部 9 1と、生成された補間座標（X， Y) に対して所定の歪補正式（例えば [式 1 ]) を適用して変換した座標（Χ ' , Υ ' ) を出力する歪補正座標変換部 9 2と、変換された補正前の座標位置（Χ '， Υ ' ) から歪補正処理に必要な入力画像範囲を算出する補正範囲検出部 9 3と、を有して構成されている。このように歪補正範囲算出部 1 2は、座標生成部 9 1、歪補正座標変換部 9 2、補正範囲検出部 9 3からなり、 C P U 4からは制御レジス夕 9 4を通じて動作を制御し、範囲算出結果はレジス夕 9 5を通して取得する。歪補正範囲算出部 1 2は、歪補正処理機能に対して付加したもので、歪の変形を考慮して画像デ一夕の入力範囲を算出可能とするサポート機能として働く。

次に図 1 2及び図 1 3を参照して、歪補正範囲算出部 1 2における、' 歪補正処理に必要な入力画像範囲を算出する動作を説明する。

裨正画像内で範囲を指定し、入力画像上に座標変換する方法で行う。まず、図 1 2に示すように補正画像上の所定範囲（例えば 5行分）の画素位置（格子点位置）を決め、 [式 1 ]にて図 1 3に示すように出力側の元デ一夕上に座標変換することで、出力側デ一夕での 5行分のデ一夕の範囲が分かる。処理の設定は、ハ一ドウエアのレジス夕設定で行う。図 1 2の補正画像上で、例えばスタートは、点 (X st, Y st) から間隔 AW， Δ Ηという順番で格子点を生成していき、縦に何点、横に何点かとり、縦に H out画素、横に Wout画素となるように設定する。そして、元デ一夕上の位置に変換した結果、補正画像の格子点に対応した交点座標が歪曲した線上に形成されるが、そのブロックラインに対応した歪曲した範囲すなわち外接する図示の太い点線が入力画像範囲として分かればよい。実際には、図 1 2及び図 1 3で黒丸印にしてあるような矩形状の周囲 4辺上の黒丸位置の座標だけ追っていけば、その位置範囲を規定する 4辺について最大値と最小値から入力画像範囲が分かる。例えば、上の辺は Y Tmax, Y Tmin という間に、下の辺は YBtnax, Y Bminという間に収まり、左の辺は X Lmax， X Lmin という間に、右の辺は X Rmax, X Rmin という間に収まっている、というデ一夕を実際に検出して、結果格納用レジス夕 9 5に格納する。ブロックライン処理には、（X Lmin〜X Rmax, Y Tmin〜Υ Bmax) に補間に必要な画素を加えた範囲が必要である。なお、図 1 3で、出力側の元デ一夕上で、各頂点の変換後の位置を（X ， TL, Y， TL)、 (X ， TR, Y， TR)、（X， BL, Y， BL)、（X， BR, Y， BR) としている。 '

座標生成部 9 1は、 [式 2]で補正画像に必要な座標位置（X， Y)を生成し、 [式 1]で（Χ', Υ') に変換する。上辺の変形範囲を Y Tmi_n〜Y Tma_X、下辺の変形範囲を丫81^0〜丫81^、左辺の変形範囲を X Lmin 〜X Lmax、右辺の変形範囲を X Rmin〜X Rmax, 各頂点の変換後の位置を（X， TL, Y， TL)、（X ， TR， Y' TR)、（X， BL, Y， BL)、（X， BR, Y， BR) とし、これらを補正範囲検出部 9 3で検出し、結果格納用レジス夕 9 5に格納する。 ' '

[式 2 ]

- X = X sT +k - AW

、Y = Y_ST +J 厶 H k, は整数図 1 4は、歪補正処理の動作を説明するフローチャートである。まず、ステツプ S 11 で、歪補正 [式 1]の補正倍率 Mを決定する。補正倍率 Mを決定の仕方は図 1 5のフローチャートにて後述する。次に、ステップ S 12 では、決定した補正倍率 Mを使って、図 1 0〜図 1 3の説明で述べたようにブロックライン処理に必要な入力範囲を補間に必要な部分も考慮して算出し、ステップ S 13 でこの算出した入力範囲と、歪補正処理に必要な設定値を設定する。そして、ステップ S 14 で、プロックライン毎の歪補正処理と次ブロックラインの入力範囲算出を同時実行する。その後、画像の最下段のブロックラインの歪補正処理が行われるまで、ブロヅクライン毎の歪補正処理と次プロヅクラインの入力範囲算出を実行する。ステヅブ S 15 において出力画像全体について歪補正処理が終了したか否かを判定することで、ステップ S 14 を繰り返し、画像全体について歪補正処理が終わるまで続行して終了する。

このようにすれば、歪補正実行中に、次に歪補正を行う画像入力範囲を算出するので、 1つのブロックラインの歪補正が終わつたときには次の歪補正処理を行う画像入力範囲が分かっており、歪補正処理を次のプロックラインに対して遅れなく順次スムーズに行なっていくことが可能である。

上記のステップ S 11 で、補正倍率 Mを適切に決めてやると、図 6 1及び図 6 2で述べた樽型及び糸卷き型のどの歪み画像を補正処理しても画像の出力範囲にきっちりと入れることが可能である。

図 1 5は図 1 4のステップ S 11 における補正倍率 Mの算出方法を説明するフ口一チャートを示している。まず、ステップ S 21 で補正倍率 Mの初期値として 1 . 0を設定す ¾。次にその Mと歪補正 [式 1 ]を用いて出力画像の例え'ば 4辺を座標変換することで歪補正範囲算出部 1 2にて入力画像範囲を算出し（ステップ S 22)、元画像の範囲内か否かを判定する（ステップ S 23)。ステップ S 23で図 6 1のように出力範囲を越えるようであれば、 Mを厶 Mだけ減少させた後（ステツプ S 24)、ステップ S 22に戻り、入力画像範囲を算出し、再びステップ S 23の範囲内判定を行う。すなわち、少しずつ Mの値を変えて、ステップ S 23 で元画像の範囲内か否かを判定し、元画像の範囲内であれば、ステップ S 25 へ移行する。ステップ S 25 では前記の入力画像範囲が元画像の範囲内に収まる最大の M か否かを判断する。元画像の範囲内で最大でないならば、 Mを厶 Mだけ増加させた後（ステップ S 26)、ステップ S 22に戻り、ステップ S 23〜 26を行う。ステツプ S 25 で元画像の範囲内で最大ならば、そのときの Mを補正倍率として決定する。このとき、範囲算出に用いられる領域は、補正画像の全体である。なお、図 1 5のフローは、他の方法でも良い。例えば、補正倍率 Mの最大及び最小 Mmax、 Mmin を設定し、順次その範囲を 2分割して最適な Mを追い込む方法を用いると、計算量が少なくて済む。ところで、図 14におけるステップ S 14 において、歪補正処理部 8の補正演算に比べて、歪補正範囲算出部 12の範囲算出演算の方が演算量が少ない。そこで、補正演算の乗算器を時系列で使うことで、回路規模の削減が可能となる。歪補正処理を行う際には、 [式 1]を見れば分かるように非常に掛算が多くてハ一ドウエア的には回路規模が非常に大きい計算になっている。一般的に乗算器がハードウエアの回路規模を大きくしているので、出来るだけ乗算器を減らすことが好ましい。乗算器制御部を設けて乗算器制御し、タイミングを取りながら、パィプライン的に処理することで、全体の処理速度を下げずに、回路規模を縮小でぎる。

図 16は、図 1 1の歪補正座標変換部 92の部分の具体的な構成を示している。それ以外の部分は、図 1 1と同様である。歪補正座標変換部 92では、 [式 1] のような乗算の多い計算を行うが、その際の複数の乗算をタイミングを図りながら時系列で処理することで、乗算器数を減らすことができるように構成してある。歪補正座標変換部 92は、座標生成部 9 1から補間座標（X， Y) を入力し、 [式 1]の（2) を演算して Z ²を算出する Z ²算出部 921 と、 Z²算出部 921 からの Z²と乗算器 923からのァを入力し、ひ， ?を出力する乗算器制御部 922 と、 a, 3を入力し、ァを出力する乗算器 923 と、補正係数 A， B, C, …のいずれかに相当する dを出力する乗算器制御部 924 と、ひ， dを入力し、補正係数と、 Zの整数倍との積に相当する £を出力する乗算器 925 と、乗算器 925 からの £と座標生成部 9 1からの補間座標 (X, Y) を入力し、補正前の元デ一夕の座標（Χ', Υ') を出力する補正座標算出部 926と、を有して構成されている。図 17は図 16のデ一夕出力のタイミングチャートを示している。まず、 Ζ² 算出部 921 は、クロック CLKが ' 1，のタイミングで補間座標（Χ， Υ) を入力する。次に乗算器制御部 922 は、クロック CL の '2' のタイミングでひ， /5として Ζ²を出力し、乗算器制御部 924 は同じタイミング '2，で dとして歪補正係数 Aを出力する。次のクロック CLKの '3' のタイミングで、乗算器 923は入力されるひ， ?に基づいてァとして Z⁴を出力し、乗算器 925は入力されるひ， dに基づき同じタイミング '3，でどとして AZ²を出力する。同様に、続くクロック CL の '4'， '5，のタイミングでは、 d， £として B， B Z⁴を得、クロック CLKの '6', '7，のタイミングでは、 6， £として C， CZ⁶を得る。その結果として、クロック CLKの '8，のタイミングで、補正座標算出部 92⁶ から補間座標（X， Y) に対する元データの座標位置（Χ', Υ ') を出力する。

図 16の構成では、乗算器は 2つしかないが、乗算器を時系列で使うことで、実際には 6つ分の計算をさせている。結果的に乗算器を 1/3に減らすことが可能となる。さらに高次項を考慮する場合でも、同様の動作をさせればよい。ところで、図 17のタイミングチャートを見ると、歪補正座標変換処理においてクロックごとの各変数の出力データには時間的な隙間（空き）があるのが分かる。そこで、パイプライン処理により各変数の出力デ一夕を時間的に空きのないように連続的に出力させることが考えられる。

図 18は、図 17の動作を改善したものであり、パイプライン処理でのデ一夕出力のタイミングチャートを示している。図 17の動作タイミングでは、補間座標（Χ， Υ) の入力から 7クロック経過後に出力として元デ一夕の座標位置（X Υ') が得られている、つまり、 1つ結果が出るまでに 7クロック分の時間を要する。これに対して、図 18では、 10サイクル目に 1サイクル目と同じことが起こるので、 9サイクルで 3画素処理していることになる。つまり、見かけ上 3サイクルで 1画素処理していることになる。

これまでは、歪補正範囲算出部では 1つのチヤンネルについてしか歪補正範囲算出処理を行わない例について述べてきたが、次に前出の 1チャンネル分にかかつた時間と同じ時間で、 3チヤンネル分を 1つの歪補正範囲算出部で行う方法について説明する。これには、図 19に示すように、図 12の補正画像上の範囲設定において、注目領域の 4辺における範囲算出用画素を例えば 1ノ3の画素数に間引いて設定し演算処理させることで、 1チャンネル分の処理時間とほぼ同じ時間で終わることができる。間引き量はレジス夕設定で行う。図 19のように間引いた座標（黒丸を付したところ）でしか演算しないため、前出の処理時間と同じ時間で複数のチャンネル分に対応でき、しかも回路規模を増大させることがない。そうすると、例えばカラ一画像を扱う場合に、 R , G， Bごとに歪補正範囲算出部を設けなくとも 3チヤンネル分を 1つの回路部で動作させれば 1つの歪補正範囲算出部で済み、回路規模を増大させることなく、同じ時間内で済ませることができる。

図 2 0は、 3チャンネルの場合の歪補正処理の動作を説明するフローチャートである。図 1 4に示した歪補正処理を 3チャンネル分に適用したものである。図 2 0におけるステップ S 31〜S 33及びステップ S 35は、図 1 4のステツプ S 11〜S 13及びステップ S 15と同じである。

ステップ S 34では、 3チャンネルにおけるブロックライン毎の歪補正処理と、 1チャンネル目（例えば、 R) に対する次ブロックラインの入力範囲算出 2チヤンネル目（例えば、 G) に対する次ブロックラインの入力範囲算出 3チャンネル目（例えば、 B ) に対する次ブロックラインの入力範囲算出に対する入力範 TO出とを同時に実行する。

これにより、複数のチャンネルを扱う場合に、複数入力信号に対して同時に歪補正処理を行っている間に、複数入力信号に対してそれそれ次の処理対象であるブロックラインにつき歪補正範囲算出を順次に繰り返して行うことで、 1つの歪補正範囲算出部で複数チャンネル分の範囲算出を行わせることが可能である。また、歪補正実行中に、次に歪補正を行う画像入力範囲を算出するので、 1つのブロックラインの歪補正が終わったときには次の歪補正処理を行う画像入力範囲が分かっており、歪補正処理を次のブロックラインに対して遅れなく順次スムーズに行なっていくことが可能である。

以上述べたように本発明の第 1の実施の形態によれば、歪補正処理を行う入力画像範囲を算出する歪補正範囲算出部を設けたので、歪補正によって得られる補正画像は出力すべき出力範囲に対して過不足なく出力することが可能となる。元デ一夕を有効に活用して歪補正処理を行え、糸巻き型歪，樽型歪, 及び陣笠型歪にも対応できる歪補正処理が可能となる。また、ブロックライン毎の処理に必要な入力範囲を算出することができ、デ一夕転送量を最小限にすることが可能となる o

図 21は本発明の第 2の実施の形態の画像処理装置の全体構成を示すプロック図である。図 21は図 1から歪補正範囲算出部 12を削除した構成となっている。図 21における歪補正処理部の構成は図 2と同様である。

歪補正座標変換の [式 1]は、あくまでも全画面の中の画像であって、補正画像についてもその座標変換結果の（Χ', Υ') の画像にしても、全画面中で何処に位置しているかを計算している。

ところが、歪補正処理部 8に入力される画像デ一夕はブロックライン単位である。歪補正処理部 8としては、入力される画像デ一夕の空間的な位置関係（2次元空間における位置）を知る必要がある。制御レジス夕 85は、歪補正処理部 8 で処理するブロックラインの位置を指定している。：

図 23及び図 24は、補正前の撮像画像デ一夕と補正後の補正画像の関係を示している。図 23は撮影画像デ一夕、図 24は補正画像を示している。図 23及び図 24は補正画像（出力側画像）の或るブロックライン BLの或る画素位置 A に注目している場合の概念図である。補正画像（出力画像）内の位置 Aの座標（X, Y)は、歪補正座標変換の [式 1]を用いて（入力画像）内の位置 A'の座標 (X '， Υ') に変換される。

座標位置（X, Υ)及び（Xblst, Yblst)、座標位置（Χ'， Υ')及び（Χ' blst, Υ' blst) は、全画面の原点からの位置を示している。ここでは、原点は、全画面の左上端部としている。

歪補正ブロックへ入力される画像デ一夕は、符号 BLにて示すブロックライン単位である。そのため、まず補正画像の例えば画素 Aを歪座標変換処理するには、最終的な補間処理ができるようにブロックライン B L内での座標系における座標位置（x'， y') に変換する必要がある。

まず、図 24の補正画像（出力画像）の各画素に対する座標位置（X, Y)は、下記の [式 3]で生成する。

ぱ 3]

X = X blst +mx ΔΧ

Y = Yblst + nxAY

ΔΧ, ΔΥは補間ピッチで、 1. 0以上なら縮小画像が生成され、 1. Q以下なら拡大画像が生成される。座標位置（X blst, Y blst) は歪補正ブロックの出力側ブロックラインの左肩の位置、すなわち、ブロックラインのスタート位置に相当している。（m， n) = (0， 0) のとき、 X = X blst, Y = Y blst となるので、 [式 3]から座標位置（Xblst, Yblst) を算出できることになる。 m=0, n=0から始めて、 m， nを例えば交互に 1ずつ増やしていけば、ブロックライン BL内の全ての画素の座標位置（X, Y) を生成することができる。

この BLにし、 BL内全ての画像の座標位置を [式 1]に従って変換すると、図 23の変形したハッチング領域 BL〃にマッピングされる。図 23の BL，は、図 24の BLを処理するのに必要な入力デ一夕の範囲となる。（X， blst, Y， bl st>は、 BL，の左上位置であり、補間に必要な画素等を考慮すると、変形したハッチング領域の左上位置とは一致しない。 BL' は、図 1で説明したサポート機能（歪補正範囲算出部 12) を利用して設定する。

[式 3]で生成された補正後の出力画像の座標位置（X， Y) を、 [式 1] で座標変換して図 23の補正前の入力画像の座標位置（Χ'， Υ') を求める。そして、座標変換された座標位置（Χ，， Υ') と、座標位置（X， blst, Y， blst) との差分をとることにより、ブロックライン（太い点線の矩形）の左肩を原点とする座標位置（x'， y') を求めることができる。

その結果、このブロックライン内での座標位置（x'， y') に基づき、ブロヅクライン単位での補間処理を行えることになる。

図 23に示す入力画像側の太い点線で示すブロヅクライン BL' はレジス夕 8 5によって設定するが、その値を生成するためには、歪の変形を考慮して画像デ一夕の入力範囲（歪補正範囲）を算出可能とするサポート機能が必要となる。このサポー卜機能は、歪補正処理部 8の歪補正処理機能に付加するなどして設ければよい。

次に、図 25を参照して歪補正処理フローを説明する。図 25は図 23及び図 24の歪補正処理のフローチヤ一トである。

まず、図 24のハツチングを施したところのブロックライン処理を開始する（ステヅプ S 41)。前述の [式 3]で、（m， n) = (0， 0) とおくことにより（ステップ S 42)、図 24のハッチング領域の左肩、すなわちブロックラインのスタート座標位置（X blst, Y blst) を求める。そして、 [式 3]から補正画像の座標位置（X, Y) を求めることができる。この場合、m， nをそれぞれ 1ずつ増やしていけば、図 24のハッチングで示すブロヅクライン B L内の各画素の座標位置 (X, Y) を生成することができる（ステップ S 43)。

次に、 [式 1] を用いて補正画像における座標系の位置（X, Y) を、補正前の撮影画像における座標系の位置（Χ'， Υ') に変換する（ステップ S 44)。そして、撮影画像における座標系の位置（Χ', Υ') を、前述した方法で入力ズロックライン BL内の座標系の位置（x'， y') に変換する（ステップ S 45)。次に、このブロックライン BL内での座標位置（x'， y') に基づいて補間処理を行い、座標位置（Χ', Υ') における 16点補間などで周辺の複数の画素デ —夕から補間データを算出することで、 1画素分の補正画像デ一夕が得られる（ステツプ S 46)。

そして、以上のステップが、補正画像の座標系の BL内全画素について行われたか否かについて判断し（ステップ S 47)、終了していなければ次の m, nを設定して（ステップ S 48)、ステップ S 43〜S 47を繰り返し行い、ステップ S 47 の判定で全画素について理が終了していれば、ステップ S 49に移行する。ステップ S 49 では、全画面（フレーム）内の全てのブロックライン BLについて歪補正処理が終了したか否かを判断しており、終了していなければ次の入力ブロックライン BLを選択し、ステップ S 41〜ステップ S 49を繰り返し、ステップ S 49の判定で全画面ついて処理が終了していれば、終了する。図 26〜図 29は、図 25の変形例とも言うべきものである。

デジ夕ルズームを行う場合や注目する小領域のみを切り出す場合、撮像デ一夕の一部しか使わなくても構わない。選択的に CCDから撮像デ一夕の一部を取り込むことでメモリを節約することができる。この場合に歪補正をブロックライン単位で行うためには、取り込まれたデータが、撮像素子上でどこに位置するかの情報（X， imgst, Y， imgst) が必要である。

図 26及び図 27は、デジタルズームの場合を示し、撮像した画像データから中央部分のみを取り込むものである。図 25の場合と異なる点は、上述したように、全画面の中で何処を取り込むかをプリプロセス回路 2で設定している点である。この設定に基づいて必要な部分のみを取り込んでおり、その範囲を図 26の E' で示す。

まず、図 27で全画面の中のデジタルズームする範囲 Eの左肩に当たるスタート位置（X imgst, Y imgst) を設定する。次に、ブロックライン BLを設定するが、ここでは梨地にて示す部分である。このとき、取り込み範囲 Eの左肩を原点とする、位置座標（Xblst, Y blst) が決定し、 [式 2] と同様に m， nを変化させることで、ブロックライン B L内における各画素の座標を生成することができる。

この結果、座標位置（X imgst, Y imgst), (X blst, Y blst), (πιΧΔΧ, η ΧΔΥ) から全画面の座標における位置（Χ， Υ) が決定される。.

撮影画像における座標位置（Χ', Υ') は、上記のように決定された座標位置 (X, Υ) から [式 1] を用いて求めることができる。

そして次に、撮影画像データにおけるブロックライン BL，の中での座標位置 (x'， y') を求める。

まず、取り込まれた撮像デ一夕の撮像面における設定範囲 E' から左肩の座標 (X， imgst, Y， imgst) が分かる。取り込み範囲 E，の左肩を原点とする座標で、ブロックライン BL，の左肩の座標位置（X， blst, Y' blst) はサポート機能を利用して予め求められており、ブロックライン BL' 内での座標における座標位置（x '， y ^J ) が決定される。その結果、ブロックラインごとの補間処理が行われる。

図 2 8及び図 2 9は撮像デ一夕から或る領域、例えば画面の端の方を切り出す場合である。これは、監視カメラなどにおいて、撮像デ一夕の端部分を取り込むような場合に相当する。図 2 8及び図 2 9の場合も、図 2 6及び図 2 7と同様な符号を付してある。図 2 6及び図 2 7と切り出す位置が異なっているだけで、図 2 6及び図 2 7の場合と同様な動作となる。

なお、通常のデジタルカメラでは、 C P Uが制御レジス夕に切り出す領域を設定するため、切り出し位置が分かっており、上記の変換が可能だが、記録後のデ —夕に歪補正処理を行う場合ではタグ等に切り出し領域の位置とサイズを同時に記録する必要がある。このとき、同時に補正係数も記録しておく。

ところで、撮像素子としての C C Dにはモニターモード（撮像した.全画面を読み出さないモ一 'ド）が用意されることが多い。モニターモードでは、ラインが間引かれることが多く、撮像素子における 2次元空間的には同一でも、データ上では.サイズが異なることがある。また、プリプロセスにおいて、横方向の画素も間引かれることがある。また、 C C Dからの撮像デ一夕に口一パスフィル夕（L P F ) などのフィル夕リング処理をかけたり、補間処理をしてフレームメモリに取り込むことがある。この場合、縦横のサンプリング比が整数にならない場合が生じる。さらに、？£ 0にぉける丫〇 1? 0^の記録では、（ 1)ゃ（^成分の横方向は 2倍の間隔でサンプリングされることが多く、データとしては横方向が縮んだ形になる。これらは、 [式 1 ] では、 S x， S yによって補正する。

図 3 0は、撮像時のデータ取り込みにおいて、実際に C C Dから送られてくるデータが黒丸印のところしかなく、縦方向に 3ライン間引いている状態を示している。モニタ—モードでは、このように C C Dからは間引かれたデ一夕しか出力されず、これをメモリに取り込むと、図 3 1のように間引きによって上下方向につぶれた画像デ一夕となる。図 3 2のように、空間的に中心から同じ距離にあるデータを取り出しても、図 3 1のように縦方向では横方向に対して画像が短く出力されるという現象が現れる。この結果、 [式 1 ] による歪補正では、中心からの距離が遠いほど歪補正の効果が大きくなるようにしてあるので、縦と横で、歪補正の効果が変わってしまう。

このように縦と横で画像が非対称となるのを補正する目的で、補正係数 S X ,

S yが設けられている。図 3 1の場合には、縦方向に伸ばす必要があるため、 S X = 1 , S y = 4とする。

この S x， S yの効果により、縦，横のサンプリング比が異なっても正確な歪補正が可能となる。

また、前述のように、サンプリング比が整数でない場合は、 S x， S yも非整数で設定すればよい。さらに、撮像素子の各画素の間隔が縦横で異なる場合でも可能（例えば長方画素）である。

ところで、通常、 J P E Gですと Y C b C rというデ一夕で記録されるのがー般的であるが、そのときの設定として、図 3 3及び図 3 4に示すよう場合が考えられる。例えば、 Y C 4 2 2という形式のデ一夕の場合は、輝度データに比べて.色デ一夕についての解像度は横方向が 1 Z 2となっている。この場合は、色デ一夕については S x = 2， S y = lと設定して、補正処理を行えばよい。

ところで、歪の中心と画像の中心が一致しない場合、補正前に中心にあった被写体が、補正後は中心からずれてしまう。 [式 1 ] では、中心ずれ補正値 (X off, Y off)で補正することにより、補正前後で画像の中心に来る被写体が変化しないようにすることが可能である。

図 3 5は、画像の中心ずれを説明する図である。

図 3 5は補正画像を示す。前述の図 4では、歪の中心と画像の中心が一致している、すなわち、 C C Dの中心（画像の中心）がレンズ光軸（歪の中心）に一致している場合であった。

図 3 5は、 C C Dの中心に対して歪の中心がずれている場合である。図 3 5では、歪中心（X d， Y d) が画像の中心と異なるので、中心ずれを考慮せずに歪補正を行った場合、出力範囲 Hに対する画像の中心 Pが Q点（大きな黒丸にて示す）にずれる。ユーザにとっては、実際に撮影した画像と歪補正後に表示される画像の中心がずれると、非常に違和感を感じるものである。そこで、元々歪補正前に出力範囲 Hの中心にあったデ一夕を、出力範囲に対して中心の位置にくるようにするために、歪補正された画像データの切り出した方を変える。それを行うためには、画像の中心ずれを (X off, Y off)で定義して、画像デ一夕の切り出した方を変えればよい。画像の中心ずれ (X off, Y off)を設定することで出力範囲を Hから H ' に移動させ、元々画像の中心 Pにあった被写体を、補正後の出力範囲 H，においても中心にくるように補正することができる。

図 3 5の実施例によれば、中央の被写体がずれることによる違和感を無くすことが出来る。

以上述べたように本発明の第 2の実施の形態によれば、小領域（例えばブロックライン）の空間的な位置を算出可能とし、小領域単位での歪補正処理を実現することができる。また、間引き取り込みされた画像デ一夕に対しも'、正確な歪補正を行える一方、デジタルズームなど、任意領域を切り出したデ一夕に対しても JE確な歪補正を行うことができる。

本発明の第 3の実施の形態の画像処理装置の全体構成は、図 2 1と同様である。図 3 7は、図 2における歪補正処理部 8の詳細な構成を示している。

図 3 7の各部と図 2の各部との対応関係を説明する。図 3 7における補間位置算出回路 2 2が図 2の補間位置生成部 811に、セレクタ 2 4が図 2のセレクタ 8 13 に、歪補正係数算出回路 2 1及び補間位置補正回路 2 3が図 2の歪補正座標変換部 812に、それぞれ対応している。また、図 3 7における 2ポート S R AM 2 6が図 2の内部メモリ部（内部バッファ） 8 2に対応し、書込みアドレス生成回路 2 8 , バッファ空き容量監視回路 2 9 , デ一夕送信可否判定回路 3 0 , バヅファ閧放量算出回路 3 1及び読出しアドレス生成回路 2 5が図 2のメモリ制御部 8 3に、補間回路 2 7が図 2の補間演算部 8 4に、それぞれ対応している。エラ —検出回路 3 2は、図 2には図示していないがメモリ制御部 8 3に接続して設けられている。エラ一検出回路 3 2は、歪補正処理において歪量が大きくなり後述する preULB、 p o s t U L Bの設定値を越える歪が発生したときに、エラ ― (ERROR) として CPU 4に伝える機能を有するものである。

補間位置算出回路 22は、歪補正処理部 8の後段回路からのリクエストに応じて後段回路へグラント（リクエスト受付）を返したときにそのグラントをトリガとして、 1ユニットライン（以下、 1 ULという）分の補間位置（X 1， Y 1) を算出するものである。ここで、 1ULとは、前述したブロックライン処理において、メモリ部への書き込み，読み出しの際に、列方向に一列に並んだ一定数分の画像デ一夕を書き込んだり，読み出したりする際の一単位である。つまり、 1 ULは、ブロックライン（BL) 上の列方向に一列に並んだ一定画素数のデ一夕を指している。

補間位置補正回路 23は、歪補正係数算出回路 2 1からの歪補正係数 Fを補間位置（X 1, Y 1) に乗算して、歪補正前の元デ一夕の座標位置（Χ', Υ') を計算する。セレクタ 24は、（X l， Υ 1) と (Χ，， Υ') を選択するもので、歪補正を行う場合は（Χ'， Υ') を選択して出力し、拡大 ·縮小処理（リサイズ）のを行う場合は（XI, Y1) を選択して出力する。

2ポート S RAM 26は、歪補正処理部 8内におけるデータを格納するバッファである。

読出しアドレス生成回路 25は、補間位置に対応する 2ポート SRAM 16内のアドレス（ADR) を生成したり、 2ポート SRAM26からの出力を整列するための制御信号を出力したり、出力画像デ一夕に同期して書き込み制御信号 WE_Nを出力したり、図 38及び [式 3]に示す D 0が 2ポート SRAM上のどこの位置かを知らせるデータ列制御信号を出力したりする。

書き込みアドレス生成回路 28は、書き込み制御信号 WE に合わせて内部メモリである 2ポート SRAM26のアドレス（ADDRESS) を生成したり、 1 U L分のデ一夕入力が完了したら、その内部カウン夕（BLC) をカウントアップす o

デ一夕送信可否判定回路 30は、 BLC値，本回路の動作状態，次の UL先頭座標，歪補正処理部 8の後段回路からのリクエスト（REQ) 状態とから、後段回路からの REQ信号に対してグラント（GRANT— N) を送信できる状態にあるかを判定し、グラント送信可能なら GRANT— N= lとする機能を有する。

補間回路 27は、補間位置に対応する画像デ一夕につき、 16点補間を行う。バッファ開放量算出回路 3 1は、現在処理中の UL先頭座標と、次に処理予定の UL先頭座標の整数部の差をバッファ開放量（図 50参照）として算出する。バッファ空き容量監視回路 29は、内部バッファとしての 2ポート SRAM2 6に格納されているデ一夕（UL) 量を保持し、バッファに空きがあれば、歪補正処理部 8の前段回路に対してリクエスト（REQ = 1) を送信する。

次に、図 37の歪補正処理部 8の回路動作を説明する。

まず、内部メモリ部（内部バッファ）である 2ポート SRAM26に空きがある場合、バッファ空き容量監視回路 29から前段回路に対してデーダ要求としてのリクエスト（REQ) を送信すると、バッファ空き容量監視回路 2'9は前段回路からリクエスト受付としてのグラント（GRANT) を受信し、この受信と同時に 2ポート SRAM26に格納可能な UL数を記憶するカウン夕（回路 29内にある）を 1つ減らす。 1回のリクエストとグラントで 1ULを一動作単位としてデ一夕転送する。上記カウン夕が 0になったらリクエストを取り下げる。そして、前段回路から書込みアドレス生成回路 28へデ一夕が流入し、 2ポート SRAM26への書込みが行われる。 1 UL入力毎に書込みァドレス生成回路 18の内部カウン夕（BLC) がアップする。

2ポート SRAM 26は、補間回路 27にて例えば 16点補間を行えるように、図 39の如く読出しと書込みが同時に行える 2ポート SRAMが 4 x 4の計 16 個で構成されている。 .

ここで、図 39を用いて、 2ポート SRAM 26を説明するが、メモリの数や各メモリの大きさは異なっていても構わない。例えば、図 39では、ブロックラインの幅（ULの長さ）を 96としているが、もっと長くしても短くしても構わない。回路規模と補正性能とのバランスで決めればよい。また、 4 x 4 (計 16 個）も、 4点補間であれば 2x2 (計 4個）で構わない。補間方式 (何点で補間するか）に合わせて決めればよい。

図 39は、 16個の 2ポート SRAMからなるメモリ空間で、横方向は入力される U L順であるが、縦方向は各 2ポート S R A Mごとに付したアドレスである。 Nを整数とし、処理のある時点での状態を説明する。縦方向に並んだ 4つの各 2 ポート SRAMである No.O, 4， 8, 12に格納するデ一夕は、 4N, 4N + 4， 4N+8, 4 N+ 12番目の ULのデ一夕であり、 No.l, 5， 9, 1 3に格納するデ一夕は、 4N+1, 4N+5， 4N+9, 4N+13番目のUL のデ一夕であり、 No.2, 6， 10， 14に格納するデ一夕は、 4N + 2, 4 N+6， 4N+10, 4 N+ 14番目の ULのデータであり、 No.3, 7， 1 1， 15に格納するデ一夕は、 4N+3， 4N+7, 4 N+ 11 , 4N+15番目の ULのデ一夕である。

横方向に並んだ 4つの各 2ポート SRAMである No.O, 1, 2； 3及び N o.4， 5, 6, 7及び No.8, 9, 10， 11及び No.12, 13， 14， 1 5.の各組についても同様に格納されている。

図 40及び図 41を使って、各 2ポート SRAMにデータが書き込まれる様子を説明する。図 40及び図 41では、図 40に示すように、幅 8ライン（画素）のブロックラインを想定しており、デ一夕は、 UL単位に「1, 2，···， i, m」、「5， 6,…， j, n」、「9, 10，…， k, o」、 …という順序で入力される。図 41は図 40に示した書込み順番のデ一夕が 4 X4の 16個の 2ポート SRA M No.O〜Νο.15上のどこに書き込まれていくかを示している。例えば No.O, No. 4， No.8, No.12 には、図 40の左側縦一列の 1 UL分の画像データ（順番 1〜 m で示されるデータ）が分散されて格納されていく。なお、図 39に示される縦方向の 2ポート SRAM No.0， No.4， No.8, No.12の各縦ラインごとに付された表記 0〜92，：！〜 93, 2〜94， 3〜 95は、図 40で示される各ユニットライン（1〜 m ···、 5〜 n ···、 9〜θ···、 · · · ·）の表記とは異なっている。これは、図 40及び図 41では、 4 X 4の 16個の画像データにつき鲁き込み順が分かるように 1〜：6， a〜p, A〜P, …と 16個の塊ごとに符号を付してあるためである。図 39の場合はその縦方向の 2ポート SRAM No.0， No.4, No.8, N 0.12の各縦ラインごとに付された表記は、縦方向の 1つの ULにおけるデータ順に相当する。 2ポート SRAMNo. 0, No. 4, o. 8， No. 12のそれそれには 1つの U L画素デ一夕 Νο·0〜 95が交互に分散して記載されている。従って、図 39の縦方向に並んだ 4つの各縦ラインには 1つのュニヅトライン（U L) の画素順（0〜95) の何番目の画素であるかを示す表記が付されている。図 39の 2ポート SRAMの No.Oの縦方向には ULの 4の倍数の画素（0, 4, 8 … 92) が格納してあり、 2ポート SRAMの No.4の縦方向には ULの（4の倍数） + 1の画素（1， 5, 9… 93) が格納してあり、 2ポート SRAMの No. 8の縦方向には U の（4の倍数） +2の画素（2, 6, 10… 94) が格納してあり、 2ポート SRAMの No.12の縦方向には U の（ 4の倍数） +3の画素 (3， 7， 11〜95) が格納してある。さらに、 2ポート SRAMの o.1, 2， 3及び No. 5， 6， 7及び Νο·9， 10 , 11及び Ν ο.13， 14, 15の組についても同様に格納してある。

再び図 39に戻って、 1UL分のデ一夕は縦方向に並ぶ 4つの 2ポート SRA Μに 1画素づっ順に格納されている。最初の ULデータは No. 0， 4, 8， 1 2 (図 39の 4Nのライン）に書き込まれる。次の ULデ一夕は No. 1, 5, 9, 13 (図 39の 4 N+ 1のライン）に書き込まれる。図 39のバッファ形態では、歪補正処理によって補間位置がどのように移動しても、バッファ内の任意の座標周辺 16点を 1回のアクセスで同時に抽出することができる構成としてある。

デ一夕送信可否判定回路 30が後段回路からリクエスト（REQ— N) を受信し、次の ULデ一夕が送れる状態にあればリクエスト受付（GRANT— N) を出力する。このリクエスト受付（GRANT— N)は自分自身へのトリガとなり、補間位置算出回路 22が動作を開始し、 1UL分動作したら次の UL先頭座標を算出して終了する。補間位置算出回路 22が動作開始して補間位置（XI, YD を出力するのと同期するようにデ一夕送信可否判定回路 30からは歪補正係数算出回路 21へ動作トリガ（t rig) を送る。歪補正係数算出回路 21も補間位置算出回路 22 と同様、 1 UL分動作したら次の UL先頭座標を算出して終了する。

読み出しアドレス生成回路 25は、入力される補間座標から、 2ポート SRA M26の 16個夫々に読み出しアドレスを発行する。 '

次に、読み出し及び補間の方法について説明する。

補間方法を図 38に示す。図 38は補間回路 27における補間演算のイメージ図である。補正座標位置 Pの座標（Χ'， Υ') は前出の [式 1]で既に求めてある。この座標における画素値（輝度データ）を求めるのに、座標 Ρ (Χ'， Υ') の周辺 16点の画素デ一夕 D 0〜D 15から求める。その内、 D 0が 16個のメモリのどのメモリから来ているかが分かれば、 D 1， D 2 ···, D 15は D 0に対する位置関係から分かる。後述するように、 DOは補間位置の座標につて求まる。

図 42は 16個の 2ポート SRAMからなるバッファからの読出し例を示している。今、補間位置（Χ，， Υ') が X， =10. …， Υ， =50. … （…は小数点以下の数字）とすると、 X， =10. …は（4x0+10)以上であるから、横方向には 2ポート SRAMの 4 Ν+ 10番目の U Lより若干右側に補間位置が来る。 Y， =50.…は（4x 12 + 2)以上であり、 4Ν+ 10番目の ULで、 50番目の画素が格納されているメモリ .（No. 10) が図 7における画素 D 5 を出力するので、 DOを出力するメモリは、その左上にある No. 5となる。図 38の D 0〜D 15に対応する画素デ一夕は図 42の〇部であるので、それらが出力されるようにアドレスを生成する。

No. 0から出力される画像デ一夕が D 0には対応しない。図 10の例では、 No. 5からの出力が D 0に対応する。このため、どのメモリからどのデータが出力されているかを識別するため、読出しアドレス生成回路 25からデ一夕列制御信号を出力し、これによつて、補間演算を行う補間回路 27は D0が 2ポート SRAM26のどこから出ているかを認識して 16点補間を行う。

画素データ DO〜D 15が分かれば、 [式 4] の補間式による補間処理を行うことによって、補正座標位置の画素データを D outとして求めることができる。

[式 4]

Dout = k_xo (kyo Do + kyi D4+k_y2 D₈ + ky₃ D|2 )

+ k_X| (ky₀ D| +ky| D₅ + k_y2 Dg+ky₃ D|₃ )

(ky₀ D₂ + ky| D6+ky₂ D[0 +ky3 D|₄ )

+ k_x3 (k_y0 D₃ + ky| D₇ + k_y2 D|| +k_y3 D ) 最後の ULデ一夕出力の後、バッファ開放量算出回路 31は今処理し終わった

UL先頭座標と次の UL先頭座標との差を計算し（図 50参照）、必要なくなつたデータの蓄積されているバッファを開放するため、ノッファ開放量をバッファ空き容量監視回路 29へ出力する。ただし、歪中心を跨ぐ時のバッファ開放量は、図 49に示すように po s t ULB 1， post ULB 2の値変化も考慮した量を開放することが好ましい。図 48に示す pr eULB、 postULBとは、 ULを形成する画素のうち、最初の画素の座標位置に対して、行方向に対して前側及び後側に所定幅の領域を設けたもので、これらをそれそれ pr eULB、 p o s t ULBと定義している。歪中心を跨いだ時はバッファ開放量を通常の UL 先頭座標の差ではなく、参照値の変わる p O S tULB (ULB： Unit Line Buf fer の略、ユニットラインバッファ）の変化量を参照してバッファ開放量を調節する（調整量は、 postULB l— postULB2で、図 49参照）。

(UL先頭座標の差） + (調整量）がマイナスになる場合は、マイナス値を記憶しておく。処理が進んでパッファ開放量がマイナス値を超えるまでバヅファの開放を行わない。

前述のバッファ開放量の算出と共に、バッファ開放量算出回路 31は次の UL 処理にあとどれだけ前段回路からデータが必要かをデータ送信可否判定回路 30 へ送 - ο

ノ、'ッファ空き容量監視回路 29は前述のパッファ開放量の算出によってバヅファに空きができたら、前述の前段回路へのリクエストを行う。

データ送信可否判定回路 30は書込みァドレス生成回路 28の内部カウン夕 (BLC) とバッファ開放量算出回路 31からの人力と pr eULB値とに基づいて、次の ULデ一夕を送れるかどうかを判断する。デ一夕送信可否判定回路 3 0は、後段回路のリクエストに対してリクエスト受付（GRANT_N) を返す。エラー検出回路 32は、読出しアドレス生成回路 25に入力される座標がプロックライン（BL) の左端（図 43参照）や右端を逸脱したり、ブロックライン (BL) の上下端（図 44参照）を逸脱したり、歪量が preULB、 post ULBの設定値を逸脱（図 45参照）した場合にエラーを出力する。これらのェラーの出力は、座標を判別して出力することになる。図 43及び図 44の場合には、エラ一を出力するが、処理は継続する。図 45の場合も、エラーを出力するが、処理は継続する。図 45の preULB、 p o s t U L Bの場合については、エラ一を出力するだけではなく、逸脱した量を記憶し、レジス夕に設して CP U 4がデ一夕として取得できるようにしておく。

.このように、ブロックライン処理で、出力側の画像に対して入力側の画像を補間算出しているときに入力画像の範囲からはみ出すようなときがある。その場合、入力範囲にデ一夕がない部分で補間デ一夕を生成することになり、エラー検出回路 32から補間ができない旨のエラーを出力することになる。

図 46にあるように、歪の中心座標に対して、画像の歪み方は照的になる。また、歪みは一般的に中心に近いほど小さく、離れるほど大きくなる。そこで、 BLの両端にある ULの変形を考慮し、バッファを確保すれば、全ての ULにおいて、補間処理でデ一夕が不足することは通常はない。そこで、補間する最初の座標（図ではブロックライン BL内の画像デ一夕の一番上の X印にて示す先頭座標）に対して前方（図示右側）に所定の領域 pre ULBを、後方（図示左側）に所定の領域 P os tUL Bを設ける。

サポート機能は、図 1の「歪補正範囲算出部」の部分に該当する。図 12において、注目領域が BLとなるが、歪補正の座標変換で図 13のように変形される。このとき、 X' TL， Y， TL， X Lmin, X Lmaxから p r eULB 1 /p o s t ULB 1が決められる（図 48参照）。同様に、 X， TR， Y， TR, X Rmin, X Rmaxから preULB2/pos t ULB 2が決められる。

さらに、 UL処理において、歪の中心を通過すると、光学的歪の曲がり方が逆方向となる。すると、図 46のように、歪中心の左右では p r eULB、 pos t ULBの値が異なる。この値を、左右どちらにも対応できるよう、図 47のように右側で最も大きい p o s t ULBを採用し、左側で最も大きい p r eULB を採用すると、左側又は右側の一方側の処理のときに必要もないのにもう一方側のデ一夕を大きく（すなわち、バッファを広く）確保しておかなければならず、バッファの無駄である。

そこで、 preULBと pos t U L Bで予め同じ大きな値で両方決めておくのではなくて、 preULBと pos t ULBを変数としてそれぞれに値を入れるようにする。歪の中心座標を過ぎたら、これらの値を変えてやって確保量を変えるようにする。すなわち、歪中心前後で p r eULB、 postULBを変化す.ることにより、内部バッファの使い方に無駄をなくし、小さなバッファで比較的大きな歪補正を行える。

re, p o s t ULBをレジス夕 85に設定するが、それらの値を生成するためには、歪の変形を考慮して画像データの入力範囲を算出可能とするサボ一ト機能が必要となる。このサポート機能は、歪補正処理部 8の歪補正処理機能に付加するなどして設ければよい。メモリ制御部 83は、 1UL処理中は他の処理によって前記領域 p r eULB,po s t U L Bが上書きされないように制御する。前記領域 P r eULB, pos t ULBの設定は、 CPU 4からレジス夕 85 (図 2参照）に設定しても構わないし、 CPUで自動的に計算をして設定してもよレ、。歪補正処理において 16点補間すると前に述べたが、図 48に示すように、歪補正によって補間位置は 1UL処理の間に a (ただし、 a〉0) だけ動き得る。 16点補間する関係上、入力画像範囲としては pre側， post側とも上記間隔 aに、補間に必要な画素分の間隔 b L， bRを加えた範囲が必要となる。歪中心を越えると、 p r e， p o s t U L Bの値を変えることで、ノ、"ッファを必要最小限に絞る。また、前述の「歪補正算出部」で、補間分を考慮して結果を出力させてもよい。

歪補正処理部 8の持っている内部メモリ部（内部バッファ） 8 2は、図 3 9の場合、最大で縦 9 6画素の横に 1 6ライン（画素）である。これを使って歪補正していくことになる。ブロックライン処理のデータは少なくとも 1 U Lずつ図示右方向にスイープしていく。一気に数 U L開放されることもあるので、必ずしも 1 U Lずつスイープするわけでない。内部メモリ部 8 2は、はじめば空の状態からスタートするので、 1 6ライン分入ってきて、歪補正処理を行う。これらのュニットラインを処理していくと、左側のラインに不要なデ一夕（ 1から数 U L分のデータ）が生じることになる。なお、処理したら必ず不要になる訳ではなぐ拡大率が大きい時は不要になるまで数 U Lかかることもある。不要なデータ分はバッファを開放（すなわち、上書き許可）していって新しいデータを'入れていくことにする。スイープしていく画像は右側にずれていく。最大 1 6ライン読み込めるサイズしかないので、要らなくなったデ一夕領域は開放して新しいデ一夕を順次上書きしていくようにする。不要となったバッファ領域は全て一気に開放してしまう。その開放量は 1ラインであるかもしれないし、 5ラインであるかもしれない。例えば、はじめの 3ライン分のデ一夕がバッファに入っていたものを以降の処理に不要であるので開放してしまって次のデ一夕を受け付けるようにして、次のデ一夕が上書きされる。

ところで、 1 U L処理が終わった後に開放できるバッファの量は、次の U L先頭座標が決まらなければ分からない（図 5 0参照)。内部バッファは小さいので、使わなくなったデータが格納されている部分をできるだけ早くに開放する為、次の U L先頭座標を算出して開放量を取得し、バッファを開放することで内部バッファを有効に利用できるようにする。ところが、歪補正に対して後段の回路プロックからリクエストが来てそれに対するグラントを返して 1 U Lのデ一夕を後段へ出力し、また次のリクエストが来てからグラントを返した後、座標を求めてというように動作させると、バッファの開放が遅れ、これに伴って、新しいデ一夕の取り达みも遅れ、結果として、パイプライン動作に長い空きができてしまうことが起こり得る。そこで、図 5 1に示すように先の歪補正処理（図示の座標 1〜 nの処理）を行っている段階で、後段の回路ブロックからリクエストに関係なく、座標 nの処理が終わったら次の先頭座標 n + 1を演算して開放量を求め、バッファを早期に開放してしまう。これにより、前段回路ブロックから新たなデータ入力が比較的早く行なわれ、パイプラインの空きを詰めることができる。しかしながら、図 5 1の場合であると、座標 nの処理をした後、画素 n + 1を座標を計算してから処理を終了するので、図 5 2のようにバッファ内に次の U L処理に必要なデ一夕が揃っているのに、後段からのリクエス卜が連続するとパイプラインに空きが生じる。依然としてパイプラインの空きは存在するので、リクエストが連続した時は、装置全体の動作速度に悪影響を及ぼす恐れがある。

そこで、図 5 1の改善策として、図 5 3のように、なるべく早く ίこ次の座標が決まってバッファの開放量を求める方法がある。図 5 1のように一番最後に次の先頭座標を求めるよりももつと早い段階で次の U L先頭座標を取得しておき、必要なデ一夕が揃っていると判断されたら、次の U L処理を連続して行うことで処理の空きを小さくする。すなわち、 1 U L処理が終了する前に U Lのデ一夕をレジス夕等に保持しておいて、次の U Lの先頭の座標位置を算出することで、予め次の U L処理の開放量を求めておく。図 5 3では、先の歪補正処理（図示の座標 1 ~ ηの処理）の 2画素目に次の U Lの先頭座標を求めておいてバッファ開放量を早い段階で取得する。これによつて、バッファの閧放を早くすることができ、図 5 4に示すように図 5 2に比べてパイプラインの空きをかなり少なくできる。しかしながら、回路的に複雑となり、制御も困難となる問題点がある。

そこで、図 5 3をさらに改善したのが、図 5 5である。図 5 5では、現在処理中の U Lが終わった時に開放する量（閧放量 1 ) は前の U L処理中に既に分かつている。座標 ηを算出した後、 2つ先の U L先頭座標を計算し、次の U L処理が終わった時に開放できる量（開放量 2 ) を予め求めておく。このようにすると、図 5 3の場合のように U L処理中に例外的な座標生成（座標 2の生成）を行う必要がない。このように、次の U Lの先頭ではなくて次の次の 2つ先の U Lの先頭座標を求めておけば、図 5 3のような例外的な処理がなくなるので、回路的には簡単になる。

以上述べたように本発明の第 3の実施の形態によれば、バスの転送量ゃメモリの容量を大きく増大させることなく、歪補正を実現することができる。すなわち、小さなバッファ容量で比較的大きな歪補正処理を行うことが可能となる。産業上の利用可能性

デジタルカメラ等の電子的撮像装置に用いられる画像処理装置、画像処理方法及び歪補正方法に広く利用可能であり、回路規模やデータ転送量を増大させること無く、歪補正機能を実現し、歪補正処理を行う場合に、空間的な位置を算出し、元デ一夕である'撮影画像データを有効に活用した歪補正処理を行え、糸巻き型歪，樽型歪，及び陣笠型歪などの歪曲収差に基づく歪に対しても有効な歪補正処理を行うことができる。

Claims

1 .歪補正手段を有する画像処理装置であって、

該画像処理装置は、さらに、

前記歪補正手段が歪補正処理を行う入力画像範囲を算出する歪補正範囲算出部を有することを特徴とする画像処理装置。

2 . 前記歪補正範囲算出部は、請

補間座標を生成する座標生成部と、

前記生成された補間座標に対して所定のの歪補正式を適用して変換した座標を出力する歪補正座標変換部と、

前記変換された座標位置から前記入力画像範囲囲を算出する補正範囲検出部と、を有することを特徴とする請求項 1に記載の画像処理装置。

3 . 前記座標生成部は、歪補正後の出力画像範囲における辺縁部の各'画素に対応する座標のみを用いて補間座標を生成することを特徴とする請求項 2に記載の画 ^処理装置。

4. 前記出力画像範囲は矩形であって、前記座標生成部は、該出力画像範囲の 4 辺の各画素に対応する座標のみを用いて補間座標を生成することを特徴とする請求項 3に記載の画像処理装置。

5 . 前記歪補正範囲算出部は、座標変換により生成された座標に対し、前記出力画像範囲の 4辺の各辺に対応する画素の座標の最大値と最小値および前記出力画像範囲の 4頂点に対応する座標の少なくともいずれかから前記入力画像範囲を算出することを特徴とする請求項 1〜 4のいずれか 1つに記載の画像処理装置。

6 . 前記歪補正座標変換部は、前記所定の補正式に含まれる演算を時系列に処理することを特徴とする請求項 2に記載の画像処理装置。

7 . 前記座標生成部は、前記歪補正処理のための補間座標に対して所定の間引きを行つて座標を求めることを特徴とする請求項 2に記載の画像処理装置。

8 . 前記歪補正範囲算出部は、歪補正処理を行う複数入力信号に対して順次範囲算出を繰り返して前記入力画像範囲を算出することを特徴とする請求項 1に記載の画像処理装置。

9 . 前記範囲算出を繰り返し処理で行い、入力画像範囲に対して歪補正後の画像範囲が所定の範囲になるような補正倍率 Mを決定することを特徴とする請求項 1 又は 8に記載の画像処理装置。

1 0 . 前記歪補正範囲算出部は、

前記歪補正処理部が歪補正実行中に、次に歪補正を行う画像入力範囲を算出することを特徴とする請求項 1に記載の画像処理装置。

1 1 . 歪補正処理を行う画像処理方法であって、

前記歪補正処理を行うに際して、歪補正処理を行う入力画像範囲を算出することを特徴とする画像処理方法。

1 2 . 画像デ一夕に対して歪補正処理を行う歪補正手段を有する画像理装置において、

前記歪補正手段は、

j 正前の画像デ一夕内において、補正画像の各画素が対応する位置を所定の補正式に従って算出する際、撮像面における空間的な位置を記述可能な座標系において算出することを特徴とする画像処理装置。

1 3 . 前記歪補正手段は、

補正画像に含まれる第 1の小領域を単位に処理を行い、

前記第 1の小領域の各画素の座標位置を前記補正式に従って変換した小領域を含む撮像面における第 2の小領域について、前記撮像面に対応する座標系での位置を、前記第 2の小領域での座標に変換した後に、

前記補正画像の各画素のデ一夕を生成することを特徴とする請求項 1に記載の画像処理装置。

1 4 . 前記画像デ一夕は、

撮像デ一夕の一部のみを取り込んだ部分画像デ一夕であることを特徴とする請求項 1 2又は 1 3に記載の画像処理装置。

1 5 . 前記部分画像データは、

前記撮像デ一夕の一部を切り出したデ一夕であることを特徴とする請求項 1 4 記載の画像処理装置。

1 6 . 前記部分画像デ一夕は、

前記撮像デ一夕の横または縦の少なくとも一方向に間引かれたデ一夕であることを特徴とする請求項 1 4記載の画像処理装置。

1 7 . 前記画像デ一夕は、

前記撮像デ一夕に対してフィル夕リング，空間サンプリングまたは補間処理の少なくともいずれか 1つを行って生成されるデ一夕であることを特徴とする請求項 1 2記載の画像処理装置。

1 8 . 前記画像データは、

各画素が撮像面で空間的に位置する間隔が縦方向及び横方向で異なることを特徴とする請求項 1 2に記載の画像処理装置。： '

1 9 . 画像デ一夕における各画素の空間的なサンプリング間隔が縦横で異なる場合、歪補正前の画像内における座標を求める補正式は、縦横でのサンプリング間隔の違いを補正する係数を含むことを特徴とする請求項 1 2〜1 8のいずれか 1つに記載の画像処理装置。

2 0 . 歪補正前の画像内における座標を求める補正式は、

所定量のオフセット補正が可能であることを特徴とする請求項 1 2〜1 9のいずれか 1つに記載の画像処理装置。

2 1 . 前記オフセヅ卜補正は、

歪の中心と画像の中心が一致しない場合に行うことを特徴とする請求項 2 0に記載の画像処理装置。 .

2 2 . 画像データに対して歪補正処理を行う歪補正手段を有する画像処理装置の歪補正方法であって、

前記歪補正方法は、

補正画像の各画素に対応する座標系での第 1の位置を生成するステップと、前記第 1の位置を、歪補正式に従って歪補正前の画像デ一夕内における座標系での第 2の位置に変換するステツプと、

前記歪補正前の画像データ内における座標系での第 2の位置を、撮像面に対応する座標系を基準とする設定領域内での座標に変換するステップと、

前記設定領域内での座標に基づいて補間処理を行い、前記補正画像の各画素のデ一夕を生成するステップと、

を有することを特徴とする歪補正方法。

23. 前記請求項 22記載の歪補正方法においては、前記補正画像に含まれる小領域を単位に処理を行うことを特徴とする歪補正方法。

24. 画像デ一夕に対して歪補正処理を行う歪補正手段を有する画像処理装置において、

前記歪補正手段は、

前記画像デー'夕の一部を格納するメモリ部と、 ^: ' 前記メモリ部に対するデ一夕の書き込みおよび読み込みを制御するメモリ制御部 _と、

を有し、

前記メモリ部から読み出した画像データに対する補間演算を行うことを特徴とする画像処理装置。

25. 前記メモリ制御部は、

前記メモリ部への書き込みの際は、列方向に一列に並んだ一定数分の画素からなる画像データ（ユニットライン： UL) を単位として書き込むように制御し、前記メモリ部からの読み出しの際は、歪補正処理後の画像が前記 U Lを単位として出力されるように、前記メモリ部に格納された画像データに対して読み出し制御することを特徴とする請求項 24に記載の画像処理装置。

26. 前記メモリ制御部は、前記 ULの最初に処理される画素の座標位置に対して、行方向に対して前側および後側に所定幅の領域（それそれ preULB、 p ostULB) を設け、前記 ULの処理中は他の処理によって前記領域が上書きされないよう制御することを特徴とする請求項 25に記載の画像処理装置。

27. 前記メモリ制御部は、さらに、

前記 ULの処理中に、前記歪補正手段の前段からのデ一夕を入力するために閧放可能なバッファ量を算出するバッファ開放量算出回路と、

前記歪補正手段の後段に対するデータ送信の可否を判定するデー送信可否判定回路とを有し、

前記バッファ開放量算出回路には、前記 ULの処理における最初の画素に対する補間座標を中心として前記 p 0 s t ULBが入力され、デ一夕送信可否判定回路には前記 p r e U L Bが入力され、バッファ開放量算出回路は前記ノヅファ開放量を前記 po s t ULBの値を参照して算出し、デ一夕送信可否判定回路は前記 p r eULBの値を参照してデ一夕送信可否の判定を行うことを特徴とする請求項 25又は 26に記載の画像処理装置。

28. 前記 preULB値、 postULB値は、それそれ歪中心に対して前側と後側とで異なる値を設定可能であることを特徴とする請求項 26又は 27に記載—の画像処理装置。

29. 前記画像処理装置は、さらにバッファの空き領域を検出するバッファ空き容量監視回路を有し、

該バッファ空き容量監視回路によりバッファ内の空き領域が検出されると、該空き領域へのデ一夕の書き込みを可能とすることを特徴とする請求項 24〜27 のいずれか 1つに記載の画像処理装置。 .

30. 前記メモリ部は、デ一夕のリード動作とライト動作が同時に可能な複数のメモリからなり、

前記メモリ制御部は、さらに、

前記メモリ部へのデ一夕書込み制御を行う書込みアドレス生成回路と、前記メモリ部に格納されている画像データから補間演算に必要なデ一夕を同時に読み出すためのァドレスを生成する読出しアドレス生成回路と、

を有し、前記デ一夕書込み制御は、同時に読み出すデータをそれぞれ異なるメモリに書き込むものであることを特徴とする請求項 24記載の画像処理装置。

31. 前記画像処理装置は、さらに、歪補正処理された座標が前記 ULの処理における最初の画像に対する補間座標に対し、列方向に前記 pr eULB、 po s tULBを逸脱する座標が生成された時、若しくは、歪補正された座標が前段から入力されない座標となった時にエラ一を検出して出力するエラ一検出回路を有することを特徴とする請求項 26〜 28のいずれか 1つに記載の画像処理装置。

32. 前記エラ一出力がなされたときはレジス夕を再設定して画像処理を再実行することが可能であることを特徴とする請求項 26〜28のいずれか 1つに記載の画像処理装置。

33. 1ULの処理終了後、次の 1 ULまたはさらにその次の 1 ULの処理を開始する際の最初の補間座標が演算された後に 1 UL単位の処理を終了することを特徴とする請求項 25〜29のいずれか 1つに記載の画像処理装置。

34. 画像デ一夕に対して歪補正処理を行う画像処理方法において、

.前記歪補正処理を行うに際は、データの書き込みおよび読み込みが制御されるメモリ部に、前記画像デ一夕の一部を格納し、該メモリ部から読み出した画像データに対して補間演算を行うことを特徴とする画像処理方法。

35. 前記画像処理装置は、さらに、前記歪補正手段が歪補正処理を行う入力画像範囲を算出する歪補正範囲算出部を有すること、

を特徴とする請求項 26〜28のいずれか 1つに記載の画像処理装置。

36.前記歪補正範囲算出部は、所定の歪補正式を適用して座標変換可能であり、歪補正後の出力画像範囲において、

周辺 4辺の各辺に対応する画素を座標変換して生成した変換座標の最大値と最小値、および 4頂点に対応する画素を座標変換して生成した変換座標、の少なくともいずれかを算出し、前記 preULBおよび pos tULBは、前記歪補正範囲算出部の出力結果から算出すること、を特徴とする請求項 35記載の画像処理装置。