WO2004109597A1

WO2004109597A1 - 画像処理装置

Info

Publication number: WO2004109597A1
Application number: PCT/JP2004/007855
Authority: WO
Inventors: Hideaki Furukawa; Masaki Higurashi; Akira Ueno
Original assignee: Olympus Corporation
Priority date: 2003-06-02
Filing date: 2004-05-31
Publication date: 2004-12-16
Also published as: US20070025636A1; WO2004109597A9; EP1657675A4; EP1657675A1; EP1657675B1; US7636498B2

Description

技術分野

この発明は、画像処理装置、より詳しくは、光学系を介して撮像された電子的な画像デ —夕を処理する画像処理装置に関する。

明背景技術田

デジタルカメラ等の電子的撮像装置においては、光学系により結像された被写体像を、

C C D等の撮像素子により光電変換して撮像デ一夕を取得し、この撮像デ一夕に種々の画像処理を施した後に、 J P E G等の圧縮方式で圧縮してメモリ力一ド等の記録媒体に記録するのが一般的であり、該デジタルカメラ等の電子的撮像装置は、画像処理装置を兼ねたものとなっている。

図 3 2は画像処理装置における一般的な画像処理の手順を示す図である。

C C D等の撮像素子は、光学系により結像された光学的な被写体像を光電変換して電気的な撮像信号を生成する。この撮像信号は、画素欠陥の補正や A/D変換などのプリプロセス処理が行われた後に、フレームメモリに記憶される。

次に、フレームメモリに記憶された画像データが、読み出されて、第 1のイメージプロセス、第 2のイメージプロセス、 ···、第 Nのイメージプロセス等により、単板信号から 3 板信号への変換処理や、ローパスフィル夕処理、エッジ強調処理、拡大縮小処理などの各種の画像処理が行われる。

画 «理後の画像信号は、さらに J P E Gなどの圧縮方式により圧縮されて、画像ファィルとしてメモリカードへ録される。

図 3 3は、上記図 3 2に示したような一般的な画像処理を行うための従来の画像処理装置の構成を示すブロック図である。

この画像処理装置は、 C C D 9 1と、プリプロセス咅!^ 9 2と、フレームメモリ 9 4と、第 1イメージプロセス部 9 5 a，第 2イメージプロセス部 9 5 b， …，第 Nイメージプロセス部 9 5 ηと、 J P E G処理部 9 6と、メモリカード等 9 7と、上記 C C D 9 1を除く上記各回路と後述する C P U 9 3とが接続されているバス 9 8と、上述した各回路を含むこの画 «理装置を統括的に制御する C P U 9 3と、を有して構成されている。

この図 3 3に示したような構成の画像処理装置により、上記図 3 2に示したような処理を行う: ^には、具体的には次のような手順になる。

まず、プリプロセス部 9 2からの画像データをバス 9 8を介してフレームメモリ 9 4に一旦記憶させる。

次に、該フレームメモリ 9 4から画像データを読み出して、バス 9 8を介して第 1ィメ —ジプロセス部 9 5 aに入力し、第 1の画像処理を行って、処理後の画像デ一夕をフレームメモリ 9 4上に書き込む。

同様にして、該フレ一ムメモリ 9 4から第 1の画 «L理後の画像デ一夕を読み出して、バス 9 8を介して第 2イメージプロセス部 9 5 bに入力し、第 2の画像処理を行って、処理後の画像データをフレームメモリ 9 4上に書き込む、という処理を行い、同様の処理を各イメージプロセス部毎に繰り返して行う。

このように、画像処理を行う際には、画像デ一夕が何度もバス 9 8を流れることになるが、画像デ一夕は一般的にデータサイズが大きいために 9 8には大きな負荷がかかることになる。このようなバス 9 8に対する大きな負荷は、連能を使用しているときなどに、より顕著である。

こうした観点から、複数のイメージプロセス部をパイプライン処理可能なように接続して、フレームメモリからの画像をパイプライン処理することにより、バスの負荷を減らすようにした技術が、例えば特開 2 0 0 0 - 3 1 1 2 4 1号公報に記載されていて、バスの負荷を減らしながら、メモリ容量を増やすことなく拡大縮小処理を含む画像処理をリアルタイムで行うことができるようになつている。

さらに、特開 2◦ 0 0— 3 1 2 3 2 7号公報には、フレームメモリに記憶されている画像をブロック単位で所定方向（列方向）に読み出すことで、プライン処理を行う際のバッファ量を減らす技術も記載されていて、低消費電力、省メモリの画像処理装置を構成することができるようになつている。

ところで、デジタルカメラや銀塩カメラを含むカメラの光学系においては、大小の差こそあれ、歪曲収差を生じるのが一般的である。この歪曲収差は、例えば、格子状の被写体を撮影すると、樽型、糸巻き型などとして観測される（本発明の実施形態に係る図 3 (A )、図 3 (B)、図 3 ( C)参照）。また、現在発売されているカメラは、光学ズームを行い得る βが多いが、こうしたズーム可能な光学系は、ワイド端からテレ端にかけてのズームレンジ内で焦点距離を変更すると、歪曲収差の状態が変化することが多い。

このような現象に対し、画像処理の一部として歪補正を行う技術が、より開発されており、その一例として、例えば特開平 6— 1 8 1 5 3 0号公報に記載されたものが挙げられる。該公報に記載されたような通常の画像処理では、フレームメモリから例えばライン単位でデ一夕を読み出すようになつている。

また、画像処理の一部として歪補正を行う他の技術として、例えば特開平 1 0 - 2 2 4 6 9 5号公幸には、各イメージプロセス部がフレームメモリにランダムにアクセスするようにした技術が記載されている。この技術によれば、イメージプロセス部内にバッファを設ける必要がなくなるために、該イメージプロセス部の回路規模を小さくすることができる利点がある。

さらに、上記カメラの光学系においては、色収差が発生することが知られている。この色収差は、光学系に光が入射するときに、光の波長によって屈折率が異なることに起因して発生するものであり、光学系により光学像を結像する際に、波長毎に結像される光学像が微妙にずれる現象となって現れる。光学系は、この色収差ができるだけ小さくなるように設計されるが、配置スペースや重量、コストなどの観点から、色収差を全てなくすことは困難となっている。

上記特開平 6— 1 8 1 5 3 0号公報に記載されたものでは、画像処理としての歪補正を、補正後の画像の 1ライン分について行うためには、図 3 4に示すような、補正前の画像デ一夕を、歪補正に必要な複数ライン分だけ、画像全体の横方向の幅に渡って読み出す必要がある。この図 3 4は、従来において歪補正処理を行うために必要なメモリ量を説明するための図である。これら複数ライン分の画像デ一夕は、イメージプロセス部の内部に設けられたバッファに一旦蓄積されてから処理されるために、 1ライン分の補正画像を得るには、ノ 'ッファとして比較的大きな容量が必要になり、回路が大きくなつて製造コストが増すとともに消費電力も増加してしまう。さらに、イメージプロセス部内のバッファメモリ容量によって、処理可能な画像サイズが制限されてしまうことになる。

また、上記特開平 1 0 - 2 2 4 6 9 5号公報に記載されたものでは、 S D RAM等で構成されたフレームメモリにランダムにアクセスしょうとすると、 S D R AMから高速に読み出せるバースト転送に比べて、デ一夕の転送時間が全体の処理時間を増大させる要因となる。

ところで、画像処理装置に、上述したような歪補正処理を行うための処理ブロックと、拡大縮小処理を行うための処理ブロックと、の両方を設けることにより、拡大縮小処理と歪補正処理との両方を行うことが可能となる。しかし、これらの処理は画素毎の補間演算を伴うものであって、処理回路も大になるために、単純に両方の処理回路を設ける構成では、回路構成が大きくなつて消費電力が上がるとともに製造コストも増すことになつてしまう。

そして、上述したような色収差についても、コスト等をあまり増加させることなく、良好に補正することができることが望ましい。

本発明は上記事情に鑑みてなされたものであり、ノ、'スのデ一夕転送量ゃメモリ容量を増犬させることなく、画 «理を行うことができる画像処理装置をすることを目的としている。

また、本発明は、拡大縮小処理と歪補正処理とを行い得る回路夫簾が小さく低消費電力な画像処理装置をすることを目的としている。

さらに、本発明は、歪補正と色収差補正とを行い得る回路繊莫が小さく低消費電力な画像処理装置をすることを目的としている。 . 発明の開示

この発明は、光学系を介して撮像することにより得られた電子的な画像デ一夕であって

、画素データが行方向および列方向に 2次元的に配列された画像データ、を処理する画像処理装置において、上記画像データを少なくとも画 »理を行う前に格納するとともに画像処理を行った後にも格納し得るメモリと、上記画像デ一夕の上記 2次元的な配列におけるブロックを単位として上記メモリからノスを介して該ブロヅク内の画素デ一夕を行方向に読み出しその後に該ブロヅク内の画素デ一夕を列方向に出力する第 1のデ一夕順序変換部と、上記第 1のデ一夕順序変換部と上記バスとは異なる情報伝達経路でパイプライン処理可能なように接続されていて該第 1のデータ順序変換部から列方向に出力される画像デ —夕を入力して画像処理した後に該列方向に出力する画像処理部と、上記画像処理部とパィプライン処理可能なように接続されていて該画像処理部から列方向に出力される画像デ —夕を行方向の画像データに変換して出力する第 2のデ一夕順序変換部と、を備えた画像処理装置である。

また、この発明は、光学系を介して撮像することにより得られた電子的な画像デ一夕に、歪補正処理および拡大縮小処理を含む画像処理を行い得る画像処理装置であって、歪補正処理と拡大縮小処理とを含み得る画像処理に係る補間処理を行った後の画素位置に対応する補間処理前の座標データである補間座標デ一夕を生成するための補間座標生成部と、上記画像データの少なくとも一部を格納するためのメモリ部と、上言甫間座標データに基づいて上記画像データの一部を上記メモリ部に書き込む制御と該メモリ部から読み出す制御とを行うメモリ制御部と、上記メモリ制御部の制御により上記メモリ部から読み出された画像データを補間演算することにより補間処理を行つた後の画素位置における画像デ一夕を生成する補間演算部と、を有して構成される歪補正処理部を備えた画像処理装置である。

さらに、この発明は、光学系を介して撮像することにより得られた電子的な画像デ一夕であって、複数の成分で構成される画像デ一夕、を処理する画像処理装置において、上記光学系に起因する歪曲収差を補正するのに用いるための歪補正係数を歪中心位置からの距離に基づき上記成分毎に算出する歪補正係数算出手段と、上記歪補正係数算出手段により算出された成分毎の歪補正係数を用いて上記画像データを成分毎に歪補正する歪補正演算手段と、を有して構成される歪補正処理手段を備えた画纏理装置である。図面の簡単な説明

図 1は、本発明の第 1の難形態における画像処理装置の構成を示すプロヅク図。図 2は、上記第 1の難形態における歪補正処理部の構成を示すプロヅク図。

図 3は、上記第 1の形態において、格子状の被写体を光学系を介して撮影したときの歪曲収差の例を示す図。

図 4は、上記第 1の実施形態において、歪補正を含む補間処理の概要を説明するための図。

図 5は、上記第 1の実施形態において、 1 6点補間による処理を説明するための図。図 6は、上記第 1の錢形態における画像データの読出順序を示す図。

図 Ίは、上記第 1の実施形態におけるデ一夕順序変換部の構成を示すプロヅク図。図 8は、上記第 1の難形態において、補正画像と撮影画像との対応関係と、処理に必要なバッファ量と、を示す図。

図 9は、上記第 1の ¾5¾形態において、歪中心からの距離に応じて読み出す画像データの幅を縦方向に異ならせる例を示す図。

図 1 0は、上記第 1の ¾形態において、歪中心からの距離に応じて読み出す画像デー夕のサイズぉよび読出開始位置を異ならせる例を示す図。

図 1 1は、上記第 1の形態における画像処理装置の構成の第 1変形例を示すプロヅク図。

図 1 2は、上記第 1の難形態における画像処理装置の構成の第 2変形例を示すプロヅク図。

図 1 3は、上記第 1の»形態における画 ί«理装置の構成の第 3変形例を示すプロヅク図。

図 1 4は、上記第 1の難形態における画像処理装置の構成の第 4変形例を示すプロヅク図。

図 1 5は、本発明の第 2の実施形態における画像処理装置の構成を示すブロック図。図 1 6は、上記第 2の «形態における歪補正処理部のより詳細な構成を示すブロック図。

. 図 1 7は、上記第 2の^形態における歪補正係数算出回路の構成の一例を示すブロヅク図。

図 1 8は、上記第 2の実施形態における歪補正係数算出回路の構成の他の例を示すプロヅク図。

図 1 9は、上記第 2の ^形態において、クロヅク毎に補間位置を生成するときの様子を示すタイミングチャート。，図 2 0は、上記第 2の！ ^形態において、 3クロヅクに 1回の割合で補間位置を生成するときの様子を示すタイミングチャート。

図 2 1は、上記第 3の^形態における歪補正処理部の構成の概要を示すブロック図。図 2 2は、上記第 3の実施形態において、光学系により画像を撮影したときに発生する色収差の一例を示す図。

図 2 3は、上記第 3の実施形態において、 Βに係る補間データを算出可能となった時点での内部メモリ部に蓄積された画像データの様子を示す図。

図 2 4は、上記第 3の実施形態において、 R, G, Βのそれそれに係る補間デ一夕を算出可能となつた時点での内部メモリ部に蓄積された画像デ一夕の様子を示す図。

図 2 5は、上記第 3の ^形態における歪補正処理部のより詳細な構成を示すプロヅク図。

図 2 6は、上記第 3の形態における歪補正係数算出回路の構成を示すブロック図。図 2 7は、上記第 3の «形態における距離依存係数算出回路の構成を示すブロック図 ο

図^{2 8}は、上記第³の^形態における歪補正係数算出回路の構成の他の例を示すプロヅク図。

図 2 9は、上記第 3の実施形態における C h. 0用歪補正回路の構成を示すプロヅク図図 3 0は、上記第 3の実施形態におけるグラント同期回路の構成を示すプロヅク図。図 3 1は、上記第 3の ^形態におけるグラント同期回路の動作を説明するためのタイミングチャート。

図 3 2は、画像処理装置における一般的な画像処理の手順を示す図。

図 3 3は、上記図 3 2に示したような一般的な画像処理を行うための «έ*の画像処理装置の構成を示すブロック図。 .

図 3 4は、従来において歪補正処理を行うために必要なメモリ量を説明するための図。発明をするための最良の形態

以下、図面を参照して本発明の »の形態を説明する。

図 1から図 1 4は本発明の第 1の実施形態を示したものであり、図 1は画像処理装置の構成を示すプロヅク図である。

この画像処理装置は、光学系により結像された光学的な被写体像を光電変換して電気的な撮像信号を生成する撮像素子たる C CD 1と、この C CD 1から出力される撮像信号に画素欠陥の補正や A/D変換などのプリプロセス処理を行うプリプロセス部 2と、このプリプロセス部 2により処理された後のフレーム画像を記憶するフレームメモリ 4と、このフレームメモリ 4に記憶された画像データを後述するバス 1 1を介して所定ブロック毎に読み出し一旦記憶してその後に読み出し順序を変更し出力する第 1データ順序変換部 5と、この第 1デ一夕順序変換部 5から出力される画像デ一夕に所定の画像処理を施す画像処理部たるイメージプロセス部 6と、このイメージプロセス部 6による処理後の画像デ一夕に歪 «正の処理を行う画像処理部たる歪補正処理部 7と、この歪補正処理部 7から出力されるプロヅク毎の画像デ一夕を一旦記憶して、上記第 1デ一夕順序変換部 5によりフレームメモリ 4から読み出したときと同じ方向に読み出して出力する第 2データ順序変換部 8と、この第 2データ順序変換部 8から出力される画像データを J P E G等の圧縮方式により圧縮する J P E G処理部 9と、この J P E G処理部 9により圧縮された画像デ一夕を後述するバス 1 1を介して一旦フレームメモリ 4に書き込み、この書き込まれた画像デ一夕をパス 1 1を介して読み出して入力し画像ファイルとして記憶する不揮発性の記憶手段たるメモリカード等 1 0と、上記 C C D 1を除く上記各回路と後述する C P U 3とが接続されているバス 1 1と、上述した各回路を含むこの画 ί纏理装置を統括的に制御.する制御手段たる C P U 3と、を有して構成されている。

ここに、上記第 1デ一夕順序変換部 5から J P E G処理部 9までは、バス 1 1を介することなく、該バス 1 1とは異なる情報伝達経路でパイプライン処理可能なように接続されていて、画像デ一夕を、 2次元的な画素配列における所定のプロヅク単位で転送して処理するようになつている。これにより、データ量の大きい画像デ一夕が、各プロセス毎にバス 1 1を何度も転送されることがなくなるためにノス 1 1の負荷を大幅に軽減することが可能であるとともに、処理をプロヅク単位で行うことにより画像処理部の内部バヅファ部の容量を小さくすることが可能となっている。

また、この図 1に示す例においては、画像処理を行うイメージプロセス部 6を 1つのみ設けているが、複数の画 1»理に対応した複数のイメージプロセス部を、上記パイプライン処理の経路上に配置するようにしても構わないことは勿論である。ここに画像処理の例としては、上述と同様に、耕反信号から 3板信号への変換処理や、口一パスフィル夕処理、ェヅジ強調処理、拡大縮小処理などが挙げられる。このときのイメージプロセス部 6の配置は、上記歪補正処理部 7よりも前段側であっても構わないし、後段側であっても構わない。

次に図 2は、上記歪補正処理部 7の構成を示すプロヅク図である。

この歪補正処理部 7は、前段の処理プロヅクから画像データを所定プロヅク単位で受け取って、歪補正を行った後に、後段の処理プロヅクへ出力するものであり、上記図 1に示したような構成例においては、前段の処理ブロックがイメージプロセス部 6に対応し、後段の処理ブロヅクが第 2データ順序変奐部 8に対応している。

この歪補正処理部 7には、制御レジス夕 7 aが付随して設けられており、 C P U 3からの該歪補正処理部 7に対する設定値や各種デ一夕などが設定され、同時に処理結果のステ —タスなどを該 C P U 3から読むことができるようになつている。

該歪補正処理部 7の処理の概要は、図 4や図 5にも示すように、おおよそ、次のようになっている。図 4は歪補正を含む補間処理の概要を説明するための図、図 5は 1 6点補間による処理を説明するための図である。

まず、図 4 (B) に示すような歪補正処理後の画像の座標系（X, Y) を予め準備しておく。この座標系 (X, Y) における画像デ一夕は、歪補正処理を開始する前は、当然にしてまだ何も求められていない。

誠標系（X, Y) における着目点（注目画素）（これは、歪補正処理後の画像における各画素の座標に対応しており、同様に、（X， Y) と表す。 ) を設定して、該着目点（ X, Y) に対応する画像デ一夕の座標（補間座標データ）（Χ，， Υ' ) を座標変換により求める（図 4 (Α)参照）。この（X, Υ) と（Χ，， Υ， ) との対応関係は、上記 C CD 1へ被写体像を結像するための光学系の光学的性質により決まるものであり、該対応関係を定義付けるパラメ一夕等は、光学系の設計値から、あるいは製造後の光学系の検査から、予め求められて、図示しない不揮発性メモリ等に記憶されている。そして、上記 C P U 3が、この不揮発性メモリ等からパラメ一夕を読み出して、上記制御レジス夕 7 aに設定するようになっている。

こうして対応関係により座標（X，， Y' ) を求めると、該座標（X，， Y， ) における画像デ一夕を求めるために必要な周辺の画像デ一夕の座標が決定される。例えば、 C u b i c補間処理を行う;^には、図 5に示すように、該座標（Χ，， Y， ) (図 5における画像データが Dout となっている点）に対して周辺の 1 6点の座標が決定される。

従って、これら 1 6点の座標における画像デ一夕 D O〜D 1 5から、白丸で示されている座標（X，， Y' ) の点の画像デ一夕 Doutを所定の補間式を用いて求めることにより、それが歪補正処理後の画像の着目点（X， Y) における画像デ一夕となる。

上記着目点（X， Y) を移動させながら、必要な範囲の全ての画像データを算出することにより、歪補正後の画像データが生成される。

このような処理を行うための歪補正処理部 7は、図 2に示すように、着目点の座標（X , Y) を生成するための補間位置生成部 2 1と、この補間位置生成部 2 1により生成された着目点の座標（X， Y) から歪補正処理前の画像データの座標（X，， Y， ) を算出するための歪補正座標変換部 2 2と、歪補正処理を行わない:！^には上言間位置生成部 2 1から出力される座標（X, Υ) を選択し歪補正処理を行う:^には上記歪補正座標変換部 2 2から出力される座標（Χ，， Υ， ) を選択するセレクタ 2 3と、前段の処理ブロヅクからの画像データの読み出しを制御するとともに上記セレク夕 2 3から出力される座標に対応して補間処理を行うのに必要な周辺画素の画像データを送出するように後述する内部メモリ部 2 5を制御するメモリ制御部 2 4と、前段の処理ブロックからの画像デ一夕を蓄積するものであり上記メモリ制御部 2 4の制御により補間に必要な周辺画素の画像デ一夕を後述する補間演算部 2 6へ出力する内部メモリ部 2 5と、この内部メモリ部 2 5から出力される着目点近傍の画像デ一夕と上記セレクタ 2 3から出力される着目点の座標とに基づき該着目点における画像データを上述したように例えば Cu b i c補間により求めて後段の処理ブロックへ出力する補間演算部 2 6と、を有して構成されている。

これらの構成ブロックの内の上言 Bffi間位置生成部 2 1と、歪補正座標変換部 2 2と、セレク夕 2 3とは、補間座標生成部 2 0を構成する要素となっている。

上編間位置生成部 2 1は、上記 C P U 3から上記制御レジス夕 7 aに設定される補間開始位置（XST, YST)および補間ステップ（ΔΧ, ΔΥ) を用いて、次の数式 1に示すように、補間を行う着目点（X, Y) の座標を算出するものである。

【数式 1】

X = X_ST + kxAX

Y = Y_ST +lxAY ここに、 kは着目点を X方向に ΔΧだけ移動させる際にインクリメントされる変数、 1は着目点を Y方向に厶 Yだけ移動させる際にインクリメントされる変数である.。

なお、上言 ¾1間開始位置（XST, YST) は、画像内の任意の位置に設定することが可能である。また、上言 3 間ステップ（ΔΧ, ΔΥ) は、上記 C P U 3が藍に設定することにより、画像の拡大や縮小を行うことが可能である。

上記歪補正座標変換部 2 2は、上言 Β¾間位置生成部 2 1から出力される歪補正処理後の着目点の座標（X, Y) から、歪補正処理前の着目点の座標 (X³ , Y， ) を次のように算出するものである。

すなわち、まず、処理対象の画像における歪中心位置の座標 (Xd , Yd ) と、歪補正処理後に該歪補正に起因して被写体の位置が撮影時とずれてしまうのを補正するための中心ず i jf正量 (Xoff , Yoff ) と、光学系の光学的な性質を示すパラメ一夕を用いて歪補正処理を行つた場合に補正後の画像が画像デ一夕として必要な範囲からはみ出したり不足したりするのを補正するための範囲補正倍率 Mと、を用いて、次の数式 2に示すような中間的な算出値（X (ドット）， Y (ドット））（ここに、文字の上に付す点を文章中では（ドット）などとして表している。）を求める。【数式 2】

X=M-(X-X_d)+[X_{d +} X_off

Y = M'{Y-Y_d)+[Y_d+Y_off なお、上記歪中心位置の座標 (Xd， Yd ) は、上記 CCD 1に被写体光像を結像する光学系の光軸が交わる画像上の位置に相当する座標である。

また、上記歪中心位置の座標 (Xd， Yd )、中心ずれ補正量 (Xoff , Yoff )、範囲補正倍率 Mは、上言 3CPU3により、上記制御レジス夕 7 aに設定されるようになっている。

次に、求めた算出値（X (ドット）， Y (ドット））と、上記歪中心位置の座標 (Xd , Yd ) と、画像デ一夕を間弓 Iいて取り込んだ:^などに画像の縦方向と横方向とで空間的なサンプリングが異なるのを補正するための係数 (SX， SY ) と、を用いて、歪中心からの距離を示す Z (より正確には Zの 2乗）を次の数式 3に示すように計算する。【数式 3】

Z²=\S_X-[X-X, + S: y ,Y~Y_d

こうして算出された Zと、上記 C PU3から上記制御レジス夕 Ί aに設定される光学系の歪曲収差に関する光学的性質を示すパラメ一夕である歪補正係数 A， B, C, D， Eと、上記算出値（X (ドット）， Y (ドット））と、上記歪中心位置の座標 (Xd , Yd ) と、を用いて、歪補正処理後の着目点の座標（X, Y) に対応する歪補正処理前の着目点の座標（X，， Y，）を、次の数式 4に示すように算出する。

【数式 4】

, = (x-Z_d)-[l+A-Z² + 5-Z⁴ + C-Z⁶ + -Z⁸ + £-Z¹⁰+-

ここで図 3は、格子状の被写体を光学系を介して撮像したときの歪曲収差の例を示す図である。まず、図 3 (A) は、格子状の被写体の例を示している。は、 Zの 2次項までしか考慮していないために、図 3 (A) に示すような被写体を光学系を介して撮像したときに生じ得る、図 3 (B) に示すような樽型の歪曲収差や、図 3 (C) に示すような糸卷き型の歪曲収差をある程度補正することは可能であつたが、図 3 (D) に示すような陣笠型の歪曲収差を補正することはできなかった。しかし、本第 1の形態では、この数式 4に示すように、 Zの 2次項を越える次数まで、つまり例えば 4次項、または 6次項まで考慮するようにしているために、このようなより高次の収差も高精度に補正することが可能となっている。さらに、より一層、高次の項まで考慮しても構わない。

上述したような補間位置生成部 2 1により算出された座標（X, Y)、または歪補正座標変換部 2 2により算出された座標（Χ，， Y， ) は、セレクタ 2 3に入力されて、歪補正を行うか否かに応じて、必要なものが選択される。

また、上記補間演算部 2 6は、上記セレクタ 2 3から出力される座標に基づき、該座標の近傍の画素の画像データ DO〜D15を上記内部メモリ部 2 5から読み出して、次のような数式 5を用いることにより、該着目点に係る歪補正処理後の画像デ一夕 Doutを算出して、後段ブロックへ出力する。

【数式 5】

+ k_xl [k_≠D_x + k_ylD₅ + k_y2D₉ + k_y3D_l3)

+ i [^kyA + A + k_y2D₁₀ + k_y3D₁₄ )

+ ₃ (k_y0D₃ + k_ylD₇ +k_y2D_n + k_y3D₁₅) ここに、 kx0〜kx3, ky0〜ky3は、例えば C u b i c補間を行う際に定められた所定の補間係数である。

次に、図 6は、本第 1の実施形態における画像デ一夕の読出順序を示す図である。画像データは、通常は、ライン方向、つまり行方向に読み出されるようになつており、 1ラインの画像デ一夕を全て読み出して、次に隣接するラインの画像デ一夕を全て読み出すといった動作を繰り返して行うのが一般的である。

これに対して、本第 1の »形態の画像処理装置は、行方向に所定長さだけ読み出して、次の行に移動して同様に所定長さだけ読み出し、これを所定の行数がまとまつてから、列方向に順番に出力することにより、所定のブロック単位で、縦方向に画像デ一夕を読み出したようにデ一夕順序を変換したものとなっている。この行方向への所定の長さは、フレームメモリ 4から高速に読み出せる幅を単位として決定される。

その後に続いて読み出すブロックは、行方向に隣接する（図 6において右隣となる）ブロックとなっていて、画像デ一夕の右端まで到達したところで、今まで読み出した一連のブロック群と縦方向に重複するように、少し下にずれて、次のブロック群を読み出すようになっている。第 2データ順序変換部 8で出力される隣接する行（横方向）のデータをそれそれ生成するために必要な画像デ一夕は、一部重複する。そのために、第 1デ一夕順序変換部 5では、その分を考慮して読み出す必要がある。

画像デ一夕の読み出し命令は的に発行されるために、このようなプロヅク単位の読み出しは、実際には、連続的に行われ、図 6における行方向に細長の矩形内のデータは、実線の矢印のように、縦方向に連镜して流れることとなる。

こうした画像データの読み出しを可能にするための第 1デ一夕順序変換部 5と、第 2デ一夕順序変換部 8との構成を、図 7を参照して説明する。図 7は、データ順序変換部の構成を示すブロック図である。

第 1データ順序変換部 5は、図 7 (A) に示すように、ブロック単位の画像デ一夕を記憶可能なメモリを複数、ここでは 2つ備えており、メモリ 5 aとメモリ 5 bとなっている。フレームメモリ 4は、これらのメモリ 5 aとメモリ 5 bとに切換可能に接続されているとともに、イメージプロセス部 6もこれらのメモリ 5 aとメモリ 5 bとに切換可能に接続されていて、フレームメモリ 4がメモリ 5 aとメモリ 5 bとの一方に接続されているときには、該メモリ 5 aとメモリ 5 bとの他方がィメ一ジプロセス部 6に接続されるように切り換えられる。すなわち、メモリ 5 a， 5 bは、フレームメモリ 4とイメージプロセス部 6との両方に同時に接続されることがないようにスィヅチングされるようになつている。フレームメモリ 4に記憶されているフレーム画像の一部は、ブロック単位でライン方向に読み出され、一方のメモリ、ここでは例えばメモリ 5 aに記 1意される。

これと並列して、メモリ 5 bからは、既にフレームメモリ 4から読み出されて記憶されているブロック単位の画像デ一夕が、列方向（縦方向）に順に読み出されて、イメージプ口セス部 6へ出力される。

フレームメモリ 4からメモリ 5 aへの書き込みと、メモリ 5 bからイメージプロセス部 6への読み出しが終了すると、書き込み側のスィツチおよび読み出し側のスィヅチが切り換えられて、次に、フレームメモリ 4からメモリ 5 bへ次のプロック単位の画像データの書き込みが開始されるとともに、メモリ 5 aからイメージプロセス部 6へのブロック単位の画像データの読み出しが開始される。

第 2デ一夕順序変換部 8も、図 7 (B) に示すように、上記第 1デ一夕 j噴序変換部 5とほぼ同様に構成されていて、ほぼ同様に動作するようになっている。すなわち、第 2デ一夕順序変換部 8は、メモリ 8 aとメモリ 8 bとを有して構成されている。

そして、該第 2デ一夕順序変換部 8の動作時には、歪補正処理部 7からの書き込みがメモリ 8 aとメモリ 8 bとの一方に対して列方向（縦方向）に行われ、メモリ 8 aとメモリ 8 bとの他方からは行方向（構方向）に読み出しが行われて J P E G処理部 9へ出力されるようになっている。

また、図 2の内部メモリ部 2 5として必要なバッファの量は、図 8に示すようになっている。図 8は、補正画像と撮影画像との対応関係と、処理に必要なバヅファ量と、を示す図である。

図 8における点線同士が交差する点は、イメージプロセス部 6から歪補正処理部 7へ入力される画像デ一夕（つまり、歪補正処理が行われる前の画像データであり、ひいてはフレームメモリ 4から読み出される画像デ一夕）を示している。また、黒点は、歪補正処理後の着目点の座標（X, Y) から算出された歪補正処理前の着目点の座標（X' ， Y⁵ ) を示していて、処理対象となる複数の点（図 8に示す例においては、横 4 X縦 5 ドヅトでなる点）を示している。これらの点は、例えば、縦方向に並んだ 5 ドヅト単位で歪補正処理が行われるようになつており、例えば横 4 X縦 5 ドヅトのブロックの内の一番右側の縦 5ドット（図 8において太い実線上に配置された 5 ドヅト）を処理するために必要なバヅファ量は、図 8中の矢印で示すような範囲、つまり縦 9 X横 7ドットでなる入力画像デー夕のブロックとなっている（ただし、これは Cu b i c補間を行う際に、着目点の周囲 1 6点の画像データが必要な場合であり、補間方法を変更すれば、当然、必要なバッファ量は変わることになる。）。

なお、バッファ（内部メモリ部 2 5 ) の大きさ（記憶容量）は、歪曲収差が最も大きい画像の 4隅部分を補間処理することができるような大きさとして確保する必要があるのは勿論である。

また、図 6に示した例では、縦方向に読み出す画素数を、フレーム画面内の何れの位置においても等しく取っていたが、これに限らず、図 9に示すように、位置に応じて異ならせるようにしても構わない。図 9は、歪中心からの距離に応じて読み出す画像デ一夕の幅を縦方向に異ならせる例を示す図である。つまり、歪曲収差による歪みは、歪中心から離れるほど大きくなり、逆に歪中心に近ければ小さくなる。従って、歪中心に遠い場所では縦方向に読み出す画素数を多くし、歪中心に近い場所では縦方向に読み出す画素数を少なくするようにすれば、より処理を高速化することが可能となる。

さらに、図 1 0は、歪中心からの距離に応じて読み出す画像データのサイズおよび読出開始位置を異ならせる例を示す図である。この図 1 0に示す例は、縦方向に読み出す画素数を、横方向の位置に応じて変更するとともに、画像データを読み出す開始位置をもプロヅク単位で変更するようにしたものである。

すなわち、歪中心が画面のほぼ中央部にある場合を例に取ると、同一ライン上であっても、中央部ほど歪中心に近く、左右端ほど歪中心から遠くなる。従って、歪中心に近い中央部は縦方向に読み出す画素数を少なくし、歪中心に遠い左右端部は縦方向に読み出す画素数を多くしている。さらに、図示のような樽型の歪曲収差が発生している: ^には、その収差に基づく曲線の形状に合わせて、左右端ではプロック単位の画像デ一夕を読み出す開始位置を縦方向やや下側とし、中央部ではプロヅク単位の画像データを読み出す開始位置を縦方向やや上側としている。ここでは樽型の歪曲収差が発生している:^を例に示したが、糸巻き型や陣笠型の歪曲収差が発生しているであっても、発生している歪み形状に合わせて、読み出す画素数を変更することが可能であるのは勿論である。

なお、読み出すブロックにおいて、読み出す画素数を、縦方向に異ならせるだけでなく、横方向に異ならせるようにしても構わない。

また、上述では、イメージプロセス部 6により処理された後の画像デ一夕を歪補正するようにしていたが、これに限るものではない。

図 1 1は、画像処理装置の構成の第 1変形例を示すブロック図である。この図 1 1は、 C CD 1から出力される撮像デ一夕（例えば、ベィャ一デ一夕）を、一旦フレームメモリ 4に蓄積した後に、 3板化する前に歪補正するようにした構成例を示しており、上記図 1 に示した構成に比して、ィメ一ジプロセス部 6と歪補正処理部 7との位置が交換されたものとなつている。上記図 1においては、例えばイメージプロセス部 6により 3板化した画像データを各色毎に処理することになるが、これに限らず、この図 1 1に示すように、ベィャ一配列のカラ一フィル夕を備えた C C D 1から出力されるべィャ一デ一夕を歪補正処理するようにしても構わない。この場合には、隣接する複数画素（例えば 1 6画素）を用いて補間処理を行うのではなく、ペイヤー配列における同色の隣接する画素を用いて補間処理を行うことになる。この構成によれば、 3板化した後の画像データに比して、歪補正を行うデータ量を減らすことができる。

次に、図 1 2は、画像処理装置の構成の第 2変形例を示すプロヅク図である。この図 1 2は、メモリカード等 1 0に記録されている画像デ一夕を歪補正処理するようにした構成例を示している。この構成例では、第 1デ一夕順序変換部 5の前段に J P E G処理部 9が配置されていて、メモリカード等 1 0から読み出した J P E G等の圧縮方式により圧縮されている画像デ一夕を伸張するようになっている。伸張された画像デ一夕は、該第 1デ一夕順序変換部 5やイメージプロセス部 6を介して、歪補正処理部 7により上述したように処理され、第 2デ一夕順序変換部 8で元のデ一夕順序に変換される。なお、メモリカード等 1 0に T I F F等の非圧縮デ一夕として記録が行われている:^には、特に伸張処理することなく歪補正を含む画 1»理を実行することも可能である。

続いて、図 1 3は、画像処理装置の構成の第 3変形例を示すブロック図である。この図 1 3は、歪補正処理後の画像データを圧縮することなく、画像表示するためなどに出力するようにした構成例を示している。第 2デ一夕順序変換部 8により元のデータ順序に変換された画像データは、 J P E G等の圧縮方式により圧縮されることなく、バス 1 1を介してビデオメモリ 1 2に書き込まれ、画像として表示されるようになっている。

さらに、図 1 4は、画像処理装置の構成の第 4変形例を示すブロック図である。この図 1 4は、歪補正処理に用いる距離情報（上述した歪中心から補間位置までの距離 Z ) を、他の画像処理にも用いるようにした構成例を示している。この構成例では、イメージプロセス部 6の後段に、上記光学系に起因する周辺光量不足を補正するための画像処理部たるシェ一ディング補正部 1 4、不要な高周波成分をカヅトするための画理部たるローパスフィル夕（L P F)処理部 1 5、上記歪補正処理部 7、画像中のエッジ部分を強調するための画像処理部たるェヅジ強調処理部 1 6、をこの順にパイプライン処理経路上に配置している。そして、距離情報が、歪補正処理部 7からシェーディング補正部 1 4、口一パスフィル夕（L P F)処理部 1 5、ェヅジ強調処理部 1 6に出力されて、必要に応じてこれらの処理において用いられるようになつている。

これにより、歪中心からの距離に応じて発生する周辺光量不足を、シェーディング補正部 1 4が適切に補正することができる。また、歪中心からの距離に応じて発生する歪曲収差が、例えば樽型である： ^には、歪曲収差を補正したときに画像の周辺部が引き延ばされて画像の鮮明さが低下する可能性があるが、これを口一パスフィル夕処理部 1 5ゃェヅジ強調処理部 1 6により、適切に補正することができる。そして、これらシェーディング補正部 1 4、口一パスフィル夕処理部 1 5、エッジ強調処理部 1 6が、それそれ個別に距離情報を算出する必要がなくなるために、回路應を縮小することが可能となる。なお、図示上は、歪補正処理部 7から、それよりもパイプライン処理経路上の前段にあるシエーディング補正部 1 4や口一パスフィル夕処理部 1 5に距離情報を出力するようになっているが、処理順序を考慮して、距離 Zを算出するための処理ブロックを別構成として、距離情報を使用する各プロックよりも前段側に配置するようにしても構わない。なお、上述では、デジ夕ルカメラに画讓理装置を適用した例について説明したが、これに限らず、専用の画像処理装置であっても構わないし、コンピュータ等の増設ボードなどとしてされるタイプの画像処理装置とすることも可能である。

また、画像処理の対象とするのは、デジタルカメラやビデオカメラにおいて、光学系により結像された被写体像を撮像素子である C C D等の撮像手段により光電変換して得られる画像データ、または該画像データを処理して得られる非圧縮画像デ一夕、あるいは該画像デ一夕を処理した後に圧縮して得られる圧縮画像データ、に限るものではなく、例えば、銀塩カメラで撮影したフィルム、もしくはプリントを、スキャナ等の撮像手段で取り込むことにより得られる画像デ一夕等であっても、上述したような歪補正処理の対象とすることができる。

さらに、画像処理の対象とするのは、画素デ一夕が行方向および列方向に完全に整列している画像データに限るものではない。例えば、ハニカムタイプの画素配列を備えた撮像素子で撮像された画像データであっても、実質的に行方向および列方向に処理を行うことができるような画像デ一夕となっていれば、上述したような歪補正処理をうことが可能である。

このような第 1の実施形態によれば、イメージプロセス部や歪補正処理部への画像デ一夕の転送は、ノスとは異なる情報伝達 «を介してパイプライン処理可能なように行ヽ、さらに、デ一夕転送をプロヅク単位で行うとともにその読み出し方向を工夫するようにしたために、ノスのデ一夕転送量やメモリ容量を増大させることなく、歪補正を含む画像処理を行うことが可能となる。

そして、歪補正処理後の着目点の座標に対応する歪補正処理前の着目点の座標を、歪中心から補間位置までの距離の 4次項、 6次項、またはそれ以上の高次項まで考慮して計算するようにしたために、陣笠型の歪曲収差等の、より高次の収差も高精度に補正することが可能となる。

また、補間位置生成部により生成された座標と、歪補正座標変換部により変換された座標と、をセレクタにより選択することができるようにしたために、歪補正を行うか否かを必要に応じて所望に選択することが可能となる。これにより、ひいては、撮像時には歪補正処理を行うことなく画像データをメモリカード等に一旦記憶しておき、後の時点で、該メモリカードから画像データを読み出して歪補正処理を行うなどが可能となる。このような選択を行えば、撮像時に歪補正処理を省略することができるために、より高速な処理が可能となる。

さらに、歪補正処理部により算出した距離情報を、シェーディング補正部や口一パスフィル夕、エッジ強調処理部に出力することにより、周辺光量不足を適切に補正したり画像の不鮮明さを適切に補正したりすることが、回路規模を増大させることなく可能となる。また、歪中心からの距離により異なる歪曲収差の大きさに合わせて、メモリから読み出すプロック単位の画像データの行方向のサイズと列方向のサイズとの少なくとも一方を適切に変更することにより、処理に必要最小限のデータを読み出すことができるために、処理を高速化することが可能となる。

図 1 5から図 2 0は本発明の第 2の実施形態を示したものであり、図 1 5は画像処理装置の構成を示すプロヅク図である。

この第 2の実施形態において、上述の第 1の実施形態と同様である部分については説明を省略し、主として異なる点についてのみ説明する。

この第 2の実施形態の画 «理装置は、上記図 1に示した第 1の実施形態の画像処理装置から、第 1データ順序変換部 5と、第 2データ順序変換部 8と、を取り除いたものとなつている。

また、この第 2の実施形態における画像処理部であり歪補正処理手段たる歪補正処理部 7は、上記イメージプロセス部 6による処理後の画像デ一夕に歪補正処理を行うだけでなく、さらに拡大縮小処理を行うものとなっている。

さらに、上記ィメ一ジプロセス部 6、歪補正処理部 7、 J P E G処理部 9が、バス 1 1 とは異なる情報伝達経路でパイプライン処理可能なように接続されているのも上述と同様である。このとき、処理をプロヅク単位で行うことにより容量を小さくすることができる画像処理部の内部バッファは、上記図 2に示した内部メモリ部 2 5または図 1 6に示す 2 ポート S RAM 2 5 aである。

また、歪補正処理部 7の構成は、上記図 2を参照して説明したものと同様である。なお、上記図 1 5に示したような構成例においては、歪補正処理部 7に対する前段の処理ブロヅクがィメ一ジプロセス部 6に対応し、後段の処理プロヅクが J P E G処理部 9に対応している。

ここで、上言 at間位置生成部 2 1と歪補正座標変換部 2 2とにおいて、座標を算出する際の基本的な数式と、それを変形することにより回路規模を縮小することができるようにした実用的な数式と、について説明する。

まず、基本的な数式について説明する。

上言 at 位置生成部 2 1は、基本的に、上記 C P U 3から上記制御レジス夕 7 aに設定される補間開始位置（XST, YST)および補間ステップ（Δ Χ, Δ Υ) を用いて、上記数式 1に示したように、補間を行う着目点の座標（X， Y) を算出するものである。

上記歪補正座標変換部 2 2は、基本的に、上 Ϊ3Μ間位置生成部 2 1から出力される歪補正処理後の着目点の座標（X, Υ) から、歪補正処理前の着目点の座標 (X' , Y' ) を次のように算出するものである。

すなわち、歪補正座標変換部 2 2は、まず、上記数式 2に示すような中間的な算出値 ( X (ドヅト）， Υ (ドヅト））（ここに、文字の上に付す点を文章中では（ドット）などとして表している。）を求める。

次に、歪補正座標変換部 2 2は、歪中心からの距離を示す Ζ (より正確には Ζの 2乗）を、上記数式 3に示したように計算する。

歪補正座標変換部 2 2は、こうして算出された Ζと、上記 C P U 3から上記制御レジス夕 Ί aに設定される光学系の歪曲収差に関する光学的性質を示すパラメ一夕である歪補正係数 A, B , Cと、上記算出値（X (ドット）， Y (ドット））と、上記歪中心位置の座標（Xd， Yd ) と、を用いて、歪補正処理後の着目点の座標（X, Y) に対応する歪補正処理前の着目点の座標（X，， Y，）を、次の数式 6に示すように算出する。

【数式 6】

X ^, = ^X - X_d)-[l+A -Z² + B -Z⁴ + C -Z⁶]+ X_d Y' = (†-Y_d [l+ A'Z² + B - Z⁴ + C- Z⁶]+Y_d この第 2の»¾態においても、この数式 6に示すように、 Zの 2次項を越える次数まで、つまり例えば 4次項、または 6次項まで考慮するようにしているために、上記 3 ( D) に示したような陣笠型の歪曲収差等のより高次の収差も高精度に補正することが可能となっている。なお、ここでは 6次項まで考慮する例を示したが、上記数式 4に示したように、 8次項、 1 0次項等の、より一層高次の収差も補正するようにしても構わない。上述したような補間位置生成部 2 1により算出された座標（X， Y)、または歪補正座標変換部 2 2により算出された座標（X' , Y' ) は、セレクタ 2 3に入力されて、歪補正を行うか否かに応じて、必要なものが選択される。

次に、回路 ¾を縮小することができるようにした実用的な数式について説明する。まず、上記数式 3に数式 2および数式 1を代入して、次の数式 7に示すように変形する

【数式 7】

つ 2、

そして、数式 8に示すような新たな定数式を導入して、上記数式 7を数式 9に示すように変形する。

【数式 8】

【数式 9】

ここに、数式 9における Z ( 2ドット）は、次の数式 1 0に示すように定義され、 X 2 , Y 2 (補間座槔デ一夕）は次の数式 1 1に示すように定義される。

【数式 1 0】

Z

z =

M

【数式 1 1】

X2 = X_ST +kAX

この数式 10および数式 11に示すように定義された Z (2ドット）を用いると、上記数式 6は次の数式 12に示すように変形される。

【数式 12】

ここに、この数式 12においては、次の数式 13から数式 16に示すように定義された定数式または変数式を用いている。

【数式 13】

A = AM²

= ⁴

C = CM⁶

【数式 14】

X=M(X_ST-X_D)+X_OFF

ΔΧ= ·ΔΧ

Y-M(Y_ST-Y_D)+Y_OJR

AY^M'AY

【数式 15】

Yl-Y+lAY _m

WO 2004/109597 ^

【数式 16】

'l+Az² + BZ⁴ + CZ⁶ 上記数式 1〜数式 3および数式 6に示したような基本的な数式に沿って演算を行う場合には、係数が 14個で乗算回数が 13回となる。すなわち、係数は、歪中心位置 (Xd， Yd )、中心ずれ補正量（Xoff , Yoff )、範囲補正倍率 M、係数（Sx, Sy)、歪補正係数 A, B, C、補間開始位置（XST， YST)、補間ステップ（ΔΧ， ΔΥ)の合計 14個である。また、乗算回数は、数式 2における Μとの乗算が 2回、数式 3における S X, Syとの各乗算と 2つの 2乗式とで乗算が 4回、数式 6における歪補正係数 A, B， Cとの乗算が 3回、 Zの 4乗および 6乗の算出に乗算が 2回、大括弧と小括弧との乗算が 2回、で合計 13回となる。

これに対して、上記数式 7〜数式 16に示したような実用的な数式に沿って演算を行うには、係数が 13個で乗算回数が 9回となる。すなわち、係数は、 X (2ドヅト） ST , Y (2ドット） ST, 厶 X (2ドット）， ΔΥ (2ドット）， X (3ドット）， Y (3ドット）， ΔΧ (3ドット) ，厶 Y (3ドット）， A (ドット）， B (ドット）， C (ドット）， Xd , Ydの合計 13個である。また、乗算回数は、数式 9の中括弧内における 2 つの 2乗式で 2回、数式 16における A (ドット）， B (ドット）， C (ドヅト）との乗算が 3回、該数式 16における Z (ドヅト）の 4乗および 6乗の算出に乗算が 2回、数式 12における Fとの乗算が 2回、で合計 9回となる。

.このような演算で扱う数は、ダイナミヅクレンジが大きく、計算回数が少し増えるだけでも回路皿が大きくなつてしまうために、上記に示したような実用的な数式に沿って演算を行うことにより、乗算器の個数を減少させるとともに、係数を設定するためのレジス夕を削減することができ、回路を効果的に縮小することが可能となる。

このように変形された実用的な数式に基づいて、上言 BM 位置生成部 21に対応する補間位置算出回路 2 la (後述する図 16参照）は、上記 CPU 3から上記制御レジスタ 7 aに設定される補間開始位置（X (3ドット）， Y (3ドット））および補間ステップ（ △ X (3ドット）， ΔΥ (3ドヅト））を用いて、上記数式 15に示すように、補間を行う着目点の座標（補間位置）（XI, Y1) を算出するようになっている。

また、上記歪補標変換部 22の歪補正係数算出手段たる歪補正係数算出回路 22 a (後述する図 16および図 17参照）は、上記 CPU3から上記制御レジス夕 7aに設定される A (ドット）， B (ドット）， C (ドヅト）を用いて、上記数式 16に示すように歪補正係数 Fを算出するようになっている。なお、後述するように、該図 17に示す構成に代えて、図 18に示すような構成により、歪補正係数 Fを算出することも可能となっている。

さらに、上記歪補正座標変換部 22の補間位置補正回路 22 b (後述する図 16参照）は、算出された歪補正係数 Fと、上記 CPU3から上記制御レジス夕 7 aに設定される歪中心位置の座標 (Xd， Yd ) と、を用いて上記着目点の座標（補間位置） (XI, Y1 ) から上記数式 12により歪補正処理前の着目点の座標（補間座標デ一夕）（Χ，， Y， ) を算出するようになっている。

次に、上言 3¾間演算部 26は、上記セレクタ 23から出力される座標に基づき、該座標の近傍の画素の画像デ一夕 DO〜D15を上記内部メモリ部 25から読み出して、上記数式 5を用いることにより、該着目点に係る歪補正処理後の画像デ一夕 Doutを算出して、後段の処理プロヅクへ出力する。

図 16は、歪補正処理部 7のより詳細な構成を示すブロック図である。

上言 Bffi間位置生成部 21は、上記着目点の座標（XI, Y1) を上述したように算出するための補間位置算出回路 21 aを有して構成されている。

上言補正座標変換部 22は、上記歪補正係数 Fを上記数式 16に示したように算出するための歪補正係数算出回路 22 aと、この歪補正係数算出回路 22 aにより算出された歪補正係数 Fを用いて上記数式 12に示したように歪補正処理前の着目点の座標 (Χ' , Y' ) を算出するための補間位置補正回路 22わと、を有して構成されている。

上記セレクタ 23は、歪補正処理を行わない場合には（拡大縮小処理を行うか否かに関わらず）上言間位置算出回路 2 laからの座標（XI, Y1) を選択し、歪補正処理を行う場合には（拡大縮小処理を伴うか否かに関わらず）上言 ¾1間位置補正回路 22わからの座標 (X⁵ , Y' ) を選択するものである。

このセレクタ 23により選択された座標 (XI, Y1) または座標（X，， Y' ) には、制御レジス夕 7 aを介して上記 CPU 3により設定される歪中心位置の座標 (Xd , Y d )が、加算器 27a, 27bによりそれそれ加算されるようになっている。

これら加 m§27a, 27bの出力は、読出しアドレス生成回路 24 aとバッファ開放量算出回路 24 cとへ出力されるようになっている。

この読出しアドレス生成回路 24 aには、さらに、上言間位置算出回路 2 laにより算出された座標（XI, YD も上記セレクタ 23を介する経路とは別途に入力されるようになつている。そして、該読出しアドレス生成回路 24 aは、この座標 (XI, Y1) に関連する画素デ一夕（16点補間を行う:^には、纏標（XI, Y1) を中心とする 16個の画素デ一夕）が記憶されているアドレス ADRを 2ポート SRAM25 aに出力するとともに、補間係数（例えば、上記数式 5に示したような補間係数 kxO〜： kx3， kyO 〜： ky3) と出力する画素データが DO〜D 15のどの位置の画素データであるかを示すデー夕列制御信号とを補間回路 26 aに出力するようになっている。さらに、該読出しァドレス生成回路 24 aは、書き込み許可信号 WE— Nを後段の処理プロックへ出力する。上記 2ポート S R AM 25 aは、上記図 2に示した内部メモリ部 25に対応する回路部分である。

補間回路 26 aは、上記図 2に示した補間演算部 26に対応するものであり、上記 2ポ —ト SRAM25aから読み出された画像デ一夕を用いて上記数式 5に示したような補間処理を行い、処理後の画像デ一夕を後段の処理プロヅクに出力するものである。

上記バッファ開放量算出回路 24 cは、上言 BM 位置算出回路 2 laからの出力と、上記セレクタ 23からの出力と、に基づいて、上記 2ポート SRAM25 aにおいて開放可能な記憶容量（バッファ開放量）を算出するものである。

バッファ空き容量監視回路 24 dは、このバッファ開放量算出回路 24 cの出力を参照して、上記 2ポート SRAM25aの空き容量の状況を把握するものである。

書込みァドレス生成回路 24 bは、前段の処理プロヅクからの画像デ一夕を受けて、上記 2ポート SRAM25 aに記録するものである。

GRAN T一 N送信判定回路 24 eは、後段の処理プロヅクからの画像デ一夕を要求する要求信号 REQ— Nを受けて、上記書込みアドレス生成回路 24bとバッファ開放量算出回路 24 cとの出力に基づき画像デ一夕の送信が可能であるか否かを判断し、可能である:^に許可信号 GRANT— Nを後段の処理ブロックに出力するとともに、上言 Bi間位置算出回路 21 aにも出力するものである。この GRANT— N送信判定回路 24 eは、さらに、該許可信号 GRANT_Nを受けた補間位置算出回路 2 laが座標（XI, Y1 ) を算出して出力するのにタイミングを合わせて歪補正係数算出回路 22 aが歪補正係数 Fを出力することができるように、トリガ t r i gを該歪補正係数算出回路 22 aへ出力するようになっている。

なお、上記図 16に示した歪補正処理部 7の構成の内で、上記歪補正座標変換部 22を除く各回路にはクロヅク CLK 2が供給されるが、この歪補正座標変換部 22にはこのクロック CLK 2とは異なり得るクロック CLK 1が供給されるようになっている。

これにより、歪補正処理を行わない場合、つまり例えば拡大縮小処理のみを行う:^や、歪補正処理および拡大縮小処理を両方とも行わない:^などに、歪補正座標変換部 22 への供給クロック C L K 1を停止すれば、不要な電力の消費を抑制することが可能である。また、供給するクロック CLK1のクロヅク数を低下させたり戻したり制御することにより、単位時間当たりに補間座標デ一夕を生成する回数を制御し調整することも可能とな o '

次に、この図 16に示したような歪補正処理部 7の動作について説明する。

ノ 'ヅファ空き容量監視回路 24 dは、ノファ開放量算出回路 24 cを介して 2ポート SRAM 25 aの空き容量を監視し、所定の空き容量があると、前段の処理プロヅクに対して所定のプロヅク単位の画像データ（以下、適宜、ュニヅトライン（UL)デ一夕という。）を送信するように要求信号 REQを出す（ステップ S1)。

前段の処理プロヅクは、この要求信号 REQを受けて、画像デ一夕が送信可能になったところで許可信号 GRANTを送信し、上記バッファ空き容量監視回路 24 dは、この許可信号 GRANTを受信する（ステップ S 2)。

該バヅファ空き容量監視回路 24 dは、 2ポ一ト SRAM25 aの空き容量を、内部に保持する力ゥン夕で把握するようになっており、許可信号 GRAN Tを受信すると同時に、この内部カウン夕の値を 1つ減らす。該バッファ空き容量監視回路 24 dは、この内部カウン夕が 0になったら、上記要求信号 REQを取り下げるように動作する（ステップ S 3)。

そして、前段の処理ブロックから、書き込み許可信号 WEが書込みアドレス生成回路 2 4bに入力され、続いて画像データが入力される。これに応じて、書込みアドレス生成回路 24bは、制御信号を 2ポート SRAM 25 aへ出力して、画像デ一夕 DATAを該 2 ポート SRAM25aの、アドレス ADD RE S Sで指定される領域に書き込む。また、書込みアドレス生成回路 24 bは、 1ULデ一夕が入力される毎に、 BLCカウン夕（内部バヅファである 2ポ一ト SRAM 25 aにどれだけのデ一夕が溜められたかを示すカウン夕）をアップして、 GRANT一 N送信判定回路 24 eへ出力する（ステップ S 4)。

GRANT— N送信判定回路 24 eは、後段の処理ブロックから要求信号 RE Q—Nを受信すると、次に送信することができる ULデータが 2ポート SRAM25 a内にあるか否かを判定し、あると判定した:！^には、許可信号 GRANT— Nを後段の処理ブロックと上言甫間位置算出回路 2 laとへ送信する（ステップ S 5) o

補間位置算出回路 2 laは、この許可信号 GRANT— Nを受けて動作を開始し、補間位置である座標 (XI, Y1)の算出動作を 1UL分行ったところで、次の UL先頭座標を算出して終了する（ステップ S 6)。

上記 GRANT— N送信判定回路 24 eは、補間位置算出回路 21 aが動作を開始して座標（XI, Y1) を出力するのと同期して歪補正係数算出回路 22 aが歪補正係数 Fを出力することができるような夕ィミングで、トリガ t r i gを該歪補正係数算出回路 22 aへ出力する（ステップ S 7)。

歪補正係数算出回路 22 aは、トリガ trigを受けると、 ULデ一夕内の画素について歪補正係数 Fを上記数式 16に基づき算出し、補間位置補正回路 22 bに出力する。この歪補正係数算出回路 22 aも、上言彌間位置算出回路 21 aと同様に、 1 UL分の動作を行ったところで、次の UL先頭座標を算出して終了する（ステップ S 8)。

補間位置補正回路 22 bは、この歪補正係数算出回路 22 aから受け取った歪補正係数 Fと、上言 Bffi間位置算出回路 2 laから受け取った座標 (XI, Y1) と、を用いて、上記数式 12に基づき座標（Χ，， Y， ) を算出する。この補間位置補正回路 22 bも、上記歪補正係数算出回路 22 aに従って、 1UL分の動作を行ったところで、次の UL先頭座標を算出して終了する（ステヅプ S 9)。

セレクタ 23は、上記制御レジス夕 7 aを介して上記 C P U 3により設定された動作モ —ドに従って、歪補正処理を行う: ^には上言 St間位置補正回路 22 bからの座標（X' , Y' ) を選択し、歪補正処理を行わない：^には上言 BM 位置算出回路 2 laからの座標（XI, Y1) を選択する（ステップ S 10)。

加算器 27a, 27bは、このセレクタ 23により選択された座標（X 1 , Y1) または座標 (X⁵ , Y， ) に、歪中心位置の座標 (Xd , Yd ) をそれぞれ加算する（ステツプ S 11)。

読み出しアドレス生成回路 24 aは、カロ簡 27 a, 27 bから受け取った座標に基づいて、補間に用いるために 2ポート SRAM25 aから読み出す画素データのアドレス A D Rを該 2ポート S RAM 25 aに出力するとともに、補間係数とデ一夕列制御信号とを補間回路 26 aに出力する（ステップ S 12)。

補間回路 26 aは、読み出しアドレス生成回路 24 aから受け取った補間係数およびデ —夕列制御信号と、 2ポート SRAM25 aから受け取った画素デ一夕と、を用いて、上記数式 5に示すように、補間された画素デ一夕を算出し、後段の処理ブロックに出力する (ステップ S 13) 。

バッファ開放量算出回路 24 cは、上記補位置算出回路 21 aおよび加算器 27 a, 27 bの出力に基づいて、 ULデ一夕を最後まで出力したことが確認されたら、今処理を終えた UL先頭座標と、次の UL先頭座標との差を計算して、必要なくなったデ一夕が蓄積されているバヅファ（2ポート SRAM 25 a内の領域）を開放するために、バッファ開放量をバッファ空き容量監視回路 24 dへ出力するとともに、次の UL処理を行うために後どれだけのデータを前段の処理プロヅクから受けることが必要であるかを、上記 GR AN T— N送信判定回路 24 eへ送信する（ステップ S 14)。

バッファ空き容量監視回路 24 dは、上記ステップ S 14において内部バッファである 2ポート SRAM25aに記憶領域の空きができたことが確認されたところで、上記ステヅプ S 1へ戻って、上述したような処理を繰り返して行う（ステップ S 15) o

GRAN T— N送信判定回路 24 eは、上記書込みァドレス生成回路 24bからの BL Cカウン夕の値と、ノ^ファ閧放量算出回路 24 cからの出力と、に基づいて、次の UL デ一夕を後段の処理プロヅクに送信することができるか否かを判定し、送信することができると判定した:^には、上記ステップ S 5の処理を行う（ステップ S 16) o

図 17は、上記歪補正係数算出回路 22 aの構成の一例を示すブロック図である。この歪補正係数算出回路 22 aは、上記数式 16によって、歪補正係数 Fを算出するためのものである。

なお、この図 17において、および以下に示す図 17の説明においては、 Zは数式 10 の左辺に示す Z (2ドット）のことを ί旨し、係数 A, Β, Cは数式 13の左辺に示す A ( ドット）， B (ドヅト）， C (ドット）のことを指している。

歪補正係数算出回路 22 aは、上記 GRANT— N送信判定回路 24 eからトリガ t r i gが入力されたところで上記数式 11に基づき補間座標 X 2 , Y 2を算出する歪補正用座標算出回路 31と、この歪補正用座標算出回路 31により算出された補間座標 X 2を浮動小数に変換する浮動小数化回路 32 aと、上記歪補正用座標算出回路 31により算出された補間座標 Y 2を浮動小数に変換する浮動小数化回路 32 bと、上記浮動小数化回路 3 2 aにより浮動小数化された補間座標 X 2を 2乗する 2乗計難 33 aと、上記浮動小数化回路 32bにより浮動小数化された補間座標 Y2を 2乗する 2乗計算器 33bと、上記 2乗計難 3 3 aにより算出された補間座標 X 2の 2乗と上記 2乗計算器 3 3 bにより算出された補間座標 Y 2の 2乗とを加算することにより Z (より正確には、上述したように Z ( 2ドット）。以下同様）の 2乗を算出する加 3 4と、この加算器 3 4からの出力を 2乗することにより Zの 4乗を算出する 2乗計 3 3 cと、上記加算器 3 4からの出力を «させる遅延回路 3 5 bと、上記 2乗計算器 3 3 cにより算出された Zの 4乗とこの遅延回路 3 5 bにより遅延され夕ィミングを合わせて出力される Zの 2乗とを乗算することにより Zの 6乗を算出する乗^ H 3 6 dと、上言劭ロ算器 3 4からの出力をさせるとともに上記 2乗計 3 3 cからの出力を遅延させる遅延回路 3 5 aと、上記遅延回路 3 5 aから ® されタイミングを合わせて出力される Zの 2乗に上記 C P U 3から制御レジス夕 7 aに設定される係数 A (より正確には、上述したように A (ドヅト）。以下同様 ) を乗算する乗算器 3 6 aと、上記遅延回路 3 5 aから遅延されタイミングを合わせて出力される Zの 4乗に上記 C P U 3から制御レジス夕 7 aに設定される係数 B (より正確には、上述したように B (ドット）。以下同様）を乗算する乗 3 6 bと、上記乗算器 3 6 dから出力される Zの 6乗に上記 C P U 3から制御レジス夕 7 aに設定される係数 C ( より正確には、上述したように C (ドット）。以下同様）を乗算する乗難3 6 cと、上記乗 3 6 aからの出力に上記 C P U 3から制御レジス夕 7 aに設定される上記係数 A の符号 s i g nAを与えて固定小数に変換する固定小数化回路 3 7 aと、上言算器 3 6 bからの出力に上記 C P U 3から制御レジス夕 Ί aに設定される上記係数 Bの符号 s i g nBを与えて固定小数に変換する固定小数化回路 3 7 bと、上記乗算器 3 6 cからの出力に上記 C P U 3から制御レジス夕 Ί aに設定される上記係数 Cの符号 s i g n Cを与えて固定小数に変換する固定小数化回路 3 7 cと、上記固定小数化回路 3 7 aからの出力と上記固定小数化回路 3 7 bからの出力と上記固定小数化回路 3 7 cからの出力と上記 C P U 3から制御レジス夕 7 aに設定される定数 1 . 0とを加算することにより上記数式 1 6に基づく歪補正係数 Fを算出する加 8と、を有して構成されている。

なお、この図 1 7において、 2重線で示している部分が、浮動小数による演算処理を行つている部分であり、ダイナミックレンジの広い X 2， Y 2や Zなどを浮動小数で扱うことにより、精度を保ちながら回路 «を縮小するようになっている。

また、.図 1 8は、上記歪補正係数算出回路 2 2 aの構成の他の例を示すブロック図である。

この図 1 8に示す歪補正係数算出回路 2 2 aは、上記歪補正用座標算出回路 3 1と、上記浮動小数化回路 3 2 aと、上記浮動小数化回路 3 2 bと、上記 2乗計算器 3 3 aと、上記 2乗計難3 3 bと、上記加算器 3 4と、この加算器 3 4から出力される浮動小数化された Z (より正確には、上述したように Z ( 2ドヅト）。以下同様）の 2乗を用いて参照を行うことにより固定小数化された歪補正係数 Fを出力する L U T (ルヅクァヅプテープル） 3 9と、を有して構成されている。

この図 1 8においても、 2重線で示している部分が、浮動小数による演算処理を行っている部分である。

このように、この図 1 8に示す構成例は、ルックァヅプテ一ブルを用いることにより、歪補正係数 Fを算出するための処理時間を短縮し回路の消費電力を低減するものとなっている。

なお、この構成例を適用する: ^には、上記係数 A, B , Cは C P U 3から設定されるものではなく、固定値となっている。もちろん、ルックアップテ一ブルのが大きくなつても構わない：^には、上記係数 A, B , Cの複数の組み合わせに対応するルヅクァヅブテ一ブルを用意しておいて、適切なものを用いるようにしても構わない。

次に図 1 9はクロック毎に補間位置を生成するときの様子を示すタイミングチヤ一ト、図 2 0は 3クロヅクに 1回の割合で補間位置を生成するときの様子を示す夕ィミングチャ一トである。

図 1 9は、クロヅク毎に補間位置を生成するときの動作の様子を示したものであり、後段の処理ブロックから要求信号 RE Q—Nが GRAN T— N送信判定回路 2 4 eに入力されると、該 GRAN T— N送信判定回路 2 4 eは、画像デ一夕を出力可能となったところで、該後段の処理プロヅクに対して許可信号 GRAN T_Nを送信する。

この許可信号 GRAN T— Nは、補間位置算出回路 2 l aへも入力されて、補間位置 X 1 , Y 1が生成され出力される。この図 1 9に示す例では、補間位置 X I , Y 1は、各クロック毎に出力される。

そして、適宜の処理時間を経た後に、上言 3«間回路 2 6 aから補間後の画像デ一夕が後段の処理プロヅクへ出力され、このときには上言 3読出しァドレス生成回路 2 4 aから書き込み許可信号 WE— Nが出力されている。

また、図 2 0は、 3クロックに 1回の割合で補間位置を生成するときの動作の様子を示したものである。

許可信号 GRAN T— Nが補間位置算出回路 2 1 aに入力されるまでの動作は図 1 9に示した;^と同様であるが、その後に該補間位置算出回路 2 l aは、 3クロヅクに 1回の割合で補間位置 X I , Y 1を生成して出力する。

また、補間位置 X 1， Y 1が生成されてから上言 St間回路 2 6 aから補間後の画像デ一夕が出力されるまでの処理に要する時間も図 1 9に示した: ^と同様であるが、補間位置 X I , Y 1の生成が 3クロヅクに 1回であるために、補間後の画像データの出力も同様に 3クロヅクに 1回であり、これに合わせて書き込み許可信号 WE— Nの出力も 3クロックに 1回となっている。

なお、ここでは補間位置をクロヅク毎あるいは 3クロヅクに 1回生成する例を示しているが、これに限るものではなく、適宜の複数回に 1回生成するようにしても構わないし、あるいは n回毎に m回（n≥m) (例えば、 3クロックに 2回）生成するようにすることも可能であり、任意の頻度で補間位置を生成することが可能である。また、このようなク口ヅク数に対する補間位置の生成数の割合を、動的に変更するようにしても構わない。このような第 2の実施形態によれば、上述した第 1の実施形態とほぼ同様の効果を奏するとともに、歪補正処理と拡大縮小処理とを、 1つの回路で同時に行うことができるために、処理時間を短縮して、回路を縮小することが可能となる。これにより、高速な画像処理装置を低コストに構成することができる。

また、歪補正を行わないときに、歪補正座標変換部に供給するクロックを停止することにより、つまり、歪補正係数算出回路と補間位置補正回路とに供給するクロックを停止することにより、消費電力を低減することが可能となる。

さらに、これら補間位置算出回路による座標の算出を、必要に応じてクロック毎でないようにする（毎クロックではない隔クロックに行うようにする）ことにより、電力の消費を時間方向に分散することが可能となる。この単位時間当たりに座標を算出する回数を適応的に変更することにより、一層効率的に消費電力の分散を図ることができる。これによつて、処理回路の温度が上昇するのを抑制することができるとともに、画像処理装置全体の瞬間的な消費電力（ピーク消費電力）を低減することができる。

そして、基本的な数式に基づくよりも乗算の回数が減るように変形した実用的な数式に基づいて、補間座標デ一夕を生成するようにしたために、補間位置生成部や歪補正座標変換部の内部に設ける乗の個数を削減することができ、回路 «の縮小を図ることができる。

カロえて、歪補正後の画像内の注目画素（X, Y) に対応する位置（つまり、（X, Y) に Xoff , Yoff , M, SX， SYなどを考慮した位置）と歪中心位置 (Xd , Yd ) との間の距離 Z (あるいは Z ( 2ドット））は、ダイナミックレンジが広い数であり、これらの 2乗、 4乗、 6乗などはさらにダイナミックレンジが広い数となるが、これらを浮動小数とレて扱って演算を行い歪補正係数を算出するようにしたために、精度を保ちながら回路«を縮小することが可能となる。

また、歪補正係数を求める際に、上記距離 Z (あるいは Z ( 2ドヅト））（もしくはその 2乗）に基づき参照可能なルックアップテ一カレを用いる:^には、処理時間を短縮しながら回路夫應を縮小することが可能となる。

図 2 1から図 3 1は本発明の第 3の実施形態を示したものである。この第 3の実施形態において、上述の第 1，第 2の^形態と同様である部分については説明を省略し、主として異なる点についてのみ説明する。

この第 3の難形態における画像処理装置の主要部の構成は、上述した第 2の難形態の図 1 5に示したものと同様である。

また、画像データを所定のプロック単位で転送することにより容量を小さくすることができる内部バヅファは、この第 3の実施形態では、上記図 2に示した内部メモリ部 2 5または図 2 9に示す 2ポート S RAM 2 5 aとなっている。

図 2 1は、上記歪補正処理部 7の構成の概要を示すブロック図である。

カラ一画像デ一夕は、通常、 RGBや Y C b C rなどの 3つ（もしくはそれ以上）の独立した信号成分に分解され、各成分毎に処理が行われるようになつている。ここでは、 3 つの独立した信号成分のそれそれが処理される経路（チャンネル）を C h. 0、 C h. 1 、 C h. 2として説明するが、具体的には、例えば C h . 0で処理される信号が R、 C h . 1で処理される信号が G、 C h. 2で処理される信号が Bなどとなる。

この歪補正処理部 7は、各チャンネル毎の歪補正処理部が、前段の対、するチャンネルの処理ブロヅクヘリクエストを送信し、該リクエストに応じて前段の処理プロヅクから送信される画像デ一夕を所定ブロック単位で受け取って、歪補正を行った後に、後段の対応するチャンネルの処理ブロックへ出力するようになっている。具体的には、 C h. 0デー夕を処理するための歪補正処理部が 7 A、 C h. 1データを処理するための歪補正処理部が 7 B、 C h. 2デ一夕を処理するための歪補正処理部が 7 C、となっていて、これらが上記歪補正処理部 7に含まれている。なお、これらの歪補正処理部 7 A， 7 B ₅ 7 Cは、後段のプロヅクから画像データを送信して欲しい旨のリクエストを受信すると、送信可能になった段階で、画像デ一夕を所定のプロヅク単位で該後段のプロヅクへ送信するようになっている。 ' なお、上記図 1 5に示したような構成例においては、前段の処理ブロックがイメージプ口セス部 6に対応し、後段の処理ブロックが J P E G処理部 9に対応していて、これらの前段および後段の処理プロックも、各チヤンネル毎に処理を行うように構成されている。歪補正処理部 7には、制御レジス夕 7 aが付随して設けられており、 C P U 3からの該歪補正処理部 7に対する設定値や各種デ一夕などが上記歪補正処理部 7 A, 7 B , 7。へ設定され、同時に処理結果のステータスなどを C P U 3から読み取ることができるようになっている。

上記歪補正処理部 7の 1つのチヤンネルに係る部分の処理の概要は、上記図 4および図 5を参照して説明したのとほぼ同様である。

そして、このような処理を行うための 1つのチャンネルに係る歪補正処理部 7は、上記図 2に示したものと同様である。

また、上言 BM 位置生成部 2 1と歪補正座標変換部 2 2とにおいて、座標を算出する際の基本的な数式と、それを変形することにより回路媚奠を縮小することができるようにした実用的な数式と、は、上述した第 2の実施形態において、数式 1〜数式 3および数式 5 〜数式 1 6を参照して説明したものと同様である。

このとき、上記数式 1 6に示すように歪補正係数 Fを算出するのは、後述する図 2 6に示すような、上記歪補正座標変換部 2 2の歪補正係数算出手段たる歪補正係数算出回路 2 2 aであるが、該図 2 6に示す構成に代えて、後述する図 2 8に示すような構成を用いても構わない。

さらに、上記数式 1 2により歪補正処理前の着目点の座標（補間座標デ一夕）（Χ，， Y' ) を算出するのは、後述する図 2 9に示すような、上記歪補正座標変換部 2 2の補間位置補正回路 2 2 bとなっている。

図 2 2は、光学系により画像を撮影したときに発生する色収差の一例を示す図である。この図 2 2に示す例においては、糸巻き型の歪曲収差が発生するとともに、赤 Rが歪中心から見て緑 Gの内側に、青 Bが歪中心から見て緑 Gの外側に、それそれずれるような色収差が発生している。そして、この色収差によるずれは、歪中心からの距離が遠いほど大きくなつている。

このように、色収差は各色毎に異なるために、補間処理も上記図 2 1に示したように、各色毎に行っている。図 2 5は、上記歪補正処理部 7のより詳細な構成を示すブロック図である。

上記歪補正処理部 7 Aは C h. 0用歪補正回路 7 A 1を、上記歪補正処理部 7 Bは C h . 1用歪補正回路 7 B 1を、上記歪補正処理部 7 Cは C h. 2用歪補正回路 7 C 1を、それそれ歪補正演算手段として有して構成されている。

また、歪補正係数 Fを算出するための歪補正係数算出回路 2 2 aは、上記歪補正座標変換部 2 2の一部を構成するものであり、歪補正処理部 7 A, 7 B , 7 Cにおいて共通化することができるために、 3つのチャンネルに共通な単一の回路として設けられていて、 C h. 0用の歪補正係数 F 0、 C h. 1用の歪補正係数 F l、 C h. 2用の歪補正係数 F 2 を算出して、上記 C h. 0用歪補正回路 7 A 1、 C h. 1用歪補正回路 7 B 1、 C h. 2 用歪補正回路 7 C 1へそれそれ出力するようになっている。

また、歪補正処理や拡大縮小処理に係る補間処理を行った後に、後段の処理ブロックに対して画像デ一夕を出力する際には、該後段の処理ブロックの処理内容によっては、 3つのチャンネルの画像デ一夕が同時に必要となる： ^がある。ところが、上記図 2 2に示したように、色収差がある場合には注目画素の位置が色によって異なるために、 3つのデ一夕が同時に揃って出力されるとは限らない。

これを図 2 3および図 2 4を参照して説明する。図 2 3は Bに係る補間データを算出可能となった時点での内部メモリ部に蓄積された画像デ一夕の様子を示す図、図 2 4は R, G, Bのそれぞれに係る補間デ一夕を算出可能となった時点での内部メモリ部に蓄積された画像データの様子を示す図である。

3つのチヤンネルで補間デ一夕の算出処理を同時に開始した場合には、前段の処理プロヅクからの画像データが、各チャンネルの内部メモリ部 2 5 (後述する図 2 9に示す 2ポ —ト S RAM 2 5 a) に順次記憶され始める。このときに、既にデータとして記憶されている部分が、斜線で示している部分である。図 2 3に示す時点では、青 Bに関する補間デ —夕の算出が可能なところまで画像データの蓄積が行われているが、緑 Gおよび赤 Rに関する補間データの算出を行うことができる量にはまだ至っていない。

また、図 2 4に示す時点では、赤 R、緑 G、青 Bに関する補間デ一夕の算出を行うことが可能なところまで画像データの蓄積が行われている。

このように、 3つのチャンネルの補間デ一夕を算出可能になった時点で、後段の処理プロックへの画像デ一夕の転送を許可するように同期させるのが、グラント同期手段たるグラント同期回路 27である。

Ch. 0が R、 Ch. 1が G、 Ch. 2が Bである^を例にとると、上記図 23に示すような状態になったところで上記 Ch. 0用歪補正回路 7 A 1が歪補正処理の開始を要求する要求信号 t r ok—◦を出力し、図示はしないが Ch. 1用歪補正回路 7B1が歪補正処理可能となった時点で歪補正処理の開始を要求する要求信号 t r o k— 1を出力し、上記図 24に示すような状態になったところで Ch. 2用歪補正回路 7 C 1が歪補正処理の開始を要求する要求信号 t r o k— 2を出力するようになっている。

グラント同期回路 27は、これらの要求信号 t r ok— 0， trok— 1, trok— 2が全て揃った後に、すなわち、 3つのチャンネルの全てで補間データを送信することが可能になったところで、後段の処理ブロックの、 Ch. 0に係る処理を行う部分に対して許可信号 GRANT— NOを、 Ch. 1に係る処理を行う部分に対して許可信号 GRAN T_N1を、 Ch. 2に係る処理を行う部分に対して許可信号 GRANT— N 2を、それそれ出力するとともに、上記 Ch. 0用歪補正回路 7A1、 Ch. 1用歪補正回路 7B1 、 Ch. 2用歪補正回路 7 C1に対して後述するように歪補正処理を同時に開始させるよう制御するようになっている。

なお、該グラント同期回路 27は、後述するように、内部にスィッチを有しており、 3 つのチャンネルの出力を同期させるか否かを切り換えることができるようになつている。図 26は、上記歪補正係数算出回路 22 aの構成を示すブロック図である。

この歪補正係数算出回路 22 aは、上記数式 16によって、歪補正係数 Fを算出するための歪補正係数算出手段であり、該数式 16における光学系の光学的性質を反映する A ( ドット）， B (ドット）， C (ドット）は、各チャンネル毎に、つまり例えば RGBの各色成分每に、上記 CPU 3から制御レジス夕 7 aに設定されるようになっている。

なお、この図 26および後述する図 27, 図 28の図面中において、そして以下に示す図 26から図 28までの説明においては、 Zは数式 10の左辺に示す Z (2ドット）のことを指し、係数 A, B, Cは数式 13の左辺に示す A (ドット）， B (ドット）， C (ド, ヅト）のことを指している。

歪補正係数算出回路 22 aは、上記グラント同期回路 27から許可信号 e_grant が入力されたところで上記数式 11に基づき補間座標 X2, Y2を算出する歪補正用座標算出回路 31と、この歪補正用座標算出回路 31により算出された補間座標 X 2を浮動小数に変換する浮動小数化回路 32 aと、上記歪補正用座標算出回路 31により算出された補間座標 Y 2を浮動小数に変換する浮動小数化回路 32 bと、上記浮動小数化回路 32 a により浮動小数化された補間座標 X 2を 2乗する 2乗計算器 33 aと、上記浮動小数化回路 32bにより浮動小数化された補間座標 Y 2を 2乗する 2乗計算器 33bと、上記 2乗計算器 33 aにより算出された補間座標 X 2の 2乗と上記 2乗計算器 33 bにより算出された補間座標 Y2の 2乗とをカロ算することにより Z (より正確には、上述したように Z ( 2ドット）。以下同様）の 2乗を算出する加^ 34と、この加 4からの出力を 2 乗することにより Zの 4乗を算出する 2乗計算器 33 cと、上記加^^ 34からの出力を遅延させる «回路 35bと、上記 2乗計 §33 cにより算出された Zの 4乗とこの遅延回路 35bにより遅延されタイミングを合わせて出力される Zの 2乗とを乗算することにより Zの 6乗を算出する乗算器 36と、上記加算器 34からの出力をさせるとともに上記 2乗計 33 cからの出力を遅延させる遅延回路 35 aと、この遅延回路 35 a からタイミングを合わせて出力される Zの 2乗および Zの 4乗と上記乗 36から出力される Zの 6乗とを用いて Ch. 0用， Ch. 1用， Ch. 2用の歪補正係数 F0， F 1 , F 2をそれぞれ算出する距離依存係数算出回路 40 a, 40b, 40 cと、を有して構成されている。

図 27は上記距離依存係数算出回路 40 a, 40 b, 40 cの任意の 1つである距離依存係数算出回路 40の構成を示すブロック図である。

この距離依存係数算出回路 40は、上記誕回路 35 aから遅延され夕ィミングを合わせて出力される Zの 2乗に上記 C P U 3から制御レジス夕 7 aに設定される係数 A (より正確には、上述したように A (ドット）。以下同様）を乗算する乗算器 4 laと、上記遅延回路 35 aからされ夕ィミングを合わせて出力される Zの 4乗に上記 C P U 3から制御レジス夕 7 aに設定される係数 B (より正確には、上述したように B (ドット）。以下同様）を乗算する乗算器 4 lbと、上記乗 I36から出力される Zの 6乗に上記 CP U 3から制御レジス夕 7 aに設定される係数 C (より正確には、上述したように C (ドヅト）。以下同様）を乗算する乗算器 41 cと、上記乗 41 aからの出力に上記 CPU 3から制御レジス夕 7 aに設定される上記係数 Aの符号 s i gnAを与えて固定小数に変換する固定小数化回路 42 aと、上記乗 ^141 bからの出力に上記 CPU 3から制御レジス夕 7 aに設定される上記係数 Bの符号 s i gnBを与えて固定小数に変換する固定小数化回路 42 bと、上記乗算器 4 lcからの出力に上記 CPU3から制御レジス夕 7 aに設定される上記係数 Cの符号 s i gnCを与えて固定小数に変換する固定小数化回路 42 cと、上記固定小数化回路 42 aからの出力と上記固定小数化回路 42 bからの出力と上記固定小数化回路 42 cからの出力と上記 CPU3から制御レジス夕 7 aに設定される定数 1. 0とを加算することにより上記数式 16に基づく歪補正係数 F (すなわち、歪補正係数 FO, F 1, F 2の何れか）を算出する加算器 43と、を有して構成されている。なお、図 26および図 27において、 2重線で示している部分が、浮動小数による演算処理を行っている部分であり、ダイナミックレンジの広い X2, Y2や Zなどを浮動小数で扱うことにより、精度を保ちながら回路規模を縮小するようになつている。

このとき、上記図 26に示したように、歪補正係数算出回路 22 aの一部、すなわち、歪補正用座標算出回路 31、浮動小数化回路 32 a, 32b、 2乗計算器 33 a, 33b , 33c,カロ算器 34、遅延回路 35 a， 35 b、乗^ §36は、チャンネルによらない共通した部分として構成されている。これにより、さらに回路 ¾莫の縮小を図って、消費電力を低減することができるようになつている。

また、図 28は、上記歪補正係数算出回路 22 aの構成の他の例を示すブロック図であこの図 28に示す歪補正係数算出回路 22 aは、上記歪補正用座標算出回路 31と、上記浮動小数化回路 32 aと、上記浮動小数化回路 32 bと、上記 2乗計算器 33 aと、上記 2乗計^ 133わと、上記加算器 34と、この加算器 34から出力される浮動小数化された Z (より正確には、上述したように Z (2ドット） o 以下同様）の 2乗を用いて参照を行うことにより固定小数化された歪補正係数 F0， F 1, F2をそれぞれ出力する LU T (ルックァヅブテ一ブル） 39 a, 39 b, 39 cと、を有して構成されている。この図 28においても、 2重線で示している部分が、浮動小数による演算処理を行っている部分である。

このように、この図 28に示す構成例は、ルックァヅブテ一ブルを用いることにより、歪補正係数 F0， Fl, F 2を算出するための処理時間を短縮し回路の消費電力を低減するものとなっている。

なお、この構成例を適用する; ^には、チャンネル毎の上記係数 A, B, Cは CPU3 から設定されるものではなく、固定値となっている。もちろん、ルックアップテ一ブルの讓が大きくなつても構わない：^には、上記係数 A, B, Cの複数の組み合わせに対応するルヅクァヅプテ一ブルをチヤンネノレ毎に用意しておいて、適切なものを用いるようにしても構わない。次に、図 29は、上記 Ch. 0用歪補正回路 7A1の構成を示すプロヅク図である。 C h. 1用歪補正回路 7B1、 Ch. 2用歪補正回路 7 C 1の構成も、この Ch. 0用歪補正回路 7 A 1の構成と同様であるために、ここでは Ch. 0用歪補正回路 7 A 1についてのみ説明する。

補間位置算出回路 2 laは、上記着目点の座標 (XI, Y1) を上述したように算出するためのものであり、上 ΐ¾Ι間位置生成部 21に対応する回路部分である。

補間位置補正回路 22 bは、上記歪補正係数算出回路 22 aにより算出された歪補正係数 F0を用いて上記数式 12に示したように歪補正処理前の着目点の座標（Χ，， Y⁵ ) を算出するためのものであり、上言己歪補正座標変換部 22の一部となっている。

上記セレクタ 23は、歪補正処理を行わない; ^には（拡大縮小処理を行うか否かに関わらず）上言 3ϋ間位置算出回路 2 laからの座標 (XI, Y1) を選択し、歪補正処理を行う：^には（拡大縮小処理を伴うか否かに関わらず）上言 BM間位置補正回路 22わからの座標（X， , Y， ) を選択するものである。

このセレクタ 23により選択された座標（XI, Y1) または座標 (X⁵ ， Υ， ) には、制御レジス夕 7aを介して上記 CPU3により設定される歪中心位置の座標 (Xd , Y d )が、カロ m§27a, 27bによりそれぞれ加算されるようになっている。

これらカロ^ H27a， 27bの出力は、読出しアドレス生成回路 24 aとバヅファ開放量算出回路 24 cとへ出力されるようになっている。

この読出しアドレス生成回路 24 aには、さらに、上言間位置算出回路 2 laにより算出された座標（XI, Y1) も上記セレクタ 23を介するとは別途に入力されるようになつている。そして、該読出しアドレス生成回路 24 aは、この座標 (XI, Y1) に関連する画素デ一夕（16点補間を行う:^には、該座標 (XI, Y1) を中心とする 16個の画素デ一夕）が記憶されているアドレス ADRを 2ポート SRAM25 aに出力するとともに、補間係数（例えば、上記数式 5に示したような補間係数 kx0〜kx3, kyO 〜ky3) と出力する画素データが DO ~D 15のどの位置の画素データであるかを示すデー夕列制御信号とを補間回路 26 aに出力するようになっている。さらに、該読出しァドレス生成回路 24 aは、書き込み許可信号 WE— N 0を後段の C h . 0に対応する処理プロヅクへ出力する。

上記 2ポート SRAM25 aは、上記図 2に示した内部メモリ部 25に対応する回路部分である。補間回路 26 aは、上記図 2に示した補間演算部 26に対応するものであり、上記 2ポ —卜 SRAM25 aから読み出された画像デ一夕を用いて上記数式 5に示したような補間処理を行い、処理後の画像データを後段の処理プロヅクに出力するものである。

上記バッファ開放量算出回路 24 cは、上言間位置算出回路 2 laからの出力と、上記加算器 27a, 27 bを介した上記セレクタ 23からの出力と、に基づいて、上記 2ポ —ト SRAM25 aにおいて開放可能な記憶容量（バヅファ開放量）を算出するものであ。

ノ^ファ空き容量監視回路 24 dは、. このバヅファ開放量算出回路 24 cの出力を参照して、上記 2ポート SRAM 25 aの空き容量の状況を把握するものである。

書込みアドレス生成回路 24bは、前段の処理ブロックからの Ch. 0に係る画像デー夕を受けて、上言己 2ポート SRAM25 aに言 3録するものである。

デ一夕送信可否判定回路 24 fは、 Ch. 0に係る後段の処理ブロックからの画像デ一夕を要求する要求信号 REQ— NOを受けて、上記書込みアドレス生成回路 24bとバッファ開放量算出回路 24 cとの出力に基づき画像デ一夕の送信が可能であるか否かを判断し、可能である:^に要求信号 t rok—0を上記グラント同期回路 27へ出力するものである。

次に、この図 29に示したような歪補正処理部 7の動作について説明する。

ノ、'ヅファ空き容量監視回路 24 dは、ノ^ファ閧放量算出回路 24 cを介して 2ポート SRAM 25 aの空き容量を監視し、所定の空き容量があると、 Ch. ◦に係る前段の処理ブロックに対して所定のブロック単位の画像データ（以下、適宜、ユニットライン（U L)データという。）を送信するように要求信号 REQ一 0を出す（ステップ S 21)。

Ch. 0に係る前段の処理ブロックは、この要求信号 REQ— 0を受けて、画像デ一夕が送信可能になつたところで許可信号 G R A N T— 0を送信し、上記ノヅファ空き容量監視回路 24 dは、この許可信号 GRANT_0を受信する（ステップ S 22)。

該バヅファ空き容量監視回路 24 dは、 2ポート SRAM 25 aの空き容量を、内部に保持するカウン夕で把握するようになっており、許可信号 GRANTを受信すると同時に、この内部カウン夕の値を 1つ減らす。該バッファ空き容量監視回路 24 dは、この内部カウン夕が 0になったら、上記要求信号 REQ—0を取り下げるように動作する（ステヅプ S23)。

そして、 Ch. 0に係る前段の処理ブロックから、書き込み許可信号 WE— 0が書込みアドレス生成回路 24bに入力され、続いて画像データが入力される。これに応じて、書込みアドレス生成回路 24 bは、制御信号を 2ポート SRAM 25 aへ出力して、画像デ一夕 DATAを該 2ポート SRAM25 aの、アドレス ADD RE S Sで指定される領域に書き込む。また、書込みアドレス ^回路 24 bは、 1ULデ一夕が入力される毎に、 BLCカウン夕（内部バヅファである 2ポート SRAM 25 aにどれだけのデ一夕が溜められたかを示すカウン夕）をアップして、データ送信可否判定回路 24 fへ出力する（ステヅプ S 24)。

デ一夕送信可否判定回路 24 fは、 Ch. 0に係る後段の処理ブロックから要求信号 R E Q__N 0を受信すると、次に送信することができる U Lデ一夕が 2ポ一ト S R AM 25 a内にあるか否かを判定し、あると判定した:^には、要求信号 trok— 0を上記グラント同期回路 27へ送信する（ステップ S 25) o

グラント同期回路 27は、後述するように、画像データの送信餅が整つたところで各チャンネルに係る後段の処理ブロックおよび各チャンネルに係る補間位置算出回路 21 a に対して許可信号 GRANT— NO, GRANT— Nl， GRANT— N 2を出力する。

Ch. 0に係る補間位置算出回路 2 laは、この許可信号 GRANT— NOを受けて動作を開始し、補間位置である座標 (XI, Y1)の算出動作を 1UL分行ったところで、次の UL先頭座標を算出して終了する（ステップ S 26)。

上記グラント同期回路 27は、補間位置算出回路 2 laが動作を開始して座標 (XI, YD を出力するのと同期して歪補正係数算出回路 22 aが歪補正係数 F0を出力することができるような夕ィミングで、許可信号 e_g rantを該歪補正係数算出回路 22a へ出力する（ステップ S 27)。

歪補正係数算出回路 22 aは、許可信号 e_g rantを受けると、各チャンネルに係る歪補正係数 F 0 , F 1 , F2を上記数式 16に基づき算出し、各チヤンネルの補間位置補正回路 22 bへ出力する。この歪補正係数算出回路 22 aも、上言 BM間位置算出回路 2 laと同様に、 1UL分の動作を行ったところで、次の UL先頭座標を算出して終了する

(ステップ S 28)。

Ch. 0に係る補間位置補正回路 22 bは、この歪補正係数算出回路 22 aから受け取つた歪補正係数 F0と、上言 ¾i間位置算出回路 2 laから受け取った座標（XI, Y1) と、を用いて、上記数式 12に基づき座標（Χ， , Y， ) を算出する。この補間位置補正回路 22 bも、上記歪補正係数算出回路 22 aに従って、 1 UL分の動作を行ったところで、次の UL先頭座標を算出して終了する（ステップ S 29)。

セレクタ 23は、上記制御レジス夕 7 aを介して上言 3 C P U 3により設定された動作モ —ドに従って、歪補正処理を行う: ^には上言 BM間位置補正回路 22 bからの座標（X， , Y， ) を選択し、歪補正処理を行わない: ^には上言 St間位置算出回路 2 laからの座標（XI, Y1) を選択する（ステップ S30)。

加算器 27a, 27bは、このセレクタ 23により選択された座標 (XI, Y1) または座標（Χ，， Y， ) に、歪中心位置の座標 (Xd , Yd ) をそれそれ加算する（ステヅプ S31)。

読み出しァドレス生成回路 24 aは、加^ §127a, 27 bから受け取った座標に基づいて、補間に用いるために 2ポ一ト SRAM25 aから読み出す画素デ一夕のアドレス A DRを該 2ポート SRAM25aに出力するとともに、補間係数とデ一夕列制御信号とを補間回路 26 aに出力する（ステヅプ S32)。

補間回路 26 aは、読み出しァドレス生成回路 24 aから受け取った補間係数およびデ —夕列制御信号と、 2ポート SRAM25 aから受け取った画素デ一夕と、を用いて、上記数式 5に示すように、補間された画素データを算出し、 Ch. 0に係る後段の処理プロヅクへ出力する（ステップ S33)。

ノヅファ開放量算出回路 24 cは、上 Ϊ3Μ間位置算出回路 21 aおよび加算器 27 a, 27bの出力に基づいて、 ULデータを最後まで出力したことが確認されたら、今処理を終えた UL先頭座標と、次の UL先頭座標との差を計算して、必要なくなったデ一夕が蓄積されているバッファ（2ポート SRAM 25 a内の領域）を開放するために、バッファ開放量をバッファ空き容量監視回路 24 dへ出力するとともに、次の UL処理を行うために後どれだけのデ一夕を C h . 0に係る前段の処理プロヅクから受けることが必要であるかを、上記デ一夕送信可否判定回路 24 fへ送信する（ステップ S34) o

バヅファ空き容量監視回路 24 dは、上記ステップ S 34において内部バッファである 2ポート SRAM25 aに記憶領域の空きができたことが確認されたところで、上記ステヅプ S21へ戻って、上述したような処理を繰り返して行う（ステヅブ S35) o

データ送信可否判定回路 24 fは、上記書込みァドレス生成回路 24bからの BLC力ゥン夕の値と、ノヅファ開放量算出回路 24 cからの出力と、に基づいて、次の ULデー夕を後段の処理プロヅクに送信することができるか否かを判定し、送信することができると判定した ^には、上記ステップ S 25の処理を行う（ステップ S36) o 図 30はグラント同期回路 27の構成を示すプロヅク図、図 31はグラント同期回路 2 7の動作を説明するためのタイミングチャートである。

まず、上記制御レジス夕 7aを参照することにより得られる DT— ONは、歪補正を行うか否かを示すブール値を保持するものであり、 0 (偽）の場合には口一レベル、 1 (真 ) の: ^にはハイレベルの信号として取得されるように構成されている。

このグラント同期回路 27は、 Ch. 0用歪補正回路 7A1からの要求信号 t r ok— 0と Ch. 1用歪補正回路 7B1からの要求信号 t rok一 1と Ch. 2用歪補正回路 7 C 1からの要求信号 t r ok_2との論理積をとるための AND回路 51と、上記要求信号 trok_0, t r ok_l, t r o k— 2と AND回路 51の出力との立ち上がりを検出するための微分回路 52と、 DT— ONが口一レベルである: ^には要求信号 t r o k_0に係る微分回路 52の出力側に接続され該 D T—〇 Nがハイレベルである:^には上記 AND回路 51に係る微分回路 52の出力側に接続されるように切り換えられるスィヅチ 53 aと、 DT—ONが口一レベルである;^には要求信号 t r ok— 1に係る微分回路 52の出力側に接続され該 DT— ONがハイレベルである^には上記 AND回路 5 1に係る微分回路 52の出力側に接続されるように切り換えられるスイッチ 53bと、 D T— ONが口一レベルである場合には要求信号 t r ok— 2に係る微分回路 52の出力側に接続され該 D T— ONがハイレベルである場合には上記 AND回路 51に係る微分回路 52の出力側に接続されるように切り換えられるスィヅチ 53 cと、上記 AND回路 51 に係る微分回路 52の出力と DT— ONとの論理積をとつて上記歪補正係数算出回路 22 aの歪補正用座標算出回路 31へ許可信号 e一 grantとして出力する AND回路 54 と、を有して構成されている。

このようなグラント同期回路 27の動作は、次のようになっている。

まず、 DT— ONがローレベルであるとき、つまり歪補正を行わない:^には、上記スィヅチ 53a， 53b, 53 cは、要求信号 trok一 0， trok—l, trok一 2 に係る検出する微分回路 52の出力側にそれそれ切り換えられている。

このときに、図 31の左側に示すように、要求信号 t r ok_0にハイレベルの信号が入力されると、微分回路 52でその立ち上がりが検出されて、 GRANT— NOとして出力される。次に、要求信号 t r ok— 1にハイレベルの信号が入力されると、微分回路 5 2でその立ち上がりが検出されて、 GRANT_N1として出力され、さらにその後に、要求信号 t r ok 2にハイレベルの信号が入力されると、微分回路 52でその立ち上がりが検出されて、 GRANT— N 2として出力される。このように、 DT__ ONがローレベルであるときには、 3つのチャンネルからの画像デ一夕の出力は、各チャンネル毎にそれそれのタイミングで行われる。

また、 DT— ONが口一レベルとなっているときには、 AND回路 51の出力如何に関わらず、 AND回路 54の出力は口一レベルのままとなり、許可信号 e— grantは出力されない（あるいは不許可の出力となる）ために、上記歪補正係数算出回路 22 aは歪補正係数 F0, Fl, F 2の算出を行わない。従って、各チャンネルに係る補間位置補正回路 22 bも動作せず、結局、歪補間処理は行われないことになる。

次に、 DT— ONがハイレベルであるとき、つまり歪補正を行う ¾ ^には、上記スィヅチ 53 a, 53 b, 53 cは、 AND回路 51に係る微分回路 52の出力側に切り換えられている。

このときに、図 31の右側に示すように、要求信号 t r ok— 0にハイレベルの信号が入力されても、その時点では、要求信号 trok— 1， t r ok— 2は口一レベルのままであるために、該 AND回路 51の出力は口一レベルのまま維持される。

その後、要求信号 t r o k— 0がハイレベルであって、かつ要求信号 t r o k— 1がハィレベルとなった時点でも、要求信号 t r ok— 2が口一レベルである間は、 AND回路 51の出力は口一レベルのままである。

そして、要求信号 trok— 0， trok— 1， t r ok— 2の全てがハイレベルとなつた時点で、 AND回路 51の出力がハイレベルとなり、微分回路 52でその立ち上がりが検出される。

この微分回路 52の出力は、許可信号 GRANT一 NO， GRANT— Nl, GRAN T—N2として同時に出力されるとともに、 AND回路 54にも出力されて、ハイレベルとなっている D T— 0 Nと論理積がとられ、許可信号 e— g r a n tとして上言 3歪補正係数算出回路 22 aへ出力される。

このようにして、 DT—0Nがハイレベルであるときには、 3つのチャンネルからの画像デ一夕の出力は、同期したタイミングで行われる。

このような第 3の実施形態によれば、上述した第 1,第 2の実施形態とほぼ同様の効果を奏するとともに、歪補正と色収差補正とを行い得る回路 ¾臭が小さく低消費電力な画像処理装置となる。

特に、歪補正係数算出回路の少なくとも一部を複数のチャンネルに対して共通化することにより、回路規模を効果的に小さくし、低消費電力化を図ることができる。このとき、ダイナミヅクレンジが広い数を浮動小数として扱って演算を行っているために、精度を保ちながら回路莫を縮小することが可能となる。そして、歪補正係数をルックアップテーブルを参照して求める場合には、処理時間を短縮しながら回路規模を縮小することが可能となる。

また、グラント同期回路を設けて、各チャンネルからの画像デ一夕出力を同時に行うことができるようにしたために、後段の処理プロヅクにおいて複数チヤンネルの画像デ一夕を同時に必要とする:^に良好に対応することができる。このとき、グラント同期回路は、スィツチングにより複数チャンネルの画像データがそれそれのタイミングで出力されるように処理することも可能であるために、必要に応じた選択を行うことが可能となる。カロえて、基本的な数式に基づく ^よりも乗算の回数が減るように変形した実用的な数式に基づいて、補間座標データを生成するようにしたために、補間位置生成部や歪補正座標変換部の内部に設ける乗 miの個数を削減することができ、回路 ί¾莫の縮小を図ることができる。

さらに、拡大縮小処理も、歪補正処理と同一の回路で同時に行うことが可能となる利点がある。

なお、本発明は上述した ^形態に限定されるものではな発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。産業上の利用可能性

以上説明したように本発明の画像処理装置によれば、バスのデ一夕転送量ゃメモリ容量を増大させることな画 i ^理を行うことができる。

また、拡大縮小処理と歪補正処理とを行い得る回路繊莫が小さく低消費電力な画像処理装置となる。

さらに、歪補正と色収差補正とを行い得る回路簾奠が小さく低消費電力な画像処理装置となる。

Claims

請求の範囲

1. 光学系を介して撮像することにより得られた電子的な画像デ一夕であって、画素デ —夕が行方向および列方向に 2次元的に配列された画像データ、を処理する画像処理装置において、

上記画像デ一夕を、少なくとも画像処理を行う前に格納するとともに、画 ^l理を行つた後にも格納し得るメモリと、

上記画像デ一夕の上記 2次元的な配列におけるプロヅクを単位として、上記メモリからバスを介して該ブロヅク内の画素デ一夕を行方向に読み出し、その後に、該ブロヅク内の画素デ一夕を列方向に出力する第 1のデ一夕順序変換部と、

上記第 1のデ一夕順序変換部と上記バスとは異なる情報伝達経路でパイプライン処理可能なように接続されていて、該第 1のデータ順序変換部から列方向に出力される画像デー夕を入力して画像処理した後に該列方向に出力する画像処理部と、

上記画像処理部とパイプライン処理可能なように接続されていて、該画像処理部から列方向に出力される画像データを、行方向の画像データに変換して出力する第 2のデ一夕順序変換部と、

を具備したことをとする画像処理装置。

2. 上記第 1のデ一夕順序変換部は、上記メモリから読み出すプロヅク単位の画像デー夕の行方向のサイズと列方向のサイズとの少なくとも一方を変更し得るものであることをとする請求の範囲第 1項に記載の画像処理装置。

3. 上記耐纏理を行う前の画像デ一夕は、光学系により結像された被写体麓を撮像手段により光電変換して出力される撮像デ一夕と、該撮像データに圧縮処理を除く所定の処理を必要に応じて施した非圧縮画像デ一夕と、上言 Βί最像データに圧縮処理を除く所定の処理を必要に応じて施した後に圧縮処理した圧縮画像デ一夕と、の内の何れかであることをとする請求の範囲第 1項に記載の画像処理装置。

4. 上記画像処理を行う前の画像デ一夕は、光学系により結像された被写体建を撮像手段により光電変換して出力される撮像データと、該撮像デ一夕に圧縮処理を除く所定の処理を必要に応じて施した非圧縮画像デ一夕と、上言 3ί最像デ一夕に圧縮処理を除く所定の処理を必要に応じて施した後に圧縮処理した圧縮画像デ一夕と、の内の何れかであることをとする請求の範囲第 2項に記載の画像処理装置。

5 . 上記画像処理部は、上記光学系に起因する歪曲収差を補正するための歪補正処理部を有して構成されたものであることを特徴とする請求の範囲第 1項に記載の画像処理装置

6 . 上記画像処理部は、上記光学系に起因する歪曲収差を補正するための歪補正処理部を有して構成されたものであることをとする請求の範囲第 4項に記載の画理装置 o

7 . 上記歪補正処理部はヽ

補間座標を生成.する補間座標生成部と、

上記画像デ一夕の一部を記憶するための内部メモリ部と、

上言 31甫間座標生成部により生成された補間座標に基づき上記内部メモリ部に記憶された画像デ一夕から該補間座標の画素デ一夕を生成する補間演算部と、

を有して構成されたものであることをとする請求の範囲第 5項に記載の画像処理装置。

8. 上記歪補正処理部は、

補間座標を生成する補間座標生成部と、

上記画像デ一夕の一部を記憶するための内部メモリ部と、

上言 Bffi間座標生成部により生成された補間座標に基づき上記内部メモリ部に記憶された画像デ一夕から該補間座標の画素データを生成する補間演算部と、

を有して構成されたものであることをとする請求の範囲第 6項に記載の画理装置。

9 · 上誦間座標生成部は、

歪補正後の画像において補間の対象とする画素の座標を生成する補間位置生成部と、この補間位置生成部により生成された座標に対応する、歪補正前の画像における座標を求める歪補正座標変換部と、

を有して構成されたものであることを特徴とする請求の範囲第 7項に記載の画像処理装置。

1 0. 上漏間座標生成部は、

歪補正後の画像において補間の対象とする画素の座標を生成する補間位置生成部と、この補間位置生成部により生成された座標に対応する、歪補正前の画像における座標を求める歪補正座標変換部と、を有して構成されたものであることを ®とする請求の範囲第 8項に記載の画像処理装

1 1 . 上言彌間座標生成部は、さらに、上 Ϊ3Μ間位置生成部により生成された座標と、上記歪補正座標変換部により求められた座標と、の何れかを選択して上 ΪΒϋ間演算部へ出力するセレクタを有して構成されたものであることを ^とする請求の範囲第 9項に記載の画像処理装置。

1 2 . 上 ΪΒΜ間座標生成部は、さらに、上言 Bffi間位置生成部により生成された座標と、上記歪補正座標変換部により求められた座標と、の何れかを選択して上言 Bit間演算部へ出力するセレクタを有して構成されたものであることをとする請求の範囲第 1 0項に記

1 3 . 上記歪補正座標変換部は、上謹間位置生成部により生成された座標に対応する、歪補正前の画像における座標を、歪中心から補間位置までの距離の整数乗を線形結合して得られる多項式を含む所定の補正式を用、て求めるものであることを特徴とする請求の範囲第 9項に記載の画像処理装置。

1 4 · 上記歪補正座標変換部は、上言 Bffi 位置生成部により生成された座標に対応する、歪補正前の画像における座標を、歪中心から補間位置までの距離の整数乗を線形結合して得られる多項式を含む所定の補正式を用いて求めるものであることを TOとする請求の範囲第 1 0項に記載の画像処理装置。

1 5 · 上記歪補正座標変換部は、上編間位置生成部により生成された座標に対応する、歪補正前の画像における座標を、歪中心から補間位置までの距離の整数乗を線形結合して得られる多項式を含む所定の補正式を用いて求めるものであることを«とする請求の範囲第 1 1項に記載の画像処理装置。

1 6 . 上記歪補正座標変換部は、上 ΐΒϋ 位置生成部により生成された座標に対応する、歪補正前の画像における座標を、歪中心から補間位置までの距離の整数乗を線形結合して得られる多項式を含む所定の補正式を用いて求めるものであることを TOとする請求の範囲第 1 2項に記載の画像処理装置。

1 7 . 上記多項式は、上記距離の 2次項を越える高次項を含んだものであることを if« とする請求の範囲第 1 3項に記載の画像処理装置。

1 8 . 上記多項式は、上記距離の 2次項を越える高次項を含んだものであることをとする請求の範囲第 1 4項に記載の画像処理装置。

1 9 . 上記多項式は、上記距離の 2次項を越える高次項を含んだものであることを特徴とする請求の範囲第 1 5項に記載の画像処理装置。

2 0 . 上記多項式は、上記距離の 2次項を越える高次項を含んだものであることをとする請求の範囲第 1 6項に記載の画 1»理装置。

2 1 . 上記画纏理部は、上記歪補正処理部以外の他の画像処理部をさらに含んで構成されており、

上記歪補雄標変換部は、上記歪中心から補間位置までの距離に関する情報を、上記他の画像処理部へ出力するものであることをとする請求の範囲第 1 3項に記載の画像処

2 2 . 上記画像処理部は、上記歪補正処理部以外の他の画像処理部をさらに含んで構成されており、

上記歪補正座標変換部は、上記歪中心から補間位置までの距離に関する情報を、上記他の画 «理部へ出力するものであることを特徴とする請求の範囲第 1 4項に記載の画

2 3 . 上記画纏理部は、上記歪補正処理部以外の他の画像処理部をさらに含んで構成されており、

上記歪補正座標変換部は、上記歪中心から補間位置までの距離に関する情報を、上記他の画像処理部へ出力するものであることをとする請求の範囲第 1 5項に記載の画像処

2 4 . 上記画像処理部は、上記歪補正処理部以外の他の画像処理部をさらに含んで構成されており、

上記歪補正座標変換部は、上記歪中心から補間位置までの距離に関する情報を、上記他の画像処理部へ出力するものであることを特徴とする請求の範囲第 1 6項に記載の画像処

2 5 . 上記画像処理部は、上記歪補正処理部以外の他の画 1»理部をさらに含んで構成されており、

上記歪補正座標変換部は、上記歪中心から補間位置までの距離に関する情報を、上記他の画像処理部へ出力するものであることをとする請求の範囲第 1 7項に記載の画像処

2 6 . 上記画像処理部は、上記歪補正処理部以外の他の画讓理部をさらに含んで構成されており、

上記歪補正座標変換部は、上記歪中心から補間位置までの距離に関する情報を、上記他の画像処理部へ出力するものであることを «とする請求の範囲第 1 8項に記載の画

2 7 . 上記画像処理部は、上記歪補正処理部以外の他の画像処理部をさらに含んで構成されており、

上記歪補正座標変換部は、上記歪中心から補間位置までの距離に関する情報を、上記他の画理部へ出力するものであることをとする請求の範囲第 1 9項に記載の画像処

2 8 . 上記画讓理部は、上記歪補正処理部以外の他の画纏理部をさらに含んで構成されており、

上記歪補正座標変換部は、上記歪中心から補間位置までの距離に関する情報を、上記他の画像処理部へ出力するものであることを特徴とする請求の範囲第 2 0項に記載の画像処 ,

2 9 . 上記他の画像処理部は、シエーディング補正部と、口一パスフィル夕処理部と、エッジ強調処理部と、の内の 1つ以上を含むものであることを ^とする請求の範囲第 2 1項に記載の画像処理装置。

3 0 . 上記他の画讓理部は、シェーディング補正部と、口一パスフィル夕処理部と、エッジ強調処理部と、の内の 1つ以上を含むものであることを Μ (とする請求の範囲第 2 2項に記載の画像処理装置。

3 1 . 上記他の画像処理部は、シェーディング補正部と、口一パスフィル夕処理部と、ェヅジ強調処理部と、の内の 1つ以上を含むものであることをとする請求の範囲第 2 3項に記載の画像処理装置。

3 2 . 上記他の画像処理部は、シェーディング補正部と、ローパスフィル夕処理部と、エッジ強調処理部と、の内の 1つ以上を含むものであることを'皿とする請求の範囲第 2 4項に記載の画像処理装置。

3 3 . 上記他の画像処理部は、シェーディング補正部と、ローパスフィル夕処理部と、エッジ強調処理部と、の内の 1つ以上を含むものであることを,とする請求の範囲第 2 5項に記載の画»理装置。

3 4. 上記他の画讓理部は、シェーディング補正部と、口一パスフィル夕処理部と、ェヅジ強調処理部と、の内の 1つ以上を含むものであることを TOとする請求の範囲第 2 6項に記載の画 ·理装置。

3 5 . 上記他の画像処理部は、シェーディング補正部と、口一パスフィルタ処理部と、ェヅジ強調処理部と、の内の 1つ以上を含むものであることをとする請求の範囲第 2 7項に記載の画 it ^理装置。

3 6 . 上記他の画理部は、シェーディング補正部と、口一パスフィル夕処理部と、ェヅジ強調処理部と、の内の 1つ以上を含むものであることを特徴とする請求の範囲第 2 8項に記載の画像処理装置。

3 7 . 光学系を介して撮像することにより得られた電子的な画像データに、歪補正処理および拡大縮小処理を含む画像処理を行ヽ得る画ィ«理装置であって、

歪補正処理と拡大縮小処理とを含み得る画像処理に係る補間処理を行った後の画素位置に対応する補間処理前の座標データである補間座標デ一夕を生成するための補間座標生成部と、

上記画像デ一夕の少なくとも一部を格納するためのメモリ部と、

上言 at間座標データに基づいて、上記画像データの一部を上記メモリ部に書き込む制御と該メモリ部から読み出す制御とを行うメモリ制御部と、

上記メモリ制御部の制御により上記メモリ部から読み出された画像デ一夕を補間演算することにより、補間処理を行つた後の画素位置における画像データを生成する補間演算部と、

を有して構成される歪補正処理部を具備したことをとする画像処理装置。

3 8 · 上誦間座標生成部はヽ

歪補正処理を含まず拡大縮小処理を含み得る画像処理に係る補間処理を行った後の画素位置に対応する補間処理前の座標デ一夕である補間位置を生成する補間位置生成部と、上言位置生成部により生成された補間位置を用いて、歪補正処理を含み得る画像処理に係る補間処理を行った後の画素位置に対応する補間処理前の座標デ一夕である補間座標デ一夕を生成する歪補正座標変換部と、

歪補正処理を行わない^には上言 Bffi間位置生成部の出力を選択し、歪補正処理を行う： ^には上記歪補正座標変換部の出力を選択して、上記メモリ制御部へ出力するセレク夕と、

を有して構成されたものであることを特徴とする請求の範囲第 3 7項に記載の画像処理

3 9. 上記歪補正座標変換部は、

上記光学系の歪曲収差による座標の変ィ匕を示す係数である歪補正係数を算出する歪補正係数算出回路と、

上記歪補正係数算出回路により算出された歪補正係数を用いて、上言 Si間位置生成部により生成された補間位置を補正することにより上言 at間座標デ一夕を生成する補間位置補正回路と、

を有して構成されたものであることをとする請求の範囲第 3 8項に記載の丽 »理

4 0. 上記歪補正処理部は、クロックを供給されることにより動作を行うものであって該歪補正処理部における上記歪補正座標変換部は、該歪補正処理部における該歪補正座標変換部以外の部分に供給されるクロヅクとは異なるクロックが供給され得るように構成されていることを TOとする請求の範囲第 3 8項に記載の画像処理装置。 '

4 1 . 上記歪補正処理部は、クロックを供給されることにより動作を行うものであって該歪補正処理部における上記歪補正座標変換部は、該歪補正処理部における該歪補正座標変換部以外の部分に供給されるクロックとは異なるクロヅクが供給され得るように構成されていることを特徴とする請求の範囲第 3 9項に記載の画 «理装置。

4 2. 上記歪補正処理部は、クロックを供給されることにより動作を行うものであって上謹間位置生成部、または該補間位置生成部および上記歪補正座標変換部は、補間位置の生成、または補間位置の生成および補間座標デ一夕の生成を、毎クロックではない隔クロックに行い得るように構成されたものであることを«とする請求の範囲第 3 8項に

4 3. 上記歪補正処理部は、クロックを供給されることにより動作を行うものであって上言 at間位置生成部、または該補間位置生成部および上記歪補正座標変換部は、補間位置の生成、または補間位置の生成および補間座標データの生成を、毎クロックではない隔クロックに行い得るように構成されたものであることをとする請求の範囲第 3 9項に記載の画像処理装置。

4 4. 上記歪補正処理部は、クロヅクを供給されることにより動作を行うものであって上言彌間位置生成部、または該補間位置生成部および上記歪補正座標変換部は、補間位置の生成、または補間位置の生成および補間座標デ一夕の生成を、每クロックではい隔クロヅクに行い得るように構成されたものであることをとする請求の範囲第 4 0項に

4 5. 上記歪補正処理部は、クロックを供給されることにより動作を行うものであって上言 at間位置生成部、または該補間位置生成部および上記歪補正座標変換部は、補間位置の生成、または補間位置の生成および補間座標データの生成を、毎クロックではない隔クロヅクに行い得るように構成されたものであることを«とする請求の範囲第 4 1項に記載の画像処理装置。

4 6 . 上記歪補正座標変換部は、基本的な数式に基づくよりも乗算の回数が減るように変形した実用的な数式に基づいて、補間座標デ一夕を生成するように構成されたものであることを特徴とする請求の範囲第 3 8項に記載の画理装置。

4 7. 上記歪補正座標変換部は、基本的な数式に基づくよりも乗算の回数が減るように変形した実用的な数式に基づいて、補間座標データを生成するように構成されたものであることを ¾¾とする請求の範囲第 3 9項に記載の画像処理装置。

4 8. 上言 3歪補正座標変換部は、基本的な数式に基づく： ^よりも乗算の回数が減るように変形した実用的な数式に基づいて、補間座標デ一夕を生成するように構成されたものであることを特徴とする請求の範囲第 4 0項に記載の画像処理装置。

4 9 . 上記歪補正座標変換部は、基本的な数式に基づく場合よりも乗算の回数が減るように変形した実用的な数式に基づいて、補間座標データを生成するように構成されたものであることをとする請求の範囲第 4 1項に記載の画理装置。

5 0. 上記歪補正座標変換部は、基本的な数式に基づく場合よりも乗算の回数が減るように変形した実用的な数式に基づいて、補間座標データを生成するように構成されたものであることを特徴とする請求の範囲第 4 2項に記載の画像処理装置。

5 1 . 上記歪補正座標変換部は、基本的な数式に基づく場合よりも乗算の回数が減るように変形した実用的な数式に基づいて、補間座標デ一夕を生成するように構成されたものであることをとする請求の範囲第 4 3項に記載の画理装置。

5 2 . 上記歪補正座標変換部は、基本的な数式に基づくよりも乗算の回数が減るように変形した実用的な数式に基づいて、補間座標データを生成するように構成されたものであることをとする請求の範囲第 4 4項に記載の画像処理装置。

5 3 . 上記歪補正座標変換部は、基本的な数式に基づくよりも乗算の回数が減るように変形した実用的な数式に基づいて、補間座標データを生成するように構成されたものであることをとする請求の範囲第 4 5項に記載の画像処理装置。

5 4 . 上記歪補正係数算出回路は、上記歪補正係数を、歪補正後の画像内の注目画素に対応する位置と歪中心位置との間の距離に基づいて算出するものであって、該算出における演算処理の少なくとも一部を浮動小数演算により行うように構成されていることを, とする請求の範囲第 3 9項に記載の画像処理装置。

5 5 . 上記歪補正係数算出回路は、上記距離の 2乗値と上記歪補正係数との対応関係を記憶するルヅクアツプテ一ブルを有して構成されており、

該距離の 2乗値を上記浮動小数演算により求めて、求めた距離の 2乗値に基づき該ルヅクァヅブテ一ブルを参照することにより上記歪補正係数を求めるものであることをとする請求の範囲第.5 4項に記載の画像処理装置。

5 6 . 光学系を介して撮像することにより得られた電子的な画像データであって、複数の成分で構成される画像データ、を処理する画像処理装置において、

上記光学系に起因する歪曲収差を補正するのに用いるための歪補正係数を、歪中心位置からの距離に基づき、上記成分毎に算出する歪補正係数算出部と、

上記歪補正係数算出部により算出された成分毎の歪補正係数を用いて、上記画像デ一夕を成分毎に歪補正する歪補正演算部と、

5 7 . 上記歪補正演算部は、上記画像データを構成する全ての成分に一対一に対応して複数設けられたものであることを特徴とする請求の範囲第 5 6項に記載の画像処理装置。 5 8 . 上記歪補正演算部は、画像デ一夕を記憶するための内部バヅファを有して構成されるとともに、歪補正処理を行うに必要な画像データが該内部ノソファに蓄積された段階で歪補正処理開始要求を出力するものであり、

上言数の歪補正演算部の全てからの歪補正処理開始要求が揃つた後に、これら全ての歪補正演算部に対して歪補正処理を開始させるように制御するグラント同期部をさらに具備したことをとする請求の範囲第 5 7項に記載の画像処理装置。

5 9 . 上記グラント同期部は、歪補正係数の算出処理を許可するための許可信号を上記歪補正係数算出部に出力して、該歪補正係数算出部による全ての成分に係る歪補正係数の算出を開始させることにより、全ての歪補正演算部に対して歪補正処理を開始させるように制御するものであることをとする請求の範囲第 5 8項に記載の画像処理装置。 6 0 . 上記歪補正係数算出部は、その少なくとも一部が、，上記成分毎の歪補正係数を算出する際に全ての成分に対して共通に用いられる部分として構成されたものであることを特徴とする請求の範囲第 5 6項に記載の画像処理装置。

6 1 . 上記歪補正係数算出部は、その少なくとも一部が、上記成分毎の歪補正係数を算出する際に全ての成分に対して共通に用いられる部分として構成されたものであることを » (とする請求の範囲第 5 7項に記載の画 ί«理装置。

6 2 . 上記歪補正係数算出部は、その少なくとも一部が、上記成分毎の歪補正係数を算出する際に全ての成分に対して共通に用いられる部分として構成されたものであることを W (とする請求の範囲第 5 8項に記載の画理装置。

6 3 . 上記歪補正係数算出部は、その少なくとも一部が、上記成分毎の歪補正係数を算出する際に全ての成分に対して共通に用いられる部分として構成されたものであることを特徴とする請求の範囲第 5 9項に記載の画像処理装置。

6 4 . 上記歪補正係数算出部は、上記歪中心位置からの離の 2乗値を算出して、該 2 乗値に基づき上記歪補正係数を成分毎に求めるものであり、

上記全ての成分に対して共通に用いられる部分は、この歪中心位置からの距離の 2乗値を算出する部分であることをとする請求の範囲第 6 0項に記載の画像処理装置。 6 5 . 上記歪補正係数算出部は、上記歪中心位置からの距離の 2乗値を算出して、該 2 乗値に基づき上記歪補正係数を成分毎に求めるものであり、

上記全ての成分に対して共通に用いられる部分は、この歪中心位置からの距離の 2乗値を算出する部分であることをとする請求の範囲第 6 1項に記載の画像処理装置。 6 6 . 上記歪補正係数算出部は、上記歪中心位置からの距離の 2乗値を算出して、該 2 乗値に基づき上記歪補正係数を成分毎に求めるものであり、

上記全ての成分に対して共通に用いられる部分は、この歪中心位置からの距離の 2乗値を算出する部分であることを TOとする請求の範囲第 6 2項に記載の画 «理装置。 6 7 . 上記歪補正係数算出部は、上記歪中心位置からの距離の 2乗値を算出して、該 2 乗値に基づき上記歪補正係数を成分毎に求めるものであり、

上記全ての成分に対して共通に用いられる部分は、この歪中心位置からの距離の 2乗値を算出する部分であることを特徴とする請求の範囲第 6 3項に記載の画像処理装置。 6 8 . 上記歪補正係数算出部は、上記歪中心位置からの距離の 2乗値と上記歪補正係数との対応関係を記憶するルヅクァヅプテ一ブルを上記成分毎に有して構成されており、上記算出した距離の 2乗値に基づき上記成分毎のルヅクァヅプテ一ブルを参照することにより、上記歪補正係数を成分毎に求めるものであることを特徴とする請求の範囲第 6 4 項に記載の画像処理装置。

6 9 . 上記歪補正係数算出部は、上記歪中心位置からの距離の 2乗値と上記歪補正係数との対応関係を記憶するルヅクァヅプテ一ブルを上記成分毎に有して構成されており、上記算出した距離の 2乗値に基づき上記成分毎のルヅクアツプテ一ブルを参照することにより、上記歪補正係数を成分毎に求めるものであることをとする請求の範囲第 6 5 項に記載の画«理装置。

7 0 . 上記歪補正係数算出部は、上記歪中心位置からの距離の 2乗値と上記歪補正係数との対応関係を記憶するルヅクァヅプテーブルを上記成分毎に有して構成されており、上記算出した距離の 2乗値に基づき上記成分毎のルヅクァヅプテーブルを参照することにより、上記歪補正係数を成分毎に求めるものであることをとする請求の範囲第 6 6 項に記載の画理装置。

7 1 . 上記歪補正係数算出部は、上記歪中心位置からの距離の 2乗値と上記歪補正係数との対応関係を記憶するルヅクァヅプテ一ブルを上記成分毎に有して構成されており、上記算出した距離の 2乗値に基づき上言 3成分毎のルヅクァヅブテーブルを参照することにより、上記歪補正係数を成分毎に求めるものであることを'糊数とする請求の範囲第 6 7 項に記載の画 1»理装置。