WO2004051987A1

WO2004051987A1 - 撮像装置

Info

Publication number: WO2004051987A1
Application number: PCT/JP2003/015423
Authority: WO
Inventors: Nobuyuki Watanabe
Original assignee: Olympus Corporation
Priority date: 2002-12-02
Filing date: 2003-12-02
Publication date: 2004-06-17
Also published as: EP1569442A4; JPWO2004051987A1; JP4445870B2; CN1720720A; EP1569442A1; CN100350794C; KR20050054966A; KR100695396B1

Abstract

撮像装置（１００）は、結像光学系（１１０）により結像された光学像を光電変換して画像データを取得する光電変換素子（１２２）と、光電変換素子（１２２）で取得された画像データを必要に応じて画素間引きして読み出す読み出し制御部（１２４）と、出力画像の領域を設定する領域設定部（１３２）と、読み出し制御部（１２４）の画素間引き読み出し規則を選択する読み出し規則選択部（１３４）と、光電変換素子（１２２）から読み出された画像データの歪みを補正する歪み補正部（１４０）とを有している。歪み補正部（１４０）は、画像データをフィルター処理するフィルター処理部（１４２）と、画素間引き読み出し規則に応じてフィルター処理部（１４２）のフィルター係数を設定するフィルター係数設定部（１４４）とを有している。

Description

明細

撮像装置

技術分野

本発明は、デジタル撮像装置に ¾ レ、特に、撮像装置が実装している撮像デバイスの画素数よりち小さい画素数の画像を高速に高画質で生成するデジ夕ル撮像装置に関する o

背景技術

近年、パーソナルコンピュー夕 —の急速な普及によ y 、画像入力機器としてのデンタルカメラの需要が拡大している o また、動画の記録機器としてデシ夕ルビデ才などの问画質記録装置が広く用いられている。

上記電子スチルカメラの画質を決定する要素は幾か ¾>るが、その中でも撮像素子の画素数は撮影像の解像度を決定する大き要でめる。そのため取近は 5 0 0万画素以上の多くの画素数を持った子スチルカメラも幾つか商口化されている。しかしながら全ての用 3^5 (<_ doいて、 5 0 0万画素の丁一夕が必ずしも必要なわけではなく、逆にィン夕一ネッ卜の W e b上に表示する画像は、むしろ画素サイズを小さ < した方を使用する場合が多い。

さらに、現状のデジ夕ルカメラにおいては、撮像素子から、画像メモリーへのフラッシングの時間がネックになつてお y 、画素数が大きい機種で ¾速な連写撮影が出来るちのが少ない o よた、デジタル力メラにおいても、付加機能として動画の撮影の要求があるため、やは、メモリーへの転送は问に行なわなければならず、予め扱ぅデー夕量を少な < するとが好ましい。

出力画像の画素数が、撮像素子の画素数に比ベて少ない場合には、予め、使用する画素数を制限することによて、撮像素子からメモリーに転送されるデータ稟減らしメモリ一転送の速度を向上できる。

一方、線形補間によるサイズ縮小では、全ての画素を使用して、大きいサィズの画像を作成し、線形補間によつて小さいサイズの画像を作成する。

図 1 5 はべィヤー配列から双一次補間のサンプングによリフメレカラーの縮小画像を生成する様子を示している。図 1

5 に示される双一次補間においては、点 A B C Dのフノレ力ラーデータは近傍の 1 2点の R G Bの丁 ―夕から計算して求められる。具体的には、点 Aのフル力ラ一テ一夕は、

R 43 R 45 R 63 R 65 B 34 B 36 B 54 B 56 G 44

G 53 G 55 G 64 の線形結合によって求められる o 『。J様 1 点 Bのフルカラ一データは、 R 03 R 05 R 23 R 25 B 14

B 16 B 34 B 36 G 15 G 24 G 26 G 35 の線形結合によって求められる。点 C と点 D について ¾ l。J でめる o

図 1 6 はべィャ一配列から双三次補間のサンプリングでフルカラーの縮小画像を生成する手法を示している o 図 1 6 に示される双三次補間においては、フル力ラーデ ―夕はその点の近くの 4 8点の R G Bのデータから求められる。例えば、点 Bのフルカラ一データは、 R 61 R 63 R 65 R 67

R OK R 03 R 05 R 07 R 2K R 23 R 25 R 27 R 4U

R 43, R 45 R 47 B 72 B 74 B 76 B 70 B 12 B 14 B 16、 B 10、 Β 32、 Β 34、 Β 36、 Β 30、 Β 52、 Β 54、 B 56、

B 50、 G 75、 G 04、 G 06、 G 13, G 15、 G 17、 G 22、 G 24、

G 26、 G 20、 G 33、 G 35、 G 37、 G 44、 G 46v G 55 の線形糸口口によつて求められる o

このような、線形補間によるリサイズは、画質の面では良好であるが、全画素のデータを取リ込んで線形補間を行なうために演算里が多く、上述した連写機能や動画撮影には適していない o

メモ U みしのデータ量を減らす手法としては、 m像素子に積分機能を付けて、平均化した少数のデータを gjCみ出し、縮小画像を生成する方法がある。特開 2 0 0 1 — 2 4 5

1 4 1 公報は、この方法を利用した高速な画像の縮小方法を開示している

特開 2 0 0 1 一 0 1 6 4 4 1 号公報は、解像度の種類が限定されている !¾! Η*に、データの間引きを行ない、さらにデー夕の歪みを補正する装置を開示している。同文献は、実施の形態において、 6 0 0 d p ί の解像度を持つ装置による 4 0

0 d p i 相当のデータの作成を開示している。 6 0 0 d p i のデ一夕をそのまま間引いたのではデータの歪みが生じるため、位置の歪みを補償する画素デ —夕を 6 0 0 d p i のデー夕から線形補間によつて生成している。

特開 2 0 0 1 - 2 4 5 1 4 1 号公報の方法は、 2 0 %程度以下の縮小率の縮小においては効果的であるが、（ 4 0 %程度以上の ) 大きい縮小率の縮小においては積分による平均化だけでは 57Πみ出した画素位置による像の歪みを除くことは出来ない。従って、広い範囲の縮小倍率に対して、サイズ変更を行ないながら高画質な画像を形成することが難しい。

特開 2 0 0 1 一 1 6 4 4 1 号公報の装置では、走査して得た 6 0 0 d p i のデ ―夕の全てを用いて補間し、 4 0 0 d p i 相当のデータを作ている。これに対して本発明は、読み出し時間の制限によ y基本解像度のデータ（特開 2 0 0 1 一

1 6 4 4 1 号公報では走査して得られる 6 0 0 d p i のデー夕）を全て読むことが出来ないことに対応する間引き走査に関する新技術でめ o 例えば、特開 2 0 0 1 — 1 6 4 4 1 号公報の図 6 ( b ) に示されるような間引かれたデータ列から歪みの少ないデ一夕列を作成するものである。

発明の開示

本発明の撮像装置は、撮像デバイスを有している。撮像デバイスは、光学像を光電変換して画像データを取得する光電変換素子と、光換素子で取得された画像データを必要に応じて画素間引さして読み出す読み出し制御部とを有している。撮像装置は、さらに、撮像デバイスの出力画像の領域を設定する領域設定部と、領域設定部で設定された領域に応じて読み出し制御部の画素間引き読み出し規則を選択する読み出し規則選択部と、み出し制御部によって光電変換素子かみ出れ/こ画像丁一夕の歪みを補正する歪み補正部とを有している。歪み 1½正部は、読み出し規則選択部で選択された画素間引き読し規則に基づいて光電変換素子から読み出された画像デ -夕をフィルター処理するフィルター処理部を有している。図面の簡単な説明

図 1 は、本発明の第一実施形態の撮像装置の構成を示している。

図 2 は、 R G Z G Bのべィヤー配列の画像に対して、垂直で 1 4 / 1 6 の縮小変換を行なう例を示している。

図 3 は、図 2 に示した変換において、変換前の 1 6画素のうち上から 8番目の画素のデータと 9番目の画素のデータが抜け落ちた様子を示している。

図 4 は、水平方向 · 垂直方向共に 1 6画素のうち 2画素を間引きして読み出す例を示している。

図 5 は、図 4 の例に従って間引きして読み出される画素デ一夕のうち左の 1 列目の垂直方向のデータに関して歪み補正の変換の様子を示している。

図 6 は、単板カラー撮像素子で構成される光電変換素子用のフィルター処理部の構成を示している。

図 7 は、単色モノクロ撮像素子または多板カラー撮像素子で構成される光電変換素子用のフィルター処理部の構成を示している。

図 8 は、歪み補正の処理の流れを示している。

図 9 は、水平方向 · 垂直方向共に 8画素のうち 2画素を間引きして読み出す例を示している。

図 1 0 は、本発明の第二実施形態の撮像装置の構成を示している。

図 1 1 は、 6 / 8 の間引き読み出しの繰り返しによる読み出しにおける、読み出し範囲の読み出し開始位置が光電変換の画素配列の左上の画素に合つているフレ一厶の読み出し範囲を示している。

図 1 2 は、 6 Z 8 の間引き読み出しの繰リ返し 1 よる I冗み出しに fc ¾ 、 5冗み uiし範囲の読み出し終了位置が光電変換素子の画素配列の右下の画素に合つているフレ一厶の読み i し範囲を示している。

図 1 3 は、 1 4画素中 2画素の間引き読み出し（ 6 / 7 のサイズ変更）を行なつた後に、連続するフレ一厶間で平均化処理を行なって得られた動画像を示している o

図 1 4 は、 1 4画素中 2画素の間引き読み出し（ 6 Z 7 のサイズ変更）に加えて、歪み補正 (画素デ一夕補間）を行なつた後に、連続するフレ一厶間で平均化処理を行なって得られた動画像を示している。

図 1 5 は、ペイヤー配列から双一次補間のサンプリングによりフルカラーの縮小画像を生成する様子を示している ο 図 1 6 は、ペイヤー配列から双三次補間のサンプリングでフル力ラーの縮小画像を生成する牛法を不している。

図 1 7 は、本発明の第三実施形態の撮像装置の構成を示している 0

発明を実施するための最良の形態

以下、図面を参照しながら本発明の実施の形態について説明する o

第一実施形態

図 1 は本発明の第一実施形態の撮像装置の構成を示している o 撮像装置 1 0 0 は、被写体の光学像を結像する結像光学系 1 1 0 と、結像光学系 1 1 0 により結像された光学像の所定の領域の画像信号を出力する撮像デバイス 1 2 0 とを有している。撮像デバイス 1 2 0 は、結像光学系 1 1 0 により結像された光学像を光電変換してデジタル画像データ（画素デ一夕の集合）を取得するエリア状の光電変換素子（撮像素子） 1 2 2 と、光電変換素子 1 2 2 で取得きれた画像データを必要に応じて画素間引きして読み出す読み出し制御部 1 2 4 とを有している。

撮像装置 1 0 0 はさらに、出力（表示）する画像の領域 (すなわち前述した所定の領域）を設定する（すなわち表示する画像のサィズと位置を特定する）領域設定部 1 3 2 と、領域設定部 1 3 2で an.

SX.疋された領域に )心して ¾cみ出し制御部

1 2 4の画素間引さ Βπみ出し規則を選択する読み出し規則選択部 1 3 4 と、 n 出し制御部 1 2 4 によって光電変換素子

1 2 2 から 5冗み出されたデジ夕ゾレ画像データの歪みを補正する歪み補正部 1 4 0 とを有している。

山し制御部 1 2 4 (3、 ¾tみ 1I4し規則選択部 1 3 4で選択された画素間引き読み出し規則に基づいて、光電変換素子

1 2 2 内の画素配列中の対応する範囲の画素データをみ出す。その結果、 ¾¾像デバイス 1 2 0 から間引きされた画像デ一夕が出力される o

歪み補正部 1 4 0 は、読み出し制御部 1 2 4 によつて光電変換素子 1 2 2 から 17Cみ出されたデジタル画像データをフィルター処理するフィル夕一処理部 1 4 2 と、読み出し規則選択部 1 3 4で択された画素間引き読み出し規則に応じてフィルタ一処理部 1 4 2 のフィルタ一処理に使用するフィルタ一係数を設定するフィルター係数設定部 1 4 4 とを有している。

フィルター係数設定部 1 4 4 は複数のフィルタ一係数を含むルックアツプテーブル（ L U T ) を記憶する L U T記憶部 1 4 6 と、 L U T記憶部 1 4 6 に記憶されているルックァップテ一ブルからフィルター係数を選択するフィルター係数選択部 1 4 8 とを有している。

フィルター係数設定部 1 4 4 は、必ずしもし U T記憶部 1

4 6 とフイリレタ一係数選択部 1 4 8 とを有している必要はなヽ、 πΤΕみ出し規則選択部 1 3 4 が選択した画素間引き読み出し規則に Jibし 7こ演算を行なってフィルター係数を算出してもよい。

し υ Tを使用するフィノレ夕一係数設定部 1 4 4 は、し U T を記憶しておくために多くのメモ一を必要とするが、演算に掛かる負担が少な < て済む。一 0 し U Τを使用しないフィルター係数設定部 1 4 4 は、演算に掛かる負担は大さいが多くのメモリーを必要としないで済む。

m像装置 1 0 0 はさらに、歪み補正部 1 4 0から出力され o 正み補正された画像 15 1こ対して（ホフィ卜バランスや階調変換ゃエッジ強調の ) 所定の処理を行なラ画像信処理部

1 5 2 と、画像信巧処理部 1 5 2 から出力される画像信号に従つて画像を表示する画像表示部 1 5 4 とを有している。加えて、撮像装置 1 0 0 は、画像信号処理部 1 5 2 から出力される画像信号に従つて画像を記録する画像記録部 1 5 6 を有している。

撮像装置 1 0 0 は、領域設定部 1 3 2 で領域が設定されていない場合、光電変換素子〗 2 2 で取得された画像テ一夕をそのまま画像表示部 1 5 4 に表示する。つまり、画像データのすベての画素デ一夕を表示する。従って、画像表示部 1 5

4 には、結像光学系 1 1 0で結像された光学像と同様の画像が表示される

領域設定部 1 3 2 は、例えぱ、画像表示部 1 5 4 の画面に対するダラフィ力ルユーザーィンターフェ一ス（ G U i ) で構成される ¾Eつて、ユーザーは、画像表示部 1 5 4 の画面に表示されている画像上において、ボタン、マウス等の操作により、表示を希望する範囲を ί日 / £し ί守る。

撮像デバィス 1 2 0 は、間引き読み出し動作が可台 B £匕である間引き読み出し動作により、撮像デバイス 1 2 0 は光電変換素子 1 2 2上の特定の領域の画素を、全画素を読み出 ^ ½ 合よりも短い時間内で読み出すことが出来る。

例えば、光電変換素子 1 2 2が C Μ 0 S を用いた像素子である場合、 ¾χ像デバイス 1 2 0 は、水平方向，垂直方向共にシフ卜レンス夕用いて読み出し位置を指定する « とが出来る。

すなわち、 j ライン i 番目の素子を C ( i ， j )) ととしし、、そそこから水平方向の画素をそれぞれ c ( + 1 ) 、 C ( i

+ 2 ， j ) 、 C ( i + 3 ， j ) 、 C ( + 4 ) 、 C ( i

+ 5 ， j ) 、 C ( ί + 6 ， j ) 、 C ( + 7 ) 、 C ( i + 8 , j ) …とすると、例えば、 C ( + 1 ) 、 C ( i + 2， j ) 、 C ( i + 3， j ) C ( i + 4 j ) 、 C ( i

+ 7， j ) 、 C ( i + 8 , j ) …というように任の水平方向の位置を間引いて読み出すことが出来る

垂直方向についても同様で、 j ライン、 j + Ί ラィン、 j

+ 2 ライン…とライン方向に並んでいる画素に対して、任思のラインを間引いて読み出すことが出来る。

また、光電変換素子 1 2 2 が C C Dであるナ Ξ

口、 C C Dは水平方向に電荷をシフ卜しながら P HJ 9 ため像デバィス 1 2 0 は、水平方向には全画素 πΤΠ lijし、垂直方向では間引いて読み出すことが出来る

歪み補正部 1 4 0 は、このよラに間引き読み出しされたデジタル画像データに対して、欠落している情報を補間すると共に倍率変換のフィルター処理を行なう。つま、本明細書において、歪み補正とは、「補間 j と「倍率変換 J を l。J時に行なうことを意味している。

前述の双一次補間（図 1 5 ) に関して、倍率換を有理数

(整数比）に制限し、一次補間を二回繰り返す様にすると、アルゴリズムは単純化される。図 2 は、 R G / G Bのべィャ一配列の画像に対して、水平方向で 1 4 / 1 6 の B小変換を行なう例を示している。図 2 において、上段は縮小変換の画素の一次元データ配列を示し、下段は縮小変換後の画素の一次元データ配列を示している。

次の式（ 1 ) はこの変換の行列表現である。

o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o ° t\- o o o o o o o o o I o ° ⁰ o o o o o o o O O ^ I CD o IO o o o

o o o o o ^ I Oi o I Oi o o o o o o o o o o n o ^ I - i o o o o o o o o o o o cx> o o o o o o o o o o ^ I co o ^ I <o o o o o o o o o o

O ^ I ΓΟ O ^ I ° o o o o o o o o o

o o o o o o o o o o o o o o o o o o o o o o o o o

o o o o o o o o o o o o o

、ノ

L L

£ZPSlO/£OOZdF/lJd ■86IS0請 OAV 式（ 1 ) において、 R i 2p と G i 2p + 1 ( P は 0 以上 7 未満の整数）は、光電変換素子 1 2 2 内における水平方向に連続して並んでいる画素の画素データを表しており、水平方向に並ぶ画素の位置に対応して連続する添字を有している。また、 R c 2q と G c ₂q + 1 ( q は 0以上 6 未満の整数）は、変換後の画素データを表しており、水平方向に並ぶ画素の位置に対応して連続する添字を有している。

例えば変換後の R c 2 は R i 2 と R ' 4 を使って次の式 ( 2 ) で表される。

Rc₂=^ i2 + ^;Ri4 … ）前述の式（ 1 ) は、各画素がこのように変換される〗 6画素から 1 4画素への変換をまとめて表現している。

図 3 は、図 2 に示した変換において、変換前の 1 6 画素のうち左から 8番目の画素のデータと 9番目の画素のデータが抜け落ちた様子を示している。この場合、抜け落ちた画素デ一夕 R i g と G i g は、それぞれ同じチャンネルの隣接する画素データ R i 6 と R ' 10と画素データ G i ₉ と G i π を用いて、次の式（ 3 ) に従って線形補間されるとよい。

_{Ri8 =}¾÷¾0_{> Gi9=}¾^U … ）

式（ 1 ) 中の R i 8 と G i 9 を式（ 3 ) に従って置き換えると式（ 4 ) の様になる。

εひ ο/εοουτ/ェ:) d .86TS0/1-00Z OAV Ί 5 （ 4 ) の右辺の 1 6個のデータ列 R i o、 ^G i 1、 …、 ^R 、 G i 1 5 は、

o o o o o o o 0 0 0 0 0 0 0 0

o o o o o o o o o o o o o o o

o o o o o o o 0 0 0 0 0 0 o o

O O O O O O O 0 0 0 0 0 "* 0 0 0

o o o o o o 。 o o o o o o o o

o o o o o o o o o o o o o o o

o o o o o o o o o o o o o

o o o o o orol -»· o -»· o o o o o o o

o o o o o o o o o o o o o

o o o o - oro| -»· o o o o o o o o o

o o o o o o o o o o o o o o o

o - o o o o o o o o o o o o o o

o o o o o o o o o o o o o o o.

O 3D O J Q go

Z'

ΟΊ 03 N O -sj 05 oi ^ co ro ュ， o

9 L

£Zt^lO/£OOZd£/lDd ム 86IS0請 OAV と表現できる。これを式（ 4 ) に代入すると、

~

o o o o o o

o |ωθ

■ o

03

O ^ ^ O

O ^ O

o or I o o o o o o

O -»■ O N) I -»-0 O O O O O

-»· oro I -»■ o o o o o o o

o

2 L

£Zt^lO/£OOZd£/lDd ム 86IS0請 OAV となり、式（ 6 ) の行列の積を計算すると、次の式（ 7 ) が得られる。

o 0 0 0 0 0 0 0 0 0 0 0 o 0 0 0 0 0 0 0 0 0 0

o 0 0 0 0 0 0 0 0 0 | o 〇 o 0 0 0 0 0 0 0 0 I o ^ I -j-o o o o o o o o o ^ I o ^{0 1} o o

o o o o ω o I二 0 | o o o o 0 0 0o 0o Κ ¾||ααιι oo Kl|^ oo ^lc o o o o o o o o ^ o l CO 0 0 0 o o o o o ≤| o ¾| ¾ o ト o o o o o o o o | r O |5 0 0 0 0 0 0 0 o o o

O O O O O O O O o o o

O O O O O O O O O O o o o CO 0 0 0 0 0 0 0 0 0 0 o o o

0 z

εひ s蒙 oozdf/ェ: w ん861 OOZ OAV これは、 1 4個の画素データの入力に対して 1 4個の画素データの出力を持つ、式（ 4 ) と等価な変換である。言い換えれば、画素データ R i g と G i g を除く 1 4個の画素デー夕から、 1 4 Z 1 6 の縮小変換後の 1 4個の画素データを求める変換である。

図 4 は水平方向 · 垂直方向共に 1 6画素のうち 2画素を間引きして読み出す例を示している。この例では水平方向 · 垂直方向共に 8番目の画素と 9 番目の画素が間引きされている。

図 5 は、図 4 の例に従つて間引きして読み出される画素デ一夕のうち左の 1 列目の変換の様子を示してい *o 。図 5 に示 c£れるよに、 5 際に 5冗み出される画素デ一夕は、垂直方向に、 R i 0、 G i 1、 R i 2、 G i 3、 R i 4、 G ' 5、 R ' 6、

G i 7、 R i lOv G i iト . R i 12、 G ί 13、 R ' 14 、 G ί 15 の 1 4個である。

式（ 7 ) は、 8番目（ 8行目）と 9番目（ 9 行目 ) の画素データを間引きして読み出した 1 4個の画素 T一夕から、 1

4 / Ί 6 の縮小変換後の 1 4個の画素データを求める変換と価 'め。

式（ 7 ) の行列表現による線形演算の式を見て分かるように、画素間引きを行なつているため、歪み補正後の異なる位置の画素データ R C 6 と R e g は、元の画素丁一夕 R i 6 と

R i 10の重み付き線形和 11 3

Rc« =— RIR +— Rhn

0 14 ^D 14

3 11

Rc« =—— Rifi +— Rhn

0 14 ^D 14 ^1U となっており、画素データ R c ₈ を求める際に用いる画素デ一夕が、画素データ R c 6 を求める際に用いる画素データと同じになっている。すなわち、画素データ R c ₈ を求める際に用いる画素データは、それまでの画素データ R c i R c 6 を求める際に用いる画素データの順序と相違している（すなわち位相がずれている）。画素データ G c ₇ と G c 9 についても同様のことが言える。

図 5 に示されるように、実際に読み出される画素データは

R i 0 G 、 R i 2 G ί 3 R ί 4 G i 5 R i 6 ^G ' 7 R i 10 G ί R ί 12 G ί 13 R i 14 G ί is の 1 4 個である。これらを、それぞれ、 R j ()、 G j i R j 2 G j 3 R j 4 ^G j 5 ^R 」· 6 G j 7 R j 8 G j 9 R j 10 G j 11 j 12> G j 13 とおく。すなわち、

i

、

とお <。

R ' 2 と G ' 2p+1 ( P は 0 以上 7未満の整数 ) は、前述したように、光電変換素子 1 2 2 内の水平方向に並んでいる画素の画素データを表しておリ、添字が飛んでいる部分は、

SZ 出しの際に間引さされていることを示している o ― Λ

R j 2r と ^G j 2r + 1 ( r は 0 以上 6 未満の整数）は、画素間引き読み出しによつて、実際に読み出される画素データを表してねリ、 gJCみ出される順番に対応して連続する添字を有している。

式 ( 9 ) を式（ 7 ) に代入すると、次の式（ 1 0 ) が得られる o

o o o o o o o o o o o o o o o o o o o o o

o o o o o o o o o o o

O O O O O O O O O O 二 O

0 0 0 0 0 0 0 。

O O O O O O O O ^ CD O ^ I CO o 0 0

o i o o o o o o o o o oo oo o o o o o o o o o o o 0 0

0 0 0 0 0 0 0 0 0 0 0 0 0

P z

εひ s蒙 oozdf/ェ:) d ■86Ϊ 00Z OAV これは、画素間引き読み出しにより実際に順番に読み出される 1 4個の画素データから 1 4 Z 1 6縮小変換後の 1 4個の画素テ一夕を求める歪み補正変換である。

以上の一次元歪み補正を二次元の配列に拡張すると以下のようになる o

式（ 1 0 ) を c = A B …（川と表す。ここで、 Aは一次元の歪み補償を行なう変換行列 (すなわち上述の例では 1 6 画素中 2 画素の間引きを行なつている 1 4個の画素データに対する歪み補償）、 Bは歪み補償前の画素データを表す _n行 1 列の行列、 Cは歪み補償後の画素データを表す n行 1 列の行列である。ここで、図 4 の読み出しデータを以下のような行列 D j で表す。

⁽ R'o,o Gi。，1 R'0,2 G'0,3 R'0,4 G'0,5 R'0,6 Gi。，7 Ri。'10 G'0,11 R'0,12 Gi。,13 R'0,14 ^Gi0,15、

G'1,0 Bil,l G'1,2 ΒΪ1.3 Gil,4 Bil,5 G'1,6 B"1,7 GH.10 Bil,11 Gh,12 BH,13 G'1,14 B'1,15

R'2,0 G'2,1 R'2,2 ^Gi2,3 R'2,4 ^Gi2,5 R'2,6 Gi2，7 R'2,10 G'2,11 R'2,12 ^Gi2,13 R'2,14 G'2,15

^Gi3,0 Bi¾1 G'3,2 ^B'3,3 Gi 4 Bi3,5 G'3,6 Bi3,7 G'3,10 Bi3,11 G'3,12 B'3,13 G'3,14 ^B'3,15

R'4,0 Gi4,1 R'4,2 G'4,3 R'4,4 Gi4，5 R'4,6 Gi4，7 R'4,10 G^j4,11 R>4,12 G'4,13 R'4,14 ^Gi4,15

G'5,0 B"5,1 G'5,2 ΒΪ5.3 G'5,4 Bi5,5 G'5,6 Bi5,7 G'5,10 Bi5,11 G'5,12 B'5,13 Gi5,14 B'5,15

R'6,0 Gi6,1 R'6,2 G'6,3 R'6,4 G'6,5 R'6,6 Gi6,7 R'6,10 G'6,11 R'6,12 ^Gi6，13 R'6,14 ^Gi6,15

G'7,0 Bi7,1 Gi7，2 Bi7,3 G'7,4 Bi7,5 Gi7,6 Bi7,7 G'7,10 Bi7,11 G'7,12 B'7,13 G'7,14 Bi7,15

R'10,0 G'10,1 R'10,2 ^Gi10,3 R'10,4 G'10,5 R'10,6 G'10,7 ^Ri10,10 G'10,11 ^Ri10,12 G'10,13 ^Ri10,14 ^Gi10,15

G'11,0 BH 1,1 G'11,2 Bh l,3 Gi"，4 BH 1,5 Gil 1,6 Bi"，7 Gin,10 Bi",11 G'11,12 ^Bi11,13 Gi",14 B'11,15

R"12,0 G'12,1 R'12,2 G'12,3 R'12,4 G'12,5 R'12,6 G'12,7 ^Ri12,10 ^Gi12,11 ^Ri12，12 G'12,13 R'12,14 ^Gi12，15

Gil3'0 B'13,1 Gil3,2 ΒΪ13,3 G'13,4 B'13,5 Gil3,6 ΒΪ13,7 G'13,10 B'13,11 G'13,12 ^Bi13,13 G'13,14 ^B'13,15

R'14,0 ^Gi14，1 R'14,2 G'14,3 R'14,4 ^Gi14,5 Ri"l4,6 ^Gi14,7 ^Ri14,10 G'14,11 ^Ri14,12 ^Gi14,13 ^Ri14,14 ^Gi14,15

G'15,0 Bi'15,1 G'15,2 B'15,3 Gil5，4 Bil5,5 Gi"l5,6 Bil5,7 G'15,10 G'15,12 B'15,13 G'15,14 B'15,15 ,

式（ 1 2 ) では読み飛ばしている部分に線を引いている。均等な〗 4 X 1 4画素の配列を D (j とすると、水平方向の歪み補正後に垂直方向の歪み補正を行なう変換は、式（ 1 1 ) の Aを用いて、

とせられる o し、 A Tは Aの転置行列を表している _c

―次元の歪み変換、式 ( 4 ) から式（ 7 ) への変形は以下の様に考えることもできる o

( Ί ) 位 IS Xの画素デ一夕が読み出され、位置 X + 2 の画素ァ一夕も S冗み出される場合は、画素デ一夕の重み係数には式 ( 4 ) の係数をそのまま用いる。

( 2 ) Xの画素デ ―夕が読み出され、位置 X + 2 の画素丁一夕がみ出されない場合は、代わりに位置 X + 4の画素丁一夕を読：み出す。位置 Xの画素デ - -夕の重み係数 X を

，

X = 0 . 5 ( X + 1 ) に変更し、位置 X + 4 の画素デー夕の重み係数は、変更した係数 X ' の 1 に対する残差すなわち

1 ― X とす ό 。

( 3 ) Xの画素デ一夕が読み出されず、位置 X + 2 の画素丁一夕が冗み出される場合は、位置 Xの読み出しの位置を 2 つ前にずらし X — 2 とする。また、位置 X — 2 の画素ァ一夕の重み係数 X を X ， = 0 . 5 X に変更し、位置 X + 2 の画素丁 ―夕の重み係数は、変更した係数の 1 に対する残差すなわち 1 ― X ' とする。従って、ルックアップテーブル（ L U T ) を使い、画素の

5冗み出し位置と補正係数を対応づけて歪み補正を行なう代わりに、 C P U等の演算処理機能を使用して 5冗み出し規則から歪み補正の係数を直接算出することも出来る

単板カラー撮像素子用の一般化

図 6 は、力フーフィルターアレイ（ C F A ) が前面に配置された単板力ラー撮像素子で構成された光電変換素子 1 2 2 に対して、式 ( 7 ) で表現された変換をパイプライン処理によリ行なうフィルター処理部の構成を示している。

このフィル夕一処理部は、単板カラー撮像素子から読み出した画像信巧が入力されるシフ卜レジスタ 1 6 2 と、シフトレジスタ 1 6 2 から画像信号を読み出す読み出し位置を選択する二つのセレクタ一 1 6 4 と 1 6 6 と、セレクタ一 1 6 4 と 1 6 6 によつてシフ卜レジス夕 1 6 2 から読み出された画像 m τ=3 にスして補正係数 k 1 と k 2 をそれぞれ乗算する二つの乗算器 1 7 4 と 1 7 6 と、二つの乗算器 1 7 4 と 1 7 6 の演算結果を加算する加算器 1 7 8 とを有しており、入力デー夕と出力デ一夕の数が等しいパイプライン処理によって単板カラー撮像素子から読 <7^* |jjした画像情報の歪みを補正する。

図 6 において、歪み補正係数 k 1 、 k 2 と、セレクタ一の選択制御信 s 1 、 s 2 は、後述する式（ 1 8 ) で定義される変換行列の要素 b j， j を用いて、以下の様に表される。

( 1 4 ) k _M は行列の i 行目の中で、非 0 の左端の要素（ b j I I I Iく _h = 0 は i 行目で h 番目以下の要素が全て 0 であることを表す。 )

ki2 = i-kii (15) は行列の k j 1 のに対する残差 if(i==hibi|j|<h=0)

(16) s1 = s2 = 0 i と h が等しければ、読み出しのシフ卜なし、

elseif (i ==h-1| bj|||く h = 0)

(17) s1 = s2 = 1 i と h ― 2 が等しければ、読み出しの 2画素シフト、 s 1 = s 2 = 1 として図 6 における読み出しを切り換える。

以下、読み出しのシフ卜里 ( i h ) に応じてセレクタ一を増やす (図 6 ではシフ卜里が 2画素の場合を示している） ¾5十 i は図 6 のフィノレ夕一処理部によるパイプライン処理のシーケンス番号を表し、 k i l は i 番目のシ一ゲンスでの係数を表している。添字 i と添字 j の差分は、セレク夕一 1

6 4 と 1 6 6が選択するシフ卜レジス夕 1 6 2 かり読み出す位置に関する選択基準を表している。

b j , j は、次の式（ 1 8 ) により定義される。

( c^ 、 r ₍i bl,2 bl,3 ^b1，4 ··· ··· ·• 、 , PH )

QC2 b 1 b2,3 b¾4 b2,5 … . Qi2

PC3 ··. ··. . · i3

QC4 bi，1 bi，i一 1 bi,i bi，i+1 ^bi,i+2 ^bi,i+3 ^bi,i+4 * Q14

： bj+1,1 bi+1，i— 1 ^bi+1,i bi+1，i+1 bi+l,i+2 ^bi+1,i+3 bj+1,i+4 ' ··

： ...

Pc_n-1 bn - 1,n- 3 bn - 1，n_2 bn- 1'n- 1 bn-1,n ·· b_n_i,n Pin - 1

…

、 Qc_n j 、^bn'1 bn-1,n-2 ^bn,n-1 ^bn,n ^bn,n+1 · ·· b_n，_n 、 Qin J

で P i j と Q i j+1 はそれぞれ歪み補正前の ί 番目と i + 1 番目の画素デ一夕、 P c j と Q c _ί+ι はそれぞれ補正後の画素ァ一夕、 b i, j は歪み補正変換行列の要素（正 <^怖' 正係数 ) を表している

力ラ一フィルタ一アレイ（ C F A ) が前面に配置された単板カラ ―撮像素子においては、画像データはべィヤー配列力ラーであり、 P と Q ( P ί と Q ί 、 P c と Q c ) は、 P ≠ Q

( P i ≠ Q ί 、 P c ≠ Q c ) であり、それぞれ R G Bチャンネレのいずれかであリ、読み出しの連続性を以下の様に口分けされる

( 1 ) P i 卜 Q ' i + P ' i+2 、 Q i j + 3 が連続したデ一夕の口

bi,i-D-2F = aリー 2F， by—D— 2F+2 = ¹― bj,i-D-2F

bi+1,i-D-2F = ai，i— 2F，一 D—2F+2 = 1 - bj₊l，i— D- 2F

by = 0, j≠i-D-2F, i-D-2F + 2

bi+i,j=0, j≠i-D-2F + 1, i-D-2F + 3

しで、 a j， j は後述する式（ 2 3 ) で表される。また、 Dはイメージャ上の連続する m個の画素プロックで読み出した n個の画素の i 番目の画を Βπみ出すまでに間引きした画素の数を表している。 Fは、次の式 ( 2 0 ) で定義される W i を超えない最大の整数（ F≤ 0 ) である。

(m— η) .

η— ^ -I

Wi = ^ ~~ -(20) ( 2 ) P i j、 Q i j+i が間引いた画素の前の 2 個の場合

bU-D-2F = 0.5(aj—2F + 1) bj'j—。― 2F+2 = 1 - bj，j一 D— 2F

bj₊₁，j— D— 2F = 0.5(ai_{+ )}j_2F+1 + 1) bj₊₁，j—_D— 2F+3 = ¹一 bj+l，i— D—2F

bj，j=0， j≠i-D-2F, i-D-2F + 2 "·⁽²¹ bj+ij = 0, j≠i-D-2F + 1, i-D-2F + 3

( 3 ) P i 卜 Q i j+i が間引いた画素の後の 2 個の場合

bi,i-D-2F = 0.5aj，j一 2F， bjj_D-2F+2 = 1― bリー D— 2F

bi+1,i-D-2F = 0-5ai₊j_2F+1， bi₊₁，j__D一 ₂F+3 = 1 - bj+ij— D_2F

by =： 0, j≠i-D-2F, i - D— 2F + 2 "" ⁽²² bj₊ij = 0, j≠i-D-2F + 1, i-D-2F + 3

a j , j は、次の式（ 2 3 ) で表現される、一次元補間で n / m ( n < m ) のサイズ変更を行なう変換における n行 m列の行列の係数である。

' Po ai,2 ^a1,3 ai,4 … … … · · · · ·· ai,m 、 Qi2

Qo2 ^a2,1 32,2 ¾2,3 a2,5 … … · · · · Pi3

P03 '· ■· ' · • · · .·· ' Q14

Q04 ^ai,1 ^ai，i aj，i+l aj，i+2 ^aU+3 ^ai,i+4 '·

(23) aj+l，i ai+l，i+l ai+1，i+2 ai+l'i+3 ^ai+1，i+4

… … ：

Pon-1 a_n - 1'1 a_n— 1,n - 1 ^an-1,n … . ·· ^an-1,m

ノ I …

, Qo_n ^an，1 ^an,n-1 ^an,n ^an,n+1 · ·· ^an,m ノ P'm-1

ここで、 P i j と Q i _{i +1} はそれぞれサイズ変更前の i 番目と i + 1 番目の画素データ、 P o j と Q o j+1 はそれぞれ変更後の画素データ、 a j ,」· は変換行列の要素（サイズ変更の一次補間係数）である。

a j, j は、次の式（ 2 4 ) で定義される。 ai,i-F = W, 3,^+1=1- Wf, ajj=0 j≠i-F, i-F + 1 -.. (24) ここで、 W i ' は次の式（ 2 5 ) で定義される。

Wi' = Wi-F ".(25) 前述したように、 W i は式（ 2 0 ) で定義され、 Fは W i を超えない最大の整数（ F≤ 0 ) である。

単色モノクロ撮像素子または多板カラー撮像素子用の一般化

図 7 は、単色モノクロ撮像素子または多板カラー撮像素子で構成された光電変換素子 1 2 2 に対して、式（ 7 ) で表現された変換をパイプライン処理により行なうフィルター処理部の構成を示している。

このフィルター処理部は、単色モノクロ撮像素子または多板カラー撮像素子から読み出した画像信号が入力されるシフトレジス夕 1 8 2 と、シフトレジスタ 1 8 2 から画像信号を読み出す読み出し位置を選択する二つのセレクタ一 1 8 4 と 1 8 6 と、セレクタ一 1 8 4 と 1 8 6 によってシフ卜レジス夕 1 8 2 から読み出された画像信号に対して補正係数 k 1 と k 2 をそれぞれ乗算する二つの乗算器 1 9 4 と 1 9 6 と、二つの乗算器.1 9 4 と 1 9 6 の演算結果を加算する加算器 1 9 8 とを有しており、入力データと出力データの数が等しいパィプライン処理によって単色モノクロ撮像素子または多板力ラー撮像素子から読み出した画像情報の歪みを補正する。

図 7 において、歪み補正係数 k 1 、 k 2 と、セレクタ一の選択制御信号 s 1 、 s 2 は、後述する式（ 3 0 ) で定義される変換行列の要素 b j， j を用いて、以下の様に表される。 ki1=bi_hibi|j|<h=0 - (26)

k π は行列の ί 行目の中で、非 0 の左端の要素（ b j | | | |く _h = 0 は i 行目で h 番目以下の要素が全て 0 であることを表す。） ki2=1-kjl -(27) k j 2 は行列の k j の 1 に対する残差

'f(' = hjbj|j|_<h=0)

(28) = s2 = 0 i と h が等しければ、読み出しのシフトなし、 s 1 = s 2 =

0 3 elseif (i == h - 11 bj|||<h = 0)

(29) s1 = s2 = 1 i と h ― 1 が等しければ、読み出しの 1 画素シフ卜 s 1 = s 2 = 1 として、図 7 における読み出しを切り換える。

以下、 5冗み出しのシフト量（ i 一 h ) に応じてセレクタ一を増やす (図 7 ではシフ卜量が 1 画素の場合を示している）添字 i は図 7 のフィルタ一処理部によるパイプラィン処理のシーケンス番号を表し、 k j | は ί 番目のシ ―ケンスでの係数を表している。添字 i と添字 j の差分は、セレク夕一 1

8 4 と 1 8 6 が選択するシフトレジスタ 1 8 2 からみ出す位置に関する選択基準を表している。 b i, j は . 次の式（ 3 0 ) により定義される ,

• b₁₍n 、 ( Ph )

Pi₂

Pi3

Pi₄

：

·· b_n— i,_n P'n-1

·· b_n，_n ノ I ^Pin

J

ここで、 P i j はそれぞれ歪み補正前の i 番目の画素デ一夕、 P c j は補正後の画素データ、 b j, j は歪み補正変換行列の要素（歪み補正係数）を表している。

単色モノクロ撮像素子または多板カラー撮像素子においては、読み出しの連続性を以下の様に場合分けされる。

( 1 ) P i j、 P i j +1 が連続したデータの場合 bi'i—D- F = aj,i_F， bリ— _D— _F+1 = 1 - by— _D一 F

by = 0, j≠i一 D一 F， i-D-F + 1 ".(31)

ここで、 a j， j は後述する式（ 3 5 ) で表される。また、 Dはイメージャ上の連続する m個の画素プロックで読み出した n個の画素の i 番目の画素を読み出すまでに間引きした画素の数を表している。 Fは、次の式 ( 3 2 ) で定義される W i を超えない最大の整数（ F≤ 0 ) である。

.... n - (m - n)i

Wi = ~ ^ し ... 32) n

( 2 ) P i j が間引いた画素の前の場合

bjj—D一 F = 0.5(¾ ρ + 1) b .D-F+l = 1一 bi,i-D-2F

by = 0, j≠i - D - F， i-D-F + 1 .■■、）

( 3 ) P i j が間引いた画素の後の場合 ^bi,i- D - F = 0.5aj，j一 F, bj,j_D一 F+1 = 1 - bjj-D-F

(34) bjj=0， j≠ i - D - F, i-D-F + 1 a ,· , j は、次の式（ 3 5 ) で表現される、一次元補間で n / m ( n < m ) のサイズ変更を行なう変換における n行 m列の行列の係数である。

' Ρο-ι ^r ¾1,1 ¾1,2 ai,3 ai4 ··· ··· … . ·· a_1>m Pi₂

Ρθ2 32,1 &2,2 a2,3 32,4 ¾2,5 ··· ··· · i3

P03 '· ' · , '·. ' Pi₄

P04 ^aU ^aU ^ai,i+1 aii+2 ^aU+3 ^ai,i+4

(35) ai+1,1 ^ai+1,i &i+1i+1 ^ai+1j+2 ^ai+1'i+3 ^ai+1,i+4 -

Po_n— 1 a_n - 11 ··· ··· ^an-1,n-1 ^an-1,n … . ·· ^an-1,m

p°n ^an1 ··· ··· ^an,n-1 ^an,n ^an,n+1 • ^an,m P'm-1

ここで、 P i j はサイズ変更前の i 番目の画素データ、 P 0 j は変更後の画素データ、 a j , j は変換行列の要素（サイズ変更の一次補間係数）である。

a j， j は、次の式（ 3 6 ) で定義される。 ai,i-F = ^wi. ai₍i_F+i = 1 - W, ajj = 0 J≠ I-I-, i-F + 1 ."(36) こで、 W ί ' は次の式（ 3 7 ) で疋我され Ό。

Wi' = Wi-F -(37) 前述したように、 w i は式（ 3 2 ) で定義され、 Fは W i を inえない最大の整数 ( F ≤ 0 ) である 0

歪み補正の処理の流れ

図 8 は歪み補正の処理の流れを示している。画像信号は光電変換の強度の情報 S 1 と、ラス夕スキャンの場合、時系列の情報 S 2 を持っており、時系列情報から画素位置を算出することが出来る（ S 4 ) 。上述のよ οにスケ一ル変換に対応する読み出し規則は周期的であり例えば大で 9 3 %程度のサイズ変更（電子ズーム）を行なう場 2 8 / 3 0 = 0 .

9 3 3 となるので、サイズ変更のための間引さ ιπみ出しの周期は多くとも 3 0画禾王度 C 'め o Βπみ出し規則における間引き位置と、画素位置の情報から対象としている画素が周期内の何処の位置にあるかを算出できる ο 例えば 1 2 画素周期の処理の場合水平スター卜位置から 2 6 1 番目の画素は m 1 2 ) = 9 画素目の位相である。ここで、 m は数値 Nを数値 Xで除算した剰余を意味している。この様に、 S 4で算出した画素位置の情報と S 4 の冗出し規則の周期、間引き位置の情報から、前述の式

( 7 ) に示した重み付き加算演算の係数（ S 5 ) および加算演算を行なう画素の位相操作の情報（ S 6 ) を得る < とが出来る。 S 7 では位相に応じて使用する画像信号の切換えを行なう。この様に、位相情報によって指定された画素と加算の重み付け係数を用いて加算演算を行ない（ S 8 ) 、正み正の出力画素とする。

光電変換読み出し部の画像信号をそのままメモ 'J一に保存し、ァドレス指定で演算すれば上述した位相の問題は回避できるが、ここではより高速なパイプライン処理について述べる。

図 9 は水平方向 · 垂直方向共に 8 画のつち 2画を間引きして読み出す例を示している。ここでは、 ―例として、水平方向の間引きを伴う一行目の読み出しについて考える。図

9 の左上を基準とすると読み出した画素位置は、 R i' o、 G i ] , R i 2 - G i 3 R i i、 G i R R i G i ? となり、以下同じ規則の繰り返しになる。この例における歪み補正 (変換）の行列表現は

となる 0

そのパイプラィン処理は図 6 に示したフィルター処理部によつて行なわれる。シフ卜レジス夕 1 6 2 は、クロックに従ラ一回の動作毎に、保持している画像データを右方向にひとシフ卜する o セレクタ一 1 6 4 は、 s 1 の状態に従つて、シフ卜レジスタ 1 6 2 に保持されている隣接している五つの画素テ一夕のうちの一番目と ―番目のいずれかを選択する 0 またセレクタ一 1 6 6 は s 2 の状態に従って、シフ卜レジス夕 1 6 2 に保持されている隣接している五つの画素デ ― 夕のうちの三番巨と五番目のいずれかを選択する o

乗算器 1 7 4 は、セレク夕一 Ί 6 4 の出力 d 1 に重み付け加算の係数 k 1 を乗算し、乗算器 1 7 6 は、セレクタ一 1 6

6 の出力 d 2 に重み付け加算の係数 k 2 を乗算し、加算器 1

7 8 は、乗算器 1 9 4 の出力と乗算器 1 9 6 の出力とを加算する o

表 1 は図 6 に示したフィル夕一処理部のパイプライン処理の動作 (状態遷移 ) を表している 0 表 1

、

ンフ卜レンスタ 1 6 2 に供給され ^画丁一タ列 ( I 0 、 i 1 、 1 2 、 … は、 c 1 = i 0 、 C 2 I 1 、 C 3 = i 2

…を初期状能として、ク □ックに従フ ―回の動作毎に右方向にシフ卜してい < これに伴い、セレクタ一 1 6 4 は、 s 1 が 1 のとぎは C 1 を選択し (従 oて d 1 = C 1 となり ) 、 s

1 が 0 のとさは C 3 を選択する (従つて d 1 ― C 3 となる）一方、セレクタ一 1 6 6 は、 s 2 が 1 のとさは C 3 を yd択し

(従て d 2 ― C 3 とな ) 、 s 2 が 0 のとさは C 5 を選択する (従て d 2 = C 5 となる ) また、ク P ックに ]pj期してフィルタ一係数設定部 1 4 4 内のメモ U一から係数 k 1 が乗算 1 7 4 に、係数 k 2 が乗算 1 7 6 に供給される。加

1 7 8 からは o u t k 1 X d 1 + k 2 X d 2 が出力される表 1 から分かるように、逐次データのシフト、 s 1 と s 2 の状態に従ったセレクタ一の切り換え、式（ 7 ) に示した間引き規則に応じた重み付け係数 k 1 と 2 の出力、重み付け加算演算を同期して行なうことによって、画素の位相操作 (セレクタ一切り換え）を含めたパイプライン処理が行なわれる。

また、撮像素子がペイヤー配列や補色フィルターの配列のような C F A ( Color Fi l ter Arrays) 以外の、モノクロや三板カラーの撮像素子の様に、単一の撮像素子上の色情報が一種類である場合には、ベィャ一配列の C F Aのように歪み補正をする際に同一色の画素を扱うために一画素の間隔を空ける必要はなく、また、間引きの方法も上述の様に同一色の信号の位相を合わせるために（ R 、 G、 R、 G、 …というように読み出しの順序を一定にするために）二画素連続で空ける必要はない。

単色の撮像素子では、隣接した画素の重み付け加算をデータを選択しながら行なうので、歪み補正（変換）は、次の式 ( 3 9 ) で表される。

PC2 = aPi-i + (1 - a)Pi2 ■■■ (39) ここで、 P c は変換後の画素データ、 P i は変換元の画素デ一夕である。

そのパイプライン処理は、図 7 に示したフィルター処理部によって行なわれる。シフトレジスタ 1 8 2 は、クロックに 4 従う一回の動作毎に、保持している画像テー夕を右方向にひとつシフ卜する。セレクタ一 1 8 4 は、 s 1 の状態に従って隣接する三つの画素データのうちの一番目と二番目の一方を選択する。また、セレクタ一 1 8 6 は s 2 の状態に従って隣接する三つの画素データのうちの一番目と三番目の一方を選択する。

乗算器 1 9 4 は、セレク夕一 1 8 4 の出力 d 1 に重み付け加算の係数 k 1 を乗算し、乗算器 1 9 6 は、セレク夕一 1 8

6 の出力 d 2 に重み付け加算の係数 k 2 を乗し、加算器 1

7 8 は、乗算器 1 9 4 の出力と乗算益 1 9 6 の出力とを加算する。動作のシ —ケンスは図 6 と |pj様である 0

本実施形態の撮像装置では、光換素子で取得された画像データを、少なくとも垂直方向について、好まし < は垂直方向と水平方向の両方について、八 ―ド的に間引さして！" み出している。従つて、本実施形態の像装置は、光電変換素子の全ての画像データを読みした後にソフ卜的に間引く通常の撮像装置と比較して短時間のラちに画像データを δ冗み 111 し得る。

さらに、本実施形態の撮像装では、画素間引さして 5冗み出された画像デ一夕に対して、間引かれた画素データを線形補間すると共に設定された領域に )心じて縮小変換する正み補正を行なっている。従って -、本実施形態の撮像装置は、良質な画像を形成し ¼ 。

第二実施形態

本実施形態は、特に動画の撮影に好迴な撮像装置に向けられている。

図 1 0 は本発明の第一実施形態の撮像装置の構成を不している。図 1 0 において、第一実施形態の像装置 1 0 0 の要素と同一の参照符号で指摘される要素は同等の要素であ y 、その詳しい説明は記載の重複を避けて続 < 目 ii述において省略する。

本実施形態の撮像装置 2 0 0 は、被写体の光学像を結像する結像光学系 1 1 0 と像光学系 1 1 0 によリ結像された光学像の所定の領域の画像信号を連続的に出力する ffll像デバイス 2 2 0 とを有している。つまり、撮像デバイス 2 2 0 から出力される画像 15 は動画信号でありこれは時系列的に連続する複数のフレ _厶の画像データで構成されている。

撮像デノ、'イス 2 2 0 は、結像光学系 1 1 0 により結像された光学像を光電変換してデジ夕ル画像デ ―夕 (画素データの集合）を取得するェァ状の光電変換素子 2 2 2 と、光電変換素子 2 2 2 で取 ί ί曰

守された画像デ一夕を必要に応じて画素間

=±·

引きして連続的に SJZ 出す ¾cみ出し制御部 2 2 4 とを有している。

撮像装置 2 0 0 はさらに、出力する画像の領域を設定する領域設定部 1 3 2 と、 57Eみし制御部 2 2 4 の画素間引き読み出し規則を選択する 57Cみし規則選択部 2 3 4 と、撮像デバイス 2 2 0から 5冗み出された画像デー夕の歪みを補正する歪み補正部 1 4 0 とを有している o 正み補正部 1 4 0 の詳細は第一実施形態で説明した通りである。

さらに、撮像装置 2 0 0 は、読み出し制御部 2 2 4が光電変換素子 2 2 2 から読み出す画像データの範囲（読み出し範囲）の基準位置をフレーム毎に変更する読み出し位相制御部 2 3 0 と、読み出し位相制御部 2 3 0でフレーム毎に設定される読み出し範囲の基準位置に基づいて歪み補正部 1 4 0で補正された画像データの全てのフレームに共通する範囲を選択する画像範囲選択処理部 2 4 0 とを有している。

読み出し位相制御部 2 3 0が読み出し範囲の基準位置をフレーム毎に変更し、画像範囲選択処理部 2 4 0が全てのフレー厶に共通する範囲を選択することに対応して、読み出し規則選択部 2 3 4 は、領域設定部 1 3 2 で設定された画像の領域よりも広い範囲に渡って読み出し制御部 2 2 4が画像デー夕を読み出すように、画素間引き読み出し規則を選択する。

撮像デバイス 2 2 0 内の読み出し制御部 2 2 4 は、読み出し規則選択部 1 3 4で選択される読み出し規則と、読み出し位相制御部 2 3 0で設定される読み出し範囲の基準位置とに基づいて、光電変換素子 2 2 2 内の画素配列中の対応する範囲の画像データ（ 1 フレーム分の画素データ）を連続的に読み出す。その結果として、撮像デバイス 2 2 0 は、時系列的に連続する複数のフレームの画像デ一夕で構成される動画信号を出力する。

撮像装置 2 0 0 は、好ましくはさらに、複数のフレームの画像データを一時的に記憶する三つの巡回型フレームメモリ一 2 5 2 と 2 5 4 と 2 5 6 と、フレームメモリ一 2 5 2 と 2 5 4 と 2 5 6 に記憶された複数のフレームの画像データに対して演算処理を行なって新たな画像データを生成するフレー厶間演算処理部 2 6 0 とを有している 0

従来のビデオシステムの動画の撮影においては 2 フィ一ルド = 1 フレームになるようなインタ ―レース走査方式が良く用いられている o これは、一般の 1 / 3 0のフレ一厶レ一卜においてはイン夕一レ ―ス操作による画像のちらつさは目立たないとされ、むしろィンターレ一ス操作によつて、全作と同一の時間内でよ広い領域の画像情報を得、フィールド間で補間して向速に问精細な画像を得る効果がある o

また、前述の式 ( 7 ) に示される不

正み補正を行なつてち、

5冗出されていない画素データは復元され得ない。

本実施形態の撮像装置 2 0 0では、インターレース操作が二つのフィールド間で互いの欠落している画素データを補間するように、連続する二つのフレーム間で互いの欠落している画素テー夕を補間する。

このため、み出し位相制御部 2 3 0 1よ、 g?cみ piし制御部

2 2 4が光電変換素子 2 2 2 から画素間引きして読み出す画素データの m囲 (読み出し範囲）の基準位置をフレー厶毎に変更させるよ U詳しくは、読み出し位相制御部 2 3 0 は、 ΐπみ出し ¾1囲の基準位置を、一定の規則に従って周期的に、フレーム毎に変更させる。

=± - 例えば、 5冗み出し位相制御部 2 3 0 は、連続する複数のフレームの画像丁 ―夕がそれら全体で欠落した画素デ一夕を持たないようにみ出し制御部 2 2 4が読み出す画素データの範囲の基隹位置をシフ卜させる。より好ましくは、み ϋ_ι し位相制御部 2 3 0 は、連続する二つのフレームの画像デー夕が共通に欠落した画素テ一夕を持たないよ 1— =±·

フに、 5冗み出し範囲の基準位置をシフ卜させる。シフ卜里は 4 〜 8画素程度が好ましい。

その結果、特定のフレームの画像テ一夕において間引き読み出しのために欠落した光電変換素子 2 2 2 内の特定の位置の画素データは、他のフレームの画像デ一夕に含まれるようになる。つまり、撮像デバイス 2 2 0から出力される画像信号から、光電変換素子 2 2 2 の特定の位置の画素データが常に欠落することが避けられる。

さらに、フレーム間演算処理部 2 6 0 はフレームメモリ一 2 5 2 と 2 5 4 と 2 5 6 に §己'！ ¾ eれた連続するフレー厶の画像データに対して、欠落している画素ァ ―夕を補間する処理を行なう。例えば連続する二つのフレ ―厶の画像データに対して 1 2 ： 1 / 2 の加算を行なう o あるいは、連続する三つフレームの画像データに対して 1 / 4 • 1 / 2 ： 1 /

4 の加算を行なってよい。

図 1 1 と図 1 2 は 6 / 8の間引み出しの繰リ返しによる ¾cみ出しにおける読み出し範囲の基隹位のシフ卜の様子を模式的に示している。これらの図において、 [ X ， y ] は光電変換素子 1 2 2 の画素配列の画素位置 ( X ， y ) は読み出し範囲の画素丁一夕配列を表している o

図 1 1 と図 1 2 に示されるように、光変換素子 1 2 2 の画素数は水平方向に k画素、垂直方向に 1 画素である。従つて、光電変換素子 1 2 2 の左上の画素の位は [ 0 ， 0 ] 、右下の画素の位置は [ k , I ] と表せる o また、 1 フレームの読み出し範囲の画素数は水平方向に m画素、垂直方向に n 画素である。従って、フレームの左上の読み出し開始位置は ( 0 ， 0 ) 、右下の読み出し終了位置は（ m , n ) と表せる。図 1 2 のフレームの読み出し範囲は、図 1 1 のフレームの読み出し範囲に対して、水平方向に + 2画素、垂直方向に + 2 画素シフ卜している。

図 1 1 のフレームでは、左上の読み出し開始位置（ 0 ， 0 ) は、光電変換素子 1 2 2 の左上の画素位置 [ 0 ， 0 ] に一致している。つまり、

(0，0) = [0，0] - (40) である。また、読み出し終了位置（ m， n ) は、

(m，n)=[k— 2,1— 2] - (41 ) である。一方、図 1 2 のフレームでは、左上の読み出し開始位置は、

(0,0) =[2, 2] (42) である。また、読み出しの終了位置は、

(m, n)=[k, I] - (43) である画像範囲選択処理部 2 4 0 は、図 1 1 のフレームと図 1 2 のフレームに共通する範囲を選択する。つまり、画像範囲選択処理部 2 4 0 は、図 1 1 のフレームに対しては、（ 2 ， 2 ) と（ m， n ) を対角の頂点とする矩形の範囲を選択し、図 1 2 のフレームに対しては、 ( 0 ， 0 ) から（ m— 2 ， n 一 2 ) を対角の頂点とする矩形の範囲を選択する。画像範囲選択処理部 2 4 0 で選択された範囲は、常に（ m— 2 ) X ( n _ 2 ) 個の画素データを有している。

また、予めクロップする領域を考慮すると、光電変換素子 2 2 2 から読み出す画像の総数は出力の画像サイズと位相シフ卜分を考慮する必要がある。画像範囲選択処理部 2 4 0 は、読み出し開始位置の情報に基づいて、クロップの範囲を変更する。

フレームメモリー 2 5 2 と 2 5 4 と 2 5 6 はいずれも F I F O (First In Fi rst Out) のメモリ一となってぉリ、フレー厶間演算処理部 2 6 0 はそれらのフレームメモリー 2 5 2 と 2 5 4 と 2 5 6 の同一位置の画素を用いて出力画像を生成する。

例えば、 2 フレームの場合、合成画像 0 u t ( i , j ) は、 out(i， j) = 0.5l(k, i， j) + 0.5l(k一 1， i， j) 〜（44) である。ここで、 i ， j は画素位置を表し、 I ( k , i ， j ) は k番目のフレームの画素位置 i ， j の画像信号の強度である。また、 3 フレームの場合、合成画像 o u t ( i ， j ) は、加重配分を用いて、 out(i， j) = 0.25l(k, ί， j) + 0.5l(k - 1， i， j) + 0.25l(k - 2, i, j) - ( 45 ) でのフレ一厶間補間を行なうことによって、歪み補正の効果に加えて、ローパスによる高画質化の効果が得られる。

また、本実施形態では、水平方向 · 垂直方向ともに間引き

5冗み出しを行ない、一次元の歪み補正を水平 · 垂直ともにパィプラィン処理で行なう例を示している。 C C Dの場合は、垂直転送 -→水平転送の動作を行なう撮像素子では、原理上水平方向に間引いて読み出す事が出来ないので、水平方向については式 ( 1 ) と同様に全画素を読み出し、一次補間によるサイズ変更を行なう必要がある。垂直方向について前述の式

( 7 ) で示したように、間引いて読み出して歪み補正を前述と様に行なラ。

また、像時間の短縮を図るために、従来のビデオシステ厶の様に垂直方向には補間を前提とした複数のインタ一レ一スフィ一ル読み出しを行ない、水平方向には前述の間引きみ出しと不

正み補正を行なってもよい。歪み補正後の各フィ

―ルドの画像は、図 1 0 と同様な構成により補間的な合成を行なつて画像を生成すればよい。

図 1 3 は、 1 4画素中 2函素の間引き読み出し（ 6 Z 7 のサィズ変更 ) を行なった後に、連続するフレーム間で平均化処理を行なて得られた動画像を示している。また、図 1 4 は、 1 4画中 2画素の間引き読み出し（ 6 Z 7 のサイズ変更）に加えて正み補正（画素データ補間 ) を行なった後に、連続するフレ ―厶間で平均化処理を行なつて得られた動画像を示している o 者を比較することにより、図 1 4 の画像は、図 1 3 の画像と比較して、エッジ部分の歪みが低減されていることが分かる 0

本実施形態の像装置は、第一実施形態の撮像装置の利点と同様の利占を有している。

これに加えて本実施形態の撮像装置は、動画像撮影において、フレーム毎に 5冗み出し規則を変て画像テ一タを Ιπみ出すことにより允電変換素子内の特定の位置の画素デ一夕が欠落することを避けてい Ό o れにより、本実施形態の撮像装置は、歪みの少ない问精細な動画像を形成し得る。

本実施形態の ¾¾像装置は、より好ましくは、連続するフレ一厶の画像デー夕に基づいて欠落している画素データを補間することにより、フレ一厶によつては本当の画素データが欠落するとを避けている o これにより、本実施形態の撮像装置は、さらに歪みやモァレの少ない高精細な動画像を形成し

½る o

第三実施形態

図 1 7 は、本発明の第 ―実施形態の撮像装置の構成を示している o 図 1 7 1 ¾οいて第一実施形態の撮像装置 1 0 0 の要素と同一の参照符で指摘される要素は同等の要素であり、その詳しい説明は記載の重複を避けて続く記述において省略する o 本実施形態の撮像装置 3 0 0 は、被写体の光学像を結像する結像光学系 1 1 0 と、結像光学系 1 1 0 によリ結像された光学像の所定の領域の画像信号を連続的に出力する撮像デバイス 2 2 0 とを有している。つまり、撮像丁イス 2 2 0 から出力される画像信号は動画像であり、れは時系列的に連続する複数のフレームの画像デ —夕で構成されている。

撮像デバィス 2 2 0 は、結像光学系 1 1 0 により結像された光学像を光電変換してデジ夕ル画像デ一タ (画素データの集合）を取得するエリァ状の光電変換素子 2 2 2 と、光電変換素子 2 2 2で取得された画像データを必要に応じて画素間引きして連続的に an:み出す冗み出し制御部 2 2 4 とを有している。

撮像装置 3 0 0 はさらに、出力する画像の AS

m域を設定する領域設定部 1 3 2 と、 S7Cみ出し制御部 2 2 4 の画素間引き読み出し規則を択する 571；み出し規則選択部 3 0 2 と、撮像デバイス 2 2 0 か ■D ¾Cみ出された画像デー夕の正みを補正する歪み補正部 1 4 0 とを有している。歪み補正部 1 4 0 の詳細は第一実施形態で説明した通リ ¹ある。

さらに、撮像壮 3SE要 o

β. 0 0 は、読み出し制御部 2 2 4が光電変換素子 2 2 2 から読み出す画像デ一夕の読み出し規則を夕イミングジェネレーター 3 0 4 と同期して、読み出し規則変調部 3 0 6 によってフレーム毎の読み出し規則を変調している。この読み出し規則変調部 3 0 6 ではフレーム毎に異なる読み出し配置を生成するが、読み出し画素の総数は変更していない。歪み補正部 1 4 0 は、読み出し規則変調部 3 0 6 で 5 生成し/こ 5冗み出し規則に従つてフィノレ夕ー処理するフィル夕ー処理部 1 4 2 と、フィル夕一処理部 1 4 2 のフィルター処理に使用するフィルター係数を δ 疋フィル夕一係数部 1 4 4 とを有している。

さらに、複数のフレーム間で 9¾な 57 出し規則で ¾み出され、歪み補正のフィル夕一処理を行なつた画像デ一夕は、フレ一厶間演算部 3 0 8でフレ一厶間演算が行なわれ、図示しない後続の処理系にデー夕を出力する ο しれまで、図面 ¾:参照しなが本発明の実施の形態を述ベたが、本発明は、 <—れらの実の形態に限定されるものではなく、その要旨を逸脱しない IB囲において様な変形や変更が施されてもよい。

産業上の利用可能性

本発明によれば、撮像素子からの画像ァ一夕の読み出しに要する時間が短 <、サイズ変更に対して歪みの少な » 问精細な画像を形成し得る撮像装置が提供される 0

Claims

求の範囲

1 . 被写体の画像を出力する撮像装置であ y

光学像を光電換して画像データを取得する光変換素子と、前記光電変換素子で取得された刖匿己画像デ一夕を必要に応じて画素間引さし乙 iTCみ tL| 9 5冗み出し制御部とを有している撮像デバィスと、

前言己撮像デバィスの出力画像の領域を設定する領域設定部

刖画 5領域設定部で SX疋された領域に応じて記 17C ¾ tLlし制御部の画素間引き読み出し規則を選択する n冗み出し規則選択部と、

刖記読み出し制御部によつて前記光電換素子力ら目壳み ι ι された前記画像デ一夕の正みを補正する不

正み補正部であつて、則し S7Cみ出し規則選択部で選択された則記画素間引き ¾cみ出し規則に基づいて前 =± - a己允変換素子から 5冗み出された前記画像デー夕をフィノレ夕ー処理するフイレタ一処理部を有する JE み補正部とを有している fex像

2 . 請求項 1 において > 刖記歪み補正部は、記フィル夕一処理に使用するフイレタ一係数を設定するフィル夕一係数選択部をさらに有し、刖記フィルタ一係数 ΘΧ疋部は、刖記フィル夕 ―係数を含むノレックァップテ一ブルを記する言? '1 部と記 5冗み ιϋし規則選択部が選択した前記画素間引 ci S7C

、

み udし規則に応じて m記 §己憶部に目し '1¼されている則記ルックァップテ一プルから刖雲 5フィル夕 —係数を選択するフィル夕一係数選択部とを有している m像装置。

3 . 請求項 2 において、 Bリ §ヒフイリレ夕一係数のルックァ

、ンプテ一ブルは前記読み出し規則に応じて疋されている、撮像装置。

4 . 請求項 1 または請求項 2 において、夕ィミンクンェネレ一ターと、前記読み出し規則選択部からのみ U4し規則を則目 ύタイミングジエネレ一ターと同期して、フレ一厶毎のみ | jし規則を変調する出し規則変調部とをさらに有し、前記歪み補正部は、前記 s¾みし規則変調部で生成された

=±■

5冗み出し規則に従ってフィルター処理する撮像装置 o

5 . 請求項 1 において、刖目己歪み補正部は刖 idフィル夕一処理に使用するフィルター係数を設定するフィルター係数 sn. 部をさらに有し、前記フィルター係数 sn.定部は、刖目己み ΐτάし規則選択部が設定した Βリ記画素間引さ =dtr

み山し規則に応じた演算を行なって前記フィルター係数を算出す、撮像 s壮 a. o

6 . 請求項 1 において、前記光電変換素子から出力される画像信号は、時系列的に一 9 る複数のフレ ―厶の画像デ

―夕で構成される動画信号であリ

刖目己読み出し制御部が前 S [光 ¾変換素子から 5冗み £ί|す画像丁一夕読み出し範囲の基準位置を前記複数のフレ一厶のフレーム毎に変更する読み出し位相制御部と、

前記読み出し位相制御部で前記フレーム毎に設定される読み出し範囲の基準位置に応じて前記歪み補正部で補正された画像データのうち前記複数のフレームに共通する領域を範囲選択する画像範囲選択処理部と、前 Icl画像範囲選択処理部で範囲選択された領域の画像信号を出力する画像信号処理部とを有する、撮像装置。

7 S 求項 1 において、前記光電変換素子から出力される画像信号は、時系列的に連続する複数のフレームの画像デ

―夕で構成される動画信号であり、前記複数のフレ一厶のフレ一厶毎に前記読み出し規則を異ならせ、育リ記フィルター処理部はそれぞれの前記読み出し規則に応じた 3Ε «^· ffl¹正を行なラ撮像装

8 5

• m求項 7 において、前記歪み補正部から出力された画像 In 対して所定の処理を行なう画像処理部を有する、像 1¾ 眞。

9 E 求項 6 または請求項 8 において、刖目己撮像装置は刖記複数のフレームの画像データを一時的に記憶する複数の記 Ίβ部と、前記複数の記憶部に記憶された前記複数のフレ一厶の画像デ —夕に対して演算処理を行なつて新たな画像丁一タを生成するフレーム間演算処理部とを有しており、 m記画像信号処理部は前記フレーム間演算処理部で形成された画像の画像信号を出力する、撮像装置。

1 0 . 請求項 6 または請求項 8 において、刖言己撮像装置は、刖記複数のフレームの画像データに対して演算処理を行なて新たな画像データを生成するフレー厶間演算処理部とを有しており、前記画像信号処理部は前記フレーム間演算処理部で形成された画像の画像信号を出力する、 m像装置 0

1 1 . 請求項 9 または請求項 1 0 において、前記複数のフレー厶の画像データに対する演算処理が加算平均である、撮像装置。

1 2 求項 1 において、前記光電変換素子は力フ一フィル夕一ァレィ（ C F A ) が目リ面に配置された単板力ラ一像素子であり、刖記フィルタ一処理部は刖言 5単板力ラ ― m 像素子か ,、みした画像信号を一時的に保持する'シフ卜レンス夕と、則記シフ卜レジス夕から前記画像信号のうち同色の信巧を nTCみ出す 5冗出し位置を選択する二つのセレク夕一と、刖記二のセレク夕一によって前記シフ卜レジス夕からみ出された画像 1口に対して補正係数をそれぞれ乗算する

―つの乗算器と、前記一つの乗算器の演算結果を加算する加算器とを有してお、入カデ一夕と出力丁一夕の数が等しいパィプラィン処理によつて前言己単板力ラ一撮像素子から a7Zみ出した画像情報の歪みを補正する、撮像装置。

1 3 . 請求項 1 において、前記光電変換素子は単色モノク口撮像素子または多板力ラ一撮像素子であり、前記フィル夕一処理部は、前記単色モノクロ撮像素子または前記多板力ラ一像素子から読み出した画像信号を一時的に保持するシフ卜レジス夕と、目 1』言己シフ卜レジス夕から画像信号を読み出み出し位置を選択する一つのセレクタ一と、前記二つのセレク夕一によってシフ卜レジス夕から読み出された画像信号に対して補正係数をそれぞれ乗算する二つの乗算器と、前記二つの乗算器の演算結果を加算する加算器とを有しており、入力ァ —夕と出力データの数が等しいパイプライン処理によつて記単色モノクロ撮像素子または前記多板カラー撮像素子から読み出した画像情報の歪みを補正する、撮像装置。

1 4 . 請求項 1 2 または請求項 1 3 において、刖己 -C レクタ出し規則選択部が選択した前記画素間引さ。冗み出し規則に基づいて前記シフ卜レジスタから画像信をみ山 ^ じ出し位置を選択する、撮像装置。

1 5 . 光学像を光電変換して画像データを取得する光電変換素子と、前記光電変換素子で取得された画像データを必要に応じて画素間引きして読み出す読み出し制御部とを有している撮像デバィスとを有する撮像装置の信号処理方法でめつて、

前記撮像デバイスの出力画像の領域を設定する工程と、

、前 5己疋 ±れた νή域に応じて画素間引き読み出し規則を択する工程と、

前記選択された画素間引き読み出し規則に応じ HU 固し冗み出し制御部で制御されて前記光電変換素子から画像データを画素間引きして読み出す工程と、

前記選択された画素間引き読み出し規則に応じてフィル夕

―係数を設定し、前記光電変換素子から読み出された画像 τ 夕をフィルター処理して画像データの歪みを補正するェ程

、

刖記歪み補正された画像信号に対して所定の処理を行なラェ程とを有している、撮像装置の信号処理方法。

Ί 6 . 光学像を光電変換して画像データを取得する光変換素子を有している撮像デバイスを有する撮像装置の信処理方法であって、

、 '

刖記撮像デバィスの出力画像の領域を設定する工程と、前記設定された領域に応じて画素間引き読み出し規則を選択する工程と、

前記選択された画素間引き読み出し規則 Iこづいて刖 α 光電変換素子から画像デー夕を読み出すェ程と

前記読み出された画像データをフィル夕ー処理して画像デ一夕の歪みを補正するェ程とを有している、 m像装 idの ik 処理方法。

1 7 . 請求項 1 6 において、前記画像テ―夕の不

正みを補正する工程は、前記選択された画素間引きみ出し規則に it、じてフィルター係数を設定し、前記光電変換素子からみ ΰ された画像データをフィルター処理する is 処理方法 ο

、 '

1 8 . 請求項〗 5 または請求項 1 7 において刖記フィルター係数は、複数のフィルター係数を含むルククァソプテ一ブルから、前記選択された画素間引きみ出し規則に }心して前記フィルタ一係数を択す。、信処理方法 o

1 9 . 請求項 1 5 または請求項 1 7 において、前記選択された画素間引き読み出し規則に応じた演算を行なつて刖フィルター係数を算出する、信号処理方法 o

、 '

2 0 . 請求項 1 5 または請求項 1 6 において、則記 hi像デバイスから時系列的に連続する複数のフレ一厶の画像丁 ― 夕で構成される動画信号を出力し、

前記撮像デバイスから読み出す画像デ ―夕のみ出し範囲をフレーム毎に設定し、刖言 Sフレー厶毎にされるみ出し範囲の基準位置に応じて前記歪み補正を行ない、

前記歪み補正された画像データのうち複数のフレ一厶に共通する領域を範囲選択し、

前記範囲選択された領域の画像信号を出力する、信号処理方法。