JP3158802B2 - 補間機能付き映像装置 - Google Patents

補間機能付き映像装置

Info

Publication number
JP3158802B2
JP3158802B2 JP21962693A JP21962693A JP3158802B2 JP 3158802 B2 JP3158802 B2 JP 3158802B2 JP 21962693 A JP21962693 A JP 21962693A JP 21962693 A JP21962693 A JP 21962693A JP 3158802 B2 JP3158802 B2 JP 3158802B2
Authority
JP
Japan
Prior art keywords
interpolation
circuit
offset
processing
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP21962693A
Other languages
English (en)
Other versions
JPH0774996A (ja
Inventor
隆 坂口
博也 日下
正明 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP21962693A priority Critical patent/JP3158802B2/ja
Publication of JPH0774996A publication Critical patent/JPH0774996A/ja
Application granted granted Critical
Publication of JP3158802B2 publication Critical patent/JP3158802B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、映像信号に演算処理を
施して電子的な補間処理を行う補間機能付き映像装置に
関するものである。
【0002】
【従来の技術】近年、ビデオカメラ等の撮像装置におい
ては、小型・軽量・高倍率ズーム化、更に多機能化が進
み、光学ズームと電子的ズーム機能を連動した商品開発
が行われている。また、ユーザー層が従来のマニアに加
えて子供からお年寄りまで拡大が進むことにより、手ぶ
れによる画面揺れが発生し、電子的ズーム機能を用いた
動き補正回路を備えた撮像装置が商品化されている。
【0003】従来の電子的ズーム機能を用いた動き補正
装置としては、例えばTV学会技術報告VOL.11,
NO3(May.1987)に示されている。
【0004】また、新方式テレビジョン(16:9アス
ペクト)と現行テレビジョン(4:3アスペクト)との
走査線変換を電子ズーム機能で行われている。
【0005】また、従来の補間機能付き撮像装置として
は、例えば特開平1−261086号公報「撮像装置」
に示されている。
【0006】以下に従来の、インターレース走査された
映像信号に対して補間処理を行う機能を持った撮像装置
について、特に垂直方向の補間処理(水平ライン補間)
に限って、単板式の撮像装置をもとに説明する。
【0007】図17は従来のインターレース走査された
映像信号の水平ラインを補間する機能を持った撮像装置
のブロック図である。固体撮像素子1は映像信号を得る
ための撮像素子である。固体撮像素子駆動回路2は、固
体撮像素子1を駆動するための回路である。アナログ信
号処理回路3は固体撮像素子1からの映像信号に対する
信号処理を行い、アナログ−ディジタル変換回路4はア
ナログ信号処理回路3で処理された信号をディジタル信
号に変換する。ディジタル信号処理回路6はアナログ−
ディジタル変換回路4からの映像信号に対しディジタル
信号処理を施すための回路である。補間処理回路7はア
ナログ−ディジタル変換回路4からの映像信号に対し補
間処理を行うための回路である。
【0008】図18は補間処理回路7の内部の具体的な
構成の一例である。図18において、1c,2c,3c
は1ラインメモリであり、3つのうち1つを書き込み、
2つを読み出しに使用し、この書き込み及び読み出しに
使用するメモリを順次入れ替えることによりリアルタイ
ムの処理を実現する。4c,5cは3つの1ラインメモ
リのうちの2つのラインメモリから読み出された2つの
ラインの信号にそれぞれの補間係数w,(1−w)を乗
算する乗算器、6cは乗算器4c,5cの出力信号を加
算して補間出力を出力する加算器、7iは2つのライン
の信号の補間係数w,(1−w)を発生する係数発生回
路である。
【0009】以上のように構成された従来の撮像装置に
おける、インターレース走査された映像信号の水平ライ
ンを補間する方法に関して図4を用いて説明すると、い
まあるフィールドにおける映像信号のk,k+1ライン
間に(但し、ライン間の距離を1とする。)、kライン
からの距離とk+1ラインからの距離の比が、w:1−
w(但し、0≦w<1)である位置に画像ラインを補間
する場合、いま上記kラインが1ラインメモリ3cに、
k+1ラインが1ラインメモリ2cに記憶されていると
すると、補間ラインはkラインに係数発生回路7iで発
生された補間係数1−wを乗じたものとk+1ラインに
係数発生回路7iで発生された補間係数wを乗じたもの
を加算器6cで加算することにより合成する。すなわ
ち、補間ラインを得るには、同フィールドのk,k+1
ラインを1ラインメモリ2つから読み出し、距離に応じ
た補間係数(この場合は、wと1−w)を乗算して加算
する演算処理を行う。
【0010】
【発明が解決しようとする課題】しかしながら上記従来
の補間方法には、次のような問題点がある。すなわち、
補間処理後の映像信号の垂直方向の周波数レスポンス特
性が、補間係数により変化することである。例えば、補
間係数が1/2と1/2で補間されるラインは入力2ラ
インの完全平均となるので垂直方向の周波数レスポンス
特性は最も低くなり、補間係数が1と0で補間されるラ
インは入力信号の1ラインがそのまま出力されることに
なるので垂直方向の周波数レスポンス特性は最も高くな
る(図19は補間係数と垂直方向の周波数レスポンス特
性の関係を示す特性図であり、補間係数が1/2付近に
近づくと垂直方向の周波数レスポンス特性が低下するこ
とがわかる。)。つまり、2つの入力ラインの中央付近
で補間された出力ラインの周波数レスポンス特性が低く
なってしまうという問題点を有していた。またこれは水
平方向の補間処理に関しても同様のことが言える。
【0011】したがって、上記従来の補間回路を用いて
補間処理を行う映像装置では、画像の尖鋭度が劣化して
しまうという問題点を有していた。
【0012】本発明は従来の問題点を解決するものであ
って、映像信号に対して補間処理を行う際に画像の尖鋭
度の劣化を軽減できる補間機能付き映像装置の提供を目
的とする。
【0013】
【課題を解決するための手段】上記目的を達成するため
に、本発明の補間機能付き映像装置は、映像装置におい
て、補間処理により補間信号を合成する際に、補間係数
にオフセット回路によりオフセット処理を施す構成とし
ている。
【0014】また、本発明の補間機能付き映像装置は、
映像装置において、補間処理により補間信号を合成する
際に、補間係数にオフセット回路によりオフセット処理
を施し、このオフセット処理を施された補間係数により
補間処理された映像信号に対しアパーチャ補正を行う際
に、補間係数に応じてフィールド毎にアパーチャ補正の
利得を変化させる構成としている。
【0015】
【作用】上記の構成により、本発明の補間機能付き映像
装置は、補間処理により補間信号を合成する際に、例え
ば、補間係数が1/2の場合オフセット処理を行うこと
によって補間係数を1/2±α(例えば、α=1/8)
に変化させ映像信号の周波数レスポンス特性の劣化を軽
減し、補間処理の際の映像信号の尖鋭度の劣化を減少さ
せる。
【0016】また、上記の構成により、本発明の補間機
能付き映像装置は、補間処理により補間信号を合成する
際に、例えば、補間係数が1/2の場合オフセット処理
を行うことによって補間係数を1/2±α(例えば、α
=1/8)に変化させ映像信号の周波数レスポンス特性
の劣化を軽減し、そして補間係数に応じて補間処理後の
映像信号に対して行うアパーチャ補正の利得を変化させ
ることにより周波数レスポンス特性の劣化をさらに軽減
し、補間処理の際の映像信号の尖鋭度の劣化をさらに減
少させる。
【0017】
【実施例】以下、本発明の実施例について、図面を参照
しながら説明する。
【0018】図1は本発明の第1の実施例における補間
機能付き映像装置のブロック図を示すものである。同図
において、固体撮像素子101は映像信号を得るための
撮像素子である。固体撮像素子駆動回路102は、固体
撮像素子101を駆動するための回路である。アナログ
信号処理回路103は固体撮像素子101からの映像信
号に対する信号処理を行い、アナログ−ディジタル変換
回路104はアナログ信号処理回路103で処理された
信号をディジタル信号に変換する。ディジタル信号処理
回路105はアナログ−ディジタル変換回路104から
の映像信号に対しディジタル信号処理を施すための回路
である。補間処理回路106はディジタル信号処理回路
105からの映像信号に対し補間処理を行うための回路
であり、オフセット回路107は補間処理回路106に
おいて補間処理を行う場合のオフセット処理を行う情報
を与える回路であり、ズーム倍率決定回路108は補間
処理回路106において補間処理を行う場合の補間係数
のピッチを与える回路である。
【0019】図2は図1に示した補間処理回路106の
具体的な構成例を示すブロック図である。同図におい
て、フィールドメモリ回路201はディジタル信号処理
回路105を経た映像信号を記憶しておくための回路で
あり、フィールドメモリ制御回路202はフィールドメ
モリ回路201での映像信号の読み出しのスタートアド
レスと読み出す映像信号の合計のライン数を、オフセッ
ト回路107とズーム倍率決定回路108に基づき制御
する。補間演算回路203は、オフセット回路107と
ズーム倍率決定回路108に基づき、フィールドメモリ
回路201から読み出された映像信号に対し補間処理を
施す。
【0020】図3は補間演算回路203の内部の具体的
な構成例を示すブロック図である。図3において、1
c,2c,3cは1ラインメモリであり、3つのうち1
つを書き込み、2つを読み出しに使用し、この書き込み
及び読み出しに使用するメモリを順次入れ替えることに
よりリアルタイムの処理を実現する。4c,5cは3つ
の1ラインメモリのうちの2つのラインメモリから読み
出された2つのラインの信号にそれぞれの補間係数w,
(1−w)を乗算する乗算器、6cは乗算器4c,5c
の出力信号を加算して補間出力を出力する加算器、7c
は2つのラインの信号の補間係数w,(1−w)を、オ
フセット回路107とズーム倍率決定回路108に基づ
き発生する係数発生回路である。
【0021】以上のように構成された本実施例の補間機
能付き映像装置について、以下その動作について説明す
る(但し、ここでは垂直方向の補間処理に関してのみ説
明する)。
【0022】固体撮像素子101により得られた映像信
号は、アナログ信号処理回路103を経て、アナログ−
ディジタル変換回路104によりディジタル信号に変換
され、ディジタル信号処理回路105に送られる。ズー
ム倍率決定回路108は内挿処理に必要な内挿処理スタ
ート情報と内挿係数情報を補間処理回路106に送る。
ここで内挿処理スタート情報画像とは具体的には、後に
述べるフィールドメモリ回路201から映像信号を読み
出す際のスタートアドレスであり、この読み出しスター
トアドレスをズーム倍率に応じて変化させることにより
補間処理を行う。ディジタル信号処理回路105は映像
信号に対しディジタル信号処理を施し、補間回路106
に送る。補間回路106はディジタル信号処理回路10
5を経た映像信号をフィールドメモリ回路201に記憶
し、かつズーム倍率決定回路108より得られた内挿処
理スタート情報によりフィールドメモリ制御回路202
はフィールドメモリ回路の読み出しスタートアドレスを
制御する。但し、この読み出しスタートアドレスは必ず
しも整数値とは限らないが、フィールドメモリ回路から
の映像読み出しはライン単位でしか行えないため、1ラ
イン以下の動き補正を行う場合は映像信号の補間処理が
必要となる。そのためにフィールドメモリ制御回路20
2の制御のもとで読み出された映像信号は補間演算回路
203に送られる。補間演算回路203ではフィールド
メモリ回路201から読み出された映像信号を1ライン
メモリに書き込み、この書き込まれた映像信号の内、2
ラインの信号に対し係数発生回路7cにより発生された
補間係数により補間演算を行う。図4は補間演算の方法
を示す模式図である。補間により合成されるラインk’
は、ラインk’の上下に存在する第kライン及び第k+
1ラインからの距離(ライン間の距離は1とする。)に
応じた補間係数を第kライン及び第k+1ラインに乗算
して加算することにより合成される。この動作に関して
以下更に詳しく図を用いて説明する。
【0023】図5はフィールドメモリ回路からの映像信
号の読み出しを模式的に表わしたものである。図5の
(a)において、V(0≦V<1)はズーム開始アドレ
ス情報に相当する読み出しスタートアドレスである(垂
直方向のライン間の距離は1とする。)が、実際にフィ
ールドメモリ回路から読み出しの際はライン単位でしか
読み出しが行えないため、映像信号の読み出しはv3の
アドレス(ライン)から開始される。しかし、補間処理
には1ライン以下の精度が必要であるので、この読み出
された映像信号からVで示される位置に相当する映像信
号を合成する必要がある。また、図5の(b)に示すよ
うに、例えば固体撮像素子101が出力する映像信号の
ライン数を1フィールド当り240ラインとして、補間
処理のためにフィールドメモリ回路201から読み出す
映像信号を例えば180ラインに相当する部分(Vが整
数の場合は180ライン、Vが小数部を持つ場合は18
0+1ライン)とすると、その読み出した180ライン
相当の部分から240ラインの出力映像信号を補間によ
り合成する。また、このときズーム倍率は240/18
0=1.3となり、補間係数はズーム開始アドレス情報
に相当する読み出しスタートアドレスであるVの小数部
ズーム倍率情報であるズーム倍率の逆数より決められ
る(例えば、図5の(c)の様に、ズーム倍率をrとし
て、Vの小数部に等しい補間係数(=w1)により、ま
ずv1’がv2とv3から合成され、次にv2’は〔V
+(1/r)〕の小数部を補間係数(=w2)としてv
3とv4から合成され、次にv3’は〔V+2*(1/
r)〕の小数部を補間係数(=w3)としてv3とv4
から合成され、以下補間により合成されるk番目のライ
ンvk’は〔V+(k−1)*(1/r)〕の小数部を
補間係数(=wk)として補間演算により合成され
る。)。ちなみに、上記補間係数はすべて係数発生回路
7cで計算される。
【0024】以上のように、フィールドメモリ回路20
1から読み出された映像信号は補間演算回路203によ
り補間演算を施されるが、しかし従来の技術で述べたよ
うにこの場合、垂直方向の周波数レスポンス特性が補間
係数によって変化し、特に補間係数が1/2と1/2で
補間される場合は出力ラインが入力の2ラインの完全平
均となるので、垂直方向の周波数レスポンス特性は最も
低くなり、画質が著しく劣化する。故に、本発明におい
てはオフセット回路を設け、ズーム倍率決定回路108
に基づき係数発生回路7cが発生する補間係数を一旦オ
フセット回路107に送り、この補間係数が、ある画質
劣化の大きい一定の範囲の値をとる場合にはオフセット
回路107によりオフセット処理を施すことにより補間
処理による画質の劣化を軽減する。これを図を用いて詳
細に説明すると、図6は、補間処理による(4/3)倍
のズーム(内挿)処理を示した模式図であり、K'ライ
ンはKラインをそのまま用い、(K+1)’ラインはK
ラインと(K+1)とから合成、(K+2)’ラインは
(K+1)ラインと(K+2)とから合成、(K+
3)’ラインは(K+2)ラインと(K+3)とから合
成、(K+4)’ラインは(K+3)ラインをそのまま
用いる場合を示しているが、この場合補間係数はそれぞ
れK’ラインはw=0、(K+1)’ラインはw=3/
4、(K+2)’ラインはw=1/2、(K+3)’ラ
インはw=1/4、(K+4)’ラインはw=0であ
る。ここで、(K+2)’ラインはw=1/2で垂直方
向の周波数レスポンス特性が最も劣化する場合となる。
このときオフセット回路107は補間係数に応じて補間
係数にオフセット処理を施す。例えば図7に示すよう
に、1/8のオフセット処理を行い、(K+2)’ライ
ンの補間係数wを図6で示したw=1/2から、図7に
示すようにw=5/8(または3/8、図示せず)に変
化する。この場合、周波数レスポンス特性が劣化する補
間係数は(K+2)’ラインのw=5/8及び(K+
3)’ラインのw=3/8となり、周波数レスポンス特
性が最も劣化するw=1/2での補間処理を避けること
ができ、映像信号の垂直方向の周波数レスポンス特性の
劣化を防ぐ合成が可能となる。故に、画面全体の垂直方
向の画質劣化を抑えることが可能となる。
【0025】以上のように係数発生回路7cが発生する
補間係数に対し、オフセット処理を施すオフセット回路
107を新たに設けることにより補間処理における補間
係数が1/2付近の周波数レスポンス特性の最も劣化す
る場合の補間処理における周波数レスポンス特性の劣化
を押え、画質劣化の少ない補間処理画像を合成すること
ができる。
【0026】次に、本発明の第2の実施例の補間機能付
き映像装置について説明する。図8に映像信号のアスペ
クト比を示し、図9にブロック構成を示す。図11にお
いて、図8の(a)はワイド画面と言われている16:
9の画面、(b)は現行のノーマル画面と言われている
4:3の画面である。ここで、4:3の画面の映像信号
を16:9のモニター画面に写す場合、モニターの走査
により垂直方向に対し水平方向が4/3倍に拡大される
ため、被写体の図形の縦横比を等しくするには垂直方向
に電子ズームによる4/3倍の拡大処理が必要である。
この場合のブロック構成を図9に示す、図9において、
第1の実施例の図1と同じ機能ブロックには同じ符号を
記載してあるので詳しい説明は省略する。画面比4:3
の入力映像信号はアナログ信号処理回路103を経てア
ナログ−ディジタル変換回路104にてディジタル信号
となり補間処理回路106に入力される。補間処理回路
106ではズーム倍率決定回路108からのズーム倍率
はこの場合4/3倍の固定値となり、第1の実施例にお
ける図6及び図7に示したオフセット処理をオフセット
回路107が行う。この図7に示した1/8のオフセッ
ト処理により周波数レスポンス特性が最も劣化するw=
1/2での補間処理を避けることができ、映像信号の垂
直方向の周波数レスポンス特性の劣化を防ぐ補間処理が
可能となる。故に、画面全体の垂直方向の画質劣化を抑
えることが可能になる。
【0027】以上のように、映像信号のアスペクト比変
換において必要な電子ズームによる補間処理において
も、補間係数に対しオフセット処理を施すオフセット回
路107を新たに設けることにより補間処理における補
間係数が1/2付近の周波数レスポンス特性の最も劣化
する場合の補間処理における周波数レスポンス特性の劣
化を押え画質劣化の少ない補間処理画像を作成すること
ができる。
【0028】なお、本実施例においては、垂直方向の補
間処理に関してのみ述べたがこれに限るものではなく、
水平方向の補間処理に関しても上記実施例と同様に補間
係数のクリップ処理を行うことにより、垂直方向と同様
の効果が得られることは言うまでもない。
【0029】なお、上記実施例においては、補間処理は
直線近似による1次補間を例に説明を行ったがこれに限
るものではなく、例えば曲線近似による2次補間、3次
補間等の高次の補間処理を行う場合も、上記実施例で述
べた補間処理に伴う周波数レスポンス特性の劣化を回避
するための補間係数のオフセット処理が有効であること
は明かである。
【0030】なお上記実施例においては、(4/3)倍
のズーム(内挿)処理でのオフセット値が1/8の場合
を説明したがこれに限るものではなく、例えば、1/1
6等の他のオフセット値を用いても補間係数が1/2付
近の周波数レスポンス特性の最も劣化する場合の補間処
理における周波数レスポンス特性の劣化を押えるという
同様の効果が得られることは言うまでもない。但し、図
7に示すようにオフセット値が1/8の場合の補間係数
wは1/8,7/8,5/8,3/8と繰り返し変化
し、このw=1/8と7/8及びw=5/8と3/8で
の補間処理における周波数レスポンスは等しいので、画
面全体では垂直方向において2種類の周波数レスポンス
を有するラインの繰り返しとなる。一方、オフセット値
が1/16の場合の補間係数wは1/16,13/1
6,9/16,5/16と繰り返し変化し、これらの補
間係数での補間処理における周波数レスポンスは全て異
なるので、画面全体では垂直方向において4種類の周波
数レスポンスを有するラインの繰り返しとなる。このよ
うに(4/3)倍のズーム(内挿)処理においてオフセ
ット値が1/8の場合は、補間係数が1/2付近の周波
数レスポンス特性の最も劣化する場合の補間処理におけ
る周波数レスポンス特性の劣化を押えるとともに画面全
体での垂直方向のレスポンスの変化を押さえることがで
きる。
【0031】なお第1の実施例においては、固体撮像素
子101から得られた映像信号を一旦フィールドメモリ
回路201に記憶した後に読み出し及び補間処理を行う
構成としたがこれに限るものではなく、例えば本実施例
中に新たに固体撮像素子101からの映像信号の読み出
しスタートアドレスを制御するための回路を設け、これ
により内挿処理スタート情報により固体撮像素子101
からの映像信号の読み出しスタートアドレスを移動させ
る構成とすれば、フィールドメモリ回路201を用いる
ことなく同様の効果が得られることは明かである。
【0032】なお、第1の実施例においては撮像装置の
固体撮像素子に関しては特に言及しなかったが、単板式
撮像装置、2板式撮像装置、3板式撮像装置のいずれの
撮像装置においても有効であることは明かである。ま
た、固体撮像素子ではなく撮像管を用いた撮像装置にお
いても同様に本発明は有効であることは明かである。
【0033】なお、第1の実施例においてはズーム処理
機能を持った撮像装置を例として用いたがこれに限るも
のではなく、例えば撮像装置以外に再生装置等で電子ズ
ーム処理等の補間処理を必要とする場合についても本発
明は有効であることは明かである。
【0034】図10は本発明の第3の実施例における補
間機能付き撮像装置のブロック図を示すものである。な
お、第1の実施例と同様の機能を持つ回路ブロックに関
しては同一の符号を付して説明を省略する。
【0035】補間処理回路106は第1の実施例と同様
の機能を持つ回路であるが、補間処理に用いた補間係数
を映像信号とは別に出力する点が異なり、補間係数適応
アパーチャ回路1001は補間処理回路106で補間処
理された映像信号に対しその補間係数に応じてアパーチ
ャ補正を行う回路である。
【0036】図11は図10に示した補間処理回路10
6の具体的な構成を示すブロック図である。同図におい
て、フィールドメモリ回路201はディジタル信号処理
回路105を経た映像信号を記憶しておくための回路で
あり、フィールドメモリ制御回路202はフィールドメ
モリ回路201からの映像信号の読み出しのスタートア
ドレスと読み出す映像信号の合計のライン数を、オフセ
ット回路107とズーム倍率決定回路108に基づき制
御する。補間演算回路203は、オフセット回路107
とズーム倍率決定回路108に基づき、フィールドメモ
リ回路201から読み出された映像信号に対し補間処理
を施す。
【0037】図12は補間演算回路203の内部の具体
的な構成を示すブロック図である。図12において、1
c,2c,3cは1ラインメモリであり、3つのうち1
つを書き込み、2つを読み出しに使用し、この書き込み
及び読み出しに使用するメモリを順次入れ替えることに
よりリアルタイムの処理を実現する。4c,5cは3つ
の1ラインメモリのうちの2つのラインメモリから読み
出された2つのラインの信号にそれぞれの補間係数w,
(1−w)を乗算する乗算器、6cは乗算器4c,5c
の出力信号を加算して補間出力を出力する加算器、7e
は2つのラインの信号の補間係数w,(1−w)を、オ
フセット回路107とズーム倍率決定回路108に基づ
き発生する係数発生回路であり、この係数発生回路7e
は補間演算の際に用いた補間係数を補間係数適応アパー
チャ回路1001に出力する。
【0038】図13,図14は補間係数適応アパーチャ
回路1001の内部の具体的な構成例と動作例を示す図
である。図13で、映像信号入力端子1fに入力された
補間処理後の映像信号(図14の波形(a)参照)を第
1の1ラインメモリ2fと第2の1ラインメモリ3fと
で遅延してそれぞれ1水平走査期間遅延信号、2水平走
査期間遅延信号(図14の波形(b),(c)参照)を
得る。第1の加算器4fで入力映像信号(図14の波形
(a)参照)と2水平走査期間遅延信号(図14の波形
(c)参照)を加算した後1/2倍回路5fで1/2倍
した信号(図14の波形(d)参照)を減算回路6fで
1水平走査期間遅延信号(図14の波形(b)参照)か
ら減じてアパーチャ信号(図14の波形(e)参照)を
得る。一方、補間係数入力端子7fには補間係数wが入
力され、利得制御回路8fで、図15に示すように補間
係数wに応じて変化する利得kが発生される。これは図
19に示した補間係数と垂直方向の周波数レスポンス特
性の関係を示す特性図において、補間係数wが1/2付
近に近づくと垂直方向の周波数レスポンス特性が低下す
ることを補償するものであり、補間係数適応アパーチャ
回路1001は補間係数wが0(=1)のとき利得kは
最小、補間係数wが1/2のとき利得kは最大となるよ
うに変化させる。そして、乗算器9fで前記のアパーチ
ャ補正信号(図14の波形(e)参照)にこの利得kを
乗算して、アパーチャ補正信号のレベルを制御する。そ
して、この乗算器9fの出力は第1の1水平走査期間遅
延回路2fの出力信号(1水平走査期間遅延信号、図1
4の波形(b)参照)に第2の加算器10fで加算され
て、補間係数wに応じて鮮鋭度が適応的に制御された信
号(図14の波形(f)参照)が出力される。
【0039】以上のように構成された本実施例の補間機
能付き撮像装置について、以下第1の実施例と異なる部
分を中心にその動作について説明する(但し、簡単のた
め垂直方向の補間処理に関してのみ説明する。)。
【0040】固体撮像素子101により得られた映像信
号は、アナログ信号処理回路103を経て、アナログ−
ディジタル変換回路104によりディジタル信号に変換
され、ディジタル信号処理回路105によりディジタル
信号処理を施され、オフセット回路107とズーム倍率
決定回路108に基づき補間回路106において補間処
理を施された後、補間係数適応アパーチャ回路1001
に出力される。補間係数適応アパーチャ回路1001に
おいて補間処理を施された映像信号はアパーチャ補正を
施される。この動作に関して更に詳しく図を用いて説明
すると、図19は補間処理による映像信号の周波数レス
ポンス特性の変化を示したグラフであるが、このように
補間処理を行う際、その補間係数に応じて映像信号の周
波数レスポンス特性が変化し映像信号の鮮鋭度が変化す
る。補間係数適応アパーチャ回路1001は、補間処理
された映像信号に対するアパーチャ補正の利得を図15
に示すように補間係数wが0(=1)のとき利得kは最
小、補間係数wが1/2のとき利得kは最大となるよう
変化させることにより、補間処理に伴う映像信号の周
波数レスポンス特性の劣化を補正するが、この時、例え
ば補間処理の際の補間係数が1/2付近の値となった場
合には周波数レスポンス特性の劣化が著しく得られるア
パーチャー信号成分が少なくなりアパーチャ補正による
周波数レスポンス特性の回復は困難となる。故に、第1
の実施例と同じく、補間係数に対するオフセット処理を
施すためのオフセット回路107を設け、このオフセッ
ト処理により補間係数が1/2付近の値をとる場合の画
像の周波数レスポンス特性の劣化を押え、後の補間係数
適応アパーチャ回路1001によるアパーチャ補正
果を向上させ、補間処理に伴う映像信号の周波数レスポ
ンス特性の劣化をより軽減することが可能となる。
【0041】以上のように、係数発生回路7eが発生す
る補間係数に対しオクセット処理を施すオフセット回路
107と、補間係数に対しアパーチャ補正を適応的に行
う補間係数適応アパーチャ回路1001の両方を新たに
設けることにより補間処理における周波数レスポンス特
性の劣化を押え、さらにアパーチャ補正により画質劣化
の少ない補間処理画像を合成することができる。
【0042】なお、第3の実施例においても第2の実施
例に示した映像信号のアスペクト比変換において必要な
電子ズームによる補間処理においても同様の効果を得る
ことができる。この場合のブロック構成を図16(第4
の実施例)に示す。図16において、図9と同じ機能ブ
ロックには同じ符号を記載してあるので詳しい説明は省
略する。画面比4:3の入力映像信号はアナログ信号処
理回路103を経てアナログ−ディジタル変換回路10
4にてディジタル信号となり、補間処理回路106に入
力される。補間処理回路106ではズーム倍率決定回路
108からのズーム倍率はこの場合4/3倍の固定値と
なり、図6,図7に示したオフセット処理をオフセット
回路107が行い、図13,図14及び図15に示した
アパーチャ補正を補間係数適応アパーチャ回路1001
が行う。このオフセット処理と補間係数適応アパーチャ
処理により周波数レスポンス特性が最も劣化するw=1
/2での補間処理を避けアパーチャによる補正を行うこ
とができ、映像信号の垂直方向の周波数レスポンス特性
の劣化を防ぐ補間処理が可能となる。故に、画面全体の
垂直方向の画質劣化を抑えることが可能になる。
【0043】以上のように映像信号のアスペクト比変換
において必要な電子ズームによる補間処理においても、
補間係数に対しオフセット処理を施すオフセット回路1
07と、補間係数に対しアパーチャ補正を適応的に行う
補間係数アパーチャ回路1001を新たに設けることに
より補間処理における周波数レスポンス特性の劣化を押
え、さらにアパーチャ補正により画質劣化の少ない補間
処理画像を合成することができる。
【0044】なお、本実施例においては、垂直方向の補
間処理に関してのみ述べたがこれに限るものではなく、
水平方向の補間処理に関しても上記実施例と同様に補間
係数に適応したアパーチャ補正を行うことにより、垂直
方向と同様の効果が得られることは言うまでもない。
【0045】なお、本実施例においては、補間処理は直
線近似による1次補間を例に説明を行ったがこれに限る
ものではなく、例えば曲線近似による2次補間、3次補
間等の高次の補間処理を行う場合も、本実施例で述べた
補間係数に適応したアパーチャ補正処理が有効であるこ
とは明かである。
【0046】また、補間係数適応アパーチャ回路の内部
のアパーチャ信号発生部の例として垂直方向アパーチャ
信号を発生させる部分のみ記したが、水平方向のアパー
チャ信号に関しても垂直方向の場合と同様にメモリ回
路、加算器、減算器、乗算器により構成できることは言
うまでもない。また、アパーチャ信号発生部の例として
本実施例においてはラインメモリを2個用いる構成を示
したがこれに限るものではなく、例えばラインメモリ1
個のみを用いる構成も考えられる。
【0047】なお本実施例においては、固体撮像素子1
01から得られた映像信号を一旦フィールドメモリ回路
201に記憶した後に読み出し及び補間処理を行う構成
としたがこれに限るものではなく、例えば本実施例中に
新たに固体撮像素子101からの映像信号の読み出しス
タートアドレスを制御するための回路を設け、これによ
り固体撮像素子101からの映像信号の読み出しスター
トアドレスを移動させる構成とすれば、フィールドメモ
リ回路201を用いることなく同様の効果が得られるこ
とは明かである。
【0048】なお本実施例においては、テレビジョン方
式については特に言及しなかったが、NTSC,PAL
どちらの方式においても同様の効果が得られることは明
かである。但し、この場合に補間処理後の出力映像信号
を入力と同じライン数の出力としたい場合は、不足する
分のライン数と同じライン数の適当なラインを補間処理
後の映像信号の画面上での上方向、下方向または上下方
向に付加することが必要となることは言うまでもない。
また、NTSC方式の場合に、NTSC方式用の固体撮
像素子ではなくそれよりも画素数の多い固体撮像素子を
使用し(この場合PAL用の固体撮像素子の使用も考え
られる)、その固体撮像素子から得られた映像信号から
NTSCの規格に合う分の映像信号をフィールドメモリ
回路より読み出し、補間演算回路3dにより補間演算を
行う場合は、最終映像出力としてNTSCと同じ画枠の
補間映像信号が得られる。また、PAL方式の場合に、
PAL方式用の固体撮像素子ではなくそれよりも画素数
の多い固体撮像素子を使用し、その固体撮像素子から得
られた映像信号からPALの規格に合う分の映像信号を
フィールドメモリ回路より読み出し、補間演算回路3d
により補間演算を行う場合は、最終映像出力としてPA
Lと同じ画枠の補間映像信号が得られる。
【0049】なお、本実施例においては画像動き補正機
能を持った撮像装置を例として用いたがこれに限るもの
ではなく、例えば画像動き補正に伴う補間処理以外に、
電子ズーム処理等の補間処理を必要とする場合について
も本発明は有効であることは明かである。
【0050】なお、本実施例においては撮像装置の固体
撮像素子に関しては特に言及しなかったが、単板式撮像
装置、2板式撮像装置、3板式撮像装置のいずれの撮像
装置においても有効であることは明かである。また固体
撮像素子ではなく撮像管を用いた撮像装置においても同
様に本発明は有効であることは明かである。
【0051】なお、本実施例においては、補間処理回路
106がズーム的処理機能を持つ場合も持たない場合も
同様の効果が得られることは言うまでもないが、補間処
理回路106がズーム的処理機能を持つ場合には映像信
号の周波数レスポンス特性の劣化の補正は映像信号のラ
イン毎となり、補間処理回路106がズーム的処理機能
を持たない場合には映像信号の周波数レスポンス特性の
劣化の補正はフィールド毎となる。但しこの場合に補間
処理後の出力映像信号を入力と同じライン数の出力とし
たい場合は、不足する分のライン数と同じライン数の適
当なラインを補間処理後の映像信号の画面上での上方
向、下方向または上下方向に付加することが必要となる
ことは言うまでもない。
【0052】なお、本実施例においては電子ズーム処理
機能を持った撮像装置を例として用いたがこれに限るも
のではなく、例えば画像動き補正機能を持った撮像装置
において電子ズーム処理等の補間処理を必要とする場合
についても本発明は有効であり、その場合は動き検出回
路を設け動き情報に基づくズーム開始アドレス情報を補
間処理回路に与える構成とすれば良いことは明らかであ
る。但し、この場合はオフセット処理による画質の向上
と動き補正精度が相反するので動き補正精度より画質向
上を重視する場合に用いることになる。
【0053】
【発明の効果】以上のように、本発明は、補間処理機能
を持った撮像装置に、新たに補間係数にオフセット処理
を施すためのオフセット回路を設けることにより、補間
処理による映像信号の周波数レスポンス特性が最も劣化
する補間係数による補間処理を回避し、周波数レスポン
ス特性の劣化の少ない補間映像信号を得ることが可能と
なる。
【0054】また、本発明は補間処理機能を持った撮像
装置に、新たに補間係数にオフセット処理を施すための
オフセット回路と、補間係数適応アパーチャ回路を設け
ることにより、補間処理による映像信号の周波数レスポ
ンス特性が最も劣化する補間係数による補間処理を回避
し、かつ、補間処理による映像信号の周波数レスポンス
特性が劣化した画像に対し補間係数に応じたアパーチャ
補正を行い周波数レスポンス特性の劣化のより少ない補
間映像信号を得ることが可能となる。
【図面の簡単な説明】
【図1】本発明の第1の実施例における補間機能付き映
像装置の構成を示すブロック図
【図2】同第1の実施例における補間処理回路106の
具体的な構成例を示すブロック図
【図3】同第1の実施例における補間処理回路106を
構成する補間演算回路203の具体的な構成例を示すブ
ロック図
【図4】同第1の実施例における補間処理の方法を説明
するための説明図
【図5】同第1の実施例におけるフィールドメモリ回路
からの映像信号の読み出しを説明するための説明図
【図6】同第1の実施例におけるオフセット処理を施さ
ない場合の補間処理を説明するための説明図
【図7】同第1の実施例におけるオフセット処理を施す
場合の補間処理を説明するための説明図
【図8】本発明の第2の実施例におけるアスペクト変換
時の補間処理を説明するための説明図
【図9】同第2の実施例におけるアスペクト変換時の補
間処理の構成を示すブロック図
【図10】本発明の第3の実施例における補間機能付き
映像装置の構成を示すブロック図
【図11】同第3の実施例における補間処理回路106
の具体的な構成例を示すブロック図
【図12】同第3の実施例における補間処理回路106
を構成する補間演算回路203の具体的な構成例を示す
ブロック図
【図13】同第3の実施例における補間係数適応アパー
チャ回路1001の具体的な構成を示すブロック図
【図14】同第3の実施例における補間係数適応アパー
チャ回路1001の効果を説明するための説明図
【図15】同第3の実施例における利得制御回路8fの
補間係数に対する利得の関係を示す特性図
【図16】本発明の第4の実施例におけるアスペクト変
換時の補間処理の構成を示すブロック図
【図17】従来の補間機能付き撮像装置の構成を示すブ
ロック図
【図18】従来例における補間処理回路の構成を示すブ
ロック図
【図19】従来例における補間処理を行う場合の、補間
係数に対する周波数レスポンス特性の変化を示す特性図
【符号の説明】
101 固体撮像素子 102 固体撮像素子駆動回路 103 アナログ信号処理回路 104 アナログ−ディジタル変換回路 105 ディジタル信号処理回路 106 補間処理回路 107 オフセット回路 108 ズーム倍率決定回路 201 フィールドメモリ回路 202 フィールドメモリ制御回路 203 補間演算回路 1001 補間係数適応アパチャ回路 1c,2c,3c 1ラインメモリ 1f,7f 入力端子 2f,3f 1ラインメモリ 4c,5c,9f 乗算器 4f,6c,10f 加算器 5f 1/2倍乗算器 6f 減算器 7c,7e,7i 係数発生回路 8f 利得制御回路
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平4−57482(JP,A) 特開 平1−261086(JP,A) 特開 平4−10783(JP,A) 特開 平5−95532(JP,A) 特開 平5−83612(JP,A) 特開 平6−197257(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 5/222 - 5/257

Claims (16)

    (57)【特許請求の範囲】
  1. 【請求項1】 入力映像信号に対し補間信号の空間位置
    を定める補間係数w(0≦w<1)を一定間隔シフトす
    るオフセット処理を施すオフセット回路と、 前記入力映像信号に対しオフセット処理を施された補間
    係数により垂直方向の補間処理を行う補間処理回路とを
    有することを特徴とする補間機能付き映像装置
  2. 【請求項2】 補間係数w(0≦w<1)は、ズーム倍
    率決定回路より得られるズーム倍率情報r(r≠0)と
    入力映像信号に対しズーム処理を行う開始位置の小数部
    を設定するズーム開始アドレス情報V(0≦V<1)を
    用いてV+(k−1)×(1/r)の小数部(但しk≧2
    の自然数)により決定されることを特徴とする請求項1
    記載の補間機能付き映像装置。
  3. 【請求項3】 オフセット回路は、入力映像信号の各画
    素間の距離を1とすると、補間係数w(但し、0≦w<
    1)をw1=w−aまたはw1=w+a(但し、0<a<
    1,0≦w1<1)にオフセット処理することを特徴と
    する請求項1または2記載の補間機能付き映像装置。
  4. 【請求項4】 オフセット回路は、入力映像信号の各画
    素間の距離を1とすると、補間係数w(但し、0≦w<
    1)をw1=w−a≠1/2またはw1=w+a≠1/2
    (但し、0<a<1,0≦w1<1)にオフセット処理
    することを特徴とする請求項1,2または3記載の補間
    機能付き映像装置。
  5. 【請求項5】 ズーム倍率が4/3の場合、オフセット
    回路においてa=1/8とすることを特徴とする請求項
    3または4記載の補間機能付き映像装置。
  6. 【請求項6】 入力映像信号に対し補間信号の空間位置
    を定める補間係数w(0≦w<1)を一定間隔シフトす
    るオフセット処理を施すオフセット回路と、 前記入力映像信号に対しオフセット処理を施された補間
    係数により垂直方向の補間処理を行う補間処理回路と、 前記補間処理回路において補間処理を施された映像信号
    に対しアパーチャ補正を行う補間係数適応アパーチャ回
    路とを有し、 前記補間係数適応アパーチャ回路は、オフセット処理さ
    れた補間係数w1(但し、0≦w1<1)に応じ、アパー
    チャ補正の利得をw1=0のとき最小、w1= 1/2のと
    き最大となるように変化させることを特徴とする補間機
    能付き映像装置。
  7. 【請求項7】 補間係数w(0≦w<1)は、ズーム倍
    率決定回路より得られるズーム倍率情報r(r≠0)と
    入力映像信号に対しズーム処理を行う開始位置の小数部
    を設定するズーム開始アドレス情報V(0≦V<1)を
    用いてV+(k−1)×(1/r)の小数部(但しk≧2
    の自然数)により決定されることを特徴とする請求項6
    記載の補間機能付き映像装置。
  8. 【請求項8】 オフセット回路は、入力映像信号の各画
    素間の距離を1とすると、補間係数w(但し、0≦w<
    1)をw1=w−aまたはw1=w+a(但し、0<a<
    1,0≦w1<1)にオフセット処理することを特徴と
    する請求項6または7記載の補間機能付き映像装置。
  9. 【請求項9】 オフセット回路は、入力映像信号の各画
    素間の距離を1とすると、補間係数w(但し、0≦w<
    1)をw1=w−a≠1/2またはw1=w+a≠1/2
    (但し、0<a<1,0≦w1<1)にオフセット処理
    することを特徴とする請求項6,7または8記載の補間
    機能付き映像装置。
  10. 【請求項10】 ズーム倍率が4/3の場合、オフセッ
    ト回路においてa=1/8とすることを特徴とする請求
    項8または9記載の補間機能付き映像装置。
  11. 【請求項11】 水平映像期間H1,垂直映像期間V1
    の映像信号を入力する映像入力装置と、 水平映像期間H2,垂直映像期間V2(但し、H1/V
    1≠H2/V2)の映像信号を出力する映像出力装置
    と、入力映像信号に対し補間信号の空間位置を定める補間係
    数w(0≦w<1)を一定間隔シフトするオフセット処
    理を施すオフセット回路と、 前記入力映像信号に対しオフセット処理を施された補間
    係数により垂直方向の補間処理を行う補間処理回路と、 前記補間処理回路において補間処理を施された映像信号
    に対しアパーチャ補正を行う補間係数適応アパーチャ回
    路とを有し、 前記補間係数適応アパーチャ回路は、オフセット処理さ
    れた補間係数w1(但し、0≦w1<1)に応じ、アパー
    チャ補正の利得をw1=0のとき最小、w1= 1/2のと
    き最大となるように変化させることを特徴とする補間機
    能付き映像装置。
  12. 【請求項12】 水平映像期間H1,垂直映像期間V1
    の映像信号は、アスペクト比が4:3、垂直方向の走査
    線数が525本のテレビ信号であり、水平映像期間H
    2,垂直映像期間V2(但し、H1/V1≠H2/V
    2)の映像信号は、アスペクト比が16:9、垂直方向
    の走査線数が525本のテレビ信号であることを特徴と
    する請求項11記載の補間機能付き映像装置。
  13. 【請求項13】 補間係数w(0≦w<1)は、ズーム
    倍率決定回路より得られる(H2/H1)×(V1/V
    2)のズーム倍率情報r(r≠0)と入力映像信号に対
    しズーム処理を行う開始位置の小数部を設定するズーム
    開始アドレス情報V(0≦V<1)を用いてV+(k−
    1)×(1/r)の小数部(但しk≧2の自然数)により決
    定されることを特徴とする請求項11または12記載の
    補間機能付き映像装置。
  14. 【請求項14】 オフセット回路は、入力映像信号の各
    画素間の距離を1とすると、補間係数w(但し、0≦w
    <1)をw1=w−aまたはw1=w+a(但し、0<a
    <1,0≦w1<1)にオフセット処理することを特徴
    とする請求項11,12または13記載の補間機能付き
    映像装置。
  15. 【請求項15】 オフセット回路は、入力映像信号の各
    画素間の距離を1とすると、補間係数w(但し、0≦w
    <1)をw1=w−a≠1/2またはw1=w+a≠1/
    2(但し、0<a<1,0≦w1<1)にオフセット処
    理することを特徴とする請求項11,12,13または
    14記載の補間機能付き映像装置。
  16. 【請求項16】 ズーム倍率が4/3の場合、オフセッ
    ト回路においてa=1/8とすることを特徴とする請求
    項14または15記載の補間機能付き映像装置。
JP21962693A 1993-09-03 1993-09-03 補間機能付き映像装置 Expired - Lifetime JP3158802B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP21962693A JP3158802B2 (ja) 1993-09-03 1993-09-03 補間機能付き映像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP21962693A JP3158802B2 (ja) 1993-09-03 1993-09-03 補間機能付き映像装置

Publications (2)

Publication Number Publication Date
JPH0774996A JPH0774996A (ja) 1995-03-17
JP3158802B2 true JP3158802B2 (ja) 2001-04-23

Family

ID=16738482

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21962693A Expired - Lifetime JP3158802B2 (ja) 1993-09-03 1993-09-03 補間機能付き映像装置

Country Status (1)

Country Link
JP (1) JP3158802B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012217858A (ja) * 2011-04-08 2012-11-12 Karsten Manufacturing Corp ストラップ付ゴルフクラブヘッドカバー及びゴルフクラブヘッドカバーの製造方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8605186B2 (en) * 2010-04-26 2013-12-10 Hitachi Kokusai Electric, Inc. Video format conversion without a flicker for the solid imaging apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012217858A (ja) * 2011-04-08 2012-11-12 Karsten Manufacturing Corp ストラップ付ゴルフクラブヘッドカバー及びゴルフクラブヘッドカバーの製造方法

Also Published As

Publication number Publication date
JPH0774996A (ja) 1995-03-17

Similar Documents

Publication Publication Date Title
GB2337391A (en) Interlaced to progressive scanning conversion with edge enhancement by vertical temporal interpolation
JPH0420314B2 (ja)
JP2000253365A (ja) 解像度変換方法および解像度変換装置
JP3158802B2 (ja) 補間機能付き映像装置
EP0851388B1 (en) Picture processing apparatus and method
JP3469626B2 (ja) 動き補償ビデオ信号処理装置及びビデオ信号処理方法
EP0589721A1 (en) Digital zooming circuit with compensation of the edge degradation
JP3374431B2 (ja) 補間機能付き撮像装置
JPH05137122A (ja) 映像信号の信号処理方法及び回路
JP3191586B2 (ja) 画像動き補正装置
JP3314963B2 (ja) 画像信号の走査変換装置
JP3754803B2 (ja) 撮像装置
JPS61125295A (ja) テレビジヨン方式変換方式
JP2989701B2 (ja) 画像ライン補間回路及び撮像装置
JP4186582B2 (ja) 画像信号の処理装置および処理方法
JP2557500B2 (ja) テレビジョン信号の順次走査変換装置
JP3024437B2 (ja) 画像動き補正装置
JPH0670288A (ja) テレビ信号の信号処理方法
JP2510699B2 (ja) 順次走査テレビジョン信号の輪郭補償装置
JP2557499B2 (ja) テレビジョン信号の順次走査変換装置
JP3475517B2 (ja) 撮像装置
JPH06141291A (ja) 画像信号の走査線数変換装置
JPS6193786A (ja) 画像信号の適応補間方式
JP2001103433A (ja) 走査倍速信号出力方法
KR19980015988A (ko) 영상처리장치의 화면 종횡비 변환회로 및 방법

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080216

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090216

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100216

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100216

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110216

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120216

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120216

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130216

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140216

Year of fee payment: 13