JP3415883B2 - 画像拡大圧縮回路 - Google Patents

画像拡大圧縮回路

Info

Publication number
JP3415883B2
JP3415883B2 JP15175093A JP15175093A JP3415883B2 JP 3415883 B2 JP3415883 B2 JP 3415883B2 JP 15175093 A JP15175093 A JP 15175093A JP 15175093 A JP15175093 A JP 15175093A JP 3415883 B2 JP3415883 B2 JP 3415883B2
Authority
JP
Japan
Prior art keywords
video signal
interpolation
frequency component
image
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP15175093A
Other languages
English (en)
Other versions
JPH0715661A (ja
Inventor
浩一 石橋
賢治 勝又
敏則 村田
春樹 高田
忍 鳥越
隆則 江田
茂 平畠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Hitachi Advanced Digital Inc
Original Assignee
Hitachi Ltd
Hitachi Advanced Digital Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd, Hitachi Advanced Digital Inc filed Critical Hitachi Ltd
Priority to JP15175093A priority Critical patent/JP3415883B2/ja
Publication of JPH0715661A publication Critical patent/JPH0715661A/ja
Application granted granted Critical
Publication of JP3415883B2 publication Critical patent/JP3415883B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Picture Signal Circuits (AREA)
  • Studio Circuits (AREA)
  • Television Systems (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、入力された映像信号に
補間フィルタ処理を施して、画像が拡大または圧縮され
た映像信号を得る画像拡大圧縮回路に関し、特に、画像
を補間フィルタ処理により拡大、圧縮する際に生ずる補
間位置による誤差を補正して、周波数特性の劣化をなく
すと共に、画像の輪郭を強調するエンハンサ効果を同時
に得ることが可能な画像拡大圧縮回路に関するものであ
る。
【0002】
【従来の技術】’91年11月25日のハイビジョンの
日に放送衛星BS−3bを用いたハイビジョン試験放送
が開始され、’97年には放送衛星BS−4を用いたハ
イビジョン本放送が予定されている。また、第2世代E
DTV方式もアスペクト比は16:9の横長に決ま
り、’95年には実用化予定である。このように、今
後、映像分野における画面のアスペクト比は、従来の
4:3から16:9の横長に移行しようとしている。そ
のため、現在は両アスペクト比の映像が混在しており、
ハイビジョン信号と現行方式であるNTSC信号の両方
を受信できる共用受信機が開発、製品化されている。こ
の共用受信機には表示画面のアスペクト比が現行と同じ
4:3のものと、16:9のワイド画面を備えたものが
ある。ワイド画面を備えたものは、現行NTSC信号の
うち、例えばビスタサイズやシネスコサイズといった横
長の画像を拡大表示して、その画像部分をワイド画面い
っぱい表示することが大きな特徴の1つである。
【0003】この拡大処理の一例として補間フィルタ処
理により垂直方向に4/3倍に拡大する例を図11に示
す。図11において(a)は入力画像の走査線、(b)
は拡大画像の走査線の重心位置、(c)は補間走査線作
成式、(d)は拡大画像の走査線である。(a)に示す
入力画像の走査線に対し、本例の4/3倍の場合には
(c)に示す補間走査線作成式により(b)に示す重心
位置を持つ補間走査線を作成する。例えばY1はAをそ
のまま補間走査線とし、Y2はAを1/4、Bを3/4
の割合で合成して作成し、Y3はBを1/2、Cを1/
2の割合で合成して作成する。ここで、入力画像の走査
線の合成比1/4、3/4、1/2などを補間係数と呼
ぶ。こうして作成した補間走査線を表示画面上で(d)
に示すように元の走査線位置に配置することにより、垂
直方向に4/3倍に拡大した画像を表示できる。水平方
向の拡大の場合も同様に、図11の走査線を画素に置き
換えて考えればよい。
【0004】拡大方法としては、以上説明したような補
間フィルタ処理による方法の他、偏向で行なう方法もあ
るが、補間フィルタ処理による方法は走査線間隔が広が
らず、特に大画面で有利である。しかし、補間フィルタ
処理による方法には、拡大画像の周波数特性が劣化する
という問題がある。
【0005】以下、そのことについて図12を用いて説
明する。図12において、Sは入力アナログ信号波形を
示し、A〜CはSのサンプル値、すなわち入力画像の画
素(以下、入力画素という)である。また、Y1〜Y5
は補間係数が0から1まで4段階で変化する場合の、入
力画素A、Bによって得られる可能性のある補間画素の
重心位置を示し、Y5〜Y9は同じく入力画素B、Cに
よって得られる可能性のある補間画素の重心位置を示
す。
【0006】図11に示した補間フィルタ処理は直線近
似を用いているため、例えば図12の入力画素A、Bに
より補間画素を作成する場合には、Y1〜Y5のよう
に、AとBを結ぶ直線上の何れかの位置に補間画素が作
成される。そのため、Y3のように補間位置が入力画素
A、Bの中間の場合、すなわち補間係数が1/2の場合
に、本来あるべき補間値からの誤差が大きくなる可能性
が高くなる。その結果、拡大画像の周波数特性が劣化し
てしまう。
【0007】この補間位置による誤差を補正する回路が
USPatent4,855,824/特表平3−500233号公報
に示されている。この回路の構成を図13(a)に示
す。図13(a)において、1101、1102、11
03、1104は映像信号の入力端子である。また、1
105は前述の補間位置による誤差を補正するためのエ
ンハンサ回路であり、ハイパスフィルタ(以下、HPF
という)1106、1107と、乗算器1108、11
09と、加算器1110、1111と、で構成される。
また、1112は補間回路であり、乗算器1113、1
114と、加算器1115と、で構成される。また、1
116は映像信号の出力端子である。さらにまた、S
(N+1)、S(N)、S(N−1)、S(N−2)は
映像信号であり、S(N+1)を基準にするとS
(N)、S(N−1)、S(N−2)はそれぞれ1ライ
ン、2ライン、3ライン遅延した映像信号である。
【0008】映像信号の入力端子1101、1102、
1103から入力した映像信号S(N+1)、S
(N)、S(N−1)を、HPF1106に入力し、H
PF1106において、それぞれ−1/4倍、1/2
倍、−1/4倍して加算することにより、S(N)の高
域成分を抽出する。また、映像信号の入力端子110
2、1103、1104から入力した映像信号S
(N)、S(N−1)、S(N−2)を、HPF110
7に入力し、HPF1107において、それぞれ−1/
4倍、1/2倍、−1/4倍して加算することにより、
S(N−1)の高域成分を抽出する。
【0009】乗算器1108、1109は、HPF11
06、1107で抽出した高域成分に補正係数PXを掛
けて出力する。前述のように直線補間する場合には、2
つの走査線の中間に補間する場合に本来の補間値との誤
差が最も大きくなるため、補正係数PXの補間係数DX
に対する特性(以下、補正係数PXの特性という)を、
例えば図13(b)に示すように、補間係数DXが0、
1のように入力画像の走査線がそのまま補間走査線にな
る場合には、補正係数PXを0として補正量が0とな
り、補間位置が入力画像の走査線の中間の場合には、補
正係数PXを1として補正量が最大となるような、三角
形の特性とすれば、補間位置による誤差を補正できる。
【0010】そして、乗算器1108、1109により
PX倍された高域成分を、それぞれ加算器1110、1
111で入力信号S(N)、S(N−1)に加算するこ
とにより、補間位置に適応して高域の補正がされた映像
信号を得る。補間回路1112は、加算器1110、1
111により高域補正がされた映像信号を入力し、図1
1に示したような補間フィルタ処理を行ない補間走査線
を作成する。すなわち乗算器1113、1114は、加
算器1110、1111の出力信号に補間係数DXを掛
けて出力する。加算器1115は、乗算器1113、1
114の出力信号を加算して出力する。
【0011】以上により、補間位置による誤差が補正さ
れ、周波数特性の劣化のない拡大画像が得られる。
【0012】
【発明が解決しようとする課題】図13(a)に示した
従来における補正回路は、拡大画像の周波数特性を劣化
させないという意味では優れたものであった。しかしな
がら、拡大画像は通常の映像に比較してボケ感は大きく
なるものであり、単なる周波数特性の劣化の補正のみで
はメリハリのある画像は得られない。また、図13
(a)に示した従来における補正回路は乗算器を多く含
み回路規模が非常に大きくなるという問題をかかえてい
る。
【0013】そこで、本発明の目的は、画像を補間フィ
ルタ処理により拡大、圧縮する際に生ずる補間位置によ
る誤差を補正して、拡大画像の周波数特性の劣化をなく
すと共に、画像の輪郭を強調するエンハンサ効果を持た
せて、メリハリのある画像を得ることができ、しかも、
小さな回路規模で効率良く実現できる画像拡大圧縮回路
を提供することにある。
【0014】
【課題を解決するための手段】上記した目的を達成する
ために、本発明では、第1の構成として、入力された前
記映像信号を所定時間遅延して第1の遅延映像信号とし
て出力すると共に、該第1の遅延映像信号を前記所定時
間と同じ時間遅延して第2の遅延映像信号として出力す
第1の遅延手段と、入力された前記映像信号と前記
1の遅延手段からの第1の遅延映像信号と第2の遅延映
像信号とを用いて、前記第1の遅延映像信号の高域成分
である第1の高域成分と前記第2の遅延映像信号の高域
成分である第2の高域成分とを抽出して出力する高域成
分抽出手段と、画像を拡大または圧縮する際の拡大率ま
たは圧縮率に応じた補間係数を順次入力し、該補間係数
、補間が直線補間である場合に発生する、本来の補間
値からの誤差を軽減する非線形変換特性に基づいて変換
して出力する非線形変換手段と、オフセット量を入力
し、該オフセット量を前記非線形変換手段から出力され
た係数に加算して、表示画像の輪郭強調成分を加味した
補正係数として出力する第1の加算手段と、前記高域成
分抽出手段からの第1の高域成分と前記第1の加算手段
から出力された補正係数とを乗算して出力する第1の乗
算手段と、前記高域成分抽出手段からの第2の高域成分
と前記第1の加算手段から出力された補正係数とを乗算
して出力する第2の乗算手段と、前記第1の乗算手段か
らの出力信号を前記第1の遅延手段からの第1の遅延映
像信号に加算して出力する第2の加算手段と、前記第2
の乗算手段からの出力信号を前記第1の遅延手段からの
第2の遅延映像信号に加算して出力する第3の加算手段
と、前記補間係数を順次入力し、前記第2の加算手段か
らの出力信号と前記第3の加算手段からの出力信号とか
ら、前記補間係数に従って補間画素を作成して、画像が
拡大または圧縮された映像信号として出力する補間手段
と、を備える構成とした。
【0015】これにより、拡大または圧縮時の周波数特
性の劣化の補正と、画像の輪郭を強調するエンハンス効
果を同時に得ることが可能となる。
【0016】また、第2の構成として、 入力された前
記映像信号を所定時間遅延して第1の遅延映像信号とし
て出力すると共に、該第1の遅延映像信号を前記所定時
間と同じ時間遅延して第2の遅延映像信号として出力す
第1の遅延手段と、入力された前記映像信号と前記
1の遅延手段からの第1の遅延映像信号と第2の遅延映
像信号とを用いて、前記第1の遅延映像信号の高域成分
である第1の高域成分と前記第2の遅延映像信号の高域
成分である第2の高域成分とを抽出して出力する高域成
分抽出手段と、画像を拡大または圧縮する際の拡大率ま
たは圧縮率に応じた補間係数を順次入力し、該補間係数
、補間が直線補間である場合に発生する、本来の補間
値からの誤差を軽減する非線形変換特性に基づいて変換
して出力する非線形変換手段と、オフセット量を入力
し、該オフセット量を前記非線形変換手段から出力され
た係数に加算して、表示画像の輪郭強調成分を加味した
補正係数として出力する第1の加算手段と、前記補間係
数を順次入力し、前記第1の遅延手段からの第1の映像
遅延信号と第2の映像遅延信号とから、前記補間係数に
従って補間画素を作成して、画像が拡大または圧縮され
た映像信号として出力する補間手段と、前記高域成分抽
出手段からの第1の高域成分と第2の高域成分とを用い
て、帯域通過成分を作成し、第3の高域成分として出力
するフィルタ手段と、該フィルタ手段からの第3の高域
成分と前記第1の加算手段から出力された補正係数とを
乗算して出力する乗算手段と、該乗算手段からの出力信
号を前記補間手段からの映像信号に加算して出力する第
2の加算手段と、を備える構成とした。
【0017】これにより、拡大または圧縮時の周波数特
性の劣化の補正と、画像の輪郭を強調するエンハンス効
果を比較的小さな回路規模で実現可能となる。
【0018】
【作用】上記第1の構成において、遅延手段は、入力さ
れた映像信号を所定時間遅延して第1の遅延映像信号と
して出力すると共に、該第1の遅延映像信号を前記所定
時間と同じ時間遅延して第2の遅延映像信号として出力
する。高域成分抽出手段は、入力された前記映像信号と
前記第1の遅延手段からの第1の遅延映像信号と第2の
遅延映像信号とを用いて、第1の高域成分と第2の高域
成分とを抽出して出力する。非線形変換手段は、入力さ
れた補間係数を、補間係数が1/2の場合を最大とした
左右対称な非線形変換特性に基づいて変換することによ
り、補間位置による本来の補間値との誤差を補正する。
第1の加算手段は、入力されたオフセット量を前記非線
形変換手段から出力された係数に加算することにより、
補間位置による誤差の補正と画像の輪郭を強調するエン
ハンス効果が同時に得られる。第1の乗算手段は、前記
高域成分抽出手段からの第1の高域成分と前記第1の加
算手段から出力される補正係数とを乗算して出力する。
第2の乗算手段は、前記高域成分抽出手段からの第2の
高域成分と前記第1の加算手段から出力される補正係数
とを乗算して出力する。第2の加算手段は、前記第1の
乗算手段からの出力信号を前記第1の遅延映像信号に加
算して出力する。第3の加算手段は、前記第2の乗算手
段からの出力信号を前記第2の遅延映像信号に加算して
出力する。補間手段は、前記第2の加算手段からの出力
信号と前記第3の加算手段からの出力信号とから前記補
間係数に従って補間画素を作成して、画像が拡大または
圧縮された映像信号として出力する。
【0019】上記第2の構成において、遅延手段は、入
力された映像信号を所定時間遅延して第1の遅延映像信
号として出力すると共に、該第1の遅延映像信号を前記
所定時間と同じ時間遅延して第2の遅延映像信号として
出力する。高域成分抽出手段は、入力された前記映像信
号と前記遅延手段からの第1の遅延映像信号と第2の遅
延映像信号とを用いて、第1の高域成分と第2の高域成
分とを抽出して出力する。非線形変換手段は、入力され
た補間係数を、補間係数が1/2の場合を最大とした左
右対称な非線形変換特性に従って変換することにより、
補間位置による本来の補間値との誤差を補正する。第1
の加算手段は、入力されたオフセット量を前記非線形変
換手段から出力された係数に加算することにより、補間
位置による誤差の補正と画像の輪郭を強調するエンハン
ス効果が同時に得られる。補間手段は、前記第1の映像
遅延信号と第2の映像遅延信号とから、前記補間係数に
従って補間画素を作成して、画像が拡大または圧縮され
た映像信号として出力する。フィルタ手段は、前記高域
成分抽出手段からの第1の高域成分と第2の高域成分と
を用いて、帯域通過成分を作成し、第3の高域成分とし
て出力する。乗算手段は、前記フィルタ手段からの第3
の高域成分と前記第1の加算手段から出力された補正係
数とを乗算して出力する。第2の加算手段は、前記乗算
手段からの出力信号を前記補間手段からの映像信号に加
算して出力する。
【0020】
【実施例】図1は本発明の第1の実施例の構成を示すブ
ロック図である。図1において、101は映像信号の入
力端子、102は補間係数の入力端子、103はオフセ
ット量の入力端子、104は遅延回路、105は高域成
分抽出回路、106は非線形変換回路、107は加算
器、108、109は乗算器、110、111は加算
器、112は補間回路、113は映像信号の出力端子で
ある。
【0021】図1における要部回路の構成を図2(a)
に示す。図2(a)において、図1と同一の構成要素に
は同一の符号を付してある。その他、202、203は
ラインメモリ、204はHPF、205はラインメモ
リ、210、211は乗算器、212は加算器である。
このうち、ラインメモリ202、203が図1の遅延回
路104を、HPF204、ラインメモリ205が図1
の高域成分抽出回路105を、乗算器210、211、
加算器212が図1の補間回路112をそれぞれ構成す
る。また、S(N+1)、S(N)、S(N−1)は映
像信号で、S(N+1)を基準とすると、S(N)、S
(N−1)はそれぞれ1ライン、2ライン遅延した映像
信号である。Sh(N)はS(N)の高域成分、Sh
(N−1)はS(N−1)の高域成分である。また、P
Xは補正係数、DXは補間係数である。
【0022】ラインメモリ202は、映像信号の入力端
子101から入力した映像信号を1ライン遅延して出力
する。ラインメモリ203は、ラインメモリ202の出
力信号をさらに1ライン遅延して出力する。映像信号の
入力端子101から入力した映像信号をS(N+1)、
ラインメモリ202、ラインメモリ203の出力信号を
それぞれS(N)、S(N−1)とする。HPF204
は、S(N+1)、S(N)、S(N−1)を入力し、
それぞれ−1/4、1/2、−1/4倍して加算するこ
とにより、S(N)の高域成分Sh(N)を抽出し出力
する。ラインメモリ205は、Sh(N)を入力し1ラ
イン遅延してS(N−1)の高域成分Sh(N−1)を
出力する。
【0023】乗算器108、109はSh(N)、Sh
(N−1)を入力し補正係数PXを掛けて出力する。こ
こで、補正係数PXの特性は、図13(b)に示すよう
に、入力画像の走査線がそのまま補間走査線となるよう
な場合、すなわち補間係数DXが0、1の場合には、補
正係数PXを0として加算器110、111での高域成
分の加算量が0(すなわち補正量が0)となり、補間位
置が入力画像の走査線の中間の場合には、補正係数PX
を1として加算器110、111での高域成分の加算量
が最大(すなわち補正量が最大)となるような、三角形
の特性とすることにより、図13で説明したように、補
間位置による誤差を補正することができる。
【0024】そしてさらに、本実施例では、補正係数P
Xの特性として、図2(b)に示すように、上記した三
角形の特性にオフセットを持たせている。この様に、オ
フセットを持たせることにより、補間位置によらず一定
の高域成分を加算することになるため、画像の輪郭を強
調するエンハンス効果を同時に得ることができる。
【0025】加算器110、111は、乗算器108、
109でPX倍された高域成分と、ラインメモリ20
2、203の出力信号S(N)、S(N−1)を加算す
ることにより、補間位置に応じて高域を補正した映像信
号を出力する。乗算器210、211は、加算器11
0、111により高域の補正がされた映像信号を入力
し、補間係数DXを掛けて出力する。加算器212は、
乗算器210、211の出力信号を加算して出力する。
【0026】以上により、補間位置による誤差が補正さ
れ、周波数特性の劣化のない拡大画像が得られると共
に、さらに輪郭の強調された拡大画像が得られる。
【0027】次に、補正係数PXの生成方法について説
明する。補正係数PXは、図1の非線形変換回路106
及び加算器107で生成する。図2(b)に示した補正
係数PXの特性のうち、補間位置による誤差を補正する
ための三角形の特性の部分は、補間係数DXに応じて変
化する部分である。
【0028】そこで、まず、補間係数DXに応じて変化
する、この三角形の特性の部分における補正係数PXの
生成方法について説明する。図3に、画像を8/7倍に
拡大する場合の走査線構造と補間走査線作成式を示す。
図3において、(a)は入力画像の走査線、(b)は拡
大画像の走査線の重心位置、(c)は補間走査線作成式
である。
【0029】本例の8/7倍の場合には、補間係数DX
は(c)に示すようにx/8で表され、さらに補間係数
DXの分子に着目すると、xは0〜8の3ビットで変化
する。そこで、これを利用して三角形の特性の部分にお
ける補正係数PXを生成し、PX倍された高域成分を得
る回路の一例を図4(a)に示す。図4(a)におい
て、401は高域成分の入力端子、402は補間係数D
Xの分子であるxの入力端子、403、404はExc
lusive−OR回路(以下、E−OR回路とい
う。)、405、406はAND回路、407は加算
器、408はPX倍された高域成分の出力端子である。
【0030】入力端子402より入力したxの最上位ビ
ット(以下、MSBという)をE−OR回路403、4
04に入力し、xの下位2ビットをそれぞれE−OR回
路403、404に入力する。こうすれば、E−OR回
路403、404からはxのMSBが0の場合にはxの
下位2ビットがそのまま出力され、xのMSBが1の場
合はxの下位2ビットの反転が出力されて、図4(b)
に示すように、図2(b)に示した三角形の特性の部分
を、4段階で近似した特性が得られる。E−OR回路4
03、404の出力信号と、入力端子401より入力さ
れた高域成分を1/2、1/4倍したものをAND回路
405、406に入力し、それぞれの出力信号を加算器
407で加算することにより、出力端子408にPX倍
された高域成分が得られる。
【0031】このPX倍された高域成分を、映像信号に
加算した場合の補間走査線作成式を図3(d)に示す。
図3(d)でAh〜Ghは、走査線A〜Gの高域成分で
ある。
【0032】次に、前述した三角形の特性の部分にオフ
セットを持たせた特性についての補正係数PXの生成方
法について説明する。
【0033】ここで、三角形の特性の部分にオフセット
を持たせた特性についての補正係数PXを生成し、PX
倍された高域成分を得る回路の一例を図5(a)に示
す。すなわちこの図5(a)の回路が、図1における非
線形変換回路106と加算器107と乗算器108また
は109で構成する回路に相当する。図5(a)におい
て、501は高域成分の入力端子、502は補間係数D
Xの分子であるxの入力端子、503はオフセット量の
入力端子、504、505はE−OR回路、506は加
算器、507、508、509はAND回路、510は
加算器、511はPX倍された高域成分の出力端子であ
る。
【0034】入力端子502より入力したxのMSBを
E−OR回路504、505に入力し、xの下位2ビッ
トをそれぞれE−OR回路504、505に入力するこ
とにより、E−OR回路504、505からは、図4
(b)と同様の、三角形の特性の部分を4段階で近似し
た特性が得られる。E−OR回路504、505の出力
信号に、さらに入力端子503から入力したオフセット
量を加算することにより、加算器506からは、図5
(b)に示すような、三角形の特性の部分にオフセット
を持たせた特性が得られる。このオフセット量により、
補間位置によらずある一定の高域成分が映像信号に加算
されるため、補間位置による誤差の補正と、画像の輪郭
を強調するエンハンス効果が同時に得られるようにな
る。加算器506の出力信号と、入力端子501より入
力された高域成分、及び高域成分を1/2、1/4倍し
たものをAND回路507、508、509に入力し、
それぞれの出力信号を加算器510で加算することによ
り、出力端子511にPX倍された高域成分が得られ
る。
【0035】このPX倍された高域成分を、映像信号に
加算した場合の補間走査線作成式を図3(e)に示す。
なお、この場合、オフセット量は1/2としている。
【0036】次に、補間係数DXがx/8より細かい分
解能で表される場合の補正係数PXの生成方法について
説明する。
【0037】ここで、補間係数DXがx/256で表さ
れる場合の補正係数PXを生成し、PX倍された高域成
分を得る回路の一例を図6(a)に示し、また、その補
正係数PXの特性を図(b)に示す。図6(a)におい
て、601は高域成分の入力端子、602は補間係数D
Xの分子であるxの入力端子、603はオフセット量の
入力端子、604〜610はE−OR回路、611は加
算器、612〜619はAND回路、620は加算器、
621はPX倍された高域成分の出力端子である。
【0038】この回路の動作は図5(a)に示した回路
と同様であるが、xが0〜256で変化するため、補正
係数PXの特性のうち、三角形の特性の部分がxのMS
Bを除いた7ビット、すなわち128段階で表され、4
段階で近似される図5(a)に示した回路よりも、より
三角形に近い特性が得られる。入力端子603から入力
するオフセット量も、より多くのビットを用いることに
より、補正係数PXの特性のうち、オフセット部分を、
図5(a)に示した回路よりも、より細かく制御でき
る。
【0039】以上、図4〜図6に示した回路構成とする
ことにより、小さな回路規模で補間位置による誤差を補
正し、さらに画像の輪郭を強調するエンハンス効果を同
時に得ることができ、より高画質な拡大画像を提供でき
る。また、オフセットを持たせた、補正係数PXの特性
は、ROMなどを用いても実現でき、回路構成は本実施
例に限るものではない。
【0040】図7は本発明の第2の実施例の構成を示す
ブロック図である。図7において、701は映像信号の
入力端子、702は補間係数の入力端子、703はオフ
セット量の入力端子、704は遅延回路、705は高域
成分抽出回路、706はフィルタ回路、707は非線形
変換回路、708は加算器、709は乗算器、710は
補間回路、711は加算器、712は映像信号の出力端
子である。
【0041】図7における要部回路の構成を図8に示
す。図8において、図7と同一の構成要素には同一の符
号を付してある。その他、802、803はラインメモ
リ、804はHPF、805はラインメモリ、806、
807は係数器、808は加算器、810、811は乗
算器、812は加算器である。このうち、ラインメモリ
802、803が図7の遅延回路704を、HPF80
4、ラインメモリ805が図7の高域成分抽出回路70
5を、係数器806、807、加算器808が図7のフ
ィルタ回路706を、乗算器810、811、加算器8
12が図7の補間回路710を、それぞれ構成する。ま
た、S(N+1)、S(N)、S(N−1)は映像信号
で、S(N+1)を基準とすると、S(N)、S(N−
1)はそれぞれ1ライン、2ライン遅延した映像信号で
あり、Sh(N)はS(N)の高域成分、Sh(N−
1)はS(N−1)の高域成分である。また、PXは補
正係数、DXは補間係数である。
【0042】ラインメモリ802は映像信号の入力端子
701から入力した映像信号を1ライン遅延して出力す
る。ラインメモリ803はラインメモリ802の出力信
号をさらに1ライン遅延して出力する。映像信号の入力
端子701から入力した映像信号をS(N+1)、ライ
ンメモリ802、803の出力信号を、それぞれS
(N)、S(N−1)とする。HPF804は、S(N
+1)、S(N)、S(N−1)を入力し、それぞれを
−1/4、1/2、−1/4倍して加算することによ
り、S(N)の高域成分Sh(N)を抽出し出力する。
ラインメモリ805はSh(N)を入力し1ライン遅延
してS(N−1)の高域成分Sh(N−1)を出力す
る。
【0043】係数器806、807はSh(N)、Sh
(N−1)を1/2倍し、加算器808は、係数器80
6、807の出力信号を加算して出力する。すなわち高
域成分は補間走査線の重心位置によらず常に平均補間が
行なわれる。乗算器709は、加算器808より出力し
た高域成分に、図4(b)〜図6(b)で説明したよう
な特性の補正係数PXを掛けて出力する。
【0044】また、以上説明したような高域成分の処理
と並行して、走査線の補間フィルタ処理を同時に行な
う。乗算器810、811は、ラインメモリ802、8
03の出力信号S(N)、S(N−1)を入力し、補間
係数DXを掛けて出力する。加算器812は、乗算器8
10、811の出力信号を加算して出力し、垂直方向に
画像が拡大された映像信号を得る。
【0045】加算器711は、この垂直方向に画像が拡
大された映像信号と、乗算器709でPX倍された高域
成分を加算して出力する。
【0046】以上により、小さな回路規模で効率良く、
補間位置による誤差が補正され、周波数特性の劣化のな
い拡大画像が得られると共に、さらに輪郭の強調された
拡大画像が得られる。
【0047】図8の回路構成のように、高域成分は補間
位置によらず常に平均補間とすることで、図2に示した
2つの乗算器108、109を1つの乗算器709に置
き換えることができる。また、図2の回路構成は高域成
分を入力映像信号に加算した後で補間フィルタ処理を行
なう構成のため、高域成分の処理に要した時間分、ライ
ンメモリ202、203の出力信号S(N)、S(N−
1)を遅延させるラッチ回路が数段必要となる。これに
対し、図8の回路構成は、高域成分の処理と走査線の補
間フィルタ処理を並行して行ない、その後で垂直方向に
画像が拡大された映像信号に、平均補間されPX倍され
た高域成分を加算するため、図2で必要だった時間調整
のためのラッチ回路等の遅延回路が削減でき、回路規模
の削減を実現できる。
【0048】しかしながら、図8の回路構成では、高域
成分は常に平均補間されるため、補間走査線と加算する
高域成分の重心位置がずれるという問題が生じる。この
様子を図9に示す。図9は例として画像を4/3倍に拡
大する場合を示しており、(a)は入力画像の走査線、
(b)は入力画像のそれぞれの走査線の高域成分、
(c)は加算する高域成分の重心位置(d)は拡大画像
の走査線の重心位置、(e)は補正係数PXの特性にお
けるオフセット量を1/2とした場合の走査線作成式を
示す。なお、(a)〜(d)において、A〜D、Y1〜
Y5が走査線であり、Ah〜Dh、Yh1〜Yh5が走
査線の高域成分である。また、(c)において、Yh4
のそばにYh5が並んでいるのは、両者が同一の重心を
持つことを示している。
【0049】高域成分は(c)に示すように常に平均補
間であるため、例えばY3のように補間係数DXが1/
2の場合には高域成分の重心ずれは無く、Y1やY5の
ように補間係数DXが0、1に近づくほど高域成分の重
心ずれは大きくなる。しかし、補正係数PXの特性は図
4(b)〜図6(b)に示したように、補間係数DXが
1/2の場合をピ−クとした三角形の特性とすれば、重
心ずれが大きくなるほど高域成分の加算量が小さくなる
ため、高域成分の重心ずれによる画像の劣化はほとんど
ない。
【0050】図10は本発明の第3の実施例における要
部回路の構成を示すブロック図である。図10の回路構
成は、図8と同様の動作を行なう別の回路構成である。
図10において、1001は映像信号の入力端子、10
02、1003、1004はラインメモリ、1005は
バンドパスフィルタ(以下、BPFという。)、100
6は乗算器、1007は減算器、1008は乗算器、1
009、1010は加算器、1011は映像信号の出力
端子である。また、S(N+1)、S(N)、S(N−
1)は映像信号で、S(N+1)を基準とすると、S
(N)、S(N−1)は、それぞれ1ライン、2ライン
遅延した映像信号である。また、PXは補正係数、DX
は補間係数である。
【0051】この回路構成は、図8に示したHPF80
4、乗算器806、807、加算器808を、数1に示
す式の変形によりBPF1005に置き換えたものであ
る。また、図8に示した乗算器810、811、加算器
812も、数2に示す式の変形により、減算器100
7、乗算器1008、加算器1009に置き換えてい
る。但し、数2において、α、βは補間係数DXであ
り、α+β=1である。
【0052】
【数1】
【0053】
【数2】
【0054】ラインメモリ1002は、映像信号の入力
端子1001より入力した映像信号を1ライン遅延して
出力する。ラインメモリ1003はラインメモリ100
2の出力信号を1ライン遅延して出力する。ラインメモ
リ1004はラインメモリ1003の出力信号を1ライ
ン遅延して出力する。映像信号の入力端子1001より
入力した映像信号をS(N+1)、ラインメモリ100
2、1003、1004の出力信号を、それぞれS
(N)、S(N−1)、S(N−2)とする。BPF1
005はS(N+1)、S(N)、S(N−1)、S
(N−2)を入力し、それぞれ−1/8、1/8、1/
8、−1/8倍して加算することにより、平均補間した
高域成分を出力する。乗算器1006はBPF1005
の出力信号を入力し、補正係数DXを掛けて出力する。
【0055】また、以上説明したような高域成分の処理
と並行して走査線の補間フィルタ処理を同時に行なう。
減算器1007は、ラインメモリ1002、1003の
出力信号S(N)、S(N−1)を入力し、S(N−
1)からS(N)を減算して出力する。乗算器1008
は減算器1007の出力信号に補間係数DXを掛けて出
力する。加算器1009は、ラインメモリ1002の出
力信号S(N)と乗算器1008の出力信号を加算して
出力し、垂直方向に画像が拡大された映像信号を得る。
【0056】加算器1010は、この垂直方向に画像が
拡大された映像信号と、乗算器1006でPX倍された
高域成分を加算して出力する。
【0057】以上により、小さな回路規模で効率良く、
補間位置による誤差が補正され、周波数特性の劣化のな
い拡大画像が得られると共に、さらに輪郭の強調された
拡大画像が得られる。
【0058】前述の実施例はすべて垂直方向の拡大処理
について説明してきたが、水平方向の拡大処理も同様で
あり、走査線を画素に置き換えて考えればよい。
【0059】以上説明してきたように、補正係数PXの
特性を、補間位置による誤差を補正するための三角形の
特性にオフセットを持たせた特性とすることにより、画
像の輪郭を強調するエンハンサ効果を同時に得ることが
可能となる。また、補間係数DXが1/2でピークとな
る三角形の特性を利用し、高域成分は補間位置によらず
常に平均補間とすることにより、回路規模を削減するこ
とが可能となる。
【0060】
【発明の効果】本発明によれば、画像を補間フィルタ処
理により拡大、圧縮する際に生ずる補間位置による誤差
を補正するための補正係数に、オフセットを持たせるこ
とにより、画像の輪郭を強調するエンハンサ効果を同時
に得ることが可能となり、メリハリのある画像を得るこ
とができる。また、補間係数が1/2で最大となる補正
係数の特性を利用し、高域成分を補間位置によらず常に
平均補間とすることにより、小さな回路規模で効率良く
周波数特性の劣化のない拡大画像を得ることができる。
【図面の簡単な説明】
【図1】本発明の第1の実施例の構成を示すブロック図
である。
【図2】図1における要部回路の構成を示すブロック図
である。
【図3】第1の実施例における画像を8/7倍に拡大す
る場合の走査線構造と補間走査線作成式を示す説明図で
ある。
【図4】補間係数DXがx/8で表される場合で、三角
形の特性の部分の補正係数PXを生成し、PX倍された
高域成分を得る回路の一例と、その補正係数PXの特性
を示す説明図である。
【図5】補間係数DXがx/8で表される場合で、三角
形の特性の部分にオフセットを持たせた特性についての
補正係数PXを生成し、PX倍された高域成分を得る回
路の一例と、その補正係数PXの特性を示す説明図であ
る。
【図6】補間係数DXがx/256で表される場合で、
三角形の特性の部分にオフセットを持たせた特性につい
ての補正係数PXを生成し、PX倍された高域成分を得
る回路の一例と、その補正係数PXの特性を示す説明図
である。
【図7】本発明の第2の実施例の構成を示すブロック図
である。
【図8】図7における要部回路の構成を示すブロック図
である。
【図9】高域成分は常に平均補間とした場合の補間走査
線との重心ずれを示す説明図である。
【図10】本発明の第3の実施例における要部回路の構
成を示すブロック図である。
【図11】垂直方向に4/3倍に拡大する場合の走査線
構造を示す説明図である。
【図12】補間位置による本来の補間値との誤差を示す
説明図である。
【図13】従来における補間位置による誤差を補正する
回路とその補間係数PXの特性を示す説明図である。
【符号の説明】 101…映像信号の入力端子、102…補間係数の入力
端子、103…オフセット量の入力端子、104…遅延
回路、105…高域成分抽出回路、106…非線形変換
回路、107…加算器、108、109…乗算器、11
0、111…加算器、112…補間回路、113…映像
信号の出力端子、202、203…ラインメモリ、20
4…HPF、205…ラインメモリ、210、211…
乗算器、212…加算器、401…高域成分の入力端
子、402…補間係数の分子の入力端子、403、40
4…E−OR回路、405、406…AND回路、40
7…加算器、408…PX倍された高域成分の出力端
子、501…高域成分の入力端子、502…補間係数の
分子の入力端子、503…オフセット量の入力端子、5
04、505…E−OR回路、506…加算器507、
508、509…AND回路、510…加算器、511
…PX倍された高域成分の出力端子、601…高域成分
の入力端子、602…補間係数の分子の入力端子、60
3…オフセット量の入力端子、604、605、60
6、607、608、609、610…E−OR回路、
611…加算器、612、613、614、615、6
16、617、618、619…AND回路、620…
加算器、621…PX倍された高域成分の出力端子、7
01…映像信号の出力端子、702…補間係数の入力端
子、703…オフセット量の入力端子、704…遅延回
路、705…高域成分抽出回路、706…フィルタ回
路、707…非線形変換回路、708…加算器、709
…乗算器、710…補間回路、711…加算器、712
…映像信号の出力端子、802、803…ラインメモ
リ、804…HPF、805…ラインメモリ、806、
807…係数器、808…加算器、810、811…乗
算器、812…加算器、1001…映像信号の入力端
子、1002、1003、1004…ラインメモリ、1
005…BPF、1006、1008…乗算器、100
7…減算器、1009、1010…加算器、1011…
映像信号の出力端子、1101、1102、1103、
1104…映像信号の入力端子、1105…エンハンサ
回路、1106、1107…HPF、1108、110
9…乗算器、1110、1111…加算器、1112…
補間回路、1113、1114…乗算器、1115…加
算器、1116…映像信号の出力端子。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 村田 敏則 神奈川県横浜市戸塚区吉田町292番地 株式会社日立製作所 映像メディア研究 所内 (72)発明者 高田 春樹 神奈川県横浜市戸塚区吉田町292番地 株式会社日立製作所 映像メディア研究 所内 (72)発明者 鳥越 忍 神奈川県横浜市戸塚区吉田町292番地 株式会社日立製作所 映像メディア研究 所内 (72)発明者 江田 隆則 神奈川県横浜市戸塚区吉田町292番地 株式会社日立製作所 映像メディア研究 所内 (72)発明者 平畠 茂 東京都千代田区神田駿河台四丁目6番地 株式会社日立製作所内 (56)参考文献 特開 平4−339480(JP,A) 特開 平6−152938(JP,A) 特表 平2−500239(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 5/262 H04N 7/01 - 7/015 H04N 5/46 G09G 5/00 - 5/36

Claims (5)

    (57)【特許請求の範囲】
  1. 【請求項1】 入力された映像信号に補間フィルタ処理
    を施して、画像が拡大または圧縮された映像信号を得る
    画像拡大圧縮回路であって、 入力された前記映像信号を所定時間遅延して第1の遅延
    映像信号として出力すると共に、該第1の遅延映像信号
    を前記所定時間と同じ時間遅延して第2の遅延映像信号
    として出力する第1の遅延手段と、入力された前記映像
    信号と前記第1の遅延手段からの第1の遅延映像信号と
    第2の遅延映像信号とを用いて、前記第1の遅延映像信
    号の高域成分である第1の高域成分と前記第2の遅延映
    像信号の高域成分である第2の高域成分とを抽出して出
    力する高域成分抽出手段と、画像を拡大または圧縮する
    際の拡大率または圧縮率に応じた補間係数を順次入力
    し、該補間係数を、補間が直線補間である場合に発生す
    る、本来の補間値からの誤差を軽減する非線形変換特性
    に基づいて変換して出力する非線形変換手段と、オフセ
    ット量を入力し、該オフセット量を前記非線形変換手段
    から出力された係数に加算して、表示画像の輪郭強調成
    分を加味した補正係数として出力する第1の加算手段
    と、前記高域成分抽出手段からの第1の高域成分と前記
    第1の加算手段から出力された補正係数とを乗算して出
    力する第1の乗算手段と、前記高域成分抽出手段からの
    第2の高域成分と前記第1の加算手段から出力された補
    正係数とを乗算して出力する第2の乗算手段と、前記第
    1の乗算手段からの出力信号を前記第1の遅延手段から
    の第1の遅延映像信号に加算して出力する第2の加算手
    段と、前記第2の乗算手段からの出力信号を前記第1の
    遅延手段からの第2の遅延映像信号に加算して出力する
    第3の加算手段と、前記補間係数を順次入力し、前記第
    2の加算手段からの出力信号と前記第3の加算手段から
    の出力信号とから、前記補間係数に従って補間画素を作
    成して、画像が拡大または圧縮された映像信号として出
    力する補間手段と、を備えて成ることを特徴とする画像
    拡大圧縮回路。
  2. 【請求項2】 入力された映像信号に補間フィルタ処理
    を施して、画像が拡大または圧縮された映像信号を得る
    画像拡大圧縮回路であって、 入力された前記映像信号を所定時間遅延して第1の遅延
    映像信号として出力すると共に、該第1の遅延映像信号
    を前記所定時間と同じ時間遅延して第2の遅延映像信号
    として出力する第1の遅延手段と、入力された前記映像
    信号と前記第1の遅延手段からの第1の遅延映像信号と
    第2の遅延映像信号とを用いて、前記第1の遅延映像信
    号の高域成分である第1の高域成分と前記第2の遅延映
    像信号の高域成分である第2の高域成分とを抽出して出
    力する高域成分抽出手段と、画像を拡大または圧縮する
    際の拡大率または圧縮率に応じた補間係数を順次入力
    し、該補間係数を、補間が直線補間である場合に発生す
    る、本来の補間値からの誤差を軽減する非線形変換特性
    に基づいて変換して出力する非線形変換手段と、オフセ
    ット量を入力し、該オフセット量を前記非線形変換手段
    から出力された係数に加算して、表示画像の輪郭強調成
    分を加味した補正係数として出力する第1の加算手段
    と、前記補間係数を順次入力し、前記第1の遅延手段か
    らの第1の映像遅延信号と第2の映像遅延信号とから、
    前記補間係数に従って補間画素を作成して、画像が拡大
    または圧縮された映像信号として出力する補間手段と、
    前記高域成分抽出手段からの第1の高域成分と第2の高
    域成分とを用いて、帯域通過成分を作成し、第3の高域
    成分として出力するフィルタ手段と、該フィルタ手段か
    らの第3の高域成分と前記第1の加算手段から出力され
    た補正係数とを乗算して出力する乗算手段と、該乗算手
    段からの出力信号を前記補間手段からの映像信号に加算
    して出力する第2の加算手段と、を備えて成ることを特
    徴とする画像拡大圧縮回路。
  3. 【請求項3】 請求項1または2に記載の画像拡大圧縮
    回路において、前記高域成分抽出手段は、入力された前
    記映像信号と前記第1の遅延手段からの第1の遅延映像
    信号と第2の遅延映像信号とを用いて、前記第1の遅延
    映像信号の高域成分である第1の高域成分を抽出して出
    力する高域フィルタ手段と、該高域フィルタ手段からの
    第1の高域成分を前記第1の遅延手段における前記所定
    時間と同じ時間遅延して前記第2の遅延映像信号の高域
    成分である第2の高域成分として出力する第2の遅延手
    段と、で構成されることを特徴とする画像拡大圧縮回
    路。
  4. 【請求項4】 入力された映像信号に補間フィルタ処理
    を施して、画像が拡大または圧縮された映像信号を得る
    画像拡大圧縮回路であって、 入力された前記映像信号を所定時間遅延して第1の遅延
    映像信号として出力し、該第1の遅延映像信号を前記所
    定時間と同じ時間遅延して第2の遅延映像信号として出
    力し、該第2の遅延映像信号を前記所定時間と同じ時間
    遅延して第3の遅延映像信号として出力する遅延手段
    と、入力された前記映像信号と前記遅延手段からの第1
    の遅延映像信号と第2の遅延映像信号と第3の遅延映像
    信号を入力とする一つのバンドパスフィルタにおいて、
    前記映像信号の帯域通過成分を作成して出力する高域成
    分抽出・フィルタ手段と、画像を拡大または圧縮する際
    の拡大率または圧縮率に応じた補間係数を順次入力し、
    該補間係数を、補間が直線補間である場合に発生する、
    本来の補間値からの誤差を軽減する非線形変換特性に基
    づいて変換して出力する非線形変換手段と、オフセット
    量を入力し、該オフセット量を前記非線形変換手段から
    出力された係数に加算して、表示画像の輪郭強調成分を
    加味した補正係数として出力する第1の加算手段と、前
    記補間係数を順次入力し、前記遅延手段からの第1の映
    像遅延信号と第2の映像遅延信号とから、前記補間係数
    に従って補間画素を作成して、画像が拡大または圧縮さ
    れた映像信号として出力する補間手段と、前記高域成分
    抽出・フィルタ手段からの帯域通過成分と前記第1の加
    算手段から出力された補正係数とを乗算して出力する乗
    算手段と、該乗算手段からの出力信号を前記補間手段か
    らの映像信号に加算して出力する第2の加算手段と、を
    備えて成ることを特徴とする画像拡大圧縮回路。
  5. 【請求項5】 請求項1,2,3または4に記載の画像
    拡大圧縮回路において、前記非線形変形手段は、入力さ
    れる前記補間係数の最上位ビットに従って該補間係数の
    下位ビットを反転し、前記非線形変換特性として、前記
    補間係数の中間値について対称となる特性を得ることを
    特徴とする画像拡大圧縮回路。
JP15175093A 1993-06-23 1993-06-23 画像拡大圧縮回路 Expired - Fee Related JP3415883B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP15175093A JP3415883B2 (ja) 1993-06-23 1993-06-23 画像拡大圧縮回路

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP15175093A JP3415883B2 (ja) 1993-06-23 1993-06-23 画像拡大圧縮回路

Publications (2)

Publication Number Publication Date
JPH0715661A JPH0715661A (ja) 1995-01-17
JP3415883B2 true JP3415883B2 (ja) 2003-06-09

Family

ID=15525474

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15175093A Expired - Fee Related JP3415883B2 (ja) 1993-06-23 1993-06-23 画像拡大圧縮回路

Country Status (1)

Country Link
JP (1) JP3415883B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4022935B2 (ja) * 1997-01-21 2007-12-19 ソニー株式会社 画像処理装置および処理方法
JP6580831B2 (ja) * 2015-01-22 2019-09-25 三星ディスプレイ株式會社Samsung Display Co.,Ltd. 画像処理装置、画像処理方法、およびプログラム

Also Published As

Publication number Publication date
JPH0715661A (ja) 1995-01-17

Similar Documents

Publication Publication Date Title
US5374995A (en) Method and apparatus for enhancing sharpness of a sequence of images subject to continuous zoom
EP0266079B1 (en) Interpolating lines of video signals
US7006704B2 (en) Method of and apparatus for improving picture quality
JPS6126382A (ja) 動き量を用いた動画像フレ−ムレ−ト変換方式
US6128539A (en) Method and apparatus for forming image scaling filters
JP3415883B2 (ja) 画像拡大圧縮回路
JP2003018552A (ja) 走査線変換回路
JP3392602B2 (ja) 動き適応型走査線変換回路
JP4186582B2 (ja) 画像信号の処理装置および処理方法
US6603888B1 (en) Interpolating apparatus and method
JP3292233B2 (ja) 補間処理回路
JPH11308575A (ja) 補間演算装置及び方法
JP3028981B2 (ja) ワイド画面テレビジョン受像機とそこに用いる映像信号処理装置
JP3257145B2 (ja) 撮像装置
JP2752287B2 (ja) 映像信号処理回路
JPS6188667A (ja) カラ−テレビジヨン画質改善装置
JP3106759B2 (ja) 撮像装置
US20060038918A1 (en) Unit for and method of image conversion
JP2001331145A (ja) 画像変換装置及び画像変換方法
JPH04333989A (ja) 画像拡大装置
JP2595746B2 (ja) 走査線補間回路
JPH0294965A (ja) 輪郭補正方法及びディジタル輪郭補正回路
JP2686203B2 (ja) ビデオカメラの垂直補間回路
JPH0937112A (ja) エンハンス処理装置
JPH04207670A (ja) エッジ強調回路

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090404

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090404

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100404

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110404

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120404

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120404

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130404

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees