JPH09130746A - 動き適応型走査線変換回路 - Google Patents

動き適応型走査線変換回路

Info

Publication number
JPH09130746A
JPH09130746A JP7285677A JP28567795A JPH09130746A JP H09130746 A JPH09130746 A JP H09130746A JP 7285677 A JP7285677 A JP 7285677A JP 28567795 A JP28567795 A JP 28567795A JP H09130746 A JPH09130746 A JP H09130746A
Authority
JP
Japan
Prior art keywords
circuit
filter
line
output signal
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7285677A
Other languages
English (en)
Other versions
JP3392602B2 (ja
Inventor
Takashi Hiyama
隆 檜山
Makoto Adachi
誠 足立
Nobuhiko Nishi
信彦 西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP28567795A priority Critical patent/JP3392602B2/ja
Publication of JPH09130746A publication Critical patent/JPH09130746A/ja
Application granted granted Critical
Publication of JP3392602B2 publication Critical patent/JP3392602B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 比較的簡素な構成をもって、動領域で残像が
なく、静止領域で垂直解像度が劣化しないようにする。 【解決手段】 第1のフィールドメモリ回路1には、第
1のT−HPF回路2、第2のフィールドメモリ回路3
及び第1の遅延回路6が接続され、第2のフィールドメ
モリ回路3には、第2のT−HPF回路4及び第2の遅
延回路9が接続されている。第1のT−HPF回路2及
び第2のT−HPF回路4には、フィールド間適応化回
路5が接続され、フィールド間適応化回路5及び第1の
遅延回路6には、減算回路7が接続されている。減算回
路7には、第1の乗算回路8が接続され、第2の遅延回
路9には、第2の乗算回路10が接続されている。第1
の乗算回路8及び第2の乗算回路10には、加算回路1
1が接続されている。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、NTSC方式など
インターレースされた走査方式の映像信号を表示するテ
レビジョンなどの映像表示機器、特に16:9のアスペ
クト比をもつワイド受像機において、入力される映像信
号の形態に応じて走査線数を変換させることにより、た
とえばレターボックス形式の映像信号を映すとき、映像
信号のアスペクト比を変換し画面全面に映像を映すなど
して、最適なまたは所望の状態で映像を映像表示機器に
映すための走査線変換回路に関する。
【0002】
【従来の技術】NTSC方式のような4:3のアスペク
ト比のインターレース走査信号において、例えば映像の
上下をマスキングすることでワイドアスペクト化された
1フレームあたりの有効走査線が360本の映像信号が
ある。従来、この信号を、16:9のアスペクト比のワ
イド受像機の画面全面を使って映す場合、1フレームあ
たりの有効走査線数を480本に変換(3→4変換)す
ることにより、真円率を1にして映すという方法があ
る。
【0003】このような3→4変換に限らず、映像によ
っては別の比率の変換もあり得る。走査線数の変換の比
率は異なっても動作の基本的特徴は変わらないので、こ
こでは3→4変換の例で従来の走査線変換の技術を説明
する。
【0004】従来の走査線変換回路の一例として、フィ
ールド内での走査線変換を行う図22に示す構成があ
る。この走査線変換回路は、フィールド内信号処理によ
り、1フィールドあたりの有効走査線が180本の映像
信号から、1フィールドあたりの有効走査線が240本
の映像信号に変換する。図22に示す従来の走査線変換
回路では、所定のクロックでサンプリングされた入力映
像信号151を、映像信号の1フィールドあたりの有効
走査線数を180本から240本に変換するために、最
低60H分以上の容量をもつフィールドメモリ回路51
が接続されている。フィールドメモリ回路51には、フ
ィールドメモリ回路51の出力信号152を1H遅延す
るラインメモリ回路52が接続されている。ラインメモ
リ回路52には、ラインメモリ回路52の出力信号15
3を1H遅延するラインメモリ回路53が接続されてい
る。フィールドメモリ回路51とラインメモリ回路52
には、それぞれの出力信号152,153を選択して出
力する選択回路54が接続されている。ラインメモリ回
路52とラインメモリ回路53には、それぞれの出力信
号153,154を選択して出力する選択回路56が接
続されている。選択回路54には、選択回路54の出力
信号155に走査線毎に適切な係数を乗算する乗算回路
55が接続され、選択回路56には、選択回路56の出
力信号157に走査線毎に適切な係数を乗算する乗算回
路57が接続されている。乗算回路55と乗算回路57
には、それぞれの出力信号156,158を加算して出
力する加算回路58が接続されている。
【0005】図22に示す走査線変換回路の動作原理を
図23〜図26を参照しながら説明する。図23は、図
22に示す走査線変換回路の変換方法の一例である15
タップの直線補間フィルタによる走査線の垂直−時間の
直線補間の動作を表す。図24は、走査線変換における
アップサンプル処理、LPF処理、及びダウンサンプル
処理の垂直−振幅の様子を示す説明図である。図25
は、走査線変換における垂直−時間周波数スペクトルの
遷移を示す特性図である。図26は、この直線補間フィ
ルタの特性図である。
【0006】入力映像信号は、1フレームあたりの有効
走査線が360本のインターレース走査信号なので、図
24(a)に示す状態にある。図24において、白丸は
走査線の位置を、曲線上の黒丸は映像信号の振幅値を表
している。このときの入力映像信号のスペクトルを、図
25(a)に示す。図25(a)において、×印がサン
プリング周波数の高調波のスペクトルで、点線内が映像
信号の占有帯域である。まず、図24(b)に示すよう
に、白丸と白丸の間にある黒丸で表した零信号を挿入し
て、8倍に垂直方向のサンプリング周波数を上げて、3
60本と480本の最小公倍数である1440本の走査
線の順次走査信号にする。サンプリング周波数を上げた
ことにより、図25(b)に示すように、サンプリング
周波数の高調波のスペクトルは、○印の所に移る。この
とき、映像信号のスペクトルは、図24(a)と変わら
ない。
【0007】次に、この走査信号に対し、図23(b)
に示す直線補間を行う。この補間を行うのは15タップ
の直線補間フィルタであり、このフィルタは図25に示
すような特性をもち、その伝達関数Hv11(w)が、次
式(1)である。
【数1】 この直線補間により、走査信号は図24(c)のように
なる。
【0008】その後、図24(d)に示すように、1フ
レームあたりの有効走査線が480本のインターレース
走査信号になるように間引くことにより、図25(c)
に示すように、サンプリング周波数の高調波のスペクト
ルは、×印の所に移る。図25(C)が、図22に示す
走査線変換回路における3→4変換後の映像信号のスペ
クトルである。図25(c)からわかるように、垂直周
波数成分の中抜けが生じる。
【0009】上記の走査線変換回路の動作原理の説明で
は、アップサンプル、LPF、ダウンサンプルという3
段階の処理によって行っているが、実際に360本と4
80本の最小公倍数である走査線数1440本順次走査
信号に変換せずに、ひとまとめの処理として実現するこ
とができる。図24(a)の白丸で表された走査線か
ら、零補間して8倍にアップサンプルし、式(1)に示
す直線補間フィルタをかけ、図24(c)の白丸で表さ
れた走査線にした後、1/6に間引き、図24(d)の
白丸で表された走査線を得るので、式(1)と等価にな
るように、図24(a)の白丸で表された走査線から、
図24(d)の白丸で表された走査線を直接求めればよ
い。つまり間引かれる走査線は計算せず必要な走査線だ
けを計算するようにする。走査線変換後の映像信号を図
23(a)に示すように、係数が1の所ではそのまま用
い、その他の所では上下2本の走査線の距離に反比例し
た係数でつくる直線補間で求めることで、ひとまとめの
処理として実現することができる。以上に述べた走査線
変換回路の動作原理を、ひとまとめの処理として従来の
走査線変換回路で実現する様子を以下に説明する。
【0010】入力映像信号151は、フィールドメモリ
回路51に入力される。フィールドメモリ回路51は、
入力映像信号の1フィールドあたり180本の有効走査
線を240本に変換する処理を行う。入力される180
本の有効走査線は、1,2,3,4,5,6,7,8,
…,と順次フィールドメモリ回路51に書き込みが行わ
れる。読み出すときには、1,2,3,−,4,5,
6,−,7,8,…,と3本の走査線を読み出した後
に、1H分出力を禁止させる(−は出力禁止状態、また
数字は走査線を表す)。1,2,3,4,5,6,7,
8,…,と順次入力された走査線を、1,2,3,−,
4,5,6,−,7,8,…,と読み出すことで、18
0本の有効走査線を無信号状態の走査線を含めて、24
0本の有効走査線に変換する。よってフィールドメモリ
回路51の容量は、最低でも60H分以上必要である。
【0011】フィールドメモリ回路51の出力信号15
2は、ラインメモリ回路52、ラインメモリ回路53に
より、1H遅延した信号と、2H遅延した信号がつくら
れる。選択回路54は、フィールドメモリ回路51の出
力信号152と、それを1H遅延したラインメモリ回路
52の出力信号153を、図23(a)に示す直線補間
処理になるように選択し、乗算回路55は、同様に図2
3(a)に示す直線補間処理になるように、選択回路5
4の出力信号155に乗算する係数を走査線毎に変え
る。選択回路56は、ラインメモリ回路52の出力信号
153と、それを1H遅延したラインメモリ回路53の
出力信号154を、図23(a)に示す直線補間処理に
なるように選択し、乗算回路57は、同様に図23
(a)に示す直線補間処理になるように、選択回路56
の出力信号157に乗算する係数を走査線毎に変える。
加算回路58は、乗算回路55の出力信号156と、乗
算回路57の出力信号158を、図23(a)に示す直
線補間処理になるように加算する。以上の動作により、
図22に示す走査線変換回路による、フィールド内信号
処理を用いた3→4変換を行うことができる。
【0012】従来の走査線変換回路の別の一例として、
フィールド間での走査線変換を行う図27に示す構成が
ある。この走査線変換回路は、フィールド間信号処理に
より、1フィールドあたりの有効走査線が180本の連
続する2つのフィールドの映像信号を使って、1フィー
ルドあたりの有効走査線が360本の映像信号から、1
フィールドあたりの有効走査線が240本の映像信号に
変換する。図27に示す従来の走査線変換回路では、所
定のクロックでサンプリングされた入力映像信号160
は、映像信号の走査線数を連続する2つのフィールドの
360本から240本に変換するために、最低60H分
以上の容量をもつフィールドメモリ回路59と、最低2
40H分以上の容量をもつフィールドメモリ回路63が
接続されている。フィールドメモリ回路59には、フィ
ールドメモリ回路59の出力信号161を1H遅延する
ラインメモリ回路60が接続されている。
【0013】フィールドメモリ回路59とラインメモリ
回路60には、フィールドメモリ回路59の出力信号1
61とラインメモリ回路60の出力信号162を選択し
て出力する選択回路61が接続されている。選択回路6
1には、選択回路61の出力信号163に走査線ごとに
所定の係数を乗算する乗算回路62が接続されている。
フィールドメモリ回路63には、フィールドメモリ回路
63の出力信号165を1H遅延するラインメモリ回路
64が接続され、フィールドメモリ回路63とラインメ
モリ回路64には、フィールドメモリ回路63の出力信
号165とラインメモリ回路64の出力信号166を選
択して出力する選択回路65が接続されている。選択回
路65には、選択回路65の出力信号167に走査線毎
に適切な係数を乗算する乗算回路66が接続されてい
る。乗算回路62と乗算回路66には、それぞれの出力
信号164,168を加算して出力する加算回路67が
接続されている。
【0014】図27に示す走査線変換回路の動作原理を
次に説明する。図28は、図27に示す走査線変換回路
の変換方法の一例である7タップの直線補間フィルタに
よる走査線の垂直−時間の動作を表す。図29は、走査
線変換における垂直方向の、アップサンプル処理、LP
F処理、ダウンサンプル処理の走査線の垂直−振幅の様
子を示す図である。図30は、走査線変換における垂直
−時間周波数スペクトルの遷移を示す特性図である。図
31は、補間フィルタの特性図である。
【0015】入力映像信号は、1フレームあたりの有効
走査線が360本のインターレース走査信号なので、図
29(a)に示す状態にある。図29において、白丸は
走査線の位置を、曲線上の黒丸は映像信号の振幅値を表
している。このときの入力映像信号のスペクトルを、図
30(a)に示す。図30(a)において、×印がサン
プリング周波数の高調波のスペクトルで、点線内が映像
信号の占有帯域である。まず、図29(a)に示すよう
に、白丸と白丸の間にある黒丸で表した零信号を挿入し
て、2倍に垂直方向のサンプリング周波数を上げて倍速
変換を行い、1フィールドあたりの有効走査線数が36
0本順次走査信号にする。サンプリング周波数を上げた
ことにより、図30(b)に示すように、サンプリング
周波数の高調波のスペクトルは、○印の所に移る。この
とき、映像信号のスペクトルは、図30(a)と変わら
ない。
【0016】次に、この走査信号に前値補間を行う。こ
の補間を行うのは2タップの補間フィルタであり、この
フィルタの伝達関数Ht11(u)が、次式(2)となる Ht11(u)=(1+u-1) …(2) すなわち図28中の矢印で表しているように前フィール
ドの値で前値補間をすると、図29(b)のようにな
る。
【0017】次に、図29(c)に示すように、白丸と
白丸の間にある黒丸で表した零信号を挿入して、4倍に
垂直方向のサンプリング周波数を上げて、360本と4
80本の最小公倍数である1440本の走査線の順次走
査信号にする。サンプリング周波数を上げたことによ
り、図30(c)に示すように、サンプリング周波数の
高調波のスペクトルは、○印の所に移る。
【0018】さらに、この走査信号を図28(b)に示
す直線補間を行う。この補間を行うのは、7タップの直
線補間フィルタであり、このフィルタは図31(d)に
示す特性をもち、伝達関数Hv12(w)が、次式(3)
となる。
【数2】 このフィルタをかけることにより、走査信号は、図29
(d)のようになる。
【0019】その後、図29(e)に示すように、1フ
レームあたりの有効走査線が480本のインターレース
走査信号になるように間引くことにより、図30(d)
に示すように、サンプリング周波数の高調波のスペクト
ルは、×印の所に移る。図30(d)が、図27に示す
走査線変換回路における3→4変換後の映像信号のスペ
クトルである。図30(d)からわかるように、時間周
波数における高域成分が、垂直周波数における高域成分
に折り返る現象が生じる。
【0020】走査線変換回路の原理の説明では、アップ
サンプル、LPF、ダウンサンプルという3段階の処理
によって行っているが、図27に示すような構成にする
ことより、実際に360本と480本の最小公倍数であ
る走査線数1440本順次走査信号に変換せずに、ひと
まとめの処理として実現することができる。図29
(a)の白丸で表された走査線から、零補間して2倍に
アップサンプルし、式(2)に示す補間フィルタをかけ
て、図29(b)の白丸で表された走査線にする。再び
零補間して4倍にアップサンプルし、式(3)に示す直
線補間フィルタをかけて、図29(d)の白丸で表され
た走査線にする。その後、1/6に間引き、図29
(e)の白丸で表された走査線を得るので、式(2),
式(3)と等価になるように、図29(a)の白丸で表
された走査線から、図29(e)の白丸で表された走査
線を直接求めればよい。つまり間引かれる走査線は計算
せず必要な走査線だけを計算するようにする。走査線変
換後の映像信号を、前述の前値補間をした後、係数が1
の所ではそのまま用い、その他の所では上下2本の走査
線の距離に反比例した係数でつくる直線補間で求めるこ
とで、ひとまとめの処理として実現することができる。
【0021】以上に述べた走査線変換回路の動作原理
を、ひとまとめの処理として従来の走査線変換回路で実
現する様子を次に説明する。入力映像信号160は、フ
ィールドメモリ回路59とフィールドメモリ回路63に
入力される。フィールドメモリ回路59は、入力映像信
号の1フィールドあたり180本の有効走査線を240
本に変換する処理を行う。入力される180本の有効走
査線は、1,2,3,4,5,6,7,8,…,と順次
フィールドメモリ回路59に書き込みが行われる。読み
出すときには、1,2,3,−,4,5,6,−,7,
8,…,と3本の走査線を読み出した後に、1H分出力
を禁止させる(−は出力禁止状態、また数字は走査線を
表す)。1,2,3,4,5,6,7,8,…,と順次
入力された走査線を、1,2,3,−,4,5,6,
−,7,8,…,と読み出すことで、180本の有効走
査線を無信号状態の走査線を含めて、240本の有効走
査線に変換する。よってフィールドメモリ回路59の容
量は、最低でも60H分以上必要である。
【0022】フィールドメモリ回路59の出力信号16
1は、ラインメモリ回路60により、1H遅延した信号
がつくられる。選択回路61は、フィールドメモリ回路
59の出力信号161と、それを1H遅延したラインメ
モリ回路60の出力信号162を、図28(a)に示す
直線補間フィルタ処理になるように選択し、乗算回路6
2は、同様に図28(a)に示す直線補間フィルタ処理
になるように、選択回路61の出力信号163に乗算す
る係数を走査線毎に変える。フィールドメモリ回路63
は、入力映像信号の1フィールドあたり180本の有効
走査線を240本に変換する処理を行う。入力される1
80本の有効走査線は、1,2,3,4,5,6,7,
8,…,と順次フィールドメモリ回路59に書き込みが
行われる。読み出すときには、1,2,3,−,4,
5,6,−,7,8,…,と3本の走査線を読み出した
後に、1H分出力を禁止させる。1,2,3,4,5,
6,7,8,…,と順次入力された走査線を、1,2,
3,−,4,5,6,−,7,8,…,と読み出すこと
で、180本の有効走査線を無信号状態の走査線を含め
て、240本の有効走査線に変換する。
【0023】またフィールドメモリ回路59の出力と時
間的に整合をとるために、1フィールド分遅延させなけ
ればならない。よってフィールドメモリ回路63の容量
は、最低でも240H分以上必要である。フィールドメ
モリ回路63の出力信号165は、ラインメモリ回路6
4により、1H遅延した信号がつくられる。選択回路6
5は、フィールドメモリ回路63の出力信号165と、
それを1H遅延したラインメモリ回路64の出力信号1
66を、図28に示す直線補間フィルタ処理になるよう
に選択し、乗算回路66は、同様に図28に示す直線補
間フィルタ処理になるように、選択回路65の出力信号
167に乗算する係数を走査線毎に変える。加算回路6
7は、乗算回路62の出力信号164と、乗算回路66
の出力信号168を、図28に示す直線補間フィルタ処
理になるように加算する。以上の動作により、図27に
示す走査線変換回路における、フィールド内信号処理の
3→4変換を行うことができる。
【0024】
【発明が解決しようとする課題】従来の走査線変換回路
は、フィールド内の信号処理による走査線変換を行う場
合、その構成が小規模で済み、また映像の動領域におけ
る残像による劣化は起こらない。しかし、図25(c)
に示すように、垂直周波数成分の中抜けが生じることに
より、垂直周波数成分の高域の部分では、走査線変換を
行う前と後で周波数成分が変化する。そのため、例えば
1フレームに1本の横線があるような映像では走査線変
換後に二重線になるということが起こり、フィールド間
の信号処理による走査線補間に比べて、映像の静止領域
では、画質が極めて劣化する。
【0025】一方フィールド間の信号処理による走査線
変換を行う場合、フィールド内の信号処理による走査線
変換と異なり、映像の静止領域で画質が劣化することは
ない。しかし、そのため走査線変換回路の構成は大規模
になる。さらに、映像の動領域では、図30(d)から
わかるように、前値補間による時間方向のLPFのため
に、時間周波数の高域成分が失われ、さらに垂直周波数
の高域成分に折り返る現象が生じることにより、フィー
ルド間の相関性が低い領域では、残像などの雑音を発生
させ動きの不自然さも生じる。
【0026】そのため、従来の走査線変換回路では、残
像がなく垂直周波数成分の中抜けが起きないように、映
像のフィールド間もしくはフレーム間で動き検出を行
い、映像の静止領域ではフィールド間の信号処理による
走査線変換を、動領域ではフィールド内の信号処理によ
る走査線変換を行うという具合に、適切に両者を組み合
わせるという構成により実現する。すなわちフィールド
内の信号処理によって変換した走査線と、フィールド間
の信号処理によって変換した走査線を、映像の動きに応
じて重みを変えて合成して出力するというような構成に
することで、映像の静止領域では垂直解像度を損なうこ
となく、また映像の動領域では動きに対する残像などの
雑音を発生させることなく、走査線を変換できる。しか
し、その構成は、高度な動き検出回路などの複雑な処理
を含め、さらなる大規模な信号処理回路を必要とし、そ
のため非常に高価な構成となる。
【0027】本発明は、上記に示す問題点を解消するた
めになされたもので、比較的簡素な構成をもって、動領
域で残像がなく、静止領域で垂直解像度が劣化しない動
き適応型走査線変換回路を提供することを目的とする。
【0028】
【課題を解決するための手段】本発明は、所定のクロッ
クでサンプリングされた入力映像信号を順次書き込んだ
後読みだし時には一定期間順次読みだし一定期間読みだ
し禁止を繰り返す動作を行う第1のフィールドメモリ回
路と、該第1のフィールドメモリ回路の出力信号のフレ
ーム間での時間方向の高域成分を抽出する第1のテンポ
ラルハイパスフィルタ回路と、前記第1のフィールドメ
モリ回路の出力信号を1フィールド遅延する第2のフィ
ールドメモリ回路と、該第2のフィールドメモリ回路の
出力信号のフィールド間での時間方向の高域成分を抽出
する第2のテンポラルハイパスフィルタ回路と、前記第
1のテンポラルハイパスフィルタ回路の出力信号と前記
第2のテンポラルハイパスフィルタ回路の出力信号から
フィールド間での時間方向の高域成分を生成するフィー
ルド間適応化回路と、前記第1のフィールドメモリ回路
の出力信号を任意のライン分遅延させる第1の遅延回路
と、前記第1の遅延回路の出力信号から前記フィールド
間適応化回路の出力信号を減算する減算回路と、該減算
回路の出力信号にライン毎に適切な係数を乗算する第1
の乗算回路と、前記第2のフィールドメモリ回路の出力
信号を任意のライン分遅延させる第2の遅延回路と、該
第2の遅延回路の出力信号にライン毎に適切な係数を乗
算する第2の乗算回路と、前記第1の乗算回路の出力信
号と前記第2の乗算回路の出力信号を加算する加算回路
とを備え、フィールド間の信号処理による入力映像信号
の時間方向の変化に対応できることを特徴とする動き適
応型走査線変換回路である。
【0029】前記第1の遅延回路及び第2の遅延回路
は、入力信号を直列に繋いだ複数のラインメモリ回路
と、該ラインメモリ回路の出力を選択し出力する選択回
路とからなることを特徴とする。
【0030】前記第1のテンポラルハイパスフィルタ回
路は、入力信号を任意のライン分遅延させるために複数
のラインメモリを直列に繋いだ第1のフィルタ用ライン
メモリ回路と、該第1のフィルタ用ラインメモリ回路の
複数のラインメモリの出力を選択し出力する第1のフィ
ルタ用選択回路と、該第1のフィルタ用選択回路の出力
信号にライン毎に適切な係数を乗算する第1のフィルタ
用乗算回路と、前記入力信号を1フレーム遅延するフィ
ルタ用フレームメモリ回路と、該フレームメモリ回路の
出力信号を任意のライン分遅延させるために複数のライ
ンメモリを直列に繋いだ第2のフィルタ用ラインメモリ
回路と、該第2のフィルタ用ラインメモリ回路の複数の
ラインメモリの出力を選択し出力する第2のフィルタ用
選択回路と、該第2のフィルタ用選択回路の出力信号に
ライン毎に適切な係数を乗算する第2のフィルタ用乗算
回路と、前記第1のフィルタ用乗算回路の出力信号から
前記第2のフィルタ用乗算回路の出力信号を減算するフ
ィルタ用減算回路とからなることを特徴とする。
【0031】前記第2のテンポラルハイパスフィルタ回
路は、前記第1のテンポラルハイパスフィルタの構成に
おいて、フィルタ用フレームメモリ回路に替えてフィル
タ用フィールドメモリ回路を配置したことを特徴とす
る。
【0032】また、前記第2のテンポラルハイパスフィ
ルタ回路は、前記第1のテンポラルハイパスフィルタの
構成において、フィルタ用フレームメモリ回路に替えて
フィルタ用フィールドメモリ回路を配置し、さらに、第
1のフィルタ用ラインメモリ回路の複数のラインメモリ
の出力をそれぞれ選択し出力する第1のフィルタ用選択
回路を2個として、前記第1のフィルタ用選択回路のそ
れぞれの出力信号を加算するフィルタ用加算回路を配置
し、該フィルタ用加算回路に第1のフィルタ用乗算回路
を接続した構成でもよい。
【0033】前記フィールド間適応化回路は、前記第1
のテンポラルハイパスフィルタ回路の出力信号の振幅レ
ベルを検出しその振幅レベルに応じた制御信号を出力す
る信号レベル検出回路と、該信号レベル検出回路から出
力される制御信号により前記第2のテンポラルハイパス
フィルタ回路の出力信号の振幅レベルを制限して出力す
る信号レベル制御信号と、前記第1のテンポラルハイパ
スフィルタ回路の出力信号から前記信号レベル制御回路
の出力信号を減算する適応化回路用減算回路とからなる
ことを特徴とする。
【0034】また前記フィールド間適応化回路は、前記
第2のテンポラルハイパスフィルタ回路中の第1の選択
回路の出力信号と前記第1の加算回路の出力信号の振幅
レベルを比較した結果と前記第1のテンポラルハイパス
フィルタ回路の出力信号の振幅レベルからその振幅レベ
ルに応じた制御信号を出力する信号レベル比較回路と、
前記信号レベル比較回路から出力される制御信号により
前記第2のテンポラルハイパスフィルタ回路の出力信号
の振幅レベルを制限して出力する信号レベル制御回路
と、前記第1のテンポラルハイパスフィルタ回路の出力
信号から前記信号レベル制御回路の出力信号を減算する
適応化回路用減算回路とからなる構成でもよい。
【0035】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照しながら説明する。本実施形態は、NT
SC方式のように4:3のアスペクト比のインターレー
ス走査信号において、映像の上下をマスキングすること
でワイドアスペクト化された映像信号を、16:9のア
スペクト比のワイド受像機の画面全面を使って映す場合
の走査線変換装置である。つまり、1フレームあたりの
有効走査線が360本の映像信号を、1フレームあたり
の有効走査線数を480本に変換(3→4変換)するこ
とにより、真円率を1にもしくは1に近づけて映すとい
う走査線変換装置である。
【0036】図1は、本発明に係る動き適応型走査線変
換回路の一実施形態を示す構成ブロック図である。この
走査線変換回路は、フィールド間信号処理により、1フ
ィールドあたりの有効走査線が180本の連続する2つ
のフィールドの映像信号を使って、1フィールドあたり
の有効走査線が360本の映像信号から、1フィールド
あたりの有効走査線が240本の映像信号に変換する。
図1に示す走査線変換回路では、所定のクロックでサン
プリングされた入力映像信号101は、第1のフィール
ドメモリ回路1に入力される。第1のフィールドメモリ
回路1には、第1のテンポラルハイパスフィルタ(以後
T−HPFとする)回路2、第2のフィールドメモリ回
路3および第1の遅延回路6が接続されている。第2の
フィールドメモリ回路3には、第2のT−HPF回路4
および第2の遅延回路9が接続されている。第1のT−
HPF回路2および第2のT−HPF回路4には、フィ
ールド間適応化回路5が接続されている。フィールド間
適応化回路5および第1の遅延回路6には、減算回路7
が接続されている。減算回路7には、第1の乗算回路8
が接続されている。第2の遅延回路9には、第2の乗算
回路10が接続されている。第1の乗算回路8および第
2の乗算回路10には、加算回路11が接続されてい
る。加算回路11の出力信号112は、所定のクロック
でサンプリングされた入力映像信号101を走査線変換
した後の映像信号である。
【0037】図1に示す走査線変換回路の動作原理を図
2〜5を参照しながら説明する。図2は、図1に示す走
査線変換回路による変換方法の一例である7タップの直
線補間フィルタによる直線補間の動作を表した垂直−時
間の説明図である。図3は、走査線変換における垂直方
向の、アップサンプル処理、LPF処理、ダウンサンプ
ル処理の垂直−振幅の様子を示す説明図である。図4
は、走査線変換における垂直−時間周波数スペクトルの
遷移を示す特性図である。図5は、補間フィルタの特性
図である。
【0038】ここで入力映像信号は、1フレームあたり
の有効走査線が360本のインターレース走査信号なの
で、図3(a)に示す状態にある。図3において、白丸
は走査線の位置を、曲線上の黒丸は映像信号の振幅値を
表している。このときの入力映像信号のスペクトルを、
図4(a)に示す。図4(a)において、×印がサンプ
リング周波数の高調波のスペクトルで、点線内が映像信
号の占有帯域である。まず、図3(a)に示すように、
白丸と白丸の間にある黒丸で表した零信号を挿入して、
2倍に垂直方向のサンプリング周波数を上げて倍速変換
を行い、1フィールドあたりの有効走査線数が360本
順次走査信号にする。サンプリング周波数を上げたこと
により、図4(b)に示すように、サンプリング周波数
の高調波のスペクトルは、○印の所に移る。このとき、
映像信号のスペクトルは、図4(a)と変わらない。
【0039】次に、この走査信号に対して図2の矢印と
なる前値補間を行う。その補間を行うのは2タップの補
間フィルタであり、そのフィルタは図5(a)に示す特
性をもち、その伝達関数Ht21(u)が次式(4)であ
る。 Ht21(u)=(1+u-1) …(4) すなわち、フィルタをかけることにより、図2中の矢印
で表しているように後フィールドの値で前値補間をする
と、図3(b)のようになる。このとき本実施形態では
単純な前値補間ではなく、後フィールドの値は、後フィ
ールドの値から後フィールドと現フィールド間の差分を
引いたものである。
【0040】そのため次に、図3(c)に示すように、
白丸と白丸の間にある黒丸で表した零信号を挿入して、
4倍に垂直方向のサンプリング周波数を上げて、360
本と480本の最小公倍数である1440本の走査線の
順次走査信号にしたとき、図4(d)に示すように、白
抜きで表している領域の周波数成分は遮断され、またサ
ンプリング周波数を上げたことにより、サンプリング周
波数の高調波のスペクトルは、○印の所に移る。
【0041】さらに、この走査信号に対し図2(b)に
示す直線補間を行う。この直線補間を行う補間フィルタ
は、図5(b)に示す特性をもち、この伝達関数Hv21
(w)が、次式(5)である。
【数3】 この7タップの直線補間フィルタをかけると、図3
(d)のようになる。
【0042】その後、図3(e)に示すように、1フレ
ームあたりの有効走査線が480本のインターレース走
査信号になるように間引くことにより、図4(d)に示
すように、サンプリング周波数の高調波のスペクトル
は、×印の所に移る。図4(d)が、図1に示す走査線
変換回路における3→4変換後の映像信号のスペクトル
である。図4(d)からわかるように、従来のフィール
ド間の走査線変換において時間周波数における高域成分
が、垂直周波数における高域成分に折り返るような現象
は抑えられている。
【0043】走査線変換回路の原理の説明では、アップ
サンプル、LPF、ダウンサンプルという3段階の処理
によって行っているが、図1に示すような構成にするこ
とより、実際に360本と480本の最小公倍数である
走査線数1440本順次走査信号に変換せずに、ひとま
とめの処理として実現することができる。図3(a)の
白丸で表された走査線から、零補間して2倍にアップサ
ンプルし、式(4)に示す補間フィルタをかけて、図3
(b)の白丸で表された走査線にする。再び零補間して
4倍にアップサンプルし、式(5)に示す直線補間フィ
ルタをかけて、図3(d)の白丸で表された走査線にす
る。その後、インターレース走査信号になるように1/
6に間引き、図3(e)の白丸で表された走査線を得る
ので、式(4),式(5)を含む処理と等価になるよう
に、図3(a)の白丸で表された走査線から、図3
(e)の白丸で表された走査線を直接求めればよい。つ
まり間引かれる走査線は計算せず必要な走査線だけを計
算するように、走査線変換後の映像信号を、図2(a)
に示すような、前値補間をした後、係数が1の所ではそ
のまま用い、その他の所では上下2本の走査線の距離に
反比例した係数でつくる直線補間で求めることで、ひと
まとめの処理として実現することができる。
【0044】次に走査線変換回路の動作原理を、ひとま
とめの処理として本実施形態の走査線変換回路で実現す
る様子を説明する。入力映像信号101は、第1のフィ
ールドメモリ回路1に入力される。入力映像信号の走査
線数を連続する2つのフィールドの360本から240
本に変換するために、第1のフィールドメモリ回路1
は、最低60H分以上の容量をもち、入力映像信号の1
フィールドあたり180本の有効走査線を240本に変
換する処理を行う。入力される180本の有効走査線
は、1,2,3,4,5,6,7,8,…,と順次第1
のフィールドメモリ回路1に書き込みが行われる。読み
出すときには、1,2,3,−,4,5,6,−,7,
8,…,と3本の走査線を読み出した後に、1H分出力
を禁止させる(−は出力禁止状態、また数字は走査線を
表す)。1,2,3,4,5,6,7,8,…,と順次
入力された走査線を、1,2,3,−,4,5,6,
−,7,8,…,と読み出すことで、180本の有効走
査線を無信号状態の走査線を含めて、240本の有効走
査線に変換する。第1のフィールドメモリ回路1に接続
されている第1のT−HPF回路2により、第1のフィ
ールドメモリ回路1の出力信号102は、フレーム間に
おける時間方向の高域成分を抽出させられる。
【0045】図6は第1のT−HPF回路2を示す構成
ブロック図となっている。図6において、第1のフィー
ルドメモリ回路1の出力信号102は、入力信号を任意
のライン分遅延させるために複数のラインメモリを直列
に繋いだ第1のラインメモリ回路13に入力される。第
1のラインメモリ回路13中の各ラインメモリの出力タ
イミングを図7の上段に示す。図7の上段に示すライン
メモリの出力タイミングから、第1のラインメモリ回路
13中のラインメモリは2個使用していることになる
が、これは本実施形態の直線補間フィルタを7タップに
設定したためであり、直線補間ではなくより高次の補間
フィルタを用いれば、第1のラインメモリ回路13中の
ラインメモリ数は、さらに増える。
【0046】第1のフィルタドメモリ回路1の出力信号
102は、フレーム間における時間方向の高域成分を抽
出するため、入力信号を1フレーム分遅延させるフレー
ムメモリ回路16に入力される。フレームメモリ回路1
6の出力信号117は、入力信号を任意のライン分遅延
させるために複数のラインメモリを直列に繋いだ第2の
ラインメモリ回路18に入力される。第2のラインメモ
リ回路18中の各ラインメモリの出力タイミングを図7
の下段に示す。図7の下段に示すラインメモリの出力タ
イミングから、第2のラインメモリ回路18中のライン
メモリは2個使用していることになるが、これは本実施
形態の直線補間フィルタを7タップに設定したためであ
り、直線補間ではなくより高次の補間フィルタを用いれ
ば、第2のラインメモリ回路18中のラインメモリ数
は、さらに増える。
【0047】第1のラインメモリ回路13の複数のライ
ンメモリの出力信号114は、それぞれのラインメモリ
の出力を1H単位で選択し出力する第1の選択回路14
に入力される。第1の選択回路14は、図8に示す直線
補間フィルタ処理になるように選択し出力する。第1の
選択回路14の出力信号115は、第1の選択回路14
の出力信号115と適切な係数を乗算する第1の乗算回
路15に入力される。
【0048】第2のラインメモリ回路18の複数のライ
ンメモリの出力信号119は、それぞれのラインメモリ
の出力を1H単位で選択し出力する第2の選択回路19
に入力される。第2の選択回路19では、図8に示す直
線補間フィルタ処理になるように選択し、また第1の選
択回路14と時間的に1フレーム分ずれるように行う。
第2の選択回路19の出力信号120は、第2の選択回
路19の出力信号120と適切な係数を乗算する第2の
乗算回路20に入力される。第1の乗算回路15の出力
信号116および第2の乗算回路20の出力信号121
は、減算回路21に入力され、第1の乗算回路15の出
力信号116から第2の乗算回路20の出力信号121
を減算する。これら第1のT−HPF回路2の処理によ
り、第1のフィールドメモリ回路1の出力信号102
は、フレーム間における時間方向の高域成分を抽出させ
られる。
【0049】このとき第1の乗算回路15および第2の
乗算回路20の係数を例えばそれぞれα1,β1とすれ
ば、第1のT−HPF回路2は、伝達関数Ht22(u)
が、次式(6)である2タップのHPFとなる。 Ht22(u)=(α1−β1-2) …(6) 本実施形態を、α1=β1=1としているが、所望のHP
F特性になれば良いので、α1,β1の値は任意である。
【0050】第1のT−HPF回路2により抽出された
フレーム間における時間方向の高域成分は、入力映像信
号101が静止画像ならば基本的には存在しないため出
力されないが、入力映像信号101が動画像ならば存在
するため出力される。本実施形態において、入力映像信
号101が動画像の場合の走査線変換回路の変換動作の
映像信号の変遷を図9に例示する。第1のT−HPF回
路2中の第1の乗算回路15の出力信号116を図9
(a)、第2の乗算回路20の出力信号121を図9
(c)とすると、第1のT−HPF回路2の出力信号1
03は、図9(d)となる。第1のフィールドメモリ回
路1に接続されている第2のフィールドメモリ回路3に
より、第1のフィールドメモリ回路1の出力信号102
は、1フレーム分遅延させられる。第2のフィールドメ
モリ回路3は、図7および図8の関係を満足するよう
に、フィールド毎に262H遅延、263H遅延を切り
替える。
【0051】第2のフィールドメモリ回路3に接続され
ている第2のT−HPF回路4により、第2のフィール
ドメモリ回路3の出力信号104は、フィールド間にお
ける時間方向の高域成分を抽出させられる。第2のT−
HPF回路4は、図6に例示した第1のT−HPF回路
2の構成とほぼ同じであり、フィールド間の差分をとる
ために、フレームメモリのかわりにフィールドメモリに
なっている。そのため第2のT−HPF回路4は、伝達
関数Ht23(u)が、次式(7)である2タップのHP
Fとなる。 Ht23(u)=(α2−β2-1) …(7) 本実施形態では、α2=β2=1としているが、所望のH
PF特性になれば良いので、α2,β2の値は任意であ
る。
【0052】第2のT−HPF回路4により抽出された
フィールド間における時間方向の高域成分は、入力映像
信号101が静止画像ならば基本的には存在しないため
出力されない。フィールド間における同一ラインで相関
性が低い場合と入力映像信号101が動画像ならば、フ
ィールド間における時間方向の高域成分は存在するため
出力される。
【0053】入力映像信号101が動画像の場合の本実
施形態の走査線変換回路の変換動作の映像信号の変遷を
図9に例示する。第2のT−HPF回路4の出力信号1
05は、図9(e)となる。第1のT−HPF回路2と
第2のT−HPF回路4に接続されているフィールド間
適応化回路5により、現映像信号と1フィールド前の映
像信号の差分信号である新たなフィールド間における時
間方向の高域成分が生成される。つまりフィールド間適
応化回路5は、現映像信号と1フレーム前の映像信号の
差分信号である第1のT−HPF回路2の出力信号10
3と、1フィールド前の映像信号と1フレーム前の映像
信号の差分信号である第2のT−HPF回路4の出力信
号105から、この高域成分を生成する。
【0054】フィールド間適応化回路5の出力信号10
6は、図9(f)に示すように、現映像信号と1フィー
ルド前の映像信号の差分信号となっている。第1のフィ
ールドメモリ回路1の出力信号102は、任意のライン
分遅延させるために複数のラインメモリを直列に繋ぎ、
それぞれのラインメモリの出力を1H単位で選択し出力
する選択回路からなる第1の遅延回路6に、入力され
る。
【0055】図10は、第1の遅延回路6を示すブロッ
ク図である。図10において、第1のフィールドメモリ
回路1の出力信号102は、入力信号を任意のライン分
遅延させるために複数のラインメモリを直列に繋いだラ
インメモリ回路41に、入力される。ラインメモリ回路
41中の各ラインメモリの出力タイミングを図7の上段
に示す。図7の上段に示すラインメモリの出力タイミン
グから、ラインメモリ回路41中のラインメモリは2個
使用していることになるが、これは本実施形態の直線補
間フィルタを7タップに設定したためである。直線補間
ではなく、より高次の補間フィルタを用いれば、ライン
メモリ回路41中のラインメモリ数は、さらに増える。
ラインメモリ回路41の出力信号138は、それぞれの
ラインメモリの出力を1H単位で選択し出力する選択回
路42に入力される。選択回路42は、図8に示す直線
補間フィルタ処理になるように選択し出力する。
【0056】フィールド間適応化回路5と第1の遅延回
路6に接続されている減算回路7により、現映像信号で
ある第1の遅延回路6の出力信号107からと現映像信
号と1フィールド前の映像信号の差分信号であるフィー
ルド間適応化回路5の出力信号106を減算する。入力
映像信号101が静止画像ならば基本的にはフィールド
間適応化回路5の出力信号106は存在しないが、フィ
ールド間における同一ラインで相関性が低い場合と入力
映像信号101が動画像ならば存在するため出力され
る。
【0057】入力映像信号101が動画像の場合の本実
施形態の走査線変換回路の変換動作の映像信号の変遷を
図9に例示したが、減算回路7の出力信号108は図9
(g)となり、1フィールド前の映像信号と同じ信号に
なる。入力映像信号101が静止画像の場合の本実施形
態の走査線変換回路の変換動作の映像信号の変遷は例示
していないが、フィールド間適応化回路5の出力信号1
06は存在しないので減算回路7の出力信号108は、
1フィールド前の映像信号と同じ信号になることは自明
である。
【0058】第2のフィールドメモリ回路3の出力信号
104は、任意のライン分遅延させるために複数のライ
ンメモリを直列に繋ぎ、それぞれのラインメモリの出力
を1H単位で選択し出力する選択回路からなる第2の遅
延回路9に入力される。
【0059】図11は、第2の遅延回路9を示すブロッ
ク図である。図11において、第2のフィールドメモリ
回路3の出力信号104は、入力信号を任意のライン分
遅延させるために複数のラインメモリを直列に繋いだラ
インメモリ回路44に入力される。ラインメモリ回路4
4中の各ラインメモリの出力タイミングを図7の中段に
示す。図7の中段に示すラインメモリの出力タイミング
から、ラインメモリ回路44中のラインメモリは2個使
用していることになるが、これは本実施形態の直線補間
フィルタを7タップに設定したためである。直線補間で
はなくより高次の補間フィルタを用いれば、ラインメモ
リ回路44中のラインメモリ数は、さらに増える。ライ
ンメモリ回路44の出力信号140は、それぞれのライ
ンメモリの出力を1H単位で選択し出力する選択回路4
5に入力される。選択回路45は、図8に示す直線補間
フィルタ処理になるように選択し出力する。
【0060】減算回路7は、第1の乗算回路8に接続さ
れている。第1の乗算回路8は、図8に示す直線補間フ
ィルタ処理になるように、減算回路7の出力信号108
に乗算する係数を走査線毎に変える。第2の遅延回路9
は、第2の乗算回路10に接続されている。第2の乗算
回路10は、図8に示す直線補間フィルタ処理になるよ
うに、第2の遅延回路9の出力信号110に乗算する係
数を走査線毎に変える。第1の乗算回路8および第2の
乗算回路10は、加算回路11に接続されている。加算
回路11では、1フィールド前の映像信号である第2の
乗算回路10の出力信号111と、現映像信号から現映
像信号と1フィールド前の映像信号の差分信号を減算し
た第1の乗算回路8の出力信号109を、図8に示す直
線補間フィルタ処理になるように加算する。そのときの
映像信号は、図9(h)に示すような信号となる。
【0061】以上述べたように、本発明の走査線変換回
路の第1の実施形態では、1フィールドあたりの有効走
査線が180本の連続する2つのフィールドの映像信号
を使って、1フィールドあたりの有効走査線が360本
の映像信号から、1フィールドあたりの有効走査線が2
40本の映像信号に変換する。すなわち1フィールド前
の映像信号と、現映像信号から現映像信号と1フィール
ド前の映像信号の差分信号を減算した映像信号という連
続する2つのフィールドの映像信号を使って走査線変換
を行う。従って、映像信号の静止領域においては、入力
信号と同等の連続する2つのフィールドの映像信号から
変換するため、垂直方向の周波数の中抜けの発生を抑え
て走査線変換前の垂直方向の周波数成分を変換後でも再
現する。一方映像信号の動領域においては、1フィール
ド前の映像信号と1フィールド前と同等の映像信号から
変換するため、時間方向の相関性が低い領域でも残像な
どの雑音の発生を抑えて走査線の変換を行うことができ
る。
【0062】図12は、他の第2のT−HPF回路を示
すブロック図である。図12において、第2のフィール
ドメモリ回路3の出力信号104は、入力信号を任意の
ライン分遅延させるために複数のラインメモリを直列に
繋いだ第1のラインメモリ回路23に入力される。第1
のラインメモリ回路23中の各ラインメモリの出力タイ
ミングを図7の中段に示す。図7の中段に示すラインメ
モリの出力タイミングから、第1のラインメモリ回路2
3中のラインメモリは2個使用していることになるが、
これは本実施形態の直線補間フィルタを7タップに設定
したためであり、直線補間ではなくより高次の補間フィ
ルタを用いれば、第1のラインメモリ回路23中のライ
ンメモリ数は、さらに増える。
【0063】第2のフィールドメモリ回路3の出力信号
104は、フィールド間における時間方向の高域成分を
抽出するため、入力信号を1フィールド分遅延させるフ
ィールドメモリ回路28に入力される。フィールドメモ
リ回路28の出力信号128は、入力信号を任意のライ
ン分遅延させるために複数のラインメモリを直列に繋い
だ第2のラインメモリ回路30に入力される。第2のラ
インメモリ回路30中の各ラインメモリの出力タイミン
グを図7の下段に示す。図7の下段に示すラインメモリ
の出力タイミングから、第2のラインメモリ回路30中
のラインメモリは2個使用していることになるが、これ
は本実施形態の直線補間フィルタを7タップに設定した
ためである。直線補間ではなくより高次の補間フィルタ
を用いれば、第2のラインメモリ回路30中のラインメ
モリ数は、さらに増える。
【0064】第1のラインメモリ回路23の複数のライ
ンメモリの出力信号123は、それぞれのラインメモリ
の出力を1H単位で選択し出力する第1の選択回路2
4,25に入力される。第1の選択回路24,25は、
図8に示す直線補間フィルタ処理になるように選択し出
力する。第1の選択回路24,25の出力信号124,
125は、それぞれ加算回路26に入力される。加算回
路26は、図8に示す直線補間フィルタ処理になるよう
に、第1の選択回路24,25の出力信号124,12
5を加算し出力する。加算回路26の出力信号126
は、加算回路26の出力信号126と適切な係数を乗算
する第1の乗算回路27に入力される。第2のラインメ
モリ回路30の複数のラインメモリの出力信号130
は、それぞれのラインメモリの出力を1H単位で選択し
出力する第2の選択回路31に入力される。第2の選択
回路31では、図8に示す直線補間フィルタ処理になる
ように選択し、また第1の選択回路24,25と時間的
に1フィールド分ずれるように行う。第2の選択回路3
1の出力信号131は、第2の選択回路31の出力信号
131に適切な係数を乗算する第2の乗算回路32に入
力される。第1の乗算回路27の出力信号127および
第2の乗算回路32の出力信号132は、減算回路33
に入力され、第1の乗算回路27の出力信号127から
第2の乗算回路32の出力信号132を減算する。
【0065】第2のT−HPF回路の処理により、第2
のフィールドメモリ回路3の出力信号104は、フィー
ルド間における時間方向の高域成分を抽出させられる。
このとき第1の乗算回路27および第2の乗算回路32
の係数を例えばそれぞれα3,β3とすれば、伝達関数H
24(u)は、次式(8)である2タップのHPFとな
る。 Ht24(u)=(α3−β3-1) …(8) 本実施形態では、α3=β3=1としているが、所望のH
PF特性になれば良いので、α3,β3の値は任意であ
る。
【0066】本発明の走査線変換回路の第2のT−HP
F回路により抽出されたフィールド間における時間方向
の高域成分は、1フィールド前の映像信号から、伝達関
数Hv22(w)が次式(9)である3タップの直線補間
フィルタをかけて生成する。
【数4】 すなわち、この直線補間フィルタをかけて生成した信号
は、連続する2本の走査線の相加平均して生成した走査
線と現映像信号との差分信号なので、時間方向のみの高
域成分となる。従って、前述の第2のT−HPF回路の
ように、1本の走査線と現映像信号との差分信号に比べ
て、精度がより高くなる。この時間方向の高域成分は、
映像信号101が静止画像ならば基本的には存在しない
ため出力されないが、フィールド間における同一ライン
で相関性が低い場合と入力映像信号101が動画像なら
ば存在するためを出力される。
【0067】こうして、この第2のT−HPF回路を用
いた走査線変換回路では、更に高精度に時間方向の高域
成分を効果的に除去しているので、映像の静止領域では
映像に重畳している雑音を抑圧し画質の改善ができると
いう、動き適応型の走査線の変換を行うことができる。
【0068】図13は、フィールド間適応化回路の一例
を示すブロック図である。図13において、第1のT−
HPF回路2の出力信号103は、第1のT−HPF回
路2の出力信号103の振幅レベルを検出し、振幅レベ
ルに応じた制御信号を出力する信号レベル検出回路34
に入力される。信号レベル検出回路34の出力信号13
3は、第2のT−HPF回路4の出力信号105の振幅
レベルを信号レベル検出回路34の出力信号133に応
じて制限する信号レベル制御回路35に入力される。
【0069】信号レベル検出回路35の動作は、図14
を参照しながら説明する。第1のT−HPF回路2の出
力信号103の振幅レベルPIN(ただし−P≦PIN
P,−P≦−P2≦−P1≦P1≦P2≦P)が、−P
1≦PIN≦P1ならば第2のT−HPF回路4の出力信
号105の振幅レベルは、0に制限される。第1のT−
HPF回路2の出力信号103の振幅レベルPINが、−
P2≦PIN<−P1またはP1<PIN≦P2ならば第2
のT−HPF回路4の出力信号105の振幅レベルは、
−K(PIN+P1)またはK(PIN−P1)に制限され
る(ただし0≦K≦1)。第1のT−HPF回路2の出
力信号103の振幅レベルPINが、−P≦PIN<−P2
またはP2<PIN≦Pならば第2のT−HPF回路4の
出力信号105の振幅レベルは、−QまたはQに制限さ
れる(ただし−P≦−Q,Q≦P)。減算回路36は、
第1のT−HPF回路2の出力信号103から信号レベ
ル制御回路35の出力信号134を減算し、フィールド
間適応化回路の出力信号106を出力する。
【0070】以上述べたように、このフィールド間適応
化回路を用いた走査線変換回路は、1フィールド前の映
像信号と、現映像信号から現映像信号と1フィールド前
の映像信号の差分信号を減算した映像信号という連続す
る2つのフィールドの映像信号を使って走査線変換を行
い、その際現映像信号と1フィールド前の映像信号の差
分信号はフレーム間の差分信号より大きくなることはな
い。従って、映像信号の静止領域においては、入力信号
と同等の連続する2つのフィールドの映像信号から変換
するため、垂直方向の周波数の中抜けの発生を極力抑え
て走査線変換前の垂直方向の周波数成分を変換後でも再
現することができる。
【0071】図15は、フィールド間適応化回路の他の
例を示すブロック図である。図15において、第1のT
−HPF回路2の出力信号103は、第1のT−HPF
回路2の出力信号103の振幅レベルを検出し、図12
に示した第2のT−HPF回路中の垂直補間前後の信号
124,126に応じた制御信号を出力する信号レベル
比較回路37に入力される。信号レベル比較回路37の
出力信号135は、第2のT−HPF回路4の出力信号
105の振幅レベルを信号レベル比較回路37の出力信
号135に応じて制限する信号レベル制御回路38に入
力される。
【0072】信号レベル制御回路38の動作は、図16
を参照しながら説明する。第1のT−HPF回路2の出
力信号103の振幅レベルPIN(ただし−P≦PIN
P,−P≦−P2≦−P1≦P1≦P2≦P)が、−P
1≦PIN≦P1ならば第2のT−HPF回路4の出力信
号105の振幅レベルは、−QまたはQに制限される
(ただし−P≦−Q,Q≦P)。第1のT−HPF回路
2の出力信号103の振幅レベルPINが、−P2≦PIN
<−P1またはP1<PIN≦P2ならば第2のT−HP
F回路4の出力信号105の振幅レベルは、−Q+K
(PIN+P1)またはQ−K(PIN−P1)に制限され
る(ただし0≦K≦1)。第1のT−HPF回路2の出
力信号103の振幅レベルPINが、−P≦PIN<−P2
またはP2<PIN≦Pならば第2のT−HPF回路4の
出力信号105の振幅レベルは、0に制限される。減算
回路39は、第1のT−HPF回路2の出力信号103
から信号レベル制御回路38の出力信号136を減算
し、フィールド間適応化回路の出力信号106を出力す
る。
【0073】以上述べたように、このフィールド間適応
化回路を用いた走査線変換回路は、1フィールド前の映
像信号と、現映像信号から現映像信号と1フィールド前
の映像信号の差分信号を減算した映像信号という連続す
る2つのフィールドの映像信号を使って走査線変換を行
う。その際現映像信号と1フィールド前の映像信号の差
分信号は垂直方向の周波数成分が高いとき大きくする
が、フレーム間の差分信号より大きくなることはないの
で、映像信号の静止領域においては、入力信号と同等の
連続する2つのフィールドの映像信号から変換する。従
って、垂直方向の周波数の中抜けの発生を極力抑えて走
査線変換前の垂直方向の周波数成分を変換後でも再現す
ることができる。
【0074】図17、図18、図19及び図20は、第
1のT−HPF回路、第1の遅延回路、第2の遅延回路
及び第2のT−HPF回路の他の例を示すブロック図で
ある。これらは、図6、図10、図11、図12に示し
た第1のT−HPF回路、第1の遅延回路、第2の遅延
回路及び第2のT−HPF回路T−HPF回路に対して
実線で囲んだラインメモリを含む構成となっている。す
なわち、複数のラインメモリを擁するラインメモリの前
段に時間軸圧縮処理ラインメモリ回路を備えたものであ
る。この時間軸圧縮処理ラインメモリは、図12に示す
ように、入力映像信号をサンプリングした所定の周波数
のクロックで順次書き込んだ後読みだし時には2倍の周
波数のクロックで同じラインを2回繰り返して読み出す
動作を行う時間軸圧縮処理をするので、図10に示すよ
うに、倍速動作の順次走査方式の信号に変換できる。
【0075】以上述べたように、時間軸圧縮処理ライン
メモリを擁した第1のT−HPF回路、第1の遅延回
路、第2の遅延回路及び第2のT−HPF回路を備える
走査線変換回路では、1フィールドあたりの有効走査線
が180本の連続する2つのフィールドの映像信号を使
って、1フィールドあたりの有効走査線が360本の映
像信号から、1フィールドあたりの有効走査線が240
本の映像信号に変換する。すなわち1フィールド前の映
像信号と、現映像信号から現映像信号と1フィールド前
の映像信号の差分信号を減算した映像信号という連続す
る2つのフィールドの映像信号を使って走査線変換を行
い、その際現映像信号と1フィールド前の映像信号の差
分信号は垂直方向の周波数成分が高いとき大きくしかし
フレーム間の差分信号より大きくなることはないので、
映像信号の静止領域においては、入力信号と同等の連続
する2つのフィールドの映像信号から変換するため、垂
直方向の周波数の中抜けの発生を極力抑えて走査線変換
前の垂直方向の周波数成分を変換後でも再現する。
【0076】一方映像信号の動領域においては、1フィ
ールド前の映像信号と1フィールド前と同等の映像信号
から変換するため、時間方向の相関性が低い領域でも残
像などの雑音の発生を極力抑えて走査線の変換を行うこ
とができる。加えてインターレース走査方式の入力映像
信号を倍速動作の順次走査方式の信号に変換しながら、
動き適応型の走査線の変換を行うことができる。
【0077】
【発明の効果】本発明によれば、1フィールド前の映像
信号と、現映像信号から現映像信号と1フィールド前の
映像信号の差分信号を減算した映像信号という連続する
2つのフィールドの映像信号を使って走査線変換を行う
から、映像信号の静止領域においては、入力信号と同等
の連続する2つのフィールドの映像信号から変換するた
め、垂直方向の周波数の中抜けの発生を抑えて走査線変
換前の垂直方向の周波数成分を変換後でも再現する。一
方映像の動領域においては、1フィールド前の映像信号
と1フィールド前と同等の映像信号から変換するため、時
間方向の相関性が低い領域でも残像などの雑音の発生を
抑えて走査線の変換を行うことができる。
【0078】また映像の静止領域と動領域それぞれに最
適な走査線変換を行うがその判別を行うための動き検出
回路を特別設ける必要も無く、回路の初段で走査線数を
疑似的に増やしているため簡素に安価な構成とすること
ができる。さらにテンポラルハイパスフィルタ回路を具
備し、時間方向の高域成分を効果的に除去しているので
映像の静止領域では映像に重畳している雑音を抑圧し画
質の改善ができるという、動き適応型の走査線の変換を
行うことができる。
【0079】更に、時間軸圧縮処理ラインメモリを擁し
た第1のT−HPF回路、第1の遅延回路、第2の遅延
回路及び第2のT−HPF回路を備える走査線変換回路
とすることで、入力映像信号をサンプリングした所定の
周波数のクロックで順次書き込んだ後読みだし時には2
倍の周波数のクロックで同じラインを2回繰り返して読
み出す動作を行う時間軸圧縮処理ラインメモリ回路を具
備されているから、インターレース走査方式の入力映像
信号を倍速動作の順次走査方式の信号に変換しながら、
動き感応型の走査線の変換を行うことができる。
【図面の簡単な説明】
【図1】本発明に係る走査線変換回路の一実施形態を示
すブロック図である。
【図2】図1の走査線変換回路による走査線の垂直−時
間の補間動作を示す説明図である。
【図3】図1の走査線変換回路による各処理における走
査線の垂直−振幅を示す説明図である。
【図4】図1の走査線変換回路による走査線変換の垂直
−時間周波数スペクトルを示す特性図である。
【図5】図1の走査線変換回路による補間フィルタの特
性図である。
【図6】図1の走査線変換回路における第1のT−HP
F回路の一例を示すブロック図である。
【図7】図1の走査線変換回路における各回路のライン
メモリの出力タイミングを示すタイミングチャートであ
る。
【図8】図1の走査線変換回路における各回路の補間動
作による走査線の垂直−時間を示す説明図である。
【図9】図1の走査線変換回路による変換動作の映像信
号の変遷を示す波形図である。
【図10】図1の走査線変換回路における第1の遅延回
路の一例を示すブロック図である。
【図11】図1の走査線変換回路における第2の遅延回
路の一例を示すブロック図である。
【図12】図1の走査線変換回路における第2のT−H
PF回路の一例を示すブロック図である。
【図13】図1の走査線変換回路におけるフィールド間
適応化回路の一例を示すブロック図である。
【図14】図13のフィールド間適応化回路の動作特性
を示す特性図である。
【図15】図1の走査線変換回路におけるフィールド間
適応化回路の他の例を示すブロック図である。
【図16】図15のフィールド間適応化回路の動作特性
を示す特性図である。
【図17】図1の走査線変換回路における第1のT−H
PF回路の他の例を示すブロック図である。
【図18】図1の走査線変換回路における第1の遅延回
路の他の例を示すブロック図である。
【図19】図1の走査線変換回路における第2の遅延回
路の他の例を示すブロック図である。
【図20】図1の走査線変換回路における第2のT−H
PF回路の他の例を示すブロック図である。
【図21】図17〜図20の各回路のラインメモリの出
力タイミングを示すタイミングチャートである。
【図22】従来のフィールド内走査線変換回路を示すブ
ロック図である。
【図23】従来のフィールド内走査線変換回路による走
査線の垂直−時間の補間動作を示す説明図である。
【図24】従来のフィールド内走査線変換回路による各
処理における走査線の垂直−振幅を示す説明図である。
【図25】従来のフィールド内走査線変換回路による走
査線変換の垂直−時間周波数スペクトルを示す特性図で
ある。
【図26】従来のフィールド内走査線変換回路による補
間フィルタの特性図である。
【図27】従来のフィールド間走査線変換回路を示すブ
ロック図である。
【図28】従来のフィールド間走査線変換回路による走
査線の垂直−時間の補間動作を示す説明図である。
【図29】従来のフィールド間走査線変換回路による各
処理における走査線の垂直−振幅を示す説明図である。
【図30】従来のフィールド間走査線変換回路による走
査線変換の垂直−時間周波数スペクトルを示す特性図で
ある。
【図31】従来のフィールド内走査線変換回路による補
間フィルタの特性図である。
【符号の説明】
1,3,28,51,59,63 フィールドメモリ回
路 2,4 T−HPF回路 5 フィールド間適応化回路 6,9 遅延回路 7,21,33,36,39 減算回路 8,10,15,20,27,32,55,57,6
2,66 乗算回路 11,26,58,67 加算回路 12,13,17,18,22,23,29,30,4
0,41,43,44,52,53,60,64 ライ
ンメモリ回路 14,19,24,25,31,42,45,54,5
6,61,65 選択回路 16 フレームメモリ回路 34 信号レベル検出回路 35,38 信号レベル制御回路 37 信号レベル比較回路

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 所定のクロックでサンプリングされた入
    力映像信号を順次書き込んだ後読みだし時には一定期間
    順次読みだし一定期間読みだし禁止を繰り返す動作を行
    う第1のフィールドメモリ回路と、 該第1のフィールドメモリ回路の出力信号のフレーム間
    での時間方向の高域成分を抽出する第1のテンポラルハ
    イパスフィルタ回路と、 前記第1のフィールドメモリ回路の出力信号を1フィー
    ルド遅延する第2のフィールドメモリ回路と、 該第2のフィールドメモリ回路の出力信号のフィールド
    間での時間方向の高域成分を抽出する第2のテンポラル
    ハイパスフィルタ回路と、 前記第1のテンポラルハイパスフィルタ回路の出力信号
    と前記第2のテンポラルハイパスフィルタ回路の出力信
    号からフィールド間での時間方向の高域成分を生成する
    フィールド間適応化回路と、 前記第1のフィールドメモリ回路の出力信号を任意のラ
    イン分遅延させる第1の遅延回路と、 該第1の遅延回路の出力信号から前記フィールド間適応
    化回路の出力信号を減算する減算回路と、 該減算回路の出力信号にライン毎に適切な係数を乗算す
    る第1の乗算回路と、 前記第2のフィールドメモリ回路の出力信号を任意のラ
    イン分遅延させる第2の遅延回路と、 該第2の遅延回路の出力信号にライン毎に適切な係数を
    乗算する第2の乗算回路と、 前記第1の乗算回路の出力信号と前記第2の乗算回路の
    出力信号を加算する加算回路と、を備え、 フィールド間の信号処理による入力映像信号の時間方向
    の変化に対応できることを特徴とする動き適応型走査線
    変換回路。
  2. 【請求項2】 前記第1の遅延回路及び第2の遅延回路
    は、入力信号を直列に繋いだ複数のラインメモリ回路
    と、各々の該ラインメモリ回路の出力を選択し出力する
    選択回路とからなることを特徴とする請求項1記載の動
    き適応型走査線変換回路。
  3. 【請求項3】 前記第1のテンポラルハイパスフィルタ
    回路は、 入力信号を任意のライン分遅延させるために複数のライ
    ンメモリを直列に繋いだ第1のフィルタ用ラインメモリ
    回路と、 該第1のフィルタ用ラインメモリ回路の複数のラインメ
    モリの出力を選択し出力する第1のフィルタ用選択回路
    と、 該第1のフィルタ用選択回路の出力信号にライン毎に適
    切な係数を乗算する第1のフィルタ用乗算回路と、 前記入力信号を1フレーム遅延するフィルタ用フレーム
    メモリ回路と、 該フレームメモリ回路の出力信号を任意のライン分遅延
    させるために複数のラインメモリを直列に繋いだ第2の
    フィルタ用ラインメモリ回路と、 該第2のフィルタ用ラインメモリ回路の複数のラインメ
    モリの出力を選択し出力する第2のフィルタ用選択回路
    と、 該第2のフィルタ用選択回路の出力信号にライン毎に適
    切な係数を乗算する第2のフィルタ用乗算回路と、 前記第1のフィルタ用乗算回路の出力信号から前記第2
    のフィルタ用乗算回路の出力信号を減算するフィルタ用
    減算回路と、からなることを特徴とする請求項1記載の
    動き適応型走査線変換回路。
  4. 【請求項4】 前記第2のテンポラルハイパスフィルタ
    回路は、 入力信号を任意のライン分遅延させるために複数のライ
    ンメモリを直列に繋いだ第1のフィルタ用ラインメモリ
    回路と、 該第1のフィルタ用ラインメモリ回路の複数のラインメ
    モリの出力を選択し出力する第1のフィルタ用選択回路
    と、 該第1のフィルタ用選択回路の出力信号にライン毎に適
    切な係数を乗算する第1のフィルタ用乗算回路と、 前記入力信号を1フィールド遅延するフィルタ用フィー
    ルドメモリ回路と、 該フィルタ用フィールドメモリ回路の出力信号を任意の
    ライン分遅延させるために複数のラインメモリを直列に
    繋いだ第2のフィルタ用ラインメモリ回路と、 該第2のフィルタ用ラインメモリ回路の複数のラインメ
    モリの出力を選択し出力する第2のフィルタ用選択回路
    と、 該第2のフィルタ用選択回路の出力信号にライン毎に適
    切な係数を乗算する第2のフィルタ用乗算回路と、 前記第1のフィルタ用乗算回路の出力信号から前記第2
    のフィルタ用乗算回路の出力信号を減算するフィルタ用
    減算回路と、からなることを特徴とする請求項1記載の
    動き適応型走査線変換回路。
  5. 【請求項5】 前記第2のテンポラルハイパスフィルタ
    回路は、 入力信号を任意のライン分遅延させるために複数のライ
    ンメモリを直列に繋いだ第1のフィルタ用ラインメモリ
    回路と、 該第1のフィルタ用ラインメモリ回路の複数のラインメ
    モリの出力を選択し出力する2個の第1のフィルタ用選
    択回路と、 該第1のフィルタ用選択回路の出力信号を加算するフィ
    ルタ用加算回路と、 該フィルタ用加算回路の出力信号にライン毎に適切な係
    数を乗算する第1のフィルタ用乗算回路と、 前記入力信号を1フィールド遅延するフィルタ用フィー
    ルドメモリ回路と、 該フィルタ用フィールドメモリ回路の出力信号を任意の
    ライン分遅延させるために複数のラインメモリを直列に
    繋いだ第2のフィルタ用ラインメモリ回路と、 該第2のフィルタ用ラインメモリ回路の複数のラインメ
    モリの出力を選択し出力する第3のフィルタ用選択回路
    と、 該第3のフィルタ用選択回路の出力信号にライン毎に適
    切な係数を乗算する第2のフィルタ用乗算回路と、 前記第1のフィルタ用乗算回路の出力信号から前記第2
    のフィルタ用乗算回路の出力信号を減算するフィルタ用
    減算回路と、からなることを特徴とする請求項1記載の
    動き適応型走査線変換回路。
  6. 【請求項6】 前記フィールド間適応化回路は、 前記第1のテンポラルハイパスフィルタ回路の出力信号
    の振幅レベルを検出しその振幅レベルに応じた制御信号
    を出力する信号レベル検出回路と、 該信号レベル検出回路から出力される制御信号により前
    記第2のテンポラルハイパスフィルタ回路の出力信号の
    振幅レベルを制限して出力する信号レベル制御信号と、 前記第1のテンポラルハイパスフィルタ回路の出力信号
    から前記信号レベル制御回路の出力信号を減算する適応
    化回路用減算回路と、からなることを特徴とする請求項
    1記載の動き適応型走査線変換回路。
  7. 【請求項7】 前記フィールド間適応化回路が、 前記第2のテンポラルハイパスフィルタ回路中の第1の
    選択回路の出力信号と前記第1の加算回路の出力信号の
    振幅レベルを比較した結果と前記第1のテンポラルハイ
    パスフィルタ回路の出力信号の振幅レベルからその振幅
    レベルに応じた制御信号を出力する信号レベル比較回路
    と、 該信号レベル比較回路から出力される制御信号により前
    記第2のテンポラルハイパスフィルタ回路の出力信号の
    振幅レベルを制限して出力する信号レベル制御回路と、 前記第1のテンポラルハイパスフィルタ回路の出力信号
    から前記信号レベル制御回路の出力信号を減算する適応
    化回路用減算回路と、からなることを特徴とする請求項
    1記載の動き適応型走査線変換回路。
JP28567795A 1995-11-02 1995-11-02 動き適応型走査線変換回路 Expired - Fee Related JP3392602B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP28567795A JP3392602B2 (ja) 1995-11-02 1995-11-02 動き適応型走査線変換回路

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP28567795A JP3392602B2 (ja) 1995-11-02 1995-11-02 動き適応型走査線変換回路

Publications (2)

Publication Number Publication Date
JPH09130746A true JPH09130746A (ja) 1997-05-16
JP3392602B2 JP3392602B2 (ja) 2003-03-31

Family

ID=17694628

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28567795A Expired - Fee Related JP3392602B2 (ja) 1995-11-02 1995-11-02 動き適応型走査線変換回路

Country Status (1)

Country Link
JP (1) JP3392602B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100323663B1 (ko) * 1999-06-30 2002-02-07 구자홍 디인터레이싱 장치 및 방법
KR100323662B1 (ko) * 1999-06-16 2002-02-07 구자홍 디인터레이싱 장치 및 방법
KR100323664B1 (ko) * 1999-07-10 2002-02-07 구자홍 디인터레이싱 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100323662B1 (ko) * 1999-06-16 2002-02-07 구자홍 디인터레이싱 장치 및 방법
KR100323663B1 (ko) * 1999-06-30 2002-02-07 구자홍 디인터레이싱 장치 및 방법
KR100323664B1 (ko) * 1999-07-10 2002-02-07 구자홍 디인터레이싱 장치

Also Published As

Publication number Publication date
JP3392602B2 (ja) 2003-03-31

Similar Documents

Publication Publication Date Title
US4789893A (en) Interpolating lines of video signals
JP2000056743A (ja) 適応走査ラスタ変換方法及び装置
JPS63313979A (ja) ディジタルテレビジョン画像の動きを補償した補間方法
JPH1070708A (ja) 非インターレース化装置
JPH07131761A (ja) テレビジョン信号処理回路
JPH0754966B2 (ja) 輪郭補正回路
JPH11220701A (ja) 走査線変換装置及びフリッカ除去装置
US6392706B1 (en) Apparatus and method of moving picture format conversion
JP2000056744A (ja) 重み付きメディアンフィルタ補間装置
US6674478B2 (en) Image processing apparatus, method and providing medium
JP3332093B2 (ja) テレビジョン信号処理装置
JP3392602B2 (ja) 動き適応型走査線変換回路
JP3258999B2 (ja) 走査線変換装置
EP0496451B1 (en) Non-linear signal processor
JPH11308577A (ja) 走査線補間回路
JP3157706B2 (ja) 映像信号処理装置
JP2779007B2 (ja) ノイズ低減回路
JP3292233B2 (ja) 補間処理回路
JPS6346881A (ja) デジタル輪郭補正回路
JPH10145817A (ja) 画像信号のip変換およびフォ−マット変換の信号処理回路
JP3415883B2 (ja) 画像拡大圧縮回路
JP3879972B2 (ja) 映像信号処理回路
JPH1098694A (ja) 画像信号の走査変換方法及び回路
JP3772427B2 (ja) フリッカ除去装置
JP3545577B2 (ja) 走査線変換装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080124

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090124

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100124

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110124

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120124

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130124

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees