JPH1032729A - ビデオ信号用補間フィルタ - Google Patents

ビデオ信号用補間フィルタ

Info

Publication number
JPH1032729A
JPH1032729A JP9026671A JP2667197A JPH1032729A JP H1032729 A JPH1032729 A JP H1032729A JP 9026671 A JP9026671 A JP 9026671A JP 2667197 A JP2667197 A JP 2667197A JP H1032729 A JPH1032729 A JP H1032729A
Authority
JP
Japan
Prior art keywords
signal
value
pixel
pixels
spatial correlation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9026671A
Other languages
English (en)
Other versions
JP3962876B2 (ja
Inventor
Pereira Ricardo Albert Marques
アルベルト マルケス ペレイラ リカルド
Massimo Mancuso
マンクーソ マッシモ
Rinaldo Poluzzi
ポルッツィ リナルド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
STMicroelectronics SRL
Original Assignee
SGS Thomson Microelectronics SRL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SGS Thomson Microelectronics SRL filed Critical SGS Thomson Microelectronics SRL
Publication of JPH1032729A publication Critical patent/JPH1032729A/ja
Application granted granted Critical
Publication of JP3962876B2 publication Critical patent/JP3962876B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012Conversion between an interlaced and a progressive signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 (修正有) 【課題】 フィールド内及びフィールド間の両モードで
動作しうる補間フィルタを提供する。 【解決手段】 画像エッジを検出する第1回路手段(R1-
R3,L1-L3,C,7-9) と、前記画像エッジの方向に沿う画素
の平均値に対応する第1信号(DDA) を発生する第2回路
手段(10)と、画像エッジを一義的に決定し得ないテクス
チャ領域を決定するとともに、画像エッジの存在の程度
に依存する第2信号(K) を発生する第3回路手段(11,1
2,13)と、第1信号(DAA) を第3信号(Mout)と第2信号
(K) により決まる割合で合成して得られる出力信号(SWo
ut) を発生する第4回路手段(14)と、制御信号(CNT) に
より制御され、前記第3信号(Mout)を規定の方向に沿う
画素の平均値に対応する第4信号(A) 又は前受信画素値
に対応する第5信号(PF)に選択的に結合するマルチプレ
クサ手段(15)とを具える。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、高画質ビデオ機
器、特にTVセット用のエッジオリエンテッドフィール
ド間/フィールド内補間フィルタに関するものである。
【0002】
【従来の技術】標準のインタレース走査テレビジョン
(TV)信号は、各フレームが2つの連続するインタレ
ース走査フィールドからなり、各フィールドが所定数の
ライン(偶数ライン又は奇数ライン)からなるため、時
間的に標本化された構造を有することが既知である。
【0003】TV信号の標本化構造は幾つかの問題の原
因になる。例えば、”ラスタの可視性”、”ラインフリ
ッカ”、”ラインクローリング”として当業者に既知の
問題がTV信号のインタレース構造に関連するととも
に、”フィールドフリッカ”のような問題がフィールド
周波数に関連する。これらの問題を送信TV信号の標準
規格を変更することなく解消する、又は少なくとも軽減
する既知の技術では受信側でディジタル信号処理を行
う。
【0004】このような技術は実際上補間アルゴリズム
に基づいており、2つのカテゴリ、即ちインタレース走
査−順次走査変換(IPC)とフィールド周波数アップ
変換(FRU)とに分けられる。IPC技術では、TV
スクリーン上に表示される1フィールド当たりのライン
数を2倍にする。例えば、偶数フィールドの受信時に、
偶数ライン間に奇数ラインを挿入し、これらの奇数ライ
ンは2以上の隣接偶数ラインの情報内容を補間処理して
得る。奇数フィールドの受信時に、同一のことを行う。
FRU技術では、単位時間にTVスクリーンに表示され
るフィールド数を単位時間に受信されるフィールド数の
2倍にする。これらのアルゴリズムを実行する回路をそ
れぞれIPCフィルタ又はFRUフィルタという。
【0005】TV信号は空間2次元(水平及び垂直)と
時間次元を有する。この点を考慮すると、IPC補間ア
ルゴリズムもFRU補間アルゴリズムも更に2つのクラ
ス、即ち2次元即ちフィールド内アルゴリズムと3次元
即ちフィールド間アルゴリズムとに分けることができ
る。フィールド内アルゴリズムはTV信号の空間2次元
のみを処理するが、フィールド間アルゴリズムはTV信
号の空間2次元と時間次元の両方を使用する。このよう
に4つのクラスのフィルタ、即ちフィールド内IPC又
はFRUフィルタ、及びフィールド間IPC又はFRU
フィルタに分類することができる。
【0006】フィールド内フィルタ及びフィールド間フ
ィルタは異なる性能を有するが、それらの実現にも異な
る要件を有する。例えば、フィールド間IPCフィルタ
は、(単位時間にTVスクリーン上に表示すべきライン
数を単位時間に受信されるライン数の2倍にするため
に)現ラインデータのためのバッファラインメモリと、
前フィールドのデータを含有するフィールドメモリとを
必要とする(前フィールドのみを補間に使用するものと
する)。フィールド間FRUフィルタでは、(単位時間
にTVスクリーン上に表示されるフィールド数を単位時
間に受信されるフィールド数の2倍にするために)2つ
のフィールドメモリ、即ちバッファフィールドメモリと
前フィールドデータ用のフィールドメモリとを必要とす
る。フィールド内フィルタは必要とするメモリが少な
く、フィールド内IPCフィルタはフィールドメモリを
必要とせず、またフィールド内FRUフィルタはただ一
つのフィールドメモリ、即ちバッファフィールドメモリ
を必要とするのみである。
【0007】現在の集積回路製造技術の技術的限界のた
めに、補間フィルタと所要のメモリの双方を同一チップ
に集積することは、特にフィールドメモリを設ける必要
がある場合には、不可能である。例えば、フィールド間
補間アルゴリズムを実行するチップセットをフィルタチ
ップと少なくとも一つのフィールドチップとで構成して
いる。これはコストを増大すること明らかである。従っ
て、TV機器の製造メーカは、どの種類のフィルタをT
Vセットに組み込むかをフィルタチップのコストのみな
らず、所要のメモリチップのコストにも依存して決めな
ければならない。
【0008】また、市販されているフィルタチップはフ
ィールド内型かフィールド間型のどちらかであり、この
ことは集積回路製造メーカの在庫コストを増大するとと
もにTV機器製造メーカ側の設計の融通性を減少する。
【0009】
【発明が解決しようとする課題】上述の技術状態に鑑
み、本発明の目的はフィールド内モード及びフィールド
間モードの両モードで動作しうる補間フィルタを提供す
ることにある。
【0010】
【課題を解決するための手段】この目的を達成するため
に、本発明のビデオ信号用補間フィルタは、離散的画素
が供給され、画像エッジを検出する第1回路手段と、前
記第1回路手段の出力が供給され、前記画像エッジの方
向に沿う前記離散的画素の平均値に対応する第1信号を
発生する第2回路手段と、前記第2回路手段の出力が供
給され、画像エッジを一義的に決定し得ないテクスチャ
領域を決定するとともに、画像エッジの存在の程度に依
存する第2信号を発生する第3回路手段と、前記第1信
号、前記第2信号及び第3信号が供給され、第1信号を
第3信号と第2信号により決まる割合で合成して得られ
る出力信号を発生する第4回路手段と、制御信号により
制御され、前記第3信号を規定の方向に沿う前記離散的
画素の平均値に対応する第4信号又は前受信画素値に対
応する第5信号に選択的に結合するマルチプレクサ手段
と、を具えることを特徴とする。
【0011】本発明のフィルタは、空間補間方向が画像
エッジ(例えば物体の輪郭のような明−暗エッジ)の方
向に選択されるため、エッジオリエンテッドである。本
発明のフィルタは、テクスチャ画像領域の場合のように
画像エッジが一義的に決定し得ない状態を検出すること
もできる。この場合には、補間は規定の空間方向、例え
ば垂直方向に実行される。
【0012】本発明のフィルタはフィールド内フィルタ
として又はフィールド間フィルタとして動作することが
できる。前者の場合には、補間は現フィールドのデータ
のみを用いて行われ、後者の場合には、補間は現フィー
ルドのデータと前受信フィールドのデータとを用いて行
われる。本発明のこれらの特徴及び他の特徴は図面に非
限定例として示す一つの特定の実施例の以下の説明から
一層明らかになる。
【0013】
【発明の実施の形態】以下に説明する実施例はフィール
ド内/フィールド間IPCフィルタ及びフィールド内/
フィールド間FRUフィルタとして動作しうる補間フィ
ルタにのみ関するものである。
【0014】図1は補間フィルタセットの主構成ブロッ
クを示す。A/D変換器1はアナログテレビジョン信号
Y、例えば輝度信号を受信する。既知のように、アナロ
グ信号Yはラインデータ、ライン同期データ及びフィー
ルド同期データを含んでいる。A/D変換器1はアナロ
グ信号Yに含まれるラインデータを画素の系列にディジ
タル的に変換し、各画素をディジタルコードで表す。代
表的には8ビットA/D変換器を用いて256のグレー
レベルで表す。
【0015】A/D変換器1は第1メモリデバイス3
(バッファメモリ)に出力する。実現すべきフィルタが
フィールド内IPCフィルタ、フィールド間IPCフィ
ルタ、又はフィールド内FRUフィルタである場合に
は、バッファメモリ3は現ラインの画素データを蓄積し
うるラインメモリであり、実現すべきフィルタがフィー
ルド間FRUフィルタである場合には、バッファメモリ
3は現フィールドの画素データを蓄積しうるフィールド
メモリである。バッファメモリ3はマルチプレクサ19
の第1入力端子に出力する。図には第2メモリデバイス
2が示されている。この第2メモリ2は1つの全フィー
ルドの画素データを蓄積しうるフィールドメモリであ
る。フィールド内IPCフィルタの場合には、フィール
ドメモリ2は必要ない。フィールド間IPCフィルタ又
はフィールド内FRUフィルタの場合には、フィールド
メモリ2にA/D変換器1の出力が直接供給される。フ
ィールド間FRUフィルタの場合には、(図1に破線で
示すように)フィールドメモリ2にバッファメモリ3の
出力が供給され、A/D変換器1の出力は供給されな
い。
【0016】バッファメモリ3がマルチプレクサ19の
第1入力端子に出力し、フィールドメモリ2がこのマル
チプレクサの第2入力端子に出力する。制御信号CNT
1がマルチプレクサ19の出力端子をバッファメモリ3
の出力端子に(フィールド内IPCフィルタ又はフィー
ルド間IPCフィルタの場合)又はフィールドメモリ2
の出力端子に選択的に結合させる。
【0017】A/D変換器1が13.5MHzのサンプ
リングレートを有するものとすると、13.5MHzの
データストリームがA/D変換器1の出力端子に発生す
るとともに、バッファメモリ3の出力端子に27MHz
のデータストリームが発生する。フィルタがフィールド
内IPCフィルタ、フィールド間IPCフィルタ又はフ
ィールド内FRUフィルタである場合には、フィールド
メモリ2の出力端子に27MHzのデータストリームが
発生し、フィルタがフィールド間FRUフィルタである
場合には、フィールドメモリ2の出力端子に54MHz
のデータストリームが発生する。
【0018】マルチプレクサ19は前受信ラインの画素
データを蓄積するのに好適な第3メモリ4(ラインメモ
リ)に出力する。
【0019】ラインメモリ4及びマルチプレクサ19は
スライディング処理ウインドウを形成する回路5に出力
する。既知のように、処理ウインドウは現フィールドの
前受信ラインの連続する画素の第1サブセットと、この
第1サブセットの画素と同一位置を有する現ラインの連
続する画素の第2サブセットとにより形成する。本例で
は、現フィールドの前受信ラインPLに属する5つの画
素p1−p5と現ラインCLの5つの画素p6−p10
とを具える5+5画素の処理ウインドウを用いる。図1
において、pは補間すべき現画素、即ちラインPL及び
CL間に介挿されるTVスクリーンラインLに属する画
素の一つを示す(ラインLは現フィールドに属さな
い)。処理ウインドウはラインの方向に沿って一時に1
画素づつ右へ移動し、ラインLの全画素の逐次補間を行
うことができる。もっと小さい処理ウンドウ、例えば3
+3画素の処理ウインドウ、を使用することができる
が、これには後述するように若干の欠点がある。
【0020】回路5自体は既知であるため、詳細に示し
てないが、各8ビットの4セルからなる2つのシフトレ
ジスタを具え、第1シフトレジスタがラインメモリ4に
より供給され、第2シフトレジスタがバッファメモリ3
により供給される。
【0021】回路5の出力PW(即ち処理ウインドウ)
は補間フィルタ6に供給し、このフィルタには前受信フ
ィールド内の画素のデータを表すフィールドメモリ2の
出力PFも供給される。このフィルタ6の出力Oが画素
pの補間データを表す。
【0022】図2は補間フィルタ6の構造を示す。補間
フィルタ6は7つの回路ブロックR1−R3,L1−L
3及びCを具える。ブロックR1−R3,L1−L3及
びCは処理ウインドウの画素p1−p10間の空間相関
度を測定し、明−暗エッジの存在を検出する。各ブロッ
クR1−R3,L1−L3及びCは後に詳述するように
特定の空間方向に関連する。
【0023】3つのブロックR1−R3は第1の最良方
向検出回路7に出力し、3つのブロックL1−L3は第
2の最良方向検出回路8に出力する。各最良方向検出回
路7又は8はブロックR1−R3又はL1−L3により
計算された空間相関指数をそれぞれ受信する3つの入力
端子を有する。本例では、各ブロックR1−R3、L1
−L3及びCの出力は5ビットコードである。各最良方
向検出回路7又は8は2つの出力を有し、第1の出力B
R,BL(2ビット)はそれぞれR1−R3又はL1−
L3に関連する方向のうちで最大空間相関を有する方向
を示し、第2の出力BTR,BTL(5ビット)はそれ
ぞれR1−R3又はL1−L3に関連する方向のうちで
最大空間相関を有する方向の空間相関の測定値を含む。
【0024】最良方向検出器7及び8の出力BR,BT
R,BL及びBTLを第3の最良方向検出器9に供給
し、この検出器にはブロックCの出力も供給する。最良
方向検出回路9はブロックR1−R3,L1−L3及び
Cに関連する方向のうちで最大の空間相関を有する方向
を示す出力BD(本例では3ビット)を有する。
【0025】最良方向検出器9の出力BDは回路10に
供給し、回路10には処理ウインドウPW内の画素のデ
ータも供給される。回路10は信号PDにより示される
最大空間相関方向に沿う画素データの平均値を計算す
る。
【0026】信号BTR及びBTLはディジタル減算器
11にも供給し、ブロックR1−R3及びL1−L3に
関連する方向の最大空間相関の2つの測定値の減算を行
う。減算器11の出力DTLRを回路12に供給し、最
大空間相関の前記2つの測定値の差の絶対値を計算す
る。
【0027】回路12の出力信号ADTLR(本例では
5ビット)をファジー論理回路13に供給し、ブロック
R1−R3及びL1−L3に関連する方向の最大空間相
関の測定値間の差(絶対値)に依存するパラメータKの
値を計算する。
【0028】回路13の出力Kをソフトスイッチ回路1
4の第1入力端子に供給する。回路14の第2入力端子
には回路10の出力DDAが供給され、回路14の第3
入力端子にはマルチプレクサ15の出力Mout が供給さ
れる。マルチプレクサ15はフィールドメモリ2の出力
PFが供給される第1入力端子と、処理ウインドウの画
素p3及びp8のデータの平均値を計算する回路16の
出力Aが供給される第2入力端子と、マルチプレクサ出
力Mout を入力端子A又は入力端子PFに接続させる制
御入力端子CNTとを有する。
【0029】回路14の出力SWout を、補間処理によ
り生ずる高周波数の減衰の影響を除去する輝度強調回路
17に供給する。この回路17には処理ウインドウの画
素p3,p8のデータが供給される。回路17の出力を
メジアンフィルタ回路18に供給し、この回路18には
処理ウインドウの画素p1−p10が供給される。メジ
アンフィルタ回路18の出力が補間フィルタ6の出力
O、即ち画素pの補間値を形成する。
【0030】次に、上述した補間フィルタの動作を説明
する。最初に、補間フィルタは補間画像の質を原画像の
質より悪くするアーチファクトを補間画像内に導入して
はならないことに注意する必要がある。この目的のため
に、補間アルゴリズムは物体の例えば輪郭を表す明−暗
エッジの存在を考慮に入れる必要がある。
【0031】本発明の補間フィルタは、補間すべき画素
pの値を画像内のエッジ方向に沿う処理ウインドウ内の
隣接画素の値を補間処理して計算するエッジオリエンッ
テッドである。
【0032】図3は、画素p1−p10間の最大空間相
関の方向を決定するのに使用される7つの相関空間パタ
ーンPR1−PR3,PL1−PL3及びPCを示す。
パターンPR1−PR3は3つの異なる右傾方向に沿う
空間相関度を計算するのに使用される右方向パターンで
あり、パターンPL1−PL3は3つの異なる左傾方向
に沿う空間相関度を計算するのに使用される左方向パタ
ーンであり、Cは垂直方向に沿う空間相関度を計算する
のに使用される中心パターンである。図3のパターンに
おいて、2つの画素を結ぶ線はこの2つの画素のデータ
のディジタル減算処理を表す。
【0033】回路R1−R3,L1−L3及びCの各々
は次の算術演算を行ってそれぞれのパターンの活性度を
評価する。 R1: TGRADR1 =(|p3-p7 |+ |p4-p8 |+ |p2-p1 |+ |p9-p10|)/4; R2: TGRADR2 = ( 2* |p4-p7 |+ |p3-p6 |+ |p5-p8 |)/4; R3: TGRADR3 = (|p4-p6 |+ |p5-p7 |+ |p3-p2 |+ |p9-p8 |)/4; C : TGRADR1 = ( 2* |p3-p8 |+ |p2-p7 |+ |p4-p9 |)/4; L1: TGRADL1 = (|p2-p8 |+ |p3-p9 |+ |p4-p5 |+ |p7-p6 |)/4; L2: TGRADL2 = ( 2* |p2-p9 |+ |p1-p8 |+ |p3-p10|)/4; L3: TGRADL3 = (|p1-p9 |+ |p2-p10|+ |p3-p4 |+ |p8-p7 |)/4;
【0034】TGRADR1−TGRADR3,TGR
ADC及びTGRADL1−TGRADL3はそれぞれ
パターンPR1−PR3,PC及びPL1−PL3の活
性度、即ちそれぞれ水平方向に対し約34°(TGRA
DR3)、46°(TGRADR2)、64°(TGR
ADR1)、90°(TGRADC)、116°(TG
RADL1)、136°(TGRADL2)及び146
°(AGRADL3)傾いた方向に沿う画素p1−p1
0の空間相関の程度を表す。値TGRADR1−TGR
ADR3は第1最良方向検出回路7に供給され、この回
路がパターンPR1−PR3のうちで最小の活性度を有
するパターンを決定する。換言すれば、回路7は次の演
算を実行する。 BTR=min(TGRADR1,TGRADR2,TGR
ADR3)
【0035】同様に、第2の最良方向検出回路8は次の
演算を実行する。 BTL=min(TGRADL1,TGRADL2,TGR
ADL3)
【0036】第3の最良方向検出回路9は、BTR,B
TL及びTGRADCのうちの最小値を評価することに
より、7つのパターンPR1−PR3,PL1−PL3
及びPCのうちで最小活性度を有するパターンを決定す
る。即ち、回路9は次の演算を実行する。 min(BTR,BTL,TGRADC)
【0037】回路9の出力BDは7つのパターンPR1
−PR3,PL1−PL3及びPCのうちで最小活性度
を有するパターンを表す。このパターンは処理ウインド
ウ内の画素間の最大空間相関の方向、即ち明−暗エッジ
(例えば物体の輪郭)の方向に対応する。
【0038】回路10は信号BDで示される最大空間相
関方向に沿う処理ウインドウ内の画素の値(グレーレベ
ル)の平均値を計算する。換言すれば、回路10は最大
空間相関方向に沿う画素pの補間値を計算する。信号D
DA(本例では8ビット)は最大空間相関方向に沿う画
素のグレーレベルの平均値を表す。前受信フィールド内
の(補間すべき)画素pの値は画像エッジの存在の検出
に使用しない。これは、画像エッジの検出はフィールド
内モードで行うことを意味する。
【0039】5+5画素の処理ウインドウの使用は7つ
の異なる方向のエッジをサーチすることができる。もっ
と小さい処理ウインドウ、例えば3+3画素の処理ウイ
ンドウは3つの異なる方向のエッジをサーチしうるのみ
である。もっと大きな処理ウインドウを使用することが
できること勿論である。
【0040】回路10により計算された値のみを画素p
の値の補間に使用する場合には、中心画素が存在しない
ため又は動きのために正しい補間方向を決定することが
できない画像のテクスチャ領域内において問題を生ず
る。これらの問題を避けるために、補間フィルタは減算
器11、回路12及びファジー論理回路13からなるテ
クスチャ検出回路を具える。
【0041】第1に、このような決定不能状態はTGR
ADR1−TGRADR3及びTGRADL1−TGR
ADL3の値が殆ど等しいときに検出できる点に注意さ
れたい。これは、これらの場合には画像内に明白な明−
暗エッジが存在しないためである。この状態は次の演算
を実行する回路11及び12により検出される。 ADTLR=|min(TGRADR1,TGRADR2,TGRADR3)-min(TGRADL1,T
GRADL2,TGRADL3) |
【0042】ファジー論理回路13は信号ADTLRの
値に依存するパラメータKの値を計算する。Kの値はA
DTLRの値の非線形関数であり、0と1との間で変化
する。即ち、ADTLRが高いとき、即ち最大空間相関
方向を明確に決定しうるとき、Kはほぼ0にし、ADT
LRが低いとき、特に0のとき、Kはほぼ1にする。A
DTLRに依存するKの非線形曲線はファジー論理技術
により実現される。
【0043】ソフトスイッチ回路14はDDA及びMou
t の値をKの値に応じて次のように混合する。 SWout =K×Mout +(1−K)×DDA
【0044】信号CNTは補間フィルタ6の動作モード
を選択し、第1動作モードでは、フィルタ6はフィール
ド内IPC又はFRU補間フィルタとして作用し、マル
チプレクサ15の出力を処理ウインドウ内の画像p3及
びp8の値の平均値(垂直方向の平均値)である信号A
とする。Aの値は回路16により計算される。この動作
モードでは、SWout は次式で与えられる。 SWout =K×(p3+p8)/2+(1−K)×DD
A K=0の場合にはSWout =DDA、即ち最大空間相関
の推定方向に沿う画素のグレーレベルの平均値になる。
K=1の場合には、SWout =(p3+p8)/2にな
る。即ち、画像内に明白な明−暗エッジが存在しない場
合には、垂直方向の補間が好ましい。0と1との間のK
に対しては、DDAと(p3+p8)/2との加重平均
値が計算される。
【0045】第2動作モードでは、フィルタ6はフィー
ルド間IPC又はFRU補間フィルタとして作用し、マ
ルチプレクサ15の出力をPF,即ち(フィールドメモ
リ2に蓄積されている)前受信フィールド内の画素pの
値とする。この動作モードでは、SWout は次式で与え
られる。 SWout =K×PF+(1−K)×DDA
【0046】回路17は画像の輝度をピーキングにより
垂直方向に強調して、補間により生じた高周波数成分の
減衰を補償することができる。メジアンフィルタ18の
出力端子が画素pの補間値を与える。
【0047】従って、補間フィルタ6はフィールド内フ
ィルタとして又はフィールド間フィルタとして動作しう
る。TVセット製造メーカは信号CNTを設定すること
により適切な動作モードを選択することができる。この
フィルタをフィールド内フィルタとして動作させる必要
があるときは、フィールドメモリ2は必要ないため、フ
ィールド間フィルタとして動作させる場合よりもコスト
がかなり低くなること明らかである。
【図面の簡単な説明】
【図1】補間フィルタセットの主構成ブロックを示すブ
ロック構成図である。
【図2】本発明補間フィルタのブロック構成図である。
【図3】画像内のエッジの方向を検出するための複数の
パターンを示す図である。
【符号の説明】
1 A/D変換器 2 第2メモリデバイス 3 第1メモリデバイス 4 第3メモリ 5 処理ウインドウ形成回路 6 補間フィルタ R1−R3,L1−L3,C 空間相関検出回路 7、8、9 最良方向検出回路 10 平均値回路 11、12、13 テクスチャ検出回路 14 ソフトスイッチ回路 15 マルチプレクサ 16 平均値回路 17 輝度強調回路 18 メジアンフィルタ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 マッシモ マンクーソ イタリア国 ミラノ 20052 モンツァ ヴィア オリアニ 19 (72)発明者 リナルド ポルッツィ イタリア国 20125 ミラノ ピアッツァ イストリア 2

Claims (22)

    【特許請求の範囲】
  1. 【請求項1】 ビデオ信号用の補間フィルタであって、 離散的画素(p1-p10)を供給され、画像エッジを検出する
    第1回路手段(R1-R3,L1-L3,C,7-9) と、 前記第1回路手段の出力を供給され、前記画像エッジの
    方向に沿う前記離散的画素(p1-p10)の平均値に対応する
    第1信号(DDA) を発生する第2回路手段(10)と、 前記第2回路手段の出力を供給され、画像エッジを一義
    的に決定し得ないテクスチャ領域を決定するとともに、
    画像エッジの存在の程度に依存する第2信号(K) を発生
    する第3回路手段(11,12,13)と、 前記第1信号(DAA) 、前記第2信号(K) 及び第3信号(M
    out)を供給され、第1信号(DAA) を第3信号(Mout)と第
    2信号(K) により決まる割合で合成して得られる出力信
    号(SWout) を発生する第4回路手段(14)と、 制御信号(CNT) により制御され、前記第3信号(Mout)を
    規定の方向に沿う前記離散的画素(p1-p10)の平均値に対
    応する第4信号(A) 又は前受信画素値に対応する第5信
    号(PF)に選択的に結合するマルチプレクサ手段(15)と、
    を具えたことを特徴とするビデオ信号用補間フィルタ。
  2. 【請求項2】 前記第1回路手段(R1-R3,L1-L3,C,7-9)
    は、前記離散的画素(p1-p10)を供給され、それぞれ各別
    の関連する空間方向に沿う前記離散的画素間の空間相関
    指数(TGRADR1-TGRADR3,TGRADL1-TGRADL3)を計算する複
    数の空間相関検出回路(R1-R3,L1-L3,C) を具えることを
    特徴とする請求項1記載の補間フィルタ。
  3. 【請求項3】 前記第1回路手段(R1-R3,L1-L3,C,7-9)
    は、前記空間相関指数(TGRADR1-TGRADR3,TGRADL1-TGRA
    DL3)を供給され、前記離散的画素(p1-p10)間の最大空間
    相関の方向を決定する第5回路手段(7-9) を具えること
    を特徴とする請求項2記載の補間フィルタ。
  4. 【請求項4】 前記第2回路手段(10)は、前記最大空間
    相関方向に対応する第6信号(BD)を供給され、前記最大
    空間相関方向に沿う前記離散的画素(p1-p10)の平均値を
    計算することを特徴とする請求項3記載の補間フィル
    タ。
  5. 【請求項5】 前記第5回路手段(7-9) は、右方向に傾
    いた複数の右傾空間方向に関連する第1群の空間相関検
    出回路(R1-R3) の出力を供給され、これらの右傾方向の
    うちで最大の第1の空間相関方向(BR)を決定する第1の
    最良方向検出回路(7) と、左方向に傾いた複数の左傾空
    間方向に関連する第2群の空間相関検出回路(L1-L3) の
    出力を供給され、これらの左傾方向のうちで最大の第2
    の空間相関方向(BL)を決定する第2の最良方向検出回路
    (8) と、前記第1及び第2の最良方向検出回路(7,8) の
    出力及び垂直空間方向に関連する空間相関検出回路(C)
    の出力を供給され、すべての右傾方向、左傾方向及び垂
    直方向のうちで最大の空間相関方向を決定する第3の最
    良方向検出回路(9) とを具えることを特徴とする請求項
    4記載の補間フィルタ。
  6. 【請求項6】 前記離散的画素(p1-p10)は前受信画像ラ
    イン(PL)に属する第1群の連続する画素(p1-p5) と現画
    像ライン(CL)に属する第2群の連続する画素(p6-p10)と
    を具える処理ウインドウ(PW)に所属することを特徴とす
    る請求項5記載の補間フィルタ。
  7. 【請求項7】 前記第1群の画素は5つ画素(p1-p5) を
    具え、前記第2群の画素は5つの画素(p6-p10)を具え、
    各画素(p1-p10)は各別のディジタルコードにより現れた
    値を有することを特徴とする請求項6記載の補間フィル
    タ。
  8. 【請求項8】 前記第1群の空間相関検出回路(R1-R3)
    は、水平方向に対しそれぞれ約64°、46°及び34
    °傾いた方向に沿う空間相関指数(TGRADR1-TGRADR3) を
    計算する3つの相関検出回路を具え、前記第2群の空間
    相関検出回路(L1-L3) は、水平方向に対しそれぞれ約1
    16°、136°及び146°傾いた方向に沿う空間相
    関指数(TGRADL1-TGRADL3) を計算する3つの相関検出回
    路を具えるとを特徴とする請求項7記載の補間フィル
    タ。
  9. 【請求項9】 前記第1群の画素(p1-p5) は第1画素(p
    1)、第2画素(p2)、第3画素(p3)、第4画素(p4)及び第
    5画素(p5)を具え、 前記第2群の画素(p6-p10)は第6画素(p6)、第7画素(p
    7)、第8画素(p8)、第9画素(p9)及び第10画素(p10)
    を具え、 前記第1群の空間相関検出回路(R1-R3) は第1(R1)、第
    2(R2)及び第3(R3)相関検出回路を具え、 前記第2群の空間相関検出回路(L1-L3) は第4(L1)、第
    5(L2)及び第6(L3)相関検出回路を具え、 前記第1(R1)、第2(R2)、第3(R3)、第4(L1)、第5(L
    2)、第6(L3)相関検出回路及び垂直方向相関検出回路
    (C) が、それぞれ次式の算術演算(式中のp1,p2,
    p3,p4,p5,p6,p7,p8,p9及びp10
    は第1、第2、第3、第4、第5、第6、第7、第8、
    第9及び第10画素のデータを表す): ( |p3-p7 |+ |p4-p8 |+ |p2-p1 |+ |p9-p10|)/4; ( 2*|p4-p7 |+ |p3-p6 |+ |p5-p8 |)/4; ( |p4-p6 |+ |p5-p7 |+ |p3-p2 |+ |p9-p8 |)/4; ( |p2-p8 |+ |p3-p9 |+ |p4-p5 |+ |p7-p6 |)/4; ( 2*|p2-p9 |+ |p1-p8 |+ |p3-p10|)/4; ( |p1-p9 |+ |p2-p10|+ |p3-p4 |+ |p8-p7 |)/4; ( 2*|p3-p8 |+ |p2-p7 |+ |p4-p9 |)/4; を実行することを特徴とする請求項8記載の補間フィル
    タ。
  10. 【請求項10】 前記第3回路手段(11,12,13)は,前記
    第1及び第2の最大空間相関方向(BR,BL) の空間相関指
    数(BTR,BTL) 間の差(DTLR)を計算する減算回路(11)と、
    前記差(DTLR)の絶対値(ADTLR) を計算する絶対値回路(1
    2)と、前記絶対値(ADTLR) の値に依存する前記第2信号
    (K) の値を計算するファジー論理計算回路(13)とを具え
    ることを特徴とする請求項5〜9の何れかに記載の補間
    フィルタ。
  11. 【請求項11】 前記ファジー論理計算回路(13)は0と
    1との間で変化する非線形曲線に従って第2信号(K) の
    値を計算し、前記絶対値が高いとき前記第2信号(K) の
    値がほぼ0に等しく、前記絶対値がほぼ0に等しいとき
    前記第2信号(K) の値がほぼ1に等しいことを特徴とす
    る請求項10記載の補間フィルタ。
  12. 【請求項12】 前記第4回路手段(14)は、前記第3信
    号(Mout)の値×前記第2信号(K) の値+前記第1信号(D
    DA) の値×(1−前記第2信号(K) の値)に等しい値を
    有する出力信号(SWout) を発生するソフトスイッチ回路
    を具えることを特徴とする請求項11記載の補間フィル
    タ。
  13. 【請求項13】 前記第4信号(A) は前記離散的画素(p
    1-p10)の垂直方向の平均値を計算する垂直平均回路(16)
    により発生することを特徴とする請求項12記載の補間
    フィルタ。
  14. 【請求項14】 前記出力信号(SWout) を供給され、画
    素の輝度を強調する輝度強調手段(17)を更に具えること
    を特徴とする請求項1〜14の何れかに記載の補間フィ
    ルタ。
  15. 【請求項15】 前記輝度強調手段(17)の出力が供給さ
    れるメイジアンフィルタ(18)を更に具えることを特徴と
    する請求項14記載の補間フィルタ。
  16. 【請求項16】 画像信号をフィルタリングするに当た
    り、 画像信号を離散的画素(p1-p10)にディジタル的に変換
    し、 画像エッジに対応する空間方向を決定し、 前記空間方向に沿う離散的画素(p1-p10)の第1の平均値
    (DAA) を計算し、 画像信号が画像エッジを一義的に決定し得ないテクスチ
    ャ画像領域に対応する度合いを示す第2の値(K) を決定
    し、前記第1の平均値(ADD) と第3の値(Mout)を前記第
    2の値(K) により決まる割合で合成して補間値(SWout)
    を計算し、 前記第3の値(Mout)は規定の空間方向に沿う第4の平均
    値(A) 又は前に受信された離散的画像の第5の値(PF)に
    2者択一的に等しくすることを特徴とする画像信号のフ
    ィルタリング方法。
  17. 【請求項17】 前受信画像ライン(PL)に属する第1群
    の離散的画素(p1-p5) と現画像ライン(CL)に属する第2
    群の離散的画素(p6-p10)とを具える処理ウインドウ(PW)
    を定め、前記第1及び第2群の離散的画素(p1-p10)間の
    最大空間相関方向を計算することを特徴とする請求項1
    6記載の方法。
  18. 【請求項18】 前記最大空間相関方向は、水平方向に
    対しそれぞれ約34°、46°、64°、90°、11
    6°、136°及び146°傾いた方向に沿う空間相関
    指数(TGRADR1-TGRADR3,TGRADL1-TGRADL3,TGRADC)を計算
    し、これらの空間相関指数を比較してこれらの中で最小
    のものを決定することを特徴とする請求項17記載の方
    法。
  19. 【請求項19】 前記第1群の画素(p1-p5) は第1画素
    (p1)、第2画素(p2)、第3画素(p3)、第4画素(p4)及び
    第5画素(p5)を具え、 前記第2群の画素(p6-p10)は第6画素(p6)、第7画素(p
    7)、第8画素(p8)、第9画素(p9)及び第10画素(p10)
    を具え、 前記空間相関指数(TGRADR1-TGRADR3,TGRADL1-TGRADL3,T
    GRADC)は、それぞれ次式の算術演算(式中のp1,p
    2,p3,p4,p5,p6,p7,p8,p9及びp
    10は第1、第2、第3、第4、第5、第6、第7、第
    8、第9及び第10画素のデータを表す): ( |p3-p7 |+ |p4-p8 |+ |p2-p1 |+ |p9-p10|)/4; ( 2*|p4-p7 |+ |p3-p6 |+ |p5-p8 |)/4; ( |p4-p6 |+ |p5-p7 |+ |p3-p2 |+ |p9-p8 |)/4; ( |p2-p8 |+ |p3-p9 |+ |p4-p5 |+ |p7-p6 |)/4; ( 2*|p2-p9 |+ |p1-p8 |+ |p3-p10|)/4; ( |p1-p9 |+ |p2-p10|+ |p3-p4 |+ |p8-p7 |)/4; ( 2*|p3-p8 |+ |p2-p7 |+ |p4-p9 |)/4; を実行して計算された7つの空間相関指数を含むことを
    特徴とする請求項17記載の方法。
  20. 【請求項20】 前記第2の値は、34°、46°及び
    64°の斜め方向に関連する空間相関指数(TGRADR1-TGR
    ADR3) のうちで最小の空間相関指数(BTR) と、116
    °、136°及び146°の斜め方向に関連する空間相
    関指数(TGRADL1-TGRADL3) のうちで最小の空間相関指数
    (BTL) との差(ADTLR) を計算することにより決定するこ
    とを特徴とする請求項18記載の方法。
  21. 【請求項21】 前記第2の値は前記の差値(ADTLR) に
    従ってファジー論理計算により決定することを特徴とす
    る請求項20記載の方法。
  22. 【請求項22】 前記規定の空間方向は垂直方向である
    ことを特徴とする請求項21記載の方法。
JP02667197A 1996-02-13 1997-02-10 ビデオ信号用補間フィルタ Expired - Fee Related JP3962876B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP96830061A EP0790736B1 (en) 1996-02-13 1996-02-13 Edge-oriented intra-field/inter-field interpolation filter for improved quality video appliances
IT96830061:6 1996-02-13

Publications (2)

Publication Number Publication Date
JPH1032729A true JPH1032729A (ja) 1998-02-03
JP3962876B2 JP3962876B2 (ja) 2007-08-22

Family

ID=8225809

Family Applications (1)

Application Number Title Priority Date Filing Date
JP02667197A Expired - Fee Related JP3962876B2 (ja) 1996-02-13 1997-02-10 ビデオ信号用補間フィルタ

Country Status (4)

Country Link
US (1) US5929918A (ja)
EP (1) EP0790736B1 (ja)
JP (1) JP3962876B2 (ja)
DE (1) DE69605018T2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6924844B2 (en) 2000-12-14 2005-08-02 Matsushita Electric Industrial Co., Ltd. Image angle detector and scanning line interpolating apparatus

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6262773B1 (en) * 1997-09-15 2001-07-17 Sharp Laboratories Of America, Inc. System for conversion of interlaced video to progressive video using edge correlation
KR100287850B1 (ko) * 1997-12-31 2001-05-02 구자홍 디티브이의 디인터레이싱 장치 및 그 방법
JP3734362B2 (ja) * 1998-03-09 2006-01-11 パイオニア株式会社 補間方法
US7536706B1 (en) 1998-08-24 2009-05-19 Sharp Laboratories Of America, Inc. Information enhanced audio video encoding system
US6782143B1 (en) 1999-12-30 2004-08-24 Stmicroelectronics, Inc. Method and apparatus for processing an image
US6633677B1 (en) 1999-12-30 2003-10-14 Stmicroelectronics, Inc. Method and apparatus for processing an image in an image compression/decompression system that uses hierachical coding
US6414719B1 (en) * 2000-05-26 2002-07-02 Sarnoff Corporation Motion adaptive median filter for interlace to progressive scan conversion
US7647340B2 (en) 2000-06-28 2010-01-12 Sharp Laboratories Of America, Inc. Metadata in JPEG 2000 file format
US7133569B1 (en) * 2000-07-31 2006-11-07 Polaroid Corporation Aliasing artifact attenuation system
CA2344615A1 (en) 2000-09-08 2002-03-08 Jaldi Semiconductor Corp. A method and apparatus for motion adaptive deinterlacing
CA2317870A1 (en) 2000-09-08 2002-03-08 Jaldi Semiconductor Corp. A system and method for scaling images
EP1191785A1 (en) * 2000-09-21 2002-03-27 Sony International (Europe) GmbH Interlace to progresssive conversion
JP2006173657A (ja) * 2000-10-25 2006-06-29 Matsushita Electric Ind Co Ltd 映像信号処理回路
US6577764B2 (en) 2001-08-01 2003-06-10 Teranex, Inc. Method for measuring and analyzing digital video quality
US6933983B2 (en) * 2001-09-10 2005-08-23 Jaldi Semiconductor Corp. System and method for reducing noise in images
US6992725B2 (en) * 2001-10-22 2006-01-31 Nec Electronics America, Inc. Video data de-interlacing using perceptually-tuned interpolation scheme
US7221809B2 (en) * 2001-12-17 2007-05-22 Genex Technologies, Inc. Face recognition system and method
KR100510670B1 (ko) * 2003-01-08 2005-08-31 엘지전자 주식회사 디인터레이싱 장치
GB2402288B (en) * 2003-05-01 2005-12-28 Imagination Tech Ltd De-Interlacing of video data
KR100563866B1 (ko) * 2003-05-19 2006-03-23 매크로영상기술(주) 영상 신호의 디인터레이스 방법 및 장치
US7362376B2 (en) * 2003-12-23 2008-04-22 Lsi Logic Corporation Method and apparatus for video deinterlacing and format conversion
KR100555866B1 (ko) * 2004-06-08 2006-03-03 삼성전자주식회사 패턴 적응형 필터링에 의한 영상신호의 평활화 장치 및 그평활화 방법
US7379626B2 (en) * 2004-08-20 2008-05-27 Silicon Optix Inc. Edge adaptive image expansion and enhancement system and method
DE102005046772A1 (de) * 2005-09-29 2007-04-05 Micronas Gmbh Iteratives Verfahren zur Interpolation von Bildinformationswerten
WO2007130389A2 (en) * 2006-05-01 2007-11-15 Georgia Tech Research Corporation Automatic video quality measurement system and method based on spatial-temporal coherence metrics
TW200811758A (en) * 2006-08-24 2008-03-01 Realtek Semiconductor Corp Method for edge detection, method for motion detection, method for pixel interpolation utilizing up-sampling, and apparatuses thereof
SG140508A1 (en) * 2006-08-31 2008-03-28 St Microelectronics Asia Multimode filter for de-blocking and de-ringing
US8081256B2 (en) * 2007-03-20 2011-12-20 Samsung Electronics Co., Ltd. Method and system for edge directed deinterlacing in video image processing
US20090046202A1 (en) * 2007-08-17 2009-02-19 Himax Technologies Limited De-interlace method and apparatus
FR2925199A1 (fr) * 2007-12-13 2009-06-19 Thomson Licensing Sas Procede de generation de distances representatives d'orientations de contour dans une image video, dispositif correspondant et utilisation du procede pour le desentrelacement ou la conversion de format
EP2114068A1 (en) * 2008-04-30 2009-11-04 Sony Corporation Method for converting an image and image conversion unit
US8310592B2 (en) * 2008-10-10 2012-11-13 Panasonic Corporation Signal processing apparatus, signal processing method, and program for signal processing

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05153562A (ja) * 1991-12-02 1993-06-18 Matsushita Electric Ind Co Ltd 相関検出補間方法および装置
JP3064598B2 (ja) * 1991-12-02 2000-07-12 松下電器産業株式会社 相関検出補間方法および装置
FI89995C (fi) * 1991-12-31 1993-12-10 Salon Televisiotehdas Oy Foerfarande foer randadaptiv interpolation av en tv-bilds linje samt en interpolator
JPH06153169A (ja) * 1992-11-09 1994-05-31 Nippon Hoso Kyokai <Nhk> 順次走査変換方法
FI96559C (fi) * 1994-06-10 1996-07-10 Nokia Technology Gmbh Menetelmä reunan suunnan tunnistamiseksi lomitellussa televisiokuvassa
JPH08163511A (ja) * 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 順次走査変換方法および順次走査変換装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6924844B2 (en) 2000-12-14 2005-08-02 Matsushita Electric Industrial Co., Ltd. Image angle detector and scanning line interpolating apparatus

Also Published As

Publication number Publication date
DE69605018D1 (de) 1999-12-09
US5929918A (en) 1999-07-27
DE69605018T2 (de) 2000-06-08
EP0790736A1 (en) 1997-08-20
JP3962876B2 (ja) 2007-08-22
EP0790736B1 (en) 1999-11-03

Similar Documents

Publication Publication Date Title
JP3962876B2 (ja) ビデオ信号用補間フィルタ
US5475438A (en) Five field motion detector for a TV scan line doubler
KR950009654B1 (ko) 주사표시 시스템
US4953032A (en) Motion signal generating circuit for use in a television receiver
KR101002495B1 (ko) 화상 변환 장치 및 화상 변환 방법
JPH0750927B2 (ja) 画像信号変換装置
EP1460847B1 (en) Image signal processing apparatus and processing method
US5659370A (en) Fuzzy logic based filter architecture for video applications and corresponding filtering method
JPH05174148A (ja) 動き検出回路
KR100967262B1 (ko) 화상 변환 장치 및 화상 변환 방법
US6417887B1 (en) Image display processing apparatus and method for converting an image signal from an interlaced system to a progressive system
US7796189B2 (en) 2-2 pulldown signal detection device and a 2-2 pulldown signal detection method
JPS62111586A (ja) 動き適応型信号処理回路
KR100730499B1 (ko) 화상 변환 장치 및 방법
US7636129B2 (en) Method and device for detecting sawtooth artifact and/or field motion
JP3062286B2 (ja) 動き検出回路および動き適応型走査線補間回路
US20040207754A1 (en) De-interlacing device of digital television set
JPH0720238B2 (ja) 動きベクトル検出回路
JPH09130645A (ja) インターレース映像信号の動き検出回路
KR920008628B1 (ko) 영상신호의 라인간 보간신호 발생방법 및 회로
KR100252943B1 (ko) 스캔컨버터회로
JP2947837B2 (ja) 制御動き信号発生回路
JPS634781A (ja) デジタルテレビジヨン受像機における動き信号検出回路
JPH07298301A (ja) テレビジョン信号走査変換装置
JPH0720237B2 (ja) 動きベクトル検出回路

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070119

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20070119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070410

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070508

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110601

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees