JP3531379B2 - 映像信号の走査変換回路 - Google Patents

映像信号の走査変換回路

Info

Publication number
JP3531379B2
JP3531379B2 JP25826796A JP25826796A JP3531379B2 JP 3531379 B2 JP3531379 B2 JP 3531379B2 JP 25826796 A JP25826796 A JP 25826796A JP 25826796 A JP25826796 A JP 25826796A JP 3531379 B2 JP3531379 B2 JP 3531379B2
Authority
JP
Japan
Prior art keywords
signal
interpolation
image
video signal
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP25826796A
Other languages
English (en)
Other versions
JPH10108218A (ja
Inventor
裕弘 平野
雅人 杉山
昇 小島
謙太郎 寺西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP25826796A priority Critical patent/JP3531379B2/ja
Publication of JPH10108218A publication Critical patent/JPH10108218A/ja
Application granted granted Critical
Publication of JP3531379B2 publication Critical patent/JP3531379B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Color Television Systems (AREA)
  • Television Systems (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は映像信号の信号処理
に係り、特に、飛び越し走査の形態の映像信号を順次走
査の形態の映像信号に変換する、飛び越し〜順次の走査
変換を行うに好適な映像信号の走査変換回路ならびにこ
の走査変換回路を備えたテレビジョン受像機に関する。
【0002】
【従来の技術】映像信号の多くは、走査の形態が飛び越
し走査である。この映像信号を飛び越し走査の画像表示
部で表示すると、ラインフリッカなどの画質妨害が発生
し、画質が劣化する。すなわち、飛び越し走査に起因し
た映像信号の折り返し成分がインタ−レ−ス妨害とな
り、画質劣化の原因になっている。
【0003】このインタ−レ−ス妨害は、飛び越し走査
の映像信号を、飛び越し〜順次の走査変換を行い、順次
走査の形態で表示することで除去できる。このため、テ
レビ画像の高画質化を図るため、飛び越し〜順次の走査
変換の機能を備え、順次走査の形態で画像を表示するテ
レビジョン受像機も製品化されている。
【0004】この飛び越し〜順次の走査変換では、飛び
越し走査で抜けた走査線(補間走査線)の信号を動き適
応型の補間処理で生成することが行われている。すなわ
ち、画像の動きに応じて、静止画像では前後のフィ−ル
ドの信号、動画像では同一フィ−ルドの信号を用いて、
補間走査線の信号を生成する。これにより、静止画像に
対してはインタ−レ−ス妨害の成分を完全に除去でき、
顕著な画質改善の効果を得ることができる。しかし、動
画像に対してはインタ−レ−ス妨害の成分の除去が不完
全なため、画質改善の効果はほとんど得ることができな
い。このため、静止画像と動画像とでは画質に極端な差
が発生し、自然感が著しく損なわれるという問題を有し
ている。
【0005】すなわち、従来の動き適応型の飛び越し〜
順次の走査変換では、高画質画像に不可欠な物理要因で
ある自然感が損なわれ、得られる画質改善の効果が少な
いという問題がある。
【0006】
【発明が解決しようとする課題】本発明の目的は、上記
問題の解消を図り、高画質画像に不可欠な物理要因であ
る自然感を保存して、静止画像から動画像まで違和感な
く高品質画像を再生する映像信号の走査変換回路ならび
にこの走査変換回路を備えたテレビジョン受像機を提供
することにある。
【0007】
【課題を解決するための手段】本発明では、上記目的を
達成するため、(表1)に示すMA補間、MC補間、F
M補間の3種類の補間処理の手段を採用し、これらの組
み合せで補間走査線の信号を生成する。
【0008】
【表1】
【0009】表中のMA補間は、従来の動き適応型の補
間処理を行うもので、動き係数k(0≦k≦1,静止時k=
0)に応じて、走査線A,B,C,Dの信号を用いて補間走査線X
の信号を X=k(A+B)/2+(1-k)(C+D)/2で生成する。
【0010】MC補間は、1フレ−ム期間の動きを示す
動きベクトルV(Vx,Vy)(Vxは水平方向,Vyは垂直方向の
動き量)をもとに、動き補償の補間処理を行う。例え
ば、動きベクトルVが(Vx=0,Vy=0),(Vx=0,Vy=2),(Vx=0,
Vy=-2)の場合には、走査線C,D,E,F,G,Hの信号を用いて
補間走査線Xの信号をそれぞれ X=(C+D)/2, X=(E+F)/2,
X=(G+H)/2で生成する。
【0011】FM補間は、テレシネ画像(映画など毎秒
24駒のフィルム画像を2−3プルダウンの信号処理な
どで毎秒30フレ−ムのTV方式の信号に変換した映像
信号)の同一フィルムフレ−ムに属する信号を用いて補
間処理を行う。例えば、補間走査線X1の信号は同一フィ
ルムフレ−ムの走査線Cの信号、X2の信号は同一フィル
ムフレ−ムの走査線Dの信号でそれぞれ生成する。
【0012】また、映像信号のフレ−ム間の信号処理
で、上記3種類の補間処理に必要な画像の動きの大小を
示す動き係数kと、1フレ−ム期間の画像の動きを示す
動きベクトルVと、フィルムフレ−ムのシ−ケンスFS
とを検出する。さらに、映像信号のTV方式、例えば、
NTSC方式とEDTV−II方式とを識別する手段を
採用する。
【0013】そして、本発明では、以下に述べる補間処
理で飛び越し〜順次の走査変換を行い、高画質画像に不
可欠な物理要因である自然感を保存して、静止画像から
動画像まで違和感なく高品質画像を再生する映像信号の
走査変換回路を実現する。
【0014】・MA補間とFM補間の組み合せ処理。・M
A@MC補間とFM補間の組み合せ処理。・MA補間と
HP@MA補間とFM補間の組み合せ処理。・MA@M
C補間とHP@MA補間とFM補間の組み合せ処理。こ
こで、MA@MC補間は動き適応型と動き補償型の両者
の混合形態の補間処理、HP@MA補間は伝送された垂
直補強信号を用いた補間と動き適応型の混合形態の補間
処理を行うもので、その詳細は実施例において後述す
る。
【0015】なお、上記識別手段の出力と、動き係数k
と、動きベクトルVと、フィルムフレ−ムのシ−ケンス
FSとの情報で、補間処理の形態に応じた輝度信号成分
の加重係数kWYと色差信号成分の加重係数kWCとを
設定する。そして、補間走査線の時間、垂直方向に近接
した複数個の映像信号の走査線の輝度信号成分に上記加
重係数kWY,色差信号成分に上記加重係数kWCを加
重して補間走査線の輝度、色差信号成分の補間信号を生
成する構成を採用する。
【0016】また、上記映像信号と補間映像信号を垂直
方向に拡大あるいは水平方向に圧縮する信号処理の手段
を採用する。これにより、レタ−ボックス形態(アスペ
クト比4:3の画面の上下に無画部を設け、アスペクト
比16:9の横長画像を配置)の映像信号や、アスペク
ト比4:3の映像信号を、アスペクト比が16:9の画
像表示部に歪なく表示することができる。
【0017】
【発明の実施の形態】本発明による走査変換回路の一実
施例を、図1の全体ブロック構成図で示す。図中、1,
10はメモリ部、2はMA信号生成部、3はMC信号生
成部、4はFM信号生成部、5は制御部、6,11は演
算部、7,12は垂直拡大/水平圧縮処理部、8は垂直
補強信号復調部、9,13は時系列多重部である。
【0018】飛び越し走査の映像信号の輝度信号Yと色
差信号Cb,Crはメモリ部1,10に入力する。
【0019】メモリ部1,10はフィ−ルドメモリ,ライ
ンメモリの組み合せで構成する。そして、メモリ部1
は、補間走査線の信号生成に使用する時間、垂直方向に
近接した走査線の信号系列S1と、画像の動きの検出に
使用する信号系列S2と、画像の動きベクトルの検出に
使用する信号系列S3と、テレシネ画像のフィルムフレ
−ムの検出に使用する信号系列S4を発生する。また、
メモリ部10は、色差信号の補間信号生成に使用する信
号系列S5を発生する。
【0020】MA信号生成部2は、信号系列S2のフレ
−ム間差分信号成分から動きの情報を抽出し、この大小
に応じて、動き係数kを生成する。
【0021】MC信号生成部3は、信号系列S3のブロ
ックマッチング法から1フレ−ム期間の動きを抽出し、
動き補償の補間処理に使用する動きベクトルVを生成す
る。
【0022】FM信号生成部4は、信号系列S4のフレ
−ム間差分信号成分が零となるフィ−ルドを抽出し、そ
の発生周期からテレシネ画像のフィルムフレ−ムのシ−
ケンスFSを生成する。
【0023】制御部5は、前述した4種類の補間処理の
いずれかをモ−ド信号MODで設定し、動き係数k,動
きベクトルV,フィルムフレ−ムのシ−ケンスFSの情
報から、この設定した補間処理を行うに必要な輝度信号
の加重係数kWYと色差信号の加重係数kWCを生成す
る。
【0024】演算部6,11は、信号系列S1、S5に
それぞれ加重係数kWY,kWCを係数加重する演算を
行い、主走査線(飛び越し走査で伝送される走査線)の信
号系列YM,CbM(CrM)と、補間走査線の補間信号
系列YI,CbI(CrI)を生成する。なお、演算部6
では、補間処理がHP@MA補間の場合には、方式識別
信号N/EがEDTV方式を示す時は、時間垂直高域成
分VTを使用した補間信号系列の生成を行う。
【0025】垂直拡大/水平圧縮処理部7,12は、画
像がレタ−ボックス形態の場合には垂直方向に4/3倍
拡大、アスペクト比4:3の画像の場合には水平方向に
3/4倍圧縮の信号処理を行い、主走査線の信号系列Y
MM,CbMM(CrMM)と、補間走査線の補間信号系
列YIM,CbIM(CrIM)を生成する。なお、垂直
拡大/水平圧縮処理部7では、方式識別信号N/EがE
DTV方式を示す時は、垂直高域成分VHを使用した垂
直方向の4/3倍拡大の信号処理を行う。
【0026】垂直補強信号復調部8は、EDTV方式の
画面上下に多重された垂直補強信号HPを復調し、時間
垂直高域成分VTと垂直高域成分VHを生成する。
【0027】時系列多重部9,13は、主走査線と補間
走査線の信号系列の時間軸を1/2圧縮し、時系列に多
重する信号処理を行う。そして、順次走査の形態に変換
した信号系列YP,CbP,CrPを生成する。
【0028】以下、本実施例における各ブロックについ
て説明する。
【0029】図2は、メモリ部1,10の一構成例図を
示す。同図の(a)はメモリ部1の構成、(b)はメモリ部1
0の構成、(c)は各遅延部出力信号の時間・垂直領域での
位置関係を示す。また、14は1H遅延部、15は26
1H遅延部、16は262H遅延部で、映像信号をそれ
ぞれ1水平走査期間、261水平走査期間、262水平
走査期間の時間遅延した信号を出力する。
【0030】メモリ部1は、1H遅延部14と261H
遅延部15を組み合せ、(c)に示す様に、補間走査線X
に対して走査線A,B,C,D,E,F,G,Hの信号を生成
する。そして、図1の信号系列S1,S2,S3,S4を
発生する。一方、メモリ部10は、1H遅延部14と2
62H遅延部16を組み合せ、(c)に示す走査線A,B,
C,Dの信号を生成し、図1の信号系列S5を発生す
る。
【0031】図3は、MA信号生成部2の一構成例図
で、上述の補間走査線Xに対する動き係数kを生成す
る。フレ−ム差分抽出部17は、信号系列S2の1フレ
−ム期間離れた走査線CとDの信号との減算を行い、フ
レ−ム間の差分成分FDを抽出する。量子化部18は、
差分成分FDの絶対値量子化を行い、量子化差分成分F
DQを生成する。平滑部19は、動きの検出漏れを避け
るため、量子化差分成分FDQの空間、時間方向に積分
する平滑化の処理を行い、平滑差分成分FDAを生成す
る。係数設定部20は、平滑差分成分FDAの大小に応
じて動き係数kの値を設定する。すなわち、FDAが小
の時は静止画相当と判定して0の近傍、大の時は動画相
当と判定して1の近傍に係数値を設定する。
【0032】図4は、MC信号生成部3の一構成例図
で、動き補償の補間処理の動きベクトルV(Vx,Vy)を生
成する。ブロックマッチング部21は、1フレ−ム期間
離れた走査線CとDの信号系列S3に対して、ブロック
マッチング法により動きベクトルMVを抽出する。
【0033】補間ベクトル検出部22は、上記動きベク
トルMVをもとに動き補償の補間処理に使用可能な動き
ベクトルV(Vx,Vy)を生成する。映像信号が飛び越し走
査のため、MC補間では垂直方向の動き量Vyは表1に示
す様なVy=2n(nは整数)のものに制約される。したが
って、動きベクトルMVの垂直方向の動き量を検査し、
Vy=2nを満足する動きベクトルMVに対しては、その
水平、垂直方向の動き量Vx,Vyで動きベクトルV(Vx,Vy)
を生成する。一方、Vy≠2nの場合には、動き補償の補
間処理は不可能なため、これを示す特別の動きベクトル
V(∞,∞)を生成する。
【0034】図5は、FM信号生成部4の一構成例図
で、同図の(a)は構成、(b)はその動作概略を示す。
【0035】同図(a)のフレ−ム差分抽出部17は、信
号系列S4の1フレ−ム期間離れた走査線CとDの信号
との減算を行い、フレ−ム間の差分成分FDを抽出す
る。量子化部18は、差分成分FDの絶対値量子化を行
い、量子化差分成分FDQを生成する。
【0036】計測部23は、量子化差分成分FDQが設
定値Th(雑音の影響を避けるためThは比較的高いレ
ベルに設定)を超える領域を1フィ−ルドの期間にわた
って計測し、該領域の占める比率が一定値を超える時は
1、一定値未満の時は0の信号を信号FFSとして出力
する。テレシネ画像は、そのフィルムフレ−ムが同図
(b)に示す構成となるため、1フレ−ム離れた信号が同
一のフィルムフレ−ムに属する場合に信号FFSは0と
なる。したがって、テレシネ画像では信号FFSは5フ
ィ−ルド周期毎に0が発生する。フィルムフレ−ム設定
部24は、信号FFSの0の発生周期を計測する。そし
て、周期が5フィ−ルドの場合はテレシネ画像と判定
し、同図(b)に示すように信号FFSの立ち上がりを基
準に最初の2フィ−ルドの期間が1、後の3フィ−ルド
の期間が0となるフィルムフレ−ムと一致した信号をシ
−ケンス信号FSとして出力する。一方、信号FFSの
0の周期が特定できない場合は一般画像と判定し、常に
1の信号をシ−ケンス信号FSとして出力する。したが
って、この信号FSの形状(周期パタ−ンか一定値か)を
調べることで、テレシネ画像と一般画像との識別を併せ
て行うこともできる。
【0037】表2は、制御部5における係数値kWY,
kWCの設定動作の概略を示す。
【0038】
【表2】
【0039】表中、MOD欄はモ−ド信号MODで設定す
る補間のタイプ、TV信号の欄は対象とする映像信号の形
態、補間処理の欄は補間の信号処理形態、係数値kWY
の欄は輝度信号の加重係数の設定法、係数値kCWの欄
は色差信号の加重係数の設定法を示す。また、表中のIP
-1のMODは従来の動き適応型の補間処理、IP-2〜IP-5のM
ODは本発明における補間処理である。
【0040】IP-2のMODは、映像信号が一般画像の場合
は従来の動き適応型のMA補間、テレシネ画像の場合は
FM補間の処理を行う。すなわち、上述した信号FSの
形状から一般画像とテレシネ画像を判別する。そして、
輝度信号に関しては、一般画像では動き係数kをもとに
走査線A,B,C,Dの加重係数kA,kB,kC,kDを設定し、M
A補間の処理を実現する。また、テレシネ画像では信号
FSをもとに走査線C,Dの加重係数をkC=1,kD=0叉は
kC=0,kD=1に設定し、表1に示したFM補間の処理を
実現する。一方、色差信号に関しては、一般画像では走
査線A,Bの加重係数kA=kB=1/2に設定する。また、テ
レシネ画像では信号FSをもとに走査線C,Dの加重係
数をkC=1,kD=0叉はkC=0,kD=1に設定し、FM補間の
処理を実現する。
【0041】IP-3のMODは、映像信号が一般画像のNT
SC方式の信号はMA補間、EDTV方式の信号はHP
@MA補間、テレシネ画像ではいずれの方式の信号もF
M補間の処理を行う。すなわち、フィルムフレ−ムのシ
−ケンス信号FSと方式識別信号N/Eの形状より一般
画像とテレシネ画像およびTV方式を判別し、対応する
補間の処理を行う。そして、MA補間では、輝度信号は
動き係数kをもとに走査線A,B,C,Dの加重係数kA,k
B,kC,kDを設定し、色差信号は走査線A,Bの加重係数kA
=kB=1/2に設定する。また、FM補間では、輝度信
号、色差信号とも走査線C,Dの加重係数をkC=1,kD=0
叉はkC=0,kD=1に設定する。
【0042】一方、HP@MA補間では、輝度信号の低
域成分は時間垂直高域成分、高域成分はMA補間で補間
走査線の信号を生成する。したがって、輝度信号は動き
係数kをもとに走査線A,B,C,Dの加重係数kA,kB,kC,
kDを設定し、色差信号は走査線A,Bの加重係数kA=kB
=1/2に設定する。
【0043】IP-4のMODは、映像信号が一般画像の場合
はMA@MC補間の処理、テレシネ画像の場合はFM補
間の処理を行う。すなわち、フィルムフレ−ムのシ−ケ
ンス信号FSの形状より一般画像とテレシネ画像を判別
し、対応する補間の処理を行う。
【0044】MA@MC補間では、輝度信号は、動き係
数kをもとにMA補間処理で生成した補間信号IXA(IXA=
kA・A+kB・B+kC・C+kD・D)と、表1に示した動きベクトルV
(Vx,Vy)のMC補間処理で生成した補間信号IXC(Vy=0;IX
C=(C+D)/2,Vy=2;IXC=(E+F)/2,Vy=-2;IXC=(G+H)/2)と
を、それぞれ混合比α,1-α(ただし0≦α≦1)で混合加
算し、補間信号αIXA+(1-α)IXCを生成する。ここに、
αは、動きベクトルVがV(∞,∞)(動き補償処理が不可
能なことを示す特別の動きベクトル)、および動きベク
トルの成分が大きな時はα=1の近傍、動きベクトルの
成分が小さい時はα=0の近傍となるように値を設定す
る。そして、走査線A,B,C,D,E,F,G,Hの加重係
数は、補間信号αIXA+(1-α)IXCで定まる値を設定す
る。一方、色差信号は走査線A,Bの加重係数kA=kB=1
/2に設定する。
【0045】また、FM補間では、輝度信号、色差信号
とも走査線C,Dの加重係数をkC=1,kD=0叉はkC=0,kD
=1に設定する。
【0046】IP-5のMODは、映像信号が一般画像のNT
SC方式の信号はMA@MC補間、EDTV方式の信号
はHP@MA補間、テレシネ画像ではいずれの方式の信
号もFM補間の処理を行う。すなわち、フィルムフレ−
ムのシ−ケンス信号FSと方式識別信号N/Eの形状よ
り一般画像とテレシネ画像およびTV方式を判別し、対
応する補間の処理を行う。
【0047】MA@MC補間では、輝度信号は、動き係
数kをもとにMA補間処理で生成した補間信号IXA(IXA=
kA・A+kB・B+kC・C+kD・D)と、表1に示した動きベクトルV
(Vx,Vy)のMC補間処理で生成した補間信号IXC(Vy=0;IX
C=(C+D)/2,Vy=2;IXC=(E+F)/2,Vy=-2;IXC=(G+H)/2)と
を、それぞれ混合比α,1-α(ただし0≦α≦1)で混合加
算し、補間信号αIXA+(1-α)IXCを生成する。ここに、
αは、動きベクトルVが動き補償が不可能なことを示す
特別の動きベクトルV(∞,∞)、および動きベクトルの
成分が大きな時はα=1の近傍、動きベクトルの成分が
小さい時はα=0の近傍となるように値を設定する。そ
して、走査線A,B,C,D,E,F,G,Hの加重係数は、
補間信号αIXA+(1-α)IXCで定まる値を設定する。一
方、色差信号は走査線A,Bの加重係数kA=kB=1/2に設
定する。
【0048】一方、HP@MA補間では、輝度信号の低
域成分は時間垂直高域成分、高域成分はMA補間で補間
走査線の信号を生成する。したがって、輝度信号は動き
係数kをもとに走査線A,B,C,Dの加重係数kA,kB,kC,
kDを設定し、色差信号は走査線A,Bの加重係数kA=kB
=1/2に設定する。
【0049】また、FM補間では、輝度信号、色差信号
とも走査線C,Dの加重係数をkC=1,kD=0叉はkC=0,kD
=1に設定する。
【0050】なお、以上に述べた加重係数kWY,kW
Cの設定動作は、例えばROMによるテ−ブルルックア
ップなどで実現できる。すなわち、モ−ド信号MOD,
方式識別信号N/M,フィルムフレームのシ−ケンス信
号FSにより複数の補間処理テ−ブル(MA補間,MA@
MC補間,HP@MA補間,FM補間)の1つを選択し、
各テ−ブルでは動き係数k,動きベクトルV,フィルムフ
レームのシ−ケンス信号FSを入力して対応する加重係
数を出力するように構成する。
【0051】次に、図6に演算部6,11の一構成例図
を示す。同図(a)は、輝度信号に対応した演算部6で、
係数加重部25と加算部26とHP補間部27とで構成
する。
【0052】信号系列S1(走査線A〜Hの信号)は係数
加重部25に入力し、加重係数kWY(kA〜kH)の係数値
を加重する。この各出力は、加算部26で加算する。H
P補間部27は、HP@MA補間の場合にはこの低域成
分に時間垂直高域成分VTを加算する処理、上記以外の
補間処理では入力をそのまま出力する処理を行う。そし
て、この出力に補間走査線の補間信号系列YIを得る。
一方、走査線Aの信号で主走査線の信号系列YMを得
る。
【0053】同図(b)は、色差信号に対応した演算部1
1で、係数加重部25と加算部26とで構成する。信号
系列S5(走査線A〜Dの信号)は係数加重部25に入力
し、加重係数kWC(kA〜kD)の係数値を加重する。この
各出力は、加算部26で加算し、この出力に補間走査線
の補間信号系列CbIを得る。一方、走査線Aの信号で
主走査線の信号系列CbMを得る。
【0054】図7は、垂直拡大/水平圧縮処理部7,1
2の一構成例図で、同図(a)は構成、(b)はその動作概略
を示す。
【0055】同図(a)の28は遅延部、29は水平4−
3変換部、30は垂直3−4変換部、31は選択部であ
る。水平4−3変換部29は、水平方向に時間軸を3/
4倍圧縮する信号処理を行う。同図(b)に示すように、
アスペクト比が4:3の画像では、例えば水平有効画素
数が768画素の信号は、画素数の4−3変換処理によ
り水平方向に3/4倍圧縮された有効画素数が576画
素の信号系列S11を生成する。
【0056】また、垂直3−4変換部30は、垂直方向
に4/3倍拡大する信号処理を行う。同図(b)に示すよ
うに、アスペクト比が16:9のレタ−ボックス形態の
画像では、例えば有効ライン数が360本の信号は、ラ
イン数の3−4変換処理により垂直方向に4/3倍拡大
された有効ライン数が480本の信号系列S12を生成
する。なお、HP@MA補間では、信号系列S12に更
に垂直高域成分VHを加算した信号を出力する。
【0057】一方、遅延部28は、上述の信号処理での
遅延時間を調整した信号系列S10を出力する。
【0058】選択部31は、方式識別信号N/Eにより
信号系列S10,S11,S12のいずれか1つを選択す
る。そして、その出力に所定の垂直拡大や水平圧縮を行
った主走査線の信号系列YMMと補間走査線の補間信号
系列YIMを得る。すなわち、NTSC方式のアスペク
ト比4:3の画像では水平圧縮、NTSC方式やEDT
V方式のアスペクト比16:9のレタ−ボックス形態の
画像では垂直拡大の処理を行った画像の信号系列を得
る。
【0059】以上に説明したごとく、本実施例によれ
ば、表2のIP-2〜IP-5の補間形態で生成した補間走査線
の補間信号を使用して飛び越し〜順次の走査変換を行
う。このため、従来の動き適応型(MA補間)による走査
変換に比べて、極めて画質の劣化が少ない飛び越し〜順
次の走査変換を実現できる。すなわち、高画質画像に不
可欠な物理要因である自然感を保存して、静止画像から
動画像まで違和感なく高品質画像を再生する映像信号の
走査変換回路が実現できる。そして、テレビ画像の高画
質化に顕著な改善効果を得ることができる。
【0060】次に、本発明の走査変換回路をTV受像機
に適用した実施例について説明する。
【0061】図8は、その第1の実施例の全体ブロック
構成図である。図中の32はBSチュ−ナ部、33は地
上波チュ−ナ部、34は分離部、35はED識別部、3
6は色復調部、37はHH復調部、38は走査変換部、
39は画質改善部、40は表示部、41は加算部であ
る。
【0062】衛星放送波BSは、BSチュ−ナ部32で
所定の復調処理を行ってベ−スバンドの映像信号TV1
に復調する。地上波放送V/Uは、地上波チュ−ナ部3
3で所定の復調処理を行ってベ−スバンドの映像信号T
V2に復調する。
【0063】分離部34は、3次元分離の信号処理によ
り、映像信号TV1,TV2の輝度信号成分YLと、搬
送色信号成分Cと、EDTV方式の垂直補強信号HP
と、水平補強信号HHとを分離する。また、ED識別部
35は、映像信号の特定走査線(22,285ライン)の
信号形態からTV方式の識別を行う。すなわち、上記特
定走査線が画像信号の場合はNTSC方式、識別制御信
号の場合はEDTV方式と判定し、方式判別信号N/E
(例えば、NTSC方式では0、EDTV方式では1)を
出力する。
【0064】色復調部36は、搬送色信号成分Cの復調
処理を行って色差信号Cb,Crを復調する。また、H
H復調部37は、EDTV方式の場合に水平補強信号H
Hの復調処理を行って輝度信号高域成分を復調する。そ
して、加算部41で輝度信号成分YLに加算して、輝度
信号Yを復調する。
【0065】走査変換部38は、前述した実施例の飛び
越し〜順次の走査変換回路である。モ−ド信号MODで
定まるIP-2〜IP-5のいずれかの補間処理で補間走査線の
補間信号を生成し、飛び越し走査の信号系列Y,Cb,C
r(走査線数525本,30フレ−ム/秒,2:1の飛び
越し走査)から順次走査の信号系列YP,CbP,CrP
(走査線数525本,60フレ−ム/秒,順次走査)に変換
する。
【0066】画質改善部39は、ノイズ除去や鮮鋭度向
上の信号処理と3原色信号系列への変換処理を行い、順
次走査の3原色信号系列RP,GP,BPを生成する。そ
して、表示部40は、走査線数525本,60フレ−ム
/秒,順次走査の形態で3原色信号系列RP,GP,BP
を表示する。
【0067】なお、本実施例における走査変換部38は
図1に示した実施例の構成、その他の各ブロック部は従
来の技術で容易に構成できるため、説明は省略する。
【0068】以上に述べたごとく、本実施例によれば、
NTSC方式とEDTV方式の映像信号を、高画質画像
に不可欠な物理要因である自然感を保存して、静止画像
から動画像まで違和感なく高品質画像を再生するTV受
像機が実現できる。このため、テレビ画像の高画質化に
顕著な改善効果を得ることができる。
【0069】図9は、TV受像機の第2の実施例の全体
ブロック構成図である。図中の32はBSチュ−ナ部、
33は地上波チュ−ナ部、34は分離部、35はED識
別部、36は色復調部、37はHH復調部、38は走査
変換部、39は画質改善部、40は表示部、41は加算
部、42はMUSE復調部、43はHD−P変換部であ
る。
【0070】衛星放送波BSは、BSチュ−ナ部32で
所定の復調処理を行ってベ−スバンドの映像信号TV1
に復調する。地上波放送V/Uは、地上波チュ−ナ部3
3で所定の復調処理を行ってベ−スバンドの映像信号T
V2に復調する。
【0071】映像信号TV1のMUSE方式の信号は、
MUSE復調部42で所定の復調処理を行い、走査線数
1125本,30フレ−ム/秒,2:1飛び越し走査のH
DTVフォ−マットの輝度信号成分HYと色差信号成分
HCb,HCrに復調する。そして、HD−P変換部4
3で走査線変換処理を行い、走査線数525本,60フ
レ−ム/秒,順次走査の輝度信号系列YP’と色差信号
系列CbP’CrP’とを生成する。この走査線変換処
理については後に詳述する。
【0072】映像信号TV1,TV2のNTSC方式お
よびEDTV方式の信号は、前述の実施例と同様の復調
の信号処理を行う。すなわち、分離部34は、3次元分
離の信号処理により、映像信号TV1,TV2の輝度信
号成分YLと、搬送色信号成分Cと、EDTV方式の垂
直補強信号HPと、水平補強信号HHとを分離する。ま
た、ED識別部35は、映像信号の特定走査線(22,2
85ライン)の信号形態からTV方式の識別を行う。上
記特定走査線が画像信号の場合はNTSC方式、識別制
御信号の場合はEDTV方式と判定し、方式判別信号N
/E(例えば、NTSC方式では0、EDTV方式では
1)を出力する。
【0073】色復調部36は、搬送色信号成分Cの復調
処理を行って色差信号Cb,Crを復調する。また、H
H復調部37は、EDTV方式の場合に水平補強信号H
Hの復調処理を行って輝度信号高域成分を復調する。そ
して、加算部41で輝度信号成分YLに加算して、輝度
信号Yを復調する。
【0074】走査変換部38は、前述した実施例の飛び
越し〜順次の走査変換回路である。モ−ド信号MODで
定まるIP-2〜IP-5のいずれかの補間処理で補間走査線の
補間信号を生成し、飛び越し走査の信号系列Y,Cb,C
r(走査線数525本,30フレ−ム/秒,2:1の飛び
越し走査)から順次走査の信号系列YP,CbP,CrP
(走査線数525本,60フレ−ム/秒,順次走査)に変換
する。
【0075】順次走査の信号系列YP,CbP,CrPと
YP’CbP’CrP’は、バスを介して画質改善部3
9に入力する。画質改善部39は、ノイズ除去や鮮鋭度
向上の信号処理と3原色信号系列への変換処理を行い、
順次走査の3原色信号系列RP,GP,BPを生成する。
そして、表示部40は、走査線数525本,60フレ−
ム/秒,順次走査の形態で3原色信号系列RP,GP,B
Pを表示する。
【0076】図10は、HD−P変換部43の動作概略
図である。MUSE復調部42より得られる飛び越し走
査のHDTVフォ−マットの信号に対して、走査線の1
7−16変換処理を行い、走査線数525本の順次走査
フォ−マットの信号に変換する。すなわち、HDTVフ
ォ−マットの偶数フィ−ルドでは、走査線LE1〜LE17の
17本の信号に対して同図に示す係数加重演算で順次走
査フォ−マットの走査線P1〜P16の16本の信号 (P1=LE1,P2=(15/16)LE2+(1/16)LE3,P3=(14/16)LE3+(2/1
6)LE4,…,P15=(2/16)LE15+(14/16)LE16,P16=(1/16)LE16
+(15/16)LE17)を生成する。また、HDTVフォ−マッ
トの奇数フィ−ルドでは、走査線LO1〜LO17の17本の
信号に対して同図に示す係数加重演算で順次走査フォ−
マットの走査線P1〜P16の16本の信号 (P1=(8/16)LO1+(8/16)LO2,P2=(7/16)LO2+(9/16)LO3,…,
P15=(10/16)LO15+(6/16)LO16,P16=(9/16)LO16+(7/16)LO
17)を生成する。
【0077】また、本実施例における走査変換部38は
図1に示した実施例の構成、その他の各ブロック部は従
来の技術で容易に構成できるため、説明は省略する。な
お、本実施例において、MUSE復調部42とHD−P
変換部43とをモジュ−ル化した構成とし、追加構成可
能な形態で実現することも考えられる。
【0078】以上に述べたごとく、本実施例によれば、
MUSE方式とNTSC方式とEDTV方式の映像信号
を、高画質画像に不可欠な物理要因である自然感を保存
して、静止画像から動画像まで違和感なく高品質画像を
再生するTV受像機が実現できる。このため、テレビ画
像の高画質化に顕著な改善効果を得ることができる。
【0079】図11は、TV受像機の第3の実施例の全
体ブロック構成図である。図中の32はBSチュ−ナ
部、33は地上波チュ−ナ部、34は分離部、35はE
D識別部、36は色復調部、37はHH復調部、38は
走査変換部、39は画質改善部、40は表示部、41は
加算部、42はMUSE復調部、43はHD−P変換
部、44はCS復号部である。
【0080】衛星放送波BSは、BSチュ−ナ部32で
所定の復調処理を行ってベ−スバンドの映像信号TV1
に復調する。地上波放送V/Uは、地上波チュ−ナ部3
3で所定の復調処理を行ってベ−スバンドの映像信号T
V2に復調する。
【0081】映像信号TV1のMUSE方式の信号は、
第2の実施例と同様、MUSE復調部42で所定の復調
処理を行い、走査線数1125本,30フレ−ム/秒,
2:1飛び越し走査のHDTVフォ−マットの輝度信号
成分HYと色差信号成分HCb,HCrに復調する。そ
して、HD−P変換部43で走査線変換処理を行い、走
査線数525本,60フレ−ム/秒,順次走査の輝度信号
系列YP’と色差信号系列CbP’CrP’とを生成す
る。
【0082】映像信号TV1,TV2のNTSC方式お
よびEDTV方式の信号は、前述の実施例と同様の復調
の信号処理を行う。すなわち、分離部34は、3次元分
離の信号処理により、映像信号TV1,TV2の輝度信
号成分YLと、搬送色信号成分Cと、EDTV方式の垂
直補強信号HPと、水平補強信号HHとを分離する。ま
た、ED識別部35は、映像信号の特定走査線(22,2
85ライン)の信号形態からTV方式の識別を行う。上
記特定走査線が画像信号の場合はNTSC方式、識別制
御信号の場合はEDTV方式と判定し、方式判別信号N
/E(例えば、NTSC方式では0、EDTV方式では
1)を出力する。
【0083】色復調部36は、搬送色信号成分Cの復調
処理を行って色差信号Cb,Crを復調する。また、H
H復調部37は、EDTV方式の場合に水平補強信号H
Hの復調処理を行って輝度信号高域成分を復調する。そ
して、加算部41で輝度信号成分YLに加算して、輝度
信号Yを復調する。
【0084】一方、CSデジタル放送波は、CS復号部
44でベ−スバンド信号への復調処理と画像復号化処理
を行い、飛び越し走査の画像信号系列の輝度信号Y’色
差信号Cb’Cr’を復号する。なお、CSデジタル放
送では、画像信号は符号化の国際標準であるMPEGビ
デオ符号化で高能率符号化した信号である。このため、
動きベクトルの情報もデ−タとして伝送される。したが
って、この動きベクトルの情報を動き補償の補間処理に
活用することができる。
【0085】飛び越し走査の信号系列Y,Cb,Crと
Y’Cb’Cr’(走査線数525本,30フレ−ム/
秒,2:1の飛び越し走査)はバスを介して走査変換部3
8に入力する。そして、走査変換部38は、前述した本
発明による飛び越し〜順次の走査変換回路である。モ−
ド信号MODで定まるIP-2〜IP-5のいずれかの補間処理
で補間走査線の補間信号を生成し、飛び越し走査の信号
系列Y,Cb,Cr(走査線数525本,30フレ−ム/
秒,2:1の飛び越し走査)から順次走査の信号系列Y
P,CbP,CrP(走査線数525本,60フレ−ム/
秒,順次走査)に変換する。
【0086】順次走査の信号系列YP,CbP,CrPと
YP’CbP’CrP’は、バスを介して画質改善部3
9に入力する。画質改善部39は、ノイズ除去や鮮鋭度
向上の信号処理と3原色信号系列への変換処理を行い、
順次走査の3原色信号系列RP,GP,BPを生成する。
そして、表示部40は、走査線数525本,60フレ−
ム/秒,順次走査の形態で3原色信号系列RP,GP,B
Pを表示する。
【0087】本実施例における走査変換部38は図1に
示した実施例の構成、その他の各ブロック部は従来の技
術で容易に構成できるため、説明は省略する。なお、本
実施例において、MUSE復調部42とHD−P変換部
43、およびCS復号部44はモジュ−ル化して構成
し、追加構成可能な形態で実現することもできる。
【0088】以上に述べたごとく、本実施例によれば、
MUSE方式とNTSC方式とEDTV方式、およびC
S放送の映像信号を、高画質画像に不可欠な物理要因で
ある自然感を保存して、静止画像から動画像まで違和感
なく高品質画像を再生するTV受像機が実現できる。こ
のため、テレビ画像の高画質化に顕著な改善効果を得る
ことができる。
【0089】
【発明の効果】本発明では、高画質画像に不可欠な物理
要因である自然感を保存して、静止画像から動画像まで
違和感なく高品質画像を再生する映像信号の走査変換回
路ならびにテレビジョン受像機が実現できる。このた
め、画質改善に顕著な効果が得られ、テレビ画像の高画
質化、高品質化に極めて有効である。
【図面の簡単な説明】
【図1】走査変換回路の一実施例のブロック構成図。
【図2】メモリ部の一構成例図。
【図3】MA信号生成部の一構成例図。
【図4】MC信号生成部の一構成例図。
【図5】FM信号生成部の一構成例図。
【図6】演算部の一構成例図。
【図7】垂直拡大/水平圧縮処理部の一構成例図。
【図8】本発明による走査変換回路を用いたTV受像機
の第1の実施例図。
【図9】本発明による走査変換回路を用いたTV受像機
の第2の実施例図。
【図10】HD−P変換部の動作概略図。
【図11】本発明による走査変換回路を用いたTV受像
機の第3の実施例図。
【符号の説明】
1,10…メモリ部、2…MA信号生成部、3…MC信
号生成部、4…FM信号生成部、5…制御部、6,11
…演算部、7,12…垂直拡大/水平圧縮処理部、8…
垂直補強信号復調部、9,13…時系列多重部、14…
1H遅延部、15…261H遅延部、16…262H遅延部、
17…フレ−ム差分抽出部、18…量子化部、19…平
滑部、20…係数設定部、21…ブロックマッチング
部、22…補間ベクトル検出部、23…計測部、24…
フィルムフレ−ム設定部、25…係数加重部、26…加
算部、27…HP補間部、28…遅延部、29…水平4
−3変換部、30…垂直3−4変換部、31…選択部、
32…BSチュ−ナ部、33…地上波チュ−ナ部、34
…分離部、35…ED識別部、36…色復調部、37…
HH復調部、38…走査変換部、39…画質改善部、4
0…表示部、41…加算部、42…MUSE復調部、4
3…HD−P変換部、44…CS復号部。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 小島 昇 神奈川県横浜市戸塚区吉田町292番地 株式会社日立製作所マルチメディアシス テム開発本部内 (72)発明者 寺西 謙太郎 神奈川県横浜市戸塚区吉田町292番地 株式会社日立製作所マルチメディアシス テム開発本部内 (56)参考文献 特開 平6−245141(JP,A) 特開 平5−137121(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 11/00 - 11/22 H04N 7/01

Claims (6)

    (57)【特許請求の範囲】
  1. 【請求項1】複数種類の飛び越し走査の映像信号が入力
    可能であり、該入力映像信号と該映像信号の補間信号処
    理で生成した補間映像信号とで、順次走査の映像信号を
    生成し、飛び越し〜順次の走査変換を行う映像信号の走
    査変換回路において、 上記飛び越し走査の映像信号より、画像の動きの大小を
    示す動き係数k、及び1フレ−ム期間の画像の動きを示
    す動きベクトルVテレシネ画像のフィルムフレ−ムの
    シ−ケンスFSを生成する信号生成部と、入力された モ−ド信号MODに応じて上記信号生成部
    により生成された動き係数k動きベクトルV、及び
    ィルムフレ−ムのシ−ケンスFSより上記映像信号の輝
    度信号成分の加重係数kWYと色差信号成分の加重係数
    kWCとを設定する制御と、上記映像信号内の、 時間、垂直方向で近接した複数個の
    走査線の輝度信号成分に上記制御部で設定された加重係
    数kWY,色差信号成分に上記加重係数kWCを加重し
    て輝度、色差信号成分の補間映像信号を生成する演算部
    を備え 前記制御部は、複数の補間処理を実行可能であって、上
    記入力モ−ド信号MODに応じて、前記複数種類の映像
    信号の各々に対応する補間処理として、上記複数の補間
    処理のいずれか一つの処理、もしくは上記複数の補間処
    理を組み合せた処理を設定し、該設定された補間処理に
    基づいて上記輝度信号成分の加重係数kWYと色差信号
    成分の加重係数kWCとを設定する ことを特徴とする映
    像信号の走査変換回路。
  2. 【請求項2】上記複数種類の映像信号として、NTSC
    方式もしくはEDTV方式の一般画像、またはテレシネ
    画像が入力可能であることを特徴とする請求項1に記載
    の映像信号の走査変換回路。
  3. 【請求項3】上記複数の補間処理は、動き適応型のMA
    補間、動き補償型のMC補間、及びテレシネ画像に対し
    て前後のいずれかのフィ−ルドの映像信号で補間処理を
    行うFM補間とを含み、 上記制御部は、上記入力 モ−ド信号MODにより、上記
    一般画像に対しては上記MA補間とMC補間とを組み合
    せたMA@MC補間処理を設定し、該MA@MC補間処
    理に基づいて上記加重係数kWY,kWCの設定を行う
    ことを特徴とする請求項に記載の映像信号の走査変換
    回路。
  4. 【請求項4】前記制御部は、上記モ−ド信号MODによ
    り、NTSC方式の一般画像に対しては上記MA補間
    設定し、EDTV方式の一般画像に対しては、その輝度
    低域垂直補強信号、その輝度高域を上記MA補間で補
    間処理を行うHP@MA補間を設定し、テレシネ画像に
    対してはFM補間を設定することを特徴とする請求項
    に記載の映像信号の走査変換回路。
  5. 【請求項5】前記制御部は、上記モ−ド信号MODによ
    り、NTSC方式の一般画像に対しては上記MA補間と
    MC補間とを組み合せたMA@MC補間を設定し、ED
    TV方式の一般画像に対しては、その輝度低域垂直補
    強信号、その輝度高域を上記MA補間で補間処理を行う
    HP@MA補間を設定し、テレシネ画像に対しては
    M補間を設定することを特徴とする請求項に記載の映
    像信号の走査変換回路。
  6. 【請求項6】上記映像信号が、画像符号化の国際標準で
    あるMPEG符号化されたディジタルビデオ信号の場合
    には、送られた動きベクトルの情報も利用して動き補償
    の補間処理を行うことを特徴とする請求項1乃至のい
    ずれかに記載の映像信号の走査変換回路。
JP25826796A 1996-09-30 1996-09-30 映像信号の走査変換回路 Expired - Lifetime JP3531379B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP25826796A JP3531379B2 (ja) 1996-09-30 1996-09-30 映像信号の走査変換回路

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25826796A JP3531379B2 (ja) 1996-09-30 1996-09-30 映像信号の走査変換回路

Publications (2)

Publication Number Publication Date
JPH10108218A JPH10108218A (ja) 1998-04-24
JP3531379B2 true JP3531379B2 (ja) 2004-05-31

Family

ID=17317871

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25826796A Expired - Lifetime JP3531379B2 (ja) 1996-09-30 1996-09-30 映像信号の走査変換回路

Country Status (1)

Country Link
JP (1) JP3531379B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100323663B1 (ko) * 1999-06-30 2002-02-07 구자홍 디인터레이싱 장치 및 방법
JP2001292387A (ja) * 2000-04-07 2001-10-19 Yamashita Engineering Manufacture Inc 画像処理装置および方法、ならびに記録媒体
US6839094B2 (en) * 2000-12-14 2005-01-04 Rgb Systems, Inc. Method and apparatus for eliminating motion artifacts from video
JP3715249B2 (ja) 2001-04-27 2005-11-09 シャープ株式会社 画像処理回路、画像表示装置、並びに画像処理方法
EP1441520A4 (en) * 2001-11-02 2009-11-11 Panasonic Corp SCAN CONVERSION DEVICE
KR100902315B1 (ko) * 2002-07-25 2009-06-12 삼성전자주식회사 디인터레이싱장치 및 방법
KR101127220B1 (ko) 2004-07-28 2012-04-12 세종대학교산학협력단 움직임 보상 적응형 순차주사화 장치 및 그 방법
JP3916637B2 (ja) 2005-03-08 2007-05-16 三菱電機株式会社 映像信号処理装置、映像信号処理方法、及び映像信号表示装置
JP4956180B2 (ja) 2006-12-26 2012-06-20 株式会社東芝 順次走査変換装置及び順次走査変換方法

Also Published As

Publication number Publication date
JPH10108218A (ja) 1998-04-24

Similar Documents

Publication Publication Date Title
JP3531379B2 (ja) 映像信号の走査変換回路
JP3332093B2 (ja) テレビジョン信号処理装置
JPH10112845A (ja) 画像信号の飛び越し順次走査変換方法および回路
JPH04330884A (ja) 多重信号受信装置
US5204745A (en) High-definition television signal processing system for transmitting and receiving a television signal in a manner compatible with the present system
JPH0346479A (ja) テレビジョン信号変換装置
US5161003A (en) Compatible television system with companding auxiliary signal
JPS63268376A (ja) テレビ信号処理回路
JPH07162810A (ja) テレビジョン信号の方式変換装置
JPH0787418A (ja) Edtv垂直補強信号の復調方式
JP2600446B2 (ja) 映像信号処理装置
JP3359811B2 (ja) 画像信号のワイド変換回路およびデジタル放送受信機およびテレビジョン受信機
JP2848946B2 (ja) テレビジョン信号処理回路
EP0655862A2 (en) Signal processing apparatus and method for wide-screen television system
JP3241368B2 (ja) テレビジョン信号伝送方式
JP2517652B2 (ja) 帯域圧縮テレビジョン信号の受信装置
JP3097140B2 (ja) テレビジョン信号の受信、処理装置
JP2778394B2 (ja) 信号処理装置
JP2751844B2 (ja) ワイドテレビジョン信号処理装置およびワイドテレビジョン信号受信装置
JP2517651B2 (ja) 帯域圧縮テレビジョン信号の受信装置
JPH03179890A (ja) テレビジョン受像機
JPH06350976A (ja) テレビジョン受像機
JPH0458693A (ja) 帯域圧縮テレビジョン信号の受信装置
JPH07107443A (ja) Edtvテレビジョン受像機
JPH05292424A (ja) テレビジョン受像機

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040223

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090312

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090312

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100312

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110312

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110312

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120312

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130312

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130312

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140312

Year of fee payment: 10

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term