JP3612739B2 - 画像信号の復号化装置及び画像信号の復号化方法 - Google Patents
画像信号の復号化装置及び画像信号の復号化方法 Download PDFInfo
- Publication number
- JP3612739B2 JP3612739B2 JP17641294A JP17641294A JP3612739B2 JP 3612739 B2 JP3612739 B2 JP 3612739B2 JP 17641294 A JP17641294 A JP 17641294A JP 17641294 A JP17641294 A JP 17641294A JP 3612739 B2 JP3612739 B2 JP 3612739B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- motion
- motion vector
- interpolation
- generated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【産業上の利用分野】
本発明は画像信号を高能率符号化して送受信する画像信号の符号化・復号化方式および装置に係り、特に、動き補償予測符号化と直交変換符号化を組み合せたビデオ符号化の動きベクトルで、復号した画像信号に対して動き補償の走査変換を行なって高品質な画像で受像するに好適な画像信号の符号化・復号化方法と装置に係る。
【0002】
【従来の技術】
画像信号の高能率符号化の分野では、これまで種々の符号化方式が考案されてきた。このうち、動き補償予測符号化と直交変換符号化を組み合せたビデオ符号化方式は、前フレームの信号を動きベクトルで動き補償して生成した予測信号と、現フレームの信号との差分信号を予測誤差信号として抽出し、この予測誤差信号をDCT変換(離散コサイン変換)した変換係数を符号化することで、圧縮効率の高い符号化が実現できる。そして、国際標準規格であるMPEG1、MPEG2のビデオ符号化に採用され、今後のティジタル放送やCATVやパッケージメディアを対象とした研究開発が進められている。この符号化方式を用いるディジタル放送では、20メガ前後のビットレートで、原画像と同等の高品質な画像が受像できる。ただ、画像信号の多くはインタレース走査であるため、これに起因したラインフリッカやペアリングなどのインタレース妨害による画質劣化が発生するという問題が残る。
【0003】
一方、インタレース妨害を低減する技術として、インタレース走査で抜けた走査線の信号を補間処理で生成してノンインタレース走査の信号で表示するインタレース〜ノンインタレース変換が知られている。ただ、補償信号の生成に、画像の動きに応じて特性を変化させる動き適応の信号処理が必要になる。しかし、動きの情報はインタレース走査の信号で検出するために検出もれや誤検出が発生し、これに起因した画像劣化が発生するという問題がある。
【0004】
したがって、ディジタル放送の復号画像に対して上述のインタース妨害の低減技術をほどこしても、画質改善の効果は少なく、高品質というディジタル放送の特長を充分に生かすことができないという問題点がある。
【0005】
【発明が解決しようとする課題】
本発明の目的は、上記の問題点の解決を図り、インタレース妨害の発生がほとんどなく、高品質・高精細な画像で受像できる画像信号の復号化方法とその装置を提供することにある。
【0006】
【課題を解決するための手段】
上記目的を達成するため、本発明においては、復号化部ではインタレース〜ノンインタレース変換に動き補償の走査変換信号処理を採用する。そして、この信号処理に必要な動き検出は、動き補償予測符号化で使用する動きベクトルをもとに行なう。
【0007】
また、符号化部の動き補償予測符号化では、動き補償の走査変換処理にも適した形態の動きベクトルを抽出する信号処理、あるいは、復号化部では復号した動きベクトルから動き補償の走査変換処理に適した形態の動きベクトルを選別する信号処理を採用する。
【0008】
さらに、動き補償のフレーム間差分信号の絶対値の大小に応じて、動き補償の補間信号と、従来技術の動画像の補間信号との混合比を変化させる適応処理を採用する。
【0009】
【作用】
本発明における動き補償の予測符号化および動き補償の走査変換処理について、図1,図2の動作概略図をもとに説明する。
【0010】
図1は、映像信号がインタレース走査で、動きが垂直方向の時の動作を示す。
【0011】
同図(a)のフレーム間の予測符号化では、例えば、インタレース走査の第1フィールドの信号系列、第2フィールドの信号系列に対して、1フレーム期間での動きベクトルV(水平Vx,垂直Vy)を抽出する。なお、後述する動き補償の走査変換処理に整合する様に、動きベクトルVは、Vx=2m,Vy=2n(m=0,±1,±2,…,n=0,±1,±2,…)の組み合せのもので抽出する。そして、この動きベクトルVで動き補償して生成した予測信号と、原信号との差分を予測誤差信号として検出する。例えば、動きベクトルV0では、走査線aと1,V1では走査線aと2,V2では走査線aと3との信号の差分を予測誤差信号として検出する。
【0012】
一方、動き補償の走査変換処理では、インタレース走査で抜けた走査線(図中の黒丸で示す補間走査線)の信号を、動きベクトルVをもとに生成する。例えば、第1(2)フィールドの補間走査線a(a′)は、動きベクトルV0では第2(1)フィールドの走査線αとα′から(α+α′)/2、V1では走査線βとβ′から(β+β′)/2,V2では走査線γとγ′から(γ+γ′)/2の補間信号を生成す
る。そして、この補間信号で、インタレース〜ノンインタレース変換を実現する。
【0013】
なお、予測符号化での動きベクトルVに対してVx=2m,Vy=2nの制約をもうけない場合には、動き補償の走査変換処理では動きベクトルVのうちVx=2m,Vy=2nの条件を満すものを選別する。そして、この動きベクトルをもとに、上述した補間信号を生成する。
【0014】
同図(b)に示すフィールド間の予測符号化では第1(2)フィールドの信号系列に対して、1フィールド期間での動きベクトルを抽出し、この動きベクトルで動き補償して生成した予測信号と、第2(1)フィールドの信号との差分を予測誤差信号として検出する。
【0015】
動き補償の走査変換処理では、動きベクトルVのうち、その成分がVx=m,Vy=nの条件を満すものを選択する。そして、選別した動きベクトルをもとに、インタレース走査で抜けた走査線(図中の黒丸で示す補間走査線)の信号を生成する。例えば第1(2)フィールドの補間走査線a(a′)は、動きベクトルV 0 ′では第2(1)フィールドの走査線α,V1′では走査界線β,V2′では走査線γで、補間信号を生成する。
【0016】
以上に述べた様に、本発明では動き補償の走査変換処理に適した動きベクトルを用いることで、理想に近い補間信号が生成できる。一方、動き補償の走査変換処理の条件を満す動きベクトルがない場合は、従来技術と同様の動き適応の信号処理で補間信号を生成する。
【0017】
なお、動き補償の走査変換処理では、補間の精度は動きベクトルに左右される。このため、動きベクトルの精度が悪いと画像が劣化することが予想される。しかしながら、動き補償のフレーム間差分信号の成分が大きい領域は、従来技術と同様に動き適応の信号処理に変更することで、この種の画質の劣化は回避できる。そして、本発明では、従来技術に比較して、インタレース妨害が極めて少なく、かつ、解像度が高い高品質な走査変換が達成できる。
【0018】
さて、映像信号には、ノンインタレース走査のものもある。例えばシネマ画像やコマーシャルフィルムは毎秒24フレームもしくは30フレームのノンインタレース走査の信号とみなすことができる。この値の信号では、大面積フリッカを回避するため、フレーム数変換の処理で例えば毎秒60フレームの信号に変換して表示する。
【0019】
図2は、この種のノンインタレース走査の映像信号に対する本発明の動き補償の予測符号化および動き補償の走査変換の概略図である。
【0020】
予測符号化では、フレーム間での動きベクトルVを抽出し、この動きベクトルで動き補償した前フレームの信号と現フレームの信号との差分を予測誤差信号として検出する。例えば、動きベクトルV0では走査線aと1,V1では走査線aと2、V2では走査線aと3との差分を予測誤差信号として検出する。
【0021】
一方、動き補償の走査変換処理では、同図に示す動きベクトルで図中の黒丸で示す補間走査線の信号を生成し、例えば標準モードはフレーム数の30〜60変換、シネマモードでは24〜60変換を実現する。すなわち、標準モードでは、補間走査線aは、動きベクトルV0では走査線αとα′から(α+α′)/2、V2では走査線βとβ′から(β+β′)/2、V4では走査線γとγ′から(γ+γ′)/2の補間信号を生成する。一方、シネマモードでは、補間走査線aは、動きベクトルV0では走査線αとα′から(α+α′)/2、V3では走査線βとβ′から(β+β′)/2の補間信号を生成する。また、補間走査線a′は、動きベクトルV0では走査線γとγ′から(γ+γ′)/2、V4では走査線α′とα″から(α′+α″)/2の補間信号を生成する。そして、動き補償の走査変換処理に適したこれら動きベクトルで、理想に近い補間信号を生成する。
【0022】
なお、この動き補償の走査変換処理を行なうに適した動きベクトルがない場合は、従来と同様に、前フレームの信号、あるいは前後のフレームの信号の平均値などで、補間信号を生成する。
【0023】
また、動き補償の走査変換処理は、動き補償のフレーム間差分信号の成分が小さな領域に対して行なう。そして、動きベクトルの精度の悪さに起因する画質の劣化を回避する。
【0024】
したがって、本発明では、従来に比較して、解像度が高く、かつ、ジャダー妨害(動きの滑らかさが損なられる妨害)の少ないフレーム数変換の走査変換が達成できる。
【0025】
【実施例】
本発明の第1の実施例について、図3に示す全体ブロック構成図により説明する。本実施例は、符号化部の動き補償予測符号化で用いる動きベクトルを、動き補償の走査変換処理に適した形態のものに制限して符号化を行なうに好適なものである。なお、本実施例では、フレーム間の動き補償予測符号化とDCT変換(離散コサイン変換)の直交変換符号化を組み合せたビデオ符号化の場合を例に説明する。
【0026】
同図(a)の符号化部では、画像信号VSは前処理部1に入力し、ディジタル化、および、画像情報PI(画像フォーマットや符号化モードなどの情報)にもとづいた所定の画像フォーマット変換を行ない、符号化画像信号系列S1を生成する。例えば、MPEG1,2に準拠したビデオ符号化では、S1は、6つのブロック(4つの輝度信号ブロックと2つの色差信号ブロック、ブロックサイズは8画素×8ライン)で構成されるマクロブロックの信号系列になる。
【0027】
符号化画像信号系列S1は、所定の符号化モードに従い、フレーム内符号化フレーム(Iピクチャと略称)はDCT変換符号化、フレーム間符号化フレーム(Pピクチャと略称)は動き補償フレーム間予測符号化とDCT変換符号化する。図4は、インタレース走査の画像信号に対する符号化モードの概略図である。同図(a)の偶数/奇数フィールドの独立符号化では、第1フィールドの信号、第2フィールドの信号でそれぞれ符号化フレームの系列を構成して符号化する。また、同図(b)の順次走査変換後の符号化では、第1フィールドの信号と第2フィールドの信号とを合成して符号化フレームの系列を構成し、符号化を行なう。一方、同図(c)のフレーム間/フィールド間適応予測符号化では、第1フィールドの信号、第2フィールドの信号からなる符号化フレームの系列に対して、フレーム間とフィールド間の予測誤差信号の小さい方を選択して符号化する。以下では、同図(a)の独立符号化を例に、符号化の動作を説明する。
【0028】
スイッチ4,11は、Iピクチャの符号化モードでは端子a、Pピクチャの符号化モードでは端子bに接続して符号化処理を行なう。すなわち、スイッチ4は、Iピクチャの時は原画像の符号化画像信号系列S1、Pピクチャ時は、減算部3で信号系列S1からMC信号生成部13で生成するフレーム間動き補償予測信号系列S10を減算して得られるフレーム間予測誤差信号系列S2を、信号S3に出力する。
【0029】
DCT部5は、信号S3の各ブロック(8画素×8ライン)の信号に対して、8行×8列のDCT変換行列との行列演算を行ない、変換係数信号系列S4を生成する。量子化部6は、所定の特性で変換係数の量子化処理を行ない、係数量子化信号系列S5を生成する。なお、量子化の特性は、バッファ部16のバッファ滞留量に応じて制御し、所定の伝送ビットレートを確保する。
【0030】
逆量子化部8は、逆量子化処理で変換係数信号系列S6を復号し、IDCT部9は8行×8列のDCT変換逆行列との行列演算を行ない、Iピクチャ時は符号化画像信号系列、Pピクチャ時はフレーム間予測誤差信号系列の信号S7を復号する。そして、加算部10は、フレーム間動き補償予測信号系列S10との加算を行ない、Pピクチャ時の符号化画像信号系列を復号する。スイッチ11は、Iピクチャ時は端子a、Pピクチャ時は端子bに接続し、復号した符号化画像信号系列S8を出力する。フレームメモリ部12では1フレームの期間遅延させた信号S9を生成する。
【0031】
動きベクトル検出部2は、画像情報PIに応じて、復号化部での動き補償の走査変換処理にも整合した動きベクトルMVを抽出する。すなわち、画像信号がインタレース走査では図1の走査線補間に示した様に、フレーム間符号化では動きベクトルV0,V1,V2(Vx=2m,Vy=2n)を抽出する。また、画像信号がノンインタレース走査では図2の走査線補間に示した動きベクトルを抽出する。なお、動きベクトルは、ブロックマッチング法などで抽出する。そして、MC信号生成部13は、動きベクトルMVで信号S9に動きの補償処理を行ない、フレーム間動き補償予測信号系列S10を生成する。
【0032】
VLC部7,14は、係数量子化信号系列S5と動きベクトルMVに所定の可変長符号化処理を行ない、符号化画像データ系列S11と、符号化動きベクトル系列S12とを生成する。そして、多重部15では、画像情報PIの符号化パラメタなどの各種データと、符号化画像データ系列S11と、符号化動きベクトル系列S12を時分割に多重する処理を行ない、生成した符号化データ系列S13をバッファ部16に入力する。
【0033】
バッファ部16から一定のビットレートで信号を読み出し、符号化ビットストリーム信号PCDを生成する。なお、図面には明示していないが、この信号PCDは伝送媒体に応じた符号誤り対策やディジタル変調などの所定のチャネル符号化(例えばディジタル放送などでは多値QAMや多値VSBなどのディジタル変調)して伝送する。
【0034】
同図(b)の復号化部では、チャネル復号化して復号した復号化ビットストリーム信号PCDは、バッファ部17に入力する。そして、バッファ部より読み出した符号化データ系列S13は、DMPX部18で、符号化画像データ系列S11と、符号化動きベクトル系列S12と、画像情報PIの符号化パラメタ等の各種データとを分離する。
【0035】
IVLC部19,20は、可変長符号の復号処理を行ない、係数量子化信号系列S5と、動きベクトルMVとを復号する。
【0036】
逆量子化部8は、逆量子化処理で変換係数信号系列S4を復号し、IDCT部9は、8行×8列のDCT変換逆行列との行列演算を行なう。そして、Iピクチャ時の復号では符号化画像信号系列、Pピクチャ時の復号ではフレーム間予測誤差信号系列に対応する信号S3を復号する。加算部21は、MC信号生成部24で生成するフレーム間動き補償予測信号系列S10を加算し、Pピクチャ時の符号化画像信号系列S14を復号する。スイッチ22は、Iピクチャ時は端子a、Pピクチャ時は端子bに接続し、その出力に復号した符号化画像信号系列S15を得る。
【0037】
フレームメモリ部23は、1フレームの期間遅延させた信号S9を生成し、MC信号生成部24は、この信号に対して動きベクトルMVによる動きの補償処理を行ない、フレーム間動き補償予測信号系列S10を生成する。
【0038】
MC補間部25は、動きベクトルMVと、画像情報PIと、信号S3のフレーム間予測誤差信号系列をもとに、図1、あるいは図2に示す様な動き補償の走査変換処理を行ない、メイン信号系列S16と補間信号系列S17とを生成する。なお、この動作の詳細については後述する。
【0039】
後処理部26は、画像フォーマットの変換処理、インタレース〜ノンインタレース走査変換あるいはフレーム数変換の処理、および、アナログ信号への変換を行ない、ノンインタレース走査の画像信号VSDを復号する。この信号はノンインタレース走査の画像表示部(図面には明示せず)に呈示し、高品質・高精細な画像を受像する。
【0040】
以上で全体ブロック構成による説明を終え、つぎに、MC補間部25について、図5乃至図8に示す実施例をもとに説明する。
【0041】
図5は、この第1の構成例図で、動き補償の走査変換処理に用いる動きベクトルの精度が極めて高い場合に好適なものである。
【0042】
復号した符号化画像信号系列S15は、フィールドメモリ部27−1と、MCIP部29とに入力する。フィールドメモリ部は1フィールド期間の信号の遅延を行なう。そして、この出力信号でメイン信号系列S16を生成する。また、この信号をフィールドメモリ部27−2で1フィールド期間遅延させ、信号S15に対して1フレーム期間遅延した信号S9を生成する。なお、同図の点線で囲んだ部分は、図1に示したフレームメモリ部23に相当する。したがって、この部分をフレームメモリとして共用する形態で構成することもできる。
【0043】
補間MV生成部28は、画像情報PIで動き補償の走査変換がインタレース〜ノンインタレース走査変換、フレーム数変換のいずれであるかを判別する。そして、前者の場合は図1、後者の場合は図2に示した様に、動きベクトルMVをもとに、動き補償の補間信号の生成に必要な補間動きベクトルIMVを生成する。例えば、図1(a)において、動きベクトルMVがV0の場合には信号S9の走査線αと信号S15の走査線α′の信号、V1の場合には信号S9の走査部βと信号S15の走査線β′の信号とを指定する補間動きベクトルIMVを生成する。
【0044】
MCIP部29は、信号S9とS15に対して、補間動きベクトルIMVで指定する走査線の信号を取り出し、この両者の信号の平均値で動き補償の補間信号をつくり、補間信号系列S17を生成する。
【0045】
つぎに、この第2の構成例を図6,図7に示す。これは、動きベクトルの精度が若干悪い場合にも好適なものである。
【0046】
図6に示す構成例図において、フィールドメモリ部27−1と27−2とでフレームメモリを構成し、第1の構成例と同様に、メイン信号系列S16の信号と、動き補償の走査変換処理に使用する信号S15、および、この信号に対して1フレーム期間遅延した信号S9を生成する。なお、同図の点線で囲んだ部分は、図3に示したフレームメモリ部23に相当するため、図3の実施例ではこの部分を共用する形態で構成することもできる。
【0047】
MC補間制御部30は、動きベクトルMVと、画像情報PIと、信号S3で得られる動き補償のフレーム間差分信号成分とで、動き補償の補間信号の生成に必要な補間動きベクトルIMVと、動き適応係数km,1−kmを生成する。画像情報PIで、動き補償の走査変換がインタレース〜ノンインタレース走査変換かフレーム数変換のいずれであるかを判別する。そして、前者では図1、後者では図2に示した様に、動き補償の補間信号の生成に必要な補間動きベクトルIMVを生成する。ただし、第1の構成例とは異なり、この補間動きベクトルIMVは、図7(a)に示す特性で生成する。ブロック(8画素×8ライン)単位に、信号S3の予測誤差信号、すなわち、動き補償のフレーム間差分信号成分の絶対値和Σ|S3|を計測する。そして、これが閾値Th未満の時は動きベクトルの精度が高いと判断し、第1の構成例と同様に、動きベクトルMVをもとに補間動きベクトルIMVを生成する。一方、Σ|S3|が閾値Th以上では動きベクトルの精度が悪いと判断し、補間動きベクトルには0を生成する。また、動き適応係数kmは、図7(b)に示す様に、Σ|S3|の値に応じて0から1まで変化する特性の係数値を生成する。
【0048】
MCIP部29は、信号S9とS15に対して、補間動きベクトルで指定する走査線の信号を取り出し、この両者の信号の平均値で動き補償の補間信号S18を生成する。なお、動きベクトルの精度が悪い場合はIMV=0であるので、信号S18は、従来技術の静止モードの補間信号と同等のものになる。
【0049】
フィールド内補間部31は、信号S16をもとにフイールド内演算処理を行ない、同一フィールド信号で従来技術の動画モードと同様な動画像の補間信号S19を生成する。
【0050】
係数加重部32−1は、信号S18に動き適応係数1−km,係数加算部32−2は信号S19に動き適応係数kmをそれぞれ係数加重する。そして、加算部33で両者の信号を加算し、補間信号系列S17を生成する。
【0051】
つぎに、この第3の構成例を図8に示す。これは、動きベクトルの精度が相当に悪い場合にも好適なものである。
【0052】
同図(a)の構成図において、フィールドメモリ部27−1と27−2とでフレームメモリを構成し、第1,第2の構成例と同様、メイン信号系列S16の信号と、動き補償の走査変換処理に使用する信号S15と、この信号を1フレーム期間遅延させた信号S9とを生成する。なお、同図の点線で囲んだ部分は、図3に示したフレームメモリ部23に相当するので、図3の実施例ではこの部分を共用する形態で構成することもできる。
【0053】
減算部34は、信号S15とS9との減算を行ない、フレーム間の差分信号S20を生成する。
【0054】
MC補間制御部35は、動きベクトルMVと、画像情報PIと、信号S3の動き補償のフレーム間差分信号成分と、フレーム間の差分信号S20とで、補間動きベクトルIMVと、動き適応係数km,1−kmを生成する。画像情報PIで、動き補償の走査変換がインタレース〜ノンインタレース走査変換かフレーム数変換のいずれであるかを判別する。そして、前者の時は図1、後者の時は図2に示した動き補償の補間信号の生成に必要な補間動きベクトルを、同図(b)に示す特性で生成する。すなわち、Iピクチャでは補間動きベクトルにIMV=0を生成する。一方、Pピクチャでは、動き補償のフレーム間差分信号成分の大小で生成する。すなわち、ブロック(8画素×8ライン)単位に、信号S3の絶対値和Σ|S3|を計測する。そして、これが閾値Th未満の時は、動きベクトルの精度が高いと判定し、動きベクトルMVをもとに対応する補間動きベクトルを生成する。一方、閾値Th以上では動きベクトルの精度は悪いと判定し、補間動きベクトルにはIMV=0を生成する。また、動き適応係数kmは、PピクチャではΣ|S3|の大小、Iピクチャではフレーム間の差分信号の絶対値|S20|の大小で、0から1の範囲で変化する係数値を生成する。
【0055】
MCIP部29は、信号S9とS15に対して、補間動きベクトルで指定する走査線の信号を取り出し、この両者の信号の平均値で動き補償の補間信号S18を生成する。なお、IピクチャおよびPピクチャで動きベクトルの精度が悪い場合は、IMV=0であるので、信号S18は従来技術の静止モードの補間信号との同等のものになる。
【0056】
フィールド内補間部31は、信号S16をもとにフィールド内演算処理を行ない、従来技術と同様に同一フィールドの信号で動画モードに対応する動画像の補間信号S19を生成する。
【0057】
係数加重部32−1と32−2では、信号S18とS19にそれぞれ動き適応係数1−km,kmの係数値を加重し、加算部33で両者の信号を加算して、補間信号系列S17を生成する。
【0058】
なお、第2,第3の構成例における動き適応係数kmは、図示した様に係数値が段階的に変化する特性で実現することが望ましいが、場合によっては0か1かの2値特性で実現することもできる。
【0059】
つぎに、後処理部26の一構成例を図9により説明する。メイン信号系列S16と、補間信号系列S17は、画像フォーマット変換部36−1,36−2に入力し、符号化画像信号系列からもとの走査形態の画像信号のフォーマットへの画像フォーマット変換処理を行ない、輝度信号と2つの色差信号からなる画像系列VMSとVIPとを復号する。水平時間圧縮部37−1,37−2は、画像情報PIにより、インタレース〜ノンインタレース走査変換では水平方向に時間軸を1/2に圧縮する信号処理、フレーム数変換では例えば標準モードの30〜60変換は時間方向に時間軸を1/2に圧縮する信号処理を行なう。そして、時分割多重部38では、両者の信号を時分割に多重し、ノンインタレース走査の形態の画像系列VPを生成する。RGB変換部39は、所定のマトリクス演算の処理を行ない、3原色RGB系の画像系列VRに変換する。そして、DA変換部40ではアナログ信号への変換を行ない、ノンインタレース走査の画像信号VSDを復号する。
【0060】
なお、図3のその他のブロック部は、従来のMPEG1,2のビデオ符号化の符号化部、復号化部と同様に構成すればよいので、説明は省略する。
【0061】
以上に述べた様に、本実施例によれば、インタレース妨害あるいはジャダー妨害がなく、高品質・高精細な画像で受像する画像信号の符号化・復号化装置が実現でき、画質改善に顕著な効果が達成できる。
【0062】
つぎに、本発明の第2の実施例について、図10に示す全体ブロック構成図で説明する。本実施例は、復号化部で動きベクトルのうちの動き補償の走査変換処理に適したものを選別し、この選別した動きベクトルを用いてノンインタレース走査の画像信号を復号するに好適なものである。なお、本実施例では、フレーム間の動き補償予測符号化とDCT直交変換符号化を組み合せたMPEG1,2に準拠するビデオ符号化の場合を例に説明する。
【0063】
同図(a)の符号化部では、画像信号VSは前処理部1でディジタル化、および所定の画像フォーマット変換を行ない、符号化画像信号系列S1を生成する。すなわち、6つのブロック(4つの輝度信号ブロックと2つの色差信号ブロック、ブロックサイズは8画素×8ライン)で構成されるマクロブロックの信号系列を生成する。
【0064】
スイッチ4と11は、フレーム内のDCT符号化を行なう符号化モードがIピクチャでは端子a、動き補償フレーム間予測符号化とDCT符号化を行なう符号化モードがPピクチャでは端子bに接続する。そして、DCT部5には、Iピクチャの時は原画像の符号化画像信号系列S1、Pピクチャ時はフレーム間予測誤差信号系列S2が、それぞれ、信号S3として入力される。なお、減算部3は、MC信号生成部13で生成するフレーム間動き補償予測信号系列S10と符号化画像信号系列S1との減算処理で、フレーム間予測誤差信号系列S2を生成する。
【0065】
DCT部5は、信号S3の各ブロック(8画素×8ライン)を単位に、8行×8列のDCT変換行列との行列演算を行ない、変換係数信号系列S4を生成する。量子化部6は、変換係数を量子化して係数量子化信号系列S5を生成する。なお、所定の伝送ビットレートを確保するため、バッファ部16のバッファ滞留量に応じて特性を変更して量子化処理を行なう。
【0066】
逆量子化部8は、逆量子化の処理で変換係数信号系列S6を復号し、IDCT部9は8行×8列のDCT変換逆行列との行列演算を行なう。そして、エピクチャ時は符号化画像信号系列、Pピクチャ時はフレーム間予測誤差信号系列の信号S7を復号する。加算部10は、フレーム間動き補償予測信号系列S10との加算処理を行ない、Pピクチャ時の符号化画像信号系列を復号する。スイッチ11は、エピクチャ時は端子a、Pピクチャ時は端子bに接続し、その出力の復号した符号化画像信号系列S8はフレームメモリ部12に入力し、その出力に1フレーム期間遅延させた信号S9を得る。
【0067】
動きベクトル検出部41では、ブロックマッチング法などで、1フレーム期間の動きベクトルMVを抽出する。なお、第1の実施例とは異なり、復号化部での動き補償の走査変換処理には不都合な動きベクトルも含まれる。MC信号生成部13は、信号S9を動きベクトルMVで動きの補償処理を行ない、フレーム間動き補償予測信号系列S10を生成する。
【0068】
VLC部7、14は、係数量子化信号系列S5と動きベクトルMVに対して所定の可変長符号化の処理を行ない、符号化画像データ系列S11と、符号化動きベクトル系列S12を生成する。多重部15は、信号系列S11と、S12と、画像情報PIの符号化パラメタなどの各種データとを所定の時系列に多重する処理を行ない、その出力の符号化データ系列S13をバッファ部16に入力する。そして、バッファ部16から一定のビットレートで読み出し、符号化ビットストリーム信号PCDを生成する。なお、この信号PCDは、図面には明示していないが、伝送媒体に応じた符号誤り対策やディジタル変調など所定のチャネル符号化を行なって伝送する。
【0069】
同図(b)の復号化部では、チャネル復号化して復号した符号化ビットストリーム信号PCDは、バッファ部17に入力する。そして、バッファ部より読み出した符号化データ系列S13は、DMPX部18で、符号化画像データ系列S11と、符号化動きベクトル系列S12と、画像情報PIの各種データとに分離する。
【0070】
IVLC部19,20は、可変長符号の復号化処理を行ない、係数量子化信号系列S5と、動きベクトルMVをそれぞれ復号する。
【0071】
逆量子化部8は、逆量子化の処理で変換係数信号系列S4を復号し、IDCT部は、8行×8列のDCT変換逆行列との行列演算を行なう。そして、Iピクチャ時では符号化画像信号系列、Pピクチャ時ではフレーム間予測誤差信号系列にそれぞれ対応した信号S3を復号する。また、加算部21は、MC信号生成部24で生成したフレーム間動き補償予測信号系列S10を加算し、その出力にPピクチャ時の符号化画像信号系列S14を生成する。そして、スイッチ22は、エピクチャ時は端子a、Pピクチャ時は端子bに接続し、その出力には復号した符号化画像信号系列S15を得る。
【0072】
フレームメモリ部23は、入力信号を1フレーム期間遅延させた信号S9を生成する。そして、MC信号生成部24は、この信号S9を動きベクトルMVで動きの補償処理を行ない、フレーム間動き補償予測信号系列S10を生成する。
【0073】
MVセレクト部42は、画像情報PIに応じて、動きベクトルMVのうち、動き補償の走査変換処理に整合するものを選別する処理を行なう。すなわち、画像信号がインタレース走査では、図1の走査線補間に示した様な動きベクトルV0,V1,V2を、ノンインタレース走査では図2の走査線補間に示した様な動きベクトルが選出される領域はH、選出されない領域はLの信号の選別領域信号MCMを生成する。
【0074】
MC補間部43は、選別動きベクトルMV’と、選別領域信号MCMと、画像情報PIと、信号S3のフレーム間予測誤差信号系列とで図1や図2に示した動き補償の走査変換処理を行ない、メイン信号系列S16と補間信号系列S17とを生成する。なお、この構成ならびに動作については後に詳述する。
【0075】
後処理部26は、画像フォーマットの変換処理、メイン信号系列S16と補間信号系列S17とによるインタレース〜ノンインタレース走査変換やフレーム数変換の処理、アナログ信号への変換の処理を行ない、ノンインタレース走査の画像信号VSDを復号する。そして、この信号は、ノンインタレース走査の画像表示部(図面には明示せず)に表示して、高品質・高精細な画像を受像する。
【0076】
図11は、MC補間部43の一構成例図である。フィールドメモリ部27−1と27−2は1フィールド期間の信号遅延を行ない、同図の点線で囲んだ部分がフレームメモリに相当する構成で、メイン信号系列S16と、動き補償の走査変換処理に使用する信号S15、およびこの信号を1フレーム期間遅延させた信号S9とを生成する。
【0077】
動き検出部44は、信号S15とS9との減算処理でフレーム間の差分成分を抽出し、この差分成分をもとにフレーム間の動き情報MI(静止時は0)を生成する。
【0078】
MC補間制御部45は、動き補償の補間信号の生成に必要な補間動きベクトルIMVと、動き適応係数km、1−kmを生成する。この動作概略図を図12に示す。同図(a)の第1の特性では補間動きベクトルは、選別領域信号MCMがHの時は、選別動きベクトルMV’をもとに、インタレース〜ノンインタレース走査変換では図1、フレーム数変換では図2に示した動き補償の補間信号の生成に必要なIMVを生成する。一方、選別領域信号MCMがLの時は、補間動きベクトルには0を生成する。また、動き適応係数kmは、選別領域信号MCMがHの時はkm=0、Lの時にはフレーム間の動き情報MIのレベルに応じて0から1まで変化する特性の係数値を生成する。したがって、この特性では、選別領域信号MCMがHの領域では動き補償の走査変換処理、Lの領域では従来技術と同様の動き適応処理で補間信号を生成する。
【0079】
一方、同図(b)の第2の特性では、補間動きベクトルは、選別領域信号MCMがHで、信号S3の予測誤差信号、すなわち、動き補償のフレーム間差分信号成分の絶対値和Σ|S3|(例えば8画素×8ラインのブロック単位)が閾値Th未満の場合に、選別動きベクトルMV’をもとに生成する。これ以外の場合には、補間動きベクトルには0を生成する。また、動き適応係数kmは、選別領域信号がHの領域では、Σ|S3|の値に対応して0から1まで変化する特性の係数値、選別領域信号がLの領域では、フレーム間の動き情報MIに対応して0から1まで変化する特性の係数値を生成する。
【0080】
図11にもどり、MCIP部29は、補間動きベクトルIMVで指定する信号S9と信号S15の走査線の信号を取り出し、この両者の信号の平均値で動き補償の補間信号S18を生成する。なお、IMV=0の場合には、信号S18では従来技術における静止モードと同等の補間信号を生成することになる。
【0081】
フィールド内補間部31は、信号S16をもとにフィールド内演算処理を行ない、同一フィールドの信号で従来技術の動画モードと同様な動画像の補間信号S19を生成する。
【0082】
係数加重部32−1は信号S18に動き適応係数1−km、係数加重部32−2は信号S19に動き適応係数kmをそれぞれ係数加重する。そして、両者の信号は加算部33で加算して、補間信号系列S17を生成する。
【0083】
なお、図中の点線で囲んだ部分は、図10のフレームメモリ部23に相当する。このため、図10の実施例において、この部分を共用する形態で構成することもできる。
【0084】
以上に述べた様に、本実施例によれば、インタレース妨害やジャダー妨害がなく、高品質・高精細な画像で受像できる画像信号の符号化・復号化装置ができ、画質改善に顕著な効果がえられる。また、本実施例に示した復号化部の構成は、先の第1の実施例における復号化部として用いることもできる。
【0085】
さて、本発明においては、復号化部の構成は第1、第2の実施例の他にも、様々な形態で実現することが可能である。
【0086】
図13は、復号化部の第3の実施例の全体ブロック構成図である。
【0087】
チャネル復号化した符号化ビットストリーム信号PCDは、バッファ部17に入力する。そして、バッファ部から読み出した符号化データ系列S13は、ビデオ復号化部46に入力する。ビデオ復号化部は図3、図10の点線で囲んだ部分に相当し、前述したビデオ復号化の処理を行ない、復号した符号化画像信号系列S15と、動きベクトルMVと、信号S3のPピクチャ時のフレーム間予測誤差信号系列と、画像情報PIとを出力する。
【0088】
画像フォーマット変換部47は、符号化画像信号系列に対して画像フォーマット変換の処理を行ない、もとの走査形態の画像信号系列VFCを生成する。
【0089】
MC補間部48は、インタレース〜ノンインタレース走査変換では図1、フレーム数変換では図2に示した動き補償の走査変換処理を行ない、メイン信号系列S16と補間信号系列S17とを生成する。すなわち、図5乃至図8と同様な構成で、動きベクトルMVをもとに生成した補間動きベクトルIMV、および信号S3より検出する動き補償のフレーム間差分信号で生成した動き適応係数km、1−kmを用いて、補間信号系列S17をつくる。
【0090】
ノンインタレース系列変換部49は、画像情報PIにより、インタレース〜ノンインタレース走査変換の場合はメイン信号系列S16と補間信号系列S17を水平方向に1/2に時間軸を圧縮する処理、フレーム数変換の例えば標準モードの30〜60変換の場合は時間方向に1/2に時間軸を圧縮する処理を行なう。そして、圧縮した両者の信号を時系列に多重してノンインタレース走査の信号を生成し、3原色RGB変換、アナログ変換を行ない、ノンインタレース走査の画像信号VSDを復元する。
【0091】
本実施例は、符号化部での動き補償予測符号化において、動き補償の走査変換処理に適した形態の動きベクトルでビデオ符号化したものに好適なもので、インタレース妨害やジャダー妨害のない高品質・高精細な画像で受像する復号化装置が実現できる。
【0092】
図14は、復号化部の第4の実施例の全体ブロック構成図である。
【0093】
チャネル復号化した符号化ビットストリーム信号PCDは、バッファ部17に入力する。そして、バッファ部から読み出した符号化データ系列S13は、ビデオ復号化部46に入力する。これは、図3、図10の点線で囲んだ部分に相当し、前述したビデオ復号化の処理を行なって、復号した符号化画像信号系列S15と、動きベクトルMVと、信号S3のPピクチャ時のフレーム間予測誤差信号系列(動き補償のフレーム間差分信号に相当)と、画像情報PIとを出力する。
【0094】
MVセレクト部42は、画像情報PIに応じて、動きベクトルMVから動き補償の走査変換処理に整合するものを選別する処理を行なう。すわなち、画像信号がインタレース走査では図1の走査線補間に示した動きベクトル、ノンインタレース走査では図2の走査線補間に示した動きベクトルを選別動きベクトルMV’として生成する。また、動きベクトルの選出が行なわれた領域はH、行なわれない領域はLの選別領域信号MCMを生成する。
【0095】
画像フォーマット変換部47は、符号化画像信号系列からもとの走査形態の信号系列に変換する画像フォーマット変換の処理を行ない、画像信号系列VFCを生成する。
【0096】
MC補間部50は、動き補償の走査変換処理、すなわち、インタレース〜ノンインタレース走査変換では図1、フレーム数変換では図2に示した信号処理を行ない、メイン信号系列S16と補間信号系列S17とを生成する。これは、図11、12に示す構成、特性によって実現できる。そして、補間動きベクトルIMVと、動き適応係数km、1−kmを用いて、補間信号系列S17を生成する。
【0097】
ノンインタレース系列変換部49は、メイン信号系列S16と補間信号系列S17の時間軸圧縮の処理を行なう。すなわち、画像情報PIにより、インタレース〜ノンインタレース走査変換の場合は水平方向に1/2、フレーム数変換の例えば標準モードの30〜60変換では時間方向に1/2の圧縮を行なう。そして、圧縮した両者の信号を時系列に多重してノンインタレース走査の信号を生成し、3原色RGB変換、アナログ変換を行ない、ノンインタレース走査の画像信号VSDを復号する。
【0098】
本実施例によれば、インタレース妨害やジャダー妨害のない高品質・高精細な画像で受像する復号化装置が実現できる。
【0099】
以上に述べた実施例の説明では、ビデオ符号化としてフレーム間の動き補償予測符号化とDCT変換符号化の組み合せを例に述べたが、これに限定されることなく、種々の形態の動き補償予測符号化と直交変換符号化との組み合せによる符号化にも適用できることは明らかである。
【0100】
【発明の効果】
本発明によれば、インタレース妨害やジャダー妨害のない高品質・高精細な画像を受像できる画像信号の符号化・復号化方式および装置が実現でき、画像の画質改善や向上に顕著な効果が得られる。
【図面の簡単な説明】
【図1】動き補償の予測符号化と走査線補間の原理概略図。
【図2】動き補償の予測符号化と走査線補間の原理概略図。
【図3】本発明の第1の実施例の全体ブロック構成図。
【図4】符号化モードの概略図。
【図5】MC補間部の第1の構成例図。
【図6】MC補間部の第2の構成例図。
【図7】MC補間制御部の動作概略図。
【図8】MC補間部の第3の構成例図。
【図9】後処理部の一構成例図。
【図10】本発明の第2の実施例の全体ブロック構成図。
【図11】第2の実施例におけるMC補間部の一構成例図。
【図12】第2の実施例におけるMC補間制御部の特性概略図。
【図13】本発明の復号化部の第3の実施例の全体ブロック構成図。
【図14】本発明の復号化部の第4の実施例の全体ブロック構成図。
【符号の説明】
1…前処理部、2,41…動きベクトル検出部、3,34…減算部、4,11,22…スイッチ、5…DCT部、6…量子化部、7,14…VLC部、8…逆量子化部、9…IDCT部、10,21,33…加算部、12,23…フレームメモリ部、13,24…MC信号生成部、15…MPX部、16,17…バッファ部、18…DMPX部、19,20…IVLC部、25,43,48,50…MC補間部、26…後処理部、27…フィールドメモリ部、28…補間MV生成部、29…MCIP部、30,35,45…MC補間制御部、31…フィールド内補間部、32…係数加重部、36,47…画像フォーマット変換部、37…水平時間圧縮部、38…時分割多重部、39…RGB変換部、40…DA変換部、42…MVセレクト部、44…動き検出部、46…ビデオ復号化部、49…ノンインタレース系列変換部。
Claims (2)
- 画像信号を動き補償予測符号化と直交変換符号化とを組み合せたビデオ符号化で高能率符号化した信号を受信する画像信号の復号化装置において、
復号した画像信号のインタレース〜ノンインタレース変換もしくはフレーム数変換を行なう走査変換の手段を設け、
上記走査変換の手段が、上記画像信号から復号した動きベクトルであって補間走査線の生成が行われるフレーム前後の1フレーム期間または補間走査線の生成が行われるフィールド前から始まる1フィールド期間における上記補間走査線の生成が行われる画素を通るものをもとに、上記動きベクトルの両端にて指定される走査線の信号の平均値で補間走査線の信号を生成する動き補償の走査変換信号処理を行ない、
上記走査変換の手段が、動き補償のフレーム間差分信号の絶対値が閾値Th未満の領域は、上記復号した動きベクトルをもとに上記補間走査線の生成を行ない、
閾値Th以上の領域は、零の動きベクトルで生成する動き補償の補間信号と、フィールド内の信号処理で生成する動画像の補償信号との混合比を、動き補償のフレーム間差分信号の絶対値に応じて変化させて、上記補間走査線の信号の生成を行なうことを特徴とする画像信号の復号化装置。 - 画像信号を動き補償予測符号化と直交変換符号化とを組み合せたビデオ符号化で高能率符号化した信号を受信する画像信号の復号化装置において、
復号した画像信号のインタレース〜ノンインタレース変換もしくはフレーム数変換を行なう走査変換の手段を設け、
上記走査変換の手段が、上記画像信号から復号した動きベクトルであって補間走査線の生成が行われるフレーム前後の1フレーム期間または補間走査線の生成が行われるフィールド前から始まる1フィールド期間における上記補間走査線の生成が行われる画素を通るものをもとに、上記動きベクトルの両端にて指定される走査線の信号の平均値で補間走査線の信号を生成する動き補償の走査変換信号処理を行ない、
上記走査変換の手段が、符号化モードがフレーム間符号化(Pピクチャ)の画像信号、かつ、動き補償のフレーム間差分信号の絶対値が閾値Th未満の領域は、復号した動きベクトルで生成する動き補償の信号と、フィールド内の信号処理で生成する動画像の補償信号との混合比を、動き補償のフレーム間差分信号の絶対値に応じて変化させて、
符号化モードがフレーム間符号化(Pピクチャ)の画像信号かつ閾値Th以上の領域は、零の動きベクトルで生成する動き補償の補間信号と、フィールド内の信号処理で生成する動画像の補償信号との混合比を、動き補償のフレーム間差分信号の絶対値に応じて変化させて、
符号化モードがフレーム内符号化(Iピクチャ)の画像信号かつ閾値Th以上の領域は、零の動きベクトルで生成する動き補償の補間信号と、フィールド内の信号処理で生成する動画像の補償信号との混合比を、フレーム間の差分信号の絶対値に応じて変化させて、上記補間走査線の信号の生成を行なうことを特徴とする画像信号の復号化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP17641294A JP3612739B2 (ja) | 1994-07-28 | 1994-07-28 | 画像信号の復号化装置及び画像信号の復号化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP17641294A JP3612739B2 (ja) | 1994-07-28 | 1994-07-28 | 画像信号の復号化装置及び画像信号の復号化方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004198752A Division JP3915802B2 (ja) | 2004-07-06 | 2004-07-06 | 画像復号化方法および画像復号化装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0846929A JPH0846929A (ja) | 1996-02-16 |
JP3612739B2 true JP3612739B2 (ja) | 2005-01-19 |
Family
ID=16013239
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP17641294A Expired - Lifetime JP3612739B2 (ja) | 1994-07-28 | 1994-07-28 | 画像信号の復号化装置及び画像信号の復号化方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3612739B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4975016B2 (ja) | 2005-03-21 | 2012-07-11 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | サーキュラー・バッファ・メモリを用いて蛇行走査順序でデータ・アレイを処理する方法 |
JP4469904B2 (ja) | 2008-05-30 | 2010-06-02 | 株式会社東芝 | 動画像復号装置、動画像復号方法及び動画像復号プログラムを記憶した記憶媒体 |
-
1994
- 1994-07-28 JP JP17641294A patent/JP3612739B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH0846929A (ja) | 1996-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5453799A (en) | Unified motion estimation architecture | |
US5237413A (en) | Motion filter for digital television system | |
US8548059B2 (en) | Image information encoding method and encoder, and image information decoding method and decoder | |
JPH07212761A (ja) | 階層符号化装置及び階層復号化装置 | |
US20070230918A1 (en) | Video Quality Enhancement and/or Artifact Reduction Using Coding Information From a Compressed Bitstream | |
JP3612739B2 (ja) | 画像信号の復号化装置及び画像信号の復号化方法 | |
JP3915802B2 (ja) | 画像復号化方法および画像復号化装置 | |
JP4258537B2 (ja) | 画像信号生成方法及び画像信号生成装置 | |
JP2001086508A (ja) | 動画像復号方法及び動画像復号装置 | |
JP2002369155A (ja) | 画像変換方法および画像変換装置 | |
JP4035808B2 (ja) | 動画像走査構造変換装置、動画像走査構造変換方法 | |
JP3617088B2 (ja) | テレビジョン受像機 | |
JPH10126749A (ja) | 順次走査変換装置 | |
JPH06334985A (ja) | 画像符号化装置 | |
US6816553B1 (en) | Coding method for an image signal | |
JP4305480B2 (ja) | テレビジョン受像機、テレビジョン受像方法、画像信号処理装置、画像信号処理方法、動きベクトルの検出方法 | |
JP2004236353A (ja) | テレビジョン受像機 | |
JPH11243561A (ja) | 動画像復号化方法 | |
JPS61142884A (ja) | フレ−ム間復号化装置 | |
JPH07322243A (ja) | 画像伝送装置 | |
JP2000069479A (ja) | 画像符号化装置および画像符号化方法 | |
JP2000032470A (ja) | 画像符号化装置、符号化方法および画像復号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040511 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040706 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040709 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041005 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041018 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071105 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081105 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081105 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091105 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101105 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101105 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111105 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111105 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121105 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121105 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131105 Year of fee payment: 9 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |