JP4002549B2 - ビデオ圧縮/圧縮解除システムのフィールド除去装置 - Google Patents

ビデオ圧縮/圧縮解除システムのフィールド除去装置 Download PDF

Info

Publication number
JP4002549B2
JP4002549B2 JP2003348928A JP2003348928A JP4002549B2 JP 4002549 B2 JP4002549 B2 JP 4002549B2 JP 2003348928 A JP2003348928 A JP 2003348928A JP 2003348928 A JP2003348928 A JP 2003348928A JP 4002549 B2 JP4002549 B2 JP 4002549B2
Authority
JP
Japan
Prior art keywords
video signal
field
fields
odd
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003348928A
Other languages
English (en)
Other versions
JP2004088800A (ja
Inventor
カサバント,スコット,デイヴィッド
サバティール,トリスタン
Original Assignee
ジーイー・テクノロジイ・ディベロップメント,インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=21712357&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP4002549(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by ジーイー・テクノロジイ・ディベロップメント,インコーポレイテッド filed Critical ジーイー・テクノロジイ・ディベロップメント,インコーポレイテッド
Publication of JP2004088800A publication Critical patent/JP2004088800A/ja
Application granted granted Critical
Publication of JP4002549B2 publication Critical patent/JP4002549B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/87Producing a motion picture film from a television signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level

Description

本発明は、信号圧縮前のビデオ信号と圧縮解除後のビデオ信号を処理する装置に関し、特に、ビデオ信号の冗長フィールドを(エンコーダで)除去し、エンコーダにより除去されたビデオ信号のフィールドを(デコーダで)復元する装置に関する。
テレビジョン信号伝送と、マルチメディア、例えば、コンピュータの両方の用途のために、現在、ビデオ信号圧縮システムの開発に多大な努力が払われている。この努力を象徴するものとしては、検討中の圧縮ビデオ標準がある。これは、現在、MPEGと言われている。MPEGはISO(International Organisation For Standardisation)の委員会であるMoving Pictures Expert Groupを表す。MPEGは圧縮ビデオ信号プロトコルであり、階層化された動きが補償され、離散コサイン変換により変換され、量子化され、静的にエンコードされ、等々の信号フォーマットであり、この信号フォーマットのドラフトはISO資料ISO-IEC/JTCl/SC29/WGll MPEG 92/160である。MPEGプロトコルでは、group of frames、すなわち、GOPでフレーム単位に、ビデオ信号をエンコードする(圧縮する)必要がある。GOPに対する圧縮された信号には、GOPヘッダが含まれ、GOPヘッダの後にフレームヘッダが含まれる。フレームヘッダの後にはスライスヘッダ(スライスはフレームの一部であり、例えば、水平行数が16行である)が含まれる。スライスヘッダの後にはマクロブロック(マクロブロックは例えば16×16のピクセルである)含まれる。マクロブロックの後にはピクセルデータのブロックが含まれ、その後には、次のフレームヘッダが続くことになる。
MPEGフォーマットに従って圧縮されたデータを供給する圧縮装置は、フィールドまたはフレーム単位で、このデータをグループに分けてGOPにし、しかも、必要な圧縮処理を行ってMPEG信号を生成する。ソース素材がオリジナルにフィルム上に作成されたビデオ信号であって、Telecineによりビデオに変換され、すなわち、3対2プルダウンが行われる場合、5フィールドのうち1フィールドは冗長になることに注意しなければならない。このような素材から、冗長なフィールドを除去することにより、圧縮率が20%向上することになる。さらに、ビデオ信号がビデオカメラにより生成されたとしても、このビデオ信号は、大部分、静止イメージを表すことができる。この場合、データのフレームは冗長になる。静止イメージの冗長性を幾分でも(少なくとも一部を)除去することにより、圧縮率を向上させることができることになる。
米国特許第5,168,356号
このように圧縮率が向上することを理解するには、イメージフィールドの冗長性を識別し、圧縮装置により圧縮する前に、これらのフィールドを除去する必要がある。さらに、これらのフィールドが除去された後、除去されたフィールドを識別するシステムをインプリメントして、レシプロカルなデコーディング装置に通知し、除去されたフィールドを再現しなければならない。
本発明は、ビデオ・イメージ・フィールドの冗長性を検出し、冗長なビデオイメージを除去し、ある方法で、残りのデータをエンコードし、除去されたフィールドをデコーディング装置により復元することができる装置に関する。
本発明の実施の態様には、イメージデータの2つのフィールドをストアし、1つのフレーム・インターバルだけ離されたイメージデータのフィールドを供給するメモリが含まれる。連続するフレームの対応するフィールドから、イメージデータが取り除かれ、フィールド差分(field difference)が生成される。フィールド差分は個々のフィールド期間に亘って累積され、その総和は予め定めた値と比較される。1フィールドの差分の総和が予め定めた値未満である場合は、最近のフィールドを冗長なフィールドと考え、そのフィールドをビデオデータ・ストリームから除去することができる。
個々のフィールドがビデオ信号ストリームから除去された後、ビデオ信号のフレームは残りのフィールドから組み立てられる。メモリ内のフィールドのフィールド・タイプ(例えば、奇数フィールドまたは偶数フィールド)が判定され、奇数および偶数フィールドからのデータが、組み立てられたフレームの奇数および偶数ラインをそれぞれ占有するように、ビデオデータはメモリの個々のフィールドからアクセスされる。除去された冗長データに対応するデータを含む組み立てられたフレームと、フラグとを関係付けする。組み立てられたビデオデータに、フラグがフラグと関係付けられたフレームとともに組み入れられる。
ビデオ信号圧縮システムの受信機の実施の態様では、圧縮された信号が試験され、任意のフィールド冗長フラグが削除される。そして、圧縮されたデータがデコードされ、圧縮解除されたビデオ信号がディスプレイ・メモリにロードされる。その後、ディスプレイ・メモリがリードされ、イメージをラスタフォーマットで供給する。メモリ制御装置を個々の冗長フラグに応答させて、除去されたフィールドに対応するイメージデータの関係フィールドを繰り返し表示する。
第1図を説明するとともに、入力ビデオと表記したボックスの行を説明する。丸の各列はビデオ信号のフィールドを表す。フィールドの各丸は水平ラインを表す。「ビデオ」と表記したボックスの行のこの部分では、このような2つのフィールドを囲った個々のボックスが、例えば、ビデオカメラにより生成され、インタレースされたビデオ信号のフレームを表す。「フィルム」と表記したボックスの行の部分は、例えば、テレシネにより得られたビデオ信号を構成する。テレシネでは、4つのフィールドごとに、1つのフィールドが信号ストリームで再現される。繰り返されたフィールドは3つのフィールドで囲まれているボックスに入れられている。例えば、フィールドL,MおよびNを含むボックスでは、フィールドNがフィールドLを繰り返したものである。
「出力フレーム」と表記したボックスの行は、冗長フィールドが除去された後のビデオ信号のリシーケンスされたフレームを表す。第1図では、「ビデオ」フレームは動画を表し、そのため、「フィルム」フレームのみが、「フィルム」シーケンスが動画を含むか否かの情報の冗長なフィールドを有することになる。第1図では、リシーケンスされたフィールドが、例えば、MPEGエンコーダに適用するため、ノンインタレースされたフレームに配置される。当然のことであるが、「フィルム」フレームと表記した入力信号の5つのフィールドに対して、出力フレームは4つのフィールドのみを含み、データを20%削減することができる。
入力ビデオ信号はその上静止「ビデオ」を表すことができる。この場合、連続する偶数フィールドが一致し、連続する奇数フィールドが一致することになる。ただし、いずれの場合も、ノイズによる影響(noise contribution)は一致しない。動きのないビデオ信号インスタンスか、あるいは静止ビデオ信号インスタンスでは、冗長フィールドはランダムに生起するか、あるいは、かたまって生起する。冗長フィールドがランダムに生起する場合は、冗長フィールドが生起したとき、本システムはその冗長フィールドを除去する。一方、静止フィールドが比較的大きなバーストで生起した場合、本発明の好ましい実施の態様では、n個のフィールドのうちm個のフィールドを除去する。ただし、m,nは整数であり、nはmよりも大きい。システム・レート・バッファがアンダフローしないように、このような制限を設けている。nとmの代表的な値は3と1か、5と1か等々である。
信号DTは、リシーケンスされたフレームのうち、既に除去されたフィールドに対応するフィールドを含むフレームを示す。信号DTは、関係付けをしたフレームのフィールドのうちの1つのフィールドが2回表示されることを、受信機に通知するエンコードされた信号であって伝送された信号が含まれることになる。第2の信号DFはフレームごとにどのフィールドが、インタレース・ディスプレイ・システムにより最初に表示されるかを示す。信号DFには、エンコードされた信号であって伝送された信号が含まれる。偶数フィールドは、名目上、時間的に奇数フィールドの後に生起することは、入力および出力ビデオフィールド/フレームから分かることである。すなわち、インタレースフレームは、後にスキャンされた偶数フィールドでインタレースされた奇数フィールドを含む。しかし、ビデオデータがフィールド単位で除去されると、再構成された出力フレームは、前に生起した偶数フィールドとともに、奇数フィールドを含む。よって、最初に生起されたフィールドであって、再構成されたフレームのどのフィールドを追跡し続けるかが必要になる。言い換えると、除去されたフィールドの代わりに、フィールドが受信機で繰り返されると、代替フレームのうちのどのフレームと、繰り返しフィールドとをインタレースすべきかを知る必要がある。
第2図において、入力フレームと表記したボックスの行は、適正な受信機でデコードした後の第1図の出力フレームを表す。個々のフレームは、2ビット・バイナリワードで表された対応する信号DTおよびDFと関係付けが行われている。左端ビットおよび右端ビットはそれぞれ信号DTおよびDFを表す。左ビット位置の1は関係付けをしたフレームが冗長なフィールドを含むことを示す。右ビット位置の1は関係付けをした偶数フィールドが最初に表示されることを示し、右ビット位置の0は関係付けをしたフレームの奇数フィールドが最初に表示されることを示す。
出力フィールドと表記されたボックスの行は、入力フレームを備えたフィールドを表示すべきシーケンスを表す。
第3図は冗長フィールドを検出し、冗長フィールドを除去し、ビデオ信号のフレームを残りのフィールドから再構成する装置を示す。ビデオ信号はソース10から第1バッファメモリ(Bn)12と減算器16に印加される。バッファメモリ12の出力は第2バッファメモリ(Bn-1)14と結合される。第2バッファメモリの出力は減算器16の第2入力に結合される。第1および第2バッファメモリはそれぞれ信号を1フィールド期間だけ遅延させるので、減算器16に印加された2つのビデオ信号は1つのフレーム期間だけ離されたlikeフィールドタイプのlike空間位置に対応する。フレームにより分離されたビデオ信号の2つのフィールドが一致する(ただし、ノイズの一致は除く)場合、(ビデオ信号がルミナンスのみを表すと仮定すると、)個々のフィールド期間に、減算器16により供給された差分は0になる。減算器16による減算により得られた差分は、コアリング回路17に印加される。コアリング回路17は予め定めた値未満の信号差分を除去し、ビデオ信号差分の信号のノイズを最小にする。コアリングされた差分の値はアキュムレータ18に印加される。アキュムレータ18では、個々のフィールド期間に亘って、差分の絶対値が累積される(総和をとる)。得られた値は閾値検出器20に印加される。この得られた値と閾値が、閾値検出器20で比較される。個々のフィールドに対する差分の総和が閾値未満である場合には、バッファメモリ12にストアされたフィールドは冗長と考えられ、同一タイプの最近の前のフィールド、すなわち、最後のフィールドがバッファメモリ14から読み出される。総和が閾値を超える場合には、バッファメモリ12に現在ストアされているフィールドは非冗長と考えられる。
バッファメモリ12および14からのビデオデータは、リシーケンサ21に供給され、ソース10からのビデオデータが偶数/奇数フィールドタイプ検出器11に供給される。リシーケンサ21は、検出器11からのフィールド・タイプ・データに応答するとともに、閾値検出器20からのデータに応答して、ソース10からのデータのフィールドを除去し再フォーマットする。リシーケンスされたビデオ信号データは圧縮装置23に印加される。圧縮装置23は離散コサイン変換エンコーダに関係付けをした動き補償予測エンコーダを含むことができる。圧縮装置23により供給された圧縮されたビデオ信号はデータフォーマッタ24に印加される。データフォーマッタは、圧縮されたデータを、補助データでフォーマットし、同期および/またはエラー検出/訂正を行う。
圧縮されたビデオ信号が例えば銅線以外の媒体を介して伝送された場合は、圧縮されたビデオ信号をさらにノイズ保護する必要がある。従って、データフォーマッタ24からの圧縮されたデータは、信号に冗長性を付加するトランスポート・プロセッサ26に供給される。この冗長性は信号デコードにクリチカルなあるタイプのデータに特有のものである。トランスポート・プロセッサ26はペイロードと柔軟なヘッダを有するデータのパケットを形成する。ペイロードは予め定めた数の圧縮されたビデオビットである。ヘッダはペイロードデータが取り出される個々のイメージ内で、空間的な位置を識別するデータを含む。このタイプのトランスボート・プロセッサをさらに詳しく知るには、米国特許第5,168,356号(発明の名称:Apparatus for Segmenting Encoded Video Signal For Transmission)を参照されたい。
フォーマッタ24と圧縮装置23は、圧縮コントローラ22の制御により動作する。圧縮コントローラ22はビデオデータを受信し、リシーケンサ21からのデータを表示し、閾値検出器20からのデータDTを表示する。圧縮コントローラ22はステートマシンとして適正に動作し、圧縮装置を条件付けして、データを予め定めたシーケンスで供給する。しかも、フォーマッタ24を条件付けをして、例えば、MPEG信号プロトコルに従って、出力データを予め定めた層に階層化する。圧縮コントローラとフォーマッタがMPEGフォーマットされたデータを供給するように実際プログラムされている場合には、上述したフラグ信号DT/DFは、フォーマッタ24によりデータストリームに導入されることはない。信号DT/DFは、圧縮されたビデオデータの関係付けをしたフレームとともに、トランスポート・プロセッサ26に供給されることになる。その後、信号DT/DFは個々のトランスポート・パケット・ヘッダに組み入れられることになる。トランスポートパケットヘッダは、フレームヘッダ情報を含むペイロードを運ぶトランスポートパケットと関係付けをされている。
あるいはまた、エンコーダ25がMPEGエンコーダでないが、修正されたMPEG+エンコーダである場合には、修正されたMPEG圧縮されたデータのフレームヘッダ内に信号DT/DFを取り入れるために供給される。この例では、圧縮コントローラ22とフォーマッタ24を予め設けて、信号DT/DFを、圧縮されたビデオデータストリームに直接取り入れることになる。ビデオ信号圧縮技法の当業者にとって、また、上述した開示を得た当業者にとって当然であるが、変更を加えた他の方法を、インプリメントして、冗長データを運ぶフィールド/フレームと関係付けをした個々のフラグ信号を運ぶことができる。
第4図は第3図に示すリシーケンサ21の例を示す。第4図に示すリシーケンサ21はビデオデータのフィールドからフレームを形成する。すなわち、偶数フィールドの水平ラインと、奇数フィールドの水平ラインとをインタリーブし、2つのフィールドからフレームを形成する。インタリーブはレジスタ対30,31と、32,33により行われる。バッファメモリ12および14は、常に、合成して個々のフレームにするための2つのフィールドを含むように条件付けられている。フィールドメモリ12および14は並列に1ラインづつ読み出される。メモリ12から読み出された個々のラインは、シリアル入力・パラレル出力レジスタ30に書き込まれる。シリアル入力・パラレル出力レジスタ30はパラレル入力・シリアル出力レジスタ31のパラレル人力コネクションに結合されるパラレル出力コネクションを有する。個々のラインがレジスタ30に書き込まれた後、個々のラインはレジスタ31にロードされる。同様に、メモリ14から読み出された個々のラインは、レジスタ34に書き込まれる。レジスタ31および33により供給された出力信号は、マルチプレクサ34の個々の入力コネクションに結合される。マルチプレクサ34はリシーケンス・コントローラ35により条件付けされ、組み立てられた各フレーム内の偶数フィールドライン位置の偶数フィールドラインと、奇数ライン位置の奇数フィールドラインを結合する。
この例では、データはフィールドメモリ12および14から、予め定めたサンプルレートで1ラインづつ読み出される。その後、レジスタ31および32は、圧縮コントローラ35により、このサンプルレートの2倍のサンプルレートで、相互排除するようにクロックされる。マルチプレクサから出力された信号が、レジスタ31(33)からの1ラインのビデオ信号と、その後のレジスタ33(31)からの1ラインのビデオ信号よりなる。個々のフィールドがバッファメモリに供給されると、フィールドデコーダ11は、フィールドが偶数かあるいは奇数かを判定し、このようなフィールドタイプの情報を圧縮コントローラ35に運ぶ。そのため、圧縮コントローラ35はバッファメモリ12および14のどちらかのバッファメモリを知ることになり、奇数および偶数フィールドを含む。従って、適正にマルチプレクサ34をスイッチングすることができる。コントローラ35にも閾値検出器からのデータが供給され、信号DT/DFを生成するようになっている。
第5図は第4図のリシーケンサの動作を示すフローチャートである。第4図のリシーケンサは次のように動作する。システムのスタートアップで、2つの連続するフィールドをバッファメモリ12および14にロードし、インデックスnを2に設定する[100]。そして、リシーケンサは、メモリ12にロードされたフィールドのフィールドタイプ(偶数または奇数)をフェッチする[101]。フェッチされたフィールドタイプを試験し[102]、次のフィールドが偶数(奇数)フィールドである場合には、システムはパス103,104,105(107,108,109)に分岐する。
偶数である場合は、インデックスnは1だけインクリメントされ、次のフィールドのメモリへのロードを開始する[103]。偶数である場合は、メモリ12(Bn)および14(Bn-1)に現在駐在するフィールドがそれぞれ奇数と偶数である。現フレームは、現在、メモリBnおよびBn-1に存在するフィールドから、メモリBnからのビデオ信号のラインを奇数ラインとし、メモリBn-1からのビデオ信号のラインを偶数ラインとして、形成する[104]。メモリ12および14の奇数および偶数フィールドは時系列が逆であり、よって、信号ディスプレイ第1(DF)は論理1に設定される[105]。
奇数である場合は、インデックスnは1だけインクリメントされ、次のフィールドのメモリ12へのロードが開始される[107]。奇数である場合は、メモリ12(Bn)および14(Bn-1)に現在駐在するフィールドは、それぞれ、偶数と奇数である。現在のフレームは、現在、メモリBnおよびBn-1に存在するフィールドから、メモリBnからのビデオ信号のラインを偶数ラインとし、メモリBn-1からのビデオ信号のラインを奇数ラインとして、形成する[108]。メモリ12および14の偶数および奇数フィールドは、時系列が正順であり、よって、信号ディスプレイ第1(DF)は論理0に設定される[109]。
信号DFの状態を確立した後、閾値検出器からの信号DTがロードされ[110]、現フィールドが存在するか否かを試験する[111]。信号DTがローレベルであり、フィールド冗長を示さない場合は、次のフィールドがメモリにロードされる[115]。よって、メモリ12および14はデータの新しいフレームを含む。そして、システムはステップ[101]に戻る。
信号DTがハイレベルであり、フィールド冗長を示す場合は、変数last drop(LD)が試験される。変数LDは、最近にドロップされたフィールドを追跡する。変数LDはインデックスnから減算され、その差分が、予め定めた値であるドロップ周波数FDと比較される。値FDは、フィールドのシーケンスごとに、ドロップが許可されるフィールドの数を判定する。FDの最も小さい有効値は3であり、3つのフィールドのうちの1つのフィールドがドロップされるのを許可する。FDの値が5である場合は、5つのフィールドのうち1つのフィールドがドロップされるのが許可される。差分(n-LD)がFD未満かあるいはFDと等しい場合は、DTは0に設定され[113]、システムはステップ115に分岐される。この例では、フィールドが冗長であったとしても、システムはフィールドがドロップされないようにする。あるいはまた、差分がFDを超える場合は、LDはnに設定され[114]、次の2つのフィールドがメモリ12および14にロードされる[116]。従って、現在メモリ14に駐在しているフィールドがドロップされることになる。そして、システムはステップ[101]に戻る。
第6図はレシーバの具体例を示す。このレシーバはフラグデータDT/DFを利用して、冗長フィールドが除去されているビデオデータを再構成するものである。伝送パス、例えば、チューナからの圧縮されたビデオデータは、トラスポート・プロセッサ60に供給される。トランスポート・プロセッサは、圧縮されたビデオと、同期情報と、等々のトランスポート・パケットを受信し、圧縮されたビデオ信号を、トランスポート・パケット・ヘッダから分離し、しかも、圧縮されたビデオ信号を適正なデコーダ/デコンプレッサに供給する。冗長フィールド・フラグデータDT/DFが、パケット・トランスポート・ヘッダに含まれている場合は、このフラグデータが分離され、フラグデータは、システムコントローラ64が必要とするその他の補助データとともに、システム・コントローラ64に供給される。フラグデータDT/DFが、圧縮されたビデオ信号そのものに含まれている場合は、フラグデータDT/DFはデコーダ/デコンプレッサ61により分離され、システム・コントローラ64に供給される。システム・コントローラは、最終的に、信号DT/DFをメモリコントローラ66に導く。
圧縮されたビデオ信号はデコーダ61により圧縮解除され、ディスプレイ・メモリ62にロードされる。通常は、ディスプレイ・メモリ62は、圧縮解除されたデータのフレームを含むことになる。圧縮解除されたデータはディスプレイ・メモリから出力ディスプレイ・デバイス(または、記録デバイス、等々)に、マルチプレクサ63を介して結合される。フィールド冗長を示さないと、データはメモリ62から出力デバイスに直接結合される。
ディスプレイ・メモリの出力も、追加のフィールド・メモリ65に結合されており、フィールド・メモリ65はマルチプレクサ63の第2出力端子に結合されている。ディスプレイ・メモリ62と、フィールド・メモリ65と、マルチプレクサ63は、メモリ・コントローラ66により制御されている。メモリ・コントローラ66はシステム・コントローラ64により条件付けされており、信号DT/DFを含み、個々のメモリからのビデオデータをディスプレイに供給する。信号DT/DFがフィールド冗長を示さない場合は、圧縮解除された奇数および偶数フィールドが、それぞれ、信号DFに応答して、奇数および偶数フィールド位置で、ディスプレイメモリにロードされる。奇数および偶数フィールドがメモリ62からインタレースで連続して読み出される。
冗長情報に関係付けたフィールドが信号DT/DFにより示された場合、このようなフィールドがディスプレイ・デバイスに読み出されると、このようなフィールドがフィールドメモリ65にキャプチャされる。その後、フィールドメモリのビデオ信号のフィールドが、適正なフィールド位置で、マルチプレクサ63により、ディスプレイ・デバイスに結合される。特定の圧縮解除システムによっては、フィールド繰り返しのために、余分なフィールド・メモリ65とマルチプレクサ63を含む必要はないかもしれないし、ビデオ信号のフィールドは、直接、ディスプレイ・メモリ62から繰り返すことができる。このようにすることにより、ハードウェアを削減することができるが、ディスプレイ・メモリとデコンプレッサ61のタイミング制限は厳しくなる。
第1図はビデオ信号入力フレームと再構成されたフレームのシーケンスを示す図と波形図であって、本発明を説明するのに有用な図である。 第2図はデコーダ装置により供給されるビデオ信号出力フレームのシーケンスを示す図とフラグ信号図であり、インタレースされたビデオ信号を供給するビデオ信号のリシーケンスされたフィールドを示す図であり、本発明を説明するのに有用な図である。 第3図はビデオ信号の冗長フィールドを除去し、フラグ信号を生成する装置を示すブロック図である。 第4図は第3図の装置で利用することができるリシーケンサを示すブロック図である。 第5図は第3図および第4図のリシーケンサの機能的な動作を説明するためのフローチャートである。 第6図は除去された冗長ビデオフィールドの代替ビデオフィールドを生成するデコーダ装置を示すブロック図である。
符号の説明
10 ビデオ信号のソース
12 第1バッファメモリ(Bn)
14 第2バッファメモリ(Bn-1)
16 減算器
17 コアリング回路
18 アキュムレータ
20 閾値検出器
21 リシーケンサ
23 圧縮装置
24 データフォーマッタ
25 エンコーダ
26 トランスポート・プロセッサ

Claims (5)

  1. 複数のフレーム内に形成された複数のフィールドを含むビデオ信号のソース(10)と、
    前記複数のフレームの連続するフィールド同士を比較し、前記複数のフィールドのうちの実質的に同一であるフィールドを除去し、除去後のビデオ信号を生成する回路(12,14,21)と、
    前記除去後のビデオ信号を圧縮するビデオ信号コンプレッサ(25)と、
    削除されたフィールドを再現することを可能にするために、繰り返すフィールドを特定するとともに、該再現されるフィールドの時間的な順番を示すフラグデータを生成する手段(11,20)と、
    伝送するために、圧縮されたビデオ信号と前記フラグデータを合成する手段(26)と
    を備えたことを特徴とするビデオ信号圧縮装置。
  2. 請求の範囲第1項において、前記ビデオ信号は偶数および奇数フィールドを含み、
    前記比較する回路は、連続するフレームにおいて偶数および奇数フィールドをそれぞれ比較し、連続するフレーム内の偶数および奇数フィールドが実質的に同一である場合に、実質的に同一のフィールドを除去する手段を含むことを特徴とするビデオ信号圧縮装置。
  3. 請求の範囲第1項において、
    ビデオ信号圧縮装置は、フィールドが実質的に冗長であることを示す前記フラグデータに応答して、n回連続して生起する実質的に冗長なフィールドに対して、予め定めた数m個の実質的に冗長なフィールドを、ビデオ信号の前記ソースから除去する手段を含み、前記mとnが整数であって、n>mの関係を有することを特徴とするビデオ信号圧縮装置。
  4. ビデオ信号のソース(10)と、
    連続するイメージフレームの個々の偶数ラインと、連続するイメージフレームの個々の奇数ラインを比較する手段であって、連続するイメージフレームの全偶数ラインか、あるいは、連続するイメージフレームの全奇数ラインが実質的に冗長であることを示す信号を生成する手段(12,14)と、
    イメージフレームの前記偶数ラインか前記奇数ラインが実質的に冗長であることを示す前記信号に応答する手段であって、前記全偶数または全奇数の実質的に冗長なラインを含むイメージフレームの前記偶数または前記奇数ラインを除去する手段(21)と、
    ビデオ信号の連続するイメージフレームを残りのビデオ信号から構成する手段(25)と、
    個々の再構成されたイメージフレームの奇数ラインまたは偶数ラインの時間的な生起順を示す信号DFを生成する手段(11)と、
    伝送するために、前記再構成されたイメージフレームと、前記信号DFを合成する手段(26)と
    を備えたことを特徴とするビデオ信号処理装置。
  5. 請求の範囲第4項において、
    イメージフレームの前記偶数または全奇数ラインが実質的に冗長であることを示す前記信号に応答する手段であって、前記再構成されたフレームのうちのどのフレームが前記実質的に冗長なラインと関係付けをしたビデオ信号を含むかを示す信号DTを生成する手段と、
    伝送するために、前記信号DTと、前記再構成されたイメージフレームを合成する手段と
    を備えたことを特徴とするビデオ信号処理装置。

JP2003348928A 1993-01-14 2003-10-08 ビデオ圧縮/圧縮解除システムのフィールド除去装置 Expired - Lifetime JP4002549B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US08/004,753 US5491516A (en) 1993-01-14 1993-01-14 Field elimination apparatus for a video compression/decompression system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP51626894A Division JP3510628B2 (ja) 1993-01-14 1994-01-10 ビデオ圧縮/圧縮解除システムのフィールド除去装置

Publications (2)

Publication Number Publication Date
JP2004088800A JP2004088800A (ja) 2004-03-18
JP4002549B2 true JP4002549B2 (ja) 2007-11-07

Family

ID=21712357

Family Applications (2)

Application Number Title Priority Date Filing Date
JP51626894A Expired - Lifetime JP3510628B2 (ja) 1993-01-14 1994-01-10 ビデオ圧縮/圧縮解除システムのフィールド除去装置
JP2003348928A Expired - Lifetime JP4002549B2 (ja) 1993-01-14 2003-10-08 ビデオ圧縮/圧縮解除システムのフィールド除去装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP51626894A Expired - Lifetime JP3510628B2 (ja) 1993-01-14 1994-01-10 ビデオ圧縮/圧縮解除システムのフィールド除去装置

Country Status (17)

Country Link
US (3) US5491516A (ja)
EP (1) EP0679316B1 (ja)
JP (2) JP3510628B2 (ja)
KR (1) KR100282981B1 (ja)
CN (1) CN1080516C (ja)
AT (1) ATE167015T1 (ja)
BR (1) BR9405710A (ja)
CA (1) CA2153886C (ja)
DE (1) DE69410781T2 (ja)
ES (1) ES2117252T3 (ja)
FI (1) FI113929B (ja)
MY (1) MY109889A (ja)
RU (1) RU2115258C1 (ja)
SG (2) SG110033A1 (ja)
TR (1) TR27398A (ja)
TW (1) TW225080B (ja)
WO (1) WO1994016526A1 (ja)

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2327070C (en) * 1992-07-01 2001-12-25 Avid Technology, Inc. Electronic film editing system using both film and videotape format
JP3443880B2 (ja) * 1992-09-18 2003-09-08 ソニー株式会社 ビデオ信号符号化方法及び復号化方法
US5828786A (en) * 1993-12-02 1998-10-27 General Instrument Corporation Analyzer and methods for detecting and processing video data types in a video data stream
JP2947400B2 (ja) * 1994-05-31 1999-09-13 日本ビクター株式会社 フレーム周波数変換装置
JP3629728B2 (ja) * 1994-08-31 2005-03-16 ソニー株式会社 動画像信号符号化方法、動画像信号符号化装置及び動画像信号記録媒体
US5734419A (en) * 1994-10-21 1998-03-31 Lucent Technologies Inc. Method of encoder control
US6148035A (en) * 1994-12-29 2000-11-14 Sony Corporation Processing of redundant fields in a moving picture to achieve synchronized system operation
US5691771A (en) * 1994-12-29 1997-11-25 Sony Corporation Processing of redundant fields in a moving picture to achieve synchronized system operation
US5844618A (en) * 1995-02-15 1998-12-01 Matsushita Electric Industrial Co., Ltd. Method and apparatus for telecine image conversion
US5734677A (en) * 1995-03-15 1998-03-31 The Chinese University Of Hong Kong Method for compression of loss-tolerant video image data from multiple sources
US5920572A (en) * 1995-06-30 1999-07-06 Divicom Inc. Transport stream decoder/demultiplexer for hierarchically organized audio-video streams
US6058140A (en) * 1995-09-08 2000-05-02 Zapex Technologies, Inc. Method and apparatus for inverse 3:2 pulldown detection using motion estimation information
US5835493A (en) * 1996-01-02 1998-11-10 Divicom, Inc. MPEG transport stream remultiplexer
US6968003B1 (en) * 1996-01-29 2005-11-22 International Business Machines Corporation Speed-memory tradeoff for MPEG decoders
US5852473A (en) * 1996-02-20 1998-12-22 Tektronix, Inc. 3-2 pulldown detector
JP2848326B2 (ja) * 1996-03-28 1999-01-20 日本電気株式会社 Mpeg符号化画像復号装置
US5903261A (en) * 1996-06-20 1999-05-11 Data Translation, Inc. Computer based video system
US6222589B1 (en) 1996-08-08 2001-04-24 Yves C. Faroudja Displaying video on high-resolution computer-type monitors substantially without motion discontinuities
US6341144B1 (en) * 1996-09-20 2002-01-22 At&T Corp. Video coder providing implicit coefficient prediction and scan adaptation for image coding and intra coding of video
US5966166A (en) * 1996-11-07 1999-10-12 At&T Corp System and method for compressing video data for video conferencing at a reduced frame rate
KR100436649B1 (ko) * 1996-12-20 2004-09-08 소니 일렉트로닉스 인코포레이티드 초당24프레임필름으로부터취해진비디오프로그램재료의상태를변화시키기위한방법및장치
US6118491A (en) * 1997-02-20 2000-09-12 Lsi Logic Corporation System and method for enforcing interlaced field synchronization in the presence of broken alternation in an MPEG video datastream
US5929942A (en) * 1997-04-04 1999-07-27 Avid Technology, Inc. Computer system and computer implemented process for editing video fields
US6269195B1 (en) 1997-04-04 2001-07-31 Avid Technology, Inc. Apparatus and methods for selectively feathering a composite image
US6128001A (en) * 1997-04-04 2000-10-03 Avid Technology, Inc. Methods and apparatus for changing a color of an image
JP3232052B2 (ja) 1997-10-31 2001-11-26 松下電器産業株式会社 画像復号化方法
US6246701B1 (en) 1998-01-14 2001-06-12 Skystream Corporation Reference time clock locking in a remultiplexer for video program bearing transport streams
US6351471B1 (en) 1998-01-14 2002-02-26 Skystream Networks Inc. Brandwidth optimization of video program bearing transport streams
US6195368B1 (en) 1998-01-14 2001-02-27 Skystream Corporation Re-timing of video program bearing streams transmitted by an asynchronous communication link
US6351474B1 (en) * 1998-01-14 2002-02-26 Skystream Networks Inc. Network distributed remultiplexer for video program bearing transport streams
US6292490B1 (en) 1998-01-14 2001-09-18 Skystream Corporation Receipts and dispatch timing of transport packets in a video program bearing stream remultiplexer
US6392710B1 (en) 1998-04-03 2002-05-21 Avid Technology, Inc. Graphical user interface for field-based definition of special effects in a video editing system
US6351557B1 (en) 1998-04-03 2002-02-26 Avid Technology, Inc. Method and apparatus for color manipulation
US6298090B1 (en) 1998-06-04 2001-10-02 U.S. Philips Corporation System for detecting redundant images in a video sequence by comparing two predetermined threshold values
US6563953B2 (en) * 1998-11-30 2003-05-13 Microsoft Corporation Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock
EP1149496B1 (en) 1998-12-02 2002-07-31 STMicroelectronics Asia Pacific Pte Ltd. Progressive/interlace and redundant field detection for encoder
US6552731B1 (en) 1999-04-16 2003-04-22 Avid Technology, Inc. Multi-tone representation of a digital image on a digital nonlinear editing system
US6417891B1 (en) 1999-04-16 2002-07-09 Avid Technology, Inc. Color modification on a digital nonlinear editing system
US6847373B1 (en) * 1999-04-16 2005-01-25 Avid Technology, Inc. Natural color matching in a video editing system
US6571255B1 (en) 1999-04-16 2003-05-27 Robert Gonsalves Modification of media with common attributes on a digital nonlinear editing system
EP1121808A1 (en) * 1999-08-03 2001-08-08 Koninklijke Philips Electronics N.V. Method and device for encoding sequences of frames including either video-type or film-type images
JP4331835B2 (ja) 1999-09-22 2009-09-16 パナソニック株式会社 画像データ伝送方法
EP1243141B1 (en) * 1999-12-14 2011-10-19 Scientific-Atlanta, LLC System and method for adaptive decoding of a video signal with coordinated resource allocation
GB0004862D0 (en) * 2000-02-29 2000-04-19 Blip X Limited Video compression
KR20020026153A (ko) * 2000-02-29 2002-04-06 요트.게.아. 롤페즈 필름 재료 비디오 검출 및 인코딩
US6563550B1 (en) * 2000-03-06 2003-05-13 Teranex, Inc. Detection of progressive frames in a video field sequence
US6477271B1 (en) 2000-04-07 2002-11-05 Avid Technology, Inc. Secondary color modification of a digital image
US6928187B2 (en) * 2000-04-07 2005-08-09 Avid Technology, Inc. Secondary color modification of a digital image
US6756996B2 (en) * 2000-12-19 2004-06-29 Intel Corporation Obtaining a high refresh rate display using a low bandwidth digital interface
US8880709B2 (en) * 2001-09-12 2014-11-04 Ericsson Television Inc. Method and system for scheduled streaming of best effort data
CN100452883C (zh) 2001-12-17 2009-01-14 微软公司 处理视频图像的方法
US7274857B2 (en) 2001-12-31 2007-09-25 Scientific-Atlanta, Inc. Trick modes for compressed video streams
US7403561B2 (en) * 2003-04-04 2008-07-22 Avid Technology, Inc. Fixed bit rate, intraframe compression and decompression of video
US7433519B2 (en) * 2003-04-04 2008-10-07 Avid Technology, Inc. Bitstream format for compressed image data
US7499495B2 (en) * 2003-07-18 2009-03-03 Microsoft Corporation Extended range motion vectors
US7609763B2 (en) 2003-07-18 2009-10-27 Microsoft Corporation Advanced bi-directional predictive coding of video frames
US20050013498A1 (en) 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US7693222B2 (en) * 2003-08-13 2010-04-06 Ericsson Television Inc. Method and system for re-multiplexing of content-modified MPEG-2 transport streams using PCR interpolation
US7623574B2 (en) * 2003-09-07 2009-11-24 Microsoft Corporation Selecting between dominant and non-dominant motion vector predictor polarities
US7567617B2 (en) 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US8107531B2 (en) * 2003-09-07 2012-01-31 Microsoft Corporation Signaling and repeat padding for skip frames
US7599438B2 (en) 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
US7606308B2 (en) * 2003-09-07 2009-10-20 Microsoft Corporation Signaling macroblock mode information for macroblocks of interlaced forward-predicted fields
US7620106B2 (en) * 2003-09-07 2009-11-17 Microsoft Corporation Joint coding and decoding of a reference field selection and differential motion vector information
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7616692B2 (en) * 2003-09-07 2009-11-10 Microsoft Corporation Hybrid motion vector prediction for interlaced forward-predicted fields
US7961786B2 (en) * 2003-09-07 2011-06-14 Microsoft Corporation Signaling field type information
US7966642B2 (en) * 2003-09-15 2011-06-21 Nair Ajith N Resource-adaptive management of video storage
US20050120340A1 (en) * 2003-12-01 2005-06-02 Skazinski Joseph G. Apparatus, system, and method for automated generation of embedded systems software
JP4931034B2 (ja) * 2004-06-10 2012-05-16 株式会社ソニー・コンピュータエンタテインメント 復号装置および復号方法、並びに、プログラムおよびプログラム記録媒体
US8600217B2 (en) * 2004-07-14 2013-12-03 Arturo A. Rodriguez System and method for improving quality of displayed picture during trick modes
US9077960B2 (en) * 2005-08-12 2015-07-07 Microsoft Corporation Non-zero coefficient block pattern coding
CN101054750B (zh) * 2007-05-15 2010-09-08 江苏万工科技集团有限公司 带有数据校验和纠错的电子提花机控制系统及其控制方法
US20090033791A1 (en) * 2007-07-31 2009-02-05 Scientific-Atlanta, Inc. Video processing systems and methods
US8300696B2 (en) * 2008-07-25 2012-10-30 Cisco Technology, Inc. Transcoding for systems operating under plural video coding specifications
US9148295B2 (en) * 2010-02-09 2015-09-29 Broadcom Corporation Cable set-top box with integrated cable tuner and MOCA support
CN103313090B (zh) * 2012-03-16 2017-05-03 腾讯科技(深圳)有限公司 一种离线下载视频文件的方法、系统
US9998750B2 (en) 2013-03-15 2018-06-12 Cisco Technology, Inc. Systems and methods for guided conversion of video from a first to a second compression format
CN110312095B (zh) * 2018-03-20 2021-10-08 瑞昱半导体股份有限公司 影像处理装置及影像处理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3184542A (en) * 1961-03-15 1965-05-18 David S Horsley Video recording and reproduction with reduced redundancy
GB2129651B (en) * 1982-10-28 1986-08-06 Quantel Ltd Video processors
NL8801347A (nl) * 1988-05-26 1989-12-18 Philips Nv Werkwijze en inrichting voor bewegingsdetektie in een geinterlinieerd televisiebeeld verkregen na een filmtelevisie-omzetting.
US4998287A (en) * 1988-10-14 1991-03-05 General Instrument Corporation Determination of sequential positions of video fields derived from film
US4982280A (en) * 1989-07-18 1991-01-01 Yves C. Faroudja Motion sequence pattern detector for video
ES2095259T3 (es) * 1989-10-20 1997-02-16 Snell & Wilcox Ltd Conversion de normas de television, digitales.
US4998167A (en) * 1989-11-14 1991-03-05 Jaqua Douglas A High resolution translation of images
US5187575A (en) * 1989-12-29 1993-02-16 Massachusetts Institute Of Technology Source adaptive television system
GB9001079D0 (en) * 1990-01-17 1990-03-14 Avesco Plc Standards conversion
US5174641A (en) * 1990-07-25 1992-12-29 Massachusetts Institute Of Technology Video encoding method for television applications
US5093720A (en) * 1990-08-20 1992-03-03 General Instrument Corporation Motion compensation for interlaced digital television signals
US5168356A (en) * 1991-02-27 1992-12-01 General Electric Company Apparatus for segmenting encoded video signal for transmission
US5444491A (en) * 1993-02-26 1995-08-22 Massachusetts Institute Of Technology Television system with multiple transmission formats

Also Published As

Publication number Publication date
ATE167015T1 (de) 1998-06-15
KR100282981B1 (ko) 2001-03-02
US5600376A (en) 1997-02-04
FI953429A (fi) 1995-08-23
EP0679316B1 (en) 1998-06-03
CN1080516C (zh) 2002-03-06
MY109889A (en) 1997-09-30
WO1994016526A1 (en) 1994-07-21
US5426464A (en) 1995-06-20
FI953429A0 (fi) 1995-07-13
TR27398A (tr) 1995-02-28
BR9405710A (pt) 1996-08-06
CN1117780A (zh) 1996-02-28
CA2153886A1 (en) 1994-07-21
EP0679316A1 (en) 1995-11-02
TW225080B (en) 1994-06-11
JP3510628B2 (ja) 2004-03-29
SG110033A1 (en) 2005-04-28
CA2153886C (en) 2003-08-05
DE69410781T2 (de) 1998-10-15
DE69410781D1 (de) 1998-07-09
US5491516A (en) 1996-02-13
ES2117252T3 (es) 1998-08-01
SG94680A1 (en) 2003-03-18
FI113929B (fi) 2004-06-30
KR960700610A (ko) 1996-01-20
JP2004088800A (ja) 2004-03-18
RU2115258C1 (ru) 1998-07-10
JPH08507182A (ja) 1996-07-30

Similar Documents

Publication Publication Date Title
JP4002549B2 (ja) ビデオ圧縮/圧縮解除システムのフィールド除去装置
KR100261072B1 (ko) 디지털 신호처리시스템
US5442400A (en) Error concealment apparatus for MPEG-like video data
JP3365771B2 (ja) ビデオ信号圧縮装置
US5146325A (en) Video signal decompression apparatus for independently compressed even and odd field data
US5649047A (en) Picture reproduction apparatus and picture decoding apparatus
US5455629A (en) Apparatus for concealing errors in a digital video processing system
JP3302939B2 (ja) 独立に圧縮された偶数および奇数フィールド・データ用のビデオ信号圧縮解除装置
JP3649729B2 (ja) ディジタル・ビデオ処理システムにおけるエラーを隠す装置
US5809173A (en) Method and apparatus for improved video decompression using previous frame DCT coefficients
GB2321154A (en) Reverse playback of MPEG video
US6940909B2 (en) Video decoding during I-frame decode at resolution change
KR19990006827A (ko) 데이터 압축 시스템
GB2266208A (en) Image data processing apparatus and method
JPH11155129A (ja) Mpeg画像再生装置およびmpeg画像再生方法
KR100328199B1 (ko) 다채널 영상 인코딩 시스템 및 다채널 인코딩용 메모리운영방법
JP3235917B2 (ja) 画像記録再生装置
KR0152021B1 (ko) 데이타전송시에 발생한 에러를 처리하는 복호화방법 및 그 장치
JPH1023415A (ja) 画像符号化復号方法および装置
CA2360556C (en) Error concealment apparatus for a compressed video signal processing system
GB2316570A (en) Video signal error-correction-decoding using motion vector data
JP2002185963A (ja) Mpegビデオデコーダ

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A132

Effective date: 20050329

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20050628

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20050707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060822

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20061121

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20061127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070814

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070817

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100824

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110824

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110824

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120824

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120824

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130824

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term