JP4171414B2 - シャドー・イントラ・ピクチャの挿入によるビデオ変更方法およびシステム - Google Patents

シャドー・イントラ・ピクチャの挿入によるビデオ変更方法およびシステム Download PDF

Info

Publication number
JP4171414B2
JP4171414B2 JP2003513236A JP2003513236A JP4171414B2 JP 4171414 B2 JP4171414 B2 JP 4171414B2 JP 2003513236 A JP2003513236 A JP 2003513236A JP 2003513236 A JP2003513236 A JP 2003513236A JP 4171414 B2 JP4171414 B2 JP 4171414B2
Authority
JP
Japan
Prior art keywords
picture
video
pictures
shadow
intra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003513236A
Other languages
English (en)
Other versions
JP2005508586A (ja
JP2005508586A5 (ja
Inventor
リン,シユー
カング,ヨングメイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2005508586A publication Critical patent/JP2005508586A/ja
Publication of JP2005508586A5 publication Critical patent/JP2005508586A5/ja
Application granted granted Critical
Publication of JP4171414B2 publication Critical patent/JP4171414B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036Insert-editing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/21Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/213Read-only discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/21Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/215Recordable discs
    • G11B2220/216Rewritable discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2525Magneto-optical [MO] discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2562DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005Reproducing at a different information rate from the information rate of recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

本発明は、一般に、ビデオ録画システムに関し、より詳細には、ディジタル的に符号化されたビデオ・シーケンスを録画可能なディジタル・ビデオ・ディスク、ハード・ドライブ、光磁気ディスクなどのディスク媒体に録画するビデオ録画システムに関する。
一般に、MPEGビデオは、3つのタイプのピクチャ符号化方法、即ちイントラ(I:Intra:画面内)ピクチャ、(前(順)方向)予測(P:Predictive)ピクチャ、および双(両)方向予測(B:Bidirectional predictive)ピクチャを使用する。I(イントラ)ピクチャは、他のどんなピクチャからも独立して符号化または復号される。これにより基準ピクチャ(reference picture)が生成され、この基準ピクチャからP(予測)ピクチャおよびB(双方向予測)ピクチャ、即ち非Iピクチャを構成することができる。
しかし、MPEGビデオ信号の中には、I(イントラ)ピクチャ無しで符号化されるものもある。具体的には、多くの米国ケーブル・システム会社は、Iピクチャを含まないMPEG信号を放送している。一見、このようなビデオ信号は、P(予測)ピクチャおよびB(双方向予測)ピクチャを構成する際の元になるIピクチャが無いので復号不可能なように思われる。
それにもかかわらず、Iピクチャの無いビデオ信号は、ほとんどのMPEGデコーダにより復号することができる。つまり、信号中の各P(予測)ピクチャの別部分が通常、I(イントラ)マクロブロックで構成されているからである。即ち、Iマクロブロックを含む連続するPピクチャを使用して、最終的に1つのPピクチャを正しく復号することができ、次いでこれを使用して、ビデオ信号中の残りのピクチャを復号することができる。例えば、5つのPピクチャがあるブロックで、各Pピクチャの20%がIマクロブロックを含んでいる。例えば、第1のPピクチャの上部20%はIマクロブロックで構成され、下部80%は非Iマクロブロックで構成されるものとすることができる。ビデオ信号中の第2のPピクチャを参照すると、このピクチャの上部20%のすぐ下の20%を表す部分はIマクロブロックで構成され、下部60%および上部20%は非Iマクロブロックで構成されるものとすることができる。こうして、連続する各Pピクチャの異なる部分がIマクロブロックを含んでいる。従って、最後のPピクチャの底部20%はIマクロブロックを含んでいる。
これらのIマクロブロックを、Pピクチャ中に含まれる非Iマクロブロックと共に使用して、連続する各Pピクチャを構成することができる。具体的には、各Pピクチャを復号するのに伴って、Iおよび非Iマクロブロックをメモリに記憶していくことができる。従ってデコーダ(復号化器)は、第5のPピクチャを大体正しく復号することができ、このPピクチャから残りのPピクチャおよびBピクチャを復号することができる。
Iピクチャを有しないビデオ信号の通常再生(normal playback)中、再生開始時にピクチャ(画像)品質が損なわれる短い期間がある。これは、再生の初めのピクチャは、まだ正しく復号されていないPピクチャから構成しなければならないからである。例えば、通常、再生信号中の第1のPピクチャは、Iマクロブロックの第1の部分を含んでいる。従って、第1のPピクチャから構成されるPピクチャおよびBピクチャは、正しく復号することができない。つまり、第1のPピクチャは、これらのピクチャを生成するのに必要な情報のおよそ20%しか含んでいないからである。しかし、再生し続けるにつれて、より多くのPピクチャが復号され、それにより更に多くの正しく復号されたIおよび非Iマクロブロックが提供されて、正しく復号されたPピクチャが捕捉されるので、ピクチャ品質は改善される。普通正しく復号されたピクチャは、通常のビデオ再生の初めの2分の1秒以内で構成されるので、この最初のピクチャ品質低下は短時間であるため許容できる。
しかし、重要なことに、I(イントラ)ピクチャの無い信号中で、正しく復号されたP(予測)ピクチャを構成する際の遅延は、トリック・モード(trick mode)中では長引く場合がある。例えば、早送り(FF:Fast−Forward)トリック・モード中は、複数のピクチャを飛ばして再生を加速させる。Iマクロブロックを含むP(予測)ピクチャが飛ばされた場合、Pピクチャを正しく復号して残りのPピクチャおよびB(双方向予測)ピクチャを復号するにはより時間が掛かる。この結果、トリック・モード中に構成されるピクチャのより多くが、ピクチャ品質の劣化を被る。更に、再生速度が速いほど、より速い再生に対応するために、より多くのPピクチャが飛ばされることがあるので、許容できる再生を生み出す際の遅延が増大する。スロー・モーション(slow motion)再生も、正しく復号されたPピクチャを生成する際の遅延を長引かせる一因となる可能性がある。これは、通常、スロー・モーション再生中は、ピクチャが繰り返されるからである。ピクチャが繰り返されるので、別々の5つのPピクチャからマクロブロックを復号する際に遅延が生じることになるため、正しく復号されたPピクチャを得るにはより時間が掛かる。この結果、通常再生中では許容できるピクチャ品質の低下が、トリック・モード動作中では許容できなくなる場合がある。従って、前述の不利を克服する、トリック・モード再生用に最適化されたビデオ・セグメントを録画する方法およびシステムが必要とされている。
(発明の概要)
本発明は、トリック・モード再生用に最適化されたビデオ番組などのビデオ・セグメントを記憶媒体に録画する方法を含んでいる。本発明は、少なくとも1つの予測ピクチャを含むビデオ・セグメントを受け取るステップと、少なくとも1つの予測ピクチャから少なくとも1つのシャドー・イントラ・ピクチャ(shadow intra picuture)を選択的に形成するステップと、少なくとも1つのシャドー・イントラ・ピクチャをビデオ・セグメントに挿入するステップとを含んでいる。或る構成では、ビデオ・セグメントは第1のビデオ部分および第2のビデオ部分を含み、第2のビデオ部分は、少なくとも1つの導入予測ピクチャ(introductory predictive picture)を含んでいる。加えて、形成するステップは更に、第2のビデオ部分中の所定数の導入予測ピクチャを選択的に復号して、正しく復号された予測ピクチャを得るステップを含んでいる。また、各導入予測ピクチャの一部がイントラ・マクロブロックを含んでいてもよく、所定数は、各導入予測ピクチャ中のイントラ・マクロブロックの量に部分的に基づくことができる。
別の構成では、第2のビデオ部分は、少なくとも1つの後続の予測ピクチャ(subsequent predictive picture)を含み、形成するステップは更に、後続の予測ピクチャを選択的に復号するステップと、後続の予測ピクチャおよび導入予測ピクチャを含むグループから選択された予測ピクチャをシャドー・イントラ・ピクチャに選択的に再符号化するステップとを含んでいる。この方法の別の態様では、挿入するステップは更に、少なくとも1つのシャドー・イントラ・ピクチャを第1のビデオ部分に挿入するステップを含むことができる。加えて、本発明は、通常再生中は、シャドー・イントラ・ピクチャを無視するステップを含んでいてもよい。加えて、中程度の速度のトリック・モード再生中でもシャドーI(イントラ)ピクチャを無視することができる。
本発明は、トリック・モード再生用に最適化されたビデオ・セグメントを記憶媒体に録画するためのシステムを含んでいてもよい。このシステムは、少なくとも1つの予測ピクチャを含むビデオ・セグメントを受け取るための受信機と、少なくとも1つの予測ピクチャから少なくとも1つのシャドー・イントラ・ピクチャを選択的に形成するようにプログラムされたビデオ処理回路とを備えることができる。加えて、ビデオ処理回路は更に、少なくとも1つのシャドー・イントラ・ピクチャをビデオ・セグメントに挿入するようにプログラムすることができる。また、このシステムは、前述の方法を実施するのに適したソフトウェアおよび回路も備えている。
「録画可能な記憶媒体デバイス」
図1に、本発明の構成に従って様々な先進的な動作機能を実施するための記憶媒体デバイス100をブロック図の形式で示す。但し、本発明は、ディジタル的に符号化された信号を受け取ることのできる他の任意の記憶媒体デバイスでも実施することができるので、図1に示す特定のデバイスに限定されない。更に、ディジタル的に符号化されたデータを記憶することのできる任意の記憶媒体をデバイス100と共に使用することができるので、デバイス100は、何れか特定のタイプの記憶媒体との間でデータを読み書きすることに限定されない。
デバイス100は、入力処理経路140および出力処理経路170を備えている。更に、デバイス100は、記憶媒体112との間でデータを読み書きするためのコントローラ110も備えている。また、デバイス100は、制御用中央処理装置(CPU)122も有している。制御用CPU122が、パケット・ビデオ・エンコーダ(符号化器)144、パケット・ビデオ・デコーダ(復号化器)178、音声デコーダ(復号化器)182、検索エンジン174、およびコントローラ110の動作を制御できるようにするために、制御用インタフェースおよびデータ・インタフェースも設けることができる。制御用CPU122により行われる通常の動作のために、適したソフトウェアまたはファームウェアをメモリに記憶することができる。更に、本発明の構成によれば、録画済みビデオ編集機能のためのプログラム・ルーチン134が、制御用CPU122を制御するために設けられる。
ビューア(viewer)によりアクティブ化される機能のための制御バッファ132は、現在利用可能な機能、即ち再生(play:プレイ)、録画(record)、反転(reverse)、早送り(fast−forward)、スロー再生(slow play)、ジャンプ(jump)、一時停止(ポーズ)/再生(pause/play)、および停止(stop)を指示することができる。更に、録画済みビデオ編集機能を実施するためのコマンドを受け取るために、ブロック136で表した高度な機能を有することもできる。
出力処理経路170は、トラック・バッファ172、前処理エンジン174、デマルチプレクサ176、パケット・ビデオ・デコーダ178、TV(テレビジョン)エンコーダ180、音声デコーダ182、および音声D/A(ディジタル・アナログ変換器)184を含んでいる。トラック・バッファ172は、記憶媒体112から読み取られたデータを読み、更に処理するために一時的に記憶する。データは、デマルチプレクサ176に送られ、そこでビデオと音声の処理のためにそれぞれの経路に分岐される。検索エンジン174は、記憶媒体112から読み取られたデータ中のピクチャを探し出すことにより、媒体112から読み取られたデータを処理する。この前処理エンジン174は、各ピクチャの開始コード(start code:スタート・コード)を探し出すことにより、データ中のピクチャを探し出す。開始コードを探し出すと、検索エンジン174は、制御用CPU122に信号で知らせることができる。次いで、制御用CPU122は、この特定のピクチャの開始コードに注目することにより、ピクチャがI(イントラ)ピクチャかB(双方向予測)ピクチャかP(予測)ピクチャかを決定する。この構成では、次いで制御用CPU122は、特定のピクチャを復号しないように、パケット・ビデオ・デコーダ178に信号で知らせ、それによりこのピクチャが表示されないようにする。本発明の意図において、制御用CPU122、検索エンジン174、デコーダ178、およびエンコーダ144の、全部または一部は、ビデオ処理回路190と考えることができることを理解されたい。
本発明の構成によれば、ディジタル的に符号化されたビデオ信号に1つまたは複数のシャドーI(イントラ)ピクチャを挿入することができる。シャドーIピクチャ(shadow I picture)は、厳しいトリック・モード再生中は録画済みビデオ信号中の他のピクチャを構成するのに使用できるが、通常または中程度の速度のトリック・モード再生中は無視できるIピクチャである。或る構成では、シャドーIピクチャは、Iピクチャを全く有しないディジタル符号化信号に挿入することができる。但し、シャドーIピクチャは、通常のIピクチャを有するビデオ信号に挿入することもできるので、本発明はこのように限定されない。後で説明するが、このような信号中の1つまたは複数のピクチャをシャドーIピクチャに再符号化することができる。この構成では、シャドーIピクチャが挿入されることになるビデオ・セグメントを、受信機またはバッファ149により受け取ることができる。ビデオ・セグメントは、第1のビデオ部分および第2のビデオ部分で構成されたものとすることができ、第1のビデオ部分はシャドーIピクチャを受け取り、第2のビデオ部分はシャドーIピクチャを生成するのに使用することができる。或る構成では、第2のビデオ部分は、第1のビデオ信号からの1つまたは複数のピクチャを含んでいてもよい。
第2のビデオ部分は、パケット・ビデオ・デコーダ178により受け取ることができる。デコーダ178は、第2のビデオ部分中の1つまたは複数のピクチャを選択的に復号して、正しく復号されたピクチャを生成し、次いでこれを使用して、第2のビデオ信号中の他のピクチャを選択的に復号する。次に、第2のビデオ信号はパケット・ビデオ・エンコーダ144に送る。デコーダ178により選択的に復号された第2のビデオ部分中のピクチャを、エンコーダ144を使用して、このようなピクチャをシャドーIピクチャに選択的に再符号化することにより1つまたは複数のシャドーIピクチャを生成することができる。
シャドーIピクチャが形成された後は、シャドーIピクチャに再符号化されなかった残りのピクチャは捨てることができる。次いで、第2のビデオ部分中のシャドーIピクチャを、マルチプレクサ(MUX)150中で第1のビデオ部分と合成し、それにより元のビデオ・セグメントを変更する。次いで、変更済みビデオ・セグメントは、記憶媒体112に録画できるようになるまで、録画バッファ152に記憶しておくことができる。こうして、ビデオ・セグメントに1つまたは複数のシャドーIピクチャを追加することにより、ビデオ・セグメントを変更することができる。以下、この過程についてより詳細に説明する。
特に、本発明は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組合せにより実現することができる。本発明による機械可読媒体は、1つのコンピュータ・システム中で、例えば制御用CPU122中で中央集中化方式で実現することもでき、或いは、種々の要素が複数の相互接続コンピュータ・システムにわたって分散する分散方式で実施することもできる。本明細書に述べる方法を実施するように適合された任意の種類のコンピュータ・システムまたはその他の装置を使用することができる。
具体的には、本明細書に述べる発明では、図1の制御用CPU122を意図しているが、ハードウェアとソフトウェアの典型的な組合せは、コンピュータ・プログラムを備えた汎用コンピュータ・システムでもよく、このコンピュータ・プログラムは、ロードされて実行されると、図1の制御部122と同様のコンピュータ・システムおよびDVD録画システムを制御し、それにより本明細書に述べる方法を実施する。本発明は、コンピュータ・プログラム製品に組み込むこともでき、このコンピュータ・プログラム製品は、本明細書に述べる方法の実施を可能にする全ての機能を備え、コンピュータ・システムにロードされるとこれらの方法を実施することができる。
本明細書中に於いて、「コンピュータ・プログラム」とは、情報処理機能を有するシステムに特定の機能を直接に実行させるか、或いは(a)別の言語、コード、または表記法に変換した後と(b)種々の素材形態で複製した後のどちらかまたは両方で実施させるように意図された命令セットを、任意の言語、コード、または表記法で任意に表現したものを意味する。本明細書に述べる本発明は、前述の制御用CPU122に適合するオペレーティング・システム用の市販の開発ツールをプログラマが使用して実施することのできるコンピュータ・プログラムに組み込まれた方法とすることもできる。
「シャドー・イントラ・ピクチャの挿入によるビデオ変更」
本発明の構成によれば、I(イントラ)ピクチャを有しない録画済みビデオのトリック・モード再生に関連する低ピクチャ(画像)品質を、元のビデオ信号に含まれる1つまたは複数のP(予測)ピクチャから1つまたは複数のシャドーIピクチャを形成することにより改善することができる。この場合、これらのシャドーIピクチャは、ビデオ信号を録画するときにビデオ信号に挿入し、また、録画済みビデオを厳しい(severe)トリック・モードで再生する間に、ビデオに含まれる非イントラ・ピクチャを再構成するのに使用する。しかし、注目すべきことに、これらのシャドーIピクチャは、通常再生中またはそれほど厳しくないトリック・モード再生中は、元の放送構造と干渉を起こすことが無いように無視することができる。
図2に、最適なトリック・モード性能を得るために、Iマクロブロック付きP(予測)ピクチャを含むビデオ(通常は、Iピクチャを含まない信号)を変更することのできる一方法を例示するフローチャート200を示す。ステップ210で、少なくとも1つのPピクチャを含むビデオ信号を受け取る。前述のように、多くのビデオ放送信号、特に米国ケーブル放送は、I(イントラ)ピクチャを含んでいない。これらの信号の多くは、所定数の非Iピクチャを含む幾つかのビデオ・シーケンスで構成される。以下は、このような信号に含まれる典型的なビデオ・シーケンスの例である。
SH B1011121314
上に示すように、この例は非イントラ・ピクチャ(PピクチャおよびBピクチャ)だけを含み、Iピクチャは全く含んでいない。通常、各Pピクチャの一部は、Iマクロブロックで符号化されている。通常再生中、シーケンス中のピクチャは、Pピクチャ中のIマクロブロックと非Iマクロブロックの両方で構成することができる。経験的に、各Pピクチャの約20%をIマクロブロックで符号化して、Pピクチャ間に2つのBピクチャを配置すると旨く機能することが分っている。従って、上に示した典型的なシーケンスが一般に使用されており、これを本発明の説明の助けとして使用する。但し、Iピクチャの無い他のビデオ・シーケンスも一般に使用されており、それらを典型例と考えてもよいことは、当業者なら理解できるであろう。実際、本発明の構成によれば、少なくとも1つのPピクチャを含むビデオ・シーケンスならどんなものでも変更することができ、これにはIピクチャを含んでいるビデオ信号も含まれる。
本発明は、どんな特定のピクチャ・フォーマット(画像形式)にも限定されないので、上に示した典型的なビデオ・シーケンス中のピクチャは、プログレッシブ・フレーム、非プログレッシブ・フレーム、またはフィールド・ピクチャを表すものでもよい。記号「SH」はシーケンス・ヘッダ(Sequence Header)を表し、シーケンス・ヘッダは、それが割り当てられている特定のビデオ・シーケンスに関する復号情報を含むヘッダである。但し、本発明はシーケンス・ヘッダの無いビデオ・シーケンスでも実施することができるので、本発明はこのような構成に限定されるものでないことを理解されたい。
ステップ212で、受け取ったビデオ信号を第1のビデオ部分として一時的に記憶することができる。以下に、2つの典型的なビデオ・シーケンスを含む第1のビデオ部分の例を示す。
SH1011121314
SH151617181920212223242526272829
このような部分は任意の量のビデオを含んでおり、これらの特定タイプのビデオ・シーケンスに限定されないので、これは第1のビデオ部分の一例にすぎないことに留意されたい。ステップ214に示すように、第1のビデオ部分からの1つまたは複数のピクチャを含む第2のビデオ部分を選択的に復号して、正しく復号されたピクチャを得ることができる。或る構成では、第2のビデオ部分は、第1のビデオ部分からの全ての非Iピクチャを含んでおり、或いは全てのPピクチャを含んでいる。どちらの構成でも、正しく復号されたPピクチャが得られるまで、第2のビデオ部分中の1つまたは複数のPピクチャを復号することができる。但し、本発明の説明上、この例では、第2のビデオ部分は、第1のビデオ部分からの2つの典型的なビデオ・シーケンス中に示す全てのピクチャを含んでいる。
一実施例では、第2のビデオ部分中の復号されるP(予測)ピクチャの数は、Pピクチャ中のIマクロブロックの量に応じて決まる。例えば、上に再現した第1のビデオ・シーケンス中の5つのPピクチャ、即ちP、P、P、P11、P14を復号することができ、この結果、ピクチャP14を正しく復号することができる。先に説明したように、一般に、典型的ビデオ・シーケンス中の各Pピクチャの別部分(約20%)がIマクロブロックで構成されているので、5つのPピクチャを使用して1つのPピクチャを正しく復号することができる。但し、正しく復号されたPピクチャを得るために、他の適した任意の数のPピクチャを復号することもできるので、本発明は、前の例に限定されるものではない。例えば、これらの最初のPピクチャは、様々な割合のIマクロブロックを含んでいてもよい。明確にするために、正しく復号されたPピクチャを得るのに使用されるPピクチャを、導入Pピクチャ(introductory P picture)と呼ぶことがある。
第2のビデオ部分中の導入Pピクチャを復号することにより、正しく復号されたPピクチャが得られた後は、ステップ216に示すように、正しく復号されたPピクチャを使用して、第2のビデオ部分中の1つまたは複数の後続のPピクチャを選択的に復号することができる。例えば、上に示したビデオ・シーケンスを引き続き用いるが、ピクチャP14が正しく復号されると、次のビデオ・シーケンス中のPピクチャ、即ちP17、P20、P23、P26、P29も正しく復号することができる。或る構成では、第2のビデオ部分中の後続のPピクチャを全て復号することが好ましい。但し、他の適当な数の後続のPピクチャを復号することもできるので、本発明はこれに関して限定されるものではない。
他の構成では、正しく復号されたP(予測)ピクチャが捕捉された後に1つまたは複数のPピクチャをスキップした場合、即ち第2のビデオ部分中の全てには満たないPピクチャを復号した場合は、スキップしたPピクチャに続く1つまたは複数のPピクチャを使用して、後続のPピクチャを復号するために別の正しく復号されたPピクチャを生成することができる。この別の正しく復号されたPピクチャを構成するのに使用した、スキップしたPピクチャに続くPピクチャも、導入Pピクチャと呼ぶことがある。
所望の数の後続のPピクチャを復号すると、ステップ218で、選択的に復号した後続のPピクチャの1つまたは複数をシャドーIピクチャに再符号化することができる。更に、1つまたは複数の導入PピクチャもシャドーIピクチャに再符号化することができる。以下はこのような過程の例である。
SH1011121314
SH151617181920212223242526272829
上に示すように、ピクチャPおよびP17が、それぞれシャドーIピクチャIおよびI17に再符号化されている。任意の数の導入Pピクチャまたは後続のPピクチャを、シャドーIピクチャに再符号化することができるので、本発明はこの特定の例または何れか特定の再符号化アルゴリズムに限定されるものでないことに留意されたい。
例えば、ピクチャPおよびP17に加えて、上のビデオ・シーケンスからのピクチャPおよびP20をシャドーIピクチャに再符号化してもよい。
一実施例では、再符号化ステップ中に、シャドーIピクチャに含まれるビットの数を減少させることができる。シャドーIピクチャに含まれるビットの数を減少させると、ピクチャ(画像)品質が低下することがある。しかし、このピクチャ品質の低下は、トリック・モード再生の目的では許容することができ、減少したビット数を含むシャドーIピクチャは、必要な記憶空間および/または帯域幅がより少なくて済む。
シャドーIピクチャを形成した後、ステップ220に示すように、第2のビデオ部分中の残りのピクチャ、即ちシャドーIピクチャに選択的に再符号化しなかったピクチャを捨てることができる。従って、上の例では、ステップ220の後に残るピクチャは、IおよびI17だけになる。ステップ222で、第2のビデオ部分中のシャドーIピクチャを第1のビデオ部分に挿入することができる。シャドーIピクチャは、第1のビデオ部分中の適した任意の位置に、適した任意の頻度で挿入することができる。或る構成では、第2のビデオ部分は、第1のビデオ部分からの全てのピクチャを含んでいるものとしてもよい。この場合、第2のビデオ部分中のビデオ・シーケンスは、第1のビデオ部分中のビデオ・シーケンスに対応する。第2のビデオ部分中の各ビデオ・シーケンスからシャドーIピクチャを生成した場合、各シャドーIピクチャをそれに対応する第1のビデオ部分中のビデオ・シーケンスに挿入すればよい。以下に、第2のビデオ部分からのシャドーIピクチャを第1のビデオ部分に含まれるそれらに対応するビデオ・シーケンスに追加する例を示す。
SH1011121314
SH15161717181920212223242526272829
上に示すように、第2のビデオ部分中のビデオ・シーケンスからのピクチャIおよびI17が、第1のビデオ部分に含まれるそれらに対応するビデオ・シーケンスに挿入されている。ピクチャIおよびI17をそれぞれピクチャPおよびP17の次に挿入したが、本発明はこの特定の例に限定されるものでないことに留意されたい。実際、各シャドーIピクチャは、第1のビデオ・セグメント中で、それに対応するビデオ・シーケンスまたは他の任意のビデオ・シーケンスのどこに挿入してもよい。
次いで、ステップ224に示すように、変更した第1のビデオ・セグメントを記憶媒体に録画することができる。シャドーIピクチャも記憶媒体上の変更済みビデオ・セグメントと同じ位置に記憶することが望ましいが、シャドーIピクチャは記憶媒体上の適当な任意の位置に記憶することができる。
この変更により、第1のビデオ・セグメント即ち元の入来するビデオにシャドーIピクチャが挿入された状態にすることができ、これらのシャドーIピクチャから、トリック・モード再生中に非イントラ・ピクチャを構成することができる。従って、変更済みビデオ・セグメント中のピクチャはもはや複数のPピクチャが復号されることに依存しないので、このシャドーIピクチャを追加する処理により、トリック・モード中のピクチャ品質が改善される。
変更済みの第1のビデオ・セグメントを記憶媒体に録画した後は、これを再生することができる。ステップ226で、再生を開始した場合、ステップ228で、再生がトリック・モードかどうかを決定する。再生がトリック・モードの場合は、ステップ230に示すように、変更済みビデオ・セグメント中のシャドーIピクチャを使用して、変更済みセグメント中の他のピクチャを構成する。再生が通常再生である場合は、ステップ232〜238に示すように、シャドーIピクチャを無視する。
別の構成では、決定ブロック229で決定できるように、こま落とし(fast−motion)トリック・モード再生の速度が、通常再生の速度から過度に外れない場合は、記憶媒体から読み取られた信号中のB(双方向予測)ピクチャだけをトリック・モード中に飛ばせばよく、信号中のIマクロブロック符号化されたP(予測)ピクチャを使用して、信号中のピクチャを構成することができ、過程はステップ232〜238に関して先に述べたように継続することができる。通常再生と同様、それほど厳しくないこま落としトリック・モード速度の間は、シャドーIピクチャを無視することができる。例えば、先に説明した典型的なビデオ・シーケンスを再び参照すると、早送り(fast−forward)または早戻し(fast−reverse)トリック・モード再生中、Pピクチャを飛ばさなければならなくなる前に、1つのビデオ・シーケンス中に於いて10個までのBピクチャを飛ばすことができる。このシーケンスから10個のBピクチャを除去すると、通常再生の3倍の速度で再生されることになり、シャドーIピクチャはやはり無視することができる。決定ブロック229で、こま落としトリック・モード再生速度が、通常再生速度から過度に外れる場合は、ステップ230に示すように、シャドーIピクチャを使用して他のピクチャを復号するべきである。
更に、それほど厳しくないスロー・モーション再生の場合、比較的速いスロー・モーション速度は大きな復号遅延を生じないので、シャドーIピクチャの代わりにPピクチャを使用して、記憶媒体から読み取られたビデオ信号中の他のピクチャを復号することができる。例えば、各Pピクチャの20%がIマクロブロックを含み、基準ピクチャを約2分の1秒以内に生成することができる場合、通常再生速度の2分の1の速度でスロー・モーション再生すると、復号遅延は約1秒まで増加することになる。従って、比較的速いスロー・モーション再生中も、シャドーIピクチャを無視することができる。
ステップ232で、通常再生中、或いはそれほど厳しくないトリック・モード再生中に、検索を行って、変更済みの第1のビデオ・セグメントに含まれるピクチャを探し出すことができる。或る構成では、図1の前処理エンジン174および制御用CPU122を使用してピクチャを探し出すことができる。ステップ234で、ピクチャがシャドーIピクチャであることを制御用CPU122が決定した場合は、ステップ236に示すように、このシャドーIピクチャは復号せず、その結果、通常再生中は表示しない。しかし、このピクチャがシャドーIピクチャでない場合は、このようなピクチャは復号し、ステップ238に従って表示することができる。
本明細書に開示した実施例に関連して本発明を述べたが、以上の説明は本発明の一例として示すものであり、特許請求の範囲に定める本発明の範囲を限定するものではないことを理解されたい。
本明細書の発明の構成による、シャドー・イントラ・ピクチャを挿入することによりビデオを変更することのできる記憶媒体デバイスのブロック図である。 本明細書の発明の構成による、シャドー・イントラ・ピクチャを挿入することによりビデオを変更する動作を示すフローチャートである。

Claims (23)

  1. トリック・モード再生用に最適化されたビデオ・セグメントを記憶媒体に録画する方法であって、
    少なくとも1つの予測ピクチャを含む前記ビデオ・セグメントを受信するステップと、
    前記少なくとも1つの予測ピクチャから少なくとも1つのシャドー・イントラ・ピクチャを選択的に形成するステップと、
    前記少なくとも1つのシャドー・イントラ・ピクチャを前記ビデオ・セグメントに挿入するステップとを含む、前記方法。
  2. 前記ビデオ・セグメント第1のビデオ部分および第2のビデオ部分を含み、前記第2のビデオ部分少なくとも1つの導入予測ピクチャを含む、請求項1記載の方法。
  3. 前記形成するステップ更に、前記第2のビデオ部分中の所定数の前記導入予測ピクチャを選択的に復号し、正しく復号された予測ピクチャを得るステップを含む、請求項2記載の方法。
  4. 前記導入予測ピクチャそれぞれの一部イントラ・マクロブロックを含み、前記所定数前記導入予測ピクチャそれぞれの中の前記イントラ・マクロブロックの量に部分的に基づく、請求項3記載の方法。
  5. 前記第2のビデオ部分少なくとも1つの後続の予測ピクチャを含み、前記形成するステップ更に、
    前記後続の予測ピクチャを選択的に復号するステップと、
    前記後続の予測ピクチャおよび前記導入予測ピクチャを含むグループから選択された予測ピクチャをシャドー・イントラ・ピクチャに選択的に再符号化するステップとを含む、請求項3記載の方法。
  6. 前記挿入するステップ更に、前記少なくとも1つのシャドー・イントラ・ピクチャを前記第1のビデオ部分に挿入するステップを含む、請求項2記載の方法。
  7. 通常再生中は、前記少なくとも1つのシャドー・イントラ・ピクチャを無視するステップを更に含む、請求項1記載の方法。
  8. 中程度の速度のトリック・モード再生中は、前記少なくとも1つのシャドー・イントラ・ピクチャを無視するステップを更に含む、請求項1記載の方法。
  9. 前記ビデオ・セグメント、通常のイントラ・ピクチャを全く含まないMPEGビデオ・セグメントである、請求項1記載の方法。
  10. 前記第1のビデオ部分に挿入される前記シャドー・イントラ・ピクチャそれぞれに含まれるビットの数を変更するステップを更に含む、請求項1記載の方法。
  11. 前記ビデオ・セグメント、ケーブル伝送、衛星伝送、インターネットを含むグループから受け取られる、請求項1記載の方法。
  12. トリック・モード再生用に最適化されたビデオ・セグメントを記憶媒体に録画するためのシステムであって、
    少なくとも1つの予測ピクチャを含む前記ビデオ・セグメントを受け取るための受信機と、
    前記少なくとも1つの予測ピクチャから少なくとも1つのシャドー・イントラ・ピクチャを選択的に形成するようにプログラムされたビデオ処理回路とを備える、前記システム。
  13. 前記ビデオ処理回路更に、前記少なくとも1つのシャドー・イントラ・ピクチャを前記ビデオ・セグメントに挿入するようにプログラムされた、請求項12記載のシステム。
  14. 前記ビデオ・セグメント第1のビデオ部分および第2のビデオ部分を含み、前記第2のビデオ部分少なくとも1つの導入予測ピクチャを含む、請求項13記載のシステム。
  15. 前記ビデオ処理回路更に、前記第2のビデオ部分中の所定数の前記導入予測ピクチャを選択的に復号し、正しく復号された予測ピクチャを得るようにプログラムされた、請求項14記載のシステム。
  16. 前記導入予測ピクチャそれぞれの一部イントラ・マクロブロックを含み、前記所定数前記導入予測ピクチャそれぞれの中の前記イントラ・マクロブロックの量に部分的に基づく、請求項15記載のシステム。
  17. 前記第2のビデオ部分少なくとも1つの後続の予測ピクチャを含み、前記ビデオ処理回路更に、前記後続の予測ピクチャを選択的に復号し、前記後続の予測ピクチャおよび前記導入予測ピクチャを含むグループから選択された予測ピクチャをシャドー・イントラ・ピクチャに選択的に再符号化するようにプログラムされた、請求項15記載のシステム。
  18. 前記ビデオ処理回路更に、前記少なくとも1つのシャドー・イントラ・ピクチャを前記第1のビデオ部分に挿入するようにプログラムされた、請求項14記載のシステム。
  19. 前記ビデオ処理回路更に、通常再生中は前記少なくとも1つのシャドー・イントラ・ピクチャを無視するようにプログラムされた、請求項12記載のシステム。
  20. 前記ビデオ処理回路更に、中程度の速度のトリック・モード再生中は前記少なくとも1つのシャドー・イントラ・ピクチャを無視するようにプログラムされた、請求項12記載のシステム。
  21. 前記ビデオ・セグメント、通常のイントラ・ピクチャを全く含まないMPEGビデオ・セグメントである、請求項12記載のシステム。
  22. 前記ビデオ処理回路更に、前記ビデオ・セグメントに挿入される前記シャドー・イントラ・ピクチャそれぞれに含まれるビットの数を変更するようにプログラムされた、請求項12記載のシステム。
  23. 前記ビデオ・セグメントケーブル伝送、衛星伝送、インターネットを含むグループから受信される、請求項12記載のシステム。
JP2003513236A 2001-07-12 2002-06-19 シャドー・イントラ・ピクチャの挿入によるビデオ変更方法およびシステム Expired - Fee Related JP4171414B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/904,164 US7020382B2 (en) 2001-07-12 2001-07-12 Modifying video by inserting shadow intra pictures
PCT/US2002/019305 WO2003007602A1 (en) 2001-07-12 2002-06-19 Modifying video by inserting shadow intra pictures

Publications (3)

Publication Number Publication Date
JP2005508586A JP2005508586A (ja) 2005-03-31
JP2005508586A5 JP2005508586A5 (ja) 2006-01-05
JP4171414B2 true JP4171414B2 (ja) 2008-10-22

Family

ID=25418689

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003513236A Expired - Fee Related JP4171414B2 (ja) 2001-07-12 2002-06-19 シャドー・イントラ・ピクチャの挿入によるビデオ変更方法およびシステム

Country Status (11)

Country Link
US (1) US7020382B2 (ja)
EP (1) EP1425908A4 (ja)
JP (1) JP4171414B2 (ja)
KR (1) KR100891065B1 (ja)
CN (1) CN1271852C (ja)
BR (1) BR0210876A (ja)
CA (1) CA2451995A1 (ja)
MX (1) MXPA03012029A (ja)
MY (1) MY127721A (ja)
TW (1) TW579651B (ja)
WO (1) WO2003007602A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4337244B2 (ja) * 2000-07-25 2009-09-30 ソニー株式会社 Mpeg画像ストリームのデコード装置およびデコード方法
US7024098B2 (en) * 2003-05-05 2006-04-04 Thomson Licensing Reverse trick modes on progressive video using special groups of pictures
KR100852803B1 (ko) * 2004-03-15 2008-08-18 샤프 가부시키가이샤 녹화 재생 편집 장치
US7473678B2 (en) * 2004-10-14 2009-01-06 Biomimetic Therapeutics, Inc. Platelet-derived growth factor compositions and methods of use thereof
EP1713283A2 (en) * 2005-04-15 2006-10-18 Sony Corporation Video decoder with random access technique
US8997161B2 (en) * 2008-01-02 2015-03-31 Sonic Ip, Inc. Application enhancement tracks
GB2500284B (en) * 2012-09-12 2014-04-30 Imagination Tech Ltd Tile based computer graphics

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5282049A (en) * 1991-02-08 1994-01-25 Olympus Optical Co., Ltd. Moving-picture data digital recording and reproducing apparatuses
US5377051A (en) * 1993-01-13 1994-12-27 Hitachi America, Ltd. Digital video recorder compatible receiver with trick play image enhancement
SG43131A1 (en) * 1994-03-23 1997-10-17 British Telecomm Video signal coding
GB2294173B (en) * 1994-10-11 1998-12-09 Mitsubishi Electric Corp Disk media, and method of and device for recording and playing back information on or from a disk media
JP3197855B2 (ja) * 1997-11-06 2001-08-13 三洋電機株式会社 Mpegデータの再生装置
KR20010022752A (ko) 1998-06-11 2001-03-26 요트.게.아. 롤페즈 디지털 비디오 레코더용 트릭 플레이 신호 발생

Also Published As

Publication number Publication date
CA2451995A1 (en) 2003-01-23
US7020382B2 (en) 2006-03-28
WO2003007602A1 (en) 2003-01-23
TW579651B (en) 2004-03-11
CN1524377A (zh) 2004-08-25
CN1271852C (zh) 2006-08-23
JP2005508586A (ja) 2005-03-31
KR100891065B1 (ko) 2009-03-31
US20030012552A1 (en) 2003-01-16
MY127721A (en) 2006-12-29
BR0210876A (pt) 2004-06-22
EP1425908A4 (en) 2006-04-12
EP1425908A1 (en) 2004-06-09
MXPA03012029A (es) 2004-03-26
KR20040017299A (ko) 2004-02-26

Similar Documents

Publication Publication Date Title
JP4493338B2 (ja) ビデオのセグメントをトリック・モードで再生する方法およびシステム
KR100958325B1 (ko) 저장 매체상에 레코딩된 mpeg 비디오 표시의 트릭 모드 재생 방법 및 장치
JP4286659B2 (ja) 非順次走査フレーム構造フォーマットで記録されたビデオ表示のための再生速度の変更
US6707984B2 (en) Changing a playback speed for video presentation recorded in a modified film format
JP4171414B2 (ja) シャドー・イントラ・ピクチャの挿入によるビデオ変更方法およびシステム
EP1701545B1 (en) Image reproducing device, method, and program
JP4173094B2 (ja) ビデオ・セグメントを記憶媒体に録画する方法およびシステム
JP4294481B2 (ja) ダミーの予測ピクチャを使用したコマ落としトリックモード
JP4388812B2 (ja) トリックモードを実行する方法及びシステム
US7215871B2 (en) Changing a playback speed for video presentation recorded in a field structure format
JP4370166B2 (ja) トリックモードを実行する方法及びシステム
JP4805206B2 (ja) 映像データ録画再生装置、システム及び方法
JP4377079B2 (ja) 信号処理方法及び信号処理装置
JP2009146550A (ja) 情報データストリームの同時記録再生装置、及び方法
KR100393918B1 (ko) 디지털 엠펙 데이터를 저장 매체에 저장하고 재생하는시스템 및 그 방법
JP3610352B2 (ja) 記録再生装置
JP2005159525A (ja) デジタル再生装置または再生方法
KR100610680B1 (ko) 디지털 방송 녹화 편집장치 및 방법
JP2006121415A (ja) 動画符号化装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050519

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050519

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060929

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071023

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080117

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080124

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20080318

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080805

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080808

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110815

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110815

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120815

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120815

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130815

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees