JP4191385B2 - Mpeg符号化信号のトリックプレイ再生 - Google Patents

Mpeg符号化信号のトリックプレイ再生 Download PDF

Info

Publication number
JP4191385B2
JP4191385B2 JP2000547774A JP2000547774A JP4191385B2 JP 4191385 B2 JP4191385 B2 JP 4191385B2 JP 2000547774 A JP2000547774 A JP 2000547774A JP 2000547774 A JP2000547774 A JP 2000547774A JP 4191385 B2 JP4191385 B2 JP 4191385B2
Authority
JP
Japan
Prior art keywords
field
picture
memory
stored
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2000547774A
Other languages
English (en)
Other versions
JP2002514861A (ja
JP2002514861A5 (ja
Inventor
メリー ラフューズ コマー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2002514861A publication Critical patent/JP2002514861A/ja
Publication of JP2002514861A5 publication Critical patent/JP2002514861A5/ja
Application granted granted Critical
Publication of JP4191385B2 publication Critical patent/JP4191385B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Description

【0001】
本発明は、MPEG符号化された信号の復号化に関し、詳細には、通常の再生速度とは異なる速度で、および/または逆方向で媒体からのそのような信号を再生し、かつ復号することに関する。
【0002】
(発明の背景)
デジタル圧縮されたオーディオおよびビデオ信号を、例えば、MPEG圧縮プロトコルを利用して記録したディスクが導入されたことにより、消費者は、提供される音声およびピクチャの品質を元の素材のものとほとんど識別できない程になっている。しかし、消費者ユーザはこうしたデジタルビデオディスク、すなわちDVDに対して、これらのユーザのもつアナログ式のビデオカセットレコーダ、すなわちVCRが提供してくれる機能と同様な機能を提供することを期待することになる。例えば、VCRは、記録速度以外の速度によって、正方向(forward)または逆方向(reverse)のいずれの方向にも再生することができる。こうした非標準速度による再生の機能は、トリックプレイモードという名称でも知られている。
出願EP A 0 727 912には、例えばDVDフォーマットを有するなどの光ディスク上に記録されたMPEGピクチャデータを再生する装置および方法が開示されている。リファレンスD1は、特に逆方向の時間的シーケンスで復号されたMPEGピクチャの表示を可能にするための、MPEGで符号化されたデータの再生を目標としたものである。リファレンスD1は「逆方向」の再生の問題点を認め、Iフレームのみの再生は望ましくない動きアーティファクトを生じさせる、しかし、追加の復号されたピクチャを提供するには、データ転送速度を増加させる必要があることを教示している。さらに、以前のIピクチャおよびPピクチャに対するフレーム記憶の容量を制限するとこれらのピクチャを多重に復号することが必要となる。好ましい実施の形態では、リファレンスD1は、デコーダに対する符号化データ転送速度の増加およびフレームメモリの記憶容量の増加のいずれも必要とせずに、表示されるピクチャにおいて自然な動きの描写を実現させるための逆方向での再生の方法及び装置を記述している。
さらに、別の出願EP 0 700 221 A2では、記録されたディスク媒体に頻繁にアクセスすることなく、逆方向のピクチャ・シーケンスによる再生を可能にする装置およびデータ再生方法を開示している。この装置では、MPEG復号のために読み出される圧縮データからなるいくつかのGOPを格納するのに十分な容量をもつリング・バッファを利用している。さらに、データのペイロードに添付されているデータ属性情報を検出し、格納する。リング・バッファは圧縮データからなるいくつかのGOPを格納しているため、ディスクからのデータを繰り返し再取得する必要がない。逆方向再生モードでは、リング・バッファによって、所望の出力ピクチャ・シーケンスを構成するのに必要な、先行するピクチャに対する迅速な多重アクセスが可能となる。したがって、複数リング・バッファアクセスおよび復号により、逆方向の時間順での読出しを容易にするように複数のMPEGで復号されたピクチャを格納するという要件を回避することができる。
【0003】
トリックプレイ機能は、MPEG符号化されたビデオ信号にとってはあまり容易には提供されない。それは、ピクチャを様々な圧縮の程度(degree)を有するグループの形で形成するという圧縮についての階層的な性質のためである。これらのグループは、グループ・オブ・ピクチャ、すなわちGOPと名付けられており、順序どおりに復号する必要がある。MPEG2標準に関する詳細な記述はISO/IEC Standard 13818−2として出版されている。しかし、簡単な言い方をすると、MPEG2信号ストリームは、内容が様々な程度で圧縮されている3つのタイプのピクチャを含んでいる。イントラコード化したフレーム(intra-coded frame)、すなわちIフレームは、これら3つのタイプのうち最も圧縮が小さく、他のいかなるフレームを参照することなく復号される。予測フレーム、すなわちPフレームは、先行するIフレームまたはPフレームを参照して圧縮され、またイントラコード化したフレームと比べて達成される圧縮の程度がより大きい。第3のタイプのMPEGフレームは、双方向符号化フレーム、すなわちBフレームと呼ばれるもので、先行するフレームまたは後続のフレームのいずれかからの予測に基づいて圧縮される。この双方向符号化フレームは最大の圧縮の程度を有する。これら3つのタイプのMPEGフレームは、グループ・オブ・ピクチャ、すなわちGOP内に配置される。他のいかなるフレームに対する参照なしに復号可能であるのはイントラコード化フレームのみであるため、各GOPはIフレームの復号に続いてのみ復号される。第1の予測フレーム、すなわちPフレームは、格納されている、先行するIフレームに対する修正に基づいて復号しかつ格納される。後続するPフレームは、格納されている、先行するPフレームから予測される。最後に、双方向符号化フレーム、すなわちBフレームは、先行するフレームおよび/または後続のフレームから、例えば、格納されているIフレームおよびPフレームから予測を用いて復号される。MPEGのグループ・オブ・ピクチャを含む符号化したフレームの階層的な性質は、ピクチャの各グループ、すなわち各GOPはピクチャのシーケンスに沿った正方向で復号されることを必要とする。したがって、逆方向プレイバックモードは、より前の先行するIピクチャを変換するようにジャンプし、次いで正方向に進み、そのGOPを終わりまで復号することによって、提供することができる。これらの復号されたフレームはすべて、フレームバッファメモリに格納される。このフレームバッファメモリは逆方向プログラム・モーション(動き)を達成させるために、復号した順とは逆の順序で読み出される。このため、逆方向プレイバックは容易となるが、ピクチャの各グループからの圧縮解除されたビデオピクチャを格納するために必要となるフレームバッファメモリの数のために生じるコストの不利益を伴う。
【0004】
(発明の概要)
ディスク媒体からのMPEG信号のトリックプレイ・モードによる再生は、復号済みピクチャのメモリサイズを増加させることなしに実現することができる。このピクチャメモリは、プレイモードではフレーム・ストレージ(記憶)としてシステム構成され、一方トリックモードに対してはフィールドを格納するように配置される。トリックプレイ・モードにおけるピクチャの予測は、格納されたフィールドから導出される、したがって動きベクトルはこれに応じて修正する必要がある。動きベクトルは、符号化されたピクチャ・タイプまたは隣接するブロックの類似性に応じて、適合させた修正または置換がなされる。ディスク媒体は、通常のモードおよびトリックプレイ・モードの間に使用するための動きベクトルを含むことがある。別法として、ディスクは格納されているフィールドと同一の単一フィールドを指すように制約された動きベクトルを含むことがある。
【0005】
本発明の構成によれば、装置は、媒体から、デジタル符号化信号を再生(reproduce)し、各グループが特定のピクチャを含む複数のグループ・オブ・ピクチャを処理する。この装置は複数のグループ・オブ・ピクチャを復号して特定のピクチャを形成するための復号手段を備えている。メモリ手段がこの復号手段に結合され、特定のピクチャを格納する。ユーザのコマンドに応答し、このメモリ手段に制御可能に結合された制御手段を備えており、第1のユーザ選択に応じて、この制御手段はメモリ手段に特定のピクチャのフレームを格納するように制御し、かつ第2のユーザ選択に応じて、この制御手段にはメモリ手段に特定のピクチャの1つのフィールドのみを格納するように制御する。
【0006】
本発明の別の構成によれば、装置はデジタル符号化信号を媒体から再生(reproduce)する。この装置はデジタル符号化信号のソースを備える。この信号はピクチャが処理されてデジタル符号化されたブロックからなる複数のグループを表し、この複数のグループの各グループは少なくとも1つのイントラコード化ピクチャおよび少なくとも1つの前方予測ピクチャおよび動き補償データを含む。デコーダ(復号器)がそのソースに結合され、その少なくとも1つのイントラコード化ピクチャを復号する。プロセッサが復号手段に結合され、デジタル符号化されブロック処理済みのイントラコード化ピクチャのブロックを処理し、ピクチャ中に表された空間周波数成分の値を決定する。本発明の別の構成によれば、装置は、媒体からイントラコード化ピクチャおよび予測符号化ピクチャを含む複数のグループ・オブ・ピクチャを表すデジタル符号化信号を再生するこの複数のグループの各グループは。この装置は、その媒体に結合された復号手段を備えて、このデジタル符号化信号を復号しイントラコード化ピクチャおよび予測符号化ピクチャを形成する。メモリ手段がこのデコーダに結合され、イントラコード化ピクチャのトップ・フィールドおよびボトム・フィールドのうちのただ1つのフィールドを格納する。制御手段がこの復号手段およびメモリ手段に結合され、予測符号化ピクチャに対応する動きベクトルとこのトップ・フィールドあるいはボトム・フィールドのうちのただ1つと組み合わせに応動して予測符号化ピクチャの予測を制御する。不適当な組み合わせ応じて、この制御手段は、トップ・フィールドおよびボトム・フィールドのうちのこのただ1つのフィールドのみから生じるように予測を修正する。
【0007】
本発明の別の構成では、記憶媒体(storage medium)には、正方向および逆方向用のパケット化されデジタル符号化された画像を表す信号が記録される。このデジタル符号化信号は、複数のグループ・オブ・ピクチャを備えており、この複数のグループのうちの1つのグループは少なくとも1つのイントラコード化ピクチャおよび予測ピクチャを含む。イントラコード化ピクチャ・タイプおよび1つの予測ピクチャ・タイプはそれぞれ、トップおよびボトム・フィールドを備えている。予測ピクチャ・タイプは、正方向で復号するための第1の動きベクトルを有し、また逆方向で復号するための第2の動きベクトルを有する。本発明の別の構成では、記憶媒体には、正方向および逆方向用のパケット化されデジタル符号化された画像を表す信号が記録される。デジタル符号化信号は、複数のグループ・オブ・ピクチャを備えており、前記複数のグループのうちの1つのグループは少なくとも1つのイントラコード化ピクチャおよび1つの予測ピクチャを含む。イントラコード化ピクチャおよび予測ピクチャは、トップ・フィールドおよびボトム・フィールドを備えている。デジタル符号化信号は、トップおよびボトム・フィールドのうちの予め定めたただ1つのフィールドから予測ピクチャを構成するための動きベクトルを備えている。
【0008】
(詳細な説明)
MPEG2信号は、グループ・オブ・ピクチャ、すなわちGOP内に3つのタイプのピクチャが配置されるように構成されることがある。ピクチャのグループは、例えば、図1Aに示すように配置した12枚のフレームを含むことがある。Iで表されるイントラコード化したフレームは、他のいかなるフレームを参照することなしに復号することができる、またグループ・オブ・ピクチャの各々は、Iフレームに対する復号に続いてのみ復号することができる。第1の予測フレーム、すなわちPフレームは、格納されている、先行するIフレームに対する修正に基づいて復号しかつ格納することができる。後続するPフレームは、格納されている先行するPフレームからの予測に基づいて構成させることができる。Pフレームに対する予測は、図1Aにおいては、先端を矢印とした湾曲した実線で表す。最後に、双方向符号化フレーム、すなわちBフレームは、先行するフレームおよび/または後続のフレーム、例えば、格納されているIフレームおよびPフレームからの予測を用いて復号することができる。隣接する格納されているフレームからの予測によるBフレームの復号は、図1Aにおいては、先端を矢印とした湾曲した点線で表す。
【0009】
MPEGのグループ・オブ・ピクチャを含む符号化したフレームの階層的な性質は、グループ・オブ・ピクチャ、すなわちGOPの各々は正方向で復号されることを必要とする。したがって、逆方向プレイバックモードは、より前の先行するIフレームまで事実上ジャンプ・バックし、次いでそのGOPを最後まで正方向で復号することによって、提供することができる。復号されたフレームはフレームバッファメモリに格納し、所望の逆方向プログラムシーケンスを達成させるために復号した順とは逆の順序で読み出される。
【0010】
図1Bでは、通常の再生速度で正方向の再生を、先端を矢印とした真っ直ぐな破線で表す。時刻t0の前のある時刻では、逆方向3倍速度、トリックプレイ・モードが選択され、そしてある時刻t0において開始され、ここでI−フレームI(25)を復号し表示する。上述したように、逆方向トリックプレイの復号のために必要な次のフレームはI−フレームI(13)であり、したがって、矢印J1で示すように、フレームI(13)を取得するためにトランスデューサ(transducer)が移動する。次いで、図1Bで矢印J1により示したI(13)を取得するシーケンスに続いて、信号のリカバリーおよび復号が行われ、J2でP(16)を取得し、J3でP(19)を、J4でP(22)...Jnと続く。
【0011】
図2は、図1Bで表したフレームを復号し、格納しかつ出力するためのシーケンスを図示したものである。このシーケンスにより、使用するフレームバッファの数に関する制約無しに、3倍の再生速度での逆方向の再生が容易となる。上述したように、各GOP内に存在する符号化された関係により、グループ・オブ・ピクチャの各々はI−フレーム、すなわちIピクチャで始まる正方向で復号される必要がある。したがって、より前の先行するIフレームまで事実上ジャンプバックし、次いでそのGOPを最後まで正方向で復号することによって、逆方向モード機能を提供することができる。復号されたフレームは、逆の順序での連続読出しのためにフレームバッファメモリに格納される。図2では、このシーケンスは、STARTブロックで開始され、正方向プレイモードの状態でブロック100で開始される。ブロック100において正方向プレイモード用の復号および出力信号の生成はチャート化していない。ブロック200において、逆方向3倍再生速度モードが選択され、これに続いて、ブロック210において、イントラコード化ピクチャI(N)が復号される。復号されたピクチャI(N)は、ブロック310において、フレームバッファ内に格納され、このピクチャは、ブロック380において、例えばNTSCまたはPALなどの標準出力信号を発生させるのに適したレートで読み出される。ピクチャI(N)の復号に続いて、ブロック220において、次の先行するピクチャI(N−1)が取得され、かつ復号され、さらにブロック320において第2のフレームバッファ内に格納される。出力信号生成は、復号および格納のシーケンスとは本質的に独立したブロック381に進み、ブロック310において格納されたピクチャI(N)が繰り返される。ピクチャI(N−1)の復号に続いて、GOP Bの第1のPピクチャP(N−3)がブロック230において復号され、ブロック330において第3のフレームバッファ内に格納される。出力信号生成はブロック382に進み、ブロック310において格納したピクチャI(N)を繰り返す。ブロック230における復号に続いて、GOP Bの第2のPピクチャP(N−2)がブロック240において復号され、さらにブロック340において第4のフレームバッファ内に格納される。第3のPピクチャP(N−1)は、ブロック250において復号され、ブロック350において第5のフレームバッファ内に格納される。
【0012】
GOB Bの復号および格納が完了したら、逆方向のシーン・モーション(scene motion)の描写がブロック383において開始され、フレームバッファブロック350からPピクチャP(N−1)が出力される。次の出力ピクチャP(N−2)は、フレームバッファブロック340から読み取られ、ブロック384において出力される。同時に、GOP Aの次の先行するIピクチャI(N−2)が、ブロック260において取得されかつ復号され、ブロック360において格納される。多分、ピクチャI(N−2)は第1のフレームバッファ(ブロック310)内に格納することができる。それは、フレームI(N)はすでに表示されており、もはや必要がないからである。ブロック260に続いて、PピクチャP(N−6)がブロック270において復号され、さらに、フレームバッファブロック370内に格納される。フレームバッファブロック370は、例えば第5バッファとすることができる出力ブロック385において、次のピクチャP(N−3)がフレームバッファブロック330から読み取られ、さらに出力される。GOP Bの逆方向の描写は、ブロック386において出力されるブロック320からのピクチャI(N−1)により終了する。次の出力ピクチャP(N−4)はGOP Aから導入され、さらにブロック387において出力される。GOP Aの復号および格納は、独立して進行され(先端が矢印となった破線で示す)、出力ピクチャを循環式に繰り返して構成するのと同時に進行されることは明らかである。
【0013】
例示的な図2の逆方向再生シーケンスは、5つのフレームバッファ(ブロック310〜350)を使用して3倍の再生速度での逆方向再生を達成するように図示している。しかし、逆方向再生を容易にするだけのメモリ容量を提供することは、不必要な製造コストをもたらすことがあり、このコストは2つのフレームバッファメモリを利用する本発明による様々な配置により都合良く回避され。
【0014】
図3に、簡略式のデジタルビデオディスクプレーヤが、時間的な生起(temporal occurrence)を異ならせていることを示す機能区画(partitioning)、およびプレーヤ内に存在すると見なされるデータ受け渡しとともに示されている。機能ブロック1は、ディスクと、光学式ピックアップと、駆動メカニズムと、ディスクおよび光学式ピックアップサーボシステムと、再生信号処理システムとを含む。機能ブロック2は、MPEGデコーダと、メカニカルバッファと、フレームメモリとを含む。メカニカルバッファ、すなわちトラックバッファは、プレーヤのフロントエンドのディスク・メカニズムから処理された変換されたデータ信号に対するバッファ記憶(buffer storage)を提供するためのデジタルメモリである。したがって、MPEGデコーダは、公称速度より大きな速度で回転するディスクからより大きなデータ受け渡しレートで間欠的にデータを受けることから一時的に結合が解除される。上述したように、MPEGの復号は、制御ブロックの要求に応じて書込みおよび読取りを受けるフレームバッファメモリにより容易となる。DVDプレーヤでは、例えば、NTSCまたはPALで符号化された出力信号を発生させることが必要となることがあり、これはフレームバッファメモリの循環的読取り(機能ブロック3)によって容易となる。したがって、例示的なNTSC出力ピクチャは、図2のブロック380〜389で示すようなフレームバッファメモリを繰り返し読み出すことによって構成することができる。図3に示す簡略化した区画分け(partitioning)では、DVD再生の間に生じる、間欠的で、一時的な切り離された動作(intermittent and temporally separate operation)を図示している。
【0015】
図4は、デジタルビデオディスクプレーヤの例示的なブロック図を表したものである。ブロック10は、デジタルで記録されたディスク14を収容し、モータ12によって回転させることができるデッキを表したものである。デジタル信号は、それぞれの長さがそれぞれの信号データビットに応じて8/16変調符号化により決定されたそれぞれのピット長のピット含む螺旋状のトラックとしてディスク14上に記録される。ディスク14上の記録は、反射したレーザ光を集めるピックアップ15により読み取られる。この反射したレーザ光は光検出器または光学ピックアップデバイスにより収集される。ピックアップ15の一部を形成しているイメージングデバイス、例えばレンズやミラーは、サーボ制御され、モータ11による駆動を受けて記録されたトラックを追跡する。イメージングデバイスを迅速に位置決めし直すことにより、この記録の様々な部分にアクセスすることができる。サーボ制御されるモータ11および12は、集積回路駆動増幅器20により駆動されている。ピックアップ15は光前置増幅器、ブロック30に結合されており、この光前置増幅器はレーザ照射装置用の駆動回路を含む。前置増幅器は、光学ピックアップデバイスからの反射信号出力に対して増幅および等化を提供することができる。光前置増幅器30からの増幅されかつ等化された再生信号は、チャネルプロセッサブロック40に結合されており、このブロック40においてこの再生信号を利用して、記録用に利用された8/16変調コードを復調させるのに使用される位相ロックループの同期をとる。復調させた再生データは、8/16変調および記録の前にデータとともに包含されていたリードソロモン積符号化によってエラー訂正される。したがって、エラー訂正されたデータ信号ビットストリームは、1つのビットストリーム、トラック、すなわちメカニカルバッファメモリ60Aに結合されている。バッファメモリ60Aを使用することにより、復号されるときに、イメージングデバイス15のディスク14上での位置変更の間のデータ喪失が視認不可能とするに十分なデータを格納することができる。したがって、バッファメモリ60Aによって、観察者は最終の出力画像ストリームが連続している、すなわち中断が無くシームレスであると認識することができる。ビットストリームバッファメモリ60Aは、例えば、16メガバイトの容量を有するなどの大きなメモリブロックの一部を形成することがある。こうした例示的な16メガバイトメモリブロックは、例えばさらにパーティション分けし、2つの復号された画像フレームに対するストレージ(storage)を提供するフレームバッファ60Cおよび60Dを形成することができる。復号に先だって、圧縮したビデオビットストリームをバッファ60B内に格納し、さらにオーディオビットストリームおよびその他のデータをそれぞれバッファ60Eおよび60Fに格納することができる。さらに、チャネルプロセッサ(40)によりビットストリームバッファ60Aの読出しおよび書込みを制御できる。データは、例えば、トリックプレイ動作、「Directors cut」などのユーザ定義による再生ビデオ成分、保護者ガイダンス(parental guidance)の選択、さらにはユーザ選択可能な代替的なショットアングル(shot angles)に起因する再生トラックアドレスの変更の結果として、間欠的にビットストリームバッファに書き込むことができる。より迅速なアクセスおよび記録された信号のリカバリーを容易にするために、ディスク14は速度を高めて回転させることができ、これにより変換されたビットストリームは間欠的となり、かつビットレートがより大きくなる。このハイ・スピードの間欠的に受け渡されるビットストリームは、バッファ60Aに対する書き込み、ならびにより低い一定のレートでのMPEG復号に備えた読出しによって、事実上スムージングされる。
【0016】
さらに、チャネルプロセッサブロック40は、ブロック50で表すサーボ制御集積回路に結合されており、このサーボ制御集積回路は、サーボモータ11および12に対して駆動および制御信号を提供する。モータ12はディスク14を回転させ、またサーボ制御による複数の速度での回転を提供できる。光ピックアップブロック15の位置決めは、モータ11によってサーボ制御され、モータ11はさらに、ディスク表面上の別のトラック位置に迅速に位置変更、すなわちジャンプできるように制御することができる。
【0017】
デジタルビデオディスクプレーヤは、ブロック500の要素510である中央処理ユニット、すなわちCPUによって制御されており、CPUは再生されたビットストリームおよびチャネルIC40からのエラーフラグを受け入れ、サーボIC50に対し制御命令を与える。さらに、CPU510はユーザインタフェース90からユーザの制御コマンドを受け入れ、ブロック500のMPEGデコーダ要素530からMPEGデコーダ制御機能を受け入れる。システムバッファブロック80はCPU510によりアドレスされ、CPU510に対してデータを提供する。例えば、バッファ80はRAMメモリ位置とPROMメモリ位置の双方を備えることができる。RAMを使用してデスクランブル情報または暗号情報、ビットストリームおよびフレームバッファメモリ管理データ、ならびに再生されたビットストリームから抽出したナビゲーションデータを格納することができる。PROMは、例えば、正方向および逆方向の速度選択におけるトリックプレイ用のピックアップジャンプアルゴリズムを含むことがある。
【0018】
MPEGで符号化されたビットストリームは、符号化されたビットストリームからオーディオ、ビデオおよび制御情報を分離させるような分離またはデマルチプレクス(多重分離)のためにCPU510から結合されている。このデマルチプレクス動作はハードウェア内またはCPU510により制御されているソフトウェアによって実行させることができる。分離された圧縮ビデオビットはビットバッファ60B内に格納され、また分離された圧縮オーディオビットはバッファ60E内に格納される。グループ・オブ・ピクチャの各々からのいくつかの復号されたフレームは、各GOPの他のフレームを導出する際に引き続き使用するためにフレームバッファ60Cおよび60Dに書き込まれる。フレームバッファ60Cおよび60Dはビデオフレーム2つ分の記憶容量を有し、トリックプレイ動作の間に4つのピクチャからのフィールドを格納するために都合良くアドレス付けされる。これについてはより完全に以降で記載する。分離されたオーディオパケットは、ブロック110でのオーディオ復号のために読み出され、かつ結合されているバッファ60E内に格納される。MPEGまたはAC3オーディオ復号に続いて、デジタル化されたオーディオ信号が得られる、この信号はデジタル対アナログ変換および様々なベースバンドオーディオ信号出力の発生を行うためにオーディオポストプロセッサ130に結合される。デジタルビデオ出力はデコーダ100から、デジタル対アナログ変換を提供し、ベースバンドビデオ成分および符号化されたビデオ信号を発生させるエンコーダ120に結合されている。
【0019】
図3に示すバッファメモリの要件を回避するために、本発明の方法によるフレームバッファ・アロケーションが利用されており、これを図4および5を参照しながら記載する。図5では、フレームバッファ60Cおよび60Dは、正方向プレイモードでのIピクチャおよびPピクチャのフレーム記憶および表示能力を提供できるように都合良く制御でき、逆方向トリックプレイ・モードに対しては4種類の復号されたピクチャから単一のフィールドを記憶できるようにシステム構成することができる。したがって、フレームバッファをフィールドメモリとしてアドレス付けすることにより、復号されたピクチャを格納できる数が2倍になる。図5では、フレームバッファ60Cおよび60Dをプレイモードフレームバッファ1および2として表しており、例示的なラスタ線からなる部分的なアレイで図示している。逆方向トリックプレイ動作の間は、この例示的なラスタ線は交互にアドレス付けされ、4つの復号されたピクチャから単一のフィールドを格納することができる。例示的な第1の、すなわちトップ・フィールドは、斜め線で陰影付けして表しており、例示的な第2の、すなわちボトム・フィールドは陰影付け無しで表す。4つのフィールドを格納できるようにするためのフレームバッファ60Bおよび60Cのシステム構成更では、同じフレームバッファ内に格納される他のフィールドに影響を及ぼさずに、メモリの個々のフィールドを書き込める能力が前提となる。別法として、フレームバッファ1および2は、4種類の復号されたピクチャから2つのフレームまたは個別のフィールドのいずれかのストレージ(storage)提供するように制御を受けるアドレス付けを備えたランダムアクセスメモリのブロックによって容易とすることができる。トリックプレイ動作中に、フレームではなくフィールドのストレージを提供するこの都合良い制御は、復号されたピクチャに減少した垂直空間解像度をもたらす。
【0020】
フレームではなく復号されたフィールドを格納するため、ある種のエンコーディング予測では、疑似ピクチャ生成を回避するために、予測ソースの方向に向いている動きベクトルを修正する、すなわち変更する必要がある場合がある。こうした疑似ピクチャ、すなわちエラー・ピクチャ生成は、動きベクトルの指示先が、4つのフィールドバッファのうちの1つに格納するように選択されなかった先行する予測ソース、例えばフィールド、である場合に起こることがある。こうしたエラー・ピクチャが生じる原因は、動きベクトルアドレスに格納された情報が、エンコーディングの間にプレディクタ(predictor)として選択された情報から遠く時間的に離れたフィールドからのものだからである。例えば、図5Bは、出力フィールド4〜10の期間中にそれぞれのコンテンツをもつフィールドメモリ1、2、3および4を表したものであり、また、エラー・ピクチャ形成は図7を参照して検討することができる。出力フィールド期間4の間では、ピクチャP(19)がピクチャP(16)の単一のフィールドから導出される予測を用いて復号され、フィールドバッファ2内に格納されることになる。しかし、ピクチャP(19)のピクチャP(16)からの形成を記載するMPEGエンコーディングの間に構成される動きベクトルは、格納されていない、廃棄されたP(16)のフィールドを指示していることがある。ピクチャP(16)の単一のフィールドはピクチャI(25)の単一のフィールドに隣接して格納されているため、動きベクトルが誤って遠く時間的に離れたピクチャのフィールドを指示することを回避するように修正する必要がある。
【0021】
動きベクトルの修正の必要性は、動きベクトルのフラグ、motion_vertical_field_select(動き垂直フィールド選択)が予め定めて格納されたフィールド・タイプ、例えばトップ・フィールドまたはボトム・フィールドとの組合わせまたは類似(matching or parity)をテストするMPEGデコーダ内で決定される。ベクトルが指しているフィールドと格納されている予測フィールドが不一致である場合には、動きベクトルは修正される。第1の修正方法(1)では、例示システムは、格納のためにボトム・フィールドのみが選択され、現行のマクロブロックはフレーム予測を使用するものと仮定している。動きベクトルは2つの成分xおよびyで表される、ここでxは水平方向の値またyは垂直方向の値である。各動きベクトルは12ビットの最大値を有する。不一致を防ぐために、MVの垂直成分yは、ビット0、すなわちLSBおよびビット1をゼロに設定することにより変化させる。ビット0をゼロに設定した結果、1/2のピクセル垂直内挿オフセットが削除される。ビット1をゼロに設定することにより、復号中のmacro_blockのボトム・フィールドが、格納されている、例示的なボトムの予測フィールドから、符号化された際の定義付けの如何によらず確実に予測されるようにする。
【0022】
ボトム・フィールドのみを格納する例示的なシステムにおいて、現行のマクロブロックがフィールド予測を利用しており、フラグmotion_vertical_field_select=0である場合には、トップ・フィールドから予測が導出される。したがって、ボトム・フィールドから予測を導出するには、motion_vertical_field_select=1となるようにフラグをリセットする必要がある。この場合、動きベクトルは現在のまま使用することがある。
【0023】
第2の方法(2)は、格納されている予測フィールド(predictor field)と動きベクトルが指示するフィールドとが不一致を起こす場合に、この例示的なシステムで使用することができる。この第2の方法では、予測の各ラインがメモリからの読取りに従って繰り返されるように、プレディクタ・メモリ(predictor memory)の読取りアドレスを修正する。
【0024】
動きベクトルは、動きベクトルの水平成分xおよび垂直成分yの算術的スケーリングを利用する第3の方法(3)で修正することができる。図5Cは、ピクチャ4のボトム・フィールド内で、マクロブロックMB4が動きベクトル(x4,y4)を使用して復号を受け、ピクチャ1の格納されたボトム・フィールドからの予測により復号する必要があるような一連のピクチャを図示したものである。マクロブロックMB4がフィールド予測され、かつフラグmotion_vertical_field_select=0であって、トップ・フィールドからの予測であることが指示されている場合には、ピクチャ1のボトム・フィールドのみが格納されていることから、その動きベクトルは修正されねばならない。修正された動きベクトルは、ボトム・フィールドを予測するために、それぞれのフィールドの間の時間差に比例したスケーリングによって計算される。このスケーリング方法は、フィールド間の画像の動きが直線的であったとの前提に基づく。スケーリング計算は、(x,y)を伝達される動きベクトルとし、(x′,y′)を修正された値として、次式により行うことができる。
【0025】
【数1】
Figure 0004191385
【0026】
【数2】
Figure 0004191385
【0027】
例えば、図5Cでは、現在のフィールドと予測フィールドの間に2つのBフレームが存在しており、このため、
【0028】
【数3】
Figure 0004191385
【0029】
MV(x′,y′)を生成するために伝達された動きベクトルをスケーリングし終わったら、フラグmotion_vertical_field_selectは1に設定される。例示的なマクロブロックMB4がすでにフレーム予測されており、方法(1)がより実施が簡単である場合には、トップ・フィールドまたはボトム・フィールドからの予測の間に時間差が存在しないため、得られる画像において視認可能な画像欠陥を実質的になくすことができる。
【0030】
第4の方法(4)では、例示的なマクロブロックMB4に対する動きベクトル(x4,y4)は、ある種の制約を条件として、現在復号しているフィールドの先行するマクロブロックからのMVでの置換によって変更される。図5Dは、例示的なマクロブロックMB4と隣接するマクロブロックを図示したものである。例示的なマクロブロックMB4に対してフィールド予測が使用されており、MB4を構成する動きベクトルが前のトップ・フィールドを指示している場合で、MB2が動き補償を使用して符号化されていればマクロブロックMB2からの動きベクトルを用いることができる。しかし、マクロブロックMB2がフレーム予測されている場合、その垂直動きベクトル成分は2で割る必要がある。さらに、マクロブロックMB2がフィールド予測されたものであれば、マクロブロックMB2のボトム・フィールドが前のフレームのボトム・フィールドから予測されたものである場合のみ、その動きベクトルを使用することができる。さらに、動き補償を使用して符号化されている場合、マクロブロックMB3によりマクロブロックMB4に対する代わりの動きベクトルが提供される。したがって、MV置換が許容されている場合には、フラグmotion_vertical_field_selectは1に設定される。現在のピクチャ内での動きベクトル修正に関するこれらの置換方法は、計算の実施が単純であり、また、シミュレーションにより低い空間周波数成分をもつシーン部分でのブロック歪みの視認性を低下させるのに有用であることが示されている。
【0031】
動きベクトルに対する修正の必要性は、格納された予測フィールド(predictor field)と動きベクトルによって指示されるフィールドとの比較によって、上述のようにして容易に決定できる。しかし、使用される修正方法の間での決定、すなわち選択は、再生の間にmacro_blockベースに適応して容易になされる。MV修正方法に関するこうした適応した決定は、MPEGビットストリーム内のヘッダのステータスをモニタすることにより得られる。例えば、素材源(material origin)のインジケータは、シーケンスヘッダ内に存在するframe_rate_valueから得ることができる。例えば、24fpsというフレームレートは、素材(material)がフィルムに由来するものであることを示している。したがってフィルム起源であることとフレームに基づく予測であるならば、第1の方法(1)を利用してほとんど視認可能な欠陥から大きくかけ離れた画像を生成することができる。こうしたほとんどエラーのないパフォーマンスが得られる理由は、修正した動きベクトルが現在誤ったフィールド、すなわち、トップ・フィールドの場合とボトム・フィールドの場合があるが、に向いていても、実際のオブジェクト、または構成しようとする画像要素はラスタラインピッチまたはこれ未満の値だけ空間的に位置がずれていてもよいからである。例えば、図5Cのピクチャ1では、時間枠t1の間で、macro_block MB1がフィルムから導出されている場合、トップおよびボトム・フィールドの双方ともが、単一の一時的なイベントの結果により得られる1つの共通の画像から導出されたものであるため、時間枠t2の間の位置は、ラスタラインピッチまたはこれ未満を単位として変更されている。したがって、フィールド間の動きに起因する画像の置き換えは存在しない。
【0032】
MV修正の別の適応制御インジケータとして、MPEGビデオビットストリームのsequence_header内に配置されたsequence_extensionを利用することができる。sequence_extensionは、フラグが1に設定された場合に元のソース・マテリアルが順次走査されたことを示すようなprogressive_sequenceフラグを含む。したがって、順次走査される画像ソースのこの符号化されたインジケータは、動きベクトル修正に対して方法1または2を選択することに利用できる。しかし、インターレースされた画像ソースの検出、すなわち0に設定されたprogressive_sequenceフラグの検出により、指令することができる修正の選択を方法3または方法4になるように指令することができる。例えば、図5Cのピクチャ1では、時間間隔t1の間で、MB1により位置特定されたmacro_blockがテレビカメラから導出されたものである場合、時間間隔t2においてその位置は、MB2により位置特定された新たな位置までの動きを示す矢印で示すように、ラスタラインピッチと比べてかなり大きな値だけ変更されていることがある。TVカメラ、特にCCDイメージャ付きのカメラでは、トップおよびボトム・フィールドは別々に露光され、恐らく1フィールド未満の露光期間を有する可能性が高く、このためシーン内の任意の動きがトップおよびボトム・フィールドの間で目に見えて異なるようになることが保証される。
【0033】
方法1および2は実施が簡単であり、例えば、空などの低い空間周波数コンテンツのシーン・エリア内で、恐らく最も有用であろう。方法4は修正の最も簡単な形態のように見えるが、隣接するmacro_blockが同様のイメージ・コンテンツを含むときに、視認可能な欠陥の排除が達成できる。さらに方法4は隣接するmacro_blockタイプの評価に続いてのみ利用可能である。方法3は他の方法と比較して計算がより複雑であるが、シミュレーションの結果により、方法4と比較して中程度から高い空間周波数コンテンツをもつシーン上での視認可能な予測エラーがより少ないことが示されている。
【0034】
適応制御のための別の方法では、ある対応するmacro_blockに隣り合う、すなわち隣接する対応するmacro_blockまたは複数のmacro_block内が同様の成分であることに基づくことがある。動きベクトル修正の適応される選択は、イントラコード化ピクチャの各macro_block内で離散コサイン変換係数により表される空間周波数成分のクラス分けにより導出することができる。例えば、図5Dのmacro_blockであるMB2およびMB3に対しては、各macro_block内で水平方向、垂直方向および斜め方向に生じるエネルギーを表す係数をグループ分けすることにより、空間周波数成分の解析をすることができる。平均高周波数成分が各方向に対して計算され、同様に各方向に対する最小値対最大値が計算される。平均高周波数成分の値を用いてmacro_blockを、空間周波数の高い成分および低い成分を表すグループに分離することができる。高い成分のグループはさらに、テクスチャのmacro_blockまたはエッジのmacro_blockのいずれかを形成するようにクラス分けされる。例えば、あるテクスチャのタイプ、すなわち第2のタイプのmacro_blockは、高周波数成分を豊富に供給する格子パターンまたは繰り返しパターンの画像を表すことがある。エッジのタイプ、すなわち第3のタイプのmacro_blockは、高い空間周波数成分をかなり有するが、この成分はエッジの遷移を含む画像を表しているので、それゆえ1つのブロックの方向以外の複数のブロック方向には存在することはない。クラス分けは、算出した平均パラメータ値のしきい値に対する比較により実行させることができる。例えば、macro_blockは、各方向に対する平均高周波数成分があらかじめ決定したしきい値未満である場合には平滑なタイプ、すなわち第1のタイプにクラス分けすることができる。テクスチャのタイプ、すなわち第2のタイプのmacro_blockは、各方向に対する平均高周波数コンテンツがあらかじめ決定したしきい値を超え、各方向の最小成分値はあらかじめ決定した第2の値より大きく、また各方向の最小成分値の最大成分値に対する比は第3のしきい値を超える場合に特定されることができる。平滑およびテクスチャのいずれにもクラス分けされないmacro_blockは、エッジ・タイプ、すなわち第3のタイプのmacro_blockとして特定することができる。
【0035】
図6は、各macro_blockの空間周波数成分を特徴付けるための1つの方法を表す例示的なフローチャートである。図6では、並列処理演算によってDCT係数の値を上述したように解析する方法を表す。しかし、こうした処理は、ブロック・タイプのクラス分けに先だって一時的に格納された各方向の解析の結果を用いて、逐次方式でうまく実行することができる。上述したように、ステップ215、255および275でのしきい値処理の結果はステップ220、260および280のそれぞれにおいて結合させ、macro_blockクラス分けタイプを生成させ、次いでこのタイプは、動きベクトル修正方法の選択を適応的に決定する引き続く使用のために格納される。例えば、目標とする、すなわち現在の復号中のmacro_blockに隣接する予測フィールド(predictor field)のmacro_block、例えば、図5DのMB2、MB3のいずれかが平滑であるとクラス分けされる場合には、MV修正方法1または4を利用することができる。隣接するmacro_blockがエッジブロックであるとクラス分けされる場合には、方法1、2または3を選択することができる。隣接するブロックがテクスチャにクラス分けされると、方法1または2のいずれかが選択されることになる。
【0036】
MPEGエンコーディングの間に、動きベクトルは時間的に直近のIまたはPアンカーピクチャから導出することができる。図5CのP−ピクチャ4内のmacro_block MB4を考えると、予測はI−ピクチャ1から導出されることになる。I−ピクチャ1がフィルム上に起源をもつ場合には、時刻t1および時刻t2において生じる画像またはフィールドからの予測の差はほとんどない。しかし、原ピクチャのソースがインターレース式のCCDカメラである場合には、時刻t1と時刻t2におけるフィールド間にはかなりの差が存在する。したがって、マクロブロックMB4を参照すると、ボトムフィールドピクチャは、時刻t8において生じるピクチャ4に、例えば、概ね1/60秒だけ時間的に接近しているため、エンコーダ予測は、統計的には、時刻t2のピクチャ1から導出される可能性が大きい。さらに、ピクチャ1の時刻t1とt2の間で動きが生じて捕捉されることがあるため、時刻t2の間に生じるピクチャは一致の確率がより大きいか、またはマクロブロックMB4の取りだし元としてより相応しいベースを提供できる。したがって、デコーダメモリのサイズが単一のフィールド・プレディクタ(predictor)のみを格納するように制約されている場合には、以上の検討に鑑みて、格納用としてボトム・フィールドを選択することは、符号化された動きベクトルが先行するボトム・フィールドから導出される確率をより大きくできる。例えば、マクロブロックMB4は、時刻t1よりも時刻t2でのピクチャ1から予測される確率がより大きい。したがって、格納用としてボトム・フィールドのみを選択することは、単一のフィールドをプレディクタ(predictor)として格納するときに、動きベクトルの値を修正する必要を、大きく減少させ、あるいはほとんど不要とする。
【0037】
別の方法では、トリックモードでの疑似ピクチャの復号は、トリックモード再生を容易とするようにディスクを都合良く符号化することによって、回避することができる。例えば、MPEGエンコーディングの間に、動きベクトル生成を1つのフィールドのみ、すなわちトリックプレイ動作中に格納される単一のフィールドに制約することができる。動きベクトル生成に対するこうしたエンコーディングの制約は、同じフィールドを格納せねばならないというデコーダに関する同様の制約を必要とすることは明らかである。動きベクトル生成をフィルム起源のマテリアル(素材)の単一のフィールドに制約することは、例えばディスク上のプログラム時間の減少で表されるような、圧縮効率を低下させる結果になることはない。しかし、TVに起源を有するマテリアルでは、インターレースされたフィールド同士の間にかなりの動きが存在することがあるため、動きベクトル生成に対するこうした単一フィールドの制約は、圧縮効率を低下させることになるので1ディスクあたりいくらかのプログラム時間(program length)が失われることになる。プログラム時間の消失または圧縮効率の低下は、トリックプレイ動作中の使用に限定して、動きベクトルの組を別々に符号化することにより都合良く回避できる。この余分に、すなわち冗長に符号化されたデータは、ディスク領域を必要とする、しかしながら、これらのトリックプレイ動きベクトルは通常の再生速度と比べてより大きな時間レートでの復号を可能とするため、これらは比例して小さなデータ量を表す。例えば、3倍の再生速度では、トリックプレイ動きベクトルの数は、再生速度の動作の場合の少なくとも3分の1である。さらに、上述したように、こうしたトリックプレイ動きベクトルはエンコーダが格納していないフィールドからの予測を選択した場合のみに生成されることになる、したがって冗長に記録されることになるデータ量はさらに減少する。さらに、3倍速度のトリックプレイ動きベクトルは別のトリックプレイ速度、例えば6倍速度で利用できるので有利である。
【0038】
1フィールドの期間中に1つのフレーム全体を復号するのに十分な処理速度を有するようなMPEG信号ストリーム用デコーダはすでに提案されている。さらにこうしたデコーダは、2つのフレームバッファのみを利用して、正方向で、例えば、通常の再生速度での復号を容易にしている。こうしたデコーダでは、2つの基準ピクチャ、すなわちフレーム、例えばIまたはP、が格納されるようにして、そこからB−フレームが復号されるようにしている。したがって、2つのフレームメモリのみでB−フレームの復号を可能にするためには、そのデコーダはTVフィールド期間内にB−フレームを構成する必要がある。B−フレームをこのように格納なしに復号することは、「オンザフライでの復号(decoding on the fly)」としても知られており、以下の例ではこの復号機能を前提としている。さらに、MPEG復号中のこれら3つのタイプのMPEGフレーム算出の複雑さを考えると、B−フレーム復号は最大の処理タスクを表す。したがって、B−フレームが1フィールド間隔内で格納なしに復号できると仮定しているため、IフレームおよびPフレームもまた1フィールド期間内に復号できることがさらに仮定される。
【0039】
図7は、逆方向で3倍の再生速度により動作するトリックプレイ・モードを図示したチャートである。このチャートは、4つの復号されたMPEGフレームからの個々のフィールドを格納するように編成された1つのMPEGデコーダと2つのフレームバッファメモリとの有利な利用を図示したものである。この例示的なチャートはMPEG符号化したI−フレームすなわちIピクチャおよびPフレームすなわちPピクチャを表す縦列を有する。これらのIピクチャおよびPピクチャは、グループ・オブ・ピクチャ、すなわちGOP A、GOP BおよびGOP Cを含む。この例では、IフレームおよびPフレームのみが復号される。したがってこれらのみしか図示していない。図7は、そのピクチャの番号をかっこ内に示す、25枚の符号化されたピクチャからなるシーケンスを表したものである。デコーダ要件は、より詳細には後で説明する。図7に示すチャートは、12フレームGOP構造、例えば、IBBPBBPBBPBBというビデオシーケンスにより、再生速度の3倍による逆方向でのトリックプレイ再生を図示したものである。このビデオは24フレーム/秒のフィルムフレームレートで記録されたものであると仮定している。したがって、例示的な図7は3倍の再生速度での動作を表すため、公称の30フレーム毎秒というNTSC標準のTVフレームレートを得るためには、各GOPあたり10個の出力フィールドを生成し表示する必要がある。チャートの縦列は、2つの連続するGOP内のIピクチャおよびPピクチャを表しており、また左から右に向かって正方向の表示順序でリストしてある。最も右の縦列は、出力フィールド番号を示している。チャートの垂直軸はフィールド期間を単位とする時間を表す。図7で用いているシンボル記号は以下の通りである。
【0040】
ボックス内の大文字の表記Dは、そのボックスを含む縦列の先頭のピクチャが、そのボックスを含む横列によって表されるフィールドの期間中に復号されることを意味している。
【0041】
ここで、iは1、2、3または4となり得る表記D>iは、復号されるピクチャのフィールドの1つがフィールドバッファi内に書き込まれ、復号済みのその他のフィールドの方は廃棄されることを意味している、(フィールドバッファ1、2、3および4は図5で示している)。
【0042】
ここで、i,jは1、2であるか3、4であるかのいずれかである表記D>i,jは、復号されるピクチャの2つのフィールドの双方がフィールドバッファiおよびj内に書き込まれることを意味している。
【0043】
ここで、iは1、2、3または4となり得る表記Piは、復号されるピクチャのこの2つのフィールドに対する予測がフィールドバッファiから得られることを示している。
【0044】
ここで、i,jは1、2であるか3、4であるかのいずれかである表記Pi,jは、その予測がフィールドバッファiおよびjから得られることを示している。
【0045】
ボックス内の表記diは、そのボックスを含む縦列により表されるピクチャからのフィールドが、フィールドバッファiに格納され、そのボックスを含む横列により表されるフィールド期間中に表示されることを示している。
【0046】
図7を参照すると、例示的な逆方向復号処理はピクチャI(25)で、時刻t0で開始され、出力フィールド期間1に指定されている。ピクチャI(25)は復号され、フィールドバッファ1および2内に書き込まれる。さらに、フィールド期間1の間に、ピクチャI(25)のうちの1つのフィールドが表示される。デコーダが1つのフィールドに対して同時に復号し、表示し、かつメモリに書き込む能力をもたない場合には、表示動作は1/60秒だけ、すなわち1フィールドだけ遅延することがある。同じフィールド期間内で、1つのフィールドを復号し、表示し、かつメモリに書き込む能力は、この例示的な逆方向プレイバックモードの間のどのような時点においても必要ではない。出力フィールド期間2の間に、ピクチャI(13)は復号され、フィールドバッファ3および4内に書き込まれ、一方ピクチャI(25)の第2のフィールドが表示される。ピクチャI(13)を得るために、トランスデューサは先行するGOPに位置変更され、さらにデータがディスクから復元される。I(13)を表すこのデータは、MPEGデコーダが必要とするまで、トラックバッファ、すなわち機構バッファ内に格納される。以下の記述においては、復号のために必要なピクチャは、上述したようにディスクからすでに復元され、バッファリングされていると仮定している。出力フィールド期間3の間に、フィールドバッファ1内に格納されていたピクチャI(25)からの1つのフィールドが表示される。同時に、ピクチャP(16)が復号され、このピクチャの1つのフィールドがフィールドバッファ2内に書き込まれ、その他のフィールドは廃棄される。ピクチャP(16)を復号するためのプレディクタ(predictor)はフィールドバッファ3および4から得られる。出力フィールド期間4の間に、ピクチャP(19)が復号される。ピクチャP(19)からの1つのフィールドがフィールドバッファ4内に書き込まれ、その他のフィールドは廃棄される。フレームP(19)の復号と同時に、ピクチャI(25)からの1つのフィールドが、最終の時間で、フィールドバッファ1から、表示される。
【0047】
ピクチャP(19)は、ピクチャP(16)の単一のフィールドから導出されたプレディクタ(predictor)で復号し、フィールドバッファ2内に格納する必要がある。しかし、ピクチャP(19)のピクチャP(16)からの形成を記述するMPEGエンコーディングの間に生成された動きベクトルは、廃棄されたP(16)のフィールドの方に向いていることがある。したがって、各フレームバッファが遠く時間的に離れたピクチャからのフィールドを含むことがあるため、動きベクトルを上述のように修正し、大幅にエラーとなるピクチャの再構成を回避している。図5Bは(図7の)出力フィールド4〜10の間のフィールドバッファ1〜4の内容を表しており、広い時間間隔を有するピクチャを例示したものである。先行する基準ピクチャ、例えば、図7のフレームP(16)の格納されているフィールド、に特定の予測を提供するよう動きベクトルを修正することにより、逆方向トリックプレイ中のスプリアス(疑似)ピクチャ復号を回避できる。上述した様々な方法は、廃棄したフィールドを予測(predictor)として選択するたびに、適応させて選択することができる。
【0048】
出力フィールド期間5の間に、ピクチャP(22)はP(19)の単一のフィールドを使用して復号され、予測のためにバッファ4内に格納される。上述したように、動きベクトルには適応作業が必要である。ピクチャP(22)のうちの1つのフィールドが、復号されたので表示される。出力フィールド期間6の間に、ピクチャP(22)は、ビットストリームバッファ60Aの読取りアドレスを操作してP(22)のビットストリームを繰り返すことにより、2度に渡って復号される。ピクチャP(22)の復号の期間に、1つのフィールドがディスプレイに結合され、またいずれのフィールドも格納されない。出力フィールド期間7から10までの間では、ピクチャP(19)およびP(16)からのフィールドが、それぞれフィールドバッファ4および2内に格納され、表示される。出力フィールド期間7以後のある時点で、トランスデューサはビットストリームバッファ60A内に格納されているピクチャI(1)を読み取るように位置変更される。しかし、フィールド期間11において、フレームバッファ2は有効になっており、また次の先行するGOP(A)のI(1)が復号され、フィールドバッファ1および2内に書き込まれる。出力フィールド11はピクチャI(13)から導出されて表示され、フィールドバッファ3内に格納される。次いで、GOP(A)の残りを復号するために上述の処理が繰り返される。
【0049】
6倍の再生速度での逆方向トリックプレイを図8Aに示す。2グループよりやや多いグループ・オブ・ピクチャからなる記録されたシーケンスを表しており、IフレームおよびPフレーム、すなわちIピクチャおよびPピクチャはトップのエッジに、Bフレームは最下部寄りに示してある。上述したように、各GOP内のピクチャはIピクチャ、例えばI(1)、I(13)またはI(25)で始まり、順序通りに復号する必要がある。したがって、逆方向画像の動きを構成するためには、ジャンプバックおよび正方向再生をさせて各GOPの成分ピクチャを復元しかつ格納するための制御シーケンスが必要であり、これにより、この成分ピクチャが続いて逆順で読み出される。この例示的なトリックプレイシーケンスでは、IピクチャおよびPピクチャのみが復号される。6倍逆方向再生のためのジャンプバックおよび正方向再生のシーケンスは、Iピクチャであるように配置することができる時刻t0で開始するように表されている。矢印J1は、ピクチャI(25)から直ぐ前の先行するIフレームであるピクチャI(13)の方を向くように示されている。ピクチャI(13)は復号され、この結果は格納される。矢印J2は、GOPシーケンス内でのピクチャI(13)から、I(13)をプレディクタ(predictor)として用いて復号されるピクチャP(16)への正方向ジャンプである。ピクチャP(16)からの復号の結果は格納され、矢印J3により位置を示すピクチャP(19)に対するプレディクタ(predictor)として提供される。したがって、ピクチャP(19)を復号し格納し終えた後、逆方向での再生は、格納されたピクチャが格納したのと逆順で読み出される表示シーケンスに示されるようにして開始される。ピクチャP(16)はプレディクタ(predictor)を提供するために格納したのであるが、6倍再生速度の表示シーケンスではこれは必要がないことに留意されたい。GOP Bを復号し、格納し、出力し終えたのち、矢印Jnはピクチャ(GOP A)の次の先行するグループにジャンプバックし、ピクチャI(1)を指し示す。上述した方法は繰り返され、図8Aに示す逆方向のピクチャ表示シーケンスが得られる。
【0050】
図8Bに示すチャートは、通常の6倍の速度での逆方向トリックプレイを容易にするために、4つのフィールドストアを利用する方法を示している。チャートの縦列は、連続する12フレームのGOP(図8AのA、BおよびC)内のIピクチャおよびPピクチャを表し、正方向の表示順序で、左から右に向かってリストしてある。右側の縦列は出力フィールド番号を示している。チャートの垂直軸はフィールド期間を単位とする時間を表す。チャートのシンボル記号は図7に関して記述したのと同じ意味を有しており、そのデコーダは上記で検討したのと同じ特性を有する。
【0051】
図8Bでは、逆方向トリックプレイは、GOP CのピクチャI(25)で開始される。ピクチャI(25)は復号されてフィールドメモリ1および2内に格納される、また同時に、1つのフィールドが出力フィールド1として表示される。出力フィールド2では、復号されたピクチャI(25)からの格納された別のフィールドが表示される。出力フィールド2の期間中で、トランスデューサはピクチャI(25)を含むトラックから変換されて例示的なトラックバッファ60A内に格納されている先行するGOP(B)のピクチャI(13)を含むトラックに位置変更される。トラックバッファを使用することにより、再生信号の変換と復号のためのピクチャデータの読出しの間での一時的な不連続が許容される。したがってピクチャの取得はトラックまたはバッファ読出しのいずれかを表すことがある。ピクチャI(13)は復号されてフィールドメモリ3および4内に格納される。しかし、出力フィールド3は、最終使用のピクチャI(25)を表しており、フィールドメモリ1から読み取られる。出力フィールド3の表示と同時に、ピクチャP(16)が取得されかつピクチャI(13)の両方のフィールドをプレディクタ(predictor)として使用して復号される。復号されたピクチャP(16)からのフィールドのただ1つのフィールドをフィールドメモリ2内に格納し、これ以外は廃棄する。出力フィールド4において、ピクチャP(19)を取得し格納されているピクチャP(16)の単一のフィールドからの予測により復号すると同時に、ピクチャP(19)の単一のフィールドをフィールド4として出力するという有利な復号特性を利用している。出力フィールド5は、ピクチャP(16)の単一のフィールドを含むメモリ2を読み取ることにより取得される。出力フィールド5の間に、GOP AのピクチャP(1)が取得され、復号され、かつフィールドメモリ1および2内に格納される。
【0052】
出力フィールド6において、ピクチャI(13)の1つのフィールドがメモリ3から読み取られ、フィールド6として出力される。出力フィールド6の間に、ピクチャP(4)が取得され、ピクチャI(1)の両フィールドからの予測を用いて復号され、かつメモリ4内に格納される。出力フィールド7は、メモリ4からピクチャP(13)のその他のフィールドを読み取ることにより導出される。出力フィールド7の間に、ピクチャP(7)が取得され、格納されているピクチャP(4)のフィールドからの予測を用いて復号され、かつメモリ2内に格納される。出力フィールド8において、同時にピクチャP(10)が取得され、ピクチャP(7)からの予測により復号され、かつ出力フィールド8を形成するように出力されるようにして、有利な復号特性が繰り返される。出力フィールド9は、ピクチャP(7)の単一のフィールドを含むフィールドメモリ2から読み取られる、また出力フィールド10はピクチャP(4)を含むメモリ4から取得される。出力フィールド11および12は、復号されたピクチャP(1)を含むそれぞれフィールドメモリ1および2から読み取られる。
【図面の簡単な説明】
【図1A】 MPEG2のグループ・オブ・ピクチャを示す図である。
【図1B】 再生および3倍速度での逆方向トリックプレイの間の記録されているグループ・オブ・ピクチャを示す図である。
【図2】 機能の区画分けを示したデジタルビデオディスクプレーヤの簡略ブロック図である。
【図3】 3倍の再生速度で、逆方向に、ピクチャを復号し、格納し、かつ出力するのためのシーケンスを示す図である。
【図4】 本発明による構成を含む、例示的なデジタルビデオディスクプレーヤのブロック図である。
【図5A】 再生および逆方向トリックプレイ動作モードを容易にするための2つのフレームバッファメモリに対する本発明による割り当てを表した図である。
【図5B】 再生および逆方向トリックプレイ動作モードを容易にするための2つのフレームバッファメモリに対する本発明による割り当てを表した図である。
【図5C】 再生および逆方向トリックプレイ動作モードを容易にするための2つのフレームバッファメモリに関し、macro_blockの予測を説明する図である。
【図5D】 再生および逆方向トリックプレイ動作モードを容易にするための2つのフレームバッファメモリに関し、macro_blockの予測を説明する図である。
【図6】 ブロック・タイプを決定するための機能ステップの図である。
【図7】 4つのフィールド・バッファメモリを利用して通常の3倍の速度での逆方向トリックプレイ再生を容易にするようにした本発明による構成を表したチャートである。
【図8A】 通常の再生および6倍速度での逆方向トリックプレイの間の記録されているグループ・オブ・ピクチャを表した図である。
【図8B】 4つのフィールド・バッファメモリの配置を用いて通常の6倍の速度での逆方向トリックプレイ再生を容易にする本発明の方法を表したチャートである。

Claims (8)

  1. 第1および第2の再生モードを有し、媒体からデジタル符号化信号を再生する装置であって、
    前記デジタル符号化信号に応動して、そこからピクチャを復号するデコーダと、
    前記デコーダに結合されて前記特定のピクチャを格納するメモリと、
    前記第1の再生モードでは前記ピクチャのトップフィールドおよびボトムフィールドを格納させ、第2の再生モードでは前記トップ・フィールドおよびボトム・フィールドのうちのただ1つのフィールドであって、前記メモリ内に格納されていないフィールドを参照する、ただ一つのフィールドを格納させるように構成され、前記第2の再生モードにおいて、前記メモリに格納された前記ただ一つのフィールドの動きベクトルを修正して、前記メモリ内に格納されているフィールドのうちの少なくとも一つを参照するように構成された前記メモリ用のコントローラと
    を備えることを特徴とする装置。
  2. 媒体上に記録されたデジタル符号化信号を、メモリ内に格納されないフィールドを参照するフィールドを前記メモリ内に格納するように構成され、前記メモリに格納されたフィールドの動きベクトルを修正して、前記メモリ内に格納されている他のフィールドのうちの少なくとも一つを参照するように構成されたコントローラを使用して、逆方向で再生する方法であって、前記デジタル符号化信号が複数のグループ・オブ・ピクチャを表し、前記複数のグループ・オブ・ピクチャの各グループが少なくとも1つのIタイプ・ピクチャおよび少なくとも1つのPタイプ・ピクチャを含み、
    a)前記複数のグループ・オブ・ピクチャの第1のグループ・オブ・ピクチャから前記Iタイプ・ピクチャのフィールドを格納するステップと、
    b)前記複数のグループ・オブ・ピクチャの前記第1のグループ・オブ・ピクチャに先行する第2のグループ・オブ・ピクチャから復号されたIタイプ・ピクチャのフィールドを格納するステップと、
    c)前記第1のグループ・オブ・ピクチャに先行する前記第2のグループ・オブ・ピクチャから復号された第1のPタイプ・ピクチャのフィールドを格納するステップと、
    d)前記第1のグループ・オブ・ピクチャに先行する前記第2のグループ・オブ・ピクチャから第2のPタイプ・ピクチャのフィールドを格納するステップと、
    e)前記第1のグループ・オブ・ピクチャに先行する前記第2のグループ・オブ・ピクチャから復元された第3のPタイプ・ピクチャのフィールドを復号するステップと
    を有することを特徴とする方法。
  3. 媒体から再生されたデジタル符号化信号を、メモリ内に格納されないフィールドを参照するフィールドを前記メモリ内に格納するように構成され、前記メモリに格納されたフィールドの動きベクトルを修正して、前記メモリ内に格納されている他のフィールドのうちの少なくとも一つを参照するように構成されたコントローラを使用して、処理する装置であって、
    複数のブロック処理済みピクチャを表し、少なくとも1つのイントラコード化ピクチャおよび少なくとも1つの前方予測ピクチャを含む複数のグループ・オブ・ピクチャを表す前記デジタル符号化信号のソースと、
    前記ソースに結合され、前記1つのイントラコード化ピクチャを復号するデコーダと、
    前記デコーダに結合されて前記イントラコード化ピクチャを含む個別のブロックを処理することで前記個別のブロック内の空間周波数成分の値を決定する処理手段とを有し、
    前記個別のブロック内の前記値がピクチャ・コンテンツを表すタイプにクラス分けされて、前記少なくとも1つの前方予測ピクチャを復号するためのプレディクタ(predictor)として選択することを特徴とする装置。
  4. 媒体からのデジタル符号化信号を、メモリ内に格納されないフィールドを参照するフィールドを前記メモリ内に格納するように構成され、前記メモリに格納されたフィールドの動きベクトルを修正して、前記メモリ内に格納されている他のフィールドのうちの少なくとも一つを参照するように構成されたコントローラを使用して、処理する装置であって、
    デジタル符号化ブロック処理済みピクチャからなる複数のグループを表す前記デジタル符号化信号のソースであって、前記複数のグループのうちの1つのグループが、少なくとも1つのイントラコード化ピクチャおよび少なくとも1つの順方向予測ピクチャおよび動き補償データを含むソースと、
    前記ソースに結合され、前記1つのイントラコード化ピクチャを復号するデコーダと、
    前記デコーダに結合され、前記イントラコード化ピクチャの各ブロックを処理して、前記ブロック内で生じるデータで表されるピクチャ・タイプを複数のピクチャ・タイプから決定し、前記ブロック内に表された前記前記ピクチャ・タイプをストレージに結合させる処理手段と
    を備えることを特徴とする装置。
  5. 複数のグループのデジタル符号化されたピクチャを有するデジタル符号化信号を、メモリ内に格納されないフィールドを参照するフィールドを前記メモリ内に格納するように構成され、前記メモリに格納されたフィールドの動きベクトルを修正して、前記メモリ内に格納されている他のフィールドのうちの少なくとも一つを参照するように構成されたコントローラを使用して、処理するための方法であって、前記複数のグループの各グループが、複数のブロックとして処理された少なくとも1つのイントラコード化ピクチャ、および少なくとも1つの順方向予測符号化ピクチャを含み、
    a)前記1つのイントラコード化ピクチャを復号して格納するステップと、
    b)前記複数のブロックの各ブロックを処理して、その中で分類された空間周波数成分を導出するステップと、
    c)前記各ブロックの前記成分の大きさを複数のタイプのうちの1つのタイプとしてクラス分けするステップと、
    d)前記各ブロックに対して前記タイプをメモリに格納するステップと、
    e)前記1つの予測ピクチャを復号するステップと、
    f)前記1つの予測ピクチャにおいて現在復号している前記ブロックに対応するブロックとして格納されているブロック・タイプを、前記メモリから読み出すステップと、
    g)現在復号している前記ブロックの動きベクトルを変更して、前記メモリから読み出した前記格納されていたブロック・タイプに応動して予測(prediction)を変化させるステップと
    を有することを特徴とする方法。
  6. 媒体から複数のグループ・オブ・ピクチャを表すデジタル符号化信号を、メモリ内に格納されないフィールドを参照するフィールドを前記メモリ内に格納するように構成され、前記メモリに格納されたフィールドの動きベクトルを修正して、前記メモリ内に格納されている他のフィールドのうちの少なくとも一つを参照するように構成されたコントローラを使用して、再生するための装置であって、前記複数のグループのうちの1つのグループが、1つのイントラコード化ピクチャおよび1つの予測符号化ピクチャを含み、
    前記媒体に結合され、前記デジタル符号化信号を復号して前記イントラコード化ピクチャおよび前記予測符号化ピクチャを形成するデコーダと、
    前記デコーダに結合され、前記イントラコード化ピクチャの第1のフィールドおよび第2のフィールドのうちのただ1つのフィールドを格納するメモリと、
    前記デコーダおよび前記メモリに結合され、前記ただ1つのフィールドをもつ前記予測符号化ピクチャに対応する動きベクトルフィールド選択の一致に応動して前記予測符号化ピクチャの予測(prediction)を制御し、不一致に応動して前記ただ1つのフィールドから生じるよう予測を制御可能に変更する制御手段と
    を備えることを特徴とする装置。
  7. 媒体からデジタル符号化信号を、メモリ内に格納されないフィールドを参照するフィールドを前記メモリ内に格納するように構成され、前記メモリに格納されたフィールドの動きベクトルを修正して、前記メモリ内に格納されている他のフィールド のうちの少なくとも一つを参照するように構成されたコントローラを使用して、再生するための装置であって、
    少なくとも1つのイントラコード化ピクチャ・タイプおよび少なくとも1つの予測符号化ピクチャ・タイプおよび該2つのピクチャ・タイプのうちの1つのタイプである単一のフィールドを表している動き補償データを含むグループ・オブ・ピクチャの複数を表す前記デジタル符号化信号のソースと、
    前記ソースに結合され、その2つのタイプのピクチャを復号するとともに前記少なくとも1つのイントラコード化ピクチャ・タイプの単一のフィールドを表す動き補償データに応動して前記少なくとも1つの予測符号化ピクチャ・タイプを復号するデコーダと
    を備えることを特徴とする装置。
  8. デジタル符号化信号を、メモリ内に格納されないフィールドを参照するフィールドを前記メモリ内に格納するように構成され、前記メモリに格納されたフィールドの動きベクトルを修正して、前記メモリ内に格納されている他のフィールドのうちの少なくとも一つを参照するように構成されたコントローラを使用して、処理するための装置であって、
    複数のグループ・オブ・ピクチャを表す前記デジタル符号化信号のソースであって、前記複数のグループのうちの1つのグループが、少なくとも1つのIタイプおよび少なくとも1つのPタイプ・ピクチャおよび動き補償データを含むシーケンスで配置され、前記動き補償データが前記1つのPタイプ・ピクチャを復号するための予測画像部分を示す、ソースと、
    前記ソースに結合され、前記IタイプおよびPタイプ・ピクチャを復号するとともに、前記Pタイプ・ピクチャの第1のモードの復号はピクチャである前記予測画像に応動し、前記1つのPタイプ・ピクチャの第2のモードの復号はピクチャの単一のフィールドである前記予測画像に応動するデコーダと
    を備えることを特徴とする装置。
JP2000547774A 1998-05-05 1998-05-05 Mpeg符号化信号のトリックプレイ再生 Expired - Lifetime JP4191385B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US1998/003196 WO1999057894A1 (en) 1998-05-05 1998-05-05 Trick play reproduction of mpeg encoded signals

Publications (3)

Publication Number Publication Date
JP2002514861A JP2002514861A (ja) 2002-05-21
JP2002514861A5 JP2002514861A5 (ja) 2005-12-22
JP4191385B2 true JP4191385B2 (ja) 2008-12-03

Family

ID=22266415

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000547774A Expired - Lifetime JP4191385B2 (ja) 1998-05-05 1998-05-05 Mpeg符号化信号のトリックプレイ再生

Country Status (7)

Country Link
EP (1) EP1078518B1 (ja)
JP (1) JP4191385B2 (ja)
KR (1) KR100508525B1 (ja)
CN (3) CN1984300B (ja)
AU (1) AU7244298A (ja)
DE (1) DE69810668T2 (ja)
WO (1) WO1999057894A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6804449B1 (en) * 2000-01-05 2004-10-12 Genesis Microchip Inc. DVD reverse playback methods and apparatus
AU2002239237A1 (en) * 2000-10-10 2002-06-03 Broadcom Corporation System and method for special reproduction modes of a digitally encoded video data stream
JP2004023458A (ja) * 2002-06-17 2004-01-22 Toshiba Corp 動画像符号化/復号化方法及び装置
US7406123B2 (en) * 2003-07-10 2008-07-29 Mitsubishi Electric Research Laboratories, Inc. Visual complexity measure for playing videos adaptively
WO2013186804A1 (ja) * 2012-06-11 2013-12-19 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
CN111103829B (zh) * 2019-12-11 2024-05-17 旋智电子科技(上海)有限公司 一种电机控制装置和方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU657510B2 (en) * 1991-05-24 1995-03-16 Apple Inc. Improved image encoding/decoding method and apparatus
EP0767954B1 (en) * 1994-04-13 2002-09-18 RCA Thomson Licensing Corporation Magnetic tape with non-standard video signal
JP3254924B2 (ja) * 1994-09-05 2002-02-12 ソニー株式会社 データ再生方法およびデータ再生装置
GB9421206D0 (en) * 1994-10-20 1994-12-07 Thomson Consumer Electronics Digital VCR MPEG- trick play processing
JP3591033B2 (ja) * 1995-02-15 2004-11-17 ソニー株式会社 符号化データの特殊再生方法および特殊再生装置

Also Published As

Publication number Publication date
EP1078518A1 (en) 2001-02-28
AU7244298A (en) 1999-11-23
EP1078518B1 (en) 2003-01-08
WO1999057894A1 (en) 1999-11-11
KR20010043306A (ko) 2001-05-25
DE69810668T2 (de) 2003-08-28
JP2002514861A (ja) 2002-05-21
CN100375541C (zh) 2008-03-12
CN1159907C (zh) 2004-07-28
CN1545332A (zh) 2004-11-10
CN1984300A (zh) 2007-06-20
DE69810668D1 (de) 2003-02-13
CN1984300B (zh) 2012-05-30
CN1299555A (zh) 2001-06-13
KR100508525B1 (ko) 2005-08-17

Similar Documents

Publication Publication Date Title
US6201927B1 (en) Trick play reproduction of MPEG encoded signals
US6185340B1 (en) Adaptive motion vector control
KR100219748B1 (ko) 디스크 매체와 디스크 매체에 있어서의 정보 기록재생 방법 및 장치
JP3254924B2 (ja) データ再生方法およびデータ再生装置
US6233392B1 (en) Constrained encoded motion vectors
JP3156597B2 (ja) 画像情報復号化再生装置および画像情報復号化再生方法
JP4191385B2 (ja) Mpeg符号化信号のトリックプレイ再生
EP1153511A1 (en) Reverse playback of a mpeg video stream
JP3253530B2 (ja) 動画像記録装置
US20040233806A1 (en) Recording device and method, recording medium and program
JP3899233B2 (ja) 再生ビットストリーム処理
JPH08223530A (ja) 映像記録/再生方法および映像再生装置
JP3394102B2 (ja) 光ディスクの再生方法及び再生装置
JP3248366B2 (ja) データ再生方法およびデータ再生装置
KR100192510B1 (ko) 디지탈 다기능 디스크 시스템에서의 배속재생 장치 및 방법
JPH06339113A (ja) 動画像記録再生装置
JP3507990B2 (ja) 動画像再生装置及び動画像記録再生装置
JP3511312B2 (ja) 光ディスク、および光ディスクの再生装置および方法
MXPA00010837A (en) Trick play reproduction of mpeg encoded signals
US8149679B2 (en) Recording/reproducing device and method, recording medium, and program
JP2004289876A (ja) 記録装置
JP3645254B2 (ja) 画像データ記録システムおよび画像データ記録方法
JP2000041222A (ja) 映像再生装置とその方法および映像表示装置
JP2000101974A (ja) 再生装置及びその方法
JPH07143440A (ja) 高能率符号化データ処理装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050325

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050325

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050325

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071019

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080118

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080125

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080912

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080918

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110926

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110926

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120926

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130926

Year of fee payment: 5

EXPY Cancellation because of completion of term