JP4421156B2 - 画像再生装置および画像記録再生装置 - Google Patents

画像再生装置および画像記録再生装置 Download PDF

Info

Publication number
JP4421156B2
JP4421156B2 JP2001500396A JP2001500396A JP4421156B2 JP 4421156 B2 JP4421156 B2 JP 4421156B2 JP 2001500396 A JP2001500396 A JP 2001500396A JP 2001500396 A JP2001500396 A JP 2001500396A JP 4421156 B2 JP4421156 B2 JP 4421156B2
Authority
JP
Japan
Prior art keywords
packet information
recording
packet
reproduction
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001500396A
Other languages
English (en)
Inventor
幸弘 安孫子
秀雄 加藤
哲男 肥塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Application granted granted Critical
Publication of JP4421156B2 publication Critical patent/JP4421156B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G11B27/007—Reproducing at a different information rate from the information rate of recording reproducing continuously a part of the information, i.e. repeating
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327—Table of contents
    • G11B27/329—Table of contents on a disc [VTOC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2525—Magneto-optical [MO] discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate

Description

本発明は、符号化された画像の再生装置、画像を符号化して記録、再生する装置、画像の記録再生方法及び画像の記録再生プログラムを記録した記録媒体に関する。
近年、膨大な情報量をもつデジタル動画像の蓄積や伝送を実現するために、ＩＳＯ／ＩＥＣ１１１７２（ＭＰＥＧ１）やＩＳＯ／ＩＥＣ−１３８１８（ＭＰＥＧ２）などのＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式が国際標準化されており、これらのＭＰＥＧストリームの記録再生装置が開発されている。
一方、光ディスク、光磁気ディスク及び磁気ディスクのようなランダムアクセス可能な記録媒体の大容量化、低価格化が進んでおり、磁気テープによる記録に置き換わりつつある。また、ランダムアクセス可能な記録媒体を用いることで、任意倍速での特殊再生、特殊録画再生等も実現可能となっている。
ＭＰＥＧストリームについて、任意倍速再生等の特殊再生を行うためには、フレーム、ＧＯＰ、パケットなどの先頭にシークすることで実現できる。例えば、頭出しなどのジャンプを行うにはジャンプ先の位置を予め知っていることが必要である。
例えば、特願平５−３０６５６７号公報（特許文献１）には、磁気テープのサブコードエリアにＧＯＰスタートコードやＩピクチャの有無の情報を記録する技術が開示されている。
特願平７−２９８０４８号公報（特許文献２）には、ＧＯＰスタートコードを利用した頭出しテーブルにファイル先頭からのバイトオフセットと累積フレーム数を情報として記録することが記載されている。
特願平７−３６４６１号公報（特許文献３）には、ＧＯＰスタートコードを利用した特殊再生用テーブルにセクタ・アドレスとＧＯＰタイムコードを情報として記録することが記載されている。
ＭＰＥＧ形式で圧縮された画像を記録、再生する装置においては、通常の記録や再生を行うだけでも符号化、復号化のために必要な回路規模が大きくなり、装置のコストが上昇するという問題点がある。このような記録再生装置で任意倍速での再生や、クリップ編集などの特殊再生、特殊録画を可能とするためには、回路規模がさらに増大し、装置のコストも上昇する。加えて、特殊再生や特殊録画では再生データと録画データを同時に転送したり、転送ブロックサイズを可変にすることが必要となるが、このようなデータ転送を制御するためのファームウェアの記述は複雑化し、開発工数の増大によるコスト上昇や、制御コードや制御回路の大規模化により、さらにコストが上昇するという問題点がある。
また、オーディオパケットとビデオパケットを同期させる場合に、従来のようにＧＯＰスタートコードやＧＯＰヘッダの中に符号化されているＧＯＰタイムコードを利用する方法では、テーブル作成時の処理の煩雑さや、これに伴うＤＳＰの回路規模増大が問題となる。
特殊再生に利用する情報については、記録媒体やフレームレートなどに依存しないものであることが必要である。特にＭＰＥＧストリームのようなデジタル情報は、記録再生装置やパソコンで同等に扱われるため、磁気ディスクから光ディスクのように異なるフォーマットの記録媒体間でデータの移動や複写が行えることが必要となる。また、ネットワークの発達によりＭＰＥＧストリームは世界的に流通しているが、フレームレートが異なるＮＴＳＣ方式とＰＡＬ方式の何れの方式でもその情報を同じように利用できるようにする必要がある。
前述した特願平５−３０６５６７号の発明は、磁気テープに特化したものであり、リストやテーブルの形をとっていない。また性質上ランダムアクセスを前提として特殊再生を行うものではない。
特願平７−２９８０４８号の発明は、記録されている情報がフレームであるので、時間でシーク先を指定して頭出しする場合を考えると、フレームレートが唯一であることが前提となり、異なるフレームレートのＭＰＥＧストリームを扱うことができない。
特願平７−３６４６１は、ＧＯＰタイムコードが記録されているので、時間でシーク先を指定して頭出しするような場合には対応できるが、セクタ単位で情報が記述されるため、記録媒体を変更した場合にテーブルを再度作成しなくてはならないというデメリットがある。
特殊再生、特殊録画再生機能を効率よく行うためには、データに直接アクセスするために必要なデータ位置を、アプリケーションやユーザから指定された時間情報から簡単に求められることが必要である。
その方法として、ＧＯＰタイムコードやフレーム数でカウントすることも考えられる。しかしながら、前者はＧＯＰタイムコードを抽出する必要があるが、これを利用する場合はＭＰＥＧストリームからＧＯＰスタートコードの位置とＧＯＰスタートコードを含むパケットの位置の両方をみる必要があるので効率的ではない。後者はフレーム数をカウントする処理が必要となり、フレームレートが異なった場合の対応が必要となり効率的ではない。
特殊再生を行う場合、データの転送速度が一定ではなくなるので、これに対処する必要がある。また、録画と組み合わせた特殊再生を行う場合には、システム内のデータトラフィックが煩雑となるため処理が複雑になる。
さらに、光ディスク、光磁気ディスク、磁気ディスクのような記録媒体では、内部パラメータの調整や記録領域の欠陥が検出されて別の領域にデータを書き込む際に数秒間読出しや書込み不能になることがある。Ｒｅａｄ／Ｗｒｉｔｅ時のＤＭＡ転送中にこのような現象が発生した場合、録画中であればデータが欠落し、再生中であれば映像が停止するという問題が生じる。
特願平５−３０６５６７号公報 特願平７−２９８０４８号公報 特願平７−３６４６１号公報
本発明の課題は、符号化された画像データを再生する画像再生装置において、任意倍速再生等の特殊再生、特殊録画再生を簡易に行えるようにすることである。また、他の課題は、録画、再生、データ転送を効率的に行えるようにすることである。
画像再生装置は、符号化された画像データのパケットヘッダに含まれるタイムスタンプと、前記パケットヘッダのファイルアドレスを有するパケット情報を時間順に格納したパケット情報リストを作成するパケット情報リスト作成手段と、前記パケット情報リストからｎ個おきに前記パケット情報を読み出し、前記パケット情報に対応する符号化された前記画像データを復号することでｎ倍速の再生を行う復号化手段とを備える。
この発明によれば、パケットヘッダ部に含まれるタイムスタンプと、パケットヘッダ部を指す情報とからなるパケット情報を参照することで任意の再生位置を容易に求めることができる。
例えば、符号化された画像データがＭＰＥＧストリームの場合には、ＭＰＥＧストリームのパケットヘッダに含まれるプレゼンテーションタイムスタンプＰＴＳと、パケットヘッダのファイルアドレスとからなるパケット情報が作成され、さらにパケット情報のリストが作成される。
ＭＰＥＧストリームのビデオパケットのプレゼンテーションタイムスタンプＰＴＳは、全てのピクチャスタートコードに対応して付加され、オーディオパケットのＰＴＳは全てのパケットに付加される。ＭＰＥＧストリームから得られるＰＴＳや復号化手段で得られるシステムタイムクロックＳＴＣなどのタイムスタンプは、ＭＰＥＧ１であれば、９０ｋＨｚのカウンタでカウントされる全てのストリームで共通の情報である。従って、このＰＴＳを利用することで、フレームレートに依存しない時間情報を得ることができる。
例えば、再生位置が画像データの先頭のパケットからの時間で指定された場合に、その時間をタイムスタンプＴＳに変換し、タイムスタンプＴＳの値に近い値を有するパケット情報をパケット情報リストから探すことで、該当するパケットのファイルアドレスを取得することができ、任意倍速再生などの特殊再生、特殊録画再生を容易に実現できる。
さらに、画像を符号化して外部または内部の記録媒体に記録させる符号化手段を備えるようにしても良い。
この発明によれば、画像を符号化して記録する際に、符号化された画像データのパケットヘッダ部のタイムスタンプと、パケットヘッダを指す情報とからなるパケット情報を作成することができる。これにより、任意倍速での画像の正逆再生、ランダムアクセス等の特殊再生、ライブモニタ、リアルタイムシフト等の特殊録画を、ハードウェアを増やさず、録画、再生処理を複雑にせずに実現できる。
また、符号化手段の画像の符号化処理、符号化された画像データを記録手段に転送する録画データ転送処理、記録手段に記録された画像データを復号化手段へ転送する再生データ転送処理及び復号化手段における画像データの復号化処理をマルチタスク化するようにしても良い。
この場合、録画データ転送タスクと、再生データ転送タスクを別タスクとすることで、データ転送処理の記述を簡素化できる。
また、データ転送タスク毎にデータ転送のブロックサイズを個別に設定することで、特殊再生、特殊録画再生時のデータ転送の効率化を実現できる。
さらに、録画データの転送タスクの優先順位を、再生データの転送タスクの優先順位より高く設定できるようにしても良い。
この場合、録画データ転送タスクの優先順位を高くすることにより、記録すべきデータが欠落するのを抑制できる。
本発明の１つの形態では。データ位置としてパケットヘッダのアドレス情報（ファイルポインタ）を、時間情報としてパケットヘッダに含まれるＰＴＳを利用する。ＭＰＥＧ形式でデータを符号化する場合、符号化手段でＰＴＳをパケットに付加するので、パケット情報作成手段は特殊再生用に特別にデータを作成することなしにＰＴＳを利用することで特殊再生用のリストの作成が簡単に行える。また符号化手段は、ＧＯＰヘッダを含むパケットヘッダを抽出する際に、ＧＯＰスタートコードを利用しているので、ＧＯＰスタートコードを含むパケットのパケット情報を得ることも容易となる。
図１Ａ、１Ｂは本発明の原理構成図である。 図２は、第１の実施の形態の構成を示す図である。 図３は、ＭＰＥＧストリームの構成の説明図である。 図４は、ＭＰＥＧビデオストリームの構成の説明図である。 図５は、ＭＰＥＧビデオストリームのフレームの構成の説明図である。 図６は、第１のパケット情報参照方法に基づく処理のフローチャートである。 図７は、第２のパケット情報参照方法に基づく処理のフローチャートである。 図８は、第３のパケット情報参照方法に基づく処理のフローチャートである。 図９は、Ｎ倍速再生の処理のフローチャートである。 図１０は、簡易再生処理のフローチャートである。 図１１は、クリップ編集処理のフローチャートである。 図１２は、第１の実施の形態のタスクの説明図である。 図１３は、第２の実施の形態の構成を示す図である。 図１４は、第２の実施の形態のタスクの説明図である。 図１５は、ユーザインターフェースタスクの処理のフローチャートである。 図１６は、メインタスクの処理のフローチャートである。 図１７は、再生タスクの処理のフローチャートである。 図１８は、再生データ転送タスク３４ａ、６４ａの処理のフローチャートである。 図１９は、再生データ転送タスク３４ｂ、６４ｂの処理のフローチャートである。 図２０は、録画タスクの処理のフローチャートである。 図２１は、録画データ転送タスク３５ａ、６５ａの処理のフローチャートである。 図２２は、録画データ転送タスク３５ｂ、６５ｂの処理のフローチャートである。 図２３は、第３の実施の形態の構成を示す図である。 図２４は、記録媒体を示す図である。
以下、本発明の実施の形態を図面を参照しながら説明する。図２は、本発明の第１の実施の形態のＭＰＥＧストリームの記録再生装置の構成を示す図である。
符号化部２１は、入力される画像をＭＰＥＧ形式の画像データ（ＭＰＥＧストリーム）に変換し、変換したＭＰＥＧストリームをメモリ２２に出力する。
パケット情報作成部２３は、ＭＰＥＧストリームのパケットヘッダに含まれるプレゼンテーションタイムスタンプＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）と、パケットヘッダのファイルアドレスとからなるパケット情報を作成し、ＧＯＰを含むパケットヘッダのパケット情報からなるパケット情報リストを作成する。なお、符号化部２１がビデオ符号化とオーディオ符号化が可能なときには、パケット情報にＧＯＰと同期しているオーディオパケットのＰＴＳとファイルアドレスを加える。
図３は、ＭＰＥＧストリームの構成を示す図である。ビデオパケット、オーディオパケットには、アクセスユニットと呼ばれる復号再生の単位毎に、いつ復号再生すべきかを示すタイムスタンプＴＳと呼ばれる情報が付加される。
図３に示すようにＭＰＥＧストリームの上位階層は、ストリーム全体の概要を記述したシステムヘッダとパックとからなる。１つのパックは、パックの開始コード、識別コード等を含むパックヘッダと複数のパケットからなる。パケットは、パケットヘッダとビデオエレメンタリストリーム（Ｖｉｄｅｏ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）やオーディオエレメンタリストリーム（Ａｕｄｉｏ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）を含むパケットデータとからなる。パケットヘッダには、ＭＰＥＧストリームを再生出力する際の時刻管理情報として用いられるプレゼンテーションタイムスタンプＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）が含まれる。
図４は、ＭＰＥＧビデオストリームの構成を示す図である。ＭＰＥＧビデオストリームは、シーケンス層とＧＯＰ層とピクチャ層とスライス層とマクロブロック層とから構成されている。
シーケンス層４１は、画面サイズ、マクロブロック数等の情報からなるシーケンスヘッダと、ＧＯＰとシーケンスエンドコードとから構成されている。
ＧＯＰ層４２は、ＧＯＰヘッダ情報と１つのＧＯＰに属するＩピクチャ、Ｂピクチャ、Ｐピクチ等から構成されている。Ｉピクチャはフレーム間予測を行わず１つのフレームの情報から生成される画像データであり、Ｐピクチャは、ＩピクチャまたはＰピクチャからの予測により生成される画像データであり、Ｂピクチャは、ＩピクチャとＰピクチャの双方向予測により生成される画像データである。
ピクチャ層４３は、ピクチャヘッダ情報と複数のスライスとから構成されている。スライス層４４は、スライスヘッダ情報と複数のマクロブロックとから構成されている。マクロブロック層４５は、マクロブロック情報と複数のブロックとから構成されている。
図５は、ＭＰＥＧビデオストリームのフレーム構成を示す図である。シーケンスは複数のＧＯＰからなり、１つのＧＯＰは複数のピクチャからなり、１つのピクチャは複数のマクロブロックから構成されている。
図２に戻り、符号化部２１で符号化されメモリ２２に格納されたＭＰＥＧストリームは、図示しない制御部により、ハードディスク、光磁気ディスク等からなる情報蓄積部２４に格納される。
例えば、ユーザにより時間で再生位置が指定されると、制御部は、パケット情報参照部２５により参照されるパケット情報に基づいてＭＰＥＧストリームの再生位置を求め、該当するＭＰＥＧストリームを情報蓄積部２４から読み出して復号化部２６に出力する。復号化部２６は、そのＭＰＥＧストリームを復号して出力する。
ここで、パケット参照部２５におけるパケット情報の参照方法を、図６〜図８を参照して説明する。
本実施の形態では、ＭＰＥＧストリームのＧＯＰヘッダを含むパケットのパケット情報を項番号順に記憶したパケット情報リストを作成し、項番号により再生位置を指定する方法（これを第１のパケット情報参照方法と言う）と、ＭＰＥＧストリームの先頭を基準とした時間で再生位置を指定する方法（これを第２のパケット情報参照方法と言う）と、復号処理中のパケットを基準とした時間で再生位置を指定する方法（これを第３のパケット情報参照方法と言う）の３種類の方法を用いている。
第１のパケット情報の参照方法では、パケット情報作成部２３がＭＰＥＧストリームのＧＯＰヘッダを含むパケットヘッダのＰＴＳとパケットヘッダのファイルアドレスとからなるパケット情報に順に項番号を付与してパケット情報リストを作成する。
以下、上記のようなパケット情報リストが作成されていることを前提にして、第１のパケット情報参照方法に基づく処理を、図６のフローチャートを参照して説明する。
例えば、ユーザからｋ倍速での再生が指定された場合には、パケット情報リストからｋ個おきにパケット情報を読み出すために、項番号ｋを指定する（図６，Ｓ１１）。次に、その項番号ｋのファイルアドレスＡｋを取得する（Ｓ１２）。そして、そのファイルアドレスＡｋに基づいて情報蓄積部２６の該当する位置にヘッドを移動させ、順にデータを読み出し、読み出したデータを復号化部２６で復号して画像を再生する。
この第１のパケット情報参照方法によれば、パケット情報リストの項番号を指定することにより情報蓄積部２４から該当するＭＰＥＧストリームを読み出す為のファイルアドレスを取得することができるので、ランダムアクセス、任意倍速での正逆再生処理、あるいは後述するリアルタイムシフト、ライブモニタ等の特殊録画再生処理における読み出し位置あるいは書き込み位置を決定するための処理が簡略化でき、処理時間を短縮することができる。
次に、第２のパケット情報参照方法について説明する。第２のパケット情報参照方法においては、パケット情報作成部２３が、ＭＰＥＧストリームのＧＯＰを含むパケットのヘッダに含まれるプレゼンテーションタイムスタンプＰＴＳと、該当するパケットヘッダのファイルアドレスとからなるパケット情報を作成し、そのパケット情報に記録順に項番号を付与したパケット情報リストを作成する。なお、第２のパケット情報参照方法では、項番号を付与しないパケット情報リストを作成することもできる。
上記のようなパケット情報リストが作成されていることを前提にして、第２のパケット情報参照方法について図７のフローチャートを参照して説明する。
アプリケーションまたはユーザによりＭＰＥＧストリームの先頭からの時間で再生位置が指定されると（図７，Ｓ２１）、指定された時間がタイムスタンプＴＳに変換される（Ｓ２２）。
例えば、ＭＰＥＧストリームの先頭を基準にしてＨ時Ｍ分Ｓ秒の位置から再生を開始したい場合には、時間を秒単位に変換し、その時間をシステムクロックの周波数で除算した値をタイムスタンプＴＳとして求める。この演算は次式で表すことができる。
ＴＳ＝（Ｈ×６０×６０＋Ｍ×６０＋Ｓ）／（システムクロックの周波数） （１）
次に、パケット情報リストの項番号１のタイムスタンプＰＴＳ１を取得し、そのタイムスタンプＰＴＳ１に上記の（１）式により求めたタイムスタンプＴＳを加算して、指定された時間をタイムスタンプＰＴＳｎ’に変換する（Ｓ２３）（１）式で求めたタイムスタンプＴＳと項番号１のプレゼンテーションタイムスタンプＰＴＳ１とから次式によりＰＴＳｎ’を求めることができる。
ＰＴＳｎ’＝ＰＴＳ１＋ＴＳ・・・・（２）
次に、パケット情報リストから項番号ｎ（例えば、初期値ｎ＝１）のタイムスタンプＰＴＳｎを読み出し、そのタイムスタンプＰＴＳｎの値が目的とする再生位置のタイムスタンプＰＴＳｎ’に最も近いか否かを判別する（Ｓ２４）。
項番号ｎのタイムスタンプＰＴＳｎの値が目的とする再生位置のタイムスタンプＰＴＳｎ’の値と所定値以上離れている場合には（Ｓ２４，ＮＯ）、ステップＳ２５に進み項番号ｎを更新した後、ステップＳ２４に戻り、更新された項番号ｎのタイムスタンプＰＴＳｎをパケット情報リストから読み出し、上述した判別を行う。
ステップＳ２４，Ｓ２５の処理を繰り返し、目的とする再生位置のタイムスタンプＰＴＳｎ’に最も近いタイムスタンプＰＴＳｎを有する項番号が得られたなら（Ｓ２４，ＹＥＳ）、パケット情報リストから該当する項番号ｎのファイルアドレスＡｎを取得する（Ｓ２６）。そして、そのファイルアドレスＡｎのパケットデータを情報蓄積部２４から読み出して復号化部２６へ出力し、ＭＰＥＧストリームを復号再生する。これにより、指定された時間に対応する位置から画像を再生することができる。
次に、第３のパケット情報参照方法について説明する。この第３のパケット情報参照方法においても第２のパケット情報参照方法と同様に、パケット情報作成部２３が、ＭＰＥＧストリームのＧＯＰヘッダを含むパケットヘッダを抽出し、パケットヘッダに含まれるプレゼンテーションタイムスタンプＰＴＳと、パケットヘッダのファイルアドレスとからなるパケット情報を作成する。さらに、そのパケット情報に順に項番号を付与したパケット情報リストを作成する。
以下、このパケット情報リストが作成されたことを前提にして、第３のパケット情報参照方法に基づく処理を図８のフローチャートを参照して説明する。
復号処理中のパケットを基準として時間Ｈ時Ｍ分Ｓ秒が指定されると（図８，Ｓ３１）、指定された時間を、上述した（１）式によりタイムスタンプＴＳに変換する（Ｓ３２）。次に、復号化部２６においてカウントされている復号処理中のパケットのシステムタイムクロックＳＴＣに上記のタイムスタンプＴＳを加算し、目的とする再生位置のタイムスタンプＰＴＳｎ’を算出する（Ｓ３３）。この演算は次式で表すことができる。
ＰＴＳｎ’＝ＳＴＣ＋ＴＳ・・・・（３）
次に、パケット情報リストから項番号ｎ（例えば、初期値ｎ＝１とする）のタイムスタンプＰＴＳｎを読み出し、そのタイムスタンプＰＴＳｎの値が目的とする再生位置のタイムスタンプＰＴＳｎ’に最も近いか否かを判別する（Ｓ３４）。
項番号ｎのタイムスタンプＰＴＳｎの値が目的とする再生位置のタイムスタンプＰＴＳｎ’の値と所定値以上離れている場合には（Ｓ３４，ＮＯ）、ステップＳ３６に進み項番号ｎを更新した後、ステップＳ３４に進み、新たに指定された項番号ｎのタイムスタンプＰＴＳｎをパケット情報リストから読み出し、上述した判別を行う。
ステップＳ３４，Ｓ３５の処理を繰り返し、目的とする再生位置のタイムスタンプＰＴＳｎ’に最も近いタイムスタンプＰＴＳｎが検出されたなら（Ｓ３４，ＹＥＳ）、パケット情報リストから該当する項番号ｎのファイルアドレスＡｎを取得する（Ｓ３６）。そして、そのファイルアドレスＡｎのパケットデータを情報蓄積部２４から読み出して復号化部２６へ出力し、ＭＰＥＧストリームの復号を行わせる。これにより、指定された時間に対応する位置からＭＰＥＧストリームの再生が開始される。
上述した第２及び第３のパケット情報参照方法によれば、ＭＰＥＧストリームの先頭を基準とした時間、あるいは再生処理中のパケットを基準とした時間で再生位置が指定された場合に、パケット情報リストを参照してそれぞれの時間に対応する再生位置を簡易に求めることができる。
次に、第１の実施の形態のＭＰＥＧストリームの記録再生装置における特殊再生機能、特殊録画再生機能について説明する。特殊再生機能としては、ランダムアクセス、任意倍速再生（早送り再生、簡易逆再生）、クリップ編集、リピート再生があり、特殊録画再生機能としては、リアルタイムシフト、ライブモニタがある。
最初に、ＧＯＰをＮ個おきに再生する任意倍速再生処理を図９のフローチャートを参照して説明する。
先ず、タイムスタンプＴＳ＝０にして第３のパケット情報参照方法により、現往復号中のデータに対応するパケット情報リストの項番号ｋのファイルアドレスＡｋを取得する（図９，Ｓ４１）。次に、パケット情報リストを参照して次の項番号ｋ＋１のファイルアドレスＡｋ＋１を取得する（Ｓ４２）。そして、それらのアドレス情報から読み出し開始点のアドレスとして”Ａｋ”を、読み出し終了点のアドレスとして項番号ｋ＋１のファイルアドレス”Ａｋ＋１”の１つ前のアドレス”Ａｋ＋１−１”を求める。
次に、情報蓄積部２４のヘッダ（読み取り／書き込み部）をファイルアドレスＡｋに対応する位置へ移動させる（Ｓ４３）。そして、ファイルアドレスＡｋからＡｋ＋１までのストリームを読み出し、読み出したストリームを復号化部２６へ出力する（Ｓ４４）。
次に、ｋの値にＮを加算した値を新たなｋの値として設定した後（Ｓ４５）、ステップＳ４１に戻り、項番号ｋのパケット情報を読み出す。これらの処理により、パケット情報リストに登録されているファイルアドレスがＮ個おきに読み出され、そのファイルアドレスで指定されるＧＯＰを読み出すことでＮ＋１倍速の再生を実現できる。
なお、復号化部２６がフレームスキップ機能を有する場合には、そのフレームスキップ機能と上述した任意倍速の再生処理とを組み合わせることでより滑らかな再生を行うことができる。例えば、復号化部２６がＢピクチャのスキップ機能を有する場合に、ＧＯＰが”ＩＢＢＰＢＢＰＢＢＰ・・・”のように構成されるストリームに対してＢピクチャをスキップさせ、上述したようにＧＯＰをＮ個おきに再生することで３（Ｎ＋１）倍速の再生を実現できる。また、Ｂピクチャをスキップさせると、ＧＯＰの先頭にあってＧＯＰ間で双方向の動きベクトルの参照が行われるＢピクチャを表示しないので、ＧＯＰ境界部後続のＧＯＰヘッダの変更なしにＧＯＰ境界部での画像ノイズの発生を抑えることができる。
上述した任意倍速の再生処理において、Ｎを負の値とすることで簡易逆再生を実現できる。以下、この簡易逆再生処理を図１０のフローチャートを参照して説明する。
先ず、タイムスタンプＴＳ＝０に設定し、第３のパケット情報参照方法により、現往復号中のデータに対応するパケット情報リストの項番号ｋのファイルアドレスＡｋを取得する（図１０，Ｓ５１）。この場合逆再生であるので、パケット情報リストの項番号が１つ前の項番号ｋ−１のファイルアドレスＡｋ−１を取得する（Ｓ５２）。
次に、情報蓄積部２４の読み取り／書き込み部をファイルアドレスＡｋ−１の位置に移動させる（Ｓ５３）。そして、ファイルアドレスＡｋ−１からＡｋまでのストリームを読み出し、読み出したストリームを復号化部２６を出力する（Ｓ５４）。
次に、ｋの値からＮを減算した値を新たなｋの値として設定した後（Ｓ５５）、ステップＳ５１に戻り、項番号ｋのパケット情報を読み出す。これらの処理により、パケット情報リストに登録されているファイルアドレスがＮ−１個おきに読み出され、そのファイルアドレスで指定されるＧＯＰを読み出すことでＮ倍速の簡易逆再生を実現できる。
なお、この簡易逆再生では、１ＧＯＰの画像データが時間軸上で正順に再生されるので、この点を改善するために、１ＧＯＰにつきＩピクチャ相当分のデータしか読み出さないようすることで、視覚的違和感を除去することができる。このときの再生開始点のアドレスは”Ａｋ”、終了点のアドレスは”Ａｋ＋（Ｉピクチャ相当分のデータ）となる。
また、復号化部２６がＢピクチャスキップ機能とＰピクチャスキップ機能とを有する場合には、それらの機能を利用することでＩピクチャのデータ量を調べる必要が無くなるのでより処理を軽減できる。
また、所望の位置から再生を開始するランダムアクセスを実行したい場合には、アプリケーションからは通常、再生開始点が時間情報で与えられるので、上述した第２または第３のパケット情報参照方法により再生開始位置を求め、アクセスしたい位置へ情報蓄積部２４のヘッドを移動させ、連続的にストリームを読み出す。
次に、クリップ編集処理について説明する。１つ以上ストリームに対して、任意の１組以上の開始点、終了点で指定されるストリームをクリップと呼ぶ。このクリップを編集する際に、開始点、終了点をファイルを直接分割や結合を行わずに、クリップの開始点と終了点をストリーム先頭からの時間またはパケット情報のリストの項番号で指定する。
以下、クリップ編集処理を図１１のフローチャートを参照して説明する。パケット情報を参照して再生開始点として項番号、ＰＴＳ、ファイルアドレスの何れか１つを取得する（図１１，Ｓ６１）。次に、パケット情報リストを参照して指定されたデータの項番号、ＰＴＳ、ファイルアドレスの何れかを終了点の情報として取得する（Ｓ６２）。そして、それらの開始点、終了点をクリップの情報として登録する。
クリップの再生時は、開始点と終了点で指定されるストリームのみを第１、第２または第３のパケット情報参照方法によって読出すことで、効率よい処理が可能となる。また、クリップしたストリームを削除する場合には、登録されている開始点、終了点以外のストリームを削除する。
上述したクリップ編集処理では、クリップの開始点と終了点に関する情報のみが情報蓄積部２６に記憶され、従来のようにクリップする画像全体がコピーされるわけではないので、情報蓄積部の容量を節約することができる。
また、同じ区間のストリームを任意の回数再生するリピート再生を行う場合にも、パケット情報リストを利用して効率的に再生を行うことができる。リピート再生の開始点と終了点をパケット情報リストを参照して第１、第２または第３のパケット情報参照方法により取得することにより、リピート再生処理を効率的に行うことができる。また、リピート再生が指定されたときの再生位置を再生開始点として取得することで、リピート再生の開始点または終了点の一方のみ指定するば良いのでユーザのリピート再生を指定するときの操作が簡単になる。
例えば、再生中にＭ分後までのリピート再生を指定する場合、開始点は上述した第３のパケット情報参照方法によりＴＳ＝０して自動的に決まるので、ユーザ開始点を指定する必要がない。また、逆にＭ分前からのリピート再生を指定する場合には、ユーザが終了点を指定しなくとも、自動的に決めことができ、リピート再生の操作を簡略化できる。
次に、録画と再生を同時に行うリアルタイムシフト、ライブモニタ等の特殊録画再生機能について説明する。
ＭＰＥＧストリームの録画再生装置において、情報蓄積部がランダムアクセス可能で、かつアクセススピードが十分速い場合には、録画と再生を同時に行うことが低コストで実現できる。
同一ストリームに対して同時に録画と再生が行われることをリアルタイムシフトと呼ぶ。情報蓄積媒体の容量が無限であれば、常にストリームの終端に録画を行えばよい。しかし、無限容量の蓄積媒体は現状では実現不可能である。そこで、既に再生された位置に録画を行えば、再生停止や一時停止、逆再生などを行わない限り、無限に録画できることになる。
現在再生中のストリームのファイルアドレスは、例えば、第３のパケット情報参照方法でタイムスタンプＴＳ＝０としたときに、（３）式からＰＴＳｎ’が得られるので、そのＰＴＳｎ’の値からパケット情報リストを参照して取得することができる。そして、タイムスタンプＴＳ≦０となるファイルアドレスを録画開始点とすることで、既に再生された情報記憶部２４の記憶領域にＭＰＥＧストリームを連続的に録画することができる。
なお、情報蓄積部２４の容量が一定であるため、ストリームサイズはあらかじめ決められている必要がある。パケット情報に記述されるファイルアドレスＡＤＤＲＥＳＳ′がストリームサイズＳＳを超える場合には、以下のようにして実際のファイルアドレスＡＤＤＲＥＳＳを決定する。
ＡＤＤＲＥＳＳ＝ＡＤＤＲＥＳＳ′％ＳＳ・・・・（４）
ここで、”％”は剰余を求める演算記号である。
リアルタイムシフトを行う場合のパケット情報リストの更新は、例えば、第３のパケット情報参照方法によりＴＳ≦０の条件で得られるＰＴＳより小さいＰＴＳを持つ項目を削除し、新たに録画されたストリームのパケット情報を追加することで実現できる。
また、リアルタイムシフトにおいて、録画開始点に対して復号中のストリームが十分近い場合、直前に記録されたストリームを読み出して再生することにより、ストリームが記録されたか否かを確実に確認することができる。このような特殊録画再生をライブモニタと呼ぶ。例えば、監視システムにおいては、映像などが本当に記録されているかを確認する必要があり重要な機能である。
上述した特殊再生機能、特殊録画再生機能においては、再生するストリームや録画されたストリーム、パケット情報など、同時に複数のデータが流れ、データ転送処理が煩雑になる。加えて、特殊再生時ではフレームスキップを行う場合もありデータ転送頻度が変化することもあるので、データ転送処理が一層煩雑になる。そこで、システムの制御を簡単化するため、本実施の形態では、マルチタスクＯＳにより符号化部２１、復号化部２６、メモリ２２、情報蓄積部２４などを制御している。本実施の形態においては、再生、録画といった基本的機能をタスク化し、それぞれの処理を別個に制御可能とすることでデータ転送処理等の煩雑さを低減している。
図１２は、第１の実施の形態の画像記録再生装置において、マルチタスクＯＳにより少なくとも１チャネル分の録画、再生タスクを管理する場合のタスクの説明図である。
再生タスク３２、録画タスク３３はメインタスク３１により、再生開始／停止、録画開始／停止の命令を受けて処理を行う。そして、再生タス３２クと録画タスク３３はデータ転送処理を行うタスクを制御する。
再生タスク３２は、情報蓄積部２４からメモリ２２へのデータ転送を行う再生データ転送タスク３４ａと、メモリ２２から復号化部２６へのデータ転送を行う再生データ転送タスク３４ｂとを制御する。
録画タスク３３は、符号化部２１からメモリ２２へのデータ転送を行う録画データ転送タスク３５ａと、メモリ２２から情報蓄積部２４へのデータ転送を行う録画データ転送タスク３５ｂとを制御する。これらのタスクの処理内容については後述する第２の実施の形態において説明する。
情報蓄積部２４では、内部パラメータの調整や記録領域の欠陥等が検出されて別領域に書き込みを行う交代処理等の内部処理により、データの書き込み／読み出しが数秒間停止することがある。本実施の形態では、データ転送ブロック毎にタスクを分割することで、情報蓄積部２４での処理の中断があっても、他のタスクへの影響を低減し、安定したデータ転送を続けることが可能となる。
次に、図１３は、本発明の第２の実施の形態のＭＰＥＧストリームの記録再生装置の構成を示す図である。
この第２の実施の形態は、記録再生装置がビデオ信号とオーディオ信号の符号化、復号化機能を有し、ＭＰＥＧストリームを複数の情報蓄積部に記録できるようになっている。以下の説明では。図２で説明したブロックと同じブロックには同じ符号を付けてそれらの説明を省略する。
オーディオ信号、ビデオ信号は、それぞれオーディオ符号化部４１，ビデオ符号化部４２において、ＭＰＥＧ形式のオーディオストリーム、ビデオストリームに符号化される。そして、多重化部４３において、ビデオストリームとオーディオストリームが多重化されてデータバス４４に出力される。
多重化されたＭＰＥＧストリームは、ＭＰＵ４５の制御の元にデータ入出力インターフェース部４６を介して複数の情報蓄積部４７ａ、４７ｂ・・・の何れかに格納される。データ入出力インターフェース部４６は、ＳＣＳＩ、ＡＴＡＰＩ、またはＩＥＥＥ１３９４等の規格に準拠したものである。
画像の再生時には、情報蓄積部４７ａまたは４７ｂから読み出される多重化されたＭＰＥＧストリームが分離部４８においてオーディオストリームとビデオストリームに分離され、それぞれオーディオ復号化部４０，ビデオ復号化部５０において元のオーディオ信号、ビデオ信号に復号される。
この記録再生装置は、データ入出力インターフェース部４６を介して計算機５１と接続されており、計算機５１と互換性のあるファイルシステムを用いている。従って、第２の実施の形態の記録再生装置に接続される情報蓄積部４７ａ、４７ｂが可換性記録媒体でも、非可換性記録媒体でも、それらの記録媒体に記録した画像データを計算機５１との間で交換することが可能となる。さらに、計算機５１が符号化したＭＰＥＧストリーム、あるいは計算機５１がネットワーク経由でダウンロードしたＭＰＥＧストリームを記録再生装置で再生、編集することが可能となる。
この第２の実施の形態においては、ＭＰＵ４５はマルチタスクＯＳ環境下で動作し、図１４に示すように複数チャネルの再生タスク３２，６２，録画タスク３３，６３を実行することができる。
図１４において、ユーザインターフェース（ＵＩ）タスクは、ＧＵＩの制御、リモコンの操作信号の検出、パネルボタンの操作信号の検出等を行うタスクであり、検出内容をメッセージとしてメインタスク３３に通知する。
図１５は、このユーザインターフェースタスク６１の処理フローチャートである。ユーザインターフェースタスク６１は、リモコンやパネルボタンが操作されたか否かを判別し（図１５，Ｓ７１）、リモコン、あるいはパネルボタンが押されていないときには、それらの検出処理を繰り返す。
リモコンまたはパネルボタンが押された場合には（Ｓ７２、ＹＥＳ）、メインタスク３１に操作内容を通知する（Ｓ７２）。
メインタスク３３は、ユーザインターフェースタスク６１、録画タスク３３，６３、再生タスク３２，６２からのメッセージに従って録画タスク３３，６３，再生タスク３２，６２を制御する。
図１６は、メインタスク３１の処理のフローチャートである。メインタスク３１は、最初にパラメータの設定等の初期化処理を実行する（図１６，Ｓ８１）。次に、他のタスクからのメッセージを受信し（Ｓ８２）、そのメッセージが終了メッセージか否かを判別する（Ｓ８３）。
受信したメッセージが終了メッセージではないときには（Ｓ８３，ＮＯ）、ステップＳ８４に進み、メッセージの内容に応じて再生中、録画中等の状態を示す情報を設定する。さらに、設定した情報に基づいて再生タスク３２，６２、あるいは録画タスク３３，６３に再生または録画の開始、あるいは終了のメッセージを送信し（Ｓ８４）、その後ステップＳ８２に戻る。
受信したメッセージが終了メッセージのときには（Ｓ８３，ＹＥＳ）、すなわち、ユーザインターフェースタスク６１がユーザの録画、あるいは再生の終了操作を検出し、ユーザインターフェースタスク６１からメインタスク３３へ終了メッセージが送信された場合には、終了処理を実行し、設定したパラメータを元に戻してタスクを終了させる（Ｓ８６）。
再生タスク３２、６２，録画タスク３３、６３は、メインタスク３１からの再生開始／停止、録画開始／停止のメッセージを受信すると、再生処理、録画処理を実行する。
図１７は、再生タスク３２，６２の処理のフローチャートである。再生タスク３２、６２は、最初にパラメータの設定等の初期化処理を実行する（図１７，Ｓ９１）。次に、他のタスクからのメッセージを受信し（Ｓ９２）、そのメッセージが終了メッセージか否かを判別する（Ｓ９３）。
受信したメッセージが終了メッセージではないときには（Ｓ９３，ＮＯ）、ステップＳ９４に進み、例えば、受信メッセージが再生の開始を指示するものであれば、再生開始状態に設定を変更する。そして、メインタスク３１から指示された命令に従って再生データ転送タスク３４ａ、３４ｂまたは６４ａ、６４ｂに実行する処理内容を指示するメッセージを送信し（Ｓ９５）、ステップＳ９２に戻る。
受信したメッセージがタスクの終了を指示するメッセージの場合には（Ｓ９３，ＹＥＳ）、ステップＳ９６に進み、終了処理を実行してタスクを終了させる。
図１８は、情報蓄積部２７ａ、２７ｂ・・から読み出した符号化されたデータをデータ入出力インターフェース部４６を介してメモリ２２へ転送する再生データ転送タスク３４ａ、６４ａの処理内容を示すフローチャートである。
再生データ転送タスク３４ａ、６４ａは、最初に初期設定処理を実行してパラメータの設定を行う（図１８，Ｓ１０１）。次に、他のタスクからメッセージを受信し（Ｓ１０２）、そのメッセージがタスクの終了を指示する終了メッセージか否かを判別する（Ｓ１０３）。
受信したメッセージが終了メッセージではないときには（Ｓ１０３，ＮＯ）、そのメッセージが特殊再生または特殊録画再生に関するメッセージか否かを判別する（Ｓ１０４）。
受信したメッセージが特殊再生または特殊録画再生に関するメッセージであった場合には（Ｓ１０４，ＹＥＳ）、ステップＳ１０５に進み、メッセージの指示内容に基づいてパケット情報リストを参照する。
例えば、メッセージがＮ倍速の再生を指示するものであれば、前述した第１のパケット情報参照方法によりパケット情報リストからＮ−１個おきにＧＯＰのファイルアドレスを読み出す。
受信したメッセージが特殊再生、特殊録画再生を指示するメッセージでなければ（Ｓ１０４，ＮＯ）、そのままステップＳ１０６に進む。
次に、メッセージで指示された再生または録画の内容に応じて必要なデータ転送量を算出する（Ｓ１０６）。
このデータ量の算出処理では、例えば、メッセージで指示された処理内容が任意倍速の順方向の再生であれば、上述したステップＳ１０５で参照したパケット情報リストのファイルアドレスから１ＧＯＰ分のデータ転送量を算出する。また、録画と再生を同時に行うリアルタイムシフトで、早送り再生を行った場合には、再生位置が録画位置を超えないようなデータ転送量を算出する。
次に、上述したパケット情報リストを参照して取得したファイルアドレスに基づいて情報蓄積部４７ａ、４７ｂ・・からのデータの読み出し位置をデータ入出力インターフェース部４６に指示し、データ入出力インターフェース部４６から出力されるデータをメモリ２２へ転送し、ライトポインタの指す位置に書き込む（Ｓ１０７）。データ転送後、メモリ２２のライトポインタの値を変更する（Ｓ１０８）。さらに、データ転送処理の終了、継続、エラーなどの結果を知らせるメッセージを再生タスクに送信する（Ｓ１０９）。その後、ステップＳ１０２に戻り、上述した処理を繰り返す。
また、ステップＳ１０３で受信したメッセージが終了メッセージと判別された場合には（Ｓ１０３，ＹＥＳ）、ステップＳ１１０に進み、終了処理を実行してタスクを終了させる。
次に、図１９は、メモリ２２から分離部４８へデータを転送する再生データ転送タスク３４ｂ、６４ｂの処理のフローチャートである。
図１９のステップＳ１１１〜Ｓ１１４及びＳ１２０の処理は、図１８のステップＳ１０１〜Ｓ１０４及びＳ１１０の処理と同じである。
ステップＳ１１４で、受信したメッセージが特殊再生・特集録画再生を指示するメッセージと判別された場合には（図１９，Ｓ１１４，ＹＥＳ）、ステップＳ１１５に進み、オーディオ復号化部４９，ビデオ復号化部５０の設定を変更する。この設定の変更は、例えば、特殊再生、特殊録画再生の場合には、フレームスキップなどを行わせるように変更する。
次に、メモリ２２に記憶されている再生データのデータ転送量を算出し（Ｓ１１６）、リードポインタの指すデータをメモリ２２から読み出し、読み出した再生データをオーディオ復号化部４９及びビデオ復号化部５０へ転送する（Ｓ１１７）。転送が終了したなら、リードポインタの値を変更する（Ｓ１１８）。そして、データ転送処理の終了、継続、エラーなどの結果を知らせるメッセージを、データの転送指示を行った再生タスク３２または６２へ送信する（Ｓ１１９）。その後、ステップＳ１１２に戻り、上述した処理を繰り返す。
図２０は、録画タスク３３，６３の処理のフローチャートである。録画タスク３３，６３は、最初に、初期化処理を実行してパラメータの設定を行う（図２０，Ｓ１２１）。次に、他のタスクからのメッセージを受信し（Ｓ１２２）、そのメッセージが終了メッセージか否かを判別する（Ｓ１２３）。
受信したメッセージが終了メッセージではないときには（Ｓ１２３，ＮＯ）、ステップＳ１２４に進み、設定変更処理を実行する。この設定変更処理では、例えば、受信メッセージが録画の開始を指示するものであれば、タスクの状態を録画開始状態に設定し、録画の中止を指示するものであれば、録画中止状態に設定する。
次に、指示されたメッセージの内容に応じて録画データ転送タスク３５ａ、３５ｂまたは６５ａ、６５ｂに、データの転送の開始または終了を指示するメッセージを送信する（Ｓ１２５）。その後、ステップＳ１２２に戻る。
受信したメッセージが終了メッセージであった場合には（Ｓ１２３，ＹＥＳ）、ステップＳ１２６に進みタスクを終了させる。
次に、図２１は、録画時に、オーディオ符号化部４１，ビデオ符号化部４２からメモリ２２へのデータ転送を行う録画データ転送タスク３５ａ、６５ａの処理のフローチャートである。
録画データ転送タスク３５ａ、６５ａは、最初に、パラメータの設定等を行う初期化処理を実行する（図２１，Ｓ１３１）。次に、メッセージを受信し（Ｓ１３２）、そのメッセージが終了メッセージか否かを判別する（Ｓ１３２）。
受信したメッセージが終了メッセージではない場合には（Ｓ１３３，ＮＯ）、ステップＳ１３４に進み、メッセージが特殊録画再生を指示するメッセージか否かを判別する（Ｓ１３４）。
受信メッセージが特殊録画再生を指示するメッセージの場合には（Ｓ１３４，ＹＥＳ）、ステップＳ１３５に進み、パケット情報を更新した後、ステップＳ１３６に進む。このパケット情報の更新処理では、パケット情報リストの再生済のＭＰＥＧストリームのパケット情報を、新たに録画するＭＰＥＧストリームのビデオパケットとそのビデオパケットと同期するオーディオパケットのタイムスタンプ等のパケット情報で上書きする。
他方、受信メッセージが特殊録画再生を指示するメッセージではない場合（Ｓ１３４，ＮＯ）、つまり通常の録画の場合には、オーディオ符号化部４１及びビデオ符号化部４２で符号化されたオーディオ及びビデオパケットのタイムスタンプ等のパケット情報をパケット情報リストに追加し、ステップＳ１３６に進む。
ステップＳ１３６では、メモリ２２の最後の書き込みアドレスを示すライトポインタと読み出しアドレスを示すリードポインタとを元にしてデータ転送量を算出する。そして、算出したデータ転送量分のデータを、オーディオ符号化部４１及びビデオ符号化部４２から多重化部４５を介してメモリ２２へ転送する（Ｓ１３７）。データの転送が終了したなら、メモリの書き込み位置を示すライトポインタを最後に書き込みを行ったアドレスに変更する（Ｓ１３８）。そして、録画データの転送の終了、継続、エラーなどの結果を知らせるメッセージを、メモリ２２へのデータの転送を指示した録画タスク３３または６３へ送信する（Ｓ１３９）。
ステップＳ１３３で、受信したメッセージが終了メッセージであると判別された場合には（Ｓ１３３，ＹＥＳ）、終了処理を実行しタスクを終了させる。
次に、図２２は、メモリ２２からデータ入出力インターフェース部４６へ録画データを転送する録画データ転送タスク３５ｂ、６５ｂの処理のフローチャートである。
図２２のステップＳ１４１〜Ｓ１４３の処理は、図２１のステップＳ１３１〜Ｓ３３の処理と同じであり、ステップＳ１４８の処理は、図２１のステップＳ１４０の終了処理と同じである。
ステップＳ１４３で、受信したメッセージが終了メッセージではないと判別された場合には（Ｓ１４３，ＮＯ）、ステップＳ１４４に進み、メモリ２２に記憶されているデータ量からデータ入出力インターフェース部４６へ転送するデータ量を算出する。そして、算出したデータ量分のデータをメモリ２２から読み出しデータ入出力インターフェース部４６へ転送する（Ｓ１４５）。メモリ２２からのデータの転送が終了したなら、リードポインタの値を最後の読み出し位置に変更する（Ｓ１４６）。そして、録画データの転送の終了、継続、エラーなどの結果を知らせるメッセージを、データ入出力インターフェースへ部４６への録画データの転送を指示した録画タスク３３または６３へ送信し（Ｓ１４７）、ステップＳ１４２に戻る。
この第２実施の形態によれば、ビデオ信号とオーディオ信号の符号化及び復号化機能有する記録再生装置において、画像及び音声をＭＰＥＧストリームに変換する際に、パケットヘッダに含まれるＰＴＳと、パケットヘッダのファイルアドレスとからなるパケット情報を作成し、そのパケット情報を参照することで、任意倍速再生、ランダムアクセス、クリップ編集・再生等の特殊再生、録画と再生を同時に行うリアルタイムシフト、録画しながら直前に録画した画像を再生するライブモニタ等の特殊録画再生の録画及び再生位置を簡易に求めることができ、特殊再生、特殊再生録画処理の効率化を図れる。
さらに、録画、再生及びデータ転送処理を、マルチタスク化することで、それぞれの処理の記述を簡素化できる。また、マルチタスク処理の特長の一つとして、タスクの優先順位を設定できることがあげれらる。この特長を利用することで、複数のタスクが存在する場合でも、優先順位を高く設定したタスクは安定して動作させることができる。再生タスクと録画タスクの２つのタスクがある場合でも、録画タスクの優先順位を高く設定することで、記録すべきデータの欠落を防止し、信頼性を向上させることができる。
また、オーディオ符号化部４１及びビデオ符号化部４２からメモリ２２へのデータ転送、メモリ２２からデータ入出力インターフェース部４６へのデータ転送というようなデータ転送パス毎にデータ転送処理をタスク化することで、それぞれのタスクの動作頻度や転送ブロックサイズを独立に設定することが可能となる。これにより、例えば、オーディオ符号化部４１及びビデオ符号化部４２からメモリ２２へデータを転送するデータ転送タスクのデータ転送量、あるいはタスクの動作頻度を、メモリ２２からデータ入出力インターフェース部４６へデータを転送するデータ転送タスクより大きく設定することで、情報蓄積部４７ａ、４７ｂ等で一時的にデータの書き込みができなくなった場合でも、録画すべきデータが欠落してしまうという問題を防止でき、信頼性を向上させることができる。
さらに、データ転送サイズは、ストリームの読出し開始点や終了点で決まるので、通常再生時と特殊再生時とでデータ転送サイズが異なる場合には処理が煩雑となってしまうが、データ転送ブロック毎にタスク化することでデータ転送量の調整が容易になる。
なお、情報蓄積部２４が数秒間処理が中断する場合でも、中断の頻度が小さく、中断時間に相当するデータ量以上のデータを転送可能であれば、タスク構成を簡略化して再生データ転送タスク３４ａで情報蓄積部２４から復号化部２６へ直接データ転送を行うようにしても良い。この場合、再生データ転送タスク３４ｂによるデータ転送が不要となりデータ転送効率が向上するので、より高いビットレートのＭＰＥＧストリームを復号化することが可能となる。一般的にビットレートと画質には相関があり、ビットレートが高いほど画質も良くなる。従って、上述のようなタスクの簡略化が可能であれば、より高画質のストリームを扱うことが可能になり、フレームスキップ機能によりフレームスキップを行った場合でも、より滑らかな高倍速再生が可能になる。
特殊録画再生のアリルタイムシフトやライブモニタを実行する場合、録画したＭＰＥＧストリームのパケット情報を速やかにパケット情報リストに追加する必要がある。そこで、録画データ転送タスク３５ａでＭＰＥＧストリームとパケット情報を同時あるいは非常に近いタイミングで転送することで、常にパケット情報リストを最新のものに更新することができる。そして、そのパケット情報リストを参照することで、リアルタイムシフトやライブモニタを実現することができる。
本実施の形態のＭＰＥＧストリームの記録再生装置で録画したストリームについては、パケット情報作成部２３でパケット情報をほぼリアルタイムに作成することができる。一方、パケット情報の作成機能を有しない他の装置で記録されたＭＰＥＧストリームについては、特殊再生の要求に対応するためにパケット情報を作成する必要がある。そこで、パケット情報作成部２３は、情報蓄積部２４に記録されるＭＰＥＧストリームの中でパケット情報が作成されていないものを自動的に検出、あるいはユーザの指定により選択されたものを、情報蓄積部２４からメモリ２２に読み出し、パケットヘッダ、ＧＯＰヘッダをサーチしてパケット情報を作成する。この処理を再生や録画が行われていない時に行うことによって他のタスクへの影響を少なくできる。
また、本実施の形態のＭＰＥＧストリームの記録再生装置ではＳＣＳＩ，ＡＴＡＰＩ，ＩＥＥＥ１３９４などのデータ入出力インターフェース部４６を設けることにより、複数の情報蓄積部４７ａ、４７ｂ・・・、あるいは他の計算機を利用することができる。
例えば、ハードディスクなどの非可換性記録媒体の情報蓄積部４７ａ、４７ｂ・・・を複数もつことで、より長時間の記録が可能となり、装置の信頼性も向上する。また、ハードディスクなどの非可換性記録媒体と、光磁気ディスク、光ディスクなどの可換性記録媒体との両方を持つことで、長時間の記録が可能となり、さらに記録したＭＰＥＧストリームを他のＭＰＥＧストリーム再生装置で再生することも可能となる。また、ファイルシステムを他の計算機５１と同じものを採用することによって、ＭＰＥＧストリームの記録再生装置の可換性記録媒体に記録したＭＰＥＧストリームを計算機５１で再生や編集することが可能となる。逆に計算機５１で符号化して記録したＭＰＥＧストリームやネットワークからダウンロードしたＭＰＥＧストリームを、ＭＰＥＧストリームの記録再生装置で再生や編集することが可能となる。さらに、計算機５１が、本発明の記録再生装置がサポートする記憶媒体と同一または異なる記憶媒体をサポートしている場合でも、データ入出力インターフェース部４６を介して、両者の記録媒体間でＭＰＥＧストリームや他の符号化されたデータを交換することが可能となる。
次に、図２３は、本発明の第３の実施の形態の記録再生装置の構成を示す図である。
この第３の実施の形態は、録画用データ転送バス７３と再生用データ転送バス７４の２つのデータバスを有し、データ転送時のデータバスにおける転送時間のロスを低減したものである。
さらに、２つのデータバスに対応させて録画用の転送データを記憶するメモリ７２と、再生用データを記憶するメモリ７１の２つのメモリとが設けられている。
オーディオ符号化部４１及びビデオ符号化部４２で符号され、多重化部４３で多重化されたデータは、録画用データ転送バス７３を介してメモり７２へ転送され、さらに、メモリ７２からデータ入出力インターフェース部４６に転送されて情報蓄積部４７ａ、４７ｂに格納される。
また、再生時には、情報蓄積部４７ａ、４７ｂから読み出されたデータはデータ入出力インターフェース部４６から再生用データ転送バス７４を介してメモり７１へ転送され、さらに、メモリ７１から再生用データ転送バス７４を介して分離部４８へ転送される。そして、分離部４８において、ビデオパケット、オーディオパケットに分離され、ビデオ復号化部５０，オーディオ復号化部４９において、それぞれビデオ信号、オーディオ信号に復号される。
この第３の実施の形態によれば、録画用データ転送バス７３と再生用データ転送バス７４の２つのデータ転送バスを設けることで、録画から再生への切り換え時、あるいはその逆のときに、データバス上に他のデータが存在しているか否かを考慮する必要がないので、データ転送の効率化を図れる。
図２４は、上述した実施の形態の記録再生装置の録画再生機能を実現するプログラムをＣＤ−ＲＯＭ、フロッピー（登録商標）ディスク等の可搬記録媒体８１、あるいはプログラム提供者の有する記憶装置８４に記憶しておいて、そのプログラムをユーザの情報処理装置８２にロードして実行する場合の説明図である。
記録再生プログラムがＣＤ−ＲＯＭ、フロッピーディスク等の可搬記録媒体８１に記憶されている場合には、その可搬記録媒体８１を情報処理装置８２のドライブ装置に挿入してプログラムを読み取り、読み取ったプログラムをＲＡＭ、ハードディスク等のメモリ８３に格納してプログラムを実行する。また、プログラム提供者から通信回線を介してプログラムが提供される場合には、プログラム提供者の記憶装置８４、あるいはメモリ等に格納されているプログラムを通信回線を介して情報処理装置８２で受信し、受信したプログラムをＲＡＭ、ハードディスク等のメモリ８３に格納して実行する。なお、記録媒体８１に記録するプログラムは、実施の形態で述べた記録再生機能の一部の機能を実現するものであっても良い。
上述した実施の形態によれば、パケットヘッダに含まれるＰＴＳと、パケットヘッダのファイルアドレスとで構成されるパケット情報を作成し、そのパケット情報を参照することで、ランダムアクセス、任意倍速再生、クリップ編集・再生、リピート再生などの特殊再生機能、リアルタイムシフト、ライブモニタなどの特殊録画再生機能を効率的に実現できる。さらに、再生、録画、再生データ転送、録画データ転送をマルチタスク化することで、それぞれの処理の記述、特にデータ転送処理の記述を簡素化できる。
さらに、録画に関わるタスクの優先順位をより高くすることで記録すべきデータの欠落を抑制することができる。また、再生、録画、データ転送タスクを多チャネル化することにより、それぞれの処理に関する記述の煩雑さを低減することができる。データ転送ブロック毎にタスク化し、メモリに十分データを蓄積しておくことで、情報蓄積部で書込みや読出しが中断した場合にデータ転送が滞ってしまうことを防止できる。
データ転送ブロック毎にデータ転送量を個別に設定可能とすることで、特殊再生、特殊録画時に効率よくデータ転送を可能とすることができる。
符号化部からメモリへデータ転送するときに、ＭＰＥＧストリームとともにパケット情報を転送して常にパケット情報リストを更新することで、リアルタイムシフトのように予め録画時間が決められておらず、パケット情報が未確定な場合でも、更新されたパケット情報を用いることで録画可能な記憶領域が分かるので、特殊録画再生を容易に実現できる。
外部で符号化されたＭＰＥＧストリームでパケット情報リストを持たないものに対して、再生も録画も行われていない時にパケット情報を作成することで、外部で符号化されたＭＰＥＧストリームの特殊再生が可能となる。
さらに、ファイルシステムを他の計算機５１と互換性のあるものを採用することで、他の計算機５１で符号化したＭＰＥＧストリーム、計算機５１がネットワークからダウンロードしたＭＰＥＧストリームを、ＭＰＥＧストリームの記録再生装置で再生や編集することが可能となる。
また、ファイルシステムを他のシステムと互換性のあるものを採用することにより、本発明に係る記録再生装置の情報蓄積部４７ａ、４７ｂが非可換性記録媒体であっても、可換性記録媒体であっても、他のシステムとＭＰＥＧストリームやデータの交換が可能となり、記録再生装置の性能向上、コスト削減に寄与するところが大きい。
さらに、データ入出力インターフェース部４６を設けることにより、記録再生装置が複数の情報蓄積部４７ａ、４７ｂ・・・及びその他の記録媒体を利用可能となる。
上述した実施の形態は、本発明をＭＰＥＧストリームの記録再生装置に適用した場合について説明したが、ＭＰＥＧ形式のデータに限らず他の形式の符号化データにも本発明は適用できる。また、録画、再生機能の両方を有する装置に限らず、再生機能のみを有する装置であっても良い。その場合、再生装置が外部または内部の記録媒体に記録された符号化されたデータから上述したパケット情報を作成する機能を有するようにしても良いし、パケット情報の作成機能は持たず、他の装置で作成されたパケット情報に基づいてデータを再生するようにしても良い。また、符号化されたデータを記録する記録媒体は、磁気ディスク、光ディスク、光磁気ディスク等に限らず、半導体メモリ等でも良い。
さらに、本発明の再生装置、記録再生装置は専用の装置であっても良いし、本発明の記録再生機能、あるいは再生機能をパーソナルコンピュータ等の情報処理装置に組み込んでも良い。
付記：本発明は、以下のような構成の画像再生装置、画像記録再生装置、画像記録再生方法及び記録媒体を含む。
（１）符号化された画像データのパケットヘッダ部に含まれるタイムスタンプと、パケットヘッダ部を指す情報とからなるパケット情報を参照するパケット情報参照手段と、前記パケット情報参照手段により参照されたパケット情報に基づいて、符号化された画像データを復号する復号化手段とを備えることを特徴とする画像再生装置。
（２）符号された画像データのパケットヘッダ部に含まれるタイムスタンプと、パケットヘッダ部を指す情報とからなるパケット情報を作成するパケット情報作成手段とを備える上記（１）記載の画像再生装置。
（３）画像を符号化して外部または内部の記録媒体に記録させる符号化手段を備える（２）記載の画像再生装置。
（４）前記符号された画像データはＭＰＥＧ形式で符号化された画像であり、前記パケット情報はＭＰＥＧストリームのパケットヘッダに含まれるプレゼンテーションタイムスタンプと、パケットヘッダのファイルアドレスとからなることを特徴とする（１）、（２）または（３）記載の画像再生装置。
（５）前記パケット情報作成手段は、ＭＰＥＧストリームのＧＯＰヘッダを含むパケットヘッダを抽出し、ＧＯＰヘッダを含むパケットヘッダのパケット情報からなるパケット情報リストを作成することを特徴とする（４）記載の画像再生装置。
（６）前記パケット情報作成手段は、任意倍速の再生が可能となるようにパケット情報に順に項番号を付与したパケット情報リスト作成し、前記復号化手段は、前記パケット情報リストの項番号に基づいて、符号化された画像データの再生開始位置または終了位置を求めることを特徴とする（１）、（２），（３）または（４）記載の画像再生装置。
（７）前記復号化手段は、ＭＰＥＧストリームの先頭からの時間を基準にして再生する場合に、前記時間をタイムスタンプに変換し、前記パケット情報に基づいて、変換したタイムスタンプに近い時間情報を有するパケットヘッダのファイルアドレスを取得し、再生を行うことを特徴とする（４）または（５）記載の画像再生装置。
（８）前記復号化手段は、復号処理中のパケットを基準とした時間で再生する場合に、前記時間をタイムスタンプに変換し、前記パケット情報に基づいて、変換したタイムスタンプと復号処理中の基準となる時間情報とから得られる値に近い値を有するパケットのファイルアドレスを取得し、再生を行うことを特徴とする（４）または（５）記載の画像再生装置。
（９）前記復号化手段は、前記パケット情報に基づいてＭＰＥＧストリームのパケット単位でランダムにアクセスすることを特徴とする（４）または（５）記載の画像再生装置。
（１０）前記復号化手段は、前記パケット情報リストに基づいて、Ｎ（正または負の整数）個先のＧＯＰをアクセスする操作を繰り返すことで任意倍速の再生を行うことを特徴とする（１）、（２）、（３）、（４）、（５）または（６）記載の画像再生装置。
（１１）前記復号化手段は、逆再生を行う場合に、Ｎ個前のＧＯＰの１フレーム分の画像を復号し、残りのフレームをスキップして再生することを特徴とする（１０）記載の画像再生装置。
（１２）ＭＰＥＧストリームからクリップを作成する場合に、クリップの開始点及び終了点を、前記ＭＰＥＧストリームの先頭からの時間または前記パケット情報リストの項番号により指定することを特徴とする（４）記載の画像再生装置。
（１３）リピート再生を行う場合に、再生開始点と終了点をＭＰＥＧストリームの先頭からの時間または前記パケット情報リストの項番号で指定することを特徴とする（４）記載の画像再生装置。
（１４）再生済のストリームに上書記録するリアルタイムシフトを行う場合に、上書開始点と上書終了点をストリーム先頭からの時間またはパケット情報リストの項番号で指定することを特徴とする（４）記載の画像再生装置。
（１５）録画と同時に、直前に録画した画像を再生する場合に、再生開始点及び終了点をストリーム先頭からの時間またはパケット情報リストの項番号で指定することを特徴とする（４）記載の画像再生装置。
（１６）前記符号化手段、復号化手段、符号化された画像データの転送の制御をマルチタスクＯＳ上のタスク化することを特徴とする（３）記載の画像再生装置。
（１７）前記復号化手段による復号化処理及び前記符号化手段による符号化処理をを複数チャネル分設け、それぞれの処理をマルチタスクＯＳのタスク化することを特徴とする（３）記載の画像再生装置。
（１８）前記符号化手段の画像の符号化処理、符号化された画像データを記録手段に転送する録画データ転送処理、前記記録手段に記録された画像データを復号化手段へ転送する再生データ転送処理及び復号化手段の符号化された画像データの復号化処理をマルチタスク化することを特徴とする（３）記載の画像再生装置。
（１９）符号化手段からメモリへの録画データを転送する転送処理、前記メモリから記録手段への録画データの転送処理、前記記録手段から前記メモリへの再生データの転送処理及び前記メモリから前記復号化手段への再生データの転送処理をそれぞれマルチタスク化し、録画に関わるタスクの優先順位を再生に関わるタスクの優先順位より高く設定することを特徴とする（３）記載の画像再生装置。
（２０）録画データの転送タスク及び再生データの転送タスクのデータの転送ブロックサイズを個別に設定できるようにしたことを特徴とする（１８）記載の画像再生装置。
（２１）前記記録手段からメモリへ再生データを転送する第１の再生データ転送タスク、前記メモリから前記復号化手段へ再生データを転送する第２の再生データ転送タスク、前記符号化手段から前記メモリへ録画データを転送する第１の録画データ転送タスク及び前記メモリから前記記録手段へ録画データを転送する第２の録画データ転送タスクの転送データブロックサイズを、タスク毎に個別に設定できるようにしたことを特徴とする（３）記載の画像再生装置。
（２２）特殊再生を行わない場合、前記第１の再生データ転送タスクと前記第２の再生データ転送タスクを１つのタスクで構成し、前記記録手段から前記復号化手段へ直接再生データを転送することを特徴とする（２１）記載の画像再生装置。
（２３）録画時に、前記符号化手段からメモリまたは記録手段へ録画データを転送するタスクが、前記パケット情報作成手段により作成されるパケット情報を同時に転送することを特徴とする（３）記載の画像再生装置。
（２４）前記パケット情報作成手段は、録画、再生を行っていないときに、パケット情報が作成されていない画像データのパケットヘッダからタイムスタンプを抽出してパケット情報リストを作成することを特徴とする（１）、（２）または（３）記載の画像再生装置。
（２５）外部または内部の複数の記録手段を接続できるようにデータ入出力インターフェース手段を備えたことを特徴とする（１）、（２）または（３）記載の画像再生装置。
（２６）ファイルシステムを他の情報処理装置と互換性があるようにし、他の情報処理装置との間で画像データを共通に録画または再生できるようにしたことを特徴とする（１）、（２）または（３）記載の画像再生装置。
（２７）画像を符号化して外部または内部の記録媒体に記録させ、 符号化された画像データのパケットヘッダ部に含まれるタイムスタンプと、パケットヘッダ部を指す情報とからなるパケット情報を参照し、参照されたパケット情報に基づいて、符号化された画像データを復号することを特徴とする画像記録再生方法。
（２８）符号された画像データのパケットヘッダ部に含まれるタイムスタンプと、パケットヘッダ部を指す情報とからなるパケット情報を作成することを特徴とする（２７）記載の画像記録再生方法。
（２９）前記パケット情報は、ＭＰＥＧストリームのパケットヘッダに含まれるプレゼンテーションタイムスタンプとパケットヘッダのファイルアドレスとからなることを特徴とする（２７）記載の画像記録再生方法。
（３０）画像の符号化処理、符号化された画像データを記録媒体に転送する録画データ転送処理、記録媒体に記録されたデータを再生のために転送する再生データ転送処理及び符号化された画像データの復号化処理をマルチタスク化することを特徴とする（２７）記載の画像記録再生方法。
（３１）録画時に、符号化した録画データをメモリへ転送する第１の録画データ転送処理、前記メモリから記録媒体へ録画データを転送する第２の録画データの転送処理を、再生時に、記録媒体から前記メモリへ再生データを転送する第１の再生データ転送処理及び前記メモリのデータを復号化処理を実行するタスクへ転送する第２の再生データ転送処理を、それぞれマルチタスク化し、録画に関わるタスクの優先順位を再生に関わるタスクの優先順位より高く設定することを特徴とする（２７）記載の画像記録再生方法。
（３２）画像を符号化して外部または内部の記録媒体に記録させ、符号化された画像データのパケットヘッダ部に含まれるタイムスタンプと、パケットヘッダ部を指す情報とからなるパケット情報を参照させ、参照されたパケット情報に基づいて、符号化された画像データを復号させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
（３３）符号された画像データのパケットヘッダ部に含まれるタイムスタンプと、パケットヘッダ部を指す情報とからなるパケット情報を作成させることを特徴とする（３２）記載のコンピュータ読み取り可能な記録媒体。
産業上の利用可能性 本発明によれば、パケットヘッダに含まれるＰＴＳと、パケットヘッダを指す情報とで構成されるパケット情報を作成し、そのパケット情報を参照することで、ランダムアクセス、任意倍速再生、クリップ編集・再生、リピート再生などの特殊再生、リアルタイムシフト、ライブモニタなどの特殊録画再生を効率的に行うことができる。さらに、再生、録画、再生データ転送、録画データ転送をマルチタスク化することで、それぞれの処理の記述、特にデータ転送処理の記述を簡素化できる。また、データ転送タスクの転送データのブロックサイズをタスク毎に個別に設定できるようにすることで、特殊再生、特殊録画再生時に効率良くデータを転送することができる。

Claims (4)

  1. 符号化された画像データのパケットヘッダに含まれるタイムスタンプと、前記パケットヘッダのファイルアドレスを有するパケット情報を時間順に格納したパケット情報リストを作成するパケット情報リスト作成手段と、
    前記パケット情報リストからｎ個おきに前記パケット情報を読み出し、前記パケット情報に対応する符号化された前記画像データを復号することでｎ倍速の再生を行う復号化手段とを備えることを特徴とする画像再生装置。
  2. 画像を符号化する符号化手段と、
    符号された画像データのパケットヘッダに含まれるタイムスタンプと、パケットヘッダのファイルアドレスとを有するパケット情報を時間順に格納したパケット情報リストを作成するパケット情報リスト作成手段と、
    前記パケット情報リストからｎ個おきに前記パケット情報を読み出し、前記パケット情報に対応する符号化された前記画像データを復号することでｎ倍速の再生を行う復号化手段とを備えることを特徴とする画像記録再生装置。
  3. 符号化された画像データのパケットヘッダに含まれるタイムスタンプと、前記パケットヘッダのファイルアドレスとを有するパケット情報を時間順に格納したパケット情報リストを作成して記憶手段に記憶し、
    前記記憶手段に記憶されている前記パケット情報リストからｎ個おきに前記パケット情報を読み出し、前記パケット情報に対応する符号化された前記画像データを復号することでｎ倍速の再生を行うことを特徴とする画像再生方法。
  4. 前記パケット情報リスト作成手段は、前記パケット情報に順に項番号を付与した前記パケット情報リストを作成し、
    前記復号化手段は、再生中にｎ倍速の再生が指定された場合には、現在復号中の画像データに対応する前記パケット情報リストの項番号を特定し、現在復号中の画像データの項番号を基準にしてｎ個おきに前記パケット情報を読み出すことでｎ倍速の再生を行うことを特徴とする請求項１記載の画像再生装置。
JP2001500396A 1999-10-29 1999-10-29 画像再生装置および画像記録再生装置 Expired - Lifetime JP4421156B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP1999/006053 WO2001033832A1 (fr) 1999-10-29 1999-10-29 Appareil de reproduction d'images et appareil d'enregistrement/reproduction d'images

Publications (1)

Publication Number Publication Date
JP4421156B2 true JP4421156B2 (ja) 2010-02-24

Family

ID=14237156

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001500396A Expired - Lifetime JP4421156B2 (ja) 1999-10-29 1999-10-29 画像再生装置および画像記録再生装置

Country Status (3)

Country Link
US (1) US6807363B1 (ja)
JP (1) JP4421156B2 (ja)
WO (1) WO2001033832A1 (ja)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040068583A1 (en) * 2002-10-08 2004-04-08 Monroe David A. Enhanced apparatus and method for collecting, distributing and archiving high resolution images
US7382736B2 (en) 1999-01-12 2008-06-03 Mcdata Corporation Method for scoring queued frames for selective transmission through a switch
US7356030B2 (en) * 2000-11-17 2008-04-08 Foundry Networks, Inc. Network switch cross point
US7596139B2 (en) 2000-11-17 2009-09-29 Foundry Networks, Inc. Backplane interface adapter with error control and redundant fabric
US7236490B2 (en) 2000-11-17 2007-06-26 Foundry Networks, Inc. Backplane interface adapter
US7002980B1 (en) 2000-12-19 2006-02-21 Chiaro Networks, Ltd. System and method for router queue and congestion management
JP2002330379A (ja) * 2001-05-02 2002-11-15 Sony Corp コンテンツ提供装置
US7206283B2 (en) * 2001-05-15 2007-04-17 Foundry Networks, Inc. High-performance network switch
JP3743509B2 (ja) * 2002-03-20 2006-02-08 セイコーエプソン株式会社 データ転送制御装置及び電子機器
US7468975B1 (en) 2002-05-06 2008-12-23 Foundry Networks, Inc. Flexible method for processing data packets in a network routing system for enhanced efficiency and monitoring capability
US7187687B1 (en) 2002-05-06 2007-03-06 Foundry Networks, Inc. Pipeline method and system for switching packets
US7266117B1 (en) 2002-05-06 2007-09-04 Foundry Networks, Inc. System architecture for very fast ethernet blade
US7649885B1 (en) 2002-05-06 2010-01-19 Foundry Networks, Inc. Network routing system for enhanced efficiency and monitoring capability
US20120155466A1 (en) 2002-05-06 2012-06-21 Ian Edward Davis Method and apparatus for efficiently processing data packets in a computer network
JP3866611B2 (ja) * 2002-05-08 2007-01-10 株式会社東芝 記録停止処理方法及びデータ記録装置
TWI260591B (en) * 2002-10-14 2006-08-21 Samsung Electronics Co Ltd Information storage medium with structure for multi-angle data, and recording and reproducing apparatus therefor
US7835437B1 (en) * 2003-03-10 2010-11-16 Ji Zhang Statistical remultiplexing of compressed video segments
US7016983B2 (en) * 2003-04-12 2006-03-21 Ess Technology, Inc. System and method for controlling a communication bus
JP4228767B2 (ja) * 2003-04-25 2009-02-25 ソニー株式会社 再生装置、再生方法、再生プログラムおよび記録媒体
US6901072B1 (en) 2003-05-15 2005-05-31 Foundry Networks, Inc. System and method for high speed packet transmission implementing dual transmit and receive pipelines
JP2005136537A (ja) * 2003-10-29 2005-05-26 Sony Corp ファイル記録装置、ファイル再生装置、ファイル編集装置、ファイル記録方法、ファイル再生方法、ファイル編集方法、ファイル記録方法のプログラム、ファイル再生方法のプログラム、ファイル編集方法のプログラム、ファイル記録方法のプログラムを記録した記録媒体、ファイル再生方法のプログラムを記録した記録媒体、ファイル編集方法のプログラムを記録した記録媒体、記録媒体
US7817659B2 (en) 2004-03-26 2010-10-19 Foundry Networks, Llc Method and apparatus for aggregating input data streams
US8730961B1 (en) 2004-04-26 2014-05-20 Foundry Networks, Llc System and method for optimizing router lookup
EP2348717B1 (en) * 2004-07-01 2015-01-28 Mitsubishi Electric Corporation Randomly accessible visual information recording medium and reproducing device
US7671893B2 (en) * 2004-07-27 2010-03-02 Microsoft Corp. System and method for interactive multi-view video
US7657703B1 (en) 2004-10-29 2010-02-02 Foundry Networks, Inc. Double density content addressable memory (CAM) lookup scheme
US8050328B2 (en) * 2005-01-17 2011-11-01 Panasonic Corporation Image decoding method
US7848621B2 (en) * 2005-07-01 2010-12-07 Sony Corporation File format translation
KR100762957B1 (ko) * 2005-07-19 2007-10-04 삼성전자주식회사 ＡＶ(Ａｕｄｉｏ Ｖｉｓｕａｌ) 스트림을 디스크램블하는방법 및 장치
US8644682B2 (en) * 2005-08-29 2014-02-04 Sony Corporation Playable content
US8229278B2 (en) * 2005-08-29 2012-07-24 Sony Corporation Portfolios in disc authoring
US20080244407A1 (en) * 2005-08-29 2008-10-02 Eklund Don Abstractions in disc authoring
US7949229B2 (en) * 2005-08-29 2011-05-24 Sony Corporation Discontinuous timeline in disc authoring
US7773864B2 (en) * 2005-08-29 2010-08-10 Sony Corporation Slicing interactive graphic data in disc authoring
US8213771B2 (en) * 2005-08-29 2012-07-03 Sony Corporation Templatized commands in disc authoring
US20080238938A1 (en) * 2005-08-29 2008-10-02 Eklund Don Effects for interactive graphic data in disc authoring
US8448162B2 (en) 2005-12-28 2013-05-21 Foundry Networks, Llc Hitless software upgrades
US7903654B2 (en) 2006-08-22 2011-03-08 Foundry Networks, Llc System and method for ECMP load sharing
US8238255B2 (en) 2006-11-22 2012-08-07 Foundry Networks, Llc Recovering from failures without impact on data traffic in a shared bus architecture
US8155011B2 (en) 2007-01-11 2012-04-10 Foundry Networks, Llc Techniques for using dual memory structures for processing failure detection protocol packets
US8037399B2 (en) 2007-07-18 2011-10-11 Foundry Networks, Llc Techniques for segmented CRC design in high speed networks
US8271859B2 (en) 2007-07-18 2012-09-18 Foundry Networks Llc Segmented CRC design in high speed networks
US8509236B2 (en) 2007-09-26 2013-08-13 Foundry Networks, Llc Techniques for selecting paths and/or trunk ports for forwarding traffic flows
US8190881B2 (en) 2007-10-15 2012-05-29 Foundry Networks Llc Scalable distributed web-based authentication
US8090901B2 (en) 2009-05-14 2012-01-03 Brocade Communications Systems, Inc. TCAM management approach that minimize movements
US8599850B2 (en) 2009-09-21 2013-12-03 Brocade Communications Systems, Inc. Provisioning single or multistage networks using ethernet service instances (ESIs)
JP5525831B2 (ja) * 2010-01-18 2014-06-18 Ｎｅｃパーソナルコンピュータ株式会社 再生装置、制御方法及びプログラム
JP2012185899A (ja) * 2011-02-15 2012-09-27 Jvc Kenwood Corp 再生装置、再生方法、及び、プログラム
JP5699812B2 (ja) * 2011-05-31 2015-04-15 船井電機株式会社 再生装置
EP2798843A4 (en) * 2011-12-28 2015-07-29 Intel Corp SYSTEMS AND METHOD FOR INTEGRATED METADATA INSERT IN A VIDEO CODING SYSTEM
CN115661308B (zh) * 2022-11-03 2024-03-19 北京百度网讯科技有限公司 驱动数字人的方法、装置、电子设备和存储介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020048448A1 (en) * 1993-03-29 2002-04-25 Microsoft Corporation Pausing the display of a television program as a signal including the television program is received
JP3552249B2 (ja) * 1993-07-09 2004-08-11 ソニー株式会社 画像および音声信号処理方法とその装置
WO1995008823A1 (fr) * 1993-09-21 1995-03-30 Sony Corporation Procede et dispositif de transmission de donnees, decodeur de donnees et support d'enregistrement de donnees
RU2142167C1 (ru) * 1993-12-18 1999-11-27 Сони Корпорейшн Среда для хранения данных и устройство воспроизведения данных (варианты)
JPH0863884A (ja) * 1994-08-23 1996-03-08 Mitsubishi Electric Corp ディジタル情報符号化・復号装置
JPH0883884A (ja) 1994-09-12 1996-03-26 Yotaro Hatamura 三次元半導体集積回路およびその製造方法
GB2294173B (en) * 1994-10-11 1998-12-09 Mitsubishi Electric Corp Disk media, and method of and device for recording and playing back information on or from a disk media
JP3248380B2 (ja) * 1994-12-15 2002-01-21 ソニー株式会社 データ復号化装置およびデータ復号化方法
JP3270983B2 (ja) * 1994-12-21 2002-04-02 ソニー株式会社 画像データ符号化方法及び装置、画像データ復号化方法及び装置
JP3491365B2 (ja) * 1995-01-31 2004-01-26 ソニー株式会社 符号化データ復号方法および復号装置
US6002834A (en) * 1995-02-24 1999-12-14 Hitachi, Ltd. Optical disk having table relating sector address and time and optical disk reproducing apparatus
EP0735782A3 (en) * 1995-03-31 1998-01-07 Kabushiki Kaisha Toshiba Motion picture play apparatus capable of returning from trick play to normal play
JPH08331511A (ja) 1995-03-31 1996-12-13 Toshiba Corp 動画像再生装置及び動画像再生処理回路
US20020044757A1 (en) * 1995-08-04 2002-04-18 Sony Corporation Information carrier, device for reading and device for providing the information carrier and method of transmitting picture information
JPH09128895A (ja) * 1995-10-31 1997-05-16 Toshiba Corp 映像音声再生装置における音声処理装置
JPH09167445A (ja) * 1995-12-18 1997-06-24 Nippon Columbia Co Ltd デジタルディスク再生方法及びその再生装置
CN1207075A (zh) 1996-01-04 1999-02-03 新西兰戴利研究会 容器密封
JPH09205618A (ja) * 1996-01-29 1997-08-05 Mitsubishi Electric Corp 動画像音声伸張再生装置および動画像音声同期制御器
JP3592906B2 (ja) * 1996-10-04 2004-11-24 松下電器産業株式会社 データ処理同期装置
US6041067A (en) 1996-10-04 2000-03-21 Matsushita Electric Industrial Co., Ltd. Device for synchronizing data processing
CN1150456C (zh) * 1996-10-15 2004-05-19 松下电器产业株式会社 图象编码方法和编码设备
JP3058263B2 (ja) * 1997-07-23 2000-07-04 日本電気株式会社 データ送信装置、データ受信装置
JPH11141559A (ja) 1997-11-10 1999-05-25 Nippon Steel Corp グリース循環給脂装置
JP3063841B2 (ja) * 1997-11-26 2000-07-12 日本電気株式会社 オーディオ・ビデオ同期再生装置

Also Published As

Publication number Publication date
WO2001033832A1 (fr) 2001-05-10
US6807363B1 (en) 2004-10-19

Similar Documents

Publication Publication Date Title
JP4421156B2 (ja) 画像再生装置および画像記録再生装置
JP4270379B2 (ja) デジタル情報の効率的な伝送および再生
JP5189640B2 (ja) ビデオデータの再生システム
JP3491365B2 (ja) 符号化データ復号方法および復号装置
JP4579290B2 (ja) 記録装置、記録媒体の製造方法、管理情報の製造方法、再生装置、再生方法、およびプログラム
JP4299836B2 (ja) データ処理装置
JP4355659B2 (ja) データ処理装置
US8249419B2 (en) Method for generating additional information for guaranteeing seamless playback between data streams, recording medium storing the information, and recording, editing and/or playback apparatus using the same
JP2007504778A (ja) 記録再生方法及び映像記録再生システム
WO2005117432A1 (ja) 番組録画装置および番組録画方法
JP2002199346A (ja) ディジタル記録再生装置
US8346059B2 (en) Data processing device, data processing method, program, program recording medium, data recording medium, and data structure
JP2005005855A (ja) 記録装置
JP2006333330A (ja) データ処理方法、その装置およびプログラム
JP2005005810A (ja) メディアデータ管理方法、ディスク録画装置、ディスク再生装置、メディアデータ管理システム、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体
US6999090B2 (en) Data processing apparatus, data processing method, information storing medium, and computer program
JP2004355794A (ja) 記録再生装置及び記録再生方法
WO2001035652A1 (fr) Systeme d'enregistrement/reproduction/edition pour flux de donnees video/vocales
JP2000011545A (ja) 記録装置及び方法
WO2003065715A1 (fr) Appareil, systeme et procede d'enregistrement/lecture de donnees audio/video, support enregistre par eux, appareil de reproduction de donnees audio/video, et structure de donnees
JP4441572B2 (ja) 記録装置
JP4425134B2 (ja) デジタルコンテンツ分割装置、デジタルコンテンツ再生装置、及びデジタルコンテンツ分割方法
JPH11317058A (ja) 再生装置及び記録再生装置
JP4048809B2 (ja) データ処理装置および方法、記録媒体、並びにプログラム
JP2008294883A (ja) データ記録装置、データ再生装置、データ記録再生システムおよびデータ再生プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091201

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091202

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121211

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4421156

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121211

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131211

Year of fee payment: 4

EXPY Cancellation because of completion of term