JP4724919B2 - 記録装置および記録方法、再生装置および再生方法、並びに記録媒体 - Google Patents

記録装置および記録方法、再生装置および再生方法、並びに記録媒体 Download PDF

Info

Publication number
JP4724919B2
JP4724919B2 JP2001001030A JP2001001030A JP4724919B2 JP 4724919 B2 JP4724919 B2 JP 4724919B2 JP 2001001030 A JP2001001030 A JP 2001001030A JP 2001001030 A JP2001001030 A JP 2001001030A JP 4724919 B2 JP4724919 B2 JP 4724919B2
Authority
JP
Japan
Prior art keywords
stream
video stream
screen
encoded
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001001030A
Other languages
English (en)
Other versions
JP2002058024A (ja
Inventor
元樹 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2001001030A priority Critical patent/JP4724919B2/ja
Priority to TW90113082A priority patent/TW519841B/zh
Priority to EP01304813.7A priority patent/EP1162845B1/en
Priority to MYPI20012605 priority patent/MY128385A/en
Priority to US09/872,274 priority patent/US6940901B2/en
Priority to KR1020010030658A priority patent/KR100724206B1/ko
Priority to CNB011221909A priority patent/CN1189017C/zh
Publication of JP2002058024A publication Critical patent/JP2002058024A/ja
Application granted granted Critical
Publication of JP4724919B2 publication Critical patent/JP4724919B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4344—Remultiplexing of multiplex streams, e.g. by modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2508—Magnetic discs
    • G11B2220/2516—Hard disks
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2525—Magneto-optical [MO] discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、情報処理装置および方法、並びに記録媒体に関し、特に、より効率的にビデオデータを再エンコードすることができるようにした情報処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
ヨーロッパのDVB（Digital Video Broadcast）放送、アメリカのDTV（Digital Television）放送、日本のＢＳ（Broadcast Satellite）デジタル放送などのデジタルテレビジョン放送では、MPEG（Moving Picture Expert Group）２トランスポートストリームが用いられる。トランスポートストリームは、トランスポートパケットが連続したストリームであり、トランスポートパケットは、例えば、ビデオデータやオーディオデータがパケット化されたものである。１つのトランスポートパケットのデータ長は、１８８バイトである。
【０００３】
ところで、デジタルテレビジョン放送では、アナログテレビジョン放送とは異なり、マルチメディア符号化データを付加したサービスを提供することが可能である。このサービスでは、ビデオデータ、オーディオデータ、文字図形のデータ、静止画のデータなどのデータがマルチメディア符号化データにより関連付けられて送信される。マルチメディア符号化データには、例えば、日本のＢＳデジタル放送の場合、XML（Extensible Markup Language）ベースの符号化方式が用いられる。その詳細は、例えば、ARIB STD-B24 Data Coding and transmission Specification for digital broadcasting（ARIB STD-B24 デジタル放送におけるデータ放送符号化方式と伝送方式）などに開示されている。
【０００４】
ビデオデータ、オーディオデータ、文字図形のデータ、静止画のデータなどのデータは、それぞれトランスポートパケット化されて送信される。
【０００５】
ところで、デジタルテレビジョン放送で、いわゆるトランスポートストリームのテレビジョンプログラムを、受信側において、そのまま記録すれば、画質や音質を劣化させることなく、テレビジョンプログラムを記録することが可能となる。しかしながら、例えば、画質を多少劣化させても、限られた容量の記録媒体に、できるだけ長時間のテレビジョンプログラムを記録したい場合がある。このような場合、例えば、ビデオストリームを再エンコードしてビットレートを下げることが考えられる。
【０００６】
【発明が解決しようとする課題】
従来、このような場合、ビデオストリームとそれ以外のストリームを、同一の割合で、そのビットレートを低下させるようにしていた。
【０００７】
例えば、入力されたトランスポートストリームのビットレートを１／２にして出力するような場合、ビデオストリームのビットレートを１／２にするとともに、ビデオストリーム以外のストリームのビットレートも１／２にするようにしていた。その結果、特に、比較的データ量の少ないビデオストリーム以外の、例えば、オーディオのストリームに対する影響が大きくなり、音質が極端に劣化する課題があった。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、ビデオストリーム以外のストリームの極端な劣化を抑制することができるようにするものである。
【０００９】
【課題を解決するための手段】
本発明の記録装置は、多重化ストリームを入力する入力手段と、入力された前記多重化ストリームからビデオストリームを抽出する抽出手段と、抽出された前記ビデオストリームを再符号化する再符号化手段と、前記再符号化の際に、再符号化される前の前記ビデオストリームの画面の表示情報を生成する生成手段と、再符号化された前記ビデオストリーム及び前記画面の表示情報を出力する出力手段とを備え、前記出力手段は、再符号化された前記ビデオストリームを含むソースパケットストリームと前記画面の表示情報とを、それぞれ別ファイルとして記録媒体に出力する。
【００１０】
前記画面の表示情報は、再符号化される前の前記ビデオストリームのフレーム画面のアスペクト比であるようにすることができる。
【００１１】
前記多重化ストリームは、少なくともオーディオストリームを含み、前記再符号化手段により所定のビットレートで再符号化された前記ビデオストリームと、再符号化される前のビットレートの前記オーディオストリームとを再多重化する多重化手段をさらに備えるようにすることができる。
【００１２】
前記ビデオストリームの前記所定のビットレートは、所定の固定出力ビットレートから、前記ビデオストリーム以外のビットレートを減算したビットレートであるようにすることができる。
【００１３】
本発明の記録方法は、多重化ストリームを入力する入力ステップと、入力された前記多重化ストリームからビデオストリームを抽出する抽出ステップと、抽出された前記ビデオストリームを再符号化する再符号化ステップと、前記再符号化の際に、再符号化される前の前記ビデオストリームの画面の表示情報を生成する生成ステップと、再符号化された前記ビデオストリーム及び前記画面の表示情報を出力する出力ステップとを含み、前記出力ステップの処理は、再符号化された前記ビデオストリームを含むソースパケットストリームと前記画面の表示情報とを、それぞれ別ファイルとして記録媒体に出力する。
【００１４】
本発明の記録媒体のプログラムは、多重化ストリームを入力する入力ステップと、入力された前記多重化ストリームからビデオストリームを抽出する抽出ステップと、抽出された前記ビデオストリームを再符号化する再符号化ステップと、前記再符号化の際に、再符号化される前の前記ビデオストリームの画面の表示情報を生成する生成ステップと、再符号化された前記ビデオストリーム及び前記画面の表示情報を出力する出力ステップと、出力された、再符号化された前記ビデオストリームを含むソースパケットストリームと前記画面の表示情報とを、それぞれ別ファイルとして記録媒体に出力するステップとを含む。
【００１５】
本発明の記録装置および方法、並びに記録媒体のプログラムにおいては、多重化ストリームが入力され、入力された多重化ストリームからビデオストリームが抽出され、抽出されたビデオストリームが再符号化され、再符号化の際に、再符号化される前のビデオストリームの画面の表示情報が生成され、再符号化されたビデオストリーム及び画面の表示情報が出力され、出力された、再符号化されたビデオストリームを含むソースパケットストリームと画面の表示情報とが、それぞれ別ファイルとして記録媒体に出力される。
【００１６】
【発明の実施の形態】
以下に、本発明の実施の形態について、図面を参照して説明する。図１は、本発明を適用した記録装置１の一実施の形態の構成を示す図である。アンテナ（不図示）により受信されたトランスポートストリームは、セレクタ１０に入力される。セレクタ１０には、端子１１から、ユーザから指定される番組番号（チャンネル番号）も入力される。セレクタ１０は、番組番号に基づいて、入力されたトランスポートストリームから、指定された番組を抜き出し、パーシャルトランスポートストリームを出力する。パーシャルトランスポートストリームは、デマルチプレクサ１２と解析部１３に入力される。
【００１７】
デマルチプレクサ１２に入力されたトランスポートストリームは、ビデオストリームと、それ以外のストリーム（オーディオ、静止画、文字図形データ、マルチメディア符号化データなどのデータで構成されるストリーム）に分離する。分離されたビデオストリームは、デコーダ１４に、それ以外のストリームは、マルチプレクサ１６に、それぞれ出力される。デマルチプレクサ１２は、また、ビデオ以外のトランスポートパケットの他に、それらのトランスポートパケットの入力トランスポートストリームの中での出力タイミング情報も、マルチプレクサ１６に出力する。
【００１８】
デコーダ１４は、入力されたビデオストリームに対して、所定のデコード方式、例えば、MPEG２方式に基づきデコード処理を施し、ビデオデータをエンコーダ１５に出力する。また、デコーダ１４は、デコードする際に得られたビデオストリームのストリーム情報を、符号化コントローラ１８に出力する。
【００１９】
一方、解析部１３は、入力されたトランスポートストリームを解析することにより、ビデオ以外のストリームのストリーム情報、例えば、ビットレートなどの情報を取得し、符号化コントローラ１８に出力する。符号化コントローラ１８には、解析部１３から出力されたビデオ以外のストリームのストリーム情報、デコーダ１４から出力されたビデオストリーム情報、および、端子１９からストリームの記録ビットレートが入力される。符号化コントローラ１８は、これらのデータから、エンコーダ１５により行われるビデオデータのエンコードの条件を設定し、その設定された条件（符号化制御情報）をエンコーダ１５と符号化部２０に出力する。
【００２０】
符号化コントローラ１８は、例えば、ストリームの記録ビットレート（記録装置１の動作を制御する図示せぬ制御装置から端子１９を介して入力されるデータ）から、ビデオ以外のストリームのビットレートの合計値（解析部１３から入力されるデータ）を減算した値が、ビデオデータのエンコードに割り当てられるビットレートとし、そのビットレートで最適な画質となるように、ビットレート、画枠などの符号化制御情報を設定し、その設定した符号化制御情報を、エンコーダ１５と符号化部２０に出力する。この符号化制御情報の詳細については、図５乃至図１０を参照して後述する。
【００２１】
なお、このストリームの記録ビットレートは、記録媒体に固定レートで記録する場合、その固定レートとなり、可変ビットレートで記録する場合、所定時間当たりの平均ビットレートとなる。ただし、この場合の可変ビットレートの最大値は、記録媒体が保証する最大記録ビットレート以下である必要がある。
【００２２】
エンコーダ１５は、デコーダ１４から出力されたビデオデータを符号化コントローラ１８から出力された符号化制御情報に基づいて符号化し（例えば、MPEG２方式に基づき符号化し）、マルチプレクサ１６に出力する。マルチプレクサ１６は、エンコーダ１５からのビデオストリームと、デマルチプレクサ１２からのビデオ以外のトランスポートストリームパケットと、その出現タイミングの情報を入力するが、そのうちの出現タイミングの情報に基づいて、ビデオストリームとビデオ以外のトランスポートストリームパケットを多重化し、トランスポートストリームとして、アライバルタイムスタンプ付加部１７に出力する。
【００２３】
図２は、マルチプレクサ１６が行う、この場合の処理を模式的に表している。図２（Ａ）は、入力されたトランスポートストリームのパケットのタイミングを表している。この図において、灰色で示す部分はビデオパケットを示し、白色で示す部分はビデオ以外のストリームのパケットを示している。図２（Ａ）に示されるように、入力されたトランスポートストリームのパケットは連続しているが、エンコーダ１５により、ビデオデータが再エンコードされることにより、ビデオデータのデータ量が減少する。その結果、ビデオパケットの数が少なくなる。
【００２４】
マルチプレクサ１６は、図２（Ｂ）に示されるように、ビデオ以外のストリームのパケットのタイミングを変更せず、ビデオパケットのタイミングだけを元の状態（図２（Ａ）に示す状態）と異なるタイミングとする。
【００２５】
アライバルタイムスタンプ付加部１７は、図３に示されるように、入力されるトランスポートストリームのトランスポートストリームパケット（図３（Ａ））毎に、アライバルタイムスタンプを含むヘッダ（TP_extra_header）を付加してソースパケット（図３（Ｂ））を生成し、各ソースパケットを連続するように配置して（図３（Ｃ））書き込み部２１に出力する。アライバルタイムスタンプは、トランスポートストリームパケットがトランスポートストリームの中で出現するタイミングを表す情報である。書き込み部２１は、入力される連続したソースパケットからなるソースパケットストリームをファイル化し、記録媒体２２に記録する。なお、記録媒体２２は、どのような媒体のものでも良い。
【００２６】
書き込み部２１には、符号化部２０から出力される情報も入力される。符号化部２０は、符号化コントローラ１８からのビデオ符号化情報に基づいて、マルチメディア表示サブ情報を生成し、書き込み部２１に出力する。書き込み部２１に出力されるマルチメディア表示サブ情報は、ビデオストリームがトランスコードされる（デコーダ１４によりデコードされた後、再び、エンコーダ１５によりエンコードされる）ことにより、画枠サイズが変化したような場合でも、マルチメディアプレーン上でビデオの表示位置や表示サイズを、伝送側が意図した画面（再エンコードしなかった場合に表示されるであろう画面）と同じにするための情報であり、再生時に、マルチメディア符号化データと組み合わされて用いられる情報である。
【００２７】
ここで、具体的にマルチメディア表示サブ情報について説明する。図４に示すように、マルチメディア表示サブ情報は、ミスマッチフラグ（mismatch_MMinfo_flag）、再エンコードフラグ（Re_encoded_flag）、およびフレームサイズ変更フラグ（changd_frame_size_flag）の３つのフラグと、オリジナルの水平方向のサイズ（original_horizontal_size）とオリジナルの垂直方向のサイズ（original_vertical_size）をそれぞれ表す２つのサイズに関するデータ、並びにオリジナルの画面アスペクト比（original_display_aspect_ratio）により構成されている。
【００２８】
ミスマッチフラグは、ビデオとマルチメディア符号化データとの関係に不整合があるか否かを示すフラグである。再エンコードフラグは、記録時にビデオが再エンコードされているかどうかを示すフラグである。フレームサイズ変更フラグは、例えば、再エンコードされたことにより、ビデオの画枠が変更されたか否かを示すフラグである。オリジナルの水平方向のサイズは、再エンコードされる前の水平方向の画枠のサイズである。オリジナルの垂直方向のサイズは、再エンコードされる前の垂直方向の画枠のサイズである。オリジナルの画面アスペクト比は、再エンコードされる前のフレーム画面のアスペクト比を意味する。
【００２９】
なお、上述したマルチメディア表示サブ情報は、一例であり、図４に示した以外の情報を含めるようにしても良いし、また、逆に、図４に示した情報の一部を必要に応じ減らしても良い。
【００３０】
符号化部２０により作成され、出力されたマルチメディア表示サブ情報は、書き込み部２１により記録媒体２２に記録されるが、アライバルタイムスタンプ付加部１７から出力されるソースパケットストリームファイルとは別のファイルとして記録される。ソースパケットストリームファイルとは別のファイルとしてマルチメディア表示サブ情報が書き込み部２１により記録媒体２２に記録される場合、符号化部２０からは、ファイル化されたマルチメディア表示サブ情報が出力される。
【００３１】
上述した説明では、符号化コントローラ１８は、入力されたデータを基にビットレートや画枠などの情報を含む符号化制御情報を生成したが、他の符号化制御情報として、次に示すような情報を生成しても良い。すなわち、解析部１３により、入力されたトランスポートストリームを解析した結果、入力トランスポートストリームにマルチメディア符号化データが含まれていると解析された場合、符号化コントローラ１８は、エンコーダ１５によりエンコードが行われる際、元のビデオの画枠と同じサイズの画枠（再エンコードされる前の画枠）で再エンコードするよう指示する符号化制御情報を生成し、エンコーダ１５に対して出力するようにしても良い。
【００３２】
そのようにした場合、エンコーダ１５は、入力された符号化制御情報に基づいてデコーダ１４からのビデオデータを元のビデオストリームの画枠と同じ値で再エンコードする。このような符号化制御情報を生成し、その符号化制御情報に基づく再エンコードを行う場合、再エンコードにより画枠が変更されることがないため、再エンコードして得られるビデオストリームと、マルチメディア符号化データとの関係に不整合が発生するようなことを防ぐことができる。
【００３３】
次に、図５乃至図１０を参照して、符号化制御情報に基づく制御の例について説明する。
【００３４】
いま、例えば、図５に示されるように、セレクタ１０に入力されるトランスポートストリームは、一定のビットレートＲIを有しているものとする。ビデオストリームとビデオ以外のストリームは、それぞれ、可変ビットレートで符号化されている。図５の例の場合、単位時間（例えば、GOP）Ａにおいては、ビデオストリームのビットレートはＲVAとされ、ビデオ以外の単位時間のビットレートはＲOAとされている。そして、単位時間Ｂにおいては、ビデオストリームのビットレートがＲVBとされ、ビデオ以外のストリームのビットレートがＲOBとされ、単位時間Ｃにおいては、ビデオストリームのビットレートがＲVCとされ、ビデオ以外のストリームのビットレートがＲOCとされている。
【００３５】
いま、この図５に示されているようなトランスポートストリームを再エンコードし、図６に示されるように、固定のビットレートＳ（Ｓ＜ＲI）のトランスポートストリームとしてマルチプレクサ１６から出力するようにする場合、符号化コントローラ１８は、図７のフローチャートに示される処理を実行する。
【００３６】
最初に、ステップＳ１において、符号化コントローラ１８は、端子１９から、図示せぬ制御装置より入力される制御信号に基づいて、マルチプレクサ１６より出力するトランスポートストリームのビットレート（記録レート）をＳに設定する。次に、ステップＳ２において、符号化コントローラ１８は、ビデオ以外に記録するストリームを決定し、それらのストリームのビットレートの合計の最大値Ｄを計算する。
【００３７】
最大値Ｄは、入力トランスポートストリームのストリーム仕様から判断される。例えば、ビデオ以外に、２本のオーディオストリームを記録する場合、日本のディジタルBS放送のストリーム仕様では、オーディオストリーム１本のビットレートの最大値は３８４Kbpsであるから、最大値Ｄは、３８４ラ２Kbpsとなる。
【００３８】
次に、ステップＳ３において、符号化コントローラ１８は、ステップＳ１において設定された記録のためのビットレートＳから、ステップＳ２で計算された最大値Ｄを減算して得た値Ｃ（＝Ｓ−Ｄ）を、ビデオデータの再エンコードの割り当てビットレートとする。そして、ステップＳ４において、符号化コントローラ１８は、デコーダ１４より出力されるビデオストリーム情報から、ビデオストリームのビットレート、画角といった符号化情報を解析する。
【００３９】
次に、ステップＳ５に進み、符号化コントローラ１８は、ステップＳ３で計算された値Ｃと、ステップＳ４で解析されたビデオストリームの符号化情報に基づいて、最適な画質になるようにビデオの符号化パラメータ（ビデオ符号化制御情報）を決定する。
【００４０】
例えば、図６に示す例においては、値Ｓが、値ＲIの１／２とされている。いまの場合、ビデオ以外のストリームのビットレートは最大値Ｄとされ、この最大値Ｄが、そのまま、再符号化後の多重化ストリームのビデオ以外のストリームのビットレートとされる。
【００４１】
そして、（Ｓ−Ｄ）の範囲内において最適な画質になるように、ビデオの符号化パラメータが決定される。画枠が制御される場合、例えば、７２０ラ４８０画素の画枠の水平方向を１／２にサブサンプリングして、３６０ラ４８０画素とされる。決定された符号化パラメータ（ビットレートや画角など）は、ビデオ符号化制御情報としてエンコーダ１５に供給される。
【００４２】
そこで、エンコーダ１５は、ステップＳ６において、符号化コントローラ１８より供給されたビデオ符号化制御情報に基づいて、いま、処理対象とされている単位時間（いまの場合、単位時間Ａ）のビデオデータを再エンコードする。図６の例においては、単位時間Ａでは、実際には、ビットレートＲOAは、最大値Ｄより小さいが、最大値Ｄは固定値とされるので、ビデオの割り当てビットレートは（Ｓ−Ｄ）となる。最大値Ｄは固定とされるため、ビデオの符号化に使えない無駄な部分Ｒsaが発生するが、そこには、スタッフィングビットが挿入される。
【００４３】
次に、ステップＳ７に進み、符号化コントローラ１８は、再エンコードするストリームが終了したか否かを判定し、まだストリームが終了していない場合には、ステップＳ４に戻り、それ以降の処理を繰り返し実行する。
【００４４】
そして、ステップＳ７において、符号化するストリームが終了したと判定された場合、処理は終了される。
【００４５】
以上のようにして、図６の例においては、単位時間Ｂにおいても、ビデオ以外のストリームのビットレートはＤとされ、ビデオストリームの割り当てビットレートは、固定ビットレートなので、Ｓ−Ｄとされる。そして、値Ｒsb（＝Ｓ−（Ｓ−Ｄ）−ＲOB＝Ｄ−ＲOB）には、スタッフィングビットが挿入される。
【００４６】
単位時間Ｃにおいても、ビデオ以外のストリームのビットレートは、Ｄとされ、ビデオストリームの割り当てビットレートは、Ｓ−Ｄとされる。なお、この単位時間Ｃにおいては、Ｄ＝ＲOCであるので、スタッフィングビットは存在しない。
【００４７】
このように、図６の例においては、ビデオストリームが固定ビットレートで符号化される。
【００４８】
図８は、ビデオの再エンコードの割り当てビットレートを可変ビットレートとした場合の処理例を表している。最初に、ステップＳ２１において、符号化コントローラ１８は、端子１９からの入力に基づいて、記録レートＳを設定する。次に、ステップＳ２２において、符号化コントローラ１８は、デコーダ１４からのビデオストリーム情報に基づいて、ビデオストリームの符号化情報を解析する。以上のステップＳ２１とステップＳ２２の処理は、図７のステップＳ１とステップＳ４の処理と同様の処理である。
【００４９】
次に、ステップＳ２３において、符号化コントローラ１８は、解析部１３の出力からビデオ以外のストリームの時間単位毎の合計ビットレートＢを計算する。
【００５０】
次に、ステップＳ２４に進み、符号化コントローラ１８は、ステップＳ１で設定した値Ｓから、ステップＳ２３の処理で計算した値Ｂを減算して得た値Ｃ（＝Ｓ−Ｂ）をビデオの再エンコード割り当てビットレートとする。
【００５１】
さらに、ステップＳ２５において、符号化コントローラ１８は、ステップＳ２４において得られた値Ｃと、ステップＳ２２の処理で得られたビデオストリームの符号化情報の解析結果に基づいて、最適な画質になるように、ビデオの符号化パラメータを決定する。決定された符号化パラメータは、エンコーダ１５に出力される。
【００５２】
そして、ステップＳ２６において、エンコーダ１５は、ステップＳ２５の処理で決定された符号化パラメータに基づいて、現在の単位時間のビデオデータを再エンコードする。これにより、例えば、図９に示されるように、ビデオ以外の単位時間のビットレートとして、Ｒoa（＝ＲOA）が確保された後、（Ｓ−Ｒoa）で規定されるビットレートＲvaにビデオストリームのビットレートが設定される。
【００５３】
ステップＳ２７において、符号化コントローラ１８は、ストリームが終了したか否かを判定し、終了していない場合にはステップＳ２２に戻り、それ以降の処理を繰り返し実行する。ステップＳ２７において、ストリームが終了したと判定された場合、処理は終了される。
【００５４】
このようにしてに、単位時間Ｂにおいては、ビデオ以外のストリームのビットレートＲob（＝Ｓ−ＲOB）が確保された後、残りのＲvb（＝Ｓ−Ｒob）がビデオストリームのビットレートとされる。単位時間Ｃにおいては、ビデオ以外のストリームのビットレートＲocを除くＲｖｃ（＝Ｓ−ＲOC）にビデオストリームのビットレートが設定される。
【００５５】
このように、この処理例においては、ビデオストリームのビットレートが可変ビットレートされ、スタッフィングビットが必要なくなるか、その量を少なくすることができ、より効率的にビデオストリームを符号化することができる。
【００５６】
なお、以上においては、入力トランスポートストリームが固定ビットレートである場合を例としたが、例えば、図１０に示されるように、入力トランスポートストリームが可変ビットレートである場合にも、本発明を適用することが可能である。
【００５７】
以上のようにして、必要に応じて、より低いビットレートで、記録媒体２２に、より長時間のコンテンツに対応するトランスポートストリームを記録することが可能となる。
【００５８】
そして、オーディオデータ、静止画／文字図形データ、マルチメディア符号化データといった、ビデオ以外のデータの質が著しく劣化することを防止することができる。ビデオ以外のこれらのデータは、基本的に、ビデオデータに比べて、そのデータ量が少ないため、ビデオデータと同じ割合でビットレートを低下させると、相対的にビデオ以外のデータに対する影響は、ビデオデータに対する影響より大きくなるが、このような影響が出るのを防止することができる。
【００５９】
次に、記録媒体２２に記録されたソースパケットストリームファイルの再生について説明する。図１１は、本発明を適用した再生装置の一実施の形態の構成を示す図である。記録媒体２２に記録されているソースパケットストリームファイルは、読み出し部３１により読み出される。読み出し部３１は、ソースパケットストリームとは別ファイルとして記録媒体２２に記録されているマルチメディア表示サブ情報も読み出す。
【００６０】
読み出し部３１により読み出されたソースパケットストリームは、アライバルタイムスタンプ分離部３２に、マルチメディア表示サブ情報は、合成部３６に、それぞれ出力される。アライバルタイムスタンプ分離部３２は、基準クロックを内蔵しており、その基準クロックと、入力されたソースパケットストリームのソースパケットに付加されているアライバルタイムスタンプの値を比較し、両方の値が等しくなったときに、値が等しくなったアライバルタイムスタンプをもつソースパケットから、そのアライバルタイムスタンプを取り除き、トランスポートストリームパケットとして、デマルチプレクサ３３に出力する。
【００６１】
デマルチプレクサ３３は、入力されたトランスポートストリームをビデオオーディオストリーム、マルチメディア符号化データ、および、文字図形／文字／静止画などのデータのストリームに分離する。分離されたデータの内、ビデオオーディオストリームは、AVデコーダ３４に、マルチメディア符号化データは、合成部３６に、文字図形／文字／静止画などのデータのストリームは、文字図形／静止画デコーダ３５に、それぞれ出力される。
【００６２】
AVデコーダ３４は、入力されたビデオオーディオストリームをビデオデータとオーディオデータに分離し、それぞれをデコードした後、オーディオデータを図示されていないオーディオ再生装置に、ビデオデータを合成部３６に、それぞれ出力する。文字図形／静止画デコーダ３５は、入力された文字図形、文字、静止画などのデータのストリームをデコードし、デコードされた文字図形データ、文字データ、静止画データなどを合成部３６に出力する。
【００６３】
合成部３６には、AVデコーダ３４からのビデオデータ、デマルチプレクサ３３から出力されたマルチメディア符号化データ、文字図形／静止画デコーダ３５から出力された文字図形／文字／静止画などのデータ、および読み出し部３１により読み出されたマルチメディア表示サブ情報が入力される。合成部３６は、入力されたマルチメディア表示サブ情報のミスマッチフラグ（図４）を検査することにより、入力ビデオ信号とマルチメディア符号化データとの関係に不整合が生じているか否かを判断する。
【００６４】
ミスマッチフラグが、入力ビデオ信号とマルチメディア符号化データとの関係に不整合が生じていることを示している場合、合成部３６はさらに、マルチメディア表示サブ情報のオリジナルの水平方向のサイズとオリジナルの垂直方向のサイズを参照し、入力されたビデオ信号を、その参照したサイズのフレームで再生されるようにスケール変換する。そして、マルチメディア符号化データに基づいて、スケール変換されたビデオ信号と他の文字図形データなどをマルチメディアプレーン上に合成したビデオ信号を、表示デバイスとしてのテレビジョン受像機（不図示）などに出力する。
【００６５】
一方、マルチメディア表示サブ情報のミスマッチフラグが、入力ビデオ信号とマルチメディア符号化データとの関係に不整合が生じていないということを示している場合、合成部３６は、入力ビデオ信号のスケールを変更することなしに、他のデータとマルチメディアプレーン上に合成し、出力する。
【００６６】
このように、マルチメディア表示サブ情報を記録時に記録し、再生時に用いることにより、送信側が意図した画面が受信側で表示される。図１２を参照して説明するに、送信側（記録側）で、再エンコードされたために、元のビデオの画枠よりも小さめの画枠に変更されてしまったとしても、マルチメディア表示サブ情報として、そのことを記録しておき、再生時に、その記録されたマルチメディア表示サブ情報を参照することにより、受信側（再生側）においては、ビデオと他のデータに不整合が生じることなく再エンコードしなかった場合に得られる画面が得られる。
【００６７】
上述したように、マルチメディア表示サブ情報は、文字図形データやビデオ信号を含むソースパケットストリームファイルとは別のファイルとして記録媒体２２に記録するようにしても良いが、ソースパケットストリームファイルに埋め込んで記録媒体２２に記録するようにしても良い。ソースパケットストリームファイルにマルチメディア表示サブ情報を埋め込んで記録するようにした場合の記録装置１の構成を図１３に示す。
【００６８】
図１３に示した記録装置１の構成を、図１に示した記録装置１の構成と比較するに、図１３に示した記録装置１では、符号化部２０から出力されたマルチメディア表示サブ情報は、マルチプレクサ１６に出力されるようになっている。マルチプレクサ１６では、入力されたマルチメディア表示サブ情報をトランスポートパケットを作成してソースパケットストリームファイルに埋め込み、アライバルタイムスタンプ付加部１７に出力する。マルチメディア表示サブ情報をトランスポートパケットとしてソースパケットストリームファイルに埋め込むのではなく、MPEGビデオストリームのユーザデータ領域に書き込むようにしても良い。
【００６９】
なお、本実施の形態においては、ビデオデータを再エンコードする方法は、このような方法に限らず、入力されたビデオストリームをDCT領域上で変換して画枠などの符号化パラメータを変換するようにしても良い。
【００７０】
このようにしてソースパケットストリームファイルにマルチメディア表示サブ情報を埋め込み、記録媒体２２に記録するようにした場合の再生装置３０の構成を図１４に示す。図１４に示した再生装置３０の構成を、図１１に示した再生装置３０の構成と比較するに、図１４に示した再生装置３０の構成では、読み出し部３１により読み出されるのは、ソースパケットストリームだけである。そして、読み出し部３１により読み出されたソースパケットストリームはアライバルタイムスタンプ分離部３２を介してデマルチプレクサ３３に入力される。
【００７１】
デマルチプレクサ３３は、入力されたソースパケットストリームファイルから、マルチメディア表示サブ情報を取り出し、合成部３６に出力する。その他の構成は図３における場合と同様である。
【００７２】
このように、ソースパケットストリームファイルにマルチメディア表示サブ情報を含めて記憶させるようにした場合も、伝送側が意図したビデオの画枠のサイズや表示位置が、受信側において得られるようになる。
【００７３】
なお、本実施の形態においては、トランスポートストリームの場合を説明したが、本発明は、これに限らず、プログラムストリームなどの多重化ストリームなどにも適用することが可能である。
【００７４】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。この場合、例えば、記録装置１（図示は省略するが、再生装置３０も同様である）は、図１５に示されるようなパーソナルコンピュータにより構成される。
【００７５】
図１５において、CPU（Central Processing Unit）１０１は、ROM（Read Only Memory）１０２に記憶されているプログラム、または記憶部１０８からRAM（Random Access Memory）１０３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００７６】
CPU１０１、ROM１０２、およびRAM１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インタフェース１０５も接続されている。
【００７７】
入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、CRT、LCDなどよりなるディスプレイ、並びにスピーカなどよりなる出力部１０７、ハードディスクなどより構成される記憶部１０８、モデム、ターミナルアダプタなどより構成される通信部１０９が接続されている。通信部１０９は、ネットワークを介しての通信処理を行う。
【００７８】
入出力インタフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク１２１、光ディスク１２２、光磁気ディスク１２３、或いは半導体メモリ１２４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１０８にインストールされる。
【００７９】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００８０】
この記録媒体は、図１５に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１２１（フロッピディスクを含む）、光ディスク１２２（CD-ROM（Compact Disk-Read Only Memory），DVD（Digital Versatile Disk）を含む）、光磁気ディスク１２３（MD（Mini-Disk）を含む）、若しくは半導体メモリ１２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記憶されているROM１０２や記憶部１０８が含まれるハードディスクなどで構成される。
【００８１】
なお、本明細書において、記録媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００８２】
【発明の効果】
以上のごとく、本発明の記録装置および方法、並びに記録媒体のプログラムによれば、多重化ストリームが入力され、入力された多重化ストリームからビデオストリームが抽出され、抽出されたビデオストリームが再符号化され、再符号化の際に、再符号化される前のビデオストリームの画面の表示情報が生成され、再符号化されたビデオストリーム及び画面の表示情報が出力され、出力された、再符号化されたビデオストリームを含むソースパケットストリームと画面の表示情報とが、それぞれ別ファイルとして記録媒体に出力されるようにしたので、ビデオストリームを再生するとき、再符号化される前の画面と同じ大きさの画面で再生することが可能になる。
【図面の簡単な説明】
【図１】本発明を適用した記録装置の一実施の形態の構成を示す図である。
【図２】図１のマルチプレクサの動作を説明する図である。
【図３】図１のアライバルタイムスタンプ付加部の処理を説明する図である。
【図４】マルチメディア表示サブ情報について説明する図である。
【図５】入力トランスポートストリームを説明する図である。
【図６】図５のビデオストリームを再エンコードした後のトランスポートストリームの例を示す図である。
【図７】図１の記録装置における記録レートの制御処理を説明するフローチャートである。
【図８】図１の記録装置における他の記録レートの制御処理を説明するフローチャートである。
【図９】ビデオストリームを再エンコードした後のトランスポートストリームの他の例を示す図である。
【図１０】入力トランスポートストリームの他の例を示す図である。
【図１１】本発明を適用した再生装置の一実施の形態の構成を示す図である。
【図１２】マルチメディア表示サブ情報を追加した場合の表示画面について説明する図である。
【図１３】本発明を適用した記録装置の他の構成を示す図である。
【図１４】本発明を適用した再生装置の他の構成を示す図である。
【図１５】媒体を説明する図である。
【符号の説明】
１ 記録装置， １１ 端子， １２ デマルチプレクサ， １３ 解析部，１４ デコーダ， １５ エンコーダ， １６ マルチプレクサ， １７ アライバルタイムスタンプ付加部， １８ 符号化コントローラ， １９ 端子，２０ 符号化部， ２１ 書き込み部， ２２ 記録媒体， ３０ 再生装置， ３１ 読み出し部， ３２ アライバルタイムスタンプ分離部， ３３ デマルチプレクサ， ３４ AVデコーダ， ３５ 文字図形／静止画デコーダ， ３６ 合成部

Claims (12)

  1. 多重化ストリームを入力する入力手段と、
    入力された前記多重化ストリームからビデオストリームを抽出する抽出手段と、
    抽出された前記ビデオストリームを再符号化する再符号化手段と、
    前記再符号化の際に、再符号化される前の前記ビデオストリームの画面の表示情報を生成する生成手段と、
    再符号化された前記ビデオストリーム及び前記画面の表示情報を出力する出力手段と
    を備え、
    前記出力手段は、再符号化された前記ビデオストリームを含むソースパケットストリームと前記画面の表示情報とを、それぞれ別ファイルとして記録媒体に出力する
    記録装置。
  2. 前記画面の表示情報は、再符号化される前の前記ビデオストリームのフレーム画面のアスペクト比である
    請求項１に記載の記録装置。
  3. 前記多重化ストリームは、少なくともオーディオストリームを含み、
    前記再符号化手段により所定のビットレートで再符号化された前記ビデオストリームと、再符号化される前のビットレートの前記オーディオストリームとを再多重化する多重化手段を
    さらに備える請求項１に記載の記録装置。
  4. 前記ビデオストリームの前記所定のビットレートは、所定の固定出力ビットレートから、前記ビデオストリーム以外のビットレートを減算したビットレートである
    請求項３に記載の記録装置。
  5. 多重化ストリームを入力する入力ステップと、
    入力された前記多重化ストリームからビデオストリームを抽出する抽出ステップと、
    抽出された前記ビデオストリームを再符号化する再符号化ステップと、
    前記再符号化の際に、再符号化される前の前記ビデオストリームの画面の表示情報を生成する生成ステップと、
    再符号化された前記ビデオストリーム及び前記画面の表示情報を出力する出力ステップと
    を含み、
    前記出力ステップの処理は、再符号化された前記ビデオストリームを含むソースパケットストリームと前記画面の表示情報とを、それぞれ別ファイルとして記録媒体に出力する
    記録方法。
  6. 多重化ストリームを入力する入力ステップと、
    入力された前記多重化ストリームからビデオストリームを抽出する抽出ステップと、
    抽出された前記ビデオストリームを再符号化する再符号化ステップと、
    前記再符号化の際に、再符号化される前の前記ビデオストリームの画面の表示情報を生成する生成ステップと、
    再符号化された前記ビデオストリーム及び前記画面の表示情報を出力する出力ステップと、
    出力された、再符号化された前記ビデオストリームを含むソースパケットストリームと前記画面の表示情報とを、それぞれ別ファイルとして記録媒体に出力するステップと
    を含むコンピュータが読み取り可能なプログラムが記録されている記録媒体。
  7. 記録媒体に記録された、符号化ビデオストリームを含むソースパケットストリーム及びビデオストリームの画面の表示情報を、それぞれ別ファイルとして読み出す読み出し手段と、
    前記ソースパケットストリームからアライバルタイムスタンプを取り除きトランスポートストリームとして出力する出力手段と、
    出力された前記トランスポートストリームから前記符号化ビデオストリームを分離する分離手段と、
    分離された前記符号化ビデオストリームを復号する復号手段と、
    前記画面の表示情報を参照する参照手段と
    を備え、
    前記参照手段は、さらに前記画面の表示情報に基づいて、前記符号化ビデオストリームが符号化される前に表示される前記ビデオストリームの画面に従って、前記復号手段により復号された前記ビデオストリームの再生を行う
    再生装置。
  8. 前記画面の表示情報は、再符号化される前の前記符号化ビデオストリームのフレーム画面のアスペクト比である
    請求項７に記載の再生装置。
  9. 前記トランスポートストリームには、所定のビットレートで再符号化された前記ビデオストリームと、再符号化される前のビットレートのオーディオストリームとが多重化されている
    請求項７に記載の再生装置。
  10. 前記ビデオストリームの前記所定のビットレートは、所定の固定出力ビットレートから、前記ビデオストリーム以外のビットレートを減算したビットレートである
    請求項９に記載の再生装置。
  11. 記録媒体に記録された、符号化ビデオストリームを含むソースパケットストリーム及びビデオストリームの画面の表示情報を、それぞれ別ファイルとして読み出す読み出しステップと、
    前記ソースパケットストリームからアライバルタイムスタンプを取り除きトランスポートストリームとして出力する出力ステップと、
    出力された前記トランスポートストリームから前記符号化ビデオストリームを分離する分離ステップと、
    分離された前記符号化ビデオストリームを復号する復号ステップと、
    前記画面の表示情報を参照する参照ステップと
    を含み、
    前記参照ステップの処理は、さらに前記画面の表示情報に基づいて、前記符号化ビデオストリームが符号化される前に表示される前記ビデオストリームの画面に従って、前記復号ステップの処理により復号された前記ビデオストリームの再生を行う
    再生方法。
  12. 記録媒体に記録された、符号化ビデオストリームを含むソースパケットストリーム及びビデオストリームの画面の表示情報を、それぞれ別ファイルとして読み出す読み出しステップと、
    前記ソースパケットストリームからアライバルタイムスタンプを取り除きトランスポートストリームとして出力する出力ステップと、
    出力された前記トランスポートストリームから前記符号化ビデオストリームを分離する分離ステップと、
    分離された前記符号化ビデオストリームを復号する復号ステップと、
    前記画面の表示情報を参照する参照ステップと、
    前記画面の表示情報に基づいて、前記符号化ビデオストリームが符号化される前に表示される前記ビデオストリームの画面に従って、前記復号ステップの処理により復号された前記ビデオストリームの再生を行うステップと
    を含むコンピュータが読み取り可能なプログラムが記録されている記録媒体。
JP2001001030A 2000-06-02 2001-01-09 記録装置および記録方法、再生装置および再生方法、並びに記録媒体 Expired - Lifetime JP4724919B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2001001030A JP4724919B2 (ja) 2000-06-02 2001-01-09 記録装置および記録方法、再生装置および再生方法、並びに記録媒体
TW90113082A TW519841B (en) 2000-06-02 2001-05-30 Apparatus and method for information processing, and recording medium
EP01304813.7A EP1162845B1 (en) 2000-06-02 2001-05-31 Apparatus and method for information processing, and recording medium
US09/872,274 US6940901B2 (en) 2000-06-02 2001-06-01 Apparatus and method for information processing
MYPI20012605 MY128385A (en) 2000-06-02 2001-06-01 Apparatus and method for information processing
KR1020010030658A KR100724206B1 (ko) 2000-06-02 2001-06-01 정보 처리 장치, 방법 및 기록 매체
CNB011221909A CN1189017C (zh) 2000-06-02 2001-06-02 用于信息处理的装置和方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2000-165298 2000-06-02
JP2000165298 2000-06-02
JP2000165298 2000-06-02
JP2001001030A JP4724919B2 (ja) 2000-06-02 2001-01-09 記録装置および記録方法、再生装置および再生方法、並びに記録媒体

Publications (2)

Publication Number Publication Date
JP2002058024A JP2002058024A (ja) 2002-02-22
JP4724919B2 true JP4724919B2 (ja) 2011-07-13

Family

ID=26593195

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001001030A Expired - Lifetime JP4724919B2 (ja) 2000-06-02 2001-01-09 記録装置および記録方法、再生装置および再生方法、並びに記録媒体

Country Status (7)

Country Link
US (1) US6940901B2 (ja)
EP (1) EP1162845B1 (ja)
JP (1) JP4724919B2 (ja)
KR (1) KR100724206B1 (ja)
CN (1) CN1189017C (ja)
MY (1) MY128385A (ja)
TW (1) TW519841B (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7577333B2 (en) * 2001-08-04 2009-08-18 Samsung Electronics Co., Ltd. Method and apparatus for recording and reproducing video data, and information storage medium in which video data is recorded by the same
EP1579411B1 (en) * 2002-12-20 2012-10-10 Trident Microsystems (Far East) Ltd. Apparatus for re-ordering video data for displays using two transpose steps and storage of intermediate partially re-ordered video data
US7424209B2 (en) * 2003-02-13 2008-09-09 Microsoft Corporation System and method for real-time data archival
EP1511204A3 (en) 2003-08-28 2005-10-05 Sony Deutschland GmbH Method for synchronizing packet based digital data streams
JP4573511B2 (ja) * 2003-10-15 2010-11-04 ルネサスエレクトロニクス株式会社 トランスコーダ、トランスコーディング方法、データ記録装置及び方法、並びに放送データ受信・記録装置
US20070009024A1 (en) * 2005-03-15 2007-01-11 Nero Ag Apparatus and method for producing a picture data stream and for processing a picture data stream
WO2007037726A1 (en) 2005-09-28 2007-04-05 Telefonaktiebolaget Lm Ericsson (Publ) Media content management
US8422411B2 (en) * 2007-10-07 2013-04-16 Motorola Mobility Llc Flexible frame structure in wireless communication system
US9118465B2 (en) * 2008-02-21 2015-08-25 Google Technology Holdings LLC Method for supporting flexible frame structures in wireless communication systems
KR101204134B1 (ko) * 2008-04-25 2012-11-23 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 트랜스포트 데이터 스트림내에서 참조하는 유연성 있는 서브스트림
US10412424B2 (en) 2011-10-19 2019-09-10 Harmonic, Inc. Multi-channel variable bit-rate video compression
JP6209026B2 (ja) * 2013-08-30 2017-10-04 キヤノン株式会社 画像符号化装置及びその制御方法
GB2598255B (en) * 2016-02-17 2022-07-27 V Nova Int Ltd Physical adapter, signal processing equipment, methods and computer programs
KR102278932B1 (ko) * 2016-03-31 2021-07-16 후아웨이 테크놀러지 컴퍼니 리미티드 애플리케이션 프로그램 처리 방법 및 단말 디바이스

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08205175A (ja) * 1995-01-31 1996-08-09 Sony Corp 画像情報処理装置
JPH0974559A (ja) * 1995-06-30 1997-03-18 Victor Co Of Japan Ltd 情報蓄積出力装置
JPH11285002A (ja) * 1998-02-02 1999-10-15 Sony Corp 動画像符号化装置及び動画像符号化方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2766919B2 (ja) * 1991-06-07 1998-06-18 三菱電機株式会社 ディジタル信号記録再生装置、ディジタル信号記録装置、ディジタル信号再生装置
JPH07202820A (ja) * 1993-12-28 1995-08-04 Matsushita Electric Ind Co Ltd ビットレート制御システム
US5754235A (en) 1994-03-25 1998-05-19 Sanyo Electric Co., Ltd. Bit-rate conversion circuit for a compressed motion video bitstream
DK0775413T3 (da) * 1994-04-15 2002-12-23 Koninkl Philips Electronics Nv System til afkodning af digitale videosignaler
US6055270A (en) * 1994-04-20 2000-04-25 Thomson Cosumer Electronics, Inc. Multiplexer system using constant bit rate encoders
US6181711B1 (en) * 1997-06-26 2001-01-30 Cisco Systems, Inc. System and method for transporting a compressed video and data bit stream over a communication channel
GB2327548B (en) * 1997-07-18 2002-05-01 British Broadcasting Corp Switching compressed video bitstreams
JPH11196414A (ja) 1997-11-06 1999-07-21 Thomson Broadcast Syst コード化されたビデオデータを処理する装置及びその装置を使用したプログラムを配布するシステム
JPH11205002A (ja) 1998-01-14 1999-07-30 Mitsubishi Electric Corp 移相器
JPH11205266A (ja) * 1998-01-19 1999-07-30 Sony Corp 符号化装置及びデータ多重化装置
JPH11275592A (ja) * 1998-01-22 1999-10-08 Victor Co Of Japan Ltd 動画像符号列変換装置及びその方法
GB2333656B (en) * 1998-01-22 2002-08-14 British Broadcasting Corp Compressed signals
JPH11313331A (ja) * 1998-02-27 1999-11-09 Sony Corp 画像信号処理システム、デコ―ダ、画像信号処理方法及び復号方法
JP3724205B2 (ja) * 1998-03-10 2005-12-07 ソニー株式会社 復号装置および方法、並びに記録媒体
GB9815615D0 (en) * 1998-07-18 1998-09-16 Nds Ltd Statistical multiplexing
US6483543B1 (en) * 1998-07-27 2002-11-19 Cisco Technology, Inc. System and method for transcoding multiple channels of compressed video streams using a self-contained data unit
US6167084A (en) * 1998-08-27 2000-12-26 Motorola, Inc. Dynamic bit allocation for statistical multiplexing of compressed and uncompressed digital video signals
US6526097B1 (en) * 1999-02-03 2003-02-25 Sarnoff Corporation Frame-level rate control for plug-in video codecs
US7995896B1 (en) * 1999-11-04 2011-08-09 Thomson Licensing System and user interface for a television receiver in a television program distribution system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08205175A (ja) * 1995-01-31 1996-08-09 Sony Corp 画像情報処理装置
JPH0974559A (ja) * 1995-06-30 1997-03-18 Victor Co Of Japan Ltd 情報蓄積出力装置
JPH11285002A (ja) * 1998-02-02 1999-10-15 Sony Corp 動画像符号化装置及び動画像符号化方法

Also Published As

Publication number Publication date
EP1162845A3 (en) 2003-09-17
US6940901B2 (en) 2005-09-06
US20020015529A1 (en) 2002-02-07
EP1162845B1 (en) 2016-03-23
TW519841B (en) 2003-02-01
CN1189017C (zh) 2005-02-09
MY128385A (en) 2007-01-31
KR20010110167A (ko) 2001-12-12
CN1338870A (zh) 2002-03-06
EP1162845A2 (en) 2001-12-12
KR100724206B1 (ko) 2007-05-31
JP2002058024A (ja) 2002-02-22

Similar Documents

Publication Publication Date Title
JP5516488B2 (ja) 画像符号化装置および方法、並びに記録媒体
JP4724919B2 (ja) 記録装置および記録方法、再生装置および再生方法、並びに記録媒体
EP1021039A2 (en) Image processing apparatus and method
EP2538667A2 (en) Method and apparatus for image processing which inhibits reproduction of parts of a recording
JP2004180290A (ja) 伝送装置と伝送方法と再生装置と再生方法およびプログラムと記録媒体
US20070274675A1 (en) Method and Apparatus for Transcoding Digital Audio/Video Streams
JP4765192B2 (ja) 画像符号化装置および方法、画像復号化装置および方法、並びに記録媒体
JP5194343B2 (ja) 情報再生装置及び情報再生方法
JP4534168B2 (ja) 情報処理装置および方法、記録媒体、並びにプログラム
JP4285099B2 (ja) データ再生方法及びデータ再生装置
JP4289753B2 (ja) 再生方法及び装置と表示装置
JPWO2004034616A1 (ja) 放送データ送受信システム及び放送データ送受信方法
JP2002077789A (ja) 画像処理方法及び装置
JP2007195064A (ja) 画像情報伝送装置、画像情報伝送方法、プログラム及び記憶媒体
JP2001346162A (ja) 多重化ストリーム変換装置および方法、並びに記録媒体
US20040028376A1 (en) Image recording device and method
JP5201251B2 (ja) 情報再生装置及び情報再生方法
JP2006014180A (ja) データ処理装置、データ処理方法及びそのプログラム
JP2008010997A (ja) 情報処理装置、情報処理方法及び半導体集積回路
JP2000067513A (ja) ディジタル信号処理装置と記録装置及び再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110328

R151 Written notification of patent or utility model registration

Ref document number: 4724919

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140422

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term