WO2004030367A1 - 動画像データストリームの変換装置及び方法 - Google Patents

動画像データストリームの変換装置及び方法 Download PDF

Info

Publication number
WO2004030367A1
WO2004030367A1 PCT/JP2003/010319 JP0310319W WO2004030367A1 WO 2004030367 A1 WO2004030367 A1 WO 2004030367A1 JP 0310319 W JP0310319 W JP 0310319W WO 2004030367 A1 WO2004030367 A1 WO 2004030367A1
Authority
WO
WIPO (PCT)
Prior art keywords
encoding
data stream
stream
frame rate
frame
Prior art date
Application number
PCT/JP2003/010319
Other languages
English (en)
French (fr)
Inventor
Yukio Yanagita
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Publication of WO2004030367A1 publication Critical patent/WO2004030367A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream

Definitions

  • the present invention relates to a moving image data stream conversion apparatus that performs a moving image data frame rate conversion process and a moving image data encoding conversion process. And methods.
  • the transmission capacity of the network is limited, so that the display rate of a normal moving image (for example, 30 frames per second (fps)) is higher. It is generally transmitted at a low frame rate (for example, about 10 fps).
  • the moving image data recorded on the content server can be displayed directly without using a network, or can be used as a source video of other contents. It may be recorded at 30 fps.
  • the frame rate is 3 Of
  • moving image data of pS is recorded on the content server, in order to send this moving image data via the network, the frame rate must be distributed while real-time processing is down-computed. No.
  • a normal moving image display is used rather than recording with a frame rate as it is. Recording at a rate (30 fps) may be desirable in consideration of playback processing. In such a case, it is necessary to record the frame rate of the received moving image data by real-time processing while converting the data.
  • MPEG-4 has been proposed as a moving image compression method suitable for network distribution.
  • Conventional video assets have a large amount of data in the MPEG-2 format, and in view of the fact that video is played directly from a recording medium without passing through a network, encoding is performed in the MPEG-4 format.
  • Fig. 1 shows a block diagram of a conventionally proposed stream converter.
  • the stream conversion device 110 shown in FIG. 1 includes an MPEG-2 encoding / decoding unit 111 for encoding and decoding an encoded stream of the MPEG-2 system, and an MPEG- It is provided with an MPEG-4 coded Z-decoding unit 112 for coding and decoding the four types of coded streams, and a frame memory 113.
  • the stream converter 110 reads the 30 fps MPEG-2 encoded stream as shown in Fig. 2A from the content server 101 and converts it to MPEG-2 encoded data.
  • the decoding is performed by the decoding unit 111 to generate baseband moving image data of 30 fps as shown in FIG. 2B.
  • the generated 30 fps baseband moving image data is temporarily stored in the frame memory 113.
  • the stream conversion device 110 performs thinning processing of an arbitrary frame on the frame memory 113 as shown in FIG. 2C, and the frame rate as shown in FIG. Generate fps baseband video data.
  • the stream conversion device 11 ⁇ reads out the baseband moving image data with the frame rate of 1 O fps shown in FIG. 2D from the frame memory 113, and performs MPE G-4 encoding / decoding. Encoding is performed by the unit 112, and an encoded stream of the MPEG-4 format as shown in Fig. 2E is generated and delivered to the network 1.2.
  • the stream converter 110 transmits an MPEG-4 encoded stream with a frame rate of 10 fps received via the network 102 and a frame rate of 30 fps.
  • the stream is converted into an encoding stream of the MPEG-2 system and stored in the content server 101, operations as shown in FIGS. 3A to 3E are performed.
  • the stream converter 110 receives an MPEG-4 encoded stream at a frame rate of 10 fps from the network 102 as shown in FIG. 4 Decode by the encoding / decoding unit 112 to generate 10 fps baseband moving image data as shown in FIG. 3B.
  • the generated 1-fps baseband moving image data is temporarily stored in the frame memory 113.
  • the stream conversion device 11 ⁇ performs frame copy processing on the frame memory 113 as shown in FIG. 3C, and obtains a baseband with a frame rate of 30 fps as shown in FIG. 3D. Generate moving image data. Then, the stream converter 110 reads the moving image data of the baseband having the frame rate of 30 fps shown in FIG. 3D from the frame memory 113 and outputs the MPEG-2 encoding data. Encoding is performed by the decoding unit 111, and an encoded stream of the MPEG-4 format as shown in FIG. 3E is generated, and stored in the content sensor, '101.
  • An object of the present invention is to provide a moving image data stream conversion apparatus and method capable of solving the problems of the conventional technology as described above.
  • Another object of the present invention is to provide a video signal having a first frame rate, which is obtained by encoding a video signal using a first encoding method, from a first data stream, the first data stream having a lower first frame rate.
  • the processing cost is reduced.
  • An object of the present invention is to provide a stream conversion device and method.
  • Still another object of the present invention is to provide a video signal of a first frame rate, which is obtained by encoding a video signal using a first encoding method, from a second data stream, which is higher than the first frame rate.
  • the stream conversion apparatus and method according to the present invention include: a first data stream obtained by encoding a video signal of a first frame rate using a first encoding method; A second data stream is generated by encoding the moving image signal of the second frame rate lower than the rate using a second encoding scheme.
  • the video signal is decoded from the first data stream without decoding a frame that is not coded in the second data stream, and the decoded video signal is decoded.
  • the signal is encoded using a second encoding scheme to generate a second stream of data.
  • Another stream conversion apparatus and method comprises: a first data stream obtained by encoding a video signal of a first frame rate using a first encoding method; A second data stream is generated by encoding the moving image signal having a second frame rate higher than the rate using a second encoding method.
  • the video signal is decoded from the first data stream, and the decoded video signal is encoded using a second encoding scheme to generate a second data stream.
  • encoding processing is performed on the inserted frame image to indicate that it is a repetitive image from the previous image.
  • FIG. 1 is a block diagram showing a conventional stream converter.
  • FIGS. 2A to 2E show an MPEG-2 format encoded stream with a frame rate of 3 p: ps and a MPEG-4 format with a frame rate of l O fps by a conventional stream converter.
  • FIG. 3 is a diagram showing data and the like generated when converting into an encoded stream.
  • FIG. 3A to 3E show MPEG-4 encoded streams with a frame rate of 10 fps and MPEG-2 encoded frames with a frame rate of 30 fps, using a conventional stream converter.
  • FIG. 4 is a diagram showing data and the like generated when converting into a stream.
  • FIG. 4 is a block diagram showing a first example of a stream conversion device to which the present invention is applied.
  • FIG. 5 is a block diagram showing a second example of the stream conversion device according to the present invention.
  • FIG. 6 is a block diagram showing the internal configuration of the stream conversion device according to the present invention.
  • FIGS. 7A to 7C show the frame rate by the stream conversion device according to the present invention. Is generated when a 30 fps MPEG-2 encoded stream is converted to a 1 O fps MPEG-4 encoded stream. It is a figure showing data etc.
  • FIGS. 8A to 8C show an MPEG-4 type encoding stream with a frame rate of 1 O fps and a frame rate of 3 O by the stream conversion device according to the present invention.
  • FIG. 7 is a diagram illustrating a process and the like generated at the time of conversion to an encoding stream of f Ps MPEG-2 system.
  • FIG. 9 is a block diagram showing a first application example of the stream conversion device according to the present invention.
  • FIG. 10 is a block diagram showing a second application example of the stream conversion device according to the present invention.
  • BEST MODE FOR CARRYING OUT THE INVENTION A stream converter to which the present invention is applied will be described with reference to the drawings.
  • a stream conversion apparatus to which the present invention is applied is capable of encoding a moving image encoded by the MPEG-4 method from an encoding stream of a moving image encoded by the MPEG-2 method. It enables the conversion to a stream and the coding system conversion process that performs the inverse conversion. Further, the stream conversion device according to the present invention can convert the frame rate of an encoded stream of a moving image.
  • the stream conversion device receives an MPEG-2 encoding stream of a first frame rate (for example, 30 fps) from the content server 2 as input.
  • the second frame rate (for example, 10 fps) lower than the first frame rate is input by converting the coding scheme and the frame rate of the input stream S 1 as the stream S 1.
  • the stream conversion device uses the MPE G-4 system of the second frame rate (for example, lofps) from the network 3.
  • the coded stream is input as the input stream S 1, and the coding scheme and the frame rate of the input input stream S 1 are converted to obtain the first frame rate (for example, 30 fps).
  • the present invention is applied to a stream conversion device 1 that generates an encoded stream of the MPEG-2 system and stores the generated encoded stream as an output stream S2 in a content server 2.
  • FIG. 6 shows a more detailed configuration of the stream converter 1 according to the present invention.
  • the stream converter 1 includes an input unit 1 for inputting data from the content server 2 or the network 3 and an input unit 11 for performing input processing for the stream S1, and an output to the content server 2 or the network 3.
  • Output section 12 for outputting to the output stream S2, image input / output section ⁇ ⁇ ⁇ ⁇ for input / output processing of baseband moving image data, and coding for coding and decoding of the coded stream.
  • a decoding unit 14, a frame memory 15 for storing moving image data of a baseband, and a memory interface 16 serving as an interface with the frame memory 15 are provided.
  • the stream converter 1 includes an MPEG-2 encoded stream or an MPEG-4 encoded stream as an incoming stream S1 and an outgoing stream S2. Input / output via input terminal 11a and output terminal 12a.
  • the input unit 11 receives the encoding stream of MPEG-2 or MPEG-4 from the content server 2 or the network 3 and supplies it to the encoding / decoding unit 14.
  • the output unit 12 transmits the encoded stream of MPEG-2 or MPEG-4 output from the encoding / decoding unit 14 to the content server 2 or the network 3.
  • the image input / output unit 13 transmits and receives moving image data of a paceband to and from an external device.
  • the encoding / decoding unit 14 is configured as a shared circuit that can perform encoding and decoding processing for both the MEPG-2 and the MPEG-4.
  • the encoder / decoder 14 performs, for example, time-division processing based on control from an external controller or the like, and can perform encoding and decoding simultaneously and in parallel. Processing for streams between different systems of EG-4 can be performed simultaneously and in parallel. For example, a plurality of encoding processes and a plurality of decoding processes for a plurality of encoded streams can be performed.
  • the frame memory 15 stores pace band moving image data. In the frame memory 15, moving image data is read and written via the memory interface 16.
  • the encoding / decoding unit 14 stores moving image data generated by decoding the encoded stream in the frame memory 15 in frame units. Further, the encoding / decoding unit 14 reads out the moving image data stored in the frame memory 15 on a frame basis and performs an encoding process.
  • the image input / output unit 13 reads the baseband moving image data stored in the frame memory 15 and outputs it to an external device. The baseband moving image data input from the external device is input to the frame memory 1. Store in 5.
  • the encoding / decoding section 14 includes a variable-length encoding / decoding section 21, a quantization / inverse quantization section 22, a DCT / IDCT processing section 23, a motion compensation section 24, and a subtractor 2. 5, an adder 26, a motion detector 27, and a controller 28.
  • the variable-length encoding / decoding unit 21 performs encoding and decoding of a variable-length code and a fixed-length code.
  • the variable-length encoding / decoding unit 21 receives the quantized DCT coefficient data from the triplet / inverse quantizer 22 and inputs the Various types of syntax such as motion vectors are input, and variable-length or fixed-length coding is performed on them.
  • the variable-length encoding / decoding section 21 forms a stream conforming to the MPEG-2 or MPEG-4 standard after encoding the variable-length code and the fixed-length code, and forms the formed stream.
  • the beam is supplied to the output unit 12.
  • variable-length encoding / decoding unit 21 When performing a decoding process, the variable-length encoding / decoding unit 21 receives an encoded stream from the input unit 11 and analyzes the structure of the input encoded stream to stream. And the variable-length code or fixed-length code is decoded for the divided data. The variable-length encoding / decoding unit 21 supplies the DCT coefficient to the quantization / inverse quantization unit 22 and supplies the syntax such as the motion vector to the controller 28.
  • the quantization / inverse quantization unit 22 performs a quantization process and an inverse quantization process.
  • the quantization / inverse quantization unit 22 receives the DCT coefficient data from the DCT / DCT processing unit 23 and performs a predetermined quantization on the input DCT coefficient data.
  • the quantization processing is performed using the parameterization, and the quantized DCT coefficient data is supplied to the variable-length encoding / decoding unit 21.
  • the quantizing / inverse-gating unit 22 receives DCT coefficient data from the variable-length encoding / decoding unit 21 and performs predetermined processing on the input DCT coefficient data.
  • the inverse quantization process is performed using the quantization parameters of the above, and the DCT coefficient data subjected to the inverse quantization process is supplied to the DCT / IDCT processing unit 23.
  • the DCT / IDCT processing unit 23 performs a discrete cosine transform process and an inverse discrete cosine transform process.
  • the DCT / IDCT processing unit 23 inputs image data in frame units to the spatial domain output from the subtracter 25, and performs discrete cosine transform on the input image data. Performs processing to generate DCT coefficient data.
  • the DCT / IDCT processing unit 23 supplies the generated DCT coefficient data to the quantization / inverse quantization processing unit 22 during the encoding processing.
  • the DCT / IDCT processing unit 23 receives DCT coefficient data from the quantization / inverse quantization unit 22 and performs inverse discrete cosine transform on the input DCT coefficient data. Then, image data of the spatial domain is generated.
  • the DCT / IDCT processing unit 23 supplies the generated image data of the spatial domain to the adder 26.
  • the motion compensation unit 24 reads a reference frame stored in the frame memory 15 and performs motion compensation on the reference frame according to a motion vector to generate a prediction frame.
  • the encoding / decoding unit 14 when performing the encoding process, performs local quantization, IDCT processing, and motion compensation on the DCT coefficient data once subjected to the quantization process.
  • the decoding process is performed, and the image data subjected to the local decoding is stored in the frame memory 15. Further, the motion compensating unit 24 generates a prediction frame using the locally decoded image data as a reference frame.
  • the motion compensation unit 24 reads the already decoded reference frame from the frame memory 15 and generates a prediction frame.
  • the motion compensation unit 24 supplies the predicted frame to the subtractor 25 when performing the encoding process, and supplies the predicted frame to the adder 26 when performing the decoding process.
  • the subtracter 25 performs encoding from the frame memory 15 when performing encoding processing. Is input.
  • the subtractor 25 subtracts the predicted frame supplied from the motion compensation unit 24 from the frame to be encoded.
  • the subtractor 25 supplies the frame after the subtraction to the DCT / IDCT processing unit 23.
  • the adder 26 When performing decoding, the adder 26 receives image data from the DCT / IDCT processing unit 23 on a frame-by-frame basis and adds the prediction frame supplied from the motion compensation unit 24 to the input image data. I do. The adder 26 stores the frame after the addition in the frame memory 15.
  • the motion detector 27 calculates a motion vector between each frame on a macroblock basis based on the image data in the frame memory 15. The motion vector thus output is sent to the motion compensator 24. It is supplied to controller 28 as well.
  • the controller 28 generates a simplex other than the image data included in the encoded stream, and controls each circuit in the encoding / decoding unit 14.
  • the MPEG-2 encoding stream at a frame rate of 3 O fps stored in the content server 2 is encoded using the MP EG-4 encoding at a frame rate of l O fps.
  • the operation of the stream converter 1 when converting the stream into a stream and transmitting the stream via the network 3 will be described with reference to FIGS. 7A to 7C.
  • the stream converter 1 reads an MPEG-2 encoded stream of 30: ps as shown in FIG. 7A from the content server.
  • the read encoding stream of the MPEG-2 system is supplied to the encoding / decoding unit 14 via the input unit 11.
  • the encoding / decoding unit 14 decodes the input MPEG-2 encoding stream to generate baseband moving image data.
  • the generated baseband video data is stored in the frame memory 15.
  • the encoding / decoding unit 14 performs decoding processing only on frames necessary for encoding MPEG-4, and discards non-coded frames without decoding. It is desirable that the frame to be discarded does not affect the decoding process of other frames even if it is deleted, such as a B picture. For example, if an I-picture or P-picture appears once every three frames in a general GOP-encoded stream, as shown in Fig. 7B, without decoding the B-picture, Discard and decode only I or P pictures. By decoding in this way, the frame rate Can generate 10 fps baseband moving image data.
  • the encoder / decoder 14 reads the video data of the baseband with a frame rate of 10 fps shown in Fig. 7B from the frame memory 15 and encodes it using the MPEG-4 method. Then, an encoding stream of the MPEG-4 scheme as shown in FIG. 7C is generated and distributed to the network 3. ⁇
  • the stream conversion device 1 according to the present invention can reduce the amount of decoding processing and the overall processing cost by performing the above processing.
  • an MPEG-4 encoding frame 1 and a frame rate of 1 O fps received via the network 3 are encoded into an MPEG-2 encoding frame with a frame rate of 3 O fps.
  • the operation of the stream converter 1 when converting the stream into a stream and storing the stream in the content server 2 will be described with reference to FIGS. 8A to 8C.
  • the stream conversion device 1 receives from the network 3 an MPEG-4 encoded stream with a frame rate of 1 Offps as shown in FIG.
  • the received MPEG-4 encoding stream is supplied to the encoding / decoding unit 14 via the input unit 11.
  • the encoding / decoding unit 14 decodes the input encoding stream of MPEG-4 to generate moving image data of 1 fps baseband as shown in FIG. 8B.
  • the generated moving image data of the base band is stored in the frame memory 15.
  • the encoding / decoding unit 14 reads and encodes the 10 fps baseband video data stored in the frame memory 15 and encodes the MPEG-2 encoding stream. Generate a ream.
  • the encoding / decoding unit 14 inserts a new frame at an arbitrary position to change the frame rate from 10 fps to 30 fps.
  • a new frame to be inserted repeats a past frame.
  • the encoding / decoding unit 14 performs encoding such that a new frame used repeatedly is constituted by a skipped macroblock defined by the MPEG-2 encoding method.
  • a skipped macroblock is a macroblock that skips the macroblock and does not transmit the actual image data if the current image data is the same as the data of the previous macroblock in time. For example, as shown in FIG. 8C, assume that the images of B0, B1, B3, and B4 are frames composed of skipped macroblocks.
  • the encoding / decoding unit 14 stores the 30 fps MPEG-2 encoded stream generated as described above as shown in Fig. 8C in the content server 2 via the output unit 12 I do.
  • the stream conversion device 1 according to the present invention can reduce the amount of encoding processing and the overall processing cost by performing the above processing. As described above, the stream conversion device 1 according to the present invention can reduce the amount of processing when converting a frame rate as compared with the conventional stream conversion device.
  • the stream converter 1 is not limited to the applications shown in FIGS. 4 and 5, but also, for example, as shown in FIG. 9, an MPEG-4 having a frame rate of 10 fps.
  • the MPE G-2 encoded stream having the frame rate of 30 fps is received from the content server 2 and the read encoded stream is received.
  • the stream can be converted into an MPEG-4 encoded stream having a frame rate of 10 fps and distributed via the network 3.
  • an MPEG-4 encoded stream having a frame rate of 10 fps is received via the network 3 and the received encoded stream is received. Is converted to two 30 fps encoded streams, MPEG-1 and MPEG-2, and the MPEG-1 encoded stream is converted to a removable medium such as flash memory 4. It is also possible to record and record the encoded stream of MPEG-2 in the content server 2.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

　本発明は、フレームレートが高い（例えば３０ｆｐｓ）ＭＰＥＧ-２方式の符号化ストリームを、フレームレートが低い（例えば１０ｆｐｓ）ＭＰＥＧ-４方式の符号化ストリームに変換するストリーム変換装置（４）であり、コンテンツサーバ（２）から３０ｆｐｓのＭＰＥＧ-２方式の符号化ストリームが入力され、その符号化ストリームのフレームレート及び符号化方式を変換して、１０ｆｐｓのＭＰＥＧ-４方式の符号化ストリームをネットワーク（３）を介して送出する。その際に、ストリーム変換装置（４）は、ＭＰＥＧ-４方式の符号化ストリーム中に符号化されないフレームを、ＭＰＥＧ-２方式の符号化ストリームから復号しないようにしている。

Description

明細書 動画像データス ト リームの変換装置及び方法 技術分野 本発明は、 動画像データのフレームレートの変換処理並びに動画像デ一夕の符 号化方式の変換処理を行う動画像データス トリームの変換装置及び方法に関する ものである。
本出願は、 日本国において 2 0 0 2年 9月 2 6 日に出願された日本特許出願番 号 2 0 0 2— 2 8 1 6 1 4を基礎として優先権を主張するものであり、 この出願 は参照することにより、 本出願に援用される。 景技術 インターネッ ト等のネッ トワークを介した動画像データのリアルタイム配信が 行われいる。 動画像データのリアルタイム配信を行う場合、 通常、 ソースとなる 動画像データをコンテンツサーバに記録しておき、 そのコンテンツサーバからネ ッ トワークを介してクライアントに送出する。 コンテンツサーバに記録されてい る動画像データは、 リアルタイム配信に用いられるのみならず、 ネッ トワークを 介さずに直接表示されたり、 或いは、 他のコンテンツの素材映像として用いられ たりもする。
ところで、 ネヅ トワークを介して動画像データのリアルタイム配信を行う場合、 そのネッ トワークの伝送容量に制限があるので、 通常の動画像の表示レート （例 えば 3 0フレーム毎秒 （ f p s ) ) よりも、 低いフレームレート （例えば 1 0 f p s程度） で送信されるのが一般的である。 コンテンヅサーバに記録されている 動画像データは、 ネッ トワークを介さずに直接表示したり、 他のコンテンツの素 材映像等として用いられたりすることを考慮して、 通常の動画像の表示レー卜の 3 0 f p sで記録されている場合がある。 このように、 フレームレートが 3 O f p Sの動画像データがコンテンツサーバに記録されている場合、 この動画像デー 夕をネッ トワークを介して送出するには、 フレームレートをリアルタイム処理で ダウンコンパ'一トしながら配信をしなければならない。
また、 ネッ トワークを介して配信されてきた動画像データを、 例えばハ一ドデ イスク等の記録メディァに記録する場合、 そのままのフレ一ムレ一トで記録する よりも、 通常の動画像の表示レート （30 f p s) で記録する方が、 再生処理等 を考慮すると望ましいことがある。 このような場合、 受信した動画像データのフ レームレートをリアルタイム処理でァヅプコンバ一ト しながら記録しなければな らない。
近年、 ネッ トワーク配信に適した動画像圧縮方式として、 MPEG- 4と呼ばれ る規格が提案されている。 これまでの映像資産は、 MP E G-2方式のデータが多 く、 また、 記録メディアからネッ トワークを介さずに直接に映像を再生すること を考慮すると、 MP E G- 4方式で符号化された動画像データを記録メディアに記 録するよりも、 MPE G- 2方式で符号化された動画像データを記録メディアに記 録した方が都合がよい場合もある。 そのため、 MP E G- 4方式の動画像データを ネヅ トワークを介して配信する場合であっても、 コンテンツサーバに MP EG - 2 方式の動画像デ一夕を記録しておき、 適宜符号化方式の変換を行って、 配信する ことも多いと考えられる。
以上のような実状を鑑みると、 ネッ トワーク配信を行う場合には、 フレームレ 一トの変換処理並びに MP E G-2と MP E G- との間の符号化方式の変換処理 を行うことができるス ト リーム変換装置が必要になってく ると考えられる。
図 1に、 従来から提案されているス ト リーム変換装置の構成図を示す。
図 1に示すス ト リーム変換装置 1 1 0は、 MP E G- 2方式の符号化ス ト リーム の符号化及び復号を行う MPE G- 2符号化/復号部 1 1 1と、 MPE G-4方式 の符号化ス ト リームの符号化及び復号を行う MP E G- 4符号化 Z復号部 1 1 2と、 フレームメモリ 1 1 3とを備えている。
ス ト リーム変換装置 1 1 0では、 コンテンツサーバ 1 0 1に格納されているフ レームレートが 3 O f p sの MPE G- 2方式の符号化ス ト リームを、 フレ一ムレ 一卜が l O f p sの MPE G- 4方式の符号化ス ト リームに変換して、 ネヅ トヮー ク 1 0 2を介して送出する場合には、 図 2 A〜図 2 Eに示すような動作を行う。 ス ト リーム変換装置 1 1 0は、 図 2 Aに示すような 3 0 f p sの MP EG- 2方 式の符号化ス ト リームをコンテンヅサーバ 1 0 1から読み出して、 MPEG- 2符 号化/復号部 1 1 1により復号し、 図 2 Bに示すような 3 0 f p sのベースバン ドの動画像データを生成する。 生成された 30 f p sのベースバンドの動画像デ 一夕は、 一旦フレームメモリ 1 1 3に格納される。 続いて、 ス ト リーム変換装置 1 1 0は、 図 2 Cに示すようにフレームメモリ 1 1 3上で任意のフレームの間引 き処理を行い、 図 2 Dに示すようなフレームレートが 1 0 f p sのベースバン ド の動画像データを生成する。 そして、 ス ト リーム変換装置 1 1 ◦は、 図 2 Dに示 すフレームレートが 1 O f p sのべ一スバンドの動画像データをフレームメモリ 1 1 3から読み出して、 MPE G- 4符号化/復号部 1 1 2により符号化し、 図 2 Eに示すような MPE G- 4方式の符号化ス ト リームを生成し、 ネッ トワーク 1 ◦ 2へ配信する。
また、 ス ト リーム変換装置 1 1 0では、 ネヅ トワーク 1 02を介して受信した フレームレートが 1 0 f p sの MP E G- 4方式の符号化ス 卜 リームを、 フレーム レートが 3 0 f p sの MP E G- 2方式の符号化ス トリームに変換して、 コンテン ヅサーバ 1 0 1に格納する場合には、 図 3 A〜図 3 Eに示すような動作を行う。 ス ト リーム変換装置 1 1 0は、 図 3 Aに示すようなフレームレートが 1 0 f p sの MP E G- 4方式の符号化ス ト リームをネッ トワーク 1 0 2から受信して、 M P E G-4符号化/復号部 1 1 2により復号し、 図 3 Bに示すような 1 0 f p sの ベースバン ドの動画像データを生成する。 生成された 1 ◦ f p sのベースバン ド の動画像データは、 一旦フレームメモリ 1 1 3に格納される。 続いて、 スト リー ム変換装置 1 1 ◦は、 図 3 Cに示すようにフレームメモリ 1 1 3上でフレームコ ピー処理を行い、 図 3 Dに示すようなフレームレートが 30 f p sのベースバン ドの動画像データを生成する。 そして、 ス トリーム変換装置 1 1 0は、 図 3 Dに 示すフレームレートが 3 0 f p sのベースバン ドの動画像デ一タをフレームメモ リ 1 1 3から読み出して、 MP E G- 2符号化ノ復号部 1 1 1により符号化し、 図 3 Eに示すような MP E G- 4方式の符号化ス ト リームを生成し、 コンテンツサー ノ、' 1 0 1へ格納する。 上述したようなス ト リーム変換装置 1 1 0によりフレームレートの変換を行つ た場合、 3 0 f p sから 1 0 f p sへのダウンコンバート時には、 3 0 f p sの 復号処理及び 1 0 f p sの符号化処理とを合算した処理量が、 処理コス トとして 費やされてしまう。 また、 1 0 f p sから 3 0 f p sへのアップコンバート時に は、 1 0 f p sの復号処理及び 3 0 f p sの符号化処理とを合算した処理量が、 処理コス トとして費やされてしまう。 発明の閧示 本発明の目的は、 上述したような従来の技術が有する問題点を解消することが できる動画像データス 卜 リームの変換装置及び方法を提供す.ることにある。 本発明の他の目的は、 第 1のフレームレートの動画像信号を第 1の符号化方式 を用いて符号化した第 1のデータス ト リームから、 上記第 1のフレームレ一トょ り低い第 2のフレームレートの上記動画像信号を第 2の符号化方式を用いて符号 ィ した第 2のデータス ト リームを生成する動画像データス ト リームの変換を行う 際に、 処理コス トを低減させるス ト リーム変換装置及び方法を提供することにあ る。
本発明の更に他の目的は、 第 1のフレームレートの動画像信号を第 1の符号化 方式を用いて符号化した第 1のデータス ト リームから、 上記第 1のフレームレー トより高い第 2のフレームレートの上記動画像信号を第 2の符号化方式を用いて 符号化した第 2のデータス ト リームを生成する動画像データス ト リームの変換を 行う際に、 処理コス トを低減させるス ト リーム変換装置及び方法を提供すること ある。
本発明に係るス ト リーム変換装置及び方法は、 第 1のフレームレ一トの動画像 信号を第 1の符号化方式を用いて符号化した第 1のデータス ト リームから、 上記 第 1のフレームレートより低い第 2のフレームレートの上記動画像信号を第 2の 符号化方式を用いて符号化した第 2のデータス ト リームを生成する。 この発明で は、 上記第 2のデータス ト リーム中に符号化されないフレームを復号せずに上記 第 1のデータス ト リームから上記動画像信号を復号し、 復号された上記動画像信 号を第 2の符号化方式を用いて符号化して第 2のデ一夕ス ト リームを生成する。 本発明に係る他のス ト リーム変換装置及び方法は、 第 1のフレームレートの動 画像信号を第 1の符号化方式を用いて符号化した第 1のデータス ト リームから、 上記第 1のフレームレートより高い第 2のフレームレートの上記動画像信号を第 2の符号化方式を用いて符号化した第 2のデータス ト リームを生成する。 この発 明では、 上記第 1のデータス ト リームから上記動画像信号を復号し、 復号された 上記動画像信号を第 2の符号化方式を用いて符号化して第 2のデータス ト リーム を生成するとともに、 同一のフレーム画像を繰り返し揷入することによりフレー ムレートを高くする場合には、 挿入されるフレーム画像に対して、 前画像からの 繰り返し画像であることを示す符号化処理を行う。
本発明の更に他の目的、 本発明によって得られる具体的な利点は、 以下におい て図面を参照して説明される実施の形態の説明から一層明らかにされるであろう。 図面の簡単な説明 図 1は、 従来のス ト リーム変換装置を示すプロック図である。
図 2 A〜図 2 Eは、 従来のス ト リーム変換装置により、 フレームレートが 3 〇 ： p sの M P E G - 2方式の符号化ス ト リームを、 フレームレートが l O f p sの M P E G - 4方式の符号化ス ト リームに変換する際に生成されるデータ等を示す図 である。
図 3 A〜図 3 Eは、 従来のス ト リーム変換装置により、 フレームレートが 1 0 f p sの M P E G - 4方式の符号化ス ト リームを、 フレームレートが 3 0 f p sの M P E G - 2方式の符号化ス ト リームに変換する際に生成されるデータ等を示す図 である。
図 4は、 本発明を適用したス ト リーム変換装置の第 1の例を示すブロック図で ある。
図 5は、 本発明に係るス トリーム変換装置の第 2の例を示すブロック図である。 図 6は、 本発明に係るス ト リーム変換装置の内部構成を示すプロック図である。 図 7 A〜図 7 Cは、 本発明に係るス ト リーム変換装置により、 フレームレート が 3 0 f p sの MP E G- 2方式の符号化ス ト リ一ムを、 フレームレ一卜が 1 O f p sの MP E G- 4方式の符号化ス ト リームに変換する際に生成されるデータ等を 示す図である。
図 8 A〜図 8 Cは、 本発明に係るス ト リーム変換装置により、 フレームレ一ト が 1 O f p sの MP E G- 4方式の符号化ス ト リ一ムを、 フレームレートが 3 O f P sの MP E G- 2方式の符号化ス トリームに変換する際に生成されるデ一夕等を 示す図である。
図 9は、 本発明に係るス ト リーム変換装置の第 1の適用例を示すプロック図で ある。
図 1 0は、 本発明に係るス ト リーム変換装置の第 2の適用例を示すプロック図 である。 発明を実施するための最良の形態 本発明を適用したス ト リーム変換装置を図面を参照して説明する。 本発明を適 用したス ト リーム変換装置は、 MP E G- 2方式で符号化された動画像の符号化ス ト リームから、 MP E G-4方式で符号化された動画像の符号化ス ト リームへの変 換、 並びに、 その逆変換を行う符号化方式変換処理が可能とする。 また、 本発明 に係るス ト リーム変換装置は、 動画像の符号化ス ト リームのフレームレートの変 換を行うことが可能とである。
本発明に係るス ト リーム変換装置は、 例えば、 図 4に示すように、 コンテンツ サーバ 2から第 1のフレームレート （例えば 3 0 f p s) の MPE G- 2方式の符 号化ス トリームが入カス ト リーム S 1 として入力され、 その入カス ト リ一ム S 1 の符号化方式及ぴフレームレートを変換することによって、 第 1のフレームレー トより低い第 2のフレームレート （例えば 1 0 f p s ) の MP E G- 4方式の符号 化ス ト リームを生成し、 生成した符号化ス トリームを出カス ト リ一ム S 2として ネッ トワーク 3を介して配信するス ト リーム変換装置 1に適用される。
また、 本発明に係るス ト リーム変換装置は、 例えば、 図 5に示すように、 ネッ トワーク 3から第 2のフレームレート （例えば l O f p s) の MPE G- 4方式の 符号化ス ト リームが入カス トリーム S 1 として入力され、 その入力された入カス ト リーム S 1の符号化方式及びフレームレートを変換することによって、 第 1の フレームレート （例えば 3 0 f p s) の MPE G- 2方式の符号化ス ト リームを生 成し、 生成した符号化ス ト リームを出力ス ト リーム S 2としてコンテンツサーバ 2に格納するス ト リーム変換装置 1に適用される。
図 6に、 本発明に係るス ト リ一ム変換装置 1の更に詳細な構成を示す。
ス ト リ一ム変換装置 1は、 コンテンツサーバ 2又はネヅ トワーク 3から入力さ れる入カス 1、 リーム S 1に対する入力処理を行う入力部 1 1と、 コンテンツサー バ 2又はネッ トワーク 3へ出力する出力ス トリーム S 2に対する出力を行う出力 部 1 2と、 ベースバンドの動画像データの入出力処理を行う画像入出力部 ϊ ¾ と、 符号化ス ト リームの符号化及び復号を行う符号化/復号部 14と、 ベースバン ド の動画像デ一夕を記憶するフレームメモリ 1 5と、 フレームメモリ 1 5のイン夕 フヱ一スとなるメモリインタフェース 1 6とを備えている。
このス ト リーム変換装置 1には、 入カス トリーム S 1及び出カス ト リーム S 2 として、 MP E G- 2方式の符号化ス ト リーム又は MP E G- 4方式の符号化ス ト リームが入力端子 1 1 a、 出力端子' 1 2 aを介して入出力される。
入力部 1 1は、 MP E G- 2又は MP E G- 4の符号化ス トリームをコンテンツ サーバ 2又はネッ トワーク 3から受信して、 符号化/復号部 1 4に供給する。 出力部 1 2は、 符号化/復号部 14から出力された MP EG- 2又は MP E G - 4の符号化ス ト リームを、 コンテンツサーバ 2又はネッ トワーク 3へ送信する。 画像入出力部 1 3は、 外部装置との間でペースバン ドの動画像データの送受信 を行う。 ―'
符号化/復号部 1 4は、 ME P G- 2及び MP E G- 4の両者に対する符号化及 び復号処理を行うことができる共用回路として構成されている。 符号化/復号部 1 4は、 外部コン トローラ等からの制御に基づき例えば時分割処理等が行われ、 符号化処理及び復号処理を同時平行的に行うことができ、 MP E G- 2及び MP E G - 4の異なる方式同士のス ト リームに対する処理も同時平行的に行うことができ る。 例えば、 複数本の符号化ス ト リームに対する複数の符号化処理及び復号処理 も行うことができる。 フレームメモリ 1 5は、 ペースバンドの動画像データを格納する。 フレームメ モリ 1 5は、 メモリインタフヱース 1 6を介して動画像データの読み出し及び書 き込みが行われる。 符号化/復号部 1 4は、 符号化ス ト リームを復号して生成さ れた動画像データを、 フレーム単位でフレームメモリ 1 5に格納する。 また、 符 号化/復号部 1 4は、 フレームメモリ 1 5に格納されている動画像データをフレ ーム単位で読み出して、 符号化処理を行う。 画像入出力部 1 3は、 フレームメモ リ 1 5に格納されているベースバンドの動画像データを読み出して外部装置に出 力し、 外部装置から入力されたベースバン ドの動画像データをフレームメモリ 1 5に格納する。
次に、 符号化/復号部 1 4の構成について説明をする。
符号化/復号部 1 4は、 可変長符号化/復号部 2 1 と、 量子化/逆量子化部 2 2 と、 D C T / I D C T処理部 2 3 と、 動き補償部 2 4と、 減算器 2 5 と、 加算 器 2 6と、 動き検出部 2 7 と、 コントローラ 2 8とを備えている。
可変長符号化/復号部 2 1は、 可変長符号及び固定長符号の符号化及び復号を 行う。 可変長符号化ノ復号部 2 1は、 符号化処理を行う場合には、 3子化/逆量 子化部 2 2から量子化後の D C T係数データが入力されるとともに、 コントロー ラ 2 8から動きべク トル等の各種シン夕ックスが入力され、 これらに対して可変 長符号または固定長符号の符号化処理を行う。 可変長符号化/復号部 2 1は、 可 変長符号及び固定長符号の符号化処理をしたのち、 M P E G - 2又は M P E G - 4 の規格に応じたス ト リームを形成し、 形成したス ト リームを出力部 1 2に供給す る。 可変長符号化/復号部 2 1は、 復号処理を行う場合には、 入力部 1 1から符 号化ス トリームが入力され、 入力された符号化ス ト リームの構造を解析してス ト リームを分割し、 それそれ分割したデータに対して可変長符号の復号処理又は固 定長符号の復号処理を行う。 可変長符号化/復号部 2 1は、 D C T係数は量子化 /逆量子化部 2 2に供給し、 動きべク トル等のシンタヅクスはコン トローラ 2 8 に供給する。
量子化/逆量子化部 2 2は、 量子化処理及び逆量子化処理を行う。 量子化/逆 量子化部 2 2は、 符号化処理を行う場合には、 D C T /ェ D C T処理部 2 3から D C T係数データが入力され、 入力された D C T係数データに対して所定の量子 化パラメ一夕を用いて量子化処理を行い、 量子化処理をした D C T係数データを 可変長符号化/復号部 2 1に供給する。 また、 量子化/逆 g子化部 2 2は、 復号 処理を行う場合には、 可変長符号化/復号部 2 1から D C T係数データが入力さ れ、 入力された D C T係数データに対して所定の量子化パラメ一夕を用いて逆量 子化処理を行い、 逆量子化処理をした D C T係数データを D C T / I D C T処理 部 2 3に供給する。
D C T / I D C T処理部 2 3は、 離散コサイン変換処理及び逆離散コサイン変 換処理を行う。 D C T / I D C T処理部 2 3は、 符号化処理を行う場合には、 減 算器 2 5から出力された空間領域に画像データがフレーム単位で入力され、 入力 された画像データに対して離散コサイン変換処理を行い、 D C T係数データを生 成する。 D C T / I D C T処理部 2 3は、 符号化処理時には、 生成した D C T係 数データを量子化/逆量子化処理部 2 2に供給する。 D C T / I D C T処理部 2 3は、 復号処理を行う場合には、 量子化/逆量子化部 2 2から D C T係数データ が入力され、 入力された D C T係数データに対.して逆離散コサイン変換を行い、 空間領域の画像データを生成する。 D C T / I D C T処理部 2 3は、 復号処理を 行う場合には、 生成した空間領域の画像データを加算器 2 6に供給する。
動き補償部 2 4は、 フレームメモリ 1 5に格納されている参照フレームを読み 出して、 上記参照フレームに対して動きベクトルに応じた動き補償を行い、 予測 フレームを生成する。
ここで、 符号化/復号部 1 4は、 符号化処理を行う場合には、 一旦量子化処理 がされた後の D C T係数データに対して逆 3子化、 I D C T処理及び動き補償と いった局所復号処理を行い、 局所復号がされた画像データをフレームメモリ 1 5 内に格納する。 さらに、 動き補償部 2 4は、 その局所復号された画像データを参 照フレームとし予測フレームを生成する。 また、 動き補償部 2 4は、 復号処理を 行う場合には、 すでに復号された参照フレームをフレームメモリ 1 5から読み出 して、 予測フレームを生成する。 動き補傥部 2 4は、 符号化処理を行う場合には 予測フレームを減算器 2 5に供給し、 復号処理を行う場合には予測フレームを加 算器 2 6に供給する。
減算器 2 5は、 符号化処理を行う場合に、 フレームメモリ 1 5から符号化対象 となるフレームが入力される。 減算器 2 5は、 符号化対象となるフレームから、 動き補償部 24から供給された予測フレームを減算する。 減算器 2 5は、 減算後 のフレームを D C T/I D C T処理部 2 3に供給する。
加算器 2 6は、 復号処理を行う場合に、 D C T/ I D C T処理部 2 3からフレ ーム単位で画像データが入力され、 入力された画像データに動き補償部 24から 供給された予測フレームを加算する。 加算器 2 6は、 加算後のフレームをフレー ムメモリ 1 5に格納する。
動き検出部 2 7は、 フレ^ "ムメモリ 1 5内の画像データに基づき、 各フレーム 間の動きベク トルを、 マクロブロック単位で算出する。 箅出された動きベク トル は、 動き補償部 24に供給されるとともに、 コン トローラ 2 8に供給する。
コントローラ 2 8は、 符号化ス ト リームに含まれる画像データ以外のシン夕ッ クスを生成するとともに、 符号化/復号部 14内の各回路の制御を行う。
次に、 コンテンッサーバ 2に格納されているフレ一ムレートが 3 O f p sの M P E G- 2方式の符号化ス ト リ一ムを、 フレームレートが l O f p sの MP E G - 4方式の符号化ス ト リームに変換して、 ネッ トワーク 3を介して送出する場合の、 ス ト リーム変換装置 1の動作について図 7 A〜図 7 Cを参照して説明をする。 ス ト リーム変換装置 1は、 図 7 Aに示すような 30 : p sの MPE G- 2方式の 符号化ス ト リームをコンテンツサーバ から読み出す。 読み出された MP E G- 2 方式の符号化ス ト リームは、 入力部 1 1を介して符号化/復号部 1 4に供給され る。 符号化/復号部 1 4は、 入力された MP E G- 2の符号化ス ト リ一ムを復号し て、 ベースバン ドの動画像データを生成する。 生成されたベースバン ドの動画像 データはフレームメモリ 1 5に格納される。
この際、 符号化/復号部 14は、 MP E G- 4の符号化時に必要なフレームのみ の復号処理を行い、 符号化されないフレームに対しては復号をせずに破棄する。 破棄するフレームは、 例えば、 Bピクチャのような削除しても他のフレームの復 号処理に影響を与えないものが望ましい。 例えば、 Iピクチャ又は Pピクチャの 現れる周期が 3フレームに 1回である一般的な GO P構成の符号化ス ト リームで あれば、 図 7 Bに示すように、 Bピクチャの復号を行わずに破棄し、 I又は Pピ クチャのみを復号を行う。 このように復号を行うことによって、 フレームレート が 1 0 f p sのベースバン ドの動画像データを生成することができる。
符号化/復号部 1 4は、 図 7 Bに示すフレームレートが 1 0 f p sのべ一スバ ン ドの動画像デ一夕をフレームメモリ 1 5から読み出して、 MPE G- 4方式で符 号化し、 図 7 Cに示すような MP E G- 4方式の符号化ス ト リームを生成し、 ネヅ トワーク 3へ配信する。 ·
本発明に係るス ト リーム変換装置 1は、 以上のような処理を行うことによって、 復号処理の処理量を削減し、 全体の処理コストを少なくすることができる。
次に、 ネッ トワーク 3を介して受信したフレームレートが 1 O f p sの MPE G- 4方式の符号化ス 1、 リームを、 フレームレートが 3 O f p sの MP E G-2方 式の符号化ス ト リームに変換して、 コンテンツサーバ 2に格納する場合の、 ス ト リーム変換装置 1の動作について図 8 A〜図 8 Cを参照して説明をする。
ス ト リーム変換装置 1は、 図 8Aに示すようなフレームレートが 1 O f p sの MP E G- 4方式の符号化ス ト リームをネッ トワーク 3から受信する。 受信された MP E G- 4方式の符号化ス ト リームは、 入力部 1 1を介して符号化/復号部 1 4 に供給される。 符号化ノ復号部 14は、 入力された MP E G-4の符号化ス ト リー ムを復号して、 図 8 Bに示すような、 1 ◦ f p sのベースバン ドの動画像データ を生成する。 生成されたベースバン ドの動画像データはフレームメモリ 1 5に格 納される。 続いて、 符号化/復号部 1 4は、 フレームメモリ 1 5に格納されてい る 1 0 f p sのベースバン ドの動画像デ一夕を読み出して符号化し、 MP E G- 2 方式の符号化ス ト リームの生成を行う。
この際、 符号化/復号部 14は、 フレームレートを l O f p sから 3 0 f p s にするために、 任意の位置に新たなフレームを挿入する。 挿入する新たなフレー ムは、 過去のフレームをそのまま繰り返して用いる。 符号化/復号部 1 4では、 その繰り返して用いられる新たなフレームを、 MP E G- 2の符号化方式で規定さ れているスキップドマクロブロックにより構成するように符号化を行う。 スキヅ プドマクロプロヅクは、 現在の画像データが時間的に前のマクロプロヅクのデー 夕と同一である場合、 そのマクロブロックをスキップし、 実際の画像データを伝 送しないマクロプロヅクである。 例えば、 図 8 Cに示すように、 B 0、 B l、 B 3、 B 4の画像をスキップドマクロプロヅクで構成されたフレームとする。 この ようにスキップドマクロプロヅクで構成されたフレームとすることによって、 そ のフレームに対する D C T処理等の演算を行わなくてもよくなり、 処理量を削減 することができる。 符号化/復号部 1 4は、 以上のように生成した図 8 Cに示す ような 30 f p sの MP E G- 2の符号化ス ト リームを、 出力部 1 2を介してコン テンッサーバ 2に格納する。
本発明に係るス ト リーム変換装置 1は、 以上のような処理を行うことによって、 符号化処理の処理量を削減し、 全体の処理コス トを少なくすることができる。 上述したように、 本発明に係るス ト リーム変換装置 1では、 従来のス ト リーム 変換装置に比べて、 フレームレ一トを変換する際の処理量を削減することができ る。
なお、 本発明に係るス ト リーム変換装置 1は、 図 4及び図 5に示したアプリケ ーシヨンのみならず、 例えば、 図 9に示すように、 フレームレ一トが 1 0 f p s の MPE G- 4の符号化ス ト リームをネッ トワーク 3を介して受信し、 且つ、 フレ ームレートが 30 f p sの MPE G-2の符号化ス ト リームをコンテンヅサーバ 2 から読み出して、 その読み出した符号化ス ト リ一ムをフレームレートが 1 0 f p sの MP E G- 4の符号化ス ト リームに変換して、 ネヅ トワーク 3を介して配信す ることもできる。
例えば、 図 1 0に示すように、 フレームレ一トが 1 0 f p sの MP E G-4の符 号化ス ト リ一ムをネッ トワーク 3を介して受信し、 受信した符号化ス ト リームを、 MPEG- 1及び MPE G- 2の 2つの 3 0 f p sの符号化ス ト リームに変換し、 MP E G- 1の符号化ス ト リ一ムをフラッシュメモリ 4等のリムーバブルなメディ ァに記録し、 MP E G- 2の符号化ス ト リームをコンテンツサーバ 2に記録すると いったこともできる。
なお、 本発明は、 上述の例に限定されるものではなく、 添付の請求の範囲及び その主旨を逸脱することなく、 様々な変更、 置換又はその同等のものを行うこと ができることは当業者にとって明らかである。 産業上の利用可能性 本発明に係るス ト リーム変換装置及び方法は、 フレームレートが高い符号化ス ト リームを、 フレームレートが低い符号化ス ト リームに変換する場合における処 理コス トを低減するができる。

Claims

請求の範囲
1 . 第 1のフレームレートの動画像信号を第 1の符号化方式を用いて符号化した 第 1のデータス ト リームが入力され、 入力された第 1のデ一夕ス ト リームから上 記動画像信号を復号する復号手段と、
上記復号手段により復号された上記動画像信号を上記第 1のフレームレー トよ り低い第 2のフレームレートで第 2の符号化方式を用いて符号化して第 2のデー タス ト リームを生成し、 生成した第 2のデータス ト リームを出力する符号化手段 とを備え、
上記復号手段は、 上記符号化手段により符号化されないフレームを復号しない ことを特徴とする動画像デ一タスト リームの変換装置。
2 . 第 1のフレームレートの動画像信号を第 1の符号化方式を用いて符号化した 第 1のデータス ト リームが入力され、 入力された第 1のデータス ト リームから上 記動画像信号を復号する復号手段と、
上記復号手段により復号された動画像信号を上記第 1のフレームレートより高 い第 2のフレームレートで第 2の符号化方式を用いて符号化して第 2のデータス ト リームを生成し、 生成した第 2のデータス ト リームを出力する符号化手段とを 備え、
上記符号化手段は、 同一のフレーム画像を繰り返し挿入することによりフレー ムレートを高くする場合には、 挿入されるフレーム画像に対して、 前画像からの 繰り返し画像であることを示す符号化処理を行うことを特徴とする動画像データ ス ト リームの変換装置。
3 . 第 1のフレームレートの動画像信号を第 1の符号化方式を用いて符号化した 第 1のデータス ト リームから、 上記第 1のフレームレートより低い第 2のフレー ムレートの上記動画像信号を第 2の符号化方式を用いて符号化した第 2のデータ ス ト リームを生成する動画像デ一タス ト リームの変換方法において、
上記第 2のデータス ト リーム中に符号化されないフレームを復号せずに上記第 1のデータスト リームから上記動画像信号を復号し、
復号された上記動画像信号を第 2の符号化方式を用いて符号化して第 2のデー 夕ス ト リームを生成することを特徴とする動画像データス トリームの変換方法。
4 . 第 1のフレームレートの動画像信号を第 1の符号化方式を用いて符号化した 第 1のデータス ト リームから、 上記第 1のフレームレートより高い第 2のフレー ムレートの上記動画像信号を第 2の符号化方式を用いて符号化した第 2のデータ ス ト リームを生成する動画像データス ト リームの変換方法において、
上記第 1のデータス ト リームから上記動画像信号を復号し、
復号された上記動画像信号を第 2の符号化方式を用いて符号化して第 2のデー 夕ス ト リームを生成するとともに、 同一のフレーム画像を繰り返し揷入すること によりフレームレートを高くする場合には、 揷入されるフレーム画像に対して、 前画像からの繰り返し画像であることを示す符号化処理を行うことを特徴とする 動画像データス ト リームの変換方法。
PCT/JP2003/010319 2002-09-26 2003-08-13 動画像データストリームの変換装置及び方法 WO2004030367A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002281614A JP2004120415A (ja) 2002-09-26 2002-09-26 動画像データストリームの変換装置及び方法
JP2002-281614 2002-09-26

Publications (1)

Publication Number Publication Date
WO2004030367A1 true WO2004030367A1 (ja) 2004-04-08

Family

ID=32040515

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/010319 WO2004030367A1 (ja) 2002-09-26 2003-08-13 動画像データストリームの変換装置及び方法

Country Status (2)

Country Link
JP (1) JP2004120415A (ja)
WO (1) WO2004030367A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007060446A (ja) 2005-08-26 2007-03-08 Sony Corp メタデータ生成装置、情報処理装置、撮像装置、テレビ会議システム、セキュリティシステム、メタデータ生成方法及びプログラム
JP4578396B2 (ja) * 2005-12-08 2010-11-10 株式会社日立超エル・エス・アイ・システムズ 情報処理装置
BRPI0717900A2 (pt) * 2006-12-06 2013-10-29 Nec Corp "servidor ptt, sistema de comunciação ptt, método de comunicação ptt e programa para fazer um servidor ptt executar comunicação ptt"
JP4856008B2 (ja) * 2007-05-29 2012-01-18 シャープ株式会社 画像再符号化装置および画像再符号化方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0984011A (ja) * 1995-09-14 1997-03-28 Hitachi Ltd 動画符号化方式変換装置
JP2002262295A (ja) * 2001-02-28 2002-09-13 Victor Co Of Japan Ltd 動画像復号装置及び動画像符号化装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0984011A (ja) * 1995-09-14 1997-03-28 Hitachi Ltd 動画符号化方式変換装置
JP2002262295A (ja) * 2001-02-28 2002-09-13 Victor Co Of Japan Ltd 動画像復号装置及び動画像符号化装置

Also Published As

Publication number Publication date
JP2004120415A (ja) 2004-04-15

Similar Documents

Publication Publication Date Title
JP4132664B2 (ja) トランスコーディング
WO1994024822A1 (en) Method and apparatus for coding image, and image recording medium
JPH10136386A (ja) 符号化ビデオ信号処理方式
US6961377B2 (en) Transcoder system for compressed digital video bitstreams
JP4983917B2 (ja) 動画像配信システム、変換装置および動画像配信方法
US20040013399A1 (en) Information processing method and apparatus
JP2004015744A (ja) 画像情報変換装置およびビットストリーム変換機ならびに画像情報変換送信方法
JP2000059790A (ja) 動画像符号列変換装置及びその方法
US20050063461A1 (en) H.263/MPEG video encoder for efficiently controlling bit rates and method of controlling the same
US20110158318A1 (en) Encoding device, encoding method, decoding device, and decoding method
JPH0818979A (ja) 画像処理装置
JP3852366B2 (ja) 符号化装置および方法、復号装置および方法、並びにプログラム
JPH11275580A (ja) 画像データ処理装置、画像データ復号装置及び画像データ符号化装置並びにそれらの方法
KR100364748B1 (ko) 영상 변환 부호화 장치
JP2000312363A (ja) 動画像符号化方式の変換方法及びその装置
WO2004030367A1 (ja) 動画像データストリームの変換装置及び方法
KR100394014B1 (ko) 영상 변환 부호화 장치
JP2003520512A (ja) 伝送符号化方法及び伝送符号化装置
JP2004056616A (ja) 符号化信号復号装置、符号化信号復号方法および符号化信号復号プログラム
JPH11289515A (ja) 画像信号処理装置及び方法、画像信号記録装置及び方法並びに記録媒体
KR100932727B1 (ko) 비디오 스트림 전환 장치 및 방법
JPH07298270A (ja) 動き補償フレーム間予測符号化装置
KR100397133B1 (ko) 영상 데이터 압축 전송 시스템 및 그 방법
JP3454304B2 (ja) 符号化復号化装置
JP2000023096A (ja) データ符号化方法、復号化方法及び装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN KR US