WO2009093647A1 - 動画像ストリーム加工方法及び装置、それを用いた動画像再生装置並びに動画像配信装置 - Google Patents

動画像ストリーム加工方法及び装置、それを用いた動画像再生装置並びに動画像配信装置 Download PDF

Info

Publication number
WO2009093647A1
WO2009093647A1 PCT/JP2009/050958 JP2009050958W WO2009093647A1 WO 2009093647 A1 WO2009093647 A1 WO 2009093647A1 JP 2009050958 W JP2009050958 W JP 2009050958W WO 2009093647 A1 WO2009093647 A1 WO 2009093647A1
Authority
WO
WIPO (PCT)
Prior art keywords
bit stream
picture
stream
bit
bitstream
Prior art date
Application number
PCT/JP2009/050958
Other languages
English (en)
French (fr)
Inventor
Tatsuji Moriyoshi
Original Assignee
Nec Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corporation filed Critical Nec Corporation
Priority to JP2009550551A priority Critical patent/JP5170708B2/ja
Priority to US12/863,940 priority patent/US8731065B2/en
Priority to EP20090704263 priority patent/EP2249567A4/en
Publication of WO2009093647A1 publication Critical patent/WO2009093647A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G11B27/007—Reproducing at a different information rate from the information rate of recording reproducing continuously a part of the information, i.e. repeating
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Definitions

  • the present invention relates to a method and apparatus for processing a moving image stream, a moving image reproduction apparatus using the same, and a moving image distribution apparatus.
  • the present invention is particularly suitably used when performing special reproduction such as high-speed reproduction and reverse high-speed reproduction.
  • H standardized by ITU (International Telecommunication Union) as a technology to generate encoded data by encoding moving image signals at a low bit rate, high compression rate and high image quality, and to decode encoded moving images. . 261, H.H. 263. Also, ISO (International Organization for Standardization) MPEG-1, MPEG-2, MPEG-4, etc. are widely used as international standards.
  • ITU International Telecommunication Union
  • ISO International Organization for Standardization
  • H.264 has been standardized jointly by ITU and ISO. H.264 (Non-Patent Document 1). This H. It is known that H.264 can realize further improvement in compression efficiency and image quality as compared with the conventional moving picture coding technology.
  • inter-frame prediction encoding techniques that use temporal correlation between frames are widely used in order to efficiently compress video signals.
  • inter-frame predictive coding an image signal of a current frame is predicted from an image signal of an already encoded frame, and a prediction error signal between the predicted signal and the current signal is encoded.
  • this technique is effective in improving compression efficiency.
  • MPEG-1, MPEG-2, MPEG-4, H.264 In a moving picture coding technique such as H.264, an I picture (intra-frame coded picture) that does not use inter-frame predictive coding, and a P picture (one piece) that uses inter-frame predictive coding from one already coded frame.
  • a motion picture is encoded by combining a B picture (bidirectional predictive encoded picture) using interframe predictive encoding from two frames that have already been encoded.
  • an I picture can be decoded by one frame alone, but P picture and B picture cannot be decoded by one frame alone because image data used for prediction in inter-frame prediction is required in advance for decoding.
  • FIG. 1 An example of a picture configuration in the moving picture coding system is shown in FIG.
  • Each quadrangle represents one frame, and the picture type and display order are shown below (for example, B5 indicates that the fifth frame is encoded as a B picture in the display order).
  • B5 indicates that the fifth frame is encoded as a B picture in the display order.
  • a moving image is encoded by appropriately combining I pictures, P pictures, and B pictures having different properties.
  • FIG. 1 is a diagram showing an example of a picture configuration of moving picture coding.
  • special playback such as high-speed playback and reverse high-speed playback of an encoded video bitstream as shown in FIG. 1
  • I-picture bitstream that can be decoded independently is extracted from the bitstream and played back. Things have been done.
  • FIG. 2 is a diagram showing an operation example for obtaining a high-speed playback bit stream and a reverse high-speed playback bit stream.
  • FIG. 3 is a diagram showing the configuration of an apparatus that performs high-speed playback and reverse high-speed playback.
  • the bit stream is input to the stream extraction unit 101.
  • the stream extraction unit 101 extracts only the I-picture bit stream from the input bit stream and supplies it to the stream rearrangement unit 102.
  • the stream rearrangement unit 102 rearranges the supplied I-picture bit stream as necessary and outputs it to the outside.
  • the stream extraction unit 101 similarly extracts only I pictures from the bitstream, and the stream rearrangement unit 102 rearranges them in the reverse order of the display order and outputs them. By doing so, the reverse high-speed playback bit stream shown in the lower right part of FIG. 2 is obtained.
  • Patent Literature 1 discloses a technique for developing the above method and generating a high-speed playback stream by extracting only the minimum I picture necessary for display.
  • the method of Patent Document 1 is a H.264 standardized in recent years. It can also be used for special reproduction of a bitstream encoded by the H.264 video encoding technique.
  • H. H.264 has a higher degree of freedom in encoding than MPEG-1, MPEG-2, MPEG-4 and other encoding standards, and MPEG-1, MPEG-2, MPEG-4 encoding standards are applicable. There are cases where it is not possible. The contents will be described below.
  • IDR Intelligent Decoding Refresh
  • IDR pictures and I pictures are H.264, respectively. It refers to an IDR picture and an I picture in the H.264 system.
  • a bitstream having a small number of IDR pictures and a large number of I pictures is generated for the purpose of improving coding efficiency.
  • special reproduction using only IDR has a small number of pictures that can be used, and smooth motion cannot be realized.
  • FIG. 4 shows an operation example of a high-speed playback bit stream using only IDR.
  • the original bit stream is shown in the upper part of FIG. 4, and the high-speed playback bit stream is shown in the lower part of FIG.
  • the original bitstream includes a picture (IDR or I) that can independently reproduce the image data every 6 frames.
  • the IDR picture has an interval of 18 frames.
  • the other is an I picture.
  • frame_num existing in slice_header () is specified to increment by 1 for each reference picture, but when IDR and I are extracted and arranged, the value of frame_num increases by 2 or more between adjacent reference pictures Depending on the decoding device, there is a possibility of determining an error.
  • the decoding device has an operation mode for special playback.
  • the special playback mode the output order information and decoding errors in the header part are ignored, and the decoded image data is output as it is in the decoding order.
  • a technique for performing a decoding operation of performing the above is conceivable. JP 05-344494 A ITU-T Recommendation H. H.264 "Advanced video coding for genetic audioservices", March 2005
  • the video coding technology of the international standard such as H.264 strictly regulates the operation of the decoding device. If the same bit stream is input, any manufacturer that manufactures the decoding device conforming to the standard can be manufactured. It is guaranteed that the same decoding result can be obtained even with the decoding apparatus. This is one of the major advantages of the video coding technology of the international standard. For this reason, the technique of adding a function outside the standard to the decoding device is not preferable depending on the purpose of use.
  • An exemplary object of the present invention is to provide a moving image stream processing method and apparatus capable of realizing special reproduction such as high-speed reproduction and high-speed reverse reproduction without changing the decoding apparatus, and a moving image using the same
  • An object of the present invention is to provide an image reproduction device and a moving image distribution device.
  • the exemplary moving image stream processing apparatus of the present invention can independently decode a first bit stream of a picture that can be decoded independently from a bit stream obtained by encoding a moving image and an image data portion.
  • a conversion unit that converts the second bitstream extracted by the extraction unit into a third bitstream of a picture that can be decoded independently;
  • a moving picture stream processing apparatus that outputs the bit stream of the first picture extracted by the extraction unit and the third bit stream in the order of extraction or in the reverse order of the extraction; is there.
  • the exemplary moving image stream processing apparatus of the present invention can independently decode a first bit stream of a picture that can be decoded independently from a bit stream obtained by encoding a moving image and an image data portion.
  • An extraction unit that extracts a second bit stream of a picture other than the image data part that cannot be decoded independently, and a bit stream of an encoding parameter set;
  • a storage unit for storing the extracted encoding parameter set;
  • a generating unit that changes the stored encoding parameter set to generate an encoding parameter set for adjusting a bit length change other than the image data unit;
  • a conversion unit that converts the second bit stream extracted by the extraction unit into a third bit stream of a picture that can be independently decoded based on the encoding parameter set generated by the generation unit; Prepared,
  • the moving image stream processing apparatus outputs the first bit stream and the third bit stream extracted by the extraction unit in the order of extraction or in the reverse order of extraction.
  • an exemplary moving image reproduction device of the present invention includes the above-described moving image stream processing device, a moving image decoding device that decodes a bit stream obtained by encoding a moving image, and an input bit during normal reproduction.
  • a stream is supplied to the moving picture decoding apparatus, and an input bit stream is supplied to the moving picture stream processing apparatus at the time of special playback of high speed playback or reverse high speed playback, and the bit stream processed by the moving picture stream processing apparatus is A bit stream switching device for switching to be supplied to the moving image decoding device and a moving image display device for displaying a decoded image from the moving image decoding device.
  • an exemplary storage medium of the present invention includes a bit stream obtained by encoding a moving image and a special reproduction processed by the moving image stream processing apparatus according to any one of claims 1 to 6.
  • a bitstream and a management table having information associating the bitstream and the special reproduction bitstream are stored.
  • the exemplary moving image distribution apparatus of the present invention reads the bitstream from the storage medium and the storage medium during normal reproduction, and associates the bitstream with reference to the management table during special reproduction.
  • a bit stream switching device that reads the bit stream for special reproduction, and a bit stream transmission device that transmits the bit stream read by the bit stream switching device to a receiving terminal.
  • an exemplary moving image stream processing method of the present invention is capable of independently decoding a first bit stream of a picture that can be decoded independently from a bit stream obtained by encoding a moving image and an image data portion. And a second bit stream of a picture that cannot be decoded independently except for the image data portion, Converting the extracted second bitstream into a third bitstream of a picture that can be decoded independently;
  • the extracted first bit stream and the extracted third bit stream are arranged in the order of extraction or in reverse order of extraction.
  • an exemplary moving image stream processing method of the present invention is capable of independently decoding a first bit stream of a picture that can be decoded independently from a bit stream obtained by encoding a moving image and an image data portion.
  • the second bit stream of the picture other than the image data portion that cannot be decoded alone and the bit stream of the encoding parameter set are extracted, Storing the extracted encoding parameter set in a storage unit; Changing the stored encoding parameter set to generate an encoding parameter set for adjusting a bit length change other than the image data portion; Converting the extracted second bitstream into a third bitstream of a picture that can be independently decoded based on the generated encoding parameter set;
  • the extracted first bit stream and the extracted third bit stream are arranged in the order of extraction or in reverse order of extraction.
  • the picture data part can be decoded independently, but the header part cannot use pictures that cannot be decoded separately for special playback.
  • such pictures can be completely decoded independently. This is because it is converted into a simple picture and used for special reproduction. Since the special reproduction bit stream can be input to a normal decoding device and can be decoded, the special reproduction stream is input to a normal decoding device that does not have an additional function for realizing special reproduction and is decoded. Thus, it is possible to realize special reproduction such as high-speed reproduction and high-speed reverse reproduction that are smoother than conventional ones.
  • H.264 is used. An example of the H.264 system will be described.
  • FIG. 5 is a block diagram showing the configuration of the moving image stream processing apparatus according to the first embodiment of the present invention
  • FIGS. 6 and 7 are flowcharts showing the operation procedure.
  • 8 and 9 are diagrams for explaining the outline of the operation.
  • the present embodiment is different from the configuration of FIG. 3 in that it includes a switching unit 202 and a stream conversion unit 203 as shown in FIG.
  • the stream extraction unit 201 and the stream rearrangement unit 204 in FIG. 5 respectively correspond to the stream extraction unit 101 and the stream rearrangement unit 104 in FIG.
  • the stream rearrangement unit 204 arranges and outputs the images in the order of extraction in the case of high-speed reproduction, and outputs them in the reverse order of the extraction order in the case of reverse high-speed reproduction. Therefore, the stream rearrangement unit 204 is a bit stream output unit that generates and outputs a high-speed playback bit stream or a reverse high-speed playback bit stream.
  • the switching unit 202 switches depending on whether the stream supplied from the stream extraction unit 201 is an IDR picture or an I picture. That is, if it is an IDR picture, the stream is supplied to the stream rearrangement unit 204 as it is, and if it is an I picture, the stream is supplied to the stream conversion unit 203.
  • the stream conversion unit 203 converts the input I picture stream into an IDR picture.
  • the I picture and IDR picture are as described in the background art. That is, the IDR picture can be completely decoded independently like the I picture of the conventional coding standard such as MPEG-2. H. Although the H.264 I picture is image data itself decoded independently, the decoding of the header portion requires past picture information. That is, H.H. In the H.264 system, the image data portion of an IDR picture can be decoded independently, and the image data portion of an I picture can be decoded independently, but only the image data portion can be decoded independently.
  • step S1001 the stream extraction unit 201 reads an input bit stream (a bit stream obtained by encoding a moving image), and a picture that can be independently decoded in the image data unit (IDR or H.264) It is determined whether or not (I picture) is included (step S1002).
  • IDR image data unit
  • step S1002 the encoding type can be determined by the slice_type of slice_header (). If there is no IDR or I picture, the process proceeds to step S1007 and the operation is terminated.
  • the stream extracting unit 201 extracts the IDR or I picture stream and supplies it to the switching unit 202 (step S1003).
  • the switching unit 202 switches connection depending on whether the input stream is an IDR picture or an I picture (step S1004). In the case of an IDR picture, the stream is supplied as it is to the stream rearrangement unit 204 (step S1006). In the case of an I picture, the stream is supplied to the stream conversion unit 203.
  • the stream conversion unit 203 converts the input I-picture stream into an IDR picture (step S1005), and supplies the converted IDR picture stream to the stream rearrangement unit 204.
  • the stream rearrangement unit 204 performs rearrangement processing as necessary on the input stream and outputs the stream (step S1006). Then, the process returns to step S1002 to search for the next IDR or I picture from the input bitstream. If there is no IDR or I picture, the process ends in step S1007.
  • the rearrangement process according to the necessity of the stream rearrangement unit 204 means that, in the case of high-speed reproduction, IDR pictures are arranged in the extracted order to obtain a high-speed reproduction bitstream.
  • the reverse high-speed playback bit stream is obtained by rearranging in the reverse order to that in FIG.
  • the stream converter 203 converts the I picture stream input as described above into an IDR picture.
  • the operation will be described in detail with reference to FIGS.
  • FIG. 7 is a flowchart showing the operation
  • FIG. 8 is a diagram for explaining the operation. The process starts from step S1101 in FIG.
  • step S1102 since the stream syntax differs between the IDR picture and the I picture above the header part (slice_header ()), necessary rewriting is performed (step S1102).
  • bit length of slice_header () may change depending on the content of rewriting the header part.
  • bit position of the bit stream after the subsequent slice_data () changes by the bit length change of slice_header ().
  • a code word having a byte alignment rule may change its bit position and may not satisfy the byte alignment rule.
  • FIG. 8 shows an example of this operation.
  • the horizontal axis of FIG. 8 represents the bit position in the bit stream, where the small scale is in 1-bit units and the large scale is in 8-bit units.
  • the header part before conversion is up to the fifth bit of the second byte in FIG. 8, followed by the image data part.
  • the image data part there is a code word for which byte alignment is defined at a position indicated by a black triangle.
  • the entropy code (CAVLC or CABAC in H.264) is once decoded with respect to the image data portion, and the entropy encoding is performed again while performing correction for byte alignment rule matching as necessary.
  • Step S1103 For example, in the case of pcm_sample_luma, the number of immediately preceding pcm_alignment_zero_bits is increased or decreased so as to satisfy the byte alignment convention at the time of re-entropy coding.
  • step S1104 conversion of an I picture to an IDR picture is completed by performing only such stream shaping processing for byte alignment matching. Although explanation is omitted for simplicity, the above conversion processing is performed for all slices included in the picture.
  • FIG. 9 is a diagram showing an operation example of this embodiment.
  • the original bit stream is shown in the upper part of FIG. 9, and the high-speed playback bit stream is shown in the lower part of FIG.
  • I pictures I6, I12
  • the stream conversion unit 203 converts the I picture into an IDR picture (IDR6, IDR12) and uses it.
  • IDR picture and I picture streams are extracted, and I pictures are converted into IDR pictures and used for generating a special reproduction bit stream.
  • IDR pictures are converted into IDR pictures and used for generating a special reproduction bit stream.
  • more pictures than the number used in the background art can be used for special reproduction.
  • IDR pictures including those converted from I pictures are used for special reproduction, each picture can be completely decoded independently, and a correct bit stream conforming to the standard can be obtained even if rearrangement is performed. can get. Accordingly, it is possible to provide a moving image stream processing apparatus and method capable of realizing special reproduction such as smooth high-speed reproduction and high-speed reverse reproduction without changing the decoding apparatus.
  • FIG. 10 is a flowchart showing the operation procedure of the second embodiment.
  • the configuration of the moving image stream processing apparatus of the present embodiment is the same as that of the first embodiment.
  • the overall process flowchart is also the same as the flowchart of FIG.
  • the difference from the first embodiment is the conversion processing of the stream conversion unit 203.
  • FIG. 10 shows the operation of the stream conversion unit 203.
  • step S1202 processing is started from step S1201 in FIG.
  • step S1203 After rewriting higher than the header portion (step S1202), it is determined whether or not the bit length change of the header portion due to rewriting is a multiple of 8 (step S1203).
  • 0 is also a multiple of 8. The same applies to the following embodiments.
  • the shift in the bit position of the stream in the image data portion is a multiple of 8, so that there is no shift in the byte alignment position of each codeword in the image data portion. For this reason, no further processing is necessary for the image data portion (end in S1207), and the input stream is output as it is.
  • bit length change in the header portion is not a multiple of 8
  • it is determined whether or not there is a bit for byte alignment matching at the head of the image data portion (step S1204). If it exists, the number of bits is adjusted to match the byte alignment (step S1206).
  • H In the case of H.264, when CABAC is used for entropy encoding, since the code word cabac_alignment_one_bit for aligning byte alignment exists at the head of the image data portion (slice_data ()), the number of bits of this cabac_alignment_one_bit is adjusted. And align byte alignment.
  • decoding and re-encoding processing of an entropy code having a large calculation load is always performed.
  • this processing is not performed as much as possible, so that high-speed reproduction can be performed with a smaller calculation load.
  • Special playback such as high-speed reverse playback can be realized.
  • FIG. 11 is a flowchart showing the operation procedure of the third embodiment.
  • the configuration of the moving image stream processing apparatus of the present embodiment is the same as that of the first and second embodiments.
  • the overall process flowchart is the same as that of the first embodiment of FIG.
  • the difference from the first and second embodiments is the conversion processing in the stream conversion unit 203.
  • FIG. 11 shows the operation of the stream conversion unit 203.
  • step S1301 to step S1303 in FIG. 11 is the same as step S1201 to step S1203 in the flowchart (FIG. 10) of the second embodiment.
  • the processing when the bit length change of the header portion is not a multiple of 8 in step S1303 is different.
  • bit length change of the header portion is a multiple of 8 by changing a part of the code word of the header portion (slice_header ()) (step S1304).
  • the value of the code word idr_pic_id of slice_header () of the IDR picture can be changed in the range of 0 to 65535, and the bit length changes in units of 2 bits depending on the value.
  • bit length change of the header part is 2, 4 and 6 bits
  • the bit length is further adjusted in units of 2 bits by appropriately selecting the value of idr_pid_id to change the bit length of the header part. It can be a multiple of 8.
  • the processing when the bit length change cannot be made a multiple of 8 even after adjustment in step S1304 (steps S1306 to S1308) is performed in steps S1204 to S1206 in the flowchart (FIG. 10) of the second embodiment. It is the same as processing.
  • FIG. 12 is a block diagram showing the configuration of the moving image stream processing apparatus of this embodiment
  • FIGS. 13 and 14 are flowcharts showing the operation procedure of this embodiment.
  • the stream extraction unit 301, the switching unit 302, the stream rearrangement unit 303, and the stream conversion unit 305 illustrated in FIG. 12 are added to the stream extraction unit 201, the switching unit 202, the stream rearrangement unit 204, and the stream conversion unit 203 illustrated in FIG. Each corresponds.
  • the function is similar.
  • the switching unit 302 supplies the extracted stream to the encoding parameter set storage unit 304 in the case of the encoding parameter set stream as described later.
  • This embodiment is different from the first embodiment in that an encoding parameter set storage unit 304 and a stream generation unit 306 are added.
  • the encoding parameter set storage unit 304 stores the supplied stream.
  • the stream extraction unit 301 reads the input bit stream (a bit stream obtained by encoding a moving image), and a picture (IDR or I picture in H.264) that can be decoded independently. ) Is included (step S1402).
  • the process proceeds to step S1408 and the operation is terminated.
  • the stream extraction unit 301 extracts a necessary stream (step S1403).
  • the encoding parameter set stream is also extracted.
  • the encoding parameter set is a collection of various parameter groups necessary for picture decoding. In the case of H.264, there are seq_parameter_set_rbsp () and pic_parameter_set_rbsp ().
  • the extracted stream is supplied to the switching unit 302.
  • the switching unit 302 switches the connection depending on the type of the input stream (IDR picture, I picture, or encoding parameter set) (step S1404).
  • the stream is supplied to the stream rearrangement unit 303 as it is.
  • the stream is supplied to the stream conversion unit 305.
  • the encoding parameter set it is supplied to the encoding parameter set storage unit 304.
  • the encoding parameter set storage unit 304 stores the input stream (step S1407).
  • the stream conversion unit 305 converts the input I-picture stream into an IDR picture (step S1405), and supplies the converted IDR picture stream to the stream rearrangement unit 303.
  • the encoding parameter set stored in the encoding parameter set storage unit 304 is read as necessary and supplied to the stream generation unit 306.
  • the stream generated by the stream generation unit 306 is also combined with the stream.
  • the data is supplied to the sorting unit 303.
  • the stream rearrangement unit 303 performs rearrangement processing as necessary on the input stream as in the above-described embodiment, and outputs the stream (step S1406). Then, the process returns to step S1402 to search for the next IDR or I picture from the input bitstream. In step S1408, the process ends.
  • the stream conversion unit 305 converts an input I picture stream into an IDR picture, and the operation will be described in detail with reference to the flowchart of FIG.
  • the processing of changing the header part (step S1502) and determining the bit length change of the header part (step S1503) is the same as steps S1302 and S1303 of the third embodiment (FIG. 11).
  • steps S1302 and S1303 of the third embodiment FIG. 11
  • both the header part (slice_header ()) and the encoding parameter set are adjusted (S1504). Thereafter, the process ends (S1505).
  • the number of bits that need to be adjusted is an even number, it can be adjusted by changing the value of the code word of slice_header () as in step S1304 of the third embodiment (FIG. 11).
  • this method alone cannot be adjusted. In such a case, for example, adjustment is performed by changing the bit length of the code word frame_num of slice_header ().
  • the bit length of frame_num is determined by the value of the codeword log2_max_frame_num_minus4 of seq_parameter_set_rbsp (). Therefore, when the bit length adjustment of frame_num is necessary, active seq_parameter_set_rbsp () and pic_parameter_set_rbsp () are read from the encoding parameter set storage unit 304, and the value of log 2 _max_frame_num_minus 4 is changed by using the stream generation unit 306. Pic_parameter_set_rbsp () that references is generated.
  • the codeword values other than log2_max_frame_num_minus4 may be the same as those before change. Further, code words such as seq_parameter_set_id and pic_parameter_set_id may be changed as necessary.
  • the stream conversion unit 305 rewrites slice_header () so as to refer to seq_parameter_set_rbsp () and pic_parameter_set_rbsp () generated by the stream generation unit 306.
  • log2_max_frame_num_minus4 to adjust the number of odd bits and adjusting the number of remaining even bits by changing idr_pic_id, it is possible to determine which bit length change of the header part. Even such a value can be adjusted to a multiple of 8. Since this adjustment process does not cause a shift in the byte alignment position of the image data portion, the input stream is output as it is for the image data portion.
  • FIG. 15 shows operations of the stream conversion unit 305 and the stream generation unit 306 as described above.
  • FIG. 15 shows a bit stream obtained by encoding a moving image input to the stream extraction unit 301 and a bit stream supplied to the stream rearrangement unit 303.
  • SPS and PPS respectively represent seq_parameter_set_rbsp () and pic_parameter_set_rbsp ().
  • PPS of the input bitstream refers to SPS
  • pictures such as IDR0, I6, and I12 refer to PPS.
  • SPS and PPS are stored in the encoding parameter set storage unit 304.
  • the I picture I6 and I12 picture are converted into IDR pictures IDR6 and IDR12 by the stream converter 305 as shown in FIG.
  • SPS and PPS are read from the encoding parameter set storage unit 304. Then, the stream generation unit 306 generates seq_parameter_set_rbsp () (SPS ') in which the value of log2_max_frame_num_minus4 is changed and pic_parameter_set_rbsp () (PPS') referring to the seq_parameter_set_rbsp ().
  • the stream conversion unit 305 converts the IDR6 and IDR12 pictures
  • the value of log2_max_frame_num_minus4 is changed to change the bit length (bit length change) other than the image data portion of the picture. It is changed so as to be a multiple of 8.
  • the stream conversion unit 305 outputs IDR6 and IDR12 while rewriting slice_header () so as to refer to the SPS ′ and PPS ′ generated by the stream generation unit 306.
  • SPS ', PPS', IDR6, and IDR12 are supplied to the stream rearrangement unit 303 together with IDR0, and are used for a high-speed playback bitstream when performing high-speed playback or reverse high-speed playback.
  • FIG. 16 is a block diagram showing the configuration of the fifth embodiment.
  • the moving image stream processing device 402 is the moving image stream processing device described in any of the first to fourth embodiments.
  • the bit stream switching device 401 supplies the input bit stream directly to the moving picture decoding device 403 during normal reproduction. During special playback such as high-speed playback and reverse high-speed playback, the input bit stream is supplied to the moving image stream processing device 402, and the output bit stream from the moving image stream processing device 402 is supplied to the moving image decoding device 403.
  • the moving image stream processing device 402 performs the special reproduction bit stream generation processing described in the first to fourth embodiments as described above on the input bit stream, and outputs a bit stream as a processing result.
  • the moving picture decoding apparatus 403 performs a decoding process on the input bit stream, and supplies a decoding result image to the moving picture display apparatus 404.
  • the moving image display device 404 displays and outputs the input image on a display unit such as a CRT or a liquid crystal display.
  • the input bit stream is supplied as it is to the video decoding device 403 during normal playback, and special playback such as high-speed playback and reverse high-speed playback is performed by the video stream processing device 402 during special playback such as high-speed playback and reverse high-speed playback.
  • a playback stream is generated and supplied to the moving picture decoding apparatus 403.
  • FIG. 17 is a block diagram showing the configuration of the sixth embodiment
  • FIGS. 18 and 19 are diagrams showing examples of the management table of the sixth embodiment.
  • the storage medium 501 includes a bit stream 511 obtained by encoding a moving image, and high-speed playback and reverse high-speed playback generated by inputting the bit stream 511 to the moving image stream processing apparatus according to any of the first to fourth embodiments.
  • a special reproduction bit stream 512 for special reproduction is stored.
  • the management table 513 in which association information between the bit stream 511 and the special reproduction bit stream 512 is recorded is provided.
  • Reference numeral 502 denotes a bit stream switching device
  • reference numeral 503 denotes a bit stream transmission device.
  • the management table 513 stores information that enables switching between the bit stream 511 and the special reproduction bit stream 512.
  • a simple example of the management table 513 is shown in FIG. In the example of FIG. 18, stream switching is enabled by storing the file names storing the bit stream 511 and the special reproduction bit stream 512 in association with each other. It is also conceivable to store information as shown in FIG.
  • each picture of the special reproduction stream In the example of FIG. 19, in addition to storing the file name storing the bit stream and the special reproduction stream (the high-speed reproduction bit stream and the reverse high-speed reproduction bit stream) in association with each other, each picture of the special reproduction stream The time stamp in the bit stream 511 corresponding to is stored. By storing such information, it is possible to perform natural operation switching that inherits the time stamp of the reproduction position when the operation is switched from normal reproduction to special reproduction or from special reproduction to normal reproduction.
  • the bit stream switching device 502 reads the bit stream 511 from the storage medium 501 and supplies it to the bit stream sending device 503 during normal playback.
  • the special reproduction bit stream 512 associated with the bit stream 511 is read with reference to the management table 513 and supplied to the bit stream transmission device 503.
  • the bit stream sending device 503 sends the input bit stream to a transmission line such as a computer network toward a predetermined receiving terminal.
  • the normal bit stream and the special reproduction bit stream are stored in association with each other, and the normal bit stream is transmitted to the receiving terminal during normal reproduction and the special reproduction bit stream associated with the special reproduction is transmitted to the receiving terminal.
  • a picture that can be completely decoded and an image data part can be decoded independently but other than the image data part. Can be applied to a moving picture coding system having a picture that cannot be decoded independently.
  • a method of adjusting the bit length change of the header part by changing the value of log2_max_pic_order_cnt_lsb_minus4 or pic_parameter_set_id may be considered.
  • the case of high-speed reproduction and high-speed reverse reproduction has been described as an example, but the reproduction method of the present invention is not limited to these.
  • the method of the present invention can be applied to reproduction of a playlist, movement of a reproduction position to another bit stream, and the like.
  • the present invention described above can also be realized by a computer reading a program from a recording medium and executing it. That is, the present invention as described above can be realized by software.
  • the program describing the functions of the moving image stream processing apparatus shown in FIG. 5 or 12 is stored in a storage unit such as a hard disk, and the CPU serving as the control unit executes the program.
  • the CPU serving as the control unit executes the program.
  • FIG. 20 is a block diagram showing a configuration example of a computer constituting the moving image stream processing apparatus of the present embodiment.
  • a program describing the functions of the moving image stream processing apparatus shown in FIG. 5 or 12 is stored in a disk device 1101 such as a hard disk device.
  • the disk device 1101 When realizing the function of the moving image stream processing apparatus shown in FIG. 5, the disk device 1101 also includes a bit stream input to the stream extraction unit 201, a bit stream extracted by the stream extraction unit 201, and a stream conversion unit 203. The bit stream converted in step 1 is stored.
  • the disk device 1101 also functions as the encoding parameter set storage unit 304.
  • the CPU 1103 executes a program that realizes the function of the moving image stream processing apparatus.
  • Reference numeral 1105 denotes a bus such as a data bus
  • 1102 denotes a memory such as a DRAM for storing information necessary for information processing of the CPU 1103.
  • the I / O device 1104 serves as a communication unit that outputs an externally processed bit stream.
  • the program (also referred to as a program product) can be recorded on a computer-readable information recording medium such as an FD (floppy disk), a CDROM, a DVD, or a flash memory.
  • a disk device is used as the storage unit.
  • a program recorded on a computer-readable information recording medium such as an FD or a CDROM is read into the disk device of the computer, and the process is executed. It can function as a processing device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

Ｈ．２６４で符号化した動画像のビットストリームから、IDR ピクチャのビットストリームと、I ピクチャのビットストリームとを抜き出す抜き出し部と、抜き出し部で抜き出されたＩピクチャのビットストリームをＩＤＲピクチャからなるビットストリームに変換する変換部と、を備え、抜き出し部により抜き出されたＩＤＲピクチャのビットストリームと、変換されて生成されたＩＤＲピクチャビットストリームとを、抜き出された順又は抜き出された順と逆に並べて出力する。

Description

動画像ストリーム加工方法及び装置、それを用いた動画像再生装置並びに動画像配信装置
　本発明は、動画像ストリームを加工する方法及び装置、それを用いた動画像再生装置、並びに動画像配信装置に関するものである。本発明は特に、高速再生や逆高速再生等の特殊再生を行なう際に好適に用いられる。
　動画像信号を低ビットレート、高圧縮率且つ高画質で符号化して符号化データを生成したり、符号化された動画像を復号化したりする技術として、ＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｕｎｉｏｎ）が標準化したＨ．２６１、Ｈ．２６３がある。また、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｏｒｇａｎｉｚａｔｉｏｎ　ｆｏｒ　Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）のＭＰＥＧ－１、ＭＰＥＧ－２、ＭＰＥＧ－４等が国際標準規格として広く用いられている。
　更に、近年ＩＴＵとＩＳＯが共同で規格化を行なったＨ．２６４がある（非特許文献１）。このＨ．２６４は従来の動画像符号化技術に比べ、更なる圧縮効率向上、画質向上を実現できることが知られている。
　これら動画像符号化技術では、動画像信号を効率よく圧縮するために、各フレームの時間的な相関を利用するフレーム間予測符号化技術が広く用いられている。フレーム間予測符号化は、すでに符号化したフレームの画像信号から現在のフレームの画像信号を予測し、予測した信号と現在の信号との間の予測誤差信号を符号化する。一般的な動画像では時間的に近接するフレームの画像信号には高い相関が存在するため、この技術は圧縮効率向上に効果的である。
　ＭＰＥＧ－１、ＭＰＥＧ－２、ＭＰＥＧ－４、Ｈ．２６４等の動画像符号化技術では、フレーム間予測符号化を利用しないＩピクチャ（フレーム内符号化画像）、すでに符号化した１枚のフレームからのフレーム間予測符号化を利用するＰピクチャ（片方向予測符号化画像）、すでに符号化した２枚のフレームからのフレーム間予測符号化を利用するＢピクチャ（双方向予測符号化画像）を組み合わせて動画像を符号化する。
　復号化の際には、Ｉピクチャは１フレーム単独で復号できるが、Ｐピクチャ、Ｂピクチャは復号するのにフレーム間予測で予測に用いる画像データが予め必要であるため１フレーム単独では復号できない。
　動画像符号化方式におけるピクチャ構成の例を図１に示す。それぞれの四角形が１フレームを表し、下にはピクチャ種別と表示順を示す（例えばＢ５は表示順で５番目のフレームでＢピクチャとして符号化されことを表す）。このように性質の異なるＩピクチャ、Ｐピクチャ、Ｂピクチャを適切に組み合わせて動画像を符号化することが行われている。
　図１は動画像符号化のピクチャ構成の一例を示す図である。図１に示すように符号化された動画像ビットストリームを高速再生、逆高速再生等の特殊再生する場合には、ビットストリームから単独で復号化可能なＩピクチャのビットストリームのみを抜き出して再生することが行われている。
　図２は高速再生ビットストリーム、及び逆高速再生ビットストリームを得る動作例を示す図である。図３は高速再生及び逆高速再生を行う装置の構成を示す図である。図３に示すように、ビットストリームはストリーム抜き出し部１０１に入力される。ストリーム抜き出し部１０１は入力されたビットストリームからＩピクチャのビットストリームのみを抜き出し、ストリーム並び替え部１０２に供給する。ストリーム並び替え部１０２は供給されたＩピクチャのビットストリームを必要に応じて並び替えて外部に出力する。
　図２の例で説明すると、高速再生の場合には、図２の上部に図示されたビットストリームからストリーム抜き出し部１０１でＩピクチャのビットストリームのみを順番に抜き出し、それを並べてビットストリームを構成することで、図２の左下部に示す、高速再生ビットストリームが得られる。高速再生の場合には、Ｉピクチャの抜き出しのみを行い、ストリーム並び替え部１０２での並び替え処理は発生しない。
　また、逆高速再生の場合には、同じくストリーム抜き出し部１０１でビットストリームからＩピクチャのみを抜き出し、それをストリーム並び替え部１０２で表示順とは逆順に並び替えて出力する。そうすることで、図２の右下部に示す、逆高速再生ビットストリームが得られる。
　例えば、特許文献１には上記方法を発展させ、表示に必要な最小限のＩピクチャのみを抜き出して高速再生用ストリームを生成する技術が開示されている。特許文献１の方法は、近年規格化されたＨ．２６４動画像符号化技術で符号化されたビットストリームの特殊再生でも利用できる。しかし、Ｈ．２６４ではＭＰＥＧ－１、ＭＰＥＧ－２、ＭＰＥＧ－４等の符号化標準と比較して符号化の自由度が高くなっており、ＭＰＥＧ－１、ＭＰＥＧ－２、ＭＰＥＧ－４の符号化標準が適用できない場合がある。以下、その内容を説明する。
　Ｈ．２６４ではＭＰＥＧ－１、ＭＰＥＧ－２、ＭＰＥＧ－４の符号化標準とは異なり、Ｉスライスのみで構成される単独で復号可能なピクチャがＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ　Ｄｅｃｏｄｉｎｇ　Ｒｅｆｒｅｓｈ）ピクチャとＩピクチャの２種類になっている。ＩＤＲピクチャではデコーダの内部状態リセット動作が行なわれ、ＭＰＥＧ－２等の符号化標準のＩピクチャと同様に完全に単独復号可能である。
　一方、Ｈ．２６４のＩピクチャは画像データ自体は単独復号であるものの、ヘッダ部の復号には過去のピクチャの情報が必要である。このため、特殊再生にはＩＤＲピクチャのみを利用するのが簡便な方式である。以下、本願明細書において、特に指定しない限り、ＩＤＲピクチャ、ＩピクチャはそれぞれＨ．２６４方式でのＩＤＲピクチャ、Ｉピクチャを指すものとする。
　ここで、符号化器の動作によっては、符号化効率の向上等の目的でＩＤＲピクチャ枚数が少なく、Ｉピクチャ枚数が多いビットストリームが生成される。この場合、ＩＤＲのみを利用した特殊再生では利用できるピクチャの枚数が少なく、滑らかな動きが実現できない。
　図４はＩＤＲのみを利用した高速再生ビットストリームの動作例を示す。図４の上部に元のビットストリーム、図４の下部に高速再生ビットストリームを示す。この例では、元のビットストリームには６フレーム毎に画像データ自体を単独再生可能なピクチャ（ＩＤＲまたはＩ）が含まれている。このうち、ＩＤＲピクチャは１８フレーム間隔である。他はＩピクチャである。
　図４に示すように、ＩＤＲのみを用いると、画像データ自体は単独復号できるＩピクチャは使わないため、１８フレームのうち１フレームしか特殊再生に利用できず、高速再生ビットストリームの動きの滑らかさが落ちてしまう。しかし、特殊再生に（ＩＤＲではない）Ｉピクチャも用いる場合、上述のようにヘッダ部の情報（ピクチャ番号、出力順、フレームバッファ管理情報等）の復号に過去のピクチャ情報が必要である。そのため、ＩＤＲ及びＩを抜き出して並び替え等を行なうと、ヘッダ部を正常に復号できず、ピクチャの出力順が乱れる、復号化装置がエラーと判断して復号結果が得られる、等の問題が発生する。
　例えば、ｓｌｉｃｅ＿ｈｅａｄｅｒ（）に存在するｆｒａｍｅ＿ｎｕｍは参照ピクチャ毎に１ずつインクリメントするように規定されているが、ＩＤＲ及びＩを抜き出して並べると、隣接する参照ピクチャ間でｆｒａｍｅ＿ｎｕｍの値が２以上増加する場合があり、復号化装置によってはエラーと判断する可能性がある。
　これを避けるには、復号化装置に特殊再生用の動作モードを備え、特殊再生モード時にはヘッダ部の出力順情報や復号エラーは無視して、復号化した画像データを復号化した順番でそのまま出力する、という復号化動作を行なう技術が考えられる。
特開平０５－３４４４９４号公報 ＩＴＵ－Ｔ　Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ　Ｈ．２６４「Ａｄｖａｎｃｅd　ｖｉｄｅｏ　ｃｏｄｉｎｇ　ｆｏｒ　ｇｅｎｅｒｉｃ　ａｕｄｉｏｖｉｓｕａｌ　ｓｅｒｖｉｃｅｓ」、２００５年３月
　上述のように復号化装置に特殊再生用の動作モードを備える技術では、ＩＤＲピクチャに加えてＩピクチャも利用した滑らかな高速再生、高速逆再生等の特殊再生を実現できる。しかしながら、この技術は復号化装置に新たな機能を加えるものであるため、この技術を用いた復号化装置と、この技術を用いない復号化装置とでは、同一のビットストリームを入力しても復号化結果が大きく異なってしまう。
　ＭＰＥＧ－１、ＭＰＥＧ－２、ＭＰＥＧ－４、Ｈ．２６４等の国際標準規格の動画像符号化技術では復号化装置の動作を厳密に規定しており、同一のビットストリームを入力すれば規格に準拠した復号化装置であれば、どの製造者の製造した復号化装置であってもほぼ同じまたは全く同じ復号化結果が得られることが保証される。この点が国際標準規格の動画像符号化技術の大きな利点の一つである。このため、復号化装置に標準規格外の機能を加える技術は、利用目的によっては好ましくない。
　また、復号化装置に標準規格外の機能を加えると、復号化装置の構成が複雑になり、設計や製造の難易度が高くなる、費用が上がる、等の問題が発生する場合がある。動画像の符号化装置と復号化装置では、通常復号化装置の方が多数利用されるため、復号化装置の構成が複雑になる影響は大きい。
　本発明の典型的な(exemplary)目的は、復号化装置を変更することなく高速再生や高速逆再生等の特殊再生を実現することが可能な動画像ストリーム加工方法及び装置、それを用いた動画像再生装置、並びに動画像配信装置を提供することにある。
本発明の典型的な(exemplary)動画像ストリーム加工装置は、動画像を符号化したビットストリームから、単独で復号可能なピクチャの第１のビットストリームと、画像データ部は単独で復号可能であるが前記画像データ部以外は単独で復号できないピクチャの第２のビットストリームとを抜き出す抜き出し部と、
　前記抜き出し部で抜き出された前記第２のビットストリームを単独で復号可能なピクチャの第３のビットストリームに変換する変換部と、を備え、
　前記抜き出し部により抜き出された前記第１のピクチャのビットストリームと、前記第３のビットストリームとを、抜き出された順又は抜き出された順と逆に並べて出力する動画像ストリーム加工装置である。
また、本発明の典型的な(exemplary)動画像ストリーム加工装置は、動画像を符号化したビットストリームから、単独で復号可能なピクチャの第１のビットストリームと、画像データ部は単独で復号可能であるが前記画像データ部以外は単独で復号できないピクチャの第２のビットストリームと、符号化パラメータセットのビットストリームとを抜き出す抜き出し部と、
　前記抜き出された符号化パラメータセットを記憶する記憶部と、
　前記記憶された符号化パラメータセットを変更して、画像データ部以外のビット長変化を調整する符号化パラメータセットを生成する生成部と、
　前記抜き出し部で抜き出された前記第２のビットストリームを、前記生成部で生成された符号化パラメータセットに基づいて単独で復号可能なピクチャの第３のビットストリームに変換する変換部と、を備え、
前記抜き出し部により抜き出された前記第１のビットストリームと、前記第３のビットストリームとを、抜き出された順又は抜き出された順と逆に並べて出力する動画像ストリーム加工装置である。
　また、本発明の典型的な(exemplary)動画像再生装置は、上記動画像ストリーム加工装置と、動画像を符号化したビットストリームの復号化を行なう動画像復号化装置と、通常再生時には入力ビットストリームを前記動画像復号化装置に供給し、高速再生又は逆高速再生の特殊再生時には入力ビットストリームを前記動画像ストリーム加工装置に供給して当該動画像ストリーム加工装置で処理されたビットストリームを前記動画像復号化装置に供給するように切り替えるビットストリーム切り替え装置と、前記動画像復号化装置からの復号画像を表示する動画像表示装置と、を備えたことを特徴とする。
　また、本発明の典型的な(exemplary)記憶媒体は、動画像を符号化したビットストリームと、請求項１乃至６のいずれか１項に記載の動画像ストリーム加工装置で処理された特殊再生用ビットストリームと、前記ビットストリームと前記特殊再生用ビットストリームとを関連付ける情報を有する管理テーブルと、を記憶したことを特徴とする。
　また、本発明の典型的な(exemplary)動画像配信装置は、上記記憶媒体と、通常再生時には前記記憶媒体から前記ビットストリームを読み出し、特殊再生時には前記管理テーブルを参照して前記ビットストリームと関連付けられた特殊再生用ビットストリームを読み出すビットストリーム切り替え装置と、前記ビットストリーム切り替え装置で読み出されたビットストリームを受信端末に送出するビットストリーム送出装置と、を備えることを特徴とする。
また、本発明の典型的な(exemplary)動画像ストリーム加工方法は、動画像を符号化したビットストリームから、単独で復号可能なピクチャの第１のビットストリームと、画像データ部は単独で復号可能であるが前記画像データ部以外は単独で復号できないピクチャの第２のビットストリームとを抜き出し、
　抜き出された前記第２のビットストリームを単独で復号可能なピクチャの第３のビットストリームに変換し、
抜き出された前記第１のビットストリームと、前記第３のビットストリームとを、抜き出された順又は抜き出された順と逆に並べて出力する画像ストリーム加工方法である。
また、本発明の典型的な(exemplary)動画像ストリーム加工方法は、動画像を符号化したビットストリームから、単独で復号可能なピクチャの第１のビットストリームと、画像データ部は単独で復号可能であるが前記画像データ部以外は単独で復号できないピクチャの第２のビットストリームと、符号化パラメータセットのビットストリームとを抜き出し、
　記憶部に前記抜き出された符号化パラメータセットを記憶し、
　前記記憶された符号化パラメータセットを変更して、画像データ部以外のビット長変化を調整する符号化パラメータセットを生成し、
　抜き出された前記第２のビットストリームを、生成された前記符号化パラメータセットに基づいて単独で復号可能なピクチャの第３のビットストリームに変換し、
　抜き出された前記第１のビットストリームと、前記第３のビットストリームとを、抜き出された順又は抜き出された順と逆に並べて出力する画像ストリーム加工方法である。
本願は、２００８年１月２４日に出願された特願２００８－０１３７０３号に基づき、優先権の利益を主張するものである。そして、特願２００８－０１３７０３号の内容は本願の明細書の内容に含まれる。
　本発明によれば、より動きの滑らかな高速再生、逆高速再生等の特殊再生を実現できる。その理由は、従来方式では画像データ部は単独復号化できるが、ヘッダ部は単独復号できないピクチャを特殊再生に利用できなかったのに対し、本発明ではこのようなピクチャを完全に単独復号化可能なピクチャに変換して特殊再生に利用するためである。特殊再生用ビットストリームは通常の復号化装置に入力して復号可能であるため、特殊再生を実現するための追加機能等を持たない通常の復号化装置に特殊再生用ストリームを入力して復号することで従来よりも動きの滑らかな高速再生や高速逆再生等の特殊再生が実現することが可能となる。
動画像符号化のピクチャ構成の例を示す図である。 背景技術となる方式の動作例を説明する図である。 背景技術となる方式の構成を示すブロック図である。 背景技術となる方式の動作例を説明する図である。 本発明の第１の実施形態の構成を示すブロック図である。 第１の実施形態の処理手順を示す流れ図である。 ＩピクチャからＩＤＲピクチャへの変換処理手順を示す流れ図である。 第１の実施形態の動作を説明する図である。 第１の実施形態のビットストリームを高速再生ビットストリームに変換する動作を説明する図である。 本発明の第２の実施形態の処理手順を示す流れ図である。 本発明の第３の実施形態の処理手順を示す流れ図である。 本発明の第４の実施形態の構成を示すブロック図である。 第４の実施形態の処理手順を示す流れ図である。 第４の実施形態のＩピクチャからＩＤＲピクチャへの変換処理手順を示す流れ図である。 第４の実施形態の動作を説明する図である。 本発明の第５の実施形態の構成を示すブロック図である。 本発明の第６の実施形態の構成を示すブロック図である。 第６の実施形態の管理テーブルの例を示す図である。 第６の実施形態の管理テーブルの別の例を示す図である。 本実施形態の動画像ストリーム加工装置を構成するコンピュータの一構成例を示すブロック図である。
符号の説明
　　　　１０１　ストリーム抜き出し部
　　　　１０２　ストリーム並び替え部
　　　　２０１　ストリーム抜き出し部
　　　　２０２　切り替え部
　　　　２０３　ストリーム変換部
　　　　２０４　ストリーム並び替え部
　　　　３０１　ストリーム抜き出し部
　　　　３０２　切り替え部
　　　　３０３　ストリーム並び替え部
　　　　３０４　符号化パラメータセット記憶部
　　　　３０５　ストリーム変換部
　　　　３０６　ストリーム生成部
　　　　４０１　ビットストリーム切り替装置
　　　　４０２　動画像ストリーム加工装置
　　　　４０３　動画像復号化装置
　　　　４０４　動画像表示装置
　　　　５０１　記憶媒体
　　　　５０２　ビットストリーム切り替え装置
　　　　５０３　ビットストリーム送出装置
　　　　５１１　ビットストリーム
　　　　５１２　特殊再生用ビットストリーム
　　　　５１３　管理テーブル
　次に、発明を実施するための典型的な(exemplary)形態について図面を参照して詳細に説明する。以下の実施形態ではＨ．２６４方式の例を挙げて説明する。
　（第１の実施形態）
　本発明の第１の実施形態を図５から図９を参照して説明する。図５は本発明の第１の実施形態の動画像ストリーム加工装置の構成を示す構成図、図６、図７はその動作手順を示すフローチャートである。図８、図９はその動作の概要を説明するための図である。
　まず、本実施形態では、図５に示すように、切り替え部２０２、ストリーム変換部２０３を備える点が図３の構成と異なる。図５のストリーム抜き出し部２０１、ストリーム並び替え部２０４は、図３のストリーム抜き出し部１０１、ストリーム並び替え部１０４にそれぞれ対応する。ストリーム並び替え部２０４は、高速再生の場合には抜き出された順に並べて出力し、逆高速再生の場合には、抜き出された順とは逆順に並べて出力する。したがって、ストリーム並び替え部２０４は高速再生用ビットストリームか、逆高速再生用ビットストリームを生成して出力するビットストリーム出力部となる。
　切り替え部２０２は、ストリーム抜き出し部２０１から供給されたストリームがＩＤＲピクチャかＩピクチャかによって切り替える。即ち、ＩＤＲピクチャであればストリーム並び替え部２０４にストリームをそのまま供給し、Ｉピクチャであればストリーム変換部２０３にストリームを供給する。ストリーム変換部２０３は入力されたＩピクチャのストリームをＩＤＲピクチャに変換する。
　Ｉピクチャ及びＩＤＲピクチャについては背景技術で説明した通りである。即ち、ＩＤＲピクチャはＭＰＥＧ－２等の従来符号化標準のＩピクチャと同様に完全に単独復号可能である。Ｈ．２６４のＩピクチャは画像データ自体は単独復号であるものの、ヘッダ部の復号には過去のピクチャの情報が必要である。つまり、Ｈ．２６４方式においてＩＤＲピクチャは画像データ部が単独復号可能であり、Ｉピクチャは画像データ部は単独復号可能であるが、画像データ部以外は単独復号できない。
　次に、図６を用いて動作を説明する。処理を開始すると（ステップＳ１００１）、まず、ストリーム抜き出し部２０１は入力されたビットストリーム（動画像を符号化したビットストリーム）を読み、画像データ部に単独復号可能なピクチャ（Ｈ．２６４ではＩＤＲまたはＩピクチャ）が含まれるかどうかを判定する（ステップＳ１００２）。Ｈ．２６４の場合、例えば、ｓｌｉｃｅ＿ｈｅａｄｅｒ（）のｓｌｉｃｅ＿ｔｙｐｅによって符号化タイプを判定できる。ＩＤＲまたはＩピクチャが存在しない場合にはステップＳ１００７に移行し、動作を終了する。
　ＩＤＲまたはＩピクチャが存在する場合には、ストリーム抜き出し部２０１はＩＤＲまたはＩピクチャのストリームを抜き出し、切り替え部２０２に供給する（ステップＳ１００３）。切り替え部２０２は入力されたストリームがＩＤＲピクチャかＩピクチャかによって接続を切り替える（ステップＳ１００４）。ＩＤＲピクチャの場合はストリームをそのままストリーム並び替え部２０４に供給する（ステップＳ１００６）。Ｉピクチャの場合はストリームをストリーム変換部２０３に供給する。
　ストリーム変換部２０３は入力されたＩピクチャのストリームをＩＤＲピクチャに変換し（ステップＳ１００５）、変換結果のＩＤＲピクチャのストリームをストリーム並び替え部２０４に供給する。ストリーム並び替え部２０４は、入力されたストリームに必要に応じた並び替え処理を行なってストリームを出力する（ステップＳ１００６）。そして、ステップＳ１００２に戻って入力ビットストリームから次のＩＤＲまたはＩピクチャを探す。ＩＤＲまたはＩピクチャが存在しなければ、ステップＳ１００７で処理が終了する。
　ストリーム並び替え部２０４の必要に応じた並び替え処理とは、図９に示すように、高速再生の場合はＩＤＲピクチャを抜き出された順に並べて高速再生用ビットストリームを得ることをいう。逆高速再生の場合は図９とは逆の並び順に並び替えて逆高速再生用ビットストリームを得ることをいう。
　ストリーム変換部２０３は上述のように入力されたＩピクチャのストリームをＩＤＲピクチャに変換する。その動作について図７、図８を用いて詳細に説明する。図７はその動作を示すフローチャート、図８はその動作を説明する図である。図７のステップＳ１１０１から処理を開始する。
　Ｈ．２６４方式の場合には、ヘッダ部（ｓｌｉｃｅ＿ｈｅａｄｅｒ（））より上位はＩＤＲピクチャとＩピクチャでストリームシンタックスが異なるため、必要な書き換えを行なう（ステップＳ１１０２）。
　具体例としては、次の（１）～（５）の方法がある。
　（１）ｎａｌ＿ｕｎｉｔ（）のｎａｌ＿ｒｅｆ＿ｉｄｃを５に変更する、
　（２）ｓｌｉｃｅ＿ｈｅａｄｅｒ（）にｉｄｒ＿ｐｉｃ＿ｉｄを追加する、
　（３）ｓｌｉｃｅ＿ｈｅａｄｅｒ（）のｆｒａｍｅ＿ｎｕｍを０に変更する、
　（４）ｓｌｉｃｅ＿ｈｅａｄｅｒ（）のＰＯＣ（Ｐｉｃｔｕｒｅ　Ｏｒｄｅｒ　Ｃｏｕｎｔ）の値が０になるように関連する符号語を変更する、
　（５）ｄｅｃ＿ｒｅｆ＿ｐｉｃ＿ｍａｒｋｉｎｇ（）の内容をＩＤＲピクチャのシンタックスに変更する。例えば、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇ＝０、ｌｏｎｇ＿ｔｅｒｍ＿ｒｅｆｅｒｅｎｃｅ＿ｆｌａｇ＝０、のように書き換えを行なう。
　画像データ部（ｓｌｉｃｅ＿ｄａｔａ（））のストリームの内容はＩＤＲピクチャとＩピクチャで違いは無いため、内容の書き換えは必要ない。但し、Ｈ．２６４方式では特定の符号語についてはその先頭位置あるいは終端位置がバイト境界（バイトアライメント位置）に無ければならないという規定がある。例えば、ｓｌｉｃｅ＿ｄａｔａ（）に存在するｐｃｍ＿ｓａｍｐｌｅ＿ｌｕｍａは先頭がバイトアライメント位置に無くてはならず、ｒｂｓｐ＿ｔｒａｉｌｉｎｇ＿ｂｉｔｓ（）の末尾もバイトアライメント位置に無くてはならない。
　しかし、ヘッダ部の書き換えの内容によってはｓｌｉｃｅ＿ｈｅａｄｅｒ（）のビット長が変化する場合があり、その場合には後続のｓｌｉｃｅ＿ｄａｔａ（）以降のビットストリームはｓｌｉｃｅ＿ｈｅａｄｅｒ（）のビット長変化分だけビット位置が変化する。この結果、バイトアライメント規定がある符号語もそのビット位置が変化し、バイトアライメントの規定を満たさなくなる場合がある。
　図８はこの動作の例を示す。図８の横軸はビットストリーム中でのビット位置を表し、小目盛が１ビット単位、大目盛が８ビット単位の位置を示す。この例では、変換前のヘッダ部は図８の２バイト目の５ビット目までで、後ろに画像データ部が続いている。画像データ部の中には、黒三角で示す箇所にバイトアライメント規定されている符号語が存在する。このストリームのヘッダ部の書き換えを行なった結果、ヘッダ部が４ビット長くなった場合、図８に示すように変換後のストリームは全体に４ビットだけ後ろにずれ、その結果バイトアライメントすべき符合語の位置がアライメント位置からずれてしまい、規格違反のストリームとなってしまう。
　この問題を避けるため、画像データ部に関しては一旦エントロピー符号（Ｈ．２６４ではＣＡＶＬＣまたはＣＡＢＡＣ）の復号化を行い、必要に応じてバイトアライメント規約整合のための補正を行いながら再度エントロピー符号化を行なう（ステップＳ１１０３）。例えば、ｐｃｍ＿ｓａｍｐｌｅ＿ｌｕｍａの場合には、再エントロピー符号化時にバイトアライメント規約を満たすよう、その直前のｐｃｍ＿ａｌｉｇｎｍｅｎｔ＿ｚｅｒｏ＿ｂｉｔの数を増減する。
　他には、例えば、ｃａｂａｃ＿ａｌｉｇｎｍｅｎｔ＿ｏｎｅ＿ｂｉｔのビット数、ｒｂｓｐ＿ａｌｉｇｎｍｅｎｔ＿ｚｅｒｏ＿ｂｉｔのビット数を増減する。画像データ部に関しては、このようなバイトアライメント整合のためのストリーム整形処理のみを行なうことで、ＩピクチャのＩＤＲピクチャへの変換を完了する（ステップＳ１１０４）。なお、簡単のため説明は省略しているが、以上の変換処理はピクチャに含まれる全スライスに対して行なう。
　次に、図４と同じストリームを入力した場合の動作例を図９を用いて説明する。図４に示した動作では高速再生ストリームの生成にＩＤＲのみを利用していたため、この例では２枚のピクチャしか利用できず、動きの滑らかさが損なわれる。
　図９は本実施形態の動作例を示す図である。図９の上部に元のビットストリーム、図９の下部に高速再生ビットストリームを示す。本実施形態の動作例では、図９に示すように、２枚のＩＤＲピクチャ（ＩＤＲ０、ＩＤＲ１８）に加え、入力ビットストリームのＩピクチャ（Ｉ６、Ｉ１２）も高速再生ストリームに利用する。Ｉピクチャを用いる際には、ストリーム変換部２０３でＩピクチャをＩＤＲピクチャ（ＩＤＲ６、ＩＤＲ１２）に変換した上で利用する。これにより高速再生に利用できるピクチャ枚数が増加し、より滑らかな特殊再生を実現できる。
　本実施形態では、ＩＤＲピクチャ及びＩピクチャのストリームを抜き出し、ＩピクチャについてはＩＤＲピクチャに変換した上で特殊再生ビットストリーム生成に利用する。これにより、背景技術で利用していた枚数以上の枚数のピクチャを特殊再生に利用できる。また、特殊再生に利用するのはＩピクチャから変換したものも含めＩＤＲピクチャのみであるので、各ピクチャは完全に単独復号可能であり、並び替え等を行なっても規格に準拠した正しいビットストリームが得られる。これにより、復号化装置の変更無しに、より滑らかな高速再生、高速逆再生等の特殊再生を実現できる動画像ストリーム加工装置及び方法を提供することができる。
　（第２の実施形態）
　次に、本発明の第２の実施形態を説明する。図１０は第２の実施形態の動作手順を示すフローチャートである。本実施形態の動画像ストリーム加工装置の構成は第１の実施形態の構成と同一である。全体の処理フローチャートも図６のフローチャートと同一である。第１の実施形態と異なるのはストリーム変換部２０３の変換処理である。図１０はストリーム変換部２０３の動作を示すものである。
　まず、図１０のステップＳ１２０１から処理を開始する。次いで、ヘッダ部より上位の書き換え（ステップＳ１２０２）の後に書き換えによるヘッダ部のビット長変化が８の倍数であったか否かを判定する（ステップＳ１２０３）。本実施形態では０も８の倍数とする。以下の実施形態でも同様である。
　８の倍数であった場合、画像データ部のストリームのビット位置のずれは８の倍数であるため、画像データ部の各符号語のバイトアライメント位置のずれは発生しない。このため、画像データ部についてはそれ以上の処理は必要なく（Ｓ１２０７で終了）、入力ストリームをそのまま出力する。
　一方、ヘッダ部のビット長変化が８の倍数でなかった場合には、画像データ部の先頭にバイトアライメント整合のためのビットが存在するか否かを判定する（ステップＳ１２０４）。存在する場合にはそのビット数を調整してバイトアライメントを整合させる（ステップＳ１２０６）。Ｈ．２６４の場合には、エントロピー符号化にＣＡＢＡＣを用いている時は画像データ部（ｓｌｉｃｅ＿ｄａｔａ（））の先頭にはバイトアライメントを合わせるための符号語ｃａｂａｃ＿ａｌｉｇｎｍｅｎｔ＿ｏｎｅ＿ｂｉｔが存在するため、このｃａｂａｃ＿ａｌｉｇｎｍｅｎｔ＿ｏｎｅ＿ｂｉｔのビット数を調整してバイトアライメントを整合させる。
　ここで、バイトアライメントを整合させることで、それ以降の画像データ部のストリームについてはバイトアライメント位置のずれは発生しないことが保証されるため、これ以上の処理は必要なく、入力のストリームをそのまま出力する。一方、エントロピー符号化にＣＡＢＡＣを用いていない場合には（画像データ部の先頭にアライメントビットが存在しない）、第１の実施形態と同様に画像データ部のエントロピー符号の復号化と再符号化を行なう（Ｓ１２０５）。
　本実施形態では、ＩピクチャをＩＤＲピクチャに変換する際にヘッダ部のビット長変化が８の倍数の場合には処理は行なわない。また、８の倍数ではない場合、エントロピー符号化にＣＡＢＡＣを用いている時にはエントロピー符号の復号化と再符号化を行なわないか、より簡易な処理を行なう。
　そうすることで、バイトアライメントの問題を解決することが可能となる。第１の実施形態では演算負荷の大きいエントロピー符号の復号化と再符号化処理を常に行なっていたが、本実施形態では可能な限りこの処理を行なわないことで、より小さい演算負荷で高速再生、高速逆再生等の特殊再生を実現できる。
　（第３の実施形態）
　次に、本発明の第３の実施形態を説明する。図１１は第３の実施形態の動作手順を示すフローチャートである。本実施形態の動画像ストリーム加工装置の構成は第１、第２の実施形態の構成と同一である。全体の処理フローチャートは図６の第１の実施形態のフローチャートと同一である。第１、第２の実施形態と異なるのはストリーム変換部２０３での変換処理である。図１１はストリーム変換部２０３の動作を示すものである。
　まず、図１１のステップＳ１３０１～ステップＳ１３０３の処理は第２の実施形態のフローチャート（図１０）におけるステップＳ１２０１～ステップＳ１２０３と同一である。但し、ステップＳ１３０３でヘッダ部のビット長変化が８の倍数でなかった場合の処理が異なる。
　その場合、本実施形態ではヘッダ部（ｓｌｉｃｅ＿ｈｅａｄｅｒ（））の符号語の一部を変更することでヘッダ部のビット長変化が８の倍数になるように調整を試みる（ステップＳ１３０４）。例えば、ＩＤＲピクチャのｓｌｉｃｅ＿ｈｅａｄｅｒ（）の符号語ｉｄｒ＿ｐｉｃ＿ｉｄは、０～６５５３５の範囲で値を変更することが可能で、ビット長は値によって２ビット単位で変化する。
　これを用いれば、ヘッダ部のビット長変化が２，４，６ビットであった場合にｉｄｒ＿ｐｉｄ＿ｉｄの値を適切に選ぶことでビット長を更に２ビット単位で調整してヘッダ部のビット長変化を８の倍数にすることができる。この後、ヘッダ部のビット長変化が８の倍数であるかを再度判定し（ステップＳ１３０５）、８の倍数であった場合にはそれ以上の変換処理は行なわない。ステップＳ１３０４で調整しても、なおビット長変化が８の倍数にできなかった場合の処理（ステップＳ１３０６～ステップＳ１３０８）は、第２の実施形態のフローチャート（図１０）のステップＳ１２０４～ステップＳ１２０６の処理と同一である。
　本実施形態では、ＩピクチャをＩＤＲピクチャに変換する際に、ヘッダ部のビット長変化が８の倍数の場合でなかった時にヘッダ部の符号語の値を調整してビット長変化が８の倍数となるように試みる。これにより、演算負荷の大きいエントロピー符号の復号化と再符号化処理が必要となる場合を減らし、より小さい演算負荷で高速再生、高速逆再生等の特殊再生を実現できる。
　（第４の実施形態）
　次に、本発明の第４の実施形態を図１２、図１３、図１４を用いて説明する。図１２は本実施形態の動画像ストリーム加工装置の構成を示すブロック図、図１３及び図１４は本実施形態の動作手順を示すフローチャートである。
　まず、図１２に示すストリーム抜き出し部３０１、切り替え部３０２、ストリーム並び替え部３０３、ストリーム変換部３０５は、図５のストリーム抜き出し部２０１、切り替え部２０２、ストリーム並び替え部２０４、ストリーム変換部２０３にそれぞれ対応するものである。機能は同様である。但し、切り替え部３０２は後述するように符号化パラメータセットのストリームの場合には、抜き出されたストリームを符号化パラメータセット記憶部３０４に供給する。
　本実施形態では、符号化パラメータセット記憶部３０４、ストリーム生成部３０６を追加した点が第１の実施形態と異なる。符号化パラメータセット記憶部３０４は供給されたストリームを記憶する。
　次に、図１３を用いて動作を説明する。処理を開始すると（ステップＳ１４０１）、ストリーム抜き出し部３０１は入力されたビットストリーム（動画像を符号化したビットストリーム）を読み、画像データ部を単独復号可能なピクチャ（Ｈ．２６４ではＩＤＲまたはＩピクチャ）が含まれているかどうかを判定する（ステップＳ１４０２）。
　ＩＤＲまたはＩピクチャが存在しない場合にはステップＳ１４０８に移行し、動作を終了する。ＩＤＲまたはＩピクチャが存在する場合には、ストリーム抜き出し部３０１で必要なストリームを抜き出す（ステップＳ１４０３）。ここでは、ＩＤＲまたはＩピクチャに加え、符号化パラメータセットのストリームも抜き出す。符号化パラメータセットはピクチャの復号化に必要な各種パラメータ群をまとめたもので、例えば、Ｈ．２６４の場合にはｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（），ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（）がある。
　抜き出したストリームは切り替え部３０２に供給される。切り替え部３０２は入力されるストリームのタイプ（ＩＤＲピクチャ、Ｉピクチャ、または符号化パラメータセット）によって接続を切り替える（ステップＳ１４０４）。ＩＤＲピクチャの場合はストリームをそのままストリーム並び替え部３０３に供給する。Ｉピクチャの場合はストリームをストリーム変換部３０５に供給する。符号化パラメータセットの場合には符号化パラメータセット記憶部３０４に供給する。符号化パラメータセット記憶部３０４は入力されたストリームを記憶する（ステップＳ１４０７）。
　ストリーム変換部３０５は入力されたＩピクチャのストリームをＩＤＲピクチャに変換し（ステップＳ１４０５）、変換結果のＩＤＲピクチャのストリームをストリーム並び替え部３０３に供給する。変換の際には、必要に応じて符号化パラメータセット記憶部３０４に記憶されている符号化パラメータセットを読み出してストリーム生成部３０６に供給し、ストリーム生成部３０６で生成されたストリームも合わせてストリーム並び替え部３０３に供給する。
　ストリーム並び替え部３０３は上述の実施形態と同様に入力されたストリームに必要に応じた並び替え処理を行なってストリームを出力する（ステップＳ１４０６）。そして、ステップＳ１４０２に戻って入力ビットストリームから次のＩＤＲまたはＩピクチャを探す。ステップＳ１４０８で処理が終了する。
　ストリーム変換部３０５は入力されたＩピクチャのストリームをＩＤＲピクチャに変換するが、その動作を図１４のフローチャートを用いて詳細に説明する。ヘッダ部変更（ステップＳ１５０２）とヘッダ部のビット長変化判定（ステップＳ１５０３）の処理は第３の実施形態（図１１）のステップＳ１３０２、Ｓ１３０３と同一である。本実施形態ではヘッダ部のビット長変化が８の倍数でなかった場合、ヘッダ部（ｓｌｉｃｅ＿ｈｅａｄｅｒ（））及び符号化パラメータセットの両方を調整する（Ｓ１５０４）。その後、処理を終了する（Ｓ１５０５）。
　調整が必要なビット数が偶数であった場合には、第３の実施形態（図１１）のステップＳ１３０４と同様にｓｌｉｃｅ＿ｈｅａｄｅｒ（）の符号語の値の変更で調整できる。しかし、調整が必要なビット数が奇数であった場合にはこの方法だけでは調整できない。このような場合には、例えば、ｓｌｉｃｅ＿ｈｅａｄｅｒ（）の符号語ｆｒａｍｅ＿ｎｕｍのビット長を変更することで調整する。
　ｆｒａｍｅ＿ｎｕｍのビット長はｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（）の符号語ｌｏｇ２＿ｍａｘ＿ｆｒａｍｅ＿ｎｕｍ＿ｍｉｎｕｓ４の値で決まる。そこで、ｆｒａｍｅ＿ｎｕｍのビット長調整が必要な場合には、符号化パラメータセット記憶部３０４からアクティブなｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（）及びｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（）を読み出し、ストリーム生成部３０６でｌｏｇ２＿ｍａｘ＿ｆｒａｍｅ＿ｎｕｍ＿ｍｉｎｕｓ４の値を変更したｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（）及びそれを参照するｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（）を生成する。
　ｌｏｇ２＿ｍａｘ＿ｆｒａｍｅ＿ｎｕｍ＿ｍｉｎｕｓ４以外の符号語の値は変更前のものを用いればよい。また、必要に応じてｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ、ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ等の符号語を変更しても良い。ストリーム変換部３０５は、ストリーム生成部３０６で生成したｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（）、ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（）を参照するようにｓｌｉｃｅ＿ｈｅａｄｅｒ（）を書き換える。
　例えば、全体としては、奇数ビット数の調整のためにｌｏｇ２＿ｍａｘ＿ｆｒａｍｅ＿ｎｕｍ＿ｍｉｎｕｓ４を変更し、残った偶数ビット数の調整はｉｄｒ＿ｐｉｃ＿ｉｄの変更で行なう、というような処理をすることで、ヘッダ部のビット長変化がどのような値であっても８の倍数に調整することができる。この調整処理によって画像データ部のバイトアライメント位置のずれは発生しなくなるため、画像データ部については入力のストリームをそのまま出力する。
　図１５は上述のようなストリーム変換部３０５やストリーム生成部３０６等の動作を示すものである。図１５ではストリーム抜き出し部３０１に入力された動画像を符号化したビットストリームとストリーム並び替え部３０３に供給されたビットストリームを示す。図１５中ＳＰＳ、ＰＰＳはそれぞれｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（）、ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（）を表す。図１５の例では、入力ビットストリームのＰＰＳはＳＰＳを参照し、ＩＤＲ０、Ｉ６、Ｉ１２等のピクチャはＰＰＳを参照する。
　本実施形態では、ＳＰＳ、ＰＰＳは符号化パラメータセット記憶部３０４に記憶される。高速再生ビットストリームを生成する際には、図１５に示すようにＩピクチャＩ６及びＩ１２ピクチャはストリーム変換部３０５でＩＤＲピクチャＩＤＲ６及びＩＤＲ１２にそれぞれ変換される。
　この変換の際に、ｓｌｉｃｅ＿ｈｅａｄｅｒ（）のｆｒａｍｅ＿ｎｕｍのビット長調整が必要な場合には、符号化パラメータセット記憶部３０４からＳＰＳ及びＰＰＳを読み出す。そして、ストリーム生成部３０６ではｌｏｇ２＿ｍａｘ＿ｆｒａｍｅ＿ｎｕｍ＿ｍｉｎｕｓ４の値を変更したｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（）（ＳＰＳ’）及びそれを参照するｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（）（ＰＰＳ’）を生成する。
　このことは、図１５に示すようにストリーム変換部３０５でＩＤＲ６及びＩＤＲ１２ピクチャに変換する際に、ｌｏｇ２＿ｍａｘ＿ｆｒａｍｅ＿ｎｕｍ＿ｍｉｎｕｓ４の値を変更することで、そのピクチャの画像データ部以外のビット長（ビット長変化）が８の倍数となるように変更するものである。
　ストリーム変換部３０５はストリーム生成部３０６で生成されたＳＰＳ’及びＰＰＳ’を参照するようにｓｌｉｃｅ＿ｈｅａｄｅｒ（）を書き換えながらＩＤＲ６及びＩＤＲ１２を出力する。ＳＰＳ’、ＰＰＳ’及びＩＤＲ６、ＩＤＲ１２はＩＤＲ０と共にストリーム並び替え部３０３に供給され、高速再生又は逆高速再生等を行なう場合の高速再生ビットストリームに用いられる。
　本実施形態では、ＩピクチャをＩＤＲピクチャに変換する際に、必要に応じて値を変更した符号化パラメータセットを生成してヘッダ部のビット長変化を８の倍数に調整する。これにより、ヘッダ部のビット長変化がどのような値であっても８の倍数に調整することができ、演算負荷の大きいエントロピー符号の復号化と再符号化処理は不要となり、より小さい演算負荷で高速再生、高速逆再生等の特殊再生を実現できる動画像ストリーム加工装置及び方法を提供することができる。
　（第５の実施形態）
　次に、本発明の第５の実施形態となる動画像再生装置を説明する。図１６は第５の実施形態の構成を示すブロック図である。動画像ストリーム加工装置４０２は第１から第４の実施形態のいずれかで説明した動画像ストリーム加工装置である。ビットストリーム切り替え装置４０１は通常再生時には入力されたビットストリームを直接動画像復号化装置４０３に供給する。高速再生、逆高速再生等の特殊再生時には入力ビットストリームを動画像ストリーム加工装置４０２に供給し、その動画像ストリーム加工装置４０２からの出力ビットストリームを動画像復号化装置４０３に供給する。
　動画像ストリーム加工装置４０２は入力されたビットストリームに対し、上述のような第１乃至第４の実施形態で説明した特殊再生用ビットストリーム生成の処理を行ない、処理結果のビットストリームを出力する。動画像復号化装置４０３は入力されたビットストリームの復号処理を行ない、復号結果の画像を動画像表示装置４０４に供給する。動画像表示装置４０４は、入力された画像を例えばＣＲＴや液晶ディスプレイ等の表示部に表示出力する。
　本実施形態では、通常再生時には入力ビットストリームをそのまま動画像復号化装置４０３に供給し、高速再生、逆高速再生等の特殊再生時には動画像ストリーム加工装置４０２で高速再生、逆高速再生等の特殊再生用ストリームを生成して動画像復号化装置４０３に供給する。そうすることで、動画像復号化装置に特殊再生向けの新たな機能追加等を行なわずに高速再生、高速逆再生等の特殊再生を実現できる動画像再生装置を提供することができる。
　（第６の実施形態）
　次に、本発明の第６の実施形態を図１７、図１８、図１９を用いて説明する。図１７は第６の実施形態の構成を示すブロック図、図１８及び図１９は第６の実施形態の管理テーブルの例を示す図である。
　記憶媒体５０１は動画像を符号化したビットストリーム５１１と、ビットストリーム５１１を第１乃至第４の実施形態のいずれかの動画像ストリーム加工装置に入力して生成した高速再生、逆高速再生等の特殊再生用の特殊再生用ビットストリーム５１２を記憶している。またビットストリーム５１１と特殊再生用ビットストリーム５１２の関連付け情報を記録した管理テーブル５１３を有する。５０２はビットストリーム切り替え装置、５０３はビットストリーム送出装置である。
　管理テーブル５１３にはビットストリーム５１１と特殊再生用ビットストリーム５１２の切り替えを可能にする情報が格納されている。管理テーブル５１３の簡易な例を図１８に示す。図１８の例では、ビットストリーム５１１と特殊再生用ビットストリーム５１２それぞれを格納したファイル名を対応付けて格納することでストリーム切り替えを可能にする。また、図１９に示すような情報を格納することも考えられる。
　図１９の例では、ビットストリームと特殊再生用ストリーム（高速再生用ビットストリーム及び逆高速再生用ビットストリーム）それぞれを格納したファイル名を対応付けて格納するのに加え、特殊再生用ストリームの各ピクチャに対応するビットストリーム５１１でのタイムスタンプを格納する。このような情報を格納することで、通常再生から特殊再生へ、或いは特殊再生から通常再生へ動作を切り替える際に再生位置のタイムスタンプを継承した自然な動作切り替えが可能になる。
　ビットストリーム切り替え装置５０２は通常再生時には記憶媒体５０１からビットストリーム５１１を読み出してビットストリーム送出装置５０３に供給する。高速再生、高速逆再生等の特殊再生時には管理テーブル５１３を参照してビットストリーム５１１に関連付けられている特殊再生用ビットストリーム５１２を読み出してビットストリーム送出装置５０３に供給する。ビットストリーム送出装置５０３は入力されたビットストリームを所定の受信端末に向けてコンピュータネットワーク等の伝送路に送出する。
　本実施形態では、通常のビットストリームと特殊再生用ビットストリームを関連付けて格納し、通常再生時には通常のビットストリームを、特殊再生時には関連付けられている特殊再生用ビットストリームを受信端末に向け送出する。そうすることで、受信端末の動画像復号化装置に特殊再生向けの新たな機能追加等を行なわずに高速再生、高速逆再生等の特殊再生を実現できる動画像配信装置を提供することができる。
　なお、以上説明した各実施形態では、Ｈ．２６４動画像符号化方式に則った応用について述べたが、本発明はこの応用のみに限定されるものではなく、完全に単独復号可能なピクチャと、画像データ部は単独復号可能だが画像データ部以外は単独復号可能ではないピクチャとを持つ動画像符号化方式にも適用可能である。
　また、ＩピクチャからＩＤＲピクチャへの変換においてｌｏｇ２＿ｍａｘ＿ｆｒａｍｅ＿ｎｕｍ＿ｍｉｎｕｓ４、ｉｄｒ＿ｐｉｃ＿ｉｄの値を変更する例について説明したが、変更の方法は当然これらに限定されるものではない。
　例えば、ｌｏｇ２＿ｍａｘ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ＿ｍｉｎｕｓ４やｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値を変更してヘッダ部のビット長変化を調整する方法等も考えられる。また、特殊再生の例として高速再生や高速逆再生の場合を例に挙げて説明したが、本発明は、再生方式はこれらに限定されることは無い。例えば、プレイリスト再生や別のビットストリームへの再生位置移動等にも本発明の方式は適用することができる。
　以上説明した本発明はコンピュータがプログラムを記録媒体から読み込んで実行することによっても実現することが出来る。即ち、上述のような本発明はソフトウェアによって実現することが可能である。
動画像ストリーム加工装置をソフトウェアで構成する場合は、図５又は図１２に示した動画像ストリーム加工装置の機能を記述したプログラムを、ハードディスク等の記憶部に記憶し、制御部となるＣＰＵがプログラムプログラムに従って処理（制御）を実行することにより、利用者情報提示システムの機能を実現することができる。
図２０は本実施形態の動画像ストリーム加工装置を構成するコンピュータの一構成例を示すブロック図である。
図５又は図１２に示す動画像ストリーム加工装置の機能を記述したプログラムをハードディスク装置等のディスク装置１１０１に記憶する。図５に示す動画像ストリーム加工装置の機能を実現する場合、ディスク装置１１０１には、またストリーム抜き出し部２０１に入力されるビットストリーム、ストリーム抜き出し部２０１で抜き出されたビットストリーム、ストリーム変換部２０３で変換されたビットストリームが記憶される。図１２に示す動画像ストリーム加工装置の機能を実現する場合、ディスク装置１１０１は符号化パラメータセット記憶部３０４としても機能する。ＣＰＵ１１０３により動画像ストリーム加工装置の機能を実現するプログラムが実行される。１１０５はデータバス等のバス、１１０２はＣＰＵ１１０３の情報処理に必要な情報を記憶するＤＲＡＭ等のメモリを示す。Ｉ／Ｏデバイス１１０４は外部に加工されたビットストリームを出力する通信部となる。
　なお、上記プログラム（プログラムプロダクトともいう）はＦＤ（フロッピィディスク）、ＣＤＲＯＭ、ＤＶＤ、フラッシュメモリ等のコンピュータ読み取り可能な情報記録媒体に記録することができる。図２０では記憶部としてディスク装置を用いているが、ＦＤ、ＣＤＲＯＭ等のコンピュータ読み取り可能な情報記録媒体に記録されたプログラムを上記コンピュータのディスク装置に読み込み、処理を実行することで、動画像ストリーム加工装置として機能させることができる。
以上、本発明の代表的な実施形態について説明したが、本発明は、本願の請求の範囲によって規定される、その精神または主要な特徴から逸脱することなく、他の種々の形で実施することができる。そのため、前述した各実施形態は単なる例示にすぎず、限定的に解釈されるべきではない。本発明の範囲は特許請求の範囲によって示すものであって、明細書や要約書の記載には拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更はすべて本発明の範囲内のものである。
　
　
　

Claims (13)

  1. 動画像を符号化したビットストリームから、単独で復号可能なピクチャの第１のビットストリームと、画像データ部は単独で復号可能であるが前記画像データ部以外は単独で復号できないピクチャの第２のビットストリームとを抜き出す抜き出し部と、
    　前記抜き出し部で抜き出された前記第２のビットストリームを単独で復号可能なピクチャの第３のビットストリームに変換する変換部と、を備え、
    　前記抜き出し部により抜き出された前記第１のピクチャのビットストリームと、前記第３のビットストリームとを、抜き出された順又は抜き出された順と逆に並べて出力する動画像ストリーム加工装置。
  2. 前記変換部は、前記第２のビットストリームの、前記画像データ部以外の部分の内容を変更して前記第３のビットストリームに変換することを特徴とする請求項１に記載の動画像ストリーム加工装置。
  3. 前記変換部は、前記第２のビットストリームを前記第３のビットストリームに変換する際、前記画像データ部以外の部分のビット長変化が８の倍数でなかった場合には、当該画像データ部を復号化して画像の内容は変えずに前記画像データ部がバイトアライメント規約を満たすように再度符号化することを特徴とする請求項２に記載の動画像ストリーム加工装置。
  4. 前記変換部は、前記第２のビットストリームの画像データ部以外の部分のビット長変化が８の倍数となるように前記画像データ部以外の部分の内容を変更することを特徴とする請求項２に記載の動画像ストリーム加工装置。
  5. 動画像を符号化したビットストリームから、単独で復号可能なピクチャの第１のビットストリームと、画像データ部は単独で復号可能であるが前記画像データ部以外は単独で復号できないピクチャの第２のビットストリームと、符号化パラメータセットのビットストリームとを抜き出す抜き出し部と、
    　前記抜き出された符号化パラメータセットを記憶する記憶部と、
    　前記記憶された符号化パラメータセットを変更して、画像データ部以外のビット長変化を調整する符号化パラメータセットを生成する生成部と、
    　前記抜き出し部で抜き出された前記第２のビットストリームを、前記生成部で生成された符号化パラメータセットに基づいて単独で復号可能なピクチャの第３のビットストリームに変換する変換部と、を備え、
    　前記抜き出し部により抜き出された前記第１のビットストリームと、前記第３のビットストリームとを、抜き出された順又は抜き出された順と逆に並べて出力する動画像ストリーム加工装置。
  6. 前記生成部は、前記記憶された符号化パラメータセットを画像データ部以外のビット長変化を８の倍数とする符号化パラメータセットに変更し、
    前記変換部は、前記第２のビットストリームを前記第３のビットストリームに変換する際に、前記生成された符号化パラメータセットに基づき画像データ部以外のビット長変化が８の倍数となるように変換することを特徴とする請求項５に記載の動画像ストリーム加工装置。
  7. 請求項１乃至６のいずれか１項に記載の動画像ストリーム加工装置と、
    　動画像を符号化したビットストリームの復号化を行なう動画像復号化装置と、
    　通常再生時には入力ビットストリームを前記動画像復号化装置に供給し、高速再生又は逆高速再生の特殊再生時には入力ビットストリームを前記動画像ストリーム加工装置に供給して当該動画像ストリーム加工装置で処理されたビットストリームを前記動画像復号化装置に供給するように切り替えるビットストリーム切り替え装置と、
    　前記動画像復号化装置からの復号画像を表示する動画像表示装置と、
    を備えたことを特徴とする動画像再生装置。
  8. 動画像を符号化したビットストリームと、請求項１乃至６のいずれか１項に記載の動画像ストリーム加工装置で処理された特殊再生用ビットストリームと、前記ビットストリームと前記特殊再生用ビットストリームとを関連付ける情報を有する管理テーブルと、を記憶した記憶媒体。
  9. 請求項８に記載の記憶媒体と、
    　通常再生時には前記記憶媒体から前記ビットストリームを読み出し、特殊再生時には前記管理テーブルを参照して前記ビットストリームと関連付けられた特殊再生用ビットストリームを読み出すビットストリーム切り替え装置と、
    　前記ビットストリーム切り替え装置で読み出されたビットストリームを受信端末に送出するビットストリーム送出装置と、
    を備えたことを特徴とする動画像配信装置。
  10. 動画像を符号化したビットストリームから、単独で復号可能なピクチャの第１のビットストリームと、画像データ部は単独で復号可能であるが前記画像データ部以外は単独で復号できないピクチャの第２のビットストリームとを抜き出し、
    　抜き出された前記第２のビットストリームを単独で復号可能なピクチャの第３のビットストリームに変換し、
    　抜き出された前記第１のビットストリームと、前記第３のビットストリームとを、抜き出された順又は抜き出された順と逆に並べて出力する画像ストリーム加工方法。
  11. 動画像を符号化したビットストリームから、単独で復号可能なピクチャの第１のビットストリームと、画像データ部は単独で復号可能であるが前記画像データ部以外は単独で復号できないピクチャの第２のビットストリームと、符号化パラメータセットのビットストリームとを抜き出し、
    　記憶部に前記抜き出された符号化パラメータセットを記憶し、
    　前記記憶された符号化パラメータセットを変更して、画像データ部以外のビット長変化を調整する符号化パラメータセットを生成し、
    　抜き出された前記第２のビットストリームを、生成された前記符号化パラメータセットに基づいて単独で復号可能なピクチャの第３のビットストリームに変換し、
    　抜き出された前記第１のビットストリームと、前記第３のビットストリームとを、抜き出された順又は抜き出された順と逆に並べて出力する画像ストリーム加工方法。
  12. コンピュータに、
    動画像を符号化したビットストリームから、単独で復号可能なピクチャの第１のビットストリームと、画像データ部は単独で復号可能であるが前記画像データ部以外は単独で復号できないピクチャの第２のビットストリームとを抜き出す処理と、
    　抜き出された前記第２のビットストリームを単独で復号可能なピクチャの第３のビットストリームに変換する処理と、
    　抜き出された前記第１のビットストリームと、前記第３のビットストリームとを、抜き出された順又は抜き出された順と逆に並べて出力する処理と、を実行させるためのプログラム。
  13. コンピュータに、
    動画像を符号化したビットストリームから、単独で復号可能なピクチャの第１のビットストリームと、画像データ部は単独で復号可能であるが前記画像データ部以外は単独で復号できないピクチャの第２のビットストリームと、符号化パラメータセットのビットストリームとを抜き出す処理と、
    　記憶部に前記抜き出された符号化パラメータセットを記憶する処理と、
    　前記記憶された符号化パラメータセットを変更し、画像データ部以外のビット長変化を調整する符号化パラメータセットを生成する処理と、
    　抜き出された前記第２のビットストリームを、生成された前記符号化パラメータセットに基づいて単独で復号可能なピクチャの第３のビットストリームに変換する処理と、
    抜き出された前記第１のビットストリームと、前記第３のビットストリームとを、抜き出された順又は抜き出された順と逆に並べて出力する処理と、を実行させるためのプログラム。
    　
PCT/JP2009/050958 2008-01-24 2009-01-22 動画像ストリーム加工方法及び装置、それを用いた動画像再生装置並びに動画像配信装置 WO2009093647A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009550551A JP5170708B2 (ja) 2008-01-24 2009-01-22 動画像ストリーム加工方法及び装置、それを用いた動画像再生装置並びに動画像配信装置
US12/863,940 US8731065B2 (en) 2008-01-24 2009-01-22 Dynamic image stream processing method and device, and dynamic image reproduction device and dynamic image distribution device using the same
EP20090704263 EP2249567A4 (en) 2008-01-24 2009-01-22 DYNAMIC IMAGE FLOW PROCESSING METHOD AND DEVICE, AND DYNAMIC IMAGE REPRODUCING DEVICE AND DYNAMIC IMAGE DELIVERY DEVICE USING THE METHOD AND DEVICE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-013703 2008-01-24
JP2008013703 2008-01-24

Publications (1)

Publication Number Publication Date
WO2009093647A1 true WO2009093647A1 (ja) 2009-07-30

Family

ID=40901153

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/050958 WO2009093647A1 (ja) 2008-01-24 2009-01-22 動画像ストリーム加工方法及び装置、それを用いた動画像再生装置並びに動画像配信装置

Country Status (5)

Country Link
US (1) US8731065B2 (ja)
EP (1) EP2249567A4 (ja)
JP (1) JP5170708B2 (ja)
TW (1) TWI387350B (ja)
WO (1) WO2009093647A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013061840A1 (ja) 2011-10-28 2013-05-02 株式会社Gnzo バイトアラインメント装置及びバイトアラインメント方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9307262B2 (en) * 2011-01-13 2016-04-05 Texas Instruments Incorporated Methods and systems for facilitating multimedia data encoding utilizing configured buffer information
MX2014000048A (es) * 2011-07-02 2014-04-30 Samsung Electronics Co Ltd Metodo y aparato para multiplexar y desmultiplexar datos de video para identificar el estado de reproduccion de los datos de video.
EP2713624A1 (en) 2012-09-20 2014-04-02 Advanced Digital Broadcast S.A. Method and system for generating an instantaneous decoding refresh (IDR) picture slice in an H.264/AVC compliant video data stream
US20140092976A1 (en) * 2012-09-30 2014-04-03 Sharp Laboratories Of America, Inc. System for signaling idr and bla pictures
CA2968855C (en) * 2014-11-25 2021-08-24 Arris Enterprises Llc Filler detection during trickplay
WO2016204490A1 (ko) * 2015-06-16 2016-12-22 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
US10142707B2 (en) * 2016-02-25 2018-11-27 Cyberlink Corp. Systems and methods for video streaming based on conversion of a target key frame

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05344494A (ja) 1992-06-10 1993-12-24 Ricoh Co Ltd Ｍｐｅｇ動画像の早送り再生方式
WO2005106875A1 (en) * 2004-04-28 2005-11-10 Matsushita Electric Industrial Co., Ltd. Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0628446B2 (ja) 1987-06-12 1994-04-13 日本電気株式会社 圧縮記録画像の再生方式
JP3330797B2 (ja) 1995-10-02 2002-09-30 富士通株式会社 動画像データ格納方式および動画像データ復号方式
US20020114388A1 (en) 2000-04-14 2002-08-22 Mamoru Ueda Decoder and decoding method, recorded medium, and program
US7292772B2 (en) 2000-05-29 2007-11-06 Sony Corporation Method and apparatus for decoding and recording medium for a coded video stream
JP3852366B2 (ja) 2002-04-26 2006-11-29 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
US9161078B2 (en) * 2002-08-14 2015-10-13 Arris Technology, Inc. Methods and apparatus for reducing tune-time delay in a television appliance with personal versatile recorder capabilities
JP4324844B2 (ja) 2003-04-25 2009-09-02 ソニー株式会社 画像復号化装置及び画像復号化方法
JP2004328634A (ja) 2003-04-28 2004-11-18 Sony Corp 画像復号化装置及び方法
EP1496707A1 (en) 2003-07-09 2005-01-12 Matsushita Electric Industrial Co., Ltd. Encoding and decoding of video images with delayed reference picture refresh
US8213779B2 (en) * 2003-09-07 2012-07-03 Microsoft Corporation Trick mode elementary stream and receiver system
CN101695114A (zh) * 2004-06-02 2010-04-14 松下电器产业株式会社 画面编码装置和画面解码装置
WO2006025388A1 (ja) * 2004-08-31 2006-03-09 Matsushita Electric Industrial Co., Ltd. 動画像符号化方法及び装置
JP2006101323A (ja) 2004-09-30 2006-04-13 Toshiba Corp 情報処理装置および同装置で用いられるプログラム
US7412149B2 (en) * 2004-10-28 2008-08-12 Bitband Technologies, Ltd. Trick mode generation in video streaming
JP2006157855A (ja) 2004-11-04 2006-06-15 Matsushita Electric Ind Co Ltd 情報記録媒体、画像符号化方法、および画像復号方法
US20060153294A1 (en) 2005-01-12 2006-07-13 Nokia Corporation Inter-layer coefficient coding for scalable video coding
JP2006211617A (ja) 2005-01-31 2006-08-10 Toshiba Corp 動画像符号化装置・復号化装置及び符号化ストリーム生成方法
US7725593B2 (en) 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
EP1925164A1 (en) * 2005-08-26 2008-05-28 Thomson Licensing Transcoded images for improved trick play
JP2007158788A (ja) 2005-12-06 2007-06-21 Sharp Corp テレビジョン放送受信装置及び時刻情報差替方法
EP1827009A1 (en) * 2006-02-28 2007-08-29 Matsushita Electric Industrial Co., Ltd. Video encoder and decoder for an improved zapping service for mobile video reception
KR101142379B1 (ko) * 2007-02-14 2012-05-18 삼성전자주식회사 디지털 방송 재생 방법 및 장치, 디지털 방송 녹화 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05344494A (ja) 1992-06-10 1993-12-24 Ricoh Co Ltd Ｍｐｅｇ動画像の早送り再生方式
WO2005106875A1 (en) * 2004-04-28 2005-11-10 Matsushita Electric Industrial Co., Ltd. Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Int. Conf. on Consumer Electronics 2008 Digest of Technical Papers", 9 January 2008, article JIN-HWAN JEONG ET AL.: "Trick Play Method for HD H.264 Set-Top Box", pages: 1 - 2, XP031297566 *
See also references of EP2249567A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013061840A1 (ja) 2011-10-28 2013-05-02 株式会社Gnzo バイトアラインメント装置及びバイトアラインメント方法
JP2013098596A (ja) * 2011-10-28 2013-05-20 Gnzo Co Ltd バイトアラインメント装置及びバイトアラインメント方法

Also Published As

Publication number Publication date
JPWO2009093647A1 (ja) 2011-05-26
JP5170708B2 (ja) 2013-03-27
TW200948089A (en) 2009-11-16
TWI387350B (zh) 2013-02-21
EP2249567A4 (en) 2012-12-12
US8731065B2 (en) 2014-05-20
EP2249567A1 (en) 2010-11-10
US20100290537A1 (en) 2010-11-18

Similar Documents

Publication Publication Date Title
JP5170708B2 (ja) 動画像ストリーム加工方法及び装置、それを用いた動画像再生装置並びに動画像配信装置
JP4769717B2 (ja) 画像復号化方法
JP6486421B2 (ja) ビデオデータの再生状態識別のためのビデオデータの多重化方法及び装置、逆多重化方法及び装置
KR100908062B1 (ko) 비디오 신호의 디코딩/인코딩 방법 및 장치
KR101215615B1 (ko) 동일 채널 내에서 서로 다른 코덱을 이용하여 부호화된 비디오 및 오디오 데이터 스트림의 재생을 위한 코덱 변경 방법 및 장치
JP4838253B2 (ja) 画像符号化装置、画像符号化方法、画像復号化装置、画像復号化方法、および記録方法
JP4838251B2 (ja) 画像復号化装置、画像復号化方法および画像復号化システム
CN101697576A (zh) 运动画面产生装置，编码装置，解码装置及多路复用装置
BR112013033552B1 (pt) Método em um sistema de computador que implementa um decodificador de vídeo, método em um sistema de computação, meio legível por computador e sistema de computação
EP2642764B1 (en) Transcoding a video stream to facilitate accurate display
US20110211634A1 (en) Method and apparatus for offset metadata insertion in multi-view coded view
JP5414736B2 (ja) 符号化装置及び編集装置
JP2008035294A (ja) 画像データ記録装置及び画像データ符号化装置
JP4757840B2 (ja) 符号化装置及び編集装置
JP3897783B2 (ja) 画像処理装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP5136546B2 (ja) 動画像ストリーム加工装置及び該装置を備えた動画像再生装置並びに方法とプログラム
JP2017536027A (ja) 符号化されたビデオデータ処理方法及びその装置、符号化されたビデオデータ生成方法及びその装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09704263

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2009550551

Country of ref document: JP

Ref document number: 12863940

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2009704263

Country of ref document: EP