WO2013129585A1 - 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 - Google Patents

画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 Download PDF

Info

Publication number
WO2013129585A1
WO2013129585A1 PCT/JP2013/055451 JP2013055451W WO2013129585A1 WO 2013129585 A1 WO2013129585 A1 WO 2013129585A1 JP 2013055451 W JP2013055451 W JP 2013055451W WO 2013129585 A1 WO2013129585 A1 WO 2013129585A1
Authority
WO
WIPO (PCT)
Prior art keywords
scene
video
encoded data
unit
stream
Prior art date
Application number
PCT/JP2013/055451
Other languages
English (en)
French (fr)
Inventor
関口　俊一
杉本　和夫
裕介 伊谷
山田　悦久
大樹 工藤
西川　博文
純一 木槻
竹内　浩一
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to US14/376,776 priority Critical patent/US9560365B2/en
Priority to KR1020147027088A priority patent/KR20140136474A/ko
Priority to CN201380011367.7A priority patent/CN104137544B/zh
Publication of WO2013129585A1 publication Critical patent/WO2013129585A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Definitions

  • the present invention relates to an image encoding device and image encoding method for compressing and encoding an image and transmitting or recording encoded data, and an image decoding device for decoding an image from encoded data transmitted or recorded by the image encoding device. And an image decoding method.
  • a conventional image encoding apparatus compresses and encodes a predetermined video sequence
  • predictive encoding is performed using a spatial correlation or a temporal correlation in the video sequence so as to improve compression efficiency. It is configured.
  • a large number of compressed video streams are managed in a huge recording space. The situation that is similar increases.
  • Patent Document 1 a plurality of different recorded programs are compared in a digital recording device with a built-in HDD, and a plurality of recorded programs are recorded by compressing and encoding difference information obtained based on the comparison result.
  • a technique for recording with high compression efficiency is disclosed.
  • JP 2006-262111 A (paragraph number [0006])
  • the conventional image encoding apparatus is configured as described above, a difference is always taken as a comparative evaluation measure between signals of frames at the same time between different video streams, and the difference signal is compression encoded. For this reason, there is a problem that efficient compression cannot be performed when there is a difference in the time of similar cuts between videos. In addition, since the comparison at the image signal level is performed over the entire video stream, there is a problem that the processing amount increases.
  • the present invention has been made to solve the above-described problems, and an image coding apparatus and an image coding method capable of performing efficient compression without causing an increase in processing amount or a decrease in video quality.
  • the purpose is to obtain.
  • Another object of the present invention is to obtain an image decoding apparatus and an image decoding method capable of decoding an efficiently compressed image.
  • the image coding apparatus selectively applies a prediction reference using other scene video data for each scene video data in the video coded data according to the first video coding method.
  • Video encoded data converting means for converting into video encoded data in accordance with the encoding method is provided, and the video encoded data converting means performs prediction when converting encoded data in units of scene video in the first video encoded data.
  • Search for encoded data of other scene video units to be used for reference select whether to use the searched encoded data of scene video units for prediction reference, and encode data of the first scene video unit Is converted into video encoded data according to the second video encoding method, and metadata indicating whether or not the searched encoded data of the scene video unit is used for prediction reference is generated. Those were Unishi.
  • the prediction reference using other scene video data is selectively applied to each scene video data in the video encoded data according to the first video encoding method to comply with the second video encoding method.
  • Video encoded data converting means for converting into video encoded data is provided, and the video encoded data converting means should be used for prediction reference when converting the encoded data of the scene video unit in the first video encoded data.
  • Search for other scene video encoded data select whether to use the searched scene video encoded data for prediction reference, and use the first scene video encoded data as the second It is configured to generate metadata that indicates whether the encoded data of the searched scene video unit has been used for prediction reference as well as converting into video encoded data according to the video encoding method In, there is an effect that can be performed without lowering the growth and video quality of throughput, an efficient compression.
  • Embodiment 1 FIG.
  • an apparatus or system that receives an MPEG-2 video bitstream and recompresses and records the MPEG-2 video bitstream, an image that is efficiently recompressed while suppressing deterioration in quality.
  • An encoding apparatus and an image decoding apparatus that reproduces a video signal based on encoded data output from the image encoding apparatus will be described.
  • FIG. 1 is a block diagram showing an image coding apparatus according to Embodiment 1 of the present invention.
  • a scene correlation measurement parameter calculation unit 1 is composed of, for example, a semiconductor integrated circuit on which a CPU is mounted or a one-chip microcomputer, and is MPEG-compressed and encoded by the MPEG-2 video encoding method.
  • scene video first video encoded data
  • another scene video A process for calculating a scene correlation measurement parameter, which is a scale for measuring the correlation with, is performed.
  • the scene may be a unit of a predetermined time, or GOP (Group Of Picture) that defines the data structure of the MPEG-2 video bitstream, that is, random access to the MPEG-2 video bitstream is possible.
  • GOP Group Of Picture
  • a data unit all picture data included between two I pictures
  • the scene correlation measurement parameter calculation unit 1 constitutes a scene correlation measurement parameter calculation unit.
  • the data recording unit 2 is composed of a recording medium such as a hard disk or an SSD, and records the scene correlation measurement parameter calculated by the scene correlation measurement parameter calculation unit 1.
  • the data recording unit 2 is an H.264 to be described later.
  • the master stream (second video encoded data) converted by the H.264 conversion unit 4 is recorded, and slave encoded data output from the multiplexing unit 7 described later is recorded.
  • the inter-scene prediction determination unit 5 searches the slave stream (third video encoded data) converted by the intra-scene / inter-scene adaptive encoding unit 6.
  • Slave stream encoding management information indicating encoded data in units of scene video (intra-scene predictive encoded data) converted without using encoded data, encoded data searched by the inter-scene prediction determination unit 5, and the like It is composed of
  • the data recording unit 2 constitutes data recording means.
  • the switch 3 When the recompression method identification signal given from the outside indicates that “the MPEG-2 video bitstream is to be recompressed as a master stream”, the switch 3 outputs the MPEG-2 output from the scene correlation measurement parameter calculation unit 1. The video bitstream is converted to H.264. If the recompression method identification signal gives to the H.264 converter 4 that “recompress the MPEG-2 video bitstream as a slave stream”, the MPEG-output signal output from the scene correlation measurement parameter calculator 1 is output. A process of giving two video bitstreams to the intra-scene / inter-scene adaptive encoding unit 6 is performed.
  • the H.264 conversion unit 4 is composed of, for example, a semiconductor integrated circuit on which a CPU is mounted or a one-chip microcomputer.
  • the MPEG-2 video bitstream is given from the switch 3
  • the MPEG-2 video bitstream is converted into the MPEG-2 video bitstream.
  • a video bit stream according to the H.264 video coding system is converted, and the video bit stream is recorded as a master stream in the data recording unit 2.
  • the H.264 converter 4 constitutes first video encoded data conversion means.
  • the inter-scene prediction determination unit 5 includes, for example, a semiconductor integrated circuit on which a CPU is mounted, a one-chip microcomputer, or the like.
  • the scene correlation measurement parameter (correlation measurement parameter A) calculated by the scene correlation measurement parameter calculation unit 1 is used.
  • the intra-scene / inter-scene adaptive encoding unit 6 performs predictive encoding from the encoded data of the scene video unit in the master stream recorded in the data recording unit 2
  • a process for retrieving encoded data used for prediction reference instead of encoded data in units of scene images in the MPEG-2 video bitstream is performed.
  • the inter-scene prediction determination unit 5 constitutes encoded data search means.
  • the scene correlation measurement parameter A is a parameter calculated when the recompression method identification signal indicates that “MPEG-2 video bitstream is recompressed as a master stream”
  • the scene correlation measurement parameter B is This is a parameter calculated when the recompression method identification signal indicates that “MPEG-2 video bitstream is recompressed as a slave stream”.
  • the inter-scene prediction determination unit 5 uses the scene correlation measurement parameters A and B calculated by the scene correlation measurement parameter calculation unit 1 to store each scene image in the MPEG-2 video bitstream and the data recording unit 2. Measure the correlation value with each scene video in the recorded master stream and identify the scene video in the master stream with the highest correlation value for each scene video in the MPEG-2 video bitstream If the correlation value is equal to or greater than a predetermined value, a process of determining the encoded data of the scene video as the encoded data used for prediction reference is performed. In addition, if the inter-scene prediction determination unit 5 finds encoded data used for prediction reference (when a scene video with high correlation exists), “in the scene to be processed, the code of the scene video with high correlation in the master stream is displayed.
  • the slave stream encoding management information includes at least a master stream ID for identifying a master stream and encoded data for each scene video in the master stream among a plurality of bit stream data recorded in the data recording unit 2. It includes an inter-scene prediction instruction flag that specifies whether to use for prediction reference, a master scene ID that specifies a master scene (scene used for prediction reference) on the master stream, and the like.
  • the intra-scene / inter-scene adaptive encoding unit 6 is composed of, for example, a semiconductor integrated circuit on which a CPU is mounted, or a one-chip microcomputer, and the scene video unit in the master stream recorded in the data recording unit 2 Predictive reference is made to encoded data in which encoded data used for reference prediction is not searched by the inter-scene prediction determination unit 5 and encoded data searched by the inter-scene prediction determination unit 5 in the encoded data. Used to convert the MPEG-2 video bitstream into a slave stream.
  • the intra-scene / inter-scene adaptive encoding unit 6 constitutes a second video encoded data conversion means.
  • the multiplexing unit 7 is composed of, for example, a semiconductor integrated circuit on which a CPU is mounted or a one-chip microcomputer, and the slave stream converted by the intra-scene / inter-scene adaptive encoding unit 6 and the inter-scene prediction determination
  • the slave stream encoding management information output from the unit 5 is multiplexed, and the multiplexing result is recorded in the data recording unit 2 as slave encoded data.
  • FIG. 1 is a flowchart showing the processing contents (image coding method) of the image coding apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is a block diagram showing the in-scene / inter-scene adaptive encoding unit 6 of the image encoding apparatus according to Embodiment 1 of the present invention.
  • the MPEG-2 decoding unit 11 performs a decoding process on the encoded data of each scene video in the MPEG-2 video bitstream, A process of generating a decoded image for each scene video is performed.
  • the switch 12 indicates that the inter-scene prediction instruction flag included in the slave stream encoding management information output from the inter-scene prediction determination unit 5 does not use the encoded data of the scene video unit in the master stream for prediction reference.
  • the decoded image generated by the MPEG-2 decoding unit 11 is output to the intra-scene prediction encoding unit 14, and the inter-scene prediction instruction flag predicts the encoded data of the scene video unit in the master stream. If it indicates that it is used for reference, a process of outputting the decoded image generated by the MPEG-2 decoding unit 11 to the inter-scene prediction encoding unit 15 is performed.
  • the inter-scene prediction reference location extraction unit 13 predicts encoded data in units of scene video in the master stream by the inter-scene prediction instruction flag included in the slave stream encoding management information output from the inter-scene prediction determination unit 5. If it indicates that it is used for reference, the encoded data of the scene video indicated by the master scene ID is extracted from the master stream indicated by the master stream ID included in the slave stream encoding management information, and the code H. H.264 decoding processing is performed to generate a decoded image of the scene video (hereinafter referred to as “master stream decoded image”).
  • the intra-scene predictive encoding unit 14 does not use any encoded data in the master stream and outputs H.264 to the decoded image output from the switch 12.
  • the H.264 compression encoding process is performed, and the process of outputting the intra-scene prediction encoded data that is the result of the encoding process is performed.
  • the inter-scene predictive encoding unit 15 compares the temporal correlation of the decoded image output from the switch 12 and the image data at the same time position in the decoded image and the master stream decoded image generated by the inter-scene prediction reference location extracting unit 13. Using the correlation, H.264 motion compensation processing or compression encoding processing using intra prediction is executed, and processing for outputting inter-scene prediction encoded data as the processing result is executed.
  • the slave stream multiplexing unit 16 multiplexes the intra-scene prediction encoded data output from the intra-scene prediction encoding unit 14 and the inter-scene prediction encoded data output from the inter-scene prediction encoding unit 15 to generate a slave stream. Then, a process of outputting the slave stream to the multiplexing unit 7 is performed.
  • FIG. 4 is a block diagram showing an image decoding apparatus according to Embodiment 1 of the present invention.
  • a data recording unit 2 is the same recording unit as the data recording unit 2 of the image encoding device of FIG.
  • the switch 21 reads the master stream recorded in the data recording unit 2 and reads H.264.
  • the stream type identification signal indicates that “decode the encoded data as slave encoded data”
  • the slave encoded data recorded in the data recording unit 2 is output. A process of outputting to the demultiplexing unit 23 is performed.
  • the H.264 decoding unit 22 is configured by, for example, a semiconductor integrated circuit in which a CPU is mounted, a one-chip microcomputer, or the like. By executing a predetermined decoding process according to the H.264 video encoding system, a process for generating a playback video is performed. H.
  • the H.264 decoding unit 22 constitutes a first video decoding unit.
  • the demultiplexing unit 23 is configured by, for example, a semiconductor integrated circuit on which a CPU is mounted, a one-chip microcomputer, or the like.
  • the slave encoded data is received from the switch 21, the slave encoded data is converted into a slave stream and a slave stream.
  • a process of separating into encoding management information is performed.
  • the decoded stream shaping unit 24 is composed of, for example, a semiconductor integrated circuit on which a CPU is mounted, a one-chip microcomputer, or the like.
  • the demultiplexing unit 23 The master stream ID indicated by the master stream ID included in the separated slave stream encoding management information is read, and the scene indicated by the master scene ID included in the slave stream encoding management information is read from the master stream.
  • the encoded data of the video is extracted, and the encoded data is embedded in the position of the corresponding scene video of the slave stream separated by the demultiplexing unit 23, thereby executing the process of forming the decoded stream.
  • the slave video decoding unit 25 is composed of, for example, a semiconductor integrated circuit on which a CPU is mounted or a one-chip microcomputer, and performs a predetermined decoding process on the decoded stream formed by the decoded stream forming unit 24. Thus, a process for generating a playback video corresponding to the slave encoded data is performed.
  • the demultiplexing unit 23, the decoded stream shaping unit 24, and the slave video decoding unit 25 constitute a second video decoding unit.
  • FIG. 5 is a flowchart showing the processing contents (image encoding method) of the image decoding apparatus according to Embodiment 1 of the present invention.
  • a scene correlation measurement parameter calculation unit 1 receives an MPEG-2 video bitstream that has been compression-encoded by the MPEG-2 video encoding method
  • the scene correlation measurement parameter calculation unit 1 adds another scene video to each scene video of the MPEG-2 video bitstream.
  • a scene correlation measurement parameter serving as a scale for measuring the correlation between the two is calculated (step ST1 in FIG. 2).
  • the scene may be a unit of a predetermined time, or a GOP that defines the data structure of the MPEG-2 video bitstream, that is, a data unit (two data units) that can be randomly accessed for the MPEG-2 video bitstream. All picture data included between I pictures).
  • the scene correlation measurement parameter for each scene image calculated by the scene correlation measurement parameter calculation unit 1 is recorded in the data recording unit 2.
  • the scene correlation measurement parameter uses an amount that makes it possible to measure “similarity between two scenes”.
  • a reduced image is constructed from the DC component of the DCT coefficient included in the I-picture encoded data of the MPEG-2 video bitstream, and texture features such as the luminance average and luminance dispersion of the reduced image, or the reduced image It is conceivable to generate an amount indicating a color feature such as color average or color dispersion and use the amount indicating the texture feature or the color feature as a scene correlation measurement parameter.
  • “Image Signature” disclosed in the following Non-Patent Document 1 may be generated for the reduced image composed of the DC component, and “Image Signature” may be used as a scene correlation measurement parameter.
  • Non-Patent Document 1 Nishikawa, P.A. Brasnett et al., "MPEG-7 Technology Image Signature: Image Identification Technology", Mitsubishi Electric Technical Report December 2008
  • Image Signature is a quantity that expresses luminance information in spatial frequency using the trace transformation disclosed in Non-Patent Document 2 below, and is internationally standardized as a parameter for evaluating the identity of images. . Specifically, it is conceivable to use the “Image Signature” at the beginning of the scene or a set of “Image Signature” corresponding to the reduced images of a plurality of I pictures included in the scene as the scene correlation measurement parameter.
  • Non-Patent Document 2 A. Kadyrov, M.M. Petrou, “The Trace Transform and Its Applications”, IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 23 no. 8 pp. 811-828 2001
  • Non-Patent Document 3 Kudo, Nishikawa, “Visual Signature”, Mitsubishi Electric Technical Report, November 2011
  • a reduced image is generated from the DC component of the DCT coefficient included in the I-picture encoded data of the MPEG-2 video bitstream, and the feature amount for the reduced image is used as a scene correlation measurement parameter.
  • a video bitstream may be decoded into image data, and similar feature amount extraction may be executed at the decoded image level. Thereby, although the processing amount increases, it is possible to extract a feature amount according to actual image data.
  • step ST2 If the recompression method identification signal given from the outside indicates that “the MPEG-2 video bitstream is recompressed as a master stream” (step ST2), the switch 3 outputs from the scene correlation measurement parameter calculation unit 1 MPEG-2 video bitstream H.264 conversion unit 4 is provided. On the other hand, if the recompression method identification signal indicates that “MPEG-2 video bitstream is recompressed as a slave stream” (step ST2), MPEG-2 output from the scene correlation measurement parameter calculation unit 1 The video bit stream is supplied to the intra-scene / inter-scene adaptive encoding unit 6.
  • the H.264 conversion unit 4 converts the MPEG-2 video bitstream into the H.264 format according to a predetermined processing procedure.
  • the video bit stream is converted into a video bit stream in accordance with the H.264 video encoding method, and the video bit stream is recorded in the data recording unit 2 as a master stream (step ST3).
  • the inter-scene prediction determination unit 5 is recorded in the data recording unit 2 based on the scene correlation measurement parameters A and B.
  • the scene correlation measurement parameter A is a parameter calculated when the recompression method identification signal indicates that “MPEG-2 video bitstream is recompressed as a master stream”
  • the scene correlation measurement parameter B is This is a parameter calculated when the recompression method identification signal indicates that “MPEG-2 video bitstream is recompressed as a slave stream”.
  • the inter-scene prediction determination unit 5 uses the scene correlation measurement parameters A and B calculated by the scene correlation measurement parameter calculation unit 1 to each scene video in the MPEG-2 video bitstream and the data recording unit 2. The correlation value with each scene image in the master stream recorded in the above is measured.
  • the inter-scene prediction determination unit 5 compares the correlation value of each scene video in the master stream with respect to the scene video for each scene video in the MPEG-2 video bitstream, and the master stream having the largest correlation value Search the scene video inside.
  • the inter-scene prediction determination unit 5 searches for a scene video in the master stream having the largest correlation value, if the correlation value is equal to or greater than a predetermined value set in advance, the encoded data of the scene video is used as a prediction reference. Decide which scene video to use. On the other hand, if the correlation value does not satisfy a predetermined value set in advance, the encoded data of the scene video in the master stream is not used for prediction reference.
  • the process of searching for a scene image in the master stream having the largest correlation value by the inter-scene prediction determination unit 5 corresponds to the matching process of the scene correlation measurement parameter A and the scene correlation measurement parameter B, and is, for example, the above-mentioned non-patent Matching processes such as “Image Signature” and “Video Signature” disclosed in Document 3 can be used.
  • the inter-scene prediction determination unit 5 finds encoded data used for prediction reference by the intra-scene / inter-scene adaptive encoding unit 6 (the scene video in the master stream having a high correlation with the scene video in the MPEG-2 video bitstream). Slave stream encoding management information indicating that “the processing target scene is encoded using encoded data of a scene video having a high correlation in the master stream” in the scene / scene The data is output to the inter-adaptive encoding unit 6 and the multiplexing unit 7.
  • the encoded data used for prediction reference by the intra-scene / inter-scene adaptive encoding unit 6 is not found (when there is no scene video in the master stream highly correlated with the scene video in the MPEG-2 video bit stream) , In the scene to be processed, the slave stream encoding management information indicating that the encoded data in the master stream is not used and the encoding is performed in the scene is performed. 6 and the multiplexing unit 7.
  • the slave stream encoding management information includes at least a master stream ID for identifying a master stream and encoded data for each scene video in the master stream among a plurality of bit stream data recorded in the data recording unit 2. It includes an inter-scene prediction instruction flag that specifies whether to use for prediction reference, a master scene ID that specifies a master scene (scene used for prediction reference) on the master stream, and the like.
  • the scene correlation measurement parameter B is unnecessary, and may be deleted from the data recording unit 2. Since the scene correlation measurement parameter A will be required later when another slave stream is generated, the scene correlation measurement parameter A may be stored in the data recording unit 2, and the recording capacity of the data recording unit 2 may be set as follows. In order to ensure, every time a slave stream is generated, the slave stream may be generated as needed. Note that, when the slave stream is generated, if the master stream is not used, the scene correlation measurement parameter A is also unnecessary, and is thus deleted from the data recording unit 2.
  • the intra-scene / inter-scene adaptive encoding unit 6 is an alternative encoding used for prediction reference by the inter-scene prediction determination unit 5 in the encoded data of the scene video unit in the master stream recorded in the data recording unit 2.
  • the MPEG-2 video bit stream is converted into a slave stream by using the encoded data for which data has not been searched and the encoded data searched by the inter-scene prediction determination unit 5 for prediction reference.
  • FIG. 6 is an explanatory diagram showing the relationship between the slave encoded data and the master stream.
  • the master stream shown in FIG. 6 is a master stream indicated by the master stream ID included in the slave stream encoding management information among one or more master streams recorded in the data recording unit 2. It is generated by the H.264 video encoding method.
  • the slave stream uses the encoded data for each scene video in the master stream and the encoded data for each scene video in the master stream according to the inter-scene prediction instruction flag included in the slave stream encoding management information.
  • the encoded data is not classified.
  • a master scene (scene used for prediction reference) on the master stream is specified by the master scene ID included in the slave stream encoding management information.
  • the stream conversion processing by the intra-scene / inter-scene adaptive encoding unit 6 will be described in detail.
  • the MPEG-2 decoding unit 11 of the intra-scene / inter-scene adaptive encoding unit 6 encodes each scene video in the MPEG-2 video bit stream.
  • a decoding process is performed on the digitized data to generate a decoded image for each scene video (step ST4).
  • the switch 12 indicates that the inter-scene prediction instruction flag included in the slave stream encoding management information output from the inter-scene prediction determination unit 5 does not use the encoded data of the scene video unit in the master stream for prediction reference.
  • Step ST5 the decoded image generated by the MPEG-2 decoding unit 11 is output to the intra-scene prediction encoding unit 14. If the inter-scene prediction instruction flag indicates that the encoded data of the scene video unit in the master stream is used for prediction reference (step ST5), the decoded image generated by the MPEG-2 decoding unit 11 is converted into the inter-scene. The result is output to the prediction encoding unit 15.
  • the inter-scene prediction reference location extraction unit 13 uses the inter-scene prediction instruction flag included in the slave stream encoding management information output from the inter-scene prediction determination unit 5 to encode the encoded data of the scene video unit in the master stream. If it indicates that it is used for prediction reference (step ST5), the encoded data of the scene video indicated by the master scene ID is selected from the master stream indicated by the master stream ID included in the slave stream encoding management information. Extract (step ST6). When the inter-scene prediction reference location extraction unit 13 extracts the encoded data of the scene video indicated by the master scene ID, the H.264 predictor H. A H.264 decoding process is performed to generate a master stream decoded image that is a decoded image of the scene video (step ST7).
  • the encoded data of the scene video extracted from the master stream may be configured such that the top picture of the scene is an IDR picture and can be randomly accessed, or the top picture of the scene is IDR.
  • You may comprise in the state which is not a picture.
  • the former has the advantage that the extraction process is simple, but has a trade-off relationship that the compression efficiency of the master stream itself is limited because IDR pictures are frequently inserted. On the contrary, since the latter is not affected by the insertion of IDR, it is possible to maintain the compression efficiency of the master stream itself, but encoding from the nearest IDR picture position at which the scene head picture can be normally decoded is possible.
  • FIG. 7 is an explanatory diagram showing processing of the intra-scene prediction encoding unit 14 and the inter-scene prediction encoding unit 15 in the intra-scene / inter-scene adaptive encoding unit 6.
  • symbols I, P, and B indicate the encoding type of each picture in the encoded data of scene video units extracted from the master stream
  • symbols I ′, P ′, and B ′ The encoding type of each picture on the slave stream corresponding to the time position of the pictures of symbols I, P, and B is shown.
  • I ′, P ′, and B ′ pictures are inter-scenes from pictures corresponding to the same time position in addition to intra-scene predictive encoding equivalent to the corresponding I, P, and B pictures on the master stream.
  • a configuration that enables prediction reference is shown. This does not impose a restriction that the present invention always performs predictive encoding processing equivalent to I, P, B pictures on I ′, P ′, B ′ pictures.
  • the B ′ picture may be configured to perform an encoding process corresponding to the P ′ picture.
  • the encoded data extracted from the master stream starts with an IDR picture (the I picture in FIG. 7 is referred to as “IDR picture”), and encodes a P picture and a B picture. It is assumed that the I ′, P ′, and B ′ pictures of the slave stream are combined with predictive encoding processing equivalent to I, P, and B pictures and inter-scene predictive encoding processing. Shall.
  • the inter-scene prediction encoding unit 15 When the inter-scene prediction encoding unit 15 receives the decoded image from the switch 12, the temporal correlation of the decoded image and the same time position in the decoded image and the master stream decoded image generated by the inter-scene prediction reference location extracting unit 13 H. and the correlation between image data of H. H.264 motion compensation processing or compression encoding processing using intra prediction is executed, and inter-scene prediction encoded data as the processing result is output (step ST8).
  • the intra-scene predictive encoding unit 14 receives the decoded image from the switch 12, the intra-scene prediction encoding unit 14 uses the encoded data in the master stream without using any encoded data. H.264 compression encoding processing is performed, and intra-scene prediction encoded data that is the encoding processing result is output (step ST9).
  • inter-scene prediction enables local selection of whether or not to use a predetermined processing unit such as a macro block or a block serving as a unit for motion compensation prediction. Configure to enable inter-prediction.
  • the prediction reference constraint and the encoded data array are expressed in H.264.
  • MVC multi-view coding
  • It can be configured as encoded data conforming to the MVC standard in which a slave stream composed of encoded data and inter-scene predictive encoded data is an enhanced view.
  • the slave video decoding unit 25 in FIG. 4 adopts an existing decoding device compliant with the standard specification instead of a completely new processing specification. Thus, a desired operation can be realized.
  • the slave stream multiplexing unit 16 multiplexes the intra-scene prediction encoded data output from the intra-scene prediction encoding unit 14 and the inter-scene prediction encoded data output from the inter-scene prediction encoding unit 15 to slave A stream is generated, and the slave stream is output to the multiplexing unit 7 (step ST10).
  • the multiplexing unit 7 multiplexes the slave stream converted by the intra-scene / inter-scene adaptive encoding unit 6 and the slave stream encoding management information output from the inter-scene prediction determination unit 5, and the multiplexing result is obtained. It records in the data recording part 2 as slave encoding data (step ST11).
  • the multiplexing unit 7 may physically record the slave stream and the slave stream encoding management information in the form of a single file or stream.
  • the slave stream encoding management information is, for example, XML.
  • the data may be managed in the form of data and recorded so as to form a link with the slave stream.
  • the slave stream is not configured to perform decoding / video playback by itself, but is configured to adaptively extract / add the encoded data of the master stream for each scene video when decoding / video playback is performed. Since the master stream is recorded in the data recording unit 2, the extraction / addition processing of the encoded data of the master stream may be executed as needed when video corresponding to the slave stream is decoded and reproduced.
  • the scene video that uses the master stream for encoding can be configured so that the encoded data of the master stream that is actually required for decoding is not included as recording data one by one.
  • the amount of data to be recorded as a slave stream can be reduced, and the recording capacity of the data recording unit 2 can be used efficiently.
  • the switch 21 selects a decoding processing procedure of encoded data recorded in the data recording unit 2 in accordance with a stream type identification signal given from the outside. That is, when the stream type identification signal given from the outside instructs the switch 21 to “decode the encoded data as a master stream” (step ST21 in FIG. 5), the switch 21 is recorded in the data recording unit 2. Is read from the master stream. It outputs to H.264 decoding part 22 (step ST22). On the other hand, when the stream type identification signal indicates that “decode the encoded data as slave encoded data” (step ST21), the slave encoded data recorded in the data recording unit 2 is read. The slave encoded data is output to the demultiplexing unit 23 (step ST23).
  • the H.264 decoding unit 22 receives the master stream from the switch 21, the H.264 decoding unit 22 applies H.264 to the master stream.
  • a playback video is generated (step ST24).
  • the demultiplexer 23 Upon receiving the slave encoded data from the switch 21, the demultiplexer 23 separates the slave encoded data into a slave stream and slave stream encoded management information, and decodes the slave stream and slave stream encoded management information into a decoded stream. It outputs to the part 24 (step ST25).
  • the decoded stream shaping unit 24 When receiving the slave stream and slave stream encoding management information from the demultiplexing unit 23, the decoded stream shaping unit 24 includes the master stream recorded in the data recording unit 2 in the slave stream encoding management information. The master stream indicated by the master stream ID is read out. In addition, the decoded stream shaping unit 24 extracts encoded data of the scene video indicated by the master scene ID included in the slave stream encoding management information from the read master stream. In the master stream of FIG. 6, the encoded data of the scene video of the shaded portion is extracted.
  • the decoded stream shaping unit 24 extracts the encoded data of the scene video indicated by the master scene ID, the scene corresponding to the scene video indicated by the master scene ID among the scene videos in the slave stream separated by the demultiplexing unit 23 is extracted. Identify the video. In the slave stream of FIG. 6, the scene video of the hatched portion is specified. Then, the decoded stream shaping unit 24 shapes the decoded stream by embedding the encoded data extracted from the master stream in the corresponding scene video position of the slave stream (step ST26).
  • the encoded data extracted from the master stream generally matches the scene start frame because the scene start frame does not coincide with the start of the scene on the slave stream side in time.
  • the time information of the encoded data corresponding to each picture (access unit) of the extracted master stream is converted and added to the slave stream.
  • the decoded stream can be formed, for example, as a stream having a master stream as a base view (an MVC (multi-view coding) format stream defined in Annex H of the H.264 recommendation).
  • the slave video decoding unit 25 When the decoded stream shaping unit 24 forms the decoded stream, the slave video decoding unit 25 performs a predetermined decoding process on the decoded stream, thereby generating a reproduction video corresponding to the slave encoded data (step). ST27).
  • Correlation measurement parameter calculation unit 1 and MPEG-2 video bitstream are converted to H.264 format.
  • H.264 that converts to a video bitstream according to the H.264 video coding scheme.
  • the encoded data of the scene video unit in the master stream recorded in the data recording unit 2 Based on the scene correlation measurement parameters A and B calculated by the H.264 conversion unit 4 and the scene correlation measurement parameter calculation unit 1, the encoded data of the scene video unit in the master stream recorded in the data recording unit 2
  • the intra-scene / inter-scene adaptive encoding unit 6 performs predictive encoding, inter-scene search for encoded data used for prediction reference instead of encoded data in units of scene images in the MPEG-2 video bitstream.
  • the intra-scene / inter-scene adaptive encoding unit 6 includes the prediction determination unit 5, and the inter-scene prediction determination unit 5 among the encoded data of the scene video unit in the master stream recorded in the data recording unit 2.
  • the encoded data for which the alternative encoded data used for prediction reference has not been searched for and the encoded data searched by the inter-scene prediction determination unit 5 are predicted. Since the MPEG-2 video bitstream is converted into a slave stream for use as a reference, image coding that can perform efficient compression without increasing the processing amount or lowering the video quality There is an effect that the device can be obtained.
  • the master stream ID included in the slave stream encoding management information separated by the demultiplexing unit 23 among the plurality of master streams recorded in the data recording unit 2 is The master stream indicated is read out, the encoded data of the scene video indicated by the master scene ID included in the slave stream encoding management information is extracted from the master stream, and the encoded data is demultiplexed by the demultiplexing unit 23 Embedded in the corresponding scene video position of the slave stream separated by the above, a decoded stream shaping unit 24 for shaping the decoded stream is provided, and the slave video decoding unit 25 converts the decoded stream formed by the decoded stream shaping unit 24 into the decoded stream.
  • a predetermined decryption process Since it is configured to generate a reproduced image corresponding to the slave encoded data, an effect of image decoding apparatus capable of decoding an image that is compressed efficiently can be obtained.
  • the video bit stream input to the image decoding apparatus is an MPEG-2 video bit stream
  • the MPEG-2 video bit stream encoding method is H.264.
  • H.264 is used for the conversion by the intra-scene / inter-scene adaptive predictive encoding process, but the video bit stream input to the image decoding apparatus is not limited to the MPEG-2 video bit stream.
  • -4 visual (ISO / IEC 14496-2) and H.264 Any video encoding format such as H.264 (ISO / IEC 14496-10) may be used.
  • the encoding method used for transform encoding is H.264. It is not limited to H.264.
  • the scene correlation measurement parameter calculated by the scene correlation measurement parameter calculation unit 1 can be configured to be defined based on the video encoding format of the video bitstream input to the image decoding apparatus.
  • As an encoded data format of a video signal corresponding to slave encoded data H.264 is used.
  • the MVC specified in the H.264 recommendation Annex H is given as an example. However, this is not limited to the MVC format, and other configurations can be obtained by following the configuration of the image encoding device and the image decoding device in the first embodiment. It can be configured to correspond to a similar standard encoding method.
  • Embodiment 2 FIG.
  • “MPEG-2 video bitstream” recompressed as a master stream or “MPEG-2 video bitstream” recompressed as a slave stream is input to the scene correlation measurement parameter calculation unit 1.
  • the “MPEG-2 video bitstream” to be recompressed as a master stream and the “MPEG-2 video bitstream” to be recompressed as a slave stream are included in a single video bitstream.
  • One video bit stream may be input to the scene correlation measurement parameter calculation unit 1.
  • FIG. 8 is a block diagram showing an image coding apparatus according to Embodiment 2 of the present invention.
  • the switch 31 indicates that the recompression method identification signal given from the outside is “a video bitstream in which the first half of the MPEG-2 video bitstream input to the scene correlation measurement parameter calculation unit 1 is recompressed as a master stream, ,
  • the MPEG-2 video bitstream output from the scene correlation measurement parameter calculation unit 1 is divided into the MPEG-2 video bitstream.
  • the first half of H. H.264 conversion section 4 is provided, and the latter half of the MPEG-2 video bit stream is applied to the intra-scene / inter-scene adaptive encoding section 6.
  • the switch 31 constitutes encoded data dividing means.
  • “MPEG-2 video bitstream” recompressed as a master stream or “MPEG-2 video bitstream” recompressed as a slave stream is input to the scene correlation measurement parameter calculation unit 1.
  • “MPEG-2 video bitstream” recompressed as a master stream and an “MPEG-2 video bitstream” recompressed as a slave stream are shown.
  • a single video bit stream is input to the scene correlation measurement parameter calculation unit 1 will be described.
  • the processing content of the switch 31 is different from that of the image decoding apparatus of FIG.
  • the switch 31 indicates that “the first half of the MPEG-2 video bitstream input to the scene correlation measurement parameter calculation unit 1 is a video bitstream that is recompressed as a master stream, and the second half is a video bit that is recompressed as a slave stream.
  • a re-compression method identification signal instructing “is a stream” is input from the outside.
  • the switch 31 converts the MPEG-2 video bitstream into the first half part.
  • the first half of the MPEG-2 video bitstream is divided into H. H.264 converter 4 and the latter half of the MPEG-2 video bitstream is supplied to the intra-scene / inter-scene adaptive encoder 6.
  • the first half of the MPEG-2 video bitstream is H.264.
  • H.264 converter 4 gives the first half of the MPEG-2 video bitstream to H.264.
  • the video bit stream is converted into a video bit stream according to the H.264 video encoding method, and the video bit stream is recorded in the data recording unit 2 as a master stream.
  • the latter half of the MPEG-2 video bitstream is provided to the intra-scene / interscene adaptive encoding unit 6 so that the latter half of the MPEG-2 video bitstream is converted into a slave stream.
  • Slave encoded data in which the slave stream encoding management information output from the inter-scene prediction determination unit 5 is multiplexed is recorded in the data recording unit 2.
  • the processing contents of the image decoding apparatus are the same as those in the first embodiment, and the encoded data of the scene video indicated by the slave stream encoding management information is extracted from the master stream recorded by the data recording unit 2. (See FIG. 10), the decoded data is formed by embedding the encoded data of the scene video at the position of the corresponding scene video of the slave stream, and the image is decoded.
  • scene video with high correlation is often included in one program, but as described above, when a master stream and a slave stream are included in a single video bit stream It is possible to efficiently search and use a scene image having a high correlation.
  • the first half of the MPEG-2 video bit stream input to the scene correlation measurement parameter calculation unit 1 is re-compressed as a master stream, and the second half is re-sold as a slave stream.
  • FIG. 11 a single MPEG-2 video bitstream in which a master stream and a slave stream are alternately repeated is shown. It may be input to the scene correlation measurement parameter calculation unit 1.
  • prediction from a scene image close in time is more efficient than prediction from a scene image distant in time, but as shown in FIG. 11, a master stream and a slave stream are alternately repeated. In this case, since the temporal distance between the master stream and the slave stream approaches, it becomes possible to generate a stream with high coding efficiency.
  • the master stream and the slave stream are alternately repeated, but as shown in FIG. 12, even if the time length of the master stream is different from the time length of the slave stream, Good.
  • the time length of the slave stream is long. However, it is three times the time length of the master stream. In this way, by making the time length of the slave stream longer than the time length of the master stream, the number of scene images to be encoded using inter-scene correlation increases, contributing to improved encoding efficiency. To do.
  • the master stream and slave stream length information may be multiplexed with the master scene encoding management information.
  • the MPEG-2 video bitstream is in the above-described form, there is a possibility that a scene change is included in the encoding target sequence. Since there is a high possibility that there is no correlation between scene images before and after the scene change, as shown in FIG. 13, if the scene image immediately after the scene change is a master stream, it is possible to prevent a decrease in encoding efficiency due to the scene change. It becomes possible. Therefore, an MPEG-2 video bitstream in which the scene video immediately after the scene change is always a master stream may be input to the scene correlation measurement parameter calculation unit 1.
  • a master stream and a slave stream are included in a single MPEG-2 video bit stream.
  • a flag indicating whether each stream included in a single MPEG-2 video bitstream is a master stream or a slave stream is signaled to the image decoding apparatus as master scene encoding management information.
  • the multiplexing unit 7 constituting the flag notification unit may record the encoding management information in the data recording unit 2 so as to signal the image decoding apparatus, or the encoding management information may be transmitted to the image decoding unit. Signaling to the image decoding apparatus may be performed by transmitting to the decoding apparatus. By doing so, it becomes possible to freely determine whether the stream is a master stream or a slave stream according to the characteristics of the video, and the coding efficiency can be improved.
  • the MPEG-2 video bit stream is converted to H.264.
  • the video bit stream is converted into a video bit stream in accordance with the H.264 video encoding method, and the video bit stream is recorded in the data recording unit 2 as a master stream.
  • the video encoding method is not limited to the H.264 video encoding method, and other video encoding methods such as MPEG-4 may be used.
  • the input bit stream is an MPEG-2 video bit stream, but this is not limited to an MPEG-2 video bit stream.
  • a video bit stream encoded by another video encoding method such as H.264 may be used as an input.
  • the image encoding device and the image decoding device edit functions for editing the master stream or slave encoded data recorded by the data recording unit 2 (for example, A man-machine interface such as a keyboard or a mouse may be provided, and a processing unit such as a CPU that edits a master stream or slave encoded data according to the operation content received by the man-machine interface may be provided.
  • a man-machine interface such as a keyboard or a mouse
  • a processing unit such as a CPU that edits a master stream or slave encoded data according to the operation content received by the man-machine interface
  • the master stream is deleted when the user operates the editing function.
  • the editing function of the image encoding device and the image decoding device displays a warning message indicating that “the operation for deleting the master stream is being performed” on the display when the operation for deleting the master stream is performed. You may do it.
  • processing such as re-encoding may be performed to prevent the decoding from becoming impossible due to deletion of the master stream.
  • FIG. 16 is a configuration diagram illustrating an example of a system in which records (an image encoding device and an image decoding device) are connected to a network.
  • the H.264 of the image encoding device which is a recorder.
  • the H.264 conversion unit 4 does not record the master stream in the data recording unit 2, but the master stream is transmitted to a server that is an external device (for example, a public server, a dedicated server provided by a service provider, privately owned via a network interface). Server), and the server may record the master stream.
  • a server that is an external device (for example, a public server, a dedicated server provided by a service provider, privately owned via a network interface). Server), and the server may record the master stream.
  • the master stream recorded in the server is set to a configuration that cannot be erased by a user operation, it is possible to prevent the stream from being undecryptable by accidentally erasing the master stream.
  • Embodiment 4 FIG.
  • the inter-scene prediction encoding unit 15 receives the decoded image from the switch 12
  • the temporal correlation of the decoded image and the master generated by the decoded image and the inter-scene prediction reference location extracting unit 13 are used.
  • H.264 motion compensation processing or compression encoding processing using intra prediction is performed, and the inter-scene prediction encoded data that is the processing result is output (in each of the I, P, and B pictures, Inter-scene prediction from pictures corresponding to the same time position is possible)
  • inter-scene prediction may be enabled only for I pictures.
  • FIG. 18 inter-scene prediction may be enabled only for I and P pictures.
  • the inter-scene prediction encoding unit 15 performs inter-scene prediction only for I pictures (see FIG. 17), and inter-scene prediction only for I and P pictures (see FIG. 18). May be switched according to the degree of scene correlation. For example, when there is a scene change in the middle of the scene, when the scene image with high correlation is only the top, inter-scene prediction is performed only for the top I picture, and when the scenes are almost the same, I, P , B-pictures are configured so that inter-scene prediction is performed, so that it is possible to reduce the processing amount without reducing the encoding efficiency.
  • FIG. 19 is a flowchart showing the processing contents of the image coding apparatus according to Embodiment 4 of the present invention. The processing contents shown in FIG. 19 will be described below.
  • a scene correlation measurement parameter calculation unit 1 receives an MPEG-2 video bitstream compressed and encoded by the MPEG-2 video encoding method
  • a scene of the MPEG-2 video bitstream is input as in the first embodiment.
  • a scene correlation measurement parameter serving as a scale for measuring the correlation with other scene video is calculated (step ST31).
  • the switch 3 similarly to the first embodiment, The MPEG-2 video bit stream output from the scene correlation measurement parameter calculation unit 1 is converted into the H.264 format. H.264 conversion unit 4 is provided.
  • the recompression method identification signal indicates that “MPEG-2 video bitstream is recompressed as a slave stream” (step ST32)
  • the scene correlation measurement parameter calculation is performed as in the first embodiment.
  • the MPEG-2 video bit stream output from the unit 1 is supplied to the intra-scene / inter-scene adaptive encoding unit 6.
  • the H.264 conversion unit 4 converts the MPEG-2 video bitstream into the H.264 format according to a predetermined processing procedure as in the first embodiment.
  • the video bit stream is converted into a video bit stream according to the H.264 video encoding method, and the video bit stream is recorded in the data recording unit 2 as a master stream (step ST33).
  • the inter-scene prediction determination unit 5 is based on the scene correlation measurement parameters A and B as in the first embodiment.
  • the intra-scene / inter-scene adaptive encoding unit 6 performs predictive encoding from the encoded data of the scene video unit in the master stream recorded in the data recording unit 2, the MPEG-2 video bit stream The encoded data used for prediction reference is searched instead of the encoded data of each scene video.
  • the encoded data search process by the inter-scene prediction determination unit 5 will be specifically described below.
  • the inter-scene prediction determination unit 5 uses each of the scene correlation measurement parameters A and B calculated by the scene correlation measurement parameter calculation unit 1 in the same manner as in the first embodiment. And a correlation value between each scene video in the master stream recorded in the data recording unit 2 is measured. Next, the inter-scene prediction determination unit 5 compares the correlation value of each scene video in the master stream with respect to the scene video for each scene video in the MPEG-2 video bitstream, and the master stream having the largest correlation value Search the scene video inside.
  • the inter-scene prediction determination unit 5 searches for a scene video in the master stream having the largest correlation value, as in the first embodiment, if the correlation value is equal to or greater than a predetermined value, the scene The encoded video data is determined as a scene video used for prediction reference. On the other hand, if the correlation value does not satisfy a predetermined value set in advance, the encoded data of the scene video in the master stream is not used for prediction reference.
  • the inter-scene prediction determination unit 5 finds encoded data used for prediction reference by the intra-scene / inter-scene adaptive encoding unit 6 (the scene video in the master stream having a high correlation with the scene video in the MPEG-2 video bitstream).
  • the slave stream indicating that “the processing target scene is encoded using the encoded data of the scene video having a high correlation in the master stream”
  • the encoding management information is output to the intra-scene / inter-scene adaptive encoding unit 6 and the multiplexing unit 7.
  • the slave stream encoding management information indicating that “the processing target scene does not use the encoded data in the master stream and performs encoding closed in the scene”.
  • the data is output to the intra-scene / inter-scene adaptive encoding unit 6 and the multiplexing unit 7.
  • the intra-scene / inter-scene adaptive encoding unit 6 is an alternative encoding used for prediction reference by the inter-scene prediction determination unit 5 in the encoded data of the scene video unit in the master stream recorded in the data recording unit 2.
  • the MPEG-2 video bit stream is converted into a slave stream by using the encoded data for which data has not been searched and the encoded data searched by the inter-scene prediction determination unit 5 for prediction reference.
  • the stream conversion processing by the intra-scene / inter-scene adaptive encoding unit 6 will be described in detail.
  • the MPEG-2 decoding unit 11 of the intra-scene / inter-scene adaptive encoding unit 6 receives the MPEG-2 video bit as in the first embodiment.
  • a decoding process is performed on the encoded data of each scene video in the stream to generate a decoded image for each scene video (step ST34).
  • the switch 12 indicates that the inter-scene prediction instruction flag included in the slave stream encoding management information output from the inter-scene prediction determination unit 5 does not use the encoded data of the scene video unit in the master stream for prediction reference.
  • the decoded image generated by the MPEG-2 decoding unit 11 is output to the intra-scene prediction encoding unit 14. If the inter-scene prediction instruction flag indicates that encoded data for each scene video in the master stream is used for prediction reference, the MPEG-2 decoding unit 11 generates the same as in the first embodiment.
  • the decoded image is output to the inter-scene prediction encoding unit 15.
  • the inter-scene prediction reference location extraction unit 13 uses the inter-scene prediction instruction flag included in the slave stream encoding management information output from the inter-scene prediction determination unit 5 to encode the encoded data of the scene video unit in the master stream. If it indicates that it is used for prediction reference, the scene video indicated by the master scene ID is selected from the master streams indicated by the master stream ID included in the slave stream encoding management information, as in the first embodiment. The encoded data is extracted. When the inter-scene prediction reference location extraction unit 13 extracts the encoded data of the scene video indicated by the master scene ID, as in the first embodiment, the H.D. H.264 decoding processing is performed to generate a master stream decoded image that is a decoded image of the scene video.
  • the inter-scene prediction encoding unit 15 receives the decoded image from the switch 12, for example, when the scene correlation is lower than the first correlation which is a preset threshold (for example, when there is a scene change in the middle of the scene) )
  • scene correlation only for I pictures step ST35
  • the inter-scene predictive encoding unit 15 for example, if the scene correlation degree is higher than the first correlation degree but lower than the second correlation degree that is a preset threshold value, the scene is limited to only I and P pictures.
  • the correlation steps STST35 and ST37
  • inter-scene prediction is performed only on the I and P pictures, and re-encoding is performed (step ST38).
  • the inter-scene prediction encoding unit 15 uses the scene correlation for all of the I, P, and B pictures (step ST37). Inter-scene prediction is performed on all of the I, P, and B pictures, and re-encoding is performed (step ST39). When the inter-scene prediction encoding unit 15 performs the inter-scene prediction and performs re-encoding, the inter-scene prediction encoding unit 15 outputs the inter-scene prediction encoded data, which is the re-encoding result, to the slave stream multiplexing unit 16.
  • the intra-scene predictive encoding unit 14 When the intra-scene predictive encoding unit 14 receives the decoded image from the switch 12, as in the first embodiment, the intra-scene predictive encoding unit 14 does not use the encoded data in the master stream at all. H.264 compression encoding processing is performed, and intra-scene prediction encoded data that is the result of the encoding processing is output.
  • the slave stream multiplexing unit 16 performs the intra-scene prediction encoded data output from the intra-scene prediction encoding unit 14 and the inter-scene prediction encoding output from the inter-scene prediction encoding unit 15.
  • the encoded data is multiplexed to generate a slave stream, and the slave stream is output to the multiplexing unit 7 (step ST40).
  • the multiplexing unit 7 converts the slave stream converted by the intra-scene / inter-scene adaptive encoding unit 6 and the slave stream encoding management information output from the inter-scene prediction determination unit 5.
  • slave encoded data is multiplexed to generate a slave stream
  • the slave stream is output to the multiplexing unit 7 (step ST40).
  • the multiplexing unit 7 converts the slave stream converted by the intra-scene / inter-scene adaptive encoding unit 6 and the slave stream encoding management information output from the inter-scene prediction determination unit 5.
  • slave encoded data is recorded in the data recording unit 2 as slave encoded data (step ST41).
  • the inter-scene prediction encoding unit 15 performs inter-scene prediction only for I pictures and inter-scene prediction only for I and P pictures. Since the processing is switched according to the degree of scene correlation, the processing is simplified by reusing stream information (mode information, motion information, etc.) before re-encoding for pictures that do not perform inter-scene prediction. There is an effect that can be realized. By performing such processing, the encoding efficiency is somewhat lowered, but the processing amount associated with re-encoding can be reduced. In particular, it is useful in a system using low power consumption and a low CPU such as an embedded device.
  • the image coding apparatus selectively applies a prediction reference using other scene video data for each scene video data in the video coded data according to the first video coding method.
  • Video encoding data conversion means for converting into video encoded data in accordance with the encoding method is provided, and efficient compression can be performed without increasing the processing amount or reducing the video quality. It is suitable for use as an image encoding device such as a device or a cloud type system.
  • Scene correlation measurement parameter calculation section (scene correlation measurement parameter calculation means) 2 Data recording section (data recording means) 3 Switch 4 H. H.264 conversion unit (first video encoded data conversion unit), 5 inter-scene prediction determination unit (scene video search unit), 6 intra-scene / inter-scene adaptive encoding unit (second video encoded data conversion unit), 7 multiplexing unit, 11 MPEG-2 decoding unit, 12 switch, 13 inter-scene prediction reference location extraction unit, 14 intra-scene prediction encoding unit, 15 inter-scene prediction encoding unit, 16 slave stream multiplexing unit, 21 switch, 22 H.
  • H.264 conversion unit first video encoded data conversion unit
  • 5 inter-scene prediction determination unit (scene video search unit)
  • 6 intra-scene / inter-scene adaptive encoding unit (second video encoded data conversion unit) 7 multiplexing unit
  • 11 MPEG-2 decoding unit 12 switch
  • 13 inter-scene prediction reference location extraction unit 14 intra-scene prediction encoding unit, 15 inter-scene prediction encoding unit, 16 slave stream multiplexing unit, 21 switch, 22 H.
  • H.264 decoding unit (first video decoding unit) 23 Demultiplexing unit (second video decoding unit) 24 Decoding stream shaping unit (second video decoding unit) 25 Slave video decoding unit (second video decoding unit) Means), 31 switch (encoded data dividing means).

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　シーン内・シーン間適応符号化部６が、データ記録部２に記録されたマスターストリーム内のシーン映像単位の符号化データの中で、シーン間予測判定部５により予測参照に用いる代わりの符号化データが検索されていない符号化データと、シーン間予測判定部５により検索された符号化データとを予測参照に用いて、そのＭＰＥＧ－２ビデオビットストリームをスレーブストリームに変換する。

Description

画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
　この発明は、画像を圧縮符号化して符号化データを伝送又は記録する画像符号化装置及び画像符号化方法と、画像符号化装置により伝送又は記録された符号化データから画像を復号する画像復号装置及び画像復号方法とに関するものである。
　従来の画像符号化装置が所定の映像シーケンスを圧縮符号化する際には、当該映像シーケンス内の空間的相関又は時間的相関を利用して予測符号化を行うことで、圧縮効率を高めるように構成されている。
　一方、近年のＨＤＤ内蔵型デジタル録画機器やクラウド型システム等においては、膨大な記録空間内において、多数の圧縮された映像ストリームが管理されるため、条件によっては、異なる映像シーケンス間でも映像の内容が類似する状況が増加する。
　このような状況下では、異なる映像シーケンス間に存在する相関も活用して、更なるデータ圧縮を行うことができる。
　以下の特許文献１には、ＨＤＤ内蔵型デジタル録画機器において、複数の異なる録画番組間で比較を行い、その比較結果に基づいて得られる差分情報を圧縮符号化することで、複数の録画番組を高い圧縮効率で記録する技術が開示されている。
特開２００６－２６２３１１号公報（段落番号［０００６］）
　従来の画像符号化装置は以上のように構成されているので、異なる映像ストリーム間で常に同一時刻のフレームの信号を比較評価尺度として差分をとり、その差分信号を圧縮符号化している。このため、映像間で類似するカットの時刻にずれがある等の場合には、効率的な圧縮を行うことができない課題があった。
　また、映像ストリーム全般にわたって画像信号レベルでの比較を実施しているため、処理量が増加してしまう課題もあった。
　この発明は上記のような課題を解決するためになされたもので、処理量の増加や映像品質の低下を招くことなく、効率的な圧縮を行うことができる画像符号化装置及び画像符号化方法を得ることを目的とする。
　また、この発明は、効率的に圧縮されている画像を復号することができる画像復号装置及び画像復号方法を得ることを目的とする。
　この発明に係る画像符号化装置は、第１の映像符号化方式に従う映像符号化データ内のシーン映像データ毎に、他のシーン映像データを用いる予測参照を選択的に適用して第２の映像符号化方式に従う映像符号化データに変換する映像符号化データ変換手段を備え、映像符号化データ変換手段は、第１の映像符号化データ内のシーン映像単位の符号化データを変換するにあたって、予測参照に用いるべき他のシーン映像単位の符号化データを探索し、探索されたシーン映像単位の符号化データを予測参照に用いるか否かを選択して、第１のシーン映像単位の符号化データを第２の映像符号化方式に従う映像符号化データに変換するとともに、探索されたシーン映像単位の符号化データを予測参照に用いたか否かを示すメタデータを生成するようにしたものである。
　この発明によれば、第１の映像符号化方式に従う映像符号化データ内のシーン映像データ毎に、他のシーン映像データを用いる予測参照を選択的に適用して第２の映像符号化方式に従う映像符号化データに変換する映像符号化データ変換手段を備え、映像符号化データ変換手段は、第１の映像符号化データ内のシーン映像単位の符号化データを変換するにあたって、予測参照に用いるべき他のシーン映像単位の符号化データを探索し、探索されたシーン映像単位の符号化データを予測参照に用いるか否かを選択して、第１のシーン映像単位の符号化データを第２の映像符号化方式に従う映像符号化データに変換するとともに、探索されたシーン映像単位の符号化データを予測参照に用いたか否かを示すメタデータを生成するように構成したので、処理量の増加や映像品質の低下を招くことなく、効率的な圧縮を行うことができる効果がある。
この発明の実施の形態１による画像符号化装置を示す構成図である。 この発明の実施の形態１による画像符号化装置の処理内容（画像符号化方法）を示すフローチャートである。 この発明の実施の形態１による画像符号化装置のシーン内・シーン間適応符号化部６を示す構成図である。 この発明の実施の形態１による画像復号装置を示す構成図である。 この発明の実施の形態１による画像復号装置の処理内容（画像符号化方法）を示すフローチャートである。 スレーブ符号化データとマスターストリームの関係を示す説明図である。 シーン内・シーン間適応符号化部６におけるシーン内予測符号化部１４及びシーン間予測符号化部１５の処理を示す説明図である。 この発明の実施の形態２による画像符号化装置を示す構成図である。 マスターストリームとして再圧縮する「ＭＰＥＧ－２ビデオビットストリーム」とスレーブストリームとして再圧縮する「ＭＰＥＧ－２ビデオビットストリーム」とが含まれている単一のビデオビットストリームを示す説明図である。 マスターストリームの中から、スレーブストリーム符号化管理情報が示すシーン映像の符号化データを抽出する様子を示す説明図である。 マスターストリームとスレーブストリームが交互に繰り返されている単一のＭＰＥＧ－２ビデオビットストリームを示す説明図である。 マスターストリームの時間的な長さと、スレーブストリームの時間的な長さとが異なっているＭＰＥＧ－２ビデオビットストリームを示す説明図である。 シーンチェンジ直後のシーン映像がマスターストリームであるＭＰＥＧ－２ビデオビットストリームを示す説明図である。 単一のＭＰＥＧ－２ビデオビットストリームに含まれている各々のストリームがマスターストリームであるのか、スレーブストリームであるのかを示すｆｌａｇを示す説明図である。 符号化中のシーン映像とは明らかに性質が異なるシーン映像が飛ばされているＭＰＥＧ－２ビデオビットストリームを示す説明図である。 レコード（画像符号化装置、画像復号装置）がネットワークに接続されているシステム例を示す構成図である。 Ｉピクチャだけの変換例を示す説明図である。 Ｉ，Ｐピクチャだけの変換例を示す説明図である。 この発明の実施の形態４による画像符号化装置の処理内容を示すフローチャートである。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　この実施の形態１では、ＭＰＥＧ－２ビデオビットストリームを受信し、そのＭＰＥＧ－２ビデオビットストリームを再圧縮して記録する機器ないしシステムにおいて、品質低下を抑制して効率的に再圧縮を行う画像符号化装置と、当該画像符号化装置から出力された符号化データに基づいて映像信号を再生する画像復号装置について説明する。
　図１はこの発明の実施の形態１による画像符号化装置を示す構成図である。
　図１において、シーン相関測定パラメータ算出部１は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、ＭＰＥＧ－２映像符号化方式によって圧縮符号化されたＭＰＥＧ－２ビデオビットストリーム（第１の映像符号化データ）を入力すると、そのＭＰＥＧ－２ビデオビットストリームに含まれている各シーンの映像（以下、「シーン映像」と称する）毎に、他のシーン映像との相関を測定する尺度となるシーン相関測定パラメータを算出する処理を実施する。
　ここで、シーンは、所定の時間の単位でもよいし、ＭＰＥＧ－２ビデオビットストリームのデータ構造を規定するＧＯＰ（Ｇｒｏｕｐ　Ｏｆ　Ｐｉｃｔｕｒｅ）、即ち、ＭＰＥＧ－２ビデオビットストリームに対してランダムアクセスが可能なデータ単位（２つのＩピクチャ間に含まれる全ピクチャデータ）などでもよい。
　なお、シーン相関測定パラメータ算出部１はシーン相関測定パラメータ算出手段を構成している。
　データ記録部２は例えばハードディスクやＳＳＤなどの記録媒体から構成されており、シーン相関測定パラメータ算出部１により算出されたシーン相関測定パラメータを記録する。
　また、データ記録部２は後述するＨ．２６４変換部４により変換されたマスターストリーム（第２の映像符号化データ）を記録するとともに、後述する多重化部７から出力されたスレーブ符号化データなどを記録する。
　スレーブ符号化データの詳細は後述するが、シーン内・シーン間適応符号化部６により変換されたスレーブストリーム（第３の映像符号化データ）の中で、シーン間予測判定部５により検索された符号化データを用いずに変換されたシーン映像単位の符号化データ（シーン内予測符号化データ）と、シーン間予測判定部５により検索された符号化データなどを示すスレーブストリーム符号化管理情報とから構成されている。
　なお、データ記録部２はデータ記録手段を構成している。
　スイッチ３は外部から与えられる再圧縮方法識別信号が「ＭＰＥＧ－２ビデオビットストリームをマスターストリームとして再圧縮する」旨を指示している場合、シーン相関測定パラメータ算出部１から出力されたＭＰＥＧ－２ビデオビットストリームをＨ．２６４変換部４に与え、その再圧縮方法識別信号が「ＭＰＥＧ－２ビデオビットストリームをスレーブストリームとして再圧縮する」旨を指示している場合、シーン相関測定パラメータ算出部１から出力されたＭＰＥＧ－２ビデオビットストリームをシーン内・シーン間適応符号化部６に与える処理を実施する。
　Ｈ．２６４変換部４は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、スイッチ３からＭＰＥＧ－２ビデオビットストリームが与えられると、そのＭＰＥＧ－２ビデオビットストリームを所定の処理手順によってＨ．２６４映像符号化方式に従うビデオビットストリームに変換し、そのビデオビットストリームをマスターストリームとしてデータ記録部２に記録する処理を実施する。なお、Ｈ．２６４変換部４は第１の映像符号化データ変換手段を構成している。
　シーン間予測判定部５は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、シーン相関測定パラメータ算出部１により算出されたシーン相関測定パラメータ（相関測定パラメータＡ，相関測定パラメータＢ）に基づいて、データ記録部２に記録されているマスターストリーム内のシーン映像単位の符号化データの中から、シーン内・シーン間適応符号化部６が予測符号化する際に、ＭＰＥＧ－２ビデオビットストリーム内のシーン映像単位の符号化データの代わりに予測参照に用いる符号化データを検索する処理を実施する。なお、シーン間予測判定部５は符号化データ検索手段を構成している。
　シーン相関測定パラメータＡは、再圧縮方法識別信号が「ＭＰＥＧ－２ビデオビットストリームをマスターストリームとして再圧縮する」旨を指示している際に算出されたパラメータであり、シーン相関測定パラメータＢは、再圧縮方法識別信号が「ＭＰＥＧ－２ビデオビットストリームをスレーブストリームとして再圧縮する」旨を指示している際に算出されたパラメータである。
　即ち、シーン間予測判定部５はシーン相関測定パラメータ算出部１により算出されたシーン相関測定パラメータＡ，Ｂを用いて、ＭＰＥＧ－２ビデオビットストリーム内の各々のシーン映像と、データ記録部２に記録されているマスターストリーム内の各々のシーン映像との相関値を測定するとともに、ＭＰＥＧ－２ビデオビットストリーム内の各々のシーン映像に対して、相関値が最高のマスターストリーム内のシーン映像を特定し、その相関値が所定値以上であれば、そのシーン映像の符号化データを予測参照に用いる符号化データに決定する処理を実施する。
　また、シーン間予測判定部５は予測参照に用いる符号化データが見つかれば（相関が高いシーン映像が存在する場合）、「当該処理対象のシーンでは、マスターストリーム内の相関が高いシーン映像の符号化データを利用して符号化を行う」旨を示し、予測参照に用いる符号化データが見つからなければ（相関が高いシーン映像の符号化データが存在しない場合）、「当該処理対象のシーンでは、マスターストリーム内の符号化データを使用せず、シーン内に閉じた符号化を行う」旨を示すスレーブストリーム符号化管理情報をシーン内・シーン間適応符号化部６及び多重化部７に出力する処理を実施する。
　なお、スレーブストリーム符号化管理情報には、少なくとも、データ記録部２に記録される複数のビットストリームデータのうち、マスターストリームを特定するマスターストリームＩＤ、マスターストリーム内のシーン映像単位の符号化データを予測参照に用いるか否かを特定するシーン間予測指示フラグ、マスターストリーム上でのマスターシーン（予測参照に用いるシーン）を特定するマスターシーンＩＤなどを含んでいる。
　シーン内・シーン間適応符号化部６は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、データ記録部２に記録されたマスターストリーム内のシーン映像単位の符号化データの中で、シーン間予測判定部５により予測参照に用いる代わりの符号化データが検索されていない符号化データと、シーン間予測判定部５により検索された符号化データとを予測参照に用いて、そのＭＰＥＧ－２ビデオビットストリームをスレーブストリームに変換する処理を実施する。なお、シーン内・シーン間適応符号化部６は第２の映像符号化データ変換手段を構成している。
　多重化部７は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、シーン内・シーン間適応符号化部６により変換されたスレーブストリームと、シーン間予測判定部５から出力されたスレーブストリーム符号化管理情報とを多重化し、その多重化結果をスレーブ符号化データとしてデータ記録部２に記録する処理を実施する。
　図１の例では、画像符号化装置の構成要素であるシーン相関測定パラメータ算出部１、データ記録部２、スイッチ３、Ｈ．２６４変換部４、シーン間予測判定部５、シーン内・シーン間適応符号化部６及び多重化部７のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像符号化装置がコンピュータで構成されていてもよい。
　画像符号化装置がコンピュータで構成されている場合、データ記録部２をコンピュータのメモリ上に構成するとともに、シーン相関測定パラメータ算出部１、スイッチ３、Ｈ．２６４変換部４、シーン間予測判定部５、シーン内・シーン間適応符号化部６及び多重化部７の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
　図２はこの発明の実施の形態１による画像符号化装置の処理内容（画像符号化方法）を示すフローチャートである。
　図３はこの発明の実施の形態１による画像符号化装置のシーン内・シーン間適応符号化部６を示す構成図である。
　図３において、ＭＰＥＧ－２復号部１１はスイッチ３からＭＰＥＧ－２ビデオビットストリームが与えられると、そのＭＰＥＧ－２ビデオビットストリーム内の各々のシーン映像の符号化データに対する復号処理を実施して、シーン映像単位に復号画像を生成する処理を実施する。
　スイッチ１２はシーン間予測判定部５から出力されたスレーブストリーム符号化管理情報に含まれているシーン間予測指示フラグが、マスターストリーム内のシーン映像単位の符号化データを予測参照に用いない旨を示していれば、ＭＰＥＧ－２復号部１１により生成された復号画像をシーン内予測符号化部１４に出力し、そのシーン間予測指示フラグが、マスターストリーム内のシーン映像単位の符号化データを予測参照に用いる旨を示していれば、ＭＰＥＧ－２復号部１１により生成された復号画像をシーン間予測符号化部１５に出力する処理を実施する。
　シーン間予測参照箇所抽出部１３はシーン間予測判定部５から出力されたスレーブストリーム符号化管理情報に含まれているシーン間予測指示フラグが、マスターストリーム内のシーン映像単位の符号化データを予測参照に用いる旨を示していれば、そのスレーブストリーム符号化管理情報に含まれているマスターストリームＩＤが示すマスターストリームの中から、マスターシーンＩＤが示すシーン映像の符号化データを抽出し、その符号化データに対するＨ．２６４復号処理を実施して、そのシーン映像の復号画像（以下、「マスターストリーム復号画像」と称する）を生成する処理を実施する。
　シーン内予測符号化部１４はマスターストリーム内の符号化データを一切使用することなく、スイッチ１２から出力された復号画像に対してＨ．２６４圧縮符号化処理を実施し、その符号化処理結果であるシーン内予測符号化データを出力する処理を実施する。
　シーン間予測符号化部１５はスイッチ１２から出力された復号画像の時間相関と、その復号画像とシーン間予測参照箇所抽出部１３により生成されたマスターストリーム復号画像における同一時刻位置の画像データ間の相関とを利用して、Ｈ．２６４の動き補償処理ないしイントラ予測を用いた圧縮符号化処理を実行して、その処理結果であるシーン間予測符号化データを出力する処理を実施する。
　スレーブストリーム多重化部１６はシーン内予測符号化部１４から出力されたシーン内予測符号化データとシーン間予測符号化部１５から出力されたシーン間予測符号化データを多重化してスレーブストリームを生成し、そのスレーブストリームを多重化部７に出力する処理を実施する。
　図４はこの発明の実施の形態１による画像復号装置を示す構成図である。
　図４において、データ記録部２は図１の画像符号化装置のデータ記録部２と同じ記録部である。
　スイッチ２１は外部から与えられるストリーム種別識別信号が「当該符号化データをマスターストリームとして復号する」旨を指示している場合、データ記録部２に記録されているマスターストリームを読み込んでＨ．２６４復号部２２に出力し、そのストリーム種別識別信号が「当該符号化データをスレーブ符号化データとして復号する」旨を指示している場合、データ記録部２に記録されているスレーブ符号化データを多重分離部２３に出力する処理を実施する。
　Ｈ．２６４復号部２２は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、スイッチ２１からマスターストリームを受けると、そのマスターストリームに対してＨ．２６４映像符号化方式に従う所定の復号処理を実施することで、再生映像を生成する処理を実施する。なお、Ｈ．２６４復号部２２は第１の映像復号手段を構成している。
　多重分離部２３は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、スイッチ２１からスレーブ符号化データを受けると、そのスレーブ符号化データをスレーブストリームとスレーブストリーム符号化管理情報に分離する処理を実施する。
　復号ストリーム成型部２４は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、データ記録部２に記録されている複数のマスターストリームのうち、多重分離部２３により分離されたスレーブストリーム符号化管理情報に含まれているマスターストリームＩＤが示すマスターストリームを読み出すとともに、そのマスターストリームの中から、そのスレーブストリーム符号化管理情報に含まれているマスターシーンＩＤが示すシーン映像の符号化データを抽出し、その符号化データを多重分離部２３により分離されたスレーブストリームの対応するシーン映像の位置に埋め込むことで、復号ストリームを成型する処理を実施する。
　スレーブ映像復号部２５は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、復号ストリーム成型部２４により成型された復号ストリームに対して、所定の復号処理を実施することで、スレーブ符号化データに対応する再生映像を生成する処理を実施する。
　なお、多重分離部２３、復号ストリーム成型部２４及びスレーブ映像復号部２５から第２の映像復号手段が構成されている。
　図４の例では、画像復号装置の構成要素であるデータ記録部２、スイッチ２１、Ｈ．２６４復号部２２、多重分離部２３、復号ストリーム成型部２４及びスレーブ映像復号部２５のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像復号装置がコンピュータで構成されていてもよい。
　画像復号装置がコンピュータで構成されている場合、データ記録部２をコンピュータのメモリ上に構成するとともに、スイッチ２１、Ｈ．２６４復号部２２、多重分離部２３、復号ストリーム成型部２４及びスレーブ映像復号部２５の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
　図５はこの発明の実施の形態１による画像復号装置の処理内容（画像符号化方法）を示すフローチャートである。
　次に動作について説明する。
　最初に、図１の画像符号化装置の処理内容を説明する。
　シーン相関測定パラメータ算出部１は、ＭＰＥＧ－２映像符号化方式によって圧縮符号化されたＭＰＥＧ－２ビデオビットストリームを入力すると、そのＭＰＥＧ－２ビデオビットストリームのシーン映像毎に、他のシーン映像との相関を測定する尺度となるシーン相関測定パラメータを算出する（図２のステップＳＴ１）。
　ここで、シーンは、所定の時間の単位でもよいし、ＭＰＥＧ－２ビデオビットストリームのデータ構造を規定するＧＯＰ、即ち、ＭＰＥＧ－２ビデオビットストリームに対してランダムアクセスが可能なデータ単位（２つのＩピクチャ間に含まれる全ピクチャデータ）などでもよい。
　シーン相関測定パラメータ算出部１により算出されたシーン映像毎のシーン相関測定パラメータは、データ記録部２に記録される。
　ここで、シーン相関測定パラメータの具体的な事例について述べる。
　シーン相関測定パラメータは、「２つのシーンの間の類似度」を測ることを可能とする量を用いるものである。
　例えば、ＭＰＥＧ－２ビデオビットストリームのＩピクチャ符号化データに含まれるＤＣＴ係数のＤＣ成分から縮小画像を構成して、その縮小画像の輝度平均や輝度分散などのテクスチャ特徴、あるいは、その縮小画像の色平均や色分散などの色特徴を示す量を生成して、そのテクスチャ特徴又は色特徴を示す量をシーン相関測定パラメータとして利用することが考えられる。
　また、そのＤＣ成分からなる縮小画像に対して、以下の非特許文献１に開示されている「Ｉｍａｇｅ　Ｓｉｇｎａｔｕｒｅ」を生成し、「Ｉｍａｇｅ　Ｓｉｇｎａｔｕｒｅ」をシーン相関測定パラメータとして利用するようにしてもよい。
［非特許文献１］
　西川，Ｐ．Ｂｒａｓｎｅｔｔ他、“ＭＰＥＧ－７　技術　Ｉｍａｇｅ　Ｓｉｇｎａｔｕｒｅ：画像同定技術”、三菱電機技報２００８年１２月号
　「Ｉｍａｇｅ　Ｓｉｇｎａｔｕｒｅ」は、以下の非特許文献２に開示されているトレース変換を用いて、輝度情報を空間的周波数で表現した量であり、画像の同一性を評価するパラメータとして国際標準化されている。
　具体的には、シーン先頭の「Ｉｍａｇｅ　Ｓｉｇｎａｔｕｒｅ」、または、シーン内に含まれる複数のＩピクチャの縮小画像に対応する「Ｉｍａｇｅ　Ｓｉｇｎａｔｕｒｅ」の集合をシーン相関測定パラメータとして利用することが考えられる。
［非特許文献２］
　Ａ． Ｋａｄｙｒｏｖ、 Ｍ． Ｐｅｔｒｏｕ、 “Ｔｈｅ　Ｔｒａｃｅ　Ｔｒａｎｓｆｏｒｍ　ａｎｄ　Ｉｔｓ　Ａｐｐｌｉｃａｔｉｏｎｓ”、ＩＥＥＥ　Ｔｒａｎｓ．Ｐａｔｔｅｒｎ　Ａｎａｌｙｓｉｓ　ａｎｄ　Ｍａｃｈｉｎｅ　Ｉｎｔｅｌｌｉｇｅｎｃｅ、ｖｏｌ．２３　ｎｏ．８　ｐｐ．８１１－８２８　２００１
　また、以下の非特許文献３に開示される「Ｖｉｄｅｏ　Ｓｉｇｎａｔｕｒｅ」を生成し、「Ｖｉｄｅｏ　Ｓｉｇｎａｔｕｒｅ」をシーン相関測定パラメータとして利用するようにしてもよい。
［非特許文献３］
　工藤、西川、“画像同定技術（Ｖｉｓｕａｌ　Ｓｉｇｎａｔｕｒｅ）”、 三菱電機技報２０１１年１１月号
　上記のいずれにおいても、ＭＰＥＧ－２ビデオビットストリームのＩピクチャ符号化データに含まれるＤＣＴ係数のＤＣ成分から縮小画像を生成して、その縮小画像に対する特徴量をシーン相関測定パラメータとしているが、ＭＰＥＧ－２ビデオビットストリームを画像データに復号して、復号画像レベルで同様の特徴量の抽出を実行するようにしてもよい。
　これにより、処理量は増加するが、実際の画像データに即した特徴量を抽出することができる。
　スイッチ３は、外部から与えられる再圧縮方法識別信号が「ＭＰＥＧ－２ビデオビットストリームをマスターストリームとして再圧縮する」旨を指示していれば（ステップＳＴ２）、シーン相関測定パラメータ算出部１から出力されたＭＰＥＧ－２ビデオビットストリームをＨ．２６４変換部４に与える。
　一方、その再圧縮方法識別信号が「ＭＰＥＧ－２ビデオビットストリームをスレーブストリームとして再圧縮する」旨を指示していれば（ステップＳＴ２）、シーン相関測定パラメータ算出部１から出力されたＭＰＥＧ－２ビデオビットストリームをシーン内・シーン間適応符号化部６に与える。
　Ｈ．２６４変換部４は、スイッチ３からＭＰＥＧ－２ビデオビットストリームが与えられると、そのＭＰＥＧ－２ビデオビットストリームを所定の処理手順によってＨ．２６４映像符号化方式に従うビデオビットストリームに変換し、そのビデオビットストリームをマスターストリームとしてデータ記録部２に記録する（ステップＳＴ３）。
　シーン間予測判定部５は、シーン相関測定パラメータ算出部１がシーン相関測定パラメータＡ又はシーン相関測定パラメータＢを算出すると、そのシーン相関測定パラメータＡ，Ｂに基づいて、データ記録部２に記録されているマスターストリーム内のシーン映像単位の符号化データの中から、シーン内・シーン間適応符号化部６が予測符号化する際に、ＭＰＥＧ－２ビデオビットストリーム内のシーン映像単位の符号化データの代わりに予測参照に用いる符号化データを検索する。
　シーン相関測定パラメータＡは、再圧縮方法識別信号が「ＭＰＥＧ－２ビデオビットストリームをマスターストリームとして再圧縮する」旨を指示している際に算出されたパラメータであり、シーン相関測定パラメータＢは、再圧縮方法識別信号が「ＭＰＥＧ－２ビデオビットストリームをスレーブストリームとして再圧縮する」旨を指示している際に算出されたパラメータである。
　以下、シーン間予測判定部５による符号化データの検索処理を具体的に説明する。
　まず、シーン間予測判定部５は、シーン相関測定パラメータ算出部１により算出されたシーン相関測定パラメータＡ，Ｂを用いて、ＭＰＥＧ－２ビデオビットストリーム内の各々のシーン映像と、データ記録部２に記録されているマスターストリーム内の各々のシーン映像との相関値を測定する。
　次に、シーン間予測判定部５は、ＭＰＥＧ－２ビデオビットストリーム内のシーン映像毎に、当該シーン映像に対するマスターストリーム内の各々のシーン映像の相関値を比較し、最も相関値が大きいマスターストリーム内のシーン映像を探索する。
　シーン間予測判定部５は、最も相関値が大きいマスターストリーム内のシーン映像を探索すると、その相関値が予め設定している所定値以上であれば、そのシーン映像の符号化データを予測参照に用いるシーン映像に決定する。
　一方、その相関値が予め設定している所定値に満たなければ、そのマスターストリーム内のシーン映像の符号化データを予測参照に用いないものとする。
　なお、シーン間予測判定部５による最も相関値が大きいマスターストリーム内のシーン映像を探索する処理は、シーン相関測定パラメータＡとシーン相関測定パラメータＢのマッチング処理に対応し、例えば、上記の非特許文献３に開示されている「Ｉｍａｇｅ　Ｓｉｇｎａｔｕｒｅ」や「Ｖｉｄｅｏ　Ｓｉｇｎａｔｕｒｅ」などのマッチング処理を利用することができる。
　シーン間予測判定部５は、シーン内・シーン間適応符号化部６が予測参照に用いる符号化データが見つかれば（ＭＰＥＧ－２ビデオビットストリーム内のシーン映像と相関が高いマスターストリーム内のシーン映像が存在する場合）、「当該処理対象のシーンでは、マスターストリーム内の相関が高いシーン映像の符号化データを利用して符号化を行う」旨を示すスレーブストリーム符号化管理情報をシーン内・シーン間適応符号化部６及び多重化部７に出力する。
　一方、シーン内・シーン間適応符号化部６が予測参照に用いる符号化データが見つからなければ（ＭＰＥＧ－２ビデオビットストリーム内のシーン映像と相関が高いマスターストリーム内のシーン映像が存在しない場合）、「当該処理対象のシーンでは、マスターストリーム内の符号化データを使用せず、シーン内に閉じた符号化を行う」旨を示すスレーブストリーム符号化管理情報をシーン内・シーン間適応符号化部６及び多重化部７に出力する。
　なお、スレーブストリーム符号化管理情報には、少なくとも、データ記録部２に記録される複数のビットストリームデータのうち、マスターストリームを特定するマスターストリームＩＤ、マスターストリーム内のシーン映像単位の符号化データを予測参照に用いるか否かを特定するシーン間予測指示フラグ、マスターストリーム上でのマスターシーン（予測参照に用いるシーン）を特定するマスターシーンＩＤなどを含んでいる。
　シーン間予測判定部５からスレーブストリーム符号化管理情報が出力された後は、シーン相関測定パラメータＢは不要になるため、データ記録部２から消去するように構成してもよい。
　シーン相関測定パラメータＡについては、後々、別のスレーブストリームを生成する際に必要となるため、データ記録部２に保存しておくように構成してもよいし、データ記録部２の記録容量を確保するため、スレーブストリームを生成する度に、マスターストリームから随時生成するように構成してもよい。
　なお、スレーブストリームを生成する際に、マスターストリームを使用しないようにする場合には、シーン相関測定パラメータＡも不要になるため、データ記録部２から消去するように構成する。
　シーン内・シーン間適応符号化部６は、データ記録部２に記録されたマスターストリーム内のシーン映像単位の符号化データの中で、シーン間予測判定部５により予測参照に用いる代わりの符号化データが検索されていない符号化データと、シーン間予測判定部５により検索された符号化データとを予測参照に用いて、そのＭＰＥＧ－２ビデオビットストリームをスレーブストリームに変換する。
　ここで、図６はスレーブ符号化データとマスターストリームの関係を示す説明図である。
　図６に示すマスターストリームは、データ記録部２に記録されている１以上のマスターストリームのうち、スレーブストリーム符号化管理情報に含まれているマスターストリームＩＤが示すマスターストリームであり、Ｈ．２６４映像符号化方式によって生成されている。
　スレーブストリームは、スレーブストリーム符号化管理情報に含まれているシーン間予測指示フラグによって、マスターストリーム内のシーン映像単位の符号化データと、マスターストリーム内のシーン映像単位の符号化データが代わりに使用されない符号化データとに分類される。
　また、スレーブストリーム符号化管理情報に含まれているマスターシーンＩＤによって、マスターストリーム上でのマスターシーン（予測参照に用いるシーン）が特定される。
　以下、シーン内・シーン間適応符号化部６によるストリームの変換処理を具体的に説明する。
　まず、シーン内・シーン間適応符号化部６のＭＰＥＧ－２復号部１１は、スイッチ３からＭＰＥＧ－２ビデオビットストリームが与えられると、そのＭＰＥＧ－２ビデオビットストリーム内の各々のシーン映像の符号化データに対する復号処理を実施して、シーン映像単位に復号画像を生成する（ステップＳＴ４）。
　スイッチ１２は、シーン間予測判定部５から出力されたスレーブストリーム符号化管理情報に含まれているシーン間予測指示フラグが、マスターストリーム内のシーン映像単位の符号化データを予測参照に用いない旨を示していれば（ステップＳＴ５）、ＭＰＥＧ－２復号部１１により生成された復号画像をシーン内予測符号化部１４に出力する。
　そのシーン間予測指示フラグが、マスターストリーム内のシーン映像単位の符号化データを予測参照に用いる旨を示していれば（ステップＳＴ５）、ＭＰＥＧ－２復号部１１により生成された復号画像をシーン間予測符号化部１５に出力する。
　シーン間予測参照箇所抽出部１３は、シーン間予測判定部５から出力されたスレーブストリーム符号化管理情報に含まれているシーン間予測指示フラグが、マスターストリーム内のシーン映像単位の符号化データを予測参照に用いる旨を示していれば（ステップＳＴ５）、そのスレーブストリーム符号化管理情報に含まれているマスターストリームＩＤが示すマスターストリームの中から、マスターシーンＩＤが示すシーン映像の符号化データを抽出する（ステップＳＴ６）。
　シーン間予測参照箇所抽出部１３は、マスターシーンＩＤが示すシーン映像の符号化データを抽出すると、その符号化データに対するＨ．２６４復号処理を実施して、そのシーン映像の復号画像であるマスターストリーム復号画像を生成する（ステップＳＴ７）。
　この際、マスターストリームから抽出されるシーン映像の符号化データは、シーン先頭のピクチャがＩＤＲピクチャであって、ランダムアクセスが可能なデータとして構成するようにしてもよいし、シーン先頭のピクチャがＩＤＲピクチャでない状態で構成してもよい。
　前者は抽出処理が簡易となる利点があるが、ＩＤＲピクチャを頻繁に挿入することになるため、マスターストリーム自体の圧縮効率が制限されるというトレードオフの関係がある。
　後者は逆に、ＩＤＲ挿入の影響を受けないので、マスターストリーム自体の圧縮効率を維持することができるが、シーン先頭のピクチャを正常に復号可能となる最も時間的に近いＩＤＲピクチャ位置から符号化データを抽出して復号するなど、抽出処理が複雑になるというトレードオフの関係がある。これらは実際の装置の要求条件に基づいて構成することが可能である。
　ここで、図７はシーン内・シーン間適応符号化部６におけるシーン内予測符号化部１４及びシーン間予測符号化部１５の処理を示す説明図である。
　図７において、記号Ｉ，Ｐ，Ｂは、マスターストリームから抽出されるシーン映像単位の符号化データの中の各ピクチャの符号化タイプを示しており、記号Ｉ’，Ｐ’，Ｂ’は、記号Ｉ，Ｐ，Ｂのピクチャの時刻位置に対応するスレーブストリーム上の各ピクチャの符号化タイプを示している。
　図７では、Ｉ’，Ｐ’，Ｂ’ピクチャは、マスターストリーム上の対応するＩ，Ｐ，Ｂピクチャと等価なシーン内予測符号化に加えて、同一時刻位置に対応するピクチャからのシーン間予測参照も可能とする構成を図示している。
　このことは、本発明が、Ｉ’，Ｐ’，Ｂ’ピクチャに対して、Ｉ，Ｐ，Ｂピクチャと常に等価な予測符号化処理を実行する制約を課すものではない。
　例えば、Ｂ’ピクチャでは、Ｐ’ピクチャに相当する符号化処理を行うように構成してもよい。
　この実施の形態１では、説明の便宜上、マスターストリーム上から抽出される符号化データは、ＩＤＲピクチャから始まり（図７のＩピクチャは「ＩＤＲピクチャ」とする）、Ｐピクチャ及びＢピクチャの符号化データを用いて符号化されているものとし、スレーブストリームのＩ’，Ｐ’，Ｂ’ピクチャは、Ｉ，Ｐ，Ｂピクチャと等価な予測符号化処理とシーン間予測符号化処理とを併用するものとする。
　シーン間予測符号化部１５は、スイッチ１２から復号画像を受けると、その復号画像の時間相関と、その復号画像とシーン間予測参照箇所抽出部１３により生成されたマスターストリーム復号画像における同一時刻位置の画像データ間の相関とを利用して、Ｈ．２６４の動き補償処理ないしイントラ予測を用いた圧縮符号化処理を実行して、その処理結果であるシーン間予測符号化データを出力する（ステップＳＴ８）。
　シーン内予測符号化部１４は、スイッチ１２から復号画像を受けると、マスターストリーム内の符号化データを一切使用することなく、その復号画像に対してＨ．２６４圧縮符号化処理を実施し、その符号化処理結果であるシーン内予測符号化データを出力する（ステップＳＴ９）。
　ここで、Ｉ’ピクチャについては、スレーブ映像内の時間相関を使用せずに、Ｉピクチャからのシーン間相関を利用して予測符号化を行う。
　これにより、スレーブストリーム上でのランダムアクセス性を維持しながら、符号化効率を高める効果が得られる。
　なお、シーン間予測は、マクロブロック、ないし動き補償予測の単位となるブロックなど、所定の処理単位で使用するかしないかを局所的に選択可能とし、予測効率が高まる画像上の局所箇所のみシーン間予測を利用可能とするように構成する。
　この予測参照の制約と符号化データ配列とを、Ｈ．２６４の勧告ＡｎｎｅｘＨに規定されるＭＶＣ（マルチビュー符号化）仕様に従うように構成することにより、シーン間予測参照箇所抽出部１３により抽出されるマスターストリームの符号化データをベースビューとして、シーン内予測符号化データとシーン間予測符号化データとからなるスレーブストリームをエンハンスビューとするＭＶＣ規格に従う符号化データとして構成することができる。
　このように構成することによって、スレーブ符号化データに対応する映像信号を再生するために、図４のスレーブ映像復号部２５をまったく新しい処理仕様でなく、標準仕様に準拠した既存の復号装置を採用して所望の動作を実現することが可能になる。
　スレーブストリーム多重化部１６は、シーン内予測符号化部１４から出力されたシーン内予測符号化データと、シーン間予測符号化部１５から出力されたシーン間予測符号化データとを多重化してスレーブストリームを生成し、そのスレーブストリームを多重化部７に出力する（ステップＳＴ１０）。
　多重化部７は、シーン内・シーン間適応符号化部６により変換されたスレーブストリームと、シーン間予測判定部５から出力されたスレーブストリーム符号化管理情報とを多重化し、その多重化結果をスレーブ符号化データとしてデータ記録部２に記録する（ステップＳＴ１１）。
　ここで、多重化部７は、スレーブストリームとスレーブストリーム符号化管理情報を、物理的に１つのファイルないしストリーム等の形式で記録してもよいし、スレーブストリーム符号化管理情報は、例えば、ＸＭＬ形式のデータ等で管理し、スレーブストリームとのリンクを構成するように記録してもよい。
　スレーブストリームは、それ単体で復号・映像再生を行う形式とせず、復号・映像再生を行う際、マスターストリームの符号化データをシーン映像毎に、適応的に抽出・追加するように構成する。
　マスターストリームはデータ記録部２に記録されているので、マスターストリームの符号化データの抽出・追加処理は、スレーブストリームに対応する映像を復号再生する場合に随時実行するように構成すればよい。
　これによって、マスターストリームを符号化に使用するシーン映像については、実際には復号に必要になるマスターストリームの符号化データを逐一記録データとして含まないように構成できるため、品質劣化を伴うことなく、スレーブストリームとして記録すべきデータ量を削減することができ、データ記録部２の記録容量を効率的に使用することができる。
　次に、図４の画像復号装置の処理内容を説明する。
　まず、スイッチ２１は、外部から与えられるストリーム種別識別信号にしたがってデータ記録部２に記録されている符号化データの復号処理手順の選択を行う。
　即ち、スイッチ２１は、外部から与えられるストリーム種別識別信号が「当該符号化データをマスターストリームとして復号する」旨を指示している場合（図５のステップＳＴ２１）、データ記録部２に記録されているマスターストリームを読み込んで、そのマスターストリームをＨ．２６４復号部２２に出力する（ステップＳＴ２２）。
　一方、そのストリーム種別識別信号が「当該符号化データをスレーブ符号化データとして復号する」旨を指示している場合（ステップＳＴ２１）、データ記録部２に記録されているスレーブ符号化データを読み込んで、そのスレーブ符号化データを多重分離部２３に出力する（ステップＳＴ２３）。
　Ｈ．２６４復号部２２は、スイッチ２１からマスターストリームを受けると、そのマスターストリームに対して、Ｈ．２６４映像符号化方式に従う所定の復号処理を実施することで、再生映像を生成する（ステップＳＴ２４）。
　多重分離部２３は、スイッチ２１からスレーブ符号化データを受けると、そのスレーブ符号化データをスレーブストリームとスレーブストリーム符号化管理情報に分離し、そのスレーブストリームとスレーブストリーム符号化管理情報を復号ストリーム成型部２４に出力する（ステップＳＴ２５）。
　復号ストリーム成型部２４は、多重分離部２３からスレーブストリームとスレーブストリーム符号化管理情報を受けると、データ記録部２に記録されている複数のマスターストリームのうち、そのスレーブストリーム符号化管理情報に含まれているマスターストリームＩＤが示すマスターストリームの読み出しを行う。
　また、復号ストリーム成型部２４は、読み出したマスターストリームの中から、そのスレーブストリーム符号化管理情報に含まれているマスターシーンＩＤが示すシーン映像の符号化データを抽出する。図６のマスターストリームにおいて、斜線が施されている部分のシーン映像の符号化データを抽出する。
　復号ストリーム成型部２４は、マスターシーンＩＤが示すシーン映像の符号化データを抽出すると、多重分離部２３により分離されたスレーブストリーム内のシーン映像のうち、マスターシーンＩＤが示すシーン映像に対応するシーン映像を特定する。図６のスレーブストリームにおいて、斜線が施されている部分のシーン映像を特定する。
　そして、復号ストリーム成型部２４は、マスターストリームから抽出した符号化データをスレーブストリームの対応するシーン映像の位置に埋め込むことにより、復号ストリームを成型する（ステップＳＴ２６）。
　ここで、マスターストリームから抽出する符号化データについては、図６に示すように、一般には、シーン先頭フレームが、スレーブストリーム側の当該シーンの先頭と時間的に合致していないため、それらが整合するように、抽出したマスターストリームの各ピクチャ（アクセスユニット）に対応する符号化データの時刻情報を変換してスレーブストリームに追加する。
　この構成によって、復号ストリームは、例えば、マスターストリームをベースビューとするストリーム（Ｈ．２６４勧告　Ａｎｎｅｘ Ｈに規定されるＭＶＣ（マルチビュー符号化）形式のストリーム）として成型することが可能である。
　スレーブ映像復号部２５は、復号ストリーム成型部２４が復号ストリームを成型すると、その復号ストリームに対して、所定の復号処理を実施することで、スレーブ符号化データに対応する再生映像を生成する（ステップＳＴ２７）。
　以上で明らかなように、この実施の形態１によれば、ＭＰＥＧ－２ビデオビットストリーム内のシーン映像毎に、他のシーン映像との相関を測定する尺度となるシーン相関測定パラメータを算出するシーン相関測定パラメータ算出部１と、ＭＰＥＧ－２ビデオビットストリームをＨ．２６４映像符号化方式に従うビデオビットストリームに変換するＨ．２６４変換部４と、シーン相関測定パラメータ算出部１により算出されたシーン相関測定パラメータＡ，Ｂに基づいて、データ記録部２に記録されているマスターストリーム内のシーン映像単位の符号化データの中から、シーン内・シーン間適応符号化部６が予測符号化する際に、ＭＰＥＧ－２ビデオビットストリーム内のシーン映像単位の符号化データの代わりに予測参照に用いる符号化データを検索するシーン間予測判定部５とを設け、シーン内・シーン間適応符号化部６が、データ記録部２に記録されたマスターストリーム内のシーン映像単位の符号化データの中で、シーン間予測判定部５により予測参照に用いる代わりの符号化データが検索されていない符号化データと、シーン間予測判定部５により検索された符号化データとを予測参照に用いて、そのＭＰＥＧ－２ビデオビットストリームをスレーブストリームに変換するように構成したので、処理量の増加や映像品質の低下を招くことなく、効率的な圧縮を行うことができる画像符号化装置が得られる効果を奏する。
　また、この実施の形態１によれば、データ記録部２に記録されている複数のマスターストリームのうち、多重分離部２３により分離されたスレーブストリーム符号化管理情報に含まれているマスターストリームＩＤが示すマスターストリームを読み出すとともに、そのマスターストリームの中から、そのスレーブストリーム符号化管理情報に含まれているマスターシーンＩＤが示すシーン映像の符号化データを抽出し、その符号化データを多重分離部２３により分離されたスレーブストリームの対応するシーン映像の位置に埋め込むことで、復号ストリームを成型する復号ストリーム成型部２４を設け、スレーブ映像復号部２５が、復号ストリーム成型部２４により成型された復号ストリームに対して、所定の復号処理を実施することで、スレーブ符号化データに対応する再生映像を生成するように構成したので、効率的に圧縮されている画像を復号することができる画像復号装置が得られる効果を奏する。
　この実施の形態１では、画像復号化装置に入力されるビデオビットストリームがＭＰＥＧ－２ビデオビットストリームであり、そのＭＰＥＧ－２ビデオビットストリームの符号化方式を、Ｈ．２６４を用いたシーン内・シーン間適応予測符号化処理によって変換するものを示したが、画像復号化装置に入力されるビデオビットストリームがＭＰＥＧ－２ビデオビットストリームに限るものではなく、例えば、ＭＰＥＧ－４ビジュアル（ＩＳＯ／ＩＥＣ　１４４９６－２）や、Ｈ．２６４（ＩＳＯ／ＩＥＣ １４４９６－１０）など、どのような映像符号化形式でもよい。
　また、変換符号化に用いる符号化方式もＨ．２６４に限定するものではない。
　また、シーン相関測定パラメータ算出部１により算出されるシーン相関測定パラメータは、画像復号化装置に入力されるビデオビットストリームの映像符号化形式に基づいて定義するように構成できる。
　また、スレーブ符号化データに対応する映像信号の符号化データフォーマットとして、Ｈ．２６４の勧告Ａｎｎｅｘ Ｈに規定されるＭＶＣを例に挙げたが、これもＭＶＣ形式に限定するものではなく、この実施の形態１における画像符号化装置や画像復号装置の構成に従うことによって、他の同様の標準符号化方式に対応するように構成することができる。
実施の形態２．
　上記実施の形態１では、マスターストリームとして再圧縮する「ＭＰＥＧ－２ビデオビットストリーム」、または、スレーブストリームとして再圧縮する「ＭＰＥＧ－２ビデオビットストリーム」がシーン相関測定パラメータ算出部１に入力されるものを示したが、マスターストリームとして再圧縮する「ＭＰＥＧ－２ビデオビットストリーム」とスレーブストリームとして再圧縮する「ＭＰＥＧ－２ビデオビットストリーム」とが単一のビデオビットストリームに含まれており、単一のビデオビットストリームがシーン相関測定パラメータ算出部１に入力されるものであってもよい。
　図８はこの発明の実施の形態２による画像符号化装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
　スイッチ３１は外部から与えられる再圧縮方法識別信号が、「シーン相関測定パラメータ算出部１に入力されるＭＰＥＧ－２ビデオビットストリームの前半部分がマスターストリームとして再圧縮するビデオビットストリームであり、後半部分がスレーブストリームとして再圧縮するビデオビットストリームである」旨を指示している場合、シーン相関測定パラメータ算出部１から出力されたＭＰＥＧ－２ビデオビットストリームを分割して、そのＭＰＥＧ－２ビデオビットストリームの前半部分をＨ．２６４変換部４に与え、そのＭＰＥＧ－２ビデオビットストリームの後半部分をシーン内・シーン間適応符号化部６に与える処理を実施する。なお、スイッチ３１は符号化データ分割手段を構成している。
　次に動作について説明する。
　上記実施の形態１では、マスターストリームとして再圧縮する「ＭＰＥＧ－２ビデオビットストリーム」、または、スレーブストリームとして再圧縮する「ＭＰＥＧ－２ビデオビットストリーム」がシーン相関測定パラメータ算出部１に入力される例を示しているが、この実施の形態２では、図９に示すように、マスターストリームとして再圧縮する「ＭＰＥＧ－２ビデオビットストリーム」とスレーブストリームとして再圧縮する「ＭＰＥＧ－２ビデオビットストリーム」とが単一のビデオビットストリームに含まれており、単一のビデオビットストリームがシーン相関測定パラメータ算出部１に入力される例について説明する。
　単一のビデオビットストリームがシーン相関測定パラメータ算出部１に入力される場合、図１の画像復号化装置と比べて、スイッチ３１の処理内容だけが相違する。
　スイッチ３１には、「シーン相関測定パラメータ算出部１に入力されるＭＰＥＧ－２ビデオビットストリームの前半部分がマスターストリームとして再圧縮するビデオビットストリームであり、後半部分がスレーブストリームとして再圧縮するビデオビットストリームである」旨を指示する再圧縮方法識別信号が外部から入力される。
　スイッチ３１は、外部から上記の再圧縮方法識別信号が与えられたのち、シーン相関測定パラメータ算出部１からＭＰＥＧ－２ビデオビットストリームが出力されると、そのＭＰＥＧ－２ビデオビットストリームを前半部分と後半部分に分割し、そのＭＰＥＧ－２ビデオビットストリームの前半部分をＨ．２６４変換部４に与え、そのＭＰＥＧ－２ビデオビットストリームの後半部分をシーン内・シーン間適応符号化部６に与える。
　スイッチ３１以外の画像符号化装置の処理内容は、上記実施の形態１と同様であるため詳細な説明を省略するが、そのＭＰＥＧ－２ビデオビットストリームの前半部分がＨ．２６４変換部４に与えられることで、そのＭＰＥＧ－２ビデオビットストリームの前半部分がＨ．２６４映像符号化方式に従うビデオビットストリームに変換され、そのビデオビットストリームがマスターストリームとしてデータ記録部２に記録される。
　一方、そのＭＰＥＧ－２ビデオビットストリームの後半部分がシーン内・シーン間適応符号化部６に与えられることで、そのＭＰＥＧ－２ビデオビットストリームの後半部分がスレーブストリームに変換され、そのスレーブストリームとシーン間予測判定部５から出力されたスレーブストリーム符号化管理情報とが多重化されているスレーブ符号化データがデータ記録部２に記録される。
　画像復号装置の処理内容は、上記実施の形態１と同様であり、データ記録部２により記録されているマスターストリームの中から、スレーブストリーム符号化管理情報が示すシーン映像の符号化データを抽出し（図１０を参照）、そのシーン映像の符号化データをスレーブストリームの対応シーン映像の位置に埋め込むことで復号ストリームを成型して、画像の復号処理を行う。
　例えば、テレビ番組などでは、１つの番組内に相関が高いシーン映像が含まれていることが多いが、上記のように、マスターストリームとスレーブストリームが単一のビデオビットストリームに含まれている場合、相関が高いシーン映像を効率よく検索して利用することができる。
　この実施の形態２では、シーン相関測定パラメータ算出部１に入力されるＭＰＥＧ－２ビデオビットストリームの前半部分がマスターストリームとして再圧縮する「ＭＰＥＧ－２ビデオビットストリーム」、後半部分がスレーブストリームとして再圧縮する「ＭＰＥＧ－２ビデオビットストリーム」に分けられている例を示したが、図１１に示すように、マスターストリームとスレーブストリームが交互に繰り返されている単一のＭＰＥＧ－２ビデオビットストリームがシーン相関測定パラメータ算出部１に入力されるものであってもよい。
　一般的に、時間的に近いシーン映像から予測する方が、時間的に遠いシーン映像から予測するよりも符号化効率がよいが、図１１に示すように、マスターストリームとスレーブストリームが交互に繰り返されている場合には、マスターストリームとスレーブストリームの時間的な距離が近づくため、符号化効率が高いストリームを生成することが可能になる。
　ここでは、マスターストリームとスレーブストリームが交互に繰り返されている例を示したが、図１２に示すように、マスターストリームの時間的な長さと、スレーブストリームの時間的な長さとが異なっていてもよい。
　図１２の例では、ＭＰＥＧ－２ビデオビットストリーム内のマスターストリームの個数が２個であり、ＭＰＥＧ－２ビデオビットストリーム内のスレーブストリームの個数が６個であるため、スレーブストリームの時間的な長さが、マスターストリームの時間的な長さの３倍となっている。
　このように、スレーブストリームの時間的な長さを、マスターストリームの時間的な長さより長くすることで、シーン間相関を用いた符号化を行うシーン映像が増えるため、符号化効率の改善に寄与する。
　このとき、マスターシーンの符号化管理情報に対して、マスターストリームとスレーブストリームの長さ情報を多重化するようにしてもよい。
　ただし、ＭＰＥＧ－２ビデオビットストリームの形態が上記のような形態であるとき、符号化対象のシーケンス内には、シーンチェンジを含む可能性がある。
　シーンチェンジ前後では、シーン映像間に相関がない可能性が高いため、図１３に示すように、シーンチェンジ直後のシーン映像がマスターストリームであれば、シーンチェンジによる符号化効率の低下を防ぐことが可能になる。
　そこで、シーンチェンジ直後のシーン映像が必ずマスターストリームであるＭＰＥＧ－２ビデオビットストリームがシーン相関測定パラメータ算出部１に入力されるものであってもよい。
　この実施の形態２では、マスターストリームとスレーブストリームが単一のＭＰＥＧ－２ビデオビットストリームに含まれているものを示したが、図１４に示すように、特定の単位（例えば、ＧＯＰ）で、単一のＭＰＥＧ－２ビデオビットストリームに含まれている各々のストリームがマスターストリームであるのか、スレーブストリームであるのかを示すｆｌａｇをマスターシーンの符号化管理情報として、画像復号装置にシグナリングするようにしてもよい。
　例えば、フラグ通知手段を構成する多重化部７が、当該符号化管理情報をデータ記録部２に記録することで、画像復号装置にシグナリングするようにしてもよいし、当該符号化管理情報を画像復号装置に送信することで、画像復号装置にシグナリングするようにしてもよい。
　このようにすることで、映像の特性に応じて、マスターストリームとするのか、スレーブストリームとするのかを自由に決定することができるようになり、符号化効率を改善することができる。
　また、図１５に示すように、シーケンスの途中に、符号化中のシーン映像とは明らかに性質が異なるシーン映像が挿入されている可能性がある（例えば、テレビ番組におけるＣＭなどが該当する）。
　このような場合、事前に、符号化中のシーン映像とは明らかに性質が異なるシーン映像を検出し、そのシーン映像内で閉じた形でシーン相関測定パラメータを検出して符号化を行うことが考えられる。
　このようにすることで、シーン相関測定パラメータを検出するシーン映像を減らして、処理量を低減することができるので、符号化中のシーン映像とは明らかに性質が異なるシーン映像が飛ばされている（当該シーン映像のストリームを含んでいない）ＭＰＥＧ－２ビデオビットストリームがシーン相関測定パラメータ算出部１に入力されるものであってもよい。
　この実施の形態２では、ＭＰＥＧ－２ビデオビットストリームをＨ．２６４映像符号化方式に従うビデオビットストリームに変換し、そのビデオビットストリームをマスターストリームとしてデータ記録部２に記録するものを示したが、映像符号化方式はＨ．２６４映像符号化方式に限るものではなく、例えば、ＭＰＥＧ－４などの他の映像符号化方式を用いるようにしてもよい。また、入力ビットストリームをＭＰＥＧ－２ビデオビットストリームとしたが、これはＭＰＥＧ－２ビデオビットストリームに限るものではなく、例えば、ＭＰＥＧ－４やＨ．２６４などの他の映像符号化方式で符号化されたビデオビットストリームを入力として使用してもよい。
　上記実施の形態１，２では、特に言及していないが、画像符号化装置及び画像復号装置は、データ記録部２により記録されているマスターストリーム又はスレーブ符号化データを編集する編集機能（例えば、キーボードやマウスなどのマンマシンインタフェースを備え、マンマシンインタフェースにより受け付けられた操作内容にしたがってマスターストリーム又はスレーブ符号化データを編集するＣＰＵなどの処理部などが該当する）を備えている場合がある。
　しかし、ユーザが編集機能を操作することで、マスターストリームが削除されてしまう状況が発生することがある。
　そこで、画像符号化装置及び画像復号装置の編集機能は、マスターストリームを削除する操作が行われた場合、「マスターストリームを削除する操作が行われている」旨を示す警告メッセージをディスプレイに表示するようにしてもよい。
　また、マスターストリームからの予測については再符号化を行うなどの処理を行うことで、マスターストリームが消去されることによって復号が不可能になることを防ぐようにしてもよい。
実施の形態３．
　上記実施の形態１，２では、マスターストリーム及びスレーブ符号化データがデータ記録部２に記録されるものを示したが、マスターストリームについては、データ記録部２に記録せずに、画像符号化装置及び画像復号装置の外部装置に記録されるようにしてもよい。
　図１６はレコード（画像符号化装置、画像復号装置）がネットワークに接続されているシステム例を示す構成図である。
　図１６の例では、レコーダである画像符号化装置のＨ．２６４変換部４が、マスターストリームをデータ記録部２に記録せずに、ネットワークインタフェースを介して、そのマスターストリームを外部装置であるサーバ（例えば、公共サーバ、サービス業者が提供する専用サーバ、個人所有のサーバ）に転送し、そのサーバがマスターストリームを記録するようにしてもよい。
　例えば、サーバに記録されているマスターストリームについては、ユーザの操作では消去できない構成に設定されていれば、誤ってマスターストリームを消去することによってストリームが復号できなくなることを防ぐことが可能になる。
　また、サーバの管理者が特定のユーザに限り、マスターストリームを開示するシステムを構成することが可能になり、このような構成にすることで、セキュアな映像管理が可能になる。
実施の形態４．
　上記実施の形態１では、シーン間予測符号化部１５が、スイッチ１２から復号画像を受けると、その復号画像の時間相関と、その復号画像とシーン間予測参照箇所抽出部１３により生成されたマスターストリーム復号画像における同一時刻位置の画像データ間の相関とを利用して、Ｈ．２６４の動き補償処理ないしイントラ予測を用いた圧縮符号化処理を実行して、その処理結果であるシーン間予測符号化データを出力するものを示したが（Ｉ，Ｐ，Ｂピクチャのそれぞれにおいて、同一時刻位置に対応するピクチャからのシーン間予測を可能にしている）、図１７に示すように、Ｉピクチャに限り、シーン間予測を可能にしてもよい。あるいは、図１８に示すように、Ｉ，Ｐピクチャに限り、シーン間予測を可能にしてもよい。
　シーン間予測を制限することで、相関が高いシーン映像の場合、符号化効率は落ちるが、変換する際の処理量を削減することができる。
　また、シーン間予測符号化部１５が、Ｉピクチャに限り、シーン間予測を行う処理（図１７を参照）と、Ｉ，Ｐピクチャに限り、シーン間予測を行う処理（図１８を参照）とをシーン相関度に応じて切り替えるようにしてもよい。
　例えば、シーン途中でシーンチェンジがある場合など、相関が高いシーン映像が先頭のみの場合は、先頭のＩピクチャのみシーン間予測を実施し、また、ほぼ同一のシーンである場合は、Ｉ，Ｐ，Ｂピクチャのすべてに対してシーン間予測を実施するように構成にすることで、符号化効率を落とすことなく、処理量を削減することができる効果を奏する。
　図１９はこの発明の実施の形態４による画像符号化装置の処理内容を示すフローチャートである。
　以下、図１９に示す処理内容を説明する。
　シーン相関測定パラメータ算出部１は、ＭＰＥＧ－２映像符号化方式によって圧縮符号化されたＭＰＥＧ－２ビデオビットストリームを入力すると、上記実施の形態１と同様に、そのＭＰＥＧ－２ビデオビットストリームのシーン映像毎に、他のシーン映像との相関を測定する尺度となるシーン相関測定パラメータを算出する（ステップＳＴ３１）。
　スイッチ３は、外部から与えられる再圧縮方法識別信号が「ＭＰＥＧ－２ビデオビットストリームをマスターストリームとして再圧縮する」旨を指示していれば（ステップＳＴ３２）、上記実施の形態１と同様に、シーン相関測定パラメータ算出部１から出力されたＭＰＥＧ－２ビデオビットストリームをＨ．２６４変換部４に与える。
　一方、その再圧縮方法識別信号が「ＭＰＥＧ－２ビデオビットストリームをスレーブストリームとして再圧縮する」旨を指示していれば（ステップＳＴ３２）、上記実施の形態１と同様に、シーン相関測定パラメータ算出部１から出力されたＭＰＥＧ－２ビデオビットストリームをシーン内・シーン間適応符号化部６に与える。
　Ｈ．２６４変換部４は、スイッチ３からＭＰＥＧ－２ビデオビットストリームが与えられると、上記実施の形態１と同様に、そのＭＰＥＧ－２ビデオビットストリームを所定の処理手順によってＨ．２６４映像符号化方式に従うビデオビットストリームに変換し、そのビデオビットストリームをマスターストリームとしてデータ記録部２に記録する（ステップＳＴ３３）。
　シーン間予測判定部５は、シーン相関測定パラメータ算出部１がシーン相関測定パラメータＡ又はシーン相関測定パラメータＢを算出すると、上記実施の形態１と同様に、そのシーン相関測定パラメータＡ，Ｂに基づいて、データ記録部２に記録されているマスターストリーム内のシーン映像単位の符号化データの中から、シーン内・シーン間適応符号化部６が予測符号化する際に、ＭＰＥＧ－２ビデオビットストリーム内のシーン映像単位の符号化データの代わりに予測参照に用いる符号化データを検索する。
　以下、シーン間予測判定部５による符号化データの検索処理を具体的に説明する。
　まず、シーン間予測判定部５は、上記実施の形態１と同様に、シーン相関測定パラメータ算出部１により算出されたシーン相関測定パラメータＡ，Ｂを用いて、ＭＰＥＧ－２ビデオビットストリーム内の各々のシーン映像と、データ記録部２に記録されているマスターストリーム内の各々のシーン映像との相関値を測定する。
　次に、シーン間予測判定部５は、ＭＰＥＧ－２ビデオビットストリーム内のシーン映像毎に、当該シーン映像に対するマスターストリーム内の各々のシーン映像の相関値を比較し、最も相関値が大きいマスターストリーム内のシーン映像を探索する。
　シーン間予測判定部５は、最も相関値が大きいマスターストリーム内のシーン映像を探索すると、上記実施の形態１と同様に、その相関値が予め設定している所定値以上であれば、そのシーン映像の符号化データを予測参照に用いるシーン映像に決定する。
　一方、その相関値が予め設定している所定値に満たなければ、そのマスターストリーム内のシーン映像の符号化データを予測参照に用いないものとする。
　シーン間予測判定部５は、シーン内・シーン間適応符号化部６が予測参照に用いる符号化データが見つかれば（ＭＰＥＧ－２ビデオビットストリーム内のシーン映像と相関が高いマスターストリーム内のシーン映像が存在する場合）、上記実施の形態１と同様に、「当該処理対象のシーンでは、マスターストリーム内の相関が高いシーン映像の符号化データを利用して符号化を行う」旨を示すスレーブストリーム符号化管理情報をシーン内・シーン間適応符号化部６及び多重化部７に出力する。
　一方、シーン内・シーン間適応符号化部６が予測参照に用いる符号化データが見つからなければ（ＭＰＥＧ－２ビデオビットストリーム内のシーン映像と相関が高いマスターストリーム内のシーン映像が存在しない場合）、上記実施の形態１と同様に、「当該処理対象のシーンでは、マスターストリーム内の符号化データを使用せず、シーン内に閉じた符号化を行う」旨を示すスレーブストリーム符号化管理情報をシーン内・シーン間適応符号化部６及び多重化部７に出力する。
　シーン内・シーン間適応符号化部６は、データ記録部２に記録されたマスターストリーム内のシーン映像単位の符号化データの中で、シーン間予測判定部５により予測参照に用いる代わりの符号化データが検索されていない符号化データと、シーン間予測判定部５により検索された符号化データとを予測参照に用いて、そのＭＰＥＧ－２ビデオビットストリームをスレーブストリームに変換する。
　以下、シーン内・シーン間適応符号化部６によるストリームの変換処理を具体的に説明する。
　まず、シーン内・シーン間適応符号化部６のＭＰＥＧ－２復号部１１は、スイッチ３からＭＰＥＧ－２ビデオビットストリームが与えられると、上記実施の形態１と同様に、そのＭＰＥＧ－２ビデオビットストリーム内の各々のシーン映像の符号化データに対する復号処理を実施して、シーン映像単位に復号画像を生成する（ステップＳＴ３４）。
　スイッチ１２は、シーン間予測判定部５から出力されたスレーブストリーム符号化管理情報に含まれているシーン間予測指示フラグが、マスターストリーム内のシーン映像単位の符号化データを予測参照に用いない旨を示していれば、上記実施の形態１と同様に、ＭＰＥＧ－２復号部１１により生成された復号画像をシーン内予測符号化部１４に出力する。
　そのシーン間予測指示フラグが、マスターストリーム内のシーン映像単位の符号化データを予測参照に用いる旨を示していれば、上記実施の形態１と同様に、ＭＰＥＧ－２復号部１１により生成された復号画像をシーン間予測符号化部１５に出力する。
　シーン間予測参照箇所抽出部１３は、シーン間予測判定部５から出力されたスレーブストリーム符号化管理情報に含まれているシーン間予測指示フラグが、マスターストリーム内のシーン映像単位の符号化データを予測参照に用いる旨を示していれば、上記実施の形態１と同様に、そのスレーブストリーム符号化管理情報に含まれているマスターストリームＩＤが示すマスターストリームの中から、マスターシーンＩＤが示すシーン映像の符号化データを抽出する。
　シーン間予測参照箇所抽出部１３は、マスターシーンＩＤが示すシーン映像の符号化データを抽出すると、上記実施の形態１と同様に、その符号化データに対するＨ．２６４復号処理を実施して、そのシーン映像の復号画像であるマスターストリーム復号画像を生成する。
　シーン間予測符号化部１５は、スイッチ１２から復号画像を受けると、例えば、シーン相関度が予め設定された閾値である第１の相関度より低い場合（例えば、シーン途中でシーンチェンジがある場合）、Ｉピクチャに限り、シーン相関を利用することにして（ステップＳＴ３５）、図１７に示すように、Ｉピクチャのみシーン間予測を実施して、再符号化を行う（ステップＳＴ３６）。
　また、シーン間予測符号化部１５は、例えば、シーン相関度が第１の相関度より高いが、予め設定された閾値である第２の相関度より低い場合、Ｉ，Ｐピクチャに限り、シーン相関を利用することにして（ステップＳＴＳＴ３５，ＳＴ３７）、図１８に示すように、Ｉ，Ｐピクチャのみシーン間予測を実施して、再符号化を行う（ステップＳＴ３８）。
　また、シーン間予測符号化部１５は、例えば、シーン相関度が第２の相関度より高い場合、Ｉ，Ｐ，Ｂピクチャのすべてに対してシーン相関を利用することにして（ステップＳＴ３７）、Ｉ，Ｐ，Ｂピクチャのすべてに対してシーン間予測を実施して、再符号化を行う（ステップＳＴ３９）。
　なお、シーン間予測符号化部１５は、シーン間予測を実施して、再符号化を行うと、その再符号化結果であるシーン間予測符号化データをスレーブストリーム多重化部１６に出力する。
　シーン内予測符号化部１４は、スイッチ１２から復号画像を受けると、上記実施の形態１と同様に、マスターストリーム内の符号化データを一切使用することなく、その復号画像に対してＨ．２６４圧縮符号化処理を実施し、その符号化処理結果であるシーン内予測符号化データを出力する。
　スレーブストリーム多重化部１６は、上記実施の形態１と同様に、シーン内予測符号化部１４から出力されたシーン内予測符号化データと、シーン間予測符号化部１５から出力されたシーン間予測符号化データとを多重化してスレーブストリームを生成し、そのスレーブストリームを多重化部７に出力する（ステップＳＴ４０）。
　多重化部７は、上記実施の形態１と同様に、シーン内・シーン間適応符号化部６により変換されたスレーブストリームと、シーン間予測判定部５から出力されたスレーブストリーム符号化管理情報とを多重化し、その多重化結果をスレーブ符号化データとしてデータ記録部２に記録する（ステップＳＴ４１）。
　以上で明らかなように、この実施の形態４によれば、シーン間予測符号化部１５が、Ｉピクチャに限り、シーン間予測を行う処理と、Ｉ，Ｐピクチャに限り、シーン間予測を行う処理とをシーン相関度に応じて切り替えるように構成したので、シーン間予測を行わないピクチャについては、再符号化前のストリーム情報（モード情報、動き情報など）を再利用することで処理を簡略化することができる効果を奏する。このような処理をすることで、符号化効率は多少落ちるが、再符号化に伴う処理量を削減することができる。特に、組み込み機器などの低消費電力や低ＣＰＵを用いたシステムでは有用である。
　なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　この発明に係る画像符号化装置は、第１の映像符号化方式に従う映像符号化データ内のシーン映像データ毎に、他のシーン映像データを用いる予測参照を選択的に適用して第２の映像符号化方式に従う映像符号化データに変換する映像符号化データ変換手段を備え、処理量の増加や映像品質の低下を招くことなく、効率的な圧縮を行うことができるので、ＨＤＤ内蔵型デジタル録画機器やクラウド型システム等の画像符号化装置として用いるのに適している。
　１　シーン相関測定パラメータ算出部（シーン相関測定パラメータ算出手段）、２　データ記録部（データ記録手段）、３　スイッチ、４　Ｈ．２６４変換部（第１の映像符号化データ変換手段）、５　シーン間予測判定部（シーン映像検索手段）、６　シーン内・シーン間適応符号化部（第２の映像符号化データ変換手段）、７　多重化部、１１　ＭＰＥＧ－２復号部、１２　スイッチ、１３　シーン間予測参照箇所抽出部、１４　シーン内予測符号化部、１５　シーン間予測符号化部、１６　スレーブストリーム多重化部、２１　スイッチ、２２　Ｈ．２６４復号部（第１の映像復号手段）、２３　多重分離部（第２の映像復号手段）、２４　復号ストリーム成型部（第２の映像復号手段）、２５　スレーブ映像復号部（第２の映像復号手段）、３１　スイッチ（符号化データ分割手段）。

Claims (7)

  1. 　第１の映像符号化方式に従う映像符号化データ内のシーン映像データ毎に、他のシーン映像データを用いる予測参照を選択的に適用して第２の映像符号化方式に従う映像符号化データに変換する映像符号化データ変換手段を備える画像符号化装置であって、
    　前記映像符号化データ変換手段は、第１の映像符号化データ内のシーン映像単位の符号化データを変換するにあたって、予測参照に用いるべき他のシーン映像単位の符号化データを探索し、探索されたシーン映像単位の符号化データを予測参照に用いるか否かを選択して、前記第１のシーン映像単位の符号化データを第２の映像符号化方式に従う映像符号化データに変換するとともに、探索されたシーン映像単位の符号化データを予測参照に用いたか否かを示すメタデータを生成することを特徴とする画像符号化装置。
  2. 　前記映像符号化データ変換手段は、第１の映像符号化データ内のシーン映像毎に、他のシーン映像との相関を測定する尺度となるシーン相関測定パラメータを算出するシーン相関測定パラメータ算出手段を備え、
    　該シーン相関測定パラメータ算出手段から出力されるパラメータ値に基づいて、第１の映像符号化データ内のシーン映像単位の符号化データを変換するにあたって予測参照に用いるべき他のシーン映像単位の符号化データを探索することを特徴とする請求項１記載の画像符号化装置。
  3. 　前記映像符号化データ変換手段により変換された第２の映像符号化方式に従う映像符号化データに、前記メタデータを多重して記録するデータ記録手段を備えることを特徴とする請求項１記載の画像符号化装置。
  4. 　前記映像符号化データ変換手段は、探索元となる映像符号化データと探索されたシーン映像単位の符号化データを予測参照に用いて変換した第２の映像符号化方式に従う映像符号化データとを、ネットワークで接続される異なる装置に記録することを特徴とする請求項１記載の画像符号化装置。
  5. 　映像符号化データに対する復号処理を実施して、再生映像を生成する画像復号装置において、
    　映像符号化データのシーン映像単位の符号化データごとに、別途入力されるメタデータに基づいて、当該シーン映像単位の符号化データが、他のシーン映像単位の符号化データを予測参照して符号化されているか否かを判定するとともに、他のシーン映像単位の符号化データを予測参照して符号化されている場合は予測参照に用いる他のシーン映像単位の符号化データのロケーションを特定する判定手段と、
    　前記判定手段の結果、他のシーン映像単位の符号化データを予測参照して符号化されている場合には、前記判定手段により特定されるロケーションから予測参照先の符号化データを取得し、復号対象のシーン映像単位の符号化データとともに復号処理を行う復号手段とを備えることを特徴とする画像復号装置。
  6. 　映像符号化データ変換手段が、第１の映像符号化方式に従う映像符号化データ内のシーン映像データ毎に、他のシーン映像データを用いる予測参照を選択的に適用して第２の映像符号化方式に従う映像符号化データに変換する画像符号化方法であって、
    　前記映像符号化データ変換手段により、第１の映像符号化データ内のシーン映像単位の符号化データを変換するにあたって、予測参照に用いるべき他のシーン映像単位の符号化データを探索し、次いで探索されたシーン映像単位の符号化データを予測参照に用いるか否かを選択し、次いで前記第１のシーン映像単位の符号化データを第２の映像符号化方式に従う映像符号化データに変換するとともに、探索されたシーン映像単位の符号化データを予測参照に用いたか否かを示すメタデータを生成することを特徴とする画像符号化方法。
  7. 　映像符号化データに対する復号処理を実施して、再生映像を生成する画像復号方法において、
    　判定手段が、映像符号化データのシーン映像単位の符号化データごとに、別途入力されるメタデータに基づいて、当該シーン映像単位の符号化データが、他のシーン映像単位の符号化データを予測参照して符号化されているか否かを判定するとともに、他のシーン映像単位の符号化データを予測参照して符号化されている場合は予測参照に用いる他のシーン映像単位の符号化データのロケーションを特定する判定処理ステップと、
    　復号手段が、前記判定処理ステップの結果、他のシーン映像単位の符号化データを予測参照して符号化されている場合には、前記判定処理ステップにより特定されるロケーションから予測参照先の符号化データを取得し、復号対象のシーン映像単位の符号化データとともに復号処理を行う復号処理ステップとを備えることを特徴とする画像復号方法。
PCT/JP2013/055451 2012-02-29 2013-02-28 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 WO2013129585A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/376,776 US9560365B2 (en) 2012-02-29 2013-02-28 Image coding device, image decoding device, image coding method, and image decoding method
KR1020147027088A KR20140136474A (ko) 2012-02-29 2013-02-28 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법
CN201380011367.7A CN104137544B (zh) 2012-02-29 2013-02-28 图像编码装置、图像解码装置、图像编码方法以及图像解码方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012043456 2012-02-29
JP2012-043456 2012-02-29
JP2012-221775 2012-10-04
JP2012221775 2012-10-04

Publications (1)

Publication Number Publication Date
WO2013129585A1 true WO2013129585A1 (ja) 2013-09-06

Family

ID=49082776

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/055451 WO2013129585A1 (ja) 2012-02-29 2013-02-28 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法

Country Status (5)

Country Link
US (1) US9560365B2 (ja)
JP (2) JPWO2013129585A1 (ja)
KR (1) KR20140136474A (ja)
CN (1) CN104137544B (ja)
WO (1) WO2013129585A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106657961B (zh) * 2015-10-30 2020-01-10 微软技术许可有限责任公司 立体视频的混合数字-模拟编码
KR20210029615A (ko) * 2019-09-06 2021-03-16 에스케이하이닉스 주식회사 반도체장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07143494A (ja) * 1993-11-19 1995-06-02 Sanyo Electric Co Ltd 動画像符号化方法
JPH0993592A (ja) * 1995-07-13 1997-04-04 Matsushita Electric Ind Co Ltd 画像符号化装置
JP2002252859A (ja) * 2001-02-26 2002-09-06 Nippon Telegr & Teleph Corp <Ntt> ステレオ動画像符号化方法および装置と、ステレオ動画像符号化処理用プログラムおよびそのプログラムの記録媒体
JP2005303773A (ja) * 2004-04-14 2005-10-27 Nippon Telegr & Teleph Corp <Ntt> 映像符号化方法、映像符号化装置、映像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体、並びに、映像復号方法、映像復号装置、映像復号プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3191922B2 (ja) * 1997-07-10 2001-07-23 松下電器産業株式会社 画像復号化方法
WO2001015459A1 (en) 1999-08-24 2001-03-01 Fujitsu Limited Time-varying image processor, its method, and recorded medium
KR20030005166A (ko) * 2000-11-23 2003-01-17 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 코딩 방법 및 대응하는 인코더
KR100454501B1 (ko) * 2001-12-26 2004-10-28 브이케이 주식회사 영상신호를 부호화 또는 복호화하기 위한 예측 장치 및 방법
JP2005184062A (ja) * 2003-12-16 2005-07-07 Fuji Photo Film Co Ltd 画像データ変換装置および画像データ変換プログラム
WO2006028156A1 (ja) * 2004-09-10 2006-03-16 Pioneer Corporation 画像処理装置、画像処理方法、および画像処理プログラム
JP2006262311A (ja) 2005-03-18 2006-09-28 Toshiba Corp 情報記録装置及び情報記録方法
US8139877B2 (en) * 2006-03-09 2012-03-20 Pioneer Corporation Image processing apparatus, image processing method, and computer-readable recording medium including shot generation
JP5022370B2 (ja) * 2006-09-12 2012-09-12 パナソニック株式会社 コンテンツ撮影装置
US20080101473A1 (en) * 2006-10-26 2008-05-01 Matsushita Electric Industrial Co., Ltd. Transcoding apparatus and transcoding method
CN101521823B (zh) * 2009-03-27 2010-12-01 北京航空航天大学 空间相关的全景数据压缩方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07143494A (ja) * 1993-11-19 1995-06-02 Sanyo Electric Co Ltd 動画像符号化方法
JPH0993592A (ja) * 1995-07-13 1997-04-04 Matsushita Electric Ind Co Ltd 画像符号化装置
JP2002252859A (ja) * 2001-02-26 2002-09-06 Nippon Telegr & Teleph Corp <Ntt> ステレオ動画像符号化方法および装置と、ステレオ動画像符号化処理用プログラムおよびそのプログラムの記録媒体
JP2005303773A (ja) * 2004-04-14 2005-10-27 Nippon Telegr & Teleph Corp <Ntt> 映像符号化方法、映像符号化装置、映像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体、並びに、映像復号方法、映像復号装置、映像復号プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
JPWO2013129585A1 (ja) 2015-07-30
JP6320450B2 (ja) 2018-05-09
CN104137544B (zh) 2017-10-20
KR20140136474A (ko) 2014-11-28
US20140376613A1 (en) 2014-12-25
US9560365B2 (en) 2017-01-31
CN104137544A (zh) 2014-11-05
JP2016165147A (ja) 2016-09-08

Similar Documents

Publication Publication Date Title
KR101599875B1 (ko) 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법 및 장치, 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법 및 장치
US8538181B2 (en) Image signal encoding apparatus and image signal encoding method
JP4838253B2 (ja) 画像符号化装置、画像符号化方法、画像復号化装置、画像復号化方法、および記録方法
WO2021049333A1 (ja) 情報処理装置、情報処理方法、再生処理装置及び再生処理方法
TW201541945A (zh) 用於視訊解碼的方法
JP2008527762A (ja) 画像符号化装置および画像復号化装置
US20090086034A1 (en) Video Image Processing Device, Video Image Processing Method, and Video Image Processing Program
KR20230025036A (ko) 인트라 예측을 위한 비디오 신호의 처리 방법 및 장치
JP6320450B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
KR20220092647A (ko) 복호 방법 및 장치와, 부호화 방법 및 장치
JP2015002512A (ja) 画像符号化装置及び画像符号化方法
JP5128963B2 (ja) 動画像の多重化方法とファイル読み込み方法及び装置，並びにそのプログラムとコンピュータ読み取り可能な記録媒体
JP5171270B2 (ja) 動画像の多重化方法及び装置，並びにそのプログラムとコンピュータ読み取り可能な記録媒体
AU2015202063B2 (en) Image signal decoding device, image signal decoding method, image signal encoding device, image signal encoding method, and program
JP3897499B2 (ja) 符号化装置及び符号化方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13754007

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014502376

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14376776

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: IDP00201405731

Country of ref document: ID

ENP Entry into the national phase

Ref document number: 20147027088

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 13754007

Country of ref document: EP

Kind code of ref document: A1