WO2014010300A1 - 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法 - Google Patents

画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法 Download PDF

Info

Publication number
WO2014010300A1
WO2014010300A1 PCT/JP2013/063178 JP2013063178W WO2014010300A1 WO 2014010300 A1 WO2014010300 A1 WO 2014010300A1 JP 2013063178 W JP2013063178 W JP 2013063178W WO 2014010300 A1 WO2014010300 A1 WO 2014010300A1
Authority
WO
WIPO (PCT)
Prior art keywords
picture
cra
image
information
sample
Prior art date
Application number
PCT/JP2013/063178
Other languages
English (en)
French (fr)
Inventor
中野　雄彦
平林　光浩
充 勝股
訓 辻井
鈴木　輝彦
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US14/412,480 priority Critical patent/US10062416B2/en
Priority to JP2014524678A priority patent/JP6319083B2/ja
Priority to CN201380035503.6A priority patent/CN104412608B/zh
Publication of WO2014010300A1 publication Critical patent/WO2014010300A1/ja
Priority to US15/991,484 priority patent/US10283167B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/22—Means responsive to presence or absence of recorded information signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B19/00—Driving, starting, stopping record carriers not specifically of filamentary or web form, or of supports therefor; Control thereof; Control of operating function ; Driving both disc and head
    • G11B19/02—Control of operating function, e.g. switching from recording to reproducing
    • G11B19/12—Control of operating function, e.g. switching from recording to reproducing by sensing distinguishing features of or on records, e.g. diameter end mark
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007—Time or data compression or expansion
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3081—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is a video-frame or a video-field (P.I.P)
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007—Time or data compression or expansion
    • G11B2020/00072—Time or data compression or expansion the compressed signal including a video signal

Definitions

  • the present disclosure relates to an image decoding device, an image decoding method, an image encoding device, and an image encoding method.
  • H. is one of the standard specifications for image coding.
  • each image (picture) is divided into one or more slices.
  • Each slice is classified into one of an I slice (Intra Slice), a P slice (Predictive Slice), and a B slice (Bi-predictive Slice).
  • An I slice is a slice that is independently decoded without referring to another image.
  • a P slice is a slice that is decoded by referring to a single other image.
  • the B slice is a slice that is decoded by referring to a plurality of other images.
  • the first picture of the sequence consisting of only I slices is called an IDR (Instantaneous Decoding Refresh) picture.
  • An IDR picture is identified by a value of a NAL (Network Abstraction Layer) unit type. Pictures in the same sequence that follow the IDR picture do not refer to pictures preceding the IDR picture in decoding order, and are positioned only after the IDR picture in presentation order. Therefore, when random access (decoding / playback from the middle rather than decoding from the beginning of the stream) is attempted at a point in the middle of the video of a certain encoded stream, the video is appropriately selected from the IDR picture near the designated point of time. Can be decrypted.
  • NAL Network Abstraction Layer
  • a CRA picture is a picture consisting of only I slices in the middle of a sequence.
  • a picture that follows a CRA picture in both decoding order and display order does not refer to both a picture preceding the CRA picture in decoding order and a picture preceding the CRA picture in display order (see Non-Patent Document 2 below). Therefore, when random access to a CRA picture at a point in the middle of a video (decoding of a video from a CRA picture) is performed, decoding of a picture that follows the CRA picture in display order can be performed without failure.
  • an acquisition unit that acquires, from the header area of a file format including a header area and a data area, CRA information that identifies one or more CRA pictures in an image sequence inserted in the data area;
  • a control unit for specifying any CRA picture in the image sequence as a decoding start picture using the CRA information when a random access instruction is detected; and the decoding start specified by the control unit
  • An image decoding apparatus comprising: a decoding unit that decodes the image sequence from a picture.
  • CRA information for identifying one or more CRA pictures in an image sequence inserted in the data area is acquired from the header area of a file format including a header area and a data area.
  • the CRA information is used to identify any CRA picture in the image sequence as a decoding start picture, and from the identified decoding start picture,
  • An image decoding method comprising: decoding an image sequence.
  • an encoding unit that encodes an image in an image sequence to generate image data, and one or more CRAs in the image sequence that can be used as a decoding start picture in random access.
  • a determination unit that determines a picture; and inserts CRA information that identifies the one or more CRA pictures determined by the determination unit into the header region of a file format including a header region and a data region, and
  • an image encoding device including a file generation unit for inserting image data.
  • an image in an image sequence is encoded to generate image data, and at least one CRA picture in the image sequence that can be used as a decoding start picture in random access. Determining, inserting CRA information identifying the one or more determined CRA pictures into the header area of a file format including a header area and a data area, and inserting the image data into the data area An image encoding method is provided.
  • random access to a CRA picture can be realized more easily than existing methods.
  • FIG. 25 is a flowchart illustrating a first example of a flow of decoding processing executed by the apparatus illustrated in FIG. 24.
  • FIG. 25 is a flowchart illustrating a first example of a flow of decoding processing executed by the apparatus illustrated in FIG. 24.
  • FIG. 25 is a flowchart illustrating a second example of the flow of decoding processing executed by the apparatus illustrated in FIG. 24.
  • FIG. It is a flowchart which shows the 3rd example of the flow of a process for specifying a decoding start picture.
  • It is a block diagram which shows an example of a schematic structure of a television apparatus.
  • It is a block diagram which shows an example of a schematic structure of a mobile telephone.
  • It is a block diagram which shows an example of a schematic structure of an imaging device.
  • FIG. 1 is a block diagram illustrating an example of a configuration of an image encoding device 10 according to an embodiment.
  • the image encoding device 10 includes an encoding unit 11, a determination unit 12, a VCL buffer 13, a non-VCL buffer 14, a file generation unit 15, and a control unit 16.
  • the encoding unit 11 is an encoder that operates according to the HEVC method.
  • the encoding unit 11 acquires an image sequence to be encoded from a moving image source such as a camera or a television tuner connected to the image encoding device 10. Then, the encoding unit 11 generates an encoded bitstream by performing various processes such as intra prediction, interframe prediction, orthogonal transform, quantization, and lossless encoding for each image in the acquired image sequence. To do.
  • Slice data corresponding to an image entity is generated as a VCL (Video Coding Layer) NAL unit.
  • VCL Video Coding Layer
  • parameter sets such as SPS (Sequence Parameter Set), PPS (Picture Parameter Set), and APS (Adaptation Parameter Set) can be generated as non-VCL NAL units.
  • the encoding unit 11 outputs a VCL NAL unit, that is, a bit stream of slice data, to the file generation unit 15 via the VCL buffer 13. Also, the encoding unit 11 outputs the parameter set to the file generation unit 15 via the non-VCL buffer 14.
  • the determination unit 12 determines the type of each image in the image sequence encoded by the encoding unit 11. More specifically, in the present embodiment, the determination unit 12 determines at least whether each image is an IDR picture, a CRA picture, or another picture. Both IDR pictures and CRA pictures are pictures consisting only of I slices. As described above, the IDR picture is the first picture in the sequence. Pictures in the same sequence that follow the IDR picture do not refer to pictures preceding the IDR picture in coding order (decoding order) and are positioned only after the IDR picture in display order.
  • the CRA picture is a picture that is located in the middle of the sequence and can be used as a decoding start picture in random access on the decoder side.
  • a picture that follows a CRA picture in both coding order (decoding order) and display order does not refer to both a picture that precedes the CRA picture in coding order (decoding order) and a picture that precedes the CRA picture in display order .
  • the determination unit 12 outputs the determination result to the encoding unit 11 and the file generation unit 15.
  • the encoding unit 11 adds a NAL unit type indicating the type of each image determined by the determination unit 12 to the NAL header of each NAL unit.
  • a preceding picture As can be understood from the definition of the CRA picture, it is permissible for the preceding picture to refer to a picture that precedes the CRA picture in decoding order.
  • a preceding picture When random access to a CRA picture is performed, a preceding picture that refers to a picture preceding the CRA picture in decoding order is not normally decoded.
  • the determination unit 12 may further determine a preceding picture that is not normally decoded when random access to each CRA picture is performed, and provide the determination result to the file generation unit 15.
  • VCL buffer / non-VCL buffer The VCL buffer 13 buffers the VCL NAL unit.
  • the slice data of the CRA picture is buffered by the VCL buffer 13.
  • the non-VCL buffer 14 buffers non-VCL NAL units.
  • the file generation unit 15 generates a moving image file 20 that stores a series of encoded image data according to a file format including a header area and a data area.
  • a file format including a header area and a data area.
  • the MP4 format is used as a file format.
  • the technology according to the present disclosure is not limited to such an example, and can be applied to other types of moving image file formats having a header area and a data area.
  • data is stored in an object called a box and recorded in units of objects.
  • the boxes form a tree structure, and the parent box contains child boxes.
  • Each box type is identified by a four-letter identifier.
  • the file generation unit 15 inserts a bit stream of slice data corresponding to the VCL NAL unit into the data area (for example, mdat box) of the moving image file 20 in the decoding order. Further, the file generation unit 15 inserts one or more parameter sets corresponding to the non-VCL NAL unit into the header area (for example, moov box) of the moving image file 20. Further, in the present embodiment, the file generation unit 15 inserts CRA information for identifying one or more CRA pictures determined by the determination unit 12 in the header area of the moving image file 20. Further, the file generation unit 15 may include, in the CRA information, preceding picture information for identifying a preceding picture that is not normally decoded when random access to each CRA picture is performed.
  • Control Unit 16 controls encoding processing executed in the image encoding device 10. For example, when an instruction to start encoding is detected, the control unit 16 causes the encoding unit 11 to encode the designated image sequence. In addition, the control unit 16 causes the file generation unit 15 to generate a moving image file 20 that stores the image data encoded by the encoding unit 11. The control unit 16 may control the generation of the encoded stream so as not to break down the decoder buffer by using a virtual decoder model called HRD (Hypothetical Reference Decoder).
  • HRD HyperTextical Reference Decoder
  • FIG. 2 is an explanatory diagram for explaining an example of a file format that can be adopted in the present embodiment.
  • the moving image file 20 includes a moov box 21 and an mdat box 27.
  • boxes that are not directly related to the technology according to the present disclosure are not shown.
  • the moov box 21 is a box corresponding to the header area of the moving image file 20.
  • the moov box 21 includes a stbl box 22.
  • the stbl box (Sample Table Box) 22 is a container box including a header information box.
  • the stbl box 22 includes a stcs box 25 newly introduced in the present embodiment, in addition to the stsd box 23 and the stsc box 24.
  • the stsd box (Sample Description Box) 23 is a box that holds parameters related to actual data stored in the mdat box 27.
  • the stsd box 23 includes a hev1 box 26.
  • the hev1 box 26 is a box that holds a parameter set used when decoding image data encoded in accordance with the HEVC method.
  • the stsc box (Sample To Chunk Box) 24 is a box that holds mapping between actual data called chunks in the mdat box 27 and parameters in the stsd box 23.
  • the stcs box 25 is a newly defined box for holding CRA information for identifying one or more CRA pictures.
  • the mdat box 27 is a box corresponding to the data area of the moving image file 20.
  • the mdat box 27 includes one or more chunks 28.
  • a chunk is actual data corresponding to individual moving image tracks, audio tracks, or other types of tracks.
  • a chunk of image data encoded by the HEVC method typically, a plurality of slice data corresponding to VCL NAL units are stored in decoding order.
  • the moving image file 20 illustrated in FIG. 2 has a so-called Non-Fragmented Movie structure. That is, there is only one pair of moov box and mdat box in the moving image file 20.
  • a structure in which one moving image is fragmented into a plurality of parts and a pair of moov box and mdat box is generated for each fragmented part is called a Fragmented Movie structure.
  • FIG. 3 a comparison between the Non-Fragmented Movie structure and the Fragmented Movie structure is shown.
  • a stcs box 25 for CRA information is inserted in the moov box 21.
  • tfca boxes 25a to 25n for CRA information can be inserted into the plurality of moov boxes 21a to 21n, respectively.
  • the box identifiers (“stcs” and “tfca”) shown in FIGS. 2 and 3 are merely examples. That is, another four-letter alphabet may be used as an identifier of a box that holds CRA information.
  • the box that holds the CRA information is not actually a direct child box of the moov box, but a container box such as a stbl box or an mfra box (Movie Fragment Random Access Box). It may be inserted as a child box.
  • the box for CRA information introduced for Non-Fragmented Movie may be a dedicated box for CRA information, for example. 4 to 6 respectively show examples of stcs boxes as such dedicated boxes.
  • the stcs box is defined as a CRASampleBox class that inherits the FullBox class.
  • the CRASSampleBox class includes the number of sample numbers (sample_number) indicated by the number of entries (entry_count).
  • sample_number the number of sample numbers indicated by the number of entries (entry_count).
  • Each sample number indicates a number of a sample corresponding to a CRA picture among a series of samples included in a chunk in the mdat box 27.
  • the number of entries is equal to the number of samples corresponding to the CRA picture.
  • the CRASSampleBox class includes a set of a sample number (sample_number) and a broken sample number (broken_samples), which is the number indicated by the number of entries (entry_count). .
  • sample_number a sample number
  • broken_samples a broken sample number
  • Each sample number indicates a number of a sample corresponding to a CRA picture among a series of samples included in a chunk in the mdat box 27.
  • Each damaged sample number indicates the number of samples of the preceding picture that is not normally decoded when random access to the CRA picture indicated by the corresponding sample number is performed (for example, the number from the top in the display order). It may be indicated by the negative number of damaged samples that the number of samples of the preceding picture that is not normally decoded is unknown.
  • the number of entries is equal to the number of samples corresponding to the CRA picture.
  • the decoder can correctly decode which number of samples is a sample of a CRA picture and which preceding picture when random access to each CRA picture is performed. You can easily know if you can not.
  • the CRASampleBox class includes a set of a sample number (sample_number) and a breakage time length (broken_duration), which is the number indicated by the number of entries (entry_count). .
  • Sample_number a sample number
  • broken_duration a breakage time length
  • Each sample number indicates a number of a sample corresponding to a CRA picture among a series of samples included in a chunk in the mdat box 27.
  • Each corruption time length is the total time length of the preceding pictures that are not normally decoded when random access to the CRA picture indicated by the corresponding sample number is performed (for example, a value in a time unit defined in the mdhd block) ).
  • the time length of the preceding picture that is not normally decoded may be unknown by a negative damage time length.
  • the number of entries is equal to the number of samples corresponding to the CRA picture.
  • the CRA information is stored in a stcs box different from a box (for example, a stss box (Sync Sample Box)) in which IDR information for identifying an IDR picture is stored.
  • the CRA information may be stored in a box shared with the IDR information.
  • FIG. 7 to FIG. 9 respectively show examples of the stra box as such a shared box.
  • the stra box is defined as a RandomAccessSampleBox class that inherits the FullBox class.
  • the RandomAccessSampleBox class includes a set of a sample type (sample_type) and a sample number (sample_number) of the number indicated by the number of entries (entry_count).
  • Each sample number indicates a number of a sample corresponding to an IDR picture or a CRA picture among a series of samples included in a chunk in the mdat box 27.
  • Each sample type indicates whether the picture indicated by the corresponding sample number is an IDR picture or a CRA picture.
  • the sample type value may be, for example, the same value as the NAL unit type.
  • the number of entries is equal to the number of samples corresponding to the IDR picture or CRA picture.
  • the RandomAccessSampleBox class includes the sample type (sample_type), the sample number (sample_number), and the number of damaged samples (broken_samples) as indicated by the number of entries (entry_count). ) And set.
  • Each sample number indicates a number of a sample corresponding to an IDR picture or a CRA picture among a series of samples included in a chunk in the mdat box 27.
  • Each sample type indicates whether the picture indicated by the corresponding sample number is an IDR picture or a CRA picture.
  • Each damaged sample number indicates the number of samples of the preceding picture that is not normally decoded when random access to the picture indicated by the corresponding sample number is performed.
  • the number of damaged samples for an IDR picture may be omitted or may indicate zero.
  • the number of entries is equal to the number of samples corresponding to the IDR picture or CRA picture.
  • the RandomAccessSampleBox class includes the sample type (sample_type), the sample number (sample_number), and the breakage time length (broken_duration) of the number indicated by the number of entries (entry_count). ) And set.
  • Each sample number indicates a number of a sample corresponding to an IDR picture or a CRA picture among a series of samples included in a chunk in the mdat box 27.
  • Each sample type indicates whether the picture indicated by the corresponding sample number is an IDR picture or a CRA picture.
  • Each damage time length indicates the total time length of the preceding pictures that are not normally decoded when random access to the picture indicated by the corresponding sample number is performed.
  • the breakage time length for the IDR picture may be omitted or may indicate zero.
  • the number of entries is equal to the number of samples corresponding to the IDR picture or CRA picture.
  • the box for CRA information introduced for Fragmented Movie may be a dedicated box for CRA information, for example. 10 to 12 show examples of the tfca box as such a dedicated box.
  • the tfca box is defined as a TrackFragmentCRAAccessBox class that inherits the FullBox class.
  • the TrackFragmentCRAAccessBox class includes the number of sample numbers (sample_number) indicated by the number of entries (number_of_entry).
  • sample_number indicates each of the sample numbers corresponding to the CRA picture among a series of samples included in the chunk in the mdat box of the corresponding fragment.
  • the number of entries is equal to the number of samples corresponding to the CRA picture.
  • the TrackFragmentCRAAccessBox class includes a set of the sample number (sample_number) and the number of damaged samples (preceding_samples) of the number indicated by the number of entries (number_of_entry). .
  • Each sample number indicates each of the sample numbers corresponding to the CRA picture among a series of samples included in the chunk in the mdat box of the corresponding fragment.
  • Each damaged sample number indicates the number of samples of the preceding picture that is not normally decoded when random access to the CRA picture indicated by the corresponding sample number is performed (for example, the number from the top in the display order).
  • the decoder can correctly determine which number of samples of each fragment is a sample of a CRA picture, and which leading picture when random access to each CRA picture is performed. It can be easily known whether or not decoding is possible.
  • the TrackFragmentCRAAccessBox class includes a set of a sample number (sample_number) and a failure time length (preceding_duration) indicated by the number of entries (number_of_entry). .
  • Each sample number indicates each of the sample numbers corresponding to the CRA picture among a series of samples included in the chunk in the mdat box of the corresponding fragment.
  • Each corruption time length is the total time length of the preceding pictures that are not normally decoded when random access to the CRA picture indicated by the corresponding sample number is performed (for example, a value in a time unit defined in the mdhd block) ).
  • the time length of the preceding picture that is not normally decoded may be unknown by a negative damage time length.
  • the number of entries is equal to the number of samples corresponding to the CRA picture.
  • the CRA information is stored in a tfca box different from a box in which IDR information for identifying an IDR picture is stored.
  • the CRA information may be stored in a box shared with the IDR information.
  • FIGS. 13 to 15 show examples of the tfr2 box as such a shared box.
  • the tfr2 box is defined as an ExtTrackFragmentRandomAccessBox class that inherits the FullBox class.
  • the ExtTrackFragmentRandomAccessBox class includes a set of a sample type (sample_type) and a sample number (sample_number) of the number indicated by the number of entries (number_of_entry).
  • sample_type a sample type
  • sample_number a sample number of the number indicated by the number of entries
  • Each sample number indicates a number of a sample corresponding to an IDR picture or CRA picture among a series of samples included in a chunk in the mdat box of the corresponding fragment.
  • Each sample type indicates whether the picture indicated by the corresponding sample number is an IDR picture or a CRA picture.
  • the sample type value may be, for example, the same value as the NAL unit type.
  • the number of entries is equal to the number of samples corresponding to the IDR picture or CRA picture.
  • the ExtTrackFragmentRandomAccessBox class includes the sample type (sample_type), the sample number (sample_number), and the number of damaged samples (preceding_samples) indicated by the number of entries (number_of_entry). ) And set.
  • Each sample number indicates a number of a sample corresponding to an IDR picture or CRA picture among a series of samples included in a chunk in the mdat box of the corresponding fragment.
  • Each sample type indicates whether the picture indicated by the corresponding sample number is an IDR picture or a CRA picture.
  • Each damaged sample number indicates the number of samples of the preceding picture that is not normally decoded when random access to the picture indicated by the corresponding sample number is performed.
  • the number of damaged samples for an IDR picture may be omitted or may indicate zero.
  • the number of entries is equal to the number of samples corresponding to the IDR picture or CRA picture.
  • the ExtTrackFragmentRandomAccessBox class includes the number of sample types (sample_type), the sample number (sample_number), and the failure time length (preceding_duration) indicated by the number of entries (number_of_entry). ) And set.
  • Each sample number indicates a number of a sample corresponding to an IDR picture or CRA picture among a series of samples included in a chunk in the mdat box of the corresponding fragment.
  • Each sample type indicates whether the picture indicated by the corresponding sample number is an IDR picture or a CRA picture.
  • Each damage time length indicates the total time length of the preceding pictures that are not normally decoded when random access to the picture indicated by the corresponding sample number is performed.
  • the breakage time length for the IDR picture may be omitted or may indicate zero.
  • the number of entries is equal to the number of samples corresponding to the IDR picture or CRA picture.
  • the CRA information is stored in a newly defined extended sample box as in the examples of FIGS. 4 to 15, and the existing sample group information mechanism for grouping one or more samples is used. May be defined.
  • FIGS. 16 and 17 are explanatory diagrams for explaining a box for basic sample group information.
  • FIG. 16 shows the syntax of the SampleToGroupBox class that defines the sbgp box (Sample To Group Box).
  • the SampleToGroupBox class includes a set of a sample counter (sample_count) and a group description index (group_description_index) indicated by the number of entries (entry_count). Each set associates each sample with the sample group to which the sample belongs.
  • FIG. 17 shows the syntax of the SampleGroupDescriptionBox class that defines the sgpd box (Sample Group Description Box).
  • An instance of the SampleGroupDescriptionBox class is associated with an instance of the SampleToGroupBox class that has a common grouping type (grouping_type).
  • the SampleGroupDescriptionBox class includes an entry of sample group information defined by the VisualSampleGroupEntry class when the handler type (handler_type) indicates “video (video track)”.
  • the number of entries (entry_count) indicates the number of entries in the sample group information.
  • FIG. 18 to FIG. 23 show six examples of sample group information for CRA information for defining CRA information by utilizing such a mechanism of existing sample group information.
  • the first to third examples are examples of dedicated sample group information for CRA information.
  • the fourth to sixth examples are examples of shared sample group information for IDR information and CRA information.
  • the syntax of the CRAEntry class that inherits the VisualSampleGroupEntry class is shown.
  • the grouping type is “crap”.
  • the CRAEntry class includes only reserved fields.
  • the sample associated with the sample group of the CRAEntry class in the sbgp box described with reference to FIG. 16 is a sample of the CRA picture.
  • the CRAPPointEntry class includes the number of broken samples (broken_samples) as a group attribute.
  • the sample associated with the sample group of the CRAPPointEntry class in the sbgp box described with reference to FIG. 16 is a sample of a CRA picture.
  • the number of damaged samples indicates the number of samples of the preceding picture that is not normally decoded when random access to each CRA picture is performed (for example, the number from the top in the display order).
  • the CRAPPointEntry class includes a break time length (broken_duration) as a group attribute.
  • the damaged time length indicates the total time length of preceding pictures that are not normally decoded when random access to each CRA picture is performed.
  • the ExtRAPEntry class includes a sample type (sample_type) as a group attribute.
  • the sample associated with the sample group of the ExtRAPEntry class in the sbgp box described with reference to FIG. 16 is a sample of an IDR picture or a CRA picture.
  • the sample type indicates whether each picture is an IDR picture or a CRA picture.
  • the sample type value may be, for example, the same value as the NAL unit type.
  • the ExtRAPEntry class includes a sample type (sample_type) and the number of broken samples (broken_samples) as group attributes.
  • the number of damaged samples indicates the number of samples of the preceding picture that is not normally decoded when random access to each picture is performed. Note that the number of damaged samples for an IDR picture may be omitted or may indicate zero.
  • the ExtRAPEntry class includes a sample type (sample_type) and a breakage time length (broken_duration) as group attributes.
  • the damaged time length indicates the total time length of preceding pictures that are not normally decoded when random access to each picture is performed. Note that the breakage time length for the IDR picture may be omitted or may indicate zero.
  • CRA information can be defined without introducing a new sample box by utilizing an existing sample group information mechanism.
  • the existing decoder can be extended at a lower cost to provide effective support for random access to CRA pictures.
  • FIG. 24 is a block diagram illustrating an example of the configuration of the image decoding device 30 according to an embodiment.
  • the image decoding apparatus 30 includes a VCL buffer 31, a non-VCL buffer 32, a parameter memory 33, a decoding unit 34, an output buffer 35, a CRA information acquisition unit 36, and a control unit 37.
  • VCL buffer / non-VCL buffer The VCL buffer 31 buffers a bit stream of image data (typically slice data) read from a data area (for example, mdat box) of the moving image file 20.
  • the non-VCL buffer 32 buffers parameter information such as SPS, PPS, and APS read from the header area (for example, moov box) of the moving image file 20 and header information such as CRA information.
  • the parameter memory 33 collectively stores information in the header area of the file acquired via the non-VCL buffer 32.
  • the CRA information that can be recorded in the header area of the moving image file 20 in the various formats described above is held by the parameter memory 33 while the moving image file 20 is opened.
  • the decoding unit 34 is a decoder that operates according to the HEVC scheme.
  • the decoding unit 34 decodes the image sequence from the bit stream acquired from the data area of the moving image file 20 via the VCL buffer 31.
  • the decoding unit 34 uses parameters in the parameter set stored by the parameter memory 33 when decoding an image.
  • the decoding unit 34 rearranges the images in the decoded image sequence in the display order, and outputs the rearranged images to the output buffer 35.
  • the decoding unit 34 normally accesses the slice data stored in the decoding order in the moving image track in the moving image file 20 in order from the beginning. However, when the random access instruction is detected by the control unit 37, the decoding unit 34 randomly accesses the decoding start picture (in the middle of the moving image track) specified by the control unit 37, and starts the image sequence from the decoding start picture. Is decrypted.
  • the decoding start picture is one of an IDR picture and a CRA picture in the moving image track.
  • the output buffer 35 is a decoded picture buffer (DPB) for buffering the image decoded by the decoding unit 34.
  • the image buffered by the output buffer 35 is output to a display or processor (not shown) at the output timing of the image.
  • the CRA information acquisition unit 36 acquires CRA information that is read from the header area of the moving image file 20 into the parameter memory 33 via the non-VCL buffer 32.
  • the CRA information is information that at least identifies one or more CRA pictures in the decoded image sequence.
  • the CRA information may be information stored in a dedicated sample box of CRA information or a shared sample box. Instead, the CRA information may be sample group information for grouping one or more CRA pictures.
  • the CRA information may include preceding picture information for identifying a preceding picture that is not normally decoded when random access to each CRA picture is performed.
  • the CRA information acquisition unit 36 outputs the acquired CRA information to the control unit 37.
  • the control unit 37 controls the decoding process executed in the image decoding device 30. For example, the control unit 37 opens the moving image file 20 in response to an instruction from the user, and causes the decoding unit 34 to start decoding the image sequence. In addition, when a random access instruction is detected, the control unit 37 uses the CRA information acquired by the CRA information acquisition unit 36 to identify any CRA picture in the image sequence as a decoding start picture. Then, the control unit 37 causes the decoding unit 34 to decode the image sequence from the identified decoding start picture (that is, from the middle of the moving image track).
  • control unit 37 sets the CRA picture located closest to the timing specified in the random access instruction (for example, the timing indicated by the operated pointer of the seek bar of the video playback window) as the decoding start picture. Identify.
  • the control unit 37 skips the output from the output buffer 35 of the preceding picture that is identified using the preceding picture information and is not normally decoded (and decoded by the decoding unit 34). You may let them.
  • the preceding picture information it is possible to prevent a damaged image from being displayed on the display or output to an external processor. At that time, the control unit 37 does not need to determine afterwards whether or not each image has been normally decoded.
  • FIG. 25 is a flowchart illustrating a first example of the flow of decoding processing executed by the image decoding device 30 illustrated in FIG. The first example relates to the decoding of an image sequence having a Non-Fragmented Movie structure.
  • the control unit 37 continuously monitors a random access (RA) instruction (step S100). When the RA instruction is detected, the processing from step S110 to step S160 is executed. When the RA instruction is not detected, the decoding unit 34 decodes the images in the decoding order (step S190).
  • RA random access
  • the control unit 37 acquires a designated time T indicating the timing designated in the RA instruction (step S110).
  • the control part 37 acquires the sample number X of the sample (sample which should be displayed in the designated time T) corresponding to the designated time T (step 120).
  • the control unit 37 searches for a randomly accessible picture immediately before the sample number X using the CRA information, and specifies a decoding start picture (step S130).
  • the decoding start picture specified here is a CRA picture or an IDR picture.
  • the decoding unit 34 performs random access to the decoding start picture specified by the control unit 37 (step S160). Then, the decoding unit 34 decodes the images in the decoding order from the decoding start picture (step S190).
  • FIG. 26 is a flowchart showing an example of the flow of processing for acquiring the sample number X corresponding to the specified time T, corresponding to step S120 of FIG.
  • the control unit 37 first initializes the time variable S and the counter n to zero (step S121). Next, the control unit 37 increments the counter n (that is, adds 1 to the counter n) (step S122). Next, the control unit 37 adds the time length of the nth sample of the moving image track to the time variable S (step S123). Note that the time length of the nth sample can be indicated by a parameter (sample_delta) in a stts box (Time To Sample Box), for example. Next, the control unit 37 determines whether or not the time variable S exceeds the specified time T (S> T) (step S124). If the time variable S has not yet exceeded the specified time T, the process returns to step S122. On the other hand, when the time variable S exceeds the specified time T, the control unit 37 substitutes the value of the counter n for the sample number X (step S125).
  • the sample number X corresponding to the specified time T is acquired by such processing.
  • FIG. 27 is a flowchart showing a first example of the flow of processing for identifying a decoding start picture, corresponding to step S130 of FIG. In the first example, it is assumed that the CRA information is stored in the stcs box illustrated in FIGS. 4 to 6 or the stra box illustrated in FIGS. 7 to 9.
  • the control unit 37 first initializes the number variable M and the counter n to 1 (step S131). Next, the control unit 37 refers to the nth entry in the sample box for CRA information (step S132). Next, the control unit 37 determines whether or not the sample type (sample_type) of the nth entry indicates a predetermined value (for example, a NAL unit type value indicating a CRA picture or IDR picture) (step S133). . If the sample box for CRA information does not include a sample type, the determination here is omitted. If the sample type of the nth entry does not indicate a predetermined value, the process of step S134 thereafter is skipped, and the process proceeds to step S136.
  • a predetermined value for example, a NAL unit type value indicating a CRA picture or IDR picture
  • the control unit 37 determines whether or not the sample number (sample_number) Xn of the nth entry is equal to or smaller than the sample number X corresponding to the specified time T. Determination is made (step S134). If the sample number Xn is not less than or equal to the sample number X, the process proceeds to step S138. On the other hand, if the sample number Xn is equal to or smaller than the sample number X, the control unit 37 substitutes the sample number Xn for the number variable M (step S135). Next, the control unit 37 determines whether or not the nth entry is the last entry (step S136).
  • step S137 the control unit 37 increments the counter n (step S137), and the process returns to step S132. If the nth entry is the last entry, the process proceeds to step S138.
  • step S138 the control unit 37 substitutes the value of the number variable M for the sample number Y of the decoding start picture (step S138).
  • the same processing as in FIG. 27 may be further executed on the IDR information sample box. In that case, a value closer to the sample number X can be adopted as the sample number Y of the decoding start picture.
  • FIG. 28 is a flowchart showing a second example of a flow of processing for specifying a decoding start picture, corresponding to step S130 of FIG.
  • the CRA information is sample group information for grouping CRA pictures as illustrated in FIGS.
  • control unit 37 first initializes the number variable j to zero and the number variable M and the counter n to 1 (step S141).
  • control unit 37 refers to the nth entry in the sbgp box described with reference to FIG. 16 (step S142).
  • the sbgp box referred to here is a box having a grouping type “crap” or “rap2”.
  • control unit 37 adds the sample counter (sample_count) of the nth entry in the sbgp box to the number variable j.
  • control unit 37 determines whether or not the number variable j is equal to or smaller than the sample number X corresponding to the designated time T (step S144). If the number variable j is not less than or equal to the sample number X, the process proceeds to step S150. On the other hand, if the number variable j is equal to or smaller than the sample number X, the process proceeds to step S145.
  • step S145 the control unit 37 determines whether the group description index (group_description_index) of the nth entry is larger than zero, that is, whether the sample corresponding to the number variable j is grouped in any sample group ( Step S145).
  • the control unit 37 further sets a corresponding sample type (sample_type) to a predetermined value (for example, a value of a NAL unit type indicating a CRA picture or an IDR picture). Whether to show or not is determined (step S146).
  • the control unit 37 substitutes the number variable j for the number variable M (step S147).
  • step S147 determines whether or not the nth entry is the last entry (step S148). If the nth entry is not the last entry, the control unit 37 increments the counter n (step S149), and the process returns to step S142. If the nth entry is the last entry, the process proceeds to step S150. In step S150, the control unit 37 substitutes the value of the number variable M for the sample number Y of the decoding start picture (step S148).
  • the sample number Y of the decoding start picture is specified by the processing illustrated in FIG.
  • the IDR picture at the head of the image sequence can be a decoding start picture.
  • the stco box (Chunk Offset Box) stores the number of bytes from the beginning of the file to the beginning of each chunk.
  • the stsz box (Sample Size Box) stores the number of bytes of each sample. Therefore, if the sample number Y of the decoding start picture is specified, the position of the decoding start picture in the file (number of bytes from the beginning of the file) can be calculated based on these pieces of information.
  • FIG. 29 and FIG. 30 show the flow of processing for skipping the output of the preceding picture that is not normally decoded in the transition from step S160 to step S190 in FIG. Three examples are shown respectively.
  • the CRA information includes the number of damaged samples (broken_samples) for each CRA picture.
  • the control unit 37 substitutes the number of damaged samples of the decoding start picture into the temporary variable P (step S161).
  • the control unit 37 substitutes the output timing of the decoding start picture for the time variable t (step S162).
  • the control unit 37 initializes the number variable R to 1 (step S163).
  • step S164 the control unit 37 substitutes the output timing of the R-th sample in the output buffer 35 for the time variable X (step S164).
  • step S165 the control unit 37 determines whether the temporary variable P is zero, that is, whether the number of damaged samples is zero (step S165). If the number of damaged samples is not zero, the process proceeds to step S166. On the other hand, if the number of damaged samples is zero, the process proceeds to step S167.
  • step S166 the control unit 37 determines whether the time variable X is smaller than t, that is, whether the R-th sample is a preceding sample of the decoding start picture (step S166).
  • the R-th sample decoded by the decoding unit 34 is output from the output buffer 35 (step S167). ).
  • the Rth sample is a preceding sample of the decoding start picture, the output of the Rth sample is skipped, and the process proceeds to step S168. Thereafter, the number variable R is incremented (step S168), and the process returns to step S164.
  • the output of the preceding sample of the decoding start picture is skipped uniformly.
  • the CRA information includes the number of broken samples (broken_samples) for each CRA picture.
  • the processing from step S161 to step S163 is the same as the first example shown in FIG.
  • step S165 the control unit 37 determines whether the temporary variable P is zero, that is, whether the number of damaged samples is zero (step S165). If the number of damaged samples is not zero, the process proceeds to step S171. On the other hand, if the number of damaged samples is zero, the process proceeds to step S175. In step S171, the control unit 37 determines whether the number variable R is equal to or smaller than the temporary variable P, that is, whether the R-th sample is a damaged sample that is not normally decoded (step S171). If the Rth sample is not a damaged sample, the process proceeds to step S172. On the other hand, if the Rth sample is a damaged sample, the process proceeds to step S176.
  • step S172 the control unit 37 determines whether the temporary variable P is a negative value, that is, whether the number of damaged samples is unknown (step S172). If the number of damaged samples is unknown, the process proceeds to step S173. On the other hand, if the number of damaged samples is not unknown, the process proceeds to step S175. In step S173, the control unit 37 substitutes the output timing of the R-th sample in the output buffer 35 for the time variable X (step S173). Next, the control unit 37 determines whether the time variable X is smaller than t, that is, whether the R-th sample is a preceding sample of the decoding start picture (step S174).
  • the decoding unit 34 performs decoding.
  • the R-th sample that has been output is output from the output buffer 35 (step S175).
  • the output of the R-th sample is skipped and processed Advances to step S176. Thereafter, the number variable R is incremented (step S176), and the process returns to step S164.
  • output of samples that are not normally decoded among the preceding samples of the decoding start picture is selectively skipped.
  • the CRA information includes a break time length (broken_duration) for each CRA picture.
  • the control unit 37 substitutes the damaged time length of the decoding start picture for the temporary variable P (step S181).
  • the control unit 37 assigns the output timing (presentation_time) of one decoding target picture to the time variable Z (step S182).
  • control unit 37 determines whether the temporary variable P is larger than the time variable Z, that is, whether the output timing of the decoding target picture has not passed the damaged time length (step S183). If the output timing of the decoding target picture has exceeded the damage time length, the decoding unit 34 decodes the decoding target picture and stores the decoded picture in the output buffer 35 (step S184). When the output timing of the picture to be decoded has not exceeded the damaged time length, decoding of the picture is skipped. Thereafter, the next picture in decoding order becomes the picture to be decoded, and the process returns to step S182.
  • FIG. 32 is a flowchart illustrating a second example of the flow of decoding processing executed by the image decoding device 30 illustrated in FIG. The second example relates to decoding an image sequence having a Fragmented Movie structure.
  • the control unit 37 continuously monitors a random access (RA) instruction (step S200).
  • RA random access
  • step S210 the processing from step S210 to step S260 is executed.
  • step S290 the decoding unit 34 decodes the images in the decoding order.
  • the control unit 37 acquires a designated time T indicating the timing designated in the RA instruction (step S210). Next, the control unit 37 searches for a randomly accessible picture immediately before the designated time T using the CRA information, and specifies a decoding start picture (step S230).
  • the decoding start picture specified here is a CRA picture or an IDR picture.
  • the decoding unit 34 performs random access to the decoding start picture specified by the control unit 37 (step S260). Then, the decoding unit 34 decodes the images in the decoding order from the decoding start picture (step S290).
  • FIG. 33 is a flowchart showing an example of a process flow for identifying a decoding start picture, corresponding to step S230 of FIG. In the example of FIG. 33, it is assumed that the CRA information is stored in the tfca box illustrated in FIGS. 10 to 12 or the tfr2 box illustrated in FIGS.
  • the control unit 37 first initializes the number variable M and the counter n to 1 (step S231). Next, the control unit 37 refers to the nth entry in the sample box for CRA information of a fragment including a CRA picture (step S232). Next, the control unit 37 determines whether or not the output timing (time) of the nth entry is equal to or less than the specified time T (step S234). If the output timing of the nth entry is not less than or equal to the specified time T, the process proceeds to step S238. On the other hand, if the output timing of the nth entry is less than or equal to the specified time T, the process proceeds to step S234.
  • step S234 the control unit 37 determines whether or not the sample type (sample_type) of the nth entry indicates a predetermined value (for example, a NAL unit type value indicating a CRA picture or IDR picture) (step S234). ). If the sample box for CRA information does not include a sample type, the determination here is omitted. If the sample type of the nth entry does not indicate a predetermined value, the process at step S235 is skipped, and the process proceeds to step S236. When the sample type of the nth entry indicates a predetermined value, the control unit 37 substitutes the sample number (sample_number) Xn into the number variable M (step S235).
  • a predetermined value for example, a NAL unit type value indicating a CRA picture or IDR picture
  • step S236 determines whether or not the nth entry is the last entry. If the nth entry is not the last entry, the control unit 37 increments the counter n (step S237), and the process returns to step S232. If the nth entry is the last entry, the process proceeds to step S238. In step S238, the control unit 37 substitutes the value of the number variable M for the sample number Y of the decoding start picture (step S238).
  • the same processing as in FIG. 33 may be further performed on the IDR information sample box. In that case, the sample number Y of the decoding start picture having the output timing closer to the designated time T can be adopted.
  • the Fragmented Movie is also the decoding start picture as in the case of the Non-Fragmented Movie illustrated in FIG. Sample number Y may be identified.
  • step S290 the process for skipping the output of the preceding picture that is not normally decoded upon the transition from step S260 to step S290 may be the same as the process illustrated in FIGS.
  • the image encoding device 10 and the image decoding device 30 include a transmitter or a receiver in satellite broadcasting, cable broadcasting such as cable TV, distribution on the Internet, and distribution to terminals by cellular communication,
  • the present invention can be applied to various electronic devices such as a recording device that records an image on a medium such as an optical disk, a magnetic disk, and a flash memory, or a playback device that reproduces an image from these storage media.
  • a recording device that records an image on a medium such as an optical disk, a magnetic disk, and a flash memory
  • a playback device that reproduces an image from these storage media.
  • FIG. 34 shows an example of a schematic configuration of a television apparatus to which the above-described embodiment is applied.
  • the television apparatus 900 includes an antenna 901, a tuner 902, a demultiplexer 903, a decoder 904, a video signal processing unit 905, a display unit 906, an audio signal processing unit 907, a speaker 908, an external interface 909, a control unit 910, a user interface 911, And a bus 912.
  • Tuner 902 extracts a signal of a desired channel from a broadcast signal received via antenna 901, and demodulates the extracted signal. Then, the tuner 902 outputs the encoded bit stream obtained by the demodulation to the demultiplexer 903. In other words, the tuner 902 serves as a transmission unit in the television apparatus 900 that receives an encoded stream in which an image is encoded.
  • the demultiplexer 903 separates the video stream and audio stream of the viewing target program from the encoded bit stream, and outputs each separated stream to the decoder 904. In addition, the demultiplexer 903 extracts auxiliary data such as EPG (Electronic Program Guide) from the encoded bit stream, and supplies the extracted data to the control unit 910. Note that the demultiplexer 903 may perform descrambling when the encoded bit stream is scrambled.
  • EPG Electronic Program Guide
  • the decoder 904 decodes the video stream and audio stream input from the demultiplexer 903. Then, the decoder 904 outputs the video data generated by the decoding process to the video signal processing unit 905. In addition, the decoder 904 outputs audio data generated by the decoding process to the audio signal processing unit 907.
  • the video signal processing unit 905 reproduces the video data input from the decoder 904 and causes the display unit 906 to display the video.
  • the video signal processing unit 905 may cause the display unit 906 to display an application screen supplied via a network.
  • the video signal processing unit 905 may perform additional processing such as noise removal on the video data according to the setting.
  • the video signal processing unit 905 may generate a GUI (Graphical User Interface) image such as a menu, a button, or a cursor, and superimpose the generated image on the output image.
  • GUI Graphic User Interface
  • the display unit 906 is driven by a drive signal supplied from the video signal processing unit 905, and displays a video or an image on a video screen of a display device (for example, a liquid crystal display, a plasma display, or an OLED).
  • a display device for example, a liquid crystal display, a plasma display, or an OLED.
  • the audio signal processing unit 907 performs reproduction processing such as D / A conversion and amplification on the audio data input from the decoder 904, and outputs audio from the speaker 908.
  • the audio signal processing unit 907 may perform additional processing such as noise removal on the audio data.
  • the external interface 909 is an interface for connecting the television apparatus 900 to an external device or a network.
  • a video stream or an audio stream received via the external interface 909 may be decoded by the decoder 904. That is, the external interface 909 also has a role as a transmission unit in the television apparatus 900 that receives an encoded stream in which an image is encoded.
  • the control unit 910 has a processor such as a CPU (Central Processing Unit) and a memory such as a RAM (Random Access Memory) and a ROM (Read Only Memory).
  • the memory stores a program executed by the CPU, program data, EPG data, data acquired via a network, and the like.
  • the program stored in the memory is read and executed by the CPU when the television device 900 is activated, for example.
  • the CPU controls the operation of the television device 900 according to an operation signal input from the user interface 911, for example, by executing the program.
  • the user interface 911 is connected to the control unit 910.
  • the user interface 911 includes, for example, buttons and switches for the user to operate the television device 900, a remote control signal receiving unit, and the like.
  • the user interface 911 detects an operation by the user via these components, generates an operation signal, and outputs the generated operation signal to the control unit 910.
  • the bus 912 connects the tuner 902, the demultiplexer 903, the decoder 904, the video signal processing unit 905, the audio signal processing unit 907, the external interface 909, and the control unit 910 to each other.
  • the decoder 904 has the function of the image decoding apparatus 30 according to the above-described embodiment. Therefore, in the television apparatus 900, random access to the CRA picture can be easily executed using the above-described CRA information.
  • FIG. 35 shows an example of a schematic configuration of a mobile phone to which the above-described embodiment is applied.
  • a cellular phone 920 includes an antenna 921, a communication unit 922, an audio codec 923, a speaker 924, a microphone 925, a camera unit 926, an image processing unit 927, a demultiplexing unit 928, a recording / reproducing unit 929, a display unit 930, a control unit 931, an operation A portion 932 and a bus 933.
  • the antenna 921 is connected to the communication unit 922.
  • the speaker 924 and the microphone 925 are connected to the audio codec 923.
  • the operation unit 932 is connected to the control unit 931.
  • the bus 933 connects the communication unit 922, the audio codec 923, the camera unit 926, the image processing unit 927, the demultiplexing unit 928, the recording / reproducing unit 929, the display unit 930, and the control unit 931 to each other.
  • the mobile phone 920 has various operation modes including a voice call mode, a data communication mode, a shooting mode, and a videophone mode, and is used for sending and receiving voice signals, sending and receiving e-mail or image data, taking images, and recording data. Perform the action.
  • the analog voice signal generated by the microphone 925 is supplied to the voice codec 923.
  • the audio codec 923 converts an analog audio signal into audio data, A / D converts the compressed audio data, and compresses it. Then, the audio codec 923 outputs the compressed audio data to the communication unit 922.
  • the communication unit 922 encodes and modulates the audio data and generates a transmission signal. Then, the communication unit 922 transmits the generated transmission signal to a base station (not shown) via the antenna 921. In addition, the communication unit 922 amplifies a radio signal received via the antenna 921 and performs frequency conversion to acquire a received signal.
  • the communication unit 922 demodulates and decodes the received signal to generate audio data, and outputs the generated audio data to the audio codec 923.
  • the audio codec 923 expands the audio data and performs D / A conversion to generate an analog audio signal. Then, the audio codec 923 supplies the generated audio signal to the speaker 924 to output audio.
  • the control unit 931 generates character data constituting the e-mail in response to an operation by the user via the operation unit 932.
  • the control unit 931 causes the display unit 930 to display characters.
  • the control unit 931 generates e-mail data in response to a transmission instruction from the user via the operation unit 932, and outputs the generated e-mail data to the communication unit 922.
  • the communication unit 922 encodes and modulates email data and generates a transmission signal. Then, the communication unit 922 transmits the generated transmission signal to a base station (not shown) via the antenna 921.
  • the communication unit 922 amplifies a radio signal received via the antenna 921 and performs frequency conversion to acquire a received signal.
  • the communication unit 922 demodulates and decodes the received signal to restore the email data, and outputs the restored email data to the control unit 931.
  • the control unit 931 displays the content of the electronic mail on the display unit 930 and stores the electronic mail data in the storage medium of the recording / reproducing unit 929.
  • the recording / reproducing unit 929 has an arbitrary readable / writable storage medium.
  • the storage medium may be a built-in storage medium such as a RAM or a flash memory, or an externally mounted storage medium such as a hard disk, a magnetic disk, a magneto-optical disk, an optical disk, a USB memory, or a memory card. May be.
  • the camera unit 926 images a subject to generate image data, and outputs the generated image data to the image processing unit 927.
  • the image processing unit 927 encodes the image data input from the camera unit 926 and stores the encoded stream in the storage medium of the recording / playback unit 929.
  • the demultiplexing unit 928 multiplexes the video stream encoded by the image processing unit 927 and the audio stream input from the audio codec 923, and the multiplexed stream is the communication unit 922. Output to.
  • the communication unit 922 encodes and modulates the stream and generates a transmission signal. Then, the communication unit 922 transmits the generated transmission signal to a base station (not shown) via the antenna 921.
  • the communication unit 922 amplifies a radio signal received via the antenna 921 and performs frequency conversion to acquire a received signal.
  • These transmission signal and reception signal may include an encoded bit stream.
  • the communication unit 922 demodulates and decodes the received signal to restore the stream, and outputs the restored stream to the demultiplexing unit 928.
  • the demultiplexing unit 928 separates the video stream and the audio stream from the input stream, and outputs the video stream to the image processing unit 927 and the audio stream to the audio codec 923.
  • the image processing unit 927 decodes the video stream and generates video data.
  • the video data is supplied to the display unit 930, and a series of images is displayed on the display unit 930.
  • the audio codec 923 decompresses the audio stream and performs D / A conversion to generate an analog audio signal. Then, the audio codec 923 supplies the generated audio signal to the speaker 924 to output audio.
  • the image processing unit 927 has the functions of the image encoding device 10 and the image decoding device 30 according to the above-described embodiment. Therefore, in the mobile phone 920 or an apparatus that decodes an image encoded by the mobile phone 920, random access to the CRA picture can be easily performed using the above-described CRA information.
  • FIG. 36 shows an example of a schematic configuration of a recording / reproducing apparatus to which the above-described embodiment is applied.
  • the recording / reproducing device 940 encodes audio data and video data of a received broadcast program and records the encoded data on a recording medium.
  • the recording / reproducing device 940 may encode audio data and video data acquired from another device and record them on a recording medium, for example.
  • the recording / reproducing device 940 reproduces data recorded on the recording medium on a monitor and a speaker, for example, in accordance with a user instruction. At this time, the recording / reproducing device 940 decodes the audio data and the video data.
  • the recording / reproducing apparatus 940 includes a tuner 941, an external interface 942, an encoder 943, an HDD (Hard Disk Drive) 944, a disk drive 945, a selector 946, a decoder 947, an OSD (On-Screen Display) 948, a control unit 949, and a user interface. 950.
  • Tuner 941 extracts a signal of a desired channel from a broadcast signal received via an antenna (not shown), and demodulates the extracted signal. Then, the tuner 941 outputs the encoded bit stream obtained by the demodulation to the selector 946. That is, the tuner 941 has a role as a transmission unit in the recording / reproducing apparatus 940.
  • the external interface 942 is an interface for connecting the recording / reproducing apparatus 940 to an external device or a network.
  • the external interface 942 may be, for example, an IEEE 1394 interface, a network interface, a USB interface, or a flash memory interface.
  • video data and audio data received via the external interface 942 are input to the encoder 943. That is, the external interface 942 serves as a transmission unit in the recording / reproducing device 940.
  • the encoder 943 encodes video data and audio data when the video data and audio data input from the external interface 942 are not encoded. Then, the encoder 943 outputs the encoded bit stream to the selector 946.
  • the HDD 944 records an encoded bit stream in which content data such as video and audio is compressed, various programs, and other data on an internal hard disk. Also, the HDD 944 reads out these data from the hard disk when playing back video and audio.
  • the disk drive 945 performs recording and reading of data to and from the mounted recording medium.
  • the recording medium loaded in the disk drive 945 may be, for example, a DVD disk (DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD + R, DVD + RW, etc.) or a Blu-ray (registered trademark) disk. .
  • the selector 946 selects an encoded bit stream input from the tuner 941 or the encoder 943 when recording video and audio, and outputs the selected encoded bit stream to the HDD 944 or the disk drive 945. In addition, the selector 946 outputs the encoded bit stream input from the HDD 944 or the disk drive 945 to the decoder 947 during video and audio reproduction.
  • the decoder 947 decodes the encoded bit stream and generates video data and audio data. Then, the decoder 947 outputs the generated video data to the OSD 948. The decoder 904 outputs the generated audio data to an external speaker.
  • the OSD 948 reproduces the video data input from the decoder 947 and displays the video. Further, the OSD 948 may superimpose a GUI image such as a menu, a button, or a cursor on the video to be displayed.
  • a GUI image such as a menu, a button, or a cursor
  • the control unit 949 includes a processor such as a CPU and memories such as a RAM and a ROM.
  • the memory stores a program executed by the CPU, program data, and the like.
  • the program stored in the memory is read and executed by the CPU when the recording / reproducing apparatus 940 is activated, for example.
  • the CPU controls the operation of the recording / reproducing device 940 according to an operation signal input from the user interface 950, for example, by executing the program.
  • the user interface 950 is connected to the control unit 949.
  • the user interface 950 includes, for example, buttons and switches for the user to operate the recording / reproducing device 940, a remote control signal receiving unit, and the like.
  • the user interface 950 detects an operation by the user via these components, generates an operation signal, and outputs the generated operation signal to the control unit 949.
  • the encoder 943 has the function of the image encoding apparatus 10 according to the above-described embodiment.
  • the decoder 947 has the function of the image decoding device 30 according to the above-described embodiment. Therefore, in the recording / reproducing apparatus 940 or an apparatus that decodes an image encoded by the recording / reproducing apparatus 940, random access to the CRA picture can be easily performed using the above-described CRA information.
  • FIG. 37 shows an example of a schematic configuration of an imaging apparatus to which the above-described embodiment is applied.
  • the imaging device 960 images a subject to generate an image, encodes the image data, and records it on a recording medium.
  • the imaging device 960 includes an optical block 961, an imaging unit 962, a signal processing unit 963, an image processing unit 964, a display unit 965, an external interface 966, a memory 967, a media drive 968, an OSD 969, a control unit 970, a user interface 971, and a bus. 972.
  • the optical block 961 is connected to the imaging unit 962.
  • the imaging unit 962 is connected to the signal processing unit 963.
  • the display unit 965 is connected to the image processing unit 964.
  • the user interface 971 is connected to the control unit 970.
  • the bus 972 connects the image processing unit 964, the external interface 966, the memory 967, the media drive 968, the OSD 969, and the control unit 970 to each other.
  • the optical block 961 includes a focus lens and a diaphragm mechanism.
  • the optical block 961 forms an optical image of the subject on the imaging surface of the imaging unit 962.
  • the imaging unit 962 includes an image sensor such as a CCD or a CMOS, and converts an optical image formed on the imaging surface into an image signal as an electrical signal by photoelectric conversion. Then, the imaging unit 962 outputs the image signal to the signal processing unit 963.
  • the signal processing unit 963 performs various camera signal processing such as knee correction, gamma correction, and color correction on the image signal input from the imaging unit 962.
  • the signal processing unit 963 outputs the image data after the camera signal processing to the image processing unit 964.
  • the image processing unit 964 encodes the image data input from the signal processing unit 963 and generates encoded data. Then, the image processing unit 964 outputs the generated encoded data to the external interface 966 or the media drive 968. The image processing unit 964 also decodes encoded data input from the external interface 966 or the media drive 968 to generate image data. Then, the image processing unit 964 outputs the generated image data to the display unit 965. In addition, the image processing unit 964 may display the image by outputting the image data input from the signal processing unit 963 to the display unit 965. Further, the image processing unit 964 may superimpose display data acquired from the OSD 969 on an image output to the display unit 965.
  • the OSD 969 generates a GUI image such as a menu, a button, or a cursor, for example, and outputs the generated image to the image processing unit 964.
  • the external interface 966 is configured as a USB input / output terminal, for example.
  • the external interface 966 connects the imaging device 960 and a printer, for example, when printing an image.
  • a drive is connected to the external interface 966 as necessary.
  • a removable medium such as a magnetic disk or an optical disk is attached to the drive, and a program read from the removable medium can be installed in the imaging device 960.
  • the external interface 966 may be configured as a network interface connected to a network such as a LAN or the Internet. That is, the external interface 966 has a role as a transmission unit in the imaging device 960.
  • the recording medium mounted on the media drive 968 may be any readable / writable removable medium such as a magnetic disk, a magneto-optical disk, an optical disk, or a semiconductor memory. Further, a recording medium may be fixedly attached to the media drive 968, and a non-portable storage unit such as an internal hard disk drive or an SSD (Solid State Drive) may be configured.
  • a non-portable storage unit such as an internal hard disk drive or an SSD (Solid State Drive) may be configured.
  • the control unit 970 includes a processor such as a CPU and memories such as a RAM and a ROM.
  • the memory stores a program executed by the CPU, program data, and the like.
  • the program stored in the memory is read and executed by the CPU when the imaging device 960 is activated, for example.
  • the CPU controls the operation of the imaging device 960 according to an operation signal input from the user interface 971, for example, by executing the program.
  • the user interface 971 is connected to the control unit 970.
  • the user interface 971 includes, for example, buttons and switches for the user to operate the imaging device 960.
  • the user interface 971 detects an operation by the user via these components, generates an operation signal, and outputs the generated operation signal to the control unit 970.
  • the image processing unit 964 has the functions of the image encoding device 10 and the image decoding device 30 according to the above-described embodiment. Therefore, in an apparatus that decodes an image captured or encoded by the imaging apparatus 960, random access to a CRA picture can be easily performed using the above-described CRA information.
  • CRA information for identifying a CRA picture that can be used as a decoding start picture at the time of random access is inserted into the header area of the file format. Therefore, the decoder can easily realize random access to the CRA picture without checking the NAL unit type assigned to the image data in the data area over a series of image data.
  • CRA information can be formed by grouping CRA pictures using a sample group mechanism in the MP4 format. According to such a configuration, since the decoder does not need to handle a new sample box, the existing decoder can be expanded at a lower cost, and random access based on the CRA information can be realized.
  • an extended sample box for storing CRA information may be formed by extending a sample box in MP4 format.
  • various information such as the sample number of each CRA picture and the preceding picture information that is not normally decoded can be included in the extended sample box.
  • the extended sample box may be a dedicated box for CRA information. In that case, a decoder that does not support random access to the CRA picture need only ignore the dedicated box. Therefore, there is no demerit caused by introducing the extended sample box.
  • the extended sample box may be a shared box for IDR information and CRA information. In that case, the decoder can implement a comprehensive mechanism for random access to IDR pictures and CRA pictures by only referring to the shared box.
  • the CRA information may include preceding picture information that identifies a preceding picture that precedes each CRA picture in display order and is not normally decoded when random access to the CRA picture is performed. Since IDR pictures do not have such preceding pictures, the preceding picture information can only be generated for CRA pictures. According to such a configuration, when the random access is performed, the decoder displays a damaged image on the display based on the preceding picture information without determining afterwards whether or not the preceding picture has been normally decoded. Or being output to an external processor can be avoided.
  • An image decoding apparatus comprising: (2)
  • the file format is MP4 format,
  • the CRA information is sample group information for grouping the one or more CRA pictures.
  • the file format is MP4 format
  • the acquisition unit acquires the CRA information from an extended sample box extended to store the CRA information.
  • the image decoding device according to (1).
  • the extended sample box is a box further including IDR information for identifying an IDR (Instantaneous Decoding Refresh) picture.
  • the extended sample box is a box defined separately from a box including IDR information for identifying an IDR picture.
  • the CRA information includes preceding picture information for identifying a preceding picture that precedes each CRA picture in display order and is not normally decoded when random access to the CRA picture is performed;
  • the controller skips output of the preceding picture from the image decoding device based on the preceding picture information;
  • the image decoding device according to (6), wherein the preceding picture information indicates the number of the preceding pictures for each CRA picture.
  • the preceding picture information indicates a time length corresponding to the preceding picture for each CRA picture.
  • the control unit specifies the CRA picture located closest to the timing specified in the random access instruction as the decoding start picture using the CRA information, any one of (1) to (8)
  • the image decoding device according to item 1.
  • (10) Obtaining CRA information identifying one or more CRA (Clean Random Access) pictures in an image sequence inserted in the data area from the header area of a file format including a header area and a data area; Identifying any CRA picture in the image sequence as a decoding start picture using the CRA information when a random access instruction is detected; Decoding the image sequence from the identified decoding start picture; An image decoding method including: (11) An encoding unit that encodes an image in an image sequence to generate image data; A determination unit that determines one or more CRA (Clean Random Access) pictures in the image sequence that can be used as a decoding start picture in random access; A file generation unit that inserts CRA information for identifying the one or more CRA pictures determined by the determination unit into the header region of a file format including a header
  • the image encoding device according to (11).
  • the file format is MP4 format
  • the file generation unit stores the CRA information in an extended sample box extended to store the CRA information.
  • (14) The image encoding device according to (13), wherein the file generation unit further stores IDR information for identifying an IDR (Instantaneous Decoding Refresh) picture in the extension sample box.
  • the extended sample box is a box defined separately from a box in which IDR information for identifying an IDR picture is stored.
  • the determination unit further determines a preceding picture that precedes each CRA picture in display order and is not normally decoded when random access to the CRA picture is performed,
  • the file generation unit includes, in the CRA information, preceding picture information that identifies the preceding picture for each CRA picture determined by the determination unit;
  • the image encoding device according to any one of (12) to (15).
  • the image decoding device according to (16), wherein the preceding picture information indicates the number of the preceding pictures for each CRA picture.
  • the preceding picture information indicates a time length corresponding to the preceding picture for each CRA picture.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】ＣＲＡピクチャへのランダムアクセスを効果的にサポートするファイルフォーマットを提供すること。 【解決手段】ヘッダ領域及びデータ領域を含むファイルフォーマットの前記ヘッダ領域から、前記データ領域に挿入されている画像シーケンス内の１つ以上のＣＲＡ（Clean　Random　Access）ピクチャを識別するＣＲＡ情報を取得する取得部と、ランダムアクセスの指示が検出された場合に、前記ＣＲＡ情報を用いて、前記画像シーケンス内のいずれかのＣＲＡピクチャを復号開始ピクチャとして特定する制御部と、前記制御部により特定された前記復号開始ピクチャから、前記画像シーケンスを復号する復号部と、を備える画像復号装置を提供する。

Description

画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法
　本開示は、画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法に関する。
　画像符号化方式の標準仕様の１つであるＨ．２６４／ＡＶＣでは、各画像（ピクチャ）は、１つ以上のスライスに分割される。そして各スライスは、Ｉスライス（Intra　Slice）、Ｐスライス（Predictive　Slice）及びＢスライス（Bi-predictive　Slice）のいずれかに分類される。Ｉスライスは、他の画像を参照することなく独立して復号されるスライスである。Ｐスライスは、単一の他の画像を参照することにより復号されるスライスである。Ｂスライスは、複数の他の画像を参照することにより復号されるスライスである。Ｉスライスのみからなる、シーケンスの先頭のピクチャは、ＩＤＲ（Instantaneous　Decoding　Refresh）ピクチャと呼ばれる。ＩＤＲピクチャは、ＮＡＬ（Network　Abstraction　Layer）ユニットタイプの値によって識別される。ＩＤＲピクチャに後続する同一シーケンス内のピクチャは、復号順（decoding　order）でＩＤＲピクチャよりも前のピクチャを参照せず、表示順（presentation　order）でＩＤＲピクチャよりも後にのみ位置する。従って、ある符号化ストリームの映像の途中の時点にランダムアクセス（ストリームの先頭からの復号ではなく途中からの復号／再生）しようとする場合、指定される時点の近傍のＩＤＲピクチャから、映像を適切に復号することができる。
　Ｈ．２６４／ＡＶＣに続く次世代の画像符号化方式であるＨＥＶＣ（High　Efficiency　Video　Coding）の標準化作業では、ＩＤＲピクチャとは別に、ＣＲＡ（Clean　Random　Access）ピクチャをＮＡＬユニットタイプの値によって識別することが提案されている。ＣＲＡピクチャは、シーケンスの途中のＩスライスのみからなるピクチャである。ＣＲＡピクチャに復号順及び表示順の双方で後続するピクチャは、復号順でＣＲＡピクチャに先行するピクチャ及び表示順でＣＲＡピクチャに先行するピクチャの双方を参照しない（下記非特許文献２参照）。従って、映像の途中の時点のＣＲＡピクチャへのランダムアクセス（ＣＲＡピクチャからの映像の復号）を行う場合、ＣＲＡピクチャに表示順で後続するピクチャの復号処理を破綻なく行うことができる。
Benjamin　Bross,　Woo-Jin　Han,　Jens-Rainer　Ohm,　Gary　J.　Sullivan,　Thomas　Wiegand,　"High　efficiency　video　coding　(HEVC)　text　specification　draft　6"，JCTVC-H1003　ver20,　2012年2月17日 Ye-Kui　Wang,　"Report　of　the　BoG　on　clean　random　access　(CRA)　picture"，JCTVC-F759,　2011年7月14-22日
　ＩＤＲピクチャはシーケンスの先頭に１つだけ存在するのに対して、ＣＲＡピクチャはシーケンスの途中に複数存在し得る。従って、ＣＲＡピクチャの導入は、映像内のランダムアクセス可能なポイントが増加することを意味する。これは、映像の再生又は編集の用途において、ユーザの利便性を大幅に向上させる潜在的な可能性を有する。しかし、ＨＥＶＣ方式で符号化された符号化ストリームを格納する既存のファイルフォーマットでは、ＣＲＡピクチャへのランダムアクセスを効果的にサポートする情報エレメントが定義されていない。ＭＰＥＧ－４　Ｐａｒｔ１４（ＩＳＯ／ＩＥＣ１４４９６－１４：２００３、以下、ＭＰ４という）フォーマットを例にとると、データ領域（ｍｄａｔボックス）に格納されるチャンク内の各サンプルのＮＡＬユニットタイプを参照しなければ、どのピクチャがＣＲＡピクチャであるかを識別することができない。これでは、ＣＲＡピクチャへのランダムアクセスのために過剰な処理コストを要してしまう。
　従って、ＣＲＡピクチャへのランダムアクセスを効果的にサポートするファイルフォーマットが提供されることが望ましい。
　本開示によれば、ヘッダ領域及びデータ領域を含むファイルフォーマットの前記ヘッダ領域から、前記データ領域に挿入されている画像シーケンス内の１つ以上のＣＲＡピクチャを識別するＣＲＡ情報を取得する取得部と、ランダムアクセスの指示が検出された場合に、前記ＣＲＡ情報を用いて、前記画像シーケンス内のいずれかのＣＲＡピクチャを復号開始ピクチャとして特定する制御部と、前記制御部により特定された前記復号開始ピクチャから、前記画像シーケンスを復号する復号部と、を備える画像復号装置が提供される。
　また、本開示によれば、ヘッダ領域及びデータ領域を含むファイルフォーマットの前記ヘッダ領域から、前記データ領域に挿入されている画像シーケンス内の１つ以上のＣＲＡピクチャを識別するＣＲＡ情報を取得することと、ランダムアクセスの指示が検出された場合に、前記ＣＲＡ情報を用いて、前記画像シーケンス内のいずれかのＣＲＡピクチャを復号開始ピクチャとして特定することと、特定された前記復号開始ピクチャから、前記画像シーケンスを復号することと、を含む画像復号方法が提供される。
　また、本開示によれば、画像シーケンス内の画像を符号化して、画像データを生成する符号化部と、ランダムアクセスの際に復号開始ピクチャとして使用可能な前記画像シーケンス内の１つ以上のＣＲＡピクチャを判定する判定部と、ヘッダ領域及びデータ領域を含むファイルフォーマットの前記ヘッダ領域に前記判定部により判定された前記１つ以上のＣＲＡピクチャを識別するＣＲＡ情報を挿入し、前記データ領域に前記画像データを挿入するファイル生成部と、を備える画像符号化装置が提供される。
　また、本開示によれば、画像シーケンス内の画像を符号化して、画像データを生成することと、ランダムアクセスの際に復号開始ピクチャとして使用可能な前記画像シーケンス内の１つ以上のＣＲＡピクチャを判定することと、ヘッダ領域及びデータ領域を含むファイルフォーマットの前記ヘッダ領域に、判定された前記１つ以上のＣＲＡピクチャを識別するＣＲＡ情報を挿入することと、前記データ領域に前記画像データを挿入することと、を含む画像符号化方法が提供される。
　本開示に係る技術によれば、ＣＲＡピクチャへのランダムアクセスを既存の手法よりも簡易に実現することが可能となる。
一実施形態に係る画像符号化装置の構成の一例を示すブロック図である。 一実施形態において採用され得るファイルフォーマットの一例について説明するための説明図である。 一実施形態において採用され得るファイルフォーマットの他の例について説明するための説明図である。 Non-Fragmented　Movieに関するＣＲＡ情報用の専用ボックスの第１の例について説明するための説明図である。 Non-Fragmented　Movieに関するＣＲＡ情報用の専用ボックスの第２の例について説明するための説明図である。 Non-Fragmented　Movieに関するＣＲＡ情報用の専用ボックスの第３の例について説明するための説明図である。 Non-Fragmented　Movieに関するランダムアクセス情報用の共用ボックスの第１の例について説明するための説明図である。 Non-Fragmented　Movieに関するランダムアクセス情報用の共用ボックスの第２の例について説明するための説明図である。 Non-Fragmented　Movieに関するランダムアクセス情報用の共用ボックスの第３の例について説明するための説明図である。 Fragmented　Movieに関するＣＲＡ情報用の専用ボックスの第１の例について説明するための説明図である。 Fragmented　Movieに関するＣＲＡ情報用の専用ボックスの第２の例について説明するための説明図である。 Fragmented　Movieに関するＣＲＡ情報用の専用ボックスの第３の例について説明するための説明図である。 Fragmented　Movieに関するランダムアクセス情報用の共用ボックスの第１の例について説明するための説明図である。 Fragmented　Movieに関するランダムアクセス情報用の共用ボックスの第２の例について説明するための説明図である。 Fragmented　Movieに関するランダムアクセス情報用の共用ボックスの第３の例について説明するための説明図である。 基本的なサンプルグループ情報用のボックスについて説明するための第１の説明図である。 基本的なサンプルグループ情報用のボックスについて説明するための第２の説明図である。 ＣＲＡピクチャをグルーピングするサンプルグループの定義の第１の例について説明するための説明図である。 ＣＲＡピクチャをグルーピングするサンプルグループの定義の第２の例について説明するための説明図である。 ＣＲＡピクチャをグルーピングするサンプルグループの定義の第３の例について説明するための説明図である。 ＣＲＡピクチャをグルーピングするサンプルグループの定義の第４の例について説明するための説明図である。 ＣＲＡピクチャをグルーピングするサンプルグループの定義の第５の例について説明するための説明図である。 ＣＲＡピクチャをグルーピングするサンプルグループの定義の第６の例について説明するための説明図である。 一実施形態に係る画像復号装置の構成の一例を示すブロック図である。 図２４に例示した装置により実行される復号処理の流れの第１の例を示すフローチャートである。 指定時刻に対応するサンプル番号を取得するための処理の流れの一例を示すフローチャートである。 復号開始ピクチャを特定するための処理の流れの第１の例を示すフローチャートである。 復号開始ピクチャを特定するための処理の流れの第２の例を示すフローチャートである。 正常に復号されない先行ピクチャの出力をスキップするための処理の流れの第１の例を示すフローチャートである。 正常に復号されない先行ピクチャの出力をスキップするための処理の流れの第２の例を示すフローチャートである。 正常に復号されない先行ピクチャの出力をスキップするための処理の流れの第３の例を示すフローチャートである。 図２４に例示した装置により実行される復号処理の流れの第２の例を示すフローチャートである。 復号開始ピクチャを特定するための処理の流れの第３の例を示すフローチャートである。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、以下の順序で説明を行う。
　　１．一実施形態に係る画像符号化装置の構成例
　　２．ＣＲＡ情報の例
　　　２－１．ＣＲＡ情報用の専用ボックス（Non-Fragmented　Movie）
　　　２－２．ランダムアクセス情報用の共用ボックス（Non-Fragmented　Movie）
　　　２－３．ＣＲＡ情報用の専用ボックス（Fragmented　Movie）
　　　２－４．ランダムアクセス情報用の共用ボックス（Fragmented　Movie）
　　　２－５．サンプルグループの活用
　　３．一実施形態に係る画像復号装置の構成例
　　４．復号処理の流れ
　　　４－１．Non-Fragmented　Movieのための復号処理
　　　４－２．Fragmented　Movieのための復号処理
　　５．応用例
　　６．まとめ
　＜１．一実施形態に係る画像符号化装置の構成例＞
　本節では、ＣＲＡピクチャへのランダムアクセスをサポートする新たなファイルフォーマットの動画ファイルに、ＨＥＶＣ方式に従って符号化された画像データを記録する画像符号化装置について説明する。
　図１は、一実施形態に係る画像符号化装置１０の構成の一例を示すブロック図である。図１を参照すると、画像符号化装置１０は、符号化部１１、判定部１２、ＶＣＬバッファ１３、非ＶＣＬバッファ１４、ファイル生成部１５及び制御部１６を備える。
　　（１）符号化部
　符号化部１１は、ＨＥＶＣ方式に従って動作するエンコーダである。符号化部１１は、画像符号化装置１０に接続されるカメラ又はテレビジョンチューナなどの動画ソースから、符号化すべき画像シーケンスを取得する。そして、符号化部１１は、取得した画像シーケンス内の各画像についてイントラ予測、フレーム間予測、直交変換、量子化及び可逆符号化などの様々な処理を実行することにより、符号化ビットストリームを生成する。画像の実体に相当するスライスデータは、ＶＣＬ（Video　Coding　Layer）　ＮＡＬユニットとして生成される。一方、ＳＰＳ（Sequence　Parameter　Set）、ＰＰＳ（Picture　Parameter　Set）及びＡＰＳ（Adaptation　Parameter　Set）などのパラメータセットは、非ＶＣＬ　ＮＡＬユニットとして生成され得る。符号化部１１は、ＶＣＬ　ＮＡＬユニット、即ちスライスデータのビットストリームを、ＶＣＬバッファ１３を介してファイル生成部１５へ出力する。また、符号化部１１は、パラメータセットを、非ＶＣＬバッファ１４を介してファイル生成部１５へ出力する。
　　（２）判定部
　判定部１２は、符号化部１１により符号化される画像シーケンス内の各画像のタイプを判定する。より具体的には、本実施形態において、判定部１２は、各画像がＩＤＲピクチャ、ＣＲＡピクチャ及びそれ以外のピクチャのいずれであるかを少なくとも判定する。ＩＤＲピクチャ及びＣＲＡピクチャの双方とも、Ｉスライスのみからなるピクチャである。上述したように、ＩＤＲピクチャは、シーケンスの先頭のピクチャである。ＩＤＲピクチャに後続する同一シーケンス内のピクチャは、符号化順（復号順）でＩＤＲピクチャよりも前のピクチャを参照せず、且つ表示順でＩＤＲピクチャよりも後にのみ位置する。ＣＲＡピクチャは、シーケンスの途中に位置し、デコーダ側でのランダムアクセスの際に復号開始ピクチャとして使用可能なピクチャである。ＣＲＡピクチャに符号化順（復号順）及び表示順の双方で後続するピクチャは、符号化順（復号順）でＣＲＡピクチャに先行するピクチャ及び表示順でＣＲＡピクチャに先行するピクチャの双方を参照しない。判定部１２は、判定の結果を、符号化部１１及びファイル生成部１５へ出力する。符号化部１１は、判定部１２により判定された各画像のタイプを示すＮＡＬユニットタイプを、各ＮＡＬユニットのＮＡＬヘッダに付与する。
　ところで、ＣＲＡピクチャへのランダムアクセスが行われる場合、ランダムアクセス先のＣＲＡピクチャ及び当該ＣＲＡピクチャに復号順で後続するピクチャのみが、復号の対象となる。但し、復号順でＣＲＡピクチャに後続し、表示順でＣＲＡピクチャに先行するピクチャも存在し得る。本明細書では、そのようなピクチャを先行ピクチャという。ＣＲＡピクチャの定義から理解されるように、復号順でＣＲＡピクチャに先行するピクチャを先行ピクチャが参照することは、許容される。ＣＲＡピクチャへのランダムアクセスが行われると、復号順でＣＲＡピクチャに先行するピクチャを参照する先行ピクチャは、正常に復号されない。なぜなら、当該先行ピクチャの参照ピクチャは復号されていないためである。即ち、ランダムアクセスが行われる場合に、復号の対象となる先行ピクチャが正常に復号可能か否かは、先行ピクチャの参照関係に依存する。そこで、判定部１２は、各ＣＲＡピクチャへのランダムアクセスが行われた場合に正常に復号されない先行ピクチャをさらに判定し、その判定結果をファイル生成部１５へ提供してもよい。
　　（３）ＶＣＬバッファ／非ＶＣＬバッファ
　ＶＣＬバッファ１３は、ＶＣＬ　ＮＡＬユニットをバッファリングする。ＣＲＡピクチャのスライスデータは、ＶＣＬバッファ１３によりバッファリングされる。非ＶＣＬバッファ１４は、非ＶＣＬ　ＮＡＬユニットをバッファリングする。
　　（４）ファイル生成部
　ファイル生成部１５は、ヘッダ領域及びデータ領域を含むファイルフォーマットに従って、符号化された一連の画像データを格納する動画ファイル２０を生成する。本明細書では、ファイルフォーマットとしてＭＰ４フォーマットが利用される例を主に説明する。しかしながら、本開示に係る技術は、かかる例に限定されず、ヘッダ領域とデータ領域とを有するその他の種類の動画ファイルフォーマットに適用可能である。
　ＭＰ４フォーマットでは、データは、ボックスと呼ばれるオブジェクトに格納され、オブジェクト単位で記録される。１つのファイル内でボックスはツリー構造を形成し、親ボックスは子ボックスを含む。各ボックスの種類は、アルファベット４文字の識別子によって識別される。
　より具体的には、ファイル生成部１５は、動画ファイル２０のデータ領域（例えば、ｍｄａｔボックス）に、ＶＣＬ　ＮＡＬユニットに相当するスライスデータのビットストリームを、復号順で挿入する。また、ファイル生成部１５は、動画ファイル２０のヘッダ領域（例えば、ｍｏｏｖボックス）に、非ＶＣＬ　ＮＡＬユニットに相当する１つ以上のパラメータセットを挿入する。さらに、本実施形態において、ファイル生成部１５は、動画ファイル２０のヘッダ領域に、判定部１２により判定された１つ以上のＣＲＡピクチャを識別するＣＲＡ情報を挿入する。さらに、ファイル生成部１５は、各ＣＲＡピクチャへのランダムアクセスが行われた場合に正常に復号されない先行ピクチャを識別するための先行ピクチャ情報をＣＲＡ情報に含めてもよい。
　　（５）制御部
　制御部１６は、画像符号化装置１０において実行される符号化処理を制御する。例えば、制御部１６は、符号化開始の指示が検出されると、指定された画像シーケンスを符号化部１１に符号化させる。また、制御部１６は、符号化部１１により符号化された画像データを格納する動画ファイル２０をファイル生成部１５に生成させる。制御部１６は、ＨＲＤ（Hypothetical　Reference　Decoder；仮想参照デコーダ）と呼ばれる仮想的なデコーダのモデルを用いて、デコーダのバッファを破綻させないように、符号化ストリームの生成を制御してもよい。
　＜２．ＣＲＡ情報の例＞
　図２は、本実施形態において採用され得るファイルフォーマットの一例について説明するための説明図である。図２を参照すると、動画ファイル２０は、ｍｏｏｖボックス２１及びｍｄａｔボックス２７を含む。なお、説明の簡明さのために、本開示に係る技術に直接的に関連しないボックスは、図示されていない。
　ｍｏｏｖボックス２１は、動画ファイル２０のヘッダ領域に相当するボックスである。ｍｏｏｖボックス２１は、ｓｔｂｌボックス２２を含む。ｓｔｂｌボックス（Sample　Table　Box）２２は、ヘッダ情報用のボックスを含むコンテナボックスである。ｓｔｂｌボックス２２は、ｓｔｓｄボックス２３及びｓｔｓｃボックス２４に加えて、本実施形態において新たに導入されるｓｔｃｓボックス２５を含む。ｓｔｓｄボックス（Sample　Description　Box）２３は、ｍｄａｔボックス２７に格納される実データに関連するパラメータを保持するボックスである。ｓｔｓｄボックス２３は、ｈｅｖ１ボックス２６を含む。ｈｅｖ１ボックス２６は、ＨＥＶＣ方式に従って符号化された画像データを復号する際に使用されるパラメータセットを保持するボックスである。ｓｔｓｃボックス（Sample　To　Chunk　Box）２４は、ｍｄａｔボックス２７内のチャンクと呼ばれる実データとｓｔｓｄボックス２３内のパラメータとの間のマッピングを保持するボックスである。ｓｔｃｓボックス２５は、１つ以上のＣＲＡピクチャを識別するＣＲＡ情報を保持するための、新たに定義されるボックスである。
　ｍｄａｔボックス２７は、動画ファイル２０のデータ領域に相当するボックスである。ｍｄａｔボックス２７は、１つ以上のチャンク２８を含む。チャンクとは、個々の動画トラック、音声トラック又はその他の種類のトラックに相当する実データである。ＨＥＶＣ方式で符号化された画像データのチャンクには、典型的には、ＶＣＬ　ＮＡＬユニットにそれぞれ相当する複数のスライスデータが復号順で格納される。
　図２に例示した動画ファイル２０は、いわゆるNon-Fragmented　Movie構造を有する。即ち、ｍｏｏｖボックス及びｍｄａｔボックスのペアが、動画ファイル２０内に１つのみ存在する。これに対し、１つの動画が複数の部分に断片化され、断片化された部分ごとにｍｏｏｖボックス及びｍｄａｔボックスのペアが生成される構造を、Fragmented　Movie構造という。図３を参照すると、Non-Fragmented　Movie構造とFragmented　Movie構造との対比が示されている。Non-Fragmented　Movie構造においては、ｍｏｏｖボックス２１内に、ＣＲＡ情報用のｓｔｃｓボックス２５が挿入される。一方、Fragmented　Movie構造においては、複数のｍｏｏｖボックス２１ａ～２１ｎ内に、それぞれ、ＣＲＡ情報用のｔｆｃａボックス２５ａ～２５ｎが挿入され得る。これら新たに定義されるボックスのシンタックスの様々な例について、本節で詳細に説明する。なお、図２及び図３に示したボックスの識別子（“ｓｔｃｓ”及び“ｔｆｃａ”）は、一例に過ぎない。即ち、他の４文字のアルファベットが、ＣＲＡ情報を保持するボックスの識別子として使用されてもよい。また、図３の例に関わらず、ＣＲＡ情報を保持するボックスは、実際には、ｍｏｏｖボックスの直接的な子ボックスではなく、ｓｔｂｌボックス又はｍｆｒａボックス（Movie　Fragment　Random　Access　Box）などのコンテナボックスの子ボックスとして挿入されてよい。
　　［２－１．ＣＲＡ情報用の専用ボックス（Non-Fragmented　Movie）］
　Non-Fragmented　Movieのために導入されるＣＲＡ情報用のボックスは、例えば、ＣＲＡ情報のための専用のボックスであってよい。図４～図６は、そのような専用ボックスとしてのｓｔｃｓボックスの例をそれぞれ示している。ｓｔｃｓボックスは、ＦｕｌｌＢｏｘクラスを継承するＣＲＡＳａｍｐｌｅＢｏｘクラスとして定義される。
　　　（１）第１の例
　図４に示した第１の例において、ＣＲＡＳａｍｐｌｅＢｏｘクラスは、エントリ数（entry_count）により示される数のサンプル番号（sample_number）を含む。各サンプル番号は、ｍｄａｔボックス２７内のチャンクに含まれる一連のサンプルのうち、ＣＲＡピクチャに相当するサンプルの番号の各々を示す。エントリ数は、ＣＲＡピクチャに相当するサンプルの数に等しい。このようなｓｔｃｓボックスを参照することにより、デコーダは、何番目のサンプルがＣＲＡピクチャのサンプルであるかを簡易に知ることができる。
　　　（２）第２の例
　図５に示した第２の例において、ＣＲＡＳａｍｐｌｅＢｏｘクラスは、エントリ数（entry_count）により示される数の、サンプル番号（sample_number）と破損サンプル数（broken_samples）とのセットを含む。各サンプル番号は、ｍｄａｔボックス２７内のチャンクに含まれる一連のサンプルのうち、ＣＲＡピクチャに相当するサンプルの番号の各々を示す。各破損サンプル数は、対応するサンプル番号により示されるＣＲＡピクチャへのランダムアクセスが行われた場合に正常に復号されない先行ピクチャのサンプル数（例えば、表示順での先頭からの数）を示す。なお、正常に復号されない先行ピクチャのサンプル数が未知であることが、負の値の破損サンプル数によって示されてもよい。エントリ数は、ＣＲＡピクチャに相当するサンプルの数に等しい。このようなｓｔｃｓボックスを参照することにより、デコーダは、何番目のサンプルがＣＲＡピクチャのサンプルであるか、及び、各ＣＲＡピクチャへのランダムアクセスが行われる場合にどの先行ピクチャを正常に復号することができないかを、簡易に知ることができる。
　　　（３）第３の例
　図６に示した第３の例において、ＣＲＡＳａｍｐｌｅＢｏｘクラスは、エントリ数（entry_count）により示される数の、サンプル番号（sample_number）と破損時間長（broken_duration）とのセットを含む。各サンプル番号は、ｍｄａｔボックス２７内のチャンクに含まれる一連のサンプルのうち、ＣＲＡピクチャに相当するサンプルの番号の各々を示す。各破損時間長は、対応するサンプル番号により示されるＣＲＡピクチャへのランダムアクセスが行われた場合に正常に復号されない先行ピクチャの合計時間長（例えば、ｍｄｈｄブロック内で定義される時間単位での値）を示す。なお、正常に復号されない先行ピクチャの時間長が未知であることが、負の値の破損時間長によって示されてもよい。エントリ数は、ＣＲＡピクチャに相当するサンプルの数に等しい。このようなｓｔｃｓボックスを参照することにより、デコーダは、何番目のサンプルがＣＲＡピクチャのサンプルであるか、及び、各ＣＲＡピクチャへのランダムアクセスが行われる場合にどの先行ピクチャを正常に復号することができないかを、簡易に知ることができる。
　　［２－２．ランダムアクセス情報用の共用ボックス（Non-Fragmented　Movie）］
　前項の３つの例では、ＣＲＡ情報は、ＩＤＲピクチャを識別するＩＤＲ情報が格納されるボックス（例えば、ｓｔｓｓボックス（Sync　Sample　Box））とは異なるｓｔｃｓボックス内に格納される。これに対し、ＣＲＡ情報は、ＩＤＲ情報と共用のボックス内に格納されてもよい。図７～図９は、そのような共用ボックスとしてのｓｔｒａボックスの例をそれぞれ示している。ｓｔｒａボックスは、ＦｕｌｌＢｏｘクラスを継承するＲａｎｄｏｍＡｃｃｅｓｓＳａｍｐｌｅＢｏｘクラスとして定義される。
　　　（１）第１の例
　図７に示した第１の例において、ＲａｎｄｏｍＡｃｃｅｓｓＳａｍｐｌｅＢｏｘクラスは、エントリ数（entry_count）により示される数の、サンプルタイプ（sample_type）とサンプル番号（sample_number）とのセットを含む。各サンプル番号は、ｍｄａｔボックス２７内のチャンクに含まれる一連のサンプルのうち、ＩＤＲピクチャ又はＣＲＡピクチャに相当するサンプルの番号の各々を示す。各サンプルタイプは、対応するサンプル番号により示されるピクチャがＩＤＲピクチャ及びＣＲＡピクチャのいずれであるかを示す。サンプルタイプの値は、例えば、ＮＡＬユニットタイプと同一の値であってよい。エントリ数は、ＩＤＲピクチャ又はＣＲＡピクチャに相当するサンプルの数に等しい。このようなｓｔｒａボックスを参照することにより、デコーダは、何番目のサンプルがＩＤＲピクチャのサンプルであって、何番目のサンプルがＣＲＡピクチャのサンプルであるかを、簡易に知ることができる。
　　　（２）第２の例
　図８に示した第２の例において、ＲａｎｄｏｍＡｃｃｅｓｓＳａｍｐｌｅＢｏｘクラスは、エントリ数（entry_count）により示される数の、サンプルタイプ（sample_type）とサンプル番号（sample_number）と破損サンプル数（broken_samples）とのセットを含む。各サンプル番号は、ｍｄａｔボックス２７内のチャンクに含まれる一連のサンプルのうち、ＩＤＲピクチャ又はＣＲＡピクチャに相当するサンプルの番号の各々を示す。各サンプルタイプは、対応するサンプル番号により示されるピクチャがＩＤＲピクチャ及びＣＲＡピクチャのいずれであるかを示す。各破損サンプル数は、対応するサンプル番号により示されるピクチャへのランダムアクセスが行われた場合に正常に復号されない先行ピクチャのサンプル数を示す。なお、ＩＤＲピクチャについての破損サンプル数は、省略されてもよく、又はゼロを示してもよい。エントリ数は、ＩＤＲピクチャ又はＣＲＡピクチャに相当するサンプルの数に等しい。このようなｓｔｒａボックスを参照することにより、デコーダは、何番目のサンプルがＩＤＲピクチャのサンプルであって、何番目のサンプルがＣＲＡピクチャのサンプルであるか、及び、各ＣＲＡピクチャへのランダムアクセスが行われる場合にどの先行ピクチャを正常に復号することができないかを、簡易に知ることができる。
　　　（３）第３の例
　図９に示した第３の例において、ＲａｎｄｏｍＡｃｃｅｓｓＳａｍｐｌｅＢｏｘクラスは、エントリ数（entry_count）により示される数の、サンプルタイプ（sample_type）とサンプル番号（sample_number）と破損時間長（broken_duration）とのセットを含む。各サンプル番号は、ｍｄａｔボックス２７内のチャンクに含まれる一連のサンプルのうち、ＩＤＲピクチャ又はＣＲＡピクチャに相当するサンプルの番号の各々を示す。各サンプルタイプは、対応するサンプル番号により示されるピクチャがＩＤＲピクチャ及びＣＲＡピクチャのいずれであるかを示す。各破損時間長は、対応するサンプル番号により示されるピクチャへのランダムアクセスが行われた場合に正常に復号されない先行ピクチャの合計時間長を示す。なお、ＩＤＲピクチャについての破損時間長は、省略されてもよく、又はゼロを示してもよい。エントリ数は、ＩＤＲピクチャ又はＣＲＡピクチャに相当するサンプルの数に等しい。このようなｓｔｒａボックスを参照することにより、デコーダは、何番目のサンプルがＩＤＲピクチャのサンプルであって、何番目のサンプルがＣＲＡピクチャのサンプルであるか、及び、各ＣＲＡピクチャへのランダムアクセスが行われる場合にどの先行ピクチャを正常に復号することができないかを、簡易に知ることができる。
　　［２－３．ＣＲＡ情報用の専用ボックス（Fragmented　Movie）］
　Fragmented　Movieのために導入されるＣＲＡ情報用のボックスは、例えば、ＣＲＡ情報のための専用のボックスであってよい。図１０～図１２は、そのような専用ボックスとしてのｔｆｃａボックスの例をそれぞれ示している。ｔｆｃａボックスは、ＦｕｌｌＢｏｘクラスを継承するＴｒａｃｋＦｒａｇｍｅｎｔＣＲＡＡｃｃｅｓｓＢｏｘクラスとして定義される。
　　　（１）第１の例
　図１０に示した第１の例において、ＴｒａｃｋＦｒａｇｍｅｎｔＣＲＡＡｃｃｅｓｓＢｏｘクラスは、エントリ数（number_of_entry）により示される数のサンプル番号（sample_number）を含む。各サンプル番号は、対応するフラグメントのｍｄａｔボックス内のチャンクに含まれる一連のサンプルのうち、ＣＲＡピクチャに相当するサンプルの番号の各々を示す。エントリ数は、ＣＲＡピクチャに相当するサンプルの数に等しい。このようなｔｆｃａボックスを参照することにより、デコーダは、各フラグメントの何番目のサンプルがＣＲＡピクチャのサンプルであるかを簡易に知ることができる。
　　　（２）第２の例
　図１１に示した第２の例において、ＴｒａｃｋＦｒａｇｍｅｎｔＣＲＡＡｃｃｅｓｓＢｏｘクラスは、エントリ数（number_of_entry）により示される数の、サンプル番号（sample_number）と破損サンプル数（preceding_samples）とのセットを含む。各サンプル番号は、対応するフラグメントのｍｄａｔボックス内のチャンクに含まれる一連のサンプルのうち、ＣＲＡピクチャに相当するサンプルの番号の各々を示す。各破損サンプル数は、対応するサンプル番号により示されるＣＲＡピクチャへのランダムアクセスが行われた場合に正常に復号されない先行ピクチャのサンプル数（例えば、表示順での先頭からの数）を示す。なお、正常に復号されない先行ピクチャのサンプル数が未知であることが、負の値の破損サンプル数によって示されてもよい。エントリ数は、ＣＲＡピクチャに相当するサンプルの数に等しい。このようなｔｆｃａボックスを参照することにより、デコーダは、各フラグメントの何番目のサンプルがＣＲＡピクチャのサンプルであるか、及び、各ＣＲＡピクチャへのランダムアクセスが行われる場合にどの先行ピクチャを正常に復号することができないかを、簡易に知ることができる。
　　　（３）第３の例
　図１２に示した第３の例において、ＴｒａｃｋＦｒａｇｍｅｎｔＣＲＡＡｃｃｅｓｓＢｏｘクラスは、エントリ数（number_of_entry）により示される数の、サンプル番号（sample_number）と破損時間長（preceding_duration）とのセットを含む。各サンプル番号は、対応するフラグメントのｍｄａｔボックス内のチャンクに含まれる一連のサンプルのうち、ＣＲＡピクチャに相当するサンプルの番号の各々を示す。各破損時間長は、対応するサンプル番号により示されるＣＲＡピクチャへのランダムアクセスが行われた場合に正常に復号されない先行ピクチャの合計時間長（例えば、ｍｄｈｄブロック内で定義される時間単位での値）を示す。なお、正常に復号されない先行ピクチャの時間長が未知であることが、負の値の破損時間長によって示されてもよい。エントリ数は、ＣＲＡピクチャに相当するサンプルの数に等しい。このようなｔｆｃａボックスを参照することにより、デコーダは、各フラグメントの何番目のサンプルがＣＲＡピクチャのサンプルであるか、及び、各ＣＲＡピクチャへのランダムアクセスが行われる場合にどの先行ピクチャを正常に復号することができないかを、簡易に知ることができる。
　　［２－４．ランダムアクセス情報用の共用ボックス（Fragmented　Movie）］
　前項の３つの例では、ＣＲＡ情報は、ＩＤＲピクチャを識別するＩＤＲ情報が格納されるボックスとは異なるｔｆｃａボックス内に格納される。これに対し、ＣＲＡ情報は、ＩＤＲ情報と共用のボックス内に格納されてもよい。図１３～図１５は、そのような共用ボックスとしてのｔｆｒ２ボックスの例をそれぞれ示している。ｔｆｒ２ボックスは、ＦｕｌｌＢｏｘクラスを継承するＥｘｔＴｒａｃｋＦｒａｇｍｅｎｔＲａｎｄｏｍＡｃｃｅｓｓＢｏｘクラスとして定義される。
　　　（１）第１の例
　図１３に示した第１の例において、ＥｘｔＴｒａｃｋＦｒａｇｍｅｎｔＲａｎｄｏｍＡｃｃｅｓｓＢｏｘクラスは、エントリ数（number_of_entry）により示される数の、サンプルタイプ（sample_type）とサンプル番号（sample_number）とのセットを含む。各サンプル番号は、対応するフラグメントのｍｄａｔボックス内のチャンクに含まれる一連のサンプルのうち、ＩＤＲピクチャ又はＣＲＡピクチャに相当するサンプルの番号の各々を示す。各サンプルタイプは、対応するサンプル番号により示されるピクチャがＩＤＲピクチャ及びＣＲＡピクチャのいずれであるかを示す。サンプルタイプの値は、例えば、ＮＡＬユニットタイプと同一の値であってよい。エントリ数は、ＩＤＲピクチャ又はＣＲＡピクチャに相当するサンプルの数に等しい。このようなｔｆｒ２ボックスを参照することにより、デコーダは、各フラグメントの何番目のサンプルがＩＤＲピクチャのサンプルであって何番目のサンプルがＣＲＡピクチャのサンプルであるかを、簡易に知ることができる。
　　　（２）第２の例
　図１４に示した第２の例において、ＥｘｔＴｒａｃｋＦｒａｇｍｅｎｔＲａｎｄｏｍＡｃｃｅｓｓＢｏｘクラスは、エントリ数（number_of_entry）により示される数の、サンプルタイプ（sample_type）とサンプル番号（sample_number）と破損サンプル数（preceding_samples）とのセットを含む。各サンプル番号は、対応するフラグメントのｍｄａｔボックス内のチャンクに含まれる一連のサンプルのうち、ＩＤＲピクチャ又はＣＲＡピクチャに相当するサンプルの番号の各々を示す。各サンプルタイプは、対応するサンプル番号により示されるピクチャがＩＤＲピクチャ及びＣＲＡピクチャのいずれであるかを示す。各破損サンプル数は、対応するサンプル番号により示されるピクチャへのランダムアクセスが行われた場合に正常に復号されない先行ピクチャのサンプル数を示す。なお、ＩＤＲピクチャについての破損サンプル数は、省略されてもよく、又はゼロを示してもよい。エントリ数は、ＩＤＲピクチャ又はＣＲＡピクチャに相当するサンプルの数に等しい。このようなｔｆｒ２ボックスを参照することにより、デコーダは、各フラグメントの何番目のサンプルがＩＤＲピクチャのサンプルであって何番目のサンプルがＣＲＡピクチャのサンプルであるか、及び、各ＣＲＡピクチャへのランダムアクセスが行われる場合にどの先行ピクチャを正常に復号することができないかを、簡易に知ることができる。
　　　（３）第３の例
　図１５に示した第３の例において、ＥｘｔＴｒａｃｋＦｒａｇｍｅｎｔＲａｎｄｏｍＡｃｃｅｓｓＢｏｘクラスは、エントリ数（number_of_entry）により示される数の、サンプルタイプ（sample_type）とサンプル番号（sample_number）と破損時間長（preceding_duration）とのセットを含む。各サンプル番号は、対応するフラグメントのｍｄａｔボックス内のチャンクに含まれる一連のサンプルのうち、ＩＤＲピクチャ又はＣＲＡピクチャに相当するサンプルの番号の各々を示す。各サンプルタイプは、対応するサンプル番号により示されるピクチャがＩＤＲピクチャ及びＣＲＡピクチャのいずれであるかを示す。各破損時間長は、対応するサンプル番号により示されるピクチャへのランダムアクセスが行われた場合に正常に復号されない先行ピクチャの合計時間長を示す。なお、ＩＤＲピクチャについての破損時間長は、省略されてもよく、又はゼロを示してもよい。エントリ数は、ＩＤＲピクチャ又はＣＲＡピクチャに相当するサンプルの数に等しい。このようなｔｆｒ２ボックスを参照することにより、デコーダは、各フラグメントの何番目のサンプルがＩＤＲピクチャのサンプルであって何番目のサンプルがＣＲＡピクチャのサンプルであるか、及び、各ＣＲＡピクチャへのランダムアクセスが行われる場合にどの先行ピクチャを正常に復号することができないかを、簡易に知ることができる。
　　［２－５．サンプルグループの活用］
　ＣＲＡ情報は、図４～図１５の例のように新たに定義される拡張サンプルボックス内に格納される代わりに、１つ以上のサンプルをグルーピングするための既存のサンプルグループ情報の仕組みを活用することにより定義されてもよい。
　　　（１）サンプルグループ情報用のボックス
　図１６及び図１７は、基本的なサンプルグループ情報用のボックスについて説明するための説明図である。
　図１６を参照すると、ｓｂｇｐボックス（Sample　To　Group　Box）を定義するＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘクラスのシンタックスが示されている。ＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘクラスは、エントリ数（entry_count）により示される数の、サンプルカウンタ（sample_count）とグループ記述インデックス（group_description_index）とのセットを含む。各セットは、各サンプルと当該サンプルが属するサンプルグループとを関連付ける。
　図１７を参照すると、ｓｇｐｄボックス（Sample　Group　Description　Box）を定義するＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘクラスのシンタックスが示されている。ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘクラスのインスタンスは、共通するグルーピングタイプ（grouping_type）を有するＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘクラスのインスタンスと関連付られる。ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘクラスは、ハンドラタイプ（handler_type）が“ｖｉｄｅ（動画トラック）”を示す場合には、ＶｉｓｕａｌＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙクラスにより定義されるサンプルグループ情報のエントリを含む。エントリ数（entry_count）は、サンプルグループ情報のエントリ数を示す。
　このような既存のサンプルグループ情報の仕組みを活用してＣＲＡ情報を定義するための、ＣＲＡ情報用のサンプルグループ情報の６つの例を図１８～図２３に示す。なお、第１～第３の例は、ＣＲＡ情報のための専用のサンプルグループ情報の例である。第４～第６の例は、ＩＤＲ情報及びＣＲＡ情報のための共用のサンプルグループ情報の例である。
　　　（２）第１の例
　図１８を参照すると、ＶｉｓｕａｌＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙクラスを継承するＣＲＡＥｎｔｒｙクラスのシンタックスが示されている。グルーピングタイプは、“ｃｒａｐ”である。ＣＲＡＥｎｔｒｙクラスは、予約フィールドのみを含む。図１６を用いて説明したｓｂｇｐボックスにおいてＣＲＡＥｎｔｒｙクラスのサンプルグループと関連付けられるサンプルは、ＣＲＡピクチャのサンプルである。
　　　（３）第２の例
　図１９を参照すると、ＶｉｓｕａｌＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙクラスを継承するＣＲＡＰｏｉｎｔＥｎｔｒｙクラスのシンタックスが示されている。グルーピングタイプは、“ｃｒａｐ”である。ＣＲＡＰｏｉｎｔＥｎｔｒｙクラスは、グループ属性として破損サンプル数（broken_samples）を含む。図１６を用いて説明したｓｂｇｐボックスにおいてＣＲＡＰｏｉｎｔＥｎｔｒｙクラスのサンプルグループと関連付けられるサンプルは、ＣＲＡピクチャのサンプルである。破損サンプル数は、各ＣＲＡピクチャへのランダムアクセスが行われた場合に正常に復号されない先行ピクチャのサンプル数（例えば、表示順での先頭からの数）を示す。
　　　（４）第３の例
　図２０を参照すると、ＶｉｓｕａｌＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙクラスを継承するＣＲＡＰｏｉｎｔＥｎｔｒｙクラスの別のシンタックスが示されている。グルーピングタイプは、“ｃｒａｐ”である。ＣＲＡＰｏｉｎｔＥｎｔｒｙクラスは、グループ属性として破損時間長（broken_duration）を含む。破損時間長は、各ＣＲＡピクチャへのランダムアクセスが行われた場合に正常に復号されない先行ピクチャの合計時間長を示す。
　　　（５）第４の例
　図２１を参照すると、ＶｉｓｕａｌＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙクラスを継承するＥｘｔＲＡＰＥｎｔｒｙクラスのシンタックスが示されている。グルーピングタイプは、“ｒａｐ２”である。ＥｘｔＲＡＰＥｎｔｒｙクラスは、グループ属性としてサンプルタイプ（sample_type）を含む。図１６を用いて説明したｓｂｇｐボックスにおいてＥｘｔＲＡＰＥｎｔｒｙクラスのサンプルグループと関連付けられるサンプルは、ＩＤＲピクチャ又はＣＲＡピクチャのサンプルである。サンプルタイプは、各ピクチャがＩＤＲピクチャ及びＣＲＡピクチャのいずれであるかを示す。サンプルタイプの値は、例えば、ＮＡＬユニットタイプと同一の値であってよい。
　　　（６）第５の例
　図２２を参照すると、ＶｉｓｕａｌＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙクラスを継承するＥｘｔＲＡＰＥｎｔｒｙクラスの他のシンタックスが示されている。グルーピングタイプは、“ｒａｐ２”である。ＥｘｔＲＡＰＥｎｔｒｙクラスは、グループ属性として、サンプルタイプ（sample_type）及び破損サンプル数（broken_samples）を含む。破損サンプル数は、各ピクチャへのランダムアクセスが行われた場合に正常に復号されない先行ピクチャのサンプル数を示す。なお、ＩＤＲピクチャについての破損サンプル数は、省略されてもよく、又はゼロを示してもよい。
　　　（７）第６の例
　図２３を参照すると、ＶｉｓｕａｌＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙクラスを継承するＥｘｔＲＡＰＥｎｔｒｙクラスのまた別のシンタックスが示されている。グルーピングタイプは、“ｒａｐ２”である。ＥｘｔＲＡＰＥｎｔｒｙクラスは、グループ属性として、サンプルタイプ（sample_type）及び破損時間長（broken_duration）を含む。破損時間長は、各ピクチャへのランダムアクセスが行われた場合に正常に復号されない先行ピクチャの合計時間長を示す。なお、ＩＤＲピクチャについての破損時間長は、省略されてもよく、又はゼロを示してもよい。
　このように、既存のサンプルグループ情報の仕組みを活用することにより、新たなサンプルボックスを導入することなく、ＣＲＡ情報を定義することができる。この場合、デコーダが新たなサンプルボックスを扱わなくて済むため、既存のデコーダをより少ないコストで拡張して、ＣＲＡピクチャへのランダムアクセスの効果的なサポートを提供することができる。
　＜３．一実施形態に係る画像復号装置の構成例＞
　本節では、前節で説明したような新たなファイルフォーマットの動画ファイルから、符号化された画像データをＨＥＶＣ方式に従って復号する画像復号装置について説明する。図２４は、一実施形態に係る画像復号装置３０の構成の一例を示すブロック図である。図２４を参照すると、画像復号装置３０は、ＶＣＬバッファ３１、非ＶＣＬバッファ３２、パラメータメモリ３３、復号部３４、出力バッファ３５、ＣＲＡ情報取得部３６及び制御部３７を備える。
　　（１）ＶＣＬバッファ／非ＶＣＬバッファ
　ＶＣＬバッファ３１は、動画ファイル２０のデータ領域（例えば、ｍｄａｔボックス）から読み込まれる画像データ（典型的には、スライスデータ）のビットストリームをバッファリングする。非ＶＣＬバッファ３２は、動画ファイル２０のヘッダ領域（例えば、ｍｏｏｖボックス）から読み込まれるＳＰＳ、ＰＰＳ及びＡＰＳなどのパラメータセット、並びにＣＲＡ情報などのヘッダ情報をバッファリングする。
　　（２）パラメータメモリ
　パラメータメモリ３３は、非ＶＣＬバッファ３２を介して取得されるファイルのヘッダ領域内の情報を一括的に記憶する。上述した様々な形式で動画ファイル２０のヘッダ領域に記録され得るＣＲＡ情報は、動画ファイル２０が開かれている間、パラメータメモリ３３により保持される。
　　（３）復号部
　復号部３４は、ＨＥＶＣ方式に従って動作するデコーダである。復号部３４は、ＶＣＬバッファ３１を介して動画ファイル２０のデータ領域から取得されるビットストリームから、画像シーケンスを復号する。復号部３４は、画像を復号する際に、パラメータメモリ３３により記憶されるパラメータセット内のパラメータを使用する。復号部３４は、復号した画像シーケンス内の画像を表示順に並び替え、並び替え後の画像を出力バッファ３５へ出力する。
　復号部３４は、通常は、動画ファイル２０内の動画トラックに復号順で格納されているスライスデータに、その先頭から順にアクセスする。しかし、復号部３４は、制御部３７によりランダムアクセスの指示が検出されると、制御部３７により特定される（動画トラックの途中の）復号開始ピクチャへランダムアクセスし、当該復号開始ピクチャから画像シーケンスを復号する。復号開始ピクチャは、動画トラック内のＩＤＲピクチャ及びＣＲＡピクチャのうちの１つである。
　　（４）出力バッファ
　出力バッファ３５は、復号部３４により復号された画像をバッファリングするための復号ピクチャバッファ（ＤＰＢ；Decoded　Picture　Buffer）である。出力バッファ３５によりバッファリングされた画像は、当該画像の出力タイミングにおいて、図示しないディスプレイ又はプロセッサへ出力される。
　　（５）ＣＲＡ情報取得部
　ＣＲＡ情報取得部３６は、動画ファイル２０のヘッダ領域から非ＶＣＬバッファ３２を介してパラメータメモリ３３に読み込まれるＣＲＡ情報を取得する。ＣＲＡ情報は、復号される画像シーケンス内の１つ以上のＣＲＡピクチャを少なくとも識別する情報である。ＣＲＡ情報は、ＣＲＡ情報の専用のサンプルボックス又は共用のサンプルボックスに格納される情報であってもよい。その代わりに、ＣＲＡ情報は、１つ以上のＣＲＡピクチャをグルーピングするサンプルグループ情報であってもよい。ＣＲＡ情報は、各ＣＲＡピクチャへのランダムアクセスが行われた場合に正常に復号されない先行ピクチャを識別するための先行ピクチャ情報を含んでもよい。ＣＲＡ情報取得部３６は、取得したＣＲＡ情報を制御部３７へ出力する。
　　（６）制御部
　制御部３７は、画像復号装置３０において実行される復号処理を制御する。例えば、制御部３７は、ユーザからの指示に応じて動画ファイル２０を開き、復号部３４に画像シーケンスの復号を開始させる。また、制御部３７は、ランダムアクセスの指示が検出された場合に、ＣＲＡ情報取得部３６により取得されるＣＲＡ情報を用いて、画像シーケンス内のいずれかのＣＲＡピクチャを復号開始ピクチャとして特定する。そして、制御部３７は、特定した復号開始ピクチャから（即ち、動画トラックの途中から）復号部３４に画像シーケンスを復号させる。
　制御部３７は、典型的には、ランダムアクセスの指示において指定されるタイミング（例えば、動画再生ウィンドウのシークバーの操作されたポインタが指し示すタイミング）の最も近傍に位置するＣＲＡピクチャを、復号開始ピクチャとして特定する。復号開始ピクチャを特定するための処理の流れのいくつかの例について、後に詳細に説明する。
　制御部３７は、ＣＲＡ情報が上述した先行ピクチャ情報を含む場合に、先行ピクチャ情報を用いて識別される正常に復号されない先行ピクチャの出力バッファ３５からの出力（及び復号部３４による復号）をスキップさせてもよい。先行ピクチャ情報を用いることにより、破損した画像がディスプレイに表示され又は外部のプロセッサへ出力されることを回避することができる。その際、制御部３７は、各画像が正常に復号されたか否かを事後的に判定しなくてよい。
　＜４．復号処理の流れ＞
　　［４－１．Non-Fragmented　Movieのための復号処理］
　　　（１）全体的な流れ
　図２５は、図２４に例示した画像復号装置３０により実行される復号処理の流れの第１の例を示すフローチャートである。第１の例は、Non-Fragmented　Movie構造を有する画像シーケンスの復号に関連する。
　図２５に例示した復号処理において、制御部３７は、ランダムアクセス（ＲＡ）指示を継続的に監視する（ステップＳ１００）。ＲＡ指示が検出されると、ステップＳ１１０～ステップＳ１６０の処理が実行される。ＲＡ指示が検出されない場合、復号部３４により、復号順で画像が復号される（ステップＳ１９０）。
　ＲＡ指示が検出されると、制御部３７は、ＲＡ指示において指定されたタイミングを示す指定時刻Ｔを取得する（ステップＳ１１０）。次に、制御部３７は、指定時刻Ｔに対応するサンプル（指定時刻Ｔにおいて表示されるべきサンプル）のサンプル番号Ｘを取得する（ステップ１２０）。次に、制御部３７は、サンプル番号Ｘの直前のランダムアクセス可能なピクチャをＣＲＡ情報を用いて探索し、復号開始ピクチャを特定する（ステップＳ１３０）。ここで特定される復号開始ピクチャは、ＣＲＡピクチャ又はＩＤＲピクチャである。次に、復号部３４は、制御部３７により特定された復号開始ピクチャへのランダムアクセスを実行する（ステップＳ１６０）。そして、復号部３４は、復号開始ピクチャから復号順で画像を復号する（ステップＳ１９０）。
　上述した処理は、復号の終了が指示され又は最後の画像が復号されるまで繰り返される（ステップＳ１９５）。
　　　（２）指定時刻に対応するサンプル番号の取得
　図２６は、図２５のステップＳ１２０に相当する、指定時刻Ｔに対応するサンプル番号Ｘを取得するための処理の流れの一例を示すフローチャートである。
　図２６を参照すると、制御部３７は、まず、時間変数Ｓ及びカウンタｎをゼロに初期化する（ステップＳ１２１）。次に、制御部３７は、カウンタｎをインクリメント（即ち、カウンタｎに１を加算）する（ステップＳ１２２）。次に、制御部３７は、動画トラックのｎ番目のサンプルの時間長を時間変数Ｓに加算する（ステップＳ１２３）。なお、ｎ番目のサンプルの時間長は、例えば、ｓｔｔｓボックス（Time　To　Sample　Box）内のパラメータ（sample_delta）により示され得る。次に、制御部３７は、時間変数Ｓが指定時刻Ｔを上回った（Ｓ＞Ｔ）か否かを判定する（ステップＳ１２４）。ここで、時間変数Ｓが指定時刻Ｔを未だ上回らない場合には、処理はステップＳ１２２へ戻る。一方、時間変数Ｓが指定時刻Ｔを上回った場合には、制御部３７は、カウンタｎの値をサンプル番号Ｘに代入する（ステップＳ１２５）。
　このような処理により、指定時刻Ｔに対応するサンプル番号Ｘが取得される。
　　　（３）復号開始ピクチャの特定
　図２７は、図２５のステップＳ１３０に相当する、復号開始ピクチャを特定するための処理の流れの第１の例を示すフローチャートである。第１の例において、ＣＲＡ情報は、図４～図６に例示したｓｔｃｓボックス又は図７～図９に例示したｓｔｒａボックスに格納されているものとする。
　図２７を参照すると、制御部３７は、まず、番号変数Ｍ及びカウンタｎを１に初期化する（ステップＳ１３１）。次に、制御部３７は、ＣＲＡ情報用のサンプルボックス内のｎ番目のエントリを参照する（ステップＳ１３２）。次に、制御部３７は、ｎ番目のエントリのサンプルタイプ（sample_type）が所定の値（例えば、ＣＲＡピクチャ又はＩＤＲピクチャを示すＮＡＬユニットタイプの値など）を示すか否かを判定する（ステップＳ１３３）。なお、ＣＲＡ情報用のサンプルボックスがサンプルタイプを含まない場合には、ここでの判定は省略される。ｎ番目のエントリのサンプルタイプが所定の値を示さない場合には、その後のステップＳ１３４の処理はスキップされ、処理はステップＳ１３６へ進む。ｎ番目のエントリのサンプルタイプが所定の値を示す場合には、制御部３７は、ｎ番目のエントリのサンプル番号（sample_number）Ｘｎが指定時刻Ｔに対応するサンプル番号Ｘ以下であるか否かを判定する（ステップＳ１３４）。ここで、サンプル番号Ｘｎがサンプル番号Ｘ以下でなければ、処理はステップＳ１３８へ進む。一方、サンプル番号Ｘｎがサンプル番号Ｘ以下であれば、制御部３７は、サンプル番号Ｘｎを番号変数Ｍに代入する（ステップＳ１３５）。次に、制御部３７は、ｎ番目のエントリが最後のエントリであるか否かを判定する（ステップＳ１３６）。ｎ番目のエントリが最後のエントリでない場合には、制御部３７によりカウンタｎがインクリメントされ（ステップＳ１３７）、処理はステップＳ１３２へ戻る。ｎ番目のエントリが最後のエントリである場合には、処理はステップＳ１３８へ進む。ステップＳ１３８において、制御部３７は、番号変数Ｍの値を、復号開始ピクチャのサンプル番号Ｙに代入する（ステップＳ１３８）。なお、ＣＲＡ情報用のサンプルボックスがＩＤＲ情報用のサンプルボックスとは別に定義される場合には、図２７と同様の処理が、ＩＤＲ情報用のサンプルボックスについてさらに実行されてよい。その場合、よりサンプル番号Ｘに近い値が復号開始ピクチャのサンプル番号Ｙとして採用され得る。
　図２８は、図２５のステップＳ１３０に相当する、復号開始ピクチャを特定するための処理の流れの第２の例を示すフローチャートである。第２の例において、ＣＲＡ情報は、図１８～図２３に例示したような、ＣＲＡピクチャをグルーピングするサンプルグループ情報であるものとする。
　図２８を参照すると、制御部３７は、まず、番号変数ｊをゼロに、番号変数Ｍ及びカウンタｎを１に初期化する（ステップＳ１４１）。次に、制御部３７は、図１６を用いて説明したｓｂｇｐボックス内のｎ番目のエントリを参照する（ステップＳ１４２）。ここで参照されるｓｂｇｐボックスは、グルーピングタイプ“ｃｒａｐ”又は“ｒａｐ２”を有するボックスである。
　次に、制御部３７は、ｓｂｇｐボックス内のｎ番目のエントリのサンプルカウンタ（sample_count）を番号変数ｊに加算する。次に、制御部３７は、番号変数ｊが指定時刻Ｔに対応するサンプル番号Ｘ以下であるか否かを判定する（ステップＳ１４４）。ここで、番号変数ｊがサンプル番号Ｘ以下でなければ、処理はステップＳ１５０へ進む。一方、番号変数ｊがサンプル番号Ｘ以下であれば、処理はステップＳ１４５へ進む。ステップＳ１４５において、制御部３７は、ｎ番目のエントリのグループ記述インデックス（group_description_index）がゼロよりも大きいか、即ち番号変数ｊに対応するサンプルがいずれかのサンプルグループにグルーピングされているかを判定する（ステップＳ１４５）。ここで、グループ記述インデックスがゼロよりも大きい場合には、制御部３７は、さらに、対応するサンプルタイプ（sample_type）が所定の値（例えば、ＣＲＡピクチャ又はＩＤＲピクチャを示すＮＡＬユニットタイプの値など）を示すか否かを判定する（ステップＳ１４６）。ここで、対応するサンプルタイプが所定の値を示す場合には、制御部３７は、番号変数ｊを番号変数Ｍに代入する（ステップＳ１４７）。一方、対応するサンプルタイプが所定の値を示さない場合、又はグループ記述インデックスがゼロよりも大きくない場合には、ステップＳ１４７の処理はスキップされ、処理はステップＳ１４８へ進む。なお、サンプルグループ情報がグループ属性としてのサンプルタイプを含まない場合には、ステップＳ１４６の判定は省略される。次に、制御部３７は、ｎ番目のエントリが最後のエントリであるか否かを判定する（ステップＳ１４８）。ｎ番目のエントリが最後のエントリでない場合には、制御部３７によりカウンタｎがインクリメントされ（ステップＳ１４９）、処理はステップＳ１４２へ戻る。ｎ番目のエントリが最後のエントリである場合には、処理はステップＳ１５０へ進む。ステップＳ１５０において、制御部３７は、番号変数Ｍの値を、復号開始ピクチャのサンプル番号Ｙに代入する（ステップＳ１４８）。
　図２７又は図２８に例示したような処理により、復号開始ピクチャのサンプル番号Ｙが特定される。画像シーケンス内にＣＲＡピクチャが含まれない場合には、画像シーケンスの先頭のＩＤＲピクチャが復号開始ピクチャとなり得る。なお、ｓｔｃｏボックス（Chunk　Offset　Box）には、ファイルの先頭から各チャンクの先頭までのバイト数が格納される。ｓｔｓｚボックス（Sample　Size　Box）には、各サンプルのバイト数が格納される。従って、復号開始ピクチャのサンプル番号Ｙが特定されれば、これら情報に基づいて、復号開始ピクチャのファイル内の位置（ファイルの先頭からのバイト数）を算出することができる。
　　　（４）正常に復号されない先行ピクチャの出力のスキップ
　図２９及び図３０は、図２５のステップＳ１６０からステップＳ１９０への移行に際して、正常に復号されない先行ピクチャの出力をスキップするための処理の流れの３つの例をそれぞれ示している。
　図２９の第１の例において、ＣＲＡ情報は、各ＣＲＡピクチャについての破損サンプル数（broken_samples）を含むものとする。まず、制御部３７は、復号開始ピクチャの破損サンプル数をテンポラリ変数Ｐに代入する（ステップＳ１６１）。次に、制御部３７は、復号開始ピクチャの出力タイミングを時刻変数ｔに代入する（ステップＳ１６２）。次に、制御部３７は、番号変数Ｒを１に初期化する（ステップＳ１６３）。
　次に、制御部３７は、出力バッファ３５内のＲ番目のサンプルの出力タイミングを時刻変数Ｘに代入する（ステップＳ１６４）。次に、制御部３７は、テンポラリ変数Ｐがゼロであるか、即ち破損サンプル数がゼロであるかを判定する（ステップＳ１６５）。破損サンプル数がゼロでない場合には、処理はステップＳ１６６へ進む。一方、破損サンプル数がゼロである場合には、処理はステップＳ１６７へ進む。ステップＳ１６６において、制御部３７は、時刻変数Ｘがｔよりも小さいか、即ちＲ番目のサンプルが復号開始ピクチャの先行サンプルであるかを判定する（ステップＳ１６６）。Ｒ番目のサンプルが復号開始ピクチャの先行サンプルではない場合、又は破損サンプル数がゼロである場合には、復号部３４により復号されたＲ番目のサンプルが、出力バッファ３５から出力される（ステップＳ１６７）。一方、Ｒ番目のサンプルが復号開始ピクチャの先行サンプルである場合には、Ｒ番目のサンプルの出力はスキップされ、処理はステップＳ１６８へ進む。その後、番号変数Ｒがインクリメントされ（ステップＳ１６８）、処理はステップＳ１６４へ戻る。
　第１の例においては、復号開始ピクチャの先行サンプルの出力が一律的にスキップされる。
　図３０の第２の例においても、ＣＲＡ情報は、各ＣＲＡピクチャについての破損サンプル数（broken_samples）を含むものとする。まず、ステップＳ１６１からステップＳ１６３までの処理は、図２９に示した第１の例と同様である。
　第２の例において、番号変数Ｒが１に初期化された後、制御部３７は、テンポラリ変数Ｐがゼロであるか、即ち破損サンプル数がゼロであるかを判定する（ステップＳ１６５）。破損サンプル数がゼロでない場合には、処理はステップＳ１７１へ進む。一方、破損サンプル数がゼロである場合には、処理はステップＳ１７５へ進む。ステップＳ１７１において、制御部３７は、番号変数Ｒがテンポラリ変数Ｐ以下であるか、即ちＲ番目のサンプルが正常に復号されない破損サンプルであるかを判定する（ステップＳ１７１）。Ｒ番目のサンプルが破損サンプルでない場合には、処理はステップＳ１７２へ進む。一方、Ｒ番目のサンプルが破損サンプルである場合には、処理はステップＳ１７６へ進む。ステップＳ１７２において、制御部３７は、テンポラリ変数Ｐが負の値であるか、即ち破損サンプル数が未知であるかを判定する（ステップＳ１７２）。破損サンプル数が未知である場合には、処理はステップＳ１７３へ進む。一方、破損サンプル数が未知でない場合には、処理はステップＳ１７５へ進む。ステップＳ１７３において、制御部３７は、出力バッファ３５内のＲ番目のサンプルの出力タイミングを時刻変数Ｘに代入する（ステップＳ１７３）。次に、制御部３７は、時刻変数Ｘがｔよりも小さいか、即ちＲ番目のサンプルが復号開始ピクチャの先行サンプルであるかを判定する（ステップＳ１７４）。Ｒ番目のサンプルが復号開始ピクチャの先行サンプルではない場合、破損サンプル数がゼロである場合、又は破棄サンプル数が未知でなく且つＲ番目のサンプルが破損サンプルでない場合には、復号部３４により復号されたＲ番目のサンプルが、出力バッファ３５から出力される（ステップＳ１７５）。一方、Ｒ番目のサンプルが破損サンプルである場合、又は破棄サンプル数が未知であり且つＲ番目のサンプルが復号開始ピクチャの先行サンプルである場合には、Ｒ番目のサンプルの出力はスキップされ、処理はステップＳ１７６へ進む。その後、番号変数Ｒがインクリメントされ（ステップＳ１７６）、処理はステップＳ１６４へ戻る。
　第２の例においては、復号開始ピクチャの先行サンプルのうち正常に復号されないサンプルの出力が、選択的にスキップされる。
　図３１の第３の例において、ＣＲＡ情報は、各ＣＲＡピクチャについての破損時間長（broken_duration）を含むものとする。まず、制御部３７は、復号開始ピクチャの破損時間長をテンポラリ変数Ｐに代入する（ステップＳ１８１）。次に、制御部３７は、１つの復号対象のピクチャの出力タイミング（presentation_time）を時刻変数Ｚに代入する（ステップＳ１８２）。
　次に、制御部３７は、テンポラリ変数Ｐが時刻変数Ｚよりも大きいか、即ち復号対象のピクチャの出力タイミングが破損時間長を経過していないかを判定する（ステップＳ１８３）。復号対象のピクチャの出力タイミングが破損時間長を経過している場合には、復号部３４は、復号対象のピクチャを復号し、復号されたピクチャを出力バッファ３５に格納する（ステップＳ１８４）。復号対象のピクチャの出力タイミングが破損時間長を経過していない場合には、当該ピクチャの復号はスキップされる。その後、復号順で次のピクチャが復号対象のピクチャとなり、処理はステップＳ１８２へ戻る。
　　［４－２．Fragmented　Movieのための復号処理］
　　　（１）全体的な流れ
　図３２は、図２４に例示した画像復号装置３０により実行される復号処理の流れの第２の例を示すフローチャートである。第２の例は、Fragmented　Movie構造を有する画像シーケンスの復号に関連する。
　図３２に例示した復号処理において、制御部３７は、ランダムアクセス（ＲＡ）指示を継続的に監視する（ステップＳ２００）。ＲＡ指示が検出されると、ステップＳ２１０～ステップＳ２６０の処理が実行される。ＲＡ指示が検出されない場合、復号部３４により、復号順で画像が復号される（ステップＳ２９０）。
　ＲＡ指示が検出されると、制御部３７は、ＲＡ指示において指定されたタイミングを示す指定時刻Ｔを取得する（ステップＳ２１０）。次に、制御部３７は、指定時刻Ｔの直前のランダムアクセス可能なピクチャをＣＲＡ情報を用いて探索し、復号開始ピクチャを特定する（ステップＳ２３０）。ここで特定される復号開始ピクチャは、ＣＲＡピクチャ又はＩＤＲピクチャである。次に、復号部３４は、制御部３７により特定された復号開始ピクチャへのランダムアクセスを実行する（ステップＳ２６０）。そして、復号部３４は、復号開始ピクチャから復号順で画像を復号する（ステップＳ２９０）。
　上述した処理は、復号の終了が指示され又は最後の画像が復号されるまで繰り返される（ステップＳ２９５）。
　　　（２）復号開始ピクチャの特定
　図３３は、図３２のステップＳ２３０に相当する、復号開始ピクチャを特定するための処理の流れの一例を示すフローチャートである。図３３の例において、ＣＲＡ情報は、図１０～図１２に例示したｔｆｃａボックス又は図１３～図１５に例示したｔｆｒ２ボックスに格納されているものとする。
　図３３を参照すると、制御部３７は、まず、番号変数Ｍ及びカウンタｎを１に初期化する（ステップＳ２３１）。次に、制御部３７は、ＣＲＡピクチャを含むフラグメントのＣＲＡ情報用のサンプルボックス内のｎ番目のエントリを参照する（ステップＳ２３２）。次に、制御部３７は、ｎ番目のエントリの出力タイミング（time）が指定時刻Ｔ以下であるか否かを判定する（ステップＳ２３４）。ここで、ｎ番目のエントリの出力タイミングが指定時刻Ｔ以下でなければ、処理はステップＳ２３８へ進む。一方、ｎ番目のエントリの出力タイミングが指定時刻Ｔ以下であれば、処理はステップＳ２３４へ進む。ステップＳ２３４において、制御部３７は、ｎ番目のエントリのサンプルタイプ（sample_type）が所定の値（例えば、ＣＲＡピクチャ又はＩＤＲピクチャを示すＮＡＬユニットタイプの値など）を示すか否かを判定する（ステップＳ２３４）。なお、ＣＲＡ情報用のサンプルボックスがサンプルタイプを含まない場合には、ここでの判定は省略される。ｎ番目のエントリのサンプルタイプが所定の値を示さない場合には、その後のステップＳ２３５の処理はスキップされ、処理はステップＳ２３６へ進む。ｎ番目のエントリのサンプルタイプが所定の値を示す場合には、制御部３７は、サンプル番号（sample_number）Ｘｎを番号変数Ｍに代入する（ステップＳ２３５）。次に、制御部３７は、ｎ番目のエントリが最後のエントリであるか否かを判定する（ステップＳ２３６）。ｎ番目のエントリが最後のエントリでない場合には、制御部３７によりカウンタｎがインクリメントされ（ステップＳ２３７）、処理はステップＳ２３２へ戻る。ｎ番目のエントリが最後のエントリである場合には、処理はステップＳ２３８へ進む。ステップＳ２３８において、制御部３７は、番号変数Ｍの値を、復号開始ピクチャのサンプル番号Ｙに代入する（ステップＳ２３８）。なお、ＣＲＡ情報用のサンプルボックスがＩＤＲ情報用のサンプルボックスとは別に定義される場合には、図３３と同様の処理が、ＩＤＲ情報用のサンプルボックスについてさらに実行されてよい。その場合、より指定時刻Ｔに近い出力タイミングを有する復号開始ピクチャのサンプル番号Ｙが採用され得る。
　ＣＲＡ情報が図１８～図２３に例示したようなＣＲＡピクチャをグルーピングするサンプルグループ情報である場合には、Fragmented　Movieについても、図２８に例示したNon-Fragmented　Movieのケースと同様に、復号開始ピクチャのサンプル番号Ｙが特定されてよい。
　図３２のステップＳ２６０からステップＳ２９０への移行に際して、正常に復号されない先行ピクチャの出力をスキップするための処理は、図２９～図３１において例示した処理と同様であってよい。
　＜５．応用例＞
　上述した実施形態に係る画像符号化装置１０及び画像復号装置３０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
　　［５－１．第１の応用例］
　図３４は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
　チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
　デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic　Program　Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
　デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
　映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical　User　Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
　表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。
　音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
　外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
　制御部９１０は、ＣＰＵ（Central　Processing　Unit）などのプロセッサ、並びにＲＡＭ（Random　Access　Memory）及びＲＯＭ（Read　Only　Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
　ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
　バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
　このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置３０の機能を有する。従って、テレビジョン装置９００において、上述したＣＲＡ情報を使用してＣＲＡピクチャへのランダムアクセスを簡易に実行することができる。
　　［５－２．第２の応用例］
　図３５は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
　アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
　携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
　音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
　また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
　記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
　また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。
　また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
　このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１０及び画像復号装置３０の機能を有する。従って、携帯電話機９２０において、又は携帯電話機９２０で符号化された画像を復号する装置において、上述したＣＲＡ情報を使用してＣＲＡピクチャへのランダムアクセスを簡易に実行することができる。
　　［５－３．第３の応用例］
　図３６は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
　記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard　Disk　Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen　Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
　チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
　外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
　エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
　ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
　ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ－Ｖｉｄｅｏ、ＤＶＤ－ＲＡＭ、ＤＶＤ－Ｒ、ＤＶＤ－ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ－ｒａｙ（登録商標）ディスクなどであってよい。
　セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
　デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
　ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。
　制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
　ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
　このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１０の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置３０の機能を有する。従って、記録再生装置９４０において、又は記録再生装置９４０で符号化された画像を復号する装置において、上述したＣＲＡ情報を使用してＣＲＡピクチャへのランダムアクセスを簡易に実行することができる。
　　［５－４．第４の応用例］
　図３７は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
　撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
　光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。
　光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
　信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
　画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
　ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。
　外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
　メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid　State　Drive）のような非可搬性の記憶部が構成されてもよい。
　制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
　ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
　このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１０及び画像復号装置３０の機能を有する。従って、撮像装置９６０により撮像され又は符号化された画像を復号する装置において、上述したＣＲＡ情報を使用してＣＲＡピクチャへのランダムアクセスを簡易に実行することができる。
　＜６．まとめ＞
　ここまで、図１～図３７を用いて、本開示に係る技術の様々な実施形態について詳細に説明した。上述した実施形態によれば、ランダムアクセスの際に復号開始ピクチャとして使用可能なＣＲＡピクチャを識別するＣＲＡ情報がファイルフォーマットのヘッダ領域に挿入される。従って、デコーダは、データ領域内の画像データに付与されるＮＡＬユニットタイプを一連の画像データにわたって調べることなく、ＣＲＡピクチャへのランダムアクセスを簡易に実現することができる。
　ある実施形態によれば、ＭＰ４フォーマットのサンプルグループの仕組みを活用してＣＲＡピクチャをグルーピングすることにより、ＣＲＡ情報が形成され得る。かかる構成によれば、デコーダが新たなサンプルボックスを扱わなくて済むため、既存のデコーダをより少ないコストで拡張して、ＣＲＡ情報に基づくランダムアクセスを実現することができる。
　別の実施形態によれば、ＭＰ４フォーマットのサンプルボックスを拡張することにより、ＣＲＡ情報を格納する拡張サンプルボックスが形成され得る。かかる構成によれば、各ＣＲＡピクチャのサンプル番号及び正常に復号されない先行ピクチャ情報などの様々な情報を、拡張サンプルボックス内に含めることができる。拡張サンプルボックスは、ＣＲＡ情報用の専用のボックスであってもよい。その場合、ＣＲＡピクチャへのランダムアクセスをサポートしないデコーダは、当該専用のボックスを無視するだけでよい。従って、拡張サンプルボックスを導入することに起因するデメリットは生じない。また、拡張サンプルボックスは、ＩＤＲ情報及びＣＲＡ情報のための共用のボックスであってもよい。その場合、デコーダは、当該共用のボックスのみを参照するだけで、ＩＤＲピクチャ及びＣＲＡピクチャへのランダムアクセスのための包括的な仕組みを実装することができる。
　また、ＣＲＡ情報は、各ＣＲＡピクチャに表示順で先行し且つ当該ＣＲＡピクチャへのランダムアクセスが行われた場合に正常に復号されない先行ピクチャを識別する先行ピクチャ情報を含み得る。ＩＤＲピクチャはこのような先行ピクチャを有しないため、先行ピクチャ情報は、ＣＲＡピクチャについてのみ生成され得る。かかる構成によれば、デコーダは、ランダムアクセスが行われる際に、先行ピクチャが正常に復号されたか否かを事後的に判定することなく、先行ピクチャ情報に基づいて、破損した画像がディスプレイに表示され又は外部のプロセッサへ出力されることを回避することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　ヘッダ領域及びデータ領域を含むファイルフォーマットの前記ヘッダ領域から、前記データ領域に挿入されている画像シーケンス内の１つ以上のＣＲＡ（Clean　Random　Access）ピクチャを識別するＣＲＡ情報を取得する取得部と、
　ランダムアクセスの指示が検出された場合に、前記ＣＲＡ情報を用いて、前記画像シーケンス内のいずれかのＣＲＡピクチャを復号開始ピクチャとして特定する制御部と、
　前記制御部により特定された前記復号開始ピクチャから、前記画像シーケンスを復号する復号部と、
　を備える画像復号装置。
（２）
　前記ファイルフォーマットは、ＭＰ４フォーマットであり、
　前記ＣＲＡ情報は、前記１つ以上のＣＲＡピクチャをグルーピングするサンプルグループ情報である、
　前記（１）に記載の画像復号装置。
（３）
　前記ファイルフォーマットは、ＭＰ４フォーマットであり、
　前記取得部は、前記ＣＲＡ情報を格納するために拡張された拡張サンプルボックスから、前記ＣＲＡ情報を取得する、
　前記（１）に記載の画像復号装置。
（４）
　前記拡張サンプルボックスは、ＩＤＲ（Instantaneous　Decoding　Refresh）ピクチャを識別するＩＤＲ情報をさらに含むボックスである、前記（３）に記載の画像復号装置。
（５）
　前記拡張サンプルボックスは、ＩＤＲピクチャを識別するＩＤＲ情報を含むボックスとは別に定義されるボックスである、前記（３）に記載の画像復号装置。
（６）
　前記ＣＲＡ情報は、各ＣＲＡピクチャに表示順で先行し且つ当該ＣＲＡピクチャへのランダムアクセスが行われた場合に正常に復号されない先行ピクチャを識別するための先行ピクチャ情報を含み、
　前記制御部は、前記先行ピクチャ情報に基づいて、前記先行ピクチャの前記画像復号装置からの出力をスキップさせる、
　前記（２）～（５）のいずれか１項に記載の画像復号装置。
（７）
　前記先行ピクチャ情報は、各ＣＲＡピクチャについての前記先行ピクチャの数を示す、前記（６）に記載の画像復号装置。
（８）
　前記先行ピクチャ情報は、各ＣＲＡピクチャについての前記先行ピクチャに対応する時間長を示す、前記（６）に記載の画像復号装置。
（９）
　前記制御部は、ランダムアクセスの前記指示において指定されるタイミングの最も近傍に位置するＣＲＡピクチャを、前記ＣＲＡ情報を用いて前記復号開始ピクチャとして特定する、前記（１）～（８）のいずれか１項に記載の画像復号装置。
（１０）
　ヘッダ領域及びデータ領域を含むファイルフォーマットの前記ヘッダ領域から、前記データ領域に挿入されている画像シーケンス内の１つ以上のＣＲＡ（Clean　Random　Access）ピクチャを識別するＣＲＡ情報を取得することと、
　ランダムアクセスの指示が検出された場合に、前記ＣＲＡ情報を用いて、前記画像シーケンス内のいずれかのＣＲＡピクチャを復号開始ピクチャとして特定することと、
　特定された前記復号開始ピクチャから、前記画像シーケンスを復号することと、
　を含む画像復号方法。
（１１）
　画像シーケンス内の画像を符号化して、画像データを生成する符号化部と、
　ランダムアクセスの際に復号開始ピクチャとして使用可能な前記画像シーケンス内の１つ以上のＣＲＡ（Clean　Random　Access）ピクチャを判定する判定部と、
　ヘッダ領域及びデータ領域を含むファイルフォーマットの前記ヘッダ領域に前記判定部により判定された前記１つ以上のＣＲＡピクチャを識別するＣＲＡ情報を挿入し、前記データ領域に前記画像データを挿入するファイル生成部と、
　を備える画像符号化装置。
（１２）
　前記ファイルフォーマットは、ＭＰ４フォーマットであり、
　前記ＣＲＡ情報は、前記１つ以上のＣＲＡピクチャをグルーピングするサンプルグループ情報である、
　前記（１１）に記載の画像符号化装置。
（１３）
　前記ファイルフォーマットは、ＭＰ４フォーマットであり、
　前記ファイル生成部は、前記ＣＲＡ情報を格納するために拡張された拡張サンプルボックスに前記ＣＲＡ情報を格納する、
　前記（１１）に記載の画像符号化装置。
（１４）
　前記ファイル生成部は、ＩＤＲ（Instantaneous　Decoding　Refresh）ピクチャを識別するＩＤＲ情報を前記拡張サンプルボックスにさらに格納する、前記（１３）に記載の画像符号化装置。
（１５）
　前記拡張サンプルボックスは、ＩＤＲピクチャを識別するＩＤＲ情報が格納されるボックスとは別に定義されるボックスである、前記（１３）に記載の画像符号化装置。
（１６）
　前記判定部は、各ＣＲＡピクチャに表示順で先行し且つ当該ＣＲＡピクチャへのランダムアクセスが行われた場合に正常に復号されない先行ピクチャをさらに判定し、
　前記ファイル生成部は、前記判定部により判定されたＣＲＡピクチャごとの前記先行ピクチャを識別する先行ピクチャ情報を前記ＣＲＡ情報に含める、
　前記（１２）～（１５）のいずれか１項に記載の画像符号化装置。
（１７）
　前記先行ピクチャ情報は、各ＣＲＡピクチャについての前記先行ピクチャの数を示す、前記（１６）に記載の画像復号装置。
（１８）
　前記先行ピクチャ情報は、各ＣＲＡピクチャについての前記先行ピクチャに対応する時間長を示す、前記（１６）に記載の画像復号装置。
（１９）
　画像シーケンス内の画像を符号化して、画像データを生成することと、
　ランダムアクセスの際に復号開始ピクチャとして使用可能な前記画像シーケンス内の１つ以上のＣＲＡ（Clean　Random　Access）ピクチャを判定することと、
　ヘッダ領域及びデータ領域を含むファイルフォーマットの前記ヘッダ領域に、判定された前記１つ以上のＣＲＡピクチャを識別するＣＲＡ情報を挿入することと、
　前記データ領域に前記画像データを挿入することと、
　を含む画像符号化方法。
　１０　　画像符号化装置
　１１　　符号化部
　１２　　判定部
　１５　　ファイル生成部
　１６　　制御部
　２０　　動画ファイル
　２１　　ヘッダ領域
　２７　　データ領域
　３０　　画像復号装置
　３４　　復号部
　３６　　ＣＲＡ情報取得部
　３７　　制御部

Claims (19)

  1. 　ヘッダ領域及びデータ領域を含むファイルフォーマットの前記ヘッダ領域から、前記データ領域に挿入されている画像シーケンス内の１つ以上のＣＲＡ（Clean　Random　Access）ピクチャを識別するＣＲＡ情報を取得する取得部と、
    　ランダムアクセスの指示が検出された場合に、前記ＣＲＡ情報を用いて、前記画像シーケンス内のいずれかのＣＲＡピクチャを復号開始ピクチャとして特定する制御部と、
    　前記制御部により特定された前記復号開始ピクチャから、前記画像シーケンスを復号する復号部と、
    　を備える画像復号装置。
  2. 　前記ファイルフォーマットは、ＭＰ４フォーマットであり、
    　前記ＣＲＡ情報は、前記１つ以上のＣＲＡピクチャをグルーピングするサンプルグループ情報である、
    　請求項１に記載の画像復号装置。
  3. 　前記ファイルフォーマットは、ＭＰ４フォーマットであり、
    　前記取得部は、前記ＣＲＡ情報を格納するために拡張された拡張サンプルボックスから、前記ＣＲＡ情報を取得する、
    　請求項１に記載の画像復号装置。
  4. 　前記拡張サンプルボックスは、ＩＤＲ（Instantaneous　Decoding　Refresh）ピクチャを識別するＩＤＲ情報をさらに含むボックスである、請求項３に記載の画像復号装置。
  5. 　前記拡張サンプルボックスは、ＩＤＲピクチャを識別するＩＤＲ情報を含むボックスとは別に定義されるボックスである、請求項３に記載の画像復号装置。
  6. 　前記ＣＲＡ情報は、各ＣＲＡピクチャに表示順で先行し且つ当該ＣＲＡピクチャへのランダムアクセスが行われた場合に正常に復号されない先行ピクチャを識別するための先行ピクチャ情報を含み、
    　前記制御部は、前記先行ピクチャ情報に基づいて、前記先行ピクチャの前記画像復号装置からの出力をスキップさせる、
    　請求項２に記載の画像復号装置。
  7. 　前記先行ピクチャ情報は、各ＣＲＡピクチャについての前記先行ピクチャの数を示す、請求項６に記載の画像復号装置。
  8. 　前記先行ピクチャ情報は、各ＣＲＡピクチャについての前記先行ピクチャに対応する時間長を示す、請求項６に記載の画像復号装置。
  9. 　前記制御部は、ランダムアクセスの前記指示において指定されるタイミングの最も近傍に位置するＣＲＡピクチャを、前記ＣＲＡ情報を用いて前記復号開始ピクチャとして特定する、請求項１に記載の画像復号装置。
  10. 　ヘッダ領域及びデータ領域を含むファイルフォーマットの前記ヘッダ領域から、前記データ領域に挿入されている画像シーケンス内の１つ以上のＣＲＡ（Clean　Random　Access）ピクチャを識別するＣＲＡ情報を取得することと、
    　ランダムアクセスの指示が検出された場合に、前記ＣＲＡ情報を用いて、前記画像シーケンス内のいずれかのＣＲＡピクチャを復号開始ピクチャとして特定することと、
    　特定された前記復号開始ピクチャから、前記画像シーケンスを復号することと、
    　を含む画像復号方法。
  11. 　画像シーケンス内の画像を符号化して、画像データを生成する符号化部と、
    　ランダムアクセスの際に復号開始ピクチャとして使用可能な前記画像シーケンス内の１つ以上のＣＲＡ（Clean　Random　Access）ピクチャを判定する判定部と、
    　ヘッダ領域及びデータ領域を含むファイルフォーマットの前記ヘッダ領域に前記判定部により判定された前記１つ以上のＣＲＡピクチャを識別するＣＲＡ情報を挿入し、前記データ領域に前記画像データを挿入するファイル生成部と、
    　を備える画像符号化装置。
  12. 　前記ファイルフォーマットは、ＭＰ４フォーマットであり、
    　前記ＣＲＡ情報は、前記１つ以上のＣＲＡピクチャをグルーピングするサンプルグループ情報である、
    　請求項１１に記載の画像符号化装置。
  13. 　前記ファイルフォーマットは、ＭＰ４フォーマットであり、
    　前記ファイル生成部は、前記ＣＲＡ情報を格納するために拡張された拡張サンプルボックスに前記ＣＲＡ情報を格納する、
    　請求項１１に記載の画像符号化装置。
  14. 　前記ファイル生成部は、ＩＤＲ（Instantaneous　Decoding　Refresh）ピクチャを識別するＩＤＲ情報を前記拡張サンプルボックスにさらに格納する、請求項１３に記載の画像符号化装置。
  15. 　前記拡張サンプルボックスは、ＩＤＲピクチャを識別するＩＤＲ情報が格納されるボックスとは別に定義されるボックスである、請求項１３に記載の画像符号化装置。
  16. 　前記判定部は、各ＣＲＡピクチャに表示順で先行し且つ当該ＣＲＡピクチャへのランダムアクセスが行われた場合に正常に復号されない先行ピクチャをさらに判定し、
    　前記ファイル生成部は、前記判定部により判定されたＣＲＡピクチャごとの前記先行ピクチャを識別する先行ピクチャ情報を前記ＣＲＡ情報に含める、
    　請求項１２に記載の画像符号化装置。
  17. 　前記先行ピクチャ情報は、各ＣＲＡピクチャについての前記先行ピクチャの数を示す、請求項１６に記載の画像復号装置。
  18. 　前記先行ピクチャ情報は、各ＣＲＡピクチャについての前記先行ピクチャに対応する時間長を示す、請求項１６に記載の画像復号装置。
  19. 　画像シーケンス内の画像を符号化して、画像データを生成することと、
    　ランダムアクセスの際に復号開始ピクチャとして使用可能な前記画像シーケンス内の１つ以上のＣＲＡ（Clean　Random　Access）ピクチャを判定することと、
    　ヘッダ領域及びデータ領域を含むファイルフォーマットの前記ヘッダ領域に、判定された前記１つ以上のＣＲＡピクチャを識別するＣＲＡ情報を挿入することと、
    　前記データ領域に前記画像データを挿入することと、
    　を含む画像符号化方法。
PCT/JP2013/063178 2012-07-10 2013-05-10 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法 WO2014010300A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US14/412,480 US10062416B2 (en) 2012-07-10 2013-05-10 Image decoding device, and image decoding method, image encoding device, and image encoding method
JP2014524678A JP6319083B2 (ja) 2012-07-10 2013-05-10 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法
CN201380035503.6A CN104412608B (zh) 2012-07-10 2013-05-10 图像解码装置、图像解码方法、图像编码装置及图像编码方法
US15/991,484 US10283167B2 (en) 2012-07-10 2018-05-29 Image decoding device, image decoding method, image encoding device, and image encoding method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012154557 2012-07-10
JP2012-154557 2012-07-10

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/412,480 A-371-Of-International US10062416B2 (en) 2012-07-10 2013-05-10 Image decoding device, and image decoding method, image encoding device, and image encoding method
US15/991,484 Continuation US10283167B2 (en) 2012-07-10 2018-05-29 Image decoding device, image decoding method, image encoding device, and image encoding method

Publications (1)

Publication Number Publication Date
WO2014010300A1 true WO2014010300A1 (ja) 2014-01-16

Family

ID=49915775

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/063178 WO2014010300A1 (ja) 2012-07-10 2013-05-10 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法

Country Status (4)

Country Link
US (2) US10062416B2 (ja)
JP (1) JP6319083B2 (ja)
CN (2) CN104412608B (ja)
WO (1) WO2014010300A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017122543A1 (ja) * 2016-01-13 2017-07-20 ソニー株式会社 情報処理装置および情報処理方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10116576B2 (en) * 2015-10-19 2018-10-30 Samsung Electronics Co., Ltd. Methods and apparatus for random access of HEVC bitstream for MMT
CN105741861B (zh) * 2016-02-05 2017-12-15 京东方科技集团股份有限公司 智能播放系统、方法、可穿戴设备、主体单元和播放单元
JP7077141B2 (ja) * 2018-05-28 2022-05-30 シャープ株式会社 画像記録装置、画像記録方法およびプログラム
CN115150348B (zh) * 2021-03-30 2024-05-03 奇安信科技集团股份有限公司 邮件附件还原方法及系统
CN115080531A (zh) * 2022-05-16 2022-09-20 重庆紫光华山智安科技有限公司 基于分布式存储图像处理方法、系统、设备及介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3080087B2 (ja) * 1998-12-28 2000-08-21 日本電気株式会社 画像処理方法及びその装置
US8214655B2 (en) * 2002-03-29 2012-07-03 Kabushiki Kaisha Toshiba Data structure of multimedia file format, encrypting method and device thereof, and decrypting method and device thereof
US8233781B2 (en) * 2004-09-01 2012-07-31 Panasonic Corporation Image reproduction method and image reproduction apparatus
CN101198052B (zh) * 2006-12-04 2010-05-19 华为技术有限公司 一种视频编码方法、解码方法及其装置
CN101459840B (zh) * 2007-12-13 2010-04-21 华为技术有限公司 视频图像编码和解码方法及装置和系统
US8509434B2 (en) * 2008-06-20 2013-08-13 Korean Broadcasting System Method and apparatus for protecting scalable video coding contents
TW201210325A (en) * 2010-07-21 2012-03-01 Nokia Corp Method and apparatus for indicating switching points in a streaming session
US9706227B2 (en) * 2011-03-10 2017-07-11 Qualcomm Incorporated Video coding techniques for coding dependent pictures after random access
US9026671B2 (en) * 2011-04-05 2015-05-05 Qualcomm Incorporated IP broadcast streaming services distribution using file delivery methods
WO2013012372A1 (en) * 2011-07-15 2013-01-24 Telefonaktiebolaget L M Ericsson (Publ) An encoder and method thereof for assigning a lowest layer identity to clean random access pictures
US20130089152A1 (en) * 2011-10-05 2013-04-11 Qualcomm Incorporated Signaling picture identification for video coding
US9351016B2 (en) * 2012-04-13 2016-05-24 Sharp Kabushiki Kaisha Devices for identifying a leading picture
US9532055B2 (en) * 2012-04-16 2016-12-27 Microsoft Technology Licensing, Llc Constraints and unit types to simplify video random access
US9979958B2 (en) * 2012-04-20 2018-05-22 Qualcomm Incorporated Decoded picture buffer processing for random access point pictures in video sequences
JP6045222B2 (ja) * 2012-06-28 2016-12-14 株式会社Ｎｔｔドコモ 動画像予測復号装置、方法及びプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TK TAN ET AL.: "Clean decoding refresh definition and decoding process", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 6TH MEETING, 14 July 2011 (2011-07-14), TORINO, pages 1 - 3 *
YE-KUI WANG ET AL.: "Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting", ON CDR PICTURE, 22 July 2011 (2011-07-22), TORINO,IT, pages 14 - 22 *
YE-KUI WANG: "Report of the BoG on clean random access (CRA) picture", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 6TH MEETING, 22 July 2011 (2011-07-22), TORINO,IT, pages 1 - 3 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017122543A1 (ja) * 2016-01-13 2017-07-20 ソニー株式会社 情報処理装置および情報処理方法

Also Published As

Publication number Publication date
JPWO2014010300A1 (ja) 2016-06-20
CN107820089A (zh) 2018-03-20
US10062416B2 (en) 2018-08-28
CN104412608A (zh) 2015-03-11
JP6319083B2 (ja) 2018-05-09
US20180277163A1 (en) 2018-09-27
CN107820089B (zh) 2020-05-19
US20150194188A1 (en) 2015-07-09
US10283167B2 (en) 2019-05-07
CN104412608B (zh) 2018-03-06

Similar Documents

Publication Publication Date Title
US10283167B2 (en) Image decoding device, image decoding method, image encoding device, and image encoding method
US8249167B2 (en) PVR-support video decoding system
KR100998899B1 (ko) 썸네일 영상 서비스 방법 및 방송 수신기
AU2019219782B2 (en) Image-processing device and method
JP2013093755A (ja) 映像記録装置及び映像記録方法
EP1605466A1 (en) Transcoding closed captioning data from broadcast DTV onto DVD
US8744235B2 (en) Method and apparatus for processing additional data in broadcast signal, method and apparatus for recording broadcast signal, and method and apparatus for reproducing recorded broadcasting signal
JP6289900B2 (ja) 放送信号送信装置
EP1926104B1 (en) Encoding device, decoding device, recording device, audio/video data transmission system
CN110036646B (zh) 解码器、编码器、计算机程序及方法
US20120027075A1 (en) Signal Processing Apparatus and Signal Processing Method
JP2006319397A (ja) デジタル記録再生装置
JP6479905B2 (ja) 放送信号送信装置および放送信号送受信装置
EP2451155B1 (en) System for providing access to information needed for performing trick mode operations on a video elementary stream
US20150255119A1 (en) Display apparatus and method for editing and displaying recorded video content
WO2014002618A1 (ja) 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法
JP5349638B2 (ja) 信号処理装置及び信号処理方法
KR20080057685A (ko) 방송 녹화 시스템의 녹화된 데이터 검색 장치
KR20130008244A (ko) 영상처리장치 및 그 제어방법
JP2009060422A (ja) 映像再生装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13817615

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014524678

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14412480

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13817615

Country of ref document: EP

Kind code of ref document: A1