WO2004066636A1 - 画像符号化方法 - Google Patents

画像符号化方法 Download PDF

Info

Publication number
WO2004066636A1
WO2004066636A1 PCT/JP2004/000275 JP2004000275W WO2004066636A1 WO 2004066636 A1 WO2004066636 A1 WO 2004066636A1 JP 2004000275 W JP2004000275 W JP 2004000275W WO 2004066636 A1 WO2004066636 A1 WO 2004066636A1
Authority
WO
WIPO (PCT)
Prior art keywords
picture
access unit
image
entry
processed
Prior art date
Application number
PCT/JP2004/000275
Other languages
English (en)
French (fr)
Inventor
Youji Notoya
Shinya Kadono
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to EP20040702796 priority Critical patent/EP1589768A1/en
Priority to US10/528,152 priority patent/US20060153463A1/en
Publication of WO2004066636A1 publication Critical patent/WO2004066636A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to an image encoding method for encoding an image.
  • multimedia refers to not only characters, but also figures and sounds, especially images, etc., which are associated with each other at the same time. It is an essential condition to express
  • the amount of information held by each of the above information media is estimated as the amount of digital information
  • the amount of information per character is one or two bytes in the case of characters, while the amount of information per character is one or two bytes.
  • a television telephone has already been put into practical use by an Integrated Services Digit a I Network (ISDN) having a transmission rate of 64 K bits Zs to 1.5 M bits Zs. It is impossible to send the image of a TV 'camera directly via ISDN. Therefore, what is needed is information compression technology.
  • ISDN Integrated Services Digit a I Network
  • H.261 and H.261 recommended by the ITU- ⁇ (International Telecommunication Union Telecommunication Standardization Sector).
  • the video compression technology of the 263 standard is used.
  • MPEG-1 standard information compression technology it is possible to put image information together with audio information on a normal music CD (Compact 'disk).
  • MPEG Motion Picture Experts Group
  • ISO / IEC International Electrotechnical Commission, International Electrotechnical Commission
  • MPEG-1 sets the target quality to a medium quality that can be achieved at a transmission speed of about 1.5 Mbps, so it was standardized to meet the demand for higher image quality.
  • MPEG-2 a video signal of 2 to 15 Mbps achieves TV broadcast quality.
  • the working group (ISO / IEG JTG1 / SG29 / WG11), which has been working on standardization of MPEG-1 and MPEG-2, has achieved compression ratios higher than MPEG-1 and MPEG-2, Encoding '' Decoding-MPEG-4 has been standardized to enable operation and realize new functions required in the multimedia age.
  • MPEG-4 was initially aimed at standardizing low-bit-rate coding methods, but is now expanded to more general-purpose coding, including high-bit rates, including interlaced images. ing .
  • ISO-4 IEC and ITU are jointly working on the standardization of MPEG-4 AVC and ITUH.264 as next-generation image coding systems with higher compression rates.
  • the next-generation image coding system has been published in what is called committee 'draft (CD).
  • CD committee 'draft
  • the picture is a term representing one screen, and means a frame in a progressive image and a frame or a field in an interlaced image.
  • an interlaced image is an image in which one frame is composed of two fields with different times.
  • one frame is processed as a frame, processed as two fields, or each block in a frame is processed as a frame structure or a field structure. Or you can.
  • a picture that does not have a reference picture and performs intra prediction coding is called an I picture.
  • a picture that performs inter-picture prediction coding by referring to only one picture is called a P picture.
  • a picture that can simultaneously perform inter-picture prediction coding with reference to two pictures is called a B picture.
  • the B picture can refer to two pictures with any combination of display time from the front or the back.
  • a reference picture can be specified for each block, which is a basic unit for encoding and decoding.However, the first reference picture described earlier in the encoded bitstream is referred to as the first reference picture. The one described later is distinguished as the second reference picture. However, as a condition for encoding and decoding these pictures, the picture to be referred to must be already encoded and decoded.
  • Motion-compensated inter-picture prediction coding is used for coding P-pictures or B-pictures. What is motion-compensated inter-frame prediction coding? This is a coding method in which motion compensation is applied to. Motion compensation does not simply predict from the pixel value of a reference picture, but detects the amount of motion of each part in a picture (hereinafter referred to as a motion vector) and performs prediction in consideration of the motion vector. This method improves prediction accuracy and reduces the amount of data. For example, the amount of data is reduced by detecting a motion vector of a current picture to be coded, and encoding a prediction residual shifted between the predicted value shifted by the motion vector and the current picture to be coded. I have. In this method, since motion vector information is required for decoding, the motion vector is also encoded and recorded or transmitted.
  • the motion vector is detected in block units. Specifically, the block on the encoding target picture side is fixed, the block on the reference picture side is moved within the search range, and the motion vector is most similar to the reference block. The motion vector is detected by finding the position of the reference block.
  • FIG. 1 is a block diagram showing a configuration of a conventional image encoding device.
  • the image encoding apparatus 900 encodes the image signal Vin for each picture and outputs an image encoded signal Str 9 as a bit stream.
  • the picture memory 911 acquires the image signal Vin, temporarily stores the image signal Vin, sorts the pictures included in the image signal Vin in the coding order, and stores the image signal Vin in which the pictures are sorted.
  • the motion is output to the motion detector 9 01 and the subtractor 9 08.
  • the subtractor 908 calculates a difference between the image signal Vin and the predicted image Pre, and outputs the calculation result to the encoding unit 909 as a difference image signal Dif.
  • the encoding unit 909 encodes the difference image signal D if output from the subtractor 908 and the motion vector MV output from the motion detection unit 901. As a result, the coding unit 909 generates the coded data C od and the image coded signal S tr 9 obtained by subjecting the coded data C od to processing such as variable-length coding. Coded data Cod and an image coded signal S tr 9 are output.
  • the decoding unit 910 decodes the encoded data Cod to generate a decoded difference image signal RDif.
  • the adder 907 adds the decoded difference image signal R D ⁇ f to the prediction image P re to generate a decoded image signal R ec.
  • the selection unit 903 selects one of the memories 904 to 906 to make the decoded image signal Rec usable as a reference picture in encoding of a subsequent picture, and stores the selected picture in the memory. In response, it outputs a decoded image signal Rec. For example, the selection unit 93 selects the one that stores the oldest decoded image signal Rec among the memories 944-906.
  • the memories 904 to 906 obtain the decoded image signal Rec from the selection unit 903 and store it as a candidate picture Ref that is a candidate for a reference picture. When storing a new candidate picture R ef, the memories 904 to 906 delete the oldest stored candidate picture R ef.
  • the motion detecting unit 901 selects, as a reference picture, a candidate picture Ref having an image area closest to the image signal Vin from among the candidate pictures Ref stored in the memories 904 to 966. Then, the motion detection unit 901 detects a motion vector MV indicating the position of the image area.
  • the motion detecting section 901 uses the designation information RF for designating a reference picture to store the information in each of the memories 904 to 906. Of the plurality of candidate pictures R ef thus obtained, it is specified which one is closer to the image signal V ⁇ , that is, which one is appropriate as a reference picture.
  • the compression rate may be lower when encoding with reference to the reference picture than when performing intra prediction coding.
  • the motion detecting unit 901 instructs the motion compensating unit 902 with the designation information RF to perform intra-frame predictive coding.
  • the motion detection unit 90 1 uses the specified information RF so as to perform intra-frame prediction encoding. Point to 2.
  • the motion compensator 902 based on the designated signal RF output from the motion detector 91, stores three candidate pictures Re stored in the memories 904 to 906 and a value of 0. Is treated as a reference picture. That is, when the designated signal RF specifies a candidate picture R ref that is close to the image signal Vin, the motion compensating unit 92 stores the candidate picture R ref specified by the designated signal RF. The candidate picture Ref is obtained from the memory as a reference picture. On the other hand, when the designated signal RF indicates the intra prediction coding, the motion compensation unit 902 acquires a candidate picture RefO having a value of 0.
  • the motion compensation unit 902 extracts an optimal image area for the predicted image Pre from the obtained reference picture using the motion vector MV, and extracts the extracted image area. Generate and output a predicted image Pre from the image area.
  • candidate picture Ref 0 is obtained Generates and outputs a predicted image Pre having a value of 0.
  • FIG. 2 is a configuration diagram showing a configuration of an image coded signal Str 9 output by the conventional image coding device 900.
  • the image coded signal S tr 9 is composed of a plurality of random access units (hereinafter simply referred to as access units).
  • access units a part of the access unit RAUO, the access units RAU 1 and RAU 2 are shown. It is shown.
  • the Access Unit is composed of multiple pictures, including special I-pictures that can be decoded independently of other pictures.
  • Other pictures included in the access unit are P pictures or B pictures. That is, such an access unit is regarded as one unit in which the image coded signal Str9 composed of a plurality of pictures is divided for each I picture.
  • the pictures included in the image coded signal S tr 9 are arranged in the order in which they are coded, that is, in the order in which they are decoded, and each picture is displayed.
  • the order in which they are performed is different from such an array order.
  • FIG. 3 is a block diagram showing a configuration of a conventional image decoding device.
  • the image decoding device 950 decodes the image coded signal S tr 9, and includes an encoding unit 951, an adder 953, a selection unit 954, and a memory 955. 9 957 and a motion compensator 958.
  • the decoding unit 951 decodes the coded image signal S tr 9 and outputs the decoded difference image signal RD i, the motion vector MV, and the designated information RF.
  • the predicted image Pre is added to the image signal RDif, and the decoded image signal Vo is output.
  • the selecting unit 954 selects one of the memories 955 to 957 and decodes the decoded image signal Vo into the memory in order to use the decoded image signal Vo as a reference picture in decoding a subsequent picture. Outputs the image signal V o. For example, the selection unit 954 selects the one that stores the oldest reconstructed image signal Vo from the memories 955-957.
  • the memories 955 to 9557 acquire the decoded image signal Vo from the selection unit 954, and store this as a candidate picture R ef that is a reference picture candidate. When storing a new candidate picture R ef, the memories 955 to 957 delete the oldest stored candidate picture R ef.
  • the motion compensation unit 958 calculates three candidate pictures R ef stored in the memories 955 to 9557 and the value of 0 based on the designated signal RF output from the decoding unit 951. Any one of the candidate pictures Ref 0 having the same is treated as a reference picture. That is, when the designated signal RF designates a candidate picture R ef close to the image signal Vin, the motion compensation unit 958 stores the candidate picture R ef designated by the designated signal RF. The candidate picture Ref is obtained from the memory as a reference picture. On the other hand, when the designated signal RF indicates intra-frame prediction coding, the motion compensation unit 958 obtains a candidate picture R e f 0 having a value of 0.
  • the motion compensation unit 958 retrieves an optimal image area for the predicted image Pre from the acquired reference picture using the motion vector MV. Then, a predicted image Pre is generated from the extracted image area and output. On the other hand, when the candidate picture R ef O is acquired, a predicted image P ree having a value of 0 is generated and output.
  • a predetermined access unit and an access unit immediately following the access unit are included. Since the picture to be encoded may be encoded with reference to a picture included in an access unit before the predetermined access unit, the image decoding apparatus 950 uses the predetermined access unit. There is a problem that reproduction (random access) from a bird cannot be performed easily.
  • the image decoding device 950 is
  • the image encoding signal Str 9 is acquired from 900, and the access unit thereof is obtained.
  • the I-picture to be predicted and encoded in the screen is called an entry picture in each access unit, and the B-picture or P-picture that precedes the entry picture in the display order is pre-defined.
  • the B picture or P picture that follows the entry picture in display order is called the entry picture.
  • the reference relation R r1 is such a relation that the post entry picture is coded with reference to the picture preceding the entry picture in the coding order in the reference access unit. It is. For example, as shown in FIG. 2, a B picture following the I picture included in the reference access unit RAU 1 in the display order is a picture of the access unit RAU 0. The relationship is such that it is encoded with reference to.
  • the reference relationship R r2 is that, in the reference access unit, the post entry picture is coded with reference to the pre-entry picture, and the pre-entry picture precedes the entry picture in the coding order.
  • the relationship is such that it is encoded with reference to a picture. For example, as shown in Fig. 2, a B picture after the I picture included in the access unit RAU 1 in the display order is encoded with reference to the B picture before the I picture in the display order. And the previous B picture in the display order is encoded with reference to the picture of the access unit RAU 0.
  • the reference relation R r3 is a reference to a picture in the encoding unit immediately preceding the access unit referenced by the pre-entry picture in the access unit immediately following the reference access unit. It is a relationship that is encoded as such. For example, as shown in Fig. 2, the B picture before the one picture included in the access unit RAU 2 in the display order is before the I picture of the reference access unit RAU 1 in the coding order. Access unit 00 This is a relationship that is encoded with reference to the RAUO picture.
  • the reference relation R r4 is a code that is encoded in the access unit immediately after the above-mentioned reference access unit with reference to the pre-entry picture of the access unit referred to by the pre-entry picture, and
  • the reference picture of the access unit as the reference is such that the picture is coded with reference to the S) picture before the picture in the coding order. It is.
  • the B picture preceding the one picture included in the access unit RAU 2 in the display order is the B picture preceding the ⁇ ⁇ ⁇ ⁇ picture of the reference access unit RAU 1 in the display order.
  • the previous B picture in the display order is coded with reference to the picture of the access unit RAU0.
  • FIG. 4 is a configuration diagram showing a configuration of an image encoded signal generated by the other image encoding method.
  • the image coded signal Str10 is composed of a plurality of access units RAU, and a special picture IDR1 is arranged at the head of each access unit RAU.
  • This IDR 1 is a picture that has been subjected to intra prediction coding, and a picture after the IDR 1 is coded by referring to another picture without referring to a picture before the IDR 1. ing.
  • the image decoding apparatus can perform image coding from any of the access units RAU. Random access can be quickly performed on the structured signal S tr10. However, in the image coding method for generating the image coded signal S tr10, the reference efficiency of the picture that crosses the access unit RAU is prohibited, so that the compression efficiency is reduced. is there.
  • FIG. 5 is a configuration diagram showing a configuration of an image coded signal generated by the MPEG-2 image coding method.
  • the image coded signal Str11 is composed of a plurality of group's pictures GOP, and each group's picture GOP is composed of a plurality of pictures.
  • the pictures included in each group.op.picture GOP are an I picture, a P picture, or a B picture.
  • a P picture is coded by referring to only one immediately preceding I picture or P picture in display order, and a B picture is the last I picture or P picture in display order. Encoding is performed by referring to a picture and the I-picture or P-picture immediately following it.
  • the picture to be referred to is limited to a relatively narrow range.
  • Random access to the image coded signal Str 11 can be quickly performed from any group of the picture GOPs.
  • the compression efficiency of the image encoded signal is reduced because the reference relation of the pictures is limited to a narrow range. There's a problem.
  • the present invention has been made in view of such a problem, and provides an image encoding method for generating an image encoded signal that enables rapid random access while preventing a decrease in compression efficiency. Aim. Disclosure of the invention
  • an image encoding method comprises: Out of a plurality of pictures included in a picture, a predetermined picture is encoded as an entry picture without referring to another picture, and a picture other than the entry picture is referred to another already encoded picture.
  • First reference restriction state that refers to other pictures, except for pictures that refer to pictures before the entry picture in In the access unit immediately after the access unit to be processed, a precedent picture that precedes the entry picture in display order has a sign that is higher than that of the entry picture in the access unit to be processed.
  • the post-picture of the access unit to be processed is coded independently of the picture preceding the entry picture in the coding order, that is, the access unit before the access unit to be processed.
  • the leading picture of the access unit immediately after the access unit is independent of the picture before the entry picture of the access unit to be processed in the coding order, that is, the access unit before the access unit to be processed.
  • the preceding picture of the access unit to be processed may refer to a picture before the entry picture in coding order, that is, a picture included in an access unit before the access unit to be processed.
  • the IDRs are not arranged to prohibit the reference relation of a picture that straddles an access unit. Therefore, it is possible to prevent a decrease in the compression efficiency in the encoding of the image signal.
  • a picture that precedes the entry picture in the encoding order and an entry picture in the display order In the second reference restriction step, an entry of the access unit to be processed is referred to, with reference to other pictures excluding the preceding picture preceding the preceding picture.
  • the preceding picture may be characterized by referring to other pictures except for a picture that precedes a re-picture in the coding order and a preceding picture of the access unit to be processed.
  • the preceding picture is removed from the reference target
  • the second reference restriction step regardless of whether or not the preceding picture refers to a picture preceding the entry picture of the access unit to be processed in coding order, the preceding picture is referred to as a reference picture. Since they are excluded from the target, the encoding process can be performed easily and quickly.
  • the image encoding method further comprises: a reference structure information encoding step of encoding reference structure information indicating which access unit is to be processed and performing the first and second reference restriction steps. And inserting an encoded reference structure information into the image encoded signal.
  • the image encoding method further encodes, for each access unit, reference structure information indicating whether or not the first and second reference restriction steps have been performed on the access unit as a processing target.
  • the method may further include a reference structure information encoding step, and an insertion step of inserting the reference structure information corresponding to the access unit into each access unit in the image encoded signal.
  • the image decoding apparatus can specify, for each access unit, whether or not quick random access can be performed from the access unit based on the reference structure information. Further, for each access unit, a reference structure information encoding step of encoding reference structure information indicating a reference range of each picture included in the access unit; and for each access unit in the image encoded signal, And inserting the reference structure information corresponding to the access unit.
  • the image decoding apparatus since the reference structure information indicating the reference range is included in the image coded signal for each access unit, the image decoding apparatus that has obtained such an image coded signal uses the reference Quick random access can be made from each access unit based on the structural information Can be specified.
  • the present invention is also realized as an image encoding device and a program using the above image encoding method, a storage medium storing the program, and an image encoded signal generated by the image encoding method. can do.
  • FIG. 1 is a block diagram showing a configuration of a conventional image encoding device.
  • FIG. 2 is a configuration diagram showing a configuration of a stream output from the image coding apparatus according to the first embodiment.
  • FIG. 3 is a block diagram showing a configuration of a conventional image decoding device.
  • FIG. 4 is a configuration diagram showing a configuration of an image encoded signal generated by another image encoding method.
  • FIG. 5 is a configuration diagram showing a configuration of an image coded signal generated by the MPEG-2 image coding method.
  • FIG. 6 is a block diagram illustrating a configuration of the image encoding device according to the first embodiment of the present invention.
  • FIG. 7 is an explanatory diagram for describing a reference relation of pictures restricted by the motion detection unit according to the embodiment.
  • FIG. 8 is a flowchart showing a schematic series of operations of the above-described motion detecting unit.
  • FIG. 9 is a flowchart showing the detailed operation of step S106 shown in FIG. 8 by the above-described motion detecting unit.
  • FIG. 10 is a flowchart showing the detailed operation of step S116 of FIG.
  • FIG. 11 is a flowchart showing the detailed operation of step S114 shown in FIG.
  • FIG. 12 is a configuration diagram showing a configuration of an image coded signal output from the above image coding apparatus.
  • FIG. 13 is a configuration diagram showing a configuration of an image coded signal according to Modification 1 of the Embodiment.
  • FIG. 14 is a flowchart showing an operation of the image encoding device that generates an image encoded signal according to Modification 1 of the Embodiment.
  • FIG. 15 is a flowchart illustrating an operation of the image encoding device that generates another image encoded signal according to Modification 1 of the Embodiment.
  • FIG. 16 is an information content display diagram showing the content included in the reference structure information according to Modification 2 of the Embodiment.
  • FIG. 17 is a configuration diagram showing a configuration of an image coded signal including reference structure information according to Modification 2 of the Embodiment.
  • FIG. 18 illustrates how the reference structure information according to Modification 2 of the above shows a reference range of a picture included in the access unit to which the reference structure information belongs and a reference range of the picture included in another access unit.
  • FIG. 19 is a configuration diagram showing a configuration of media data stored in a storage medium according to Modification 3 of the Embodiment.
  • FIG. 20 is a configuration diagram showing a configuration of an image coded signal and a lookup table according to Modification 4 of the Embodiment.
  • FIG. 21 is a configuration diagram showing a configuration of an image coded signal including reference identification information according to Modification 5 of the Embodiment.
  • FIG. 22 is a configuration diagram showing a configuration of an identification table according to Modification 6 of the Embodiment.
  • FIG. 23 is a block diagram illustrating a configuration of an image decoding device according to the second embodiment of the present invention.
  • FIG. 24 is a flowchart showing a schematic operation of the image decoding apparatus of the above.
  • FIG. 25 is a flowchart showing the operation of the above-described image decoding device for decoding an image-encoded signal including point information and a parameter set.
  • FIG. 26 is a flowchart showing the operation of the determining unit of the image decoding apparatus according to the first modification.
  • FIG. 27 is a flowchart showing the operation of the determining unit of the image encoding device according to Modification 2 of the Embodiment.
  • FIG. 28 is a block diagram illustrating a configuration of an image decoding device according to Modification 3 of the above.
  • FIG. 29 is an explanatory diagram of a storage medium that stores a program for realizing the image encoding method according to the first embodiment by a computer system in the third embodiment of the present invention.
  • FIG. 30 is a block diagram illustrating an overall configuration of a content supply system that implements a content distribution service according to the fourth embodiment of the present invention.
  • FIG. 31 is a diagram showing a mobile phone using the above-described image encoding method and image decoding method.
  • FIG. 32 is a block diagram showing the internal configuration of the above mobile phone.
  • FIG. 33 is a configuration diagram showing the configuration of the digital broadcasting system of the above. BEST MODE FOR CARRYING OUT THE INVENTION
  • FIG. 6 shows a configuration of an image encoding device according to the first embodiment of the present invention. It is a block diagram shown.
  • the image coding apparatus 100 encodes the image signal V i ⁇ for each picture and converts the image coded signal S tr that enables quick random access to prevent a decrease in compression efficiency. To generate.
  • Such an image encoding device 100 includes a motion detection unit 101, a motion compensation unit 102, a selection unit 103, memories 104 to 106, an adder 107 , A subtracter 1 08, an encoding unit 1 09, a decoding unit 1 10, a counter 1 1 1, an order memory 1 1 2, a reference control unit 1 1 3, and a picture memory 1 1 4 and have.
  • the picture memory 114 acquires the image signal Vin, temporarily stores the image signal Vin, rearranges the pictures included in the image signal Vin in the coding order, and converts the image signal Vin in which the pictures are rearranged.
  • the motion detector 101, the subtracter 108, and the counter 111 Furthermore, the picture memory 114 stores the display order information Poc indicating the display order of the pictures included in the image signal Vin in the motion detecting unit 101, the order memory 112, and the reference control unit 113.
  • the subtracter 108 calculates the difference between the image signal Vin and the predicted image Pre, and outputs the calculation result to the encoder 109 as a difference image signal Dif.
  • the coding unit 109 generates the coded data Cod and the coded image signal Str obtained by performing processing such as variable-length coding on the coded data Cod. It outputs the data Cod and the coded image signal Str.
  • the decoding unit 110 decodes the encoded data Cod to decode the decoded differential image signal. Generate the signal RD if.
  • the adder 107 adds the decoded difference image signal RDif to the predicted image Pre to generate a decoded image signal Rec.
  • the selection unit 103 selects one of the memories 104 to 106 so that the decoded image signal Rec can be used as a reference picture in encoding of a subsequent picture, and stores it in the memory. In response, it outputs a decoded image signal Rec. For example, the selection unit 103 selects the one storing the oldest decoded image signal Rec among the memories 104 to 106.
  • the memories 104 to 106 obtain the decoded image signal Rec from the selection unit 103 and store this as a candidate picture Ref that is a candidate for a reference picture. When storing a new candidate picture R ef, the memories 104 to 106 erase the oldest stored candidate picture R ef.
  • the reference control unit 113 acquires the display order information P oc from the picture memory 114 and, based on the acquired display order information P oc, among the access units included in the image signal Vin, performs rapid random access. Create reference structure information Rsi that indicates the target to be processed as an access unit that can start access. Then, the reference control unit 113 outputs the created reference structure information R si to the motion detection unit 101 and the encoding unit 109.
  • the reference structure information R si is coded and input to the image coded signal S tr, which of the access units of the image coded signal S tr enables quick random access is possible. Show.
  • the reference control unit 113 periodically outputs an intra-screen instruction signal IT for instructing intra-frame prediction encoding to the order memory 112.
  • the counter 111 acquires the image signal Vin from the picture memory 114 and counts each picture included in the image signal Vin.
  • encoding order information D oc indicating the encoding order for each picture is output to the order memory 112 and the motion detecting unit 101.
  • the order memory 112 sequentially obtains the encoding order information Doc of each picture from the counter 111 and sequentially obtains the display order information Poc of each picture from the picture memory 114.
  • the order memory 1 1 2 acquires the in-screen instruction signal IT from the reference control unit 1 13, the order memory 1 1 2 determines the encoding order and display order of the picture corresponding to the in-screen instruction signal 1 T by using the encoding order information.
  • the specified coding order is stored as specific coding order information 1 d 1
  • the specified display order is stored as specific display order information I pi .
  • the order memory 112 stores the encoding order and the display order of the I pictures to be intra-picture predictively encoded as specific encoding order information Id1 and specific display order information Ip1.
  • an order memory 112 stores the specific encoding order information Id1 and the specific display order information Ip1 for two I pictures in a so-called first-in first-out manner. That is, the order memory 112 stores the latest I picture, the specific coding order information Id1, and the specific display order information IP1 for the I picture immediately before the I picture.
  • such an order memory 112 outputs the stored specific encoding order information Id1 and specific display order information Ip1 for the two stored I-pictures to the motion detection unit 101.
  • the motion detection unit 101 selects a candidate picture R ef stored in the memories 104 to 106 that has an image area closest to the image signal V in as a reference picture. Then, the motion detection unit 101 detects a motion vector MV indicating the position of the image area.
  • the motion detection unit 101 specifies information for specifying a reference picture.
  • RF frequency division multiple access
  • one of a plurality of candidate pictures Ref stored in each of the memories 104 to 106 is closer to the image signal Vin, that is, which is a reference picture. Specify whether it is appropriate.
  • the motion compensator 102 includes three candidate pictures R ref stored in the memories 104 to 106 based on the designated signal RF output from the motion detector 101, and a value of 0. Is treated as a reference picture. That is, when the designated signal RF designates a candidate picture Ref close to the image signal Vin, the motion compensation unit 102 stores the candidate picture Ref designated by the designated signal RF.
  • the candidate picture Ref is obtained from the memory as a reference picture, and if the designated signal RF indicates the intra prediction coding, the candidate picture Refo having a value of 0 is obtained.
  • the motion compensation unit 102 extracts an optimal image area for the predicted image Pre using the motion vector MV from the obtained reference picture, and extracts the extracted image area. Generate and output a predicted image Pre from the image area.
  • the candidate picture R ef 0 is obtained, a predicted image P ree having a value of 0 is generated and output.
  • the motion detection unit 101 in the present embodiment includes: the reference structure information R si obtained from the reference control unit 113; the display order information P oc obtained from the picture memory 114; Based on the specific encoding order information Id1 and the specific display order information Ip1 for the two I-pictures obtained from 1 and 2, the picture referred to by the current picture is restricted.
  • FIG. 7 is an explanatory diagram for describing a reference relation of pictures restricted by the motion detection unit 101.
  • the motion detecting unit 101 prohibits the four reference relationships Rr1, Rr2, Rr3, and Rr4 described in the background art. Specifically, based on the reference structure information Rsi obtained from the reference control unit 113, the motion detection unit 101 determines that quick random access should be enabled from the access unit RAU "I. In other words, the motion detection unit 101 determines that the access unit RAU1 is a target to be processed so that quick random access can be started.
  • 1 is the display order and encoding order of the entry picture E1 of the access unit RAU1 specified based on the latest specific coding order information Id1 and specific display order information Ip1, and the display order information
  • the display order and the encoding order of the picture to be encoded of the access unit RAU1 specified based on the P oc and the encoding order information D oc are compared.
  • the motion detection unit 101 sets the picture before the entry picture E 1 in the coding order, that is, the access unit. Do not select a picture before RAU 0 as a reference picture, but select another picture as a reference picture. As a result, the reference relationship Rr1 shown in FIG. 7 is prohibited in the access unit RAU1.
  • the motion detection unit 101 refers to the picture preceding the entry picture E 1 in the coding order. Instead of selecting the pre-picture Pr 11 in the access unit RAU1 that is being used as a reference picture, select another picture as a reference picture. As a result, the reference relation R r2 shown in FIG. 7 is prohibited in the access unit RAU1.
  • the motion detecting unit 101 includes the entry picture E2 in the access unit RAU2, the specific coding order information Id1 and the specific display order information Ip1 corresponding to the entry picture E2.
  • the access unit specified based on the display order and encoding order of the entity E2 specified by the order information Id1 and the specific display order information Ip1, and the display order information Poc and the coding order information Doc The display order and the encoding order of other pictures to be encoded in RAU2 are compared.
  • the motion estimator 101 sets the coding order before the entry picture E1 of the access unit RAU1.
  • a picture that is, a picture before the access unit RAU0 is not selected as a reference picture, but another picture is selected as a reference picture.
  • the motion detection unit 101 refers to a picture preceding the entry picture E1 in the coding order. Instead of selecting the pre-entry picture Pr11 in the access unit RAU1 as a reference picture, select another picture as a reference picture. As a result, in the access unit RAU2, the reference relationship Rr4 shown in FIG. 7 is prohibited.
  • FIG. 8 is a flowchart showing a schematic series of operations of the motion detection unit 101.
  • the access unit is shown as RAU.
  • the motion detection unit 101 acquires the reference structure information R si from the reference control unit 113 and grasps from which access unit RAU a rapid random access should be enabled (step S 1). 0 0).
  • the motion detection unit 101 Upon obtaining the entry picture of the access unit RAU to be coded, the motion detection unit 101 outputs processing such as outputting designation information RF for instructing the entry picture to perform intra prediction coding. To Perform (Step S102).
  • the motion detection unit 101 determines whether or not rapid random access should be enabled from the access unit RAU to be encoded (step S 101). Four).
  • the motion detection unit 101 treats the access unit RAU to be coded as a random access processing target, and The reference picture is selected without establishing the reference relations Rr1 and Rr2 for each picture of the RAU, and the motion vector MV is detected (step S106).
  • the motion detection unit 101 determines whether or not an unprocessed access unit RAU exists (step S108), and if it determines that there is an access unit RAU (Y in step S108),
  • the access unit RAU i.e., the access unit RAU immediately after the access unit RAU to be encoded in step S102
  • the access unit RAU is treated as the encoding target and is included in the encoding target unit RAU.
  • An entry picture is obtained, and processing is performed on the entry picture (step S110).
  • the motion detection unit 101 determines in step S108 that there is no unprocessed access unit RAU (N in step S108)
  • the motion detection unit 101 executes the processing operation. finish.
  • the motion detection unit 101 should enable rapid random access from the encoding target access unit RAU. It is determined whether or not it is (step S112).
  • the motion detection unit 101 sets the encoding target access unit RAU The reference picture is selected without establishing the reference relations Rr1 to Rr4 for each picture, and the motion vector MV is detected (step S1).
  • step S108 the motion detection unit 101 repeatedly performs the operation from step S108.
  • step S112 determines in step S112 that rapid random access should not be enabled (step S112).
  • the motion detection unit 101 does not establish a reference relation Rr3, Rr4 with respect to each picture of the access unit RAU to be coded. ⁇ Selects a reference picture and selects a motion vector MV. (S -f S1 16)
  • step S118 determines whether or not an unprocessed access cut RAU exists (step S118), and when it determines that it exists (step S118). Y), the operation from step S102 is repeatedly executed, and when it is determined that the information does not exist (N in step S118), the processing operation ends.
  • step S104 determines in step S104 that the random access should not be enabled quickly from the access unit RAU to be encoded (N in step S104).
  • the reference picture is selected without any restrictions for each picture of the access unit RAU, and the motion vector MV is detected (step S120), and thereafter, the operation from step S118 is performed.
  • FIG. 9 is a flowchart showing the detailed operation of step S106 shown in FIG. 8 by the motion detection unit 101.
  • the motion detecting unit 101 determines whether or not the current picture is a post-entry picture (step S200).
  • the motion detection unit 101 sets the picture before the entry picture in coding order. Prohibit browsing the game. In other words, the motion detection unit 101
  • the motion estimator 101 selects a reference picture for the current picture without imposing restrictions on the reference relations R r1 and R r2, and the motion vector MV (Step S208).
  • the motion detection unit 101 determines whether the pre-entry picture in the access unit RAU to be encoded refers to a picture earlier than the picture in the encoding order. It is determined whether or not it is (step S204).
  • the motion detection unit 101 prohibits reference to the print picture. That is, the movement detecting unit 101 prohibits the reference relation Rr2 (step S206).
  • the motion detecting unit 101 sets the reference relationship
  • a reference picture is selected for the picture to be coded, and processing such as detection of the motion vector MV is performed (step S208).
  • step S206 the motion detection unit 101 selects a reference picture for the current picture under the restriction of prohibiting the reference relations Rr1 and Rr2, Processing such as detection of the vector MV is performed (step S208).
  • FIG. 10 is a flowchart showing the detailed operation of step SI16 shown in FIG. 8 by the motion detection unit 101.
  • the motion detection unit 101 determines whether or not the current picture to be coded is a pre-entry picture (step S300). When it is determined that the picture is a pre-entry picture (Y in step S300), the motion detecting unit 101 refers to a picture preceding the entry picture of the immediately preceding access unit RAU in coding order. Prohibit That is, the motion detection unit 101 prohibits the reference relation R r 3 (step S 3 0 2) o
  • step S if it is determined that the picture is not a pre-entry picture (step S
  • the motion detector 101 selects a reference picture for the current picture without imposing restrictions on the reference relations Rr3 and Rr4, and detects the motion vector MV. And the like (step S308).
  • the motion detection unit 101 determines whether or not the pre-entry picture refers to a picture earlier than the entry picture in coding order in the immediately preceding access unit RAU. (Step S304).
  • the motion detecting unit 101 prohibits the use of the pre-entry picture. That is, the motion detecting unit 101 prohibits the reference relation Rr4 (step S306). Also, when it is determined that the previous picture is not referred to (N in step S304), the motion detection unit 101 performs
  • a reference picture is selected for the picture to be encoded, and processing such as detection of the motion vector MV is performed (step S308).
  • step S306 the motion detection unit 101 selects a reference picture for the current picture under the restriction of prohibiting the reference relations Rr3 and Rr4, and performs motion Processing such as detection of the vector MV is performed (step S308).
  • FIG. 11 shows the details of step SI 14 shown in Fig. 8 of the motion detection unit 101.
  • FIG. 7 is a flowchart showing a proper operation.
  • the motion detection unit 101 performs the operations of steps S200 to S208 shown in FIG. 9 and the operations of steps S300 to S308 shown in FIG. Specifically, the motion detection unit 101 determines whether the current picture is a pre-entry picture or a post-entry picture (step S400). If the current picture is a post-entry picture, If it is determined, the motion detection unit 101 prohibits the encoding target access unit RAU from referring to a picture prior to the entry picture in the encoding order. That is, the motion detection unit 101 prohibits the reference relation Rr1 (step S402).
  • the motion detection unit 101 determines whether or not the pre-entry picture refers to a picture before the entry picture in the coding order in the access unit RAU to be encoded. Is determined (step S404).
  • the motion detecting unit 101 prohibits reference to the pre-entry picture. That is, the motion detecting unit 101 prohibits the reference relation Rr2 (step S406).
  • the motion detection unit 101 performs coding under the restriction that the reference relation Rr1 is prohibited.
  • a reference picture is selected for the target picture, and processing such as detection of the motion vector MV is performed (step S414).
  • the motion detecting unit 101 selects a reference picture for the current picture under the constraint that the reference relations Rr1 and Rr2 are prohibited, and Performs processing such as detection of vector MV. (Step S4 14).
  • step S400 when it is determined in step S400 that the picture to be coded is a pre-entry picture, the motion detecting unit 101 sets the preceding access unit RAU in the preceding access unit RAU in coding order before the entry picture. Prohibit browsing pictures of other companies. That is, the motion detection unit 101 prohibits the reference relation Rr3 (step S408).
  • the motion detection unit 101 determines in the immediately preceding access unit RAU whether the pre-entry picture refers to the picture before the entry picture in coding order (step S4). Ten ).
  • the motion detecting unit 101 prohibits reference to the pre-entry picture. That is, the motion detecting unit 101 prohibits the reference relation Rr4 (step S4122). Also, when it is determined that the previous picture is not referred to (N in step S410), the motion detecting unit 101 sets the current picture to be coded under the restriction of prohibiting the reference relation Rr3. On the other hand, a reference picture is selected, and processing such as detection of the motion vector MV is performed (step S414).
  • step S 4 12 the motion detection unit 101 selects a reference picture for the current picture under the restriction of prohibiting the reference relations R r 3 and R r 4, and Processing such as detection of the vector MV is performed (step S414).
  • FIG. 12 is a configuration diagram showing a configuration of an image coded signal Str output by the image coding apparatus 100 in the present embodiment.
  • the image coded signal S tr includes, in order from the beginning, a synchronization signal syn required for synchronization, reference structure information R si, and a plurality of access units RAU.
  • the access unit RAU is In this order, it is composed of a synchronizing signal syn and a plurality of pictures Pic.
  • the post-entry picture included in the access unit to be processed does not have the reference relationship Rr1, Rr2, and the pre-entry picture included in the immediately succeeding access unit.
  • the reference relationship is restricted so as not to have the reference relationships R r 3 and R r 4, so that the image decoding device that has acquired the image encoded signal S tr is in front of the access unit to be processed.
  • Random access can be started quickly from the target access unit without decoding the picture.
  • the pre-entry picture of the target access unit is encoded in the encoding order.
  • a picture prior to the tri-picture that is, a picture included in the access unit before the access unit to be processed may be referred to.
  • the picture to be referred to is not limited to the picture immediately before or immediately after it as in PEG-12, it is possible to prevent a decrease in the compression efficiency in encoding the image signal V1n.
  • the pre-entry picture refers to a picture before the entry picture in the coding order
  • the pre-entry picture is not selected as a reference picture, but the pre-entry picture is not selected in the coding order. Regardless of whether or not the picture before the trie picture is referred to, the pre-trial picture may not be selected as the reference picture. Further, in the present embodiment, the order memory 112 is provided.
  • the order memory 111 may be omitted by adding the function of the order memory 111 to 101. Furthermore, in the present embodiment, only three memories for storing candidate pictures Ref are illustratively provided, but four or more memories may be provided.
  • the image coded signal according to this modification includes reference structure information for each access unit, and the reference structure information indicates whether random access can be started quickly from the corresponding access unit.
  • FIG. 13 is a configuration diagram showing a configuration of an image coded signal according to the present modification.
  • the image encoded signal Str1 includes a synchronization signal sy and a plurality of access units RAU01 in order from the top.
  • the access unit RAU01 includes a synchronization signal syn, reference structure information Rsi1 and a plurality of pictures i in order from the top. It is comprised including.
  • the reference structure information R si1 indicates whether or not rapid random access can be started from the access unit RAU01. That is, the reference control unit 113 transmits, to each access unit RAU01, reference structure information Rsi1 indicating whether or not the access unit RAU01 is to be processed as a unit capable of starting a rapid random access. Output.
  • FIG. 14 is a flowchart showing the operation of the image encoding device 100 that generates the image encoded signal Str1.
  • the image encoding apparatus 100 acquires the image signal V in and determines whether or not it is time to encode the entry picture (step S500).
  • step S500 If it is determined that the timing is to encode the entry picture (Y in step S500), it indicates whether rapid random access can be started from the access unit RAU01 to which the entry picture belongs.
  • the reference structure information Rsi1 is encoded (step S502).
  • Step S502 the image coding apparatus 100 performs the coding of the picture. Perform (Step S504).
  • the image encoding apparatus 100 determines whether or not there is a picture that has not been subjected to the encoding process (step S506), and when it determines that there is a picture (Y in step S506). ), The operation from step S500 is repeatedly executed, and when it is determined that there is no operation ( ⁇ in step S506), the processing operation is terminated.
  • the access unit RAU 01 of the image coded signal S tr 1 includes random access point information (hereinafter simply referred to as point information) including reference structure information R si 1 and the picture of each picture included in the access unit RAUO 1.
  • a parameter set which is information necessary for encoding may be included.
  • the point information is located at the head of the access unit RAU01 and indicates a picture to be decoded or a picture to be displayed.
  • FIG. 15 is a flowchart illustrating the operation of the image encoding device 100 that generates the image encoded signal Str1 including the point information and the parameter set.
  • the image coding apparatus 100 acquires the image signal V in, and determines whether or not it is time to code an entry picture (step S520).
  • the image encoding apparatus 100 encodes the point information including the reference structure information Rsi1 (step S520). 2) Then, the parameter set is encoded (step S524). And an image encoding device The unit 100 performs intra-picture predictive encoding of the entry picture (step S 526).
  • step S520 If it is determined that it is not the timing to encode the entry picture (N in step S520), a picture other than the entry picture is encoded (step S528).
  • step S530 the image coding apparatus 1000 determines whether there is a picture that has not been subjected to the coding process (step S530), and determines that there is a picture. In some cases (Y in step S530), the operation from step S520 is repeatedly executed, and when it is determined that there is no operation (N in step S530), the processing operation ends.
  • the reference structure information Rsi1 is arranged in the access unit RAU01 of the image encoded signal Str1.
  • the storage area for storing the reference structure information R si 1 can be made smaller than the storage area for storing the reference structure information R si 1, and as a result, the overall size of the image encoding apparatus 100 can be reduced. Can be achieved.
  • the reference structure information according to the present modification does not simply indicate whether or not quick random access can be started from the corresponding access unit as in Modification 1, but is included in the corresponding access unit.
  • the reference range of each picture is shown.
  • FIG. 16 is an information content display diagram showing the content included in the reference structure information according to the present modification.
  • Reference structure information R si2 shown in (a) to (c) in FIG. 16 corresponds to the access unit RAU12.
  • the reference structure information R si 2 shown in (a) of FIG. The reference range in which the reference relations R r1 and R r2 are prohibited for the channel r 21, and the reference relations R r 3 and R r 4 for the post entry pictures P o 21 and P o 22 Indicates a prohibited reference range.
  • the pictures to be referred to by the pre-entry picture P r 21 indicated by the reference structure information R si 2 are entry picture E 2, entry picture E 1, and post entry picture P ol 1, P o 1 or 2.
  • the picture to be referenced by the post-entry picture Po 21 indicated by the reference structure information R si 2 is an entry picture E 2.
  • the picture to be referenced by the boost entry picture Po 22 indicated by the reference structure information R s i 2 is either the entry picture E 2 or the post-entry picture Po 21.
  • the reference structure information R si 2 shown in (b) of FIG. 16 includes the reference range in which the reference relationship R r 1 is prohibited with respect to the pre-entry picture Pr 21 and the reference entry picture P o 2
  • the reference range R r4 indicates a prohibited reference range for 1, P o 22.
  • the pictures to be referred to the pre-entry picture Pr 21 indicated by the reference structure information R si 2 are the entry picture E 2, the entry picture E 1, and the post-entry pictures Pol 1, Pol 1 2 or a picture before the access unit RAU10.
  • the picture to be referenced by the post entry picture Po 21 indicated by the reference structure information R si 2 is either the entry picture E 2 or the pre-entry picture Pr 21.
  • the pictures to be referenced by the boost entry picture Po 22 indicated by the reference structure information R si 2 are the entry picture E 2, the post entry picture Po 21, and the pre-entry picture. P r 2 1.
  • the reference structure information R si 2 shown in (c) of FIG. A reference range in which there is no restriction on the reference relationship for char Pr21, and a reference range in which no restriction is imposed on the reference relationship for post entry pictures Po21 and Po22 And
  • the pictures to be referred to the pre-entry picture Pr 21 indicated by the reference structure information R si 2 are entry pictures E 2 and E 1 and post entry pictures Po 11 and Po 1. 2, the pre-entry picture Pr11, or the picture before the access unit RAU10.
  • the pictures to be referenced by the post-entry picture P o 21 indicated by the reference structure information R si 2 are entry pictures E 2 and E 1, and pre-entry pictures P r 21 1 and P r 11 1. , Post entry picture Po 11, Po 12, or a picture before access unit RAU 10.
  • the pictures to be referenced by the post-entry picture Po 22 indicated by the reference structure information R si 2 are the entry pictures E 2 and E 1 and the pre-entry pictures Pr 21 and Pr 11.
  • the reference range of each picture is shown in display order, but may be shown in coding order.
  • FIG. 17 is a configuration diagram showing a configuration of an image coded signal including the above-described reference structure information R si2.
  • the image coded signal S tr 2 including the reference structure information R s i 2 includes, in order from the top, a synchronization signal syn and access units R AU 10 and R A U 11
  • the access unit RAU11 includes, in order from the beginning, a synchronization signal syn, reference structure information Rsi2, an entry picture E1, a pre-entry picture Pr11, and a post-entry picture Po11. , And Pol 2.
  • the reference structure information Rsi2 included in the access unit RAU11 indicates a reference range for the pre-entry picture Pr11 and the post-entry pictures Po11 and Po12.
  • the reference structure information R si 2 included in the access unit RAU 12 indicates a reference range for the pre-entry picture Pr 21 and the post entry pictures Po 21 and Po 22. .
  • the image decoding apparatus that has obtained the image coded signal S tr 2 according to the present modification uses the post entry picture P o 11, P o 11 based on the reference structure information R si 2 of the access unit RAU 11.
  • the reference range of the pre-entry picture Pr 21 is grasped on the basis of the reference structure information R si 2 of the access unit RAU 12 as well as the reference range of the reference unit 12.
  • the image decoding apparatus determines that the reference relations R r1 and R r2 do not hold for the post-entry pictures P oll and P o 12 based on the grasp result of the reference range, and the pre-entry picture P r If it is determined that the reference relations Rr3 and Rr4 do not hold for 21, it is determined that random access can be quickly performed from the access unit RAU11.
  • the reference structure information R si 2 indicates the reference range of each picture included in the access unit to which the reference structure information R s ⁇ 2 belongs, but the reference range of the picture included in another access unit is referred to. A range may be indicated.
  • FIG. 18 is an explanatory diagram for explaining how reference structure information R si 2 indicates a reference range of a picture included in an access unit to which the reference structure information belongs and a reference range of a picture included in another access unit. It is.
  • the reference structure information R si 2 included in the access unit RAU 11 includes reference ranges for the post entry pictures P o 11 and P o 12 and the pre-entry picture P r included in the access unit RAU 12. Reference range for 21 is shown.
  • the image decoding apparatus that has obtained the image encoded signal S tr 2 refers to the post entry pictures P oll and P o 12 based on only the reference structure information R si 2 of the access unit RAU 11.
  • the reference structure information R s i 2 indicates the reference range of each picture, but may indicate the restriction level of the reference relation to each picture.
  • the reference structure information R si2 indicates the restriction level 0, the restriction level 1, or the restriction level 2.
  • Restriction level 0 means that the post-entry picture has no reference relation Rr1, Rr2, and restriction level 1 means that the post-entry picture has the reference relation Rr1.
  • Restriction level 2 means that the post entry picture is not restricted by reference.
  • the reference structure information R si 2 indicates a restriction level 0, a restriction level 1, or a restriction level 2.
  • Restriction level 0 means that the pre-entry picture does not have reference relation Rr3, Rr4, and restriction level 1 means that the pre-entry picture does not have reference relation Rr3.
  • Restriction level 2 means that the preview picture is not restricted by reference.
  • the image decoding apparatus that has acquired such reference structure information R si 2 uses the post-entry picture as a reference based on the reference structure information R si 2. It is determined whether or not the pre-entry picture has the reference relation R r3, r 4, as well as whether or not R r 1 and R r 2 are present. (Modification 3)
  • the image coded signal according to the present modification is configured without including the reference structure information, and is stored in the storage medium as a signal configuring the media data.
  • FIG. 19 is a configuration diagram showing a configuration of media data stored in a storage medium.
  • the media data med includes, in order from the beginning, a header hed, reference structure information Rsi, and a plurality of image encoded signals Str3.
  • the image coded signal Str3 includes, in order from the beginning, a synchronization signal syn and a plurality of access units RAU.
  • the access unit RAU includes a synchronization signal syn and a plurality of pictures Pic in order from the top.
  • the image decoding apparatus obtains the reference structure information R si from the media data med stored in the storage medium, and selects any one of the image encoded signals S tr 3 based on the reference structure information R s ⁇ .
  • Access Unit Identify whether random access is possible quickly from the RAU.
  • the image coding apparatus 100 includes an image coded signal S tr 3 that does not include reference structure information, and reference structure information R si corresponding to each access unit RAU of the image coded signal S tr 3.
  • a reference table composed of 2 is generated and output.
  • FIG. 20 is a configuration diagram showing a configuration of the image coded signal Str3 and a lookup table.
  • the look-up table RsiT is used to access each access unit of the image coded signal Str3.
  • each access unit RAU of the image coded signal Str3 and each reference structure information Rsi2 of the lookup table RsiT correspond to each other in order from the top. That is, the first access unit RAU of the image coded signal S tr 3 corresponds to the first reference structure information R si 2 of the reference table R si, and the second access unit RAU is the second access unit RAU. Corresponds to the reference structure information R si 2.
  • the reference table R s i T is configured from a plurality of pieces of reference structure information R s i 2, but may be configured from reference structure information R s ⁇ 1 instead of the reference structure information R s i 2. Further, the image coding apparatus 100 may generate the reference table R s i T from the uncoded reference structure information without coding the reference structure information.
  • the image coding apparatus 100 outputs an image coded signal including reference identification information for identifying the reference structure information R s i 2 and a reference table R s i T.
  • FIG. 21 is a configuration diagram showing a configuration of an image coded signal including reference identification information.
  • the image coded signal Str4 includes, in order from the beginning, a synchronization signal syn, an access unit RAU21, and an access unit RAU22.
  • the access unit RAU22 includes, in order from the beginning, a synchronization signal syn, reference identification information RI for identifying reference structure information Rsi2, and a plurality of pictures Pic.
  • the reference identification information RID indicates, for example, the second reference structure information Rsi2 from the top of the reference table RsiT. That is, the image decoding apparatus that has acquired the image coded signal S tr 4 and the reference table R si T uses the reference identification information RI included in the access unit RAU 22 to obtain the second reference table R si T The reference configuration information R si 2 is specified. Then, the image decoding device grasps the reference range of each picture included in the access unit RAU22 based on the specified reference configuration information Rsi2.
  • the reference identification information RI of the access unit RAU21 may indicate the same second reference structure information Rsi2 from the top as the reference identification information RID of the access unit RAU22.
  • one reference structure information Rsi2 can be associated with a plurality of access units, and thus the same as the reference table RsiT. It is not necessary to include the reference structure information R si 2 of the content, and the amount of information in the reference table R si T can be reduced.
  • the image coding apparatus 100 includes an image coded signal S tr 3 that does not include reference structure information, a reference table R s ⁇ T, and an identification table including reference identification information RID. Output.
  • FIG. 22 is a configuration diagram showing the configuration of the identification table.
  • the identification table R ID T is configured to include a plurality of pieces of reference identification information R ID.
  • the first reference identification information RID is, for example, a reference table R si TO)
  • the third reference configuration information R s .i 2 from the top is indicated
  • the second reference identification information RID is, for example, a reference table R si T Points to the second reference configuration information R si 2 from the top of the field.
  • each reference identification information RID included in the identification table RIDT is, in order from the head, respectively, two in order from the head of the image coded signal Str3.
  • Access unit RAU is supported. That is, the first reference identification information RID corresponds to the first and second access units RAU from the beginning of the image coded signal Str3, and the second reference identification information RID corresponds to the image coded signal Str. It corresponds to the third and fourth access units RAU from the beginning of tr3.
  • the image decoding apparatus that has obtained the image coded signal S tr 3, the reference table R siT, and the identification table RIDT obtains the identification table RIDT corresponding to the first access unit RAU of the image coded signal S tr 3. Based on the first reference identification information RID, the third reference structure information R si 2 of the reference table R si T is specified. Then, the image decoding device grasps the reference range of each picture included in the head access unit RAU based on the specified reference structure information Rsi2.
  • FIG. 23 is a block diagram illustrating a configuration of an image decoding device according to the second embodiment of the present invention.
  • the image decoding device 150 decodes the image coded signal Str generated by the image coding device 100 of Embodiment 1, and includes an encoding unit 15 1, adder 15 3, selection unit 15 5, memory 15 5 to 15 7, motion compensation unit 15 8, decision unit 15 9, and extraction unit 16 0 Have.
  • the extraction unit 160 When the extraction unit 160 obtains the image coded signal S tr from the image coding device 100, it temporarily stores it. Then, the extraction unit 160 first outputs the reference structure information R si of the obtained encoded image signal S tr to the decoding unit 15 1. Next, extraction section 160 outputs access unit RAU included in encoded image signal Str to decoding section 1551 based on an instruction from determination section 159. Upon obtaining the reference structure information R si from the extraction unit 160, the decoding unit 151 decodes the reference structure information F? Si and outputs it to the determination unit 159.
  • the decoding unit 151 when the decoding unit 151 obtains each access unit RAU included in the coded image signal Str from the extraction unit 160, the decoding unit 151 decodes each access unit, and decodes each access unit RAU to obtain the decoded difference image signal RD. Outputs if, motion vector MV, and specified information RF.
  • the decision unit 1559 Upon acquiring the decoded reference structure information R si from the decoding unit 15 1, the decision unit 1559 obtains the access unit RAU included in the image encoded signal S tr based on the reference structure information R si. Which of these can be quickly accessed at random? That is, the determination unit 159 determines an access unit RAU that can start rapid random access.
  • the decision unit 159 outputs a designation signal EM for designating an access unit RAU serving as a start position of random access to the extraction unit 159, for example, in response to a user operation.
  • the above-described extraction unit 160 outputs each access unit RAU included in the image encoded signal Str to the decoding unit 151, in order from the access unit RAU specified by the specification signal EM. is there.
  • the adder 153 adds the prediction image P ree to the decoded difference image signal R Dif and outputs a decoded image signal V out.
  • the selection unit 154 selects one of the memories 155 to “! 57” to use the decoded image signal V out as a reference picture in the subsequent decoding of the picture, and decodes the selected memory. For example, the selecting unit 154 selects a memory storing the oldest decoded image signal V out from the memories 155 to 157.
  • the memories 155 to 157 store the decoded image signal V out from the selector 154. Obtain and store this as a candidate picture Ref that is a reference picture candidate. When storing a new candidate picture Ref, the memories 155 to 157 erase the oldest stored candidate picture Ref.
  • the motion compensator 158 calculates the three candidate pictures R ref stored in the memories 155 to 157 and the value of 0 based on the designated signal RF output from the decoder 151. Either of the candidate pictures R ref 0 that is possessed is treated as a reference picture. That is, when the designated signal RF designates a candidate picture Ref close to the image signal Vin, the motion compensation unit 158 stores the candidate picture Ref designated by the designated signal RF. Get the candidate picture Ref from the memory. On the other hand, when the designated signal RF indicates intra-frame prediction coding, the motion compensation unit 158 obtains a candidate picture R e f 0 having a value of 0.
  • the motion compensation unit 158 retrieves the optimal image area for the predicted image Pre using the motion vector MV from the acquired reference picture. Then, a predicted image Pre is generated from the extracted image area and output. On the other hand, when the candidate picture R ef 0 is obtained, a predicted image P ree having a value of 0 is generated and output.
  • FIG. 24 is a flowchart showing a schematic operation of the image decoding device 150.
  • the image decoding device 150 acquires and decodes the reference structure information R si included in the image coded signal S tr (Step S 600). Based on the reference structure information R si, the image decoding device 150 specifies an access unit RAU that can start quick random access (Step S602). Then, the image decoding apparatus 150 transmits, from among the identified access unit RAUs, the access unit RAU specified by the user. The picture is decoded (step S604).
  • image decoding apparatus 150 in the present embodiment specifies access unit RAU that can start quick random access based on reference structure information R si included in image encoded signal S tr. And the random access can be quickly performed from the specified access unit RAU without decoding the previous picture.
  • the image decoding apparatus 150 is the same as that of the first embodiment.
  • the decoding may be performed on the image coded signal S tr1 according to the first modification of the above.
  • the extraction unit 160 since the reference structure information R si 1 is included for each access unit RAU 01, the extraction unit 160 first decodes the reference structure information R si 1 included in each access unit RAU 01. Output to section 1 5 1. Then, the determining unit 159 determines an access unit RAU01 from which quick random access can be started based on the decoded reference structure information Rsi1.
  • the above determination may be performed by the decoding unit 151.
  • the determination unit 159 instructs the extraction unit 160 to specify a predetermined access unit RAUO 1
  • the extraction unit 160 decodes the reference structure information R si 1 included in the access unit RAUO 1.
  • the decoding unit 15 51 decodes the reference structure information R si1, and, based on the decoded reference structure information R si1, the access unit RAUO 1 including the reference structure information R si1. It is determined whether or not quick random access from is possible.
  • the decoding unit 1551 When it is determined that random access is possible, the decoding unit 1551 outputs each access unit RAUO 1 located after the access unit RAUO 1 from the extraction unit 160 to perform decoding.
  • the access unit RAUO1 includes the above-described point information including the reference structure information Rsi1 and the parameter set, the image decoding apparatus 150 Also do.
  • FIG. 25 is a flowchart showing an operation in which the image decoding apparatus 150 encodes the image encoded signal Str1 including the point information and the parameter set.
  • the access unit RAUO "! Is indicated as RAU.
  • the image decoding apparatus 150 specifies the access unit RAUO1 to be decoded (step S610), and The point information of the access unit RAU 01 is decoded (step S612), and the image decoding device 150 decodes the parameter set (step S614), and the access unit RAUO1 is decoded.
  • the picture decoding apparatus 150 determines whether or not there is an uncoded access unit RAU 01 (step S 6 16). S6 18), when it is determined that there is (Y in step S 6 18), the operation from step S 6 10 is repeatedly executed, and when it is determined that there is no (N in step S 6 18), decoding is performed. The conversion process ends.
  • the image decoding device 150 decodes the coded image signal Str 2 according to the second modification of the first embodiment.
  • the extraction unit 16 0 first sends the access units RAU 10, RAU 11 1 ,... Are output to the decoding unit 15 1. Then, the determining unit 159 determines an access unit capable of starting quick random access based on the decoded reference structure information R si2. Specifically, since the reference structure information R si 2 indicates the reference range for each picture included in the access unit to which it belongs, the determination unit 1559 determines whether or not rapid random access can be started. Based on the reference range indicated by the access unit's reference structure information R s ⁇ 2 and the immediately following access unit's reference structure information R si2, the access unit to be determined is determined.
  • the determination unit 159 determines the access unit to be determined. Recognizes that it is possible to start quick random access from.
  • the pre-entry picture of the access unit to be determined is The picture before the entry picture in the coding order (the picture after the immediately preceding access unit) may be referred to.
  • the pre-entry picture cannot be decoded.
  • a pre-entry picture is not referenced by other pictures, so there is no need to decode or display that pre-entry picture.
  • the determining unit 159 determines whether or not it is necessary to decode a plant picture included in an access unit serving as a start position of random access, by referring to the reference structure information R si of the immediately succeeding access unit. The determination is made based on the reference range indicated by 2. That is, the decision unit 1 5 9 When the reference range of the pre-entry picture of the access unit of the access unit includes the pre-entry picture of the access unit serving as the start position, it is determined that the pre-entry picture needs to be decoded, and the reference range is determined. If it is not included in the box, it is determined that there is no need for decryption.
  • the determining unit 159 determines that there is no need for decoding, the determining unit 159 excludes the pre-entry picture included in the access unit serving as the start position from the access units included in the image coded signal Str2. Then, the extraction unit 160 is instructed to output each access unit after the access unit.
  • the image decoding apparatus 150 can improve the efficiency of the decoding process by omitting the processing of inappropriate pictures.
  • FIG. 26 is a flowchart showing the operation of the determining unit 159 of the image decoding device 150 according to the present modification.
  • the decision unit 159 acquires the reference structure information R s i 2 included in each access unit from the decoding unit 15 1 (step S620).
  • the decision unit 1559 specifies an access unit that can start a quick random access based on the acquired reference structure information Rsi2 (step S622). .
  • the determining unit 159 further specifies an access unit serving as a random access start position from the access unit specified in step S622 (step S624).
  • the determining unit 159 performs decoding of the entry picture of the access unit at the start position based on the reference structure information R si2 of the access unit immediately after the access unit at the start position. It is determined whether or not it is unnecessary (step S626).
  • step S 6 26 Y when it is determined that decryption is unnecessary (step S 6 26 Y), the determination unit 159 determines each access unit after the access unit except for the entry picture included in the access unit serving as the start position among the access units included in the image encoded signal Str2. The extraction unit 160 is instructed to output the data (step S628). On the other hand, when it is determined that decoding is not necessary (N in step S626), the decision unit 159 determines the start unit of the access unit included in the image coded signal Str2 as the start position. Then, the extraction unit 160 is instructed to output all the access units after the packet (step S630). As shown in FIG.
  • the reference structure information R si2 of the access unit to be determined whether or not rapid random access can be started is included in the reference range of the post-entry picture of the access unit.
  • the determination unit 159 determines based on only the reference structure information R si 2 of the access unit to be determined. Then, it is determined whether or not quick random access is possible from the access unit and whether or not it is necessary to decode a pre-entry picture included in the access unit.
  • the image decoding device 150 decodes the coded image signal Str 3 according to the third modification of the first embodiment.
  • the header hed of the media data med stored in the storage medium includes information related to each image coded signal Str3 of the media data med.
  • This related information indicates whether or not it is possible to start a quick random access from any access unit RAU of each of the image coded signals S tr 3, and if so, a quick random access. Restores the access unit's entry picture, which is the start position of the access. Indicates that encryption is not required.
  • the image decoding apparatus 150 refers to the header hed of the media data med stored in the storage medium, and reads the related information indicating that quick random access is possible. If it is in hed, it is determined that random access can be performed quickly from any of the access units RAU to the image coded signal Str3 without referring to the reference structure information R s ⁇ .
  • FIG. 27 is a flowchart showing the operation of the determining unit 159 of the image decoding apparatus 150 according to the present modification.
  • the decision unit 159 acquires the header hed via the extraction unit 160 and the decoding unit 151 (step S640), and based on the related information included in the header hed. Then, it is determined whether or not quick random access is possible from all the access units RAU for each of the image coded signals S tr3 included in the media data med (step S642).
  • the determination unit 1559 determines that quick random access is possible from all the access units RAUs (step S642)
  • the random access start position is determined from all the access units RAUs).
  • the determination unit 159 determines the access unit RAUs after the access unit RAU except for the entry picture of the access unit RAU as the start position.
  • the extraction unit 1660 is instructed to output (step S640).
  • step S642 When it is determined in step S642 that quick random access is not possible from all access units RAU (N in step S642), the decision unit 1559 decodes the reference structure information Rsi. Obtained from part 1 5 1 (Step S640), and an access unit RAU capable of quick random access is specified (Step S650).
  • the determining unit 159 further specifies an access unit RAU serving as a random access start position from the randomly accessible access unit RAU (step S652).
  • the determination unit 159 instructs the extraction unit 160 to output the access unit RAU after the access unit RAU at the start position (step S656).
  • the media data med is stored. It is also possible to identify the type of storage medium being used from physical characteristics and the like, and determine whether or not quick random access can be started from all access units RAU based on the identification result.
  • the image decoding device includes an image coding signal S tr 3 generated by the image coding device 100 according to the fourth modification of the first embodiment, and a lookup table R si T. Obtain and decode the image coded signal S tr 3.
  • FIG. 28 is a block diagram illustrating a configuration of an image decoding device according to the present modification.
  • the image decoding device 150 a includes an adder 15 3, a selection unit 15 4, a memory 15 5 to 15 7, a motion compensation unit 15 8, an extraction unit 16 1, It comprises a decoding section 162, a decision section 163, and an acquisition section 1664.
  • Acquiring section 1 6 4 obtains reference table R si T, and outputs the reference structure information R S i 2 included in the reference tape le R si T from the start to the determination section 1 6 3 sequentially.
  • the determination unit 16 3 determines, based on the reference structure information R si 2, among the access units RAU included in the image coded signal S tr 3. Identify from which random access is possible quickly. That is, the determination unit 163 determines an access unit RAU from which rapid random access can be started. Then, for example, in response to a user operation, the determination unit 163 outputs to the extraction unit 161, a designation signal EM for designating an access unit RAU serving as a random access start position.
  • the extraction unit 161 Upon obtaining the image coded signal Str3, the extraction unit 161 temporarily stores this. Then, the extraction unit 160 outputs the access unit RAUs subsequent to the access unit RAU specified by the specification signal EM to the decoding unit 162 among the access units RAU included in the image coded signal S tr 3 .
  • the decoding unit 162 When the decoding unit 162 obtains each access unit RAU included in the image coded signal S tr 3 from the extraction unit 161, the decoding unit 162 decodes each access unit RAU, and outputs a decoded difference image signal RD if, The motion vector MV and the specified information RF are output.
  • a program for implementing the image encoding method or the image decoding method described in each of the above embodiments is recorded on a storage medium such as a flexible disk, so that the program described in each of the above embodiments can be used. Processing It can be easily implemented on an independent computer system.
  • FIG. 29 is an explanatory diagram of a storage medium that stores a program for realizing the image encoding method or the image decoding method according to the first or second embodiment by a computer system.
  • FIG. 29 shows the appearance of the flexible disk FD as viewed from the front and side, and the disk body FD1, which is the main body of the recording medium, as viewed from the front.
  • (A) in Fig. 29 is An example of the physical format of the disk body FD 1 is shown.
  • the disk body FD 1 is built in the case F. On the surface of the disk body FD 1, a plurality of tracks Tr are formed concentrically from the outer circumference toward the inner circumference, and each track is formed in an angular direction of 16 tracks. It is divided into sectors Se. Therefore, in the flexible disk FD storing the program, the image encoding method as the program is recorded in the area allocated on the disk body FD1.
  • (C) in FIG. 29 shows a configuration for recording and reproducing the program on the flexible disk FD.
  • the computer system CS When recording the above program on the flexible disk FD, the computer system CS writes the image encoding method or the image decoding method as the above program via the flexible disk drive FDD.
  • the program When the above-mentioned image encoding method or image decoding method is constructed in the computer system Cs by a program in the flexible disk FD, the program is read from the flexible disk FD by the flexible disk drive FDD, and the computer system It is transferred to C S.
  • the flexible disk FD is used as the recording medium.
  • the recording medium is not limited to this, and the present invention can be similarly implemented as long as it can record a program, such as an IC card or a ROM cassette.
  • FIG. 30 is a block diagram showing an overall configuration of a content supply system exl100 for realizing a content distribution service.
  • the communication service providing area is divided into desired sizes, and base stations ex107 to ex110, which are fixed radio stations, are installed in each cell.
  • the content supply system ex100 is connected to the internet ex101 via an internet service provider ex102 and a telephone network ex104, and base stations ex107 to exl10.
  • Each device such as a computer ex111, a PDA (persona I digital assistant) ex112, a camera exl13, a mobile phone ex114, and a camera-equipped mobile phone ex115 is connected.
  • PDA persona I digital assistant
  • each device may be directly connected to the telephone network ex 104 without going through the base stations ex 107 to ex 110 which are fixed wireless stations.
  • the camera exl 13 is a device such as a digital video camera capable of shooting moving images.
  • PDC Personal Digital Communications
  • CDMA Code Division Multiple Access
  • W-CDMA Wide deband-Code Diision Multiple Access
  • GSM Global System for Mobile Communication
  • PHS Personal Handyphone System
  • the streaming server ex103 is connected from the camera ex113 via the base station ex109 and the telephone network ex104, and the user can use the camera ex113 to use the streaming server ex103. Live distribution etc. based on the encoded data to be transmitted becomes possible.
  • the encoding of the captured data may be performed by the camera ex113 or by a server or the like that performs the data transmission processing.
  • the moving image data shot by the camera ex111 may be transmitted to the streaming server ex103 via the computer ex111.
  • the camera ex1 16 is a device that can shoot still images and moving images such as digital cameras. In this case, encoding of the moving image data may be performed by the camera ex111 or the computer ex111.
  • the encoding process is performed by the computer ex111 and the LSI ex117 of the camera eXI16.
  • the software for image coding and decoding is incorporated into any storage media (CD-ROM, flexible disk, hard disk, etc.) that is a recording medium that can be read by a computer ex11 "I or the like.
  • the moving image data may be transmitted from the camera-equipped mobile phone ex 115. The moving image data at this time is data encoded by the LSI included in the mobile phone ex 115. It is.
  • the content for example, a video image of a live music taken by the user with the camera ex113, the camera ex116, etc. is the same as in the above embodiment.
  • the streaming server ex103 transmits the content data to the requested client in a stream while transmitting it to the streaming server ex103.
  • a computer ex111, a PDA ex112, a camera ex113, a mobile phone ex114, etc., capable of decoding the above encoded data are available. is there.
  • the content The supply system ex1000 can receive and reproduce encoded data at the client, and also realizes personal broadcasting by receiving, decoding, and reproducing the data in real time at the client It is a system that becomes possible.
  • each device constituting this system may be performed using the image encoding device or the image decoding device described in each of the above embodiments.
  • a mobile phone will be described as an example.
  • FIG. 31 is a diagram illustrating the mobile phone ex115 using the image encoding method or the image decoding method described in the above embodiment.
  • the mobile phone ex115 has an antenna ex210 for transmitting and receiving radio waves to and from the base station ex110, a camera unit ex203 capable of capturing images and still images from CCD cameras, etc.
  • the display unit ex202 such as a liquid crystal display, which displays the data obtained by decoding the video captured by the camera unit ex203, the video received by the antenna ex201, etc., and the operation keys eX204 group
  • the main unit consists of: an audio output unit ex208 for speed output for audio output, an audio input unit ex205 for a microphone etc.
  • the recording media ex207 is a type of EEPROM (Electrically Erasable and Programmable Read Only Memory), a non-volatile memory that can be electrically rewritten and erased in a plastic case such as an SD card. It stores the elements.
  • EEPROM Electrically Erasable and Programmable Read Only Memory
  • the ex 1 15 is a power supply circuit for the main control unit ex 3 11 1, which is to control each part of the main unit equipped with the display unit ex 2 0 2 and the operation key ex 2 04.
  • the demultiplexing unit ex308, the recording / reproducing unit ex307, the modulation / demodulation circuit unit ex306, and the audio processing unit ex305 are connected to each other via the synchronous bus ex310.
  • the power supply circuit ex310 operates the digital mobile phone ex115 with a re-camera by supplying power to each unit from the battery pack when the user hangs up and the power key is turned on. Start up to a possible state.
  • the mobile phone ex115 based on the control of the main control unit ex311, consisting of a CPU, ROM, RAM, etc., converts the voice signal collected by the voice input unit ex205 in the voice call mode into a voice processing unit ex310.
  • the digital signal is converted into digital voice data by the digital excimer 5 and spread-spectrum processed by the modulation / demodulation circuit section ex306, and is subjected to digital / analog conversion processing and frequency conversion processing by the transmission / reception circuit section ex301.
  • the mobile phone ex115 in the voice communication mode amplifies the received data received by the antenna ex201, performs a frequency conversion process and an analog-to-digital conversion process, and performs a modulation and demodulation circuit unit ex306 to scan. After performing a tram despreading process and converting it into analog audio data by an audio processing unit ex305, this is output via an audio output unit ex208.
  • the text data of the e-mail input by operating the operation key eX204 of the main unit is transferred to the main control unit ex via the operation input control unit ex304.
  • the main control unit ex311 scans the text data in the modulation / demodulation circuit unit ex306.
  • the digital signal is subjected to spread spectrum processing, subjected to digital-to-analog conversion processing and frequency conversion processing in the transmission / reception circuit unit ex301, and then transmitted to the base station ex110 via the antenna ex201.
  • the image data captured by the camera unit ex203 is supplied to the image encoding unit ex312 via the camera interface unit ex303.
  • the image data taken by the camera unit ex203 is displayed on the display unit ex203 via the camera interface unit ex303 and the LCD control unit ex302. It is also possible to display it directly on 2.
  • the image encoding unit ex312 has the configuration including the image encoding device or the image decoding device described in the present invention, and converts the image data supplied from the camera unit ex203 into the above-described embodiment.
  • the image data is compressed and encoded by the encoding method used in the image encoding device shown in (1), converted into encoded image data, and sent to the demultiplexer ex308.
  • the mobile phone ex115 receives the voice collected by the voice input unit ex205 while capturing the image with the camera unit ex203, and outputs the digital voice via the voice processing unit ex305.
  • the data is sent to the multiplex separation unit ex308 as data.
  • the demultiplexing unit ex 308 multiplexes the coded image data supplied from the image encoding unit ex 312 and the audio data supplied from the audio processing unit ex 305 in a predetermined format.
  • the resulting multiplexed data is subjected to spread spectrum processing in the modulation and demodulation circuit section ex306, digital and analog conversion processing and frequency conversion processing in the transmission and reception circuit section ex301, and then to the antenna ex201. To send over.
  • the received data received from the base station ex110 via the antenna ex201 is scanned by the modem circuit ex306.
  • Ectram despreading process The resulting multiplexed data is sent to the demultiplexing unit ex308, and the multiplexed data received via the antenna ex201 is decoded by the demultiplexing unit ex308.
  • 8 separates the multiplexed data into a bit stream of image data and a bit stream of audio data, and decodes the coded image data via a synchronous bus ex3 13
  • the audio data is supplied to the audio processing unit ex305.
  • the image decoding unit ex309 includes the image decoding device described in the present invention.
  • the bit stream of the image data is decoded by a decoding method corresponding to the encoding method described in the above embodiment to generate replayed moving image data.
  • a decoding method corresponding to the encoding method described in the above embodiment to generate replayed moving image data.
  • To the display unit ex202 via the Video data included in the link moving image file is displayed on Page.
  • the audio processing unit ex305 converts the audio data into analog audio data, and then supplies the analog audio data to the audio output unit ex208, whereby, for example, a moving image linked to a homepage
  • the audio data contained in the file is played.
  • the image coding apparatus of the above embodiment is also used in a digital broadcasting system.
  • any of the image decoding devices can be incorporated.
  • the bit stream of the video information is transmitted to the communication or the broadcasting satellite ex410 via radio waves.
  • the broadcasting satellite ex 410 receiving this transmits a radio wave for broadcasting, receives this radio wave with a home antenna ex 406 equipped with satellite broadcasting receiving equipment, and receives a TV (receiver) ex 410 or A device such as a set-top pox (STB) eX407 is used to decrypt the bit stream and reproduce it.
  • STB set-top pox
  • the playback device ex403 that reads and decodes the bitstream recorded on the storage medium ex402 such as GD or DVD which is a recording medium, and decodes the image decoding described in the above embodiment. It is possible to implement the device. In this case, the reproduced video signal is displayed on the monitor ex404.
  • an image decoding device is mounted in the set-top pox ex 407 connected to the cable ex 405 for the cape video or the antenna 406 for satellite terrestrial broadcasting, and this is connected to the TV monitor ex 408 It is also conceivable to use a configuration in which playback is performed by using the. At this time, the image decoding device may be incorporated in the TV instead of the set-top box.
  • the car ex 412 having the antenna ex 411 receives a signal from the satellite eX410 or the base station ex107, etc., and receives the signal ex ex. It is also possible to play a moving image on a display device such as 4 13.
  • the image signal can be encoded by the image encoding device described in the above embodiment and recorded on a recording medium.
  • a DVD recorder that records an image signal on a DVD disc eX421 and a recorder ex42 such as a disc recorder that records on a single disc. It can also be recorded on an SD card e x 4 2 2. If the recorder ex420 has the image decoding device shown in the above embodiment, it reproduces the image signal recorded on the DVD disc ex421 or the SD card eX422 and monitors the monitor ex. 408 can be displayed.
  • force interaction ex4 13 may be, for example, a configuration excluding the camera unit ex203, the camera interface unit ex303, and the image encoding unit ex312 from the configuration shown in FIG. The same can be said for the computer eX111 and the TV (receiver) ex40-1.
  • the terminals such as the above-mentioned mobile phone ex114 are not only transmission / reception terminals having both an encoder and a decoder, but also a transmission terminal having only an encoder and a terminal having only a decoder.
  • the receiving terminal There are three possible implementation formats for the receiving terminal.
  • the image encoding method or the image decoding method described in the above embodiment can be used in any of the above-described device systems, and by doing so, the effects described in the above embodiment can be obtained. Can be obtained. Further, the present invention is not limited to the above embodiment, and various changes or modifications can be made without departing from the scope of the present invention.
  • the image encoding method according to the present invention is capable of generating an image encoded signal capable of quick random access while preventing a decrease in compression efficiency, and is capable of generating an image encoded signal such as a video camera or a mobile phone having a recording function. Applicable as a device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

迅速なランダムアクセスを可能とする画像符号化信号Ｓｔｒを、圧縮効率の低下を防いで生成する画像符号化方法は、処理対象のアクセスユニット（ＲＡＵ）において、ポストエントリピクチャに対し、符号化順でエントリピクチャよりも前にあるピクチャと、プリエントリピクチャとを除く、他のピクチャを参照する第１の参照制限ステップ（ステップＳ１０６）と、直後にあるアクセスユニット（ＲＡＵ）において、プリエントリピクチャに対し、処理対象のアクセスユニット（ＲＡＵ）のエントリピクチャよりも符号化順で前にあるピクチャと、処理対象のアクセスユニット（ＲＡＵ）のプリエントリピクチャとを除く、他のピクチャを参照する第２の参照制限ステップ（ステップＳ１１４又はステップＳ１１６）とを含む。

Description

明 細 書 画像符号化方法 技術分野
本発明は、 画像を符号化する画像符号化方法に関する。 背景技術
近年、 音声や、 画像その他の画素値を統合的に扱うマルチメディア時 代を迎え、 従来からの情報メディア、 つまり新聞や雑誌、 テレビ、 ラジ ォ、 電話等の情報を人に伝達する手段が、 マルチメディアの対象として 取り上げられるようになつてきた。
一般に、 マルチメディアとは、 文字だけでなく、 図形や、 音声、 特に 画像等を同時に関連づけて表すことをいうが、 上記従来の情報メディア をマルチメディアの対象とするには、 その情報をディジタル形式にして 表すことが必須条件となる。
ところが、 上記各情報メディアの持つ情報量をディジタル情報量と し て見積もってみると、 文字の場合には 1 文字当たりの情報量は 1 〜 2バ イ トであるのに対し、 音声の場合には 1 秒当たり 6 4 K b i t s (電話 品質）、 さらに動画については 1秒当たり 1 O O M b i t s (現行テレビ 受信品質） 以上の情報量が必要となり、 上記情報メディアの膨大な情報 をディジタル形式でそのまま扱うことは現実的では無い。 例えば、 テレ ビ電話は、 6 4 K b i t s Z s〜 1 . 5 M b i t s Z sの伝送速度を持 つサービス総合ディジタル網 （ I S D N ： Integrated Services Digit a I Network) によってすでに実用化されているが、 テレビ ' カメラの映 像をそのまま I S D Nで送ることは不可能である。 そこで、 必要となってく るのが情報の圧縮技術であり、 例えば、 亍レ ビ電話の場合、 I T U— τ (国際電気通信連合 電気通信標準化部門） で勧告された H. 2 6 1 や H . 2 6 3規格の動画圧縮技術が用いられて いる。 また、 M P E G— 1 規格の情報圧縮技術によると、 通常の音楽用 C D (コンパク ト ' ディスク） に音声情報とともに画像情報を入れるこ とも可能となる。
ここで、 M P E G (Moving Picture Experts Group) とは、 I S O/ I E C (国際標準化機構 国際電気標準会議） で標準化された動画像信 号圧縮の国際規格であり、 M P E G— 1 は、 動画像信号を 1. 5 M b p sまで、 つまリテレビ信号の情報を約 1 0 0分の 1 にまで圧縮する規格 である。 また、 M P E G— 1規格では対象とする品質を伝送速度が主と して約 1 . 5 M b p sで実現できる程度の中程度の品質と したことから 、 さらなる高画質化の要求をみたすべく規格化された M P E G— 2では 、 動画像信号を 2〜 1 5 M b p sで T V放送品質を実現する。
さらに現状では、 M P E G— 1 ， M P E G— 2と標準化を進めてきた 作業グループ （ISO/ IEG JTG1/SG29/WG11) によって、 M P E G— 1 , M P E G— 2を上回る圧縮率を達成し、 更に物体単位で符号化 ' 復号化 - 操作を可能とし、 マルチメディア時代に必要な新しい機能を実現する M P E G— 4が規格化された。 M P E G— 4では、 当初、 低ビッ トレート の符号化方法の標準化を目指して進められたが、 現在はインタ レース画 像も含む高ピッ 卜レー卜も含む、 よリ汎用的な符号化に拡張されている 。 更に、 現在は、 I S OZ I E Cと I T U—丁が共同でより高圧縮率の 次世代画像符号化方式と して、 M P E G— 4 A V Cおよび I T U H . 2 6 4の標準化活動が進んでいる。 2 0 0 2年 8月の時点で、 次世代 画像符号化方式はコ ミツティー ' ドラフ ト （ C D) と呼ばれるもので発 行されている。 一般に動画像の符号化では、 時間方向および空間方向の冗長性を削減 することによって情報量の圧縮を行う。 そこで時間的な冗長性の削減を 目的とする画面間予測符号化では、 前方または後方のピクチャを参照し てブロック単位で動きの検出および予測画像の作成を行い、 得られた予 測画像と符号化対象ピクチャとの差分値に対して符号化を行う。 ここで 、 ピクチャとは 1枚の画面を表す用語であり、 プログレッシブ画像では フレームを意味し、 インタ レース画像ではフレームもしくはフィールド を意味する。 ここで、 インタ レース画像とは、 1 つのフ レームが時刻の 異なる 2つのフィールドから構成される画像である。 インタ レース画像 の符号化や復号化処理においては、 1 つのフレームをフレームのまま処 理したり、 2つのフィールドとして処理したり、 フ レーム内のブロ ック 毎にフレーム構造またはフィールド構造として処理したりすることがで きる。
参照ピクチャを持たず画面内予測符号化を行うものを I ピクチャと呼 ぶ。 また、 1 枚のピクチャのみを参照し画面間予測符号化を行うものを Pピクチャと呼ぶ。 また、 同時に 2枚のピクチャを参照して画面間予測 符号化を行うことのできるものを Bピクチャと呼ぶ。 Bピクチャは表示 時間が前方もしくは後方から任意の組み合わせと して 2枚のピクチャを 参照することが可能である。 参照ピクチャは符号化および復号化の基本 単位であるブロックごとに指定することができるが、 符号化を行ったビ ッ トス トリ一ム中に先に記述される方の参照ピクチャを第 1参照ピクチ ャ、 後に記述される方を第 2参照ピクチャとして区別する。 ただし、 こ れらのピクチャを符号化および復号化する場合の条件と して、 参照する ピクチャが既に符号化および復号化されている必要がある。
P ピクチャ又は Bピクチャの符号化には、 動き補償画面間予測符号化 が用いられている。 動き補償画面間予測符号化とは、 画面間予測符号化 に動き補償を適用した符号化方式である。 動き補償とは、 単純に参照ピ クチャの画素値から予測するのではなく、 ピクチャ内の各部の動き量 （ 以下、 これを動きベク トルと呼ぶ） を検出し、 その動きベク トルを考慮 した予測を行うことにより予測精度を向上すると共に、 データ量を減ら す方式である。 例えば、 符号化対象ピクチャの動きべク トルを検出し、 その動きべク トルの分だけシフ 卜した予測値と符号化対象ピクチャとの 予測残差を符号化することによりデータ量を減している。 この方式の場 合には、 復号化の際に動きべク トルの情報が必要になるため、 動きべク トルも符号化されて記録又は伝送される。
動きべク トルはブロック単位で検出されており、 具体的には、 符号化 対象ピクチャ側のブロックを固定しておき、 参照ピクチャ側のブロック を探索範囲内で移動させ、 基準ブロックと最も似通った参照ブロックの 位置を見つけることにより、 動きべク トルが検出される。
図 1 は、 従来の画像符号化装置の構成を示すプロック図である。
画像符号化装置 9 0 0は、 画像信号 V i nをピクチャごとに符号化し てビッ トス トリー厶たる画像符号化信号 S t r 9を出力するものであつ て、 動き検出部 9 0 1 と、 動き補償部 9 0 2と、 選択部 9 0 3と、 メモ リ 9 0 4 〜 9 0 6と、 加算器 9 0 7 と、 減算器 9 0 8と、 符号化部 9 0 9と、 復号化部 9 1 0と、 ピクチャメモリ 9 1 1 とを備えている。
ピクチャメモリ 9 1 1 は、 画像信号 V i nを取得して一時的に保存し 、 画像信号 V i nに含まれるピクチャを符号化順に並び替えて、 そのピ クチャが並び替えられた画像信号 V i nを動き検出部 9 0 1 と減算器 9 0 8に出力する。
減算器 9 0 8は、 画像信号 V i nと予測画像 P r eとの差分を計算し てその計算結果を差分画像信号 D i f と して符号化部 9 0 9に出力する 符号化部 9 0 9は、 減算器 9 0 8から出力された差分画像信号 D i f と、 動き検出部 9 0 1 から出力された動きべク トル M Vとを符号化する 。 その結果、 符号化部 9 0 9は、 符号化データ C o d と、 符号化データ C o dに対して可変長符号化などの処理がなされた画像符号化信号 S t r 9 とを生成し、 この符号化データ C o dと画像符号化信号 S t r 9と を出力する。
復号化部 9 1 0は、 符号化データ C o dを復号化して復号差分画像信 号 R D i f を生成する。
加算器 9 0 7は、 予測画像 P r eに復号差分画像信号 R D ί f を加算 して復号画像信号 R e cを生成する。
選択部 9 0 3は、 復号画像信号 R e cを後続のピクチャの符号化で参 照ピクチャとして利用可能とするため、 メモリ 9 0 4〜 9 0 6のうち何 れかを選択してそのメモリに対して復号画像信号 R e cを出力する。 例 えば、 選択部 9 0 3は、 メモリ 9 0 4〜 9 0 6のうち最も古い復号画像 信号 R e cを格納しているものを選択する。
メモリ 9 0 4〜 9 0 6は、 選択部 9 0 3から復号画像信号 R e cを取 得して、 これを参照ピクチャの候補となる候補ピクチャ R e f として格 納する。 またメモリ 9 0 4〜 9 0 6は、 新たな候補ピクチャ R e f を格 納するときには、 既に格納されている最も古い候補ピクチャ R e f を消 去する。
動き検出部 9 0 1 は、 メモリ 9 0 4〜 9 0 6に格納されている候補ピ クチャ R e f のうち、 画像信号 V i nに最も近い画像領域を有するもの を参照ピクチャと して選択する。 そして、 動き検出部 9 0 1 は、 その画 像領域の位置を指し示す動きべク トル M Vを検出する。
さらに、 動き検出部 9 0 1 は、 参照ピクチャを指定するための指定情 報 R Fを用いることにより、 メモリ 9 0 4〜 9 0 6のそれぞれに格納さ れた複数の候補ピクチャ R e f の中で、 何れが画像信号 V ί ηに近いか 、 つまリ何れが参照ピクチャとして適切かを指定する。
ここで、 シーンチェンジなどにより画像間の相関が失われるような場 合には、 参照ピクチャを参照して符号化する方が、 画面内予測符号化す るよりも圧縮率が低下することがある。 このように、 画像信号 V i nに 近い候補ピクチャ R e f がない場合には、 動き検出部 9 0 1 は画面内予 測符号化するように指定情報 R Fで動き補償部 9 0 2に指示する。
また、 エラー伝播防止や画像符号化信号の途中から再生を可能とする ためには、 所定のピクチャ数毎にそのピクチャのみで復号可能な画面内 予測符号化を行う必要がある。 そこで、 動き検出部 9 0 1 は、 外部から 画面内予測符号化を指示する画面内指示信号〖 丁を取得したときにも、 画面内予測符号化するように指定情報 R Fで動き補償部 9 0 2に指示す る。
動き補償部 9 0 2は、 動き検出部 9 0 1 から出力される指定信号 R F に基づいて、 メモリ 9 0 4 ~ 9 0 6に格納されている 3つの候補ピクチ ャ R e と、 0の値を持つ候補ピクチャ R e f 0とのうち何れかを、 参 照ピクチャとして扱う。 即ち、 動き補償部 9 0 2は、 指定信号 R Fが画 像信号 V i nに近い候補ピクチヤ R e f を指定している場合には、 その 指定信号 R Fが指定する候補ピクチャ R e f を格納しているメモリから その候補ピクチャ R e f を参照ピクチャとして取得する。 一方、 指定信 号 R Fが画面内予測符号化を指示している場合には、 動き補償部 9 0 2 は 0の値を持つ候補ピクチャ R e f Oを取得する。 そして動き補償部 9 0 2は、 参照ピクチャとしての候補ピクチャ R e f を取得したときには 、 取得した参照ピクチャから動きべク トル M Vを用いて予測画像 P r e に最適な画像領域を取り出し、 その取り出した画像領域から予測画像 P r eを生成して出力する。 一方、 候補ピクチャ R e f 0を取得したとき には、 0の値を持つ予測画像 P r eを生成して出力する。
図 2は、 従来の画像符号化装置 9 0 0が出力する画像符号化信号 S t r 9の構成を示す構成図である。
画像符号化信号 S t r 9は、 複数のランダムアクセスュニッ ト （以下 、 単にアクセスュニッ トという） から構成され、 図 2では、 アクセスュ ニッ ト R A U Oの一部と、 アクセスユニッ ト R A U 1 , R A U 2とが示 されている。
アクセスュニッ トは、 複数のピクチャを含んで構成され、 その中には 他のピクチャに依存せずに復号化可能な特別な I ピクチャが含まれてい る。 また、 アクセスユニッ トに含まれる他のピクチャは、 Pピクチャ又 は Bピクチヤである。 つまり、 このようなアクセスユニッ トは、 複数の ピクチャから構成される画像符号化信号 S t r 9が I ピクチャごとに分 割された 1 つの単位として捉えられる。
ここで、 図 2に示すように、 画像符号化信号 S t r 9に含まれる各ピ クチャは、 それぞれが符号化された順、 つまリ復号化される順に配列さ れており、 各ピクチャが表示される順序は、 このような配列順序と異な つている。
図 3は、 従来の画像復号化装置の構成を示すプロック図である。 画像復号化装置 9 5 0は、 画像符号化信号 S t r 9を復号化するもの であり、 符号化部 9 5 1 と、 加算器 9 5 3と、 選択部 9 5 4と、 メモリ 9 5 5〜 9 5 7 と、 動き補償部 9 5 8とを備えている。
復号化部 9 5 1 は、 画像符号化信号 S t r 9を復号化して、 復号差分 画像信号 R D i と、 動きベク トル M Vと、 指定情報 R Fとを出力する 加算器 9 5 3は、 復号差分画像信号 R D i f に予測画像 P r eを加算 して、 復号画像信号 V oを出力する。 選択部 9 5 4は、 復号画像信号 V oを後続のピクチャの復号化で参照 ピクチャとして利用するため、 メモリ 9 5 5〜 9 5 7のうち何れかを選 択してそのメモリに対して復号画像信号 V oを出力する。 例えば、 選択 部 9 5 4は、 メモリ 9 5 5〜 9 5 7のうち最も古い復咢画像信号 V oを 格納しているものを選択する。
メ モ リ 9 5 5 ~ 9 5 7は、 選択部 9 5 4から復号画像信号 V oを取得 して、 これを参照ピクチャの候補となる候補ピクチャ R e f として格納 する。 またメ モリ 9 5 5〜 9 5 7は、 新たな候補ピクチャ R e f を格納 するときには、 既に格納されている最も古い候補ピクチャ R e f を消去 する。
動き補償部 9 5 8は、 復号化部 9 5 1 から出力される指定信号 R Fに 基づいて、 メモリ 9 5 5〜 9 5 7に格納されている 3つの候補ピクチャ R e f と、 0の値を持つ候補ピクチャ R e f 0とのうち何れかを、 参照 ピクチャとして扱う。 即ち、 動き補償部 9 5 8は、 指定信号 R Fが画像 信号 V i nに近い候補ピクチャ R e f を指定している場合には、 その指 定信号 R Fが指定する候補ピクチャ R e f を格納しているメモリからそ の候補ピクチャ R e f を参照ピクチャとして取得する。 一方、 指定信号 R Fが画面内予測符号化を指示している場合には、 動き補償部 9 5 8は 0の値を持つ候補ピクチャ R e f 0を取得する。 そして動き補償部 9 5 8は、 参照ピクチャと して候補ピクチャ R e f を取得したときには、 取 得した参照ピクチャから動きべク トル M Vを用いて予測画像 P r eに最 適な画像領域を取リ出し、 その取リ出した画像領域から予測画像 P r e を生成して出力する。 一方、 候補ピクチャ R e f Oを取得したときには 、 0の値を持つ予測画像 P r eを生成して出力する。
しかしながら、 上記従来の画像符号化装置 9 0 0の画像符号化方法で は、 所定のアクセスュニッ ト及びその直後にあるアクセスュニッ トに含 まれるピクチャが、 その所定のアクセスュニッ 卜よりも前のアクセスュ ニッ 卜に含まれるピクチャを参照して符号化されることがあるため、 画 像復号化装置 9 5 0では、 その所定のァクセスュ二ッ 卜からの再生 （ラ ンダムアクセス） を容易に行うことができないという問題がある。
つまり、 図 2に示すように、 画像復号化装置 9 5 0が画像符号化装置
9 0 0から画像符号化信号 S t r 9を取得して 、 そのアクセスュニッ 卜
R A U 1 から画像符号化信号 S t に 9に対してランダムアクセスを開始 しょうと しても、 アクセスュニッ 卜 R A U 1 ， R A U 2に含まれるピク チヤが、 直接的又は間接的にァクセスュニッ 卜 R A U 0以前のピクチャ を参照しているときには、 そのァクセスュ二 V 卜 R A U 0以前のピクチ ャを表示しないにも関わらずわざわざ復号化しなければならないため、 容易に且つ迅速にランダムアクセスすることができないのである。
具体的に、 以下の参照関係 R r 1 , R r 2 , R r 3 , R r 4がある場 合には、 基準とするアクセスュニッ ト R A U 1 からのランダムアクセス が困難となる。 なお、 説明を分かり易くするために、 各アクセスュニッ ト内において、 画面内予測符号化される I ピクチャをエントリ ピクチャ と称し、 表示順でエントリ ピクチャよりも前にある Bピクチャ叉は Pピ クチャをプリエントリピクチャと称し、 表示順でエントリ ピクチャより も後にある Bピクチャ又は Pピクチャをボス トエントリ ピクチャと称す 。
( 1 ) 参照関係 R r 1
参照関係 R r 1 とは、 基準とするアクセスュニッ 卜において、 ポス ト エン トリ ピクチャが符号化順でェン卜リ ピクチャよリも前にあるピクチ ャを参照して符号化されているような関係である。 例えば、 図 2に示す ように、 基準とするアクセスュニッ 卜 R A U 1 に含まれる I ピクチャよ りも表示順で後の Bピクチャが、 アクセスュニッ ト R A U 0のピクチャ を参照して符号化されているような関係である。
( 2 ) 参照関係 R r 2
参照関係 R r 2とは、 基準とするアクセスユニッ トにおいて、 ポス ト エントリ ピクチャがプリェン トリ ピクチャを参照して符号化され、 且つ そのプリエントリ ピクチャは符号化順でエン トリ ピクチャよりも前にあ るピクチャを参照して符号化されているような関係である。 例えば、 図 2に示すように、 アクセスュニッ ト R A U 1 に含まれる I ピクチャより も表示順で後の Bピクチャが、 その I ピクチャよりも表示順で前の Bピ クチャを参照して符号化されており、 且つその表示順で前の Bピクチャ がアクセスュニッ 卜 R A U 0のピクチャを参照して符号化されているよ うな関係である
( 3 ) 参照関係 R r 3
参照関係 R r 3 とは 、 上記基準とするアクセスュニッ 卜の直後のァク セスュニッ 卜において 、 プリエントリ ピクチャが基準とするアクセスュ ニッ トのェン卜リ ピクチヤよりも符号化順で前のピクチャを参照して符 号化されているような関係である。 例えば、 図 2に示すように、 ァクセ スュニッ ト R A U 2に含まれる 1 ピクチャよりも表示順で前の Bピクチ ャが、 基準とするァクセスュニッ ト R A U 1 の I ピクチャよりも符号化 順で前にあるァクセスュニッ ト R A U Oのピクチャを参照して符号化さ れているような関係で 00る。
( 4 ) 参照関係 R r 4
参照関係 R r 4とは 、 上記基準とするアクセスユニッ トの直後のァク セスュニッ 卜において 、 プリエントリ ピクチャが基準とするアクセスュ ニッ 卜のプリェン 卜 'J ピクチャを参照して符号化され、 且つその基準と するアクセスュ二ッ 卜のプリェン トリ ピクチャは符号化順でェントリ ピ クチャよりも前に S) ピクチャを参照して符号化されているような関係 である。 例えば、 図 2に示すように、 アクセスユニッ ト R A U 2に含ま れる 1 ピクチャよりも表示順で前の Bピクチャが、 基準とするアクセス ュニッ ト R A U 1 の 〖 ピクチャよりも表示順で前の Bピクチャを參照し て符号化されており、 且つその表示順で前の Bピクチャがアクセスュニ ッ ト R A U 0のピクチャを参照して符号化されているような関係である ところで、 他の画像符号化方法では、 所定のアクセスュニッ 卜に含ま れるピクチャを符号化するときには、 他のアクセスュニッ 卜に含まれる ピクチャから独立して符号化する。
図 4は、 上記他の画像符号化方法によって生成された画像符号化信号 の構成を示す構成図である。
この画像符号化信号 S t r 1 0は、 複数のアクセスユニッ ト R A Uか ら構成されており、 各アクセスュニッ ト R A Uの先頭には特別なピクチ ャである I D R 1 が配置されている。 この I D R 1 は、 画面内予測符号 化されたピクチャであって、 その I D R 1 よりも後のピクチャは、 その I D R 1 よりも前のピクチャを参照せずに他のピクチャを参照して符号 化されている。
即ち、 このような I D R 1 が配置された画像符号化信号 S t r 1 0で は、 各アクセスユニッ ト R A Uが独立して存在するため、 画像復号化装 置は、 何れのアクセスュニッ ト R A Uからでも画像符号化信号 S t r 1 0に対してランダムアクセスを迅速に行うことができる。 しかしながら 、 このような画像符号化信号 S t r 1 0を生成する画像符号化方法では 、 アクセスュニッ 卜 R A Uを跨るようなピクチャの参照関係が全て禁止 されるため、 圧縮効率が低下してしまうという問題がある。
また、 さらに他の画像符号化方法 （M P E G— 2 ) においても、 上述 の画像符号化信号 S t r 1 0を生成する画像符号化方法と同様の問題が 生じる。
図 5は、 M P E G— 2の画像符号化方法によって生成された画像符号 化信号の構成を示す構成図である。
この画像符号化信号 S t r 1 1 は、 複数のグループ■ ォブ ' ピクチャ G O Pから構成されており、 各グループ ' ォブ■ ピクチャ G O Pは複数 のピクチャから構成されている。 各グループ . ォプ . ピクチャ G O Pに 含まれるピクチャはそれぞれ、 I ピクチャ、 Pピクチャ、 又は Bピクチ ャである。
ここで、 M P E G— 2の画像符号化方法では、 Pピクチャは表示順で 直前の I ピクチャ又は Pピクチャを 1 枚のみ参照して符号化され、 Bピ クチャは表示順で直前の I ピクチャ又は Pピクチャと直後の I ピクチャ 又は Pピクチャを各 1枚ずつ参照して符号化される。
即ち、 このような Pピクチャ及び Bピクチャが配置された画像符号化 信号 S t r 1 1 では、 参照するピクチャが比較的狭い範囲に制限されて いるため、 画像復号化装置は、 I ピクチャからの表示を行うこととすれ ば、 何れのグループ■ ォブ ' ピクチャ G O Pからでも画像符号化信号 S t r 1 1 に対してランダムアクセスを迅速に行うことができる。 しかし ながら、 このような画像符号化信号 S t r 1 1 を生成する画像符号化方 法では、 ピクチャの参照関係が狭い範囲に制限されるため、 画像符号化 信号の圧縮効率が低下してしまうという問題がある。
そこで、 本発明は、 かかる問題に鑑みてなされたものであって、 迅速 なランダムアクセスを可能とする画像符号化信号を、 圧縮効率の低下を 防いで生成する画像符号化方法を提供することを目的とする。 発明の開示
上記目的を達成するために、 本発明に係る画像符号化方法は、 画像信 号に含まれる複数のピクチャのうち、 所定のピクチャをェン トリ ピクチ ャとして他のピクチャを参照することなく符号化し、 ェン トリ ピクチャ 以外のピクチャを他の既に符号化されたピクチャを参照して符号化して 画像符号化信号を生成する画像符号化方法であって、 前記画像信号を、 エン トリピクチャを含む複数のピクチャからなるアクセス単位で扱い、 処理すべき対象のアクセス単位において、 表示順で前記ェン トリ ピクチ ャよりも後にある後置ピクチャに対し、 符号化順でエン トリ ピクチャよ リも前にあるピクチャと、 表示順でエントリ ピクチャよりも前にある前 置ピクチャであり、 符号化順でェン トリ ピクチャよりも前のピクチャを 参照しているピクチャとを除く、 他のピクチャを参照する第 1 の参照制 限ステップと、 前記処理対象のアクセス単位の直後にあるアクセス単位 において、 表示順でェン トリ ピクチャよりも前にある前置ピクチャに対 し、 前記処理対象のアクセス単位のェン トリ ピクチャよりも符号化順で 前にあるピクチャと、 前記処理対象のアクセス単位の前置ピクチャであ つて、 前記処理対象のアクセス単位のエン トリ ピクチャよりも符号化順 で前のピクチャを参照しているピクチャとを除く、 他のピクチャを参照 する第 2の参照制限ステップとを含むことを特徴とする。
これにより、 処理対象のアクセス単位の後置ピクチャは、 符号化順で エントリ ピクチャより前のピクチャ、 つまり処理対象のアクセス単位よ リも前のアクセス単位とは独立して符号化され、 処理対象のアクセス単 位の直後のアクセス単位の前置ピクチャは、 処理対象のアクセス単位の エントリ ピクチャよりも符号化順で前のピクチャ、 つまり処理対象のァ クセス単位よリも前のアクセス単位とは独立して符号化されるため、 こ のように符号化された信号を取得した画像復号化装置は、 その処理対象 のアクセス単位の前のアクセス単位に含まれるピクチャをわざわざ復号 することなく、 符号化された信号を処理対象のアクセス単位から迅速に ランダムアクセスすることができる。 また、 処理対象のアクセス単位の 前置ピクチャは、 符号化順でエン トリ ピクチャよりも前のピクチャ、 つ まり処理対象のアクセス単位よりも前のアクセス単位に含まれるピクチ ャを参照しても良く、 背景技術で説明したように I D Rを配置してァク セス単位を跨るようなピクチャの参照関係を禁止することがなく、 さら に、 参照するピクチヤを直前や直後にあるピクチャに限定することがな いため、 画像信号の符号化における圧縮効率の低下を防ぐことができる また、 前記第 1 の参照制限ステップでは、 符号化順でエン トリ ピクチ ャよりも前にあるピクチャと、 表示順でエントリ ピクチャよりも前にあ る前置ピクチャとを除く、 他のピクチャを参照し、 前記第 2の参照制限 ステップでは、 前記処理対象のアクセス単位のエントリ ピクチャよりも 符号化順で前にあるピクチャと、 前記処理対象のアクセス単位の前置ピ クチャとを除く、 他のピクチャを参照することを特徴と しても良い。 これにより、 第 1 の参照制限ステップでは、 前置ピクチャが符号化順 でェン トリ ピクチャよりも前のピクチャを参照するか否かに関わらず、 その前置ピクチャは参照の対象から除かれ、 さらに、 第 2の参照制限ス テツプでは、 前置ピクチャが処理対処のアクセス単位のェントリ ピクチ ャよりも符号化順で前のピクチャを参照するか否かに関わらず、 その前 置ピクチャは参照の対象から除かれるため、 符号化処理を簡単に且つ迅 速に行うことができる。
さらに、 前記画像符号化方法は、 さらに、 何れのアクセス単位を処理 対象と して前記第 1及び第 2の参照制限ステツプを行つたかを示す参照 構造情報を符号化する参照構造情報符号化ステップと、 前記画像符号化 信号中に、 符号化された参照構造情報を挿入する挿入ステップとを含む ことを特徴と しても良い。 これにより、 何れのアクセス単位を処理対象と して前記第 1及び第 2 の参照制限ステップを行つたかを示す参照構造情報が画像符号化信号に 含まれているため、 このような画像符号化信号を取得した画像復号化装 置は、 その参照構造情報に基づいて、 迅速なランダムアクセスを開始す ることが可能なアクセス単位を容易に特定することができる。
また、 前記画像符号化方法は、 さらに、 各アクセス単位ごとに、 当該 アクセス単位を処理対象と して前記第 1 及び第 2の参照制限ステップを 行ったか否かを示す参照構造情報を符号化する参照構造情報符号化ステ ップと、 前記画像符号化信号中の各アクセス単位に、 当該アクセス単位 に対応する前記参照構造情報を挿入する挿入ステップとを含むことを特 徵と しても良い。
これにより、 第 1 及び第 2の参照制限ステツプを行ったか否かを示す 参照構造情報が画像符号化信号に各アクセス単位ごとに含まれているた め、 このような画像符号化信号を取得した画像復号化装置は、 その参照 構造情報に基づいて、 各アクセス単位ごとに、 当該アクセス単位から迅 速なランダムアクセスすることができるか否かを特定することができる ここで、 前記画像符号化方法は、 さらに、 各アクセス単位ごとに、 当 該アクセス単位に含まれる各ピクチャの参照範囲を示す参照構造情報を 符号化する参照構造情報符号化ステップと、 前記画像符号化信号中の各 アクセス単位に、 当該アクセス単位に対応する前記参照構造情報を挿入 する挿入ステップとを含むことを特徴と しても良い。
これによリ、 参照範囲を示す参照構造情報が画像符号化信号に各ァク セス単位ごとに含まれているため、 このような画像符号化信号を取得し た画像復号化装置は、 その参照構造情報に基づいて、 各アクセス単位ご とに、 当該アクセス単位から迅速なランダムアクセスすることができる か否かを特定することができる。
なお、 本発明は、 上記画像符号化方法を用いる画像符号化装置及びプ ログラムや、 そのプログラムを記憶した記憶媒体や、 その画像符号化方 法により生成された画像符号化信号と しても実現することができる。 図面の簡単な説明
図 1 は、 従来の画像符号化装置の構成を示すブロック図である。
図 2は、 同上の画像符号化装置が出力するス トリ一厶の構成を示す構 成図である。
図 3は、 従来の画像復号化装置の構成を示すブロック図である。 図 4は、 他の画像符号化方法によって生成された画像符号化信号の構 成を示す構成図である。
図 5は、 M P E G— 2の画像符号化方法によって生成された画像符号 化信号の構成を示す構成図である。
図 6は、 本発明の第 1 の実施の形態における画像符号化装置の構成を 示すブロック図である。
図 7は、 同上の動き検出部によって制限されるピクチャの参照関係を 説明するための説明図である。
図 8は、 同上の動き検出部の概略的な一連の動作を示すフロー図であ る。
図 9は、 同上の動き検出部の図 8中に示すステップ S 1 0 6の詳細な 動作を示すフロー図である。
図 1 0は、 同上の動き検出部の図 8中に示すステップ S 1 1 6の詳細 な動作を示すフロー図である。
図 1 1 は、 同上の動き検出部の図 8中に示すステップ S 1 1 4の詳細 な動作を示すフロー図である。 図 1 2は、 同上の画像符号化装置が出力する画像符号化信号の構成を 示す構成図である。
図 1 3は、 同上の変形例 1 に係る画像符号化信号の構成を示す構成図 である。
図 1 4は、 同上の変形例 1 に係る画像符号化信号を生成する画像符号 化装置の動作を示すフロー図である。
図 1 5は、 同上の変形例 1 に係る他の画像符号化信号を生成する画像 符号化装置の動作を説明するフロー図である。
図 1 6は、 同上の変形例 2に係る参照構造情報に含まれる内容を示す 情報内容表示図である。
図 1 7は、 同上の変形例 2に係る参照構造情報を含む画像符号化信号 の構成を示す構成図である。
図 1 8は、 同上の変形例 2に係る参照構造情報が、 自らの属するァク セスュニッ 卜に含まれるピクチャの参照範囲と他のアクセスュニッ 卜に 含まれるピクチャの参照範囲とを示す様子を説明するための説明図であ る。
図 1 9は、 同上の変形例 3に係る、 記憶媒体に記憶されているメディ ァデータの構成を示す構成図である。
図 2 0は、 同上の変形例 4に係る画像符号化信号と参照テーブルとの 構成を示す構成図である。
図 2 1 は、 同上の変形例 5に係る参照識別情報を含む画像符号化信号 の構成を示す構成図である。
図 2 2は、 同上の変形例 6に係る識別テーブルの構成を示す構成図で ある。
図 2 3は、 本発明の第 2の実施の形態における画像復号化装置の構成 を示すブロック図である。 図 2 4は、 同上の画像復号化装置の概略的な動作を示すフロー図であ る。
図 2 5は、 同上の画像復号化装置がポィン ト情報及びパラメ一タセッ トを含む画像符号化信号を復号化する動作を示すフロー図である。
図 2 6は、 同上の変形例 1 に係る画像復号化装置の決定部の動作を示 すフロー図である。
図 2 7は、 同上の変形例 2に係る画像符号化装置の決定部の動作を示 すフロー図である。
図 2 8は、 同上の変形例 3に係る画像復号化装置の構成を示すプロッ ク図である。
図 2 9は、 本発明の第 3の実施の形態における、 実施の形態 1 の画像 符号化方法をコンピュータシステムにより実現するためのプログラムを 格納する記憶媒体についての説明図である。
図 3 0は、 本発明の第 4の実施の形態におけるコンテンッ配信サービ スを実現するコンテンツ供給システムの全体構成を示すブロック図であ る。
図 3 1 は、 同上の画像符号化方法及び画像復号化方法を用いた携帯電 話を示す図である。
図 3 2は、 同上の携帯電話の内部構成を示すブロック図である。 図 3 3は、 同上のディジタル放送用システムの構成を示す構成図であ る。 発明を実施するための最良の形態
以下、 本発明の実施の形態について、 図面を参照して説明する。 (実施の形態 1 )
図 6は、 本発明の第 1 の実施の形態における画像符号化装置の構成を 示すブロック図である。
本実施の形態における画像符号化装置 1 0 0は、 画像信号 V i πをピ クチャごとに符号化し、 迅速なランダムアクセスを可能とする画像符号 化信号 S t r を、 圧縮効率の低下を防いで生成するものである。
このような画像符号化装置 1 0 0は、 動き検出部 1 0 1 と、 動き補償 部 1 0 2と、 選択部 1 0 3と、 メモリ 1 0 4〜 1 0 6と、 加算器 1 0 7 と、 減算器 1 0 8と、 符号化部 1 0 9と、 復号化部 1 1 0と、 カウンタ 1 1 1 と、 順序メモリ 1 1 2と、 参照制御部 1 1 3と、 ピクチャメモリ 1 1 4とを備えている。
ピクチャメ モリ 1 1 4は、 画像信号 V i nを取得して一時的に保存し 、 画像信号 V i nに含まれるピクチャを符号化順に並び替えて、 そのピ クチャが並び替えられた画像信号 V i nを、 動き検出部 1 0 1 、 減算器 1 0 8、 及びカウンタ 1 1 1 に出力する。 さらに、 ピクチャメモリ 1 1 4は、 画像信号 V i nに含まれるピクチャの表示順を示す内容の表示順 情報 P o cを動き検出部 1 0 1 、 順序メモリ 1 1 2、 及び参照制御部 1 1 3に出力する。
減算器 1 0 8は、 画像信号 V i n と予測画像 P r e との差分を計算し てその計算結果を差分画像信号 D i f と して符号化部 1 0 9に出力する 符号化部 1 0 9は、 減算器 1 0 8から出力された差分画像信号 D i f と、 動き検出部 1 0 1 から出力された動きベク トル M Vと、 参照制御部 1 1 3から出力される参照構造情報 R s i とを符号化する。 その結果、 符号化部 1 0 9は、 符号化データ C o d と、 符号化データ C o dに対し て可変長符号化などの処理がなされた画像符号化信号 S t r とを生成し 、 この符号化データ C o d と画像符号化信号 S t r とを出力する。 復号化部 1 1 0は、 符号化データ C o dを復号化して復号差分画像信 号 R D i f を生成する。
加算器 1 0 7は、 予測画像 P r eに復号差分画像信号 R D i f を加算 して復号画像信号 R e cを生成する。
選択部 1 0 3は、 復号画像信号 R e cを後続のピクチャの符号化で参 照ピクチャとして利用可能とするため、 メモリ 1 0 4〜 1 0 6のうち何 れかを選択してそのメモリに対して復号画像信号 R e cを出力する。 例 えば、 選択部 1 0 3は、 メモリ 1 0 4〜 1 0 6のうち最も古い復号画像 信号 R e cを格納しているものを選択する。
メモリ 1 0 4 ~ 1 0 6は、 選択部 1 0 3から復号画像信号 R e cを取 得して、 これを参照ピクチャの候補となる候補ピクチャ R e f として格 納する。 またメモリ 1 0 4〜 1 0 6は、 新たな候補ピクチャ R e f を格 納するときには、 既に格納されている最も古い候補ピクチャ R e f を消 去する。
参照制御部 1 1 3は、 表示順情報 P o cをピクチャメモリ 1 1 4から 取得し、 その取得した表示順情報 P o cに基づいて、 画像信号 V i nに 含まれるアクセスュニッ トのうち、 迅速なランダムアクセスが開始可能 なアクセスユニッ トとして処理すべき対象を指し示す内容の参照構造情 報 R s i を作成する。 そして、 参照制御部 1 1 3は、 その作成した参照 構造情報 R s i を動き検出部 1 0 1 及び符号化部 1 0 9に対して出力す る。 ここで、 参照構造情報 R s i は、 符号化されて画像符号化信号 S t rに揷入された後には、 画像符号化信号 S t rの何れのアクセスュニッ 卜から迅速なランダムアクセスが可能であるかを示す。
また、 参照制御部 1 1 3は、 画面内予測符号化を指示する画面内指示 信号 I Tを周期的に順序メモリ 1 1 2に対して出力する。
カウンタ 1 1 1 は、 ピクチャメモリ 1 1 4から画像信号 V i nを取得 して、 その画像信号 V i nに含まれる各ピクチャをカウン トすることに より、 各ピクチャに対する符号化の順番を示す符号化順情報 D o cを順 序メモリ 1 1 2と動き検出部 1 0 1 に対して出力する。
順序メモリ 1 1 2は、 カウンタ 1 1 1 から各ピクチャの符号化順情報 D o cを順次取得し、 ピクチャメモリ 1 1 4から各ピクチャの表示順憎 報 P o cを順次取得する。 そして、 順序メモリ 1 1 2は、 参照制御部 1 1 3から画面内指示信号 I Tを取得すると、 その画面内指示信号 1 Tに 対応するピクチャの符号化順と表示順とを、 符号化順情報 D o c及び表 示順情報 P o cから特定し、 その特定した符号化順を特定符号化順情報 1 d 1 として記憶するとともに、 その特定した表示順を特定表示順情報 I p i と して記憶する。
即ち、 順序メモリ 1 1 2は、 画面内予測符号化される I ピクチャの符 号化順及び表示順を特定符号化順情報 I d 1 及び特定表示順情報 I p 1 として記憶する。
また、 このような順序メモリ 1 1 2は、 2つの I ピクチャに対する特 定符号化順情報 I d 1及び特定表示順情報 I p 1 をいわゆる先入れ先出 し方式で記憶する。 即ち、 順序メモリ 1 1 2は、 最新の I ピクチャとそ の I ピクチャの直前にある I ピクチャに対する特定符号化順情報 I d 1 及び特定表示順情報 I P 1 を記憶している。
そしてこのような順序メモリ 1 1 2は、 記憶している 2つの I ピクチ ャに対する特定符号化順情報 I d 1 及び特定表示順情報 I p 1 を動き検 出部 1 0 1 に出力する。
動き検出部 1 0 1 は、 メモリ 1 0 4〜 1 0 6に格納されている候補ピ クチャ R e f のうち、 画像信号 V i nに最も近い画像領域を有するもの を参照ピクチャとして選択する。 そして、 動き検出部 1 0 1 は、 その画 像領域の位置を指し示す動きべク トル M Vを検出する。
さらに、 動き検出部 1 0 1 は、 参照ピクチャを指定するための指定情 報 R Fを用いることにより、 メモリ 1 0 4〜 1 0 6のそれぞれに格納さ れた複数の候補ピクチヤ R e f の中で、 何れが画像信号 V i nに近いか 、 つまり何れが参照ピクチャと して適切かを指定する。
動き補償部 1 0 2は、 動き検出部 1 0 1 から出力される指定信号 R F に基づいて、 メモリ 1 0 4 〜 1 0 6に格納されている 3つの候補ピクチ ャ R e f と、 0の値を持つ候補ピクチャ R e f 0とのうち何れかを、 参 照ピクチャとして扱う。 即ち、 動き補償部 1 0 2は、 指定信号 R Fが画 像信号 V i nに近い候補ピクチャ R e f を指定している場合には、 その 指定信号 R Fが指定する候補ピクチャ R e f を格納しているメモリから その候補ピクチャ R e f を参照ピクチャとして取得し、 指定信号 R Fが 画面内予測符号化を指示している場合には、 0の値を持つ候補ピクチャ R e f Oを取得する。 そして動き補償部 1 0 2は、 参照ピクチャとして 候補ピクチャ R e f を取得したときには、 取得した参照ピクチヤから動 きべク トル M Vを用いて予測画像 P r eに最適な画像領域を取り出し、 その取り出した画像領域から予測画像 P r eを生成して出力する。 一方 、 候補ピクチャ R e f 0を取得したときには、 0の値を持つ予測画像 P r eを生成して出力する。
ここで、 本実施の形態における動き検出部 1 0 1 は、 参照制御部 1 1 3から取得した参照構造情報 R s i と、 ピクチャメモリ 1 1 4から取得 した表示順情報 P o cと、 順序メモリ 1 1 2から取得した 2つの I ピク チヤに対する特定符号化順情報 I d 1 及び特定表示順情報 I p 1 とに基 づいて、 符号化対象ピクチャが参照するピクチャを制限する。
図 7は、 動き検出部 1 0 1 によって制限されるピクチャの参照関係を 説明するための説明図である。
動き検出部 1 0 1 は、 上記背景技術で説明した 4つの参照関係 R r 1 , R r 2 , R r 3 , R r 4を禁止する。 具体的に、 動き検出部 1 0 1 は、 参照制御部 1 1 3から取得した参照 構造情報 R s i に基づき、 アクセスユニッ ト R A U "I から迅速なランダ 厶アクセスを可能とすべきであると判断する。 つまり、 動き検出部 1 0 1 は、 そのアクセスユニッ ト R A U 1 が、 迅速なランダムアクセスが開 始可能となるように処理すべき対象であると判断する。 そして、 動き検 出部 1 0 1 は、 最新の特定符号化順情報 I d 1 及び特定表示順情報 I p 1 に基づいて特定されるアクセスュニッ ト R A U 1 のェン トリ ピクチャ E 1 の表示順及び符号化順と、 表示順情報 P o c及び符号化順情報 D o cに基づいて特定されるアクセスュニッ ト R A U 1 の符号化対象ピクチ ャの表示順及び符号化順とを比較する。
その結果、 符号化対象ピクチャがポス トエン トリ ピクチャ P o l 1 , P o l 2であるときには、 動き検出部 1 0 1 は、 符号化順でエン トリ ピ クチャ E 1 よりも前のピクチャ、 即ちアクセスュニッ ト R A U 0以前の ピクチャを参照ピクチャと して選択せずに、 他のピクチャを参照ピクチ ャと して選択する。 これにより、 アクセスユニッ ト R A U 1 において、 図 7中に示す参照関係 R r 1 が禁止される。
また、 動き検出部 1 0 1 は、 符号化対象ピクチャがポス 卜エン トリ ピ クチャ P o 1 1 ， P o 1 2であるときには、 符号化順でエントリ ピクチ ャ E 1 よりも前のピクチャを参照しているアクセスュニッ 卜 R A U 1 内 のプリ ピクチャ P r 1 1 を参照ピクチャとして選択せずに、 他のピクチ ャを参照ピクチャとして選択する。 これにより、 アクセスユニッ ト R A U 1 において、 図 7中に示す参照関係 R r 2が禁止される。
さらに、 動き検出部 1 0 1 は、 アクセスユニッ ト R A U 2内のェント リ ピクチャ E 2と、 そのエン トリ ピクチャ E 2に対応する特定符号化順 情報 I d 1 及び特定表示順情報 I p 1 とを取得して、 そのェントリ ピク チヤ E 2を符号化対象ピクチャと して処理した後には、 その特定符号化 順情報 I d 1 及び特定表示順情報 I p 1 により特定されるェントリピク チヤ E 2の表示順及び符号化順と、 表示順情報 P o c及び符号化順情報 D o cに基づいて特定されるアクセスュニッ ト R A U 2の他の符号化対 象ピクチャの表示順及び符号化順とを比較する。
その結果、 アクセスユニッ ト R A U 2の符号化対象ピクチャがプリェ ントリピクチャ P r 2 1 であるときには、 動き検出部 1 0 1 は、 符号化 順でアクセスュニッ ト R A U 1 のエントリ ピクチャ E 1 よりも前のピク チヤ、 即ちアクセスュニッ ト R A U 0以前のピクチャを参照ピクチャと して選択せずに、 他のピクチャを参照ピクチャと して選択する。 これに より、 アクセスユニッ ト R A U 2において、 図フ中に示す参照関係 R r 3が禁止される。
また、 動き検出部 1 0 1 は、 アクセスユニッ ト R A U 2の符号化対象 ピクチャがプリェン 卜リ ピクチャ P r 2 1 であるときには、 符号化順で エン トリピクチャ E 1 よりも前のピクチャを参照するアクセスュニッ ト R A U 1 内のプリエン トリ ピクチャ P r 1 1 を参照ピクチャとして選択 せずに、 他のピクチャを参照ピクチャと して選択する。 これにより、 ァ クセスュニッ 卜 R A U 2において、 図 7中に示す参照関係 R r 4が禁止 される。
図 8は、 動き検出部 1 0 1 の概略的な一連の動作を示すフロー図であ る。 なお図 8中、 アクセスユニッ トを R A Uとして示す。
まず、 動き検出部 1 0 1 は、 参照制御部 1 1 3から参照構造情報 R s i を取得して、 何れのアクセスユニッ ト R A Uから迅速なランダムァク セスを可能とすべきかを把握する （ステップ S 1 0 0 )。
そして、 動き検出部 1 0 1 は、 符号化対象のアクセスユニッ ト R A U のエントリ ピクチャを取得すると、 そのエントリ ピクチャに対して画面 内予測符号化するように指示する指定情報 R Fを出力するなどの処理を 行う （ステップ S 1 0 2 )。
ここで、 動き検出部 1 0 1 は、 取得した参照構造情報 R s i に基づい て、 その符号化対象のアクセスュニッ ト R A Uから迅速なランダムァク セスを可能とすべきか否かを判別する （ステップ S 1 0 4)。
ランダムアクセスを可能とすべきと判別したときには （ステップ S 1 0 4の Y )、動き検出部 1 0 1 は、符号化対象のアクセスュニッ ト R A U を、 ランダムアクセスの処理対象として扱い、 そのアクセスユニッ ト R A Uの各ピクチャに対して参照関係 R r 1 , R r 2を成立させることな く参照ピクチャを選択し、 動きベク トル M Vの検出などを行う （ステツ プ S 1 0 6 )。
次に動き検出部 1 0 1 は、 未処理のアクセスュニッ 卜 R A Uが存在す るか否かを判別し （ステップ S 1 0 8 )、 存在すると判別したときには （ ステップ S 1 0 8の Y )、 そのアクセスュニッ ト R A U (即ち、 ステップ S 1 0 2で符号化対象とされていたアクセスュニッ ト R A Uの直後のァ クセスユニッ ト R A U ) を符号化対象と して扱って、 符号化対象ァクセ スュニッ ト R A Uに含まれるエン トリ ピクチャを取得し、 そのエントリ ピクチャに対する処理を行う （ステップ S 1 1 0)。 また、 ステップ S 1 0 8で動き検出部 1 0 1 が未処理のアクセスュニッ ト R A Uは存在しな いと判別したときには（ステップ S 1 0 8の N )、動き検出部 1 0 1 は処 理動作を終了する。
ここで、 動き検出部 1 0 1 は、 ステップ S 1 1 0の後、 取得した参照 構造情報 R s ί に基づいて、 その符号化対象アクセスユニッ ト R A Uか ら迅速なランダムアクセスを可能とすべきか否かを判別する （ステップ S 1 1 2 )。
ランダムアクセスを可能とすべきと判別したときには （ステップ S 1 1 2の Y)、動き検出部 1 0 1 は、 符号化対象アクセスュニッ ト R A Uの 各ピクチャに対して参照関係 R r 1 〜 R r 4を成立させることなく参照 ピクチャを選択し、 動きベク トル M Vの検出などを行つ (ス亍ップ S 1
1 4 )。 その後、 動き検出部 1 0 1 は、 ステップ S 1 0 8からの動作を繰 リ返し実行する。
また、 ステップ S 1 1 2で動き検出部 1 0 1 が、 迅速なランダムァク セスを可能とすべきではないと判別したときには （ステップ S 1 1 2の
N )、動き検出部 1 0 1 は、符号化対象アクセスュニッ 卜 R A Uの各ピク チヤに対して参照関係 R r 3 , R r 4を成立させることな <参照ピクチ ャを選択し、 動きベク トル M Vの検出などを行う （ス -f ップ S 1 1 6 )
。 その後、 動き検出部 1 0 1 は、 未処理のアクセスュ -ッ 卜 R A Uが存 在するか否かを判別し （ステツプ S 1 1 8 )、存在すると判別したときに は（ステップ S 1 1 8の Y )、ステップ S 1 0 2からの動作を繰り返し実 行し、 存在しないと判別したときには （ステップ S 1 1 8の N )、 処理動 作を終了する。
さらに、 ステップ S 1 0 4で動き検出部 1 0 1 が、 符号化対象のァク セスユニッ ト R A Uから迅速なランダムアクセスを可能とすべきでない と判別したときには（ステップ S 1 0 4の N )、 そのアクセスュニッ 卜 R A Uの各ピクチャに対して制限を設けることなく参照ピクチャを選択し 、 動きべク トル M Vの検出などを行い （ステップ S 1 2 0 )、 その後、 ス テツプ S 1 1 8からの動作を実行する。
図 9は、 動き検出部 1 0 1 の図 8中に示すステップ S 1 0 6の詳細な 動作を示すフロー図である。
まず、 動き検出部 1 0 1 は、 符号化対象ピクチャがポス トエン トリ ピ クチャか否かを判別する （ステップ S 2 0 0 )。
ポス 卜ェン トリ ピクチャであると判別したときには （ステップ S 2 0 0の Y)、動き検出部 1 0 1 は符号化順でエントリ ピクチャよりも前のピ クチャを参照するのを禁止する。 つまり、 動き検出部 1 0 1 は参照関係
R r 1 を禁止する （ステップ S 2 0 2 )。
―方 、 ポス トエン トリ ピクチャでないと判別したとさには （ステップ
S 2 0 0の N )、動き検出部 1 0 1 は参照関係 R r 1 , R r 2の制限を設 けることなく符号化対象ピクチャに対して参照ピクチャを選択し、 動き べク 卜ル M Vの検出などの処理を行う （ステップ S 2 0 8 )。
また 、 ステップ S 2 0 2の後、 動き検出部 1 0 1 は 、 符号化対象のァ クセスユニッ ト R A Uにおいて、 プリエントリ ピクチャが符号化順でェ ン 卜 ピクチャよりも前のピクチャを参照しているか否かを判別する （ ステップ S 2 0 4 )。
ここで、 前のピクチャを参照していると判別したとさには （ステップ
S 2 0 4の Y )、動き検出部 1 0 1 は、 そのプリェン ト ピクチャを参照 するのを禁止する。 つまり動ぎ検出部 1 0 1 は、 参照関係 R r 2を禁止 する (ステップ S 2 0 6 )。 また、 前のピクチャを参照していないと判別 したときには （ステップ S 2 0 4の N)、 動き検出部 1 0 1 は、 参照関係
R r 1 を禁止するという制限下において、 符号化対象ピクチャに対して 參照ピクチャを選択し、 動きベク トル M Vの検出などの処理を行う （ス テツプ S 2 0 8 )。
また、 ステップ S 2 0 6の後には、 動き検出部 1 0 1 は、 参照関係 R r 1 , R r 2を禁止するという制限下において、 符号化対象ピクチャに 対して参照ピクチャを選択し、 動きべク トル M Vの検出などの処理を行 う （ステップ S 2 0 8 )。
図 1 0は、 動き検出部 1 0 1 の図 8中に示すステップ S I 1 6の詳細 な動作を示すフロー図である。
まず、 動き検出部 1 0 1 は、 符号化対象ピクチャがプリエントリ ピク チヤか否かを判別する （ステップ S 3 0 0 )。 プリエントリ ピクチャであると判別したときには （ステツフ S 3 0 0 の Y )、動き検出部 1 0 1 は直前にあるアクセスュニッ 卜 R A Uのェン卜 リ ピクチャよりも符号化順で前のピクチャを参照するのを禁止する。 つ まリ、 動き検出部 1 0 1 は参照関係 R r 3を禁止する (ステップ S 3 0 2 )o
一方、 プリエントリ ピクチャでないと判别したときには （ステップ S
3 0 0の N )、動き検出部 1 0 1 は参照関係 R r 3， R r 4の制限を設け ることなく符号化対象ピクチャに対して参照ピクチャを選択し、 動きべ ク トル M Vの検出などの処理を行う （ステップ S 3 0 8 )。
また、 ステップ S 3 0 2の後、 動き検出部 1 0 1 は 、 直前のァクセス ュニッ ト R A Uにおいて、 プリエントリ ピクチャが符号化順でエントリ ピクチャよりも前のピクチャを参照しているか否かを判別する （ステツ プ S 3 0 4 )。
こで、 前のピクチャを参照していると判別したときには （ステップ S 3 0 4の Y)、動き検出部 1 0 1 は、 そのプリエン トリ ピクチャを するのを禁止する。 つまり動き検出部 1 0 1 は、 参照関係 R r 4を禁止 する (ステップ S 3 0 6)。 また、 前のピクチャを参照していないと判別 したときには （ステップ S 3 0 4の N)、 動き検出部 1 0 1 は、 参昭関係
R r 3を禁止するという制限下において、 符号化対象ピクチヤに対して 参照ピクチャを選択し、 動きべク トル M Vの検出などの処理を行ラ (ス テップ S 3 0 8 )。
また、 ステップ S 3 0 6の後には、 動き検出部 1 0 1 は 、 参照関係 R r 3 , R r 4を禁止するという制限下において、 符号化対象ピクチャに 対して参照ピクチャを選択し、 動きべク トル M Vの検出などの処理を行 う （ステップ S 3 0 8 )。
図 1 1 は、 動き検出部 1 0 1 の図 8中に示すステップ S I 1 4の詳細 な動作を示すフロー図である。
動き検出部 1 0 1 は全体的に、 図 9に示すステップ S 2 0 0〜 S 2 0 8の動作と、 図 1 0に示すステップ S 3 0 0〜 S 3 0 8の動作とを行う 具体的に、 動き検出部 1 0 1 は、 符号化対象ピクチャがプリエン トリ ピクチャかポス トエントリ ピクチャかを判別する （ス亍ップ S 4 0 0 ) 符号化対象ピクチャがポス トエントリ ピクチャであると判別したとき には、 動き検出部 1 0 1 は、 符号化対象アクセスユニッ ト R A Uにおい て、 符号化順でエントリ ピクチャよりも前のピクチャを参照するのを禁 止する。 つまり、 動き検出部 1 0 1 は参照関係 R r 1 を禁止する （ステ ップ S 4 0 2 )。
次に、 動き検出部 1 0 1 は、 符号化対象のアクセスユニッ ト R A Uに おいて、 プリェン 卜リ ピクチャが符号化順でェン 卜リ ピクチャよリも前 のピクチャを参照しているか否かを判別する （ステップ S 4 0 4 )。 ここで、 前のピクチャを参照していると判別したときには （ステップ S 4 0 4の Y )、動き検出部 1 0 1 は、 そのプリエン トリ ピクチャを参照 するのを禁止する。 つまり動き検出部 1 0 1 は、 参照関係 R r 2を禁止 する （ステップ S 4 0 6 )。 また、 前のピクチャを参照していないと判別 したときには （ス亍ップ S 4 0 4の N )、 動き検出部 1 0 1 は、 参照関係 R r 1 を禁止するという制限下において、 符号化対象ピクチャに対して 参照ピクチャを選択し、 動きベク トル M Vの検出などの処理を行う （ス テツプ S 4 1 4 )。
また、 ステップ S 4 0 6の後には、 動き検出部 1 0 1 は、 参照関係 R r 1 , R r 2を禁止するという制約下において、 符号化対象ピクチャに 対して参照ピクチャを選択し、 動きべク トル M Vの検出などの処理を行 う （ステップ S 4 1 4)。
一方、 ステップ S 4 0 0で符号化対象ピクチャがプリエントリ ピクチ ャであると判別したときには、 動き検出部 1 0 1 は、 直前のアクセスュ ニッ 卜 R A Uにおいて、 符号化順でエン トリ ピクチャよりも前のピクチ ャを参照するのを禁止する。 つまり、 動き検出部 1 0 1 は参照関係 R r 3を禁止する （ステップ S 4 0 8 )。
次に、 動き検出部 1 0 1 は、 直前のアクセスユニッ ト R A Uにおいて 、 プリエン トリ ピクチヤが符号化順でェントリ ピクチャよリも前のピク チヤを参照しているか否かを判別する （ステップ S 4 1 0 )。
ここで、 前のピクチャを参照していると判別したときには （ステップ S 4 1 0の Y )、動き検出部 1 0 1 は、 そのプリエン トリ ピクチャを参照 するのを禁止する。 つまり動き検出部 1 0 1 は、 参照関係 R r 4を禁止 する （ステップ S 4 1 2 )。 また、 前のピクチャを参照していないと判別 したときには （ステップ S 4 1 0の N )、 動き検出部 1 0 1 は、 参照関係 R r 3を禁止するという制限下において、 符号化対象ピクチャに対して 参照ピクチャを選択し、 動きベク トル M Vの検出などの処理を行う （ス テツプ S 4 1 4 )。
また、 ステップ S 4 1 2の後には、 動き検出部 1 0 1 は、 参照関係 R r 3 , R r 4を禁止するという制限下において、 符号化対象ピクチャに 対して参照ピクチャを選択し、 動きベク トル M Vの検出などの処理を行 う （ステップ S 4 1 4)。
図 1 2は、 本実施の形態における画像符号化装置 1 0 0が出力する画 像符号化信号 S t rの構成を示す構成図である。
画像符号化信号 S t rは、 先頭から順に、 同期を取るために必要な同 期信号 s y n と、 参照構造情報 R s i と、 複数のアクセスュニッ 卜 R A Uとを含んで構成される。 そして、 アクセスユニッ ト R A Uは、 先頭か ら順に、 同期信号 s y n と、 複数のピクチャ P i cとから構成される。 このように、 本実施の形態では、 処理対象のアクセスユニッ トに含ま れるポス トエン トリ ピクチャが参照関係 R r 1 ， R r 2を有さず、 且つ 直後のアクセスユニッ トに含まれるプリエン トリ ピクチャが参照関係 R r 3 , R r 4を有さないように参照関係が制限されるため、 画像符号化 信号 S t r を取得した画像復号化装置は、 その処理対象のアクセスュニ ッ 卜の前にあるピクチャを復号化することを要さずに、 その処理対象の アクセスユニッ トから迅速にランダムアクセスを開始することができる また、 処理対象のアクセスユニッ トのプリエントリ ピクチャは、 符号 化順でェン ト リ ピクチャよりも前のピクチャ、 つまり処理対象のァクセ スュニッ 卜よりも前のアクセスュニヅ 卜に含まれるピクチャを参照して も良く 、 背景技術で説明したように I D 1 を配置してアクセスュニッ トを跨るようなピクチャの参照関係を禁止することがなく、 さらに、 M
P E G一 2のように参照するピクチャを直前や直後にあるピクチャに限 定することがないため、 画像信号 V 1 nの符号化における圧縮効率の低 下を防ぐことができる。
なお 、 本実施の形態では、 参照関係 R r 2 , R r 4を禁止したように
、 プリエン トリ ピクチャが符号化順でェントリ ピクチャの前のピクチャ を参照している場合に、 そのプリェン トリ ピクチャを参照ピクチャとし て選択しないようにしたが、 プリエン 卜リ ピクチャが符号化順でェン卜 リ ピクチヤの前のピクチャを参照しているか否かに関わらず、 そのプリ ェン トリ ピクチャを参照ピクチヤとして選択しないようにしても良い。 また 、 本実施の形態では、 順序メモリ 1 1 2を備えたが、 動き検出部
1 0 1 に順序メモリ 1 1 2の機能を兼ね備えて、 順序メモリ 1 1 2を省 いても良い。 さらに、 本実施の形態では、 候補ピクチャ R e f を格納するメモリを 例示的に 3つだけ備えたが、 4つ以上のメモリを備えても良い。
(変形例 1 )
本変形例に係る画像符号化信号は、 アクセスュニッ トごとに参照構造 情報を含み、 その参照構造情報は、 対応するアクセスユニッ トから迅速 にランダムアクセスを開始できるか否かを示す。
図 1 3は、 上記本変形例に係る画像符号化信号の構成を示す構成図で foる。
本変形例に係る画像符号化信号 S t r 1 は、 先頭から順に、 同期信号 s y と、 複数のアクセスュニッ 卜 R A U O 1 とを含んで構成されてい る。
そして、 アクセスユニッ ト R A U 0 1 は、 先頭から順に、 同期信号 s y n と、 参照構造情報 R s i 1 と、 複数のピクチャ i 。とを含んで構 成される。 そして、 参照構造情報 R s i 1 は、 そのアクセスユニッ ト R A U 0 1 から迅速なランダムアクセスを開始できるか否かを示す。 即ち 、 参照制御部 1 1 3は、 各アクセスユニッ ト R A U 0 1 に対して、 迅速 なランダムアクセスが開始可能なュニッ 卜として処理すべき対象である か否かを示す参照構造情報 R s i 1 を出力する。
図 1 4は、 画像符号化信号 S t r 1 を生成する画像符号化装置 1 0 0 の動作を示すフロー図である。
まず、 画像符号化装置 1 0 0は、 画像信号 V i nを取得して、 ェント リ ピクチャを符号化するタイミングであるか否かを判別する （ステップ S 5 0 0 )。
エントリ ピクチャを符号化するタイ ミングであると判別したときには (ステップ S 5 0 0の Y )、そのェン トリ ピクチャの属するアクセスュニ ッ ト R A U 0 1 から迅速なランダムアクセスを開始できるか否かを示す 参照構造情報 R s i 1 を符号化する （ステップ S 5 0 2 )。
また、 エン トリ ピクチャを符号化するタイ ミングでないと判別したと き （ステップ S 5 0 0の N )、 及びステップ S 5 0 2の後には、 像符号 化装置 1 0 0はピクチヤの符号化を行う （ステップ S 5 0 4)。
次に、 画像符号化装置 1 0 0は、 符号化処理をしていないピクチャが あるか否かを判別し （ステップ S 5 0 6 )、 あると判別したときには （ス テツプ S 5 0 6の Y)、 ステップ S 5 0 0からの動作を繰り返し実行し、 ないと判別したときには（ステップ S 5 0 6の Ν )、処理動作を終了する なお、 本変形例に係る画像符号化装置 1 0 0は、 画像符号化信号 S t r 1 の各アクセスュニッ ト R A U 0 1 に、 参照構造情報 R s i 1 を含む ランダムアクセスポイン ト情報 （以下、 単にポイント情報という） と、 アクセスュニッ ト R A U O 1 に含まれる各ピクチャの符号化に必要な情 報であるパラメータセッ トとを含めても良い。 なお、 ポイント情報とは 、 アクセスユニッ ト R A U 0 1 の先頭側に配置されるものであって、 復 号すべきピクチャや表示すべきピクチャを示す。
図 1 5は、 ボイン卜情報とパラメータセッ 卜とを含む画像符号化信号 S t r 1 を生成する画像符号化装置 1 0 0の動作を説明するフロー図で ある。
まず、 画像符号化装置 1 0 0は、 画像信号 V i nを取得して、 ェン ト リ ピクチャを符号化するタイ ミングであるか否かを判別する （ステップ S 5 2 0 )。
エントリピクチャを符号化するタイミングであると判別したときには (ステップ S 5 2 0の Y)、画像符号化装置 1 0 0は、参照構造情報 R s i 1 を含むポイント情報を符号化し （ステップ S 5 2 2 )、 さらに、 パラ メータセッ トを符号化する （ステップ S 5 2 4 )。 そして、 画像符号化装 置 1 0 0は、 エン トリ ピクチャを画面内予測符号化する （ステップ S 5 2 6 )。
また、 エン トリ ピクチャを符号化するタイミングでないと判別したと きには （ステップ S 5 2 0の N)、ェン トリ ピクチャ以外のピクチャを符 号化する （ステップ S 5 2 8 )。
ステップ S 5 2 6及びステップ S 5 2 8の後、 画像符号化装置 1 0 0 は符号化処理をしていないピクチャがあるか否かを判別し （ステップ S 5 3 0 )、 あると判別したときには （ステップ S 5 3 ひの Y )、 ステップ S 5 2 0からの動作を繰り返し実行し、 ないと判別したときには （ス亍 ップ S 5 3 0の N )、 処理動作を終了する。
このように本変形例では、 参照構造情報 R s i よりも情報量の少ない 参照構造情報 R s i 1 を符号化する度に画像符号化信号 S t r 1 のァク セスユニッ ト R A U 0 1 に配置するため、 参照構造情報 R s i 1 を記憶 するための記憶領域を、 参照構造情報 R s i を記億するための記憶領域 よりも小さくすることができ、 その結果、 画像符号化装置 1 0 0全体の 小型化を図ることができる。
(変形例 2 )
本変形例に係る参照構造情報は、 変形例 1 のように、 単に対応するァ クセスユニッ トから迅速なランダムアクセスを開始することができるか 否かを示すものではなく、 対応するアクセスユニッ トに含まれる各ピク チヤの参照範囲を示す。
図 1 6は、 本変形例に係る参照構造情報に含まれる内容を示す情報内 容表示図である。
図 1 6中の （ a ) 〜 （ c ) に示す参照構造情報 R s i 2は、 アクセス ュニッ ト R A U 1 2に対応するものである。
図 1 6中の （ a ) に示す参照構造情報 R s i 2は、 プリエントリ ピク チャ r 2 1 に対して参照関係 R r 1 , R r 2が禁止された参照範囲と 、 ポス トエントリ ピクチャ P o 2 1 , P o 2 2に対して参照関係 R r 3 , R r 4が禁止された参照範囲とを示す。
即ち、 参照構造情報 R s i 2で示されたプリエントリ ピクチャ P r 2 1の参照の対象となるピクチャは、 エン トリ ピクチャ E 2と、 エン トリ ピクチャ E 1 と、 ポス トエン トリ ピクチャ P o l 1 , P o 1 2とのうち 何れかである。 参照構造情報 R s i 2で示されたポス トエン トリ ピクチ ャ P o 2 1 の参照の対象となるピクチャは、 エン トリ ピクチャ E 2であ る。 参照構造情報 R s i 2で示されたボス トエン トリ ピクチャ P o 2 2 の参照の対象となるピクチャは、 エントリ ピクチャ E 2と、 ポス トェン トリ ピクチャ P o 2 1 とのうち何れかである。
図 1 6中の （ b ) に示す参照構造情報 R s i 2は、 プリエントリ ピク チヤ P r 2 1 に対して参照関係 R r 1 が禁止された参照範囲と、 ボス ト エン トリ ピクチャ P o 2 1 ， P o 2 2に対して参照関係 R r 4が禁止さ れた参照範囲とを示す。
即ち、 参照構造情報 R s i 2で示されたプリエン トリ ピクチャ P r 2 1 の参照の対象となるピクチャは、 エントリ ピクチャ E 2と、 エントリ ピクチャ E 1 と、 ポス トエン トリ ピクチャ P o l 1 ， P o l 2と、 ァク セスュニッ ト R A U 1 0以前のピクチャとのうち何れかである。 参照構 造情報 R s i 2で示されたポス トエン トリ ピクチャ P o 2 1 の参照の対 象となるピクチャは、 エントリ ピクチャ E 2とプリエントリ ピクチャ P r 2 1 とのうち何れかである。 参照構造情報 R s i 2で示されたボス ト エン トリ ピクチャ P o 2 2の参照の対象となるピクチャは、 エン トリ ピ クチャ E 2と、 ポス トエン トリ ピクチャ P o 2 1 と、 プリエントリ ピク チヤ P r 2 1 とのうち何れかである。
図 1 6中の （ c ) に示す参照構造情報 R s i 2は、 プリエントリ ピク チヤ P r 2 1 に対して参照関係についての制限が設けられていない参照 範囲と、 ポス トエントリ ピクチャ P o 2 1 , P o 2 2に対して参照関係 についての制限が設けられていない参照範囲とを示す。
即ち、 参照構造情報 R s i 2で示されたプリエントリ ピクチャ P r 2 1の参照の対象となるピクチャは、 エン トリ ピクチャ E 2， E 1 と、 ポ ストエン トリ ピクチャ P o 1 1 ， P o 1 2と、 プリエントリ ピクチャ P r 1 1 と、 アクセスュニッ ト R A U 1 0以前のピクチャとのうち何れか である。 参照構造情報 R s i 2で示されたポス トエン トリ ピクチャ P o 2 1 の参照の対象となるピクチャは、 エン トリ ピクチャ E 2， E 1 と、 プリエン トリ ピクチャ P r 2 1 , P r 1 1 と、 ポス トエントリ ピクチャ P o 1 1 ， P o 1 2と、 アクセスュニッ ト R A U 1 0以前のピクチャと のうち何れかである。 参照構造情報 R s i 2で示されたポス トエン トリ ピクチャ P o 2 2の参照の対象となるピクチャは、 ェン トリ ピクチャ E 2 , E 1 と、 プリエントリ ピクチャ P r 2 1 , P r 1 1 と、 ポス トェン トリ ピクチャ P o l l , P o l 2， P o 2 1 と、 アクセスユニッ ト R A U 1 0以前のピクチャとのうち何れかである。 なお、 図 1 6では、 各ピ クチャの参照範囲を表示順で示したが符号化順で示しても良い。
図 1 7は、 上記参照構造情報 R s i 2を含む画像符号化信号の構成を 示す構成図である。
この参照構造情報 R s i 2を含む画像符号化信号 S t r 2は、 先頭か ら順に、 同期信号 s y nと、 アクセスユニッ ト R A U 1 0 , R A U 1 1
, R A U 1 2とを含んで構成されている。
アクセスユニッ ト R A U 1 1 は、 先頭から順に、 同期信号 s y n と、 参照構造情報 R s i 2と、 エン トリ ピクチャ E 1 と、 プリエントリ ピク チヤ P r 1 1 と、 ポス トエントリ ピクチャ P o 1 1 ， P o l 2とを含ん で構成されている。 アクセスユニッ ト R A U 1 2は、 先頭から順に、 同 期信号 s y n と、 参照構造情報 R s i 2と、 エン トリ ピクチャ E 2と、 プリエン トリ ピクチャ P r 2 1 と、 ポス トエン トリ ピクチャ P o 2 1 , P o 2 2とを含んで構成されている。
そして、 アクセスユニッ ト R A U 1 1 に含まれる参照構造情報 R s i 2は、 プリエン トリ ピクチャ P r 1 1 とポス トエン トリ ピクチャ P o 1 1 , P o 1 2とに対する参照範囲を示している。 また、 アクセスュニッ 卜 R A U 1 2に含まれる参照構造情報 R s i 2は、 プリエントリ ピクチ ャ P r 2 1 とポス 卜エン トリ ピクチャ P o 2 1 , P o 2 2とに対する参 照範囲を示している。
即ち、 本変形例に係る画像符号化信号 S t r 2を取得した画像復号化 装置は、 アクセスュニッ 卜 R A U 1 1 の參照構造情報 R s i 2に基づい て、 ポス トエン トリ ピクチャ P o 1 1 , P o 1 2の参照範囲を把握する とともに、 アクセスュニッ ト R A U 1 2の参照構造情報 R s i 2に基づ いて、 プリエン トリ ピクチャ P r 2 1 の参照範囲を把握する。 そして、 画像復号化装置は、 その参照範囲の把握結果から、 ポス トエントリ ピク チヤ P o l l , P o 1 2に対して参照関係 R r 1 , R r 2が成立せず、 プリエントリ ピクチャ P r 2 1 に対して参照関係 R r 3， R r 4が成立 していないと判断したときには、 アクセスユニッ ト R A U 1 1 から迅速 にランダムアクセスすることが可能であると判断する。
なお、 本変形例では、 参照構造情報 R s i 2は、 その参照構造情報 R s ί 2が属するアクセスュニッ 卜に含まれる各ピクチャの参照範囲を示 したが、 他のアクセスュニッ 卜に含まれるピクチャの参照範囲を示して も良い。
図 1 8は、 参照構造情報 R s i 2が、 自らの属するアクセスユニッ ト に含まれるピクチャの参照範囲と他のアクセスュニッ 卜に含まれるピク チヤの参照範囲とを示す様子を説明するための説明図である。 アクセスユニッ ト R A U 1 1 に含まれる参照構造情報 R s i 2は、 ポ ス トエン トリ ピクチャ P o 1 1 , P o 1 2に対する参照範囲と、 ァクセ スュニッ ト R A U 1 2に含まれるプリエン トリ ピクチャ P r 2 1 に対す る参照範囲とを示している。
これにより、 画像符号化信号 S t r 2を取得した画像復号化装置は、 アクセスユニッ ト R A U 1 1 の参照構造情報 R s i 2のみに基づいて、 ポス トエントリ ピクチャ P o l l , P o 1 2の参照範囲を把握するとと もに、 プリエン トリ ピクチャ P r 2 1 の参照範囲を把握し、 アクセスュ ニッ 卜 R A U 1 1 から迅速にランダムアクセスすることが可能であるか 否かを判断することができる。
なお、 本変形例では、 参照構造情報 R s i 2は各ピクチャの参照範囲 を示したが、 各ピクチャに対する参照関係の制限レベルを示しても良い 。 例えば、 所定のポス トェン トリ ピクチャに対して、 参照構造情報 R s i 2は制限レベル 0、 制限レベル 1 、 又は制限レベル 2を示す。 制限レ ベル 0は、 そのポス トエントリ ピクチャが参照関係 R r 1 , R r 2を有 していないことを意味し、 制限レベル 1 は、 そのポス トエントリ ピクチ ャが参照関係 R r 1 を有していないことを意味し、 制限レベル 2は、 そ のポス トエン トリ ピクチャが参照の制限を受けていないことを意味する 。 また、 所定のプリエン トリ ピクチャに対して、 参照構造情報 R s i 2 は制限レベル 0、 制限レベル 1 、 又は制限レベル 2を示す。 制限レベル 0は、 そのプリエントリ ピクチャが参照関係 R r 3 , R r 4を有してい ないことを意味し、 制限レベル 1 は、 そのプリエントリ ピクチャが参照 関係 R r 3を有していないことを意味し、 制限レベル 2は、 そのプリェ ン トリ ピクチャが参照の制限を受けていないことを意味する。
このような参照構造情報 R s i 2を取得した画像復号化装置は、 その 参照構造情報 R s i 2に基づいて、 ポス トエントリ ピクチャが参照関係 R r 1 ， R r 2を有しているか否かを判別するとともに、 プリエントリ ピクチャが参照関係 R r 3 , r 4を有しているか否かを判別する。 (変形例 3 )
本変形例に係る画像符号化信号は、 参照構造情報を含まずに構成され 、 メディアデータを構成する信号と して記憶媒体に記憶されている。 図 1 9は、 記憶媒体に記憶されているメディアデータの構成を示す構 成図である。
メディァデータ m e dは、 先頭から順に、 ヘッダ h e d と、 参照構造 情報 R s i と、 複数の画像符号化信号 S t r 3 とを含んで構成されてい る。
画像符号化信号 S t r 3は、 先頭から順に、 同期信号 s y nと、 複数 のアクセスュニッ ト R A Uとを含んで構成されている。
アクセスユニッ ト R A Uは、 先頭から順に、 同期信号 s y nと、 複数 のピクチャ P i cとを含んで構成されている。
即ち、 画像復号化装置は、 記憶媒体に記憶されているメディアデータ m e dから参照構造情報 R s i を取得し、 その参照構造情報 R s ί に基 づいて各画像符号化信号 S t r 3の何れのアクセスュニッ 卜 R A Uから 迅速にランダムアクセスすることが可能かを特定する。
(変形例 4 )
本変形例に係る画像符号化装置 1 0 0は、 参照構造情報を含まない画 像符号化信号 S t r 3と、 画像符号化信号 S t r 3の各アクセスュニッ ト R A Uに対応する参照構造情報 R s i 2から構成される参照テーブル とを生成して出力する。
図 2 0は、 画像符号化信号 S t r 3と参照テーブルとの構成を示す構 成図である。
参照テーブル R s i Tは、 画像符号化信号 S t r 3の各アクセスュニ ッ ト R A Uにそれぞれ一対一に対応する複数の参照構造情報 R s i 2を 含んで構成されている。 例えば、 画像符号化信号 S t r 3の各アクセス ュニッ ト R A Uと、 参照テーブル R s i Tの各参照構造情報 R s i 2と はそれぞれ先頭からの順番で対応している。 つまり、 画像符号化信号 S t r 3の 1番目のアクセスュニッ ト R A Uは、 参照テーブル R s i 丁の 1番目の参照構造情報 R s i 2に対応しており、 2番目のアクセスュニ ッ ト R A Uは、 2番目の参照構造情報 R s i 2に対応している。
なお、 本変形例では、 参照テーブル R s i Tを複数の参照構造情報 R s i 2から構成したが、 参照構造情報 R s i 2の代わりに参照構造情報 R s ί 1 から構成しても良い。 また、 画像符号化装置 1 0 0は、 参照構 造情報を符号化せずに、 その符号化していない参照構造情報から参照亍 一ブル R s i Tを生成しても良い。
(変形例 5 )
本変形例に係る画像符号化装置 1 0 0は、 参照構造情報 R s i 2を識 別するための参照識別情報を含む画像符号化信号と、 参照テーブル R s i Tとを出力する。
図 2 1 は、 参照識別情報を含む画像符号化信号の構成を示す構成図で ある。
この画像符号化信号 S t r 4は、 先頭から順に、 同期信号 s y n と、 アクセスユニッ ト R A U 2 1 と、 アクセスユニッ ト R A U 2 2とを含ん で構成されている。
アクセスユニッ ト R A U 2 2は、 先頭から順に、 同期信号 s y n と、 参照構造情報 R s i 2を識別するための参照識別情報 R I りと、 複数の ピクチャ P i cとを含んで構成されている。
参照識別情報 R I Dは、 例えば、 参照テーブル R s i Tの先頭から 2 番目の参照構造情報 R s i 2を指し示す。 即ち、 画像符号化信号 S t r 4と参照テーブル R s i Tとを取得した 画像復号化装置は、 アクセスユニッ ト R A U 2 2に含まれる参照識別情 報 R I から、 参照テーブル R s i Tの 2番目の参照構成情報 R s i 2 を特定する。 そして画像復号化装置は、 その特定した参照構成情報 R s i 2に基づいてアクセスユニッ ト R A U 2 2に含まれる各ピクチャの参 照範囲を把握する。
また、 アクセスュニッ 卜 R A U 2 1 の参照識別情報 R I りが、 ァクセ スュニッ ト R A U 2 2の参照識別情報 R I Dと同じ先頭から 2番目の参 照構造情報 R s i 2を指し示しても良い。
このように本変形例では、 アクセスユニッ トに参照識別情報 R I Dを 含めることによリ、 複数のアクセスュニッ 卜に 1 つの参照構造情報 R s i 2を対応付けることができるため、 参照テーブル R s i Tに同じ内容 の参照構造情報 R s i 2を含めることを要さず、 参照テーブル R s i T の情報量を少なくすることができる。
(変形例 6 )
本変形例に係る画像符号化装置 1 0 0は、 参照構造情報を含まない画 像符号化信号 S t r 3と、 参照テーブル R s ί Tと、 参照識別情報 R I Dから構成される識別テーブルとを出力する。
図 2 2は、 識別テーブルの構成を示す構成図である。
識別テーブル R I D Tは、 複数の参照識別情報 R I Dを含んで構成さ れる。 先頭の参照識別情報 R I Dは、 例えば、 参照テーブル R s i T O) 先頭から 3番目の参照構成情報 R s .i 2を指し示し、 先頭から 2番目の 参照識別情報 R I Dは、 例えば、 参照テーブル R s i Tの先頭から 2番 目の参照構成情報 R s i 2を指し示す。
また、 識別テーブル R I D Tに含まれる各参照識別情報 R I Dは、 先 頭から順にそれぞれ、 画像符号化信号 S t r 3の先頭側から順に 2つの アクセスユニッ ト R A Uに対応している。 つまり、 先頭の参照識別情報 R I Dは、 画像符号化信号 S t r 3の先頭から 1 番目及び 2番目のァク セスユニッ ト R A Uに対応し、 2番目の参照識別情報 R I Dは、 画像符 号化信号 S t r 3の先頭から 3番目及び 4番目のアクセスュニッ 卜 R A Uに対応している。
即ち、 画像符号化信号 S t r 3と参照テーブル R s i Tと識別テープ ル R I D Tとを取得した画像復号化装置は、 画像符号化信号 S t r 3の 先頭のアクセスュニッ ト R A Uに対応する識別テーブル R I D Tの先頭 の参照識別情報 R I Dに基づいて、 参照亍一ブル R s i Tの 3番目の参 照構造情報 R s i 2を特定する。 そして画像復号化装置は、 その特定し た参照構造情報 R s i 2に基づいて、 先頭のアクセスユニッ ト R A Uに 含まれる各ピクチャの参照範囲を把握する。
(実施の形態 2 )
図 2 3は、 本発明の第 2の実施の形態における画像復号化装置の構成 を示すブロック図である。
本実施の形態における画像復号化装置 1 5 0は、 実施の形態 1 の画像 符号化装置 1 0 0によって生成された画像符号化信号 S t rを復号化す るものであって、 符号化部 1 5 1 と、 加算器 1 5 3と、 選択部 1 5 4と 、 メモリ 1 5 5 ~ 1 5 7 と、 動き補償部 1 5 8と、 決定部 1 5 9と、 抽 出部 1 6 0とを備えている。
抽出部 1 6 0は、 画像符号化装置 1 0 0から画像符号化信号 S t r を 取得するとこれを一時的に蓄積する。 そして、 抽出部 1 6 0は、 まず、 取得した画像符号化信号 S t r のうち参照構造情報 R s i を復号化部 1 5 1 に出力する。 次に抽出部 1 6 0は、 決定部 1 5 9からの指示に基づ き画像符号化信号 S t rに含まれるアクセスュニッ 卜 R A Uを復号化部 1 5 1 に出力する。 復号化部 1 5 1 は、 抽出部 1 6 0から参照構造情報 R s i を取得する と、 その参照構造情報 F? s i を復号化して決定部 1 5 9に出力する。 さ らに、 復号化部 1 5 1 は、 抽出部 1 6 0から画像符号化信号 S t rに含 まれる各アクセスュニッ 卜 R A Uを取得すると、 その各アクセスュニッ トを復号化して、 復号差分画像信号 R D i f と、 動きべク トル M Vと、 指定情報 R Fとを出力する。
決定部 1 5 9は、 復号化部 1 5 1から復号化された参照構造情報 R s i を取得すると、 その参照構造情報 R s i に基づいて、 画像符号化信号 S t rに含まれるアクセスユニッ ト R A Uのうち、 何れから迅速にラン ダムアクセスすることが可能かを特定する。 即ち、 決定部 1 5 9は、 迅 速なランダムアクセスを開始することが可能なアクセスユニッ ト R A U を決定する。
そして、 決定部 1 5 9は、 例えばユーザの操作に応じて、 ランダムァ クセスの開始位置となるアクセスユニッ ト R A Uを指定する指定信号 E Mを抽出部 1 5 9に出力する。
即ち、 上述の抽出部 1 6 0は、 この指定信号 E Mによって指定された アクセスユニッ ト R A Uから順に、 画像符号化信号 S t rに含まれる各 アクセスュニッ ト R A Uを復号化部 1 5 1 に出力するのである。
加算器 1 5 3は、 復号差分画像信号 R D i f に予測画像 P r eを加算 して、 復号画像信号 V o u t を出力する。
選択部 1 5 4は、 復号画像信号 V o u t を後続のピウチヤの復号化で 参照ピクチャとして利用するため、 メモリ 1 5 5〜 "！ 5 7のうち何れか を選択してそのメモリ に対して復号画像信号 V o u t を出力する。 例え ば、 選択部 1 5 4は、 メモリ 1 5 5〜 1 5 7のうち最も古い復号画像信 号 V o u t を格納しているものを選択する。
メモリ 1 5 5〜 1 5 7は、 選択部 1 5 4から復号画像信号 V o u t を 取得して、 これを参照ピクチャの候補となる候補ピクチャ R e f として 格納する。 またメモリ 1 5 5 〜 1 5 7は、 新たな候補ピクチャ R e f を 格納するときには、 既に格納されている最も古い候補ピクチャ R e f を 消去する。
動き補償部 1 5 8は、 復号化部 1 5 1 から出力される指定信号 R Fに 基づいて、 メモリ 1 5 5 〜 1 5 7に格納されている 3つの候補ピクチャ R e f と、 0の値を持つ候補ピクチヤ R e f 0とのうち何れかを、 参照 ピクチャとして扱う。 即ち、 動き補償部 1 5 8は、 指定信号 R Fが画像 信号 V i nに近い候補ピクチャ R e f を指定している場合には、 その指 定信号 R Fが指定する候補ピクチャ R e f を格納しているメモリからそ の候補ピクチャ R e f を取得する。 一方、 指定信号 R Fが画面内予測符 号化を指示している場合には、 動き補償部 1 5 8は、 0の値を持つ候補 ピクチャ R e f 0を取得する。 そして動き補償部 1 5 8は、 参照ピクチ ャと して候補ピクチャ R e f を取得したときには、 取得した参照ピクチ ャから動きべク トル M Vを用いて予測画像 P r eに最適な画像領域を取 リ出し、 その取り出した画像領域から予測画像 P r eを生成して出力す る。 一方、 候補ピクチャ R e f 0を取得したときには、 0の値を持つ予 測画像 P r eを生成して出力する。
図 2 4は、 画像復号化装置 1 5 0の概略的な動作を示すフロー図であ る。
まず、 画像復号化装置 1 5 0は、 画像符号化信号 S t r に含まれる参 照構造情報 R s i を取得して復号化する （ステップ S 6 0 0 )。 この参照 構造情報 R s i に基づいて、 画像復号化装置 1 5 0は、 迅速なランダム アクセスを開始可能なアクセスュニッ ト R A Uを特定する （ステップ S 6 0 2 )。 そして、 画像復号化装置 1 5 0は、 特定されたアクセスュニッ ト R A Uのうち、 ユーザから指定されたアクセスュニッ ト R A Uから各 ピクチャの復号化を行う （ステップ S 6 0 4 )。
このように本実施の形態における画像復号化装置 1 5 0は、 画像符号 化信号 S t rに含まれる参照構造情報 R s i に基づいて、 迅速なランダ ムアクセスを開始可能なアクセスユニッ ト R A Uを特定することができ るとともに、 その特定されたアクセスュニッ ト R A Uから、 その前のピ クチャを復号することなく、 迅速にランダムアクセスすることができる なお、 画像復号化装置 1 5 0は、 実施の形態 1 の変形例 1 に係る画像 符号化信号 S t r 1 に対して復号化を行っても良い。
この場合、 参照構造情報 R s i 1 がアクセスュニッ ト R A U 0 1 ごと に含まれているため、 抽出部 1 6 0は、 まず各アクセスユニッ ト R A U 0 1 に含まれる参照構造情報 R s i 1 を復号化部 1 5 1 に出力する。 そ して、 決定部 1 5 9は、 復号化された各参照構造情報 R s i 1 に基づい て、 迅速なランダムアクセスを開始することが可能なアクセスュニッ ト R A U 0 1 を決定する。
また、 上記決定、 つまり迅速なランダムアクセスが可能か否かの判別 を復号化部 1 5 1 にさせても良い。 この場合には、 決定部 1 5 9が所定 のアクセスュニッ ト R A U O 1 を抽出部 1 6 0に指示すると、 抽出部 1 6 0は、 そのアクセスュニッ ト R A U O 1 に含まれる参照構造情報 R s i 1 を復号化部 1 5 1 に出力する。 そして、 復号化部 1 5 1 は、 その参 照構造情報 R s i 1 を復号し、 その復号した参照構造情報 R s i 1 に基 づいて、 その参照構造情報 R s i 1 を含むアクセスユニッ ト R A U O 1 からの迅速なランダムアクセスが可能であるか否かを判別する。 ランダ ムアクセス可能であると判別したときには、 復号化部 1 5 1 は、 そのァ クセスュニッ 卜 R A U O 1 以降にある各アクセスュニッ 卜 R A U O 1 を 抽出部 1 6 0から出力させて復号化を行う。 ここでさらに、 そのアクセスュニッ ト R A U O 1 に、 参照構造情報 R s i 1 を含む上述のポイント情報と、 パラメータセッ トとが含まれてい る場合には、 画像復号化装置 1 5 0はそれらの復号化も行う。
図 2 5は、 画像復号化装置 1 5 0がポィン 卜情報及びパラメ一タセッ トを含む画像符号化信号 S t r 1 を符号化する動作を示すフロー図であ る。 なお、 図 2 5中、 アクセスユニッ ト R A U O "! を R A Uとして示す まず、 画像復号化装置 1 5 0は、 復号化の対象となるアクセスュニッ ト R A U O 1 を特定し （ステップ S 6 1 0 )、そのアクセスュニッ ト R A U 0 1 のポイント情報を復号化する （ステップ S 6 1 2 )。 そして、 画像 復号化装置 1 5 0は、 パラメータセッ トを復号化し （ステップ S 6 1 4 )、そのアクセスュニッ ト R A U O 1 に含まれる全てのピクチャを復号化 する （ステップ S 6 1 6 )。 次に、.画像復号化装置 1 5 0は、 未符号のァ クセスュニッ ト R A U 0 1 があるか否かを判別し （ステップ S 6 1 8 ) 、 あると判別したときには （ステップ S 6 1 8の Y )、 ステップ S 6 1 0 からの動作を繰り返し実行し、 ないと判別したときには （ステップ S 6 1 8の N)、 復号化処理を終了する。
(変形例 1 )
本変形例に係る画像復号化装置 1 5 0は、 実施の形態 1 の変形例 2に 係る画像符号化信号 S t r 2に対して復号化を行う。
この場合、 参照構造情報 R s ί 2がアクセスュニッ 卜 R A U 1 0 , R A U 1 1 , …のそれぞれに含まれているため、 抽出部 1 6 0は、 まず各 アクセスユニッ ト R A U 1 0 , R A U 1 1 , …に含まれる参照構造情報 R s i 2を復号化部 1 5 1 に出力する。 そして、 決定部 1 5 9は、 復号 化された各参照構造情報 R s i 2に基づいて、 迅速なランダムアクセス を開始することが可能なアクセスユニッ トを決定する。 具体的に、 参照構造情報 R s i 2は、 自らが属するアクセスユニッ ト に含まれる各ピクチャに対する参照範囲を示すため、 決定部 1 5 9は、 迅速なランダムアクセスが開始可能か否かの判別対象となるアクセスュ ニッ トの参照構造情報 R s ί 2により示される参照範囲と、 その直後の アクセスユニッ トの参照構造情報 R s i 2により示される参照範囲とに 基づいて、 その判別対象のアクセスュニッ 卜に参照関係 R r 1 , R r 2 を有するピクチャが含まれ、 且つ直後のアクセスュニッ 卜に参照関係 R r 3 , R r 4を有するピクチャが含まれているか否かを判別する。 その 結果、 参照関係 R r l , R r 2を有するピクチャと参照関係 R r 3 , R r 4を有するピクチャが含まれていないと判別したときには、 決定部 1 5 9は、 その判別対象のアクセスュニッ 卜から迅速なランダムアクセス を開始することが可能であると認識する。
ところで、 決定部 1 5 9が、 判別対象のアクセスユニッ トから迅速な ランダムアクセスを開始することが可能であると認識した場合であって も、 その判別対象のアクセスユニッ トのプリエン トリ ピクチャが、 符号 化順でエン トリ ピクチャよりも前のピクチャ （直前のアクセスュニッ ト 以降のピクチャ） を参照していることがある。
このような場合には、 そのプリェン トリ ピクチャを含むアクセスュニ ッ 卜からランダムアクセスを開始しょうと しても、 そのプリエン トリ ピ クチャを復号することができない。 しかし、 そのようなプリエン トリ ピ クチャは他のピクチャに参照されることがないため、 そのプリェントリ ピクチャを復号化する必要性がなく、 また表示する必要性もない。
そこで、 本変形例に係る決定部 1 5 9は、 ランダムアクセスの開始位 置となるアクセスュニッ 卜に含まれるプリェントリ ピクチャの復号化の 必要性の有無を、 直後のアクセスユニッ トの参照構造情報 R s i 2によ リ示される参照範囲に基づいて判別する。 即ち、 決定部 1 5 9は、 直後 のアクセスュニッ 卜のプリエントリ ピクチャの参照範囲に、 開始位置と なるアクセスユニッ トのプリエントリ ピクチャが含まれている場合には 、 そのプリエントリ ピクチャの復号化の必要性があると判別し、 参照範 囲に含まれていない場合には、 復号化の必要性がないと判別する。
そして決定部 1 5 9は、 復号化の必要性がないと判別したときには、 画像符号化信号 S t r 2に含まれるアクセスユニッ トのうち、 開始位置 となるアクセスュニッ 卜に含まれるプリエン トリ ピクチャを除いて、 そ のアクセスュニッ ト以降の各アクセスュニッ トを出力するように抽出部 1 6 0に指示する。
これにより、 本変形例に係る画像復号化装置 1 5 0は、 不適当なピク チヤの処理を省いて復号化処理の効率を向上することができる。
図 2 6は、 本変形例に係る画像復号化装置 1 5 0の決定部 1 5 9の動 作を示すフロー図である。
まず、 決定部 1 5 9は、 復号化部 1 5 1 から各アクセスユニッ トに含 まれる参照構造情報 R s i 2を取得する （ステップ S 6 2 0 )。 次に、 決 定部 1 5 9は、 取得した参照構造情報 R s i 2に基づいて、 迅速なラン ダムアクセスを開始することが可能なアクセスュニッ トを特定する （ス 亍ップ S 6 2 2 )。
そして、 決定部 1 5 9は、 ステップ S 6 2 2で特定したアクセスュニ ッ トからさらに、 ランダムアクセスの開始位置となるアクセスユニッ ト を特定する （ステップ S 6 2 4 )。
次に、 決定部 1 5 9は、 上記開始位置となるアクセスユニッ トの直後 にあるアクセスユニッ トの参照構造情報 R s i 2に基づいて、 開始位置 となるアクセスュニッ 卜のプリェン トリ ピクチャの復号化が不要か否か を判別する （ステップ S 6 2 6 )。
ここで、 復号化は不要であると判別したときには （ステップ S 6 2 6 の Y )、決定部 1 5 9は、画像符号化信号 S t r 2に含まれるアクセスュ ニッ トのうち、 開始位置となるアクセスュニッ 卜に含まれるプリェント リ ピクチャを除いて、 そのアクセスュニッ ト以降の各アクセスュニッ ト を出力するように抽出部 1 6 0に指示する （ステップ S 6 2 8 )。 また、 復号化は不要でないと判別したときには（ステップ S 6 2 6の N )、決定 部 1 5 9は、 画像符号化信号 S t r 2に含まれるアクセスュニッ 卜のう ち、 その開始位置となるアクセスュニッ ト以降の各アクセスュニッ 卜を 全て出力するように抽出部 1 6 0に指示する （ステップ S 6 3 0 )。 なお、 図 1 8に示すように、 迅速なランダムアクセスの開始が可能か 否かの判別対象とするアクセスユニッ トの参照構造情報 R s i 2に、 そ のアクセスュニッ 卜のポス トェン トリ ピクチャの参照範囲と、 直後のァ クセスュニッ 卜のプリェン トリ ピクチャの参照範囲とが示されているよ うな場合には、 決定部 1 5 9は、 判別対象とするアクセスュニッ 卜の参 照構造情報 R s i 2のみに基づいて、 そのアクセスユニッ トから迅速な ランダムアクセスが可能か否か、 及びそのアクセスユニッ トに含まれる プリエン トリ ピクチャの復号化の必要性があるか否かを判別する。
(変形例 2 )
本変形例に係る画像復号化装置 1 5 0は、 実施の形態 1 の変形例 3に 係る画像符号化信号 S t r 3を復号化する。
ここで、 記憶媒体に記憶されているメディアデ一タ m e dのヘッダ h e dには、 メディアデータ m e dの各画像符号化信号 S t r 3に対する 関連情報が含まれている。
この関連情報は、 各画像符号化信号 S t r 3の何れのアクセスュニッ ト R A Uからでも迅速なランダムアクセスを開始することが可能である か否かを示すとともに、 可能である場合には、 迅速なランダムアクセス の開始位置となるアクセスュニッ 卜のプリェン トリ ピクチャに対して復 号化は不要であることを示す。
本変形例に係る画像復号化装置 1 5 0は、 記憶媒体に記憶されている メディアデータ m e dのヘッダ h e d を参照し、 迅速なランダムァクセ スが可能であることを示す関連情報がへッダ h e dにあれば、 参照構造 情報 R s ί を参照することなく、 画像符号化信号 S t r 3に対して何れ のアクセスユニッ ト R A Uからでも迅速にランダムアクセスを行うこと ができると判別する。
図 2 7は、 本変形例に係る画像復号化装置 1 5 0の決定部 1 5 9の動 作を示すフロー図である。
まず決定部 1 5 9は、 抽出部 1 6 0及び復号化部 1 5 1 を介してへッ ダ h e dを取得し （ステップ S 6 4 0 )、 そのヘッダ h e dに含まれる関 連情報に基づいて、 メディアデータ m e dに含まれる各画像符号化信号 S t r 3に対して、 全てのアクセスユニッ ト R A Uから迅速なランダム アクセスが可能か否かを判別する （ステップ S 6 4 2 )。
ここで、 決定部 1 5 9は、 全てのアクセスュニッ ト R A Uから迅速な ランダムアクセスが可能であると判別したときには （ステップ S 6 4 2 の 、 その全てのアクセスュニッ ト R A Uから、 ランダムアクセスの開 始位置となるアクセスュニッ ト R A Uを特定する （ステップ S 6 4 4 ) そして、 決定部 1 5 9は、 開始位置とするアクセスュニッ ト R A Uの プリェン トリ ピクチャを除いて、 そのアクセスュニッ ト R A U以降のァ クセスユニッ ト R A Uを出力するように抽出部 1 6 0に指示する （ステ ップ S 6 4 6 )。
また、 ステップ S 6 4 2で全てのアクセスュニッ 卜 R A Uから迅速な ランダムアクセスは不可能と判別したときには （ステップ S 6 4 2の N )、決定部 1 5 9は、参照構造情報 R s i を復号化部 1 5 1 から取得して (ステップ S 6 4 8 )、迅速なランダムアクセスが可能なアクセスュニッ ト R A Uを特定する （ステップ S 6 5 0 )。
次に、 決定部 1 5 9は、 そのランダムアクセス可能なアクセスュニッ ト R A Uからさらに、 ランダムアクセスの開始位置となるアクセスュニ ッ ト R A Uを特定する （ステップ S 6 5 2)。
そして、 決定部 1 5 9は、 その開始位置となるアクセスユニッ ト R A U以降のアクセスュニッ ト R A Uを出力するように抽出部 1 6 0に指示 する （ステップ S 6 5 4 )。
なお、 本変形例では、 メディァデータ m e dのヘッダ h e dに基づい て、 全てのアクセスユニッ ト R A Uから迅速なランダムアクセスを開始 することができるか否かを判别したが、 例えば、 メディアデータ m e d を記憶している記憶媒体の種別を物理的な特性などから識別し、 その識 別結果に基づいて、 全てのアクセスュニッ ト R A Uから迅速なランダム アクセスを開始することができるか否かを判別しても良い。
(変形例 3 )
本変形例に係る画像復号化装置は、 実施の形態 1 の変形例 4に係る画 像符号化装置 1 0 0によって生成された画像符号化信号 S t r 3 と、 参 照テーブル R s i Tとを取得して、 画像符号化信号 S t r 3の復号化を 行う。
図 2 8は、 本変形例に係る画像復号化装置の構成を示すブロック図で め 。
この画像復号化装置 1 5 0 aは、 加算器 1 5 3と、 選択部 1 5 4と、 メモリ 1 5 5〜 1 5 7 と、 動き補償部 1 5 8と、 抽出部 1 6 1 と、 復号 化部 1 6 2と、 決定部 1 6 3と、 取得部 1 6 4とを備えている。
ここで、 画像復号化装置 1 5 0 a に含まれる構成要素中、 画像復号化 装置 1 5 0の構成要素と同一の符号が付されたものは、 画像復号化装置 1 5 0の同一の符号が付された構成要素と同一の機能を有するため、 説 明を省略する。
取得部 1 6 4は、 参照テーブル R s i Tを取得して、 その参照テープ ル R s i Tに含まれる参照構造情報 R S i 2を先頭から順に決定部 1 6 3に出力する。
決定部 1 6 3は、 取得部 1 6 4から参照構造情報 R s i 2を取得する と、 その参照構造情報 R s i 2に基づいて、 画像符号化信号 S t r 3に 含まれるアクセスュニッ 卜 R A Uのうち、 何れから迅速にランダムァク セスすることが可能かを特定する。 即ち、 決定部 1 6 3は、 迅速なラン ダムアクセスを開始することが可能なアクセスュニッ 卜 R A Uを決定す る。 そして、 決定部 1 6 3は、 例えばユーザの操作に応じて、 ランダム アクセスの開始位置となるアクセスユニッ ト R A Uを指定する指定信号 E Mを抽出部 1 6 1 に出力する。
抽出部 1 6 1 は、 画像符号化信号 S t r 3を取得するとこれを一時的 に蓄積する。 そして、 抽出部 1 6 0は、 画像符号化信号 S t r 3に含ま れるアクセスュニッ ト R A Uのうち、 指定信号 E Mによって指定された アクセスュニッ ト R A U以降のアクセスュニッ 卜 R A Uを復号化部 1 6 2に出力する。
復号化部 1 6 2は、 抽出部 1 6 1 から画像符号化信号 S t r 3に含ま れる各アクセスュニッ ト R A Uを取得すると、 その各アクセスュニッ 卜 R A Uを復号化して、 復号差分画像信号 R D i f と、 動きベク トル M V と、 指定情報 R Fとを出力する。
(実施の形態 3 )
さらに、 上記各実施の形態で示した画像符号化方法又は画像復号化方 法を実現するためのプログラムを、 フレキシブルディスク等の記憶媒体 に記録するようにすることにより、 上記各実施の形態で示した処理を、 独立したコンピュータシステムにおいて簡単に実施することが可能とな る。
図 2 9は、 実施の形態 1 又は 2の画像符号化方法又は画像復号化方法 をコンピュータシステムにより実現するためのプログラムを格納する記 憶媒体についての説明図である。
図 2 9中の （ b ) は、 フレキシブルディスク F Dの正面及び側面から みた外観と、 記録媒体の本体であるディスク本体 F D 1 の正面からみた 外観とを示し、 図 2 9中の （ a ) は、 ディスク本体 F D 1 の物理フォー マツ 卜の例を示している。
ディスク本体 F D 1 はケース F内に内蔵され、 ディスク本体 F D 1 の 表面には、 同心円状に外周からは内周に向かって複数の トラック T rが 形成され、 各トラックは角度方向に 1 6のセクタ S eに分割されている 。 従って、 上記プログラムを格納したフレキシブルディスク F Dでは、 上記ディスク本体 F D 1 上に割り当てられた領域に、 上記プログラムと しての画像符号化方法が記録されている。
また、 図 2 9中の （ c ) は、 フレキシブルディスク F Dに上記プログ ラムの記録再生を行うための構成を示す。
上記プログラムをフレキシブルディスク F Dに記録する場合は、 コン ピュータシステム C sが上記プログラムとしての画像符号化方法又は画 像復号化方法をフレキシブルディスク ドライブ F D Dを介して書き込む 。 また、 フレキシブルディスク F D内のプログラムにより上記画像符号 化方法又は画像復号化方法をコンピュータシステム C s中に構築する場 合は、 フレキシブルディスク ドライブ F D Dによりプログラムがフレキ シブルディスク F Dから読み出され、 コンピュータシステム C Sに転送 される。
なお、 上記説明では、 記録媒体と してフレキシブルディスク F Dを用 いて説明を行ったが、 光ディスクを用いても同様に行うことができる。 また、 記録媒体はこれに限らず、 I Cカード、 ROMカセッ ト等、 プロ グラムを記録できるものであれば同様に実施することができる。
(実施の形態 4 )
さらにここで、 上記実施の形態で示した画像符号化方法又は画像復号 化方法の応用例とそれを用いたシステムを説明する。
図 3 0は、 コンテンッ配信サービスを実現するコンテンッ供給システ ム ex l 0 0の全体構成を示すブロック図である。 通信サービスの提供ェ リアを所望の大きさに分割し、 各セル内にそれぞれ固定無線局である基 地局 ex 1 07〜ex 1 1 0が設置されている。
このコンテンツ供給システム ex 1 0 0は、 例えば、 インタ一ネッ ト ex 1 0 1 にインターネッ トサービスプロバイダ ex 1 0 2および電話網 ex 1 04、 および基地局 ex 1 0 7〜 exl 1 0を介して、 コンピュータ ex 1 1 1 、 P D A ( persona I digital assistant) ex 1 1 2、 カメラ exl 1 3 、 携帯電話 ex 1 1 4、 カメラ付きの携帯電話 e x 1 1 5などの各機器が 接続される。
しかし、 コンテンツ供給システム exl 00は図 3 0のような組合せに 限定されず、 いずれかを組み合わせて接続するようにしてもよい。 また 、 固定無線局である基地局 ex 1 0 7〜ex1 1 0を介さずに、 各機器が電 話網 ex 1 04に直接接続されてもよい。
カメラ exl 1 3はデジタルビデオカメラ等の動画撮影が可能な機器で ある。 また、 携帯電話は、 P D C (Personal Digital Communications ) 方式、 C D M A (Code Division Multiple Access) 方式、 W— C DM A ( Wi deband - Code Di ision Multiple Access) 方式、 若しくは G S M (Global System for Mobi le Communications) 方式の携帯電話機、 また は P H S (Personal Handyphone System) 等であり、 いずれでも構わな い。
また、 ス トリーミ ングサーバ ex 1 0 3は、 カメ ラ ex 1 1 3から基地局 e X 1 0 9、 電話網 ex 1 0 4を通じて接続されており、 カメ ラ ex 1 1 3 を用 いてユーザが送信する符号化処理されたデータに基づいたライブ配信等 が可能になる。 撮影したデータの符号化処理はカメ ラ ex 1 1 3で行って も、 データの送信処理をするサーバ等で行ってもよい。 また、 カメ ラ ex 1 1 6で撮影した動画データはコンピュータ ex 1 1 1 を介してス 卜 リー ミングサーバ ex 1 0 3に送信されてもよい。 カメ ラ ex 1 1 6はデジタル カメ ラ等の静止画、 動画が撮影可能な機器である。 この場合、 動画デー タの符号化はカメ ラ ex 1 1 6で行ってもコンピュータ ex 1 1 1 で行って もどちらでもよい。 また、 符号化処理はコンピュータ ex 1 1 1 やカメ ラ e X I 1 6が有する L S I ex 1 1 7において処理することになる。 なお、 画 像符号化 ' 復号化用のソフ トウェアをコンピュータ ex 1 1 "I 等で読み取 リ可能な記録媒体である何らかの蓄積メディア （ C D— R O M、 フ レキ シブルディスク、 ハー ドディスクなど） に組み込んでもよい。 さ らに、 カメ ラ付きの携帯電話 ex 1 1 5で動画データ を送信してもよい。 このと きの動画データは携帯電話 ex 1 1 5が有する L S I で符号化処理された データである。
このコ ンテンツ供給システム ex 1 0 0では、 ユーザがカメ ラ ex 1 1 3 、 カメ ラ ex 1 1 6等で撮影しているコンテンツ （例えば、 音楽ライブを 撮影した映像等） を上記実施の形態同様に符号化処理してス トリーミン グサーバ ex 1 0 3 に送信する一方で、 ス ト リーミ ングサーバ ex 1 0 3は 要求のあったクライアン 卜に対して上記コンテンツデータ をス ト リーム 配信する。 クライアン トと しては、 上記符号化処理されたデータを復号 化することが可能な、 コンピュータ ex 1 1 1 、 P D A ex 1 1 2、 カメ ラ e x 1 1 3、 携帯電話 ex 1 1 4等がある。 このようにすることでコンテンツ 供給システム ex 1 0 0は、 符号化されたデータをクライアン トにおいて 受信して再生することができ、 さらにクライアン 卜においてリアルタイ ムで受信して復号化し、 再生することにより、 個人放送をも実現可能に なるシステムである。
このシステムを構成する各機器の符号化、 復号化には上記各実施の形 態で示した画像符号化装置又は画像復号化装置を用いるようにすればよ い。
その一例と して携帯電話について説明する。
図 3 1 は、 上記実施の形態で説明した画像符号化方法又は画像復号化 方法を用いた携帯電話 ex 1 1 5を示す図である。 携帯電話 ex 1 1 5は、 基地局 ex 1 1 0との間で電波を送受信するためのアンテナ ex2 0 1 、 C C Dカメラ等の映像、 静止画を撮ることが可能なカメラ部 ex2 0 3、 力 メラ部 ex 2 0 3で撮影した映像、 アンテナ ex 2 0 1 で受信した映像等が 復号化されたデータを表示する液晶ディスプレイ等の表示部 ex 2 0 2、 操作キー e X 2 0 4群から構成される本体部、 音声出力をするためのス ピー力等の音声出力部 ex 2 0 8、 音声入力をするためのマイク等の音声 入力部 ex2 0 5、 撮影した動画もしくは静止画のデータ、 受信したメ一 ルのデータ、 動画のデータもしくは静止画のデータ等、 符号化されたデ —タまたは復号化されたデータを保存するための記録メディア ex 2 0 7 、 携帯電話 ex 1 1 5に記録メディア ex 2 0 7を装着可能とするためのス ロッ 卜部 ex 2 0 6を有している。 記録メディア ex 2 0 7は S Dカード等 のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモ リである E E P R O M (Electrical ly Erasable and Programmab I e Rea d Only Memory)の一種であるフラッシュメモリ素子を格納したものであ る。
さらに、 携帯電話 ex 1 1 5について図 3 2を用いて説明する。 携帯電 話 ex 1 1 5は表示部 ex 2 0 2及び操作キ一 e x 2 04を備えた本体部の 各部を統括的に制御するようになされた主制御部 ex 3 1 1 に対して、 電 源回路部 ex 3 1 0、 操作入力制御部 ex 3 04、 画像符号化部 ex 3 1 2、 カメラインタ一フェース部 ex3 0 3、 L C D (Liquid Crystal Display ) 制御部 ex3 0 2、 画像復号化部 ex3 0 9、 多重分離部 ex3 0 8、 記録 再生部 ex 3 0 7、 変復調回路部 ex 3 0 6及び音声処理部 ex 3 0 5が同期 バス ex 3 1 3を介して互いに接続されている。
電源回路部 ex3 1 0は、 ユーザの操作により終話及び電源キーがオン 状態にされると、 バッテリパックから各部に対して電力を供給すること によリカメラ付ディジタル携帯電話 ex 1 1 5を動作可能な状態に起動す る。
携帯電話 ex 1 1 5は、 C P U、 R O M及び R A M等でなる主制御部 ex 3 1 1 の制御に基づいて、 音声通話モード時に音声入力部 ex20 5で集 音した音声信号を音声処理部 ex3 0 5によってディジタル音声データに 変換し、 これを変復調回路部 ex3 0 6でスペク トラム拡散処理し、 送受 信回路部 ex 3 0 1 でディジタルアナログ変換処理及び周波数変換処理を 施した後にアンテナ ex 2 0 1 を介して送信する。 また携帯電話機 ex 1 1 5は、 音声通話モード時にアンテナ ex 2 0 1 で受信した受信データを増 幅して周波数変換処理及びアナログディジタル変換処理を施し、 変復調 回路部 ex 3 0 6でスぺク トラム逆拡散処理し、 音声処理部 ex 3 0 5によ つてアナログ音声データに変換した後、 これを音声出力部 ex 2 0 8を介 して出力する。
さらに、 データ通信モード時に電子メールを送信する場合、 本体部の 操作キー e X 204の操作によって入力された電子メールのテキス トデ —タは操作入力制御部 ex 3 0 4を介して主制御部 ex 3 1 1 に送出される 。 主制御部 ex 3 1 1 は、 テキス トデータを変復調回路部 ex3 0 6でスぺ ク トラ厶拡散処理し、 送受信回路部 ex 3 0 1 でディジタルアナログ変換 処理及び周波数変換処理を施した後にアンテナ ex 2 0 1 を介して基地局 ex 1 1 0へ送信する。
データ通信モード時に画像データを送信する場合、 カメラ部 ex 2 0 3 で撮像された画像データをカメラインターフェース部 ex 3 0 3を介して 画像符号化部 ex 3 1 2に供給する。 また、 画像データを送信しない場合 には、 カメラ部 ex 2 0 3で撮像した画像データをカメラインタ一フエ一 ス部 ex 3 0 3及び L C D制御部 ex 3 0 2を介して表示部 ex 2 0 2に直接 表示することも可能である。
画像符号化部 ex 3 1 2は、 本願発明で説明した画像符号化装置又は画 像復号化装置を備えた構成であり、 カメラ部 ex 2 0 3から供給された画 像データを上記実施の形態で示した画像符号化装置に用いた符号化方法 によって圧縮符号化することによリ符号化画像データに変換し、 これを 多重分離部 ex 3 0 8に送出する。 また、 このとき同時に携帯電話機 ex 1 1 5は、 カメラ部 ex 2 0 3で撮像中に音声入力部 ex 2 0 5で集音した音 声を音声処理部 ex 3 0 5を介してディジタルの音声データとして多重分 離部 ex 3 0 8に送出'する。
多重分離部 ex 3 0 8は、 画像符^化部 ex 3 1 2から供給された符号化 画像データと音声処理部 ex 3 0 5から供給された音声データとを所定の 方式で多重化し、 その結果得られる多重化データを変復調回路部 ex 3 0 6でスぺク トラム拡散処理し、 送受信回路部 ex 3 0 1 でディジタルアナ ログ変換処理及び周波数変換処理を施した後にアンテナ ex 2 0 1 を介し て送信する。
データ通信モード時にホームページ等にリンクされた動画像ファイル のデータを受信する場合、 アンテナ ex 2 0 1 を介して基地局 ex 1 1 0か ら受信した受信データを変復調回路部 ex 3 0 6でスぺク トラ厶逆拡散処 理し、 その結果得られる多重化データを多重分離部 ex 3 0 8に送出する また、 アンテナ ex 2 0 1 を介して受信された多重化データを復号化す るには、 多重分離部 ex 3 0 8は、 多重化データを分離することによリ画 像データのビッ トス トリ一厶と音声データのビッ トス トリームとに分け 、 同期バス ex 3 1 3を介して当該符号化画像データを画像復号化部 ex 3 0 9に供給すると共に当該音声データを音声処理部 ex 3 0 5に供給する 次に、 画像復号化部 ex 3 0 9は、 本願発明で説明した画像復号化装置 を備えた構成であり、 画像データのビッ トス トリームを上記実施の形態 で示した符号化方法に対応した復号化方法で復号することによリ再生動 画像データを生成し、 これを L C D制御部 ex 3 0 2を介して表示部 ex 2 0 2に供給し、 これにより、 例えばホームページにリ ンクされた動画像 ファイルに含まれる動画データが表示される。 このとき同時に音声処理 部 ex 3 0 5は、 音声データをアナログ音声データに変換した後、 これを 音声出力部 ex 2 0 8に供給し、 これによリ、 例えばホームページにリン クされた動画像ファイルに含まる音声データが再生される。
なお、 上記システムの例に限られず、 最近は衛星、 地上波によるディ ジタル放送が話題となつておリ、 図 3 3に示すようにディジタル放送用 システムにも上記実施の形態の画像符号化装置または画像復号化装置の いずれかを組み込むことができる。 具体的には、 放送局 ex 4 0 9では映 像情報のビッ トス トリームが電波を介して通信または放送衛星 ex 4 1 0 に伝送される。 これを受けた放送衛星 ex 4 1 0は、 放送用の電波を発信 し、 この電波を衛星放送受信設備をもつ家庭のアンテナ ex 4 0 6で受信 し、 テレビ （受信機） ex 4 0 1 またはセッ ト トツプポックス （ S T B ) e X 4 0 7などの装置によ リ ビッ トス トリ一ムを復号化してこれを再生す る。 また、記録媒体である GDや DVD等の蓄積メディァ ex4 0 2に記録した ビッ トス トリ一ムを読み取リ、 復号化する再生装置 ex 4 0 3にも上記実 施の形態で示した画像復号化装置を実装することが可能である。 この場 合、 再生された映像信号はモニタ ex4 0 4に表示される。 また、 ケープ ル亍レビ用のケーブル ex4 05または衛星 地上波放送のアンテナ ex4 0 6に接続されたセッ ト トツプポックス ex4 0 7内に画像復号化装置を 実装し、 これをテレビのモニタ ex 4 0 8で再生する構成も考えられる。 このときセッ ト トップボックスではなく、 テレビ内に画像復号化装置を 組み込んでも良い。また、アン亍ナ ex 4 1 1 を有する車 ex 4 1 2で衛星 e X4 1 0からまたは基地局 ex 1 0 7等から信号を受信し、車 ex 4 1 2が有 する力一ナビゲーシヨン ex 4 1 3等の表示装置に動画を再生することも 可能である。
更に、 画像信号を上記実施の形態で示した画像符号化装置で符号化し 、 記録媒体に記録することもできる。 具体例と しては、 DVDディスク e X 4 2 1 に画像信号を記録する DVDレコーダや 、一ドディスクに記録する ディスク レコーダなどのレコーダ e x4 2 0がある。更に SDカード e x 4 2 2に記録することもできる。 レコーダ e x 4 2 0が上記実施の形態で 示した画像復号化装置を備えていれば、 DVDディスク e x 4 2 1 や SD力一 ド e X 4 2 2に記録した画像信号を再生し、 モニタ e x 4 0 8で表示す ることができる。
なお、 力一ナピゲーション ex4 1 3の構成は例えば図 3 2に示す構成 のうち、 カメラ部 ex 20 3とカメラインタ一フェース部 ex 3 0 3、 画像 符号化部 ex3 1 2を除いた構成が考えられ、同様なことがコンピュータ e X 1 1 1 やテレビ （受信機） ex40 1 等でも考えられる。
また、 上記携帯電話 ex1 1 4等の端末は、 符号化器 ' 復号化器を両方 持つ送受信型の端末の他に、 符号化器のみの送信端末、 復号化器のみの 受信端末の 3通りの実装形式が考えられる。
このように、 上記実施の形態で示した画像符号化方法又は画像復号化 方法を上述したいずれの機器 ' システムに用いることは可能であり、 そ うすることで、 上記実施の形態で説明した効果を得ることができる。 また、 本発明はかかる上記実施形態に限定されるものではなく、 本発 明の範囲を逸脱することなく種々の変形または修正が可能である。 産業上の利用の可能性
本発明に係る画像符号化方法は、 迅速なランダムアクセスが可能な画 像符号化信号を圧縮効率の低下を防いで生成することができ、 ビデオ力 メラや録画機能付き携帯電話などの画像符号化装置と して適用できる。

Claims

1 . 画像信号に含まれる複数のピクチャのうち、 所定のピクチャを ェン 卜リ ピクチャと して他のピクチャを参照することなく符号化し、 ェ ントリ ピクチャ以外のピクチャを他の既に符号化されたピクチャを参照 して符号化して画像符号化一賓信号を生成する画像符号化方法であって、 前記画像信号を、 ェン トリ ピクチャを含む複数のピクチャからなるァ クセス単位で扱い、 の
処理すべき対象のァクセス単位におい锘て、 表示順で前記ェントリ ピク チヤよりも後にある後置ピクチャに対し、 符囲号化順でェン 卜 ピクチャ よりも前にあるピクチャと、 表示順でエントリ ピクチャよ 前にある 前置ピクチャであり、 符号化順でエン トリピクチャよりも fijのピクチャ を参照しているピクチャとを除く、 他のピクチャを参照する第 1 の参照 制限ステップと、
前記処理対象のァクセス単位の直後にあるアクセス単位において、 表 示順でェン トリ ピクチャよりも前にある前置ピクチャに対し 、 前記処理 対象のアクセス単位のェン トリ ピクチャよりも符号化順で刖にあるピク チヤと、 前記処理対象のアクセス単位の前置ピクチャであ て 、 前記処 理対象のアクセス単位のエン トリ ピクチャよりも符号化順で前のピクチ ャを参照しているピクチャとを除く、 他のピクチャを参照する第 2の参 照制限ステップと
を含むことを特徴とする画像符号化方法。
2 . 前記第 1 の参照制限ステップでは、
符号化順でエントリ ピクチャよりも前にあるピクチャと、 表示順でェ ントリ ピクチャよりも前にある前置ピクチャとを除く、 他のピクチャを 参照し、
前記第 2の參照制限ス亍ップでは、
前記処理対象のアクセス単位のェン トリ ピクチャよりも符号化順で前 にあるピクチャと、 前記処理対象のアクセス単位の前置ピクチャとを除 く、 他のピクチャを参照する
ことを特徴とする請求の範囲第 1 項記載の画像符号化方法。
3 . 前記画像符号化方法は、 さらに、
前記処理対象のアクセス単位を選択する選択ステップを含む ことを特徴とする請求の範囲第 2項記載の画像符号化方法。
4 . 前記画像符号化方法は、 さらに、
何れのアクセス単位を処理対象として前記第 1 及び第 2の参照制限ス テップを行つたかを示す参照構造情報を符号化する参照構造情報符号化 ステップと、
前記画像符号化信号中に、 符号化された参照構造情報を挿入する挿入 ステップと
を含むことを特徴とする請求の範囲第 3項記載の画像符号化方法。
5 . 前記画像符号化方法は、 さらに、
各アクセス単位ごとに、 当該アクセス単位を処理対象として前記第 1 及び第 2の参照制限ステップを行ったか否かを示す参照構造情報を符号 化する参照構造情報符号化ステップと、
前記画像符号化信号中の各アクセス単位に、 当該アクセス単位に対応 する前記参照構造情報を挿入する挿入ステップとを含む
ことを特徴とする請求の範囲第 3項記載の画像符号化方法。
6 . 前記画像符号化方法は、 さらに、
各アクセス単位ごとに、 当該アクセス単位を処理対象と して前記第 1 及び第 2の参照制限ステップを行ったか否かを示す参照構造情報を生成 する參照構造情報生成ステップと、
前記画像符号化信号に付随して、 前記参照構造情報生成ステツプで生 成された参照構造情報を出力する参照構造情報出力ステップとを含む ことを特徴とする請求の範囲第 3項記載の画像符号化方法。
7 . 前記画像符号化方法は、 さらに、
前記画像符号化信号中の各アクセス単位に、 当該アクセス単位に対応 する前記参照構造情報を識別するための識別情報を符号化して挿入する 符号化揷入ス亍ップを含む
ことを特徴とする請求の範囲第 6項記載の画像符号化方法。
8 . 前記画像符号化方法は、 さらに、
各アクセス単位ごとに、 当該アクセス単位に含まれる各ピクチャの参 照範囲を示す参照構造情報を符号化する参照構造情報符号化ステップと、 前記画像符号化信号中の各アクセス単位に、 当該アクセス単位に対応 する前記参照構造情報を挿入する挿入ステップとを含む
ことを特徴とする請求の範囲第 3項記載の画像符号化方法。
9 . 前記画像符号化方法は、 さらに、
各アクセス単位ごとに、 当該アクセス単位に含まれる各後置ピクチャ の参照範囲と、 当該アクセス単位の直後にあるアクセス単位に含まれる 各前置ピクチャの参照範囲とを示す参照構造情報を符号化する参照構造 符号化ステツプと、
前記画像符号化信号中の各アクセス単位に、 当該アクセス単位に対応 する前記参照構造情報を挿入する挿入ステップとを含む
ことを特徴とする請求の範囲第 3項記載の画像符号化方法。
1 0 . 画像信号に含まれる複数のピクチャのうち、 所定のピクチャ をエン トリ ピクチャとして他のピクチャを参照することなく符号化し、 ェン トリ ピクチャ以外のピクチャを他の既に符号化されたピクチャを参 照して符号化する画像符号化方法により生成された画像符号化信号であ つて、
前記画像符号化方法は、
前記画像信号を、 ェン トリ ピクチャを含む複数のピクチャからなるァ クセス単位で扱い、
処理すべき対象のアクセス単位において、 表示順で前記ェン トリ ピク チヤよりも後にある後置ピクチャに対し、 符号化順でエントリ ピクチャ よりも前にあるピクチャと、 表示順でエントリ ピクチャよりも前にある 前置ピクチャであり、 符号化順でェントリ ピクチャよりも前のピクチャ を参照しているピクチャとを除く、 他のピクチャを参照する第 1 の参照 制限ステップと、
前記処理対象のアクセス単位の直後にあるアクセス単位において、 表 示順でェントリ ピクチャよりも前にある前置ピクチャに対し、 前記処理 対象のアクセス単位のェン トリ ピクチャよりも符号化順で前にあるピク チヤと、 前記処理対象のアクセス単位の前置ピクチャであって、 前記処 理対象のアクセス単位のェン トリ ピクチャよりも符号化順で前のピクチ ャを参照しているピクチャとを除く、 他のピクチャを参照する第 2の参 照制限ステップと を含むことを特徴とする画像符号化信号。
1 1 . 前記画像符号化信号には、
何れのアクセス単位を処理対象として前記第 1及び第 2の参照制限ス テツプを行つたかを示す参照構造情報が含まれている
ことを特徴とする請求の範囲第 1 0項記載の画像符号化信号。
1 2 . 前記画像符号化信号には、
各アクセス単位ごとに、 当該アクセス単位を処理対象として前記第 1 及び第 2の参照制限ステップを行ったか否かを示す参照構造情報が含ま れている
ことを特徴とする請求の範囲第 1 0項記載の画像符号化信号。
1 3 . 前記画像符号化信号には、
各アクセス単位ごとに、 当該アクセス単位を処理対象と して前記第 1 及び第 2の参照制限ステップを行ったか否かを示す参照構造情報を識別 するための識別情報が含まれている
ことを特徴とする請求の範囲第 1 0項記載の画像符号化信号。
1 4 . 前記画像符号化信号には、
各アクセス単位ごとに、 当該アクセス単位に含まれる各ピクチャの参 照範囲を示す参照構造情報が含まれている
ことを特徴とする請求の範囲第 1 0項記載の画像符号化信号。
1 5 . 前記画像符号化信号には、
各アクセス単位ごとに、 当該アクセス単位に含まれる各後置ピクチャ の参照範囲と、 当該アクセス単位の直後にあるアクセス単位に含まれる 各前置ピクチャの参照範囲とを示す参照構造情報が含まれている
ことを特徴とする請求の範囲第 1 0項記載の画像符号化信号。
1 6 . 画像信号に含まれる複数のピクチャのうち、 所定のピクチャ をエントリ ピクチャとして他のピクチャを参照することなく符号化し、 ェン トリ ピクチャ以外のピクチャを他の既に符号化されたピクチャを参 照して符号化して画像符号化信号を生成するためのプログラムであって、 前記画像信号を、 エン トリ ピクチャを含む複数のピクチャからなるァ クセス単位で扱い、
処理すべき対象のアクセス単位において、 表示順で前記ェン トリ ピク チヤよりも後にある後置ピクチャに対し、 符号化順でエン トリ ピクチャ よりも前にあるピクチャと、 表示順でエン トリ ピクチャよりも前にある 前置ピクチャであり、 符号化順でエン トリ ピクチャよりも前のピクチャ を参照しているピクチャとを除く、 他のピクチャを参照する第 1 の参照 制限ステップと、
前記処理対象のアクセス単位の直後にあるアクセス単位において、 表 示順でェン卜リ ピクチャよりも前にある前置ピクチャに対し、 前記処理 対象のアクセス単位のェン トリ ピクチャよりも符号化順で前にあるピク チヤと、 前記処理対象のアクセス単位の前置ピクチャであって、 前記処 理対象のアクセス単位のェントリ ピクチャよりも符号化順で前のピクチ ャを参照しているピクチャとを除く、 他のピクチャを参照する第 2の参 照制限ステップと
をコンピュータに実行させることを特徴とするプログラム。 画像信号に含まれる複数のピクチャのうち、 所定のピクチャ をエン トリ ピクチャとして他のピクチャを参照することなく符号化し、 エントリ ピクチャ以外のピクチャを他の既に符号化さ; たピクチャを参 照して符号化して画像符号化信号を生成するためのプログラムを格納す る記憶媒体であって、
前記プログラムは、
前記画像信号を、 エントリ ピクチャを含む複数のピクチャからなるァ クセス単位で扱い、
処理すべき対象のアクセス単位において、 表示順で前記エントリ ピク チヤよリも後にある後置ピクチャに対し、 符号化順でェン トリ ピクチャ よりも前にあるピクチャと、 表示順でエントリ ピクチャよりも前にある 前置ピクチャであり、 符号化順でェン トリ ピクチャよりも前のピクチャ を参照しているピクチャとを除く、 他のピクチャを参照する第 1 の参照 制限ステップと、
前記処理対象のアクセス単位の直後にあるアクセス単位において、 表 示順でエントリ ピクチャよりも前にある前置ピクチャに対し、 前記処理 対象のアクセス単位のェン トリ ピクチャよ yも符号化順で前にあるピク チヤと、 前記処理対象のアクセス単位の前置ピクチャであって、 前記処 理対象のアクセス単位のェン トリ ピクチャよりも符号化順で前のピクチ ャを参照しているピクチャとを除く、 他のピクチャを参照する第 2の参 照制限ス亍ップとをコンピュータに実行させる
ことを特徴とする記憶媒体。
1 8 . 画像信号に含まれる複数のピクチャのうち、 所定のピクチャ をェン トリ ピクチャとして他のピクチャを参照することなく符号化し、 ェン トリ ピクチャ以外のピクチャを他の既に符号化されたピクチャを参 照して符号化して画像符号化信号を生成する画像符号化装置であって、 前記画像信号を、 ェン トリ ピクチャを含む複数のピクチャからなるァ クセス単位で极ぃ、
処理すべき対象のアクセス単位において、 表示順で前記エントリピク チヤよリも後にある後置ピクチャに対し、 符号化順でェン トリ ピクチャ よりも前にあるピクチャと、 表示順でエントリ ピクチャよりも前にある 前置ピクチャであリ、 符号化順でェン トリ ピクチャよりも前のピクチャ を参照しているピクチャとを除く、 他のピクチャを参照する第 1 の参照 制限手段と、
前記処理対象のァクセス単位の直後にあるアクセス単位において、 表 示順でェン 卜リ ピクチャよリも前にある前置ピクチャに対し 、 前記処理 対象のァクセス単位のェン 卜リ ピクチャよりも符号化順で前にあるピク チャと、 前記処理対象のァクセス単位の前置ピクチャであつて 、 前記処 理対象のァクセス単位のェントリピクチャよりも符号化順で前のピクチ ャを しているピクチャとを除く、 他のピクチャを参照する第 2の参 照制限手段と
を備えることを特徴とする画像符号化装置。
1 9 . 前記第 1 の参照制限手段は、
符号化順でェン トリ ピクチャよりも前にあるピクチャと、 表示順でェ ン トリ ピクチャよりも前にある前置ピクチャとを除く、 他のピクチャを 参照し、
前記第 2の参照制限手段は、
前記処理対象のアクセス単位のエントリ ピクチャよりも符号化順で前 にあるピクチャと、 前記処理対象のアクセス単位の前置ピクチャとを除 く、 他のピクチャを参照する
ことを特徴とする請求の範囲第 1 8項記載の画像符号化装置。
PCT/JP2004/000275 2003-01-20 2004-01-16 画像符号化方法 WO2004066636A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP20040702796 EP1589768A1 (en) 2003-01-20 2004-01-16 Image encoding method
US10/528,152 US20060153463A1 (en) 2003-01-20 2004-01-16 Image encoding method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003010551 2003-01-20
JP2003-010551 2003-01-20

Publications (1)

Publication Number Publication Date
WO2004066636A1 true WO2004066636A1 (ja) 2004-08-05

Family

ID=32767258

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/000275 WO2004066636A1 (ja) 2003-01-20 2004-01-16 画像符号化方法

Country Status (6)

Country Link
US (1) US20060153463A1 (ja)
EP (1) EP1589768A1 (ja)
JP (1) JP2004248265A (ja)
KR (1) KR20050090377A (ja)
CN (1) CN1739299A (ja)
WO (1) WO2004066636A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4708821B2 (ja) * 2005-03-17 2011-06-22 キヤノン株式会社 動画像符号化装置及びその制御方法、コンピュータプログラム及び記憶媒体
JP4574530B2 (ja) * 2005-12-05 2010-11-04 キヤノン株式会社 画像符号化装置及び画像符号化方法
JP4795211B2 (ja) * 2005-12-05 2011-10-19 キヤノン株式会社 画像符号化装置、画像符号化装置の制御方法、プログラム並びに記憶媒体
KR20090009847A (ko) * 2006-05-03 2009-01-23 텔레폰악티에볼라겟엘엠에릭슨(펍) 미디어 표현으로부터 미디어를 재구성하기 위한 방법 및 장치
JP5023739B2 (ja) * 2007-02-28 2012-09-12 ソニー株式会社 画像情報符号化装置及び符号化方法
JP2011199396A (ja) 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
JP5341952B2 (ja) 2011-05-30 2013-11-13 株式会社東芝 ビデオサーバ及びデータ収録再生方法
US9979958B2 (en) * 2012-04-20 2018-05-22 Qualcomm Incorporated Decoded picture buffer processing for random access point pictures in video sequences
US9654802B2 (en) * 2012-09-24 2017-05-16 Qualcomm Incorporated Sequence level flag for sub-picture level coded picture buffer parameters
JP2014150384A (ja) * 2013-01-31 2014-08-21 Toshiba Corp 動画像符号化装置及び動画像符号化方法
US9674533B2 (en) * 2013-04-05 2017-06-06 Qualcomm Incorporated Picture alignments in multi-layer video coding
US10003815B2 (en) 2013-06-03 2018-06-19 Qualcomm Incorporated Hypothetical reference decoder model and conformance for cross-layer random access skipped pictures
JP5753595B2 (ja) * 2014-01-30 2015-07-22 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
JP5977852B2 (ja) * 2015-03-16 2016-08-24 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
JP6229023B2 (ja) * 2016-07-22 2017-11-08 株式会社Ｎｔｔドコモ 動画像予測復号方法及び動画像予測復号装置
US10602180B2 (en) 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
JP2018026872A (ja) * 2017-10-16 2018-02-15 株式会社Ｎｔｔドコモ 動画像予測復号方法及び動画像予測復号装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001169278A (ja) * 1999-12-06 2001-06-22 Sony Corp ストリーム生成装置および方法、ストリーム伝送装置および方法、符号化装置および方法、並びに記録媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7075991B1 (en) * 1993-01-18 2006-07-11 Sony Corporation Apparatus for encoding and decoding header data in picture signal transmission
US7558324B2 (en) * 1993-01-18 2009-07-07 Sony Corporation Apparatus for encoding and decoding header data in picture signal transmission
WO2001082610A1 (en) * 2000-04-21 2001-11-01 Sony Corporation Information processing apparatus and method, program, and recorded medium
US6980594B2 (en) * 2001-09-11 2005-12-27 Emc Corporation Generation of MPEG slow motion playout

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001169278A (ja) * 1999-12-06 2001-06-22 Sony Corp ストリーム生成装置および方法、ストリーム伝送装置および方法、符号化装置および方法、並びに記録媒体

Also Published As

Publication number Publication date
EP1589768A1 (en) 2005-10-26
JP2004248265A (ja) 2004-09-02
KR20050090377A (ko) 2005-09-13
CN1739299A (zh) 2006-02-22
US20060153463A1 (en) 2006-07-13

Similar Documents

Publication Publication Date Title
JP4763663B2 (ja) 動画像符号化方法
JP4348209B2 (ja) 画像符号化方法および画像復号化方法
JP4749516B2 (ja) 復号化システム
JP5355807B2 (ja) 符号化データ配信方法および配信システム
WO2004012459A1 (ja) 動画像符号化方法、動画像復号化方法および記録媒体
WO2004066636A1 (ja) 画像符号化方法
KR20050088918A (ko) 동화상 부호화 방법 및 동화상 복호화 방법
JP4230289B2 (ja) 動画像符号化方法および動画像復号化方法
JP2004242286A (ja) 動画像符号化方法および動画像復号化方法
JP4481612B2 (ja) 画像復号化装置及びその方法
JP4481970B2 (ja) 画像符号化装置及びその方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
ENP Entry into the national phase

Ref document number: 2006153463

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2004702796

Country of ref document: EP

Ref document number: 10528152

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1020057007142

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 20048025075

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 1020057007142

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2004702796

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 10528152

Country of ref document: US

WWW Wipo information: withdrawn in national office

Ref document number: 2004702796

Country of ref document: EP