WO2004004357A1 - 動画像の符号化方法、復号化方法、データストリーム、データ記録媒体およびプログラム - Google Patents

動画像の符号化方法、復号化方法、データストリーム、データ記録媒体およびプログラム Download PDF

Info

Publication number
WO2004004357A1
WO2004004357A1 PCT/JP2003/006724 JP0306724W WO2004004357A1 WO 2004004357 A1 WO2004004357 A1 WO 2004004357A1 JP 0306724 W JP0306724 W JP 0306724W WO 2004004357 A1 WO2004004357 A1 WO 2004004357A1
Authority
WO
WIPO (PCT)
Prior art keywords
picture
pictures
coded
inter
encoding
Prior art date
Application number
PCT/JP2003/006724
Other languages
English (en)
French (fr)
Inventor
Kiyofumi Abe
Shinya Kadono
Satoshi Kondo
Makoto Hagai
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to AU2003241877A priority Critical patent/AU2003241877A1/en
Priority to US10/500,291 priority patent/US20050117642A1/en
Publication of WO2004004357A1 publication Critical patent/WO2004004357A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to a moving picture coding method and a moving picture decoding method, and in particular, to a coding method and a decoding method using a B picture that performs predictive coding with reference to a plurality of already coded pictures. It is about. Background art
  • inter-picture predictive coding aimed at reducing temporal redundancy
  • motion detection and motion compensation are performed on a block-by-block basis with reference to the forward or backward picture, and the obtained predicted image and the current Is encoded with respect to the difference value with respect to the picture.
  • FIG. 5 is a diagram showing an example of a reference relationship between the above-mentioned encoding target picture and a picture referred to by the encoding target picture.
  • Picture I 1 has no reference picture and performs intra-picture predictive coding.
  • the picture P10 performs inter-picture predictive coding with reference to P7 that is ahead in time.
  • picture B 6 refers to the two pictures that are temporally forward
  • picture B 12 refers to the two pictures that are temporally backward
  • picture B 18 refers to the pictures that are temporally forward and backward.
  • Inter-picture predictive coding is performed with reference to one picture each.
  • FIG. 6 (a) shows the order of pictures to be displayed
  • FIG. 6 (b) shows the order of pictures to be coded.
  • the decoding device sequentially decodes the input code sequence in the order as shown in Fig. 6 (b), but displays it according to the time axis in Fig. 6 (a). It is necessary to rearrange the decoded pictures in such an order. Again, decoding P64 later in time than B63 to display B63 will cause a delay when B63 is displayed.
  • a word delay mode has been defined as a countermeasure for the delay associated with the above rearrangement. This is because, as shown in FIG. 7, B-pictures may be referred to backward during encoding and decoding, so that pictures are not rearranged by not using B-pictures. It implements encoding and decoding (for example, see Non-Patent Document 1).
  • Non-Patent Document 1 nS (IEG 13818-2, Information technology-Generic coding of moving pictures and associated audio information: Videoj (May 15, 1996)), P.150 D.5 Low delay mode
  • an object of the present invention is to enable encoding and decoding of a moving image with a minimum delay while using B pictures. Disclosure of the invention
  • an encoding method includes an I picture to be encoded by intra-picture prediction encoding, and a picture to be encoded being forward or backward in display order.
  • the encoding is performed using a B picture that performs predictive encoding with reference to only the picture in the display order ahead of the encoding target picture, the input image is not rearranged in the display order. It becomes possible to encode.
  • the decoding method includes a method of encoding an I picture encoded by intra-picture prediction encoding and a picture encoded by inter-picture prediction encoding referring to a picture located in a forward or backward direction in display order.
  • a decoding method for decoding an inter prediction coding picture comprising: receiving an identification signal indicating whether or not the picture rearrangement is necessary and a signal of the picture; and A step of determining whether rearrangement is necessary or not indicating that rearrangement of pictures is unnecessary; and when it is determined that rearrangement of pictures is unnecessary, the pictures are received in the order received. Is decoded and output.
  • the received picture signal is decoded and the picture is displayed. And a step of outputting rearranges the picture.
  • decoding is performed using only B pictures that refer to only pictures that are in the display order ahead of the picture to be decoded and are decoded using B pictures, so images input in display order are not rearranged. Can be decoded.
  • decoding method, data stream, data recording medium, and program of the present invention have the same configuration, operation, and effect as described above.
  • the status stream of the present invention may have any one of the following configurations (1) to (3).
  • the display time is calculated based on the B picture that performs predictive encoding by referring only to the picture in the display time order ahead of the picture to be coded and the I picture that performs intra-screen predictive coding and the picture to be coded.
  • the identification signal is coded, and is coded when a B picture is used to perform motion prediction with reference to a picture located backward from the picture to be coded in the order of the display time among the B pictures.
  • a data stream in which an identification signal indicating that the encoded picture needs to be rearranged in decoding the decoded picture is encoded.
  • the image encoding method of the present invention may have any one of the following configurations (4) and (5).
  • An image encoding method in which an I-picture to be subjected to intra-picture predictive encoding and a picture to be subjected to predictive encoding by referring only to a picture located in the display time order ahead of the picture to be encoded Receiving an instruction indicating encoding using a picture composed of a combination of the following: receiving the instruction, outputting an identification signal indicating that picture rearrangement is unnecessary; Receiving the identification signal together with the identification signal in the order of the display time without rearranging only the pictures composed of the combination.
  • An image encoding method comprising: B picture that performs predictive encoding by referring to only the picture in the forward direction in the order of display time, I picture that performs intra-frame predictive encoding, and the picture to be encoded Receiving an instruction indicating that encoding is to be performed using a picture composed of a combination of a P picture and predictive encoding performed with reference to only one picture in the forward direction in the order of the indicated time; Receiving an instruction and outputting an identification signal indicating that the rearrangement of pictures is unnecessary; and receiving the instruction and displaying only the B picture, the I picture and the P picture without rearranging the pictures. Encoding with the identification signal in the order of time. Further, the image decoding method of the present invention may have any one of the following configurations (6) and (7).
  • An image decoding method comprising the steps of: receiving an identification signal indicating whether or not the picture rearrangement is necessary and unnecessary; and a picture signal, and the identification signal requires that the picture rearrangement be performed. Or whether it indicates that the rearrangement of pictures is unnecessary. If the identification signal is an identification signal indicating that rearrangement of pictures is unnecessary, A picture signal is decoded and output. When the identification signal is an identification signal indicating that the picture needs to be rearranged, the received picture signal is decoded and the pictures are displayed in the order in which the pictures are displayed. Rearranging and outputting the pictures.
  • the program recording medium of the present invention stores a program for causing a computer to execute the image encoding method described in (3) or (4) or the decoding method described in (6) or (7). It may be a recording medium.
  • the process of changing the order of the pictures input to the encoding device can be omitted, and the time delay due to the encoding process can be minimized. Furthermore, the amount of encoding processing can be reduced, and the load on the encoding device can be reduced.
  • FIG. 1 is a block diagram for explaining an encoding operation according to the first embodiment of the present invention.
  • FIG. 2 is a block diagram for explaining a decoding operation according to the second embodiment of the present invention.
  • FIG. 3 is a schematic diagram for explaining a method of adding a prediction direction restriction identification signal to a header area.
  • FIG. 4 is a diagram showing the correspondence between the prediction direction restriction identification number and the available pictures.
  • FIG. 5 is a schematic diagram for explaining a reference relationship between pictures in a conventional example.
  • FIG. 6 is a schematic diagram for explaining the rearrangement of pictures.
  • FIG. 7 is a schematic diagram for explaining a conventional reference relationship in the case where restriction is made only to the front.
  • FIG. 8 is a schematic diagram for explaining a reference relationship of the present invention when restricted only to the front.
  • FIG. 9 is a flowchart for explaining the outline of the flow of the encoding process.
  • FIG. 10 is a flowchart for explaining the outline of the flow of the decoding process.
  • Fig. 11 is a schematic diagram showing a comparison of the effects of restricting the prediction.
  • FIG. 12 is a diagram illustrating an output procedure to the code sequence generation unit.
  • FIG. 13 is a flowchart for explaining the outline of the flow of the decoding process.
  • FIG. 14 is a diagram showing the correspondence between the prediction direction restriction identification signal and the usable pictures.
  • Figure 15 shows the picture common information area in which the prediction direction restriction identification signal is set. twenty four
  • FIG. 1 A first figure.
  • FIG. 16 is a schematic diagram for describing a data recording medium according to Embodiment 4 of the present invention.
  • FIG. 17 is a block diagram showing an overall configuration of a content supply system that realizes a content distribution service according to the present invention.
  • FIG. 18 is a diagram showing an example of the mobile phone according to the present invention.
  • FIG. 19 is a block diagram showing a configuration of the mobile phone.
  • FIG. 20 is a diagram showing a configuration of a digital broadcasting system according to the present invention.
  • the prediction direction restriction instruction unit 109 receives an external instruction and controls a reference method when performing inter-picture prediction.
  • a reference method when using a B picture in inter-picture prediction 1) refer to the two preceding pictures as shown in B6 in Fig. 5; It is possible to refer to two pictures at the back as shown in 12 or 3 to refer to one picture at the front and one picture at the back as shown in B18 in Fig. 5.
  • the prediction mode include a forward two-prediction prediction mode, a rear two-prediction reference prediction mode, and a forward / backward simultaneous reference prediction mode.
  • the prediction direction restriction instructing unit 109 restricts only the temporally forward picture to be referenced, the temporally backward picture is referred to in the encoding of the B picture. No prediction mode is selected.
  • a usable picture shown in FIG. 4A or FIG. 4B is determined by the input instruction. In the following, For simplicity, it is assumed that the identification numbers shown in Fig. (A) or (b) are input as instructions.
  • the input instruction (identification number) is output from the prediction direction restriction instruction unit 109 to the frame memory 101, the code string generation unit 103, and the motion vector detection unit 106.
  • the moving image to be encoded is input to the frame memory 101 in units of pictures in the order of display. If the prediction direction is not restricted by the prediction direction restriction instructing unit 109, the pictures are rearranged in the frame memory 101 in the order of encoding. Also, if only the picture that is temporally forward is restricted to be referenced, no reordering is performed.
  • the case where only the temporally forward picture is referred to means that the B picture uses only the B picture that refers to the two forward pictures as shown in B6 in Fig. 5, or This is the case where no picture is used.
  • Each picture is divided into blocks called, for example, macroblocks of 16 pixels in the horizontal direction and 16 pixels in the vertical direction, and the subsequent processing is performed in block units.
  • the macro block read from the frame memory 101 is input to the motion vector detector 106.
  • the motion vector of the macroblock to be encoded is detected. Images are stored in the frame memory 105 in the following steps. First, a signal is input from the prediction residual encoding unit 102 to the prediction residual decoding unit 104. The signal input to the prediction residual decoding unit 104 and the prediction image obtained by the motion compensation coding unit 107 are added in the addition operation unit 111, and the added signal is used for reference. The image is saved in the frame memory 105. Note that, when performing intra-picture prediction encoding, the above-described motion compensation is not required, so that the switches 113 are disconnected.
  • the motion compensation coding unit 107 stores the motion vector in the motion vector storage unit 108.
  • a predicted image is generated using the motion vector used for the coded picture and the coded picture stored in the frame memory 105. Further, the differential motion vector is input from the motion compensation encoding unit 107 to the code sequence generation unit 103.
  • FIG. 8 shows the reference relationship between the pictures when the current picture to be coded does not refer to a temporally backward picture.
  • each picture is encoded in the order in which it is displayed.
  • All B pictures included in the sequence are predictively coded with reference to one or more coded pictures that are temporally forward. Therefore, Ri by the the use of B-picture, it becomes possible to perform efficient coding than conventional Lodi Reimo de using only I pictures and P pictures t Ugokibeku torr detector 1
  • the predicted image determined by the motion vector obtained in step 06 is input to the difference calculation unit 110, and the difference from the macroblock to be encoded is calculated to generate a re-predicted residual image.
  • the prediction residual encoding unit 102 performs encoding.
  • the above processing flow is the operation when the inter-picture prediction coding is selected.
  • the switch to the intra-picture prediction coding is performed by the switch 112.
  • the switches 113 are also cut at the same time.
  • control information such as the motion vector and the image information output from the prediction residual coding unit 102 are subjected to variable-length coding by the code string generation unit 103 and finally output.
  • a code sequence is generated.
  • the identification number shown in FIG. 4 (a) or FIG. 4 (b) specified by the prediction direction restriction instructing section 109 as shown in FIG. 3 (a) is used as the prediction direction restriction identification signal 31. It is added to the header area of the sequence to be encoded.
  • the prediction direction restriction identification signal 31 is added to the sequence header, the restriction on the prediction direction is applied to the entire video sequence to be encoded. Note that 32, 3 in Fig. 3 (b) By adding the identification number shown in FIG. 4 (a) or FIG.
  • the prediction direction can be set for each GOP. It is also possible to switch the restriction.
  • the signal to be added as the prediction direction restriction identification signal is determined with reference to the table shown as an example in Fig. 4 (a). According to the example shown in Fig. 4 (a), when the prediction direction is not restricted, the identification number "0" is used. If used, identification number "1" is selected. Also, instead of using the table of only two items shown in Fig. 4 (a) as the prediction direction restriction identification signal, it is also possible to use a table of three items as shown in Fig. 4 (b). It is possible. Here, in addition to the two items in Fig.
  • the identification number “1” is used to avoid the occurrence of delay while minimizing the decrease in coding efficiency
  • the identification number “2” is used to avoid the occurrence of delay while giving priority to reducing the processing amount.
  • J it is possible to use it properly whenever it is.
  • the external instruction to the prediction direction control instruction unit 109 should be determined after considering the processing amount, efficiency, and delay appropriate for the video to be encoded.
  • the processing amount is rarely the case where only I-pictures and P-pictures are used, and the coding efficiency is often the case where all picture types are used.
  • the identification number shown in FIG. 4 (a) is input to the prediction direction control instruction unit 109.
  • An example of the flow of processing in the encoding method shown in FIG. 1 when this is performed will be described with reference to FIG. 9 (a).
  • the operation mode corresponding to the identification number is selected at E2-a. If the identification number is "0", the image is fetched from the frame memory 101 (E3). If the captured image is to be encoded as a B-picture, the image is further captured (E3). When an image to be encoded by a method other than the B picture is acquired, the plurality of acquired images are rearranged in the encoding order (E5). As an example, consider the case of encoding an image sequence as shown in Fig. 6 (a). First, I-picture I61 is directly encoded.
  • FIG. 6B shows a sequence of pictures rearranged in the encoding order.
  • the encoding is performed in the order rearranged in E6. If all the encoding is completed by the encoding in E6, the encoding is terminated, and if the encoding is not completed, the process returns to E3 and repeats the steps from E3 to E7.
  • FIG. 8 shows an example of a picture sequence at that time. All B pictures such as B82 and B83 in this picture sequence are pictures that refer only to the front. Then, similarly to E7, if all the encoding is completed by the encoding in E9, the encoding ends, and if the encoding is not completed, the process returns to E8 and the above E8 to E1 Repeat steps up to 0. Next, the identification number shown in FIG. 4 (b) is input to the prediction direction control instruction unit 109. The flow of processing in the encoding method when this is the case will be described with reference to FIG. However, steps that perform the same processing as in FIG.
  • FIG. 9 (b) The difference between FIG. 9 (b) and FIG. 9 (a) in the processing flow of FIG. 9 (b) is that in FIG. This is the point that there are processing steps E11, E12, and E13 as operation modes corresponding to different identification numbers "2J.
  • Fig. 4 (b) the operation corresponding to the identification number ⁇ 2J Since the mode is coded using only I and P pictures, after fetching images in E 11, only E and P pictures are coded in E 12 without rearranging the fetched images.
  • An example of a picture sequence at that time is shown in Fig. 7. It can be seen that this picture sequence consists only of I and P pictures that refer to the front. Even if it is input artificially from outside, it is set in advance and processed as hardware. May be input indirectly by software, or either.
  • the signal input to the code sequence generation unit 103 is the procedure shown in FIG. Obey.
  • the input identification number ⁇ 0 ⁇ ⁇ 1 is output to the code string generation unit 103 as it is. That is, the identification numbers input to the prediction direction restriction instructing unit 109 are directly input to the prediction direction restriction identification signals 31, 32, and 33 in FIG.
  • the identification number input to the prediction direction restriction instruction unit 109 is the prediction direction restriction identification signal 3 shown in FIG. Enter 1, 3 2, 3 3 as it is.
  • FIG. 12 (c) shows a processing procedure when the identification number of FIG. 4 (a) is input to the prediction direction restriction instruction unit 109.
  • the identification number input to the prediction direction restriction instructing section 109 determines whether or not sorting is necessary. If sorting is necessary, ⁇ 0 J is added. If no replacement is necessary, ⁇ 1 j is output. Similarly, as shown in FIG.
  • the identification number input to the prediction direction restriction instructing section 109 is determined as to whether or not rearrangement is necessary, and the input identification number is “0”. In this case, "0" is output because sorting is required.
  • the input identification numbers are ⁇ 1 ”and ⁇ 2”, rearrangement is unnecessary because the pictures that are referenced backward are not handled, and ⁇ 1 ”having the meaning that this rearrangement is unnecessary is output. .
  • the signal output from the prediction direction restriction instructing unit 109 to the code sequence generating unit 103 determines whether the signal needs to be rearranged or not, as shown in FIG. 14 (c). It is sufficient to use only the information of (1), and the bit amount can be reduced. In particular, when the number of identification numbers is large, it is effective because only two judgments, whether sorting is necessary or not, are meaningful.
  • the average picture of two reference pictures can be used as a prediction picture, so that even if two pictures are temporally forward, coding efficiency may be improved.
  • the motion compensation in the above embodiment is based on the assumption that motion vector information of a picture to be coded is used, but a picture to be coded called a direct mode is called a direct mode.
  • a direct mode is called a direct mode.
  • the indicated coding method can be used.
  • the coding efficiency is further improved compared to the case of B pictures that use a prediction mode other than the direct mode. It is possible to improve.
  • a normal B-picture that performs motion compensation forward and backward is effective for a moving image when multiple objects overlap and appear and disappear, but almost the same effect is obtained when a B-picture that performs motion compensation only in the forward direction is used. It is possible to get.
  • a weighted average of each pixel value is used to calculate a moving image in which the brightness of the entire screen, such as a fade, changes.
  • efficient coding can be performed.
  • the process of changing the order of the pictures input to the encoding device can be omitted, and the time delay due to the encoding process can be minimized. Can be suppressed.
  • the delay in the encoding process is mainly determined by the delay in rearranging the order of the pictures, so that reducing the delay in the rearrangement is significant. (Embodiment 2)
  • a video decoding method according to Embodiment 2 of the present invention will be described with reference to the block diagram shown in FIG. In the following description, it is assumed that a code string generated by the moving picture coding method according to the first embodiment is input. However, a code string having the same data structure may be used. It does not have to be a code string generated by the image coding method.
  • a code sequence analyzer 201 First, various information such as motion vector information and prediction residual coded data is extracted from the input code sequence by a code sequence analyzer 201. At the same time, it is assumed that information on the prediction direction when performing inter-picture prediction is extracted from the header area as a prediction direction restriction identification signal.
  • Fig. 3 (a) shows a coded sequence when the prediction direction restriction identification signal 31 is added to the sequence header. It is shown. Also, it is possible to handle the case where it is added to the header area of the GOP as shown at 32 and 33 in Fig. 3 (b). At this time, depending on which of the encoding methods shown in FIGS. 12 (a) to 12 (d) was used, the corresponding encoding is shown in FIG. 4 (a) or FIG. 4 (b). It is assumed that an identification number is added as the prediction direction restriction identification signal.
  • the identification number extracted by the code string analyzer 201 is sent to the prediction direction restriction instructing unit 206, the motion vector information (difference motion vector) is sent to the motion compensation decoding unit 204, and the prediction residual encoded data is sent to the motion compensation decoding unit 204.
  • the prediction direction restriction instructing unit 206 determines whether the identification number extracted by the code string analyzer 201 is an identification number that indicates whether picture rearrangement is necessary or unnecessary. Then, information indicating whether or not the picture rearrangement is necessary is input to the frame memory 203.
  • the motion compensation decoding unit 204 uses the decoded image of the decoded picture stored in the frame memory 203 as a reference picture, and receives the input motion vector information or the motion vector storage unit 2 A predicted image is generated based on the motion vector information stored in 05. In addition, when it is restricted so that only the picture that is temporally forward is referred to, the motion compensation decoding unit 204 predicts the prediction mode that refers to the picture that is temporally backward in decoding the B picture. When the user tries to refer to the error code, the prediction direction restriction instructing unit 206 may issue an error detection or error correction instruction.
  • the generated predicted image is input to the addition operation unit 207, and the addition to the prediction residual image generated by the prediction residual decoding unit 202 is performed by the addition operation unit 207.
  • a decoded image is generated. If the prediction direction is not restricted by the prediction direction restriction instruction unit 206, for example, if the identification number shown in FIG. 4 (a) or FIG. 4 (b) is "0", the generated decoding The pictures are rearranged in the order in which they are displayed in the frame memory 203. Meanwhile, time If only the picture in front of the target is restricted to be referenced, for example, if the identification number shown in Fig. 4 (a) or 4 (b) is ⁇ 1 J or shown in Fig.
  • the prediction direction restriction signal in the signal of the code string input to the code string analysis unit 201 is the case where the identification number shown in FIG. 4 (b) is “0”, and the identification numbers are ⁇ 1 J and ⁇
  • a control signal indicating that rearrangement is necessary is input to the prediction direction control instruction section 206 in the former, and a prediction signal in the latter case.
  • a control signal indicating that there is no need to sort is input to 206.
  • the decoding procedure when the prediction direction restriction identification number is encoded according to the procedure in FIG. 12 (a) will be described using FIG. 10 (a).
  • the identification numbers ⁇ 0 ”J1J correspond to the identification numbers in FIG. 4 (a), respectively, and are as shown in FIG. 14 (a).
  • D1 the identification number is extracted from the input code string, and the operation mode is selected in D2_a accordingly. If the identification number is "0", the code string is fetched by D3, and decoding is performed in D4 in the fetched order. Then, the plurality of decoded pictures are rearranged in the display order (D5).
  • D5 display order
  • the identification number is “1 J” in D 2 — a
  • the code sequence of I picture, P picture, and B picture only for forward reference is taken in D picture. Since all the pictures do not perform backward reference, the pictures fetched in D 8 are encoded without rearranging them as in D 5.
  • An example of a picture sequence at that time is shown in FIG. All the B pictures in this picture sequence, such as B82 and B83, are pictures that refer only to the front, and decoding of all pictures is completed as in D6. If the decoding has not been completed, the process returns to D7 and repeats the steps from D7 to D9 if the decoding is not completed.
  • C The operation mode selection D2—a is the prediction direction control instruction unit 20 This is done at 6.
  • FIG. 10 (b) The prediction direction control identification signal is as shown in Fig. 14 (b).
  • FIG. 10 (b) and FIG. 10 (a) in the processing flow of FIG. 10 (b) are assigned the same reference numerals, and descriptions thereof are omitted.
  • the prediction direction control identification signal is as shown in Fig. 14 (b).
  • the difference between FIG. 10 (b) and FIG. 10 (a) in the processing flow of FIG. 10 (b) is that in FIG. 4 (b), there are three types of identification numbers, and the number of judgments in D2—b increases.
  • the point is that there are processing steps D10, D11, and D12 as the operation mode corresponding to the identification number ⁇ 2 ”different from a).
  • the decoding procedure when the prediction direction restriction identification number is encoded according to the procedure in FIG. 12 (c) will be described with reference to FIG.
  • the identification numbers are as shown in Fig. 14 (c).
  • the procedure is basically the same as the procedure shown in FIG. 10 (a).
  • the difference is that the prediction direction restriction identification signal itself does not need to be rearranged. ⁇ Only the unnecessary one is shown.
  • the operation mode selection at D 2 _ a in FIG. 10 (a) and the D 2 — c The difference is that the operation mode selection has a different meaning.
  • the code string is fetched, the fetched picture is decoded (D 40, D 80), and in the mode that requires reordering, Sorting is not performed in modes that do not require sorting.
  • the selection of this mode is performed by the prediction direction control instruction unit 206.
  • the identification numbers at this time are as shown in Fig. 14 (c). What differs from the case of encoding according to the procedure in Fig. 12 (c) is the fetched code sequence and the type of picture to be decoded.
  • the operation is performed on a code string that has been subjected to inter-picture predictive coding.
  • switching to decoding processing for a code string that has been subjected to intra-picture predictive coding by switch 208 is performed. Is made.
  • Embodiment 2 As described above, according to the decoding method shown in Embodiment 2 described above, it is possible to omit the process of rearranging the decoded pictures in the order for displaying, and to save the time for picture rearrangement by the decoding process. A long delay can be eliminated.
  • the delay in the decoding process is the delay in rearranging the picture order. Being dominant, reducing this sort delay is significant
  • Embodiments 1 and 2 described above have dealt with the case where the P picture is a picture that has been subjected to inter-picture prediction coding with reference to one picture that is temporally forward.
  • a case will be described in which a P picture is inter-picture predictive coded with reference to one picture that is temporally forward or backward.
  • a picture to be inter-picture predictively coded with reference to one picture in front is subjected to inter-picture prediction coding with reference to a forward prediction P picture and one picture in rear.
  • the picture is called a backward prediction P picture.
  • the identification numbers in the present embodiment are the same as those in FIGS. 4A, 4B, and 14A to 14C except that the following replacement is performed. That is, in FIGS. 4 (a) and 14 (a), the “P picture” when the identification number is 0 is the “P picture” in the case of the forward prediction P picture and the backward prediction P picture and the “P picture” in the case where the identification number is 1 "Picture" is read as a forward prediction P picture. As a result, if the identification number is 0, it is necessary to rearrange the order of the pictures, and if the identification number is 1, it is not necessary to rearrange the order of the pictures.
  • the types of usable P-pictures indicated by the identification numbers are different from those in Embodiments 1 and 2, but it is necessary to perform the reordering indicated by the identification numbers. About the same.
  • the encoding method according to the present embodiment is the same as in FIGS. 9A and 9B except that the following replacement is performed. That is, "P picture" in step E6 is read as a forward prediction P picture and backward prediction P picture, and "P picture” in steps E9 and E12 is read as a forward prediction P picture.
  • the decoding / encoding method according to the present embodiment is the same as FIGS. 10 (a) and (b) except that the following replacement is performed. That is, "P picture" in step D4 is read as a forward prediction P picture and backward prediction P picture, and "P picture” in steps D8 and D11 is read as a forward prediction P picture.
  • the P picture is inter-picture coded with reference to one picture in the forward or backward direction.
  • the same effects as those of the encoding method and the decoding method according to the first and second embodiments can be obtained.
  • the prediction direction restriction identification signal in each of the above embodiments is set in a code string generated by the code string generation unit 103
  • A) Data indicating a display delay time (referred to as display delay data).
  • B) data indicating the number of pictures in rearrangement (referred to as rearranged picture number data).
  • the display delay data is the delay time from the completion of decoding to the display of the decoded picture in the frame memory 203 (the unit is, for example, the number of clocks equivalent to the number of pictures). Is data representing In this case, the prediction direction restriction identification signal is Setting the delay time of the display delay data to 0 indicates that sorting is unnecessary.
  • the rearranged picture number data is data representing the maximum difference between the decoding order and the display order of pictures by rearrangement. In this case, the prediction direction restriction identification signal indicates that rearrangement is unnecessary by setting the rearrangement picture number data to 0.
  • the code sequence generation unit 103 may set the prediction direction restriction identification signal as the prediction direction restriction identification signal 31 in the sequence header shown in FIG.
  • the prediction direction restriction identification signal 32, 33 may be set in the GOP header shown in b), or the prediction direction restriction identification signal is included in the picture common information area shown in Fig. 15 (a). 34 or may be set as the prediction direction restriction identification signal 35 in the extension area shown in FIG. 15 (b).
  • the picture common information area collectively describes information that is commonly referred to from one or a plurality of pictures, and the extension area collectively describes information that assists decoding. And are not always used. These regions can be provided at arbitrary positions in the code string.
  • a P picture refers to one coded picture
  • a B picture refers to one or two coded pictures to generate a predicted image and perform motion compensation.
  • the content also indicates the number of encoded pictures that can be referred to for each block to be subjected to motion compensation. For example, if it is permitted to refer to multiple (eg, 5) coded pictures for a single picture to be coded, one or more of the best Similarly, when two pictures are selected for each block to be coded or decoded, and the processing is replaced with the operation of performing motion compensation using the blocks in the selected picture, the same applies. Can handle. (Embodiment 4)
  • an encoding and decoding program and a code string (data stream) for realizing the configuration of the encoding and decoding processing described in each of the above embodiments are recorded on a flexible disk or the like.
  • the processing described in each of the above embodiments can be easily performed by an independent computer system.
  • FIG. 14 is a diagram for explaining a case where the encoding or decoding processing of the first and second embodiments is performed by a computer system using a flexible disk storing the above encoding and decoding programs.
  • FIG. Fig. 14 (b) shows the appearance, cross-sectional structure, and flexible disk of the flexible disk as viewed from the front
  • Fig. 14 (a) shows an example of the physical format of the flexible disk that is the recording medium body.
  • the flexible disk FD is built in the gate F, and a plurality of tracks Tr are formed concentrically from the outer circumference toward the inner circumference on the surface of the disk, and each track is formed in an angular direction. It is divided into 6 sectors Se. Therefore, in the flexible disk storing the above-mentioned program, data as the above-mentioned program is recorded in an area allocated on the above-mentioned flexible disk FD.
  • FIG. 14 (c) shows a configuration for recording and reproducing the above program on the flexible disk FD.
  • the above program is recorded on the flexible disk FD
  • data as the above program is written from the computer system Cs via the flexible disk drive.
  • the program is read from the flexible disk by a flexible disk drive and transferred to a computer system.
  • the description has been made using a flexible disk as a recording medium, but the same description can be made using an optical disk.
  • the recording medium is not limited to this, and any other recording medium, such as an IC card or a ROM cassette, that can record a program can be used.
  • the decoding method shown in the above embodiment ⁇ The decoding method may be applied to mobile communication devices such as mobile phones and force navigation systems, and imaging devices such as digital video cameras and digital still cameras to semiconductor devices such as LSIs. It can be implemented by In addition, there are three possible implementation formats: a transmitting / receiving terminal having both an encoder and a decoder, a transmitting terminal having only an encoder, and a receiving terminal having only a decoder. Specific application examples will be described with reference to FIGS.
  • FIG. 17 is a block diagram showing an overall configuration of a content supply system ex100 for realizing a content distribution service.
  • a communication service providing area is divided into desired sizes, and base stations ex 107 to ex 110 which are fixed wireless stations are installed in each cell.
  • the content supply system ex100 for example, includes an Internet service provider ex102 and a telephone network ex104, and base stations ex107 to ex110 on the internet ex101.
  • Each device is connected via a computer ex 1 1 1, PDA (persona I digital assistant) ex 1 1 2, camera ex 1 1 3, mobile phone ex 1 1 4, mobile phone with camera e 1 1 5 Is done.
  • PDA persona I digital assistant
  • each device may be directly connected to the telephone network ex 104 without going through the base stations ex 107 to ex 110 which are fixed wireless stations.
  • the camera ex113 is a device such as a digital video camera capable of shooting moving images.
  • mobile phones use the PDC (Personal Digital Communications) system, CDMA (Code Division Multiple Access) system, W-CDMA (Wideband-Code Division Multiple Access) system, GSM (Global System for obile Communications) system mobile phone, PHS (Personal Handyphone System), etc. , Even if it is a little, no poison.
  • PDC Personal Digital Communications
  • CDMA Code Division Multiple Access
  • W-CDMA Wideband-Code Division Multiple Access
  • GSM Global System for obile Communications
  • PHS Personal Handyphone System
  • the streaming exano ex 103 is connected to the camera ex 113 via the base station ex 109 and the telephone network ex 104, and is a coding system transmitted by the user using the camera ex 113. Live distribution based on the processed data becomes possible.
  • the encoding process of the photographed data may be performed by the camera ex113 or by a server or the like that performs the data transmission process.
  • moving image data shot by the camera ex116 may be transmitted to the streaming server ex103 via the computer ex111.
  • the camera ex116 is a device that can shoot still images and moving images such as digital cameras.
  • coding of the moving image data also force ra ex 1 1 either be carried out in 6 be carried out in the computer ex 1 1 1 Good c, coding processing computer ex1 1 1 and camera ex 1 1 6
  • the processing is performed in the LSI ex 117 that has this.
  • the software for image coding and decoding may be incorporated into any storage medium (CD-ROM, flexible disk, hard disk, etc.) which is a recording medium readable by a computer such as ex111.
  • the mobile phone with camera ex 1 15 may transmit the video data overnight.
  • the moving image data at this time is data encoded by the LSI included in the mobile phone ex115.
  • contents for example, video of live music taken by the user with the camera ex113, the camera ex116, etc. are encoded in the same manner as in the above embodiment.
  • the streaming server ex103 transmits the content data to the streaming server ex103, and the streaming server ex103 distributes the content data to the requesting client in a stream.
  • the client can decode the above encoded data. Possible, computer ex111, PDA ex112, camera ex113, mobile phone ex114, etc. By doing so, the content supply system ex 100 can receive and reproduce the encoded data at the client, and further receive, decode, and reproduce the data in real time at the client. This is a system that enables personal broadcasting.
  • each device constituting this system may be performed using the image encoding device or the image decoding device described in each of the above embodiments.
  • a mobile phone will be described as an example.
  • FIG. 18 is a diagram illustrating the mobile phone ex115 using the image encoding method and the image decoding method described in the above embodiment.
  • the mobile phone ex115 includes an antenna ex201 for transmitting and receiving radio waves to and from the base station ex110, a power camera unit ex203 capable of capturing images such as CCD cameras and still images.
  • a display unit ex202 such as a liquid crystal display for displaying data obtained by decoding the video captured by the camera unit ex203, the video received by the antenna ex201, etc., and a main unit composed of operation keys ex204
  • Audio output unit ex208 such as a speaker for outputting audio
  • audio input unit ex205 such as a microphone for inputting audio, data of captured video or still image
  • received mail Recording media ex207 for storing encoded or decoded data, such as video data, video data or still image data, and recording media ex2 for mobile phones ex115 It has a slot part ex 2 06 to make 07 attachable
  • the recording media ex 207 is a type of flash memory device that is a type of EEPROM (Electrically erasable and Programmable Read Only Memory) that is a non-volatile memory that can be electrically rewritten and erased in a plastic case such as an SD card. Is stored.
  • mobile phone ex115 will be described with reference to FIG. mobile phone ex 1 15 is a power supply circuit unit, while a main control unit ex 3 11 1 is provided to control each part of the main body unit provided with a display unit ex 202 and an operation key ex 204.
  • ex 310, operation input control unit ex 304, image coding unit ex 310, camera interface unit ex 303, LCD (Liquid Crystal Display) control unit ex 302, image decoding unit ex 309, demultiplexing unit ex 308, recording / reproducing unit ex 307, modulation / demodulation circuit unit ex 306, and audio processing unit ex 305 are connected to each other via a synchronous bus ex 313. .
  • the power supply circuit ex310 is a digital mobile phone with a re-camera that supplies power to each unit from the battery pack when the call is terminated and the power key is turned on by a user operation. 1 Start 5 in an operable state.
  • the mobile phone ex115 based on the control of the main control unit ex311, consisting of CPU, ROM, RAM, etc., outputs the voice signal collected by the voice input unit ex205 in the voice call mode. It was converted to digital voice data by the processing unit ex305, subjected to spread spectrum processing by the modulation and demodulation circuit unit ex306, and subjected to digital analog conversion processing and frequency conversion processing by the transmission and reception circuit unit ex301. Later, it transmits via the antenna ex201.
  • the mobile phone ex115 also amplifies the received data received by the antenna ex201 in the voice call mode, performs frequency conversion processing and analog digital conversion processing, and performs modulation and demodulation in the modulation and demodulation circuit section ex306. After despreading the spectrum and converting it into analog audio data by the audio processing unit ex305, this is output via the audio output unit ex208.
  • the text data of the e-mail input by operating the operation key eX204 of the main unit is mainly transmitted through the operation input control unit ex304. It is sent to the control unit ex311.
  • the main control unit ex311 performs spread spectrum processing on the text data in the modulation and demodulation circuit unit ex306, and performs digital-to-analog conversion processing and frequency conversion processing in the transmission and reception circuit unit ex301, and then executes the antenna conversion. via ex 2 0 1 to base station ex 1 1 0 I believe.
  • the image data captured by the camera unit ex203 is supplied to the image encoding unit ex312 via the camera writer interface unit ex303.
  • the image data captured by the camera unit ex203 is directly transmitted to the display unit ex202 via the camera liner face unit ex303 and the LCD control unit ex302. It can also be displayed.
  • the image encoding unit ex312 has the configuration including the image encoding device described in the present invention, and the image encoding unit ex312 illustrated in FIG.
  • the image data is converted into encoded image data by performing compression encoding according to the encoding method used in (1), and is transmitted to the demultiplexing unit ex308.
  • the mobile phone ex115 receives digital audio data from the audio input unit ex205 through the audio processing unit ex305 while capturing images with the camera unit ex203. The signal is sent to the demultiplexing unit ex308.
  • the demultiplexing unit ex308 multiplexes the encoded image data supplied from the image encoding unit ex310 and the audio data supplied from the audio processing unit ex305 in a predetermined manner, and The resulting multiplexed data is subjected to spread spectrum processing in the modulation and demodulation circuit section ex306, digital and analog conversion processing and frequency conversion processing in the transmission and reception circuit section ex301, and then transmitted via the antenna ex201.
  • the modem receives and receives the data received from the base station ex110 via the antenna ex210.
  • the spectrum despreading process is performed in ex306, and the resulting multiplexed data is sent to the demultiplexing unit ex308.
  • the demultiplexing unit ex308 demultiplexes the multiplexed data so that the bit stream of the image data is demultiplexed. Synchronization with the audio data bit stream.
  • the coded image data is supplied to the image decoding unit ex 309 via the bus ex 313 and the audio data is supplied to the audio processing unit ex 305.
  • the image decoding unit ex309 has a configuration including the image decoding device described in the present invention, and converts the bit stream of image data into the encoding method described in the above embodiment.
  • Reproduced moving image data is generated by decoding using a corresponding decoding method, and this is supplied to the display unit ex202 via the LCD control unit ex302.
  • the moving image data included in the moving image file linked to is displayed.
  • the audio processing unit ex305 converts the audio data into analog audio data and supplies it to the audio output unit ex208, whereby, for example, a moving image file linked to a homepage The audio data contained in the file is reproduced.
  • a decoding device or an image decoding device can be incorporated.
  • the bit stream of the video information is transmitted via radio waves to the communication or broadcasting satellite ex410.
  • the broadcasting satellite ex 410 receiving this transmits a radio wave for broadcasting, receives this radio wave with a home antenna ex 406 equipped with satellite broadcasting receiving equipment, and uses a television (receiver) ex 410
  • a device such as a set-top box (STB) ex407 decodes the repeat stream and reproduces it.
  • STB set-top box
  • the image decoding device described in the above embodiment is also used in a reproducing device ex 403 that reads and decodes a bit stream recorded on a storage medium ex 402 such as a CD or DVD that is a recording medium. It is possible to implement. In this case, the reproduced video signal is displayed on the monitor ex404.
  • an image decoding device is mounted in the set-top pox ex 407 connected to the cable ex 405 for cable TV or the antenna ex 406 for satellite Z terrestrial broadcasting, and It is also conceivable to use a monitor ex 408 for playback. At this time, an image decoding device may be incorporated in the television instead of the set top box.
  • a car ex4 12 having an antenna ex4 11 receives a signal from a satellite ex4 10 or a base station ex107 or the like, and displays a car navigation system ex4 13 or the like of the car ex4 12. It is also possible to play a moving image.
  • the image signal can be encoded by the image encoding device described in the above embodiment and recorded on a recording medium.
  • a recorder eX420 such as a DVD recorder for recording an image signal on a DVD disc ex421 and a disc recorder for recording on a harddisk.
  • it can be recorded on the SD force e x 4 2 2. If the recorder ex420 is equipped with the image decoding device shown in the above embodiment, the image signal recorded on the DVD disc ex421 or the SD card ex422 is reproduced and the monitor eX4 is used. 0 8 can be displayed.
  • the configuration of the car navigation system ex4 13 is, for example, the configuration shown in Fig. 19 except that the camera section ex203, the camera interface section ex303, and the image encoding section eX312 are excluded. The same can be said for computer ex111 and television (receiver) ex401.
  • terminals such as the above-mentioned mobile telephones ex 114 are three types: transmission / reception-type terminals having both encoders / decoders, transmission terminals only with encoders, and reception terminals only with decoders. There are several possible implementation formats.
  • the image encoding method or the image decoding method shown in the above-described embodiment can be used for any of the above-mentioned devices and systems, and by doing so, the effects described in the above-described embodiment can be obtained. Can be obtained.
  • encoding is performed by I-picture encoded by intra-picture prediction encoding and inter-picture prediction encoding referring to one or two pictures in the display order in the forward or backward direction.
  • the present invention is useful for an encoding device that encodes a data stream that can be configured from inter-picture predictive encoded pictures and a decoding device that decodes the data stream.

Abstract

本発明の符号化方法では、表示順で後方向にある１枚又は２枚のピクチャを参照して符号化されたピクチャが前記シーケンスデータに含まれていない場合に符号化されたピクチャの並び替えが不要であることを示す識別信号をヘッダ領域に付加することにより、ピクチャ間予測符号化において時間的に前方にあるピクチャのみを参照するように制限を施し、表示順と同じ順番でピクチャの符号化を行う。また、復号化方法では上記識別信号に従って、前方にあるピクチャのみを参照し、表示順と同じ順番でピクチャの復号化を行う。

Description

明 細 書
動画像の符号化方法、 復号化方法、 データス ト リーム、 データ記録媒体 およびプログラム 技術分野
本発明は、 動画像の符号化方法および復号化方法に関するものであり、 特に既に符号化済みの複数のピクチャを参照して予測符号化を行う Bピク チヤを使用する符号化方法および復号化方法に関するものである。 背景技術
一般に動画像の符号化では、 時間方向および空間方向の冗長性を削減す ることによって情報量の圧縮を行う。 そこで時間的な冗長性の削減を目的 とするピクチャ間予測符号化では、 前方または後方のピクチャを参照して ブロ ック単位で動きの検出および動き補償を行い、 得られた予測画像と現 在のピクチャとの差分値に対して符号化を行う。
図 5は上記の符号化対象ピクチャとこの符号化対象ピクチャが参照する ピクチャとの参照関係の例を示す図である。
ピクチャ I 1 は参照ピクチャを持たずピクチャ内予測符号化を行う。 ピ クチャ P 1 0は時間的に前方にある P 7 を参照しピクチャ間予測符号化を 行う。また、 ピクチャ B 6は時間的に前方にある 2つのピクチャを参照し、 ピクチャ B 1 2は時間的に後方にある 2つのピクチャを参照し、 ピクチャ B 1 8は時間的に前方および後方にあるそれぞれ 1 枚ずつのピクチャを参 照しピクチャ間予測符号化を行う。
Bピクチャを用いた動画像の符号化では時間的に後方にあるピクチャを 参照して符号化が行われる可能性があるため、 前記参照される可能性のあ るピクチャを符号化対象のピクチャよ り も先に符号化しておく 必要がある 図 6 ( a ) は表示されるピクチャの順番を示し、 図 6 ( b ) は符号化す るピクチャの順番を示したものである。
図 6 ( a ) における B 6 3のような Bピクチヤがあった場合はそれが参 照する P 6 4 を先に符号化する必要があるため、 図 6 ( b ) のような順番 に並び替えて符号化を行わなくてはならない。 そして、 並び替えを行い B 6 3 よ り時間的に後方にある P 6 4が符号化されてから B 6 3 を符号化す ることが、 B 6 3の伝送を開始するときの遅延の原因となる。
同様に、 復号化装置では図 6 ( b ) のような順番で入力されてきた符号 列に対して順次復号化を行うが、 表示を行うためには時間軸に従った図 6 ( a ) のような順番に復号化されたピクチャを並び替える必要がある。 こ こでも、 B 6 3を表示するために B 6 3より時間的に後方にある P 6 4を 復号化することが、 B 6 3が表示されるときに遅延が発生する原因となる。
M P E G 2等の従来の符号化方法では上記並び替えにともなう遅延の対 応策と して口一ディ レイモー ドという ものが定義されていた。 これは、 図 7に示すように、 符号化および復号化の際に、 Bピクチャが後方参照を行 う可能性があるため、 B ピクチャを用いないことによ り ピクチャの並び替 えを行わずに符号化および復号化を行う ことを実現するものである （例え ば、 非特許文献 1 参照）。
非特許文献 1 ： nS( IEG 13818-2, Information technology -- Generic coding of moving pictures and associated audio information: Videoj (1996年 5月 15 Β ) , P.150 D.5 Low delay mode
しかし、 B ピクチャを使用しないことによ り符号化効率が大幅に低下す る可能性を含んでいた。
そこで、 本発明は Bピクチヤを使用 しながらも、 遅延を最小限に抑えた 動画像の符号化および復号化を可能とすることを目的とする。 発明の開示
上記の目的を達成するために、 本願発明による符号化方法は、 ピクチャ 内予測符号化によ り符号化される I ピクチャと、 符号化対象のピクチャよ リ表示順で前方向または後方向にあるピクチャを参照するピクチャ間予測 符号化によ y符号化されるピクチャ間予測符号化ピクチャとを用いてピク チヤを符号化する符号化方法であって、 ピクチャ内予測符号化を行う I ピ クチャと符号化対象のピクチャよ り表示順で前方向にあるピクチャのみを 参照して予測符号化を行う ピクチャとの組み合わせからなるピクチャを用 いて符号化することを示す命令を受けるステップと、 前記命令を受けて、 ピクチャの並び替えが不要であることを示す識別信号を出力するステップ と、 前記組み合わせからなるピクチャを並び替えを行わずに表示順で前記 識別信号と共に符号化するステップとを有する。
これにより符号化対象のピクチャよ り表示順で前方向にあるピクチャの みを参照して予測符号化を行う Bピクチャを用いて符号化するため、 表示 順で入力された画像を並べ替えずに符号化することが可能になる。
また、 本願発明による復号化方法は、 ピクチャ内予測符号化により符号 化された I ピクチャと、 表示順で前方向または後方向にあるピクチャを参 照するピクチャ間予測符号化により符号化されたピクチャ間予測符号化ピ クチャとを復号化する復号化方法であって、 ピクチャの並び替えが必要か 不要かを示す識別信号と ピクチャの信号とを受信するステップと、 前記識 別信号が、 ピクチャの並び替えが必要であることを示すか、 ピクチャの並 び替えが不要であることを示すかを判断するステップと、 ピクチャの並び 替えが不要であると判断されたとき、 受信した順番で前記ピクチャの信号 を復号化して出力し、 ピクチャの並び替えが必要であると判断されたとき、 受信した前記ピクチャめ信号を復号化し、 ピクチャの表示される順に前記 ピクチャを並び替えて出力するステップとを有する。 これによリ復号化対象のピクチャよ り表示順で前方向にあるピクチャの みを参照して復号化を行う Bピクチャを用いて復号化するため、 表示順で 入力された画像を並べ替えずに復号化することが可能になる。
また、 本発明の復号化方法、 データス ト リーム、 データ記録媒体および プログラムについても上記と同様の構成、 作用および効果を有する。
また、 本発明のデ一タス トリームは、 次の （ 1 ) から （ 3 ) の何れかの 構成と してもよい。
( 1 ) 画面内予測符号化を行う I ピクチャと符号化対象のピクチャよ リ表 示時間の順番で前方向にあるピクチャのみを参照して予測符号化を行う ピ クチャとの組み合わせからなるピクチャを用いて符号化されたシーケンス データ と、 符号化されたピクチャの復号化において前記符号化されたピク チヤの並び替えが不要であることを示す識別信号とを有するデータス トリ ーム。
( 2 ) 符号化対象のピクチャよ り表示時間の順番で前方向にあるピクチャ のみを参照して予測符号化を行う Bピクチャと画面内予測符号化を行う I ピクチャと符号化対象のピクチャより表示時間の順番で前方向にある 1 枚 のピクチャのみを参照して予測符号化を行う. P ピクチャとの組み合わせか らなるピクチャを用いて符号化されたシーケンスデータ と、 符号化された ピクチャの復号化において前記符号化されたピクチャの並び替えが不要で あることを示す識別信号とを有するデータス ト リーム。
( 3 ) 符号化対象のピクチャより表示時間の順番で前方向にあるピクチャ のみを参照して予測符号化を行う Bピクチャと画面内予測符号化を行う I ピクチャと符号化対象のピクチャより表示時間の順番で前方向にある 1 枚 のピクチャのみを参照して予測符号化を行う P ピクチャとの組み合わせか らなるピクチャを用いて符号化するときに、 符号化されたピクチャの復号 化において前記符号化されたピクチャの並び替えが不要であることを示す 4
識別信号が符号化され、 Bピクチャのうち符号化対象のピクチャよ り表示 時間の順番で後方向にあるピクチャを参照して動き予測を行う B ピクチャ を用いて符号化するときに、 符号化されたピクチャの復号化において前記 符号化されたピクチャの並び替えが必要であることを示す識別信号が符号 化されたデータス ト リーム。
また、 本発明の画像符号化方法は、 次の （ 4 )、 （ 5 ) の何れかの構成と してもよい。
( 4 ) 画像符号化方法であって、 画面内予測符号化を行う I ピクチャと符 号化対象のピクチャより表示時間の順番で前方向にあるピクチャのみを参 照して予測符号化を行う ピクチャとの組み合わせからなる ピクチャを用い て符号化することを示す命令を受けるステップと、 前記命令を受けて、 ピ クチャの並び替えが不要であることを示す識別信号を出力するステップと， 前記命令を受けて、 前記組み合わせからなるピクチャのみを並び替えを行 わず表示時間の順番で前記識別信号と共に符号化するステップとを備える < ( 5 ) 画像符号化方法であって、 符号化対象のピクチャよ り表示時間の順 番で前方向にあるピクチャのみを参照して予測符号化を行う Bピクチャと . 画面内予測符号化を行う I ピクチャと、 符号化対象のピクチャより表示時 間の順番で前方向にある 1 枚のピクチャのみを参照して予測符号化を行う P ピクチャとの組み合わせからなるピクチャを用いて符号化するこ とを示 す命令を受けるステップと、 前記命令を受けて、 ピクチャの並び替えが不 要であることを示す識別信号を出力するステップと、 前記命令を受けて、 前記 B ピクチャと前記 I ピクチャと前記 P ピクチャのみを並び替えを行わ ず表示時間の順番で前記識別信号と共に符号化するステツプとを備える。 また、 本発明の画像復号化方法は、 次の （ 6 )、 （ 7 ) の何れかの構成と してもよい。
( 6 ) 画像復号化方法であって、 ピクチャの並び替えが不要であることを 示す識別信号と表示時間の順番で符号化されたピクチャの信号とを受信す るステップと、 前記識別信号にともない、 受信した'順番で前記ピクチャの 信号を復号化するステップと、 復号化された順番で表示のために前記復号 化されたピクチャを出力するステップとを備え。
( 7 ) 画像復号化方法であって、 ピクチャの並び替えが必要か不要かを示 す識別信号と ピクチャの信号とを受信するステップと、 前記識別信号が、 ピクチャの並び替えが必要であることを示すか、 ピクチャの並び替えが不 要であるこ とを示すかを判断するステップと、 前記識別信号が、 ピクチャ の並び替えが不要であることを示す識別信号であるとき、 受信した順番で 前記ピクチャの信号を復号化して出力し、 前記識別信号が、 ピクチャの並 び替えが必要であることを示す識別信号であるとき、 受信した前記ピクチ ャの信号を復号化し、 ピクチャの表示される順に前記ピクチャを並び替え て出力するステップとを備える。
また、 本発明のプログラム記録媒体は、 （ 3 ) 又は （ 4 ) に記載された画 像符号化方法又は （ 6 ) 又は （ 7 ) 記載の復号化方法をコ ンピュータに実 行させるプログラムを格納した記録媒体と してもよい。
以上、 本発明の動画像符号化方法によ り、 符号化装置に入力されたピク チヤの順番を入れ替える処理を省く ことでき、 符号化処理による時間的な 遅延を最小限に抑えることができる。さ らに、符号化の処理量を削減でき、 符号化装置への負荷を下げることができる。
また、 本発明の動画像復号化方法によ り、 復号化されたピクチャを表示 するための順番に入れ替える処理を省く ことができ、 復号化処理による時 間的な遅延を最小限に抑えることができる。 さ らに、 復号化の処理量を削 減でき、 復号化装置への負荷を下げることができる。 図面の簡単な説明 図 1 は、 本発明の実施の形態 1 による符号化の動作を説明するためのブ ロック図である。
図 2は、 本発明の実施の形態 2による復号化の動作を説明するためのブ ロック図である。
図 3は、 予測方向制限識別信号をヘッダ領域に付加する方法を説明する ための模式図である。
図 4は、 予測方向制限識別番号と使用可能ピクチャの対応関係を示すた めの図である。
図 5は、 従来例のピクチャの参照関係を説明するための模式図である。 図 6は、 ピクチャの並び替えを説明するための模式図である。
図 7は、 前方のみに制限された場合の従来の参照関係を説明するための 模式図である。
図 8は、 前方のみに制限された場合の本発明の参照関係を説明するため の模式図である。
図 9は、 符号化処理の流れの概要を説明するためのフローチャー トであ る。
図 1 0は、 復号化処理の流れの概要を説明するためのフローチャー トで る。
図 1 1 は、 予測の制限を行う ことによる効果の比較を示すための模式図 である。
図 1 2は、 符号列生成部への出力手順を示す図である。
図 1 3は、 復号化処理の流れの概要を説明するためのフローチャー トで のる。
図 1 4は、 予測方向制限識別信号と使用可能ピクチャの対応関係を示す ための図である。
図 1 5は、 予測方向制限識別信号が設定されたピクチャ共通情報領域を 24
示す図である。
図 1 6は、 本発明の実施の形態 4におけるデータ記録媒体について説明 するための模式図である。
図 1 7は、 本発明に係るコ ンテンツ配信サービスを実現するコ ンテンツ 供給システムの全体構成を示すプロック図である。
図 1 8は、 本発明に係る携帯電話の一例を示す図である。
図 1 9は、 同携帯電話の構成を示すブロック図である。
図 2 0は、 本発明に係るディ ジタル放送用システムの構成を示す図であ る。 発明を実施するための最良の形態
(実施の形態 1 )
本発明の実施の形態 1 における動画像符号化方法を図 1 に示したブロッ ク図を用いて説明する。
予測方向制限指示部 1 0 9は外部からの指示を受け、 ピクチャ間予測を 行う ときの参照方法を制御する。 ここで、 ピクチャ間予測で B ピクチャを 用いるときの参照方法の例と しては、 ①図 5の B 6に示すように前方にあ る 2枚のピクチャを参照するか、 ②図 5の B 1 2に示すように後方にある 2枚のピクチャを参照するか、 ③図 5の B 1 8に示すように前方の 1 枚と 後方の 1 枚のピクチャを参照するか、 などが考えられる。 予測モー ドの例 と しては前方向 2枚参照予測モー ド、 後方向 2枚参照予測モー ド、 前方向 後方向同時参照予測モー ド等がある。 ただし予測方向制限指示部 1 0 9に よつて時間的に前方にあるピクチャのみが参照されるように制限されてい る場合は、 Bピクチャの符号化において時間的に後方にあるピクチャを参 照する予測モー ドは選択されない。 入力された指示によって図 4 ( a ) 又 は同図 （ b ) に示す使用可能なピクチャが決定される。 以下では、 説明を 簡単にするため同図 （ a ) 又は同図 （ b ) .に示す識別番号が指示と して入 力されるものとする。 入力された指示 （識別番号） は予測方向制限指示部 1 0 9からフ レームメモリ 1 0 1 、 符号列生成部 1 0 3、 動きベク トル検 出部 1 0 6に出力される。
符号化対象となる動画像は表示を行う順にピクチャ単位でフレームメ モ リ 1 0 1 に入力される。 予測方向制限指示部 1 0 9によって予測方向の制 限がなされていない場合はフ レームメ モ リ 1 0 1 において符号化を行う順 にピクチャの並び替えを行う。 また、 時間的に前方にあるピクチャのみが 参照されるように制限されている場合は並び替えを行わない。 こ こで時間 的に前方にあるピクチャのみが参照される場合とは、 Bピクチャに関して 図 5の B 6に示すような前方にある 2枚のピクチャを参照する Bピクチヤ のみを用いる場合、 または Bピクチャを全く用いない場合である。 各々の ピクチャはマク ロブロック と呼ばれる例えば水平 1 6 X垂直 1 6画素のブ ロックに分割されブロック単位で以降の処理が行われる。
フレームメモリ 1 0 1 から読み出されたマク ロブロ ックは動きべク トル 検出部 1 0 6に入力される。 こ こではフ レームメモ リ 1 0 5に蓄積されて いる画像を参照ピクチャと して用いて、 符号化対象のマク ロブロックの動 きべク トル検出を行う。 フ レームメモリ 1 0 5には以下のステップで画像 が保存される。 まず、 予測残差符号化部 1 0 2から予測残差復号化部 1 0 4に信号が入力される。 予測残差復号化部 1 0 4に入力された信号と、 動 き補償符号化部 1 0 7で得られた予測画像とが加算演算部 1 1 1 において 加算され、 加算された信号が参照用の画像と してフ レームメモ リ 1 0 5に 保存される。 なお、 ピクチャ内予測符号化を行う場合は上記のような動き 補償を必要と しないため、 スィ ッチ 1 1 3は切断される。
また、 動きべク トル検出部 1 0 6で決定された動きべク トルに従って、 動き補償符号化部 1 0 7では動きべク トル記憶部 1 0 8に記憶されている 符号化済みのピクチャで用いた動きべク トルとフレームメモリ 1 0 5に記 憶されている符号化済みのピクチャを用いて、 予測画像が生成される。 ま た、 動き補償符号化部 1 0 7から符号列生成部 1 0 3に差分動きべク トル が入力される。
図 8は符号化の対象ピクチャが時間的に後方のピクチャを参照しない場 合の各ピクチャの参照関係を示したものである。 この場合、 並び替えを行 う必要が無いため、 各ピクチャは表示される順番で符号化される。 シ一ケ ンスに含まれる全ての B ピクチャは時間的に前方にある 1 枚も しく は複数 の符号化済みピクチャを参照して予測符号化を行っている。 よって、 B ピ クチャを使用することによ り、 I ピクチャと P ピクチャのみを用いた従来 のローディ レイモー ドと比べて効率の良い符号化を行う ことが可能となる t 動きべク トル検出部 1 0 6によって得られた動きべク トルによって決定 された予測画像が差分演算部 1 1 0に入力され、 符号化対象のマク ロプロ ック との差分をとることによリ予測残差画像が生成され、 予測残差符号化 部 1 0 2において符号化が行われる。
以上の処理の流れはピクチャ間予測符号化が選択された場合の動作であ つたが、 スィ ッチ 1 1 2によってピクチャ内予測符号化との切り替えがな される。 なお、 その際にスィ ッチ 1 1 3も同時に切断される。
最後に符号列生成部 1 0 3によって、 動きベク トル等の制御情報および 予測残差符号化部 1 0 2から出力される画像情報等に対し可変長符号化を 施し、 最終的に出力される符号列が生成される。 その際に、 図 3 ( a ) の ように予測方向制限指示部 1 0 9によって指示された図 4 ( a ) または図 4 ( b ) に示す識別番号が予測方向制限識別信号 3 1 と して符号化の対象 とするシーケンスのヘッダ領域に付加される。 予測方向制限識別信号 3 1 がシーケンスヘッダに付加された場合は符号化対象の動画像列全体に対し て予測方向の制限が適用されることになる。 なお、 図 3 ( b ) の 3 2、 3 3のように予測方向制限指示部 1 0 9によって指示された図 4 ( a ) また は図 4 ( b )に示す識別番号を G O Pのへッダ領域に付加することにより、 G O P ごとに予測方向の制限を切り替えることも可能である。 このとき予 測方向制限識別信号と して付加する信号は図 4 ( a ) に例と して示したテ —ブルを参照して決定される。 図 4 ( a ) の例に従う と、 予測方向の制限 を行わない場合は識別番号 「 0」 が、 前方のみに予測方向を制限する場合 つまり I ピクチャおよび P ピクチャおよび前方のみを参照する Bピクチヤ を使用する場合は識別番号 「 1 」 が選択される。 また、 予測方向制限識別 信号と して図 4 ( a ) に示した 2つの項目のみのテーブルを用いる代わり に、 図 4 ( b ) に示したような 3つの項目からなるテーブルを使用するこ とも可能である。 ここでは、 図 4 ( a ) の 2項目に加え、 Bピクチャを全 く使用しない符号化方法を選択することを可能と している。 これによつて、 符号化効率の低下をできるだけ抑えつつ遅延の発生を避けたい場合は識別 番号 「 1 」 を、 処理量の削減を優先しつつ遅延の発生を避けたい場合は識 別番号 「 2 J を選択するといつた使い分けが可能となる。 つまり、 予測方 向制御指示部 1 0 9への外部からの指示は、 符号化対象の動画像に適切な 処理量、 効率、 遅延を検討の上、 決定されることになる。 また、 図 1 1 に 示すように、 処理量は I ピクチャと P ピクチャのみを用いる場合が少なく、 符号化効率は全てのピクチャタイプを用いる場合がよ く 、 符号化時に伝送 を開始するとき発生する遅延および復号化時に表示を開始するときに発生 する遅延は全てのピクチャタイプを用いる場合に起きやすい。 なお、 図 4 ( a ) および図 4 ( b ) における識別番号の割り振り方はこれ以外の方法 を用いても同様に扱う ことが可能である。 また、 図 3 ( a ) に示すシーケ ンスデータおよび図 3 ( b ) に示す G O Pデータにはピクチャのデータが 入っている。
以下、 図 4 ( a ) に示す識別番号が予測方向制御指示部 1 0 9に入力さ れたときの図 1 に示す符号化方法における処理の流れの一例を、 図 9 ( a ) を用いて説明する。
E 1 において図 4 ( a ) に示す識別番号が入力されると、 E 2— a にお いて識別番号に応じた動作モー ドが選択される。 識別番号が 「 0」 であれ ぱフ レームメモリ 1 0 1 から画像が取リ込まれる （ E 3 )。 取リ込まれた画 像を Bピクチヤと して符号化する場合はさらに画像の取り込みを行う （ E 3 )。 Bピクチャ以外の方法で符号化する画像が取リ込まれた時点で、 取リ 込まれた複数の画像を符号化を行う順番に並び替える （ E 5 )。 例と して、 図 6 ( a ) のような画像列を符号化する場合を考えると、 まず I ピクチャ である I 6 1 はそのまま符号化を行う。 つぎに Bピクチャである B 6 2お よび B 6 3は、 それらが参照するピクチャである P ピクチャの P 6 4が取 リ込まれるのを待ってから、 符号化する順番に並び替えられられる。 図 6 ( b ) は符号化する順番に並び替えられたピクチャの列を表したものであ る。 そして E 6において並び替えた順に符号化を行う。 E 6における符号 化によ り全ての符号化が完了していれば符号化は終了 し、 符号化が完了し ていなければ E 3に戻り上記 E 3から E 7までのステップを繰返す。
—方、 E 2— a において識別番号が Γ 1 」 であれば E 8 において、 1 枚 のピクチャをフ レームメモリ 1 0 1 から取り込む。 I ピクチャ、 P ピクチ ャ、 前方参照のみの B ピクチャはいずれも後方参照を行わないピクチャで あるため E 5のような並び替えをすることなく 、 E 9において取り込んだ ピクチャの符号化を行う。 そのときのピクチャ列の例を図 8に示す。 この ピクチャ列における B 8 2および B 8 3等の全ての Bピクチャは前方のみ を参照するピクチャとなっている。 そして E 7 と同様に、 E 9における符 号化によ リ全ての符号化が完了 していれば符号化は終了 し、 符号化が完了 していなければ E 8に戻り上記 E 8から E 1 0までのステップを繰返す。 次に図 4 ( b ) に示す識別番号が予測方向制御指示部 1 0 9 に入力され たときの符号化方法における処理の流れを図 9 ( b ) を用いて説明する。 ただし、 図 9 ( a ) と同じ処理をするステップには同一の符号を振り、 説 明を省略する。
図 9 ( b ) の処理の流れで図 9 ( a ) と異なる点は、 図 4 ( b ) では 3 種類の識別番号があるため E 2— bにおける判断が増える点、 図 4 ( a ) と異なる識別番号「 2 Jに対応する動作モー ドと して処理ステップ E 1 1 、 E 1 2、 E 1 3がある点である。 図 4 ( b ) において識別番号 Γ 2 J に対 応する動作モー ドは I ピクチャと P ピクチャのみを用いて符号化するため, E 1 1 で画像を取り込んだ後、 取り込んだ画像の並び替えを行う ことなく E 1 2において Eピクチャと P ピクチャのみを符号化することになる。 そ のときのピクチャ列の例を図 7に示す。 このピクチャ列では前方を参照す る I ピクチャおよび P ピクチャのみで構成されているのが分かる。 なお、 識別番号の入力は、 外部から人為的に入力されても、 予め設定をしてハ一 ドウエア的に処理されても、 ソフ トウェアで間接的に入力されても、 いず れでもよい。
図 4 ( a ) または図 4 ( b ) に示す識別番号が予測方向制限指示部 1 0 9に入力された後に、 符号列生成部 1 0 3に入力される信号は図 1 2に示 す手順に従う。
まず、 図 4 ( a ) に示す識別番号の場合について説明する。 図 1 2 ( a ) に示すように、 入力された識別番号 Γ 0」 Γ 1 」 がそのまま符号列生成部 1 0 3に出力される。 つまり、 図 3の予測方向制限識別信号 3 1 , 3 2 , 3 3には、 予測方向制限指示部 1 0 9に入力された識別番号がそのまま入る。 同様に、 図 4 ( b ) に示す識別番号の場合、 図 1 2 ( b ) に示すように予 測方向制限指示部 1 0 9に入力された識別番号が図 3の予測方向制限識別 信号 3 1 , 3 2 , 3 3にそのまま入る。
図 4 ( b ) のように識別番号が多く なると、用いるビッ ト数も増加する。 そこで、 図 1 2 ( c ) や図 1 2 ( d ) に示すような処理をすると、 図 1 2 ( b ) に示すような処理と比べてビッ ト量を削減させることができる。 図 1 2 ( c ) は図 4 ( a ) の識別番号が予測方向制限指示部 1 0 9に入力さ れた場合についての処理手順を示す。 図 1 2 ( c ) に示すように予測方向 制限指示部 1 0 9に入力された識別番号は、 並び替えが必要かどうかを判 別され、 並び替えが必要であれば Γ 0 J を、 並び替えが不要であれば Γ 1 j を出力する。 同様に、 図 1 2 ( d ) に示すように予測方向制限指示部 1 0 9に入力された識別番号は、 並び替えが必要かどうかを判別され、 入力さ れた識別番号が 「 0」 の場合は並び替えが必要なため 「 0」 を出力する。 一方、 入力された識別番号が Γ 1 」 と Γ 2」 の場合は、 後方参照するピク チヤを扱わないため並び替えが不要であり、 この並び替えが不要の意味を 有する Γ 1 」 を出力する。 これによ り、 予測方向制限指示部 1 0 9から符 号列生成部 1 0 3に出力される信号は、 図 1 4 ( c ) に示したように、 並 び替えが必要か、 不要かの情報のみを用いれば良く 、 ビッ ト量を削減する ことが可能である。特に、識別番号の数が多いときに、並び替えが必要か、 不要かの 2つの判断のみに意味付けでき、 有効である。
また、 Bピクチャを用いると、 2枚の参照画像の平均画像を予測画像と して使用できることから、 2枚が時間的に前方にある場合でも符号化効率 を向上できる可能性がある。
なお、前方の 1 枚のピクチャのみを参照する B ピクチヤを用いる場合も、 上記実施の形態で示した前方の 2枚のピクチャのみを参照する B ピクチヤ と同様に、 並び替えが不要なピクチャと して扱う ことができる。 さ らに、 上記実施の形態における動き補償は、 符号化対象のピクチャが有する動き べク トルの情報を用いることを前提と していたが、 ダイ レク トモー ドと呼 ばれる、 符号化対象のピクチャが動きベク トルの情報をもたずに符号化済 みのブロックの情報を用いて動き補償を行う場合でも、 上記実施の形態で 示した符号化方法を用いることができる。 ダイ レク トモ一 ドを用いる Bピ クチャの場合、 動きベク トルの情報を持たないため、 ダイ レク トモ一 ド以 外の予測モー ドを用いる Bピクチャの場合と比べ、 さ らに符号化効率を向 上させることが可能である。
また、 前後へ動き補償を行う通常の B ピクチャは複数の物体が重なって 見え隠れする場合の動画像に有効であるが、 前方向のみ動き補償を行う B ピクチャを用いた場合もほぼ同等の効果を得ることが可能である。 なお、 B ピクチャの動き補償において 2枚のピクチヤから予測画像を生成する際 に、 それぞれの画素値に対して重み付け平均を取ることによってフェー ド 等の画面全体の明度が変わるような動画像に対して効率の良い符号化を行 う ことができる。 以上のように上記実施の形態 1 に示した符号化方法によ リ、 符号化装置に入力されたピクチャの順番を入れ替える処理を省く こと ができ、 符号化処理による時間的な遅延を最小限に抑えることができる。 なお、 符号化処理における遅延は、 ピクチャの順番を並べ替える遅延が支 配的であるから、 この並べ替えの遅延を削減することは大きな意味がある。 (実施の形態 2 )
本発明の実施の形態 2における動画像復号化方法を図 2に示したブロッ ク図を用いて説明する。 ただし、 以下の説明では実施の形態 1 の動画像符 号化方法で生成された符号列が入力されるものとするが、 同じデータ構造 の符号列であればよく 、 必ずしも実施の形態 1 の動画像符号化方法で生成 された符号列でなく ても良い。
まず入力された符号列から符号列解析器 2 0 1 によって動きべク トル情 報および予測残差符号化データ等の各種の情報が抽出される。 同時に、 ピ クチャ間予測を行う ときの予測方向に関する情報が予測方向制限識別信号 と してヘッダ領域から抽出されるものとする。 図 3 ( a ) は前記予測方向 制限識別信号 3 1 がシーケンスヘッダに付加されている場合の符号化列を 示したものである。 また、 図 3 ( b ) の 3 2、 3 3ように G O Pのヘッダ 領域に付加されている場合も同様に扱う ことも可能である。 このとき、 図 1 2 ( a ) から図 1 2 ( d ) のいずれの方法によつて符号化されたかによ つて、 それに対応する図 4 ( a ) も しく は図 4 ( b ) に示した識別番号が 前記予測方向制限識別信号と して付加されているものとする。
符号列解析器 2 0 1 で抽出された識別番号は予測方向制限指示部 2 0 6 に、 動きベク トル情報 （差分動きベク トル） は動き補償復号部 2 0 4に、 予測残差符号化データは予測残差復号化部 2 0 2にそれぞれ出力される。 符号列解析器 2 0 1 で抽出された識別番号は、 ピクチャの並び替えが必要 か不要かのいずれを意味する識別番号であるか、 予測方向制限指示部 2 0 6において判断される。 そして、 ピクチャの並び替えが必要か不要かの情 報がフレームメモリ 2 0 3に入力される。 動き補償復号部 2 0 4ではフレ —ムメモリ 2 0 3に蓄積されている復号化済みのピクチャの復号化画像を 参照ピクチャと し、 入力された動きべク トル情報または動きべク トル記憶 部 2 0 5に記憶されている動きべク トル情報に基づいて予測画像を生成す る。 なお、 時間的に前方にあるピクチャのみが参照されるように制限され ている場合に、 動き補償復号部 2 0 4では Bピクチャの復号化において時 間的に後方にあるピクチャを参照する予測モー ドを参照しよう と した際に は、 予測方向制限指示部 2 0 6によってエラー検出やエラーの修正指示が なされるようにしてもよい。
生成された予測画像は加算演算部 2 0 7に入力され、 予測残差復号化部 2 0 2において生成された予測残差画像との加算を加算演算部 2 0 7で行 う ことによリ復号化画像が生成される。 予測方向制限指示部 2 0 6によつ て予測方向の制限がなされていない場合、例えば図 4 ( a ) または図 4 ( b ) で示す識別番号が 「 0」 の場合は、 生成された復号化画像はフ レームメモ リ 2 0 3において表示される順にピクチャの並び替えを行う。 一方、 時間 的に前方にあるピクチャのみが参照されるように制限されている場合、 例 えば図 4 ( a ) または図 4 ( b ) で示す識別番号が Γ 1 J の場合または図 4 ( b ) で示す識別番号が 「 2」 の場合は、 並び替えを行う ことなく復号 化された順にそのまま表示することが可能となる。 また、 識別番号 Γ 1 j の場合、 符号化効率の低下をできるだけ抑えつつ遅延の発生を避けた符号 化方法によって生成された符号列の復号化ができる。そして、識別番号「 2」 の場合、 復号化の処理量の削減を優先しつつ、 また表示における遅延の発 生を抑えつつ、 符号化方法によって生成された符号列の復号化を矛盾なく 実現することができる。 なお、 図 4 ( a ) および図 4 ( b ) における識別 番号の割り振り方はこれ以外の方法を用いても同様に扱う ことが可能であ る。 なお、 符号列解析部 2 0 1 に入力される符号列の信号における予測方 向制限信号が、 図 4 ( b ) に示す識別番号が 「 0」 の場合と、 識別番号が Γ 1 J と Γ 2 J の場合のどちらかを識別できる制御信号のとき、 前者では 予測方向制御指示部 2 0 6に並び替えをする必要があることを示す制御信 号が入力され、 後者では予測方向制御指示部 2 0 6に並び替えをする必要 がないことを示す制御信号が入力される。
予測方向制限識別番号が図 1 2 ( a ) の手順に従って符号化されている 場合の復号化の手順について図 1 0 ( a ) を用いて説明する。 なお、 識別 番号 Γ 0」 Γ 1 J はそれぞれ図 4 ( a ) の識別番号に対応し、 図 1 4 ( a ) に示す通りである。 まず D 1 において、 入力された符号列から識別番号が 抽出され、 それに従って D 2 _ a において動作モードが選択される。 識別 番号が 「 0」 であれば D 3によって符号列を取り込み、 取り込んだ順番の まま D 4において復号化を行う。 さ らに復号化された複数のピクチャを表 示する順番に並び替える （ D 5 )。 例と して、 図 6 ( b ) のような符号化さ れる順番に並び替えられた符号列を復号化する場合を考えると、 まず I ピ クチャである I 6 1 はそのまま符号化を行い表示される。 つぎに P ピクチ ャである P 6 4は、 それに続く Bピクチャである B 6 2および B 6 3の後 に表示されるものであるため、 B 6 2および B 6 3が復号化および表示さ れるのを待つ必要がある。 最終的には図 6 ( a ) のような順番で復号化さ れたピクチャが表示される。 全てのピクチャの復号化が完了 していなけれ ば D 3に戻り上記 D 3から D 6までのステップを繰返す。
一方、 D 2 — a において識別番号が 「 1 J であれば D フ において、 I ピ クチャ、 P ピクチャ、 前方参照のみの B ピクチャの符号列を取り込む。 I ピクチャ、 P ピクチャ、 前方参照のみの Bピクチャはいずれも後方参照を 行わないピクチャであるため D 5のような並び替えをすることなく 、 D 8 において取り込んだピクチャの符号化を行う。 そのときのピクチャ列の例 を図 8に示す。 このピクチャ列における B 8 2および B 8 3等の全ての B ピクチャは前方のみを参照するピクチャとなっている。 そ して D 6 と罔様 に、 全てのピクチャの復号化が完了していれば復号化は終了 し、 復号化が 完了していなければ D 7 に戻り上記 D 7から D 9までのステップを繰返す c なお、 動作モー ドの選択 D 2— a は予測方向制御指示部 2 0 6において行 われる。
次に予測方向制限識別番号が図 1 2 ( b ) の手順に従って符号化されて いる場合の復号化の手順について図 1 0 ( b ) を用いて説明する。 ただし、 図 1 0 ( a ) と同 じ処理をするステップには同一の符号を振り、 説明を省 略する。 なお、 予測方向制御識別信号は図 1 4 ( b ) に示す通りである。 図 1 0 ( b ) の処理の流れで図 1 0 ( a ) と異なる点は、 図 4 ( b ) で は 3種類の識別番号があるため D 2— b における判断が増える点、 図 4 ( a ) と異なる識別番号 Γ 2」 に対応する動作モー ドと して処理ステップ D 1 0、 D 1 1 、 D 1 2がある点である。 図 4 ( b ) において識別番号 Γ 2 J に対応する動作モー ドは I ピクチャと P ピクチャのみを用いて符号化する ため、 D 1 0で画像を取り込んだ後、 取り込んだ画像の並び替えを行うこ となく D 1 1 において I ピクチャと P ピクチャのみを符号化することにな る。 そのときのピクチャ列の例を図 7 に示す。 このピクチャ列では前方を 参照する I ピクチャおよび P ピクチャのみで構成されているのが分かる。 なお、 動作モー ドの選択 D 2— bは予測方向制御指示部 2 0 6において行 われる。
さ らに、 予測方向制限識別番号が図 1 2 ( c ) の手順に従って符号化さ れている場合の復号化の手順について図 1 3を用いて述べる。 なお、 識別 番号は図 1 4 ( c ) に示す通りである。 この場合は、 基本的に図 1 0 ( a ) に示す手順と同一である。 異なる点は、 予測方向制限識別信号自体が並び 替えの要 ■ 不要のみを示しており、 図 1 0 ( a ) の D 2 _ a における動作 モー ド選択と、 図 1 3の D 2 — cにおける動作モ一 ド選択の意味が異なる 点である。 D 2— cにおいてモー ド選択がされた後は、符号列を取り込み、 取リ込んだピクチャを復号化し （ D 4 0、 D 8 0 )、 並び替えが必要なモー ドでは並び替えをし、 並び替えの必要のないモー ドでは並び替えをしない。 このモー ドの選択は予測方向制御指示部 2 0 6において行われる。 なお、 予測方向制限識別番号が図 1 2 ( d ) の手順に従って符号化されている場 合の復号化の手順も、 同様である。 このときの識別番号は図 1 4 ( c ) に 示す通りである。 図 1 2 ( c ) の手順に従って符号化されている場合と異 なる点は、 取り込まれる符号列、 復号化されるピクチャの種類である。 以上の実施の形態はピクチャ間予測符号化がなされている符号列に対す る動作であつたが、 スィッチ 2 0 8によってピクチャ内予測符号化がなさ れている符号列に対する復号化処理との切り替えがなされる。
以上のように上記実施の形態 2示した復号化方法によリ、 復号化された ピクチャを表示するための順番に入れ替える処理を省く ことができ、 復号 化処理によるピクチャ並べ替えのための時間的な遅延を不要にすることが できる。 復号化処理における遅延は、 ピクチャの順番を並べ替える遅延が 支配的であるから、 この並べ替えの遅延を削減することは大きな意味があ る
(実施の形態 3 )
上記実施の形態 1 および 2では、 P ピクチャが時間的に前方にある 1 枚 のピクチャを参照してピクチャ間予測符号化されたピクチャである場合に ついて説明した。 本実施の形態では、 P ピクチャが時間的に前方向または 後方向にある 1 枚のピクチャを参照してピクチャ間予測符号化される場合 について説明する。
以下、 説明の便宜上、 前方にある 1 枚のピクチャを参照してピクチャ間 予測符号化されるピクチャを前方予測 P ピクチャ、 後方にある 1 枚のピク チヤを参照してピクチャ間予測符号化されるピクチャを後方予測 P ピクチ ャと呼ぶ。
本実施の形態における符号化方法および復号化方法について、 実施の形 態 1 および 2 と同じ点については説明を省略し、 以下異なる点を中心に説 明する。
本実施の形態における識別番号は、 次の読み替えを行う点以外は図 4 ( a ) ( b )、 図 1 4 ( a ) 〜 （ c ) と同じである。 すなわち、 図 4 ( a ) 及び図 1 4 ( a ) において識別番号が 0である場合の" P ピクチャ" は前 方予測 P ピクチャおよび後方予測 P ピクチャと、 識別番号が 1 である場合 の" P ピクチャ" は前方予測 P ピクチャとそれぞれ読み替える。その結果、 識別番号が 0の場合にはピクチャの順番を並べ替える必要があり、 識別番 号が 1 の場合にはピクチャの順番を並べ替えること必要がないことになる 同様に、 図 4 ( b ) 及び図 1 4 ( b ) において識別番号が 0である場合 の" p ピクチャ " は前方予測 P ピクチャ及び後方予測 P ピクチャと、 識別 番号が 1 である場合および 2である場合の" P ピクチャ" は前方予測 P ピ クチャとそれぞれ読み替える。 その結果、 識別番号が 0の場合にはピクチ ャの順番を並べ替える必要があリ、 識別番号が 1 の場合および 2の場合に はピクチャの順番を並べ替えること必要がないことになる。
このよ うに、 識別番号により示される使用可能な P ピクチャの種類につ いては実施の形態 1 および 2 とは異なっているが、 識別番号によ リ示され る並ぴ替えの必要があるかないかについては同じである。
また、 本実施の形態における符号化方法は次の読み替えを行う点以外は 図 9 ( a ) ( b ) と同様である。 すなわち、 ステップ E 6における" P ピク チヤ" は前方予測 P ピクチャおよび後方予測 P ピクチャと読み替え、 ス亍 ップ E 9 、 E 1 2における" P ピクチャ " は前方予測 P ピクチャと読み替 える。
同様に、 本実施の形態における復号号化方法は次の読み替えを行う点以 外は図 1 0 ( a ) ( b ) と同様である。 すなわち、 ステップ D 4における" P ピクチャ" は前方予測 P ピクチャおよび後方予測 P ピクチャと読み替え、 ステップ D 8、 D 1 1 における" P ピクチャ" は前方予測 P ピクチャと読 み替える。
以上説明してきたように本実施の形態における動画像の符号化方法及び 復号化方法によれば、 P ピクチャが前方向または後方向にある 1 枚を参照 してピクチャ間符号化される場合であっても、 実施の形態 1 及び 2の符号 化方法及び復号化方法と同様の効果を得ることができる。
なお、 上記各実施の形態における予測方向制限識別信号は、 符号列生成 部 1 0 3に生成される符号列に設定される （A ) 表示の遅延時間を示すデ ータ （表示遅延データ と呼ぶ）、 又は （ B ) 並び替えにおけるピクチャ数を 示すデータ （並び替えピクチャ数データ と呼ぶ） であってもよい。 （ A ) 表 示遅延データは、 復号が完了してからフ レームメモリ 2 0 3の復号済ピク チヤが表示されるまでの遅延時間 （単位は、 例えばピクチャ枚数と等価な ク ロ ック数） を表すデータである。 この場合、 予測方向制限識別信号は、 表示遅延データの遅延時間を 0とすることによ り並び替え不要であること を示す。 （B ) 並び替えピクチャ数データは、 並び替えによるピクチャの復 号順位と表示順順位との最大.の差分を表すデータである。 この場合、 予測 方向制限識別信号は、 並び替えピクチャ数データを 0 とすることによ リ並 び替え不要であることを示す。
また、 符号列生成部 1 0 3は、 予測方向制限識別信号を、 図 3 ( a ) に 示したシーケンスヘッダ中に予測方向制限識別信号 3 1 と して設定しても よいし、 図 3 ( b ) に示した G O Pへッダ中に予測方向制限識別信号 3 2、 3 3 と して設定してもよいし、 図 1 5 ( a ) に示すピクチヤ共通情報領域 中に予測方向制限識別信号 3 4と して設定してもよいし、 図 1 5 ( b ) に 示す拡張領域中に予測方向制限識別信号 3 5 と して設定してもよい。 前記 ピクチャ共通情報領域は、 1 つまたは複数のピクチャから共通して参照さ れる情報をまとめて記述したものであり、 前記拡張領域は、 復号化するた めの補助となる情報をまとめて記述したものであり必ずしも使用されると は限らないものである。 これらの領域は、 符号列中の任意の位置に設ける ことができる。
なお、 以上の説明では、 P ピクチャは 1 枚の符号化済みピクチャを、 B ピクチャは 1 枚または 2枚の符号化済みピクチャを参照して予測画像を生 成し動き補償を行う と しているが、 前記内容は動き補償を行う対象の 1 つ のブロ ック ごとに参照することのできる符号化済みピクチャの枚数を示す ものでもある。 例えば符号化の対象とする 1 枚のピクチャに対して複数枚 (例えば 5枚） の符号化済みピクチャを参照することが許可されていた場 合は、 その中から最適な 1 枚も し く は 2枚のピクチャを符号化対象または 復号化対象のプロックごとに選択し、 選択されたピクチャ中のブロ ックを 用いて動き補償を行う という動作に置き換えて処理を行った場合も、 全く 同様に扱う ことができる。 (実施の形態 4 )
さらに、 上記各実施の形態で示した符号化処理および復号化処理の構成 を実現するための符号化およぴ復号化プログラムや符号列 （データス ト リ —ム） を、 フ レキシブルディスク等の記録媒体に記録するようにすること により、 上記各実施の形態で示した処理を、 独立したコンピュータシステ 厶において簡単に実施することが可能となる。
図 1 4は、 上記実施の形態 1 から 2の符号化あるいは復号化処理を、 上 記符号化および復号化プログラムを格納したフレキシブルディスクを用い て、 コ ンピュータシステムにより実施する場合を説明するための図である。 図 1 4 ( b ) は、 フレキシブルディスクの正面からみた外観、 断面構造、 及びフ レキシブルディスクを示し、 図 1 4 ( a ) は、 記録媒体本体である フ レキシブルディスクの物理フォーマツ 卜の例を示している。 フ レキシブ ルディスク F Dはゲ一ス F内に内蔵され、 該ディスクの表面には、 同心円 状に外周からは内周に向かって複数の トラック T rが形成され、 各 トラッ クは角度方向に 1 6のセクタ S eに分割されている。 従って、 上記プログ ラムを格納したフ レキシブルディスクでは、 上記フ レキシブルディスク F D上に割り当てられた領域に、 上記プログラムと してのデータが記録され ている。
また、 図 1 4 ( c ) は、 フレキシブルディスク F Dに上記プログラムの 記録再生を行うための構成を示す。 上記プログラムをフレキシブルデイス ク F Dに記録する場合は、 コンピュータ システム C sから上記プログラム と してのデータをフレキシブルディスク ドライブを介して書き込む。 また、 フ レキシブルディスク内のプログラムにより上記符号化および復号化方法 をコンピュータシステム中に構築する場合は、 フ レキシブルディスク ドラ イブにより プログラムをフ レキシブルディスクから読み出 し、 コ ンビユー タシステムに転送する。 なお、 上記説明では、 記録媒体と してフレキシブルディスクを用いて説 明を行ったが、 光ディスクを用いても同様に行う ことができる。 また、 記 録媒体はこれに限らず、 I Cカー ド、 R O Mカセッ ト等、 プログラムを記 録できるものであれば同様に実施することができる。
また、 上記実施の形態に示した符号化方法 ■ 復号化方法は、 携帯電話や 力一ナビゲーシヨ ンシステム等の移動体通信機器やデジタルビデオカメラ やデジタルスチールカメ ラ等の撮影機器に L S I 等の半導体によって実装 することが可能である。 また、 実装形式と しては、 符号化器 ， 復号化器を 両方持つ送受信型の端末の他に、 符号化器のみの送信端末、 復号化器のみ の受信端末の 3通りが考えられる。 具体的な応用例を図 1 7〜図 2 0を用 いて説明する。
図 1 7は、 コンテンツ配信サービスを実現するコ ンテンツ供給システム ex 1 0 0の全体構成を示すブロ ック図である。 通信サービスの提供エリア を所望の大きさに分割し、 各セル内にそれぞれ固定無線局である基地局 ex 1 0 7 ~ex 1 1 0が設置されている。
このコ ンテンツ供給システム ex 1 0 0は、 例えば、 イ ンタ一ネッ ト ex 1 0 1 にインターネッ トサービスプロバイダ ex 1 0 2および電話網 ex 1 0 4、 および基地局 ex1 0 7〜ex1 1 0を介して、 コンピュータ ex 1 1 1 、 P D A (persona I digital assistant) ex 1 1 2、 カメ ラ ex 1 1 3、 携帯電話 ex1 1 4、 カメラ付きの携帯電話 e χ 1 1 5などの各機器が接続される。
しかし、 コンテンツ供給システム ex 1 0 0は図 1 7のような組合せに限 定されず、 いずれかを組み合わせて接続するようにしてもよい。 また、 固 定無線局である基地局 ex 1 0 7 ~ex 1 1 0を介さずに、 各機器が電話網 ex 1 0 4に直接接続されてもよい。
カメラ ex 1 1 3はデジタルビデオカメラ等の動画撮影が可能な機器であ る。 また、 携帯電話は、 P D C (Personal Digital Communications) 方式、 C D M A ( Code Division Multiple Access ) 方式 、 W — C D M A (Wideband-Code Division Multiple Access)方式、若しく は G S M (Global System for obi le Communications) 方式の携帯電話機、. または P H S (Personal Handyphone System) 等であり、 しゝずれでも ί毒わなし、。
また、 ス トリーミ ングサーノ ex 1 0 3は、 カメラ ex 1 1 3から基地局 ex 1 0 9、 電話網 ex1 0 4を通じて接続されておリ、 カメラ ex 1 1 3を用い てユーザが送信する符号化処理されたデータに基づいたライブ配信等が可 能になる。 撮影したデータの符号化処理はカメラ ex 1 1 3で行っても、 デ —タの送信処理をするサーバ等で行ってもよい。 また、 カメ ラ ex 1 1 6で 撮影した動画データはコ ンピュータ ex 1 1 1 を介してス ト リ一ミ ングサー バ ex 1 0 3に送信されてもよい。 カメ ラ ex 1 1 6はデジタルカメ ラ等の静 止画、 動画が撮影可能な機器である。 この場合、 動画データの符号化は力 メ ラ ex 1 1 6で行ってもコンピュータ ex 1 1 1 で行ってもどちらでもよい c また、 符号化処理はコンピュータ ex1 1 1 やカメラ ex 1 1 6が有する L S I ex 1 1 7において処理することになる。 なお、 画像符号化 ■ 復号化用の ソフ トゥヱァをコ ンピュータ ex1 1 1 等で読み取り可能な記録媒体である 何らかの蓄積メディア （ C D— R O M、 フレキシブルディスク、 ハ一 ドデ イスクなど） に組み込んでもよい。 さらに、 カメラ付きの携帯電話 ex 1 1 5で動画デ '一夕を送信してもよい。 このときの動画データは携帯電話 ex 1 1 5が有する L S I で符号化処理されたデータである。
このコンテンツ供給システム ex 1 0 0では、 ユーザがカメ ラ ex 1 1 3、 カメラ ex 1 1 6等で撮影しているコンテンツ （例えば、 音楽ライブを撮影 した映像等） を上記実施の形態同様に符号化処理してス ト リーミ ングサー バ ex1 0 3に送信する一方で、 ス トリ一ミングサーバ ex 1 0 3は要求のあ つたクライアン トに対して上記コ ンテンツデータをス ト リ一ム配信する。 クライアン トと しては、 上記符号化処理されたデータを復号化することが 可能な、 コ ンピュータ ex 1 1 1 、 P D A ex 1 1 2、 カメラ ex 1 1 3、 携帯 電話 ex 1 1 4等がある。 このようにすることでコ ンテンツ供給システム ex 1 00は、 符号化されたデータをクライアン トにおいて受信して再生する ことができ、 さらにクライアン 卜においてリアルタイムで受信して復号化 し、 再生することにより、 個人放送をも実現可能になるシステムである。
このシステムを構成する各機器の符号化、 復号化には上記各実施の形態 で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよ い。
その一例と して携帯電話について説明する。
図 1 8は、 上記実施の形態で説明した画像符号化方法と画像復号化方法 を用いた携帯電話 ex 1 1 5を示す図である。 携帯電話 ex 1 1 5は、 基地局 ex 1 1 0との間で電波を送受信するためのアンテナ ex 20 1 、 C C Dカメ ラ等の映像、 静止画を撮ることが可能な力メ ラ部 ex 203、 カメラ部 ex 2 03で撮影した映像、 アンテナ ex20 1 で受信した映像等が復号化された データを表示する液晶ディスプレイ等の表示部 ex 20 2、 操作キ一 e x 2 04群から構成される本体部、 音声出力をするためのスピーカ等の音声出 力部 ex 20 8、 音声入力をするためのマイク等の音声入力部 ex 2 05、 撮 影した動画も しく は静止画のデータ、 受信したメールのデータ、 動画のデ ータも しく は静止画のデータ等、 符号化されたデータまたは復号化された データを保存するための記録メディア ex 20 7、携帯電話 ex 1 1 5に記録 メディア ex 2 07を装着可能とするためのスロッ ト部 ex 2 06を有してい る。 記録メディア ex 207は S Dカー ド等のプラスチックケース内に電気 的 に書換 え や消去が可能な不揮発性 メ モ リ で あ る E E P R O M (Electrical ly Erasable and Programmable Read Only Memory) の一種で あるフラッシュメモリ素子を格納したものである。
さらに、 携帯電話 ex1 1 5について図 1 9を用いて説明する。 携帯電話 ex 1 1 5は表示部 ex 2 0 2及び操作キ一 e x 2 0 4を備えた本体部の各部 を統括的に制御するようになされた主制御部 ex 3 1 1 に対して、 電源回路 部 ex 3 1 0、 操作入力制御部 ex 3 0 4、 画像符号化部 ex 3 1 2、 カメライ ンタ一フェース部 ex 3 0 3、 L C D (Liquid Crystal Display) 制御部 ex 3 0 2、 画像復号化部 ex 3 0 9、 多重分離部 ex 3 0 8、 記録再生部 ex 3 07、変復調回路部 ex 3 0 6及び音声処理部 ex 3 0 5が同期バス ex 3 1 3を 介して互いに接続されている。
電源回路部 ex3 1 0は、 ユーザの操作によ り終話及び電源キーがオン状 態にされると、 バッテリパックから各部に対して電力を供給することによ リカメラ付ディ ジタル携帯電話 ex 1 1 5を動作可能な状態に起動する。 携帯電話 ex 1 1 5は、 C P U、. R O M及び R A M等でなる主制御部 ex 3 1 1 の制御に基づいて、 音声通話モー ド時に音声入力部 ex2 0 5で集音し た音声信号を音声処理部 ex3 0 5によってディジタル音声データに変換し、 これを変復調回路部 ex3 0 6でスぺク トラム拡散処理し、 送受信回路部 ex 3 0 1 でディ ジタルアナログ変換処理及び周波数変換処理を施した後にァ ンテナ ex 2 0 1 を介して送信する。 また携帯電話機 ex 1 1 5は、 音声通話 モー ド時にアンテナ ex 2 0 1 で受信した受信データを増幅して周波数変換 処理及びアナログディ ジタル変換処理を施し、 変復調回路部 ex 3 0 6でス ぺク トラム逆拡散処理し、 音声処理部 ex 3 0 5によってアナログ音声デ一 タに変換した後、 これを音声出力部 ex 2 0 8を介して出力する。
さ らに、 データ通信モー ド時に電子メールを送信する場合、 本体部の操 作キー e X 2 0 4の操作によって入力された電子メールのテキス トデータ は操作入力制御部 ex3 0 4を介して主制御部 ex 3 1 1 に送出される。 主制 御部 ex 3 1 1 は、 テキス トデータを変復調回路部 ex 3 0 6でスぺク トラム 拡散処理し、 送受信回路部 ex3 0 1 でディジタルアナログ変換処理及び周 波数変換処理を施した後にアンテナ ex 2 0 1 を介して基地局 ex 1 1 0へ送 信する。
データ通信モー ド時に画像データを送信する場合、 カメラ部 ex 2 0 3で 撮像された画像データをカメ ライ ンタ一フェース部 ex 3 0 3を介して画像 符号化部 ex3 1 2に供給する。 また、 画像データを送信しない場合には、 カメ ラ部 ex 2 0 3で撮像した画像データをカメ ラインタ一フェース部 ex 3 0 3及び L C D制御部 ex3 0 2を介して表示部 ex2 0 2に直接表示するこ とも可能である。
画像符号化部 ex3 1 2は、 本願発明で説明した画像符号化装置を備えた 構成であり、 カメラ部 ex 2 0 3から供給された画像データを上記実施の形 態で示した画像符号化装置に用いた符号化方法によつて圧縮符号化するこ とにより符号化画像データに変換し、 これを多重分離部 ex 3 0 8に送出す る。 また、 このとき同時に携帯電話機 ex 1 1 5は、 カメラ部 ex 2 0 3で撮 像中に音声入力部 ex2 0 5で集音した音声を音声処理部 ex3 0 5 を介して ディ ジタルの音声データと して多重分離部 ex 3 0 8に送出する。
多重分離部 ex 3 0 8は、画像符号化部 ex 3 1 2から供給された符号化画 像データ と音声処理部 ex 3 0 5から供給された音声データ とを所定の方式 で多重化し、 その結果得られる多重化データを変復調回路部 ex 3 0 6でス ぺク トラム拡散処理し、 送受信回路部 ex3 0 1 でディ ジタルアナログ変換 処理及び周波数変換処理を施した後にアンテナ ex 2 0 1 を介して送信する < データ通信モー ド時にホームページ等にリ ンクされた動画像ファイルの データを受信する場合、 アンテナ ex 2 0 1 を介して基地局 ex 1 1 0から受 信した受信データを変復調回路部 ex 3 0 6でスぺク トラム逆拡散処理し、 その結果得られる多重化データを多重分離部 ex 3 0 8に送出する。
また、 アンテナ ex2 0 1 を介して受信された多重化データを復号化する には、 多重分離部 ex 3 0 8は、 多重化データを分離することによ り画像デ ータのビッ トス ト リ一ムと音声データのビッ トス ト リームとに分け、 同期 バス ex 3 1 3を介して当該符号化画像データを画像復号化部 ex 3 0 9に供 給すると共に当該音声データを音声処理部 ex 3 0 5に供給する。
次に、 画像復号化部 ex 3 0 9は、 本願発明で説明した画像復号化装置を 備えた構成であり、 画像データのビッ トス ト リ一ムを上記実施の形態で示 した符号化方法に対応した復号化方法で復号することによ リ再生動画像デ —タを生成し、 これを L C D制御部 ex 3 0 2を介して表示部 ex 2 0 2に供 給し、 これにより、 例えばホームページにリ ンクされた動画像ファイルに 含まれる動画データが表示される。このとき同時に音声処理部 ex 3 0 5は、 音声データをアナログ音声データに変換した後、 これを音声出力部 ex 2 0 8に供給し、 これによ り、 例えばホームページにリンクされた動画像ファ ィルに含まる音声データが再生される。
なお、 上記システムの例に限られず、 最近は衛星、 地上波によるディジ タル放送が話題となっており、 図 2 0に示すようにディジタル放送用シス テムにも上記実施の形態の少なく とも画像符号化装置または画像復号化装 置のいずれかを組み込むことができる。 具体的には、 放送局 ex 4 0 9では 映像情報のビッ トス トリームが電波を介して通信または放送衛星 ex 4 1 0 に伝送される。これを受けた放送衛星 ex 4 1 0は、放送用の電波を発信し、 この電波を衛星放送受信設備をもつ家庭のアンテナ ex 4 0 6で受信し、 テ レビ （受信機） ex 4 0 1 またはセッ ト トップボックス （ S T B ) ex 4 0 7 などの装置によリ ピッ トス ト リームを復号化してこれを再生する。 また、 記録媒体である CDや DVD等の蓄積メディア ex 4 0 2に記録したビッ トス ト リームを読み取り、 復号化する再生装置 ex 4 0 3にも上記実施の形態で示 した画像復号化装置を実装することが可能である。 この場合、 再生された 映像信号はモニタ ex 4 0 4に表示される。 また、 ケーブルテレビ用のケ一 ブル ex 4 0 5または衛星 Z地上波放送のアンテナ ex 4 0 6に接続されたセ ッ ト トツプポックス ex 4 0 7内に画像復号化装置を実装し、 これをテレビ のモニタ ex 4 0 8で再生する構成も考えられる。 このときセッ ト トップポ ックスではなく 、 テレビ内に画像復号化装置を組み込んでも良い。 また、 アンテナ ex4 1 1 を有する車 ex4 1 2で衛星 ex4 1 0からまたは基地局 ex 1 0 7等から信号を受信し、車 ex 4 1 2が有するカーナビゲーショ ン ex 4 1 3等の表示装置に動画を再生することも可能である。
更に、 画像信号を上記実施の形態で示した画像符号化装置で符号化し、 記録媒体に記録することもできる。具体例と しては、 DVDディスク e x 4 2 1 に画像信号を記録する DVD レコーダや、 ハー ドディスクに記録するディ スク レコーダなどのレコーダ e X4 2 0がある。 更に SD 力一 ド e x 4 2 2 に記録することもできる。 レコーダ e x 4 2 0が上記実施の形態で示した 画像復号化装置を備えていれば、 DVDディスク e x 4 2 1 や SDカー ド e x 4 2 2に記録した画像信号を再生し、 モニタ e X 4 0 8で表示することが できる。
なお、 カーナビゲ一シヨ ン ex4 1 3の構成は例えば図 1 9に示す構成の うち、 カメラ部 ex 2 0 3 とカメラインターフェース部 ex 3 0 3、 画像符号 化部 e X 3 1 2を除いた構成が考えられ、 同様なことがコ ンピュータ ex 1 1 1 やテレビ （受信機） ex4 0 1 等でも考えられる。
また、 上記携帯電話 ex 1 1 4等の端末は、 符号化器 ■ 復号化器を両方持 つ送受信型の端末の他に、 符号化器のみの送信端末、 復号化器のみの受信 端末の 3通りの実装形式が考えられる。
このように、 上記実施の形態で示した画像符号化方法あるいは画像復号 化方法を上述したいずれの機器 ■ システムに用いることは可能であり、 そ うすることで、 上記実施の形態で説明した効果を得ることができる。
また、 本発明はかかる上記実施形態に限定されるものではなく 、 本発明 の範囲を逸脱することなく種々の変形または修正が可能である。 産業上の利用可能性
本発明は、 ピクチャ内予測符号化により符号化された I ピクチャと、 表' 示順で前方向または後方向にある 1 枚又は 2枚のピクチャを参照するピク チヤ間予測符号化により符号化されたピクチャ間予測符号化ピクチャとか ら構成可能なデ一タス ト リームを符号化する符号化装置、 そのデータス ト リームを復号化する復号化装置に有用である。

Claims

請 求 の 範 囲
1 . ピクチャ内予測符号化によ y符号化された I ピクチャと、 表示順で前 方向または後方向にあるピクチャを参照するピクチャ間予測符号化によ リ 符号化されたピクチャ間予測符号化ピクチャとから構成可能なデ一タス ト リームであって、
前記データス トリームはシーケンスデータ と識別信号とを有し、 前記シーケンスデータは、 前記前方向にあるピクチャのみを参照して符 号化されたピクチャ間予測符号化ピクチャと前記 I ピクチャとの組み合わ せにより構成され、
前記識別信号は、 前記後方向にあるピクチャを参照して符号化されたピ クチャが前記シーケンスデータに含まれていない場合に、 前記データス ト リームの復号化において前記符号化されたピクチャの並び替えが不要であ ることを示す
ことを特徴とするデータス ト リーム。
2 . 前記デ一タス ト リ一ムは、 前方予測 Bピクチャと後方予測 Bピクチャ と P ピクチヤと前記 I ピクチャとから構成可能であり、
前記前方予測 B ピクチャは前記前方向にあるピクチャの中からブロック ごとに 2枚まで参照することを可能とするピクチャ間予測符号化によ リ符 号化されたピクチャであり、
前記後方予測 B ピクチャは、 前記後方向にあるピクチャが少なく とも 1 枚含まれるピクチャの中からブロック ごとに 2枚まで参照することを可能 とするピクチャ間予測符号化により符号化されたピクチャであり、
前記 P ピクチャは、 前記前方向にあるピクチャの中からブロ ック ごとに 1 枚ずつ参照してピクチャ間予測符号化されたピクチャであり、 前記シーケンスデータは、 前記前方予測 Bピクチャと、 前記 I ピクチャ と、 前記 P ピクチャとからなる組み合わせによ リ構成される
ことを特徴とする請求の範囲第 1 項に記載のデータス ト リーム。
3 . 前記シーケンスデータは、 さらに、 前記後方予測 B ピクチャを組み合 わせて構成され、
前記識別信号は、 前記後方予測 Bピクチャがシーケンスデータに含まれ る場合に、 前記並び替えが必要であることを示す
ことを特徴とする請求の範囲第 2項に記載のデータス ト リーム。
4 . 前記データス ト リームは、前方予測 P ピクチャと後方予測 P ピクチャ と前記 I ピクチャとから構成可能であり、
前記前方予測 P ピクチャは、 前記前方向にあるピクチャの中からブロッ クごとに 1 枚ずつ参照してピクチャ間予測符号化されたピ.クチャであリ、 前記後方予測 P ピクチャは、 前記後方向にあるピクチャが少なく とも 1 枚含まれるピクチャの中からブロック ごとに 1 枚ずつ参照してピクチャ間 予測符号化されたピクチャであり、
前記シーケンスデータは、 前記前方予測 P ピクチャと前記 I ピクチャと からなる組み合わせによリ構成される
ことを特徴とする請求の範囲第 1 項に記載のデータス ト リーム。
5 . 前記シーケンスデータは、 さらに、 後方予測 P ピクチャを組み合わせ て構成され、
前記識別信号は、 前記後方予測 P ピクチャがシーケンスデータに含まれ る場合に、 前記並び替えが必要であることを示す
ことを特徴とする請求の範囲第 4項に記載のデータス ト リーム。
6 . 前記識別信号は、 前記識別信号は、 ピクチャが復号化されてから表示 されるまでの時間を示すデータであり、 当該時間を 0に設定することによ り前記並び替えが不要であることを示す
ことを特徴とする請求の範囲第 1 項から第 5項の何れかに記載のデータ ス ト リーム。
7 . 前記識別信号は、前記並び替えによるピクチャの復号順位と表示順位 との最大の差分を示すデータであり、 当該差分を 0に設定することにより 前記並び替えが不要であることを示す
ことを特徴とする請求の範囲第 1 項から第 5項の何れかに記載のデータ ス ト リーム。
8 . 請求の範囲第 1 項から第 7項の何れかに記載のデータス ト リ一ムを 記録したコンピュータ読み取り可能なデータ記録媒体。
9 . ピクチャ内予測符号化により符号化される I ピクチャと、 符号化対象 のピクチャよ り表示順で前方向または後方向にあるピクチャを参照するピ クチャ間予測符号化によ り符号化されるピクチャ間予測符号化ピクチャと を用いてピクチャを符号化する符号化方法であって、
前記 I ピクチャと前記ピクチャ間予測符号化ピクチャのうち前記前方向 にあるピクチャのみを参照して予測符号化を行う ピクチャとの組み合わせ からなるピクチャを用いて符号化することを示す命令を受けるステップと . 前記命令を受けたとき、 ピクチャの並び替えが不要であることを示す識 別信号を出力するステップと、
前記組み合わせからなるピクチャを並ぴ替えを行わずに表示順で前記識 別信号と共に符号化するステップとを有することを特徴とする符号化方法
1 0 . 前記ピクチャ間予測符号化ピクチャには、前記前方向にあるピクチ ャの中からブロ ック ごとに 2枚まで参照することを可能とするピクチャ間 予測符号化によ り符号化される前方予測 Bピクチャと、 前記後方向にある ピクチャが少なく とも 1 枚含まれるピクチャの中からブロックごとに 2枚 まで参照することを可能とするピクチャ間予測符号化により符号化される 後方予測 B ピクチャと、 前記前方向にあるピクチャの中からブロックごと に 1 枚ずつ参照して符号化される P ピクチャとを含み、
前記命令は、 前記前方予測 B ピクチャと前記 I ピクチャと前記 P ピクチ ャとの組み合わせからなるピクチャを用いて符号化することを示す
ことを特徴とする請求の範囲第 9項に記載の符号化方法。
1 1 . 前記ピクチャ間予測符号化ピクチャは、 前記前方向にあるピクチャ の中からブロックごとに 1 枚ずつ参照するピクチャ間予測符号化にょリ符 号化される前方予測 P ピクチャと、 前記後方向にあるピクチャが少なく と も 1 枚含まれるピクチャの中からブロックごとに 1 枚ずつ参照するピクチ ャ間予測符号化によ リ符号化される後方予測 P ピクチャとを含み、 前記命令は、 前記前方予測 P ピクチャと前記 I ピクチャとの組み合わせ からなるピクチャを用いて符号化することを示す
ことを特徴とする請求の範囲第 9項に記載の復号化方法。
1 2 . 前記識別信号は、 ピクチャが復号化されてから表示されるまでの時 間を示すデータであり、 当該遅間を 0に設定することにより前記並び替え が不要であることを示す
ことを特徴とする請求の範囲第 9項、 第 1 0項又は第 1 1 項に記載の符 号化方法。
1 3 . 前記識別信号は、前記並び替えによるピクチャの復号順位と表示順 位との最大の差分を示すデータであり、 当該差分を 0に設定することによ リ前記並び替えが不要であることを示す
ことを特徴とする請求の範囲第 9項、 第 1 0項又は第 1 1 項に記載の符 号化方法。
1 4 . ピクチャ内予測符号化によ り符号化された I ピクチャと、 表示順で 前方向または後方向にあるピクチャを参照するピクチャ間予測符号化によ リ符号化されたピクチャ間予測符号化ピクチャとを復号化する復号化方法 であって、
ピクチャの並び替えが不要であることを示す識別信号と表示順で符号化 されたシーケンスデータとを受信するステップと、
前記識別信号に従って、 受信した順番で前記シーケンスデ一タを復号化 するステップと
復号化された順番で表示のために前記復号化されたピクチャを出力する ステップと
を有することを特徴とする復号化方法。
1 5 . ピクチャ内予測符号化によ リ符号化された I ピクチャと、 表示順で 前方向または後方向にあるピクチャを参照するピクチャ間予測符号化によ y符号化されたピクチャ間予測符号化ピクチャとを復号化する復号化方法 であって、
ピクチヤの並び替えが必要か不要かを示す識別信号とシーケンスデータ とを受信するステップと、 前記識別信号が、 ピクチャの並び替えが必要であることを示すか、 ピク チヤの並び替えが不要であることを示すかを判断するステップと、
ピクチャの並び替えが不要であることを示す識別信号であると判断され たとき、 受信した順番で前記ピクチャの信号を復号化して出力し、 ピクチ ャの並び替えが必要であることを示す識別信号であると判断されたとき、 受信した前記ピクチャの信号を復号化し、 ピクチャの表示される順に前記 ピクチャを並び替えて出力するステップと
を有することを特徴とする復号化方法。
1 6 . 前記識別信号は、 ピクチャが復号化されてから表示されるまでの時 間を示すデータであり、 当該時間を 0に設定することによリ前記並び替え が不要であることを示す
ことを特徴とする請求の範囲第 1 4項又は第 1 5項に記載の復号化方法,
1 7 . 前記識別信号は、前記並び替えによるピクチャの復号順位と表示順 位との最大の差分を示すデータであり、 当該差分を 0に設定することによ リ前記並び替えが不要であることを示す
ことを特徴とする請求の範囲第 1 4項又は第 1 5項に記載の復号化方法 1 8 . 請求の範囲第 9項から第 1 3項の何れかに記載の符号化方法また は請求の範囲第 1 4項から第 1 7項の何れかに記載の復号化方法をコンビ ユータに実行させることを特徴とするプログラム。
PCT/JP2003/006724 2002-06-28 2003-05-29 動画像の符号化方法、復号化方法、データストリーム、データ記録媒体およびプログラム WO2004004357A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
AU2003241877A AU2003241877A1 (en) 2002-06-28 2003-05-29 Moving picture encoding method, decoding method, data stream, data recording medium, and program
US10/500,291 US20050117642A1 (en) 2002-06-28 2003-05-29 Moving picture coding method, decoding method, data stream, data recording medium and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002191153 2002-06-28
JP2002-191153 2002-06-28

Publications (1)

Publication Number Publication Date
WO2004004357A1 true WO2004004357A1 (ja) 2004-01-08

Family

ID=29996911

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/006724 WO2004004357A1 (ja) 2002-06-28 2003-05-29 動画像の符号化方法、復号化方法、データストリーム、データ記録媒体およびプログラム

Country Status (3)

Country Link
US (1) US20050117642A1 (ja)
AU (1) AU2003241877A1 (ja)
WO (1) WO2004004357A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100452883C (zh) 2001-12-17 2009-01-14 微软公司 处理视频图像的方法
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
TW200845724A (en) * 2004-06-02 2008-11-16 Matsushita Electric Ind Co Ltd Multiplexing apparatus and demultiplexing apparatus
KR100754433B1 (ko) * 2006-08-18 2007-08-31 삼성전자주식회사 근거리 무선통신을 이용하여 휴대단말기의 정보를 공유하는방법
JP5583439B2 (ja) * 2010-03-17 2014-09-03 パナソニック株式会社 画像符号化装置及びカメラシステム
US8873627B2 (en) * 2010-12-07 2014-10-28 Mediatek Inc Method and apparatus of video coding using picture structure with low-delay hierarchical B group

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05336511A (ja) * 1992-06-03 1993-12-17 Toshiba Corp 動画像符号化装置
JPH08163570A (ja) * 1994-12-07 1996-06-21 Graphics Commun Lab:Kk 低遅延モード画像復号方法および装置
JP2000125292A (ja) * 1998-10-13 2000-04-28 Matsushita Electric Ind Co Ltd ビデオデコーダの圧縮されたビットストリームの計算及び記録に必要な条件を制御する方法及び装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05137131A (ja) * 1991-11-13 1993-06-01 Sony Corp フレーム間動き予測方法
US6435737B1 (en) * 1992-06-30 2002-08-20 Discovision Associates Data pipeline system and data encoding method
JP3163830B2 (ja) * 1993-03-29 2001-05-08 ソニー株式会社 画像信号伝送方法及び装置
US6091776A (en) * 1998-05-26 2000-07-18 C-Cube Microsystems, Inc. Delay balanced video encoder system
CN100384247C (zh) * 2002-04-15 2008-04-23 松下电器产业株式会社 记录重放装置
US6728315B2 (en) * 2002-07-24 2004-04-27 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US7068722B2 (en) * 2002-09-25 2006-06-27 Lsi Logic Corporation Content adaptive video processor using motion compensation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05336511A (ja) * 1992-06-03 1993-12-17 Toshiba Corp 動画像符号化装置
JPH08163570A (ja) * 1994-12-07 1996-06-21 Graphics Commun Lab:Kk 低遅延モード画像復号方法および装置
JP2000125292A (ja) * 1998-10-13 2000-04-28 Matsushita Electric Ind Co Ltd ビデオデコーダの圧縮されたビットストリームの計算及び記録に必要な条件を制御する方法及び装置

Also Published As

Publication number Publication date
AU2003241877A1 (en) 2004-01-19
US20050117642A1 (en) 2005-06-02

Similar Documents

Publication Publication Date Title
JP4722153B2 (ja) 画像復号化方法および画像復号化装置
JP5208157B2 (ja) 復号化システム
JP4560134B1 (ja) 動画像復号化方法および動画像復号化装置
JP4440572B2 (ja) 動画像符号化装置及び動画像符号化方法
JP5085671B2 (ja) 復号化システムおよび復号化装置
WO2003098939A1 (en) Moving image encoding method, moving image decoding method, and data recording medium
JP4313710B2 (ja) 画像符号化方法および画像復号化方法
WO2004004357A1 (ja) 動画像の符号化方法、復号化方法、データストリーム、データ記録媒体およびプログラム
JP2004088736A (ja) 動画像の符号化方法、復号化方法、データストリーム、データ記録媒体およびプログラム
JP2004260236A (ja) 動画像の符号化方法および復号化方法
JP2005130417A (ja) 変換符号化方法および変換復号化方法
JP2004147305A (ja) 画像符号化装置、画像復号化装置およびこれらの方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NI NO NZ OM PH PL PT RO RU SC SD SE SG SK SL TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 10500291

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2003730686

Country of ref document: EP

WWW Wipo information: withdrawn in national office

Ref document number: 2003730686

Country of ref document: EP

122 Ep: pct application non-entry in european phase