WO2000054512A1 - Method and apparatus for coding moving picture image - Google Patents

Method and apparatus for coding moving picture image Download PDF

Info

Publication number
WO2000054512A1
WO2000054512A1 PCT/JP2000/001354 JP0001354W WO0054512A1 WO 2000054512 A1 WO2000054512 A1 WO 2000054512A1 JP 0001354 W JP0001354 W JP 0001354W WO 0054512 A1 WO0054512 A1 WO 0054512A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image
unit
header
important information
Prior art date
Application number
PCT/JP2000/001354
Other languages
English (en)
French (fr)
Inventor
Takeshi Nagai
Yoshihiro Kikuchi
Tadaaki Masuda
Original Assignee
Kabushiki Kaisha Toshiba
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kabushiki Kaisha Toshiba filed Critical Kabushiki Kaisha Toshiba
Priority to BR0009262-2A priority Critical patent/BR0009262A/pt
Priority to EP00906734A priority patent/EP1158811A4/en
Priority to CA002367055A priority patent/CA2367055C/en
Priority to US09/914,787 priority patent/US7027517B1/en
Priority to AU28305/00A priority patent/AU758372B2/en
Priority to MXPA01008928A priority patent/MXPA01008928A/es
Publication of WO2000054512A1 publication Critical patent/WO2000054512A1/ja
Priority to NO20014284A priority patent/NO20014284L/no
Priority to US09/950,663 priority patent/US7124429B2/en
Priority to US11/218,526 priority patent/US20060008012A1/en
Priority to US11/354,963 priority patent/US20060140281A1/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/20Contour coding, e.g. using detection of edges
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348Demultiplexing of additional data and video streams

Definitions

  • the encoded video Z is the encoded video Z
  • the present invention relates to a coding Z-decoding device in an information transmission system to be used.
  • moving pictures and audio are compressed to a small amount of information.
  • Compression coding techniques for video signals include techniques such as motion compensation, discrete cosine transform (DCT), subordinate coding, pyramid coding, and variable-length coding. Also, a method combining them has been developed.
  • the international standard for video coding is ISOMPEG-1, MPEG-2, ITU-TH.26. 1, H.262, H.263
  • ISOMPEG-1 ISOMPEG-1
  • MPEG-2 MPEG-2
  • Is an ISOMPEG system ITU-TH.221, H.223.
  • a moving picture signal is divided for each frame, and furthermore, the frame is divided
  • the encoding is performed for each unit such as GOB (Group Of Bock) divided into regions, macroblocks, etc., and for each frame, GOB, and macroblock.
  • GOB Group Of Bock
  • header information indicating the encoding mode and the like is applied D. These header information are necessary for decrypting the entire frame, G • B, and the like.
  • the header information contains errors in the transmission path / storage medium, and if the errors cannot be correctly decoded by the video encoding device, the header information is not used. Frames and GOBs with header information cannot be decoded correctly, and the quality of the reproduced moving image in the moving image decoding apparatus will be significantly degraded. become .
  • the unity of the bit sequence is determined by the information that indicates what the rule S has been, and what rules have been encoded.
  • the header in which the above header information is very important is, for example, the prediction type of the currently decoded frame (the code in the frame). Encoding between frames, encoding between frames, Etc.), information indicating the timing at which the frame is displayed (time reference), or the step size when performing quantization. Information.
  • the prediction type of the frame is originally an encoding between frames, and it does not matter what the cause is. Then, an error is mixed in the bit system U, and the bit system is changed to a bit pattern indicating the encoding in the frame. In this case, even if the actual information after that has been transmitted correctly, the decoding side judges that the signal is the result of intra-frame encoding. As a result, it will not be decoded correctly in the end.
  • Such mixing of errors can cause a moving image to be transmitted via a wireless transmission path, such as a wireless TV phone, a portable information terminal, or a wireless digital TV receiver. Occurs frequently when using an accumulating system.
  • the error rate is about 100,000 to 1,000,000 times that of satellite communication. It is impossible to make a sufficient correction just by making an error correction on a column.
  • the information that can be duplicated using HEC includes information necessary for encoding an arbitrary shape image. If V ⁇ P header information is lost due to transmission error when an image of an arbitrary shape is decoded in object units, decoding can be performed correctly. If not, there was a serious problem.
  • the first invention is based on an encoding unit that encodes an input moving image to generate a bit sequence, and encoding information obtained by the encoding unit.
  • the cohesive power of a given bit sequence S It is composed by extracting important information as information that indicates whether it is encoded or not based on rules such as The important information component and the synchronization signal that generates the synchronization signal A signal generator, and a synchronizing signal output from the synchronization generator to the bit sequence encoded by the encoder, and reconfigured by the important information composing unit.
  • a video encoding device having a bit sequence reconstructing unit for reconstructing a bit sequence by adding important information.
  • the second invention is important information in a normal coding system in which the important information forming unit in the first invention encodes a frame from the coded information in units of a rectangular area.
  • a normal image related important information configuration part that composes certain normal image related information
  • an arbitrary shape encoding method in which an image in a frame is encoded in units of an arbitrary shape image region from encoded information.
  • Shape information related important information constructing the arbitrary shape image related important information, which is important information, and determine whether the encoded image is an arbitrary shape image from the encoded information.
  • An arbitrary-shape encoding determining unit for determining an arbitrary-shape image when the arbitrary-shape encoding determining unit determines that the image is an arbitrary-shape image; and a switching unit for outputting important information related to the arbitrary-shape image. Multiplex information and output of switching unit That provides an image encoding device that is either found configuration and multiplexer you.
  • the third invention is to encode a moving image to obtain a bit system IJ including synchronization information, and to form a group of a certain bit sequence in this encoding.
  • Coded data including a bit string added as important information as header information as information indicating what kind of rule was used to encode the data.
  • a decoding unit for decoding an image bit sequence from an input bit sequence, a decoding unit for decoding an image bit sequence, and a decoding unit for decoding an image bit sequence from an input bit sequence.
  • a synchronization signal detector for detecting a synchronization signal from the image bit sequence and notifying the decoder of the synchronization signal, and decoding information of the decoder.
  • An image decoding apparatus which comprises important information configured from header information output from a decoding unit, and notifies the decoding unit of the important information.
  • the fourth invention is a normal image-related important information forming section in which the important information forming section in the third invention forms normal image-related important information from the header information.
  • Arbitrary-shape coding judging unit that determines whether the image being decoded is an arbitrary-shape image from information, and arbitrary shape that constitutes arbitrary-shape image-related important information from the header information
  • An image-related important information forming unit ; and a first switching unit for inputting header information to the arbitrary-shape image-related information reconstructing unit when the arbitrary shape encoding determining unit determines that the image is an arbitrary shape image.
  • the arbitrary shape encoding determination unit determines that the image is an arbitrary shape image, it is composed of a second switching unit that outputs important information related to the arbitrary shape image.
  • Provide equipment When the arbitrary shape encoding determination unit determines that the image is an arbitrary shape image, it is composed of a second switching unit that outputs important information related to the arbitrary shape image.
  • the fifth aspect of the invention is that a coding section for coding an input moving image to obtain a bit sequence, and a certain number of bits from coding information obtained by the coding section.
  • An important information component that is composed of a group of columns that is coded based on what rules and extracts important information as information that indicates
  • a bit sequence division unit that divides a bit system encoded by the encoding unit, and a bucket composed of important information reconstructed by the important information construction unit.
  • a header header creating section for creating a header, a bit header U divided by a bit row dividing section, and a header header generating section. The generated bucket header and To make a bucket for use.
  • an image decoding apparatus having a packet configuration unit.
  • the important information component of the fifth invention is an arbitrary shape image-related important information component that forms the arbitrary shape image-related important information from the encoded information.
  • Extended header insertion judgment unit that determines whether to add an extended header holding important information related to the arbitrary shape image to the bucket header, and an extended header insertion Image decoding that consists of a switching unit that inputs the header information to important information related to the arbitrary shape when it is determined that the extended header is to be inserted by the judgment unit.
  • a seventh aspect of the present invention is to encode a moving image to obtain a bit sequence, and to describe a certain bit sequence in this encoding.
  • a moving image having a bit sequence in which important information as information indicating whether or not it is encoded based on the rule is added as bucket header information.
  • a decoding device for decoding coded data comprising: a separation unit for separating image bit system IJ and a socket header information from an input bit sequence; A decoding unit for decoding the bit string; an error checking unit for determining whether or not there is no error from the decoding information of the decoding unit; . From the header information, a certain number of bits are used to indicate whether or not the IJ's cohesive force S is coded based on the rules, etc.
  • An eighth invention for providing an image decoding device having a key information component for notifying important information to a decoding unit is provided by the key information component of the seventh invention.
  • Bucket Arbitrary shape image related important information constructing part that constitutes arbitrary shape image related important information from header information, and extended header from packet header information is attached to the bucket header.
  • the extended header insertion judgment section that determines whether or not the force D is being applied, and the extension header insertion judgment section determines that the extension header is inserted.
  • an image decoding device comprising: a switching unit for inputting packet header information into important information relating to an arbitrary shape when the packet header information is input.
  • the present invention is based on the assumption that, in video coding, a header is provided for the coded data, and an extended header is provided for the header.
  • the extended header can also include the important information in the arbitrary shape image coding method. Therefore, even if the header is partially broken, the image can be decoded for the part having a healthy header.
  • the out-of-synchronization problem of the video bucket VP can be solved, that is, the video / noise problem can be solved.
  • the packet VP is a ticket that starts with the synchronization signal RM, and even if an error has occurred earlier and an out-of-synchronization has occurred, re-synchronization is performed with the synchronization signal RM. Because of these advantages, it is highly resistant to noise during transmission, and even in the case of arbitrary-shaped image encoding, it is possible to use conventional rectangular images. It is possible to provide a moving picture coding technique capable of providing the same error resistance as coding.
  • FIG. 1 is a diagram showing a basic configuration of an encoding unit according to the first embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a detailed basic configuration of an important information configuration unit and a bit string reconfiguration unit of an encoding unit according to the first embodiment of the present invention.
  • FIG. 3 is a diagram showing a basic flow of a bit string reconfiguring unit according to the first embodiment of the present invention.
  • FIG. 4 is a diagram showing an extended header format of VP in the first embodiment of the present invention.
  • FIG. 5 is a diagram showing a basic configuration in a decoding unit according to the first embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a detailed basic configuration of an important information configuration unit in the decryption unit according to the first embodiment of the present invention.
  • FIG. 7 is a diagram for explaining a codeword configuration used in the present invention.
  • FIG. 8 is a diagram illustrating an example explaining the effect of variable-length coding.
  • FIG. 9 is a diagram showing that variable-length coding is performed on important information.
  • FIG. 10 is a basic configuration diagram of an encoding unit according to the second embodiment of the present invention.
  • FIG. 11 is a detailed configuration diagram of an important information configuration unit of an encoding unit according to the second embodiment of the present invention.
  • FIG. 12 is a diagram showing an example of an extended packet header according to the second embodiment of the present invention.
  • FIG. 13 is a diagram (with markers) showing an example of an extended bucket header according to the second embodiment of the present invention.
  • FIG. 14 is a diagram showing a basic configuration of a decoding unit according to the second embodiment of the present invention.
  • FIG. 15 shows the weight of the decryption unit in the second embodiment of the present invention.
  • the figure which shows the detailed structure of a required information structure part.
  • FIG. 16 is a diagram illustrating encoding of an arbitrary-shaped image.
  • Figure 17 illustrates the decoding of an arbitrary-shaped image.
  • Fig. 18 shows the VOP structure of MPEG-4.
  • Figure 19 shows the VP structure of MPEG-4.
  • Figure 20 is a diagram showing the VP header format of MPEG-4.
  • Figure 21 is a diagram showing the problems of normal VP.
  • Figure 22 shows the effect of normal VP.
  • FIG. 23 is a diagram showing the effect of VP when HEC is used.
  • Fig. 24 is a diagram showing necessary information when an image is synthesized and reproduced when decoding an arbitrary-shaped image.
  • FIG. 25 is a diagram illustrating an example of a wireless moving image transmission system to which the encoding / decoding device according to the third embodiment of the present invention is applied.
  • FIG. 26 is a diagram illustrating an encoding device according to a fourth embodiment that corresponds to the encoding device according to the first embodiment
  • FIG. 27 is a diagram illustrating a decoding device according to a fourth embodiment that corresponds to the decoding device according to the first embodiment.
  • FIG. 28 is a diagram illustrating a decoding device according to a fifth embodiment corresponding to the encoding device according to the second embodiment
  • FIG. 29 is a diagram illustrating a decoding device according to a fifth embodiment corresponding to the decoding device according to the second embodiment
  • FIG. 30 is a view showing a flowchart of the decoding apparatus according to the third embodiment.
  • FIG. 1 shows a basic configuration of a video encoding device according to the first embodiment of the present invention.
  • the output of the encoding unit 101 is connected to the important information forming unit 102 and the bit string reconstructing unit 104.
  • the output of the important information configuration unit 102 is connected to the bit sequence reconfiguration unit 104 together with the output of the synchronization signal generation unit 103.
  • the output of the bit string reconstruction unit 104 is connected to the multiplexing unit 105.
  • the output of the multiplexing unit 105 is connected to the transmission line 106.
  • the encoding unit 101 encodes the input image signal 131 and outputs it to the bit-sequence reconstructing unit 104, and furthermore, encodes the encoded image signal 131 when encoding. It is configured to output 33 to the important information configuration section 102.
  • the important information constructing unit 102 receives the encoded information 133 when the encoding is performed by the encoding unit 101, selects only the important information necessary for decoding, and outputs it. It is configured as follows.
  • the synchronizing signal generator 103 generates the synchronizing signal 135 at an arbitrary interval, and the bit string reconstructing unit 104 operates as the synchronizing signal generator 103.
  • the synchronous signal 13 5 is inserted into the bit system IJ 13 2, and thereafter, if necessary, the important information 13 4 output from the important information constructing unit 10 2 Is configured to be input and output in a predetermined format.
  • the multiplexing unit 105 converts the bit system U136 reconstructed by the bit string reconstructing unit 104 into other data (for example, audio data and other objects). Multiplexed together with the encoded bit sequence) This is configured to be output to the transmission path Z storage medium 106 as a conversion bit system ij 13 37.
  • the input image signal 1331 of the moving image is encoded by the encoding unit 101.
  • the bit system ij 132 that is coded and output by the coding unit 101 is input to the bit system reconstruction unit 104.
  • the encoded information 133 when encoded by the encoding unit 101 is input to the important information forming unit 102, and only the important information 133 necessary for decoding is selected. Is output.
  • the synchronization signal 135 output from the synchronization signal generation unit 103 is inserted into the bit frame IJ 132 at arbitrary intervals, and the bit sequence is reconstructed. After that, if necessary, the important information 134 output from the important information composition unit 102 is inserted in the determined format.
  • the bits reconstructed by the bit string reconstructing unit 104 are input to the multiplexing unit 105, and the other data (for example, audio data, other data) is input to the multiplexing unit 105.
  • a multiplexing process is performed together with a bit sequence obtained by encoding an object, etc.), and a multiplexed bit system Ij 1337 is output to the transmission path / storage medium 106.
  • the synchronization signal 135 output from the synchronization signal generator 103 at any interval is provided.
  • the important information 134 output from the important information constituent unit 102 is provided in accordance with the determined format, if necessary. It is inserted by the bit string reconstruction unit 104. Therefore, information necessary for image coding and decoding of an arbitrary shape in MPEG-4, for example, information of the width VW of the image size is required for image coding of an arbitrary shape.
  • vop—shape—coding—type VSCT
  • CCRD change—conv—ratio—disable
  • the frame equivalent is called the video object plane "Video Object Plane”.
  • V ⁇ P Video Object Plane
  • Video Packet (hereafter called VP) starts with a sync signal (Resync Marker, hereafter called RM). This is a packet, and it is possible to re-synchronize with this sync signal even if an error has occurred earlier and an out-of-sync condition has occurred.
  • VP Video Packet
  • RM Sync Marker
  • the VOP header information includes the video 'object * plane VOP encoding type (intra-frame encoding, inter-frame encoding, etc.) ), Time reference, step size, etc. are included. Without this information, no decoding of all video 'notes VP' was possible ( Figures 21A and 21B).
  • the header extension code HEC is defined in the header of the video 'note' VP, and according to this value. After that, it was possible to re-state the important information in the V ⁇ P header.
  • FIGS. 21A and 21B This format is shown in FIGS. 21A and 21B.
  • the video object plane VOP starts with a V ⁇ P header followed by data.
  • the video format is followed by a video format.
  • the video object plan V ⁇ P will be damaged, the Even if one or two data sets are broken after the data set, the information on the VOP header and the data can be used for a normal VP header and data set. It was decryptable.
  • Video 1 shows that only the header of the bucket VP and the data that is paired with it are corrupted.
  • the first region of the image is the video 'object, because the plane VOP and its data portion are not broken. Since the image is decoded normally, the next second area is erroneously decoded and the degraded image is decoded, and the next third area and the subsequent areas are decoded normally. Although it was broken, most could be decoded as a beautifully reproduced image.
  • the real-time transfer protocol has been attracting attention as a gateway for use in transmitting moving image / audio data. That is, in the case of a protocol such as TCP, since there is no time information attached to each bucket, the receiving side must reproduce the received data at any time. I could't know what was good. Therefore, when the data is transmitted in a bucket, if the data is moving image data or audio / sound data, the data is successfully reproduced on the receiving side. I could't do that.
  • RTP is a protocol suitable for transmission of real-time data.
  • an extension header can be defined for each application.
  • the V ⁇ P header information is double-equipped in the VP header using HEC. Even if the VOP header is lost, if the VOP header is duplicated by the HEC in the VP header, it can be used for subsequent data. It was possible to decrypt the data correctly.
  • the information that can be duplicated by using HEC does not include information necessary for image coding of an arbitrary shape. For this reason, header information is more powerful in encoding an arbitrary-shaped image than a rectangular image, even though there is no problem if it is a conventional rectangular image. A major problem was that, because of the fact that this was done, it was not possible to duplicate it.
  • the width of the image size vop-width (hereinafter, referred to as VW) is set in the VOP header.
  • height vop—height (hereinafter referred to as VH).
  • VH height vop—height
  • VHMSR horizontal—mc—spatial—ref
  • VVMSR y coordinate vop—vertical—mc—spatial—ref
  • VOP shape coding type “vop—shape—coding—type (hereinafter referred to as VSCT)” that indicates the coding mode of the shape information
  • VSCT shape—coding—type
  • CCRD change-conv-ratio-di-saposition
  • the double header of the VP header by the MPEG-4 HEC does not protect this information.
  • the present system can provide the same error resistance as the conventional rectangular image coding even in the case of arbitrary shape image coding.
  • the important information configuration unit 102 and the bit string reconfiguration unit 104 which are important configurations of the present invention in the above configuration, will be described in detail.
  • the important information forming unit 102 includes a normal image-related important information forming unit 206, an arbitrary shape image-related important information forming unit 200, an arbitrary shape encoding determining unit 208, and a multiplexing unit. It is composed of a conversion unit 210.
  • the normal image-related important information forming unit 206 receives the coding information 133 from the coding unit 101 and receives the normal coding.
  • information that is determined to be important for example, coding mode, time reference, etc.
  • Arbitrary-shape image related important information configuration section 207 configured to output to section 210
  • Select important information related to encoding for example, image size, position, encoding mode, reduction conversion mode, etc.
  • the arbitrary shape encoding determination unit 208 is a unit that determines whether the encoded image is a normal rectangular image or an arbitrary shape image.
  • the switching unit 209 which outputs the result as a judgment signal 240, forms a normal image-related important information according to the judgment signal 240 from the arbitrary shape coding judgment unit 208.
  • the switching control as to whether or not to output the important information related to the arbitrary shape image 239 from the unit 207 to the multiplexing unit 210 is performed.
  • the multiplexing unit 210 includes a normal image-related important information 238 from the normal image-related important information forming unit 206 and an arbitrary shape coding determination unit 210 in arbitrary shape image coding. It is configured so that the arbitrary information related to the arbitrary shape image output from the multiplexed information 239 is multiplexed and output as the important information 134.
  • the coded information 133 from the coding unit 101 includes the normal image-related important information forming unit 20, which is a component of the important information forming unit 102. 7, and in the normal image-related important information forming unit 207, information that is determined to be important at the time of normal encoding (for example, encoding mode or data). Is selected, the selected information is output to the multiplexing unit 210 as important image-related important information 238. It is empowered. Therefore, the important information related to the normal image 238 includes the coding mode time and information that is determined to be important in normal coding, such as reference. Will be gathered.
  • Important information related to arbitrary shape image coding eg, image size, position, coding mode, reduction conversion mode, etc.
  • important information related to arbitrary shape image is selected, and important information related to arbitrary shape image Then, it is output to the multiplexing unit 210.
  • the arbitrary shape encoding determination unit 208 determines whether the encoded image is a normal rectangular image or an arbitrary shape image. In both cases, the judgment result is output as a judgment signal 240.
  • the switching unit 209 is controlled by the judgment signal 240 to output the arbitrarily-shaped image-related important information 239 from the normal image-related important information forming unit 207. Controls whether to switch between them.
  • the multiplexing unit 210 multiplexes the normal image-related important information 238 and the arbitrarily-shaped image-related important information 239 in the case of arbitrarily-shaped image coding, and outputs the multiplexed information as important information 138. To force.
  • the multiplexing unit 2 is used as important information 138 in which the normal image-related important information 238 and the arbitrarily-shaped image-related important information 239 are multiplexed. It can output as much as 10 bits. In the case of normal image encoding, only normal image related important information 238 can be output as important information 334.
  • the bit string reconstructing section 104 is composed of the MB boundary determining section 201, the counter 202, and the synchronous signal inserting determining section 204. 3. It consists of a header information input section 205 and a power calculation section 206.
  • the MB boundary determining unit 201 is provided by the encoding unit in the preceding stage. Bits to be encoded and input in 101, and the data of the bits ij in the system IJ 132 are the boundary of the macro block MB.
  • the code amount counter unit 202 is encoded by the preceding encoding unit 101 and is input. This is for counting the number of bits of the system bit ijl32.
  • the synchronous signal insertion determination section 203 determines that the MB boundary determination section 201 determines the MB boundary according to the bit system ij 132, and the force is also determined by the corresponding bit.
  • an insertion permission signal 2 34 is output. It is a thing.
  • the header information input section 205 generates header information from the input important information 134 and the synchronization signal 135, and generates a synchronization signal insertion determination section 210. If it is determined in step 3 that the insertion is permitted, the added header information 23 7 is added to the encoded bit system 13 2 in the adder 20 6. Output .
  • the adder 206 receives the bit system IJ 132 that is encoded and input by the encoder 101 and the output of the header information inserter 205. This is a section for adding the result and outputting it as a reconstructed bit system ij 136 of the bit string reconstructing section 104.
  • the bit string reconstructing unit 104 When the bit string reconstructing unit 104 having such a configuration is input with the bit string 1332 encoded by the encoding unit 101 in the preceding stage, the bit string reconstructing unit 104 receives the bit string. Is input to an MB boundary determination unit 201 and a code amount counter unit 202, which are one of the components of the bit sequence reconstruction unit 104. In this MB boundary determination unit 201, the input bit system 1 32 Determine if it is at the MB boundary.
  • the code amount counter unit 202 counts the code amount of the bit system lj 132.
  • the determination in the MB boundary determination unit 201 is determined to be the MB boundary, and the code amount in the power counter 202 is counted down. If the default value exceeds a certain value, an insertion permission signal 234 is generated, and the header information insertion section is generated.
  • the header information insertion unit 205 stores the input important information 1
  • the header information is created from 3 4 and the sync signal 13 5, and if the sync signal insertion determination section 203 determines that insertion is permitted, the encoded bit To add the header information 237 created in the system ij1 32, send it to the calculation unit 206. As a result, the power calculation unit 206 inserts the header information 2337 into the encoded bit system U 132, and the reconstructed bit system. U 1 3 6 is output. This bit system is the output of the bit string reconstruction unit 104.
  • the bit system 13j2 of the image data which is coded and input by the coding unit is examined, and becomes the boundary position of the macroblock MB.
  • an insertion permission signal 234 is generated.
  • the header information based on the input important information 134 and the synchronization signal 135 created in the header information insertion unit 205 is described in the above bit pattern. It can be added to 132.
  • the important information constructing unit 102 is configured such that the normal image-related important information constructing unit 206, which is one of the constituents, is normally configured based on the encoding information 133 from the encoding unit 101.
  • Information that is deemed important when encoding Information (for example, coding mode, time reference, etc.) is selected and used as normal image-related important information 238.
  • the arbitrarily-shaped image-related important information component 207 which is one of the constituent elements in the crucial information component 102, includes important information related to arbitrarily-shaped image coding (eg, For example, image size, position, encoding mode, reduction conversion mode, etc.) are selected, and this is set as important information relating to the arbitrary shape image.
  • the header information to be inserted into the bit sequence should include important information related to normal image information and important information related to arbitrary shape images. This allows the VP header to include information necessary for image reproduction of MPEG-4 encoded data.
  • Figure 3 shows a flowchart for creating header information.
  • the bit sequence reconstructing unit 104 first, as the first stage (step S502), the bit input from the encoding unit 101 is input. For System IJ, let's judge whether it is the MB (macro block) boundary position or not.
  • step S503 if it is determined that the input signal has been ⁇ , it is determined whether or not the synchronization signal R ⁇ should be introduced. This determination can be made by any algorithm of the user.
  • an algorithm that inserts a synchronization signal R ⁇ if the number of bits exceeds a certain number of bits from the immediately preceding synchronization signal When a certain number of MBs is exceeded from the synchronization signal, various methods can be used, such as determining whether to insert an RM along the shape in the image.
  • the video socket VP is a socket that starts with the synchronization signal RM. Even if an error has occurred before that and an out-of-synchronization has occurred, the video socket VP is reproduced with the synchronization signal RM. Synchronization is possible.
  • step S503 If it is determined in step S503 that the synchronization signal RM is to be inserted, insert the RM, and insert the VP header following the RM (see the step in FIG. 3). Top S504). Then, the process proceeds to step S505.
  • step S505 a judgment is made as to whether or not the important information of the VP header is duplicated as an extended header.
  • step S507 it is determined whether or not the image is an arbitrary-shaped image.
  • important information in the encoding of the arbitrary-shaped image in the VOL header is selected and output (step S508 in FIG. 3).
  • the VP header is generated and inserted into the bit sequence.
  • Fig. 4 shows a configuration example of the VP header for an arbitrary-shaped image.
  • Figure 2 shows a configuration example of the VP header for an arbitrary-shaped image.
  • the extended header EX is a ea eader power
  • 26r contains important information in arbitrary shape image coding, that is, the width (VW), height (VH) of the image, the X coordinate (VHMSR) for pasting the image, and the Y coordinate (VVMSR ), A flag (CCRD) indicating whether the shape information is reduced and transformed and encoded, and a shape information encoding type (intra-frame encoding Z frame Information (VSCT) is added to the data.
  • VW width
  • VH height
  • VHMSR X coordinate
  • VVMSR Y coordinate
  • a flag indicating whether the shape information is reduced and transformed and encoded
  • a shape information encoding type Intra-frame encoding Z frame Information (VSCT) is added to the data.
  • the important information in the arbitrary shape image coding is not limited to the above information, but may be different depending on the use of the application. It is possible to increase the amount of information, or conversely, reduce the amount of information. However, it is necessary for the transmitting side and the receiving side to have a common understanding of the header format.
  • the VP header is provided with an extended header to provide important information in normal image coding, as well as synchronization signals and any shape in image coding, including synchronization signals. It is possible to include important information in the image encoding. Even if the header is partially broken, it has a healthy header. In other words, the image can be decoded. Further, since there is a synchronization signal, the problem of the video socket VP being out of synchronization can be solved. That is, the video bucket VP starts with the synchronization signal RM. This is a kit, and it is possible to perform resynchronization with the synchronization signal RM even if an error has occurred earlier and an out-of-synchronization has occurred.
  • the conventional rectangular image code has high resistance to noise during transmission, and even in the case of arbitrary shape image coding. It is possible to provide a moving picture coding technique capable of providing the same error resistance as coding.
  • the decoding unit will be described. According to the decoding unit according to the first embodiment shown in FIG. 5, the output of the separation unit 302 to which the coded bit sequence is input is output to the decoding unit 3. 0 3 and connected to synchronous detection section 304. The output of the synchronous detection section 304 is connected to the other input of the decoding section 303. The output of the decoding section 303 is connected to the error checking section 305. The output of the error checking section 305 is connected to the important information forming section 306 together with the output of the decoding section 303. The output of the important information configuration section 303 is connected to the decryption section 303.
  • the separating unit 302 separates the bit system ij 33 1 received from the transmission path Z storage medium 106 into the image bit system IJ 33 2 and other data. It is set up to do this.
  • the synchronization detection section 304 detects the synchronization signal RM from the bit system ij 332 output from the separation section 302. Further, the decoding unit 303 decodes the image bit system IJ332 that is output after being separated from the separation unit 302 and outputs the image data. Generate. At this time, the decoding unit 303 is configured to perform the decoding process while synchronizing with the synchronization signal detected by the synchronization signal detection unit 304. Yes.
  • V 0 P video object play
  • the checking section 300 checks the decoding information 330 output from the decoding section 303 so that no error occurs during the decoding operation. If an error is detected, the error check unit 3005 determines that the important information configuration unit 303 has an error in the decoding process. It is configured to notify the user of this fact and suppress output of important information to the decoding unit 303.
  • the decoding unit 303 is configured to perform processing corresponding to the error. Further, after performing processing corresponding to the error, the decryption section 303 performs decoding work from the position of the next synchronization signal detected by the synchronization detection section 304. Go.
  • the bit system 331 received from the transmission path Z storage medium 106 is transmitted to the image bit by the separation unit 302. It is separated into the system ij 332 and other data. The other data is sent to the corresponding decoding unit.
  • the image bit 33j 32 separated by the separation unit 302 is input to the decoding unit 303 and subjected to decryption. At this time, the decoding process is performed while the synchronization signal is detected by the synchronization signal detection unit 304 from the middle of the bit system IJ332.
  • Decoding information obtained by being decoded by the decoding unit 303 The error is detected during decoding by the error checking unit 305 from the data input unit 340. Detect if it is born or not. If an error is detected, after processing corresponding to the error is performed in the decoding section 303, the position of the next synchronization signal detected by the synchronous detection section 304 is determined. Decryption work It is.
  • the decoding unit 303 determines the type of the next synchronization signal, and if the error signal 335 is true in the case of the synchronization signal RM, the important information configuration unit 3006 to VOP header is used. Obtain the information of da 3 4 3.
  • VOP Video Object Plan
  • the important information forming unit 303 will use that VOP header. Output information. If there is no V ⁇ P header in the VOP currently being decoded, if the VEC header has important information inserted by the HEC in the VP header, it is output. .
  • the important information obtained in the important information configuration section 303 is used.
  • the important information obtained by the important information constructing section 303 includes a VOP header in the VOP (video 'object. Plane) currently being decoded by the decoding section 303. If so, the information is output, and if the VOP currently being decoded does not have a VOP header, the HEC inserts important information into the VP header. If so, output it.
  • the important information in arbitrary shape image coding is also included in arbitrary shape image coding.
  • the data with the normal image encoding is used for the part with a healthy header. Even if the data is obtained by encoding an image of an arbitrary shape, the image can be decoded from the data.
  • the problem of out-of-sync of the video packet VP is solved. That is, the video '' The bucket VP starts with the synchronization signal RM. This is a kit, and it is possible to resynchronize with this synchronization signal RM even if an error has occurred earlier and an out-of-synchronization has occurred.
  • the important information in arbitrary shape image coding is also provided as header information in arbitrary shape image coding.
  • the decoding section 303 By transmitting the signal, it is a technology that provides resistance to noise during transmission.
  • this important information is extracted and decoded by the decoding section 303. It is important that the decoding process be able to use it for decoding.
  • the characteristic point of the present embodiment lies in the important information configuration section 306. Therefore, the important information configuration section 300 will be described in detail with reference to FIG.
  • the important information composing section 303 is a normal image-related important information composing section 300, an arbitrary shape coding judging section 310, a switching section 310, 311 and an arbitrary shape. It is composed of an image-related important information configuration section 310.
  • the normal image-related important information forming unit 3007 encodes the encoding module in the information of the VP header. It is configured to decode and output code information, time 'reference, etc.
  • Arbitrary shape encoding determination section 3 08, decoding section 3 0 3 This is a part that determines whether the image being processed is an arbitrary-shaped image or a conventional rectangular image, and the switching unit 310 according to the result of the determination. , 311 are switched and controlled.
  • the switching section 309311 1 is a two-part system switching switch.
  • the arbitrarily-shaped image-related important information forming unit 310 is a unit that decodes important information (for example, image size, image position, etc.) regarding the arbitrarily-shaped image, and a switching unit for an arbitrarily-shaped image. 309 and 311 are switched so as to be connected to the arbitrarily-shaped image-related important information configuration section 310, and the important information about the arbitrarily-shaped image is reconfigured.
  • the important information related to the normal image by the normal image related important information forming unit 3007 the important information related to the arbitrary shape image is also given to the decoding unit 303 to perform decoding. And decoding of an arbitrary-shaped image in the decoding unit 303 is also possible.
  • the related important information forming section 307 decodes the coding mode information, the time reference, and the like.
  • the arbitrary shape encoding determination unit 300 determines whether the image currently decoded by the decoding unit 303 is an arbitrary shape image or a conventional rectangular image. Then, a control signal corresponding to the result of the determination is generated.
  • the switching units 309 and 311 are controlled by the control signal from the arbitrary shape encoding determination unit 3108.
  • the arbitrary shape image related important information configuration unit 310 restores important information (for example, image size, image position, etc.) about the arbitrary shape image.
  • final important information 343 is created and given to the decoding unit 303 as an output of the important information forming unit 306.
  • the decoding side can extract the information.
  • the important information necessary for decoding the arbitrary shape image can be given to the decoding unit 303.
  • the size of video, object, and plan VOPs is MPEG-4, in which the power S expressed in 13 bits and the case in which all 13 bits are not used are used. There are many. Therefore, a method of reducing the code amount by making the size representation variable is considered.
  • the basic policy here is expressed as a set of "codeword length" + "value”.
  • a header that indicates the code length And the data part following it. That is, the header “header 1" and the header “header 2” have the power, the former adopts a 1-bit configuration, and the latter adopts a 3-bit configuration.
  • the value 1 is used in the range from the input value to the value 5 4 2, the value “1” and the value “2” have a code word length of 5 bits, and the value “3” to the value “6”
  • the codeword length shall be 6 bits, and the codeword length shall be 7 bits up to the value "7" to the value "14". Up to the value 15 "power value” 30 ", the codeword length has an 8-bit configuration.
  • the codeword length has a 9-bit configuration.
  • the codeword length is composed of 10 bits.
  • the code word length is composed of 11 bits up to the value "159” and the value "286”.
  • the code is up to the value "287” and the value up to the value "542”.
  • the word length is 12 bits.
  • the header "header 1” and the header “header 2” have a 1-bit configuration and the latter has a 2-bit configuration.
  • the codeword length is composed of 12 bits, and the value "1055" is the value of the value "20778".
  • the codeword length has a 13-bit configuration
  • the codeword length has a 14-bit configuration up to the value "2029" and the output value "4126". 4 1 2 7
  • the code word length up to the value "8222 2" shall be composed of 15 bits.
  • the word length is fixed at 13 bits, but is variable from 5 bits to 15 bits depending on the numerical value.
  • a maximum of 18 bits is required even if the header is included, and the number of constituent bits is 34 bits compared to the conventional 52 bits. Less is needed.
  • VW and VH are the maximum.
  • FIG. 9 shows a basic configuration diagram of this modified example.
  • 1001 is a variable length coding unit
  • 1002 is a variable length code generation unit
  • the variable length code generation unit 1002 receives size information. Then, this is converted into a code word.
  • the variable length coding unit 1001 reads out size information from the input important information 1031, and The size information 1032 is sent to the variable-length code generation unit 1002, and the codeword 1103 obtained from the variable-length code generation unit 1002 is encoded. Output as word 103 4.
  • variable-length coding unit 1031 when the important information 1031 is input, the important information 1031 is input to the variable-length coding unit 1001.
  • the variable length coding unit 1001 reads out the size information from the input important information 1031, and converts the size information 10032 into a variable length code generation unit 1.
  • the variable-length coding unit 1001 sends the codeword to the dataword 102 and generates the codeword 103. In this case, the code word 10334 obtained by converting the size information is output.
  • the present embodiment describes MPEG-4, the same information is added to the transmission of any shape encoding other than MPEG-4, thereby improving error resilience. Is possible.
  • FIG. 10 is a basic configuration diagram of a video encoding device according to the second embodiment of the present invention.
  • the output of the coding unit 601 is connected to the bit sequence division unit 602 and the important information configuration unit 603.
  • the output of the important information configuration section 603 is connected to the socket header generation section 604.
  • the output of the bit string division unit 602 and the packet header generation unit is connected to the packet configuration unit 605. No ,.
  • the output of the packet forming section 605 is connected to the transmission path 106.
  • the encoding unit 601 encodes the input image signal 1331 and outputs the encoded image signal 131 to the bit-sequence division unit 602. It is configured to output the encoded information 634 to the important information component 102.
  • the important information forming unit 102 receives the encoded information 634 when the encoding is performed by the encoding unit 101, selects only the important information necessary for decoding, and outputs it.
  • the information necessary for encoding and decoding of arbitrary shapes in MPEG-4 for example, the image size of arbitrary shape image encoding Information of the width VW information, the height VH, and the X coordinate VHMSR information of the image position for indicating the position at which the decoded image is displayed, the y coordinate VVMSR information, and the sign of the shape information VOP system that indicates the conversion mode: — Converts the coding type “vop—shape—codng—type (VSCT)” and the size of the shape information to A flag that indicates whether or not to encode the image.
  • Important information such as change—conv—ratio—disable (CCRD) is acquired as important information 635 such as change-conv-ratio-disable (CCRD).
  • the important information 635 is given to the bucket header generating section 604, and the normal image-related important information is normally reflected on the packet header.
  • CCRD change-conv-ratio-disable
  • the important information 635 is given to the bucket header generating section 604, and the normal image-related important information is normally reflected on the packet header.
  • a book with the specified format is reflected in the extension header newly installed in the bucket header.
  • the packet header generating section 604 outputs the important information 635. It is incorporated in the packet header and output as the packet header 636 to the bucket constituting section 605.
  • the bit frame IJ dividing section 602 is The bit system 632 output from the encoding unit 61 is output. Ke It is configured to divide the data into output sizes.
  • the bucket configuration section 605 is composed of a bit string division section 633 output from the bit row division section 602 and a header header generation section 604
  • the header header 636 output from the power source is multiplexed, and the obtained multiplexed data 637 is output to the transmission line / storage medium 106. It is done.
  • the input image signal 13 1 of the moving image is encoded by the encoding unit 60 1.
  • the encoded information 634 at the time of encoding is output from the encoding unit 601, and is input to the important information forming unit 603.
  • the important information constructing unit 603 selects only important information 635 necessary for decoding from the inputted encoded information 634 and outputs it.
  • the important information 635 is incorporated in the bucket header in the header header generating section 604, and is output as the socket header 636. It is done.
  • the bit string dividing section 602 divides the bit system 632 output from the encoding section 601 into a socket size and outputs it.
  • the output header headers 636 are multiplexed, and the multiplexed data 637 is output to the transmission line / storage medium 106.
  • the important information 635 output from the important information forming unit 6002 is determined in the bit sequence obtained by encoding the moving image. No, in the format we got.
  • the header is generated by the packet header generation unit 604, added to the encoded data of the moving image, packetized, and transmitted. It is what you do.
  • the header has an extension header, which is usually used to store and send important information other than image-related important information. Is the part that is
  • information necessary for encoding and decoding of an arbitrary shape in MPEG-4 for example, image encoding of an arbitrary shape can be used.
  • image encoding of an arbitrary shape Is the information on the X-coordinate VHMSR of the image position, the information on the y-coordinate VVMSR, and V ⁇ P 'shape' coding type that indicates the coding mode of the shape information
  • VSCT vop-shape-coding-type
  • CCRD change-conv-ratio-disable
  • the decoding unit is configured to perform the decoding process by using the information extracted from the extended header of this packet, the decoding unit is optional for each packet. Shape images can be reproduced, and even in the case of arbitrary shape image coding, the same error resistance as that of conventional rectangular image coding can be provided. Therefore, even if some VPs in the VOP header are broken, the video can be decoded.
  • the important information configuration section 60 which is an important configuration of the invention, will be described in detail with reference to FIG.
  • FIG. 11 shows a block diagram of the important information component 603.
  • the important information configuration section 603 is an important point in this embodiment, and as shown in FIG. 11, the important information configuration section 603 is comprised of a switching section 221 and an extended section. It is composed of a header insertion determining section 222 and an arbitrary shape image-related important information forming section 222.
  • the extended header insertion determination section 222 is a section for determining the mode of adding the extended header to the header, and includes a coding section 6. 0 1 Encoding information input from 6 3 4 Encoding section 6 0 1 Judging whether or not encoding unit 6 1 is performing image encoding of an arbitrary shape, determining whether or not encoding When image coding is performed, the extension header is applied to the packet header [1].
  • the switching section 222 is a section opening / closing switch, and the extension header insertion determination section 2202 controls the extension header. When it is determined that the calorie is attached to the header, the switching section 222 is determined by the control signal output from the extended header insertion determining section 222. The section is closed, and the encoded information 634 from the encoding section 601 is given to the arbitrary shape image related important information forming section 222.
  • the arbitrarily-shaped image-related important information forming section 2203 receives the encoded information 634 input through the switching section 2201 as input encoded information 2223, and Thus, VOP header information related to arbitrary shape coding is selected and output as important information 635.
  • an important information structure is transmitted from the encoding unit 61.
  • the encoded information 634 input to the component section 603 adds the extended header to the socket header by the extended header insertion judgment section 222. Make a judgment on what the power is. If it is determined that the information is to be added, the input coded information 223 is input from the switching unit 221 to the arbitrarily-shaped image-related important information forming unit 223.
  • the arbitrarily-shaped image-related important information configuration section 2203 selects VOP header information related to arbitrarily-shaped encoding from the input encoding information 223, and outputs important information.
  • the width (VW), height (VH), and X coordinate of the image are compared to the encoding of a rectangular image.
  • VHMSR Y-coordinate
  • VVMSR Y-coordinate
  • CCRD encoding mode for shape information
  • VCA flag
  • VAV value
  • VRT flag
  • Figure 12 shows the format of the bucket header extension at that time.
  • the numbers above represent the number of bits, and one horizontal row represents 32 bits.
  • VW, VH, VHMSR, and VVMSR are represented by 13 bits each, and the remaining CCED, VSC T is one bit each.
  • the bit (RV) of the reserve "Reserve” is inserted at the end in order to align to 32 bits. If there is a possibility that the same bit sequence as a synchronizing signal may appear due to the continuation of VW, VH, etc., for example, as shown in Fig. 13 Insert a marker (M) between the values to ensure that no other signal, such as a synchronization signal, can be output, or that it does not match the bit sequence.
  • the position of the marker M does not need to be between each piece of information, and may be embedded anywhere if the same rules are applied on the transmitting side and the receiving side. I don't know.
  • the extended header is embedded in the packet header for embedding normal image-related important information.
  • the important information related to the arbitrary shape image is embedded in the extension header and the packet header and the Then, the data is attached to the calories. I'm trying to make a kid. Therefore, an image of an arbitrary shape can be reproduced for each packet, and even in the case of encoding of an arbitrary shape image, an error similar to the encoding of a conventional rectangular image is obtained.
  • the VOP header and some VPs Even if the video is broken, video decoding can be performed.
  • the output of the demultiplexing unit 702 that receives the coded bitstream is output from the decoding unit 703 and the important information structure. Connected to section 705.
  • the output of the decoding section 703 is connected to an important information configuration section 705 via an error checking section 704.
  • the output of the important information configuration unit 705 is connected to the decoding unit 703.
  • the separation unit 702 separates the bit system IJ 731, which is input from the transmission path Z storage medium 106, into a bucket for image bits, and forms a bucket with the system IJ 732. It is intended to be separated into the header 735 and other data.
  • the decoding section 703 decodes the separated image bits system ij 732 by using the important information from the important information forming section 705, and This is a section that obtains image data, and the error checking section 744 performs decoding during decoding from the decoding information 733 obtained by the decoding section 703. This section is used to check if a laser that has generated a laser is a serious one.
  • the important information forming unit 705 is one of the separated data processed by the separating unit 720. It is configured so that important information is configured from the information card of the header 735 and supplied to the decoding unit 703.
  • a bit system ij 73 1 input from the transmission line / storage medium 106 is input into the image bit by the separation unit 70 2.
  • System IJ 732 and the socket header 735, and other It is separated into data.
  • the other data is sent to the corresponding decoding units.
  • the separated image bit system 732 is input to the decoding unit 703, where the decoding is performed.
  • the decryption process in the decoding unit 703 is performed using the important information from the important information configuration unit 705 for the separated image bit system U732. U.
  • the error checking section 704 outputs the decoding information from the decoding section 703 to the output section 733 when an error occurs during decoding from the output. To check . As a result of the check, if it is determined that there is an error, the important information forming part 705 forms the important information 736 existing in the bucket header 735. Then, the decoding section 703 starts decoding the coded bit sequence using the important information 736.
  • an extended header can be added to the bucket header in which important information related to the normal image is embedded.
  • a bucket header in which the arbitrarily-shaped image-related important information is embedded in the extension header is applied to the data. . Since the moving image is packetized for this purpose, important information related to the arbitrary shape image can be acquired from the extended header, and the arbitrary shape image can be decoded.
  • the important information configuration part 705 which is an important element in the present embodiment, will be described in detail with reference to FIG.
  • the important information configuration section 705 includes a switching section 2301, an extended header insertion determination section 2302, and an arbitrary shape image related important information decoding section 23. It is composed of 0 3.
  • the extension header insertion judgment unit 2302 has an extension header. KET This section is used to determine the type of power that is applied to the header D.
  • the separation header 70 3 In the case where the information bit No. 5 is used to determine whether or not the image bit sequence 732 performs image coding of an arbitrary shape, and performs image coding of an arbitrary shape. In addition, it is configured to determine that the extended header is applied to the socket header [1], and to output a control signal corresponding to the determination.
  • the switching section 2301 is a section opening / closing switch, and the extension header insertion judging section 2302 attaches the extension header to the / header.
  • the switching section 2301 is closed by a control signal output from the extension header insertion determining section 2302.
  • Separating part 702 The information of the header 735 is supplied to the arbitrary shape image-related important information decoding section 2303.
  • the arbitrary shape image-related important information decoding unit 2303 uses the information of the socket header 735 input via the switching unit 2301 as input information 233 3 Upon receiving the information, the information relating to the arbitrary shape encoding is restored, and the information is output as important information 636.
  • the extended header 735 is applied to the extended header in the packet header information.
  • the packet header is determined by decoding the packet header information.
  • the extension header insertion determination unit 2302 controls the switching unit 2301 to close. More, no ,. After passing through the header 735, this is used as the header information 233 3 for important information related to the arbitrary shape image. Input to the information decoding unit 2303.
  • the arbitrarily-shaped image-related important information decoding section 2303 decodes important information on encoding of the arbitrarily-shaped image based on the packet header information 233, and converts the important information into important information. 36 and output to the decoding unit 703.
  • the important information related to the arbitrary shape image is extracted from the information in the extended header that is set so that the important information related to the arbitrary shape image can be embedded. It will be able to decrypt.
  • the error tolerance is the same as that of the conventional rectangular image. It is possible to have Furthermore, by using the extension header of the transmission path protocol, it is possible to implement the image encoding without changing the bit sequence. Wear . This is effective when using existing standard methods.
  • the code amount can be reduced by performing variable-length coding on VW, VH, VHMSRVVMSR.
  • the present embodiment describes MPEG-4, the same information is added to the transmission of image coding of any shape other than MPEG-4, so that erroneous information is added. Resistance can be improved.
  • a moving image signal input from a camera (not shown) provided to the PC 3001 is encoded by an encoding device incorporated in the PC 3001. (Or coding software) performs video coding.
  • the video signal output from this encoding device is transmitted wirelessly by the wireless device 303 along with other audio and data information, and the other wireless device 300 4 to be received.
  • a mobile phone, PHS, wireless LAN device, etc. may be used for this radio.
  • the signal received by the wireless device 304 is decomposed into a moving image signal and voice and data information.
  • the moving image signal is transmitted by a decryption device (or decryption software) incorporated in the notebook computer 3005. It is decrypted and displayed on the display of the Note PC 3005.
  • a moving image signal input from a camera (not shown) provided on the note PC 3005 is connected to the note / computer 3
  • Decoding is performed in the same manner as described above using an encoding device (or encoding software) incorporated in the 005.
  • the generated video signal is multiplexed with other audio and data information, transmitted wirelessly by the wireless device 304, and received by the wireless device 303. It is done.
  • the signal received by the wireless device 30 ⁇ 3 is decomposed into a moving image signal and audio and data information. Of these, the moving image signal is no.
  • the data is decrypted by the decryption device (or decryption software) incorporated in the computer 3001, and the data of the computer 3001 is decrypted. Appears on the display.
  • the encoding according to the present invention is applied to the moving image communication between the personal computer 3001 and the notebook computer 300 and the portable television telephone 3006. It is also possible to apply a Z decryption device. It is generated by an encoding device incorporated in the computer 3001 or the notebook computer 3005, and the radio 3003 or 3003 is generated. The moving image signal transmitted by wireless from the mobile phone is received by the wireless device incorporated in the portable videophone 300. The signal received by the radio is decomposed into a moving image signal and voice and data information. this Of these, the moving image signal is decoded by a decoding device (or decoding software) incorporated in the portable videophone 300, and The information is displayed on the display of the portable television phone 300.
  • a decoding device or decoding software
  • the moving image signal input from the camera 1007 incorporated in the portable videophone 300 is incorporated in the portable videophone 300.
  • the coding device or coding software
  • the generated moving image signal is multiplexed with other voice and data information, and is transmitted wirelessly by a wireless device incorporated in the portable television telephone 3006.
  • Received by the device 3003 or 304 The signal received by the wireless device 3003 or 304 is decomposed into a moving image signal and voice and data information. Of these, the video signal is no.
  • Depends on the decoding device (decryption software) built into the computer 3001 or the notebook computer. Are decoded and displayed on the display of the NORTH COMPONENT 301 or the NOTE NO.
  • FIG. 26 shows an encoding device according to the fourth embodiment corresponding to the encoding device according to the first embodiment in FIG.
  • the multiplexed bit sequence output from the multiplexing unit 105 is stored in the recording medium 107.
  • This recording medium 107 is formatted according to the present invention. That is, the recording medium 107 stores a shape information header and a plurality of VOPs following the shape information header.
  • the shape information header is a field that stores information that is commonly handled in the encoded data, and stores information higher than the V ⁇ P header. . For example, the image size of a rectangular image is stored.
  • Each V ⁇ P contains multiple macroblocks, with the first macroblock containing the VOP header and the MB placed after this VOP header.
  • the following block block consists of the VP header and the MB data following the VP header.
  • the VP header is formatted according to Figure 4. Is performed.
  • FIG. 27 shows a decoding apparatus according to the fourth embodiment corresponding to the decoding apparatus according to the first embodiment in FIG.
  • This decoding device reads and decodes the multiplexed bit sequence stored in the recording medium 107 by the coding device according to the fourth embodiment.
  • FIG. 28 shows a decoding device according to the fifth embodiment corresponding to the encoding device according to the second embodiment shown in FIG.
  • This encoding device stores the multiplexed data output from the bucket configuration unit 605 in a recording medium 107 in accordance with the format of the present invention.
  • the format includes a shape information header and multiple V VPs, and each of the multiple macroblocks of each VOP has a VP header force S It is.
  • FIG. 29 shows a decoding device of the fifth embodiment corresponding to the decoding device of the second embodiment of FIG. This decoding device reads and decodes the multiplexed bit sequence stored in the recording medium 107 by the coding device according to the fifth embodiment.
  • the image code sequence is sequentially read from the storage medium 107, and the synchronous code is detected first (step S11). If the detected synchronous code SVOP startcode is YES (YES in step S12), the VOP (frame) decoded immediately before is displayed in the image information. Perform processing to output to the output device (step S13).
  • the decoding of the VOP header (VOP header in FIG. 29) that follows the bow I in the VOP startcode in the image code string is performed (step S14). If the VOP header power S is correctly decoded (YES in step S15), the information recorded in the temporary storage circuit in the decoding device is used.
  • Step S16 the macroblock data (MB data in Fig. 29) continuing from the bow to the V ⁇ P header is decoded, and the video packet is decoded again. (Step S17).
  • Step S 2 1 1 2). If the decision is SNO, jump to step 22. If the duplicated information can be decoded correctly (YES in step S22), the duplicated information and the information stored in the temporary storage circuit are stored. Are compared (step S23). If the comparison results are equal (NO in step S23), the macroblock data (Fig. 29) that follows the bow I in the video socket header The middle MB data) is decoded, and the video packet is decoded (step S17). If the comparison results are not equal (YES in step S23), this video-no. The packet contains the VO that was just restored. P is determined to belong to a different VOP, and processing for outputting the V V P decoded immediately before to the image information output device is performed (step S24). The information recorded in the temporary storage device is replaced with the decoded duplicated information (step S25). Further, the video packet is decoded (step S17).
  • a code string obtained by encoding a voice signal or an audio signal, or a data control method is used instead of recording the image code string directly on the storage medium. Even if the code string multiplexed with the control information is recorded in the storage medium, it is good.
  • the image encoding sequence and the audio / audio encoding are performed by the demultiplexing device. A process for demultiplexing the sequence, data, and control information is performed, and the demultiplexed image code sequence is decoded by the coding device 820.
  • FIG. 29 shows an example in which information recorded in the storage medium 810 is transmitted to the decoding device 820 via the signal line 80.
  • the information may be transmitted via a transmission path such as a wired Z wireless / infrared ray other than the signal line.
  • the code string recorded on the storage medium is recorded with duplicated important information
  • the code string is stored on the storage medium. Error occurs in the information recorded in the recorded information, or when an error occurs in the signal line or transmission line that sends the information recorded in the stored information to the playback image. Plays back images with little deterioration P
  • N Integrated services Digital Network Applicable to information transmission systems that transmit data using a wired communication network such as the Internet, or a wireless communication network such as PHS or satellite communication it can .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

明 細 書
動画像符号化装置お よ び動画像複号化装置 技術分野
本発 明 は 、 符号化 さ れた動画像 Z静止画像 を I S D N
( Integrated Services Digital etwork ) やイ ン タ 一 不 ッ ト 等 の 有線通信網 、 あ る い は P H S や衛星通信等 の無線通信 網 を 用 い て 伝送す る 情報伝送方式お よ びそ の方法が適用 さ れ る 情報伝送 シ ス テ ム に お け る 符号化 Z複号化装置 に 関す る 。 背景技術
近年、 画像 を は じ め と す る 各種情報のデ ィ ジ タ ル符号化技 術お よ び広帯域ネ ッ ト ワ ー ク 技術の進展 に よ り 、 こ れ ら を禾 IJ 用 し た ア プ リ ケ ー シ ョ ン の 開発 が盛ん に な つ て お り 、 圧縮符 号化 し た画像 な ど を 、 通信網 を利用 し て伝送す る シ ス テ ム 力 S 開 発 さ れて レヽ る 。
例 え ば 、 テ レ ビ 電話 、 テ レ ビ 会 議 シ ス テ ム 、 デ ィ ジ タ ノレ テ レ ビ放送 に お いて は 、 動画像や音声 を そ れぞれ少 な い情報量 に圧縮符号化 し 、 そ れ ら 圧縮 さ れた動画像符号列 、 音声符号 列や他のデー タ 符号列 を 多重化 し て 一つ の符号列 に ま と め て 伝送 Z蓄積す る 技術が 用 い ら れて い る 。
動画像信号の圧縮符号化技術 と し て は動 き 補償、 離散 コ サ イ ン 変 換 ( D C T ) 、 サ ブノく ン ド符号化 、 ピ ラ ミ ッ ド符 号化 可変長符号化等 の技術や、 こ れ ら を組み合 わせた 方式が 開発 さ れて い る 。 ま た 、 動画像符号化の 国 際標準方式 と し て は I S O M P E G — 1 , M P E G — 2 , I T U - T H . 2 6 1 , H . 2 6 2 , H . 2 6 3 力 存在 し 、 ま た動画像、 音声 ' オーデ ィ ォ信号を圧縮 し た符号列や他のデー タ を 多重化す る 国 際標準方式 と し て は I S O M P E G シ ス テ ム 、 I T U — T H . 2 2 1 , H . 2 2 3 力 S存在す る 。
上述 の動画像符号化国際標準方式の よ う な従来の動画像符 号化方式にお い て は 、 動画像信号 を フ レ ー ム 毎 に分割 し 、 さ ら に フ レ ー ム を 細 力 レ、領域に 分割 し た G O B (Group Of B 1 o c k )ゃマ ク ロ ブ 口 ッ ク 等 の 単位毎 に符号化 が行われ、 こ の フ レー ム 、 G O B 、 マ ク ロ ブ ロ ッ ク 毎 に符号化のモ ー ド等 を 示すヘ ッ ダ情報が付力 D さ れ る 。 こ れ ら のへ ッ ダ情報 はそ の フ レ ー ム 、 G ◦ B 等全体の復号に必ず必要 な情報で あ る 。
こ の た め 、 も しヘ ッ ダ情報 に伝送路 /蓄積媒体におい て誤 り が混入 し 、 それが た め に動画像符号化装置 において正 し く 復号が で き な い と 、 そ のヘ ッ ダ情報の あ る フ レ ー ム 、 G O B 等 全体が 正 し く 復号で き ず 、 動画像復号化装置 にお け る 再生 動画像 の 品 質が 大 き く 劣化 し て し ま う こ と に な る 。
す な わ ち 、 圧縮符号化 さ れた画像 を通信網 を利用 し て伝送 す る 場合 に は 、 受信側 で は伝送 さ れて き た " 0 " / " 1 " の ビ ッ ト 列 カゝ ら 、 意味の あ る 情報 を 再生す る 復号処理が必要 に な る 。
そ の た め に は 、 一 定の ビ ッ ト 列 の ま と ま り 力 S ど の よ う な規 則 の も と に符号化 さ れて き た も の な の か を 指 し示す情報 と し て 、 前述 のヘ ッ ダ情報が非常 に重要 に な る こ のヘ ッ グ と は例 え ば、 現在復号 し て い る フ レ ー ム の 予測 タ イ プ ( フ レ ー ム 内 の符号化で あ る か、 フ レー ム 間 の符号化で あ る か、 等) 、 そ の フ レー ム を表示す る タ イ ミ ン グ を示す情報 ( タ イ ム ' レ フ ァ ラ ン ス ) 、 あ る い は量子化 を行 う 際の ス テ ッ プサ ィ ズ情報 な ど で あ る 。
従 っ て 、 こ れ ら のヘ ッ ダ情報が失われて し ま う と 、 それ以 後 に伝送 さ れて き た情報が 正 し く 復号で き な い こ と に な る 。
例 え ば前記 フ レ ー ム の予測 タ イ プが 、 本来は フ レ ー ム 間 の 符号化 で あ る こ と を 示 し て レ、 た に も 関 わ ら ず 、 何 ら かの原 因 で ビ ッ ト 歹 U に誤 り が 混入 し 、 フ レー ム 内 の符号化 を示す ビ ッ ト ノ タ ー ン に変化 し た と す る 。 こ の場合、 そ の後 の 実際 の情 報が 正 し く 伝送 さ れて き た と し て も 、 復号側 で は そ の信号 を フ レ ー ム 内符号化 の結果 と 判 断 し て し ま う た め 、 最終的 に は 正 し く 復号 さ れな い こ と に な る 。
よ っ て 、 動画像符号化装置 にお け る 再生動画像の 品質が 大 き く 劣化 し て し ま う こ と に な る 。
こ の よ う な誤 り の 混入 は 、 特 に無線テ レ ビ電話や携帯情報 端末 、 無線デ ィ ジ タ ルテ レ ビ受信装置等の よ う に無線伝送路 を 介 し て 動画像 を伝送 Z蓄積す る シ ス テ ム を 用 い た場合 に 多 発す る 。
従来の画像伝送 は 、 有線通信網 を 用 いた シ ス テ ム が 主流で あ り 、 仮 に無線通信網 を 用 い る 場合で も 誤 り 率が非常 に少 な い衛星通信 を想定 し て い た。 従 っ て 、 伝送す る 符号化列 の構 造 自 体 に つ い て の誤 り 耐性 につ いて は十分 な 考慮が な さ れて お ら ず、 ヘ ッ ダ情報等の重要情報 に対す る 伝送路誤 り 保護が 十分 で は な か っ た。
一方 、 今 後 の移動体通信 の 主流の一つ に な る と な る と 見 ら れ る P H S (簡易型携帯電話 (Portable Handyphone System) ) で は誤 り 率が衛星通信の十万倍〜 百万倍程度 に な る た め 、 従来の よ う に符号化 さ れた ビ ッ ト 列 に誤 り 訂正 を施 し た だ け で は十分 な訂正が不可能 な状態 に な る 。
ま た 、 P H S と 同様に今後 の通信の 主流に な る と 予想 さ れ る イ ン タ 一ネ ッ ト で は 、 レ、つ 、 ど の よ う な誤 り が 混入す る 力、 が統計的 に 明 ら かに な っ て お ら ず 、 適切 な誤 り 訂正が行 え な い場合 も あ る 。
し カゝ し な 力 S ら 従来の構成 に お い て は 、 H E C を 用 い て 二重 かで き る 情報 中 に は 、 任意形状 の画像符号化 の 際 に必要 と な る 情報が含 ま れて お ら ず、 オブ ジ ェ ク ト 単位で任意形状の画 像 を復号化 し た場合 に伝送誤 り に よ り V 〇 P ヘ ッ ダ情報 が失 われた場合 に 、 正 し く 復号で き な い と レヽ つ た 問題が あ っ た。
そ れ故、 任意形状 の画像符号化 を 用 い て符号化 さ れた符号 列 を伝送す る 場合 に 、 伝送デー タ の誤 り 耐性が 弱 く な つ て し ま う と レヽ ぅ 問題点 が あ っ た。
本発 明 に よ り 、 任意形状画像符号化の場合 で も 従来の長方 形画像の符号化 と 同等 の誤 り 耐性 を持たせ る こ と が可能 と な る 。
発明 の 開 示
第 1 の発 明 は、 入力 さ れた動画像 を符号化 し て ビ ッ ト 列 を 生成す る 符号化部 と 、 こ の符号化部 に よ り 得 ら れ る 符号化情 報か ら 一 定の ビ ッ ト 列 の纏ま り 力 S ど の よ う な規則 の も と に符 号化 さ れて レ、 る か を指 し示す情報 と し て の重要情報 を 取 り 出 し て構成す る 重要情報構成部 と 、 同期信号 を 発生す る 同期信 号発生部 と 、 前記符号化部 に よ り 符号化 さ れた ビ ッ ト 列 に前 記 同期発生部か ら 出 力 さ れた 同期信号 と 前記重要情報構成部 に よ り 再構成 さ れた重要情報 を加 え ビ ッ ト 列 を 再構成す る ビ ッ ト 列再構成部 と を有す る 動画像符号化装置 を提供す る 。
第 2 の発 明 は 、 第 1 の発 明 にお け る 重要情報構成部 が符号 化情報 か ら フ レ ー ム を 方形領域単位で符号化す る 通常 の符号 化方式にお け る 重要情報 で あ る 通常画像 関連情報 を構成す る 通 常画像 関連重要情報構成部 と 、 符号化情報 か ら フ レ ー ム 内 の 画像 を 任意形状画像領域単位で符号化す る 任意形状符号化 方式に お け る 重要情報で あ る 任意形状画像関連重要情報 を構 成す る 任意形状画像 関連重要情報構成部 と 、 符号化情報か ら 符号化 し て い る 画像が任意形状画像で あ る か否かを判 定す る 任意形状符号化判定部 と 、 こ の任意形状符号化判 定部 が任意 形状画像 と 判 定 し た場合 に任意形状画像関連重要情報 を 出 力 す る 切替部 と 、 通 常画像 関連情報 と 切替部 の 出 力 と を 多重化 す る 多重化部 と か ら 構成 さ れて い る 画像符号化装置 を 提供す る 。
第 3 の 発 明 は 、 動画像 を 符号化 し て 同期情報 を含む ビ ッ ト 歹 IJ を 得 る と 共 に 、 こ の符号化 に お け る 一 定の ビ ッ ト 列 の纏ま り が ど の よ う な規則 の も と に 符号化 さ れた か を指 し示す情報 と し て の 重要情報 をヘ ッ ダ情報 と し て付カ卩 し た ビ ッ ト 列 を含 む符号化デー タ を復号す る 復号化装置で あ っ て 、 入力 さ れた ビ ッ ト 列 か ら 画像 ビ ッ ト 歹 lj を 分離す る 分離部 と 、 画像 ビ ッ ト 列 を 復号す る 復号化部 と 、 画像 ビ ッ ト 列 か ら 同期信号 を検 出 し復号化部へ通知す る 同期信号検 出部 と 、 復号化部の復号情 報 に誤 り が 存在 し な レ、 カゝ ど う カゝを判定す る エ ラ ー チ ェ ッ ク 部 と 、 こ の エ ラ 一 チ ェ ッ ク 部が誤 り な し と 判定 した と き 、 復号 化部 か ら 出 さ れたへ ッ ダ情報 か ら 重要情報 を構成 し 、 複号化 部 に通知す る 重要情報構成部 と を 有す る 画像復号化装置 を提 供す る 。
第 4 の 発 明 は 、 前記第 3 の 発 明 に お け る 重要情報構成部 が へ ッ ダ情報か ら 通常画像関連重要情報 を構成す る 通常画像関 連重要情報構成部 と 、 へ ッ ダ情報か ら 復号化 し て い る 画像が 任意形状画像か ど う か を判 定す る 任意形状符号化判定部 と 、 へ ッ ダ情報か ら 任意形状画像関連重要情報 を構成す る 任意形 状画像 関連重要情報構成部 と 、 任意形状符号化判 定部 が任意 形状画像 と 判 定 し た場合 に 、 へ ッ ダ情報 を任意形状画像 関連 情報再構成部へ入力 す る 第 1 の切替部 と 、 任意形状符号化判 定部 で任意形状画像 と 判定 し た場合 に 、 任意形状画像 関連重 要情報 を 出 力 す る 第 2 の切替部 と か ら 構成 さ れて レ、 る 画像復 号化装置 を提供す る 。
第 5 の発 明 は 、 入力 さ れた動画像 を符号化 し て ビ ッ ト 列 を 得 る 符号化部 と 、 符号化部 に よ り 得 ら れ る 符号化情報か ら一 定の ビ ッ ト 列 の纏ま り が ど の よ う な規則 の も と に符号化 さ れ て レ、 る か を指 し示す情報 と し て の重要情報 を 取 り 出 し て構成 す る 重要情報構成部 と 、 符号化部 に よ り 符号化 さ れた ビ ッ ト 歹リ を 分割す る ビ ッ ト 列分割部 と 、 重要情報構成部 に よ り 再構 成 さ れた重要情報か ら バ ケ ツ ト ヘ ッ ダ を 作成す る ノ ケ ッ ト へ ッ ダ作成部 と 、 ビ ッ ト 列分割部 に よ り 分割 さ れた ビ ッ ト 歹 U と ノ ケ ッ ト ヘ ッ ダ生成部 に よ り 生成 さ れたバ ケ ツ ト ヘ ッ ダ と を 用 い て バ ケ ツ ト を構成す る ノ、。 ケ ッ ト 構成部 と を 有す る 画像復 号化装置 を提供す る 。
第 6 の発 明 は、 第 5 の発 明 の重要情報構成部が 、 符号化情 報か ら 任意形状画像関連重要情報 を構成す る 任意形状画像 関 連重要情報構成部 と 、 符号化情報か ら 任意形状画像 関連重要 情報 を保持 さ せた拡張へ ッ ダ を バ ケ ツ ト へ ッ ダに付加す る か ど う か判 定す る 拡張へ ッ ダ挿入判定部 と 、 拡張ヘ ッ ダ挿入判 定部 で拡張ヘ ッ ダ を挿入す る と 判 定 さ れた場合 にへ ッ ダ情報 を任意形状画像 関連重要情報 に 入力 す る 切替部 と か ら 構成 さ れて い る 画像複号化装置 を提供す る 。
第 7 の 発 明 は 、 動画像 を 符 号化 し て ビ ッ ト 列 を 得 る と 共 に こ の符号化 に お け る 一 定の ビ ッ ト 列 の纏ま り が ど の よ う な規 則 の も と に符号化 さ れて い る か を指 し示す情報 と し て の重要 情報 を バ ケ ツ 卜 へ ッ ダ情報 と し て付加 し た ビ ッ ト 列 を 有す る 動画像符号化デー タ を復号化す る 復号化装置で あ っ て 、 入力 さ れた ビ ッ ト 列 か ら 画像 ビ ッ ト 歹 IJ と ノ ケ ッ ト へ ッ ダ情報 を 分 離す る 分離部 と 、 画像 ビ ッ ト 列 を 復号す る 復号化部 と 、 復号 化部 の 復号情報カゝ ら 誤 り が存在 し な い カゝ ど う か を判定す る ェ ラ ー チ ェ ッ ク 部 と 、 ノ、。 ケ ッ ト ヘ ッ ダ情報か ら 一定の ビ ッ ト 歹 IJ の纏ま り 力 S ど の よ う な規則 の も と に符号化 さ れて レ、 る か を 指 し示す情報 と し て の 重要情報 を 取 り 出 し て 重要情報の 再構成 を行い 、 エ ラ ー チ ェ ッ ク 部で誤 り が あ る と 判 定 さ れ復号に重 要情報が必要 な場合 に 当 該構成 し た重要情報 を復号化部 に通 知 す る 重 要情 報構成部 と を 有す る 画像複 号化装置 を 提供す る 第 8 の 発 明 は 、 第 7 の発 明 の 重要情報構成部が 、 バ ケ ツ ト へ ッ ダ情報か ら 任意形状画像 関連重要情報 を構成す る 任意形 状画像 関連重要情報構成部 と 、 パケ ッ ト へ ッ ダ情報か ら 拡張 へ ッ ダがバ ケ ツ 卜 へ ッ ダに付力 D さ れて い る カゝ ど う か判 定す る 拡張ヘ ッ ダ挿入判 定部 と 、 拡張ヘ ッ ダ挿入判 定部で拡張へ ッ ダが挿入 さ れて レ、 る と 判 定 さ れた場合 にパ ケ ッ ト へ ッ ダ情報 を任意形状画像 関連重要情報 に入力 す る 切替部 と か ら 構成 さ れて い る 画像復号化装置 を提供す る 。
本発 明 は 、 動画像符号化 に お い て 、 符号化 し たデー タ に は ヘ ッ ダ を 設 け る と 共 に 、 へ ッ ダ に は更 に拡張へ ッ ダ部分 を設 け て ヘ ッ ダ に格納す る 通常 の 画像符号化方式 に お け る 重要情 報 の他 、 当 該拡張ヘ ッ ダに 、 任意形状画像符号化方式に お け る 重要情報 も 含 め る こ と が で き る の で 、 ヘ ッ ダが一部壊れて い て も 、 健全なヘ ッ ダ を持つ部分 につ い て は画像 を復号可能 に な る 。 ま た 、 画像デー タ に は 同期信号 を挿入 し て お く こ と に よ り 、 ビデ オ · バ ケ ツ ト V P の 同 期 外 れ の 問 題 も 解消 す る す な わ ち 、 ビデオ · ノ ケ ッ ト V P は 同期信号 R Mで始ま る ノ ケ ッ ト で あ り 、 そ れ以前 に誤 り が存在 し 、 同 期外れが生 じ た 場合 で も こ の 同 期 信 号 R M で再 同 期 を す る こ と が 可能 で あ る こ れ ら の こ と 力ゝ ら 、 伝送時で の雑音 に対す る 耐性の 高 い 、 ま た 、 任意形状画像符号化 の 場合で も 従来 の長方形画像の符 号化 と 同 等 の誤 り 耐性 を持たせ る こ と が で き る 動画像符号化 技術が提供で き る 。
図面 の簡 単 な説明
図 1 は 、 本発 明 の第 1 の 実施形態 にお け る 符号化部 の基本 的構成 を 示す図。 図 2 は 、 本発 明 の第 1 の 実施形態 にお け る 符号化部の重要 情報構成部お よ び ビ ッ ト 列再構成部の詳細 な基本的構成 を示 す図。
図 3 は 、 本発 明 の 第 1 の 実施形態 にお け る ビ ッ ト 列再構成 部 の 基本 フ ロ ー を 示す図。
図 4 は 、 本発 明 の第 1 の実施形態 にお け る V P の拡張ヘ ッ ダ フ ォ 一 マ ツ ト を 示 し た 図。
図 5 は 、 本発 明 の第 1 の 実施形態 の復号化部 にお け る 基本 的構成 を 示す図。
図 6 は 、 本発 明 の 第 1 の 実施形態の複号化部 にお け る 重要 情報構成部 の詳細 な 基本的構成 を 示す図。
図 7 は 、 本発 明 で用 い る 符号語構成 を説明 す る た め の 図。 図 8 は 、 可変長符号化 の効果 を 説明 し た例 を示す図。
図 9 は 、 重要情報 に 可変長符号化 を 行 う こ と を示 し た 図。 図 1 0 は 、 本発 明 の第 2 の 実施形態 に お け る 符号化部 の基 本的構成図。
図 1 1 は 、 本発 明 の第 2 の 実施形態 にお け る 符号化部の重 要情報構成部 の詳細 な構成図。
図 1 2 は 、 本発 明 の第 2 の 実施形態 にお け る 拡張パ ケ ッ ト へ ッ ダの例 を 示 し た 図。
図 1 3 は 、 本発 明 の 第 2 の 実施形態 に お け る 拡張バ ケ ツ ト ヘ ッ ダ の 例 を 示 し た 図 (マ ー カ ー 有 り ) 。
図 1 4 は 、 本発 明 の第 2 の 実施形態 にお け る 復号化部 の基 本的構成 を 示す図。
図 1 5 は 、 本発 明 の第 2 の 実施形態 にお け る 複号化部 の重 要情報構成部 の詳細 な構成 を 示す図。
図 1 6 は 、 任意形状画像の符号化 を説明 し た 図。
図 1 7 は 任意形状画像 の複号化 を説明 し た 図。
図 1 8 は M P E G — 4 の V O P 構造 を示 し た 図。
図 1 9 は M P E G — 4 の V P 構造を 示 し た 図。
図 2 0 は M P E G — 4 の V P ヘ ッ ダ フ ォ ーマ ツ ト を示 し た 図。
図 2 1 は 通常の V P の 問題点 を 示 し た 図。
図 2 2 は 通 常 の V P の効果 を 示 し た 図。
図 2 3 は H E C を 用 い た場合の V P の 効果 を 示 し た 図。 図 2 4 は 任意形状画像 の 復号時 に 画像 を 合成 し て 再生す る 場合 の 必要情報 を 示 し た 図。
図 2 5 は 、 本発 明 の第 3 に 実施例 に係 る 符号化 /複号化装置が 適用 さ れ る 無線動画像伝送 シ ス テ ム の例 を 示す図。
図 2 6 は 、 第 1 の 実施形態 の符号化装置 に 対応 し た第 4 の 実 施形態 の符号化装置 を 示す図。
図 2 7 は 、 第 1 の 実施形態の復号化装置に対応す る 第 4 の実 施形態 の複号化装置 を示す図。
図 2 8 は 、 第 2 の 実施形態 の符号化装置 に 対応 し た 第 5 の 実 施形態 の復号化装置 を示す 図。
図 2 9 は 、 第 2 の 実施形態 の復号化装置 に 対応す る 第 5 の 実 施形態 の 複号化装置 を示す図。
図 3 0 は 、 第 3 の 実施形態 の複号化装置の フ ロ ー チ ャ ー ト を 示す図。
発 明 を 実施す る た め の最 良 の形態 以 下 、 図 面 を 参照 し て本発 明 の 実施例 を説明 す る 。 以 下、 本発 明 の 実施の形態 に つ いて 図面 を参照 し て説明す る 。
図 1 は 、 本発 明 の第 1 の 実施形態 に係 る 動画像符号化装置 の 基本構成 を 示す。 こ れ に よ る と 、 符 号化部 1 0 1 の 出 力 は 重要情報構成部 1 0 2 お よ び ビ ッ ト 列再構成部 1 0 4 に接続 さ れ る 。 重要情報構成部 1 0 2 の 出 力 は 同期信号発生部 1 0 3 の 出 力 と 共 に ビ ッ ト 列再構成部 1 0 4 に接続 さ れ る 。 ビ ッ ト 列 再構成部 1 0 4 の 出 力 は 多重化部 1 0 5 に接続 さ れ る 。 多重化部 1 0 5 の 出 力 は伝送路 1 0 6 に接続 さ れ る 。
符号化部 1 0 1 は、 入力 さ れた画像信号 1 3 1 を符号化 し て ビ ッ ト 列再構成部 1 0 4 に 出 力 し 、 ま た 、 符号化 し た 際の 符号化情報 1 3 3 を重要情報構成部 1 0 2 に 出 力 す る よ う 構 成 さ れ る 。 重要情報構成部 1 0 2 は符号化部 1 0 1 で符号化 し た 際 の符号化情報 1 3 3 を 受 け て復号に 必要 な重要情報 1 3 4 だ け を 選択 し て 出 力 す る よ う に構成 さ れ る 。
同期信号発 生部 1 0 3 は 、 任意 の 間 隔で 同期信号 1 3 5 を 発生す る 部で あ り 、 ビ ッ ト 列再構成部 1 0 4 は 、 同期信号発 生部 1 0 3 力ゝ ら の 同 期 信 号 1 3 5 を ビ ッ ト 歹 IJ 1 3 2 に挿入 し そ の 後 ろ に 、 必要で あれば重要情報構成部 1 0 2 か ら 出力 さ れた重要情報 1 3 4 を 、 決 め ら れた フ ォ ーマ ツ ト で揷入 し て 出 力 す る よ う に構成 さ れ る 。
多重化部 1 0 5 は 、 ビ ッ ト 列再構成部 1 0 4 で再構成 さ れ た ビ ッ ト 歹 U 1 3 6 を 、 他のデー タ (例 え ば音声デー タ 、 他の 物体 を 符号化 し た ビ ッ ト 列等) と 共に 多重化処理を し て 多重 化 ビ ッ ト 歹 ij 1 3 7 と し て伝送路 Z蓄積媒体 1 0 6 に 出力す る よ う に構成 さ れ る 。
上記の よ う な構成 に おい て 、 入力 さ れた動画像の画像信号 1 3 1 は符号化部 1 0 1 で符号化 さ れ る 。 こ の符号化部 1 0 1 に よ り 符号化 さ れて 出 力 さ れた ビ ッ ト 歹 ij 1 3 2 は ビ ッ ト 歹リ 再構成部 1 0 4 に 入力 さ れ る 。 ま た 、 符号化部 1 0 1 で符号 化 し た 際 の符号化情報 1 3 3 は重要情報構成部 1 0 2 に入力 さ れ、 復号に 必要 な重要情報 1 3 4 だ け が選択 さ れ 出 力 さ れ る 。
ビ ッ ト 列再構成部 1 0 4 で は 、 任意 の 間隔 で 同期信号発生 部 1 0 3 か ら 出 力 さ れた 同期信号 1 3 5 を ビ ッ ト 歹 IJ 1 3 2 に 挿入 し 、 そ の 後 ろ に 、 必要で あれば重要情報構成部 1 0 2 か ら 出 力 さ れた重要情報 1 3 4 を 決 め ら れた フ ォ ーマ ツ 卜 で挿 入す る 。
ビ ッ ト 列再構成部 1 0 4 で再構成 さ れた ビ ッ ト 歹 ij 1 3 6 は 多重化部 1 0 5 に 入力 さ れ、 他のデー タ (例 え ば音声デー タ 、 他 の 物体 を 符号化 し た ビ ッ ト 列 等) と 共 に 多重化処理が 行われ 多重化 ビ ッ ト 歹 Ij 1 3 7 が伝送路 /蓄積媒体 1 0 6 に 出 力 さ れ る 。
こ の よ う に 、 本実施例 では 、 動画像 を符号化 し て得た ビ ッ ト 列 に 、 任意 の 間 隔で 同期信号発生部 1 0 3 か ら 出 力 さ れた 同期信号 1 3 5 が挿入 さ れ 、 そ の 後 ろ に 、 必要で あれば重要 情報構成部 1 0 2 カゝ ら 出 力 さ れた重要情報 1 3 4 が決め ら れ た フ ォ ー マ ツ ト に従 っ て ビ ッ ト 列再構成部 1 0 4 に よ り 揷入 さ れ る 。 そ の た め 、 M P E G — 4 にお け る 任意形状の画像符号化 · 複号化 に必要 な情報、 例 え ば、 任意形状の画像符号化で は画 像サ イ ズの 幅 V Wの情報 と 高 さ V H の情報お よ び復号 し た画 像 を 表示す る 位置 を 示すた め の 画像位置の X 座標 V H M S R の情報 、 y 座標 V V M S R の情報、 そ し て 、 形状情報の符号 化モ ー ド を 示す V O P シ ヱ ー プ · コ ーデ ィ ン グ · タ イ プ
" vop— shape一 coding一 type ( V S C T ) " や 、 形状情報の サ ィ ズ を 変換 し て カゝ ら 符号化す る カゝ ど う か を 示す フ ラ グで あ る change— conv— ratio— disable ( C C R D ) な ど力 S重要情報 1 3 4 と し て 生成 さ れ る 。 こ の重要情報が決 め ら れた フ ォ ーマ ツ 卜 で ビ ッ ト 列再構成部 1 0 4 に よ り 二重化 し て V P ヘ ッ ダ に 挿入 さ れ る と 、 任意形状画像符号化 に も 長方形画像 の符号化 と 同 等 の誤 り 耐性 を 持たせ る こ と が で き る よ う に な り 、 V 〇 p へ ッ ダゃ V P がー部壊れて い て も 動画像 の複号化が 可能 に な る 。
M P E G — 4 の場合 、 フ レ ー ム に相 当 す る も の を ビデオ · ォブ ジ ヱ ク ト · プ レ一 ン " Video Object Plane " と 呼ぶ
( 図 1 8 ) 。 さ ら に こ の Video Object Plane (以下 、 こ れ を V 〇 P と 呼ぶ) を複数のバ ケ ツ ト に分割す る こ と が 可能で あ り 、 こ れ を ビデオ · ノ、。 ケ ッ ト " V i d e 0 P a c k e t " と 呼ぶ (図
1 9 ) 。
ビデオ · ノ、。 ケ ッ ト " Video Packet" (以下 、 こ れ を V P と 呼ぶ) は 同期信号 ( Resync Marker, 以下 、 R M と 呼ぶ) で始 ま る ノ、。 ケ ッ ト で あ り 、 それ以前 に誤 り が 存在 し 、 同期外れが 生 じ た場合 で も こ の 同期信号で再 同期 をす る こ と は可能で あ W . ―
14 つ た。
従 っ て 、 先頭以外の ビデオ · パケ ッ ト V P で あれば、 誤 り に よ り 情報が破壊 //消失 し た と し て も 、 そ の後 の ビデォ · パ ケ ッ ト V P は正 し く 復号す る こ と が で き る 。 それは ビデオ · オ ブ ジ ェ ク ト · プ レ ー ン V O P の 先頭の V O P ヘ ッ ダが復号 出 来て い て 、 復号 に 必要 な情報が全て揃 う こ と か ら で あ る
( 図 2 0 ) 。
V O P ヘ ッ ダ情報 に は前述 し た よ う に ビデ ォ ' オブ ジ ェ ク ト * プ レ ー ン V O P の符号化 タ イ プ ( フ レ ー ム 内符号化 、 フ レ ー ム 間符号化等) 、 タ イ ム ' レ フ ァ ラ ン ス 、 ス テ ッ プサ イ ズ等 が含 ま れて い る 。 こ の情報 を失 う と 、 全て の ビデオ ' ノ ケ ッ ト V P の復号が 出 来な か っ た (図 2 1 A , 2 1 B ) 。
そ こ で 、 M P E G — 4 では 、 ビデオ ' ノ ケ ッ ト V P のへ ッ ダ の 中 に ヘ ッ ダ · ェ ク ス テ ン シ ョ ン · コ ー ド H E C を 定義 し こ の値に よ っ て 、 そ の後 に V 〇 P ヘ ッ ダの 中 の 重要 な情報 を 再度記述す る こ と が 可能 に な っ て い た。
こ の フ ォ ーマ ツ ト に つい て 、 図 2 1 A , 2 1 B に示す。 す な わ ち 、 図 2 1 A に示す よ う に 、 ビデオ · オブ ジ ェ ク ト · プ レ ー ン V O P は先頭 に V 〇 P へ ッ ダ と それ に続いてデー タ が 来 る と い っ た形式のノ タ ー ン を置 き 、 そ の次 に ビデオ · ノヽ。 ケ ッ ト V P のヘ ッ ダ と そ れ に続レ、て デー タ が 来 る と い っ た形式 の ノ タ ー ンが 幾つ か繰 り 返 さ れ る と 云 っ た フ ォ ーマ ツ 卜 で構 成 さ れて いた。
V P の ヘ ッ ダ の 中 に ヘ ッ ダ · ェ ク ス テ ン シ ョ ン · コ 一 ド H E C を 定義 し 、 こ の値に よ っ て 、 そ の 後 に V O P ヘ ッ ダの 中 -
15 の重要 な情報 を再度記述 し て お け ば、 ビデオ · ォブ ジ ュ ク ト · プ レー ン V 〇 P が壊れて レ、 な レ、 限 り 、 ビデオ ' バ ケ ツ ト V P のヘ ッ ダ と そ れ に続いて デー タ の組が一つや二つ壊れて い て も 、 正常 な V P ヘ ッ ダ と デー タ の組につ いて は、 V O P ヘ ッ ダ と そ のデー タ の情報 を 用 いて 、 復号可能で あ っ た。
図 2 2 A 、 2 2 B の例 の場合 、 ビデオ . オブ ジ ェ ク ト . プ レ ー ン V O P の へ ッ ダ と そ れの ペ ア と な る デー タ は壊れて い な い が 、 第 1 の ビデオ ' バ ケ ツ ト V P のヘ ッ ダ と そ れのペア と な る デー タ だ け壊れて い る 様子 を 示 し て い る 。 こ の場合、 図 2 2 B に 示す よ う に 、 ビデオ ' オブ ジ ェ ク ト . プ レ ー ン V O P と そ れのデー タ 部分 は壊れて い な い の で画像 の 第 1 の領 域は正常 に復号 さ れ、 次 の第 2 の領域は誤 り が生 じ て 劣化 の あ る 画像が復号 さ れ、 次の 第 3 の領域以降は正常 に復号 さ れ る の で 、 部分的 に は壊れて い る が 、 殆 ど が綺麗に 再生 さ れた 画像 と し て 復号で き た。
ま た 、 ヘ ッ ダ ' エ ク ス テ ン シ ョ ン · コ ー ド H E C を設 け な い方式の場合、 図 2 2 A に示す よ う に 、 V O P ヘ ッ ダが壊れ て いれば、 他の V P が壊れて い な く と も 復元の 余地は全 く な く 、 図 2 2 B の よ う に 、 誤 り の影響で全 く 画像 は得 ら れな い こ と に な る が 、 こ の よ う な場合で も ヘ ッ ダ · ェ ク ス テ ン シ ョ ン ♦ コ ー ド H E C を設 け る 方式の場合 は再生可能で あ っ た。 す な わ ち 、 ヘ ッ ダ ' エ ク ス テ ン シ ョ ン ' コ ー ド H E C を設 け る 方 式 の場合、 当 該ヘ ッ ダ · ェ ク ス テ ン シ ョ ン . コ ー ド H E C が真の場合 に は 、 こ の H E C の後 ろ に重要情報が 二重化 さ れ、 H E C が偽の場合 に は重要情報が 二重化 さ れな い形態が 取 ら れ る 。 誤 り の 多い伝送路 を利用 す る 場合 に 、 H E C を真 と す る と 共 に 、 そ の後 ろ に重要情報 を 二重化 し て付加す る よ う にす る 。
そ の結果、 図 2 3 A の よ う に 、 V O P の 先頭 に何 ら かの誤 り が存在 し 、 復 号で き な かっ た場合で も 、 H E C で保護 さ れ た情報 を利用 す る こ と で 、 先頭 を領域の画像は正常 に復元で き な く と も 、 第 2 の領域以 降 の部分 の ビデオ . ノ ケ ッ ト V P を 復号す る こ と が 可能 に な り 、 図 2 3 B に示す よ う に部分的 は壊れて い る が 、 殆 ど が綺麗に再生 さ れた画像 と し て復号 で き る こ と に な る 。
し か し な が ら 、 こ れは あ く ま で も 長方形の画像領域単位で 実現で き る に過 ぎ な かっ た。 つ ま り 、 V O P ヘ ッ ダ情報 を V P ヘ ッ ダ の 中 に H E C を用 い て 二重化す る こ と で、 V O P へ ッ ダが 失われ た場合で も 、 V P ヘ ッ ダの 中 に H E C に よ っ て V O P ヘ ッ ダが 二重化 さ れて いれば、 そ れ を利 用 す る こ と で そ の後 のデー タ を 正 し く 復 号す る こ と が可能 で あ る が 、 H E C を 用 い て 二重化で き る 情報 中 に は、 任意形状の画像符号化 の 際 に必要 に な る 情報が含 ま れて レ、 な い。 そ の た め 、 従来の 長方形の画像で あれば問題が な かっ た も の の 、 M P E G - 4 の よ う に 、 オブ ジ ェ ク ト 単位で任意形状の画像 を符号化で き る よ う に し た方式の場合、 複号化で き な かっ た。
こ れは M P E G - 4 にお け る オブ ジ ェ ク ト 単位で の任意形 状の画像の符号化 に は 、 長方形 の 画像 の符号化 に 比べて 更 に 多 く のヘ ッ ダ情報 が 追力 D さ れ て い る こ と 力ゝ ら 、 こ れ を 二重化 の対象 と で き な い こ と が 大 き な 問題で あ っ た。 ま た 、 別 の観点 力 ら みて み る 。 イ ン タ 一ネ ッ ト やイ ン ト ラ ネ ッ ト 等 の利用 が一般化 し て く る と 、 こ の よ う なネ ッ ト ヮ 一 ク を利用 し て の通信が多 く な り 、 イ ン タ ーネ ッ ト テ レ ビ電話 等 も 利用 さ れ る よ う に な っ て い る 。 こ の場合 、 動画像 を リ ア ル タ イ ム で伝送す る こ と に な る 。 し カゝ し な 力 S ら 、 動画像 を ィ ン タ ー ネ ッ ト ゃイ ン ト ラ ネ ッ ト 等で リ ア ノレ タ イ ム に伝送 し よ う と す る と 、 一般 に 用 レヽ ら れて い る T C P や U D P の プ ロ ト コ ノレで は 問題点 が 多い。 特 に 、 へ ッ ダが 時間情報 を持 っ て い な い 点 が 問題 で あ っ た。
そ こ で 、 近年、 動画像 /音声デー タ の伝送 に利用 さ れ る プ 口 ト コ ノレ と し て R T P (Real-time Transfer Protocol)力 S 注 目 を浴びて い る 。 す な わ ち 、 T C P な ど の プ ロ ト コ ノレ の場合、 バ ケ ツ ト 毎 に付属す る 時間情報 が な い た め 、 受信側で は そ の 受信 し たデー タ を いつ再生すれ ばいいの か を 知 る こ と が で き な か っ た。 そ の た め 、 デー タ を バ ケ ツ ト 伝送 し た場合 に 、 受 信側で はそ のデー タ が動画像デー タ や音声 · サ ゥ ン ドデー タ で あ る 場合 に は 旨 く 再生す る こ と が で き な か っ た。
し カゝ し 、 R T P ではバ ケ ツ ト 毎 に 時間情報 を 付加 し 、 受信 側 でそ れ を 元 に動画像デー タ や音声 · サ ゥ ン ドデー タ を 再生 す る こ と が 可能 と な る 。 こ の よ う に 、 R T P は リ ア ノレ タ イ ム デー タ の伝送 に適 し た プ ロ ト コ ル と な っ て い る 。
こ の プ ロ ト コ ノレ に は、 各 ア プ リ ケー シ ョ ン 毎 に拡張ヘ ッ ダ を 定義 で き る よ う に な っ て レ、 る 。
従来技術で説明 し た よ う に 、 M P E G — 4 で は V 〇 P へ ッ ダ情報 を V P ヘ ッ ダ の 中 に H E C を 用 い て 二 重ィヒす る こ と で V O P ヘ ッ ダが失われた場合 で も 、 V P ヘ ッ ダの 中 に H E C に よ っ て V O P ヘ ッ ダが 二重化 さ れて いれば、 そ れ を利用 す る こ と でそ の後 のデー タ を 正 し く 復号す る こ と が 可能で あ つ た。
し カゝ し 、 H E C を 用 レ、 て 二重化で き る 情報 中 に は 、 任意形 状の画像符号化 の 際 に必要 に な る 情報が含 ま れて い な い。 そ の た め 、 従 来 の 長 方形 の 画像 で あ れ ば 問 題 が な か っ た も の の 任意形状 の画像符号化で は長方形 の画像 の符号化 に 比べて へ ッ ダ情報が 追力 D さ れて い る こ と 力ゝ ら 、 こ れが 二重化で き な レヽ こ と が 大 き な 問題で あ っ た。
例 え ば、 任意形状 の画像符号化で は各 V O P 毎 に画像サ イ ズが 変更 に な る た め 、 V O P へ ッ ダ 中 に画像サ イ ズ の幅 vop一 width (以下 、 V W と 呼ぶ) と 高 さ vop— height (以 下 、 V H と 呼ぶ) を記述す る 。 ま た 、 復号 し た画像 を 表示す る 位 置 を示すた め の画像位置の X 座標
vop— horizontal— mc— spatial— ref (以下 、 V H M S R と 呼 ぶ) 、 y 座標 vop— vertical— mc— spatial— ref (以 下、 V V M S R と 呼ぶ) も 記述 さ れて レ、 る 。 こ れ ら の値の 関係が 図 2 4 に示 さ れ る 。
こ れ ら の情報 の な い ビデオ · バ ケ ツ ト V P の情報だ け で動 画像 を 復号 し ょ う と し た場合 、 任意形状の画像符号化で は正 し く 復号す る こ と が で き な く な る 。 すな わ ち 、 任意形状の画 像符号化で は画像サ イ ズの 幅 V Wの情報 と 高 さ V H の情報お よ び復号 し た 画像 を表示す る 位置 を 示すた め の画像位置 の X 座標 V H M S R の情報、 y 座標 V V M S R の情報が な い と 正 し く 復号す る こ と が で き な 力、 つ た。
ま た 、 形状情報 の符号化モ一 ド を示す V O P シ ェ 一 プ · コ 一デ ィ ン グ · タ イ プ " vop— shape— coding— type (以下、 V S C T と 呼ぶ) " や、 形状情報のサ イ ズ を 変換 し て か ら 符号化す る 力、 ど う 力 を 示す フ ラ グで ぁ る change— conv— ratio— di sabl e (以下 、 C C R D と 呼ぶ) な ど も 正 し く 復号す る た め に は必 要で あ る 。
M P E G — 4 の H E C に よ る V O P ヘ ッ ダ の 二重ィ匕 は 、 こ れ ら の情報 を保護 し て い な い。
こ の よ う に 、 本 シ ス テ ム は 、 任意形状画像符号化 の場合 で も 従来の長方形画像の符号化 と 同等 の誤 り 耐性 を持たせ る こ と が で き る 。 上記の構成 におい て本発明 の重要 な構成で あ る 重要情報構成部 1 0 2 と ビ ッ ト 列再構成部 1 0 4 を 図 2 を参 照 し て詳 し く 説明 す る 。
ま ず 、 重要情報構成部 1 0 2 の詳細 に つ いて 説明 す る 。
重要情報構成部 1 0 2 は 図 2 に 示す よ う に 、 通常画像 関連 重要情報構成部 2 0 6 、 任意形状画像 関連重要情報構成部 2 0 7 、 任意形状符号化判定部 2 0 8 、 多重化部 2 1 0 と よ り 構成 さ れ る 。
こ れ ら の う ち 、 通常画像 関連重要情報構成部 2 0 6 は 、 符 号化部 1 0 1 力ゝ ら の符号化情報 1 3 3 を受 け て 、 こ れ よ り 通 常の符号化の 際 、 重要 と 判断 さ れ る 情報 (例 え ば符号化モ ー ドゃ タ イ ム · レ フ ァ ラ ン ス 等) を選択 し 、 通 常画像関連重要 情報 2 3 8 と し て 多重化 部 2 1 0 に 出 力 す る よ う 構成 さ れ る 任意形状画像 関連重要情報構成部 2 0 7 は 、 任意形状画像符 号化 に 関連 し た重要情報 (例 え ば、 画像サ イ ズ、 位置、 符号 化モー ド 、 縮小変換モー ド等) を選択 して 、 こ れ を任意形状 画像関連重要情報 2 3 9 と し て 出 力す る よ う 構成 さ れ る 。
任意形状符号化判定部 2 0 8 は 、 符号化 さ れた画像が通常 の長方形 の 画像で あ る の か任意形状の画像で あ る の か を判定 す る 部 で あ っ て 、 判 定結 果 を 判 定信 号 2 4 0 と し て 出 力 す る 切替部 2 0 9 は 、 任意形状符号化判定部 2 0 8 か ら の判定 信号 2 4 0 に応 じ て 通 常画像関連重要情報構成部 2 0 7 か ら の任意形状画像 関連重要情報 2 3 9 を 多重化部 2 1 0 に 出 力 す る か ど う か の切替制御 を行 う 。 多重化部 2 1 0 は 、 通常画 像 関連重要情報構成部 2 0 6 か ら の通常画像 関連重要情報 2 3 8 と 、 任意形状画像符号化 に お い て任意形状符号化判定部 2 0 8 か ら 出 力 す る 任意形状画像 関連重要情報 2 3 9 と を 多 重化 し 、 重要情報 1 3 4 と し て 出 力 す る よ う 構成 さ れ る 。
上記 の よ う な構成 にお い て 、 符号化部 1 0 1 か ら の符号化 情報 1 3 3 は 、 重要情報構成部 1 0 2 の構成要素で あ る 通常 画像 関連重要情報構成部 2 0 7 に入力 さ れ 、 当 該通常画像関 連重要情報構成部 2 0 7 にお い て 、 通常の符号化の 際、 重要 と 判 断 さ れ る 情報 (例 え ば符号化モ ー ドや タ イ ム · レ フ ァ ラ ン ス 等) が選択 さ れ る こ と に よ っ て 、 こ の選択 さ れた情報が 通常画像 関連重要情報 2 3 8 と し て 多重化部 2 1 0 に 出 力 さ れ る 。 従 っ て 、 通常画像 関連重要情報 2 3 8 に は符号化モ ー ドゃ タ イ ム . レ フ ァ ラ ン ス 等 の よ う な通常 の符号化 の 際、 重 要 と 判断 さ れ る 情報 が集 め ら れた も の と な る 。
次 に 、 任意形状 画像 関 連重要 情報構成部 2 0 7 に お い て は 任意形状画像符号化 に 関連 し た重要情報 (例 え ば、 画像サ イ ズ、 位置 、 符号化モ ー ド 、 縮小変換モ ー ド等) が選択 さ れ、 任意形状画像関連重要情報 2 3 8 と し て 多重化部 2 1 0 に 出 力 さ れ る 。
一方 、 任意形状符号化判 定部 2 0 8 で は 、 符号化 さ れた画 像が通 常 の長方形 の画像で あ る の か、 任意形状の画像で あ る の か を判 定す る と 共に 、 そ の判定結果 を判定信号 2 4 0 と し て 出 力す る 。 こ の判 定信号 2 4 0 に よ り 切替部 2 0 9 は制御 さ れて 、 通 常画像 関連重要情報構成部 2 0 7 か ら の任意形状 画像 関連重要情報 2 3 9 を 出 力 す る か ど う かの切替制御 を す る 。
多重化部 2 1 0 で は 、 通常画像 関連重要情報 2 3 8 と 任意 形状画像符号化の場合 は任意形状画像関連重要情報 2 3 9 と を 多重化 し 、 重要情報 1 3 4 と し て 出 力 す る 。
こ の結果、 任意形状画像符号化 の場合 は通 常画像関連重要 情報 2 3 8 と 任意形状画像関連重要情報 2 3 9 と が 多重化 さ れた重要情報 1 3 4 と し て 多重化部 2 1 0 カゝ ら 出力 で き る 。 通 常画像符号化 の場合 は 、 通常画像関連重要情報 2 3 8 の み が 重要情報 1 3 4 と し て 出 力 で き る こ と と な る 。
次 に ビ ッ ト 列再構成部 1 0 4 の詳細 に つい て 説明 す る 。 ビ ッ ト 列 再構成部 1 0 4 は 図 2 の 上 半分 の 領域 に 示 し た よ う M B 境界判 定部 2 0 1 、 カ ウ ン タ 2 0 2 、 同 期信号挿入判 定 部 2 0 3 、 ヘ ッ ダ情報揷入部 2 0 5 、 力卩算部 2 0 6 と よ り 構 成 さ れ る 。
こ れ ら の う ち 、 M B 境界判 定部 2 0 1 は 、 前段の符号化部 1 0 1 に て 符 号化 さ れて 入 力 さ れ る ビ ッ ト 歹 IJ 1 3 2 に つ レ、 て そ の ビ ッ ト 歹 ij のデー タ がマ ク ロ ブ 口 ッ ク M B の境界 に 当 た る か否か を判 定す る も の で あ り 、 ま た 、 符号量カ ウ ン タ 部 2 0 2 は 、 前段の符号化部 1 0 1 に て符号化 さ れて 入力 さ れ る ビ ッ ト 歹 ij l 3 2 につ いて 、 そ の 符号量を カ ウ ン ト す る た め の も の で あ る 。
同 期信号挿入判 定部 2 0 3 は 、 M B 境界判 定部 2 0 1 が ビ ッ ト 歹 ij 1 3 2 につ レ、 て M B 境界 と 判 定 し 、 し 力、 も 、 当 該 ビ ッ ト 歹 IJ 1 3 2 に 对 し て 符号量カ ウ ン タ 部 2 0 2 の カ ウ ン ト 値力 S あ る 値 を超 え て い た場合、 挿入許可信号 2 3 4 を 出 力す る も の で あ る 。
ま た 、 ヘ ッ ダ情報揷入部 2 0 5 は、 入力 さ れた重要情報 1 3 4 と 同 期信号 1 3 5 カゝ ら ヘ ッ ダ情報 を 作成 し 、 同期信号挿 入判 定部 2 0 3 で挿入許可 と 判断 さ れた場合 に 、 符号化 さ れ た ビ ッ ト 歹 1 3 2 に対 し て 当 該作成 し たへ ッ ダ情報 2 3 7 を 付加すべ く 加算部 2 0 6 に 出 力 す る 。
ま た 、 加算部 2 0 6 は符号化部 1 0 1 に て 符号化 さ れて入 力 さ れ る ビ ッ ト 歹 IJ 1 3 2 と ヘ ッ ダ情報挿入部 2 0 5 の 出 力 と を加算 し て こ れ を ビ ッ ト 列再構成部 1 0 4 の再構成 ビ ッ ト 歹 ij 1 3 6 と し て 出力す る 部で あ る 。
こ の よ う な構成の ビ ッ ト 列再構成部 1 0 4 は 、 前段の符号 ィ匕部 1 0 1 で符号化 さ れた ビ ッ ト 歹 1 3 2 が 入力 さ れ る と 、 こ れ を ビ ッ ト 列再構成部 1 0 4 の構成要素の一つで あ る M B 境界判 定部 2 0 1 と 符号量カ ウ ン タ 部 2 0 2 と に入力 す る 。 こ の M B 境界判 定部 2 0 1 に お い て 入力 ビ ッ ト 歹リ 1 3 2 力 S 、 M B の境界で あ る 否か を判 定す る 。
ま た 、 符号量カ ウ ン タ 部 2 0 2 で は、 ビ ッ ト 歹 lj 1 3 2 の符 号量 を カ ウ ン ト す る 。 同期信号挿入判 定部 2 0 3 で は、 M B 境界判 定部 2 0 1 で の判 定 が M B 境界 と 判 定 さ れ、 且つ 、 力 ゥ ン タ 2 0 2 での符号量の カ ウ ン ト 値が 、 あ る 値 を超 え て い た場合 に 、 挿入許可信号 2 3 4 を発生 し 、 ヘ ッ ダ情報挿入部
2 0 5 に 出 力 す る よ う に動作す る 。
一方 、 ヘ ッ ダ情報挿入部 2 0 5 は、 入力 さ れた重要情報 1
3 4 と 同期信 号 1 3 5 カゝ ら ヘ ッ ダ情報 を 作成 し 、 同期信号挿 入判 定部 2 0 3 で挿入許可 と 判 断 さ れた場合 に 、 符号化 さ れ た ビ ッ ト 歹 ij 1 3 2 に作成 し たへ ッ ダ情報 2 3 7 を付加す る た め力!]算部 2 0 6 に送 る 。 こ れに よ り 、 力 []算部 2 0 6 は符号ィ匕 さ れた ビ ッ ト 歹 U 1 3 2 にへ ッ ダ情報 2 3 7 を挿入 し 、 再構成 さ れ た ビ ッ ト 歹 U 1 3 6 を 出 力 す る 。 こ の ビ ッ ト 歹 lj 1 3 6 力; ビ ッ ト 列再構成部 1 0 4 の 出 力 と な る 。
こ の結果、 符号化部で符号化 さ れて入力 さ れて 来 る 画像デ ー タ の ビ ッ ト 歹 lj 1 3 2 を調べて 、 マ ク ロ ブ ロ ッ ク M B の境界 位置 と な る ビ ッ ト が到来 し た 時点 におい て 、 それま で の符号 量が所定の値 を超 え て い た場合 に 、 挿入許可信号 2 3 4 が発 生 さ れ る 。 ヘ ッ ダ情報挿入部 2 0 5 におい て 作成 さ れた 、 入 力 さ れた重要情報 1 3 4 と 同期信号 1 3 5 を 元 に し て のへ ッ ダ情報が 、 上記 ビ ッ ト 歹り 1 3 2 に付加 で き る 。
重要情報構成部 1 0 2 は 、 そ の構成要素 の一つで あ る 通常 画像関連重要情報構成部 2 0 6 が符号化部 1 0 1 か ら の符号 ィ匕情報 1 3 3 を 元 に通常 の符号化の 際、 重要 と 判断 さ れ る 情 報 (例 え ば、 符号化モー ドや タ イ ム . レ フ ァ ラ ン ス 等) を選 び、 そ れ を 通常画像 関連重要情報 2 3 8 と す る 。 ま た 、 重要 情報構成部 1 0 2 にお け る 構成要素 の一つ で あ る 任意形状画 像 関連重要情報構成部 2 0 7 は 、 任意形状画像符号化 に 関連 し た重要情報 (例 え ば 、 画像サ イ ズ、 位置、 符号化モー ド 、 縮小変換モ ー ド等) を選び、 こ れ を任意形状画像関連重要情 報 2 3 9 と す る 。 通常 の画像 の場合 は通常画像関連重要情報
2 3 8 の み を 、 ま た 、 任意形状の画像の符号化の場合 に は通 常画像 関連重要情報 2 3 8 と 任意形状画像 関連重要情報 2 3
9 と を 多重化 し て 得て お り 、 従 っ て 、 ビ ッ ト 列 に挿入す る へ ッ ダ情報 に は通常画像情報 関連重要情報 と 任意形状画像 関連 重要情報 を 含 ま せ る こ と が で き 、 M P E G — 4 の符号化デー タ の画像再生 に必要 な情報 を V P ヘ ッ ダに含 ま せ る こ と が で き る 。
図 3 にヘ ッ ダ情報 の 作成 に 関す る フ ロ ー チ ヤ一 ト を示す。 ビ ッ ト 列再構成部 1 0 4 で は 、 ま ず第 1 段階 ( ス テ ッ プ S 5 0 2 ) と し て 、 符号化部 1 0 1 カゝ ら 入力 さ れて 来 る ビ ッ ト 歹 IJ に対 し 、 M B ( マ ク ロ ブ ロ ッ ク ) の境界位置 か ど う か の判 定 を ίザ う 。
第 2 段階 ( ス テ ッ プ S 5 0 3 ) と し て は 、 Μ Β で あ っ た場 合 、 同 期信号 R Μ を揷入すべ き か ど う か の判 定 を行 う 。 こ の 判 定は 、 ユーザの任意 の ア ル ゴ リ ズム で行 う こ と が 可能で あ る 。
例 え ば、 直前の 同期信号か ら 一定の ビ ッ ト 数 を超 え た な ら ば同期信号 R Μ を挿入す る と 云 っ た ア ル ゴ リ ズムや、 直前の 同期信号か ら 一定の M B 数を越 え た場合、 画像 中 の形状 に沿 つ て R M を挿入す る カゝ ど う かの判断を行 う な ど 、 様々 な方法 が利用 可能で あ る 。
ビデ オ · ノ ケ ッ ト V P は 同 期信号 R Mで始ま る ノ ケ ッ ト で あ り 、 そ れ以前 に誤 り が存在 し 、 同期外れが 生 じ た場合で も こ の 同期信号 R Mで再同期 をす る こ と が 可能 で あ る 。
ス テ ッ プ S 5 0 3 に お いて 同期信号 R M を揷入す る と 判 定 さ れた場合 、 R M を挿入 し 、 R M に続 く V P ヘ ッ ダ を挿入す る (図 3 の ス テ ッ プ S 5 0 4 ) 。 そ し て 、 ス テ ッ プ S 5 0 5 に進む。
第 3 段階 ( ス テ ッ プ S 5 0 5 ) は、 拡張ヘ ッ ダ と し て V O P ヘ ッ ダ の 重要情報 を 二重化す る か ど う か の判 定 を行 う 。
二重化す る と 判 定 さ れた場合 は 、 H E C を真 にセ ッ ト し 、 そ の後 、 V O P ヘ ッ ダ の 中 カゝ ら 長方形の画像符号化 にお け る 重要情報 を選択 し 、 出 力 す る ( 図 3 の ス テ ッ プ S 5 0 6 ) 。 そ し て 、 ス テ ッ プ S 5 0 7 に 進 む。
最後 の第 4 段階 ( ス テ ッ プ S 5 0 7 ) で は、 任意形状画像 か否 かの判 定 を行 う 。 任意形状画像の場合は 、 V O L へ ッ ダ 內 の任意形状画像符号化 に お け る 重要情報 を 選択 し 、 出 力 す る ( 図 3 の ス テ ッ プ S 5 0 8 ) 。
以上の 4 つ の段階 を経て V P ヘ ッ ダ部分 を 生成 し 、 ビ ッ ト 列 に挿入す る 。
図 4 に 、 任意形状画像の V P ヘ ッ ダの構成例 を 示す。 図 2
0 に示す従来の V P ヘ ッ ダ に 対 し 、 拡張ヘ ッ ダ E X — Η· e a d e r 力; 追カ卩 さ れ て お り 、 こ の拡張ヘ ッ ダ E x — H e a d e W
26 r に は任意形状画像符号化に お け る 重要情報、 すな わ ち 、 画 像の幅 ( V W ) 、 高 さ ( V H ) 、 画像 を貼 り 込む X座標 ( V H M S R ) 、 Y 座標 ( V V M S R ) 、 形状情報 を縮小変換 し て 符号化 し て レ、 る カゝ ど う か を 示す フ ラ グ ( C C R D ) 、 形状 情報 の 符号化 タ イ プ ( フ レ ー ム 内符号化 Z フ レ ー ム 間符号化 等) の 情報 ( V S C T ) が 追カ卩 さ れ る よ う に な る 。
尚 、 任意形状画像符号化 に お け る 重要情報 と し て は、 上記 情報 に 限定 さ れ る も の では な く 、 ア プ リ ケ ー シ ョ ン の用 途 に よ り 、 さ ら に他 の情報 を増やす こ と も 、 逆 に情報 を減 ら す こ と も 可能で あ る 。 但 し 、 送信側 、 受信側 でヘ ッ ダ フ ォ ー マ ッ 卜 に 関 し て 共通 の認識が必要 に な る 。
以上 、 任意形状画像符号化 に お け る 重要情報 の抽 出機能 と 任意形状画像 を使用 し て い る か否かの判 定機能 と 、 マ ク ロ ブ 口 ッ ク の境界検 出機能 を 持たせ、 V P ヘ ッ ダ に は拡張ヘ ッ ダ 部分 を 設 け て 通 常 の画像符号化 に お け る 重要情報 の他 、 同期 信号 を 含 め 、 任意形状画像符号化 にお い て は任意形状画像符 号ィ匕 に お け る 重 要情報 も 含 め る こ と が で き る よ う に し た カゝ ら ヘ ッ ダが 一部壊れて い て も 、 健全なヘ ッ ダ を持つ部分 にっレ、 て は画像 を復号可能に な る 。 ま た 、 同期信号が あ る の で ビデ ォ · ノ ケ ッ ト V P の 同期外れの 問題 も 解消す る 。 すな わ ち 、 ビデオ · バ ケ ツ ト V P は 同期信号 R Mで始ま る ノ、。ケ ッ ト で あ り 、 そ れ以前 に誤 り が存在 し 、 同期外れが 生 じ た場合で も こ の 同期信号 R Mで再同期 を す る こ と が 可能 で あ る 。
こ れ ら の こ と 力ゝ ら 、 伝送時で の雑音 に 対す る 耐性の 高 い 、 ま た 、 任意形状画像符号化 の 場合 で も 従来 の長方形画像の符 号化 と 同 等 の誤 り 耐性 を持たせ る こ と が で き る よ う に な る 動 画像符号化技術 を提供で き る 。
以上は 、 符号化側で の構成 と 処理の詳細 を説明 し た が 、 次 に復号側 の構成 と 処理の詳細 を説明 す る 。
復号部 に つい て説明す る 。 図 5 に示 さ れ る 第 1 の 実施形態 に か力ゝ る 復号部 に よ る と 、 符号化 ビ ッ ト 列 が 入力 さ れ る 分離 部 3 0 2 の 出 力 は 、 複号化部 3 0 3 お よ び同期検 出部 3 0 4 に接続 さ れ る 。 同期検 出 部 3 0 4 の 出 力 は復号化部 3 0 3 の 他方入 力 に接続 さ れ る 。 復 号化部 3 0 3 の 出 力 はエ ラ ーチ ェ ッ ク 部 3 0 5 に接続 さ れ る 。 こ の エ ラ ー チ ェ ッ ク 部 3 0 5 の 出 力 は複号化部 3 0 3 の 出 力 と 共 に重要情報構成部 3 0 6 に 接続 さ れ る 。 重要情報構成部 3 0 6 の 出力 は複号化部 3 0 3 に接続 さ れ る 。
分離部 3 0 2 は 、 伝送路 Z記憶媒体 1 0 6 か ら 受信 さ れた ビ ッ ト 歹 ij 3 3 1 を 画像用 の ビ ッ ト 歹 IJ 3 3 2 と そ れ以外のデー タ に 分離す る た め に設 け ら れて レ、 る 。 同期検 出部 3 0 4 は分 離部 3 0 2 カゝ ら 出 力 さ れ る ビ ッ ト 歹 ij 3 3 2 中 カゝ ら 同期信号 R M を 検 出す る 。 ま た 、 復号化部 3 0 3 は、 分離部 3 0 2 力 ら 分離 さ れて 出 力 さ れ る 画像用 ビ ッ ト 歹 IJ 3 3 2 に つ い て 復号化 処理 し て 画像デー タ を 生成す る 。 そ の 際 、 復 号化部 3 0 3 は 同期信号検 出部 3 0 4 に よ り 検 出 さ れた 同期信号に 同期 さ せ なが ら 復号処理 を 実施す る よ う に構成 さ れて い る 。
ま た 、 重要情報構成部 3 0 6 は、 復号化部 3 0 3 の 現在復 号処理 中 の デー タ を得て 、 こ れ よ り 当 該複号化部 3 0 3 にお い て 現在復号 中 の V 0 P ( ビデオ · オブ ジ ェ ク ト · プ レー ン) の V O P ヘ ッ ダが存在 し て レ、 る 場合 は 、 そ の情報 を抽 出 し 、 出 力 し て 複 号化部 3 0 3 に 与 え る よ う に構成 さ れ て い る エ ラ ーチ ェ ッ ク 部 3 0 5 は 、 復号化部 3 0 3 の 出 力す る 復 号情報 3 3 4 を チ ェ ッ ク し て複号作業 中 に誤 り が 生 じ て い な い か を 検 出す る 部で あ り 、 誤 り が検 出 さ れた場合 、 エ ラ ー チ ユ ッ ク 部 3 0 5 は 、 重要情報構成部 3 0 6 に復号化処理に誤 り が あ っ た こ と を知 ら せて 、 重要情報 の復号化部 3 0 3 への 出 力 を抑止 さ せ る よ う に構成 さ れて い る 。
復号化部 3 0 3 は誤 り が発生 し た場合 に 、 そ の誤 り に 対応 し た 処理 を行 う よ う に構成 さ れて レ、 る 。 ま た 、 複号化部 3 0 3 は 、 そ の誤 り に 対応 し た処理 を行 っ た後 、 同期検 出部 3 0 4 が検 出 し た 次 の 同期信号の位置か ら 復号作業 を行 う 。
こ の よ う な構成 に お い て 、 伝送路 Z記憶媒体 1 0 6 力ゝ ら 受 信 さ れた ビ ッ ト 歹 3 3 1 は 、 分離部 3 0 2 に よ り 画像用 の ビ ッ ト 歹 ij 3 3 2 と 、 そ れ以外の デー タ に 分離 さ れ る 。 そ の他の デー タ は 、 夫 々 に 対応 し た復号化部 に送 ら れ る 。
分離部 3 0 2 に よ り 分離 さ れた画像用 ビ ッ ト 歹 lj 3 3 2 は 、 復号化部 3 0 3 に 入力 さ れ、 複号化が行われ る 。 そ の際、 同 期信号検 出部 3 0 4 に よ り 同期信号が ビ ッ ト 歹 IJ 3 3 2 中 カゝ ら 検 出 さ れ な が ら 復号処理が行われ る 。
復号化部 3 0 3 で復号化処理 さ れ る こ と に よ っ て 得 ら れ る 復号情報 3 3 4 カゝ ら エ ラ ー チ ェ ッ ク 部 3 0 5 で復号作業 中 に 誤 り が 生 じ て レ、 な レ、 か を検 出す る 。 誤 り が検 出 さ れた場合、 誤 り に 対応 し た処理が復号化部 3 0 3 で行われた後 、 同 期検 出 部 3 0 4 が検 出 し た 次 の 同期信号の位置か ら 復号作業が行 われ る 。
復号化部 3 0 3 は次の 同期信号の種類 を判 定 し 、 同期信号 R Mの場合でエ ラ ー信号 3 3 5 が真の場合 に 、 重要情報構成 部 3 0 6 カゝ ら V O P ヘ ッ ダの情報 3 4 3 を 取得す る 。
重要情報構成部 3 0 6 は、 復号化部 3 0 3 が現在復号中 の V O P ( ビデオ · オブ ジ ェ ク ト · プ レー ン) に V O P ヘ ッ ダ が存在 し て い る 場合 は 、 そ の情報 を 出 力 す る 。 ま た 、 現在復 号 中 の V O P に V 〇 P ヘ ッ ダが 存在 し な レ、場合、 V P ヘ ッ ダ 内 に H E C に よ り 重要情報が挿入 さ れて いれ ば、 そ れ を 出 力 す る 。
復号化部 3 0 3 で の復号化処理 に お い て は 、 重要情報構成 部 3 0 6 で得た 重要情報 が 用 い ら れ る 。 重要情報構成部 3 0 6 で得た重要情報 に は 、 複号化部 3 0 3 が現在復号 中 の V O P ( ビデオ ' オブ ジ ェ ク ト . プ レ ー ン ) に V O P ヘ ッ ダが存 在 し て い る 場合 は 、 そ の情報 を 出 力 し 、 現在復 号中 の V O P に V O P ヘ ッ ダが 存在 し な レ、場合 に は 、 V P ヘ ッ ダ内 に H E C に よ り 重要情報 が挿入 さ れて いれば、 それ を 出力 す る 。 符 号化処理側 で は 、 重要情報 と し て 通常の画像符号化 に お け る 重要情報 の他 、 任意形状画像符号化 に お い て は任意形状画像 符号化 に お け る 重要情報 も 含 め る よ う に し て あ る 力ゝ ら 、 へ ッ ダが 一部壊れて レヽ て も 、 健全なヘ ッ ダ を持つ部分 につ い て は 通 常 の画像 を符号化 し たデー タ で あ っ て も 、 ま た 、 任意形状 の画像 を 符号化 し たデー タ で あ っ て も 、 そ のデー タ か ら 画像 を 復号可能 に な る 。 ま た 、 同期信号が あ る の で ビデオ · パ ケ ッ ト V P の 同期外れの 問題 も 解消す る 。 す な わ ち 、 ビデオ ' バ ケ ツ ト V P は同期信号 R Mで始ま る ノ、。ケ ッ ト で あ り 、 そ れ 以前 に誤 り が存在 し 、 同期外れが 生 じ た場合で も こ の 同期信 号 R Mで再 同期 をす る こ と が 可能で あ る 。
こ れ ら の こ と か ら 、 伝送時で の雑音 に対す る 耐性の 高 い 、 ま た 、 任意形状画像符号化の場合 で も 従来の長方形画像 の符 号化 と 同等 の誤 り 耐性 を 持たせ る こ と が で き る 動画像符号化 技術の 複号化技術 を提供で き る 。
通常 の画像符号化 に お け る 重要情報の他、 任意形状画像符 号化 にお い て は そ の任意形状画像符号化 に お け る 重要情報 も ヘ ッ ダの情報 と し て持たせて 伝送す る こ と に よ り 、 伝送時で の雑音 に 対す る 耐性 を持たせ る 技術で あ り 、 受信側 で は こ の 重要情報 を 如何に し て抽 出 し て復号化部 3 0 3 に渡 し 、 復号 化処理 に禾 lj用 で き る よ う にす る カゝが重要で あ る 。
従 っ て 、 本実施例 の特徴的 な 点 は重要情報構成部 3 0 6 に あ る 。 そ こ で 、 重要情報構成部 3 0 6 に つ レ、 て 図 6 を 用 レヽ て 詳細 に説明 す る 。
重要情報構成部 3 0 6 は図 6 に示す よ う に 、 通常画像 関連 重要情報構成部 3 0 7 、 任意形状符号化判 定部 3 0 8 、 切替 部 3 0 9 , 3 1 1 、 任意形状画像関連重要情報構成部 3 1 0 と よ り 構成 さ れ る 。
通常画像 関連重要情報構成部 3 0 7 は、 復号化部 3 0 3 に お い て V P ヘ ッ ダが発見 さ れた場合 に 、 そ の V P ヘ ッ ダの情報 中 カゝ ら 符 号化モ ー ド情報 、 タ イ ム ' レ フ ァ ラ ン ス 等 を 復 号 し 出 力 す る よ う に構成 さ れ る 。
任意形状符号化判定部 3 0 8 は 、 復号化部 3 0 3 が現在復 号処理 し て い る 画像が任意形状画像か、 ま た は、 従来か ら の 長方形画像 か を判 定す る 部で あ っ て 、 そ の判 定結果に応 じ て 切 替部 3 0 9 , 3 1 1 は切 り 替 え 制御 さ れ る 。 切 替部 3 0 9 3 1 1 は 、 2 部の系統切 り 替 え ス ィ ッ チ で あ る 。
任意形状画像関連重要情報構成部 3 1 0 は任意形状画像 に 関す る 重要情報 (例 え ば、 画像サイ ズ、 画像位置等) を復号 す る 部 で あ り 、 任意形状画像の場合 は切替部 3 0 9 , 3 1 1 が 当 該任意形状画像 関連重要情報構成部 3 1 0 に接続 さ れ る よ う に 切 り 替 え ら れ、 任意形状画像 に 関す る 重要情報 が再構 成 さ れて 、 通 常画像関連重要情報構成部 3 0 7 に よ る 通常画 像 に 関連す る 重要情報 の他 に任意形状画像 に 関す る 重要情報 を も 復号化部 3 0 3 に 与 え て 、 復号化部 3 0 3 で の任意形状 画像 に 関す る 復号化 も 可能 に し て レヽ る 。
こ の よ う な構成の重要情報構成部 3 0 6 において は、 復号 ィヒ部 3 0 3 にお いて入力 ビ ッ ト 列 に V P へ ッ ダが発見 さ れた 場合 は 、 ま ず通 常画像 関連重要情報構成部 3 0 7 が符号化モ — ド情報 、 タ イ ム ' レ フ ァ ラ ン ス 等 を復号す る 。
ま た 、 任意形状符号化判 定部 3 0 8 は復号化部 3 0 3 に お いて 現在復号処理 さ れて い る 画像が 、 任意形状画像 かま た は 従来か ら の長方形画像か を判 定 し 、 こ の判 定結果に応 じ た制 御信号 を発生す る 。
任意形状符号化判定部 3 0 8 か ら の制御信号に よ り 切替部 3 0 9 , 3 1 1 は制御 さ れ る 。 こ の と き 、 任意形状画像の場 合 は任意形状画像関連重要情報構成部 3 1 0 が任意形状画像 に 関す る 重要情報 (例 え ば、 画像サイ ズ、 画像位置等) を 復 号 し 、 最終的 な重要情報 3 4 3 を作成 し 、 重要情報構成部 3 0 6 の 出 力 と し て復号ィ匕部 3 0 3 に与 え る 。 こ れに よ つ て 、 ヘ ッ ダ に拡張ヘ ッ ダ を設 け て こ の拡張へ ッ ダ に任意形状画像 に 関す る 重要情報 を 埋め込 んでお け ば、 復号側 で も こ れ を抽 出 し て 任意形状画像の復号に必要 な重要情報 を 複号化部 3 0 3 に 与 え る こ と が で き る 。
以上 、 本実施形態 に よ れば、 任意形状画像符号化 の場合で も 従来 の長方形画像 の符号化 と 同等 の誤 り 耐性 を持たせ る こ と が 可能 と な る 。
第 1 の 実施形態お よ び こ れか ら 説明す る 第 2 の 実施形態 に おい て 、 任意形状画像の符号化では "画像の サ イ ズ " 、 "位 置情報 " を記述す る 必要が あ る 。 こ れ ら の 情報 は M P E G — 4 の場合 、 そ れぞれは 1 3 ビ ッ ト ずつ で表現 さ れ る こ と に な り 、 "画像 の サ イ ズ " 、 "位置情報 " それぞれ縦横の情報が 必要 で あ る こ と 力ゝ ら 計 4 つ の情報が必要で 、 そ の必要 ビ ッ ト 数は 4 X I 3 = 5 2 の計 5 2 ビ ッ ト が 必要 に な る 。 こ れは低 ビ ッ ト レー ト で の伝送の場合 に は大 き な 冗長 と な る 可能性が あ る 。 そ こ で 、 で き る だ け こ のデー タ を圧縮 し て伝送す る こ と と す る 。 以下、 そ の方法につ い て説明 す る 。
ビデオ . オブ ジ ェ ク ト . プ レー ン V O P の サ イ ズ等 は M P E G — 4 で は 1 3 ビ ッ ト で表現 さ れ る 力 S 、 1 3 ビ ッ ト 全て を 使用 し な い ケ ー ス も 多 々 あ る 。 そ こ で、 サイ ズの表現を 可変 長 に し符号量 を減少す る 方法 を 考 え る 。
基本的 な方針は 、 こ こ で は "符号語長 " + "値 " の組で表 現す る も の と す る 。 図 7 に 示す よ う に符号長 を 表すヘ ッ ダ部 と それ に続 く デー タ 部 と の組合せ にす る 。 す な わ ち 、 ヘ ッ ダ " h e a d e r 1 " と ヘ ッ ダ " h e a d e r 2 " 力 ^ あ り 、 前者は 1 ビ ッ ト 構成、 後者は 3 ビ ッ ト 構成 を採 る 。 値 1 力ゝ ら 値 5 4 2 ま で の 範囲 で採用 し 、 値 " 1 " と 値 " 2 " は符号語長 を 5 ビ ッ ト 構成 と し 、 値 " 3 ら 値 " 6 " ま で は符号語長 を 6 ビ ッ ト 構成 と し 、 値 " 7 力 ら 値 " 1 4 " ま で は符号語長 を 7 ビ ッ ト 構成 と す る 。 値 1 5 " 力ゝ ら 値 " 3 0 " ま で は符号語長 を 8 ビ ッ ト 構成 と し 値 3 1 力ゝ ら 値 9 4 ま で は符号語長 を 9 ビ ッ ト 構成 と し 、 値 9 5 " 力ゝ ら 値 " 1 5 8 " ま で は符号語長 を 1 0 ビ ッ ト 構成 と す る 。 値 " 1 5 9 " 力 ら 値 " 2 8 6 " ま で は符 号語長 を 1 1 ビ ッ ト 構成 と し 、 値 " 2 8 7 " 力ゝ ら 値 " 5 4 2 " ま で は符号語長 を 1 2 ビ ッ ト 構成 と す る 。 値 " 5 4 3 " 力 ら 値 " 8 2 2 2 " ま で はヘ ッ ダ " header 1 " と へ ッ ダ " h e a d e r 2 " を 前者は 1 ビ ッ ト 構成、 後者 は 2 ビ ッ ト 構成 と し 、 値 " 5 4 3 " 力 ら 値 " 1 0 5 4 " ま で は符号語長 を 1 2 ビ ッ ト 構成 と し 、 値 " 1 0 5 5 " 力 ら 値 " 2 0 7 8 " ま で は符号語長 を 1 3 ビ ッ ト 構成 と し 、 値 " 2 0 2 9 " 力ゝ ら 値 " 4 1 2 6 " ま で は符号語長 を 1 4 ビ ッ ト 構成 と し 、 値 " 4 1 2 7 " 力、 ら 値 " 8 2 2 2 " ま で は符号語長 を 1 5 ビ ッ ト 構 成 と す る 。
こ う す る こ と で、 語長 は 1 3 ビ ッ ト 固 定が数値に よ り 5 ビ ッ ト カゝ ら 1 5 ビ ッ ト ま での 可変長 に な る 。 こ の 結果、 ヘ ッ ダ を含 め て も 最大 1 8 ビ ッ ト で済む こ と に な り 、 従来の 5 2 ビ ッ ト に 比べ る と 3 4 ビ ッ ト も 構成 ビ ッ ト 数力 S少 な く て 済む。
小 さ い画像 の場合 は低 ビ ッ ト レー ト で符号化 さ れ る こ と を 要求す る こ と が一般的 に 多 く 、 大 き い画像 は符号化 し た ビ ッ ト 歹 IJ も 大 き な サ イ ズに な る こ と 力ゝ ら 、 ビ ッ ト レー ト に余裕力 S あ る 場合が 多レ、 と 思われ る 。 そ の意味で も 、 可変長 に し て小 さ いサ イ ズ に短い符号 を 有 り 当 て る こ と に は効果が あ る 。
例 え ば、 プ レ ゼ ン テ ー シ ョ ン · レ イ ヤ " Presentation Layer" 力 Q C I F ( 1 7 6 画素 X I 4 4 画素) の 画像 の 場合 V W, V H は最大で
1 1 [bit] X 2 = 2 2 [bit]
位置情報 ( V H M S R , V V M S R ) に 関 し て も 最大
1 1 [ bit] X 2 = 2 2 [ bit]
従 っ て 、 両者の合計 4 4 [ b i t ]で、 8 [ b i t ]分 が圧縮可 能 と な る 。
そ の他 、 図 8 の よ う な画像構成 の場合で は 、
V W = 1 2 8 画素 = 1 0 [bit] ,
V H = 8 0 画素 = 9 [bit] ,
V H M S R = 3 2 画素 = 9 [bit] ,
V V M S R = 2 0 画素 = 8 [bit]
で合計
1 0 + 9 + 8 + 9 = 3 6 [bit]
に な り 、 1 6 [ b i t ]の 削減 と な る 。
本変形例 の 基本構成図 を 図 9 に示す。 図 9 にお い て 、 1 0 0 1 は 可 変長 符 号化部 、 1 0 0 2 は 可変 長 符 号生成部 で あ り 可変長符号生成部 1 0 0 2 はサ イ ズ情報 を 受 け て 、 こ れ を符 号語に変換す る も の で あ る 。 ま た 、 可変長符号化部 1 0 0 1 は入力 さ れた重要情報 1 0 3 1 か ら サ イ ズ情報 を読み 出 し 、 そ の サ イ ズの情報 1 0 3 2 を 可変長符号生成部 1 0 0 2 に送 る と 共に 、 可変長符号生成部 1 0 0 2 か ら 得 ら れ る 符号語 1 0 3 3 を 符号語 1 0 3 4 と し て 出 力 す る 。
こ の よ う な 構成 に ぉ レ、 て 、 重要情 報 1 0 3 1 を 入 力 す る と 当 該重要情報 1 0 3 1 は可変長符号化部 1 0 0 1 に入力 さ れ る 。 可変長符号化部 1 0 0 1 では 当 該入力 さ れた重要情報 1 0 3 1 カゝ ら サ イ ズ情報 を読み 出 し 、 サイ ズ情報 1 0 3 2 を 可 変長 符 号 生成部 1 0 0 2 に 送 り 、 符 号語 1 0 3 3 を 生成す る 可変長符号化部 1 0 0 1 で は可変長符号生成部 1 0 0 2 力 ら 得 ら れた符号語 1 0 3 3 にサ イ ズ情報 を 変換 し て な る 符号 語 1 0 3 4 を 出 力 す る こ と に な る 。
本実施形態 は M P E G — 4 に つ い て述べて い る が 、 M P E G — 4 以外 の任意形状符号化 の伝送 に 関 し て も 同様の情報 を 付加す る こ と で 、 誤 り 耐性 を 向 上す る こ と が可能で あ る 。
次 に 、 別 の 実施例 を 第 2 の 実施形態 と し て 説明 す る 。
図 1 0 は本発 明 の 第 2 の 実施形態 に係 る 動画像符号化装置 の 基本構 成 図 で あ る 。 図 1 0 に 示す動画像符 号化装置 よ る と 符号化部 6 0 1 の 出 力 が 、 ビ ッ ト 列分割部 6 0 2 お よ び重要 情報構成部 6 0 3 に接続 さ れ る 。 重要情報構成部 6 0 3 の 出 カ は ノ ケ ッ ト ヘ ッ ダ生成部 6 0 4 に接続 さ れ る 。 ビ ッ ト 列分 割咅 6 0 2 お よ びパ ケ ッ ト ヘ ッ ダ生成部 の 出 力 はバ ケ ツ ト 構 成部 6 0 5 に接続 さ れ る 。 ノ、。 ケ ッ ト 構成部 6 0 5 の 出 力 は伝 送路 1 0 6 に接続 さ れ る 。
符号化部 6 0 1 は 、 入力 さ れた画像信号 1 3 1 を符号化 し て ビ ッ ト 列 分割部 6 0 2 に 出 力 し 、 ま た 、 符号化 し た 際の符 号化情報 6 3 4 を重要情報構成部 1 0 2 に 出 力す る よ う 構成 さ れ る 。
ま た 、 重要情報構成部 1 0 2 は符号化部 1 0 1 で符号化 し た 際 の符号化情報 6 3 4 を 受 け て復号に必要 な重要情報 6 3 5 だ け を選択 し て 出力 す る 部で あ る 。 特に 、 通常画像 関連重 要情報 の他 に 、 M P E G - 4 にお け る 任意形状の画像符号 化 · 複号化 に 必要 な情報、 例 え ば、 任意形状の画像符号化で は画像サイ ズの幅 V Wの情報 と 高 さ V H の情報お よ び復号 し た画像 を 表示す る 位置 を 示すた め の画像位置 の X 座標 V H M S R の情報 、 y 座標 V V M S R の情報、 そ し て 、 形状情報の 符号化モ ー ド を 示す V O P シ : — プ · コ ーデ ィ ン グ · タ イ プ " vop— shape— cod i ng— type ( V S C T ) " や、 形状情報の サ イ ズ を 変換 し て カゝ ら 符号化す る カゝ ど う か を 示す フ ラ グ で あ る change— conv— ratio— disable ( C C R D ) な ど の任意开 状画 像関連重要情報 を重要情報 6 3 5 と して 取得 さ れ る 。 こ れ ら 重要情 報 6 3 5 が 、 バ ケ ツ ト ヘ ッ ダ 生成部 6 0 4 に 与 え ら れ 通常画像関連重要情報 につ い て はパ ケ ッ ト へ ッ ダ に通常 に反 映 さ せ、 任意形状画像 関連重要情報 につ い て はバ ケ ツ ト へ ッ ダ に新た に設 け た拡張ヘ ッ ダ 中 に 、 決め ら れた フ ォ ーマ ツ ト で反映 さ せた本発 明独 自 の形式でパ ケ ッ ト ヘ ッ ダ を 生成 さ せ る 。
こ の よ う に 、 パ ケ ッ ト ヘ ッ ダ生成部 6 0 4 は 、 重要情報 6 3 5 を ノ、。 ケ ッ ト へ ッ ダ 内 に組み込 んでノ ケ ッ ト へ ッ ダ 6 3 6 と し て バ ケ ツ ト 構成部 6 0 5 に 出 力 し 、 ビ ッ ト 歹 IJ分割部 6 0 2 は 、 符号化部 6 0 1 カゝ ら 出 力 さ れた ビ ッ ト 歹り 6 3 2 を ノ、。 ケ ッ ト サ イ ズに 分割 し て 出 力す る よ う に構成 さ れ る 。
バ ケ ツ ト 構成部 6 0 5 は、 ビ ッ ト 列分割部 6 0 2 カゝ ら 出 力 さ れた 分割 ビ ッ ト 歹リ 6 3 3 と ノ ケ ッ ト ヘ ッ ダ生成部 6 0 4 力 ら 出 力 さ れた ノ ケ ッ ト ヘ ッ ダ 6 3 6 を 多重 し 、 得 ら れた 多重 デー タ 6 3 7 を伝送路 /蓄積媒体 1 0 6 に 出 力 す る よ う に構 成 さ れ る 。
こ の よ う な構成 におい て 、 入力 さ れた動画像の画像信号 1 3 1 は符号化部 6 0 1 で符号化 さ れ る 。 こ の と き 、 符号化部 6 0 1 か ら は符号化 し た際の符号化情報 6 3 4 が 出 力 さ れ重 要情 報 構成部 6 0 3 に 入 力 さ れ る 。 重要情 報構成部 6 0 3 は 入力 さ れた符号化情報 6 3 4 か ら 復号に必要 な重要情報 6 3 5 だ け を選択 し 、 出 力 す る 。 重要情報 6 3 5 は ノ ケ ッ ト へ ッ ダ生成部 6 0 4 に お いて 、 バ ケ ツ ト ヘ ッ ダ内 に組み込 ま れノ ケ ッ ト ヘ ッ ダ 6 3 6 と し て 出 力 さ れ る 。
一方 、 ビ ッ ト 列分割部 6 0 2 で は 、 符号ィ匕部 6 0 1 力ゝ ら 出 力 さ れた ビ ッ ト 歹 6 3 2 を ノ ケ ッ ト サ イ ズ に 分割 し て 出 力 す る 。 ノ ケ ッ ト 構成部 6 0 5 で は 、 ビ ッ ト 歹 IJ分割部 6 0 2 力 ら 出 力 さ れた 分割 ビ ッ ト 歹 1J 6 3 3 と ノ ケ ッ ト ヘ ッ ダ生成部 6 0 4 力、 ら 出 力 さ れた ノ ケ ッ ト ヘ ッ ダ 6 3 6 を 多重 し 、 多重デー タ 6 3 7 を伝送路 /蓄積媒体 1 0 6 に 出 力す る 。
こ の よ う に 、 本実施例 で は 、 動画像 を符号化 し て 得た ビ ッ ト 列 に 、 重要情報構成部 6 0 2 カゝ ら 出 力 さ れた重要情報 6 3 5 を 決 め ら れた フ ォ ーマ ツ ト で ノ、。 ケ ッ ト ヘ ッ ダ生成部 6 0 4 に よ り ヘ ッ ダ に揷入 し 、 こ れ を 動画像 の符号化デー タ に付加 し て パ ケ ッ ト ィ匕 し 、 伝送す る よ う に し た も の で あ る 。 ノ ケ ッ ト へ ッ ダに は拡張ヘ ッ ダが設 け ら れて お り 、 こ の拡 張ヘ ッ ダ に は通常画像 関連重要情報以外の重要情報 を格納 し て送 る の に使用 さ れ る 部分で あ る 。
そ の た め 、 通常画像関連重要情報以外 の重要情報 と し て 、 M P E G — 4 にお け る 任意形状 の 画像符号化 · 復号化 に必要 な情報 、 例 え ば、 任意形状の画像符号化で は画像サイ ズの幅 V Wの 情報 と 高 さ V H の情報お よ び復号 し た画像 を表示す る 位置 を 示すた め の画像位置の X 座標 V H M S R の情報 、 y 座 標 V V M S R の情報、 そ し て 、 形状情報の符号化モ ー ド を示 す V 〇 P シ ヱ ー プ ' コ ーデ ィ ン グ . タ イ プ
" vop一 shape— coding— type ( V S C T ) " や、 形状情報の サイ ズ を 変換 し て か ら 符号化す る か ど う か を示す フ ラ グで あ る change— conv— ratio— disable ( C C R D ) な ど を 重要情報 6
3 5 と し て 得て 、 こ れ を 決 め ら れた フ ォ ーマ ツ ト で ノ ケ ッ ト ヘ ッ ダ生成部 6 0 4 に よ り 拡張ヘ ッ ダ と し て ノ ケ ッ ト ヘ ッ ダ に揷入 さ れ る 。 復号部 は こ の バ ケ ツ 卜 の拡張ヘ ッ ダカゝ ら 取 り 出 し た 情 報 を 利 用 し て 復 号化 処理 を 行 う よ う に 構成 さ れ る と パ ケ ッ ト 毎 に任意形状の画像 を 再生で き る よ う に な り 、 任意 形状画像符号化の場合で も 従来 の長方形画像 の符号化 と 同等 の誤 り 耐性 を持たせ る こ と が で き る よ う に な っ て 、 V O P へ ッ ダゃ一部 の V P が壊れて い て も 動画像 の復号化が 可能 に な る 。
こ の よ う に 、 本 シス テ ム は 、 任意形状画像符号化の場合で も 従来 の長方形画像 の符号化 と 同 等 の誤 り 耐性 を持たせ る こ と が で き る よ う に な る も の で あ る が 、 上記 の構成 に お い て 本 発 明 の 重要 な構成で あ る 重要情報構成部 6 0 を 図 1 1 を 参照 し て詳細 に説明す る 。
図 1 1 に重要情報構成部 6 0 3 の ブ ロ ッ ク 図 を示す。 重要 情報構成部 6 0 3 は こ の 実施形態 で の 重要 な ポ イ ン ト で あ り 図 1 1 に 示す よ う に 、 重要情報構成部 6 0 3 は、 切替部 2 2 0 1 と 、 拡張ヘ ッ ダ挿入判定部 2 2 0 2 と 、 任意形状画像 関 連重要情報構成部 2 2 0 3 と よ り 構成 さ れ る 。
拡張ヘ ッ ダ挿入判 定部 2 2 0 2 は、 拡張ヘ ッ ダ を ケ ッ ト へ ッ ダ に付加す る カゝ ど う カゝ の判 定 を行 う 部で あ り 、 符号化部 6 0 1 カゝ ら 入 力 さ れ た符号化情報 6 3 4 カゝ ら 符号化部 6 0 1 が任意形状の 画像符号化 を 実施 し て い る か否 か を判 断 し て任 意形状の画像符号化 を 実施 し て い る 場合 に拡張ヘ ッ ダ を パ ケ ッ ト へ ッ ダ に付力 [1す る 。
切替部 2 2 0 1 は 、 部開 閉 ス ィ ッ チ で あ っ て 、 拡張ヘ ッ ダ 挿入判定部 2 2 0 2 が拡張ヘ ッ ダ をノ、。 ケ ッ ト へ ッ ダ に付カロす る と 判 断 し た場合 に 、 当 該拡張ヘ ッ ダ挿入判 定部 2 2 0 2 ら 出 力 さ れ る 制御信号に よ り 切替部 2 2 0 1 は 、 部が 閉 じ ら れて符号化部 6 0 1 か ら の符 号化情報 6 3 4 が任意形状画像 関連重要情報構成部 2 2 0 3 に 与 え ら れ る 。
任意形状画像 関連重要情報構成部 2 2 0 3 は切替部 2 2 0 1 を介 し て 入力 さ れ る 符号化情報 6 3 4 を 入力 符号化情報 2 2 3 3 と し て受 け て 、 こ れ よ り 任意形状符号化 に 関連す る V O P ヘ ッ ダ情報 を選択 し 、 重要情報 6 3 5 と し て 出 力 す る よ う 構成 さ れ る 。
こ の よ う な構成 に おいて 、 符号化部 6 0 1 か ら 重要情報構 成部 6 0 3 に入力 さ れた符号化情報 6 3 4 は拡張ヘ ッ ダ挿入 判 定部 2 2 0 2 に よ り 拡張ヘ ッ ダ を ノ ケ ッ ト へ ッ ダに付カ卩す る 力、 ど う かの判 定 を行 う 。 付加す る と 判 定 さ れた場合 、 切替 部 2 2 0 1 か ら 任意形状画像関連重要情報構成部 2 2 0 3 に 入力 符号化情報 2 2 3 3 が入力 さ れ る 。 任意形状画像 関連重 要情報構成部 2 2 0 3 で は入力符号化情報 2 2 3 3 か ら 任意 形状符号化 に 関連す る V O P へ ッ ダ情報 を選択 し 、 重要情報
6 3 5 を 出力 す る 。
以 下 に バ ケ ツ ト ヘ ッ ダへの 重要情報の組み込み に 関 し詳細 に述べ る 。
任意形 状 画 像 の 符 号化 の 際 、 長 方形画像 の 符 号化 に 比 べ て 画像 の 幅 ( V W ) 、 高 さ ( V H ) 、 画像 を配置す る X 座標
( V H M S R ) 、 Y 座標 ( V V M S R ) 、 形状情報 を縮小変 換 し て 符号化 し て レ、 る カゝ ど う カゝ を 示す フ ラ グ ( C C R D ) 、 形状情 報 の 符 号化 モ ー ド ( V S C T ) が 必要 に な る 。 こ の他 ァ ノレ フ ァ · ブ レ ンデ ィ ン グの 際の ァ ノレ フ ァ 値 を一 定に設定す る た め の フ ラ グ (VCA)お よ び値 ( V C A V ) 、 計算精度 を符号 ィ匕 Z復号化で 同 じ にす る た め の 丸 め演算 のや り 方 を示す フ ラ グ ( V R T ) な ど の情報 も 含 め る こ と も 可能で あ る が 、 こ こ で は 前者 の V W 、 V H 、 V H M S R 、 V V M S R 、 C C R D V S C T を 組み込む こ と と す る 。 そ の 際 の バ ケ ツ ト ヘ ッ ダ拡 張部分 の フ ォ ーマ ツ ト を 、 図 1 2 に示す。 こ こ で上の数字は ビ ッ ト 数 を 表 し 、 横 1 列 で 3 2 ビ ッ ト 分 を表す よ う に な っ て レヽ る 。 M P E G — 4 の場合 、 V W、 V H 、 V H M S R 、 V V M S R は各 1 3 ビ ッ ト で表現 さ れ、 残 り の C C E D 、 V S C T は各 1 ビ ッ ト で あ る 。
こ こ で は 、 例 と し て 3 2 ビ ッ ト に ァ ラ イ ンす る た め に 、 最 後 に リ ザー ブ " R e s e r v e " の ビ ッ ト ( R V ) を挿入 し て い る 。 V W 、 V H な ど が連続す る こ と で同期信号な ど の ビ ッ ト 列 と 同 じ も の が 出現す る 可能性が あ る 場合 に は、 例 え ば、 図 1 3 の よ う に 、 マ ー カ ( M ) を 各値の 間 に挿入 し 、 同期信号の よ う な絶対 に他 に 出 て き て は な ら な レ、 ビ ッ ト 列 に一致 し な レ、 よ
0 す る こ と も 可能で あ る 。 ま た 、 マ ー カ M の位置は 、 各† 報の 間 で あ る 必要 も な く 、 送信側 /受信側 で 同 一 の規則 に な つ て いれば、 ど こ に埋 め込 んで も かま わ な い。
最後 に 、 拡張ヘ ッ ダが あ る こ と を 示す フ ラ グ を通常 のへ ッ ダ情報の 中 に埋め 込む必要が あ る 。 そ こ で 、 1 ビ ッ ト の情報 で 、 通常ヘ ッ ダ内 に拡張ヘ ッ ダが存在す る カゝ ど う かの情報 を 埋め込む こ と に な る 。 こ れ ら の フ ォ ーマ ッ ト は例で あ り 、 こ の一部 の デー タ だ け でヘ ッ ダ情報 を構成 し た り 、 こ れ以外 の 情報 と 組合せて 用 い る こ と も 可能で あ る 。
以上の よ う に し て 、 本実施形態で は 、 動画像 を符号化 して バ ケ ツ ト 化す る 場合に 、 通常画像関連重要情報 を埋め込むパ ケ ッ ト ヘ ッ ダ に拡張へ ッ ダ を 付力 Qで き る よ う に し 、 任意形状 画像 を 符号化 し て 送 る 場合 に 、 そ の任意形状画像関連重要情 報 を拡張ヘ ッ ダ に埋め込 んでパ ケ ッ ト ヘ ッ ダ と し てデー タ に 付カロ し 、 ノ、。 ケ ッ ト イ匕す る よ う に し て い る 。 従 っ て 、 パ ケ ッ ト 毎 に任意形状の画像 を 再生で き る よ う に な り 、 ま た 、 任意形 状画像符号化の場合で も 従来の長方形画像の符号化 と 同 等の 誤 り 耐性 を持たせ る こ と が で き 、 V O P ヘ ッ ダや一部の V P が壊れて い て も 動画像の復号化が可能 に な る 。
次 に 、 こ の よ う なパ ケ ッ ト の復号 をす る 復号部 の例 を説明 す る 。
復号部 の構成例 に つ い て 、 以下 に説明 をす る 。 図 1 4 に示 す復号部 に よ る と 、 符号化 ビ ッ ト ス ト リ ー ム を 受 け る 分離部 7 0 2 の 出 力 は 、 複 号化部 7 0 3 お よ び重要情報構成部 7 0 5 に接続 さ れ る 。 復号化部 7 0 3 の 出 力 は 、 エ ラ ー チ ェ ッ ク 部 7 0 4 を 介 し て 重要情報構成部 7 0 5 に接続 さ れ る 。 重要 情報構成部 7 0 5 の 出力 は復号化部 7 0 3 に接続 さ れ る 。 分離部 7 0 2 は伝送路 Z蓄積媒体 1 0 6 カゝ ら 入 力 さ れ る ビ ッ ト 歹 IJ 7 3 1 を 分離処理 し て 画像用 の ビ ッ ト 歹 IJ 7 3 2 と バ ケ ツ ト ヘ ッ ダ 7 3 5 、 そ し て 、 そ れ以外のデー タ と に分 け る た め の も の で あ る 。
ま た 、 複号化部 7 0 3 は 、 分離 さ れた画像用 ビ ッ ト 歹 ij 7 3 2 を重要情報構成部 7 0 5 か ら の重要情報 を 用 い て 復号化処 理 し 、 元 の画像デー タ を得 る 部 で あ り 、 エ ラ ー チ ェ ッ ク 部 7 〇 4 は 、 復号化部 7 0 3 に て得 ら れ る 復号情報 7 3 3 力ゝ ら 復 号 中 に誤 り が発生 し て レヽ な レヽ カ ど う か を チ エ ッ ク す る た め の 部 で あ る 。
ま た 、 重要情報構成部 7 0 5 は 、 分離部 7 0 2 で分離処理 さ れた う ち のノ、。 ケ ッ ト ヘ ッ ダ 7 3 5 の情報カゝ ら 重要情報 を構 成 し て復号化部 7 0 3 に 与 え る よ う に構成 さ れ る 。
こ の よ う な構成 にお い て 、 伝送路 /蓄積媒体 1 0 6 力ゝ ら 入 力 さ れ た ビ ッ ト 歹 ij 7 3 1 は 、 分離部 7 0 2 に よ り 画像用 の ビ ッ ト 歹 IJ 7 3 2 と ノ ケ ッ ト ヘ ッ ダ 7 3 5 、 そ し て 、 それ以外の デー タ と に 分離 さ れ る 。 そ の他 のデー タ は 、 夫 々 に対応 し た 復号部 に送 ら れ る 。 分離 さ れた画像用 ビ ッ ト 歹リ 7 3 2 は復号 化部 7 0 3 に入力 さ れ、 復号化が行われ る 。 復号化部 7 0 3 にお け る 複号化処理は、 分離 さ れた画像用 ビ ッ ト 歹 U 7 3 2 に つい て 重要情報構成部 7 0 5 か ら の重要情報 を用 い て行 う 。
エ ラ ー チ ェ ッ ク 部 7 0 4 は 、 復号化部 7 0 3 力ゝ ら の復号情 報 7 3 3 力 ら 復号中 に誤 り が発生 し て レ、 な レ、 力 ど う 力 を チ ェ ッ ク す る 。 チ ェ ッ ク の結果、 誤 り が あ り と 判定 さ れた場合 、 重要情報構成部 7 0 5 はバ ケ ツ ト ヘ ッ ダ 7 3 5 内 に存在す る 重要情報 7 3 6 を 構成 し 、 複 号化部 7 0 3 は重要情報 7 3 6 を 用 い て 符号化 ビ ッ ト 列 の復 号 を 開始す る 。
本 シ ス テ ム で は 、 動画像 を 符号化 し て バ ケ ツ ト 化す る 場合 に 、 通常画像 関連重要情報 を 埋 め込むバケ ツ ト へ ッ ダ に拡張 ヘ ッ ダが付加 で き る 。 ま た 、 任意形状画像 を符号化 し て 送 る 場合 に 、 そ の任意形状画像関連重要情報 を拡張へ ッ ダ に埋め 込 ん だ バ ケ ツ ト ヘ ッ ダ が デー タ に 付力 Q さ れ る 。 こ の 用 に し て 動画像が 、 パ ケ ッ ト 化 さ れて レ、 る の で 、 拡張ヘ ッ ダ よ り 任意 形状画像 関連重要情報 を 取得で き 、 任意形状画像 を復号で き る 。
本実施形態 にお い て 重要 な 要素 で あ る 重要情報構成部 7 0 5 を 図 1 5 を 参照 し て詳細 を説 明 す る 。
図 1 5 に示す よ う に 、 重要情報構成部 7 0 5 は 、 切替部 2 3 0 1 と 、 拡張ヘ ッ ダ挿入判 定部 2 3 0 2 と 、 任意形状画像 関連重要情報復号部 2 3 0 3 と よ り 構成 さ れ る 。
拡張ヘ ッ ダ挿入判 定部 2 3 0 2 は 、 拡張へ ッ ダがノ、。ケ ッ ト ヘ ッ ダに付力 D さ れて い る カゝ ど う カゝ の判定 を行 う 部で あ り 、 分 離部 7 0 2 カゝ ら 入力 さ れた ノ ケ ッ ト ヘ ッ ダ 7 3 5 の情報力、 ら 画像用 ビ ッ ト 列 7 3 2 が任意形状の画像符号化 を 実施 し て い る か否か を判 断 し て任意形状の画像符号化 を 実施 し て い る 場 合 に拡張ヘ ッ ダ を ノ ケ ッ ト へ ッ ダ に付力 [1 し て い る と 判断 し 、 判 断に 対応す る 制御信号 を 出 力 す る よ う 構成 さ れて い る 。
切替部 2 3 0 1 は 、 部 開 閉 ス ィ ッ チ で あ っ て 、 拡張ヘ ッ ダ 挿入判 定部 2 3 0 2 が拡張ヘ ッ ダ を / ケ ッ ト へ ッ ダ に付カ卩 し て レ、 る と 判断 し た場合 に 、 当 該拡張へ ッ ダ挿入判 定部 2 3 0 2 カゝ ら 出 力 さ れ る 制御信号に よ り 切替部 2 3 0 1 は、 部が 閉 じ ら れて 分離部 7 0 2 カゝ ら の ノ、。 ケ ッ ト ヘ ッ ダ 7 3 5 の情報 を 任意形状画像 関連重要情報復号部 2 3 0 3 に 与 え ら れ る 。
任意形状画像 関連重要情報復号部 2 3 0 3 は切替部 2 3 0 1 を 介 し て 入力 さ れ る ノ ケ ッ ト ヘ ッ ダ 7 3 5 の情報 を 入力 情 報 2 3 3 3 と し て 受 け て 、 こ れ よ り 任意形状符号化 に 関連す る 情報 を 復元 し 、 重要情報 6 3 6 と し て 出 力 す る よ う に構成 さ れ る 。
こ の よ う な 構成 の 重要情 報構成部 7 0 5 の 作用 を 説 明 す る 入力 さ れた ノ、。 ケ ッ ト ヘ ッ ダ 7 3 5 は拡張ヘ ッ ダ揷入判 定部 2 3 0 2 にお い て 、 パ ケ ッ ト へ ッ ダ情報 に拡張へ ッ ダが付力□ さ れて レ、 る カゝ ど う カゝ を パ ケ ッ ト ヘ ッ ダ情報 を 復号す る こ と で 判定す る 。 そ の結果、 拡張ヘ ッ ダ が あ る と 判 定 さ れた場合 、 拡張ヘ ッ ダ挿入判 定部 2 3 0 2 は切替部 2 3 0 1 を 閉 じ る ベ く 制御す る こ と に よ り 、 ノ、。 ケ ッ ト ヘ ッ ダ 7 3 5 を通 し 、 こ れ を ノ ケ ッ ト ヘ ッ ダ情報 2 3 3 3 と し て任意形状画像関連重要 情報復号部 2 3 0 3 に入力 す る 。
任意形状画像関連重要情報復号部 2 3 0 3 はパケ ッ ト へ ッ ダ情報 2 3 3 3 を 元 に し て任意形状の符号化 に 関す る 重要情 報 を 復号 し 、 そ れ を重要情報 7 3 6 と し て 出 力 し 、 復号化部 7 0 3 へ与 え る こ と に な る 。
こ の よ う に し て 、 任意形状画像 関連の重要情報 を埋 め込む こ と が で き る よ う に設 け た拡張ヘ ッ ダ 中 の情報か ら 、 任意形 状画像 関連 の重要情報 を復号す る こ と が で き る よ う に な る 。
以上、 本第 2 の 実施形態の 技術 を 用 い る こ と で 、 第 1 の 実 施形態 と 同様 に任意形状画像符号化の場合で も 従来の長方形 画像 の 符号化 と 同 等 の誤 り 耐性 を 有す る こ と が 可能 と な る 。 さ ら に 、 伝送路の プ ロ ト コ ル の拡張ヘ ッ ダ を 用 レ、 る こ と に よ り 、 画像符号化 に 関 し て は ビ ッ ト 列 を 変更す る こ と な く 実装 で き る 。 こ れ は 、 既存 の標準方式等 を利用 す る 際 に 有効 で あ る 。
第 1 の 実施形態 の 変形例 と 同 様 に V W , V H , V H M S R V V M S R を 可変長符号化 にす る こ と に よ り 符号量 を 削減す る こ と が可能で あ る 。
な お 、 本実施形態 は M P E G — 4 につ い て述べて い る が 、 M P E G — 4 以外の任意形状画像符号化 の伝送に 関 し て も 同 様 の情報 を 付加す る こ と で 、 誤 り 耐性 を 向 上す る こ と が 可能 で め る 。
次 に 、 本発 明 の応用 例 と し て 、 本発 明 の符号化装置 /復号 化装置 を適用 し た動画像伝送 シ ス テ ム の 実施例 を 図 2 5 を 参 照 し て説明 す る 。 パ ソ コ ン 3 0 0 1 に備 え付 け ら れた (図示 し ない) カ メ ラ よ り 入力 さ れた動画像信号は、 ノ ソ コ ン 3 0 0 1 に組み込ま れた符号化装置 ( あ る い は符号化 ソ フ ト ウ ェ ア ) に よ っ て動 画像符号化が行われ る 。 こ の符号化装置か ら 出 力 さ れ る 動画 像信号は 、 他 の音声やデー タ の情報 と 共に 、 無線機 3 0 0 3 に よ り 無線で伝送 さ れ、 他の無線機 3 0 0 4 に よ っ て 受信 さ れ る 。 こ の無線機に は例 え ば、 携帯電話 、 P H S 、 無線 L A N 装置 な ど を 用 い て も 良 い。 無線機 3 0 0 4 で受信 さ れた信 号は 、 動画像信号お よ び音声やデー タ の情報 に分解 さ れ る 。 こ れ ら の う ち 、 動画像信号は ノ ー ト パ ソ コ ン 3 0 0 5 に組み 込ま れた複号化装置 ( あ る い は複号化 ソ フ ト ウ ェ ア ) に よ つ て 復号 さ れ、 ノ ー ト P C 3 0 0 5 の デ ィ ス プ レ イ に表示 さ れ る 。
一方 、 ノ ー ト パ ソ コ ン 3 0 0 5 に備 え付 け ら れた ( 図示 し な い) カ メ ラ よ り 入力 さ れた動画像信号は、 ノ ー ト /く ソ コ ン 3 0 0 5 に組み込ま れた符号化装置 ( あ る い は符号化 ソ フ ト ウ ェ ア ) を 用 い て 上記 と 同様 に復号化 さ れ る 。 生成 さ れた動 画像信号は 、 他 の音声やデー タ の情報 と 多重化 さ れ 、 無線機 3 0 0 4 に よ り 無線 で送信 さ れ、 無線機 3 0 0 3 に よ っ て 受 信 さ れ る 。 無線機 3 0 ◦ 3 に よ っ て 受信 さ れた信号は 、 動画 像信号お よ び音声やデー タ の情報 に分解 さ れ る 。 こ れ ら の う ち 、 動画像信号はノ、。 ソ コ ン 3 0 0 1 に組み込 ま れた複号化装 置 ( あ る い は復号化 ソ フ ト ウ ェ ア ) に よ っ て 復号 さ れ、 パ ソ コ ン 3 0 0 1 の デ ィ ス プ レ イ に表示 さ れ る 。
パ ソ コ ン 3 0 0 1 ま た は ノ ー ト ノ、° ソ コ ン 3 0 0 5 と 、 携帯 テ レ ビ電話 3 0 0 6 と の 間 の動画像通信 に本発明 に よ る 符号 化 Z複号化装置 を応用 す る こ と も で き る 。 ノ ソ コ ン 3 0 0 1 ま た は ノ ー ト パ ソ コ ン 3 0 0 5 に組み込 ま れた符号化装置 に よ っ て 生成 さ れ、 無線機 3 0 0 3 ま た は 3 0 0 4 カゝ ら 無線 に よ っ て 伝送 さ れた動画像信号は 、 携帯テ レ ビ電話 3 0 0 6 に 組み込 ま れた無線機で受信 さ れ る 。 無線機で受信 さ れた信号 は動画像信号お よ び音声やデー タ の情報 に分解 さ れ る 。 こ れ ら の う ち 、 動画像信号は携帯テ レ ビ電話 3 0 0 6 に組み込 ま れた復号化装置 ( あ る い は復号化 ソ フ ト ウ ェ ア ) に よ っ て復 号 さ れ、 携帯テ レ ビ電話 3 0 0 6 のデ ィ ス プ レイ に表示 さ れ る 。
一方、 携帯テ レ ビ電話 3 0 0 6 に組み込 ま れた カ メ ラ 1 0 0 7 よ り 入力 さ れた動画像信号は 、 携帯テ レ ビ電話 3 0 0 6 に組み込 ま れた符号化装置 ( あ る い は符号化 ソ フ ト ウ エ ア ) を 用 い て 上記のノ ソ コ ン 3 0 0 1 お よ び ノ 一 ト ノ、° ソ コ ン 3 0 〇 5 の例 と 同様 に符号化 さ れ る 。 生成 さ れた動画像信号は 、 他の音声やデー タ の情報 を 多重化 さ れ 、 携帯テ レ ビ電話 3 0 0 6 に組み込 ま れた無線機 に よ り 無線で送信 さ れ、 無線機 3 0 0 3 ま た は 3 0 0 4 に よ っ て受信 さ れ る 。 無線機 3 0 0 3 ま た は 3 0 0 4 に よ っ て受信 さ れた信号は、 動画像信号 よ び 音声やデー タ の情報 に分解 さ れ る 。 こ れ ら の う ち 、 動画像信 号はノ、。 ソ コ ン 3 0 0 1 ま た は ノ ー ト ノ、° ソ コ ン 3 0 0 5 に組み 込 ま れ た 複号化装置 ( あ る レ、 は復号化 ソ フ ト ウ ェ ア ) に よ つ て復号 さ れ、 ノ ソ コ ン 3 0 0 1 ま た は ノ ー ト ノ ソ コ ン 3 0 0 5 のデ ィ ス プ レ イ に表示 さ れ る 。
図 2 6 は 、 図 1 の第 1 の 実施形態 の符号化装置に対応 し た 第 4 の 実施形態 の 符号化装置 を 示 し て い る 。 こ の第 4 の 実施 形態 に よ る と 、 多重化部 1 0 5 カゝ ら 出 力 さ れ る 多重化 ビ ッ ト 列 が記録媒体 1 0 7 格納 さ れ る 。 こ の記録媒体 1 0 7 は、 本 発 明 に従 っ て フ ォ ーマ ッ ト さ れて レ、 る 。 即 ち 、 記録媒体 1 0 7 は、 形状情報ヘ ッ ダ と 、 こ れに続 く 複数の V O P が格納 さ れて い る 。 形状情報へ ッ ダ は符号化デー タ 内 で共通 に扱われ る 情報 を納 め た フ ィ ー ル ドで あ り 、 V 〇 P ヘ ッ ダ よ り も 上位 の情報が格納 さ れて い る 。 例 え ば、 矩形画像の画像サ イ ズ等 が格納 さ れ る 。 各 V 〇 P は複数のマ ク ロ ブ 口 ッ ク を含んでお り 、 最初 のマ ク ロ ブ ロ ッ ク に は V O P ヘ ッ ダ と こ の V O P へ ッ ダの後 ろ に設 け た M B デー タ と で構成 さ れ 、 以降の マ ク 口 ブ ロ ッ ク は V P ヘ ッ ダ と こ の V P へ ッ ダ に 後続す る M B デー タ と で構成 さ れ る 。 V P ヘ ッ ダ は 図 4 に従 っ て フ ォ ーマ ッ チ ン グ さ れ る 。
図 2 7 は 、 図 5 の第 1 の 実施形態の複号化装置 に対応す る 第 4 の 実施形態の複号化装置 を 示 して い る 。 こ の複号化装置 は 、 第 4 の 実施形態の符号化装置 に よ っ て記録媒体 1 0 7 に 格納 さ れた 多重化 ビ ッ ト 列 を読み取 り 、 復号化す る 。
図 2 8 は 、 図 1 0 の 第 2 の 実施形態 の符号化装置に 対応 し た第 5 の 実施形態 の復号化装置 を示 し て い る 。 こ の符号化装 置 は 、 バ ケ ツ ト 構成部 6 0 5 カゝ ら 出力 さ れ る 多重化デー タ を 記録媒体 1 0 7 に本発 明 の フ ォ ーマ ツ ト に従 っ て 格納す る 。 即 ち 、 フ ォ ー マ ツ ト は形状情報ヘ ッ ダ と 複数 の V 〇 P を 含 み 各 V O P の複数のマ ク ロ ブ ロ ッ ク の各 々 に は V P ヘ ッ ダ力 S設 け ら れ る 。
図 2 9 は、 図 1 4 の第 2 の 実施形態の複号化装置に対応す る 第 5 の 実施形態 の復号化装置 を示 し て い る 。 こ の複号化装 置は 、 第 5 の 実施形態 の符号化装置 に よ っ て記録媒体 1 0 7 に格納 さ れた 多重化 ビ ッ ト 列 を 読み取 り 、 復号化す る 。
以 下 、 図 3 0 に し た が っ て 図 2 7 の復号化装置 3 0 3 で の 処理の 内容 を 説明 す る 。 蓄積媒体 1 0 7 か ら 画像符 号列 を 順 次 読 み 込 み 、 ま ず 同 期 符 号 を 検 出 す る ( ス テ ッ プ S 1 1 ) 。 も し 、 検 出 さ れ た 同 期 符 号 力 S V O P s t a r t c o d e だ っ た ら ( ス テ ッ プ S 1 2 の Y E S ) 、 直前 に 復 号 さ れ た V O P ( フ レ ー ム ) を 画 像情 報 出 力 装置へ 出 力 す る 処理 を 行 う ( ス テ ッ プ S 1 3 ) 。 そ し て 、 画像符 号列 中 V O P s t a r t c o d e に 弓 I き 続 く V O P ヘ ッ ダ ( 図 2 9 中 V O P h e a d e r ) の 復号 を 行 う ( ス テ ッ プ S 1 4 ) 。 も し 、 V O P ヘ ッ ダ 力 S 正 し く 復 号で き た ら ( ス テ ッ プ S 1 5 の Y E S ) 、 復 号化装置 中 の 一 時記憶 回 路 に 記録 さ れ て い る 情 報 を 復 号 さ れ た V 〇 P ヘ ッ ダ 情 報 ( 時刻 情 報 、 V O P 予測 モ ー ド等) で 置 き 換 え る ( ス テ ッ プ S 1 6 ) 。 そ し て V 〇 P ヘ ッ ダ に 弓 I き 続 く マ ク ロ ブ ロ ッ ク デ ー タ ( 図 2 9 中 M B d a t a ) を 復 号 し 、 そ の ビデオ パ ケ ッ ト の 復 号 を 行 う ( ス テ ッ プ S 1 7 ) 。
も し 、 検 出 さ れ た 同 期 符 号 力 S r e s y n c m a r k e r だ つ た ら ( ス テ ッ プ S 1 8 の Y E S ) 、 r e s y n c m a r k e r に 弓 I き 続 く ビデ オ ノ ケ ッ ト ヘ ッ ダ ( マ ク ロ ブ ロ ッ ク 番 号 ( M B A ) 、 ビデ オ パ ケ ッ ト 量子ィヒノ、° ラ メ ー タ ( S Q ) 、 ヘ ッ ダ拡 張 コ ー ド H E C ) ) の 復 号 を 行 う ( ス テ ッ プ S 1 9 ) 。 も し 、 ビデ オパ ケ ッ ト ヘ ッ ダ 中 の ヘ ッ ダ拡 張 コ ー ド H E C = " 0 " だ っ た場合 に は ( ス テ ッ プ S 2 0 の N 〇 ) 、 そ の ビデ オ パ ケ ッ ト の 復 号 を 行 う ( ス テ ッ プ S 1 7 ) 。 も し 、 ヘ ッ ダ拡 張 コ ー ド H E C = " 1 " だ つ た 場合 に は ( ス テ ツ プ S 2 0 の Y E S ) 、 そ れ に 引 き 続 く 二重化情報 ( 図 2 9 中 D U P H ) の 復 号 を 行 う ( ス テ ッ プ S 2 1 ) 。 こ の と き 、 任意 形 状 か 否 か を 判 定 し ( ス テ ッ プ S 2 1 — 1 ) 、 Y E S で あ れ ば 、 任意形状 画像 関 連重要 情 報 を 複 号化す る ( ス テ ッ プ S 2 1 一 2 ) 。 判 定 力 S N O で あ れ ば 、 ス テ ッ プ 2 2 に ジ ャ ン プす る 。 も し 、 二 重化情報 が 正 し く 復号で き た な ら ば ( ス テ ッ プ S 2 2 の Y E S ) 、 こ の 二重化情報 と 、 一 時記憶 回 路 に 保存 さ れ て い た 情 報 を 比較す る ( ス テ ッ プ S 2 3 ) 。 も し 比較結 果 が 等 し け れ ば ( ス テ ッ プ S 2 3 の N O ) 、 ビデオ ノ ケ ッ ト ヘ ッ ダ に 弓 I き 続 く マ ク ロ ブ ロ ッ ク デー タ ( 図 2 9 中 M B d a t a ) を 復 号 し 、 そ の ビデ オ パ ケ ッ ト を 復 号す る ( ス テ ッ プ S 1 7 ) 。 も し 、 比較結 果 が 等 し く な け れ ば ( ス テ ッ プ S 2 3 の Y E S ) 、 こ の ビ デ オ ノ、。 ケ ッ ト は 直前 に 復 号 さ れ た V O P と は 異 な る V O P に 属 す る と 判 定 し 、 直前 に 復 号 し た V 〇 P を 画像情報 出 力 装置 に 出 力 す る 処理 を 行 い ( ス テ ッ プ S 2 4 ) 、 一 時記憶装置 に 記録 さ れて い る 情報 を 復 号 し た 二重化 情報 で置 き 換 え る ( ス テ ッ プ S 2 5 ) 。 さ ら に そ の ビデ オパ ケ ッ ト の 復 号 を 行 う ( ス テ ッ プ S 1 7 ) „
以 上 、 図 3 0 に 示 し た 同 期 符 号検 出 力ゝ ら 始 ま る 一連 の 処理 を 、 蓄積媒体 8 1 0 に記録 さ れ て い る 画像符 号列 を 順次読み 込 み な が ら 繰 り 返 し て い き 、 動画像信号 を 再生す る
な お 、 画像符 号列 を そ の ま ま 蓄積媒体 に 記録す る の で は な く 、 音 声信 号や オ ー デ ィ オ信 号 を 符 号化 し た 符 号列 、 ァ ー タ 制 御 情 報 等 と の 多重化 を 行 っ た 符 号列 を 蓄積媒体 に記録す る よ う に し て も 良 レ、 。 こ の 場合 、 蓄積媒体 に 記録 し た 情 報 を 画 像符 号化装置 8 2 0 で符 号す る 前 に 、 逆 多重化 装置 で 画像符 号列 と 音 声 · オ ー デ ィ オ 符 号列 、 デ― タ 、 制 御 情 報 を 逆 多 重 化す る 処理 を 行 い 、 逆 多重化 さ れ た 画像符 号列 を 符 号化装置 8 2 0 で復 号す る 。
ま た 、 図 2 9 で は 、 蓄積媒体 8 1 0 に記録 さ れ て レ、 る 情 報 が 復 号化装置 8 2 0 に 信号線 8 0 を 介 し て 伝達 さ れ る 例 を 示 し た が 、 信 号線以 外 に 、 有線 Z無線 /赤外線等 の 伝送路 を 介 し て 情 報 を 伝達 し て も 構 わ な レヽ 。
以 上 の よ う に 本発 明 に よ れ ば 、 蓄積媒体 に 記録 さ れ て い る 符 号列 は 、 重要 な 情報 が 二 重化 し て 記録 さ れ て レ、 る た め 、 蓄 積媒体 に 記録 さ れ た 情報 に 誤 り が あ る 場合や 、 蓄積情報 に記 録 さ れ た 情 報 を 再 生画像 に 送 る 信号線や伝送路 に お い て 誤 り が 生 じ る 場合 に お い て も 、 劣化 の 少 な い 再 生画像 を 再生す る P
51 こ と 力; で き る 。
以上の よ う に本発明 に よ れば、 任意形状画像 を符号化 し た 場合で も 、 従来の長方形画像 の 符号化 と 同 等 の誤 り 耐性能力 を 持たせ る こ と が可能 と な る 。 ま た 、 動画像 Z音声デー タ の 伝送に利用 さ れ る プ ロ ト コ ノレ と し て の R T P の拡張ヘ ッ ダ を 用 レ、 る こ と でデー タ を バ ケ ツ ト 伝送す る 場合 にお い て も 、 M P E G - 4 な ど の既存の標準方式に則 つ た かた ち で符号化 し て伝送で き 、 し か も 、 従来の長方形画像の符号化 と 同 等 の誤 り 耐性能力 を 持たせ る こ と が 可能 と な る 。
産業上 の利用 可能性
以上 の よ う に本発 明 に よ る と 、 任意形状画像符号化 の場合 で も 従来の長方形画像 の符号化 と 同等の誤 り 耐性 を持たせ る こ と が で き る の で 、 符号化 さ れた動画像 Z静止画像 を I S D
N ( Integrated services Digital Network ) ゃィ ン タ ーネ ッ ト 等 の有線通信網 、 あ る い は P H S や衛星通信等 の無線通 信網 を 用 い て 伝送す る 情報伝送 シ ス テ ム に適用 で き る 。

Claims

請 求 の 範 囲
1 . 入力 さ れた動画像 を符号化 した符号化情報 を ビ ッ ト 歹 IJ と し て 生成す る 符号化部 と 、
前記符号化部の符号化情報か ら 、 一定の ビ ッ ト 列 の纏ま り が ど の よ う な規則 の も と に符号化 さ れて い る かを指 し示す重 要情報 を 取 り 出 し て 再構成す る 重要情報再構成部 と 、
同期信号 を 発生す る 同 期信号発生部 と 、
前記符号化部 に よ り 符号化 さ れた ビ ッ ト 列 に 前記 同期発生 部か ら 出 力 さ れた 同 期信号 と 前記重要情報再構成部 に よ り 再 構成 さ れた 重要情報 を加 え ビ ッ ト 列 を 再構成す る ビ ッ ト 列再 構成部 と 、
を 具備 し た動画像符号化装置。
2 . 前記重要情報再構成部 は 、
前記符号化情報か ら フ レ ー ム を 方形領域単位で符号化す る 通常 の符号化形態 にお け る 重要情報で あ る 通常画像 関連情報 を 再構成す る 第 1 の重要情報再構成部 と 、
前記符号化情報か ら フ レ ー ム 内 の画像 を任意形状画像領域 単位で符号化す る 任意形状符号化形態 に お け る 重要情報 で あ る 任意形状画像 関連重要情報 を 再構成す る 第 2 の重要情報再 構成部 と 、
前記符号化情報 に基づ き 符号化画像が任意形状画像で あ る か否か を判 定す る 任意形状符号化判 定部 と 、
前記任意形状符号化判定部が任意形状画像 と 判 定 し た場合 に前記任意形状画像関連重要情報 を 出 力す る 切替部 と 、
前記通常画像関連情報 と 切替部の 出力 と を 多重化す る 多重 化部 と 、
を備 え る 、 請求項 1 記載の動画像符号化装置。
3 . 前記任意形状符号化判 定部 は、 符号化画像が長方形画 像で あ る の か、 任意形状画像で あ る の か を判 定 し 、 判定信号 を 出 力 し 、 こ の判 定信号 に応 じ て 前記切替部 を制御す る 請求 項 2 記載の動画像符号化装置。
4 . 前記 ビ ッ ト 列再構成部 は 、 前記重要情報 を 決 め ら れた フ ォ ー マ ツ ト に 二重化 し てヘ ッ ダ に挿入す る 請求項 1 記載の 動画像符号化装置。
5 . 前記 ビ ッ ト 列再構成部 は、 符号化 ビ ッ ト 列がマ ク ロ ブ 口 ッ ク の境界 に 当 た る か否か を判 定す る マ ク ロ ブ 口 ッ ク 境界 判 定回 路 と 、 前記符号化 ビ ッ ト 列 の符号量を カ ウ ン ト す る 力 ゥ ン タ と 、 前記マ ク ロ ブ ロ ッ ク 境界判定回路が前記 ビ ッ ト 歹 1J につい て マ ク ロ ブ ロ ッ ク 境界 を判 定 し 、 当 該 ビ ッ ト 列 の符号 量の 力 ゥ ン ト 値が あ る 値 を超 え て いた と き 、 挿入許可信号 を 出 力す る 同期信号挿入判 定回路 と 、 前記重要情報 と 前記 同期 信号 と か ら 拡張ヘ ッ ダ情報 を 作成 し 、 前記同期信号挿入判定 回路か ら の挿入許可信号に応答 し て 、 前記符号化 ビ ッ ト 列 に 前記拡張へ ッ ダ情報 を 付加す る へ ッ ダ情報挿入回路 と に よ り 構成 さ れ る 請求項 1 記載の動画像符号化装置。
6 . 前記拡張ヘ ッ ダ情報 は 同 期信号で始ま る ビデォパ ケ ッ 卜 に設 け ら れ る 請求項 5 記載の動画像符号化装置。
7 . 動画像 を 符号化 し て 生成 さ れ る 符号化動画像情報お よ び同期情報 、 並び に前記動画像 を 符号化す る と き に一定の ビ ッ ト 列 の纏ま り 力 ' ど の よ う な規則 の も と に符号ィヒ さ れて レ、 る か を 指 し 示す重要情報 を含むヘ ッ ダ情報 を有す る 符号化 ビ ッ ト 歹 を受 け る ビ ッ ト 列受 け入れ部 と 、
前記符号化 ビ ッ ト 列か ら 前記動画像情報 に対応す る 画像 ビ ッ ト 列 を 分離す る 分離部 と 、
前記画像 ビ ッ ト 列 を 復号す る 複号化部 と 、
前記 ビ ッ ト 列 か ら 同期信号 を 検 出 し 前記複 号化部へ通知す る 同 期信号検 出部 と 、
前記復号化部 の復号情報 か ら 誤 り が存在 し な い か ど う か を 判 定す る エ ラ ーチ ェ ッ ク 部 と 、
前記エ ラ 一 チ ェ ッ ク 部 が誤 り な し と 判 定 し た と き 、 前記復 号化部 か ら 出 さ れ た 前記へ ッ ダ情報 か ら 重要情報 を 再構成 し 復号化部 に通知す る 重要情報再構成部 と 、
を 具備 し た動画像復号化装置。
8 . 前記重要情報再構成部 は、
前記へ ッ ダ情報か ら 通常画像関連重要情報 を 再構成す る 第 1 の重要情報再構成部 と 、
前記へ ッ ダ情報か ら 復号化 し て い る 画像が任意形状画像か ど う か を判 定す る 任意形状符号化判 定部 と 、
前記へ ッ ダ情報 か ら 任意形状画像関連重要情報 を 再構成す る 第 2 の 重要情報再構成部 と 、
前記任意形状符号化判 定部が任意形状画像 と 判定 し た場合 に 、 前記へ ッ ダ情報 を 前記第 2 の重要情報再構成部へ導入す る 第 1 の切替部 と 、
前記任意形状符号化判定部が任意形状画像 と 判 定 し た と き に 、 前記任意形状画像関連重要情報 を 出 力す る 第 2 の切替部 と 、
を 具備 し た請求項 7 記載 の動画像復号化装置。
9 . 前記重要情報再構成部 は 、 前記復号化部 が復号 中 の 前 記 ビ ッ ト 歹 IJ に V O P ( ビデ オ · ォ ブ ジ ェ ク ト ' プ レ ー ン ) へ ッ ダが 存在 し て レ、 る 場合 は 、 V 〇 P ヘ ッ ダ情報 を 出 力 し 、 復 号 中 の 前記 ビ ッ ト 歹 ij に V O P へ ッ ダが 存在 し な い場合、 V P ヘ ッ ダ の前記重要情報 を 出 力す る 請求項 7 記載の動画像復 号 化装置。
1 0 . 前記重要情報再構成部 は 、 前記複号化部 にお い て 前 記 ビ ッ ト 列 か ら 前記 V P ヘ ッ ダが発見 さ れた場合は、 ま ず通 常画像 関連重要情報 を復号す る 請求項 9 記載の動画像複号化
1 1 . 前記 エ ラ ー チ ェ ッ ク 部 が 誤 り を 検 出 し た と き 、 前記 符 号化部 は誤 り に 対応 し た 処理 を 行 っ た 後 、 前記 同 期 検 出 部 が 検 出 し た 次 の 同 期信 号 の位置 か ら 復 号作業 を 行 う 請求項 7 記載 の 動 画像復 号化装置。
1 2 . 入 力 さ れ た 動 画像 を 符 号化 し た 符号化情報 を 符号化 ビ ッ ト 歹 ij と し て 生成す る 符 号化部 と 、
前記符号化部で の符号化情報か ら 一定 の ビ ッ ト 列 の纏ま り が ど の よ う な規則 の も と に符号化 さ れて い る カゝ を指 し示す重 要情報 を 取 り 出 し て 再構成す る 重要情報再構成部 と 、
前記符号化部 に よ り 符号化 さ れた ビ ッ ト 列 を分割 し 、 複数 の分割 ビ ッ ト 列 を生成す る ビ ッ ト 列分割部 と 、
前記重要情報再構成部 に よ り 再構成 さ れた重要情報か ら パ ケ ッ ト ヘ ッ ダ を 作成す る バ ケ ツ ト へ ッ ダ作成部 と 、
前記分害 iJ ビ ッ ト 歹 IJ と 前記ノ ケ ッ ト へ ッ ダ と を 用 い て ノ ケ ッ ト を構成す る ノ、。 ケ ッ ト 構成部 と 、
を 具備 し た動画像符号化装置。
1 3 . 前記重要情報再構成部 は 、
前記符号化情報か ら 任意形状画像関連重要情報 を 再構成す る 任意形状画像 関連重要情報再構成部 と 、
前記符号化情報 か ら 任意形状画像関連重要情報 を保持 さ せ た拡張ヘ ッ ダ を ノ ケ ッ ト へ ッ ダに付加す る か否か を判 定す る 拡張へ ッ ダ挿入判 定部 と 、
前記拡張ヘ ッ ダ を挿入す る こ と を前記拡張ヘ ッ ダ挿入判 定 部が判 定 し た場合 に 、 前記へ ッ ダ情報 を前記任意形状画像関 連重要情報 に導入す る 切替部 と 、
を 具備 し た請求項 1 2 記載の動画像符号化装置。
1 4 . 前記バ ケ ツ ト ヘ ッ ダ生成部 は 、 重要情報 を バ ケ ツ ト へ ッ ダ 内 に組み込 んでバ ケ ツ ト ヘ ッ ダ と し て 前記ノ ケ ッ ト 構 成部 に 出 力 し 、 前記 ビ ッ ト 列分割部は、 前記符号化部か ら 出 力 さ れた ビ ッ ト 列 を バ ケ ツ ト サ イ ズに分割 し て 出 力 す る 請求 項 1 2 記載の動画像符号化装置。
1 5 . 動画像 を 符号化 し て 生成 さ れ る 符号化動画像情報お よ び同期情報、 並びに前記動画像 を符号化す る と き に一 定の ビ ッ ト 列 の纏ま り 力 ど の よ う な規則 の も と に符号化 さ れて レ、 る かを指 し示す重要情報 を含むバケ ツ ト ヘ ッ ダ情報 を有す る 符号化 ビ ッ ト 列 を 受 け る ビ ッ ト 列受 け入れ部 と 、
入力 さ れた前記 ビ ッ ト 列 か ら 前記動画像情報 の画像 ピ ッ ト 列 と バ ケ ツ ト へ ッ ダ情報 と を 分離す る 分離部 と 、
前記画像 ビ ッ ト 列 を復号す る 復号化部 と 、
前記復号化部 の復号情報か ら 誤 り が 存在 し な い か ど う かを 判定す る エ ラ ー チ ェ ッ ク 部 と 、
前記パ ケ ッ ト へ ッ ダ情報か ら 前記重要情報 を 取 り 出 し て 重 要情報 を 再構成 し 、 前記エ ラ ー チ ェ ッ ク 部で誤 り が あ る と 判 定 さ れ、 復号 に重要情報が必要 な場合 に 当 該再構成 し た重要 情報 を複号化部 に通知す る 重要情報再構成部 と 、
を 具備 し た動画像復号化装置。
1 6 . 前記重要情報再構成部 は 、
前記バ ケ ツ ト へ ッ ダ情報 か ら 任意形状画像 関連重要情報 を 再構成す る 第 1 の重要情報再構成部 と 、
前記バ ケ ツ ト へ ッ ダ情報か ら 拡張へ ッ ダがバ ケ ツ ト へ ッ ダ に 付カ卩 さ れ て い る か否 か を 判 定す る 拡 張へ ッ ダ揷 入判 定部 と 拡張ヘ ッ ダが挿入 さ れて い る こ と を 前記拡張ヘ ッ ダ挿入判 定部が判 定 し た場合 に前記パ ケ ッ ト へ ッ ダ情報 を 前記任意形 状画像 関連重要情報 に導入す る 切替部 と 、
を 具備 し た請求項 1 5 記載の動画像符号化装置。
1 7 . 動画像 を符号化 し 、 符号化 ビ ッ ト 列 を 生成す る 動画 像符号化装置 を含むサーバ コ ン ピ ュ ー タ と 、
前記サー バ コ ン ピ ュ ー タ の符号化 ビ ッ ト 列 を 送信す る 送信 機 と 、
前記サー バ コ ン ピ ュ ー タ か ら の符号化 ビ ッ ト 列 を受信す る 受信機 と 、
前記受信機か ら の符号化 ビ ッ ト 列 を 複 号化す る 動画像復号 ィヒ装置 を含む ク ラ イ ア ン ト コ ン ピ ュ ー タ と 、 を 具備 し 、
前記動画像符号化装置は 、
入力 さ れた動画像 を符号化 し て符号化情報 を前記 ビ ッ ト 列 と し て 生成す る 符号化部 と 、
前記符号化部 の符号化情報か ら 、 一定の ビ ッ ト 列 の纏ま り が ど の よ う な規則 の も と に符号化 さ れて い る か を指 し示す情 報 と し て の重要情報 を 取 り 出 し て 再構成す る 重要情報再構成 部 と 、
同期信号 を発生す る 同期信号発生部 と 、
前記符 号化部 に よ り 符 号化 さ れた ビ ッ ト 列 に 前記 同 期 発 生 部 か ら 出 力 さ れ た 同 期 信 号 と 前記重 要情報 再構成部 に よ り 再 構成 さ れ た 重要情報 を 加 え ビ ッ ト 列 を 再構成す る ビ ッ ト 列 再 構成部 と 、
で構成 さ れ 、
前記動画像復号化装置 は 、
受信 し た前記符号化 ビ ッ ト 列 か ら 前記動画像情報 に対応す る 画像 ビ ッ ト 列 を 分離す る 分離部 と 、
前記画像 ビ ッ ト 列 を復号す る 復号化部 と 、
前記 ビ ッ ト 列 か ら 同期信号 を検 出 し前記復号化部へ通知す る 同 期信号検 出部 と 、
前記復号化部 の復号情報か ら 誤 り が存在 し な いか ど う か を 判 定す る エ ラ ーチ ェ ッ ク 部 と 、
前記 エ ラ 一 チ ェ ッ ク 部 が 誤 り な し と 判 定 し た と き 、 前記復 号化部 か ら 出 さ れ た 前記へ ッ ダ情報 か ら 重要情報 を 再構成 し 復 号化 部 に 通 知 す る 重要情報 再構成部 と 、
で構 成 さ れ る 、
動 画像伝送 シ ス テ ム 。
1 8 . 動画像 を符号化 し 、 符号化 ビ ッ ト 列 を 生成す る 動画 像符号化装置 を 含むサー バ コ ン ピ ュ ー タ と 、
前記サー バ コ ン ピ ュ ー タ の符号化 ビ ッ ト 列 を送信す る 送信 機 と 、
前記サーバ コ ン ピ ュ ー タ か ら の符号化 ビ ッ ト 列 を受信す る 受信機 と 、
前記受信機か ら の符号化 ビ ッ ト 列 を復号化す る 動画像復号 化装置 を含む ク ラ イ ア ン ト コ ン ピ ュ ー タ と 、
を 具備 し 、
前記動 画像符 号化装置 は 、
入 力 さ れ た 動 画像 を 符 号化 し た 符号化情 報 を 符 号化 ビ ッ ト 列 と し て 生成す る 符 号化部 と 、
前記符号化部 で の符号化情報 か ら 一 定の ビ ッ ト 列 の纏ま り 力 S ど の よ う な 規則 の も と に符 号化 さ れて レ、 る か を指 し示す重 要情報 を 取 り 出 し て 再構成す る 重要情報再構成部 と 、
前記符号化部 に よ り 符号化 さ れた ビ ッ ト 列 を分割 し 、 複数 の分割 ビ ッ ト 列 を 生成す る ビ ッ ト 列分割部 と 、
前記重要情報再構成部に よ り 再構成 さ れた重要情報か ら パ ケ ッ ト ヘ ッ ダ を 作成す る バ ケ ツ ト へ ッ ダ作成部 と 、
前記 分割 ビ ッ ト 歹 IJ と 前記パ ケ ッ ト ヘ ッ ダ と を 用 レ、 て ノ ケ ッ ト を 構成す る バ ケ ツ ト 構成部 と 、
で構成 さ れ 、
前記動 画像複 号化装置 は 、
受信 さ れた前記 ビ ッ ト 列 か ら 前記動画像情報 の画像 ピ ッ ト 列 と バ ケ ツ ト へ ッ ダ情報 と を 分離す る 分離部 と 、
前記画像 ビ ッ ト 列 を復号す る 複号化部 と 、
前記複号化部 の復号情報か ら 誤 り が存在 し な いか ど う か を 判 定す る エ ラ 一チ ェ ッ ク 部 と 、
前記バ ケ ツ ト へ ッ ダ情報 か ら 前記重要情報 を 取 り 出 し て 重 要情 報 を 再構成 し 、 前記 エ ラ ー チ ェ ッ ク 部 で誤 り が あ る と 判 定 さ れ 、 復 号 に 重要情報 が 必要 な 場合 に 当 該再構成 し た 重要 情報 を 復 号化部 に 通 知 す る 重要情報再構成部 と
で構成 さ れ る 、 動画像伝送 シ ス テ ム 。
1 9 . 記録すべき 画像の任意形状情報 を格納す る 形状情報へ ッ ダ と 、
各々 が複数のマ ク ロ ブ 口 ッ ク を含 んでお り 、 各マ ク ロ ブ 口 ッ ク は V P ヘ ッ ダ と こ の V P ヘ ッ ダの後 ろ に設 け た M B デー タ と で構成 さ れ、 前記 V P ヘ ッ ダは符号化 ビ ッ ト 列の一定の ビ ッ ト 列 の纏ま り が どの よ う な規則 の も と に符号化 さ れて レ、 る か を指 し示す重要情報 を含む、 複数の V O P ( Video Object Plane)と
が記録 さ れた記録媒体。
2 0 . 前記 V P ヘ ッ ダの重要情報 は画像の幅、 画像 の 高 さ 、 画像 を貼 り 込む X 座標お よ び Y座標、 形状情報 を縮小変換 し て符号化 し て い る カゝ ど う か を示す フ ラ グ 、 形状情報の符号化 タ イ プ の情報 を含む請求項 1 9 の記録媒体。
2 1 . 入力 さ れた ビ ッ ト 列 か ら 画像列 を 分離す る 分離手段 と 前記が画像 ビ ッ ト 列 を復号す る 複号化手段 と 、
前記画像 ビ ッ ト 列か ら 同期信号を検出 し 、 前記復号化手段 へ通知す る 同期信号検 出手段 と 、
前記復号化手段か ら 出 さ れたヘ ッ ダ情報か ら 重要情報 を再 構成 し 、 復号化手段 に通知す る 重要情報再構成手段 と 、
を具備す る 動画像複号化装置。
2 2 . 前記ヘ ッ ダ情報か ら 通常画像関連重要情報再構成手段 と 、
前記へ ッ ダ情報か ら 複号化 し て い る 画像が任意形状画像か ど う かを判定す る 任意形状符号化判定手段 と 、
へ ッ ダ情報か ら 任意形状画像関連重要情報 を再構成す る 任 意形状画像関連重要情報再構成手段 と 、
前記任意形状符号化判定手段が任意形状で あ る と 判定 し た 場合 にへ ッ ダ情報 を任意形状画像 関連情報再構成手段へ入力 す る 切 り 替 え手段 と 、 前記任意形状符 号化判 定 手段 で任意形状画像 だ と 判 定 さ れ た 場合 に 前記任意形状画像 関 連重要情報 を 出 力 す る 切 り 替 え 手段 と 、
を 具備 す る 請求項 2 2 の 動 画像符 号化装置。
補正書の請求の範囲
[2000年 6月 27日 (27. 06. 00 ) 国際事務局受理:出願当初の請求の範囲 1 , 2, 7— 10, 1 2, 1 3, 1 5— 1 9, 21及び 22は補正された;新しい請求の範囲 23 - 29が加えられた;他の請求の範囲は変更なし。 (9頁)]
1 . (補 正 後 ) 入 力 さ れ た 動 像 を 任意 形状 符 号化 し た 符 号 化情報 を ビ ッ ト 歹 IJ と し て 生 ^ る 符 号化部 と 、
前記 符 号 化 部 の 符 号 化情 報 ら 、 一 定 の ビ ッ 卜 列 の 纏 ま り が ど の よ う な 規則 の も と に 符 号化 さ れ て レ、 る カ を 指 し 示 す重 要情報 を 取 り 出 し て 構成す る 重 要情報構成部 と 、
同期信 号 を 発 生す る 同 期 信 号発 生部 と 、
前記符 号化部 に よ り 符 号 化 さ れ た ビ ッ ト 列 に 前記 同 期 発 生 部か ら 出 力 さ れた 同期信号 と 前記重要情報が 二重化 さ れて い る か否かを 示す H E C 符号 と 前記重要情報構成部 に よ り 構成 さ れ た重要情報 を力 D え ビ ッ ト 列 を 再構成す る ビ ッ ト 列再構成部 と 、 を 具備 し た 動画像符号化装置 -
2 . (補正後 ) 前記重要情 報構成部 は 、
前記符号化情 報 か ら フ レ ー ム を 方形 領域 単位 で 符 号化す る 通 常 の 符 号化形態 に お け る 重 要 情 報 で あ る 通 常 画 像 関 連情報 を構成す る 第 1 の 重要情報構成部 と 、
前記符号化情報 か ら フ レ ー ム 内 の 画像 を 任意形 状画像領域 単位で符号化す る 任意形状 符 号化形態 に お け る 重要情報 で あ る 任意形状画像 関連重要情 報 を 構成す る 第 2 の 重要情報構成 部 と 、
前記符号化情報 に 基 づ き 符 号化画像 が 任意形状画像 で あ る か否か を判 定す る 任意形状符号化判 定部 と 、
前記任意形状符 号化判 定部 が 任意形状画像 と 判 定 し た 場合 に前記任意形状画像 関連重要情報 を 出 力 す る 切 替部 と 、
前記通 常画像 関連情 報 と 切 替部 の 出 力 と を 多 重化す る 多重 化部 と 、
を備 え る 、 請求項 1 記載 の 動画像符号化装置。
3 . 前記任意形状符 号化判 定部 は 、 符号化画像 が 長方形 画 像で あ る の か、 任意形状画像 で あ る の か を 判 定 し 、 判 定信 号 を 出力 し 、 こ の判 定信号 に 応 じ て 前記切替部 を 制御す る 請求 補正された用紙 (条約第 19条) 項 2 記載 の 動画像符号化装置。
4 . 前記 ビ ッ ト 列 再構成 部 は 、 前 記重 要情 報 を 決 め ら れ た フ ォ ー マ ツ ト に 二重 化 し て ヘ ッ ダ に 挿入す る 請 求項 1 記載 の 動画像符 号化装置。
5 . 前記 ビ ッ ト 歹 IJ 再構成部 は 、 符 号化 ビ ッ ト 歹 IJ 力 S マ ク 口 ブ 口 ッ ク の 境 界 に 当 た る か否 カゝ を 判 定す る マ ク ロ ブ 口 ッ ク 境 界 判 定 回 路 と 、 前記符 号化 ビ ッ ト 列 の 符 号量 を カ ウ ン ト す る 力 ゥ ン タ と 、 前記 マ ク ロ ブ ロ ッ ク 境界判 定回 路 が 前記 ビ ッ ト 歹リ に つ レ、 て マ ク ロ ブ ロ ッ ク 境界 を 判 定 し 、 当 該 ビ ッ ト 歹 U の 符 号 量 の カ ウ ン ト 値 が あ る 値 を 超 え て レ、 た と き 、 挿 入許可信号 を 出 力 す る 同 期信 号挿入判 定 回 路 と 、 前記重要情 報 と 前記 同 期 信号 と か ら 拡張ヘ ッ ダ情報 を 作成 し 、 前記 同 期 信 号挿入判 定 回 路 か ら の挿入許可信 号 に応答 し て 、 前記符 号化 ビ ッ ト 列 に 前記拡張へ ッ ダ情報 を 付加 す る へ ッ ダ情報挿入 回 路 と に よ り 構成 さ れ る 請求項 1 記載 の 動画像符号化装置。
6 . 前記拡張ヘ ッ ダ情 報 は 同 期 信号 で始 ま る ビデォパ ケ ッ ト に設 け ら れ る 請求項 5 記載 の動画像符号化装置。
7 . (補正後 ) 動画像 を 任意形状符号化 し て 生成 さ れ る 符号 化動 画像情報 お よ び 同 期 情報 、 並び に 前記動画像 を 符 号化す る と き に 一 定 の ビ ッ ト 列 の 纏 ま り が どの よ う な 規貝 U の も と に 符号化 さ れ て い る か を 指 し 示 す重要情 報 を 含 む ヘ ッ ダ情報 を 有す る 符号化 ビ ッ ト 列 を 受 け る ビ ッ ト 列受 け 入れ部 と 、
前記符号化 ビ ッ ト 列 か ら 前記動画像情報 に 対応す る 画像 ビ ッ ト 列 を分離す る 分離部 と 、
前記画像 ビ ッ ト 列 を 復 号す る 複号化部 と 、
前記 ビ ッ ト 列 か ら 同 期 信 号 を 検 出 し 前記復 号化部 へ通知 す る 同期信号検 出部 と 、
前記複号化部 の 復 号情報 か ら 誤 り が 存在 し な レ、 カゝ ど う か を 判定す る エ ラ ー チ ェ ッ ク 部 と 、
前記エ ラ ー チ ェ ッ ク 部 が 誤 り な し と 判 定 し た と き 、 前記復
補正された用紙 (条約第 I9条) 号化部 か ら 出 さ れ た 前記へ ッ ダ情報 か ら 重要情 報 を 構成 し 、 複号化部 に 通知 す る 重要情報構成部 と 、
を 具備 し た 動画像復号化装置。
8 . (補正後 ) 前記重要情報構成部 は 、
前記へ ッ ダ情 報 か ら 通 常 画像 関 連重 要情 報 を 構成す る 第 1 の 重要情報構成部 と 、
前記へ ッ ダ情 報 か ら 復 号化 し て い る 画像 が 任意形状 画像 か ど う か を判 定す る 任意形状符号化判 定部 と 、
前記へ ッ ダ情報 か ら 任意形状画像 関連重要情 報 を 構成す る 第 2 の重要情報構成部 と 、
前記任意形状符 号化判 定部 が 任意形状画像 と 判 定 し た場合 に 、 前記へ ッ ダ情報 を 前記 第 2 の 重要情報構成部へ導入す る 第 1 の切替部 と 、
前記任意形状符 号化判 定部 が 任意形状画像 と 判 定 し た と き に 、 前記任意形 状画像 関連 重要 情報 を 出 力 す る 第 2 の 切替部 と 、
を 具備 し た請求項 7 記載 の 動 画像複号化装置。
9 . (補正後 ) 前記重要情報構成部 は 、 前記復号化部 が復号 中 の 前記 ビ ッ ト 歹 IJ に V O P ( ビデ オ . オ ブ ジ ェ ク ト · プ レ ー ン) ヘ ッ ダ が 存在 し て い る 場合 は 、 V O P ヘ ッ ダ情報 を 出 力 し 、 復 号 中 の前記 ビ ッ ト 歹 IJ に V O P ヘ ッ ダが 存在 し な レヽ場合、 V P ヘ ッ ダ の 前記重要情報 を 出 力 す る 請求項 7 記載 の 動画像 複号化装置。
1 0 . (補正後 ) 前記重要情報構成部 は 、 前記復号化部 に お い て 前記 ビ ッ ト 列 か ら 前記 V P へ ッ ダ が 発 見 さ れた 場合 は 、 ま ず通 常画像 関 連重要情報 を 復 号す る 請求項 9 記載 の 動 画像 復号化装置。
1 1 . 前記エ ラ 一 チ ヱ ッ ク 部 が 誤 り を 検 出 し た と き 、 前記 符号化部 は誤 り に 対応 し た 処理 を 行 っ た 後 、 前記 同 期 検 出 部 が検 出 し た 次 の 同 期信 号 の 位置 か ら 復 号作業 を 行 う 請 求項 7
補正された用紙 (条約第 19条) 記載 の動画像復 号化装置。
1 2 . (補正後 ) 入 力 さ れ た 動画像 を任意形状符号化 し た符 号化情報 を 符号化 ビ ッ ト 歹 ij と し て 生成す る 符号化部 と 、
前記符 号化部 で の 符 号化 情 報 か ら 一 定 の ビ ッ ト 列 の 纏 ま り が ど の よ う な 規則 の も と に 符 号化 さ れ て い る か を 指 し 示 す重 要情報 を 取 り 出 し て 構成す る 重 要情報構成部 と 、
前記符 号化部 に よ り 符 号化 さ れ た ビ ッ ト 列 を 分割 し 、 複 数 の 分割 ビ ッ ト 列 を 生成す る ビ ッ ト 列 分割部 と 、
前記重要情報構成部 に よ り 構成 さ れ た 重要情報 か ら パ ケ ッ ト ヘ ッ ダ を 作成す る ノ ケ ッ ト へ ッ ダ作成部 と 、
前記分割 ビ ッ ト 列 と 前記 ノ ケ ッ ト へ ッ ダ と を 用 い て パ ケ ッ ト を構成す る バ ケ ツ ト 構成部 と 、
を 具備 し た動画像符号化装置。
1 3 . (補正後) 前記重要情報構成部 は 、
前記符号化情報 か ら 任意 形状画像 関連重要情 報 を 構成す る 任意形状画像 関連重要情報構成部 と 、
前記符号化情報 か ら 任意 形状画像 関連重要情 報 を保持 さ せ た拡 張へ ッ ダ を ノ、° ケ ッ 卜 へ ッ ダ に 付加 す る か否 か を 判 定す る 拡張へ ッ ダ挿入判 定部 と 、
前記拡張ヘ ッ ダ を 挿入す る こ と を 前記拡張ヘ ッ ダ挿入判 定 部 が判 定 し た場合 に 、 前記へ ッ ダ情報 を 前記任意形状画像 関 連重要情報に導入す る 切替部 と 、
を 具備 し た請求項 1 2 記載 の 動画像符号化装置。
1 4 . 前記ノ、。 ケ ッ ト ヘ ッ ダ生成部 は 、 重要情 報 を ノ、。 ケ ッ ト へ ッ ダ 内 に 組み込 ん でノ ケ ッ ト ヘ ッ ダ と し て 前記ノ ケ ッ ト 構 成部 に 出 力 し 、 前記 ビ ッ ト 列 分割 部 は 、 前記符 号化部 力ゝ ら 出 力 さ れた ビ ッ ト 列 を バ ケ ツ ト サ イ ズ に 分割 し て 出 力 す る 請 求 項 1 2 記載の動画像符号化装置。
1 5 . (補正後)動画像を任意形状符号化 して生成される符号化動 画像情報、 同期情報、 並びに前記動画像を符号化する と き に一定の
補正された用紙 (条約第 19条) ビ ッ ト 歹 IJ の 纏 ま り 力 ど の よ う な 規貝 IJ の も と に 符 号化 さ れ て レ、 る か を 指 し 示 す 重要情 報 を 含 む バ ケ ツ ト へ ッ ダ 情報 を 有す る 符号化 ビ ッ ト 列 を 受 け る ビ ッ ト 列受 け入れ部 と 、
入 力 さ れ た 前記 ビ ッ ト 列 か ら 前記動 画像 情報 の 画像 ピ ッ ト 列 と バ ケ ツ ト へ ッ ダ情報 と を 分離す る 分離部 と 、
前記画像 ビ ッ ト 列 を 復号す る 復 号化部 と 、
前記 復 号化部 の 復 号情報 カゝ ら 誤 り が 存在 し な い カゝ ど う か を 判 定す る エ ラ ー チ ェ ッ ク 部 と 、
前記バ ケ ツ ト へ ッ ダ情報 か ら 前記重要情 報 を 取 り 出 し て 重 要情報 を 構成 し 、 前記 エ ラ 一 チ ェ ッ ク 部 で誤 り が あ る と 判 定 さ れ 、 復号 に 重要情報 が 必 要 な 場合 に 当 該構成 し た 重要情報 を 複 号化部 に通知す る 重要情報構成部 と 、
を 具備 し た 動画像複号化装置。
1 6 . (補正後) 前記重要情報構成部 は 、
前記バ ケ ツ ト へ ッ ダ情報 か ら 任意形状画像 関 連重要情報 を 構成す る 第 1 の 重要情報構 成部 と 、
前記ノ ケ ッ ト へ ッ ダ情報 力 ら 拡張へ ッ タ カ s ノ ケ ッ ト へ ッ グ に 付加 さ れ て い る か否 か を 判 定す る 拡張ヘ ッ ダ挿入判 定部 と 拡張ヘ ッ ダ が挿入 さ れて い る こ と を 前記拡張ヘ ッ ダ挿入判 定部 が 判 定 し た 場合 に 前記 ノ ケ ッ ト へ ッ ダ情報 を 前記任意形 状画像 関連重要情報 に導入す る 切 替部 と 、
を 具備 し た請求項 1 5 記載 の 動画像複号化装置。
1 7 . (補正後 ) 動画像 を 任意形状符号化 し 、 符号化 ビ ッ ト 列 を 生成す る 動画像符 号化 装置 を含 むサ ー バ コ ン ピ ュ ー タ と 前記サ ー バ コ ン ピ ュ ー タ の 符 号化 ビ ッ ト 列 を 送信す る 送信 機 と 、
前記サ ー バ コ ン ピ ュ ー タ 力ゝ ら の 符号化 ビ ッ ト 列 を 受信す る 受信機 と 、
前記受信機か ら の 符 号化 ビ ッ ト 列 を 複 号化す る 動画像復 号 化装置 を含む ク ラ イ ア ン ト コ ン ピ ュ ー タ と 、
補正された用紙 (条約第 19条) を 具備 し 、
前記動画像符号化装置 は 、
入 力 さ れ た 動 画像 を 符 号化 し て 符 号化 情報 を 前記 ビ ッ ト 列 と し て 生成す る 符号化部 と 、
前記符号化部 の符号化情報 か ら 、 一 定の ビ ッ ト 列 の纏ま り が ど の よ う な 規則 の も と に 符 号化 さ れて い る か を 指 し 示す ,ト 報 と し て の 重要情報 を 取 り 出 し て 構成す る 重要情報構成部 と 、 同 期信号 を 発 生す る 同 期信号発生部 と 、
前記符 号化部 に よ り 任意形状符号化 さ れ た ビ ッ ト 列 に 前 記 同 期 発 生部 か ら 出 力 さ れ た 同 期信 号 と 前記重要情報 が 二重 化 さ れ て い る か否 か を 示す H E C 符 号 と 前記重要情報構成部 に よ り 構成 さ れ た 重要 情報 を 加 え ビ ッ ト 列 を 再構成す る ビ ッ ト 列再構成部 と 、
で構成 さ れ 、
前記動画像複号化装置 は 、
受信 し た 前記符 号化 ビ ッ ト 列 か ら 前記動 画像情報 に 対応 す る 画像 ビ ッ ト 列 を 分離す る 分離部 と 、
前記画像 ビ ッ ト 列 を 復 号す る 複号化部 と 、
前記 ビ ッ ト 列 か ら 同 期 信 号 を 検 出 し 前記複 号化部 へ通 知 す る 同期信号検 出部 と 、
前記復 号化部 の 復 号情 報 か ら 誤 り が 存在 し な い か ど う か を 判 定す る エ ラ ー チ ェ ッ ク 部 と 、
前記エ ラ ー チ ェ ッ ク 部 が 誤 り な し と 判 定 し た と き 、 前記 複 号化部 か ら 出 さ れ た 前記へ ッ ダ情報 か ら 重要 情報 を 構成 し 複号化部 に通知す る 重要情報構成部 と 、
で構成 さ れ る 、
動画像伝送 シ ス テ ム 。
1 8 . (補正後 ) 動画像 を任意形状符号化 し 、 符号化 ビ ッ ト 列 を 生成す る 動画像符 号化装置 を 含む サ ー バ コ ン ピ ュ ー タ と 前記サー バ コ ン ピ ュ ー タ の 符 号化 ビ ッ ト 列 を 送信す る 送信
補正された用紙 (条約第 19条) 機 と 、
前記 サ ー バ コ ン ピ ュ ー タ カゝ ら の 符号化 ビ ッ ト 歹 IJ を 受信 す る 受信機 と 、
前記受信機 か ら の 符 号化 ビ ッ ト 列 を 復 号化す る 動 画像復 号 化装置 を含 む ク ラ イ ア ン ト コ ン ピ ュ 一 タ と 、
を 具備 し 、
前記動画像符 号化装置 は 、
入 力 さ れ た 動 画像 を 任意形 状符 号化 し た 符 号化情報 を 符 号化 ビ ッ ト 歹 IJ と し て 生成す る 符 号化部 と 、
前記符 号化 部 で の 符 号化情 報 か ら 一 定 の ビ ッ ト 列 の 纏 ま り 力 s ど の よ う な 規貝 ij の も と に 符 号化 さ れ て レヽ る 力 を 指 し 示す 重要情報 を 取 り 出 し て 構成す る 重要情報構成部 と 、
前記符 号化部 に よ り 符 号化 さ れた ビ ッ ト 列 を 分割 し 、 複 数の 分割 ビ ッ ト 列 を 生成す る ビ ッ ト 列分割部 と 、
前記重要情報構成部 に よ り 構成 さ れ た 重要 情報 か ら パ ケ ッ ト ヘ ッ ダ を 作成す る パ ケ ッ ト へ ッ ダ作成部 と 、
前記分割 ビ ッ ト 列 と 前記ノ ケ ッ ト へ ッ ダ と を 用 い て パ ケ ッ ト を構成す る ノ、" ケ ッ ト 構成部 と 、
で構成 さ れ 、
前記動画像復号化装置 は 、
受 信 さ れた 前記 ビ ッ ト 列 か ら 前記動 画像情 報 の画像 ピ ッ ト 歹 IJ と バ ケ ツ ト へ ッ ダ情報 と を 分離す る 分離部 と 、
前記画像 ビ ッ ト 列 を 復号す る 復号化部 と 、
前記複 号化部 の 復 号情 報 か ら 誤 り が 存在 し な い か ど か を判 定す る エ ラ 一 チ - ッ ク 部 と 、
前記バ ケ ツ ト へ ッ ダ情 報 か ら 前記重要情報 を 取 り 出 し て 重要情報 を 構成 し 、 前記エ ラ ー チ ヱ ッ ク 部 で誤 り が あ る と 判 定 さ れ 、 復 号 に 重要情報 が 必要 な 場合 に 当 該構成 し た 重要情 報 を復号化部 に通知す る 重要情報構成部 と 、
で構成 さ れ る 、
補正された用紙 (条約第 19条) 動画像伝送 シ ス テ ム 。
1 9 . (補正後)符号化データ内で共通に扱われる情報を納めたヘッダと、 V O P ヘ ッ ダ と マ ク ロ ブ ロ ッ ク デー タ と を 含 む 第 1 の ビ デ オ ノ ケ ッ ト と 、 V P ヘ ッ ダ と マ ク ロ ブ ロ ッ ク デー タ と を 含 む 少 な く と も 1 つ の 第 2 の ビ デ オ ノ ケ ッ ト と 力 ら な る V O P 力 S 記録 さ れた記録媒体 に お い て 、
前記 V P ヘ ッ ダ は 、 同 期 信 号 と 、 任意形状符 号化 さ れ た 符 号化情報 力 ど の よ う な 規則 の も と に 符 号化 さ れ て レ、 る か を 指 し 示 す 重要 情 報 が 二重化 さ れ て い る か否 か を 示す H E C 符 号 と を含む こ と を 特徴 と す る 記録媒体。
2 0 . 前記 V P ヘ ッ ダ の 重要 情報 は画像 の 幅 、 画像 の 高 さ 、 画像 を 貼 り 込 む X 座標 お よ び Y 座標 、 形状情報 を 縮小 変換 し て 符 号化 し て い る カゝ ど う か を 示す フ ラ グ 、 形状情報 の 符 号化 タ イ プ の情報 を含む請求項 1 9 の記録媒体。
2 1 . (補正後) 入力 さ れ た ビ ッ ト 列 か ら 画像列 を 分離す る 分離手段 と 、
前記画像 ビ ッ ト 列 を 復号す る 複号化手段 と 、
前記画像 ビ ッ ト 列 か ら 同 期 信 号 を 検 出 し 、 前記復号化手段 へ通知す る 同 期信号検 出 手段 と 、
前記復号化手段 か ら 出 さ れ た へ ッ ダ情報 か ら 重要情報 を 構 成 し 、 複号化手段 に通知す る 重要情報構成手段 と 、
を 具備す る 動画像複 号化装置。
2 2 . (補正後)前記ヘッダ情報から通常画像関連重要情報構成手段と 前記へ ッ ダ情報 か ら 複号化 し て い る 画像 が任意形状画像 か ど う か を判 定す る 任意形状符号化判 定手段 と 、
へ ッ ダ情報 か ら 任意形状画像 関 連重要情報 を 構成す る 任意 形状画像 関連重要情報構成手段 と 、
前記任意形状符 号化判 定 手段 が任意形状 で あ る と 判 定 し た 場合 に へ ッ ダ情報 を任意形 状画像 関連情報構成手段へ入力 す る 切 り 替 え 手段 と 、
補正された用紙 (条約第 19条) WO 00/54512 ― PCT/JPOO/01354
69
前記任意形状符 号化判 定 手段 で任意形 状画像 だ と 判 定 さ れ た 場合 に 前記任意形状画像 関 連 重要情報 を 出 力 す る 切 り 替 え 手段 と 、
を 具備す る 請求項 2 1 の動画像符号化装置。
2 3 . (追加 ) 前記重要情報 は 、 画像サ イ ズ及び画像位置 を 示 す情報 を 含 む こ と を 特徴 と す る 請 求項 1 記載 の 動 画像符 号 化装置。
2 4 . (追加 ) 前記重要情報 は 、 画像サ イ ズ及び画像位置 を 示す情報 を 含 む こ と を 特徴 と す る 請 求項 7 記載 の 動 画像復 号 化装置。
2 5 . (追加 ) 前記重要情報 は 、 画像サ イ ズ及 び画像位置 を 示す情報 を 含 む こ と を 特徴 と す る 請求項 1 2 記載 の 動 画像符 号化装置。
2 6 . (追加 ) 前記重要情報 は 、 画像サ イ ズ及 び画像位置 を 示す情報 を 含 む こ と を 特徴 と す る 請求項 1 5 記載 の 動 画像復 号化装置。
2 7 . (追加 ) 前記重要情報 は 、 画像サ イ ズ及び画像位置 を 示す情報 を 含 む こ と を 特徴 と す る 請求項 1 7 記載 の 動 画像伝 送 シ ス テ ム 。
2 8 . (追加 ) 前記重要情報 は 、 画像サ イ ズ及び画像位置 を 示す情報 を 含 む こ と を 特徴 と す る 請求項 1 8 記載 の動画像伝 送 シ ス テ ム 。
2 9 . (追加 ) 前記 V P ヘ ッ ダ は 、 重要情報 が 二重化 さ れて い る こ と を 示す H E C 符号 と 、 二重化 さ れ た任意形状符号 に 関 す る 重要情報 と を 含 む こ と を 特徴 と す る 請求項 1 9 記載 の 記録媒体。
補正された用紙 (条約第 19条)
PCT/JP2000/001354 1999-03-05 2000-03-06 Method and apparatus for coding moving picture image WO2000054512A1 (en)

Priority Applications (10)

Application Number Priority Date Filing Date Title
BR0009262-2A BR0009262A (pt) 1999-03-05 2000-03-06 Aparelho de codificação de vìdeo e aparelho de decodificação de vìdeo
EP00906734A EP1158811A4 (en) 1999-03-05 2000-03-06 METHOD AND ARRANGEMENT FOR CODING MOVING IMAGES
CA002367055A CA2367055C (en) 1999-03-05 2000-03-06 Video coding and decoding apparatus with error correction for handling arbitrary shaped blocks
US09/914,787 US7027517B1 (en) 1999-03-05 2000-03-06 Method and apparatus for coding moving picture image
AU28305/00A AU758372B2 (en) 1999-03-05 2000-03-06 Method and apparatus for coding moving picture image
MXPA01008928A MXPA01008928A (es) 1999-03-05 2000-03-06 Aparato codificador de video y aparato decodificador de video.
NO20014284A NO20014284L (no) 1999-03-05 2001-09-04 Apparat for koding og dekoding av videosignaler
US09/950,663 US7124429B2 (en) 1999-03-05 2001-09-13 Video coding apparatus and video decoding apparatus
US11/218,526 US20060008012A1 (en) 1999-03-05 2005-09-06 Video coding apparatus and video decoding apparatus
US11/354,963 US20060140281A1 (en) 1999-03-05 2006-02-16 Video coding apparatus and video decoding apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP11/58590 1999-03-05
JP5859099 1999-03-05

Related Child Applications (4)

Application Number Title Priority Date Filing Date
US09914787 A-371-Of-International 2000-03-06
US09/950,663 Continuation-In-Part US7124429B2 (en) 1999-03-05 2001-09-13 Video coding apparatus and video decoding apparatus
US11/218,526 Division US20060008012A1 (en) 1999-03-05 2005-09-06 Video coding apparatus and video decoding apparatus
US11/354,963 Division US20060140281A1 (en) 1999-03-05 2006-02-16 Video coding apparatus and video decoding apparatus

Publications (1)

Publication Number Publication Date
WO2000054512A1 true WO2000054512A1 (en) 2000-09-14

Family

ID=13088713

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2000/001354 WO2000054512A1 (en) 1999-03-05 2000-03-06 Method and apparatus for coding moving picture image

Country Status (10)

Country Link
US (3) US7027517B1 (ja)
EP (1) EP1158811A4 (ja)
KR (1) KR100483814B1 (ja)
CN (1) CN100407797C (ja)
AU (1) AU758372B2 (ja)
BR (1) BR0009262A (ja)
CA (1) CA2367055C (ja)
MX (1) MXPA01008928A (ja)
NO (1) NO20014284L (ja)
WO (1) WO2000054512A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6499060B1 (en) 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
KR20040046540A (ko) * 2002-11-27 2004-06-05 엘지전자 주식회사 동영상 디코딩 방법
US8230094B1 (en) * 2003-04-29 2012-07-24 Aol Inc. Media file format, system, and method
KR100987777B1 (ko) * 2004-02-05 2010-10-13 삼성전자주식회사 에러의 전파를 방지하고 병렬 처리가 가능한 디코딩 방법및 그 디코딩 장치
US20060062312A1 (en) * 2004-09-22 2006-03-23 Yen-Chi Lee Video demultiplexer and decoder with efficient data recovery
US7818614B2 (en) * 2004-10-25 2010-10-19 Hewlett-Packard Development Company, L.P. System and method for reintroducing a processor module to an operating system after lockstep recovery
US8634413B2 (en) * 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
WO2007134406A1 (en) * 2006-05-24 2007-11-29 Cohda Wireless Pty Ltd Method and apparatus for multicarrier communications
US8379733B2 (en) * 2006-09-26 2013-02-19 Qualcomm Incorporated Efficient video packetization methods for packet-switched video telephony applications
US9357233B2 (en) * 2008-02-26 2016-05-31 Qualcomm Incorporated Video decoder error handling
JP5791451B2 (ja) * 2011-09-29 2015-10-07 キヤノン株式会社 符号化装置およびプログラム
KR20140090999A (ko) * 2011-10-14 2014-07-18 어드밴스드 마이크로 디바이시즈, 인코포레이티드 영역-기반 이미지 압축
FR3024582A1 (fr) * 2014-07-29 2016-02-05 Orange Gestion de la perte de trame dans un contexte de transition fd/lpd

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6413838A (en) * 1987-07-08 1989-01-18 Nec Corp Packet communication system
JPH06311052A (ja) * 1993-04-27 1994-11-04 Victor Co Of Japan Ltd 圧縮信号の処理装置
JPH06326967A (ja) * 1993-05-12 1994-11-25 Matsushita Electric Ind Co Ltd データ伝送方法
EP0677961A2 (en) * 1994-04-13 1995-10-18 Kabushiki Kaisha Toshiba Method for recording and reproducing data
EP0731422A2 (en) * 1995-03-09 1996-09-11 Mitsubishi Denki Kabushiki Kaisha Moving picture decoding circuit
EP0737975A2 (en) * 1995-04-11 1996-10-16 Kabushiki Kaisha Toshiba Recording medium, recording apparatus and recording method for recording data into recording medium, and reproducing apparatus and reproducing method for reproducing data from recording medium
JPH09271041A (ja) * 1996-03-29 1997-10-14 Sharp Corp 動画像符号化装置及び動画像復号装置
JPH10336746A (ja) * 1997-05-30 1998-12-18 Matsushita Electric Ind Co Ltd 携帯端末装置及びこれを用いた無線データ通信システム
GB2327313A (en) * 1997-06-30 1999-01-20 Daewoo Electronics Co Ltd Motion vector detection in a wavelet transformed video signal
US5867231A (en) * 1995-01-31 1999-02-02 Sony Corporation Method and apparatus for decoding video signal
JPH1141108A (ja) * 1997-07-23 1999-02-12 Toshiba Corp 可変長符号化システム及び可変長符号化方法
JPH1188881A (ja) * 1997-07-10 1999-03-30 Matsushita Electric Ind Co Ltd 画像伝送用データ構造,画像符号化方法,及び画像復号化方法
JPH11313324A (ja) * 1998-04-28 1999-11-09 Asahi Chem Ind Co Ltd 画像圧縮データの加工方法および装置ならびに画像圧縮データ加工プログラムを記憶した記憶媒体
JP2000013790A (ja) * 1998-06-19 2000-01-14 Sony Corp 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに提供媒体

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4248737A (en) * 1979-06-15 1981-02-03 Uop Inc. Technique to reduce the zeolite molecular sieve solubility in an aqueous system
JPS5678546A (en) * 1979-11-30 1981-06-27 Iwatani & Co Oxygen supply method to live fish chamber of live fish transporting apparatus
US5289276A (en) * 1992-06-19 1994-02-22 General Electric Company Method and apparatus for conveying compressed video data over a noisy communication channel
JP3249729B2 (ja) * 1995-10-24 2002-01-21 シャープ株式会社 画像符号化装置及び画像復号装置
JPH1174868A (ja) 1996-09-02 1999-03-16 Toshiba Corp 情報伝送方法およびその方法が適用される情報伝送システムにおける符号化装置/復号化装置、並びに符号化・多重化装置/復号化・逆多重化装置
JPH10262063A (ja) * 1997-03-19 1998-09-29 Fujitsu Ltd セルスイッチング方法及びセル交換システム
US6449254B1 (en) * 1998-12-11 2002-09-10 Analog Devices, Inc. ATM cell filtering
US6885661B1 (en) * 1998-12-30 2005-04-26 Nortel Networks Limited Private branch exchange built using an ATM Network
US6151913A (en) * 1999-04-23 2000-11-28 Praxair Technology, Inc. Method and apparatus for agglomerating fine snow particles

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6413838A (en) * 1987-07-08 1989-01-18 Nec Corp Packet communication system
JPH06311052A (ja) * 1993-04-27 1994-11-04 Victor Co Of Japan Ltd 圧縮信号の処理装置
JPH06326967A (ja) * 1993-05-12 1994-11-25 Matsushita Electric Ind Co Ltd データ伝送方法
EP0677961A2 (en) * 1994-04-13 1995-10-18 Kabushiki Kaisha Toshiba Method for recording and reproducing data
US5867231A (en) * 1995-01-31 1999-02-02 Sony Corporation Method and apparatus for decoding video signal
EP0731422A2 (en) * 1995-03-09 1996-09-11 Mitsubishi Denki Kabushiki Kaisha Moving picture decoding circuit
EP0737975A2 (en) * 1995-04-11 1996-10-16 Kabushiki Kaisha Toshiba Recording medium, recording apparatus and recording method for recording data into recording medium, and reproducing apparatus and reproducing method for reproducing data from recording medium
JPH09271041A (ja) * 1996-03-29 1997-10-14 Sharp Corp 動画像符号化装置及び動画像復号装置
JPH10336746A (ja) * 1997-05-30 1998-12-18 Matsushita Electric Ind Co Ltd 携帯端末装置及びこれを用いた無線データ通信システム
GB2327313A (en) * 1997-06-30 1999-01-20 Daewoo Electronics Co Ltd Motion vector detection in a wavelet transformed video signal
JPH1188881A (ja) * 1997-07-10 1999-03-30 Matsushita Electric Ind Co Ltd 画像伝送用データ構造,画像符号化方法,及び画像復号化方法
JPH1141108A (ja) * 1997-07-23 1999-02-12 Toshiba Corp 可変長符号化システム及び可変長符号化方法
JPH11313324A (ja) * 1998-04-28 1999-11-09 Asahi Chem Ind Co Ltd 画像圧縮データの加工方法および装置ならびに画像圧縮データ加工プログラムを記憶した記憶媒体
JP2000013790A (ja) * 1998-06-19 2000-01-14 Sony Corp 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに提供媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1158811A4 *

Also Published As

Publication number Publication date
CA2367055A1 (en) 2000-09-14
NO20014284D0 (no) 2001-09-04
US20060140281A1 (en) 2006-06-29
EP1158811A4 (en) 2002-01-09
KR20010108318A (ko) 2001-12-07
CN1346574A (zh) 2002-04-24
BR0009262A (pt) 2002-02-05
AU2830500A (en) 2000-09-28
US20060008012A1 (en) 2006-01-12
KR100483814B1 (ko) 2005-04-20
US7027517B1 (en) 2006-04-11
EP1158811A1 (en) 2001-11-28
NO20014284L (no) 2001-10-19
MXPA01008928A (es) 2003-07-21
CN100407797C (zh) 2008-07-30
CA2367055C (en) 2004-09-14
AU758372B2 (en) 2003-03-20

Similar Documents

Publication Publication Date Title
CN101175213B (zh) 视频源编码的方法和设备以及视频源解码的方法和设备
US7010032B1 (en) Moving image coding apparatus and decoding apparatus
US20060008012A1 (en) Video coding apparatus and video decoding apparatus
WO1998010591A1 (en) Information transmitting method, encoder/decoder of information transmitting system using the method, and encoding multiplexer/decoding inverse multiplexer
US6408098B2 (en) Moving-picture signal for use in a coding apparatus for transmitting image information
Villasenor et al. Robust video coding algorithms and systems
US20050063473A1 (en) Method and apparatus for transmitting and receiving coded packet and program therefor
US6983016B2 (en) Method for detecting errors in video information
US7124429B2 (en) Video coding apparatus and video decoding apparatus
JPH11341450A (ja) 電子透かし埋め込み装置および電子透かし抽出装置
JP4218112B2 (ja) マルチメディア通信システム
JP2000324491A (ja) 動画像符号化装置および動画像復号化装置
JP3898885B2 (ja) 動画像復号化方法、動画像復号化装置、及びプログラム記録媒体
JP2007318797A (ja) 動画像復号装置及び方法
JP2001309375A (ja) メディア分離方法と画像復号方法及び装置
AU2002306385B2 (en) Video coding apparatus and video decoding apparatus
JP2000308049A (ja) 動画像符号化装置および動画像復号化装置
Pillai et al. A forward error recovery technique for MPEG-II video transport
JP2005245037A (ja) 画像符号化方法、画像復号化方法及びその装置
JP2005051816A (ja) 動画像復号化方法、動画像復号化装置、及びプログラム記録媒体
JP2003078916A (ja) 画像符号化方法および画像復号化方法
JP2006157712A (ja) デジタルテレビ装置及びコンテンツ送信方法
WO2003036988A1 (en) Media separating method, image decoding method and image decoding device

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 1200100967

Country of ref document: VN

Ref document number: 00806138.6

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): AU BR CA CN KR MX NO SG US VN

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH DE ES FR GB IT NL SE

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
ENP Entry into the national phase

Ref document number: 2367055

Country of ref document: CA

Ref document number: 2367055

Country of ref document: CA

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: PA/a/2001/008928

Country of ref document: MX

Ref document number: 28305/00

Country of ref document: AU

WWE Wipo information: entry into national phase

Ref document number: 09914787

Country of ref document: US

Ref document number: 1020017011312

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2000906734

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2000906734

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1020017011312

Country of ref document: KR

WWG Wipo information: grant in national office

Ref document number: 28305/00

Country of ref document: AU

WWG Wipo information: grant in national office

Ref document number: 1020017011312

Country of ref document: KR