WO2010079797A1 - 画像変換装置と方法及びプログラム - Google Patents

画像変換装置と方法及びプログラム Download PDF

Info

Publication number
WO2010079797A1
WO2010079797A1 PCT/JP2010/050083 JP2010050083W WO2010079797A1 WO 2010079797 A1 WO2010079797 A1 WO 2010079797A1 JP 2010050083 W JP2010050083 W JP 2010050083W WO 2010079797 A1 WO2010079797 A1 WO 2010079797A1
Authority
WO
WIPO (PCT)
Prior art keywords
conversion
size
image
encoding
unit
Prior art date
Application number
PCT/JP2010/050083
Other languages
English (en)
French (fr)
Inventor
一輝 渡邊
一範 小澤
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US13/143,141 priority Critical patent/US9319699B2/en
Priority to CN2010800039482A priority patent/CN102273207A/zh
Priority to JP2010545773A priority patent/JPWO2010079797A1/ja
Publication of WO2010079797A1 publication Critical patent/WO2010079797A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Definitions

  • the present invention is based on the priority claim of Japanese Patent Application No. 2009-002989 (filed on Jan. 8, 2009), the entire contents of which are incorporated herein by reference. Shall.
  • the present invention relates to an image conversion technique, and more particularly to an image conversion method, apparatus, and program suitable for application to an apparatus that performs re-encoding when converting the size of an encoded moving image compression-encoded bitstream.
  • ITU-T International Telecommunication Standardization Sector
  • H. ITU-T International Telecommunication Standardization Sector
  • MPEG-4 Moving Picture Expert Group Phase 4
  • ISO / IEC International Organization for Standardization / International Electrotechnical Commission
  • H.264 has been internationally standardized by ITU-T and ISO / IEC.
  • H.264 / MPEG-4 AVC Advanced Video Coding
  • DCT Discrete Cosine Transform
  • DIT Discrete Integral Transform
  • inter prediction when an input image frame is encoded, a motion compensation prediction is performed between decoded pixels of past and future frames to obtain a prediction residual signal, and DCT or DIT is performed on the prediction residual signal. Then, motion vectors, DCT coefficients, etc. are variable length encoded.
  • the network bandwidth of the connection destination is different, especially when the bandwidth becomes narrow, it is necessary to suppress the bit rate of the encoded data. If the bit rate is simply suppressed, the image quality deteriorates, so it is necessary to consider keeping the code amount for each block in the frame by reducing the screen size or reducing the frame rate.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2002-142222 discloses a screen size changing device that converts an image compression-coded in the space axis and time-axis directions into a compression-coded image of a different resolution at high speed.
  • the variable length decoding means decodes the compressed image, outputs the motion vector information of each frame and the orthogonal transformation image, the orthogonal transformation image is inversely quantized, and the hierarchical inverse orthogonal transformation means changes the number of pixels of the orthogonal transformation image.
  • the inverse orthogonal transform is performed according to the rate, and the uncompressed differential image or the uncompressed image after the resolution change is output, and the motion vector correcting unit corrects the decoded motion vector information according to the change rate of the number of pixels.
  • the motion vector generation means generates motion vector information after the resolution change using the decoded motion vector information
  • the motion compensated uncompressed image generation means performs motion compensation processing of the uncompressed differential image using this, Generate a compressed image.
  • the motion compensated non-compressed difference image generation unit generates an uncompressed difference image of the uncompressed image using the motion vector information after the resolution change.
  • the uncompressed differential image and the uncompressed image are then compressed. An uncompressed image after the resolution change can be directly generated from the compressed image before the resolution change.
  • Patent Document 2 discloses an image supplied as an encoded data image size conversion device that can easily and satisfactorily obtain an image size conversion of data encoded using motion compensation prediction and orthogonal transform.
  • Macroblock image data converted from encoded data to a predetermined image size is obtained by an image data converter, and a converted motion vector related to the macroblock image data is converted to a motion vector of supplied image encoded data.
  • obtaining a motion vector converter by multiplying the ratio if the conversion ratio is less than 1, an integrated motion vector is obtained according to the variance of a plurality of converted motion vectors necessary for image data conversion, and the integrated motion vector is obtained. This was realized by obtaining the size-converted image encoded data using the obtained macroblock image data.
  • Patent Document 3 there is no significant deterioration in image quality even in a portion where movement is intense, and the size of the output image can be changed with a simple configuration that does not require low-pass filtering processing and thinning processing after decoding processing.
  • a motion vector conversion unit that converts the size of a motion vector from motion vector information included in a bitstream is provided.
  • a configuration is disclosed in which inverse DCT is performed using only the DCT coefficient on the band side, and when the magnitude of the motion vector is large, inverse DCT is performed using the DCT coefficient on the high band side in addition to the DCT coefficient on the low band side. Has been.
  • Patent Document 4 in a coding apparatus that performs re-encoding using a coding method that combines motion compensated prediction and DCT, second video encoded data obtained by converting the image size from first video encoded data is obtained.
  • an IDCT Inverse DCT
  • an IDCT Inverse DCT
  • decoding into image data by motion compensation prediction in the spatial domain thereby reducing the computation amount of the IDCT processing and the image size conversion processing and preventing an increase in the computation amount of motion compensation prediction decoding in the DCT region. It is disclosed.
  • the biggest problem is the amount of computation during re-encoding. This is because an operation for performing re-prediction is required when re-encoding after converting the image size of the received stream.
  • the received stream information is used as it is when re-encoding after converting the image size of the received stream, the image quality deteriorates.
  • An object of the present invention is to provide an apparatus, a method, and a program for speeding up the conversion of the image size of input encoded data.
  • the invention disclosed in the present application is generally configured as follows in order to solve at least one of the above-described problems.
  • an image conversion apparatus including means for reusing at least one of a prediction mode, a block type, a motion vector, and reference frame information for the encoding.
  • the received encoded data is decoded into image data, Change the size of the decoded image data;
  • a process of decoding received encoded data Processing to change the size of the decoded image data; A process of reusing at least one of a prediction mode, a block type, a motion vector, and reference frame information of the received encoded data for the encoding when encoding the image data after the size change; A program for causing a computer to execute is provided.
  • the present invention when the image size of the input encoded data is converted, it can be converted at high speed. In addition, according to the present invention, it is possible to suppress deterioration in image quality when converting the image size of input encoded data.
  • means for decoding the received encoded data means for changing the size of the decoded image data, and prediction of the received encoded data when encoding the image data after the size change.
  • a reception buffer (102 in FIG. 1) that receives input encoded data (110 in FIG. 1)
  • a reception buffer (102) 102) decoding unit (103 in FIG. 1) that decodes the encoded data received from the image into the image data
  • a size conversion request (107 in FIG. 1) from the outside of the apparatus and encoding from the decoding unit (103 in FIG. 1)
  • the parameter (112 in FIG. 1) is received and input from the conversion control unit (101 in FIG. 1) that controls the size conversion unit (104 in FIG. 1) and the encoding unit (105 in FIG. 1) and the decoding unit (103).
  • a size conversion unit (104) for converting the size of the image data based on an instruction from the conversion control unit (101), and an image data input from the size conversion unit (104) according to an instruction from the conversion control unit (101).
  • Mark A coding unit (105), a transmission buffer for outputting the encoding unit from (105) receives the encoded data (106 in FIG. 1) for generating data.
  • the input encoded data is decoded into image data by the decoding unit (103).
  • the size conversion unit (104) converts the size of the image data.
  • the prediction mode and the motion vector of the encoding parameter obtained from the decoding unit (103) are expanded / reduced or divided / combined based on the conversion ratio of the size conversion request.
  • the encoding unit (105) encodes the size-converted image data using the converted prediction mode and motion vector, and transmits the encoded data to the outside of the moving image conversion apparatus via the transmission buffer (106).
  • a high-speed conversion method can be provided when converting the image size of input encoded data.
  • description will be made with reference to examples.
  • FIG. 1 is a diagram showing a configuration of a moving image conversion apparatus 100 according to the first embodiment of the present invention.
  • the moving image conversion apparatus 100 includes a conversion control unit 101, a reception buffer 102, a decoding unit 103, a size conversion unit 104, an encoding unit 105, and a transmission buffer 106.
  • the conversion control unit 101 Based on the size conversion request 107 from the outside of the apparatus and the encoding parameter 112 from the decoding unit 103, the conversion control unit 101 sends a size conversion request 108 to the size conversion unit 104 and the encoding unit 105. Conversion information 109 is provided.
  • the size conversion request 107 for example, ⁇ magnification, ⁇ Image size after conversion, ⁇ bit rate, -Encoding information.
  • the conversion control unit 101 When the conversion control unit 101 receives the encoded information as the size conversion request 107 from the outside, the conversion control unit 101 can send the encoded information 117 to the decoding unit 103.
  • the size conversion request 108 that is an instruction from the conversion control unit 101 to the size conversion unit 104 will be specifically described.
  • the conversion control unit 101 Upon receiving the external size conversion request 107, the conversion control unit 101 issues a size conversion request 108 for input image data to the size conversion unit 104.
  • the size conversion request is transmitted to the size conversion unit 104 as it is.
  • the conversion control unit 101 When the image size after conversion is input from the outside, the conversion control unit 101 obtains the image size before size conversion from the encoding parameter 112 received from the decoding unit 103, and inputs the magnification or input / output to the size conversion unit. Send image size information. When the image size after size conversion is the same as that before conversion, the conversion control unit 101 instructs the size conversion unit 104 not to convert.
  • the conversion control unit 101 uses the size conversion request 107 from the outside and the encoding parameter 112 from the decoding unit 103 to generate conversion information 109 to be sent to the encoding unit 105.
  • the conversion information 109 for example, ⁇ Image data size, ⁇ Frame type, ⁇ Prediction mode and direction (prediction direction), ⁇ Motion vector, ⁇ Reference frame information, ⁇ Block size, ⁇ Block type, ⁇ bit rate, There is.
  • inter-frame prediction among the conversion information 109, for example, ⁇ Frame type, ⁇ Motion vector, ⁇ Reference frame information, ⁇ Block size, ⁇ Block type, Is used.
  • intra-frame prediction among the conversion information 109, for example, ⁇ Frame type, ⁇ Prediction mode and direction, ⁇ Block size, ⁇ Block type, Is used.
  • Example 1 When converting the image size to double: If the motion vector of the 8 ⁇ 8 block A of the input encoded data is 5 on the right and 4 on the top, the size is 16 ⁇ 16, 5 on the right, and 5 in order to encode the block A after the size conversion. 4 motion vectors are sent to the encoding unit 105. At this time, the reference frame information uses the same value as the input encoded data.
  • the reception buffer 102 receives the input encoded data 110 transmitted from the outside and transmits it to the decoding unit 103.
  • the decoding unit 103 uses the encoding information 117 to decode the image data 113 from the input encoded data 111 received from the reception buffer 102, and the image data Is sent to the size converter 104.
  • the decoding unit 103 decodes image data from the input encoded data using the encoded information included in the input encoded data 111.
  • the decoding unit 103 notifies the conversion control unit 101 of the encoding parameter 112 of the input encoded data obtained when decoding.
  • the size conversion unit 104 converts the image size of the image data 113 received from the decoding unit 103 using the magnification or the input / output image size in the information of the size conversion request 108 from the conversion control unit 101, and converts the converted image Data is sent to the encoding unit 105.
  • the encoding unit 105 encodes the image data received from the size conversion unit 104 using the information from the conversion control unit 101, and sends the encoded data 115 to the transmission buffer.
  • the processing of the conversion control unit 101, the decoding unit 103, the size conversion unit 104, and the encoding unit 105 may be realized by a program that operates on a computer constituting the moving image conversion apparatus 100.
  • FIG. 2 is a diagram showing a configuration of the encoding unit 105 of FIG. 1, and the encoding unit 105 will be described with reference to FIG.
  • H. H.264 will be described as an example, but it is only an example provided for explaining the present invention, and the present invention is not limited thereto.
  • the present invention can also be applied to other moving image compression encoding methods.
  • the encoding unit 105 includes an inter-frame prediction data generation unit 201, an intra-frame prediction data generation unit 202, a switch 203, a frame memory 204, a DCT unit 205, a quantizer 206, an inverse quantizer 207, An inverse DCT unit 208, an in-loop filter unit 209, a variable length encoder 210, and a header information generation unit 211 are provided.
  • the inter-frame prediction data generation unit 201 performs inter-frame prediction using the conversion information 109 received from the conversion control unit 101 and the image data 213 from the frame memory 204, generates prediction data, and sends the prediction data to the switch 203.
  • the conversion information 109 used in the inter-frame prediction data generation unit 201 ⁇ Motion vector, ⁇ Reference frame information, ⁇ Block size, ⁇ Block type, and so on.
  • the intra-frame prediction data generation unit 202 performs intra-frame prediction using the conversion information 109 received from the conversion control unit 101 and the image data 114 received from the size conversion unit 104, generates prediction data, and sends the prediction data to the switch 203. send.
  • As the conversion information 109 used in the intra-frame prediction data generation unit 202 ⁇ Prediction mode and direction ⁇ Block size ⁇ Block type, and so on.
  • the switch 203 converts the prediction data generated by the inter-frame prediction data generation unit 201 or the intra-frame prediction data generation unit 202 according to the conversion information 109 instructed by the conversion control unit 101, into the DCT unit 205, the in-loop filter unit 209, and the frame. It switches so that it can send to the internal prediction data production
  • the quantizer 206 determines the quantization step with the bit rate in the conversion information 109 from the conversion control unit 101 as a target. Note that the method for determining the quantization step is the same as that of a normal encoder, and thus the description thereof is omitted.
  • the header information generation unit 211 generates header information 212 based on the conversion information 109 received from the conversion control unit 101 and outputs the header information 212 to the variable length encoder 210.
  • the conversion information 109 used in the header information generation unit 211 ⁇ Frame type, ⁇ Image size, ⁇ Motion vector, ⁇ Block size, ⁇ Block type, ⁇ Prediction mode and direction, -Reference frame information, etc.
  • the transmission buffer 106 outputs the image stream received from the encoding unit 105 to the outside.
  • the image size of the input encoded data when the image size of the input encoded data is converted, it can be converted at high speed.
  • FIG. 3 is a diagram showing a detailed configuration of the moving image conversion apparatus 300 according to the second embodiment of the present invention.
  • the same reference numerals are given to the same elements as those in FIG. In the following, description of the same elements will be omitted as appropriate to avoid duplication.
  • the encoding unit 105 has the same configuration as that shown in FIG.
  • the conversion control unit 301 outputs the size conversion request 108 to the size conversion unit 104 and the conversion information 109 to the encoding unit 105 based on the size conversion request 107 from the outside and the encoding parameter 112 from the decoding unit 103.
  • the procedure for creating the conversion information 109 using the size conversion request 107 and the encoding parameter 112 will be described below.
  • the example has been set to 2 ⁇ , but it can be realized with magnifications other than the following.
  • Example 1 When converting the image size to double: If the motion vector of the 8x8 block A of the input encoded data is 5 on the right and 4 on the top, when encoding the block A after the size conversion, the size is 16x16, 10 on the right and on the top 8 motion vectors are sent to the encoding unit 105.
  • the reference frame information uses the same value as the input encoded data.
  • the processing of the conversion control unit 301, the decoding unit 103, the size conversion unit 104, and the encoding unit 105 may be realized by a program that operates on a computer that configures the moving image conversion apparatus 300.
  • FIG. 4 is a diagram showing a detailed configuration of the moving image conversion apparatus 400 according to the third embodiment of the present invention.
  • the same elements as those in FIG. 1 are denoted by the same reference numerals. In the following, description of the same elements will be omitted as appropriate to avoid duplication.
  • the encoding unit 105 has the same configuration as that shown in FIG.
  • the conversion control unit 401 outputs the size conversion request 108 to the size conversion unit 104 and the conversion information 109 to the encoding unit 105 based on the size conversion request 107 from the outside and the encoding parameter 112 from the decoding unit 103.
  • the size is set to 16 ⁇ 16 in order to encode the block B after the size conversion.
  • the intra-frame prediction mode of 16 ⁇ 16 blocks it approximates the existing prediction direction. For example, when there are only four directions of left, right, upper, and lower, information on the left direction is sent to the encoding unit 105.
  • the processing of the conversion control unit 401, the decoding unit 103, the size conversion unit 104, and the encoding unit 105 may be realized by a program that operates on a computer constituting the moving image conversion apparatus 400.
  • FIG. 5 is a diagram showing a detailed configuration of the moving image conversion apparatus 500 according to the fourth embodiment of the present invention.
  • the same elements as those in FIG. 1 are denoted by the same reference numerals. In the following, description of the same elements will be omitted as appropriate to avoid duplication.
  • the encoding unit 105 has the same configuration as that shown in FIG.
  • the conversion control unit 501 outputs the size conversion request 108 to the size conversion unit 104 and the conversion information 109 to the encoding unit 105 based on the size conversion request 107 from the outside and the encoding parameter 112 from the decoding unit 103.
  • Example 1> When converting the image size to double: If the motion vector of the 16 ⁇ 16 block A of the input encoded data is 5 on the right and 4 on the top, the block A after size conversion is 32 ⁇ 32. At this time, if the maximum unit of the block to be encoded is 16 ⁇ 16, it is necessary to divide the size-converted 32 ⁇ 32 block A into four for encoding. At this time, for each of the four divided 16 ⁇ 16 blocks, 10 motion vectors on the right and 8 motion vectors on the right are sent to the encoding unit. At this time, the reference frame information uses the same value as the input encoded data.
  • the most prediction mode / direction among the four is sent to the encoding unit 105. If there are four 2 ⁇ 2 blocks, two on the left and two on the top, and there is a 45 ° direction mode, a mode in the upper left 45 ° direction is selected. The average value mode is used when four 2 ⁇ 2 blocks are left, right, top, and bottom.
  • the image size of the input encoded data can be converted at a high speed, and the flexibility of the size conversion can be increased as compared with the third embodiment.
  • the processes of the conversion control unit 501, the decoding unit 103, the size conversion unit 104, and the encoding unit 105 may be realized by a program that operates on a computer that configures the moving image conversion apparatus 500.
  • FIG. 6 is a diagram showing a detailed configuration of the moving image conversion apparatus 600 according to the third embodiment of the present invention.
  • the same reference numerals are given to the same elements as those in FIG. In the following, description of the same elements will be omitted as appropriate to avoid duplication.
  • the conversion control unit 601 outputs the size conversion request 108 to the size conversion unit 104 and the conversion information 603 to the encoding unit 602 based on the external size conversion request 107 and the encoding parameter 112 from the decoding unit 103.
  • FIG. 7 is a diagram showing a detailed configuration of the encoding unit 602 in FIG.
  • the same elements as those in FIG. 2 are denoted by the same reference numerals. In the following, description of the same elements will be omitted as appropriate to avoid duplication.
  • the inter-frame prediction encoding unit 701 performs inter-frame prediction code using the conversion information 603 received from the conversion control unit 601. More specifically, reference frame information, a motion vector and frame search range, and a motion vector search range are received as conversion information 603.
  • the inter-frame prediction encoding unit 701 When the inter-frame prediction encoding unit 701 receives one image data from the frame memory 204, the inter-frame prediction encoding unit 701 performs inter-frame prediction on the one image data for the motion vector search range starting from the motion vector. .
  • a search range for example, a search is made from a motion vector as a starting point to a point that is uniformly spaced up, down, left, and right.
  • the inter-frame prediction encoding unit 701 uses the direction of the motion vector and searches for a point away from a certain position by narrowing down in the direction of the motion vector with the motion vector as a starting point.
  • the inter-frame prediction encoding unit 701 searches for a motion vector for the frame search range starting from the frame number, and determines the best motion vector and frame number 703. Then, it is sent to the variable length encoder 210.
  • the intra-frame prediction encoding unit 702 performs intra-frame prediction code using the conversion information 603 received from the conversion control unit 601. More specifically, a prediction mode and a search range are received as the conversion information 603.
  • the intra-frame prediction encoding unit 702 determines the best prediction mode 704 from the prediction modes for the search range starting from the prediction mode, and performs variable-length encoding. To vessel 210.
  • the prediction mode received from the information 603 is the left direction and the search range is 2, in addition to the left frame prediction, the upper left 45 ° and lower left 45 ° predictions are performed. And determine the best prediction mode.
  • the image data when the image size of the input encoded data is converted, the image data can be converted at a high speed, and the image quality can be improved as compared with the first to fourth embodiments.
  • the processes of the conversion control unit 601, the decoding unit 103, the size conversion unit 104, and the encoding unit 602 may be realized by a program that runs on a computer that configures the moving image conversion apparatus 600.
  • FIG. 8 is a diagram showing a detailed configuration of the moving image conversion apparatus 800 in the sixth embodiment of the present invention.
  • the same elements as those in FIG. 1 are denoted by the same reference numerals. In the following, description of the same elements will be omitted as appropriate to avoid duplication.
  • the conversion control unit 801 outputs the size conversion request 108 to the size conversion unit 104 and the conversion information 803 to the encoding unit 802 based on the size conversion request 107 from the outside and the encoding parameter 112 from the decoding unit 103.
  • the conversion control unit 801 converts the conversion information 803 as, for example, ⁇ Image data size, ⁇ Frame type, ⁇ Prediction mode and direction, ⁇ Motion vector, ⁇ Reference frame information, ⁇ Block size, ⁇ Block type, -Code amount distribution bit rate of input encoded data, -Send a threshold to determine whether to use the prediction mode or motion vector.
  • the threshold is, for example, The size of the block to be predicted x the average value of the amplitude of the image data or its square, or -There is a target code amount for each block calculated from the bit rate and the code amount distribution of the input encoded data.
  • FIG. 9 is a diagram showing a detailed configuration of the encoding unit 802 in the fifth embodiment of the present invention shown in FIG.
  • the same reference numerals are assigned to the same elements as those in FIG. In the following, description of the same elements will be omitted as appropriate to avoid duplication.
  • the inter-frame prediction data generation unit 901 generates inter-frame prediction data using the motion vector and frame number in the conversion information 803 received from the conversion control unit 801. Then, the difference between the inter-frame prediction data and the image data in the frame memory is compared with the threshold value. When the prediction residual is smaller than the threshold, the motion vector and frame number received by the conversion information 803 are adopted.
  • the inter-frame prediction encoding unit 902 When the prediction residual is larger than the threshold, the inter-frame prediction encoding unit 902 performs inter-frame prediction, determines a motion vector and a frame number 906, and sends the motion vector and the frame number 906 to the variable-length encoder 210.
  • the motion vector and frame number received in the conversion information 803 may be used as a starting point.
  • an intra-frame prediction encoding unit 903 may be used instead of the inter-frame prediction encoding unit 902.
  • the intra-frame prediction data generation unit 904 generates intra-frame prediction data using the prediction mode received in the conversion information 803. Then, the intra-frame prediction encoding unit 903 compares the threshold between the difference between the intra-frame prediction data generated by the intra-frame prediction data generation unit 904 and the image data near the block.
  • the intraframe prediction encoding unit 903 adopts the prediction mode received by the conversion information 803.
  • the intraframe prediction encoding unit 903 When the prediction residual is larger than the threshold, the intraframe prediction encoding unit 903 performs intraframe prediction, determines the prediction mode 907, and sends the prediction mode 907 to the variable length encoder 210. At this time, the prediction mode received by the conversion information 803 may be used as a starting point. Further, instead of the intra-frame prediction encoding unit 903, an inter-frame prediction encoding unit 902 may be used.
  • the processing of the conversion control unit 801, the decoding unit 103, the size conversion unit 104, and the encoding unit 802 may be realized by a program that runs on a computer constituting the moving image conversion apparatus 800.
  • FIG. 10 is a diagram showing a detailed configuration of the moving image conversion apparatus 1000 according to the seventh embodiment of the present invention. 10, the same elements as those in FIG. 1 are denoted by the same reference numerals. In the following, description of the same elements will be omitted as appropriate to avoid duplication.
  • the conversion control unit 1001 outputs the size conversion request 108 to the size conversion unit 104 and the conversion information 1003 to the encoding unit 1002 based on the size conversion request 107 from the outside and the encoding parameter 112 from the decoding unit 103.
  • the conversion control unit 1001 converts the conversion information 1003 as follows: ⁇ Image data size, ⁇ Frame type, ⁇ Prediction mode and direction, ⁇ Motion vector, ⁇ Reference frame information, ⁇ Block size, ⁇ Block type, ⁇ Quantization step size, Send.
  • the conversion control unit 1001 is included in the conversion request 107 from the outside. Image data size, It is also possible to convert the quantization step size to N times or 1 / N times compared to the information before conversion for at least one of the bit rates.
  • FIG. 11 is a diagram showing a detailed configuration of the encoding unit 1002 in the seventh embodiment of the present invention.
  • the same reference numerals are given to the same elements as those in FIG. In the following, description of the same elements will be omitted as appropriate to avoid duplication.
  • the quantizer 1101 performs quantization using the quantization step size included in the conversion information 1003 received from the conversion control unit 1001.
  • the processes of the conversion control unit 1001, the decoding unit 103, the size conversion unit 104, and the encoding unit 1002 may be realized by a program that operates on a computer that configures the moving image conversion apparatus 1000.
  • FIG. 12 is a diagram showing a detailed configuration of the moving image conversion apparatus 1200 according to the eighth embodiment of the present invention.
  • the same elements as those in FIG. 1 are denoted by the same reference numerals. In the following, description of the same elements will be omitted as appropriate to avoid duplication.
  • the conversion control unit 1201 outputs the size conversion request 108 to the size conversion unit 104 and the conversion information 1203 to the encoding unit 1202 based on the size conversion request 107 from the outside and the encoding parameter 112 from the decoding unit 103.
  • the conversion control unit 1201 converts the conversion information 1203 as, for example, ⁇ Image data size, ⁇ Frame type, ⁇ Prediction mode, direction, ⁇ Motion vector, ⁇ Reference frame information, ⁇ Block size, ⁇ Block type, ⁇ bit rate, -Send the distribution of the code amount of the input encoded data.
  • FIG. 13 is a diagram showing a detailed configuration of the encoding unit 1202 in the eighth embodiment of the present invention.
  • the same reference numerals are given to the same elements as those in FIG. In the following, description of the same elements will be omitted as appropriate to avoid duplication.
  • the quantizer 1301 determines the target code amount of each block using the bit rate and the code amount distribution of the input encoded data included in the conversion information 1203 received from the conversion control unit 1201. The quantization step size is determined and quantization is performed.
  • the processing of the conversion control unit 1201, the decoding unit 103, the size conversion unit 104, and the encoding unit 1202 may be realized by a program that runs on a computer constituting the moving image conversion apparatus 1200.
  • FIG. 14 is a diagram showing a detailed configuration of a moving image conversion apparatus 1400 in the ninth embodiment of the present invention.
  • the same elements as those in FIG. 1 are denoted by the same reference numerals. In the following, description of the same elements will be omitted as appropriate to avoid duplication.
  • the conversion control unit 1401 outputs the size conversion request 108 to the size conversion unit 104 and the conversion information 1403 to the encoding unit 1402 based on the size conversion request 107 from the outside and the encoding parameter 112 from the decoding unit 103.
  • image data size, frame type, prediction mode / direction, motion vector, reference frame information, block size, block type, bit rate, and quantization information are sent.
  • the quantization information includes whether to use the quantization step size of the input encoded data and the code amount distribution of the input encoded data, the quantization step size, and the bit rate.
  • Whether or not to use the quantization step size of the input encoded data is determined when the size conversion ratio is large, when the ratio of the bit rate of the input encoded data and the bit rate of the output encoded data is large, the size conversion ratio When the difference between the increase / decrease and the increase / decrease in the input / output bit rate ratio is large, the quantization step size of the input encoded data is not used.
  • the determination of whether or not to use the code amount distribution of the input encoded data does not use the code amount distribution of the input encoded data when the difference between the target bit rate and the output code amount is large.
  • FIG. 15 is a diagram showing a detailed configuration of the encoding unit 1402 in the ninth embodiment of the present invention.
  • the same elements as those of FIG. 9 are denoted by the same reference numerals. In the following, description of the same elements will be omitted as appropriate to avoid duplication.
  • the quantizer 1501 determines whether to use the quantization step size and code amount distribution of the input encoded data included in the conversion information 1403 received from the conversion control unit 1401, the quantization step size and the code amount distribution. Quantize using the bit rate.
  • the quantization step size and code amount distribution of the input encoded data Quantization is performed with the quantization step size calculated by using, and when not used, the quantization step size is determined by itself based on the bit rate and is quantized.
  • the image size of the input encoded data can be converted at a high speed, and the image quality can be adjusted more than the seventh and eighth embodiments.
  • the processing of the conversion control unit 1401, the decoding unit 103, the size conversion unit 104, and the encoding unit 1402 may be realized by a program that runs on a computer that configures the moving image conversion apparatus 1400.
  • FIG. 16 is a diagram showing a detailed configuration of a moving image conversion apparatus 1600 according to the tenth embodiment of the present invention.
  • the conversion control unit 1601 outputs the size conversion request 108 to the size conversion unit 104 and the conversion information 1603 to the encoding unit 1602 based on the external size conversion request 107 and the encoding parameter 112 from the decoding unit 103.
  • image data size, frame type, prediction mode / direction, motion vector, reference frame information, block size, block type, bit rate, and filtering information are sent.
  • Filter processing information refers to whether or not to perform filter processing on image data before encoding or image data that is being encoded, filter strength when filter processing is performed, and information on a region where the filter is to be executed and so on.
  • Whether or not to execute the filter processing is based on the output bit rate for the screen size after size conversion, whether the image size conversion is enlarged or reduced, and whether the bit rate of the input encoded data is high or low to decide.
  • filtering information included in the input encoded data For example, use filtering information included in the input encoded data, or filter processing when the output bit rate is low or the input encoded data bit rate is low relative to the screen size after size conversion.
  • the output bit rate is high with respect to the screen size after the size conversion, or when the bit rate of the input encoded data is high, it is determined that the filter processing is not performed when the image size is reduced.
  • FIG. 17 is a diagram showing a detailed configuration of the encoding unit 1602 in the tenth embodiment of the present invention.
  • the same elements as those of FIG. 9 are denoted by the same reference numerals. In the following, description of the same elements will be omitted as appropriate to avoid duplication.
  • the in-loop filter unit 1701 performs filter processing based on the conversion information 1603 received from the conversion control unit 1601. When the conversion information 1603 is instructed to perform filter processing, the image data 1702 is filtered.
  • the filtering process is performed according to the information 1603.
  • the image data 1702 is sent to the frame memory 204 as it is.
  • the present invention in the present embodiment, the presence / absence of the filtering process for the image data being encoded has been described. However, this is merely an example presented for the purpose of describing the present invention, and it is needless to say that the present invention is not limited thereto. As is apparent from the principle of the moving image conversion apparatus of the present invention, the present invention can also be applied to the determination of the presence or absence of filter processing for image data before encoding.
  • the processing of the conversion control unit 1601, the decoding unit 103, the size conversion unit 104, and the encoding unit 1602 may be realized by a program that runs on a computer that configures the moving image conversion apparatus 1600.
  • FIG. 18 is a diagram showing a detailed configuration of the moving image conversion apparatus 1800 in the eleventh embodiment of the present invention.
  • the conversion control unit 1801 provides conversion information 1804 to the size conversion unit 104 and provides conversion information 1805 to the encoding unit 1802 based on the conversion request 1803 from the outside and the encoding parameter 112 from the decoding unit 103.
  • the conversion control unit 1801 sends conversion information 1804 including a size conversion / frame skip request to the size conversion unit 104 based on the conversion request 1803.
  • Conversion information 1804 is ⁇ magnification, ⁇ Image size after conversion, ⁇ bit rate, Encoding information, Includes frame rate information.
  • ⁇ Frame rate information of input encoded data and output encoded data ⁇ Number of input encoded data frames to be thinned, ⁇ There is timing information.
  • the conversion control unit 1801 upon receiving the encoding parameter 112 from the decoding unit 103, the conversion control unit 1801 sends conversion information 1805 to the encoding unit 1802 based on the conversion request 1803.
  • Conversion information 1805 is ⁇ Image data size, ⁇ Frame type, ⁇ Prediction mode and direction ⁇ Motion vector, ⁇ Reference frame information, ⁇ Block size, ⁇ Block type, ⁇ bit rate, ⁇ Quantization information, -Filtering information, -Includes frame skip information.
  • the conversion control unit 1801 determines whether to reduce the frame rate, and notifies the encoding unit 1802 of the presence or absence of encoding for each frame.
  • a method for generating motion vectors and reference frame information when the frame rate is lowered will be described by taking an example in which frames are thinned every other frame after doubling the screen size. However, as is apparent from the principle of the present invention, other sizes and frame rates can be implemented.
  • Example 1 As for the reference frame, when the frame refers to the frame to be thinned out, the past or future output frame is referred to. Further, since it is necessary to thin out the reference frame number, the number of frames to be thinned out is subtracted. When the frame refers to the output frame, the frame is referred to as it is. Also in this case, since it is necessary to thin out the reference frame number, the number of frames to be thinned out is subtracted.
  • the motion vector of the input encoded data is doubled.
  • the size of the motion vector is kept at the screen size ratio.
  • the frame refers to a frame to be thinned out, refer to an output frame of the past or future than that, for example, when the frame to be thinned is one frame before the frame and when referring to two frames before,
  • the motion vector is further doubled from the screen size ratio.
  • the motion vector is further multiplied by 0.66 from the screen size ratio.
  • Example 2 For the reference frame, when the frame refers to a frame to be thinned out, an output frame referred to by the frame to be thinned is referred to. Further, since it is necessary to thin out the reference frame number, the number of frames to be thinned out is subtracted.
  • the motion vector of the input encoded data is doubled.
  • the size of the motion vector is kept at the screen size ratio.
  • the frame refers to a frame to be thinned out
  • an output frame of the past or future is referred to, and the motion vector in the input encoded data of the frame is added to the motion vector of the frame to be thinned out.
  • the size conversion unit 104 discards the image data 113 input from the decoding unit 103 without performing size conversion, and sends it to the encoding unit 1802. do not send.
  • the encoding unit 1802 generates output code data based on the conversion information 1805 and the image data 114. Since the configuration and operation other than those described above are the same as those in the first to tenth embodiments, description thereof will be omitted.
  • the image size of the input encoded data can be converted at high speed.
  • the processes of the conversion control unit 1801, the decoding unit 103, the size conversion unit 104, and the encoding unit 1802 may be realized by a program that runs on a computer that configures the moving image conversion apparatus 1800.
  • FIG. 19 is a diagram showing a detailed configuration of a moving image conversion apparatus 1900 in the twelfth embodiment of the present invention. 19, the same reference numerals are assigned to the same elements as those in FIG. In the following, description of the same elements will be omitted as appropriate to avoid duplication.
  • the conversion control unit 1901 outputs a size conversion request 1904 to the size conversion unit 104 and conversion information 1905 to the encoding unit 1903 based on the conversion request 1906 from the outside and the encoding parameter 112 from the decoding unit 1902.
  • the conversion request 1904 includes size conversion information, input encoding data encoding method, and output encoded data encoding method information.
  • the conversion control unit 1901 Upon receiving the encoding parameter 112 from the decoding unit 1902, the conversion control unit 1901 sends the image data size, frame type, prediction mode / direction, motion vector, reference frame to the encoding unit 1903 based on the conversion request 1904. Send information, block size, block type, bit rate, quantization information, filtering information.
  • the conversion control unit 1901 converts the encoding parameter 112 by the method described in the first to eleventh embodiments and sends it to the encoding unit 1903. .
  • the conversion control unit 1901 predicts the input encoded data prediction mode / direction, motion vector, reference frame information, block size, block type, picture type, and quantization. Information and filter processing information are converted so as to match the output encoding method.
  • the closest prediction mode / direction is approximated.
  • the upper and lower limit values and scales are matched with the output encoding method.
  • the frame number is expanded / reduced to the maximum / minimum value of the output encoding method.
  • reference frame information not related to the output encoding method is not sent to the encoding unit 1903.
  • the corresponding part is re-encoded without using the information of the input encoded data.
  • the prediction mode / direction and motion vector are synthesized by the method described in the fourth embodiment.
  • the corresponding frame is re-encoded, or only the information whose picture type difference is not related to the output coding method is added If so, the information is not sent and the picture type is approximated and sent to the encoding unit 1903.
  • conversion is performed according to the upper / lower limit values and the meaning of the scale (for example, logarithm or multiple).
  • filter processing information if it is present in the input coding scheme and not present in the output coding scheme, no filtering is performed, or if only information not related to the output coding scheme is added, the information is sent. First, filter processing information is generated.
  • the processing of the conversion control unit 1901, the decoding unit 1902, the size conversion unit 104, and the encoding unit 1903 may be realized by a program that runs on a computer constituting the moving image conversion apparatus 1900.
  • (Appendix 1) Means for decoding the received encoded data; Means for changing the size of the decoded image data; Means for reusing at least one of a prediction mode, a block type, a motion vector, and reference frame information of the received encoded data for the encoding when encoding the image data after the size change; An image conversion apparatus characterized by that.
  • (Appendix 2) When encoding the image data after the size change, a means for expanding or shortening at least one of a motion vector and a block type of the received encoded data in accordance with an image size ratio before and after conversion is provided.
  • the image conversion apparatus according to appendix 1, wherein (Appendix 3) The supplementary note 1 according to claim 1, further comprising means for approximating a prediction mode when the prediction mode of the received encoded data cannot be used as it is after the size conversion when encoding the image data after the size change.
  • Image conversion device (Appendix 4) The image conversion according to any one of appendices 1 to 3, further comprising means for dividing or combining and reusing at least one of the prediction mode and the motion vector in accordance with the image size ratio before and after the conversion. apparatus. (Appendix 5) The image conversion apparatus according to any one of appendices 1 to 4, further comprising means for performing re-prediction using at least one of the reused prediction mode and motion vector as a starting point.
  • the image conversion apparatus according to any one of appendices 1 to 14, wherein the decoding method and the encoding method are different from each other.
  • Appendix 16 Decode the received encoded data into image data, Change the size of the decoded image data; When encoding the image data after the size change, at least one of a prediction mode, a block type, a motion vector, and reference frame information of the received encoded data is reused for the encoding.
  • Image conversion method (Appendix 17) When encoding the image data after the size change, at least one of the motion vector and block type of the received encoded data is expanded or shortened according to the image size ratio before and after the conversion. The image conversion method according to appendix 16.
  • (Appendix 21) The image conversion method according to any one of supplementary notes 16 to 20, wherein a frame rate is converted when the image data after the size change is encoded.
  • (Appendix 22) A process of decoding the received encoded data; Processing to change the size of the decoded image data; A process of reusing at least one of a prediction mode, a block type, a motion vector, and reference frame information of the received encoded data for the encoding when encoding the image data after the size change; A program that causes a computer to execute.
  • Appendix 25 The program according to any one of appendices 22 to 24, which causes the computer to execute a process of dividing or synthesizing at least one of a prediction mode and a motion vector in accordance with an image size ratio before and after conversion.
  • Appendix 26 Appendices 22 to 25 for causing the computer to execute a process of determining whether to reuse at least one of a quantization step size and a code amount distribution of input encoded data when encoding the image data after the size change.
  • Appendix 27 The program according to any one of appendices 22 to 26, which causes the computer to execute a process of converting a frame rate when encoding the image data after the size change.
  • a decoding unit for decoding the received encoded data into image data A conversion control unit that receives a size conversion request from the outside of the apparatus or an encoding parameter from the decoding unit, and controls the size conversion unit and the encoding unit; A size conversion unit that performs size conversion on the basis of an instruction from the conversion control unit, the image data input from the decoding unit; An encoding unit that generates encoded data from the image data input from the size conversion unit in accordance with an instruction from the conversion control unit; With The encoding unit reuses at least one of a prediction mode, a block type, a motion vector, and reference frame information of the received encoded data when the image data after the size change is encoded by the size conversion unit.
  • An image conversion apparatus characterized by that.
  • the conversion control unit gives a size conversion request to the size conversion unit based on a size conversion request input from the outside of the apparatus and an encoding parameter from the decoding unit, and sends the size conversion request to the encoding unit.
  • the size conversion unit converts the image size of the image data received from the decoding unit using the magnification or the input / output image size in the size conversion request information from the conversion control unit, and converts the converted image data into the code Given to
  • the encoding unit includes: Using the conversion information received from the conversion control unit and the image data from the frame memory, an inter-frame prediction data generation unit that performs inter-frame prediction and generates prediction data and sends it to the switch; An intra-frame prediction data generation unit that performs intra-frame prediction using the conversion information received from the conversion control unit and the image data received from the size conversion unit, generates prediction data, and sends the prediction data to the switch; With The switch generates a prediction data generated by the inter-frame prediction data generation unit or the intra-frame prediction data generation
  • Patent Documents 1 to 4 above are incorporated herein by reference.
  • the embodiments and examples can be changed and adjusted based on the basic technical concept.
  • Various combinations and selections of various disclosed elements are possible within the scope of the claims of the present invention. That is, the present invention of course includes various variations and modifications that could be made by those skilled in the art according to the entire disclosure including the claims and the technical idea.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　入力された符号化データの画像サイズの変換を高速化する装置、方法、プログラムを提供する。復号部１０３は、入力された符号化データを画像データに復号し、サイズ変換部１０４は、外部から受け取ったサイズ変換要求に基づいて画像データのサイズを変換する。サイズ変換部１０４は、復号部から得た符号化パラメータの予測モードや動きベクトルをサイズ変換要求に基づいて伸張・縮小、分割・合成する。符号化部１０５では、サイズ変換後の画像データを、変換された予測モードや動きベクトルを使って符号化して、送信バッファ１０６を経由して動画像変換装置外部へ送信する。

Description

画像変換装置と方法及びプログラム
　［関連出願についての記載］
　本発明は、日本国特許出願：特願２００９－００２９８９号（２００９年　１月　８日出願）の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
　本発明は、画像変換技術に関し、特に、符号化された動画像圧縮符号化ビットストリームのサイズを変換するときに再符号化を行う装置に適用して好適な画像変換方法、装置及びプログラムに関する。
　近年、動画像信号を低ビットレートで効率良く伝送するための動画像圧縮符号化方式として、ＩＴＵ－Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｕｎｉｏｎ　Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ　Ｓｅｃｔｏｒ）勧告Ｈ．２６１及びＨ．２６３や、ＩＳＯ／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｏｒｇａｎｉｚａｔｉｏｎ　ｆｏｒ　Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ　／Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ　Ｃｏｍｍｉｓｓｉｏｎ）で国際標準化されているＭＰＥＧ－４（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔ　Ｇｒｏｕｐ　Ｐｈａｓｅ　４）が知られている。また、ＩＴＵ－ＴとＩＳＯ／ＩＥＣで国際標準化されたＨ．２６４／ＭＰＥＧ－４　ＡＶＣ（Ａｄｖａｎｃｅｄ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ）が前記動画像圧縮符号化方式よりも動画像信号を効率良く伝送できるとして注目を浴びている。
　動画像圧縮符号化方式は、現在フレームの画像データのみを用いて符号化するイントラ予測と、過去や未来のフレームの画像を参照して符号化するインター予測がある。
　イントラ予測では、入力画像フレームを符号化するときに、マクロブロックと呼ばれる単位毎にＤＣＴ（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）を行った後、ＤＣＴ係数を可変長符号化する。もしくは、マクロブロックやマクロブロックを更に細かく分割したブロック毎に、左や上といった近傍のブロックの画素を用いて予測を行い、予測残差信号に対してＤＣＴやＤＩＴ（Ｄｉｓｃｒｅｔｅ　Ｉｎｔｅｇｅｒ　Ｔｒａｎｓｆｏｒｍ）を行った後、ＤＣＴ係数、またはＤＩＴ係数を可変長符号化する。
　インター予測では、入力画像フレームを符号化するときに、過去、または未来のフレームの復号画素との間で動き補償予測を行って予測残差信号を求め、これに対してＤＣＴまたはＤＩＴを行った後、動きベクトルやＤＣＴ係数等を可変長符号化する。
　また、近年、携帯電話やＰＣなど異なる種類の端末間、もしくは同じ種類の端末でも機能の異なる端末間を相互接続する方式などが議論されている。
　相互接続では、携帯電話やＰＣなど端末の種類、または端末の機能によって端末の能力に違いがあるため、各々の端末に合わせたデータ通信が求められる。
　動画像のデータ通信では、端末によって表示できる画像サイズに制限があるため端末に合わせた動画像圧縮符号化ビットストリーム（符号化データ）に変換する変換装置が必要となる。
　しかしながら、受信した符号化データのサイズを変換するには、符号化データを復号し、画像サイズを変換し、最後に前記画像サイズを変換した動画像信号を再符号化する必要がある。
　また、接続先のネットワークの帯域が異なる場合、特に帯域が狭くなるときは、符号化データのビットレートを抑える必要がある。単純にビットレートを抑えると、画質が劣化するため、画面サイズを縮小する、フレームレートを落とすなどして、フレーム内の各ブロック当たりの符号量を保つ考慮も必要となる。
　特許文献１（特開２００２－１４２２２２）には、空間軸及び時間軸方向に圧縮符号化した画像から、異なる解像度の圧縮符号化した画像に高速に変換する画面サイズ変更装置が開示されている。可変長復号手段は、圧縮画像を復号し、各フレームの動きベクトル情報と直交変換画像を出力し、直交変換画像は逆量子化され、階層逆直交変換手段は、直交変換画像を画素数の変更率に応じて逆直交変換し、解像度変更後の非圧縮差分画像または非圧縮画像を出力し、動きベクトル補正手段は、復号した動きベクトル情報を画素数の変更率に応じて修正する。動きベクトル生成手段は、復号した動きベクトル情報を用いて、解像度変更後の動きベクトル情報を生成し、これを用いて動き補償非圧縮画像生成手段が非圧縮差分画像の動き補償処理を行い、非圧縮画像を生成する。動き補償非圧縮差分画像生成手段は、解像度変更後の動きベクトル情報を用いて、非圧縮画像の非圧縮差分画像を生成する。非圧縮差分画像や非圧縮画像は次いで圧縮される。解像度変更前の圧縮画像から解像度変更後の非圧縮画像を直接生成できる。
　特許文献２には、動き補償予測及び直交変換が用いられて符号化されたデータの画像サイズ変換を、簡易に、且つ良好な画質が得られる符号化データ画像サイズ変換装置として、供給される画像符号化データより所定の画像サイズに変換されたマクロブロック画像データを画像データ変換器により得、またそのマクロブロック画像データに係る変換動きベクトルを供給される画像符号化データの動きベクトルに所定の変換比率を乗じて動きベクトル変換器により得るに際し、その変換比率が１より小さいときは画像データの変換に必要な複数の変換動きベクトルの分散に応じて統合動きベクトルを求め、その統合動きベクトルと求められたマクロブロック画像データを用いてサイズ変換のされた画像符号化データを得る様にして実現した。
　特許文献３には、動きの激しい部分でも大きな画質劣化が生じず、さらに、復号処理の後に低域濾波フィルタ処理及び間引き処理を必要としない簡単な構成で、出力画像のサイズを変更することのできる画像サイズ変換可能なデジタル動画像復号装置として、ビットストリーム中に含まれる動きベクトル情報から動きベクトルの大きさを変換する動きベクトル変換部を備え、動きベクトルの大きさが小さい場合には、低域側のＤＣＴ係数のみを用いて逆ＤＣＴを行い、動きベクトルの大きさが大きい場合には、低域側のＤＣＴ係数に加え、高域側のＤＣＴ係数を用いて逆ＤＣＴを行う構成が開示されている。
　特許文献４には、動き補償予測とＤＣＴを組み合わせた符号化方式による再符号化を行う符号化装置において、第１のビデオ符号化データから画像サイズを変換した第２のビデオ符号化データを得る場合に、全体としての演算量削減を可能とする符号化装置として、再符号化に伴う入力符号化データの復号時に、予測誤差についてＤＣＴ領域で画像サイズ変換処理後、ＩＤＣＴ（Ｉｎｖｅｒｓｅ　ＤＣＴ）処理を行い、その後、空間領域で動き補償予測による画像データへの復号を行うことで、ＩＤＣＴ処理と画像サイズ変換処理の演算量を削減し、ＤＣＴ領域における動き補償予測復号の演算量増加を防ぐ構成が開示されている。
特開２００２－１４２２２２号公報 特開２００２－３４４９７３号公報 特開２００１－１１２００２号公報 特開２００２－３７４５３６公報
　以下に本発明による分析を与える。
　画像サイズ、フレームレートを変換する際、最も問題となるのが、再符号化時の演算量である。これは、受信したストリームの画像サイズを変換した後、再符号化する際に、再予測を行うための演算が必要になるためである。
　一方、受信したストリームの画像サイズを変換した後、再符号化する際に、前記受信したストリームの情報をそのまま使うと画質が劣化する。
　本発明の目的は、入力された符号化データの画像サイズの変換を高速化する装置、方法、プログラムを提供することにある。
　本発明は、入力された符号化データの画像サイズを変換するときに画質の劣化を抑制する装置、方法、プログラムを提供することもその目的としている。
　さらに、本発明は、入力された符号化データのフレームレートを高速に変換する装置、方法、プログラムを提供することもその目的としている。さらにまた、本発明は、入力された符号化データのフレームレートを変換するときに画質の劣化を抑制する装置、方法、プログラムを提供することもその目的としている。
　本願で開示される発明は、前記課題の少なくとも１つを解決するため、概略以下の構成とされる。
　本発明によれば、受信した符号化データを復号する手段と、復号した画像データのサイズを変更する手段と、前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの予測モード、ブロックタイプ、動きベクトルと参照フレーム情報の少なくとも１つを、前記符号化に再利用する手段を備える画像変換装置が提供される。
　本発明によれば、受信した符号化データから画像データに復号し、
　前記復号した画像データのサイズを変更し、
　前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの予測モード、ブロックタイプ、動きベクトルと参照フレーム情報の少なくとも１つを、前記符号化に再利用する、画像変換方法が提供される。
　本発明によれば、受信した符号化データを復号する処理と、
　復号した画像データのサイズを変更する処理と、
　前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの予測モード、ブロックタイプ、動きベクトルと参照フレーム情報の少なくとも１つを、前記符号化に再利用する処理と、
　をコンピュータに実行させるプログラムが提供される。
　本発明によれば、入力された符号化データの画像サイズを変換するときに、高速に変換することができる。また本発明によれば、入力された符号化データの画像サイズを変換するときに画質の劣化を抑制することができる。
本発明の第１の実施例の動画像変換装置の構成を示す図である。 本発明の第１乃至第４の実施例の符号化部の構成を示す図である。 本発明の第２の実施例の動画像変換装置の構成を示す図である。 本発明の第３の実施例の動画像変換装置の構成を示す図である。 本発明の第４の実施例の動画像変換装置の構成を示す図である。 本発明の第５の実施例の動画像変換装置の構成を示す図である。 本発明の第５の実施例の符号化部の構成を示す図である。 本発明の第６の実施例の動画像変換装置の構成を示す図である。 本発明の第６の実施例の符号化部の構成を示す図である。 本発明の第７の実施例の動画像変換装置の構成を示す図である。 本発明の第７の実施例の符号化部の構成を示す図である。 本発明の第８の実施例の動画像変換装置の構成を示す図である。 本発明の第８の実施例の符号化部の構成を示す図である。 本発明の第９の実施例の動画像変換装置の構成を示す図である。 本発明の第９の実施例の符号化部の構成を示す図である。 本発明の第１０の実施例の動画像変換装置の構成を示す図である。 本発明の第１０の実施例の符号化部の構成を示す図である。 本発明の第１１の実施例の動画像変換装置の構成を示す図である。 本発明の第１２の実施例の動画像変換装置の構成を示す図である。
　本発明においては、受信した符号化データを復号する手段と、復号した画像データのサイズを変更する手段と、前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの予測モード、動きベクトル、ブロックサイズの少なくとも１つを、前記符号化に再利用する手段を備える。
　より具体的には、本発明に係る動画像変換装置（図１の１００）においては、入力された符号化データ（図１の１１０）を受け取る受信バッファ（図１の１０２）と、受信バッファ（１０２）から受け取った符号化データを画像データに復号する復号部（図１の１０３）と、装置外部からのサイズ変換要求（図１の１０７）や復号部（図１の１０３）からの符号化パラメータ（図１の１１２）を受け取り、サイズ変換部（図１の１０４）や符号化部（図１の１０５）を制御する変換制御部（図１の１０１）と、復号部（１０３）から入力された画像データを変換制御部（１０１）の指示に基づいてサイズ変換するサイズ変換部（１０４）と、変換制御部（１０１）の指示に従って、サイズ変換部（１０４）から入力された画像データから符号化データを生成する符号化部（１０５）と、符号化部（１０５）から符号化データを受け取って出力する送信バッファ（図１の１０６）を有する。
　本発明に係る動画像変換装置（図１の１００）においては、入力された符号化データを復号部（１０３）で画像データに復号する。そして、外部から受け取ったサイズ変換要求に基づいて、サイズ変換部（１０４）で画像データのサイズを変換する。その後、復号部（１０３）から得た符号化パラメータの予測モードや動きベクトルを、サイズ変換要求の変換比に基づいて、伸張・縮小や分割・合成する。符号化部（１０５）では、サイズ変換後の画像データを、変換された予測モードや動きベクトルを用いて符号化して、送信バッファ（１０６）を経由して、動画像変換装置外部へ送信する。本発明においては、入力された符号化データの画像サイズを変換する場合に、高速な変換方式を提供できる。また、入力された符号化データの画像サイズを変換する場合に、前記入力された符号化データを用いて、画質の劣化を抑えた変換方式を提供できる。以下実施例に即して説明する。
　図１は、本発明の第１の実施例の動画像変換装置１００の構成を示す図である。図１を参照すると、この動画像変換装置１００は、変換制御部１０１、受信バッファ１０２、復号部１０３、サイズ変換部１０４、符号化部１０５、送信バッファ１０６を備えている。
　変換制御部１０１は、装置外部からのサイズ変換要求１０７と、復号部１０３からの符号化パラメータ１１２とを基に、サイズ変換部１０４に対して、サイズ変換要求１０８を、符号化部１０５に対して、変換情報１０９を与える。サイズ変換要求１０７としては、例えば、
　・倍率、
　・変換後の画像サイズ、
　・ビットレート、
　・符号化情報
　などがある。
　変換制御部１０１は、外部からサイズ変換要求１０７として符号化情報を受け取ると、符号化情報１１７を復号部１０３へ送ることが可能である。
　変換制御部１０１からサイズ変換部１０４への指示であるサイズ変換要求１０８について具体的に説明する。
　変換制御部１０１は、外部からのサイズ変換要求１０７を受信すると、サイズ変換部１０４に、入力画像データのサイズ変換要求１０８を出す。
　外部からのサイズ変換要求１０７が倍率の場合、前記サイズ変換要求をそのままサイズ変換部１０４へ送信する。
　外部から変換後の画像サイズが入力される場合、変換制御部１０１は、復号部１０３から受け取った符号化パラメータ１１２から、サイズ変換前の画像サイズを得、サイズ変換部へ倍率、もしくは入出力の画像サイズの情報を送る。サイズ変換後の画像サイズが変換前と同じ場合、変換制御部１０１は、変換しないようにサイズ変換部１０４に指示する。
　次に、変換制御部１０１から符号化部１０５への指示である、変換情報１０９について具体的に説明する。
　変換制御部１０１は、外部からのサイズ変換要求１０７と復号部１０３からの符号化パラメータ１１２を用いて、符号化部１０５へ送る変換情報１０９を生成する。
　変換情報１０９としては、例えば、
　・画像データサイズ、
　・フレームタイプ、
　・予測モードと方向（予測方向）、
　・動きベクトル、
　・参照フレーム情報、
　・ブロックサイズ、
　・ブロックタイプ、
　・ビットレート、
がある。
　フレーム間予測の場合、変換情報１０９のうち、例えば、
　・フレームタイプ、
　・動きベクトル、
　・参照フレーム情報、
　・ブロックサイズ、
　・ブロックタイプ、
　が用いられる。
　フレーム内予測の場合、変換情報１０９のうち、例えば、
　・フレームタイプ、
　・予測モードと方向、
　・ブロックサイズ、
　・ブロックタイプ、
　が用いられる。
　サイズ変換要求１０７と符号化パラメータ１１２を用いて変換情報１０９を生成する手順を以下に説明する。
　簡単のため、２倍、１／２倍を例にとって説明する。ただし、この例は、本発明の説明のために提示した一例に過ぎず、本発明に何ら限定を課するものでないことは勿論である。本発明の原理からも明らかなように、他の倍率、動きベクトル、予測モード・方向、ブロックサイズにも適用可能である。
＜例１＞　画像サイズを２倍に変換する場合：
　入力された符号化データの８ｘ８ブロックＡの動きベクトルが、右に５、上に４であった場合、サイズ変換後のブロックＡを符号化するために、サイズが１６ｘ１６で、右に５、上に４の動きベクトルを符号化部１０５へ送る。このとき、参照フレーム情報は、入力符号化データと同じ値を用いる。
＜例２＞　画像サイズを１／２倍に変換する場合：
　入力された符号化データの８ｘ８ブロックＢのフレーム内予測モードが左方向であった場合、サイズ変換後のブロックＢを符号化するために、サイズが４ｘ４で、フレーム内予測モードが左方向という情報を符号化部１０５へ送る。
　受信バッファ１０２は、外部から送信された入力符号化データ１１０を受信して復号部１０３に送信する。
　復号部１０３は、変換制御部１０１から符号化情報１１７が通知された場合は、符号化情報１１７を用いて、受信バッファ１０２から受け取った入力符号化データ１１１から画像データ１１３を復号し、画像データをサイズ変換部１０４に送る。
　復号部１０３は、変換制御部１０１から符号化情報が通知されない場合には、入力符号化データ１１１に含まれる符号化情報を用いて、該入力符号化データから、画像データを復号する。
　また、復号部１０３は、復号したときに得た入力符号化データの符号化パラメータ１１２を変換制御部１０１に通知する。
　サイズ変換部１０４は、変換制御部１０１からのサイズ変換要求１０８の情報にある倍率又は入出力画像サイズを用いて、復号部１０３から受け取った画像データ１１３の画像サイズを変換し、変換後の画像データを符号化部１０５へ送る。
　符号化部１０５は、サイズ変換部１０４から受け取った画像データに対して、変換制御部１０１からの情報を用いて符号化し、符号化したデータ１１５を送信バッファ１０６へ送る。
　本実施例において、変換制御部１０１、復号部１０３、サイズ変換部１０４、符号化部１０５の処理は、動画像変換装置１００を構成するコンピュータ上で動作するプログラムで実現するようにしてもよい。
　図２は、図１の符号化部１０５の構成を示す図である、図２を参照して、符号化部１０５を説明する。本実施例では、Ｈ．２６４を例にとって説明するが、本発明の説明のために提示した一例に過ぎず、本発明を限定するものでないことは勿論である。動画像変換方式の原理からも明らかなように、他の動画像圧縮符号化方式にも適用可能である。
　図２を参照すると、符号化部１０５は、フレーム間予測データ生成部２０１、フレーム内予測データ生成部２０２、スイッチ２０３、フレームメモリ２０４、ＤＣＴ器２０５、量子化器２０６、逆量子化器２０７、逆ＤＣＴ器２０８、ループ内フィルタ器２０９、可変長符号化器２１０、ヘッダ情報生成部２１１とを備えている。
　フレーム間予測データ生成部２０１は、変換制御部１０１から受け取った変換情報１０９とフレームメモリ２０４からの画像データ２１３を用いて、フレーム間予測を行い、予測データを生成してスイッチ２０３に送る。フレーム間予測データ生成部２０１で用いる変換情報１０９としては、
　・動きベクトル、
　・参照フレーム情報や、
　・ブロックサイズ、
　・ブロックタイプ、
などがある。
　フレーム内予測データ生成部２０２は、変換制御部１０１から受け取った変換情報１０９とサイズ変換部１０４から受け取った画像データ１１４とを用いて、フレーム内予測を行い、予測データを生成してスイッチ２０３に送る。フレーム内予測データ生成部２０２で用いる変換情報１０９としては、
　・予測モードと方向や
　・ブロックサイズ、
　・ブロックタイプ、
などがある。
　スイッチ２０３は、変換制御部１０１から指示された変換情報１０９に従って、フレーム間予測データ生成部２０１もしくはフレーム内予測データ生成部２０２で生成した予測データを、ＤＣＴ器２０５、ループ内フィルタ器２０９やフレーム内予測データ生成部２０２に送ることが出来るように切り替える。
　量子化器２０６は、変換制御部１０１からの変換情報１０９にあるビットレートを目標にして量子化ステップを決定する。なお、量子化ステップを決定する方法は、通常の符号化器と同じ動作であるため、説明は省略する。
　ヘッダ情報生成部２１１は、変換制御部１０１から受け取った変換情報１０９を基に、ヘッダ情報２１２を生成して可変長符号化器２１０へ出力する。
　ヘッダ情報生成部２１１で用いる変換情報１０９としては、
　・フレームタイプ、
　・画像サイズ、
　・動きベクトル、
　・ブロックサイズ、
　・ブロックタイプ、
　・予測モードと方向、
　・参照フレーム情報
などがある。
　図２においてその他の構成については、通常の符号化器と同じ構成、動作のため説明を省略する。
　図１を参照すると、送信バッファ１０６は、符号化部１０５から受信した画像ストリームを外部に出力する。
　本実施例により、入力された符号化データの画像サイズを変換するときに高速に変換できる。
　次に本発明の第２の実施例について説明する。図３は、本発明の第２の実施例の動画像変換装置３００の詳細な構成を示す図である。図３において、図１の要素と同一の要素には同一の参照番号が付されている。以下では、同一要素の説明は重複を回避するため適宜省略する。また符号化部１０５は図２の構成と同一とされる。
　変換制御部３０１は、外部からのサイズ変換要求１０７と復号部１０３からの符号化パラメータ１１２を基に、サイズ変換部１０４にサイズ変換要求１０８を、符号化部１０５に変換情報１０９を出す。
　本実施例における、サイズ変換要求１０７と符号化パラメータ１１２を用いて変換情報１０９を作る手順を以下に説明する。簡単のため２倍を例にしたが下記以外の倍率でも実現可能である。
＜例１＞画像サイズを２倍に変換する場合：
　入力された符号化データの８ｘ８ブロックＡの動きベクトルが右に５、上に４であった場合、サイズ変換後のブロックＡを符号化するときは、サイズが１６ｘ１６で、右に１０、上に８の動きベクトルを符号化部１０５へ送る。参照フレーム情報は、入力符号化データと同じ値を使う。
　上記以外の構成、及び動作は実施例１と同じであるため、説明を省略する。本実施例により、入力された符号化データの画像サイズを変換するときに高速に変換できる。本実施例は、前記実施例１に比べて、符号化効率を上げることが可能である。本実施例において、変換制御部３０１、復号部１０３、サイズ変換部１０４、符号化部１０５の処理は、動画像変換装置３００を構成するコンピュータ上で動作するプログラムで実現するようにしてもよい。
　次に本発明の第３の実施例について説明する。図４は、本発明の第３の実施例における動画像変換装置４００の詳細な構成を示す図である。図４において、図１の要素と同一の要素には同一の参照番号が付されている。以下では、同一要素の説明は重複を回避するため適宜省略する。また符号化部１０５は図２の構成と同一とされる。
　変換制御部４０１は、外部からのサイズ変換要求１０７と復号部１０３からの符号化パラメータ１１２を基に、サイズ変換部１０４にサイズ変換要求１０８を、符号化部１０５に変換情報１０９を出す。
　以下にサイズ変換要求１０７と符号化パラメータ１１２を用いて変換情報１０９を作る手順を説明する。簡単のため４倍を例としたが、下記以外の倍率でも実現可能である。
＜例１＞画像サイズを４倍に変換する場合：
　入力された符号化データの４ｘ４ブロックＢのフレーム内予測モードが左上方向（角度が３０度）であった場合、サイズ変換後のブロックＢを符号化するために、サイズを１６ｘ１６にする。このとき、１６ｘ１６ブロックのフレーム内予測モードに、左上方向（角度が３０度）がなかった場合、存在する予測方向に近似する。例えば左、右、上、下の４方向しか無かった場合には、左方向という情報を符号化部１０５へ送る。
　上記以外の構成、及び動作は、前記実施例１と同じであるため、説明を省略する。本実施例により、入力された符号化データの画像サイズを変換するときに高速に変換でき、かつサイズ変換の柔軟度を上げることが可能になるという作用効果を奏する。本実施例において、変換制御部４０１、復号部１０３、サイズ変換部１０４、符号化部１０５の処理は、動画像変換装置４００を構成するコンピュータ上で動作するプログラムで実現するようにしてもよい。
　次に本発明の第４の実施例について説明する。図５は、本発明の第４の実施例における動画像変換装置５００の詳細な構成を示す図である。図５において、図１の要素と同一の要素には同一の参照番号が付されている。以下では、同一要素の説明は重複を回避するため適宜省略する。また符号化部１０５は図２の構成と同一とされる。
　変換制御部５０１は、外部からのサイズ変換要求１０７と復号部１０３からの符号化パラメータ１１２を基にサイズ変換部１０４にサイズ変換要求１０８を、符号化部１０５に変換情報１０９を出す。
　サイズ変換要求１０７と符号化パラメータ１１２を用いて変換情報１０９を作る手順を以下に説明する。簡単のため、２倍、１／２倍を例にとって説明するが、これは本発明の説明のために提示した一例に過ぎず、本発明を限定するものでないことは勿論である。本発明の原理からも明らかなように、他の倍率、動きベクトル、予測モード・方向、ブロックサイズにも適用可能である。
　＜例１＞　画像サイズを２倍に変換する場合：
　入力された符号化データの１６ｘ１６ブロックＡの動きベクトルが右に５、上に４であった場合、サイズ変換後のブロックＡは３２ｘ３２になる。このとき、符号化するブロックの最大の単位が１６ｘ１６であるものとすると、符号化するためには、サイズ変換後の３２ｘ３２のブロックＡを４分割する必要がある。このとき、分割した４つの１６ｘ１６ブロック各々に対して、右に１０、上に８の動きベクトルを符号化部へ送る。このとき、参照フレーム情報は、入力符号化データと同じ値を使う。
＜例２＞　画像サイズを１／２倍に変換する場合：
　入力された符号化データの４ｘ４ブロックＢのフレーム内予測モードが左方向であった場合、サイズ変換後のブロックＢは２ｘ２になる。このとき、符号化するブロックの最小単位が４ｘ４であるものとすると、符号化するためにサイズ変換後の２ｘ２のブロックＢの周りの２ｘ２ブロックと合成して、４ｘ４ブロックにする必要がある。このとき、２ｘ２ブロック各々の予測モード・方向を合成して、１つの予測モードを決定する。
　合成する方法としては、４つのうち最も多い予測モード・方向を符号化部１０５に送る。もし、４つの２ｘ２ブロックが左２つ、上２つで、４５°方向のモードがあれば、左上４５°方向のモードを選択する。また、４つの２ｘ２ブロックが左、右、上、下の場合は平均値モードを使う。
　上記以外の構成、及び動作は実施例１乃至３と同じであるため、説明を省略する。本実施例により、入力された符号化データの画像サイズを変換するときに高速に変換でき、また、実施例３よりもサイズ変換の柔軟度を上げることが出来るという効果がある。本実施例において、変換制御部５０１、復号部１０３、サイズ変換部１０４、符号化部１０５の処理は、動画像変換装置５００を構成するコンピュータ上で動作するプログラムで実現するようにしてもよい。
　次に本発明の第５の実施例について説明する。図６は、本発明の第３の実施例における動画像変換装置６００の詳細な構成を示す図である。図６において、図１の要素と同一の要素には同一の参照番号が付されている。以下では、同一要素の説明は重複を回避するため適宜省略する。
　変換制御部６０１は、外部からのサイズ変換要求１０７と復号部１０３からの符号化パラメータ１１２を基にサイズ変換部１０４にサイズ変換要求１０８を、符号化部６０２に変換情報６０３を出す。変換情報６０３としては、
　・画像データサイズ、
　・フレームタイプ、
　・予測モードと方向、
　・動きベクトル、
　・参照フレーム情報、
　・ブロックサイズ、
　・ブロックタイプ、
　・ビットレート、
を送る。
　図７は、図６の符号化部６０２の詳細な構成を示す図である。図７において、図２の要素と同一の要素には同一の参照番号が付されている。以下では、同一要素の説明は重複を回避するため適宜省略する。
　図７において、フレーム間予測符号化部７０１は、変換制御部６０１から受け取った変換情報６０３を用いて、フレーム間予測符号を行う。より具体的には、変換情報６０３として、参照フレーム情報、動きベクトルとフレームの探索範囲、及び、動きベクトルの探索範囲を受け取る。
　フレーム間予測符号化部７０１は、フレームメモリ２０４から１枚分の画像データを受け取ると、１枚分の画像データに対して、動きベクトルを起点に動きベクトルの探索範囲分だけフレーム間予測を行う。探索範囲としては、例えば、前記動きベクトルを起点にして上下左右一律にある一定位置離れた地点までを探索する。あるいは、フレーム間予測符号化部７０１は、前記動きベクトルの方向を利用し、前記動きベクトルを起点として、前記動きベクトルの方向に絞り込んで一定位置離れた地点を探索する。
　フレーム間予測符号化部７０１は、フレームの探索範囲が２枚以上であれば、フレーム番号を起点に、フレームの探索範囲分、動きベクトルの探索を行い、最も良い動きベクトル、フレーム番号７０３を決定して、可変長符号化器２１０に送る。
　フレーム内予測符号化部７０２は、変換制御部６０１から受け取った変換情報６０３を用いて、フレーム内予測符号を行う。より具体的には、前記変換情報６０３として、予測モードと探索範囲を受け取る。
　フレーム内予測符号化部７０２は、予測するブロック、及びその近傍の画像データを受け取ると、予測モードを起点に、探索範囲分の予測モードから最も良い予測モード７０４を決定して、可変長符号化器２１０に送る。
　変換情報６０３で受け取った予測モードを起点にして探索する方法について、以下に例を示す。
　予測方向が４５°毎に存在し、情報６０３から受け取った予測モードが左方向、探索範囲が２の場合、左方向のフレーム内予測に加えて、左上４５°と左下４５°のフレーム内予測を行い、最も良い予測モードを決定する。
　上記以外の構成及び動作は、実施例１乃至４と同じであるため、説明を省略する。本実施例により、入力された符号化データの画像サイズを変換するときに高速に変換でき、実施例１乃至４よりも、画質をあげることができるという作用効果を奏する。本実施例において、変換制御部６０１、復号部１０３、サイズ変換部１０４、符号化部６０２の処理は、動画像変換装置６００を構成するコンピュータ上で動作するプログラムで実現するようにしてもよい。
　次に本発明の第６の実施例について説明する。図８は、本発明の第６の実施例における動画像変換装置８００の詳細な構成を示す図である。図８において、図１の要素と同一の要素には同一の参照番号が付されている。以下では、同一要素の説明は重複を回避するため適宜省略する。
　変換制御部８０１は、外部からのサイズ変換要求１０７と復号部１０３からの符号化パラメータ１１２を基にサイズ変換部１０４にサイズ変換要求１０８を、符号化部８０２に変換情報８０３を出す。
　変換制御部８０１は、変換情報８０３として、例えば、
　・画像データサイズ、
　・フレームタイプ、
　・予測モードと方向、
　・動きベクトル、
　・参照フレーム情報、
　・ブロックサイズ、
　・ブロックタイプ、
　・入力符号化データの符号量分布ビットレート、
　・予測モードや動きベクトルを使用するか判断するための閾値
　を送る。
　閾値は、例えば、
　・予測するブロックのサイズｘ画像データの振幅の平均値もしくはその２乗、または、
　・ビットレートや入力符号化データの符号量分布から算出する各ブロックにおける目標符号量
　などがある。
　図９は、図８に示した本発明の第５の実施例における符号化部８０２の詳細な構成を示す図である。図９において、図２の要素と同一の要素には同一の参照番号が付されている。以下では、同一要素の説明は重複を回避するため適宜省略する。
　図９を参照すると、フレーム間予測データ生成部９０１は、変換制御部８０１から受け取った変換情報８０３にある動きベクトル、フレーム番号を用いて、フレーム間予測データを生成する。そして、フレーム間予測データとフレームメモリの画像データとの差と、閾値を比較する。閾値よりも予測残差が小さい場合、変換情報８０３で受け取った動きベクトル、フレーム番号を採用する。
　フレーム間予測符号化部９０２は、閾値よりも予測残差が大きい場合、フレーム間予測を行って動きベクトル、フレーム番号９０６を決定して可変長符号化器２１０へ送る。
　このとき、変換情報８０３で受け取った動きベクトル、フレーム番号を起点にしても良い。また、フレーム間予測符号化部９０２の代わりに、フレーム内予測符号化部９０３を使用しても良い。
　フレーム内予測データ生成部９０４は、変換情報８０３で受け取った予測モードを使用してフレーム内予測データを生成する。そして、フレーム内予測符号化部９０３は、フレーム内予測データ生成部９０４で生成されたフレーム内予測データと当該ブロック近傍の画像データとの差と閾値を比較する。
　閾値よりも予測残差が小さい場合、フレーム内予測符号化部９０３は、変換情報８０３で受け取った予測モードを採用する。
　閾値よりも予測残差が大きい場合、フレーム内予測符号化部９０３は、フレーム内予測を行って、予測モード９０７を決定して、可変長符号化器２１０へ送る。このとき、変換情報８０３で受け取った予測モードを起点にしても良い。また、フレーム内予測符号化部９０３の代わりに、フレーム間予測符号化部９０２を使用しても良い。
　上記以外の構成、及び動作は実施例１乃至５と同じであるため、説明を省略する。本実施例により、入力された符号化データの画像サイズを変換するときに高速に変換でき、さらに前記実施例１乃至５よりも画質をあげることができるという作用効果を奏する。本実施例において、変換制御部８０１、復号部１０３、サイズ変換部１０４、符号化部８０２の処理は、動画像変換装置８００を構成するコンピュータ上で動作するプログラムで実現するようにしてもよい。
　次に本発明の第７の実施例について説明する。図１０は、本発明の第７の実施例における動画像変換装置１０００の詳細な構成を示す図である。図１０において、図１の要素と同一の要素には同一の参照番号が付されている。以下では、同一要素の説明は重複を回避するため適宜省略する。
　変換制御部１００１は、外部からのサイズ変換要求１０７と復号部１０３からの符号化パラメータ１１２を基にサイズ変換部１０４にサイズ変換要求１０８を、符号化部１００２に変換情報１００３を出す。
　変換制御部１００１は、変換情報１００３として、例えば、
　・画像データサイズ、
　・フレームタイプ、
　・予測モードと方向、
　・動きベクトル、
　・参照フレーム情報、
　・ブロックサイズ、
　・ブロックタイプ、
　・量子化ステップサイズ、
　を送る。
　変換制御部１００１は、外部からの変換要求１０７に含まれる、
　画像データサイズ、
　ビットレート
　の少なくとも１つについて変換前の情報と比較して、量子化ステップサイズをＮ倍、１／Ｎ倍に変換することも可能とする。
　図１１は、本発明の第７の実施例における符号化部１００２の詳細な構成を示す図である。図１１において、図９の要素と同一の要素には同一の参照番号が付されている。以下では、同一要素の説明は重複を回避するため適宜省略する。
　量子化器１１０１は、変換制御部１００１から受け取った変換情報１００３に含まれる、量子化ステップサイズを用いて量子化を行う。
　上記以外の構成、及び動作は実施例１乃至６と同じであるため、説明を省略する。本実施例により、入力された符号化データの画像サイズを変換するときに、前記実施例１乃至６よりも高速に変換できるという効果を奏する。本実施例において、変換制御部１００１、復号部１０３、サイズ変換部１０４、符号化部１００２の処理は、動画像変換装置１０００を構成するコンピュータ上で動作するプログラムで実現するようにしてもよい。
　次に本発明の第８の実施例について説明する。図１２は、本発明の第８の実施例における動画像変換装置１２００の詳細な構成を示す図である。図１２において、図１の要素と同一の要素には同一の参照番号が付されている。以下では、同一要素の説明は重複を回避するため適宜省略する。
　変換制御部１２０１は、外部からのサイズ変換要求１０７と復号部１０３からの符号化パラメータ１１２を基にサイズ変換部１０４にサイズ変換要求１０８を、符号化部１２０２に変換情報１２０３を出す。
　変換制御部１２０１は、変換情報１２０３として、例えば、
　・画像データサイズ、
　・フレームタイプ、
　・予測モード、方向、
　・動きベクトル、
　・参照フレーム情報、
　・ブロックサイズ、
　・ブロックタイプ、
　・ビットレート、
　・入力符号化データの符号量の分布
を送る。
　図１３は、本発明の第８の実施例における符号化部１２０２の詳細な構成を示す図である。図１３において、図１１の要素と同一の要素には同一の参照番号が付されている。以下では、同一要素の説明は重複を回避するため適宜省略する。
　図１３において、量子化器１３０１は、変換制御部１２０１から受け取った変換情報１２０３に含まれる、ビットレートと入力符号化データの符号量の分布を用いて各ブロックの目標符号量を決定し、量子化ステップサイズを決定して量子化を行う。
　上記以外の構成、及び動作は実施例１乃至７と同じであるため、説明を省略する。本実施例により、入力された符号化データの画像サイズを変換するときに前記実施例１乃至７よりも符号量を調整できるという作用効果を奏する。本実施例において、変換制御部１２０１、復号部１０３、サイズ変換部１０４、符号化部１２０２の処理は、動画像変換装置１２００を構成するコンピュータ上で動作するプログラムで実現するようにしてもよい。
　次に本発明の第９の実施例について説明する。図１４は、本発明の第９の実施例における動画像変換装置１４００の詳細な構成を示す図である。図１４において、図１の要素と同一の要素には同一の参照番号が付されている。以下では、同一要素の説明は重複を回避するため適宜省略する。
　変換制御部１４０１は、外部からのサイズ変換要求１０７と復号部１０３からの符号化パラメータ１１２を基にサイズ変換部１０４にサイズ変換要求１０８を、符号化部１４０２に変換情報１４０３を出す。
　変換情報１４０３としては、画像データサイズ、フレームタイプ、予測モード・方向、動きベクトル、参照フレーム情報、ブロックサイズ、ブロックタイプ、ビットレート、量子化情報を送る。
　量子化情報としては、入力符号化データの量子化ステップサイズや入力符号化データの符号量の分布を使用するか否か、量子化ステップサイズ、ビットレートが含まれる。
　入力符号化データの量子化ステップサイズを使用するか否かの判断は、サイズ変換比が大きい場合、入力符号化データのビットレートと出力符号化データのビットレートの比が大きい場合、サイズ変換比の増減と入出力のビットレート比の増減を比べたときにその差が大きい場合などは、入力符号化データの量子化ステップサイズは用いない。
　入力符号化データの符号量の分布を使用するか否かの判断は、目標ビットレートと出力符号量の差が大きい場合に入力符号化データの符号量の分布は使用しない。
　図１５は、本発明の第９の実施例における符号化部１４０２の詳細な構成を示す図である。図１５において、図９の要素と同一の要素には同一の参照番号が付されている。以下では、同一要素の説明は重複を回避するため適宜省略する。
　量子化器１５０１は、変換制御部１４０１から受け取った変換情報１４０３に含まれる、入力符号化データの量子化ステップサイズや符号量の分布を使用するか否か、量子化ステップサイズ、符号量の分布、ビットレートを用いて量子化を行う。
　具体的には、入力符号化データの量子化ステップサイズや符号量の分布を使用するか否かの情報を基に、使用する場合は前記入力符号化データの量子化ステップサイズや符号量の分布を用いて算出した量子化ステップサイズで量子化を行い、使用しない場合はビットレートを基に量子化ステップサイズを自ら決定して、量子化する。
　上記以外の構成、及び動作は実施例１乃至８と同じであるため、説明を省略する。本実施例により、入力された符号化データの画像サイズを変換するときに高速に変換でき、前記実施例７、８よりも画質を調整できるという作用効果を奏する。本実施例において、変換制御部１４０１、復号部１０３、サイズ変換部１０４、符号化部１４０２の処理は、動画像変換装置１４００を構成するコンピュータ上で動作するプログラムで実現するようにしてもよい。
　次に本発明の第１０の実施例について説明する。図１６は、本発明の第１０の実施例における動画像変換装置１６００の詳細な構成を示す図である。
　変換制御部１６０１は、外部からのサイズ変換要求１０７と復号部１０３からの符号化パラメータ１１２を基にサイズ変換部１０４にサイズ変換要求１０８を、符号化部１６０２に変換情報１６０３を出す。
　変換情報１６０３としては、画像データサイズ、フレームタイプ、予測モード・方向、動きベクトル、参照フレーム情報、ブロックサイズ、ブロックタイプ、ビットレート、フィルタ処理情報を送る。
　フィルタ処理情報とは、符号化前の画像データ、もしくは符号化中の画像データに対して、フィルタ処理の実行するか否か、フィルタ処理を実行する場合のフィルタ強度、フィルタを実行する領域の情報などがある。
　フィルタ処理を実行するか否かは、サイズ変換後の画面サイズに対する出力ビットレート、画像サイズ変換が拡大なのか、縮小なのか、入力符号化データのビットレートが高いか低いかという情報を用いて判断する。
　例えば入力符号化データ中に含まれるフィルタ処理実行の有無の情報を使ったり、サイズ変換後の画面サイズに対して出力ビットレートが低い場合や入力符号化データのビットレートが低い場合にフィルタ処理を行い、サイズ変換後の画面サイズに対して出力ビットレートが高い場合や入力符号化データのビットレートが高い場合、画像サイズを縮小する場合はフィルタ処理をしないという判断を行う。
　図１７は、本発明の第１０の実施例における符号化部１６０２の詳細な構成を示す図である。図１７において、図９の要素と同一の要素には同一の参照番号が付されている。以下では、同一要素の説明は重複を回避するため適宜省略する。
　ループ内フィルタ器１７０１は、変換制御部１６０１から受け取った変換情報１６０３を基にし、フィルタ処理を行う。変換情報１６０３でフィルタ処理を行う様に指示されると、画像データ１７０２にフィルタ処理を行う。
　変換情報１６０３において、フィルタ強度やフィルタを実施する領域の情報があれば前記情報１６０３に従ってフィルタ処理を実施する。
　変換情報１６０３において、フィルタ処理を実施しない様に指示された場合は画像データ１７０２をそのままフレームメモリ２０４へ送る。
　本実施例では、符号化中の画像データに対するフィルタ処理有無について説明したが、これは本発明の説明のために提示した一例に過ぎず，限定するものでないことは勿論である。本発明の動画像変換装置の原理からも明らかなように、符号化前の画像データに対するフィルタ処理有無判断にも適用可能である。
　上記以外の構成、及び動作は実施例１乃至９と同じであるため、説明を省略する。本実施例により、入力された符号化データの画像サイズを変換するときに高速に変換でき、かつ実施例１乃至９よりも画質をあげるという作用効果を奏する。本実施例において、変換制御部１６０１、復号部１０３、サイズ変換部１０４、符号化部１６０２の処理は、動画像変換装置１６００を構成するコンピュータ上で動作するプログラムで実現するようにしてもよい。
　次に第１１の実施例について説明する。図１８は、本発明の第１１の実施例における動画像変換装置１８００の詳細な構成を示す図である。変換制御部１８０１は、外部からの変換要求１８０３と、復号部１０３からの符号化パラメータ１１２を基に、サイズ変換部１０４に変換情報１８０４を与え、符号化部１８０２に変換情報１８０５を与える。
　変換制御部１８０１は、変換要求１８０３を基にして、サイズ変換部１０４に対して、サイズ変換・フレームスキップ要求を含む変換情報１８０４を送る。
　変換情報１８０４は、
　・倍率、
　・変換後の画像サイズ、
　・ビットレート、
　・符号化情報、
　・フレームレート情報
を含む。
　フレームレート情報としては、
　・入力符号化データ、出力符号化データ各々のフレームレート情報や、
　・入力符号化データのフレームを間引く枚数や、
　・タイミングの情報
などがある。
　また変換制御部１８０１は、復号部１０３から符号化パラメータ１１２を受け取ると、変換要求１８０３を基にして、符号化部１８０２に対して、変換情報１８０５を送る。
　変換情報１８０５は、
　・画像データサイズ、
　・フレームタイプ、
　・予測モード・方向、
　・動きベクトル、
　・参照フレーム情報、
　・ブロックサイズ、
　・ブロックタイプ、
　・ビットレート、
　・量子化情報、
　・フィルタ処理情報、
　・フレームスキップ情報
を含む。
　フレームスキップ情報としては、
　・入力符号化データ、出力符号化データ各々のフレームレート情報や、
　・入力符号化データのフレームを間引く枚数や、
　・タイミングの情報
などがある。
　変換制御部１８０１でフレームレートを落とすか判断し、符号化部１８０２に対してフレーム毎に符号化の有無を通知する。
　フレームレートを落とす場合の動きベクトル、参照フレーム情報の生成方法について画面サイズを２倍にした上で、１フレームおきにフレームを間引く場合を例にして説明する。ただし、本発明の原理からも明らかなようにその他のサイズ、フレームレートでも実施可能である。
＜例１＞　
　参照フレームについては、当該フレームが間引くフレームを参照している場合、その過去、もしくは未来の出力フレームを参照する。また、参照フレーム番号も間引く必要があるため、フレームを間引く数だけ減算する。当該フレームが出力するフレームを参照している場合、そのままのフレームを参照する。この場合も、参照フレーム番号も間引く必要があるため、フレームを間引く数だけ減算する。
　次に、動きベクトルについて、画面サイズが倍になるため、入力符号化データの動きベクトルを２倍にする。当該フレームが出力するフレームを参照している場合は、動きベクトルのサイズは画面サイズ比のままにする。
　当該フレームが間引くフレームを参照している場合、それよりも過去、もしくは未来の出力フレームを参照し、例えば、間引くフレームが当該フレームの１フレーム前の場合で、２フレーム前を参照する場合は、動きベクトルを画面サイズ比から更に２倍する。
　例えば、間引くフレームが当該フレームの３フレーム前の場合で、２フレーム前を参照する場合は、動きベクトルを画面サイズ比から更に０．６６倍する。
＜例２＞　
　参照フレームについては、当該フレームが間引くフレームを参照している場合、間引くフレームが参照している出力フレームを参照する。また、参照フレーム番号も間引く必要があるため、フレームを間引く数だけ減算する。
　当該フレームが出力するフレームを参照している場合、そのままのフレームを参照する。この場合も、参照フレーム番号も間引く必要があるため、フレームを間引く数だけ減算する。
　次に、動きベクトルについて、画面サイズが倍になるので、入力符号化データの動きベクトルを２倍にする。当該フレームが出力するフレームを参照している場合は、動きベクトルのサイズは画面サイズ比のままにする。
　当該フレームが間引くフレームを参照している場合、それよりも過去、もしくは未来の出力フレームを参照し、当該フレームの入力符号化データ内の動きベクトルと間引くフレームの動きベクトルを足し合わせる。
　サイズ変換部１０４は、変換制御部１８０１からフレームスキップ要求を含む変換情報１８０４が通知されると、復号部１０３から入力された画像データ１１３をサイズ変換せずに廃棄し、符号化部１８０２へは送らない。
　符号化部１８０２は、変換情報１８０５と画像データ１１４を基に、出力符号データを生成する。上記以外の構成、及び動作は、前記実施例１乃至１０と同じため、説明を省略する。
　本実施例によれば、入力された符号化データと出力する符号化データのフレームレートを変える場合に、前記入力された符号化データの画像サイズを高速に変換することが可能である。本実施例において、変換制御部１８０１、復号部１０３、サイズ変換部１０４、符号化部１８０２の処理は、動画像変換装置１８００を構成するコンピュータ上で動作するプログラムで実現するようにしてもよい。
　次に本発明の第１２の実施例について説明する。図１９は、本発明の第１２の実施例における動画像変換装置１９００の詳細な構成を示す図である。図１９において、図１の要素と同一の要素には同一の参照番号が付されている。以下では、同一要素の説明は重複を回避するため適宜省略する。
　変換制御部１９０１は、外部からの変換要求１９０６と復号部１９０２からの符号化パラメータ１１２を基にサイズ変換部１０４にサイズ変換要求１９０４を、符号化部１９０３に変換情報１９０５を出す。
　変換要求１９０４は、サイズ変換情報、入力符号化データの符号化方式や出力符号化データの符号化方式の情報が含まれる。
　変換制御部１９０１は、復号部１９０２から符号化パラメータ１１２を受け取ると、変換要求１９０４を基にして符号化部１９０３に対して、画像データサイズ、フレームタイプ、予測モード・方向、動きベクトル、参照フレーム情報、ブロックサイズ、ブロックタイプ、ビットレート、量子化情報、フィルタ処理情報を送る。
　変換制御部１９０１は、変換要求１９０４の入力符号化方式と出力符号化方式が同じ場合は、符号化パラメータ１１２を、前記実施例１乃至１１で説明した方法で変換して符号化部１９０３へ送る。
　変換要求１９０４の入力符号化方式と出力符号化方式が異なる場合、変換制御部１９０１は入力符号化データの予測モード・方向、動きベクトル、参照フレーム情報、ブロックサイズ、ブロックタイプ、ピクチャタイプ、量子化情報、フィルタ処理情報を出力符号化方式に合う様に変換する。
　予測モードの場合、例えば、入力符号化データの予測モードが出力符号化方式で対応していない場合、最も近い予測モード・方向に近似する。
　動きベクトルの場合、例えば、上下限値や尺度を出力符号化方式に合わせる。
　参照フレーム情報の場合、例えば、入力符号化方式の参照フレーム情報が出力符号化方式で対応していない時、フレーム番号を出力符号化方式の最大・最小値に拡大・縮小する。
　また、出力符号化方式に関係の無い参照フレーム情報は符号化部１９０３に送らない様にする。もしくは、該当箇所は入力符号化データの情報を使わず、再符号化する。
　ブロックサイズの場合、例えば、入力符号化方式が４ｘ４ブロック各々に対して１つの予測モード・方向や動きベクトルが指定できるものの、出力符号化方式が８ｘ８ブロックや１６ｘ１６ブロックに１つしか予測モード・方向や動きベクトルが指定できない場合、実施例４に記載の方法で予測モード・方向や動きベクトルを合成する。
　ピクチャタイプの場合、入力符号化方式に存在して出力符号化方式に存在しないときは該当フレームを再符号化する、もしくはピクチャタイプの差が出力符号化方式に関係ない情報が付加されているだけであれば、その情報を送らずピクチャタイプを近似して符号化部１９０３へ送る。
　量子化ステップの場合、上下限値や尺度の意味（例えば対数なのか倍数なのか）に合わせて変換する。
　フィルタ処理情報の場合、入力符号化方式に存在して出力符号化方式に存在しないときはフィルタ処理しない、もしくは出力符号化方式に関係ない情報が付加されているだけであれば、その情報を送らずフィルタ処理情報を生成する。
　上記以外の構成、及び動作は、前記実施例１乃至１１と同じであるため、説明を省略する。本実施例により、入力された符号化方式と出力する符号化方式が異なる場合に、前記入力された符号化データの画像サイズを高速に変換することが可能である。本実施例において、変換制御部１９０１、復号部１９０２、サイズ変換部１０４、符号化部１９０３の処理は、動画像変換装置１９００を構成するコンピュータ上で動作するプログラムで実現するようにしてもよい。
　上記した本発明は以下のように付記される。
（付記１）
　受信した符号化データを復号する手段と、
　復号した画像データのサイズを変更する手段と、
　前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの予測モード、ブロックタイプ、動きベクトルと参照フレーム情報の少なくとも１つを、前記符号化に再利用する手段を備える、ことを特徴とする画像変換装置。
（付記２）
　前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの動きベクトル、ブロックタイプの少なくとも１つを、変換前後の画像サイズ比に合わせて、伸張又は短縮する手段を備える、ことを特徴とする付記１記載の画像変換装置。
（付記３）
　前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの予測モードがサイズ変換後にそのまま使えない場合に予測モードを近似する手段を備える、ことを特徴とする付記１記載の画像変換装置。
（付記４）
　変換前後の画像サイズ比に合わせて、予測モード、動きベクトルの少なくとも１つを分割又は合成して再利用する手段を備える、ことを特徴とする付記１乃至３のいずれか一に記載の画像変換装置。
（付記５）
　再利用した予測モード、動きベクトルの少なくとも１つを起点として、再予測する手段を備える、ことを特徴とする付記１乃至４のいずれか一に記載の画像変換装置。
（付記６）
　前記再利用した動きベクトルを起点として再予測する場合に、前記動きベクトルの方向を利用する手段を備える、ことを特徴とする付記５記載の画像変換装置。
（付記７）
　予測誤差が予め定められた閾値以上の場合に、予測し直す手段を備える、ことを特徴とする付記１乃至６のいずれか一に記載の画像変換装置。
（付記８）
　前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの量子化ステップサイズを再利用する手段を備える、ことを特徴とする付記１乃至７のいずれか一に記載の画像変換装置。
（付記９）
　前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの符号量の分布を再利用する手段を備える、ことを特徴とする付記１乃至７のいずれか一に記載の画像変換装置。
（付記１０）
　前記サイズ変更後の画像データを符号化する際に、量子化ステップサイズ、入力符号化データの符号量の分布の少なくとも１つを再利用するかを判断する手段を備える、ことを特徴とする付記８又は９記載の画像変換装置。
（付記１１）
　前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データのビットレートを変える手段を備える、ことを特徴とする付記１乃至１０のいずれか一に記載の画像変換装置。
（付記１２）
　前記サイズ変更後の画像データを符号化する際に、前記サイズ変換後の画像データ、符号化中の画像データの少なくとも１つにフィルタをかけるか否かを判断する手段を備える、ことを特徴とする付記１乃至１１のいずれか一に記載の画像変換装置。
（付記１３）
　前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データのピクチャタイプを再利用する手段を備える、ことを特徴とする付記１乃至１２のいずれか一に記載の画像変換装置。
（付記１４）
　前記サイズ変更後の画像データを符号化する際に、フレームレートを変換する、ことを特徴とする付記１乃至１３のいずれか一に記載の画像変換装置。
（付記１５）
　復号方式と符号化方式が互いに別の方式である、ことを特徴とする付記１乃至１４のいずれか一に記載の画像変換装置。
（付記１６）
　受信した符号化データから画像データに復号し、
　前記復号した画像データのサイズを変更し、
　前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの予測モード、ブロックタイプ、動きベクトルと参照フレーム情報の少なくとも１つを、前記符号化に再利用する、ことを特徴とする画像変換方法。
（付記１７）
　前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの動きベクトル、ブロックタイプの少なくとも１つを、変換前後の画像サイズ比に合わせて、伸張又は短縮する、ことを特徴とする付記１６記載の画像変換方法。
（付記１８）
　前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの予測モードがサイズ変換後にそのまま使えない場合に予測モードを近似する、ことを特徴とする付記１６記載の画像変換方法。
（付記１９）
　変換前後の画像サイズ比に合わせて、予測モード、動きベクトルの少なくとも１つを分割又は合成して再利用する、ことを特徴とする付記１６乃至１８のいずれか一に記載の画像変換方法。
（付記２０）
　前記サイズ変更後の画像データを符号化する際に、量子化ステップサイズ、入力符号化データの符号量の分布の少なくとも１つを再利用するかを判断する、ことを特徴とする付記１６乃至１９のいずれか一に記載の画像変換方法。
（付記２１）
　前記サイズ変更後の画像データを符号化する際に、フレームレートを変換する、ことを特徴とする付記１６乃至２０のいずれか一に記載の画像変換方法。
（付記２２）
　受信した符号化データを復号する処理と、
　復号した画像データのサイズを変更する処理と、
　前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの予測モード、ブロックタイプ、動きベクトルと参照フレーム情報の少なくとも１つを、前記符号化に再利用する処理と、
　をコンピュータに実行させるプログラム。
（付記２３）
　前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの動きベクトル、ブロックタイプの少なくとも１つを、変換前後の画像サイズ比に合わせて、伸張又は短縮する処理を前記コンピュータに実行させる付記２２記載のプログラム。
（付記２４）
　前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの予測モードがサイズ変換後にそのまま使えない場合に予測モードを近似する処理を前記コンピュータに実行させる付記２２記載のプログラム。
（付記２５）
　変換前後の画像サイズ比に合わせて、予測モード、動きベクトルの少なくとも１つを分割又は合成して再利用する処理を前記コンピュータに実行させる付記２２乃至２４のいずれか一に記載のプログラム。
（付記２６）
　前記サイズ変更後の画像データを符号化する際に、量子化ステップサイズ、入力符号化データの符号量の分布の少なくとも１つを再利用するか判断する処理を前記コンピュータに実行させる付記２２乃至２５のいずれか一に記載のプログラム。
（付記２７）
　前記サイズ変更後の画像データを符号化する際に、フレームレートを変換する処理を前記コンピュータに実行させる付記２２乃至２６のいずれか一に記載のプログラム。
（付記２８）
　受信した符号化データを画像データに復号する復号部と、
　装置外部からのサイズ変換要求又は前記復号部からの符号化パラメータを受け取り、サイズ変換部や符号化部を制御する変換制御部と、
　前記復号部から入力された画像データを前記変換制御部の指示に基づいてサイズ変換を行うサイズ変換部と、
　前記変換制御部の指示に従って、前記サイズ変換部から入力された画像データから符号化データを生成する符号化部と、
　を備え，
　前記符号化部は、前記サイズ変換部でサイズ変更後の画像データを符号化する際に、前記受信した符号化データの予測モード、ブロックタイプ、動きベクトル、参照フレーム情報の少なくとも１つを再利用する、ことを特徴とする画像変換装置。
（付記２９）
　前記変換制御部は、装置外部から入力されたサイズ変換要求と、前記復号部からの符号化パラメータとを基に、前記サイズ変換部に対してサイズ変換要求を与え、前記符号化部に対して変換情報を与え、
　前記サイズ変換部は、前記変換制御部からのサイズ変換要求情報にある倍率又は入出力画像サイズを用いて、前記復号部から受け取った画像データの画像サイズを変換し変換後の画像データを前記符号化部へ与え、
　前記符号化部は、
　前記変換制御部から受け取った変換情報とフレームメモリからの画像データを用いて、フレーム間予測を行い予測データを生成してスイッチに送るフレーム間予測データ生成部と、
　前記変換制御部から受け取った変換情報と前記サイズ変換部から受け取った画像データとを用いてフレーム内予測を行い、予測データを生成して前記スイッチに送るフレーム内予測データ生成部と、
　を備え、
　前記スイッチは、前記変換制御部からの指示に従って前記フレーム間予測データ生成部又は前記フレーム内予測データ生成部で生成した予測データを、離散コサイン変換器、ループ内フィルタ器、前記フレーム内予測データ生成部に送ることが出来るように切り替え、
　前記変換制御部からの指示のビットレートを目標にして量子化ステップを決定する量子化器と、
　前記変換制御部から受け取った変換情報を基にヘッダ情報を生成するヘッダ情報生成部と、
　前記ヘッダ情報生成部からのヘッダ情報を基に前記量子化器の出力を可変長符号化する可変長符号化器と、
　を備えている、ことを特徴とする付記２８記載の画像変換装置。
　なお、上記の特許文献１乃至４の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
１００　　動画像変換装置
１０１　　変換制御部
１０２　　受信バッファ
１０３　　復号部
１０４　　サイズ変換部
１０５　　符号化部
１０６　　送信バッファ
１０７　　サイズ変換要求
１０８　　サイズ変換要求
１０９　　変換情報
１１０　　入力符号化データ
１１１　　入力符号化データ
１１２　　符号化パラメータ
１１３　　画像データ
１１４　　画像データ
１１５　　符号化データ
１１６　　符号化データ
１１７　　符号化情報
２０１　　フレーム間予測データ生成部
２０２　　フレーム内予測データ生成部
２０３　　スイッチ
２０４　　フレームメモリ
２０５　　ＤＣＴ(Discrete Cosine Transform)器
２０６　　量子化器
２０７　　逆量子化器
２０８　　逆ＤＣＴ器
２０９　　ループ内フィルタ器
２１０　　可変長符号化器
２１１　　ヘッダ情報生成部
２１２　　ヘッダ情報
２１３　　画像データ
３００　　動画像変換装置
３０１　　変換制御部
４００　　動画像変換装置
４０１　　変換制御部
５００　　動画像変換装置
５０１　　変換制御部
６００　　動画像変換装置
６０１　　変換制御部
６０２　　符号化部
６０３　　変換情報
７０１　　フレーム間予測符号化部
７０２　　フレーム内予測符号化部
７０３　　動きベクトル、参照フレーム情報
７０４　　予測モード
８００　　動画像変換装置
８０１　　変換制御部
８０２　　符号化部
８０３　　変換情報
９０１　　フレーム間予測データ生成部
９０２　　フレーム間予測符号化部
９０３　　フレーム内予測データ生成部
９０４　　フレーム内予測符号化部
９０５　　スイッチ
９０６　　動きベクトル、参照フレーム情報
９０７　　予測モード
１０００　動画像変換装置
１００１　変換制御部
１００２　符号化部
１００３　変換情報
１１０１　量子化器
１２００　動画像変換装置
１２０１　変換制御部
１２０２　符号化部
１２０３　変換情報
１３０１　量子化器
１４００　動画像変換装置
１４０１　変換制御部
１４０２　符号化部
１４０３　変換情報
１５０１　量子化器
１６００　動画像変換装置
１６０１　変換制御部
１６０２　符号化部
１６０３　変換情報
１７０１　ループ内フィルタ器
１７０２　画像データ
１８００　動画像変換装置
１８０１　変換制御部
１８０２　変換要求
１８０３　サイズ変換・フレームスキップ要求
１８０４　変換情報
１９００　動画像変換装置
１９０１　変換制御部
１９０２　復号部
１９０３　符号化部
１９０４　変換要求
１９０５　変換情報

Claims (16)

  1. 　受信した符号化データを復号する手段と、
    　復号した画像データのサイズを変更する手段と、
    　前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの予測モード、ブロックタイプ、動きベクトルと参照フレーム情報の少なくとも１つを、前記符号化に再利用する手段を備える、ことを特徴とする画像変換装置。
  2. 　前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの動きベクトル、ブロックタイプの少なくとも１つを、変換前後の画像サイズ比に合わせて、伸張又は短縮する手段を備える、ことを特徴とする請求項１記載の画像変換装置。
  3. 　前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの予測モードがサイズ変換後にそのまま使えない場合に予測モードを近似する手段を備える、ことを特徴とする請求項１記載の画像変換装置。
  4. 　変換前後の画像サイズ比に合わせて、予測モード、動きベクトルの少なくとも１つを分割又は合成して再利用する手段を備える、ことを特徴とする請求項１乃至３のいずれか１項に記載の画像変換装置。
  5. 　再利用した予測モード、動きベクトルの少なくとも１つを起点として、再予測する手段を備える、ことを特徴とする請求項１乃至４のいずれか１項に記載の画像変換装置。
  6. 　前記再利用した動きベクトルを起点として再予測する場合に、前記動きベクトルの方向を利用する手段を備える、ことを特徴とする請求項５記載の画像変換装置。
  7. 　予測誤差が予め定められた閾値以上の場合に、予測し直す手段を備える、ことを特徴とする請求項１乃至６のいずれか１項に記載の画像変換装置。
  8. 　前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの量子化ステップサイズを再利用する手段を備える、ことを特徴とする請求項１乃至７のいずれか１項に記載の画像変換装置。
  9. 　前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの符号量の分布を再利用する手段を備える、ことを特徴とする請求項１乃至７のいずれか１項に記載の画像変換装置。
  10. 　前記サイズ変更後の画像データを符号化する際に、量子化ステップサイズ、入力符号化データの符号量の分布の少なくとも１つを再利用するかを判断する手段を備える、ことを特徴とする請求項８又は９記載の画像変換装置。
  11. 　前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データのビットレートを変える手段を備える、ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像変換装置。
  12. 　前記サイズ変更後の画像データを符号化する際に、前記サイズ変換後の画像データ、符号化中の画像データの少なくとも１つにフィルタをかけるか否かを判断する手段を備える、ことを特徴とする請求項１乃至１１のいずれか１項に記載の画像変換装置。
  13. 　前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データのピクチャタイプを再利用する手段を備える、ことを特徴とする請求項１乃至１２のいずれか１項に記載の画像変換装置。
  14. 　前記サイズ変更後の画像データを符号化する際に、フレームレートを変換する、ことを特徴とする請求項１乃至１３のいずれか１項に記載の画像変換装置。
  15. 　復号方式と符号化方式が互いに別の方式である、ことを特徴とする請求項１乃至１４のいずれか１項に記載の画像変換装置。
  16. 　受信した符号化データから画像データに復号し、
    　前記復号した画像データのサイズを変更し、
    　前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの予測モード、ブロックタイプ、動きベクトルと参照フレーム情報の少なくとも１つを、前記符号化に再利用する、ことを特徴とする画像変換方法。
PCT/JP2010/050083 2009-01-08 2010-01-07 画像変換装置と方法及びプログラム WO2010079797A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/143,141 US9319699B2 (en) 2009-01-08 2010-01-07 Apparatus, method and program for image conversion
CN2010800039482A CN102273207A (zh) 2009-01-08 2010-01-07 图像转换装置、方法以及程序
JP2010545773A JPWO2010079797A1 (ja) 2009-01-08 2010-01-07 画像変換装置と方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-002989 2009-01-08
JP2009002989 2009-01-08

Publications (1)

Publication Number Publication Date
WO2010079797A1 true WO2010079797A1 (ja) 2010-07-15

Family

ID=42316562

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/050083 WO2010079797A1 (ja) 2009-01-08 2010-01-07 画像変換装置と方法及びプログラム

Country Status (4)

Country Link
US (1) US9319699B2 (ja)
JP (2) JPWO2010079797A1 (ja)
CN (1) CN102273207A (ja)
WO (1) WO2010079797A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013062660A (ja) * 2011-09-13 2013-04-04 Kddi Corp 動画像画質復元装置、動画像画質復元方法、およびプログラム
WO2019053932A1 (ja) * 2017-09-13 2019-03-21 株式会社Ｊｖｃケンウッド トランスコード装置、トランスコード方法及びトランスコードプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130195185A1 (en) * 2012-02-01 2013-08-01 Industry-University Cooperation Foundation Hanyang University Apparatus and method for providing additional information to functional unit in reconfigurable codec
CN108028942B (zh) 2015-06-04 2020-06-26 清华大学 像素预测方法、编码方法、解码方法及其装置、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002142222A (ja) * 2000-11-02 2002-05-17 Matsushita Electric Ind Co Ltd 圧縮画像の画面サイズ変更装置
JP2002344973A (ja) * 2001-05-21 2002-11-29 Victor Co Of Japan Ltd 画像符号化データのサイズ変換方法、画像符号化データ伝送方法、及び画像符号化データサイズ変換装置
JP2005252555A (ja) * 2004-03-03 2005-09-15 Kddi Corp ビデオ情報再符号化装置
JP2006186979A (ja) * 2004-11-30 2006-07-13 Matsushita Electric Ind Co Ltd 動画像変換装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001112002A (ja) 1999-10-08 2001-04-20 Matsushita Electric Ind Co Ltd 画像サイズ変換可能なデジタル動画像復号装置
JP2002374536A (ja) 2001-06-15 2002-12-26 Victor Co Of Japan Ltd 符号化装置
JP4515886B2 (ja) 2003-10-28 2010-08-04 パナソニック株式会社 面内予測符号化方法
US8467447B2 (en) * 2004-05-07 2013-06-18 International Business Machines Corporation Method and apparatus to determine prediction modes to achieve fast video encoding
JP2006067124A (ja) * 2004-08-25 2006-03-09 Nec Corp 画像符号化データの切り替え方法および装置、システムならびにプログラム
KR20060088461A (ko) * 2005-02-01 2006-08-04 엘지전자 주식회사 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
JP4523522B2 (ja) 2005-09-06 2010-08-11 三菱電機株式会社 階層的画像符号化装置、トランスコーダ、階層的画像符号化方法およびトランスコーディング方法
JP2009081576A (ja) * 2007-09-25 2009-04-16 Toshiba Corp 動画像復号装置、および動画像復号方法
JP2009206911A (ja) 2008-02-28 2009-09-10 Mitsubishi Electric Corp 動画像変換装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002142222A (ja) * 2000-11-02 2002-05-17 Matsushita Electric Ind Co Ltd 圧縮画像の画面サイズ変更装置
JP2002344973A (ja) * 2001-05-21 2002-11-29 Victor Co Of Japan Ltd 画像符号化データのサイズ変換方法、画像符号化データ伝送方法、及び画像符号化データサイズ変換装置
JP2005252555A (ja) * 2004-03-03 2005-09-15 Kddi Corp ビデオ情報再符号化装置
JP2006186979A (ja) * 2004-11-30 2006-07-13 Matsushita Electric Ind Co Ltd 動画像変換装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013062660A (ja) * 2011-09-13 2013-04-04 Kddi Corp 動画像画質復元装置、動画像画質復元方法、およびプログラム
WO2019053932A1 (ja) * 2017-09-13 2019-03-21 株式会社Ｊｖｃケンウッド トランスコード装置、トランスコード方法及びトランスコードプログラム
JP2019054335A (ja) * 2017-09-13 2019-04-04 株式会社Ｊｖｃケンウッド トランスコード装置、トランスコード方法及びトランスコードプログラム
US11375216B2 (en) 2017-09-13 2022-06-28 Jvckenwood Corporation Transcoding apparatus, transcoding method, and transcoding program

Also Published As

Publication number Publication date
US20120014432A1 (en) 2012-01-19
JPWO2010079797A1 (ja) 2012-06-21
JP2013158060A (ja) 2013-08-15
US9319699B2 (en) 2016-04-19
JP5648709B2 (ja) 2015-01-07
CN102273207A (zh) 2011-12-07

Similar Documents

Publication Publication Date Title
JP5780582B2 (ja) 配信システムと方法並びに変換装置
JP5197630B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
US20030095603A1 (en) Reduced-complexity video decoding using larger pixel-grid motion compensation
JPWO2010137323A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、および映像復号方法
CA2951384A1 (en) Entropy coding techniques for display stream compression (dsc)
KR20200128375A (ko) 인트라 예측 모드 스케일러블 코딩 방법 및 장치
JP5560009B2 (ja) 動画像符号化装置
JP2019512970A (ja) ディスプレイストリーム圧縮における量子化パラメータの適応計算のための装置および方法
JP5648709B2 (ja) 画像変換装置と方法及びプログラム
JP2018067808A (ja) 画像符号化装置、撮像装置、画像符号化方法およびプログラム
JP2005203905A (ja) 画像符号化装置、画像符号化方法並びに画像符号化プログラム
JP6772275B2 (ja) ディスプレイストリーム圧縮（ｄｓｃ）におけるひずみを計算するためのシステムおよび方法
JP7086208B2 (ja) 双方向イントラ予測のシグナリング
JP2011166592A (ja) 画像符号化装置及び画像復号装置
JP4438749B2 (ja) 符号化装置、符号化方法およびプログラム
WO2011148887A1 (ja) 動画像配信システム、動画像送信装置、動画像配信方法および動画像配信プログラム
KR20160145181A (ko) 디스플레이 스트림 압축 (dsc) 을 위해 패턴 모드에서 코딩하기 위한 시스템 및 방법
JP2008160402A (ja) 符号化装置及び方法並びに画像符号化装置
JP6265414B2 (ja) 映像符号化装置及び映像復号装置
JP5389298B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP2008289105A (ja) 画像処理装置およびそれを搭載した撮像装置
JP5000012B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2014204347A (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、それらのプログラム並びにプログラムを記録した記録媒体
JP2018110313A (ja) 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム
JP4556286B2 (ja) 動きベクトル変換装置及び方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080003948.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10729217

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13143141

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2010545773

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10729217

Country of ref document: EP

Kind code of ref document: A1