WO2020111240A1 - 画像復号化装置、画像復号化方法及び画像復号化プログラム - Google Patents

画像復号化装置、画像復号化方法及び画像復号化プログラム Download PDF

Info

Publication number
WO2020111240A1
WO2020111240A1 PCT/JP2019/046812 JP2019046812W WO2020111240A1 WO 2020111240 A1 WO2020111240 A1 WO 2020111240A1 JP 2019046812 W JP2019046812 W JP 2019046812W WO 2020111240 A1 WO2020111240 A1 WO 2020111240A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
divided
division
target block
image
Prior art date
Application number
PCT/JP2019/046812
Other languages
English (en)
French (fr)
Inventor
宏之 倉重
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019181258A external-priority patent/JP6835177B2/ja
Priority to MX2021003466A priority Critical patent/MX2021003466A/es
Priority to KR1020227035085A priority patent/KR20220140874A/ko
Priority to CN202211172685.9A priority patent/CN115442604A/zh
Priority to RU2021107657A priority patent/RU2769965C1/ru
Priority to CA3119628A priority patent/CA3119628A1/en
Priority to CN202211172670.2A priority patent/CN115442603A/zh
Priority to KR1020207037259A priority patent/KR20210015900A/ko
Priority to BR112021004638-0A priority patent/BR112021004638B1/pt
Priority to CN202110120276.3A priority patent/CN112911287B/zh
Priority to EP19889919.7A priority patent/EP3890318A4/en
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Priority to CN201980044819.9A priority patent/CN112385218A/zh
Priority to CN202211172912.8A priority patent/CN115442605A/zh
Publication of WO2020111240A1 publication Critical patent/WO2020111240A1/ja
Priority to US17/205,145 priority patent/US11924420B2/en
Priority to ZA2021/02036A priority patent/ZA202102036B/en
Priority to US18/422,130 priority patent/US20240163432A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to a technique of encoding and decoding an image in units of divided blocks.
  • the image is divided into blocks that are a set of a specified number of pixels, and processing is performed in block units.
  • the efficiency of intra-prediction, inter-prediction, orthogonal transformation, entropy coding, and the like is improved by dividing in appropriate block units, and as a result, coding efficiency is improved.
  • the block is not divided into appropriate size and shape, coding efficiency will decrease.
  • the block including pixels at the position beyond the picture boundary has an inappropriate size and shape, and the coding efficiency is reduced.
  • the present invention has been made in view of such a situation, and an object thereof is to provide a technique for improving coding efficiency by performing block division suitable for image coding and decoding.
  • This apparatus is an image decoding apparatus that decodes an image in units of divided blocks, and includes a decoding unit (201) that decodes block division information of a target block, and a predetermined unit based on the block division information. And a block dividing unit (202) that recursively divides the image into size rectangles to generate the target block.
  • the block division unit divides the target block in the recursive division into four in each of the horizontal direction and the vertical direction to generate four blocks, and the target block in the recursive division in the horizontal direction or And a 2-3 division unit for vertically dividing into two or three to generate two or three blocks.
  • the 2-3 division unit divides the target block in the horizontal direction, and prohibits the horizontal division of the target block when the divided target block exceeds the right side of the picture boundary, If the target block is divided in the vertical direction, the target block is prohibited from being divided in the vertical direction when the divided target block extends below the picture boundary.
  • This apparatus is an image decoding apparatus that decodes an image in units of divided blocks, and includes a decoding unit (201) that decodes block division information of a target block, and a predetermined unit based on the block division information. And a block dividing unit that recursively divides the image into rectangular shapes of size to generate the target block.
  • the block division unit (202) divides the target block in the recursive division into four in each of the horizontal direction and the vertical direction to generate four blocks, and the target block in the recursive division.
  • a 2-3 division unit that generates two or three blocks by dividing into two or three in the horizontal direction or the vertical direction.
  • the 2-3 division unit divides the target block in either direction, when the divided target block exceeds a picture boundary, and the block division depth reaches a predetermined limit depth. In that case, or if the number or ratio of pixels at positions beyond the picture boundary included in the block to be divided is larger than a predetermined value, block division in that direction is prohibited.
  • This apparatus is an image decoding apparatus that decodes an image in units of divided blocks, and includes a decoding unit (201) that decodes block division information of a target block, and a predetermined unit based on the block division information. And a block dividing unit (202) that recursively divides the image into size rectangles to generate the target block.
  • the block division unit divides the target block in the recursive division into four in each of the horizontal direction and the vertical direction to generate four blocks, and the target block in the recursive division in the horizontal direction or And a 2-3 division unit for vertically dividing into two or three to generate two or three blocks. If the target block is partitioned, the 2-3 partitioning unit determines the partitioning direction of the target block such that pixels at positions beyond the picture boundary are most included in the partitioned target block.
  • Yet another aspect of the present invention is an image decoding method.
  • This method is an image decoding method for decoding an image in units of divided blocks, and includes a decoding step of decoding block division information of a target block, and a rectangle of a predetermined size based on the block division information. And a block dividing step of recursively dividing the image to generate the target block.
  • the block dividing step includes dividing the target block in the recursive division into four blocks in each of the horizontal direction and the vertical direction to generate four blocks, and dividing the target block in the recursive division in the horizontal direction. 2-3 division step of generating two or three blocks by vertically dividing into two or three.
  • the 2-3 division step if the target block is divided in the horizontal direction, and if the divided target block exceeds the right side of a picture boundary, the division of the target block in the horizontal direction is prohibited. If the target block is divided in the vertical direction, the target block is prohibited from being divided in the vertical direction when the divided target block extends below the picture boundary.
  • FIG. 3 is a block diagram of an image encoding device according to the first embodiment. It is a block diagram of the image decoding apparatus which concerns on 1st Embodiment.
  • 7 is a flowchart illustrating division into tree blocks and division inside a tree block. It is a figure which shows a mode that the input image is divided into tree blocks. It is a figure explaining z-scan. It is a figure explaining division of a tree block. It is a flow chart explaining processing of each divided block when a tree block is divided into four. It is a flow chart explaining processing of each divided block when a tree block is divided into two or three. It is a figure which shows the relationship between a tree block and a picture boundary.
  • FIG. 6 is a flowchart illustrating block division according to the first embodiment. It is a figure which shows the block division in 1st Embodiment.
  • FIG. 6 is a diagram showing a syntax related to block division in the first embodiment. It is a flow chart explaining block division in a 2nd embodiment. It is a figure which shows the block division in 2nd Embodiment. It is a flow chart explaining block division in a 3rd embodiment. It is a figure which shows the block division in 3rd Embodiment. It is a flow chart explaining block division in a 3rd embodiment. It is a figure which shows the block division in 4th Embodiment.
  • the embodiment of the present invention provides a technique for encoding and decoding an image in units of divided blocks.
  • FIG. 1 is a block diagram of an image encoding device 100 according to the first embodiment.
  • FIG. 1 shows only the data flow relating to the image signal, and the data flow relating to additional information other than the image signal such as the motion vector and the prediction mode is not shown.
  • An image signal for at least one screen is input to the image encoding device 100.
  • the block division unit 101 divides an image into coding target blocks that are processing units for coding, and supplies an image signal in the coding target block to the residual signal generation unit 103. In addition, the block division unit 101 supplies the image signal of the encoding target block to the predicted image generation unit 102 in order to evaluate the degree of coincidence of the predicted images.
  • the block division unit 101 recursively divides an image into rectangles of a predetermined size to generate a coding target block.
  • the block dividing unit 101 divides the target block in the recursive division into four to generate four blocks, and the target block in the recursive division into two or three to generate two or three blocks. 2 to 3 division part. The detailed operation of the block division unit 101 will be described later.
  • the predicted image generation unit 102 is supplied with the image signal of the encoding target block from the block division unit 101 and the decoded image signal from the decoded image memory 108.
  • the predicted image generation unit 102 uses the supplied signal to perform intra prediction (intra-screen prediction) and inter prediction (inter-screen prediction) based on the prediction mode to generate a predicted image signal.
  • intra prediction an image signal of a coded block that is adjacent to the current block in the same picture (encoded picture) as the current block is supplied from the decoded image memory 108 to the predicted image generation unit 102.
  • the predicted image generation unit 102 generates a predicted image signal by using this image signal and the image signal of the coding target block supplied from the block division unit 101.
  • an image signal of a coded picture (reference image) that precedes or follows a coded picture in time series is supplied from the decoded image memory 108 to the predicted image generation unit 102.
  • the predicted image generation unit 102 uses the image signal and the encoding target block supplied from the block division unit 101 to evaluate the degree of coincidence by block matching or the like to obtain a motion vector indicating the amount of motion.
  • the predicted image generation unit 102 performs motion compensation on the reference image based on this motion vector to generate a predicted image signal.
  • the prediction image generation unit 102 supplies the prediction image signal thus generated to the residual signal generation unit 103.
  • the residual signal generation unit 103 subtracts the image signal to be encoded from the prediction signal generated by the prediction image generation unit 102 to generate a residual signal, and supplies the residual signal to the orthogonal transformation/quantization unit 104.
  • the orthogonal transformation/quantization unit 104 orthogonally transforms/quantizes the residual signal supplied from the residual signal generation unit 103.
  • the orthogonal transformation/quantization unit 104 supplies the orthogonal transformation/quantized residual signal to the coding unit 105 and the inverse quantization/inverse orthogonal transformation unit 106.
  • the coding unit 105 generates a coded bitstream corresponding to the orthogonal transform/quantized residual signal supplied from the orthogonal transform/quantization unit 104.
  • the encoding unit 105 also generates a corresponding encoded bitstream for the additional information such as the motion vector, the prediction mode, and the block division information supplied from each component. Then, the encoding unit 105 outputs the encoded bitstream from the image encoding device 100.
  • the inverse quantization/inverse orthogonal transformation unit 106 obtains a residual signal by performing inverse quantization/inverse orthogonal transformation on the orthogonal transformation/quantized residual signal supplied from the orthogonal transformation/quantization unit 104.
  • the inverse quantization/inverse orthogonal transformation unit 106 supplies the residual signal to the decoded image signal superposition unit 107.
  • the decoded image signal superposition unit 107 superimposes the predicted image signal generated by the predicted image generation unit 102 and the residual signal obtained by the inverse quantization/inverse orthogonal transformation unit 106 to generate a decoded image, and the decoded image It is stored in the memory 108.
  • the decoded image signal superimposing unit 107 may perform a filtering process on the decoded image to reduce block distortion due to encoding, and store the decoded image in the decoded image memory 108.
  • FIG. 2 is a block diagram of the image decoding device 200 according to the first embodiment.
  • FIG. 2 shows only the data flow relating to the image signal, and the data flow relating to additional information other than the image signal such as the motion vector and the prediction mode is not shown.
  • the encoded bit stream is input to the image decoding device 200.
  • the decoding unit 201 decodes the supplied encoded bitstream and supplies the orthogonally transformed/quantized residual signal to the block dividing unit 202.
  • the decoding unit 201 supplies additional information such as a motion vector, a prediction mode, and block division information to each component, and uses the additional information in a process corresponding to the additional information.
  • the block division unit 202 determines the shape of the decoding target block based on the decoded block division information, and inversely quantizes and inversely orthogonalizes the orthogonal transformation/quantized residual signal of the determined decoding target block. It is supplied to the conversion unit 203.
  • the block division unit 202 recursively divides the image into rectangles of a predetermined size based on the decoded block division information, and generates a decoding target block.
  • the block division unit 202 divides the target block in the recursive division into four to generate four blocks, and the target block in the recursive division into two or three to generate two or three blocks. 2 to 3 division part. The detailed operation of the block division unit 202 will be described later.
  • the inverse quantization/inverse orthogonal transformation unit 203 obtains a residual signal by performing inverse quantization/inverse orthogonal transformation on the supplied orthogonal transformation/quantized residual signal. It is supplied to the decoded image signal superimposing unit 205.
  • the predicted image generation unit 204 generates a predicted image signal from the decoded image signal supplied from the decoded image memory 206 and supplies the predicted image signal to the decoded image signal superposition unit 205.
  • the decoded image signal superimposing unit 205 superimposes the predicted image signal generated by the predicted image generating unit 204 and the residual signal obtained by the inverse quantization/inverse orthogonal transform unit 203 to generate a decoded image signal. Further, the decoded image signal superimposing unit 205 stores the decoded image signal in the decoded image memory 206. Note that the decoded image signal superimposing unit 205 may perform filtering processing on the decoded image to reduce block distortion or the like due to encoding, and store the decoded image in the decoded image memory 206. Then, the decoded image signal superimposing unit 205 outputs the decoded image from the image decoding device 200.
  • FIG. 3 shows an operation in which the block dividing unit 101 divides an image into tree blocks and divides the inside into blocks.
  • the input image is divided into tree blocks of a predetermined size (S1000).
  • the tree block has 128 ⁇ 128 pixels.
  • the tree block is not limited to this size, and any size and aspect ratio may be used as long as it is a rectangle.
  • the size of the tree block may be predetermined between the encoding device and the decoding device.
  • the encoding device may determine the size of the tree block and record it in the encoded bit stream, and the decoding device may use the size of the tree block recorded in the encoded bit stream.
  • FIG. 4 shows how the input image is divided into tree blocks.
  • the tree blocks are encoded in raster scan order, left to right, top to bottom.
  • the inside of the tree block is further divided into rectangular blocks.
  • the inside of the tree block is encoded in the z-scan order shown in FIG.
  • the z-scan order indicates the order of upper left, upper right, lower left, lower right.
  • the division inside the tree block can be divided into four, two or three.
  • the block is divided into four parts by dividing the block into halves in the horizontal direction and the vertical direction to generate four blocks as shown in FIG. 6(a).
  • the block is divided into two or three parts by dividing it horizontally or vertically.
  • the block is divided in half as shown in FIG. 6B to generate two blocks.
  • the block is divided into 1:2:1 as shown in FIG. 6C to generate three blocks.
  • the block is vertically divided into two, as shown in FIG. 6D, the block is divided in half to generate two blocks.
  • the block is divided into three in the vertical direction, it is divided into 1:2:1 as shown in FIG. 6E, and three blocks are generated.
  • the operation of the block division unit 101 will be described with reference to FIG. 3 again. First, it is determined whether or not the inside of the tree block is divided into four in each of the horizontal direction and the vertical direction (S1001).
  • RD optimization Rate-Distortion Optimization
  • the coding cost is calculated from the code amount and the coding distortion.
  • the coding cost is calculated for each of the cases where the coding is performed under a plurality of conditions, and the case where the coding cost is minimized is selected. That is, the determination whether to divide the block into four is performed by calculating the coding cost when the block is divided into four and the coding cost when the block is not divided into four and selecting the case where the coding cost is the minimum. Done by doing.
  • a method other than RD optimization may be used to determine the optimum case from a plurality of conditions.
  • splitting direction is the vertical direction (S1004: YES)
  • S1005 it is determined whether or not the inside of the tree block is split into two
  • the block dividing process is terminated without re-dividing the inside of the block (S1111).
  • the process shown in the flowchart of FIG. 7 is recursively executed for each of the four divided blocks.
  • the inside of the block divided into four is encoded in the z-scan order.
  • the processing shown in the flowchart of FIG. 8 is recursively executed for each divided block in the case where the block is divided into two or three in the vertical direction.
  • the inside of the block divided into two or three is encoded in order from left to right.
  • the parent block does not have to be the tree block.
  • the above processing is applied to the division of the subdivided block.
  • the number of divisions may be set and the number of divisions may be limited. Further, the number of divisions may be set in advance between the encoding device and the decoding device. Further, the encoding device may determine the number of divisions and record it in the encoded bitstream, and the decoding device may use the number of divisions recorded in the encoded bitstream.
  • FIG. 9 shows the relationship with the picture boundary when the image is divided into tree blocks.
  • the tree block at the screen edge may include a part inside the screen and a part outside the screen with a picture boundary. is there.
  • Tree blocks 1001, 1002, 1003 are shown as tree blocks at the screen edge.
  • the part outside the screen beyond the picture boundary is treated as the same as the outermost pixel in the screen.
  • Pixels 1011 1012 1013 are shown as the outermost pixels in the screen.
  • the pixel 1011 is located in the tree block 1001 and is located at the upper rightmost position on the screen. A pixel on the right side of the pixel 1011 that is outside the screen and that exceeds the picture boundary is treated as the same as the pixel 1011.
  • the pixel 1012 is located in the tree block 1002, and is the pixel located at the bottom left on the screen. Pixels outside the screen that exceed the picture boundary below pixel 1012 are treated as the same as pixel 1012.
  • the pixel 1013 is in the tree block 1003 and is the pixel located at the bottom right of the screen. Pixels outside the screen that exceed the picture boundary on the right side, the lower side, and the lower right side of the pixel 1013 are treated as the same as the pixel 1013.
  • the block at the screen edge can be divided into an appropriate shape, and the coding efficiency can be improved.
  • Block division is restricted for all combinations of block divisions (S1301). All combinations of block divisions include 4 when the block is divided in the horizontal direction, 2 in the vertical direction, 3 in the horizontal direction, and 3 in the vertical direction. Is one. Further, whether or not to limit the block division is determined depending on whether or not the pixel at the position beyond the picture boundary is divided. For example, if a block is divided into two in the horizontal direction and a pixel at a position beyond the picture boundary is divided, the block is divided into two in the horizontal direction.
  • limiting the horizontal division of a block means prohibiting the horizontal division of the block.
  • limiting the division of the block in the vertical direction means prohibiting the division of the block in the vertical direction.
  • restricting the block from being divided into two means prohibiting the block from being divided into two.
  • limiting the division of the block into three means prohibiting the division of the block into three.
  • the block is vertically divided into two parts (S1308). On the other hand, if the block is not divided into three parts (S1306: NO), it is determined whether the block is divided into two parts (S1307).
  • the block When it is determined that the block is divided into two (S1307: YES), the block is vertically divided into two (S1308). On the other hand, when it is determined that the block is divided into three (S1307: NO), the block is divided into three in the vertical direction (S1309).
  • the block is divided into three parts (S1310: YES), the block is divided into two parts in the horizontal direction (S1312). On the other hand, when the block is not divided into three parts (S1310: NO), it is determined whether the block is divided into two parts (S1311).
  • FIG. 12A shows a state in which the tree block includes a part inside the screen and a part outside the screen with a picture boundary. At this time, when the tree block is divided by all the combinations, it is determined whether or not the block division is limited (S1301).
  • Fig. 12(a) to Fig. 12(d) show the case where the tree block is divided by all combinations.
  • FIG. 12A when a block is divided into two in the vertical direction, pixels at positions beyond the picture boundary are divided, so this block division is limited.
  • FIG. 12B when the block is vertically divided into three as shown in FIG. 12B, pixels at positions beyond the picture boundary are divided, and thus this block division is limited.
  • FIG. 12C when the block is divided into two in the horizontal direction as shown in FIG. 12C, pixels at positions beyond the picture boundary are not divided, so this block division is not limited.
  • FIG. 12D when the block is horizontally divided into three as shown in FIG. 12D, pixels at positions beyond the picture boundary are not divided, and thus this block division is not limited.
  • block division is not limited in all combinations of block divisions (S1302: NO). Further, the block division in the horizontal direction is not limited (S1303: NO), and the block division in the vertical direction is limited (S1304: YES). Then, the block is not divided into three parts (S1310: NO). Therefore, it is determined whether or not the block is divided into two (S1311). If it is determined that the block is divided into two (S1311: YES), the block is divided into two in the horizontal direction (S1312).
  • the block will have an appropriate shape. This is because the pixel value of the portion outside the screen is constant in the block including the pixels outside the screen. Therefore, the change in the pixel value of the portion of the block within the screen is relatively small compared to the block that does not include the pixel outside the screen. Therefore, it is less necessary to code the fine pixel changes. Therefore, it is possible to reduce the code amount and improve the coding efficiency by making the pixels outside the screen into blocks that are arranged as much as possible.
  • FIGS. 12E to 12H show the case where the tree block is divided in all the combinations. At this time, when the block is divided into two in the horizontal direction as shown in FIG. 12(e), pixels at positions beyond the picture boundary are divided. Further, as shown in FIG. 12(f), when the block is horizontally divided into three, pixels at positions beyond the picture boundary are divided. Therefore, these block divisions are limited. Due to the restriction of block division, the coding efficiency can be improved.
  • the block division unit 202 divides the block according to the same processing procedure as the block division unit 101 in the image encoding device 100 described above.
  • the block division unit 101 selects a block division pattern and outputs the selected block division information.
  • the block division unit 202 divides a block using the block division information decoded from the encoded bitstream.
  • the restriction of block division is the same as that of the image encoding device 100 described above.
  • FIG. 13 shows a syntax (syntax rule of coded bitstream) related to block division according to the first embodiment.
  • QT() represents the syntax for the block 4-division processing
  • MTT() represents the syntax for the block 2-division or 3-division processing.
  • the image coding apparatus 100 codes according to this syntax, and the image decoding apparatus 200 decodes according to this syntax.
  • QTflag indicates whether or not the block is divided into four.
  • QTvalid indicates whether each block divided into four can be further divided into four.
  • MTTvalid indicates whether each block divided into two or three can be further divided into two or three.
  • the depth of block division will be explained.
  • the first two-division processing or three-division processing is defined as a depth of 0.
  • the second division or division into the blocks divided by the first division into two or three divisions is defined as a depth 1
  • each block divided by the division into the second division or division into the second division is performed.
  • the third two-division or three-division processing is defined as the depth 2, and the depth is defined in the same manner below.
  • the depth that limits the block division is determined in advance, and this is defined as the limited depth.
  • the block division is limited.
  • FIG. 12A shows a state in which the tree block includes a part inside the screen and a part outside the screen with a picture boundary.
  • the depth is 0 and has not reached the limit depth of 1 (S1401: NO). Therefore, it is determined that the block division is not limited (S1402).
  • the left block is divided into two or three among the vertically divided blocks.
  • the depth is 1, and the limit depth of 1 is reached (S1401: YES). Therefore, it is determined whether or not block division is restricted for all combinations of block division (S1301).
  • Fig. 15(a) to Fig. 15(d) show the case where the block is divided into all combinations.
  • FIG. 15A when a block is divided into two in the vertical direction, pixels at positions beyond the picture boundary are divided, so this block division is limited.
  • FIG. 15B when a block is vertically divided into three, pixels at positions beyond the picture boundary are divided, so this block division is limited.
  • FIG. 15C when the block is horizontally divided into two as shown in FIG. 15C, pixels at positions beyond the picture boundary are not divided. Therefore, this block division is not limited.
  • FIG. 15D pixels at positions beyond the picture boundary are not divided, and thus this block division is not limited.
  • block division is not limited in all combinations of block divisions (S1302: NO). Further, the block division in the horizontal direction is not limited (S1303: NO), and the block division in the vertical direction is limited (S1304: YES). Then, the block is not divided into three parts (S1310: NO). Therefore, it is determined whether or not the block is divided into two (S1311). If it is determined that the block is divided into two (S1311: YES), the block is divided into two in the horizontal direction (S1312).
  • the blocks will have an appropriate size and shape. This is because the pixel value of the portion outside the screen is constant in the block including the pixels outside the screen. Therefore, the change in the pixel value of the portion of the block within the screen is relatively small compared to the block that does not include the pixel outside the screen. Therefore, it is less necessary to code the fine pixel changes. Therefore, it is possible to reduce the code amount and improve the coding efficiency by making the pixels outside the screen into blocks that are arranged as much as possible.
  • This block division restriction is the same at the right edge of the screen.
  • the depth is 0 and the limit depth 1 is not reached. Therefore, the block division is not limited and is divided into two or three.
  • the depth is 1 and the limit depth 1 is reached, so it is determined whether or not the block division is limited. Then, when the block is divided into two in the horizontal direction and when the block is divided into three in the horizontal direction, the pixel at the position beyond the picture boundary is divided. Therefore, these block divisions are limited. Due to the restriction of block division, the coding efficiency can be improved.
  • the block division depth is defined for two divisions or three divisions. This may be defined for 4 divisions.
  • the block division is limited by the depth of the block division. This may be limited by the number or ratio of pixels at positions beyond the picture boundary included in the block. That is, when these values are larger than the predetermined value, the block division is limited. In addition, these values may be different depending on the depth of block division. As a result, a block having a small number or a large proportion of pixels outside the screen is divided, and a block having a large number or large proportion of pixels outside the screen is not divided.
  • the encoding device records values for the block division limit, such as the depth limit of block division and the number and ratio of pixels at positions beyond the picture boundary included in the block, in the encoding bit stream, and the decoding device
  • the configuration recorded value may be used in the encoded bitstream.
  • block division is limited regardless of the depth of block division.
  • block division is limited according to the depth of block division. As a result, a block with a small percentage of pixels outside the screen is divided, and a block with a large percentage of pixels outside the screen is not divided. Therefore, the block at the screen edge can be divided into an appropriate size and shape, and the coding efficiency can be improved. Further, it is possible to perform block division suitable for image encoding and decoding.
  • the control of block division is applied when the block is divided into two or three at the screen edge. That is, the two-division or three-division processing (S1004 to S1010) in FIG. 3 is replaced by the processing described below. Further, the two-division processing or the three-division processing (S1104 to S1110) in FIG. 7 is replaced by the processing described below. Further, the processing of two divisions or three divisions (S1202 to S1208) in FIG. 8 is replaced by the processing described below.
  • All combinations of block divisions include 4 when the block is divided in the horizontal direction, 2 in the vertical direction, 3 in the horizontal direction, and 3 in the vertical direction. Is one.
  • the division direction that maximizes the number of pixels at the position beyond the picture boundary is determined (S1602).
  • S1603 If it is determined to divide into two (S1603: YES), it is divided into two in the dividing direction determined in S1602 (S1604). On the other hand, when it is determined that the image is divided into three (S1603: NO), the image is divided into three in the dividing direction determined in S1602 (S1605).
  • the direction of block division is controlled so that the number of pixels that exceed the picture boundary is included in the block.
  • the image has 1920 ⁇ 1080 pixels and the tree block has 128 ⁇ 128 pixels. Further, the tree block is not divided into four (S1101: NO), but the inside of the block is divided into two or three (S1103: YES). Then, as shown in FIG. 17A, 72 pixels are present in the vertical direction at the lower end of the screen beyond the picture boundary. At this time, when the tree block is divided into all combinations, the number of pixels at the position beyond the picture boundary in each block is counted (S1601).
  • Fig. 17(a) to Fig. 17(d) show the case where the tree block is divided into all combinations.
  • the left side (500) and the right side (501) of the divided block each have 4608 pixels.
  • the block is horizontally divided into two as shown in FIG. 17B
  • the upper side (510) of the divided block has 1024 pixels and the lower side (511) has 8192 pixels. That is, the maximum number of pixels at the position beyond the picture boundary is the lower 8192 pixels in the case of horizontal division. Therefore, the division direction in which the number of pixels is maximum is the horizontal direction (S1602).
  • the left side (520) and the right side (522) of the divided block are 2304 pixels respectively, and the center (521) is 4608 pixels. Is.
  • the block is horizontally divided into three as shown in FIG. 17D, the upper side of the divided block has 0 pixels, the center (531) has 5120 pixels, and the lower side (532) has 4096 pixels. That is, the maximum number of pixels at the position beyond the picture boundary is 5120 pixels at the center when dividing in the horizontal direction. Therefore, the division direction in which the number of pixels is maximum is the horizontal direction (S1602).
  • the direction of block division is controlled so that the number of pixels at the position beyond the picture boundary is included in the block. This is because, in a block including pixels outside the screen, the pixel value in the portion outside the screen is constant, and therefore it is not necessary to code a fine pixel change. Therefore, it is possible to reduce the code amount and improve the coding efficiency by making such a pixel into one block as much as possible.
  • the number of block divisions may be determined in addition to the block division direction.
  • the maximum number of pixels at the position beyond the picture boundary is 8192 pixels in the case of 2-division and 5120 pixels in the case of 3-division. In other words, a large number of pixels at positions beyond the picture boundary are included in the block when the block is divided into two, so the block is divided into two.
  • the block is divided at a position closer to the end of the block when dividing into three, compared to when dividing into two.
  • the three-part division tends to have a smaller number of pixels at positions beyond the picture boundary than the two-part division. Therefore, it is possible to determine the direction in which the block is divided into two, instead of dividing the block into three at the screen edge. As a result, the processing for dividing the block into three parts can be reduced, and the block dividing process can be speeded up.
  • the control of block division is applied when the block is divided into two or three at the screen edge. That is, the two-division or three-division processing (S1004 to S1010) in FIG. 3 is replaced by the processing described below. Further, the two-division processing or the three-division processing (S1104 to S1110) in FIG. 7 is replaced by the processing described below. Further, the processing of two divisions or three divisions (S1202 to S1208) in FIG. 8 is replaced by the processing described below.
  • All combinations of block divisions are two, that is, a block is divided into two in the horizontal direction and a block is divided into two in the vertical direction.
  • the division direction that maximizes the number of pixels at the position beyond the picture boundary is determined (S1652). Then, the block is divided into two in the determined division direction (S1654).
  • the syntax for block division according to the present embodiment has a form in which vertical_flag in FIG. 13 is omitted. This is because the direction of block division is controlled in the present embodiment, and vertical_flag is unnecessary. Further, in the present embodiment, the number of blocks to be divided may be determined, or the block may not be divided into three. In that case, the BTflag is not necessary, so it may be omitted.
  • the syntax regarding block division according to the present embodiment may be the same as that in FIG.
  • the direction of block division is controlled by the number of pixels at the position beyond the picture boundary.
  • the direction of block division may be controlled by the ratio of pixels at positions beyond the picture boundary.
  • the block at the edge of the screen can be divided into an appropriate size and shape, and the coding efficiency can be improved. Further, it is possible to perform block division suitable for image encoding and decoding.
  • FIGS. 19(a) to 19(d) the patterns in which the picture boundaries are different from those in FIG. 12 are shown in FIGS. 19(a) to 19(d).
  • the picture boundary in FIG. 19A is located above FIG. 12C.
  • the picture boundary in FIG. 19B is located above that in FIG. 12D.
  • the picture boundaries in FIGS. 19C and 19D are located to the left of FIGS. 12G and 12H.
  • FIG. 19(a) and FIG. 19(b) are horizontal divisions. However, when the pixel is divided into two, the pixels at the positions exceeding the picture boundary are not divided, and when the pixel is divided into three, the pixels at the positions exceeding the picture boundary are divided. That is, the block division is limited only when it is divided into three.
  • FIG. 19(c) and FIG. 19(d) are vertical divisions. However, when the pixel is divided into two, the pixels at the positions exceeding the picture boundary are not divided, and when the pixel is divided into three, the pixels at the positions exceeding the picture boundary are divided. That is, the block division is limited only when it is divided into three.
  • the judgment to limit the block division is divided into 2 divisions and 3 divisions. This is because the block is divided at a position closer to the end of the block in the third division than in the second division.
  • the three divisions tend to divide pixels at positions beyond the picture boundary from the two divisions. Therefore, it is possible to determine whether or not to limit the direction in which the block is divided into two, instead of dividing the block into three at the screen edge. As a result, the processing for dividing the block into three parts can be reduced, and the block dividing process can be speeded up.
  • FIG. 20 shows a form in which some processing is omitted from FIG. 11. Therefore, the same step numbers as in FIG.
  • All combinations of block divisions are two, namely, a case where the block is divided in the horizontal direction and a case where the block is divided in the vertical direction. Further, whether or not to limit the block division is determined depending on whether or not the pixel at the position beyond the picture boundary is divided. For example, if a block is divided into two in the horizontal direction and a pixel at a position beyond the picture boundary is divided, the block is divided into two in the horizontal direction.
  • the processing after S1302 is the same as that in FIG. 11 except that the processing for three divisions is eliminated, and therefore the description thereof is omitted.
  • the block at the edge of the screen can be divided into an appropriate size and shape, and the coding efficiency can be improved. Further, it is possible to perform block division suitable for image encoding and decoding.
  • the tree block at the screen edge may include a part inside the screen and a part outside the screen with a picture boundary.
  • the off-screen portion included by the tree block 1003 at the lower right end of the screen tends to be larger than the off-screen portion included by the tree block 1001 at the right end of the screen and the tree block 1002 at the lower end of the screen. Therefore, there is a lot of room for improving the coding efficiency due to the restriction of block division.
  • the block division is limited in the divided blocks included in the tree block.
  • All combinations of block divisions are two, namely, a case where the block is divided in the horizontal direction and a case where the block is divided in the vertical direction. Further, whether or not to limit the block division is determined depending on whether or not the pixel at the position beyond the picture boundary is divided. For example, if a block is divided into two in the horizontal direction and a pixel at a position beyond the picture boundary is divided, the block is divided into two in the horizontal direction.
  • FIG. 21A and 21B show all combinations of block divisions in the tree block at the lower right corner of the screen.
  • FIG. 21(a) and FIG. 21(b) pixels at positions beyond the picture boundary are divided. If the block division is limited for all combinations (S1302: YES), the block is not divided (S1314).
  • 21C is an example in which a tree block is divided into four at the same picture boundary as FIG. 21A.
  • Each block divided into four is set as blocks 601, 602, 603, and 604 in the z-scan order. Each step of block division will be described with reference to FIG.
  • 21(c) is divided into blocks by the following steps. First, in the process of FIG. 3, the image is divided into tree blocks (S1000), it is determined that the inside of the tree block is divided into four (S1001: YES), and the tree block is divided into four (S1002). The processing of FIG. 7 is performed for each of the blocks 601, 602, 603, 604 divided into four.
  • FIG. 7 it is determined that the inside of the divided block is not divided into four again (S1101: NO), and the inside of the block is divided into two or three (S1103: YES).
  • the two-division or three-division processing (S1104 to S1110) in FIG. 7 is replaced by the processing in FIG.
  • 21D is an example in which the tree block is divided into four at a picture boundary different from that in FIG. This example shows a complicated block division combining the above-described embodiments.
  • blocks 602 and 603 are further divided into blocks.
  • S1002 the tree block is divided into four
  • each step of block division will be described for each of the four divided blocks 601, 602, 603 and 604.
  • a block 601 performs the processing of FIG. In FIG. 7, it is determined that the inside of the divided block is not divided into four again (S1101: NO), and it is determined that the inside of the block is not divided into two or three (S1103: NO).
  • the block 601 ends the block division processing without re-dividing the inside thereof (S1111).
  • the block 602 performs the processing of FIG. In FIG. 7, it is determined that the inside of the divided block is not divided into four again (S1101: NO), and it is determined that the inside of the block is divided into two or three (S1103: YES).
  • the two-division or three-division processing (S1104 to S1110) in FIG. 7 is replaced by the processing in FIG.
  • a block 603 performs the processing of FIG. In FIG. 7, it is determined that the inside of the divided block is not divided into four again (S1101: NO), and it is determined that the inside of the block is divided into two or three (S1103: YES). The processing of two divisions or three divisions (S1104 to S1110) in FIG. 7 is replaced with the processing of FIG.
  • the number of pixels at positions beyond the picture boundary is counted for all combinations of block divisions (S1651). All combinations of block divisions are two, that is, a block is divided into two in the horizontal direction and a block is divided into two in the vertical direction.
  • the maximum number of pixels at the position beyond the picture boundary is in the case of horizontal division. Therefore, when the block is divided into two, the division direction that maximizes the number of pixels at the position beyond the picture boundary is determined as the horizontal direction (S1652). Then, the block is divided into two in the determined division direction (S1654). Eventually, the block 603 is horizontally divided by the division 623.
  • the block 604 performs the processing of FIG. In FIG. 7, it is determined that the inside of the divided block is not divided into four again (S1101: NO), and it is determined that the inside of the block is divided into two or three (S1103: YES).
  • the two-division or three-division processing (S1104 to S1110) in FIG. 7 is replaced by the processing in FIG.
  • the block at the edge of the screen can be divided into an appropriate size and shape, and the coding efficiency can be improved. Further, it is possible to perform block division suitable for image encoding and decoding.
  • the target for controlling block division is at a position beyond the picture boundary.
  • an arbitrary boundary may be defined and the block division may be controlled for the position beyond that.
  • a pixel having a higher degree of importance than surrounding pixels may be set as an arbitrary boundary, and block division may be controlled at a position beyond the boundary.
  • the position beyond the arbitrary boundary is not limited to the lower end or the right end of the screen, but may be the upper end or the left end of the screen, or need not be the end. In that case, the block can be divided into appropriate sizes and shapes even at the screen edge, and the coding efficiency can be improved.
  • the encoded bitstream output by the image encoding device has a specific data format so that the encoded bitstream can be decoded according to the encoding method used in the embodiments. is doing.
  • the encoded bitstream may be provided by being recorded in a computer-readable recording medium such as an HDD, SSD, flash memory, or optical disk, or may be provided from a server through a wired or wireless network. Therefore, the image decoding device corresponding to this image coding device can decode the coded bit stream of this specific data format regardless of the providing means.
  • the coded bitstream is converted into a data format suitable for the transmission mode of the communication path. It may be transmitted.
  • the encoded bit stream output by the image encoding device is converted into encoded data in a data format suitable for the transmission mode of the communication path and is transmitted to the network, and the encoded data is received from the network.
  • a receiving device that restores the encoded bitstream and supplies the encoded bitstream to the image decoding device is provided.
  • the transmission device includes a memory for buffering the encoded bitstream output from the image encoding device, a packet processing unit for packetizing the encoded bitstream, and a transmission unit for transmitting packetized encoded data via a network.
  • a packet processing unit for packetizing the encoded bitstream
  • a transmission unit for transmitting packetized encoded data via a network.
  • the receiving device receives a packetized encoded data via a network, a memory for buffering the received encoded data, packetizing the encoded data to generate an encoded bitstream, And a packet processing unit provided to the image decoding apparatus.
  • the encoded data transmitted by the transmitting device is also transmitted.
  • a relay device that receives and supplies to the receiving device may be provided.
  • the relay device includes a receiving unit that receives the packetized encoded data transmitted by the transmitting device, a memory that buffers the received encoded data, and a transmitting unit that transmits the packetized encoded data and the network. Including. Further, the relay device packetizes the packetized coded data to generate a coded bitstream, a recording medium that stores the coded bitstream, and packetizes the coded bitstream.
  • a transmission packet processing unit may be included.
  • a display unit may be added by adding a display unit for displaying the image decoded by the image decoding device to the configuration.
  • the display unit reads the decoded image signal generated by the decoded image signal superimposing unit 205 and stored in the decoded image memory 206, and displays it on the screen.
  • an image pickup unit may be added to the configuration, and the picked-up image may be input to the image coding device to be used as an image pickup device.
  • the imaging unit inputs the captured image signal to the block division unit 101.
  • FIG. 22 shows an example of the hardware configuration of the encoding/decoding device of the present application.
  • the encoding/decoding device includes the configurations of the image encoding device and the image decoding device according to the embodiment of the present invention.
  • the encoding/decoding device 9000 includes a CPU 9001, a codec IC 9002, an I/O interface 9003, a memory 9004, an optical disk drive 9005, a network interface 9006, and a video interface 9009, and each unit is connected by a bus 9010.
  • the image encoding unit 9007 and the image decoding unit 9008 are typically implemented as a codec IC 9002.
  • the image coding process of the image coding device according to the embodiment of the present invention is executed by the image coding unit 9007, and the image decoding process of the image decoding device according to the embodiment of the present invention is performed by the image coding unit 9007.
  • the I/O interface 9003 is realized by a USB interface, for example, and is connected to an external keyboard 9104, mouse 9105, and the like.
  • the CPU 9001 controls the encoding/decoding device 9000 to execute an operation desired by the user based on the user operation input via the I/O interface 9003.
  • the user's operations with the keyboard 9104, mouse 9105, etc. include selection of which function of encoding or decoding is to be executed, encoding quality setting, input/output destination of encoded stream, image input/output destination, and the like. ..
  • the optical disc drive 9005 When the user desires an operation of reproducing the image recorded on the disc recording medium 9100, the optical disc drive 9005 reads the encoded bitstream from the inserted disc recording medium 9100, and outputs the read encoded stream to the bus 9010. To the image decoding unit 9008 of the codec IC 9002. The image decoding unit 9008 executes image decoding processing in the image decoding apparatus according to the embodiment of the present invention on the input coded bitstream, and sends the decoded image to the external monitor 9103 via the video interface 9009.
  • the encoding/decoding device 9000 has a network interface 9006 and can be connected to an external distribution server 9106 and a mobile terminal 9107 via the network 9101.
  • the network interface 9006 sets the input from the input disk recording medium 9100. Instead of reading the encoded bitstream, the encoded stream is acquired from the network 9101.
  • the image decoding process in the image decoding apparatus according to the embodiment of the present invention is performed on the encoded stream recorded in the memory 9004. Run.
  • the video interface 9009 inputs the image from the camera 9102, and via the bus 9010, the image encoding unit 9007 of the codec IC 9002. Send to.
  • the image encoding unit 9007 executes an image encoding process in the image encoding device according to the embodiment of the present invention on an image input via the video interface 9009 to create an encoded bitstream. Then, the encoded bit stream is sent to the memory 9004 via the bus 9010.
  • the optical disc drive 9005 writes the encoded stream to the inserted disc recording medium 9100.
  • Such a hardware configuration is realized, for example, by replacing the codec IC 9002 with the image encoding unit 9007 or the image decoding unit 9008.
  • the above-described processing relating to encoding and decoding may be realized as a transmission, storage, and reception device using hardware, or may be stored in a ROM (read only memory), a flash memory, or the like. It may be realized by existing firmware or software such as a computer.
  • the firmware program or software program may be provided by being recorded in a recording medium readable by a computer or the like, provided from a server through a wired or wireless network, or terrestrial or satellite digital broadcasting data broadcasting. May be provided as.
  • the present invention can be used for a technique of encoding and decoding an image.
  • image coding device 101 block division unit, 102 prediction image generation unit, 103 residual signal generation unit, 104 orthogonal transformation/quantization unit, 105 coding unit, 106 inverse quantization/inverse orthogonal transformation unit, 107 decoded image Signal superposition unit, 108 decoded image memory, 200 image decoding device, 201 decoding unit, 202 block division unit, 203 dequantization/inverse orthogonal transformation unit, 204 prediction image generation unit, 205 decoded image signal superposition unit, 206 decoding Image memory.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

ブロック分割部は、再帰的分割における対象ブロックを水平方向と垂直方向とを各々半分に４分割して４つのブロックを生成する４分割部と、再帰的分割における対象ブロックを水平方向または垂直方向に２分割または３分割して２つまたは３つのブロックを生成する２－３分割部とを含み、２－３分割部は、対象ブロックを水平方向に分割したとすると、分割された対象ブロックがピクチャ境界の右側を超える場合は、対象ブロックを水平方向に分割することを禁止し、対象ブロックを垂直方向に分割したとすると、分割された対象ブロックがピクチャ境界の下側を超える場合は、対象ブロックを垂直方向に分割することを禁止する。

Description

画像復号化装置、画像復号化方法及び画像復号化プログラム
　本発明は、分割されたブロック単位で画像の符号化及び復号化を行う技術に関する。
　画像の符号化及び復号化では、所定数の画素の集合であるブロックに画像を分割し、ブロック単位で処理をする。その際、適切なブロック単位で分割することにより、イントラ予測、インター予測、直交変換、エントロピー符号化、等の効率が向上し、結果として符号化効率が向上する。
特表２０１５－５２６００８号公報
JVET, Versatile Video Coding (Draft 2), July 2018
　適切な大きさ及び形状でブロックを分割しなければ、符号化効率が低下する。特に、画面端において、ピクチャ境界を超える位置の画素を含むブロックが不適切な大きさ及び形状となり、符号化効率が低下していた。
　本発明はこうした状況に鑑みてなされたものであり、その目的は、画像符号化及び復号化に適したブロック分割を行うことにより、符号化効率を向上させる技術を提供することにある。
　上記課題を解決するための、本発明のある態様は、画像復号化装置である。この装置は、分割されたブロック単位で画像の復号化を行う画像復号化装置であって、対象ブロックのブロック分割情報を復号化する復号化部（２０１）と、前記ブロック分割情報に基づいて所定サイズの矩形に再帰的に前記画像を分割して前記対象ブロックを生成するブロック分割部（２０２）とを備える。前記ブロック分割部は、再帰的分割における前記対象ブロックを水平方向と垂直方向とを各々半分に４分割して４つのブロックを生成する４分割部と、再帰的分割における前記対象ブロックを水平方向または垂直方向に２分割または３分割して２つまたは３つのブロックを生成する２－３分割部とを含む。前記２－３分割部は、前記対象ブロックを水平方向に分割したとすると、分割された前記対象ブロックがピクチャ境界の右側を超える場合は、前記対象ブロックを水平方向に分割することを禁止し、前記対象ブロックを垂直方向に分割したとすると、分割された前記対象ブロックがピクチャ境界の下側を超える場合は、前記対象ブロックを垂直方向に分割することを禁止する。
　本発明のさらに別の態様は、画像復号化装置である。この装置は、分割されたブロック単位で画像の復号化を行う画像復号化装置であって、対象ブロックのブロック分割情報を復号化する復号化部（２０１）と、前記ブロック分割情報に基づいて所定サイズの矩形に再帰的に前記画像を分割して前記対象ブロックを生成するブロック分割部とを備える。前記ブロック分割部（２０２）は、再帰的分割における前記対象ブロックを水平方向と垂直方向とを各々半分に４分割して４つのブロックを生成する４分割部と、再帰的分割における前記対象ブロックを水平方向または垂直方向に２分割または３分割して２つまたは３つのブロックを生成する２－３分割部とを含む。前記２－３分割部は、前記対象ブロックをいずれかの方向に分割したとすると、分割された前記対象ブロックがピクチャ境界を超える場合、かつブロック分割の深度が予め定められた制限深度に達した場合、あるいは分割するブロックに含まれるピクチャ境界を超えた位置の画素の数または割合が予め定められた値より大きい場合、その方向のブロック分割を禁止する。
　本発明のさらに別の態様は、画像復号化装置である。この装置は、分割されたブロック単位で画像の復号化を行う画像復号化装置であって、対象ブロックのブロック分割情報を復号化する復号化部（２０１）と、前記ブロック分割情報に基づいて所定サイズの矩形に再帰的に前記画像を分割して前記対象ブロックを生成するブロック分割部（２０２）とを備える。前記ブロック分割部は、再帰的分割における前記対象ブロックを水平方向と垂直方向とを各々半分に４分割して４つのブロックを生成する４分割部と、再帰的分割における前記対象ブロックを水平方向または垂直方向に２分割または３分割して２つまたは３つのブロックを生成する２－３分割部とを含む。前記２－３分割部は、前記対象ブロックを分割したとすると、ピクチャ境界を超える位置の画素が、分割された前記対象ブロック内に最も多く含まれるように前記対象ブロックの分割方向を決定する。
　本発明のさらに別の態様は、画像復号化方法である。この方法は、分割されたブロック単位で画像の復号化を行う画像復号化方法であって、対象ブロックのブロック分割情報を復号化する復号化ステップと、前記ブロック分割情報に基づいて所定サイズの矩形に再帰的に前記画像を分割して前記対象ブロックを生成するブロック分割ステップとを備える。前記ブロック分割ステップは、再帰的分割における前記対象ブロックを水平方向と垂直方向とを各々半分に４分割して４つのブロックを生成する４分割ステップと、再帰的分割における前記対象ブロックを水平方向または垂直方向に２分割または３分割して２つまたは３つのブロックを生成する２－３分割ステップとを含む。前記２－３分割ステップは、前記対象ブロックを水平方向に分割したとすると、分割された前記対象ブロックがピクチャ境界の右側を超える場合は、前記対象ブロックを水平方向に分割することを禁止し、前記対象ブロックを垂直方向に分割したとすると、分割された前記対象ブロックがピクチャ境界の下側を超える場合は、前記対象ブロックを垂直方向に分割することを禁止する。
　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
　本発明によれば、画像の符号化及び復号化に適したブロック分割が可能になり、符号化効率を向上させることができる。
第１の実施の形態に係る画像符号化装置のブロック図である。 第１の実施の形態に係る画像復号化装置のブロック図である。 ツリーブロックへの分割及びツリーブロック内部の分割を説明するフローチャートである。 入力された画像をツリーブロックに分割する様子を示す図である。 ｚ－スキャンを説明する図である。 ツリーブロックの分割を説明する図である。 ツリーブロックを４分割した場合の、分割された各ブロックの処理を説明するフローチャートである。 ツリーブロックを２分割または３分割した場合の、分割された各ブロックの処理を説明するフローチャートである。 ツリーブロックとピクチャ境界の関係を示す図である。 ピクチャ境界と画素の関係を示す図である。 第１の実施の形態におけるブロック分割を説明するフローチャートである。 第１の実施の形態におけるブロック分割を示す図である。 第１の実施の形態において、ブロック分割に関するシンタックスを示す図である。 第２の実施の形態におけるブロック分割を説明するフローチャートである。 第２の実施の形態におけるブロック分割を示す図である。 第３の実施の形態におけるブロック分割を説明するフローチャートである。 第３の実施の形態におけるブロック分割を示す図である。 第３の実施の形態におけるブロック分割を説明するフローチャートである。 第４の実施の形態におけるブロック分割を示す図である。 第４の実施の形態におけるブロック分割を説明するフローチャートである。 第５の実施の形態におけるブロック分割を示す図である。 第１の実施の形態の符号化復号装置のハードウェア構成の一例を説明するための図である。
　本発明の実施の形態は、分割されたブロック単位で画像を符号化、復号化する技術を提供する。
（第１の実施の形態）
　本発明の第１の実施の形態に係る画像符号化装置１００及び画像復号化装置２００について説明する。第１の実施の形態では、ブロックを２分割または３分割する際に、ブロック分割を制限する。
　図１は、第１の実施の形態に係る画像符号化装置１００のブロック図である。図１は、画像信号に関するデータの流れのみを表しており、動きベクトルや予測モードなどの画像信号以外の付加情報に関するデータの流れは図示していない。画像符号化装置１００には、少なくとも画面１枚分の画像信号が入力される。
　ブロック分割部１０１は、符号化の処理単位となる符号化対象ブロックに画像を分割し、符号化対象ブロック内の画像信号を残差信号生成部１０３に供給する。また、ブロック分割部１０１は、予測画像の一致度を評価するために、符号化対象ブロックの画像信号を予測画像生成部１０２に供給する。
　ブロック分割部１０１は、所定サイズの矩形に再帰的に画像を分割して、符号化対象ブロックを生成する。ブロック分割部１０１は、再帰的分割における対象ブロックを４分割して４つのブロックを生成する４分割部と、再帰的分割における対象ブロックを２分割または３分割して２つまたは３つのブロックを生成する２－３分割部とを含む。ブロック分割部１０１の詳細の動作については後述する。
　予測画像生成部１０２は、ブロック分割部１０１から符号化対象ブロックの画像信号と、復号画像メモリ１０８から復号画像信号とが供給される。予測画像生成部１０２は供給される信号を用いて、予測モードに基づくイントラ予測（画面内予測）やインター予測（画面間予測）を行い、予測画像信号を生成する。イントラ予測では、符号化対象ブロックと同じピクチャ（符号化ピクチャ）における、符号化対象ブロックに近接する符号化済みブロックの画像信号が、復号画像メモリ１０８から予測画像生成部１０２に供給される。そして、予測画像生成部１０２は、この画像信号とブロック分割部１０１から供給される符号化対象ブロックの画像信号とを用いて、予測画像信号を生成する。インター予測では、符号化ピクチャに対して時系列で前または後ろにある符号化済みピクチャ（参照画像）の画像信号が、復号画像メモリ１０８から予測画像生成部１０２に供給される。そして、予測画像生成部１０２は、この画像信号とブロック分割部１０１から供給される符号化対象ブロックとを用いて、ブロックマッチング等により一致度を評価して、動き量を示す動きベクトルを求める。予測画像生成部１０２は、この動きベクトルを基に参照画像から動き補償をして、予測画像信号を生成する。予測画像生成部１０２は、こうして生成された予測画像信号を残差信号生成部１０３に供給する。
　残差信号生成部１０３は、符号化する画像信号と予測画像生成部１０２にて生成された予測信号とを減算して残差信号を生成し、直交変換・量子化部１０４に供給する。
　直交変換・量子化部１０４は、残差信号生成部１０３から供給される残差信号を直交変換・量子化する。直交変換・量子化部１０４は、直交変換・量子化された残差信号を符号化部１０５及び逆量子化・逆直交変換部１０６に供給する。
　符号化部１０５は、直交変換・量子化部１０４から供給される直交変換・量子化された残差信号に対応する符号化ビットストリームを生成する。また、符号化部１０５は、各構成要素から供給された動きベクトルや予測モード、ブロック分割情報などの付加情報について、対応する符号化ビットストリームを生成する。そして、符号化部１０５は、符号化ビットストリームを画像符号化装置１００から出力する。
　逆量子化・逆直交変換部１０６は、直交変換・量子化部１０４から供給される直交変換・量子化された残差信号を逆量子化・逆直交変換して、残差信号を得る。逆量子化・逆直交変換部１０６は、残差信号を復号画像信号重畳部１０７に供給する。
　復号画像信号重畳部１０７は、予測画像生成部１０２により生成された予測画像信号と逆量子化・逆直交変換部１０６で得られた残差信号とを重畳して復号画像を生成し、復号画像メモリ１０８に格納する。なお、復号画像信号重畳部１０７は、復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施して、復号画像メモリ１０８に格納してもよい。
　図２は、実施の形態１に係る画像復号化装置２００のブロック図である。図２は、画像信号に関するデータの流れのみを表しており、動きベクトルや予測モードなどの画像信号以外の付加情報に関するデータの流れは図示していない。画像復号化装置２００には、符号化ビットストリームが入力される。
　復号化部２０１は、供給された符号化ビットストリームを復号化して、直交変換・量子化された残差信号をブロック分割部２０２に供給する。また、復号化部２０１は、動きベクトルや予測モード、ブロック分割情報などの付加情報を各構成要素に供給して、付加情報と対応する処理に用いる。
　ブロック分割部２０２は、復号化したブロック分割情報に基づいて復号化対象ブロックの形状を決定し、決定された復号化対象ブロックの直交変換・量子化された残差信号を逆量子化・逆直交変換部２０３に供給する。
　ブロック分割部２０２は、復号化されたブロック分割の情報に基づいて、所定サイズの矩形に再帰的に画像を分割して、復号化対象ブロックを生成する。ブロック分割部２０２は、再帰的分割における対象ブロックを４分割して４つのブロックを生成する４分割部と、再帰的分割における対象ブロックを２分割または３分割して２つまたは３つのブロックを生成する２－３分割部とを含む。ブロック分割部２０２の詳細の動作については後述する。
　逆量子化・逆直交変換部２０３は、供給される直交変換・量子化された残差信号を逆量子化・逆直交変換して、残差信号を得る。それを復号画像信号重畳部２０５に供給する。
　予測画像生成部２０４は、復号画像メモリ２０６から供給される復号画像信号から予測画像信号を生成し、復号画像信号重畳部２０５に供給する。
　復号画像信号重畳部２０５は、予測画像生成部２０４で生成された予測画像信号と、逆量子化・逆直交変換部２０３で得られた残差信号とを重畳して復号画像信号を生成する。また、復号画像信号重畳部２０５は、復号画像信号を復号画像メモリ２０６に格納する。なお、復号画像信号重畳部２０５は、復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施して、復号画像メモリ２０６に格納してもよい。そして、復号画像信号重畳部２０５は、復号画像を画像復号化装置２００から出力する。
　次に、画像符号化装置１００におけるブロック分割部１０１の動作について、図３を用いて説明する。図３は、ブロック分割部１０１が画像をツリーブロックへ分割し、その内部をブロック分割する動作を示す。
　まず、入力された画像を、所定サイズのツリーブロックに分割する（Ｓ１０００）。ここで、ツリーブロックは１２８ｘ１２８画素とする。ただし、ツリーブロックはこの大きさに限定されず、矩形であればどのような大きさや縦横比を用いてもよい。また、符号化装置と復号化装置の間で、ツリーブロックの大きさを予め定めておいてもよい。さらに、符号化装置がツリーブロックの大きさを決定して符号化ビットストリーム内に記録し、復号化装置が符号化ビットストリーム内に記録されたツリーブロックの大きさを用いる構成にしてもよい。入力された画像をツリーブロックに分割する様子を図４に示す。ツリーブロックは、ラスタスキャン順、すなわち左から右、上から下に符号化される。
　ツリーブロックの内部をさらに矩形のブロックに分割する。ツリーブロック内部は、図５に示すｚ－スキャン順に符号化する。ｚ－スキャン順とは、左上、右上、左下、右下、の順序を示す。ツリーブロック内部の分割は、４分割、２分割または３分割が可能である。
　ブロックの４分割は、図６（ａ）のように水平方向と垂直方向とを各々半分にして４分割し、４つのブロックを生成することによりなされる。
　ブロックの２分割または３分割は、水平方向または垂直方向に分割することによりなされる。水平方向にブロックを２分割する場合、図６（ｂ）のように半分に分割し、２つのブロックを生成する。また、水平方向にブロックを３分割する場合、図６（ｃ）のように１：２：１に分割し、３つのブロックを生成する。一方、垂直方向にブロックを２分割する場合、図６（ｄ）のように半分に分割し、２つのブロックを生成する。また、垂直方向にブロックを３分割する場合、図６（ｅ）のように１：２：１に分割し、３つのブロックを生成する。
　再び図３を参照し、ブロック分割部１０１の動作について説明する。まず、ツリーブロック内部を水平方向と垂直方向とを各々半分に４分割するか否かを判断する（Ｓ１００１）。
　ブロックを４分割するか否かの判断を含め、複数の条件から最適な場合を判断するには、Ｒ－Ｄ最適化（Rate-Distortion Optimization）と呼ばれる既存の方法がある。Ｒ－Ｄ最適化では、符号量と符号化歪から、符号化コストが算出される。そして、複数の条件で符号化した場合について、それぞれ符号化コストを算出し、符号化コストが最小となる場合を選択する。つまり、ブロックを４分割するか否かの判断は、ブロックを４分割する場合の符号化コストと、ブロックを４分割しない場合の符号化コストを算出し、符号化コストが最小となる場合を選択することによりなされる。複数の条件から最適な場合を判断するには、Ｒ－Ｄ最適化以外の方法を用いても良い。
　ツリーブロック内部を４分割すると判断した場合（Ｓ１００１：ＹＥＳ）、ツリーブロック内部を４分割する（Ｓ１００２）。４分割されたブロックの再分割処理については後述する（図７）。
　ツリーブロック内部を４分割しないと判断した場合（Ｓ１００１：ＮＯ）、ツリーブロック内部を２分割または３分割するか否かを判断する（Ｓ１００３）。
　ツリーブロック内部を２分割または３分割すると判断した場合（Ｓ１００３：ＹＥＳ）、分割する方向を垂直方向とするか否かを判断する（Ｓ１００４）。
　分割する方向を垂直方向と判断した場合（Ｓ１００４：ＹＥＳ）、ツリーブロック内部を２分割するか否かを判断する（Ｓ１００５）。
　ツリーブロック内部を２分割すると判断した場合（Ｓ１００５：ＹＥＳ）、ツリーブロック内部を垂直方向に２分割する（Ｓ１００６）。一方、ツリーブロック内部を３分割すると判断した場合（Ｓ１００５：ＮＯ）、ツリーブロック内部を垂直方向に３分割する（Ｓ１００７）。垂直方向に２分割または３分割されたブロックの再分割処理については後述する（図８）。
　分割する方向を水平方向と判断した場合（Ｓ１００４：ＮＯ）、ツリーブロック内部を２分割するか否かを判断する（Ｓ１００８）。
　ツリーブロック内部を２分割すると判断した場合（Ｓ１００８：ＹＥＳ）、ツリーブロック内部を水平方向に２分割する（Ｓ１００９）。一方、ツリーブロック内部を３分割すると判断した場合（Ｓ１００８：ＮＯ）、ツリーブロック内部を水平方向に３分割する（Ｓ１０１０）。水平方向に２分割または３分割されたブロックの再分割処理については後述する（図８）。
　ツリーブロック内部を２分割または３分割しないと判断した場合（Ｓ１００３：ＮＯ）、ツリーブロックの内部をブロック分割せずにブロック分割処理を終了する（Ｓ１０１１）。
　続いて、ツリーブロックを水平方向と垂直方向とを各々半分に４分割した場合の分割された各ブロックの処理について、図７のフローチャートを用いて説明する。
　まず、ブロック内部を再び水平方向と垂直方向とを各々半分に４分割するか否かを判断する（Ｓ１１０１）。
　ブロック内部を再び４分割すると判断した場合（Ｓ１１０１：ＹＥＳ）、ブロック内部を再び４分割する（Ｓ１１０２）。
　ブロック内部を再び４分割しないと判断した場合（Ｓ１１０１：ＮＯ）、ブロック内部を２分割または３分割するか否かを判断する（Ｓ１１０３）。
　ブロック内部を２分割または３分割すると判断した場合（Ｓ１１０３：ＹＥＳ）、分割する方向を垂直方向とするか否かを判断する（Ｓ１１０４）。
　分割する方向を垂直方向と判断した場合（Ｓ１１０４：ＹＥＳ）、ブロック内部を２分割するか否かを判断する（Ｓ１１０５）。
　ブロック内部を２分割すると判断した場合（Ｓ１１０５：ＹＥＳ）、ブロック内部を垂直方向に２分割する（Ｓ１１０６）。一方、ブロック内部を３分割すると判断した場合（Ｓ１１０５：ＮＯ）、ブロック内部を垂直方向に３分割する（Ｓ１１０７）。
　分割する方向を水平方向と判断した場合（Ｓ１１０４：ＮＯ）、ブロック内部を２分割するか否かを判断する（Ｓ１１０８）。
　ブロック内部を２分割すると判断した場合（Ｓ１１０８：ＹＥＳ）、ブロック内部を水平方向に２分割する（Ｓ１１０９）。一方、ブロック内部を３分割すると判断した場合（Ｓ１１０８：ＮＯ）、ブロック内部を水平方向に３分割する（Ｓ１１１０）。
　ブロック内部を２分割または３分割しないと判断した場合（Ｓ１１０３：ＮＯ）、ブロックの内部を再分割せずにブロック分割処理を終了する（Ｓ１１１１）。
　４分割された各ブロックについて、図７のフローチャートに示す処理が再帰的に実行される。４分割されたブロックの内部は、ｚ－スキャン順に符号化する。
　続いて、ツリーブロックを垂直方向に２分割または３分割した場合の分割された各ブロックの処理について図８のフローチャートを用いて説明する。
　ツリーブロックを垂直方向に２分割または３分割した場合、分割された各ブロックについて、ブロック内部を再び２分割または３分割するか否かを判断する（Ｓ１２０１）。
　ブロック内部を２分割または３分割すると判断した場合（Ｓ１２０１：ＹＥＳ）、分割する方向を垂直方向とするか否かを判断する（Ｓ１２０２）。
　分割する方向を垂直方向と判断した場合（Ｓ１２０２：ＹＥＳ）、ブロック内部を２分割するか否かを判断する（Ｓ１２０３）。
　ブロック内部を２分割すると判断した場合（Ｓ１２０３：ＹＥＳ）、ブロック内部を垂直方向に２分割する（Ｓ１２０４）。一方、ブロック内部を３分割すると判断した場合（Ｓ１２０３：ＮＯ）、ブロック内部を垂直方向に３分割する（Ｓ１２０５）。
　分割する方向を水平方向と判断した場合（Ｓ１２０２：ＮＯ）、ブロック内部を２分割するか否かを判断する（Ｓ１２０６）。
　ブロック内部を２分割すると判断した場合（Ｓ１２０６：ＹＥＳ）、ブロック内部を水平方向に２分割する（Ｓ１２０７）。一方、ブロック内部を３分割すると判断した場合（Ｓ１２０６：ＮＯ）、ブロック内部を水平方向に３分割する（Ｓ１２０８）。
　ブロック内部を再び２分割または３分割しないと判断した場合（Ｓ１２０１：ＮＯ）、ブロックの内部を再分割せずにブロック分割処理を終了する（Ｓ１２０９）。
　垂直方向に２分割または３分割した場合の分割された各ブロックについて、図８のフローチャートに示す処理が再帰的に実行される。２分割または３分割されたブロックの内部は、左から右の順に符号化する。
　同様に、水平方向に２分割または３分割した場合の分割された各ブロックについて、図８のフローチャートに示す処理が再帰的に実行される。２分割または３分割されたブロックの内部は、上から下の順に符号化する。
　なお、ツリーブロックが分割された時の分割されたブロックの再分割について説明したが、親ブロックがツリーブロックでなくてもよい。例えば、ツリーブロック（１２８ｘ１２８画素）を４分割し、４分割されたブロック（６４ｘ６４画素）をさらに分割した場合に、再分割されたブロックの分割にも上記処理を適用する。
　再帰的なブロック分割は、分割する回数を定めて、分割する回数を制限しても良い。また、符号化装置と復号化装置の間で、分割する回数を予め定めておいても良い。さらに、符号化装置が分割する回数を決定して符号化ビットストリーム内に記録し、復号化装置が符号化ビットストリーム内に記録された分割する回数を用いる構成にしても良い。
　次に、画面端におけるブロック分割について説明する。図９は、画像をツリーブロックに分割したときのピクチャ境界との関係を示す。この図９に示すように、画像の大きさはツリーブロックの大きさの整数倍とは限らないので、画面端におけるツリーブロックは、ピクチャ境界を隔てて画面内と画面外の部分を含むことがある。画面端におけるツリーブロックとして、ツリーブロック１００１，１００２，１００３を示す。この場合は図１０に示すように、ピクチャ境界を超えた画面外の部分は、画面内の最も外側の画素と同じとして扱う。画面内の最も外側の画素として、画素１０１１，１０１２，１０１３を示す。
　画素１０１１は、ツリーブロック１００１内にあり、画面内での最も右上に位置する画素である。画素１０１１より右側の、ピクチャ境界を超えた画面外の画素は、画素１０１１と同じものとして扱う。
　画素１０１２は、ツリーブロック１００２内にあり、画面内での最も左下に位置する画素である。画素１０１２より下側の、ピクチャ境界を超えた画面外の画素は、画素１０１２と同じものとして扱う。
　画素１０１３は、ツリーブロック１００３内にあり、画面内での最も右下に位置する画素である。画素１０１３より右側、下側、および右下側の、ピクチャ境界を超えた画面外の画素は、画素１０１３と同じものとして扱う。
　そして、ブロックを２分割または３分割する際に、ブロック分割を制限する。これにより、画面端のブロックを適切な形状に分割することができ、符号化効率を向上させることができる。
　ブロック分割の制限は、画面端においてブロックを２分割または３分割する際に適用される。つまり、図３における２分割または３分割の処理（Ｓ１００４からＳ１０１０）が、以下に説明する処理に置き換わる。また、図７における２分割または３分割の処理（Ｓ１１０４からＳ１１１０）が、以下に説明する処理に置き換わる。さらに、図８における２分割または３分割の処理（Ｓ１２０２からＳ１２０８）が、以下に説明する処理に置き換わる。
　ブロック分割の制限について、図１１を用いて説明する。まず、ブロック分割の全ての組み合わせについて、ブロック分割を制限するか否かを決定する（Ｓ１３０１）。ブロック分割の全ての組み合わせとは、ブロックを水平方向に２分割した場合、ブロックを垂直方向に２分割した場合、ブロックを水平方向に３分割した場合、ブロックを垂直方向に３分割した場合の４つである。また、ブロック分割を制限するか否かは、ピクチャ境界を超えた位置の画素が分割されるか否かにより決定する。例えば、ブロックを水平方向に２分割すると、ピクチャ境界を超えた位置の画素が分割されるならば、ブロックを水平方向に２分割することを制限する。
　ここで、ブロックを水平方向に分割することを制限するということは、ブロックを水平方向に分割することを禁止するという意味である。また、ブロックを垂直方向に分割することを制限するということは、ブロックを垂直方向に分割することを禁止するという意味である。同様に、ブロックを２分割することを制限するということは、ブロックを２分割することを禁止するという意味である。また、ブロックを３分割することを制限するということは、ブロックを３分割することを禁止するという意味である。
　次に、ブロック分割の全ての組み合わせでブロック分割を制限するか否かを判定する（Ｓ１３０２）。全ての組み合わせでブロック分割を制限する場合（Ｓ１３０２：ＹＥＳ）、ブロックを分割しない（Ｓ１３１４）。一方、全ての組み合わせでブロック分割を制限しない場合（Ｓ１３０２：ＮＯ）、水平方向のブロック分割を制限するか否かを判定する（Ｓ１３０３）。
　水平方向のブロック分割を制限する場合（Ｓ１３０３：ＹＥＳ）、次の処理に進む（Ｓ１３０６）。一方、水平方向のブロック分割を制限しない場合（Ｓ１３０３：ＮＯ）、垂直方向のブロック分割を制限するか否かを判定する（Ｓ１３０４）。
　垂直方向のブロック分割を制限する場合（Ｓ１３０４：ＹＥＳ）、次の処理に進む（Ｓ１３１０）。一方、垂直方向のブロック分割を制限しない場合（Ｓ１３０４：ＮＯ）、ブロックを垂直方向に分割するか否かを判断する（Ｓ１３０５）。
　ブロック分割する方向を垂直方向と判断した場合（Ｓ１３０５：ＹＥＳ）、ブロックの３分割を制限するか否かを判定する（Ｓ１３０６）。一方、ブロック分割する方向を水平方向と判断した場合（Ｓ１３０５：ＮＯ）、次の処理に進む（Ｓ１３１０）。
　ブロックの３分割を制限する場合（Ｓ１３０６：ＹＥＳ）、ブロックを垂直方向に２分割する（Ｓ１３０８）。一方、ブロックの３分割を制限しない場合（Ｓ１３０６：ＮＯ）、ブロックを２分割するか否かを判断する（Ｓ１３０７）。
　ブロックを２分割すると判断した場合（Ｓ１３０７：ＹＥＳ）、ブロックを垂直方向に２分割する（Ｓ１３０８）。一方、ブロックを３分割すると判断した場合（Ｓ１３０７：ＮＯ）、ブロックを垂直方向に３分割する（Ｓ１３０９）。
　垂直方向の分割を制限する場合（Ｓ１３０４：ＹＥＳ）、およびブロック分割する方向を水平方向と判断した場合（Ｓ１３０５：ＮＯ）、ブロックの３分割を制限するか否かを判定する（Ｓ１３１０）。
　ブロックの３分割を制限する場合（Ｓ１３１０：ＹＥＳ）、ブロックを水平方向に２分割する（Ｓ１３１２）。一方、ブロックの３分割を制限しない場合（Ｓ１３１０：ＮＯ）、ブロックを２分割するか否かを判断する（Ｓ１３１１）。
　ブロックを２分割すると判断した場合（Ｓ１３１１：ＹＥＳ）、ブロックを水平方向に２分割する（Ｓ１３１２）。一方、ブロックを３分割すると判断した場合（Ｓ１３１１：ＮＯ）、ブロックを水平方向に３分割する（Ｓ１３１３）。
　つまり、ブロック分割によってピクチャ境界を超えた位置の画素が分割される場合、その方向のブロック分割を制限する。
　ここで、具体例を説明する。いま、画面の下端において、ツリーブロックは４分割せず（Ｓ１００１：ＮＯ）、ツリーブロック内部は２分割または３分割する（Ｓ１００３：ＹＥＳ）。図１２（ａ）は、ツリーブロックが、ピクチャ境界を隔てて画面内と画面外の部分を含む様子を示す。このとき、全ての組み合わせでツリーブロックを分割した場合について、ブロック分割を制限するか否かを決定する（Ｓ１３０１）。
　全ての組み合わせでツリーブロックを分割した場合について、それぞれ図１２（ａ）から図１２（ｄ）に示す。図１２（ａ）に示すようにブロックを垂直方向に２分割すると、ピクチャ境界を超えた位置の画素が分割されるので、このブロック分割を制限する。同様に、図１２（ｂ）に示すようにブロックを垂直方向に３分割すると、ピクチャ境界を超えた位置の画素が分割されるので、このブロック分割を制限する。一方、図１２（ｃ）に示すようにブロックを水平方向に２分割すると、ピクチャ境界を超えた位置の画素は分割されないので、このブロック分割を制限しない。同様に、図１２（ｄ）に示すようにブロックを水平方向に３分割すると、ピクチャ境界を超えた位置の画素は分割されないので、このブロック分割を制限しない。
　よって、ブロック分割の全ての組み合わせでブロック分割を制限しない（Ｓ１３０２：ＮＯ）。また、水平方向のブロック分割を制限せず（Ｓ１３０３：ＮＯ）、垂直方向のブロック分割を制限する（Ｓ１３０４：ＹＥＳ）。そして、ブロックの３分割は制限しない（Ｓ１３１０：ＮＯ）。よって、ブロックを２分割するか否かを判断する（Ｓ１３１１）。いま、ブロックを２分割すると判断したとすれば（Ｓ１３１１：ＹＥＳ）、ブロックを水平方向に２分割する（Ｓ１３１２）。
　こうしたブロック分割の制限により、ブロックは適切な形状となる。なぜなら、画面外の画素を含むブロックにおいて、画面外の部分の画素値は一定である。そのため、そのブロックの画面内の部分の画素値の変化は、画面外の画素を含まないブロックに対して相対的に小さい。よって、細かい画素の変化を符号化する必要性は少ない。従って、画面外の画素をできるだけまとめたブロックとすることによって符号量を小さくし、符号化効率を向上させることができる。
　このブロック分割の制限は、画面の右端でも同様である。全ての組み合わせでツリーブロックを分割した場合について、それぞれ図１２（ｅ）から図１２（ｈ）に示す。このとき、図１２（ｅ）に示すようにブロックを水平方向に２分割すると、ピクチャ境界を超えた位置の画素が分割される。また、図１２（ｆ）に示すようにブロックを水平方向に３分割すると、ピクチャ境界を超えた位置の画素が分割される。よって、これらのブロック分割を制限する。こうしたブロック分割の制限により、符号化効率を向上させることができる。
　次に、画像復号化装置２００のブロック分割部２０２の動作について説明する。ブロック分割部２０２は、前述の画像符号化装置１００におけるブロック分割部１０１と同じ処理手順でブロックを分割する。ブロック分割部１０１では、ブロック分割のパターンを選択し、選択したブロック分割情報を出力する。一方、ブロック分割部２０２は、符号化ビットストリームから復号化されたブロック分割情報を用いてブロックを分割する。ブロック分割の制限は、前述の画像符号化装置１００と同様である。
　第１の実施の形態のブロック分割に関するシンタックス（符号化ビットストリームの構文規則）を図１３に示す。図１３において、QT()はブロックの４分割処理にかかるシンタックスを表し、MTT()はブロックの２分割または３分割処理にかかるシンタックスを表す。画像符号化装置１００はこのシンタックスに従って符号化し、画像復号化装置２００はこのシンタックスに従って復号化する。
　まず、ブロックを４分割するか否かはQTflagで表される。４分割する場合はQTflag=1、４分割しない場合はQTflag=0とする。４分割する場合(QTflag=1)、４分割した各ブロックについてさらに４分割可能であれば(QTvalid=1)、再帰的に４分割処理をする。４分割しない場合(QTflag=0)、２分割または３分割するか否かはMTTflagで表される。２分割または３分割する場合(MTTflag=1)、垂直方向に分割するか否かはvertical_flagで表され、２分割するか否かはBTflagで表される。垂直方向に分割する場合はvertical_flag=1、水平方向に分割する場合はvertical_flag=0とする。また、２分割する場合はBTflag=1、３分割する場合はBTflag=0とする。２分割または３分割した各ブロックについてさらに２分割または３分割可能であれば(MTTvalid=1)、再帰的に２分割または３分割処理をする。
　ここで、４分割した各ブロックが、さらに４分割可能か否かを示す変数QTvalidについて説明する。QTvalidは、４分割した各ブロックごとに定義される。４分割するブロックに画面内の画素が含まれない場合は、QTvalid=0となる。上記以外の場合は、QTvalid=1となる。
　また、２分割または３分割した各ブロックが、さらに２分割または３分割可能か否かを示す変数MTTvalidについて説明する。MTTvalidは、２分割または３分割した各ブロックごとに定義される。２分割または３分割するブロックに画面内の画素が含まれない場合は、MTTvalid=0となる。上記以外の場合は、MTTvalid=1となる。
　本実施の形態ではブロック分割の方向を制限するため、vertical_flagは不要となる。よって、図１３におけるvertical_flagを省略した形としても良い。
　こうしたブロック分割の制限により、画面端のブロックを適切な形状に分割することができ、符号化効率を向上させることができる。また、画像符号化および復号化に適したブロック分割ができる。
（第２の実施の形態）
　本発明の第２の実施の形態に係る画像符号化装置及び画像復号化装置について説明する。第２の実施の形態では、ブロック分割の深度が制限深度に達した場合に、ブロック分割を制限する。これ以外の構成は第１の実施の形態と同様であるため、説明を省略する。
　ここで、ブロック分割の深度について説明する。第１の実施の形態において、ブロックを２分割または３分割した後、２分割または３分割された各ブロックに対して再帰的に２分割または３分割する処理について説明した。この処理において、１回目の２分割または３分割処理を深度０と定義する。また、１回目の２分割または３分割処理によって分割された各ブロックに対する２回目の２分割または３分割処理を深度１と定義し、２回目の２分割または３分割処理によって分割された各ブロックに対する３回目の２分割または３分割処理を深度２と定義し、以下同様にして深度を定義する。また、ブロック分割を制限する深度を予め定めて、これを制限深度と定義する。
　ブロック分割の制限は、画面端においてブロックを２分割または３分割する際に適用される。つまり、図３における２分割または３分割の処理（Ｓ１００４からＳ１０１０）が、以下に説明する処理に置き換わる。また、図７における２分割または３分割の処理（Ｓ１１０４からＳ１１１０）が、以下に説明する処理に置き換わる。さらに、図８における２分割または３分割の処理（Ｓ１２０２からＳ１２０８）が、以下に説明する処理に置き換わる。
　ブロック分割の制限について、図１４を用いて説明する。まず、ブロックを２分割または３分割する際に、ブロック分割の深度が制限深度に達しているか否かを判定する（Ｓ１４０１）。
　制限深度に達していない場合（Ｓ１４０１：ＮＯ）、ブロック分割を制限しないと決定する（Ｓ１４０２）。一方、制限深度に達している場合（Ｓ１４０１：ＹＥＳ）、ブロック分割の全ての組み合わせについて、ブロック分割を制限するか否かを決定する（Ｓ１３０１）。Ｓ１３０１は第１の実施の形態と同じであるため、説明を省略する。
　次に、ブロック分割の全ての組み合わせでブロック分割を制限するか否かを判定する（Ｓ１３０２）。Ｓ１３０２以下の処理は第１の実施の形態と同じであるため、説明を省略する。
　つまり、ブロック分割によってピクチャ境界を超えた位置の画素が分割され、かつブロック分割の深度が制限深度に達した場合、ブロック分割を制限する。
　ここで、具体例を説明する。いま、画面の下端において、ツリーブロックは４分割せず（Ｓ１００１：ＮＯ）、ツリーブロック内部を２分割または３分割する（Ｓ１００３：ＹＥＳ）。また、制限深度は１とする。図１２（ａ）は、ツリーブロックが、ピクチャ境界を隔てて画面内と画面外の部分を含む様子を示す。このツリーブロックを２分割または３分割する際には、垂直方向の分割によって、ピクチャ境界を超えた位置の画素が分割される。ただし、深度は０であり、制限深度の１に達していない（Ｓ１４０１：ＮＯ）。そのため、ブロック分割を制限しないと決定する（Ｓ１４０２）。よって、すべてのブロック分割を制限せず（Ｓ１３０２：ＮＯ）、水平方向のブロック分割を制限せず（Ｓ１３０３：ＮＯ）、垂直方向のブロック分割を制限しない（Ｓ１３０４：ＮＯ）。そして、ブロックを垂直方向に分割するか否かを判断する（Ｓ１３０５）。いま、ブロックを垂直方向に分割すると判断したとすれば（Ｓ１３０５：ＹＥＳ）、ブロックの３分割を制限しないので（Ｓ１３０６：ＮＯ）、ブロックを２分割するか否かを判断する（Ｓ１３０７）。いま、ブロックを２分割すると判断したとすると（Ｓ１３０７：ＹＥＳ）、ブロックを垂直方向に２分割する（Ｓ１３０８）。その様子を図１２（ａ）に示す。
　続いて、垂直方向に２分割された各ブロックのうち、左のブロックを２分割または３分割する。このとき、深度は1であり、制限深度の１に達している（Ｓ１４０１：ＹＥＳ）。よって、ブロック分割の全ての組み合わせについて、ブロック分割を制限するか否かを決定する（Ｓ１３０１）。
　ブロックを全ての組み合わせで分割した場合について、それぞれ図１５（ａ）から図１５（ｄ）に示す。図１５（ａ）に示すようにブロックを垂直方向に２分割すると、ピクチャ境界を超えた位置の画素が分割されるので、このブロック分割を制限する。同様に、図１５（ｂ）に示すようにブロックを垂直方向に３分割すると、ピクチャ境界を超えた位置の画素が分割されるので、このブロック分割を制限する。一方、図１５（ｃ）に示すようにブロックを水平方向に２分割すると、ピクチャ境界を超えた位置の画素は分割されないので、このブロック分割を制限しない。同様に、図１５（ｄ）に示すようにブロックを水平方向に３分割すると、ピクチャ境界を超えた位置の画素は分割されないので、このブロック分割を制限しない。
　よって、ブロック分割の全ての組み合わせでブロック分割を制限しない（Ｓ１３０２：ＮＯ）。また、水平方向のブロック分割を制限せず（Ｓ１３０３：ＮＯ）、垂直方向のブロック分割は制限する（Ｓ１３０４：ＹＥＳ）。そして、ブロックの３分割は制限しない（Ｓ１３１０：ＮＯ）。よって、ブロックを２分割するか否かを判断する（Ｓ１３１１）。いま、ブロックを２分割すると判断したとすれば（Ｓ１３１１：ＹＥＳ）、ブロックを水平方向に２分割する（Ｓ１３１２）。
　こうしたブロック分割の制限により、ブロックは適切な大きさ及び形状となる。なぜなら、画面外の画素を含むブロックにおいて、画面外の部分の画素値は一定である。そのため、そのブロックの画面内の部分の画素値の変化は、画面外の画素を含まないブロックに対して相対的に小さい。よって、細かい画素の変化を符号化する必要性は少ない。従って、画面外の画素をできるだけまとめたブロックとすることによって符号量を小さくし、符号化効率を向上させることができる。
　このブロック分割の制限は、画面の右端でも同様である。ツリーブロックを２分割または３分割するときは深度０であり制限深度１に達しないので、ブロック分割を制限せず２分割または３分割する。分割されたブロックをさらに分割する際は深度１であり制限深度１に達しているので、ブロック分割を制限するか否かを判定する。すると、ブロックを水平方向に２分割する場合と、ブロックを水平方向に３分割する場合は、ピクチャ境界を超えた位置の画素が分割される。よって、これらのブロック分割を制限する。こうしたブロック分割の制限により、符号化効率を向上させることができる。
　本実施の形態では、ブロック分割の深度は２分割または３分割に対して定義している。これは、４分割に対して定義しても良い。また、本実施の形態では、ブロック分割の深度によって、ブロック分割を制限している。これは、ブロックが含むピクチャ境界を超えた位置の画素の数や割合によって制限しても良い。つまり、これらの値が予め定められた値より大きい場合に、そのブロック分割を制限するように構成する。加えて、これらの値は、ブロック分割の深度ごとに異なった値としても良い。これにより、画面外の画素の数や割合が少ないブロックは分割し、画面外の画素の数や割合が多いブロックは分割しないようにする。ブロック分割の制限深度や、ブロックが含むピクチャ境界を超えた位置の画素の数や割合など、ブロック分割の制限にかかる値は、符号化装置が符号化ビットストリーム内に記録し、復号化装置が符号化ビットストリーム内に記録された値を用いる構成にしてもよい。
　第１の実施の形態では、ブロック分割の深度によらずブロック分割を制限する。一方、本実施の形態では、ブロック分割の深度に応じてブロック分割を制限する。これにより、画面外の画素の割合が少ないブロックは分割し、画面外の画素の割合が多いブロックは分割しないようにする。従って、画面端のブロックを適切な大きさ及び形状に分割することができ、符号化効率を向上させることができる。また、画像符号化および復号化に適したブロック分割ができる。
（第３の実施の形態）
　本発明の第３の実施の形態に係る画像符号化装置及び画像復号化装置について説明する。第３の実施の形態では、ピクチャ境界を超えた位置の画素の数によって、ブロック分割を制御する。これ以外の構成は第１の実施の形態と同様であるため、説明を省略する。
　ブロック分割の制御は、画面端においてブロックを２分割または３分割する際に適用される。つまり、図３における２分割または３分割の処理（Ｓ１００４からＳ１０１０）が、以下に説明する処理に置き換わる。また、図７における２分割または３分割の処理（Ｓ１１０４からＳ１１１０）が、以下に説明する処理に置き換わる。さらに、図８における２分割または３分割の処理（Ｓ１２０２からＳ１２０８）が、以下に説明する処理に置き換わる。
　ブロック分割の制御について、図１６を用いて説明する。まず、ブロック分割の全ての組み合わせについて、ピクチャ境界を超えた位置の画素数をカウントする（Ｓ１６０１）。ブロック分割の全ての組み合わせとは、ブロックを水平方向に２分割した場合、ブロックを垂直方向に２分割した場合、ブロックを水平方向に３分割した場合、ブロックを垂直方向に３分割した場合の４つである。
　そして、ブロックを２分割した場合とブロックを３分割した場合のそれぞれについて、ピクチャ境界を超えた位置の画素数が最大となる分割方向を決定する（Ｓ１６０２）。
　次に、ブロックを２分割するか否かを判断する（Ｓ１６０３）。
　２分割すると判断した場合（Ｓ１６０３：ＹＥＳ）、Ｓ１６０２において決定された分割方向に２分割する（Ｓ１６０４）。一方、３分割すると判断した場合（Ｓ１６０３：ＮＯ）、Ｓ１６０２において決定された分割方向に３分割する（Ｓ１６０５）。
　つまり、ピクチャ境界を超えた位置の画素がブロック内に最も多く含まれるように、ブロック分割の方向を制御している。
　ここで、具体例を説明する。いま、画像は１９２０ｘ１０８０画素、ツリーブロックは１２８ｘ１２８画素とする。また、ツリーブロックは４分割せず（Ｓ１１０１：ＮＯ）、ブロックの内部を２分割または３分割する（Ｓ１１０３：ＹＥＳ）。すると、図１７（ａ）に示すように、画面の下端にはピクチャ境界を超えて垂直方向に７２画素が存在する。このとき、ツリーブロックを全ての組み合わせで分割した場合の、各ブロックにおけるピクチャ境界を超えた位置の画素数をカウントする（Ｓ１６０１）。
　ツリーブロックを全ての組み合わせで分割した場合について、それぞれ図１７（ａ）から図１７（ｄ）に示す。図１７（ａ）に示すようにブロックを垂直方向に２分割すると、分割されたブロックの左側（５００）と右側（５０１）はそれぞれ４６０８画素である。一方、図１７（ｂ）のようにブロックを水平方向に２分割すると、分割されたブロックの上側（５１０）は１０２４画素、下側（５１１）は８１９２画素である。つまり、ピクチャ境界を超えた位置の画素数が最大となるのは水平方向に分割する場合の下側の８１９２画素である。よって、画素数が最大となる分割方向は水平方向である（Ｓ１６０２）。
　同様に、図１７（ｃ）のようにブロックを垂直方向に３分割したとすると、分割されたブロックの左側（５２０）と右側（５２２）はそれぞれ２３０４画素であり、中央（５２１）は４６０８画素である。一方、図１７（ｄ）のようにブロックを水平方向に３分割したとすると、分割されたブロックの上側は０画素、中央（５３１）は５１２０画素、下側（５３２）は４０９６画素である。つまり、ピクチャ境界を超えた位置の画素数が最大となるのは水平方向に分割する場合の中央の５１２０画素である。よって、画素数が最大となる分割方向は水平方向である（Ｓ１６０２）。
　最後に、ブロックを２分割するか否かを判断する（Ｓ１６０３）。２分割すると判断した場合（Ｓ１６０３：ＹＥＳ）、決定された分割方向である水平方向にブロックを２分割する（Ｓ１６０４）。一方、３分割すると判断した場合（Ｓ１６０３：ＮＯ）、決定された分割方向である水平方向にブロックを３分割する（Ｓ１６０５）。
　本実施の形態では、ブロックを２分割または３分割する際に、ピクチャ境界を超えた位置の画素がブロック内に最も多く含まれるように、ブロック分割の方向を制御する。これは、画面外の画素を含むブロックにおいて、画面外の部分の画素値は一定であるから、細かい画素の変化を符号化する必要性は少ないからである。従って、そのような画素をできるだけ１つにまとめたブロックとすることによって符号量を小さくし、符号化効率を向上させることができる。
　さらに、ブロックの分割方向だけでなく、ブロックの分割数を決定してもよい。上述の通り、ピクチャ境界を超えた位置の画素数が最大となるのは、２分割の場合は８１９２画素、３分割の場合は５１２０画素である。つまり、ピクチャ境界を超えた位置の画素がブロック内に多く含まれるのは２分割の場合であるから、ブロックを２分割する。
　これは、２分割に比べて、３分割はブロックの端に近い位置でブロックが分割されるからである。３分割は、２分割よりピクチャ境界を超えた位置の画素数が少なくなる傾向がある。従って、画面端においてはブロックを３分割せず、２分割する方向を決定することができる。これにより、ブロックの３分割にかかる処理を削減し、ブロック分割の処理を高速化できる。
　ブロック分割の制御は、画面端においてブロックを２分割または３分割する際に適用される。つまり、図３における２分割または３分割の処理（Ｓ１００４からＳ１０１０）が、以下に説明する処理に置き換わる。また、図７における２分割または３分割の処理（Ｓ１１０４からＳ１１１０）が、以下に説明する処理に置き換わる。さらに、図８における２分割または３分割の処理（Ｓ１２０２からＳ１２０８）が、以下に説明する処理に置き換わる。
　ブロック分割の制御について、図１８を用いて説明する。まず、ブロック分割の全ての組み合わせについて、ピクチャ境界を超えた位置の画素数をカウントする（Ｓ１６５１）。ブロック分割の全ての組み合わせとは、ブロックを水平方向に２分割した場合と、ブロックを垂直方向に２分割した場合の２つである。
　次に、ブロックを２分割した場合について、ピクチャ境界を超えた位置の画素数が最大となる分割方向を決定する（Ｓ１６５２）。そして、決定された分割方向にブロックを２分割する（Ｓ１６５４）。
　本実施の形態のブロック分割に関するシンタックスは、図１３におけるvertical_flagを省略した形とする。これは、本実施の形態ではブロック分割の方向を制御しており、vertical_flagは不要となるからである。さらに、本実施の形態においてブロックの分割数を決定しても良く、ブロックを３分割しないようにしても良い。その場合にはBTflagが不要となるから、これを省略した形としても良い。本実施の形態のブロック分割に関するシンタックスは、図１３と同じにしても良い。
　１９２０ｘ１０８０画素の場合、画面の右端においてピクチャ境界を超えた位置の画素は存在しない。しかし、画像の幅がツリーブロックの大きさの整数倍でない場合には、ピクチャ境界を超えた位置の画素が存在するので、上述と同様にブロック分割を制御する。
　本実施の形態では、ピクチャ境界を超えた位置の画素の数によって、ブロック分割の方向を制御している。これは、ピクチャ境界を超えた位置の画素の割合によって、ブロック分割の方向を制御しても良い。
　こうしたブロック分割の制御により、画面端のブロックを適切な大きさ及び形状に分割することができ、符号化効率を向上させることができる。また、画像符号化および復号化に適したブロック分割ができる。
（第４の実施の形態）
　本発明の第４の実施の形態に係る画像符号化装置及び画像復号化装置について説明する。第４の実施の形態では、ピクチャ境界が前述の実施の形態と異なる場合について説明する。これ以外の構成は第１の実施の形態と同様であるため、説明を省略する。
　ここで、ピクチャ境界が図１２と異なるパターンを考える。ただし、ピクチャ境界が異なっても、ブロック分割を制限するか否かの判断結果が図１２の場合と変わらないパターンは除く。例えば、図１２（ａ）において、ピクチャ境界が少し上に位置していたとする。その場合でも、ピクチャ境界を超えた位置の画素が分割されるため、ブロック分割は制限される。つまり、図１２（ａ）は、ピクチャ境界が上下方向に変わっても、ブロック分割を制限するという判断結果は変わらない。これは図１２（ｂ）も同じである。同様に、図１２（ｅ）および図１２（ｆ）は、ピクチャ境界が左右方向に変わっても、ブロック分割を制限するという判断結果は変わらない。
　結局、ピクチャ境界が図１２と異なるパターンは、図１９（ａ）から図１９（ｄ）となる。図１９（ａ）のピクチャ境界は、図１２（ｃ）より上に位置している。同じく、図１９（ｂ）のピクチャ境界は、図１２（ｄ）より上に位置している。同様に、図１９（ｃ）および図１９（ｄ）のピクチャ境界は、図１２（ｇ）および図１２（ｈ）より左に位置している。
　図１９（ａ）と図１９（ｂ）は、どちらも水平方向の分割である。しかし、２分割した場合はピクチャ境界を超えた位置の画素が分割されず、３分割した場合はピクチャ境界を超えた位置の画素が分割される。つまり、３分割した場合のみ、ブロック分割が制限される。
　図１９（ｃ）と図１９（ｄ）は、どちらも垂直方向の分割である。しかし、２分割した場合はピクチャ境界を超えた位置の画素が分割されず、３分割した場合はピクチャ境界を超えた位置の画素が分割される。つまり、３分割した場合のみ、ブロック分割が制限される。
　つまり、２分割と３分割とで、ブロック分割を制限する判断が別れる。これは、２分割に比べて、３分割はブロックの端に近い位置でブロックが分割されるからである。３分割は、２分割よりピクチャ境界を超えた位置の画素が分割される傾向がある。従って、画面端においてはブロックを３分割せず、２分割する方向を制限するか否か判定することができる。これにより、ブロックの３分割にかかる処理を削減し、ブロック分割の処理を高速化できる。
　ブロック分割の制限は、画面端においてブロックを２分割または３分割する際に適用される。つまり、図３における２分割または３分割の処理（Ｓ１００４からＳ１０１０）が、以下に説明する処理に置き換わる。また、図７における２分割または３分割の処理（Ｓ１１０４からＳ１１１０）が、以下に説明する処理に置き換わる。さらに、図８における２分割または３分割の処理（Ｓ１２０２からＳ１２０８）が、以下に説明する処理に置き換わる。
　ブロック分割の制限について、図２０を用いて説明する。図２０は、図１１に対して一部の処理を省略した形となっている。よって、図１１と同じステップ番号を付して説明を省略することがある。
　まず、ブロック分割の全ての組み合わせについて、ブロック分割を制限するか否かを決定する（Ｓ１９０１）。ブロック分割の全ての組み合わせとは、ブロックを水平方向に２分割した場合、ブロックを垂直方向に２分割した場合の２つである。また、ブロック分割を制限するか否かは、ピクチャ境界を超えた位置の画素が分割されるか否かにより決定する。例えば、ブロックを水平方向に２分割すると、ピクチャ境界を超えた位置の画素が分割されるならば、ブロックを水平方向に２分割することを制限する。Ｓ１３０２以降の処理は、３分割にかかる処理がなくなることを除いて図１１と同じであるため、説明を省略する。
　ここで、図１９（ａ）を用いて具体例を説明する。図１９（ａ）の場合において、ブロック分割の全ての組み合わせについて、ブロック分割を制限するか否かを決定する（Ｓ１９０１）。いま、ブロックを水平方向に２分割した場合には、ピクチャ境界を超えた位置の画素が分割されないので、水平方向の分割は制限しない。また、ブロックを垂直方向に２分割した場合には、ピクチャ境界を超えた位置の画素が分割されるので、垂直方向の分割は制限する。よって、ブロック分割の全ての組み合わせについて、ブロック分割を制限しない（Ｓ１３０２：ＮＯ）。そして、水平方向のブロック分割を制限せず（Ｓ１３０３：ＮＯ）、垂直方向のブロック分割を制限するので（Ｓ１３０４：ＹＥＳ）。つまり、ブロックは水平方向に２分割する（Ｓ１３１２）。
　ここで、ピクチャ境界が図１９と比べてさらに上または左に近いパターンを考える。すると、どのパターンにおいても、ピクチャ境界を超えた位置の画素が分割される。従って、画面端においてはブロックの２分割および３分割を常に制限しても良い。
　こうしたブロック分割の制御により、画面端のブロックを適切な大きさ及び形状に分割することができ、符号化効率を向上させることができる。また、画像符号化および復号化に適したブロック分割ができる。
（第５の実施の形態）
　本発明の第５の実施の形態に係る画像符号化装置及び画像復号化装置について説明する。第５の実施の形態では、画面右下の端におけるブロック分割の制限について説明する。これ以外の構成は第１の実施の形態と同様であるため、説明を省略する。
　図９に示したように、画面端におけるツリーブロックは、ピクチャ境界を隔てて画面内と画面外の部分を含むことがある。特に、画面右端におけるツリーブロック１００１や画面下端におけるツリーブロック１００２が含む画面外の部分に比べて、画面右下の端におけるツリーブロック１００３が含む画面外の部分は、より多くなる傾向がある。よって、ブロック分割の制限により、符号化効率を向上させることができる余地が大きい。ツリーブロックが分割されている場合には、そのツリーブロックに含まれる分割されたブロックにおいて、ブロック分割を制限する。
　画面右下の端におけるブロック分割の制限について、図２０を用いて説明する。画面右下の端におけるブロックとは、図９のツリーブロック１００３に相当する。
　まず、ブロック分割の全ての組み合わせについて、ブロック分割を制限するか否かを決定する（Ｓ１９０１）。ブロック分割の全ての組み合わせとは、ブロックを水平方向に２分割した場合、ブロックを垂直方向に２分割した場合の２つである。また、ブロック分割を制限するか否かは、ピクチャ境界を超えた位置の画素が分割されるか否かにより決定する。例えば、ブロックを水平方向に２分割すると、ピクチャ境界を超えた位置の画素が分割されるならば、ブロックを水平方向に２分割することを制限する。
　いま、画面右下の端におけるブロックであるから、ブロック分割の全ての組み合わせについて、ピクチャ境界を超えた位置の画素が分割される。全ての組み合わせでブロック分割を制限する場合（Ｓ１３０２：ＹＥＳ）、ブロックを分割しない（Ｓ１３１４）。
　ここで、図２１を用いて具体例を説明する。図２１（ａ）と図２１（ｂ）は、画面右下の端におけるツリーブロックにおいて、ブロック分割の全ての組み合わせを示している。いま、図２１（ａ）と図２１（ｂ）のどちらも、ピクチャ境界を超えた位置の画素が分割される。全ての組み合わせでブロック分割を制限する場合（Ｓ１３０２：ＹＥＳ）、ブロックを分割しない（Ｓ１３１４）。
　図２１（ｃ）は、図２１（ａ）と同じピクチャ境界で、ツリーブロックが４分割されている例である。４分割された各ブロックをｚ－スキャン順にブロック６０１，６０２，６０３，６０４とする。図２１（ｃ）について、ブロック分割の各ステップを説明する。
　図２１（ｃ）は、次のステップによりブロック分割されている。まず、図３の処理において、画像をツリーブロックに分割し（Ｓ１０００）、ツリーブロック内部を４分割すると判定し（Ｓ１００１：ＹＥＳ）、ツリーブロックを４分割する（Ｓ１００２）。４分割された各ブロック６０１，６０２，６０３，６０４について、それぞれ図７の処理をする。
　図７において、分割されたブロックの内部を再び４分割しないと判定し（Ｓ１１０１：ＮＯ）、ブロック内部を２分割または３分割すると判定する（Ｓ１１０３：ＹＥＳ）。図７における２分割または３分割の処理（Ｓ１１０４からＳ１１１０）は、図２０の処理に置き換わる。
　図２０において、ブロック分割の全ての組み合わせについて、ブロック分割を制限するか否かを決定する（Ｓ１９０１）。いま、画面右下の端におけるブロックであるから、ブロック分割の全ての組み合わせについて、ピクチャ境界を超えた位置の画素が分割される。全ての組み合わせでブロック分割を制限する場合（Ｓ１３０２：ＹＥＳ）、ブロックを分割しない（Ｓ１３１４）。以上により、図２１（ｃ）のブロック分割を終了する。
　図２１（ｄ）は、図２１（ｃ）と異なるピクチャ境界で、ツリーブロックが４分割されている例である。この例は、前述した実施の形態を組み合わせた複雑なブロック分割を示している。４分割された各ブロックのうち、ブロック６０２，６０３は更にブロック分割されている。ツリーブロックを４分割した後（Ｓ１００２）、４分割された各ブロック６０１，６０２，６０３，６０４ごとに、ブロック分割の各ステップを説明する。
　ブロック６０１は、図７の処理をする。図７において、分割されたブロックの内部を再び４分割しないと判定し（Ｓ１１０１：ＮＯ）、ブロック内部を２分割または３分割しないと判定する（Ｓ１１０３：ＮＯ）。ブロック６０１は、その内部を再分割せずにブロック分割処理を終了する（Ｓ１１１１）。
　ブロック６０２は、図７の処理をする。図７において、分割されたブロックの内部を再び４分割しないと判定し（Ｓ１１０１：ＮＯ）、ブロック内部を２分割または３分割すると判定する（Ｓ１１０３：ＹＥＳ）。図７における２分割または３分割の処理（Ｓ１１０４からＳ１１１０）は、図２０の処理に置き換わる。
　図２０において、ブロック分割の全ての組み合わせについて、ブロック分割を制限するか否かを決定する（Ｓ１９０１）。いま、ブロックを水平方向に２分割した場合には、ピクチャ境界を超えた位置の画素が分割されるので、水平方向の分割は制限する。また、ブロックを垂直方向に２分割した場合には、ピクチャ境界を超えた位置の画素が分割されないので、垂直方向の分割は制限しない。よって、ブロック分割の全ての組み合わせについて、ブロック分割を制限しない（Ｓ１３０２：ＮＯ）。そして、水平方向のブロック分割を制限する（Ｓ１３０３：ＹＥＳ）。つまり、ブロックは垂直方向に２分割する（Ｓ１３０８）。結局、ブロック６０２は分割６１２により垂直分割される。
　ブロック６０３は、図７の処理をする。図７において、分割されたブロックの内部を再び４分割しないと判定し（Ｓ１１０１：ＮＯ）、ブロック内部を２分割または３分割すると判定する（Ｓ１１０３：ＹＥＳ）。図７における２分割または３分割の処理（Ｓ１１０４からＳ１１１０）は、図１８の処理に置き換わる。
　図１８において、ブロック分割の全ての組み合わせについて、ピクチャ境界を超えた位置の画素数をカウントする（Ｓ１６５１）。ブロック分割の全ての組み合わせとは、ブロックを水平方向に２分割した場合と、ブロックを垂直方向に２分割した場合の２つである。いま、ブロック６０３においては、図１７（ａ）と図１７（ｂ）に示した通り、ピクチャ境界を超えた位置の画素数が最大となるのは水平方向に分割する場合である。よって、ブロックを２分割した場合について、ピクチャ境界を超えた位置の画素数が最大となる分割方向を水平方向と決定する（Ｓ１６５２）。そして、決定された分割方向にブロックを２分割する（Ｓ１６５４）。結局、ブロック６０３は分割６２３により水平分割される。
　ブロック６０４は、図７の処理をする。図７において、分割されたブロックの内部を再び４分割しないと判定し（Ｓ１１０１：ＮＯ）、ブロック内部を２分割または３分割すると判定する（Ｓ１１０３：ＹＥＳ）。図７における２分割または３分割の処理（Ｓ１１０４からＳ１１１０）は、図２０の処理に置き換わる。
　図２０において、ブロック分割の全ての組み合わせについて、ブロック分割を制限するか否かを決定する（Ｓ１９０１）。いま、分割６２４によってブロックを水平方向に２分割した場合には、ピクチャ境界を超えた位置の画素が分割されるので、水平方向の分割は制限する。また、分割６１４によってブロックを垂直方向に２分割した場合には、ピクチャ境界を超えた位置の画素が分割されるので、垂直方向の分割は制限する。つまり、ブロック分割の全ての組み合わせについて、ピクチャ境界を超えた位置の画素が分割される。全ての組み合わせでブロック分割を制限する場合（Ｓ１３０２：ＹＥＳ）、ブロックを分割しない（Ｓ１３１４）。
　こうしたブロック分割の制御により、画面端のブロックを適切な大きさ及び形状に分割することができ、符号化効率を向上させることができる。また、画像符号化および復号化に適したブロック分割ができる。
　以上に述べた全ての実施の形態において、ブロック分割を制御する対象はピクチャ境界を超えた位置としている。これは、任意の境界を定めて、それを超えた位置についてブロック分割を制御するようにしても良い。また、任意の境界として、周辺の画素に比べて重要度が高い画素を定め、その境界を超えた位置についてブロック分割を制御する対象としても良い。さらに、任意の境界を超えた位置は画面の下端や右端とは限らず、画面の上端や左端となることもあるし、端でなくてもよい。その場合、画面端でなくてもブロックを適切な大きさ及び形状に分割することができ、符号化効率を向上させることができる。
　以上に述べた全ての実施の形態は、複数を組み合わせても良い。
　以上に述べた全ての実施の形態において、画像符号化装置が出力する符号化ビットストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有している。符号化ビットストリームは、ＨＤＤ、ＳＳＤ、フラッシュメモリ、光ディスク等のコンピュータ等で読み解き可能な記録媒体に記録して提供しても良いし、有線あるいは無線のネットワークを通してサーバから提供しても良い。従って、この画像符号化装置に対応する画像復号装置は、提供手段によらず、この特定のデータフォーマットの符号化ビットストリームを復号することができる。
　画像符号化装置と画像復号装置の間で符号化ビットストリームをやりとりするために、有線または無線のネットワークが用いられる場合、通信路の伝送形態に適したデータ形式に符号化ビットストリームを変換して伝送してもよい。その場合、画像符号化装置が出力する符号化ビットストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する送信装置と、ネットワークから符号化データを受信して符号化ビットストリームに復元して画像復号装置に供給する受信装置とが設けられる。
　送信装置は、画像符号化装置が出力する符号化ビットストリームをバッファするメモリと、符号化ビットストリームをパケット化するパケット処理部と、ネットワークを介してパケット化された符号化データを送信する送信部とを含む。受信装置は、ネットワークを介してパケット化された符号化データを受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ビットストリームを生成し、画像復号装置に提供するパケット処理部とを含む。
　画像符号化装置と画像復号装置の間で符号化ビットストリームをやりとりするために、有線または無線のネットワークが用いられる場合、送信装置、受信装置に加え、さらに、送信装置が送信する符号化データを受信し、受信装置に供給する中継装置が設けられても良い。中継装置は、送信装置が送信するパケット化された符号化データを受信する受信部と、受信された符号化データをバッファするメモリと、パケットされた符号化データとネットワークに送信する送信部とを含む。さらに、中継装置は、パケット化された符号化データをパケット処理して符号化ビットストリームを生成する受信パケット処理部と、符号化ビットストリームを蓄積する記録媒体と、符号化ビットストリームをパケット化する送信パケット処理部を含んでも良い。
　また、画像復号装置で復号された画像を表示する表示部を構成に追加することで、表示装置としても良い。その場合、表示部は、復号画像信号重畳部２０５により生成され、復号画像メモリ２０６に格納された復号画像信号を読み出して画面に表示する。
　また、撮像部を構成に追加し、撮像した画像を画像符号化装置に入力することで、撮像装置としても良い。その場合、撮像部は、撮像した画像信号をブロック分割部１０１に入力する。
　図２２に、本願の符号化復号装置のハードウェア構成の一例を示す。符号化復号装置は、本発明の実施の形態に係る画像符号化装置、および画像復号装置の構成を包含する。係る符号化復号装置９０００は、ＣＰＵ９００１、コーデックＩＣ９００２、Ｉ／Ｏインターフェース９００３、メモリ９００４、光学ディスクドライブ９００５、ネットワークインターフェース９００６、ビデオインターフェース９００９を有し、各部はバス９０１０により接続される。
　画像符号化部９００７と画像復号部９００８は、典型的にはコーデックＩＣ９００２として実装される。本発明の実施の形態に係る画像符号化装置の画像符号化処理は、画像符号化部９００７により実行され、本発明の実施の形態に係る画像復号装置における画像復号処理は、画像符号化部９００７により実行される。Ｉ／Ｏインターフェース９００３は、例えばＵＳＢインターフェースにより実現され、外部のキーボード９１０４、マウス９１０５等と接続する。ＣＰＵ９００１は、Ｉ／Ｏインターフェース９００３を介して入力したユーザー操作に基づき、ユーザーの所望する動作を実行するように符号化復号装置９０００を制御する。キーボード９１０４、マウス９１０５等によるユーザーの操作としては、符号化、復号のどちらの機能を実行するかの選択、符号化品質の設定、符号化ストリームの入出力先、画像の入出力先等がある。
　ユーザーがディスク記録媒体９１００に記録された画像を再生する操作を所望する場合、光学ディスクドライブ９００５は、挿入されたディスク記録媒体９１００から符号化ビットストリームを読出し、読み出した符号化ストリームを、バス９０１０を介してコーデックＩＣ９００２の画像復号部９００８に送る。画像復号部９００８は入力した符号化ビットストリームに対して本発明の実施の形態に係る画像復号装置における画像復号処理を実行し、復号画像を、ビデオインターフェース９００９を介して外部のモニタ９１０３へ送る。また、符号化復号装置９０００は、ネットワークインターフェース９００６を有し、ネットワーク９１０１を介して、外部の配信サーバ９１０６や、携帯端末９１０７と接続可能である。ユーザーがディスク記録媒体９１００に記録された画像に変えて、配信サーバ９１０６や携帯端末９１０７に記録された画像を再生することを所望する場合は、ネットワークインターフェース９００６は、入力されたディスク記録媒体９１００から符号化ビットストリームを読出すことに変えて、ネットワーク９１０１より符号化ストリームを取得する。また、ユーザーがメモリ９００４に記録された画像を再生することを所望する場合は、メモリ９００４に記録された符号化ストリームに対して、本発明の実施の形態に係る画像復号装置における画像復号処理を実行する。
　ユーザーが外部のカメラ９１０２で撮像した画像を符号化しメモリ９００４に記録する操作を所望する場合、ビデオインターフェース９００９は、カメラ９１０２から画像を入力し、バス９０１０を介し、コーデックＩＣ９００２の画像符号化部９００７に送る。画像符号化部９００７は、ビデオインターフェース９００９を介して入力した画像に対して本発明の実施の形態に係る画像符号化装置における画像符号化処理を実行し、符号化ビットストリームを作成する。そして符号化ビットストリームを、バス９０１０を介し、メモリ９００４へ送る。ユーザーがメモリ９００４に変えて、ディスク記録媒体９１００に符号化ストリームを記録することを所望する場合は、光学ディスクドライブ９００５は、挿入されたディスク記録媒体９１００に対し符号化ストリームの書き出しを行う。
　画像符号化装置を有し画像復号装置を有さないハードウェア構成や、画像復号装置を有し画像符号化装置を有さないハードウェア構成を実現することも可能である。そのようなハードウェア構成は、例えばコーデックＩＣ９００２が、画像符号化部９００７、または画像復号部９００８にそれぞれ置き換わることにより実現される。
　以上の符号化及び復号化に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現しても良いのは勿論のこと、ＲＯＭ（リード・オンリー・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによって実現しても良い。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供しても良いし、有線あるいは無線のネットワークを通してサーバから提供しても良いし、地上波あるいは衛星ディジタル放送のデータ放送として提供しても良い。
　以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　本発明は、画像の符号化及び復号化を行う技術に利用できる。
　１００　画像符号化装置、　１０１　ブロック分割部、　１０２　予測画像生成部、　１０３　残差信号生成部、　１０４　直交変換・量子化部、　１０５　符号化部、　１０６　逆量子化・逆直交変換部、　１０７　復号画像信号重畳部、　１０８　復号画像メモリ、　２００　画像復号化装置、　２０１　復号化部、　２０２　ブロック分割部、　２０３　逆量子化・逆直交変換部、　２０４　予測画像生成部、　２０５　復号画像信号重畳部、　２０６　復号画像メモリ。

Claims (6)

  1. 　分割されたブロック単位で画像の復号化を行う画像復号化装置であって、
    　対象ブロックのブロック分割情報を復号化する復号化部と、
    　前記ブロック分割情報に基づいて所定サイズの矩形に再帰的に前記画像を分割して前記対象ブロックを生成するブロック分割部とを備え、
    　前記ブロック分割部は、
    　再帰的分割における前記対象ブロックを水平方向と垂直方向とを各々半分に４分割して４つのブロックを生成する４分割部と、
    　再帰的分割における前記対象ブロックを水平方向または垂直方向に２分割または３分割して２つまたは３つのブロックを生成する２－３分割部とを含み、
    　前記２－３分割部は、
    　前記対象ブロックを水平方向に分割したとすると、分割された前記対象ブロックがピクチャ境界の右側を超える場合は、前記対象ブロックを水平方向に分割することを禁止し、前記対象ブロックを垂直方向に分割したとすると、分割された前記対象ブロックがピクチャ境界の下側を超える場合は、前記対象ブロックを垂直方向に分割することを禁止する、
    　ことを特徴とする画像復号化装置。
  2. 　前記４分割部は、前記対象ブロックを４分割しない場合に、
    　前記２－３分割部は、前記対象ブロックをいずれかの方向に２分割したとすると、分割された前記対象ブロックがピクチャ境界の右下側を超える場合は、前記対象ブロックを２分割することを禁止する、
    　ことを特徴とする請求項１に記載の画像復号化装置。
  3. 　分割されたブロック単位で画像の復号化を行う画像復号化装置であって、
    　対象ブロックのブロック分割情報を復号化する復号化部と、
    　前記ブロック分割情報に基づいて所定サイズの矩形に再帰的に前記画像を分割して前記対象ブロックを生成するブロック分割部とを備え、
    　前記ブロック分割部は、
    　再帰的分割における前記対象ブロックを水平方向と垂直方向とを各々半分に４分割して４つのブロックを生成する４分割部と、
    　再帰的分割における前記対象ブロックを水平方向または垂直方向に２分割または３分割して２つまたは３つのブロックを生成する２－３分割部とを含み、
    　前記２－３分割部は、
    　前記対象ブロックをいずれかの方向に分割したとすると、分割された前記対象ブロックがピクチャ境界を超える場合、かつブロック分割の深度が予め定められた制限深度に達した場合、あるいは分割するブロックに含まれるピクチャ境界を超えた位置の画素の数または割合が予め定められた値より大きい場合、その方向のブロック分割を禁止する、
    　ことを特徴とする画像復号化装置。
  4. 　分割されたブロック単位で画像の復号化を行う画像復号化装置であって、
    　対象ブロックのブロック分割情報を復号化する復号化部と、
    　前記ブロック分割情報に基づいて所定サイズの矩形に再帰的に前記画像を分割して前記対象ブロックを生成するブロック分割部とを備え、
    　前記ブロック分割部は、
    　再帰的分割における前記対象ブロックを水平方向と垂直方向とを各々半分に４分割して４つのブロックを生成する４分割部と、
    　再帰的分割における前記対象ブロックを水平方向または垂直方向に２分割または３分割して２つまたは３つのブロックを生成する２－３分割部とを含み、
    　前記２－３分割部は、
    　前記対象ブロックを分割したとすると、ピクチャ境界を超える位置の画素が、分割された前記対象ブロック内に最も多く含まれるように前記対象ブロックの分割方向を決定する、
    　ことを特徴とする画像復号化装置。
  5. 　分割されたブロック単位で画像の復号化を行う画像復号化方法であって、
    　対象ブロックのブロック分割情報を復号化する復号化ステップと、
    　前記ブロック分割情報に基づいて所定サイズの矩形に再帰的に前記画像を分割して前記対象ブロックを生成するブロック分割ステップとを備え、
    　前記ブロック分割ステップは、
    　再帰的分割における前記対象ブロックを水平方向と垂直方向とを各々半分に４分割して４つのブロックを生成する４分割ステップと、
    　再帰的分割における前記対象ブロックを水平方向または垂直方向に２分割または３分割して２つまたは３つのブロックを生成する２－３分割ステップとを含み、
    　前記２－３分割ステップは、
    　前記対象ブロックを水平方向に分割したとすると、分割された前記対象ブロックがピクチャ境界の右側を超える場合は、前記対象ブロックを水平方向に分割することを禁止し、前記対象ブロックを垂直方向に分割したとすると、分割された前記対象ブロックがピクチャ境界の下側を超える場合は、前記対象ブロックを垂直方向に分割することを禁止する、
    　ことを特徴とする画像復号化方法。
  6. 　分割されたブロック単位で画像の復号化を行う画像復号化プログラムであって、
    　対象ブロックのブロック分割情報を復号化する復号化ステップと、
    　前記ブロック分割情報に基づいて所定サイズの矩形に再帰的に前記画像を分割して前記対象ブロックを生成するブロック分割ステップとを備え、
    　前記ブロック分割ステップは、
    　再帰的分割における前記対象ブロックを水平方向と垂直方向とを各々半分に４分割して４つのブロックを生成する４分割ステップと、
    　再帰的分割における前記対象ブロックを水平方向または垂直方向に２分割または３分割して２つまたは３つのブロックを生成する２－３分割ステップとを含み、
    　前記２－３分割ステップは、
    　前記対象ブロックを水平方向に分割したとすると、分割された前記対象ブロックがピクチャ境界の右側を超える場合は、前記対象ブロックを水平方向に分割することを禁止し、前記対象ブロックを垂直方向に分割したとすると、分割された前記対象ブロックがピクチャ境界の下側を超える場合は、前記対象ブロックを垂直方向に分割することを禁止する、
    　ことを特徴とする画像復号化プログラム。
PCT/JP2019/046812 2018-11-30 2019-11-29 画像復号化装置、画像復号化方法及び画像復号化プログラム WO2020111240A1 (ja)

Priority Applications (15)

Application Number Priority Date Filing Date Title
CN202211172912.8A CN115442605A (zh) 2018-11-30 2019-11-29 图像解码装置和方法、以及图像编码装置和方法
EP19889919.7A EP3890318A4 (en) 2018-11-30 2019-11-29 IMAGE DECODING DEVICE, IMAGE DECODING METHOD, AND IMAGE DECODING PROGRAM
CN202110120276.3A CN112911287B (zh) 2018-11-30 2019-11-29 图像解码装置和方法、以及图像编码装置和方法
RU2021107657A RU2769965C1 (ru) 2018-11-30 2019-11-29 Устройство для декодирования изображения и способ декодирования изображения
KR1020227035085A KR20220140874A (ko) 2018-11-30 2019-11-29 화상 복호화 장치, 화상 복호화 방법 및 화상 복호화 프로그램
CN202211172670.2A CN115442603A (zh) 2018-11-30 2019-11-29 图像解码装置和方法、以及图像编码装置和方法
KR1020207037259A KR20210015900A (ko) 2018-11-30 2019-11-29 화상 복호화 장치, 화상 복호화 방법 및 화상 복호화 프로그램
MX2021003466A MX2021003466A (es) 2018-11-30 2019-11-29 Dispositivo de decodificacion de imagenes, metodo de decodificacion de imagenes y programa de decodificacion de imagenes.
CN202211172685.9A CN115442604A (zh) 2018-11-30 2019-11-29 图像解码装置和方法、以及图像编码装置和方法
CA3119628A CA3119628A1 (en) 2018-11-30 2019-11-29 Picture decoding device and method, and picture decoding device and method
BR112021004638-0A BR112021004638B1 (pt) 2018-11-30 2019-11-29 Dispositivo de decodificação de imagem, método de decodificação de imagem, dispositivo de codificação de imagem e método de codificação de imagem
CN201980044819.9A CN112385218A (zh) 2018-11-30 2019-11-29 图像解码装置、图像解码方法以及图像解码程序
US17/205,145 US11924420B2 (en) 2018-11-30 2021-03-18 Picture decoding device, picture decoding method, and picture decoding program
ZA2021/02036A ZA202102036B (en) 2018-11-30 2021-03-25 Image decoding device, image decoding method, and image decoding program
US18/422,130 US20240163432A1 (en) 2018-11-30 2024-01-25 Picture decoding device, picture decoding method, and picture decoding program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018225467 2018-11-30
JP2018-225467 2018-11-30
JP2019181258A JP6835177B2 (ja) 2018-11-30 2019-10-01 画像復号化装置、画像復号化方法及び画像復号化プログラム
JP2019-181258 2019-10-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/205,145 Continuation US11924420B2 (en) 2018-11-30 2021-03-18 Picture decoding device, picture decoding method, and picture decoding program

Publications (1)

Publication Number Publication Date
WO2020111240A1 true WO2020111240A1 (ja) 2020-06-04

Family

ID=70853513

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/046812 WO2020111240A1 (ja) 2018-11-30 2019-11-29 画像復号化装置、画像復号化方法及び画像復号化プログラム

Country Status (1)

Country Link
WO (1) WO2020111240A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015526008A (ja) 2012-06-27 2015-09-07 オランジュ 少なくとも１つの第２の画像成分の参照ブロックに対して第１の画像成分の現在ブロックを符号化するための方法、符号化装置および対応するコンピュータプログラム
WO2018070550A1 (ko) * 2016-10-10 2018-04-19 삼성전자 주식회사 픽처 외곽선의 부호화 단위를 부호화 또는 복호화하는 방법 및 장치
WO2018110600A1 (ja) * 2016-12-16 2018-06-21 シャープ株式会社 画像復号装置、および画像符号化装置
WO2018177741A1 (en) * 2017-03-27 2018-10-04 Thomson Licensing Methods and apparatus for picture encoding and decoding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015526008A (ja) 2012-06-27 2015-09-07 オランジュ 少なくとも１つの第２の画像成分の参照ブロックに対して第１の画像成分の現在ブロックを符号化するための方法、符号化装置および対応するコンピュータプログラム
WO2018070550A1 (ko) * 2016-10-10 2018-04-19 삼성전자 주식회사 픽처 외곽선의 부호화 단위를 부호화 또는 복호화하는 방법 및 장치
WO2018110600A1 (ja) * 2016-12-16 2018-06-21 シャープ株式会社 画像復号装置、および画像符号化装置
WO2018177741A1 (en) * 2017-03-27 2018-10-04 Thomson Licensing Methods and apparatus for picture encoding and decoding

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HSIANG , SHIH-TA ET AL.: "CE1.2.0.10: CU partitioning along picture boundaries", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/ IEC JTC 1/SC 29/WG 11 11TH MEETING, July 2018 (2018-07-01), Ljubljana, SI, pages 1 - 3, XP030195803 *
HSU, CHIHWEI ET AL.: "Description of SDR video coding technology proposal by MediaTek", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 10TH MEETING, April 2018 (2018-04-01), San Diego, US, pages i - iii, XP030151179 *
JVET, VERSATILE VIDEO CODING (DRAFT 2, July 2018 (2018-07-01)
XU, MENG ET AL.: "CE1-1. 3.1: Partial CU for picture boundary handling", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 12TH MEETING, September 2018 (2018-09-01), Macao, CN, pages 1 - 4, XP030191037 *
ZHU, WEIJIA ET AL.: "CE1: Implicit QT, BT and MTT Partitions on Picture Boundary (Test 2.0.15", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 11TH MEETING, July 2018 (2018-07-01), Ljubljana, SI, pages 1 - 7, XP030195874 *

Similar Documents

Publication Publication Date Title
JP7422917B2 (ja) Ｍｉｐ及びｌｆｎｓｔを行う画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
CN109845257B (zh) 图像编码装置和方法、图像解码装置和方法、及存储介质
JP2023099775A (ja) 画像復号化装置、画像復号化方法及び画像復号化プログラム
WO2020111240A1 (ja) 画像復号化装置、画像復号化方法及び画像復号化プログラム
JP2020096346A (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム
RU2783041C2 (ru) Устройство для декодирования изображения, способ декодирования изображения, устройство для кодирования изображения и способ кодирования изображения
JP7208486B2 (ja) 画像復号化装置、画像復号化方法及び画像復号化プログラム
JP2020088804A (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム
JP7276549B2 (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
JP2021052426A (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
JP7148236B2 (ja) 符号化装置及びその制御方法及びプログラム
JP2020010342A (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19889919

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 20207037259

Country of ref document: KR

Kind code of ref document: A

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112021004638

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 3119628

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 112021004638

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20210311

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019889919

Country of ref document: EP

Effective date: 20210630