WO2014155543A1 - 符号化装置、方法、プログラム、コンピュータシステム、記録媒体 - Google Patents

符号化装置、方法、プログラム、コンピュータシステム、記録媒体 Download PDF

Info

Publication number
WO2014155543A1
WO2014155543A1 PCT/JP2013/058864 JP2013058864W WO2014155543A1 WO 2014155543 A1 WO2014155543 A1 WO 2014155543A1 JP 2013058864 W JP2013058864 W JP 2013058864W WO 2014155543 A1 WO2014155543 A1 WO 2014155543A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
motion vector
target frame
depth
frame
Prior art date
Application number
PCT/JP2013/058864
Other languages
English (en)
French (fr)
Inventor
芳 印
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2013/058864 priority Critical patent/WO2014155543A1/ja
Priority to JP2015507753A priority patent/JP6090430B2/ja
Publication of WO2014155543A1 publication Critical patent/WO2014155543A1/ja
Priority to US14/767,546 priority patent/US20160057429A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria

Definitions

  • the present invention relates to an encoding device, a computer system, an encoding method, an encoding program, and a recording medium.
  • a block similar to a target block obtained by dividing a target frame to be encoded in a moving image is searched from a reference frame as a reference destination, and a spatial position difference from the target block to a similar block is targeted.
  • a technique for detecting a motion vector of a block is searched from a reference frame as a reference destination, and a spatial position difference from the target block to a similar block is targeted.
  • the size and reliability of a region motion vector of a reduced divided region image obtained by generating a reduced encoding target image and a reduced reference image and dividing the reduced encoding target image into a plurality of regions are narrowed down based on the above.
  • a new evaluation value is calculated from the difference information for a plurality of block sizes selected based on the evaluation value generated from the difference information between the signal obtained by filtering the input signal of the motion compensation prediction method and the moving image signal.
  • the block size of the target block is made variable and a motion vector candidate is obtained for each block size candidate that is a candidate for the block size, the amount of calculation for motion vector detection increases.
  • the present invention provides an encoding device, a computer system, an encoding method, an encoding program, and a recording medium that can reduce the amount of calculation for motion vector detection while suppressing deterioration in image quality.
  • the purpose is to do.
  • a motion vector of a block is selected from a plurality of block size candidates of blocks divided from the reference frame.
  • One of dividing the target frame from a plurality of block size candidates based on the identified block size when the block size at the time of detection is specified and the motion vector of the block divided from the target frame is detected An encoding device, a computer system, an encoding method, an encoding program, and a recording medium that select block size candidates are proposed.
  • FIG. 1 is an explanatory diagram illustrating an operation example of the encoding apparatus according to the present embodiment.
  • FIG. 2 is a block diagram illustrating an example of hardware of a computer system.
  • FIG. 3 is a block diagram illustrating a hardware configuration example of the encoding device.
  • FIG. 4 is an explanatory diagram showing an example of the relationship between CTB and CU.
  • FIG. 5 is an explanatory diagram showing an example of the type of CU.
  • FIG. 6 is an explanatory diagram showing an example of the type of PU.
  • FIG. 7 is a block diagram illustrating an example of functions of the encoding device.
  • FIG. 8 is an explanatory diagram illustrating an example of the depth of a reference frame.
  • FIG. 1 is an explanatory diagram illustrating an operation example of the encoding apparatus according to the present embodiment.
  • FIG. 2 is a block diagram illustrating an example of hardware of a computer system.
  • FIG. 3 is a block diagram illustrating a hardware configuration example of the
  • FIG. 9 is an explanatory diagram illustrating a first example of a depth candidate that performs motion vector detection of a target frame.
  • FIG. 10 is an explanatory diagram illustrating a second example of a depth candidate that performs motion vector detection of a target frame.
  • FIG. 11 is an explanatory diagram illustrating a third example of a depth candidate that performs motion vector detection of a target frame.
  • FIG. 12 is a flowchart illustrating a first example of the motion vector detection processing procedure in the target frame.
  • FIG. 13 is a flowchart illustrating a second example of the motion vector detection processing procedure in the target frame.
  • FIG. 14 is a flowchart illustrating an example of a first motion vector detection processing procedure.
  • FIG. 15 is a flowchart illustrating an example of the second motion vector detection processing procedure.
  • FIG. 1 is an explanatory diagram showing an operation example of the encoding apparatus according to the present embodiment.
  • the encoding device 100 is a computer that detects a motion vector.
  • the encoding apparatus 100 encodes a moving image for each block into which a frame is divided in accordance with a standard defined by HEVC (High Efficiency Video Coding).
  • HEVC High Efficiency Video Coding
  • H.264 and MPEG (Moving Picture Experts Group) -2 divide each frame constituting a moving image into blocks of 16 ⁇ 16 [pixels], and perform an encoding process for each divided block.
  • HEVC provides a method in which the degree of freedom of the block size of the divided blocks is increased.
  • a frame is divided into N ⁇ N [pixel] square blocks, where N is an integer.
  • a square block of N ⁇ N [pixels] is referred to as LCU (Large Coding Unit).
  • N is set to 64.
  • LCU is divided
  • the CTB is divided into blocks called CU (Coding Unit). The relationship between CTB and CU will be described later with reference to FIG.
  • a 64 ⁇ 64 [pixel] CU is defined as Depth0.
  • a 32 ⁇ 32 [pixel] CU is defined as Depth1.
  • a 16 ⁇ 16 [pixel] CU is defined as Depth2.
  • the CU of 8 ⁇ 8 [pixel] is defined as Depth3.
  • the size of the CU is referred to as “Depth”. Further, the CU block size candidates are hereinafter simply referred to as “Depth candidates”. Depth will be described with reference to FIG. Further, in HEVC, a CU is further divided into PUs (Prediction Units) as a unit for performing inter-frame prediction. The type of PU will be described later with reference to FIG.
  • PUs Prediction Units
  • the position coordinates of an object with respect to a reference frame of a block are evaluated in the target frame to be encoded, and the position coordinates of the most similar block are detected.
  • the motion vector represents from the position coordinate of a certain block to the position coordinate of the most similar block.
  • an apparatus that performs encoding in accordance with the standard defined by HEVC performs a process of determining a motion vector candidate of a CU for each depth candidate of a plurality of depth candidates. Then, the encoding apparatus detects the most similar motion vector candidate as a motion vector from the CU motion vector candidates for each Depth candidate. Specifically, a motion vector is determined for each PU into which a CU is divided, but in FIG. 1, for the sake of simplification of description, “detect a CU motion vector” is described.
  • the encoding apparatus uses an evaluation value representing a difference between a pixel value of a block divided according to each depth candidate and a pixel value of a reference block indicated by a motion vector candidate within a search range on the reference frame. Is calculated. Then, the encoding apparatus uses the motion vector candidate having the smallest evaluation value as the motion vector candidate of the block for each depth candidate. Subsequently, the encoding apparatus detects a motion vector candidate having the smallest evaluation value as a motion vector from the motion vector candidates of the block for each depth candidate.
  • a specific example of the evaluation value will be described later with reference to FIG.
  • a device that performs encoding according to the standard defined by HEVC encodes the vicinity of the edge portion in the CTB with the size of the CU as a detailed unit, and the portion with a flat change is the size of the CU as a large unit. It becomes possible to encode with.
  • motion vector candidates are obtained for each CU size, and the amount of calculation for motion vector detection processing increases.
  • the encoding apparatus 100 when performing the motion vector detection of the block of the target frame, uses a block size that approximates the block size adopted when detecting the motion vector of the block of the reference frame. As a result, the encoding apparatus 100 can reduce the amount of calculation required for the motion vector detection process while suppressing deterioration of the image quality of the encoded moving image.
  • FIG. 1 a target frame tF to be encoded in a series of frames and a reference frame rF that is a reference destination of the target frame tF are displayed. It is assumed that a series of frames is a moving image in which a change such as the sky is small.
  • the reference frame rF is an already encoded frame.
  • the target frame tF shown in FIG. 1 is a copy of the state in which the cloud shown in the reference frame rF shown in FIG. 1 has moved leftward. Thus, the reference frame rF and the target frame tF are likely to be similar images.
  • the encoding apparatus 100 assumes that a motion vector candidate of a block divided by 32 ⁇ 32 [pixel] which is Depth 1 among the four types of Depth candidates for a certain CTB of the reference frame rF is the most similar.
  • the encoding apparatus 100 specifies the Depth when the motion vector of the CU is detected from the plurality of Depth candidates divided from the reference frame rF.
  • the encoding device 100 specifies Depth as the size of the CU.
  • the encoding apparatus 100 when detecting a motion vector of a CU that is divided from the target frame tF, is any one that divides the target frame tF among the plurality of Depth candidates based on the specified size of the CU.
  • the depth candidates are selected. There may be one or more depth candidates.
  • the encoding apparatus 100 selects Depth 0 to Depth 2 that approximates Depth 1 from among a plurality of Depth candidates as one of the Depth candidates. After selecting a depth candidate, the encoding apparatus 100 determines a motion vector candidate for each CU divided by the size of the selected CU for each of the selected depth candidates.
  • the encoding apparatus 100 obtains motion vector candidates by focusing on one of the selected depth candidate motion vectors, thereby suppressing deterioration in image quality and reducing the amount of calculation for motion vector detection. be able to.
  • the process of determining motion vector candidates for a plurality of depth candidates and detecting the motion vector is referred to as a first motion vector detection process.
  • the process of determining a motion vector candidate of any one of the selected depth candidates from among the plurality of depth candidates and detecting the motion vector is referred to as a second motion vector detection process.
  • the encoding apparatus 100 will be described with reference to FIGS.
  • the computer system 200 is a system having a function of recording / reproducing moving images, for example, and is specifically a personal computer, a television, a recorder, a smartphone, a video camera, a digital camera, or the like.
  • FIG. 2 is a block diagram showing an example of computer system hardware.
  • the computer system 200 includes a CPU (Central Processing Unit) 201, a ROM (Read-Only Memory) 202, and a RAM (Random Access Memory) 203.
  • the computer system 200 includes an image sensor 204, an image sensor I / F (InterFace) 205, an operation panel 206, a recording medium 207, an external I / F 208, and the encoding device 100.
  • a CPU Central Processing Unit
  • ROM Read-Only Memory
  • RAM Random Access Memory
  • the computer system 200 includes a display 209 and a display output I / F 210.
  • the CPU 201 to RAM 203, the image sensor I / F 205, the external I / F 208, the display output I / F 210, and the encoding device 100 are connected to each other via a bus 211.
  • the CPU 201 is an arithmetic processing unit that controls the entire computer system 200.
  • the ROM 202 is a non-volatile memory that stores programs such as a boot program of the computer system 200.
  • a RAM 203 is a volatile memory used as a work area for the CPU 201.
  • the image sensor 204 is a device that converts light emitted from an object into an electrical signal.
  • the image sensor 204 is a CCD (Charge Coupled Device) image sensor, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, or the like.
  • the image sensor I / F 205 is a device that converts the signal from the image sensor 204 into an image format and stores it in the RAM 203 by controlling the image sensor 204 during recording.
  • the operation panel 206 is a liquid crystal touch panel or operation buttons that the computer system 200 has.
  • the recording medium 207 is a storage device such as a flash ROM. Further, the recording medium 207 may record the encoding program according to the present embodiment.
  • the external I / F 208 controls the operation panel 206 and the recording medium 207. Further, the external I / F 208 may be connected to a device other than the computer system 200 through a network such as a LAN (Local Area Network), a WAN (Wide Area Network), or the Internet through a communication line.
  • LAN Local Area Network
  • WAN Wide Area Network
  • Display 209 displays the image format recorded by image sensor 204.
  • the display output I / F 210 controls the display 209.
  • FIG. 3 is a block diagram illustrating a hardware configuration example of the encoding device.
  • the encoding apparatus 100 includes a prediction error signal generation unit 301, an integer conversion unit 302, a quantization unit 303, an entropy encoding unit 304, an inverse quantization unit 305, an inverse integer conversion unit 306, and a reference frame generation Unit 307 and a loop filter processing unit 308. Furthermore, the encoding apparatus 100 includes a frame memory 309, an intra-frame prediction unit 310, a motion detection unit 311, a motion compensation unit 312, and a predicted image selection unit 313.
  • the integer conversion unit 302 outputs a signal obtained by performing integer conversion on the prediction error signal from the prediction error signal generation unit 301.
  • the quantization unit 303 quantizes the output signal from the integer conversion unit 302. The code amount of the prediction error signal is reduced by the processing of the quantization unit 303.
  • the entropy encoding unit 304 entropy-encodes the quantized data from the quantization unit 303, the output data from the intra-frame prediction unit 310, and the motion vector information output from the motion detection unit 311 to obtain the target frame tF.
  • the encoded image data for is output.
  • Data obtained by outputting encoded image data for each frame of the input moving image is an output moving image.
  • entropy coding refers to a coding method in which a variable-length code is assigned according to the appearance frequency of a symbol.
  • the inverse quantization unit 305 inversely quantizes the quantized data from the quantization unit 303.
  • the inverse integer transform unit 306 performs an inverse integer transform process on the output data from the inverse quantization unit 305. By the process of the inverse integer transform unit 306, a signal comparable to the prediction error signal before encoding can be obtained.
  • the reference frame generation unit 307 adds the pixel value of the PU subjected to motion compensation by the motion compensation unit 312 and the prediction error signal decoded by the inverse quantization unit 305 and the inverse integer transform unit 306. Through the processing of the reference frame generation unit 307, the pixel value of the PU of the reference frame rF subjected to motion compensation is generated.
  • the loop filter processing unit 308 performs a deblocking filter, a sample adaptive offset (SAO) and an adaptive loop filter (ALF) on the pixel value of the PU, and blocks noise. After the occurrence is suppressed, it is stored in the frame memory 309.
  • SAO sample adaptive offset
  • ALF adaptive loop filter
  • the intra-frame prediction unit 310 generates a macro block of a predicted image from surrounding pixels in the same frame.
  • the motion detection unit 311 calculates and outputs a motion vector based on the pixel value of the input moving image and the data of the reference frame rF read from the frame memory 309. Details of the motion detector 311 will be described later with reference to FIG.
  • the motion compensation unit 312 Based on the motion vector output from the motion detection unit 311, the motion compensation unit 312 performs motion compensation on the data of the reference frame rF read from the frame memory 309, thereby generating a PU of the motion compensated prediction image To do.
  • the predicted image selection unit 313 selects a macroblock of a predicted image output from either the intra-frame prediction unit 310 or the motion compensation unit 312 and outputs the selected macroblock to the prediction error signal generation unit 301 and the reference frame generation unit 307.
  • CTB, CU, and PU defined by HEVC will be described with reference to FIGS.
  • FIG. 4 is an explanatory diagram showing an example of the relationship between CTB and CU.
  • the LCU is divided into CTBs that are sub-blocks that perform transformation, quantization, and the like.
  • CTB 16 ⁇ 16 [pixel]
  • Depth that can be taken by the CU is Depth2 and Depth3.
  • the depth that the CU can take is Depth1 to Depth3.
  • CTB is recursively divided by quad tree block division according to the characteristics of image data. Specifically, the CTB is divided into four areas, and the process of subdividing the divided area into four areas is repeated. An area obtained by this division is called a CU.
  • the CU is the basic unit of the encoding process. In a moving image that uses quadtree block division, the edge portion where the change in the image is abrupt and the vicinity of the edge portion are encoded with a block of detailed units, and the portion where the change is flat is encoded with a block of a large unit.
  • an apparatus that performs encoding by quadtree block division encodes a part where an object outline or the like is displayed in a detailed unit in an image with a moving image to be encoded in fine units, It is possible to encode a portion with little change in a rough unit.
  • the type of CU will be described with reference to FIG.
  • FIG. 5 is an explanatory diagram showing an example of the type of CU.
  • the types of CUs are 64 ⁇ 64 [pixel] which is Depth0, 32 ⁇ 32 [pixel] which is Depth1, 16 ⁇ 16 [pixel] which is Depth2, and 8 ⁇ which is Depth3.
  • the CU performs inter-frame prediction in units of PU.
  • the type of PU will be described with reference to FIG.
  • FIG. 6 is an explanatory diagram showing an example of the type of PU.
  • a CU includes one or more PUs.
  • the PU can be selected from three types: the same size as the CU, two divisions in the horizontal direction, and two divisions in the vertical direction.
  • PU size when the CU is Depth0, there are three types of PUs: 64 ⁇ 64 [pixels], 64 ⁇ 32 [pixels], and 32 ⁇ 64 [pixels]. As shown in FIG. 6, there are 12 types of PUs from 8 ⁇ 8 [pixel] to 64 ⁇ 64 [pixel]. The size of the PU is referred to as “PU size”.
  • FIG. 7 is a block diagram illustrating an example of functions of the encoding device.
  • the encoding apparatus 100 includes a determination unit 701, a specification unit 702, a selection unit 703, a calculation unit 704, and a detection unit 705.
  • the determination unit 701 to the detection unit 705 may implement the functions of the determination unit 701 to the detection unit 705 by causing the CPU 201 to execute a program stored in the storage device.
  • the storage device is, for example, the ROM 202, the RAM 203, the recording medium 207, etc. shown in FIG.
  • the encoding apparatus 100 can access the depth candidate table 711.
  • the depth candidate table 711 is stored in a storage area in the encoding device 100 or a storage device such as the ROM 202, the RAM 203, and the recording medium 207.
  • An example of the contents stored in the depth candidate table 711 is shown in FIGS.
  • the determining unit 701 determines whether the target frame tF is a frame in a predetermined order in a series of frames. Further, the determination unit 701 may determine whether or not a value representing a difference between the pixel value of the target frame tF and the pixel value of the reference frame rF is less than a predetermined threshold value.
  • the predetermined order and the predetermined threshold are numerical values specified by the developer of the encoding device 100 or the user of the encoding device 100.
  • the predetermined order is 2nd to 9th, 11th to 19th, and so on.
  • the determination unit 701 may determine whether the target frame tF is not a frame in a predetermined order in a series of frames. At this time, the predetermined order is first, tenth, twentieth,... For example, the determination unit 701 determines whether or not the difference between the average pixel value of the target frame tF and the average pixel value of the reference frame rF is less than a predetermined threshold. Details will be described later with reference to FIG. Note that the determination result is stored in a storage area in the encoding device 100.
  • the identifying unit 702 identifies Depth for the reference frame rF when the motion vector of each PU in the CU is detected from among a plurality of Depth candidates of blocks divided from the reference frame rF.
  • the specifying unit 702 may specify a depth that is divided from the reference frame rF. For example, when the determining unit 701 determines that the frames are second to ninth, eleventh to nineteenth,... In a predetermined order, the specifying unit 702 specifies Depth divided from the reference frame rF. May be. Note that the determination unit 701 may determine a case where the specifying unit 702 is not executed.
  • the identifying unit 702 may identify the block size when the determining unit 701 determines that the value is less than a predetermined threshold. Note that the specified Depth is stored in a storage area in the encoding device 100.
  • the selection unit 703 When the selection unit 703 detects a motion vector of each PU in the CU divided from the target frame tF, the selection unit 703 divides the target frame tF among the plurality of depth candidates based on the Depth specified by the specification unit 702. One of the depth candidates to be selected is selected. A specific selection procedure will be described later with reference to FIGS.
  • the selection unit 703 may select any Depth candidate that divides the target frame tF among the plurality of Depth candidates based on the relatively small Depth of each Depth of the plurality of Depths. Good. Further, when a plurality of depths are specified, the selection unit 703 selects any one of the depths for dividing the target frame tF among the plurality of depth candidates based on the number of CUs divided according to the depths of the depths. Candidates may be selected. The case where a plurality of depths are specified will be described later with reference to FIG. Further, the selected depth candidate is stored in a storage area in the encoding device 100.
  • the calculation unit 704 corresponds to any depth candidate selected by the selection unit 703, the pixel value of each CU divided according to any depth candidate from the target frame tF, and the search range on the reference frame rF.
  • An evaluation value representing a difference from the pixel value of the block is calculated. A specific example of calculating the evaluation value will be described in the later-described equation (2).
  • the detection unit 705 detects the motion vector of the block into which the target frame tF is divided based on the evaluation value of each block divided according to any block size candidate calculated by the calculation unit 704. A specific example of detection will be described later with reference to FIGS. 14 and 15.
  • the calculated motion vector is stored in a storage area in the encoding device 100.
  • FIG. 8 is an explanatory diagram showing an example of the depth of the reference frame.
  • the encoding apparatus 100 specifies the depth result of the reference frame rF based on the CU included in the CTB of the reference frame rF. At this time, a case where a plurality of Depth results of the reference frame rF are specified will be described with reference to (a) of FIG. 8 and (b) of FIG.
  • the encoding apparatus 100 selects any depth candidate that divides the target frame tF based on the CU having the smallest size among the CUs included in the CTB of the reference frame rF.
  • FIG. 8B illustrates an example in which one of the block size candidates for dividing the target frame tF is selected based on the CU having the largest number among the CUs included in the CTB of the reference frame rF.
  • the encoding apparatus 100 selects any depth candidate that divides the target frame tF based on the depth 2 with the smallest depth.
  • the CTB shown in FIG. 8B includes two CUs of 32 ⁇ 32 [pixels] that are Depth1, seven CUs of 16 ⁇ 16 [pixels] that are Depth2, and 8 ⁇ 8 [ Pixel] four CUs.
  • the encoding apparatus 100 selects any depth candidate that divides the target frame tF based on Depth 2 having the largest number.
  • the depth candidate table 711 shown in FIGS. 9 to 11 is a table for storing depth candidates for each depth.
  • “Depth” of each record is omitted for simplification of display.
  • the depth candidate table 711 will be described with reference to FIG.
  • FIG. 9 is an explanatory diagram illustrating a first example of a depth candidate that performs motion vector detection of a target frame.
  • the depth candidate table 711 shown in FIG. 9 has records 901-1 to 901-4.
  • the depth candidate table 711 has two fields: a reference frame depth and a target frame depth candidate.
  • the reference frame depth field the depth result of the reference frame rF serving as a search key is stored.
  • the target frame depth candidate field the value of the depth candidate of the target frame tF corresponding to the identified reference frame depth described in FIG. 8 is stored.
  • the record 901-2 indicates that when the reference frame Depth is Depth1, the target frame Depth candidates are Depth0 to Depth2.
  • the record 901-2 and the record 901-3 store a depth of the same size as the reference frame depth, a smaller depth, and a larger depth as the approximate depth in the target frame depth candidate field.
  • the record 901-1 stores Depth0 to Depth2 in the target frame Depth candidate field because the reference frame Depth is Depth0 having the largest Depth. Also, the record 901-1 may store Depth0 in the reference frame Depth field, and store Depth0 and Depth1 in the target frame Depth candidate field.
  • FIG. 10 is an explanatory diagram illustrating a second example of a depth candidate that performs motion vector detection of a target frame.
  • the depth candidate table 711 illustrated in FIG. 10 includes records 1001-1 to 1001-4.
  • the record 1001-2 indicates that when the reference frame Depth is Depth1, the target frame Depth candidates are Depth0 to Depth2.
  • the record 1001-3 and the record 1001-4 store a depth of the same size as the reference frame Depth, one larger depth, and two larger depths as approximate depths in the target frame depth candidate field.
  • Depth0 to Depth2 are stored in the target frame Depth candidate field.
  • the record 1001-2 may store Depth0 and Depth1 in the target frame Depth candidate field.
  • the depth candidate table 711 shown in FIG. 10 selects depth candidates so that the depth is large. Degradation of image quality can be further suppressed.
  • FIG. 11 is an explanatory diagram illustrating a third example of a depth candidate that performs motion vector detection of a target frame.
  • the depth candidate table 711 shown in FIG. 11 includes records 1101-1 to 1101-4.
  • the record 1101-2 indicates that when the reference frame Depth is Depth1, the target frame Depth candidates are Depth1 to Depth3.
  • the record 1101-1 and the record 1101-2 store a depth of the same size as the reference frame depth, one smaller depth, and two smaller depths as approximate depths in the target frame depth candidate field.
  • the record 1101-3 may store Depth2 and Depth3 in the target frame Depth candidate field.
  • the depth candidate table 711 shown in FIG. 11 selects depth candidates so that the depth is small. Therefore, if the moving image to be encoded has many edges and is captured with many changes, Degradation of image quality can be further suppressed.
  • the depth candidate table 711 shown in FIG. 9 to FIG. 11 shows stored contents when the CTB is 64 ⁇ 64 [pixels]. For example, when the CTB is 32 ⁇ 32 [pixel], two depths or one depth is stored in the target frame depth candidate field of the depth candidate table 711.
  • the difference between the depth candidate tables 711 shown in FIGS. 9 to 11 will be described.
  • the degree of suppression of image quality degradation when the depth candidate table 711 shown in FIGS. 9 to 11 is employed will be described.
  • the case where the deterioration of the image quality can be further suppressed is when the probability that the Depth determined by the second motion vector detection process matches the Depth determined by the first motion vector detection process is high.
  • the probability of matching becomes higher than when the encoding apparatus 100 adopts the Depth candidate table 711 shown in FIG. 11.
  • the experimental results were obtained.
  • depth candidate tables 711 shown in FIG. 9 to FIG. 11 which depth candidate table 711 the encoding apparatus 100 uses may be designated by the developer of the encoding apparatus 100, The user of the device 100 may specify.
  • the encoding device 100 When the user of the encoding device 100 designates, for example, the encoding device 100 displays a setting screen on the display 209 and displays a dialog for selecting a depth candidate table 711 to be used from the depth candidate table 711. To do. Then, the encoding device 100 receives the identification information of the depth candidate table 711 specified by the user of the encoding device 100 according to the content of the moving image to be encoded. For example, if the moving image to be encoded is a moving image obtained by photographing the sky or the like, the user of the encoding device 100 designates the depth candidate table 711 shown in FIG. If there is, the depth candidate table 711 shown in FIG. 11 is designated. Next, flowcharts executed by the encoding apparatus 100 will be described with reference to FIGS.
  • the encoding apparatus 100 employs either the flowchart shown in FIG. 12 or the flowchart shown in FIG. 13 to detect a motion vector.
  • FIG. 12 is a flowchart showing a first example of a motion vector detection processing procedure in the target frame.
  • the motion vector detection process in the target frame is a process for detecting the motion vector of each PU included in the target frame tF.
  • the encoding apparatus 100 selects the first LCU in the target frame tF (step S1201). Next, the encoding apparatus 100 determines whether the target frame tF is the first frame or a frame to be refreshed (step S1202). Here, the refreshed frame is a frame other than a predetermined order.
  • the encoding apparatus 100 selects the first CTB in the selected LCU (step S1203).
  • the encoding apparatus 100 performs a first motion vector detection process (step S1204). Details of the first motion vector detection process will be described later with reference to FIG. Subsequently, the encoding apparatus 100 determines whether all CTBs in the LCU have been selected (step S1205). If there is a CTB that has not yet been selected (step S1205: No), the encoding apparatus 100 selects the next CTB (step S1206). Then, the encoding apparatus 100 proceeds to the process of step S1204.
  • step S1202 When the target frame tF is not the first frame and is not a frame to be refreshed (step S1202: No), the encoding apparatus 100 selects the first CTB in the selected LCU (step S1207). Next, the encoding apparatus 100 performs a second motion vector detection process (step S1208). Details of the second motion vector detection process will be described later with reference to FIG. Subsequently, the encoding apparatus 100 determines whether all the CTBs in the LCU have been selected (step S1209). If there is a CTB that has not yet been selected (step S1209: No), the encoding apparatus 100 selects the next CTB (step S1210). Then, the encoding apparatus 100 proceeds to the process of step S1208.
  • step S1205 Yes, step S1209: Yes
  • the encoding apparatus 100 determines whether all the LCUs in the target frame tF have been selected (step S1211). If there is an LCU that has not yet been selected (step S1211: No), the encoding apparatus 100 selects the next LCU (step S1212). Then, the encoding apparatus 100 proceeds to the process of step S1202.
  • step S1211 the encoding device 100 ends the motion vector detection process in the target frame tF.
  • the encoding apparatus 100 can detect the motion vector of each PU included in the target frame tF.
  • FIG. 13 is a flowchart showing a second example of the motion vector detection processing procedure in the target frame.
  • the motion vector detection process in the target frame is a process for detecting the motion vector of each PU included in the target frame tF.
  • Step S1301 and steps S1303 to S1312 shown in FIG. 13 are the same as steps S1201 and S1203 to S1212, and thus the description thereof is omitted.
  • the encoding apparatus 100 determines whether or not ABS (the flatness of the LCU of the target frame tF ⁇ the flatness of the LCU of the reference frame rF) is greater than a predetermined threshold (Ste S1302).
  • ABS () is a function that returns the absolute value of the argument. Further, the flatness is obtained by the following equation (1).
  • the pixel value in the LCU is, for example, the luminance signal Y.
  • the pixel value in the LCU may be the color difference signals Cb and Cr.
  • the total number of pixels in the LCU is 4096.
  • the flatness may be an average of pixel values in the LCU, a variance of pixel values in the LCU, or a standard deviation of pixel values in the LCU.
  • step S1302 If the ABS (the LCU flatness of the target frame tF ⁇ the LCU flatness of the reference frame rF) is larger than a predetermined threshold (step S1302: Yes), the encoding apparatus 100 executes the process of step S1303. On the other hand, when the ABS (the LCU flatness of the target frame tF ⁇ the LCU flatness of the reference frame rF) is equal to or less than a predetermined threshold (step S1302: No), the encoding apparatus 100 proceeds to the process of step S1307.
  • the encoding device 100 can detect the motion vector of each PU included in the target frame tF. Furthermore, the encoding apparatus 100 performs the first motion vector detection process when the target frame tF greatly changes from the reference frame rF by comparing the difference in flatness. Therefore, when the reference frame rF and the target frame tF are not similar, the motion vector detection process is performed for all the depths, and thus the encoding apparatus 100 can suppress deterioration in image quality from the flowchart shown in FIG. it can.
  • the evaluation value of PU and the evaluation value of CU use ME (Motion Estimation) cost as an evaluation value.
  • the ME cost is an estimate of the amount of code for specifying a motion vector and the reference image.
  • the calculation formula for Cost which is the ME cost, is the following formula (2).
  • ⁇ is the entire set of candidate modes for encoding the relevant PU.
  • SAD Sud of Absolute Difference
  • ⁇ is a Lagrange undetermined multiplier given as a function of the quantization parameter.
  • R is the total code amount when encoding is performed in the mode Mode.
  • the evaluation value is not limited to the expression (2), and SAD, SSE (Summation of Square Error) may be used.
  • FIG. 14 is a flowchart showing an example of the first motion vector detection processing procedure.
  • the first motion vector detection process is a process of determining motion vectors by calculating evaluation values of all depth candidates.
  • CTB is 64 ⁇ 64 [pixel].
  • the encoding apparatus 100 performs motion vector candidate detection for each PU of Depth0 and calculates an evaluation value for each PU (step S1401). Specifically, the encoding apparatus 100 includes the evaluation value of the PU of 64 ⁇ 64 [pixel], the sum of the evaluation value of the PU above 64 ⁇ 32 [pixel] and the evaluation value of the lower PU, and 32 ⁇ 64. The sum of the evaluation value of the left PU and the evaluation value of the right PU of [Pixel] is calculated. The evaluation value is a value calculated using equation (2). In addition, the sum of the evaluation value of the PU above 64 ⁇ 32 [pixel] and the evaluation value of the lower PU is referred to as “evaluation value of PU of 64 ⁇ 32 [pixel]”. Similarly, the sum of the evaluation value of the left PU and the evaluation value of the right PU of 32 ⁇ 64 [pixel] is defined as “the evaluation value of the PU of 32 ⁇ 64 [pixel]”.
  • the encoding apparatus 100 determines the PU size of Depth0 based on the evaluation value of each PU of Depth0 (step S1402). Specifically, the encoding apparatus 100 includes a PU ⁇ 64 [pixel] PU evaluation value, a 64 ⁇ 32 [pixel] PU evaluation value, and a 32 ⁇ 64 [pixel] PU evaluation value. The PU having the smallest evaluation value is determined as the PU size of Depth0. Further, the evaluation value that is minimized is set as the evaluation value of Depth0.
  • the encoding apparatus 100 performs motion vector candidate detection for each PU of Depth 1 and calculates an evaluation value for each PU (step S1403). Specifically, the encoding apparatus 100 calculates the sum of the evaluation value of the PU of 32 ⁇ 32 [pixel], the evaluation value of the PU above 32 ⁇ 16 [pixel], and the evaluation value of the lower PU, and 16 ⁇ 32 The sum of the evaluation value of the left PU and the evaluation value of the right PU of [Pixel] is calculated. If CTB is 64 ⁇ 64 [pixels], Depth1 can include four CUs, and thus encoding apparatus 100 repeats the process of step S1403 four times.
  • the sum of the evaluation value of the PU above 32 ⁇ 16 [pixel] and the evaluation value of the PU below is defined as “evaluation value of the PU of 32 ⁇ 16 [pixel]”.
  • the sum of the evaluation value of the left PU and the evaluation value of the right PU of 16 ⁇ 32 [pixel] is defined as “the evaluation value of the PU of 16 ⁇ 32 [pixel]”.
  • the encoding apparatus 100 determines the PU size of Depth1 based on the evaluation value of each PU of Depth1 (step S1404). Specifically, the encoding apparatus 100 includes a 32 ⁇ 32 [pixel] PU evaluation value, a 32 ⁇ 16 [pixel] PU evaluation value, and a 16 ⁇ 32 [pixel] PU evaluation value. The PU having the smallest evaluation value is determined as the PU size of Depth1. Also, the encoding apparatus 100 sets the evaluation value that is minimized as the evaluation value of Depth1. If CTB is 64 ⁇ 64 [pixels], Depth1 can include four CUs, and thus encoding apparatus 100 repeats the process of step S1404 four times.
  • the encoding apparatus 100 performs motion vector candidate detection for each PU of Depth 2 and calculates an evaluation value for each PU (step S1405). Specifically, the encoding device 100 calculates the sum of the evaluation value of 16 ⁇ 16 [pixel] PU, the evaluation value of PU above 16 ⁇ 8 [pixel], and the evaluation value of PU below, and 8 ⁇ 16. The sum of the evaluation value of the left PU and the evaluation value of the right PU of [Pixel] is calculated. If CTB is 64 ⁇ 64 [pixels], Depth2 can include 16 CUs, and thus encoding apparatus 100 repeats the process of step S1405 16 times.
  • evaluation value of the PU above 16 ⁇ 8 [pixel] and the evaluation value of the PU below is defined as “evaluation value of the PU of 16 ⁇ 8 [pixel]”.
  • evaluation value of the PU of 16 ⁇ 8 [pixel] is defined as “evaluation value of the PU of 16 ⁇ 8 [pixel]”.
  • evaluation value of the left PU and the evaluation value of the right PU of 8 ⁇ 16 [pixel] is referred to as “evaluation value of the PU of 8 ⁇ 16 [pixel]”.
  • the encoding apparatus 100 determines the PU size of Depth2 based on the evaluation value of each PU of Depth2 (step S1406). Specifically, the encoding device 100 includes a 16 ⁇ 16 [pixel] PU evaluation value, a 16 ⁇ 8 [pixel] PU evaluation value, and an 8 ⁇ 16 [pixel] PU evaluation value. The PU having the smallest evaluation value is determined as the PU size of Depth2. Also, the encoding apparatus 100 sets the evaluation value that is minimized as the evaluation value of Depth2. If CTB is 64 ⁇ 64 [pixels], Depth2 can include 16 CUs, and thus encoding apparatus 100 repeats the process of step S1406 16 times.
  • the encoding apparatus 100 performs motion vector candidate detection for each PU of Depth 3 and calculates an evaluation value for each PU (step S1407). Specifically, the encoding apparatus 100 calculates the sum of the evaluation value of the PU of 8 ⁇ 8 [pixel], the evaluation value of the PU above 8 ⁇ 4 [pixel], and the evaluation value of the lower PU, and 4 ⁇ 8. The sum of the evaluation value of the left PU and the evaluation value of the right PU of [Pixel] is calculated. If CTB is 64 ⁇ 64 [pixels], Depth3 can include 64 CUs, and thus encoding apparatus 100 repeats the process of step S1407 64 times.
  • the sum of the evaluation value of the PU above 8 ⁇ 4 [pixel] and the evaluation value of the lower PU is set as “evaluation value of PU of 8 ⁇ 4 [pixel]”.
  • the sum of the evaluation value of the left PU and the evaluation value of the right PU of 4 ⁇ 8 [pixel] is referred to as “the evaluation value of the PU of 4 ⁇ 8 [pixel]”.
  • the encoding apparatus 100 determines the PU size of Depth 3 based on the evaluation value of each PU of Depth 3 (step S1408). Specifically, the encoding apparatus 100 includes an 8 ⁇ 8 [pixel] PU evaluation value, an 8 ⁇ 4 [pixel] PU evaluation value, and a 4 ⁇ 8 [pixel] PU evaluation value. The PU having the smallest evaluation value is determined as the PU size of Depth3. Also, the encoding apparatus 100 sets the evaluation value that is minimized as the evaluation value of Depth3. If CTB is 64 ⁇ 64 [pixels], Depth3 can include 64 CUs, and thus encoding apparatus 100 repeats the process of step S1408 64 times.
  • the encoding apparatus 100 detects a motion vector based on the evaluation value of the PU size determined by Depth0 to Depth3 (step S1409). Specifically, encoding apparatus 100 selects a Depth having the smallest evaluation value from among the evaluation values of Depth0 to Depth3 obtained in the processes of steps S1402, S1404, S1406, and S1408. Then, the encoding apparatus 100 detects the motion vector candidate of the PU size determined by the depth that is minimized as a motion vector.
  • the encoding apparatus 100 in the selected CTB, adds one of the evaluation values of four CUs located at the upper left of Depth3 and one of Depth2 that is the same region as the region where the four CUs of Depth3 are combined.
  • the evaluation value of CU is compared.
  • encoding apparatus 100 has the same region as the sum of the evaluation values of four CUs located at the upper left of Depth2 and the region in which the four CUs of Depth1 are combined.
  • the magnitude of the evaluation value of one CU is compared.
  • encoding apparatus 100 divides the upper left region in the selected CTB by the four CUs of Depth2. Then, the encoding apparatus 100 performs the same process for the remaining areas. In this way, the encoding apparatus 100 divides the selected CTB by a plurality of Depth CUs.
  • the encoding apparatus 100 ends the first motion vector detection process.
  • the encoding apparatus 100 can detect a motion vector having a minimum evaluation value.
  • FIG. 14 shows a case where CTB is 64 ⁇ 64 [pixels].
  • the encoding apparatus 100 executes the processes of steps S1403 to S1409.
  • FIG. 15 is a flowchart showing an example of the second motion vector detection processing procedure.
  • the second motion vector detection process is a process of determining a motion vector by calculating an evaluation value of a Depth candidate that approximates the reference frame Depth.
  • the encoding apparatus 100 identifies the depth of the CTB at the same position in the reference frame rF (step S1501). A specific procedure for determining the depth of the CTB at the same position in the reference frame rF is described in FIG. Next, the encoding apparatus 100 refers to the depth candidate table 711 and selects any depth candidate corresponding to the depth of the CTB at the same position in the reference frame rf (step S1502). Subsequently, the encoding apparatus 100 selects the first Depth candidate among any selected Depth candidates (Step S1503).
  • the encoding apparatus 100 performs motion vector candidate detection for each PU of the selected Depth candidate and calculates an evaluation value for each PU (step S1504). Subsequently, the encoding apparatus 100 determines the PU size of the selected Depth based on the evaluation value of each PU of the selected Depth candidate (Step S1505). The content of the process in step S1504 and the content of the process in step S1505 vary depending on the selected depth.
  • the encoding apparatus 100 performs the same process as the process of Step S1401 as the process of Step S1504, and the same process as the process of Step S1402 as the process of Step S1505 I do. If the selected Depth is Depth1, the encoding apparatus 100 performs the same process as the process of step S1403 as the process of step S1504, and performs the same process as the process of step S1404 as the process of step S1505. .
  • the encoding apparatus 100 performs the same process as the process of step S1405 as the process of step S1504, and performs the same process as the process of step S1406 as the process of step S1505. Do. If the selected Depth is Depth 3, the encoding apparatus 100 performs the same process as the process of step S1407 as the process of step S1504, and performs the same process as the process of step S1408 as the process of step S1505. .
  • the encoding apparatus 100 determines whether all the depth candidates of any depth candidate have been selected (step S1506). If there is a depth candidate that has not yet been selected from any one of the depth candidates (step S1506: No), the encoding apparatus 100 selects the next depth candidate from any one of the depth candidates (step S1507). After the process of step S1507 is completed, the encoding apparatus 100 proceeds to the process of step S1504.
  • step S1506 When all the depth candidates are selected (step S1506: Yes), the encoding apparatus 100 detects a motion vector based on the determined PU size evaluation values of all the depth candidates (step S1508). . After the process of step S1508 is completed, the encoding apparatus 100 ends the second motion vector detection process. By executing the second motion vector detection process, the encoding apparatus 100 can detect the motion vector having the minimum evaluation value from any one of the Depth candidates that approximates the Depth of the reference frame rF.
  • the encoding apparatus 100 when the motion vector of the block of the target frame is detected, a block size equivalent to the block size adopted when detecting the motion vector of the block of the reference frame is used. As a result, the encoding apparatus 100 can reduce the amount of calculation required for the motion vector detection process while suppressing deterioration of the image quality of the encoded moving image.
  • the encoding apparatus 100 performs motion vector detection processing for three depths in contrast to processing for performing motion vector detection processing for four depths, the amount of calculation required for the motion vector detection processing is reduced. , 25% reduction.
  • the motion vector may be detected by calculating an evaluation value for the selected depth candidate among all the depth candidates. Therefore, since encoding apparatus 100 calculates an evaluation value for the selected depth candidate, it is possible to reduce the amount of calculation required for motion vector detection while suppressing deterioration in image quality.
  • the encoding apparatus 100 may specify one depth as the number to be specified as the depth of the reference frame rF, or may specify two or more depths. For example, when the depth of the reference frame rF is Depth0 to Depth2, the encoding apparatus 100 may specify Depth1 as the Depth of the reference frame rF, or specify Depth0 and Depth1. When there is a possibility that two Depths of the reference frame rF may be specified, the Depth candidate table 711 may store a record with two Depths of the reference frame rF.
  • the depth of the reference frame rF is specified based on the depths of the plurality of depths. May be.
  • the encoding apparatus 100 may specify the smallest Depth among the plurality of Depths as the Depth of the reference frame rF. If there is a depth that is subdivided in the reference frame rF, there is a high possibility that the target frame tF will be subdivided. Therefore, the encoding apparatus 100 can suppress deterioration in image quality by specifying the smallest Depth as the Depth of the reference frame rF.
  • the encoding apparatus 100 when a plurality of Depths are specified when the motion vector of the reference frame rF is detected, any one is determined based on the number of CUs divided according to the Depth of each of the plurality of Depths. Such a depth candidate may be selected.
  • the encoding apparatus 100 may specify the Depth having the largest number of CU sizes among a plurality of Depths as the Depth of the reference frame rF.
  • the encoding apparatus 100 performs motion vector detection by narrowing down to the depth closest to the depth obtained by dividing the reference frame rF, and thus can suppress deterioration in image quality.
  • the encoding apparatus 100 specifies the depth of the reference frame rF based on the number of CU sizes that have been weighted as the size of the CU size. Also good.
  • the second motion vector detection process is performed, and if the target frame tF is not a frame in a predetermined order, the second frame is detected.
  • One motion vector detection process may be performed. For example, it is assumed that there is a state where the reference frame rF and the target frame tF are not similar as a result of a scene change or the like in any one of a series of frames.
  • the encoding apparatus 100 since the encoding apparatus 100 performs the first motion vector detection process when the target frame tF is not a frame in a predetermined order, the encoding apparatus 100 can perform encoding with a block size suitable for the content of the image. Deterioration can be suppressed.
  • the second motion vector detection process is performed.
  • One motion vector detection process may be performed. For example, it is assumed that there is a scene change from the reference frame rF to the target frame. At this time, since the flatness of the target frame tF and the flatness of the reference frame rF change greatly, the encoding device 100 performs the first motion vector detection process. Thus, since the encoding apparatus 100 performs the first motion vector detection process when the reference frame rF and the target frame tF are no longer similar, it is possible to suppress deterioration in image quality.
  • the calculation target of the motion vector detection process is reduced by reducing the PU calculation target that is the inter-frame prediction unit, but the TU (Transform Unit) that is the unit of the orthogonal transform can be selected.
  • the block size may be reduced.
  • Orthogonal transformation is a mechanism that decomposes pixel values of an image before conversion into a low-frequency component and a high-frequency component in order to facilitate image compression at the stage of pre-processing for image compression.
  • the encoding method described in the present embodiment can be realized by executing a program prepared in advance on a computer such as a personal computer or a workstation.
  • This encoding program is recorded on a computer-readable recording medium such as a hard disk, a flexible disk, a CD-ROM, or a DVD, and is executed by being read from the recording medium by the computer.
  • the encoding program may be distributed through a network such as the Internet.
  • the encoding apparatus 100 described in the present embodiment includes an application-specific IC (hereinafter simply referred to as “ASIC”) such as a standard cell or a structured ASIC (Application Specific Integrated Circuit), or a PLD (Programmable) such as an FPGA. It can also be realized by Logic Device. Specifically, for example, by determining the function of the determination unit 701 to the detection unit 705 and the depth candidate table 711 of the encoding device 100 described above by HDL description, logically synthesizing the HDL description and giving it to the ASIC or PLD The encoding device 100 can be manufactured.
  • ASIC application-specific IC
  • PLD Application Specific Integrated Circuit

Abstract

　画質の劣化を抑制しつつ、動きベクトル検出処理にかかる演算量を削減する。符号化装置（１００）は、４種類のＤｅｐｔｈ候補のうち、参照フレーム（ｒＦ）から分割される複数のＤｅｐｔｈ候補の中から、ＣＵの動きベクトルが検出された際のＤｅｐｔｈを特定する。続けて、符号化装置（１００）は、対象フレーム（ｔＦ）から分割されるＣＵの動きベクトルを検出する際に、特定したＣＵのサイズに基づいて、複数のＤｅｐｔｈ候補のうちの対象フレーム（ｔＦ）を分割するいずれかのＤｅｐｔｈ候補を選択する。

Description

[規則37.2に基づきISAが決定した発明の名称]　符号化装置、方法、プログラム、コンピュータシステム、記録媒体
　本発明は、符号化装置、コンピュータシステム、符号化方法、符号化プログラム、および記録媒体に関する。
　従来、動画像のうちの符号化対象となる対象フレームを分割した対象ブロックに類似するブロックを参照先となる参照フレームから探索し、対象ブロックから類似するブロックまでの空間的な位置の差を対象ブロックの動きベクトルとして検出する技術がある。また、符号化後の動画像の画質の劣化を抑制するために、対象ブロックのブロックサイズを可変にして動きベクトルを検出する技術がある。
　関連する先行技術としては、たとえば、縮小符号化対象画像と縮小参照画像とを生成し、縮小符号化対象画像を複数個の領域に分割した縮小分割領域画像の領域動きベクトルの大きさと信頼度とに基づいて、符号化対象ブロックのサイズの候補を絞り込むものがある。また、動き補償予測方式の入力信号にフィルタ処理をした信号と動画像信号との差分情報から生成した評価値を基に選択した複数のブロックサイズについて差分情報から新たな評価値を算出し、新たな評価値を基に最適なブロックサイズを選択する技術がある。（たとえば、下記特許文献１、２を参照。）
特開２００６－１８０１９６号公報 特開２００７－０６０１６４号公報
　しかしながら、従来技術によれば、対象ブロックのブロックサイズを可変にして、ブロックサイズの候補となるブロックサイズ候補ごとに動きベクトルの候補を求めると、動きベクトル検出にかかる演算量が増大する。
　１つの側面では、本発明は、画質の劣化を抑制しつつ、動きベクトル検出にかかる演算量を削減することができる符号化装置、コンピュータシステム、符号化方法、符号化プログラム、および記録媒体を提供することを目的とする。
　本発明の一側面によれば、一連のフレームにおける符号化対象の対象フレームの参照先となる参照フレームについて、参照フレームから分割されるブロックの複数のブロックサイズ候補の中から、ブロックの動きベクトルが検出された際のブロックサイズを特定し、対象フレームから分割されるブロックの動きベクトルを検出する際に、特定したブロックサイズに基づいて、複数のブロックサイズ候補のうちの対象フレームを分割するいずれかのブロックサイズ候補を選択する符号化装置、コンピュータシステム、符号化方法、符号化プログラム、および記録媒体が提案される。
　本発明の一態様によれば、画質の劣化を抑制しつつ、動きベクトル検出にかかる演算量を削減することを図ることができるという効果を奏する。
図１は、本実施の形態にかかる符号化装置の動作例を示す説明図である。 図２は、コンピュータシステムのハードウェアの一例を示すブロック図である。 図３は、符号化装置のハードウェア構成例を示すブロック図である。 図４は、ＣＴＢとＣＵの関係の一例を示す説明図である。 図５は、ＣＵの種類の一例を示す説明図である。 図６は、ＰＵの種類の一例を示す説明図である。 図７は、符号化装置の機能例を示すブロック図である。 図８は、参照フレームのＤｅｐｔｈの一例を示す説明図である。 図９は、対象フレームの動きベクトル検出を行うＤｅｐｔｈ候補の第１の例を示す説明図である。 図１０は、対象フレームの動きベクトル検出を行うＤｅｐｔｈ候補の第２の例を示す説明図である。 図１１は、対象フレームの動きベクトル検出を行うＤｅｐｔｈ候補の第３の例を示す説明図である。 図１２は、対象フレームにおける動きベクトル検出処理手順の第１の例を示すフローチャートである。 図１３は、対象フレームにおける動きベクトル検出処理手順の第２の例を示すフローチャートである。 図１４は、第１動きベクトル検出処理手順の一例を示すフローチャートである。 図１５は、第２動きベクトル検出処理手順の一例を示すフローチャートである。
　以下に図面を参照して、開示の符号化装置、コンピュータシステム、符号化方法、符号化プログラム、および記録媒体の実施の形態を詳細に説明する。
　図１は、本実施の形態にかかる符号化装置の動作例を示す説明図である。符号化装置１００は、動きベクトルを検出するコンピュータである。符号化装置１００は、ＨＥＶＣ（Ｈｉｇｈ　Ｅｆｆｉｃｉｅｎｃｙ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ）が定める規格に従って、フレームが分割されたブロックごとに動画像を符号化する。
　ＨＥＶＣより前の規格である、Ｈ．２６４やＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）－２は、動画像を構築する各フレームを、１６×１６［画素］のブロックで分割し、分割したブロックごとに、符号化処理を行う。これに対し、ＨＥＶＣは、分割するブロックのブロックサイズの自由度を高めた手法を提供する。
　具体的に、ＨＥＶＣにおいて、フレームは、Ｎを整数として、Ｎ×Ｎ［画素］の正方形のブロックに分割される。Ｎ×Ｎ［画素］の正方形のブロックは、ＬＣＵ（Ｌａｒｇｅｓｔ　Ｃｏｄｉｎｇ　Ｕｎｉｔ）と呼称される。ＨＥＶＣでは、Ｎを、６４とする。さらに、ＨＥＶＣにおいて、ＬＣＵは、ＣＴＢ（Ｃｏｄｉｎｇ　Ｔｒｅｅ　Ｂｌｏｃｋ）に分割される。ＣＴＢは、ＣＵ（Ｃｏｄｉｎｇ　Ｕｎｉｔ）というブロックに分割される。ＣＴＢとＣＵの関係は、図４にて後述する。ＣＵの複数のブロックサイズ候補としては、６４×６４［画素］と、３２×３２［画素］と、１６×１６［画素］と、８×８［画素］という４種類がある。
　６４×６４［画素］のＣＵは、Ｄｅｐｔｈ０と定義される。３２×３２［画素］のＣＵは、Ｄｅｐｔｈ１と定義される。１６×１６［画素］のＣＵは、Ｄｅｐｔｈ２と定義される。８×８［画素］のＣＵは、Ｄｅｐｔｈ３と定義される。
　以下、ＣＵのサイズを、「Ｄｅｐｔｈ」と称する。また、ＣＵのブロックサイズ候補を、以下、単に「Ｄｅｐｔｈ候補」と称する。図５にて、Ｄｅｐｔｈについて説明する。また、ＨＥＶＣにおいて、ＣＵは、さらに、フレーム間予測を行う単位として、ＰＵ（Ｐｒｅｄｉｃｔｉｏｎ　Ｕｎｉｔ）に分割される。ＰＵの種類については、図６にて後述する。
　圧縮符号化方式における動きベクトル検出処理は、符号化対象の対象フレームにおいて、あるブロックの参照フレームに対する物体の位置座標が評価され、最も類似するブロックの位置座標が検出される。動きベクトルは、あるブロックの位置座標から最も類似するブロックの位置座標までを表す。
　ここで、ＨＥＶＣが定める規格に従って符号化する装置は、複数のＤｅｐｔｈ候補の各々のＤｅｐｔｈ候補ごとにＣＵの動きベクトル候補を決定する処理を行う。そして、符号化する装置は、Ｄｅｐｔｈ候補ごとのＣＵの動きベクトル候補から、最も類似する動きベクトル候補を動きベクトルとして検出する。なお、具体的には、ＣＵが分割されたＰＵごとに動きベクトルが決定されることになるが、図１では、説明の簡略化のため、「ＣＵの動きベクトルを検出」と記述する。
　具体的に、符号化を行う装置は、各々のＤｅｐｔｈ候補に従って分割したブロックの画素値と、参照フレーム上の探索範囲内の、動きベクトル候補が示す参照ブロックの画素値との差分を表す評価値を算出する。そして、符号化を行う装置は、評価値が最も小さい動きベクトル候補を、各々のＤｅｐｔｈ候補ごとのブロックの動きベクトル候補とする。続けて、符号化を行う装置は、各々のＤｅｐｔｈ候補ごとのブロックの動きベクトル候補から、評価値が最も小さい動きベクトル候補を、動きベクトルとして検出する。評価値の具体例については、図１４にて後述する。
　これにより、ＨＥＶＣが定める規格に従って符号化する装置は、ＣＴＢ内のエッジ部分の近傍部分は詳細な単位となるＣＵのサイズで符号化するとともに、変化が平坦な部分は大きな単位となるＣＵのサイズで符号化する、ということが可能になる。しかしながら、ＨＥＶＣが定める規格に従って符号化すると、ＣＵのサイズごとに動きベクトル候補を求めるため、動きベクトル検出処理にかかる演算量が増大することになる。
　そこで、本実施の形態にかかる符号化装置１００は、対象フレームのブロックの動きベクトル検出を行う際に、参照フレームのブロックの動きベクトル検出時に採用したブロックサイズに近似するブロックサイズを用いる。これにより、符号化装置１００は、符号化後の動画像の画質の劣化を抑制しつつ、動きベクトル検出処理にかかる演算量を削減することができる。
　図１では、一連のフレームにおける符号化対象の対象フレームｔＦと、対象フレームｔＦの参照先となる参照フレームｒＦと、を表示する。一連のフレームは、空等の変化の少ないものを写した動画像であるとする。参照フレームｒＦは、既に符号化済のフレームである。図１に示す対象フレームｔＦは、図１に示す参照フレームｒＦに映った雲が左方向に移動した状態を写したものである。このように、参照フレームｒＦと対象フレームｔＦとは、似たような画像になる可能性が高い。
　符号化装置１００は、参照フレームｒＦの、あるＣＴＢについて、４種類のＤｅｐｔｈ候補のうち、Ｄｅｐｔｈ１である３２×３２［画素］で分割されたブロックの動きベクトル候補が最も類似したとする。
　そして、符号化装置１００は、参照フレームｒＦから分割される複数のＤｅｐｔｈ候補の中から、ＣＵの動きベクトルが検出された際のＤｅｐｔｈを特定する。図１の例では、符号化装置１００は、ＣＵのサイズとしてＤｅｐｔｈを特定する。
　続けて、符号化装置１００は、対象フレームｔＦから分割されるＣＵの動きベクトルを検出する際に、特定したＣＵのサイズに基づいて、複数のＤｅｐｔｈ候補のうちの対象フレームｔＦを分割するいずれかのＤｅｐｔｈ候補を選択する。いずれかのＤｅｐｔｈ候補は、１つでもよいし、複数でもよい。
　図１の例では、符号化装置１００は、複数のＤｅｐｔｈ候補のうちの、Ｄｅｐｔｈ１に近似する、Ｄｅｐｔｈ０～Ｄｅｐｔｈ２をいずれかのＤｅｐｔｈ候補として選択する。Ｄｅｐｔｈ候補を選択後、符号化装置１００は、選択したいずれかのＤｅｐｔｈ候補ごとに、選択したＣＵのサイズで分割したＣＵごとに動きベクトル候補を決定する。
　このように、符号化装置１００は、選択したいずれかのＤｅｐｔｈ候補の動きベクトル候補に絞って動きベクトル候補を求めることにより、画質の劣化を抑制して、動きベクトル検出にかかる演算量を削減することができる。ここで、複数のＤｅｐｔｈ候補の動きベクトル候補を決定して、動きベクトルを検出する処理を、第１動きベクトル検出処理とする。また、複数のＤｅｐｔｈ候補のうちの選択したいずれかのＤｅｐｔｈ候補の動きベクトル候補を決定して、動きベクトルを検出する処理を、第２動きベクトル検出処理とする。以下、図２～図１５を用いて、符号化装置１００について説明する。
（コンピュータシステム２００のハードウェア構成例）
　次に、符号化装置１００が適用されるコンピュータシステム２００のハードウェアの一例について説明する。コンピュータシステム２００は、たとえば、動画像を記録・再生する機能を有するシステムであり、具体的には、たとえば、パーソナル・コンピュータ、テレビジョン、レコーダ、スマートフォン、ビデオカメラ、デジタルカメラなどである。
　図２は、コンピュータシステムのハードウェアの一例を示すブロック図である。図２において、コンピュータシステム２００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ‐Ｏｎｌｙ　Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２０３と、を含む。また、コンピュータシステム２００は、撮像素子２０４と、撮像素子Ｉ／Ｆ（ＩｎｔｅｒＦａｃｅ）２０５と、操作パネル２０６と、記録メディア２０７と、外部Ｉ／Ｆ２０８と、符号化装置１００とを含む。
　また、コンピュータシステム２００は、ディスプレイ２０９と、ディスプレイ出力Ｉ／Ｆ２１０とを含む。また、ＣＰＵ２０１～ＲＡＭ２０３と、撮像素子Ｉ／Ｆ２０５と、外部Ｉ／Ｆ２０８と、ディスプレイ出力Ｉ／Ｆ２１０と、符号化装置１００とは、バス２１１で相互に接続される。
　ＣＰＵ２０１は、コンピュータシステム２００の全体の制御を司る演算処理装置である。ＲＯＭ２０２は、コンピュータシステム２００のブートプログラムなどのプログラムを記憶する不揮発性メモリである。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される揮発性メモリである。
　撮像素子２０４は、対象物から発した光を電気信号に変換する装置である。たとえば、撮像素子２０４は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサ、やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどである。
　撮像素子Ｉ／Ｆ２０５は、記録時に撮像素子２０４を制御することにより、撮像素子２０４からの信号を画像フォーマットに変換してＲＡＭ２０３に格納する装置である。操作パネル２０６は、コンピュータシステム２００が有する液晶タッチパネルや操作ボタンである。記録メディア２０７は、フラッシュＲＯＭ等といった記憶装置である。また、記録メディア２０７は、本実施の形態にかかる符号化プログラムを記録してもよい。外部Ｉ／Ｆ２０８は、操作パネル２０６、および記録メディア２０７を制御する。また、外部Ｉ／Ｆ２０８は、通信回線を通じてＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットなどのネットワークを介して、コンピュータシステム２００以外の他の装置に接続されてもよい。
　ディスプレイ２０９は、撮像素子２０４が記録した画像フォーマットを表示する。ディスプレイ出力Ｉ／Ｆ２１０は、ディスプレイ２０９の制御を行う。
　図３は、符号化装置のハードウェア構成例を示すブロック図である。符号化装置１００は、予測誤差信号生成部３０１と、整数変換部３０２と、量子化部３０３と、エントロピー符号化部３０４と、逆量子化部３０５と、逆整数変換部３０６と、参照フレーム生成部３０７と、ループフィルタ処理部３０８を有する。さらに符号化装置１００は、フレームメモリ３０９と、フレーム内予測部３１０と、動き検出部３１１と、動き補償部３１２と、予測画像選択部３１３とを有する。
　入力動画像は、動画像を形成する各フレームの分割に四分木ブロック分割が採用されたものとする。予測誤差信号生成部３０１は、入力動画像のうちの対象フレームｔＦと予測画像信号とが入力され、対象フレームｔＦと予測フレームとなる参照フレームｒＦの差分を演算することにより、予測誤差信号を生成する。
　整数変換部３０２は、予測誤差信号生成部３０１からの予測誤差信号を整数変換した信号を出力する。量子化部３０３は、整数変換部３０２からの出力信号を量子化する。量子化部３０３の処理により、予測誤差信号の符号量が低減される。
　エントロピー符号化部３０４は、量子化部３０３からの量子化データと、フレーム内予測部３１０からの出力データと、動き検出部３１１から出力される動きベクトルの情報とをエントロピー符号化し、対象フレームｔＦに対する符号化画像データを出力する。入力動画像の各フレームに対して符号化画像データを出力したデータが、出力動画像となる。ここで、エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる符号化方式を指す。
　逆量子化部３０５は、量子化部３０３からの量子化データを逆量子化する。逆整数変換部３０６は、逆量子化部３０５からの出力データに逆整数変換処理を施す。逆整数変換部３０６の処理により、符号化前の予測誤差信号と同程度の信号を得ることができる。
　参照フレーム生成部３０７は、動き補償部３１２により動き補償されたＰＵの画素値と、逆量子化部３０５および逆整数変換部３０６によって復号された予測誤差信号とを加算する。参照フレーム生成部３０７の処理により、動き補償された参照フレームｒＦのＰＵの画素値が生成される。
　ループフィルタ処理部３０８は、ＰＵの画素値に対してデブロッキングフィルタ、サンプル・アダプティプ・オフセット（ＳＡＯ：Ｓａｍｐｌｅ　Ａｄａｐｔｉｖｅ　Ｏｆｆｓｅｔ）と適応型ループフィルタ（ＡＬＦ：Ａｄａｐｔｉｖｅ　Ｌｏｏｐ　Ｆｉｌｔｅｒ）処理を行って、ブロックノイズの発生を抑制した後、フレームメモリ３０９に蓄積する。
　フレーム内予測部３１０は、同じフレームにおける周辺画素から、予測画像のマクロブロックを生成する。動き検出部３１１は、入力動画像の画素値と、フレームメモリ３０９から読み込んだ参照フレームｒＦのデータを基に動きベクトルを算出し、出力する。動き検出部３１１の詳細は、図７にて後述する。
　動き補償部３１２は、動き検出部３１１から出力された動きベクトルに基づいて、フレームメモリ３０９から読み込んだ参照フレームｒＦのデータに対して動き補償することにより、動き補償された予測画像のＰＵを生成する。
　予測画像選択部３１３は、フレーム内予測部３１０または動き補償部３１２のどちらか一方から出力される予測画像のマクロブロックを選択し、予測誤差信号生成部３０１および参照フレーム生成部３０７に出力する。次に、ＨＥＶＣにて定義されたＣＴＢと、ＣＵと、ＰＵとについて、図４～図６を用いて説明する。
　図４は、ＣＴＢとＣＵの関係の一例を示す説明図である。ＬＣＵは、変換や量子化などを行うサブブロックであるＣＴＢに分割される。ＣＴＢは、１６×１６［画素］と、３２×３２［画素］と、６４×６４［画素］の３種類がある。ＣＴＢが１６×１６［画素］である場合、ＣＵが取り得るＤｅｐｔｈは、Ｄｅｐｔｈ２とＤｅｐｔｈ３となる。また、ＣＴＢが３２×３２［画素］である場合、ＣＵが取り得るＤｅｐｔｈは、Ｄｅｐｔｈ１～Ｄｅｐｔｈ３となる。
　ＣＴＢは、画像データの特徴に合わせて、四分木（Ｑｕａｄ　Ｔｒｅｅ）ブロック分割により再帰的に分割される。具体的に、ＣＴＢは、４つの領域に分割され、分割した領域がさらに４つの領域に細分される、という処理が繰り返される。この分割による領域が、ＣＵと呼ばれる。ＣＵが符号化処理の基本単位となる。四分木ブロック分割を採用した動画像は、画像中の変化が激しいエッジ部や、エッジ部分の近傍部分は詳細な単位のブロックで符号化され、変化が平坦な部分は大きな単位のブロックで符号化される、ということが可能となる。たとえば、四分木ブロック分割による符号化を行う装置は、符号化対象の動画像のある画像内の、物体の輪郭などが表示された箇所を細かな単位でより詳細に符号化し、空等の変化が少ない箇所を大まかな単位で符号化する、ということが可能である。ＣＵの種類について、図５を用いて説明する。
　図５は、ＣＵの種類の一例を示す説明図である。ＣＵの種類は、図５に示すように、Ｄｅｐｔｈ０である６４×６４［画素］と、Ｄｅｐｔｈ１である３２×３２［画素］と、Ｄｅｐｔｈ２である１６×１６［画素］と、Ｄｅｐｔｈ３である８×８［画素］という４種類がある。ＣＵは、ＰＵという単位でフレーム間予測を行う。ＰＵの種類について、図６を用いて説明する。
　図６は、ＰＵの種類の一例を示す説明図である。ＰＵは、ＣＵのＤｅｐｔｈごとに３つの種類がある。ＣＵは、一つ以上のＰＵを含む。ＰＵは、ＣＵと同一サイズと、横方向に２分割と、縦方向に２分割と、という３種類から選択することができる。
　たとえば、ＣＵがＤｅｐｔｈ０の場合、ＰＵは、６４×６４［画素］と、６４×３２［画素］と、３２×６４［画素］という３種類がある。図６に示すように、ＰＵは、８×８［画素］から６４×６４［画素］までの１２種類がある。また、ＰＵのサイズを、「ＰＵサイズ」と呼称する。
（符号化装置１００の機能）
　次に、符号化装置１００の機能について説明する。図７は、符号化装置の機能例を示すブロック図である。符号化装置１００は、判断部７０１と、特定部７０２と、選択部７０３と、算出部７０４と、検出部７０５と、を含む。
　なお、判断部７０１～検出部７０５は、記憶装置に記憶されたプログラムをＣＰＵ２０１が実行することにより、判断部７０１～検出部７０５の機能を実現してもよい。記憶装置とは、具体的には、たとえば、図２に示したＲＯＭ２０２、ＲＡＭ２０３、記録メディア２０７などである。
　また、符号化装置１００は、Ｄｅｐｔｈ候補テーブル７１１にアクセス可能である。Ｄｅｐｔｈ候補テーブル７１１は、符号化装置１００内の記憶領域、またはＲＯＭ２０２、ＲＡＭ２０３、記録メディア２０７、といった記憶装置に格納される。Ｄｅｐｔｈ候補テーブル７１１の記憶内容の一例は、図９～図１１に示す。
　判断部７０１は、対象フレームｔＦが一連のフレームにおける所定の順番のフレームであるか否かを判断する。また、判断部７０１は、対象フレームｔＦの画素値と、参照フレームｒＦの画素値との差分を表す値が所定の閾値未満か否かを判断してもよい。ここで、所定の順番や所定の閾値は、符号化装置１００の開発者または符号化装置１００の利用者によって指定される数値である。
　たとえば、所定の順番は、２番目～９番目、１１番目～１９番目、…、となる。また、判断部７０１は、対象フレームｔＦが一連のフレームにおける所定の順番のフレームでないか否かを判断してもよい。このとき、所定の順番は、１番目、１０番目、２０番目、…となる。また、たとえば、判断部７０１は、対象フレームｔＦの画素値の平均と、参照フレームｒＦの画素値の平均との差分が、所定の閾値未満か否かを判断する。より詳細については、図１３にて後述する。なお、判断結果は、符号化装置１００内の記憶領域に記憶される。
　特定部７０２は、参照フレームｒＦについて、参照フレームｒＦから分割されるブロックの複数のＤｅｐｔｈ候補の中から、ＣＵ内の各ＰＵの動きベクトルが検出された際のＤｅｐｔｈを特定する。
　また、特定部７０２は、判断部７０１によって対象フレームｔＦが所定の順番のフレームであると判断された場合、参照フレームｒＦから分割されるＤｅｐｔｈを特定してもよい。たとえば、特定部７０２は、判断部７０１が所定の順番として、２番目～９番目、１１番目～１９番目、…、のフレームであるとは判断した場合、参照フレームｒＦから分割されるＤｅｐｔｈを特定してもよい。なお、判断部７０１が、特定部７０２を実行しない場合を判断してもよい。
　また、特定部７０２は、判断部７０１によって値が所定の閾値未満であると判断された場合、ブロックサイズを特定してもよい。なお、特定されたＤｅｐｔｈは、符号化装置１００内の記憶領域に記憶される。
　選択部７０３は、対象フレームｔＦから分割されるＣＵ内の各ＰＵの動きベクトルを検出する際に、特定部７０２によって特定されたＤｅｐｔｈに基づいて、複数のＤｅｐｔｈ候補のうちの対象フレームｔＦを分割するいずれかのＤｅｐｔｈ候補を選択する。具体的な選択手順は、図９～図１１にて後述する。
　また、特定部７０２によって参照フレームｒＦが分割されたブロックの動きベクトルが検出された際にＤｅｐｔｈが複数特定される場合がある。このとき、選択部７０３は、複数のＤｅｐｔｈの各々のＤｅｐｔｈのうちの相対的に小さいＤｅｐｔｈに基づいて、複数のＤｅｐｔｈ候補のうちの対象フレームｔＦを分割するいずれかのＤｅｐｔｈ候補を選択してもよい。また、Ｄｅｐｔｈが複数特定された場合、選択部７０３は、複数のＤｅｐｔｈの各々のＤｅｐｔｈに従って分割されたＣＵの個数に基づいて、複数のＤｅｐｔｈ候補のうちの対象フレームｔＦを分割するいずれかのＤｅｐｔｈ候補を選択してもよい。なお、Ｄｅｐｔｈが複数特定された場合については、図８にて後述する。また、選択されたＤｅｐｔｈ候補は、符号化装置１００内の記憶領域に記憶される。
　算出部７０４は、選択部７０３によって選択されたいずれかのＤｅｐｔｈ候補に対応して、対象フレームｔＦからいずれかのＤｅｐｔｈ候補に従って分割される各ＣＵの画素値と参照フレームｒＦ上の探索範囲内のブロックの画素値との差分を表す評価値を算出する。具体的な評価値の算出例は、後述する（２）式にて説明する。
　検出部７０５は、算出部７０４によって算出されたいずれかのブロックサイズ候補に従って分割した各ブロックの評価値に基づいて、対象フレームｔＦが分割されたブロックの動きベクトルを検出する。具体的な検出の例は、図１４と図１５にて後述する。なお、算出された動きベクトルは、符号化装置１００内の記憶領域に記憶される。
　図８は、参照フレームのＤｅｐｔｈの一例を示す説明図である。符号化装置１００は、参照フレームｒＦのＣＴＢに含まれるＣＵに基づいて、参照フレームｒＦのＤｅｐｔｈ結果を特定する。このとき、参照フレームｒＦのＤｅｐｔｈ結果が複数特定された場合について、図８の（ａ）と図８の（ｂ）について説明する。
　図８の（ａ）では、符号化装置１００が、参照フレームｒＦのＣＴＢに含まれるＣＵのうちの、最もサイズが小さいＣＵに基づいて、対象フレームｔＦを分割するいずれかのＤｅｐｔｈ候補を選択する例について説明する。図８の（ｂ）では、参照フレームｒＦのＣＴＢに含まれるＣＵのうちの、最も個数が多いＣＵに基づいて、対象フレームｔＦを分割するいずれかのブロックサイズ候補を選択する例について説明する。
　図８の（ａ）が示すＣＴＢは、Ｄｅｐｔｈ１である３２×３２［画素］の３個のＣＵと、Ｄｅｐｔｈ２である１６×１６［画素］の４個のＣＵと、を含む。符号化装置１００は、Ｄｅｐｔｈが最も小さいＤｅｐｔｈ２に基づいて、対象フレームｔＦを分割するいずれかのＤｅｐｔｈ候補を選択する。
　図８の（ｂ）が示すＣＴＢは、Ｄｅｐｔｈ１である３２×３２［画素］の２個のＣＵと、Ｄｅｐｔｈ２である１６×１６［画素］の７個のＣＵと、Ｄｅｐｔｈ３である８×８［画素］の４個のＣＵと、を含む。符号化装置１００は、最も個数が多いＤｅｐｔｈ２に基づいて、対象フレームｔＦを分割するいずれかのＤｅｐｔｈ候補を選択する。
　次に、図９～図１１を用いて、具体的なＤｅｐｔｈ候補の選択例を３つ説明する。図９～図１１に示すＤｅｐｔｈ候補テーブル７１１は、ＤｅｐｔｈごとのＤｅｐｔｈ候補を記憶するテーブルである。図９～図１１に示すＤｅｐｔｈ候補テーブル７１１は、表示の簡略化のため、各レコードの“Ｄｅｐｔｈ”を省略してある。Ｄｅｐｔｈ候補テーブル７１１の説明は、図９にて行う。
　図９は、対象フレームの動きベクトル検出を行うＤｅｐｔｈ候補の第１の例を示す説明図である。図９に示すＤｅｐｔｈ候補テーブル７１１は、レコード９０１－１～レコード９０１－４を有する。
　Ｄｅｐｔｈ候補テーブル７１１は、参照フレームＤｅｐｔｈと、対象フレームＤｅｐｔｈ候補という２つのフィールドを有する。参照フレームＤｅｐｔｈフィールドには、検索キーとなる参照フレームｒＦのＤｅｐｔｈ結果が格納される。対象フレームＤｅｐｔｈ候補フィールドは、図８にて説明した、特定した参照フレームＤｅｐｔｈに対応する、対象フレームｔＦのＤｅｐｔｈ候補の値が格納される。
　たとえば、レコード９０１－２は、参照フレームＤｅｐｔｈがＤｅｐｔｈ１であった場合に、対象フレームＤｅｐｔｈ候補がＤｅｐｔｈ０～Ｄｅｐｔｈ２であることを示す。
　レコード９０１－２とレコード９０１－３は、対象フレームＤｅｐｔｈ候補フィールドに、近似するＤｅｐｔｈとして、参照フレームＤｅｐｔｈと同一サイズのＤｅｐｔｈと、１つ小さいＤｅｐｔｈと１つ大きいＤｅｐｔｈとを記憶する。
　レコード９０１－１は、参照フレームＤｅｐｔｈが、Ｄｅｐｔｈが最も大きいＤｅｐｔｈ０であるため、対象フレームＤｅｐｔｈ候補フィールドに、Ｄｅｐｔｈ０～Ｄｅｐｔｈ２を記憶する。また、レコード９０１－１は、参照フレームＤｅｐｔｈフィールドにＤｅｐｔｈ０を記憶し、対象フレームＤｅｐｔｈ候補フィールドに、Ｄｅｐｔｈ０と、Ｄｅｐｔｈ１とを記憶してもよい。
　図１０は、対象フレームの動きベクトル検出を行うＤｅｐｔｈ候補の第２の例を示す説明図である。図１０に示すＤｅｐｔｈ候補テーブル７１１は、レコード１００１－１～レコード１００１－４を有する。たとえば、レコード１００１－２は、参照フレームＤｅｐｔｈがＤｅｐｔｈ１であった場合に、対象フレームＤｅｐｔｈ候補がＤｅｐｔｈ０～Ｄｅｐｔｈ２であることを示す。
　レコード１００１－３とレコード１００１－４は、対象フレームＤｅｐｔｈ候補フィールドに、近似するＤｅｐｔｈとして、参照フレームＤｅｐｔｈと同一サイズのＤｅｐｔｈと、１つ大きいＤｅｐｔｈと２つ大きいＤｅｐｔｈとを記憶する。
　レコード１００１－２は、参照フレームＤｅｐｔｈよりＤｅｐｔｈが２つ大きいＤｅｐｔｈがないため、対象フレームＤｅｐｔｈ候補フィールドに、Ｄｅｐｔｈ０～Ｄｅｐｔｈ２を記憶する。また、レコード１００１－２は、対象フレームＤｅｐｔｈ候補フィールドに、Ｄｅｐｔｈ０と、Ｄｅｐｔｈ１とを記憶してもよい。
　このように、図１０に示すＤｅｐｔｈ候補テーブル７１１は、Ｄｅｐｔｈが大きくなるようにＤｅｐｔｈ候補を選択するため、符号化対象となる動画像が空等の変化の少ないものを撮影したものであれば、画質の劣化をより抑えることができる。
　図１１は、対象フレームの動きベクトル検出を行うＤｅｐｔｈ候補の第３の例を示す説明図である。図１１に示すＤｅｐｔｈ候補テーブル７１１は、レコード１１０１－１～レコード１１０１－４を有する。たとえば、レコード１１０１－２は、参照フレームＤｅｐｔｈがＤｅｐｔｈ１であった場合に、対象フレームＤｅｐｔｈ候補がＤｅｐｔｈ１～Ｄｅｐｔｈ３であることを示す。
　レコード１１０１－１とレコード１１０１－２は、対象フレームＤｅｐｔｈ候補フィールドに、近似するＤｅｐｔｈとして、参照フレームＤｅｐｔｈと同一サイズのＤｅｐｔｈと、１つ小さいＤｅｐｔｈと２つ小さいＤｅｐｔｈとを記憶する。
　レコード１１０１－３は、参照フレームＤｅｐｔｈより２つ小さいＤｅｐｔｈがないため、対象フレームＤｅｐｔｈ候補フィールドに、Ｄｅｐｔｈ１～Ｄｅｐｔｈ３を記憶する。また、レコード１１０１－３は、対象フレームＤｅｐｔｈ候補フィールドに、Ｄｅｐｔｈ２と、Ｄｅｐｔｈ３とを記憶してもよい。
　このように、図１１に示すＤｅｐｔｈ候補テーブル７１１は、Ｄｅｐｔｈが小さくなるようにＤｅｐｔｈ候補を選択するため、符号化対象となる動画像がエッジが多い、変化の多いものを撮影したものであれば、画質の劣化をより抑えることができる。
　図９～図１１で示したＤｅｐｔｈ候補テーブル７１１は、ＣＴＢが６４×６４［画素］であるときの記憶内容を示す。たとえば、ＣＴＢが３２×３２［画素］である場合、Ｄｅｐｔｈ候補テーブル７１１の対象フレームＤｅｐｔｈ候補フィールドには、２つのＤｅｐｔｈ、または１つのＤｅｐｔｈが格納される。
　ここで、図９～図１１で示したＤｅｐｔｈ候補テーブル７１１の違いについて説明する。まず、図９～図１１で示したＤｅｐｔｈ候補テーブル７１１を採用した際の画質の劣化の抑制度合いについて説明する。画質の劣化をより抑制できる場合とは、第２動きベクトル検出処理により決定されたＤｅｐｔｈと第１動きベクトル検出処理により決定されたＤｅｐｔｈとが一致する確率が高いときである。符号化装置１００が図９と図１０とが示したＤｅｐｔｈ候補テーブル７１１を採用した場合、符号化装置１００が図１１で示すＤｅｐｔｈ候補テーブル７１１を採用した場合よりも、一致する確率が高くなる、という実験結果が得られた。
　また、図９～図１１で示したＤｅｐｔｈ候補テーブル７１１のうち、符号化装置１００がどのＤｅｐｔｈ候補テーブル７１１を使用するかは、符号化装置１００の開発者が指定してもよいし、符号化装置１００の利用者が指定してもよい。
　符号化装置１００の利用者が指定する場合、たとば、符号化装置１００は、ディスプレイ２０９に設定画面を表示して、Ｄｅｐｔｈ候補テーブル７１１のうち、使用するＤｅｐｔｈ候補テーブル７１１を選択するダイアログを表示する。そして、符号化装置１００は、符号化装置１００の利用者が符号化対象となる動画像の内容に応じて指定したＤｅｐｔｈ候補テーブル７１１の識別情報を受け付ける。たとえば、符号化対象となる動画像が、空等を撮影した動画像であれば、符号化装置１００の利用者は、図１０で示したＤｅｐｔｈ候補テーブル７１１を指定し、エッジが多い動画像であれば、図１１で示したＤｅｐｔｈ候補テーブル７１１を指定する。次に、図１２～図１５を用いて、符号化装置１００が実行するフローチャートについて説明する。
　まず、図１２と図１３とを用いて、対象フレームｔＦにおける動きベクトル検出処理のフローチャートを説明する。符号化装置１００は、図１２で示すフローチャートか図１３で示すフローチャートかのいずれかを採用して、動きベクトルを検出する。
　図１２は、対象フレームにおける動きベクトル検出処理手順の第１の例を示すフローチャートである。対象フレームにおける動きベクトル検出処理は、対象フレームｔＦに含まれる各ＰＵの動きベクトルを検出する処理である。
　符号化装置１００は、対象フレームｔＦ内の、先頭のＬＣＵを選択する（ステップＳ１２０１）。次に、符号化装置１００は、対象フレームｔＦが先頭のフレームまたはリフレッシュされるフレームか否かを判断する（ステップＳ１２０２）。ここで、リフレッシュされるフレームとは、所定の順番以外のフレームである。
　対象フレームｔＦが先頭のフレームまたはリフレッシュされるフレームである場合（ステップＳ１２０２：Ｙｅｓ）、符号化装置１００は、選択したＬＣＵ内の先頭のＣＴＢを選択する（ステップＳ１２０３）。次に、符号化装置１００は、第１動きベクトル検出処理を実行する（ステップＳ１２０４）。第１動きベクトル検出処理の詳細は、図１４にて後述する。続けて、符号化装置１００は、ＬＣＵ内の全てのＣＴＢを選択したか否かを判断する（ステップＳ１２０５）。まだ選択していないＣＴＢがある場合（ステップＳ１２０５：Ｎｏ）、符号化装置１００は、次のＣＴＢを選択する（ステップＳ１２０６）。そして、符号化装置１００は、ステップＳ１２０４の処理に移行する。
　対象フレームｔＦが先頭のフレームでなく、かつ、リフレッシュされるフレームでない場合（ステップＳ１２０２：Ｎｏ）、符号化装置１００は、選択したＬＣＵ内の先頭のＣＴＢを選択する（ステップＳ１２０７）。次に、符号化装置１００は、第２動きベクトル検出処理を実行する（ステップＳ１２０８）。第２動きベクトル検出処理の詳細は、図１５にて後述する。続けて、符号化装置１００は、ＬＣＵ内の全てのＣＴＢを選択したか否かを判断する（ステップＳ１２０９）。まだ選択していないＣＴＢがある場合（ステップＳ１２０９：Ｎｏ）、符号化装置１００は、次のＣＴＢを選択する（ステップＳ１２１０）。そして、符号化装置１００は、ステップＳ１２０８の処理に移行する。
　全てのＣＴＢを選択した場合（ステップＳ１２０５：Ｙｅｓ、ステップＳ１２０９：Ｙｅｓ）、符号化装置１００は、対象フレームｔＦ内の全てのＬＣＵを選択したか否かを判断する（ステップＳ１２１１）。まだ選択していないＬＣＵがある場合（ステップＳ１２１１：Ｎｏ）、符号化装置１００は、次のＬＣＵを選択する（ステップＳ１２１２）。そして、符号化装置１００は、ステップＳ１２０２の処理に移行する。
　全てのＬＣＵを選択した場合（ステップＳ１２１１：Ｙｅｓ）、符号化装置１００は、対象フレームｔＦにおける動きベクトル検出処理を終了する。対象フレームにおける動きベクトル検出処理を実行することにより、符号化装置１００は、対象フレームｔＦに含まれる各ＰＵの動きベクトルを検出することができる。
　図１３は、対象フレームにおける動きベクトル検出処理手順の第２の例を示すフローチャートである。対象フレームにおける動きベクトル検出処理は、対象フレームｔＦに含まれる各ＰＵの動きベクトルを検出する処理である。また、ステップ図１３に示すステップＳ１３０１、ステップＳ１３０３～ステップＳ１３１２は、ステップＳ１２０１、ステップＳ１２０３～ステップＳ１２１２と同一の処理であるため、説明を省略する。
　ステップＳ１３０１、またはステップＳ１３１２の処理終了後、符号化装置１００は、ＡＢＳ（対象フレームｔＦのＬＣＵの平坦度－参照フレームｒＦのＬＣＵの平坦度）が所定の閾値より大きいか否かを判断する（ステップＳ１３０２）。ここで、ＡＢＳ（）は、引数の絶対値を返す関数である。また、平坦度は、下記（１）式により求められる。
　平坦度＝（ΣＡＢＳ（ＬＣＵ内の画素値－ＬＣＵ内の画素平均値））／ＬＣＵ内の総画素数　…（１）
　ＬＣＵ内の画素値は、たとえば、輝度信号Ｙとなる。また、ＬＣＵ内の画素値は、色差信号Ｃｂ、Ｃｒでもよい。ＬＣＵ内の総画素数は、４０９６となる。また、（１）式の代わりに、平坦度は、ＬＣＵ内の画素値の平均でもよいし、ＬＣＵ内の画素値の分散でもよいし、ＬＣＵ内の画素値の標準偏差でもよい。
　ＡＢＳ（対象フレームｔＦのＬＣＵの平坦度－参照フレームｒＦのＬＣＵの平坦度）が所定の閾値より大きい場合（ステップＳ１３０２：Ｙｅｓ）、符号化装置１００は、ステップＳ１３０３の処理を実行する。一方、ＡＢＳ（対象フレームｔＦのＬＣＵの平坦度－参照フレームｒＦのＬＣＵの平坦度）が所定の閾値以下の場合（ステップＳ１３０２：Ｎｏ）、符号化装置１００は、ステップＳ１３０７の処理に移行する。
　対象フレームにおける動きベクトル検出処理を実行することにより、符号化装置１００は、対象フレームｔＦに含まれる各ＰＵの動きベクトルを検出することができる。さらに、符号化装置１００は、平坦度の差分を比較することにより、対象フレームｔＦが参照フレームｒＦから大きく変化した場合に第１動きベクトル検出処理を行うことになる。したがって、参照フレームｒＦと対象フレームｔＦが類似しない場合に、全てのＤｅｐｔｈに対する動きベクトル検出処理を行うことになるため、符号化装置１００は、図１３に示すフローチャートより画質の劣化を抑制することができる。
　図１４と図１５とでは、ＰＵの評価値とＣＵの評価値とを算出する。ＰＵの評価値とＣＵの評価値とは、ＭＥ（Ｍｏｔｉｏｎ　Ｅｓｔｉｍａｔｉｏｎ）コストを評価値として用いる。ＭＥコストとは、動きベクトルの符号量や参照画像を指定するための符号量を見積もったものである。ＭＥコストであるＣｏｓｔの算出式は、下記（２）式となる。
　Ｃｏｓｔ（Ｍｏｄｅ∈Ω）＝ＳＡＤ＋λ＊Ｒ　…（２）
　ただし、Ωは、当該ＰＵを符号化するための候補モードの全体集合である。ＳＡＤ（Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅ）は、動きベクトル検出対象ブロックと参照フレームｒＦ中のブロックの各々対応する位置にある画素の値の差分絶対値を合計した差分絶対値和を示す。λは、量子化パラメータの関数として与えられるＬａｇｒａｎｇｅ未定乗数である。また、Ｒは、当該モードＭｏｄｅで符号化した場合の総符号量である。また、評価値には（２）式に限らず、ＳＡＤ、ＳＳＥ（Ｓｕｍｍａｔｉｏｎ　ｏｆ　Ｓｑｕａｒｅ　Ｅｒｒｏｒ）を使用してもよい。
　図１４は、第１動きベクトル検出処理手順の一例を示すフローチャートである。第１動きベクトル検出処理は、全てのＤｅｐｔｈ候補の評価値を算出して、動きベクトルを決定する処理である。また、図１４では、ＣＴＢが６４×６４［画素］であるとする。
　符号化装置１００は、Ｄｅｐｔｈ０の各ＰＵの動きベクトル候補検出を行い、各ＰＵの評価値を算出する（ステップＳ１４０１）。具体的に、符号化装置１００は、６４×６４［画素］のＰＵの評価値と、６４×３２［画素］の上のＰＵの評価値および下のＰＵの評価値の和と、３２×６４［画素］の左のＰＵの評価値および右のＰＵの評価値の和と、を算出する。評価値は、（２）式を用いて算出された値である。また、６４×３２［画素］の上のＰＵの評価値および下のＰＵの評価値の和を、「６４×３２［画素］のＰＵの評価値」とする。同様に、３２×６４［画素］の左のＰＵの評価値および右のＰＵの評価値の和を、「３２×６４［画素］のＰＵの評価値」とする。
　次に、符号化装置１００は、Ｄｅｐｔｈ０の各ＰＵの評価値に基づいて、Ｄｅｐｔｈ０のＰＵサイズを決定する（ステップＳ１４０２）。具体的に、符号化装置１００は、６４×６４［画素］のＰＵの評価値と、６４×３２［画素］のＰＵの評価値と、３２×６４［画素］のＰＵの評価値とのうち、最小の評価値となるＰＵを、Ｄｅｐｔｈ０のＰＵサイズに決定する。また、最小となった評価値を、Ｄｅｐｔｈ０の評価値とする。
　続けて、符号化装置１００は、Ｄｅｐｔｈ１の各ＰＵの動きベクトル候補検出を行い、各ＰＵの評価値を算出する（ステップＳ１４０３）。具体的に、符号化装置１００は、３２×３２［画素］のＰＵの評価値と、３２×１６［画素］の上のＰＵの評価値および下のＰＵの評価値の和と、１６×３２［画素］の左のＰＵの評価値および右のＰＵの評価値の和と、を算出する。また、ＣＴＢが６４×６４［画素］であれば、Ｄｅｐｔｈ１は、４個のＣＵを含むことができるため、符号化装置１００は、ステップＳ１４０３の処理を４回繰り返す。また、３２×１６［画素］の上のＰＵの評価値および下のＰＵの評価値の和を、「３２×１６［画素］のＰＵの評価値」とする。同様に、１６×３２［画素］の左のＰＵの評価値および右のＰＵの評価値の和を、「１６×３２［画素］のＰＵの評価値」とする。
　次に、符号化装置１００は、Ｄｅｐｔｈ１の各ＰＵの評価値に基づいて、Ｄｅｐｔｈ１のＰＵサイズを決定する（ステップＳ１４０４）。具体的に、符号化装置１００は、３２×３２［画素］のＰＵの評価値と、３２×１６［画素］のＰＵの評価値と、１６×３２［画素］のＰＵの評価値とのうち、最小の評価値となるＰＵを、Ｄｅｐｔｈ１のＰＵサイズに決定する。また、符号化装置１００は、最小となった評価値を、Ｄｅｐｔｈ１の評価値とする。また、ＣＴＢが６４×６４［画素］であれば、Ｄｅｐｔｈ１は、４個のＣＵを含むことができるため、符号化装置１００は、ステップＳ１４０４の処理を４回繰り返す。
　続けて、符号化装置１００は、Ｄｅｐｔｈ２の各ＰＵの動きベクトル候補検出を行い、各ＰＵの評価値を算出する（ステップＳ１４０５）。具体的に、符号化装置１００は、１６×１６［画素］のＰＵの評価値と、１６×８［画素］の上のＰＵの評価値および下のＰＵの評価値の和と、８×１６［画素］の左のＰＵの評価値および右のＰＵの評価値の和と、を算出する。また、ＣＴＢが６４×６４［画素］であれば、Ｄｅｐｔｈ２は、１６個のＣＵを含むことができるため、符号化装置１００は、ステップＳ１４０５の処理を１６回繰り返す。また、１６×８［画素］の上のＰＵの評価値および下のＰＵの評価値の和を、「１６×８［画素］のＰＵの評価値」とする。同様に、８×１６［画素］の左のＰＵの評価値および右のＰＵの評価値の和を、「８×１６［画素］のＰＵの評価値」とする。
　次に、符号化装置１００は、Ｄｅｐｔｈ２の各ＰＵの評価値に基づいて、Ｄｅｐｔｈ２のＰＵサイズを決定する（ステップＳ１４０６）。具体的に、符号化装置１００は、１６×１６［画素］のＰＵの評価値と、１６×８［画素］のＰＵの評価値と、８×１６［画素］のＰＵの評価値とのうち、最小の評価値となるＰＵを、Ｄｅｐｔｈ２のＰＵサイズに決定する。また、符号化装置１００は、最小となった評価値を、Ｄｅｐｔｈ２の評価値とする。また、ＣＴＢが６４×６４［画素］であれば、Ｄｅｐｔｈ２は、１６個のＣＵを含むことができるため、符号化装置１００は、ステップＳ１４０６の処理を１６回繰り返す。
　続けて、符号化装置１００は、Ｄｅｐｔｈ３の各ＰＵの動きベクトル候補検出を行い、各ＰＵの評価値を算出する（ステップＳ１４０７）。具体的に、符号化装置１００は、８×８［画素］のＰＵの評価値と、８×４［画素］の上のＰＵの評価値および下のＰＵの評価値の和と、４×８［画素］の左のＰＵの評価値および右のＰＵの評価値の和と、を算出する。また、ＣＴＢが６４×６４［画素］であれば、Ｄｅｐｔｈ３は、６４個のＣＵを含むことができるため、符号化装置１００は、ステップＳ１４０７の処理を６４回繰り返す。また、８×４［画素］の上のＰＵの評価値および下のＰＵの評価値の和を、「８×４［画素］のＰＵの評価値」とする。同様に、４×８［画素］の左のＰＵの評価値および右のＰＵの評価値の和を、「４×８［画素］のＰＵの評価値」とする。
　次に、符号化装置１００は、Ｄｅｐｔｈ３の各ＰＵの評価値に基づいて、Ｄｅｐｔｈ３のＰＵサイズを決定する（ステップＳ１４０８）。具体的に、符号化装置１００は、８×８［画素］のＰＵの評価値と、８×４［画素］のＰＵの評価値と、４×８［画素］のＰＵの評価値とのうち、最小の評価値となるＰＵを、Ｄｅｐｔｈ３のＰＵサイズに決定する。また、符号化装置１００は、最小となった評価値を、Ｄｅｐｔｈ３の評価値とする。また、ＣＴＢが６４×６４［画素］であれば、Ｄｅｐｔｈ３は、６４個のＣＵを含むことができるため、符号化装置１００は、ステップＳ１４０８の処理を６４回繰り返す。
　続けて、符号化装置１００は、Ｄｅｐｔｈ０～Ｄｅｐｔｈ３の決定したＰＵサイズの評価値に基づいて、動きベクトルを検出する（ステップＳ１４０９）。具体的に、符号化装置１００は、ステップＳ１４０２、ステップＳ１４０４、ステップＳ１４０６、ステップＳ１４０８の処理にて得たＤｅｐｔｈ０～Ｄｅｐｔｈ３の評価値のうち、評価値が最小となるＤｅｐｔｈを選択する。そして、符号化装置１００は、最小となったＤｅｐｔｈの決定したＰＵサイズの動きベクトル候補を、動きベクトルとして検出する。
　具体的に、符号化装置１００は、選択したＣＴＢ内において、Ｄｅｐｔｈ３の左上に位置する４つのＣＵの評価値の和と、Ｄｅｐｔｈ３の４つのＣＵを結合した領域と同領域となるＤｅｐｔｈ２の１つのＣＵの評価値とを比較する。Ｄｅｐｔｈ２の１つのＣＵの評価値が小さい場合、符号化装置１００は、Ｄｅｐｔｈ２の左上に位置する４つのＣＵの評価値の和と、Ｄｅｐｔｈ１の４つのＣＵを結合した領域と同領域となるＤｅｐｔｈ１の１つのＣＵの評価値との大小を比較する。たとえば、Ｄｅｐｔｈ２の左上に位置する４つのＣＵの評価値の和が小さい場合、符号化装置１００は、選択したＣＴＢ内の左上の領域を、Ｄｅｐｔｈ２の４つのＣＵで分割する。そして、符号化装置１００は、残りの領域についても同様に処理する。このようにして、符号化装置１００は、選択したＣＴＢを、複数のＤｅｐｔｈのＣＵで分割する。
　ステップＳ１４０９の処理終了後、符号化装置１００は、第１動きベクトル検出処理を終了する。第１動きベクトル検出処理を実行することにより、符号化装置１００は、評価値が最小となる動きベクトルを検出することができる。
　なお、図１４に示したフローチャートは、ＣＴＢが６４×６４［画素］である場合について示した。たとえば、ＣＴＢが３２×３２［画素］である場合、符号化装置１００は、ステップＳ１４０３～ステップＳ１４０９の処理を実行する。
　図１５は、第２動きベクトル検出処理手順の一例を示すフローチャートである。第２動きベクトル検出処理は、参照フレームＤｅｐｔｈに近似するＤｅｐｔｈ候補の評価値を算出して、動きベクトルを決定する処理である。
　符号化装置１００は、参照フレームｒＦの同位置のＣＴＢのＤｅｐｔｈを特定する（ステップＳ１５０１）。具体的な参照フレームｒＦの同位置のＣＴＢのＤｅｐｔｈ特定手順は、図８にて記述した。次に、符号化装置１００は、Ｄｅｐｔｈ候補テーブル７１１を参照して、参照フレームｒｆの同位置のＣＴＢのＤｅｐｔｈに対応するいずれかのＤｅｐｔｈ候補を選択する（ステップＳ１５０２）。続けて、符号化装置１００は、選択したいずれかのＤｅｐｔｈ候補のうちの先頭のＤｅｐｔｈ候補を選択する（ステップＳ１５０３）。
　次に、符号化装置１００は、選択したＤｅｐｔｈ候補の各ＰＵの動きベクトル候補検出を行い、各ＰＵの評価値を算出する（ステップＳ１５０４）。続けて、符号化装置１００は、選択したＤｅｐｔｈ候補の各ＰＵの評価値に基づいて、選択したＤｅｐｔｈのＰＵサイズを決定する（ステップＳ１５０５）。ステップＳ１５０４の処理の内容と、ステップＳ１５０５の処理の内容は、選択したＤｅｐｔｈによって変わることになる。
　具体的に、符号化装置１００は、選択したＤｅｐｔｈがＤｅｐｔｈ０であれば、ステップＳ１５０４の処理として、ステップＳ１４０１の処理と同一の処理を行い、ステップＳ１５０５の処理として、ステップＳ１４０２の処理と同一の処理を行う。また、符号化装置１００は、選択したＤｅｐｔｈがＤｅｐｔｈ１であれば、ステップＳ１５０４の処理として、ステップＳ１４０３の処理と同一の処理を行い、ステップＳ１５０５の処理として、ステップＳ１４０４の処理と同一の処理を行う。
　同様に、符号化装置１００は、選択したＤｅｐｔｈがＤｅｐｔｈ２であれば、ステップＳ１５０４の処理として、ステップＳ１４０５の処理と同一の処理を行い、ステップＳ１５０５の処理として、ステップＳ１４０６の処理と同一の処理を行う。また、符号化装置１００は、選択したＤｅｐｔｈがＤｅｐｔｈ３であれば、ステップＳ１５０４の処理として、ステップＳ１４０７の処理と同一の処理を行い、ステップＳ１５０５の処理として、ステップＳ１４０８の処理と同一の処理を行う。
　次に、符号化装置１００は、いずれかのＤｅｐｔｈ候補の全てのＤｅｐｔｈ候補を選択したか否かを判断する（ステップＳ１５０６）。いずれかのＤｅｐｔｈ候補のうちまだ選択していないＤｅｐｔｈ候補がある場合（ステップＳ１５０６：Ｎｏ）、符号化装置１００は、いずれかのＤｅｐｔｈ候補のうちの次のＤｅｐｔｈ候補を選択する（ステップＳ１５０７）。ステップＳ１５０７の処理終了後、符号化装置１００は、ステップＳ１５０４の処理に移行する。
　いずれかのＤｅｐｔｈ候補全てを選択した場合（ステップＳ１５０６：Ｙｅｓ）、符号化装置１００は、いずれかのＤｅｐｔｈ候補全ての決定したＰＵサイズの評価値に基づいて、動きベクトルを検出する（ステップＳ１５０８）。ステップＳ１５０８の処理終了後、符号化装置１００は、第２動きベクトル検出処理を終了する。第２動きベクトル検出処理を実行することにより、符号化装置１００は、参照フレームｒＦのＤｅｐｔｈに近似する、いずれかのＤｅｐｔｈ候補の中から評価値が最小となる動きベクトルを検出することができる。
　以上説明したように、符号化装置１００によれば、対象フレームのブロックの動きベクトル検出を行う際に、参照フレームのブロックの動きベクトル検出時に採用したブロックサイズと同等のブロックサイズを用いる。これにより、符号化装置１００は、符号化後の動画像の画質の劣化を抑制しつつ、動きベクトル検出処理にかかる演算量を削減することができる。
　具体的に、符号化装置１００は、４つのＤｅｐｔｈに対して動きベクトル検出処理を行う処理に対して、３つのＤｅｐｔｈに対して動きベクトル検出処理を行うため、動きベクトル検出処理にかかる演算量を、２５％削減することができる。
　また、符号化装置１００によれば、全てのＤｅｐｔｈ候補のうちの選択したＤｅｐｔｈ候補に対して評価値を算出して、動きベクトルを検出してもよい。これにより、符号化装置１００は、選択したＤｅｐｔｈ候補に対して評価値を算出するため、画質の劣化を抑制しつつ動きベクトルの検出にかかる演算量を削減することができる。
　また、符号化装置１００は、参照フレームｒＦのＤｅｐｔｈとして特定する個数として、１つのＤｅｐｔｈを特定してもよいし、２つ以上のＤｅｐｔｈを特定してもよい。たとえば、符号化装置１００は、参照フレームｒＦのＤｅｐｔｈが、Ｄｅｐｔｈ０～Ｄｅｐｔｈ２である場合、参照フレームｒＦのＤｅｐｔｈとしてＤｅｐｔｈ１を特定してもよいし、Ｄｅｐｔｈ０とＤｅｐｔｈ１とを特定してもよい。参照フレームｒＦのＤｅｐｔｈが２つ特定される可能性がある場合、Ｄｅｐｔｈ候補テーブル７１１が、参照フレームｒＦのＤｅｐｔｈが２つのレコードと、を記憶しておけばよい。
　また、符号化装置１００によれば、参照フレームｒＦの動きベクトルが検出された際に複数のＤｅｐｔｈが特定された場合、複数のＤｅｐｔｈの各々のＤｅｐｔｈに基づいて、参照フレームｒＦのＤｅｐｔｈを特定してもよい。たとえば、符号化装置１００は、複数のＤｅｐｔｈのうちの最も小さいＤｅｐｔｈを、参照フレームｒＦのＤｅｐｔｈとして特定してもよい。参照フレームｒＦにて小さく分割されたＤｅｐｔｈがあると、対象フレームｔＦでも小さく分割される可能性が高い。そこで、符号化装置１００は、最も小さいＤｅｐｔｈを参照フレームｒＦのＤｅｐｔｈとして特定しておくことにより、画質の劣化を抑制することができる。
　また、符号化装置１００によれば、参照フレームｒＦの動きベクトルが検出された際に複数のＤｅｐｔｈが特定された場合、複数のＤｅｐｔｈの各々のＤｅｐｔｈに従って分割されたＣＵの個数に基づいて、いずれかのＤｅｐｔｈ候補を選択してもよい。たとえば、符号化装置１００は、複数のＤｅｐｔｈのうちのＣＵサイズの個数が最も多いＤｅｐｔｈを、参照フレームｒＦのＤｅｐｔｈとして特定してもよい。これにより、符号化装置１００は、参照フレームｒＦが分割されたＤｅｐｔｈに最も近似するＤｅｐｔｈに絞り込んで動きベクトル検出を行うことになるため、画質の劣化を抑制することができる。また、符号化装置１００は、ＣＵサイズが小さい程、ＣＵサイズの個数が多くなるため、ＣＵサイズの大きさという重み付けを行ったＣＵサイズの個数に基づいて、参照フレームｒＦのＤｅｐｔｈを特定してもよい。
　また、符号化装置１００によれば、対象フレームｔＦが一連のフレームにおける所定の順番のフレームであれば第２動きベクトル検出処理を行い、対象フレームｔＦがる所定の順番のフレーム以外であれば第１動きベクトル検出処理を行ってもよい。たとえば、一連のフレームのいずれかのフレームにてシーンチェンジ等をした結果、参照フレームｒＦと対象フレームｔＦとが類似しない状態があるとする。このとき、符号化装置１００は、対象フレームｔＦが所定の順番のフレーム以外の時に第１動きベクトル検出処理を行うため、画像の内容に適したブロックサイズで符号化を行うことができ、画質の劣化を抑制することができる。
　また、符号化装置１００によれば、対象フレームｔＦの平坦度と参照フレームｒＦの平坦度との差分が所定の閾値以下であれば第２動きベクトル検出処理を行い、所定の閾値より大きければ第１動きベクトル検出処理を行ってもよい。たとえば、参照フレームｒＦから対象フレームにかけてシーンチェンジがあったとする。このとき、対象フレームｔＦの平坦度と参照フレームｒＦの平坦度とが大きく変化することになるため、符号化装置１００は、第１動きベクトル検出処理を行うことになる。このように、符号化装置１００は、参照フレームｒＦと対象フレームｔＦとが類似しなくなったときに、第１動きベクトル検出処理を行うため、画質の劣化を抑制することができる。
　また、本実施の形態では、フレーム間予測単位となるＰＵの計算対象を減らして、動きベクトル検出処理にかかる演算量を削減したが、直交変換の単位となるＴＵ（Ｔｒａｎｓｆｏｒｍ　Ｕｎｉｔ）の選択可能なブロックサイズを削減してもよい。ＴＵは、４×４［画素］と、８×８［画素］と、１６×１６［画素］と、３２×３２［画素］との４種類がある。直交変換とは、画像圧縮を行う前処理の段階において、画像圧縮をしやすくするために、変換前の画像の画素値を低周波成分と高周波成分に分解する仕組みのことである。
　なお、本実施の形態で説明した符号化方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本符号化プログラムは、ハードディスク、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また本符号化プログラムは、インターネット等のネットワークを介して配布してもよい。
　また、本実施の形態で説明した符号化装置１００は、スタンダードセルやストラクチャードＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）などの特定用途向けＩＣ（以下、単に「ＡＳＩＣ」と称す。）やＦＰＧＡなどのＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）によっても実現することができる。具体的には、たとえば、上述した符号化装置１００の判断部７０１～検出部７０５と、Ｄｅｐｔｈ候補テーブル７１１とをＨＤＬ記述によって機能定義し、ＨＤＬ記述を論理合成してＡＳＩＣやＰＬＤに与えることにより、符号化装置１００を製造することができる。
　ｔＦ　対象フレーム
　ｒＦ　参照フレーム
　１００　符号化装置
　２００　コンピュータシステム
　７０１　判断部
　７０２　特定部
　７０３　選択部
　７０４　算出部
　７０５　検出部

Claims (10)

  1. 　一連のフレームにおける符号化対象の対象フレームの参照先となる参照フレームについて、前記参照フレームから分割されるブロックの複数のブロックサイズ候補の中から、前記ブロックの動きベクトルが検出された際のブロックサイズを特定する特定部と、
    　前記対象フレームから分割されるブロックの動きベクトルを検出する際に、前記特定部によって特定された前記ブロックサイズに基づいて、前記複数のブロックサイズ候補のうちの前記対象フレームを分割するいずれかのブロックサイズ候補を選択する選択部と、
    　を有することを特徴とする符号化装置。
  2. 　前記選択部によって選択された前記いずれかのブロックサイズ候補に対応して、前記対象フレームから前記いずれかのブロックサイズ候補に従って分割される各ブロックの画素値と前記参照フレーム上の探索範囲内の参照ブロックの画素値との差分を表す評価値を算出する算出部と、
    　前記算出部によって算出された前記いずれかのブロックサイズ候補に従って分割した各ブロックの評価値に基づいて、前記対象フレームが分割されたブロックの動きベクトルを検出する検出部と、
    　を有することを特徴とする請求項１に記載の符号化装置。
  3. 　前記選択部は、
    　前記特定部によって前記参照フレームが分割されたブロックの動きベクトルが検出された際に前記ブロックのブロックサイズが複数特定された場合、複数のブロックサイズの各々のブロックサイズのうちの相対的に小さいブロックサイズに基づいて、前記複数のブロックサイズ候補のうちの前記対象フレームを分割するいずれかのブロックサイズ候補を選択することを特徴とする請求項１または２に記載の符号化装置。
  4. 　前記選択部は、
    　前記特定部によって前記参照フレームが分割されたブロックの動きベクトルが検出された際に前記ブロックのブロックサイズが複数特定された場合、複数のブロックサイズの各々のブロックサイズに従って分割されたブロックの個数に基づいて、前記複数のブロックサイズ候補のうちの前記対象フレームを分割するいずれかのブロックサイズ候補を選択することを特徴とする請求項１～３のいずれか一つに記載の符号化装置。
  5. 　前記対象フレームが前記一連のフレームにおける所定の順番のフレームであるか否かを判断する判断部を有し、
    　前記特定部は、
    　前記判断部によって前記対象フレームが前記所定の順番のフレームであると判断された場合、前記ブロックサイズを特定することを特徴とする請求項１～４のいずれか一つに記載の符号化装置。
  6. 　前記対象フレームの画素値と、前記参照フレームの画素値との差分を表す値が所定の閾値未満か否かを判断する判断部を有し、
    　前記特定部は、
    　前記判断部によって前記値が前記所定の閾値未満であると判断された場合、前記ブロックサイズを特定することを特徴とする請求項１～５のいずれか一つに記載の符号化装置。
  7. 　一連のフレームにおける符号化対象の対象フレームの参照先となる参照フレームについて、前記参照フレームから分割されるブロックの複数のブロックサイズ候補の中から、前記ブロックの動きベクトルが検出された際のブロックサイズを特定する特定部と、
    　前記対象フレームから分割されるブロックの動きベクトルを検出する際に、前記特定部によって特定された前記ブロックサイズに基づいて、前記複数のブロックサイズ候補のうちの前記対象フレームを分割するいずれかのブロックサイズ候補を選択する選択部と、
    　を有するコンピュータを含むことを特徴とするコンピュータシステム。
  8. 　コンピュータが、
    　一連のフレームにおける符号化対象の対象フレームの参照先となる参照フレームについて、前記参照フレームから分割されるブロックの複数のブロックサイズ候補の中から、前記ブロックの動きベクトルが検出された際のブロックサイズを特定し、
    　前記対象フレームから分割されるブロックの動きベクトルを検出する際に、特定した前記ブロックサイズに基づいて、前記複数のブロックサイズ候補のうちの前記対象フレームを分割するいずれかのブロックサイズ候補を選択する、
    　処理を実行することを特徴とする符号化方法。
  9. 　コンピュータに、
    　一連のフレームにおける符号化対象の対象フレームの参照先となる参照フレームについて、前記参照フレームから分割されるブロックの複数のブロックサイズ候補の中から、前記ブロックの動きベクトルが検出された際のブロックサイズを特定し、
    　前記対象フレームから分割されるブロックの動きベクトルを検出する際に、特定した前記ブロックサイズに基づいて、前記複数のブロックサイズ候補のうちの前記対象フレームを分割するいずれかのブロックサイズ候補を選択する、
    　処理を実行させることを特徴とする符号化プログラム。
  10. 　一連のフレームにおける符号化対象の対象フレームの参照先となる参照フレームについて、前記参照フレームから分割されるブロックの複数のブロックサイズ候補の中から、前記ブロックの動きベクトルが検出された際のブロックサイズを特定し、
    　前記対象フレームから分割されるブロックの動きベクトルを検出する際に、特定した前記ブロックサイズに基づいて、前記複数のブロックサイズ候補のうちの前記対象フレームを分割するいずれかのブロックサイズ候補を選択する、
    　処理をコンピュータに実行させる符号化プログラムを記録したことを特徴とする記録媒体。
PCT/JP2013/058864 2013-03-26 2013-03-26 符号化装置、方法、プログラム、コンピュータシステム、記録媒体 WO2014155543A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2013/058864 WO2014155543A1 (ja) 2013-03-26 2013-03-26 符号化装置、方法、プログラム、コンピュータシステム、記録媒体
JP2015507753A JP6090430B2 (ja) 2013-03-26 2013-03-26 符号化装置、方法、プログラム、コンピュータシステム、記録媒体
US14/767,546 US20160057429A1 (en) 2013-03-26 2015-08-12 Coding apparatus, method, computer product, and computer system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/058864 WO2014155543A1 (ja) 2013-03-26 2013-03-26 符号化装置、方法、プログラム、コンピュータシステム、記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/767,546 Continuation US20160057429A1 (en) 2013-03-26 2015-08-12 Coding apparatus, method, computer product, and computer system

Publications (1)

Publication Number Publication Date
WO2014155543A1 true WO2014155543A1 (ja) 2014-10-02

Family

ID=51622623

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/058864 WO2014155543A1 (ja) 2013-03-26 2013-03-26 符号化装置、方法、プログラム、コンピュータシステム、記録媒体

Country Status (3)

Country Link
US (1) US20160057429A1 (ja)
JP (1) JP6090430B2 (ja)
WO (1) WO2014155543A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105430415A (zh) * 2015-12-02 2016-03-23 宁波大学 一种3d-hevc深度视频帧内快速编码方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6394876B2 (ja) * 2014-09-17 2018-09-26 株式会社ソシオネクスト 符号化回路、符号化方法
CN112702603A (zh) * 2019-10-22 2021-04-23 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007194935A (ja) * 2006-01-19 2007-08-02 Victor Co Of Japan Ltd 動画像符号化装置および動画像符号化プログラム
JP2007329693A (ja) * 2006-06-08 2007-12-20 Hitachi Ltd 画像符号化装置、及び画像符号化方法
JP2008017209A (ja) * 2006-07-06 2008-01-24 Canon Inc 動きベクトル検出装置、動きベクトル検出方法、コンピュータプログラム及び記憶媒体

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100999091B1 (ko) * 2003-11-17 2010-12-07 삼성전자주식회사 임의 크기의 가변 블록을 이용한 영상 압축 방법 및 장치
EP1949338A1 (en) * 2005-10-12 2008-07-30 Active Optics Pty Ltd. Image processing method and system
CN102301714B (zh) * 2009-01-28 2014-01-22 法国电信公司 用于对实施运动补偿的图像序列进行编码和解码的方法、以及对应的编码和解码装置
JP5616984B2 (ja) * 2011-01-26 2014-10-29 株式会社日立製作所 画像復号化装置
JP2013046282A (ja) * 2011-08-25 2013-03-04 Sony Corp 画像処理装置および画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007194935A (ja) * 2006-01-19 2007-08-02 Victor Co Of Japan Ltd 動画像符号化装置および動画像符号化プログラム
JP2007329693A (ja) * 2006-06-08 2007-12-20 Hitachi Ltd 画像符号化装置、及び画像符号化方法
JP2008017209A (ja) * 2006-07-06 2008-01-24 Canon Inc 動きベクトル検出装置、動きベクトル検出方法、コンピュータプログラム及び記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105430415A (zh) * 2015-12-02 2016-03-23 宁波大学 一种3d-hevc深度视频帧内快速编码方法

Also Published As

Publication number Publication date
JPWO2014155543A1 (ja) 2017-02-16
JP6090430B2 (ja) 2017-03-08
US20160057429A1 (en) 2016-02-25

Similar Documents

Publication Publication Date Title
JP6334006B2 (ja) ビデオ符号化用の高コンテンツ適応型品質回復フィルタ処理のためのシステムおよび方法
EP3389276B1 (en) Hash-based encoder decisions for video coding
CN106331703B (zh) 视频编码和解码方法、视频编码和解码装置
JP4723025B2 (ja) 画像符号化方法および画像符号化装置
WO2010001916A1 (ja) 画像処理装置および方法
TW202038611A (zh) 用於視訊寫碼之三角運動資訊
JP2017536002A (ja) 画像予測方法および関連装置
US20150117540A1 (en) Coding apparatus, decoding apparatus, coding data, coding method, decoding method, and program
US20240015300A1 (en) Image encoding/decoding method and device
CN114830651A (zh) 帧内预测方法、编码器、解码器以及计算机存储介质
US10034016B2 (en) Coding apparatus, computer system, coding method, and computer product
JP6090430B2 (ja) 符号化装置、方法、プログラム、コンピュータシステム、記録媒体
US8253817B2 (en) Image compression method, device, electronic camera, and program
CN104602025A (zh) 处理图像的方法和装置
Ma et al. A fast background model based surveillance video coding in HEVC
US11528485B2 (en) Encoding apparatus and program
US9948932B2 (en) Image processing apparatus and control method of image processing apparatus
JP5571262B2 (ja) 画像符号化方法及び画像復号化方法
JP6066583B2 (ja) 動画像符号化装置及び動画像符号化方法
JP6248648B2 (ja) 情報処理装置、符号化単位の選択方法、及びプログラム
WO2006084419A1 (en) Method for reducing bit rate requirements for encoding multimedia data
JP5509398B1 (ja) 画像符号化方法及び画像復号化方法
JP2014131293A (ja) 画像符号化方法及び画像復号化方法
JP2014131295A (ja) 画像符号化方法及び画像復号化方法
JP5571229B2 (ja) 画像符号化方法及び画像復号化方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13880680

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015507753

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13880680

Country of ref document: EP

Kind code of ref document: A1