WO2016194828A1 - 演算装置、演算方法、及びプログラム - Google Patents
演算装置、演算方法、及びプログラム Download PDFInfo
- Publication number
- WO2016194828A1 WO2016194828A1 PCT/JP2016/065759 JP2016065759W WO2016194828A1 WO 2016194828 A1 WO2016194828 A1 WO 2016194828A1 JP 2016065759 W JP2016065759 W JP 2016065759W WO 2016194828 A1 WO2016194828 A1 WO 2016194828A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- correlation
- reference block
- value
- unit
- sad
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/557—Motion estimation characterised by stopping computation or iteration based on certain criteria, e.g. error magnitude being too large or early exit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/127—Prioritisation of hardware or computational resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
Definitions
- a method that uses the result of calculating motion vectors.
- a method of calculating a motion vector a method using a block matching method is widely known.
- the block matching method is a method of dividing two images to be compared into a plurality of regions and calculating a correlation value between the two images for each of the divided regions.
- a motion vector is calculated based on the correlation value obtained from the calculation result.
- Patent Document 1 proposes a motion vector detection device using such a block matching method.
- the block matching method When calculating the correlation value between two images, the block matching method enables accurate calculation of the correlation value. However, in the correlation calculation by the block matching method, the larger the area of the image to be calculated, the greater the amount of calculation. Therefore, the arithmetic circuit that calculates the correlation value will always operate continuously, and there is a problem that the power consumption consumed by the arithmetic circuit becomes larger.
- the present invention has been made in view of the above, and provides an arithmetic device, an arithmetic method, and a program capable of reducing the power consumption of the arithmetic circuit.
- An arithmetic device divides a reference frame into a plurality of reference blocks, sets a reference block corresponding to the reference frame in the reference frame, and performs division between the reference block and the reference block.
- a reference block data storage unit for storing data of the reference block
- a reference block data storage unit for storing data of the reference block, data of the reference block and data of the reference block
- a plurality of correlation calculation units that simultaneously calculate correlation values at a plurality of different positions, and a plurality of the correlation values calculated by the correlation calculation unit are sorted in descending order of correlation, and the results are sorted
- a correlation threshold value respectively input to the plurality of correlation calculation units, and the plurality of correlation calculation units Comparing the computed plurality of said correlation values, wherein when more of the correlation value than the correlation threshold is a low correlation, and performs correlation operation stop process to stop the operation of the correlation calculation section.
- the correlation threshold is output from the sorting unit.
- the arithmetic device includes a control unit that controls the correlation threshold, and the correlation threshold is output from the control unit. Do.
- the correlation calculation stopping process is a process of stopping the operation of the correlation calculating unit by stopping an operation clock of the correlation calculating unit. It is characterized by being.
- the correlation calculation stopping process sets the data input to the correlation calculation unit to a maximum value on one side and a minimum value on the other side. It is characterized by being processing which stops operation of the above-mentioned correlation operation part by doing.
- the power consumption of the arithmetic circuit can be reduced.
- the block matching method is a method of dividing at least one of two images to be compared into a plurality of regions, and calculating the correlation value between the two images for each region.
- one of the two images to be compared is called a reference frame, and the other is called a reference frame.
- a correlation operation is performed between a specific area (reference block) in a reference frame and a specific area (reference block) in a reference frame.
- the reference block and the reference block have the same area size.
- the block matching method can identify (the position of) the reference block and the reference block that has the highest correlation, or detect a motion vector.
- the area size of the reference frame in this example is assumed to be an area size smaller than that of the reference frame. Also, the reference frame and the reference block are assumed to have the same area size. That is, it is assumed that the entire reference frame is one reference block.
- FIG. 1 is a schematic view showing an example of correlation calculation between two images using a block matching method.
- Reference block reference frame Y data 2 (T)
- the correlation value between this reference block and the reference block is calculated.
- the correlation value to be determined is the SAD value.
- the SAD value in the present example is calculated by summing the absolute values of the differences in luminance values at the respective pixels of the reference block data and the reference block data. And, the smaller the SAD value, the higher the correlation between the image included in the reference block and the image included in the reference block.
- the SAD value is calculated between the reference block and the next reference block which is a region shifted by one pixel in the horizontal direction from the reference block in the reference frame Y data 1 (I) (image p2 in FIG. 1). ). Subsequently, in the same manner, the SAD value between the reference block and the reference block shifted one pixel to the right in the horizontal direction is sequentially calculated. Then, after reaching the reference block at the right end in the reference frame Y data 1 (I) (image p3 in FIG. 1), it is the reference block at the left end again in the reference frame Y data 1 (I). The SAD value between the reference block and the reference block shifted downward by one pixel is calculated (image p4 in FIG. 1).
- Each SAD value calculated by the above process is subjected to various statistical processes depending on the application and used. For example, in order to specify the reference block most similar to the reference block, the minimum value among the calculated SAD values can be obtained, or the calculated SAD values can be rearranged in ascending order to be used as an evaluation value. Are used. Alternatively, each calculated SAD value is used to calculate a motion vector.
- the arithmetic circuit that calculates the SAD value will always operate continuously, and the power consumption consumed by the arithmetic circuit will be larger.
- FIG. 2A and FIG. 2B are schematic diagrams showing an example of the calculation amount of the correlation calculation in the block matching method.
- the reference frame Y data 1 (I) is an image of 400 pixels having 20 pixels in the horizontal direction and 20 pixels in the vertical direction (FIG. 2A).
- the reference frame Y data 2 (T) is an image having 10 pixels in the horizontal direction and 10 pixels in the vertical direction (FIG. 2B). That is, the reference block and each reference block are also images having 10 pixels in the horizontal direction and 10 pixels in the vertical direction.
- the reference frame Y data 1 (I) is 400 pixels, but for example, an image captured by a recent compact digital camera is unusual in an image having a pixel count exceeding 15 million pixels. Instead, a huge amount of operations are actually repeated.
- FIG.3, FIG.4, and FIG.5 are schematic which shows an example of the correlation calculation by the arithmetic unit which concerns on the 1st Embodiment of this invention.
- a reference frame Y data 1 (I) is data representing an image having 20 pixels in the horizontal direction and 20 pixels in the vertical direction as shown in FIG. 2A.
- It is an arithmetic unit that calculates an SAD value between a reference frame Y data 2 (T) which is data representing an image having 10 pixels in the horizontal direction and 10 pixels in the vertical direction.
- the arithmetic device 1 according to the first embodiment has a plurality of arithmetic circuits for calculating the SAD value in order to ensure a high calculation speed.
- the arithmetic device 1 according to the first embodiment is an arithmetic circuit (hereinafter, referred to as a difference absolute value calculation circuit) capable of calculating an absolute value of the difference of luminance values of pixels (hereinafter referred to as a difference absolute value). It carries 110 pieces. Therefore, the computing device 1 can compute the difference absolute value for 110 pixels simultaneously.
- the image pa1 in FIG. 3 indicates that the top left reference block of the reference frame Y data 1 (I) is set as a comparison area with the reference block.
- the arithmetic device calculates the absolute value of the pixel difference between the reference block and the reference block for each pixel of the uppermost line of 10 pixels of the reference block. Then, the computing device sums the computed difference absolute values (for a total of 10 pixels) to calculate an SAD value (hereinafter, this addition process is referred to as horizontal addition).
- the arithmetic device can perform the SAD operation from the image pa1 of FIG. 3 to the image pa110 of FIG. 3 in a total of 10 times of processing. Therefore, the arithmetic device according to the first embodiment performs the SAD operation between the reference block and the 11 reference blocks positioned uppermost in the reference frame Y data 1 (I) a total of 10 processing times. Can be done with As a result, the arithmetic device can set the SAD value (SAD value s001, SAD value s002,..., SAD) between the reference block and the 11 reference blocks located at the topmost position in the reference frame Y data 1 (I). The value s011) can be calculated.
- the calculated 11 SAD values (SAD value s001, SAD value s002,..., SAD value s011) are smaller by the sorting unit 40 described later. Sort in order (ie, in order of high correlation). Then, the sorting unit 40 holds, for example, only the SAD values from the smaller one to the top 10 among these.
- the arithmetic device determines between the reference block and the 11 reference blocks in the area of the reference frame Y data 1 (I) vertically shifted downward by 1 pixel.
- SAD calculation is performed in a total of 10 times of processing (from image pa 111 in FIG. 4 to image pa 220 in FIG. 4).
- the arithmetic unit determines the SAD value (SAD value s 012, SAD value) between the reference block and the 11 reference blocks in the area vertically shifted downward by 1 pixel in the reference frame Y data 1 (I). s013, ..., SAD value s022) can be calculated.
- the arithmetic device 1 adds to the 11 calculated SAD values (SAD value s012, SAD value s013, ..., SAD value s022), and calculates it before that, and the sort unit
- the sorting unit 40 to be described later rearranges in the ascending order of the values (that is, in the descending order of the correlation), including the ten SAD values held. Then, the sorting unit 40 holds, for example, only the SAD values from the smaller one to the top 10 among these.
- the arithmetic unit 1 calculates SAD values (SAD value s001, SAD value s002,..., SAD value s121) between all 121 reference blocks in the reference frame Y data 1 (I) and the reference block.
- the top 10 SAD values can be identified from the smaller value (ie, the higher the correlation). That is, the arithmetic unit 1 can specify a reference block having a high correlation with the reference block among the 121 reference blocks in the reference frame Y data 1 (I).
- FIG. 6 is a diagram showing an example of the configuration of the arithmetic device 1 according to the first embodiment of the present invention.
- the arithmetic device 1 is configured to include a reference block data storage unit 10, a reference block data storage unit 20, a correlation operation unit 30, and a sorting unit 40.
- the reference block data storage unit 10 stores data of each reference block divided (divided) from the reference frame data Y1 (I).
- the reference block data storage unit 10 is configured by, for example, a dynamic random access memory (DRAM), a static random access memory (SRAM), or a synchronous DRAM (SDRAM).
- DRAM dynamic random access memory
- SRAM static random access memory
- SDRAM synchronous DRAM
- the reference block data storage unit 20 stores data of each reference block divided (divided) from the reference frame data Y2 (T).
- the reference block data storage unit 20 is also configured by, for example, a DRAM, an SRAM, or an SDRAM.
- the correlation operation unit 30 performs correlation operation between data of the reference block acquired from the reference block data storage unit 10 and data of the reference block acquired from the reference block data storage unit 20.
- the arithmetic device 1 shown in FIG. 6 shows a circuit that performs SAD operation.
- the correlation operation unit 30 calculates the absolute value (difference absolute value) of the difference between the brightness values of the pixels included in each reference block and the reference block to obtain the sum of the difference absolute values for each reference block. To the sort unit 40. The detailed description of the configuration of the correlation operation unit 30 will be described later.
- the sorting unit 40 sorts the SAD values for each reference block acquired from the correlation operation unit 30 in ascending order of values (in order of high correlation). Then, the sorting unit 40 stores SAD values for a predetermined number of cases (for example, for the top 10 cases) among the rearranged SAD values. Then, each time the sorting unit 40 obtains the SAD value from the correlation operation unit 30, the obtained SAD value includes the already stored SAD value each time in order of ascending value (in order of high correlation) Sort SAD values into. Then, the sorting unit 40 specifies SAD values for a predetermined number of cases (for example, for the top 10 cases) among the rearranged SAD values, and overwrites and updates the SAD values stored by the specified SAD values. Do.
- the correlation operation unit 30 includes 110 difference absolute value calculation units 301 (301-1, 301-2,..., 301-110) and 11 horizontal addition units 302 (302- 1, 302-2,..., 302-11), 11 vertical addition units 303 (303-1, 303-2,..., 303-11), and 11 holding units 304 ( 304-1, 304-2, ..., 304-11).
- the difference absolute value calculation unit 301 (301-1, 301-2,..., 301-110) outputs data representing the luminance value of one pixel in the reference block from the reference block data storage unit 10 (FIG. , Y1 to Y20), and data (y1 to y10 in FIG. 6) indicating the luminance value of one pixel in the reference block from the reference block data storage unit 20.
- the difference absolute value calculation unit 301 (301-1, 301-2,..., 301-110) calculates the difference absolute value of the two acquired luminance values, and the calculation result is added to the horizontal direction addition unit 302 (302-302). 1, 302-2, ..., 302-11).
- data input from the difference absolute value calculation unit 301-1 to the difference absolute value calculation unit 301-10 includes the image pa1 of FIG. 3, the image pa12 of FIG. 3, the image pa100 of FIG. 3, and the image pa111 of FIG.
- the reference block is at the leftmost end of the reference frame, as shown by the image pa122 in FIG. 4, the image pa210 in FIG. 4, the image pa1101 in FIG. 5, the image pa1112 in FIG. It is data for one line.
- data input from the difference absolute value calculation unit 301-11 to the difference absolute value calculation unit 301-20 includes the image pa2 of FIG. 3, the image pa13 of FIG. 3, the image pa101 of FIG. As shown in the image pa112, the image pa123 in FIG. 4, the image pa211 in FIG. 4, the image pa1102 in FIG. 5, the image pa1113 in FIG. 5, or the image pa1201 in FIG. It is data of one line when it is at a position shifted to the right by one pixel.
- the data input from the difference absolute value calculation unit 301-11 to the difference absolute value calculation unit 301-20 are the image pa11 of FIG. 3, the image pa22 of FIG. 3, the image pa110 of FIG. As shown in the image pa121, the image pa132 of FIG. 4, the image pa220 of FIG. 4, the image pa1111 of FIG. 5, the image pa1122 of FIG. 5, or the image pa1210 of FIG. It is data of one line in the case.
- the correlation calculation unit 30 calculates 110 difference absolute values at a time by the 110 difference absolute value calculation units 301 (301-1, 301-2, ..., 301-110). This makes it possible to calculate the difference absolute value of one line of the reference frame at one time.
- the horizontal direction addition units 302 (302-1, 302-2,..., 302-11) can be obtained by summing up the 10 difference absolute values obtained from the 10 difference absolute value calculation units 301.
- the SAD value is calculated and output to the vertical direction addition unit 303 (303-1, 303-2,..., 303-11).
- the horizontal direction addition unit 302-1 calculates the SAD value by adding up the difference absolute values output from the difference absolute value calculation unit 301 from the difference absolute value calculation unit 301-1 to the difference absolute value calculation unit 301-10.
- This SAD value is, for example, the image pa1 of FIG. 3, the image pa12 of FIG. 3, the image pa100 of FIG. 3, the image pa111 of FIG. 4, the image pa122 of FIG. 4, the image pa210 of FIG. 4, the image pa1101 of FIG. As shown in the image pa 1112 of No. 5 or the image pa 1200 in FIG. 5 or the like, it is the SAD value calculated for one line when the reference block is at the leftmost end of the reference frame.
- the horizontal addition unit 302-2 adds up the difference absolute values output from the difference absolute value calculation unit 301 from the difference absolute value calculation unit 301-11 to the difference absolute value calculation unit 301-20, and performs SAD. Calculate the value.
- the SAD values are, for example, the image pa2 in FIG. 3, the image pa13 in FIG. 3, the image pa101 in FIG. 3, the image pa112 in FIG. 4, the image pa123 in FIG. 4, the image pa211 in FIG. As shown in the image pa 1113 of No. 5 or the image pa 1201 etc. in FIG. 5, the SAD value calculated for one line when the reference block is at a position shifted to the right by one pixel from the left end in the reference frame is there.
- the horizontal addition unit 302-11 adds up the difference absolute values output from the difference absolute value calculation unit 301 from the difference absolute value calculation unit 301-101 to the difference absolute value calculation unit 301-110, and performs SAD. Calculate the value.
- This SAD value is, for example, the image pa11 of FIG. 3, the image pa22 of FIG. 3, the image pa110 of FIG. 3, the image pa121 of FIG. 4, the image pa132 of FIG. 4, the image pa220 of FIG. 4, the image pa1111 of FIG. As shown in the image pa1122 of 5 or the image pa1210 of FIG. 5 or the like, the SAD value is calculated for one line when the reference block is at the rightmost end of the reference frame.
- the vertical direction addition units 303 receive the SAD from the horizontal direction addition units 302 (302-1, 302-2, ..., 302-11). A value is acquired, and the acquired SAD value is added to the SAD value stored in each of the holding units 304 (304-1, 304-2,..., 304-11) described later. Then, the vertical direction addition units 303 (303-1, 303-2,..., 303-11) store in the holding units 304 (304-1, 304-2,. Overwrite and update the current SAD value with the SAD value after addition.
- the vertical direction addition unit 303-1 acquires the SAD value from the horizontal direction addition unit 302-1, and adds the acquired SAD value to the SAD value stored in the storage unit 304-1, which will be described later. Then, the vertical direction addition unit 303-1 overwrites and updates the SAD value stored in the holding unit 304-1 with the SAD value after addition.
- the vertical direction addition unit 303-2 acquires the SAD value from the horizontal direction addition unit 302-2, and adds the acquired SAD value to the SAD value stored in the storage unit 304-2 described later. Then, the vertical direction addition unit 303-2 overwrites and updates the SAD value stored in the holding unit 304-2 with the SAD value after addition.
- the vertical direction addition unit 303-11 acquires the SAD value from the horizontal direction addition unit 302-11, and adds the acquired SAD value to the SAD value stored in the holding unit 304-11 described later. Then, the vertical direction addition unit 303-11 overwrites and updates the SAD value stored in the holding unit 304-11 with the SAD value after addition.
- the holding units 304 (304-1, 304-2,..., 304-11) each store the SAD value.
- the holding units 304 receive 10 times each from the vertical direction addition units 303 (303-1, 303-2,..., 303-11).
- the SAD value is input (that is, when the SAD value is input first and then nine times the SAD value is overwritten and updated)
- the SAD value at that time is output to the sorting unit 40.
- the holding unit 304 (304-1, 304-2, ..., 304-11) initializes the stored SAD value (set the value to 0).
- the holding unit 304-1 completes the SAD operation between the reference block and the reference block consisting of 10 lines (rows) by the input of the SAD value of 10 times from the vertical direction addition unit 303-1. It is determined that the SAD calculation result is output to the sorting unit 40. Then, the holding unit 304-1 initializes the stored SAD value (set the value to 0).
- the reference block for which the holding unit 304-1 calculates the SAD value is, for example, the image pa1 of FIG. 3, the image pa12 of FIG. 3, the image pa100 of FIG. 3, the image pa111 of FIG. As shown by an image pa210 in FIG. 4, an image pa1101 in FIG. 5, an image pa1112 in FIG. 5, or an image pa1200 in FIG. 5, the reference block is located at the left end of the reference frame.
- the holding unit 304-11 performs SAD between the reference block consisting of 10 lines (rows) and the reference block by the input of 10 SAD values from the vertical direction addition unit 303-11. It is determined that the calculation is completed, and the result of the SAD calculation is output to sorting section 40. Then, the holding unit 304-11 initializes the stored SAD value (set the value to 0).
- Reference blocks for which the holding unit 304-11 calculates the SAD value are, for example, the image pa11 of FIG. 3, the image pa22 of FIG. 3, the image pa110 of FIG. 3, the image pa121 of FIG. As shown by the image pa220 in FIG. 4, the image pa1111 in FIG. 5, the image pa1122 in FIG. 5, or the image pa1210 in FIG. 5, this is a reference block when the reference block is positioned at the rightmost end of the reference frame.
- the correlation operation unit 30 of the operation device 1 is configured to receive 11 pieces of luminance value data from the reference block data storage unit 10 and the reference block data storage unit 20 ten times.
- the SAD operation results between the reference block and the reference block can be output respectively.
- FIG. 7 is a timing chart showing an example of timing when luminance value data is inputted to the difference absolute value calculation unit 301 of the arithmetic device 1 according to the first embodiment of the present invention.
- the luminance value data Y (0, 0) and y (0, 0) are input to the difference absolute value calculation unit 301-1, and the luminance value data Y (0, 1) is input to the difference absolute value calculation unit 301-2.
- the difference absolute value calculation units 301 to 110, luminance value data Y (0, 19) and y (0, 9) are input at the same timing.
- Y (0, 0) which is a luminance value for one pixel of the reference block is input to the difference absolute value calculating unit 301-1 first.
- “(0, 0)” represents the coordinates in the reference block.
- “(0, 0)” represents coordinates of a position where 0 pixel in the vertical direction and 0 pixel in the horizontal direction are moved from the top left pixel in the reference block. That is, Y (0, 0) is data representing the luminance value of the uppermost left pixel in the reference block.
- y (0, 0) which is a luminance value for one pixel of the reference block is firstly input to the difference absolute value calculation unit 301-1.
- “(0, 0)” represents coordinates in the reference block.
- “(0, 0)” represents coordinates of a position where 0 pixel in the vertical direction and 0 pixel in the horizontal direction are moved from the top left pixel in the reference block. That is, y (0, 0) is data representing the luminance value of the top left pixel in the reference block.
- the luminance value data Y (0, 19) is input to the difference absolute value calculation units 301 to 110 first.
- “(0, 19)” represents coordinates of a position at which 0 pixels in the vertical direction and 19 pixels in the horizontal direction are moved from the top left pixel in the reference block. That is, Y (0, 19) is data representing the luminance value of the uppermost right pixel in the reference block consisting of 20 pixels ⁇ 20 pixels.
- the luminance value data y (0, 9) is input to the difference absolute value calculation units 301 to 110 first.
- “(0, 9)” represents coordinates of a position at which 0 pixels in the vertical direction and 9 pixels in the horizontal direction are moved from the top right pixel in the reference block. That is, y (0, 9) is data representing the luminance value of the uppermost right pixel in the reference block consisting of 10 pixels ⁇ 10 pixels.
- FIG. 8 is a diagram showing an example of the configuration of the sorting unit 40 of the arithmetic device 1 according to the first embodiment of the present invention.
- the sorting unit 40 includes a sorting execution unit 401 and n holding units 402 (402-1, 402-2,..., 402-n).
- the sort execution unit 401 sends the SAD value having the smallest value to the holding unit 402-1, and receives the SAD value having the second smallest value to the holding unit 402-2,. And the n-th smallest SAD value is output to the holding unit 402-n.
- the holding units 402 (402-1, 402-2,..., 402-n) store SAD values, respectively.
- the holding units 402 (402-1, 402-2,..., 402-n) each function as a temporary storage area in the process of calculating the SAD value between each reference block and the reference block.
- the holding unit 402 (402-1, 402-2,..., 402-n) calculates the SAD value at each point in the process of sequentially calculating the SAD value between each reference block and the reference block. Temporarily stores the top n SAD values from the smaller one.
- the sort execution unit 401 repeats the SAD for each of the 11 reference blocks from the 11 holding units 304 (304-1, 304-2, ..., 304-11) of the correlation operation unit 30 again. Data representing the value is acquired at the same timing.
- the sort execution unit 401 is 11 + n in which the 11 acquired SAD values and the n SAD values stored in the storage unit 402 (402-1, 402-2, ..., 402-n) are combined.
- the SAD values of are rearranged in ascending order of values (ie, in descending order of correlation).
- the data is output to 402-n, and the data of the SAD value stored in each holding unit 402 (402-1, 402-2,..., 402-n) is overwritten and updated.
- each holding unit 402 (402-1, 402-2, ..., 402-n) acquires SAD value data from the sort execution unit 401 11 times (that is, the sort execution unit 401
- the sort execution unit 401 When the SAD value is stored in each of the holding units 402 (402-1, 402-2, ..., 402-n) first, and then the SAD value is overwritten and updated ten times), each holding unit 402 (402) -1, 402-2,..., 402-n) assume that SAD operations between the reference block and all 121 reference blocks in the reference frame have been completed, and n hold at that time
- Data indicating the SAD values stored in units 402 (402-1, 402-2,..., 402-n) are output to the outside of the arithmetic device 1. That is, the sorting unit 40 is data indicating the top n SAD values of the 121 reference blocks in the reference frame, which have high correlation with the reference block (that is, the SAD value is small), Output to the outside of 1.
- the arithmetic unit 1 sequentially performs the SAD operation with the reference block from the reference block located at the highest position in the reference frame. Then, for example, before the calculation of the SAD value of the reference block is completed as in the reference block shown in the image pb123 of FIG. 10 and the image pb1101 of FIG. 11 (ie, the image pb 211 of FIG. 10 and the image pb 1200 of FIG.
- Step S105 If the data input of the reference block being calculated is completed, the process proceeds to step S106. If not, the process remains at step S105.
- the arithmetic device 1 can reduce the power consumption of the arithmetic circuit in correlation calculation.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
Description
このようなブロックマッチング法を利用した動きベクトル検出装置が、例えば、特許文献1において提案されている。
ブロックマッチング法とは、比較する2枚の画像のうち、少なくとも一方の画像を複数の領域に切り分け、2枚の画像の間の相関値を各領域ごとに演算する方法である。以下、比較する2枚の画像のうち、一方を基準フレーム、他方を参照フレームと呼ぶ。
ブロックマッチング法では、基準フレームにおける特定の領域(基準ブロック)と、参照フレーム内における特定の領域(参照ブロック)との間で相関演算が行われる。基準ブロックと参照ブロックとは、等しい領域サイズを有する。
ブロックマッチング法によって、参照ブロックと最も相関の高い基準ブロック(の位置)を特定したり、動きベクトルを検出したりすることができる。
相関演算を行う場合には、例えば、基準フレームを示す基準フレームYデータ1(I)内の1つの基準ブロック(ここでは、図1の画像p1に示すような最も左上の基準ブロック)に対して、参照ブロック(参照フレームYデータ2(T))を設定する。そして、この基準ブロックと参照ブロックとの間の相関値を演算する。なお、本例においては、求める相関値はSAD値であるものとする。また、本例におけるSAD値とは、基準ブロックデータと参照ブロックデータのそれぞれの画素における輝度値の差の絶対値を合計することによって算出される。そして、SAD値が小さいほど、基準ブロックに含まれる画像と参照ブロックに含まれる画像の間の相関がより高いことを表す。
例えば、基準フレームYデータ1(I)が、水平方向に20画素及び垂直方向に20画素を有する400画素の画像であるものとする(図2A)。また、例えば、参照フレームYデータ2(T)が、水平方向に10画素及び垂直方向に10画素を有する画像であるものとする(図2B)。すなわち、参照ブロック及び各基準ブロックも、水平方向に10画素及び垂直方向に10画素を有する画像であるものとする。
そして、基準フレーム内には合計121(=11×11)個の基準ブロックが含まれるため、基準フレームに含まれる各基準ブロックと参照ブロックとの間のSAD値を演算するためには、上記のSAD演算処理を121回行う必要がある。
以下、第1の実施形態について図面を参照しながら説明する。
図3、図4、及び図5は、本発明の第1の実施形態に係る演算装置による相関演算の一例を示す概略図である。
以下に例示する演算装置1は、図2Aに示すような、水平方向に20画素及び垂直方向に20画素を有する画像を示すデータである基準フレームYデータ1(I)と、図2Bに示すような、水平方向に10画素及び垂直方向に10画素を有する画像を示すデータである参照フレームYデータ2(T)と、の間のSAD値を演算する演算装置である。
第1の実施形態に係る演算装置1は、速い演算速度を確保するため、SAD値を演算するための複数の演算回路を搭載している。例えば、第1の実施形態に係る演算装置1は、画素の輝度値の差の絶対値(以下、差分絶対値という)を算出することができる演算回路(以下、差分絶対値算出回路という)を110個搭載している。よって、演算装置1は、同時に110画素分の差分絶対値を演算することができる。
これにより、演算装置1は、1回の演算で図3の画像pa1から図3の画像pa11までの各差分絶対値の演算及び水平方向加算を行うことができ、1回の演算で11個のSAD値を算出することができる。
そして、演算装置は、図3の画像pa12から図3の画像pa22において、それぞれ水平方向加算により算出したSAD値を、上記図3の画像pa1から図3の画像pa11において算出したSAD値に、それぞれ加算する(以下、この加算処理を垂直方向加算という)。
これにより、演算装置は、参照ブロックと基準フレームYデータ1(I)内の最も上段に位置する11個の基準ブロックとの間のSAD値(SAD値s001、SAD値s002、・・・、SAD値s011)を算出することができる。
そして、ソート部40は、例えば、このうち値が小さい方から上位10位までのSAD値のみを保持する。
これにより、演算装置は、参照ブロックと基準フレームYデータ1(I)内で垂直方向に下へ1画素ずらした領域にある11個の基準ブロックとの間のSAD値(SAD値s012、SAD値s013、・・・、SAD値s022)を算出することができる。
そして、ソート部40は、例えば、このうち値が小さい方から上位10位までのSAD値のみを保持する。
したがって、第1の実施形態に係る演算装置1は、参照ブロックと基準フレームYデータ1(I)内の121個の全ての基準ブロックとの間のSAD演算を、合計110(=10×11)回の処理回数で行うことができる。
次に、演算装置1の基本的な構成について図面を参照しながら説明する。
図6は、本発明の第1の実施形態に係る演算装置1の構成の一例を示す図である。
図示するように、演算装置1は、基準ブロックデータ格納部10と、参照ブロックデータ格納部20と、相関演算部30と、ソート部40と、を含んで構成される。
なお、相関演算部30の構成の詳細な説明は後述する。
そして、ソート部40は、相関演算部30からSAD値を取得する毎に、その都度、取得したSAD値に、既に記憶しているSAD値を含めて、値の小さい順(相関の高い順)にSAD値を並べ替える。そして、ソート部40は、並べ替えたSAD値のうち、予め定められた件数分(例えば、上位10件分)のSAD値を特定し、特定したSAD値によって記憶していたSAD値を上書き更新する。
次に、相関演算部30の構成について図6を参照しながら説明する。
図示するように、相関演算部30は、110個の差分絶対値算出部301(301-1、301-2、・・・、301-110)と、11個の水平方向加算部302(302-1、302-2、・・・、302-11)と、11個の垂直方向加算部303(303-1、303-2、・・・、303-11)と、11個の保持部304(304-1、304-2、・・・、304-11)と、を含んで構成される。
保持部304-1がSAD値を演算する対象となる基準ブロックは、例えば、図3の画像pa1、図3の画像pa12、図3の画像pa100、図4の画像pa111、図4の画像pa122、図4の画像pa210、図5の画像pa1101、図5の画像pa1112、または図5の画像pa1200等に示すように、基準フレームの最も左端に基準ブロックが位置している場合の基準ブロックである。
保持部304-2がSAD値を演算する対象となる基準ブロックは、例えば、図3の画像pa2、図3の画像pa13、図3の画像pa101、図4の画像pa112、図4の画像pa123、図4の画像pa211、図5の画像pa1102、図5の画像pa1113、または図5の画像pa1201等に示すように、基準フレームの中で左端から1画素分右にずれた位置にある場合の基準ブロックである。
保持部304-11がSAD値を演算する対象となる基準ブロックは、例えば、図3の画像pa11、図3の画像pa22、図3の画像pa110、図4の画像pa121、図4の画像pa132、図4の画像pa220、図5の画像pa1111、図5の画像pa1122、または図5の画像pa1210等に示すように、基準フレームの最も右端に基準ブロックが位置している場合の基準ブロックである。
図示するように、差分絶対値算出部301-1へは輝度値データY(0,0)とy(0,0)、差分絶対値算出部301-2へは輝度値データY(0,1)とy(0,1)、・・・、及び差分絶対値算出部301-110へは輝度値データY(0,19)とy(0,9)が、同一のタイミングで入力される。
すなわち、Y(0,0)は、基準ブロックの中の最も左上の画素の輝度値を表すデータである。
同様に、例えば、差分絶対値算出部301-110には、まず始めに輝度値データy(0,9)が入力される。「(0,9)」は、参照ブロックの中で、最も右上の画素から、垂直方向に0画素分、及び水平方向に9画素分を移動させた位置の座標を表す。すなわち、y(0,9)は、10画素×10画素からなる参照ブロックの中の最も右上の画素の輝度値を表すデータである。
次に、ソート部40の構成について図面を参照しながら説明する。
図8は、本発明の第1の実施形態に係る演算装置1のソート部40の構成の一例を示す図である。
図示するように、ソート部40は、ソート実行部401と、n個の保持部402(402-1、402-2、・・・、402-n)と、を含んで構成される。
ソート実行部401は、取得した11個のSAD値と、保持部402(402-1、402-2、・・・、402-n)に記憶されたn個のSAD値とを合わせた11+n個のSAD値について、値の小さい順に(すなわち、相関が高い順に)並べ替えをする。
ソート実行部401は、並べ替えをしたSAD値の中の上位n位まで(例えば、n=10ならば10位まで)のデータを、それぞれ保持部402(402-1、402-2、・・・、402-n)へ出力し、各保持部402(402-1、402-2、・・・、402-n)に記憶されているSAD値のデータを上書き更新する。
すなわち、ソート部40は、基準フレーム内の121個の基準ブロックの中で、参照ブロックとの相関が高かった(すなわち、SAD値が小さかった)上位n個分のSAD値を示すデータ、演算装置1の外部へ出力する。
図9、図10、及び図11は、本発明の第1の実施形態に係る演算装置1による相関演算の一例を示す概略図である。
図9に図示するように、演算装置1は基準フレームの中の最も上側に位置する基準ブロックから、順に参照ブロックとの間のSAD演算を行う。
そして、例えば、図10の画像pb123及び図11の画像pb1101に示す基準ブロックように、当該基準ブロックのSAD値の算出が完了する前に(すなわち、図10の画像pb211及び図11の画像pb1200に示す基準ブロックのSAD値の算出が完了する前に)、演算の途中であるSAD値が後述する相関閾値を超えた場合には、演算装置1は、当該基準ブロックについてのその後のSAD値の演算及びSAD値の加算の処理を停止させる。
以下に、演算装置1の詳細な構成について、図面を参照しながら説明する。
図12は、本発明の第1の実施形態に係る演算装置1の相関演算部30及びソート部40の構成の一例を示す図である。
そして、比較器305(305-1、305-2、・・・、305-n)は、垂直方向加算部303(303-1、303-2・・・、303-11)が出力するSAD値と相関閾値との値を比較し、SAD値が相関閾値を超過した値であった場合には、停止命令を示す信号を出力する。
図13に図示している範囲は、演算装置1の相関演算部30の一部の範囲である。
相関演算部30は、11個のセレクタ306(306-1M、306-2M、・・・、306-11)を含んで構成される。なお、図13に図示しているのは、そのうちの1つであるセレクタ306-1Mである。
次に、演算装置1の動作の流れについて説明する。
図14は、本発明の実施形態に係る演算装置1の動作の一例を示すフローチャートである。
本フローチャートは、演算装置1が、基準フレームと参照フレームとの間のSAD演算を開始した際に開始する。
これにより、第1の実施形態に係る演算装置1は、相関演算における、演算回路の消費電力を削減することができる。
次に、本発明の第2の実施形態について、図面を参照しながら説明する。
なお、第2の実施形態に係る演算装置1の基本的な構成は、第1の実施形態に係る演算装置1の基本的な構成と同一であるため、構成が共通する部分については説明を省略する。
図15は、本発明の第2の実施形態に係る演算装置1の相関演算部30の演算停止動作の一例を示す図である。
また、セレクタは306(306-1B、306-2B、・・・、306-110B)は、比較器305(305-1、305-2、・・・、305-11)から停止命令を示す信号を取得した場合には、参照ブロックデータ格納部20から取得する輝度値がどのような値であっても、最小値を示す値(例えば、0x00)を差分絶対値算出部301(301-1、301-2、・・・、301-110)へ出力する。
次に、本発明の第3の実施形態について、図面を参照しながら説明する。
なお、第3の実施形態に係る演算装置1の基本的な構成は、第1の実施形態に係る演算装置1の基本的な構成と同一であるため、構成が共通する部分については説明を省略する。
図16は、本発明の第3の実施形態に係る演算装置1の相関演算部30の演算停止動作の一例を示す図である。
比較器305(305-1、305-2、・・・、305-11)が停止命令を示す信号を出力することによって、例えば、第1の実施形態における演算装置1のように演算回路(例えば、FlipFlop)に供給する動作クロックを停止して、演算回路の消費電力を削減してもよい。
または、例えば、第2の実施形態における演算装置1のように各差分絶対値算出部301(301-1、301-2、・・・、301-110)へ入力されるデータを固定化することによって、演算回路の消費電力を削減してもよい。
また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
ータ格納部、30・・・相関演算部、40・・・ソート部、50・・・制御部、301(
301-1、301-2、・・・、301-110)・・・差分絶対値算出部、302(
302-1、302-2、・・・、302-11)・・・水平方向加算部、303(30
3-1、303-2・・・、303-11)・・・垂直方向加算部、304(304-1
、304-2、・・・、304-11)・・・保持部、305(305-1、305-2
、・・・、305-11)・・・比較器、306(306-1A、306-2A、・・・
、306-110A、306-1B、306-2B、・・・、306-110B、306
-1M、306-2M、・・・、306-110M)・・・セレクタ、401・・・ソー
ト実行部、402(402-1、402-2、・・・、402-n)・・・保持部、p1
~p9・・・画像、pa1~pa1210・・・画像、pb1~pb1210・・・画像
Claims (9)
- 基準フレームを複数の基準ブロックに分割し、参照フレームに前記基準フレームに対応する参照ブロックを設定し、前記基準ブロックと前記参照ブロックとの間で相関演算を行う演算装置において、
前記基準ブロックのデータを格納する基準ブロックデータ格納部と、
前記参照ブロックのデータを格納する参照ブロックデータ格納部と、
前記基準ブロックのデータと前記参照ブロックのデータとを用いて、複数の異なる位置の相関値を同時にそれぞれ演算する複数の相関演算部と、
前記相関演算部によって演算された複数の前記相関値を相関が高い順にソートし、その結果を保持するソート部と、
を備え、
複数の前記相関演算部にそれぞれ入力される相関閾値と、複数の前記相関演算部によってそれぞれ演算された複数の前記相関値とを比較し、前記相関閾値よりも前記相関値のほうが相関が低い場合に、前記相関演算部の動作を停止させる相関演算停止処理を行うことを特徴とする、演算装置。 - 前記相関閾値は、前記ソート部から出力されることを特徴とする、請求項1に記載の演算装置。
- 前記相関閾値は、前記ソート部が保持するソート後の前記相関値のうち最も相関が高い相関値であることを特徴とする、請求項2に記載の演算装置。
- 前記相関閾値を制御する制御部、を備え、
前記相関閾値は、前記制御部から出力されることを特徴とする、請求項1に記載の演算装置。 - 前記相関演算停止処理は、前記相関演算部の動作クロックを停止させることによって前記相関演算部の動作を停止させる処理であることを特徴とする、請求項1に記載の演算装置。
- 前記相関演算停止処理は、前記相関演算部へ入力されるデータを、片方は最大値、もう片方は最小値にすることによって前記相関演算部の動作を停止させる処理であることを特徴とする、請求項1に記載の演算装置。
- 前記相関演算停止処理は、次の前記基準ブロックと前記参照ブロックとの間の相関演算が開始される場合に終了する処理であることを特徴とする、請求項1に記載の演算装置。
- 基準フレームを複数の基準ブロックに分割し、参照フレームに前記基準フレームに対応する参照ブロックを設定し、前記基準ブロックと前記参照ブロックとの間で相関演算を行う演算方法において、
前記基準ブロックのデータを格納する基準ブロックデータ格納ステップと、
前記参照ブロックのデータを格納する参照ブロックデータ格納ステップと、
前記基準ブロックのデータと前記参照ブロックのデータとを用いて、複数の異なる位置の相関値を同時にそれぞれ演算する複数の相関演算ステップと、
前記相関演算ステップによって演算された複数の前記相関値を相関が高い順にソートし、その結果を保持するソートステップと、
を有し、
複数の前記相関演算ステップにそれぞれ入力される相関閾値と、複数の前記相関演算ステップによってそれぞれ演算された複数の前記相関値とを比較し、前記相関閾値よりも前記相関値のほうが相関が低い場合に、前記相関演算ステップの動作を停止させる相関演算停止ステップと、
を有することを特徴とする、演算方法。 - コンピュータに、
基準フレームを複数の基準ブロックに分割し、参照フレームに前記基準フレームに対応する参照ブロックを設定し、前記基準ブロックと前記参照ブロックとの間で相関演算を行う演算ステップと、
前記基準ブロックのデータを格納する基準ブロックデータ格納ステップと、
前記参照ブロックのデータを格納する参照ブロックデータ格納ステップと、
前記基準ブロックのデータと前記参照ブロックのデータとを用いて、複数の異なる位置の相関値を同時にそれぞれ演算する複数の相関演算ステップと、
前記相関演算ステップによって演算された複数の前記相関値を相関が高い順にソートし、その結果を保持するソートステップと、
複数の前記相関演算ステップにそれぞれ入力される相関閾値と、複数の前記相関演算ステップによってそれぞれ演算された複数の前記相関値とを比較し、前記相関閾値よりも前記相関値のほうが相関が低い場合に、前記相関演算ステップの動作を停止させる相関演算停止ステップと、
を実行させるための、プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE112016002009.0T DE112016002009T5 (de) | 2015-06-03 | 2016-05-27 | Berechnungsgerät, Berechnungsverfahren und Programm |
JP2017521908A JPWO2016194828A1 (ja) | 2015-06-03 | 2016-05-27 | 演算装置、演算方法、及びプログラム |
CN201680031144.0A CN107615764A (zh) | 2015-06-03 | 2016-05-27 | 运算装置、运算方法和程序 |
US15/824,147 US20180084275A1 (en) | 2015-06-03 | 2017-11-28 | Calculation device, calculation method, and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015113210 | 2015-06-03 | ||
JP2015-113210 | 2015-06-03 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/824,147 Continuation US20180084275A1 (en) | 2015-06-03 | 2017-11-28 | Calculation device, calculation method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016194828A1 true WO2016194828A1 (ja) | 2016-12-08 |
Family
ID=57441140
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/065759 WO2016194828A1 (ja) | 2015-06-03 | 2016-05-27 | 演算装置、演算方法、及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20180084275A1 (ja) |
JP (1) | JPWO2016194828A1 (ja) |
CN (1) | CN107615764A (ja) |
DE (1) | DE112016002009T5 (ja) |
WO (1) | WO2016194828A1 (ja) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05176314A (ja) * | 1991-12-24 | 1993-07-13 | Sharp Corp | 画像の動き検出装置 |
JPH10257504A (ja) * | 1997-01-09 | 1998-09-25 | Matsushita Electric Ind Co Ltd | 動きベクトル検出装置 |
JPH10271514A (ja) * | 1997-03-23 | 1998-10-09 | Tadayoshi Enomoto | 動画像情報の信号処理方法及びその装置 |
JP2000106674A (ja) * | 1998-09-29 | 2000-04-11 | Mitsubishi Electric Corp | 動き検出方法および装置 |
JP2003153283A (ja) * | 2001-09-06 | 2003-05-23 | Nokia Corp | ビデオ符号化時の動き予測の実行方法、ビデオ符号化システム、及び、ビデオ符号化装置 |
JP2004048512A (ja) * | 2002-07-12 | 2004-02-12 | Renesas Technology Corp | 動画像符号化方法と動画像符号化回路 |
JP2004350114A (ja) * | 2003-05-23 | 2004-12-09 | Renesas Technology Corp | ブロックマッチング画像処理装置 |
JP2007183901A (ja) * | 2005-12-30 | 2007-07-19 | Altek Corp | 動画の処理方法 |
JP2008236096A (ja) * | 2007-03-19 | 2008-10-02 | Nippon Telegr & Teleph Corp <Ntt> | 動き探索方法、動き探索装置、動き探索プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2010515399A (ja) * | 2007-01-03 | 2010-05-06 | サムスン エレクトロニクス カンパニー リミテッド | 複数の動きベクトル・プレディクタを使用して動きベクトルを推定する方法、装置、エンコーダ、デコーダ及びデコーディング方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100640498B1 (ko) * | 2003-09-06 | 2006-10-30 | 삼성전자주식회사 | 프레임의 오류 은닉 장치 및 방법 |
KR20120072205A (ko) * | 2010-12-23 | 2012-07-03 | 한국전자통신연구원 | 매크로블록 간의 예측 기법을 이용한 움직임 추정 장치 및 방법 |
CN103957420B (zh) * | 2014-04-30 | 2017-02-15 | 华南理工大学 | 一种h.264运动估计编码的全面运动估计改进算法 |
-
2016
- 2016-05-27 DE DE112016002009.0T patent/DE112016002009T5/de not_active Withdrawn
- 2016-05-27 WO PCT/JP2016/065759 patent/WO2016194828A1/ja active Application Filing
- 2016-05-27 CN CN201680031144.0A patent/CN107615764A/zh active Pending
- 2016-05-27 JP JP2017521908A patent/JPWO2016194828A1/ja active Pending
-
2017
- 2017-11-28 US US15/824,147 patent/US20180084275A1/en not_active Abandoned
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05176314A (ja) * | 1991-12-24 | 1993-07-13 | Sharp Corp | 画像の動き検出装置 |
JPH10257504A (ja) * | 1997-01-09 | 1998-09-25 | Matsushita Electric Ind Co Ltd | 動きベクトル検出装置 |
JPH10271514A (ja) * | 1997-03-23 | 1998-10-09 | Tadayoshi Enomoto | 動画像情報の信号処理方法及びその装置 |
JP2000106674A (ja) * | 1998-09-29 | 2000-04-11 | Mitsubishi Electric Corp | 動き検出方法および装置 |
JP2003153283A (ja) * | 2001-09-06 | 2003-05-23 | Nokia Corp | ビデオ符号化時の動き予測の実行方法、ビデオ符号化システム、及び、ビデオ符号化装置 |
JP2004048512A (ja) * | 2002-07-12 | 2004-02-12 | Renesas Technology Corp | 動画像符号化方法と動画像符号化回路 |
JP2004350114A (ja) * | 2003-05-23 | 2004-12-09 | Renesas Technology Corp | ブロックマッチング画像処理装置 |
JP2007183901A (ja) * | 2005-12-30 | 2007-07-19 | Altek Corp | 動画の処理方法 |
JP2010515399A (ja) * | 2007-01-03 | 2010-05-06 | サムスン エレクトロニクス カンパニー リミテッド | 複数の動きベクトル・プレディクタを使用して動きベクトルを推定する方法、装置、エンコーダ、デコーダ及びデコーディング方法 |
JP2008236096A (ja) * | 2007-03-19 | 2008-10-02 | Nippon Telegr & Teleph Corp <Ntt> | 動き探索方法、動き探索装置、動き探索プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
US20180084275A1 (en) | 2018-03-22 |
JPWO2016194828A1 (ja) | 2018-04-12 |
DE112016002009T5 (de) | 2018-01-18 |
CN107615764A (zh) | 2018-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210406647A1 (en) | Method and apparatus for reducing computational complexity of convolutional neural networks | |
CN108229290B (zh) | 视频物体分割方法和装置、电子设备、存储介质 | |
US11734554B2 (en) | Pooling processing method and system applied to convolutional neural network | |
CN109791695B (zh) | 基于图像块的运动向量确定所述块的方差 | |
CN107977989B (zh) | 一种确定图像偏移量的方法及设备 | |
TWI770432B (zh) | 圖像復原方法、電子設備、儲存介質 | |
CN108989804B (zh) | 图像的编码方法及装置 | |
WO2023005140A1 (zh) | 视频数据处理方法、装置、设备以及存储介质 | |
JP6365253B2 (ja) | 映像データ処理装置、映像データ処理プログラムおよび映像データ処理方法 | |
US9641854B2 (en) | Count table maintenance apparatus for maintaining count table during processing of frame and related count table maintenance method | |
JP6388507B2 (ja) | 画像処理装置 | |
WO2016194828A1 (ja) | 演算装置、演算方法、及びプログラム | |
EP3073738A1 (en) | Methods and devices for video encoding | |
US11086817B2 (en) | Systolic similarity estimation with two-dimensional sliding window | |
US20170163903A1 (en) | Method and electronic device for processing image | |
US11663453B2 (en) | Information processing apparatus and memory control method | |
TWI708196B (zh) | 使用基於累積計數分佈之函數之用於模型參數之解壓縮之方法及處理器 | |
CN102469314A (zh) | 用于改善运动估计的环内对比度增强 | |
CN108629350B (zh) | 一种识别图片之间相似关系的方法及装置 | |
JP6225137B2 (ja) | 車載カメラ画像処理装置 | |
KR101685384B1 (ko) | 상위 비트만을 이용한 압축된 메모리 데이터를 이용한 모션 추정방법 | |
CN113905171B (zh) | 多路图像处理装置及方法 | |
KR101714385B1 (ko) | 압축된 메모리 데이터를 이용한 모션 추정방법 | |
CN112258527B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
WO2023042432A1 (ja) | 撮像システム、処理装置、および機械学習装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16803263 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2017521908 Country of ref document: JP Kind code of ref document: A |
|
WWE | Wipo information: entry into national phase |
Ref document number: 112016002009 Country of ref document: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 16803263 Country of ref document: EP Kind code of ref document: A1 |