WO2005084036A1 - 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム - Google Patents

動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム Download PDF

Info

Publication number
WO2005084036A1
WO2005084036A1 PCT/JP2005/002786 JP2005002786W WO2005084036A1 WO 2005084036 A1 WO2005084036 A1 WO 2005084036A1 JP 2005002786 W JP2005002786 W JP 2005002786W WO 2005084036 A1 WO2005084036 A1 WO 2005084036A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
motion vector
correlation
representative point
unit
Prior art date
Application number
PCT/JP2005/002786
Other languages
English (en)
French (fr)
Inventor
Tetsujiro Kondo
Kenji Takahashi
Kazushi Yoshikawa
Takanori Ishikawa
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2004056255A external-priority patent/JP4626158B2/ja
Priority claimed from JP2004056256A external-priority patent/JP4622264B2/ja
Priority claimed from JP2004056257A external-priority patent/JP4622265B2/ja
Application filed by Sony Corporation filed Critical Sony Corporation
Publication of WO2005084036A1 publication Critical patent/WO2005084036A1/ja
Priority to KR1020067016529A priority Critical patent/KR101098394B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation

Definitions

  • Motion vector detection device motion vector detection method, and computer program
  • the present invention relates to a motion vector detection device, a motion vector detection method, and a computer program. More specifically, the present invention relates to a motion vector detection device that executes a motion vector detection process from moving image data, a motion vector detection method, and a computer program. Background art
  • Motion-compensated image coding in high-efficiency coding of moving image data moving object detection processing in a traffic monitoring system or a visual sensor of an autonomous vehicle, speed detection processing, and the like are included in image data. Processing for detecting the direction and magnitude (velocity) of the motion of each object, that is, processing for detecting a motion vector, is required.
  • the MPEG (Moving Picture Coding Experts Group) system which is an international standard system for high-efficiency moving image coding
  • DCT Discrete Cosine Transform
  • motion-compensated predictive coding the correlation between the current frame constituting moving image data and the image signal level in the continuous frame of the immediately preceding frame is detected, and the motion vector is calculated based on the detected correlation.
  • Efficient coding is achieved by performing motion image correction processing based on the obtained and detected motion vectors.
  • a block matching method is known. An overview of the block matching method will be described with reference to FIG.
  • a temporally continuous frame image constituting a moving image for example, the current frame [F] 20 at time (t) shown in the figure and the current frame [F] 20 before time (t-1)
  • One screen of the frame image is a small
  • the current frame [F] 20 is set as a reference frame, and a detection block By21 of the reference frame is set to a predetermined
  • a detection block with a small value difference that is, a pixel block with the best matching (highest correlation) is detected. If the reference block Bxl l of the previous frame [F] 10 is the current frame [F] 20
  • the block matching method is a method of performing a correlation determination (matching determination) between frames in units of a predetermined block (mXn) to obtain a motion vector.
  • a motion vector is obtained for each block.
  • the correlation value of each block that is, the evaluation value indicating the degree of matching, for example, the value of pixels at the same spatial position between a plurality of pixels in the reference block Bx and a plurality of pixels in the inspection block
  • the sum of the absolute values of the frame differences calculated by integrating the absolute values of the calculated frame differences is applied.
  • a block when a block includes a moving part and a still part, the movement detected in units of a block does not accurately correspond to the movement of each pixel in the block. ,.
  • Such a problem can be adjusted by setting the block size. For example, when the size of the block is increased, the problem of a plurality of motions in the block is likely to occur in addition to the increase in the amount of calculation. Conversely, if the size of the block is reduced so that multiple motions are not included in the block, the matching judgment area becomes smaller, and the accuracy of motion detection decreases. Problems arise. That is, when performing block matching, the possibility that a large number of inspection blocks similar to the reference block, that is, many inspection blocks having a high correlation with the reference block appear.
  • Patent Document 1 a motion vector detection method and a detection device capable of detecting a motion vector for each pixel without increasing the amount of calculation and preventing erroneous detection. is suggesting.
  • the point of the motion vector detection process disclosed in Patent Document 1 is that the process of the first step, which does not determine the motion vector by calculating the evaluation value for each pixel or block, is performed in one of the frames.
  • a plurality of blocks composed of a plurality of pixels are set, a representative point of each block is set, a correlation between each representative point and each pixel of a search area set in the other frame is checked, and an evaluation value based on the correlation information is calculated.
  • an evaluation value table as correlation information based on the evaluation value is formed, and a plurality of candidate vectors are extracted from the evaluation value table.
  • a candidate vector considered to be the best for each pixel is selected from the extracted candidate vectors and associated with each other, and determined as a motion vector for each pixel. in this way,
  • the motion vector of each pixel is obtained by the above processing.
  • This method is hereinafter referred to as a candidate vector method.
  • the advantage of the motion vector detection process using the candidate vector method is that the amount of calculation can be reduced by extracting a limited number of candidate vectors based on the evaluation value table. In addition, narrow down the boundaries of the subject where motion vectors are likely to be erroneously detected. In some cases, it is possible to determine the best motion vector corresponding to each pixel from among the candidate vectors.
  • a motion vector of each pixel is calculated as an evaluation value such as a pixel difference between frames as an evaluation value, and a full search process is performed to obtain an evaluation value for all pixels in the frame. Since the process of determining the best motion vector corresponding to each pixel from the candidate vectors that have been narrowed down in advance can be performed, the probability that the same evaluation value will occur is reduced compared to the full search process, and false detection is performed. Is prevented.
  • the representative point of each block is set, the correlation between each representative point and each pixel of the search area set in the other frame is checked, and the correlation information is used. This is a process of calculating an evaluation value based on the evaluation value and integrating the evaluation value.
  • the integrated evaluation value is set. That is, if the absolute value of the difference between the representative point pixel X and the input pixel Y included in the search area is equal to or smaller than a certain threshold TH, the integrated evaluation value is set. That is,
  • the graph shown on the right side of FIG. 2 shows the pixel level of one line in the X direction passing through the representative point 38 of the previous frame 30 and the pixel level of one line in the X direction in the search area 32 of the current frame. And show.
  • the block matching process is a process of setting a pixel near a pixel of interest in a previous frame as a block and detecting an overall correlation of a plurality of pixels included in the block.
  • it is necessary to increase the block size and perform accurate correlation determination.
  • Increasing the block size increases the amount of calculation of the evaluation value, such as the sum of absolute difference values, which is performed as an operation for calculating the correlation, lowers the efficiency, and increases the memory for holding the pixel values. Must be performed, which causes a problem that the hardware scale becomes large.
  • Patent Document 1 JP 2001-61152 A
  • the present invention has been made in view of the above-described problems, and is not limited to the generation of the evaluation value table based on the representative point matching processing.
  • a motion vector detection device that enables generation of a more accurate evaluation value table by performing a correlation determination process in consideration of a spatial waveform as a motion vector and that can more accurately execute motion vector detection. And a motion vector detection method, and a computer program.
  • the evaluation value table in generating the evaluation value table based on the representative point matching process, it is determined whether not only the representative point but also a pixel near the representative point has a motion similar to the representative point, and the correlation is determined.
  • a more accurate evaluation value table can be generated, and a motion vector detection device and a motion vector detection method that can more accurately execute a motion vector detection, and a computer '' The purpose is to provide the program.
  • the present invention does not apply block matching when determining a motion vector corresponding to each pixel from a plurality of candidate vectors, for example, in a motion vector detection process based on the candidate vector method, and provides an accurate motion vector. It is an object of the present invention to provide a motion vector detection device, a motion vector detection method, and a computer program which enable determination of the motion vector.
  • a first aspect of the present invention provides:
  • An evaluation value table forming unit that generates an evaluation value table based on pixel value correlation information between different frames on a time axis, which is a motion vector detection device that detects a motion vector from moving image data;
  • a motion vector determining unit that detects and associates a motion vector with respect to a frame constituent pixel of the moving image data based on the evaluation value table
  • the evaluation value table forming unit
  • a pixel correlation calculation unit that calculates correlation information between different frames on the time axis based on a representative point matching process based on a representative point selected from one frame; a calculation result of the pixel correlation calculation unit; The reliability of motion by applying at least one of the calculation results based on the pixel value difference between the pixel and the pixel around the pixel of interest
  • a weight calculator for generating an index
  • An evaluation value table calculation unit that integrates evaluation values corresponding to the reliability indices calculated by the weight calculation unit and generates an evaluation value table
  • a motion vector detecting device A motion vector detecting device.
  • the motion vector detecting device further includes a motion similarity detecting unit that detects a motion similarity between the representative point corresponding to the pixel of interest and a representative point near the representative point.
  • the weight calculation unit includes, as a detection result of the motion similarity detection unit, a pixel between the representative point and the nearby representative point based on a determination that there is motion similarity between the representative point and the nearby representative point. The feature is to generate a motion reliability index in consideration of the value difference.
  • the weight calculation unit includes a condition that a determination that there is motion similarity between representative points is input from the motion similarity detection unit. Based on the brightness level of the focused representative point: Pm, and the brightness level of the N neighboring representative points determined to have similar motion: Pn, the reliability index is given by:
  • the motion vector detection device further includes: a determination result of the presence or absence of correlation based on a representative point matching process from the pixel correlation calculation unit; A calculating unit for inputting the reliability index from the calculating unit, wherein the calculating unit adds a reliability determination result based on the correlation index based on the representative point matching process from the pixel correlation calculating unit and the reliability index or It is characterized in that a multiplication process is executed, a final evaluation value is calculated, and the final evaluation value is output to the evaluation value table calculation unit.
  • the weight calculation unit comprises:
  • the reliability index is set to the following parameter, that is,
  • It is characterized in that it is configured to calculate as a value that reflects at least (a) and (c) above, and the deviation force.
  • the evaluation value table forming unit further includes a representative point stillness determining unit that determines whether the representative point is in a still area.
  • the weight calculation unit is configured to execute a process of setting the value of the reliability index to 0 or decreasing the value when the representative point is determined to be in the stationary region by the representative point stillness determination unit. It is characterized by being.
  • the evaluation value table forming unit further generates flag data corresponding to pixel value difference data of the pixel of interest and a pixel in the vicinity of the pixel of interest.
  • a flag data calculation unit; and a flag correlation calculation unit that performs a process of calculating flag data correlation information between frames based on the flag data, wherein the weight calculation unit is based on a calculation result of the pixel correlation calculation unit.
  • a weighting factor W is calculated by applying at least one of the pixel correlation information and the flag correlation information based on the calculation result of the flag correlation calculation unit, and the reliability as a calculated value based on the weighting factor W is calculated.
  • An index is generated, and a new index is generated based on a reliability index taking into account the pixel value difference between the representative point and the neighboring representative point, and a reliability index as a calculated value based on the weight coefficient W.
  • the evaluation value table calculating unit generates an evaluation value table by integrating the evaluation values corresponding to the new reliability index K calculated by the weight calculating unit. It is characterized by being.
  • flag data corresponding to pixel value difference data between the target pixel and pixels around the target pixel is generated.
  • a flag data calculation unit for performing calculation processing of flag data correlation information between frames based on the flag data wherein the weight calculation unit includes a calculation result of the pixel correlation calculation unit.
  • the weight coefficient W is calculated by applying at least one of the pixel correlation information based on the weighting factor and the flag correlation information based on the calculation result of the flag correlation calculating unit, and the reliability as a calculated value based on the weighting factor W is calculated. It is characterized by generating a degree index.
  • the flag data calculating unit converts the flag data corresponding to the pixel value difference data of the target pixel and the pixel in the vicinity of the target pixel from the pixel value difference data. It is characterized in that it is configured to execute processing for calculating as a small number of bits.
  • the weight calculation processing section includes at least a representative point pixel as a weight coefficient calculated from pixel correlation information based on a calculation result of the pixel correlation calculation section. , And a value W calculated based on a difference between the pixel value of the pixel of interest and the pixel value of the correlation determination target pixel including the target pixel and its surrounding pixels is set as a weighting coefficient W.
  • the weight calculation processing section includes a pixel correlation information based on a calculation result of the pixel correlation calculation section, and a calculation result of the flag correlation calculation section.
  • the flag correlation information power based on the pixel values of the representative point pixel is calculated as the pixel value: X, and the flag data based on the pixel value difference data of two adjacent pixels of the representative point pixel: The value Y, and its two neighboring pixels
  • Flag data based on the pixel value difference data of, ⁇ ,,, and the magnitude of the difference between X and ⁇
  • the weight calculation processing unit calculates activity A as an index value indicating the complexity of the image data, and calculates the calculated activity A and Processing for calculating a reliability index based on at least a pixel value of a representative point pixel and a weighting coefficient W calculated based on a magnitude of a difference between a pixel value of a correlation determination target pixel including the target pixel and its peripheral pixels. Characterized in that it is configured to execute To do.
  • the motion vector detecting device further includes a candidate vector extraction unit that extracts one or more candidate vectors based on the evaluation value table.
  • the motion vector determining unit is configured to execute a process of selecting a motion vector corresponding to each frame constituent pixel of moving image data from the candidate vectors and associating the selected motion vector.
  • the motion vector determination unit extracts a feature pixel from a region near a pixel of interest to which the motion vector is associated, and performs a correlation determination process based on the feature pixel. Based on this configuration, a motion vector corresponding to the pixel of interest is determined.
  • the motion vector determination unit includes a pixel value of a pixel of interest associated with the motion vector, and a pixel value of a pixel specified by the candidate vector. And performing a process of selecting only those having a high correlation from the candidate vectors by performing a correlation determination with the candidate vector.
  • the correlation determination process based on the characteristic pixels is performed by the temporary determination unit. It is characterized in that it is configured to be executed as processing targeting only the selected candidate level.
  • the motion vector determination unit extracts a feature pixel from a region near the pixel of interest to which the motion vector is associated, and performs a correlation based on the position information of the feature pixel. It is characterized in that the motion vector corresponding to the pixel of interest is determined based on the determination processing.
  • the motion vector determination unit extracts a feature pixel from a region near the pixel of interest to which the motion vector is associated, and based on the pixel value information of the feature pixel.
  • the feature is that the motion vector corresponding to the pixel of interest is determined based on the correlation determination processing.
  • the motion vector determination unit is characterized by a pixel having a maximum absolute value of a pixel value difference between a pixel of interest and a neighboring pixel of a pixel of interest associated with a motion vector.
  • the motion vector corresponding to the pixel of interest is determined based on the correlation determination process based on the position information of the characteristic pixel. Is a special feature.
  • the motion vector determining section is characterized by a pixel having a maximum pixel value difference absolute value from a pixel in the vicinity of the pixel of interest associated with the motion vector.
  • the pixel is extracted as a pixel, and a motion vector corresponding to the pixel of interest is determined based on a correlation determination process based on pixel value information of the characteristic pixel.
  • the motion vector determination unit extracts a plurality of feature pixels from a region near a pixel of interest to which the motion vector is associated, and determines the plurality of feature pixels based on the plurality of feature pixels.
  • the feature is that the motion vector corresponding to the pixel of interest is determined based on the correlation determination processing.
  • the motion vector determining unit determines a maximum pixel value and a minimum pixel value difference between the pixel value difference from the target pixel to which the motion vector is associated and the target pixel.
  • One pixel is extracted as a feature pixel, and a motion vector corresponding to the pixel of interest is determined based on a correlation determination process based on the two feature pixels.
  • the motion vector determination unit determines a motion vector corresponding to a target pixel based on a correlation determination process based on position information of the two characteristic pixels. Is determined.
  • the motion vector determination unit determines a maximum pixel value and a minimum pixel value difference between a pixel value difference and a pixel of interest from a region near the pixel of interest with which the motion vector is associated.
  • One pixel is extracted as a feature pixel, and a motion vector corresponding to the pixel of interest is determined based on a correlation determination process based on three pixels including the two feature pixels and the pixel of interest. .
  • the motion vector determination unit extracts two feature pixels from a region near the pixel of interest to which the motion vector is associated, and It is characterized in that a motion vector corresponding to a target pixel is determined based on a correlation determination process based on pixel values of three pixels including the target pixel.
  • a motion vector detection method for detecting a motion vector from moving image data comprising: an evaluation value table creation step of generating an evaluation value table based on pixel value correlation information between different frames on a time axis;
  • a pixel correlation calculation step for calculating correlation information between different frames on the time axis based on a representative point matching process based on a representative point selected from one frame;
  • a third aspect of the present invention provides:
  • a computer program for detecting a motion vector from moving image data an evaluation value table creating step of generating an evaluation value table based on pixel value correlation information between different frames on a time axis,
  • a pixel correlation calculation step for calculating correlation information between different frames on the time axis based on a representative point matching process based on a representative point selected from one frame;
  • the operation is performed by applying at least one of the calculation result in the pixel correlation calculation step and a calculation result based on a pixel value difference value between the target pixel and pixels around the target pixel.
  • the computer is characterized by having a program.
  • the computer program according to the present invention is, for example, a storage medium or a communication medium provided in a computer-readable format to a computer system capable of executing various program code, such as a CD or FD. It is a computer program that can be provided by a recording medium such as an MO or a communication medium such as a network. By providing such a program in a computer-readable format, processing according to the program is realized on the computer system.
  • system refers to a logical set of a plurality of devices, and is not limited to a device in which each component is located in the same housing.
  • the correlation determination process is performed in consideration of not only the representative point but also the spatial waveform as the pixel level near the representative point.
  • the weighting factor is determined based on the correlation information of the representative point pixel and the flag correlation information based on the flag data corresponding to the pixel value difference data of the target pixel and the pixel in the vicinity of the target pixel.
  • W is calculated, and a reliability index is calculated as a calculated value based on the calculated weighting factor W and activity A as an index value indicating the complexity of the image data, and an evaluation value corresponding to the reliability index is calculated.
  • the evaluation value table is generated by integrating With this configuration, it is possible to generate an evaluation value table based on the evaluation values weighted in consideration of the difference between the representative point and the pixel value near the representative point, and to generate a more accurate evaluation value table.
  • a configuration is provided in which the flag data corresponding to the pixel value difference data of the target pixel and the pixel in the vicinity of the target pixel is calculated as a smaller number of bits than the pixel value difference data.
  • the calculation of the flag correlation calculation process can be performed as a process with a small number of bits, and a highly accurate evaluation value table can be generated without reducing the processing speed, and the motion vector detection can be performed more accurately. It is possible to do. Therefore, by applying the present invention to an image processing device or the like that performs a coding process of moving image data, an efficient motion vector detection process can be performed, and the device can be downsized.
  • the motion similarity between the representative point and the pixel near the representative point is determined. Is configured to judge that the reliability of the correlation determination result is high, calculate the reliability index, and generate the evaluation value table by integrating the evaluation values based on the reliability index ⁇ . A value table can be generated, and motion vector detection can be performed more accurately.
  • the motion similarity between the representative point and the representative point in the vicinity of the representative point is detected, and the representative point and the neighboring representative point are detected on condition that the motion similarity is determined. It generates a reliability index i3 taking into account the pixel value difference from the point, and generates an evaluation value table in which evaluation values corresponding to the reliability index i3 are integrated.
  • This configuration calculates the reliability index taking these parameters into account and generates the evaluation value table by integrating the evaluation values based on the reliability index, so that a more accurate evaluation value table can be generated. Motion vector detection can be performed more accurately.
  • the flag correlation information based on the flag data corresponding to the pixel value difference data of the pixel of interest and the pixel in the vicinity of the pixel of interest is obtained.
  • a weight coefficient W is calculated based on the calculated weight coefficient W and the image data.
  • the motion vector corresponding to each pixel is selected and determined from a plurality of candidate vectors. Since feature pixels are extracted from the area in the vicinity of the target pixel to be associated, correlation determination is performed based on the position information or pixel value information of the feature pixel, and motion vector determination processing is performed, block matching processing is performed. Eliminates the need to apply It is possible to reduce both the evaluation value calculation such as the sum of absolute difference calculation as the calculation for correlation calculation, to improve the processing efficiency, and to reduce the memory for holding pixel values. And the hardware size can be reduced. Therefore, by applying the present invention to an image processing device or the like that executes encoding processing of moving image data, more accurate motion vector detection processing becomes possible.
  • FIG. 1 is a diagram illustrating an outline of a block matching method.
  • FIG. 2 is a diagram for explaining a problem of a motion vector detection process using representative point matching.
  • FIG. 3 is a diagram illustrating an outline of a representative point matching method applied in a motion vector detection process.
  • FIG. 9 is a diagram for describing an outline of a process.
  • FIG. 5 is a diagram illustrating an outline of a motion vector determination process from a candidate vector in a motion vector detection process.
  • FIG. 6 is a diagram showing a configuration of an embodiment of a motion vector detection device of the present invention that executes a motion vector detection process.
  • FIG. 8 is a diagram showing a detailed configuration of an evaluation value table forming unit of the motion vector detection device of the present invention.
  • FIG. 9 is a diagram illustrating a detailed configuration of a flag data calculation unit in an evaluation value table formation unit.
  • FIG. 10 is a diagram illustrating a specific example of a process executed by a flag data calculation unit.
  • FIG. 11 is a flowchart illustrating a specific example of a process executed by a weight calculation processing unit.
  • FIG. 12 is a diagram showing a detailed configuration example 2 of an evaluation value table forming unit of the motion vector detection device of the present invention.
  • FIG. 13 is a diagram illustrating a flowchart for explaining an evaluation value table formation processing sequence of the motion level detection device of the present invention.
  • FIG. 14 is a diagram illustrating a representative point matching process.
  • FIG. 15 is a diagram illustrating a process of performing similarity determination of a nearby representative point according to the present invention.
  • FIG. 16 is a diagram showing a detailed configuration of an evaluation value table forming unit of the motion vector detection device of the present invention.
  • FIG. 17 is a diagram illustrating processing of a motion similarity detection unit in an evaluation value table forming unit of the motion level detection device of the present invention.
  • FIG. 18 is a diagram for explaining the processing of the weight calculation unit in the evaluation value table formation unit of the motion vector detection device of the present invention.
  • FIG. 19 is a diagram illustrating a process of a weight calculation unit in the evaluation value table forming unit of the motion vector detection device of the present invention.
  • FIG. 9 is a diagram illustrating a specific example of a reliability index j3 calculated by a unit.
  • FIG. 21 is a diagram illustrating a process of a representative point stillness determination unit in the evaluation value table forming unit of the motion vector detection device of the present invention.
  • FIG. 22 is a view illustrating a flowchart for explaining an evaluation value table formation processing sequence of the motion vector detection device of the present invention.
  • FIG. 23 is a diagram showing an example of moving image data to be subjected to evaluation value table generation processing.
  • FIG. 24 is a diagram showing an example of a valuation table generated by integrating data generated from the pixel correlation calculator and integrating the data.
  • FIG. 25 is a diagram showing an example of an evaluation value table generated according to the processing of the evaluation value table forming unit according to the present invention.
  • FIG. 26 is a diagram showing an example of an evaluation value table generated according to the processing of the evaluation value table forming unit according to the present invention.
  • FIG. 27 is a diagram showing a detailed configuration of a motion vector determination unit of the motion vector detection device according to the present invention.
  • FIG. 28 is a diagram illustrating processing in a temporary determination unit of a motion vector determination unit.
  • FIG. 29 is a diagram showing a detailed configuration of an additional information calculation unit of the motion vector determination unit of the present invention.
  • FIG. 30 is a diagram illustrating characteristic pixels detected by an additional information calculation unit.
  • FIG. 31 is a diagram illustrating a feature pixel detection processing mode detected by an additional information calculation unit.
  • FIG. 32 is a diagram illustrating details of processing executed in the motion vector determination unit of the motion vector detection device of the present invention.
  • FIG. 33 is a flowchart illustrating a sequence of a motion vector determination process of the motion vector detection device of the present invention.
  • FIG. 34 is a diagram illustrating a configuration example of an additional information calculation unit of the motion vector determination unit according to the present invention.
  • FIG. 35 is a diagram showing a detailed configuration (Example 2) of a motion vector determination unit of the motion vector detection device of the present invention.
  • FIG. 36 is a diagram showing a configuration example of an additional information calculation unit of the motion vector determination unit of the present invention.
  • FIG. 37 is a diagram illustrating characteristic pixels detected by an additional information calculation unit.
  • FIG. 38 is a diagram for explaining details of processing executed in the motion vector determination unit of the motion vector detection device of the present invention.
  • FIG. 39 is a flowchart illustrating a sequence of a motion vector determination process of the motion vector detection device of the present invention.
  • FIG. 40 is a diagram for explaining details of processing executed in the motion vector determination unit of the motion vector detection device of the present invention.
  • FIG. 41 is a flowchart illustrating a sequence of a motion vector determination process of the motion vector detection device of the present invention.
  • FIG. 42 is a flowchart illustrating a sequence of a motion vector determination process of the motion vector detection device of the present invention.
  • one frame constituting moving image data is defined as one screen.
  • An example in which a motion vector detection process in a frame is performed by a cross-verification process between screens (frames) will be described.
  • the present invention is not limited to such a process example. It is also applicable to the case where a field is treated as one screen and motion vector detection processing is performed in units of one field.
  • the processing example described below is mainly described as a processing example for moving image data based on a television signal.
  • the present invention is applicable to various moving image data other than the television signal. It is also applicable. Further, even when a video signal is to be processed, either an interlace signal or a non-interlace signal may be used.
  • a temporally continuous frame image forming a moving image for example, a current frame [F] 80 at time (t) and a previous frame [F] 70 at time (t ⁇ 1) shown in FIG. 3 are extracted. .
  • the current frame [F] 80 is set as a reference frame
  • the previous frame [F] 70 is set as m pixels X n t t-1
  • the line is divided into a plurality of blocks, and a representative point Ry representing each block is set.
  • the representative point of each block is, for example,
  • Etc. are associated with pixel values representing the block.
  • a corresponding search area 81 is set for the current frame [F] 80 in accordance with
  • the pixel value of each pixel included in the cell 81 is compared with the pixel value of the representative point Ry71.
  • the search area 81 is set, for example, as a pixel area of p pixels X q lines.
  • the pixel value of any of the representative points of ac and the pixel value of each pixel in the search area 81 are compared and verified to calculate an evaluation value (for example, a frame difference or a determination result).
  • the evaluation value is calculated for each shift (each pixel position) of the search area 81.
  • Previous frame [F] Search area in current frame [F] 80 corresponding to each of the representative points of the block set in 70
  • the search area corresponding to each representative point may be set so as to partially overlap an adjacent search area as shown in Fig. 4 (A).
  • the search area is set to the area of pXq (pixel or line).
  • the search area corresponds to the representative point 71a of the block set in the previous frame [F] 70ti.
  • the search area 81b corresponding to the representative point 71b of the block set to 0 is set as an overlapping area.
  • the search area is set in association with each representative point, and the comparison between each representative point and the pixels in the search area set corresponding to the representative point is executed. Based on the comparison value, for example, a higher evaluation value is set as the degree of correlation is higher (the higher the degree of matching of pixel values is), and an evaluation value corresponding to the constituent pixels of each search area is set.
  • the evaluation values in each search area are integrated as shown in FIG. 4 (B), and as a result, an evaluation value table 90 as shown in FIG. 4 (C) is generated.
  • the evaluation value table indicates the representative point Ryl t-i of each block set in, for example, n blocks set in the previous frame [F] 70
  • It is calculated as an evaluation value based on comparison with each pixel in the search area, for example, as an integrated value of absolute difference values, and is formed as an evaluation value table having the same size as the search area.
  • a peak occurs when the correlation between the pixel value and the representative point at each shift position (i, j) in the search area is high.
  • the peak appearing in the evaluation value table corresponds to the movement of the displayed object on the screen of the moving image data.
  • the evaluation value table having the same size as the search area (p X q) corresponds to the end point of the vector having that movement direction and distance.
  • One peak appears at the position where If there are two differently moving objects in the screen (frame), an evaluation value table of the same size as the search area (p X q) In the bull, two peaks appear at two positions corresponding to the end points of two vectors having different movement directions and distances. If there is a stationary part, a peak corresponding to the stationary part also appears.
  • a motion vector candidate (candidate vector) in the previous frame [F] 70 and the current frame [F] 80 as a reference frame is obtained.
  • the most suitable candidate vector is selected from the extracted candidate vectors, and the candidate vector corresponding to each pixel is selected.
  • the center pixel 91 indicates one pixel of the previous frame [F].
  • This pixel has, for example, a luminance value (Ct).
  • Ct luminance value
  • pixel & 95, pixel 96, and pixel 097 are estimated as destinations from one pixel 91 of the previous frame ⁇ ] based on candidate vectors A, B, and C.
  • the pixels of the current frame [F] at each pixel position are shown.
  • the correlation with the pixel value of the block containing 1 is determined by the block matching process, the set with the highest correspondence is selected, and the candidate vector set for the selected set is set as the motion vector of the pixel 91.
  • the reason for applying the block matching process is that the following problem occurs when the correspondence of only one pixel is detected.
  • the MC residual with the pixel at the destination of the motion vector is considered to be the smallest, but in actuality, the pixel at the correct motion vector Is not necessarily the smallest among the candidate betatonores.
  • the sum of absolute differences (SAD) is calculated according to the following equation as an index value of the correlation of a plurality of pixels included in the block specified by the candidate vector.
  • F (x, y) is the luminance level of the frame of interest
  • F (x + v, y + v) is the reference destination.
  • the luminance level of the destination of the motion vector in the frame, M X N, is the block size used for evaluation.
  • V is used as the motion vector of the pixel of interest.
  • blocks such as block matching
  • the representative point matching it is possible to set a representative point representing each block, calculate an evaluation value only for the set representative point, and set a candidate vector.
  • the amount of calculation required for calculating the evaluation value can be reduced, and high-speed processing can be performed.
  • FIG. 6 shows the configuration of an embodiment of the motion vector detection device of the present invention that executes the motion vector detection process, and the processing sequence of the motion vector detection process is shown in the flowchart of FIG.
  • the motion vector detection device includes an evaluation value table forming unit 101, a candidate vector extracting unit 102, a motion vector determining unit 103, and a control unit (controller) 104.
  • the evaluation value table forming unit 101 inputs image data to be subjected to motion vector detection processing via an input terminal, and generates an evaluation value table.
  • the input image is, for example, image data obtained by a raster scan.
  • the image data includes, for example, a luminance signal in a component signal of a digital color video signal.
  • the input image data is supplied to the evaluation value table forming unit 101, and forms an evaluation value table having the same size as the search area based on the above-described representative point matching method. This is the process of step S101 in the flow of FIG.
  • the candidate vector extraction unit 102 extracts a plurality of motion vectors as candidate vectors within one screen from the evaluation value table generated by the evaluation value table forming unit 101. That is, as described above, a plurality of candidate vectors are extracted based on the peaks appearing in the evaluation value table. This is the process of step S102 in the flow of FIG.
  • the motion vector determination unit 103 calculates the correlation between pixels between frames associated with the candidate vector for each pixel of all the frames for the plurality of candidate vectors extracted by the candidate vector extraction unit 102. Judgment is performed by block matching or the like, and the candidate vector connecting the blocks having the highest correlation is set as the motion vector corresponding to the pixel. This is the process of step S103 in the flow of FIG. This process is the process described above with reference to FIG. [0090] The motion vector determination unit 103 performs an optimal vector selection process from the candidate vectors for all pixels included in one screen (frame), determines a motion vector corresponding to each pixel, Output the determined motion vector.
  • a candidate connecting the block having the highest correlation by block matching processing is used.
  • the vector is determined as the motion vector of the pixel of interest.
  • the control unit 104 controls the processing timing in the evaluation value table forming unit 101, the candidate vector extraction unit 102, and the motion vector determining unit 103, stores intermediate data in a memory, and controls output processing.
  • the above is the outline of the evaluation value table generation performed by the motion vector detection device based on the representative point matching and the motion vector detection processing to which the candidate vector method is applied.
  • FIG. 8 shows the detailed configuration of the evaluation value table forming unit.
  • the evaluation value table forming unit 200 in the motion vector detecting device of the present invention includes a pixel correlation operation unit 210, a flag data operation unit 220, a flag correlation operation unit 230, and comparison units 241 and 242. , A weight calculation processing unit 250, a calculation unit 260, and an evaluation value table calculation unit 270.
  • the pixel correlation calculator 210 includes a representative point memory 211, a difference calculator 212 for calculating pixel value difference data, and an absolute value calculator 213 for calculating absolute value of difference data.
  • the flag correlation calculation unit 230 includes a flag data storage memory 231 that stores the flag data calculated by the flag data calculation unit 220, a difference calculation unit 232 that calculates the difference data of the flag data, and an absolute value that calculates the absolute value of the difference data. It has a calculation unit 223.
  • the weight calculation processing unit 250 includes an activity calculation unit 251, a weight calculation unit 252, a conversion tape insert (LUT) 253, and a decoder 254.
  • the evaluation value table calculation unit 270 includes a calculation unit 260 An evaluation value composed of, for example, 8-bit data to be output is integrated in an evaluation value integrating unit 271 to generate an evaluation value table and store it in an evaluation value table memory 272.
  • the pixel correlation calculator 210 performs a representative point matching process.
  • Image data is input to the pixel correlation operation unit 210 via the input terminal, for example, in frame units.
  • the image data input to the pixel correlation calculator 210 is supplied to the difference calculator 212 and the representative point memory 211.
  • the image data stored in the representative point memory 211 is predetermined representative point data generated from image data input in units of frames, for example. For example, first look at Figure 3, Figure
  • One representative point is set in a block set by dividing the screen described with reference to 4, for example, a block of m ⁇ n pixels.
  • the representative points are
  • Etc. is associated with pixel value data representing the block.
  • image data pixel value data
  • a signal from a control unit (controller) 104 see FIG. 6
  • the representative point memory 211 is stored in the representative point memory 211 as representative point data.
  • the representative point data of the previous frame read from the representative point memory 211 and the image data of the current frame are supplied to the difference calculator 212.
  • the difference calculator 211 calculates a pixel value difference between the pixel value of the representative point of the previous frame and the pixel in the search area corresponding to each representative point set in the image data of the current frame, for example, the frame difference. (Correlation calculation result) is calculated and output to the absolute value calculation unit 213.
  • the absolute value calculation unit 213 receives the representative point data of the previous frame input from the difference calculation unit 211 and the frame difference (correlation calculation result) based on the image data of the current frame, and calculates the frame difference absolute value. .
  • the absolute value of the frame difference is input to the comparison unit 241 and compared with a predetermined threshold 1 (TH1).
  • a predetermined threshold 1 TH1
  • bit data for example, [1]
  • bit data for example, [0]
  • an evaluation value table has been generated as an integrated point using the output value from the comparison unit 241 as it is. That is, an evaluation value table is generated by accumulating the correlation operation results for all the representative points in one screen, and the extraction of candidate vectors is performed based on peaks (extreme values) appearing in the generated evaluation value table.
  • the evaluation value table when the evaluation value table is generated by the correlation determination of only the representative point, a peak corresponding to an accurate vector is generated due to the erroneously detected integration point.
  • the evaluation value table may not be generated.
  • an evaluation value table is generated in consideration of the pixel level near the representative point, that is, the spatial waveform near the representative point.
  • the 1-bit data indicating the presence or absence of strong correlation only in the correlation information of the representative point of the comparing unit 241 is converted into, for example, 8-bit data in the arithmetic unit 260 based on the output from the weight calculating unit 250, and the 8-bit data is
  • the evaluation value is output to the evaluation value integration unit 271 to generate an evaluation value table based on the 8-bit data.
  • the flag data calculation unit 220 performs a process of inputting image data and converting the relationship between adjacent pixel data into flag data for all input pixels.
  • FIG. 9 shows a detailed configuration of the flag data calculation unit 220.
  • the processing of the flag data calculation unit 220 will be described with reference to an example of FIG. 10 in which adjacent pixel difference values are converted into flags.
  • Pixel signals as input signals are input in raster order, and supplied to the register 221 and the difference calculation unit 226 shown in FIG.
  • the difference calculation unit 226 calculates a difference value between the output pixel level from the register 221 and the pixel level of a subsequent input pixel.
  • the output from the register 221 is stored in the register 222, and is also supplied to the difference calculation unit 223, and the pixel level of the preceding pixel from the register 222 and the output from the register 221 are stored.
  • the pixel level difference value of the succeeding pixel is calculated by the difference calculation unit 223.
  • a difference value between the pixel level of (+1, y) 302 and the pixel (X-1, y) 303 is calculated.
  • the data is output from each of the difference calculators 223 and 226 as 8-bit difference data.
  • the conversion table 225 is configured by a table shown in FIG. 10 (b). Each quantizer 2
  • the 24 and 227 refer to the conversion table 225 based on the value of the difference data d input from each of the difference calculators 223 and 226, and convert the data into predetermined flag data. For example,
  • the quantizers 224 and 227 generate 4-bit flag data (0 to 15) based on the value of the 8-bit difference data d (0 to 255) input from each of the difference calculators 223 and 226. Then, the data is output to the flag data storage memory 231.
  • the flag correlation operation unit 230 that performs the correlation judgment based on the flag data can perform the correlation judgment based on the data reduced to 4 bits, thereby speeding up the arithmetic processing and reducing the hardware scale. Is realized.
  • the conversion process from the pixel difference data to the flag data is performed by the conversion process shown in FIG. Not limited to the processing using the table, for example, a configuration in which 8 bits of difference data of adjacent pixel data is reduced to 4 bits, or a method in which upper 4 bits of 8 bits of pixel value data are used as flag information may be applied.
  • the above-described method of converting the adjacent pixel difference into a flag is an example of a method that can efficiently describe a spatial waveform with a small arithmetic circuit without using an extra line memory or the like because input pixels are input in raster order. is there. Also, since the difference data is converted to a flag, there is an advantage that rough waveform information composed of three pixels is not lost.
  • the flag correlation calculation unit 230 stores the flag data input from the flag data calculation unit 220 in the flag data storage memory 231.
  • the flag data of the previous frame and the flag data of the current frame read from the flag data storage memory 231 are supplied to the difference calculator 232.
  • the difference calculation unit 232 calculates a flag difference between the flag data of the previous frame and the flag data of the current frame, and outputs the result to the absolute value calculation unit 233.
  • the absolute value calculation unit 233 compares the flag data of the previous frame input from the difference calculation unit 232 with the flag data of the previous frame.
  • the comparison unit 242 compares the absolute value of the flag data difference value input from the flag correlation operation unit 230 with
  • the weight calculation processing unit 250 inputs the flux data difference value calculated by the flag correlation calculation unit 230 to the decoder 254, and calculates the activity of the image data.
  • the activity is an exponent whose value increases as the image data becomes more complicated. In other words, in an edge area where the pixel value level such as the luminance level greatly changes in a narrow range, the activity is low in the case of image data having flat pixel values such as the sky where the activity is high. When the activity in the area near the representative point is large, it is determined whether or not the representative point has moved, and it has a great effect on human visual characteristics immediately.
  • the peak in the evaluation value table depends on the area in the conventional method, and the size of the peak becomes small, so that it becomes difficult to extract candidate vectors.
  • due to the characteristics of the image when pixel data with a large activity moves, a large level change occurs when the amount of movement is smaller than the sampling of the image data. Despite having such characteristics, when it is determined that the correlation based on the pixel level data is high, it can be determined that the reliability of the detected candidate motion vector is high.
  • FIG. 11A shows a conversion table 253 held by the weight calculation processing unit 250.
  • This is a table for performing an inverse conversion process of the conversion table described above with reference to FIG. 10 (B9), and is for obtaining a pixel value difference from the flag data. In some cases, activity is considered high.
  • [0129] In the example shown in Fig. 11, [3] is input as flag data information of the left pixel, and [9] is input as flag data information of the right pixel.
  • the decoder 254 obtains the corresponding representative value difference from the conversion table 253 shown in FIG. 11A and outputs it to the activity calculation unit 251.
  • the representative value difference corresponding to the flag data information [3] of the left pixel is [1-110]
  • the representative value difference corresponding to the flag data information [9] of the right pixel is [2]
  • FIG. 11B shows a specific example of setting of pixel values when the above calculation is executed.
  • Pixel value of target pixel 128,
  • Pixel value of left adjacent pixel 118
  • DR dynamic range
  • the activity (A) calculated from the flag data has a value corresponding to the dynamic range (DR).
  • the weight calculation processing unit 250 receives the flag data from the flag correlation calculation unit 230 and performs an activity based on the pixel value difference data converted based on the conversion table (see FIG. 11).
  • the configuration may be such that activity A is calculated based on the activity.
  • the activity calculation unit based on the flag data or the frame difference absolute value data
  • the value of activity A calculated in 251 is output to weight calculating section 252.
  • the weight calculation unit 252 calculates the weight W based on the correlation determination data as a result of comparison with the thresholds (TH1, TH2) input from the comparison units 241 and 242, and calculates the value of the activity A and the calculated weight. Calculate the reliability index based on W.
  • the comparison unit 241 compares the pixel correlation calculation result calculated by the pixel correlation calculation unit with the threshold value (TH1) based on the pixel data of the representative point and the correlation in the search area set in a different frame.
  • the comparison unit 242 compares the flag correlation calculation result calculated by the flag correlation calculation unit with the threshold value (TH2) based on the correlation between the flag data, and outputs the comparison result.
  • the pixel data of the representative point and the flag data of the representative point are X, X, X, respectively, and the input pixel data and the flag data of the input pixel are ⁇ , ⁇ , ⁇ , respectively.
  • thresholds TH1 and TH2 are fixed here, as another example, the thresholds may be calculated from image data and made variable.
  • the weight calculation unit 252 calculates the degree of correlation as the weight based on the determination result of the above three equations (Equations 11 to 13). For example, when Equations 1, 2, and 3 are all satisfied, it can be determined that the correlation is high. On the other hand, when Equation 1 satisfies the condition but does not satisfy Equation 2 and Equation 3, it can be determined that the correlation is low. Therefore, the reliability of the detected candidate motion vector can be determined based on the degree of correlation determination.
  • the degree of pixel-level correlation determination can also be calculated from the residual that can be calculated from Equation 1. For example, when the condition of Equation 1 is satisfied, assuming that a weighting factor W as an index indicating the degree of correlation is W,
  • the weight calculation unit 252 calculates the reliability index H based on the weight coefficient W calculated by any of the methods described above and the activity A described above.
  • the reliability index is It is calculated by an arithmetic unit.
  • the weight calculation unit 252 outputs the reliability index calculated based on the weighting factor W and the activity A by the above equation (Equation 6) to the calculation unit 260, and is output from the comparison unit 241. Multiplication is performed on the result bit of the presence or absence of correlation based on the pixel at the representative point. As a result, when the result bit indicating the presence or absence of correlation based on the pixel at the representative point output from the comparison unit 241 is the bit [1] indicating the presence of the correlation, the value of the reliability index [H] is used as the evaluation value table calculation unit. Output to 270.
  • the upper limit of the activity between the target pixel and the two adjacent pixels on the left and right is 6 bits
  • the range of the above reliability is 0 ⁇ a ⁇ 252 which means that a weight of about 8 bits can be added to the evaluation value table compared to the conventional lbit, so that a highly reliable evaluation value table can be formed.
  • the force described using the sum of absolute differences between two horizontal pixels adjacent to the target pixel as the activity may be a dynamic range or the like.
  • the evaluation value table calculation unit 270 accumulates the evaluation values corresponding to the input reliability indices in the evaluation value accumulation unit 271 to generate an evaluation value table, and stores it in the evaluation value table memory 272.
  • the evaluation value accumulating section 271 performs a process of accumulating the evaluation value corresponding to the reliability index input from the calculating section 260. As a result, an evaluation value table based on the reliability index is generated.
  • step S201 a representative point is arranged (determined) in the previous frame image data.
  • the representative point of each block is, for example,
  • step S202 the current frame data is input. For example, they are input in raster order.
  • step S203 the flag data calculation unit 220 (see FIG. 8) executes a process of converting the difference between the input pixel and the left and right adjacent pixels into a flag.
  • this is a process of converting, for example, 8-bit pixel value difference data into 4-bit (015) flag data.
  • step S204 a correlation determination process is performed between the representative point data and the input pixel data.
  • This process is a process of the pixel correlation operation unit 210 and a process of the comparison unit 241 shown in FIG.
  • the representative point data of the previous frame and the image data of the current frame read from the representative point memory 211 are supplied to the difference calculating unit 212, and are set to the pixel value of the representative point of the previous frame and the image data of the current frame.
  • a pixel value difference with a pixel in the search area corresponding to each representative point to be calculated (for example, a frame difference calculation result) is output to the absolute value calculation unit 213, and the frame difference absolute value is calculated.
  • the absolute value of the frame difference is input to the comparing section 241 and compared with a predetermined threshold 1 (TH1). If the absolute value of the frame difference is smaller than the threshold 1 (TH1), it is determined that there is a correlation, and the correlation is determined. Bit data (eg, [1]) indicating that there is no correlation is output from the comparing unit 241 and if the absolute value of the frame difference is equal to or greater than the threshold value 1 (TH1), it is determined that there is no correlation. ]) Is output from the comparison unit 241.
  • TH1 threshold 1
  • step S205 a correlation determination process is performed between the representative point flag data and the input pixel flag data. This process is executed by the flag correlation calculator 230 and the comparator 242 shown in FIG.
  • the flag correlation calculator 230 stores the flag data input from the flag data calculator 220 in the flag data storage memory 231.
  • the flag data of the previous frame and the flag data of the current frame read from the flag data storage memory 231 are supplied to the difference calculator 232.
  • the difference calculation unit 232 calculates a flag difference between the flag data of the previous frame and the flag data of the current frame, and outputs the result to the absolute value calculation unit 233.
  • the absolute value calculation unit 233 compares the flag data of the previous frame input from the difference calculation unit 232 with the flag data of the previous frame.
  • the comparing unit 242 compares the absolute value of the flag data difference value input from the flag correlation calculating unit 230 with a predetermined threshold 2 (TH2), and determines the absolute value of the flag data difference value in advance. If smaller than threshold value 2 (TH2), there is correlation, and if the absolute value of the flag data difference value is equal to or larger than predetermined threshold value 2 (TH2), bit data without correlation is output to weight calculation section 252.
  • TH2 predetermined threshold 2
  • step S206 a reliability index is calculated.
  • the process of calculating the reliability index is performed by the weight calculator 250.
  • activity A is calculated in activity calculating section 251 based on flag data or frame difference absolute value data
  • weight coefficient W is calculated based on outputs from comparing sections 241 and 242. Calculated based on activity A and weighting factor W,
  • step S207 the reliability index ⁇ is output as an integrated point of the evaluation value table.
  • step S208 it is determined whether or not the correlation determination process between all the representative points and the pixels in the search area has been completed, and if not completed, the process from step S202 is performed on the unprocessed pixels. When the processing for all the pixels is completed, the processing ends.
  • the evaluation value calculation according to the present embodiment is performed, for example, with respect to one representative point 341 selected from the previous frame 340, for the pixel in the sub-cell 355 set in the current frame (input frame) 350.
  • the search area 355 for the representative point 342 adjacent to the representative point 341 as well as performing the vector value comparison based on the presence or absence of the correlation by sequentially performing the pixel value comparison and calculating the correlation.
  • the pixel value comparison is also performed for, the correlation is calculated, the vector is similarly detected based on the presence or absence of the correlation, and the motion vector detected by the correlation detection based on the plurality of representative points is calculated.
  • an evaluation value with increased weight is set.
  • the correlation determination is performed for a different representative point 342 near the representative point 341.
  • the pixels are determined by the representative point 341 and the pixel 351 having high correlation.
  • the motion vector V (vx, vy) 360 is determined to have high reliability, and is subjected to reliability addition processing to output a weighted evaluation value.
  • the evaluation value table forming unit in the present embodiment performs one correlation determination for a certain representative point to determine an evaluation value
  • the evaluation value table forming unit determines the motion level based on the correlation information of the representative point. The similarity with the motion vector based on the correlation information about the nearby representative point is determined. If there is a similar motion vector, a larger evaluation value is set for the reliability addition, and if there is no similar motion vector. Generates an evaluation value table by setting a small evaluation value.
  • FIG. 16 shows a configuration of the evaluation value table forming unit 400 according to the present embodiment.
  • the evaluation value table forming unit 400 in the motion vector detecting device of this embodiment It has a related calculation unit 410, a motion similarity detection unit 420, a comparison unit 430, a weight calculation unit 441, a calculation unit 442, a representative point stillness determination detection unit 450, and an evaluation value table calculation unit 270.
  • the pixel correlation calculator 410 includes a representative point memory 411, a difference calculator 412 for calculating pixel value difference data, and an absolute value calculator 413 for calculating the absolute value of the difference data.
  • the motion similarity detection unit 420 includes a pixel difference calculation unit 421 including a register (line memory) 422 and a difference calculation unit 423, a calculation unit 424, an absolute value calculation unit 425, and a correlation determination unit 426.
  • the representative point stillness determination detection section 450 has a reference value memory 451, a comparison section 452, and a flag memory 453.
  • the evaluation value table calculation unit 470 integrates the evaluation values, for example, composed of 8-bit data output from the calculation unit 442, into the evaluation value integration unit 471, generates an evaluation value table, and stores it in the evaluation value table memory 472. I do.
  • the pixel correlation calculator 410 performs a representative point matching process.
  • Image data is input to the pixel correlation operation unit 410 via the input terminal, for example, in frame units.
  • the image data input to the pixel correlation calculator 410 is supplied to the difference calculator 412 and the representative point memory 411.
  • the image data stored in the representative point memory 411 is, for example, predetermined representative point data generated from image data input in frame units.
  • one representative point is set in a block set by dividing the screen described above with reference to FIGS. 3 and 4, for example, a block of m ⁇ n pixels.
  • the representative points are
  • Etc. is associated with pixel value data representing the block.
  • image data (pixel value data) at pixel positions spatially evenly decimated from an input frame image is transmitted from the control unit (controller) 104 (see FIG. 6).
  • the signal is selected by signal timing control and stored in the representative point memory 411 as representative point data.
  • the difference calculation unit 411 calculates a pixel value difference between the pixel value of the representative point of the previous frame and the pixel in the search area corresponding to each representative point set in the image data of the current frame, for example, the frame difference. (Correlation calculation result) is calculated and output to the absolute value calculation unit 413.
  • the absolute value calculation unit 413 receives the representative point data of the previous frame input from the difference calculation unit 411 and the frame difference (correlation calculation result) based on the image data of the current frame, and calculates the frame difference absolute value. .
  • the absolute value of the frame difference is input to the comparing section 430 and compared with a predetermined threshold (TH). If the absolute value of the frame difference is smaller than the threshold (TH), it is determined that there is a correlation, and the presence of the correlation is determined. If the bit data (eg, [1]) indicating that the frame difference absolute value is greater than or equal to the threshold (TH) is output from the comparing unit 430, it is determined that there is no correlation, and the bit data indicating that there is no correlation (eg, [0]) Are output from the comparing section 430.
  • TH predetermined threshold
  • an evaluation value table has been generated as an integration point using the output value from the comparing section 430 as it is. That is, an evaluation value table is generated by integrating the correlation operation results for all the representative points in one screen, and the extraction of candidate vectors is performed by peaks (extreme values) appearing in the generated evaluation value table.
  • peaks extreme values
  • the evaluation value table forming unit in the motion vector detecting apparatus performs one correlation determination for a certain representative point to determine an evaluation value. Determines the similarity between the motion vector based on the correlation information of the point and the motion vector based on the correlation information about the nearby representative points, and if there is a similar motion vector, sets a larger evaluation value for reliability addition. If there is no similar motion level, an evaluation value table is generated by setting a smaller weight and an evaluation value.
  • the power S for executing these processes is the motion similarity detection unit 420, representative point stillness determination unit 450, weight calculation unit 441, and calculation unit 442 shown in FIG. The processing of each of these units will be described below.
  • the motion similarity detection unit 420 receives the image data and performs a pixel difference calculation unit 42
  • the input pixel data is stored in the register (line memory) 422 in 1.
  • the input frame 510 shown in FIG. 17 is stored in the register (line memory) 422.
  • XI and X5 indicate the pixel values of the pixels 511 and 512, respectively.
  • the interval between the pixel 511 and the pixel 512 is set equal to the representative point interval dx set in the previous frame 500.
  • the difference value D is input to the calculation unit 424, and the calculation result of the calculation unit is used as the absolute value calculation unit.
  • step 2 [S2 shown in FIG. 17 based on the input value from the pixel difference operation unit 421 and the pixel value of the representative point pixel of the previous frame from the representative point memory 411. ]
  • step 3 [S3] are executed.
  • step 2 [S2] the pixel value Q of the representative point pixel 502 of the previous frame 500 input from the representative point memory 411 shown in FIG. IQ—Calculate X5 I.
  • step 3 [S3], the pixel value P of the representative point pixel 501 of the previous frame 500 input from the representative point memory 411 shown in Fig. 6 and the difference absolute value I of the pixel 511 of the input frame 510 are obtained. Calculate P-X5 + DI.
  • FIG. 17 shows an example of detecting the similarity of the motion vector between the focused representative point 501 and the neighboring representative point 502 on the right side.
  • the correlation between one input pixel and multiple representative points is determined. Therefore, IQ—X5 I and IP—XI I are not calculated in parallel. Instead of calculating IP—XI I, -X5 + DI is calculated. Therefore, as in the calculation procedure S1 S3 shown in FIG. 17, before performing representative point matching in advance, the difference value D between the input pixel in the input frame and the pixel separated by the representative point interval is calculated. are doing.
  • the correlation determination unit 426 performs the process of step 4 [S4] shown in Fig. 17, that is, the comparison process between the predetermined threshold value [TH] and the pixel difference value obtained in steps 2 and 3,
  • the weight calculator 441 can trust the motion vector obtained by correlation detection corresponding to a nearby representative point if the motion vector is similar. Then, a reliability index is calculated based on the reliability, and the reliability index is output to the calculation unit 442.
  • the operation unit 442 inputs the reliability index and outputs the output from the comparison unit 430, that is, the representative point and each pixel of the search area as a result of the representative point matching executed by the pixel correlation operation unit 410. As a result of the presence or absence of the correlation based on the correlation result, enter bit [1] if there is correlation, and input bit [0] if there is no correlation.
  • arithmetic unit 442 calculates the bit 1 based on the determination that there is a similar motion of the representative point near the representative point input from the weight calculation unit with respect to bit 1.
  • the multiplication or addition of the reliability index i3 is performed, and XI or +1 is output to the evaluation value integrating unit 471 as the final evaluation.
  • the weight calculating section 441 calculates the reliability index / 3 when it is determined that the output from the motion similarity detecting section 420 has similarity. The details of the calculation process of the reliability index / 3 in the weight calculation unit 441 will be described.
  • the motion vector of the representative point of interest and the neighboring representative point are similar, the spatial gradient between the representative points, that is, a large pixel between the representative points as shown in FIG. If there is a value difference, an area having a brightness level difference in the image will move, and the motion vector Judge that the reliability is higher. On the other hand, if there is no large pixel value difference between the representative points as shown in Fig. 18 (b), this indicates that the area with a small difference in luminance level moves in the image, for example, the background area and the sky area In such cases, the reliability of the motion vector is determined to be low even when similarity is detected.
  • the weight calculating section 441 calculates the reliability index based on the magnitude of the spatial gradient 550 between the representative points.
  • the weight calculation unit 441 receives the determination that there is motion similarity between the representative points from the motion similarity detection unit 420, the weight level of the focused representative point of interest is determined to be Pm, and there is similar motion.
  • Pn be the luminance level of the N neighboring representative points
  • index / 3 representing the reliability of the motion vector is given by the following equation:
  • FIG. 20 shows a specific example of the reliability index ⁇ calculated according to the above equation.
  • FIG. 20 shows an example in which four representative points around the focused representative point 550 are selected as neighboring representative points, and the similarity of each motion is detected by the motion similarity detection unit 420.
  • the arrangement of the representative points is not a fixed arrangement but is set as a variable arrangement by calculating a certain parameter from image data
  • the distance from the representative point of interest also increases. It is preferable to set the reliability index in consideration of the configuration. That is, it is determined that the closer the distance between the representative points is, the higher the reliability of the similar motion vector is, and the smaller the distance between the representative points is, the higher the reliability index is set.
  • the reliability index i3 of the motion vector when the motion vector of the focused representative point and the neighboring representative point are similar is calculated as a value reflecting at least one of the following parameters.
  • the weight calculation unit 441 receives from the motion similarity detection unit 420 the similarity determination results of N neighboring representative points corresponding to a specific representative point, and further, as shown in FIG.
  • the spatial gradient (pixel value difference information) between the representative points is obtained based on the output from the unit 410, the reliability index i3 is calculated according to the above equation, and output to the arithmetic unit 442.
  • the determination whether or not the pixel position of the representative point is in the still area is performed by the representative point stillness determination unit 450.
  • the representative point stillness determination unit 450 includes a reference value memory 451, a comparison unit 452, and a flag memory 453.
  • the comparison unit 452 receives the result of the representative point matching process executed in the pixel correlation calculation unit 410, and compares the result with a preset reference value stored in the reference value memory 451. It is determined whether the point is in the stationary area.
  • the stationary point of the representative point Ry of the frame [F] is determined by the representative point Ry of the previous frame [F] and the current frame.
  • Judgment is made based on the frame difference between the representative point Rt-it-iy of the previous frame [F] and the point Py of the previous frame [F], instead of using the frame difference from the point Qy of the frame [F]. Because Ry and Q
  • the stationary point of the representative point Ry can be determined only when the Qy data of the current frame is supplied, but when using the frame difference between Ry and Py, the previous frame is used. When all the data of [F] is supplied, the representative that exists in the previous frame [F]
  • the pixel difference absolute value is calculated by the pixel correlation calculator 410 at the representative point Py of the frame [F].
  • the comparison unit 452 calculates the representative point Ry of the previous frame [F] calculated by the pixel correlation operation unit 410 with the representative point Ry.
  • the pair value is smaller than the preset reference value stored in the reference value memory 451, it is assumed that the representative point Ry of the previous frame is in the still area, and the still flag (0) is set in the flag memory.
  • the reliability index ⁇ calculated according to the above equation is output to the calculator 442.
  • Arithmetic unit 442 performs an operation of adding or multiplying the reliability index / 3 to the output from comparison unit 430, or performing an operation process of setting the result in consideration of the reliability index as an output evaluation value, to thereby obtain an evaluation value integrating unit. Output to 471.
  • the evaluation value table calculation unit 270 outputs the evaluation value reflecting the input reliability index ⁇ to the evaluation value integration unit 271 to generate an evaluation value table, and stores it in the evaluation value table memory 272. Store.
  • Evaluation value integration section 271 performs processing of integrating evaluation values reflecting reliability index ⁇ input from operation section 260. As a result, an evaluation value table based on the reliability index is generated.
  • step S301 a representative point is arranged (decided) in the previous frame image data.
  • the representative point of each block is, for example,
  • Etc. are associated with pixel values representing the block.
  • step S302 the current frame data is input. For example, they are input in raster order.
  • step S304 a correlation determination process is performed between the representative point data and the input pixel data.
  • This processing is the processing of the pixel correlation operation unit 410 and the processing of the comparison unit 430 shown in FIG.
  • the representative point data of the previous frame and the image data of the current frame read from the representative point memory 411 are supplied to the difference calculation unit 412, and are set to the pixel value of the representative point of the previous frame and the image data of the current frame.
  • a pixel value difference from a pixel in the search area corresponding to each representative point (for example, a frame difference calculation result) is calculated and output to the absolute value calculation unit 413, and the frame difference absolute value is calculated.
  • the absolute value of the frame difference is input to the comparing section 430 and compared with a predetermined threshold value (TH). If the absolute value of the frame difference is smaller than the threshold value (TH), it is determined that there is a correlation, and bit data indicating the presence of the correlation is determined. (Eg, [1]) is output from the comparison unit 430, and when the absolute value of the frame difference is equal to or larger than the threshold (TH), it is determined that there is no correlation, and bit data indicating no correlation (eg, [0]) is compared. Output from unit 430.
  • step S305 the motion similarity of the nearby representative point is detected from the difference data between the input pixel and the representative point.
  • This process is a process of the motion similarity detection unit 420. The process is performed by the motion similarity detection unit 420.
  • the attention representative point detected based on the correspondence between the focused representative point in the previous frame and the highly correlated pixel in the input frame corresponding to the neighboring representative point. It is determined whether or not the motion of the nearby representative points is similar.
  • the motion similarity detection unit 420 outputs a similarity determination result to the weight calculation unit 441. It should be noted that the determination result of the presence or absence of similarity is executed for a plurality of nearby representative points of the noted representative point, and the respective result data is output to the weight calculating unit 441.
  • step S306 a reliability index ⁇ is calculated.
  • the calculation process of the reliability index / 3 is executed by the weight calculation unit 441.
  • the reliability index of the motion vector when the motion vector of the focused representative point is similar to that of the neighboring representative point is calculated as a value reflecting at least the following parameters.
  • step S307 the reliability index ⁇ is output as an integrated point of the evaluation value table.
  • step S308 it is determined whether or not the correlation determination processing between all the representative points and the pixels in the search area has been completed. If not, the processing from step S302 onward is performed on the unprocessed pixels. When all the pixels have been processed, the process ends.
  • the reliability index ⁇ is calculated by combining the reliability index a described above and the reliability index ⁇ described above, and
  • the configuration of the evaluation value table forming unit is a configuration having both the configuration shown in FIG. 8 and the configuration shown in FIG.
  • the evaluation value table is configured by adding lbit (correlation / non-correlation) obtained as a result of determining the presence or absence of correlation only in representative point matching.
  • FIG. 24 shows the value table.
  • the evaluation value table shown in FIG. 24 is a two-dimensionally expressed evaluation value table showing only peaks corresponding to motion vectors in the vertical direction (one Y or + Y direction).
  • FIG. 25 shows two-dimensional data of an evaluation value table generated based on the reliability index: a described above, that is, the reliability index ⁇ based on the activity A and the weight coefficient W.
  • this evaluation value table not only peaks corresponding to still pixels but also peaks corresponding to the object D moving in the vertical direction ( ⁇ direction) appear.
  • the occupied area in the display area of the image data is small, and the peak corresponding to the movement of the object is calculated. It can appear in the evaluation value table, and enables accurate candidate vector extraction and motion vector determination processing.
  • Fig. 26 shows a reliability index: ⁇ , that is, a reliability index calculated in consideration of motion similarity detection between a focused representative point and a nearby representative point and a spatial gradient (pixel value difference) between the representative points.
  • ⁇ a reliability index calculated in consideration of motion similarity detection between a focused representative point and a nearby representative point and a spatial gradient (pixel value difference) between the representative points.
  • the evaluation value tape generated based on the reliability index ⁇ calculated in consideration of the detection of the motion similarity between the focused representative point and the neighboring representative point and the spatial gradient (pixel value difference) between the representative points.
  • the peak corresponding to the movement of an object with a small occupation area can appear in the evaluation value table, although the activity ⁇ of the representative point in the display area of the image data is small. Can be determined.
  • the motion vector detection device to which the representative point matching is applied has an evaluation value table forming unit 101, a candidate vector extracting unit 102, and a motion vector determining unit 103, and A value table forming unit 101 generates an evaluation value table based on the input image data, a candidate vector extracting unit 102 extracts a plurality of candidate vectors from the evaluation value table, and further a motion vector determining unit 103 Is performed to determine a motion vector corresponding to each pixel from the candidate vectors.
  • a motion vector determination process based on feature pixel position information is executed without applying block matching to the motion vector determination process executed in the motion vector determination unit 103.
  • the details of the processing of the motion vector determination unit will be described below.
  • FIG. 27 shows the detailed configuration of the motion vector determination unit of the motion vector detection device according to the present embodiment.
  • the motion vector determination unit 1200 shown in FIG. 27 corresponds to the motion vector determination unit 103 of the motion vector detection device shown in FIG.
  • the motion vector determination unit 1200 shown in FIG. 27 inputs a plurality of pieces of candidate vector information determined based on the above-described evaluation value table from the candidate vector extraction unit 102 shown in FIG. A process for determining a motion vector to be associated is executed.
  • the motion vector determination unit 1200 includes a pixel correlation determination unit 1210, a tentative determination unit 1221, a gate 1222, an additional information calculation unit 1250, and a characteristic pixel position correlation determination unit 1230.
  • the pixel correlation determination unit 1210 has a current frame memory 1211, a previous frame memory 1212, a pixel value difference calculation unit 1213, and an absolute value calculation unit 1214.
  • the characteristic pixel position correlation determination unit 1230 includes a current frame-added information memory 1231, a previous frame additional information memory 1232, and a correlation determination unit 1233. Details of the additional information calculation unit 1250 will be described with reference to FIG.
  • the pixel correlation determination unit 1210 receives an image signal.
  • This input image is, for example, image data obtained by raster scanning.
  • the image data includes, for example, a luminance signal in a component signal of a digital color video signal.
  • Image data is input for each frame data, firstly stored in the current frame memory 1211 and then stored in the previous frame memory 1212. Therefore, the pixel correlation determination unit 1210 holds two consecutive frame data in the memory.
  • pixel correlation determining section 1210 receives candidate vector information from candidate vector extracting section 102 shown in FIG. 6, and should determine each pixel of the previous frame, that is, a motion vector, based on the candidate vector information. For each pixel (pixel of interest), the pixel position of the current frame indicated by the plurality of candidate vectors is specified, and the difference between the pixel of interest of the previous frame and the pixel of the current frame indicated by the plurality of candidate vectors is calculated as the pixel value difference. Calculated by the calculation unit 1213 and calculated as an absolute value The output unit 1214 calculates the absolute value of the difference, and outputs the calculated absolute value to the temporary determination unit 1221.
  • FIG. 28 shows input frame (current frame) image data 1300 and past frame (previous frame) image data 1310. These frame data are data stored in the current frame memory 1211 and the previous frame memory 1212.
  • the pixel correlation determination unit 1210 receives candidate vector information from the candidate vector extraction unit 102 shown in FIG. 6, and is a candidate vector of these forces a and g shown in FIG. These are the candidate vectors obtained by the peak detection in the evaluation value table described above.
  • the pixel correlation determination unit 1210 determines, for each pixel in the previous frame based on the candidate vector information, that is, for each pixel (pixel of interest) for which a motion vector is to be determined, the current frame indicated by a plurality of candidate vectors. Is specified. For example, for each pixel of interest 1311 of the past frame (previous frame) image data 1310 in FIG. 28, the pixel positions A to G of the current frame indicated by a plurality of candidate vectors are specified.
  • the pixel value difference calculation unit 1213 calculates a difference between the pixel of interest 1311 of the past frame (previous frame) image data 1310 and each of the pixel values of the pixel positions A to G of the current frame indicated by the candidate vector.
  • the absolute value calculation unit 1214 calculates these difference absolute values, that is, the pixel difference absolute values (MC residuals), and outputs them to the tentative determination unit 1221.
  • the temporary determination unit 1221 narrows down the motion vector corresponding to the pixel 1311 of interest from the n absolute difference values (MC residual values) [di]. Specifically, from n ((absolute difference (MC residual) [di]), the one with the smaller MC residual is selected.
  • the selected candidate vector information is output from the tentative determination unit 1221 to the gate 1222, and from the candidate vector information input from the candidate vector extraction unit 102 shown in FIG. Only the force is input to the feature pixel position correlation determination unit 1230.
  • the characteristic pixel position correlation determining unit 1230 executes a process of determining a motion vector corresponding to one pixel from the candidate vectors selected by the tentative determining unit 1221.
  • the feature pixel position correlation determination unit 1230 performs a pixel value correlation determination process based on the feature pixel position information of the neighboring pixels of the pixel of interest input from the additional information calculation unit 1250, and the provisional determination unit 1221 A process of determining one motion vector from the selected candidate vectors is performed.
  • the additional information calculation unit 1250 extracts, for example, a pixel having the largest absolute value of a pixel value difference from an adjacent pixel among pixels near the pixel of interest as a feature pixel.
  • the additional information calculation unit 1250 shown in FIG. 29 includes an adjacent pixel difference absolute value calculation unit 1251 including a register 1252, a pixel value difference calculation unit 1253, and an absolute value calculation unit 1254, a register 1255, and a maximum difference value detection unit 1256. , Having a maximum difference pixel position detecting unit 1257 and a register 1258
  • the adjacent pixel difference absolute value calculation unit 1251 inputs an image signal to be subjected to motion vector detection processing, and stores image frame data in the register 1252.
  • the pixel value difference calculation unit 1253 sequentially calculates the difference between the adjacent pixels of the image data stored in the register 1252, and the absolute value calculation unit 1254 sequentially calculates the absolute value of the difference between the adjacent pixels to obtain the maximum difference value. Output to detector 1256.
  • the additional information calculation unit 1250 sequentially calculates the absolute value of the difference between the pixels adjacent to the image data stored in the register 1252, so that, for example, in the pixels in the vicinity of the pixel of interest, the absolute value of the difference from the P-contact pixel is the smallest. Identify large pixels.
  • the pixels in the vicinity of the pixel of interest are pixel areas that are set in advance, such as a range of 8 + 7 pixels before and after the pixel of interest in the horizontal direction.
  • the pixel 1282 with the largest absolute difference from the pixel in contact with the pixel of interest is specified.
  • the maximum difference value detection unit 1256 shown in FIG. 29 executes a comparison process while storing the difference absolute value of the sequentially input adjacent pixel in the register 1255, and executes a predetermined area, that is, -8— + 7 of 16 A pixel difference value having a maximum pixel value difference absolute value for each pixel is detected. That is, as shown in FIG. 31, the pixel difference values MAXa, MAXb, and MAXc having the maximum pixel value difference absolute value every 16 pixels are sequentially detected.
  • the pixel information having the absolute value of the maximum pixel difference for each predetermined region (for example, for every 16 pixels) detected by the maximum difference value detection unit 1256 is input to the maximum difference pixel position detection unit 1257, and for each predetermined region (The maximum difference pixel position information (for example, every 16 pixels) is detected and stored in the register 1258.
  • the pixel position of the pixel 1282 at which the absolute value of the difference from the adjacent pixel is maximum is: + 4] pixel position.
  • the maximum difference pixel position information for each predetermined area (for example, for every 16 pixels) stored in the register 1258 is sequentially output to the current frame additional information storage memory 1231.
  • the characteristic pixel position information from the additional information calculation unit 1250 described with reference to FIG. 29 is stored in the current frame-attached information memory 1231 of the characteristic pixel position correlation determination unit 1230 shown in FIG.
  • the current frame-attached caro information memory 1231 stores the maximum difference pixel position information for each predetermined area (for example, every 16 pixels) extracted corresponding to one frame.
  • the information in the current frame additional information memory 1231 is moved to and stored in the previous frame additional information memory 1232 for each frame processing step.
  • the current frame additional information memory 1231 is further input with the output from the tentative determination unit 1221, ie, the selection candidate vector information selected by the tentative determination unit 1221.
  • the correlation determination unit 1233 determines the only motion vector corresponding to the target pixel from the selection candidate vectors selected by the tentative determination unit 1221 based on the feature pixels extracted in the vicinity region of the target pixel. Execute the processing to be performed.
  • FIG. 32 shows an input frame (current frame) similar to that described above with reference to FIG. Frame) image data 1301 and past frame (previous frame) image data 1310.
  • the input frame (current frame) image data 1300 shows candidate vectors a, c, and e selected by the candidate vector selection processing by the tentative determination unit described above with reference to FIG.
  • the correlation determination unit 1233 in the characteristic pixel position correlation determination unit 1230 includes a pixel of interest selected from the past frame (previous frame) image data 1310, that is, a region in the vicinity of the pixel of interest 1311 as a pixel associated with the motion vector. Based on the characteristic pixel position data in, one motion vector is determined from the candidate vectors a, c, and e.
  • the feature pixel position in the vicinity area of the pixel of interest 1311 is the pixel position [13]. It is determined based on input information from the arithmetic unit 1250.
  • the neighboring region is shown as an eight-pixel region of (141 + 3) pixels of interest.
  • the correlation determining unit 1233 calculates the correlation between the characteristic pixel position in the vicinity of the pixel of interest 1311 and the characteristic pixel position in the vicinity of the corresponding pixel position A, C, E indicated by the selection candidate vectors a, c, e. Is determined.
  • the characteristic pixel appears at the position of [-3].
  • This feature pixel is a feature pixel selected for each pixel area in the predetermined area unit in the additional information calculation unit described above, and is the maximum pixel of the adjacent pixel difference absolute value in the area set as the area near the pixel position A. is there.
  • the characteristic pixel appears at the position [13] when the pixel of interest position is [0].
  • This feature pixel position corresponds to the feature pixel position [13] in the neighborhood 1301 of the pixel A indicated by the candidate vector a . It does not correspond to the characteristic pixel positions [1-2] and [+2] in the neighborhoods 1302 and 1303 of the pixels C and E indicated by the other two candidate vectors c and e .
  • the candidate vector a is selected and determined as the motion vector corresponding to the pixel of interest 1311.
  • the correlation determination unit 1233 sequentially sets such processing as the pixel of interest for the constituent pixels of the frame, and executes the correlation determination processing of the characteristic pixel position of the neighboring region in the same manner as described above for each set pixel of interest. Then, a motion vector corresponding to each pixel constituting the frame is selected and determined from the selection candidate vectors.
  • the motion vector determining unit shown in FIG. 27 specifies the characteristic pixel position based on the pixel value of the region near the target pixel, and determines the position of the characteristic pixel in the region adjacent to the target pixel.
  • the correlation between the corresponding relative position and the characteristic pixel position in the vicinity of the pixel specified by the candidate vector selected by the tentative determination unit 1221 is determined, and the candidate specifying the pixel having the highest correlation characteristic pixel position is determined.
  • the vector is determined as the motion vector corresponding to the pixel of interest.
  • the constituent pixels of the frame image are sequentially set as the pixel of interest, and FIG. Is executed for each pixel of interest.
  • step S1201 is a process of calculating the absolute value of the difference between the pixel of interest and the pixels specified by n candidate vectors, that is, the MC residual dn.
  • This processing is executed in the pixel correlation determination unit 1210 of the motion vector determination unit 1200 in FIG.
  • Steps S1202 and S1204 are processes in the provisional determination unit 1221.
  • the tentative judgment unit 1221 inputs n difference absolute values (MC residuals) [di] and detects the minimum value of the n MC residuals: dmin.
  • step S1204 is a tentative determination process executed as a process of selecting from candidate vectors described above with reference to FIG. If it is determined that di-dmin ⁇ TH is not satisfied, it is determined that the vector is not a selection candidate vector, and the correlation determination based on the characteristic pixel position of the neighboring region of the target pixel performed in steps S1205 and S1206 is performed. Proceed to step S1207.
  • step S1204 if didmin ⁇ TH is satisfied, the selection is made as a selection candidate vector, and the flow advances to step S1205.
  • the processing of steps S1205 and S1206 is the processing of the characteristic pixel position correlation determination section 1230 of the motion vector determination section 1200 shown in FIG.
  • step S1205 the correlation between characteristic pixel positions is determined. As described above with reference to FIG. 32, this processing is based on the correlation between the position of the characteristic pixel in the area near the pixel of interest and the characteristic pixel position in the area near the pixel selected as the selection candidate vector, that is, the position. This is a process of determining whether or not there is a correspondence.
  • step S1206 a process of selecting a candidate having a higher correlation is executed.
  • step S1207 it is determined whether or not all candidate vectors have been verified based on the value of i. In this case, the process proceeds to step S1209, where the value of i is updated (incremented by one), and the processing of step S1204 and thereafter is repeatedly executed.
  • step S1208 the process proceeds to step S1208, at which point the position of the feature pixel in the vicinity of the target pixel calculated in step S1205, that is, the region having the highest correlation, is calculated. Then, a candidate vector corresponding to a pixel having a high correlation between characteristic pixel positions in the vicinity of a pixel selected as a selection candidate vector is determined as a motion vector corresponding to a target pixel to be processed.
  • the pixel of interest and the neighboring characteristic pixel positions that are not subjected to block matching processing are determined. This is a configuration using information. Therefore, it is necessary to perform a correlation calculation based on a large number of pixel values according to the size of a block to be applied in the block matching process, and efficient processing can be performed.
  • the target pixel position is set to [0], and 16 pixels of _8 + 7 and 8 pixels of 14 + 3 are described as examples. These can be set as arbitrary areas.
  • the neighboring area is set only on the right side in the horizontal direction, adjacent pixel comparison processing based on the input pixel values in the raster scan order can be performed.
  • the value memory area can be reduced, and the hardware scale can be further reduced.
  • a neighboring area of a pixel is set, and the additional information calculation unit 1250 calculates, as characteristic pixel information, a pixel position where the absolute value of the neighboring pixel difference in the neighboring area is the maximum, and calculates the characteristic pixel information.
  • a configuration for applying information to correlation determination that is,
  • Fig. 34 shows an example of the configuration of the additional information calculation unit 1250 in the case where (b) the position of the pixel having the maximum absolute value of the adjacent pixel difference and the pixel value are applied as the correlation determination information.
  • the configuration of the additional information calculation unit 1250 shown in FIG. 34 is almost the same as the configuration of the additional information calculation unit 1250 shown in FIG. 29, and includes a register 1252, a pixel value difference calculation unit 1253, and an absolute value calculation unit 1254.
  • An adjacent pixel difference absolute value calculation unit 1251 inputs an image signal to be subjected to motion vector detection processing, and stores image frame data in the register 1252.
  • the pixel value difference calculator 1253 sequentially calculates the difference between adjacent pixels of the image data stored in the register 1252, and the absolute value calculator 1254 sequentially calculates the absolute value of the difference between Output to value detector 1256.
  • the maximum difference value detection unit 1256 executes a comparison process while storing the difference absolute value of the sequentially input adjacent pixel in the register 1255, and performs the maximum pixel value difference absolute value in a predetermined area, for example, every 16 pixels. Is detected.
  • the pixel information having the absolute value of the pixel value difference for each predetermined area (for example, every 16 pixels) detected by the maximum difference value detection unit 1256 is input to the maximum difference pixel position detection unit 1257, and for each predetermined area (for example, 16 pixels).
  • the maximum difference pixel position information (for each pixel) is detected and stored in the register 1258.
  • the additional information calculation unit 1250 described with reference to Fig. 29 above outputs only the position information stored in the register 1258 to the current frame-attached information memory 1231, and performs a correlation determination process based on the position information. It was configured to perform.
  • the additional information calculation unit 1250 shown in FIG. 34 stores not only the position information indicating the maximum difference pixel position stored in the register 1258 but also the pixel value information of the maximum difference pixel position from the register 1255 into the current frame attached information of the current frame. Output to memory 1231.
  • the characteristic pixel position correlation determination unit 1230 shown in Fig. 27 applies the correlation between the two data, that is, the two pieces of information, that is, the position information of the pixel having the maximum absolute value of the adjacent pixel difference and the pixel value information. Execute the judgment process.
  • the two-point matching described above uses the assumption that an object moves with an area. For example, if a feature pixel is set at a position far from the pixel of interest, there is a possibility that the object is the same object. descend. In view of this, a configuration may be adopted in which processing is performed in which the distance to the feature pixel that is not only the degree of coincidence of the feature pixel position is reflected in the correlation. In other words, the feature pixel at a position closer to the target pixel is given a higher weight at the time of correlation determination, and the feature pixel at a position farther from the target pixel is given a smaller weight at the time of correlation determination.
  • FIG. 35 shows a detailed configuration of the motion vector determination unit of the motion vector detection device according to the present embodiment.
  • the motion vector determination unit 400 shown in FIG. 35 corresponds to the motion vector determination unit 103 of the motion vector detection device shown in FIG.
  • the motion vector determination unit 400 shown in FIG. 35 inputs a plurality of pieces of candidate vector information determined based on the above-described evaluation value table from the candidate vector extraction unit 102 shown in FIG. A process of determining a motion vector to be associated with each motion is executed.
  • the motion vector determination unit 400 includes a pixel correlation determination unit 1410, a provisional determination unit 1421, an additional information calculation unit 1450, a current frame additional information memory 1422, and a previous frame addition.
  • An information memory 1423 and a neighboring area information correlation determination unit 1430 are provided.
  • the pixel correlation determination unit 1410 includes a current frame memory 1411, a previous frame memory 1412, a pixel value difference calculation unit 1413, and an absolute value calculation unit 1414.
  • the neighboring area information correlation determining unit 1430 has registers 1431 and 1432, a gate 1433, and a correlation determining unit 1434. Details of the additional information calculation unit 1450 will be described with reference to FIG.
  • the pixel correlation determination unit 1410 inputs an image signal.
  • This input image is, for example, image data obtained by a raster scan, as described above with reference to FIG.
  • the image data includes, for example, a luminance signal in a component signal of a digital color video signal.
  • Image data is input for each frame data, and is first stored in the current frame memory 1411 and then in the previous frame memory 1412. Therefore, the pixel correlation determination unit 1410 holds two consecutive frame data in the memory.
  • pixel correlation determination section 1410 receives candidate vector information from candidate vector extraction section 102 shown in FIG. 6, and should determine each pixel of the previous frame, that is, a motion vector, based on the candidate vector information. For each pixel (pixel of interest), the pixel position of the current frame indicated by the plurality of candidate vectors is specified, and the difference between the pixel of interest of the previous frame and the pixel of the current frame indicated by the plurality of candidate vectors is calculated as the pixel value difference.
  • the calculating unit 1413 calculates the difference, the absolute value calculating unit 1414 calculates the absolute value of the difference, and outputs the calculated absolute value to the temporary determining unit 1421.
  • the tentative determination unit 1421 narrows down the motion vector corresponding to the pixel of interest from the n difference absolute values (MC residuals) [di]. Specifically, from the n ((difference absolute value (MC residual) [di]), the one with the small MC residual is selected. This processing is also the same as the above two-point matching. Assuming that the minimum value of the n MC residuals is dmin and the predetermined threshold is TH, di-dmm ⁇ TH
  • the selection candidate level information is Only the candidate vector information selected from the candidate vector information output from the provisional determination unit 1421 to the gate 1433 and input from the candidate vector extraction unit 102 shown in FIG. 6 is input to the neighboring area information correlation determination unit 1430. Is done.
  • the image correlation determining unit 1410 of the present embodiment further obtains the pixel information of the two pixels in the neighboring region of the pixel of interest from the current frame memory 1411 of the image correlation determining unit 1410 by the neighboring region information correlation determining unit 1430.
  • the two pixels corresponding to the n designated pixels indicated by the candidate vector from the previous frame memory 1412 of the image correlation determining unit 1410, that is, n X 2 pixels, are input to the register 1432, that is, the neighboring area information correlation determination is performed. Input to register 1431 of unit 1430.
  • Which pixel in the neighboring area is output is determined by the current frame additional information memory 1 422, and is determined by the preceding frame additional information memory 1423 and the output of n pieces of candidate vector information.
  • the calculation result of the additional information calculation unit 1450 is output to the current frame additional information memory 1422 and the previous frame additional information memory 1423.
  • the additional information calculation unit 1450 for example, among the pixels in the vicinity of the target pixel, the pixel having the largest pixel value difference from the target pixel, the pixel having the smallest pixel value difference from the target pixel, and these two pixels Extract as
  • the attached information calculation unit 1450 shown in FIG. 36 includes a target pixel difference calculation unit 1451 including a register 1452 and a pixel value difference calculation unit 1453, a difference maximum value pixel information acquisition unit (MAX) 1454, and a difference minimum It has a value pixel information acquisition unit (MIN) 1455, a maximum difference pixel position detection unit 1456, a register 1457, a minimum difference pixel position detection unit 1458, and a register 1459.
  • a target pixel difference calculation unit 1451 including a register 1452 and a pixel value difference calculation unit 1453
  • a difference maximum value pixel information acquisition unit (MAX) 1454 a difference minimum It has a value pixel information acquisition unit (MIN) 1455, a maximum difference pixel position detection unit 1456, a register 1457, a minimum difference pixel position detection unit 1458, and a register 1459.
  • MIN value pixel information acquisition unit
  • the pixel-of-interest calculation unit 1451 inputs an image signal to be subjected to motion vector detection processing, and stores image frame data in the register 1452.
  • the pixel value difference calculation unit 1453 sequentially calculates the difference between the neighboring areas of the image data stored in the register 1452, stores the pixel information having the maximum difference value in the maximum difference pixel information acquisition unit (MAX) 1454, The pixel information having the minimum difference value is stored in the minimum difference pixel information acquisition unit (MIN) 1455. Note that these pieces of pixel information include pixel position information.
  • the additional information calculation unit 1450 sequentially calculates the difference between the pixel of interest and the pixel value near the pixel of interest with respect to the image data stored in the register 1452. And pixel information having a maximum difference value and pixel information having a minimum difference value.
  • the pixels in the vicinity of the pixel of interest are, for example, a range of 1 8 1 + 7 pixels before and after the pixel of interest in the horizontal direction, or a block set in advance in a two-dimensional area. Pixel region.
  • the pixel having the maximum difference value from the target pixel is the pixel 1482, that is, the pixel position [
  • the pixel of [5] has the maximum difference value from the pixel of interest, that is, the maximum of the spatial gradient
  • Pixel information is obtained as one selected characteristic pixel.
  • the pixel having the minimum difference value from the target pixel is a pixel 1483 when the pixel position of the target pixel 1481 is [0], that is, the pixel having the minimum difference value from the target pixel, ie, the pixel at the pixel position [1], Pixel information is obtained as one feature pixel selected as the minimum pixel of the spatial gradient.
  • the maximum difference pixel information obtaining unit (MAX) 1454 shown in Fig. 36 obtains a difference between a pixel of interest in a predetermined area, for example, every 16 pixels of -8 + 7, based on difference information of sequentially input pixels. The pixel having the maximum value is detected.
  • a minimum difference pixel information acquisition unit (MIN) 1455 detects a pixel having a minimum difference value with respect to a target pixel for each predetermined area based on difference information of sequentially input pixels.
  • the pixel information having the maximum pixel difference value for each predetermined area detected by the maximum difference pixel information acquisition unit (MAX) 1454 is input to the maximum difference pixel position detection unit 1456, and is output for each predetermined area (for example, 16 pixels).
  • the maximum difference pixel position information is detected in each case and stored in the register 1457.
  • the pixel information having the minimum pixel difference value for each predetermined area detected by the minimum difference pixel information acquisition unit (MIN) 1455 is input to the minimum difference pixel position detection unit 1458, and is output for each predetermined area (for example, 16 pixels). Is detected and stored in the register 1459.
  • the pixel position of the pixel 1482 at which the difference from the target pixel is the largest is defined as:
  • the pixel position of the pixel 1483 whose difference from the target pixel is the smallest is the pixel position [1] when the target pixel is set to the pixel position: 0.
  • the maximum difference pixel position information for each predetermined region (for example, every 16 pixels) stored in the register 1457 and the minimum difference pixel position information for each predetermined region (for example, every 16 pixels) stored in the register 1459 are stored in the current frame. It is sequentially output to the additional information storage memory 1422.
  • the characteristic pixel position information from the additional information calculation unit 1450 described with reference to FIG. 36 is input to the current frame additional information memory 1422 shown in FIG.
  • the additional information moves to the previous frame additional information memory 1423 for each frame processing.
  • Additional information of the current frame memory input to the current frame additional information memory 1422 that is, That is, two pieces of characteristic pixel position information corresponding to the target pixel, that is, the pixel position information having the maximum difference from the target pixel and the pixel position information having the minimum difference from the target pixel are stored in the current frame memory of the pixel correlation determination unit 1410.
  • the information is output to 1411, and based on the output information, the two points of pixel information are stored in the register 1432 of the neighboring area information determination unit 1430.
  • This pixel information includes pixel position information.
  • the additional information of the previous frame memory input to the previous frame additional information memory 1423 that is, the pixel position information having the maximum difference from the target pixel and the pixel position information having the minimum difference from the target pixel are output to the previous frame memory 1412 of the pixel correlation determination unit 1410.
  • the previous frame memory 1412 further receives n pieces of candidate vector information from the candidate vector extracting unit, and specifies two characteristic pixels, a neighboring area force determined for each pixel indicated by the candidate vector information, and n X
  • the second characteristic pixel information is stored in the register 1431 of the neighboring area information determination unit 1430. This pixel information includes pixel position information.
  • n X 2 characteristic pixel information stored in the register 1431 is output to the correlation determination unit 1434 via the gate 1433.
  • the gate 1433 based on the selection candidate vectors selected by the provisional judgment processing in the provisional judgment unit 1421 from the n candidate vectors, only the characteristic pixel information in the vicinity area of the pixel corresponding to the selection candidate vector is correlated. Output to unit 1434.
  • the characteristic pixel information of the target pixel is output to the direct correlation determination unit 1434.
  • the correlation determination unit 1434 performs a correlation determination process on these characteristic pixels, and determines only one motion vector from the selection candidate vectors.
  • FIG. 38 shows input frame (current frame) image data 1500 and past frame (previous frame) image data 1510 similar to those described above with reference to FIG.
  • the input frame (current frame) image data 1500 shows candidate vectors a, c, and e selected by the candidate vector selection processing by the tentative determination unit described above with reference to FIG.
  • the correlation determining unit 1433 in the neighboring area information determining unit 1430 performs the processing in the past frame (previous frame). Based on the pixel of interest selected from the image data 1510, that is, the characteristic pixel position data in the vicinity of the pixel of interest 1511 as the pixel to which the motion vector is associated, one motion vector such as the candidate vector a, c, e To determine.
  • the area near the pixel of interest 1511 is a two-dimensional block area.
  • the setting of this neighboring area is arbitrary, and may be set to a one-dimensional area in the horizontal direction, similarly to the above-described two-point matching.
  • the spatial gradient maximum pixel 1512 which is the pixel position that is the maximum difference pixel from the pixel of interest
  • the spatial gradient minimum pixel which is the pixel position that is the minimum difference pixel from the pixel of interest 1513
  • the spatial gradient maximum pixel that is the pixel position that is the maximum differential pixel from the central pixel and the spatial gradient that is the pixel position that is the minimum differential pixel from the central pixel is determined.
  • the correlation determination unit 1433 determines the correlation between the characteristic pixel position in the vicinity of the target pixel 1511 and the characteristic pixel position in the vicinity of the corresponding pixel position indicated by the selection candidate vectors a, c, and e.
  • the neighborhood area 1501 indicated by the selection candidate vector a is located at a position corresponding to the characteristic pixel position of the neighborhood area of the target pixel 1511, and the other two selection candidate vectors c , e indicate that the neighboring areas 1502 and 1503 do not correspond to the characteristic pixel positions of the neighboring area of the target pixel 1511.
  • a candidate vector a is selected and determined as a motion vector corresponding to the pixel of interest 1511.
  • the correlation determination unit 1433 sequentially sets such processing as constituent pixels of a frame as pixels of interest, and performs correlation determination processing of characteristic pixel positions in the vicinity area in the same manner as described above for each set pixel of interest. Then, a motion vector corresponding to each pixel constituting the frame is selected and determined from the selection candidate vectors. [0337] As described above, the motion vector determination unit 400 shown in FIG. 35 specifies two characteristic pixel positions based on the pixel values in the region near the target pixel, and focuses on the characteristic pixels in the region near the target pixel.
  • the correlation between the relative position corresponding to the pixel position and the characteristic pixel position in the vicinity of the pixel indicated by the candidate vector selected by the tentative judgment unit 1221 is determined, and the pixel having the characteristic pixel position with the highest correlation is specified. Is determined as the motion vector corresponding to the pixel of interest.
  • the above-described motion vector determination processing sequence will be described with reference to the flowchart shown in FIG.
  • the flow shown in FIG. 39 is a process of determining a motion vector for one pixel of interest.When determining motion vectors for all of the pixels constituting the frame image, the pixels constituting the frame image are sequentially set as pixels of interest. The flow shown in FIG. 39 is executed for each pixel of interest.
  • step S1301 is a process of calculating the absolute value of the difference between the pixel of interest and the pixels specified by n candidate vectors, that is, the MC residual dn. This process is executed in the pixel correlation determination unit 1410 of the motion vector determination unit 400 in FIG.
  • Steps S1302 and S1304 are processing in the provisional judgment section 1421.
  • the tentative determination unit 1421 receives the n absolute values of the difference (MC residual) [di] and detects the minimum value of the n residuals: dmin.
  • step S1304 is a tentative determination process executed as a process of selecting from candidate vectors described above with reference to Fig. 28. If it is determined that di? dmin ⁇ TH is not satisfied, it is determined that the vector is not a selection candidate vector, and the correlation determination based on the characteristic pixel position in the vicinity of the target pixel performed in steps S1305, S1306, and S1307 is performed. Otherwise, go to step S1308.
  • step S1304 di? Dmin ⁇ TH is satisfied. In this case, the selection is made as a selection candidate vector, and the process proceeds to step S1305.
  • step S1305 the correlation between characteristic pixel positions is determined. As described above with reference to FIG. 36, this processing is based on the correlation between the positions of two feature pixels in the vicinity of the pixel of interest and the two feature pixels in the vicinity of the pixel selected as the selection candidate vector. That is, this is a process of determining whether or not there is a correspondence between positions.
  • step S1306 a process of selecting a higher correlation and a higher correlation is executed, and in step S1307, it is determined whether or not all candidate betatonets have been verified based on the value of i. If not, the process proceeds to step S1310, where the value of i is updated (incremented by one), and the processes in step S1304 and thereafter are repeatedly executed.
  • step S1308 the two feature pixels in the vicinity of the target pixel calculated in step S1305 that have the highest correlation are selected. And a candidate vector corresponding to a pixel having a high correlation between the characteristic pixel position in the neighborhood of the pixel selected as the selection candidate vector and a motion vector corresponding to the pixel of interest to be processed.
  • the correlation determination is performed based on the position information by applying the two characteristic pixel positions of the current frame and the previous frame, but the pixel value at the characteristic pixel position corresponding to the target pixel is determined. It may be configured to perform a correlation determination process based on the information. That is, block matching is performed using only a total of three points using the pixel value of the pixel of interest and the two characteristic pixels in the neighboring area. This processing sequence will be described with reference to FIG.
  • FIG. 40 is a diagram showing input frame (current frame) image data 1600 as in FIG. 38 described above.
  • the input frame (current frame) image data 1600 has been described with reference to FIG.
  • the candidate vectors a, c, and e selected by the candidate vector selection processing by the tentative determination unit are shown.
  • the correlation determination unit 1433 in the neighboring area information determination unit 1430 includes a feature in the neighborhood of the pixel of interest 1511 as a pixel selected from the past frame (previous frame) image data 1510, that is, a pixel to which a motion vector is associated. Based on the pixel position data, one candidate vector a, c, e force, etc., is determined as one motion vector.
  • the area near the pixel of interest 1611 is a two-dimensional block area.
  • the setting of this neighboring area is arbitrary, and may be set to a one-dimensional area in the horizontal direction, similarly to the above-described two-point matching.
  • the spatial gradient maximum pixel 1612 which is the pixel position that is the maximum difference pixel from the pixel of interest
  • the spatial gradient minimum pixel that is the pixel position that is the minimum difference pixel from the pixel of interest 1613
  • a pixel region set around the pixel specified by each selection candidate vector that is, a pixel region 1601 set by the selection candidate vector a
  • a selection candidate In each of the pixel region 1602 set by the vector c and the pixel region 1603 set by the selection candidate vector e the position of the maximum spatial gradient pixel 1612 and the minimum spatial gradient pixel 1613 with respect to the pixel of interest 1611 detected in the past frame are picked up and output to the neighboring area information correlation determination unit 1430 shown in FIG.
  • the neighborhood value information correlation determination unit 1430 shown in FIG. 35 performs pixel value correlation determination between these pixels. That is, the correlation determination is performed between the pixel at each position of the spatial gradient maximum pixel 1612 and the spatial gradient minimum pixel 1613 with respect to the pixel of interest 1611 and the pixel values at the corresponding positions of the pixel regions 1601, 1602, and 1603. For the center pixel, correlation determination was performed in the provisional determination unit 1421, and as a result, only three points were used. The matching processing result is obtained, and the selection candidate vector corresponding to the data determined to have the highest correlation by the three-point matching processing is determined as the motion level corresponding to the pixel of interest.
  • Fig. 41 shows a flow of the motion vector determination processing according to the above method.
  • the processing of steps S1401 and S1404 is the same as the processing of steps S1301 to S1304 of the processing flow described above with reference to FIG. 39, and the selection candidate vector in the temporary determination unit is Is the process to be extracted.
  • step S1405 block matching using three pixels is executed. That is, as described with reference to FIG. 40, from each pixel area indicated by the selection candidate vector, the position corresponding to the position of the spatial gradient maximum pixel and the position of the spatial gradient minimum pixel for the pixel of interest detected in the past frame is determined. The pixel to be processed is picked up and the correlation is determined. For the central pixel, that is, the pixel correlation information corresponding to the target pixel position, the determination result of the temporary determination unit is referred to.
  • Steps S1406—S1408 and S1410 are the same as steps S1306—S1308 and S1310 of the processing flow described above with reference to FIG.
  • the target pixel without performing the correlation determination using all the pixels in the vicinity (block) of the target pixel is determined.
  • two characteristic pixel position information and pixel value information in the vicinity are used. Therefore, it is not necessary to perform a correlation calculation based on a large number of pixel values according to the size of a block to be applied in the block matching processing, and efficient processing can be performed.
  • Fig. 42 illustrates a processing sequence in which the correlation determination using the correlation information of the characteristic pixel position and the motion level determination processing based on the correlation determination using the correlation information of the pixel values are used together. Indicates low.
  • the processing in steps S1501 to S1504 is the same as the processing in steps S1301 to S1304 in the processing flow described above with reference to Fig. 39, and the selection candidate vector in the tentative determination unit Is the process to be extracted.
  • step S1505 the correlation between the characteristic pixel positions is determined. As described above with reference to FIG. 36, this processing is based on the correlation between the positions of two feature pixels in the vicinity of the pixel of interest and the two feature pixels in the vicinity of the pixel selected as the selection candidate vector. That is, this is a process of determining whether or not there is a correspondence between positions.
  • step S1506 block matching using three pixels is performed. That is, as described with reference to FIG. 40, from each pixel region indicated by the selection candidate vector, the position of the spatial gradient maximum pixel relative to the target pixel detected in the past frame and the position of the spatial gradient minimum pixel are determined. The pixel corresponding to is picked up and the correlation is determined. For the pixel correlation information corresponding to the center pixel, that is, the pixel position of interest, the determination result of the temporary determination unit is referred to.
  • step S1507 the vector indicating the highest level and the correlation is selected in consideration of both the correlation half-IJ determination in step S1505 and the correlation determination in step S1506.
  • the processing in steps S1508 to S1510 is the same as the processing in steps S1307 to S1308 and S1310 of the processing flow described above with reference to FIG. 39, and a description thereof will be omitted.
  • the program is stored on a hard disk or ROM (Read Only Memory
  • the program can be temporarily stored on a removable recording medium such as a flexible disk, CD-R ⁇ M (Compact Disc Read Only Memory), MO (Magneto optical) disk, DVD (Digital Versatile Disc), magnetic disk, or semiconductor memory. Alternatively, it can be permanently stored (recorded).
  • a removable recording medium can be provided as a package software.
  • the program can be wirelessly transferred from a download site to the computer, or transmitted to the computer via a network such as a LAN (Local Area Network) or the Internet.
  • the program can be transferred by wire, and the computer can receive the transferred program and install it on a recording medium such as a built-in hard disk.
  • the correlation considering not only the representative point but also the spatial waveform as the pixel level near the representative point is considered. Since the determination process is performed, it is possible to generate an evaluation value table with higher accuracy, and it is possible to more accurately execute motion vector detection.
  • the correlation information of the representative point pixel, the target pixel and the target pixel A weighting factor W is calculated based on flag correlation information based on flag data corresponding to pixel value difference data of neighboring pixels, and the calculated weighting factor W and activity A as an index value indicating the complexity of image data are calculated.
  • a reliability index is calculated as a calculated value based on, and an evaluation value table in which evaluation values corresponding to the reliability index are integrated is generated.
  • the configuration is such that the flag data corresponding to the pixel value difference data of the target pixel and the pixel in the vicinity of the target pixel is calculated as a bit number smaller than the pixel value difference data.
  • the calculation of the flag correlation calculation process can be performed as a process with a small number of bits, and a highly accurate evaluation value table can be generated without reducing the processing speed, and the motion vector detection can be performed more accurately. It is possible to do. Therefore, by applying the present invention to an image processing device or the like that performs a coding process of moving image data, an efficient motion vector detection process can be performed, and the device can be downsized.
  • the motion similarity between the representative point and the pixel near the representative point is determined, and when there is motion similarity.
  • a value table can be generated, and motion vector detection can be performed more accurately.
  • the motion similarity between the representative point and the representative point in the vicinity of the representative point is detected, and the representative point and the neighboring representative point are determined on condition that the motion similarity is determined.
  • This is a configuration that generates a reliability index / 3 taking into account the pixel value difference from the point, and generates an evaluation value table in which the evaluation values corresponding to the reliability index ⁇ are integrated.
  • This configuration calculates the reliability index j3 in consideration of these parameters, and generates the evaluation value table by integrating the evaluation values based on the reliability index.Thus, it is possible to generate a more accurate evaluation value table. Thus, it is possible to more accurately execute motion vector detection.
  • the flag correlation information based on the flag data corresponding to the pixel value difference data of the target pixel and the pixel in the vicinity of the target pixel is further added.
  • a weighting factor W is calculated based on the calculated weighting factor W
  • An evaluation value table based on the evaluation values can be generated, and a more accurate evaluation value table can be generated, and motion vector detection can be performed more accurately. Therefore, by applying the present invention to an image processing device or the like that executes a coding process of moving image data and the like, an efficient motion vector detection process can be performed, and the device can be downsized.
  • a process of selecting and determining a motion vector corresponding to each pixel from a plurality of candidate vectors is used.
  • a feature pixel is extracted from a region near the target pixel to be associated, a correlation determination is performed based on the position information or the pixel value information of the feature pixel, and a process of determining a motion vector is performed. It is not necessary to apply it.As calculation for correlation calculation, it is possible to reduce both evaluation value calculation such as summation of absolute difference values, thereby improving processing efficiency and reducing memory for holding pixel values. And the hardware size can be reduced. Therefore, by applying the present invention to an image processing device or the like that executes encoding processing of moving image data, more accurate motion vector detection processing becomes possible.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　精度の高い評価値テーブルを生成して正確な動きベクトルの検出処理を可能とした装置および方法を提供する。代表点画素の相関情報と、注目画素と注目画素近傍領域画素の画素値差分データに対応するフラグデータに基づくフラグ相関情報に基づいて、重み係数Ｗを算出し、算出した重み係数Ｗと、画像データの複雑性を示す指標値としてのアクティビティＡとに基づく信頼度指数を生成、あるいは、代表点と代表点近傍の画素との動き類似性に基づく信頼度指数を生成して、信頼度指数に対応する評価値を積算した評価値テーブルを生成する。また、着目画素の周辺の特徴画素の位置または画素値に基づいて相関判定を実行し、動きベクトルの決定処理を行なう。

Description

明 細 書
動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ 'プログラム
技術分野
[0001] 本発明は、動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュー タ 'プログラムに関する。さらに詳細には、動画像データからの動きベクトル検出処理 を実行する動きベクトル検出装置、および動きベクトル検出方法、並びにコンビユー タ 'プログラムに関する。 背景技術
[0002] 近年の情報処理装置、通信端末の高機能化、高速通信インフラの整備、さらに、 D VD、 Blu_rayディスクなどの高密度記録媒体の普及などに伴レ、、ネットワークを介し た動画像データの配信、あるいは高密度記録媒体を利用した動画像データの記憶、 再生などが盛んに行なわれるようになつてきた。このような状況に伴って、動画像デ ータに対するデータ処理、例えば符号ィヒ処理などにおける効率性や高速性の向上 が求められている。
[0003] 動画像データの高能率符号化における動き補償型画像符号化、交通監視システ ムあるいは自律走行車両の視覚センサにおける動物体の検出処理、速度検出処理 などにおいては、画像データ中に含まれる各物体の動きの方向および大きさ（速度） を検出する処理、すなわち、動きベクトルの検出処理が必要となる。
[0004] 例えば、動き補償型画像符号化処理の一例として、動画の高能率符号化の国際的 標準方式である MPEG (Moving Picture Coding Experts Group)方式が提 案されている力 S、この MPEG方式は、 DCT (Discrete Cosine Transform)と動き 補償予測符号化とを組み合わせた符号化を行なう方式である。動き補償予測符号化 においては、動画像データを構成する現フレームと、 1つ前の前フレームの連続フレ ームにおける画像信号レベルの相関を検出し、検出した相関に基づいて動きべタト ルを求め、検出した動きベクトルに基づく動き画像の補正処理を行うことで、効率的 な符号化を達成している。 [0005] 動きベクトルの検出方法の一つとして、ブロックマッチング法が知られている。図 1を 参照して、ブロックマッチング法の概要を説明する。動画像を構成する時間的に連続 するフレーム画像、例えば図に示す時間（t)の現フレーム [F ] 20と、時間（t一 1)の前
t
フレーム ] 10を抽出する。フレーム画像の 1画面を複数の画素で構成される小さ
t-i
な領域 (以下、ブロックと称する） m画素 X nラインに分割する。
[0006] 現フレーム [F ] 20を参照フレームとし、参照フレームの検查ブロック By21を、所定
t
のサーチエリア 22内で移動し、前フレーム [F ] 10の基準ブロック Bxl lと最も画素
t-i
値差分の少ない、すなわち画素値が最も合致する（最も相関の大きな）検查ブロック を検出する。前フレーム [F ] 10の基準ブロック Bxl lが、この現フレーム [F ] 20か
t 1 t ら検出した相関の高い検查ブロックの位置に動いたと推定する。この推定された動き を示すベクトルに基づいて、各画素の動きべトクルを求める。このように、ブロックマツ チング法は、所定のブロック（m X n)単位で、フレーム間の相関判定（マッチング判定 )処理を行い、動きべクトノレを求める手法である。
[0007] ブロックマッチング法において、動きベクトルはブロック毎に求められる。各ブロック の相関、すなわち合致の程度を表す評価値としては、例えば、基準ブロック Bx内の 複数の画素と、検査ブロック By内の複数の画素との間で空間的に同一位置の画素 同士の値を減算してフレーム差を求め、算出したフレーム差の絶対値を積算すること で算出されるフレーム差絶対値和が適用される。あるいは、フレーム差の二乗和等を 使用することも可能である。
[0008] しかし、上述のブロックマッチング法は、サーチエリア内の全てのデータの比較を行 う全探索であるため、検出に要する比較の回数が非常に多ぐ動き検出に時間がか 力、る欠点があった。
[0009] また、ブロック内に動き部分と静止部分とが含まれるような場合、ブロックを単位とし て検出された動きは、正確にはブロック内の個々の画素の動きに対応するとは言えな レ、。このような問題は、ブロックサイズの設定により調整可能である力 例えば、ブロッ クを大きくすると、演算量の増大に加えて、ブロック内の複数動きの問題が発生し易く なる。逆に、ブロック内に複数の動きが含まれないように、ブロックのサイズを小さくし た場合には、マッチングの判断の領域が小さくなるので、動き検出の精度が低下する 問題が生じる。すなわち、ブロックマッチングを行う際、基準ブロックと似た検査ブロッ ク、すなわち基準ブロックと相関の高い検査ブロックが多数出現する可能性が高くな る。これらは、動きに起因しないものが含まれるからであり、動き検出の精度が低下す る。例えば、文字テロップが水平または垂直方向に動く時には、反復パターンの影響 が現れやすい。漢字の文字パターンの場合では、同じ文字でも、小さな部分に分割 すると、同一のパターンとなることが多い。従って、ブロック内に複数の動きが混在す る場合には、正確な動きを求めることが難しいという問題があった。
[0010] 本特許出願に係る出願人は、例えば特許文献 1において、演算量を増大させること なぐ 1画素毎の動きベクトルを検出でき、且つ、誤検出を防止した動きベクトル検出 方法および検出装置を提案している。
[0011] 特許文献 1において開示している動きベクトル検出処理のポイントは、画素または ブロック毎に評価値を算出して動きベクトルを決定するのではなぐ第 1ステップの処 理として、フレームの一方に複数画素からなる複数ブロックを設定して、各ブロックの 代表点を設定し、各代表点と他方のフレームに設定したサーチエリアの各画素との 相関を調べ、相関情報に基づく評価値を算出して、評価値に基づく相関情報として の評価値テーブルを形成し、その評価値テーブルから、複数の候補ベクトルを抽出 する。次に、第 2ステップの処理として、抽出した候補ベクトルから、 1画素毎に最良と 思われる候補ベクトルを選択して対応付けて、各画素毎の動きベクトルとして決定す る。このように、
評価値テーブルの生成処理、
評価値テーブルに基づく候補ベクトルの選択処理、
各画素対応の動きベクトルとして、複数の候補ベクトルから最適なものを対応付ける 処理
以上の処理によって、各画素毎の動きべクトノレを求める方式である。この方式を、以 下、候補ベクトル方式と称する。
[0012] 候補ベクトル方式による動きベクトル検出処理の利点は、評価値テーブルに基づい て、限られた数の候補べ外ルを抽出しておくことで、演算量の軽減が図れること。ま た、動きベクトルの誤検出が起りやすい被写体の境界部分においても、予め絞り込ん である候補ベクトルの中から、各画素に対応する最良の動きベクトルを判定すること が可能となることなどがある。従来は、各画素の動きベクトルをフレーム間の画素の差 分などを評価値として算出し、評価値をフレーム全画素について求める全探索処理 を実行する方式がとられていた力 候補ベクトル方式では、予め絞り込んである候補 ベクトルの中から、各画素に対応する最良の動きベクトルを判定する処理が可能であ るので、全探索処理と比較して、同じ評価値が発生する確率が減り、誤検出が防止さ れる。
[0013] しかし、評価値テーブルを形成する際の処理は、各ブロックの代表点を設定し、各 代表点と他方のフレームに設定したサーチエリアの各画素との相関を調べ、相関情 報に基づく評価値を算出して、評価値を積算する処理である。
[0014] 例えば、代表点画素 Xとサーチエリア内に含まれる入力画素 Yとの差分絶対値があ る閾値 TH以下であれば積算評価値として設定する。すなわち、
I x-Y I < ΤΗ
を満足する場合、評価値テーブルの対応位置に + 1カウントし、画面内の全ての代 表点の演算結果を評価値テーブルに足し込むことで評価値テーブルを生成する。
[0015] 評価値テーブルの生成において、代表点の輝度レベルと、サーチエリア内におけ る入力画素の輝度レベルのみの相関判定を行っているので、図 2に示す様な現フレ ーム 31と前フレーム 30とを用レヽて、動きベクトル検出のための評価値テーブルを生 成する場合、前フレーム 30内の代表点 38に対応する相関の高い画素、すなわち輝 度レベルのほぼ等しい画素を現フレーム 31に設定されたサーチエリア 32内におい て探索して、評価値テーブルの積算カウントとする。
[0016] 図 2の右側に示すグラフは、それぞれ前フレーム 30の代表点 38を通る X方向の 1 つのラインの画素レベルと、現フレームのサーチエリア 32内の X方向の 1つのライン の画素レベルを示してレ、る。
[0017] 前フレーム 30の代表点 38の画素レベル = 100と相関の高レ、、すなわち画素レべ ルがより近い画素をサーチエリア 38内力、ら探索すると、 3つの画素 35, 36 , 37力 S検 出される。これらの 3つの画素は、いずれも上記条件
I Χ-Υ I < ΤΗ を満足するので、評価値テーブルに対する積算ポイントとして設定される。しかし、 実際は、 3つの画素 35, 36, 37中、正しい動きベクトルに対応するのは、画素 36の みであり、他の 2つの画素 35, 37は、誤った積算ポイントとして評価値テーブルに加 算されることになる。
[0018] このように、従来の評価値テーブルの生成においては、誤った情報に基づく積算が 行われる可能性があり、評価値テーブルのピークとして示される候補ベクトルが全て 正しいと判断出来なレ、。従来の評価値テーブルの生成プロセスにおける問題点をま とめると以下のようにまとめることができる。
(a)検出した代表点との相関のみに基づいて + 1カウントする方式では、評価値テ 一ブルの頻度が画像内の物体の面積に依存する。従って評価値テーブルから画面 内に存在する複数の物体の動きベクトルを検出するのが困難になる。
(b)評価値テーブルのピークの大きさが物体の面積に依存することになるため、物 体の面積は小さいが画像内では目立つ物体、例えばテロップなどの候補ベクトルの ピークが小さくなり、その候補ベクトルを読み出すのが困難になる。
[0019] また、候補ベクトルに基づいて、各画素対応の最終的な動きベクトルを決定する際 には、ブロックマッチング処理が行なわれる。ブロックマッチング処理は、前フレーム の着目画素の近傍の画素をブロックとして設定し、ブロック内に含まれる複数の画素 の全体的な相関を検出する処理である。ブロックマッチングを適用して正確な動きべ タトルの決定処理を行なうためには、ブロックサイズを大きくし正確な相関判定を行な うこと力 S必要となる。ブロックサイズを大きくすると、相関算出のための演算として実行 される差分絶対値総和演算の様な評価値の計算量が多くなり、効率が低下し、また、 画素値を保持するためのメモリも大きくすることが必要となり、ハードウェア規模が大き くなるという問題点を生じさせる。
特許文献 1 :特開 2001 - 61152号公報
発明の開示
発明が解決しょうとする課題
[0020] 本発明は、上述の問題点に鑑みてなされたものであり、代表点マッチング処理に基 づく評価値テーブルの生成にぉレ、て、代表点のみならず代表点近傍の画素レベル としての空間波形を考慮した相関判定処理を行なうことで、より精度の高い評価値テ 一ブルの生成を可能とし、動きベクトル検出をより正確に実行することを可能とした動 きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ 'プログラムを 提供することを目的とする。
[0021] さらに、本発明は、代表点マッチング処理に基づく評価値テーブルの生成におい て、代表点のみならず代表点近傍の画素が代表点と類似する動きを持つか否かを 判定して相関判定処理を行なうことで、より精度の高い評価値テーブルの生成を可 能とし、動きベクトル検出をより正確に実行することを可能とした動きベクトル検出装 置、および動きベクトル検出方法、並びにコンピュータ 'プログラムを提供することを目 的とする。
[0022] さらに、本発明は、例えば候補ベクトル方式に基づく動きベクトル検出処理におい て、複数の候補ベクトルから各画素対応の動きベクトルを決定する際にブロックマツ チングを適用せず、正確な動きベクトルの決定を行なうことを可能とした動きべクトノレ 検出装置、および動きベクトル検出方法、並びにコンピュータ 'プログラムを提供する ことを目的とする。
課題を解決するための手段
[0023] 本発明の第 1の側面は、
動画像データから動きベクトルを検出する動きベクトル検出装置であり、 時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テープ ルを生成する評価値テーブル形成部と、
前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動き ベクトルを検出して対応付ける動きベクトル決定部とを有し、
前記評価値テーブル形成部は、
時間軸上における異なるフレーム間の相関情報の算出を、一方のフレームから選 択した代表点に基づく代表点マッチング処理に基づいて実行する画素相関演算部と 前記画素相関演算部の演算結果、および注目画素と注目画素周辺の画素との画 素値差分値に基づく演算結果の少なくともいずれかの結果を適用して動きの信頼度 指数を生成する重み算出部と、
前記重み算出部の算出した信頼度指数に対応する評価値を積算し評価値テープ ルを生成する評価値テーブル算出部と、
を有することを特徴とする動きベクトル検出装置にある。
[0024] さらに、本発明の動きベクトル検出装置の一実施態様において、前記注目画素に 対応する前記代表点と該代表点の近傍代表点との動き類似性を検出する動き類似 性検出部を更に備え、前記重み算出部は、前記動き類似性検出部の検出結果とし て、前記代表点と近傍代表点との動き類似性ありとの判定に基づいて、前記代表点 と近傍代表点との画素値差分を考慮して動きの信頼度指数を生成することを特徴と する。
[0025] さらに、本発明の動きベクトル検出装置の一実施態様において、前記重み算出部 は、代表点間の動き類似性ありとの判定を前記動き類似性検出部から入力したことを 条件として、着目代表点の輝度レベル: Pm、類似動きありと判定された N個の近傍 代表点の輝度レベル: Pnに基づいて、前記信頼度指数を とすると、下式、
[数 2]
N
ド p = / j \ \ρ m - ρ丄 n
n
によって算出する構成であることを特徴とする。
[0026] さらに、本発明の動きベクトル検出装置の一実施態様において、前記動きベクトル 検出装置は、さらに、前記画素相関演算部からの代表点マッチング処理に基づく相 関有無の判定結果と、前記重み算出部からの信頼度指数を入力する演算部を有し、 前記演算部は、前記画素相関演算部からの代表点マッチング処理に基づく相関有 無の判定結果と、前記信頼度指数との加算または乗算処理を実行し、最終評価値を 算出し、前記評価値テーブル算出部に出力する構成であることを特徴とする。 [0027] さらに、本発明の動きベクトル検出装置の一実施態様において、前記重み算出部 は、
代表点間の動き類似性ありとの判定を前記動き類似性検出部から入力したことを条 件として、前記信頼度指数を以下のパラメータ、すなわち、
(a)近傍代表点の動きの一致数もしくは類似数
(b)動きが一致もしくは類似した代表点との空間勾配
(c)動きが一致もしくは類似した時の代表点間の距離
上記（a) (c)の少なくともレ、ずれ力、を反映した値として算出する構成であることを 特徴とする。
[0028] さらに、本発明の動きベクトル検出装置の一実施態様において、前記評価値テー ブル形成部は、さらに、前記代表点が静止領域にあるか否かを判定する代表点静止 判定部を有し、前記重み算出部は、前記代表点静止判定部において、前記代表点 が静止領域にあると判定された場合に、前記信頼度指数の値を 0または低下させて 設定する処理を実行する構成であることを特徴とする。
[0029] さらに、本発明の動きベクトル検出装置の一実施態様において、前記評価値テー ブル形成部は、さらに、注目画素と注目画素近傍領域画素の画素値差分データに 対応するフラグデータを生成するフラグデータ演算部と、前記フラグデータに基づい てフレーム間のフラグデータ相関情報の算出処理を実行するフラグ相関演算部とを 有し、前記重み算出部は、前記画素相関演算部の演算結果に基づく画素相関情報 、および前記フラグ相関演算部の演算結果に基づくフラグ相関情報の少なくともレ、ず れかの結果を適用して重み係数 Wを算出し、該重み係数 Wに基づく算出値としての 信頼度指数を生成し、前記代表点と近傍代表点との画素値差分を考慮した信頼度 指数と、前記重み係数 Wに基づく算出値としての信頼度指数とに基づいて新たな信 頼度指数 κを算出する構成であり、前記評価値テーブル算出部は、前記重み算出 部の算出した新たな信頼度指数 Kに対応する評価値を積算し評価値テーブルを生 成する構成であることを特徴とする。
[0030] さらに、本発明の動きベクトル検出装置の一実施態様において、前記注目画素と 前記注目画素周辺の画素との画素値差分データに対応するフラグデータを生成す るフラグデータ演算部と、前記フラグデータに基づいてフレーム間のフラグデータ相 関情報の算出処理を実行するフラグ相関演算部とを更に備え、前記重み算出部は、 前記画素相関演算部の演算結果に基づく画素相関情報、および前記フラグ相関演 算部の演算結果に基づくフラグ相関情報の少なくともいずれかの結果を適用して重 み係数 Wを算出し、該重み係数 Wに基づく算出値としての信頼度指数を生成するこ とを特徴とする。
[0031] さらに、本発明の動きベクトル検出装置の一実施態様において、前記フラグデータ 演算部は、注目画素と注目画素近傍領域画素の画素値差分データに対応するフラ グデータを、画素値差分データより少ないビット数として算出する処理を実行する構 成であることを特徴とする。
[0032] さらに、本発明の動きベクトル検出装置の一実施態様において、前記重み算出処 理部は、前記画素相関演算部の演算結果に基づく画素相関情報から算出する重み 係数として、少なくとも代表点画素の画素値と、前記注目画素およびその周辺画素 でなる相関判定対象画素の画素値の差分に基づいて算出する値 Wを重み係数 Wと する構成であることを特徴とする。
[0033] さらに、本発明の動きベクトル検出装置の一実施態様において、前記重み算出処 理部は、前記画素相関演算部の演算結果に基づく画素相関情報と、前記フラグ相 関演算部の演算結果に基づくフラグ相関情報力 算出する重み係数として、代表点 画素の画素値: Xと代表点画素の 2つの隣接画素の画素値差分データに基づくフラ グデータ： X , X とし、相関判定対象画素の画素値 Y、と、該画素の 2つの隣接画素
fO fl
の画素値差分データに基づくフラグデータ: Υ , Υ としたとき、 Xと Υの差分の大きさ
fO fl
、X と Y の差分の大きさ、 X と Υ の差分の大きさによって算出する値 Wを重み係 fO fO fl fl
数 wとして算出する構成であることを特徴とする。
[0034] さらに、本発明の動きベクトル検出装置の一実施態様において、前記重み算出処 理部は、画像データの複雑性を示す指標値としてのアクティビティ Aを算出し、該算 出アクティビティ Aと、少なくとも代表点画素の画素値と、前記注目画素およびその周 辺画素でなる相関判定対象画素の画素値の差分の大きさに基づいて算出する重み 係数 Wとに基づいて信頼度指数を算出する処理を実行する構成であることを特徴と する。
[0035] さらに、本発明の動きベクトル検出装置の一実施態様において、前記動きベクトル 検出装置は、さらに、前記評価値テーブルに基づいて 1以上の候補ベクトルを抽出 する候補べクトノレ抽出部を有し、前記動きベクトル決定部は、動画像データのフレー ム構成画素各々に対応する動きベクトルを、前記候補ベクトルから選択して対応付け る処理を実行する構成であることを特徴とする。
[0036] さらに、本発明の動きベクトル検出装置の一実施態様において、前記動きベクトル 決定部は、動きベクトルを対応付ける着目画素の近傍領域から特徴画素を抽出し、 該特徴画素に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを 決定する構成であることを特徴とする。
[0037] さらに、本発明の動きベクトル検出装置の一実施態様において、前記動きベクトル 決定部は、動きベクトルを対応付ける着目画素の画素値と、前記候補ベクトルによつ て指示される画素の画素値との相関判定を実行して、前記候補ベクトルから相関の 高いもののみを選別する処理を実行する仮判定部を有し、前記特徴画素に基づく相 関判定処理は、前記仮判定部によって選別された選別候補べ外ルのみを対象とし た処理として実行する構成であることを特徴とする。
[0038] さらに、本発明の動きベクトル検出装置の一実施態様において、前記動きベクトル 決定部は、動きベクトルを対応付ける着目画素の近傍領域から特徴画素を抽出し、 該特徴画素の位置情報に基づく相関判定処理に基づいて、着目画素に対応する動 きべクトノレを決定する構成であることを特徴とする。
[0039] さらに、本発明の動きベクトル検出装置の一実施態様において、前記動きベクトル 決定部は、動きベクトルを対応付ける着目画素の近傍領域から特徴画素を抽出し、 該特徴画素の画素値情報に基づく相関判定処理に基づいて、着目画素に対応する 動きべクトノレを決定する構成であることを特徴とする。
[0040] さらに、本発明の動きベクトル検出装置の一実施態様において、前記動きベクトル 決定部は、動きベクトルを対応付ける着目画素の近傍領域力 隣接画素との画素値 差分絶対値が最大の画素を特徴画素として抽出し、該特徴画素の位置情報に基づ く相関判定処理に基づいて、着目画素に対応する動きベクトルを決定する構成であ ることを特 ί数とする。
[0041] さらに、本発明の動きベクトル検出装置の一実施態様において、前記動きベクトル 決定部は、動きベクトルを対応付ける着目画素の近傍領域から着目画素との画素値 差分絶対値が最大の画素を特徴画素として抽出し、該特徴画素の画素値情報に基 づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定する構成で あることを特徴とする。
[0042] さらに、本発明の動きベクトル検出装置の一実施態様において、前記動きベクトル 決定部は、動きベクトルを対応付ける着目画素の近傍領域から複数の特徴画素を抽 出し、該複数の特徴画素に基づく相関判定処理に基づいて、着目画素に対応する 動きべクトノレを決定する構成であることを特徴とする。
[0043] さらに、本発明の動きベクトル検出装置の一実施態様において、前記動きベクトル 決定部は、動きベクトルを対応付ける着目画素の近傍領域から着目画素との画素値 差分の最大の画素と最小の 2つの画素を特徴画素として抽出し、該 2つの特徴画素 に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定する構 成であることを特徴とする。
[0044] さらに、本発明の動きベクトル検出装置の一実施態様において、前記動きベクトル 決定部は、前記 2つの特徴画素の位置情報に基づく相関判定処理に基づいて、着 目画素に対応する動きベクトルを決定する構成であることを特徴とする。
[0045] さらに、本発明の動きベクトル検出装置の一実施態様において、前記動きベクトル 決定部は、動きベクトルを対応付ける着目画素の近傍領域から着目画素との画素値 差分の最大の画素と最小の 2つの画素を特徴画素として抽出し、該 2つの特徴画素 と着目画素とを含む 3画素に基づく相関判定処理に基づいて、着目画素に対応する 動きべクトノレを決定する構成であることを特徴とする。
[0046] さらに、本発明の動きベクトル検出装置の一実施態様において、前記動きベクトル 決定部は、動きベクトルを対応付ける着目画素の近傍領域から 2点の特徴画素として 抽出し、該 2つの特徴画素と着目画素とを含む 3画素の画素値に基づく相関判定処 理に基づいて、着目画素に対応する動きベクトルを決定する構成であることを特徴と する。 [0047] さらに、本発明の第 2の側面は、
動画像データから動きベクトルを検出する動きベクトル検出方法であり、 時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テープ ルを生成する評価値テーブル作成ステップと、
前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動き ベクトルを検出して対応付ける動きベクトル検出ステップとを有し、
前記評価値テーブル作成ステップは、
時間軸上における異なるフレーム間の相関情報の算出を、一方のフレームから選 択した代表点に基づく代表点マッチング処理に基づいて実行する画素相関演算ス テツプと、
前記画素相関演算ステップにおける演算結果、および注目画素と注目画素周辺の 画素との画素値差分値に基づく演算結果の少なくともいずれかの結果を適用して動 きの信頼度指数を生成する重み算出ステップと、
算出した信頼度指数に対応する評価値を積算し評価値テーブルを生成する評価 値テーブル算出ステップと、
を有することを特徴とする動きベクトル検出方法にある。
[0048] さらに、本発明の第 3の側面は、
動画像データから動きベクトルを検出するコンピュータ 'プログラムであり、 時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テープ ルを生成する評価値テーブル作成ステップと、
前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動き ベクトルを検出して対応付ける動きベクトル検出ステップとを有し、
前記評価値テーブル作成ステップは、
時間軸上における異なるフレーム間の相関情報の算出を、一方のフレームから選 択した代表点に基づく代表点マッチング処理に基づいて実行する画素相関演算ス テツプと、
前記画素相関演算ステップにおける演算結果、および注目画素と注目画素周辺の 画素との画素値差分値に基づく演算結果の少なくともいずれかの結果を適用して動 きの信頼度指数を生成する重み算出ステップと、
算出した信頼度指数に対応する評価値を積算し評価値テーブルを生成する評価 値テーブル算出ステップと、
を有することを特徴とするコンピュータ 'プログラムにある。
[0049] なお、本発明のコンピュータ 'プログラムは、例えば、様々なプログラム 'コードを実 行可能なコンピュータ ·システムに対して、コンピュータ可読な形式で提供する記憶 媒体、通信媒体、例えば、 CDや FD、 MOなどの記録媒体、あるいは、ネットワークな どの通信媒体によって提供可能なコンピュータ 'プログラムである。このようなプロダラ ムをコンピュータ可読な形式で提供することにより、コンピュータ 'システム上でプログ ラムに応じた処理が実現される。
[0050] 本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図 面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書において システムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内に あるものには限らない。
発明の効果
[0051] 本発明の構成によれば、代表点マッチング処理に基づく評価値テーブルの生成に おいて、代表点のみならず代表点近傍の画素レベルとしての空間波形を考慮した相 関判定処理を行なう構成であるので、より精度の高レ、評価値テーブルの生成が可能 となり、動きベクトル検出をより正確に実行することが可能となる。
[0052] さらに、本発明の構成によれば、代表点画素の相関情報と、注目画素と注目画素 近傍領域画素の画素値差分データに対応するフラグデータに基づくフラグ相関情報 に基づいて、重み係数 Wを算出し、算出した重み係数 Wと、画像データの複雑性を 示す指標値としてのアクティビティ Aとに基づく算出値としての信頼度指数ひを生成 して、信頼度指数ひに対応する評価値を積算した評価値テーブルを生成する構成と した。本構成により、代表点と代表点近傍の画素値の差分を考慮して重みが設定さ れた評価値に基づく評価値テーブルを生成することが可能となり、より精度の高い評 価値テーブルの生成が可能となり、動きベクトル検出をより正確に実行することが可 能となる。 [0053] さらに、本発明の構成によれば、注目画素と注目画素近傍領域画素の画素値差分 データに対応するフラグデータを、画素値差分データより少ないビット数として算出す る処理を実行する構成としたのでフラグ相関算出処理の演算を少ないビット数データ の処理として実行することが可能となり、処理速度を落とすことなく精度の高い評価値 テーブルの生成が可能となり、動きベクトル検出をより正確に実行することが可能とな る。従って、動画像データの符号ィ匕処理などを実行する画像処理装置などに本発明 を適用することにより、効率的な動きベクトル検出処理が可能となり、装置の小型化も 達成される。
[0054] さらに、本発明の構成によれば、代表点マッチング処理に基づく評価値テーブルの 生成において、代表点と代表点近傍の画素との動き類似性を判定し、動き類似性が ある場合には、相関判定結果の信頼性が高いと判断して、信頼度指数 を算出し、 信頼度指数 βに基づく評価値を積算した評価値テーブル生成処理を行なう構成で あるので、より精度の高い評価値テーブルの生成が可能となり、動きベクトル検出をよ り正確に実行することが可能となる。
[0055] 本発明の構成によれば、代表点と該代表点の近傍代表点との動き類似性を検出し 、動き類似性ありとの判定がなされたことを条件として、代表点と近傍代表点との画素 値差分を考慮した信頼度指数 i3を生成して、信頼度指数 i3に対応する評価値を積 算した評価値テーブルを生成する構成であり、
(a)近傍代表点の動きの一致数もしくは類似数
(b)動きが一致もしくは類似した代表点との空間勾配
(c)動きが一致もしくは類似した時の代表点間の距離
これらのパラメータを考慮した信頼度指数 を算出し、この信頼度指数 に基づく 評価値を積算した評価値テーブル生成処理を行なう構成であるので、より精度の高 い評価値テーブルの生成が可能となり、動きベクトル検出をより正確に実行すること が可能となる。
[0056] さらに、本発明の構成によれば、上述の信頼度指数 βに加えて、さらに、注目画素 と注目画素近傍領域画素の画素値差分データに対応するフラグデータに基づくフラ グ相関情報に基づいて、重み係数 Wを算出し、算出した重み係数 Wと、画像データ の複雑性を示す指標値としてのアクティビティ Aとに基づく算出値としての信頼度指 数 αを生成して、信頼度指数 αと信頼度指数 βを考慮した信頼度指数 Κ = α + β に対応する評価値を積算した評価値テーブルを生成する構成としたので、代表点と 代表点近傍の画素値の差分についても考慮した評価値に基づく評価値テーブルを 生成することが可能となり、より精度の高い評価値テーブルの生成が可能となり、動き ベクトル検出をより正確に実行することが可能となる。従って、動画像データの符号化 処理などを実行する画像処理装置などに本発明を適用することにより、効率的な動き ベクトル検出処理が可能となり、装置の小型化も達成される。
[0057] さらに、本発明の構成によれば、動画像データからの動きベクトル検出処理におい て、各画素対応の動きベクトルを複数の候補ベクトルから選択決定する処理にぉレ、 て、動きベクトルを対応付ける着目画素の近傍領域から特徴画素を抽出し、その特 徴画素の位置情報、または画素値情報に基づいて相関判定を実行し、動きベクトル の決定処理を行なう構成としたので、ブロックマッチング処理を適用する必要がなぐ 相関算出のための演算として差分絶対値総和演算などの評価値計算両を削減する ことができ、処理効率が向上し、また、画素値を保持するためのメモリも小さくすること が可能となりハードウェア規模の小型化が実現される。従って、動画像データの符号 化処理などを実行する画像処理装置などにおいて本発明を適用することにより、より 正確な動きベクトル検出処理が可能となる。
図面の簡単な説明
[0058] [図 1]ブロックマッチング法の概要を説明する図である。
[図 2]代表点マッチングを適用した動きベクトル検出処理の問題点について説明する 図である。
[図 3]動きベクトル検出処理において適用する代表点マッチング法の概要について 説明する図である。
[図 4]動きベクトル検出処理において適用する代表点マッチング法による評価値テー ブルの作成処理、評価値テーブルに基づく候補ベクトルの抽出処理、抽出した候補 ベクトルに基づく各画素に対応する動きベクトルの設定処理の概要について説明す る図である。 [図 5]動きベクトル検出処理における候補ベクトルからの動きベクトル決定処理の概要 について説明する図である。
園 6]動きベクトル検出処理を実行する本発明の動きベクトル検出装置の一実施例構 成を示す図である。
園 7]動きベクトル検出処理を実行する本発明の動きベクトル検出装置の処理シーケ ンスを説明するフローチャートである。
園 8]本発明の動きベクトル検出装置の評価値テーブル形成部の詳細構成を示す図 である。
園 9]評価値テーブル形成部におけるフラグデータ演算部の詳細構成について説明 する図である。
園 10]フラグデータ演算部の実行する処理の具体例について説明する図である。 園 11]重み算出処理部の実行する処理の具体例について説明するフロー図である。 園 12]本発明の動きベクトル検出装置の評価値テーブル形成部の詳細構成例 2を示 す図である。
園 13]本発明の動きべ外ル検出装置の評価値テーブル形成処理シーケンスを説明 するフローチャートを示す図である。
[図 14]代表点マッチング処理について説明する図である。
[図 15]本発明の近傍代表点の類似性判定を実行する処理について説明する図であ る。
園 16]本発明の動きベクトル検出装置の評価値テーブル形成部の詳細構成を示す 図である。
園 17]本発明の動きべ外ル検出装置の評価値テーブル形成部における動き類似性 検出部の処理について説明する図である。
園 18]本発明の動きベクトル検出装置の評価値テーブル形成部における重み算出 部の処理について説明する図である。
園 19]本発明の動きベクトル検出装置の評価値テーブル形成部における重み算出 部の処理について説明する図である。
園 20]本発明の動きベクトル検出装置の評価値テーブル形成部における重み算出 部において算出する信頼度指数 j3の具体例について説明する図である。
園 21]本発明の動きベクトル検出装置の評価値テーブル形成部における代表点静 止判定部の処理について説明する図である。
園 22]本発明の動きベクトル検出装置の評価値テーブル形成処理シーケンスを説明 するフローチャートを示す図である。
園 23]評価値テーブル生成処理対象となる動画像データの例を示す図である。 園 24]画素相関演算部から出力されるデータを、そのまま適用して積算し生成した評 価値テーブル例を示す図である。
園 25]本発明に係る評価値テーブル形成部の処理に従って生成した評価値テープ ル例を示す図である。
園 26]本発明に係る評価値テーブル形成部の処理に従って生成した評価値テープ ル例を示す図である。
[図 27]本発明の動きベクトル検出装置の動きベクトル決定部の詳細構成を示す図で ある。
園 28]動きベクトル決定部の仮判定部における処理について説明する図である。 園 29]本発明の動きベクトル決定部の付加情報演算部の詳細構成を示す図である。 園 30]付加情報演算部で検出する特徴画素について説明する図である。
園 31]付加情報演算部で検出する特徴画素検出処理態様について説明する図であ る。
園 32]本発明の動きベクトル検出装置の動きベクトル決定部において実行する処理 の詳細を説明する図である。
園 33]本発明の動きベクトル検出装置の動きベクトル決定処理のシーケンスを説明 するフローチャート図である。
[図 34]本発明の動きベクトル決定部の付加情報演算部の構成例を示す図である。
[図 35]本発明の動きベクトル検出装置の動きベクトル決定部の詳細構成（実施例 2) を示す図である。
園 36]本発明の動きベクトル決定部の付加情報演算部の構成例を示す図である。 園 37]付加情報演算部で検出する特徴画素について説明する図である。 [図 38]本発明の動きベクトル検出装置の動きベクトル決定部において実行する処理 の詳細を説明する図である。
[図 39]本発明の動きベクトル検出装置の動きベクトル決定処理のシーケンスを説明 するフローチャート図である。
[図 40]本発明の動きベクトル検出装置の動きベクトル決定部において実行する処理 の詳細を説明する図である。
[図 41]本発明の動きベクトル検出装置の動きベクトル決定処理のシーケンスを説明 するフローチャート図である。
[図 42]本発明の動きベクトル検出装置の動きベクトル決定処理のシーケンスを説明 するフローチャート図である。
発明を実施するための最良の形態
[0059] 以下、図面を参照しながら本発明の動きベクトル検出装置、および動きベクトル検 出方法、並びにコンピュータ 'プログラムの詳細について説明する。なお、説明は、以 下の項目順に行なう。
1.代表点マッチングによる評価値テーブルの生成、候補ベクトル方式の概要
2.動きベクトル検出装置全体構成および動きべクトノレ検出処理手順
3.近傍画素との差分に基づくフラグを適用した評価値テーブル生成処理の詳細
4.代表点および近傍代表点の相関情報を考慮した評価値テーブル生成処理の 詳細
5.評価値テーブルの具体例
6.特徴画素に基づく動きベクトル決定処理の詳細
[0060] [1.代表点マッチングによる評価値テーブルの生成、候補べクトノレ方式の概要] 以下、説明する動きべクトノレ検出処理においては、代表点マッチング法を適用する 。代表点マッチング法については、本特許出願人が先に出願し、特許取得済みであ る特許 2083999号公報に開示されている。すなわち、以下、説明する動きべクトノレ 検出処理は、前述の背景技術の欄で説明した候補ベクトル方式 (特開 2001-6115 2号公報に開示）を適用するとともに、代表点マッチング法を利用した処理例である。
[0061] なお、以下の説明においては、動画像データを構成する 1フレームを 1画面として、 各画面（フレーム）間の相互検証処理によってフレームにおける動きベクトル検出処 理を行う例について説明するが、本発明は、このような処理例に限らず、例えば、 1フ レームを細分化とした 1フィールドを 1画面として扱い、 1フィールド単位の動きべタト ル検出処理を行なう場合などにも適用可能である。
[0062] また、以下に説明する処理例は、主にテレビジョン信号に基づく動画像データに対 する処理例として説明するが、本発明は、テレビジョン信号以外の様々な動画像デ ータに対しても適用可能である。また、映像信号を処理対象とする場合においてもィ ンターレース信号およびノンインターレース信号の何れでもよレ、。
[0063] 図 3—図 5を参照して、本発明における動きベクトル検出処理において適用する代 表点マッチング法による評価値テーブルの作成処理、評価値テーブルに基づく候補 ベクトルの抽出処理、抽出した候補ベクトルに基づく各画素に対応する動きべクトノレ 設定処理の概要について説明する。
[0064] 動画像を構成する時間的に連続するフレーム画像、例えば図 3に示す時間（t)の 現フレーム [F ] 80と、時間（t-1)の前フレーム [F ] 70を抽出する。
t t-i
[0065] 例えば、現フレーム [F ] 80を参照フレームとし、前フレーム [F ] 70を、 m画素 X n t t-1
ラインの複数のブロックに分割し、各ブロックを代表する代表点 Ryを設定する。各ブ ロックの代表点は、例えば、
a.ブロックの中心位置の画素値、
b.ブロック内のすべての画素の画素値の平均値、
cブロック内のすべての画素の画素ィ直の中間値、
等の、ブロックを代表する画素値が対応付けられる。
[0066] 代表点マッチング法では、前フレーム [F ] 70に設定したブロックの代表点 Ry71
t-i
に対応させて、現フレーム [F ] 80に所定のサーチエリア 81を設定し、設定したサー
t
チェリア 81内に含まれる各画素の画素値と代表点 Ry71の画素値との比較を行なう 。サーチエリア 81は例えば、 p画素 X qラインの画素領域として設定される。
[0067] すなわち、上記 a cのいずれかの代表点画素値と、サーチエリア 81内の各画素の 画素値を比較検証して、評価値 (例えば、フレーム差や判定結果)を算出する。評価 値は、サーチエリア 81の各偏移毎 (各画素位置毎）に算出される。前フレーム [F ] 70に設定したブロックの代表点各々に対応して、現フレーム [F ] 80にサーチエリア
t
が設定され、代表点画素値と、対応するサーチエリア内の各画素の画素値を比較に 基づく評価値を取得し、 1画面内の全ての代表点について積算する。従って、サーチ エリアと同一の大きさの評価値テーブルが形成される。
[0068] なお、各代表点に対応するサーチエリアは、図 4 (A)に示すように隣接するサーチ エリアと一部が重なり合うように設定しても良レ、。図 4 (A)に示す例では、サーチエリア を p X q (画素またはライン）の領域に設定した例であり、例えば、前フレーム [F ] 70 t-i に設定したブロックの代表点 71aに対応するサーチエリア 81aと、前フレーム [F ] 7 t-i
0に設定したブロックの代表点 71bに対応するサーチエリア 81bとが重なりを持つ領 域として設定される。
[0069] このように、サーチエリアは、各代表点に対応付けられて設定され、各代表点と、そ の代表点に対応して設定されたサーチエリア内の画素との比較が実行されて、比較 値に基づいて、例えば相関の度合いが高いほど（画素値の一致度合いが高いほど） 高い評価値が設定され、各サーチエリアの構成画素に対応する評価値が設定される
[0070] 各サーチエリアにおける評価値は、図 4 (B)に示すように積算され、その結果として 、図 4 (C)に示すような評価値テーブル 90が生成される。評価値テーブルは、前フレ ーム [F ] 70に設定した例えば n個のブロックに設定された各ブロックの代表点 Ryl t-i
一 nと、参照フレームである現フレーム [F ] 80に設定した各代表点 Ryl— nに対応す
t
るサーチエリア内の各画素との比較に基づく評価値、例えば差分絶対値の積算値と して算出され、サーチエリアと同一の大きさの評価値テーブルとして形成される。
[0071] 評価値テーブル 90においては、サーチエリアの各偏移位置 (i, j)における画素値 と代表点との相関が高い場合に、ピーク（極値）が発生する。評価値テーブルに出現 するピークは、動画像データの画面の表示物体の移動に対応する。
[0072] 例えば、画面（フレーム）全体が同一の動きをした場合は、サーチエリア（p X q)と同 一の大きさの評価値テーブルにおいて、その動き方向、距離を持つベクトルの終点 に対応する位置に 1つのピークが出現する。また、画面（フレーム）内に 2つの異なる 動きをした物体があった場合は、サーチエリア (p X q)と同一の大きさの評価値テー ブルにおいて、その異なる動き方向、距離を持つ 2つのベクトルの終点に対応する 2 つの位置に 2つのピークが出現する。なお、静止部分がある場合は、静止部分に対 応するピークも出現する。
[0073] このような評価値テーブルに出現するピークに基づいて、前フレーム [F ] 70と、 参照フレームである現フレーム [F ] 80とにおける動きベクトルの候補 (候補ベクトル) を求める。
[0074] 評価値テーブルに出現したピークに基づいて、複数の候補ベクトルを抽出した後、 フレームの各画素について、抽出した候補ベクトルから最も適応する候補ベクトルを それぞれ選択して、各画素に対応する動きベクトルとして設定する。
[0075] 抽出候補ベクトルに基づいて実行する各画素に対応する動きベクトルの設定処理 について図 5を参照して説明する。
[0076] 図 5 (a)において、中央の画素 91が前フレーム [F ]の 1つの画素を示している。こ の画素は例えば輝度値（Ct )を有している。また、前述の評価値テーブルに出現した ピークに基づいて、複数の候補ベクトルが抽出済みであり、これらの候補ベクトルを 図に示す候補ベクトル A, B, Cであるとする。前フレーム [F ]の 1つの画素 91は、 これらの候補ベクトルのいずれかに従って移動して、現フレーム [F ]の画素に対応 する位置に表示されると判定される。
[0077] 図5 (&)にぉぃて、画素&95、画素 96、画素097は、前フレーム^ ]の 1つの画 素 91から候補ベクトル A, B, Cに基づいて移動先として推定される各画素位置の現 フレーム [F ]の画素を示している。これらの 3画素を含むブロックの画素値と、画素 9
1を含むブロックの画素値との相関がブロックマッチング処理によって判定され、最も 高い対応にある組が選択され、その選択した組に設定された候補ベクトルを画素 91 の動きベクトルとする。
[0078] ブロックマッチング処理を適用する理由は、 1つの画素のみの対応を検查すると以 下の問題点が発生するからである。
(1)着目するフレームのある画素と参照フレーム内で n個の候補ベクトルに関して、 動きべクトノレ先の画素との相関性が同じ、もしくは似ている画素が複数存在し、どの 動きべタトノレが正しい動きベクトル力 相関性の高さを表す画素差分絶対値（以後 M c残差と呼ぶ）だけでは判断することが困難である。
(2)正しい動きベクトルであれば、その動きベクトル先の画素との MC残差が最も小 さいと考えられるが、実際には画像データにはノイズなどの影響により、正しい動きべ タトル先の画素との MC残差が候補べタトノレの中で最小とは限らない。
[0079] これらの問題点があるために、 1画素だけの MC残差だけでは判断できないので、 ブロックサイズの複数の画素を用いて、着目する画素を中心としたブロック内の画素 と候補ベクトル先のブロック内の画素の相関を検查する。
[0080] 具体的なブロックマッチング処理について、図 5 (b)を参照して説明する。図 5 (b)に 示す様に、候補ベクトルによって指示されるブロックに含まれる複数画素の相関の指 標値として、差分絶対値総和（SAD)を下式に従って算出する。
[数 3]
( ） = + vx, y + vy) - Ft_,(x, y)
Figure imgf000024_0001
[0081] ここで F (x、 y)は着目するフレームの輝度レベル、 F (x+v、 y+v )は参照先の
-1
フレームにおける動きベクトル先の輝度レベル、 M X Nは評価に用いるブロックサイ ズである。
[0082] 上記式によって算出される差分絶対値総和（SAD)が最小となる候補ベクトル (V ,
V )を着目画素の動きベクトルとする方法などが適用される。しかし、ブロックマツチン グの様なブロックを用いた動きベクトル割り当では、動きベクトルの割り当て性能を向 上させるためにブロックサイズを大きくする必要がある力 差分絶対値総和の様な評 価値を計算するには計算量が多くなり、そのためにハードウェア規模が大きくなるとい う問題点を生じさせる。
[0083] これらの問題を解決した代表点マッチングによる動きベクトル検出処理構成につい ては、後段の、 [6.特徴画素に基づく動きベクトル決定処理の詳細]の項目において 詳細に説明する。
[0084] なお、上述したように、代表点マッチングは、各ブロックを代表する代表点を設定し 、設定した代表点のみについての評価値算出を行なって候補ベクトルを設定するこ とが可能であり、限られた数の代表点のみの評価値算出を行なうことで、評価値算出 に要する演算量を減少させることができ、高速処理が可能となる。
[0085] [2.動きベクトル検出装置全体構成および動きベクトル検出処理手順]
動きベクトル検出処理を実行する本発明の動きベクトル検出装置の一実施例構成 を図 6に示し、動きベクトル検出処理の処理シーケンスを図 7のフローチャートに示す
[0086] 動きベクトル検出装置は、図 6に示すように、評価値テーブル形成部 101、候補べ タトル抽出部 102、動きベクトル決定部 103、制御部（コントローラ） 104を有する。評 価値テーブル形成部 101は、動きベクトル検出処理対象となる画像データを入力端 子を介して入力し、評価値テーブルを生成する。入力画像は、例えば、ラスタスキヤ ンにより得られる画像データである。画像データは、例えば、ディジタルカラー映像信 号のコンポーネント信号中の輝度信号を含む。
[0087] 入力画像データは、評価値テーブル形成部 101に供給され、前述した代表点マツ チング法をベースとして、サーチエリアと同一の大きさの評価値テーブルを形成する 。図 7のフローにおけるステップ S101の処理である。
[0088] 候補ベクトル抽出部 102は、評価値テーブル形成部 101におレ、て生成した評価値 テーブルから、 1画面内の候補べクトノレとして、複数の動きべクトノレを抽出する。すな わち、前述したように、評価値テーブルに出現したピークに基づいて、複数の候補べ タトルを抽出する。図 7のフローにおけるステップ S102の処理である。
[0089] 動きベクトル決定部 103では、候補ベクトル抽出部 102において抽出した複数の候 補ベクトルを対象として、全フレームの各画素毎に、候補ベクトルによって対応付けら れるフレーム間の画素間の相関をブロックマッチング等により判定し、最も相関の高 い対応となったブロックを結ぶ候補べクトノレを、その画素に対応する動きベクトルとし て設定する。図 7のフローにおけるステップ S103の処理である。この処理は、先に図 5を参照して説明した処理である。 [0090] 動きベクトル決定部 103では、 1つの画面（フレーム）に含まれるすべての画素につ いて、候補ベクトルから最適なベクトルの選択処理を行い、各画素に対応する動きべ タトルを決定し、決定した動きベクトルを出力する。具体的な一例として、ある着目画 素に対して、例えば 3ライン X 3画素の合計 9画素で構成される矩形ブロックを用いて 、ブロックマッチング処理により最も相関の高い対応となったブロックを結ぶ候補べク トルを、その着目画素の動きベクトルとして決定する。
[0091] 制御部 104は、評価値テーブル形成部 101、候補べクトノレ抽出部 102、動きべタト ル決定部 103における処理タイミングの制御、中間データのメモリに対する格納、出 力処理制御などを行なう。
[0092] 以上が、代表点マッチングをベースとした動きベクトル検出装置において実行する 評価値テーブル生成と、候補ベクトル方式を適用した動きベクトル検出処理の概要 である。
[0093] [3.近傍画素との差分に基づくフラグを適用した評価値テーブル生成処理の詳 細]
次に、本発明の動きベクトル検出装置における評価値テーブル形成部の処理の詳 細、すなわち、近傍画素との差分に基づくフラグを適用した評価値テーブル生成処 理の詳細について説明する。評価値テーブル形成部の詳細構成を図 8に示す。
[0094] 図 8に示すように、本発明の動きベクトル検出装置における評価値テーブル形成部 200は、画素相関演算部 210、フラグデータ演算部 220、フラグ相関演算部 230、比 較部 241 , 242、重み算出処理部 250、演算部 260、評価値テーブル算出部 270を 有する。
[0095] 画素相関演算部 210は、代表点メモリ 211、画素値の差分データを算出する差分 算出部 212、差分データの絶対値を算出する絶対値算出部 213を有する。フラグ相 関演算部 230は、フラグデータ演算部 220の算出したフラグデータを格納するフラグ データ格納メモリ 231、フラグデータの差分データを算出する差分算出部 232、差分 データの絶対値を算出する絶対値算出部 223を有する。
[0096] 重み算出処理部 250は、アクティビティ算出部 251、重み算出部 252、変換テープ ノレ（LUT) 253、デコーダ 254を有する。評価値テーブル算出部 270は、演算部 260 力 出力する例えば 8ビットデータからなる評価値を評価値積算部 271において積算 し、評価値テーブルを生成して評価値テーブルメモリ 272に格納する。
[0097] はじめに、画素相関演算部 210の処理について説明をする。画素相関演算部 210 は、代表点マッチング処理を実行する。
[0098] 入力端子を介して画像データが、例えばフレーム単位で、画素相関演算部 210に 入力される。画素相関演算部 210に入力された画像データは、差分算出部 212及び 代表点メモリ 211に供給される。
[0099] 代表点メモリ 211に記憶される画像データは、例えばフレーム単位で入力される画 像データから生成される予め決められた代表点データである。例えば、先に図 3、図
4を参照して説明した画面を分割して設定されたブロック、例えば m X n画素のブロッ クにおいて代表点が 1つ設定される。なお、代表点は、
a.ブロックの中心位置の画素値、
b.ブロック内のすべての画素の画素値の平均値、
cブロック内のすべての画素の画素ィ直の中間値、
等の、ブロックを代表する画素値データが対応付けられる。
[0100] 具体的には、例えば、入力フレーム画像から、空間的に均等に間引かれた画素位 置の画像データ（画素値データ） 、制御部（コントローラ） 104 (図 6参照）からの信 号によるタイミング制御によって選択されて、代表点データとして代表点メモリ 21 1に 記憶される。
[0101] 代表点メモリ 211から読み出された前フレームの代表点データと、現フレームの画 像データが、差分算出部 212に供給される。
[0102] 差分算出部 211は、前フレームの代表点の画素値と、現フレームの画像データに 設定される各代表点に対応するサーチエリア内の画素との画素値差分、例えばフレ ーム差 (相関演算結果)を算出し、絶対値算出部 213に出力する。
[0103] 絶対値算出部 213では、差分算出部 211から入力する前フレームの代表点データ と、現フレームの画像データに基づくフレーム差 (相関演算結果）を入力し、フレーム 差絶対値を算出する。
[0104] フレーム差絶対値は、比較部 241に入力され、予め定めた閾値 1 (TH1)と比較さ れ、フレーム差絶対値が閾値 1 (THl)より小さい場合は、相関ありと判定し、相関あり を示すビットデータ（例えば [1] )が比較部 241から出力され、フレーム差絶対値が閾 値 1 (TH1)以上である場合は、相関なしと判定し、相関なしを示すビットデータ（例え ば [0] )が比較部 241から出力される。
[0105] 従来は、この比較部 241からの出力値をそのまま、積算ポイントとして評価値テープ ルが生成されていた。すなわち、 1画面内の全ての代表点に対する相関演算結果を 積算することで、評価値テーブルが生成され、生成した評価値テーブルに出現する ピーク（極値）によって、候補ベクトルの抽出が実行されていた。
[0106] しかし、先に図 2を参照して説明したように、代表点のみの相関判定による評価値テ 一ブル生成を行なうと誤検出された積算ポイントによって正確なベクトルに対応する ピークを持つ評価値テーブルが生成されない場合がある。
[0107] そこで、本発明では、代表点近傍の画素レベル、すなわち代表点近傍の空間波形 を考慮した評価値テーブルの生成を行なう。比較部 241の代表点の相関情報のみ 力 なる相関有無を示す 1ビットデータは、演算部 260において、重み算出部 250か らの出力に基づいて例えば 8ビットデータに変換され、 8ビットデータが、評価値積算 部 271に出力されて、 8ビットデータに基づく評価値テーブルが生成される。
[0108] 以下、フラグデータ演算部 220、フラグ相関演算部 230、重み算出部 250の処理の 詳細について説明する。
[0109] (a)フラグデータ演算部
フラグデータ演算部 220は、画像データを入力し、入力される画素全てに対して、 隣接する画素データの関係をフラグデータに変換する処理を実行する。
[0110] フラグデータ演算部 220の詳細構成を図 9に示す。フラグデータ演算部 220の処理 について、図 10の隣接画素差分値をフラグに変換する例を参照して説明する。
[0111] 入力信号としての画素信号ラスタ順に入力され、図 9に示すレジスタ 221と差分算 出部 226に供給される。差分算出部 226は、レジスタ 221からの出力画素レベルと、 後続する入力画素の画素レベルの差分値を算出する。
[0112] レジスタ 221からの出力は、レジスタ 222に格納されるとともに、差分算出部 223に 供給され、レジスタ 222からの先行画素の画素レベルと、レジスタ 221に格納された 後続する画素の画素レベルの差分値が、差分算出部 223において算出される。
[0113] すなわち、図 10 (a)の例では、着目画素（X, y) 300に対して、前後の隣接画素（x
+ 1 , y) 302と画素（X— 1, y) 303の画素レベルとの差分値が算出されることになる。
[0114] これらの差分データは、例えば画素レベルが 0 255の 8ビットデータである場合、
8ビットの差分データとして各差分算出部 223， 226から出力される。
[0115] 各差分算出部 223, 226から出力された 8ビットの差分データは、量子化器 224， 2
27に入力され、変換テーブル 225に基づいて、 4ビットのフラグデータに変換されて
、フラグデータ格納メモリ 231に出力される。
[0116] 変換テーブル 225は、図 10 (b)に示すテーブルによって構成される。各量子化器 2
24, 227は、各差分算出部 223, 226から入力する差分データ dの値に基づいて、 変換テーブル 225を参照して所定のフラグデータに変換する。例えば
_255 < d≤_32→フラグ =0
_32< d≤_16→フラグ = 1
16く d≤32→フラグ = 14
32く d≤255→7ラグ = 15
であり、各量子化器 224, 227は、各差分算出部 223, 226から入力する 8ビット差 分データ d (0— 255)の値に基づいて 4ビットのフラグデータ（0— 15)を生成してフラ グデータ格納メモリ 231に出力する。
[0117] 画像データの一般的な性質として、隣接する画素データとの相関が高ぐ隣接画素 との差分値の上限を決めて少ないビット数で表現しても、元の画素データに復元した 時の画像全体における量子化誤差は小さいと考えられる。従って本実施例の構成で は、着目画素データと隣接画素データの各 3画素を表現するためのビット数は、 8bit X 3 = 24bitとなるが、差分情報を 4bitフラグデータに縮減する。
[0118] フラグデータに基づく相関判定を実行するフラグ相関演算部 230では、 4ビットに縮 減されたデータに基づく相関判定を行なうことが可能となり、演算処理の高速化、ハ 一ドウエア規模の削減が実現される。
[0119] なお、画素の差分データからフラグデータへの変換処理は、図 10 (b)に示す変換 テーブルを適用した処理に限らず、例えば隣接する画素データの差分テータ 8bitを 4bitに縮退する構成や、画素値データ 8bitの上位 4bitをフラグ情報とする方法を適 用してもよい。
[0120] 上述した隣接画素差分をフラグに変換する方式は、入力画素がラスタ順に入力さ れるので余分なラインメモリなども必要とせず小さな演算回路で、効率よく空間波形を 記述できる手法の一例である。また差分データをフラグに変換するので 3画素で構成 される大まかな波形情報が失われないなどの利点がある。
[0121] (b)フラグ相関演算部
次に、フラグデータ演算部 220から上述した説明に従って生成するフラグデータを 入力するフラグ相関演算部 230の処理について説明する。
[0122] フラグ相関演算部 230は、フラグデータ演算部 220から入力するフラグデータをフ ラグデータ格納メモリ 231に格納する。フラグデータ格納メモリ 231から読み出された 前フレームのフラグデータと、現フレームのフラグデータが、差分算出部 232に供給 される。
[0123] 差分算出部 232は、前フレームのフラグデータと、現フレームのフラグデータとのフ ラグ差分を算出し、絶対値算出部 233に出力する。
[0124] 絶対値算出部 233では、差分算出部 232から入力する前フレームのフラグデータと
、現フレームのフラグデータに基づくフレーム差 (フラグ相関演算結果）を入力し、フ レーム差絶対値を算出し、比較部 242に出力する。
[0125] 比較部 242では、フラグ相関演算部 230から入力するフラグデータ差分値絶対値と
、予め定めた閾値 2 (TH2)との比較を実行し、フラグデータ差分値絶対値が予め定 めた閾値 2 (TH2)より小さい場合は相関あり、フラグデータ差分値絶対値が予め定 めた閾値 2 (TH2)以上である場合は相関なしのビットデータを重み算出部 252に出 力する。
[0126] (c)重み算出処理部
次に重み算出処理部 250の処理について説明する。重み算出処理部 250は、フラ グ相関演算部 230の算出したフラクデータ差分値をデコーダ 254に入力して、画像 データのアクティビティを算出する。 [0127] アクティビティとは画像データが複雑であるほど値が大きくなる指数である。すなわ ち輝度レベルなどの画素値レベルが狭い範囲で大きく変化するエッジ領域などでは 、アクティビティが高ぐ空など、平坦な画素値からなる画像データの場合はァクティ ビティが低い。代表点の近傍領域のアクティビティが大きい時、その代表点が動いた かどうか判断しやすぐ人の視覚特性に大きく影響を与える。アクティビティの大きな 物体面積が小さい時、従来方式では評価値テーブル内のピークが面積に依存する ため、ピークの大きさが小さくなるので、候補ベクトル抽出が困難になる。その結果、 アクティビティの大きな物体の動きべタトノレが含まれてレ、なレ、候補ベクトルでは、動き ベクトル決定の時に確らしい動きベクトル決定が困難になる。また、画像の特性上、 アクティビティの大きな画素データ動くとき、画像データのサンプリング以下の動き量 の場合は大きなレベル変化生じる。このような特性があるにも関わらず、画素レベル データによる相関性が高いと判断されるとき、その検出した候補動きべ外ルの信頼 性は高いと判断できる。
[0128] アクティビティの算出処理の詳細について、図 11を参照して説明する。図 11 (a)は 、重み算出処理部 250が保持する変換テーブル 253である。これは、先に図 10 (B9 を参照して説明した変換テーブルの逆変換処理を行うテーブルであり、フラグデータ から、画素値差分を求めるものである。隣接画素との画素値差分が大である場合は、 アクティビティが高いと判断される。
[0129] 図 11に示す例では、左画素のフラグデータ情報として [3]、右画素のフラグデータ 情報として [9]が入力された例を示している。この場合、デコーダ 254は、図 11 (a)に 示す変換テーブル 253から、対応する代表値差分を取得してアクティビティ算出部 2 51に出力する。
[0130] 左画素のフラグデータ情報 [3]に対応する代表値差分は [一 10]
右画素のフラグデータ情報 [9]に対応する代表値差分は [2]
であり、この場合のアクティビティ Aは、
A= I -10 I + I 2 I
= 12となる。
[0131] 上記計算が実行される場合の具体的な画素値の設定例を図 11 (b)に示してある。 着目画素の画素値 = 128、
右隣接画素の画素値 = 130、
左隣接画素の画素値 = 118、
この設定において、上記計算によって算出されるアクティビティは、
A= I 130-128 I + I 118-128 |
= 12
であり、この 3画素間の画素値最大値（MAX) = 130、画素値最小値（MIN) = 11 8の差分であるダイナミックレンジ (DR)に等しレ、値となる。
[0132] すなわち、フラグデータから算出されるアクティビティ (A)はダイナミックレンジ (DR) に相当する値となる。
[0133] なお、上述した例では、重み算出処理部 250において、フラグ相関演算部 230から フラグデータを入力して、変換テーブル（図 11参照）に基づいて変換した画素値差 分データに基づくアクティビティ算出を行なう処理例を説明した力 例えば、図 12に 示すように、画素相関演算 210からの出力であるフレーム差分絶対値データを、ァク テイビティ算出部 251が入力し、フレーム差分絶対値データに基づいてァクティビテ ィ Aを算出する構成としてもよい。
[0134] フラグデータ、または、フレーム差分絶対値データに基づいてアクティビティ算出部
251において算出されたアクティビティ Aの値は、重み算出部 252に出力される。重 み算出部 252では、比較部 241、 242から入力する閾値 (TH1 , TH2)との比較結 果である相関の有無判定データに基づいて重み Wを算出し、アクティビティ Aの値と 算出した重み Wに基づいて信頼度指数ひを算出する。
[0135] 比較部 241では代表点の画素データと、異なるフレームに設定したサーチエリア内 の相関に基づいて、画素相関演算部の算出した画素相関演算結果と閾値 (TH1)と の比較が実行され、比較部 242ではフラグデータ間の相関に基づいて、フラグ相関 演算部の算出したフラグ相関演算結果と閾値 (TH2)との比較が実行され、その比較 結果を出力する。
[0136] 相関判定の一例として、代表点の画素データと代表点のフラグデータをそれぞれ X 、X 、X 、入力画素データと入力画素のフラグデータをそれぞれ Υ、 Υ 、Υ とする と、
比較部 241では、
I X-Y I <ΤΗ1 … （式 1)
が成立するか否かが判定され、
比較部 242では
I XfO-YfO I <ΤΗ2 · · · (式 2)
I Xfl-Yfl I <TH2 · · · (式 3)
が成立するか否かが判定され、これらの判定結果を重み算出部 252に入力する。
[0137] なお、ここでは閾値 TH1、 TH2は固定としたが、その他の例としては画像データか らこの閾値を算出して可変にしても良い。
[0138] 重み算出部 252では、上記 3式（式 1一 3)の判定結果に基づき、相関性の高さを重 みとして算出する。例えば、式 1、 2、 3の全て満足する時、相関性は高いと判断でき る。一方、式 1は条件を満たすが、式 2と式 3の条件が満たされない時、相関性は低 レ、と判断できる。従って、相関判定の度合いにより検出した候補動きベクトルの信頼 性を判断する事ができる。
[0139] また、式 1から算出できる残差により、画素レベルの相関判定の度合いを計算する ことも出来る。例えば、式 1の条件を満たした時、相関性の度合いを表す指数として の重み係数を Wとすると、
W= (TH1- I X-Y I ) · · · (式 4)
と示すことができる。ただし、式 2と式 3が満たされない場合は W=0とする。従って 重み係数 Wの値が大きい程、検出した候補動きベクトルの信頼度は大きいと判断さ れる。さらに、式 2、 3の相関の度合いを重み係数 Wに反映する構成としてもよい。す なわち、
W = (TH1- I X-Y I ) + (TH2- I X -Y | ) + (TH2- | X -Y | ) · · · ( all fO fO fl fl 式 5)
ただし、式 2と式 3が満たされない場合は W =0とする。
all
[0140] 重み算出部 252は、上述したいずれかの方法で算出した重み係数 Wと、前述した アクティビティ Aとに基づいて信頼度指数ひを算出する。信頼度指数ひは下記の演 算子器によって算出される。
a =A X W · · · (式 6)
[0141] 重み算出部 252は、上記式 (式 6)によって重み係数 Wとアクティビティ Aとに基づ レ、て算出した信頼度指数ひを演算部 260に出力し、比較部 241から出力される代表 点の画素に基づく相関有無の結果ビットに対する乗算を実行する。結果として、比較 部 241から出力される代表点の画素に基づく相関有無の結果ビットが相関ありを示 すビット [ 1]である場合に、信頼度指数 [ひ ]の値が評価値テーブル算出部 270に出 力される。
[0142] 例えば、代表点データとの相関性を判断する閾値を TH1 = 5、着目画素と隣接す る左右 2画素とのアクティビティの上限を 6bitとすれば上記信頼度の範囲は 0≤ a≤ 252となり、従来の lbitに比べて約 8bitの重みを評価値テーブルに加算する事が出 来るので、信頼性の高レ、評価値テーブルの形成が可能となる。
[0143] なお、上述した実施例では、アクティビティとして着目画素に対して隣接する水平 2 画素との差分絶対値の総和を用いて説明した力 その他の例としてダイナミックレン ジなどを用いてもよい。
[0144] 評価値テーブル算出部 270は、入力する信頼度指数に対応する評価値を評価値 積算部 271において積算し評価値テーブルを生成して、評価値テーブルメモリ 272 に格納する。
[0145] 評価値積算部 271は、演算部 260から入力する信頼度指数に対応する評価値を 積算する処理を行なう。この結果として、信頼度指数に基づく評価値テーブルが生成 される。
[0146] 以上説明した本発明の動きベクトル検出装置における評価値テーブル生成処理の シーケンスについて図 13のフローを参照して説明する。
[0147] ステップ S201において、前フレーム画像データに代表点を配置 (決定)する。各ブ ロックの代表点は、前述したように、例えば、
a.ブロックの中心位置の画素値、
b.ブロック内のすべての画素の画素値の平均ィ直、
cブロック内のすべての画素の画素値の中間値、 等の、ブロックを代表する画素値が対応付けられる。
[0148] ステップ S202では、現フレームデータを入力する。例えばラスタ順に入力される。
ステップ S203では、フラグデータ演算部 220 (図 8参照）において、入力画素と左右 隣接画素との差分をフラグに変換する処理を実行する。
[0149] これは、図 9、図 10を参照して説明したように、例えば 8ビットの画素値差分データ を 4ビット（0 15)のフラグデータに変換する処理である。
[0150] ステップ S204では、代表点データと入力画素データとの相関判定処理が実行され る。この処理は、図 8に示す画素相関演算部 210の処理および比較部 241の処理で ある。代表点メモリ 211から読み出された前フレームの代表点データと、現フレームの 画像データが、差分算出部 212に供給され、前フレームの代表点の画素値と、現フ レームの画像データに設定される各代表点に対応するサーチエリア内の画素との画 素値差分、例えばフレーム差湘関演算結果)を算出し、絶対値算出部 213に出力 し、フレーム差絶対値が算出される。フレーム差絶対値は、比較部 241に入力され、 予め定めた閾値 1 (TH1)と比較され、フレーム差絶対値が閾値 1 (TH1)より小さレヽ 場合は、相関ありと判定し、相関ありを示すビットデータ（例えば [1] )が比較部 241か ら出力され、フレーム差絶対値が閾値 1 (TH1)以上である場合は、相関なしと判定し 、相関なしを示すビットデータ（例えば [0] )が比較部 241から出力される。
[0151] ステップ S205では、代表点フラグデータと、入力画素フラグデータとの相関判定処 理を実行する。この処理は、図 8に示すフラグ相関演算部 230と比較部 242において 実行される。
[0152] フラグ相関演算部 230は、フラグデータ演算部 220から入力するフラグデータをフ ラグデータ格納メモリ 231に格納する。フラグデータ格納メモリ 231から読み出された 前フレームのフラグデータと、現フレームのフラグデータが、差分算出部 232に供給 される。
[0153] 差分算出部 232は、前フレームのフラグデータと、現フレームのフラグデータとのフ ラグ差分を算出し、絶対値算出部 233に出力する。
[0154] 絶対値算出部 233では、差分算出部 232から入力する前フレームのフラグデータと
、現フレームのフラグデータに基づくフレーム差 (フラグ相関演算結果）を入力し、フ レーム差絶対値を算出し、比較部 242に出力する。
[0155] 比較部 242では、フラグ相関演算部 230から入力するフラグデータ差分値絶対値と 、予め定めた閾値 2 (TH2)との比較を実行し、フラグデータ差分値絶対値が予め定 めた閾値 2 (TH2)より小さい場合は相関あり、フラグデータ差分値絶対値が予め定 めた閾値 2 (TH2)以上である場合は相関なしのビットデータを重み算出部 252に出 力する。
[0156] ステップ S206では、信頼度指数ひを算出する。この信頼度指数ひの算出処理は、 重み算出部 250において実行される。
[0157] 前述したように、フラグデータ、または、フレーム差分絶対値データに基づいてァク テイビティ算出部 251においてアクティビティ Aを算出し、比較部 241 , 242からの出 力に基づいて重み係数 Wが算出され、アクティビティ Aと重み係数 Wとに基づいて、 ひ =A X W
として信頼度指数 αが算出される。
[0158] ステップ S207では、信頼度指数 αを評価値テーブルの積算ポイントとして出力す る。ステップ S208では、全代表点と、サーチエリア内の画素との相関判定処理が終 了したか否かを判定し、終了していない場合は、ステップ S202以下の処理を未処理 画素について実行し、すべての画素の処理が終了すると処理を終了する。
[0159] [4.代表点および近傍代表点の相関情報を考慮した評価値テーブル生成処理 の詳細]
次に、代表点および近傍代表点の相関情報を考慮した評価値テーブル生成処理 の詳細について説明する。
[0160] まず、図 14、図 15を参照して、本実施例の評価値テーブル生成処理の概要につ いて説明する。従来の代表点マッチングによる相関検出処理においては、図 14に示 すように例えば前フレーム 320から選択した 1つの代表点 321について、現フレーム (入力フレーム） 322に設定したサーチエリア 323内の構成画素を対象として順次画 素値の比較を実行し、相関を算出して相関の有無に基づく評価値を取得して、これ を評価値テーブルの積算ポイントとしてレ、た。
[0161] 例えば、図 14に示す例で、サーチエリア 323内において、代表点 321に対する相 関の高い画素 324が検出された場合、ベクトル V (Vx, Vy)に対応するポイントが評 価値テーブルに対する評価値として積算される。
[0162] 代表点 321の画素値を X (x, y)とし、画素 324の画素値を Y (x ; Vx, y + vy)とした とき、
I X (x， y) -Y (x, +Vx, y+vy) I く THを満足する場合に、相関ありと判定して 評価値が加算される。
[0163] 本実施例における評価値算出は、図 15に示すように、例えば前フレーム 340から 選択した 1つの代表点 341について、現フレーム（入力フレーム） 350に設定したサ 一チェリア 355内の画素について、順次画素値の比較を実行して、その相関を算出 し、相関の有無に基づいてベクトルの検出を実行するのみならず、代表点 341に隣 接する代表点 342に対するサーチエリア 355内の画素についても画素値比較を実 行して、その相関を算出し、相関の有無に基づいて同様にベクトルの検出を実行し、 これら複数の代表点に基づく相関検出によって検出された動きべ外ルが類似する 場合に、重みを増した評価値を設定する。
[0164] すなわち、前フレーム 340の 1つの代表点 341の相関判定に基づく評価値の算出 に際して、代表点 341の近傍にある異なる代表点 342についての相関判定を行ない 、図 15に示すように、これら 2つの代表点 341 , 342について、同じベクトル V (vx, v y)に対応する位置に相関の高い画素 351 , 352が検出された場合、代表点 341と相 関の高い画素 351とによって決定される動きベクトル V (vx, vy) 360は信頼性が高 レ、と判定し、信頼度加算処理を行なって重みをつけた評価値を出力する。
[0165] このように、本実施例における評価値テーブル形成部は、ある代表点について相 関判定を 1実行して評価値を決定する際、その代表点の相関情報に基づく動きべ外 ルと、近傍の代表点についての相関情報に基づく動きベクトルとの類似性を判定し、 類似する動きベクトルがある場合は、信頼度加算により大きい値の評価値を設定し、 類似する動きベクトルがない場合は、小さい値の評価値を設定して、評価値テープ ルを生成する。
[0166] 図 16に本実施例の評価値テーブル形成部 400の構成を示す。図 16に示すように 、本実施例の動きベクトル検出装置における評価値テーブル形成部 400は、画素相 関演算部 410、動き類似性検出部 420、比較部 430、重み算出部 441、演算部 442 、代表点静止判定検出部 450、評価値テーブル算出部 270を有する。
[0167] 画素相関演算部 410は、代表点メモリ 411、画素値の差分データを算出する差分 算出部 412、差分データの絶対値を算出する絶対値算出部 413を有する。動き類似 性検出部 420は、レジスタ (ラインメモリ） 422と差分算出部 423からなる画素差分演 算部 421、演算部 424、絶対値算出部 425、相関判定部 426を有する。
[0168] 代表点静止判定検出部 450は、基準値メモリ 451、比較部 452、フラグメモリ 453を 有する。評価値テーブル算出部 470は、演算部 442から出力する例えば 8ビットデー タからなる評価値を評価値積算部 471におレ、て積算し、評価値テーブルを生成して 評価値テーブルメモリ 472に格納する。
[0169] はじめに、画素相関演算部 410の処理について説明をする。画素相関演算部 410 は、代表点マッチング処理を実行する。
[0170] 入力端子を介して画像データが、例えばフレーム単位で、画素相関演算部 410に 入力される。画素相関演算部 410に入力された画像データは、差分算出部 412及び 代表点メモリ 411に供給される。
[0171] 代表点メモリ 411に記憶される画像データは、例えばフレーム単位で入力される画 像データから生成される予め決められた代表点データである。例えば、先に図 3、図 4を参照して説明した画面を分割して設定されたブロック、例えば m X n画素のブロッ クにおいて代表点が 1つ設定される。なお、代表点は、
a.ブロックの中心位置の画素値、
b.ブロック内のすべての画素の画素値の平均値、
cブロック内のすべての画素の画素値の中間値、
等の、ブロックを代表する画素値データが対応付けられる。
[0172] 具体的には、例えば、入力フレーム画像から、空間的に均等に間引かれた画素位 置の画像データ（画素値データ）が、制御部（コントローラ） 104 (図 6参照）からの信 号によるタイミング制御によって選択されて、代表点データとして代表点メモリ 41 1に 記憶される。
[0173] 代表点メモリ 411から読み出された前フレームの代表点データと、現フレームの画 像データが、差分算出部 412に供給される。
[0174] 差分算出部 411は、前フレームの代表点の画素値と、現フレームの画像データに 設定される各代表点に対応するサーチエリア内の画素との画素値差分、例えばフレ ーム差 (相関演算結果)を算出し、絶対値算出部 413に出力する。
[0175] 絶対値算出部 413では、差分算出部 411から入力する前フレームの代表点データ と、現フレームの画像データに基づくフレーム差 (相関演算結果）を入力し、フレーム 差絶対値を算出する。
[0176] フレーム差絶対値は、比較部 430に入力され、予め定めた閾値 (TH)と比較され、 フレーム差絶対値が閾値 (TH)より小さい場合は、相関ありと判定し、相関ありを示す ビットデータ（例えば [1] )が比較部 430から出力され、フレーム差絶対値が閾値 (T H)以上である場合は、相関なしと判定し、相関なしを示すビットデータ (例えば [0] ) が比較部 430から出力される。
[0177] 従来は、この比較部 430からの出力値をそのまま、積算ポイントとして評価値テープ ルが生成されていた。すなわち、 1画面内の全ての代表点に対する相関演算結果を 積算することで、評価値テーブルが生成され、生成した評価値テーブルに出現する ピーク (極値）によって、候補ベクトルの抽出が実行されていた。
[0178] 本実施例の動きベクトル検出装置における評価値テーブル形成部は、図 15を参照 して説明したように、ある代表点について相関判定を 1実行して評価値を決定する際、 その代表点の相関情報に基づく動きベクトルと、近傍の代表点についての相関情報 に基づく動きベクトルとの類似性を判定し、類似する動きベクトルがある場合は、信頼 度加算により大きい値の評価値を設定し、類似する動きべ外ルがない場合は、重み の小さレ、評価値を設定して、評価値テーブルを生成する。
[0179] これらの処理を実行するの力 S、図 16に示す動き類似性検出部 420、代表点静止判 定部 450、重み算出部 441、演算部 442である。これらの各部の処理について以下 説明する。
[0180] (a)動き類似性検出部
まず、動き類似性検出部 420の処理について、図 17を参照して具体的処理を例と して説明する。動き類似性検出部 420は、画像データを入力し、画素差分演算部 42 1内のレジスタ（ラインメモリ） 422に入力画素データを格納する。図 17に示す入カフ レーム 510が、レジスタ（ラインメモリ） 422に格納される。差分算出部 423は、レジス タ（ラインメモリ） 422に格納された画素データと、入力画素データの画素値差分を算 出する。例えば、図 17に示す画素 511の画素値 XIと画素 512の画素値 X5の差分 D=X5-X1が算出される。図 17に示すステップ 1 [S1]の処理である。ここで、 XI， X 5はそれぞれの画素 511， 512の画素値を示している。
[0181] また、画素 511と画素 512の間隔は、前フレーム 500に設定した代表点間隔 dxに 等しく設定される。
[0182] この差分値 Dは、次に、演算部 424に入力され演算部の演算結果が絶対値算出部
425に入力される。演算部 424および絶対値算出部 425は、画素差分演算部 421か らの入力値と、代表点メモリ 411から前フレームの代表点画素の画素値とに基づいて 、図 17に示すステップ 2 [S2]およびステップ 3 [S3]の演算処理を実行する。
[0183] すなわち、まず、ステップ 2 [S2]において、図 6に示す代表点メモリ 411から入力し た前フレーム 500の代表点画素 502の画素値 Qと、入力フレーム 510の画素 512の 差分絶対値 I Q— X5 Iを算出する。
[0184] 次に、ステップ 3 [S3]において、図 6に示す代表点メモリ 411から入力した前フレー ム 500の代表点画素 501の画素値 Pと、入力フレーム 510の画素 511の差分絶対値 I P-X5 + D Iを算出する。
[0185] なお、図 17では、着目代表点 501と近傍の右側の代表点 502の動きベクトルの類 似性を検出する例を示した。代表点マッチングでは、 1入力画素と複数の代表点との 相関判定を行うので、 I Q— X5 Iと I P— XI Iを並列して算出せず、 I P— XI I の 算出の代わりに、 I P-X5 + D Iを算出している。このために、図 17に示す計算手 順 S1 S3の様に、予め代表点マッチングを行う前に、入力フレーム内の入力画素 に対して、代表点間隔だけ離れた画素との差分値 Dを計算している。
[0186] 次に、相関判定部 426では、図 17に示すステップ 4[S4]の処理、すなわち、予め 定めた閾値 [TH]と、ステップ 2, 3で求めた画素差分値との比較処理、
I Q-X5 I <TH
I P-X5 + D I <TH が成立するか否かの判定処理を実行する。
[0187] I Q-X5 I く THと、 | P— X5 + D | く THの両者が成立する場合、代表点とその 近傍の代表点とは同じ動きべ外ルが設定されるものと判定され、動き類似性あると 判断し、図 16の動き類似性検出部 420は、類似性ありの判定結果、例えばビット [1] を重み算出部 441に出力する。
[0188] I Q-X5 I <THと、 | P— X5 + D | <THのいずれかが成立しない場合、代表点 とその近傍の代表点とは同じ動きべ外ルが設定されないと判定され、動き類似性な しと判断し、図 16の動き類似性検出部 420は、類似性なしの判定結果、例えばビット
[0]を重み算出部 441に出力する。
[0189] (b)重み算出部
次に、重み算出部 441の処理について説明する。重み算出部 441は、画像内の物 体上のある代表点を着目画素とした時、近傍の代表点に対応する相関検出によって 取得される動きベクトルが類似していればその動きベクトルは信頼できるとして、信頼 度に基づいて信頼度指数 を算出し、信頼度指数 を演算部 442に出力する。
[0190] 演算部 442は、信頼度指数 を入力するとともに、比較部 430からの出力、すなわ ち画素相関演算部 410で実行された代表点マッチングの結果としての代表点とサー チェリアの各画素の相関結果に基づく相関の有無の結果として、相関ありの場合、ビ ット [1]、相関なしの場合、ビット [0]を入力する。
[0191] 演算部 442は、代表点マッチングの結果として相関ありの場合、ビット 1に対して重 み算出部から入力される代表点の近傍代表点の類似動きありの判定に基づいて算 出される信頼度指数 i3の乗算または加算を実行して、 X Iまたは + 1を最終評 価値として評価値積算部 471に出力する。
[0192] 重み算出部 441は、信頼度指数 /3を、動き類似性検出部 420らの出力が類似性あ りとの判定があった場合に計算する。重み算出部 441における信頼度指数 /3の算出 処理の詳細について説明する。
[0193] 図 18に示すように、着目する代表点と近傍代表点の動きベクトルが類似する時、代 表点間に空間勾配、すなわち図 18 (a)に示すように代表点間に大きな画素値差分 があれば、画像内で輝度レベル差のある領域が動くことになり、その動きベクトルの 信頼性をより高いと判断する。一方、図 18 (b)に示すように代表点間に大きな画素値 差分がない場合は、画像内で輝度レベル差の少ない領域が動くことを示しており、例 えば、背景領域、空の領域などである場合があり、類似性が検出された場合でも動き ベクトルの信頼性は低いと判断する。
[0194] すなわち、重み算出部 441は、図 19に示すように、代表点間の空間勾配 550の大 きさに基づレ、て信頼度指数 を算出する。
[0195] 重み算出部 441は、代表点間の動きの類似性ありとの判定を動き類似性検出部 42 0から入力した場合、着目する代表点の輝度レベルを Pm、類似動きありと判定され た N個の近傍代表点の輝度レベルを Pnとするとき、その動きベクトルの信頼性を表 す指数 /3を、下式、
[数 4]
Figure imgf000042_0001
η
によって算出する。
[0196] 図 20に上記式に従って算出する信頼度指数 βの具体例を示す。図 20では、着目 代表点 550の周囲の 4つの代表点を近傍代表点として選択しそれぞれの動きの類似 性を動き類似性検出部 420において検出した例である。
[0197] 動き類似性検出部 420における検出結果として、着目代表点 550と類似動きであ る近傍代表点 560, 562が検出され、近傍代表点 561 , 563は、着目代表点 550と 類似動きでないと判定されたとする。
[0198] 各代表点画素の画素値は、
代表点 550→[Pm]
近傍代表点 560→[P0]
近傍代表点 561→[P1 ] 近傍代表点 562→[P2]
近傍代表点 563→[P3]
である。
[0199] この場合上記式に従って算出される信頼度指数 /3は、
信頼度指数 β = I Pm-PO I + I Pm-P2 |
として算出される。
[0200] なお、代表点の配置が固定配置ではなく画像データからあるパラメータを算出し可 変配置とした設定の場合は、近傍代表点の動きベクトルが一致した時、着目代表点 からの距離も考慮した信頼度指数を設定する構成とすることが好ましい。すなわち、 代表点間の距離が近いほど類似した動きベクトルの信頼度は高いと判定し、代表点 間の距離が近いほど信頼度指数を高く設定する構成とする。
[0201] 着目代表点と近傍代表点の動きベクトルが類似した時の動きベクトルの信頼度指 数 i3は、少なくとも以下のパラメータのいずれかを反映した値として算出する構成と する。
1.近傍代表点の動きの一致数もしくは類似数
2.動きが一致もしくは類似した代表点との空間勾配
3.動きが一致もしくは類似した時の代表点間の距離
[0202] 重み算出部 441は、動き類似性検出部 420から特定の代表点に対応する N個の 近傍代表点の類似性判定結果を入力し、さらに、図 16に示すように、画素相関演算 部 410からの出力に基づいて代表点間の空間勾配 (画素値差分情報)を取得し、上 記式に従って信頼度指数 i3を算出し、演算部 442に出力する。
[0203] ただし動きの類似性を静止領域の代表点に適応する場合、静止領域から検出され る（0、 0)ベクトル以外の候補動きベクトルの判定結果の信頼性は低ぐ判定結果を 評価値テーブルに加算することは無意味である。そこで、静止領域と判定された領域 内の代表点から検出される候補動きべ外ルの信頼性は低いと判断し、信頼度指数 β =0、または信頼度指数 /3の値を低く設定する。代表点の画素位置が静止領域に あるか否かの判定は、代表点静止判定部 450が実行する。
[0204] (c)代表点静止判定部 次に、代表点静止判定部 450の処理について説明する。代表点静止判定部 450 は、基準値メモリ 451、比較部 452、フラグメモリ 453を有する。
[0205] 比較部 452が、画素相関演算部 410において実行される代表点マッチング処理の 結果を入力し、基準値メモリ 451に格納された予め設定された基準値との比較を行 レ、、代表点が静止領域にあるか否かを判定する。
[0206] 比較部 452が実行する静止判定処理の具体例について、図 21を参照して説明す る。前フレーム [F ]の代表点 Ryの静止判定を、図 21 (A)を用いて説明する。前フ
t-i
レーム [F ]の代表点 Ryの静止判定は、前フレーム [F ]の代表点 Ryと、現フレー
t-i t-i
ム [F ]の点 Qyとのフレーム差で判定するのではなぐ前フレーム [F ]の代表点 R t-i t-i yと、その前のフレーム [F ]の点 Pyのフレーム差で判定を行う。何故ならば、 Ryと Q
t-2
yとのフレーム差を利用する場合、現フレームの Qyのデータが供給された時点でしか 、代表点 Ryの静止判定が出来ないが、 Ryと Pyとのフレーム差を利用する場合、前フ レーム [F ]のデータが全て供給された時点で、前フレーム [F ]に存在する代表
t-i t-i 点の静止判定結果が取得されるからである。
[0207] また、前フレーム [F ]の代表点 Ryと、その前のフレーム [F ]の点 Pvとのフレー
t-l t-2
ム差絶対値は、フレーム [F ]の代表点 Pyにおける画素相関演算部 410で算出さ
t-2
れているので、これを利用することが可能となる。
[0208] 比較部 452は、画素相関演算部 410で算出された前フレーム [F ]の代表点 Ryと
t-i
、その前のフレーム [F ]の点 Pyとのフレーム差絶対値を入力し、このフレーム差絶
t-2
対値が、基準値メモリ 451に格納された予め設定された基準値より小さい場合は、前 フレーム ]の代表点 Ryが静止領域にあるとみなし、静止フラグ (0)をフラグメモリ
t-i
453に格糸内する。
[0209] 一方、画素相関演算部 410で算出された前フレーム [F ]の代表点 Ryと、その前
t-i
のフレーム [F ]の点 Pyとのフレーム差絶対値力 基準値メモリ 451に格納された予
t-2
め設定された基準値以上である場合は、前フレーム [F ]の代表点 Ryが静止領域
t-i
にないとみなし、動きフラグ（1)をフラグメモリ 453に格納する。なお、これらのフラグ は、コントローラ（図 6のコントローラ 104)によるタイミング制御によって、フラグメモリ 4 53に格糸内される。 [0210] さらに、コントローラによる適切なタイミングで、フラグメモリ 453から代表点静止判定 フラグが重み算出部 441に出力され、重み算出部 441は、代表点が静止領域内の 代表点であるか否力を入力フラグ値に基づいて判定し、代表点が静止領域内の代 表点である場合はその代表点に対応して検出された相関性に基づく動きベクトルの 信頼性は低いと判断し、信頼度指数 /3 =0、または信頼度指数 /3の値を低く設定す る。なお、演算器 442における演算が、加算処理の場合は =0、演算器 442にお ける演算が乗算処理の場合は = 1とする設定としてもよい。
[0211] 代表点が静止領域内の代表点でない場合は上記式に従って算出した信頼度指数 βを演算器 442に出力する。演算器 442は、比較部 430からの出力に対して、信頼 度指数 /3の加算または乗算、あるいはその他信頼度指数 を考慮した結果を出力 評価値とする演算処理を実行して評価値積算部 471に出力する。
[0212] 評価値テーブル算出部 270は、入力する信頼度指数 βを反映した評価値を評価 値積算部 271におレ、て積算し評価値テーブルを生成して、評価値テーブルメモリ 27 2に格納する。
[0213] 評価値積算部 271は、演算部 260から入力する信頼度指数 βを反映した評価値を 積算する処理を行なう。この結果として、信頼度指数 に基づく評価値テーブルが生 成される。
[0214] 以上説明した本発明の動きベクトル検出装置における評価値テーブル生成処理の シーケンスについて図 22のフローを参照して説明する。
[0215] ステップ S301において、前フレーム画像データに代表点を配置（決定）する。各ブ ロックの代表点は、前述したように、例えば、
a.ブロックの中心位置の画素値、
b.ブロック内のすべての画素の画素値の平均ィ直、
cブロック内のすべての画素の画素値の中間値、
等の、ブロックを代表する画素値が対応付けられる。
[0216] ステップ S302では、現フレームデータを入力する。例えばラスタ順に入力される。
ステップ S303は、動き類似性検出部 421の処理であり、入力フレーム内で入力画素 と代表点間隔 (dx)離れた入力画素との差分を算出する。この処理は、先に、図 17を 参照して説明したステップ S 1の処理、すなわち D =X5— XIの算出処理に相当する 処理である。
[0217] ステップ S304では、代表点データと入力画素データとの相関判定処理が実行され る。この処理は、図 16に示す画素相関演算部 410の処理および比較部 430の処理 である。代表点メモリ 411から読み出された前フレームの代表点データと、現フレーム の画像データが、差分算出部 412に供給され、前フレームの代表点の画素値と、現 フレームの画像データに設定される各代表点に対応するサーチエリア内の画素との 画素値差分、例えばフレーム差湘関演算結果)を算出し、絶対値算出部 413に出 力し、フレーム差絶対値が算出される。フレーム差絶対値は、比較部 430に入力され 、予め定めた閾値 (TH)と比較され、フレーム差絶対値が閾値 (TH)より小さい場合 は、相関ありと判定し、相関ありを示すビットデータ（例えば [1] )が比較部 430から出 力され、フレーム差絶対値が閾値 (TH)以上である場合は、相関なしと判定し、相関 なしを示すビットデータ（例えば [0] )が比較部 430から出力される。
[0218] ステップ S305では、入力画素と代表点との差分データから近傍代表点の動き類似 性を検出する。この処理は、動き類似性検出部 420の処理であり、前フレーム内の着 目代表点と近傍代表点に対応する入力フレームにおける相関の高い画素との対応 に基づいて検出される注目代表点と近傍代表点の動きが類似するか否かが判定さ れる。類似動きがあると判定された場合は、動き類似性検出部 420から重み算出部 4 41に対して類似性ありの判定結果が出力される。なお、類似性ありまたはなしの判定 結果は、着目代表点の複数の近傍代表点について実行され、それぞれの結果デー タが重み算出部 441に対して出力される。
[0219] ステップ S306では、信頼度指数 βを算出する。この信頼度指数 /3の算出処理は、 重み算出部 441におレ、て実行される。
[0220] 前述したように、着目代表点と近傍代表点の動きベクトルが類似した時の動きべタト ルの信頼度指数 は少なくとも以下のパラメータを反映した値として算出する構成と する。
1.近傍代表点の動きの一致数もしくは類似数
2.動きが一致もしくは類似した代表点との空間勾配 3.動きが一致もしくは類似した時の代表点間の距離
[0221] ステップ S307では、信頼度指数 βを評価値テーブルの積算ポイントとして出力す る。ステップ S 308では、全代表点と、サーチエリア内の画素との相関判定処理が終 了したか否かを判定し、終了していない場合は、ステップ S302以下の処理を未処理 画素にっレ、て実行し、すべての画素の処理が終了すると処理を終了する。
[0222] なお、先に説明した信頼度指数 aと上述した信頼度指数 βを併せて信頼度指数 Κ を算出し、下記式、
Κ = α + β
を信頼度指数として設定し、この信頼度指数 Κを反映した評価値を評価値テープ ルに加算する構成としてもよい。この場合の、評価値テーブル形成部の構成は、図 8 に示した構成と、図 16に示した構成を併せ持つ構成となる。
[0223] 従来の評価値テーブル形成部では代表点マッチングのみの相関有無の判定結果 として得られる lbit (相関あり/なし）の加算によって評価値テーブルを構成していた 、上述したように信頼度指数： a、または信頼度指数： β、または、信頼度指数: Κ = α + βを適用することで、より精度の高い評価値に基づく評価値テーブルを構成 すること力 S可言 となる。
[0224] 例えば、信頼度指数 Κ = α + βを適用した場合、代表点毎に算出されるマツチン グの信頼度 aの上限を 7bitとして、類似動きを参照する代表点の個数を左右 2個とし て、代表点間の空間勾配の上限を 6bitとすれば、近傍左右代表点から同じ候補動き ベクトルが検出された時の信頼度 i3は最大 7bitとなり、検出された候補動きベクトル の信頼度 Kは 8bit段階の重みを算出できるので、これにより信頼度の高い評価値テ 一ブルの形成が可能となる。
[0225] [5.評価値テーブルの具体例]
上述した評価値テーブル形成部構成を持つ動きべ外ル検出装置を適用し、実際 の動画像データに対する処理を実行した場合に生成される度数分布型評価値テー ブルの例を説明する。
[0226] 具体的な、動画像データ 800として、図 23に示すような、静止背景に移動物体 (A) 801、移動物体（B) 802、移動物体（C) 803、移動物体（D) 804とが存在するデータ を適用した。
[0227] 移動物体 (A) 801、移動物体（C) 803は水平左方向（一 X方向）に移動する物体で あり、この物体の表示領域の画素に対応する正しい動きベクトルは（Vx, Vy) = (一 n , 0)である。つまり水平左方向の動きベクトルが設定されるべき画素領域である。移 動物体（Β) 802は、水平右方向（+Χ方向）に移動する物体あり、この物体の表示領 域の画素に対応する正しい動きべクトノレとしては、 （Vx, Vy) = (n, 0)である。つまり 、水平左方向の動きベクトルが設定されるべき画素領域である。
[0228] また、移動物体（D) 804は、垂直上方向（+ Y方向）に移動する物体あり、この物体 の表示領域の画素に対応する正しい動きベクトルとしては、（Vx， Vy) = (0, n)であ る。つまり、垂直上方向の動きベクトルが設定されるべき画素領域である。
[0229] この動画像データに対して、従来手法、例えば特開 2001— 61 152号公報に開示 されている評価値テーブル生成処理を適用して、代表点の相関データのみ積算し生 成した評価値テーブルを図 24に示す。図 24に示す評価値テーブルは垂直方向（一 Yまたは +Y方向）の動きベクトルに対応するピークのみを示す 2次元的に表現した 評価値テーブルである。
[0230] すなわち、図 24は、画素相関演算部から出力されるデータを、そのまま適用して積 算し生成した評価値テーブルの 2次元データであり、このテーブルには、（Vy= 0)す なわち、背景領域の静止画素の静止ベクトルに対応するピークのみが出現している。
[0231] 図 25は、先に説明した信頼度指数： a、すなわち、アクティビティ Aと重み係数 Wに 基づく信頼度指数 αに基づいて生成した評価値テーブルの 2次元データである。こ の評価値テーブルには、静止画素に対応するピークのみならず、垂直方向（Υ方向） に移動する物体 Dに対応するピークが出現している。
[0232] このように、アクティビティ Αと重み係数 Wに基づく信頼度指数ひに基づいて生成し た評価値テーブルでは、画像データの表示領域における占有面積が小さレ、物体の 移動に対応するピークを評価値テーブルに出現させることができ、正確な候補べタト ルの抽出、動きベクトルの決定処理が可能となる。
[0233] 図 26は、信頼度指数： β、すなわち、着目代表点と近傍代表点との動き類似性検 出と代表点間の空間勾配 (画素値差分)を考慮して算出した信頼度指数 3に基づい て生成した評価値テーブルの 3次元データである。この評価値テーブルには、静止 画素に対応するピークのみならず、移動物体 A, B, C, Dそれぞれに対応するピーク が出現している。
[0234] このように、着目代表点と近傍代表点との動き類似性検出と代表点間の空間勾配（ 画素値差分)を考慮して算出した信頼度指数 βに基づいて生成した評価値テープ ルでは、画像データの表示領域における代表点のアクティビティ Αは小さいが、占有 面積の大きい物体の移動に対応するピークを評価値テーブルに出現させることがで き、正確な候補ベクトルの抽出、動きベクトルの決定処理が可能となる。
[0235] [6.特徴画素に基づく動きベクトル決定処理の詳細]
先に、図 6を参照して説明したように、代表点マッチングを適用した動きベクトル検 出装置は、評価値テーブル形成部 101、候補ベクトル抽出部 102、動きベクトル決定 部 103を有し、評価値テーブル形成部 101において、入力画像データに基づいて評 価値テーブルを生成し、候補ベクトル抽出部 102において、評価値テーブルから複 数の候補ベクトルを抽出し、さらに、動きベクトル決定部 103において、複数の候補 ベクトルから各画素対応の動きべクトノレを決定するという処理を行なうものである。
[0236] しかし、前述したように、動きベクトル決定部 103における動きベクトルの決定精度 を向上させるためには、ブロックマッチングにおける適用ブロックサイズを大きくする 必要がある。ブロックサイズを大きくすると、ブロックに含まれる多数の画素値をメモリ に保持することが必要となり、また、前述した差分絶対値総和の算出処理においては 、ブロックに含まれる多数の画素値に基づく演算処理を行なうことが必要となる。結果 としてハードウェア規模を大きくする必要が発生し、また処理効率を低下させてしまう という問題がある。
[0237] そこで、以下に説明する実施例では、動きベクトル決定部 103において実行する動 きべタトノレの決定処理にブロックマッチングを適用せず、特徴画素位置情報に基づく 動きベクトル決定処理を実行する。この動きベクトル決定部の処理の詳細にっレ、て、 以下、説明する。
[0238] なお、以下、特徴画素位置情報に基づく動きベクトル決定処理構成について、
( 1 ) 2点マッチング方式による動きベクトル決定処理 (2) 3点マッチング方式による動きベクトル決定処理
の 2つの処理構成にっレ、て順次説明する。
[0239] (1) 2点マッチング方式による動きベクトル決定処理
まず、 2点マッチング方式による動きベクトル決定処理について説明する。図 27に 本実施例に係る動きベクトル検出装置の動きベクトル決定部の詳細構成を示す。図 27に示す動きベクトル決定部 1200は、図 6に示す動きベクトル検出装置の動きべク トル決定部 103に相当する。
[0240] 図 27に示す動きベクトル決定部 1200は、図 6に示す候補ベクトル抽出部 102から 前述した評価値テーブルに基づレ、て決定した複数の候補ベクトル情報を入力し、各 画素毎に対応付ける動きベクトルを決定する処理を実行する。
[0241] 本実施例に係る動きベクトル決定部 1200は、図 27に示すように、画素相関判定部 1210、仮判定部 1221、ゲート 1222、付加情報演算部 1250、特徴画素位置相関 判定部 1230を有する。画素相関判定部 1210は、現フレームメモリ 1211、前フレー ムメモリ 1212、画素値差分算出部 1213、絶対値算出部 1214を有する。特徴画素 位置相関判定部 1230は、現フレーム付カ卩情報メモリ 1231、前フレーム付加情報メ モリ 1232、相関判定部 1233を有する。付加情報演算部 1250の詳細は、図 29以下 を参照して説明する。
[0242] 画素相関判定部 1210は、画像信号を入力する。この入力画像は、例えば、ラスタ スキャンにより得られる画像データである。画像データは、例えば、ディジタルカラー 映像信号のコンポーネント信号中の輝度信号を含む。
[0243] 画像データは、フレームデータ毎に入力され、まず、現フレームメモリ 1211に格納 されて、次に前フレームメモリ 1212に格納される。従って、画素相関判定部 1210は 、 2つの連続するフレームデータをメモリに保持する。
[0244] さらに、画素相関判定部 1210は、図 6に示す候補ベクトル抽出部 102から候補べ タトル情報を入力し、候補ベクトル情報に基づいて前フレームの各画素、すなわち動 きベクトルを決定すべき画素（着目画素）毎に、複数の候補ベクトルの指示する現フ レームの画素位置を特定し、前フレームの着目画素と複数の候補ベクトルの指示す る現フレームの画素との差分を画素値差分算出部 1213において算出し、絶対値算 出部 1214においてその差分絶対値を算出して、仮判定部 1221に出力する。
[0245] これらの一連の処理について、図 28を参照して説明する。図 28に示すのは入カフ レーム（現フレーム）画像データ 1300と、過去フレーム（前フレーム）画像データ 131 0である。これらのフレームデータは、現フレームメモリ 1211と、前フレームメモリ 121 2に格納されたデータである。
[0246] 画素相関判定部 1210は、図 6に示す候補ベクトル抽出部 102から候補べクトル情 報を入力しており、これら力 図 28に示す a gの候補ベクトルである。これらは、前述 した評価値テーブルのピーク検出によって求められた候補ベクトルである。
[0247] 画素相関判定部 1210は、候補ベクトル情報に基づいて前フレームの各画素、すな わち動きベクトルを決定すべき画素（着目画素）毎に、複数の候補ベクトルの指示す る現フレームの画素位置を特定する。例えば図 28の過去フレーム（前フレーム）画像 データ 1310の着目画素 1311につレ、て、複数の候補ベクトルの指示する現フレーム の画素位置 A— Gが特定される。
[0248] 画素値差分算出部 1213は、過去フレーム（前フレーム）画像データ 1310の着目 画素 1311と、候補ベクトルの指示する現フレームの画素位置 A— Gの画素値各々と の差分を算出する。絶対値算出部 1214は、これらの差分絶対値、すなわち画素差 分絶対値 (MC残差)を算出して、仮判定部 1221に出力する。
[0249] 仮判定部 1221は、着目画素と、複数の候補ベクトルによって決定される各画素と の差分絶対値 (MC残差)を入力する。例えば n個の候補ベクトルがある場合、 n個の 差分絶対値 (MC残差） [di]を入力する。ただし i= l一 nである。
[0250] 仮判定部 1221は、 n個の差分絶対値 (MC残差） [di]から、着目画素 1311に対応 する動きベクトルの絞込みを行う。具体的には、 n個の（（差分絶対値 (MC残差） [di] から、 MC残差の小さいものを選択する。
[0251] n個の MC残差の最小値を dmin、予め定められた閾値を THとして、
di— dmin^TH
を満たす画素と dminを満たす画素のいずれかを指示する候補ベクトルを選択する [0252] 図 28の例では、例えば、 A Eの画素中、 A, C, Eが上記基準を満たす画素として 選別されたとすると、これらの選別候補ベクトル情報が、仮判定部 1221からゲート 12 22に出力され、図 6に示す候補ベクトル抽出部 102から入力される候補ベクトル情報 から、この選別された候補ベクトル情報のみ力 特徴画素位置相関判定部 1230に 入力される。
[0253] 特徴画素位置相関判定部 1230では、仮判定部 1221によって選別された候補べ タトルから、 1つの画素対応の動きベクトルを決定する処理を実行する。この特徴画 素位置相関判定部 1230では、付加情報演算部 1250から入力する着目画素の近 傍画素の特徴画素位置情報に基づレ、て画素値相関判定処理を行い、仮判定部 12 21によって選別された候補ベクトルから 1つの動きベクトルを決定する処理を行なう。
[0254] 図 29を参照して、付加情報演算部 1250の詳細構成について説明する。付加情報 演算部 1250は、例えば、着目画素の近傍の画素中、隣接画素との画素値差分絶対 値がもっとも大きくなる画素を特徴画素として抽出する。
[0255] 図 29に示す付加情報演算部 1250は、レジスタ 1252、画素値差分算出部 1253、 絶対値算出部 1254からなる隣接画素差分絶対値算出部 1251と、レジスタ 1255、 最大差分値検出部 1256、最大差分画素位置検出部 1257、レジスタ 1258を有する
[0256] 隣接画素差分絶対値算出部 1251では、動きベクトル検出処理対象となる画像信 号を入力し、レジスタ 1252に画像フレームデータを格納する。画素値差分算出部 12 53では、レジスタ 1252に格納された画像データの隣接画素の差分を順次算出し、 絶対値算出部 1254では、隣接画素の差分の絶対値を順次算出して、最大差分値 検出部 1256に出力する。
[0257] 図 30を参照して、具体的な処理について説明する。付加情報演算部 1250では、 レジスタ 1252に格納された画像データの隣接画素の差分絶対値を順次算出するこ とで、例えば着目画素の近傍領域の画素において、 P 接画素との差分絶対値が最 大の画素を特定する。なお、着目画素の近傍領域の画素とは、着目画素の水平方 向の前後一 8 + 7画素の範囲等、あらかじめ設定された画素領域である。
[0258] 図 30の例では、着目画素 1281の近傍領域において、 舞接画素との差分絶対値が 最大となる画素 1282が特定される。 [0259] 図 29に示す最大差分値検出部 1256は、順次入力する隣接画素の差分絶対値を レジスタ 1255に格納しながら、比較処理を実行し、所定領域、すなわち、 -8— + 7 の 16画素毎に最大の画素値差分絶対値を持つ画素差分値を検出する。すなわち、 図 31に示すように、 16画素毎に最大の画素値差分絶対値を持つ画素差分値 MAX a、 MAXb、 MAXcを順次検出する。
[0260] 最大差分値検出部 1256の検出した所定領域毎 (例えば 16画素毎）の最大画素差 分絶対値を持つ画素情報は、最大差分画素位置検出部 1257に入力され、所定領 域毎 (例えば 16画素毎）の最大差分画素位置情報が検出され、レジスタ 1258に格 納される。
[0261] 例えば図 30に示す例では、着目画素 1281の近傍領域において、隣接画素との差 分絶対値が最大となる画素 1282の画素位置は、着目画素を画素位置： 0としたとき、 [ + 4]の画素位置である。
[0262] レジスタ 1258に格納された所定領域毎（例えば 16画素毎）の最大差分画素位置 情報が、現フレーム付加情報格納メモリ 1231に順次出力される。
[0263] 図 27に戻り、動きべクトノレ決定部 1200の処理について説明を続ける。図 29を参照 して説明した付加情報演算部 1250からの特徴画素位置情報は、図 27に示す特徴 画素位置相関判定部 1230の現フレーム付カ卩情報メモリ 1231に格納される。現フレ ーム付カロ情報メモリ 1231には、 1つのフレームに対応して抽出された所定領域毎（ 例えば 16画素毎）の最大差分画素位置情報が格納される。各フレーム処理ステップ 毎に現フレーム付加情報メモリ 1231の情報は、前フレーム付加情報メモリ 1232に 移動して格納されることになる。
[0264] 現フレーム付加情報メモリ 1231には、さらに、仮判定部 1221からの出力、すなわ ち、仮判定部 1221によって選別された選別候補ベクトル情報が入力される。
[0265] 相関判定部 1233は、着目画素の近傍領域において抽出された特徴画素に基づ いて、仮判定部 1221によって選別された選別候補ベクトルから、着目画素に対応す る唯一の動きベクトルを決定する処理を実行する。
[0266] 相関判定部 1233における動きベクトル決定処理について、図 32を参照して説明 する。図 32に示すのは、先に図 28を参照して説明したと同様の入力フレーム（現フ レーム）画像データ 1301と、過去フレーム（前フレーム）画像データ 1310である。
[0267] 入力フレーム（現フレーム）画像データ 1300には、先に図 28を参照して説明した 仮判定部による候補ベクトル選別処理によって選別された候補ベクトル a, c, eを示し てある。
[0268] 特徴画素位置相関判定部 1230における相関判定部 1233は、過去フレーム（前フ レーム）画像データ 1310から選択した着目画素、すなわち、動きベクトルを対応付け る画素としての着目画素 1311の近傍領域における特徴画素位置データに基づいて 、候補ベクトル a， c, eから 1つの動きベクトルを決定する。
[0269] 図 32に示す例において、着目画素 1311の近傍領域の特徴画素位置が、着目画 素 1311の画素位置を [0]としたとき、画素位置 [一 3]であることが、付加情報演算部 1250からの入力情報によって判定される。なお、図 32においては、近傍領域を着目 画素の一 4一 + 3の 8画素領域として示してある。
[0270] 相関判定部 1233では、着目画素 1311の近傍領域の特徴画素位置と、選別候補 ベクトル a, c, eの指示する対応画素位置 A, C, Eの近傍領域における特徴画素位 置の相関を判定する。図に示す例では、選別候補ベクトル aの指示する対応画素位 置 Aの近傍領域 1301には、画素位置 Aを [0]としたとき、特徴画素が [-3]の位置に 出現している。この特徴画素は、前述の付加情報演算部において、所定領域単位の 画素領域毎に選択された特徴画素であり、画素位置 Aの近傍領域として設定された 領域における隣接画素差分絶対値の最大画素である。
[0271] 選別候補ベクトル cの指示する対応画素位置 Cの近傍領域 1302には、画素位置 C を [0]としたとき、特徴画素が [-2]の位置に出現しており、選別候補ベクトル eの指示 する対応画素位置 Eの近傍領域 1303には、画素位置 Eを [0]としたとき、特徴画素 力 [ + 2]の位置に出現している。
[0272] 着目画素 1311の近傍領域の特徴画素は、着目画素位置を [0]としたとき、特徴画 素が [一 3]の位置に出現している。この特徴画素位置は、候補ベクトル aの示す画素 Aの近傍領域 1301における特徴画素位置 [一 3]と対応する。他の 2つの候補べタト ル c， eの示す画素 C, Eの近傍領域 1302, 1303における特徴画素位置 [一 2]， [ + 2]とは対応しない。 [0273] この結果、着目画素 1311に対応する動きベクトルとして、候補ベクトル aが選択決 定される。
[0274] 相関判定部 1233は、このような処理をフレームの構成画素について順次、着目画 素として設定し、設定した着目画素毎に上述と同様の近傍領域の特徴画素位置の 相関判定処理を実行し、フレーム構成画素各々に対応する動きベクトルを選別候補 ベクトルから選択して決定する。
[0275] このように、図 27に示す動きベクトル決定部では、着目画素の近傍領域の画素値 に基づいて、特徴画素位置を特定し、着目画素の近傍領域における特徴画素の着 目画素位置に対応する相対位置と、仮判定部 1221によって選別された候補べタト ルの指示する画素の近傍領域の特徴画素位置との相関を判定し、最も相関の高い 特徴画素位置を持つ画素を指示する候補ベクトルを着目画素に対応する動きべタト ルとして決定する。
[0276] 以上の動きベクトル決定処理シーケンスについて、図 33に示すフローチャートを参 照して説明する。
[0277] 図 33に示すフローの各ステップの処理について説明する。図 33に示すフローは、
1つの着目画素に対する動きベクトルの決定処理であり、フレーム画像の構成画素の すべてにっレ、て動きベクトルの決定を行なう場合は、フレーム画像の構成画素を順 次、着目画素として設定し図 33に示すフローを各着目画素毎に実行する。
[0278] まず、ステップ S1201において実行する処理は、着目画素と、 n個の候補ベクトル によって指示される画素との差分絶対値、すなわち MC残差 dnを算出する処理であ る。この処理は、図 27の動きベクトル決定部 1200の画素相関判定部 1210において 実行される。
[0279] ステップ S1202 S1204は、仮判定部 1221における処理である。仮判定部 1221 は、ステップ S1202において、 n個の差分絶対値（MC残差） [di]を入力し、 n個の M C残差の最小値： dminを検出する。
[0280] ステップ S1203で、 i=0 (0≤i<n)の初期設定を行レヽ、ステップ S1204におレヽて、 予め定められた閾値を THとして、
di— dmin^TH を満たすか否力を判定する。
[0281] ステップ S1204において実行する処理は、先に図 28を前述した候補ベクトルから の選別処理として実行する仮判定処理である。 di— dmin≤THを満足しないと判定し た場合は、選別候補ベクトルではないと判定され、ステップ S 1205、 S 1206で実行 する注目画素の近傍領域の特徴画素位置に基づく相関判定を行なうことなぐステツ プ S1207に進む。
[0282] ステップ S1204において実行する仮判定処理において、 di— dmin≤THを満足す る場合、選別候補べクトノレとして選択され、ステップ S1205に進む。ステップ S1205 、 S1206の処理は、図 27に示す動きベクトル決定部 1200の特徴画素位置相関判 定部 1230の処理である。
[0283] ステップ S1205では、特徴画素位置の相関性を判定する。この処理は、先に図 32 を参照して説明したように、着目画素の近傍領域における特徴画素の位置と、選別 候補ベクトルとして選択された画素の近傍領域の特徴画素位置の相関、すなわち位 置の対応があるか否かを判定する処理である。
[0284] ステップ S1206では、相関のより高いものを選択する処理を実行し、ステップ S120 7において、 iの値に基づいて、すべての候補ベクトルの検証が済んだか否かを判定 し、済んでいない場合は、ステップ S1209に進み、 iの値を更新（1インクリメント）して 、ステップ S 1204以下の処理を繰り返し実行する。
[0285] すべての候補ベクトルについての検証が終了すると、ステップ S1208に進み、その 時点で、選択されている最も相関の高い、すなわち、ステップ S1205において算出し た着目画素の近傍領域における特徴画素の位置と、選別候補ベクトルとして選択さ れた画素の近傍領域の特徴画素位置の相関の高いものに対応する候補ベクトルを、 処理対象としての注目画素に対応する動きベクトルとして決定する。
[0286] 上述したように、本実施例における 2点マッチング方式による動きベクトル決定処理 では、候補ベクトルから動きべタトノレの決定処理において、ブロックマッチング処理を 行なうことなぐ着目画素とその近傍の特徴画素位置情報を用いる構成である。従つ てブロックマッチング処理において適用するブロックの大きに応じた多数の画素値に 基づく相関算出計算を行なう必要がなり、効率的な処理が可能となる。 [0287] なお、入力画素データがラスタスキャン順に入力される場合、着目画素に対して水 平方向に限定した近傍領域内で差分絶対値が最大となる画素位置の検出処理や、 隣接画素差分絶対値が最大となる画素位置などの検出処理、すなわち、付加情報 演算部 1250における付加情報算出処理は、図 6における評価値テーブル形成部 1 01におレ、て実行する評価値テーブル形成処理に並行して実行可能であり、評価値 テーブル形成処理の終了時には、付加情報を算出済みとすることが可能であり、新 たな処理実行時間を設定することがなぐ処理速度を低下させることのない動きべタト ル検出処理が可能となる。
[0288] なお、上述の実施例では、着目画素の近傍領域として、着目画素位置を [0]として 、 _8 + 7の 16画素や、一 4一 + 3の 8画素を例として説明したが、これらは、任意の 領域として設定可能である。また、入力画素がラスタスキャン順であることを考慮して 、水平方向の右側のみの範囲に近傍領域を設定すれば、ラスタスキャン順の入力画 素値に基づく隣接画素比較処理が可能となり、画素値メモリ領域を小さくすることが 可能となり、よりハードウェア規模を小さくできる。
[0289] 上述の実施例では、画素の近傍領域を設定し、付加情報演算部 1250において、 近傍領域における隣接画素差分絶対値の最大となる画素位置を特徴画素情報とし て算出し、この特徴画素情報を相関判定に適用する構成、すなわち、
(a)隣接画素差分絶対値の最大となる画素の位置
を適用する構成としたが、隣接画素差分絶対値の最大となる画素位置情報のみを 相関判定に適用する構成以外に、例えば以下の情報を相関判定情報として適用し た構成も可能である。
(b)隣接画素差分絶対値が最大となる画素の位置と画素値
[0290] 上記 (b)隣接画素差分絶対値の最大となる画素の位置と画素値を相関判定情報と して適用する場合の付加情報演算部 1250の構成例を図 34に示す。
[0291] 図 34に示す付加情報演算部 1250の構成は、図 29に示す付加情報演算部 1250 の構成とほぼ同様であり、レジスタ 1252、画素値差分算出部 1253、絶対値算出部 1 254からなる隣接画素差分絶対値算出部 1251と、レジスタ 1255、最大差分値検出 部 1256、最大差分画素位置検出部 1257、レジスタ 1258を有する。 [0292] 隣接画素差分絶対値算出部 1251では、動きベクトル検出処理対象となる画像信 号を入力し、レジスタ 1252に画像フレームデータを格納する。画素値差分算出部 12 53では、レジスタ 1252に格納された画像データの隣接画素の差分を順次算出し、 絶対値算出部 1254では、 舞接画素の差分の絶対値を順次算出して、最大差分値 検出部 1256に出力する。
[0293] 最大差分値検出部 1256は、順次入力する隣接画素の差分絶対値をレジスタ 125 5に格納しながら、比較処理を実行し、所定領域、例えば 16画素毎に最大の画素値 差分絶対値を持つ画素差分値を検出する。
[0294] 最大差分値検出部 1256の検出した所定領域毎 (例えば 16画素毎）の画素値差分 絶対値を持つ画素情報は、最大差分画素位置検出部 1257に入力され、所定領域 毎 (例えば 16画素毎）の最大差分画素位置情報が検出され、レジスタ 1258に格納 される。
[0295] 先の図 29を参照して説明した付加情報演算部 1250は、レジスタ 1258に格納され た位置情報のみを現フレーム付カ卩情報メモリ 1231に出力し、位置情報に基づく相関 判定処理を行なう構成としていた。この図 34に示す付加情報演算部 1250は、レジス タ 1258に格納された最大差分画素位置を示す位置情報のみならず、最大差分画 素位置の画素値情報をレジスタ 1255から現フレーム付カ卩情報メモリ 1231に出力す る。
[0296] 図 27に示す特徴画素位置相関判定部 1230では、この 2つのデータ、すなわち、 隣接画素差分絶対値の最大となる画素の位置情報と画素値情報の 2つの情報を適 用して相関判定処理を実行する。
[0297] 例えば、先に説明した図 32において、選別候補ベクトルのいずれもが、着目画素 の近傍領域において検出された画素位置と同一の位置に特徴画素を有している場 合であっても、さらに、画素値の相関を検証することで、最も一致度合いの高いもの を選択して、これをその注目画素の動きベクトルとして決定することができる。
[0298] このように、位置情報のみだけでなく、位置情報と画素値レベル情報や画素値レべ ル差情報の両方を相関判定に用いることで、より正確な動きベクトルの決定が可能し となる。 [0299] なお、上述した 2点マッチングは、物体は面積を持って動くという仮定を利用してい る力 例えば特徴画素が着目画素から遠い位置に設定されると、同一物体である可 能性が低下する。そこで、特徴画素位置の一致程度だけでなぐ特徴画素との距離 を相関性に反映した処理を行なう構成としてもよい。すなわち、着目画素に近い位置 の特徴画素については相関判定の際に重みを大きくし、着目画素から遠い位置の 特徴画素については相関判定の際に重みを小さくする構成である。
[0300] (2) 3点マッチング方式による動きベクトル決定処理
次に、 3点マッチング方式による動きベクトル決定処理について説明する。図 35に 本実施例に係る動きベクトル検出装置の動きベクトル決定部の詳細構成を示す。図 35に示す動きベクトル決定部 400は、図 6に示す動きベクトル検出装置の動きべタト ル決定部 103に相当する。
[0301] 図 35に示す動きベクトル決定部 400は、図 6に示す候補ベクトル抽出部 102から前 述した評価値テーブルに基づレ、て決定した複数の候補ベクトル情報を入力し、各画 素毎に対応付ける動きベクトルを決定する処理を実行する。
[0302] 図 35に示すように、本実施例に係る動きベクトル決定部 400は、画素相関判定部 1 410、仮判定部 1421、付加情報演算部 1450、現フレーム付加情報メモリ 1422、前 フレーム付加情報メモリ 1423、近傍領域情報相関判定部 1430を有する。画素相関 判定部 1410は、現フレームメモリ 1411、前フレームメモリ 1412、画素値差分算出部 1413、絶対値算出部 1414を有する。近傍領域情報相関判定部 1430は、レジスタ 1431 , 1432、ゲート 1433、相関判定部 1434を有する。付加情報演算部 1450の 詳細は、図 35を参照して説明する。
[0303] 画素相関判定部 1410は、画像信号を入力する。この入力画像は、先に、図 6を参 照して説明したように、例えば、ラスタスキャンにより得られる画像データである。画像 データは、例えば、ディジタルカラー映像信号のコンポーネント信号中の輝度信号を 含む。
[0304] 画像データは、フレームデータ毎に入力され、まず、現フレームメモリ 1411に格納 されて、次に前フレームメモリ 1412に格納される。従って、画素相関判定部 1410は 、 2つの連続するフレームデータをメモリに保持する。 [0305] さらに、画素相関判定部 1410は、図 6に示す候補ベクトル抽出部 102から候補べ タトル情報を入力し、候補ベクトル情報に基づいて前フレームの各画素、すなわち動 きベクトルを決定すべき画素（着目画素）毎に、複数の候補ベクトルの指示する現フ レームの画素位置を特定し、前フレームの着目画素と複数の候補ベクトルの指示す る現フレームの画素との差分を画素値差分算出部 1413において算出し、絶対値算 出部 1414においてその差分絶対値を算出して、仮判定部 1421に出力する。これら の一連の処理は、先の 2点マッチングの場合と同様である。
[0306] 仮判定部 1421は、着目画素と、複数の候補ベクトルによって決定される各画素と の差分絶対値 (MC残差)を入力する。例えば n個の候補ベクトルがある場合、 n個の 差分絶対値 (MC残差） [di]を入力する。ただし i= l一 nである。
[0307] 仮判定部 1421は、 n個の差分絶対値 (MC残差） [di]から、着目画素に対応する 動きベクトルの絞込みを行う。具体的には、 n個の（（差分絶対値 (MC残差） [di]から 、 MC残差の小さいものを選択する。この処理も先の 2点マッチングの場合と同様で あり、例えば、 n個の MC残差の最小値を dmin、予め定められた閾値を THとして、 di— dmm^TH
を満たす画素と dminを満たす画素のいずれかを指示する候補ベクトルを選択する
[0308] 先に説明した図 28の例では、例えば、 A— Eの画素中、 A, C, Eが上記基準を満 たす画素として選別されたとすると、これらの選別候補べ外ル情報が、仮判定部 14 21からゲート 1433に出力され、図 6に示す候補ベクトル抽出部 102から入力される 候補ベクトル情報から、この選別された候補ベクトル情報のみが、近傍領域情報相関 判定部 1430に入力される。
[0309] 本実施例の画相関判定部 1410は、さらに、画相関判定部 1410の現フレームメモ リ 1411から注目画素の近傍領域の 2つの画素の画素情報が近傍領域情報相関判 定部 1430のレジスタ 1432に入力され、さらに、画相関判定部 1410の前フレームメ モリ 1412から候補ベクトルによって示される n個の指示画素に対応する 2画素、すな わち n X 2画素が近傍領域情報相関判定部 1430のレジスタ 1431に入力される。
[0310] 近傍領域におけるどの画素を出力するかは、それぞれ現フレーム付加情報メモリ 1 422と、前フレーム付加情報メモリ 1423および n個の候補べクトノレ情報の出力によつ て決定される。
[0311] 現フレーム付加情報メモリ 1422と、前フレーム付加情報メモリ 1423には、付加情 報演算部 1450の演算結果が出力されることになる。
[0312] 図 36を参照して、付加情報演算部 1450の詳細構成について説明する。付加情報 演算部 1450は、例えば、着目画素の近傍の画素中、着目画素との画素値差分が最 大の画素と、着目画素との画素値差分が最小の画素、これら 2つの画素を特徴画素 として抽出する。
[0313] 図 36に示す付カ卩情報演算部 1450は、レジスタ 1452、画素値差分算出部 1453か らなる着目画素差分算出部 1451と、差分最大値画素情報取得部 (MAX) 1454、 差分最小値画素情報取得部 (MIN) 1455、最大差分画素位置検出部 1456、レジ スタ 1457、最小差分画素位置検出部 1458、レジスタ 1459を有する。
[0314] 着目画素差分算出部 1451では、動きベクトル検出処理対象となる画像信号を入 力し、レジスタ 1452に画像フレームデータを格納する。画素値差分算出部 1453で は、レジスタ 1452に格納された画像データの近傍領域の差分を順次算出し、最大 差分値を持つ画素情報を差分最大値画素情報取得部（MAX) 1454に格納し、最 小差分値を持つ画素情報を差分最小値画素情報取得部（MIN) 1455に格納する。 なお、これらの画素情報には、画素位置情報が含まれる。
[0315] 図 37を参照して、具体的な処理について説明する。付加情報演算部 1450では、 レジスタ 1452に格納された画像データについて、着目画素と、着目画素の近傍画 素値との差分を順次算出することで、例えば着目画素の近傍領域の画素において、 着目画素と最大差分値を持つ画素情報と、最小差分値を持つ画素情報を取得する 。なお、着目画素の近傍領域の画素とは、例えば、着目画素の水平方向の前後一 8 一 + 7画素の範囲、あるいは 2次元領域にぉレ、て設定されたブロックなどのあらかじ め設定された画素領域である。
[0316] 図 37の例では、着目画素 1481の近傍領域において、着目画素と最大差分値を持 つ画素は、着目画素 1481の画素位置を [0]としたとき、画素 1482、すなわち画素 位置 [一 5]の画素が着目画素と最大差分値を持つ画素、すなわち空間勾配の最大 画素として選択され 1つの特徴画素として画素情報が取得される。また、着目画素と 最小差分値を持つ画素は、着目画素 1481の画素位置を [0]としたとき、画素 1483 、すなわち画素位置 [ 1]の画素が着目画素と最小差分値を持つ画素、すなわち空 間勾配の最小画素として選択され 1つの特徴画素として画素情報が取得される。
[0317] 図 36に示す差分最大値画素情報取得部（MAX) 1454は、順次入力する画素の 差分情報に基づいて、所定領域、例えば - 8 + 7の 16画素毎に注目画素に対して 差分最大値となる画素を検出する。差分最小値画素情報取得部 (MIN) 1455は、 順次入力する画素の差分情報に基づいて、所定領域毎に注目画素に対して差分最 小値となる画素を検出する。
[0318] 差分最大値画素情報取得部 (MAX) 1454の検出した所定領域毎の最大画素差 分値を持つ画素情報は、最大差分画素位置検出部 1456に入力され、所定領域毎（ 例えば 16画素毎）の最大差分画素位置情報が検出され、レジスタ 1457に格納され る。
[0319] 差分最小値画素情報取得部 (MIN) 1455の検出した所定領域毎の最小画素差分 値を持つ画素情報は、最小差分画素位置検出部 1458に入力され、所定領域毎 (例 えば 16画素毎）の最小差分画素位置情報が検出され、レジスタ 1459に格納される。
[0320] 例えば図 37に示す例では、着目画素 1481の近傍領域において、着目画素との差 分が最大となる画素 1482の画素位置は、着目画素を画素位置： 0としたとき、 [-5] の画素位置であり、着目画素との差分が最小となる画素 1483の画素位置は、着目 画素を画素位置： 0としたとき、 [ 1]の画素位置である。
[0321] レジスタ 1457に格納された所定領域毎（例えば 16画素毎）の最大差分画素位置 情報と、レジスタ 1459に格納された所定領域毎 (例えば 16画素毎）の最小差分画素 位置情報が現フレーム付加情報格納メモリ 1422に順次出力される。
[0322] 図 35に戻り、動きべクトノレ決定部 400の処理について説明を続ける。図 36参照し て説明した付加情報演算部 1450からの特徴画素位置情報は、図 35に示す現フレ ーム付加情報メモリ 1422に入力される。フレーム処理ごとに付加情報は、前フレーム 付加情報メモリ 1423に移動する。
[0323] 現フレーム付加情報メモリ 1422に入力された現フレームメモリの付加情報、すなわ ち、注目画素に対応する 2つの特徴画素位置情報、すなわち注目画素との最大差分 を持つ画素位置情報と、注目画素との最小差分を持つ画素位置情報とが画素相関 判定部 1410の現フレームメモリ 1411に出力され、この出力情報に基づいて、この 2 点の画素情報が、近傍領域情報判定部 1430のレジスタ 1432に格納される。この画 素情報には画素位置情報が含まれる。
[0324] また、前フレーム付加情報メモリ 1423に入力された前フレームメモリの付加情報、 すなわち、すなわち注目画素との最大差分を持つ画素位置情報と、注目画素との最 小差分を持つ画素位置情報とが画素相関判定部 1410の前フレームメモリ 1412に 出力される。前フレームメモリ 1412には、さらに候補ベクトル抽出部から n個の候補 ベクトル情報が入力され、候補ベクトル情報によって指示される各画素毎に決定され る近傍領域力 2つの特徴画素が特定され、 n X 2の特徴画素情報が近傍領域情報 判定部 1430のレジスタ 1431に格納される。この画素情報には画素位置情報が含ま れる。
[0325] レジスタ 1431に格納された n X 2の特徴画素情報は、ゲート 1433を介し相関判定 部 1434に出力される。ゲート 1433では、 n個の候補ベクトルから仮判定部 1421に おける仮判定処理によって選別された選別候補ベクトルに基づいて、選別候補べタト ルに対応する画素の近傍領域の特徴画素情報のみが相関判定部 1434に出力され る。
[0326] 一方、着目画素の特徴画素情報は、直接相関判定部 1434に出力される。相関判 定部 1434では、これらの特徴画素の相関判定処理を行い、選別候補ベクトルから唯 一の動きベクトルを決定する。
[0327] 相関判定部 1434における動きベクトル決定処理について、図 38を参照して説明 する。図 38に示すのは、先に図 28を参照して説明したと同様の入力フレーム（現フ レーム）画像データ 1500と、過去フレーム（前フレーム）画像データ 1510である。
[0328] 入力フレーム（現フレーム）画像データ 1500には、先に図 28を参照して説明した 仮判定部による候補ベクトル選別処理によって選別された候補ベクトル a, c, eを示し てある。
[0329] 近傍領域情報判定部 1430における相関判定部 1433は、過去フレーム（前フレー ム）画像データ 1510から選択した着目画素、すなわち、動きベクトルを対応付ける画 素としての着目画素 1511の近傍領域における特徴画素位置データに基づいて、候 補ベクトル a, c, e力ら 1つの動きベクトルを決定する。
[0330] 図 38に示す例において、着目画素 1511の近傍領域は、 2次元のブロック領域とし ている。この近傍領域の設定は、任意であり、前述の 2点マッチングと同様、水平方 向の一次元領域に設定してもよい。
[0331] 着目画素 1511の画素位置を中心にしたとき、注目画素と最大差分画素となる画素 位置である空間勾配最大画素 1512と、注目画素と最小差分画素となる画素位置で ある空間勾配最小画素 1513が決定する。
[0332] 一方、入力フレーム（現フレーム） 1500においても、各選別候補べクトノレによって指 示される画素を中心として設定される画素領域、すなわち選別候補ベクトル aによつ て設定される画素領域 1501、選別候補ベクトル cによって設定される画素領域 1502
、選別候補ベクトル eによって設定される画素領域 1503それぞれにおいて、中心画 素との最大差分画素となる画素位置である空間勾配最大画素と、中心画素と最小差 分画素となる画素位置である空間勾配最小画素が決定する。
[0333] 相関判定部 1433では、着目画素 1511の近傍領域の特徴画素位置と、選別候補 ベクトル a, c, eの指示する対応画素位置の近傍領域における特徴画素位置の相関 を判定する。
[0334] 図に示す例では、選別候補ベクトル aの指示する近傍領域 1501は、着目画素 151 1の近傍領域の特徴画素位置に対応する位置となっており、他の 2つの選別候補べ タトル c, eの指示する近傍領域 1502, 1503は、着目画素 1511の近傍領域の特徴 画素位置に対応する位置となっていない。
[0335] この結果、着目画素 1511に対応する動きベクトルとして、候補ベクトル aが選択決 定される。
[0336] 相関判定部 1433は、このような処理をフレームの構成画素について順次、着目画 素として設定し、設定した着目画素毎に上述と同様の近傍領域の特徴画素位置の 相関判定処理を実行し、フレーム構成画素各々に対応する動きベクトルを選別候補 ベクトルから選択して決定する。 [0337] このように、図 35に示す動きベクトル決定部 400では、着目画素の近傍領域の画 素値に基づいて、 2つの特徴画素位置を特定し、着目画素の近傍領域における特徴 画素の着目画素位置に対応する相対位置と、仮判定部 1221によって選別された候 補ベクトルの指示する画素の近傍領域の特徴画素位置との相関を判定し、最も相関 の高い特徴画素位置を持つ画素を指示する候補ベクトルを着目画素に対応する動 きべクトノレとして決定する。
[0338] 以上の動きベクトル決定処理シーケンスについて、図 39に示すフローチャートを参 照して説明する。図 39に示すフローは、 1つの着目画素に対する動きベクトルの決定 処理であり、フレーム画像の構成画素のすべてについて動きベクトルの決定を行なう 場合は、フレーム画像の構成画素を順次、着目画素として設定し図 39に示すフロー を各着目画素毎に実行する。
[0339] まず、ステップ S1301において実行する処理は、着目画素と、 n個の候補ベクトル によって指示される画素との差分絶対値、すなわち MC残差 dnを算出する処理であ る。この処理は、図 35の動きベクトル決定部 400の画素相関判定部 1410において 実行される。
[0340] ステップ S1302— S1304は、仮判定部 1421における処理である。仮判定部 1421 は、ステップ S1302において、 n個の差分絶対値（MC残差） [di]を入力し、 n個の M C残差の最小値： dminを検出する。
[0341] ステップ S1303で、 i=0 (0≤i<n)の初期設定を行レ、、ステップ S1304におレヽて、 予め定められた閾値を THとして、
di?dmin≤TH
を満たすか否力 ^判定する。
[0342] ステップ S1304において実行する処理は、先に図 28を前述した候補ベクトルから の選別処理として実行する仮判定処理である。 di?dmin≤THを満足しないと判定し た場合は、選別候補ベクトルではないと判定され、ステップ S1305、 S1306、 S130 7で実行する注目画素の近傍領域の特徴画素位置に基づく相関判定を行なうことな く、ステップ S1308に進む。
[0343] ステップ S1304において実行する仮判定処理において、 di?dmin≤THを満足す る場合、選別候補ベクトルとして選択され、ステップ S1305に進む。
[0344] ステップ S1305では、特徴画素位置の相関性を判定する。この処理は、先に図 36 を参照して説明したように、着目画素の近傍領域における 2つの特徴画素の位置と、 選別候補ベクトルとして選択された画素の近傍領域の 2つの特徴画素位置の相関、 すなわち位置の対応があるか否かを判定する処理である。
[0345] ステップ S1306では、相関のより高レ、ものを選択する処理を実行し、ステップ S130 7において、 iの値に基づいて、すべての候補べタトノレの検証が済んだか否かを判定 し、済んでいない場合は、ステップ S1310に進み、 iの値を更新（1インクリメント）して 、ステップ S 1304以下の処理を繰り返し実行する。
[0346] すべての候補ベクトルについての検証が終了すると、ステップ S1308に進み、その 時点で、選択されている最も相関の高い、すなわち、ステップ S1305において算出し た着目画素の近傍領域における 2つの特徴画素の位置と、選別候補ベクトルとして 選択された画素の近傍領域の特徴画素位置の相関の高いものに対応する候補べク トルを、処理対象としての注目画素に対応する動きベクトルとして決定する。
[0347] 上述したように、本実施例における 3点マッチング方式による動きベクトル決定処理 では、候補ベクトルから動きベクトルの決定処理において、ブロックマッチング処理を 行なうことなぐ着目画素とその近傍の 2つの特徴画素位置情報を用いる構成である 。従ってブロックマッチング処理において適用するブロックの大きに応じた多数の画 素値に基づく相関算出計算を行なう必要がなり、効率的な処理が可能となる。
[0348] 上述の実施例では、現フレームと前フレームの 2つの特徴画素位置を適用して位 置情報に基づき相関判定を行なったが、着目画素に対応する特徴画素位置におけ る画素値に基づく相関判定処理を行なう構成としてもよい。すなわち着目画素と、そ の近傍領域における 2つの特徴画素の画素値を用いて、計 3点のみを用いたブロッ クマッチングを行なう構成である。この処理シーケンスについて、図 40を参照して説 明する。
[0349] 図 40は、先に説明した図 38と同様、入力フレーム（現フレーム）画像データ 1600と
、過去フレーム（前フレーム）画像データ 1610である。
[0350] 入力フレーム（現フレーム）画像データ 1600には、先に図 28を参照して説明した 仮判定部による候補ベクトル選別処理によって選別された候補ベクトル a, c, eを示し てある。
[0351] 近傍領域情報判定部 1430における相関判定部 1433は、過去フレーム（前フレー ム）画像データ 1510から選択した着目画素、すなわち、動きベクトルを対応付ける画 素としての着目画素 1511の近傍領域における特徴画素位置データに基づいて、候 補ベクトル a, c, e力、ら 1つの動きベクトルを決定する。
[0352] 図 40に示す例において、着目画素 1611の近傍領域は、 2次元のブロック領域とし ている。この近傍領域の設定は、任意であり、前述の 2点マッチングと同様、水平方 向の一次元領域に設定してもよい。
[0353] 着目画素 1611の画素位置を中心にしたとき、注目画素と最大差分画素となる画素 位置である空間勾配最大画素 1612と、注目画素と最小差分画素となる画素位置で ある空間勾配最小画素 1613が決定する。
[0354] 一方、入力フレーム（現フレーム） 1600においては、各選別候補ベクトルによって 指示される画素を中心として設定される画素領域、すなわち選別候補ベクトル aによ つて設定される画素領域 1601、選別候補ベクトル cによって設定される画素領域 16 02、選別候補ベクトル eによって設定される画素領域 1603それぞれにおいて、過去 フレームにおいて検出された注目画素 1611に対する空間勾配最大画素 1612と、 空間勾配最小画素 1613の各位置に対応する画素がピックアップされて、図 35に示 す近傍領域情報相関判定部 1430に出力される。
[0355] 図 40に示すように、各選別候補ベクトル a, c, eによって指示される各画素領域 16 01 , 1602, 1603力ら、過去フレームにおレヽて検出された注目画素 1611に対する 空間勾配最大画素 1612と、空間勾配最小画素 1613の各位置に対応する画素がピ ックアップされ相関判定を行なう。
[0356] すなわち、図 35に示す近傍領域情報相関判定部 1430において、これらの画素間 の画素値相関判定を実行する。すなわち、注目画素 1611に対する空間勾配最大画 素 1612と、空間勾配最小画素 1613の各位置の画素と、各画素領域 1601 , 1602, 1603の対応位置の画素値との相関判定を行なう。なお、中心画素については、仮 判定部 1421において相関判定が実行されており、結果として、 3点のみを利用した マッツチング処理結果が得られ、この 3点マッチング処理によって最も相関の高いと 判定されたデータに対応する選別候補ベクトルが、着目画素に対応する動きべ外ル として決定される。
[0357] 図 41に上記手法による動きべクトノレ決定処理フローを示す。図 41に示す処理フロ 一中、ステップ S1401 S1404の処理は、先に図 39を参照して説明した処理フロ 一のステップ S1301— S1304の処理と同様であり、仮判定部における選別候補べク トルが抽出される処理である。
[0358] ステップ S 1405では、 3画素によるブロックマッチングを実行する。すなわち、図 40 を参照して説明したように、選別候補ベクトルによって指示される各画素領域から、過 去フレームにおいて検出された注目画素に対する空間勾配最大画素と、空間勾配 最小画素の各位置に対応する画素がピックアップされて相関が判定される。中心画 素、すなわち注目画素位置に対応する画素相関情報については、仮判定部の判定 結果を参照する。
[0359] これらの 3点のマッチング検証によって相関判定が実行されて、最も高い相関を示 すベクトルを注目画素対応の動きベクトルとして決定する。ステップ S 1406— S 1408 , S1410の処理は、先に図 39を参照して説明した処理フローのステップ S1306— S 1308、 S1310と同様の処理であり説明を省略する。
[0360] このように、 3点マッチング方式を適用した候補ベクトルから動きべタトノレの決定処 理では、注目画素近傍（ブロック）内の全ての画素を適用した相関判定を行なうことな ぐ着目画素とその近傍の 2つの特徴画素位置情報や画素値情報を用いる構成であ る。従ってブロックマッチング処理において適用するブロックの大きさに応じた多数の 画素値に基づく相関算出計算を行なう必要がなくなり、効率的な処理が可能となる。
[0361] なお、上述した 2つの処理、すなわち、図 39を参照して説明した特徴画素位置の 相関情報を利用した相関判定による動きベクトル決定処理と、図 41を参照して説明 した画素値の相関情報を利用した相関判定による動きべ外ル決定処理を併用した 処理も可能である。
[0362] 図 42に特徴画素位置の相関情報を利用した相関判定と、画素値の相関情報を利 用した相関判定による動きべ外ル決定処理を併用した処理シーケンスを説明するフ ローを示す。
[0363] 図 42に示す処理フロー中、ステップ S1501— S1504の処理は、先に図 39を参照 して説明した処理フローのステップ S1301— S1304の処理と同様であり、仮判定部 における選別候補ベクトルが抽出される処理である。
[0364] ステップ S1505では、特徴画素位置の相関性を判定する。この処理は、先に図 36 を参照して説明したように、着目画素の近傍領域における 2つの特徴画素の位置と、 選別候補ベクトルとして選択された画素の近傍領域の 2つの特徴画素位置の相関、 すなわち位置の対応があるか否かを判定する処理である。
[0365] 次に、ステップ S1506におレヽて、 3画素によるブロックマッチングを実行する。すな わち、図 40を参照して説明したように、選別候補ベクトルによって指示される各画素 領域から、過去フレームにおいて検出された注目画素に対する空間勾配最大画素と 、空間勾配最小画素の各位置に対応する画素がピックアップされて相関が判定され る。中心画素、すなわち注目画素位置に対応する画素相関情報については、仮判 定部の判定結果を参照する。
[0366] ステップ S 1507では、ステップ S 1505の相関半 IJ定と、ステップ S 1506の相関判定 の両者を考慮して最も高レ、相関を示すベクトルを選択する。ステップ S 1508— S 151 0の処理は、先に図 39を参照して説明した処理フローのステップ S1307— S1308、 S1310と同様の処理であり説明を省略する。
[0367] このように、画素位置の相関と、 3点マッチング方式を適用した候補ベクトルから動 きべタトノレの決定処理においても、注目画素近傍（ブロック）内の全ての画素を適用し た相関判定を行なう必要はなぐきわめて少ない画素情報を用いるのみの構成であり 、ブロックマッチング処理において適用するブロックの大きに応じた多数の画素値に 基づく相関算出計算を行なう必要がなり、効率的な処理が可能となる。
[0368] 以上、特定の実施例を参照しながら、本発明につレ、て詳解してきた。しかしながら、 本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ること は自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的 に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の 欄を参酌すべきである。 [0369] なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、 あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理 を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに 組み込まれたコンピュータ内のメモリにインストールして実行させる力、、あるいは、各 種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させること が可能である。
[0370] 例えば、プログラムは記録媒体としてのハードディスクや ROM (Read Only
Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルデイス ク、 CD— R〇M(Compact Disc Read Only Memory), MO(Magneto optical)ディスク， DVD(Digital Versatile Disc),磁気ディスク、半導体メモリなどのリムーバブル記録媒 体に、一時的あるいは永続的に格納（記録)しておくことができる。このようなリムーバ ブル記録媒体は、レ、わゆるパッケージソフトウェアとして提供することができる。
[0371] なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインス トールする他、ダウンロードサイトから、コンピュータに無線転送したり、 LAN(Local Area Network),インターネットといったネットワークを介して、コンピュータに有線で転 送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵する ハードディスク等の記録媒体にインストールすることができる。
[0372] なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみ ならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個 別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的 集合構成であり、各構成の装置が同一筐体内にあるものには限らない。 産業上の利用可能性
[0373] 以上、説明したように、本発明の構成によれば、代表点マッチング処理に基づく評 価値テーブルの生成において、代表点のみならず代表点近傍の画素レベルとしての 空間波形を考慮した相関判定処理を行なう構成であるので、より精度の高レ、評価値 テーブルの生成が可能となり、動きベクトル検出をより正確に実行することが可能とな る。
[0374] さらに、本発明の構成によれば、代表点画素の相関情報と、注目画素と注目画素 近傍領域画素の画素値差分データに対応するフラグデータに基づくフラグ相関情報 に基づいて、重み係数 Wを算出し、算出した重み係数 Wと、画像データの複雑性を 示す指標値としてのアクティビティ Aとに基づく算出値としての信頼度指数ひを生成 して、信頼度指数ひに対応する評価値を積算した評価値テーブルを生成する構成と した。本構成により、代表点と代表点近傍の画素値の差分を考慮して重みが設定さ れた評価値に基づく評価値テーブルを生成することが可能となり、より精度の高い評 価値テーブルの生成が可能となり、動きベクトル検出をより正確に実行することが可 能となる。
[0375] さらに、本発明の構成によれば、注目画素と注目画素近傍領域画素の画素値差分 データに対応するフラグデータを、画素値差分データより少ないビット数として算出す る処理を実行する構成としたのでフラグ相関算出処理の演算を少ないビット数データ の処理として実行することが可能となり、処理速度を落とすことなく精度の高い評価値 テーブルの生成が可能となり、動きベクトル検出をより正確に実行することが可能とな る。従って、動画像データの符号ィ匕処理などを実行する画像処理装置などに本発明 を適用することにより、効率的な動きベクトル検出処理が可能となり、装置の小型化も 達成される。
[0376] さらに、本発明の構成によれば、代表点マッチング処理に基づく評価値テーブルの 生成において、代表点と代表点近傍の画素との動き類似性を判定し、動き類似性が ある場合には、相関判定結果の信頼性が高いと判断して、信頼度指数 を算出し、 信頼度指数 i3に基づく評価値を積算した評価値テーブル生成処理を行なう構成で あるので、より精度の高い評価値テーブルの生成が可能となり、動きベクトル検出をよ り正確に実行することが可能となる。
[0377] 本発明の構成によれば、代表点と該代表点の近傍代表点との動き類似性を検出し 、動き類似性ありとの判定がなされたことを条件として、代表点と近傍代表点との画素 値差分を考慮した信頼度指数 /3を生成して、信頼度指数 ^に対応する評価値を積 算した評価値テーブルを生成する構成であり、
(a)近傍代表点の動きの一致数もしくは類似数
(b)動きが一致もしくは類似した代表点との空間勾配 (c)動きが一致もしくは類似した時の代表点間の距離
これらのパラメータを考慮した信頼度指数 j3を算出し、この信頼度指数 に基づく 評価値を積算した評価値テーブル生成処理を行なう構成であるので、より精度の高 い評価値テーブルの生成が可能となり、動きベクトル検出をより正確に実行すること が可能となる。
[0378] さらに、本発明の構成によれば、上述の信頼度指数 βに加えて、さらに、注目画素 と注目画素近傍領域画素の画素値差分データに対応するフラグデータに基づくフラ グ相関情報に基づいて、重み係数 Wを算出し、算出した重み係数 Wと、画像データ の複雑性を示す指標値としてのアクティビティ Αとに基づく算出値としての信頼度指 数ひを生成して、信頼度指数ひと信頼度指数 βを考慮した信頼度指数 Κ= α + β に対応する評価値を積算した評価値テーブルを生成する構成としたので、代表点と 代表点近傍の画素値の差分についても考慮した評価値に基づく評価値テーブルを 生成することが可能となり、より精度の高い評価値テーブルの生成が可能となり、動き ベクトル検出をより正確に実行することが可能となる。従って、動画像データの符号化 処理などを実行する画像処理装置などに本発明を適用することにより、効率的な動き ベクトル検出処理が可能となり、装置の小型化も達成される。
[0379] さらに、本発明の構成によれば、動画像データからの動きベクトル検出処理におい て、各画素対応の動きベクトルを複数の候補ベクトルから選択決定する処理にぉレ、 て、動きベクトルを対応付ける着目画素の近傍領域から特徴画素を抽出し、その特 徴画素の位置情報、または画素値情報に基づいて相関判定を実行し、動きベクトル の決定処理を行なう構成としたので、ブロックマッチング処理を適用する必要がなぐ 相関算出のための演算として差分絶対値総和演算などの評価値計算両を削減する ことができ、処理効率が向上し、また、画素値を保持するためのメモリも小さくすること が可能となりハードウェア規模の小型化が実現される。従って、動画像データの符号 化処理などを実行する画像処理装置などにおいて本発明を適用することにより、より 正確な動きベクトル検出処理が可能となる。

Claims

請求の範囲
[1] 動画像データから動きベクトルを検出する動きベクトル検出装置であり、
時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テープ ルを生成する評価値テーブル形成部と、
前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動き ベクトルを検出して対応付ける動きベクトル決定部とを有し、
前記評価値テーブル形成部は、
時間軸上における異なるフレーム間の相関情報の算出を、一方のフレームから選 択した代表点に基づく代表点マッチング処理に基づいて実行する画素相関演算部と 前記画素相関演算部の演算結果、および注目画素と注目画素周辺の画素との画 素値差分値に基づく演算結果の少なくともいずれかの結果を適用して動きの信頼度 指数を生成する重み算出部と、
前記重み算出部の算出した信頼度指数に対応する評価値を積算し評価値テープ ルを生成する評価値テーブル算出部と、
を有することを特徴とする動きべ外ル検出装置。
[2] 前記注目画素に対応する前記代表点と該代表点の近傍代表点との動き類似性を 検出する動き類似性検出部を更に備え、
前記重み算出部は、
前記動き類似性検出部の検出結果として、前記代表点と近傍代表点との動き類似 性ありとの判定に基づいて、前記代表点と近傍代表点との画素値差分を考慮して動 きの信頼度指数を生成することを特徴とする請求項 1に記載の動きベクトル検出装置
[3] 前記重み算出部は、
代表点間の動き類似性ありとの判定を前記動き類似性検出部から入力したことを条 件として、着目代表点の輝度レベル: Pm、類似動きありと判定された N個の近傍代 表点の輝度レベル: Pnに基づいて、前記信頼度指数を とすると、下式、
[数 1]
Figure imgf000074_0001
n
によって算出する構成であることを特徴とする請求項 2に記載の動きベクトル検出 装置。
[4] 前記動きベクトル検出装置は、さらに、
前記画素相関演算部からの代表点マッチング処理に基づく相関有無の判定結果と 、前記重み算出部からの信頼度指数を入力する演算部を有し、
前記演算部は、前記画素相関演算部からの代表点マッチング処理に基づく相関有 無の判定結果と、前記信頼度指数との加算または乗算処理を実行し、最終評価値を 算出し、前記評価値テーブル算出部に出力する構成であることを特徴とする請求項 2に記載の動きベクトル検出装置。
[5] 前記重み算出部は、
代表点間の動き類似性ありとの判定を前記動き類似性検出部から入力したことを条 件として、前記信頼度指数を以下のパラメータ、すなわち、
(a)近傍代表点の動きの一致数もしくは類似数
(b)動きが一致もしくは類似した代表点との空間勾配
(c)動きが一致もしくは類似した時の代表点間の距離
上記（a)— (c)の少なくともレ、ずれ力を反映した値として算出する構成であることを 特徴とする請求項 2に記載の動きベクトル検出装置。
[6] 前記評価値テーブル形成部は、さらに、
前記代表点が静止領域にあるか否かを判定する代表点静止判定部を有し、 前記重み算出部は、
前記代表点静止判定部において、前記代表点が静止領域にあると判定された場 合に、前記信頼度指数の値を 0または低下させて設定する処理を実行する構成であ ることを特徴とする請求項 2に記載の動きベクトル検出装置。
[7] 前記評価値テーブル形成部は、さらに、
注目画素と注目画素近傍領域画素の画素値差分データに対応するフラグデータ
Figure imgf000075_0001
前記フラグデータに基づいてフレーム間のフラグデータ相関情報の算出処理を実 行するフラグ相関演算部とを有し、
前記重み算出部は、
前記画素相関演算部の演算結果に基づく画素相関情報、および前記フラグ相関 演算部の演算結果に基づくフラグ相関情報の少なくともいずれかの結果を適用して 重み係数 Wを算出し、該重み係数 Wに基づく算出値としての信頼度指数を生成し、 前記代表点と近傍代表点との画素値差分を考慮した信頼度指数と、前記重み係数 Wに基づく算出値としての信頼度指数とに基づいて新たな信頼度指数 Kを算出する 構成であり、
前記評価値テーブル算出部は、前記重み算出部の算出した新たな信頼度指数 K に対応する評価値を積算し評価値テーブルを生成する構成であることを特徴とする 請求項 2に記載の動きべ外ル検出装置。
[8] 前記注目画素と前記注目画素周辺の画素との画素値差分データに対応するフラ グデータを生成するフラグデータ演算部と、
前記フラグデータに基づいてフレーム間のフラグデータ相関情報の算出処理を実 行するフラグ相関演算部とを更に備え、
前記重み算出部は、前記画素相関演算部の演算結果に基づく画素相関情報、お よび前記フラグ相関演算部の演算結果に基づくフラグ相関情報の少なくともいずれ 力、の結果を適用して重み係数 Wを算出し、該重み係数 Wに基づく算出値としての信 頼度指数を生成することを特徴とする請求項 1に記載の動きベクトル検出装置。
[9] 前記フラグデータ演算部は、注目画素と注目画素近傍領域画素の画素値差分デ ータに対応するフラグデータを、画素値差分データより少ないビット数として算出する 処理を実行する構成であることを特徴とする請求項 8に記載の動きベクトル検出装置
[10] 前記重み算出処理部は、
前記画素相関演算部の演算結果に基づく画素相関情報から算出する重み係数と して、
少なくとも代表点画素の画素値と、前記注目画素およびその周辺画素でなる相関 判定対象画素の画素値の差分に基づいて算出する値 Wを重み係数 Wとする構成で あることを特徴とする請求項 1に記載の動きべ外ル検出装置。
[11] 前記重み算出処理部は、
前記画素相関演算部の演算結果に基づく画素相関情報と、前記フラグ相関演算 部の演算結果に基づくフラグ相関情報力 算出する重み係数として、代表点画素の 画素値: Xと代表点画素の 2つの隣接画素の画素値差分データに基づくフラグデー タ： X , X とし、相関判定対象画素の画素値 Y、と、該画素の 2つの隣接画素の画素 fO fl
値差分データに基づくフラグデータ: Υ
fO， Υ としたとき、 Xと Υの差分の大きさ、 X と fl fO
Y の差分の大きさ、 X と Υ の差分の大きさによって算出する値 Wを重み係数 Wとし fO fl fl
て算出する構成であることを特徴とする請求項 8に記載の動きべ外ル検出装置。
[12] 前記重み算出処理部は、
画像データの複雑性を示す指標値としてのアクティビティ Aを算出し、
該算出アクティビティ Aと、少なくとも代表点画素の画素値と、前記注目画素および その周辺画素でなる相関判定対象画素の画素値の差分の大きさに基づいて算出す る重み係数 wとに基づいて信頼度指数を算出する処理を実行する構成であることを 特徴とする請求項 1に記載の動きベクトル検出装置。
[13] 前記動きベクトル検出装置は、さらに、
前記評価値テーブルに基づいて 1以上の候補ベクトルを抽出する候補ベクトル抽 出部を有し、
前記動きベクトル決定部は、
動画像データのフレーム構成画素各々に対応する動きベクトルを、前記候補べタト ルから選択して対応付ける処理を実行する構成であることを特徴とする請求項 1に記 載の動きべ外ル検出装置。
[14] 前記動きベクトル決定部は、 動きベクトルを対応付ける着目画素の近傍領域から特徴画素を抽出し、該特徴画 素に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定する 構成であることを特徴とする請求項 13に記載の動きべクトノレ検出装置。
[15] 前記動きベクトル決定部は、
動きベクトルを対応付ける着目画素の画素値と、前記候補ベクトルによって指示さ れる画素の画素値との相関判定を実行して、前記候補ベクトルから相関の高いもの のみを選別する処理を実行する仮判定部を有し、
前記特徴画素に基づく相関判定処理は、前記仮判定部によって選別された選別 候補ベクトルのみを対象とした処理として実行する構成であることを特徴とする請求 項 14に記載の動きべクトノレ検出装置。
[16] 前記動きベクトル決定部は、
動きベクトルを対応付ける着目画素の近傍領域から特徴画素を抽出し、該特徴画 素の位置情報に基づく相関判定処理に基づいて、着目画素に対応する動きベクトル を決定する構成であることを特徴とする請求項 14に記載の動きベクトル検出装置。
[17] 前記動きベクトル決定部は、
動きベクトルを対応付ける着目画素の近傍領域から特徴画素を抽出し、該特徴画 素の画素値情報に基づく相関判定処理に基づいて、着目画素に対応する動きべタト ルを決定する構成であることを特徴とする請求項 14に記載の動きベクトル検出装置。
[18] 前記動きベクトル決定部は、
動きベクトルを対応付ける着目画素の近傍領域から隣接画素との画素値差分絶対 値が最大の画素を特徴画素として抽出し、該特徴画素の位置情報に基づく相関判 定処理に基づいて、着目画素に対応する動きベクトルを決定する構成であることを特 徴とする請求項 14に記載の動きベクトル検出装置。
[19] 前記動きベクトル決定部は、
動きベクトルを対応付ける着目画素の近傍領域から着目画素との画素値差分絶対 値が最大の画素を特徴画素として抽出し、該特徴画素の画素値情報に基づく相関 判定処理に基づいて、着目画素に対応する動きベクトルを決定する構成であることを 特徴とする請求項 14に記載の動きべ外ル検出装置。
[20] 前記動きベクトル決定部は、
動きベクトルを対応付ける着目画素の近傍領域力 複数の特徴画素を抽出し、該 複数の特徴画素に基づく相関判定処理に基づいて、着目画素に対応する動きべタト ルを決定する構成であることを特徴とする請求項 14に記載の動きベクトル検出装置。
[21] 前記動きベクトル決定部は、
動きベクトルを対応付ける着目画素の近傍領域から着目画素との画素値差分の最 大の画素と最小の 2つの画素を特徴画素として抽出し、該 2つの特徴画素に基づく 相関判定処理に基づいて、着目画素に対応する動きベクトルを決定する構成である ことを特徴とする請求項 20に記載の動きベクトル検出装置。
[22] 前記動きベクトル決定部は、
前記 2つの特徴画素の位置情報に基づく相関判定処理に基づいて、着目画素に 対応する動きベクトルを決定する構成であることを特徴とする請求項 21に記載の動き ベクトル検出装置。
[23] 前記動きベクトル決定部は、
動きベクトルを対応付ける着目画素の近傍領域から着目画素との画素値差分の最 大の画素と最小の 2つの画素を特徴画素として抽出し、該 2つの特徴画素と着目画 素とを含む 3画素に基づく相関判定処理に基づいて、着目画素に対応する動きべク トルを決定する構成であることを特徴とする請求項 20に記載の動きベクトル検出装置
[24] 前記動きベクトル決定部は、
動きベクトルを対応付ける着目画素の近傍領域から 2点の特徴画素として抽出し、 該 2つの特徴画素と着目画素とを含む 3画素の画素値に基づく相関判定処理に基づ いて、着目画素に対応する動きベクトルを決定する構成であることを特徴とする請求 項 20に記載の動きべクトノレ検出装置。
[25] 動画像データから動きベクトルを検出する動きベクトル検出方法であり、
時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テープ ルを生成する評価値テーブル作成ステップと、
前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動き ベクトルを検出して対応付ける動きベクトル検出ステップとを有し、
前記評価値テーブル作成ステップは、
時間軸上における異なるフレーム間の相関情報の算出を、一方のフレームから選 択した代表点に基づく代表点マッチング処理に基づいて実行する画素相関演算ス テツプと、
前記画素相関演算ステップにおける演算結果、および注目画素と注目画素周辺の 画素との画素値差分値に基づく演算結果の少なくともいずれかの結果を適用して動 きの信頼度指数を生成する重み算出ステップと、
算出した信頼度指数に対応する評価値を積算し評価値テーブルを生成する評価 値テーブル算出ステップと、
を有することを特徴とする動きベクトル検出方法。
動画像データから動きベクトルを検出するコンピュータ 'プログラムであり、 時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テープ ルを生成する評価値テーブル作成ステップと、
前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動き ベクトルを検出して対応付ける動きベクトル検出ステップとを有し、
前記評価値テーブル作成ステップは、
時間軸上における異なるフレーム間の相関情報の算出を、一方のフレームから選 択した代表点に基づく代表点マッチング処理に基づいて実行する画素相関演算ス テツプと、
前記画素相関演算ステップにおける演算結果、および注目画素と注目画素周辺の 画素との画素値差分値に基づく演算結果の少なくともいずれかの結果を適用して動 きの信頼度指数を生成する重み算出ステップと、
算出した信頼度指数に対応する評価値を積算し評価値テーブルを生成する評価 値テーブル算出ステップと、
を有することを特徴とするコンピュータ 'プログラム。
PCT/JP2005/002786 2004-03-01 2005-02-22 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム WO2005084036A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020067016529A KR101098394B1 (ko) 2004-03-01 2006-08-17 움직임 벡터 검출 장치 및 움직임 벡터 검출 방법

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2004056255A JP4626158B2 (ja) 2004-03-01 2004-03-01 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
JP2004-056255 2004-03-01
JP2004-056257 2004-03-01
JP2004056256A JP4622264B2 (ja) 2004-03-01 2004-03-01 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
JP2004-056256 2004-03-01
JP2004056257A JP4622265B2 (ja) 2004-03-01 2004-03-01 動きベクトル検出装置、および動きベクトル検出方法、並びにプログラム

Publications (1)

Publication Number Publication Date
WO2005084036A1 true WO2005084036A1 (ja) 2005-09-09

Family

ID=34916091

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/002786 WO2005084036A1 (ja) 2004-03-01 2005-02-22 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム

Country Status (3)

Country Link
US (1) US8064522B2 (ja)
KR (1) KR101098394B1 (ja)
WO (1) WO2005084036A1 (ja)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1921867B1 (en) * 2006-10-17 2016-05-25 Harman Becker Automotive Systems GmbH Sensor assisted video compression
US8159605B2 (en) * 2007-07-13 2012-04-17 Fujitsu Limited Frame interpolating apparatus and method
WO2009032255A2 (en) * 2007-09-04 2009-03-12 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
JP5045320B2 (ja) * 2007-09-05 2012-10-10 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
US20090141802A1 (en) * 2007-11-29 2009-06-04 Sony Corporation Motion vector detecting apparatus, motion vector detecting method, and program
US8743952B2 (en) * 2007-12-18 2014-06-03 Vixs Systems, Inc Direct mode module with motion flag precoding and methods for use therewith
KR101540138B1 (ko) * 2007-12-20 2015-07-28 퀄컴 인코포레이티드 적응적 조사영역을 갖는 모션추정 장치 및 방법
KR101536794B1 (ko) * 2007-12-20 2015-07-14 퀄컴 인코포레이티드 후광현상이 줄어든 영상보간 장치 및 방법
US8351509B1 (en) * 2007-12-21 2013-01-08 Dimension, Inc. Video codec systems and methods for optimal motion vector with variable size blocks
WO2009096169A1 (ja) * 2008-01-29 2009-08-06 Panasonic Corporation モータ制御特性評価装置およびモータ制御特性の提示方法
US8331696B2 (en) * 2008-02-14 2012-12-11 Nec Corporation Update region detection device
JP5333440B2 (ja) * 2008-03-28 2013-11-06 日本電気株式会社 処理システム、画像処理方法および画像処理用プログラム
JP2010011016A (ja) * 2008-06-26 2010-01-14 Sony Corp 追尾点検出装置および方法、プログラム、並びに記録媒体
KR101364195B1 (ko) 2008-06-26 2014-02-21 에스케이텔레콤 주식회사 움직임벡터 부호화/복호화 방법 및 그 장치
TWI470578B (zh) * 2008-06-26 2015-01-21 Mstar Semiconductor Inc 計算用於待插補影像區塊之目標移動向量的影像處理方法及其相關裝置
JP4697276B2 (ja) * 2008-07-30 2011-06-08 ソニー株式会社 動きベクトル検出装置、動きベクトル検出方法及びプログラム
JP4748191B2 (ja) * 2008-07-30 2011-08-17 ソニー株式会社 動きベクトル検出装置、動きベクトル検出方法及びプログラム
JP4697275B2 (ja) * 2008-07-30 2011-06-08 ソニー株式会社 動きベクトル検出装置、動きベクトル検出方法及びプログラム
JP5245783B2 (ja) * 2008-12-09 2013-07-24 富士通株式会社 フレーム補間装置、方法、及びプログラム、フレームレート変換装置、映像再生装置、映像表示装置
JP2010114596A (ja) * 2008-11-05 2010-05-20 Sony Corp 動きベクトル検出装置、その処理方法およびプログラム
CN101739400B (zh) * 2008-11-11 2014-08-13 日电（中国）有限公司 生成索引的方法和装置以及检索方法和装置
US8509552B1 (en) * 2009-03-09 2013-08-13 Marvell International Ltd. Digital image processing error concealment method
JP2010288098A (ja) * 2009-06-12 2010-12-24 Sony Corp 画像フレーム補間装置、画像フレーム補間方法及び画像フレーム補間プログラム
JP5538967B2 (ja) 2009-06-18 2014-07-02 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
BR112012000002B1 (pt) * 2009-07-03 2021-11-23 France Telecom Método para predizer um vetor de movimento de uma partição de imagem corrente, método para codificar uma imagem, método para decodificar um fluxo de dados representativo de uma imagem, dispositivo para predizer um vetor de movimento de uma partição de imagem corrente, dispositivo para codificar uma imagem e dispositivo para decodificar um fluxo de dados
US8537283B2 (en) 2010-04-15 2013-09-17 Qualcomm Incorporated High definition frame rate conversion
US8670073B2 (en) * 2010-08-02 2014-03-11 Broadcom Corporation Method and system for video noise filtering
JP5639444B2 (ja) * 2010-11-08 2014-12-10 キヤノン株式会社 動きベクトル生成装置、動きベクトル生成方法及びコンピュータプログラム
US9516389B1 (en) * 2010-12-13 2016-12-06 Pixelworks, Inc. On screen display detection
TWI444049B (zh) * 2011-01-18 2014-07-01 Univ Nat Chiao Tung 畫面估測系統及其估測方法
JP2012151796A (ja) * 2011-01-21 2012-08-09 Sony Corp 画像処理装置と画像処理方法およびプログラム
US9532050B2 (en) * 2011-01-25 2016-12-27 Sun Patent Trust Moving picture coding method and moving picture decoding method
JP5887770B2 (ja) * 2011-09-05 2016-03-16 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
KR101544390B1 (ko) 2013-06-26 2015-08-17 에스케이텔레콤 주식회사 움직임벡터 부호화/복호화 방법 및 그 장치
KR101567963B1 (ko) * 2014-01-03 2015-11-11 에스케이텔레콤 주식회사 움직임벡터 부호화/복호화 방법 및 그 장치
KR101567990B1 (ko) * 2014-01-03 2015-11-11 에스케이텔레콤 주식회사 움직임벡터 부호화/복호화 방법 및 그 장치
KR101567964B1 (ko) * 2014-01-03 2015-11-11 에스케이텔레콤 주식회사 움직임벡터 부호화/복호화 방법 및 그 장치
CN104899853B (zh) 2014-03-04 2019-12-06 腾讯科技（深圳）有限公司 图像区域的划分方法及装置
JP6223899B2 (ja) * 2014-04-24 2017-11-01 株式会社東芝 動きベクトル検出装置、距離検出装置および動きベクトル検出方法
US10140827B2 (en) 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
US9170707B1 (en) 2014-09-30 2015-10-27 Google Inc. Method and system for generating a smart time-lapse video clip
US10127783B2 (en) 2014-07-07 2018-11-13 Google Llc Method and device for processing motion events
US9213903B1 (en) 2014-07-07 2015-12-15 Google Inc. Method and system for cluster-based video monitoring and event categorization
US9449229B1 (en) 2014-07-07 2016-09-20 Google Inc. Systems and methods for categorizing motion event candidates
US9501915B1 (en) * 2014-07-07 2016-11-22 Google Inc. Systems and methods for analyzing a video stream
USD782495S1 (en) 2014-10-07 2017-03-28 Google Inc. Display screen or portion thereof with graphical user interface
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
CN115278228A (zh) 2015-11-11 2022-11-01 三星电子株式会社 对视频进行解码的方法和对视频进行编码的方法
US10506237B1 (en) 2016-05-27 2019-12-10 Google Llc Methods and devices for dynamic adaptation of encoding bitrate for video streaming
US10380429B2 (en) 2016-07-11 2019-08-13 Google Llc Methods and systems for person detection in a video feed
US11783010B2 (en) 2017-05-30 2023-10-10 Google Llc Systems and methods of person recognition in video streams
US10664688B2 (en) 2017-09-20 2020-05-26 Google Llc Systems and methods of detecting and responding to a visitor to a smart home environment
JP7009252B2 (ja) * 2018-02-20 2022-01-25 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
KR102564334B1 (ko) * 2018-08-03 2023-08-08 엘지디스플레이 주식회사 영상 처리 장치 및 방법, 디스플레이 장치
US11523109B2 (en) * 2019-05-02 2022-12-06 Tencent America LLC Method and apparatus for improvements of affine prof
US11188756B2 (en) * 2019-10-16 2021-11-30 Realtek Singapore Private Limited Object localization and classification system and method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07118784B2 (ja) * 1984-10-27 1995-12-18 ソニー株式会社 テレビジヨン信号の動き検出方法
JP2001061152A (ja) * 1999-08-23 2001-03-06 Sony Corp 動き検出方法および動き検出装置
JP2002290977A (ja) * 2001-03-26 2002-10-04 Mitsubishi Electric Corp 動きベクトル検出装置
JP2003078807A (ja) * 2001-08-31 2003-03-14 Sony Corp 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2924609B2 (ja) 1993-10-26 1999-07-26 日本軽金属株式会社 鋼構造物防食用アルミニウム合金
KR0181031B1 (ko) 1995-03-20 1999-05-01 배순훈 움직임 보상된 인터폴레이션에서의 엣지 보상 장치
US6532264B1 (en) * 2000-03-27 2003-03-11 Teranex, Inc. Processing sequential video images to detect image motion among interlaced video fields or progressive video images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07118784B2 (ja) * 1984-10-27 1995-12-18 ソニー株式会社 テレビジヨン信号の動き検出方法
JP2001061152A (ja) * 1999-08-23 2001-03-06 Sony Corp 動き検出方法および動き検出装置
JP2002290977A (ja) * 2001-03-26 2002-10-04 Mitsubishi Electric Corp 動きベクトル検出装置
JP2003078807A (ja) * 2001-08-31 2003-03-14 Sony Corp 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置

Also Published As

Publication number Publication date
US8064522B2 (en) 2011-11-22
KR20060132911A (ko) 2006-12-22
US20060285596A1 (en) 2006-12-21
KR101098394B1 (ko) 2011-12-26

Similar Documents

Publication Publication Date Title
WO2005084036A1 (ja) 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
KR101141467B1 (ko) 화상 처리 장치 및 방법, 및 기록 매체
US8285045B2 (en) Image analysis method, medium and apparatus and moving image segmentation system
US7050502B2 (en) Method and apparatus for motion vector detection and medium storing method program directed to the same
KR101106419B1 (ko) 화상 처리 장치 및 방법, 및 기록 매체
JP5338684B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP5577793B2 (ja) 画像処理装置および方法、並びにプログラム
JP5163429B2 (ja) 動きベクトル検出装置、その処理方法およびプログラム
US20050180506A1 (en) Unit for and method of estimating a current motion vector
JP2010034997A (ja) 動きベクトル検出装置、動きベクトル検出方法及びプログラム
JP5429564B2 (ja) 画像処理装置および方法、並びにプログラム
JP4626158B2 (ja) 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
JP2011146827A (ja) 画像処理装置および方法、並びにプログラム
JP2009533887A (ja) 動きベクトル場修正装置及び方法
JP2009212605A (ja) 情報処理方法、情報処理装置及びプログラム
JP2011146826A (ja) 画像処理装置および方法、並びにプログラム
JP2011211629A (ja) 画像処理装置および方法、並びにプログラム
JP4525064B2 (ja) 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
JP4622264B2 (ja) 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
JP4622265B2 (ja) 動きベクトル検出装置、および動きベクトル検出方法、並びにプログラム
US9106926B1 (en) Using double confirmation of motion vectors to determine occluded regions in images
JP3175914B2 (ja) 画像符号化方法および画像符号化装置
US10063880B2 (en) Motion detecting apparatus, motion detecting method and program
JP4207764B2 (ja) 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
KR101403143B1 (ko) 컨텐츠에 대한 관객 그룹의 반응 판단 방법

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1020067016529

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 200580006359.9

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

WWP Wipo information: published in national office

Ref document number: 1020067016529

Country of ref document: KR

122 Ep: pct application non-entry in european phase