WO2004012450A1 - 記憶装置、信号処理装置、および画像信号処理装置、並びにそれらの方法 - Google Patents

記憶装置、信号処理装置、および画像信号処理装置、並びにそれらの方法 Download PDF

Info

Publication number
WO2004012450A1
WO2004012450A1 PCT/JP2003/009637 JP0309637W WO2004012450A1 WO 2004012450 A1 WO2004012450 A1 WO 2004012450A1 JP 0309637 W JP0309637 W JP 0309637W WO 2004012450 A1 WO2004012450 A1 WO 2004012450A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
signal processing
interest
feature amount
position information
Prior art date
Application number
PCT/JP2003/009637
Other languages
English (en)
French (fr)
Inventor
Tetsujiro Kondo
Kazushi Yoshikawa
Junichi Ishibashi
Seiji Wada
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to US10/490,208 priority Critical patent/US7800624B2/en
Priority to EP20030771418 priority patent/EP1526728B1/en
Priority to JP2004524306A priority patent/JP4337738B2/ja
Publication of WO2004012450A1 publication Critical patent/WO2004012450A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]

Definitions

  • the present invention relates to a storage device, a signal processing device, an image signal processing device, and a method thereof.
  • the present invention relates to a storage device, a signal processing device, an image signal processing device, and a signal processing device that can be applied to processing that requires matching, such as a motion detection device and an object search device used for a moving image compression device and the like. It is about the method. Background art
  • Signal matching processing particularly image signal matching processing, generally has a problem of a large amount of calculation.
  • the matching process there is a motion vector detection by block matching as described below.
  • one of the main technologies for efficiently performing moving image compression is motion detection for obtaining a motion vector indicating a motion of an image.
  • motion detection for obtaining a motion vector indicating a motion of an image.
  • Several methods have been proposed to determine this motion vector.
  • One of the main methods is the block matching algorithm.
  • FIG. 1 is a block diagram showing a configuration example of a motion detection device in a conventional image signal processing device employing a block matching algorithm.
  • the motion detection device 1 has frame memories 2 and 3 and a motion vector detection unit 4.
  • the information of the previous (previously input) frame memory 2 is stored in the frame memory 3, and the current (currently) input information is stored in the frame memory 2. That is, the information of the current frame Fc is stored in the frame memory 2 and the information of the reference frame Fr is stored in the frame memory 3.
  • FIG. 2 is a diagram for explaining an outline of the block matching algorithm. The outline of the algorithm is described below with reference to FIG.
  • the motion vector at the pixel of interest F c (X, y) in the current frame F c is the reference block range (LXL) centered on the pixel of interest F c (x, y).
  • LXL reference block range
  • step ST1 after the start of processing ST0, a search area SR based on the same position in the reference frame is determined from the position (X, y) of the target pixel.
  • step ST2 the maximum value of the operation expression is substituted for the initialization of a variable min that stores the minimum value of the operation result.
  • step ST3 the ability to count blocks in the search area SR Initialize the counter variable n to 1.
  • step S T 4 the variable sum for which the operation result is substituted is initialized to 0.
  • step ST5 the range of the reference block is LXL, the pixels in the block having the current frame Fc are Fc (i, j), and the pixels in the k-th block in the search area SR of the reference frame Fr.
  • F rk (i, j) be the sum of absolute differences from the corresponding pixels, that is, the operation shown in the following equation 1 is performed, and the operation result is substituted into sum.
  • step ST6 the magnitude relationship between the calculated sum of absolute differences sum and the minimum value of the sum of absolute differences min is determined. If the calculated sum of absolute differences sum is small, the process proceeds to step ST7. If the sum is large (including equality), the calculation result is not the minimum value. Proceed to. Step S T 7
  • step ST7 the minimum value min is updated to the operation result sum, and the count value n of the stroke is set as the motion vector number.
  • step ST8 if the block count value n is the total number of blocks in the search area SR, that is, if it is the last block, the process is terminated. If not, the process proceeds to ST9. Step ST 9
  • step ST9 the count value ⁇ of the block is incremented to ⁇ + 1, and the process proceeds to step ST4 to repeat the operation.
  • step ST10 a motion vector is obtained from the center pixel of the block of the block number stored in the motion number and (X, y), and is output.
  • a first aspect of the present invention is a storage device for storing information, comprising: an input / output unit for inputting or outputting the information; and a storage unit for storing the information.
  • the storage unit is controlled at least to an address corresponding to a feature of the data of interest in the predetermined signal, and the information is position information of the data of interest in the predetermined signal.
  • the storage device is a semiconductor device.
  • a signal processing apparatus for performing a matching process using a first signal including a plurality of first data and a second signal including a plurality of second data.
  • the first feature value extracting means for extracting the feature value which is the data of interest which is the data of the location of interest
  • the second signal is designated by the address corresponding to the feature value of each of the second data.
  • Storage means for storing the position information of the second data at the designated location, wherein the storage means stores an address corresponding to the feature amount of the data of interest. wo t / oi ⁇ 0 ⁇ d ⁇ by reading the positional information to the second data, the target de - the location information of the second data corresponding to the data is acquired.
  • the storage means stores the position information of the second data in advance.
  • the signal processing device further includes a second feature value extracting unit that extracts a feature value of each of the second data in the second signal.
  • the first feature amount extracting means further includes a second feature amount extracting means for extracting a feature amount of each of second data in the second signal.
  • the first and second signals are image signals.
  • the feature amount is extracted using a predetermined number of first or second data.
  • the feature quantity is a distribution of a predetermined number of values of the first and second data.
  • the first and second data are represented by a plurality of bits, and the feature amount is
  • the predetermined bit is a lower bit of the first or second data.
  • the feature quantity is a distribution of a predetermined number of requantized first and second data values.
  • the feature quantity is a distribution of the values of the first and second data after a predetermined number of adaptive quantizations.
  • the adaptive quantization is A D R C.
  • the position information closest to the position of the data of interest is read as the The position information of the second data corresponding to the data.
  • a third aspect of the present invention is an image signal processor for detecting a motion vector using a first image signal including a plurality of first data and a second image signal including a plurality of 2 data.
  • a target data which is data of a target position
  • First feature value extracting means for extracting a feature value as data, and location information of the second data at a location designated by an address corresponding to the feature value of each of the second data.
  • the motion vector calculation means preferably calculates the position of the data of interest.
  • the position information closest to the target is set as the position information of the second data corresponding to the target data.
  • a signal processing method for performing a matching process using a first signal including a plurality of first data and a second signal including a plurality of second data.
  • a fifth aspect of the present invention is directed to an image for detecting a motion vector using a first image signal including a plurality of first data and a second image signal including a plurality of second data.
  • a first step of extracting a feature amount, which is data of a position of interest, which is data of interest, and a feature amount corresponding to each of the above-described feature amounts of the second data respectively.
  • FIG. 1 is a block diagram showing a configuration example of a conventional motion detection device employing a block matching algorithm.
  • FIG. 2 is a diagram for explaining an outline of the block matching algorithm.
  • FIG. 3 is a flowchart for explaining a processing procedure for detecting a motion vector of a pixel F c (X, y) in a current frame F C.
  • FIG. 4 is a block diagram showing a signal processing device having a basic configuration of a motion detection device which is a main part of the image signal processing device according to the present invention.
  • FIG. 5 is a stroke diagram showing a basic configuration example of the first and second data storage units in FIG.
  • FIG. 6 is a block diagram showing a configuration example of the matching section of FIG.
  • FIG. 7 is a block diagram showing a first embodiment of the motion detection device according to the present invention.
  • FIG. 8 is a flowchart showing an outline of motion vector detection according to the present embodiment.
  • FIG. 9 is a diagram for explaining the structure of the motion memory in the feature addressing method according to the present embodiment.
  • FIG. 10 is a diagram for explaining a procedure for storing data in the motion memory in the feature addressing method according to the present embodiment.
  • FIG. 11 is a flowchart for explaining the motion detection operation in the feature addressing method according to the present embodiment.
  • FIG. 12 is a block diagram showing a second embodiment of the motion estimation device according to the present invention.
  • FIG. 13 is a block diagram illustrating another configuration example of the motion estimation device according to the second embodiment.
  • FIGS. 14A to 14D are diagrams showing an example of how to take a class tap.
  • FIGS. 15A and 15B are diagrams for explaining that the use of the ADRC quantization code is superior to the peripheral pixel values.
  • FIG. 16 is a diagram showing a correspondence between a 10-digit number and a 16-digit number of a luminance value.
  • FIG. 4 is a block diagram showing a signal processing device having a basic configuration of a motion detection device which is a main part of the image signal processing device according to the present invention.
  • the signal processing device uses a motion detection memory (hereinafter, referred to as an ME memory) in an address corresponding to a feature amount of data of interest, which is data of an interest position, in a first signal including a plurality of pieces of first data.
  • an ME memory motion detection memory
  • the process of obtaining (determining) the position information of the second data corresponding to the data of interest can be performed, thereby performing a small calculation. This makes it possible to accurately estimate the position information (motion vector).
  • the ME memory (feature address, i) is the data stored in the ME memory at the location specified by the address (feature address, i). It is to show.
  • the signal processing apparatus 10 includes a first data storage unit 11, a second data storage unit 12, an ME memory 13, and a matching unit 14.
  • the first data storage unit 11 constitutes a first feature amount extraction unit according to the present invention
  • the second data storage unit 12 constitutes a second feature amount extraction unit according to the present invention.
  • the ME memory 13 constitutes a storage unit according to the present invention
  • the matching unit 14 constitutes a motion vector calculating unit (matching unit) according to the present invention.
  • a first signal for storing a plurality of first data input from the input terminal T IN is stored.
  • the first data storage unit 11 stores the next first signal to which the next first signal is input, and stores the first signal stored earlier into a plurality of second data.
  • the second signal is output to the second data storage unit 12 and the matching unit 14 as a signal 2.
  • the first data storage unit 11 extracts, from the stored first signal, a feature amount of the attention data, which is data of the attention position, and matches the feature amount information that includes the position information of the attention data to the matching unit 1.
  • Supply 4
  • the second data storage unit 12 stores a second signal before (for example, one time before) stored in the first data storage unit 11, and stores the second signal in the stored second signal. Each feature of the data is extracted and stored in the ME memory 13.
  • FIG. 5 is a block diagram showing a configuration example of the first and second data storage units. As shown in FIG. 5, each of the first and second data storages includes a memory 111 and a feature quantity for extracting a feature quantity from the first or second signal stored in the memory 111. It has an extraction unit 112.
  • the ME memory 13 receives the respective characteristic amounts of the second data of the second signal from the second data storage unit 12, and receives an address corresponding to the respective characteristic amounts of the second data.
  • the location information of the second data is stored in the location specified by.
  • the matching unit 14 is an address corresponding to the feature amount of the target data, which is the data of the target position input from the first data storage unit 11, and is matched with the second signal stored in the ME memory 13 By reading out the position information of the second data, Acquire (determine) the position information of the corresponding second data.
  • the matching unit 14 calculates the position information of the second data corresponding to the feature amount of the data of interest, and when the plurality of data is read from the ME memory 13, the position information closest to the position of the data of interest is The position information is the second data corresponding to the data of interest.
  • FIG. 6 is a block diagram illustrating a configuration example of the matching unit 14.
  • the matching unit 14 corresponds to the feature amount of the target data, which is the data of the target position, based on the input unit 141 and the feature amount information from the input unit 141.
  • a readout unit that reads out position information of the second data contained in the second signal stored in the ME memory and a position of the first data that is input by the input unit.
  • a decision unit for determining position information of the second data corresponding to the target data based on the information and the information read from the ME memory; When used for motion detection, the decision unit 144 determines the motion vector and outputs it.
  • first and second signals are, for example, image signals.
  • the feature amount extraction in the first and second data storage units 11 and 12 is performed using a predetermined number of first and second data.
  • the feature quantity is a distribution of values of the first and second data of the constant.
  • the first and second data are represented by a plurality of bits, and the feature amount is a value of the predetermined number of the first and second data obtained by omitting predetermined bits of the plurality of bits. It is a distribution of values.
  • the predetermined bit is a lower bit of the first or second data.
  • the feature amount is a distribution of a predetermined number of requantized first and second data values.
  • the feature quantity is a distribution of a predetermined number of first and second data values subjected to adaptive quantization, and the adaptive quantization is obtained by ADR C (Ad aptive Dynamic Range Codingj). .
  • FIG. 7 is a block diagram showing a first embodiment of a motion detection device which is a main part of the image processing device according to the present invention.
  • This motion detection device is equipped with an ME memory that stores position information using feature values as addresses, and performs matching processing using peripheral pixel values as feature values, enabling accurate estimation of the motion vector with a small amount of computation. It is possible.
  • the motion detection device 20 includes a second frame memory 21 as a first data storage unit, a second frame memory 22 as a second data storage unit, an ME memory 23, and a matching unit. It has a matching section 24.
  • the first frame memory 21 constitutes a first feature value extracting means according to the present invention
  • the second frame memory 22 constitutes a second feature value extracting means according to the present invention.
  • 2 3 storing means according to the present invention is constituted by, Q that motion base-vector calculating means according to the present invention by Matsuchin grayed section 2 4 (matching means) is configured
  • the first frame memory 21 stores information of one screen of the image signal input from the input terminal TIN.
  • the first frame memory 21 stores the previously stored screen information, that is, the information of the current frame Fc, and stores the information of the current frame Fc in the second frame memory 22. , And output to the matching section 24.
  • the first frame memory 21 supplies the matching unit 24 with the feature amount of the target pixel, that is, the address information, together with the information of the current frame Fc.
  • the second frame memory 22 stores the screen information before (for example, one time before) stored in the first frame memory 21 as information of the reference frame Fr.
  • the ME memory 23 is a pixel value in a certain block range centered on the pixel of interest based on the information of the reference frame Fr stored in the second frame memory 22. Using the feature amount as an address, information that stores the position coordinates of the pixel of interest corresponding to the feature amount is stored.
  • the matching unit 24 stores the feature amount of the pixel of interest included in the information of the power lent frame Fc supplied from the first frame memory 21 and the storage information of the ME memory 23 as a feature address. read.
  • the difference coordinates based on the target pixel in the current frame and the storage information read from the ME memory 23 are output from the terminal TOUT as the motion vector (Vx, Vy) of the target pixel. If there is a plurality of pieces of stored information (position coordinates) in the feature amount address corresponding to the feature amount of the target pixel, the motion vector that minimizes the position and distance of the target pixel from among the plurality of candidates is determined. Output.
  • FIG. 8 is a flowchart showing an outline of the motion vector detection according to the present embodiment.
  • the matching unit 24 reads data from the ME memory 13 with a feature address corresponding to the feature of the pixel Ln in the current frame Fc (step ST22).
  • Matching unit 24 Force Determines position information of data corresponding to pixel Ln in read data (step ST23), and calculates motion vectors until motion vectors are obtained for all pixels. (Steps ST 23 and ST 24).
  • the configuration and function of the ME memory 23 adopting the feature addressing method, which is a feature of the present embodiment, will be described in more detail with reference to FIGS. 9 and 10.
  • FIG. 9 is a diagram showing a configuration example of an ME memory adopting the feature addressing method.
  • FIG. 10 is a flowchart for explaining a procedure for storing reference frame information in the ME memory.
  • one cell ME-B1 is assumed to have a storage capacity for position information.
  • the flag address F RGA0 stores the number of pieces of position information stored in the feature quantity.
  • the feature value is a pixel value in a certain block around the target pixel. For example, if the block range is 3 X 3, the vertical direction is i, the horizontal direction is j, and the pixel value at the position (i, j) is L (i, j), the feature quantity in this case is expressed by the following equation (2). become that way.
  • Step ST101 The process starts when the information of the reference frame Fr is stored in the frame memory 22.
  • step ST101 all data in the ME memory is initialized to zero. Write 0 or turn on the reset signal.
  • step ST102 a counter variable n for counting pixels in one frame memory is initialized to zero.
  • step ST103 a pixel value in a certain block range centered on the target pixel Ln from the frame memory 21 in FIG. 4 is set as a feature value (feature value address).
  • step ST 1 0 4 ' the content of the ME memory (feature value, 0) is incremented by one.
  • the ME memory (feature value, 0), which is the content of ME memory 23 when the feature amount address is the feature amount in step ST103 and the flag address is 0, is read and set as the flag address.
  • the position information of the target pixel Ln is written into the ME memory (feature value, flag address), which is the content of the ME memory 13.
  • step ST106 the count variable n is incremented.
  • step ST107 it is determined whether the target pixel Ln is the last pixel in the frame. If it is not the last pixel, the process proceeds to step ST103 to open the next pixel and repeats the same process.
  • step ST109 the processing procedure for detecting a motion vector according to the present embodiment will be described with reference to FIGS. 7 and 11. I do.
  • step ST201 after the information of the force rent frame Fc and the information of the reference frame Fr are stored in the frame memories 21 and 22, respectively, the ME of the reference frame is converted into the feature address while the ME is converted. Store in memory 23. The details are described above (steps ST100 to ST109).
  • Step ST 20 2 In step ST202, a count variable n for counting pixels of one frame is initialized to zero.
  • the feature value of the pixel of interest Ln in the first current frame 21 is a pixel value in a certain block range centered on the pixel, so that the matching unit 24 send.
  • step ST204 the matching unit 24 reads the value of the content ME memory (feature value address, 0) from the ME memory 23 using the received feature value as a feature address, and indicates the number of candidates. Assign to the variable kn.
  • variable k which means the number of candidates counter
  • the variable min which means the minimum value of the distance, to ⁇ or a sufficiently large value
  • the variable L which means the distance, to 0.
  • step ST206 the magnitude of the distance L obtained in step ST205 and the minimum value min of the distance are determined.
  • step ST207 the process proceeds to step ST207 to update the minimum value L of the distance, and if minL, the update step is skipped and the process proceeds to step ST208.
  • step ST207 the minimum distance min is updated to L.
  • the flagless value at that time, that is, k, is stored in the variable ans.
  • Step ST 2008 it is determined whether or not the candidate counter has the number of candidates. If the number of candidates is the number of candidates, the process proceeds to step ST210. If there are still candidates, the process proceeds to step ST209.
  • step ST209 the candidate power counter k is incremented, and the process proceeds to step ST205.
  • step ST210 the position information at which the distance from the pixel Ln in the current frame is the shortest, that is, the contents of the ME memory 23, the value of the ME memory (feature address, ans) is read, and the difference coordinates are moved.
  • the position information at which the distance from the pixel Ln in the current frame is the shortest that is, the contents of the ME memory 23, the value of the ME memory (feature address, ans) is read, and the difference coordinates are moved.
  • step ST211 the motion vector of the pixel of interest is output.
  • step ST212 the pixel counter variable n is incremented.
  • step ST213 it is determined whether or not the target pixel is the last pixel in the current frame. If the result of the determination is that the pixel is the last pixel, the process proceeds to step ST2114 for termination, and if not, the process proceeds to step ST203 to obtain the motion vector of the next pixel.
  • an image such as computer graphics (CG) can be matched using full-bit (8-bit) information.
  • CG computer graphics
  • the information of the current frame Fc is stored, and the address information, which is the feature amount of the target pixel, is output together with the information of the current frame Fc.
  • the ME memory 23 that stores the information that stores the information, and the feature amount of the target pixel that is included in the information of the force lent frame Fc supplied from the first frame memory 21 is used as the feature amount address.
  • Read information stored in memory 23 The distance between the pixel of interest in the current frame and the feature address (position coordinates) read from the ME memory 23 is calculated, and the difference based on the position information of the minimum distance among the multiple candidates is calculated. Since the matching unit 24 for detecting the coordinates as the motion vector (Vx, Vy) of the target pixel is provided, the following effects can be obtained.
  • the calculation amount is smaller than the conventional method and the accuracy is smaller. If the number of candidates increases, the information stored in the ME memory 23 may be divided into some area instead of all information in one frame. .
  • FIG. 12 is a block diagram showing a second embodiment of the motion estimation device as the image processing device according to the present invention.
  • the difference between the second embodiment and the first embodiment described above is that the second embodiment differs from the first embodiment in that a feature amount is obtained.
  • the class generation units 25-1 and 25-1 as the collection amount generation means, it is possible to perform matching with a preferable feature amount. Note that a configuration in which one class generation unit 25 is provided as shown in FIG. 13 is also possible.
  • the circuit has the functions of the class generators 25-1 and 25-1.
  • the class generation unit 25-1 receives the information of the current frame F c in the first frame memory 21, generates a quantization code based on ADRC as a feature value of the current frame, and generates a matching code. Output to A.
  • the class generation unit 25-2 receives the information of the reference frame Fr in the second frame memory 22, generates a quantization code based on t ADR C as a feature amount of the current stream, and generates an ME memory. Output to 2 and 3.
  • the matching unit 24A reads the feature amount of the current frame as the feature amount address and the storage information of the ME memory 23, and reads out the feature amount key read from the pixel of interest in the current frame and the ME memory 23.
  • the motion vector of the pixel of interest is detected by matching the quantization code of AD RC in the dress.
  • ADRC is used to generate the characteristic amount in the class generation units 25-1 and 25-2 according to the second embodiment.
  • ADR C Ad aptive Dynamic Range Coding
  • VTR video tape recorder
  • the ADRC is used for generating a code for spatial class classification because a pattern can be efficiently represented with a short word length.
  • DR is the dynamic range of the spatial class tap
  • n is the bit assignment
  • L is the data level of the pixel of the spatial class tap
  • Q is the requantization code.
  • all pixels may be used as shown in Fig. 14A, or a cross shape as shown in Fig. 14B. It may be determined within the limit of the amount of information given to the class code.
  • FIG. 14C is a case where the image is composed of crosses
  • FIG. 14D is a case where the image is composed of crosses and the pixels at the ends are used.
  • FIGS. 15A and 15B show the pixel values when one line of the image moves from the reference frame to the current frame for easy understanding.
  • FIG. 16 shows the correspondence between the 10-decimal notation and the 16-hex notation of the luminance value.
  • the point is whether it can be correctly detected as the same pattern.
  • the code results when the lower bits are masked in order to suppress the influence of noise components when peripheral pixel values are used as feature values are listed.
  • erroneous detection may occur despite the same pattern.
  • the quantization code in ADRC uses the local pattern of the signal level. Can be efficiently expressed with a short word length, so that it is resistant to minute level fluctuations and the same code result can be obtained.
  • the ADRC code of one line with a reference frame is “0 1 1 0 1”
  • the ADRC code of one line with a current frame is also “0 1 1 0 1”
  • the storage device corresponding to the motion vector detection has been described. Therefore, a storage device that stores spatial coordinates using each feature amount as an address has been described as an example.
  • the present invention can be applied to a matching system other than the motion vector detection.
  • This concept is based on “a first feature amount indicating a first feature (address) of data of interest in second data different from the first data in a storage device storing information on the first data.
  • a second feature (coordinates) of the certain data in the first data is provided at a location corresponding to a third feature amount indicating the first feature (address) of the certain data in the first data.
  • the first feature value indicating the data feature A may be used as an address
  • the second feature value indicating the data feature B may be stored.
  • These features A and B can be set and changed as appropriate according to the purpose of the matching system / device.
  • feature A Pixel value pattern ZA DRC code
  • feature B explained as coordinates, but features other than these may be used.
  • the signal processing device since a highly accurate motion vector can be detected, a motion detection device used in a moving image compression device and the like. It is applicable to processes that require matching, such as object search devices.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

僅かな演算量のみでマッチング処理を行え、動きベクトル等を精度良く検出することを可能とする、記憶装置、信号処理装置、および画像信号処理装置、並びに信号処理方法であって、第２のフレームメモリ１２に格納されている参照フレームＦｒの情報に基づいて、注目画素を中心としたあるブロック範囲の画素値を含む特徴量をアドレスとして変換し、変換後の位置情報を含む情報を格納するＭＥメモリ１３と、第１のフレームメモリ１１から供給されたカレントフレームＦｃの情報に含まれる注目画素の特徴量を、特徴量アドレスとしてＭＥメモリ１３の格納情報を読み取り、カレントフレーム内の注目画素とＭＥメモリ１３から読み込んだ特徴量アドレス（位置座標）との距離を演算し、複数の候補の中から距離が最小である位置情報に基づいた差分座標を注目画素の動きベクトル（Ｖｘ，Ｖｙ）として検出するマッチング部１４とを設ける。

Description

明 細 書 記憶装置、 信号処理装置、 および画像信号処理装置、 並びにそれらの方法 技術分野
本発明は、 たとえば動画像圧縮装置などに用いられる動き検出装置やオブジェ ク ト検索装置等、 マッチングを必要とする処理に適用可能な記憶装置、 信号処理 装置、 および画像信号処理装置、 並びに信号処理方法に関するものである。 背景技術
信号のマッチング処理、 特に画像信号のマッチング処理は、 一般的に演算量が 多いという問題点がある。 マッチング処理を用いた例として、 以下に説明するよ うなブロックマッチングによる動きべク トル検出がある。
すなわち、 画像信号処理装置においては、 動画像圧縮を効率よく行うための主 要技術の 1つとして、 画像の動きを示す動きべク トルを求める動き検出がある。 この動きべク トルを求める手法はいくつか提案されている力 主な手法の 1つと してプロックマッチングアルゴリズムと呼ばれる手法がある。
図 1は、 ブロックマツチングアルゴリズムを採用した従来の画像信号処理装置 における動き検出装置の構成例を示すプロック図である。
この動き検出装置 1は、 フレームメモリ 2 , 3、 および動きベク トル検出部 4 を有している。
動き検出装置 1においては、 入力端子 T INから画像信号が入力されると、 1画 面の情報がフレームメモリ 2に格納される。
次の画面情報が入力されると、 先ほどの （前回に入力された） フレームメ モリ 2の情報がフレームメモリ 3に格納され、 現在 （今回） 入力された情報がフレー ムメモリ 2に格納される。 すなわち、 カレン トフレーム F cの情報がフレームメモリ 2に、 参照フレーム F rの情報がフレームメモリ 3に格納されていることになる。
次に、 カレン トフレーム F c、 参照フレ一ム F rの情報が動きベク トル検出部 4に送られる。 そして、 動きべク トル検出部 4でプロック分けされて動きべク ト ル （V x, V y ) が検出されて、 端子 TOUT から出力される。
図 2は、 プロックマッチングアルゴリズムの概要を説明するための図である。 以下に、 アルゴリズムの概要を図 2に関連付けて説明する。
このアルゴリズムにおいては、 カレン トフレーム F c内の注目画素 F c ( X, y ) における動きべク トルは、 注目画素 F c (x， y ) を中心としてある基準ブ αック範囲 （ L X L ) の画素と、 参照フレーム F r内のサ一チェリァ S R内の前 記ブロック範囲 （LX L) と同じブロック範囲内の画素とで対応する画素との差 分絶対値和を演算する。
サーチエリァ S R内で抽出するプロック範囲を一画素ずつ移動させながら上述 の演算を繰り返し、 全てのプロックの中で最も差分絶対値和が最も小さいプロッ クの中心位置と注目画素位置との差分べク トルを解 （動きべク トル） とする。 次に、 図 3に関連付けて力レントフレーム F c内ある画素 F c ( X , y ) の動 きべク トルを検出する処理手順、を詳細に説明する。
ステップ S T 1
ステップ ST 1においては、 処理開始 ST 0後、 注目画素の位置 （ X , y ) か ら参照フレーム内の同位置を基準としたサーチエリァ S Rが決定する。
ステップ S T 2
ステップ ST 2においては、 演算結果の最小値を格納する変数 m i nの初期化 のために、 演算式の最大値を代入する。 画素を 8ビッ ト、 ブロック内の画素数 を 1 6とすると、 28 X 1 6 = 40 96を変数 m i nに代入する。
ステップ S T 3
ステップ S T 3においては、 サーチエリア S R内のブロックをカウントする力 ゥンタ変数 nを 1に初期化する。
ステップ S T 4
ステップ S T 4においては、 演算結果を代入する変数 s umを 0に初期化する ステップ S T 5
ステップ S T 5においては、 基準ブロックの範囲を L X L、 カレン トフレーム F cのあるブロック内の画素を F c ( i , j ) 、 参照フレーム F rのサーチエリ ァ S R内の k番目のプロック内の画素を F r k ( i , j ) とすると、 対応する画 素との差分絶対値和、 すなわち次の数 1に示す演算を行い、 演算結果を s umに 代入する。
Figure imgf000005_0001
= I Fc(i, j)-Frk(i, j) I (1)
ステップ S T 6
ステップ ST 6においては、 演算した差分絶対値和 s umと差分絶対値和の最 小値 m i nとの大小関係の判別を行う。 演算した差分絶対値和 s umが小さい場 合にはステップ ST 7へ、 大きい場合 （等しいを含む） には演算結果が最小値で はないので更新手続きのステップ S T 7をスキップしてステップ S T 8へ進む。 ステップ S T 7
ステップ ST 7においては、 最小値 m i nを演算結果 s u mに更新し、 動きべ ク トル番号としてプロ 'ンクのカウント値 nを設定する。
ステップ S T 8
ステップ S T 8においては、 プロックのカウント値 nがサーチエリァ S R内の ブロック総数、 つまり最後のブロックならば終了なのでステップ ST 1 0へ、 最 後のブロックではなければ、 ST 9へ進む。 ステップ S T 9
ステップ S T 9においては、 ブロックのカウン ト値 ηを η + 1にィ ンクリメ ン トして、 演算を繰り返すためにステップ S T 4へ進む。
ステップ S Τ 1 0
ステップ S T 1 0においては、 動き番号に格納されているブ αック番号のプロ ックの中心画素と （ X , y ) から動きべク トルを求めて出力する。
上述したブロックマッチングアルゴリズムは、 式 （ 1 ) の演算を繰り返し行う ため、 演算量が非常に膨大となっており、 M P E G等の画像圧縮処理の大半の時 間がこれに費やされるという不利益がある。 発明の開示
本発明の目的は、 僅かな演算量のみでマッチング処理等を行うことができ、 し かも動きべク トル等を精度良く検出することを可能とする記憶装置、 信号処理装 置、 画像処理装置装置および信号処理方法を提供することにある。
上記目的を達成するため、 本発明の第 1の観点は、 情報を記憶する記憶装置に おいて、 上記情報が入力あるいは出力される入出力手段と、 上記情報を記憶する 格納部とを有し、 上記格納部は、 少なくとも、 所定の信号における注目データの 特徴に対応したア ドレスに制御されており、 上記情報は、 上記所定の信号におけ る上記注目データの位置情報である。
好適には、 上記記憶装置は、 半導体装置である。
本発明の第 2の観点は、 複数の第 1のデータを舍む第 1の信号と、 複数の第 2 のデ一タを舍む第 2の信号を用いてマッチング処理を行う信号処理装置において 、 上記第 1の信号において、 注目位置のデータである注目データである特徴量を 抽出する第 1の特徴量抽出手段と、 上記第 2のデータそれぞれの上記特徴量に対 応するア ドレスで指定された箇所に、 上記第 2のデータの位置情報を格納する格 納手段とを有し、 上記注目データの上記特徴量に対応するア ドレスで、 上記格納 wo t /oi^0^エ^第 2のデータに位置情報を読み出すことで、 上記注目デ— タに対応する上記第 2のデータの位置情報が取得される。
好適には、 上記格納手段は、 あらかじめ上記第 2のデータの位置情報を格納し たものである。
また、 上記信号処理装置は、 さらに、 上記第 2の信号 おいて、 第 2のデータ それぞれの特徴量を抽出する第 2の特徴量抽出手段を有する。
好適には、 上記第 1の特徴量抽出手段は、 さらに、 上記第 2の信号において、 第 2のデータそれぞれの特徴量を抽出する第 2の特徴量抽出手段を有する。
また、 好適には、 上記第 1ないし第 2の信号は、 画像信号である。
また、 上記特徴量は、 所定数の第 1ないし第 2のデータを用いて抽出される。 また、 上記特徴量は、 所定数の第 1ないし第 2のデータの値の分布である。 また、 上記第 1ないし第 2のデータは、 複数のビッ トで表され、 上記特徴量は
、 上記複数のビッ トの所定のビッ トを省いた上記所定数の第 1ないし第 2のデ一 タの値の分布である。
好適には、 上記所定ビッ トは、 上記第 1ないし第 2のデータの下位側のビッ ト である。
また、 上記特徴量は、 所定数の再量子化された第 1ないし第 2のデータの値の 分布である。 特徴量は、 所定数の適応的量子化がなされた第 1ないし第 2のデー タの値の分布である。 また、 上記適応的量子化は、 A D R Cである。
好適には、 上記注目データの特徴量に対応する上記第 2のデータの位置情報が 上記格納手段から複数読み出された場合は、 上記注目データの位置に最も距離 近い上記位置情報を、 上記注目データに対応する上記第 2のデータの位置情報 する。
本発明の第 3の観点は、 複数の第 1のデータを舍む第 1の画像信号と、 複数の 2のデータを含む第 2の画像信号を用いて動きべク トルを検出する画像信号処 ¾置において、 上記第 1の画像信号において、 注目位置のデータである注目デ ータである特徴量を抽出する第 1の特徴量抽出手段と、 上記第 2のデータそれぞ れの上記特徴量に対応するアドレスで指定された箇所に、 上記第 2のデータの位 置情報を格納する格納手段と、 上記注目データの上記特徴量に対応するァドレス で、 上記格納手段に格納された上記第 2のデータに位置情報を読み出すことで、 上記注目データに対応する上記第 2のデータの位置情報を取得し、 上記注目デー タの位置情報と取得された上記第 2のデータの位置情報とを用いて、 上記注目デ ータの動きべク トルを算出する動きべク トル算出手段とを有する。
好適には、 上記動きべク トル算出手段は、 上記注目データの特徴量に対応する 上記第 2のデータの位置情報が、 上記格納手段から複数読み出された場合は、 上 記注目データの位置に最も距離が近い上記位置情報を、 上記注目データに対応す る上記第 2のデータの位置情報とする。
本発明の第 4の観点は、 複数の第 1のデータを舍む第 1の信号と、 複数の第 2 のデータを舍む第 2の信号を用いてマッチング処理を行う信号処理方法において 、 上記第 1の信号において、 注目位置のデータである注目データである特徴量去 抽出する第 1のステップと、 上記第 2のデータそれぞれの上記特徴量に対応する ァドレスで指定された箇所に、 上記第 2のデータの位置情報を格納する第 2のス テツプと、 上記注目データの上記特徴量に対応するアドレスで、 上記第 2のステ ップで格納された上記第 2のデータに位置情報を読み出すことで、 上記注目デー タに対応する上記第 2のデータの位置情報を取得する第 3のステップとを有する o
本発明の第 5の観点は、 複数の第 1のデータを舍む第 1の画像信号と、 複数の 第 2のデータを舍む第 2の画像信号を用いて動きべク トルを検出する画像信号処 理方法において、 上記第 1の画像信号において、 注目位置のデータである注目デ —タである特徴量を抽出する第 1のステツプと、 上記第 2のデータそれぞれの上 記特徴量に対応するァドレスで指定された箇所に、 上記第 2のデータの位置情報 を格納する第 2のステップと、 上記注目データの上記特徴量に対応するアドレス で、 上記格納手段に格納された上記第 2のデータに位置情報を読み出すことで、 上記注目データに対応する上記第 2のデータの位置情報を取得する第 3のステツ プと、 上記注目データの位置情報と取得された上記第 2のデータの位置情報とを 用いて、 上記注目データの動きべク トルを算出する第 4のステップとを有する。 図面の簡単な説明
図 1は、 プロックマッチングアルゴリズムを採用した従来の動き検出装置の構 成例を示すプロック図である。
図 2は、 ブロックマツチングァルゴリズムの概要を説明するための図である。 図 3は、 カ レン トフレーム F C内ある画素 F c ( X , y ) の動きべク トルを検 出する処理手順を説明するためのフローチヤ一トである。
図 4は、 本発明に係る画像信号処理装置の要部である動き検出装置の基本的な 構成を有する信号処理装置のを示すプロック図である。
図 5は、 図 4の第 1および第 2のデータ格納部の基本的な構成例を示すプロ y ク図である。
図 6は、 図 4のマツチング部の構成例を示すプロック図である。
図 7は、 本発明に係る動き検出装置の第 1の実施形態を示すプロック図である 図 8は、 本実施形態に係る動きべク トル検出の概要を示すフローチャー トであ る。
図 9は、 本実施形態に係る特徴量ァドレス方式における動きメモリの構造を説 明するための図である。
図 1 0は、 本実施形態に係る特徴量ア ドレス方式における動きメモリへの格納 手順を説明するための図である。
図 1 1は、 本実施形態に係る特徴量ア ドレス方式における動き検出の動作を説 明するためのフローチャートである。 図 1 2は、 本発明に係る動き検出装置の第 2の実施形態を示すブロック図であ る。
図 1 3は、 本第 2の実施形態に係る動き検出装置の他の構成例を示すブロック 図である。
図 1 4 A〜図 1 4 Dは、 クラスタップのとり方の一例を示す図である。
図 1 5 Aおよび図 1 5 Bは、 周辺画素値よりも A D R C量子化コードを用いた 方が優れていることを説明するための図である。
図 1 6は、 輝度値の 1 0進数と 1 6進数との対応関係を示す図である。 発明を実施するための最良の形態 ·
以下、 本発明の実施の形態を添付図面に関連付けて説明する。
図 4は、 本発明に係る画像信号処理装置の要部である動き検出装置の基本的な 構成を有する信号処理装置のを示すプロック図である。
本信号処理装置は、 複数の第 1のデータを舍む第 1の信号において、 注目位置 のデータである注目データの特徴量に対応するア ドレスで、 動き検出メモリ （以 下、 M Eメモリという） に格納された第 2の信号に含まれる第 2のデータの位置 情報を読み出すことで、 注目データに対応する第 2のデータの位置情報を取得 （ 決定） する処理を行うことで、 僅かな演算で位置情報 （動きべク トル） を精度良 く推定することを可能とするものである。
なお、 以降の説明で、 M Eメモリ （特徴量ア ドレス， i ) というのは、 M Eメ モリ中で （特徴量ア ドレス， i ) というア ドレスで指定されている箇所に格納さ れているデータを示すことである。
以下、 本信号処理装置の具体的な構成および機能について、 図面を参照しなが ら詳細に説明する。
本信号処理装置 1 0は、 第 1のデータ格納部 1 1、 第 2のデータ格納部 1 2、 M Eメモリ 1 3、 およびマッチング部 1 4を有している。 なお、 第 1のデータ格納部 1 1により本発明に係る第 1の特徴量抽出手段が構 成され、 第 2のデータ格納部 1 2により本発明に係る第 2の特徴量抽出手段が構 成され、 M Eメモリ 1 3により本発明に係る格納手段が構成され、 マッチング部 1 4により本発明に係る動きべク トル算出手段 （マッチング手段） が構成される 第 1のデータ格納部 1 1は、 入力端子 T INから入力された複数の第 1のデータ を舍む第 1の信号を格納する。
第 1のデータ格納部 1 1は、 次の第 1の信号が入力されるこの次の第 1の信号 を格納し、 先に格納した第 1の信号を複数の第 2のデータを舍む第 2の信号とし て第 2のデータ格納部 1 2、 およびマッチング部 1 4に出力する。
また、 第 1のデータ格納部 1 1は、 格納した第 1の信号において、 注目位置の データである注目データの特徴量を抽出し、 注目データの位置情報を舍む特徴量 情報をマツチング部 1 4に供給する。
第 2のデータ格納部 1 2は、 第 1のデータ格納部 1 1に格納されていた以前 （ たとえば 1回前） の第 2の信号を格納し、 格納した第 2の信号において、 第 2の データのそれぞれの特徴量を抽出し、 M Eメモリ 1 3に格納する。
図 5は、 第 1および第 2のデータ格納部の構成例を示すブロック図である。 図 5に示すように、 第 1および第 2のデータ格納部の各々は、 メモリ 1 1 1と、 メ モリ 1 1 1に格納された第 1または第 2の信号から特徴量を抽出する特徴量抽出 部 1 1 2を有する。
M Eメモリ 1 3は、 第 2のデータ格納部 1 2による第 2の信号の第 2のデ一タ のそれぞれの特徴量を受けて、 第 2のデータのそれぞれの特徴量に対応するァド レスで指定された箇所に、 第 2のデータの位置情報を格納する。
マッチング部 1 4は、 第 1のデータ格納部 1 1から入力した注目位置のデータ である注目データの特徴量に対応するアドレスで、 M Eメモリ 1 3に格納された 第 2の信号に舍まれる第 2のデータの位置情報を読み出すことで、 注目データに 対応する第 2のデータの位置情報を取得 （決定） する。
マッチング部 1 4は、 注目データの特徴量に対応する第 2のデータの位置情報 力、 MEメモリ 1 3から複数読み出された場合は、 注目データの位置に最も距離 が近い上記位置情報を、 注目データに対応する第 2のデータの位置情報とする。 図 6は、 マッチング部 1 4の構成例を示すブロック図である。
このマツチング部 1 4は、 図 6に示すように、 入力部 1 4 1と、 入力部 1 4 1 からの特徴量情報に基づいて、 注目位置のデータである注目データの特徴量に対 応するァドレスで、 MEメモリ 1 3に格納された第 2の信号に舍まれる第 2のデ ータの位置情報を読み出す読み出し部 1 4 2と、 入力部 1 4 1による第 1のデー タの位置情報と MEメモリ 1 3から読み出した情報に基づいて注目データに対応 する第 2のデータの位置情報を決定する決定部 1 4 3とを舍む。 動き検出に用い る場合は、 決定部 1 4 3で動きべク トルと決定し出力する。
なお、 第 1および第 2の信号は、 たとえば画像信号である。
また、 たとえば第 1および第 2のデータ格納部 1 1 , 1 2における特徴量抽出 は、 所定数の第 1ないし第 2のデータを用いて抽出される。 また、 特徴量は、 所 定数の第 1ないし第 2のデータの値の分布である。 あるいは、 第 1ないし第 2の データは、 複数のビッ トで表され、 特徴量は、 上記複数のビ'ン トの所定のビッ ト を省いた上記所定数の第 1ないし第 2のデータの値の分布である。 ここで、 所定 ビッ トは、 第 1ないし第 2のデータの下位側のビッ トである。 また、 特徴量は、 所定数の再量子化された第 1ないし第 2のデータの値の分布である。 あるいは、 特徴量は、 所定数の適応的量子化がなされた第 1ないし第 2のデータの値の分布 であり、 適応的量子化は、 ADR C (Ad a p t i v e D y n a m i c R a n g e C o d i n g j でめる。
以下に、 以上の構成を有する信号処理装置を基本とした画像信号処理装置の要 部である動き検出装置に具体化した実施形態を説明する。
第 1実施形態 図 7は、 本発明に係る画像処理装置の要部である動き検出装置の第 1の実施形 態を示すブロック図である。
本動き検出装置は、 特徴量をアドレスとして位置情報を格納する M Eメモリを 設け、 周辺画素値を特徴量としてマッチング処理を行うことにより、 僅かな演算 で動きべク トルを精度良く推定することを可能とするものである。
以下、 本動き検出装置の具体的な構成および機能について、 図面を参照しなが ら詳細に説明する。
本動き検出装置 2 0は、 第 1のデータ格納部としての第 2のフレームメモリ 2 1、 第 2のデータ格納部としての第 2のフレームメモリ 2 2、 M Eメモリ 2 3、 およびマ 'ンチング部としてのマツチング部 2 4を有している。
なお、 第 1のフレームメモリ 2 1により本発明に係る第 1の特徴量抽出手段が 構成され、 第 2のフレームメモリ 2 2により本発明に係る第 2の特徴量抽出手段 が構成され、 M Eメモリ 2 3により本発明に係る格納手段が構成され、 マツチン グ部 2 4により本発明に係る動きべク トル算出手段 （マッチング手段） が構成さ れる Q
第 1のフレームメモリ 2 1は、 入力端子 T INから入力された画像信号の 1画面 の情報を格納する。
第 1のフレームメモリ 2 1は、 次の画面情報が入力されると先に格納した画面 情報、 すなわちカレントフレーム F cの情報を格納し、 カレントフレーム F cの 情報を第 2のフレームメモリ 2 2、 およびマツチング部 2 4に出力する。
また、 第 1のフレ一ムメモリ 2 1は、 カレントフレーム F cの情報とともに、 注目画素の特徴量、 つまりァドレス情報をマッチング部 2 4に供給する。
第 2のフレームメモリ 2 2は、 第 1のフレームメモリ 2 1に格納されていた以 前 （たとえば 1回前） の画面情報を参照フレーム F rの情報として格納する。
M Eメモリ 2 3は、 第 2のフレームメモリ 2 2に格納されている参照フレーム F rの情報に基づいて、 注目画素を中心としたあるプロック範囲の画素値である 特徴量をァドレスとしてその特徴量に対応する注目画素の位置座標を舍む情報を 格納する。
マッチング部 2 4は、 第 1のフレームメモリ 2 1から供給された力レン トフレ —ム F cの情報に舍まれる注目画素の特徴量を、 特徴量ァドレスとして MEメモ リ 2 3の格納情報を読み取る。 カレントフレーム内の注目画素と MEメモリ 2 3 から読み込んだ格納情報に基づいた差分座標を注目画素の動きべク トル （V x, V y ) として端子 TOUT から出力する。 なお、 注目画素の特徴量に対応する特徴 量ア ドレスに、 複数の格納情報 （位置座標） がある場合は、 複数の候補の中から 注目画素の位置と距離が最小となる動きべク トルを出力する。
図 8は、 本実施形態に係る動きべク トル検出の概要を示すフローチャートであ る。
この例では、 まず、 参照フレーム F rのデータを MEメモリ 23に格納する （ ステップ S T 2 1 ) 。 次に、 マッチング部 2 4が、 カレン トフレーム F c内の画 素 L nの特徴量に応じた特徴量ア ドレスで、 MEメモリ 1 3からデータを読み出 す （ステップ ST 2 2 ) 。
マッチング部 2 4力 読み出したデータの中で、 画素 L nに対応するデータの 位置情報を決定する (ステップ ST 23 ) そして、 動きベク トルを全ての画素 に対して動きべク トルが求まるまで算出する （ステップ ST 2 3, ST 24 ) 。 以下、 本実施形態の特徴である特徴量ア ドレス方式を採用した MEメモリ 23 の構成および機能について、 図 9および図 1 0に関連付けて、 さらに詳細に説明 する。
図 9は、 特徴量ァ ドレス方式を採用した MEメモリの構成例を示す図である。 また、 図 1 0は、 参照フレームの情報を MEメモリに格納する手順を説明するた めのフローチャー トである。
従来のメモリの場合、 画素の位置情報をァドレスとして画素値を格納するもの であるが、 本 MEメモリ 23の場合、 特徴量をア ドレスとして、 特徴量毎にその 特徴量を持つ画素の位置情報を順次フラグア ドレス F RGA 1 , 2. . . 、 つま り図 9の B、 C - · .に格納していく。
本実施形態においては、 1つのセル ME— B 1は、 位置情報分の記憶容量を備 えているものとする。 同時に、 フラグアドレス F RGA0には、 その特徴量に格 納した位置情報の個数を格納しておくものとする。
特徴量としては、 注目画素を中心としたあるブロック内の画素値とする。 たと えば、 プロック範囲を 3 X 3、 垂直方向を i、 水平方向を j、 位置 （ i , j ) の 画素値を L ( i , j ) とすると、 この場合の特徴量は、 次の式 2のようになる。
{L(i-1, j - l),L(i- 1， j)，L(i-l' ユ (i， j-l)，L(i, j),L(i, j+1),
L(i+1, j-l),L(i+l, j),L(i+l, j+1)} ·.·. (2) 次に、 参照フレームの情報を MEメモリに格納する手順を、 図 1 0のフローチ ヤートに関連付けて説明する。
参照フレーム F rの情報がフレームメモリ 22に格納されると処理を開始する ステップ S T 1 0 1
ステップ S T 1 0 1においては、 MEメモリ内の全データを 0に初期化する。 0を書き込むか、 リセッ ト信号を O nする。
ステップ S T 1 0 2
ステップ S T 1 02においては、 1フレームメモリ内の画素をカウントする力 ゥンタ変数 nを 0に初期化する。
ステップ S T 1 0 3
ステップ S T 1 0 3においては、 図 4のフレ一ムメモリ 2 1から注目画素 L n を中心としたあるブロック範囲の画素値を特徴量 （特徴量ア ドレス） とする。 ステップ S T 1 0 4 ' ステップ S T 1 0 4においては、 MEメモリ （特徴量、 0 ) の内容を 1つイ ン クリメ ントする。
ステップ S T 1 0 5
特徴量ァドレスをステップ ST 1 0 3での特徴量、 フラグァ ドレスを 0とした 場合の MEメモリ 2 3の内容である MEメモリ （特徴量、 0 ) を読み込みフラグ ァドレスに設定する。 ステップ ST 1 05においては、 MEメモリ 1 3の内容で ある MEメモリ （特徴量、 フラグアドレス） の内容に、 注目画素 L nの位置情報 を書き込む。
ステップ S T 1 0 6
ステップ S T 1 0 6においては、 カウント変数 nをイ ンクリメントする。
ステップ S T 1 0 7
ステップ S T 1 07においては、 注目画素 L nがフレーム内の最後の画素かの 判別を行う。 最後の画素ではなければ、 ステップ ST 1 0 3へ進んで次の画素に 開して同処理を繰り返す。
また、 最後の画素ならば、 処理を終了するために、 ステップ ST 1 0 9へ進む 次に、 本実施形態に係る動きべク トル検出の処理手順を、 図 7および図 1 1に 関連付けて説明する。
なお、 図 1 1は、 本実施形態に る動きべク トル検出の処理手順を説明するた めのフローチヤ一トである。
ステップ S T 20 1
ステップ S T 2 0 1においては、 フレームメモリ 2 1 , 2 2にそれぞれ力レン トフレーム F c、 参照フレーム F rの情報が格納された後に、 参照フレームの情 報を特徴量ァドレスに変換しながら MEメモリ 2 3に格納する。 詳細は、 上述 （ ステ プ ST 1 0 0〜ST 1 0 9 ) している。
ステップ ST 20 2 ステップ ST 2 0 2においては、 1フレームの画素を力ゥントするカウント変 数 nを 0に初期化する。
ステップ ST 2 0 3
ステップ ST 2 0 3においては、 第 1のカレントフレーム 2 1内の注目画素 L nの特徴量は、 その画素を中心としたあるブロック範囲の画素値なので、 それら を特徴量として、 マッチング部 24に送る。
ステップ ST 20 4
ステップ ST 2 0 4においては、 マッチング部 2 4は、 受け取った特徴量を特 徴量アドレスとして、 MEメモリ 2 3から内容 MEメモリ （特徴量アドレス、 0 ) の値を読み込み、 候補数を意味する変数 k nに代入する。
また、 候補数カウンタを意味する変数 kを 1に、 距離の最小値を意味する変数 m i nを∞もしくは十分大きな値に、 距離を意味する変数 Lを 0に初期化する。 ステップ ST 2 0 5
ステップ ST 2 0 5においては、 カレントフレーム内の注目画素 L nと MEメ モリ 2 3から読み込んだ MEメモリ内容 （特徴量ァドレス、 k) =位置座標との 距離を演算して、 変数 Lに代入する。
ステップ ST 2 0 6
ステップ ST 2 0 6においては、 ステップ ST 2 0 5で求まった距離 Lと距離 の最小値 m i nとの大小判別を行う。
その結果、 m i n〉Lならば、 距離の最小値 Lを更新するためにステップ ST 207へ、 m i n Lならば、 更新ステツプをスキップして、 ステップ S T 2 0 8へ進む。
ステップ ST 2 0 7
ステップ ST 2 0 7においては、 距離の最小値 m i nを Lに更新する。 その際 のフラグァドレス値、 つまり kを変数 a n sに格納しておく。
ステップ ST 2 0 8 ステップ S T 2 0 8においては、 候補カウンタが候補数であるかの判別を行い 、 候補数である場合はステップ S T 2 1 0へ、 まだ候補がある場合は、 ステップ S T 2 0 9へ進む。
ステップ S T 2 0 9
ステップ S T 2 0 9においては、 候補力ゥンタ kをイ ンク リメ ン ト後、 ステツ プ S T 2 0 5へ進む。
ステップ S T 2 1 0
ステップ S T 2 1 0においては、 カレントフレーム内の画素 L nと距離が最少 である位置情報、 つまり M Eメモリ 2 3の内容 M Eメモリ （特徴量ア ドレス、 a n s ) の値を読み込み、 差分座標を動きべク トルとする。
ステップ S T 2 1 1
ステップ S T 2 1 1においては、 注目画素の動きべク トルを出力する。
ステップ S T 2 1 2
ステップ S T 2 1 2においては、 画素のカウンタ変数 nをイ ンクリメ ン トする ステップ S T 2 1 3
ステップ S T 2 1 3においては、 注目画素が力レントフレーム内の最後の画素 であるかの判別を行う。 判別の結果、 最後の画素であれば終了のためステップ S T 2 1 4へ、 違う場合は、 次の画素の動きべク トルを求めるためにステップ S T 2 0 3へ進む。
画素値としては、 たとえば 1画素 == 8ビ'ン トとした場合、 コ ンピュータグラフ イ ツクス （C G ) のような画像はフルビッ ト （ 8ビッ ト） 情報でマツチング処理 を行えるが、 自然画像の場合は、 フレーム毎にバラツキを舍むので、 複数ビッ ト のうち所定ビッ トを除いて、 マッチング処理を行うことが望ましい。 具体的には 、 下位数ビッ トをマスク して使用してもよいし、 ビッ ト数を少なく して再量子化 しても良い。 つまり、 非線形ノ線形な量子化におけるビッ ト数を削減する （量子化ビッ ト数 を少なくする） ことが望ましい。
以上説明したように、 本第 1の実施形態によれは、 カレン トフレーム F cの情 報を格納し、 カレン トフレーム F cの情報とともに、 注目画素の特徴量であるァ ドレス情報を出力する第 1 のフレームメモリ 2 1 と、 第 1 のフレームメモリ 2 1 に格納されていた以前 （ 1回前） の画面情報を参照フレーム F rの情報として格 納する第 2のフレームメモリ 1 2 と、 第 2のフレームメモリ 2 2に格納されてい る参照フレーム F rの情報に基づいて、 注目画素を中心としたあるプロック範囲 の画素値を舍む特徴釐をァ ドレスとして変換し、 変換後の位置情報を舍む情報を 格納する M Eメモリ 2 3と、 第 1のフレームメモリ 2 1から供給された力レン ト フレーム F cの情報に舍まれる注目画素の特徴量を、 特徴量ァ ドレスとして M E メモリ 2 3の格納情報を読み取り、 カ レン トフレーム内の注目画素と M Eメモリ 2 3から読み込んだ特徴量アドレス （位置座標） との距離を演算し、 複数の候補 の中から距離が最小である位置情報に基づいた差分座標を注目画素の動きべク ト ル （V x , V y ) として検出するマッチング部 2 4とを設けたので、 以下の効果 を得ることができる。
すなわち、 本第 1の実施形態においては、 ブロックエリア内の空間パターン情 報を特徴量とし、 候補数だけの距離演算比較をするだけなので、 従来の手法より も僅かな演算量で、 かつ、 精度の高い動きべク トル検出が可能となる利点がある なお、 候補数が多くなる場合は、 M Eメモリ 2 3に格納する情報を 1 フレーム の全情報ではなく、 ある程度のエリアに区分してもよい。
第 2実施形態
図 1 2は、 本発明に係る画像処理装置としての動き検出装置の第 2の実施形態 を示すブロック図である。
本第 2の実施形態が上述した第 1の実施形態と異なる点は、 特徴量を求める特 徴量生成手段としてのクラス生成部 2 5 - 1 , 25— 1を設けることによって、 好ましい特徴量でマッチングが可能となる点である。 なお、 図 1 3に示すように 一つのクラス生成部 25を設ける構成も可能である。 回路の機能としては、 クラ ス生成部 2 5— 1 , 25 - 1の機能を併せ持つことになる。
クラス生成部 2 5— 1は、 第 1のフレームメモリ 2 1のカ レン トフレーム F c の情報を受けて AD R Cに基づく量子化コードをカレントフレームの特徴量とし て生成してマッチング部 2 4 Aに出力する。
また、 クラス生成部 2 5— 2は、 第 2のフレームメモリ 2 2の参照フレーム F rの情報を受け t ADR Cに基づく量子化コードをカレントスレームの特徴量と して生成して MEメモリ 2 3に出力する。
マッチング部 2 4 Aは、 カ レン トフレームの特徴量を、 特徴量ア ドレスとして M Eメ モリ 2 3の格納情報を読み取り、 カレン トフレーム内の注目画素と M Eメ モリ 23から読み込んだ特徴量ァ ドレスに舍まれる AD R Cの量子化コードのマ ッチングを行うことにより注目画素の動きべク トルを検出する。
このように、 本第 2の実施形態に係るクラス生成部 2 5 - 1 , 2 5— 2での特 徴量の生成として A D R Cを用いる。 ADR C (Ad a p t i v e D y n a m i c R a n g e C o d i n g ) は、 VTR (V i d e o Ta p e R e c o r d e r ) 向け高性能符号化用に開発された適応的量子化法である力く、 信号レ ベルの局所的なパターンを短い語長で効率的に表現できるので、 この第 2の実施 形態では、 AD R Cを空間クラス分類のコ一ド発生に使用している。
AD R Cは、 空間クラスタップのダイナミ ックレンジを D R、 ビッ ト割り当て を n、 空間クラスタップの画素のデータレベルを L、 再量子化コードを Qとして 、 以下の数 3により、 最大値 MAXと最小値 M I Nとの間を指定されたビッ ト長 で均等に分割して再量子化を行うアルゴリズムである
DR = MAX一 MIN + 1
Q = {(.L - MIN + 0.5) X 2" ÷ DR} ···· (3) ただし、 〔〕 は切り捨て処理を意味する。 マッチング処理フローは、 上述した 図 1 1の説明の特徴量を A D R Cの量子化コードとしたものと等価なので省略す る。
空間クラスタツプの取り方の一例として、 ブロックサイズが 3 X 3の場合は、 図 1 4 Aに示すように全画素を使用してもよいし、 図 1 4 Bに示すように十文字 で構成してもよく、 クラスコードに与えられる情報量の制限の中で決定すればよ い。
同様にして、 ブロックサイズが 5 X 5の場合の一例としては、 図 1 4 Cおよび 図 1 4 Dに示すような形態が採用可能である。
図 1 4 Cの例は十文字で構成する場合であり、 図 1 4 Dの例は十文字で構成し 、 さらに端部の画素を使用する場合である。
次に、 周辺画素値よりも A D R C量子化コードを用いた方が優れていることを 、 図 1 5 Aおよび図 1 5 Bに閧連付けて説明する。
図 1 5 Aおよび図 1 5 Bは、 分かりやすいように画像のある 1ラインが参照フ レームからカレントフレームに移動した際の画素値を表示している。 また、 図 1 6は輝度値の 1 0進数表記と 1 6進数表記との対応関係を示している。
通常、 自然画像の場合は、 同じ絵柄 （パターン） が移動しても、 同じ画素値に なる可能性は低く、 図 1 5 Aおよび図 1 5 Bに示すように、 画素レベルがずれて しまう。
この場合、 同じパターンとして正しく検出できるかがポイ ン トとなる。 周辺画 素値を特徴量として用いた場合で、 ノイズ成分の影響を抑えるために、 下位ビッ トをマスクした場合のコード結果を載せている。
記載しているように、 同じパターンであるにもかかわらず誤検出することがあ る。
これに対して、 A D R Cでの量子化コードは、 信号レベルの局所的なパターン を短い語長で効率的に表現できることから微小なレベル変動に強く、 同じコード 結果が得られることが分かる。
具体的には、 参照フレームのある 1ラィンの A D R Cコードは 「 0 1 1 0 1」 であり、 カレントフレームのある 1 ライ ンの A D R Cコードも 「 0 1 1 0 1」 で あり、 両者が一致する。
以上説明したように、 本第 2の実施形態によれば、 A D R Cの量子化コードを 特徴量とすることによって従来よりも精度の高い動きベク トル検出が可能となる 利点がある。
第 1乃至第 2の実施の形態では、 動きべク トル検出に対応した記憶装置につい て、 説明した。 そのため、 各特徴量をア ドレスとして、 空間座標を記憶する記憶 装置を例に挙げた。
しかし、 本発明は、 動きべク トル検出以外にも、 マッチングを行うシステムに 適用できるものである。
この概念は、 「第 1のデータに関する情報を記憶した記憶装置において、 上記第 1のデータとは異なる第 2のデータ中における注目データの第 1の特徴 (ア ドレス） を示す第 1の特徴量が入力される入力手段と、
上記第 1のデータ中における或るデータの上記第 1の特徴 （ァドレス） を示す 第 3の特徴量に対応する箇所に、 上記第 1のデータ中における上記或るデータの 第 2の特徴 （座標） を示す第 2の特徴量を記憶する記憶手段とを有し、
上記記憶手段の上記第 1の特徴量に対応する箇所から、 上記第 1のデータの上 記第 2の特徴である上記第 2の特徴量を出力することを特徴とする記憶装置。 」 という形で表現できる。
つまり、 データの特徴 A (第 1の特徴） を示す各第 1の特徴量をアドレスとし て、 データの特徴 B (第 2の特徴） を示す第 2の特徴量を記憶するようにしても 良い。 この特徴 A、 特徴 Bに関しては、 マッチングを行うシステム/ /装置の目的 によって適宜設定 ·変更できるものである。 例えば、 本実施の形態では、 特徴 A ：画素値パターン ZA D R Cコード、 特徴 B ：座標として説明したが、 これら以 外の特徴を用いてもよい。 産業上の利用可能性
本発明の記憶装置、 信号処理装置、 および画像信号処理装置、 並びに信号処理 方法よれば、 精度の高い動きべク トル検出が可能となることから、 動画像圧縮装 置などに用いられる動き検出装置ゃォブジ ク ト検索装置等、 マッチングを必要 とする処理に適用可能である。

Claims

請求の範画
1 . 情報を記憶する記憶装置において、
上記情報が入力あるいは出力される入出力手段と、
上記情報を記憶する格納部とを有し、
上記格納部は、 少なくとも、 所定の信号における注目データの特徴に対応 したアドレスに制御されており、
上記情報は、 上記所定の信号における上記注目データの位置情報である ことを特徴とする記憶装置。
2 . 上記記憶装置は、 半導体装置である
ことを特徴とする請求項 1記載の記憶装置。
3 . 複数の第 1のデータを舍む第 1の信号と、 複数の第 2のデータを含む第 2 の信号を用いてマッチング処理を行う信号処理装置において、
上記第 1の信号において、 注目位置のデ一タである注目データである特徴 量を抽出する第 1の特徴量抽出手段と、
上記第 2のデータそれぞれの上記特徴量に対応するァドレスで指定された 箇所に、 上記第 2のデータの位置情報を格納する格納手段とを有し、
上記注目データの上記特徴量に対応するァドレスで、 上記格納手段に格納 された上記第 2のデータに位置情報を読み出すことで、 上記注目データに対応す る上記第 2のデータの位置情報が取得される
ことを特徴とする信号処理装置。
4 . 上記格納手段は、 あらかじめ上記第 2のデータの位置情報を格納したもの である
ことを特徴とする請求項 3記載の信号処理装置。
5 . 上記信号処理装置は、 さらに、
上記第 2の信号において、 第 2のデータそれぞれの特徴量を抽出する第 2 の特徴量抽出手段を有する ' ことを特徴とする請求項 3記載の信号処理装置。
6 . 上記第 1の特徴量抽出手段は、 さらに、
上記第 2の信号において、 第 2のデータそれぞれの特徴量を抽出する第 2 の特徴量抽出手段を有する
ことを特徴とする請求項 3記載の信号処理装置。
7 . 上記第 1ないし第 2の信号は、 画像信号である
ことを特徴とする請求項 3記載の信号処理装置。
8 . 上記特徴量は、 所定数の第 1ないし第 2のデータを用いて抽出される ことを特徴とする請求項 3記載の信号処理装置。
9 . 上記特徴量は、 所定数の第 1ないし第 2のデータの値の分布である
ことを特徴とする請求項 8記載の信号処理装置。
1 0 . 上記第 1ないし第 2のデータは、 複数のビ'ン トで表され、
上記特徴量は、 上記複数のビッ 卜の所定のビッ トを省いた上記所定数の第 1ないし第 2のデータの値の分布である
ことを特徴とする請求項 9記載の信号処理装置。
1 1 . 上記所定ビツ トは、 上記第 1ないし第 2のデータの下位側のビッ トである ことを特徴とする請求項 1 0記載の信号処理装置。
1 2 . 上記特徴量は、 所定数の再量子化された第 1ないし第 2のデータの値の分 布である
ことを特徴とする請求項 8記載の信号処理装置。
1 3 . 上記特徴量は、 所定数の適応的量子化がなされた第 1ないし第 2のデ一タ の値の分布である
ことを特徴とする請求項 8記載の信号処理装置。
1 4 . 上記適応的量子化は、 A D R Cである
ことを特徴とする請求項 1 3記載の信号処理装置。
1 5 . 上記注目データの特徴量に対応する上記第 2のデータの位置情報が、 上記 格納手段から複数読み出された場合は、 上記注目データの位置に最も距離が近い 上記位置情報を、 上記注目データに対応する上記第 2のデータの位置情報とする ことを特徴とする請求項 3記載の信号処理装置。
1 6 . 複数の第 1のデータを舍む第 1の画像信号と、 複数の第 2のデータを舍む 第 2の画像信号を用いて動きべク トルを検出する画像信号処理装置において、 上記第 1の画像信号において、 注目位置のデータである注目データである 特徴量を抽出する第 1の特徴量抽出手段と、
上記第 2のデータそれぞれの上記特徴量に対応するァドレスで指定された 箇所に、 上記第 2のデータの位置情報を格納する格納手段と、
上記注目データの上記特徴量に対応するアドレスで、 上記格納手段に格納 された上記第 2のデータに位置情報を読み出すことで、 上記注目データに対応す る上記第 2のデータの位置情報を取得し、 上記注目データの位置情報と取得され た上記第 2のデータの位置情報とを用いて、 上記注目データの動きべク トルを算 出する動きべク トル算出手段と
を有することを特徴とする画像信号処理装置。
1 7 . 上記画像信号処理装置は、 さらに、
上記第 2の画像信号において、 第 2のデータそれぞれの特徴量を抽出する 第 2の特徴量抽出手段を有する
ことを特徴とする請求項 1 6記載の画像信号処理装置。
1 8 . 上記第 1の特徴量抽出手段は、 さらに、
上記第 2の画像信号において、 第 2のデータそれぞれの特徴量を抽出する 第 2の特徴量抽出手段を有する
ことを特徴とする請求項 1 6記載の画像信号処理装置。
1 9 . 上記動きべク トル算出手段は、
上記注目データの特徴量に対応する上記第 2のデータの位置情報が、 上記 格納手段から複数読み出された場合は、 上記注目データの位置に最も距離が近い 上記位置情報を、 上記注目データに対応する上記第 2のデータの位置情報とする ことを特徴とする請求項 1 6記載の画像信号処理装置。
2 0 . 複数の第 1のデータを舍む第 1の信号と、 複数の第 2のデータを舍む第 2 の信号を用いてマッチング処理を行う信号処理方法において、
上記第 1の信号において、 注目位置のデータである注目データである特徴 量を抽出する第 1のステップと、
上記第 2のデータそれぞれの上記特徴量に対応するァドレスで指定された 箇所に、 上記第 2のデータの位置情報を格納する第 2のステップと、
上記注目データの上記特徴量に対応するァドレスで、 上記第 2のステップ で格納された上記第 2のデータに位置情報を読み出すことで、 上記注目データに 対応する上記第 2のデータの位置情報を取得する第 3のステップと
を有することを特徴とする信号処理方法。
2 1 , 上記信号処理方法は、 さらに、
上記第 2の信号において、 第 2のデータそれぞれの特徴量を抽出する第 4 のステツプを有する
ことを特徴とする請求項 2 0記載の信号処理方法。
2 2 . 上記第 1のステップは、 さらに、
上記第 2の信号において、 第 2のデータそれぞれの特徴量を抽出する第 4 のステツプを有する
ことを特徴とする請求項 2 0記載の信号処理方法。
2 3 . 上記第 1ないし第 2の信号は、 画像信号である
ことを特徴とする請求項 2 0記載の信号処理方法。
2 4 . 上記特徴量は、 所定数の第 1ないし第 2のデータを用いて抽出される ことを特徴とする請求項 2 0記載の信号処理方法。
2 5 . 上記特徴量は、 所定数の第 1ないし第 2のデータの値の分布である
ことを特徴とする請求項 2 4記載の信号処理方法。
2 6 . 上記第 1ないし第 2のデータは、 複数のビッ トで表され、 上記特徴量は、 上記複数のビッ トの所定のビッ トを省いた上記所定数の第
1ないし第 2のデータの値の分布である
ことを特徴とする請求項 2 5記載の信号処理方法。
2 7 . 上記所定ビッ トは、 上記第 1ないし第 2のデータの下位側のビッ トである ことを特徴とする請求項 2 6記載の信号処理方法。
2 8 . 上記特徴量は、 所定数の再量子化された第 1ないし第 2のデータの値の分 布である
ことを特徴とする請求項 2 4記載の信号処理方法。
2 9 . 上記特徴量は、 所定数の適応的量子化がなされた第 1ないし第 2のデータ の値の分布である
ことを特徴とする請求項 2 4記載の信号処理方法。
3 0 . 上記適応的量子化は、 A D R Cである
ことを特徴とする請求項 2 9記 «Iの信号処理方法。
3 1 . 上記注目データの特徴量に対応する上記第 2のデータの位置情報が、 上記 格納手段から複数読み出された場合は、 上記注目データの位置に最も距離が近い 上記位置情報を、 上記注目データに対応する上記第 2のデータの位置情報とする ことを特徴とする請求項 2 0記載の信号処理装置。
3 2 . 複数の第 1のデータを舍む第 1の画像信号と、 複数の第 2のデータを舍む 第 2の画像信号を用いて動きべク トルを検出する画像信号処理方法において、 上記第 1の画像信号において、 注目位置のデータである注目データである 特徴量を抽出する第 1のステップと、
上記第 2のデータそれぞれの上記特徴量に対応するァドレスで指定された 箇所に、 上記第 2のデータの位置情報を格納する第 2のステップと、
上記注目データの上記特徴量に対応するアドレスで、 上記格納手段に格納 された上記第 2のデータに位置情報を読み出すことで、 上記注目データに対応す る上記第 2のデータの位置情報を取得する第 3のステップと、
上記注目データの位置情報と取得された上記第 2のデータの位置情報とを 用いて、 上記注目データの動きべク トルを算出する第 4のステップと
を有することを特徴とする画像信号処理方法。
3 3 . 上記画像信号処理方法は、 さらに、
上記第 2の画像信号において、 第 2のデータそれぞれの特徴量を抽出する 第 5のステップを有する
ことを特徴とする請求項 3 2記載の画像信号処理方法。
3 4 . 上記第 1のステップは、 さらに、
上記第 2の画像信号において、 第 2のデータそれぞれの特徴量を抽出する 第 5のステップを有する
ことを特徴とする請求項 3 2記載の画像信号処理方法。
3 5 . 上記第 3のステップは、
上記注目データの特徴量に対応する上記第 2のデータの位置情報が、 上記 格納手段から複数読み出された場合は、 上記注目データの位置に最も距離が近い 上記位置情報を、 上記注目データに対応する上記第 2のデータの位置情報とする ことを特徴とする請求項 3 2記載の画像信号処理方法。
PCT/JP2003/009637 2002-07-30 2003-07-30 記憶装置、信号処理装置、および画像信号処理装置、並びにそれらの方法 WO2004012450A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US10/490,208 US7800624B2 (en) 2002-07-30 2003-07-30 Memory device signal processing apparatus image signal processing apparatus and methods of the same
EP20030771418 EP1526728B1 (en) 2002-07-30 2003-07-30 Mage signal processor and method
JP2004524306A JP4337738B2 (ja) 2002-07-30 2003-07-30 画像信号処理装置および画像信号処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002/222008 2002-07-30
JP2002222008 2002-07-30

Publications (1)

Publication Number Publication Date
WO2004012450A1 true WO2004012450A1 (ja) 2004-02-05

Family

ID=31184888

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/009637 WO2004012450A1 (ja) 2002-07-30 2003-07-30 記憶装置、信号処理装置、および画像信号処理装置、並びにそれらの方法

Country Status (7)

Country Link
US (1) US7800624B2 (ja)
EP (1) EP1526728B1 (ja)
JP (1) JP4337738B2 (ja)
KR (1) KR100964621B1 (ja)
CN (1) CN1326394C (ja)
TW (1) TWI287927B (ja)
WO (1) WO2004012450A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7636481B2 (en) * 2002-10-09 2009-12-22 Sony Corporation Image processing apparatus, method, storage medium, and program for compressing an input image using a motion vector that is detected based on stored position information of pixels
CN100393125C (zh) * 2005-02-05 2008-06-04 威盛电子股份有限公司 处理图像帧的方法
JP5322416B2 (ja) * 2007-09-12 2013-10-23 株式会社メガチップス ブロックマッチング回路及びデータ更新方法
KR101452859B1 (ko) 2009-08-13 2014-10-23 삼성전자주식회사 움직임 벡터를 부호화 및 복호화하는 방법 및 장치
JP2012043051A (ja) * 2010-08-16 2012-03-01 Fuji Xerox Co Ltd 情報処理装置およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0787499A (ja) * 1993-09-09 1995-03-31 Sony Corp 動きベクトル検出装置および方法
JPH10191344A (ja) * 1996-12-27 1998-07-21 Nec Corp 動き検出方法
JP2000197061A (ja) * 1998-12-24 2000-07-14 Sony Corp 動きベクトル推定装置および動きベクトル推定方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2050752B (en) * 1979-06-07 1984-05-31 Japan Broadcasting Corp Motion compensated interframe coding system
JPS61107886A (ja) 1984-10-31 1986-05-26 Sony Corp 動きベクトルの平滑回路
CA1251555A (en) 1984-12-19 1989-03-21 Tetsujiro Kondo High efficiency technique for coding a digital video signal
JPH0793724B2 (ja) 1984-12-21 1995-10-09 ソニー株式会社 テレビジョン信号の高能率符号化装置及び符号化方法
US4754490A (en) * 1987-05-22 1988-06-28 Environmental Research Institute Of Michigan Linked-list image feature extraction
JP2953712B2 (ja) 1989-09-27 1999-09-27 株式会社東芝 移動物体検知装置
JPH0622301A (ja) * 1992-06-30 1994-01-28 Sony Corp 画像符号化装置
JP3106749B2 (ja) 1992-12-10 2000-11-06 ソニー株式会社 適応型ダイナミックレンジ符号化装置
JP3271387B2 (ja) 1993-08-19 2002-04-02 ソニー株式会社 動き量検出装置及び動き量検出方法
JP3277417B2 (ja) 1993-09-09 2002-04-22 ソニー株式会社 動きベクトル検出装置および方法
JP3606597B2 (ja) 1994-01-21 2005-01-05 ソニー株式会社 動きベクトル検出装置
JPH0865681A (ja) * 1994-08-25 1996-03-08 Sony Corp 動きベクトル検出装置およびそれを使用した動き補償予測符号化システム
FR2728091B1 (fr) 1994-12-13 1997-01-31 Thomson Consumer Electronics Procede de selection de vecteurs mouvement et dispositif de traitement d'images mettant en oeuvre ledit procede
KR0171143B1 (ko) * 1995-03-20 1999-03-20 배순훈 육각그리드에서의 삼각구조 형성 장치
US5809173A (en) * 1995-04-18 1998-09-15 Advanced Micro Devices, Inc. Method and apparatus for improved video decompression using previous frame DCT coefficients
US5692063A (en) * 1996-01-19 1997-11-25 Microsoft Corporation Method and system for unrestricted motion estimation for video
JPH09212650A (ja) * 1996-02-05 1997-08-15 Sony Corp 動きベクトル検出装置および検出方法
US6259734B1 (en) * 1998-04-03 2001-07-10 Matsushita Electric Industrial Co., Ltd. Image processing method, image processing apparatus, and data storage media
FI110743B (fi) 1999-06-28 2003-03-14 Valtion Teknillinen Menetelmä ja järjestelmä liike-estimoinnin suorittamiseksi
US6661842B1 (en) * 2000-09-22 2003-12-09 General Dynamics Decision Systems, Inc. Methods and apparatus for error-resilient video coding
JP2002197061A (ja) 2000-12-25 2002-07-12 Nec Corp ユーザ認証方法、ユーザ認証システム、及びユーザ認証プログラムを記録した記録媒体
JP4147456B2 (ja) 2002-03-29 2008-09-10 富士通株式会社 赤外線画像信号処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0787499A (ja) * 1993-09-09 1995-03-31 Sony Corp 動きベクトル検出装置および方法
JPH10191344A (ja) * 1996-12-27 1998-07-21 Nec Corp 動き検出方法
JP2000197061A (ja) * 1998-12-24 2000-07-14 Sony Corp 動きベクトル推定装置および動きベクトル推定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1526728A4 *

Also Published As

Publication number Publication date
US7800624B2 (en) 2010-09-21
EP1526728A1 (en) 2005-04-27
US20040252125A1 (en) 2004-12-16
CN1326394C (zh) 2007-07-11
KR20050027206A (ko) 2005-03-18
EP1526728B1 (en) 2013-02-27
TW200423714A (en) 2004-11-01
TWI287927B (en) 2007-10-01
KR100964621B1 (ko) 2010-06-21
CN1565123A (zh) 2005-01-12
JPWO2004012450A1 (ja) 2005-11-24
JP4337738B2 (ja) 2009-09-30
EP1526728A4 (en) 2008-05-28

Similar Documents

Publication Publication Date Title
US6041078A (en) Method for simplifying bit matched motion estimation
JP3277418B2 (ja) 動きベクトル検出装置および方法
EP1557840B1 (en) Memory device, motion vector detection device, and detection method
US5818969A (en) Intelligent start for motion estimation search
US8160299B2 (en) Image processing apparatus
US8648931B2 (en) Systems and methods for capturing images of objects
WO1998043436A9 (en) Method for simplying block matching motion estimation
JP2001086507A (ja) 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、媒体、並びに画像処理装置
CN110503160B (zh) 图像识别方法、装置、电子设备及存储介质
JPH08317411A (ja) 動きを推定する為の多重解像度循環探索装置及びその方法
US6122319A (en) Motion compensating apparatus using gradient pattern matching and method thereof
WO2004012450A1 (ja) 記憶装置、信号処理装置、および画像信号処理装置、並びにそれらの方法
JP2001298746A (ja) デジタル記録システムのデータ圧縮装置及びその制御方法
JP4224999B2 (ja) 画像処理装置および画像処理方法
JP2642160B2 (ja) 画像処理装置の動き検出方式
US7180947B2 (en) Method and apparatus for a dynamic data correction appliance
JPWO2004012451A1 (ja) 記憶装置、信号処理装置、および画像信号処理装置、並びにそれらの方法
US7636481B2 (en) Image processing apparatus, method, storage medium, and program for compressing an input image using a motion vector that is detected based on stored position information of pixels
CN111652186A (zh) 一种视频类别识别的方法及相关装置
CN116993620B (zh) 一种去模糊方法和电子设备
JP3861325B2 (ja) 動きベクトル検出装置および検出方法
KR100792960B1 (ko) 휴대 단말기에서의 흔들림 움직임 보상 장치 및 방법
JPH11355641A (ja) カメラ制御システム及び方法並びに記憶媒体
JPH11110563A (ja) 被写体の動き検出方法及び装置
CN112437304A (zh) 视频解码方法、编码方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN JP KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR

WWE Wipo information: entry into national phase

Ref document number: 2004524306

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 10490208

Country of ref document: US

Ref document number: 1020047004679

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2003771418

Country of ref document: EP

Ref document number: 20038011794

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 2003771418

Country of ref document: EP