WO2010084739A1 - 映像識別子抽出装置 - Google Patents

映像識別子抽出装置 Download PDF

Info

Publication number
WO2010084739A1
WO2010084739A1 PCT/JP2010/000278 JP2010000278W WO2010084739A1 WO 2010084739 A1 WO2010084739 A1 WO 2010084739A1 JP 2010000278 W JP2010000278 W JP 2010000278W WO 2010084739 A1 WO2010084739 A1 WO 2010084739A1
Authority
WO
WIPO (PCT)
Prior art keywords
picture
region
information
change
feature amount
Prior art date
Application number
PCT/JP2010/000278
Other languages
English (en)
French (fr)
Inventor
大網亮磨
岩元浩太
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to EP10733347.8A priority Critical patent/EP2337345B1/en
Priority to JP2010547434A priority patent/JP4725690B2/ja
Priority to US13/056,773 priority patent/US8335251B2/en
Priority to KR1020117016196A priority patent/KR101369915B1/ko
Priority to CN201080005313.6A priority patent/CN102292726B/zh
Publication of WO2010084739A1 publication Critical patent/WO2010084739A1/ja
Priority to US13/676,926 priority patent/US9118889B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Definitions

  • the present invention relates to a video identifier extraction apparatus, method, and program for video search for detecting a similar or the same moving image section from a large number of moving images.
  • FIG. 14 is a block diagram showing a moving image feature amount extraction apparatus described in Non-Patent Document 1.
  • the block unit feature quantity extraction unit 1000 extracts a feature quantity in block units from the input first video, and outputs the first feature quantity to the collation unit 1030.
  • the block unit feature quantity extraction unit 1010 extracts the feature quantity in block units from the input second video, and outputs the second feature quantity to the collation unit 1030.
  • the weighting coefficient calculation means 1020 calculates the weight value of each block based on the input learning video and outputs the weighting coefficient to the matching means 1030.
  • the matching unit 1030 uses the weighting coefficient output from the weighting coefficient calculation unit 1020, and the first feature amount output from the block unit feature amount extraction unit 1000 and the first feature amount output from the block unit feature amount extraction unit 1010. 2 is collated with the feature quantity, and the collation result is output.
  • the block unit feature quantity extraction unit 1000 divides each frame of the input first video into block units, and calculates a feature quantity for identifying the video from each block. Specifically, the edge type is determined for each block, and the type is calculated as the feature amount of each block. Then, for each frame, a feature vector consisting of the edge type of each block is constructed. The feature quantity vector is calculated for each frame, and the obtained feature quantity is output to the matching unit 1030 as the first feature quantity.
  • the operation of the block unit feature quantity extraction unit 1010 is the same as that of the block unit feature quantity extraction unit 1000.
  • the second feature quantity is calculated from the input second video, and the obtained second feature quantity is compared. To 1030.
  • the weighting coefficient calculation means 1020 calculates the probability that a telop is inserted in each block in the frame using the learning video in advance. Based on the calculated probability, a weighting coefficient for each block is calculated. Specifically, in order to increase robustness against telop superimposition, the weighting coefficient is calculated such that the lower the probability that the telop is superimposed, the higher the weight. The obtained weighting coefficient is output to the matching unit 1030.
  • the matching unit 1030 uses the weighting coefficient output from the weighting coefficient calculation unit 1020 and the first feature amount output from the block unit feature amount extraction unit 1000 and the second feature output from the block unit feature amount extraction unit 1010. Is compared with the feature quantity. Specifically, for each frame, the feature values of the blocks at the same position are compared, and if they are the same, the score for each block is calculated as 1 if not, otherwise 0. The obtained block unit scores are weighted using a weighting coefficient and totaled to calculate a frame matching score (similarity in frame units). This is performed for each frame, and a comparison result between the first video and the second video is calculated.
  • Patent Document 1 discloses an apparatus for searching for a moving image using image feature amounts such as an average value in units of blocks and DCT coefficients, and motion vector information obtained between previous and subsequent frames.
  • image feature amounts such as an average value in units of blocks and DCT coefficients, and motion vector information obtained between previous and subsequent frames.
  • values of physical moving image feature amount information such as luminance, color difference information, and color information of each frame from an input image, an average value thereof, and a sum of the values are included. At least one of a value or a difference value of the value is extracted for each frame.
  • the extracted values are arranged on the time axis, and all the sequences and values extracted from the arranged sequences at regular intervals or irregular intervals are extracted as moving image identification information.
  • the DCT coefficient and the motion compensation information of the frame are extracted from the compressed moving image data, and the average value of the DCT coefficients, the sum of the values, or the difference value of the values are obtained. At least one of an average motion vector between the previous and subsequent frames, a total motion vector, a difference vector, a motion vector as a whole frame, or the like is obtained. Then, the obtained values are arranged on the time axis, and all the sequences and values extracted from the arranged sequences at regular intervals or irregular intervals are extracted as moving image identification information.
  • An object of the present invention is to provide a video identifier extraction device that solves the problem that the identification accuracy is reduced in a video descriptor generated from a moving image with little temporal change.
  • a video identifier extraction device includes: a feature quantity extraction unit for each picture that extracts a feature quantity for each picture as a frame or a field as a visual feature quantity for each picture from an input video; Time axis direction change area extraction means for analyzing a change in the image in the time direction with respect to a predetermined area in the picture, and generating a change area information which is information for specifying the area by obtaining an area having a large image change
  • a feature amount extraction unit for extracting a region feature amount corresponding to the change region information as a visual feature amount for each region from the video, the visual feature amount for each picture, the visual feature amount for each region, and the change Multiplexing means for multiplexing the area information to generate a video identifier.
  • the present invention is configured as described above, there is an effect that the identification accuracy in the time direction can be improved even in a scene with little temporal change.
  • FIG. 3 is a block diagram showing an example of the configuration of a time axis direction change area extraction unit 100.
  • FIG. It is a figure for demonstrating the process example of the change area extraction means 410.
  • FIG. It is the figure which showed the case where the several predetermined area
  • FIG. 6 is a block diagram showing another configuration example of the time axis direction change area extraction unit 100. It is a figure for demonstrating the process example of the change area extraction means 510.
  • FIG. It is a block diagram which shows the structural example of the video identifier collation apparatus which collates the video identifier produced
  • FIG. It is a block diagram of 2nd Embodiment of the image
  • a video identifier extraction apparatus which is a time axis direction change region extraction unit 100, a region feature amount extraction unit 110, and a feature amount extraction for each picture. It comprises means 130 and multiplexing means 120.
  • the feature quantity extraction unit 130 for each picture extracts the feature quantity for each picture from the input video and outputs it to the multiplexing unit 120.
  • the time axis direction change area extraction unit 100 obtains change area information from the video and outputs the change area information to the area-specific feature amount extraction unit 110 and the multiplexing unit 120.
  • the feature amount extraction unit 110 for each region extracts the visual feature amount for each region from the video based on the change region information output from the time axis direction change region extraction unit 100 and outputs the visual feature amount to the multiplexing unit 120.
  • the multiplexing unit 120 outputs the visual feature value for each picture output from the feature value extraction unit for each picture 130, the change area information output from the time axis direction change area extraction unit 100, and the feature value extraction unit 110 for each area.
  • the visual feature value for each area is multiplexed to generate and output a video identifier.
  • the video identifier extraction apparatus of the present embodiment can be realized by a computer.
  • a computer for example, the following is performed.
  • the computer controls its own operation according to the read program, so that the time axis direction change region extraction unit 100, the region feature amount extraction unit 110, the multiplexing unit 120, and the picture feature amount extraction unit are provided on the computer. 130 is realized.
  • the video is input to the feature extraction unit 130 for each picture.
  • the data is input in units of pictures consisting of frames or fields after being decoded by a decoder.
  • the feature quantity extraction unit 130 for each picture calculates a feature quantity vector for each picture.
  • a picture is regarded as a single still image, and a vector of visual features indicating features such as color, pattern, and shape is extracted.
  • a difference in feature amount between the regions is calculated for the local region pair associated with each dimension of the feature amount vector (for example, the pixel value in the region for each region of the region pair is calculated).
  • An average value is obtained and the difference between the average values is calculated between regions), and a feature quantity vector having a quantized value obtained by quantizing the difference as a value of each dimension may be used.
  • the feature vector calculated for each picture is output to the multiplexing unit 120 as a visual feature for each picture.
  • the video is input to the time axis direction change area extraction means 100.
  • the time axis direction change area extraction unit 100 calculates the change amount of the image in the time direction.
  • the amount of change in each of a plurality of predetermined regions in the picture is obtained using the current target picture and the pictures before and after it. Then, an area in which the amount of change is relatively large is obtained in the screen.
  • the region for obtaining the amount of change may be a plurality of blocks as shown in FIG. 4 obtained by dividing the picture, or each of the areas shown in FIG. It may be a plurality of local regions having different. Further, the shape of the block is not limited to a rectangle. A region having a larger change in the time direction is more likely to contribute to video identification.
  • a plurality of regions are selected in descending order of the amount of change.
  • a certain number of regions may be selected in descending order, or regions where the amount of change is equal to or greater than a threshold value may be selected. Details of the calculation method of the change amount will be described later.
  • Information for specifying the selected area such as index information of the selected area, is output as change area information. For example, in a scene where an announcer is speaking in the news, there may be little movement except near the announcer's face. In such a case, only the area corresponding to the announcer's face has a relatively large change in the time direction as compared to other areas of the screen, so information specifying the area corresponding to the face is changed area information. Is output.
  • the change area information may be calculated for each picture, or may be calculated and output for several pictures at once. For example, when a portion having movement in a shot is limited to only a specific area, change area information common to the entire shot may be calculated and output. More specifically, change area information obtained by processing one picture in a shot as a processing target may be used for other pictures in the shot. Alternatively, the change in the time axis direction is calculated for all or a plurality of pictures in the shot, and the change area information of the entire shot is obtained and described by the representative value (average, median, etc.). It may be used for other pictures.
  • the unit for outputting the change area information is not limited to a shot, and may be a fixed time interval such as every few pictures.
  • a time interval to which the same change area information can be applied may be calculated from the amount of change in the time direction, and change area information may be calculated and output for the pictures included in the time interval. .
  • the number of pictures to be combined changes every time, the number of pictures is also described together.
  • the calculation of the time interval to which the same change area information can be applied can be performed by performing threshold processing on the change in the amount of change in the time axis direction between pictures.
  • the change area information for the section can be a representative value of the change area information of any one picture in the section or the change area information of a picture in the section. By doing so, it is possible to reduce the information amount of the change area information in a state in which the identification accuracy in the time direction is kept high regardless of the video to be processed.
  • the change area information calculated in this way is output to the feature amount extraction means 110 and the multiplexing means 120 for each area.
  • the feature amount extraction unit 110 for each region performs feature amount extraction in units of regions for the region specified by the change region information output from the time axis direction change region extraction unit 100.
  • the feature amount in units of regions may be the same as or different from the feature amount of the entire screen calculated by the feature amount extraction unit 130 for each picture.
  • the feature quantity used as the value of each dimension of the feature quantity vector by calculating the difference of the feature quantity between the regions may be used.
  • the feature amount of the region specified by the change region information is output to the multiplexing unit 120 as a visual feature amount for each region.
  • the visual feature amount for each picture output from the feature amount extraction unit for each picture 130, the visual feature amount for each region output from the feature amount extraction unit for each region 110, and the time axis direction change region extraction unit 100 Is multiplexed with the change area information output from, and a video identifier is generated and output.
  • these pieces of information are multiplexed in a form that can be separated at the time of collation to generate a video identifier.
  • three pieces of information may be interleaved and multiplexed for each picture, or the visual feature value for each picture, the visual feature value for each region, and the change region information are separately collected and connected at the end. May be multiplexed.
  • the visual feature value for each picture, the visual feature value for each region, and the change region information may be multiplexed for each fixed interval (for example, for each time interval unit for calculating the change region information).
  • time axis direction change region extraction means 100 Next, an embodiment of the time axis direction change region extraction means 100 will be described with reference to FIG.
  • time axis direction change region extraction unit 100 which includes an inter-picture difference calculation unit 400 and a change region extraction unit 410.
  • the inter-picture difference calculation means 400 calculates inter-picture difference information from the input video and outputs it to the change area extraction means 410.
  • the change region extraction unit 410 uses the inter-picture difference information output from the inter-picture difference calculation unit 400 and the feature amount extraction parameter (information describing each dimension of the feature amount and the region to be extracted). Is calculated and output.
  • the inter-picture difference calculation unit 400 obtains a pixel value difference between pictures.
  • the difference may be calculated in units of pixels, or the difference may be calculated in units of areas (for example, blocks) in which a certain amount of pixels can be collected.
  • a method may be used in which a representative value (average, median, etc.) for each region is obtained and a difference is obtained from the representative value of the region located at the same position between pictures.
  • the difference between the pixel values may be a difference between the luminance values, or R, G, B color components are used as the pixel values, and at least one of the differences is obtained as the difference between the pixel values. Good.
  • the color space is not RGB but any color space such as HSV or L * a * b * may be used.
  • a difference not only a pixel value but also an absolute value calculation may be performed to obtain an absolute value of the difference.
  • the calculated difference data between pictures is output to the change area extraction unit 410 as inter-picture difference information.
  • the change area extraction unit 410 calculates difference information in each area from the inter-picture difference information. For this purpose, first, a value that increases in a region corresponding to a moving object in a picture to be processed is calculated. This is obtained by taking the product of the difference values calculated between the picture to be processed and the previous picture, and between the picture to be processed and the next picture.
  • a T picture is a picture to be processed
  • a T-1 picture and a T + 1 picture represent a picture immediately before and after the picture to be processed, respectively.
  • the inter-picture difference calculation means 400 calculates the difference between the T picture to be processed and the previous T-1 picture. In this case, only the difference caused by the movement of the round object appears as shown in the figure. However, the difference value itself tends to be a large value at both the position of the round object in the T picture and the position of the object in the T-1 picture.
  • the difference increases between the position of the round object in the T picture and the position of the round object in the T + 1 picture. Therefore, the product of both difference images is calculated. In both difference images, the difference value is large only in the position of the round object in the T picture, so that only the difference in the moving object area in the T picture can be increased.
  • the calculation method using the picture immediately before and after the picture to be processed has been described here, the calculation can be performed in the same manner using pictures several pictures before and several pictures before. That is, only the difference between the moving object areas can be increased in the same manner using the T-m picture and the T + n picture. Therefore, the amount of change in the region is calculated by summing up the results obtained in this way for each region.
  • f T (x) is the pixel value at the position x of the T picture
  • R (i) is the i-th region (a set of pixels)
  • w (i) is the amount of change in the i-th region.
  • the addition within the area is simply used here, the average within the area may be taken, the addition may be performed by squaring, or the area using another statistic such as the median or the maximum value may be used.
  • the amount of change may be obtained.
  • the amount of change may not be obtained using the values of all the pixels in the region. For example, the amount of change may be calculated by thinning out pixels every other pixel.
  • a region with a large amount of change is obtained. Specifically, a region where the amount of change exceeds a certain threshold value may be calculated, or a certain number of regions may be selected in descending order of the amount of change. Then, information describing the selected area (for example, an index of the area) is output as change area information.
  • the area defined on the picture is a block obtained by dividing the screen into 16 as shown in FIG. 4, and when the amount of change is large in the hatched block, the index 6 of that block 10, 12 are output as change area information.
  • the local region Index 2 is output as change area information.
  • the change area information need not be calculated for all the pictures, and may be calculated every several pictures. At this time, the change amounts of the areas calculated for a plurality of pictures may be summed to obtain change area information corresponding to the several pictures.
  • the region (block or block) The feature amount for the local region may not be calculated.
  • the change area information includes information indicating that nothing is output or that there is no area for which feature amount extraction is to be performed.
  • the time axis direction change region extraction means 100 shown in FIG. 2 has a feature that the processing load can be kept small because basically it is only necessary to take a difference between pictures.
  • time axis direction change region extraction means 100 Next, another embodiment of the time axis direction change region extraction means 100 will be described with reference to FIG.
  • time axis direction change region extraction unit 100 which includes a motion information calculation unit 500 and a change region extraction unit 510.
  • the motion information calculation means 500 receives the video, calculates a motion vector, and outputs the motion vector information to the change area extraction means 510.
  • the change area extraction unit 510 calculates and outputs change area information using the motion vector information and the feature amount extraction parameter output from the motion information calculation unit 500.
  • the motion information calculation unit 500 performs motion estimation between the current target picture and the previous (or subsequent) picture, and calculates a motion vector.
  • a motion vector calculation method an arbitrary motion vector estimation method such as a method based on a conventional gradient method or a method based on a block matching method can be used.
  • the motion may be calculated in units of pixels, or the image may be divided into a plurality of small regions and the motion may be obtained in units of the regions. Information describing the field of the motion vector calculated in this way is output as motion vector information.
  • the motion vector information may be information that describes individual motion vectors obtained in the picture as they are, or information that describes the motion of only the area for which a motion vector other than 0 is calculated, together with information for specifying the area. It may be.
  • the calculated motion vector description information is output to the change area extraction unit 510.
  • the change area extraction means 510 aggregates the calculated motion vectors for each area, and calculates the amount of motion in the area.
  • FIG. 7 shows a T picture and a T-1 picture.
  • a motion vector is calculated at a portion corresponding to the motion of the round object.
  • the motion estimation process may be performed using a picture before several pictures or after several pictures. Further, the motion estimation process may be performed using not only two pictures but also several pictures. In this case as well, a motion vector is calculated at a portion where there is motion. Therefore, the amount of motion in each region is calculated using this. For example, the total length of motion vectors in the region is calculated. This is expressed in mathematical formula [Formula 2].
  • v (x) represents a motion vector at x.
  • Other symbols are the same as those in [Equation 1].
  • the addition within the area is simply used here, the average within the area may be taken, the addition may be performed by squaring, or the area using another statistic such as the median or the maximum value may be used.
  • the representative amount of motion may be obtained. Further, it is not necessary to obtain the motion amount using all the motion vectors in the region. For example, the motion amount may be calculated by thinning out appropriately.
  • the time axis direction change region extraction unit 100 shown in FIG. 6 generally calculates a motion because it calculates a motion, but the actual motion is calculated compared to the case of FIG. Thus, it is possible to accurately obtain a region having movement in the time direction.
  • FIG. 8 an embodiment of the video identifier collation apparatus of the present invention is shown.
  • the demultiplexing means 200, the demultiplexing means 210, the picture collating means 220, the area collating means 230, and the collation result determining means 240 are shown. Consists of. Note that the video identifier verification device of the present embodiment can be realized by a program-controlled computer.
  • the demultiplexing unit 200 demultiplexes the input first video identifier, and outputs the first per-picture visual feature amount to the picture collating unit 220.
  • the first per-region visual feature amount and the first change region The information is output to the area matching means 230.
  • the demultiplexing unit 210 demultiplexes the input second video identifier, outputs the second visual feature amount for each picture to the picture collating unit 220, and outputs the second visual feature amount for each region and the second visual feature amount.
  • the change area information is output to the area matching unit 230.
  • the picture collating unit 220 collates the first visual feature amount for each picture output from the demultiplexing unit 200 with the second visual feature amount for each picture output from the demultiplexing unit 210, and compares the picture collation result with the collation result.
  • the region verification execution information is output to the region verification unit 230.
  • the area collating unit 230 includes area collation execution information output from the picture collating unit 220, first change area information output from the demultiplexing unit 200, and second change area information output from the demultiplexing unit 210.
  • the first visual feature quantity for each region output from the demultiplexing means 200 and the second visual feature value for each area output from the demultiplexing means 210 are collated, and the result of area collation is determined as a collation result.
  • the collation result determination unit 240 calculates a collation result from the picture collation result output from the picture collation unit 220 and the region collation result output from the region collation unit 230 and outputs the collation result.
  • the first video identifier is input to the demultiplexing means 200.
  • the demultiplexing unit 200 separates the first per-picture visual feature, the first per-region visual feature, and the first changed region information from the first video identifier.
  • the multiplexing unit 120 performs separation by a separation method corresponding to the method used for multiplexing.
  • the first visual feature value for each picture generated by the separation is output to the picture matching unit 220, and the first feature value for each region and the first change area information are output to the region matching unit 230.
  • the second video identifier is input to the demultiplexing means 210.
  • the operation of the demultiplexing unit 210 is the same as that of the demultiplexing unit 200, and the second visual feature amount for each picture generated by the separation is output to the picture collating unit 220, and the second region-specific feature amount and the second change region are output.
  • the information is output to the area matching unit 230.
  • the picture collating means 220 collates the first visual feature value for each picture output from the demultiplexing means 200 with the second visual feature value for each picture output from the demultiplexing means 210.
  • the comparison may be made based on the degree of similarity representing the similarity between both feature amounts, or the distance representing the degree of difference between both feature amounts.
  • comparison is made based on [Equation 3].
  • N is the number of dimensions of the feature quantity
  • v 1 (i) and v 2 (i) represent the values of the i-th dimension of the first and second visual feature quantities for each picture, respectively.
  • Non-patent Document 2 As a method for comparing sections of any length, the verification method described in [Non-patent Document 2] can also be used. As shown in FIG. 9, a collation window of length L picture is provided for collation between videos, and these are slid between the first video and the second video to compare them. If it is determined that the sections in the matching window are the same section, the window is extended from there by p pictures and the matching process is continued. As long as it is determined as the same section, the process of extending the window by p pictures is repeated to obtain the same section with the maximum length. By doing in this way, the maximum length same section can be efficiently calculated
  • Sim (x, y) is a function representing the proximity of x and y, and becomes larger as the values of x and y are closer. For example, if the distance between x and y is d (x, y), a function such as [Equation 5] can be used.
  • Sim (x, y) may be a function that is 1 only when x and y match, and 0 otherwise, like Kronecker delta. Or when using the angle (cosine value) between feature vectors as a similarity, it compares based on the similarity S calculated by [Equation 6].
  • the obtained collation result is output to the collation result determination means 240.
  • information for specifying a matching section is included in the collation result.
  • the picture number and time information of the matching section are included.
  • information indicating that is included when there is no matching section, information indicating that is included.
  • the case where nothing is included in the collation result may correspond to a case where there is no matching section.
  • one video section is a plurality of sections of the other video (any partial section in a section connected to one) In some cases).
  • one video section is a plurality of sections of the other video (any partial section in a section connected to one) In some cases).
  • the region matching execution information for notifying the execution of the region matching is output to the region matching unit 230.
  • the first change area information output from the demultiplexing means 200 and the second change area information output from the demultiplexing means 210 are output based on the first change area information output from the demultiplexing means 200.
  • the visual feature value for each region is compared with the second visual feature value for each region output from the demultiplexing unit 210.
  • this collation is performed based on the area collation execution information output from the picture collation unit 220. That is, when the area collation execution information is not output, the collation is not performed and the area collation result is not output.
  • the region verification execution information includes information for specifying a target video section, that is, information on a candidate section that cannot be narrowed down in picture verification. I do.
  • the change area information is compared to check whether there is an area at the same position. If there is no area at the same position, area verification is not performed. On the other hand, if there is at least one region at the same position, the feature amount for each region is collated for that region.
  • the method of collation in units of areas is the same as that performed on the entire screen. That is, the distance between the feature amounts is calculated, and when it is smaller than a certain threshold value, it is determined that matching has been performed. Alternatively, the similarity between the feature quantities may be used instead of the distance, and it may be determined that the matching is performed when the similarity is larger than a certain threshold. When there are a plurality of regions at the same position, collation is individually performed for all the regions.
  • the blocks with the indexes 6 and 10 are both in the same position. I'm doing it. Therefore, in this case, the blocks 6 and 10 are collated to determine whether or not they match.
  • the above-described collation processing is performed between areas for pictures included in a certain section, and it is determined whether or not the sections match. At this time, there may be a picture that cannot be collated due to the mismatch of the change area information. However, such a picture is excluded from the evaluation and the inter-area collation is performed. For example, if T and T + 2 pictures can be matched in T picture, T + 1 picture, and T + 2 picture but not in T + 1 picture, only the result of T and T + 2 pictures To determine if they match.
  • the collation result including the section determined to match is output to the collation result determination means 240 as the area collation result.
  • the collation result determination unit 240 determines and outputs the final collation result from the region collation result output from the region collation unit 230 based on the picture collation result output from the picture collation unit 220. When only the picture collation result exists, the determination is made based on the result. When both the picture collation result and the area collation result exist, they are compared, and a matching section included in both the picture collation result and the area collation result is output. Alternatively, if the collation section does not exist because the area collation result is not collated due to the mismatch of the change area information, the picture collation result is output as it is.
  • the inter-picture pixel value difference is calculated between the picture for which the change area information is calculated and the pictures before and after the picture, and the change area information is calculated based on the inter-picture pixel value difference. Therefore, the processing load for calculating the change area information can be reduced.
  • a motion estimation process is performed between a picture for which change area information is calculated and a picture before or after the picture, and the change area information is calculated based on the estimated degree of motion. Since the calculation is performed, it is possible to accurately obtain a region having movement in the time direction.
  • FIG. 11 there is shown a video identifier extraction apparatus according to a second embodiment of the present invention, in which a time axis direction change region extraction unit 100, a region-by-region feature amount extraction unit 110, and a picture-by-picture feature amount extraction unit 630 are shown. And a multiplexing means 620 and a collation weight information extracting means 610.
  • the connection relationship between the time axis direction change region extraction unit 100 and the feature amount extraction unit 110 for each region is the same as in the case of FIG.
  • the feature amount extraction unit 630 for each picture receives the video and the feature amount extraction parameter, and outputs the visual feature amount for each picture to the multiplexing unit 620.
  • the collation weight information extraction unit 610 receives the video and the feature amount extraction parameter, and outputs the collation weight information to the multiplexing unit 620.
  • the multiplexing means 620 outputs the change area information output from the time axis direction change area extraction means 100, the per-area visual feature quantity output from the per-area feature quantity extraction means 110, and the per-picture feature quantity extraction means 130.
  • the visual feature value for each picture and the collation weight information output from the collation weight information extraction unit 610 are input, and the multiplexed result is output as a video identifier.
  • the video identifier extraction apparatus according to the present embodiment can be realized by a program-controlled computer.
  • time axis direction change region extraction unit 100 and the feature amount extraction unit 110 for each region are the same as those in FIG.
  • each dimension of the feature quantity vector is associated with a specific area in the screen by the feature quantity extraction parameter, and the value of the feature quantity extracted from the area is stored.
  • each dimension of the feature quantity vector is a feature quantity extracted from each block when the screen is divided into blocks. Or you may make it obtain
  • Information describing an extraction target region for each dimension of the feature amount is referred to as a feature amount parameter.
  • a feature amount parameter information describing an extraction target region for each dimension of the feature amount.
  • information describing the specific block from which the feature is extracted (block coordinate value or block Index number) is a feature parameter.
  • information describing the local region (information representing the position, size, and shape of the local region) is the feature parameter.
  • the collation weight information extraction unit 610 calculates the amount of change in the image in the time direction in the region associated with each dimension of the feature amount by the feature amount extraction parameter, and accordingly calculates the weighting coefficient of each dimension used in the collation. Determine and output information describing it as collation weight information.
  • the amount of change is obtained for each region using the current target picture and the pictures before and after it.
  • This amount of change may be the amount of change in the time direction of the image obtained by the method of FIG. 3, or may be the amount of motion obtained by the method of FIG.
  • the matching weight information may be the coefficient itself that determines the degree of weighting, or the weighting degree is divided into several classes from light to heavy, and index information specifying this class is used. There may be. For example, in a scene where an announcer is speaking in the news, there may be little movement except near the announcer's face.
  • the collation weight information may be calculated for each picture, or may be calculated for several pictures and output. For example, when a portion having movement in a shot is limited to a specific area, the collation weight information may be calculated and output for the entire shot. More specifically, collation weight information obtained by processing one picture in a shot as a processing target may be used for other pictures in the shot. By doing in this way, the amount of calculation at the time of calculating
  • the collation weight information is calculated for all or a plurality of pictures in the shot, and the collation weight information for the entire shot is described by the representative value (average, median, etc.). You may come to use it. By doing so, the information amount of the video identifier can be reduced.
  • the unit for outputting the collation weight information is not limited to a shot, but may be a fixed time interval such as every few pictures.
  • a time interval to which the same collation weight information can be applied may be calculated from the time direction variation information, and the collation weight information may be collectively calculated and output for the pictures included in the time interval.
  • the time interval to which the same collation weight information can be applied can be calculated by performing threshold processing on the change in the temporal direction variation information between pictures.
  • the time direction variation information in the first picture of the time interval is compared with the current picture time direction variation information, and if the degree of change exceeds the threshold, the interval up to the previous picture is regarded as one unit. It is assumed that the collation weight information for the section is calculated.
  • the collation weight information for the section can be the representative value of the collation weight information for any one picture in the section or the collation weight information for the pictures in the section. By doing so, it is possible to reduce the information amount of the collation weight information in a state where the identification accuracy in the time direction is kept high regardless of the video to be processed.
  • each of the five bins is associated with the same area.
  • the weight information may be described collectively for every five bins.
  • the change area information output from the time axis direction change area extraction means 100, the per-area visual feature quantity output from the per-area feature quantity extraction means 110, and the per-picture feature quantity extraction means 130 output.
  • the visual feature amount for each picture and the collation weight information output from the collation weight information extraction unit 610 are multiplexed to generate and output a video identifier.
  • the operation of the multiplexing unit 120 of FIG. 1 is the same as that of the multiplexing unit 120 of FIG. 1 except that the collation weight information output from the collation weight information extracting unit 610 is also multiplexed.
  • FIG. 12 there is shown a collation device for collating video identifiers generated according to the second embodiment of the present invention.
  • the demultiplexing means 700 demultiplexes the input first video identifier, outputs the first visual feature quantity for each picture to the picture collating means 720, and the first visual feature quantity for each region and the first change area
  • the information is output to the region matching unit 230, and the first matching weight information is output to the weighting coefficient calculation unit 730.
  • the demultiplexing unit 710 demultiplexes the input second video identifier, outputs the second visual feature amount for each picture to the picture collating unit 720, and outputs the second visual feature amount for each region and the second visual feature amount.
  • the change area information is output to the area collation means 230, and the second collation weight information is output to the weight coefficient calculation means 730.
  • the weighting coefficient calculation unit 730 calculates a weighting coefficient from the first collation weight information output from the demultiplexing unit 700 and the second collation weight information output from the demultiplexing unit 710, and sends the weighting coefficient to the picture collation unit 720. Output.
  • the picture collating unit 720 uses the weighting coefficient output from the weighting coefficient calculating unit 730 and the first visual feature quantity for each picture output from the demultiplexing unit 700 and the second picture output from the demultiplexing unit 710. Each visual feature is collated, and the picture collation result is output to the collation result determination means 240 and the area collation execution information is output to the area collation means 230.
  • the area collation unit 230 includes area collation execution information output from the picture collation unit 720, first change area information output from the demultiplexing unit 700, and second change area information output from the demultiplexing unit 710. Based on the above, the first visual feature quantity for each region output from the demultiplexing means 700 and the second visual feature value for each area output from the demultiplexing means 710 are collated, and the area collation result is determined as a collation result. Output to means 240.
  • the collation result determination unit 240 calculates a collation result from the picture collation result output from the picture collation unit 720 and the region collation result output from the region collation unit 230 and outputs the collation result. It should be noted that the collation device according to the present embodiment can be realized by a program-controlled computer.
  • the operation of the demultiplexing means 700 is the same as that of the demultiplexing means 200 of FIG. 8, but further separates the first collation weight information from the first video identifier.
  • the demultiplexing unit 710 is similar to the demultiplexing unit 210 of FIG. 8, but further separates the second collation weight information from the second video identifier.
  • the separated first and second collation weight information is input to the weight coefficient calculation means 730.
  • the weighting coefficient calculation means 730 calculates a weighting coefficient for each dimension of the feature amount from the first collation weight information and the second collation weight information.
  • both of the collation weight information satisfy the restriction that the information is reduced when it corresponds to a small weight value. It only needs to increase when at least one of the weight values corresponding to the weight information increases. For example, when the weights obtained from the first and second collation weight information are w 1 (i) and w 2 (i), respectively, the weight coefficient w (i) can be calculated by [Equation 7].
  • Equation 8 More generally, the equation of [Equation 8] can be used.
  • This weighting coefficient is calculated for each dimension of the feature quantity and output to the picture collating means 720.
  • the operation of the picture matching unit 720 is basically the same as that of the picture matching unit 220 in FIG. 8, except that the weighting coefficient calculated as described above is used when matching between feature quantity vectors. Different.
  • the comparison may be made based on the degree of similarity representing the similarity between the two feature quantities, or the distance representing the degree of difference between the two feature quantities.
  • the comparison is based on the distance d calculated by [Equation 9] instead of [Equation 3].
  • w (i) represents a weighting coefficient corresponding to the i-th dimension.
  • [Equation 10] and [Equation 11] are used instead of [Equation 4] and [Equation 6], respectively.
  • the distance between picture C and picture A is zero.
  • the distance between the picture C and the picture B is a sufficiently large distance because the weight of the moving mouth portion is large.
  • This encoding distortion increases the distance between picture C and picture A, but the weight of the background part without motion is small, so the distance between picture C and picture A is greater than the distance between picture C and picture B.
  • FIG. 13 shows an example of a method for extracting feature values from a picture.
  • two arbitrary regions in a picture are previously determined as a pair, and a feature amount difference between the paired two regions is used as a feature vector.
  • each region pair is represented by P1, P2, P3,...
  • a feature amount determined from the nth pair Pn is represented by Vn.
  • Vn a feature amount determined from the nth pair Pn.
  • Various methods for obtaining Vn from Pn are conceivable. For example, there is a method in which an average value of luminance is calculated in each paired area and shaded area and a value of Vn is determined based on the magnitude relationship.
  • 0 may be used when the absolute value of the difference is smaller than the threshold value, and Vn may be expressed as a ternary value.
  • Other representative values may be used instead of the average luminance value. For example, a median value in a region or a value corresponding to upper a% when luminance values are arranged in descending order can be used. Alternatively, an amount representing an edge-like feature amount may be used as the representative value.
  • a representative value may be obtained by applying a filter for detecting an edge to a region and performing statistical processing such as averaging from the result.
  • the time axis direction change area extraction means 100 calculates how much the area is changed in the time direction for each area formed by dividing the screen into M ⁇ N (M and N are natural numbers). For this, [Equation 1] and [Equation 2] can be used. Then, an area having a large amount of change in the time direction is selected, and the index of the area is output as change area information.
  • the region selection method uses a method of selecting when the amount of change in the time direction is greater than or equal to a threshold value, or a method of selecting a certain number from the larger when the regions are arranged in descending order of the amount of change. Can do.
  • the change area information includes information indicating that nothing is output or that there is no area that is the target of feature amount extraction.
  • the obtained change area information is output to the feature amount extraction means 110 for each area.
  • the feature amount extraction unit 110 for each region extracts a feature amount for each region with respect to the region specified by the change region information output from the time axis direction change region extraction unit.
  • this feature amount the same amount as that calculated for the entire picture can be used. That is, as shown in FIG. 13, two arbitrary regions in a picture are determined in advance as a pair, and a feature amount difference between the paired two regions is used as a feature vector.
  • the method of taking the region pair and the method of calculating the representative value in the region may be the same as or different from those for the picture.
  • the feature amount calculation method may be changed for each region.
  • the present invention can be applied to a use such as searching for a similar or identical video from many videos with high accuracy.
  • the search for the same section of video can be used for the purpose of identifying an illegally copied moving image distributed on the network, or for the purpose of identifying a CM being broadcast by an actual broadcast wave.
  • Time axis direction change area extraction means 110 ... Area-specific feature quantity extraction means 120, 620 ... Multiplexing means 130, 630 ... Picture feature quantity extraction means 200, 210, 700, 710 ... Demultiplexing means 220, 720 ... Picture Matching means 230 ... area matching means 240 ... matching result determination means 400 ... inter-picture difference calculation means 410 ... change area extraction means 500 ... motion information calculation means 510 ... change area extraction means 610 ... matching weight information extraction means 730 ... weighting coefficient calculation means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

　この映像識別子抽出装置は、入力される映像から、フレームまたはフィールドであるピクチャ毎の特徴量をピクチャ毎視覚特徴量として抽出するピクチャ毎特徴量抽出手段と、上記映像から、ピクチャ内の予め定められた領域に対して、時間方向の画像変化を解析し、画像変化が大きい領域を求めてその領域を指定する情報である変化領域情報を生成する時間軸方向変化領域抽出手段と、上記変化領域情報に対応する領域の特徴量を、上記映像から領域毎視覚特徴量として抽出する領域毎特徴量抽出手段と、上記ピクチャ毎視覚特徴量と上記領域毎視覚特徴量と上記変化領域情報とを多重化して映像識別子を生成する多重化手段とを有する。

Description

映像識別子抽出装置
　本発明は数多くの動画像の中から、類似あるいは同一の動画像区間を検出する映像検索用の映像識別子抽出装置、方法、およびプログラムに関する。
　動画像特徴量抽出・照合装置の一例が、非特許文献１に記載されている。図１４は、非特許文献１に記された動画像特徴量抽出装置を表すブロック図である。
　ブロック単位特徴量抽出手段１０００は、入力される第1の映像からブロック単位で特徴量を抽出し、第1の特徴量を照合手段１０３０へ出力する。ブロック単位特徴量抽出手段１０１０は、入力される第２の映像からブロック単位で特徴量を抽出し、第２の特徴量を照合手段１０３０へ出力する。重み付け係数算出手段１０２０は、入力される学習用映像に基づいて各ブロックの重みの値を算出し、重み付け係数を照合手段１０３０へ出力する。照合手段１０３０は、重み付け係数算出手段１０２０から出力される重み付け係数を用いて、ブロック単位特徴量抽出手段１０００から出力される第1の特徴量と、ブロック単位特徴量抽出手段１０１０から出力される第２の特徴量とを照合し、照合結果を出力する。
　次に、図１４に示す装置の動作について説明する。
　ブロック単位特徴量抽出手段１０００では、入力される第1の映像の各フレームをブロック単位に分割し、各ブロックから映像を識別するための特徴量を算出する。具体的には、ブロックごとにエッジのタイプを判定し、そのタイプを各ブロックの特徴量として算出する。そして、各フレームに対して、各ブロックのエッジタイプからなる特徴量ベクトルを構成する。この特徴量ベクトルを各フレームに対して算出し、得られた特徴量を第1の特徴量として照合手段１０３０へ出力する。
　ブロック単位特徴量抽出手段１０１０の動作もブロック単位特徴量抽出手段１０００と同様であり、入力される第２の映像から第２の特徴量を算出し、得られた第２の特徴量を照合手段１０３０へ出力する。
　一方、重み付け係数算出手段１０２０では、事前に学習用映像を用いて、フレーム内の各ブロックにおいてテロップが挿入される確率を算出する。そして、算出された確率に基づいて、各ブロックの重み付け係数を算出する。具体的には、テロップ重畳に対しての頑健性を高めるために、テロップが重畳される確率が低いほど、重みが高くなるようにして重み付け係数を算出する。得られた重み付け係数は、照合手段１０３０へ出力される。
　照合手段１０３０では、重み付け係数算出手段１０２０から出力される重み付け係数を用いて、ブロック単位特徴量抽出手段１０００から出力される第1の特徴量とブロック単位特徴量抽出手段１０１０から出力される第２の特徴量とを照合する。具体的には、フレームごとに、同じ位置にあるブロックの特徴量を比較し、同じであれば1、そうでなければ0としてブロック単位のスコアを算出する。得られたブロック単位のスコアを重み付け係数を用いて加重して合計し、フレームの照合スコア（フレーム単位の類似度）を算出する。これを各フレームに対して行い、第1の映像と第２の映像の照合結果を算出する。
　このようにすることで、テロップ重畳の影響が大きいところの影響を抑えて動画像の照合を行うことが可能となり、テロップ重畳がある場合であっても高い照合精度を達成できる。
　また、ブロック単位の平均値やＤＣＴ係数などの画像の特徴量と、前後フレーム間で求めた動きベクトル情報を用いて、動画像の検索を行う装置が特許文献１に記載されている。特許文献１に記載の動画像検索装置では、まず、入力された画像から各フレームの輝度や色差情報、色情報などの物理的な動画像特徴量情報の値、その平均値、その値の合計値、またはその値の差分値のうち少なくとも１つを各フレームに対して抽出する。次に、抽出した値を時間軸上に配列し、その並びの全部、その配列した並びから一定間隔または変則間隔で抜き出した値を動画識別情報として抽出する。あるいは、フレームのDCT係数と動き補償情報を圧縮された動画像データから抽出し、DCT係数の平均値、その値の合計値、またはその値の差分値を求め、動き補償情報からは動きベクトル、前後フレーム間の平均動きベクトル、合計動きベクトル、差分ベクトル、またはフレーム全体としての動きベクトルなどのうち少なくとも１つを求める。そして、求めた値を時間軸上に配列し、その並びの全部、その配列した並びから一定間隔または変則間隔で抜き出した値を動画識別情報として抽出する。
特開２０００－１９４７２７号公報
Kota Iwamoto, Eiji Kasutani, Akio Yamada, 「ImageSignature Robust to Caption Superimposition for Video Sequence Identification」，Proceedings of International Conference on Image Processing(ICIP2006)，2006． Eiji Kasutani, Ryoma Oami, Akio Yamada, Takami Sato and Kyoji Hirata「Video Material Archive System for Efficient Video Editing Based onMedia Identification」，Proceedings of InternationalConference on Multimedia and Expo (ICME2004)，pp.727--730,2004．
　上述した技術の問題点は、時間的な変化が乏しいシーンでの時間方向の識別精度を高めることが困難である点である。その理由は、非特許文献１の場合には、照合時の重み付けをテロップの重畳される確率で決定しており、時間的な変化が乏しいシーンの照合に合わせた制御になっていないためである。時間的な変化が乏しいシーンの場合には、画面上の大半は動きがなく、局所的な領域のみに動きや輝度変化などの画像の変化が生じている場合が多い。このような場合の識別精度を向上させるには、ブロック単位で特徴量を抽出するなど、より細かな特徴量を抽出しておけばよいが、このようにすると特徴量サイズが大きくなってしまうという問題があった。特許文献１の場合も、動き情報は用いており、動きを考慮した特徴量にはなっているものの、動き情報から求める特徴量と輝度値やDCT係数から求める特徴量とを独立に用いており、より細かなレベルまで抽出すると、特徴量サイズが大きくなってしまうという、同様の問題が存在する。
［発明の目的］
　本発明の目的は、時間的な変化の乏しい動画像から生成される映像記述子では識別精度が低下する、という課題を解決する映像識別子抽出装置を提供することにある。
　本発明の一形態にかかる映像識別子抽出装置は、入力される映像から、フレームまたはフィールドであるピクチャ毎の特徴量をピクチャ毎視覚特徴量として抽出するピクチャ毎特徴量抽出手段と、上記映像から、ピクチャ内の予め定められた領域に対して、時間方向の画像変化を解析し、画像変化が大きい領域を求めてその領域を指定する情報である変化領域情報を生成する時間軸方向変化領域抽出手段と、上記変化領域情報に対応する領域の特徴量を、上記映像から領域毎視覚特徴量として抽出する領域毎特徴量抽出手段と、上記ピクチャ毎視覚特徴量と上記領域毎視覚特徴量と上記変化領域情報とを多重化して映像識別子を生成する多重化手段とを有する。
　本発明は上述のように構成されているため、時間的な変化が乏しいシーンでも、時間方向の識別精度を高めることができる効果がある。
本発明にかかる映像識別子抽出装置の第１の実施の形態の領域図である。 時間軸方向変化領域抽出手段１００の構成例を示すブロック図である。 変化領域抽出手段４１０の処理例を説明するための図である。 ピクチャ内の予め定められた複数の領域が、ブロックである場合を示した図である。 ピクチャ内の予め定められた複数の領域が、形状の異なる局所領域である場合を示した図である。 時間軸方向変化領域抽出手段１００の他の構成例を示すブロック図である。 変化領域抽出手段５１０の処理例を説明するための図である。 第１の実施の形態の映像識別子抽出装置によって生成された映像識別子を照合する映像識別子照合装置の構成例を示すブロック図である。 ２つの映像の照合処理を説明するための図である。 領域照合手段２３０の処理を説明するための図である。 本発明にかかる映像識別子抽出装置の第２の実施の形態のブロック図である。 第２の実施の形態の映像識別子抽出装置によって生成された映像識別子を照合する映像識別子照合装置の構成例を示すブロック図である。 特徴量の一例を示す図である。 本発明に関連する技術を説明するためのブロック図である。
　次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。
　図１を参照すると、本発明の第１の実施の形態の映像識別子抽出装置が示されており、時間軸方向変化領域抽出手段１００と、領域毎特徴量抽出手段１１０と、ピクチャ毎特徴量抽出手段１３０と、多重化手段１２０とからなる。
　ピクチャ毎特徴量抽出手段１３０は、入力される映像からピクチャ毎特徴量を抽出し、多重化手段１２０へ出力する。時間軸方向変化領域抽出手段１００は、映像から変化領域情報を求め、領域毎特徴量抽出手段１１０と多重化手段１２０へ出力する。領域毎特徴量抽出手段１１０は、時間軸方向変化領域抽出手段１００から出力される変化領域情報に基づいて、映像から領域毎視覚特徴量を抽出し、多重化手段１２０へ出力する。多重化手段１２０は、ピクチャ毎特徴量抽出手段１３０から出力されるピクチャ毎視覚特徴量と、時間軸方向変化領域抽出手段１００から出力される変化領域情報と、領域毎特徴量抽出手段１１０から出力される領域毎視覚特徴量とを多重化して、映像識別子を生成、出力する。
　なお、本実施の形態の映像識別子抽出装置は、コンピュータにより実現可能であり、その場合には例えば次のようにする。コンピュータを映像識別子抽出装置として機能させるためのプログラムを記録したディスク、半導体メモリなどを用意し、コンピュータに上記プログラムを読み取らせる。コンピュータは読み取ったプログラムに従って自身の動作を制御することにより、自コンピュータ上に、時間軸方向変化領域抽出手段１００、領域毎特徴量抽出手段１１０、多重化手段１２０、および、ピクチャ毎特徴量抽出手段１３０を実現する。
　次に、図１に示す第一の実施の形態の動作について詳細に説明する。
　まず、映像はピクチャ毎特徴量抽出手段１３０へ入力される。元の映像が符号化されている場合には、復号器によって復号されてから、フレームあるいはフィールドからなるピクチャ単位でデータが入力されるものとする。
　ピクチャ毎特徴量抽出手段１３０では、ピクチャ毎の特徴量ベクトルを算出する。ピクチャを1枚の静止画とみなし、この色や模様、形などの特徴を示す視覚特徴量のベクトルを抽出する。この特徴量として、特徴量ベクトルの各次元に対応付けられた局所領域対に対して領域間における特徴量の差を算出し（例えば、領域対の各領域に対して領域内での画素値の平均値を求め、領域間で平均値の差を算出する）、差を量子化して得られる量子化値を各次元の値とする特徴量ベクトルを用いても良い。ピクチャ毎に算出された特徴量ベクトルは、ピクチャ毎視覚特徴量として多重化手段１２０へ出力される。
　また、映像は、時間軸方向変化領域抽出手段１００へも入力される。時間軸方向変化領域抽出手段１００では、時間方向の画像の変化量が算出される。現在対象となっているピクチャとその前後のピクチャを用いて、ピクチャ中の予め定められた複数の領域それぞれの変化量を求める。そして、画面内で変化量が相対的に大きくなる領域を求める。ここで、変化量を求める領域は、ピクチャを分割することにより得られる、図４に示すような複数のブロックであってもよいし、ピクチャ内に定めた、図５に示すようなそれぞれが形状の異なる複数の局所領域であってよい。また、ブロックの形状は、矩形に限られるものではない。時間方向の変化が大きい領域ほど、映像の識別に寄与する可能性が高いことから、変化量が大きい順に複数の領域を選択する。選択方法としては、大きい順に一定個数の領域を選択してもよいし、変化量が閾値以上になった領域を選択するようにしてもよい。変化量の算出方法の詳細については、後述する。選択された領域のインデックス情報などの選択された領域を特定するための情報を、変化領域情報として出力する。例えば、ニュースでアナウンサーが話している場面においては、アナウンサーの顔付近以外は殆ど動きがない場合がある。このような場合には、アナウンサーの顔に対応する領域のみが時間方向の変化が画面の他の領域に比べて相対的に大きくなるため、顔に対応する領域を指定する情報が変化領域情報として出力される。
　なお、変化領域情報は、各ピクチャに対して算出するようになっていてもよいし、数ピクチャまとめて算出し、出力するようになっていてもよい。例えば、ショット内で動きがある部分が特定の領域のみに限定されている場合には、そのショット全体に対して共通の変化領域情報を算出し、出力するようになっていてもよい。より具体的には、ショット内のある１枚のピクチャを処理対象として求めた変化領域情報を、ショット内の他のピクチャに対しても使用するようになっていても良い。あるいは、ショット内の全てあるいは複数のピクチャに対して時間軸方向変化を算出し、その代表値（平均、メディアンなど）によって、ショット全体の変化領域情報を求めて記述するようにし、ショット内の全てのピクチャに対して使用するようになっていてもよい。
　ただし、変化領域情報を出力する単位はショットに限らず、数ピクチャおきなど、固定の時間間隔であってもよい。あるいは、同じ変化領域情報が適用可能な時間区間を時間方向の変化量から算出し、その時間区間に含まれるピクチャに対して変化領域情報をまとめて算出し、出力するようになっていてもよい。この場合、まとめられるピクチャ数が毎回変化するため、そのピクチャ数も一緒に記述するようにする。同じ変化領域情報が適用可能な時間区間の算出は、時間軸方向の変化量のピクチャ間での変化を閾値処理することによって算出できる。すなわち、時間区間の先頭のピクチャにおける時間軸方向の変化量と現在のピクチャの時間軸方向の変化量とを比較し、その変化の度合いが閾値を上回る場合に、その前のピクチャまでの区間を一つのまとまりとみなし、その区間に対する変化領域情報を算出するようにする。上記区間に対する変化領域情報は、区間内の任意の１枚のピクチャの変化領域情報あるいは区間内のピクチャの変化領域情報の代表値とすることができる。このようにすることにより、処理対象とする映像がどのようなものであっても、時間方向の識別精度を高く保った状態で変化領域情報の情報量を削減することができる。
　このようにして算出された変化領域情報は、領域毎特徴量抽出手段１１０と多重化手段１２０へ出力される。
　領域毎特徴量抽出手段１１０では、時間軸方向変化領域抽出手段１００から出力される変化領域情報で指定される領域に対して、領域単位の特徴量抽出を行う。ここで、領域単位の特徴量は、ピクチャ毎特徴量抽出手段１３０で算出する画面全体の特徴量と同じであってもよいし、違っていても良い。例えば、上述の、特徴量ベクトルの各次元に対応付けられた局所領域対に対して領域間における特徴量の差を算出して特徴量ベクトルの各次元の値とする特徴量を用いてもよい。変化領域情報によって指定された領域の特徴量は、領域毎視覚特徴量として多重化手段１２０へ出力される。
　多重化手段１２０では、ピクチャ毎特徴量抽出手段１３０から出力されるピクチャ毎視覚特徴量と、領域毎特徴量抽出手段１１０から出力される領域毎視覚特徴量と、時間軸方向変化領域抽出手段１００から出力される変化領域情報とを多重化して映像識別子を生成し、出力する。ここでは、これらの情報が照合時に分離可能な形で多重化して映像識別子を生成する。多重化の方法としては、ピクチャごとに３つの情報をインターリーブして多重化してもよいし、ピクチャ毎視覚特徴量、領域毎視覚特徴量、変化領域情報をそれぞれ別々にまとめて、最後につなげることによって多重化してもよい。あるいは、一定の区間ごと（例えば、変化領域情報を算出する時間区間単位ごと）にピクチャ毎視覚特徴量、領域毎視覚特徴量、変化領域情報とを多重化するようになっていてもよい。
　次に、時間軸方向変化領域抽出手段１００の実施の形態について図２を参照して述べる。
　図２を参照すると、時間軸方向変化領域抽出手段１００の実施の形態が示されており、ピクチャ間差分算出手段４００と変化領域抽出手段４１０とからなる。
　ピクチャ間差分算出手段４００は、入力される映像からピクチャ間差分情報を算出し、変化領域抽出手段４１０へ出力する。変化領域抽出手段４１０は、ピクチャ間差分算出手段４００から出力されるピクチャ間差分情報と特徴量抽出パラメータ（特徴量の各次元と抽出対象となる領域を記述する情報）とを用いて変化領域情報を算出し、出力する。
　次に、図２に示す時間軸方向変化領域抽出手段１００の動作について説明する。
　まず、映像はピクチャ間差分算出手段４００へ入力される。ピクチャ間差分算出手段４００では、ピクチャ間で画素値の差分を求める。差分の算出は、画素単位で行ってもよいし、ある程度の画素をまとめてできる領域（例えばブロック）単位で差分を算出するようにしてもよい。例えば、各領域に対する代表値（平均やメディアンなど）を求めておき、ピクチャ間で同じ位置にある領域の代表値と差分を取るといった方法でもよい。また、画素値の差分は、輝度値同士の差であってもよいし、画素値としてR、G、Bの色成分を用い、それらの差分の少なくとも1つ求めて、画素値の差分としてもよい。もちろん、色空間はRGBではなく、HSVやL*a*b*など、任意の色空間でよい。また、差分としては、単に画素値を引くのみではなく、絶対値演算を行い、差分の絶対値を出すようにしてもよい。算出されたピクチャ間の差分データは、ピクチャ間差分情報として変化領域抽出手段４１０へ出力される。
　変化領域抽出手段４１０では、ピクチャ間差分情報から、各領域における差分情報を算出する。このために、まず、処理対象となっているピクチャにおいて、動いている物体に対応する領域において大きくなる値を算出する。これは、これを処理対象となっているピクチャとひとつ前のピクチャ間、さらに、処理対象となっているピクチャと一つ後のピクチャ間で算出された差分値の積をとることによって得られる。
　これを図で示したのが図３である。図３において、Ｔピクチャは処理対象となっているピクチャであり、Ｔ－１ピクチャ、Ｔ＋１ピクチャは、それぞれ処理対象ピクチャの一つ前、一つ後のピクチャを表している。そして、これらのピクチャ間では、長方形の斜線オブジェクトは静止しており、丸い黒色のオブジェクトのみが動いているものとする。この場合、前述のピクチャ間差分算出手段４００において、処理対象であるＴピクチャと１つ前のＴ－１ピクチャ間で差分が算出されている。この場合、図に示すように、丸いオブジェクトの動きによって生じた差分のみが出てくる。ただし、差分値自体は、Ｔピクチャにおける丸いオブジェクトの位置、およびＴ－１ピクチャにおける同オブジェクトの位置の両方で大きな値となる傾向にある。同様に、１つ後のＴ＋１ピクチャとＴピクチャの差分を算出することで、Ｔピクチャにおける丸いオブジェクトの位置、およびＴ＋１ピクチャにおける丸いオブジェクトの位置で差分が大きくなる。そこで、両差分画像の積を算出する。両方の差分画像においてともに差分値が大きくなるのは、Ｔピクチャにおける丸いオブジェクトの位置のみであるから、これによりＴピクチャでの動オブジェクト領域の差分のみを大きくすることができる。ここでは、処理対象のピクチャの一つ前、一つ後のピクチャを用いて算出する方法について述べたが、数ピクチャ前、数ピクチャ後のピクチャを用いても同様に算出可能である。すなわち、T-mピクチャ、T+nピクチャを用いて、同様にして動オブジェクト領域の差分のみを大きくすることができる。そこで、このようにして得られた結果を、領域毎に集計することによって領域内の変化量を算出する。
　より具体的には、［数１］によって領域内の変化量を計算する。
Figure JPOXMLDOC01-appb-M000001
　［数１］において、fT(x)は、Ｔピクチャの位置xにおける画素値、R(i)は、i番目の領域（画素の集合）、w(i)はi番目の領域の変化量を表す。なお、ここでは単純に領域内での加算を用いたが、領域内での平均をとってもよいし、二乗して加算してもよいし、メディアンや最大値など、別の統計量を用いて領域の変化量を求めるようにしてもよい。また、領域内の全ての画素の値を用いて変化量を求めなくてもよい。例えば、１画素おきに画素を間引いて変化量を算出するようにしてもよい。
　このようにして算出した各領域に対する変化量に基づいて、変化量が大きい領域を求める。具体的には、変化量が一定の閾値を超えている領域を算出したり、あるいは、変化量が大きい順に一定個数の領域を選択したりするようにしてもよい。そして、選択された領域を記述する情報（例えば領域のインデックスなど）を変化領域情報として出力する。例えば、ピクチャ上に定められた領域が、図４のように画面を16分割することにより得られるブロックであり、斜線をつけたブロックで変化量が大きくなった場合には、そのブロックのインデックス６、１０、１２を変化領域情報として出力する。また、例えば、ピクチャ上に定められた領域が、図５に示すような任意形状の複数の局所領域であり、斜線を付けた局所領域で変化量が大きくなった場合には、その局所領域のインデックス２を変化領域情報として出力する。
　また、変化領域情報は、全てのピクチャに対して算出する必要はなく、数ピクチャおきに算出するようにしてもよい。この際、複数ピクチャで算出された領域の変化量を合計して、その数ピクチャに対応する変化領域情報を求めるようになっていてもよい。
　また、画像全体での特徴量が時間的に大きく変化する場合には、領域単位の特徴量がなくても十分照合可能なため、このような映像・映像区間に対しては、領域（ブロックあるいは局所領域）に対する特徴量を算出しないようになっていてもよい。例えば、時間軸方向の変化量が小さい領域が一定個の閾値以下の場合には、ブロックあるいは局所領域に対する特徴量を算出しないようにする。具体的には、変化領域情報としては何も出力しないか、あるいは、特徴量抽出の対象となる領域がないことを示す情報を含むようにする。
　これによって、無闇に領域特徴量を算出して映像識別子のサイズが不要に大きくなるのを防ぎ、必要なところのみから特徴量を算出することができる。
　図２に示す時間軸方向変化領域抽出手段１００は、基本的には単にピクチャ間での差分をとればよいため、処理負荷が小さく抑えられるという特徴がある。
　次に、時間軸方向変化領域抽出手段１００の別の実施の形態について図６を参照して述べる。
　図６を参照すると、時間軸方向変化領域抽出手段１００の別の実施の形態が示されており、動き情報算出手段５００と、変化領域抽出手段５１０とからなる。
　動き情報算出手段５００は、映像を入力とし、動きベクトルを算出して動きベクトル情報を変化領域抽出手段５１０へ出力する。変化領域抽出手段５１０は、動き情報算出手段５００から出力される動きベクトル情報と特徴量抽出パラメータとを用いて変化領域情報を算出し、出力する。
　次に、図６に示す時間軸方向変化領域抽出手段１００の動作について説明する。
　まず、映像は動き情報算出手段５００へ入力される。動き情報算出手段５００では、現在の対象ピクチャとその前（または後）のピクチャ間で動き推定を行い、動きベクトルを算出する。動きベクトルの算出方法としては、従来の勾配法に基づく方法や、ブロックマッチング法に基づく方法など、任意の動きベクトル推定法を用いることができる。また、動きは画素単位で算出するようにしてもよいし、画像を複数の小領域に分割し、その領域単位で動きを求めるようにしてもよい。このようにして算出された動きベクトルの場を記述する情報は、動きベクトル情報として出力される。動きベクトル情報は、ピクチャ内で求まった個々の動きベクトルをそのまま記述する情報であってもよいし、0以外の動きベクトルが算出された領域のみの動きを、領域を特定する情報とともに記述する情報であってもよい。算出された動きベクトル記述情報は変化領域抽出手段５１０へ出力される。
　変化領域抽出手段５１０では、算出された動きベクトルを領域ごとに集計し、領域内での動き量を算出する。
　これを図示したものが図７である。図７では、TピクチャとT-1ピクチャの様子を示している。これに対し、動き推定処理を行うことによって図に示すように、丸いオブジェクトの動きに相当する部分で動きベクトルが算出される。ここでは、１つ前のピクチャを用いる場合について記したが、数ピクチャ前、あるいは数ピクチャ後のピクチャを用いて動き推定処理を行っても良い。また、２枚のピクチャだけでなく、数枚のピクチャを用いて動き推定処理を行っても良い。この場合も同様に、動きがある部分で動きベクトルが算出される。よって、これを用いて各領域内での動き量を算出する。例えば、領域内で動きベクトルの長さの合計を算出する。これを数式で表したものが［数２］である。
Figure JPOXMLDOC01-appb-M000002
　ここで、v(x)は、xにおける動きベクトルを表している。それ以外の記号については、［数１］と同様である。なお、ここでは単純に領域内での加算を用いたが、領域内での平均をとってもよいし、二乗して加算してもよいし、メディアンや最大値など、別の統計量を用いて領域の代表的な動き量を求めるようにしてもよい。また、領域内の全ての動きベクトルを用いて動き量を求めなくてもよい。例えば、適当に間引いて動き量を算出するようにしてもよい。
　図６に示す時間軸方向変化領域抽出手段１００は、動きを算出するため、一般的には図２の場合よりも処理量は増えるが、実際の動きを算出するため、図２の場合に比べて、時間方向に動きがある領域を精度良く求めることが可能となる。
　次に、本発明の映像識別子照合装置の実施の形態について説明する。
　図８を参照すると、本発明の映像識別子照合装置の実施の形態が示されており、多重分離手段２００、多重分離手段２１０、ピクチャ照合手段２２０、領域照合手段２３０、および、照合結果判定手段２４０からなる。なお、本実施の形態の映像識別子照合装置は、プログラム制御されるコンピュータによって実現可能である。
　多重分離手段２００は、入力される第1の映像識別子を多重分離し、第1のピクチャ毎視覚特徴量をピクチャ照合手段２２０へ出力し、第1の領域毎視覚特徴量と第1の変化領域情報とを領域照合手段２３０へ出力する。多重分離手段２１０も同様に、入力される第２の映像識別子を多重分離し、第２のピクチャ毎視覚特徴量をピクチャ照合手段２２０へ出力し、第２の領域毎視覚特徴量と第２の変化領域情報とを領域照合手段２３０へ出力する。ピクチャ照合手段２２０は、多重分離手段２００から出力される第1のピクチャ毎視覚特徴量と多重分離手段２１０から出力される第２のピクチャ毎視覚特徴量とを照合し、ピクチャ照合結果を照合結果判定手段２４０へ出力するとともに、領域照合実行情報を領域照合手段２３０へ出力する。領域照合手段２３０は、ピクチャ照合手段２２０から出力される領域照合実行情報と、多重分離手段２００から出力される第1の変化領域情報と、多重分離手段２１０から出力される第２の変化領域情報とに基づいて、多重分離手段２００から出力される第1の領域毎視覚特徴量と多重分離手段２１０から出力される第２の領域毎視覚特徴量とを照合し、領域照合結果を照合結果判定手段２４０へ出力する。照合結果判定手段２４０は、ピクチャ照合手段２２０から出力されるピクチャ照合結果と領域照合手段２３０から出力される領域照合結果とから照合結果を算出し、出力する。
　次に、図８に示す本発明の映像識別子照合装置の実施の形態の動作について説明する。
　第1の映像識別子は、多重分離手段２００へ入力される。多重分離手段２００では、第1の映像識別子から第1のピクチャ毎視覚特徴量、第1の領域毎視覚特徴量、第1の変化領域情報を分離する。この際、多重化手段１２０において多重化のときに用いた方法に対応する分離方法によって分離する。分離によって生じた第1のピクチャ毎視覚特徴量はピクチャ照合手段２２０へ出力され、第1の領域毎特徴量と第1の変化領域情報は領域照合手段２３０へ出力される。
　第２の映像識別子は、多重分離手段２１０に入力される。多重分離手段２１０の動作は多重分離手段２００と同様であり、分離によって生じた第２のピクチャ毎視覚特徴量はピクチャ照合手段２２０へ出力され、第２の領域毎特徴量と第２の変化領域情報は領域照合手段２３０へ出力される。
　ピクチャ照合手段２２０では、多重分離手段２００から出力される第1のピクチャ毎視覚特徴量と多重分離手段２１０から出力される第２のピクチャ毎視覚特徴量とを照合する。この際、両特徴量の類似性を表す類似度によって比較してもよいし、両特徴量の差異の度合いを表す距離によって比較してもよい。距離によって比較する場合には、［数３］に基づいて比較する。
Figure JPOXMLDOC01-appb-M000003
　ここで、Nは特徴量の次元数であり、v1(i), v2(i)はそれぞれ、第1、第２のピクチャ毎視覚特徴量のi番目の次元の値を表している。この比較をピクチャ単位に行い、合計することで、第1の映像と第2の映像の一定区間の照合を行うことができる。例えば、ピクチャ単位の比較で距離の値が閾値以内になるピクチャ対の数を求めて、その値が区間に含まれるピクチャ数に比して十分大きいときに同一区間であると判定し、そうでなければ、同一区間でないと判定する。これを第1の映像と第2の映像の任意の区間の組み合わせに対して行うことによって、これらの映像間に含まれる任意の長さの同一区間を全て判定することができる。また、ピクチャ単位で距離を閾値処理するかわりに、距離を区間内で合計した値が、予め定めた閾値より小さいかどうかによって判定することもできる。勿論、合計値のかわりに平均値を求めてもよい。あるいは、外れ値を除いて区間内で照合するようになっていてもよい。例えば、平均値の代わりにメディアンやＭ推定の結果を用いることでこのような照合を実現できる。
　任意の長さの区間同士の比較法としては、［非特許文献２］に記載された照合方法を用いることもできる。図９に示すように、映像間での照合に長さＬピクチャの照合窓を設け、これらを第１の映像、第２の映像間でスライドさせていき、両者を比較する。もし、照合窓内の区間同士が同一区間と判定された場合には、そこからpピクチャだけ窓を伸ばし、照合処理を継続する。同一区間と判定される限りにおいては、pピクチャだけ窓を伸ばす処理を反復し、最大長の同一区間を求める。このようにすることで、照合した区間のうち、最大長の同一区間を効率的に求めることができる。
　なお、上記の説明では距離を尺度として用いる場合について記したが、類似度を用いても同様に照合可能である。具体的には、［数４］によって算出される類似度Sに基づいて比較する。
Figure JPOXMLDOC01-appb-M000004
　ここで、Sim(x,y)はxとyの近さを表す関数であり、xとｙの値が近いほど大きな値となる。例えば、xとyの間の距離をd(x,y)とすると、［数５］のような関数を用いることができる。
Figure JPOXMLDOC01-appb-M000005
　あるいは、Sim(x,y)はクロネッカーデルタのように、xとyが一致したときのみ1、それ以外は0となる関数であってもよい。あるいは、類似度として特徴ベクトル間の角度（余弦値）を用いる場合には、［数６］によって算出される類似度Sに基づいて比較する。
Figure JPOXMLDOC01-appb-M000006
　このようにして求めた類似度を用いて、距離の場合と同様にして照合を行うことが可能である。
　そして得られた照合結果を照合結果判定手段２４０へ出力する。照合結果としては、一致する区間を特定する情報が照合結果に含まれる。例えば一致する区間のピクチャ番号や時刻情報が含まれる。一方、一致する区間が存在しない場合には、そのことを示す情報が含まれる。あるいは、照合結果に何も含まれない場合が一致する区間が存在しない場合に対応するようになっていてもよい。
　このようにして照合した際、時間方向に動きが乏しい区間では、1つの区間に絞り込めず、1つの映像区間が他方の映像の複数の区間（１つに繋がった区間中の任意の部分区間とマッチする場合も含む）と一致する場合が存在する。あるいは、1つに絞り込めた場合であっても、他の候補区間との照合の距離値、あるいは類似度にそれほど大きな差がなく、実質複数の一致候補区間が存在すると見なせる場合もある。このような場合には、ピクチャ毎の照合では十分絞り込めなかったために、領域照合の実行を通知する、領域照合実行情報を領域照合手段２３０へ出力する。逆に、一致すると判定できる区間が全くなかった場合や、一致すると判定した区間の距離値，類似度と、他の候補区間の距離値，類似度とに大きな差がある場合には、領域毎の照合は不要と判定され、領域照合実行情報は出力されない。
　一方、領域照合手段２３０では、多重分離手段２００から出力される第1の変化領域情報と多重分離手段２１０から出力される第２の変化領域情報に基づいて、多重分離手段２００から出力される第1の領域毎視覚特徴量と多重分離手段２１０から出力される第２の領域毎視覚特徴量とを照合する。ただし、この照合は、ピクチャ照合手段２２０から出力される領域照合実行情報に基づいて行われる。すなわち、領域照合実行情報が出力されない場合には、照合は行わず、領域照合結果を出力しない。領域照合実行情報が出力された場合には、領域照合を行う。この際、領域照合実行情報には、対象となる映像区間を特定する情報、すなわち、ピクチャ照合において絞りこめず、候補となっている区間の情報も含まれるものとし、この区間に対して領域照合を行う。
　照合が行われる場合には、まず、変化領域情報を比較し、同じ位置にある領域が存在するかどうかをチェックする。もし、同じ位置にある領域が存在しない場合には、領域照合は行わない。一方、同じ位置にある領域が少なくとも1つ存在する場合には、その領域に対して、領域毎特徴量の照合を行う。領域単位での照合の方法は、画面全体で行う場合と同様である。すなわち、特徴量間の距離を算出し、それが一定の閾値よりも小さい場合に照合したと判定する。あるいは、距離の代わりに特徴量間の類似度を用い、類似度が一定の閾値よりも大きい場合に照合したと判定してもよい。同じ位置にある領域が複数存在する場合には、それらの全ての領域に対して個別に照合を行う。例えば、一方の映像の変化領域情報が図４のブロックを指定し、他方の映像の変化領域情報は図１０のブロックを指定している場合、インデックスが６と１０のブロックは両者で位置が一致している。よって、この場合には、ブロック６，１０に対して照合を行い、一致するかどうかを判定する。
　ピクチャ同士の照合の場合と同様に、一定の区間に含まれるピクチャに対する領域間で上述の照合処理を行い、その区間が一致するかどうかを求める。この際、変化領域情報の不一致により照合できないピクチャが存在する場合があるが、このようなピクチャは評価から除いて領域間照合を行う。例えば、Tピクチャ，T+1ピクチャ，T+2ピクチャのうち、TとT+2ピクチャでは照合できたが、T+1ピクチャではできなかった場合に、TとT+2ピクチャの結果のみを用いて一致するかどうかを判定する。
　そして、領域照合において、一致すると判定された区間を含む照合結果を領域照合結果として照合結果判定手段２４０へ出力する。
　照合結果判定手段２４０では、ピクチャ照合手段２２０から出力されるピクチャ照合結果とから領域照合手段２３０出力される領域照合結果とから最終的な照合結果を判定し、出力する。ピクチャ照合結果のみが存在する場合には、その結果によって判定する。ピクチャ照合結果と領域照合結果がともに存在する場合には、両者を比較し、ピクチャ照合結果と領域照合結果でどちらにも含まれる一致区間を出力する。あるいは、領域照合結果が変化領域情報の不一致による未照合により照合区間が存在しない場合には、ピクチャ照合結果をそのまま出力する。
　以上が本発明の映像識別子照合装置の実施の形態の説明である。
［第１の実施の形態の効果］
　本実施の形態により、画面全体としては時間方向の変化が乏しく、正確な時間方向の位置あわせが困難な場合であっても、局所的な変化情報を押さえ、それをコンパクトに記述することによって、映像識別子のサイズを抑えた上で、時間方向の照合精度を向上できる。つまり、時間的な変化が乏しいシーンの場合にも、動きや輝度変化などの画像の変化が生じている領域に対応する領域では特徴量を別途算出するため、動きのある領域を用いて信頼度の高い照合を行うことが可能となる。
　また、本実施の形態では、変化領域情報を算出するピクチャとその前後のピクチャとの間でピクチャ間画素値差分を算出し、上記ピクチャ間画素値差分に基づいて、変化領域情報を算出するようにしているので、変化領域情報を算出するための処理負荷を小さくすることができる。
　また、本実施の形態では、変化領域情報を算出するピクチャとその前または後のピクチャとの間で動き推定処理を行い、推定された動きの大きさの度合いに基づいて、上記変化領域情報を算出ようにしているので、時間方向に動きがある領域を精度良く求めることが可能となる。
　次に、本願発明の第２の実施の形態について、図を参照して説明する。
　図１１を参照すると、本発明の第２の実施の映像識別子抽出装置が示されており、時間軸方向変化領域抽出手段１００と、領域毎特徴量抽出手段１１０と、ピクチャ毎特徴量抽出手段６３０と、多重化手段６２０と、照合加重情報抽出手段６１０からなる。
　時間軸方向変化領域抽出手段１００、領域毎特徴量抽出手段１１０の接続関係は図１の場合と同様である。ピクチャ毎特徴量抽出手段６３０は、映像と特徴量抽出パラメータを入力とし、ピクチャ毎視覚特徴量を多重化手段６２０へ出力する。照合加重情報抽出手段６１０は、映像と特徴量抽出パラメータが入力され、照合加重情報が多重化手段６２０へ出力される。多重化手段６２０は、時間軸方向変化領域抽出手段１００から出力される変化領域情報と、領域毎特徴量抽出手段１１０から出力される領域毎視覚特徴量と、ピクチャ毎特徴量抽出手段１３０から出力されるピクチャ毎視覚特徴量と、照合加重情報抽出手段６１０から出力される照合加重情報とを入力とし、多重化した結果を映像識別子として出力する。なお、本実施の形態の映像識別子抽出装置は、プログラム制御されるコンピュータによって実現可能である。
　次に、図１１に示す第２の実施の形態の動作について詳細に説明する。
　時間軸方向変化領域抽出手段１００，領域毎特徴量抽出手段１１０の動作は図１の場合と同様である。
　ピクチャ毎特徴量抽出手段６３０の動作も、特徴量抽出パラメータに従ってピクチャ毎の特徴量を抽出することを除けば、ピクチャ毎特徴量抽出手段１３０の動作と同様である。ただし、視覚特徴量は、画面全体を変換することによって得られるものではなく、画面内の部分領域から算出される特徴量とする。すなわち、特徴量ベクトルの各次元は、特徴量抽出パラメータによって画面内の特定の領域と対応付けられており、その領域から抽出された特徴量の値が格納されるものとする。例えば、特徴量ベクトルの各次元を、画面をブロックに分割したときの個々のブロックから抽出される特徴量とする。あるいは、予め定められた任意形状の領域から特徴量の各次元の値を求めるようにしてもよい。そして、特徴量の各次元に対して抽出対象となる領域を記述する情報を特徴量パラメータと呼ぶことにする。具体的には、例えば特徴量ベクトルの各次元が画面内の特定のブロックから抽出される特徴量である場合には、その特徴量を抽出する特定ブロックを記述する情報（ブロックの座標値やブロックのインデックス番号など）が特徴量パラメータになる。あるいは、様々な形状の局所領域が特徴量ベクトルの各次元に対応する場合には、その局所領域を記述する情報（局所領域の位置，サイズ，形状を現す情報）が特徴量パラメータとなる。
　照合加重情報抽出手段６１０では、特徴量抽出パラメータによって特徴量の各次元に対応付けられている領域における、時間方向の画像の変化量を算出し、それに応じて照合時に用いる各次元の加重係数を決定し、それを記述する情報を照合加重情報として出力する。
　すなわち、まず、現在対象となっているピクチャとその前後のピクチャを用いて、領域ごとに変化量を求める。この変化量は、図３の方法で求まる画像の時間方向の変化量であってもよいし、図７の方法で求まる動き量であってもよい。
　次に、各次元に対して求まった時間方向の変化量に応じて、照合時に用いる特徴量の各次元の重み付けの度合いを記述する情報を決定する。時間方向の変化が大きい領域ほど、映像の識別に寄与する可能性が高いことから、変化が大きいほど重要と見なされる重み付けを行う。例えば、時間方向の変化量に対して単調増加する関数によって重み付けの度合いを決定する。照合加重情報としては、重み付けの度合いを決定する係数そのものであってもよいし、重み付けの度合いを軽いものから重いものへいくつかにクラスわけしておいて、このクラスを指定するインデックスの情報であってもよい。例えば、ニュースでアナウンサーが話している場面においては、アナウンサーの顔付近以外は殆ど動きがない場合がある。このような場合には、アナウンサーの顔に対応する領域の次元のみが時間方向の変化が画面の他の領域に比べて相対的に大きくなるため、顔の領域（特に口や目に対応する領域）に対応する特徴量の次元の重みが高くなる照合加重情報が算出される。
　なお、照合加重情報は、各ピクチャに対して算出するようになっていてもよいし、数ピクチャまとめて算出し、出力するようになっていてもよい。例えば、ショット内で動きがある部分が特定の領域のみに限定されている場合には、そのショット全体に対して照合加重情報を算出し、出力するようになっていてもよい。より具体的には、ショット内のある１枚のピクチャを処理対象として求めた照合加重情報を、ショット内の他のピクチャに対しても使用するようになっていても良い。このようにすることにより、照合加重情報を求める際の計算量を削減できると共に、映像識別子の情報量を削減できる。あるいは、ショット内の全てあるいは複数のピクチャに対して照合加重情報を算出し、その代表値（平均，メディアンなど）によって、ショット全体の照合加重情報を記述するようにし、ショット内の全てのピクチャに対して使用するようになていてもよい。このようにすることにより、映像識別子の情報量を削減できる。
　ただし、照合加重情報を出力する単位はショットに限らず、数ピクチャおきなど、固定の時間間隔であってもよい。あるいは、同じ照合加重情報が適用可能な時間区間を時間方向変動情報から算出し、その時間区間に含まれるピクチャに対して照合加重情報をまとめて算出し、出力するようになっていてもよい。この場合、まとめられるピクチャ数が毎回変化するため、そのピクチャ数も一緒に記述するようにする。同じ照合加重情報が適用可能な時間区間の算出は、時間方向変動情報のピクチャ間での変化を閾値処理することによって算出できる。すなわち、時間区間の先頭のピクチャにおける時間方向変動情報と現在のピクチャの時間方向変動情報とを比較し、その変化の度合いが閾値を上回る場合に、その前のピクチャまでの区間を一つのまとまりとみなし、その区間に対する照合加重情報を算出するようにする。上記区間に対する照合加重情報は、区間内の任意の１枚のピクチャの照合加重情報あるいは区間内のピクチャの照合加重情報の代表値とすることができる。このようにすることにより、処理対象とする映像がどのようなものであっても、時間方向の識別精度を高く保った状態で照合加重情報の情報量を削減することができる。
　また、特徴量ベクトルの次元で同じ領域に対応付けられているものが複数存在する場合には、それらをまとめて1つの加重情報として表してもよい。例えば、ISO/IEC 15938-3で規定されているEdge Histogramの場合には、5つのビンごとに同じ領域に対応付けられている。このような場合には、5つのビンごとに加重情報をまとめて記述するようになっていてもよい。
　多重化手段６２０では、時間軸方向変化領域抽出手段１００から出力される変化領域情報と、領域毎特徴量抽出手段１１０から出力される領域毎視覚特徴量と、ピクチャ毎特徴量抽出手段１３０から出力されるピクチャ毎視覚特徴量と、照合加重情報抽出手段６１０から出力される照合加重情報とを多重化し、映像識別子を生成して出力する。図１の多重化手段１２０に比べ、さらに照合加重情報抽出手段６１０から出力される照合加重情報をも多重化することを除けば、図１の多重化手段１２０の動作と同様である。
　次に、本発明の第２の実施の形態に対する照合装置について述べる。
　図１２を参照すると、本発明の第２の実施の形態によって生成した映像識別子を照合する照合装置が示されており、多重分離手段７００、多重分離手段７１０、ピクチャ照合手段７２０、加重係数算出手段７３０、領域照合手段２３０、および、照合結果判定手段２４０からなる。
　多重分離手段７００は、入力される第1の映像識別子を多重分離し、第1のピクチャ毎視覚特徴量をピクチャ照合手段７２０へ出力し、第1の領域毎視覚特徴量と第1の変化領域情報とを領域照合手段２３０へ出力し、第1の照合加重情報を加重係数算出手段７３０へ出力する。多重分離手段７１０も同様に、入力される第２の映像識別子を多重分離し、第２のピクチャ毎視覚特徴量をピクチャ照合手段７２０へ出力し、第２の領域毎視覚特徴量と第２の変化領域情報とを領域照合手段２３０へ出力し、第２の照合加重情報を加重係数算出手段７３０へ出力する。加重係数算出手段７３０は、多重分離手段７００から出力される第1の照合加重情報と、多重分離手段７１０から出力される第２の照合加重情報とから加重係数を算出し、ピクチャ照合手段７２０へ出力する。ピクチャ照合手段７２０は、加重係数算出手段７３０から出力される加重係数を用いて、多重分離手段７００から出力される第1のピクチャ毎視覚特徴量と多重分離手段７１０から出力される第２のピクチャ毎視覚特徴量とを照合し、ピクチャ照合結果を照合結果判定手段２４０へ出力するとともに、領域照合実行情報を領域照合手段２３０へ出力する。領域照合手段２３０は、ピクチャ照合手段７２０から出力される領域照合実行情報と、多重分離手段７００から出力される第1の変化領域情報と、多重分離手段７１０から出力される第２の変化領域情報とに基づいて、多重分離手段７００から出力される第1の領域毎視覚特徴量と多重分離手段７１０から出力される第２の領域毎視覚特徴量とを照合し、領域照合結果を照合結果判定手段２４０へ出力する。照合結果判定手段２４０は、ピクチャ照合手段７２０から出力されるピクチャ照合結果と領域照合手段２３０から出力される領域照合結果とから照合結果を算出し、出力する。なお、本実施の形態の照合装置は、プログラム制御されるコンピュータによって実現可能である。
　次に、図１２に示す照合装置の動作について説明する。
　多重分離手段７００の動作は、図８の多重分離手段２００と同様であるが、さらに第1の映像識別子から第1の照合加重情報も分離する。同じく、多重分離手段７１０も、図８の多重分離手段２１０と同様であるが、さらに第２の映像識別子から第２の照合加重情報も分離する。分離された第１，第２の照合加重情報は、加重係数算出手段７３０へ入力される。
　加重係数算出手段７３０では、第1の照合加重情報と第２の照合加重情報とから、特徴量の各次元に対する加重係数を算出する。第1の照合加重情報と第２の照合加重情報から加重係数を算出する方法は複数考えられるが、両方の照合加重情報が小さな重み値に対応するときに小さくなるという制約を満たしており、照合加重情報に対応する重み値の少なくとも一方が大きくなったときに増加するようになっていればよい。例えば、第1，第２の照合加重情報をから求まる重みがそれぞれw1(i)，w2(i)のときに、加重係数w(i)は［数７］によって算出することができる。
Figure JPOXMLDOC01-appb-M000007
　より一般的には、［数８］の式を用いることができる。
Figure JPOXMLDOC01-appb-M000008
　ここで、pは任意の自然数であり、pが無限大の場合に［数７］に帰着する。
　この加重係数を特徴量の各次元に対して算出し、ピクチャ照合手段７２０へ出力する。
　ピクチャ照合手段７２０の動作は、基本的には、図８のピクチャ照合手段２２０と同様であるが、特徴量ベクトル間の照合を行う際、上述のようにして算出された加重係数を用いる点が異なる。
　この際、両特徴量の類似性を表す類似度によって比較してもよいし、両特徴量の差異の度合いを表す距離によって比較してもよい。距離によって比較する場合には、［数３］のかわりに［数９］によって算出される距離dに基づいて比較する。
Figure JPOXMLDOC01-appb-M000009
　ここで、w(i)は、i番目の次元に対応する加重係数を表している。同様に、類似度を用いる場合には、［数４］，［数６］のかわりに、それぞれ［数１０］，［数１１］を用いるようにする。
Figure JPOXMLDOC01-appb-M000010
Figure JPOXMLDOC01-appb-M000011
　領域照合手段２３０と照合結果判定手段２４０の動作は、図８の場合と同様である。
［第２の実施の形態の効果］
　本実施の形態によれば、時間方向の照合精度を第１の実施の形態よりも高いものにすることができる。その理由は、動きや輝度変化などの画像の変化が生じている領域に対応する特徴量の重みを上げることにより、符号化歪等による特徴量変化が照合に与える影響を受けにくくできるためである。例えば、スタジオでアナウンサーがニュースを読んでいるシーンの連続するピクチャが、ピクチャＡ、ピクチャＢの２枚であるとする。ピクチャＡとピクチャＢとの違いは、アナウンサーの口の部分だけであり、その他は全く同じ画像とする。ピクチャＡと全く同一のピクチャＣが与えられ、そのピクチャＣがピクチャＡ、Ｂの内の何れのピクチャと類似しているかを機械的に判定することを考える。この場合、ピクチャＡ～Ｃに符号化歪が全く存在しなければ、ピクチャＣとピクチャＡとの距離が０となる。他方、ピクチャＣとピクチャＢとの距離は、動きのある口の部分の重みが大きくなっているので、十分大きな距離となる。ここで、例えばピクチャＡの背景部分に符号化歪があった場合を考える。この符号化歪によってピクチャＣとピクチャＡとの距離は大きくなるが、動きのない背景部分の重みは小さいので、ピクチャＣとピクチャＡとの距離は、ピクチャＣとピクチャＢとの距離よりも大きくなることはない。
　次に、本発明の第３の実施の形態を説明する。
　図１３は、ピクチャから特徴量を抽出する方式の一例を示している。この方式では、ピクチャ内の任意の２領域をペアとして予め定めておき、ペアとなった２領域間での特徴量の差を特徴量ベクトルとする。ここで、各領域ペアをＰ１，Ｐ２，Ｐ３，…と表し、ｎ番目のペアＰｎから定まる特徴量をＶｎで表すことにする。領域ペアのとり方は、図に示すように、様々な形・位置の領域の組み合わせがあり得る。そして、ＰｎからＶｎを求める方法も様々な方法が考えられる。例えば、各ペアで斜線の領域と網線をつけた各領域内で輝度の平均値を算出し、その大小関係でＶｎの値を決定する方法がある。具体的には、斜線の領域内で求めた平均輝度値から網線の領域内で求めた平均輝度値を引いて差を求め、差が正のときにＶｎ＝１とし、負のときにＶｎ＝－１とする。あるいは、差の絶対値が閾値より小さい場合は0とし、Ｖｎを3値で表すようにしてもよい。なお、平均輝度値のかわりに他の代表値を用いてもよい。例えば、領域内でのメディアンの値や、輝度値を大きい順に並べたときに上位a％に相当する値を用いることもできる。あるいは、エッジ的な特徴量を表す量を代表値としてもよい。例えば、エッジを検出するフィルタを領域に対して適用し、その結果から平均などの統計処理を行って代表値を求めてよい。
　時間軸方向変化領域抽出手段１００は、画面をＭ×Ｎ分割（Ｍ，Ｎは自然数）してできる各領域に対して、時間方向にどれだけ変化しているかを算出する。これには、［数１］や［数２］を用いることができる。そして、時間方向の変化量が大きい領域を選択し、その領域のインデックスを変化領域情報として出力する。この際の領域の選択方法は、時間方向の変化量がある閾値以上の場合に選択する方法や、変化量の大きい順に領域を並べたときに、大きい方から一定個数分選択する方法を用いることができる。
　なお、変化量の大きな領域の数が多い場合には、ピクチャ全体だけでも十分識別できる場合が多い。このようなときには、領域単位の特徴量を求めないようにしてもよい。例えば、変化量が小さい領域の数が一定の閾値以下の場合には、領域単位の特徴量は求めないようにする。すなわち、変化領域情報としては何も出力しないか、あるいは、特徴量抽出の対象となる領域がないことを示す情報を含むようにする。
　求まった変化領域情報は、領域毎特徴量抽出手段１１０へ出力される。領域毎特徴量抽出手段１１０では、時間軸方向変化領域抽出手段から出力される変化領域情報で指定される領域に対して、領域毎の特徴量を抽出する。この特徴量としては、ピクチャ全体に対して算出したものと同様のものを用いることができる。すなわち、図１３で示したように、ピクチャ内の任意の２領域をペアとして予め定めておき、ペアとなった２領域間での特徴量の差を特徴量ベクトルとする。この際の領域ペアのとり方や、領域内での代表値の算出法は、ピクチャに対する場合と同様であってもよいし、異なってもよい。また、領域ごとに特徴量の算出方法を変えてもよい。
　このようにして、時間的変化に乏しいシーンであっても、時間軸方向に精度よく映像区間を識別可能な特徴量を構築できる。
　以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。
　なお、本発明は、日本国にて２００９年１月２３日に特許出願された特願２００９－１２８１５の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
　本発明によれば、類似あるいは同一の映像を多くの映像中から高精度に検索するといった用途に適用できる。特に、映像の同一区間検索については、ネットワーク上に流通する違法にコピーされた動画像を識別する用途や、実際の放送波で流されているＣＭを同定するといった用途に用いることができる。
１００…時間軸方向変化領域抽出手段
１１０…領域毎特徴量抽出手段
１２０、６２０…多重化手段
１３０、６３０…ピクチャ毎特徴量抽出手段
２００、２１０、７００、７１０…多重分離手段
２２０、７２０…ピクチャ照合手段
２３０…領域照合手段
２４０…照合結果判定手段
４００…ピクチャ間差分算出手段
４１０…変化領域抽出手段
５００…動き情報算出手段
５１０…変化領域抽出手段
６１０…照合加重情報抽出手段
７３０…加重係数算出手段

Claims (27)

  1. 　入力される映像から、フレームまたはフィールドであるピクチャ毎の特徴量をピクチャ毎視覚特徴量として抽出するピクチャ毎特徴量抽出手段と、
    　前記映像から、ピクチャ内の予め定められた領域に対して、時間方向の画像変化を解析し、画像変化が大きい領域を求めてその領域を指定する情報である変化領域情報を生成する時間軸方向変化領域抽出手段と、
    　前記変化領域情報に対応する領域の特徴量を、前記映像から領域毎視覚特徴量として抽出する領域毎特徴量抽出手段と、
    　前記ピクチャ毎視覚特徴量と前記領域毎視覚特徴量と前記変化領域情報とを多重化して映像識別子を生成する多重化手段と
    を有することを特徴とする映像識別子抽出装置。
  2. 　前記時間軸方向変化領域抽出手段は、変化領域情報を算出するピクチャとその前後のピクチャとの間でピクチャ間画素値差分を算出し、前記ピクチャ間画素値差分に基づいて、前記変化領域情報を算出する
    ことを特徴とする請求項１に記載の映像識別子抽出装置。
  3. 　前記時間軸方向変化領域抽出手段は、変化領域情報を算出するピクチャとその前または後のピクチャとの間で動き推定処理を行い、推定された動きの大きさの度合いに基づいて、前記変化領域情報を算出する
    ことを特徴とする請求項１に記載の映像識別子抽出装置。
  4. 　前記ピクチャ毎特徴量抽出手段は、前記映像に基づいて、特徴量の各次元に対応付けられた領域から複数次元の特徴量を抽出し、
    　さらに、前記映像の各ピクチャに対して、特徴量の各次元に対応付けられた前記領域内において時間方向の画像変化を解析し、画像変化の度合いに応じた重みを記述する情報である照合加重情報を出力する照合加重情報抽出手段を有し、
    　前記多重化手段は、さらに、前記照合加重情報をも多重化して映像識別子を生成する
    ことを特徴とする請求項１乃至３の何れか１項に記載の映像識別子抽出装置。
  5. 　前記照合加重情報は、画像変化が大きい次元ほど大きくなる重みを記述するものである
    ことを特徴とする請求項４記載の映像識別子抽出装置。
  6. 　前記照合加重情報抽出手段は、照合加重情報を算出するピクチャとその前後のピクチャとの間でピクチャ間画素値差分を算出し、前記ピクチャ間画素値差分に基づいて、特徴量の各次元に対応する前記照合加重情報を算出する
    ことを特徴とする請求項４または５に記載の映像識別子抽出装置。
  7. 　前記照合加重情報抽出手段は、照合加重情報を算出するピクチャとその前または後のピクチャとの間で動き推定処理を行い、推定された動きの大きさの度合いに基づいて、特徴量の各次元に対応する前記照合加重情報を算出する
    ことを特徴とする請求項４または５に記載の映像識別子抽出装置。
  8. 　前記時間軸方向変化領域抽出手段は、画像変化が大きい方から一定個数の領域を求める
    ことを特徴とする請求項１乃至７の何れか１項に記載の映像識別子抽出装置。
  9. 　前記時間軸方向変化領域抽出手段は、画像変化が閾値以上の領域を求める
    ことを特徴とする請求項１乃至７の何れか１項に記載の映像識別子抽出装置。
  10. 　前記変化領域情報で指定される領域は、ピクチャを分割することにより得られるブロックである
    ことを特徴とする請求項１乃至９の何れか１項に記載の映像識別子抽出装置。
  11. 　前記ピクチャ毎視覚特徴量の各次元は、その次元に対して予め定められている、ピクチャ内の形状が異なる任意の２領域の特徴量の差分に応じた値である
    ことを特徴とする請求項１乃至１０の何れか１項に記載の映像識別子抽出装置。
  12. 　ピクチャの特徴を表す第１のピクチャ毎視覚特徴量と、前記ピクチャの領域の内の時間方向の画像変化が大きい領域を示す第１の変化領域情報と、前記第１の変化領域情報に対応する領域の特徴を示す第１の領域毎視覚特徴量とを含んだ第１の映像識別子から、前記第1のピクチャ毎視覚特徴量と前記第1の領域毎視覚特徴量と前記第1の変化領域情報とを分離する第1の多重分離手段と、
    　ピクチャの特徴を表す第２のピクチャ毎視覚特徴量と、前記ピクチャの領域の内の時間方向の画像変化が大きい領域を示す第２の変化領域情報と、前記第２の変化領域情報に対応する領域の特徴を示す第２の領域毎視覚特徴量とを含んだ第2の映像識別子から、前記第2のピクチャ毎視覚特徴量と前記第2の領域毎視覚特徴量と前記第2の変化領域情報とを分離する第2の多重分離手段と、
    　前記第1のピクチャ毎視覚特徴量と、前記第2のピクチャ毎視覚特徴量とを比較し、ピクチャ照合結果を生成するとともに、ピクチャ照合結果では時間方向の照合が十分ではないと判定されるときに領域照合実行情報を出力するピクチャ照合手段と、
    　前記領域照合実行情報が出力されたときに、前記第1の変化領域情報と第2の変化領域情報とを比較し、画面上の位置が同じである領域を指定する情報が含まれている場合には、前記第1の領域毎視覚特徴量と、前記第2の領域毎視覚特徴量の中で、該領域に対応する領域毎視覚特徴量同士を比較して領域照合結果を生成する領域照合手段と、
    　前記ピクチャ照合結果と前記領域照合結果とから、同一映像区間を特定する照合結果判定手段と
    を有することを特徴とする映像識別子照合装置。
  13. 　前記第１の映像識別子は、さらに、前記第１のピクチャ毎視覚特徴量の次元毎の照合加重情報であって、前記次元に対応する、前記ピクチャ中の領域の画像変化に応じた重みを記述する第１の照合加重情報を含み、
    　前記第２の映像識別子は、さらに、前記第２のピクチャ毎視覚特徴量の次元毎の照合加重情報であって、前記次元に対応する、前記ピクチャ中の領域の画像変化に応じた重みを記述する第２の照合加重情報を含み、
    　前記第1の多重分離手段は、さらに、前記第1の照合加重情報をも分離し、
    　前記第2の多重分離手段は、さらに、前記第２の照合加重情報をも分離し、
    　さらに、前記第１の照合加重情報と、前記第２の照合加重情報とから、特徴量の各次元に対応する加重係数を算出する加重係数算出手段を有し、
    　前記ピクチャ照合手段は、前記加重係数を用いて次元ごとに重み付けし、前記第1のピクチャ毎視覚特徴量と前記第2のピクチャ毎視覚特徴量とを照合する
    ことを特徴とする請求項１２に記載の映像識別子照合装置。
  14. 　入力される映像から、フレームまたはフィールドであるピクチャ毎の特徴量をピクチャ毎視覚特徴量として抽出し、
    　前記映像から、ピクチャ内の予め定められた領域に対して、時間方向の画像変化を解析し、画像変化が大きい領域を求めてその領域を指定する情報である変化領域情報を生成し、
    　前記変化領域情報に対応する領域の特徴量を、前記映像から領域毎視覚特徴量として抽出し、
    　前記ピクチャ毎視覚特徴量と前記領域毎視覚特徴量と前記変化領域情報とを多重化して映像識別子を生成する
    ことを特徴とする映像識別子抽出方法。
  15. 　前記変化領域情報の生成では、変化領域情報を算出するピクチャとその前後のピクチャとの間でピクチャ間画素値差分を算出し、前記ピクチャ間画素値差分に基づいて、前記変化領域情報を算出する
    ことを特徴とする請求項１４に記載の映像識別子抽出方法。
  16. 　前記変化領域情報の生成では、変化領域情報を算出するピクチャとその前または後のピクチャとの間で動き推定処理を行い、推定された動きの大きさの度合いに基づいて、前記変化領域情報を算出する
    ことを特徴とする請求項１４に記載の映像識別子抽出方法。
  17. 　前記ピクチャ毎視覚特徴量の抽出では、前記映像に基づいて、特徴量の各次元に対応付けられた領域から複数次元の特徴量を抽出し、
    　さらに、前記映像の各ピクチャに対して、特徴量の各次元に対応付けられた前記領域内において時間方向の画像変化を解析し、画像変化の度合いに応じた重みを記述する情報である照合加重情報を算出し、
    　前記映像識別子の生成では、さらに、前記照合加重情報をも多重化して映像識別子を生成する
    ことを特徴とする請求項１４乃至１６の何れか１項に記載の映像識別子抽出方法。
  18. 　前記照合加重情報は、画像変化が大きい次元ほど大きくなる重みを記述するものである
    ことを特徴とする請求項１７記載の映像識別子抽出方法。
  19. 　前記照合加重情報の算出では、照合加重情報を算出するピクチャとその前後のピクチャとの間でピクチャ間画素値差分を算出し、前記ピクチャ間画素値差分に基づいて、特徴量の各次元に対応する前記照合加重情報を算出する
    ことを特徴とする請求項１７または１８に記載の映像識別子抽出方法。
  20. 　前記照合加重情報の算出では、照合加重情報を算出するピクチャとその前または後のピクチャとの間で動き推定処理を行い、推定された動きの大きさの度合いに基づいて、特徴量の各次元に対応する前記照合加重情報を算出する
    ことを特徴とする請求項１７または１８に記載の映像識別子抽出方法。
  21. 　前記変化領域情報の生成では、画像変化が大きい方から一定個数の領域を求める
    ことを特徴とする請求項１４乃至２０の何れか１項に記載の映像識別子抽出方法。
  22. 　前記変化領域情報の生成では、画像変化が閾値以上の領域を求める
    ことを特徴とする請求項１４乃至２０の何れか１項に記載の映像識別子抽出方法。
  23. 　前記変化領域情報で指定される領域は、ピクチャを分割することにより得られるブロックである
    ことを特徴とする請求項１４乃至２２の何れか１項に記載の映像識別子抽出方法。
  24. 　前記ピクチャ毎視覚特徴量の各次元は、その次元に対して予め定められている、ピクチャ内の形状が異なる任意の２領域の特徴量の差分に応じた値である
    ことを特徴とする請求項１４乃至２３の何れか１項に記載の映像識別子抽出方法。
  25. 　ピクチャの特徴を表す第１のピクチャ毎視覚特徴量と、前記ピクチャの領域の内の時間方向の画像変化が大きい領域を示す第１の変化領域情報と、前記第１の変化領域情報に対応する領域の特徴を示す第１の領域毎視覚特徴量とを含んだ第１の映像識別子から、前記第1のピクチャ毎視覚特徴量と前記第1の領域毎視覚特徴量と前記第1の変化領域情報とを分離し、
    　ピクチャの特徴を表す第２のピクチャ毎視覚特徴量と、前記ピクチャの領域の内の時間方向の画像変化が大きい領域を示す第２の変化領域情報と、前記第２の変化領域情報に対応する領域の特徴を示す第２の領域毎視覚特徴量とを含んだ第2の映像識別子から、前記第2のピクチャ毎視覚特徴量と前記第2の領域毎視覚特徴量と前記第2の変化領域情報とを分離し、
    　前記第1のピクチャ毎視覚特徴量と、前記第2のピクチャ毎視覚特徴量とを比較し、ピクチャ照合結果を生成するとともに、ピクチャ照合結果では時間方向の照合が十分ではないと判定されるときに領域照合実行情報を出力し、
    　前記領域照合実行情報が出力されたときに、前記第1の変化領域情報と第2の変化領域情報とを比較し、画面上の位置が同じである領域を指定する情報が含まれている場合には、前記第1の領域毎視覚特徴量と、前記第2の領域毎視覚特徴量の中で、該領域に対応する領域毎視覚特徴量同士を比較して領域照合結果を生成し、
    　前記ピクチャ照合結果と前記領域照合結果とから、同一映像区間を特定する
    ことを特徴とする映像識別子照合方法。
  26. 　前記第１の映像識別子は、さらに、前記第１のピクチャ毎視覚特徴量の次元毎の照合加重情報であって、前記次元に対応する、前記ピクチャ中の領域の画像変化に応じた重みを記述する第１の照合加重情報を含み、
    　前記第２の映像識別子は、さらに、前記第２のピクチャ毎視覚特徴量の次元毎の照合加重情報であって、前記次元に対応する、前記ピクチャ中の領域の画像変化に応じた重みを記述する第２の照合加重情報を含み、
    　前記第１の映像識別子からの分離では、さらに、前記第1の照合加重情報をも分離し、
    　前記第2の映像識別子からの分離では、さらに、前記第２の照合加重情報をも分離し、
    　さらに、前記第１の照合加重情報と、前記第２の照合加重情報とから、特徴量の各次元に対応する加重係数を算出し、
    　前記ピクチャ照合結果の生成では、前記加重係数を用いて次元ごとに重み付けし、前記第1のピクチャ毎視覚特徴量と前記第2のピクチャ毎視覚特徴量とを照合する
    ことを特徴とする請求項２５に記載の映像識別子照合方法。
  27. 　コンピュータを、
    　入力される映像から、フレームまたはフィールドであるピクチャ毎の特徴量をピクチャ毎視覚特徴量として抽出するピクチャ毎特徴量抽出手段と、
    　前記映像から、ピクチャ内の予め定められた領域に対して、時間方向の画像変化を解析し、画像変化が大きい領域を求めてその領域を指定する情報である変化領域情報を生成する時間軸方向変化領域抽出手段と、
    　前記変化領域情報に対応する領域の特徴量を、前記映像から領域毎視覚特徴量として抽出する領域毎特徴量抽出手段と、
    　前記ピクチャ毎視覚特徴量と前記領域毎視覚特徴量と前記変化領域情報とを多重化して映像識別子を生成する多重化手段と
    して機能させることを特徴とするプログラム。
PCT/JP2010/000278 2009-01-23 2010-01-20 映像識別子抽出装置 WO2010084739A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP10733347.8A EP2337345B1 (en) 2009-01-23 2010-01-20 Video identifier extracting device
JP2010547434A JP4725690B2 (ja) 2009-01-23 2010-01-20 映像識別子抽出装置
US13/056,773 US8335251B2 (en) 2009-01-23 2010-01-20 Video signature extraction device
KR1020117016196A KR101369915B1 (ko) 2009-01-23 2010-01-20 영상 식별자 추출 장치
CN201080005313.6A CN102292726B (zh) 2009-01-23 2010-01-20 视频标识符提取设备
US13/676,926 US9118889B2 (en) 2009-01-23 2012-11-14 Video signature extraction device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-012815 2009-01-23
JP2009012815 2009-01-23

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/056,773 A-371-Of-International US8335251B2 (en) 2009-01-23 2010-01-20 Video signature extraction device
US13/676,926 Division US9118889B2 (en) 2009-01-23 2012-11-14 Video signature extraction device

Publications (1)

Publication Number Publication Date
WO2010084739A1 true WO2010084739A1 (ja) 2010-07-29

Family

ID=42355797

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/000278 WO2010084739A1 (ja) 2009-01-23 2010-01-20 映像識別子抽出装置

Country Status (6)

Country Link
US (2) US8335251B2 (ja)
EP (1) EP2337345B1 (ja)
JP (1) JP4725690B2 (ja)
KR (1) KR101369915B1 (ja)
CN (1) CN102292726B (ja)
WO (1) WO2010084739A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140073863A (ko) * 2012-12-07 2014-06-17 엘지전자 주식회사 이동단말기 및 그 제어방법
JP6116765B1 (ja) * 2015-12-02 2017-04-19 三菱電機株式会社 物体検出装置及び物体検出方法
CN110191352A (zh) * 2019-05-29 2019-08-30 哈尔滨工业大学 一种面向视频内容智能处理的综合展示系统

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009111499A2 (en) 2008-03-03 2009-09-11 Videoiq, Inc. Dynamic object classification
WO2010084738A1 (ja) * 2009-01-23 2010-07-29 日本電気株式会社 照合加重情報抽出装置
US10116972B2 (en) 2009-05-29 2018-10-30 Inscape Data, Inc. Methods for identifying video segments and displaying option to view from an alternative source and/or on an alternative device
US9449090B2 (en) 2009-05-29 2016-09-20 Vizio Inscape Technologies, Llc Systems and methods for addressing a media database using distance associative hashing
US9094715B2 (en) 2009-05-29 2015-07-28 Cognitive Networks, Inc. Systems and methods for multi-broadcast differentiation
US10949458B2 (en) 2009-05-29 2021-03-16 Inscape Data, Inc. System and method for improving work load management in ACR television monitoring system
US10375451B2 (en) 2009-05-29 2019-08-06 Inscape Data, Inc. Detection of common media segments
US8595781B2 (en) 2009-05-29 2013-11-26 Cognitive Media Networks, Inc. Methods for identifying video segments and displaying contextual targeted content on a connected television
US10192138B2 (en) 2010-05-27 2019-01-29 Inscape Data, Inc. Systems and methods for reducing data density in large datasets
US9838753B2 (en) 2013-12-23 2017-12-05 Inscape Data, Inc. Monitoring individual viewing of television events using tracking pixels and cookies
US9754169B2 (en) * 2011-12-16 2017-09-05 Nec Corporation Information processing system, information processing method, information processing device and control method and control program thereof, and communication terminal and control method and control program thereof
CN103312770B (zh) * 2013-04-19 2017-05-03 无锡成电科大科技发展有限公司 一种云平台资源审核的方法
JP6281126B2 (ja) 2013-07-26 2018-02-21 パナソニックＩｐマネジメント株式会社 映像受信装置、付加情報表示方法および付加情報表示システム
JP6194484B2 (ja) 2013-07-30 2017-09-13 パナソニックＩｐマネジメント株式会社 映像受信装置、付加情報表示方法および付加情報表示システム
US9900650B2 (en) 2013-09-04 2018-02-20 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method, and additional information display system
US9906843B2 (en) 2013-09-04 2018-02-27 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method, and display system for providing additional information to be superimposed on displayed image
US9955192B2 (en) 2013-12-23 2018-04-24 Inscape Data, Inc. Monitoring individual viewing of television events using tracking pixels and cookies
JP6340596B2 (ja) 2014-03-26 2018-06-13 パナソニックＩｐマネジメント株式会社 映像受信装置、映像認識方法および付加情報表示システム
JP6194483B2 (ja) 2014-03-26 2017-09-13 パナソニックＩｐマネジメント株式会社 映像受信装置、映像認識方法および付加情報表示システム
CN106233747B (zh) * 2014-07-17 2019-07-09 松下知识产权经营株式会社 辨识数据生成装置及方法、图像辨识装置以及记录介质
WO2016027457A1 (ja) 2014-08-21 2016-02-25 パナソニックＩｐマネジメント株式会社 コンテンツ認識装置およびコンテンツ認識方法
CN118138844A (zh) 2015-01-30 2024-06-04 构造数据有限责任公司 用于识别视频片段以及显示从替代源和/或在替代设备上观看的选项的方法
EP4375952A3 (en) 2015-04-17 2024-06-19 Inscape Data, Inc. Systems and methods for reducing data density in large datasets
CA2992529C (en) 2015-07-16 2022-02-15 Inscape Data, Inc. Prediction of future views of video segments to optimize system resource utilization
EP3323245B1 (en) 2015-07-16 2021-08-25 Inscape Data, Inc. Detection of common media segments
AU2016291674B2 (en) 2015-07-16 2021-08-26 Inscape Data, Inc. Systems and methods for partitioning search indexes for improved efficiency in identifying media segments
US10080062B2 (en) * 2015-07-16 2018-09-18 Inscape Data, Inc. Optimizing media fingerprint retention to improve system resource utilization
CN105812619A (zh) * 2016-03-18 2016-07-27 常州大学 针对摄像机抖动的运动目标跟踪方法
WO2018187592A1 (en) 2017-04-06 2018-10-11 Inscape Data, Inc. Systems and methods for improving accuracy of device maps using media viewing data
US10922551B2 (en) * 2017-10-06 2021-02-16 The Nielsen Company (Us), Llc Scene frame matching for automatic content recognition
JP6907888B2 (ja) * 2017-10-30 2021-07-21 富士通株式会社 情報処理システム、情報処理装置および情報処理プログラム
CN108460335B (zh) * 2018-01-26 2022-05-27 百度在线网络技术（北京）有限公司 视频细粒度识别方法、装置、计算机设备及存储介质
JP7156367B2 (ja) * 2018-03-30 2022-10-19 株式会社ニコン 動画圧縮装置、伸張装置、電子機器、動画圧縮プログラム、および伸張プログラム
CN113627534A (zh) * 2021-08-11 2021-11-09 百度在线网络技术（北京）有限公司 识别动态图像的类型的方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000194727A (ja) 1998-10-23 2000-07-14 Telecommunication Advancement Organization Of Japan 動画像検索装置、動画像検索方法、及び動画像検索プログラムを記録した記録媒体
JP2006054802A (ja) * 2004-08-16 2006-02-23 Kddi Corp 動き予測情報検出装置
JP2008040682A (ja) * 2006-08-03 2008-02-21 Matsushita Electric Works Ltd 異常監視装置
JP2009012815A (ja) 2007-07-05 2009-01-22 Miyake Seisakusho:Kk シート状トレー自動供給装置およびこれを用いた弁当箱への盛り付けラインシステム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5592228A (en) * 1993-03-04 1997-01-07 Kabushiki Kaisha Toshiba Video encoder using global motion estimation and polygonal patch motion estimation
US6792152B1 (en) * 1998-03-05 2004-09-14 Matsushita Electric Industrial Co., Ltd. Image coding method, image coding/decoding method, image coder, or image recording/reproducing apparatus
JP3657769B2 (ja) * 1998-03-19 2005-06-08 富士写真フイルム株式会社 画像処理方法および画像処理装置
US6792043B1 (en) 1998-10-23 2004-09-14 Telecommunications Advancement Organization Of Japan Method, apparatus and program products for retrieving moving image
KR100486047B1 (ko) * 1999-06-30 2005-05-03 샤프 가부시키가이샤 동화상 검색 정보 기록 장치 및 동화상 검색 장치
JP2002117407A (ja) * 2000-10-10 2002-04-19 Satake Corp 動画像検索方法及びその装置
JP3886784B2 (ja) 2001-11-21 2007-02-28 株式会社東芝 動画像内の物体識別装置及び方法
JP3951707B2 (ja) 2001-12-28 2007-08-01 日本電気株式会社 類似性判定方法および装置
JP4174279B2 (ja) 2002-09-19 2008-10-29 日本放送協会 映像オブジェクト識別・追跡装置、その方法及びそのプログラム
US8009861B2 (en) 2006-04-28 2011-08-30 Vobile, Inc. Method and system for fingerprinting digital video object based on multiresolution, multirate spatial and temporal signatures
CN101340551A (zh) * 2007-07-05 2009-01-07 韩庆军 一种多媒体数字签名的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000194727A (ja) 1998-10-23 2000-07-14 Telecommunication Advancement Organization Of Japan 動画像検索装置、動画像検索方法、及び動画像検索プログラムを記録した記録媒体
JP2006054802A (ja) * 2004-08-16 2006-02-23 Kddi Corp 動き予測情報検出装置
JP2008040682A (ja) * 2006-08-03 2008-02-21 Matsushita Electric Works Ltd 異常監視装置
JP2009012815A (ja) 2007-07-05 2009-01-22 Miyake Seisakusho:Kk シート状トレー自動供給装置およびこれを用いた弁当箱への盛り付けラインシステム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
EIJI KASUTANI, RYOMA OAMI, AKIO YAMADA, TAKAMI SATO, KYOJI HIRATA: "Video Material Archive System for Efficient Video Editing Based on Media Identification", PROCEEDINGS OF INTERNATIONAL CONFERENCE ON MULTIMEDIA, AND EXPO (ICME2004), 2004, pages 727 - 730
KOTA IWAMOTO, EIJI KASUTANI, AKIO YAMADA: "Image Signature Robust to Caption Superimposition for Video Sequence Identification", PROCEEDINGS OF INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP2006), 2006
See also references of EP2337345A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140073863A (ko) * 2012-12-07 2014-06-17 엘지전자 주식회사 이동단말기 및 그 제어방법
KR101973464B1 (ko) 2012-12-07 2019-04-29 엘지전자 주식회사 이동단말기 및 그 제어방법
JP6116765B1 (ja) * 2015-12-02 2017-04-19 三菱電機株式会社 物体検出装置及び物体検出方法
WO2017094140A1 (ja) * 2015-12-02 2017-06-08 三菱電機株式会社 物体検出装置及び物体検出方法
US10643338B2 (en) 2015-12-02 2020-05-05 Mitsubishi Electric Corporation Object detection device and object detection method
CN110191352A (zh) * 2019-05-29 2019-08-30 哈尔滨工业大学 一种面向视频内容智能处理的综合展示系统

Also Published As

Publication number Publication date
EP2337345A4 (en) 2011-08-31
EP2337345B1 (en) 2014-01-08
US20130070847A1 (en) 2013-03-21
EP2337345A1 (en) 2011-06-22
CN102292726A (zh) 2011-12-21
US9118889B2 (en) 2015-08-25
US20110129017A1 (en) 2011-06-02
JP4725690B2 (ja) 2011-07-13
JPWO2010084739A1 (ja) 2012-07-12
KR20110103415A (ko) 2011-09-20
US8335251B2 (en) 2012-12-18
KR101369915B1 (ko) 2014-03-06
CN102292726B (zh) 2014-10-22

Similar Documents

Publication Publication Date Title
JP4725690B2 (ja) 映像識別子抽出装置
JP5573131B2 (ja) 映像識別子抽出装置および方法、映像識別子照合装置および方法、ならびにプログラム
US7840081B2 (en) Methods of representing and analysing images
KR101968921B1 (ko) 강건한 낮은 복잡도 비디오 핑거프린팅을 위한 장치 및 방법
JP2006092559A (ja) 少なくとも１つの画像及び画像群を表現する方法、画像又は画像群の表現、画像及び／又は画像群を比較する方法、画像又は画像群を符号化する方法、画像又は画像シーケンスを復号する方法、符号化されたデータの使用、画像又は画像群を表現する装置、画像及び／又は画像群を比較する装置、コンピュータプログラム、システム、及びコンピュータ読み取り可能な記憶媒体
WO2008150109A1 (en) Method of processing moving picture and apparatus thereof
US20120237126A1 (en) Apparatus and method for determining characteristic of motion picture
JP5644505B2 (ja) 照合加重情報抽出装置
KR101281850B1 (ko) 영상 디스크립터 생성 장치
EP2325801A2 (en) Methods of representing and analysing images
Bekhet et al. Video Matching Using DC-image and Local
Mezaris et al. Compressed-domain object detection for video understanding
Lee et al. Fast search for MPEG video clips from large video database using combined histogram features
Ahmed et al. Video matching using DC-image and local features
Smith et al. Identification of Human Skin Regions Using Color and Texture
Lee et al. Fast Search Method for Large Video Database Using Histogram Features and Temporal Division
Shi et al. A Representative-Sequence Based Near-Duplicate Video Detection Method

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080005313.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10733347

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010547434

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13056773

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2010733347

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20117016196

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE