WO2010087125A1 - 時間区間代表特徴ベクトル生成装置 - Google Patents

時間区間代表特徴ベクトル生成装置 Download PDF

Info

Publication number
WO2010087125A1
WO2010087125A1 PCT/JP2010/000247 JP2010000247W WO2010087125A1 WO 2010087125 A1 WO2010087125 A1 WO 2010087125A1 JP 2010000247 W JP2010000247 W JP 2010000247W WO 2010087125 A1 WO2010087125 A1 WO 2010087125A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature vector
time interval
feature
time
representative
Prior art date
Application number
PCT/JP2010/000247
Other languages
English (en)
French (fr)
Inventor
岩元浩太
大網亮磨
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to CN201080005899.6A priority Critical patent/CN102301698B/zh
Priority to JP2010548398A priority patent/JP4894956B2/ja
Priority to US13/143,673 priority patent/US8175392B2/en
Priority to EP10735597.6A priority patent/EP2383990B1/en
Priority to KR1020117015970A priority patent/KR101352448B1/ko
Publication of WO2010087125A1 publication Critical patent/WO2010087125A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2151—Time stamp

Definitions

  • the present invention relates to an apparatus and method for generating a feature vector representing a time interval for each time interval from a sequence of feature vectors for each frame, which represents time-series data such as moving image data and sound data.
  • the present invention relates to a time section representative feature vector generation apparatus, method, and program for generating a time section representative feature vector that can describe a time-series change in a section.
  • Non-Patent Document 1 when searching for a moving image, a color layout descriptor (color layout descriptor) defined in the international standard ISO / IEC 15938-3 is used as a feature vector for each frame, and distance calculation is performed in units of frames. And similar sections are identified.
  • the method of matching feature vector sequences to be compared in frame units requires a long time for searching. Therefore, in order to speed up the search, feature vectors are not collated in units of frames, but feature vectors representing time intervals (called time interval representative feature vectors) are generated for each time interval including a plurality of frames. In addition, a method of matching using the generated time section representative feature vector has been proposed.
  • a histogram feature is generated from a feature vector included in a time interval as a time interval representative feature vector.
  • a feature vector for each frame of a moving image a frame image is divided into a plurality of sub-images, and the color component values (R component, G component, B component) of each sub-image are used as feature amounts.
  • a vector is used.
  • the time interval representative feature vector is generated as a histogram representing the frequency of appearance of each quantization index by vector quantization of the feature vector of the frame included in the time interval.
  • Non-Patent Document 3 and Non-Patent Document 4 a key frame in a time interval is selected as a time interval representative feature vector, and the feature vector of the selected key frame is used as it is as a time interval representative feature vector.
  • a shot of a moving image is set as a time interval
  • a key frame is selected from the shot
  • a feature vector thereof is set as a time interval representative feature vector.
  • Non-Patent Document 5 an average value or median value of feature amounts is calculated for each dimension of the feature vector from feature vectors of a plurality of frames included in the time interval as the time interval representative feature vector, and the calculated average A feature vector composed of a value or a median value is used as a time section representative feature vector.
  • Non-Patent Document 2 to Non-Patent Document 5 cannot describe the time series change (time change) of the feature vector series in the time section. For this reason, the above-described collation using the time section representative feature vector cannot identify a time series change in the time section (it is more likely to determine that a feature vector series having a different time series change is similar). There is a problem that the accuracy of the search for the vector series is lowered.
  • the histogram cannot describe the time series order.
  • the time series change of the series cannot be described (for example, the same histogram is obtained even if the time series change is in reverse order).
  • Non-Patent Document 3 and Non-Patent Document 4 a key frame in a time interval is selected as a time interval representative feature vector, and the feature vector of the selected key frame is used as a time interval representative feature vector as it is. Since the feature vector of the selected single frame is used, only one point of information on the time series is described, so that the time series change of the feature vector series in the time interval cannot be described.
  • an average value or median value of feature amounts is calculated for each dimension of the feature vector from feature vectors of a plurality of frames included in the time interval.
  • the calculated value for each dimension of the time segment representative feature vector is the time series position (time) in the time segment. )
  • the time series change of the feature vector sequence in the time interval cannot be described (for example, even if the time series change is in reverse order, the same segment representative feature vector is obtained).
  • An object of the present invention is to represent a time interval representative that solves the problem that the time interval representative feature vectors described in Non-Patent Document 2 to Non-Patent Document 5 cannot describe a time series change (time change) of a feature vector sequence in a time interval It is to provide a feature vector generation apparatus.
  • a time-section representative feature vector generation device includes a time-section feature vector group that selects feature vectors of a plurality of frames included in a time section for each time section from a sequence of feature vectors for each frame.
  • the time section representative feature vector which is a feature vector representing a time section by selecting a feature quantity of a different dimension of the feature vector from the feature vectors of different frames in the selected time section for each selection section and the selection means Dimension generating means for generating
  • a time segment representative feature vector generation device that generates a time segment representative feature vector that can describe a time series change of a feature vector sequence in a time segment from a feature vector sequence for each frame of time series data.
  • time segment representative feature vector generation device 100 receives a sequence (feature vector sequence) in which feature vectors for each frame are arranged in time sequence, and inputs a time segment.
  • the time interval representative feature vector generation device 100 includes a time interval feature vector group selection unit 101 and a dimension selection unit 102.
  • the feature vector group selection unit 101 in the time interval selects a feature vector of a plurality of frames included in the time interval for each time interval, and selects a plurality of selected feature vectors for each time interval. Information on the feature vector of the frame is supplied to the dimension selection means 102.
  • the input feature vector series is a series in which feature vectors for each frame of time series data such as moving image data and sound data are arranged in time series order.
  • the time series data is not limited to moving image data or sound data.
  • a frame is an individual element of time-series data.
  • each element of the time-series data is referred to as a frame for convenience.
  • the feature vector for each frame is composed of feature quantities of multiple dimensions.
  • various visual features commonly known as MPEG-7 Visual
  • MPEG-7 Visual stipulated in the international standard ISO / IEC 15938-3 extracted for each frame of the moving image, that is, Dominant Color. , Color Layout, Scalable Color, Color Structure, Edge Histogram, Homogeneous Texture, Texture Browsing, Region Shape, Contour Shape, Moisture Shape.
  • the multi-dimensional feature amount constituting the feature vector for each frame is an improved feature amount so as to be effective for more types of moving images.
  • FIG. 2 is a diagram showing a method of extracting an example of a feature amount improved so as to be effective for more types of moving images (hereinafter referred to as a multi-shaped region comparison feature amount).
  • the multi-shaped region comparison feature amount is determined in advance for each dimension of the feature vector in two extraction regions (first extraction region and second extraction region) in the image for extracting the feature amount. Yes.
  • the feature is that the shape of the extraction region is diverse.
  • the average luminance value of the first extraction region and the second extraction region determined for each dimension is calculated for each dimension, and the average luminance value of the first extraction region is calculated.
  • the average luminance value of the second extraction region are compared (that is, based on the difference value) and quantized into three values (+1, 0, ⁇ 1) to obtain a quantization index.
  • the absolute value of the difference value between the average luminance value of the first extraction region and the average luminance value of the second extraction region is equal to or less than a predetermined threshold value, the average luminance of the first extraction region and the second extraction region It is assumed that there is no difference in the values, and the quantization index is 0 indicating that there is no difference.
  • the magnitude of the average luminance value of the first extraction region and the average luminance value of the second extraction region is set to In comparison, if the average luminance value of the first extraction area is larger, the quantization index is +1, and otherwise the quantization index is -1.
  • the quantization index Qn of dimension n is given by Can be calculated.
  • a feature vector calculated by performing frequency analysis on an acoustic frame may be used. For example, a Fourier transform is performed on the analysis window, a power spectrum in the frequency domain is calculated, the power spectrum is divided into a plurality of subbands, and a feature vector having an average power value of each subband as a feature amount is used. There may be.
  • the time section is a continuous section on the time axis.
  • the method of determining the time interval is arbitrary as long as it is constant for any feature vector sequence to which it is input.
  • the time section may be, for example, individual sections divided on the time axis by a certain time length (time width).
  • time width For example, referring to the example of FIG. 3-A, each section divided in units of 10 frames having a certain time width on the feature vector series (frame series) is defined as a time section. Further, for example, each section divided in units of one second, which is a fixed time length, may be defined as a time section.
  • the time interval may be determined so as to allow overlapping of the intervals while shifting the interval of a certain time length (time width) at a certain interval. For example, referring to the example of FIG. 3B, on the feature vector sequence (frame sequence), the interval of 10 frames having a constant time width is shifted at intervals of 4 frames, and overlapping of the intervals is allowed. A time interval may be defined. Further, for example, the time interval may be determined so as to allow overlapping of the intervals while shifting the interval of one second unit having a constant time length at intervals of one frame.
  • time interval need not always have a fixed time length (time width).
  • a change point for example, a shot division point of moving image data
  • a feature vector series frame series
  • individual intervals between the change points are defined as time intervals. May be defined.
  • the change point may be detected from, for example, the feature vector sequence itself (for example, the distance between feature vectors of adjacent frames is calculated, and the change point is determined when the distance exceeds a specified threshold). You may detect from time series data.
  • the method for selecting feature vectors of a plurality of frames included in a time interval in the time interval feature vector group selecting means 101 is constant for any feature vector sequence to which it is input. As long as it is, it is arbitrary.
  • the feature vector group selection unit 101 in the time interval may select feature vectors of all frames included in the time interval, as shown in FIG. Further, for example, as shown in FIG. 4, feature vectors of frames sampled at a constant interval may be selected. Other selection methods will be described later with reference to FIGS.
  • the dimension selection unit 102 differs from the feature vector information of a plurality of selected frames for each time interval supplied from the in-time interval feature vector group selection unit 101 for each time interval.
  • a feature quantity of a different dimension of the feature vector is selected from the feature vector of the frame, and is output as a time section representative feature vector.
  • “selecting feature quantities of different dimensions from feature vectors of different frames” does not necessarily mean that both the frames and dimensions of the feature quantities to be selected are selected without overlapping, and at least two or more feature quantities are selected. That is, at least two or more feature quantities of different dimensions are selected from feature vectors of different frames.
  • the number of dimensions of the feature quantity selected by the dimension selection unit 102 may be arbitrary.
  • the number of dimensions of the feature vector of the feature vector sequence given as input is N
  • the number of dimensions of the feature quantity selected here is the same as N. Also good. It may be less than N or more than N.
  • the method by which the dimension selection means 102 selects feature quantities of different dimensions of feature vectors from feature vectors of different frames within the selected time interval is constant for any feature vector sequence to which it is input. As long as it is optional.
  • FIG. 5 shows the arrangement of feature vectors of 11 frames selected in the time interval in time series order.
  • 11 feature quantities of different dimension of the feature vector are selected from the feature vectors of different frames, and the 11-dimensional feature vector composed of the selected 11 feature quantities is represented as a time interval. It is generated as a representative feature vector.
  • FIG. 6 and FIG. 7 show examples of another method in which the dimension selection unit 102 selects feature quantities of different dimensions of feature vectors from feature vectors of different frames in the selected time interval.
  • 11 different dimension feature quantities are selected one by one from dimension 1 to dimension 11 in order from frame 1 to frame 11, and again one dimension from dimension 12 to dimension 22 in order from frame 1 to frame 11 again.
  • Eleven different dimensional feature quantities are selected one by one, and a 22-dimensional feature vector composed of a total of 22 feature quantities is generated as a time section representative feature vector.
  • a total of 22 different dimension feature quantities are selected in two dimensions from dimension 1 to dimension 22 in order from frame 1 to frame 11, and a 22 dimension feature composed of a total of 22 feature quantities. The vector is generated as a time section representative feature vector.
  • the dimension selection unit 102 desirably selects feature quantities of different dimensions of feature vectors uniformly from a plurality of frames in the selected time interval. For example, at least one dimension feature amount may be selected from all the frames in the selected time interval.
  • the time section representative feature vector for each time section output from the time section representative feature vector generation device 100 describes a time series change of the feature vector series in the time section. The reason is that the characteristics of a plurality of positions (time) on the time series in the time interval are aggregated.
  • the generated time interval representative feature vector is a feature quantity having a different meaning (because feature quantities of different dimensions are feature quantities extracted by different procedures). , It has different meanings).
  • the time section representative feature vector output from the time section representative feature vector generation device 100 is an aggregation of feature quantities having different meanings at different positions in the time section. For this reason, there is little redundancy and the description capability (identification capability) of the section feature representative feature vector is high. Therefore, high-precision search is possible.
  • time-series change in the time section can be identified by using the time-section representative feature vector for each time section output from the time-section representative feature vector generation apparatus 100, a fast and highly accurate feature vector series for each time section. Can be searched.
  • a feature vector series search system configured using the time segment representative feature vector generation device 100 will be described later.
  • the feature vector group selection unit 101 in the time interval selects a feature vector of a plurality of frames included in the time interval for each time interval (step A1). Then, information on feature vectors of a plurality of frames selected for each time interval is supplied to the dimension selection means 102.
  • the dimension selection unit 102 selects the time interval selected for each time interval from the feature vector information of the plurality of frames selected for each time interval supplied from the feature vector group selection unit 101 in the time interval.
  • a feature quantity of a different dimension of the feature vector is selected from the feature vectors of different frames in the frame (step A2). And it outputs as a time section representative feature vector.
  • the time-section representative feature vector generation device 100 of the first embodiment it is possible to generate a time-section representative feature vector that can describe (identify) a time-series change of the feature vector series in the time section.
  • the reason is that by selecting feature quantities of different dimensions of the feature vector from the feature vectors of different frames in the time interval and using them as time interval representative feature vectors, a plurality of positions (time of day) in the time interval are selected. This is because the characteristics of Thus, since the generated time segment representative feature vector can identify a time series change of the feature vector sequence in the time interval (a feature vector sequence having a different time series change can be identified), the accuracy of the feature vector sequence search Can be improved.
  • the matching may be the same as the feature vector matching method for each original frame. Therefore, in a system that hierarchically performs matching of section representative feature vectors and frame-by-frame matching, such as a second feature vector sequence search system described later with reference to FIG. There is also an effect that it can be made into a thing.
  • a time segment representative feature vector generation device 110 includes a time segment feature vector group of the time segment representative feature vector generation device 100 according to the first exemplary embodiment. The difference is that the selection unit 101 is replaced with the time interval feature vector group selection unit 111.
  • Information indicating the frame rate of the feature vector series and information indicating the reference frame rate for generating the time segment representative feature vector are input to the feature vector group selection unit 111 in the time interval.
  • the intra-time feature vector group selection unit 111 specifies the sample position at the reference frame rate from the feature vector sequence using the frame rate of the feature vector sequence. Then, feature vectors of a plurality of frames at the specified sample position are selected, and information on the feature vectors of the plurality of frames selected for each time interval is supplied to the dimension selection unit 102.
  • Fig. 12 shows a specific example.
  • the frame rate of the feature vector series is 30 frames / second, and a 1 second section (that is, 30 frames) is defined as a time section.
  • the reference frame rate for generating the time section representative feature vector is 5 frames / second.
  • Sampling interval (frame)
  • the sampling interval may be calculated as: frame rate of feature vector series / reference frame rate, and the sample position may be specified accordingly.
  • one frame may be sampled every six frames.
  • the sampling interval is not an integer value but a decimal value, for example, a frame at an integer sample position obtained by rounding off the sample position calculated by a decimal may be sampled.
  • time section representative feature vector generation device 110 According to the time section representative feature vector generation device 110 according to the second embodiment, it is possible to generate time section representative feature vectors that can be compared with each other even for feature vector sequences having different frame rates. The reason for this is to unify the frame sequence of feature vectors selected for generating the time interval representative feature vector to the reference frame rate using the reference frame rate for generating the time interval representative feature vector. .
  • a first feature vector series having a frame rate of 30 frames / second and a second feature vector series having a frame rate of 15 frames / second are generated from the same moving image.
  • a 1-second interval is determined as a time interval, and a reference frame rate for generating a time interval representative feature vector is 5 frames / second. At this time, 5 frames are selected from the 30th frame every 6 frames from the first feature vector series.
  • the second feature vector series 5 frames are selected every 15 frames from 15 frames. At this time, the five frames selected from the second feature vector series are the same as the five frames selected from the first feature vector series.
  • the time interval representative feature vector generation device 120 includes a dimension selection unit 102 of the time interval representative feature vector generation device 100 according to the first exemplary embodiment. It differs in that it is replaced with the dimension selection means 122.
  • the dimension selection means 122 receives information (dimension importance information) indicating the importance of each dimension of the feature vector.
  • the dimension selection means 122 is different from the feature vector information of a plurality of selected frames for each time interval supplied from the feature vector group selection means 101 in the time interval, and is different in the selected time interval for each time interval. From the feature vector of the frame, according to the importance for each dimension, feature quantities of different dimensions in the feature vector are selected in order from the dimension with the highest importance, and output as a time section representative feature vector.
  • the information indicating the importance for each dimension may be, for example, information obtained by quantifying the importance for each dimension, or information representing a permutation of the importance for each dimension. Alternatively, it may be information expressing the importance as a binary value of 1 or 0.
  • the significance of the importance is arbitrary, but for example, the degree of contribution to the search accuracy of the feature quantity in the feature vector dimension, the degree of discrimination ability of the feature quantity in the dimension of the feature vector (the degree to which different data can be identified) Or the degree of robustness of the feature quantity in the dimension of the feature vector (resistance to various noises and processing for data).
  • Fig. 14 shows a specific example.
  • the feature vectors of the feature vector series are composed of 25-dimensional feature quantities, which are dimension 1 to dimension 25, respectively.
  • the importance for each dimension is assumed to decrease as the dimension number increases. That is, the dimensions are arranged in descending order of importance, with dimension 1 having the highest importance and dimension 25 having the lowest importance.
  • Information indicating that the dimensions are arranged in descending order of importance is input to the dimension selection means 122 as dimension importance information, and the dimension selection means 122 follows the feature number of the dimension with a smaller dimension number accordingly. Are selected in order.
  • a total of 11-dimensional feature amounts from dimension 1 to dimension 11 are selected in descending order of dimension importance.
  • a time-section representative feature vector can be generated from a dimension with high importance of the dimension of the feature vector. This is effective because the dimension with higher importance is selected when the number of dimensions of the time interval representative feature vector to be generated is made smaller than the number of dimensions of the original feature vector.
  • the feature vector sequence search system is described as being configured using the time segment representative feature vector generation device 100.
  • the time segment representative feature vector generation device described in the second embodiment is used.
  • 110 and the time section representative feature vector generation device 120 described in the third embodiment may be used.
  • the first feature vector sequence search system includes a time interval representative feature vector generation device 100 and a matching device 200.
  • the time segment representative feature vector generation device 100 receives the first feature vector sequence and the second feature vector sequence, and the time segment representative feature vector for each time segment of the first feature vector sequence, And a time section representative feature vector for each time section of the feature vector series.
  • the output time section representative feature vector for each time section of the first feature vector series and the time section representative feature vector for each time section of the second feature vector series are supplied to the matching device 200.
  • the collation device 200 includes a time section representative feature vector collation means 201.
  • the time section representative feature vector matching unit 201 includes a time section representative feature vector for each time section of the first first feature vector sequence supplied from the time section representative feature vector generation device 100, and a second feature vector sequence.
  • the time interval representative feature vectors for each time interval are collated to determine whether or not the time interval representative feature vectors are similar, and when it is determined that they are similar, information on each corresponding time interval is displayed as similar time interval information. Output as.
  • the following method is used as a method for collating a time section representative feature vector corresponding to a certain time section of the first feature vector series with a time section representative feature vector corresponding to a time section of the second feature vector series.
  • the degree of similarity between the time section representative feature vectors to be compared is calculated. For example, the distance between vectors (Euclidean distance, Hamming distance, etc.), or the similarity between vectors (cosine similarity, etc.) is calculated, and the degree of similarity is calculated.
  • the distance between vectors the smaller the value is, the more similar
  • the similarity between vectors it can be determined that the larger the value is, the more similar.
  • the numerical value of the degree of similarity calculated in this way is subjected to threshold processing with a certain predetermined threshold (this threshold is given in advance, for example) to determine whether or not they are similar. For example, when the distance between vectors is used, it is determined that the values are similar when the value is smaller than a predetermined threshold. When the similarity between vectors is used, the value is larger than the predetermined threshold. It is determined that the cases are similar. If it is determined that they are similar, information on the time section corresponding to each time section representative feature vector is output as similar time section information.
  • this threshold is given in advance, for example
  • a time interval representative feature vector corresponding to a time interval of 80 to 100 frames of the first feature vector sequence, and a time interval representative feature vector corresponding to a time interval of 250 to 270 frames of the second feature vector sequence are determined to be similar, for example, assuming that the first feature vector sequence from 80 frames to 100 frames and the second feature vector sequence from 250 frames to 270 frames are similar time intervals. , May be output.
  • the first feature vector series search system it is possible to realize a high-speed and high-accuracy feature vector series search that can identify a time series change in a time section using a time section representative feature vector.
  • the second feature vector sequence search system is different in that the matching device 200 of the first feature vector sequence search system is replaced with a matching device 210.
  • the collation device 210 includes a time segment representative feature vector collating unit 201 and a frame unit feature vector collating unit 212.
  • time interval representative feature vector matching means 201 is the same as that in the first feature vector series search system, description thereof is omitted here.
  • the frame unit feature vector matching unit 212 includes each time section indicated by the similar time section information output by the time section representative feature vector matching unit 201 between the input first feature vector series and the second feature vector series. When the feature vectors of the frames included in are collated again in units of frames and it is determined that they are similar time intervals, similar time interval information is output.
  • a high-speed and high-accuracy feature vector sequence search using a time segment representative feature vector that can identify time-series changes in the time segment is used as the first-stage search.
  • the time section representative feature vector generation device and the collation device of the present invention can be realized by a computer and a program, as well as by hardware.
  • the program is provided by being recorded on a computer-readable recording medium such as a magnetic disk or a semiconductor memory, and is read by the computer at the time of starting up the computer, etc.
  • the time section representative feature vector generation device and the collation device in the form are used.
  • the present invention can be used for searching moving image data, sound data, and the like.
  • desired content can be searched at high speed from a database in which movie content and music content are stored. It can also be used to detect illegal copies of moving image data and sound data illegally uploaded to the Internet or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

　この時間区間代表特徴ベクトル生成装置は、フレームごとの特徴ベクトルの系列から、時間区間ごとに、時間区間に含まれる複数のフレームの特徴ベクトルを選定する時間区間内特徴ベクトル群選定手段と、時間区間ごとに、上記選定された時間区間内の異なるフレームの特徴ベクトルから、特徴ベクトルの異なる次元の特徴量を選択し、時間区間を代表する特徴ベクトルである時間区間代表特徴ベクトルとして生成する次元選択手段とを備えている。

Description

時間区間代表特徴ベクトル生成装置
　本発明は、動画像データや音響データなどの時系列データを表す、フレームごとの特徴ベクトルの系列から、時間区間ごとに、その時間区間を代表する特徴ベクトルを生成する装置と方法に関し、特に時間区間内での時系列変化を記述できる時間区間代表特徴ベクトルを生成する時間区間代表特徴ベクトル生成装置、方法、およびプログラムに関する。
　動画像データや音響データなどの時系列データを表す、フレームごとの特徴ベクトルの系列から、特徴の類似する時間区間を検索する（識別する）類似区間検索技術として、比較する２つの特徴ベクトル系列を、フレーム単位で逐次に照合し（類似度あるいは距離を計算する）、類似する時間区間を特定する方法がある。例えば非特許文献１では、動画像の検索において、国際標準規格ＩＳＯ／ＩＥＣ　１５９３８－３に規定されているＣｏｌｏｒ　Ｌａｙｏｕｔ　Ｄｅｓｃｒｉｐｔｏｒ（カラーレイアウト記述子）をフレームごとの特徴ベクトルとして、フレーム単位で距離計算を行い、類似区間を識別している。
　比較する特徴ベクトル系列を、フレーム単位で照合する方法は、検索に長時間を必要とする。このため、検索の高速化のため、フレーム単位で特徴ベクトルを照合するのではなく、複数のフレームを含む時間区間ごとに、時間区間を代表する特徴ベクトル（時間区間代表特徴ベクトルと呼ぶ）を生成し、生成した時間区間代表特徴ベクトルを用いて照合を行う方法が提案されている。
　例えば、非特許文献２では、時間区間代表特徴ベクトルとして、時間区間に含まれる特徴ベクトルからヒストグラム特徴を生成している。具体的には、動画像のフレームごとの特徴ベクトルとして、フレーム画像を複数のサブ画像に分割し、それぞれのサブ画像の色成分値（Ｒ成分、Ｇ成分、Ｂ成分）を特徴量とした特徴ベクトルを用いている。時間区間代表特徴ベクトルは、時間区間に含まれるフレームの特徴ベクトルをベクトル量子化し、各量子化インデックスの出現頻度を表すヒストグラムとして生成している。
　また非特許文献３や非特許文献４では、時間区間代表特徴ベクトルとして、時間区間内のキーフレームを選択し、選択されたキーフレームの特徴ベクトルをそのまま時間区間代表特徴ベクトルとして用いている。ここでは、動画像のショットを時間区間とし、ショットからキーフレームを選択して、その特徴ベクトルを時間区間代表特徴ベクトルとしている。
　また非特許文献５では、時間区間代表特徴ベクトルとして、時間区間に含まれる複数のフレームの特徴ベクトルから、特徴ベクトルの次元ごとに特徴量の平均値、またはメディアン値を算出し、算出された平均値、またはメディアン値で構成される特徴ベクトルを時間区間代表特徴ベクトルとしている。
Eiji Kasutani, Ryoma Oami, Akio Yamada,Takami Sato, and Kyoji Hirata, "Video Material ArchiveSystem for Efficient Video Editing based on Media Identification", Proc. on ICME (International Conference on Multimedia and Expo)2004, Vol. 1, pp.727-730, June 2004. Kunio Kashino, Takayuki Kurozumi, Hiroshi Murase, "A Quick Search Method for Audio and Video Signals Based on HistogramPruning", IEEE Transactions on Multimedia, Vol. 5, No.3, September 2003. Anil Jain, Aditya Vailaya, and Wei Xiong, "Queryby Video Clip", Proc. on ICPR (International Conferenceon Pattern Recognition), Vol. 1, pp.16-20, Aug. 1998. 内田祐介、菅野勝、米山暁夫、"カラーレイアウトに基づく違法コピー検出手法"、２００８年映像メディア処理シンポジウム（ＩＭＰＳ２００８）予稿集、pp.69-70、2008年10月． 粕谷英司、山田昭雄、"代表特徴量を用いたビデオ識別処理の高速化"、２００３年情報科学技術フォーラム（ＦＩＴ２００３）予稿集、pp.85-86、2003年．
　しかしながら、非特許文献２から非特許文献５に記載の、時間区間代表特徴ベクトルは、時間区間における特徴ベクトル系列の時系列変化（時間変化）を記述できない。このため、上記の時間区間代表特徴ベクトルを用いた照合は、時間区間内の時系列変化を識別できない（異なる時系列変化を持つ特徴ベクトル系列を類似と判定する可能性が高くなる）ため、特徴ベクトル系列の検索の精度が低下する、という問題点がある。
　具体的には、非特許文献２に記載の、時間区間代表特徴ベクトルとして、時間区間に含まれる特徴ベクトルのヒストグラム特徴を用いる方法では、ヒストグラムは時系列順序を記述できないため、時間区間における特徴ベクトル系列の時系列変化を記述できない（例えば、時系列変化が逆順であっても、同じヒストグラムとなる）。
　また非特許文献３や非特許文献４に記載の、時間区間代表特徴ベクトルとして、時間区間内のキーフレームを選択し、選択されたキーフレームの特徴ベクトルをそのまま時間区間代表特徴ベクトルとして用いる方法では、選択された単一のフレームの特徴ベクトルを用いるため、時系列上のある一点の情報しか記述していないため、時間区間における特徴ベクトル系列の時系列変化を記述できない。
　また非特許文献５に記載の、時間区間代表特徴ベクトルとして、時間区間に含まれる複数のフレームの特徴ベクトルから、特徴ベクトルの次元ごとに特徴量の平均値、またはメディアン値を算出し、算出された平均値、またはメディアン値で構成される特徴ベクトルを時間区間代表特徴ベクトルとする方法では、算出された時間区間代表特徴ベクトルの次元ごとの値は、時間区間内の時系列上の位置（時刻）との対応関係を無くしているため、時間区間における特徴ベクトル系列の時系列変化を記述できない（例えば、時系列変化が逆順であっても、同じ区間代表特徴ベクトルとなる）。
［発明の目的］
　本発明の目的は、非特許文献２から非特許文献５に記載の時間区間代表特徴ベクトルでは時間区間における特徴ベクトル系列の時系列変化（時間変化）を記述できない、という課題を解決する時間区間代表特徴ベクトル生成装置を提供することにある。
　本発明の一形態にかかる時間区間代表特徴ベクトル生成装置は、フレームごとの特徴ベクトルの系列から、時間区間ごとに、時間区間に含まれる複数のフレームの特徴ベクトルを選定する時間区間内特徴ベクトル群選定手段と、時間区間ごとに、上記選定された時間区間内の異なるフレームの特徴ベクトルから、特徴ベクトルの異なる次元の特徴量を選択し、時間区間を代表する特徴ベクトルである時間区間代表特徴ベクトルとして生成する次元選択手段とを備えている。
　本発明によれば、時系列データの、フレームごとの特徴ベクトル系列から、時間区間における特徴ベクトル系列の時系列変化を記述できる時間区間代表特徴ベクトルを生成する時間区間代表特徴ベクトル生成装置を提供することができる。このように時間区間内の時系列変化を記述できる時間区間代表特徴ベクトルを用いることで、時間区間代表特徴ベクトルによる特徴ベクトル系列の検索の精度を向上させることができる。
本発明の第１の実施の形態の構成を示すブロック図である。 多形状領域比較特徴を説明する図である。 時間区間の定め方の一例を示す図である。 時間区間の定め方の別の一例を示す図である。 時間区間の定め方のさらに別の一例を示す図である。 本発明の第１の実施の形態における時間区間内特徴ベクトル群選定手段が選定する方法の例を示す図である。 本発明の第１の実施の形態における次元選択手段が、特徴量を選択する方法の一例を示す図である。 本発明の第１の実施の形態における次元選択手段が、特徴量を選択する方法の別の一例を示す図である。 本発明の第１の実施の形態における次元選択手段が、特徴量を選択する方法のさらに別の一例を示す図である。 第１の特徴ベクトル系列検索システムの構成を示すブロック図である。 第２の特徴ベクトル系列検索システムの構成を示すブロック図である。 本発明の第１の実施の形態の動作を示すフローチャートである。 本発明の第２の実施の形態の構成を示すブロック図である。 本発明の第２の実施の形態における時間区間内特徴ベクトル群選定手段が選定する方法の一例を示す図である。 本発明の第３の実施の形態の構成を示すブロック図である。 本発明の第３の実施の形態における次元選択手段が、特徴量を選択する方法の一例を示す図である。
　次に、本発明の実施の形態について図面を参照して詳細に説明する。
[第１の実施の形態]
　図１を参照すると、本発明の第１の実施の形態に係る時間区間代表特徴ベクトル生成装置１００は、フレームごとの特徴ベクトルを時系列順に並べた系列（特徴ベクトル系列）が入力され、時間区間を代表する特徴ベクトルである時間区間代表特徴ベクトルを出力する。時間区間代表特徴ベクトル生成装置１００は、時間区間内特徴ベクトル群選定手段１０１と、次元選択手段１０２とを備えている。
　時間区間内特徴ベクトル群選定手段１０１は、特徴ベクトルの系列が入力されると、時間区間ごとに、時間区間に含まれる複数のフレームの特徴ベクトルを選定し、時間区間ごとに選定された複数のフレームの特徴ベクトルの情報を、次元選択手段１０２へ供給する。
　入力される特徴ベクトル系列は、動画像データや音響データなどの時系列データのフレームごとの特徴ベクトルを時系列順に並べた系列である。時系列データであれば、動画像データや音響データに限定されない。ここでフレームとは、時系列データの個々の要素であり、動画像データや音響データでない時系列データの場合も、便宜上、時系列データの個々の要素をフレームと呼ぶことにする。
　フレームごとの特徴ベクトルは、複数の次元の特徴量から構成されるものである。例えば動画像データの場合は、例えば、動画像のフレームごとに抽出した、国際標準規格ＩＳＯ／ＩＥＣ　１５９３８－３に規定されている各種視覚的特徴量（通称MPEG-7　Visual）、すなわち、Ｄｏｍｉｎａｎｔ　Ｃｏｌｏｒ、Ｃｏｌｏｒ　Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ　Ｃｏｌｏｒ、Ｃｏｌｏｒ　Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ　Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ　Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ　Ｂｒｏｗｓｉｎｇ、Ｒｅｇｉｏｎ　Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ　Ｓｈａｐｅ、Ｓｈａｐｅ　３Ｄ、Ｐａｒａｍｅｔｒｉｃ　Ｍｏｔｉｏｎ、Ｍｏｔｉｏｎ　Ａｃｔｉｖｉｔｙなどであってもよい。
　またフレームごとの特徴ベクトルを構成する複数次元の特徴量は、動画像データの場合、より多くの種類の動画像に対して有効性があるように改良された特徴量であることが望ましい。その一例を図２を参照して説明する。
　図２は、より多くの種類の動画像に対して有効性があるように改良された特徴量の一例（以下、多形状領域比較特徴量と呼ぶ）の抽出方法を示す図である。多形状領域比較特徴量は、あらかじめ、特徴ベクトルの次元ごとに、その特徴量を抽出するための、画像内の２つの抽出領域（第１の抽出領域と第２の抽出領域）が定められている。抽出領域の形状に多様性がある点が特徴である。多形状領域比較特徴量を抽出するには、次元ごとに、次元ごとに定められた第１の抽出領域と第２の抽出領域の平均輝度値を算出し、第１の抽出領域の平均輝度値と第２の抽出領域の平均輝度値とを比較して（すなわち差分値に基づいて）、３値に量子化して（＋１、０、－１）量子化インデックスを得る。第１の抽出領域の平均輝度値と第２の抽出領域の平均輝度値との差分値の絶対値がある規定の閾値以下の場合は、第１の抽出領域と第２の抽出領域の平均輝度値の差がないものとみなし、差がないことを示す量子化インデックス０とし、それ以外の場合は、第１の抽出領域の平均輝度値と第２の抽出領域の平均輝度値との大小を比較して、第１の抽出領域の平均輝度値のほうが大きい場合は量子化インデックスを＋１、それ以外の場合は量子化インデックスを－１とする。ここで、次元ｎの第１の抽出領域の平均輝度値をＶｎ１、第２の抽出領域の平均輝度値をＶｎ２とし、規定の閾値をｔｈとすると、次元ｎの量子化インデックスＱｎは、次式で算出することができる。
Ｑｎ＝＋１　　（｜Ｖｎ１－Ｖｎ２｜＞ｔｈ　かつ　Ｖｎ１＞Ｖｎ２　の場合）
　　　　０　　（｜Ｖｎ１－Ｖｎ２｜≦ｔｈ　の場合）
　　　－１　　（｜Ｖｎ１－Ｖｎ２｜＞ｔｈ　かつ　Ｖｎ１≦Ｖｎ２　の場合）
　　…［式１］
　音響データの場合は、例えば、音響フレーム（複数のサンプリング信号を含む分析窓）に対して周波数解析を行って算出した特徴ベクトルであってもよい。例えば、分析窓に対してフーリエ変換を行って、周波数領域のパワースペクトルを算出し、パワースペクトルを複数のサブバンドに分割して、各サブバンドの平均パワーの値を特徴量とした特徴ベクトルであってもよい。
　ここで時間区間とは、時間軸上の連続区間のことである。時間区間内特徴ベクトル群選定手段１０１において、時間区間の定め方は、それが入力されるどの特徴ベクトル系列に対しても一定である限りは、任意である。
　時間区間は例えば、時間軸上を一定の時間長（時間幅）で分割した個々の区間であってもよい。例えば図３－Ａの例を参照すると、特徴ベクトル系列（フレーム系列）上で、一定の時間幅である１０フレーム単位で分割した個々の区間を、時間区間と定めている。また例えば、一定の時間長である１秒単位で分割した個々の区間を、時間区間と定めてもよい。
　また例えば、一定の時間長（時間幅）の区間を、一定間隔でずらしながら、区間の重複を許容するように、時間区間を定めてもよい。例えば図３－Ｂの例を参照すると、特徴ベクトル系列（フレーム系列）上で、一定の時間幅である１０フレーム単位の区間を、４フレーム間隔でずらしながら、区間の重複を許容するように、時間区間を定めてもよい。また例えば、一定の時間長である１秒単位の区間を、１フレーム間隔でずらしながら、区間の重複を許容するように、時間区間を定めてもよい。
　また時間区間は、常に一定の時間長（時間幅）である必要もない。例えば、図３－Ｃの例のように、例えば特徴ベクトル系列（フレーム系列）に対して変化点（例えば動画像データのショット分割点）を検出し、変化点間の個々の区間を、時間区間と定めてもよい。変化点は、例えば特徴ベクトル系列自体から検出してもよいし（例えば隣接するフレームの特徴ベクトルの距離計算を行い、距離が規定の閾値を超えた場合に変化点とする、など）、元の時系列データから検出してもよい。
　時間区間内特徴ベクトル群選定手段１０１において、定めた時間区間ごとに、その時間区間に含まれる複数のフレームの特徴ベクトルを選定する方法は、それが入力されるどの特徴ベクトル系列に対しても一定である限りは、任意である。例えば、時間区間内特徴ベクトル群選定手段１０１は、例えば図４に示すように、時間区間に含まれる全てのフレームの特徴ベクトルを選定してもよい。また例えば、図４に示すように、一定の間隔でサンプリングしたフレームの特徴ベクトルを選定してもよい。その他の選定方法については図１１、図１２を参照して後述する。
　次元選択手段１０２は、時間区間内特徴ベクトル群選定手段１０１から供給される、時間区間ごとの選定された複数のフレームの特徴ベクトルの情報から、時間区間ごとに、選定された時間区間内の異なるフレームの特徴ベクトルから、特徴ベクトルの異なる次元の特徴量を選択し、時間区間代表特徴ベクトルとして出力する。
　ここで、「異なるフレームの特徴ベクトルから異なる次元の特徴量を選択」とは、必ずしも選択される特徴量のフレームと次元の双方が全て重複なく選択されることに限らず、少なくとも２つ以上の異なるフレームの特徴ベクトルから、少なくとも２つ以上の異なる次元の特徴量を選択する、ということである。
　ここで、次元選択手段１０２が選択する特徴量の次元数（すなわち、時間区間代表特徴ベクトルの次元数）は、任意でよい。例えば、入力として与えられた特徴ベクトル系列の特徴ベクトルの次元数がNである場合に、ここで選択する特徴量の次元数（時間区間代表特徴ベクトルの次元数）は、Nと同じであってもよい。またNよりも少なくても、Nよりも多くてもよい。
　次元選択手段１０２が、選定された時間区間内の異なるフレームの特徴ベクトルから、特徴ベクトルの異なる次元の特徴量を選択する方法は、それが入力されるどの特徴ベクトル系列に対しても一定である限りは、任意である。
　具体例を図５に示す。図５は、時間区間で選定された１１のフレームの特徴ベクトルを時系列順に配置したものを表している。各々のフレームの特徴ベクトルは、２５次元の特徴量から構成されている。従って、この時間区間に対しては、１１フレーム×２５次元＝２７５の特徴量がある。ここで、図５では、異なるフレームの特徴ベクトルから、特徴ベクトルの異なる次元の特徴量を、１１個選択し、選択された１１個の特徴量から構成される１１次元の特徴ベクトルを、時間区間代表特徴ベクトルとして生成している。
　次元選択手段１０２が、選定された時間区間内の異なるフレームの特徴ベクトルから、特徴ベクトルの異なる次元の特徴量を選択する、別の方法の例を、図６と図７に示す。図６では、フレーム１からフレーム１１まで順番に次元１から次元１１まで１次元ずつ１１個の異なる次元の特徴量を選択し、再びフレーム１からフレーム１１まで順番に次元１２から次元２２まで１次元ずつ１１個の異なる次元の特徴量を選択し、合計２２個の特徴量から構成される２２次元の特徴ベクトルを、時間区間代表特徴ベクトルとして生成している。また、図７では、フレーム１からフレーム１１まで順番に次元１から次元２２まで２次元ずつ合計２２個の異なる次元の特徴量を選択し、合計２２個の特徴量から構成される２２次元の特徴ベクトルを、時間区間代表特徴ベクトルとして生成している。
　次元選択手段１０２は、図５～図７に例示したように、選択された時間区間内の複数のフレームから満遍なく、特徴ベクトルの異なる次元の特徴量を選択することが望ましい。例えば、選択された時間区間内の全てのフレームから、少なくとも１つの次元の特徴量を選択するようにしてもよい。時間区間内の複数のフレームから満遍なく特徴量を選択することにより、より多くの異なる時刻の特徴量を含む区間代表特徴ベクトルを構成できるため、より特徴ベクトル系列の時系列変化に対する識別能力を高めることができ、特徴ベクトル系列の検索精度を向上させることができる、という効果がある。
　時間区間代表特徴ベクトル生成装置１００が出力する、時間区間ごとの時間区間代表特徴ベクトルは、時間区間における特徴ベクトル系列の時系列変化を記述している。その理由は、時間区間内の時系列上の複数の位置（時刻）の特徴を集約しているからである。また、異なる次元の特徴量を選択しているので、生成される時間区間代表特徴ベクトルは、異なる意味を持つ特徴量（異なる次元の特徴量は、異なる手順にて抽出された特徴量であるため、それが持つ意味が異なる）を集約したものでもある。このように、時間区間代表特徴ベクトル生成装置１００が出力する時間区間代表特徴ベクトルは、時間区間内の異なる位置の異なる意味を持つ特徴量を集約したものであるといえる。このために、冗長性が少なく、区間特徴代表特徴ベクトルの記述能力（識別能力）が高い。そのため、高精度な検索を可能にする。
　時間区間代表特徴ベクトル生成装置１００が出力する、時間区間ごとの時間区間代表特徴ベクトルを用いれば、時間区間内の時系列変化を識別できるため、時間区間ごとの高速かつ高精度な、特徴ベクトル系列の検索を行うことができる。時間区間代表特徴ベクトル生成装置１００を用いて構成される特徴ベクトル系列検索システムについては、後述する。
［第１の実施の形態の動作の説明］
　次に、図１０のフローチャートを参照して、第１の実施の形態に係る時間区間代表特徴ベクトル生成装置１００の動作を説明する。
　まず、時間区間内特徴ベクトル群選定手段１０１は、特徴ベクトルの系列が入力されると、時間区間ごとに、時間区間に含まれる複数のフレームの特徴ベクトルを選定する（ステップＡ１）。そして、時間区間ごとに選定された複数のフレームの特徴ベクトルの情報を、次元選択手段１０２へ供給する。
　次に、次元選択手段１０２は、時間区間内特徴ベクトル群選定手段１０１から供給される、時間区間ごとの選定された複数のフレームの特徴ベクトルの情報から、時間区間ごとに、選定された時間区間内の異なるフレームの特徴ベクトルから、特徴ベクトルの異なる次元の特徴量を選択する（ステップＡ２）。そして時間区間代表特徴ベクトルとして出力する。
[第１の実施の形態の効果]
　第１の実施の形態の時間区間代表特徴ベクトル生成装置１００によれば、時間区間における特徴ベクトル系列の時系列変化を記述できる（識別できる）時間区間代表特徴ベクトルを生成することができる。その理由は、時間区間内の異なるフレームの特徴ベクトルから、特徴ベクトルの異なる次元の特徴量を選択して時間区間代表特徴ベクトルとすることで、時間区間内の時系列上の複数の位置（時刻）の特徴を集約しているからである。このように、生成された時間区間代表特徴ベクトルは、時間区間における特徴ベクトル系列の時系列変化を識別できる（異なる時系列変化を持つ特徴ベクトル系列を識別できる）ため、特徴ベクトル系列の検索の精度を向上させることができる。
　また、生成された時間区間代表特徴ベクトルは、元の特徴ベクトル系列からサンプリングされたものであるため、その照合を行う際は、元のフレームごとの特徴ベクトルの照合方法と同一でよい。したがって、図９を参照して後述する第２の特徴ベクトル系列検索システムのように、区間代表特徴ベクトルの照合とフレーム単位の照合とを階層的に行うシステムにおいて、照合を行う回路を単一のものにできる、という効果もある。
[第２の実施の形態]
　図１１を参照すると、本発明の第２の実施の形態に係る時間区間代表特徴ベクトル生成装置１１０は、第１の実施の形態に係る時間区間代表特徴ベクトル生成装置１００の時間区間内特徴ベクトル群選定手段１０１が、時間区間内特徴ベクトル群選定手段１１１に置き換わる点において異なる。
　時間区間内特徴ベクトル群選定手段１１１には、特徴ベクトル系列のフレームレートを示す情報と、時間区間代表特徴ベクトルを生成する基準のフレームレートを示す情報とが入力される。時間区間内特徴ベクトル群選定手段１１１は、特徴ベクトル系列特徴ベクトルの系列が入力されると、特徴ベクトル系列のフレームレートを用いて、前記特徴ベクトル系列から、前記基準のフレームレートにおけるサンプル位置を特定し、特定されたサンプル位置の複数のフレームの特徴ベクトルを選定し、時間区間ごとに選定された複数のフレームの特徴ベクトルの情報を、次元選択手段１０２へ供給する。
　図１２に、具体例を示す。図１２では、特徴ベクトル系列のフレームレートは３０フレーム／秒であり、時間区間として１秒区間（すなわち３０フレーム）が定められているとする。ここで時間区間代表特徴ベクトルを生成する基準のフレームレートが５フレーム／秒であるとする。時間区間内特徴ベクトル群選定手段１１１は、特徴ベクトル系列のフレームレートである３０フレーム／秒を示す情報と、基準フレームレートである５フレーム／秒の情報が入力されると、時間区間内の３０フレーム／秒の特徴ベクトル系列における、基準フレームレートの５フレーム／秒に該当するサンプル位置を特定する。
　サンプル位置を特定する方法としては、
サンプリング間隔（フレーム）
＝特徴ベクトル系列のフレームレート÷基準フレームレート
としてサンプリング間隔を算出し、それに従ってサンプル位置を特定してもよい。ここの例では、サンプリング間隔＝３０÷５＝６となるので、６フレームごとに１つのフレームをサンプリングすればよい。なお、サンプリング間隔が整数値ではなく、小数値となる場合は、例えば、小数で算出されるサンプル位置を四捨五入して得られる整数値のサンプル位置のフレームを、サンプリングすればよい。
　こうして特定されたサンプル位置の複数のフレームを選定し、その情報を次元選択手段１０２へ供給する。
[第２の実施の形態の効果]
　第２の実施の形態による時間区間代表特徴ベクトル生成装置１１０によれば、異なるフレームレートを持つ特徴ベクトル系列であっても、相互に比較可能な時間区間代表特徴ベクトルを生成することができる。その理由は、時間区間代表特徴ベクトルを生成する基準のフレームレートを用いて、時間区間代表特徴ベクトルを生成するために選定される特徴ベクトルのフレーム列を、基準のフレームレートに統一するためである。
　例えば、フレームレートが３０フレーム／秒である第１の特徴ベクトル系列と、フレームレートが１５フレーム／秒である第２の特徴ベクトル系列とが、同じ動画像から生成されているとする。これは例えば、動画像Ｘから生成した特徴ベクトル系列と、この動画像Ｘのフレームレートを半分にした動画像Ｘ’から生成した特徴ベクトル系列とに相当する。今、時間区間として１秒区間が定められ、また、時間区間代表特徴ベクトルを生成する基準のフレームレートを５フレーム／秒とする。このとき、第１の特徴ベクトル系列からは、３０フレームから６フレーム置きに５フレーム選択される。他方、第２の特徴ベクトル系列からは、１５フレームから３フレーム置きに５フレーム選択される。このとき第２の特徴ベクトル系列から選択される５フレームは、第１の特徴ベクトル系列から選択された５フレームと同じフレームになる。
　これにより、フレームレートの異なる特徴ベクトル系列に対しても、時間区間代表特徴ベクトルによる高精度な検索が可能となる。
[第３の実施の形態]
　図１３を参照すると、本発明の第３の実施の形態に係る時間区間代表特徴ベクトル生成装置１２０は、第１の実施の形態に係る時間区間代表特徴ベクトル生成装置１００の次元選択手段１０２が、次元選択手段１２２に置き換わる点において異なる。
　次元選択手段１２２には、特徴ベクトルの次元ごとの重要度を示す情報（次元別重要度情報）が入力される。次元選択手段１２２は、時間区間内特徴ベクトル群選定手段１０１から供給される、時間区間ごとの選定された複数のフレームの特徴ベクトルの情報から、時間区間ごとに、選定された時間区間内の異なるフレームの特徴ベクトルから、次元ごとの重要度に従って、重要度の高い次元から順に、特徴ベクトルの異なる次元の特徴量を選択し、時間区間代表特徴ベクトルとして出力する。
　次元ごとの重要度を示す情報は、例えば、次元ごとの重要度を数値化した情報であってもよいし、次元ごとの重要度の順列を表す情報であってもよい。あるいは、重要度を１か０の２値で表現した情報であってもよい。重要度の意味づけは任意であるが、例えば、特徴ベクトルの次元の特徴量の検索精度に対する寄与の度合いや、特徴ベクトルの次元の特徴量が有する識別能力の度合い（異なるデータを識別できる度合い）や、特徴ベクトルの次元の特徴量が有する頑健性の度合い（データに対する各種雑音や加工処理に対する耐性）、などであってもよい。
　図１４に具体例を示す。図１４では、特徴ベクトル系列の特徴ベクトルが２５次元の特徴量で構成されており、それぞれ次元１から次元２５とする。ここで、次元ごとの重要度は、次元の番号が大きくなるにつれて、小さくなっていくものとする。すなわち、次元は重要度の高い順に整列されており、次元１が重要度が最も高く、次元２５が重要度が最も低い。次元選択手段１２２には、次元別重要度情報として、次元が重要度の高い順に整列されていることを示す情報が入力され、次元選択手段１２２はそれに従って、次元の番号が小さい次元の特徴量を、順に選択していく。図１４では、２５次元の特徴ベクトルのうち、次元の重要度が高い順に、次元１から次元１１の合計１１次元の特徴量を選択している。
[第３の実施の形態の効果]
　第３の実施の形態による時間区間代表特徴ベクトル生成装置１２０によれば、特徴ベクトルの次元の重要度の高い次元から、時間区間代表特徴ベクトルを生成することができる。これは、元の特徴ベクトルの次元の数よりも、生成する時間区間代表特徴ベクトルの次元の数を小さくする場合に、より重要度の高い次元を選択するため、効果的である。
　次に、本発明の時間区間代表特徴ベクトル生成装置を用いて構成される特徴ベクトル系列検索システムについて説明する。なお、以降では、特徴ベクトル系列検索システムは、時間区間代表特徴ベクトル生成装置１００を用いて構成されるものとして説明するが、もちろん、第２の実施の形態に記載の時間区間代表特徴ベクトル生成装置１１０や、第３の実施の形態に記載の時間区間代表特徴ベクトル生成装置１２０を用いて、構成されていてもよい。
[第１の特徴ベクトル系列検索システム]
　図８を参照すると、本発明による第１の特徴ベクトル系列検索システムは、時間区間代表特徴ベクトル生成装置１００と、照合装置２００とを備える。
　時間区間代表特徴ベクトル生成装置１００には、第１の特徴ベクトル系列と、第２の特徴ベクトル系列とが入力され、第１の特徴ベクトル系列の時間区間ごとの時間区間代表特徴ベクトルと、第２の特徴ベクトル系列の時間区間ごとの時間区間代表特徴ベクトルと、を出力する。出力された第１の特徴ベクトル系列の時間区間ごとの時間区間代表特徴ベクトルと、第２の特徴ベクトル系列の時間区間ごとの時間区間代表特徴ベクトルとは、照合装置２００へ供給される。
　照合装置２００は、時間区間代表特徴ベクトル照合手段２０１を備える。時間区間代表特徴ベクトル照合手段２０１は、時間区間代表特徴ベクトル生成装置１００から供給される第１の第１の特徴ベクトル系列の時間区間ごとの時間区間代表特徴ベクトルと、第２の特徴ベクトル系列の時間区間ごとの時間区間代表特徴ベクトルとを照合して、時間区間代表特徴ベクトルどうしが類似するか否かを判定し、類似すると判定した場合に、それぞれの該当時間区間の情報を類似時間区間情報として出力する。
　第１の特徴ベクトル系列のある時間区間に対応した時間区間代表特徴ベクトルと、第２の特徴ベクトル系列のある時間区間に対応した時間区間代表特徴ベクトルとを照合する方法には、例えば以下の方法がある。まず比較する時間区間代表特徴ベクトルどうしが、類似する度合いを算出する。例えば、ベクトル間の距離（ユークリッド距離、ハミング距離など）、またはベクトル間の類似度（コサイン類似度など）を算出して、類似する度合いを算出する。ベクトル間の距離を用いた場合は、値が小さいほど類似していて、ベクトル間の類似度を用いた場合は、値が大きいほど類似していると判定できる。こうして算出した類似する度合いの数値を、ある所定の閾値（この閾値は、例えばあらかじめ与えられているものとする）で閾値処理をして、類似しているか否かを判定する。例えば、ベクトル間の距離を用いた場合は、所定の閾値よりも値が小さい場合に類似していると判定し、またベクトル間の類似度を用いた場合は、所定の閾値よりも値が大きい場合に類似していると判定する。そして、類似していると判定された場合は、それぞれの時間区間代表特徴ベクトルが対応する時間区間の情報を類似時間区間情報として出力する。例えば、第１の特徴ベクトル系列の８０フレームから１００フレームの時間区間に対応する時間区間代表特徴ベクトルと、第２の特徴ベクトル系列の２５０フレームから２７０フレームの時間区間に対応する時間区間代表特徴ベクトルとが、類似していると判定された場合には、例えば、第１の特徴ベクトル系列の８０フレームから１００フレーム、第２の特徴ベクトル系列の２５０フレームから２７０フレームが、類似時間区間であるとして、出力してもよい。これは、時間区間代表特徴ベクトル照合手段２０１が、照合を行う方法の一例であり、この方法に限られない。
　第１の特徴ベクトル系列検索システムによれば、時間区間代表特徴ベクトルを用いた高速かつ、時間区間内の時系列変化を識別できる高精度な、特徴ベクトル系列の検索を実現できる。
[第２の特徴ベクトル系列検索システム]
　図９を参照すると、本発明による第２の特徴ベクトル系列検索システムは、第１の特徴ベクトル系列検索システムの照合装置２００が、照合装置２１０に置き換わる点が異なる。
　照合装置２１０は、時間区間代表特徴ベクトル照合手段２０１とフレーム単位特徴ベクトル照合手段２１２とを備える。
　時間区間代表特徴ベクトル照合手段２０１は、第１の特徴ベクトル系列検索システムにおけるものと同じなので、ここでは説明を省略する。
　フレーム単位特徴ベクトル照合手段２１２は、入力される第１の特徴ベクトル系列と、第２の特徴ベクトル系列との、時間区間代表特徴ベクトル照合手段２０１が出力する類似時間区間情報が示す各々の時間区間に含まれるフレームの特徴ベクトルを、フレーム単位で再度照合し、類似する時間区間であると判定した場合に、類似時間区間情報を出力する。
　第１の特徴ベクトル系列の類似時間区間に含まれるフレームの特徴ベクトルと、第２の特徴ベクトル系列の類似時間区間に含まれるフレームの特徴ベクトルとを、フレーム単位で照合する場合には、例えば、時間区間内の対応するフレーム（時間区間内の相対的な位置が同じフレーム）の特徴ベクトルどうしで、類似する度合いを算出し（例えば、ベクトル間の距離や類似度）、閾値処理を行って、連続的に類似すると判定される場合に、類似する時間区間と判定することができる。これは、フレーム単位特徴ベクトル照合手段２１２が照合を行う方法の一例であり、この方法に限られない。
　第２の特徴ベクトル系列検索システムによれば、時間区間代表特徴ベクトルを用いた高速かつ、時間区間内の時系列変化を識別できる高精度な、特徴ベクトル系列の検索を第１段目の検索として行い、そこで類似時間区間と判定された時間区間に対してのみ、元の特徴ベクトル系列によるフレーム単位の、より高精度な照合を行うことができる（階層的な照合・検索）。
　以上本発明の実施の形態について説明したが、本発明は以上の実施の形態にのみ限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。また、本発明の時間区間代表特徴ベクトル生成装置および照合装置は、その有する機能をハードウェア的に実現することは勿論、コンピュータとプログラムとで実現することができる。プログラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態における時間区間代表特徴ベクトル生成装置、照合装置として機能させる。
　なお、本発明は、日本国にて２００９年１月２９日に特許出願された特願２００９－１７８０７の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
　本発明の活用例として、動画像データや音響データなどの検索に利用することができる。例えば、映画コンテンツや音楽コンテンツが蓄積されたデータベースから、所望のコンテンツを高速に検索することができる。また、インターネットなどに違法にアップロードされた動画像データや音響データの、違法コピーの検知に用いることもできる。
１００…時間区間代表特徴ベクトル生成装置
１０１…時間区間内特徴ベクトル群選定手段
１０２…次元選択手段
２００…照合装置
２０１…時間区間代表特徴ベクトル照合手段
２１０…照合装置
２０１…時間区間代表特徴ベクトル照合手段
２１２…フレーム単位特徴ベクトル照合手段
１１０…時間区間代表特徴ベクトル生成装置
１１１…時間区間内特徴ベクトル群選定手段
１２０…時間区間代表特徴ベクトル生成装置
１２２…次元選択手段

Claims (19)

  1. 　フレームごとの特徴ベクトルの系列から、時間区間ごとに、時間区間に含まれる複数のフレームの特徴ベクトルを選定する時間区間内特徴ベクトル群選定手段と、
    　時間区間ごとに、前記選定された時間区間内の異なるフレームの特徴ベクトルから、特徴ベクトルの異なる次元の特徴量を選択し、時間区間を代表する特徴ベクトルである時間区間代表特徴ベクトルとして生成する次元選択手段と、
    を備えることを特徴とする時間区間代表特徴ベクトル生成装置。
  2. 　前記特徴ベクトル系列は、動画像データのフレームごとの特徴ベクトルの系列である
    ことを特徴とする請求項１に記載の時間区間代表特徴ベクトル生成装置。
  3. 　前記特徴ベクトルは、動画像のフレームにおける、複数の部分領域対の、対をなす２つの部分領域の特徴量の差分値に基づいて算出される
    ことを特徴とする請求項２に記載の時間区間代表特徴ベクトル生成装置。
  4. 　前記次元選択手段は、前記選定された時間区間内の全てのフレームの特徴ベクトルから、少なくとも１つの次元の特徴量を選択する
    ことを特徴とする請求項１乃至３の何れか１項に記載の時間区間代表特徴ベクトル生成装置。
  5. 　前記時間区間内特徴ベクトル群選定手段は、
    　前記特徴ベクトル系列のフレームレートを示す情報と、時間区間代表特徴ベクトルを生成する基準のフレームレートを示す情報とに基づいて、前記特徴ベクトル系列から、前記基準フレームレートにおけるサンプル位置を特定し、特定されたサンプル位置の複数のフレームの特徴ベクトルを選定する、
    ことを特徴とする請求項１乃至４の何れか１項に記載の時間区間代表特徴ベクトル生成装置。
  6. 　前記時間区間内特徴ベクトル群選定手段は、
    　前記特徴ベクトル系列のフレームレートと前記基準フレームレートとの比によって定まるサンプリング間隔に基づいてサンプル位置を特定する
    ことを特徴とする請求項５に記載の時間区間代表特徴ベクトル生成装置。
  7. 　前記次元選択手段は、
    　あらかじめ定められた特徴ベクトルの次元ごとの重要度に従って、重要度の高い次元から順に、前記選定された時間区間内の異なるフレームの特徴ベクトルから、特徴ベクトルの異なる次元の特徴量を選択する、
    ことを特徴とする請求項１乃至６の何れか１項に記載の時間区間代表特徴ベクトル生成装置。
  8. 　請求項１乃至７の何れか１項に記載の時間区間代表特徴ベクトル生成装置によって生成された、第１の特徴ベクトル系列の時間区間ごとの時間区間代表特徴ベクトルと、第２の特徴ベクトル系列の時間区間ごとの時間区間代表特徴ベクトルとを照合して、時間区間代表特徴ベクトルどうしが類似するか否かを判定する第１の照合手段、
    を備える照合装置。
  9. 　前記第１の照合手段によって類似すると判定した時間区間代表特徴ベクトルの対に対して、それぞれに対応する時間区間に含まれるフレームの特徴ベクトルを、フレーム単位で照合する第２の照合手段、
    を備えることを特徴とする請求項８に記載の照合装置。
  10. 　フレームごとの特徴ベクトルの系列から、時間区間ごとに、時間区間に含まれる複数のフレームの特徴ベクトルを選定し、
    　時間区間ごとに、前記選定された時間区間内の異なるフレームの特徴ベクトルから、特徴ベクトルの異なる次元の特徴量を選択し、時間区間を代表する特徴ベクトルである時間区間代表特徴ベクトルとして生成する
    ことを特徴とする時間区間代表特徴ベクトル生成方法。
  11. 　前記特徴ベクトル系列は、動画像データのフレームごとの特徴ベクトルの系列である
    ことを特徴とする請求項１０に記載の時間区間代表特徴ベクトル生成方法。
  12. 　前記特徴ベクトルは、動画像のフレームにおける、複数の部分領域対の、対をなす２つの部分領域の特徴量の差分値に基づいて算出される
    ことを特徴とする請求項１１に記載の時間区間代表特徴ベクトル生成方法。
  13. 　前記時間区間代表特徴ベクトルの生成では、前記選定された時間区間内の全てのフレームの特徴ベクトルから、少なくとも１つの次元の特徴量を選択する
    ことを特徴とする請求項１０乃至１２の何れか１項に記載の時間区間代表特徴ベクトル生成方法。
  14. 　前記複数のフレームの特徴ベクトルの選定では、
    　前記特徴ベクトル系列のフレームレートを示す情報と、時間区間代表特徴ベクトルを生成する基準のフレームレートを示す情報とに基づいて、前記特徴ベクトル系列から、前記基準フレームレートにおけるサンプル位置を特定し、特定されたサンプル位置の複数のフレームの特徴ベクトルを選定する
    ことを特徴とする請求項１０乃至１３の何れか１項に記載の時間区間代表特徴ベクトル生成方法。
  15. 　前記複数のフレームの特徴ベクトルの選定では、
    　前記特徴ベクトル系列のフレームレートと前記基準フレームレートとの比によって定まるサンプリング間隔に基づいてサンプル位置を特定する
    ことを特徴とする請求項１４に記載の時間区間代表特徴ベクトル生成方法。
  16. 　前記時間区間代表特徴ベクトルの生成では、
    　あらかじめ定められた特徴ベクトルの次元ごとの重要度に従って、重要度の高い次元から順に、前記選定された時間区間内の異なるフレームの特徴ベクトルから、特徴ベクトルの異なる次元の特徴量を選択する、
    ことを特徴とする請求項１０乃至１５の何れか１項に記載の時間区間代表特徴ベクトル生成方法。
  17. 　請求項１０乃至１６の何れか１項に記載の時間区間代表特徴ベクトル生成方法によって生成された、第１の特徴ベクトル系列の時間区間ごとの時間区間代表特徴ベクトルと、第２の特徴ベクトル系列の時間区間ごとの時間区間代表特徴ベクトルとを照合して、時間区間代表特徴ベクトルどうしが類似するか否かを判定する
    ことを特徴とする照合方法。
  18. 　前記類似すると判定した時間区間代表特徴ベクトルの対に対して、それぞれに対応する時間区間に含まれるフレームの特徴ベクトルを、フレーム単位で照合する
    ことを特徴とする請求項１７に記載の照合方法。
  19. 　コンピュータを、
    　フレームごとの特徴ベクトルの系列から、時間区間ごとに、時間区間に含まれる複数のフレームの特徴ベクトルを選定する時間区間内特徴ベクトル群選定手段と、
    　時間区間ごとに、前記選定された時間区間内の異なるフレームの特徴ベクトルから、特徴ベクトルの異なる次元の特徴量を選択し、時間区間を代表する特徴ベクトルである時間区間代表特徴ベクトルとして生成する次元選択手段と
    して機能させるためのプログラム。
PCT/JP2010/000247 2009-01-29 2010-01-19 時間区間代表特徴ベクトル生成装置 WO2010087125A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201080005899.6A CN102301698B (zh) 2009-01-29 2010-01-19 时间分段表示特征矢量生成设备
JP2010548398A JP4894956B2 (ja) 2009-01-29 2010-01-19 時間区間代表特徴ベクトル生成装置
US13/143,673 US8175392B2 (en) 2009-01-29 2010-01-19 Time segment representative feature vector generation device
EP10735597.6A EP2383990B1 (en) 2009-01-29 2010-01-19 Time segment representative feature vector generation device
KR1020117015970A KR101352448B1 (ko) 2009-01-29 2010-01-19 시간 구간 대표 특징 벡터 생성 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-017807 2009-01-29
JP2009017807 2009-01-29

Publications (1)

Publication Number Publication Date
WO2010087125A1 true WO2010087125A1 (ja) 2010-08-05

Family

ID=42395391

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/000247 WO2010087125A1 (ja) 2009-01-29 2010-01-19 時間区間代表特徴ベクトル生成装置

Country Status (6)

Country Link
US (1) US8175392B2 (ja)
EP (1) EP2383990B1 (ja)
JP (1) JP4894956B2 (ja)
KR (1) KR101352448B1 (ja)
CN (1) CN102301698B (ja)
WO (1) WO2010087125A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011130413A (ja) * 2009-10-05 2011-06-30 Mitsubishi Electric R&D Centre Europe Bv デジタルコンテンツ符号器、復号器、検索装置、符号化方法、検索方法、記録担体、信号、および記憶装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103946891B (zh) * 2011-11-18 2017-02-22 日本电气株式会社 局部特征量提取装置和局部特征量提取方法
CN102857778B (zh) * 2012-09-10 2015-01-21 海信集团有限公司 3d视频转换系统和方法及其选择关键帧的方法和装置
EP3211887B1 (en) * 2014-11-13 2020-07-01 Samsung Electronics Co., Ltd. Method and device for generating metadata including frequency characteristic information of image
CN105245950B (zh) * 2015-09-25 2018-09-14 精硕科技（北京）股份有限公司 视频广告监播方法及装置
CN106095764A (zh) * 2016-03-31 2016-11-09 乐视控股（北京）有限公司 一种动态图片处理方法及系统
CN107871190B (zh) * 2016-09-23 2021-12-14 阿里巴巴集团控股有限公司 一种业务指标监控方法及装置
CN108874813B (zh) * 2017-05-10 2022-07-29 腾讯科技（北京）有限公司 一种信息处理方法、装置及存储介质
KR102261928B1 (ko) * 2019-12-20 2021-06-04 조문옥 기계학습이 완료된 사물 인식 모델을 통해 동영상에 대한 상황 정보 판단이 가능한 동영상 정보 판단장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002044610A (ja) * 2000-04-27 2002-02-08 Nippon Telegr & Teleph Corp <Ntt> 信号検出方法、装置及びそのプログラム、記録媒体
JP2007336106A (ja) * 2006-06-13 2007-12-27 Osaka Univ 映像編集支援装置
JP2009017807A (ja) 2007-07-11 2009-01-29 Marusan Technos:Kk 鳥害防止用装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0171118B1 (ko) * 1995-03-20 1999-03-20 배순훈 비디오신호 부호화 장치
KR0171154B1 (ko) * 1995-04-29 1999-03-20 배순훈 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화하는 방법 및 장치
US6404925B1 (en) * 1999-03-11 2002-06-11 Fuji Xerox Co., Ltd. Methods and apparatuses for segmenting an audio-visual recording using image similarity searching and audio speaker recognition
EP1161098B1 (en) * 2000-04-27 2011-06-22 Nippon Telegraph And Telephone Corporation Signal detection method and apparatus
US6859554B2 (en) * 2001-04-04 2005-02-22 Mitsubishi Electric Research Laboratories, Inc. Method for segmenting multi-resolution video objects
JP2004234613A (ja) * 2002-12-02 2004-08-19 Nec Corp 映像記述システムおよび方法、映像識別システムおよび方法
KR100679124B1 (ko) * 2005-01-27 2007-02-05 한양대학교 산학협력단 이미지 시퀀스 데이터 검색을 위한 정보 요소 추출 방법및 그 방법을 기록한 기록매체
JP2006351001A (ja) 2005-05-19 2006-12-28 Nippon Telegr & Teleph Corp <Ntt> コンテンツ特徴量抽出方法及び装置及びコンテンツ同一性判定方法及び装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002044610A (ja) * 2000-04-27 2002-02-08 Nippon Telegr & Teleph Corp <Ntt> 信号検出方法、装置及びそのプログラム、記録媒体
JP2007336106A (ja) * 2006-06-13 2007-12-27 Osaka Univ 映像編集支援装置
JP2009017807A (ja) 2007-07-11 2009-01-29 Marusan Technos:Kk 鳥害防止用装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ANIL JAIN, ADITYA VAILAYA, WEI XIONG: "Query by Video Clip", PROC. ON ICPR (INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION, vol. 1, August 1998 (1998-08-01), pages 16 - 20
EIJI KASUTANI, AKIO YAMADA: "Acceleration of Video Identification Process Using Group-of-Frame Feature", PROC. ON FIT (FORUM ON INFORMATION TECHNOLOGY, 2003, pages 85 - 86
EIJI KASUTANI, RYOMA OAMI, AKIO YAMADA, TAKAMI SATO, KYOJI HIRATA: "Video Material Archive System for Efficient Video Editing based on Media Identification", PROC. ON ICME (INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO, vol. 1, June 2004 (2004-06-01), pages 727 - 730, XP010770914, DOI: doi:10.1109/ICME.2004.1394295
KUNIO KASHINO, TAKAYUKI KUROZUMI, HIROSHI MURASE: "A Quick Search Method for Audio and Video Signals Based on Histogram Pruning", IEEE TRANSACTIONS ON MULTIMEDIA, vol. 5, no. 3, September 2003 (2003-09-01), XP001189754, DOI: doi:10.1109/TMM.2003.813281
See also references of EP2383990A4
YUSUKE UCHIDA, MASARU SUGANO, AKIO YONEYAMA: "A Study on Content Based Copy Detection Using Color Layout", PROC. ON IMPS (IMAGE MEDIA. PROCESSING SYMPOSIUM) 2008, PROCEEDINGS, October 2008 (2008-10-01), pages 69 - 70

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011130413A (ja) * 2009-10-05 2011-06-30 Mitsubishi Electric R&D Centre Europe Bv デジタルコンテンツ符号器、復号器、検索装置、符号化方法、検索方法、記録担体、信号、および記憶装置

Also Published As

Publication number Publication date
KR20110105793A (ko) 2011-09-27
KR101352448B1 (ko) 2014-01-17
CN102301698B (zh) 2014-08-27
EP2383990A1 (en) 2011-11-02
US20110274359A1 (en) 2011-11-10
JPWO2010087125A1 (ja) 2012-08-02
CN102301698A (zh) 2011-12-28
EP2383990A4 (en) 2012-08-29
US8175392B2 (en) 2012-05-08
JP4894956B2 (ja) 2012-03-14
EP2383990B1 (en) 2017-09-20

Similar Documents

Publication Publication Date Title
JP4894956B2 (ja) 時間区間代表特徴ベクトル生成装置
Panagiotakis et al. Equivalent key frames selection based on iso-content principles
US8467611B2 (en) Video key-frame extraction using bi-level sparsity
WO2009129328A1 (en) Universal lookup of video-related data
WO2009129243A1 (en) Methods and systems for representation and matching of video content
EP1067786A1 (en) Data describing method and data processor
JP5634075B2 (ja) 画像のシーケンスを処理する方法および装置、画像データを処理する装置、ならびにコンピュータプログラム製品
Zhang et al. Effective real-scenario video copy detection
JP5366212B2 (ja) 多数の参照用映像の中から検索キー用映像を用いて検索する映像検索装置、プログラム及び方法
US7778469B2 (en) Methods and systems for discriminative keyframe selection
JP2010186307A (ja) 動画コンテンツ識別装置および動画コンテンツ識別方法
JP5644505B2 (ja) 照合加重情報抽出装置
Tan et al. Accelerating near-duplicate video matching by combining visual similarity and alignment distortion
Jun et al. Duplicate video detection for large-scale multimedia
Ghanem et al. Context-aware learning for automatic sports highlight recognition
Panagiotakis et al. Video synopsis based on a sequential distortion minimization method
Tejaswi Nayak et al. Video retrieval using residual networks
Bailer et al. A distance measure for repeated takes of one scene
Qiang et al. Key frame extraction based on motion vector
JP2013070158A (ja) 映像検索装置およびプログラム
Anh et al. Video retrieval using histogram and sift combined with graph-based image segmentation
Gupta et al. Evaluation of object based video retrieval using SIFT
Anju et al. Video copy detection using F-sift and graph based video sequence matching
Khin et al. Key frame extraction techniques
Sandeep et al. Application of Perceptual Video Hashing for Near-duplicate Video Retrieval

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080005899.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10735597

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 13143673

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20117015970

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2010548398

Country of ref document: JP

REEP Request for entry into the european phase

Ref document number: 2010735597

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2010735597

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE