WO2018056488A1 - 디지털 동영상 특징값 추출 시스템 및 방법, 및 상기 특징값을 이용한 디지털 동영상 유사도 판단 시스템 및 방법 - Google Patents

디지털 동영상 특징값 추출 시스템 및 방법, 및 상기 특징값을 이용한 디지털 동영상 유사도 판단 시스템 및 방법 Download PDF

Info

Publication number
WO2018056488A1
WO2018056488A1 PCT/KR2016/010806 KR2016010806W WO2018056488A1 WO 2018056488 A1 WO2018056488 A1 WO 2018056488A1 KR 2016010806 W KR2016010806 W KR 2016010806W WO 2018056488 A1 WO2018056488 A1 WO 2018056488A1
Authority
WO
WIPO (PCT)
Prior art keywords
still image
feature
value
video
pixel
Prior art date
Application number
PCT/KR2016/010806
Other languages
English (en)
French (fr)
Inventor
정재학
Original Assignee
주식회사 모션크루
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 모션크루 filed Critical 주식회사 모션크루
Publication of WO2018056488A1 publication Critical patent/WO2018056488A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Definitions

  • the present invention relates to a system and method for digital video contents, and more particularly, to a system and method for extracting feature values of a digital video and determining similarity of the digital video using the same.
  • the present invention has been made to solve the above-described problems, and a method and system for extracting digital video feature values that can reduce time and system resource consumption for video retrieval, and a system and method for determining digital video similarity using the same The purpose is to provide.
  • the digital video feature value extraction system includes a still image extractor, an image normalization unit, a pixel feature value extractor, a feature region setting unit, a pixel search unit, and a position value extractor. .
  • the still image extractor decodes a video to extract a still image
  • the image normalizer normalizes the extracted still image to a predetermined low resolution
  • the pixel feature value extractor extracts a predetermined pixel feature value from the normalized still image
  • the feature region setter Set a predetermined number of pixels having a large pixel feature value as the feature region
  • the pixel search unit searches for pixels of the normalized still image according to a preset order
  • the position value extractor extracts the position value of the found feature region when the feature region is searched.
  • the similarity of the video can be determined, and the similarity of the video can be quickly determined by generating small feature values. This can reduce the time for searching and the consumption of system resources.
  • the preset order may be set by an order according to a preset random number value, and the extraction of the position value may be performed a plurality of times by different random number values. According to this configuration, it is possible to extract the feature value of the image having a higher security performance.
  • the preset pixel characteristic value may be a change value of a characteristic value corresponding to a continuous pixel in a still image, and the change in the characteristic value may include a change in a Y value in the pixel.
  • the digital video similarity determining system includes a video feature value extracting unit, a still image searching unit, and a similarity determining unit.
  • the moving picture feature value extracting unit includes a still image extracting unit, an image normalizing unit, a pixel feature value extracting unit, a feature region setting unit, a pixel search unit, and a position value extracting unit.
  • the video feature value extractor extracts still image feature values of a plurality of still images included in the video from the video to be investigated, and the still image search unit compares the still image feature value with a similar still image having a still image feature value equal to or greater than a preset similarity.
  • the search is performed from the target video, and the similarity determination unit determines that the comparison target video is similar to the investigation target video when the comparison target video includes a similar still image having a predetermined reference or more.
  • the similarity of the video can be determined, and the similarity of the video can be quickly determined by generating small feature values.
  • the similarity of the video can be determined, and by creating a small sized feature value, the similarity of the video can be quickly determined. It is possible to reduce the time and the consumption of system resources.
  • FIG. 1 is a schematic block diagram of a digital video feature value extraction system according to an embodiment of the present invention.
  • FIG. 2 is a schematic block diagram of a digital video similarity determination system according to the present invention.
  • FIG. 3 is a schematic flowchart of a digital video feature value extraction method according to an embodiment of the present invention.
  • FIG. 4 is a schematic flowchart of a method for determining digital video similarity according to an embodiment of the present invention.
  • the digital video feature value extraction system 100 includes a still image extractor 110, an image normalizer 120, a pixel feature value extractor 130, a feature region setter 140, and a pixel searcher ( 150, and a position value extractor 160.
  • each component of the digital video feature value extraction system 100 may be implemented by hardware alone, but it may be generally implemented by hardware and software operating on the hardware.
  • the still image extractor 110 extracts a still image by decoding a video. Decode the video to extract keyframes (images).
  • the image normalization unit 120 normalizes the extracted still image to a preset low resolution. Normalization of the image is performed for comparison, and the resolution and format may be preset. For example, the image can be normalized to Y Cb Cr format of size 128 x 128.
  • the resolution is set lower than that of the original video, whereby a quick video comparison and search is possible.
  • the form of normalization is preferably Y Cb Cr, it may be set to any other form of substitution including the R G B form.
  • the pixel feature value extractor 130 extracts a preset pixel feature value from the normalized still image. To this end, after applying the Haar 2D Discrete Wavelet Transform to Y value, Cb value, and Cr value, respectively, the transformed values can be sorted by size.
  • the Haar transform is also used in the popular face recognition algorithm known as the Viola Jones method, which allows us to extract feature points from this simplified video image, because it can significantly reduce the number of pixels and produce a very live image. do.
  • the feature region setting unit 140 sets a predetermined number of pixels having a large pixel feature value as the feature region, and the pixel search unit 150 searches for pixels of the normalized still image according to a preset order, and extracts position values.
  • the unit 160 extracts a position value of the found feature region when the feature region is searched.
  • the reason for doing this is to upload the copyrighted video to the Internet by uploading the original video to the Internet site in order to disable surveillance filtering, and then download the video and invert the image in black and white to restore the video. Just in case.
  • 50 x 3 values are determined from one image, and the value generated by repeating the above process until the end of the video can be used as the DNA of the video.
  • the digital video similarity determination system 200 includes a video feature value extractor 300, a still image searcher 400, and a similarity determiner 500, and the video feature value extractor 300.
  • the still image extractor 310, the image normalization unit 320, the pixel feature value extractor 330, the feature region setting unit 340, the pixel search unit 350, and the position value extractor 360 are displayed. Include.
  • the video feature value extractor 300 has the same configuration as the digital video feature value extracting system 100 of FIG. 1 and is implemented as a module in the digital video similarity determination system 200.
  • each component of the digital video similarity determination system 200 may also be implemented by hardware alone, but it is generally implemented by hardware and software operating on the hardware. will be.
  • the video feature value extractor 300 extracts still image feature values of a plurality of still images included in the video from the survey target video. Since the video feature value extractor 300 has the same configuration as the digital video feature value extractor 100 of FIG. 1, a detailed description of the video feature value extractor 300 will be omitted.
  • the still image search unit 400 searches for a still image feature value and a similar still image having a still image feature value equal to or greater than a preset similarity value from the comparison target video.
  • the DNA (feature value) of the video to be examined may be extracted and transmitted to a search server (still image search unit) 400 for each frame.
  • Levenshtein Distance also called Edit Distance
  • the similarity determination unit 500 determines that the comparison target video is similar to the investigation target video when the comparison target video includes a similar still image having a predetermined reference or more.
  • the similarity of each frame is measured using the Levenshtein Distance, and applied to successive frames.
  • the matching result of the accumulated frames exceeds the threshold and the video of the same candidate group is the only one, the same video is determined as the same video, and the search is stopped and the result is notified.
  • the number of frame searches reaches the threshold, the video is not found in the same candidate group. You can stop the search and be notified of the result.
  • FIG. 3 is a schematic flowchart of a digital video feature value extraction method according to an embodiment of the present invention.
  • keyframes are first extracted from the target video (S110), normalized to Y, Cb, and Cr formats (S120), and the HAAR 2D discrete wavelet transform is applied and aligned (S130). Up to this point, the process of obtaining a simplified image through Haar transform.
  • the feature value should be extracted from the image obtained in this way.
  • the feature value extraction determines which table to select as the feature value through a predetermined table, and if the table selects the feature value, the index value of the pixel is taken as the feature value.
  • the method of obtaining video fingerprinting is as shown in FIG.
  • a feature in the present invention that a random number is generated in the extraction process to obtain a matrix and the sequence number is a feature value.
  • S is the negative region of the two groups obtained from the Haar Transform (thus the value is 0 or 1), so it is divided into two, so if you set the positive region to 25 and the negative region 25, you get 50 feature points. Since the Cb and Cr regions are obtained, all 50 x 3 feature points are extracted.
  • m_idx_array value is initialized in advance.
  • the array corresponding to the index values sorted in order is initialized to 0, and then to 1 for the top 100.
  • the random number permutation table is for extracting feature points in a specific order determined by a kind of security device, and extracts and stores the pixel indexes as feature points according to this table.
  • FIG. 4 is a schematic flowchart of a method for determining digital video similarity according to an embodiment of the present invention. As shown in Fig. 4, once fingerprinting has been obtained and these values have been successfully stored in the database, it will now be checked if there is a match for the values in the database for any particular image. If a certain threshold is exceeded, it is determined as a match and the search is terminated. If not, the entire database is searched. If it is not matched, it is determined as a new image and ends.
  • the feature value is extracted from the survey target video (S220), and compared with the comparison target video for each frame.
  • LEVENSHTEIN DISTANCE is calculated for the survey video and the comparison video separately (S240), and the similarity (SIMILARITY SCORES) between the comparison images is determined (S250) to determine whether there is the same comparison video as the investigation video. (S260, S270).
  • Very fast and small sized DNA can be generated by extracting the coordinate values that characterize the result of the Haar 2D transformation and extracting double fixed length DNA (50 bytes).
  • one image value may collide (when different images but have the same DNA), but when matching video, the problem of small DNA value is compensated by judging by the weight of successive matching of images. can do.
  • the DNA of the image is individually generated for each image, it is possible to identify whether the same content is used even when editing or partially deleting a video.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

디지털 동영상 특징값 추출 시스템 및 방법, 및 상기 방법을 이용한 디지털 동영상 유사도 판단 시스템 및 방법이 개시된다. 디지털 동영상 특징값 추출 시스템은, 정지영상 추출부, 영상 정규화부, 화소 특징값 추출부, 특징 영역 설정부, 화소 검색부, 및 위치값 추출부를 포함한다. 정지영상 추출부는 동영상을 디코딩하여 정지영상을 추출하고, 영상 정규화부는 추출된 정지영상을 미리 설정된 저해상도로 정규화하고 화소 특징값 추출부는 정규화된 정지영상에서 미리 설정된 화소 특징값을 추출하고, 특징 영역 설정부는 화소 특징값이 큰 미리 설정된 수의 화소를 특징 영역으로 설정하고 화소 검색부는 미리 설정된 순서에 따라 정규화된 정지영상의 화소를 검색하며, 위치값 추출부는 특징 영역이 검색되는 경우 검색된 특징 영역의 위치값을 추출한다.

Description

디지털 동영상 특징값 추출 시스템 및 방법, 및 상기 특징값을 이용한 디지털 동영상 유사도 판단 시스템 및 방법
본 발명은 디지털 동영상 콘텐츠 관련 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 디지털 동영상의 특징값을 추출하고 이를 이용하여 디지털 동영상의 유사도를 판단하기 위한 시스템 및 방법에 관한 것이다.
영상 및 통신 기술의 발전에 따라 최근 온라인에서 디지털 동영상의 유통이 폭증하고 있으며, 이에 따라 타인의 저작권을 부당하게 침해하는 불법 영상물의 유통 역시 빠르게 증가하고 있다.
현재, 이러한 불법 영상물의 유통을 저지하기 위한 많은 노력들이 시도되고 있으며, 이러한 방법들에서는 유통되는 영상물과 미리 저장된 영상물과의 유사도를 판단하여 유사도가 높은 저장 영상물이 검색되는 경우 이를 유통되는 영상물과 동일한 영상물로 판단한다.
그런데 일반적으로 시스템에 미리 저장된 영상물의 수가 굉장히 많기 때문에, 유통되는 영상물과 일일이 유사도를 판단하여 동일한 영상물을 검색하는 과정에서 매우 과도한 시스템 자원과 시간을 소모하게 된다. 더구나, 유통되는 영상물이 변형이나 편집된 경우 이러한 문제는 더욱 심해지게 된다.
본 발명은 상술한 종래의 문제점을 해결하기 위해 안출된 것으로서, 동영상 검색을 위한 시간과 시스템 자원의 소모를 감소시킬 수 있는 디지털 동영상 특징값 추출 방법 및 시스템, 및 이를 이용한 디지털 동영상 유사도 판단 시스템 및 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위해, 본 발명에 따른 디지털 동영상 특징값 추출 시스템은, 정지영상 추출부, 영상 정규화부, 화소 특징값 추출부, 특징 영역 설정부, 화소 검색부, 및 위치값 추출부를 포함한다.
정지영상 추출부는 동영상을 디코딩하여 정지영상을 추출하고, 영상 정규화부는 추출된 정지영상을 미리 설정된 저해상도로 정규화하고 화소 특징값 추출부는 정규화된 정지영상에서 미리 설정된 화소 특징값을 추출하고, 특징 영역 설정부는 화소 특징값이 큰 미리 설정된 수의 화소를 특징 영역으로 설정하고 화소 검색부는 미리 설정된 순서에 따라 정규화된 정지영상의 화소를 검색하며, 위치값 추출부는 특징 영역이 검색되는 경우 검색된 특징 영역의 위치값을 추출한다.
이와 같은 구성에 의하면, 개별 이미지별로 특징값을 생성함으로써 동영상이 편집 또는 일부 삭제되는 경우에도 동영상의 유사도를 판단할 수 있으며, 작은 크기의 특징값을 생성함으로써 빠르게 영상의 유사도를 판단할 수 있어 동영상 검색을 위한 시간과 시스템 자원의 소모를 감소시킬 수 있게 된다.
이때, 미리 설정된 순서는 미리 설정된 난수값에 따른 순서에 의해 설정될 수 있으며, 위치값의 추출은 서로 다른 난수값에 의해 복수회 수행될 수 있다. 이러한 구성에 의하면, 보다 우수하면서도 보안 성능이 높은 영상의 특징값을 추출할 수 있게 된다.
또한, 미리 설정된 화소 특징값은 정지영상에서 연속되는 화소에 대응하는 특성값의 변화값일 수 있으며, 특성값의 변화는 화소에서의 Y값의 변화를 포함하는 것일 수 있다.
또한, 본 발명에 따른 디지털 동영상 유사도 판단 시스템은, 동영상 특징값 추출부, 정지영상 검색부, 및 유사도 판단부를 포함한다. 이때, 동영상 특징값 추출부는 정지영상 추출부, 영상 정규화부, 화소 특징값 추출부, 특징 영역 설정부, 화소 검색부, 및 위치값 추출부를 포함한다.
동영상 특징값 추출부는 조사 대상 동영상으로부터 동영상에 포함된 복수의 정지영상의 정지영상 특징값을 추출하고, 정지영상 검색부는 정지영상 특징값과 미리 설정된 유사도 이상의 정지영상 특징값을 가지는 유사 정지영상을 비교 대상 동영상으로부터 검색하며, 유사도 판단부는 비교 대상 동영상이 미리 설정된 기준 이상의 유사 정지영상을 포함하는 경우 비교 대상 동영상이 조사 대상 동영상과 유사하다고 판단한다.
이와 같은 구성에 의하면, 개별 이미지별로 특징값을 생성함으로써 동영상이 편집 또는 일부 삭제되는 경우에도 동영상의 유사도를 판단할 수 있으며, 작은 크기의 특징값을 생성함으로써 빠르게 영상의 유사도를 판단할 수 있어 동영상 검색을 위한 시간과 시스템 자원의 소모를 감소시킬 수 있는 것은 물론, 작은 크기의 정지 영상 특징값의 단점을 보완하면서도 효과적으로 동영상의 유사도 판단을 수행할 수 있게 된다.
아울러, 상기 시스템을 방법의 형태로 구현한 발명이 함께 개시된다.
본 발명에 의하면, 개별 이미지별로 특징값을 생성함으로써 동영상이 편집 또는 일부 삭제되는 경우에도 동영상의 유사도를 판단할 수 있으며, 작은 크기의 특징값을 생성함으로써 빠르게 영상의 유사도를 판단할 수 있어 동영상 검색을 위한 시간과 시스템 자원의 소모를 감소시킬 수 있게 된다.
또한, 보다 우수하면서도 보안 성능이 높은 영상의 특징값을 추출할 수 있게 된다.
또한, 작은 크기의 정지 영상 특징값의 단점을 보완하면서도 효과적으로 동영상의 유사도 판단을 수행할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 디지털 동영상 특징값 추출 시스템의 개략적인 블록도.
도 2는 본 발명에 따른 디지털 동영상 유사도 판단 시스템의 개략적인 블록도.
도 3은 본 발명의 일 실시예에 따른 디지털 동영상 특징값 추출 방법의 개략적인 흐름도.
도 4는 본 발명의 일 실시예에 따른 디지털 동영상 유사도 판단 방법의 개략적인 흐름도.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 1은 본 발명의 일 실시예에 따른 디지털 동영상 특징값 추출 시스템의 개략적인 블록도이다. 도 1에서 디지털 동영상 특징값 추출 시스템(100)은, 정지영상 추출부(110), 영상 정규화부(120), 화소 특징값 추출부(130), 특징 영역 설정부(140), 화소 검색부(150), 및 위치값 추출부(160)를 포함한다.
도 1에서, 디지털 동영상 특징값 추출 시스템(100)의 각 구성 요소들은 하드웨어만으로도 구현될 수 있겠으나, 하드웨어 및 하드웨어상에서 동작하는 소프트웨어로 구현되는 것이 일반적일 것이다.
정지영상 추출부(110)는 동영상을 디코딩하여 정지영상을 추출한다. 동영상을 디코딩하여 키프레임(이미지)를 추출하는 것이다.
영상 정규화부(120)는 추출된 정지영상을 미리 설정된 저해상도로 정규화한다. 이미지의 정규화는 비교를 위해 수행하는 것으로서, 해상도와 형식은 미리 설정될 수 있다. 예를 들어, 이미지를 128 x 128의 크기의 Y Cb Cr 형식으로 정규화할 수 있다.
이때, 해상도는 원래의 동영상보다 낮게 설정되는데, 이에 의해 빠른 영상의 비교 및 검색이 가능해지게 된다. 또한, 정규화의 형식도 Y Cb Cr인 것이 바람직하지만 R G B 형식을 비롯한 대체 가능한 다른 어떤 형태로 설정되는 것도 가능할 것이다.
화소 특징값 추출부(130)는 정규화된 정지영상에서 미리 설정된 화소 특징값을 추출한다. 이를 위해, Y값, Cb값, Cr값에 대하여 각각 Haar 2D Discrete Wavelet Transform을 적용한 후 변환된 값을 정렬하여 크기로 정렬할 수 있다.
Haar transform은 Viola Jones method 라고 알려진 유명한 얼굴인식 알고리듬에서도 이용되는 방식으로서, 이 방식에 의하면 픽셀 수를 대폭 줄이면서도 영상의 특징이 상당히 살아있는 영상물을 얻을 수 있으므로, 이렇게 간략화된 영상물로부터 특징점을 추출을 수행한다.
특징 영역 설정부(140)는 화소 특징값이 큰 미리 설정된 수의 화소를 특징 영역으로 설정하고, 화소 검색부(150)는 미리 설정된 순서에 따라 정규화된 정지영상의 화소를 검색하며, 위치값 추출부(160)는 특징 영역이 검색되는 경우 검색된 특징 영역의 위치값을 추출한다.
이를 위해, 각각의 정렬된 값에 대하여 두 번의 루프를 실행하는데, 첫 번째는 정렬된 값이 0보다 큰 값의 순서를 기록하고 두 번째는 정렬된 값이 음수인 값의 순서를 기록한다.
이렇게 하는 이유는 저작권이 있는 영상물을 인터넷에 올릴 때 감시 필터링을 무력화시키기 위해 원래의 영상을 흑백 반전하여 인터넷 사이트로 올린 후, 이러한 영상물을 다운로드 받아서 소프트웨어적으로 다시 흑백 반전을 하여 영상물을 복구하여 이용하는 경우에 대비한 것이다.
이어서, 50 x L(L = 128 x 128)의 크기로 고정된 난수로 구성된 Permutation 행렬 P를 사용하여 각각의 루프에서 Permutation 테이블에 지정된 순서로 검색하여 첫 번째 순서 값을 특징값으로 선택한다. 이 결과 하나의 이미지로부터 50 x 3 개의 값이 결정되며, 동영상의 끝까지 위 과정을 반복하여 생성된 값을 해당 동영상의 DNA로 사용할 수 있다.
도 2는 본 발명에 따른 디지털 동영상 유사도 판단 시스템의 개략적인 블록도이다. 도 2에서, 디지털 동영상 유사도 판단 시스템(200)은, 동영상 특징값 추출부(300), 정지영상 검색부(400), 및 유사도 판단부(500)를 포함하며, 동영상 특징값 추출부(300)는 다시 정지영상 추출부(310), 영상 정규화부(320), 화소 특징값 추출부(330), 특징 영역 설정부(340), 화소 검색부(350), 및 위치값 추출부(360)를 포함한다.
도 2에서 동영상 특징값 추출부(300)는 도 1의 디지털 동영상 특징값 추출 시스템(100)과 동일한 구성으로서, 디지털 동영상 유사도 판단 시스템(200) 내부에서 하나의 모듈로 구현되어 있다.
도 1의 디지털 동영상 특징값 추출 시스템(100)과 마찬가지로, 디지털 동영상 유사도 판단 시스템(200)의 각 구성 요소들 역시 하드웨어만으로도 구현될 수 있겠으나, 하드웨어 및 하드웨어상에서 동작하는 소프트웨어로 구현되는 것이 일반적일 것이다.
동영상 특징값 추출부(300)는 조사 대상 동영상으로부터 동영상에 포함된 복수의 정지영상의 정지영상 특징값을 추출한다. 동영상 특징값 추출부(300)는 도 1의 디지털 동영상 특징값 추출 시스템(100)과 동일한 구성이므로, 동영상 특징값 추출부(300)에 대한 보다 상세한 설명은 생략한다.
정지영상 검색부(400)는 정지영상 특징값과 미리 설정된 유사도 이상의 정지영상 특징값을 가지는 유사 정지영상을 비교 대상 동영상으로부터 검색한다. 이를 위해, 조사 대상 동영상의 DNA(특징값)를 추출하여 프레임별로 검색 서버(정지영상 검색부; 400)에 전달할 수 있다.
도 1의 실시예에서 설명된 바와 같이, 하나의 프레임의 DNA는 세 쌍의 50바이트 데이터로 구성될 수 있으므로, 이 값의 매칭은 문자열 검색 알고리즘을 이용할 수 있다. 또한, 이때 DNA의 유사도를 조사하기 위해서 Levenshtein Distance(Edit Distance라도도 불림)를 사용할 수 있다.
유사도 판단부(500)는 비교 대상 동영상이 미리 설정된 기준 이상의 유사 정지영상을 포함하는 경우 비교 대상 동영상이 조사 대상 동영상과 유사하다고 판단한다.
보다 구체적으로, Levenshtein Distance를 이용하여 각 프레임의 유사도를 측정하여 이를 연속적인 프레임에 적용하며, 임계값 이상의 값을 가지는 경우 이를 동일 후보군에 넣는다.
또한, 누적된 프레임의 매칭 결과가 임계값을 넘고 동일 후보군의 동영상이 유일한 경우 동일한 동영상으로 확정하여 검색을 중단하고 결과를 통보하고, 프레임 검색 수가 임계값에 이르렀는데도 동일 후보군에 동영상이 없는 경우 인식 불가로 확정하여 검색을 중단하고 결과를 통보할 수 있다.
도 3은 본 발명의 일 실시예에 따른 디지털 동영상 특징값 추출 방법의 개략적인 흐름도이다. 도 3에서 먼저 목적 동영상으로부터 키프레임들을 추출하고(S110), Y, Cb, Cr 포맷으로 정규화하며(S120), HAAR 2D 이산 웨이블릿 트랜스폼을 적용하고 정렬한다(S130). 여기까지는 Haar transform을 통해 간략화된 화상 이미지를 얻는 과정이다.
이렇게 얻어진 화상에서 특징값을 추출하여야 하는 데 특징값 추출은 미리 약속해 둔 어떤 테이블을 통해 특징값으로 선택할 것인지를 정하고 테이블에서 선택하였다면 화소의 인덱스값을 특징값으로 취한다.
Video fingerprinting(특징값)을 얻는 방법은 도 3에 나타난 바와 같다. 추출과정에서 난수를 발생시켜 행렬을 얻고 이에 따른 순번을 특징값으로 하는 점에 본 발명에서의 특징이 있다.
보다 구체적으로, 화상에서 화소에 대응하는 값들을 양과 음의 값을 가지는 두 그룹으로 나눈 후(140), 랜덤 넘버의 PERMMUTATION ARRAY를 생성하고(S150), 두 분류된(sorted) 리스트로부터의 랜덤 넘버에 따라 값들을 취하여(S160), 특징값을 획득한다(S170). 이를 위한 코드 snippet 은 다음과 같다.
FEATURE_LENGTH = 50;
RANDOM_COUNT = 128*128;
// i 는 특징점 인덱스
// j 는 화소를 스캔하면서 0부터 128*128까지 움직임
// m_perm_table 은
for( i=0 ; i<FEATURE_LENGTH ; i++ ) {
features[i+s*FEATURE_LENGTH] = 255;
for( j=0; j<RANDOM_COUNT; j++) {
if( m_idx_array[ (int)m_perm_table[i][ j] ] ) {
features[i+s*FEATURE_LENGTH] = j+1; // 인덱스값을 저장
break;
}
}
}
여기서 S는 Haar Transform 에서 얻어진 두 그룹 중 음수 영역이 있을 때이고(따라서 값은 0이나 1을 취함), 이렇게 둘로 나눠져 있으므로 양수 영역을 25로 하고 음수 영역 25로 하면 모두 50개의 특징점이 얻어지며, Y, Cb, Cr 영역에 대해 얻으므로 모두 50 x 3의 특징점들이 추출되게 된다.
여기서 m_idx_array 값은 미리 초기화되는데 그 루틴을 살펴보면 아래와 같다.
TOP_ELEMENTS = 100; // 상위 100 까지만 고려
// 0으로 초기화
memset( m_idx_array, 0, sizeof(int8_t)*RANDOM_COUNT );
for( i=(RANDOM_COUNT-1)*s+t,j=0 ; j<=TOP_ELEMENTS ; i=i+t, j++ ) {
// skip the biggest value, so beginning index is 1
if( !s ) {
if( m_sorted_array[i].m_vlu > 0 ) {
m_idx_array[ m_sorted_array[i].m_idx ] = 1;
}
} else {
if( m_sorted_array[i].m_vlu < 0 ) {
m_idx_array[ m_sorted_array[i].m_idx ] = 1;
}
}
}
즉, 순서대로 정렬된 인덱스값에 해당하는 array를 0으로 초기화한 다음 상위 100개에 대해서는 1로 초기화한다.
종합해 본다면 난수 permutation table은 일종의 보안 장치로 미리 정하여진 특정 순서대로 특징점을 추출하기 위한 것이고, 이 table 에 따라 화소의 index를 특징점으로 추출하여 저장한다.
도 4는 본 발명의 일 실시예에 따른 디지털 동영상 유사도 판단 방법의 개략적인 흐름도이다. 도 4에 도시된 바와 같이, Fingerprinting이 얻어지고 이러한 값들이 데이터베이스에 성공적으로 저장되었다면, 이제 임의의 특정 영상물에 대해 데이터베이스의 값들과 매칭되는 것들이 있는지 살펴보게 된다. 특정 임계점을 넘으면 매칭으로 판별하고 검색을 종료하고, 넘지 않는다면 전체 데이터베이스를 검색하며, 그래도 매칭되지 않는다면 새로운 영상물로 판별하고 종료한다.
보다 구체적으로, 조사 대상 비디오와 비교 대상 비디오를 준비한 후(S210), 조사 대상 비디오에서 특징값을 추출하여(S220), 프레임별로 비교 대상 비디오와 비교한다.
이때, 조사 대상 비디오와 비교 대상 비디오에 대해 개별적으로 LEVENSHTEIN DISTANCE를 계산하며(S240), 비교 영상 간의 유사도(SIMILARITY SCORES)를 결정하여(S250), 조사 대상 비디오와 동일한 비교 대상 비디오의 유무를 판단한다(S260, S270).
본 발명 알고리즘의 특징을 정리하면 다음과 같다. 동영상은 이미지의 연속으로 표현되며 동일한 이미지의 연속은 동일한 동영상임을 의미하므로, 본 알고리즘은 개별 이미지의 특징 DNA를 추출하여 이를 매칭하도록 개발되었다.
Haar 2D 변환의 결과로 특징이 되는 좌표 값을 추출하여 이중 고정된 길이 (50바이트)의 DNA를 추출하는 방식을 이용하여 매우 빠르고 작은 크기의 DNA를 생성할 수 있다.
DNA의 크기가 작기 때문에 하나의 이미지 값은 충돌이 발생할 수 있으나(서로 다른 이미지이지만 동일한 DNA를 가지는 경우), 동영상 매칭시에는 이미지의 연속적인 매칭에 따른 가중치로 판단함으로써 작은 DNA 값의 문제를 보완할 수 있다.
또한, 이미지의 DNA는 각 이미지별로 개별적으로 생성되므로 동영상의 편집 또는 일부 삭제 등의 경우에도 동일한 컨텐츠인지 식별이 가능하다.
또한, 동영상 매칭의 경우에도 DNA의 크기가 매우 작으므로 검색시간이 매우 빠르며, 작은 DNA로 인해 DNA의 충돌이 많도록 설계되어 있으므로 검색 대상에 포함되지 않은 동영상의 경우 매우 빠르게 이를 인식할 수 있다.
본 발명이 비록 일부 바람직한 실시예에 의해 설명되었지만 본 발명의 범위는 이에 의해 제한되어서는 아니 되고, 특허청구범위에 의해 뒷받침되는 상기 실시예의 변형이나 개량에도 미쳐야 할 것이다.

Claims (12)

  1. 동영상을 디코딩하여 정지영상을 추출하는 정지영상 추출부;
    상기 추출된 정지영상을 미리 설정된 저해상도로 정규화하는 영상 정규화부;
    상기 정규화된 정지영상에서 미리 설정된 화소 특징값을 추출하는 화소 특징값 추출부;
    상기 화소 특징값이 큰 미리 설정된 수의 화소를 특징 영역으로 설정하는 특징 영역 설정부;
    미리 설정된 순서에 따라 상기 정규화된 정지영상의 화소를 검색하는 화소 검색부; 및
    상기 특징 영역이 검색되는 경우 검색된 특징 영역의 위치값을 추출하는 위치값 추출부를 포함하는 것을 특징으로 하는 디지털 동영상 특징값 추출 시스템.
  2. 청구항 1에 있어서,
    상기 미리 설정된 순서는 미리 설정된 난수값에 의해 설정되는 것을 특징으로 하는 디지털 동영상 특징값 추출 시스템.
  3. 청구항 2에 있어서,
    상기 위치값의 추출은 서로 다른 난수값에 의해 복수회 수행되는 것을 특징으로 하는 디지털 동영상 특징값 추출 시스템.
  4. 청구항 3에 있어서,
    상기 미리 설정된 화소 특징값은 상기 정지영상에서 연속되는 화소에 대응하는 특성값의 변화값인 것을 특징으로 하는 디지털 동영상 특징값 추출 시스템.
  5. 청구항 4에 있어서,
    상기 특성값의 변화는 화소에서의 Y값의 변화를 포함하는 것을 특징으로 하는 디지털 동영상 특징값 추출 시스템.
  6. 조사 대상 동영상으로부터 상기 동영상에 포함된 복수의 정지영상의 정지영상 특징값을 추출하는 동영상 특징값 추출부;
    상기 정지영상 특징값과 미리 설정된 유사도 이상의 정지영상 특징값을 가지는 유사 정지영상을 비교 대상 동영상으로부터 검색하는 정지영상 검색부; 및
    비교 대상 동영상이 미리 설정된 기준 이상의 유사 정지영상을 포함하는 경우 상기 비교 대상 동영상이 상기 조사 대상 동영상과 유사하다고 판단하는 유사도 판단부를 포함하며,
    상기 동영상 특징값을 추출부는,
    동영상을 디코딩하여 정지영상을 추출하는 정지 영상 추출부;
    상기 추출된 정지영상을 미리 설정된 저해상도로 정규화하는 영상 정규화부;
    상기 정규화된 정지영상에서 미리 설정된 화소 특징값을 화소 특징값 추출부;
    상기 화소 특징값이 큰 미리 설정된 수의 화소를 특징 영역으로 설정하는 특징 영역 설정부;
    미리 설정된 순서에 따라 상기 정규화된 정지영상의 화소를 검색하는 화소 검색부; 및
    상기 특징 영역이 검색되는 경우 검색된 특징 영역의 위치값을 추출하는 위치값 추출부를 포함하는 것을 특징으로 하는 디지털 동영상 유사도 판단 시스템.
  7. 디지털 동영상 특징값 추출 시스템이,
    동영상을 디코딩하여 정지영상을 추출하는 단계;
    상기 추출된 정지영상을 미리 설정된 저해상도로 정규화하는 단계;
    상기 정규화된 정지영상에서 미리 설정된 화소 특징값을 추출하는 단계;
    상기 화소 특징값이 큰 미리 설정된 수의 화소를 특징 영역으로 설정하는 단계;
    미리 설정된 순서에 따라 상기 정규화된 정지영상의 화소를 검색하는 단계; 및
    상기 특징 영역이 검색되는 경우 검색된 특징 영역의 위치값을 추출하는 단계를 포함하는 것을 특징으로 하는 디지털 동영상 특징값 추출 방법.
  8. 청구항 7에 있어서,
    상기 미리 설정된 순서는 미리 설정된 난수값에 의해 설정되는 것을 특징으로 하는 디지털 동영상 특징값 추출 방법.
  9. 청구항 8에 있어서,
    상기 위치값의 추출은 서로 다른 난수값에 의해 복수회 수행되는 것을 특징으로 하는 디지털 동영상 특징값 추출 방법.
  10. 청구항 9에 있어서,
    상기 미리 설정된 화소 특징값은 상기 정지영상에서 연속되는 화소에 대응하는 특성값의 변화값인 것을 특징으로 하는 디지털 동영상 특징값 추출 방법.
  11. 청구항 10에 있어서,
    상기 특성값의 변화는 화소에서의 Y값의 변화를 포함하는 것을 특징으로 하는 디지털 동영상 특징값 추출 방법.
  12. 디지털 동영상 유사도 판단 시스템이,
    조사 대상 동영상으로부터 상기 동영상에 포함된 복수의 정지영상의 정지영상 특징값을 추출하는 단계;
    상기 정지영상 특징값과 미리 설정된 유사도 이상의 정지영상 특징값을 가지는 유사 정지영상을 비교 대상 동영상으로부터 검색하는 단계; 및
    비교 대상 동영상이 미리 설정된 기준 이상의 유사 정지영상을 포함하는 경우 상기 비교 대상 동영상이 상기 조사 대상 동영상과 유사하다고 판단하는 단계를 포함하며,
    상기 동영상 특징값을 추출하는 단계는,
    동영상을 디코딩하여 정지영상을 추출하는 단계;
    상기 추출된 정지영상을 미리 설정된 저해상도로 정규화하는 단계;
    상기 정규화된 정지영상에서 미리 설정된 화소 특징값을 추출하는 단계;
    상기 화소 특징값이 큰 미리 설정된 수의 화소를 특징 영역으로 설정하는 단계;
    미리 설정된 순서에 따라 상기 정규화된 정지영상의 화소를 검색하는 단계; 및
    상기 특징 영역이 검색되는 경우 검색된 특징 영역의 위치값을 추출하는 단계를 포함하는 것을 특징으로 하는 디지털 동영상 유사도 판단 방법.
PCT/KR2016/010806 2016-09-23 2016-09-27 디지털 동영상 특징값 추출 시스템 및 방법, 및 상기 특징값을 이용한 디지털 동영상 유사도 판단 시스템 및 방법 WO2018056488A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0122306 2016-09-23
KR1020160122306A KR101986361B1 (ko) 2016-09-23 2016-09-23 디지털 동영상 특징값 추출 시스템 및 방법, 및 상기 특징값을 이용한 디지털 동영상 유사도 판단 시스템 및 방법

Publications (1)

Publication Number Publication Date
WO2018056488A1 true WO2018056488A1 (ko) 2018-03-29

Family

ID=61689879

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/010806 WO2018056488A1 (ko) 2016-09-23 2016-09-27 디지털 동영상 특징값 추출 시스템 및 방법, 및 상기 특징값을 이용한 디지털 동영상 유사도 판단 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR101986361B1 (ko)
WO (1) WO2018056488A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102156899B1 (ko) * 2019-11-14 2020-09-16 한국광기술원 디자인 생성장치 및 방법
KR102298324B1 (ko) * 2019-11-21 2021-09-07 주식회사 샵캐스트 병렬 비디오 식별 시스템
KR102398498B1 (ko) * 2020-12-09 2022-05-17 주식회사 디알엠인사이드 스틸 이미지 기반 미디어 컨텐츠 모니터링 시스템 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080091411A (ko) * 2007-04-08 2008-10-13 (주)코인미디어 랩 동영상 디엔에이를 이용한 디지털 동영상 유사도 비교 방법및 그 방법을 이용한 시스템
US20110135203A1 (en) * 2009-01-29 2011-06-09 Nec Corporation Feature selection device
US20120143915A1 (en) * 2009-10-01 2012-06-07 Crim (Centre De Rechrche Informatique De Montreal) Content-based video copy detection
KR20150077492A (ko) * 2013-12-27 2015-07-08 삼성전자주식회사 내용기반의 검색엔진을 이용한 개인 콘텐츠 저작권 관리 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080091411A (ko) * 2007-04-08 2008-10-13 (주)코인미디어 랩 동영상 디엔에이를 이용한 디지털 동영상 유사도 비교 방법및 그 방법을 이용한 시스템
US20110135203A1 (en) * 2009-01-29 2011-06-09 Nec Corporation Feature selection device
US20120143915A1 (en) * 2009-10-01 2012-06-07 Crim (Centre De Rechrche Informatique De Montreal) Content-based video copy detection
KR20150077492A (ko) * 2013-12-27 2015-07-08 삼성전자주식회사 내용기반의 검색엔진을 이용한 개인 콘텐츠 저작권 관리 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HARVEY, R. CAMERON ET AL.: "SPATIO-TEMPORAL VIDEO COPY DETECTION", MS THESIS OF COMPUTER SCIENCE IN SIMON FRASER UNIVERSITY, 2011, XP055498904, Retrieved from the Internet <URL:https://cs-nsl-wiki.cs.surrey.sfu.ca/theses/harvey11.pdf> *

Also Published As

Publication number Publication date
KR101986361B1 (ko) 2019-06-07
KR20180032949A (ko) 2018-04-02

Similar Documents

Publication Publication Date Title
WO2020130309A1 (ko) 영상 마스킹 장치 및 영상 마스킹 방법
WO2013176329A1 (ko) 오디오 신호를 이용한 콘텐츠 인식 장치 및 방법
WO2018056488A1 (ko) 디지털 동영상 특징값 추출 시스템 및 방법, 및 상기 특징값을 이용한 디지털 동영상 유사도 판단 시스템 및 방법
WO2012115332A1 (ko) 이미지와 이미지 또는 이미지와 동영상 사이의 상호 관계 분석 장치 및 방법
WO2014200137A1 (ko) 핑거프린트에 기반한 광고 검출 시스템 및 방법
WO2020082562A1 (zh) 字符识别方法、装置、设备及存储介质
WO2010011026A2 (ko) 이미지를 이용한 검색 시스템
WO2016163755A1 (ko) 품질 측정 기반의 얼굴 인식 방법 및 장치
WO2015034269A1 (ko) 영상 처리 방법 및 장치
WO2010041836A2 (en) Method of detecting skin-colored area using variable skin color model
WO2020111426A1 (en) Method and system of presenting moving images or videos corresponding to still images
WO2012108687A2 (en) Method of detecting arp spoofing attacks using arp locking and computer-readable recording medium storing program for executing the method
WO2015129983A1 (ko) 분산 퍼지 연관 규칙 마이닝에 기반한 영화 추천 장치 및 방법
WO2021040287A1 (ko) 사람 재식별 장치 및 방법
WO2023210861A1 (ko) 유해 사이트에 대한 접속 알림 서비스를 제공할 수 있는 알림 서비스 서버 및 그 동작 방법
WO2022086147A1 (en) Method for training and testing user learning network to be used for recognizing obfuscated data created by obfuscating original data to protect personal information and user learning device and testing device using the same
WO2022114392A1 (ko) 특성 선택에 기반한 모바일 악성 코드 분류 방법, 이를 수행하기 위한 기록 매체 및 장치
WO2022114639A1 (ko) 다차원의 부분집합 연관 분석에 기반한 인공지능 학습 데이터셋 공정성을 보장하는 장치 및 이를 이용한 인공지능 학습 데이터셋 공정성을 보장하는 방법
WO2015133856A1 (ko) 정답 키워드 제공 방법 및 장치
EP3459009A2 (en) Adaptive quantization method for iris image encoding
WO2016108562A1 (ko) 지문 정보의 코딩 및 인식 시스템, 그리고 그 구동 방법
WO2020067615A1 (ko) 익명화 성능을 향상시키기 위한 영상 익명화 장치의 제어 방법 및 이를 위한 장치
WO2021091124A1 (ko) 복수의 파일들 각각에 대한 피쳐들의 분포 정보를 기초로 기준 파일에 대한 유사 파일의 탐색이 가능한 전자 장치 및 동작 방법
WO2020080571A1 (ko) 영상정보기기에서의 개인정보의 비식별화 방법 및 시스템
WO2023128112A1 (ko) 차량에 탑재된 정보 수집 단말과의 연동을 통해 도로 상의 위험물 정보를 수집하여 관리할 수 있는 위험물 정보 관리 서버 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16916862

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 01/08/2019)

122 Ep: pct application non-entry in european phase

Ref document number: 16916862

Country of ref document: EP

Kind code of ref document: A1