KR101986361B1 - 디지털 동영상 특징값 추출 시스템 및 방법, 및 상기 특징값을 이용한 디지털 동영상 유사도 판단 시스템 및 방법 - Google Patents

디지털 동영상 특징값 추출 시스템 및 방법, 및 상기 특징값을 이용한 디지털 동영상 유사도 판단 시스템 및 방법 Download PDF

Info

Publication number
KR101986361B1
KR101986361B1 KR1020160122306A KR20160122306A KR101986361B1 KR 101986361 B1 KR101986361 B1 KR 101986361B1 KR 1020160122306 A KR1020160122306 A KR 1020160122306A KR 20160122306 A KR20160122306 A KR 20160122306A KR 101986361 B1 KR101986361 B1 KR 101986361B1
Authority
KR
South Korea
Prior art keywords
value
still image
pixel
image
feature
Prior art date
Application number
KR1020160122306A
Other languages
English (en)
Other versions
KR20180032949A (ko
Inventor
정재학
Original Assignee
주식회사 모션크루
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 모션크루 filed Critical 주식회사 모션크루
Priority to KR1020160122306A priority Critical patent/KR101986361B1/ko
Priority to PCT/KR2016/010806 priority patent/WO2018056488A1/ko
Publication of KR20180032949A publication Critical patent/KR20180032949A/ko
Application granted granted Critical
Publication of KR101986361B1 publication Critical patent/KR101986361B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

디지털 동영상 특징값 추출 시스템 및 방법, 및 상기 방법을 이용한 디지털 동영상 유사도 판단 시스템 및 방법이 개시된다. 디지털 동영상 특징값 추출 시스템은, 정지영상 추출부, 영상 정규화부, 화소 특징값 추출부, 특징 영역 설정부, 화소 검색부, 및 위치값 추출부를 포함한다. 정지영상 추출부는 동영상을 디코딩하여 정지영상을 추출하고, 영상 정규화부는 추출된 정지영상을 미리 설정된 저해상도로 정규화하고 화소 특징값 추출부는 정규화된 정지영상에서 미리 설정된 화소 특징값을 추출하고, 특징 영역 설정부는 화소 특징값이 큰 미리 설정된 수의 화소를 특징 영역으로 설정하고 화소 검색부는 미리 설정된 순서에 따라 정규화된 정지영상의 화소를 검색하며, 위치값 추출부는 특징 영역이 검색되는 경우 검색된 특징 영역의 위치값을 추출한다.

Description

디지털 동영상 특징값 추출 시스템 및 방법, 및 상기 특징값을 이용한 디지털 동영상 유사도 판단 시스템 및 방법 {SYSTEM AND METHOD FOR EXTRACTING FEATURE VALUE OF DIGITAL VIDEO, AND SYSTEM AND METHOD FOR DETERMINING SIMILARITY OF DIGITAL VIDEO USING THE FETURE VALUE}
본 발명은 디지털 동영상 콘텐츠 관련 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 디지털 동영상의 특징값을 추출하고 이를 이용하여 디지털 동영상의 유사도를 판단하기 위한 시스템 및 방법에 관한 것이다.
영상 및 통신 기술의 발전에 따라 최근 온라인에서 디지털 동영상의 유통이 폭증하고 있으며, 이에 따라 타인의 저작권을 부당하게 침해하는 불법 영상물의 유통 역시 빠르게 증가하고 있다.
현재, 이러한 불법 영상물의 유통을 저지하기 위한 많은 노력들이 시도되고 있으며, 이러한 방법들에서는 유통되는 영상물과 미리 저장된 영상물과의 유사도를 판단하여 유사도가 높은 저장 영상물이 검색되는 경우 이를 유통되는 영상물과 동일한 영상물로 판단한다.
그런데 일반적으로 시스템에 미리 저장된 영상물의 수가 굉장히 많기 때문에, 유통되는 영상물과 일일이 유사도를 판단하여 동일한 영상물을 검색하는 과정에서 매우 과도한 시스템 자원과 시간을 소모하게 된다. 더구나, 유통되는 영상물이 변형이나 편집된 경우 이러한 문제는 더욱 심해지게 된다.
본 발명은 상술한 종래의 문제점을 해결하기 위해 안출된 것으로서, 동영상 검색을 위한 시간과 시스템 자원의 소모를 감소시킬 수 있는 디지털 동영상 특징값 추출 방법 및 시스템, 및 이를 이용한 디지털 동영상 유사도 판단 시스템 및 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위해, 본 발명에 따른 디지털 동영상 특징값 추출 시스템은, 정지영상 추출부, 영상 정규화부, 화소 특징값 추출부, 특징 영역 설정부, 화소 검색부, 및 위치값 추출부를 포함한다.
정지영상 추출부는 동영상을 디코딩하여 정지영상을 추출하고, 영상 정규화부는 추출된 정지영상을 미리 설정된 저해상도로 정규화하고 화소 특징값 추출부는 정규화된 정지영상에서 미리 설정된 화소 특징값을 추출하고, 특징 영역 설정부는 화소 특징값이 큰 미리 설정된 수의 화소를 특징 영역으로 설정하고 화소 검색부는 미리 설정된 순서에 따라 정규화된 정지영상의 화소를 검색하며, 위치값 추출부는 특징 영역이 검색되는 경우 검색된 특징 영역의 위치값을 추출한다.
이와 같은 구성에 의하면, 개별 이미지별로 특징값을 생성함으로써 동영상이 편집 또는 일부 삭제되는 경우에도 동영상의 유사도를 판단할 수 있으며, 작은 크기의 특징값을 생성함으로써 빠르게 영상의 유사도를 판단할 수 있어 동영상 검색을 위한 시간과 시스템 자원의 소모를 감소시킬 수 있게 된다.
이때, 미리 설정된 순서는 미리 설정된 난수값에 따른 순서에 의해 설정될 수 있으며, 위치값의 추출은 서로 다른 난수값에 의해 복수회 수행될 수 있다. 이러한 구성에 의하면, 보다 우수하면서도 보안 성능이 높은 영상의 특징값을 추출할 수 있게 된다.
또한, 미리 설정된 화소 특징값은 정지영상에서 연속되는 화소에 대응하는 특성값의 변화값일 수 있으며, 특성값의 변화는 화소에서의 Y값의 변화를 포함하는 것일 수 있다.
또한, 본 발명에 따른 디지털 동영상 유사도 판단 시스템은, 동영상 특징값 추출부, 정지영상 검색부, 및 유사도 판단부를 포함한다. 이때, 동영상 특징값 추출부는 정지영상 추출부, 영상 정규화부, 화소 특징값 추출부, 특징 영역 설정부, 화소 검색부, 및 위치값 추출부를 포함한다.
동영상 특징값 추출부는 조사 대상 동영상으로부터 동영상에 포함된 복수의 정지영상의 정지영상 특징값을 추출하고, 정지영상 검색부는 정지영상 특징값과 미리 설정된 유사도 이상의 정지영상 특징값을 가지는 유사 정지영상을 비교 대상 동영상으로부터 검색하며, 유사도 판단부는 비교 대상 동영상이 미리 설정된 기준 이상의 유사 정지영상을 포함하는 경우 비교 대상 동영상이 조사 대상 동영상과 유사하다고 판단한다.
이와 같은 구성에 의하면, 개별 이미지별로 특징값을 생성함으로써 동영상이 편집 또는 일부 삭제되는 경우에도 동영상의 유사도를 판단할 수 있으며, 작은 크기의 특징값을 생성함으로써 빠르게 영상의 유사도를 판단할 수 있어 동영상 검색을 위한 시간과 시스템 자원의 소모를 감소시킬 수 있는 것은 물론, 작은 크기의 정지 영상 특징값의 단점을 보완하면서도 효과적으로 동영상의 유사도 판단을 수행할 수 있게 된다.
아울러, 상기 시스템을 방법의 형태로 구현한 발명이 함께 개시된다.
본 발명에 의하면, 개별 이미지별로 특징값을 생성함으로써 동영상이 편집 또는 일부 삭제되는 경우에도 동영상의 유사도를 판단할 수 있으며, 작은 크기의 특징값을 생성함으로써 빠르게 영상의 유사도를 판단할 수 있어 동영상 검색을 위한 시간과 시스템 자원의 소모를 감소시킬 수 있게 된다.
또한, 보다 우수하면서도 보안 성능이 높은 영상의 특징값을 추출할 수 있게 된다.
또한, 작은 크기의 정지 영상 특징값의 단점을 보완하면서도 효과적으로 동영상의 유사도 판단을 수행할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 디지털 동영상 특징값 추출 시스템의 개략적인 블록도.
도 2는 본 발명에 따른 디지털 동영상 유사도 판단 시스템의 개략적인 블록도.
도 3은 본 발명의 일 실시예에 따른 디지털 동영상 특징값 추출 방법의 개략적인 흐름도.
도 4는 본 발명의 일 실시예에 따른 디지털 동영상 유사도 판단 방법의 개략적인 흐름도.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 1은 본 발명의 일 실시예에 따른 디지털 동영상 특징값 추출 시스템의 개략적인 블록도이다. 도 1에서 디지털 동영상 특징값 추출 시스템(100)은, 정지영상 추출부(110), 영상 정규화부(120), 화소 특징값 추출부(130), 특징 영역 설정부(140), 화소 검색부(150), 및 위치값 추출부(160)를 포함한다.
도 1에서, 디지털 동영상 특징값 추출 시스템(100)의 각 구성 요소들은 하드웨어만으로도 구현될 수 있겠으나, 하드웨어 및 하드웨어상에서 동작하는 소프트웨어로 구현되는 것이 일반적일 것이다.
정지영상 추출부(110)는 동영상을 디코딩하여 정지영상을 추출한다. 동영상을 디코딩하여 키프레임(이미지)를 추출하는 것이다.
영상 정규화부(120)는 추출된 정지영상을 미리 설정된 저해상도로 정규화한다. 이미지의 정규화는 비교를 위해 수행하는 것으로서, 해상도와 형식은 미리 설정될 수 있다. 예를 들어, 이미지를 128 x 128의 크기의 Y Cb Cr 형식으로 정규화할 수 있다.
이때, 해상도는 원래의 동영상보다 낮게 설정되는데, 이에 의해 빠른 영상의 비교 및 검색이 가능해지게 된다. 또한, 정규화의 형식도 Y Cb Cr인 것이 바람직하지만 R G B 형식을 비롯한 대체 가능한 다른 어떤 형태로 설정되는 것도 가능할 것이다.
화소 특징값 추출부(130)는 정규화된 정지영상에서 미리 설정된 화소 특징값을 추출한다. 이를 위해, Y값, Cb값, Cr값에 대하여 각각 Haar 2D Discrete Wavelet Transform을 적용한 후 변환된 값을 정렬하여 크기로 정렬할 수 있다.
Haar transform은 Viola Jones method 라고 알려진 유명한 얼굴인식 알고리듬에서도 이용되는 방식으로서, 이 방식에 의하면 픽셀 수를 대폭 줄이면서도 영상의 특징이 상당히 살아있는 영상물을 얻을 수 있으므로, 이렇게 간략화된 영상물로부터 특징점을 추출을 수행한다.
특징 영역 설정부(140)는 화소 특징값이 큰 미리 설정된 수의 화소를 특징 영역으로 설정하고, 화소 검색부(150)는 미리 설정된 순서에 따라 정규화된 정지영상의 화소를 검색하며, 위치값 추출부(160)는 특징 영역이 검색되는 경우 검색된 특징 영역의 위치값을 추출한다.
이를 위해, 각각의 정렬된 값에 대하여 두 번의 루프를 실행하는데, 첫 번째는 정렬된 값이 0보다 큰 값의 순서를 기록하고 두 번째는 정렬된 값이 음수인 값의 순서를 기록한다.
이렇게 하는 이유는 저작권이 있는 영상물을 인터넷에 올릴 때 감시 필터링을 무력화시키기 위해 원래의 영상을 흑백 반전하여 인터넷 사이트로 올린 후, 이러한 영상물을 다운로드 받아서 소프트웨어적으로 다시 흑백 반전을 하여 영상물을 복구하여 이용하는 경우에 대비한 것이다.
이어서, 50 x L(L = 128 x 128)의 크기로 고정된 난수로 구성된 Permutation 행렬 P를 사용하여 각각의 루프에서 Permutation 테이블에 지정된 순서로 검색하여 첫 번째 순서 값을 특징값으로 선택한다. 이 결과 하나의 이미지로부터 50 x 3 개의 값이 결정되며, 동영상의 끝까지 위 과정을 반복하여 생성된 값을 해당 동영상의 DNA로 사용할 수 있다.
도 2는 본 발명에 따른 디지털 동영상 유사도 판단 시스템의 개략적인 블록도이다. 도 2에서, 디지털 동영상 유사도 판단 시스템(200)은, 동영상 특징값 추출부(300), 정지영상 검색부(400), 및 유사도 판단부(500)를 포함하며, 동영상 특징값 추출부(300)는 다시 정지영상 추출부(310), 영상 정규화부(320), 화소 특징값 추출부(330), 특징 영역 설정부(340), 화소 검색부(350), 및 위치값 추출부(360)를 포함한다.
도 2에서 동영상 특징값 추출부(300)는 도 1의 디지털 동영상 특징값 추출 시스템(100)과 동일한 구성으로서, 디지털 동영상 유사도 판단 시스템(200) 내부에서 하나의 모듈로 구현되어 있다.
도 1의 디지털 동영상 특징값 추출 시스템(100)과 마찬가지로, 디지털 동영상 유사도 판단 시스템(200)의 각 구성 요소들 역시 하드웨어만으로도 구현될 수 있겠으나, 하드웨어 및 하드웨어상에서 동작하는 소프트웨어로 구현되는 것이 일반적일 것이다.
동영상 특징값 추출부(300)는 조사 대상 동영상으로부터 동영상에 포함된 복수의 정지영상의 정지영상 특징값을 추출한다. 동영상 특징값 추출부(300)는 도 1의 디지털 동영상 특징값 추출 시스템(100)과 동일한 구성이므로, 동영상 특징값 추출부(300)에 대한 보다 상세한 설명은 생략한다.
정지영상 검색부(400)는 정지영상 특징값과 미리 설정된 유사도 이상의 정지영상 특징값을 가지는 유사 정지영상을 비교 대상 동영상으로부터 검색한다. 이를 위해, 조사 대상 동영상의 DNA(특징값)를 추출하여 프레임별로 검색 서버(정지영상 검색부; 400)에 전달할 수 있다.
도 1의 실시예에서 설명된 바와 같이, 하나의 프레임의 DNA는 세 쌍의 50바이트 데이터로 구성될 수 있으므로, 이 값의 매칭은 문자열 검색 알고리즘을 이용할 수 있다. 또한, 이때 DNA의 유사도를 조사하기 위해서 Levenshtein Distance(Edit Distance라도도 불림)를 사용할 수 있다.
유사도 판단부(500)는 비교 대상 동영상이 미리 설정된 기준 이상의 유사 정지영상을 포함하는 경우 비교 대상 동영상이 조사 대상 동영상과 유사하다고 판단한다.
보다 구체적으로, Levenshtein Distance를 이용하여 각 프레임의 유사도를 측정하여 이를 연속적인 프레임에 적용하며, 임계값 이상의 값을 가지는 경우 이를 동일 후보군에 넣는다.
또한, 누적된 프레임의 매칭 결과가 임계값을 넘고 동일 후보군의 동영상이 유일한 경우 동일한 동영상으로 확정하여 검색을 중단하고 결과를 통보하고, 프레임 검색 수가 임계값에 이르렀는데도 동일 후보군에 동영상이 없는 경우 인식 불가로 확정하여 검색을 중단하고 결과를 통보할 수 있다.
도 3은 본 발명의 일 실시예에 따른 디지털 동영상 특징값 추출 방법의 개략적인 흐름도이다. 도 3에서 먼저 목적 동영상으로부터 키프레임들을 추출하고(S110), Y, Cb, Cr 포맷으로 정규화하며(S120), HAAR 2D 이산 웨이블릿 트랜스폼을 적용하고 정렬한다(S130). 여기까지는 Haar transform을 통해 간략화된 화상 이미지를 얻는 과정이다.
이렇게 얻어진 화상에서 특징값을 추출하여야 하는 데 특징값 추출은 미리 약속해 둔 어떤 테이블을 통해 특징값으로 선택할 것인지를 정하고 테이블에서 선택하였다면 화소의 인덱스값을 특징값으로 취한다.
Video fingerprinting(특징값)을 얻는 방법은 도 3에 나타난 바와 같다. 추출과정에서 난수를 발생시켜 행렬을 얻고 이에 따른 순번을 특징값으로 하는 점에 본 발명에서의 특징이 있다.
보다 구체적으로, 화상에서 화소에 대응하는 값들을 양과 음의 값을 가지는 두 그룹으로 나눈 후(140), 랜덤 넘버의 PERMMUTATION ARRAY를 생성하고(S150), 두 분류된(sorted) 리스트로부터의 랜덤 넘버에 따라 값들을 취하여(S160), 특징값을 획득한다(S170). 이를 위한 코드 snippet 은 다음과 같다.
FEATURE_LENGTH = 50;
RANDOM_COUNT = 128*128;
// i 는 특징점 인덱스
// j 는 화소를 스캔하면서 0부터 128*128까지 움직임
// m_perm_table 은
for( i=0 ; i<FEATURE_LENGTH ; i++ ) {
features[i+s*FEATURE_LENGTH] = 255;
for( j=0; j<RANDOM_COUNT; j++) {
if( m_idx_array[ (int)m_perm_table[i][ j] ] ) {
features[i+s*FEATURE_LENGTH] = j+1; // 인덱스값을 저장
break;
}
}
}
여기서 S는 Haar Transform 에서 얻어진 두 그룹 중 음수 영역이 있을 때이고(따라서 값은 0이나 1을 취함), 이렇게 둘로 나눠져 있으므로 양수 영역을 25로 하고 음수 영역 25로 하면 모두 50개의 특징점이 얻어지며, Y, Cb, Cr 영역에 대해 얻으므로 모두 50 x 3의 특징점들이 추출되게 된다.
여기서 m_idx_array 값은 미리 초기화되는데 그 루틴을 살펴보면 아래와 같다.
TOP_ELEMENTS = 100; // 상위 100 까지만 고려
// 0으로 초기화
memset( m_idx_array, 0, sizeof(int8_t)*RANDOM_COUNT );
for( i=(RANDOM_COUNT-1)*s+t,j=0 ; j<=TOP_ELEMENTS ; i=i+t, j++ ) {
// skip the biggest value, so beginning index is 1
if( !s ) {
if( m_sorted_array[i].m_vlu > 0 ) {
m_idx_array[ m_sorted_array[i].m_idx ] = 1;
}
} else {
if( m_sorted_array[i].m_vlu < 0 ) {
m_idx_array[ m_sorted_array[i].m_idx ] = 1;
}
}
}
즉, 순서대로 정렬된 인덱스값에 해당하는 array를 0으로 초기화한 다음 상위 100개에 대해서는 1로 초기화한다.
종합해 본다면 난수 permutation table은 일종의 보안 장치로 미리 정하여진 특정 순서대로 특징점을 추출하기 위한 것이고, 이 table 에 따라 화소의 index를 특징점으로 추출하여 저장한다.
도 4는 본 발명의 일 실시예에 따른 디지털 동영상 유사도 판단 방법의 개략적인 흐름도이다. 도 4에 도시된 바와 같이, Fingerprinting이 얻어지고 이러한 값들이 데이터베이스에 성공적으로 저장되었다면, 이제 임의의 특정 영상물에 대해 데이터베이스의 값들과 매칭되는 것들이 있는지 살펴보게 된다. 특정 임계점을 넘으면 매칭으로 판별하고 검색을 종료하고, 넘지 않는다면 전체 데이터베이스를 검색하며, 그래도 매칭되지 않는다면 새로운 영상물로 판별하고 종료한다.
보다 구체적으로, 조사 대상 비디오와 비교 대상 비디오를 준비한 후(S210), 조사 대상 비디오에서 특징값을 추출하여(S220), 프레임별로 비교 대상 비디오와 비교한다.
이때, 조사 대상 비디오와 비교 대상 비디오에 대해 개별적으로 LEVENSHTEIN DISTANCE를 계산하며(S240), 비교 영상 간의 유사도(SIMILARITY SCORES)를 결정하여(S250), 조사 대상 비디오와 동일한 비교 대상 비디오의 유무를 판단한다(S260, S270).
본 발명 알고리즘의 특징을 정리하면 다음과 같다. 동영상은 이미지의 연속으로 표현되며 동일한 이미지의 연속은 동일한 동영상임을 의미하므로, 본 알고리즘은 개별 이미지의 특징 DNA를 추출하여 이를 매칭하도록 개발되었다.
Haar 2D 변환의 결과로 특징이 되는 좌표 값을 추출하여 이중 고정된 길이 (50바이트)의 DNA를 추출하는 방식을 이용하여 매우 빠르고 작은 크기의 DNA를 생성할 수 있다.
DNA의 크기가 작기 때문에 하나의 이미지 값은 충돌이 발생할 수 있으나(서로 다른 이미지이지만 동일한 DNA를 가지는 경우), 동영상 매칭시에는 이미지의 연속적인 매칭에 따른 가중치로 판단함으로써 작은 DNA 값의 문제를 보완할 수 있다.
또한, 이미지의 DNA는 각 이미지별로 개별적으로 생성되므로 동영상의 편집 또는 일부 삭제 등의 경우에도 동일한 컨텐츠인지 식별이 가능하다.
또한, 동영상 매칭의 경우에도 DNA의 크기가 매우 작으므로 검색시간이 매우 빠르며, 작은 DNA로 인해 DNA의 충돌이 많도록 설계되어 있으므로 검색 대상에 포함되지 않은 동영상의 경우 매우 빠르게 이를 인식할 수 있다.
본 발명이 비록 일부 바람직한 실시예에 의해 설명되었지만 본 발명의 범위는 이에 의해 제한되어서는 아니 되고, 특허청구범위에 의해 뒷받침되는 상기 실시예의 변형이나 개량에도 미쳐야 할 것이다.
100: 디지털 동영상 특징값 추출 시스템
110, 310: 정지영상 추출부
120, 320: 영상 정규화부
130, 330: 화소 특징값 추출부
140, 340: 특징 영역 설정부
150, 350: 화소 검색부
160, 360: 위치값 추출부
200: 디지털 동영상 유사도 판단 시스템
300: 동영상 특징값 추출부
400: 정지영상 검색부
500: 유사도 판단부

Claims (12)

  1. 동영상을 디코딩하여 정지영상을 추출하는 정지영상 추출부;
    상기 추출된 정지영상을 미리 설정된 저해상도로 정규화하는 영상 정규화부;
    상기 정규화된 정지영상에서 미리 설정된 화소 특징값을 추출하는 화소 특징값 추출부;
    상기 화소 특징값이 큰 미리 설정된 수의 화소를 특징 영역으로 설정하는 특징 영역 설정부;
    미리 설정된 순서에 따라 상기 정규화된 정지영상의 화소를 검색하는 화소 검색부; 및
    상기 특징 영역에 대응하는 화소가 검색되는 경우 검색된 화소의 위치값을 추출하는 위치값 추출부를 포함하는 디지털 동영상 특징값 추출 시스템으로서,
    상기 미리 설정된 순서는 미리 설정된 난수값에 의해 설정되고,
    상기 위치값의 추출은 서로 다른 난수값에 의해 복수회 수행되며,
    상기 위치값은 미리 설정된 치환 테이블(permutation table)에서의 인덱스값이고,
    상기 치환 테이블은 상기 정규화된 영상에서의 화소들의 주소를 상기 미리 설정된 순서에 따라 복수의 상기 인덱스값 각각과 대응시켜 설정한 테이블인 것을 특징으로 하는 디지털 동영상 특징값 추출 시스템.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    상기 미리 설정된 화소 특징값은 상기 정지영상에서 연속되는 화소에 대응하는 특성값의 변화값인 것을 특징으로 하는 디지털 동영상 특징값 추출 시스템.
  5. 청구항 4에 있어서,
    상기 특성값의 변화는 화소에서의 Y값의 변화를 포함하는 것을 특징으로 하는 디지털 동영상 특징값 추출 시스템.
  6. 조사 대상 동영상으로부터 상기 동영상에 포함된 복수의 정지영상의 정지영상 특징값을 추출하는 동영상 특징값 추출부;
    상기 정지영상 특징값과 미리 설정된 유사도 이상의 정지영상 특징값을 가지는 유사 정지영상을 비교 대상 동영상으로부터 검색하는 정지영상 검색부; 및
    비교 대상 동영상이 미리 설정된 기준 이상의 유사 정지영상을 포함하는 경우 상기 비교 대상 동영상이 상기 조사 대상 동영상과 유사하다고 판단하는 유사도 판단부를 포함하며,
    상기 동영상 특징값 추출부는,
    동영상을 디코딩하여 정지영상을 추출하는 정지 영상 추출부;
    상기 추출된 정지영상을 미리 설정된 저해상도로 정규화하는 영상 정규화부;
    상기 정규화된 정지영상에서 미리 설정된 화소 특징값을 추출하는 화소 특징값 추출부;
    상기 화소 특징값이 큰 미리 설정된 수의 화소를 특징 영역으로 설정하는 특징 영역 설정부;
    미리 설정된 순서에 따라 상기 정규화된 정지영상의 화소를 검색하는 화소 검색부; 및
    상기 특징 영역에 대응하는 화소가 검색되는 경우 검색된 화소의 위치값을 추출하는 위치값 추출부를 포함하는 디지털 동영상 유사도 판단 시스템으로서,
    상기 미리 설정된 순서는 미리 설정된 난수값에 의해 설정되고,
    상기 위치값의 추출은 서로 다른 난수값에 의해 복수회 수행되며,
    상기 위치값은 미리 설정된 치환 테이블(permutation table)에서의 인덱스값이고,
    상기 치환 테이블은 상기 정규화된 영상에서의 화소들의 주소를 상기 미리 설정된 순서에 따라 복수의 상기 인덱스값 각각과 대응시켜 설정한 테이블인 것을 특징으로 하는 디지털 동영상 유사도 판단 시스템.
  7. 디지털 동영상 특징값 추출 시스템이,
    동영상을 디코딩하여 정지영상을 추출하는 단계;
    상기 추출된 정지영상을 미리 설정된 저해상도로 정규화하는 단계;
    상기 정규화된 정지영상에서 미리 설정된 화소 특징값을 추출하는 단계;
    상기 화소 특징값이 큰 미리 설정된 수의 화소를 특징 영역으로 설정하는 단계;
    미리 설정된 순서에 따라 상기 정규화된 정지영상의 화소를 검색하는 단계; 및
    상기 특징 영역에 대응하는 화소가 검색되는 경우 검색된 화소의 위치값을 추출하는 단계를 포함하는 디지털 동영상 특징값 추출 방법으로서,
    상기 미리 설정된 순서는 미리 설정된 난수값에 의해 설정되고,
    상기 위치값의 추출은 서로 다른 난수값에 의해 복수회 수행되며,
    상기 위치값은 미리 설정된 치환 테이블(permutation table)에서의 인덱스값이고,
    상기 치환 테이블은 상기 정규화된 영상에서의 화소들의 주소를 상기 미리 설정된 순서에 따라 복수의 상기 인덱스값 각각과 대응시켜 설정한 테이블인 것을 특징으로 하는 디지털 동영상 특징값 추출 방법.
  8. 삭제
  9. 삭제
  10. 청구항 7에 있어서,
    상기 미리 설정된 화소 특징값은 상기 정지영상에서 연속되는 화소에 대응하는 특성값의 변화값인 것을 특징으로 하는 디지털 동영상 특징값 추출 방법.
  11. 청구항 10에 있어서,
    상기 특성값의 변화는 화소에서의 Y값의 변화를 포함하는 것을 특징으로 하는 디지털 동영상 특징값 추출 방법.
  12. 디지털 동영상 유사도 판단 시스템이,
    조사 대상 동영상으로부터 상기 동영상에 포함된 복수의 정지영상의 정지영상 특징값을 추출하는 동영상 특징값 추출 단계;
    상기 정지영상 특징값과 미리 설정된 유사도 이상의 정지영상 특징값을 가지는 유사 정지영상을 비교 대상 동영상으로부터 검색하는 정지영상 검색 단계; 및
    비교 대상 동영상이 미리 설정된 기준 이상의 유사 정지영상을 포함하는 경우 상기 비교 대상 동영상이 상기 조사 대상 동영상과 유사하다고 판단하는 유사도 판단 단계를 포함하며,
    상기 동영상 특징값 추출 단계는,
    동영상을 디코딩하여 정지영상을 추출하는 단계;
    상기 추출된 정지영상을 미리 설정된 저해상도로 정규화하는 단계;
    상기 정규화된 정지영상에서 미리 설정된 화소 특징값을 추출하는 단계;
    상기 화소 특징값이 큰 미리 설정된 수의 화소를 특징 영역으로 설정하는 단계;
    미리 설정된 순서에 따라 상기 정규화된 정지영상의 화소를 검색하는 단계; 및
    상기 특징 영역에 대응하는 화소가 검색되는 경우 검색된 화소의 위치값을 추출하는 단계를 포함하는 디지털 동영상 유사도 판단 방법으로서,
    상기 미리 설정된 순서는 미리 설정된 난수값에 의해 설정되고,
    상기 위치값의 추출은 서로 다른 난수값에 의해 복수회 수행되며,
    상기 위치값은 미리 설정된 치환 테이블(permutation table)에서의 인덱스값이고,
    상기 치환 테이블은 상기 정규화된 영상에서의 화소들의 주소를 상기 미리 설정된 순서에 따라 복수의 상기 인덱스값 각각과 대응시켜 설정한 테이블인 것을 특징으로 하는 디지털 동영상 유사도 판단 방법.
KR1020160122306A 2016-09-23 2016-09-23 디지털 동영상 특징값 추출 시스템 및 방법, 및 상기 특징값을 이용한 디지털 동영상 유사도 판단 시스템 및 방법 KR101986361B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160122306A KR101986361B1 (ko) 2016-09-23 2016-09-23 디지털 동영상 특징값 추출 시스템 및 방법, 및 상기 특징값을 이용한 디지털 동영상 유사도 판단 시스템 및 방법
PCT/KR2016/010806 WO2018056488A1 (ko) 2016-09-23 2016-09-27 디지털 동영상 특징값 추출 시스템 및 방법, 및 상기 특징값을 이용한 디지털 동영상 유사도 판단 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160122306A KR101986361B1 (ko) 2016-09-23 2016-09-23 디지털 동영상 특징값 추출 시스템 및 방법, 및 상기 특징값을 이용한 디지털 동영상 유사도 판단 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20180032949A KR20180032949A (ko) 2018-04-02
KR101986361B1 true KR101986361B1 (ko) 2019-06-07

Family

ID=61689879

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160122306A KR101986361B1 (ko) 2016-09-23 2016-09-23 디지털 동영상 특징값 추출 시스템 및 방법, 및 상기 특징값을 이용한 디지털 동영상 유사도 판단 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR101986361B1 (ko)
WO (1) WO2018056488A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102156899B1 (ko) * 2019-11-14 2020-09-16 한국광기술원 디자인 생성장치 및 방법
KR102298324B1 (ko) * 2019-11-21 2021-09-07 주식회사 샵캐스트 병렬 비디오 식별 시스템
KR102398498B1 (ko) * 2020-12-09 2022-05-17 주식회사 디알엠인사이드 스틸 이미지 기반 미디어 컨텐츠 모니터링 시스템 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080091411A (ko) * 2007-04-08 2008-10-13 (주)코인미디어 랩 동영상 디엔에이를 이용한 디지털 동영상 유사도 비교 방법및 그 방법을 이용한 시스템
EP2333718B1 (en) * 2009-01-29 2013-08-28 Nec Corporation Feature amount selecting device
US8671109B2 (en) * 2009-10-01 2014-03-11 Crim (Centre De Recherche Informatique De Montreal) Content-based video copy detection
KR101627398B1 (ko) * 2013-12-27 2016-06-13 삼성전자주식회사 내용기반의 검색엔진을 이용한 개인 콘텐츠 저작권 관리 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SPATIO-TEMPORAL VIDEO COPY DETECTION", MS THESIS OF COMPUTER SCIENCE IN SIMON FRASER UNIVERSITY

Also Published As

Publication number Publication date
WO2018056488A1 (ko) 2018-03-29
KR20180032949A (ko) 2018-04-02

Similar Documents

Publication Publication Date Title
US8358837B2 (en) Apparatus and methods for detecting adult videos
US10885100B2 (en) Thumbnail-based image sharing method and terminal
EP3477506A1 (en) Video detection method, server and storage medium
JP4553650B2 (ja) 画像グループの表現方法および表現方法によって導出される記述子、探索方法、装置、コンピュータプログラム、ならびに記憶媒体
CN108881947B (zh) 一种直播流的侵权检测方法及装置
CN104994426B (zh) 节目视频识别方法及系统
TWI712316B (zh) 視訊摘要的生成方法及裝置
JP5097280B2 (ja) 画像及び画像群を表現、比較及び検索する方法及び装置、プログラム、コンピュータ読み取り可能な記憶媒体
KR101986361B1 (ko) 디지털 동영상 특징값 추출 시스템 및 방법, 및 상기 특징값을 이용한 디지털 동영상 유사도 판단 시스템 및 방법
WO2017032245A1 (zh) 一种视频文件索引信息的生成方法和设备
Erkut et al. HSV color histogram based image retrieval with background elimination
CN103020521A (zh) 木马扫描方法及系统
CN112257595A (zh) 视频匹配方法、装置、设备及存储介质
Chao et al. Performance comparison of various feature detector-descriptor combinations for content-based image retrieval with JPEG-encoded query images
Shullani et al. Social network identification of laundered videos based on DCT coefficient analysis
Edmundson et al. Efficient and effective online image retrieval
CN109359530B (zh) 一种智能视频监控方法及装置
KR100486738B1 (ko) 얼굴 인식 및 검색용 특징벡터 추출방법 및 장치
CN113239855A (zh) 一种视频检测方法、装置、电子设备以及存储介质
WO1999051022A1 (en) Method of selecting key-frames from a video sequence
JP6679373B2 (ja) 顔検出装置、顔検出方法及び顔認識システム
CN114567798B (zh) 一种针对互联网短视频变种的溯源方法
US7355529B2 (en) Binary image compression apparatus and method
Rathgeb et al. TripleA: Accelerated accuracy-preserving alignment for iris-codes
JP6091552B2 (ja) 動画処理装置及び動画処理システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right