KR20080091411A

KR20080091411A - 동영상 디엔에이를 이용한 디지털 동영상 유사도 비교 방법및 그 방법을 이용한 시스템

Info

Publication number: KR20080091411A
Application number: KR1020070034467A
Authority: KR
Inventors: 강해구
Original assignee: (주)코인미디어 랩
Priority date: 2007-04-08
Filing date: 2007-04-08
Publication date: 2008-10-13

Abstract

본 발명은, 디지털 동영상을 샷 단위로 분리하는 샷 분리 처리 단계와,

분리된 샷의 특성을 추출하고 이를 이용하여 동영상 DNA를 구성하는 동영상 DNA 추출 단계와,

추출된 동영상 DNA를 동영상 DB에 저장된 동영상 DNA와의 유사 서열 비교 방법에 의해 비교하는 동영상 DNA 비교 단계를 포함하는 것을 특징으로 하는,

디지털 동영상 유사도 비교 방법과 그 방법을 이용한 시스템

동영상, 검색, 유사성 판정, 샷

Description

동영상 디엔에이를 이용한 디지털 동영상 유사도 비교 방법 및 그 방법을 이용한 시스템 {Method and System for video similarity detection with a video DNA}

도 1은, 동영상 DNA 추출 과정에서 추출되는 샷 상대 위치의 정의를 도식화한 그림

도 2는, 비교하려는 동영상 DNA와 비교 대상 동영상 DNA를 비교하여 도식화한 그림

도 3은, 본 발명의 실시예에 따른 동영상 유사도 비교 방법을 이용한 동영상 유사도 비교 시스템의 블럭도

기존의 동영상 유사성 비교는, 조사 대상 동영상이나 정지화상에 대해 파일의 이름이나 파일 내에 포함된 메타데이터, 동영상 파일이나 그 파일로의 하이퍼링크를 포함한 문서와 같이 관련성이 명백한 텍스트 내에 있는 문자열을 입력된 키워드와 직접 대조하여 포함 여부를 조사하는 키워드 조사 방법이 사용되어 왔다.

그러나 이 방법은, 메타정보가 잘못 색인되어 있는 경우에는, 완전히 다른 동영상을 유사한 동영상으로 잘못 판정하는 문제를 안고 있어, 이 방식을 제안한 MPEG-7 표준에서 조차 인터넷과 개방형 DB에는 적용할 수 없는 기술로 취급하고 있다.

또 다른 방법으로, 입력된 동영상이나 정지화상과 조사 대상이 되는 동영상이나 정지화상 자체의 프레임들을 조사하여, 프레임 내의 인물이나 배경, 소리와 같은 객체를 인식하거나, 프레임 자체의 색상이나 움직임, 소리의 특성을 데이터로 추출하여, 이를 비교함으로써 그림 또는 오디오 특성의 동일성이나 유사성을 조사하는 방법이 제안되어 왔다.

그러나 이 방법은, 유사성 비교 대상이 되는 영상의 각 프레임을 상호 픽셀 단위로 비교하여 유사성을 판정하는 방법과 컬러히스토그램이나 텍스쳐 벡터를 추출하여 프레임 간의 유사도를 비교하여 동영상의 유사성을 비교하는 방법이 제안되어 왔다.

그러나 이들 방법은, 화면 크기나 코덱변경, 초당 프레임 수 변경 등 다양한 변형본이 있는 동일 내용 동영상에 대한 오탐지율이 높거나, 동영상 검색을 위해 너무 많은 연산을 필요로 하여 인터넷과 같은 대형 DB에는 적용하기 어렵고 작은 규모의 DB에만 적용할 수 있는 문제를 안고 있다.

본 발명이 이루고자 하는 기술적 과제는, 동영상 데이터로부터 추출한 작은 크기의 동영상 특성 데이터로 동영상 데이터가 가진 특성을 식별력 있게 포함하여, 고속의 유사성 비교가 가능하게 하여 동영상 유사도 비교 비용을 낮추고, 정확도를 높이는 것을 목표로 한다.

동영상 DNA를 이용한 디지털 동영상 유사도 비교 방법

본 발명의 실시예는 다음과 같다.

상기 디지털 동영상 유사도 비교 시스템에 있어 샷 분리 처리 단계는,

입력된 동영상 인접 프레임 간의 유사도를 비교하여, 순서가 이어진 프레임 간의 유사도가 낮으면, 비교 대상 프레임 사이에서 샷이 분리된다고 판정하는 샷 분리 처리 단계로서,

프레임 간의 유사도 비교를 위해서는 프레임 내의 색 분포나 텍스쳐 벡터 등을 푸리에 급수로 만들어 주파수 특성의 유사성을 비교하는 연산적 이미지 유사도 비교 방법이 공지 기술로서 알려져 있다.

본 발명의 실시예에서는, 이러한 방법 중 연산량이 적고 인코딩 방법에 영향을 작게 받는, 픽셀 기반, 에너지 차이를 이용한 샷 분리 방법을 사용한다.

먼저 각 프레임에서 밝기 성분을 추출하고, 프레임을 순서대로 읽어 들이면서, 현재의 프레임과 다음 프레임의 각 픽셀의 밝기 성분값의 차를 구하여, 절대값을 취하고 평균을 낸 값(MAD:Mean Absolute Difference)를 구한다.

이 MAD 값을 4개의 연속 프레임에 대하여 이동 평균(MOMAD : Moving Average MAD)을 구하여, 현재 프레임의 MAD와 MOMAD 간의 차가 임계값을 넘으면, 그 프레임을 전후로 샷이 분리된다고 판정한다.

이러한 연산적 유사도 비교 방법에 의한 샷 분리 판정 방법에 따르면, 동영상 데이터는 인코딩 방법에 따라, 화면의 크기나 초당 프레임수, 데이터 손실율이 상이하기 때문에, 내용이 동일하더라도 다른 방식으로 인코딩된 경우 샷의 분리 위치가 달라질 수 있다. 즉, 입력된 동영상이 어떤 방식으로 인코딩되어 있는가에 따라 동일 위치의 프레임 정보가 달라질 질 수 있으며, 이로 인해 어떤 인코딩 방식에서는 샷이 분리된다고 연산적으로 판정되는 위치에서 다른 방식으로 인코딩된 영상에서는 샷이 분리된다고 판정되지 않을 수 있다는 것을 의미한다.

그러나 이렇게 연산적 방법으로 샷을 분리하는 방법에서 샷 분리 위치가 달라지는 문제를 해결하는 것은, 매우 어렵다. 따라서 동일 내용의 동영상으로부터 추출한 동영상 DNA는 샷 분리 처리가 상이한 경우라도, 유사성이 유지되도록 정의된 샷 특성을 사용하여 구성되어야 한다.

상기 동영상 DNA 추출 단계는,

샷 분리 처리부에 의해 분리된 샷 연쇄를 입력으로 받아, 각 샷의 특성값을 추출하여 동영상 DNA를 구성하는 동영상 DNA 추출 단계로서,

이때, 샷의 특성값은 동일한 내용을 가진 동영상으로부터 추출한 동영상 DNA 간에는 샷 분리 처리가 상이한 경우라도, 유사성이 유지되도록 정의되어 있어야 한다.

또한 동일한 내용을 가진 동영상의 일부를 잘라 편집하거나, 내용 식별력을 크게 저해하지 않으면서 화면에 추가된 정보에도 불구하고, 동영상 DNA의 유사성이 유지되도록 정의된 샷 특성값이 정의되어야 한다.

기존의 비디오 복제 탐지 연구 결과는 다양한 비디오 조작에 의하여 변화되지 않는 특성으로 각 샷의 길이를 제시하고, 다양한 비디오 조작에도 불구하고 각 샷의 길이를 비교하면 복제 여부를 판정할 수 있다고 제시하고 있다. 그러나 디지털 영상의 인코딩 방법이나 해상도 등의 차이로 인해 샷 분리 위치가 달라지면 각 샷의 길이가 보존되지 않아 각 샷의 길이를 비교하는 것은 동일 내용의 디지털 영상을 동일하다고 판정하지 못하는 오탐지율이 높아지게 된다.

또한 MPEG7과 같은 규격에서는 영상물을 구성하는 각 프레임을 이미지로서 비교하여 검색하는 방법이 제안되어 있다. 이는 연산량이 많아 제한된 크기의 동영상에 대해서는 적용할 수 있으나 인터넷과 같이 대량의 동영상에 대해 적용하기는 어려우며, 인코딩 방식이나 해상도 등이 상이한 경우의 검색에 대해서는 오탐지율이 높아질 수 밖에 없다.

따라서 본 발명은, 샷 특성값을 해당 샷 첫 프레임의 최초 샷 분리 프레임 위치로부터의 상대적 거리와 그 외의 샷 특성 부가 정보로 정의하고, 동영상 DNA는 샷 특성값을 영상 내의 샷 순서에 따라 연결한 것으로 정의한다.

해당 샷 첫 프레임의 최초 샷 분리 프레임 위치로부터의 상대적 거리는 프레임 수를 사용할 수도 있고, 실행 시간을 이용할 수도 있으나, 프레임수는 인코딩 방식에 따라 적절히 실행 시간을 반영하지 못하기 때문에, 실행 시간을 이용하는 것이 실제로 사람이 인지하는 내용의 속성으로서의 프레임 간 거리를 반영한다. 따라서 프레임수를 거리 단위로 사용하려면 인코딩 방식에 따른 초당 프레임수를 이용하여 Normalize를 한 후에 사용하여야 한다. 도 1은 해당 샷 첫 프레임의 최초 샷 분리 프레임 위치로부터의 상대적 거리를 도식화한 것으로, 도식의 S3 샷(101)의 최초 샷 분리 프레임 위치로부터의 상대적 거리는 도식의 D(102)가 된다.

그 외의 샷 특성 부가 정보로 사용할 수 있는 것은 샷 분리 위치의 프레임으로부터 텍스처나 컬러, 사운드, 객체의 모션 등을 이용하는 방법이 있다. 샷 특성값은 가장 단순하게는 2 개의 특성값을 정의하고 입력된 샷을 둘 중 하나로 판정하거나, 4개의 특성값을 정의하고 입력된 샷을 4개 중 하나로 할당하는 방식에서부터 n개의 특성값을 정의하고, 입력된 샷을 그 중 하나로 할당하는 방식을 사용할 수 있다. 그러나 어떤 경우에도 샷의 내용이 같다면 화상의 크기나 인코딩 방법이 상이하더라도 같은 특성값을 추출할 수 있는 확률이 높은 방법으로 추출한다. 이러한 이미지나 사운드, 모션의 특성값 추출 방법은, 대한민국 특허 등록 제10-0141702(1998.03.24) 호와 같은 공지 기술로 해당 분야의 통상의 지식을 가진 자라면 누구나 용이하게 실시할 수 있다.

상기 동영상 DNA 비교 단계는

추출된 동영상 DNA를 동영상 DB에 저장된 동영상 DNA와의 유사 서열 비교 방법에 의해 비교하는 단계로서, 도 2는 비교 대상이 되는 동영상의 동영상 DNA와 비교하고자 하는 동영상의 동영상 DNA를 시간축에 대하여 배열한 것이다. 여기서 두 동영상 DNA 간의 비교를 위해서, 다음과 같은 두 개의 집합을 구성할 수 있다.

집합 A = {D2, D3, D4, D5}

집합 B = {C2, C3, C4, C5, C6}

단, C2,C3,C4,C5,C6,D2,D3,D4,D5는 각 원소가 대표하는 샷의 상대적 위치

이 두 집합 간에, 각 집합에서 선택한 임의의 두 원소 간의 차의 절대값이 어떤 기준 이하이면, 그 원소가 나타내고 있는 샷 분리 위치에 대응하는 두 샷의 시작점이 일치한다고 판정하고, 그 갯수가 많고, 샷의 상대 위치값 차의 절대값 누 적 합이 적을 수록 두 동영상이 일치할 확률이 높다고 판정한다.

다만, 두 샷의 시작점 일치 갯수는 오직 각 집합의 원소 하나에 대해 한 개만 발생할 수 있다.

이러한 동영상 DNA 간의 비교를 통해, 일정 수준의 임계값 보다 확률이 클 경우, 두 동영상이 전체 또는 부분적으로 일치한다고 판정한다.

본 발명의 동영상 DNA 비교 단계의 또 다른 실시예는, 비교되는 두 동영상 DNA 내의 상대적 샷 위치 정보 뿐 아니라, 동영상 DNA에 포함되어 있는, 샷의 이미지나 사운드, 모션 등의 특성에서 추출된 부가 정보를 이용하여 다음과 같은 비교 집합을 만들어, 두 동영상의 DNA를 비교할 수 있다.

집합 A' = {(D2,X2), (D3,X3), (D4,X4), (D5,X5)}

집합 B' = {(C2,Y2), (C3,Y3), (C4,Y4), (C5,Y5), (C6,Y6)}

X2,X3,X4,X5,Y2,Y3,Y4,Y5,Y6는 각 원소가 대표하는 샷의 이미지, 사운드, 모셩 등의 속성을 추출한 값

이 두 집합 간에, 각 집합에서 선택한 임의의 두 원소에 포함된 샷 상대 위치값 간의 차의 절대값이 어떤 기준 이하이면, 그 원소가 나타내고 있는 샷 분리 위치에 대응하는 두 샷의 시작점이 일치한다고 판정하고, 다시 두 샷 의 시작점이 일치하는 두 원소의 샷 속성을 비교하여 일치하면 두 샷이 일치한다고 판정하여, 그 갯수가 많고, 샷의 상대 위치값 차의 절대값 누적 합이 적을 수록 두 동영상이 일치할 확률이 높다고 판정한다.

이 경우에도, 두 샷의 시작점 일치 갯수는 오직 각 집합의 원소 하나에 대해 한 개만 발생할 수 있다.

물론, 이러한 동영상 DNA 유사성 비교 방법 외에도 다양한 유사성 비교 방법이 있으나, 통상의 지식을 가진자가 용이하게 실시할 수 있는 공지기술이므로, 이를 따로 기술하지 않는다.

본 발명은 위에서 기술된 것과 같은 방법을 이용하여, 동영상 DNA를 이용한 동영상 유사성 판정 시스템의 형태로도 실시될 수 있다.

동영상 DNA를 이용한 동영상 유사성 판정 시스템은,

디지털 동영상 정보를 입력으로 받아 동영상 DNA를 추출하는 동영상 DNA 추출부와,

동영상 DNA 추출부에서 추출된 동영상 DNA 간의 비교를 통해, 동영상 간의 유사성을 판정하는 동영상 DNA 유사성 판정부를 포함하는 것을 특징으로 하는,

동영상 DNA를 이용한 동영상 유사성 판정 시스템

도3은 상기 동영상 DNA를 이용한 동영상 유사성 판정 시스템을 도식화한 것이다.

상기 동영상 DNA 추출부는, 동영상 디코더와 디코더에서 디코딩된 정보를 이용하여, 샷 분리와 샷의 상대적 위치 계산, 샷의 이미지나 사운드, 모션 등의 속성 정보를 추출하는 연산을 위한 연산용 메모리와 CPU를 포함한다.

상기 동영상 DNA 유사성 판정부는, 벡터형으로 정의된 동영상 DNA의 비교 연산을 위한 프로세서와 연산용 메모리를 포함한다.

만일, 미리 동영상 DNA를 다량 추출하여 데이터베이스를 구축해 놓고 입력되는 동영상의 DNA를 데이터베이스에 들어 있는 동영상 DNA와 비교하여, 입력된 동영상이 데이터베이스에 인덱싱되어 있는 어떤 동영상과 유사한지를 판정할 수도 있다.

본 발명을 실시하면, 대용량 동영상 데이터를 검색하기 위해 요구되는 컴퓨팅 파워를 크게 줄일 수 있으며, 동시에 검색 질의를 처리하는 시간이 크게 개선되 어 검색 품질이 향상되는 장점이 있다.

Claims

디지털 동영상을 샷 단위로 분리하는 샷 분리 처리 단계와,

분리된 샷의 특성을 추출하고 이를 이용하여 동영상 DNA를 구성하는 동영상 DNA 추출 단계와,

추출된 동영상 DNA를 동영상 DB에 저장된 동영상 DNA와의 유사 서열 비교 방법에 의해 비교하는 동영상 DNA 비교 단계를 포함하는 것을 특징으로 하는,

동영상 DNA를 이용한 디지털 동영상 유사도 비교 방법
제1항의 샷 분리 처리 단계는,

연속된 프레임 간의 픽셀 밝기 차의 절대값 합과 후속의 2개 이상의 프레임 간의 픽셀 밝기 차의 절대값 합의 이동평균을 비교하여 샷 분리 위치 프레임을 판정하는 것을 특징으로 하는,

샷 분리 처리 단계
제 1항의 동영상 DNA 추출 단계는,

샷 특성값을 해당 샷 첫 프레임의 최초 샷 분리 프레임 위치로부터의 상대적 거리와 기타 샷 특성 부가 정보로 정의하고, 샷 특성값을 영상 내의 샷 순서에 따 라 연결하여 동영상 DNA를 추출하는 것을 특징으로 하는,

동영상 DNA 추출 단계
제 1항의 동영상 DNA 비교 단계는,

비교 대상이 되는 두 동영상 DNA에서 선택한 임의의 두 샷의 상대 위치값 간의 차의 절대값이 어떤 기준 이하이면, 그 상대 위치값이 나타내고 있는 샷 분리 위치에 대응하는 두 샷의 시작점이 일치한다고 판정하고, 비교 대상 동영상 간의 샷 시작점 일치 갯수가 많고, 샷의 상대 위치값 차의 절대값 합이 작을 수록 두 동영상이 일치할 확률이 높다고 판정하는 것을 특징으로 하는,

동영상 DNA 비교 단계
제 1항의 동영상 DNA 비교 단계는,

비교 대상이 되는 두 동영상 DNA에서 선택한 임의의 두 샷의 상대 위치값 간의 차의 절대값이 어떤 기준 이하이면, 그 상대 위치값이 나타내고 있는 샷 분리 위치에 대응하는 두 샷의 시작점이 일치한다고 판정하고,다시 두 샷의 시작점이 일치하는 두 샷의 샷 속성 부가정보를 비교하여 일치하면 두 샷이 일치한다고 판정하여, 그 갯수가 많고, 샷의 상대 위치값 차의 절대값 누적 합이 적을 수록 두 동영상이 일치할 확률이 높다고 판정하는 것을 특징으로 하는,

동영상 DNA 비교 단계
디지털 동영상 정보를 입력으로 받아 동영상 DNA를 추출하는 동영상 DNA 추출부와,

동영상 DNA 추출부에서 추출된 동영상 DNA 간의 비교를 통해, 동영상 간의 유사성을 판정하는 동영상 DNA 유사성 판정부를 포함하는,

동영상 DNA를 이용한 동영상 유사성 판정 시스템
제 6항의 동영상 DNA 추출부는,

동영상 디코더와 디코더에서 디코딩된 정보를 이용하여, 샷 분리와 샷의 상대적 위치 계산, 샷의 이미지나 사운드, 모션 등의 샷 속성 부가 정보를 추출하는 연산을 위한 연산용 메모리와 CPU를 포함하는,

동영상 DNA 추출부