KR20080111376A

KR20080111376A - 디지털 비디오 특징점 비교 방법 및 이를 이용한 디지털비디오 관리 시스템

Info

Publication number: KR20080111376A
Application number: KR1020070129389A
Authority: KR
Inventors: 윤영석; 유원영; 서용석; 이상광; 서진수; 이승재; 오원근; 서영호
Original assignee: 한국전자통신연구원
Priority date: 2007-06-18
Filing date: 2007-12-12
Publication date: 2008-12-23
Also published as: US20100182401A1; WO2008156296A1; US8477836B2; KR100889936B1

Abstract

본 발명은 디지털 비디오 특징점 비교 방법 및 이를 이용한 디지털 비디오 관리 시스템에 관한 것이다. 즉, 본 발명에서는 디지털 비디오 자체의 값이 아닌 이들을 대표할 수 있는 여러 가지 특징점들을 이용하여 디지털 비디오를 관리한다. 이에 따라 디지털 비디오는 디지털 이미지와 달리 공간적 속성뿐만 아니라 시간적 속성을 지니므로, 이러한 속성 정보들을 이용하여 보다 효율적으로 대용량의 디지털 비디오에 대한 인식, 검색, 모니터링, 추적을 용이하게 수행할 수 있으며, 대용량 디지털 비디오에 대한 관리에 소요되는 시간과 저장 공간 등의 자원 낭비를 최소화할 수 있다.

비디오 검색, 비디오 특징점, 비디오 핑거프린트, 프레임 버퍼

Description

디지털 비디오 특징점 비교 방법 및 이를 이용한 디지털 비디오 관리 시스템{SYSTEM AND METHOD FOR MANAGING DIGITAL VIDEOS USING VIDEO FEATURES}

본 발명은 정보 통신의 정보 보호 분야로 디지털 콘텐츠 관리 및 보호를 위한 방법의 하나인 특징점, DNA(deoxyribonucleic acid) 혹은 디지털 핑거 프린팅(finger printing)과 관련된 디지털 비디오 관리 시스템에 관한 것으로, 이를 통해 특정 비디오 정보의 인식이나 동일한 비디오의 검색, 방영 및 불법 유통되는 비디오를 모니터링 및 추적하는 등의 대용량 디지털 비디오를 효율적으로 관리하기 위한 디지털 비디오 관리 시스템 및 디지털 비디오 특징점 비교 방법에 관한 것이다.

본 발명은 정보통신부 및 정보통신연구진흥원의 IT성장동력기술개발지원사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2007-S-017-01, 과제명 : 사용자 중심의 콘텐츠 보호 유통 기술개발].

근래에 들어, 네트워크의 비약적인 발전으로 다양한 멀티미디어 콘텐츠들을 손쉽게 인터넷 등을 이용하여 저작 및 제작하고, 가공하며, 배포할 수 있게 되었 다. 미디어 획득 및 처리 기술의 비약적인 발달로 소형 캠코더 및 여러 장비를 이용한 직접 제작, 각종 응용 프로그램을 이용한 저작, 이미 제작된 미디어를 이용한 가공, P2P(peer-to-peer), 인터넷 포털 싸이트, 여러 공유 프로그램 그리고 UCC(user creative contents) 등의 업로드를 이용한 배포 등은 일상 생활에서 아주 쉬운 일이 되었다.

따라서 과거의 기술로는 출처 및 정보를 알 수 없었던 부호화된 디지털 미디어의 정보를 알아내는 인식 기술, 다양한 잡음들에 노출되어 아날로그 신호로는 다른 비디오지만 사람이 판별하기에 동일한 디지털 비디오들을 찾아내는 검색 기술, 다양한 매개체를 통해 방영(broadcasting)되는 비디오들 혹은 인터넷과 같은 거대한 네트워크 상에 퍼져있는 비디오들을 추적하고 감시하는 모니터링 기술 등을 포함하고 디지털 비디오들을 효율적으로 관리할 수 있는 디지털 비디오 관리 시스템을 다양한 멀티미디어 서비스에서 필요로 하고 있다.

그러나, 종래 대용량의 디지털 비디오 관리 시스템은 저장된 모든 디지털 비디오와 다양한 크기 및 규격 차이, 잡음 등과 같은 여러 가지 이유로 비디오 자체의 단순한 저장, 검색 및 유지가 불가능한 문제점이 있었다.

위와 같은 디지털 비디오 관리 서비스를 위한 기술로는 국내출원번호 10-2004-76810호 "비디오 파일을 알아내기 위한 시스템 및 방법"에서 비디오 파일을 알아내기 위해서 입력된 비디오는 정지 이미지로 분해하는 방법에 관해 기술하고 있다. 즉, 비디오 검색 관리자가 사용자 혹은 관리자의 요구에 따라 반자동으로 키 이미지를 식별할 수 있으며, 이렇게 얻은 키 이미지로 검색할 비디오 파일들의 콜렉션(집합)을 식별한 후, 이미지 비교 기술을 이용하여 키 이미지의 콘텐츠를 비디오 파일의 콘텐츠와 비교하고 분석하여 동일한 비디오를 찾아내는 것으로, 동일한 비디오 파일을 알아내기 위해 이미지 검색 방법을 기반으로 하여, 데이터 처리량이 여전히 많아 대용량 디지털 비디오 데이터 관리가 효율적으로 이루어지지 못한다.

또한, 선행 논문 Z. Rasheed, Y. Sheikh, and M. Shah, "On the Use of Computable Features for Film Classification," IEEE Transactions on Circuits and Systems for Video Technology, Vol.15, No. 1, pp. 52-64, 2005에서는 영화를 장르별로 분류하기 위하여 여러 가지 계산이 가능한 영상의 단서를 제안하였다. 이 중에서 장면 전환 검출 방법은 색상 공간을 HSV로 전환하고 이들을 각각 8, 4, 4개의 bin을 갖는 히스토그램으로 만든다. 그리고 연속하는 프레임의 히스토그램을 교 집합을 구하고 이방성 확산(anisotropic diffusion) 알고리즘을 적용하여 장면 전환을 검출하며, 검출된 장면 전환을 이용하여 각 영화를 장르별로 구분하게 된다. 그러나 위 영화의 장르를 구분하기 위한 기술에서도 여전히 대용량 디지털 비디오 데이터 관리를 위한 보다 효율적인 방법은 제안되고 있지 않다.

따라서 본 발명은 대용량 디지털 비디오의 관리를 위해 소요되는 시간과 저장 공간 등의 자원 낭비를 최소화하기 위해 안출된 것으로, 디지털 비디오의 특징점 검출을 통해 특정 비디오 정보의 인식이나 동일한 비디오의 검색, 방영 및 불법 유통되는 비디오를 모니터링 및 추적하는 등의 대용량 디지털 비디오를 효율적으로 관리하는 디지털 비디오 관리 시스템 및 디지털 비디오 특징점 비교 방법을 제공함에 있다.

상술한 본 발명은 디지털 비디오 특징점 비교 방법으로서, (a)입력되는 디지털 비디오의 특징점을 추출하는 단계와, (b)상기 추출된 특징점을 이용하여 데이터 베이스내 저장된 다양한 디지털 비디오의 특징점을 검색하여 일정 기준이상의 유사성을 가지는 디지털 비디오 후보군을 선택하는 단계와, (c)상기 입력 디지털 비디오의 특징점과 상기 후보군 디지털 비디오의 특징점간 차이를 비교하여 상기 차이값이 일정 기준 범위내 포함되는 상기 후보군의 디지털 비디오 정보를 결과 값으로 출력시키는 단계를 포함하는 것을 특징으로 한다.

또한 본 발명은 디지털 비디오 관리 시스템으로서, 입력되는 디지털 비디오 의 특징점을 추출하는 비디오 특징점 추출기와, 상기 비디오 특징점 추출기에서 추출된 특징점을 이용하여 데이터 베이스내 저장된 다양한 디지털 비디오의 특징점을 검색하여 일정 기준이상의 유사성을 가지는 디지털 비디오 후보군을 선택하는 비디오 특징점 검색기와, 상기 비디오 특징점 검색기로부터 검색된 후보군 디지털 비디오와 상기 입력 디지털 비디오의 특징점간 차이를 비교하여 상기 차이값이 일정 기준범위내 포함되는 상기 후보군의 디지털 비디오 정보를 결과 값으로 출력시키는 비디오 특징점 비교기를 포함하는 것을 특징으로 한다.

본 발명에서는 디지털 비디오 자체의 값이 아닌 이들을 대표할 수 있는 여러 가지 특징점들을 이용하여 디지털 비디오를 관리한다. 디지털 비디오는 디지털 이미지와 같은 공간적 속성 뿐만 아니라 시간적 속성 정보도 지니므로, 이들을 이용하여 보다 효율적으로 대용량의 디지털 비디오에 대한 인식, 검색, 모니터링, 추적을 용이하게 수행할 수 있다. 또한 대용량 디지털 비디오에 대한 관리에 소요되는 시간과 저장 공간 등의 자원 낭비를 최소화할 수 있는 이점이 있다.

이하, 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

본 발명의 구체적인 핵심 기술요지를 살펴보면, 대용량 디지털 비디오의 효율적인 관리를 위한 데이터 처리에 있어서, 디지털 비디오는 디지털 이미지와 달리 공간적 속성뿐만 아니라 시간적 속성을 지니므로, 이러한 속성 정보들을 이용하여 보다 효율적으로 대용량의 디지털 비디오에 대한 인식, 검색, 모니터링, 추적을 용이하게 하여 대용량 디지털 비디오에 대한 관리에 소요되는 시간과 저장 공간 등의 자원 낭비를 최소화하는 기술을 통해 본 발명에서 이루고자 하는 바를 쉽게 달성할 수 있다.

도 1은 본 발명의 실시 예에 따른 디지털 비디오 관리 시스템(100)의 전체 블록도를 보여준다. 이하, 위 도 1을 참조하여 디지털 비디오 관리 시스템(100)의 동작을 상세히 설명하기로 한다.

먼저, 입력으로 제공되는 디지털 비디오(200)는 다양한 형태와 크기를 갖는다. 다양한 형태는 여러 가지 압축 방식에 의해 부호화된 비디오 파일을 말하며, 다양한 크기는 비디오의 가로 및 세로 크기뿐만 아니라 프레임율(frame rate), 비트율(bit rate) 등을 나타낸다. 각 구성요소를 연결하는 선(700)은 다양한 연결 인터페이스를 의미한다. 디지털 비디오 관리 시스템은 모든 구성요소들이 로컬 시스 템에 존재하거나 각기 다른 시스템에 존재하여 각 구성요소들 간에 로컬 인터페이스 혹은 네트워크로 연결되어 입력과 출력을 제공할 수 있다.

비디오 특징점 추출기(video features extractor)(300)는 입력된 디지털 비디오에서 그 비디오만이 가지고 있는 속성 정보인 특징점들을 추출하게 된다. 비디오 특징점 추출기(300)에서 추출된 특징점은 비디오 특징점 검색기(video features search)(400)와 비디오 특징점 비교기(video features comparator)(500)에 각각 입력으로 전달된다.

비디오 특징점 검색기(400)는 비디오 특징점 추출기(300)에서 추출된 특징점 정보를 사용하여 비디오 특징점 검색기(400)에 저장된 디지털 비디오들의 특징점들과 검색하여 후보로 선택된 후보군들을 비디오 특징점 비교기(500)에 입력으로 제공한다. 비디오 특징점 비교기(500)는 비디오 특징점 추출기(300)와 비디오 특징점 검색기(400)에서 각각 추출된 특징점과 후보군으로 선택된 특징점들을 입력으로 사용하여 최종 결과를 선택하여 디지털 비디오 관리 시스템(100)에 저장되어 있는 비디오 정보(600)를 출력한다.

도 2는 디지털 비디오(200)를 입력으로 받아 추출된 비디오 특징점(304)을 출력하는 비디오 특징점 추출기(300)의 상세 블록 구성을 도시한 것이다. 이하 위 도 2를 참조하여 특징점 추출기(300)의 동작을 상세히 설명하기로 한다.

디지털 비디오(200)는 다양한 코덱(codec)에 의해 압축되어 있다. 따라서, 비디오 특징점 추출기(300)는 비디오 복호기(301)에서 모든 종류의 코덱에 의해 압축된 디지털 비디오(200)를 복호화하여 압축 이전의 RGB 형태의 비디오 프레임을 얻을 수 있다. 하지만, 입력으로 사용되는 디지털 비디오(200)는 다양한 크기를 가질 수 있으므로, 시공간 샘플러(302)는 제어신호로 가로 길이(width), 세로 길이(height), 프레임율(frame rate)을 입력받으며 이 설정에 따라 정규화(normalize)한다. 입력된 디지털 비디오(200)는 복호화되어 정규화된 크기의 프레임들의 집합으로 특징점 추출기(303)에 입력되며 특징점 추출기(303)는 비디오의 속성 정보를 추출하여 비디오 특징점(304)을 출력된다.

도 3은 도 2에서 시공간 샘플러(302)에서의 비디오 복호화된 입력 디지털 비디오의 시공간 샘플링 동작 개념을 도시한 것이다. 이하 위 도 3을 참조하여 시공간 샘플러(302)의 동작을 상세히 설명하기로 한다.

비디오 복호기(301)는 복호화된 프레임들(305)을 출력으로 제공한다. 하지만 이들은 크기 및 프레임율 등이 제각각이므로 디지털 비디오를 크기 및 프레임율마다 저장하는 번거로움을 피하려면 동일한 규격에 맞도록 정규화 해야한다. 먼저 프레임율(frame rate)을 변환하여 초당 제공되는 프레임의 수(F)를 일정하게 한다. 이처럼 시간 샘플링(306)을 하면 처리되어야 할 프레임들의 수가 줄어들게 되어 처리 속도를 향상시킬 수 있다. 다음으로 동일한 크기로 만들기 위해서 프레임을 리사이징(resizing)한다. 이렇게 시공간 샘플링을 통해 생성되는 시공간 샘플링된 프레임들(307)을 처리하면 처리될 프레임의 픽셀 수가 감소하여 처리 속도 향상에 도움을 준다.

도 4는 도 2에서 특징점 추출기(303)의 상세 블록 구성을 도시한 것이다. 이하, 위 도 4를 참조하여 특징점 추출기(303)의 동작을 상세히 설명하기로 한다.

먼저 특징점 추출기(303)는 시공간 샘플러(302)의 출력인 시공간 샘플링된 프레임들(307)의 입력을 받아 비디오 특징점(304)을 출력한다. 도 4에 도시된 것처럼 특징점 추출기(303)는 시간적 특징점 추출기(309), 공간적 특징점 추출기(310), 시공간적 특징점 추출기(308)인 세 종류의 추출기를 포함한다. 디지털 이미지의 경우에는 공간적 특징점 추출기(310)와 유사한 형태로 이미지의 특징점을 추출하지만, 디지털 비디오의 경우에는 추가적으로 시간적인 속성이 포함되므로 시간적 특징점을 추출해야만 디지털 비디오 관리 시스템(100)의 안정적인 성능을 보장할 수 있다.

도 5는 시공간 샘플링된 프레임들(307)을 의미적인 프레임들의 집합인 장면으로 분류할 수 있음을 도시한다. 앞에서 언급한 바와 같이 디지털 비디오의 프레임들은 도 5에서처럼 시간(t) 순서대로 디스플레이된다.

이때 시간적 특징점은 디지털 비디오를 구분하는 중요한 정보가 되며, 이러한 디지털 비디오의 특징은 디지털 비디오를 압축하는 데에도 사용된다. 의미적인 프레임들의 집합인 장면을 구분하기 위해서는 장면 전환을 검출해야 한다. 현재 다양한 장면 전환 검출 방법들이 제안 및 개발되어 있으며, 본 발명에서는 많은 방법들 중 성능이 좋은 방법들을 시간적 특징점 추출기(309)에 포함시키며 이들을 이용하여 장면 전환을 검출한다.

다시 위 도 4에 도시된 특징점 추출기(303) 각 구성요소에서의 동작을 보다 상세히 설명하면, 도 4에서 시간적 특징점 추출기(309)는 시공간 샘플링된 프레임들(307)을 입력받아 디지털 비디오의 장면 길이와 장면 중에서 대표 프레임을 출력 한다. 도 5에서 도시했듯이 장면 길이는 장면 전환 검출 방법으로 장면이 전환되는 프레임을 검출하고, 각 장면 전환 프레임간의 프레임 거리 혹은 시간으로 나타낸다.

이전 시공간 샘플러(302)에서 시간 샘플링을 했으므로 입력된 디지털 비디오의 프레임간 시간 거리는 모두 동일하다. 장면을 대표하는 대표 프레임은 장면 전환을 검출하고 일정 시간이 지난 후 추출한다. 이렇게 하는 이유는 장면 전환은 급격한(abrupt) 장면 전환과 연속적인(consecutive, successive) 장면 전환들로 나눌 수 있는데, 후자의 경우에는 장면 전환 프레임을 대표 프레임으로 선택하면 페이드(fade), 오버랩(overlap) 등의 효과로 인해 장면을 대표하는 대표성을 잃게 된다. 따라서 일정 프레임이 지난 후에 대표 프레임을 선택하게 된다. 물론, 대표 프레임 선택을 위한 지연 길이는 최소 장면 길이보다 작은 거리를 선택하게 된다. 시간적 특징점 추출기(309)는 사용여부, 대표 프레임 선택을 위한 지연 길이 혹은 시간, 장면 전환 검출 방법 결정 등을 제어신호로 입력받는다.

도 4에서 공간적 특징점 추출기(310)는 시간적 특징점 추출기(309)에서 출력된 디지털 비디오의 장면 길이와 장면의 대표 프레임 혹은 시공간 샘플링된 프레임들을 입력으로 사용하여 비디오의 공간적 속성을 출력한다. 전자는 시간적 특징점 추출기(307)를 사용하여 각 장면마다 선택된 대표 프레임을 제공하므로 공간적 특징점 추출기(310)에서의 복잡도를 줄이며 정보의 중복성을 제거하여 효율적인 특징점 추출을 돕는다.

그러나, 대표 프레임은 장면에서 하나의 공간적 특징점을 추출하기 위해서 선택되므로 잘못된 대표 프레임의 선택은 해당 장면의 공간적 특징점의 신뢰성을 저하시킬 수 있다. 따라서 후자처럼 시스템의 응용에 따라 시간적 특징점 추출기(309)를 이용하지 않고 시공간 샘플링된 프레임들(307)을 입력받아 공간적 특징점을 추출할 수도 있다. 이 경우에는 공간적 특징점을 시공간 샘플링된 프레임들(307)에서 추출하므로 전자에 비해 추출되는 정보량이 훨씬 많아 복잡도가 증가하지만 정확성을 향상시킬 수 있다.

도 6은 위 도 4에서 도시된 공간적 특징점 추출기(310)의 상세 블록 구성을 도시한 것이다. 이하, 위 도 6을 참조하여 공간적 특징점 추출기(310)의 동작을 상세히 설명하기로 한다.

시간적 특징점 추출기(309)의 출력을 입력으로 사용하여 비디오 특징점을 출력한다. 시간적 특징점 추출기(309)를 적용할 때는 공간적 특징점 추출기(310)의 입력은 디지털 비디오의 장면 길이와 장면의 대표 프레임이 된다. 장면 길이는 비디오 특징점(304)으로 바로 출력하고 장면의 대표 프레임들만 공간적 특징점 추출기(310)에 입력한다. 시간적 특징점 추출기(309)를 적용하지 않을 때는 공간적 특징점 추출기(310)의 입력은 디지털 비디오의 시공간 샘플링된 프레임들(307)이 된다.

따라서, 앞의 시간적 특징점 추출기(309)를 사용하거나 사용하지 않거나 공간적 특징점 추출기(310)의 입력은 처리된 프레임들이 된다. 도 6에서 도시하듯이 공간적 특징점 추출기(310)는 블록 분할기(311), 우세 색상(dominant color) 검출기(312), 에지 영상 검출기(313)로 구성된다. 또한 공간적 특징점 추출기(310)의 제어신호는 세 구성품(310, 311, 312)들의 제어신호들이 된다.

블록 분할기(311)는 처리된 프레임들과 제어신호를 입력받아 처리된 프레임들을 블록으로 각각 분할한다. 여기서, 제어신호로는 블록의 수, 각 블록의 시작위치, 가로 및 세로 길이 등을 입력받을 수 있으며 설정된 블록은 프레임을 벗어날 수 없다. 분할된 블록들은 우세 색상 검출기(312)와 에지 영상 검출기(313)에 각각 인도된다.

우세 색상 검출기(312)는 해당 블록의 칼라의 구성 여부를 나타낸다. 이미 많은 우세 색상 검색 방법이 개발되어 있으므로 우수한 방법들을 검출기에 구현하여 지니고 있고, 응용에 따라 적절히 선택하여 이용하면 된다. 우세 색상 검출기(312)는 사용여부, 검출할 우세 색상의 수, 우세 색상 검출 방법의 선택 등을 제어신호로 받는다.

에지 영상 검출기(313)는 해당 블록의 객체들의 형태 정보를 제공한다. 이전에 많은 에지 검출 알고리듬들이 발명되었으므로, 우세 색상 검출기(312)처럼 좋은 성능을 제공하는 방법들을 응용에 따라 적절히 선택하여 사용한다. 에지(edge) 영상 검출기(313)는 검출된 에지 영상을 그대로 사용할 수도 있지만, 검출된 에지 블록 영상을 가로 방향과 세로 방향으로 사영(projection)을 하는 방법, 에지들의 패턴에 따른 히스토그램을 구하는 방법, 에지의 강도와 방향에 따른 가중치 합 등을 이용하는 방법 등으로 디지털 비디오 검색기(500)와 디지털 비디오 비교기(600)에 처리의 용이성을 제공할 수 있다. 에지 영상 검출기(313)는 제어신호로 사용여부, 에지 영상 검출 방법 등을 입력받는다.

도 7은 위 도 4에 도시된 시공간 특징점 추출기(308)의 상세 블록 구성을 도시한 것이다. 이하, 도 7을 참조하여 시공간 특징점 추출기(308)의 동작을 상세히 설명하기로 한다.

시공간 특징점 추출기(308)는 프레임 버퍼기(314), 큐빅 생성기(315), 3D-DCT 변환기(316), 선형 및 비선형 변환기(317)로 구성된다. 시공간 특징점 추출기(308)는 프레임의 가로 길이, 세로 길이, 시간에 대응되는 세 가지 요소를 3D-DCT 변환하므로, 추가적인 시간 정보를 처리할 필요가 없다.

도 8은 프레임 버퍼기(314)의 실시 예를 도시한다. 시공간 샘플링된 프레임들(307)이 입력되면 프레임 버퍼기(314)의 버퍼 크기만큼 프레임들을 입력받고 이를 큐빅 생성기(315)에게 제공하고, 버퍼 이동 거리만큼 이동하게 된다. 프레임 버퍼기(314)의 제어신호로 버퍼 이동 거리와 버퍼 크기가 사용되며, 버퍼 이동 거리는 버퍼 크기를 넘을 수 없다. 일반적으로 버퍼 이동 거리가 짧으면 시공간 특징점 추출기(308)의 처리 속도가 저하되지만 요구하는 저장 공간이 줄어들어 디지털 비디오 관리 시스템(100)의 성능이 향상되며, 반대로 길면 시공간 특징점 추출기(308)의 처리 속도는 향상되지만 요구되는 저장 공간이 늘어나 관리 시스템(100)의 성능은 저하된다. 통상적으로 버퍼 이동 거리는 버퍼 크기의 반 정도를 사용하며, 디지털 비디오 관리 시스템(100)의 응용 분야에 따라 조정이 가능하다.

도 9는 큐빅 생성기(315)의 실시 예를 도시한다. 프레임 버퍼기(314)에서 버퍼 크기만큼 시공간 샘플링된 프레임들(307)을 입력받은 다음 큐빅의 가로 개수와 세로 개수로 각각 분할한다. 앞에서 블록 분할기(311)와 비슷한 역할을 하지만 큐 빅 생성기(315)는 3D 기반으로 처리된다. 큐빅 생성기(315)의 제어신호는 큐빅의 가로 개수와 세로 개수가 된다. 도 9에 도시된 큐빅의 구조처럼 생성되는 큐빅의 가로 길이는 프레임의 가로 길이를 큐빅의 가로 개수로 나눈 결과, 세로 길이는 프레임의 세로 길이를 큐빅의 세로 개수로 나눈 결과, 높이는 프레임 버퍼기(314)의 버퍼 크기로 각각 된다.

큐빅 생성기(315)에서 생성된 큐빅들은 3D-DCT(discrete cosine transform, 이하 "DCT"라 함) 변환기(316)에 입력된다. DCT는 다른 변환 방법보다 에너지 응집 능력이 뛰어난 특징 때문에, 많은 비디오 압축 방법에서 2D-DCT를 사용하고 있으며, 이러한 사실을 확장하여 본 발명에서 3D-DCT를 사용하게 되었다. 3D-DCT는 비디오 압축 방법의 하나인 XYZ 코덱에서도 채택하여 사용하고 있다. 3D-DCT 변환기를 거치면 큐빅은 주파수 성분으로 변형되어 출력되며 이 결과를 변환된 큐빅(X)이라고 한다.

선형 및 비선형 변환기(317)는 큐빅 생성기(315)의 결과인 변환된 큐빅(X)을 가공하게 된다. 선형 및 비선형 변환기(317)는 각종 선형 및 비선형 변환 방법을 가지고 있으며, 변환 방법 선택 신호를 제어신호로 받아들인다. 예를 들어 제어신호가 일차원 선형 변환을 선택했다면, 변환된 큐빅(X)은 비디오 특징점으로 aX+b의 결과를 제공할 것이다. 선형 및 비선형 변환기는 디지털 비디오 관리 시스템의 응용에 따라 다양한 선택이 가능하다.

본 발명에서 디지털 비디오 관리 시스템(100)에서 사용하기 위해 비디오 특징점 추출기(300)에서 추출된 비디오 특징점(304)은 다음과 같다. 시간적 특징점 추출기(309)와 공간적 특징점 추출기(310)를 통해 얻는 비디오 특징점들은 이들(309, 310)을 모두 사용했을 경우, 입력된 디지털 비디오(101)의 장면 길이, 장면 대표 프레임의 블록의 우세 색상 정보와 블록의 에지 정보가 된다. 시공간 특징점 추출기(308)를 이용하면 선형 및 비선형 변환된 큐빅들이 된다.

도 1에서 비디오 특징점 검색기(400)는 비디오 특징점 추출기(300)에서 추출된 비디오 특징점(304)을 저장, 관리하며 검색하는 기능을 한다. 비디오 특징점 검색기(400)는 입력된 디지털 비디오(200)에서 추출된 비디오 특징점(304)을 입력받아 검색하고 비디오 특징점(304)과 유사한 결과들을 후보 군으로 출력한다. 비디오 특징점 검색기(400)는 상용적으로 사용되는 각종 DBMS를 사용할 수 있으며, 다양한 검색 알고리듬을 적용하여 적합한 특징점 검색기를 설계하여 적용할 수 있다. 또한, 검색 능력 향상을 위해 메인 메모리(main memory) DBMS(database management system)와 같은 특화된 시스템을 사용할 수 있으며, 메모리 및 다양한 주변기기의 속도 향상 및 가격 하락으로 고성능 하드 디스크, SSD(solid state disk), RAM 디스크 및 메인 메모리에 직접 비디오 특징점 검색기(400)를 설치할 수 있다.

도 10은 위 도 1에 도시된 비디오 특징점 비교기(500)의 상세 블록 구성을 도시한 것이다.

이하 위 도 10을 참조하여 비디오 특징점 비교기(500)의 동작을 다시 살펴보면, 비디오 특징점 비교기(500)는 비디오 특징점 추출기(300)에서 추출된 비디오 특징점(304)과 비디오 특징점 검색기(400)에서 검색된 비디오 특징점(304)의 후보군을 입력으로 받는다.

비디오 특징점 비교기(500)는 거리 측정기(501)와 후보 검증기(502)로 구성된다. 거리 측정기(501)는 비디오 특징점 추출기(300)에서 제공된 비디오 특징점(304)과 이를 비디오 특징점 검색기(400)에서 검색한 후보군들을 입력으로 받아들여 이들간의 거리를 측정한다. 거리로 사용하는 측정(measure) 방법은 기본적으로 유클리디언 거리(Euclidean distance)중 절대값 거리의 합(sum of absolute distance) 혹은 제곱 거리의 합(sum of squared distance)를 이용하며, 선택된 비디오 특징점에 따라 Hausdorff 거리 등과 같은 더 적합한 측정 방법을 채택하여 사용할 수 있다.

후보 검증기(502)는 거리 측정기(501)에서 구해진 비디오 특징점(304)과 후보군간의 거리들을 입력으로 받아 동일한 비디오로 인식한 비디오 정보(600)를 출력한다. 이때 위 후보 검증기(502)는 디지털 비디오 관리 시스템의 요구 사항과 제공해야할 성능에 따라 여러 차례 실험을 반복한 후 적절한 최대 허용 거리를 결정한다. 즉, 후보 검증기(502)에서는 동일 비디오를 검색결과로 제공할 것인지 또는 유사한 특징점을 가진 다수의 비디오를 검색 결과로 제공할 것인지에 따라, 상기 특징점들간 거리를 적절히 설정하게 되는데, 예를 들어 비디오 특징점 검색기(400)내 데이터 베이스에 저장된 다수의 디지털 비디오 특징점중 입력 비디오와 유사한 특징점을 가지는 비디오를 검색하고자 하는 경우 상기 거리 차이값을 유사한 특징점 정보가 나타나는 비디오들이 검색될 수 있도록 적절히 설정한 후, 상기 거리 차이값이 일정 기준 범위내 포함되는 디지털 비디오를 상기 입력 비디오와 유사성을 가지는 후보군의 디지털 비디오 결과 값으로 출력하게 되는 것이다.

상기한 바와 같이 본 발명에서는 디지털 비디오 자체의 값이 아닌 이들을 대표할 수 있는 여러 가지 특징점들을 이용하여 디지털 비디오를 관리한다. 이에 따라 디지털 비디오는 디지털 이미지와 달리 공간적 속성뿐만 아니라 시간적 속성을 지니므로, 이러한 속성 정보들을 이용하여 보다 효율적으로 대용량의 디지털 비디오에 대한 인식, 검색, 모니터링, 추적을 용이하게 수행할 수 있음으로써, 대용량 디지털 비디오에 대한 관리에 소요되는 시간과 저장 공간 등의 자원 낭비를 최소화할 수 있다.

한편 상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있다. 따라서 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.

도 1은 본 발명의 실시 예에 따른 디지털 비디오 관리 시스템의 블록 구성도,

도 2는 본 발명의 실시 예에 따른 비디오 특징점 추출기의 상세 블록 구성도,

도 3은 상기 도 2의 시공간 샘플러에서의 동작 예시도,

도 4는 본 발명의 실시 예에 따른 특징점 추출기의 상세 블록 구성도,

도 5는 시공간 샘플링된 프레임에서 시간과 장면간의 관계 예시도,

도 6은 본 발명의 실시 예에 따른 공간적 특징점 추출기의 상세 블록 구성도,

도 7은 본 발명의 실시 예에 따른 시공간 특징점 추출기의 상세 블록 구성도,

도 8은 상기 도 7의 프레임 버퍼기에서 동작 예시도,

도 9은 상기 도 7의 큐빅 생성기에서의 동작 및 큐빅의 구조 예시도,

도 10은 본 발명의 실시 예에 따른 비디오 특징점 비교기의 상세 블록 구성도.

<도면의 주요 부호에 대한 간략한 설명>

300 : 비디오 특징점 추출기 400 : 비디오 특징점 검색기

500 : 비디오 특징점 비교기 301 : 비디오 복호기

302 : 시공간 샘플러 303 : 특징점 추출기

308 : 시공간적 특징점 추출기 309 : 시간적 특징점 추출기

310 : 공간적 특징점 추출기 311 : 블록 분할기

312 : 우세 색상 검출기 313 : 에지 영상 검출기

314 : 프레임 버퍼기 315 : 큐빅 생성기

316 : 3D-DCT 변환기 317 : 선형 및 비선형 변환기

501 : 거리 측정기 502 : 후보 검증기

Claims

디지털 비디오 특징점 비교 방법으로서,

(a)입력되는 디지털 비디오의 비디오 프레임을 정규화하여 특징점을 추출하는 단계와,

(b)상기 추출된 특징점을 이용하여 데이터 베이스내 저장된 다양한 디지털 비디오의 특징점을 검색하여 일정 기준이상의 유사성을 가지는 디지털 비디오 후보군을 선택하는 단계와,

(c)상기 입력 디지털 비디오의 특징점과 상기 후보군 디지털 비디오의 특징점간 차이를 비교하여 상기 차이값이 일정 기준 범위내 포함되는 상기 후보군의 디지털 비디오 정보를 결과 값으로 출력시키는 단계

를 포함하는 디지털 비디오 특징점 비교방법.
제 1 항에 있어서,

상기 (a)단계는,

(a1)상기 입력 디지털 비디오를 복호화하여 압축 이전의 RGB 형태 비디오 프레임으로 생성시키는 단계와,

(a2)상기 비디오 프레임을 미리 설정된 동일규격으로 정규화시키는 단계와,

(a3)상기 정규화된 크기의 프레임으로부터 비디오의 시/공간적 속성 정보를 추출하여 비디오 특징점을 추출하는 단계

를 포함하는 것을 특징으로 하는 디지털 비디오 특징점 비교방법.
제 2 항에 있어서,

상기 (a2)단계에서, 상기 정규화는,

상기 비디오 프레임의 가로 길이, 세로 길이, 프레임율을 일정한 기준 값으로 리사이징(resizing)하는 것임을 특징으로 하는 디지털 비디오 특징점 비교방법.
제 2 항에 있어서,

상기 (a3)단계에서, 상기 비디오의 시/공간적 속성 정보의 추출은,

선택에 따라 상기 비디오의 시간적 속성정보와 공간적 속성정보를 분리 처리하여 각각 추출하거나 또는 시간적, 공간적 속성을 함께 처리하여 동시에 추출하는 것을 특징으로 하는 디지털 비디오 특징점 비교방법.
제 4 항에 있어서,

상기 비디오의 시간적 속성 정보의 분리 추출은,

(a31)상기 정규화된 프레임에서 장면 길이와 각 장면의 대표 프레임을 검출 하는 단계와,

(a32)상기 검출된 장면 길이와 장면의 대표 프레임을 이용하여 대표 프레임간 지연 길이 또는 시간 정보와 장면 전환 정보를 추출하는 단계

를 포함하는 것을 특징으로 하는 디지털 비디오 특징점 비교방법.
제 4 항에 있어서,

상기 비디오의 공간적 속성정보의 분리 추출은,

(a31')상기 정규화된 프레임들을 일정 크기의 블록으로 각각 분할하는 단계와,

(a32')상기 분할된 각 블록에서 우세 색상 정보를 검출하는 단계와,

(a33')상기 분할된 각 블록의 에지 영상으로부터 에지 정보를 검출하는 단계

를 포함하는 것을 특징으로 하는 디지털 비디오 특징점 비교방법.
제 6 항에 있어서,

상기 (a33')단계에서 상기 에지 정보는,

상기 에지 영상을 가로 방향과 세로 방향으로 사영(projection)하거나 또는 상기 에지 영상의 패턴에 따른 히스토그램을 산출하여 얻는 것을 특징으로 하는 디지털 비디오 특징점 비교방법.
제 6 항에 있어서,

상기 (a33')단계에서 상기 에지 정보는,

상기 에지 영상의 강도와 방향에 따른 가중치 합을 산출하여 얻는 것을 특징으로 하는 디지털 비디오 특징점 비교방법.
제 4 항에 있어서,

상기 비디오의 시/공간적 속성정보의 추출은,

(a31")상기 정규화된 프레임들을 프레임 버퍼의 크기만큼 입력하는 단계와,

(a32")상기 프레임 버퍼 크기만큼 입력된 정규화된 프레임들을 3D 기반의 일정 가로 세로 길이의 큐빅으로 분할하는 단계와,

(a33")상기 분할된 큐빅들을 3D-DCT 변환시키는 단계와,

(a34")상기 변환된 큐빅을 선형 또는 비선형 변환하여 시/공간적 속성 정보를 추출하는 단계

를 포함하는 것을 특징으로 하는 디지털 비디오 특징점 비교방법.
제 9 항에 있어서,

상기 (a31")단계에서, 상기 프레임 버퍼는,

상기 버퍼 크기의 입력된 정규화된 프레임들을 처리한 후, 상기 입력된 프레임열의 시작 위치로부터 일정 거리 이동하여 다음 버퍼 크기의 프레임들을 처리하는 것을 특징으로 하는 디지털 비디오 특징점 비교방법.
제 1 항에 있어서,

상기 (c)단계에서, 상기 차이는,

상기 입력 디지털 비디오의 특징점과 상기 후보군 디지털 비디오 특징점간 유클리디언 거리의 차이임을 특징으로 하는 디지털 비디오 특징점 비교방법.
디지털 비디오 관리 시스템으로서,

입력되는 디지털 비디오의 비디오 프레임을 정규화하여 특징점을 추출하는 비디오 특징점 추출기와,

상기 비디오 특징점 추출기에서 추출된 특징점을 이용하여 데이터 베이스내 저장된 다양한 디지털 비디오의 특징점을 검색하여 일정 기준이상의 유사성을 가지는 디지털 비디오 후보군을 선택하는 비디오 특징점 검색기와,

상기 비디오 특징점 검색기로부터 검색된 후보군 디지털 비디오와 상기 입력 디지털 비디오의 특징점간 차이를 비교하여 상기 차이값이 일정 기준범위내 포함되 는 상기 후보군의 디지털 비디오 정보를 결과 값으로 출력시키는 비디오 특징점 비교기

를 포함하는 디지털 비디오 관리 시스템.
제 12 항에 있어서,

상기 비디오 특징점 추출기는, 상기 입력 디지털 비디오를 복호화하여 압축 이전의 RGB 형태 비디오 프레임으로 생성시키는 비디오 복호기와,

상기 복호화된 비디오 프레임을 미리 설정된 동일규격으로 정규화시키는 시공간 샘플러와,

상기 정규화된 크기의 프레임으로부터 상기 입력 비디오의 시/공간적 속성 정보를 추출하여 비디오 특징점을 추출하는 특징점 추출기

를 포함하는 것을 특징으로 하는 디지털 비디오 관리 시스템.
제 13 항에 있어서,

상기 특징점 추출기는,

상기 정규화된 프레임에서 시간적 특징점을 추출하는 시간적 특징점 추출기와,

상기 정규화된 프레임에서 공간적 특징점을 추출하는 공간적 특징점 추출기 와,

상기 정규화된 프레임에서 시/공간적 특징점을 동시에 추출하는 시/공간적 특징점 추출기

를 포함하는 것을 특징으로 하는 디지털 비디오 관리 시스템.
제 14 항에 있어서,

상기 시간적 특징점 추출기는,

상기 정규화된 프레임에서 장면 길이와 각 장면의 대표 프레임을 검출하고, 상기 검출된 장면 길이와 장면의 대표 프레임을 이용하여 대표 프레임의 지연 길이 또는 시간 정보와 장면 전환 정보를 추출하는 것을 특징으로 하는 디지털 비디오 관리 시스템.
제 14 항에 있어서,

상기 공간적 특징점 추출기는,

상기 정규화된 프레임들을 일정 크기의 블록으로 각각 분할하는 블록 분할기와,

상기 블록 분할기에서 분할된 각 블록에서 우세 색상 정보를 검출하는 우세 색상 검출기와,

상기 블록 분할기에서 분할된 각 블록의 에지 영상으로부터 에지 정보를 검출하는 에지 영상 검출기를

포함하는 것을 특징으로 하는 디지털 비디오 관리 시스템.
제 16 항에 있어서,

상기 에지 영상 검출기는,

상기 각 블록의 에지 영상을 가로 방향과 세로 방향으로 사영하는 것을 통해 상기 에지 정보를 얻는 것을 특징으로 하는 디지털 비디오 관리 시스템.
제 16 항에 있어서,

상기 에지 영상 검출기는,

상기 각 블록의 에지 영상 패턴에 따른 히스토그램 산출 또는 에지 영상의 강도와 방향에 따른 가중치 합을 산출하여 얻는 것을 특징으로 하는 디지털 비디오 관리 시스템.
제 14 항에 있어서,

상기 시/공간적 특징점 추출기는,

상기 정규화된 프레임들을 프레임 버퍼의 크기만큼 입력하는 프레임 버퍼기와,

상기 프레임 버퍼 크기만큼 입력된 프레임들을 3D 기반의 일정 가로, 세로 길이의 큐빅으로 분할하는 규빅 생성기와,

상기 분할된 큐빅들을 3D-DCT 변환시키는 3D-DCT 변환기와,

상기 3D-DCT 변환된 큐빅을 선형 또는 비선형 변환하여 출력시키는 선형 및 비선형 변환기

를 포함하는 것을 특징으로 하는 디지털 비디오 관리 시스템.
제 12 항에 있어서,

상기 비디오 특징점 비교기는,

상기 비디오 특징점 추출기에서 추출된 입력 디지털 비디오 특징점과 상기 비디오 특징점 검색기에서 검색된 후보군 디지털 비디오의 특징점간 거리를 측정하는 거리 측정기와,

상기 거리 측정기로부터 측정된 특징점간 거리 차이값이 일정 기준 범위내 포함되는 상기 후보군내 디지털 비디오 정보를 결과 값으로 출력시키는 후보 검증기

를 포함하는 것을 특징으로 하는 디지털 비디오 관리 시스템.