KR20090125527A - 동영상 처리 방법 및 그 장치 - Google Patents

Abstract

동영상 처리 방법 및 그 장치가 개시된다. 이에 따르면, 동영상의 프레임을 분할하여 형성되는 복수 개의 서브 프레임 각각에 대하여 색상 분포 벡터를 계산하는 단계; 상기 색상 분포 벡터를 이용하여 상기 프레임의 색상 분포 벡터의 1차 차분을 계산하는 단계; 상기 색상 분포 벡터의 1차 차분을 이용하여 상기 프레임의 색상 분포 벡터의 2차 차분을 계산하는 단계; 및 상기 색상 분포 벡터, 색상 분포 벡터의 1차 차분 및 색상 분포 벡터의 2차 차분에 기초하여 상기 프레임의 특징 벡터(프레임 특징 벡터)를 생성하는 단계를 포함하는 동영상 처리 방법이 개시된다. 이에 의하면, 동영상의 프레임 내에 존재하는 특징들을 추출함으로써, 동영상들간의 동일성 판정을 위해 유용하게 사용될 수 있는 수단을 제공할 수 있다.

동영상, 특징 벡터, 핑거 프린트, 클러스터링

Description

동영상 처리 방법 및 그 장치 {method of processing moving picture and apparatus thereof}

본 발명은 동영상 처리 방법 및 그 장치에 관한 것이다.

인터넷 기술의 발전과 디지털 카메라를 포함하는 동영상 촬영 장비의 대중화에 기인하여, UCC(user created contents)는 더 이상 낯선 용어가 아니다. 지속적인 스토리지 가격의 하락과 지속적인 광대역 통신망의 보급은, 보다 많은 사람들이 정지된 이미지 형태가 아닌 동영상의 형태로 정보를 공유하게 한다. 더욱이 유튜브(http://www.youtube.com)와 같은 서비스의 등장은 동영상이 보다 쉽게 공유될 수 있는 환경을 제공한다.

그러나, 인터넷 상에서 공유되는 동영상 수의 기하급수적인 증가에도 불구하고, 동영상 검색을 위한 기술의 발전 속도는 상대적으로 느리다. 일반적으로 동영상 검색 결과는 사용자가 입력한 키워드에 관련이 있는 (예를 들어, 동영상의 제목에 그 키워드를 포함하는) 동영상을 나열하는 형태로 제공한다.

이 경우, 검색 결과의 상위 순위에서 동일한 동영상이 반복되어 리스팅 되 는 결과가 빈번히 발생하므로, 동영상들 간의 동일성 내지 유사성 판단을 통해 검색 결과를 개선하기 위한 동영상 처리 방법이 요구된다. 또한, 동영상의 동일성 및 유사성 판단은 동영상 컨텐츠의 불법적인 유통으로 인한 저작권의 침해를 감지하는 용도로도 사용될 수 있다.

그러나, 동영상의 동일성 내지 유사성 판단에 있어서, 동영상을 바이너리 상태로 직접 비교하는 것은 과도한 연산 능력을 필요로 하므로, 동영상 내부의 정보를 대표하면서도 상대적으로 작은 크기를 가지는 비교 기준(비교 데이터)을 제공하는 것이 요구된다.

또한, 상대적으로 작은 크기의 비교 기준을 이용하더라도 대용량의 동영상을 비교하는 것은 시간을 소모하는 작업이므로, 동영상 비교 과정을 보다 효율적으로 진행할 수 있는 방법의 개발이 요구된다.

또한, 검색 사이트에서 제공되는 동영상 검색 결과에서 동일 내지 극히 유사한 동영상들이 비효율적으로 나열되는 문제에 대한 해결책의 하나로서, 다수의 동영상들을 그 동일성(내지 유사성)을 기준으로 클러스터링 하는 방법의 개발이 요구된다.

본 발명의 일 측면은 동영상 비교 과정 및 그 비교 결과 제공의 효율성을 개선하기 위한 동영상 처리 방법 및 장치를 제공하는 것이다.

본 발명의 일 측면은 동영상들간의 동일성 및 유사성 판단 기준으로서 사용될 수 있는 비교 기준으로서 동영상의 특징 벡터(프레임 특징 벡터)를 생성하는 방법 및 장치를 제공하는 것이다.

본 발명의 일 측면은 동영상의 특징 벡터를 이용하여 두 동영상 간의 동일 구간을 검출하고 그 동일 구간에 관한 시간 정보를 획득하는 방법 및 장치를 제공하는 것이다.

본 발명의 일 측면은 복수 개의 동영상 중에서 동일성이 확인된(즉, 동일 구간을 공유하는) 동영상들을 하나의 그룹으로 묶는 방법 및 장치를 제공하는 것이다.

본 발명의 일 측면에 따르면, 동영상의 프레임을 분할하여 형성되는 복수 개의 서브 프레임 각각에 대하여 색상 분포 벡터를 계산하는 단계; 색상 분포 벡터를 이용하여 프레임의 색상 분포 벡터의 1차 차분을 계산하는 단계; 색상 분포 벡터의 1차 차분을 이용하여 프레임의 색상 분포 벡터의 2차 차분을 계산하는 단계; 및 색상 분포 벡터, 색상 분포 벡터의 1차 차분 및 색상 분포 벡터의 2차 차분에 기초하여 프레임의 특징 벡터를 생성하는 단계를 포함하는 동영상 처리 방법이 제공된다.

동영상이 프레임에 대하여 특징 벡터를 생성하는 단계는 프레임의 색상 분포 벡터, 색상 분포 벡터의 1차 차분 및 색상 분포 벡터의 2차 차분의 성분들로부터 복수 개의 성분들을, 특징 벡터의 성분들로서, 선택하는 단계를 포함할 수 있다.

색상 분포 벡터 계산 단계는 서브 프레임에 속하는 화소 들에 관한 색 벡터들을 평균함으로써, 서브 프레임의 평균 색 벡터를 계산하는 단계를 포함할 수 있다.

이 경우, 색상 분포 벡터 계산 단계는 서브 프레임의 평균 색 벡터를 정규화하는 단계를 포함할 수 있으며, 정규화 단계는, 동영상에서 서브 프레임과 동일한 표시 영역에 대응하고 서브 프레임을 포함하는 시간 구간에 속하는, 복수 개의 서브 프레임에 관한 평균 색 벡터들의 최소 벡터 및 평균 벡터 중 적어도 하나를 이용할 수 있다.

본 발명의 다른 측면에 따르면, 제1 동영상 및 제2 동영상 각각에 대하여 특징 벡터 생성하는 단계; 및 제1 동영상의 특징 벡터와 제2 동영상의 특징 벡터를 비교하여, 제1 동영상 및 제2 동영상 사이의 동일 구간을 검출하는 단계를 포함하는 방법이 제공된다.

동일 구간 검출 단계는 제1 동영상에 포함되는 제1 동영상 세그먼트에 속하는 p 개의 프레임의 특징 벡터와, 제2 동영상에 포함되는 제2 동영상 세그먼트에 속하며, 제1 동영상 세그먼트 내에서 p 개의 프레임의 배치와 상응하는 배치를 가지는, p 개의 프레임의 특징 벡터를 각각 비교함으로써, 제1 동영상 세그먼트 및 제2 동영상 세그먼트 사이의 동일성 평가 값을 생성하는 동영상 세그먼트 비교 단계를 포함할 수 있다.

이 경우, 동일성 평가 값은 제1 동영상 세그먼트의 특징 벡터와 그에 상응하 는 제2 동영상 세그먼트의 특징 벡터 사이에서 계산되는 p 개의 거리 값의 합에 기초하여 생성될 수 있다. (제1 및 제2 동영상 세그먼트는 동일한 길이 Δt를 가질 수 있다. )

동영상 세그먼트 비교 단계는 0 과 같거나 크고 제1 동영상의 길이보다 작은 제1 동영상 세그먼트 시작 시각 t1 (제1 동영상의 시작점에서 t1 이후의 시점) 및 0 과 같거나 크고 제2 동영상의 길이보다 작은 제2 동영상 세그먼트 시작 시각 t2 (제1 동영상의 시작점에서 t2 이후의 시점)에 대하여 반복되어 수행될 수 있다.

이 경우, 동일 구간 검출 단계는 동일성 평가 값이 제1 동영상 세그먼트와 제2 동영상 세그먼트 사이에 동일성이 있음을 나타내는 경우에, 제1 동영상 세그먼트 및 제2 동영상 세그먼트들에서 p 개의 프레임에 의한 초당 프레임 수 보다 큰 초당 프레임 수를 적용하여, 제1 동영상의 특징 벡터와 제2 동영상의 특징 벡터를 비교함으로써, 제1 동영상 및 제2 동영상 각각에서 동일 구간의 시작 시각 및 종료 시각을 검출하는 동일 구간 시종점 검출 단계를 더 포함할 수 있다.

한편, 동영상 세그먼트 비교 단계는, 제1 동영상 세그먼트의 시작 시각을 제1 동영상의 시작점으로 설정하고(t1=0), 제2 동영상 세그먼트의 시작 시각을 나타내는 t2를 제2 동영상의 시작점(t2=0)으로부터 증가시키면서 수행될 수 있으며, 이 경우, 동일 구간 시종점 검출 단계는 동일성 평가 값이 제1 동영상 세그먼트와 제2 동영상 세그먼트 사이에 동일성이 있음을 의미하도록 하는, 제2 동영상 세그먼트의 시작 시각 tg 에 대하여, 제2 동영상의 시작점으로부터 tg 이후에 위치하는 프레임의 특징 벡터 만을 제1 동영상의 특징 벡터와의 비교 대상으로 할 수 있다.

한편, 동영상 세그먼트 비교 단계의 반복 수행 과정에서 제1 동영상 세그먼트 시작 시각 t1 또는 제2 동영상 세그먼트 시작 시각 t2 의 변화량은, 동일성 평가 값이, 제1 동영상 세그먼트와 제2 동영상 세그먼트 사이의 동일성이 있음을 나타내는 기준 값을 만족시키지 못한 경우, 기준 값과 동일성 평가 값 사이의 차이에 비례할 수 있다.

본 발명의 다른 측면에 의하면, 복수 개의 동영상을 포함하는 동영상 집합에 속하는, 제1 동영상 및 제2 동영상에 관하여, 특징 벡터를 생성하는 단계; 제1 동영상의 특징 벡터와 제2 동영상의 특징 벡터를 비교함으로써 두 동영상 사이의 동일 구간을 검출하는 단계; 동일 구간 검출단계에서, 제1 동영상 및 제2 동영상 사이의 동일 구간이 검출되는 경우, 제1 동영상 및 제2 동영상이 동일한 클러스터 식별자를 갖도록 하는 클러스터 식별자 일치 과정을 수행하고, 클러스터 식별자 일치 과정에서 어느 하나의 동영상이 가지는 구 클러스터 식별자가 새로운 클러스터 식별자로 대체되는 경우, 구 클러스터 식별자를 가지는 다른 동영상의 클러스터 식별자를 새로운 클러스터 식별자로 대체하는 동영상 클러스터링 단계를 포함하는 동영상 처리 방법이 제공된다.

이 경우, 동영상 집합에 속하는 동영상과 관련된 텍스트 토큰(text token)을 획득하는 단계를 수행하고, 동영상 클러스터링 단계는, 동영상 집합에 속하는 복수 개의 동영상들 중에서, 텍스트 토큰을 공유하는 동영상들을, 그 텍스트 토큰을 공유하지 않는 다른 동영상보다 우선적으로 비교하여 클러스터 식별자를 부여할 수 있다.

한편, 앞서 언급된 동영상 처리 방법(프레임 특징 벡터 생성 방법, 동일 구간 검출 방법, 동영상 클러스터링 방법)은 컴퓨터에 의하여 실행될 수 있으며, 이를 위해 컴퓨터 판독 가능한 기록 매체에 프로그램의 형태로 기록될 수 있다.

본 발명의 다른 측면에 의하면, 제1 동영상 및 제2 동영상 각각에 대하여 특징 벡터를 생성하는 특징 벡터 생성부; 및 제1 동영상의 특징 벡터와 제2 동영상의 특징 벡터를 비교하여, 제1 동영상 및 제2 동영상 사이의 동일 구간을 검출하는 동일 구간 검출부를 포함하는 동영상 처리 장치가 제공된다.

특징 벡터 생성부는 동영상의 프레임을 분할하여 형성되는 복수 개의 서브 프레임 각각에 대하여 색상 분포 벡터를 계산하고, 색상 분포 벡터, 색상 분포 벡터를 이용하여 도출되는 색상 분포 벡터의 1차 차분 및 색상 분포 벡터의 1차 차분을 이용하여 도출되는 색상 분포 벡터의 2차 차분에 기초하여 특징 벡터를 생성할 수 있다.

특징 벡터의 생성부는 색상 분포 벡터, 색상 분포 벡터의 1차 차분 및 색상 분포 벡터의 2차 차분의 성분들로 구성된 집합으로부터 복수 개의 성분들을, 특징 벡터의 성분들로서 선택함으로써 특징 벡터를 생성할 수 있다.

한편, 동영상 처리 장치의 동일 구간 검출부는 제1 동영상의 시작점에서 t1 이후의 시점을 그 시작 시각으로 하고 Δt를 길이로 하는 제1 동영상 세그먼트에 속하는 p 개(p는 임의의 자연수, p≥1)의 프레임의 특징 벡터와, 제2 동영상의 시 작점에서 t2 이후의 시점을 그 시작 시각으로 하고 Δt를 길이로 하는 제2 동영상 세그먼트에 속하며, 제1 동영상 세그먼트 내에서 p 개의 프레임의 배치와 상응하는 배치를 가지는, p 개의 프레임의 특징 벡터를 각각 비교함으로써, 제1 동영상 세그먼트 및 제2 동영상 세그먼트 사이의 동일성 평가 값을 생성하는 동영상 세그먼트 비교부를 포함할 수 있다.

더불어, 동일 구간 검출부는 동영상 세그먼트 비교부에 의하여 생성된 동일성 평가 값이 제1 동영상 세그먼트와 제2 동영상 세그먼트 사이에 동일성이 있음을 나타내는 경우에, 제1 동영상 세그먼트 및 제2 동영상 세그먼트들에서 p 개의 프레임에 의한 초당 프레임 수 보다 큰 초당 프레임 수를 적용하여, 제1 동영상의 특징 벡터와 제2 동영상의 특징 벡터를 비교함으로써, 제1 동영상 및 제2 동영상 각각에서 동일 구간의 시작점 및 종료점 정보를 검출하는 동일 구간 시종점 검출부를 포함할 수 있다.

동영상 처리 장치는 동일 구간 검출부에 의하여, 제1 제1 동영상 및 제2 동영상 사이의 동일 구간이 검출되는 경우, 제1 동영상 및 제2 동영상이 동일한 클러스터 식별자를 갖도록 하는 클러스터 식별자 일치 과정을 수행하고, 클러스터 식별자 일치 과정에서 어느 하나의 동영상이 가지는 구(舊) 클러스터 식별자가 새로운 클러스터 식별자로 대체되는 경우, 구 클러스터 식별자를 가지는 다른 동영상의 클러스터 식별자를 새로운 클러스터 식별자로 대체하는 동영상 클러스터링 부를 포함할 수 있다.

또한, 동영상 처리 장치는 제1 내지 제3 동영상에 대하여 각과 관련된 텍스 트 토큰(text token)을 생성하는 텍스트 토큰 생성부를 더 포함할 수 있다. 이 경우, 동영상 처리 장치의 특징 벡터 생성부는 제3 동영상에 대한 특징 벡터를 생성하고, 동일 구간 검출부는 제1 동영상과 제2 동영상 사이에는 공유되는 텍스트 토큰이 존재하고, 제1 동영상 및 제3 동영상 사이에는 공유되는 텍스트 토큰이 존재하지 않는 경우, 제1 동영상 및 제2 동영상에 관한 동일 구간 검출을 제1 동영상 및 제3 동영상에 관한 동일 구간 검출보다 우선하여 실행할 수 있다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.

본 발명의 일 실시예에 따르면, 동영상 비교 과정 및 그 비교 결과 제공의 효율성을 개선하기 위한 동영상 처리 방법 및 장치가 제공된다.

본 발명의 일 실시예에 따르면, 동영상들간의 동일성 및 유사성 판단 기준으로서 사용될 수 있는 비교 기준으로서 동영상의 특징 벡터를 생성하는 방법 및 장치가 제공된다.

본 발명의 일 실시예에 따르면, 동영상의 특징 벡터를 이용하여 두 동영상 간의 동일 구간을 검출하고 그 동일 구간에 관한 시간 정보를 획득하는 방법 및 장치가 제공된다.

본 발명의 일시예에 따르면, 복수 개의 동영상 중에서 동일성이 확인된 (즉, 동일 구간을 공유하는) 동영상들을 하나의 그룹으로 묶는 방법 및 장치를 제공하는 것이다.

이하, 본 발명에 따른 동영상 처리 방법 및 그 장치의 실시예를 첨부도면을 참조하여 상세히 설명하기로 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 일 실시예에 따른 동영상의 프레임과 서브 프레임을 예시한 도면이다.

프레임(frame)은 동영상을 구성하는 개개의 정지 영상(still image)을 의미할 수 있다. 프레임은 동영상의 편집을 위한 단위(unit)으로서 이용될 수 있다. 일반적으로, 동영상은 일반적으로 초당 약 24 또는 30개의 프레임들을 가지도록 인코딩 될 수 있으며, 고화질의 동영상은 초당 60개의 프레임들을 가지도록 인코딩 되기도 한다.

다만, 본 발명의 일 실시예에서, 동영상들 간의 비교를 위해 그 특징 벡터가 추출되는 대상 프레임들이 동영상이 인코딩 된 초당 프레임 수를 유지할 필요는 없으며, 그 대상 프레임들간의 시간 간격이 반드시 일정하게 유지되어야 하는 것 만은 아니다.

도 1에 예시된, 제1 프레임(110)은 동영상의 첫 프레임이다. 하나의 동영상 내에서 시간 축은 도 1에서와 같이 동영상의 시작점을 원점으로 하는 것으로 정의될 수 있다. 제1 프레임은 동영상의 시작점(t=0)에서 표현되는 정지 영상인 것으로 이해될 수 있다.

제2 프레임(120) 및 제3 프레임(130)는 서로 인접하는 두 개의 프레임이다. 인접하는 두 개의 프레임 사이의 시간 간격은 그 프레임들이 정의되는 초당 프레임 수의 역수로 계산될 수 있다. 또한, 두 개의 동영상을 비교하기 위해, 특징 벡터가 추출되는 프레임들은, 그 두 동영상이 인코딩 된 초당 프레임 수들과는 독립된, 하나의 초당 프레임 수를 적용하여 정의될 수 있다.

도 1을 참조하면, 제2 프레임(120)는 4x4의 형태로 분할되어 있으며, 제1 서브 프레임(121)은 제2 프레임(120)을 분할하여 형성되는 16개의 서브 프레임 중 하나이다. 본 실시예에서, 프레임의 특징 벡터는 서브 프레임의 색상 분포 정보로부터 기원된다. 프레임 특징 벡터의 생성과정은 도 2의 흐름도를 참조하여 상세히 설명될 것이다.

도 2는 본 발명의 일 실시예에 따른 프레임 특징 벡터 생성 방법의 흐름도이다.

서브 프레임의 색상 분포 벡터를 계산하는 단계(S210)는 동영상의 프레임을 분할하여 정의되는 서브 프레임의 색상 분포를 대표하는 벡터를 생성하는 단계이다.

색상 분포 벡터는 각 서브 프레임 내의 색상 분포 정보를 대표하는 벡터이다. 각 서브 프레임에 담겨져 있는 정보는 그 서브 프레임에 속하는 각 화소 들의 색 벡터들에 의하여 표현될 수 있다. 각 서브 프레임 내의 색상 분포를 대표하는 벡터를 이용함으로써, 그 서브 프레임의 정보를 대표할 수 있다.

본 실시예에서 하나의 동영상 프레임은 n x n의 형태로 분할되어 n² 개의 서브 프레임을 가진다. 다만, 하나의 프레임이 반드시 n x n의 형태로 분할되어야 하는 것은 아니며, m x n의 형태의 분할도 가능하다. (n 및 m은 임의의 서로 다른 자연수)

대표적인 색상 분포 벡터 계산 방법은 서브 프레임 내 화소 들의 색 벡터들의 평균 벡터를 구하는 것이다. 이 경우, 하나의 서브 프레임에 속하는 색상 분포 벡터는 다음 수학식에 의하여 표현될 수 있다.

t는 동영상의 시작점을 원점으로 하는 시간 축 상에서 해당 프레임이 위치를 표시하는 시간 변수, i는 해당 프레임 내의 각 서브 프레임 내의 인덱스(i=1,2… n²), R_i(t), G_i(t), B_i(t)는 각각 서브 프레임 i 내에서의 적색, 녹색, 청색 성분의 평균값이다.

앞서 언급된 색상 분포 벡터는 RGB 색 좌표계에서 표현된 값이다. 그러나, YUV, CYMK 등의 다양한 색 좌표계가 서브 프레임 내 화소 색 벡터를 표현하기 위해 사용될 수 있으며, 이에 따라 서브 프레임의 색상 분포 벡터 역시 화소 색 벡터가 표현된 좌표계와 동일한 좌표계를 이용하여 표현될 수 있다. 또한, 어느 한 색 좌표계에서 표현된 벡터가 다른 색 좌표계에서도 변환되어 표현될 수 있음은 자명하다.

이와 같이 획득된 색상 분포 벡터 D_i(t)에 대한 정규화 과정(S220)이 추가적으로 수행될 수 있다. 시간 좌표상에서 t를 포함하는 소정의 구간 (예를 들어, t-ε에서 t-ε까지 등)에 속하는 색상 분포 벡터의 평균값을 구하고 평균값으로 D_i(t)를 나누는 방법이 사용될 수 있다. 또한 소정 구간에 대하여 색상 분포 벡터의 최소값을 구하고 그 최소값을 D_i(t)에서 빼는 방법이 사용될 수 있다.

본 발명의 일 실시예에서는 동영상 내에서 동일한 영역에 대응되는 여러 개의 서브 프레임의 색상 분포 벡터들의 최소 및 평균을 이용하여 색상 분포 벡터를 정규화 하는 과정이 예시되었으나, 반드시 앞서 언급된 정규화 방법만이 사용될 수 있는 것은 아니다.

색상 분포 벡터의 1차 차분을 계산하는 단계(S230)는 한 서브 프레임의 색상 분포 벡터와 또 다른 서브 프레임에 관한 색상 분포 벡터 사이의 차이로서 정의되는 색상 분포 벡터의 1차 차분을 계산하는 단계이다.

다만 1차 차분이라는 것은 반드시 색상 분포 벡터와 같은 차원을 가지는 벡터만을 의미하는 것은 아니며, 어떤 색상 분포 벡터의 한 구성요소(component)와 그에 상응하는 다른 색상 분포 벡터의 한 구성요소 간의 차이로 계산되는 스칼라(scalar)값일 수 있다. 이러한 논의는 2차 차분에서도 동일하게 적용된다.

색상 분포 벡터의 1차 차분 E_ij(t)는 다음의 수학식에 의하여 계산될 수 있다. 이 경우 E_ij(t)는 차분 벡터이다.

t는 동영상의 시작점을 원점으로 하는 시간 축 상에서 해당 프레임이 위치를 표시하는 시간 변수이고, i 및 j는 서브 프레임의 인덱스이다(i,j=1,2 … n² 이며 n은 임의의 자연수). 본 실시예에서, D_i(t) 및 D_j(t)가 RGB 색 좌표계에서 표현되는 3차원 벡터이므로, 색상 분포 벡터의 1차 차분 E_ij(t) 역시 3차원 벡터의 형태로 표현될 수 있다.

색상 분포 벡터의 2차 차분을 계산하는 단계(S240)는 하나의 서브 프레임에 관한 하나의 색상 분포 벡터의 1차 차분과 또 다른 하나의 색상 분포 벡터의 1차 차분 사이의 차이로서 정의되는 색상 분포 벡터의 2차 차분을 계산하는 단계이다.

앞서 1차 차분에 관하여 언급된 것과 유사하게, 2차 차분이 반드시 벡터임을 의미하지는 않는다. 2차 차분은 1차 차분과 다른 1차 차분 사이의 차이로 계산됨을 의미하며, 그 차분이 반드시 색상 분포 벡터 또는 1차 차분과 같은 차원을 가진다는의미는 아니다.

색상 분포 벡터의 2차 차분 A_ijkl(t)는 다음의 수학식에 의하여 계산될 수 있다.

t는 동영상의 시작점을 원점으로 하는 시간 축 상에서 해당 프레임이 위치를 표시하는 시간 변수이고, i, j, k 및 l (i,j,k,l=1,2 … n²)는 서브 프레임의 인덱스이다. 한편, 본 발명의 일 실시예에 따른 색상 분포 벡터, 색상 분포 벡터의 1차 차분, 색상 분포 벡터의 2차 차분간의 관계는 도 3a를 참조하여 보다 명확하게 이해될 수 있다.

프레임의 특징 벡터를 생성하는 단계는(S250)는 앞서 수행된 벡터 계산 단계들(S110, S120, S130, S140)의 결과를 이용하여 해당 프레임의 특징 벡터를 생성하는 단계이다.

본 실시예에서, 서브 프레임의 색상 분포 특성은 RGB 색 좌표계(3차원) 상에서 표현된 서브 프레임 내 화소 들의 색 벡터로부터 계산되었으며, 서브 프레임의 색상 분포 벡터, 색상 분포 벡터의 1차 차분 및 색상 분포 벡터의 2차 차분은 각각 3차원 벡터이다. 이들 벡터들의 차원은 서브 프레임의 색상 분포 특성이 표현되는 좌표계의 차원에 종속된다.

계산된 색상 분포 벡터, 색상 분포 벡터의 1차 차분 및 색상 분포 벡터의 2차 차분은 하나의 프레임 상에 표현된 정보를 대표하는 벡터들이다. 따라서, 이들 벡터들의 성분들 중 복수 개를 선택함으로써 프레임 상에 표현된 정보를 대표하는 특징 벡터를 형성할 수 있다.

이 과정에서 색상 분포 벡터, 색상 분포 벡터의 1차 차분 및 색상 분포 벡터의 2차 차분의 성분들로 구성된 집합에서 하나 이상의 성분을 선택함으로써 특징 벡터를 구성할 수 있다. 이들 벡터들로부터 h 개(h는 임의의 자연수)의 성분을 선택하는 경우 프레임의 특징 벡터는 h 차원의 벡터가 될 것이다. 특징 벡터의 차원은 동영상 비교의 정확성 및 신속성을 위해 변경될 수 있다.

한편, 이들 벡터들로부터 특징 벡터를 구성하는 과정의 한 예시는 도 3b를 참조하여 이해될 수 있다. 도 3b에서는 서브 프레임의 색상 분포 벡터, 색상 분포 벡터의 1차 차분, 색상 분포 벡터의 2차 차분에서 각각 하나 이상의 성분들이 선택되었다. 앞서 언급된 세 가지 유형의 벡터(서브 프레임의 색상 분포 벡터, 색상 분포 벡터의 1차 차분 및 색상 분포 벡터의 2차 차분) 각각으로부터 하나의 이상의 성분이 선택되어야 하는 것 만은 아니며 그들 중의 어느 하나 이상의 유형의 벡터가 특징 벡터를 구성하기 위한 선택 과정에서 배제될 수 있다.

이와 같은 형태의 선택만이 특징 벡터를 생성하기 위한 유일한 방법은 아니며, 서브 프레임의 색상 분포 벡터, 색상 분포 벡터의 1차 차분 및 색상 분포 벡터 의 2차 차분으로부터 특징 벡터를 생성하기 위한 추가적인 계산 과정이 이용될 수 있다.

이와 같이 구성되는 특징 벡터는 해당 프레임의 핑거 프린트 데이터로서 기능할 수 있다. 프레임 상의 표현된 정보 전체를 대비함으로써, 동영상들 사이의 동일성 내지 유사성을 판단하는 과정에서의 비효율은 이와 같이 간단화된 특징 벡터를 사용함으로써 상당히 줄어들 것이다.

보다 높은 차수의 특징 벡터는 보다 높은 연산 능력(computing power)를 요구할 것이지만 보다 정확한 동영상 비교 결과를 제공할 것이다. 따라서, 특징 벡터의 차수를 적절한 수준에서 조절하기 위한 노력이 요구된다.

도 3b에서, 1차 차분은 색상 분포 벡터와 같은 차원을 가지는 벡터이며, 2차 차분 역시 분포 벡터와 같은 차원을 가지는 벡터이다. 그러나, 앞서 언급된 바와 같이 1차 및 2차 차분이 반드시 벡터만을 의미하는 것은 아니다. 서브 프레임의 색상 분포 벡터 중에서 프레임 특징 벡터를 구성하기 위해 필요한 구성 요소들에만 기초하여 1차 차분 및 2차 차분을 계산할 수 있다. 이 경우, 1차 차분 및 2차 차분은 색상 분포 벡터 보다 낮은 차원의 벡터로서 또는 스칼라 값으로서 계산될 수 있다.

도 4는 본 발명의 일 실시예에 따른 동영상 겸침 구간 검출 방법의 흐름도이다.

동영상의 특징 벡터를 생성하는 단계(S410)는 비교 대상 동영상 들에 대하여 그 동영상에 속하는 프레임의 특징 벡터를 추출하는 단계이다.

특징 벡터는 동영상내의 프레임의 정보를 함축하고 있는 정보이다. 본 발명의 일 실시예에 따른 특징 벡터 생성 방법은 도 1 내지 도 3을 참조하여 이미 설명되었다.

한편, 후속되는 동일 구간 검출 단계(S420)를 수행하기 위해 앞서 설명된 특징 벡터 추출 생성 방법만이 이용 가능한 것은 아니며, 동영상의 프레임에 포함된 정보를 함축하여 생성된 정보들은 그 생성 방법의 차이에도 불구하고, 동영상 동일 구간 검출 단계(S420)에서 두 동영상들 간의 비교를 위한 기초 자료로 활용될 수 있다.

제1 동영상 및 제2 동영상의 동일 구간을 검출하는 단계(S420)는 두 동영상의 특징 벡터를 비교함으로써 두 동영상 사이의 동일 구간이 존재하는 지 여부를 점검하는 단계이다.

겸침 구간 검출 단계(S420)는 두 동영상들을 세그먼트 단위로 비교함으로써 보다 빠르게 두 동영상 사이의 동일 구간 존재 가능성을 평가하는 동영상 세그먼트 비교 단계(S421) 및 두 동영상이 동일 구간을 공유할 가능성이 확인된 경우 그 동일 구간에 대한 보다 정확한 정보(각 동영상에서 동일 구간이 시작점 및 종료점에 관한 정보)를 획득하는 동일 구간 세부 정보 검출(S422)를 포함할 수 있다.

동영상 세그먼트 비교 단계(S421)는 제1 동영상 내의 동영상 세그먼트 및 제2 동영상 내의 동영상 세그먼트를 비교하여 두 세그먼트 사이의 동일성을 측정하는 단계이다.

본 발명의 일 실시예에서, 동영상 세그먼트들 사이의 동일성은 그 동영상 세그먼트 각각에 속하며 서로 상응하는 특징 벡터들을 비교에 기초하여 평가될 수 있다.

제1 및 제2 동영상 세그먼트 프레임내의 상응하는 두 특징 벡터들은 각 동영상 세그먼트의 시작 시각으로부터 동일한 간격을 가진고 각 세그먼트에 위치하는 프레임의 특징 벡터다.

특징 벡터들의 비교는 제1 동영상 세그먼트내의 특징 벡터와 그에 상응하는 제2 동영상 세그먼트 내의 특징 벡터 사이의 거리를 계산함으로써 수행될 수 있다.

본 발명의 일 실시예에서 특징 벡터는, 도 2 내지 도 3에 관하여 이미 설명된 바와 같이 프레임의 색상 분포 벡터, 색상 분포 벡터의 1차 차분, 그리고 색상 분포 벡터의 2차 차분을 기초로 구성된 h 차원의 벡터일 수 있다. 제1 동영상 세그먼트에 속하고 제1 동영상의 시작점에서 t1 이후의 시점에 위치하는 프레임의 특징 벡터 F(t1)에서 b번째 성분을 F_b(t1)이라고 하고, 제2 동영상 세그먼트에 속하고 제2 동영상의 시작점에서 t2 이후의 시점에 위치하는 프레임의 특징 벡터를 G(t2)의 b번째 성분을 G_b(t2)이라고 할 경우, 각 상응하는 특징 벡터 사이의 거리는 D(t1, t2)는 그들 사이의 L1 norm으로 정의될 수 있으며 다음 수학식에 의하여 계산될 수 있다.

여기서, b는 특징 벡터의 b번째 성분, h는 특징 벡터의 차원이다.

본 발명의 일 실시예에 따라, 이 거리 값을 제1 및 제2 동영상 세그먼트에 관한 복수 개의 특징 벡터 쌍에 대하여 계산할 수 있다. 동영상 세그먼트 비교 단계는 이러한 특징 벡터 사이의 거리에 기초하여 두 동영상 세그먼트 사이의 동일성 평가 값을 계산한다. 각 특징 벡터 쌍에 대한 거리의 합 및 평균 등이 동일성 평가 값으로서 이용될 수 있다.

한편, 특징 벡터 사이의 거리가 L1 norm으로 표현되어야만 하는 것은 아니다. L2 norm, 최대값이 한정된 L1 norm이 특징 벡터 사이의 거리를 표현하기 위해 이용될 수 있다. 또한, L1 norm 값이 어떤 문턱치를 만족시키는 경우만 유의미한 거리로 결정하고, 그렇지 못한 경우 거리를 0으로 설정하는 것도 가능하다. (예를 들어 L1 norm이 문턱값 이상인 경우에 거리를 1로 설정하고, 그렇지 못하면 거리를 0으로 설정하는 것이 가능하다.)

이 동일성 평가 값이 미리 정의된 턱 값을 만족시키는 경우 비교 대상인 제1 및 제2 동영상 세그먼트는 동일한 것으로 판단될 수 있다. 판단 기준이 되는 턱 값은 샘플 동영상 집합에 의한 사전 실험 등을 통하여 결정될 수 있다.

제1 및 제2 동영상 세그먼트 사이에서 계산된 동일성 평가 값이 두 동영상 세그먼트 사이의 동일성이 있음을 의미하지 않는 경우, 제1 및 제2 동영상에서 동영상 세그먼트들의 시작 위치를 바꾸어가며 동영상 세그먼트 비교가 반복될 수 있다.

이 경우, 동일성 평가 값이 두 동영상 세그먼트 사이의 현저한 차이를 나타내는 경우, 그에 바로 인접하는 동영상 세그먼트 들 사이에도 동일성이 발견될 확률이 낮을 것으로 기대된다. 따라서, 이러한 경우에는 현재 비교 대상 동영상 세그먼트와 상대적으로 큰 시간 간격을 둔 동영상 세그먼트를 그 비교 대상으로 하는 것이 효율적일 수 있다.

따라서, 반복 비교 과정에서 다음 비교 대상 동영상 세그먼트를 지정하는 시간 변수를 변화시킴에 있어서, 동일성 평가 값과 그 동일성 평가 값이 동영상 세그먼트들 간의 동일을 의미하기 위해 만족시켜야 하는 턱 값과의 차이에 비례하는 변화폭이 적용될 수 있다.

한편, 동일성 평가 값이 두 동영상 세그먼트 사이의 동일성이 있음을 나타내는 경우 동일 구간 시종점(始終點) 검출(S422)단계가 수행될 수 있다.

본 발명의 일 실시예에 따른 동영상 세그먼트 비교 과정은 도 5를 참조하여 이해될 수 있다. 제1 동영상 및 제2 동영상 내에서 동영상 세그먼트의 길이는 Δt이다. 제2 동영상 세그먼트의 시작점을 제2 동영상의 시작 지점으로 고정한 상태에서 제1 동영상 세그먼트의 시작 시점을 제1 동영상의 시작 시점으로부터 변화시켜가면서 동영상 세그먼트의 비교를 수행한다.

도 5를 참조하면, 제1 동영상 세그먼트의 시작점이 t_f인 경우 제1 동영상의 세그먼트와 제2 동영상의 비교 대상 세그먼트 사이의 동일성 평가 값이 두 세그먼트 사이의 동일성을 나타내는 것으로 판별되었다. 다만 이는 동영상 세그먼트에서 상대적으로 작은 수의 프레임 만을 비교한 결과이므로 동일 구간의 정확한 시작 및 종료 지점을 검출하기 위한 동일 구간 시종점 검출 단계(S422)의 수행이 요구될 수 있다.

이와 같이, 보다 낮은 초당 프레임 수를 이용하는 동영상 세그먼트 비교 단계를 동일 구간 시종점 검출 단계에 앞서 수행함으로써, 다수의 동영상을 비교하는 경우에 요구되는 연산 능력을 줄일 수 있다.

동일 구간의 시작점 및 종료점을 검출 단계(S422)는 동영상 세그먼트 비교(S421)단계에서 산출되는 동일성 평가 값이 두 동영상 세그먼트 사이의 동일성을 나타내는 경우 제1 동영상 및 제2 동영상 각각에서 동일 구간의 시작 시점 및 종료 시점을 검출하는 단계이다.

앞서 언급된 바와 같이, 동일 구간 시종점 검출 과정에는 동영상 세그먼트 비교 시에 비교되는 프레임 들이 그 동영상 세그먼트 내에서 가지는 초당 프레임 수에 비하여 높은 초당 프레임 수가 적용될 수 있다. 이는 동일 구간 시종점 검출의 정확도를 향상시키며 동영상 세그먼트 비교 단계에서의 연산 능력 낭비를 최소화 한다.

도 5를 참조하면, 제1 동영상에서 동영상 세그먼트의 시작 시점이 t_f인 경우 에 비로소 제2 동영상과의 동일성이 확인되므로, 동일 구간의 탐색은 t_f이후로 한정될 수 있다. 즉, 제1 동영상에서 t_f 이후에 위치하는 프레임들만을 동일 구간 시종점 검출 단계에서 제2 동영상의 프레임들과의 비교 대상으로 설정할 수 있다.

도 5는 설명의 편의상 제2 동영상의 시작점이 제1 동영상의 중간 부분에 해당하는 형태의 겹침을 예시하였으나, 그 역 역시 가능하며, 이 경우 앞서 이루어진 설명들 역시 제1 동영상과 제2 동영상을 바꾸어 이해될 수 있다.

도 6은 본 발명의 일 실시예에 따른 동영상 클러스터링 방법의 흐름도이다. 도 6을 참조하면, 동영상의 클러스터 식별자 조작에 앞서 제1 동영상 및 제2 동영상의 특징벡터를 생성하는 단계(S610) 및 두 동영상의 동일 구간을 검출하는 단계(S620)가 수행된다. 이 두 단계에 대한 설명은 도 1 내지 도 5를 참조하여 이해될 수 있다,

한편, 동영상 클러스터링의 수행을 위해 반드시 앞서 설명한 특징 벡터 생성 방법 및 동일 구간 검출 방법이 이용되어야 하는 것은 아니며, 비교 대상인 두 동영상이 동일 구간을 공유한다는 정보에만 기초하여 클러스터링이 수행될 수 도 있다.

제1 동영상 및 제2 동영상의 클러스터 식별자를 조작하는 단계(S630)는 동일 구간을 공유하는 두 동영상에 동일한 클러스터 식별자를 부여하는 단계이다. 이 과정에서 제1 및 제 2 동영상 외의 동영상의 클러스터 식별자 역시 변경될 수 있다.

예를 들어, 동일 구간을 공유하는 두 개의 동영상이 가지고 있는 클러스터 식별자가 달라 두 동영상에 부여되는 클러스터 식별자를 일치시키는 경우 반드시 어느 일방의 클러스터 식별자는 변경된다. 이 경우, 변경전의 구 클러스터 식별자를 가지는 다른 동영상의 식별자를 일치된 새 클러스터 식별자로 대체함으로써 클러스터 간의 통합이 이루어지게 된다.

비교 대상 동영상 들이 서로 다른 경우. 두 동영상 중 클러스터 식별자를 부여 받지 않은 동영상에 대하여 새로운 클러스터 식별자를 부여함으로써 새로운 클러스터를 형성하는 것도 가능하다.

한편, 다수 개의 동영상이 존재하는 경우에 가능한 모든 동영상을 비교하여 그 클러스터 식별자를 조작하는 것은 소모적인 작업이다. 연산 능력의 낭비를 최소화 하기 위해 여러 가지 방법들이 이용될 수 있다.

일 예로, 완벽하게 동일한 중복된 동영상들에 대해 단일의 클러스터 식별자를 부여하고 이들 중복 동영상들에 대하여는 그 중 하나만의 비교로 다른 중복 동영상의 비교를 대신할 수 있다.

또한, 하나의 클러스터에 포함될 가능성이 높은 동영상들을 우선적으로 비교하는 것 역시 효율향상에 도움이 될 수 있다. 일 예로, 한 동영상과 비교되는(동일 구간을 검출하는) 대상 동영상을 선정함에 있어서, 텍스트 토큰을 공유하는 동영상들을 우선 순위로 선정하는 것이 효율적일 수 있다.

본 발명의 일 실시예에 있어서, 클러스터링의 대상이 되는 동영상들은 웹 상에서 수집되는 것으로 그 동영상의 제목으로 지정된 텍스트, 그 동영상의 내용 및 주제와 관련된 설명에서 나타나는 텍스트, 그 동영상을 검색하기 위해 사용자들이 입력한 키워드, 그 동영상이 포함된 블로그 포스팅의 태그 등의 정보 등이 해당 동영상의 텍스트 토큰이 될 수 있다.

도 7은 본 발명의 일 실시예에 따른 동영상 처리 장치의 구성도이다. 도 7을 참조하면 동영상 처리 장치(700)는 특징 벡터 생성부(710), 동일 구간 검출부(720) 및 동영상 클러스터링 부(730)를 포함한다.

특징 벡터 생성부(710)는 처리 대상 동영상을 읽어 들여 그 동영상의 프레임으로 나누어 관찰하고, 그 프레임의 특징 벡터를 생성한다. 동영상 처리 장치(700)는 동영상 재생과정에서 프레임의 형태로 표시되는 정지 이미지의 색상 분포 정보로부터 그 프레임을 대표하는 특징 벡터를 추출한다. 이 과정에서 프레임은 복수 개의 서브 프레임으로 분할되어 분석될 수 있다.

서브 프레임에 속하는 화소들의 색 벡터들로부터 서브 프레임의 색상 분포 벡터가 획득될 수 있으며, 획득된 색상 분포 벡터들의 1차 차분 및 2차 차분을 이용하여 특징 벡터를 구성하는 성분을 계산할 수 있다. 특징 벡터의 생성에 관한 상세한 설명은 도 2 및 도 3에서 언급된 바와 같다.

동일 구간 검출부(720)는 동영상을 비교하여 비교 대상 동영상들이 공유하는 동일 구간을 확인한다.

동영상 사이의 동일 구간 확인 과정은 동영상 특징 벡터의 비교를 통해 수행될 수 있다. 이 과정에서 동영상 세그먼트 단위의 비교를 우선 수행하고 동영상 세 그먼트 단위의 비교를 통해 비교 대상 동영상 사이에 동일 구간이 존재할 가능성을 탐색한다. 이러한 가능성은 세그먼트 비교를 통해 수치화된 동일성 평가 값으로 표현된다. 동일성 평가 값 산출 과정에 대한 상세한 설명은 도 4 등을 참조하여 이미 설명된 바와 같다.

또한, 동일성 평가 값이 두 동영상 사이의 동일성을 나타내는 것으로 판단되는 경우, 동일 구간 검출부(720)는 두 비교 대상 동영상이 공유하는 동일 구간이 각 동영상에서 차지하는 위치를 검출한다. 이 경우, 동영상 세그먼트 비교에서 사용되는 초당 프레임 수 보다 같거나 큰 초당 프레임 수가 적용될 수 있다. 동일 구간의 시작점과 종료점은 각 동영상에서 동일 구간이 시작하고 끝나는 시간 또는 프레임으로 정의될 수 있다. 동일성 구간 시종점 검출에 관한 구체적인 설명은 앞서 도 4등을 참조하여 설명된 바와 같으므로 더 이상의 설명은 생략된다.

동영상 클러스터링부(730)는 동일 구간을 공유하는 동영상들을 하나의 클러스터로 묶는 기능을 수행한다. 동영상의 클러스터링은 동일 구간을 공유하는 동영상들에 대하여 동일한 클러스터 식별자를 부여하는 것에 의하여 수행된다. 이 과정에서 동영상 클러스터 식별자가 교체되는 동영상과 동일한 클러스터 식별자를 가지는 다른 동영상에 대하여, 교체된 동영상 클러스터 식별자를 부여할 수 있다.

동영상 클러스터링 과정에서의 클러스터 식별자 조작에 관한 상세한 내용은 앞서 도 6을 참조하여 설명된 바와 같다. 또한, 텍스트 토큰을 공유하는 동영상들간의 동영상의 동일 구간 검출 및 클러스터링 과정이 우선적으로 수행될 수 있음 역시 언급되었다.

한편, 본 발명의 일 실시예에 의한 동영상 처리 방법은 컴퓨터 판독 가능한 기록매체상에 디지털 코드로서 구현될 수 있다. 컴퓨터 판독 가능한 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 예로서 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

이제까지 본 발명에 대하여 그 실시예를 중심으로 살펴보았다. 전술한 실시예 외의 많은 실시예들이 본 발명의 특허청구범위 내에 존재한다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 동영상의 프레임과 서브 프레임을 예시한 도면이다.

도 2는 본 발명의 일 실시예에 따른 프레임 특징 벡터 생성 방법의 흐름도이다.

도 3a 및 도 3b는 본 발명의 일 실시예에 따른 색상 분포 벡터, 색상 분포 벡터의 1차 차분, 및 색상 분포 벡터의 2차 차분간의 관계 및 그들로부터의 특징 벡터 구성을 예시한 도면이다.

도 4는 본 발명의 일 실시예에 따른 동영상 겸침 구간 검출 방법의 흐름도이다.

도 5는 본 발명의 일 실시예에 따른 동영상 세그먼트 비교 과정을 예시한 도면이다.

도 6은 본 발명의 일 실시예에 따른 동영상 클러스터링 방법의 흐름도이다.

도 7은 본 발명의 일 실시예에 따른 동영상 처리 장치의 구성도이다.

<도면의 주요부분에 대한 부호의 설명>

110: 제1 프레임 121: 제1 서브 프레임

700: 동영상 처리 장치 710: 특징 벡터 생성부

720: 동일 구간 검출부 730: 동영상 클러스터링부

Claims (21)

1. 동영상의 프레임을 분할하여 형성되는 복수 개의 서브 프레임 각각에 대하여 색상 분포 벡터를 계산하는 단계;

   상기 색상 분포 벡터를 이용하여 상기 프레임의 상기 색상 분포 벡터의 1차 차분을 생성하는 단계;

   상기 색상 분포 벡터의 1차 차분을 이용하여 상기 색상 분포 벡터의 2차 차분을 생성하는 단계; 및

   상기 색상 분포 벡터, 상기 색상 분포 벡터의 1차 차분 및 상기 색상 분포 벡터의 2차 차분에 기초하여 상기 프레임의 특징 벡터를 생성하는 단계를 포함하는

   동영상 처리 방법.
2. 제1항에 있어서,

   상기 특징 벡터 생성 단계는

   상기 색상 분포 벡터, 상기 색상 분포 벡터의 1차 차분 및 상기 색상 분포 벡터의 2차 차분의 성분들로 구성된 집합으로부터 복수 개의 성분들을, 상기 특징 벡터의 성분들로서, 선택하는 단계를 포함하는

   동영상 처리 방법.
3. 제1항에 있어서,

   상기 색상 분포 벡터 계산 단계는

   상기 서브 프레임에 속하는 화소(pixel)들에 관한 색 벡터를 평균함으로써, 상기 서브 프레임의 평균 색 벡터를 계산하는 단계를 포함하는

   동영상 처리 방법.
4. 제1항에 있어서,

   상기 색상 분포 벡터는 RGB, YUV 및 CYMK 좌표계 중 적어도 하나의 좌표계를 이용하여 표현되는

   동영상 처리 방법.
5. 제3항에 있어서,

   상기 색상 분포 벡터 계산 단계는 상기 서브 프레임의 상기 평균 색 벡터를 정규화하는 단계를 포함하고,

   상기 정규화 단계는,

   상기 동영상에서 상기 서브 프레임과 동일한 표시 영역에 대응하고 상기 서 브 프레임을 포함하는 시간 구간에 속하는, 복수 개의 서브 프레임들의 평균 색 벡터들 중의 최소 벡터 및 그 들의 평균 벡터 중 적어도 하나를 이용하는 것을 특징으로 하는

   동영상 처리 방법.
6. 제1 동영상 및 제2 동영상 각각에 대하여 특징 벡터를 생성하는 단계; 및

   상기 제1 동영상의 상기 특징 벡터와 상기 제2 동영상의 상기 특징 벡터를 비교하여, 상기 제1 동영상 및 상기 제2 동영상 사이의 동일 구간을 검출하는 단계를 포함하고,

   상기 동일 구간 검출 단계는, 상기 제1 동영상에 포함되는 제1 동영상 세그먼트에 속하는 p 개(p는 임의의 자연수, p≥1)의 프레임의 특징 벡터와,

   상기 제2 동영상에 포함되는 제2 동영상 세그먼트에 속하며, 상기 제1 동영상 세그먼트 내에서 상기 p 개의 프레임의 배치와 상응하는 배치를 가지는, p 개의 프레임의 특징 벡터를 각각 비교함으로써,

   상기 제1 동영상 세그먼트 및 제2 동영상 세그먼트 사이의 동일성 평가 값을 생성하는 동영상 세그먼트 비교 단계를 포함하는

   동영상 처리 방법.
7. 제6항에 있어서,

   상기 동일성 평가 값은

   상기 제1 동영상 세그먼트의 특징 벡터와

   그에 상응하는 상기 제2 동영상 세그먼트의 특징 벡터 사이의 거리에 기초하여 생성되는

   동영상 처리 방법.
8. 제7항에 있어서,

   상기 제1 동영상의 세그먼트의 특징 벡터와 상기 제2 동영상 세그먼트의 특징 벡터 사이의 거리는 그들 사이의 L1 norm, L2 norm, 제한된 최대값을 가지는 L1 norm 및 문턱 함수를 적용받는 L1 norm 중 적어도 하나 이상에 기초하여 정의되고,

   상기 동일성 평가 값은

   상기 제1 동영상 세그먼트 및 상기 제2 동영상 세그먼트 사이의 p 개의 벡터 쌍에 관한 거리의 합에 기초하여 생성되는

   동영상 처리 방법.
9. 제6항에 있어서,

   상기 제1 동영상 세그먼트는 상기 제1 동영상의 시작점에서 t1 이후의 시점 을 그 시작 시각으로 하고, 상기 제2 동영상 상기 제2 동영상의 시작점에서 t2 이후의 시점을 그 시작 시각으로 하고,

   상기 동영상 세그먼트 비교 단계는

   0과 같거나 크고 상기 제1 동영상의 길이보다 작은 상기 제1 동영상 세그먼트 시작 시각 t1 및 0과 같거나 크고 상기 제2 동영상의 길이보다 작은 상기 제2 동영상 세그먼트 시작 시각 t2 에 대하여 반복되어 수행되고,

   상기 동일 구간 검출 단계는

   상기 동일성 평가 값이 상기 제1 동영상 세그먼트와 상기 제2 동영상 세그먼트 사이에 동일성이 있음을 나타내는 경우에,

   상기 제1 동영상 세그먼트 및 제2 동영상 세그먼트들에서 상기 p 개의 프레임에 의한 초당 프레임 수 보다 큰 초당 프레임 수를 적용하여, 상기 제1 동영상의 특징 벡터와 상기 제2 동영상의 특징 벡터를 비교함으로써, 상기 제1 동영상 및 상기 제2 동영상 각각에서 동일 구간의 시작 시각 및 종료 시각을 검출하는

   동일 구간 시종점 검출 단계를 더 포함하는

   동영상 처리 방법.
10. 제9항에 있어서,

    상기 동영상 세그먼트 비교 단계는,

    제1 동영상 세그먼트의 시작 시각을 제1 동영상의 시작점으로 설정하 고(t1=0), 제2 동영상 세그먼트의 시작 시각을 나타내는 t2를 제2 동영상의 시작점(t2=0)으로부터 증가시키면서 수행되고,

    상기 동일 구간 시종점 검출 단계는

    상기 동일성 평가 값이 상기 제1 동영상 세그먼트와 상기 제2 동영상 세그먼트 사이에 동일성이 있음을 의미하도록 하는, 상기 제2 동영상 세그먼트의 시작 시각 tg 에 대하여,

    상기 제2 동영상의 시작점으로부터 tg 이후에 위치하는 프레임의 특징 벡터 만을 상기 제1 동영상의 특징 벡터와의 비교 대상으로 하는

    동영상 비교 방법.
11. 제8항에 있어서,

    상기 동영상 세그먼트 비교 단계의 반복 수행 과정에서

    상기 제1 동영상 세그먼트 시작 시각 t1 또는 상기 제2 동영상 세그먼트 시작 시각 t2 의 변화량은,

    상기 동일성 평가 값이, 상기 제1 동영상 세그먼트와 상기 제2 동영상 세그먼트 사이에 동일성이 있음을 나타내는 기준 값을 만족시키지 못한 경우, 상기 기준 값과 상기 동일성 평가 값 사이의 차이에 비례하는

    동영상 비교 방법.
12. 제1 동영상 및 제2 동영상에 관하여, 특징 벡터를 생성하는 단계;

    상기 제1 동영상의 특징 벡터와 상기 제2 동영상의 특징 벡터를 비교함으로써 상기 두 동영상 사이의 동일 구간을 검출하는 단계; 및

    상기 동일 구간 검출단계에서,

    상기 제1 동영상 및 상기 제2 동영상 사이의 동일 구간이 검출되는 경우,

    상기 제1 동영상 및 상기 제2 동영상이 동일한 클러스터 식별자를 갖도록 하는 클러스터 식별자 일치 과정을 수행하고, 상기 클러스터 식별자 일치 과정에서 어느 하나의 동영상이 가지는 구(舊) 클러스터 식별자가 새로운 클러스터 식별자로 대체되는 경우, 상기 구 클러스터 식별자를 가지는 다른 동영상의 클러스터 식별자를 상기 새로운 클러스터 식별자로 대체하는

    동영상 클러스터링 식별자 조작 단계를 포함하는

    동영상 처리 방법.
13. 제12항에 있어서,

    상기 동영상 그룹에 속하는 제3 동영상에 대한 특징 벡터를 생성하는 단계; 상기 제1 내지 제3 동영상 각각과 관련된 텍스트 토큰(text token)을 생성하는 단계; 및 상기 제1 동영상의 특징 벡터와 상기 제3 동영상의 특징 벡터를 비교함으로써 상기 두 동영상 사이의 동일 구간을 검출하는 단계를 더 포함하고,

    상기 제1 동영상과 제2 동영상 사이에는 공유되는 텍스트 토큰이 존재하고, 상기 제1 동영상 및 상기 제3 동영상 사이에는 공유되는 텍스트 토큰이 존재하지 않는 경우,

    상기 제1 동영상 및 제2 동영상에 관한 상기 동일 구간 검출 단계를

    상기 제1 동영상 및 제3 동영상에 관한 상기 동일 구간 검출 단계보다 우선하여 실행하는

    동영상 처리 방법.
14. 제13항에 있어서,

    상기 텍스트 토큰 획득 단계는

    상기 제1 내지 제3 동영상 각각에 대하여, 그 동영상과 관련된 제목 정보, 파일 명칭 정보, 태그(tag) 정보, URL 정보 중 적어도 하나에 기초하여 텍스트 토큰을 획득하는

    동영상 처리 방법.
15. 제1항 내지 제14항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
16. 제1 동영상 및 제2 동영상 각각에 대하여 특징 벡터를 생성하는 특징 벡터 생성부; 및

    상기 제1 동영상의 상기 특징 벡터와 상기 제2 동영상의 상기 특징 벡터를 비교하여, 상기 제1 동영상 및 상기 제2 동영상 사이의 동일 구간을 검출하는 동일 구간 검출부를 포함하고,

    상기 특징 벡터 생성부는

    동영상의 프레임을 분할하여 형성되는 복수 개의 서브 프레임 각각에 대하여 색상 분포 벡터를 계산하고,

    상기 색상 분포 벡터, 상기 색상 분포 벡터를 이용하여 도출되는 색상 분포 벡터의 1차 차분 및 상기 색상 분포 벡터의 1차 차분을 이용하여 도출되는 색상 분포 벡터의 2차 차분에 기초하여 특징 벡터를 생성하는

    동영상 처리 장치.
17. 제16항에 있어서,

    상기 특징 벡터 생성부는

    상기 색상 분포 벡터, 상기 색상 분포 벡터의 1차 차분 및 상기 색상 분포 벡터의 2차 차분의 성분들로 구성된 집합으로부터 복수 개의 성분들을, 상기 특징 벡터의 성분들로서, 선택하는

    동영상 처리 장치.
18. 제1 동영상 및 제2 동영상 각각에 대하여 특징 벡터를 생성하는 특징 벡터 생성부; 및

    상기 제1 동영상의 상기 특징 벡터와 상기 제2 동영상의 상기 특징 벡터를 비교하여, 상기 제1 동영상 및 상기 제2 동영상 사이의 동일 구간을 검출하는 동일 구간 검출부를 포함하고,

    상기 동일 구간 검출부는

    제1 동영상의 시작점에서 t1 이후의 시점을 그 시작 시각으로 하고 Δt를 길이로 하는 제1 동영상 세그먼트에 속하는 p 개(p는 임의의 자연수, p≥1)의 프레임의 특징 벡터와,

    제2 동영상의 시작점에서 t2 이후의 시점을 그 시작 시각으로 하고 Δt를 길이로 하는 제2 동영상 세그먼트에 속하며, 상기 제1 동영상 세그먼트 내에서 상기 p 개의 프레임의 배치와 상응하는 배치를 가지는, p 개의 프레임의 특징 벡터를 각각 비교함으로써,

    상기 제1 동영상 세그먼트 및 제2 동영상 세그먼트 사이의 동일성 평가 값을 생성하는 동영상 세그먼트 비교부를 포함하는

    동영상 처리 장치.
19. 제18항에 있어서,

    상기 동영상 세그먼트 비교부에 의하여 생성된 상기 동일성 평가 값이 제1 동영상 세그먼트와 상기 제2 동영상 세그먼트 사이에 동일성이 있음을 나타내는 경우에,

    상기 제1 동영상 세그먼트 및 제2 동영상 세그먼트들에서 상기 p 개의 프레임에 의한 초당 프레임 수 보다 큰 초당 프레임 수를 적용하여, 상기 제1 동영상의 특징 벡터와 상기 제2 동영상의 특징 벡터를 비교함으로써, 상기 제1 동영상 및 상기 제2 동영상 각각에서 동일 구간의 시작 시각 및 종료 시각을 검출하는

    동일 구간 시종점 검출부를 더 포함하는

    동영상 처리 장치.
20. 제1 동영상 및 제2 동영상 각각에 대하여 특징 벡터를 생성하는 특징 벡터 생성부;

    상기 제1 동영상의 상기 특징 벡터와 상기 제2 동영상의 상기 특징 벡터를 비교하여, 상기 제1 동영상 및 상기 제2 동영상 사이의 동일 구간을 검출하는 동일 구간 검출부; 및

    상기 동일 구간 검출부에 의하여, 상기 제1 상기 제1 동영상 및 상기 제2 동영상 사이의 동일 구간이 검출되는 경우,

    상기 제1 동영상 및 상기 제2 동영상이 동일한 클러스터 식별자를 갖도록 하는 클러스터 식별자 일치 과정을 수행하고, 상기 클러스터 식별자 일치 과정에서 어느 하나의 동영상이 가지는 구(舊) 클러스터 식별자가 새로운 클러스터 식별자로 대체되는 경우, 상기 구 클러스터 식별자를 가지는 다른 동영상의 클러스터 식별자를 상기 새로운 클러스터 식별자로 대체하는

    동영상 클러스터링 부를 포함하는

    동영상 처리 방법
21. 제20항에 있어서,

    상기 특징 벡터 생성부는 제3 동영상에 대한 특징 벡터를 생성하고,

    상기 제1 내지 제3 동영상에 대하여 각과 관련된 텍스트 토큰(text token)을 생성하는 텍스트 토큰 생성부를 더 포함하며,

    상기 동일 구간 검출 검출부는

    상기 제1 동영상과 제2 동영상 사이에는 공유되는 텍스트 토큰이 존재하고, 상기 제1 동영상 및 상기 제3 동영상 사이에는 공유되는 텍스트 토큰이 존재하지 않는 경우, 상기 제1 동영상 및 제2 동영상에 관한 상기 동일 구간 검출을 상기 제1 동영상 및 제3 동영상에 관한 상기 동일 구간 검출보다 우선하여 실행하는

    동영상 처리 장치.

Images