KR20130108427A

KR20130108427A - 비디오들을 비교하는 방법 및 장치

Info

Publication number: KR20130108427A
Application number: KR1020137017739A
Authority: KR
Inventors: 얀송 렌; 팡제 창; 토마스 엘 우드
Original assignee: 알까뗄 루슨트
Priority date: 2011-01-07
Filing date: 2012-01-04
Publication date: 2013-10-02
Also published as: WO2012093339A2; CN103430175B; EP2661710A2; KR101556513B1; CN103430175A; WO2012093339A3; JP5685324B2; JP2014506366A

Abstract

질의 비디오 및 타깃 비디오를 비교하는 방법은 질의 비디오의 프레임들 및 타깃 비디오의 프레임들을 분할하는 단계와 각각의 블록에 대한 평균 강도 값을 계산하는 단계를 포함한다. 복수의 질의 시계열은 질의 비디오에 대해 생성되고, 각각의 질의 시계열은 질의 비디오의 상이한 프레임들에서 동일한 위치로부터 블록들에 대한 평균 강도 값의 시간 변화를 나타낸다. 복수의 타깃 시계열은 타깃 비디오에 대해 생성되고, 각각의 타깃 시계열은 타깃 비디오의 상이한 프레임들에서의 동일한 위치로부터 블록들에 대한 평균 강도 값의 시간적 변화를 나타내고, 질의 시계열 및 타깃 시계열은 정렬이 질의 비디오 및 타깃 비디오 사이에 존재하는지를 판정하는 데 이용된다.

Description

비디오들을 비교하는 방법 및 장치{METHOD AND APPARATUS FOR COMPARING VIDEOS}

본 발명은 비디오들을 비교하는 방법 및 장치에 관한 것이다.

예를 들어, YouTube, Google 비디오 및 Yahoo! 비디오와 같은 비디오 호스팅 웹사이트(video hosting website)에서, 비디오 컨텐츠는 이용자들에 의해 상기 사이트에 업로드되고 검색 엔진들을 통해 다른 사람이 이용 가능하게 될 수 있다. 현재의 웹 비디오 검색 엔진들은 이용자에 의해 입력되는 특정한 텍스트 질의에 기초하여 자신들의 관련성 점수들에 따라 순위화된 탐색 결과의 목록을 제공한다. 이용자는 그 후에 관심 비디오 또는 비디오들을 찾기 위해 상기 결과들을 고려해야만 한다.

이용자들이 비디오를 호스트에 업로드하고, 비디오들을 획득하고, 이 비디오들을 다시 일부 변형하여 배포하는 것이 용이하므로, 비디오 탐색 결과들에는 잠재적으로 수많은 복제된, 또는 거의 복제된 컨텐츠들이 존재한다. 그와 같은 복제들은 자체의 전체 컨텐츠 및 주관적 인상에 기초하여 이용자에 의해 “본질적으로 동일하다”고 간주될 것이다. 예를 들어, 복제 비디오 컨텐츠는 동일하거나 근사적으로 동일한 컨텐츠를 가지지만 파일 포맷들이 상이하고, 상이한 인코딩 파라미터들을 가지며, 그리고/또는 상이한 길이들로 이루어지는 비디오 시퀀스들을 포함할 수 있다. 다른 차이들은 컬러 및/또는 조명 변경들과 같은 측광 변화들, 및/또는 표제들, 로고들 및/또는 경계들의 추가 및 교체와 같은 공간 및/또는 시간 영역에서의 작은 편집 조작(editing operation)들일 수 있다. 이 예들은 철저한 목록인 것으로 의도되지 않으며 복제 비디오들에서 다른 유형들의 차이 또한 발생할 수 있다.

복제 비디오들의 확산은 이용자가 실제로 원하는 컨텐츠를 찾는 것을 어렵게 하거나 불편하게 할 수 있다. 예로서, 유튜브, 구글 비디오, Yahoo! 비디오로부터의 샘플 질의에 기초하여, 평균적으로 탐색 결과들에 기재되는 27% 이상의 복제에 가까운 비디오들이 존재한다고 밝혀졌으며, 인기 있는 비디오들은 상기 결과들에서 가장 많이 복제되는 것들이다. 탐색 결과들에서 복제 비디오들이 높은 퍼센티지로 제공되므로, 이용자들은 이것들을 추려내서 자신들이 원하는 비디오들을 찾는 데 있어서 현저한 시간을 소비해야만 하고 이미 봤던 비디오들의 유사한 카피들을 반복해서 시청해야만 한다. 복제 결과들은 이용자의 비디오 탐색, 검색 및 브라우징의 경험을 가치를 하락시킨다. 게다가, 그와 같은 복제된 비디오 컨텐츠는 네트워크들에 걸쳐 복제된 비디오 데이터를 저장 및 전송함으로써 네트워크 오버헤드를 증가시킨다.

비디오 카피 검출 기술의 하나의 유형은 시퀀스 매칭(sequence matching)이다. 시퀀스 매칭에서, 다수의 프레임들에 있어서의 시간 간격은 질의 비디오 및 타깃 비디오의 유사성을 비교하기 위한 기본을 제공한다. 전형적으로, 이것은 질의 비디오 프레임들 및 타깃 비디오 프레임들 이 둘 모두로부터, 예를 들어, 서열, 움직임, 컬러 및 중심 기반 피처(feature)들일 수 있는 피처들의 시퀀스를 추출하는 것을 포함한다. 추출된 피처 시퀀스들을 그 후에 비디오들 사이의 유사성 거리(similarity distance)를 결정하기 위해 비교된다. 예를 들어, 서열 서명(ordinal signature)들이 이용되는 경우, 각각의 비디오 프레임은 우선 N1 x N2 블록들로 분할되고 각각의 블록의 평균 강도(intensity)가 계산된다. 그 후에, 각각의 프레임별로, 블록들은 자신들의 평균 강도들에 따라 순위가 매겨진다. 순위 순서는 상기 프레임의 서열 척도(ordinal measure)인 것으로 고려된다. 하나의 비디오에 대한 서열 척도들의 시퀀스는 자신들의 유사성을 평가하기 위해 다른 비디오의 서열 척도들의 시퀀스와 비교된다.

시퀀스 매칭으로 인해 복제 비디오들 사이의 중첩 지점의 시작이 결정될 수 있다. 시퀀스 매칭 방법들은 코딩 및 프레임 해상도 변경들과 같은 포맷 수정들이 있는 거의 동일한 비디오들과 카피들 및 공간 및 시간 도메인들에서 사소하게 편집된 거의 동일한 비디오들 및 카피들에 적합하다. 특히, 공간 및 시간 서열 서명들을 이용함으로써 비디오 디지털화/인코딩 프로세스들에 의해 도입되는 비디오 왜곡들(예를 들어, 컬러, 밝기, 히스토그램 균등화, 인코딩 파라미터들의 변화들)의 검출 및 디스플레이 포맷 변환들(예를 들어, 레터-박스 또는 필라 박스(pillar-box)의 변환) 및 부분적 컨텐츠의 수정(예를 들어, 크로핑(cropping) 및 줌인)이 가능하다.

시퀀스 매칭 기술들은 특히 서열 척도들을 이용할 때, 비교적 쉬운 계산을 포함하고 프레임의 컴팩트한 재현을 제공한다. 시퀀스 매칭은 계산에 있어서 효율적인 경향이 있으며 실시간 계산들은 라이브 비디오를 프로세싱하는 데 실행될 수 있다. 예를 들어, 프레임들이 2 x 2로 분할된 서열 척도는 매 프레임을 표현하는 데 단지 4-차원들만을 필요로 하여, 2 프레임들 사이에서는 더 적은 비교점들이 요구된다.

그러나, 기존 시퀀스 매칭 기반 기술들은 프레임들의 삽입, 삭제 또는 대체들과 같은 프레임 스퀀스들의 변경들이 있는 복제 비디오 클립들을 검출할 수 없다. 프레임 시퀀스들의 변경들은 예를 들어 비디오에 광고들을 삽입하기 위해 이용자 편집에 의해 또는 비디오 호스팅 웹사이트들에 의해 도입된다. 이용자 수정의 유형을 미리 추정하는 것이 불가능하기 때문에, 프레임 시퀀스 변경들을 검출할 능력이 없으면 실제 생활 문제들에 시퀀스 매칭 기술들을 적용하는 것이 제한된다.

프레임들의 삽입들, 삭제들 또는 대체들과 같은 프레임 시퀀스 변경들이 있는 복제 비디오들을 검출하는 기존의 해법들은 키프레임 매칭(keyframe matching) 기술들에 기초한다.

키프레임 매칭 기술들은 통상적으로 비디오들을 일련의 키프레임들로 세그먼트화하여 비디오들을 표현한다. 각각의 키프레임들은 그 후에 영역들로 분할되고 피처(feature)들은 핵심 로컬 영역들로부터 추출된다. 피처들은, 예를 들어, 각각의 영역에 대한 컬러, 텍스처, 코너들 또는 형상 피처들일 수 있다. 키프레임 매칭은 시간적인 순서의 변경들 또는 프레임들의 삽입/검출과 같은, 상당한 정도의 편집이 있었던 근사 카피들을 검출할 수 있다. 그러나, 키프레임 내에 아주 많은 로컬 피처들이 존재하기 때문에, 키프레임들을 식별하고, 각각의 키프레임으로부터 로컬 피처들을 추출하고, 이들 사이에 메트릭 거리(metric distance) 비교를 수행하므로 비디오 클립을 데이터베이스 내의 수많은 비디오들에 대해 매칭하는 것은 계산적으로 비용이 많이 든다.

최근의 연구는 피처 벡터들을 고속 인덱싱(indexing)하여 또는 통계적 정보를 이용하여 피터 벡터들의 크기를 감소시킴으로써 키프레임 매칭 방법들의 속도를 개선하는 것을 목표로 해오고 있다. 그러나, 온라인 분석의 경우, 비디오를 키프레임들로 세그먼트화하는 비용 및 질의 비디오로부터 로컬 피처들을 추출하는 비용 이 둘 모두를 피할 수 없다. 웹 2.0 비디오 호스팅 환경에서 온라인 실시간 비디오 복제 검출을 제공하는 것은 실제적인 난제가 된다. 키프레임 매칭 방법은 미세-조밀도 분석으로 데이터베이스 비디오들을 모으고 분류하는 오프라인 비디오 리던던시(redundancy) 검출에 더 적합하다.

본 발명의 제 1 양태에 따르면, 질의 비디오 및 타깃 비디오를 비교하는 방법은 질의 비디오의 프레임들 및 타깃 비디오의 프레임들을 블록들로 분할하는 단계와 각각의 블록에 대한 평균 강도 값을 계산하는 단계를 포함한다. 복수의 질의 시계열이 질의 비디오에 대해 생성되며, 각각의 질의 시계열은 질의 비디오의 상이한 프레임들에서의 동일한 위치로부터 블록들에 대한 평균 강도 값의 시간 변화를 나타낸다. 복수의 타깃 시계열은 타깃 비디오에 대해 생성되고, 각각의 타깃 시계열은 타깃 비디오의 상이한 프레임들에서의 동일한 위치로부터 블록들에 대한 평균 강도 값의 시간 변화를 나타낸다. 질의 시계열 및 타깃 시계열은 정렬(alignment)이 질의 비디오 및 상기 타깃 비디오 사이에 있는지를 판정하는 데 이용된다. 본 발명을 이용함으로써, 유사성들에 대해 비교될 수 있는 시계열이 생성될 수 있다. 복제 비디오들은 자신들이 관련되어 있음을 식별하는 데 이용될 수 있는 자신들 각각의 시계열들에 유사성들을 나타낸다. 본 발명에 따른 방법은 2개의 비디오들 사이의 비교 공간을 감소시킴으로써 효율적인 비디오 복제 검출을 제공한다.

하나의 실시예는 질의 시계열 및 타깃 시계열을 이산 선형 세그먼트들의 각각의 세트로 분할하는 단계와 상기 선형 세그먼트들의 로컬 시퀀스 정렬을 수행하는 단계를 포함한다. 선형 세그먼트화는 평균 비디오 강도들이 이후에 정렬에 대해 비교될 수 있는 선형 인클라인(incline)들/디클라인들의 이산 목록으로 압축되는 것을 가능하게 한다.

복제 비디오들에서, 중첩 비디오 영역들은 통상적으로 비디오 시퀀스들의 전체 길이에 걸치지 않고 유사한 영역들은 격리될 수 있다. 그러므로, 선형 세그먼트들의 로컬 정렬이 필요하다. 생물정보공학에서, 두 개의 뉴클레오타이드 또는 단백질 서열들 사이에서 유사한 영역들을 결정하는 데 Smith-Waterman 알고리즘이 널리 공지되어 있다. Smith-Waterman 알고리즘은 모든 가능한 길이들의 스트링 세그먼트들을 비교하고 유사성 척도(similarity measure)를 최적화한다. 본 발명자들은 Smith-Waterman 알고리즘이 비디오 강도 세그먼트들에 대한 로컬 정렬을 수행하도록 확장될 수 있음을 인식하였다. 스트링들을 비교하는 대신, 비디오들 사이의 로컬 최적 정렬을 찾기 위해 강도 선형 세그먼트들이 비교된다.

Smith-Waterman 알고리즘은 최적화 탐색을 제공하는 동적 프로그래밍 알고리즘이다. 이는 시간 및 메모리 자원들을 상당히 요구한다; 계산 복잡도는 0(MN)이고 저장은 0(min(M,N))이며, 여기서 M 및 N은 비교 대상의 시퀀스들의 길이들이다.

탐색 프로세스를 가속하기 위해서, 모든 인텐시티 세그먼트들을 정렬하는 대신, 하나의 실시예에서, 주 인클라인들/디클라인들의 시퀀스는 비교되는 비디오들의 키 서명들의 재현들로서 선택된다. 더 시간 소모적인 Smith-Waterman 알고리즘을 수행하기 전에 성공적인 정렬을 일으킬 가능성이 없는 정렬들을 잘라냄으로써 발견적인 방법이 상기 주 인클라인들/주 디클라인들의 고속 정렬을 제공하는 데 적용된다. 이것은 계산 비용을 감소시킨다. 발견적 방법은 매우 유사하지 않은 비디오들을 필터링함으로써 그리고 유사한 비디오들에 대한 잠재적 매칭 영역들을 좁힘으로써 매칭 알고리즘의 실행을 처리한다.

본 발명에 따른 하나의 실시예는 비디오 복제 검출 기술들을 적용하기 전에 미리 이용자 수정들의 유형을 인지하는 것이 실행 불가능한 곳에서 시퀀스 매칭 기술들이 이용되도록 함으로써 유용할 수 있다. 게다가, 이것은 효율적인 검출을 제공할 시퀀스 매칭 방법들을 이용하는 장점들을 지닌다.

본 발명에 따른 하나의 실시예를 이용하여 프레임 변경들이 있는 복제 비디오들을 검출하는 것은 이용자 피처로서 비디오 웹사이트들에 의해 이용될 수 있거나; 또는 로열티 지급들을 추적하기 위해 그리고 가능한 저작권 침해들을 검출하기 위해 비디오 컨텐츠 공급자들에 의해 이용될 수 있거나; 또는 네트워크 트래픽을 줄이고 비디오 컨텐츠의 저장을 관리하기 위해 통신 "파이프(pipe)들"(예를 들어, 인터넷 서비스 공급자(Internet Service Provider; ISP)들, 피어-투-피어(peer-to-peer; P2P) 시스템 공급자들, 컨텐츠 배포 네트워크(content distribution network; CDN))에 의해 이용될 수 있다. 이는 이용자들이 탐색, 검색 및 브라우징할 서비스를 제공하기 위해 비디오 호스팅 웹사이트들이 복제에 가까운 비디오들을 제거 또는 수집하는 것을 보조할 수 있다. 이는 또한 예를 들어 고품질(high quality;HD) 또는 3D를 가지는 유사한 비디오들을 찾음으로써 비디오 컨텐츠-기반 탐색을 용이하게 할 수 있다.

기존의 비디오 복제 시스템은 본 발명에 따른 하나의 실시예를 포함하도록 수정되어 프레임 삽입들, 삭제들 또는 대체들과 같은 이용자 수정들을 처리할 능력을 강화할 수 있다.

본 발명의 제 2 양태에 따르면, 디바이스는 제 1 양태에 따른 방법을 수행하도록 프로그램되거나 구성된다.

본 발명의 제 3 양태에 따르면, 제 1 양태에 따른 방법을 수행하기 위한 머신-실행 가능 프로그램을 저장한 데이터 저장 매체가 제공된다.

본 발명의 일부 실시예들은 이제 첨부 도면들을 참조하는 예를 통해서만 기술될 것이다:
도 1은 비교될 비디오들 및 비교 프로세스에서의 스테이지(stage)를 개략적으로 도시하는 도면;
도 2는 본 발명에 따른 방법을 개략적으로 도시하는 도면;
도 3은 하나의 블록에 대해 시간에 따라 강도(intensity)의 변화들을 개략적으로 도시하는 도면;
도 4는 선형 세그먼트화를 개략적으로 도시하는 도면;
도 5는 비교된 비디오들에 대한 강도의 변화들을 개략적으로 도시하는 도면;
도 6은 도 2의 방법에서 이용되는 매트릭스를 개략적으로 도시하는 도면;
도 7은 도 2의 방법에서 이용되는 매칭에서의 단계들을 개략적으로 도시하는 도면;
도 8은 도 2의 방법에서 이용되는 매칭에서의 단계들을 개략적으로 도시하는 도면; 및
도 9는 본 발명에 따른 장치를 개략적으로 도시하는 도면.

도 1을 참조하면, 복수의 프레임들을 포함하는 질의 비디오(1)는 타깃 비디오들이 복제인지를 판정하기 위해 하나 이상의 타깃 비디오들과 비교되어야 한다.

도 2를 참조하면, 2에서, 질의 비디오(1)에서의 각각의 프레임은 N1 x N2 블록들로 분할된다. 각각의 블록에 대한 평균 강도 값은 3에서 계산된다. 각각의 프레임을 분할함으로써, 분할된 서브-영역들의 강도 변화들의 차이들이 보유된다. 각각의 블록의 경우, 계산된 평균 강도 값은 4에서 질의 시계열(time series)을 생성하기 위해 프레임 수에 대해 플롯팅(plotting)된다. 이 예에서, 모든 블록들은 비디오(1)와 연관되는 N1 x N2 시계열들을 제공하기 위해 프로세싱된다. 다른 실시예에서, 선택된 블록들만이 포함되어, 결과적으로 N1 x N2보다 더 적은 시계열이 생성된다.

비교를 위해, 도 1에 도시된 타깃 비디오(5)는 질의 비디오(1)에 기초하지만 히스토그램 균등화, 추가 밝기 및 경계 및 프레임 삭제에 의해 수정되었다. 타깃 비디오(5)가 상술한 바와 동일한 방식으로 프로세싱되면, 6에서 도시된 타깃 시계열이 획득된다. 타깃 비디오(5)로부터의 블록들에 대한 강도의 변화들은 일반적으로 형태에 있어서 비디오(1)의 것들과 유사하다는 것이 확인될 수 있다. 예를 들어, 4에서의 질의 시계열에 대한 프레임 수(806)에서, 하나의 블록에 대한 평균 강도는 증가하지만 다른 블록의 평균 강도는 이것들이 전환될 수 있도록 감소한다. 유사한 전환은 6에서 타깃 시계열에 대한 프레임(739)에서 확인될 수 있다.

도 2에서의 7에서의 다음 단계는 구분적(piecewise) 선형 세그먼트화 기술들을 이용하여 질의 및 타깃 시계열의 시간 변경들에 의해 제공되는 정보를 캡처하는 것이다. 시계열을 나눔으로써, 비디오는 압축되고 비디오 강도들의 시간 변화들에서의 필수 정보의 대부분이 캡처된다. 이용자 수정, 비디오 왜곡 및 포맷 변환들로 인해, 비디오 복제 검출에 있어서 정확한 매치들을 기대할 수 없고 시간적 강도들의 사소한 변화들을 무시함으로써 비디오 복제 검출 프로세스가 노이즈에 상대적으로 둔감해진다.

도 3(a)는 도 1에서의 4 또는 6에서 도시된 바와 같은 하나의 시계열의 일부에 대한 평균 강도의 변화를 도시한다. 도 3(b)는 선형 세그먼트화가 적용된 이후에 도 1(a)에 도시된 시계열의 일부를 도시한다.

시계열을 분리하기 위해 상향식(Bottom-up) 알고리즘이 이용된다. 상향식 방법은 시계열에서 널리 공지되어 있는 근사 알고리즘이다. 이는 가장 미세하게 가능한 근사로부터 시작해서 중단 기준이 만족될 때까지 세그먼트들을 반복해서 통합한다. 이 경우에, 근사 라인을 찾기 위해 선형 회귀(linear regression)보다는 선형 보간(linear interpolation)이 이용되는 데, 선형 보간이 계산 복잡도가 낮으면서도 일정한 시간에 획득될 수 있기 때문이다. 잠재적 세그먼트에 대한 끼워맞춤 등급(quality of fit)은 잔차 에러(residual error)를 이용하여 구해진다. 잔차 에러는 최상 끼워맞춤 라인 및 실제 데이터 지점들 사이의 수평 차들 모두를 취하고, 이를 제곱하고 그 후에 이것들을 서로 합산함으로써 계산된다.

다른 실시예들에서, 시계열의 고속 선형 세그먼트화는 극점들로서 주 최대 및 주 최소점들을 추출하는 것을 이용하는 보간 방법에 의해 달성된다. 도 4(a)는 최대 및 최소점들을 이용하는 선형 근사를 도시한다. 그러나, 발명자들은 이 점들에만 의존하면 8에 도시된 것과 같은, 점프 지점들이 배제된다는 것을 인식하였다. 점프 지점들은 예를 들어 짧은 시간 거리 내에서 위 또는 아래로 점프하는 것과 같이 값들의 빠른 변화들에 대응한다. 비디오 블록열들에 대한 강도 곡선들의 경우, 이 점프들은 전형적으로 급진적 장면 전환들 또는 페이드 인/아웃에 의해 발생되는 샷 경계들을 나타낸다. 그러므로, 이 예에서, 선형 세그먼트화 기술이 확장되어, 선형 세그먼트화 방법에서 이용되는 극점들이 도 4(b)에 도시된 바와 같이 최대점들, 최소점들 및 점프 지점들이 되도록 또한 점프 지점들을 포함한다.

시계열의 선형 세그먼트화 이후에, 시계열의 주 인클라인들/디클라인들은 9에서 유의미한 비디오 서명들을 제공하는 것으로 선택된다. 이로 인해 선형 세그먼트들을 정렬하기 위한 탐색 공간이 축소될 수 있다.

더 긴 거리 및 더 깊은 하이트(height)를 가지는 선형 세그먼트들은 통상적으로 현저한 장면의 변화들을 나타낸다. 그러므로 이것들은 주 인클라인들로 선택된다. 연속 주 인클라인들을 매칭하는 것은 주 장면 변화들에 대한 동일한 시퀀스로 유사한 행위를 따르는 비디오 카피들을 표시한다. 대조적으로, 깊은 하이트(height)들 그러나 매우 짧은 거리들의 선형 세그먼트들은 전형적으로 급격한 화면 전환들 또는 페이드들과 같은 셧 경계들과 연관된다. 그와 같은 선형 세그먼트들은 흔히 장면 내의 변화들을 나타내는 정보보다 더 적은 정보를 포함한다. 셧 경계는 모든 분할된 블록들로부터의 선형 세그먼트들이 동일한 시간(즉, 동일한 시작 프레임 ID들)에서 발생하는 동일한 단거리 내에 깊은 하이트(height)들을 가진다. 셧 경계들을 나타내는 상기 선형 세그먼트들은 주 인클라인들을 선택하는 프로세스에서 무시된다.

12에서, 질의 비디오 및 타깃 비디오의 주 인클라인들/디클라인들은 성공적인 정렬로 이어질 가능성이 있는 연속 매칭되는 인클라인들/디클라인들을 가지는 근사 정렬들을 찾기 위해, 도 5에서 도시된 바와 같이, 비교된다. 도 6을 참조하면, M1 대 M2 매트릭스가 생성되고, 여기서 M1 및 M2는 비교 대상의 주 인클라인들/디클라인들의 길이들이다. i 및 j에서의 두 주 인클라인들/디클라인들이 매칭되면, 매트릭스(i, j)에 값 "1"이 놓인다. 선형 세그먼트 S₁[i₁,...,j₁] 및 세그먼트 S₂[i₂,...,j₂] 사이의 유사성을 검사하기 위해, 세그먼트들의 하이트들 및 길이들뿐만 아니라, 두 세그먼트들 내에 포함되는 비디오 프레임들의 유사성을 고려한다. 더 정밀하게, 이 두 세그먼트들은 다음의 경우에 유사하다.

°

. 즉, 두 세그먼트들은 유사한 길이들로 이루어진다. 이 구현예에서, ratio_L = 0.9이다.

°

. 즉, 두 세그먼트들은 유사한 길이들로 이루어진다. 이 구현예에서 ratio_H = 0.75이다.

° min_pD(p)≤dist. 즉, 2개의 대응하는 프레임 시퀀스들 사이의 최소 거리는 더 긴 시퀀스를 따라 더 짧은 시퀀스가 '슬라이딩(sliding)'할 때 최대가 임계 상수이고, 여기서 p의 범위는 더 긴 비디오 내의 슬라이딩하는 프레임 지점의 시작점에 걸쳐 있다. 이 실시예에서, 자체의 효율 및 정확성으로 인해 비디오 유사성 거리를 계산하는 시간 및 공간 서열 서명 알고리즘들이 선택된다.

두 프레임 시퀀스들(F₁ 및 F₂)이 제공되면, 서열 서명 측정은 두 프레임 시퀀스들(F₁ 및 F₂) 사이의 거리를 계산한다.

여기서, L = j₁ - i₁는 더 짧은 시퀀스의 길이이다.

이용자 수정 및 비디오 프로세싱 기술들이 히스토그램 균등화, 프레임 크기조정 또는 크롭핑과 같은 비디오 강도 값들의 차를 발생시키므로, 유사한 강도 선형 세그먼트들의 밝기/컬러/색조, 다른 추가된 노이즈들, 하이트들의 변경들이 상이할 수 있다. 유사한 선형 세그먼트들의 거리들은 또한 선형 세그먼트 근사 에러 또는 다른 이용자 도입 노이즈들로 인해 상이할 수 있다. 파라미터 ratio_H 및 ratio_L을 이용함으로써 그와 같은 노이즈들의 오차가 일정한 정도까지 허용된다. 여기서 서열 서명 기반 측정 D(p)가 2개의 프레임 시퀀스들의 거리를 계산하는 데 이용될지라도, 비디오 프레임들의 매칭은 시퀀스 매칭 또는 키프레임 기반 매칭 알고리즘들을 이용하는, 다른 전역 디스크립터(despcirptor)들 또는 심지어 로컬 디스크립터들에 기초할 수 있다.

주 인클라인들을 정렬한 후에, 잠재적 주 인클라인 정렬들은 도 7에 도시된 바와 같이, 더 정렬된 선형 세그먼트들을 찾기 위해 이웃하는 비-주 인클라인들로 확장된다. 이 단계는 다음 스테이지에서 Smith-Waterman 알고리즘을 적용하는 데 필요한 비교들의 수를 감소시키기 위해 불필요한 정렬들을 걸러낸다.

다음 단계에서, 핵심 근사 정렬들을 찾기 위해, 발명자들은 정렬이 유사한 DNA 및 단백질 서열들을 찾는 데 이용되는 고속 탐색 알고리즘인 FASTA에 의해 제공되는 방법과 유사한 방법을 이용하여 실행될 수 있음을 인식하였다. 연속 값 “1”들의 모든 대각선들은 도 8(a)에 도시된 바와 같이 식별된다. 다음, 길이가 미리 규정된 임계값보다 더 긴 그러한 대각선들이 보유되고 단일 매치들 및 짧은(short) 정렬된 세그먼트들은 도 8(b)에 도시된 바와 같이 무시된다. 그 후에, 도 8(c)에 도시된 바와 같이, 상위 K개의 가장 긴 대각선들이 선택된다. 정렬의 전체 길이를 확장하기 위해, 더 긴 세그먼트를 형성하도록 상위 K개의 대각선들 중 서로 가까이 있는 그러한 세그먼트들을 결합하는 시도가 행해진다. 프레임 삽입들, 삭제들 및 대체들을 고려하기 위해 결합된 더 긴 세그먼트들에서 갭들이 허용된다.

이웃하는 대각선들을 연결할 때, 대각선 매칭된 라인들에는 보상 점수들이 할당되고 갭들, 즉 미스매치들에는 페널티 점수들이 할당된다. 점수는 연결된 대각들의 각각의 보상 점수들을 더하고 갭 페널티들을 공제함으로써 획득된다. 링크된 근사 정렬의 점수가 소정의 임계값을 초과하면, 이전에 무시된 링크된 세그먼트들 주위의 초기의 짧은 정렬된 세그먼트들이 도 8(d)에 도시된 바와 같이 근사 정렬을 형성하도록 결합될 수 있는지를 판정하는 검사가 행해진다. 최종적으로, 임계값을 초과하는 최종 점수들을 가지는 로컬 근사 정렬들이 추가 조사를 위해 선택된다.

다음 15에서의 스테이지는 Smith-Waterman 알고리즘을 적용함으로써 비교된 비디오들의 모든 강도 선형 세그먼트들의 미세-조립도 정렬을 수행하는 것이다. 이전에 찾은 주 인클라인들/디클라인들의 근사 정렬들에 기초하여, 성공적인 정렬로 이어질 수 있는 선형 강도 세그먼트들의 목록이 결정될 수 있다. Smith-Waterman 알고리즘은 단지 제한된 범위의 선형 세그먼트들을 조사할 필요가 있다.

Smith-Waterman 알고리즘은 최적의 정렬을 찾기 위해 편집 거리를 이용한다. 이것은 다음과 같이 점수 매트릭스 H를 구성한다:

여기서 x 및 y는 잠재적으로 정렬되는 선형 세그먼트들의 목록들이고, M 및 N은 x 및 y 시퀀스들의 길이들이고, ω(x_i,y_j)는 점수 획득 방식이다. x_i 및 y_j가 매칭되면, ω(x_i,y_j)는 양이고 x_i 및 y_j가 매칭되지 않으면, ω(x_i,y_j)는 음이다. 삽입 및 삭제의 경우, ω(x_i,-) 및 ω(-,y_j)가 음이다.

Smith-Waterman 알고리즘은 매트릭스 H 내의 최대 점수를 탐색하고 그 후에 매트릭스를 구성하는 데 이용되는 이동 방향에 따라 최적 경로를 역추적함으로써 로컬 정렬을 찾는다. 이는 0의 점수에 도달될 때까지 이 프로세스를 유지한다. 일단 로컬 최적 정렬이 획득되면, 비디오 유사성 거리는 매칭된 선형 세그먼트들에 대해 기존의 시퀀스 매칭 기술들을 적용함으로써 16에서 계산된다. 이 실시예에서, 2 x 2 분할들이 있는 서열 측정이 이용되어 비디오 유사성 거리를 결정한다. 거리가 17에서 임계값보다 더 적다고 밝혀지면, 2개의 비교된 비디오들은 복제들인 것으로 간주된다.

다음으로, 비디오 프레임 레벨에서의 정렬은, 선형 세그먼트 레벨 대신, 선형 세그먼트들에 대해, 18에서 조사된다. 최적의 로컬 정렬이 강도 선형 세그먼트들에 기초하므로, 프레임 변화들이 세그먼트 내에서 발생하면, 전체 세그먼트는 상술한 바와 같이 Smith-Waterman 알고리즘을 이용하여 매칭이 아닌 것으로 간주된다. 매칭되지 않은 세그먼트들 내의 잠재적 매칭 지점들을 찾기 위해, 프레임 대 프레임 비교는 프레임 레벨 유사성 거리를 계산하기 위해 수행된다. 프레임 유사성 거리가 Smith-Waterman 알고리즘을 이용하여 획득되는 비디오 유사성 거리보다 더 작으면, 상기 프레임들은 매칭되는 것으로 간주된다. 이것은 상기 매칭되지 않은 세그먼트들 내의 매칭된 프레임들의 유사성 거리가 매칭된 세그먼트들의 나머지로부터 획득되는 평균 비디오 유사성 거리를 초과하지 않는 것을 보장한다. 프레임 비교들은 매칭되지 않는 세그먼트들의 시점 및 종점 모두로부터 세그먼트들의 중간으로 개시된다. 매칭은 프레임 유사성 거리가 비디오 유사성 거리보다 더 클 때까지 계속된다. 비디오 중첩 지점들이 그 후에 갱신된다.

그러므로, 이 실시예에서, 분할된 블록들의 강도 값들의 변화들은 우선 시계열로 고려된다. 그 후에, 시계열은 이산 선형 재현들의 목록으로 분리된다. 로컬 시퀀스 정렬은 최적의 매칭 지점을 찾기 위해 상기 선형 세그먼트들에 대해 수행된다. 그러고 나서 비디오 유사성 거리는 잠재적 정렬 지점에 기초하여 계산된다. 최상의 매칭 유사성 거리가 소정의 임계값보다 더 작은 경우, 두 비디오들은 복제인 것으로 간주된다. 프레임들, 갭들의 변경들을 처리하기 위해, 프레임 삽입들, 삭제들 및 대체들의 결과는 선형 시퀀스 세그먼트들을 비교하고 있을 때 존재하도록 허용된다.

도 9를 참조하면, 비디오 관리 장치는 비디오 파일들을 보유하는 데이터베이스 또는 저장소(19)를 포함한다. 데이터베이스(19)는 일반적으로 인터넷을 통해 이용자에게 액세스 가능한 데이터베이스일 수 있고, 예를 들어 액세스가 제한되는 라이브러리 또는 다른 보관소일 수 있다. 다른 유형들의 저장소 또는 데이터베이스는 이 가능성들 대신 또는 외에 이용될 수 있다.

이용자는 자신이 데이터베이스(19)에 추가하고자 원하는 비디오 Q를 이용자 인터페이스(20)를 통해 비디오 Q를 제출함으로써 송신한다. 비디오 Q는 비디오 데이터베이스(19)에 그리고 파티셔너(21)에 또한 송신된다. 동작의 스테이지 1에서, 파티셔너(21)는 비디오 Q의 각각의 프레임을 N1 x N2 블록들로 분할한다. 계산기(22)는 블록들의 각각에 대한 평균 강도 값들을 계산한다.

스테이지 2에서, 평균 강도 값 데이터는 계산기(22)로부터의 세그먼터(23)에 의해 수신된다. 세그먼터(23)는 각각의 블록의 평균 세기들의 변화들을 분할한다. 그 후에 소터(24)는 세그먼트 시작 프레임 ID들에 기초하여 모든 블록들로부터의 선형 세그먼트들을 분류된 목록으로 분류한다. 선택기(25)는 분류된 목록을 수신하고 분류된 목록으로부터 주 인클라인들/주 디클라인들을 선택한다.

다음 스테이지, 스테이지 3에서, 얼라이너(aligner)(26)는 질의 비디오의 선택된 주 인클라인들과 주 다클라인들 및 유사한 프로세싱을 겪었던 하나 이상의 타깃 비디오들의 주 인클라인들과 주 디클라인들 사이에서의 근사 매치를 찾는 시도를 행한다. 결과들은 제 1 비교기(27)에 의해 테스트된다. 유사성이 없어서, 제공된 임계 파라미터에 반하는 것으로 판단되면, 질의 비디오 및 타깃 비디오 또는 비디오들은 복제들이 아닌 것으로 간주되고, 복제 검출 프로세스는 28에서 중단된다.

비교기(27)가 근사 얼라인먼인트를 검출하면, 스테이지 4에서, 밴드형 Smith-Waterman 알고리즘이 프로세서(29)에 의해 적용되고 그 결과들은 유사성 거리 계산기(30)에 적용된다. 유사성 거리 계산기(30)의 출력은 제 2 비교기(31)에 의해 제공된 임계값에 반하여 검사된다. 불충분한 유사성이 있는 경우, 비교된 비디오들은 복제들이 아닌 것으로 간주되고 프로세스는 32에서 중단된다.

충분한 유사성이 있는 경우, 스테이지 5에서, 프레임 매처(33)는 비디오 삽입들, 삭제들 또는 대체들을 위해 매칭되지 않은 프레임 위치들을 검사한다.

복제 검출 프로세스의 결과들은 저장된 비디오들을 관리하는 데 이용되도록 비디오 데이터베이스(19)에 송신된다. 질의 비디오가 복제인 것으로 밝혀지지 않으면, 비디오 데이터(19)는 저장을 위해 그것을 수용한다. 질의 비디오가 복제인 것으로 밝혀지면, 하나의 실시예에서, 비디오 데이터베이스(19)는 이를 거절하고 이용자에게 거절을 고지하거나 하지 않는다.

대안의 실시예 또는 모드에서, 질의 비디오가 복제인 것으로 밝혀지는 경우, 이는 비디오 데이터베이스(19) 내로 수용되지만, 질의 비디오는 복제로서, 바람직하게는 복제 비디오가 정합하고 있는 타깃 비디오를 참조하여 표기된다. 복제 비디오들은 그룹으로 함께 모일 수 있다. 데이터베이스에 대해 수행되는 탐색이 상기 그룹 중 하나를 호출하면, 다른 그룹 멤버들은, 어떠한 복제물들이라도 다른 비복제물 이후에 제공되는 경향을 가지도록, 탐색 결과들로부터 보이지 않을 수 있거나 탐색 결과들에 있어서 다른 방식으로 가치를 획득하는 것보다 더 낮은 순위를 제공받을 수 있다.

도 9의 비디오 관리 장치는 데이터베이스(19) 내에 보유되어 있는 비디오들이 질의 비디오가 제출되기 전에 21 및 22에서 분할되고 프로세싱되도록 수정될 수 있다. 예를 들어, 하나의 실시예에서, 비디오가 복제들에 대해 조사되기 위해서 제출될 때 획득되는 데이터가 보유되고 비디오 데이터베이스(19)에 저장되도록 송신될 수 있다. 상기 비디오가 후속해서 데이터베이스(19) 내로 수용되지 않으면, 상기 데이터는 삭제된다. 비디오가 데이터베이스 내로 수용되면, 비디오와 연관되는 데이터가 보유되고 얼라이너(aligner)(26)에서 사용하는 데 이용 가능하다. 다른 실시예에서, 비디오 데이터베이스(19) 내의 비디오들은 복제들에 대한 테스팅에 반드시 이용되지 않았더라도 스테이지 1 및 스테이지 2에서 분할 및 프로세싱될 수 있다. 예를 들어, 데이터 프로세싱은 새 비디오들을 수신하기 위해 데이터베이스를 개방하기 전에 준비 국면의 일부로서 실행될 수 있다.

“프로세서들”로서 라벨링된 임의의 기능 블록들을 포함하는 도면들에 도시된 다양한 요소들의 기능들은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 연관되어 소프트웨어를 실행시킬 수 있는 하드웨어를 이용하는 것을 통해 제공될 수 있다. 프로세서에 의해 제공될 때 상기 기능들은 단일 전용 프로세서에 의해, 단일 공유 프로세서에 의해 또는 일부가 공유될 수 있는 복수의 개별 프로세서들에 의해 제공될 수 있다. 더욱이, 용어 “프로세서”의 명시적인 사용이 소프트웨어를 실행시키는 하드웨어를 배타적으로 칭하는 것으로 해석되어서는 안 되며, 제한 없이, 디지털 신호 프로세서(digital signal processor; DSP) 하드웨어, 네트워크 프로세서, 주문형 반도체(application specific integrated circuit; ASIC), 필드 프로그래머블 게이트 어레이(field programmable gate array; FPGA), 소프트웨어를 저장하는 판독 전용 메모리(“ROM”), 임의 액세스 메모리(“RAM”), 및 비휘발성 스토리지를 암시적으로 포함할 수 있다. 종래의 그리고/또는 주문형의 다른 하드웨어 또한 포함될 수 있다.

본 발명은 본 발명의 정신 또는 필수적인 특징들을 벗어나지 않는 다른 특정한 형태들로 구현될 수 있다. 기술되는 실시예들은 모든 면들에서 단지 예시적인 것으로써 간주되어야지 제한하는 것으로 간주되어서는 안 된다. 그러므로 본 발명의 범위는 상술한 설명에 의해서라기보다는 첨부된 청구항들에 의해 지시된다. 청구항들의 등가물의 의미 및 범위 내에 해당하는 모든 변화들은 청구항들의 영역 내에 포함될 수 있다.

Claims

질의 비디오(query wideo) 및 타깃 비디오(target video)를 비교하는 방법으로서,
상기 질의 비디오의 프레임들 및 상기 타깃 비디오의 프레임들을 블록들로 분할하는 단계와,
각각의 블록에 대한 평균 강도 값을 계산하는 단계와,
상기 질의 비디오에 대한 복수의 질의 시계열(query time series)을 생성하는 단계－각각의 질의 시계열은 상기 질의 비디오의 상이한 프레임들에서의 동일한 위치로부터 블록들에 대한 평균 강도 값의 시간 변화(temporal variation)를 나타냄－와,
상기 타깃 비디오에 대한 복수의 타깃 시계열을 생성하는 단계－각각의 타깃 시계열은 상기 타깃 비디오의 상이한 프레임들에서의 동일한 위치로부터 블록들에 대한 평균 강도 값의 시간 변화를 나타냄－와,
상기 질의 시계열 및 상기 타깃 시계열을 이용하여 상기 질의 비디오와 상기 타깃 비디오 사이에 정렬(alignment)이 존재하는지를 판정하는 단계를 포함하는
방법.
제 1 항에 있어서,
상기 질의 시계열 및 상기 타깃 시계열을 이산 선형 세그먼트들의 각각의 세트로 분할하는 단계와 상기 선형 세그먼트들의 로컬 시퀀스 정렬을 수행하는 단계를 포함하는
방법.
제 2 항에 있어서,
상기 분할된 시계열로부터 주 인클라인(incline)들 및 주 디클라인(decline)들을 선택하는 단계와, 정렬을 수행하는 데 상기 주 인클라인들 및 주 디클라인들을 이용하는 단계를 포함하는
방법.
제 3 항에 있어서,
상기 선택된 주 인클라인들 및 상기 주 디클라인들은 점프 인클라인들 및 점프 디클라인들을 배제하는
방법.
제 2 항에 있어서,
연속 매칭되는 인클라인들 및 디클라인들을 가지는 근사 정렬들을 획득하기 위해 상기 질의 비디오의 주 인클라인들 및 주 디클라인들을 상기 타깃 비디오의 주 인클라인들 및 주 디클라인들과 비교하는
방법.
제 5 항에 있어서,
주 인클라인들/주 디클라인들의 질의 비디오 시퀀스를 주 인클라인들/주 디클라인들의 타깃 비디오 시퀀스에 대하여 매칭시키는 단계를 포함하는
방법.
제 6 항에 있어서,
상기 매칭시키는 단계는 주 인클라인들/주 디클라인들의 타깃 비디오 시퀀스에 대하여 플롯팅(plotting)되는 주 인클라인들/주 디클라인들의 질의 비디오 시퀀스를 갖는 셀들을 구비한 매트릭스를 생성하고, 매치가 존재하는 경우, 상기 매트릭스의 적절한 셀 내에 마커(marker)를 추가함으로써 수행되는
방법.
제 7 항에 있어서,
주 인클라인들/주 디클라인들을 정렬한 후에, 상기 주 인클라인들/주 디클라인들을 이웃하는 비-주 인클라인들/비-주 디클라인들로 확장하는
방법.
제 8 항에 있어서,
추가 정렬 프로세싱을 위해, 마커들을 갖는 연속 셀들의 대각선들을 식별하는 단계와, 소정의 임계값보다 더 큰 길이를 가지는 대각선들을 보유하는 단계를 포함하는
방법.
제 9 항에 있어서,
K 개의 가장 긴 대각선들을 선택하는 단계 및 더 긴 세그먼트를 형성하기 위해 상위 K 개의 대각선들에 포함된 근접 위치된 세그먼트들을 결합하도록 시도하는 단계를 포함하는
방법.
제 10 항에 있어서,
대각선 매칭된 라인들에 보상 점수를 그리고 더 긴 라인들에 있는 갭들에 페널티 점수를 부여하는 단계와, 링크된 근사 정렬의 결합된 점수가 소정의 점수 임계값을 초과하면, 상기 링크된 세그먼트들 주위에 있는 이전에 무시된 초기의 짧은(short) 정렬된 세그먼트들이 근사 정렬을 형성하기 위해 결합될 수 있는지를 확인하는 단계와, 추가 검사를 위해 최종 점수 임계값을 초과하는 최종 점수를 가지는 로컬 근사 정렬들을 선택하는 단계를 포함하는
방법.
제 3 항에 있어서,
가능한 성공적인 정렬들의 세트를 선택하기 위해 세그먼트들의 근사 정렬을 획득하는 단계와 그 후에 상기 선택된 세트에 Smith-Waterman 알고리즘을 적용하는 단계를 포함하는
방법.
제 12 항에 있어서,
상기 선택된 세트에 포함되지 않는 근사 정렬된 세그먼트들에 대한 프레임 레벨에서 정렬을 수행하는 단계를 포함하는
방법.
제 1 항에 있어서,
상기 질의 비디오가 상기 타깃 비디오의 복제물이 아니라고 판정될 때 상기 타깃 비디오를 보유하는 비디오 데이터베이스 내에 상기 질의 비디오를 저장하는 단계를 포함하는
방법.
질의 비디오의 프레임들 및 타깃 비디오의 프레임들을 블록들로 분할하는 단계와,
각각의 블록에 대한 평균 강도 값을 계산하는 단계와,
상기 질의 비디오에 대한 복수의 질의 시계열을 생성하는 단계－각각의 질의 시계열은 상기 질의 비디오의 상이한 프레임들에서의 동일한 위치로부터 블록들에 대한 평균 강도 값의 시간 변화를 나타냄－와,
상기 타깃 비디오에 대한 복수의 타깃 시계열을 생성하는 단계－각각의 타깃 시계열은 상기 타깃 비디오의 상이한 프레임들에서의 동일한 위치로부터 블록들에 대한 평균 강도 값의 시간 변화를 나타냄－와,
상기 질의 시계열 및 상기 타깃 시계열을 이용하여 상기 질의 비디오와 상기 타깃 비디오 사이에 정렬이 존재하는지를 판정하는 단계를 포함하는 방법을 수행하도록 프로그램되거나 구성되는
디바이스.
제 15 항에 있어서,
상기 질의 시계열 및 상기 타깃 시계열을 이산 선형 세그먼트들의 각각의 세트로 분할하는 단계와, 상기 선형 세그먼트들의 로컬 시퀀스 정렬을 수행하는 단계를 포함하는 방법을 수행하도록 프로그램되거나 구성되는
디바이스.
제 16 항에 있어서,
상기 분할된 시계열로부터 주 인클라인들 및 주 디클라인들을 선택하고 정렬을 수행하는 데 상기 주 인클라인들 및 주 디클라인들을 이용하도록 프로그램되고 구성되는
디바이스.
제 17 항에 있어서,
상기 선택된 주 인클라인들 및 주 디클라인들은 점프 세그먼트들을 배제하는
디바이스.
제 15 항에 있어서,
연속 매칭된 인클라인들 및 디클라인들을 가지는 근사 정렬들을 획득하기 위해 상기 질의 비디오의 주 인클라인들 및 디클라인들을 상기 타깃 비디오의 주 인클라인들 및 주 디클라인들을 비교하도록 프로그램되거나 구성되는
디바이스.
제 19 항에 있어서,
주 인클라인들/주 디클라인들의 질의 비디오 시퀀스를 주 인클라인들/주 디클라인들의 타깃 비디오 시퀀스에 대하여 매칭시키도록 프로그램되거나 구성되는
디바이스.
제 20 항에 있어서,
주 인클라인들/주 디클라인들의 타깃 비디오 시퀀스에 대하여 플롯팅되는 주 인클라인들/주 디클라인들의 질의 비디오 시퀀스를 갖는 셀들을 구비한 매트릭스를 생성하고, 매치가 존재하는 경우, 상기 매트릭스의 적절한 셀 내에 마커를 추가함으로써 매칭을 수행하도록 프로그램되거나 구성되는
디바이스.
제 21 항에 있어서,
주 인클라인들/주 디클라인들을 정렬한 후에, 상기 주 인클라인들/주 디클라인들을 이웃하는 비-주 인클라인들/비-주 디클라인들로 확장하도록 프로그램되고 구성되는
디바이스.
제 22 항에 있어서,
추가 정렬 프로세싱을 위해 마커들을 갖는 연속 셀들의 대각선들을 식별하고 소정의 임계값보다 더 큰 길이를 가지는 대각선들을 보유하도록 프로그램되거나 구성되는
디바이스.
제 23 항에 있어서,
K 개의 가장 긴 대각선들을 선택하고 더 긴 세그먼트를 형성하기 위해 상위 K 개의 대각선들에 포함된 근접 위치된 세그먼트들을 결합하는 것을 시도하도록 프로그램되거나 구성되는
디바이스.
제 24 항에 있어서,
대각선 매칭된 라인들에 보상 점수를 그리고 더 긴 라인들에 있는 갭들에 페널티 점수를 부여하고, 링크된 근사 정렬의 결합된 점수가 소정의 점수 임계값을 초과하면, 상기 링크된 세그먼트들 주위에 있는 이전에 무시된 초기의 짧은 정렬된 세그먼트들이 근사 정렬을 형성하기 위해 결합될 수 있는지를 확인하고, 추가 검사를 위해 최종 점수 임계값을 초과하는 최종 점수를 가지는 로컬 근사 정렬들을 선택하도록 프로그램되거나 구성되는
디바이스.
제 16 항에 있어서,
가능한 성공적인 정렬들의 세트를 선택하기 위해 세그먼트들의 근사 정렬을 획득하는 단계와 그 후에 상기 선택된 세트에 Smith-Waterman 알고리즘을 적용하도록 프로그램되거나 구성되는
디바이스.
제 26 항에 있어서,
상기 선택된 세트에 포함되지 않는 근사 정렬된 세그먼트들에 대한 프레임 레벨에서 정렬을 수행하도록 프로그램되거나 구성되는
디바이스.
제 16 항에 있어서,
상기 질의 비디오가 상기 타깃 비디오의 복제물이 아니라고 판정될 때 상기 타깃 비디오를 보유하는 비디오 데이터베이스 내에 상기 질의 비디오를 저장하도록 프로그램되거나 구성되는
디바이스.
질의 비디오의 프레임들 및 타깃 비디오의 프레임들을 블록들로 분할하는 단계와,
각각의 블록에 대한 평균 강도 값을 계산하는 단계와,
상기 질의 비디오에 대한 복수의 질의 시계열을 생성하는 단계－각각의 질의 시계열은 상기 질의 비디오의 상이한 프레임들에서의 동일한 위치로부터 블록들에 대한 평균 강도 값의 시간 변화를 나타냄－와,
상기 타깃 비디오에 대한 복수의 타깃 시계열을 생성하는 단계－각각의 타깃 시계열은 상기 타깃 비디오의 상이한 프레임들에서의 동일한 위치로부터 블록들에 대한 평균 강도 값의 시간 변화를 나타냄－와,
상기 질의 시계열 및 상기 타깃 시계열을 이용하여 상기 질의 비디오와 상기 타깃 비디오 사이에 정렬이 존재하는지를 판정하는 단계를 포함하는 비디오 컨텐츠를 관리하는 방법을 수행하는 머신-실행 가능 프로그램을 저장하는
데이터 저장 매체.