KR20130108425A - 영상을 비교하기 위한 방법 및 장치 - Google Patents

영상을 비교하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20130108425A
KR20130108425A KR1020137017701A KR20137017701A KR20130108425A KR 20130108425 A KR20130108425 A KR 20130108425A KR 1020137017701 A KR1020137017701 A KR 1020137017701A KR 20137017701 A KR20137017701 A KR 20137017701A KR 20130108425 A KR20130108425 A KR 20130108425A
Authority
KR
South Korea
Prior art keywords
image
major
target image
query image
query
Prior art date
Application number
KR1020137017701A
Other languages
English (en)
Other versions
KR101548438B1 (ko
Inventor
얀송 렌
팡제 창
토마스 엘 우드
Original Assignee
알까뗄 루슨트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 알까뗄 루슨트 filed Critical 알까뗄 루슨트
Publication of KR20130108425A publication Critical patent/KR20130108425A/ko
Application granted granted Critical
Publication of KR101548438B1 publication Critical patent/KR101548438B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

쿼리 영상과 대상 영상과 비교하는 방법에서, 쿼리 영상의 프레임 및 대상 영상의 프레임은 블록으로 분할된다. 블록마다 평균 강도 값이 계산된다. 블록마다의 평균 강도 값의 시간 변화로부터 최소값 및 최대값이 추출된다. 최소값 및 최대값으로부터 상승 및 하락이 획득된다. 상승 및 하락을 이용하여 쿼리 영상과 대상 영상 사이에 얼라인먼트가 존재하는지 여부가 판정된다.

Description

영상을 비교하기 위한 방법 및 장치{METHOD AND APPARATUS FOR COMPARING VIDEOS}
본 발명은 영상을 비교하기 위한 방법 및 장치에 관한 것이다.
영상 호스팅 웹사이트, 예를 들면 YouTube, Google Video 및 Yahoo! Video 등에서는, 영상 콘텐츠가 사용자에 의해 사이트에 업로드될 수 있고 검색 엔진을 통해 다른 사람이 이용할 수 있다. 현재의 웹 영상 검색 엔진은 사용자가 입력한 특정 텍스트 쿼리에 의거하여 그 관련 스코어에 따라 랭킹된 검색 결과의 리스트를 제공한다고 믿어지고 있다. 그런 다음 사용자는 결과들을 고려하여 관심 영상이나 영상들을 찾아야 한다.
사용자가 호스트에 영상을 업로드하고, 영상을 얻고, 일부 수정을 더해 재배포하기 쉽기 때문에, 영상 검색 결과 내에는 중복 또는 거의 중복된 콘텐츠가 잠재적으로 다수 존재한다. 이러한 중복은 그 전반적인 내용 및 주관적인 인상에 의거하여 "본질적으로 동일"하다고 사용자에 의해 간주될 것이다. 예를 들면, 중복 영상 콘텐츠는 동일하거나 거의 동일하지만, 파일 포맷이 상이하거나, 상이한 인코딩 파라미터를 갖거나, 및/또는 길이가 상이한 영상 시퀀스를 포함할 수 있다. 다른 차이는, 컬러 및/또는 조명 변화 등의 광도 변화, 및/또는 캡션, 로고 및/또는 가장자리의 추가 또는 변경 등의 공간 및 시간 도메인에서의 작은 편집 작업일 수 있다. 이러한 예들은 모든 리스트인 것은 아니고 다른 유형의 차이가 중복 영상에서 발생할 수도 있다.
중복 영상의 급증은 사용자가 자신이 실제로 원하는 콘텐츠를 찾는 데 어렵게 하거나 불편하게 만들 수 있다. 예로는, YouTube, Google Video 및 Yahoo! Video에서 샘플 쿼리에 의거하면, 평균적으로 검색 결과에 리스팅된 27% 유사 중복 영상 이상이 발견되며, 인기 있는 영상은 결과 내에서 가장 중복되는 것이다. 검색 결과 내에 높은 퍼센티지의 중복 영상을 고려하면, 사용자는 필요로 하는 영상을 찾기 위해 면밀히 조사하는 데 상당한 시간을 할애해야 하고, 이미 본 유사한 영상의 사본을 반복해서 봐야 한다. 중복 결과는 영상 검색, 탐색 및 브라우징의 사용자 경험을 떨어뜨린다. 또한, 이러한 중복 영상 콘텐츠는 네트워크를 통해 중복된 영상 데이터를 저장하고 전송함으로써 네트워크 부하를 증가시킨다.
영상 사본 및 유사도 탐지에의 연구는, 상이한 특징을 식별하고 매칭 알고리즘을 적용하는 것에 의거한다. 일반적으로, 영상 사본 탐지 기술은 두 가지 카테고리, 즉 쌍별 키프레임(pairwise keyframe) 비교 접근법 및 시퀀스 매칭 접근법 중 하나에 속한다.
쌍별 키프레임 비교 접근법에서는, 영상으로부터 키프레임이 추출되고, 키프레임간의 쌍별 비교가 수행되어 영상간의 겹침의 정도를 측정한다. 키프레임 매칭 접근법은 일반적으로 영상을 일련의 키프레임으로 세그먼트화하여 영상을 나타낸다. 이어서, 각 키프레임을 영역으로 분할하고 가장 중요한 로컬 영역으로부터 특징을 추출한다. 특징은 각 영역에 대해 예를 들면, 컬러, 텍스처, 코너, 또는 형상 특징일 수 있다. 키프레임 매칭은 프레임의 시간 순서 또는 삽입/삭제의 변화 등의 실질적으로 상당한 정도의 편집이 된 유사 사본을 탐지할 수 있다. 그러나, 키프레임에 너무 많은 로컬 특징이 있으므로, 키프레임을 식별하고, 키프레임마다 로컬 특징을 추출하고, 데이터베이스의 다수의 영상에 대해 영상 클립을 매칭시키기 위해 그들 간에 거리 비교(metric distance comparison)를 행하는 것은 계산적으로 고가이다.
최근 연구에서는, 특징 벡터의 고속 인덱싱, 또는 특징 벡터의 차원을 줄이기 위한 통계 정보의 이용에 의해 키프레임 매칭법의 속도를 개선하는 것을 목적으로 하고 있다. 그러나, 온라인 분석에 있어서, 영상을 키프레임으로 세그먼트화하는 비용 및 쿼리 영상으로부터 로컬 특징을 추출하는 비용 모두는 여전히 불가피하다. 이것은 Web 2.0 영상 호스팅 환경에서 온라인 실시간 영상 중복 탐지를 제공하는 데 실제 과제가 되고 있다. 키프레임 매칭 접근법은, 데이터베이스 영상을 모으고 분류하는 데 세밀한 분석(fine-grain analysis)을 갖는 오프라인 영상의 중복 탐지에 더 적합하다.
시퀀스 매칭에서, 다수의 프레임에서 시간 간격은 쿼리 영상과 대상 영상의 유사도를 비교하기 위한 기초를 제공한다. 일반적으로, 이것은, 예를 들면 쿼리 영상 프레임과 목표 영상 프레임 양쪽에서 서열, 움직임, 색상 및 중심 기반(centroid-based) 특징일 수 있는 특징의 시퀀스를 추출하는 것을 수반한다. 이어서, 추출된 특징 시퀀스들을 비교하여, 영상 간의 유사도 거리를 판정한다. 예를 들면, 서열 시그너처가 사용될 경우, 각 영상 프레임은 우선 N1 × N2 블록으로 분할되고 각 블록의 평균 강도(intensity)가 계산된다. 이어서, 프레임마다 블록은 그들의 평균 강도에 따라 랭킹된다. 랭킹 순위는 프레임의 서열 척도로 간주된다. 하나의 영상에 대한 서열 척도의 시퀀스는 그 유사도를 평가하기 위해 다른 영상의 서열 척도와 비교된다.
시퀀스 매칭은 판정될 중복 영상 간의 겹침 위치의 개시를 가능하게 한다. 시퀀스 매칭 접근법은, 부호화 및 프레임 해상도 변경 등의 포맷 수정을 갖는 거의 동일한 영상 및 영상의 사본, 및 공간 및 시간 도메인에서 작은 편집이 된 거의 동일한 영상 및 영상의 사본을 식별하는 데 적합하다. 특히, 공간 및 시간 서열 시그너처를 사용할 경우 영상 디지털화/인코딩 프로세서에 의해 수반된 영상 왜곡(예를 들면, 색상, 밝기, 히스토그램 평활화, 인코딩 파라미터에서의 변화), 표시 포맷 변환(예를 들면, 레터 박스 또는 필러(pillar) 박스로의 변환) 및 부분적인 콘텐츠 수정(예를 들면, 크로핑(cropping) 및 줌인)의 탐지를 가능하게 한다.
키프레임의 매칭 접근법과 달리, 시퀀스 매칭 접근법은 비교적 쉬운 계산을 수반하며 특히 서열 척도를 이용할 경우 프레임의 콤팩트한 표현을 제공한다. 시퀀스 매칭은 계산적으로 효율적인 경향이 있고 라이브 영상을 처리하기 데 실시간 계산이 수행될 수 있다. 예를 들면, 프레임의 2 × 2 파티션을 갖는 서열 척도는 각 프레임을 표현하는 데 4차원만을 요하므로, 두 프레임간에 더 적은 비교 포인트를 요한다. 그러나, 영상 호스팅 웹사이트에서의 영상 중복 탐지에는 다수의 데이터베이스 영상과 영상 클립의 비교를 필요로 하고 일반적으로 이것은 실시간으로 이루어져야 한다. 영상 서열 시그너처의 순차 비교는 시간이 걸리는 프로세스이다. "순차 스캐닝"의 시간 복잡성을 설명하기 위해, 긴 대상 영상 시퀀스(T)에 대해 짧은 쿼리 영상 클립(C)을 '슬라이딩(sliding)'하고 각 점에서 유사도 거리를 계산하는 것을 생각한다. 순차 스캐닝은 Q((m - n + 1) × n)의 시간 복잡도를 가지며, 여기에서 m은 T의 데이터 포인트의 수이고, n은 C의 데이터 포인트의 수이다. 예를 들면, 총 10개의 영상으로 구성된 대상 영상들의 세트와 비교되는 5분 지속으로 초당 30 프레임을 갖는 쿼리 영상을 생각한다(여기에서 대상 영상의 각각은 10분 지속으로 초당 30 프레임을 갖는다). 2 × 2 파티션을 갖는 공간 서열 척도를 사용한다고 상정하면, 순차 스캐닝은 거의 246억번의 작업을 필요로 한다. 영상 중복 탐지 프로세스의 속도는 Web 2.0 환경에서 사용자 쿼리에 적절한 응답을 제공하도록 개선되어야 한다.
본 발명의 제 1 측면에 따르면, 쿼리 영상과 대상 영상을 비교하는 방법에 있어서, 쿼리 영상의 프레임 및 대상 영상의 프레임이 블록으로 분할된다. 블록마다 평균 강도(intensity) 값이 계산된다. 블록마다의 평균 강도 값의 시간 변화로부터 최소값 및 최대값이 추출된다. 최소값 및 최대값으로부터 상승 및 하락(incline and decline)이 얻어진다. 상승 및 하락을 이용하여 쿼리 영상과 대상 영상 사이에 얼라인먼트(alignment)가 존재하는지 여부가 판정된다.
본 발명에 따른 방법은 두 영상 간의 비교 스페이스를 줄임으로써 효율적인 영상 중복 탐지를 제공한다.
실시예에서, 쿼리 영상과 대상 영상 사이의 유사도 거리가 계산된다. 일 실시예에서, 쿼리 영상과 대상 영상 사이의 유사도 거리의 계산은 얼라인먼트가 존재한다고 판정될 경우에만 수행된다. 실시예에서, 최선의 유사도 거리가 계산되고, 최선의 유사도 거리와 소정의 임계값을 비교하여 쿼리 영상 및 대상 영상이 중복인지의 여부를 판정한다.
이것은 영상 검색 결과를 개선하기 위한 영상 데이터 저장부에 영상의 유사도에 대한 정보를 유지하는 데 특히 유용하지만, 그것은 또한, 다른 목적, 예를 들면 보관된 콘텐츠를 조직화하는 데 유리할 수 있다. 영상 중복 및 유사도 탐지는 잠재적인 검색, 토픽 추적 및 저작권 보호에 유용하다.
주어진 영상이 데이터 저장부에 추가될 때 본 발명에 따른 방법이 적용될 수 있다. 그러나, 예를 들면, 데이터 저장부에 유지된 영상 콘텐츠의 유사도에 대한 정보를 가공하도록 미리 데이터 저장부에 추가된 영상 콘텐츠를 관리하는 데 사용될 수 있다.
일 실시예에서, 데이터 저장부에 포함된 영상 파일 중 어느 하나는 주어진 영상 파일로서 선택될 수 있으며 데이터 저장부에서 유사한 영상 파일을 찾기 위한 쿼리로서 기능할 수 있다.
실시예에서, 영상 시퀀스를 특정 중요한 최대 및 최소값과 비교하고, 해당 극값점에 의거하여 주요 상승/하락을 얻고, 이어서 해당 주요 상승/하락에 따라 쿼리 영상을 대상 영상과 얼라인먼트함으로써 잠재적인 영상 매칭 위치를 찾는 데, 시계열 매칭 기술이 사용된다. 잠재적인 얼라인먼트 위치에 의거하여, 기존의 영상 중복 탐지 기술(예를 들면, 시퀀스 매칭 접근법 또는 쌍별 키프레임 비교 접근법)이 영상 유사도 거리를 계산하는 데 적용될 수 있다. 최선의 매칭 유사도 거리가 임계값 미만일 경우, 두 영상은 중복인 것으로 간주될 수 있다.
주요 극값점을 얼라인먼트하여 영상간에 소수의 잠재적인 매칭 위치를 제안함으로써, 본 발명에 따른 방법은 양 방법에서 영상 탐지 계산 비용을 저감할 수 있다. 우선, 영상 중복 검출 기술을 적용하기 전에 매우 유사하지 않은 영상을 필터링하고, 다음으로 유사한 영상에 대해 많은 불필요한 비교를 생략한다. 두 개의 영상 간에 소수의 잠재적인 얼라인먼트 위치가 주어지면, 시퀀스 매칭 접근법(예를 들면 서열 시그너처)은 최선의 매칭 위치를 찾기 위해 하나의 영상을 다른 하나의 영상을 통해 스캐닝할 필요가 없고, 쌍별 키프레임 비교 접근법에서는, 비교될 총 수의 키프레임이 얼라인먼트된 위치의 범위 내로 한정된다. 따라서, 제안된 발명은 영상 중복 탐지 접근법의 양 유형으로 계산 비용을 줄이는 데 이용될 수 있다.
본 발명의 실시예는 영상 호스팅 웹사이트에 사용자 특징을 제공하는 데 사용되거나, 또는 영상 콘텐츠 공급자가 로열티 지불을 추적하고 가능한 저작권 침해를 검출하기 위하여 사용될 수 있고, 또는 콘텐츠 배포 네트워크 공급자가 네트워크 트래픽을 줄이고 영상 컨텐츠의 저장을 관리하는 데 사용될 수 있다. 본 발명은 해당 처리 시간을 개선하기 위해 기존의 영상 중복 시스템에서 채택될 수 있다. 이것은 영상 검색 결과를 개선하기 위해 데이터 저장부에 영상 파일의 유사도에 대한 정보를 보관하는 데 특히 유용하지만, 그것은 또한, 다른 목적, 예를 들면, 보관된 콘텐츠를 조직화하는 데 유리할 수 있다. 영상 중복 및 유사도 탐지는 잠재적인 검색, 토픽 추적 및 저작권 보호에 유용하다.
본 발명의 제 2 측면에 따르면, 이 장치는 제 1 측면에 따른 방법을 수행하도록 프로그래밍 또는 구성된다.
본 발명의 제 3 측면에 따르면, 데이터 저장 매체는 제 1 측면에 따른 방법을 실행하기 위한 머신 실행 가능한 프로그램을 저장하기 위해 마련된다.
이하, 다음의 첨부 도면들을 참조하여 본 발명의 몇몇 실시예들을 단지 예시로서만 설명하도록 한다.
도 1은 본 발명에 따른 방법을 개략적으로 나타내는 도면이고;
도 2는 대상 영상에 대한 강도의 시간 변화를 개략적으로 나타내는 도면이고;
도 3은 쿼리 영상에 대한 강도의 시간 변화를 개략적으로 나타내는 도면이며; 또한,
도 4는 도 1의 방법을 구현하기 위한 장치를 개략적으로 나타내는 도면이다.
도 1을 참조하면, 중복 영상 탐지 절차에서 관련되는 영상은 복수의 프레임을 포함한다. 1 단계에서, 영상의 각 프레임이 N1 × N2 블록으로 분할된다. 2 단계에서, 블록마다 평균 강도 값을 산출한다. 히스토그램 평활화 등의 영상 수정 기술은 전체 프레임에 대한 강도의 평균값을 그레이 스케일(gray scale)의 중간값으로 조정할 수 있다. 이러한 경우에, 전체 영상의 시간적 변화는 평활해지고, 이에 따라 극값점(extreme point) 기반 데이터 압축에 적합하지 않다. 분할된 블록으로부터 시간적 강도 변화를 이용하면 이 문제가 회피되며, 이는 각 블록은 분할된 하위 영역에서 강도 변화의 변화를 유지할 수 있기 때문이다.
3 단계에서, 각 블록의 평균 강도 값의 시간 변화로부터 중요한 최소값 및 최대값이 추출된다. 4 단계에서, 추출된 최소값 및 최대값으로부터 주요 상승/하락이 얻어진다.
중요한 최소값 및 최대값을 선택하는 프로세스는 데이터 압축의 일종으로 영상 강도의 시간 변화를 나타내는 중요한 정보의 대 부분을 포착하는 것으로 생각될 수 있다. 주요 최소값 및 최대값만을 유지하고 다른 포인트를 드롭함으로써, 작은 변동은 폐기하는 것을 의도하고 있다. 사용자 수정, 영상 왜곡, 및 포맷 변환으로 인해, 영상 중복 탐지에서 정확한 일치는 일반적으로 없다. 시간 강도의 작은 변화를 무시함으로써, 영상 탐지 알고리즘을 노이즈에 상대적으로 민감하지 않게 할 수 있다.
주요 극값점을 추출하기 위한 하나의 적절한 기술은 본원에 원용에 의해 포함되는 “Indexing of Time Series by Major Minima and Maxima” 2003년 IEEE에서, Fink, Pratt 및 Gandhi에 의해 제안된 것이다.
이 기술에서, 압축률은 파라미터 R에 의해 제어되며, 이는 항상 1보다 크다. 중요한 최소의 정의는 다음과 같이 나타난다: 인덱스 i 및 j가 있을 경우, 시리즈 a1,..., an 중 am의 포인트가 최소이며, 여기에서 i<=m<=j여서, am이 ai,..., aj 중 최소이며, ai/am>R 및 aj/am>R이다. 마찬가지로, 인덱스 i 및 j가 있을 경우, am이 중요한 최대이며, 여기에서 i<=m<=j여서, am은 ai,..., aj 중 최대이며, am/ai>R 및 am/aj>R이다. R이 증가하면 포인트의 선택은 적어진다.
이 기술은 선형 시간 및 일정한 메모리를 필요로 한다. 이를 적용함으로써, 모든 중요한 포인트의 값 및 인덱스를 얻을 수 있다. 또한, 새로운 포인트의 도착 시 원래의 시리즈를 저장하지 않고 새로운 포인트가 처리되게 할 수 있다. 사용자가 웹사이트에 영상을 업로드 하는 시간 동안 주요 극값을 추출함으로써 쿼리 영상의 온라인 처리에 이용될 수 있다. 다른 실시예에서, 다른 기술은 주요 극값점을 추출하기 위해 사용될 수 있다.
1 ~ 4 단계는 중복 탐지 절차와 관련되는 영상마다 수행된다.
5 단계에서, 파티션 블록으로부터의 주요 상승/하락의 위치를 이용하여 대상의 영상(T)과 쿼리 영상(Q)을 얼라인먼트하는 것이 시도된다.
영상의 각각이 N1 × N2 시계열을 포함하고 그 시계열의 각각이 주요 상승/하락의 리스트를 가지므로, 영상 시퀀스에서 다수의 주요 상승/하락이 있다. 너무 적은 주요 상승/하락를 매치시키고자 하면, 잠재적인 얼라인먼트 위치의 수가 감소시키고 매칭되는 위치의 누락으로 이어질 수 있다. 이는, 선택된 주요 상승/하락이 중복 영상간에 겹침 프레임의 외부일 수 있을 경우 사용자 편집(예를 들면, 삽입, 삭제 또는 치환)의 경우에 발생할 수 있다. 한편, 너무 많은 포인트의 매치시키는 것은 많은 잠재적인 얼라인먼트 위치로 되어, 이는 다음 단계에서 유사도 거리를 계산하는 데 필요한 시간을 증가시킨다. 또한, 주요 상승/하락은 영상에서 상승/하락의 나머지와 비교하여 상대적인 정보이므로, 비교 영상의 길이에 큰 차이가 있을 경우(예를 들면, 30초와 2시간의 비교), 짧은 영상에 대한 주요 상승/하락이 긴 영상에서 비주요 상승/하락으로서 간주될 수 있다.
유효성과 효율성 사이의 균형을 제공하기 위해, 영상을 간격의 리스트로 세그먼트화하고 각 간격 내에서 주요 상승/하락를 선택하는 데 조정 간격이 이용된다. 간격의 길이는 비교 영상들 중 작은 길이에 의거하여 조정된다. 비교 영상들 중 하나가 짧을 경우, 간격의 길이는 작다. 이와 반대인 경우에는, 간격의 길이는 크다. 이 기술은 주요 상승/하락이 영상 길이의 전반에 걸쳐 균일하게 분포되게 보장한다. 짧은 영상에 대해 잠재적으로 겹치는 프레임을 나타내는 긴 영상에 주요 상승/하락이 있음을 보장한다.
일부 블록은 평균 강도 값에 큰 변화를 포함하는 한편, 다른 블록은 강도 값에 상대적으로 작은 변동을 가질 수 있으므로, 주요 상승/하락에서 기울기의 변화를 블록 내에서 수행되는 정보의 양을 나타내는 데 사용할 수 있다. 이 실시형태에서, 6 단계에서 해당 기울기에 따라 쿼리 영상(Q)에서 모든 파티션 블록에 걸쳐 주요 상승/하락이 분류된다. 7 단계에서 가장 깊은 기울기 변화를 갖는 몇몇의 주요 상승/하락이 분류된 리스트로부터 선택되어, 8 단계에서 수행되는 얼라인먼트 공정 동안의 쿼리 영상(Q)을 나타낸다.
얼라인먼트 프로세스 동안, 쿼리 영상(Q)의 선택된 주요 상승/하락간의 상대적인 위치 및 해당 상대적인 기울기 모두가 대상 영상(T)에 대한 매칭 시에 기준으로서 이용된다. 비교되는 영상(Q, T)간에 얼라인먼트가 존재하지 않을 경우, 중복되지 않는 것으로 간주되고 매칭 프로세스가 9 단계에서 종료된다. 비교되는 영상(Q, T)의 얼라인먼트가 존재하는 것으로 발견되면, 중복 매칭 프로세스는 계속된다.
이어서, 10 단계에서, 얼라인먼트 위치마다, 쿼리 영상(Q)과 대상 영상(T) 사이의 유사도 거리가 계산된다. 시퀀스 매칭 접근법 또는 쌍별 키프레임 비교 등의 기존 영상 중복 탐지 기술이 유사도 거리를 계산하는 데 적용될 수 있다. 11 단계에서, 쿼리 영상(Q)과 대상 영상(T) 사이의 최선의 유사도 거리가 판정된다. 이어서, 12 단계에서 최선의 유사도 거리가 소정의 임계값과 비교된다. 최선의 유사도 거리가 소정의 임계값보다 작을 경우, 비교되는 영상들은 중복인 것으로 간주된다.
도 2a는 대상 영상 클립의 표현이고, 도 2b는 가장자리의 추가를 제외하면 도 2a와 유사한 쿼리 영상이다. 영상마다, 각 프레임을 4 × 4 블록으로 분할했다. 도 2c는 대상 영상의 블록마다 강도의 변화의 플롯을 나타낸다. 도 2d는 쿼리 영상에 대한 강도의 시간 변화를 나타낸다. 쿼리 영상에 대한 강도의 시간 변화가 비슷한 자취를 추종함을 알 수 있다. 그들이 동일한 시간 간격으로 측정된 값의 시퀀스를 포함하는 시계열의 세트로 보여질 수 있다.
밝기, 색상, 색조, 히스토그램 평활화, 모자이크 추가, 가우시안 노이즈, 감마 보정, 프레임의 리사이징 및 크롭핑 등과 같은 다양한 유형의 왜곡, 수정 및 포맷 변환을 갖는 중복 영상의 세트로 실험하는 동안, 본 발명에 따른 방법은 양호한 성능을 제공함을 발견하였다. 영상 중복 검출 시간은 다른 공지된 접근법보다 약 10배까지 빠른 것으로 발견되었다. 또한, 공지된 영상 중복 검출 기술에 의해 제공된 것과 동일한 수준의 정밀도가 유지되었다.
도 4를 참조하면, 영상 관리 장치는 영상 파일을 갖고 있는 데이터베이스 또는 저장부(13)를 포함한다. 데이터베이스(13)는 인터넷을 통해 일반적으로 사용자가 액세스할 수 있거나 예를 들면, 액세스가 제한된 라이브러리 및 기타 저장소일 수 있다. 이들 가능한 것 대신 또는 추가하여 다른 유형의 저장부 또는 데이터베이스가 이용될 수 있다.
사용자는 사용자 인터페이스(14)를 통해 영상(Q)을 제공함으로써, 자신이 데이터베이스(13)에 추가하고자 하는 영상(Q)을 전송할 수 있다. 영상(Q)은 영상 데이터베이스(13)뿐만 아니라 파티셔너(partitioner)(15)에도 보내진다.
동작의 1 스테이지에서, 파티셔너(15)는 영상(Q)의 각 프레임을 N1 × N2 블록으로 분할하고, 블록마다의 평균 강도 값을 산출한다.
2 스테이지에서, 프로세서(16)는 파티셔너(15)로부터 평균 강도 값 데이터를 접수한다. 프로세서(16)는 각 블록의 평균 강도 값의 시간 변화로부터 중요한 최소값 및 최대값을 추출한다. 이어서, 프로세서(16)는 중요한 최소값 및 최대값을 이용하여 주요 상승/하락를 얻는다.
3 스테이지는 제공된 영상(Q)과 데이터베이스(13)에 갖고 있는 다른 영상 사이에 가능한 얼라인먼트를 발견할 것을 목적으로 하는 얼라인먼트 작업이다. 얼라이너(aligner)(17)는 데이터베이스(13)에 저장된 하나 이상의 대상 영상(T)에 대해 동일한 방식으로 얻어진 것과의 비교를 위해 프로세서(16)로부터의 주요 상승/하락를 접수한다. 대상 영상(들)(T)은 쿼리 영상(Q)과 효과적으로 동시에 분석될 수 있으며, 영상(들)(T)은 쿼리 영상(Q)과 실질적으로 동시에 파티셔너(15)에 인가되어, 필요한 데이터가 데이터베이스(13)에 저장된 영상(들)으로부터 추출되었고 얼라이너(17)에 의해 쿼리 영상(Q)과의 얼라인먼트가 존재하는지의 여부를 판정하는 데 이용될 수 있다.
쿼리 영상(Q)과 임의의 대상 영상(T) 사이에 얼라인먼트가 발견되지 않으면, 그 결과 메시지가 라인(18) 상에서 영상 데이터베이스(13)에 보내지고, 쿼리 영상(Q)은 사용자 인터페이스(14)로부터 데이터베이스(13)에 의해 접수되어 저장된다.
얼라이먼트가 발견될 경우, 4 스테이지에서, 쿼리 영상(Q)과 하나 이상의 대상 영상(T) 사이의 얼라인먼트 위치마다, 쿼리 영상(Q)과 하나 이상의 대상 영상(T) 사이의 유사도 거리가 연산부(19)에서 계산된다. 연산부(19)는 그 중 최선의 유사도 거리를 찾는다. 유사도 거리가 소정의 임계값 미만이면, 비교되는 영상들은 중복으로 간주된다. 메시지는 라인(20) 상에서 영상 데이터베이스(13)에 보내져서 쿼리 영상이 중복으로 간주되는지의 여부에 대해 알린다.
쿼리 영상(Q)이 중복인 것으로 판명되지 않을 경우, 영상 데이터베이스(13)는 저장을 위해 그것을 받아들인다.
쿼리 영상(Q)이 중복이라고 판명된 경우, 일 실시예에서는 영상 데이터베이스(13)는 이를 알리는 유저에의 메시지로 또는 메시지 없이 거절한다.
대체 실시예 또는 모드에서, 쿼리 영상(Q)이 중복이라고 판명될 경우, 영상 데이터베이스(13) 내로 받아들여지지만, 중복으로 표시되며, 바람직하게는 매칭되는 대상 영상(T)을 참조을 갖고 표시된다. 중복 영상은 그룹으로 함께 모여질 수 있다. 데이터베이스에서 수행되는 검색은 그룹 중 하나를 호출할 때, 다른 그룹 멤버들이 검색 결과로부터 억제되거나 그들이 달리 가치가 있는 것보다 검색 결과 내에서 낮은 랭킹이 주어져서, 임의의 중복이 다른 비중복 다음에 제시되는 경향이 있다.
도 4의 영상 관리 장치는, 영상 데이터베이스(13)에 유지된 영상이 쿼리 영상(Q)이 제공되기 전에 15 및 16에서 분할 및 처리되도록 변경될 수 있다. 예를 들면, 일 실시예에서, 영상이 중복 검사를 위해 제공될 경우 얻은 데이터는 유지되고 라인(21)을 통해 영상 데이터베이스(13)에 저장되기 위해 보내질 수 있다. 그 영상은 후속으로 데이터베이스(13) 내에 받아들여지지 않을 경우 데이터는 삭제된다. 영상이 데이터베이스 내에 받아들여지면 그와 연관된 데이터가 유지되고 라인(22)을 통해 얼라이너(19)에서의 사용이 가능하다. 다른 실시예에서, 영상 데이터베이스(13) 내의 영상은 분할되어 중복 검사에 반드시 이용되는 것은 아니고 15 및 16에서 처리된다. 예를 들면, 데이터 처리가 새로운 영상을 수신하기 위한 데이터베이스를 열기 전에 준비 단계의 일부로 실시될 수 있다.
"프로세서"로서 분류된 임의의 기능 블록을 포함하여, 도면에 나타낸 다양한 요소의 기능은, 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 수 있는 하드웨어뿐만 아니라 전용 하드웨어의 사용를 통해 제공될 수 있다. 프로세서가 제공할 경우, 기능은 단일 전용 프로세서, 단일 공유 프로세서, 또는 일부가 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다. 또한, 용어 "프로세서"의 명시적인 사용은 소프트웨어를 실행할 수 있는 하드웨어를 총망라하여 언급하는 것으로 해석되어서는 안되며, 제한 없이 내재적으로 디지털 신호 프로세서(DSP) 하드웨어, 네트워크 프로세서, 주문형 집적 회로(ASIC), 필드 프로그래머블 게이트 어레이(FPGA), 소프트웨어 저장을 위한 읽기 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 및 비 휘발성 저장부를 포함한다. 기존 및/또는 커스텀의 다른 하드웨어도 포함할 수 있다.
본 발명은 그 사상 또는 본질적인 특징에서 벗어나지 않고 다른 특정 형태로 구현될 수 있다. 설명한 실시예는 모든 측면에 있어서 예시일뿐이며, 제한이 아닌 것으로 간주되어야 한다. 따라서, 본 발명의 범위는 전술한 설명에 의해서가 아니라 첨부된 특허청구범위에 의해 지시되는 것이다. 특허청구범위의 의미 및 특허청구범위에 상당하는 범주 내의 모든 변경은 특허청구범위 내에 포함되는 것이다.

Claims (23)

  1. 쿼리 영상과 대상 영상을 비교하는 방법에 있어서,
    상기 쿼리 영상의 프레임 및 상기 대상 영상의 프레임을 블록으로 분할하는 단계와,
    블록마다 평균 강도(mean intensity) 값을 계산하는 단계와,
    블록마다의 평균 강도 값의 시간 변화로부터 최소값 및 최대값을 추출하는 단계와,
    상기 최소값 및 최대값으로부터 상승 및 하락(incline and decline)을 획득하는 단계와,
    상기 상승 및 하락을 이용하여 상기 쿼리 영상과 상기 대상 영상 사이에 얼라인먼트(alignment)가 존재하는지 여부를 판정하는 단계를 포함하는
    쿼리 영상과 대상 영상을 비교하는 방법.
  2. 제 1 항에 있어서,
    상기 쿼리 영상과 상기 대상 영상 사이의 유사도 거리(similarity distance)를 계산하는 단계를 포함하는
    쿼리 영상과 대상 영상을 비교하는 방법.
  3. 제 2 항에 있어서,
    상기 쿼리 영상과 상기 대상 영상 사이의 유사도 거리의 계산은 얼라인먼터가 존재한다고 판정되는 경우에만 수행되는
    쿼리 영상과 대상 영상을 비교하는 방법.
  4. 제 2 항에 있어서,
    최선의 유사도 거리를 계산하고, 상기 최선의 유사도 거리와 소정의 임계값을 비교하여 상기 쿼리 영상과 상기 대상 영상이 중복인지 여부를 판정하는 단계를 포함하는
    쿼리 영상과 대상 영상을 비교하는 방법.
  5. 제 1 항에 있어서,
    상기 추출된 최소값 및 최대값은 주요 최소값 및 주요 최대값이고, 비 주요(non-major) 최소값 및 비 주요 최대값은 배제되는
    쿼리 영상과 대상 영상을 비교하는 방법.

  6. 제 5 항에 있어서,
    상기 주요 최소값 및 주요 최대값으로부터 주요 상승 및 주요 하락을 획득하고, 상기 주요 상승 및 주요 하락을 이용하여 상기 쿼리 영상과 상기 대상 영상 사이에 얼라인먼트가 존재하는지 여부를 판정하는 단계를 포함하는
    쿼리 영상과 대상 영상을 비교하는 방법.
  7. 제 6 항에 있어서,
    상기 주요 상승 및 주요 하락을 기울기에 따라 분류하고, 얼라인먼트를 판정하는 데 있어서 기울기가 큰 것을 이용하는 단계를 포함하는
    쿼리 영상과 대상 영상을 비교하는 방법.
  8. 제 2 항에 있어서,
    시퀀스 매칭을 이용하여 상기 유사도 거리를 판정하는 단계를 포함하는
    쿼리 영상과 대상 영상을 비교하는 방법.
  9. 제 2 항에 있어서,
    키프레임 쌍별 매칭(keyframe pair wise matching)을 이용하여 상기 유사도 거리를 판정하는 단계를 포함하는
    쿼리 영상과 대상 영상을 비교하는 방법.
  10. 제 1 항에 있어서,
    상기 쿼리 영상 및 상기 대상 영상을 간격의 리스트로 세그먼트화하고 각각의 상기 간격 내에서 주요 상승/하락을 선택하는 단계를 포함하되,
    상기 간격의 크기는 상기 영상들의 길이에 기초하여 조정되는
    쿼리 영상과 대상 영상을 비교하는 방법.
  11. 제 4 항에 있어서,
    상기 쿼리 영상이 상기 대상 영상의 중복이 아니라고 판정될 경우, 상기 쿼리 영상을 상기 대상 영상을 유지하고 있는 영상 데이터베이스에 저장하는 단계를 포함하는
    쿼리 영상과 대상 영상을 비교하는 방법.
  12. 쿼리 영상의 프레임 및 대상 영상의 프레임을 블록으로 분할하는 단계와,
    블록마다 평균 강도 값을 계산하는 단계와,
    블록마다의 평균 강도 값의 시간 변화로부터 최소값 및 최대값을 추출하는 단계와,
    상기 최소값 및 최대값으로부터 상승 및 하락을 획득하는 단계와,
    상기 상승 및 하락을 이용하여 상기 쿼리 영상과 상기 대상 영상 사이에 얼라인먼트가 존재하는지 여부를 판정하는 단계를 포함하는 방법을 수행하도록 프로그래밍되거나 구성된
    디바이스.
  13. 제 12 항에 있어서,
    상기 쿼리 영상과 상기 대상 영상 사이의 유사도 거리를 계산하도록 프로그래밍되거나 구성된
    디바이스.
  14. 제 12 항에 있어서,
    상기 쿼리 영상과 상기 대상 영상 사이의 유사도 거리의 계산은 얼라인먼터가 존재한다고 판정되는 경우에만 수행되도록 프로그래밍되거나 구성된
    디바이스.
  15. 제 12 항에 있어서,
    최선의 유사도 거리를 계산하고, 상기 최선의 유사도 거리와 소정의 임계값을 비교하여 상기 쿼리 영상과 상기 대상 영상이 중복인지 여부를 판정하도록 프로그래밍되거나 구성된
    디바이스.
  16. 제 12 항에 있어서,
    상기 추출된 최소값 및 최대값은 주요 최소값 및 주요 최대값이고, 비 주요 최소값 및 비 주요 최대값은 배제되는
    디바이스.
  17. 제 16 항에 있어서,
    상기 주요 최소값 및 주요 최대값으로부터 주요 상승 및 주요 하락을 획득하고, 상기 주요 상승 및 주요 하락을 이용하여 상기 쿼리 영상과 상기 대상 영상 사이에 얼라인먼트가 존재하는지 여부를 판정하도록 프로그래밍되거나 구성된
    디바이스.
  18. 제 12 항에 있어서,
    주요 상승 및 주요 하락을 기울기에 따라 분류하고, 얼라인먼트를 판정하는 데 있어서 기울기가 큰 것을 이용하도록 프로그래밍되거나 구성된
    디바이스.
  19. 제 13 항에 있어서,
    시퀀스 매칭을 이용하여 상기 유사도 거리를 판정하도록 프로그래밍되거나 구성된
    디바이스.
  20. 제 13 항에 있어서,
    키프레임 쌍별 매칭을 이용하여 상기 유사도 거리를 판정하도록 프로그래밍되거나 구성된
    디바이스.
  21. 제 12 항에 있어서,
    상기 쿼리 영상 및 상기 대상 영상을 간격의 리스트로 세그먼트화하고, 각각의 상기 간격 내에서 주요 상승/하락을 선택하도록 프로그래밍되거나 구성되되,
    상기 간격의 크기는 상기 영상들의 길이에 기초하여 조정되는
    디바이스.
  22. 제 15 항에 있어서,
    상기 쿼리 영상이 상기 대상 영상의 중복이 아니라고 판정될 경우, 상기 쿼리 영상을 상기 대상 영상을 유지하고 있는 영상 데이터베이스에 저장하도록 프로그래밍되거나 구성된
    디바이스.
  23. 쿼리 영상의 프레임 및 대상 영상의 프레임을 블록으로 분할하는 단계와,
    블록마다 평균 강도 값을 계산하는 단계와,
    블록마다의 평균 강도 값의 시간 변화로부터 최소값 및 최대값을 추출하는 단계와,
    상기 최소값 및 최대값으로부터 상승 및 하락을 획득하는 단계와,
    상기 상승 및 하락을 이용하여 상기 쿼리 영상과 상기 대상 영상 사이에 얼라인먼트가 존재하는지 여부를 판정하는 단계를 포함하는 영상 콘텐츠를 관리하는 방법을 수행하는 머신 실행 가능한 프로그램을 저장하는
    데이터 저장 매체.
KR1020137017701A 2011-01-07 2012-01-04 영상을 비교하기 위한 방법 및 장치 KR101548438B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/986,728 2011-01-07
US12/986,728 US8731292B2 (en) 2011-01-07 2011-01-07 Method and apparatus for comparing videos
PCT/IB2012/000343 WO2013041920A1 (en) 2011-01-07 2012-01-04 Method and apparatus for comparing videos

Publications (2)

Publication Number Publication Date
KR20130108425A true KR20130108425A (ko) 2013-10-02
KR101548438B1 KR101548438B1 (ko) 2015-08-28

Family

ID=45852616

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137017701A KR101548438B1 (ko) 2011-01-07 2012-01-04 영상을 비교하기 위한 방법 및 장치

Country Status (6)

Country Link
US (1) US8731292B2 (ko)
EP (1) EP2661709B1 (ko)
JP (1) JP5711387B2 (ko)
KR (1) KR101548438B1 (ko)
CN (1) CN103582882A (ko)
WO (1) WO2013041920A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220060210A (ko) 2020-11-04 2022-05-11 한국전자기술연구원 영상 처리 방법 및 장치
KR102502034B1 (ko) * 2022-08-23 2023-02-21 주식회사 노타 영상의 비 식별 처리 객체를 검색하는 방법 및 시스템

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8731292B2 (en) * 2011-01-07 2014-05-20 Alcatel Lucent Method and apparatus for comparing videos
CN103327356B (zh) * 2013-06-28 2016-02-24 Tcl集团股份有限公司 一种视频匹配方法、装置
US9407678B2 (en) * 2013-10-21 2016-08-02 Cisco Technology, Inc. System and method for locating a boundary point within adaptive bitrate conditioned content
US10595086B2 (en) 2015-06-10 2020-03-17 International Business Machines Corporation Selection and display of differentiating key frames for similar videos
GB2558868A (en) * 2016-09-29 2018-07-25 British Broadcasting Corp Video search system & method
CN108391063B (zh) * 2018-02-11 2021-02-02 北京优聚视微传媒科技有限公司 视频剪辑方法及装置
US11562135B2 (en) 2018-10-16 2023-01-24 Oracle International Corporation Constructing conclusive answers for autonomous agents
US11321536B2 (en) * 2019-02-13 2022-05-03 Oracle International Corporation Chatbot conducting a virtual social dialogue
CN110321958B (zh) * 2019-07-08 2022-03-08 北京字节跳动网络技术有限公司 神经网络模型的训练方法、视频相似度确定方法
CN110324729B (zh) * 2019-07-18 2021-08-27 北京奇艺世纪科技有限公司 一种识别侵权视频链接的方法、装置、电子设备及介质
CN110866563B (zh) * 2019-11-20 2022-04-29 咪咕文化科技有限公司 相似视频检测、推荐方法、电子设备和存储介质
CN111738173B (zh) * 2020-06-24 2023-07-25 北京奇艺世纪科技有限公司 视频片段检测方法、装置、电子设备及存储介质
CN112291616B (zh) * 2020-09-01 2023-01-06 普天和平科技有限公司 一种视频广告识别方法、装置、存储介质及设备
CN112597335B (zh) * 2020-12-21 2022-08-19 北京华录新媒信息技术有限公司 一种戏曲选段的输出装置及输出方法
CN113313065A (zh) * 2021-06-23 2021-08-27 北京奇艺世纪科技有限公司 一种视频处理方法、装置、电子设备和可读存储介质
CN115190359A (zh) * 2022-05-12 2022-10-14 南京奥拓电子科技有限公司 一种视频播放格式自动转换方法及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3200784B2 (ja) * 1993-07-29 2001-08-20 キヤノン株式会社 動画像検索方法及び装置
EP1195692B1 (en) * 1999-06-30 2007-09-05 Sharp Kabushiki Kaisha Dynamic image search information recording apparatus and dynamic image searching device
US7532804B2 (en) * 2003-06-23 2009-05-12 Seiko Epson Corporation Method and apparatus for video copy detection
US7372991B2 (en) * 2003-09-26 2008-05-13 Seiko Epson Corporation Method and apparatus for summarizing and indexing the contents of an audio-visual presentation
JP4476786B2 (ja) * 2004-11-10 2010-06-09 株式会社東芝 検索装置
US8155427B2 (en) * 2007-01-12 2012-04-10 Nanoark Corporation Wafer-scale image archiving and receiving system
JP4428424B2 (ja) * 2007-08-20 2010-03-10 ソニー株式会社 情報処理装置、情報処理方法、プログラムおよび記録媒体
CN101394522B (zh) * 2007-09-19 2010-07-21 中国科学院计算技术研究所 一种视频拷贝的检测方法和系统
WO2010078629A1 (en) 2009-01-12 2010-07-15 The University Of Queensland A system for real time near-duplicate video detection
GB0901262D0 (en) 2009-01-26 2009-03-11 Mitsubishi Elec R&D Ct Europe Video identification
JP2010186307A (ja) * 2009-02-12 2010-08-26 Kddi Corp 動画コンテンツ識別装置および動画コンテンツ識別方法
US8731292B2 (en) * 2011-01-07 2014-05-20 Alcatel Lucent Method and apparatus for comparing videos

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220060210A (ko) 2020-11-04 2022-05-11 한국전자기술연구원 영상 처리 방법 및 장치
KR102502034B1 (ko) * 2022-08-23 2023-02-21 주식회사 노타 영상의 비 식별 처리 객체를 검색하는 방법 및 시스템

Also Published As

Publication number Publication date
WO2013041920A1 (en) 2013-03-28
JP2014503095A (ja) 2014-02-06
EP2661709B1 (en) 2015-07-15
US20120177296A1 (en) 2012-07-12
EP2661709A1 (en) 2013-11-13
CN103582882A (zh) 2014-02-12
KR101548438B1 (ko) 2015-08-28
JP5711387B2 (ja) 2015-04-30
US8731292B2 (en) 2014-05-20

Similar Documents

Publication Publication Date Title
KR101548438B1 (ko) 영상을 비교하기 위한 방법 및 장치
US8849044B2 (en) Method and apparatus for comparing videos
JP4990383B2 (ja) 画像グループの表現方法、画像グループの探索方法、装置、コンピュータ読み取り可能な記憶媒体およびコンピュータシステム
JP3568117B2 (ja) ビデオ画像の分割、分類、および要約のための方法およびシステム
KR101517750B1 (ko) 비디오들을 비교하기 위한 방법들 및 장치
CN106557545B (zh) 视频检索方法和装置
KR101556513B1 (ko) 비디오들을 비교하는 방법 및 장치
CN108881947B (zh) 一种直播流的侵权检测方法及装置
Sebastian et al. A survey on video summarization techniques
Sabbar et al. Video summarization using shot segmentation and local motion estimation
KR101634395B1 (ko) 시퀀스 간의 비교 방법, 그 장치, 및 컴퓨터 프로그램 제품
Rathod et al. An algorithm for shot boundary detection and key frame extraction using histogram difference
JP2009060413A (ja) 動画特徴抽出方法およびシステムならびに動画検索方法およびシステム
Piramanayagam et al. Shot boundary detection and label propagation for spatio-temporal video segmentation
CN104850600A (zh) 一种用于搜索包含人脸的图片的方法和装置
Elminir et al. Multi feature content based video retrieval using high level semantic concept
Bhaumik et al. Real-time storyboard generation in videos using a probability distribution based threshold
Patel Content based video retrieval: a survey
Matthews et al. Using control charts for on-line video summarisation
Chu et al. Travel video scene detection by search
Fanan et al. A fast robust technique for video shot boundary detection
Waizenegger et al. Semantic annotation and retrieval of unedited video based on extraction of 3d camera motion
Fahn et al. A multi-videos retrieval using adaptive key feature set of shot
Chaisorn et al. A Hierarchical Filtering Approach for Copy Detection in Video Sharing Network

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee