KR102121534B1 - 시퀀스 간의 유사성을 결정하는 방법 및 디바이스 - Google Patents

시퀀스 간의 유사성을 결정하는 방법 및 디바이스 Download PDF

Info

Publication number
KR102121534B1
KR102121534B1 KR1020150033246A KR20150033246A KR102121534B1 KR 102121534 B1 KR102121534 B1 KR 102121534B1 KR 1020150033246 A KR1020150033246 A KR 1020150033246A KR 20150033246 A KR20150033246 A KR 20150033246A KR 102121534 B1 KR102121534 B1 KR 102121534B1
Authority
KR
South Korea
Prior art keywords
frame
sequence
descriptor
determining
frames
Prior art date
Application number
KR1020150033246A
Other languages
English (en)
Other versions
KR20160109221A (ko
Inventor
곽영진
김경래
김창수
장원동
이준태
Original Assignee
삼성전자주식회사
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 고려대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020150033246A priority Critical patent/KR102121534B1/ko
Priority to US15/016,492 priority patent/US9886650B2/en
Publication of KR20160109221A publication Critical patent/KR20160109221A/ko
Application granted granted Critical
Publication of KR102121534B1 publication Critical patent/KR102121534B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)

Abstract

복수 개의 프레임을 포함하는 제 1 시퀀스 및 제 2 시퀀스를 획득하는 단계; 제 1 시퀀스에 포함된 제 1 프레임의 복수 개의 블록들 간의 휘도 정보에 기초한 기술자를 결정하는 단계; 제 2 시퀀스에 포함된 제 2 프레임의 복수 개의 블록들 간의 휘도 정보에 기초한 기술자를 결정하는 단계; 및 제 1 프레임의 기술자 및 제 2 프레임의 기술자를 이용하여 제 1 시퀀스와 제 2 시퀀스의 유사성을 결정하는 단계를 포함하고, 기술자는, 상기 제 1 프레임 또는 상기 제 2 프레임인 현재 프레임의 상기 복수 개의 블록들의 휘도 정보에 기초하여 소정의 순서에 따른 상기 휘도 간의 차이 정보를 포함하는 정보인 것인, 방법이 제공된다.

Description

시퀀스 간의 유사성을 결정하는 방법 및 디바이스{METHOD AND DEVICE FOR DETERMINING SIMILARITY OF SEQUENCES}
본 발명은 영상의 시퀀스 간의 유사성을 결정하는 방법 및 이를 수행하기 위한 디바이스에 관한다.
휴대용 디바이스의 대중화 및 동영상 공유 사이트의 활성화에 따라 사용자에 의한 영상의 공유가 증가하고 있다. 사용자는 복사 및 편집을 거쳐 재생산된 영상을 공유할 수 있고, 재생산된 동영상은 원본과 동일하지 않은 유사한 영상이 된다. 유사 영상은 원본 영상과 해상도가 다른 영상, 원본 영상과 프레임의 사이즈가 달라 보더(border)가 추가된 영상, 원본 영상에 대조비 향상 등의 영상 처리가 추가된 영상, 자막 또는 로고 등이 추가된 영상, 동일한 프레임들을 포함하는 전체 프레임 개수가 다른 영상 등이 있을 수 있다. 유사 영상의 증가는 원본 영상과 유사 영상 간의 유사성을 결정하는 것을 어렵게 만들 수 있고 사용자에게 불필요한 검색 결과를 제공할 수 있다.
영상의 시퀀스 간의 유사성을 결정하는 방법 및 이를 수행하기 위한 디바이스를 제공한다.
본 발명의 일 실시예에 따른 방법은, 복수 개의 프레임을 포함하는 제 1 시퀀스 및 제 2 시퀀스를 획득하는 단계; 상기 제 1 시퀀스에 포함된 제 1 프레임의 복수 개의 블록들 간의 휘도 정보에 기초한 기술자를 결정하는 단계; 상기 제 2 시퀀스에 포함된 제 2 프레임의 복수 개의 블록들 간의 휘도 정보에 기초한 기술자를 결정하는 단계; 및 상기 제 1 프레임의 기술자 및 상기 제 2 프레임의 기술자를 이용하여 상기 제 1 시퀀스와 상기 제 2 시퀀스의 유사성을 결정하는 단계를 포함하고, 상기 기술자는, 상기 제 1 프레임 또는 상기 제 2 프레임인 현재 프레임의 상기 복수 개의 블록들의 휘도 정보에 기초하여 소정의 순서에 따른 상기 휘도 간의 차이 정보를 포함하는 정보이다.
또한, 상기 제 1 시퀀스와 상기 제 2 시퀀스의 유사성을 결정하는 단계는, 상기 제 1 프레임의 기술자 및 상기 제 2 프레임의 기술자를 이용하여, 상기 제 1 프레임과 상기 제 2 프레임을 매칭하는 단계; 및 상기 제 1 시퀀스의 소정의 구간과 유사 구간으로 매칭되는 상기 제 2 시퀀스의 구간을 결정하는 단계를 포함할 수 있다.
또한, 상기 매칭하는 단계는, 상기 제 1 프레임의 기술자 및 상기 제 2 프레임의 기술자 사이의 해밍 거리(Hamming Distance)가 최소가 되는 상기 제 1 프레임 및 상기 제 2 프레임을 매칭하는 것일 수 있다.
또한, 상기 매칭하는 단계는, 상기 매칭되는 제 1 프레임 및 제 2 프레임의 매칭 관계를 나타내는 매칭 벡터를 획득하는 단계; 및 상기 획득된 매칭 벡터에 기초하여 대표 매칭 벡터를 결정하는 단계를 더 포함하고, 상기 제 2 시퀀스의 유사 구간을 결정하는 단계는, 상기 결정된 대표 매칭 벡터에 기초하여 상기 제 1 시퀀스의 소정의 구간과 유사 구간으로 매칭되는 상기 제 2 시퀀스의 구간을 결정하는 것일 수 있다.
또한, 상기 제 1 프레임의 매칭 벡터가 상기 대표 매칭 벡터에 따른 소정의 범위에 포함되지 않는 경우, 상기 제 1 프레임을 소정의 범위 내에서 상기 제 2 시퀀스의 프레임과 다시 매칭하는 단계를 더 포함할 수 있다.
또한, 상기 제 1 시퀀스 및 제 2 시퀀스를 획득하는 단계는, 소정의 프레임 레이트에 따라 상기 제 1 시퀀스에 포함된 프레임들 중 일부를 추출하고, 상기 소정의 프레임 레이트에 따라 상기 제 2 시퀀스에 포함된 프레임들 중 일부를 추출하는 단계를 더 포함하고, 상기 제 1 프레임은 상기 제 1 시퀀스에서 추출된 프레임들 중 어느 하나이고, 상기 제 2 프레임은 상기 제 2 시퀀스에서 추출된 프레임들 중 어느 하나일 수 있다.
또한, 상기 기술자는, 상기 제 1 시퀀스 및 제 2 시퀀스 중 어느 하나의 시퀀스에 포함된 모든 프레임들에 대하여 동일한 위치에서 동일한 픽셀값을 갖는 픽셀이 상기 현재 프레임의 행 또는 열에 소정의 개수 이상 존재하는 경우, 상기 행 또는 열을 제외한 상기 현재 프레임의 블록들의 휘도 정보에 기초하여 결정하는 것일 수 있다.
또한, 상기 제 1 시퀀스와 상기 제 2 시퀀스의 유사성을 결정하는 단계는, 상기 제 1 프레임의 기술자를 기초로 상기 제 1 시퀀스의 기술자를 결정하고, 상기 제 2 프레임의 기술자를 기초로 상기 제 2 시퀀스의 기술자를 결정하는 단계; 및 상기 획득된 제 1 시퀀스의 기술자 및 제 2 시퀀스의 기술자를 비교하여 상기 제 1 시퀀스와 상기 제 2 시퀀스의 유사 여부를 결정하는 단계를 포함할 수 있다.
또한, 상기 제 1 시퀀스의 기술자 및 제 2 시퀀스의 기술자를 결정하는 단계는, 복수 개의 소정의 코드를 이용하여 변환된 상기 제 1 프레임의 기술자에 기초하여 상기 제 1 시퀀스의 기술자를 결정하고, 상기 복수 개의 소정의 코드를 이용하여 변환된 상기 제 2 프레임의 기술자에 기초하여 상기 제 2 시퀀스의 기술자를 결정하는 것일 수 있다.
본 발명에 일 실시예에 따른 장치는, 복수 개의 프레임을 포함하는 제 1 시퀀스 및 제 2 시퀀스를 획득하는 시퀀스 획득부; 상기 제 1 시퀀스에 포함된 제 1 프레임의 복수 개의 블록들 간의 휘도 정보에 기초한 기술자를 결정하고, 상기 제 2 시퀀스에 포함된 제 2 프레임의 복수 개의 블록들 간의 휘도 정보에 기초한 기술자를 결정하는 기술자 결정부; 및 상기 제 1 프레임의 기술자 및 상기 제 2 프레임의 기술자를 이용하여 상기 제 1 시퀀스와 상기 제 2 시퀀스의 유사성을 결정하는 유사성 결정부를 포함하고, 상기 기술자는, 상기 제 1 프레임 또는 상기 제 2 프레임인 현재 프레임의 상기 복수 개의 블록들의 휘도 정보에 기초하여 소정의 순서에 따른 상기 휘도 간의 차이 정보를 포함하는 정보이다.
또한, 상기 유사성 결정부는, 상기 제 1 프레임의 기술자 및 상기 제 2 프레임의 기술자를 이용하여, 상기 제 1 프레임과 상기 제 2 프레임을 매칭하고, 상기 제 1 시퀀스의 소정의 구간과 유사 구간으로 매칭되는 상기 제 2 시퀀스의 구간을 결정할 수 있다.
또한, 상기 유사성 결정부는, 상기 제 1 프레임의 기술자 및 상기 제 2 프레임의 기술자 사이의 해밍 거리(Hamming Distance)가 최소가 되는 상기 제 1 프레임 및 상기 제 2 프레임을 매칭할 수 있다.
또한, 상기 유사성 결정부는, 상기 매칭되는 제 1 프레임 및 제 2 프레임의 매칭 관계를 나타내는 매칭 벡터를 획득하고, 상기 획득된 매칭 벡터에 기초하여 대표 매칭 벡터를 결정하고, 상기 결정된 대표 매칭 벡터에 기초하여 상기 제 1 시퀀스의 소정의 구간과 유사 구간으로 매칭되는 상기 제 2 시퀀스의 구간을 결정할 수 있다.
또한, 상기 유사성 결정부는, 상기 제 1 프레임의 매칭 벡터가 상기 대표 매칭 벡터에 따른 소정의 범위에 포함되지 않는 경우, 상기 제 1 프레임을 소정의 범위 내에서 상기 제 2 시퀀스의 프레임과 다시 매칭할 수 있다.
또한, 상기 시퀀스 획득부는, 소정의 프레임 레이트에 따라 상기 제 1 시퀀스에 포함된 프레임들 중 일부를 추출하고, 상기 소정의 프레임 레이트에 따라 상기 제 2 시퀀스에 포함된 프레임들 중 일부를 추출하고, 상기 제 1 프레임은 상기 제 1 시퀀스에서 추출된 프레임들 중 어느 하나이고, 상기 제 2 프레임은 상기 제 2 시퀀스에서 추출된 프레임들 중 어느 하나일 수 있다.
또한, 상기 기술자는, 상기 제 1 시퀀스 및 제 2 시퀀스 중 어느 하나의 시퀀스에 포함된 모든 프레임들에 대하여 동일한 위치에서 동일한 픽셀값을 갖는 픽셀이 상기 현재 프레임의 행 또는 열에 소정의 개수 이상 존재하는 경우, 상기 행 또는 열을 제외한 상기 현재 프레임의 블록들의 휘도 정보에 기초하여 결정하는 것일 수 있다.
또한, 상기 기술자 결정부는, 상기 제 1 프레임의 기술자를 기초로 상기 제 1 시퀀스의 기술자를 결정하고, 상기 제 2 프레임의 기술자를 기초로 상기 제 2 시퀀스의 기술자를 결정하고, 상기 유사성 결정부는, 상기 획득된 제 1 시퀀스의 기술자 및 제 2 시퀀스의 기술자를 비교하여 상기 제 1 시퀀스와 상기 제 2 시퀀스의 유사 여부를 결정할 수 있다.
또한, 상기 기술자 결정부는, 복수 개의 소정의 코드를 이용하여 변환된 상기 제 1 프레임의 기술자에 기초하여 상기 제 1 시퀀스의 기술자를 결정하고, 상기 복수 개의 소정의 코드를 이용하여 변환된 상기 제 2 프레임의 기술자에 기초하여 상기 제 2 시퀀스의 기술자를 결정할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 영상의 시퀀스 간의 유사성을 결정하는 디바이스는, 유사한 동영상들 간의 유사성을 빠르고 정확하게 결정할 수 있으며, 사용자에게 유사 동영상의 유사성에 관한 정보를 제공할 수 있다.
도 1은 일 실시예에 따른 시퀀스 간의 유사성을 결정하는 디바이스의 블록도를 나타낸다.
도 2는 일 실시예에 따른 디바이스에서 시퀀스 간의 유사성을 결정하는 과정을 나타낸다.
도 3는 일 실시예에 따른 디바이스에서 결정된 시퀀스 간의 중복 구간을 나타낸다.
도 4는 도 1의 디바이스에서 기술자를 결정하는 과정의 일 예시를 나타낸다.
도 5는 도 1의 디바이스에서 프레임 간의 매칭을 하는 과정의 일 예시를 나타낸다.
도 6 내지 도 9는 도 1의 디바이스에서 매칭을 이용하여 시퀀스 간의 유사성을 결정하는 과정을 나타낸다.
도 10은 일 실시예에 따른 디바이스에서 기술자를 결정하기 위하여 시퀀스를 선처리하는 과정을 나타낸다.
도 11은 일 실시예에 따른 디바이스에서 시퀀스 간의 유사성을 결정하는 방법을 나타낸다.
도 12 및 도 13은 도 11의 방법에서 시퀀스의 기술자를 결정하는 과정의 일 예시를 나타낸다.
도 14는 도 11의 방법에서 기술자를 결정하는 과정의 일 예시를 나타낸다.
도 15는 도 11의 방법에서 기술자를 결정하는 과정의 일 예시를 나타낸다.
도 16은 일 실시예에 따른 디바이스에서 시퀀스 간의 유사성을 결정하는 방법의 흐름도이다.
도 17은 일 실시예에 따른 디바이스에서 시퀀스 간의 유사성을 결정하는 방법의 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서 본 발명의 원리들의 '일 실시예'와 이런 표현의 다양한 변형들의 지칭은 이 실시예와 관련되어 특정 특징, 구조, 특성 등이 본 발명의 원리의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 표현 '일 실시예에서'와, 본 명세서 전체를 통해 개시된 임의의 다른 변형례들은 반드시 모두 동일한 실시예를 지칭하는 것은 아니다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 일 실시예에 따른 시퀀스 간의 유사성을 결정하는 디바이스(100)의 블록도를 나타낸다.
일 실시예에 따른 디바이스(100)는 시퀀스 획득부(110), 기술자 결정부(120) 및 유사성 결정부(130)를 포함할 수 있다. 디바이스(100)의 각 구성에 대하여는, 디바이스(100)에서 시퀀스 간의 유사성을 결정하는 일 예시를 나타내는 도 2 및 도 3을 설명한 후 설명하도록 한다.
도 2는 일 실시예에 따른 디바이스(100)에서 시퀀스 간의 유사성을 결정하는 과정을 나타낸다.
본 발명의 일 실시예에 따른 디바이스(100)는 복수 개의 시퀀스에 대하여 하나의 시퀀스에 포함된 프레임들을 다른 시퀀스에 포함된 프레임들과 비교하여 시퀀스 간의 유사성을 결정할 수 있다.
시퀀스는 영상의 전부 또는 일부로서, 영상에 포함된 복수 개의 프레임들 중 전부 또는 일부의 연속되는 프레임들의 집합일 수 있다. 디바이스(100)는 복수 개의 시퀀스를 하나의 영상 또는 서로 다른 영상들로부터 획득할 수 있다. 예를 들어, 디바이스(100)는 제 1 프레임을 포함하는 제 1 시퀀스 및 제 2 프레임을 포함하는 제 2 시퀀스를 획득할 수 있다.
디바이스(100)는 획득된 시퀀스에 포함된 프레임들에 대하여 해당 프레임의 색상 정보를 나타내는 기술자를 결정할 수 있고, 결정된 기술자를 이용하여 서로 다른 시퀀스에 포함된 프레임들을 비교할 수 있다. 프레임의 색상 정보는 프레임에 포함된 픽셀들의 값에 관한 정보로서, 색상 채널별 밝기(intensity) 정보, 휘도(luma) 정보 및 채도(chroma) 정보를 포함하는 정보일 수 있다.
기술자는 프레임의 색상 정보를 나타내는 프레임의 기술자 또는 시퀀스의 색상 정보를 나타내는 시퀀스의 기술자가 될 수 있으며, 시퀀스의 기술자는 시퀀스에 포함된 프레임들에 대한 프레임 기술자들을 이용하여 결정될 수 있다.
디바이스(100)는 하나의 프레임에 관한 하나의 기술자를 결정할 수 있다. 예를 들어, 디바이스(100)는 제 1 시퀀스에 포함된 제 1 프레임의 복수 개의 블록들 간의 휘도 정보에 기초하여 제 1 프레임의 기술자를 결정할 수 있고, 제 2 시퀀스에 포함된 제 2 프레임의 복수 개의 블록들 간의 휘도 정보에 기초하여 제 2 프레임의 기술자를 결정할 수 있다.
구체적으로, 디바이스(100)는 하나의 프레임을 구성하는 복수 개의 블록의 휘도 정보에 기초하여 블록들 간의 휘도의 차이를 결정할 수 있고, 소정의 순서에 따른 휘도 차이 정보를 포함하는 프레임의 기술자를 결정할 수 있다. 기술자를 결정하는 더욱 구체적인 과정은 아래에서 도 4를 참조하여 설명하도록 한다.
디바이스(100)는 결정된 기술자들을 이용하여 시퀀스 간의 유사성을 결정할 수 있다. 예를 들어, 디바이스(100)는 제 1 프레임의 기술자 및 제 2 프레임의 기술자를 이용하여 제 1 시퀀스와 제 2 시퀀스의 유사성을 결정할 수 있다. 디바이스(100)는 제 1 프레임의 기술자 및 제 2 프레임의 기술자를 이용하여, 제 2 시퀀스의 하나 이상의 프레임들을 포함하는 구간들 중에서 제 1 시퀀스의 소정의 구간과 유사 구간으로 결정되는 제 2 시퀀스의 구간을 검출할 수 있다.
디바이스(100)는 결정된 기술자들을 이용하여 서로 다른 시퀀스에 포함된 프레임들을 매칭하여 시퀀스 간의 유사 여부 또는 시퀀스 간의 유사 구간을 결정할 수 있다. 프레임들을 매칭하는 구체적인 방법 아래에서 도 5 내지 도 9을 참조하여 설명하도록 한다.
도 3은 일 실시예에 따른 디바이스(100)에서 결정된 시퀀스 간의 중복 구간을 나타낸다.
도 3를 참조하면, 프레임 1 및 프레임 2를 포함하는 제 1 시퀀스와 프레임 1, 프레임 2, 프레임 3 및 프레임 4를 포함하는 제 2 시퀀스가 나타난다.
디바이스(100)는 각 시퀀스에 포함된 프레임들에 대한 기술자들을 결정할 수 있고, 결정된 각 프레임들의 기술자들을 이용하여 제 1 시퀀스에 포함된 프레임들과 제 2 시퀀스에 포함된 프레임들을 비교할 수 있다.
디바이스(100)는 프레임들을 비교하여 제 1 시퀀스에 포함된 프레임들 중 하나의 프레임과 제 2 시퀀스에 포함된 프레임들 중 하나의 프레임을 한 쌍의 유사한 프레임으로 매칭할 수 있다. 디바이스(100)는 프레임 간의 매칭에 기초하여 제 1 시퀀스의 소정의 구간과 유사한 구간으로 매칭되는 제 2 시퀀스의 구간을 결정할 수 있다.
예를 들어, 도 2에서, 제 1 시퀀스의 프레임 1은 제 2 시퀀스의 프레임 3과 매칭되고, 제 1 시퀀스의 프레임 2는 제 2 시퀀스의 프레임 4와 매칭될 수 있다. 따라서, 디바이스(100)는 제 2 시퀀스의 프레임 3 및 프레임 4를 포함하는 구간을 제 1 시퀀스의 프레임 1 및 프레임 2를 포함하는 구간과 유사한 구간으로 결정할 수 있다.
디바이스(100)는 기술자를 이용하여 시퀀스 간의 유사 여부 또는 시퀀스 간의 유사 구간을 빠르게 결정하여 데이터 관리 효율을 증가시킬 수 있으며, 사용자에게 영상의 유사성에 관한 정보를 제공할 수 있다. 또한, 시퀀스들을 동기화하여 쉽고 빠른 영상 편집 방법을 제공할 수 있다.
도 1을 다시 보면, 따른 디바이스(100)는 시퀀스 획득부(110), 기술자 결정부(120) 및 유사성 결정부(130)를 포함할 수 있다.
시퀀스 획득부(110)는 복수 개의 시퀀스들을 획득하기 위한 구성으로서, 디바이스(100) 또는 외부 장치에 저장된 영상으로부터 복수 개의 시퀀스를 획득할 수 있다. 시퀀스 획득부(110)는 복수 개의 시퀀스를 하나의 영상 또는 서로 다른 영상들로부터 획득할 수 있다. 시퀀스 획득부(110)는 획득된 시퀀스들을 기술자 결정부(120)로 전송할 수 있다.
시퀀스 획득부(110)는 획득된 시퀀스에 포함된 복수 개의 프레임들 중 일부를 키 프레임으로 추출할 수 있고, 추출된 키 프레임들만을 이용하여 시퀀스 간의 유사성을 결정할 수 있다.
예를 들어, 획득된 시퀀스들의 프레임 레이트(frame rate)가 서로 다른 경우 프레임 간 매칭 관계가 복잡해 질 수 있다. 또한, 프레임 레이트가 매우 높은 시퀀스의 경우 프레임 간 매칭에 너무 많은 연산이 필요할 수 있다.
따라서, 시퀀스 획득부(110)는 프레임 간의 매칭 관계를 쉽게 나타나고 연산 속도를 효과적으로 높이기 위하여, 획득된 시퀀스들로부터 소정의 프레임 레이트에 따라 키 프레임들을 추출할 수 있다. 구체적으로, 시퀀스 획득부(110)는 소정의 프레임 레이트에 따라 제 1 시퀀스에 포함된 프레임들 중 일부를 제 1 시퀀스의 키 프레임으로 추출하고, 동일한 소정의 프레임 레이트에 따라 제 2 시퀀스에 포함된 프레임들 중 일부를 제 2 시퀀스의 키 프레임으로 추출할 수 있다.
시퀀스 획득부(110)는 추출된 키 프레임들을 기술자 결정부(120)로 전송할 수 있다.
기술자 결정부(120)는 프레임 또는 시퀀스의 색상 정보를 나타내는 기술자를 결정하기 위한 구성이다. 기술자 결정부(120)는 프레임의 색상 정보를 나타내는 프레임의 기술자 또는 시퀀스의 색상 정보를 나타내는 시퀀스의 기술자를 결정할 수 있다. 기술자 결정부(120)는 시퀀스에 포함된 프레임들에 대한 프레임의 기술자들을 이용하여 시퀀스의 기술자를 결정할 수 있다.
기술자 결정부(120)는 하나의 프레임에 대하여 프레임에 포함된 픽셀들의 색상 정보를 이용하여 기술자를 결정할 수 있다. 예를 들어, 기술자 결정부(120)는 제 1 프레임에 포함된 픽셀들의 휘도 정보에 기초하여 제 1 프레임의 기술자를 결정할 수 있고, 제 2 프레임에 포함된 픽셀들의 휘도 정보에 기초하여 제 2 프레임의 기술자를 결정할 수 있다.
예를 들어, 기술자 결정부(120)는 제 1 프레임을 복수 개의 픽셀들을 포함하는 동일한 크기의 복수 개의 블록들로 분할할 수 있다. 기술자 결정부(120)는 각 블록들에 포함된 픽셀들의 휘도 값을 이용하여 각 블록들에 대한 휘도 정보를 결정할 수 있다. 예를 들어, 블록에 대한 휘도 정보는 블록의 평균 휘도 값이 될 수 있다.
기술자 결정부(120)는 결정된 블록들의 휘도 정보를 비교하여 블록들 간의 휘도 차이 정보를 결정할 수 있다. 블록들 간의 휘도 차이 정보는 블록들 간의 평균 휘도 값의 차이값을 소정의 기준 구간에 따라 수치화한 정보일 수 있다. 예를 들어, 휘도 차이 정보는 어느 두 블록의 평균 휘도 값의 차이값을 2 비트의 2진 코드로 나타낸 정보일 수 있다. 기술자 결정부(120)는 결정된 복수 개의 블록들 간의 휘도 차이 정보들을 기초로 2진 코드로 나타나는 제 1 프레임의 기술자를 결정할 수 있다.
또한, 기술자 결정부(120)는 제 1 프레임에 포함된 픽셀들의 색상 정보 또는 채도 정보에 기초하여 제 1 프레임의 기술자를 결정할 수도 있다.
기술자 결정부(120)는 시퀀스 획득부(110)로부터 받은 제 1 시퀀스 및 제 2 시퀀스의 모든 프레임 또는 키 프레임에 대하여 프레임의 기술자를 결정할 수 있다.
기술자 결정부(120)는 제 1 프레임의 기술자를 비롯한 제 1 시퀀스에 포함된 복수 개의 프레임들의 기술자들을 기초로 제 1 시퀀스의 기술자를 결정할 수 있고, 제 2 프레임의 기술자를 비롯한 제 2 시퀀스에 포함된 복수 개의 프레임들의 기술자들을 기초로 제 2 시퀀스의 기술자를 결정할 수 있다. 시퀀스의 기술자를 결정하는 과정은 아래의 도 11 내지 도 13에서 자세히 설명하도록 한다.
기술자 결정부(120)는 제 1 프레임의 기술자 및 제 2 프레임의 기술자를 유사성 결정부(130)로 전송할 수 있다. 또는, 기술자 결정부(120)는 제 1 시퀀스의 기술자 및 제 2 시퀀스의 기술자를 유사성 결정부(130)로 전송할 수 있다.
유사성 결정부(130)는 기술자 결정부(120)로부터 수신한 기술자들을 이용하여 시퀀스 간의 유사성을 결정할 수 있다. 유사성 결정부(130)는 수신한 제 1 프레임의 기술자 및 제 2 프레임의 기술자를 이용하여 제 1 시퀀스와 제 2 시퀀스 간의 유사성을 결정할 수 있다.
구체적으로, 유사성 결정부(130)는 제 1 프레임의 기술자 및 제 2 프레임의 기술자를 이용하여 제 1 프레임과 제 2 프레임을 매칭할 수 있다. 프레임을 매칭한다는 것은 프레임의 기술자를 이용하여, 가장 유사한 것으로 판단되는 서로 다른 시퀀스에 포함된 두 개의 프레임을 결정하는 것일 수 있다. 예를 들어, 제 1 시퀀스의 제 1 프레임은 제 2 시퀀스의 제 2 프레임과 매칭될 수 있다.
유사성 결정부(130)는 프레임 간의 매칭 거리가 가장 짧은 프레임들을 가장 유사한 프레임들로 결정하여 매칭할 수 있다. 예를 들어, 유사성 결정부(130)는 프레임들의 기술자들 간의 해밍 거리(Hamming Distance)를 계산하여 프레임 간의 매칭 거리를 결정할 수 있다.
해밍 거리는 같은 비트 수를 갖는 두 개의 코드열에서, 같은 위치에 있는 서로 다른 문자의 개수이다. 예를 들어, 제 1 코드 “00011” 및 제 2 코드 “00101”에서, 세 번째 비트와 네 번째 비트가 상이하므로 제 1 코드와 제 2 코드 간의 해밍 거리는 2가 된다.
제 1 시퀀스의 제 a 프레임과 제 2 시퀀스의 제 b 프레임 간의 해밍 거리를 구하는 수학식 1은 다음과 같다.
Figure 112015023370780-pat00001
수학식 1에서, a는 제 1 시퀀스의 프레임의 인덱스를 나타내고, b는 제 2 시퀀스의 프레임의 인덱스를 나타낼 수 있다. Ia(i)는 제 a 프레임의 기술자의 i 번째 비트 값을 나타내고, Ib(i)는 제 b 프레임의 기술자의 i번째 비트 값을 나타낼 수 있다.
유사성 결정부(130)는 제 1 시퀀스의 제 1 프레임의 기술자와 제 2 시퀀스에 포함된 모든 프레임들의 기술자들과의 해밍 거리를 구하여, 가장 짧은 해밍 거리를 갖는 제 2 시퀀스의 프레임을 제 1 프레임과 매칭할 수 있다. 예를 들어, 제 1 프레임의 기술자와 제 2 프레임의 기술자 간의 해밍 거리가 가장 짧은 경우, 유사성 결정부(130)는 제 1 프레임과 제 2 프레임을 매칭할 수 있다.
유사성 결정부(130)는 기술자를 이용한 프레임들 간의 매칭 관계를 매칭 벡터로 나타낼 수 있다. 매칭 벡터는 제 1 프레임의 인덱스와 제 2 프레임의 인덱스의 차이 값일 수 있다. 예를 들어, 제 1 시퀀스 내에서 제 1 프레임의 인덱스가 1이고 제 2 시퀀스 내에서 제 2 프레임의 인텍스가 5인 경우, 매칭 벡터는 4(5-1=4)로 나타날 수 있다.
유사성 결정부(130)는 결정된 매칭 벡터를 이용하여, 제 1 시퀀스의 소정의 구간과 유사 구간으로 매칭되는 제 2 시퀀스의 구간을 결정할 수도 있고 유사성 결정의 고속화를 위하여 대표 매칭 벡터를 결정할 수도 있다. 예를 들어, 유사성 결정부(130)는 서로 다른 시퀀스 간의 매칭 벡터들 중 가장 빈도수가 높은 벡터를 대표 매칭 벡터로 결정할 수 있다. 또한, 유사성 결정부(130)는 서로 다른 시퀀스 간의 매칭 벡터들 중 평균값을 갖는 벡터를 대표 매칭 벡터로 결정할 수도 있으며, 이에 제한되지 않고 다양한 방식으로 대표 매칭 벡터를 결정할 수 있다.
유사성 결정부(130)는 결정된 대표 매칭 벡터를 이용하여, 매칭들 중 대표 매칭 벡터와 유사하지 않은 매칭 벡터를 갖는 매칭들을 잡음으로 판단하여 제거할 수 있다. 유사성 결정부(130)는 매칭이 제거된 프레임들에 대하여 추가 매칭을 할 수 있다. 구체적으로, 유사성 결정부(130)는 매칭이 제거된 프레임들에 대하여, 대표 매칭 벡터와 유사한 범위 내에서 매칭이 되도록 추가 매칭을 할 수 있다. 예를 들어, 유사성 결정부(130)는 대표 매칭 백터에 따른 소정의 범위 내에서 다시 매칭을 할 수 있다.
유사성 결정부(130)는 최종 매칭 벡터들에 기초하여 제 1 시퀀스의 소정과 유사 구간으로 매칭되는 제 2 시퀀스의 특정 구간을 결정할 수 있다.
또한, 유사성 결정부(130)는 기술자 결정부(120)로부터 제 1 시퀀스의 기술자 및 제 2 시퀀스의 기술자를 수신하여 제 1 시퀀스와 제 2 시퀀스 간의 유사 여부를 결정할 수 있다.
도 4는 도 1의 디바이스(100)에서 기술자를 결정하는 과정의 일 예시를 나타낸다.
디바이스(100)는 획득된 시퀀스에 포함된 프레임들에 대한 휘도 정보를 이용하여 프레임의 기술자를 결정할 수 있다. 예를 들어, 프레임의 기술자는 프레임 내의 위치간 휘도 값의 차이를 나타내는 정보일 수 있다. 도 4에서는 제 1 시퀀스에 포함된 제 1 프레임의 기술자를 결정하는 과정을 일 예시로 설명한다.
도 4(a)를 참조하면, 디바이스(100)는 제 1 프레임을 복수 개의 픽셀들을 포함하는 동일한 크기의 복수 개의 블록들로 분할할 수 있다. 예를 들어, 디바이스(100)는 제 1 프레임을 16개의 동일한 크기의 블록들로 분할할 수 있다. 블록에 표시된 숫자는 블록의 인덱스를 나타낸다.
도 4(b)를 참조하면, 디바이스(100)는 각 블록들에 포함된 픽셀들의 휘도 값을 이용하여 각 블록들에 대한 휘도 정보를 결정할 수 있다. 예를 들어, 제 1 블록(401)에 포함된 픽셀들의 평균 휘도 값인 130을 제 1 블록(401)의 휘도 정보로 결정할 수 있다. 또한, 제 2 블록(402)의 휘도 정보는 81로 결정될 수 있다.
도 4(c)를 참조하면, 디바이스(100)는 블록들의 휘도 정보를 이용하여 블록들 간의 휘도 차이 정보를 결정할 수 있다. 예를 들어, 디바이스(100)는 제 1 블록(401)과 제 2 블록(402)의 평균 휘도 값의 차이값을 이용하여 휘도 차이 정보(403)를 결정할 수 있다. 휘도 차이 정보는 블록들 간의 휘도 정보의 차이값을 소정의 기준 구간에 따라 수치화한 정보일 수 있다.
구체적으로, 디바이스(100)는 비교하는 두 블록간의 휘도 정보의 대소 관계에 따라 다음 수학식 2와 같이 휘도 차이 정보 Pij를 결정할 수 있다.
Figure 112015023370780-pat00002
수학식 2에서, Pij는 i번째 블록과 j번째 블록 간의 휘도 차이 정보를 나타낸다. Li는 i번째 블록의 휘도 정보를 나타내고, Lj는 j번째 블록의 휘도 정보를 나타낸다. T는 소정의 기준 구간을 설정하기 위한 소정의 상수일 수 있다. 예를 들어, T는 20일 수 있다.
디바이스(100)는 제 1 블록(401)과 제 2 블록(402)의 휘도 정보의 차이 값인 49가 20보다 크므로 제 1 블록(401)과 제 2 블록(402) 간의 휘도 차이 정보(403)를 2로 결정할 수 있다. 또한, 디바이스(100) 제 1 블록(401)을 계속해서 다른 블록들과 비교하여 블록들 간의 휘도 차이 정보를 결정할 수 있다. 디바이스(100)의 소정의 순서에 따라, 결정된 블록들 간의 휘도 차이 정보를 나열할 수 있다. 도 4(c)에서, 제 1 프레임에 포함되는 블록이 16개인 경우, 디바이스(100)는 총 120 개의 숫자를 포함하는 제 1 프레임의 휘도 차이 정보를 결정할 수 있다.
디바이스(100)는 결정된 휘도 차이 정보를 2진 코드로 변환하여 제 1 프레임의 기술자를 결정할 수 있다. 예를 들어, 휘도 차이 정보 0은 00으로, 휘도 차이 정보 1은 01으로, 휘도 차이 정보 2는 11으로 변환될 수 있다. 예를 들어, 도 4(d)에서, 디바이스(100)는 제 1 프레임에 대한 240 비트의 이진 기술자를 결정할 수 있다.
디바이스(100)는 획득한 시퀀스의 모든 프레임에 대하여 동일한 과정을 거쳐 프레임의 기술자를 결정할 수 있다. 디바이스(100)는 결정된 프레임 기술자들을 이용해 프레임 간의 매칭을 할 수 있다.
도 5는 도 3의 디바이스(100)에서 프레임 간의 매칭을 하는 과정의 일 예시를 나타낸다.
디바이스(100)는 시퀀스 간의 유사성을 결정하기 위하여, 결정된 기술자들을 이용하여 프레임들을 매칭할 수 있다. 예를 들어, 디바이스(100)는 제 1 시퀀스의 제 1 프레임을 제 2 시퀀스에 포함된 프레임들 중 제 1 프레임과 가장 유사한 프레임과 매칭할 수 있다. 도 5에서는 제 1 시퀀스에 포함된 다섯 개의 프레임과 제 2 시퀀스의 포함된 다섯 개의 프레임을 매칭하는 과정이 나타난다.
디바이스(100)는 제 1 프레임과 가장 유사한 프레임을 결정하기 위하여 프레임의 기술자를 이용할 수 있다.
구체적으로, 디바이스(100)는 제 1 프레임과 제 2 시퀀스의 모든 프레임 간의 매칭 거리 “Dab”를 결정하여, 매칭 거리가 가장 짧은 프레임들을 유사한 프레임으로 결정할 수 있다. a는 제 1 시퀀스의 프레임의 인덱스를 나타내고, b는 제 2 시퀀스의 프레임의 인덱스를 나타낼 수 있다. 디바이스(100)는 프레임의 기술자들 간의 해밍 거리를 계산하여 프레임들 간의 매칭 거리를 결정할 수 있다.
도 5를 참조하면, 디바이스(100)는 제 1 시퀀스의 프레임1(frame1)인 제 1 프레임과 제 2 시퀀스의 프레임 1과의 매칭 거리 D11=105를 계산할 수 있다. 또한, 디바이스(100)는 제 1 프레임과 제 2 시퀀스의 프레임2, 프레임3, 프레임4 및 프레임5와의 매칭 거리를 각각 D12=80, D13=5, D14=40 및 D15=53으로 계산할 수 있다. 디바이스(100)는 제 1 프레임인 제 1 시퀀스의 프레임1을 가장 짧은 매칭 거리 D13=5를 갖는 제 2 시퀀스의 프레임3과 매칭할 수 있다.
디바이스(100)는 동일한 과정을 거쳐 제 1 시퀀스의 모든 프레임을 각각 제 2 시퀀스의 프레임들 중 하나의 프레임과 매칭할 수 있다.
도 6 내지 도 9는 도 3의 디바이스(100)에서 프레임 간의 매칭을 이용하여 시퀀스 간의 유사성을 결정하는 과정을 나타낸다.
도 6은 도 5에서 설명된 프레임 간의 매칭 과정에 따라 제 1 시퀀스의 모든 프레임들이 제 2 시퀀스의 프레임들과 매칭된 모습을 나타낸다.
도 6을 참조하면, 제 1 시퀀스는 15 개의 프레임을 포함할 수 있고 제 2 시퀀스는 17개의 프레임을 포함할 수 있다. 도 5의 매칭 과정에 따라 제 1 시퀀스의 프레임1은 제 2 시퀀스의 프레임3과 매칭될 수 있고, 제 1 시퀀스의 프레임2는 제 2 시퀀스의 프레임4와 매칭될 수 있다.
이때, 디바이스(100)는 프레임들 간의 매칭 관계를 매칭 벡터로 나타낼 수 있다. 예를 들어, 매칭 벡터는 제 1 시퀀스의 프레임의 인덱스와 제 2 시퀀스의 프레임의 인덱스의 차이값일 수 있다. 예를 들어, 디바이스(100)는 제 1 시퀀스의 프레임1과 제 2 시퀀스의 프레임3 간의 매칭 벡터는 2(3-1=2)로 나타날 수 있고, 제 1 시퀀스의 프레임2와 제 2 시퀀스의 프레임4 간의 매칭 벡터 또한 2(4-2=2)로 나타날 수 있다.
디바이스(100)는 결정된 매칭 벡터들 중 대표 매칭 벡터를 결정할 수 있다. 예를 들어, 디바이스(100)는 매칭 벡터들 중 가장 빈도수가 높은 벡터를 대표 매칭 벡터로 결정할 수 있다. 도 7(a)를 참조하면, 도 6에서 결정된 매칭 벡터들 중 대표 매칭 벡터로 결정된 매칭 벡터들이 실선으로 표시된다. 대표 매칭 벡터와 다른 매칭 벡터들은 점선으로 표시된다.
디바이스(100)는 결정된 대표 매칭 벡터에 따라, 프레임 간의 매칭들 중 대표 매칭 벡터와 유사하지 않은 매칭 벡터를 갖는 매칭들을 잡음으로 판단하여 제거할 수 있다. 예를 들어, 디바이스(100)는 대표 매칭 벡터를 기준으로 소정의 범위를 설정하여 대표 매칭 벡터와 2 이상 크기 차이가 나는 매칭 벡터를 갖는 매칭들을 제거하고, 대표 매칭 벡터와 일치하거나 1의 크기 차이가 나는 매칭 벡터를 갖는 매칭들만을 추출할 수 있다. 도 7(b)를 참조하면, 대표 매칭 벡터에 따른 소정의 범위에 포함된 매칭 벡터들이 나타난다.
도 7(b)에서, 제 1 시퀀스의 프레임12와 프레임13 은 모두 제 2 시퀀스의 프레임14와 매칭된다. 따라서, 매칭의 중복이 발생하게 된다. 또한, 제 1 시퀀스의 프레임12의 매칭 벡터 및 프레임13의 매칭 벡터는 모두 대표 매칭 벡터에 따른 소정의 범위에 포함되므로 제거되지 않는다. 따라서, 디바이스(100)는 중복되는 매칭들 중 어느 하나의 매칭을 임의로 제거할 수 있다. 예를 들어, 디바이스(100)는 중복되는 매칭들의 매칭 거리가 더 긴 매칭을 제거할 수 있다.
디바이스(100)는 매칭이 제거되어 매칭되지 않은 프레임들에 대하여 추가 매칭을 할 수 있다. 예를 들어, 도 8(a)를 참조하면, 매칭의 제거에 따라 매칭되지 않은 프레임들이 나타난다. 예를 들어, 매칭되지 않은 프레임들은 제 1 시퀀스의 프레임3, 프레임4, 프레임5, 프레임9, 프레임10, 프레임13 및 프레임15이 될 수 있다.
디바이스(100)는 제 1 시퀀스의 매칭되지 않은 프레임들이 연속되는 비매칭 구간(810)을 추출하여, 비매칭 구간(810)의 프레임들에 대하여 추가 매칭을 수행할지 여부를 결정할 수 있다.
예를 들어, 디바이스(100)는 제 1 시퀀스의 비매칭 구간(810)에 포함된 프레임의 수가 소정의 수를 넘는 경우 제 1 시퀀스의 비매칭 구간(810)과 유사한 구간이 제 2 시퀀스에 없는 것으로 판단하여 추가 매칭을 수행하지 않도록 결정할 수 있다. 또한, 디바이스(100)는 제 1 시퀀스의 비매칭 구간(810)에 포함된 프레임 수가 소정의 수를 넘지 않는 경우 제 1 시퀀스의 비매칭 구간(810)과 유사한 구간을 제 2 시퀀스에서 찾기 위하여 추가 매칭을 하도록 결정할 수 있다.
디바이스(100)는 추가 매칭을 하도록 결정되면, 제 1 시퀀스의 매칭되지 않은 프레임을 제 2 시퀀스의 프레임들과 다시 매칭할 수 있다. 도 8(b)를 참조하면, 제 1 시퀀스의 프레임3에 대하여 추가 매칭을 하는 과정이 나타난다.
디바이스(100)는 추가 매칭을 할 때, 제 1 시퀀스의 프레임3을 제 2 시퀀스의 모든 프레임들과 비교하지 않고, 제 2 시퀀스의 소정의 범위 내의 프레임들과 비교할 수 있다. 예를 들어, 디바이스(100)는 대표 매칭 벡터를 기준으로 소정의 범위를 설정할 수 있다. 소정의 범위는 제 1 시퀀스의 프레임3이 대표 매칭 벡터를 기준으로 매칭되는 제 2 시퀀스의 프레임5 및 시간 순서에 따라 프레임5의 직전 프레임(프레임4) 및 직후 프레임(프레임6)을 포함하는 범위일 수 있다.
디바이스(100)는 제 1 시퀀스의 프레임3과 제 2 시퀀스의 프레임4, 프레임5 및 프레임6 간의 매칭 거리를 결정하여, 매칭 거리가 가장 짧은 제 2 시퀀스의 프레임을 제 1 시퀀스의 프레임3과 추가로 매칭할 수 있다.
디바이스(100)는 제 1 시퀀스의 프레임4, 프레임5, 프레임9, 프레임10, 프레임13 및 프레임15에 대하여도 동일한 과정을 거쳐 추가 매칭을 할 수 있다.
도 9를 참조하면, 반복적인 추가 매칭 과정 및 중복 매칭 제거 과정에 따라 제 1 시퀀스와 제 2 시퀀스 간의 매칭이 완료된 모습이 나타난다.
디바이스(100)는 제 1 시퀀스에서 추가 매칭이 수행된 프레임에 대하여, 추가 매칭에 따라 결정된 매칭이 매칭 제거 과정에 따라 제거되더라도 해당 프레임에 대하여 다시 추가 매칭을 수행하지 않을 수 있다. 따라서, 매칭 완료된 때에도 제 1 시퀀스의 프레임5, 프레임10 및 프레임15과 같이 매칭되지 않은 프레임이 있을 수 있다.
디바이스(100)는 매칭이 완료되면 제 2 시퀀스의 프레임들을 포함하는 구간들 중 제 1 시퀀스의 소정의 구간과 유사한 구간으로 매칭되는 제 2 시퀀스의 구간을 결정할 수 있다. 예를 들어, 디바이스(100)는 제 1 시퀀스의 제 1 구간(910)과 유사한 구간을 제 2 시퀀스의 제 2 구간(920)으로 결정할 수 있다. 제 1 구간(910)은 제 1 시퀀스의 프레임1, 프레임2, 프레임3 및 프레임4를 포함하는 구간이고, 제 2 구간(920)은 제 2 시퀀스의 프레임3, 프레임4, 프레임5 및 프레임6을 포함하는 구간일 수 있다.
또한, 디바이스(100)는 제 1 시퀀스의 제 3 구간(930)과 유사한 구간을 제 2 시퀀스의 제 4 구간(940)으로 결정할 수 있다. 제 3 구간(930)은 제 1 시퀀스의 프레임1 내지 프레임14을 모두 포함하는 구간이고, 제 4 구간(940)은 제 2 시퀀스의 프레임3 내지 프레임16을 모두 포함하는 구간일 수 있다.
디바이스(100)는 프레임 간의 매칭을 이용하여, 제 1 시퀀스의 어느 하나의 프레임에 대응되는 제 2 시퀀스의 프레임을 결정할 수 있으며 시퀀스 간의 유사 구간을 결정할 수 있다.
도 10은 일 실시예에 따른 디바이스(100)에서 기술자를 결정하기 위하여 시퀀스을 선처리하는 과정을 나타낸다.
서로 다른 영상에서 복수 개의 시퀀스를 획득하는 경우, 디바이스(100)는 프레임의 사이즈에 따라 보더가 추가된 영상의 시퀀스를 획득할 수 있다. 보더(border)는 영상의 프레임 크기를 조정하기 위한 상하의 여백 또는 테두리의 여백일 수 있다. 예를 들어, 보더는 검은 색상의 여백 또는 다른 색상의 여백일 수 있으나, 이에 제한되지 않고 특정 이미지를 포함할 수도 있다.
디바이스(100)가 원본 영상과 보더가 추가된 영상의 유사성을 결정하는 경우, 보더는 매우 큰 잡음이 될 수 있다. 따라서, 디바이스(100)는 기술자를 결정하기 전에, 획득된 시퀀스에 보더가 위치한 영역을 제거하는 처리를 할 수 있다. 도 10을 참조하면, 일 실시예에 따른 디바이스(100)가 보더가 추가된 영상으로부터 획득된 제 1 시퀀스의 보더 영역을 제거하는 과정이 나타난다.
도 10(a)를 보면, 제 1 시퀀스의 제 1 프레임의 원본 프레임이 나타난다. 제 1 프레임의 원본은 상하의 검은 여백인 보더(1010)를 포함하고 있으며, 좌측 상단에 마크(1020)를 포함하고 있다. 디바이스(100)는 제 1 프레임을 비롯한 제 1 시퀀스에 포함된 모든 프레임들에 걸쳐 프레임 내의 동일한 위치에서 동일한 픽셀값을 갖는 픽셀들을 선택할 수 있다. 예를 들어, 디바이스(100)는 보더(1010)에 포함된 픽셀들 및 마크(102)에 포함된 픽셀들을 선택할 수 있다. 도 10(b)를 참조하면, 선택된 픽셀들의 영역이 하얀색으로 표시된 제 1 프레임이 나타난다.
이때, 선택의 오류를 줄이기 위하여 디바이스(100)는 보정을 수행하여 보더 영역을 결정할 수 있다. 구체적으로, 디바이스(100)는 선택된 픽셀들이 존재하는 행 또는 열에 대하여, 하나의 행 또는 열에 존재하는 선택된 픽셀들의 수가 소정의 수 이상인 경우에 행 또는 열에 포함된 모든 픽셀들의 영역을 보더 영역으로 결정할 수 있다. 디바이스(100)는 하나의 행 또는 열에 존재하는 선택된 픽셀들의 수가 소정의 수 미만인 경우에 행 또는 열에 포함된 모든 픽셀들의 영역을 보더 영역이 아닌 것으로 결정할 수 있다. 도 10(c)을 참조하면, 결정된 보더 영역이 하얀색으로 표시된 제 1 프레임이 나타난다.
디바이스(100)는 획득된 제 1 시퀀스의 모든 프레임에 대한 보더 영역의 위치를 동일하게 결정할 수 있다.
또한, 디바이스(100)는 제 1 시퀀스의 프레임들에서 결정된 보더 영역을 제외한 영역을 이용하여 기술자를 결정할 수 있다.
구체적으로, 디바이스(100)는 제 1 시퀀스의 제 1 프레임에서 결정된 보더 영역을 제외한 영역에 포함된 블록들의 휘도 정보에 기초하여 제 1 프레임의 기술자를 결정할 수 있다.
디바이스(100)는 제 2 시퀀스에 대하여 동일한 방식으로 제 2 시퀀스의 보더 영역을 결정할 수 있고, 제 2 시퀀스의 제 2 프레임에서 결정된 보더 영역을 제외한 영역에 포함된 블록들의 휘도 정보에 기초하여 제 2 프레임의 기술자를 결정할 수 있다.
도 11은 일 실시예에 따른 디바이스(100)에서 시퀀스 간의 유사성을 결정하는 방법을 나타낸다.
본 발명의 일 실시예에 따른 디바이스(100)는 복수 개의 시퀀스에 대하여 시퀀스 간의 유사 여부를 결정할 수 있다.
디바이스(100)는 시퀀스 간의 유사 여부를 결정하기 위하여, 서로 다른 시퀀스들의 기술자들을 결정하여 비교할 수 있다. 시퀀스는 영상의 전부 또는 일부로서, 서로 다른 시퀀스들은 하나의 영상 또는 서로 다른 영상으로부터 획득될 수 있다. 또한, 서로 다른 시퀀스들은 하나의 영상에서 중첩되는 것일 수 있다.
디바이스(100)는 획득된 시퀀스에 포함된 프레임들에 대하여 해당 프레임의 색상 정보를 나타내는 프레임의 기술자를 결정할 수 있고, 결정된 프레임의 기술자를 이용하여 시퀀스의 기술자를 결정할 수 있다.
예를 들어, 디바이스(100) 제 1 프레임의 기술자를 기초로 제 1 시퀀스의 기술자를 결정하고, 제 2 프레임의 기술자를 기초로 제 2 시퀀스의 기술자를 결정할 수 있다. 디바이스(100)는 결정된 시퀀스의 제 1 시퀀스의 기술자 및 제 2 시퀀스의 기술자를 비교하여 제 1 시퀀스와 제 2 시퀀스의 유사 여부를 결정할 수 있다.
디바이스(100)는 도 4에서 설명한 것과 동일한 방식으로 제 1 프레임의 기술자 및 제 2 프레임의 기술자를 결정할 수 있다. 예를 들어, 디바이스(100)는 제 1 프레임 내의 위치에 따른 휘도 값의 변화 정도를 나타내는 정보인 2진 코드의 제 1 프레임의 기술자에 기초하여, 제 1 시퀀스의 기술자를 결정할 수 있다.
구체적으로, 디바이스(100)는 복수 개의 소정의 코드를 이용하여 제 1 프레임의 기술자를 변환할 수 있다. 예를 들어, 디바이스(100)는 제 1 프레임의 기술자를 복수 개의 소정의 코드와 비교하여 가장 유사한 소정의 코드를 선택할 수 있고, 선택된 소정의 코드의 인덱스 번호로 변환할 수 있다. 디바이스(100)는 변환된 제 1 프레임의 기술자를 비롯한 제 1 시퀀스에 포함된 프레임들의 기술자들을 기초로 제 1 시퀀스의 기술자를 결정할 수 있다.
또한, 디바이스(100)는 제 2 시퀀스에 포함된 모든 프레임들의 기술자를 변환하여, 변환된 프레임들의 기술자들을 기초로 제 2 시퀀스의 기술자를 결정할 수 있다.
디바이스(100)는 결정된 제 1 시퀀스의 기술자 및 제 2 시퀀스의 기술자를 비교하여 제 1 시퀀스와 제 2 시퀀스의 유사 여부를 결정할 수 있다.
도 12 및 도 13은 도 11의 방법에서 시퀀스의 기술자를 결정하는 과정의 일 예시를 나타낸다.
도 12(a)를 참조하면, 20 비트의 2진 코드로 나타나는 제 1 시퀀스의 제 1 프레임의 기술자(1201)가 소정의 코드를 참조하여 변환되는 과정이 나타난다. 디바이스(100)는 도 12(b)의 복수 개의 소정의 코드를 참조하여 제 1 프레임의 기술자(1201)를 변환할 수 있다. 디바이스(100)는 수 많은 훈련 프레임들을 통하여 미리 결정된 복수 개의 소정의 코드들을 저장하고 있을 수 있다.
디바이스(100)는 제 1 프레임의 기술자(1201)와 복수 개의 소정의 코드를 비교하여 가장 유사한 소정의 코드를 선택하여, 선택된 소정의 코드의 인덱스 번호로 제 1 프레임의 기술자(1201)를 변환할 수 있다.
예를 들어, 디바이스(100)는 프레임 1의 기술자(1201)와 복수 개의 소정의 코드들 간의 해밍 거리를 계산하여 가장 짧은 해밍 거리를 갖는 소정의 코드를 선택할 수 있다. 도 12에서 디바이스(100)는 제 1 프레임의 기술자(1201)와의 해밍 거리가 3인 제 1 소정의 코드(1202)를 선택할 수 있다. 디바이스(100)는 선택된 제 1 소정의 코드(1202)의 인덱스 번호 “1”로 제 1 프레임의 기술자(1202)를 변환할 수 있다.
도 13(a)를 참조하면, 제 1 시퀀스에 포함된 복수 개의 프레임들의 기술자들이 변환되는 과정이 나타난다. 제 1 시퀀스는 다섯 개의 프레임을 포함할 수 있다. 도 13(a)에는 다섯 개의 프레임에 대한 다섯 개의 기술자(1301, 1302, 1303, 1304 및 1305)가 나타난다.
디바이스(100)는 각각의 프레임의 기술자를 복수 개의 소정의 코드를 참조하여, 가장 유사한 소정의 코드의 인덱스 번호로 변환할 수 있다. 예를 들어, 기술자(1301), 기술자(1304) 및 기술자(1305)는 제 1 소정의 코드의 인덱스 번호 “1”로 변환되고, 기술자(1302)는 제 2 소정의 코드의 인덱스 번호 “2”로 변환되고, 기술자(1303)는 제 3 소정의 코드의 인덱스 번호 “3”으로 변환될 수 있다.
디바이스(100)는 변환된 프레임의 기술자들을 기초로 제 1 시퀀스의 기술자를 결정할 수 있다. 도 13(b)를 참조하면, 디바이스(100)는 변환된 프레임의 기술자들을 이용하여 기술자들의 히스토그램을 생성할 수 있다.
기술자들의 히스토그램을 생성하는 것은 변환된 프레임의 기술자들을 동일한 값을 갖는 기술자 별로 정렬하여, 하나의 히스토그램으로 만드는 것이다. 구체적으로, 히스토그램의 가로축 k는 변환된 프레임의 기술자인 인덱스 번호가 될 수 있다. 히스토그램의 세로 축 H1(k)는 제 1 시퀀스에서 각 인덱스 번호를 갖는 변환된 프레임 기술자의 개수 가 될 수 있다.
예를 들어, 디바이스(100)는 제 1 시퀀스의 프레임들의 변환된 다섯 개의 기술자 “1, 2, 3, 1 및 1”을 이용하여 도 13(b)와 같은 히스토그램을 생성할 수 있다. 디바이스(100)는 도 13(b)의 히스토그램을 제 1 시퀀스의 기술자로 결정할 수 있다.
디바이스(100)는 동일한 방식으로 제 2 시퀀스의 기술자를 결정할 수 있다.
디바이스(100)는 결정된 제 1 시퀀스의 기술자 및 제 2 시퀀스의 기술자를 비교하여 제 1 시퀀스와 제 2 시퀀스 간의 유사 여부를 결정할 수 있다. 예를 들어, 디바이스(100)는 제 1 시퀀스의 기술자와 제 2 시퀀스의 기술자 간의 바타차리아 거리(Bhattacharyya Distance)가 소정의 값보다 작으면 제 1 시퀀스와 제 2 시퀀스를 유사한 것으로 결정할 수 있다. 바타차리아 거리는 히스토그램 간의 유사성을 확인하기 위하여 히스토그램 간의 거리를 구하기 위한 식으로서, 아래의 수학식 3와 같다.
Figure 112015023370780-pat00003
수학식 3에서, d(Hn,Hm)은 제 n 시퀀스의 기술자인 Hn과 제 m 시퀀스의 기술자인 Hm 간의 바타차리아 거리를 나타낸다.
도 14는 도 11의 방법에서 기술자를 결정하는 과정의 일 예시를 나타낸다.
디바이스(100)는 획득된 시퀀스에 포함된 프레임들에 대하여 색상 정보를 이용하여 프레임의 기술자를 결정할 수 있다. 예를 들어, 프레임의 기술자는 RGB 색공간에서 프레임 내의 채널별 색상의 밝기 정보의 분포를 이용하여 생성된 히스토그램일 수 있다. RGB 색공간의 색상의 밝기 정보를 이용하여 프레임의 기술자를 결정하는 경우, 디바이스(100)는 시퀀스의 크로핑(cropping), 회전 및 대칭과 같은 변화에 강인한 기술자를 결정할 수 있다.
도 14(a)를 참조하면, 디바이스(100)는 제 1 시퀀스의 제 1 프레임을 RGB 색공간의 R채널, G채널 및 B채널로 분리할 수 있다. 디바이스(100)는 프레임에 포함된 픽셀들의 각 채널별 픽셀 값에 대한 히스토그램을 생성하여, 제 1 프레임에 대한 R채널의 히스토그램, G채널의 히스토그램 및 B채널의 히스토그램을 생성할 수 있다. 도 14(b)를 참조하면, 각 채널 별 히스토그램이 나타난다.
도 14(c)를 참조하면, 제 1 프레임의 기술자가 나타난다. 디바이스(100)는 결정된 각 채널별 히스토그램들을 조합하여 정규화(normalization)할 수 있다. 디바이스(100)는 도 14(c)의 히스토그램을 제 1 프레임의 기술자로 결정할 수 있다.
디바이스(100)는 복수 개의 소정의 코드 대신 복수 개의 소정의 히스토그램을 참조하여, 제 1 프레임의 기술자를 소정의 히스토그램의 인덱스 번호로 변환할 수 있다. 디바이스(100)는 변환된 제 1 프레임의 기술자 및 제 1 시퀀스에 포함된 프레임들의 기술자들에 기초하여 제 1 시퀀스의 기술자를 결정할 수 있다.
도 15는 도 11의 방법에서 기술자를 결정하는 과정의 일 예시를 나타낸다.
디바이스(100)는 획득된 시퀀스에 포함된 프레임들에 대하여 색상 정보를 이용하여 프레임의 기술자를 결정할 수 있다. 예를 들어, 프레임의 기술자는 HSV 색공간에서 프레임 내의 색상 정보의 분포를 이용하여 생성된 히스토그램 정보일 수 있다. HSV 색공간의 색상 정보를 이용하여 프레임의 기술자를 결정하는 경우, 디바이스(100)는 시퀀스의 전체적인 채도 변화 및 밝기 변화에 강인한 기술자를 결정할 수 있다.
도 15(a)를 참조하면, 디바이스(100)는 RGB 색공간의 제 1 프레임을 HSV 색공간의 프레임으로 변환할 수 있다. 디바이스(100)는 변환된 제 1 프레임에 포함된 픽셀들의 H채널에 대한 색상 정보를 이용하여 히스토그램을 생성 할 수 있다. 이때, 디바이스(100)는 각 픽셀들의 색상 정보를 소정의 개수의 대표 색상으로 양자화하여 히스토그램을 생성 할 수 있다.
또한, 도 15(b)를 참조하면, 디바이스(100)는 제 1 프레임을 복수 개의 블록들로 분할하여 각각의 블록들에 포함된 픽셀들의 양자화된 색상 정보를 이용해 히스토그램을 생성 하고, 각각의 블록들에 대한 히스토그램을 조합하여 제 1 프레임에 대한 히스토그램을 생성할 수 있다.
도 15(c)를 참조하면, 조합된 제 1 프레임에 대한 히스토그램이 나타난다. 디바이스(100)는 도 15(c)의 히스토그램을 제 1 프레임의 기술자로 결정할 수 있다.
디바이스(100)는 복수 개의 소정의 코드 대신 복수 개의 소정의 히스토그램을 참조하여, 제 1 프레임의 기술자를 소정의 히스토그램의 인덱스 번호로 변환할 수 있다. 디바이스(100)는 변환된 제 1 프레임의 기술자 및 제 1 시퀀스에 포함된 프레임들의 기술자들에 기초하여 제 1 시퀀스의 기술자를 결정할 수 있다.
디바이스(100)는 프레임의 휘도 정보를 이용하는 방식, RGB 색공간의 밝기 정보를 이용하는 방식 및 HSV 색공간의 색상 정보를 이용하는 방식을 통하여, 하나의 프레임에 대하여 세 가지 프레임의 기술자를 결정할 수 있다. 디바이스(100)는 서로 다른 방식을 통하여 결정된 세 가지 프레임의 기술자들을 기초로, 하나의 시퀀스에 대하여 복수 개의 시퀀스 기술자를 결정할 수 있다.
예를 들어, 디바이스(100)는 휘도 정보를 이용하는 방식을 기초로 제 1 시퀀스의 제 1 기술자를 결정하고, RGB 색공간의 채널별 픽셀값을 이용하는 방식으로 제 2 기술자를 결정하고, HSV 색공간의 색상 정보를 이용하는 방식으로 제 3 기술자를 결정할 수 있고, 제 1 기술자, 제 2 기술자 및 제 3 기술자를 동시에 다른 시퀀스의 기술자들과 비교함으로써 시퀀스 간의 유사성을 정밀하게 결정할 수 있다.
디바이스(100)는 제 1 시퀀스의 제 1 기술자, 제 2 기술자 및 제 3 기술자 중 어느 하나라도 제 2 시퀀스의 기술자들과의 기술자 간의 거리가 소정의 값보다 작으면, 제 1 시퀀스와 제 2 시퀀스가 유사한 것으로 판단할 수 있다.
디바이스(100)는 서로 다른 방식을 이용하여 결정된 기술자들을 이용하여 시퀀스의 변형에 강인한 유사성 결정 방법을 제공할 수 있다.
도 16은 일 실시예에 따른 디바이스(100)에서 시퀀스 간의 유사성을 결정하는 방법의 흐름도이다.
도 16을 참조하면, 1601 단계에서, 디바이스(100)는 복수 개의 프레임을 포함하는 제 1 시퀀스 및 제 2 시퀀스를 획득할 수 있다. 디바이스(100)는 디바이스(100) 또는 외부 장치에 저장된 하나의 영상 또는 서로 다른 영상으로부터 제 1 시퀀스 및 제 2 시퀀스를 획득할 수 있다.
디바이스(100)는 소정의 프레임 레이트에 따라 제 1 시퀀스에 포함된 프레임들 중 일부를 키 프레임으로 추출하고, 동일한 소정의 프레임 레이트에 따라 제 2 시퀀스에 포함된 프레임들 중 일부를 키 프레임으로 추출할 수 있다.
또한, 디바이스(100)는 획득된 시퀀스의 보더 영역을 결정하여 보더 영역을 제거하는 선처리를 할 수 있다.
1602 단계에서, 디바이스(100)는 제 1 시퀀스에 포함된 제 1 프레임의 복수 개의 블록들 간의 휘도 정보에 기초한 기술자를 결정할 수 있다. 제 1 프레임은 제 1 시퀀스의 키 프레임 중 하나일 수 있다.
구체적으로, 디바이스(100)는 제 1 프레임을 복수 개의 픽셀들을 포함하는 동일한 크기의 복수 개의 블록들로 분할할 수 있다. 디바이스(100)는 각 블록들에 포함된 픽셀들의 휘도 값을 이용하여 각 블록들에 대한 휘도 정보를 결정할 수 있다. 예를 들어, 블록에 대한 휘도 정보는 블록의 평균 휘도 값이 될 수 있다.
디바이스(100)는 결정된 블록들의 휘도 정보를 비교하여 블록들 간의 휘도 차이 정보를 결정할 수 있다. 블록들 간의 휘도 차이 정보는 블록들 간의 평균 휘도 값의 차이값을 소정의 기준 구간에 따라 수치화한 정보일 수 있다. 예를 들어, 휘도 차이 정보는 어느 두 블록의 평균 휘도 값의 차이값에 따라 2 비트의 2진 코드로 결정될 수 있다. 디바이스(100)는 복수 개의 블록들 간의 휘도 차이 정보들을 기초로 2진 코드로 나타나는 제 1 프레임의 기술자를 결정할 수 있다.
1603 단계에서, 디바이스(100)는 제 2 시퀀스에 포함된 제 2 프레임의 복수 개의 블록들 간의 휘도 정보에 기초한 기술자를 결정할 수 있다. 제 2 프레임은 제 2 시퀀스의 키 프레임 중 하나일 수 있다. 디바이스(100)는 제 2 프레임의 복수 개의 블록들 간의 휘도 차이 정보를 포함하는 2비트의 2진 코드를 제 2 프레임의 기술자로 결정할 수 있다.
1604 단계에서, 디바이스(100)는 제 1 프레임의 기술자와 제 2 프레임의 기술자를 이용하여 제 1 시퀀스와 제 2 시퀀스의 유사성을 결정할 수 있다.
구체적으로, 디바이스(100)는 제 1 프레임의 기술자 및 제 2 프레임의 기술자를 이용하여 제 1 프레임과 제 2 프레임을 매칭할 수 있다. 디바이스(100)는 프레임 간의 매칭 거리가 가장 짧은 프레임들을 유사한 프레임들로 결정하여 매칭할 수 있다. 예를 들어, 디바이스(100)는 프레임들의 기술자들 간의 해밍 거리(Hamming Distance)를 계산하여 프레임 간의 매칭 거리를 결정할 수 있다.
디바이스(100)는 제 1 시퀀스의 제 1 프레임의 기술자와 제 2 시퀀스에 포함된 모든 프레임들의 기술자들과의 해밍 거리를 구하여, 가장 짧은 해밍 거리를 갖는 제 2 시퀀스의 프레임을 제 1 프레임과 매칭할 수 있다. 예를 들어, 제 1 프레임의 기술자와 제 2 프레임의 기술자의 해밍 거리가 가장 짧은 경우, 디바이스(100)는 제 1 프레임과 제 2 프레임을 매칭할 수 있다.
디바이스(100)는 기술자를 이용한 매칭 관계에 기초하여 제 1 시퀀스의 소정의 구간과 유사 구간으로 매칭되는 제 2 시퀀스의 구간을 결정할 수 있다.
또한, 디바이스(100)는 기술자를 이용한 프레임들 간의 매칭 관계를 매칭 벡터로 나타낼 수 있다. 결정된 매칭 벡터를 이용하여, 디바이스(100)는 유사성 결정의 고속화를 위하여 대표 매칭 벡터를 결정할 수 있다. 예를 들어, 디바이스(100)는 서로 다른 시퀀스 간의 매칭 벡터들 중 가장 빈도수가 높은 벡터를 대표 매칭 벡터로 결정할 수 있다.
디바이스(100)는 결정된 대표 매칭 벡터를 이용하여, 매칭들 중 대표 매칭 벡터와 유사하지 않은 매칭 벡터를 갖는 매칭들을 잡음으로 판단하여 제거할 수 있다. 디바이스(100)는 매칭이 제거된 프레임들에 대하여 추가 매칭을 할 수 있다. 구체적으로, 디바이스(100)는 매칭이 제거된 프레임들에 대하여, 대표 매칭 벡터와 유사한 범위 내에서 매칭이 되도록 추가 매칭을 할 수 있다. 예를 들어, 디바이스(100)는 대표 매칭 백터에 따른 소정의 범위 내에서 다시 매칭을 할 수 있다.
디바이스(100)는 최종 매칭 벡터들에 기초하여 제 1 시퀀스의 소정과 유사 구간으로 매칭되는 제 2 시퀀스의 특정 구간을 결정할 수 있다.
도 17은 일 실시예에 따른 디바이스(100)에서 시퀀스 간의 유사성을 결정하는 방법의 흐름도이다.
도 17을 참조하면, 1701 단계에서, 디바이스(100)는 제 1 시퀀스 및 제 2 시퀀스를 획득할 수 있다.
1702 단계 및 1703 단계에서, 디바이스(100)는 제 1 시퀀스에 포함된 제 1 프레임의 복수 개의 블록들 간의 휘도 정보에 기초한 제 1 프레임의 기술자를 결정하고, 제 2 시퀀스에 포함된 제 2 프레임의 복수 개의 블록들 간의 휘도 정보에 기초한 제 2 프레임의 기술자를 결정할 수 있다.
또한, 디바이스(100)는 제 1 시퀀스의 제 1 프레임에 대한 RGB 색공간에서의 채널별 픽셀 값을 이용하여 제 1 프레임의 기술자를 결정할 수 있다.
디바이스(100)는 제 1 시퀀스의 제 1 프레임을 RGB 색공간의 R채널, G채널 및 B채널로 분리할 수 있다. 디바이스(100)는 제 1 프레임에 포함된 픽셀들의 채널별 픽셀값을 이용해 히스토그램을 생성하여, 제 1 프레임에 대한 R채널의 히스토그램, G채널의 히스토그램 및 B채널의 히스토그램을 생성할 수 있다. 디바이스(100)는 결정된 각 채널별 히스토그램들을 조합하여 정규화함으로써, 제 1 프레임의 기술자를 결정할 수 있다.
디바이스(100)는 제 2 시퀀스의 제 2 프레임에 대하여도 동일한 방식으로 RGB 색공간에서의 채널별 픽셀값을 이용하여 제 2 프레임의 기술자를 결정할 수 있다.
또한, 디바이스(100)는 제 1 시퀀스의 제 1 프레임에 대한 HSV 색공간에서의 H채널의 색상 정보를 이용하여 제 1 프레임의 기술자를 결정할 수 있다.
디바이스(100)는 제 1 프레임에 대한 HSV 색공간에서의 H채널의 색상 정보를 소정의 개수의 대표 색상으로 양자화하여 히스토그램을 생성함으로써 제 1 프레임의 기술자를 결정할 수 있다. 또한, 디바이스(100)는 제 1 프레임을 복수 개의 블록들로 분할하여 각각의 블록들에 포함된 픽셀들의 색상 정보에 대한 히스토그램을 생성하고, 각각의 블록들에 대한 히스토그램을 조합하여 제 1 프레임에 대한 히스토그램을 결정할 수도 있다.
디바이스(100)는 제 2 시퀀스의 제 2 프레임에 대하여도 동일한 방식으로 HSV 색공간에서의 H채널의 색상 정보를 이용하여 제 2 프레임의 기술자를 결정할 수 있다.
1704 단계에서, 디바이스(100)는 제 1 프레임의 기술자를 기초로 제 1 시퀀스의 기술자를 결정하고, 제 2 프레임의 기술자를 기초로 제 2 시퀀스의 기술자를 결정할 수 있다.
디바이스(100)는 제 1 프레임의 기술자가 2진 코드인 경우, 복수 개의 소정의 코드들을 참조하여 제 1 프레임의 기술자를 변환할 수 있다. 디바이스(100)는 복수 개의 소정의 코드들 중 제 1 프레임의 기술자와 가장 유사한 소정의 코드를 선택하여, 제 1 프레임의 기술자를 선택된 소정의 코드의 인덱스 번호로 변환할 수 있다. 디바이스(100)는 동일한 방식으로 제 2 프레임의 기술자도 변환할 수 있다.
또한, 디바이스(100)는 제 1 프레임의 기술자가 히스토그램인 경우, 복수 개의 소정의 히스토그램을 참조하여 제 1 프레임의 기술자를 변환할 수 있다. 디바이스(100)는 복수 개의 소정의 히스토그램들 중 제 1 프레임의 기술자와 가장 유사한 소정의 히스토그램을 선택하여, 제 1 프레임의 기술자를 선택된 소정의 히스토그램의 인덱스 번호로 변환할 수 있다. 디바이스(100)는 동일한 방식으로 제 2 프레임의 기술자도 변환할 수 있다.
디바이스(100)는 제 1 프레임을 비롯한 제 1 시퀀스에 포함된 모든 프레임들의 변환된 기술자들을 기초로 제 1 시퀀스의 기술자를 결정할 수 있다. 디바이스(100)는 모든 프레임들의 변환된 기술자를 이용하여 히스토그램을 생성할 수 있고, 생성된 히스토그램을 제 1 시퀀스의 기술자로 결정할 수 있다. 디바이스(100)는 동일한 방식으로 제 2 프레임을 비롯한 제 2 시퀀스에 포함된 모든 프레임들의 변환된 기술자들을 기초로 제 2 시퀀스의 기술자를 결정할 수 있다.
디바이스(100)는 프레임의 휘도(luma) 정보를 이용하는 방식, RGB 색공간의 밝기(intensity) 정보를 이용하는 방식 및 HSV 색공간의 색상(hue) 정보를 이용하는 방식을 통하여, 하나의 프레임에 대하여 세 가지 프레임의 기술자를 결정할 수 있다. 디바이스(100)는 서로 다른 방식을 통하여 결정된 세 가지 프레임의 기술자들을 기초로, 하나의 시퀀스에 대하여 복수 개의 시퀀스 기술자를 결정할 수 있다.
예를 들어, 디바이스(100)는 휘도 정보를 이용하는 방식을 기초로 제 1 시퀀스의 제 1 기술자를 결정하고, RGB 색공간의 채널별 픽셀값을 이용하는 방식으로 제 2 기술자를 결정하고, HSV 색공간의 색상 정보를 이용하는 방식으로 제 3 기술자를 결정할 수 있다.
1705 단계에서, 디바이스(100)는 제 1 시퀀스의 기술자 및 제 2 시퀀스의 기술자를 비교하여 제 1 시퀀스와 제 2 시퀀스의 유사 여부를 결정할 수 있다.
예를 들어, 디바이스(100)는 제 1 시퀀스의 기술자와 제 2 시퀀스의 기술자 간의 바타차리아 거리(Bhattacharyya Distance)가 소정의 값보다 작으면 제 1 시퀀스와 제 2 시퀀스를 유사한 것으로 결정할 수 있다.
또한, 제 1 시퀀스 및 제 2 시퀀스에 대하여 서로 다른 방식을 통하여 결정된 복수 개의 기술자가 있는 경우, 디바이스(100)는 복수 개의 기술자들을 이용하여 제 1 시퀀스와 제 2 시퀀스의 유사 여부를 결정할 수 있다. 예를 들어, 디바이스(100)는 제 1 시퀀스의 제 1 기술자, 제 2 기술자 및 제 3 기술자가 결정된 경우, 제 1 시퀀스의 기술자들을 각각의 기술자들과 동일한 방식을 이용하여 결정된 제 2 시퀀스의 기술자들과 각각 비교할 수 있다.
디바이스(100)는 복수 개의 방식에 따른 각각의 기술자들의 비교 결과를 조합하여 제 1 시퀀스와 제 2 시퀀스 간의 유사성을 결정할 수 있다. 예를 들어, 디바이스(100)는 복수 개의 방식에 따른 기술자들 중 어느 하나의 방식에 따른 제 1 시퀀스의 기술자와 제 2 시퀀스의 기술자가 유사한 것으로 판단되면, 제 1 시퀀스와 제 2 시퀀스가 유사한 것으로 판단할 수 있다.
디바이스(100)는 서로 다른 방식을 이용하여 결정된 기술자들을 이용하여 시퀀스의 변형에 강인한 유사성 결정 방법을 제공할 수 있다.
본 발명에서 개시된 블록도들은 본 발명의 원리들을 구현하기 위한 회로를 개념적으로 표현한 형태라고 당업자에게 해석될 수 있을 것이다. 유사하게, 임의의 흐름 차트, 흐름도, 상태 전이도, 의사코드 등은 컴퓨터 판독가능 매체에서 실질적으로 표현되어, 컴퓨터 또는 프로세서가 명시적으로 도시되든지 아니든지 간에 이러한 컴퓨터 또는 프로세서에 의해 실행될 수 있는 다양한 프로세스를 나타낸다는 것이 당업자에게 인식될 것이다. 따라서, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
도면들에 도시된 다양한 요소들의 기능들은 적절한 소프트웨어와 관련되어 소프트웨어를 실행할 수 있는 하드웨어뿐만 아니라 전용 하드웨어의 이용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 이런 기능은 단일 전용 프로세서, 단일 공유 프로세서, 또는 일부가 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다. 또한, 용어 "프로세서" 또는 "제어부"의 명시적 이용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 지칭하는 것으로 해석되지 말아야 하며, 제한 없이, 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 및 비휘발성 저장장치를 묵시적으로 포함할 수 있다.
본 명세서의 청구항들에서, 특정 기능을 수행하기 위한 수단으로서 표현된 요소는 특정 기능을 수행하는 임의의 방식을 포괄하고, 이러한 요소는 특정 기능을 수행하는 회로 요소들의 조합, 또는 특정 기능을 수행하기 위한 소프트웨어를 수행하기 위해 적합한 회로와 결합된, 펌웨어, 마이크로코드 등을 포함하는 임의의 형태의 소프트웨어를 포함할 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.
본 명세서를 통해 개시된 모든 실시예들과 조건부 예시들은, 본 발명의 기술 분야에서 통상의 지식을 가진 당업자가 독자가 본 발명의 원리와 개념을 이해하도록 돕기 위한 의도로 기술된 것으로, 당업자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (19)

  1. 복수 개의 프레임을 포함하는 제 1 시퀀스 및 제 2 시퀀스를 획득하는 단계;
    상기 제 1 시퀀스에 포함된 제 1 프레임의 복수 개의 블록들 간의 휘도 정보에 기초한 기술자를 결정하는 단계;
    상기 제 2 시퀀스에 포함된 제 2 프레임의 복수 개의 블록들 간의 휘도 정보에 기초한 기술자를 결정하는 단계; 및
    상기 제 1 프레임의 기술자 및 상기 제 2 프레임의 기술자를 이용하여 상기 제 1 시퀀스와 상기 제 2 시퀀스의 유사성을 결정하는 단계를 포함하고,
    상기 기술자는, 상기 제 1 프레임 또는 상기 제 2 프레임인 현재 프레임의 상기 복수 개의 블록들의 휘도 정보에 기초하여 소정의 순서에 따른 상기 휘도 간의 차이 정보를 포함하고,
    상기 제1 프레임의 기술자를 결정하는 단계는
    상기 제1 프레임의 행 또는 열의 픽셀들 중, 상기 제1 시퀀스에 포함된 모든 프레임들에 대하여 동일한 위치에서 동일한 픽셀 값을 가지는 픽셀이 소정의 개수 이상 존재하는 경우, 상기 제1 프레임의 행 또는 열을 제외한 상기 제1 프레임의 블록들의 휘도 정보에 기초하여 상기 제1 프레임의 기술자를 결정하는 단계; 를 더 포함하는 방법.
  2. 제 1 항에 있어서,
    상기 제 1 시퀀스와 상기 제 2 시퀀스의 유사성을 결정하는 단계는,
    상기 제 1 프레임의 기술자 및 상기 제 2 프레임의 기술자를 이용하여, 상기 제 1 프레임과 상기 제 2 프레임을 매칭하는 단계; 및
    상기 제 1 시퀀스의 소정의 구간과 유사 구간으로 매칭되는 상기 제 2 시퀀스의 구간을 결정하는 단계를 포함하는 방법.
  3. 제 2 항에 있어서,
    상기 매칭하는 단계는,
    상기 제 1 프레임의 기술자 및 상기 제 2 프레임의 기술자 사이의 해밍 거리(Hamming Distance)가 최소가 되는 상기 제 1 프레임 및 상기 제 2 프레임을 매칭하는 것인 방법.
  4. 제 2 항에 있어서,
    상기 매칭하는 단계는,
    상기 매칭되는 제 1 프레임 및 제 2 프레임의 매칭 관계를 나타내는 매칭 벡터를 획득하는 단계; 및
    상기 획득된 매칭 벡터에 기초하여 대표 매칭 벡터를 결정하는 단계를 더 포함하고,
    상기 제 2 시퀀스의 유사 구간을 결정하는 단계는,
    상기 결정된 대표 매칭 벡터에 기초하여 상기 제 1 시퀀스의 소정의 구간과 유사 구간으로 매칭되는 상기 제 2 시퀀스의 구간을 결정하는 것인 방법.
  5. 제 4 항에 있어서,
    상기 매칭하는 단계는,
    상기 제 1 프레임의 매칭 벡터가 상기 대표 매칭 벡터에 따른 소정의 범위에 포함되지 않는 경우, 상기 제 1 프레임을 소정의 범위 내에서 상기 제 2 시퀀스의 프레임과 다시 매칭하는 단계를 더 포함하는 방법.
  6. 제 1 항에 있어서,
    상기 제 1 시퀀스 및 제 2 시퀀스를 획득하는 단계는,
    소정의 프레임 레이트에 따라 상기 제 1 시퀀스에 포함된 프레임들 중 일부를 추출하고, 상기 소정의 프레임 레이트에 따라 상기 제 2 시퀀스에 포함된 프레임들 중 일부를 추출하는 단계를 더 포함하고,
    상기 제 1 프레임은 상기 제 1 시퀀스에서 추출된 프레임들 중 어느 하나이고, 상기 제 2 프레임은 상기 제 2 시퀀스에서 추출된 프레임들 중 어느 하나인 방법.
  7. 삭제
  8. 제 1 항에 있어서,
    상기 제 1 시퀀스와 상기 제 2 시퀀스의 유사성을 결정하는 단계는,
    상기 제 1 프레임의 기술자를 기초로 상기 제 1 시퀀스의 기술자를 결정하고, 상기 제 2 프레임의 기술자를 기초로 상기 제 2 시퀀스의 기술자를 결정하는 단계; 및
    상기 획득된 제 1 시퀀스의 기술자 및 제 2 시퀀스의 기술자를 비교하여 상기 제 1 시퀀스와 상기 제 2 시퀀스의 유사 여부를 결정하는 단계를 포함하는 방법.
  9. 제 8 항에 있어서,
    상기 제 1 시퀀스의 기술자 및 제 2 시퀀스의 기술자를 결정하는 단계는,
    복수 개의 소정의 코드를 이용하여 변환된 상기 제 1 프레임의 기술자에 기초하여 상기 제 1 시퀀스의 기술자를 결정하고, 상기 복수 개의 소정의 코드를 이용하여 변환된 상기 제 2 프레임의 기술자에 기초하여 상기 제 2 시퀀스의 기술자를 결정하는 방법.
  10. 제 1 항 내지 제6항 및 제8항 내지 제 9 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터에서 읽을 수 있는 기록매체.
  11. 복수 개의 프레임을 포함하는 제 1 시퀀스 및 제 2 시퀀스를 획득하는 시퀀스 획득부;
    상기 제 1 시퀀스에 포함된 제 1 프레임의 복수 개의 블록들 간의 휘도 정보에 기초한 기술자를 결정하고,
    상기 제 2 시퀀스에 포함된 제 2 프레임의 복수 개의 블록들 간의 휘도 정보에 기초한 기술자를 결정하는 기술자 결정부; 및
    상기 제 1 프레임의 기술자 및 상기 제 2 프레임의 기술자를 이용하여 상기 제 1 시퀀스와 상기 제 2 시퀀스의 유사성을 결정하는 유사성 결정부를 포함하고,
    상기 기술자는, 상기 제 1 프레임 또는 상기 제 2 프레임인 현재 프레임의 상기 복수 개의 블록들의 휘도 정보에 기초하여 소정의 순서에 따른 상기 휘도 간의 차이 정보를 포함하고,
    상기 기술자 결정부는 상기 제1 시퀀스의 제1 프레임의 행 또는 열의 픽셀들 중, 상기 제1 시퀀스에 포함된 모든 프레임들에 대하여 동일한 위치에서 동일한 픽셀 값을 가지는 픽셀이 소정의 개수 이상 존재하는 경우, 상기 제1 프레임의 행 또는 열을 제외한 상기 제1 프레임의 블록들의 휘도 정보에 기초하여 상기 제1 프레임의 기술자를 결정하는 디바이스.
  12. 제 11 항에 있어서,
    상기 유사성 결정부는,
    상기 제 1 프레임의 기술자 및 상기 제 2 프레임의 기술자를 이용하여, 상기 제 1 프레임과 상기 제 2 프레임을 매칭하고,
    상기 제 1 시퀀스의 소정의 구간과 유사 구간으로 매칭되는 상기 제 2 시퀀스의 구간을 결정하는 디바이스.
  13. 제 11 항에 있어서,
    상기 유사성 결정부는,
    상기 제 1 프레임의 기술자 및 상기 제 2 프레임의 기술자 사이의 해밍 거리(Hamming Distance)가 최소가 되는 상기 제 1 프레임 및 상기 제 2 프레임을 매칭하는 디바이스.
  14. 제 12 항에 있어서,
    상기 유사성 결정부는,
    상기 매칭되는 제 1 프레임 및 제 2 프레임의 매칭 관계를 나타내는 매칭 벡터를 획득하고,
    상기 획득된 매칭 벡터에 기초하여 대표 매칭 벡터를 결정하고,
    상기 결정된 대표 매칭 벡터에 기초하여 상기 제 1 시퀀스의 소정의 구간과 유사 구간으로 매칭되는 상기 제 2 시퀀스의 구간을 결정하는 디바이스.
  15. 제 14 항에 있어서,
    상기 유사성 결정부는,
    상기 제 1 프레임의 매칭 벡터가 상기 대표 매칭 벡터에 따른 소정의 범위에 포함되지 않는 경우, 상기 제 1 프레임을 소정의 범위 내에서 상기 제 2 시퀀스의 프레임과 다시 매칭하는 디바이스.
  16. 제 11 항에 있어서,
    상기 시퀀스 획득부는,
    소정의 프레임 레이트에 따라 상기 제 1 시퀀스에 포함된 프레임들 중 일부를 추출하고, 상기 소정의 프레임 레이트에 따라 상기 제 2 시퀀스에 포함된 프레임들 중 일부를 추출하고,
    상기 제 1 프레임은 상기 제 1 시퀀스에서 추출된 프레임들 중 어느 하나이고, 상기 제 2 프레임은 상기 제 2 시퀀스에서 추출된 프레임들 중 어느 하나인 디바이스.
  17. 삭제
  18. 제 11 항에 있어서,
    상기 기술자 결정부는,
    상기 제 1 프레임의 기술자를 기초로 상기 제 1 시퀀스의 기술자를 결정하고, 상기 제 2 프레임의 기술자를 기초로 상기 제 2 시퀀스의 기술자를 결정하고,
    상기 유사성 결정부는,
    상기 획득된 제 1 시퀀스의 기술자 및 제 2 시퀀스의 기술자를 비교하여 상기 제 1 시퀀스와 상기 제 2 시퀀스의 유사 여부를 결정하는 디바이스.
  19. 제 11 항에 있어서,
    상기 기술자 결정부는,
    복수 개의 소정의 코드를 이용하여 변환된 상기 제 1 프레임의 기술자에 기초하여 상기 제 1 시퀀스의 기술자를 결정하고, 상기 복수 개의 소정의 코드를 이용하여 변환된 상기 제 2 프레임의 기술자에 기초하여 상기 제 2 시퀀스의 기술자를 결정하는 디바이스.
KR1020150033246A 2015-03-10 2015-03-10 시퀀스 간의 유사성을 결정하는 방법 및 디바이스 KR102121534B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150033246A KR102121534B1 (ko) 2015-03-10 2015-03-10 시퀀스 간의 유사성을 결정하는 방법 및 디바이스
US15/016,492 US9886650B2 (en) 2015-03-10 2016-02-05 Method and device for determining similarity between sequences

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150033246A KR102121534B1 (ko) 2015-03-10 2015-03-10 시퀀스 간의 유사성을 결정하는 방법 및 디바이스

Publications (2)

Publication Number Publication Date
KR20160109221A KR20160109221A (ko) 2016-09-21
KR102121534B1 true KR102121534B1 (ko) 2020-06-10

Family

ID=56888513

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150033246A KR102121534B1 (ko) 2015-03-10 2015-03-10 시퀀스 간의 유사성을 결정하는 방법 및 디바이스

Country Status (2)

Country Link
US (1) US9886650B2 (ko)
KR (1) KR102121534B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022145939A1 (ko) * 2021-01-04 2022-07-07 삼성전자 주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2770174C2 (ru) * 2016-05-17 2022-04-14 Керквест Способ улучшенной аутентификации материального предмета
FR3064092A1 (fr) * 2017-03-14 2018-09-21 Kerquest Procede de messagerie numerique associant un message a un sujet materiel

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100893671B1 (ko) * 2001-02-12 2009-04-20 그레이스노트, 인크. 멀티미디어 콘텐트의 해시들의 생성 및 매칭

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050198006A1 (en) 2004-02-24 2005-09-08 Dna13 Inc. System and method for real-time media searching and alerting
GB0901262D0 (en) * 2009-01-26 2009-03-11 Mitsubishi Elec R&D Ct Europe Video identification
US8451384B2 (en) * 2010-07-08 2013-05-28 Spinella Ip Holdings, Inc. System and method for shot change detection in a video sequence

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100893671B1 (ko) * 2001-02-12 2009-04-20 그레이스노트, 인크. 멀티미디어 콘텐트의 해시들의 생성 및 매칭

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022145939A1 (ko) * 2021-01-04 2022-07-07 삼성전자 주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치

Also Published As

Publication number Publication date
KR20160109221A (ko) 2016-09-21
US20160267353A1 (en) 2016-09-15
US9886650B2 (en) 2018-02-06

Similar Documents

Publication Publication Date Title
CN106254933B (zh) 字幕提取方法及装置
CN108182421B (zh) 视频分割方法和装置
US8542929B2 (en) Image processing method and apparatus
KR101369915B1 (ko) 영상 식별자 추출 장치
JP5968098B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記憶媒体
US11461903B2 (en) Video processing device, video processing method, and video processing program
US8660302B2 (en) Apparatus and method for tracking target
CN114444558A (zh) 用于对象识别的神经网络的训练方法及训练装置
JP6557592B2 (ja) 映像シーン分割装置及び映像シーン分割プログラム
CN110730381A (zh) 基于视频模板合成视频的方法、装置、终端及存储介质
JP6924064B2 (ja) 画像処理装置およびその制御方法、ならびに撮像装置
KR102121534B1 (ko) 시퀀스 간의 유사성을 결정하는 방법 및 디바이스
JP2011100395A (ja) 判別装置、判別方法およびプログラム
Milani et al. A saliency-based rate control for people detection in video
JP6511950B2 (ja) 画像処理装置、画像処理方法及びプログラム
US9678991B2 (en) Apparatus and method for processing image
US10509986B2 (en) Image similarity determination apparatus and image similarity determination method
KR102413043B1 (ko) 영상 컨텐츠의 샷 분할 방법 및 장치
CN104219423A (zh) 一种信息处理方法和装置
CN112188309B (zh) 基于累计差异度和奇异值分解的镜头边界检测方法和装置
US11627278B2 (en) High dynamic range video format detection
KR102101481B1 (ko) 인공지능 기반의 휴대용 보안영상 학습장치 및 방법
KR101403143B1 (ko) 컨텐츠에 대한 관객 그룹의 반응 판단 방법
KR101337833B1 (ko) 컨텐츠에 대한 관객 반응의 판단 방법
JP2017011581A (ja) 動画処理装置及び動画処理システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant