KR101290023B1 - 영상 시그니처 생성 디바이스 - Google Patents

영상 시그니처 생성 디바이스 Download PDF

Info

Publication number
KR101290023B1
KR101290023B1 KR1020117017640A KR20117017640A KR101290023B1 KR 101290023 B1 KR101290023 B1 KR 101290023B1 KR 1020117017640 A KR1020117017640 A KR 1020117017640A KR 20117017640 A KR20117017640 A KR 20117017640A KR 101290023 B1 KR101290023 B1 KR 101290023B1
Authority
KR
South Korea
Prior art keywords
image
matching
value
delete delete
visual feature
Prior art date
Application number
KR1020117017640A
Other languages
English (en)
Other versions
KR20110110252A (ko
Inventor
료마 오아미
고타 이와모토
Original Assignee
닛본 덴끼 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛본 덴끼 가부시끼가이샤 filed Critical 닛본 덴끼 가부시끼가이샤
Publication of KR20110110252A publication Critical patent/KR20110110252A/ko
Application granted granted Critical
Publication of KR101290023B1 publication Critical patent/KR101290023B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor

Abstract

영상 시그니처 생성 디바이스는, 영상에서의 복수의 서브영역쌍들의 특징들에 기초하여 영상을 식별하는데 이용되는 시각 특징을 추출하는 시각 특징 추출 유닛; 및 시각 특징의 신뢰도 값을 산출하고, 영상이 특정 영상인 경우에, 특정 영상 이외의 영상인 경우에 비해 보다 작은 값을 갖는 신뢰도 값을 산출하는 신뢰도 값 산출 유닛을 포함한다.

Description

영상 시그니처 생성 디바이스{VIDEO SIGNATURE GENERATION DEVICE}
본 발명은 복수의 동화상 중에서, 유사 또는 동일한 동화상 세그먼트를 검출할 수 있는 영상 검색용의 영상 시그니처를 생성하는 디바이스, 방법, 및 프로그램에 관한 것이다.
동화상의 특징을 추출하고 매칭하는 예시적인 디바이스가 비특허문헌 1에 기재되어 있다. 도 9는 특허문헌 1에 기재된 디바이스를 나타내는 블록도이다.
블록 단위 특징 추출 유닛 (1000) 은, 입력되는 제 1 영상으로부터 블록 단위로 특징을 추출하고, 제 1 특징을 매칭 유닛 (1030) 에 출력한다. 다른 블록 단위 특징 추출 유닛 (1010) 은, 입력되는 제 2 영상으로부터 블록 단위로 특징을 추출하고, 제 2 특징을 매칭 유닛 (1030) 에 출력한다. 가중 계수 산출 유닛 (1020) 은, 입력되는 학습용 영상에 기초하여 각각의 블록의 가중값을 산출하고, 가중 계수를 매칭 유닛 (1030) 에 출력한다. 매칭 유닛 (1030) 은, 가중 계수 산출 유닛 (1020) 으로부터 출력되는 가중 계수를 이용하여 블록 단위 특징 추출 유닛 (1000) 으로부터 출력되는 제 1 특징과 블록 단위 특징 추출 유닛 (1010) 으로부터 출력되는 제 2 특징을 비교하고, 매칭 결과를 출력한다.
다음으로, 도 9에 나타내는 디바이스의 동작에 대해 설명할 것이다.
블록 단위 특징 추출 유닛 (1000) 은, 입력된 제 1 영상의 각각의 프레임을 블록으로 분할하고, 각각의 블록으로부터 영상을 식별하기 위한 특징을 산출한다. 구체적으로, 블록 단위 특징 추출 유닛 (1000) 은 각각의 블록에 대한 에지의 종류를 결정하고, 그 종류를 각각의 블록의 특징으로서 산출한다. 그후, 각각의 프레임에 대해, 블록 단위 특징 추출 유닛 (1000) 은 각각의 블록의 에지 종류로 이루어진 특징 벡터를 형성한다. 그후, 블록 단위 특징 추출 유닛 (1000) 은 각각의 프레임의 특징 벡터를 산출하고, 얻어진 특징을 제 1 특징으로서 매칭 유닛 (1030) 에 출력한다.
블록 단위 특징 추출 유닛 (1010) 의 동작은 블록 단위 특징 추출 유닛 (1000) 의 동작과 유사하다. 블록 단위 특징 추출 유닛 (1010) 은 입력된 제 2 영상으로부터 제 2 특징을 산출하고, 얻어진 제 2 특징을 매칭 유닛 (1030) 에 출력한다.
다른 한편, 가중 계수 산출 유닛 (1020) 은, 미리 학습용 영상을 이용하여, 프레임의 각각의 블록에 캡션 (caption) 이 삽입되는 확률을 산출한다. 그후, 산출된 확률에 기초하여, 가중 계수 산출 유닛 (1020) 은 각각의 블록의 가중 계수를 산출한다. 구체적으로, 캡션 중첩에 대한 강건성을 높이기 위해서, 캡션이 중첩되는 확률이 낮을수록 가중이 높아지도록 가중 계수가 산출된다. 얻어진 가중 계수는 매칭 유닛 (1030) 에 출력된다.
매칭 유닛 (1030) 은, 가중 계수 산출 유닛 (1020) 으로부터 출력되는 가중 계수를 이용하여, 블록 단위 특징 추출 유닛 (1000) 으로부터 출력되는 제 1 특징과 블록 단위 특징 추출 유닛 (1010) 으로부터 출력되는 제 2 특징을 비교한다. 구체적으로, 2 개의 프레임에 있어서 같은 위치에 있는 블록의 특징을 비교하여, 그들이 같으면 스코어가 1 이고 그들이 같지 않으면 스코어가 0 이도록 블록 단위의 스코어를 산출한다. 매칭 유닛 (1030) 은 얻어진 블록 단위의 스코어를 가중 계수를 이용하여 가중시킴으로써 합계하고, 프레임의 매칭 스코어 (프레임 단위의 유사도) 를 산출한다. 매칭 유닛 (1030) 은 이들 처리를 각각의 프레임에 대해 수행함으로써, 제 1 영상과 제 2 영상 간의 매칭 결과를 획득한다.
이들 처리를 통해, 캡션 중첩의 영향이 클 수도 있는 부분에서의 영향을 감소시키면서 동화상들 간의 매칭을 수행하는 것이 가능해지고, 캡션 중첩이 있더라도 높은 매칭 정밀도를 달성할 수 있다.
비특허문헌 1 : Kota Iwamoto, Eiji Kasutani, Akio Yamada 의 "Image Signature Robust to Caption Superimposition for Video Sequence Identification", Proceedings of International Conference on Image Processing(ICIP2006), 2006.
비특허문헌 2 : Eiji Kasutani, Ryoma Oami, Akio Yamada, Takami Sato 및 Kyoji Hirata 의 "Video Material Archive System for Efficient Video Editing Based on Media Identification", Proceedings of International Conference on Multimedia and Expo (ICME2004), pp.727-730, 2004.
상기 서술한 캡션 중첩 이외에도, 동화상의 매칭 정밀도를 저하시키는 다른 요인이 존재한다. 예를 들어, 검은 프레임으로 페이드아웃하는 장면이 많은 영상 중에 공통으로 나타나기 때문에, 이러한 장면은 매칭 정밀도를 저하시킨다. 또, 거의 균일한 값을 갖는 프레임에 대해서는 특징이 안정적으로 구해지지 않기 때문에, 이러한 프레임은 매칭 정밀도를 저하시킨다. 요컨대, 독립인 영상들 간에조차도 생길 수도 있는, 검은 프레임으로 페이드아웃하는 장면을 포함하는 유사한 (거의 동일한) 영상 세그먼트, 또는 거의 균일한 값을 갖는 프레임과 같이, 특징의 신뢰성이 낮은 영상 세그먼트를, 일반적인 세그먼트와 유사한 방식으로 취급하여 매칭을 수행하면, 과잉 검출 또는 검출 누락이 생길 수도 있다. 이 결과, 매칭 정밀도의 저하 문제가 야기되었다.
본 발명의 목적은, 영상이 수많은 영상에 공통으로 나타나는 영상 패턴 또는 특징이 안정적으로 구해지지 않는 영상 패턴을 가질 때 야기되는, 영상의 매칭 정밀도의 저하 문제를 해결할 수 있는 영상 시그니처 생성 디바이스를 제공하는 것이다.
본 발명의 양태에 따르면, 영상 시그니처 생성 디바이스는 영상에서의 복수의 서브영역쌍들의 특징들에 기초하여 영상을 식별하는데 이용되는 시각 특징을 추출하는 시각 특징 추출 유닛; 및 시각 특징의 신뢰도 값을 산출하고, 영상이 특정 영상인 경우에, 특정 영상 이외의 영상인 경우에 비해 보다 작은 값을 갖는 신뢰도 값을 산출하는 신뢰도 값 산출 유닛을 포함한다.
본 발명에 따르면, 수많은 영상에 공통으로 나타나는 영상 패턴 또는 특징이 안정적으로 구해지지 않는 영상 패턴에 의해 야기되는 매칭 정밀도의 저하를 방지 할 수 있다.
도 1 은 본 발명에 따른 영상 시그니처 생성 디바이스의 제 1 실시형태를 나타내는 블록도이다.
도 2 는 본 발명에 따른 영상 시그니처 생성 디바이스의 제 2 실시형태를 나타내는 블록도이다.
도 3 은 본 발명에 따른 영상 시그니처 생성 디바이스의 제 3 실시형태를 나타내는 블록도이다.
도 4 는 본 발명에 따른 영상 시그니처 생성 디바이스의 제 4 실시형태를 나타내는 블록도이다.
도 4a 는 본 발명에 따른 영상 시그니처 생성 디바이스의 다른 실시형태를 나타내는 블록도이다.
도 5 는 본 발명에 따른 영상 시그니처 매칭 디바이스의 실시형태를 나타내는 블록도이다.
도 5a 는 본 발명에 따른 영상 시그니처 매칭 디바이스의 다른 실시형태를 나타내는 블록도이다.
도 6 은 2개의 영상에 대해 수행된 매칭 처리를 설명하는 도면이다.
도 7 은 도 3 에 나타낸 공통 영상 패턴 학습 유닛 (250) 의 동작을 설명하는 플로우차트이다.
도 8 은 도 4 에 나타낸 강건성-저하 영상 패턴 학습 유닛 (350) 의 동작을 설명하는 플로우차트이다.
도 9 는 본 발명에 관련된 기술을 설명하는 블록도이다.
다음으로, 발명의 실시형태에 대해 도면을 참조하여 상세하게 설명할 것이다.
본 발명의 제 1 실시형태에 따른 영상 시그니처 추출 디바이스를 나타내는 도 1 을 참조하면, 이 디바이스는 특징 추출 유닛 (130), 특정 영상 패턴 검출 유닛 (110), 및 신뢰도 값 산출 유닛 (120) 을 포함한다.
특징 추출 유닛 (130) 은, 입력 영상으로부터 특징을 추출하고, 시각 특징을 출력한다. 특정 영상 패턴 검출 유닛 (110) 은, 입력 영상으로부터 특정 패턴을 검출하고, 특정 패턴 검출 결과를 신뢰도 값 산출 유닛 (120) 에 출력한다. 신뢰도 값 산출 유닛 (120) 은, 특정 영상 패턴 검출 유닛 (110) 으로부터 출력되는 특정 패턴 검출 결과에 기초하여 신뢰도 값을 산출하고, 신뢰도 값 정보를 출력한다. 특징 추출 유닛 (130) 으로부터 출력된 시각 특징과 신뢰도 값 산출 유닛 (120) 으로부터 출력된 신뢰도 값 정보는 입력 영상의 영상 시그니처를 구성한다. 시각 특징과 신뢰도 값 정보는, 양자 간의 대응 관계가 명확하게 정의되어 있으면 서로 독립적으로 있을 수도 있고, 또는 다중화 유닛을 사용하여 후술하는 실시형태에서와 같이 일체화되어 있을 수도 있다.
다음으로, 제 1 실시형태의 동작에 대해 상세하게 설명할 것이다.
먼저, 영상이 특징 추출 유닛 (130) 에 입력된다. 원래의 영상이 인코딩되어 있는 경우, 영상은 먼저 디코더에 의해 디코딩된 후, 데이터가 픽처 단위로 입력된다.
픽처는 화면을 구성하는 단위이며 통상 프레임 또는 필드로 이루어짐에 유념해야 한다. 그러나, 픽처는 이러한 구성에 한정되지 않고, 화면을 구성하는 단위이라면 어떠한 형태로 있을 수도 있다. 픽처는 화면의 일부를 자름으로써 형성된 부분 화상일 수도 있다. 예를 들면, 블랙 바 (black bar) 를 갖는 화상의 경우, 블랙 바를 제외한 부분이 픽처로서 취급될 수도 있다. 블랙 바는 4:3 과 16:9 간의 애스펙트 변환으로 인한 화면의 상하 또는 좌우에 삽입되는 마진 영역을 나타냄에 유념해야 한다.
특징 추출 유닛 (130) 은 각각의 픽처에 대해 특징 벡터를 산출한다. 특징 추출 유닛 (130) 은 픽처를 하나의 정지 화상으로 고려하고, 이 픽처의 색, 패턴, 형상 등과 같은 특징을 나타내는 시각 특징의 벡터를 추출한다. 특징으로서, 특징 벡터의 각각의 차원에 대응하는 국소 영역쌍에 대해 영역의 특징 간의 차이를 산출하고 (예를 들어, 영역쌍의 각각의 영역에 대해 영역 내에서의 화소 값의 평균값을 획득하여, 영역 간의 평균값의 차이를 산출한다), 차이를 양자화함으로써 얻어지는 양자화값을 각각의 차원의 값으로서 이용함으로써 획득되는 특징 벡터를 이용할 수도 있다. 각각의 픽처에 대해 산출되는 특징 벡터는 시각 특징으로서 출력된다.
다른 한편, 입력 영상은 또한 특정 영상 패턴 검출 유닛 (110) 에 입력된다. 특정 영상 패턴 검출 유닛 (110) 은 영상을 식별하는데 있어서 바람직하지 않은 영상 패턴을 검출하고, 특정 패턴 검출 결과를 출력한다.
바람직하지 않은 영상 패턴은, 원래 완전히 상이함에도 불구하고, 우연히 대부분 동일하게 되는 영상 패턴 (장면) 을 포함한다. 예를 들어, 영화에 종종 사용되는, 검은 프레임으로 페이드아웃하는 장면이 그 대표적인 예이다. 페이드아웃이라고 하는 영상 편집 기법은 많은 상이한 영상에 종종 사용된다. 이러한 기법에 의하면, 원래 영상의 내용에 관계없이, 페이드아웃 이후에, 장면이 검게 되고, 이로써, 영상 간에 차이가 없어진다. 상술한 바와 같이, 바람직하지 않은 영상 패턴은 실제로 완전히 상이한 다수의 영상에서 발생할 수도 있는 공통 영상 패턴을 의미한다. 이들 영상 패턴은 특징의 종류에 관계없이 임의의 특징을 사용하여도 식별 문제를 야기한다.
다른 한편, 특징의 종류에 따라 바뀌는 바람직하지 않은 영상 패턴도 있다. 구체적으로, 특징이 불안정하고 강건성이 부족한 경우가 있다. 예를 들어, 평탄한 화소 값을 갖는 장면과 같이 화상에서의 특징의 수가 적은 경우, 몇몇 특징은 노이즈 등에 의해 영향을 받기 쉬워져서 강건성이 저하된다. 어떠한 화상이 강건성이 저하될지는 특징에 의존하지만, 특징에 관계없이, 특징 고유의 강건성이 저하되는 영상 패턴이 존재한다. 예를 들어, 색에 관련된 특징의 경우, 블랙과 화이트 색은 낮은 강건성을 갖는다. 다른 한편, 패턴을 나타내는 특징의 경우, 평탄한 화상은 낮은 강건성을 갖는다.
특정 영상 패턴 검출 유닛 (110) 은, 상기 서술한 바와 같이 영상을 식별하는데 있어서 바람직하지 않은 특정 영상 패턴을 검출한다. 검출 방법은 영상 패턴에 의존한다. 예를 들어, 상기 서술한 페이드아웃 장면의 경우, 화상 전체의 휘도값의 평균값 및 평탄성을 나타내는 척도를 사용하여 바람직하지 않은 패턴을 결정할 수 있다. 평탄성을 나타내는 척도로서, 예를 들어, 휘도값의 분산이 이용될 수도 있다. 분산이 충분히 작으며, 휘도의 평균값이 일정 임계치 이하이고 충분히 블랙에 가까우면, 화상은 페이드아웃 이후에 검은 화상이라고 결정된다. 또한, 휘도값의 시간 변화를 측정함으로써 페이드아웃을 결정하는 것이 가능하다. 예를 들어, 화면 내에서 시계열의 픽처에 대해 휘도값의 분산값과 평균값을 획득하는 것이 가능한데, 분산이 서서히 0 으로 감소하고 평균값이 서서히 낮아지도록 시간 경과에 따라 변화하는 경우에, 장면이 검은 화상으로 페이드아웃한다고 결정된다. 이상, 검은 화상으로의 페이드아웃에 대해 설명하였지만, 다른 화소 값에 대한 페이드아웃이 유사한 방식으로 검출될 수 있다. 이는, 유사한 방식으로 분산을 체크하면서 평균값이 특정 값에 수렴하는지 여부를 체크함으로써 페이드아웃이 검출될 수 있음을 의미한다.
검출한 특정 패턴 검출 결과는, 이러한 패턴이 검출되는지 여부를 나타내는 이진 값으로 있을 수도 있다. 예를 들면, 바람직하지 않은 패턴이 검출되는 경우에 값 1 이 출력되고, 바람직하지 않은 패턴이 검출되지 않은 경우에 값 0 이 출력된다. 또한, 검출되었을 때의 확실성(확률)에 따라, 0 과 1 사이의 연속 값 (또는 몇몇 단계의 레벨로 나타내진 신뢰도를 나타내는 레벨 값) 을 사용하는 것이 가능하다. 이것은 각각의 픽처에 대해 출력된다. 검출 결과는 일정 주기에 집합적으로 출력될 수도 있다. 특정 패턴 검출 결과는 신뢰도 값 산출 유닛 (120) 에 출력된다.
신뢰도 값 산출 유닛 (120) 은, 특정 영상 패턴 검출 유닛 (110) 으로부터 출력되는 특정 패턴 검출 결과에 따라 각각의 픽처의 특징에 대한 신뢰도 값을 산출하고, 그들을 출력한다. 이때, 특정 패턴 검출 결과가, 특정 패턴이 검출되지 않음을 나타내는 경우, 신뢰도 값 산출 유닛 (120) 은 신뢰도 값으로서 최대 값을 출력한다 (예를 들어, 신뢰도 값이 0 내지 1 의 값을 취하는 경우, 1 은 최대 신뢰도 값을 나타내고, 유닛은 1 을 출력한다). 특정 패턴 검출 결과가, 특정 패턴이 검출되거나 또는 검출 가능성이 높음을 나타내는 경우, 신뢰도 값 산출 유닛 (120) 은 그 정도에 따라 신뢰도 값을 저하시킨다. 이는, 특정 패턴이 검출되는 경우, 최소 레벨의 값이 신뢰도 값으로서 결정되고, 결과가 검출 가능성이 높음을 나타내는 경우, 신뢰도 값이 그 정도에 따라 저하됨을 의미한다. 이러한 처리는 각각의 픽처에 대해 수행되고, 획득된 값은 신뢰도 값으로서 출력된다. 또한, 일정 주기에 픽처에 대한 신뢰도 값을 집합적으로 획득하여 그것을 출력하는 것이 가능하다.
도 1 에 있어서, 영상 대신에, 특징 추출 유닛 (130) 으로부터 출력되는 시각 특징을 특정 영상 패턴 검출 유닛 (110) 에 입력하는 것이 가능하다 (도 1 에서 파선). 이 경우, 특정 영상 패턴 검출 유닛 (110) 은 입력 특징으로부터 특정 영상 패턴을 추정하고, 그리하여 특정 패턴을 검출한다. 구체적으로, 특정 영상 패턴 검출 유닛 (110) 은 특정 영상 패턴으로서 정의되는 영상에 대해 시각 특징을 추출하고, 입력 시각 특징에 대한 유사도를 결정하고, 그리하여 특정 패턴을 검출한다. 예를 들어, 상기 서술한 페이드아웃의 경우, 휘도값이 화면 전체에서 일정한 경우에 대응하는 특징의 값에 시각 특징이 가까운지 여부를 검출함으로써 특정 패턴 검출 결과를 산출한다. 시각 특징으로서 휘도값의 평균과 분산을 사용하는 경우에, 분산이 충분히 작고 평균값이 충분히 작으면, 상기 서술한 바와 같이 장면이 검은 화상으로 페이드아웃한다고 결정된다. 상기 서술된 바와 같이, 특징 자체로부터 특정 영상 패턴을 획득하고 신뢰도 값을 산출하는 것이 가능하다.
상기 서술된 바와 같이, 제 1 실시형태에 있어서, 영상을 식별하는데 바람직하지 않은 영상 패턴이 검출되고, 대응 픽처의 신뢰도 값을 저하시키기 위한 신뢰도 값이 특징과 함께 발생되기 때문에, 매칭을 수행할 때 이 신뢰도 값을 사용함으로써 매칭 정밀도가 향상될 수 있다. 또한, 미리 정해진 특정 영상 패턴에 대해 검출이 수행되기 때문에, 특정 영상 패턴에 대해 적합한 검출 방법을 채용할 수 있고, 그리하여 검출의 정밀도가 향상될 수 있다.
다음으로, 도 2 에 나타낸 본 발명의 제 2 실시형태에 대해 도면을 이용하여 설명할 것이다.
본 발명의 제 2 실시형태에 따른 영상 시그니처 추출 디바이스를 나타내는 도 2 를 참조하면, 이 디바이스는 특징 추출 유닛 (130), 특정 영상 패턴 검출 유닛 (210), 및 신뢰도 값 산출 유닛 (120) 을 포함한다.
도 1 의 경우와 비교하면, 이 디바이스는, 특정 영상 패턴 검출 유닛 (110) 대신에, 특정 영상 패턴 검출 유닛 (210) 이 이용되는 점을 제외하면, 도 1 에 나타낸 디바이스와 유사하다. 특정 영상 패턴 검출 유닛 (210) 은, 입력 특정 영상 패턴 정보에 기초하여 영상으로부터 특정 패턴을 검출하고, 특정 패턴 검출 결과를 신뢰도 값 산출 유닛 (120) 에 출력한다.
다음으로, 도 2 에 나타낸 영상 시그니처 추출 디바이스의 동작에 대해 설명할 것이다.
특징 추출 유닛 (130) 및 신뢰도 값 산출 유닛 (120) 의 동작은 도 1의 경우와 동일하다.
특정 영상 패턴 검출 유닛 (210) 에는, 영상과 특정 영상 패턴 정보가 입력된다. 특정 영상 패턴 정보는, 상기 서술한 식별하는데 바람직하지 않은 영상 패턴을 기술하는 정보이며, 예를 들면, 이는 특정 영상 자체일 수도 있다. 특정 영상은, 영상을 대표하는 하나의 화상, 또는 복수의 연속 화상으로 이루어진 영상 세그먼트, 또는 영상 세그먼트로부터 얻어진 복수의 화상일 수도 있다. 또는, 특정 영상 패턴 정보는, 특정 영상 패턴을 검출하는데 필요한 시각 특징일 수도 있다. 시각 특징은, 특징 추출 유닛 (130) 에 의해 획득된 시각 특징과 반드시 동일한 것은 아님에 유념해야 한다. 예를 들어, 상기 서술한 검은 화상으로의 페이드아웃의 경우, 화면 전체의 휘도값의 평균값과 분산이 특징으로서 이용될 수도 있다.
특정 영상 패턴 검출 유닛 (210) 은, 입력 영상과 특정 영상 패턴 정보에 기술된 영상 간의 유사도에 따라 특정 영상 패턴을 검출한다. 즉, 특정 영상 패턴 정보가 화상 자체인 경우, 특정 영상 패턴 검출 유닛 (210) 은 입력 영상의 픽처와 특정 영상 패턴 정보로서 입력되는 화상의 둘다로부터 시각 특징을 산출하고, 그들의 유사도를 비교하고 그리하여 특정 패턴을 검출한다. 이 처리에서, 유사도를 결정하기 위한 기준으로서 유사도 값 또는 특징 간의 거리를 사용하는 것이 가능하다. 거리가 작거나, 또는 유사도 값이 큰 경우에, 특정 영상 패턴 검출 유닛 (210) 은 그 정도에 따라 검출의 확실성을 정의하고, 그것을 특정 패턴 검출 결과로서 출력한다.
다른 한편, 특정 영상 패턴 정보가 화상으로부터 추출된 특징인 경우에, 특정 영상 패턴 검출 유닛 (210) 은 입력 영상으로부터 동일한 종류의 특징을 추출하고, 매칭을 수행한다. 예를 들어, 특정 영상 패턴 정보가 에지 히스토그램의 특징으로 기술되어 있는 경우에, 특정 영상 패턴 검출 유닛 (210) 은 입력 화상으로부터 각각의 픽처에 대해 에지 히스토그램를 산출한다. 특징의 산출 이후의 동작은, 특정 영상 패턴 정보로서 화상이 입력된 경우와 유사하다.
또한, 특정 영상 패턴 검출 유닛 (210) 에 대한 입력은 영상 대신에, 특징 추출 유닛 (130) 으로부터 출력되는 시각 특징일 수도 있음에 유념해야 한다 (도 2 에서 파선). 이 경우, 특정 영상 패턴 검출 유닛 (210) 은 입력 특징으로부터 특정 영상 패턴을 추정하고, 그리하여 특정 패턴을 검출한다. 특정 영상 패턴 정보가 영상 그 자체인 경우에, 특정 영상 패턴 검출 유닛 (210) 은 그 영상으로부터, 특징 추출 유닛 (130) 으로 출력되는 특징과의 매칭을 수행하는데 사용될 수 있는 특징을 추출하여, 그들을 비교한다. 특정 영상 패턴 정보가 시각 특징인 경우에, 시각 특징은, 특징 추출 유닛 (130) 으로부터 출력되는 특징과 매칭을 수행하는데 사용될 수 있는 특징이어야 한다.
상기 서술된 바와 같이, 특정 영상 패턴과의 거리 또는 유사도 값을 산출함으로써, 바람직하지 않은 영상 패턴을 검출하고 신뢰도 값을 산출하는 것이 가능하다. 이 방식의 경우, 각각의 특정 영상 패턴에 대한 검출 방식을 결정하지 않고, 특정 영상 패턴 정보로서 주어진 정보를 바꾸는 것만으로 다양한 패턴에 대처할 수 있다. 그리하여, 디바이스가 제조된 후에도, 특정 영상 패턴 정보를 바꾸는 것만으로 디바이스에 의해 지원될 수 있는 영상 패턴을 확장하는 것이 가능하다.
다음으로, 도 3 에 나타낸 본 발명의 제 3 실시형태에 대해 도면을 이용하여 설명할 것이다.
본 발명의 제 3 실시형태에 따른 영상 시그니처 추출 디바이스가 나타내는 도 3 을 참조하면, 이 디바이스는 특징 추출 유닛 (130), 특정 영상 패턴 검출 유닛 (210), 신뢰도 값 산출 유닛 (120), 및 공통 영상 패턴 학습 유닛 (250) 을 포함한다. 도 2 의 경우와 비교하면, 이 디바이스는, 공통 영상 패턴 학습 유닛 (250) 이 추가되고, 그로부터 출력되는 특정 영상 패턴 정보가 특정 영상 패턴 검출 유닛 (210) 에 접속되는 것을 제외하고는 도 2 에 나타낸 영상 시그니처 추출 디바이스와 유사하다.
다음으로, 제 3 실시형태의 동작에 대해 설명할 것이다.
특징 추출 유닛 (130), 특정 영상 패턴 검출 유닛 (210), 및 신뢰도 값 산출 유닛 (120) 의 동작은 도 2 의 경우와 동일하다.
공통 영상 패턴 학습 유닛 (250) 에 학습용 영상의 그룹이 입력된다. 이 처리에서 입력되는 영상은, 독립적으로 제작되고 서로에 대해 파생 관계를 갖지 않는 영상의 그룹인 것이 바람직하다. 이는, 영상들이, 하나의 영상이 다른 영상을 편집함으로써 발생되는 것과 같은 관계를 갖지 않는 것이 바람직함을 의미한다. 공통 영상 패턴 학습 유닛 (250) 은, 영상의 그룹으로부터 서로 우연히 거의 동일한 영상 세그먼트를 추출한다. 구체적으로, 공통 영상 패턴 학습 유닛 (250) 은 각각의 픽처에 대해 각각의 영상의 특징을 산출하고, 그들 간의 거리 (유사도 값) 의 산출을 복수의 영상쌍에 대해 수행한다. 이 결과, 독립인 영상임에도 불구하고, 거의 동일하다고 고려될 수 있는 영상 세그먼트가 발견된 경우에, 그 영상 세그먼트가 특정 영상 패턴 정보로서 추출된다. 이로써, 특정 영상 패턴을 수동으로 결정하는 것이 아니라, 특정 영상 패턴을 학습에 의해 자동으로 추출하는 것이 가능하다. 상기 서술한 바와 같이, 특정 영상 패턴 정보는, 영상 그 자체가 아니라, 영상으로부터 추출된 특징일 수도 있음에 유념해야 한다. 이 경우, 공통 영상 패턴 학습 유닛 (250) 은 추출된 영상 패턴의 특징을 산출하고, 그들을 특정 영상 패턴 정보로서 출력한다.
도 7 은 공통 영상 패턴 학습 유닛 (250) 의 동작을 나타낸 플로우차트이다.
단계 S10 에서, 입력 영상의 각각으로부터 시각 특징이 추출된다. 이 단계에서 이용되는 시각 특징 추출 방법은, 특징 추출 유닛 (130) 에 의해 이용된 방법과 반드시 동일할 필요는 없다.
단계 S20 에서, 추출된 시각 특징 간에 매칭이 수행된다. 이로써, 입력되는 학습용 영상에 대한 임의의 2쌍의 영상 간의 매칭 결과가 구해진다.
그후, 단계 S30 에서, 매칭 결과로부터 유사도 값이 높은 (또는 거리가 작은) 영상 세그먼트가 추출된다.
단계 S40 에서, 추출된 영상 세그먼트의 정보가 특정 영상 패턴 정보로서 출력된다.
상기 서술한 바와 같이 출력된 특정 영상 패턴 정보는 특정 영상 패턴 검출 유닛 (210) 에 입력된다.
제 3 실시형태에 의하면, 복수의 영상으로부터, 바람직하지 않은 영상 패턴, 특히 다수의 완전히 상이한 영상 간에 발생되는 공통 영상 패턴을 자동적으로 추출하는 것이 가능하다.
다음으로, 제 4 실시형태에 대해 도면을 이용하여 설명할 것이다.
본 발명의 제 4 실시형태에 따른 영상 시그니처 추출 디바이스를 나타내는 도 4 를 참조하면, 이 디바이스는 특징 추출 유닛 (130), 특정 영상 패턴 검출 유닛 (210), 신뢰도 값 산출 유닛 (120), 및 강건성-저하 영상 패턴 학습 유닛 (350) 을 포함한다. 도 3의 경우와 비교하면, 이 디바이스는, 공통 영상 패턴 학습 유닛 (250) 대신에 강건성-저하 영상 패턴 학습 유닛 (350) 이 이용되는 점 이외에는 도 3 에 나타낸 영상 시그니처 추출 디바이스와 유사하다.
다음으로, 제 4 실시형태의 동작에 대해 설명할 것이다.
특징 추출 유닛 (130), 특정 영상 패턴 검출 유닛 (210), 및 신뢰도 값 산출 유닛 (120) 의 동작은, 도 2 의 경우와 동일하다.
강건성-저하 영상 패턴 학습 유닛 (350) 에 학습용 영상의 그룹이 입력된다. 이 학습용 영상의 그룹은, 특징 추출 유닛 (130) 에서 이용되는 시각 특징이 덜 강건한 영상 패턴을 학습시키는데 사용된다. 강건성-저하 영상 패턴 학습 유닛 (350) 에서는, 특징 추출 유닛 (130) 에서 이용된 것과 동일한 특징 추출 방식에 의해 영상으로부터 시각 특징이 추출된다. 동시에, 다양한 변경 처리 (인코딩 처리, 노이즈 부가, 캡션 중첩 등) 가 수행되고, 이들 처리 이후에, 특징 추출이 유사하게 수행된다. 그후, 처리 전 시각 특징과 처리 후 시각 특징을 비교하여, 얼마나 변화했는지를 체크한다. 구체적으로, 처리 전후의 특징 간에 거리 또는 유사도 값이 산출된다. 이때, 유사도 값이 작거나 또는 거리 값이 큰 영상이 발견된 경우에, 그것이 특정 영상 패턴 정보로서 추출된다. 구체적으로, 유사도 값 또는 거리 값이 임계치를 이용하여 처리되고, 유사도 값이 일정한 임계치보다 작아지는 경우, 또는 거리 값이 일정한 임계치보다 커지는 경우가 추출된다. 이로써, 특정 영상 패턴을 수동으로 결정하는 것이 아니라, 특정 영상 패턴을 학습에 의해 자동으로 추출하는 것이 가능하다. 상기 서술한 바와 같이, 특정 영상 패턴 정보는 영상 그 자체가 아니라, 영상으로부터 추출된 특징일 수도 있다. 이 경우, 추출된 영상 패턴의 특징이 산출되고, 특정 영상 패턴 정보로서 출력된다.
도 8 은 강건성-저하 영상 패턴 학습 유닛 (350) 의 동작을 나타내는 플로우차트이다. 먼저, 단계 S50 에서, 변경된 영상이 생성된다. 이 단계에서, 입력 영상에 다양한 예상되는 변경 처리를 적용함으로써 변경된 영상이 생성된다. 단계 S70 이전에 수행된다면, 이들 처리는, 후술되는 단계 S60 이후에 수행될 수도 있다.
단계 S60 에서, 변경전의 영상으로부터 시각 특징이 추출된다. 이 단계에서 사용된 특징 추출 방법은 특징 추출 유닛 (130) 에서 사용된 것과 동일하다. 이로써, 변경전의 각각의 영상에 대해 시각 특징이 산출된다.
단계 S70 에서, 변경된 영상으로부터 시각 특징이 추출된다. 이 단계에서, 단계 S50 에서 생성된 변경된 영상의 각각에 대해 시각 특징이 추출된다. 이 단계에서 사용된 특징 추출 방법은, 특징 추출 유닛 (130) 에서 사용된 것과 동일하다. 이로써, 각각의 변경된 영상에 대해 시각 특징이 산출된다.
단계 S80 에서, 변경 전후의 시각 특징에 대해 매칭이 수행된다. 이 단계에서, 변경 전후에 대응하는 특징의 시각 특징 간에 매칭이 수행된다. 이러한 매칭시에, 변경 전후의 픽처를 상관시킴으로써 매칭이 수행된다. 그후, 매칭 결과는 각 픽처에 대해, 또는 복수의 픽처를 시계열 방식으로 함께 모음으로써 형성된 각각의 영상 세그먼트에 대해 출력된다.
그후, 단계 S90 에서, 특징 간의 거리가 크거나 또는 특징 간의 유사도 값이 작은 영상 세그먼트가 매칭 결과로부터 추출된다.
마지막으로, 단계 S100 에서, 추출된 영상 세그먼트의 영상으로부터 특정 영상 패턴 정보를 생성하여, 출력한다.
이러한 방식으로 출력된 특정 영상 패턴 정보는 특정 영상 패턴 검출 유닛 (210) 에 입력된다.
제 4 실시형태에 의하면, 제 3 실시형태의 경우와 같이, 수많은 영상으로부터 바람직하지 않은 영상 패턴을 자동으로 추출하는 것이 가능하다.
다음으로, 도 1 내지 도 4 에 나타낸 영상 시그니처 추출 디바이스에 의해 생성된 영상 시그니처에 대한 매칭 디바이스의 실시형태에 대해 설명할 것이다.
도 1 내지 도 4 에 나타낸 영상 시그니처 추출 디바이스에 의해 생성된 영상 시그니처에 대한 매칭을 수행하기 위한 영상 시그니처 매칭 디바이스의 실시형태를 나타내는 도 5 를 참조하면, 이 영상 시그니처 매칭 디바이스는 매칭 파라미터 산출 유닛 (410) 및 매칭 유닛 (400) 을 포함한다.
매칭 파라미터 산출 유닛 (410) 은, 제 1 신뢰도 값 정보 및 제 2 신뢰도 값 정보로부터 매칭 파라미터를 획득하고, 그들을 매칭 유닛 (400) 에 출력한다. 매칭 유닛 (400) 은, 매칭 파라미터를 이용하여 제 1 시각 특징과 제 2 시각 특징 간의 매칭을 수행하고, 매칭 결과를 출력한다. 제 1 시각 특징과 제 1 신뢰도 값 정보는 제 1 영상의 영상 시그니처를 구성하고, 제 2 시각 특징과 제 2 신뢰도 값 정보는 제 2 영상의 영상 시그니처를 구성함에 유념해야 한다.
다음으로, 도 5 에 나타낸 영상 시그니처 매칭 디바이스의 동작에 대해 설명할 것이다.
먼저, 제 1 영상으로부터 획득된 제 1 신뢰도 값 정보와 제 2 영상으로부터 획득된 제 2 신뢰도 값 정보는 매칭 파라미터 산출 유닛 (410) 에 입력된다. 매칭 파라미터 산출 유닛 (410) 은, 제 1 신뢰도 값 정보와 제 2 신뢰도 값 정보로부터, 제 1 영상의 세그먼트와 제 2 영상의 세그먼트 간의 매칭을 위해 사용될 매칭 파라미터를 산출한다. 예를 들어, 제 1 신뢰도 값 정보와 제 2 신뢰도 값 정보로부터, 각각의 픽처에 대한 매칭을 수행하기 위해 사용되는 가중 계수가 매칭 파라미터로서 산출된다.
제 1 신뢰도 값 정보와 제 2 신뢰도 값 정보로부터 가중 계수를 산출하는 여러가지 방법이 있지만, 어느 일방의 신뢰도 값이 작은 값에 대응할 때 가중 계수가 감소하고 신뢰도 값 정보에 대응하는 둘다의 가중값들이 증가할 때 가중 계수가 증가하는 조건이 만족된다면, 임의의 방법이 이용될 수 있다. 예를 들어, 제 1 신뢰도 값 정보 및 제 2 신뢰도 값 정보로부터 획득된, 제 1 영상의 k1번째의 픽처의 신뢰도 값 및 제 2 영상의 k2번째의 픽처의 신뢰도 값이 각각 r1(k1) 및 r2(k2) 일 때, 이들 픽처 간의 매칭을 수행하기 위해 사용될 가중 계수 w(k1, k2) 는 식 1 에 의해 산출될 수 있다.
[식 1]
w(k1, k2) = min(r1(k1), r2(k2))
매칭 유닛 (400) 은 제 1 시각 특징 및 제 2 시각 특징에 대한 매칭을 수행한다. 이들은 두 특징 간의 유사도를 나타내는 유사도 값을 이용하여 또는 두 특징 간의 차이의 레벨을 나타내는 거리를 이용하여 비교될 수도 있다. 거리를 이용하여 이들을 비교하는 경우, 식 2 에 의해 산출되는 거리 d 에 기초하여 수행될 것이다.
[식 2]
Figure 112011058208672-pct00001
N 은 특징의 차원수이며, v1(i) 및 v2(i)는 각각 제 1 특징 및 제 2 특징의 i번째 차원의 값을 나타냄에 유념해야 한다. 비교는 픽처 단위로 수행되고, 제 1 영상과 제 2 영상의 일정 세그먼트가 비교된다. 이 처리에서, 가중 계수 w(k1, k2) 가 사용된다. 예를 들어, 영상 세그먼트 내에서 픽처 단위의 비교를 통해 구해지는 거리 값을 평균함으로써 산출되는 값들을 이용하여 영상 세그먼트 간의 매칭을 수행하는 경우에, 평균값을 산출할 때, 제 1 영상의 k1번째 픽처와 제 2 영상의 k2번째 픽처 간의 비교로부터 구해진 거리 값 d(k1, k2) 은 가중 계수 w(k1, k2) 로 가중된다. 즉, 제 1 영상의 t1번째 픽처에서 시작되는 K 픽처로 이루어지는 세그먼트와 제 2 영상의 t2번째 픽처에서 시작되는 K 픽처로 이루어지는 세그먼트를 비교할 때, 거리 값이 식 3 에 의해 산출된다.
[식 3]
Figure 112011058208672-pct00002
이 값이 임계치보다 큰 경우, 세그먼트가 서로 동일하지 않다고 결정되고, 이 값이 임계치 이하인 경우, 세그먼트가 서로 동일하다고 결정된다. 이 처리를 제 1 영상과 제 2 영상의 임의의 세그먼트의 조합에 대해 수행함으로써, 제 1 영상 및 제 2 영상에 포함된 임의의 길이를 갖는 모든 동일한 세그먼트가 결정될 수 있다.
대안적으로, 픽처 단위의 비교를 수행함으로써 거리 값이 임계치 이하인 픽처쌍의 수를 획득하는 것이 또한 가능하고, 그 수가 세그먼트에 포함된 픽처수에 비해 충분히 클 경우에, 세그먼트가 동일하다고 결정되고, 그렇지 않으면, 세그먼트가 동일하지 않다고 결정된다. 이 경우에도, 결정은 동일한 방식으로 가중시킴으로써 수행될 수 있다. 그리하여, 식 4 에 의한 결정을 수행하는 것이 또한 가능하다.
[식 4]
Figure 112011058208672-pct00003
U(x) 는 x≥0 일 때 1 이고 x<0 일 때 0 이 되는 단위 계단 함수를 나타내고, Th 는 픽처의 특징 간의 거리의 임계치 (즉, 거리가 Th 이하일 때에는 세그먼트가 동일하다고 결정되고, 그렇지 않을 때에는 동일하지 않다고 결정된다) 를 나타낸다. 이 처리를 제 1 영상과 제 2 영상의 임의의 세그먼트의 조합에 대해 수행함으로써, 제 1 영상 및 제 2 영상에 포함된 임의의 길이를 갖는 모든 동일한 세그먼트가 결정될 수 있다.
임의의 길이의 세그먼트를 비교하는 방법으로서, 비특허문헌 2 에 기재된 매칭 방법이 또한 이용될 수 있다. 도 6 에 나타낸 바와 같이, 영상 간의 매칭을 위해, L 픽처의 길이를 갖는 매칭 윈도우가 제공되고, 윈도우는 제 1 영상 및 제 2 영상 각각에 대해 슬라이딩하도록 되고, 양자가 비교된다. 매칭 윈도우 내의 세그먼트가 동일하다고 결정되면, 매칭 윈도우는 p 픽처의 길이만큼 연장되어 매칭 처리를 계속한다. 양자의 세그먼트가 동일하다고 결정되는 한, p 픽처만큼 매칭 윈도우를 연장하는 처리가 반복되어 최대 길이의 동일한 세그먼트를 획득한다. 이로써, 최대 길이의 동일한 세그먼트가 효과적으로 획득될 수 있다.
거리를 척도로서 사용하는 경우가 상기 서술되었지만, 매칭은 또한 유사도 값을 이용하여 수행될 수 있음에 유념해야 한다. 이 경우, 비교는 구체적으로 식 5 에 의해 산출된 유사도 값 S 를 이용하여 수행된다.
[식 5]
Figure 112011058208672-pct00004
Sim(x, y) 는 x 와 y 간의 근접도를 나타내는 함수이며, 그 값은 x와 y 값이 가까울수록 커진다. 예를 들어, x와 y 간의 거리가 d(x, y)이면, 식 6 으로서 나타낸 함수가 사용될 수 있다.
[식 6]
Figure 112011058208672-pct00005
대안적으로, Sim(x, y)는, 크로네커 델타 (Kronecker delta) 와 같이, x와 y가 매칭할 때 1, 그렇지 않으면 0인 함수일 수도 있다. 또한, 특징 벡터 간의 각도 (코사인 값) 가 유사도 값으로서 사용될 경우, 식 7 에 의해 산출된 유사도 값 S 에 기초하여 비교가 수행된다.
[식 7]
Figure 112011058208672-pct00006
이로써, 제 1 영상 시그니처와 제 2 영상 시그니처의 매칭 결과가 획득된다.
또한, 매칭 파라미터 산출 유닛 (410) 으로부터 출력되는 매칭 파라미터는, 대응하는 픽처의 매칭 결과를 무시할지 여부를 결정하기 위한 파라미터일 수도 있다. 비교되는 픽처의 일방이 낮은 신뢰도 값을 가질 경우, 픽처 간의 매칭 결과는 신뢰성이 높지 않다. 이 경우, 픽처의 이러한 매칭 결과를 이용하지 않고 영상 간의 매칭이 수행될 수도 있다. 예를 들면, 영상 1과 영상 2를 비교할 때, 영상 1의 5번째 내지 9번째 픽처가 낮은 신뢰도 값을 가질 경우, 영상 1의 5번째 내지 9번째 픽처에 대한 픽처 간의 매칭 결과를 이용하지 않고서 영상 1 및 영상 2의 영상 세그먼트 간의 비교가 수행될 것이다.
대안적으로, 매칭 파라미터 산출 유닛 (410) 으로부터 출력되는 매칭 파라미터는, 픽처 간에 수행된 매칭 처리에서 픽처가 상이하다고 결정된 횟수를 기술하는 파라미터일 수도 있다. 아날로그 캡처와 같은 변경 처리에서는, 모든 픽처가 정확하게 캡처되지 않고, 몇몇 픽처가 유실될 수도 있다. 이 경우, 동일한 영상임에도 불구하고, 유실된 픽처로 인해 비교가 수행되지 못할 수도 있다. 이 경우, 픽처의 매칭시에 허용되는 매칭 실패의 수가 미리 결정되고, 그 수가 결정된 수 이하인 경우, 매칭이 계속될 것이고 (이는 매칭시의 실패의 수가 결정된 수를 초과할 때에만 매칭이 종료됨을 의미한다), 이로써 연속 세그먼트가 성공적으로 비교될 수 있다. 픽처 간의 매칭시에 실패의 허용가능한 수 (Nth라 함) 는 신뢰도 값에 의해 제어된다. 예를 들어, 신뢰도 값이 낮은 세그먼트에서는, Nth의 값이 신뢰도 값이 낮은 픽처의 수에 따라 증분된다. 이러한 방식으로, 낮은 신뢰도 값을 갖는 픽처가 계속되는 경우라도, 그들은 연속 세그먼트로서 비교될 수 있다.
본 발명의 예시적인 실시형태에 대해 설명하였지만, 본 발명은 이들 실시형태에 한정되는 것은 아니다. 당업자라면, 본 발명의 사상 및 범위로부터 일탈하지 않고서 형태 및 상세가 다양하게 변화될 수도 있음을 이해할 것이다. 예를 들면, 특정 영상 패턴 검출 유닛은, 입력 영상 및 그 입력 영상으로부터 추출된 시각 특징의 둘다로부터 특정 영상 패턴을 검출할 수도 있다.
또한, 도 4a 에 나타낸 바와 같이, 본 발명의 영상 시그니처 생성 디바이스는, 특징 추출 유닛 (130) 으로부터 출력된 시각 특징과 신뢰도 값 산출 유닛 (120) 으로부터 출력된 신뢰도 값 정보가 입력되고, 영상 시그니처를 출력하는 다중화 유닛 (140) 을 포함할 수도 있다. 다중화 유닛 (140) 은, 특징 추출 유닛 (130) 으로부터 출력되는 시각 특징과 신뢰도 값 산출 유닛 (120) 으로부터 출력되는 신뢰도 값 정보를 다중화함으로써 영상 시그니처를 생성하고, 생성된 영상 시그니처를 출력한다. 다중화 유닛 (140) 은, 양자가 비교될 때 분리가능한 형태로 다중화함으로써 영상 시그니처를 생성한다. 다중화는, 각각의 픽처에 대해 시각 특징과 신뢰도 값 정보를 인터리브하는 방법, 매 신뢰도 값 정보를 먼저 다중화한 후 시각 특징을 다중화하는 (또는 그 역) 방법, 및 각각의 미리 정해진 세그먼트에 대해 (예를 들어, 신뢰도 값 정보를 산출하는 시간 세그먼트 단위로) 신뢰도 값 정보와 시각 특징을 다중화하는 방법을 포함한, 다양한 방법에 의해 수행될 수도 있다.
또한, 도 5a 에 나타낸 바와 같이, 본 발명의 영상 시그니처 매칭 디바이스는, 매칭을 수행하기 위한 2개의 화상의 영상 시그니처가 입력되고, 영상 시그니처를 구성하는 시각 특징과 신뢰도 값 정보를 출력하는 역다중화 유닛 (420 및 430) 을 포함할 수도 있다. 역다중화 유닛 (420) 은, 거기에 입력되는 제 1 영상 시그니처로부터 제 1 시각 특징과 제 1 신뢰도 값 정보를 분리하고, 각각 매칭 유닛 (400) 으로 그리고 매칭 파라미터 산출 유닛 (410) 으로 출력한다. 유사하게, 역다중화 유닛 (430) 은, 거기에 입력되는 제 2 영상 시그니처로부터 제 2 시각 특징과 제 2 신뢰도 값 정보를 분리하고, 각각 매칭 유닛 (400) 으로 그리고 매칭 파라미터 산출 유닛 (410) 으로 출력한다.
또, 본 발명의 영상 시그니처 추출 디바이스 및 영상 시그니처 매칭 디바이스에 관련하여, 그 기능은 하드웨어뿐만 아니라, 컴퓨터 및 프로그램에 의해 실현될 수 있다. 이러한 프로그램은 자기 디스크, 반도체 메모리 등과 같은 컴퓨터 판독가능 기록 매체에 기입된 형태로 제공되고, 예를 들면, 컴퓨터 시작시에 판독되고, 컴퓨터의 동작을 제어하여, 그리하여 컴퓨터로 하여금 상기 서술한 예시적인 실시형태의 영상 시그니처 추출 디바이스 또는 영상 시그니처 매칭 디바이스로서 기능하도록 한다.
이 출원은 2009년 1월 29일에 출원된 일본 특허 출원 2009-17808 에 기초하여 우선권의 이익을 주장하며, 그 개시내용 전체가 참조로서 본 명세서에 통합되어 있다.
본 발명은 고 정밀도로 다양한 영상으로부터 유사 또는 동일한 영상을 검색하는데 적용가능하다. 특히, 영상의 동일한 세그먼트의 검색에 관련하여, 본 발명은 네트워크 상에 분산된 불법적으로 카피된 동화상의 식별 및 실제 방송전파 상에 분산된 커머셜 (commercials) 의 식별에 적용가능하다.

Claims (76)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 제 1 영상에서의 복수의 서브영역쌍들의 특징들로부터 산출되고, 상기 제 1 영상을 식별하는데 이용되는 제 1 시각 특징; 상기 제 1 시각 특징의 신뢰도 값을 나타내는 제 1 신뢰도 값 정보; 제 2 영상에서의 복수의 서브영역쌍들의 특징들로부터 산출되고, 상기 제 2 영상을 식별하는데 이용되는 제 2 시각 특징; 및 상기 제 2 시각 특징의 신뢰도 값을 나타내는 제 2 신뢰도 값 정보를 이용하고,
    상기 제 1 신뢰도 값 정보와 상기 제 2 신뢰도 값 정보에 기초하여 매칭 파라미터를 산출하는 매칭 파라미터 산출 유닛; 및
    상기 매칭 파라미터에 따라서 상기 제 1 시각 특징과 상기 제 2 시각 특징 간의 매칭을 수행하여, 매칭 결과를 출력하는 매칭 유닛을 포함하고,
    상기 제 1 신뢰도 값 정보는, 상기 제 1 영상이 특정 영상인 경우에, 상기 특정 영상 이외의 영상인 경우에 비해 보다 작은 값을 취하도록 산출되고,
    상기 제 2 신뢰도 값 정보는, 상기 제 2 영상이 특정 영상인 경우에, 상기 특정 영상 이외의 영상인 경우에 비해 보다 작은 값을 취하도록 산출되는, 영상 시그니처 매칭 디바이스.
  13. 제 12 항에 있어서,
    상기 제 1 시각 특징은, 상기 제 1 영상에서의 상기 서브영역쌍들 각각을 구성하는 2개의 서브영역들의 특징들 간의 차이 값으로부터 산출되고,
    상기 제 2 시각 특징은, 상기 제 2 영상에서의 상기 서브영역쌍들 각각을 구성하는 2개의 서브영역들의 특징들 간의 차이 값으로부터 산출되는, 영상 시그니처 매칭 디바이스.
  14. 제 12 항 또는 제 13 항에 있어서,
    상기 매칭 파라미터는, 상기 제 1 신뢰도 값 및 상기 제 2 신뢰도 값 중 보다 작은 값에 따라 결정되는, 영상 시그니처 매칭 디바이스.
  15. 제 12 항 또는 제 13 항에 있어서,
    상기 매칭 파라미터 산출 유닛은, 상기 매칭 파라미터로서, 상기 제 1 시각 특징과 상기 제 2 시각 특징 간의 거리 또는 유사도를 산출할 때에 이용되는 가중치를 나타내는 값을 산출하고,
    상기 매칭 유닛은, 상기 매칭 파라미터에 의해 결정된 가중치를 이용하여 상기 제 1 시각 특징과 상기 제 2 시각 특징 간의 거리 또는 유사도를 산출함으로써 매칭 결과를 획득하는, 영상 시그니처 매칭 디바이스.
  16. 제 12 항 또는 제 13 항에 있어서,
    상기 매칭 파라미터 산출 유닛은, 상기 제 1 시각 특징과 상기 제 2 시각 특징 중 하나의 시각 특징의 신뢰도 값이 낮은 경우에 상기 매칭 파라미터로서 특정 파라미터를 출력하고,
    상기 매칭 유닛은, 상기 매칭 파라미터가 상기 특정 파라미터인 경우에, 상기 제 1 시각 특징과 상기 제 2 시각 특징 간의 거리 또는 유사도를 제외함으로써 매칭 결과를 산출하는, 영상 시그니처 매칭 디바이스.
  17. 제 12 항 또는 제 13 항에 있어서,
    상기 매칭 파라미터 산출 유닛은, 상기 매칭 파라미터로서, 각각의 픽처에 대해 상기 제 1 시각 특징과 상기 제 2 시각 특징 간의 매칭이 수행될 때 각각의 픽처에 대한 매칭 실패의 횟수의 허용가능 값을 규정하는 파라미터를 출력하고,
    상기 매칭 유닛은, 각각의 픽처에 대한 매칭 실패의 횟수가 상기 허용가능 값 이내인 경우에 매칭을 계속하고, 매칭 결과를 산출하는, 영상 시그니처 매칭 디바이스.
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 제 1 영상에서의 복수의 서브영역쌍들의 특징들로부터 산출되고, 상기 제 1 영상을 식별하는데 이용되는 제 1 시각 특징; 상기 제 1 시각 특징의 신뢰도 값을 나타내는 제 1 신뢰도 값 정보; 제 2 영상에서의 복수의 서브영역쌍들의 특징들로부터 산출되고, 상기 제 2 영상을 식별하는데 이용되는 제 2 시각 특징; 및 상기 제 2 시각 특징의 신뢰도 값을 나타내는 제 2 신뢰도 값 정보를 이용하고,
    상기 제 1 신뢰도 값 정보와 상기 제 2 신뢰도 값 정보에 기초하여 매칭 파라미터를 산출하는 단계; 및
    상기 매칭 파라미터에 따라서 상기 제 1 시각 특징과 상기 제 2 시각 특징 간의 매칭을 수행하여, 매칭 결과를 출력하는 단계를 포함하고,
    상기 제 1 신뢰도 값 정보는, 상기 제 1 영상이 특정 영상인 경우에, 상기 특정 영상 이외의 영상인 경우에 비해 보다 작은 값을 취하도록 산출되고,
    상기 제 2 신뢰도 값 정보는, 상기 제 2 영상이 특정 영상인 경우에, 상기 특정 영상 이외의 영상인 경우에 비해 보다 작은 값을 취하도록 산출되는,
    영상 시그니처 매칭 방법.
  31. 제 30 항에 있어서,
    상기 제 1 시각 특징은, 상기 제 1 영상에서의 상기 서브영역쌍들 각각을 구성하는 2개의 서브영역들의 특징들 간의 차이 값으로부터 산출되고,
    상기 제 2 시각 특징은, 상기 제 2 영상에서의 상기 서브영역쌍들 각각을 구성하는 2개의 서브영역들의 특징들 간의 차이 값으로부터 산출되는, 영상 시그니처 매칭 방법.
  32. 제 30 항 또는 제 31 항에 있어서,
    상기 매칭 파라미터는, 상기 제 1 신뢰도 값 및 상기 제 2 신뢰도 값 중 보다 작은 값에 따라 결정되는, 영상 시그니처 매칭 방법.
  33. 제 30 항 또는 제 31 항에 있어서,
    상기 매칭 파라미터로서, 상기 제 1 시각 특징과 상기 제 2 시각 특징 간의 거리 또는 유사도를 산출할 때에 이용되는 가중치를 나타내는 값이 산출되고,
    상기 매칭 파라미터에 의해 결정된 가중치를 이용하여 상기 제 1 시각 특징과 상기 제 2 시각 특징 간의 거리 또는 유사도를 산출함으로써 매칭 결과가 획득되는, 영상 시그니처 매칭 방법.
  34. 제 30 항 또는 제 31 항에 있어서,
    상기 제 1 시각 특징과 상기 제 2 시각 특징 중 하나의 시각 특징의 신뢰도 값이 낮은 경우에, 상기 매칭 파라미터로서 특정 파라미터가 출력되고,
    상기 매칭 파라미터가 상기 특정 파라미터인 경우에, 상기 제 1 시각 특징과 상기 제 2 시각 특징 간의 거리 또는 유사도를 제외함으로써 매칭 결과가 산출되는, 영상 시그니처 매칭 방법.
  35. 제 30 항 또는 제 31 항에 있어서,
    상기 매칭 파라미터로서, 각각의 픽처에 대해 상기 제 1 시각 특징과 상기 제 2 시각 특징 간의 매칭이 수행될 때 각각의 픽처에 대한 매칭 실패의 횟수의 허용가능 값을 규정하는 파라미터가 출력되고,
    각각의 픽처에 대한 매칭 실패의 횟수가 상기 허용가능 값 이내인 경우에, 매칭이 계속되어 매칭 결과가 산출되는, 영상 시그니처 매칭 방법.
  36. 삭제
  37. 삭제
  38. 명령들을 포함하는 컴퓨터 프로그램을 저장한 컴퓨터-판독가능 저장 매체로서,
    상기 명령들은, 컴퓨터로 하여금,
    제 1 영상에서의 복수의 서브영역쌍들의 특징들로부터 산출되고, 상기 제 1 영상을 식별하는데 이용되는 제 1 시각 특징; 상기 제 1 영상이 특정 영상인 경우에 상기 특정 영상 이외의 영상인 경우에 비해 보다 작은 값을 취하도록 산출되고, 상기 제 1 시각 특징의 신뢰도 값을 나타내는 제 1 신뢰도 값 정보; 제 2 영상에서의 복수의 서브영역쌍들의 특징들로부터 산출되고, 상기 제 2 영상을 식별하는데 이용되는 제 2 시각 특징; 및 상기 제 2 영상이 특정 영상인 경우에 상기 특정 영상 이외의 영상인 경우에 비해 보다 작은 값을 취하도록 산출되고, 상기 제 2 시각 특징의 신뢰도 값을 나타내는 제 2 신뢰도 값 정보를 이용하여,
    상기 제 1 신뢰도 값 정보와 상기 제 2 신뢰도 값 정보에 기초하여 매칭 파라미터를 산출하는 매칭 파라미터 산출 유닛; 및
    상기 매칭 파라미터에 따라서 상기 제 1 시각 특징과 상기 제 2 시각 특징 간의 매칭을 수행하여, 매칭 결과를 출력하는 매칭 유닛
    으로서 기능하도록 하는, 컴퓨터-판독가능 저장 매체.
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 삭제
  48. 삭제
  49. 삭제
  50. 삭제
  51. 삭제
  52. 삭제
  53. 삭제
  54. 삭제
  55. 삭제
  56. 삭제
  57. 삭제
  58. 삭제
  59. 삭제
  60. 삭제
  61. 삭제
  62. 삭제
  63. 영상 프레임으로부터 프레임 시그니처를 추출하고, 상기 프레임 시그니처의 각각의 차원의 값을, 상기 차원과 연관된 2개의 서브영역들의 특징들 간의 차이에 기초하여 산출하는 프레임 시그니처 추출 유닛; 및
    상기 2개의 서브영역들의 특징들 간의 차이에 기초하여 상기 프레임 시그니처의 신뢰도 값을 산출하는 신뢰도 값 산출 유닛을 포함하고,
    상기 신뢰도 값 산출 유닛은, 상기 영상이 특정 패턴인 경우에, 상기 영상이 상기 특정 패턴 이외인 경우에 비해 보다 낮은 신뢰도 값을 산출하는, 영상 시그니처 추출 디바이스.
  64. 삭제
  65. 제 63 항에 있어서,
    상기 특정 패턴은 평탄한 화상인, 영상 시그니처 추출 디바이스.
  66. 제 63 항 또는 제 65 항에 있어서,
    상기 특정 패턴은 상기 2개의 서브영역들의 특징들 간에 차이가 없는 화상인, 영상 시그니처 추출 디바이스.
  67. 제 63 항 또는 제 65 항에 있어서,
    상기 특징은 상기 서브영역의 평균 화소 값인, 영상 시그니처 추출 디바이스.
  68. 제 1 영상에서의 복수의 2 개의 서브영역들의 특징들로부터 산출된 제 1 프레임 시그니처의 신뢰도 값 및 제 2 영상에서의 복수의 2 개의 서브영역들의 특징들로부터 산출된 제 2 프레임 시그니처의 신뢰도 값에 기초하여 매칭 파라미터를 산출하는 매칭 파라미터 산출 유닛; 및
    상기 매칭 파라미터에 기초하여 상기 제 1 프레임 시그니처와 상기 제 2 프레임 시그니처 간의 매칭을 수행하는 매칭 유닛을 포함하고,
    상기 프레임 시그니처는 영상을 식별하는데 이용되고,
    상기 신뢰도 값은, 상기 영상이 특정 패턴인 경우에, 상기 영상이 상기 특정 패턴 이외인 경우에 비해 더 작도록 산출된 값인, 영상 시그니처 매칭 디바이스.
  69. 영상 프레임으로부터 프레임 시그니처를 추출할 때, 상기 프레임 시그니처의 각각의 차원의 값을, 상기 차원과 연관된 2개의 서브영역들의 특징들 간의 차이에 기초하여 산출하는 단계; 및
    상기 2개의 서브영역들의 특징들 간의 차이에 기초하여 상기 프레임 시그니처의 신뢰도 값을 산출하는 단계를 포함하고,
    상기 신뢰도 값을 산출하는 단계는, 상기 영상이 특정 패턴인 경우에, 상기 영상이 상기 특정 패턴 이외인 경우에 비해 보다 낮은 신뢰도 값을 산출하는 단계를 포함하는, 영상 시그니처 추출 방법.
  70. 삭제
  71. 제 69 항에 있어서,
    상기 특정 패턴은 평탄한 화상인, 영상 시그니처 추출 방법.
  72. 제 69 항 또는 제 71 항에 있어서,
    상기 특정 패턴은 상기 2개의 서브영역들의 특징들 간에 차이가 없는 화상인, 영상 시그니처 추출 방법.
  73. 제 69 항 또는 제 71 항에 있어서,
    상기 특징은 상기 서브영역의 평균 화소 값인, 영상 시그니처 추출 방법.
  74. 제 1 영상에서의 복수의 2 개의 서브영역들의 특징들로부터 산출된 제 1 프레임 시그니처의 신뢰도 값 및 제 2 영상에서의 복수의 2 개의 서브영역들의 특징들로부터 산출된 제 2 프레임 시그니처의 신뢰도 값에 기초하여 매칭 파라미터를 산출하는 단계; 및
    상기 매칭 파라미터에 기초하여 상기 제 1 프레임 시그니처와 상기 제 2 프레임 시그니처 간의 매칭을 수행하는 단계를 포함하고,
    상기 프레임 시그니처는 영상을 식별하는데 이용되고,
    상기 신뢰도 값은, 상기 영상이 특정 패턴인 경우에, 상기 영상이 상기 특정 패턴 이외인 경우에 비해 더 작도록 산출된 값인, 영상 시그니처 매칭 방법.
  75. 명령들을 포함하는 컴퓨터 프로그램을 저장한 컴퓨터-판독가능 저장 매체로서,
    상기 명령들은, 컴퓨터로 하여금,
    영상 프레임으로부터 프레임 시그니처를 추출하고, 상기 프레임 시그니처의 각각의 차원의 값을, 상기 차원과 연관된 2개의 서브영역들의 특징들 간의 차이에 기초하여 산출하는 프레임 시그니처 추출 유닛; 및
    상기 2개의 서브영역들의 특징들 간의 차이에 기초하여 상기 프레임 시그니처의 신뢰도 값을 산출하는 신뢰도 값 산출 유닛
    으로서 기능하도록 하고,
    상기 신뢰도 값 산출 유닛은, 상기 영상이 특정 패턴인 경우에, 상기 영상이 상기 특정 패턴 이외인 경우에 비해 보다 낮은 신뢰도 값을 산출하는, 컴퓨터-판독가능 저장 매체.
  76. 명령들을 포함하는 컴퓨터 프로그램을 저장한 컴퓨터-판독가능 저장 매체로서,
    상기 명령들은, 컴퓨터로 하여금,
    제 1 영상에서의 복수의 2 개의 서브영역들의 특징들로부터 산출된 제 1 프레임 시그니처의 신뢰도 값 및 제 2 영상에서의 복수의 2 개의 서브영역들의 특징들로부터 산출된 제 2 프레임 시그니처의 신뢰도 값에 기초하여 매칭 파라미터를 산출하는 매칭 파라미터 산출 유닛; 및
    상기 매칭 파라미터에 기초하여 상기 제 1 프레임 시그니처와 상기 제 2 프레임 시그니처 간의 매칭을 수행하는 매칭 유닛
    으로서 기능하도록 하고:
    상기 프레임 시그니처는 영상을 식별하는데 이용되고,
    상기 신뢰도 값은, 상기 영상이 특정 패턴인 경우에, 상기 영상이 상기 특정 패턴 이외인 경우에 비해 더 작도록 산출된 값인, 컴퓨터-판독가능 저장 매체.
KR1020117017640A 2009-01-29 2010-01-20 영상 시그니처 생성 디바이스 KR101290023B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009017808 2009-01-29
JPJP-P-2009-017808 2009-01-29
PCT/JP2010/000283 WO2010087127A1 (ja) 2009-01-29 2010-01-20 映像識別子生成装置

Publications (2)

Publication Number Publication Date
KR20110110252A KR20110110252A (ko) 2011-10-06
KR101290023B1 true KR101290023B1 (ko) 2013-07-30

Family

ID=42395393

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117017640A KR101290023B1 (ko) 2009-01-29 2010-01-20 영상 시그니처 생성 디바이스

Country Status (6)

Country Link
US (1) US20110285904A1 (ko)
EP (2) EP2393290B1 (ko)
JP (2) JP4883227B2 (ko)
KR (1) KR101290023B1 (ko)
CN (1) CN102301697B (ko)
WO (1) WO2010087127A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8964126B2 (en) * 2011-06-13 2015-02-24 Nec Corporation Video processing system, video processing method, database for video processing and generating method thereof, video processing apparatus, control method thereof and control program thereof
US20140152891A1 (en) * 2012-12-05 2014-06-05 Silicon Image, Inc. Method and Apparatus for Reducing Digital Video Image Data
CN104683815B (zh) * 2014-11-19 2017-12-15 西安交通大学 一种基于内容的h.264压缩域视频检索方法
US10468065B2 (en) * 2015-10-28 2019-11-05 Ustudio, Inc. Video frame difference engine
KR101672224B1 (ko) 2015-11-02 2016-11-03 한국지질자원연구원 탄산염 제조 및 이산화탄소의 저감을 위한 해수담수화 시스템
US11227160B2 (en) * 2019-11-15 2022-01-18 International Business Machines Corporation Detecting scene transitions in video footage
WO2023120244A1 (ja) * 2021-12-24 2023-06-29 ソニーグループ株式会社 伝送装置、伝送方法、およびプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007128262A (ja) 2005-11-02 2007-05-24 Omron Corp 顔照合装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6215898B1 (en) * 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US6501794B1 (en) * 2000-05-22 2002-12-31 Microsoft Corporate System and related methods for analyzing compressed media content
DE60228202D1 (de) * 2001-02-12 2008-09-25 Gracenote Inc Verfahren zum erzeugen einer identifikations hash vom inhalt einer multimedia datei
JP2003134535A (ja) * 2001-10-30 2003-05-09 Nec Eng Ltd 画質劣化検知システム
JP2004208117A (ja) * 2002-12-26 2004-07-22 Nec Engineering Ltd 字幕合成時における画質劣化検知システム
JP4349160B2 (ja) * 2004-03-05 2009-10-21 日本電気株式会社 画像類似度算出システム、画像検索システム、画像類似度算出方法および画像類似度算出用プログラム
JP2009542081A (ja) * 2006-06-20 2009-11-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ信号のフィンガープリントの生成
JP4999570B2 (ja) * 2007-06-18 2012-08-15 キヤノン株式会社 表情認識装置及び方法、並びに撮像装置
JP2009017808A (ja) 2007-07-11 2009-01-29 Nippon Flour Mills Co Ltd 製パン用小麦粉組成物及び製パン用穀粉組成物並びにこれらを使用したパン
JP5034733B2 (ja) * 2007-07-13 2012-09-26 カシオ計算機株式会社 特徴点追跡装置及びプログラム
JP2009075868A (ja) * 2007-09-20 2009-04-09 Toshiba Corp 画像から対象を検出する装置、方法およびプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007128262A (ja) 2005-11-02 2007-05-24 Omron Corp 顔照合装置

Also Published As

Publication number Publication date
EP2423839B1 (en) 2021-02-24
JP4883227B2 (ja) 2012-02-22
US20110285904A1 (en) 2011-11-24
KR20110110252A (ko) 2011-10-06
JP2012109979A (ja) 2012-06-07
EP2423839A2 (en) 2012-02-29
JPWO2010087127A1 (ja) 2012-08-02
CN102301697B (zh) 2015-07-01
EP2423839A3 (en) 2012-12-05
EP2393290A4 (en) 2012-12-05
EP2393290A1 (en) 2011-12-07
WO2010087127A1 (ja) 2010-08-05
CN102301697A (zh) 2011-12-28
EP2393290B1 (en) 2021-02-24

Similar Documents

Publication Publication Date Title
KR101290023B1 (ko) 영상 시그니처 생성 디바이스
JP5573131B2 (ja) 映像識別子抽出装置および方法、映像識別子照合装置および方法、ならびにプログラム
US8335251B2 (en) Video signature extraction device
US8270806B2 (en) Information processing apparatus and method of controlling same
Al-Sanjary et al. Detection of video forgery: A review of literature
CN106937114B (zh) 用于对视频场景切换进行检测的方法和装置
KR101968921B1 (ko) 강건한 낮은 복잡도 비디오 핑거프린팅을 위한 장치 및 방법
Taşdemir et al. Content-based video copy detection based on motion vectors estimated using a lower frame rate
KR101322524B1 (ko) 화상 시그너처 추출 디바이스
KR101347933B1 (ko) 대조 가중 정보 추출 장치
KR101195978B1 (ko) 동영상에 포함된 오브젝트를 처리하는 방법 및 장치
US9886650B2 (en) Method and device for determining similarity between sequences
JP7118679B2 (ja) 映像記録装置、映像記録方法およびプログラム
Toony et al. A novel image hiding scheme using content aware seam carving method
Jang et al. The Original Similarity Extraction Mechanism for Digital Content Copyright Protection in UCC Service Environment
US20100201889A1 (en) Detection of wipe transitions in video
Feixas et al. Video Key Frame Selection

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160617

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170616

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190627

Year of fee payment: 7