KR100729660B1 - 장면 전환 길이를 이용한 디지털 비디오 인식 시스템 및 방법 - Google Patents

장면 전환 길이를 이용한 디지털 비디오 인식 시스템 및 방법 Download PDF

Info

Publication number
KR100729660B1
KR100729660B1 KR1020050120323A KR20050120323A KR100729660B1 KR 100729660 B1 KR100729660 B1 KR 100729660B1 KR 1020050120323 A KR1020050120323 A KR 1020050120323A KR 20050120323 A KR20050120323 A KR 20050120323A KR 100729660 B1 KR100729660 B1 KR 100729660B1
Authority
KR
South Korea
Prior art keywords
digital video
scene change
scene
database
length
Prior art date
Application number
KR1020050120323A
Other languages
English (en)
Other versions
KR20070060588A (ko
Inventor
윤영석
이성환
유원영
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020050120323A priority Critical patent/KR100729660B1/ko
Priority to US12/094,977 priority patent/US20080313152A1/en
Priority to PCT/KR2006/005052 priority patent/WO2007066924A1/en
Publication of KR20070060588A publication Critical patent/KR20070060588A/ko
Application granted granted Critical
Publication of KR100729660B1 publication Critical patent/KR100729660B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 장면 전환 길이를 이용한 디지털 비디오 인식 시스템에 관한 것으로서, 디지털 비디오를 입력받아 프레임간 차이를 추출하고 상기 추출된 차이를 이용하여 장면 전환 길이를 산출하는 장면 전환 검출기와, 다수의 디지털 비디오와 이들의 대응하는 장면 전환 길이를 저장하고 있는 디지털 비디오 데이터베이스와, 상기 장면 전환 검출기에서 산출된 장면 전환 길이를 입력받아 쿼리 형태의 질의를 상기 디지털 비디오 데이터베이스에 문의하고 상기 질의에 대한 응답을 상기 산출된 장면 전환 길이와 비교하는 디지털 비디오 비교기를 포함하여 구성함으로써, 디지털 비디오를 실시간으로 검색 및 식별할 수 있게 하는 효과가 있다.
비디오 속성, 장면 전환 검출, 장면 전환 길이, 비디오 인식 시스템

Description

장면 전환 길이를 이용한 디지털 비디오 인식 시스템 및 방법{REAL-TIME DIGITAL VIDEO IDENTIFICATION SYSTEM AND METHOD USING SCENE CHANGE LENGTH}
도 1은 본 발명의 실시예에 따른 디지털 비디오 인식 시스템의 구성을 도시한 도면이고,
도 2는 상기 도 1의 장면 전환 검출기의 구성을 더욱 상세하게 도시한 도면이고,
도 3은 시간 축에 대해 디지털 비디오의 프레임을 표현한 도면이고,
도 4는 본 발명의 실시예에 따른 디지털 비디오 인식 시스템에서 이용되는 장면 전환의 개념을 설명하는 도면이고,
도 5는 실제 디지털 비디오에서 발생하는 장면 전환의 일례를 도시한 도면이고,
도 6은 도 2의 프레임간 차이 추출기에 입력되는 신호를 도시한 도면이고,
도 7은 도 2의 장면 전환 검출 필터의 간단한 처리 과정을 도시한 도면이고,
도 8은 본 발명의 실시예에 따른 디지털 비디오 데이터베이스 내에 장면 전환 길이를 구축하는 일례를 도시한 도면이고,
도 9는 본 발명의 실시예에 따른 장면 전환 길이를 이용한 디지털 비디오 인식 방법의 처리 흐름을 도시한 순서도이다.
<도면의 주요 부분에 대한 부호의 설명>
10 : 장면 전환 검출기 20 : 디지털 비디오 데이터베이스
30 : 디지털 비디오 비교기
본 발명은 디지털 비디오 인식 기술에 관한 것으로서, 장면 전환 길이를 이용한 디지털 비디오 인식 시스템에 관한 것으로, 더욱 상세하게는, 디지털 비디오의 장면 전환 길이를 이용하여 데이터베이스를 효과적으로 구성함으로써 디지털 비디오의 실시간 검색 및 식별을 가능하게 하는 장면 전환 길이를 이용한 디지털 비디오 인식 시스템에 관한 것이다.
디지털 비디오 획득 기술 및 처리 기술의 발달과 다양한 비디오 관련 툴(tool)의 보급으로 인하여, 멀티미디어의 사용자들이 손쉽게 디지털 비디오를 조작할 수 있게 되었다. 또한, 다수의 멀티미디어 사용자들은 네트워크 및 저장매체의 진보에 따라 고품질 및 고용량의 디지털 비디오를 요구하고 있다.
하지만, 근래 고품질 및 고용량 디지털 비디오를 처리해야 하는 멀티미디어 서비스에서, 디지털 비디오의 빠른 검색 및 정확한 비교가 중요한 문제로 인식되고 있다. 예를 들어, 광고 방송을 모니터링하는 시스템의 경우, 다수의 광고 방송을 데이터베이스에 저장하고 실시간으로 서비스를 제공해야 하므로, 프레임간의 비교를 통해 현재 방송되고 있는 광고 방송을 데이터베이스 내에서 검색하는 것은 불가능하다.
따라서, 이러한 디지털 비디오의 데이터베이스에서는, 각 디지털 비디오의 속성 정보를 이용하여 이들 디지털 비디오를 관리해야 한다. 본 발명은 여러 속성 정보 중에서 디지털 비디오의 장면 전환 길이(scene change length, shot length)를 이용하는 기술에 관한 것이다. 예를 들어, 모든 디지털 비디오는 의미적인 프레임들의 집합인 장면(scene)을 가지고 있으며, 서로 다른 디지털 비디오는 해당 디지털 비디오를 구성하는 장면의 길이가 다르다. 본 발명은 위와 같은 성질을 이용하여 디지털 비디오의 검색 또는 식별할 수 있는 기술에 관한 것으로서, 장면 전환 길이를 이용한 디지털 비디오 인식 시스템을 구현한 것이다.
한편, 장면 전환을 이용한 기술과 관련하여, 다수의 선행 특허가 이미 공개된 바 있다.
대한민국 특허출원 제10-70567호(출원일 : 2000년 11월24일)의 "동영상 비디오 스트림의 장면전환 검출방법"에는, MPEG 동영상 압축 부호화 표준에 의해 압축된 비디오 스트림에서 장면전환을 검출하는 방법에 대해 기술되어 있다. 상기 방법에 의하면, 공간적 중복성을 제거하기 위해 사용되는 이산 코사인 변환(DCT : Discrete Cosine Transform)이 먼저 적용된 후, AC 계수를 이용하여 장면전환 부분이 검출된다. AC 계수를 참조하여 동영상 비디오 스트림의 에지 영상의 히스토그 램을 구하고 이것의 분포를 참조함으로써, 조명 변화 등에 따른 장면 전환 오검출이 감소될 수 있다.
대한민국 특허출원 제10-86096호(출원일 : 2001년 12월27일)의 "장면 전환 검출 장치"에서는, 연속적으로 복원된 프레임을 입력으로서 사용하여 히스토그램이 구해진다. 그 다음, 이들의 누적 히스토그램을 구하고, 20%, 40%, 60%, 80%에 해당하는 화소값을 화소값 리스트로서 만들어 이들을 비교함으로써, 장면 전환이 검출될 수 있다. 장면 전환 검출에 있어서의 오류를 감소시키기 위하여, 조명 변화에 따른 영상의 밝기 변화 모델식을 채택하고, 두 프레임간 히스토그램의 차이와 문턱값(threshold)을 비교하여, 조명의 영향을 받은 것인지에 대해 조사하는 처리가 행해진다.
Z. Rasheed, Y. Sheikh 및 M. Shah의 논문 "On the Use of Computable Features for Film Classification"(IEEE Transactions on Circuits and Systems for Video Technology, Vol.15, No. 1, pp. 52-64, 2005)에서는, 영화를 장르별로 분류하기 위하여, 여러가지 계산가능한 영상의 단서들을 제안하였다. 이러한 단서 중에서 장면 전환을 이용한 방법은, 색상 공간을 HSV(Hue Saturation Value)로 전환하고, 이들을 각각 8, 4, 4개의 bin을 갖는 히스토그램으로 만드는 것에 대해 기술하고 있다. 이 방법에 의하면, 연속적인 프레임의 히스토그램에 대한 교집합을 구하고, 구해진 결과에 대해 이방성 확산(anisotropic diffusion) 알고리즘을 적용함으로써, 장면 전환을 검출할 수 있다.
또한, Xavier Naturel 및 Patrick Gros의 논문 "On the Use of Computable Features for Film Classification"(Proceedings of the 2nd ACM SIGMOD International Workshop on Computer Vision meets Databases, June 2005)은 방송된 비디오 스트림을 검색하는 시스템에 관하여 기술하고 있으며, 여기서는, 이러한 검색을 실시간으로 제공하기 위하여 간단한 연산을 이용하고 있다. 상기 논문에서는, 연속적으로 복원된 프레임의 밝기 히스토그램을 계산하고 이것의 차이를 구함으로써, 장면 전환 부분을 검색하는 것에 대해 기술하고 있다.
그러나, 위에서 설명한 종래의 기술에서는, 대용량의 디지털 비디오 데이터베이스 내에서 디지털 비디오를 실시간으로 검색 및 식별하기 위한 기술적 해결책, 즉, 간단한 연산과 장면 전환의 빠른 검출을 위한 기술적 해결책에 대해 구체적으로 제시하지 못하고 있다.
본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 이루어진 것으로서, 디지털 비디오의 프레임 사이의 장면 전환 부분을 이용하여 장면 전환 길이를 구하고, 미리 데이터베이스에 저장되어 있는 다른 디지털 비디오의 장면 전환 길이와 상기 구해진 장면 전환 길이를 비교함으로써, 디지털 비디오를 실시간으로 검색 및 식별할 수 있게 하는 디지털 비디오 인식 시스템을 제공하는 것을 그 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 장면 전환 길이를 이용한 디지털 비디오 인식 시스템은,
디지털 비디오를 입력받아 프레임간 차이를 추출하고 상기 추출된 차이를 이용하여 장면 전환 길이를 산출하는 장면 전환 검출기;
다수의 디지털 비디오와 이들의 대응하는 장면 전환 길이를 저장하고 있는 디지털 비디오 데이터베이스; 및
상기 장면 전환 검출기에서 산출된 장면 전환 길이를 입력받아 쿼리 형태의 질의를 상기 디지털 비디오 데이터베이스에 문의하고, 상기 질의에 대한 응답을 상기 산출된 장면 전환 길이와 비교하는 디지털 비디오 비교기를 포함하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위한 본 발명의 장면 전환 길이를 이용한 디지털 비디오 인식 방법은,
(a) 입력된 디지털 비디오의 프레임간 문턱값 이상의 밝기 변화율을 파라미터로 하여 상기 입력된 디지털 비디오의 프레임간 차이를 추출하는 단계;
(b) 상기 단계 (a)에서 추출된 프레임간 차이를 이용하여 디지털 비디오의 장면 전환 부분에 해당하는 프레임 길이를 장면 전환 길이로서 산출하는 단계;
(c) 미리 구축된 디지털 비디오의 데이터베이스에 대하여 상기 단계 (b)에서 산출된 장면 전환 길이를 쿼리로서 문의하는 단계;
(d) 상기 단계 (c)에서의 문의 결과로서 출력되는 디지털 비디오의 식별번호 에 대응하는 등록된 장면 전환 길이와 상기 산출된 장면 전환 길이를 비교하는 단계; 및
(e) 상기 산출된 장면 전환 길이가 상기 데이터베이스에 등록되어 있는 디지털 비디오의 장면 전환 길이와 임계치 범위 내에서 동일한 것인지를 판별하여, 현재 입력된 디지털 비디오의 데이터베이스 등록 여부를 결정하는 단계를 포함하는 것을 특징으로 한다.
이하, 본 발명의 실시예에 따른 디지털 비디오 인식 시스템에 대하여 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명의 디지털 비디오 인식 시스템은 디지털 비디오의 검색 및 모니터링과 같은 실시간 처리를 필요로 하는 대용량 멀티미디어 서비스에 적용 가능하다. 도 1은 본 발명의 실시예에 따른 디지털 비디오 인식 시스템의 구성을 도시한 도면이다.
상기 도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 디지털 비디오 인식 시스템은 장면 전환 검출기(10), 디지털 비디오 데이터베이스(20) 및 디지털 비디오 비교기(30)로 구성된다.
상기 장면 전환 검출기(10)는 디지털 비디오를 입력받아 프레임간 차이를 추출하고 그 차이를 이용하여 장면 전환 길이를 산출한다. 상기 디지털 비디오 데이터베이스(20)는 다수의 디지털 비디오와 이들에 대응하는 장면 전환 길이를 저장하고 있으며, 이에 관해서는 나중에 상세하게 설명한다. 디지털 비디오 비교기(30) 는 상기 장면 전환 검출기(10)에서 산출된 장면 전환 길이를 입력받아 상기 디지털 비디오 데이터베이스(20)에 저장되어 있는 장면 전환 길이와 비교하고, 그 동일 여부에 대한 비교 결과를 출력한다. 상기 비교 결과로부터, 상기 디지털 비디오 데이터베이스(20) 내부에 입력된 디지털 비디오와 동일한 것이 존재하는지에 대해 판단이 가능하다.
도 2는 상기 도 1의 장면 전환 검출기(10)의 구성을 더욱 상세하게 도시한 도면이다. 상기 도 2에 도시된 바와 같이, 장면 전환 검출기(10)는 프레임간 차이 추출기(11)와 장면 전환 검출 필터(12)로 구성된다. 프레임간 차이 추출기(11)는 디지털 비디오를 입력받아 디지털 비디오의 프레임간 차이를 추출하고, 장면 전환 검출 필터(12)는 상기 추출된 프레임간 차이를 이용하여 장면 전환 부분을 검출하며 검출된 장면 전환 부분을 사용하여 장면 전환 길이를 산출한다.
도 3은 시간 축에 대해 디지털 비디오의 프레임을 표현한 도면이고, 도 4는 본 발명의 실시예에 따른 디지털 비디오 인식 시스템에서 이용되는 장면 전환의 개념을 설명하는 도면이다.
도 3에 도시된 바와 같이, 디지털 비디오는 연속된 프레임의 집합이며, 많은 시간적 및 공간적 중복성을 가지고 있다. 도 3에서, 가로 축은 시간(t)을 나타내고 있다.
도 4는 디지털 비디오의 의미적 내용에 따라 연결되는 프레임들의 집합인 장면을 도시한 것이다. 여기서, 각 장면 scenei -1 및 scenei은 서로 의미적 내용이 상이한 화면 구성과 내용을 담고 있으며, 이들 장면 사이의 경계 지역에는 장면 전환 (scene change, shot) 부분이 존재한다. 예를 들어, 도 4에서는, 장면 scenei - 1와 scenei의 경계 지역, 장면 scenei와 scenei +1의 경계 지역이 장면 전환 부분이 되며, 각각 장면 전환 부분의 프레임상에서 위치는 location(shoti -1)와 location(shoti)로 정의한다. 이 때, 장면 전환 길이는 상기 도 4에서 보는 바와 같이, 장면 전환 부분간의 프레임 거리를 나타내므로, length(scenei)가 된다.
도 5는 실제 프레임에서의 장면 전환의 일례를 도시한 도면이다. 즉, 'table tennis'에 관한 비디오 스트림 중에서 장면 전환이 발생하는 부분의 프레임이 도시되어 있다. 도 5로부터 알 수 있듯이, 동일 장면의 프레임에서는 인물 움직임의 변화가 거의 없다. 장면 전환은 디지털 비디오의 고유 특징을 대표하는 속성이며, 현재 디지털 비디오 검색 및 인식 기술의 분야에서 널리 사용되고 있다.
그러나, overlap, fade-in, fade-out, cross-fade와 같은 특수 효과를 포함하고 있는 장면을 장면 전환 부분으로서 정의하기가 모호하다. 따라서, 이러한 유형의 장면은 끊김없는 장면 전환(continuous scene change)으로서 정의된다. 끊김없는 장면 전환은 디지털 비디오의 제작자의 의도에 따라 발생되기도 하지만, 디지털 비디오 자체의 프레임률(frame rate) 변화에 따라 발생되기도 한다.
이러한 끊김없는 장면 전환을 모두 검색하는 것은 처리 용량 및 복잡도를 증가시키므로, 상기 개념을 디지털 비디오의 인식 시스템에 적용하는 것은 적당하지 않다. 결과적으로, 끊김없는 장면 전환의 검색 정확성과 실시간 처리 사이에는 적절한 타협(trade-off)이 요구되며, 본 발명자는 이러한 점을 감안하여 적당한 레벨의 끊김없는 장면 전환을 검색하면서도, 실시간으로 장면 전환의 검출이 가능하도록 하는 방법을 제안하고 있다.
본 발명에서의 장면 전환의 검출은 특정한 비디오 압축 도메인을 사용하는 것이 아니라 복원된 프레임을 사용하는 방법을 기반으로 하고 있다.
먼저, 도 2에 도시된 프레임간 차이 추출기(11)의 동작에 대해 구체적으로 설명한다. 상기 프레임간 차이 추출기(11)에서는, 프레임간 밝기 차이의 절대값의 합, 프레임간 문턱값 이상의 밝기 변화율, 프레임간 히스토그램 차이의 합, 그리고 블럭 기반의 상호연관성을 이용하는 방식 중의 하나가 적용될 수 있다.
프레임간 밝기 차이의 절대값의 합은 장면 전환 부분에서 큰 값을 가지지만, 작은 영역에서 큰 값의 변화가 발생하거나 큰 영역에서 값의 변화가 작을 경우에는 둔감하다는 단점이 있다.
일반적으로, 장면이 변하면 밝기값의 분포도 변한다. 그러나, 프레임 내에서 물체가 움직이면 밝기의 분포 변화는 작다. 따라서, 프레임간 히스토그램 차이의 합은 동일 장면 내에서 작은 변화를 나타낸다. 블록 기반의 프레임간 상호연관성은 동영상 압축 부호화 방식에서 이용하는 움직임 벡터를 찾는 개념과 유사하며, 동일 장면의 경우에는 움직임이 아주 작다는 가정이 적용된다. 그러므로, 블럭 기반의 프레임간 상호연관성은 객체의 움직임과 카메라 조작을 줄이는데 도움이 된다. 하지만, 프레임간 히스토그램 차이의 합과 블럭 기반의 프레임간 상호연관성을 구하는 방법들은 비교적 많은 계산량을 필요로 한다. 따라서 본 발명에서는 실시간 측면과 검출 성능을 적절히 고려하여 프레임간 문턱값 이상의 밝기 변화율을 사용한다.
시간 t에서 위치 x, y의 밝기값을 Ix ,y(t)라고 하면, 프레임간 밝기 차이(ΔIx,y(t))를 다음의 수학식 1로 정의할 수 있다.
Figure 112005071948367-pat00001
n()은 집합의 원소의 수를 나타내고, b는 프레임의 밝기를 표현하기 위해 사용되는 비트 수라고 가정하면, 프레임간 문턱값 이상의 밝기 변화율은 아래의 수학식 2와 같이 표현될 수 있다.
Figure 112005071948367-pat00002
수학식 2에서, 2b-4는 실험적으로 얻어진 문턱값이며, 만약 b가 8이면, 밝기값은 0 에서 255 사이의 값을 가지며, 문턱값은 16이 된다. 프레임간 문턱값 이상의 밝기 변화율은 밝기값의 차이와 비선형적인 관계를 가지므로, 장면 전환의 검색을 용이하게 한다.
위에서 설명한 장면 전환 검출을 위한 파라미터들, 즉, 본 발명에서 사용되는 프레임간 문턱값 이상의 밝기 변화율과 그 외의 프레임간 밝기 차이의 절대값의 합, 프레임간 히스토그램 차이의 합, 그리고 블럭 기반의 상호연관성은 모두 동일한 장면 내에서는 작은 값을 가지지만, 두 장면 사이의 경계 지역에서는 큰 값을 가진다. 이렇게 계산된 큰 값에서 문턱값 이상의 값을 가지는 부분을 장면 전환 부분으로 정의하여 장면 전환 부분을 검출할 수 있다. 그러나, 이러한 방법들은 프레임률이 중간에 변환되는 영상(디지털 비디오), 고속의 셔터 속도를 갖는 카메라에 의해 촬영된 느린 영상, 프레임 수가 적은 애니메이션, 강한 불빛(번개, 폭발, 카메라 플래쉬 등)을 갖는 영상, 끊김없는 장면 전환을 포함하는 영상에서 높은 오검출률을 가진다. 따라서 위에서 추출된 파라미터, 즉 프레임간 문턱값 이상의 밝기 변화율을 바로 이용하지 않고, 상기 프레임간 문턱값 이상의 밝기 변화율에 대해 장면 전환 검출 필터링을 수행하여 오검출률을 낮출 필요가 있다. 본 발명에서는, 도 2의 장면 전환 검출 필터(12)의 입력으로서, 계산을 간단하게 하고 실시간 처리를 가능하게 하는 프레임간 문턱값 이상의 밝기 변화율(Rate| FD |)을 사용한다. 상기 구해진 Rate| FD |는 지역적인 최대값 필터와 최소값 필터의 조합으로 이루어진 장면 전환 검출 필터(12)의 입력으로서 사용된다.
특정 구간에서 최대값과 최소값을 각각 출력으로서 생성하는 필터는 아래의 수학식 3 및 4에 의해 정의될 수 있다.
Figure 112005071948367-pat00003
Figure 112005071948367-pat00004
다음으로, 상기 수학식 3 및 4를 이용하면, 장면 전환 검출 필터(12)의 동작은 아래의 수학식 5로 표현될 수 있다.
Figure 112005071948367-pat00005
도 7은 도 2의 장면 전환 검출 필터(12)의 간단한 처리 과정을 도시한 도면이다.
도 7의 (a)는 장면 전환 검출 필터(12)의 입력 예로서, 프레임간 문턱값 이상의 밝기 변화율을 도시한 것이다. 다음으로, 수학식 5로 표현되는 장면 전환 필터링 결과 SCDF(t)를 산출하기 위하여, 도 7의 (a)에 도시된 입력에 대하여 MX4, MN4, MN2, MX2 필터를 수학식 5에 따라 순차적으로 적용하여, 도 7의 (b) 내지 (e)의 결과를 산출한다. 마지막으로, 도 7의 (c)의 결과와 (e)의 결과의 차이를 산출하여 최종적인 필터링 결과 SCDF(t)가 얻어질 수 있다. SCDF(t)의 출력은 대부분이 0(zero)에 가깝고 장면 전환 부분에서는 상대적으로 높은 값을 갖으며, 문턱값을 이용하여 장면 전환 부분을 검출할 수 있다. 여기서 사용되는 문턱값은 실험적인 값으로서, 입력이 0.2보다 큰 값일 경우에는 해당 장면은 장면 전환 부분으로서 검출된다.
장면 전환 부분이 검출되면, 도 4에서 도시된 바와 같이, 아래의 수학식 6을 이용하여 장면 전환 길이가 구할 수 있다. location(x)를 x의 프레임 위치를 표현한다고 정의하면, 장면 scenei의 길이는 장면 전환 shoti 과 shoti -1의 거리의 차이가 된다. 이를 장면 scenei에 대한 장면 전환 길이라고 정의한다.
Figure 112005071948367-pat00006
이렇게 구해진 장면 전환 길이는 도 1에 도시된 디지털 비디오 비교기(30)에 입력된다. 디지털 비디오 비교기(30)는 범용 데이터베이스 시스템을 사용하는 디지털 비디오 데이터베이스(20)에 쿼리(query)를 문의하여, 현재 입력된 디지털 비디오와 동일한 디지털 비디오가 존재하는지를 검색한다. 만약, 디지털 비디오 비교기(30)가 평가(measure) 기준에 의해 디지털 비디오 데이터베이스(20)에 접근하여 일일이 평가를 하면, 실시간 처리가 어려워진다. 따라서 데이터베이스의 모든 연산(삽입, 삭제, 검색 등)에 최적화되어 있는 범용 데이터베이스(MySQL, Oracle 등)를 이용하여 데이터베이스의 성능을 최대한 이용하는 것이 필요하다.
먼저, 장면 전환 길이를 이용하여 디지털 비디오 데이터베이스(20) 내에 데이터베이스를 구축하기 위하여, 각 디지털 비디오를 저장할 때, 그 디지털 비디오와 함께 장면 전환 길이 정보가 저장된다. 장면 전환 길이를 하나의 개체로서 간주하여 저장하면, 장면 전환 길이를 데이터베이스로부터 검색하는 것이 어렵다. 또한, 평가 기준에 의해 저장된 개체마다 계산해야 하며, 이 과정은 데이터베이스 내에서 행해지는 것이 아니라, 디지털 비디오 비교기(30)에서 행해져야 하므로, 전체 시스템에 많은 부하가 발생된다. 그러므로 디지털 비디오 데이터베이스(20)는 단순히 정보를 저장하다가 외부의 요청에 따라 제공하는 역할만을 수행하므로, 이러한 문제를 해결하기 위하여, 장면 전환 길이를 N개의 속성(attribute)으로 나누고 이를 중첩하여 연속적으로 도 8과 같이 배열하였다. 또한, 데이터베이스의 키 값은 해당 비디오의 인식번호(Video ID)로 정의되어 있다. 이와 같이 디지털 비디오 데이터베이스를 구축할 경우, 데이터베이스 내에 상대적으로 많은 저장 공간을 요구하지만, 본 시스템의 실시간 처리에 기여한다.
본 발명 시스템에 인식 요청된 디지털 비디오는 장면 전환 검출기(10)에서 실시간으로 장면 전환 길이가 구해진다. 이렇게 구해진 장면 전환 길이는 디지털 비디오 비교기(30)에 의해 디지털 비디오 데이터베이스(20)에 저장된 개체 단위인 N개의 장면 전환 길이 묶음으로 쿼리로서 문의되며, 이에 응답하여, 상기 디지털 비디오 데이터베이스(20)에서는 각 장면 전환 길이당 임계치 내에서 검색된 비디오 인식번호(Video ID)가 출력된다. 처음과 끝 부분의 프레임이 편집등의 이유로 상기 디지털 비디오 데이터베이스(20)에 등록된 것과 다를 수 있으므로, 디지털 비디오의 처음과 끝 부분에서는 중간 부분보다 임계치를 조금 크게 설정해야 한다. 상기 디지털 비디오 비교기(30)는 반환된 상기 비디오 인식번호(Video ID)를 바탕으로 상기 디지털 비디오 데이터베이스(20)에 등록된 장면 전환 길이와 임계치 범위 내에서 같다면, 상기 디지털 비디오 데이터베이스(20)에 등록된 디지털 비디오로 인식하게 된다. 이러한 일련의 과정을 통해, 입력된 디지털 비디오가 디지털 비디 오 데이터베이스(20) 내에 존재하는지에 대한 여부를 판별할 수 있다.
다음으로, 도 9를 참조하여 본 발명의 실시예에 따른 장면 전환 길이를 이용한 디지털 비디오 인식 방법에 대해 설명한다.
동작이 시작되면, 장면 전환 검출기(10)에 디지털 비디오가 입력되어 프레임간 차이가 추출된다(S11). 앞서 설명한 바와 같이, 입력된 디지털 비디오의 프레임간 차이는 프레임간 문턱값 이상의 밝기 변화율을 파라미터로 하여 추출된다. 다음으로, 상기 단계 S11에서 추출된 프레임간 차이를 이용하여 장면 전환 부분에 해당하는 프레임 길이가 장면 전환 길이로서 산출된다(S12). 이러한 장면 전환 길이를 산출하는 수학식은 상기 수학식 6으로 표현되어 있다.
한편, 다수의 디지털 비디오를 검색용으로 제공하기 위하여, 다수의 디지털 비디오가 데이터베이스로서 미리 구축되어 있다. 이러한 디지털 비디오 데이터베이스는, 그 키 값을 해당 디지털 비디오의 식별번호로서 정의하고, 장면 전환 길이를 N개의 속성으로 나누어 저장하는 구조로 되어 있다. 이와 같이 미리 구축된 디지털 비디오의 데이터베이스에 대하여, 상기 단계 S12에서 산출된 장면 전환 길이를 쿼리로서 문의한다(S13). 이에 응답하여, 상기 데이터베이스에서는 각 장면 전환 길이당 임계치 내에서 검색된 디지털 비디오의 식별번호가 출력되고, 이 식별번호에 대해 등록된 장면 전환 길이와 상기 산출된 장면 전환 길이가 비교된다(S14).
상기 단계 S14의 비교 결과로부터, 상기 산출된 장면 전환 길이가 상기 데이터베이스에 저장되어 있는 디지털 비디오의 장면 전환 길이와 임계치 범위 내에서 동일하다면, 현재 입력된 디지털 비디오가 데이터베이스에 이미 등록되어 있는 것 으로 판별한다(S15). 이러한 일련의 과정을 통해, 입력된 디지털 비디오가 데이터베이스에 존재하는지에 대한 판별을 실시간으로 수행할 수 있다.
이상에서 몇 가지 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것이 아니고 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다.
상술한 바와 같이, 본 발명에 의하면, 디지털 비디오의 프레임 사이의 장면 전환 부분을 이용하여 장면 전환 길이를 구하고, 미리 디지털 비디오 데이터베이스에 저장되어 있는 다른 디지털 비디오의 장면 전환 길이와 상기 구해진 장면 전환 길이를 비교함으로써, 디지털 비디오를 실시간으로 검색 및 식별할 수 있게 하는 디지털 비디오 실시간 인식 시스템을 제공할 수 있다.
본 발명에서는, 종래의 기술과는 달리 장면 전환 길이를 이용하여 실시간으로 디지털 비디오의 인식 및 검색을 가능하게 하기 위하여, 프레임간 차이 추출기에서 간단히 프레임간 문턱값 이상의 밝기 변화율을 계산하고 특정 구간의 최대값 필터와 최소값 필터가 조합된 장면 전환 검출 필터를 사용하여 장면 전환 부분을 검색하도록 하며, 디지털 비디오 데이터베이스에 N개의 장면 전환 길이 묶음으로 저장하고 특정 평가가 아닌 임계치 내에서 검색을 하는 방법을 제시하였다. 또한, 연속된 3개의 프레임을 프레임간 차이 추출기의 입력으로 사용하여 끊김없는 장면 전환에 대해 어느 정도의 성능을 제공하도록 했다.

Claims (6)

  1. 디지털 비디오를 입력받아 프레임간 차이를 추출하고 상기 추출된 차이를 이용하여 장면 전환 길이를 산출하는 장면 전환 검출기;
    다수의 디지털 비디오와 이들의 대응하는 장면 전환 길이를 저장하고 있는 디지털 비디오 데이터베이스; 및
    상기 장면 전환 검출기에서 산출된 장면 전환 길이를 입력받아 쿼리 형태의 질의를 상기 디지털 비디오 데이터베이스에 문의하고, 상기 질의에 대한 응답을 상기 산출된 장면 전환 길이와 비교하는 디지털 비디오 비교기를 포함하는 것을 특징으로 하는 디지털 비디오 인식 시스템.
  2. 제 1 항에 있어서,
    상기 장면 전환 검출기는,
    디지털 비디오를 입력받아 소정의 파라미터에 의해 디지털 비디오의 장면 전환 부분을 검출하는 프레임간 차이 추출기; 및
    상기 파라미터에 대해 장면 전환 검출 필터링을 수행한 후, 상기 파라미터를 이용하여 장면 전환 길이를 산출하는 장면 전환 검출 필터를 포함하는 것을 특징으로 하는 디지털 비디오 인식 시스템.
  3. 제 2 항에 있어서,
    상기 파라미터는 프레임간 문턱값 이상의 밝기 변화율인 것을 특징으로 하는 디지털 비디오 인식 시스템.
  4. 제 1 항에 있어서,
    상기 디지털 비디오 데이터베이스에 다수의 디지털 비디오와 그에 대응하는 장면 전환 길이가 저장될 때, N개의 장면 전환 길이의 연속적인 묶음이 하나의 개체로 저장된 상기 디지털 비디오 데이터베이스가 구축되어 있는 것을 특징으로 하는 디지털 비디오 인식 시스템.
  5. (a) 입력된 디지털 비디오의 프레임간 문턱값 이상의 밝기 변화율을 파라미터로 하여 상기 입력된 디지털 비디오의 프레임간 차이를 추출하는 단계;
    (b) 상기 단계 (a)에서 추출된 프레임간 차이를 이용하여 디지털 비디오의 장면 전환 부분에 해당하는 프레임 길이를 장면 전환 길이로서 산출하는 단계;
    (c) 미리 구축된 디지털 비디오의 데이터베이스에 대하여 상기 단계 (b)에서 산출된 장면 전환 길이를 쿼리로서 문의하는 단계;
    (d) 상기 단계 (c)에서의 문의 결과로서 출력되는 디지털 비디오의 식별번호에 대응하는 등록된 장면 전환 길이와 상기 산출된 장면 전환 길이를 비교하는 단계; 및
    (e) 상기 산출된 장면 전환 길이가 상기 데이터베이스에 등록되어 있는 디지털 비디오의 장면 전환 길이와 임계치 범위 내에서 동일한 것인지를 판별하여, 현재 입력된 디지털 비디오의 데이터베이스 등록 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 디지털 비디오 인식 방법.
  6. 제 5 항에 있어서,
    상기 데이터베이스는, 다수의 디지털 비디오의 식별번호를 키 값으로 정의하고, 각 식별번호에 대하여 N개의 장면 전환 길이를 속성으로서 저장하여 미리 구축되어 있는 것을 특징으로 하는 디지털 비디오 인식 방법.
KR1020050120323A 2005-12-09 2005-12-09 장면 전환 길이를 이용한 디지털 비디오 인식 시스템 및 방법 KR100729660B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020050120323A KR100729660B1 (ko) 2005-12-09 2005-12-09 장면 전환 길이를 이용한 디지털 비디오 인식 시스템 및 방법
US12/094,977 US20080313152A1 (en) 2005-12-09 2006-11-28 Real-Time Digital Video Identification System and Method Using Scene Information
PCT/KR2006/005052 WO2007066924A1 (en) 2005-12-09 2006-11-28 Real-time digital video identification system and method using scene information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050120323A KR100729660B1 (ko) 2005-12-09 2005-12-09 장면 전환 길이를 이용한 디지털 비디오 인식 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20070060588A KR20070060588A (ko) 2007-06-13
KR100729660B1 true KR100729660B1 (ko) 2007-06-18

Family

ID=38123033

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050120323A KR100729660B1 (ko) 2005-12-09 2005-12-09 장면 전환 길이를 이용한 디지털 비디오 인식 시스템 및 방법

Country Status (3)

Country Link
US (1) US20080313152A1 (ko)
KR (1) KR100729660B1 (ko)
WO (1) WO2007066924A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8655031B2 (en) * 2007-03-27 2014-02-18 Sony Corporation Video content identification using scene change signatures from downscaled images
US8559516B2 (en) * 2007-06-14 2013-10-15 Sony Corporation Video sequence ID by decimated scene signature
JP4420085B2 (ja) * 2007-08-20 2010-02-24 ソニー株式会社 データ処理装置、データ処理方法、プログラムおよび記録媒体
JP5286732B2 (ja) * 2007-10-01 2013-09-11 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
KR100918777B1 (ko) * 2007-11-19 2009-09-24 영남대학교 산학협력단 문맥모델링을 이용한 제이펙 및 제이펙 2000 압축 영상통합 검색 방법
KR100944903B1 (ko) 2008-03-18 2010-03-03 한국전자통신연구원 비디오 신호의 특징 추출 장치 및 그 추출 방법, 비디오인식 시스템 및 그 인식 방법
KR101149522B1 (ko) 2008-12-15 2012-05-25 한국전자통신연구원 장면 전환 검출 시스템 및 방법
KR101594294B1 (ko) * 2009-04-14 2016-02-26 삼성전자주식회사 화이트 장면 인식을 위한 디지털 영상 신호 처리 방법, 상기 방법을 실행하는 디지털 영상 신호 처리 장치 및 상기 방법을 기록한 기록 매체
GB2484133B (en) * 2010-09-30 2013-08-14 Toshiba Res Europ Ltd A video analysis method and system
US9025817B2 (en) * 2012-09-05 2015-05-05 Critical Imaging, LLC System and method for leak detection
JP6930419B2 (ja) * 2015-05-19 2021-09-01 ソニーグループ株式会社 画像処理装置、画像処理方法、受信装置および送信装置
US10482126B2 (en) 2016-11-30 2019-11-19 Google Llc Determination of similarity between videos using shot duration correlation
US11184551B2 (en) * 2018-11-07 2021-11-23 Canon Kabushiki Kaisha Imaging apparatus and control method thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010011348A (ko) * 1999-07-27 2001-02-15 안병엽 객체 움직임을 이용한 ｍｐｅｇ 비디오 시퀀스의 데이터 베이스 구축 및 검색 방법과 그 기록 매체
KR20040054901A (ko) * 2002-12-18 2004-06-26 삼성에스디에스 주식회사 동영상 검색 시스템 및 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5805733A (en) * 1994-12-12 1998-09-08 Apple Computer, Inc. Method and system for detecting scenes and summarizing video sequences
US7055166B1 (en) * 1996-10-03 2006-05-30 Gotuit Media Corp. Apparatus and methods for broadcast monitoring
US6137544A (en) * 1997-06-02 2000-10-24 Philips Electronics North America Corporation Significant scene detection and frame filtering for a visual indexing system
US6496228B1 (en) * 1997-06-02 2002-12-17 Koninklijke Philips Electronics N.V. Significant scene detection and frame filtering for a visual indexing system using dynamic thresholds
US6473095B1 (en) * 1998-07-16 2002-10-29 Koninklijke Philips Electronics N.V. Histogram method for characterizing video content
KR100634671B1 (ko) * 1999-08-13 2006-10-13 주식회사 케이티 고정밀도의 실시간 점진적 장면경계 검출기 및 그 방법
US6721361B1 (en) * 2001-02-23 2004-04-13 Yesvideo.Com Video processing system including advanced scene break detection methods for fades, dissolves and flashes
US7170566B2 (en) * 2001-12-21 2007-01-30 Koninklijke Philips Electronics N.V. Family histogram based techniques for detection of commercials and other video content
US7359900B2 (en) * 2003-07-29 2008-04-15 All Media Guide, Llc Digital audio track set recognition system
GB0406512D0 (en) * 2004-03-23 2004-04-28 British Telecomm Method and system for semantically segmenting scenes of a video sequence

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010011348A (ko) * 1999-07-27 2001-02-15 안병엽 객체 움직임을 이용한 ｍｐｅｇ 비디오 시퀀스의 데이터 베이스 구축 및 검색 방법과 그 기록 매체
KR20040054901A (ko) * 2002-12-18 2004-06-26 삼성에스디에스 주식회사 동영상 검색 시스템 및 방법

Also Published As

Publication number Publication date
KR20070060588A (ko) 2007-06-13
WO2007066924A1 (en) 2007-06-14
US20080313152A1 (en) 2008-12-18

Similar Documents

Publication Publication Date Title
KR100729660B1 (ko) 장면 전환 길이를 이용한 디지털 비디오 인식 시스템 및 방법
Zhang et al. Content-based video retrieval and compression: A unified solution
Calic et al. Efficient key-frame extraction and video analysis
JP4320141B2 (ja) 要約映像生成のための方法とシステム
JP3568117B2 (ja) ビデオ画像の分割、分類、および要約のための方法およびシステム
CN106937114B (zh) 用于对视频场景切换进行检测的方法和装置
Lian Automatic video temporal segmentation based on multiple features
US7142602B2 (en) Method for segmenting 3D objects from compressed videos
Kobla et al. Compressed domain video segmentation
Gunsel et al. Hierarchical temporal video segmentation and content characterization
Calic et al. Temporal segmentation of MPEG video streams
Fernando et al. Fade-in and fade-out detection in video sequences using histograms
Aghari et al. Modeling and querying videos by content trajectories
Wei et al. Robust approach to video segmentation using compressed data
Milanese et al. Efficient segmentation and camera motion indexing of compressed video
CN101902631A (zh) 压缩视频中静态场景的快速定位方法
AbouGhazaleh et al. Compressed video indexing based on object motion
Yi et al. A motion based scene tree for browsing and retrieval of compressed videos
Liu et al. A novel video key frame extraction algorithm
Yi et al. A motion-based scene tree for compressed video content management
Farag et al. A new paradigm for analysis of MPEG compressed videos
Saoudi et al. Spatio-temporal video slice edges analysis for shot transition detection and classification
Gu Scene analysis of video sequences in the MPEG domain
Angadi et al. Shot boundary detection and key frame extraction for sports video summarization based on spectral entropy and mutual information
Yongsheng et al. A Survey on Content based video retrival

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130527

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140529

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150527

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee