KR100438304B1 - 실시간 진행형 뉴스 비디오 인덱싱 방법 및 시스템 - Google Patents

실시간 진행형 뉴스 비디오 인덱싱 방법 및 시스템 Download PDF

Info

Publication number
KR100438304B1
KR100438304B1 KR10-2002-0028834A KR20020028834A KR100438304B1 KR 100438304 B1 KR100438304 B1 KR 100438304B1 KR 20020028834 A KR20020028834 A KR 20020028834A KR 100438304 B1 KR100438304 B1 KR 100438304B1
Authority
KR
South Korea
Prior art keywords
shot
anchor
shots
anchor shot
candidate
Prior art date
Application number
KR10-2002-0028834A
Other languages
English (en)
Other versions
KR20030090947A (ko
Inventor
전성배
윤경로
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR10-2002-0028834A priority Critical patent/KR100438304B1/ko
Publication of KR20030090947A publication Critical patent/KR20030090947A/ko
Application granted granted Critical
Publication of KR100438304B1 publication Critical patent/KR100438304B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/43—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of news video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명에 따른 실시간 진행형 뉴스 비디오 인덱싱 방법은, 샷 세그멘테이션 엔진을 이용하여 신규 샷을 검출하고, 상기 검출된 신규 샷의 구간 정보 및 특성 히스토그램을 검출하는 신규 샷 검출 단계와; 상기 검출된 신규 샷에 대하여, 이전의 클러스터링 과정에 의해 등록된 퀄리파이드 앵커 샷 그룹(Qualified Anchor Shot Group)의 대표 샷들과의 샷 간 비유사도를 측정하고, 그 측정된 샷 간 비유사도를 참조하여 상기 신규 샷이 앵커 샷인지의 여부를 판단하는 퀄리파이드 매칭(Qualified Matching) 단계와; 상기 퀄리파이드 매칭 단계에서의 판단 결과 상기 검출된 신규 샷이 앵커 샷으로 판단되지 않는 경우에는, 상기 신규 샷에 대하여, 이전의 클러스터링 과정에서 후보 앵커 샷(Suspicious Anchor Shot)으로 등록된 샷들과의 샷 간 비유사도 측정을 측정하고, 그 측정된 샷 간 비유사도를 참조하여 상기 신규 샷이 앵커 샷인지의 여부를 판단하는 서스피셔스 매칭(Suspicious Matching) 단계; 및 상기 서스피셔스 매칭 단계에서의 판단 결과 상기 검출된 신규 샷이 앵커 샷으로 판단되지 않는 경우에는, 상기 신규 샷의 길이가, 클러스터링 과정에 입력된 샷들의 평균 샷의 길이보다 일정 수준 이상 크면, 상기 신규 샷을 후보 앵커 샷으로 등록하는 앵커 샷 시드 조건 체킹(Anchor Shot Seed Condition Checking) 단계; 를 포함한다.

Description

실시간 진행형 뉴스 비디오 인덱싱 방법 및 시스템{Progressive real-time news video indexing method and system}
본 발명은 비디오 인덱싱 방법 및 시스템에 관한 것으로서, 특히 뉴스 비디오에서 앵커 샷(anchor shot)을 실시간으로 검출함으로써, 뉴스 비디오의 샷들을 앵커 샷과 에피소드 샷으로 구분하고 뉴스 비디오를 씬(scene) 단위로 분석하여 그 인덱스를 실시간으로 생성하는 실시간 진행형 뉴스 비디오 인덱싱 방법 및 시스템에 관한 것이다.
오늘날 매스미디어의 발달과 디지털 방송이 일반화 됨에 따라, 일반인이 매일 접하게 되는 미디어의 양이 매우 방대해 졌다. 멀티미디어 콘텐트가 방대해 짐에 따라 사용자가 원하는 데이터를 선별하여 주는 자동화 시스템에 대한 요구가 발생하였으며, 이를 해결하기 위한 방안들에 대한 연구가 활발히 진행되고 있다. 이러한 분야에서 가장 기본적인 연구는 비디오 콘텐트를 분석하는 작업이며, 대부분의 비선형적인 비디오 브라우징 기능은 샷 세그멘테이션(shot segmentation)과 샷 클러스터링(shot clustering) 기술에 기반한다.
여기서 샷(shot)이란, 방해(interruption) 없이 하나의 카메라로부터 얻어진 비디오 프레임들의 시퀀스(sequence)를 의미하며, 이는 비디오를 분석(analysis) 하거나 구성(construction)하는 가장 기본이 되는 단위이다. 많은 연구 결과를 토대로 하면, 샷 세그멘테이션 프로세스는 완전 자동화될 수 있으며, 방법에 따라 편차는 있지만 95% 이상의 높은 정확도를 가진 엔진을 설계할 수 있음이 보고되고 있다.
전형적인 뉴스 비디오 인덱싱 시스템은, 뉴스 비디오에서 비디오의 편집단위인 샷을 검출하고, 각각의 샷들 중에서 앵커 장면의 특성을 모델링하거나 앵커 장면 템플릿을 이용하여 앵커 장면을 검출하고 각각의 앵커 장면을 기준으로 기사 단위를 검출한다. 필요에 따라서는 광고 검출 알고리즘을 이용하여, 광고 부분을 검출하여 따로 인덱싱 하며, 헤드라인 부분이나 요약 뉴스 구간의 특성을 이용하여 헤드라인 부분과 요약 뉴스 구간을 검출하여 이를 인덱스 한다.
근래에는 녹화와 재생이 동시에 가능한 동영상 스트림 재생/녹화 시스템 예컨대, PVR(Personal Video Recorder)이 소개되고 있다. 이러한 PVR에는 기본적으로 하드 디스크와 같은 메모리가 장착되어 있으며, 메모리는 녹화하는 콘텐트를 저장하거나 타임 쉬프트(time shift)를 위하여 임시로 얼마간의 비디오 데이터를 저장하는 용도로 이용된다. 그리고, 이와 같은 PVR 셋탑 박스를 이용하면, 사용자는 콘텐트 브라우징 도중 인스턴트 리플레이(instant replay)나, 순방향 스킵(skip) 기능을 이용할 수 있고, 고배속 빨리보기 및 저배속 재생 등을 자유자재로 이용할 수 있다. 근래에는 이러한 PVR 셋탑 박스에서 녹화중인 콘텐트에 대한 인덱싱을 동시에 수행함으로써, 인덱스 정보를 이용한 세그먼트 스키핑(skipping), 비디오 스키밍(skimming), 키 프레임을 이용한 스토리 보드 인터페이스 등 여러 가지 비선형적 비디오 브라우징을 가능하게 하는 연구가 활발하게 진행되고 있다.
한편, 뉴스 비디오는 일반적으로 전형적인 구조를 가지고 있기 때문에, 비디오 인덱싱의 초기 단계에서부터 연구가 수행되었다. 그러나 기존의 비디오 인덱싱에 대한 연구들은 비디오 아카이브(video archive)를 대상으로 인덱싱 엔진의 정확도를 높이기 위한 방법에 집중하였다. 따라서, 뉴스 비디오를 씬 단위로 분석하기위한 알고리즘의 수행 속도, 사용하는 특징(feature), 메모리의 효율적 사용 및 온라인 프로세싱의 제약 조건에 대한 고려가 없으므로, 실제 PVR과 같은 실시간 동영상 스트림 재생/녹화 시스템에는 사용할 수 없다는 문제점이 있다.
기존에 제안된 알고리즘들은 압축 도메인의 프로세싱이 불가능하거나, 비디오 콘텐트에 대한 샷 세그멘테이션 작업이 완료된 후에 클러스터링이 진행되는 2-패스 알고리즘(2-pass algorithm)이다. 즉, 기존의 연구는 실시간의 동영상 스트림 재생/녹화 시스템에 대한 고려가 없었기 때문에, 정확도는 높을 수 있지만 실시간 시스템에는 적용이 불가능하다는 단점이 있다.
본 발명은, 압축 도메인에 대한 프로세싱을 통하여, 샷 세그멘테이션 과정과 샷 클러스터링 과정을 동시에 수행할 수 있는 실시간 진행형 뉴스 비디오 인덱싱 방법 및 시스템을 제공함에 그 목적이 있다.
도 1은 전형적인 뉴스 비디오의 구조를 나타낸 도면.
도 2는 일반적인 전역적 칼라 히스토그램과 본 발명에서 사용된 뉴스 비디오 클러스터링을 위한 로컬 칼라 히스토그램을 설명하기 위한 도면.
도 3은 전역적 칼라 히스토그램과 본 발명에서 사용된 변형 로컬 칼라 히스토그램을 설명하기 위한 도면.
도 4는 본 발명에 따른 실시간 진행형 뉴스 비디오 인덱싱 방법에 있어, 앵커 샷이 저장되는 메모리 구조를 개념적으로 나타낸 도면.
도 5는 본 발명에 따른 실시간 진행형 뉴스 비디오 인덱싱 방법에 의하여, 뉴스 비디오 인덱싱이 실시간으로 수행되는 과정을 나타낸 순서도.
도 6은 본 발명에 따른 뉴스 클러스터링 알고리즘에 의한 샷의 상태 변환 과정을 나타낸 도면.
도 7은 본 발명에 따른 실시간 진행형 뉴스 비디오 인덱싱 시스템의 구성을 개략적으로 나타낸 블럭도.
상기의 목적을 달성하기 위하여 본 발명에 따른 실시간 진행형 뉴스 비디오 인덱싱 방법은,
샷 세그멘테이션 엔진을 이용하여 신규 샷을 검출하고, 상기 검출된 신규 샷의 구간 정보 및 특성 히스토그램을 검출하는 신규 샷 검출 단계와;
상기 검출된 신규 샷에 대하여, 이전의 클러스터링 과정에 의해 등록된 퀄리파이드 앵커 샷 그룹(Qualified Anchor Shot Group)의 대표 샷들과의 샷 간 비유사도를 측정하고, 그 측정된 샷 간 비유사도를 참조하여 상기 신규 샷이 앵커 샷인지의 여부를 판단하는 퀄리파이드 매칭(Qualified Matching) 단계와;
상기 퀄리파이드 매칭 단계에서의 판단 결과 상기 검출된 신규 샷이 앵커 샷으로 판단되지 않는 경우에는, 상기 신규 샷에 대하여, 이전의 클러스터링 과정에서 후보 앵커 샷(Suspicious Anchor Shot)으로 등록된 샷들과의 샷 간 비유사도 측정을 측정하고, 그 측정된 샷 간 비유사도를 참조하여 상기 신규 샷이 앵커 샷인지의 여부를 판단하는 서스피셔스 매칭(Suspicious Matching) 단계; 및
상기 서스피셔스 매칭 단계에서의 판단 결과 상기 검출된 신규 샷이 앵커 샷으로 판단되지 않는 경우에는, 상기 신규 샷의 길이가, 클러스터링 과정에 입력된 샷들의 평균 샷의 길이보다 일정 수준 이상 크면, 상기 신규 샷을 후보 앵커 샷으로 등록하는 앵커 샷 시드 조건 체킹(Anchor Shot Seed Condition Checking) 단계; 를 포함하는 점에 그 특징이 있다.
여기서, 본 발명에 따른 상기 신규 샷 검출 단계에 있어, 상기 샷 세그멘테이션 엔진은 멀티미디어 스트림을 편집 단위인 개별 샷으로 분할하여 그 구간 정보를 추출하는 점에 그 특징이 있다.
또한, 본 발명에 따른 상기 신규 샷 검출 단계에 있어, 상기 샷 세그멘테이션 엔진이 출력하는 샷 특성 히스토그램은 해당 샷을 대표하기 위한 대표 프레임 이미지의 모든 픽셀이 반영된 전역적 칼라 히스토그램인 점에 그 특징이 있다.
또한, 본 발명에 따른 상기 신규 샷 검출 단계에 있어, 상기 샷 세그멘테이션 엔진이 출력하는 샷 특성 히스토그램은 해당 샷을 대표하기 위한 대표 프레임의 이미지의 특정 영역에 속하는 픽셀만 반영된 로컬 칼라 히스토그램인 점에 그 특징이 있다.
또한, 본 발명에 따른 상기 퀄리파이드 매칭 단계에 있어, 상기 퀄리파이드 앵커 샷 그룹은 이전의 클러스터링 과정에 의해 샷의 특성 히스토그램 간 차이가 일정 임계치 이하인 샷들의 그룹이며, 해당 앵커 샷 그룹에 속하는 샷들을 앵커 샷으로 간주하는 점에 그 특징이 있다.
또한, 본 발명에 따른 상기 퀄리파이드 매칭 단계에 있어, 상기 퀄리파이드 앵커 샷 그룹의 대표 샷은 해당 그룹의 샷들 중에서, 시간적으로 가장 나중에 검출된 샷인 점에 그 특징이 있다.
또한, 본 발명에 따른 상기 퀄리파이드 매칭 단계에 있어, 샷 간 비유사도 측정은 두 샷의 특성 히스토그램 간의 차이를 이용하며, 상기 두 샷의 특성 히스토그램 간의 차이는, 두 샷의 전역적 칼라 히스토그램 간의 차이 및/또는 두 샷의 로칼 칼라 히스토그램 간의 차이인 점에 그 특징이 있다.
또한, 본 발명에 따른 상기 퀄리파이드 매칭 단계에 있어, 상기 검출된 신규 샷과 앵커 샷 그룹 간의 비유사도를 측정한 결과 그 차이가 설정된 임계치보다 작은 앵커 샷 그룹이 존재하는 경우에는, 상기 신규 샷을 해당 앵커 샷 그룹에 등록시키며, 상기 후보 앵커 샷 그룹에 등록된 샷들 중에서, 시간적으로 상기 해당 앵커 샷 그룹을 대표하는 샷의 등록 시점 이후에 등록된 후보 앵커 샷들은, 상기 후보 앵커 샷 그룹에서 삭제하는 점에 그 특징이 있다.
또한, 본 발명에 따른 상기 서스피셔스 매칭 단계에 있어, 상기 후보 앵커 샷은 이전의 앵커 샷 시드 조건 체킹 단계에 의하여 후보 앵커 샷으로 등록된 샷인점에 그 특징이 있다.
또한, 본 발명에 따른 상기 서스피셔스 매칭 단계에 있어, 샷 간 비유사도 측정은 두 샷의 특성 히스토그램 간의 차이를 이용하며, 상기 두 샷의 특성 히스토그램 간의 차이는, 두 샷의 전역적 칼라 히스토그램 간의 차이 및/또는 두 샷의 로칼 칼라 히스토그램 간의 차이인 점에 그 특징이 있다.
또한, 본 발명에 따른 상기 서스피셔스 매칭 단계에 있어, 상기 검출된 신규 샷과 후보 앵커 샷들 간의 비유사도를 측정한 결과 그 차이가 설정된 임계치보다 작은 후보 앵커 샷이 존재하는 경우에는, 해당 후보 앵커 샷 및 상기 신규 샷을 새로운 앵커 샷 그룹으로 등록시키며, 상기 후보 앵커 샷 그룹에 등록된 샷들 중에서, 시간적으로 상기 해당 후보 앵커 샷 이후에 등록된 후보 앵커 샷들과 상기 해당 후보 앵커 샷은, 상기 후보 앵커 샷 그룹에서 삭제하는 점에 그 특징이 있다.
또한, 상기의 목적을 달성하기 위하여 본 발명에 따른 앵커 샷 검출 방법은,
입력된 샷과, 클러스터링 수행 중에 등록된 후보 앵커 샷 또는 퀄리파이드 앵커 샷 간의 비유사도 계산을 수행함에 있어, 전역적 칼라 히스토그램의 차이와 로컬 칼라 히스토그램의 차이를 동시에 이용하며, 전역적 칼라 히스토그램 간 차이가 설정된 임계치(τg) 보다 작고, 로컬 칼라 히스토그램 간 차이가 설정된 임계치(τl) 보다 작은 경우에는, 상기 입력된 샷을 퀄리파이드 앵커 샷으로 등록하는 점에 그 특징이 있다.
여기서, 본 발명에 따른 상기 전역적 칼라 히스토그램은, 이미지의 모든 픽셀들이 반영된 칼라 히스토그램인 점에 그 특징이 있다.
또한, 본 발명에 따른 상기 로컬 칼라 히스토그램은, 이미지의 특정 영역에 속하는 픽셀들만 반영된 칼라 히스토그램인 점에 그 특징이 있다.
또한, 본 발명에 따른 상기 로컬 칼라 히스토그램은 제 1 변형 로컬 칼라 히스토그램과 제 2 변형 로컬 칼라 히스토그램으로 구별되며, 이미지를 가로 세로 각각 2 등분하여 전체적으로 4 등분하고, 이미지의 중심을 원점으로 할 때 각각의 제 1, 2, 3, 4 분면에 해당하는 히스토그램을 L1, L2, L3, L4로 정의할 때, 상기 제 1 변형 로컬 칼라 히스토그램은 L2, L3, L4를 이용하여 정규화된 히스토그램이며, 상기 제 2 변형 로컬 칼라 히스토그램은 L1, L3, L4를 이용하여 정규화된 히스토그램인 점에 그 특징이 있다.
또한, 본 발명에 따른 상기 로컬 칼라 히스토그램 간 차이는, 상기 제 1 변형 로컬 칼라 히스토그램 간 차이와, 제 2 변형 로컬 칼라 히스토그램 간 차이 중에서, 작은 값을 선택하는 점에 그 특징이 있다.
또한, 본 발명에 따른 상기 입력된 샷과, 등록된 후보 앵커 샷과의 전역적 칼라 히스토그램 간 차이가 설정된 임계치(τg) 보다 작고, 로컬 칼라 히스토그램 간 차이가 설정된 임계치(τl) 보다 작은 경우에는, 해당 후보 앵커 샷도 앵커 샷으로 등록하는 점에 그 특징이 있다.
또한, 상기의 목적을 달성하기 위하여 본 발명에 따른 실시간 진행형 뉴스 비디오 인덱싱 시스템은,
비디오 스트림으로부터 압축 도메인의 프레임 특징소를 추출하는 특징소 추출부와;
상기 특징소 추출부로부터 제공되는 프레임 특징소들로부터 물리적 편집 단위인 샷을 검출하고, 해당 샷의 구간 정보와 특성 히스토그램을 검출하는 샷 인덱스 결정기와;
클러스터링 과정 수행에 의하여 앵커 샷으로 검증된 샷이 저장되는 퀄리파이드 앵커 샷 메모리와;
클러스터링 과정 수행에 의하여 후보 앵커 샷으로 검출된 샷이 저장되는 서스피셔스 앵커 샷 메모리와;
입력된 샷과, 상기 퀄리파이드 앵커 샷 메모리에 저장되어 있는 앵커 샷 그룹의 대표 샷 간의 비유사도를 측정하는 퀄리파이드 매칭부와;
입력된 샷과, 상기 서스피셔스 앵커 샷 메모리에 저장되어 있는 후보 앵커 샷들 간의 비유사도를 측정하는 서스피셔스 매칭부와;
입력된 샷과, 클러스터링 과정에 입력된 샷들의 평균 샷의 길이를 비교하여, 입력된 샷이 앵커 샷 시드 조건을 만족하는 지의 여부를 체킹하는 앵커 샷 시드 조건 체킹부; 및
상기 제 구성요소를 제어하며, 상기 퀄리파이드 매칭부와, 서스피셔스 매칭부 및 앵커 샷 시드 조건 체킹부에서 수행된 결과를 참조하여, 입력된 샷이 앵커 샷인 지의 여부를 판단하는 클러스터링 제어부; 를 포함하는 점에 그 특징이 있다.
여기서 본 발명에 따른 상기 특징소 추출부는, 프레임 특징소를 추출함에 있어, 입력되는 비디오 스트림이 MPEG 콘텐트인 경우에, I 프레임에 대해서는 전역적 칼라 히스토그램과 로컬 칼라 히스토그램을 추출하고, P/B 프레임에 대해서는 매크로블록 타입 히스토그램을 추출하는 점에 그 특징이 있다.
또한, 본 발명에 따른 상기 클러스터링 제어부는, 상기 퀄리파이드 매칭부에서 수행되는 두 샷 간의 비유사도 측정 결과에 따라, 그 차이가 설정된 임계치보다 작은 앵커 샷 그룹이 존재하는 경우에는, 상기 입력된 샷을 상기 퀄리파이드 앵커 샷 메모리에 저장되어 있는 해당 앵커 샷 그룹에 등록시키며, 상기 서스피셔스 앵커 샷 메모리에 저장되어 있는 샷들 중에서, 시간적으로 상기 매칭된 앵커 샷 그룹을 대표하는 샷의 등록 시점 이후에 등록된 후보 앵커 샷들은, 상기 서스피셔스 앵커 샷 메모리에서 삭제시키는 점에 그 특징이 있다.
또한, 본 발명에 따른 상기 클러스터링 제어부는, 상기 서스피셔스 매칭부에서 수행되는 두 샷 간의 비유사도 측정 결과에 따라, 그 차이가 설정된 임계치보다 작은 후보 앵커 샷이 존재하는 경우에는, 매칭된 후보 앵커 샷 및 상기 입력된 샷을 상기 퀄리파이드 앵커 샷 메모리에 새로운 앵커 샷 그룹으로 등록시키며, 상기 서스피셔스 앵커 샷 메모리에 저장되어 있는 샷들 중에서, 시간적으로 상기 매칭된 후보 앵커 샷 이후에 등록된 후보 앵커 샷들과 상기 매칭된 후보 앵커 샷은, 상기 서스피셔스 앵커 샷 메모리에서 삭제시키는 점에 그 특징이 있다.
또한, 본 발명에 따른 상기 클러스터링 제어부는, 상기 앵커 샷 시드 조건 체킹부에서 수행되는 샷 간의 길이 비교 결과에 따라, 상기 입력된 샷의 길이가, 클러스터링 과정에 입력된 샷들의 평균 샷의 길이보다 일정 수준 이상 크면, 상기입력된 샷을 상기 서스피셔스 앵커 샷 메모리에 등록시키는 점에 그 특징이 있다.
또한, 본 발명에 따른 상기 클러스터링 제어부는, 상기 서스피셔스 앵커 샷 메모리와 퀄리파이드 앵커 샷 메모리의 최대 크기를 제한하여, 상기 서스피셔스 앵커 샷 메모리에서 시간적으로 가장 먼저 입력된 후보 앵커 샷을 주기적으로 삭제하거나, 상기 퀄리파이드 앵커 샷 메모리에서 시간적으로 가장 먼저 추출된 앵커 샷을 주기적으로 삭제하는 점에 그 특징이 있다.
이와 같은 본 발명에 의하면, 압축 도메인의 프로세싱만으로 뉴스 비디오에 대한 씬 구조 검출이 가능하므로 수행 속도가 빠른 장점이 있다.
또한 본 발명에 의하면, 제한된 메모리를 사용하는 시스템에 직접 응용될 수 있으며, 뉴스 비디오에 대한 샷 세그멘테이션 작업과 샷 클러스터링 작업이 동시에 수행될 수 있는 장점이 있다.
또한 본 발명에 의하면, 뉴스 비디오에 대한 구조적 정보를 추출하여 여러 가지 비선형적 비디오 브라우징의 입력을 제공할 수 있는 장점이 있다.
이와 같이, 본 발명에 따른 실시간 뉴스 비디오 인덱싱 방법 및 시스템은, 비디오 아카이브(video archive)에서는 물론이고, PVR과 같은 동영상 스트림 재생/녹화 시스템에서 키프레임을 이용한 비디오 콘텐트 요약 및 네비게이션 방법과 자동 비디오 스키밍 및 하이라이트 제공을 위해 이용될 수 있도록, 실시간 비디오 인덱싱이 수행될 수 있는 것을 특징으로 한다. 따라서, 본 발명에 따른 실시간 뉴스 비디오 인덱싱 방법 및 시스템은 다음의 조건을 만족한다.
1. 뉴스 비디오에 대한 샷 정보 추출 및 앵커 샷 검출.
2. 앵커 샷 검출 프로세스는 샷 세그멘테이션의 결과를 이용.
3. 빠른 수행 시간(압축 도메인의 가공된 데이터 이용).
4. 제한된 메모리 용량 이용.
5. 샷 세그멘테이션과 샷 클러스터링(앵커 샷 검출) 프로세스가 실시간으로 동시에 수행됨.
6. 정확도를 높이고 실시간 앵커 샷 검출을 위한 효율적인 앵커 샷 등록/삭제 방법을 채용.
특히, 상기 특징 중에서 3, 4, 5, 6은 본 발명의 특징 요소이며, PVR과 같은 동영상 스트림 재생/녹화 시스템에 샷 클러스터링 기술을 적용하기 위해서는 반드시 만족시켜야 하는 조건이기도 하다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세히 설명한다.
도 1은 전형적인 뉴스 비디오의 구조를 나타낸 도면이다.
도 1에 나타낸 바와 같이, 뉴스 비디오는 기사(article)의 연속으로 정의되며, 중간에 요약이나 광고 등이 삽입될 수 있다. 또한, 뉴스 비디오에서 하나의 기사는 앵커 샷과 에피소드 씬의 연결로 구성된다. 여기서, '앵커 샷'이란 뉴스 비디오에서 앵커가 등장하여 하나의 기사를 설명하며 간단한 요약을 제공하는 샷을 의미하며, '에피소드 씬'은 하나의 기사 내용을 설명하기 위하여 여러 개의 샷들이 연결되어 이루어진 씬을 의미하며, '에피소드 샷'은 에피소드 씬을 구성하는 개별 샷을 의미하며, 주로 기자들의 취재나 편집 등의 작업에 의하여 에피소드 씬이 구성된다.
그리고, 본 발명에서는 '뉴스 비디오 인덱싱'을 자동 샷 검출과 이에 기반한 앵커 샷 검출로서 정의하여 기술하도록 한다. 요약 뉴스 구간 검출이나 광고 검출 등은 본 발명의 영역에서 제외시키기로 한다. 현재까지의 연구로서 많은 자동 샷 검출에 관한 알고리즘들이 소개되어 있으므로, 본 발명에서는 압축 도메인에서 검출된 샷의 특성 값 정보를 이용하여 샷 세그멘테이션 프로세스와 동시에 수행 가능한 앵커 샷 검출 알고리즘을 제안한다. 여기서, 앵커 샷 검출은 검출된 샷에 대하여 앵커 샷인지 아닌지를 판단하는 문제로서 'Yes/No'의 문제이다.
기존의 앵커 샷 검출 알고리즘에서 사용된 대표적인 앵커 샷의 특성을 요약하면 다음과 같다.
#. [AP1] : 앵커 샷에는 앵커가 등장한다.
#. [AP2] : 앵커 샷은 하나의 기사를 요약할 정도로 충분히 그 길이가 길다.
#. [AP3] : 시각적인(visual) 관점에서 볼 때, 비슷한 앵커 샷들은 하나의 뉴스 프로그램에서 여러 번 나타난다.
#. [AP4] : 하나의 뉴스 프로그램에서는 많은 앵커들이 등장하지 않고 그 수는 제한되어 있다.
이러한 특성에 기반한 기존의 뉴스 비디오 클러스터링 알고리즘은 앵커 샷을 검출하는데 있어서, [AP1]을 이용하기 위하여 얼굴영역 검출 알고리즘을 이용하기도 한다. 그러나, 현재까지의 기술로서 얼굴 영역 검출 알고리즘은 칼라 히스토그램 비교 등의 방법에 비해 매우 높은 수준의 계산 복잡도를 요구한다.
이에 따라, 본 발명에서는 PVR과 같은 실시간 동영상 스트림 재생/녹화 시스템에 적용될 수 있도록, 앵커 샷 검출을 위한 방법으로서 얼굴 검출 알고리즘을 적용하지 않는다. 그리고, 기존의 알고리즘과 달리, 본 발명에서는 얼굴 검출 알고리즘을 사용하지 않으므로, 본 발명의 정확도를 높이기 위하여 다음의 [AP5]를 추가하였고, 실제로 앵커 샷들 중에서는 매우 짧은 앵커 샷들도 존재하므로, [AP2]의 조건을 완화하여 [AP2']으로 수정하였다.
#. [AP5] : 두 개의 인접한 앵커 샷이 시각적(visual) 관점에서 비슷하고, 두 샷 간의 시간 차이가 크지 않을 경우, 두 개의 앵커 샷 사이에는 두 개의 앵커 샷과 시각적 관점에서 매우 다른 앵커 샷이 존재하지 않는다.
#. [AP2'] : 시각적(visual) 관점에서 비슷한 앵커 샷 끼리 그룹화하면, 해당 그룹의 첫 번째 앵커 샷의 길이는 프로그램의 평균 샷 길이 보다 길다.
그러면, 이와 같이 설정된 앵커 샷의 특성을 이용하여, 본 발명에서 두 샷 간의 비유사도를 측정하는 방법에 대하여 살펴 보기로 한다.
본 발명의 앵커 샷 검출 알고리즘은, 샷 세그멘테이션 프로세스에 의해 입력된 샷에 대하여 [AP2']을 이용하여 앵커 샷이 될 가능성이 있는지를 조사하는 작업 이외에, 기존에 검출된 앵커 샷 후보 또는 기존에 검출된 앵커 샷과 시각적 특성이 비슷한 지를 조사하는 과정을 거친다.
따라서, 본 발명에서의 앵커 샷 검출을 위해서는 두 개의 샷 간의 비유사도 측정이 필요하다. 두 개의 샷 간 비유사도 측정을 위한 특징소는 칼라 히스토그램이며, 이 칼라 히스토그램은 샷 세그멘테이션 알고리즘에서 검출된 샷과 함께 앵커 샷 검출 알고리즘으로 입력된다.
여러 가지 방법이 사용될 수 있지만, 본 발명에서는 두 개의 샷 간의 유사도 및 비유사도 측정을 위하여 샷 히스토그램을 이용한다. 본 발명에서 샷 히스토그램은 "하나의 샷에서 일정 기준으로 샘플링된 대표 이미지의 칼라 히스토그램"으로 정의한다. 따라서, 이미지에 대한 칼라 히스토그램은 이미지에서 색상의 분포를 나타내며, 샷 히스토그램은 샷에서의 색상의 분포를 나타낸다. 샷 히스토그램을 두 개의 샷간의 유사도 및 비유사도 측정의 기준으로 택한 이유는, 이미지에 대한 칼라 히스토그램은 샷 세그멘테이션 과정에서 이미 추출되기 때문에 효율적으로 각 샷에 대한 샷 히스토그램을 구할 수 있으며, 히스토그램 간의 차를 구하는 연산은 덧셈/뺄셈 연산 만으로 구성되므로 그 수행속도가 매우 빠르기 때문이다. 다음 [수학식 1]은 두 개의 칼라 히스토그램(H1, H2)간 차이를 구하는 과정을 설명하기 위한 것이다. 이때, 칼라 히스토그램의 칼라 레벨 수는 n이라 한다.
일반적인 샷 세그멘테이션 엔진에서는 전역적 칼라 히스토그램(Global Color Histogram)을 이용하지만, 본 발명에서는 전역적 칼라 히스토그램 이외에, 앵커 샷 검출 알고리즘의 정확도를 높이기 위하여 로컬 칼라 히스토그램(Local Color Histogram)을 함께 이용하는 것을 특징으로 한다.
또한, 본 발명에서 사용되는 칼라 히스토그램은 빠른 수행을 위하여, 원래 크기의 이미지에서 추출된 픽셀 값들이 아닌 DC 이미지와 같은 썸네일(thumbnail)이미지에서 추출된 픽셀 값들을 이용한다. 전역적 칼라 히스토그램에는 이미지에서 존재하는 모든 픽셀들이 칼라 히스토그램에 반영된 히스토그램이며, 도 2에 나타낸 바와 같이, 로컬 칼라 히스토그램에는 이미지에서 특정 영역에 해당하는 픽셀들만 칼라 히스토그램에 반영된다. 도 2는 전역적 칼라 히스토그램과 본 발명에서 사용된 뉴스 비디오 클러스터링을 위한 로컬 칼라 히스토그램을 설명하기 위한 도면이다.
본 발명에서는 이미지를 가로, 세로 2 등분씩 나누어 4 개의 영역으로 관리하고, 각각의 4 개 영역에 대하여 칼라 히스토그램을 추출함으로써 로컬 칼라 히스토그램을 구성하였다(L1, L2, L3, L4). 즉, 이미지를 가로로 2 등분, 세로로 2 등분하여 총 4 등분 한 후에, 중심점을 기준으로 하여 제 1, 2, 3, 4 분면을 설정하고, 각각 L1, L2, L3, L4 영역으로 정의하였다.
여기서, 로컬 칼라 히스토그램을 도 2에서와 같이 4 개로 설정한 이유는, 앵커의 위치에 따라 앵커 샷의 모양을 도 3과 같이 3 가지로 분류할 수 있기 때문이다. 도 3은 전역적 칼라 히스토그램과 본 발명에서 사용된 변형 로컬 칼라 히스토그램을 설명하기 위한 도면이다.
대부분의 뉴스에서는 앵커가 화면의 중앙, 왼쪽 또는 오른쪽에 나타나고, 왼쪽 또는 오른쪽에 위치할 경우에 대부분 반대 쪽에는 뉴스 기사를 요약하기 위한 사진, 텍스트, 동영상, 그래픽 등을 이용한 뉴스 아이콘이 위치한다. 또한, 이러한 부분에 있어서는 동일한 앵커가 등장하는 앵커 샷이라 하더라도, 그 칼라 특성이 매우 다르게 나타나기 때문이다.
이때, 앵커가 중앙에 있는 앵커 샷을 검출하기 위해서는 전역적 칼라 히스토그램(G)을 이용한 히스토그램 차를 이용하고, 앵커가 왼쪽에 있는 앵커 샷을 검출하기 위해서는 L2, L3, L4를 이용한 제 1 변형 로컬 칼라 히스토그램(L1') 간의 히스토그램 차를 이용하고, 앵커가 오른쪽에 있는 앵커 샷을 검출하기 위해서는 L1, L3, L4를 이용한 제 2 변형 로컬 칼라 히스토그램(L2') 간의 히스토그램 차를 각각 이용한다. 다음 [수학식 2]는 제 1 변형 로컬 칼라 히스토그램과, 제 2 변형 로컬 칼라 히스토그램을 설명하기 위한 것이다.
따라서, 두 개의 샷 간의 비유사도는 전역적 칼라 히스토그램 차와 로컬 칼라 히스토그램 차의 함수로 얻어진다. 다음 [수학식 3]은 전역적 칼라 히스토그램과 로컬 칼라 히스토그램의 차를 구하는 과정을 나타낸 것이다. 여기서, GDiff(Si,Sj)는 i 번째 샷(Si)과 j 번째 샷(Sj) 간의 전역적 칼라 히스토그램 차를 나타내며, LDiff(Si,Sj)는 i 번째 샷(Si)과 j 번째 샷(Sj) 간의 로컬 칼라 히스토그램 차를 각각 의미한다. 그리고, Gi는 i 번째 샷(Si)의 전역적 칼라 히스토그램을 의미하며, L1'[i]는 i 번째 샷(Si)의 제 1 변형 로컬 칼라 히스토그램을 의미하고,L2'[i]는 i 번째 샷(Si)의 제 2 변형 로컬 칼라 히스토그램을 각각 의미한다.
이때, 상기 [수학식 3]에 나타낸 바와 같이, 로컬 칼라 히스토그램의 차이는 제 1 변형 로컬 칼라 히스토그램 간의 차이와 제 2 변형 로컬 칼라 히스토그램 간의 차이 중에서, 작은 값을 선택하도록 한다.
한편, 도 4는 본 발명의 뉴스 클러스터링 알고리즘을 위한 메모리 구조를 도식화한 것이다. 본 발명의 알고리즘에서는 앵커 샷으로 검증된 샷들에 대한 정보를 저장하기 위한 '퀄리파이드 앵커 샷 메모리(Qualified AS Memory)'와 앵커 샷 후보 조건을 만족하는 샷들이 임시적으로 저장되는 '서스피셔스 앵커 샷 메모리 (Suspicious AS Memory)'를 이용한다. 여기서, 퀄리파이드 앵커 샷 메모리는 앵커 샷 그룹의 리스트를 저장하며, 각각의 앵커 샷 그룹은 비슷한 시각적 특성을 가지는 앵커 샷들의 집합이다. 이때, 앵커 샷 그룹 내의 샷들은 검출된 순서로 정렬된다. 또한, 서스피셔스 앵커 샷 메모리에는 후보 앵커 샷들이 시간 순서로 배열되며, 제한된 메모리를 이용하기 위하여 임시 저장될 앵커 샷 들의 개수를 한정시킬 수도 있다.
본 발명에서는, 새로운 샷이 뉴스 클러스터링 엔진으로 입력되면, [QM:Qualified Matching], [SM:Suspicious Matching], [ASSCC:Anchor Shot SeedCondition Check]의 세 가지 단계를 차례로 수행한다. 이하, 각 단계에서 수행되는 과정을 상세히 설명하도록 한다.
1. [QM] : 퀄리파이드 앵커 샷 메모리에 저장되어 있는 샷과 입력된 샷 간의 비유사도 체크 단계(Qualified Matching)
앞서 설명된 [AP3]에 기반하여, 시각적인 특성 관점에서 이미 앵커 샷으로 결정된 샷과 유사한 샷이 나타나면 해당 샷을 앵커 샷으로 간주한다. 이 작업을 위하여 본 단계에서는 입력된 샷(Scur)과 퀄리파이드 앵커 샷 메모리(Qualified AS Memory)에 존재하는 앵커 샷 그룹의 대표 샷들 간의 비유사도를 측정한다. 이때, 앵커 샷 그룹의 대표 샷은 해당 앵커 샷 그룹에서 가장 최근에 검출된 앵커 샷을 대표 샷으로 정할 수 있다.
또한, 본 단계에서의 샷 간 비유사도 측정은 빠른 수행을 위하여 가장 나중에 검출된 앵커 샷 그룹의 대표 샷부터 시작하여 처음에 검출된 앵커 샷 그룹의 대표 샷까지 역순으로 진행시킬 수 있다.
이때, 퀄리파이드 앵커 샷 메모리에 존재하는 앵커 샷들은 클러스터링 알고리즘의 수행에 의해 자동으로 사전에 검증작업을 통하여 등록된 샷이므로, 이러한 앵커 샷 그룹의 대표 샷과 새로 입력된 샷(Scur) 간의 비유사도 측정 후, 해당 차이가 퀄리파이드 매칭 조건을 만족시키면 새로 입력된 샷(Scur)은 퀄리파이드 매칭 조건을 만족시킨 해당 그룹(Qm)과 매치되었다고 처리한다. 다음 [수학식 4]는 퀄리파이드 매칭 조건을 설명하기 위한 것이다.
여기서, Qualified_matching(Scur,Qk)는 새로 입력된 샷(Scur)과 퀄리파이드 앵커 샷 메모리에 존재하는 k 번째 앵커 샷 그룹(Qk) 간의 비유사도를 기준으로 판단하며, 그 판단 결과에 따라 참(True) 또는 거짓(False)을 리턴한다. 또한, Sk,r은 k 번째 앵커 샷 그룹(Qk)의 대표 샷(Representative Shot)을 나타내며, τqg는 퀄리파이드 매칭 프로세스를 위한 전역적 칼라 히스토그램에 대한 임계치이며, τql은 퀄리파이드 매칭 프로세스를 위한 로컬 칼라 히스토그램에 대한 임계치이다. 만약, 위의 Qualified_matching(Scur,Qk)의 결과 값이 참이면, 매치된 그룹(Qm)은 k 번째 앵커샷 그룹(Qk)이 된다.
이때, k 번째 앵커 샷 그룹(Qk)이 매치되면 "일반적으로 두 개의 인접한 앵커 샷과 시각적 관점에서 매우 다른 앵커 샷이 존재하지 않는다"라는 [AP5]를 적용하여, 클러스터링 엔진에 입력된 순서로 볼 때, 퀄리파이드 앵커 샷 메모리에 존재하는 매치된 앵커 샷 그룹(Qk=Qm)의 제일 마지막 샷 이후에 서스피셔스 앵커 샷 메모리에 추가된 샷들을 서스피셔스 앵커 샷 메모리에서 삭제한다. 그리고, 새로 입력된 샷(Scur)을 앵커 샷 그룹(Qk=Qm)의 제일 마지막에 추가시키고, 해당 앵커 샷 그룹의 대표 샷을 변경한다.
2. [SM] : 서스피셔스 앵커 샷 메모리에 저장된 샷과 입력된 샷 간의 비유사도 체크 단계(Suspicious Matching)
본 단계에서 수행되는 작업은 [QM] 단계에서 적용된 알고리즘과 유사하다. 앞서 설명된 [AP3]에 기반하여, 시각적인 특성 관점에서 후보 앵커 샷과 유사한 샷이 나타나면, 후보 앵커 샷과 해당 샷을 모두 앵커 샷으로 간주한다.
이 작업을 위하여 본 단계에서는 입력된 샷(Scur)과 서스피셔스 앵커 샷 메모리에 존재하는 샷들 간의 비유사도를 측정한다. 본 단계에서의 샷 간 비유사도 측정은 빠른 수행을 위하여 가장 나중에 검출된 후보 앵커 샷으로부터 시작하여 처음에 검출된 후보 앵커 샷까지 역순으로 진행시킬 수 있다. 이때, 서스피셔스 앵커 샷 메모리에 존재하는 후보 앵커 샷과 새로 입력된 샷(Scur) 간의 비유사도 측정 후, 해당 차이가 서스피셔스 매칭 조건을 만족시키면 새로 입력된 샷(Scur)은 서스피셔스 매칭 조건을 만족시킨 해당 후보 앵커 샷(Sm,suspicious)이 매치되었다고 한다. 다음 [수학식 5]는 서스피셔스 매칭 조건을 설명하기 위한 것이다.
여기서, Suspicious_matching(Scur, Sk,suspicious)는 새로 입력된 샷(Scur)과 서스피셔스 앵커 샷 메모리에 존재하는 k 번째 후보 앵커 샷(Sk,suspicious) 간의 비유사도를 기준으로 판단하며, 그 판단 결과에 따라 참(True) 또는 거짓(False)을 리턴한다.
또한, Sk,suspicious는 서스피셔스 앵커 샷 메모리의 k 번째 후보 앵커 샷을 나타내며, τsg는 서스피셔스 매칭 프로세스를 위한 전역적 칼라 히스토그램에 대한 임계치이며, τsl은 서스피셔스 매칭 프로세스를 위한 로컬 칼라 히스토그램에 대한 임계치이다. 만약, 위의 Suspicious_matching(Scur, Sk,suspicious)의 결과 값이 참이면, 매치된 샷은 서스피셔스 앵커 샷 메모리의 k 번째 후보 앵커 샷(Sk,suspicious)이 된다.
이렇게 매치된 경우에는 퀄리파이드 앵커 샷 메모리에 새로운 앵커 샷 그룹을 등록시키고, 새로 등록된 앵커 샷 그룹에 Scur와 Sk,suspicious를 추가시킨다. 시간적으로 클러스터링 알고리즘에 입력된 순서는 Sk,suspicious가 Scur에 앞서므로 Sk,suspicious를 먼저, Scur을 나중에 삽입한다. 또한, "일반적으로 두 개의 인접한 앵커 샷이 시각적 관점에서 비슷하고 두 샷 간의 시간 차이가 크지 않을 경우, 두 개의 앵커 샷 사이에는 두 개의 앵커 샷과 시각적 관점에서 매우 다른 앵커 샷이 존재하지 않는다"라는 [AP5]를 적용하여, 클러스터링 엔진에 입력된 순서로 볼 때, 서스피셔스 앵커샷 메모리에 삽입된 순서가 Sk,suspicious이후인 샷들을 서스피셔스 앵커 샷 메모리에서 삭제한다.
3. [ASSCC] : 앵커 샷 시드 조건 체크 단계(Anchor Shot Seed Condition Check)
앞서 설명된 [AP2']에 기반하여 새로 입력된 샷이 앵커 샷이 될 수 있는지 여부를 검사한다. 즉, 대부분의 뉴스 프로그램에서 시각적 관점에서 비슷한 앵커 샷끼리 그룹화를 수행하면, 해당 그룹에서 첫 번째 등장하는 앵커 샷의 길이는 프로그램의 평균 샷 길이 보다 긴 특성이 있으므로, 입력된 샷(Scur)의 길이가 현재 시점까지 입력되었던 샷들의 평균 길이(Avg_Shot_Length) 보다 일정 범위 이상 크면, 해당 샷을 서스피셔스 앵커 샷 메모리에 등록시킨다. 여기서, 입력된 샷들의 평균 길이는 인덱싱 과정에서 지속적으로 변화하는 값이다. 입력된 샷들의 평균 길이에 대한 현재 입력된 샷의 길이의 비율이 사용되는 것이 바람직한데, 이는 뉴스의 종류에 따라 평균 앵커 샷의 길이가 짧은 뉴스도 있고, 그렇지 않은 뉴스도 있기 때문이다.
다음에는 메모리의 용량을 제한적으로 사용함으로써, 메모리를 효율적으로 사용하는 방안에 대하여 논의해 보도록 한다. 실시간 시스템에 본 발명의 알고리즘이 적용되기 위해서는 메모리의 최대 요구량을 결정할 수 있어야 한다. 본 발명에서 사용하는 메모리는 성능을 저하시키지 않으면서 제한될 수 있음을 특징으로 한다.
먼저, 서스피셔스 앵커 샷 메모리에는 샷의 구간 정보 이외에 클러스터링 알고리즘을 위한 특성 히스토그램(전역적/로컬 칼라 히스토그램)이 저장되며, 구간 정보에 비하여 히스토그램이 차지하는 메모리 공간이 큰 편이다.
앞에서 언급된 [AP3]에 의해, 시각적 관점에서 볼 때 비슷한 앵커 샷들은 하나의 뉴스 프로그램에서 여러 번 주기적으로 나타나며, [AP5]에 의해 두 개의 인접한 앵커 샷이 시각적 관점에서 비슷하고, 두 샷 간의 시간 차이가 크지 않을 경우, 두 개의 앵커 샷 사이에는 두 개의 앵커 샷과 시각적 관점에서 매우 다른 앵커 샷이 존재하지 않게 된다. 또한, [ASSCC] 단계에서 입력된 샷(Scur)의 길이가 현재 시점까지 입력되었던 샷들의 평균 길이(Avg_Shot_Length) 보다 일정 범위 이상 크면, 해당 샷을 서스피셔스 앵커 샷 메모리에 등록시키는 프로세스를 이용하므로, 특정 시점에 서스피셔스 앵커 샷 메모리에 등록되는 샷의 개수는 많지 않게 된다.
즉, [ASSCC] 단계에서 사용하는 입력된 샷들의 평균 길이에 대한 현재 입력된 샷의 길이의 비율에 대한 임계치에 따라서, 서스피셔스 앵커 샷 메모리에 등록 가능한 최대 수를 한정시키는 방법을 이용하면 서스피셔스 앵커 샷 메모리에 저장될 샷의 개수를 제한시킬 수 있게 된다.
또한, 앵커 샷은 일정 시간 내에 주기적으로 반복되는 특성을 가지므로 현재의 샷의 시작 지점과 서스피셔스 앵커 샷 메모리에 존재하는 앵커 샷의 마지막 지점 간의 시간적 오프셋이 특정 임계치 이상이면, 해당 샷을 서스피셔스 앵커 샷 메모리에서 제거하는 정책을 사용함으로써, 제한된 메모리 위에서 본 알고리즘이 원활하게 수행 가능하게 된다. 그리고, 서스피셔스 앵커 샷 메모리를 특정 개수 만큼의 후보 앵커 샷만 저장할 수 있도록 하는 선입선출(FIFO: First In First Out)의 큐(Queue) 형태로 설계함으로써, 서스피셔스 앵커 샷 메모리의 크기를 제한시킬 수도 있다.
한편, 퀄리파이드 앵커 샷 메모리는 앵커 샷으로 검증된 샷들을 저장하기 위한 장소이다. 앞서 설명한 바와 같이, 샷에 대한 정보는 샷의 구간 정보 이외에 클러스터링 알고리즘을 위한 특성 히스토그램(전역적/로컬 칼라 히스토그램)이 차지하는 메모리 공간이 크므로, 각 앵커 샷 그룹에 대하여 하나의 특성 히스토그램을 유지하여, [QM] 매치에서 새로 입력된 샷과의 비유사도 측정에 사용하면 메모리 요구량을 줄일 수 있다. 또한, [AP4]에 의해 하나의 뉴스 프로그램에서는 많은 앵커들이 등장하지 않고 그 수는 제한되어 있으므로, 퀄리파이드 앵커 샷 메모리에 등록 가능한 앵커 샷 그룹의 개수를 일정 개수(예컨대, 5~6개)로 한정시키면 알고리즘의 수행 성능을 저하시키지 않으면서 메모리 요구량을 제한할 수도 있다.
그러면, 도 5를 참조하여, 상기에서 설명된 바를 총괄적으로 설명해 보기로 한다. 도 5는 본 발명에 따른 실시간 진행형 뉴스 비디오 인덱싱 방법에 의하여, 뉴스 비디오 인덱싱이 실시간으로 수행되는 과정을 나타낸 순서도이다. 도 5에 도시된 바와 같이, 새로운 샷이 클러스터링 엔진으로 입력되면, [QM], [SM], [ASSCC]의 세 가지 단계를 차례로 수행하며, 이때 해당 샷의 길이가 현재 시점까지 입력되었던 샷들의 평균 길이에 반영된다.
먼저, 샷 클러스터링 알고리즘은 샷 세그멘테이션에 의해 새로운 샷(Scur)이 입력되기를 기다리며, 새로운 샷(Scur)이 존재하는 지의 여부를 판단한다(단계 501, 502). 이때, 새로운 샷(Scur)이 존재하면 단계 503으로 분기하여 [QM] 프로세스를 수행하고, 그렇지 않으면 샷 클러스터링 프로세스를 종료 시킨다.
상기 단계 503에서 [QM] 프로세스를 수행함에 있어, 새로운 샷(Scur)이 [QM] 프로세스에 입력되면, 새로 입력된 샷(Scur)과 퀄리파이드 앵커 샷 메모리에 존재하는 앵커 샷 그룹의 대표 특성 히스토그램(전역적 히스토그램과 로컬 칼라 히스토그램)과의 히스토그램 차에 기반한 이미지 차이를 구한다. 이때, 해당 차가 퀄리파이드 매칭 조건을 만족시키면 매치되었다고 하고, 단계 506으로 분기하여 퀄리파이드 앵커 샷 메모리에 등록 작업을 수행한다. 그리고, 상기 단계 503에서의 판단 결과, 퀄리파이드 매칭 조건을 만족시키지 않으면 단계 504의 [SM] 프로세스를 시도한다.
상기 단계 504에서 [SM] 프로세스를 수행함에 있어, 새로운 샷(Scur)이 [SM] 프로세스에 입력되면, 새로 입력된 샷(Scur)의 특성 히스토그램과, 서스피셔스 앵커 샷 메모리에 존재하는 후보 앵커 샷들의 특성 히스토그램과의 히스토그램 차에 기반한 이미지 차이를 구한다. 이때, 해당 차가 서스피셔스 매칭 조건을 만족시키면, 단계 506으로 분기하여 퀄리파이드 앵커 샷 메모리에 등록 작업을 수행한다. 그리고, 상기 단계 504에서의 판단 결과, 서스피셔스 매칭 조건을 만족시키지 않으면 단계 505로 분기하여 앵커 샷 시드 조건 체크(ASSCC) 과정을 수행한다.
상기 단계 505에서 [ASSCC] 프로세스를 수행함에 있어, 새로운 샷(Scur)이 [ASSCC] 프로세스에 입력되면, 입력된 샷(Scur)의 길이와 현재까지 입력된 샷들의 평균 길이에 기반하여 앵커 샷 시드 조건을 만족하는 지 여부를 체크한다. 이때, 입력된 샷(Scur)이 앵커 샷 시드 조건을 만족하면, 해당 샷을 서스피셔스 앵커 샷 메모리에 등록시키기 위하여 단계 508로 분기한다. 그리고, 상기 단계 505에서의 판단 결과, 앵커 샷 시드 조건을 만족시키지 못하면 해당 샷(Scur)은 앵커 샷이 되지 못하며, 다음 샷의 입력을 기다리기 위하여 상기 단계 501로 분기된다.
한편, 상기 단계 506에서는 퀄리파이드 앵커 샷 메모리에 입력된 샷(Scur)을 등록시키는 작업을 수행한다. 여기서, 상기 단계 506은, [QM] 프로세스 또는 [SM] 프로세스에 의해 퀄리파이드 매칭 또는 서스피셔스 매칭이 발생된 경우에 한하여 수행된다. 그리고, 새로운 샷(Scur)이 퀄리파이드 앵커 샷 등록 작업(단계 506)에 입력되면, [QM] 프로세스에 의한 수행인지 [SM] 프로세스에 의한 수행인지에 따라 그 등록 작업에 따른 수행 내역이 달라지게 된다.
이때, [QM] 프로세스에 의해 퀄리파이드 앵커 샷 등록이 수행되는 경우에는, 매치된 퀄리파이드 앵커 샷 그룹(Qm)에서 시간 순서상 제일 마지막에 추가된 샷을 Sm라 한다. 여기서, 매치된 퀄리파이드 앵커 샷 그룹(Qm)에, 새로 입력된 샷(Scur)을 추가시키고, 매치된 퀄리파이드 앵커 샷 그룹의 대표 샷을 새로 입력된 샷(Scur)으로설정하고, 서스피셔스 앵커 샷 메모리를 업데이트하기 위하여 단계 507 과정을 수행한다.
그리고, [SM] 프로세스에 의해 퀄리파이드 앵커 샷 등록이 수행되는 경우에는, 서스피셔스 앵커 샷 메모리에서 매치된 앵커 샷을 Sm이라 하면, 퀄리파이드 앵커 샷 메모리에 새로운 앵커 샷 그룹을 등록하고, Sm을 퀄리파이드 앵커 샷 메모리에 새로 등록된 앵커 샷 그룹으로 이동시키고, 새로 입력되었던 샷(Scur)도 또한 새로 등록된 퀄리파이드 앵커 샷 그룹에 추가한다. 이후, 해당 그룹의 대표 샷을 새로 입력되었던 샷(Scur)으로 설정하고, 서스피셔스 앵커 샷 메모리를 업데이트 하기 위하여 단계 507을 수행한다.
한편, 상기 단계 507에서는, 새로 입력된 샷(Scur)을 퀄리파이드 앵커 샷 메모리에 등록한 후, 서스피셔스 앵커 샷 메모리를 업데이트 하는 작업을 수행한다. [QM] 프로세스나 [SM] 프로세스에 의해 매치된 앵커 샷(Sm) 이후에 서스피셔스 앵커 샷 메모리에 입력된 샷들에 대한 정보를 서스피셔스 앵커 샷 메모리에서 삭제한다. 그리고, 상기 단계 507이 수행되면, 다음의 샷 입력을 기다리기 위하여 상기 단계 501로 분기한다. 또한, 상기 단계 508에서는, [ASSCC] 프로세스에 의해 앵커 샷 시드로 선정된 새로 입력된 샷을 서스피셔스 앵커 샷 메모리에 등록시킨 후, 다음의 샷 입력을 기다리기 위하여 상기 단계 501로 분기한다.
다음에는 샷의 상태(status) 변화에 대하여 살펴 보도록 한다.
본 발명의 뉴스 비디오 클러스터링 알고리즘에 의해 하나의 샷은 바로 퀄리파이드 앵커 샷 메모리에 등록될 수 있으며, 서스피셔스 앵커 샷 메모리에 등록될 수도 있으며, 퀄리파이드 앵커 샷 메모리나 서스피셔스 앵커 샷 메모리에 등록되지 않고 바로 거절(reject)될 수 있다. 여기서, 퀄리파이드 앵커 샷 메모리에 저장된 앵커 샷들은 앵커 샷 검증 작업을 통과한 샷들이므로 특별한 차후 프로세스가 시행되지 않는 한, 앵커 샷으로 판단되며 그 상태(status)는 불변이다.
그러나, 서스피셔스 앵커 샷 메모리에 등록된 후보 앵커 샷들은 다른 샷들의 앵커 샷 등록이나, 제한된 수의 샷들만을 서스피셔스 앵커 샷 메모리에 저장하기 위한 정책에 의해 앵커 샷 검증이 거부되어 삭제될 수도 있다. 또한, 서스피셔스 앵커 샷 메모리에 등록된 후보 앵커 샷들은, 새로 검출된 샷과의 시각적 특성 값 매치 프로세스에 의해 퀄리파이드 앵커 샷 메모리로 이동될 수도 있다. 이와 같은 본 발명에 따른 뉴스 클러스터링 알고리즘에 의한 샷의 상태 변환 과정을 도 6에 나타내었다.
다음에는, 이와 같은 알고리즘을 수행하기 위한 실시간 진행형 뉴스 비디오 인덱싱 시스템에 대해서 도 7을 참조하여 설명해 보기로 한다. 도 7은 본 발명에 따른 실시간 진행형 뉴스 비디오 인덱싱 시스템의 구성을 개략적으로 나타낸 블럭도이다. 도 7에는 뉴스 비디오 인덱싱 엔진의 핵심 모듈과 그 모듈 간의 관계가 표현되어 있다. 여기서, 실선은 데이터의 흐름을 나타낸 것이며, 점선은 제어신호의 흐름을 각각 나타낸 것이다.
도 7을 참조하여 설명하면, 본 발명에 따른 실시간 진행형 뉴스 비디오 인덱싱 시스템(700)은, 전체 클러스터링 알고리즘을 제어하기 위한 클러스터링 제어부 (701)와, 후보 앵커 샷을 임시로 저장하기 위한 서스피셔스 앵커 샷 메모리(702)와, 검증된 앵커 샷을 저장하기 위한 퀄리파이드 앵커 샷 메모리(703)와, 입력된 샷과 상기 퀄리파이드 앵커 샷 메모리(703) 내의 앵커 샷 그룹 대표 샷과의 샷 간 비유사도 측정을 담당하는 QM부(705)와, 입력된 샷과 상기 서스피셔스 앵커 샷 메모리(702) 내의 후보 앵커 샷과의 샷 간 비유사도 측정을 담당하는 SM부(706)와, 입력된 샷의 앵커 샷 시드 조건을 체크하는 역할을 담당하는 ASSCC부(707)와, 비디오 스트림으로부터 압축 도메인의 프레임 특성을 추출하는 특징소 추출부(709)와, 입력된 프레임 특징소들로부터 물리적 편집 단위인 샷을 검출하고, 해당 샷의 구간 정보와 특성 히스토그램을 샷 인덱스 입력부로 보내는 샷 인덱스 결정기(708)와, 상기 샷 인덱스 결정기(708)에 의해 새로 추출된 샷에 대한 정보를 임시 저장하고, 새로운 샷이 입력되었음을 상기 클러스터링 제어부(701)에 알리는 샷 인덱스 입력부(704) 및 상기 클러스터링 제어부(701)에 의해 디스크와 같은 저장장치에 인덱스를 구조적으로 저장하기 위한 인덱스 관리부(710)를 포함한다.
이하, 각 구성요소 간의 동작에 대하여 부연하여 설명해 보기로 한다.
도 7에서, 상기 특징소 추출부(709)는 비디오 인덱싱 시스템(700)이 인덱싱 하고자 하는 미디어에 대한 정보를 상기 클러스터링 제어부(701)로부터 받아 비디오 인덱싱에 필요한 특징소들을 추출하고 해당 데이터가 준비되면 상기 샷 인덱스 결정기(708)로 데이터를 전송한다. 이때, 상기 특징소 추출부(709)는, 빠른 전체 알고리즘의 수행을 위하여 프레임 별로 각기 다른 특징소를 추출하는데, 입력 스트림이 MPEG 콘텐트이면 I 프레임에 대하여서는 전역적 칼라히스토그램과 로컬 칼라히스토그램을 추출하고, P/B 프레임에 대하여서는 매크로블록 타입 히스토그램을 추출한다.
또한 상기 샷 인덱스 결정기(708)는, 상기 특징소 추출부(709)로부터 입력 받은 특징소들을 바탕으로 하여 샷 세그멘테이션 작업을 수행하고, 새로운 샷이 검출될 때마다 검출된 샷의 구간 정보와 샷의 특성 히스토그램 정보를 상기 샷 인덱스 입력부(704)로 전송한다. 또한, 상기 샷 인덱스 결정기(708)는 미디어에 대한 샷 세그멘테이션이 종료될 때에도 이를 상기 샷 인덱스 입력부(704)에 알린다.
이에 따라 상기 샷 인덱스 입력부(704)는, 새로운 샷이 입력되면 새로운 샷을 등록한 후, 상기 클러스터링 제어부(701)에 이를 알리며, 샷 세그멘테이션이 종료된 경우에도 종료 되었음을 상기 클러스터링 제어부(701)에 알린다.
그리고 상기 QM부(705)는, 상기 샷 인덱스 입력부(704)에 새로 입력된 샷과 상기 퀄리파이드 앵커 샷 메모리(703)에 저장되어 있는 앵커 샷 그룹의 대표 샷 간의 Qualified Matching 작업을 수행한 후, 그 결과를 상기 클러스터링 제어부(701)에 알린다.
또한 상기 SM부(706)는, 상기 샷 인덱스 입력부(704)에 새로 입력된 샷과 상기 서스피셔스 앵커 샷 메모리(702)에 저장되어 있는 후보 앵커 샷들 간의 Suspicious Matching 작업을 수행한 후, 그 결과를 상기 클러스터링 제어부(701)에 알린다.
또한 상기 ASSCC부(707)는, 상기 샷 인덱스 입력부(704)에 새로 입력된 샷의길이 정보에 기반하여, 상기 입력된 샷이 앵커 샷 Seed 조건을 만족하는 지의 여부를 판단한 후, 그 판단 결과를 상기 클러스터링 제어부(701)에 알린다.
그리고, 상기 인덱스 관리부(710)는 상기 클러스터링 제어부(701)에 의해 생성된 각각의 샷/씬에 대한 구간 정보와 각각의 샷이 앵커 샷인지 아닌 지에 대한 정보, 샷과 씬 간의 관계 정보들을 영구 저장장치인 디스크에 저장하는 역할을 담당한다.
또한 상기 클러스터링 제어부(701)는, 상기 샷 인덱스 결정기(708), 샷 인덱스 입력부(704) 등을 제어하여 특징소 추출과 샷 인덱스 추출을 제어하고, 상기 서스피셔스 앵커 샷 메모리(702), 퀄리파이드 앵커 샷 메모리(703) 등의 메모리를 제어하여 실시간 진행형 뉴스 비디오 클러스터링 알고리즘을 수행하게 한다. 그리고 상기 클러스터링 제어부(01)는, 상기 QM부(705), SM부(706), ASSCC부(707)를 제어하여 상기 샷 인덱스 입력부(704)에 입력된 새로 검출된 샷에 대하여 각각 Qualified Matching[QM], Suspicious Matching[SM], 앵커 샷 시드 조건 체크 [ASSCC] 작업을 수행하도록 제어한다. 이에 따라, 상기 클러스터링 제어부(701)는 새로운 샷이 입력될 때마다 해당 샷을 상기 서스피셔스 앵커 샷 메모리(702)에 등록시키거나, 상기 퀄리파이드 앵커 샷 메모리(703)에 등록시키거나 또는 새로 입력된 샷이 앵커 샷이 아니라고 판단한다.
또한, 상기 클러스터링 제어부(701)는 새로운 샷에 대한 상기 QM부(705), SM부(706)의 리턴 값의 종류에 따라서 상기 퀄리파이드 앵커 샷 메모리(703)와 서스피셔스 앵커 샷 메모리(704)를 업데이트한다. 또한 상기 클러스터링 제어부(701)는상기 샷 인덱스 입력부(704)에 새로운 샷이 입력되어 [QM], [SM], [ASSCC] 프로세스를 이용하여 샷의 종류를 판별한 후, 다음의 [ASSCC] 작업을 위하여 입력된 샷들의 평균 길이를 업데이트한다.
또한 상기 클러스터링 제어부(701)는, 경우에 따라 상기 서스피셔스 앵커 샷 메모리(702)와 퀄리파이드 앵커 샷 메모리(703)의 최대 크기를 제한하기 위하여, 상기 서스피셔스 앵커 샷 메모리(702)에서 시간적으로 가장 먼저 입력된 후보 앵커 샷을 주기적으로 제거하거나, 상기 퀄리파이드 앵커 샷 메모리(703)에서 시간적으로 가장 먼저 추출된 앵커 샷을 주기적으로 제거하는 역할을 담당한다.
또한 상기 클러스터링 제어부(701)는, 샷 인덱스 정보와 상기 퀄리파이드 앵커 샷 메모리(703)의 앵커 샷 정보를 상기 인덱스 관리부(710)에 전달하고, 상기 인덱스 관리부(710)가 샷/씬의 구간 정보와, 검출된 샷의 앵커 샷 여부, 샷/씬 간의 관계 등을 저장매체에 저장할 수 있도록 상기 인덱스 관리부(710)를 제어하는 역할을 담당한다.
이와 같이, 도 7에 나타낸 바와 같은, 본 발명의 뉴스 비디오 인덱싱 시스템을 이용하면, 뉴스 비디오에 대한 구조적 정보를 진행형 알고리즘을 이용하여 추출할 수 있게 된다. 즉, 샷 세그멘테이션과 앵커 샷 검출 작업이 동시에 진행될 수 있게 된다. 본 발명의 알고리즘은 비디오 아카이브(Video Archive)에 적용이 가능하며 PVR과 같은 실시간 동영상 스트림 재생/녹화 시스템에도 적용이 가능하다. PVR과 같은 동영상 스트림 재생/녹화 시스템에 본 발명의 클러스터링 알고리즘이 적용되면, 녹화, 재생, 인덱스 추출 작업이 동시에 진행될 수 있게 된다. 또한, 본발명의 알고리즘과 시스템에 의해 생성된 인덱스 정보는 키프레임 인터페이스, 구조적 정보기반 스키핑, 구조적 정보기반 스키밍 등의 NLVB(Non-linear Video Browsing)의 주요 입력 수단으로 활용이 가능하다.
이상의 설명에서와 같이 본 발명에 따른 실시간 진행형 뉴스 비디오 인덱싱 방법 및 시스템에 의하면, 뉴스 비디오에 대한 샷/씬 정보, 검출된 샷의 앵커 샷 여부, 씬/샷 간의 관계를 동시에 추출함으로써, 뉴스 비디오에 대한 키프레임 요약이나, 비디오 스키밍, 구조적 정보기반 스킵 등의 응용 프로그램의 입력으로 사용 가능한 인덱스를 제공할 수 있는 장점이 있다.
또한, 본 발명에 따른 실시간 진행형 뉴스 비디오 인덱싱 방법 및 시스템에 의하면, 샷 세그멘테이션 작업과 샷 클러스터링 작업이 동시에 수행됨으로써, PVR과 같은 실시간 동영상 스트림 재생/녹화 시스템에 적용될 수 있으며, 방송국이나 VOD 서버와 같은 비디오 아카이브(video archive)의 비디오 인덱싱 성능을 크게 향상시킬 수 있는 장점이 있다.

Claims (21)

  1. 샷 세그멘테이션 엔진을 이용하여 신규 샷을 검출하고, 상기 검출된 신규 샷의 구간 정보 및 특성 히스토그램을 검출하는 신규 샷 검출 단계와;
    상기 검출된 신규 샷에 대하여, 이전의 클러스터링 과정에 의해 등록된 퀄리파이드 앵커 샷 그룹(Qualified Anchor Shot Group)의 대표 샷들과의 샷 간 비유사도를 측정하고, 그 측정된 샷 간 비유사도를 참조하여 상기 신규 샷이 앵커 샷인 지의 여부를 판단하는 퀄리파이드 매칭(Qualified Matching) 단계와;
    상기 퀄리파이드 매칭 단계에서의 판단 결과 상기 검출된 신규 샷이 앵커 샷으로 판단되지 않는 경우에는, 상기 신규 샷에 대하여, 이전의 클러스터링 과정에서 후보 앵커 샷(Suspicious Anchor Shot)으로 등록된 샷들과의 샷 간 비유사도 측정을 측정하고, 그 측정된 샷 간 비유사도를 참조하여 상기 신규 샷이 앵커 샷인 지의 여부를 판단하는 서스피셔스 매칭(Suspicious Matching) 단계; 및
    상기 서스피셔스 매칭 단계에서의 판단 결과 상기 검출된 신규 샷이 앵커 샷으로 판단되지 않는 경우에는, 상기 신규 샷의 길이가, 클러스터링 과정에 입력된 샷들의 평균 샷의 길이보다 일정 수준 이상 크면, 상기 신규 샷을 후보 앵커 샷으로 등록하는 앵커 샷 시드 조건 체킹(Anchor Shot Seed Condition Checking) 단계; 를 포함하는 것을 특징으로 하는 실시간 진행형 뉴스 비디오 인덱싱 방법.
  2. 제 1항에 있어서, 상기 신규 샷 검출 단계에 있어,
    상기 샷 세그멘테이션 엔진은 멀티미디어 스트림을 편집 단위인 개별 샷으로 분할하여 그 구간 정보를 추출하는 것을 특징으로 하는 실시간 진행형 뉴스 비디오 인덱싱 방법.
  3. 제 1항에 있어서, 상기 신규 샷 검출 단계에 있어,
    상기 샷 세그멘테이션 엔진이 출력하는 샷 특성 히스토그램은, 해당 샷을 대표하기 위한 대표 프레임 이미지의 모든 픽셀이 반영된 전역적 칼라 히스토그램이거나, 해당 샷을 대표하기 위한 대표 프레임의 이미지의 특정 영역에 속하는 픽셀만 반영된 로컬 칼라 히스토그램인 것을 특징으로 하는 실시간 진행형 뉴스 비디오 인덱싱 방법.
  4. 제 1항에 있어서, 상기 퀄리파이드 매칭 단계에 있어,
    상기 퀄리파이드 앵커 샷 그룹은 이전의 클러스터링 과정에 의해 샷의 특성 히스토그램 간 차이가 일정 임계치 이하인 샷들의 그룹이며, 해당 앵커 샷 그룹에 속하는 샷들을 앵커 샷으로 간주하는 것을 특징으로 하는 실시간 진행형 뉴스 비디오 인덱싱 방법.
  5. 제 1항에 있어서, 상기 퀄리파이드 매칭 단계에 있어,
    상기 퀄리파이드 앵커 샷 그룹의 대표 샷은 해당 그룹의 샷들 중에서, 시간적으로 가장 나중에 검출된 샷인 것을 특징으로 하는 실시간 진행형 뉴스 비디오인덱싱 방법.
  6. 제 1항에 있어서, 상기 퀄리파이드 매칭 단계에 있어,
    샷 간 비유사도 측정은 두 샷의 특성 히스토그램 간의 차이를 이용하며, 상기 두 샷의 특성 히스토그램 간의 차이는, 두 샷의 전역적 칼라 히스토그램 간의 차이 및/또는 두 샷의 로칼 칼라 히스토그램 간의 차이인 것을 특징으로 하는 실시간 진행형 뉴스 비디오 인덱싱 방법.
  7. 제 1항에 있어서, 상기 퀄리파이드 매칭 단계에 있어,
    상기 검출된 신규 샷과 앵커 샷 그룹 간의 비유사도를 측정한 결과 그 차이가 설정된 임계치보다 작은 앵커 샷 그룹이 존재하는 경우에는, 상기 신규 샷을 해당 앵커 샷 그룹에 등록시키며, 상기 후보 앵커 샷 그룹에 등록된 샷들 중에서, 시간적으로 상기 해당 앵커 샷 그룹을 대표하는 샷의 등록 시점 이후에 등록된 후보 앵커 샷들은, 상기 후보 앵커 샷 그룹에서 삭제하는 것을 특징으로 하는 실시간 진행형 뉴스 비디오 인덱싱 방법.
  8. 제 1항에 있어서, 상기 서스피셔스 매칭 단계에 있어,
    상기 후보 앵커 샷은 이전의 앵커 샷 시드 조건 체킹 단계에 의하여 후보 앵커 샷으로 등록된 샷인 것을 특징으로 하는 실시간 진행형 뉴스 비디오 인덱싱 방법.
  9. 제 1항에 있어서, 상기 서스피셔스 매칭 단계에 있어,
    샷 간 비유사도 측정은 두 샷의 특성 히스토그램 간의 차이를 이용하며, 상기 두 샷의 특성 히스토그램 간의 차이는, 두 샷의 전역적 칼라 히스토그램 간의 차이 및/또는 두 샷의 로칼 칼라 히스토그램 간의 차이인 것을 특징으로 하는 실시간 진행형 뉴스 비디오 인덱싱 방법.
  10. 제 1항에 있어서, 상기 서스피셔스 매칭 단계에 있어,
    상기 검출된 신규 샷과 후보 앵커 샷들 간의 비유사도를 측정한 결과 그 차이가 설정된 임계치보다 작은 후보 앵커 샷이 존재하는 경우에는, 해당 후보 앵커 샷 및 상기 신규 샷을 새로운 앵커 샷 그룹으로 등록시키며, 상기 후보 앵커 샷 그룹에 등록된 샷들 중에서, 시간적으로 상기 해당 후보 앵커 샷 이후에 등록된 후보 앵커 샷들과 상기 해당 후보 앵커 샷은, 상기 후보 앵커 샷 그룹에서 삭제하는 것을 특징으로 하는 실시간 진행형 뉴스 비디오 인덱싱 방법.
  11. 입력된 샷과, 클러스터링 수행 중에 등록된 후보 앵커 샷(Suspicious Anchor Shot) 또는 퀄리파이드 앵커 샷(Qualified Anchor Shot) 간의 비유사도 계산을 수행함에 있어, 전역적 칼라 히스토그램의 차이와 로컬 칼라 히스토그램의 차이를 동시에 이용하며, 전역적 칼라 히스토그램 간 차이가 설정된 임계치(τg) 보다 작고,로컬 칼라 히스토그램 간 차이가 설정된 임계치(τl) 보다 작은 경우에는, 상기 입력된 샷을 퀄리파이드 앵커 샷으로 등록하는 것을 특징으로 하는 앵커 샷 검출 방법.
  12. 제 11항에 있어서,
    상기 전역적 칼라 히스토그램은 이미지의 모든 픽셀들이 반영된 칼라 히스토그램이며, 상기 로컬 칼라 히스토그램은 이미지의 특정 영역에 속하는 픽셀들만 반영된 칼라 히스토그램인 것을 특징으로 하는 앵커 샷 검출 방법.
  13. 제 11항에 있어서,
    상기 로컬 칼라 히스토그램은 제 1 변형 로컬 칼라 히스토그램과 제 2 변형 로컬 칼라 히스토그램으로 구별되며, 이미지를 가로 세로 각각 2 등분하여 전체적으로 4 등분하고, 이미지의 중심을 원점으로 할 때 각각의 제 1, 2, 3, 4 분면에 해당하는 히스토그램을 L1, L2, L3, L4로 정의할 때, 상기 제 1 변형 로컬 칼라 히스토그램은 L2, L3, L4를 이용하여 정규화된 히스토그램이며, 상기 제 2 변형 로컬 칼라 히스토그램은 L1, L3, L4를 이용하여 정규화된 히스토그램인 것을 특징으로 하는 앵커 샷 검출 방법.
  14. 제 13항에 있어서,
    상기 로컬 칼라 히스토그램 간 차이는, 상기 제 1 변형 로컬 칼라 히스토그램 간 차이와, 제 2 변형 로컬 칼라 히스토그램 간 차이 중에서, 작은 값을 선택하는 것을 특징으로 하는 앵커 샷 검출 방법.
  15. 제 11항에 있어서,
    상기 입력된 샷과, 등록된 후보 앵커 샷과의 전역적 칼라 히스토그램 간 차이가 설정된 임계치(τg) 보다 작고, 로컬 칼라 히스토그램 간 차이가 설정된 임계치(τl) 보다 작은 경우에는, 해당 후보 앵커 샷도 앵커 샷으로 등록하는 것을 특징으로 하는 앵커 샷 검출 방법.
  16. 비디오 스트림으로부터 압축 도메인의 프레임 특징소를 추출하는 특징소 추출부와;
    상기 특징소 추출부로부터 제공되는 프레임 특징소들로부터 물리적 편집 단위인 샷을 검출하고, 해당 샷의 구간 정보와 특성 히스토그램을 검출하는 샷 인덱스 결정기와;
    클러스터링 과정 수행에 의하여 앵커 샷으로 검증된 샷이 저장되는 퀄리파이드 앵커 샷 메모리(Qualified Anchor Shot Memory)와;
    클러스터링 과정 수행에 의하여 후보 앵커 샷(Suspicious Anchor Shot)으로 검출된 샷이 저장되는 서스피셔스 앵커 샷 메모리(Suspicious Anchor Shot Memory)와;
    입력된 샷과, 상기 퀄리파이드 앵커 샷 메모리에 저장되어 있는 앵커 샷 그룹의 대표 샷 간의 비유사도를 측정하는 퀄리파이드 매칭부(Qualified Matching Part)와;
    입력된 샷과, 상기 서스피셔스 앵커 샷 메모리에 저장되어 있는 후보 앵커 샷들 간의 비유사도를 측정하는 서스피셔스 매칭부(Suspicious Matching Part)와;
    입력된 샷과, 클러스터링 과정에 입력된 샷들의 평균 샷의 길이를 비교하여, 입력된 샷이 앵커 샷 시드 조건을 만족하는 지의 여부를 체킹하는 앵커 샷 시드 조건 체킹부(Anchor Shot Seed Condition Checking Part); 및
    상기 제 구성요소를 제어하며, 상기 퀄리파이드 매칭부와, 서스피셔스 매칭부 및 앵커 샷 시드 조건 체킹부에서 수행된 결과를 참조하여, 입력된 샷이 앵커 샷인 지의 여부를 판단하는 클러스터링 제어부; 를 포함하는 것을 특징으로 하는 실시간 진행형 뉴스 비디오 인덱싱 시스템.
  17. 제 16항에 있어서, 상기 특징소 추출부는 프레임 특징소를 추출함에 있어,
    입력되는 비디오 스트림이 MPEG 콘텐트인 경우에, I 프레임에 대해서는 전역적 칼라 히스토그램과 로컬 칼라 히스토그램을 추출하고, P/B 프레임에 대해서는 매크로블록 타입 히스토그램을 추출하는 것을 특징으로 하는 실시간 진행형 뉴스 비디오 인덱싱 시스템.
  18. 제 16항에 있어서,
    상기 클러스터링 제어부는, 상기 퀄리파이드 매칭부에서 수행되는 두 샷 간의 비유사도 측정 결과에 따라, 그 차이가 설정된 임계치보다 작은 앵커 샷 그룹이 존재하는 경우에는, 상기 입력된 샷을 상기 퀄리파이드 앵커 샷 메모리에 저장되어 있는 해당 앵커 샷 그룹에 등록시키며, 상기 서스피셔스 앵커 샷 메모리에 저장되어 있는 샷들 중에서, 시간적으로 상기 매칭된 앵커 샷 그룹을 대표하는 샷의 등록 시점 이후에 등록된 후보 앵커 샷들은, 상기 서스피셔스 앵커 샷 메모리에서 삭제시키는 것을 특징으로 하는 실시간 진행형 뉴스 비디오 인덱싱 시스템.
  19. 제 16항에 있어서,
    상기 클러스터링 제어부는, 상기 서스피셔스 매칭부에서 수행되는 두 샷 간의 비유사도 측정 결과에 따라, 그 차이가 설정된 임계치보다 작은 후보 앵커 샷이 존재하는 경우에는, 매칭된 후보 앵커 샷 및 상기 입력된 샷을 상기 퀄리파이드 앵커 샷 메모리에 새로운 앵커 샷 그룹으로 등록시키며, 상기 서스피셔스 앵커 샷 메모리에 저장되어 있는 샷들 중에서, 시간적으로 상기 매칭된 후보 앵커 샷 이후에 등록된 후보 앵커 샷들과 상기 매칭된 후보 앵커 샷은, 상기 서스피셔스 앵커 샷 메모리에서 삭제시키는 것을 특징으로 하는 실시간 진행형 뉴스 비디오 인덱싱 시스템.
  20. 제 16항에 있어서,
    상기 클러스터링 제어부는, 상기 앵커 샷 시드 조건 체킹부에서 수행되는 샷 간의 길이 비교 결과에 따라, 상기 입력된 샷의 길이가, 클러스터링 과정에 입력된 샷들의 평균 샷의 길이보다 일정 수준 이상 크면, 상기 입력된 샷을 상기 서스피셔스 앵커 샷 메모리에 등록시키는 것을 특징으로 하는 실시간 진행형 뉴스 비디오 인덱싱 시스템.
  21. 제 16항에 있어서,
    상기 클러스터링 제어부는, 상기 서스피셔스 앵커 샷 메모리와 퀄리파이드 앵커 샷 메모리의 최대 크기를 제한하여, 상기 서스피셔스 앵커 샷 메모리에서 시간적으로 가장 먼저 입력된 후보 앵커 샷을 주기적으로 삭제하거나, 상기 퀄리파이드 앵커 샷 메모리에서 시간적으로 가장 먼저 추출된 앵커 샷을 주기적으로 삭제하는 것을 특징으로 하는 실시간 진행형 뉴스 비디오 인덱싱 시스템.
KR10-2002-0028834A 2002-05-24 2002-05-24 실시간 진행형 뉴스 비디오 인덱싱 방법 및 시스템 KR100438304B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2002-0028834A KR100438304B1 (ko) 2002-05-24 2002-05-24 실시간 진행형 뉴스 비디오 인덱싱 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0028834A KR100438304B1 (ko) 2002-05-24 2002-05-24 실시간 진행형 뉴스 비디오 인덱싱 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20030090947A KR20030090947A (ko) 2003-12-01
KR100438304B1 true KR100438304B1 (ko) 2004-07-01

Family

ID=32384218

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0028834A KR100438304B1 (ko) 2002-05-24 2002-05-24 실시간 진행형 뉴스 비디오 인덱싱 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR100438304B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100612842B1 (ko) * 2004-02-28 2006-08-18 삼성전자주식회사 앵커 샷 결정방법 및 결정장치
KR100771244B1 (ko) * 2006-06-12 2007-10-29 삼성전자주식회사 동영상 데이터 처리 방법 및 장치
US9367737B2 (en) * 2012-03-19 2016-06-14 Honeywell International Inc. Floor plan space detection

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5521841A (en) * 1994-03-31 1996-05-28 Siemens Corporate Research, Inc. Browsing contents of a given video sequence
US6278446B1 (en) * 1998-02-23 2001-08-21 Siemens Corporate Research, Inc. System for interactive organization and browsing of video
KR20020075081A (ko) * 2001-03-23 2002-10-04 엘지전자 주식회사 뉴스 비디오 브라우징 시스템에서 앵커 샷 자동 검출 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5521841A (en) * 1994-03-31 1996-05-28 Siemens Corporate Research, Inc. Browsing contents of a given video sequence
US6278446B1 (en) * 1998-02-23 2001-08-21 Siemens Corporate Research, Inc. System for interactive organization and browsing of video
KR20020075081A (ko) * 2001-03-23 2002-10-04 엘지전자 주식회사 뉴스 비디오 브라우징 시스템에서 앵커 샷 자동 검출 방법

Also Published As

Publication number Publication date
KR20030090947A (ko) 2003-12-01

Similar Documents

Publication Publication Date Title
US7184100B1 (en) Method of selecting key-frames from a video sequence
Swanberg et al. Knowledge-guided parsing in video databases
KR100438269B1 (ko) 뉴스 비디오 브라우징 시스템에서 앵커 샷 자동 검출 방법
US8316301B2 (en) Apparatus, medium, and method segmenting video sequences based on topic
EP1382207B1 (en) Method for summarizing a video using motion descriptors
US5635982A (en) System for automatic video segmentation and key frame extraction for video sequences having both sharp and gradual transitions
WO2017114211A1 (zh) 用于对视频场景切换进行检测的方法和装置
US7639873B2 (en) Robust shot detection in a video
US6940910B2 (en) Method of detecting dissolve/fade in MPEG-compressed video environment
KR100729660B1 (ko) 장면 전환 길이를 이용한 디지털 비디오 인식 시스템 및 방법
EP1914994A1 (en) Detection of gradual transitions in video sequences
Kobla et al. Compressed domain video segmentation
Truong et al. Improved fade and dissolve detection for reliable video segmentation
Lan et al. A novel motion-based representation for video mining
WO1999051022A1 (en) Method of selecting key-frames from a video sequence
US20070061727A1 (en) Adaptive key frame extraction from video data
KR100438304B1 (ko) 실시간 진행형 뉴스 비디오 인덱싱 방법 및 시스템
Fernando et al. Fade-in and fade-out detection in video sequences using histograms
Hoashi et al. Shot Boundary Determination on MPEG Compressed Domain and Story Segmentation Experiments for TRECVID 2004.
Haloi et al. Unsupervised broadcast news video shot segmentation and classification
Volkmer et al. Gradual transition detection using average frame similarity
Zhu et al. Automatic scene detection for advanced story retrieval
Helm et al. Video Shot Analysis for Digital Curation and Preservation of Historical Films.
Choroś et al. Effectiveness of video segmentation techniques for different categories of videos
Toller et al. Video segmentation using combined cues

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee