KR101193549B1 - 티브이 프로그램의 에피소드 자동분할 시스템 및 그 방법 - Google Patents

티브이 프로그램의 에피소드 자동분할 시스템 및 그 방법 Download PDF

Info

Publication number
KR101193549B1
KR101193549B1 KR1020100013220A KR20100013220A KR101193549B1 KR 101193549 B1 KR101193549 B1 KR 101193549B1 KR 1020100013220 A KR1020100013220 A KR 1020100013220A KR 20100013220 A KR20100013220 A KR 20100013220A KR 101193549 B1 KR101193549 B1 KR 101193549B1
Authority
KR
South Korea
Prior art keywords
episode
icon
tagging icon
tagging
cumulative
Prior art date
Application number
KR1020100013220A
Other languages
English (en)
Other versions
KR20110093280A (ko
Inventor
김계영
주성일
안권재
김이길
김문식
손단영
Original Assignee
주식회사 케이티
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티, 숭실대학교산학협력단 filed Critical 주식회사 케이티
Priority to KR1020100013220A priority Critical patent/KR101193549B1/ko
Publication of KR20110093280A publication Critical patent/KR20110093280A/ko
Application granted granted Critical
Publication of KR101193549B1 publication Critical patent/KR101193549B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 TV 개그 프로그램의 에피소드 자동분할 시스템 및 그 방법에 관한 것으로, TV 개그 프로그램에서 각 에피소드(코너)의 태깅아이콘(영상에 코너명이 명시된 캡션)을 검출하고 검출된 에피소드를 분할하는 TV 개그 프로그램의 에피소드 자동분할 시스템 및 그 방법에 관한 것이다. 개그 프로그램의 동영상이 입력되는 입력부와; 입력된 동영상 에피소드에서 태깅아이콘을 검출하고 해당 태깅아이콘과 해당 영역에 대한 정보 및 해당 영역에 대한 누적에지맵을 결과로 출력하는 태깅아이콘 검출장치와; 상기 출력된 정보를 바탕으로 태깅아이콘의 소멸성을 검사하여 에피소드의 종료시점을 검출하고 시간적 역으로 에피소드의 시작시점을 검출하여 시작시점과 종료시점정보를 출력하는 에피소드별 자동분할장치와; 상기 출력된 시작시점과 종료시점정보가 저장되는 데이터베이스로 구성된다. 따라서, 본 발명은 입력되는 영상정보에 대한 개그 프로그램의 에피소드별 태깅아이콘을 자동으로 검출하고, 기검출된 에피소드별 태깅아이콘의 소멸성을 검사하여 에피소드별로 개그 프로그램을 의미적 단위로 자동분할하는 효과가 있다.

Description

티브이 프로그램의 에피소드 자동분할 시스템 및 그 방법{The Method and system for an episode auto segmentation of the TV program}
본 발명은 TV 개그 프로그램의 에피소드 자동분할 시스템 및 그 방법에 관한 것으로, 더욱 세부적으로는 TV 개그 프로그램에서 각 에피소드(코너)의 태깅아이콘(영상에 코너명이 명시된 캡션)을 검출하고 검출된 에피소드를 분할하는 TV 개그 프로그램의 에피소드 자동분할 시스템 및 그 방법에 관한 것이다.
동영상을 의미적인 정보단위로 나누려는 시도는 꾸준히 연구되어 왔으며, 가장 많이 시도된 방법으로는 뉴스를 의미적 정보단위로 나누는 기술이다.
뉴스를 나누는 기준은 메인 앵커가 등장하는 시점을 기준으로 각각의 의미적인 영역으로 나누게 되는데, 음성을 이용하여 화자와 화자간의 시간적 음성정보의 연속성과 불연속성을 판단하거나, 다른 방법으로는 메인 앵커가 등장하는 영상에서 메인 앵커가 등장하는 위치 및 메인 앵커의 얼굴 위치, 메인 앵커의 배경들을 프레임간의 매칭을 통해 검출하는 방법이 있다.
그러나, 음성을 이용하는 방법은 음성인식과 구문인식을 통해 두 개의 의미적인 장면이 비슷하면 하나로 묶을 수 있다는 장점이 있지만, 노이즈(Noise)에 취약한 단점이 있다.
또한, 현재까지 뉴스 프로그램은 의미적인 단위로 분할이 되어 왔으나, 개그 프로그램을 의미적인 단위로 나누려는 시도는 없었다.
등록번호제10-0763899호(명칭:앵커샷검출방법및장치)
상술한 바와 같은 문제점을 해결하기 위하여, 본 발명에서는 에피소드의 태깅아이콘을 검출하는 검출장치와, 상기 태깅아이콘의 소멸성을 검사하여 개그 프로그램을 에피소드 단위로 자동분할하는 분할장치를 이용하여, 입력되는 영상정보에 대한 개그 프로그램의 각 에피소드별 태깅아이콘을 자동으로 검출하고, 기검출된 각 에피소드별 태깅아이콘의 소멸성을 검사하여 에피소드별로 개그 프로그램을 의미적 단위로 자동분할하는 TV 개그 프로그램의 에피소드 자동분할 시스템 및 그 방법을 제공하는데 목적이 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 티브이 프로그램의 에피소드 자동분할장치는 TV 프로그램의 동영상이 입력되는 입력부; 상기 입력된 동영상으로부터 각각의 에피소드를 식별하기 위한 정보로서 상기 동영상에 지속적으로 명시되고 고유하게 부여된 태깅아이콘을 검출하는 태깅아이콘 검출부; 상기 검출된 태깅아이콘의 소멸여부를 확인하여 에피소드의 종료시점을 검출하고, 시간을 역산하여 에피소드의 시작시점을 검출하여 상기 프로그램을 에피소드별로 분할하는 에피소드별 자동분할부; 및 상기 에피소드별 자동분할부에서 검출된 에피소드의 시작시점과 종료시점을 저장하는 저장부;를 구비한다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 티브이 프로그램의 에피소드 자동분할장치는 TV 프로그램을 에피소드별로 자동적으로 분할하는 자동분할장치에 의해 수행되는 자동분할방법에 있어서, (a) TV 프로그램의 동영상이 입력되는 단계; (b) 상기 입력된 동영상으로부터 각각의 에피소드를 식별하기 위한 정보로서 상기 동영상에 지속적으로 명시되고 고유하게 부여된 태깅아이콘을 검출하는 태깅아이콘 검출단계; (c) 상기 검출된 태깅아이콘의 소멸여부를 확인하여 에피소드의 종료시점을 검출하고, 시간을 역산하여 에피소드의 시작시점을 검출하여 상기 프로그램을 에피소드별로 분할하는 에피소드별 자동분할단계; 및 (d) 상기 분할된 에피소드가 저장부에 저장되는 단계;를 갖는다.
삭제
상기한 바와 같이, 본 발명은 입력되는 영상정보에 대한 개그 프로그램의 에피소드별 태깅아이콘을 자동으로 검출하고, 기검출된 각 에피소드별 태깅아이콘의 소멸성을 검사하여 에피소드별로 개그 프로그램을 의미적 단위로 자동분할하는 효과가 있다.
또한, 상기 개그 프로그램의 에피소드 자동분할 기술에 의하면, 기존에는 IPTV 콘텐츠 제공자 측에서 TV 개그 프로그램을 하나의 콘텐츠로 서비스하였으나, 본 발명에 의하면 TV 개그 프로그램 내에 각각의 에피소드들을 하나의 콘텐츠로 하여 에피소드 단위로 서비스 할 수 있어, IPTV 사용자는 보다 다양한 방법으로 콘텐츠 서비스를 받을 수 있는 효과가 있다.
도 1은 본 발명에 따른 TV 개그 프로그램의 에피소드 자동분할 시스템의 개략적인 구성도.
도 2는 본 발명에 따른 태깅아이콘 검출장치를 구체적으로 도시한 도면.
도 3은 본 발명에 따른 에피소드별 자동분할장치를 구체적으로 도시한 도면.
도 4는 본 발명에 따른 TV 개그 프로그램의 에피소드 자동분할 방법을 나타낸 순서도.
도 5는 본 발명에 따른 누적팽창연산맵을 시각화한 참고도.
도 6은 본 발명에 따른 에피소드에서 태깅아이콘을 검출한 참고도.
도 7은 본 발명에 따른 에피소드별 자동분할 결과를 나타낸 참고도.
도 1은 본 발명에 따른 TV 개그 프로그램의 에피소드 자동분할 시스템의 개략적인 구성도이고, 도 2는 본 발명에 따른 태깅아이콘 검출장치를 구체적으로 도시한 도면이고, 도 3은 본 발명에 따른 에피소드별 자동분할장치를 구체적으로 도시한 도면이고, 도 4는 본 발명에 따른 TV 개그 프로그램의 에피소드 자동분할 방법을 나타낸 순서도이고, 도 5는 본 발명에 따른 누적팽창연산맵을 시각화한 참고도이고, 도 6은 본 발명에 따른 에피소드에서 태깅아이콘을 검출한 참고도이고, 도 7은 본 발명에 따른 에피소드별 자동분할 결과를 나타낸 참고도이다.
이하, 도면을 참고로 구성요소를 설명하면 다음과 같다.
도 1은 본 발명의 TV 개그 프로그램의 에피소드 자동분할 시스템의 개략적인 구성도로서, 입력부(10)와 태깅아이콘 검출장치(20), 에피소드별 자동분할장치(30) 및 데이터베이스(40)로 구성된다.
상기 입력부(10)로는 TV 개그 프로그램의 동영상이 입력되는데, 입력으로 쓰이는 개그 프로그램은 TV에서 방송중인 주요 개그 프로그램을 포함하며, 에피소드명이 지속적으로 영상에 고정되는 형태나 같은 위치에 표시되는 개그 프로그램 혹은 기타 프로그램의 경우까지 입력에 포함할 수 있다.
상기 에피소드는 개그 프로그램의 각 코너를 의미하는 것으로, 각 코너 화면 일측에 검출되는 태깅아이콘(영상에 코너명이 명시된 캡션)을 기준으로 각 코너를 구분하며, 본 발명에서는 상기 코너라는 용어를 에피소드로 통일시켜 기재한다.
상기 태깅아이콘 검출장치(20)는 입력부(10)로 입력된 개그 프로그램 동영상에서 에피소드별 태깅아이콘을 검출하고 해당 태깅아이콘과 해당 영역에 대한 정보 및 해당 영역에 대한 누적에지맵을 결과로 출력하는 것으로, 도 2와 같이, 상기 태깅아이콘 검출장치(20)는 전처리부(21)와 누적팽창연산맵 매칭부(22) 및 태깅아이콘 검사부(23)로 구성된다.
상기 전처리부(21)는 이전 프레임에서 생성된 팽창연산맵과 현재 프레임에 생성된 팽창연산맵의 교집합을 통해 교집합이 이루어지는 영역에 대해 누적하는 누적팽창연산맵을 생성하고, 상기 누적팽창연산맵 매칭부(22)는 상기 누적팽창연산맵을 평균적 연결성 분석을 통해 객체별로 나누고, 현재 프레임에 검출된 객체와 이전 프레임에서 검출된 객체를 공간과 지속 시간을 이용한 매칭을 수행하고, 상기 태깅아이콘 검사부(23)는 상기 매칭에 남겨진 지속된 객체 중 지속 시간과 매칭 횟수의 합이 일정값 이상이면 태깅아이콘으로 결정한다.
상기 에피소드별 자동분할장치(30)는 상기 태깅아이콘 검출장치(20)에서 출력된 정보를 바탕으로 태깅아이콘의 소멸성을 검사하여 에피소드의 종료시점을 검출하고 시간적 역으로 에피소드의 시작시점을 검출하여 시작시점과 종료시점정보를 출력하는 것으로, 도 3과 같이, 상기 에피소드별 자동분할장치(30)는 소멸성 검사부(31)와 에피소드 종료시점 검출부(32) 및 에피소드 시작시점 검출부(33)로 구성된다.
상기 소멸성 검사부(31)는 상기 태깅아이콘 검출장치(20)에서 출력된 태깅아이콘과 해당 태깅아이콘의 영역정보 및 누적에지맵을 이용하여 태깅아이콘의 소멸시점을 판단하고, 상기 에피소드 종료시점 검출부(32)는 상기 태깅아이콘의 소멸시점을 종료시점으로 결정하고, 상기 에피소드 시작시점 검출부(33)는 상기 태깅아이콘이 검출된 시점에서 시간상 역으로 태깅아이콘이 소멸되는 시점을 검출하여 시작시점으로 결정한다.
상기 데이터베이스(40)는 상기 에피소드별 자동분할장치(30)로부터 출력된 시작시점과 종료시점정보가 저장되며, 상기와 같이 저장된 에피소드(코너)별 프로그램은 IPTV 환경에서 동영상 제공자가 콘텐츠 제공 방식을 다양하게 하여 시청자의 프로그램 콘텐츠에 대한 선택의 폭을 넓혀주게 된다.
상기와 같이 구성되는 본 발명에 따른 TV 개그 프로그램의 에피소드 자동분할 방법을 도 4를 참고하여 설명하면 다음과 같다.
개그 프로그램의 동영상이 입력부(10)를 통해 입력된다(S10 단계).
상기 입력된 영상에 코너명이 명시된 캡션인 태깅아이콘을 태깅아이콘 검출장치(20)에서 검출한다(S20 단계).
상기 태깅아이콘 검출단계(S20)는 전처리부(21)에서 입력된 영상을 R,G,B 각각의 채널에 대해 Canny Edge 연산을 수행한 후 각 채널별 에지맵을 합집합 연산을 통해 최종 에지맵을 생성하고(S21 단계), 상기 생성된 에지맵을 형태학적 팽창연산을 통해 이전 프레임과 현재 프레임의 교집합 영역에 대한 누적에지맵과 누적팽창연산맵을 생성하며, 도 5에서는 상기 누적팽창연산맵을 시각화한 참고도를 도시하고 있다(S22 단계).
상기 누적팽창연산맵은 누적팽창연산맵 매칭부(22)에서 평균적 연결성 분석 및 객체별로 분리되고(S23 단계), 현재 프레임에 검출된 객체와 이전 프레임에서 검출된 객체를 공간 및 지속 시간을 조건으로 하여 매칭을 수행한다(S24 단계).
[수학식 1]
BOMER ∩ COMER = COMER (공간 조건)
│BOct - COct│≤ T (시간 조건)
상기 매칭을 수행하는 S24 단계는 상기 수학식 1의 공간 조건과 시간 조건을 이용하여 매칭을 수행하며, 여기서, BO는 이전 프레임에 기검출된 객체, CO는 현재 프레임에 검출된 객체, T는 임계값, MER 은 최소 인접 사각형, ct는 해당 객체의 지속 시간을 의미한다.
상기 매칭에 성공한 객체는 남겨두고 매칭에 실패한 객체 중 이전 프레임에 기검출된 객체는 지우고, 현재 프레임에 기검출된 객체는 남겨두며, 상기 과정에서 남겨져 지속된 객체 중 지속 시간과 매칭 횟수의 합이 일정값 이상이면 태깅아이콘으로 결정하는 과정이 태깅아이콘 검사부(23)에서 이루어지는데, 도 6은 상기 태깅아이콘을 검출한 참고도이다(S25 단계).
상기 태깅아이콘 검출장치(20)에서 검출된 태깅아이콘과 해당 영역에 대한 정보, 해당 영역에 대한 누적에지맵 결과를 에피소드별 자동분할장치(30)에서 에피소드를 분할한다(S30 단계).
상기 에피소드별 자동분할단계(S30)는 소멸성 검사부(31)에서 태깅아이콘 영역에 대응되는 누적에지맵 화소들의 합과 현재 프레임에서 얻은 에지맵에 위치적으로 대응되는 누적에지맵 화소들 합에 대한 비율을 검사하여 소멸성을 판단한다(S31 단계).
Figure 112010009599917-pat00001
상기 소멸성은 태깅아이콘 영역에 대응되는 누적에지맵 화소들의 합에 대한 비율을 검사하여 상기 수학식 2를 만족할 경우 태깅아이콘이 소멸되었다고 판단하며, 여기서, T는 임계값, R은 태깅아이콘 영역, I는 누적에지맵에 값이 존재하는 화소,
Figure 112010009599917-pat00002
는 현재 프레임의 에지맵과 누적에지맵과의 위치적으로 대응되는 누적에지맵의 화소를 의미한다.
에피소드 종료시점 검출부(32)에서는 태깅아이콘의 소멸시점을 종료시점으로 저장 후, 태깅아이콘이 검출된 시점으로 이동하고(S32 단계), 에피소드 시작시점 검출부(33)에서는 영상을 시간적 역으로 이동하면서 태깅아이콘이 소멸되는 시점을 시작시점으로 저장한다(S32 단계).
상기 시작시점과 종료시점으로 분할된 에피소드는 에피소드별 자동분할장치(30)에서 출력되어 데이터베이스(40)에 저장되는데, 도 7은 에피소드별 자동분할한 결과물이 데이터베이스(40)에 저장된 실시 예를 나타낸 것으로, 우측에는 1에피소드부터 11에피소드까지 저장된 데이터를 보여주고 있다(S40 단계).
참고로, 도 7에서는 1에피소드의 시작시점과 종료시점은 개그 프로그램 시작 후 14.66초에서부터 232초까지이고, 2에피소드의 시작시점과 종료시점은 251.72초에서부터 792초까지이며, 마지막 11에피소드의 시작시점과 종료시점은 개그 프로그램 시작 후 3166.31초에서부터 3826초까지임을 알 수 있고, 상기와 같이 저장된 각 에피소드들은 정보 제공자에 의해 개그 프로그램 전체가 아닌 각 에피소드별로 사용자에게 제공할 수 있다.
상기와 같이 데이터베이스(40)에 저장된 에피소드는 IPTV 환경에서 동영상 제공자가 콘텐츠 제공방식을 다양하게 하여 개그 프로그램 전체를 하나의 콘텐츠로 제공하는 것이 아닌, TV 개그 프로그램 내에 각각의 에피소드들을 하나의 콘텐츠로 하여 에피소드 단위로 서비스 할 수 있어, 시청자들의 콘텐츠 선택 폭을 넓혀주게 된다.
따라서, 본 발명은 에피소드의 태깅아이콘을 검출하는 검출장치와, 상기 태깅아이콘의 소멸성을 검사하여 개그 프로그램을 에피소드 단위로 자동분할하는 분할장치를 이용하여, 입력되는 영상정보에 대한 개그 프로그램의 각 에피소드별 태깅아이콘을 자동으로 검출하고, 기검출된 각 에피소드별 태깅아이콘의 소멸성을 검사하여 에피소드별로 개그 프로그램을 의미적 단위로 자동분할할 수 있다.
본 발명은 특정의 실시 예와 관련하여 도시 및 설명하였지만, 첨부된 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능하다는 것을 당업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.
10 : 입력부 20 : 태깅아이콘 검출장치
21 : 전처리부 22 : 누적팽창연산맵 매칭부
23 : 태깅아이콘 검사부 30 : 에피소드별 자동분할장치
31 : 소멸성 검사부 32 : 에피소드 종료시점 검출부
33 : 에피소드 시작시점 검출부 40 : 데이터베이스

Claims (9)

  1. TV 프로그램의 동영상이 입력되는 입력부;
    상기 입력된 동영상으로부터 각각의 에피소드를 식별하기 위한 정보로서 상기 동영상에 지속적으로 명시되고 고유하게 부여된 태깅아이콘을 검출하는 태깅아이콘 검출부;
    상기 검출된 태깅아이콘의 소멸여부를 확인하여 에피소드의 종료시점을 검출하고, 시간을 역산하여 에피소드의 시작시점을 검출하여 상기 프로그램을 에피소드별로 분할하는 에피소드별 자동분할부; 및
    상기 에피소드별 자동분할부에서 검출된 에피소드의 시작시점과 종료시점을 저장하는 저장부;를 포함하는 것을 특징으로 하는 TV 프로그램의 에피소드 자동분할장치.
  2. 제 1항에 있어서,
    상기 태깅아이콘 검출부는 검출된 태깅아이콘의 정보, 상기 태깅아이콘이 위치한 영역정보 및 상기 태깅아이콘이 위치한 영역에 대한 누적 에지맵을 출력하는 것을 특징으로 하는 TV 프로그램의 에피소드 자동분할장치.
  3. 제 1항에 있어서,
    상기 태깅아이콘 검출부는,
    이전 프레임에서 생성된 팽창연산맵과 현재 프레임에 생성된 팽창연산맵의 교집합을 통해 교집합이 이루어지는 영역에 대해 누적하는 누적팽창연산맵을 생성하는 전처리부;
    상기 누적팽창연산맵에 존재하는 객체 각각을 분리하고, 현재 프레임에 검출된 객체와 이전 프레임에서 검출된 객체를 공간조건 및 시간조건을 이용하여 매칭을 수행하는 누적팽창연산맵 매칭부; 및
    상기 매칭 과정에 남겨진 객체 중 지속 시간과 매칭 횟수의 합이 일정 값 이상이면 태깅아이콘으로 결정하는 태깅아이콘 검사부;로 구성되는 것을 특징으로 하는 TV 프로그램의 에피소드 자동분할장치.
  4. 제 1항에 있어서,
    상기 에피소드별 자동분할부는,
    상기 태깅아이콘 검출부에서 검출된 태깅아이콘, 상기 태깅아이콘이 위치한 영역정보 및 누적에지맵을 이용하여 상기 태깅아이콘의 소멸시점을 판단하는 소멸성 검사부;
    상기 태깅아이콘의 소멸시점을 종료시점으로 결정하는 에피소드 종료시점 검출부; 및
    상기 태깅아이콘이 검출된 시점에서 시간을 역산하여 상기 태깅아이콘이 소멸되는 시점을 시작시점으로 결정하는 에피소드 시작시점 검출부;를 포함하는 것을 특징으로 하는 TV 프로그램의 에피소드 자동분할장치.
  5. TV 프로그램을 에피소드별로 자동적으로 분할하는 자동분할장치에 의해 수행되는 자동분할방법에 있어서,
    (a) TV 프로그램의 동영상이 입력되는 단계;
    (b) 상기 입력된 동영상으로부터 각각의 에피소드를 식별하기 위한 정보로서 상기 동영상에 지속적으로 명시되고 고유하게 부여된 태깅아이콘을 검출하는 태깅아이콘 검출단계;
    (c) 상기 검출된 태깅아이콘의 소멸여부를 확인하여 에피소드의 종료시점을 검출하고, 시간을 역산하여 에피소드의 시작시점을 검출하여 상기 프로그램을 에피소드별로 분할하는 에피소드별 자동분할단계; 및
    (d) 상기 분할된 에피소드가 저장부에 저장되는 단계;를 포함하는 것을 특징으로 하는 TV 프로그램의 에피소드 자동분할방법.
  6. 제 5항에 있어서,
    상기 (b) 단계는,
    (b1) R,G,B 각각의 채널에 대해 캐니 에지(Canny Edge) 연산을 수행하고 각 채널별 에지맵을 합집합 연산을 통해 최종 에지맵을 생성하는 에지맵 생성단계;
    (b2) 상기 생성된 에지맵을 형태학적 팽창연산을 통해 이전 프레임과 현재 프레임의 교집합 영역에 대한 누적에지맵과 누적팽창연산맵을 생성하는 단계;
    (b3) 상기 누적팽창연산맵에 존재하는 객체 각각을 분리하는 단계;
    (b4) 이전 프레임에서 검출된 객체와 현재 프레임에서 검출된 객체를 공간조건 및 시간조건을 이용하여 매칭을 수행하는 매칭수행단계; 및
    (b5) 상기 매칭에 남겨진 객체 중 지속시간과 매칭 횟수의 값이 일정값 이상이면 태깅아이콘으로 결정하는 단계;를 포함하는 것을 특징으로 하는 TV 프로그램의 에피소드 자동분할방법.
  7. 제 6항에 있어서,
    상기 (b4) 단계는,
    하기의 수학식 A 및 하기의 수학식 B를 이용하여 매칭을 수행하는 것을 특징으로 하는 TV 프로그램의 에피소드 자동분할방법:
    [수학식 A]
    BOMER ∩ COMER = COMER (공간 조건)
    [수학식 B]
    │BOct - COct│≤ T (시간 조건)
    여기서, BO는 이전 프레임에 기검출된 객체, CO는 현재 프레임에 검출된 객체, T는 임계값, MER 은 최소 인접 사각형, ct는 해당 객체의 지속 시간을 의미한다.
  8. 제 5항에 있어서,
    상기 (c) 단계는,
    (c1) 상기 태깅아이콘이 위치하는 영역에 대응되는 누적에지맵 화소들의 합과 현재 프레임에서 얻은 에지맵에 위치적으로 대응되는 누적에지맵의 화소들 합에 대한 비율을 검사하여 상기 태깅아이콘의 소멸여부를 판단하는 소멸성 검사 단계;
    (c2) 상기 태깅아이콘의 소멸시점을 종료시점으로 저장 후, 태깅아이콘이 검출된 시점으로 이동하는 에피소드 종료시점 검출단계; 및
    (c3) 시간을 역산하여 태깅아이콘이 소멸되는 시점을 시작시점으로 저장하는 에피소드 시작시점 검출단계;를 포함하는 것을 특징으로 하는 TV 프로그램의 에피소드 자동분할방법.
  9. 제 8항에 있어서,
    상기 (c1) 단계는 하기 수학식 C를 만족할 경우 태깅아이콘이 소멸되었다고 판단하는 것을 특징으로 하는 TV 프로그램의 에피소드 자동분할방법:
    [수학식 C]
    Figure 112011044222965-pat00012

    여기서, T는 임계값, R은 태깅아이콘 영역, I는 누적에지맵에 값이 존재하는 화소,
    Figure 112011044222965-pat00013
    는 현재 프레임의 에지맵과 누적에지맵과의 위치적으로 대응되는 누적에지맵의 화소를 의미한다.
KR1020100013220A 2010-02-12 2010-02-12 티브이 프로그램의 에피소드 자동분할 시스템 및 그 방법 KR101193549B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100013220A KR101193549B1 (ko) 2010-02-12 2010-02-12 티브이 프로그램의 에피소드 자동분할 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100013220A KR101193549B1 (ko) 2010-02-12 2010-02-12 티브이 프로그램의 에피소드 자동분할 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20110093280A KR20110093280A (ko) 2011-08-18
KR101193549B1 true KR101193549B1 (ko) 2012-10-22

Family

ID=44930001

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100013220A KR101193549B1 (ko) 2010-02-12 2010-02-12 티브이 프로그램의 에피소드 자동분할 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101193549B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102153393B1 (ko) * 2013-11-18 2020-09-08 엘지디스플레이 주식회사 동영상의 실시간 로고 검출방법
JP6585327B1 (ja) * 2019-01-25 2019-10-02 株式会社東芝 エピソード管理装置、エピソード管理プログラム及びエピソード管理方法
KR102310386B1 (ko) 2020-07-14 2021-10-12 주식회사 엘지유플러스 영상 콘텐츠의 코너 구분 장치 및 그 제어방법
KR102357027B1 (ko) 2020-08-11 2022-02-07 주식회사 엘지유플러스 영상 콘텐츠의 코너 구분 장치 및 그 제어방법

Also Published As

Publication number Publication date
KR20110093280A (ko) 2011-08-18

Similar Documents

Publication Publication Date Title
KR100707189B1 (ko) 동영상의 광고 검출 장치 및 방법과 그 장치를 제어하는컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체
US7446817B2 (en) Method and apparatus for detecting text associated with video
KR101456926B1 (ko) 핑거프린트에 기반한 광고 검출 시스템 및 방법
US7880815B2 (en) Method for detecting and eliminating flash scene in digital video
US8355079B2 (en) Temporally consistent caption detection on videos using a 3D spatiotemporal method
JP2005243035A (ja) アンカーショット決定方法及び決定装置
US20100259688A1 (en) method of determining a starting point of a semantic unit in an audiovisual signal
KR101193549B1 (ko) 티브이 프로그램의 에피소드 자동분할 시스템 및 그 방법
EP2141658B1 (en) Method for detecting layout areas in a video image and method for generating a reduced size image using the detection method
CN105763884A (zh) 视频处理方法、装置及设备
KR100831132B1 (ko) 특징 영상 검출 방법 및 장치
JP2013109537A (ja) 関心度推定装置及びそのプログラム
US20160261894A1 (en) Detecting of graphical objects to identify video demarcations
JP2011203790A (ja) 画像照合装置
US20090180670A1 (en) Blocker image identification apparatus and method
KR20100019482A (ko) 비디오 세그먼트들 사이의 트랜지션을 검출하는 방법 및 장치
CN107682742B (zh) 无需转码的视频浓缩播放方法
CN108363981B (zh) 一种标题检测方法及装置
KR101436908B1 (ko) 화상 처리 장치 및 화상 처리 방법
KR101208612B1 (ko) 방송프로그램에서 본방송 프로그램을 제외한 내용의 필터링을 위한 실시간 식별 시스템 및 그 방법
KR20120044488A (ko) 티브이 옴니버스 프로그램의 에피소드 자동분할 시스템 및 그 방법
Cózar et al. Detection of logos in low quality videos
KR20190132074A (ko) 수화 방송 품질 모니터링 방법 및 장치
JPWO2013108310A1 (ja) 立体画像検査装置、立体画像処理装置、および立体画像検査方法
Gu Text detection and extraction in MPEG video sequences

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161017

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181017

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191014

Year of fee payment: 8