KR20110093280A - 티브이 프로그램의 에피소드 자동분할 시스템 및 그 방법 - Google Patents

티브이 프로그램의 에피소드 자동분할 시스템 및 그 방법 Download PDF

Info

Publication number
KR20110093280A
KR20110093280A KR1020100013220A KR20100013220A KR20110093280A KR 20110093280 A KR20110093280 A KR 20110093280A KR 1020100013220 A KR1020100013220 A KR 1020100013220A KR 20100013220 A KR20100013220 A KR 20100013220A KR 20110093280 A KR20110093280 A KR 20110093280A
Authority
KR
South Korea
Prior art keywords
episode
tagging icon
tagging
icon
cumulative
Prior art date
Application number
KR1020100013220A
Other languages
English (en)
Other versions
KR101193549B1 (ko
Inventor
김계영
주성일
안권재
김이길
김문식
손단영
Original Assignee
숭실대학교산학협력단
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단, 주식회사 케이티 filed Critical 숭실대학교산학협력단
Priority to KR1020100013220A priority Critical patent/KR101193549B1/ko
Publication of KR20110093280A publication Critical patent/KR20110093280A/ko
Application granted granted Critical
Publication of KR101193549B1 publication Critical patent/KR101193549B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 TV 개그 프로그램의 에피소드 자동분할 시스템 및 그 방법에 관한 것으로, TV 개그 프로그램에서 각 에피소드(코너)의 태깅아이콘(영상에 코너명이 명시된 캡션)을 검출하고 검출된 에피소드를 분할하는 TV 개그 프로그램의 에피소드 자동분할 시스템 및 그 방법에 관한 것이다. 개그 프로그램의 동영상이 입력되는 입력부와; 입력된 동영상 에피소드에서 태깅아이콘을 검출하고 해당 태깅아이콘과 해당 영역에 대한 정보 및 해당 영역에 대한 누적에지맵을 결과로 출력하는 태깅아이콘 검출장치와; 상기 출력된 정보를 바탕으로 태깅아이콘의 소멸성을 검사하여 에피소드의 종료시점을 검출하고 시간적 역으로 에피소드의 시작시점을 검출하여 시작시점과 종료시점정보를 출력하는 에피소드별 자동분할장치와; 상기 출력된 시작시점과 종료시점정보가 저장되는 데이터베이스로 구성된다. 따라서, 본 발명은 입력되는 영상정보에 대한 개그 프로그램의 에피소드별 태깅아이콘을 자동으로 검출하고, 기검출된 에피소드별 태깅아이콘의 소멸성을 검사하여 에피소드별로 개그 프로그램을 의미적 단위로 자동분할하는 효과가 있다.

Description

티브이 개그 프로그램의 에피소드 자동분할 시스템 및 그 방법{The Method and system for an episode auto segmentation of the TV gag program}
본 발명은 TV 개그 프로그램의 에피소드 자동분할 시스템 및 그 방법에 관한 것으로, 더욱 세부적으로는 TV 개그 프로그램에서 각 에피소드(코너)의 태깅아이콘(영상에 코너명이 명시된 캡션)을 검출하고 검출된 에피소드를 분할하는 TV 개그 프로그램의 에피소드 자동분할 시스템 및 그 방법에 관한 것이다.
동영상을 의미적인 정보단위로 나누려는 시도는 꾸준히 연구되어 왔으며, 가장 많이 시도된 방법으로는 뉴스를 의미적 정보단위로 나누는 기술이다.
뉴스를 나누는 기준은 메인 앵커가 등장하는 시점을 기준으로 각각의 의미적인 영역으로 나누게 되는데, 음성을 이용하여 화자와 화자간의 시간적 음성정보의 연속성과 불연속성을 판단하거나, 다른 방법으로는 메인 앵커가 등장하는 영상에서 메인 앵커가 등장하는 위치 및 메인 앵커의 얼굴 위치, 메인 앵커의 배경들을 프레임간의 매칭을 통해 검출하는 방법이 있다.
그러나, 음성을 이용하는 방법은 음성인식과 구문인식을 통해 두 개의 의미적인 장면이 비슷하면 하나로 묶을 수 있다는 장점이 있지만, 노이즈(Noise)에 취약한 단점이 있다.
또한, 현재까지 뉴스 프로그램은 의미적인 단위로 분할이 되어 왔으나, 개그 프로그램을 의미적인 단위로 나누려는 시도는 없었다.
등록번호제10-0763899호(명칭:앵커샷검출방법및장치)
상술한 바와 같은 문제점을 해결하기 위하여, 본 발명에서는 에피소드의 태깅아이콘을 검출하는 검출장치와, 상기 태깅아이콘의 소멸성을 검사하여 개그 프로그램을 에피소드 단위로 자동분할하는 분할장치를 이용하여, 입력되는 영상정보에 대한 개그 프로그램의 각 에피소드별 태깅아이콘을 자동으로 검출하고, 기검출된 각 에피소드별 태깅아이콘의 소멸성을 검사하여 에피소드별로 개그 프로그램을 의미적 단위로 자동분할하는 TV 개그 프로그램의 에피소드 자동분할 시스템 및 그 방법을 제공하는데 목적이 있다.
목적을 달성하기 위한 구성으로는 개그 프로그램의 동영상이 입력되는 입력부와; 입력된 동영상에서 에피소드별 태깅아이콘을 검출하고 해당 태깅아이콘과 해당 영역에 대한 정보 및 해당 영역에 대한 누적에지맵을 결과로 출력하는 태깅아이콘 검출장치와; 상기 출력된 정보를 바탕으로 태깅아이콘의 소멸성을 검사하여 에피소드의 종료시점을 검출하고 시간적 역으로 에피소드의 시작시점을 검출하여 시작시점과 종료시점정보를 출력하는 에피소드별 자동분할장치와; 상기 출력된 시작시점과 종료시점정보가 저장되는 데이터베이스로 구성된다.
목적을 달성하기 위한 방법으로는 개그 프로그램의 동영상이 입력부를 통해 입력되는 입력단계와; 상기 입력된 영상에 코너명이 명시된 캡션인 태깅아이콘을 검출하는 태깅아이콘 검출단계와; 상기 검출된 태깅아이콘과 해당 영역에 대한 정보, 해당 영역에 대한 누적에지맵 결과로 에피소드를 분할하는 에피소드별 자동분할단계와; 상기 분할된 에피소드가 출력되어 데이터베이스에 저장되는 저장단계를 포함한다.
상기한 바와 같이, 본 발명은 입력되는 영상정보에 대한 개그 프로그램의 에피소드별 태깅아이콘을 자동으로 검출하고, 기검출된 각 에피소드별 태깅아이콘의 소멸성을 검사하여 에피소드별로 개그 프로그램을 의미적 단위로 자동분할하는 효과가 있다.
또한, 상기 개그 프로그램의 에피소드 자동분할 기술에 의하면, 기존에는 IPTV 콘텐츠 제공자 측에서 TV 개그 프로그램을 하나의 콘텐츠로 서비스하였으나, 본 발명에 의하면 TV 개그 프로그램 내에 각각의 에피소드들을 하나의 콘텐츠로 하여 에피소드 단위로 서비스 할 수 있어, IPTV 사용자는 보다 다양한 방법으로 콘텐츠 서비스를 받을 수 있는 효과가 있다.
도 1은 본 발명에 따른 TV 개그 프로그램의 에피소드 자동분할 시스템의 개략적인 구성도.
도 2는 본 발명에 따른 태깅아이콘 검출장치를 구체적으로 도시한 도면.
도 3은 본 발명에 따른 에피소드별 자동분할장치를 구체적으로 도시한 도면.
도 4는 본 발명에 따른 TV 개그 프로그램의 에피소드 자동분할 방법을 나타낸 순서도.
도 5는 본 발명에 따른 누적팽창연산맵을 시각화한 참고도.
도 6은 본 발명에 따른 에피소드에서 태깅아이콘을 검출한 참고도.
도 7은 본 발명에 따른 에피소드별 자동분할 결과를 나타낸 참고도.
도 1은 본 발명에 따른 TV 개그 프로그램의 에피소드 자동분할 시스템의 개략적인 구성도이고, 도 2는 본 발명에 따른 태깅아이콘 검출장치를 구체적으로 도시한 도면이고, 도 3은 본 발명에 따른 에피소드별 자동분할장치를 구체적으로 도시한 도면이고, 도 4는 본 발명에 따른 TV 개그 프로그램의 에피소드 자동분할 방법을 나타낸 순서도이고, 도 5는 본 발명에 따른 누적팽창연산맵을 시각화한 참고도이고, 도 6은 본 발명에 따른 에피소드에서 태깅아이콘을 검출한 참고도이고, 도 7은 본 발명에 따른 에피소드별 자동분할 결과를 나타낸 참고도이다.
이하, 도면을 참고로 구성요소를 설명하면 다음과 같다.
도 1은 본 발명의 TV 개그 프로그램의 에피소드 자동분할 시스템의 개략적인 구성도로서, 입력부(10)와 태깅아이콘 검출장치(20), 에피소드별 자동분할장치(30) 및 데이터베이스(40)로 구성된다.
상기 입력부(10)로는 TV 개그 프로그램의 동영상이 입력되는데, 입력으로 쓰이는 개그 프로그램은 TV에서 방송중인 주요 개그 프로그램을 포함하며, 에피소드명이 지속적으로 영상에 고정되는 형태나 같은 위치에 표시되는 개그 프로그램 혹은 기타 프로그램의 경우까지 입력에 포함할 수 있다.
상기 에피소드는 개그 프로그램의 각 코너를 의미하는 것으로, 각 코너 화면 일측에 검출되는 태깅아이콘(영상에 코너명이 명시된 캡션)을 기준으로 각 코너를 구분하며, 본 발명에서는 상기 코너라는 용어를 에피소드로 통일시켜 기재한다.
상기 태깅아이콘 검출장치(20)는 입력부(10)로 입력된 개그 프로그램 동영상에서 에피소드별 태깅아이콘을 검출하고 해당 태깅아이콘과 해당 영역에 대한 정보 및 해당 영역에 대한 누적에지맵을 결과로 출력하는 것으로, 도 2와 같이, 상기 태깅아이콘 검출장치(20)는 전처리부(21)와 누적팽창연산맵 매칭부(22) 및 태깅아이콘 검사부(23)로 구성된다.
상기 전처리부(21)는 이전 프레임에서 생성된 팽창연산맵과 현재 프레임에 생성된 팽창연산맵의 교집합을 통해 교집합이 이루어지는 영역에 대해 누적하는 누적팽창연산맵을 생성하고, 상기 누적팽창연산맵 매칭부(22)는 상기 누적팽창연산맵을 평균적 연결성 분석을 통해 객체별로 나누고, 현재 프레임에 검출된 객체와 이전 프레임에서 검출된 객체를 공간과 지속 시간을 이용한 매칭을 수행하고, 상기 태깅아이콘 검사부(23)는 상기 매칭에 남겨진 지속된 객체 중 지속 시간과 매칭 횟수의 합이 일정값 이상이면 태깅아이콘으로 결정한다.
상기 에피소드별 자동분할장치(30)는 상기 태깅아이콘 검출장치(20)에서 출력된 정보를 바탕으로 태깅아이콘의 소멸성을 검사하여 에피소드의 종료시점을 검출하고 시간적 역으로 에피소드의 시작시점을 검출하여 시작시점과 종료시점정보를 출력하는 것으로, 도 3과 같이, 상기 에피소드별 자동분할장치(30)는 소멸성 검사부(31)와 에피소드 종료시점 검출부(32) 및 에피소드 시작시점 검출부(33)로 구성된다.
상기 소멸성 검사부(31)는 상기 태깅아이콘 검출장치(20)에서 출력된 태깅아이콘과 해당 태깅아이콘의 영역정보 및 누적에지맵을 이용하여 태깅아이콘의 소멸시점을 판단하고, 상기 에피소드 종료시점 검출부(32)는 상기 태깅아이콘의 소멸시점을 종료시점으로 결정하고, 상기 에피소드 시작시점 검출부(33)는 상기 태깅아이콘이 검출된 시점에서 시간상 역으로 태깅아이콘이 소멸되는 시점을 검출하여 시작시점으로 결정한다.
상기 데이터베이스(40)는 상기 에피소드별 자동분할장치(30)로부터 출력된 시작시점과 종료시점정보가 저장되며, 상기와 같이 저장된 에피소드(코너)별 프로그램은 IPTV 환경에서 동영상 제공자가 콘텐츠 제공 방식을 다양하게 하여 시청자의 프로그램 콘텐츠에 대한 선택의 폭을 넓혀주게 된다.
상기와 같이 구성되는 본 발명에 따른 TV 개그 프로그램의 에피소드 자동분할 방법을 도 4를 참고하여 설명하면 다음과 같다.
개그 프로그램의 동영상이 입력부(10)를 통해 입력된다(S10 단계).
상기 입력된 영상에 코너명이 명시된 캡션인 태깅아이콘을 태깅아이콘 검출장치(20)에서 검출한다(S20 단계).
상기 태깅아이콘 검출단계(S20)는 전처리부(21)에서 입력된 영상을 R,G,B 각각의 채널에 대해 Canny Edge 연산을 수행한 후 각 채널별 에지맵을 합집합 연산을 통해 최종 에지맵을 생성하고(S21 단계), 상기 생성된 에지맵을 형태학적 팽창연산을 통해 이전 프레임과 현재 프레임의 교집합 영역에 대한 누적에지맵과 누적팽창연산맵을 생성하며, 도 5에서는 상기 누적팽창연산맵을 시각화한 참고도를 도시하고 있다(S22 단계).
상기 누적팽창연산맵은 누적팽창연산맵 매칭부(22)에서 평균적 연결성 분석 및 객체별로 분리되고(S23 단계), 현재 프레임에 검출된 객체와 이전 프레임에서 검출된 객체를 공간 및 지속 시간을 조건으로 하여 매칭을 수행한다(S24 단계).
[수학식 1]
BOMER ∩ COMER = COMER (공간 조건)
│BOct - COct│≤ T (시간 조건)
상기 매칭을 수행하는 S24 단계는 상기 수학식 1의 공간 조건과 시간 조건을 이용하여 매칭을 수행하며, 여기서, BO는 이전 프레임에 기검출된 객체, CO는 현재 프레임에 검출된 객체, T는 임계값, MER 은 최소 인접 사각형, ct는 해당 객체의 지속 시간을 의미한다.
상기 매칭에 성공한 객체는 남겨두고 매칭에 실패한 객체 중 이전 프레임에 기검출된 객체는 지우고, 현재 프레임에 기검출된 객체는 남겨두며, 상기 과정에서 남겨져 지속된 객체 중 지속 시간과 매칭 횟수의 합이 일정값 이상이면 태깅아이콘으로 결정하는 과정이 태깅아이콘 검사부(23)에서 이루어지는데, 도 6은 상기 태깅아이콘을 검출한 참고도이다(S25 단계).
상기 태깅아이콘 검출장치(20)에서 검출된 태깅아이콘과 해당 영역에 대한 정보, 해당 영역에 대한 누적에지맵 결과를 에피소드별 자동분할장치(30)에서 에피소드를 분할한다(S30 단계).
상기 에피소드별 자동분할단계(S30)는 소멸성 검사부(31)에서 태깅아이콘 영역에 대응되는 누적에지맵 화소들의 합과 현재 프레임에서 얻은 에지맵에 위치적으로 대응되는 누적에지맵 화소들 합에 대한 비율을 검사하여 소멸성을 판단한다(S31 단계).
Figure pat00001
상기 소멸성은 태깅아이콘 영역에 대응되는 누적에지맵 화소들의 합에 대한 비율을 검사하여 상기 수학식 2를 만족할 경우 태깅아이콘이 소멸되었다고 판단하며, 여기서, T는 임계값, R은 태깅아이콘 영역, I는 누적에지맵에 값이 존재하는 화소,
Figure pat00002
는 현재 프레임의 에지맵과 누적에지맵과의 위치적으로 대응되는 누적에지맵의 화소를 의미한다.
에피소드 종료시점 검출부(32)에서는 태깅아이콘의 소멸시점을 종료시점으로 저장 후, 태깅아이콘이 검출된 시점으로 이동하고(S32 단계), 에피소드 시작시점 검출부(33)에서는 영상을 시간적 역으로 이동하면서 태깅아이콘이 소멸되는 시점을 시작시점으로 저장한다(S32 단계).
상기 시작시점과 종료시점으로 분할된 에피소드는 에피소드별 자동분할장치(30)에서 출력되어 데이터베이스(40)에 저장되는데, 도 7은 에피소드별 자동분할한 결과물이 데이터베이스(40)에 저장된 실시 예를 나타낸 것으로, 우측에는 1에피소드부터 11에피소드까지 저장된 데이터를 보여주고 있다(S40 단계).
참고로, 도 7에서는 1에피소드의 시작시점과 종료시점은 개그 프로그램 시작 후 14.66초에서부터 232초까지이고, 2에피소드의 시작시점과 종료시점은 251.72초에서부터 792초까지이며, 마지막 11에피소드의 시작시점과 종료시점은 개그 프로그램 시작 후 3166.31초에서부터 3826초까지임을 알 수 있고, 상기와 같이 저장된 각 에피소드들은 정보 제공자에 의해 개그 프로그램 전체가 아닌 각 에피소드별로 사용자에게 제공할 수 있다.
상기와 같이 데이터베이스(40)에 저장된 에피소드는 IPTV 환경에서 동영상 제공자가 콘텐츠 제공방식을 다양하게 하여 개그 프로그램 전체를 하나의 콘텐츠로 제공하는 것이 아닌, TV 개그 프로그램 내에 각각의 에피소드들을 하나의 콘텐츠로 하여 에피소드 단위로 서비스 할 수 있어, 시청자들의 콘텐츠 선택 폭을 넓혀주게 된다.
따라서, 본 발명은 에피소드의 태깅아이콘을 검출하는 검출장치와, 상기 태깅아이콘의 소멸성을 검사하여 개그 프로그램을 에피소드 단위로 자동분할하는 분할장치를 이용하여, 입력되는 영상정보에 대한 개그 프로그램의 각 에피소드별 태깅아이콘을 자동으로 검출하고, 기검출된 각 에피소드별 태깅아이콘의 소멸성을 검사하여 에피소드별로 개그 프로그램을 의미적 단위로 자동분할할 수 있다.
본 발명은 특정의 실시 예와 관련하여 도시 및 설명하였지만, 첨부된 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능하다는 것을 당업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.
10 : 입력부 20 : 태깅아이콘 검출장치
21 : 전처리부 22 : 누적팽창연산맵 매칭부
23 : 태깅아이콘 검사부 30 : 에피소드별 자동분할장치
31 : 소멸성 검사부 32 : 에피소드 종료시점 검출부
33 : 에피소드 시작시점 검출부 40 : 데이터베이스

Claims (8)

  1. TV 개그 프로그램의 에피소드 자동분할 시스템에 있어서,
    개그 프로그램의 동영상이 입력되는 입력부(10)와;
    입력된 동영상에서 에피소드별 태깅아이콘을 검출하고 해당 태깅아이콘과 해당 영역에 대한 정보 및 해당 영역에 대한 누적에지맵을 결과로 출력하는 태깅아이콘 검출장치(20)와;
    상기 출력된 정보를 바탕으로 태깅아이콘의 소멸성을 검사하여 에피소드의 종료시점을 검출하고 시간적 역으로 에피소드의 시작시점을 검출하여 시작시점과 종료시점정보를 출력하는 에피소드별 자동분할장치(30)와;
    상기 출력된 시작시점과 종료시점정보가 저장되는 데이터베이스(40)로 구성되는 것을 특징으로 하는 TV 개그 프로그램의 에피소드 자동분할 시스템.
  2. 제 1항에 있어서, 상기 태깅아이콘 검출장치(20)는
    이전 프레임에서 생성된 팽창연산맵과 현재 프레임에 생성된 팽창연산맵의 교집합을 통해 교집합이 이루어지는 영역에 대해 누적하는 누적팽창연산맵을 생성하는 전처리부(21)와;
    상기 누적팽창연산맵을 평균적 연결성 분석을 통해 객체별로 나누고, 현재 프레임에 검출된 객체와 이전 프레임에서 검출된 객체를 공간과 지속 시간을 이용한 매칭을 수행하는 누적팽창연산맵 매칭부(22)와;
    상기 매칭에 남겨진 지속된 객체 중 지속 시간과 매칭 횟수의 합이 일정값 이상이면 태깅아이콘으로 결정하는 태깅아이콘 검사부(23)로 구성되는 것을 특징으로 하는 TV 개그 프로그램의 에피소드 자동분할 시스템.
  3. 제 1항에 있어서, 상기 에피소드별 자동분할장치(30)는
    상기 태깅아이콘 검출장치(20)에서 출력된 태깅아이콘과 해당 태깅아이콘의 영역정보 및 누적에지맵을 이용하여 태깅아이콘의 소멸시점을 판단하는 소멸성 검사부(31)와;
    상기 태깅아이콘의 소멸시점을 종료시점으로 결정하는 에피소드 종료시점 검출부(32)와;
    상기 태깅아이콘이 검출된 시점에서 시간상 역으로 태깅아이콘이 소멸되는 시점을 검출하여 시작시점으로 결정하는 에피소드 시작시점 검출부(33)로 구성되는 것을 특징으로 하는 TV 개그 프로그램의 에피소드 자동분할 시스템.
  4. TV 개그 프로그램의 에피소드 자동분할 방법에 있어서,
    개그 프로그램의 동영상이 입력부를 통해 입력되는 입력단계(S10)와;
    상기 입력된 영상에 코너명이 명시된 캡션인 태깅아이콘을 검출하는 태깅아이콘 검출단계(S20)와;
    상기 검출된 태깅아이콘과 해당 영역에 대한 정보, 해당 영역에 대한 누적에지맵 결과로 에피소드를 분할하는 에피소드별 자동분할단계(S30)와;
    상기 분할된 에피소드가 출력되어 데이터베이스에 저장되는 저장단계(S40)를 포함하는 것을 특징으로 하는 TV 개그 프로그램의 에피소드 자동분할 방법.
  5. 제 4항에 있어서, 상기 태깅아이콘 검출단계(S20)는
    R,G,B 각각의 채널에 대해 Canny Edge 연산을 수행하고 각 채널별 에지맵을 합집합 연산을 통해 최종 에지맵을 생성하는 에지맵 생성단계(S21)와;
    상기 생성된 에지맵을 형태학적 팽창연산을 통해 이전 프레임과 현재 프레임의 교집합 영역에 대한 누적에지맵과 누적팽창연산맵을 생성하는 단계(S22)와;
    상기 누적팽창연산맵을 평균적 연결성 분석 및 객체별로 분리하는 단계(S23)와;
    이전 프레임에서 검출된 객체와 공간 및 지속 시간을 조건으로 하는 매칭수행단계(S24)와;
    지속된 객체가 일정조건을 만족하면 태깅아이콘으로 결정하는 단계(S25)를 포함하는 것을 특징으로 하는 TV 개그 프로그램의 에피소드 자동분할 방법.
  6. 제 5항에 있어서, 상기 매칭수행단계(S24)는
    BOMER ∩ COMER = COMER (공간 조건)
    │BOct - COct│≤ T (시간 조건)
    상기 공간 조건과 시간 조건의 식을 이용하여 매칭을 수행하며, 여기서, BO는 이전 프레임에 기검출된 객체, CO는 현재 프레임에 검출된 객체, T는 임계값, MER 은 최소 인접 사각형, ct는 해당 객체의 지속 시간을 의미하는 것을 특징으로 하는 TV 개그 프로그램의 에피소드 자동분할 방법.
  7. 제 4항에 있어서, 상기 에피소드별 자동분할단계(S30)는
    태깅아이콘 영역에 대응되는 누적에지맵 화소들의 합과 현재 프레임에서 얻은 에지맵에 위치적으로 대응되는 누적에지맵의 화소들 합에 대한 비율을 검사하는 소멸성 검사단계(S31)와;
    태깅아이콘의 소멸시점을 종료시점으로 저장 후, 태깅아이콘이 검출된 시점으로 이동하는 에피소드 종료시점 검출단계(S32)와;
    영상을 시간적 역으로 이동하면서 태깅아이콘이 소멸되는 시점을 시작시점으로 저장하는 에피소드 시작시점 검출단계(S32)를 포함하는 것을 특징으로 하는 TV 개그 프로그램의 에피소드 자동분할 방법.
  8. 제 7항에 있어서, 상기 소멸성 검사단계(S31)의 소멸성 판단은
    Figure pat00003

    태깅아이콘 영역에 대응되는 누적에지맵 화소들의 합에 대한 비율을 검사하여 상기 식을 만족할 경우 태깅아이콘이 소멸되었다고 판단하며, 여기서, T는 임계값, R은 태깅아이콘 영역, I는 누적에지맵에 값이 존재하는 화소,
    Figure pat00004
    는 현재 프레임의 에지맵과 누적에지맵과의 위치적으로 대응되는 누적에지맵의 화소를 의미하는 것을 특징으로 하는 TV 개그 프로그램의 에피소드 자동분할 방법.
KR1020100013220A 2010-02-12 2010-02-12 티브이 프로그램의 에피소드 자동분할 시스템 및 그 방법 KR101193549B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100013220A KR101193549B1 (ko) 2010-02-12 2010-02-12 티브이 프로그램의 에피소드 자동분할 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100013220A KR101193549B1 (ko) 2010-02-12 2010-02-12 티브이 프로그램의 에피소드 자동분할 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20110093280A true KR20110093280A (ko) 2011-08-18
KR101193549B1 KR101193549B1 (ko) 2012-10-22

Family

ID=44930001

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100013220A KR101193549B1 (ko) 2010-02-12 2010-02-12 티브이 프로그램의 에피소드 자동분할 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101193549B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150057026A (ko) * 2013-11-18 2015-05-28 엘지디스플레이 주식회사 동영상의 실시간 로고 검출방법
CN113330431A (zh) * 2019-01-25 2021-08-31 株式会社东芝 事件管理装置、事件管理程序以及事件管理方法
KR102310386B1 (ko) 2020-07-14 2021-10-12 주식회사 엘지유플러스 영상 콘텐츠의 코너 구분 장치 및 그 제어방법
KR102357027B1 (ko) 2020-08-11 2022-02-07 주식회사 엘지유플러스 영상 콘텐츠의 코너 구분 장치 및 그 제어방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150057026A (ko) * 2013-11-18 2015-05-28 엘지디스플레이 주식회사 동영상의 실시간 로고 검출방법
CN113330431A (zh) * 2019-01-25 2021-08-31 株式会社东芝 事件管理装置、事件管理程序以及事件管理方法
KR102310386B1 (ko) 2020-07-14 2021-10-12 주식회사 엘지유플러스 영상 콘텐츠의 코너 구분 장치 및 그 제어방법
KR102357027B1 (ko) 2020-08-11 2022-02-07 주식회사 엘지유플러스 영상 콘텐츠의 코너 구분 장치 및 그 제어방법

Also Published As

Publication number Publication date
KR101193549B1 (ko) 2012-10-22

Similar Documents

Publication Publication Date Title
KR100707189B1 (ko) 동영상의 광고 검출 장치 및 방법과 그 장치를 제어하는컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체
KR101456926B1 (ko) 핑거프린트에 기반한 광고 검출 시스템 및 방법
US8355079B2 (en) Temporally consistent caption detection on videos using a 3D spatiotemporal method
KR100717402B1 (ko) 멀티미디어 데이터의 장르를 판단하는 장치 및 방법
US8947600B2 (en) Methods, systems, and computer-readable media for detecting scene changes in a video
KR101193549B1 (ko) 티브이 프로그램의 에피소드 자동분할 시스템 및 그 방법
JP2005243035A (ja) アンカーショット決定方法及び決定装置
CN105763884A (zh) 视频处理方法、装置及设备
US20100259688A1 (en) method of determining a starting point of a semantic unit in an audiovisual signal
KR100831132B1 (ko) 특징 영상 검출 방법 및 장치
KR20100003233A (ko) 비디오 화상 내의 레이아웃 영역을 검출하기 위한 방법 및 검출 방법을 이용하여 감소된 크기의 화상을 생성하는 방법
JP2011203790A (ja) 画像照合装置
KR20100019482A (ko) 비디오 세그먼트들 사이의 트랜지션을 검출하는 방법 및 장치
CN107682742B (zh) 无需转码的视频浓缩播放方法
JP2016119552A (ja) 映像コンテンツ処理装置、映像コンテンツ処理方法及びプログラム
KR20120044488A (ko) 티브이 옴니버스 프로그램의 에피소드 자동분할 시스템 및 그 방법
JP2009015672A (ja) 顔検出装置及び顔検出方法
KR20190132074A (ko) 수화 방송 품질 모니터링 방법 및 장치
Cózar et al. Detection of logos in low quality videos
CN114554133B (zh) 一种信息处理方法、装置和电子设备
Gu Text detection and extraction in MPEG video sequences
KR20140052153A (ko) 화상 처리 장치 및 화상 처리 방법
KR20120053585A (ko) 방송프로그램에서 본방송 프로그램을 제외한 내용의 필터링을 위한 실시간 식별 시스템 및 그 방법
KR20180081303A (ko) 뉴스 인터뷰 영상의 오버레이 텍스트 기반 인물 인덱싱 방법 및 장치
Xu et al. A cross-media method of stakeholder extraction for news contents analysis

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161017

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181017

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191014

Year of fee payment: 8