KR20180089977A - 영상 이벤트 단위 세그멘테이션 시스템 및 그 방법 - Google Patents

영상 이벤트 단위 세그멘테이션 시스템 및 그 방법 Download PDF

Info

Publication number
KR20180089977A
KR20180089977A KR1020170014815A KR20170014815A KR20180089977A KR 20180089977 A KR20180089977 A KR 20180089977A KR 1020170014815 A KR1020170014815 A KR 1020170014815A KR 20170014815 A KR20170014815 A KR 20170014815A KR 20180089977 A KR20180089977 A KR 20180089977A
Authority
KR
South Korea
Prior art keywords
event
video
information
section
unit
Prior art date
Application number
KR1020170014815A
Other languages
English (en)
Other versions
KR102423760B1 (ko
Inventor
함경준
박재혁
조기성
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170014815A priority Critical patent/KR102423760B1/ko
Publication of KR20180089977A publication Critical patent/KR20180089977A/ko
Application granted granted Critical
Publication of KR102423760B1 publication Critical patent/KR102423760B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23103—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion using load balancing strategies, e.g. by placing or distributing content on different disks, different memories or different servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 영상 이벤트 단위 세그멘테이션 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 문자 중계 및 영상 정보를 이용하여 이벤트 단위로 중계 영상을 세그멘테이션 하는 시스템 및 그 방법에 관한 것이다.
본 발명에 따른 영상 이벤트 단위 세그멘테이션 시스템은 중계영상 및 문자중계 정보를 수신하고, 영상정보를 추출하는 정보 수집부와, 영상 내 이벤트 구간을 식별하는 이벤트 구간 식별부 및 이벤트 구간을 기초로 생성된 영상 세그먼트를 서비스하는 영상 서비스부를 포함하는 것을 특징으로 한다.

Description

영상 이벤트 단위 세그멘테이션 시스템 및 그 방법{SYSTEM AND METHOD FOR VIDEO SEGMENTATION BASED ON EVENTS}
본 발명은 영상 이벤트 단위 세그멘테이션 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 문자중계 및 영상정보를 이용하여 이벤트 단위로 중계 영상을 세그멘테이션 하는 시스템 및 그 방법에 관한 것이다.
IPTV와 OTT 시장의 확대로 방대한 양의 콘텐츠가 시청자에게 제공되고 있으며 특히 스포츠 중계는 국내 대부분의 경기와 국외 주요 경기 컨텐츠가 제공되고 있다.
이렇게 방대한 양의 스포츠 영상물에서 시청자의 콘텐츠 소비 가능 시간은 한정 되어 있기 때문에 평균적인 스포츠 콘텐츠의 재활용성은 드라마나 다큐멘터리와 같은 다른 유형의 콘텐츠에 비해 떨어지는 편이다.
또한 시청자 입장에서 원하는 팀이나 원하는 선수의 플레이만 선별하여 보고 싶어하는 수요가 있지만 일방적인 중계 방송 편성으로 인해 개인화된 서비스가 불가능한 문제점이 있다.
또한, 최근 시청자가 원하는 종목의 주요 경기 장면을 편집하여 제공하려는 서비스가 대형 포탈을 중심으로 제공되고 있으나 이는 사람이 직접 개입하여 이벤트 단위로 영상을 편집하고 태깅을 하기 때문에 제공되는 콘텐츠의 범위가 특정 선수 위주이거나 특정 경기에 몰려 있는 경우가 많은 문제점이 있다.
본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 중계 영상에 대한 시맨틱 인댁싱(semantic indexing)을 자동 수행하여, 시청자가 원하는 선수나 이벤트 유형을 선별하여 시청하도록 지원하는 것이 가능한 이벤트 단위 영상 세그멘테이션 시스템 및 그 방법을 제공하는데 그 목적이 있다.
본 발명에 따른 영상 이벤트 단위 세그멘테이션 시스템은 중계영상 및 문자중계 정보를 수신하고, 영상정보를 추출하는 정보 수집부와, 영상 내 이벤트 구간을 식별하는 이벤트 구간 식별부 및 이벤트 구간을 기초로 생성된 영상 세그먼트를 서비스하는 영상 서비스부를 포함하는 것을 특징으로 한다.
본 발명에 따른 영상 이벤트 단위 세그멘테이션 방법은 중계영상 및 문자중계 정보를 수신하는 단계와, 중계영상에서 영상정보를 추출하는 단계 및 영상정보를 이용하여 문자중계 정보에 포함되는 이벤트에 해당하는 이벤트 구간을 식별하고, 영상 세그먼트를 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 영상 이벤트 단위 세그멘테이션 시스템 및 그 방법은 샷클래스, 리플레이 구간 여부 정보뿐 아니라 카메라 패닝 정보, 경기가 진행되고 있는지 여부, 경기 시간이 영상에 표시되어 있는지 여부, 샷클래스가 현재에서 바뀌는 시점까지 소요되는 시간, 경기 진행 여부 등 다수의 자질을 이용하여 이벤트 영상 구간에 대한 식별 정확도를 향상시키는 효과가 있다.
본 발명에 따르면 영상에 대한 의미적인 색인 정보가 생성되어, 미디어 서비스 환경에서 시청자가 선호하는 선수, 팀 또는 이벤트 유형 별로 콘텐츠를 선별하여 제공하는 것이 가능한 효과가 있으며, 예컨대 득점 장면만 필터링하여 경기에 대한 하이라이트 영상 생성을 자동으로 수행하는 것이 가능한 효과가 있다.
본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 영상 이벤트 단위 세그멘테이션 시스템의 구성을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 문자 중계 정보를 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 규칙 기반 이벤트 구간 식별 과정을 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 학슴모델 기반 이벤트 구간 식별의 학습 데이터를 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 영상 이벤트 단위 세그멘테이션 방법을 나타내는 순서도이다.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.
한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.
본 발명의 바람직한 실시예를 설명하기에 앞서, 이하에서는 당업자의 이해를 돕기 위하여 본 발명이 제안된 배경을 먼저 살펴보기로 한다.
종래 기술에 따른 하이라이트 콘텐츠 구성은 경기영상을 분석하여 주요 부분을 추출하는 구성을 제안하고 있으나, 전술한 바와 같이 사람이 직접 개입하여 이벤트 단위로 영상을 편집하고 태깅함으로써, 시청자가 원하는 영상 이벤트에 대하여 개인화된 영상 서비스 제공이 불가능하고, 시청자는 오직 서비스 제공자에 의해 생성/제공되는 하이라이트 영상만을 시청할 수 있다는 한계가 있다.
본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 스포츠 중계영상에 대한 시맨틱 인덱싱을 자동 수행함으로써, 시청자가 원하는 선수나 이벤트 유형을 요청하면, 그에 대한 영상 세그먼트를 추출하여 서비스하는 것이 가능한 영상 이벤트 단위 세그멘테이션 시스템 및 그 방법을 제안한다.
일반적으로 슛과 같은 이벤트가 발생하였을 때, 영상에서 해당 이벤트에 해당하는 지점은 볼이 골대로 들어가는 한 장면이지만, 시청자가 관심있어 하는 이벤트 영상은 해당 이벤트가 발생하게 된 과정 및 발생 후의 일정 장면을 포함하고 있는 영상이라 할 것이다.
그런데, 해당 이벤트와 관련성이 적은 장면이 이벤트 영상에 포함될 경우, 사용자 만족도가 크게 하락할 것이므로, 각 이벤트에 대한 정확한 시작 지점 및 종료 지점을 식별하여 이벤트 영상을 제공하는 것이 중요하며, 이러한 기술적 과제를 달성하기 위하여 제안된 본 발명의 실시예에 대한 상세한 설명을 이하 서술하기로 한다.
도 1은 본 발명의 실시예에 따른 영상 이벤트 단위 세그멘테이션 시스템의 구성을 나타내는 도면이다.
본 발명의 실시예에 따른 영상 이벤트 단위 세그멘테이션 시스템은 문자중계로부터 이벤트 발생 시간과 내용을 추출하고, 중계영상에서 해당 지점을 찾아낸 후 이벤트 구간을 식별하여 추출함으로써, 이벤트 단위의 영상 클립을 자동으로 생성하고 이를 시청자에게 서비스한다.
본 발명의 실시예에 따른 영상 이벤트 단위 세그멘테이션 시스템은 중계영상 및 문자중계 정보를 수신하고, 영상정보를 추출하는 정보 수집부(310)와, 문자중계 정보 및 영상정보를 이용하여 영상 내 이벤트 구간을 식별하는 이벤트 구간 식별부(320) 및 이벤트 구간을 기초로 생성된 영상 세그먼트를 서비스하는 영상 서비스부(330)를 포함한다.
본 발명의 실시예에 따른 정보 수집부(310)는 영상정보 추출부(310) 및 문자중계정보 전처리부(320)를 포함하며, 비디오스트리밍 캡쳐부로(100)부터 중계영상을 수신하고, 실시간 크롤링부(200)로부터 문자중계 정보를 수신한다.
본 발명의 실시예에 따른 정보 수집부(310)는 중계영상에서 시간 정보, 샷클래스 정보 및 카메라 패닝 정보 중 적어도 어느 하나를 추출하는데, 바람직하게는 Convolutional Neural Network(CNN) 기법을 이용하여 중계 영상에서 시간 정보와 샷클래스 (코트뷰, 클로즈업) 정보를 추출하고, optical flow estimation과 flow segmentation 알고리즘을 이용하여 카메라 패닝 정보를 추출한다.
본 발명의 실시예에 따른 정보 수집부(310)는 추출된 정보를 다시 가공하여 부가적인 자질을 구성하는데, 즉 경기의 진행 여부, 경기 시간이 영상에 표시되어 있는지 여부 및 샷클래스가 바뀌는 시점에 소요되는 시간 중 적어도 어느 하나를 자질로 생성하여 영상정보를 추출한다.
본 발명의 실시예에 따른 영상 서비스부(330)는 이벤트 구간을 기초로 생성된 영상 세그먼트를 하위 비디오클립 파일로 저장하고, 해당 비디오클립 파일에 대한 이벤트 정보를 메타데이터로 저장하여 데이터베이스를 구축하며, 시청자의 선택에 따라 이벤트 단위 서비스를 TV, 태블릿 등의 사용자 단말(400)로 제공한다.
본 발명의 실시예에 따른 정보 수집부(310)가 수신하는 문자중계 정보는 도 2에 도시된 바와 같이, 이벤트 발생 시각 및 어떤 선수가 어떤 행동을 하였는지(농구의 경우 득점, 리바운드, 어시스트, 반칙, 교체 등)에 대한 정보를 포함한다.
본 발명의 실시예에 따른 정보 수집부(310)는 중계영상으로부터 영상정보를 추출하게 되는데, 이는 후술하는 이벤트 구간 식별부(320)가 이벤트의 시작 지점 및 종료 지점을 정확하게 식별하도록 하기 위한 것이다.
하나의 이벤트에 대하여 해당 영상 구간을 정확히 찾아내기 위한 가장 기본적인 정보는 경기 시각이다.
즉, 도 2에 도시한 문자중계 정보의 예에서 볼 수 있듯이, 모든 이벤트는 발생 시각이 있기 때문에, 영상에서 숫자 인식 기법을 활용하여 해당 발생 시간이 노출되는 지점을 찾는 것이 가능하다.
그런데, 시청자는 해당 이벤트가 벌어진 과정 및 이벤트 후 일정 장면을 보고 싶어하는 경향이 있으므로, 해당 이벤트가 발생한 과정과 발생 후의 일정 장면도 그 이벤트의 구간에 포함되어야 하며, 해당 이벤트와 관련도가 적은 장면이 포함되는 경우에는 사용자의 만족도가 낮아질 것이므로, 이벤트의 시작 및 종료 지점을 정확히 식별하는 것이 중요한 과제이다.
실제 문자중계 상의 이벤트 발생 시각과 실제 경기에서의 발생 시각은 1 내지 3초 정도의 오차가 있으므로, 이벤트의 시작 지점과 종료 지점은 이벤트 별로 상이하다.
따라서 본 발명의 실시예에 따르면, 이벤트 구간을 자동으로 찾아내기 위하여 스포츠 중계 방송의 일반적인 제작 규칙을 활용한다.
예를 들어, 농구 경기에서 대부분의 슛이나 골 이벤트 이후에는 카메라가 코트뷰 샷에서 클로즈업 샷으로 전환되어 해당 플레이어를 비추는 경우가 많다.
또한 많은 이벤트가 골대가 있는 코트의 양 끝에서 발생하는데, 이때 카메라의 패닝(panning, 동체의 속도나 진행방향에 맞춰서 카메라를 이동시키면서 촬영하는 기법)이 거의 없거나 느리게 발생한다.
또한 경기 시각이 멈추거나 사라지는 경우 경기 진행이 중단된 경우이므로 이벤트 구간 선정 시 해당 부분을 필터링함이 바람직하다.
본 발명의 실시예에 따르면 규칙을 이용한 이벤트 구간 식별과 기계학습 알고리즘(예: CRFs)를 이용하여 이벤트 구간 식별함을 조합하였으며, 해당 학습 모델에는 전술한 방송 제작 규칙이 자연스럽게 녹아 들어가게 된다.
도 3은 본 발명의 실시예에 따른 규칙 기반 이벤트 구간 식별 과정을 나타내는 도면이고, 도 4는 본 발명의 실시예에 따른 학슴모델 기반 이벤트 구간 식별의 학습 데이터를 나타내는 도면이다.
본 발명의 실시예에 따른 이벤트 구간 식별부(320)는 규칙 및 학습모델을 기반으로 상기 영상 내 이벤트 구간을 식별하되, 이벤트 시작 지점 및 종료 지점에 대하여 가중치와 평균값을 이용하여 이벤트 구간을 식별한다.
학습모델은 중계영상에서 추출된 영상정보를 자질로 사용하여 구축되는데, 이는 도 4에 대한 상세한 설명으로 후술하기로 하고, 이하에서는 도 3을 참조하여 규칙 기반 이벤트 구간 식별 과정을 설명한다.
본 발명의 실시예에 따른 이벤트 구간 식별부(320)는 문자중계 정보에 기초하여 문자 중계 상의 경기 시각에 해당되는 지점을 찾되, 문자중계 정보의 오류를 고려한다.
전술한 바와 같이, 보통 문자 중계의 이벤트 발생 시각은 실제 경기에서의 발생 시각 대비 1 내지 3초 정도 느린데, 예컨대 문자 중계에서 11분 40초에 발생된 이벤트는 보통 실제 영상에서는 11분 42초 내지 44초에 발생된다.
본 발명의 실시예에 따른 이벤트 구간 식별부(320)는 이러한 문자중계 정보의 경기시각에 대한 오류를 감안하여, 중계영상에서 해당 경기시각의 지점을 인식한다.
본 발명의 실시예에 따른 이벤트 구간 식별부(320)는 인식 지점을 기준으로 기설정된 전후 시간을 적용하여 1차 이벤트 구간을 정의한다.
도 3을 참조하면, 인식 지점을 기준으로 15초 전과 5초 후를 1차 이벤트 구간으로 정의하게 되는데, 이는 이벤트 발생 과정을 주로 포함하고 이벤트 발생 후의 구간은 부차적으로 포함하기 위함이다.
본 발명의 실시예에 따른 이벤트 구간 식별부(320)는 영상정보 중 샷클래스 정보를 이용하여 1차 이벤트 구간 내 일부 영역이 제거된 2차 이벤트 구간을 정의한다.
즉, 이벤트 구간 식별부(320)는 1차 이벤트 구간에 대해 각 프레임마다 추출된 샷클래스 정보를 이용하여 구간 경계 부분에 클로즈업 샷클래스가 포함되어 있다면 그 부분을 제거하여 2차 이벤트 구간을 정의한다.
대부분의 스포츠 중계 방송에서 경기가 진행될 때에는 파샷(far-shot)이며, 경기가 잠시 중단되거나 이벤트가 발생하였을 때는 특정 선수를 클로즈업 하여 보여주는 경우가 있다.
본 발명의 실시예에 따른 이벤트 구간 식별부(320)는 이러한 방송 제작 페턴을 고려하여 1차 이벤트 구간을 정교하게 다듬어 2차 이벤트 구간을 정의한다.
본 발명의 실시예에 따른 이벤트 구간 식별부(320)는 영상정보 중 카메라 패닝 정보를 이용하여 2차 이벤트 구간 내 일부 영역이 제거된 최종 이벤트 구간을 선정한다.
이 때, 이벤트 구간 식별부(320)는 2차 이벤트 구간에 대하여 카메라 패닝 정보를 이용하여 카메라 패닝이 구간 경계 부근에서 급속히 증가하였다면 그 부분을 제거하여 최종 이벤트 구간을 선정한다.
예컨대 농구 경기에서 대부분의 이벤트는 양 쪽 골대 부근에서 발생하고 이 때의 카메라 패닝은 거의 발생하지 않는다.
패닝이 발생하였다는 것은 선수들이 왼쪽에서 오른쪽(혹은 그 반대)으로 이동했음을 의미하므로 이러한 구간을 제거하면 이벤트의 시작과 종료 지점을 보다 정확하게 찾아내는 것이 가능하다.
다른 실시예로서, 본 발명의 실시예에 따른 이벤트 구간 식별부(320)는 카메라 패닝이 발생한 경우에도, 카메라 패닝이 발생한 시점과 이벤트 발생 시점이 기설정된 시간 이내인 경우, 카메라 패닝이 급속하게 증가한 부분이라 하더라도 제거하지 않은 채, 최종 이벤트 구간을 선정한다.
예를 들어 농구 경기에서 속공이 성공한 경우, 카메라 패닝은 급속하게 증가하였지만, 그 카메라 패닝이 급속하게 증가한 부분과 이벤트 발생 시점이 기설정된 시간 이내(예: 1.5초)이므로, 이를 선수들의 이동에 따른 불필요한 장면이 아니라 이벤트와 연관된 주요 장면으로 판별하는 것이다.
이하에서는 도 4를 참조하여 학습모델 기반 이벤트 구간 식별 과정을 설명한다.
본 발명의 실시예에 따르면, 학습모델을 구축하기 위해 중계 영상에서 영상정보(시간 정보, 샷클래스 정보, 카메라 패닝 정보 등)를 자질로 사용한다.
또한, 추가적인 자질로서, 경기가 진행되고 있는지 여부, 경기시간이 영상에 표시되어 있는지 여부, 샷클래스가 현재에서 바뀌는 시점까지 소요되는 시간을 이용하여 학습 데이터를 구축한다.
본 발명의 실시예에 따른 기계학습알고리즘인 CRFs를 학습하기 위한 하나의 프레임에 대한 학습 데이터는 도 4에 도시한 바와 같다.
도 4를 참조하면, time은 현재 프레임의 시간정보를 나타내며, -1은 경기시간이 없는 경우를 의미하고, ##:##은 경기 시간을 의미한다.
panning은 현재프레임과 다음프레임을 비교하여 카메라 패닝 정도를 수치화 한 값을 나타낸다.
shotcls는 현재프레임의 샷클래스 정보를 나타내며, far는 파샷을, close는 클로즈업샷을 의미한다.
board는 현재 프레임에 경기시간이 표시되어 있는지 여부를 나타낸다.
isStop은 현재 프레임과 1초 후의 프레임을 비교하여 경기시간이 멈춤 여부를 나타낸다.
close2far는 현재 프레임이 클로즈업이라면 파샷 프레임이 나올때까지의 영상 길이를 나타내고, far2close: 현재 프레임이 파샷이라면 클로즈업 프레임이 나올때까지의 영상 길이를 나타낸다.
'-#'이 앞에 붙은 항목은 이전 #번째 프레임의 정보를 나타내며, '#'이 앞에 붙은 항목은 이후 #번째 프레임의 정보임을 나타낸다.
출력순열은 현재 프레임이 이벤트 구간에 해당되는지 여부를 나타내며, none은 일반영상을, yes는 이벤트구간임을 의미한다.
CRFs는 조건부 확률을 최대화하기 위해 훈련된, 방향성이 없는 그래프 모델로서, 매개변수 Λ={λ,…}를 갖는 선형 체인 CRFs는 아래 [수학식 1]과 같이 입력 순열 x가 주어졌을 때 레이블 확률 변수 y에 대한 조건부 확률로 정의된다.
Figure pat00001
여기서 Zx는 입력 데이터 열에 대한 레이블 열의 확률값의 합이 1이 되도록 하는 정규화 상수이다.
전술한 바와 같이, 본 발명의 실시예에 따른 이벤트 구간 식별부(320)는 규칙 및 학습모델 기반의 이벤트 구간 식별을 조합하는 것으로, 규칙 기반 및 학습모델 기반으로 식별된 이벤트 구간의 시작 및 종료 지점에 대하여 가중치, 평균값을 이용하여 최종 이벤트 구간을 식별하여, 식별 정확도를 높인다.
도 5는 본 발명의 실시예에 따른 영상 이벤트 단위 세그멘테이션 방법을 나타내는 순서도이다.
본 발명의 실시예에 따른 영상 이벤트 단위 세그멘테이션 방법은 중계영상 및 문자중계 정보를 수신하는 단계(S100)와, 중계영상에서 영상정보를 추출하는 단계(S200) 및 영상정보를 이용하여 문자중계 정보에 포함되는 이벤트에 해당하는 이벤트 구간을 식별하고 영상 세그먼트를 생성하는 단계(S300)를 포함한다.
S100 단계는 비디오스트리밍 캡쳐부로부터 중계영상을 수신하고, 실시간 크롤링을 통해 문자중계 정보를 수신하는 단계이다.
S200 단계는 시간 정보, 샷클래스 정보 및 카메라 패닝 정보 중 적어도 어느 하나를 추출하고, 추출된 정보를 가공하여 경기의 진행 여부, 경기 시간이 영상에 표시되어 있는지 여부 및 샷클래스가 바뀌는 시점에 소요되는 시간 중 적어도 어느 하나를 자질로 생성하여 영상정보를 추출한다.
S300 단계는 S200 단계에서 추출된 영상정보를 자질로 사용하여 구축된 학습모델 및 규칙 기반으로 이벤트 구간을 식별하는 것으로, 규칙 기반 및 학습모델 기반 이벤트 구간 식별을 조합하여 최종 이벤트 구간을 선정하는 단계이다.
S300 단계는 문자중계 정보의 오류를 고려하여, 중계영상 중 문자중계 상의 경기 시간에 해당되는 지점을 찾고, 이를 기준으로 이벤트 구간을 식별한다.
실제 문자중계 상의 이벤트 발생 시각과 실제 경기에서의 발생 시각은 1 내지 3초 정도의 오차가 있으므로, S300 단계는 이러한 문자중계의 오류를 고려하여 이벤트의 발생 지점을 인식한다.
S300 단계는 이벤트 발생 인식 지점을 기준으로 기설정된 전후 시간(예: 전 15초, 후 5초)을 적용하여 1차 이벤트 구간을 정의하며, 샷클래스 정보를 이용하여 1차 이벤트 구간 내 클로즈업 샷클래스가 포함된 일부 영역이 제거된 2차 이벤트 구간을 정의한다.
또한, S300 단계는 카메라 패닝 정보를 이용하여 2차 이벤트 구간 내 카메라 패닝이 구간 경계 부근에서 기설정된 값보다 급속히 증가하는 부분이 제거된 최종 이벤트 구간을 선정한다.
S300 단계는 이벤트 식별 결과를 이용하여 생성된 영상 세그먼트를 하위 비디오클립 파일로 저장하여, 시청자의 선택에 따라 이벤트 단위 서비스를 제공하며, 비디오클립파일에 대한 이벤트 정보를 메타데이터로 저장하여 데이터베이스를 구축한다.
이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 비디오 스트리밍 캡쳐부 200: 실시간 크롤링부
310: 정보 수집부 311: 영상정보 추출부
312: 문자중계정보 전처리부 320: 이벤트 구간 식별부
330: 영상 서비스부 400: 시청자 단말

Claims (20)

  1. 중계영상 및 문자중계 정보를 수신하고, 영상정보를 추출하는 정보 수집부;
    상기 문자중계 정보 및 영상정보를 이용하여 영상 내 이벤트 구간을 식별하는 이벤트 구간 식별부; 및
    상기 이벤트 구간을 기초로 생성된 영상 세그먼트를 서비스하는 영상 서비스부
    를 포함하는 영상 이벤트 단위 세그멘테이션 시스템.
  2. 제1항에 있어서,
    상기 정보 수집부는 비디오스트리밍 캡쳐부로부터 상기 중계영상을 수신하고, 실시간 크롤링부로부터 상기 문자중계 정보를 수신하는 것
    인 영상 이벤트 단위 세그멘테이션 시스템.
  3. 제1항에 있어서,
    상기 정보 수집부는 상기 중계영상에서 시간 정보, 샷클래스 정보 및 카메라 패닝 정보 중 적어도 어느 하나를 추출하는 것
    인 영상 이벤트 단위 세그멘테이션 시스템.
  4. 제3항에 있어서,
    상기 정보 수집부는 추출된 정보를 가공하여 경기의 진행 여부, 경기 시간이 영상에 표시되어 있는지 여부 및 샷클래스가 바뀌는 시점에 소요되는 시간 중 적어도 어느 하나를 자질로 생성하여 상기 영상정보를 추출하는 것
    인 영상 이벤트 단위 세그멘테이션 시스템.
  5. 제1항에 있어서,
    상기 이벤트 구간 식별부는 규칙 및 학습모델을 기반으로 상기 영상 내 이벤트 구간을 식별하되, 이벤트 시작 지점 및 종료 지점에 대하여 가중치와 평균값을 이용하여 상기 이벤트 구간을 식별하고, 상기 학습모델은 상기 중계영상에서 추출된 상기 영상정보를 자질로 사용하여 구축되는 것
    인 영상 이벤트 단위 세그멘테이션 시스템.
  6. 제1항에 있어서,
    상기 이벤트 구간 식별부는 상기 문자중계 정보의 오류를 고려하여, 상기 중계영상 중 문자중계 상의 경기 시간에 해당되는 지점을 찾고, 인식 지점을 기준으로 이벤트 구간을 정의하는 것
    인 영상 이벤트 단위 세그멘테이션 시스템.
  7. 제6항에 있어서,
    상기 이벤트 구간 식별부는 상기 영상정보를 이용하여 상기 이벤트 구간에 대하여 최종 이벤트 구간을 선정하는 것
    인 영상 이벤트 단위 세그멘테이션 시스템.
  8. 제7항에 있어서,
    상기 이벤트 구간 식별부는 상기 인식 지점을 기준으로 기설정된 전후 시간을 적용하여 1차 이벤트 구간을 정의하며, 샷클래스 정보를 이용하여 상기 1차 이벤트 구간 내 일부 영역이 제거된 2차 이벤트 구간을 정의하고, 카메라 패닝 정보를 이용하여 상기 2차 이벤트 구간 내 일부 영역이 제거된 최종 이벤트 구간을 선정하는 것
    인 영상 이벤트 단위 세그멘테이션 시스템.
  9. 제8항에 있어서,
    상기 이벤트 구간 식별부는 상기 1차 이벤트 구간에서 클로즈업 샷클래스가 포함된 부분을 제거하여 상기 2차 이벤트 구간을 정의하는 것
    인 영상 이벤트 단위 세그멘테이션 시스템.
  10. 제8항에 있어서,
    상기 이벤트 구간 식별부는 상기 제2차 이벤트 구간에서 카메라 패닝이 구간 경계 부근에서 기설정된 값보다 급속히 증가하는 부분을 제거하여 상기 최종 이벤트 구간을 선정하는 것
    인 영상 이벤트 단위 세그멘테이션 시스템.
  11. 제1항에 있어서,
    상기 영상 서비스부는 상기 이벤트 구간을 기초로 생성된 영상 세그먼트를 하위 비디오클립 파일로 저장하고, 해당 비디오클립 파일에 대한 이벤트 정보를 메타데이터로 저장하여 데이터베이스를 구축하며, 시청자의 선택에 따라 이벤트 단위 서비스를 제공하는 것
    인 영상 이벤트 단위 세그멘테이션 시스템.
  12. (a) 중계영상 및 문자중계 정보를 수신하는 단계;
    (b) 상기 중계영상에서 영상정보를 추출하는 단계; 및
    (c) 상기 영상정보를 이용하여, 상기 문자중계 정보에 포함되는 이벤트에 해당하는 이벤트 구간을 식별하고, 영상 세그먼트를 생성하는 단계
    를 포함하는 영상 이벤트 단위 세그멘테이션 방법.
  13. 제12항에 있어서,
    상기 (a) 단계는 실시간 크롤링을 통해 상기 문자중계 정보를 수신하는 것
    인 영상 이벤트 단위 세그멘테이션 방법.
  14. 제12항에 있어서,
    상기 (b) 단계는 시간 정보, 샷클래스 정보 및 카메라 패닝 정보 중 적어도 어느 하나를 추출하고, 추출된 정보를 가공하여 경기의 진행 여부, 경기 시간이 영상에 표시되어 있는지 여부 및 샷클래스가 바뀌는 시점에 소요되는 시간 중 적어도 어느 하나를 자질로 생성하여 상기 영상정보를 추출하는 것
    인 영상 이벤트 단위 세그멘테이션 방법.
  15. 제12항에 있어서,
    상기 (c) 단계는 상기 중계영상에서 추출된 상기 영상정보를 자질로 사용하여 구축된 학습모델 및 규칙 기반으로 상기 이벤트 구간을 식별하는 것
    인 영상 이벤트 단위 세그멘테이션 방법.
  16. 제15항에 있어서,
    상기 (c) 단계는 상기 문자중계 정보의 오류를 고려하여, 상기 중계영상 중 문자중계 상의 경기 시간에 해당되는 지점을 찾고, 이를 기준으로 이벤트 구간을 식별하는 것
    인 영상 이벤트 단위 세그멘테이션 방법.
  17. 제15항에 있어서,
    상기 (c) 단계는 이벤트 발생 인식 지점을 기준으로 기설정된 전후 시간을 적용하여 1차 이벤트 구간을 정의하며, 샷클래스 정보를 이용하여 상기 1차 이벤트 구간 내 일부 영역이 제거된 2차 이벤트 구간을 정의하고, 카메라 패닝 정보를 이용하여 상기 2차 이벤트 구간 내 일부 영역이 제거된 최종 이벤트 구간을 선정하는 것
    인 영상 이벤트 단위 세그멘테이션 방법.
  18. 제17항에 있어서,
    상기 (c) 단계는 상기 1차 이벤트 구간에서 클로즈업 샷클래스가 포함된 부분을 제거하여 상기 2차 이벤트 구간을 정의하하고, 상기 제2차 이벤트 구간에서 카메라 패닝이 구간 경계 부근에서 기설정된 값보다 급속히 증가하는 부분을 제거하여 상기 최종 이벤트 구간을 선정하는 것
    인 영상 이벤트 단위 세그멘테이션 방법.
  19. 제12항에 있어서,
    상기 (c) 단계는 이벤트 식별 결과를 이용하여 생성된 상기 영상 세그먼트를 하위 비디오클립 파일로 저장하여, 시청자의 선택에 따라 이벤트 단위 서비스를 제공하는 것
    인 영상 이벤트 단위 세그멘테이션 방법.
  20. 제19항에 있어서,
    상기 (c) 단계는 상기 비디오클립파일에 대한 이벤트 정보를 메타데이터로 저장하여 데이터베이스를 구축하는 것
    인 영상 이벤트 단위 세그멘테이션 방법.
KR1020170014815A 2017-02-02 2017-02-02 영상 이벤트 단위 세그멘테이션 시스템 및 그 방법 KR102423760B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170014815A KR102423760B1 (ko) 2017-02-02 2017-02-02 영상 이벤트 단위 세그멘테이션 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170014815A KR102423760B1 (ko) 2017-02-02 2017-02-02 영상 이벤트 단위 세그멘테이션 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20180089977A true KR20180089977A (ko) 2018-08-10
KR102423760B1 KR102423760B1 (ko) 2022-07-22

Family

ID=63229751

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170014815A KR102423760B1 (ko) 2017-02-02 2017-02-02 영상 이벤트 단위 세그멘테이션 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102423760B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210073423A (ko) * 2019-12-10 2021-06-18 주식회사 엔비티 라이브 영상 퀴즈를 이용한 상품 판매 장치 및 방법
KR102336480B1 (ko) 2021-03-04 2021-12-07 주식회사 스누아이랩 자동 세그먼트 분류를 위한 영상처리장치 및 그 장치의 구동방법
WO2024080543A1 (ko) * 2022-10-11 2024-04-18 삼성전자 주식회사 비디오 서머리를 생성하는 전자 장치 및 그 동작 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
'Using Webcast Text for Semantic Event Detection in Broadcast Sports Video',IEEE TRANSACTIONS ON MULTIMEDIA(2008.11.07.)* *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210073423A (ko) * 2019-12-10 2021-06-18 주식회사 엔비티 라이브 영상 퀴즈를 이용한 상품 판매 장치 및 방법
KR102336480B1 (ko) 2021-03-04 2021-12-07 주식회사 스누아이랩 자동 세그먼트 분류를 위한 영상처리장치 및 그 장치의 구동방법
WO2024080543A1 (ko) * 2022-10-11 2024-04-18 삼성전자 주식회사 비디오 서머리를 생성하는 전자 장치 및 그 동작 방법

Also Published As

Publication number Publication date
KR102423760B1 (ko) 2022-07-22

Similar Documents

Publication Publication Date Title
CN107615766B (zh) 用于创建和分配多媒体内容的系统和方法
US9124856B2 (en) Method and system for video event detection for contextual annotation and synchronization
CN109145784B (zh) 用于处理视频的方法和装置
CN106162223B (zh) 一种新闻视频切分方法和装置
CN110769314B (zh) 一种视频播放方法、装置和计算机可读存储介质
CN111757170B (zh) 一种视频分段和标记的方法及装置
US7312812B2 (en) Summarization of football video content
US7120873B2 (en) Summarization of sumo video content
EP3010235B1 (en) System and method for detecting advertisements on the basis of fingerprints
CN112312142B (zh) 视频播放控制方法、装置和计算机可读存储介质
CN101112090B (zh) 视频内容回放辅助方法、系统和信息分发服务器
CN111757147B (zh) 一种赛事视频结构化的方法、装置及系统
JP2010072708A (ja) 顔識別特徴量登録装置、顔識別特徴量登録方法、顔識別特徴量登録プログラム及び記録媒体
US20230179778A1 (en) Information processing apparatus, information processing method, and program
CN110769279B (zh) 视频处理方法和装置
KR20180093582A (ko) 엔드투엔드 학습에 기반한 영상 이벤트 구간 인덱싱 방법 및 장치
KR20180089977A (ko) 영상 이벤트 단위 세그멘테이션 시스템 및 그 방법
CN111787338A (zh) 一种体育赛事直播方案辅助设计方法
CN111741325A (zh) 视频播放方法、装置、电子设备及计算机可读存储介质
CN112287771A (zh) 用于检测视频事件的方法、装置、服务器和介质
US8300894B2 (en) Method for decomposition and rendering of video content and user interface for operating the method thereof
KR102144978B1 (ko) 영상의 쇼트 분류를 이용한 사용자 맞춤형 영상 추천 시스템
US7974440B2 (en) Use of statistical data in estimating an appearing-object
JP2010028651A (ja) 識別モデル再構築装置、識別モデル再構築方法及び識別モデル再構築プログラム
US20220262099A1 (en) Learning data generation device, learning device, identification device, generation method and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant