KR102219250B1 - 영상 제공 방법 및 이를 이용한 영상 제공 장치 - Google Patents

영상 제공 방법 및 이를 이용한 영상 제공 장치 Download PDF

Info

Publication number
KR102219250B1
KR102219250B1 KR1020180131221A KR20180131221A KR102219250B1 KR 102219250 B1 KR102219250 B1 KR 102219250B1 KR 1020180131221 A KR1020180131221 A KR 1020180131221A KR 20180131221 A KR20180131221 A KR 20180131221A KR 102219250 B1 KR102219250 B1 KR 102219250B1
Authority
KR
South Korea
Prior art keywords
overlay
broadcast
image
displayed
game
Prior art date
Application number
KR1020180131221A
Other languages
English (en)
Other versions
KR20200048772A (ko
Inventor
서주현
최재국
Original Assignee
주식회사 아프리카티비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아프리카티비 filed Critical 주식회사 아프리카티비
Priority to KR1020180131221A priority Critical patent/KR102219250B1/ko
Publication of KR20200048772A publication Critical patent/KR20200048772A/ko
Application granted granted Critical
Publication of KR102219250B1 publication Critical patent/KR102219250B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • G06K9/20—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47208—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting near-video-on-demand content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • G06K2209/01—

Abstract

본 발명의 일 실시예에 따른 영상 제공 방법 및 이를 이용한 영상 제공 장치가 제공된다. 영상 제공 방법은, 영상의 일부 영역을 추출하는 단계; 추출된 상기 일부 영역에 표시된 문자를 인식하고 검출하는 단계; 검출된 상기 문자가 조건에 해당되는지를 결정하는 단계; 상기 문자가 조건에 해당되는 경우의 시점을 결정하는 단계; 결정된 상기 시점이 타임라인에 표시되는 오버레이를 생성하는 단계; 및 시청자 디바이스에 상기 영상과 생성된 상기 오버레이를 함께 제공하는 단계를 포함한다.

Description

영상 제공 방법 및 이를 이용한 영상 제공 장치{METHOD FOR PROVIDING VIDEO AND APPARATUS USING THE SAME}
본 발명은 영상 제공 방법 및 이를 이용한 영상 제공 장치에 관한 것이다.
인터넷 방송 다시 보기 서비스에는 시청자들에게 제공될 수 있는 다양한 종류의 정보가 있다. 인터넷 방송을 시청하는 시청자는 실시간 방송이 종료된 후에도 원하는 방송을 다시 보기 서비스로 시청할 수 있다.
시청자가 인터넷 방송을 실시간으로 시청하지 못했을 경우, 시청자가 원하는 방송에서 특정 장면을 보기 위해 방송 영상을 처음부터 원하는 장면이 나올 때까지 시청하거나 시청자가 실시간 방송을 시청했을 경우, 원하는 장면의 시간대를 기억해두는 등의 방법은 효율적인 방법이 아니다.
이러한 어려움을 해결하기 위해, 인터넷 방송 시청자에게 방송 영상을 시청하는데 좀 더 편리한 방법을 제공하기 위한 영상 제공 방법이 제안되었다.
[선행기술문헌]
특허공보 제10-0764175호 맞춤형 방송 서비스를 위한 동영상의 중요 자막을 검출하는 장치 및 방법
인터넷 방송이 끝난 후, 제공되는 방송 영상에서 시청자가 원하는 시점 및 구간을 정확하고 빠르게 찾는데 어려움이 있다.
실시간 방송이 끝난 후, 제공되는 방송 영상은 일반적으로 방송시간이 짧은 편이 아니며, 시청자가 실시간 방송을 시청하지 못한 경우에는 시청자가 원하는 장면이 방송에서 나왔는지 만약 나왔다면 그 시점이 어디인지에 대해서 전혀 인지할 수 없다. 또한, 실시간 방송을 시청했을 경우에도 원하는 구간의 시점을 기억해두거나 메모해두지 않으면 원하는 구간을 찾아내는데 어려움이 있다.
본 발명의 발명자들은 영상에서 시청자가 원하는 구간을 찾는 데 있어 위와 같은 불편함이 있음을 인지하였다. 이에, 본 발명의 발명자들은 시청자의 관심도가 높은 시점 및 구간을 용이하게 찾을 수 있어 영상 감상에 편의를 제공할 수 있는 영상 제공 방법 및 이를 이용한 영상 제공 장치를 발명하는데 이르렀다.
이에, 본 발명의 해결 하고자 하는 과제는, 시청자가 실시간 방송이 끝난 후, 방송 영상에서 시청자의 관심과 흥미를 유발시키는 구간을 찾을 수 있도록 영상 제공 방법 및 이를 이용한 영상 제공 장치를 제공하는 것이다.
나아가, 본 발명의 해결 하고자 하는 다른 과제는, 시청자가 영상에서 시청하길 원하는 구간 및 방송 내용에 대한 추가 정보를 제공받을 수 있도록 영상 제공 방법 및 이를 이용한 영상 제공 장치를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 영상 제공 방법이 제공된다. 영상 제공 방법은 영상의 일부 영역을 추출하는 단계, 추출된 일부 영역에 표시된 문자를 인식하고 검출하는 단계, 검출된 문자가 조건에 해당되는지를 결정하는 단계, 문자가 조건에 해당되는 경우의 시점을 결정하는 단계, 결정된 시점이 타임 라인에 표시되는 오버레이를 생성하는 단계 및 시청자 디바이스에 영상과 생성된 오버레이를 함께 제공하는 단계를 포함한다.
본 발명의 다른 특징에 따르면, 문자가 조건에 해당되는 경우는 문자가 미리 결정된 키워드와 일치하는 경우를 포함한다.
본 발명의 또 다른 특징에 따르면, 상기 방법은, 일부 영역과 상이한 추가 영역을 추출하는 단계, 추가 영역에서 표시된 추가 문자를 인식하고 검출하는 단계, 검출된 추가 문자가 조건에 해당되는지를 결정하는 단계 및 추가 문자가 조건에 해당되는 경우의 추가 시점을 결정하는 단계를 더 포함하고, 오버레이를 생성하는 단계는 시점과 추가시점이 타임 라인에 표시되는 오버레이를 생성하는 단계를 포함한다.
본 발명의 또 다른 특징에 따르면, 문자가 조건에 해당되는 경우는 문자가 미리 결정된 시간보다 더 빠르게 변동되는 경우를 포함한다.
본 발명의 또 다른 특징에 따르면, 시점이 결정되면, 오버레이는 결정된 시점으로부터 미리 지정된 시간만큼 보다 이전 시점을 실제 시점으로 표시한다.
본 발명의 또 다른 특징에 따르면 문자는 숫자이고, 오버레이를 생성하는 단계는, 숫자를 시계열적으로 표시하는 그래프를 오버레이로 생성하는 단계를 포함한다.
본 발명의 또 다른 특징에 따르면, 시청자 디바이스에 영상과 생성된 오버레이를 함께 제공하는 단계는 시청자 디바이스에 적어도 하나의 오버레이 타입을 선택적으로 제공하는 단계, 오버레이 타입에 대한 선택이 수신되는 경우, 선택된 오버레이 타입과 연관된 데이터를 기초로 추가 오버레이로 생성하는 단계, 추가 오버레이를 영상과 함께 제공하는 단계를 더 포함한다.
본 발명의 또 다른 특징에 따르면, 추가 오버레이는 오버레이와 중복되어 표시된다.
본 발명의 또 다른 특징에 따르면, 오버레이 타입은 유저 수, 호응도, 방송기여도 및 그 중 적어도 하나의 그래프 타입이다.
본 발명의 또 다른 특징에 따르면, 오버레이 타입은 방송 창작자의 감정 음성이 식별된 시점이 타임 라인에 표시되는 오버레이 타입이고, 방송 창작자의 감정 음성의 식별은 감정 음성이 나오는 시점을 예측하도록 구성된 소리 예측 모델에 영상의 오디오를 입력하여 감정 음성이 있는 시점을 예측함으로써 수행된다.
본 발명의 또 다른 특징에 따르면, 상기 방법은 영상의 일부 영역을 추출하는 단계 전에, 영상에 대한 분석을 통해 관심이 있는 일부 영역을 결정하는 단계를 더 포함한다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 영상 제공 장치는 영상을 수신하도록 구성된 통신부 및 통신부와 동작 가능하도록 연결된 프로세서를 포함하고, 프로세서는 영상의 일부 영역을 추출하고, 추출된 일부 영역에 표시된 문자를 인식하고, 검출한 후, 검출된 문자가 조건에 해당되는지를 결정하고, 문자가 조건에 해당되는 경우의 시점을 결정하고, 결정된 시점이 타임 라인에 표시되는 오버레이를 생성하고, 시청자 디바이스에 영상과 생성된 오버레이를 함께 제공하도록 구성된다.
본 발명은, 시청자가 실시간 방송 영상을 시청하지 못한 경우, 시청자가 방송을 이미 종료된 방송을 시청할 수 있는 다시 보기 서비스로 시청할 수 있도록 영상 제공 방법 및 이를 이용한 장치를 제공할 수 있다.
나아가, 본 발명의 일 실시예에 따른 영상 제공 장치는 실시간 방송 내에서 시청자들의 흥미와 관심도가 높은 구간 및 방송 영상의 하이라이트 구간에 대한 정보를 다시 보기 서비스에서 제공하는 영상과 함께 제공할 수 있다. 또한, 본 발명은 시청자가 시청하길 원하는 시점을 예측하여 해당 시점으로부터 이전시점을 찾아 영상의 구간을 제공하는 영상 제공 방법 및 이를 이용한 영상 제공 방법 및 이를 이용한 장치를 제공할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 영상 제공 장치가 포함된 시스템을 설명하기 위한 블록도이다.
도 2a 내지 2b는 본 발명의 일 실시예에 따른 영상 제공 장치를 설명하기 위한 개략적인 블록도이다.
도 3은 본 발명의 일 실시예에 따른 영상 제공 방법을 설명하기 위한 개략적인 순서도이다.
도 4a 및 4b는 본 발명의 일 실시예에 따른 영상 제공 방법을 설명하기 위한 개략도들이다.
도 5a 및 5b는 본 발명의 다른 실시예에 따른 영상 제공 방법을 설명하기 위한 개략도들이다.
도 6a 내지 6d는 본 발명의 또 다른 실시예에 따른 영상 제공 방법을 설명하기 위한 개략도들이다.
도 7a 내지 7d는 본 발명의 다양한 실시예에 따른 영상 제공 방법을 설명하기 위한 개략도들이다.
도 8a 및 8b은 본 발명의 다양한 실시예에 따른 영상 제공 방법을 설명하기 위한 개략도들이다.
도 9는 본 발명의 다양한 실시예에 따른 영상 제공 방법을 설명하기 위한 개략도이다.
도 10a 내지 10c는 본 발명의 다양한 실시예에 따른 영상 제공 방법을 설명하기 위한 개략도들이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상 제공 장치가 포함된 시스템을 설명하기 위한 블록도이다. 영상 제공 시스템(1000)은, 영상 제공 장치(100), 시청자 디바이스(200), 방송 창작자 디바이스(300)를 포함한다. 본 명세서에서, 시청자 디바이스(200) 및 방송 창작자 디바이스(300)는 제한되지 않고, 예를 들어, 범용 컴퓨터, 노트북, 모바일 디바이스 (예: 스마트폰, 테블릿 디바이스) 등을 포함할 수 있다. 방송 창작자 디바이스(300)는 방송 창작자의 실시간 인터넷 방송을 영상 제공 장치(100)로 송신한다. 또한, 방송 창작자 디바이스(300)가 방송을 시작한 순간부터 방송을 종료한 순간까지 녹화된 방송 영상이 영상 제공 장치(100)에 저장된다. 이에 따라, 영상 제공 장치(100)는 녹화된 방송 영상을 방송이 종료된 후에도 시청자 디바이스(200)로 시청할 수 있는 다시 보기 서비스 기능을 제공한다. 이 때, 영상 제공 장치(100)는 방송 영상에서 실시간으로 방송을 시청한 시청자들의 흥미도와 관심도가 높은 구간 및 방송 영상의 하이라이트 구간의 데이터를 다시 보기 서비스에 함께 제공할 수 있다.
시청자들의 흥미도와 관심도가 높은 구간 및 방송 영상의 하이라이트 구간은 방송 영상에 타임라인 형태의 오버레이로 표시되고, 오버레이는 하나 이상의 다양한 타입으로 표시될 수 있다. 또한, 시청자 디바이스(200)는 방송 영상을 보지 않아도 실시간 방송 내에서 미리 파악된 방송 내용 흐름에 대한 정보도 함께 제공받을 수 있다. 예를 들어, 방송 콘텐트로 생존 게임을 수행하는 방송 창작자의 게임화면에서 생존자 수에 대한 문자를 인식하고 검출해 그 데이터와 관련된 내용이 방송 영상에 그래프타입의 오버레이로 표시될 수 있다. 이에 따라, 시청자 디바이스(200)는 영상 제공 장치(100)에서 제공된 다양한 정보로 방송 영상에서 시청자들의 흥미와 관심도가 높은 구간 및 방송 영상의 하이라이트 구간을 제공받을 수 있다.
도 2a는 본 발명의 일 실시예에 따른 영상 제공 장치(100)를 설명하기 위한 개략적인 블록도이다.
도 2a를 참조하면, 본 발명의 일 실시예에 따른 영상 제공 장치(100)는 통신부(110), 입력부(120), 저장부(130) 및 프로세서(140)를 포함한다.
영상 제공 장치(100)는 시청자 디바이스(200)와 방송 창작자 디바이스(300)를 서로 통신하게 하는 역할을 하며, 이로 인해 시청자 디바이스(200)와 방송 창작자 디바이스(300)와의 실질적인 데이터 통신을 가능하게 한다. 본 발명의 일 실시예에 따른 영상 제공 장치(100)는 인터넷 방송을 실시간으로 시청하지 못한 시청자들이 방송이 종료된 후에도 방송 영상을 시청할 수 있고, 방송 영상에서 시청자들이 흥미를 가질 것으로 기대되는 구간들 또는 시점을 다양한 데이터를 함께 제공할 수 있다.
통신부(110)는 영상 제공 장치(100)와 방송창작자 디바이스(300) 및 시청자 디바이스(200)를 통신 가능하게 한다.
입력부(120)는 영상 제공 장치(100)의 제어에 필요한 다양한 입력을 수신하도록 구성될 수 있다. 입력부(120)는 마우스, 키보드, 키 패드(key pad), 돔 스위치 (domeswitch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
저장부(130)는 다시 보기를 위한 방송 영상 및 이와 연관된 오버레이 정보를 저장한다. 여기서, 방송 영상이란 게임화면이 배경화면으로 존재하고, 일부영역에 방송 창작자의 얼굴이 PIP(Picture in Picture) 화면으로 나오거나 또는, 스포츠 경기화면이 배경화면이고 방송창작자는 음성으로 중계하는 영상 등이 있으며, 이에 제한되지 않고 방송 창작자만을 비추는 영상 등 다양한 영상일 수 있다. 또한, 오버레이란 하나 이상의 다양한 타입으로 그래프, 방송 영상에 타임라인으로 표시되며, 방송 영상에 중첩되어 반투명으로 표시될 수 있다. 또한, 오버레이는 시간 탐색 영역에 근접하게 배치될 수 있다. 또한, 오버레이 정보란 시청자들의 흥미와 관심도가 높은 구간 및 방송 영상의 하이라이트 구간 등이 포함될 수 있으며, 관심도가 높은 구간의 시간 정보 및 그 관심도의 정도 등 오버레이를 구성할 수 있는 모든 정보를 포함한다.
프로세서(140)는 통신부(110), 입력부(120) 및 저장부(130)와 동작 가능하게 연결되고 영상 제공 장치(100)가 시청자에게 영상을 제공하는 동작을 수행한다. 이하에서는 방송 영상을 제공하는 동작에 관해서 간략하게 설명한다.
프로세서(140)는, 방송 영상에서 시청자들의 흥미와 집중을 유발했던 구간, 방송 내용의 흐름데이터 및 방송 영상의 하이라이트 구간을 판별한다. 흥미와 집중을 유발했던 구간, 방송 내용의 흐름데이터 및 방송 영상의 하이라이트 구간은 예를 들어 방송 영상에서 방송 콘텐트로 생존게임을 진행할 경우, 킬수가 단시간 내에 증가하는 구간은 방송 영상의 하이라이트 구간이 될 수 있고, 생존자 수를 그래프 형태의 오버레이로 영상의 타임라인에 표시해 방송 내용의 흐름데이트를 표시할 수 있다.
프로세서(140)는, 방송 영상에서 방송이 진행되는 동안 시청자들의 흥미와 집중을 유발했던 구간 및 방송 영상의 하이라이트 구간에 대한 데이터를 얻기 위해 일부 영역을 추출하고, 시청자 디바이스(200)로 입력 받은 호응도 데이터를 추출한다. 여기서 일부 영역이란 방송 영상에서 방송 창작자의 얼굴이 표시되는 영역, 또는 방송 영상의 하이라이트 구간을 표시하기 위한 게임 내 중요 데이터가 표시된 영역일 수 있다. 예를 들어, 게임 방송 화면에서 생존자 수가 표시된 부분은 일부 영역으로 추출될 수 있다. 본 발명의 다양한 실시예에서 일부 영역은 화면의 고정된 일 부분일 수 있으나, 이에 제한되지 않고, 시간에 따라 화면의 다른 부분으로 변동될 수도 있다.
호응도 데이터란 시청자 디바이스(200) 표시부(230)로 시청할 수 있는 방송 화면에서 시청자들의 흥미와 집중을 유발했던 시점에 클릭할 수 있는 특정 아이콘을 선택하면 선택한 시청자 수만큼 누적 저장된 데이터일 수 있다.
프로세서(140)는, 추출된 영역에서 검출된 문자를 조건에 적용해 조건에 해당될 경우, 방송 시점을 예측해 해당 구간을 결정한다. 예를 들어, 추출한 영역에서 검출된 문자가 미리 결정된 키워드와 일치하는 경우, 프로세서(140)는 방송 영상의 해당 시점을 결정하고, 시점에 표시할 오버레이를 생성한다. 또한, 프로세서(140)는 영상에서 음성을 추출하고, 소리예측 모델에 입력한 후 감정 음성이 나오는 시점을 예측함으로써 해당 시점이 표시되는 오버레이를 생성할 수 있다.
도 2b는 본 발명의 일 실시예에 따른 시청자 디바이스(200)를 설명하기 위한 개략적인 블록도이다.
도 2b를 참조하면, 시청자 디바이스(200)는 통신부(210), 입력부(220), 표시부(230), 저장부(240) 및 프로세서(250)를 포함한다.
통신부(210)는 영상 제공 장치(100)와 시청자 디바이스(200)가 통신 가능하게 연결하고, 영상 제공 장치(100)로부터 시청자 디바이스(200)로 송신되는 데이터를 수신한다. 시청자 디바이스(200)가 수신하는 데이터는 방송 창작자 디바이스(300)로 녹화된 방송 영상, 방송 영상에서의 채팅 데이터, 영상 제공 장치(100)에서 생성되어 수신된 오버레이 데이터 등을 포함할 수 있다.
입력부(220)는 시청자 디바이스(200)로부터 입력 받는 동작으로 명령을 전달받고, 방송 중 호응도 데이터를 수집한다. 예를 들어, 시청자 호응도 데이터는 방송 중 호응도 데이터를 위한 버튼을 마우스 클릭으로 입력 받을 수 있고, 클릭 횟수는 시청자 호응도 데이터로, 프로세서(250)로 전달된다.
표시부(230)는 방송 영상을 사용자 디바이스(200) 화면에 나타내는 동작을 하고, 프로세서(250)에서 생성된 오버레이를 사용자 디바이스(200)의 방송 영상 화면으로 제공될 수 있다.
표시부(230)는 장치에서 처리되는 정보를 표시한다. 예를 들어, 장치가 시스템과 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 표시부(230)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
저장부(240)는 영상 제공 장치(100)로부터 송신된 영상 및 데이터를 저장한다. 저장부(240)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 장치는 인터넷(internet)상에서 상기 저장부(240)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
프로세서(250)는 통신부(210), 입력부(220), 표시부(230) 및 저장부(240)와 동작 가능하게 연결되고, 시청자 디바이스(200)로부터 입력된 시청자 호응도 데이터를 방송 영상에 표시하는 오버레이로 생성한다.
프로세서(250)는 수신된 일련의 호응도 데이터를 영상에 표시하기 위한 오버레이를 생성하고, 각 시점마다 클릭 횟수로 호응도 데이터를 수집한 결과를 오버레이로 표시하여 시청자 디바이스(200)에 제공할 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs(application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 프로세서(250)를 포함하는 제어부 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 저장부(240)에 저장되고, 프로세서(250)에 의해 실행될 수 있다.
이하에서는, 도 3을 참조하여, 본 발명의 일 실시예에 따른 영상 제공 방법에서 방송 영상에서 방송이 진행되는 동안 시청자들의 흥미와 집중을 유발했던 구간, 방송 영상의 하이라이트 구간 및 시청자 호응도 데이터를 제공하는 방식에 관해서 구체적으로 설명한다. 도 3은 본 발명의 일 실시예에 따른 영상 제공 방법을 설명하기 위한 개략적인 순서도이고, 도 4a 내지 4b는 본 발명의 일 실시예에 따른 영상 제공 방법을 설명하기 위한 개략도들이다. 설명의 편의를 위해 도 2a 내지 2b의 구성요소들을 참조하여 설명한다.
먼저, 프로세서(140)는 통신부(100)를 통해 방송 창작자 디바이스(300)로부터 녹화된 실시간 방송 영상을 수신한다(S300). 도 4a를 참조하면, 표시부(230)에 영상 화면(430)이 표시된다. 영상 화면(430)은 게임 화면을 배경으로 방송 창작자의 영상이 PIP 방식으로 표시된다. 또한, 영상 화면(430)은 채팅 영역을 포함한다. 한편, 게임 화면에는 게임과 관련된 주요 데이터들이 도시될 수 있다. 예를 들어, 도 4a에서 구현되는 게임의 경우, 게임 중 생존한 인원의 수, 플레이어가 획득한 킬의 수, 킬을 한 플레이어의 닉네임 등이 표시된다. 영상 화면(430)은 방송 제어 영역(410)을 포함할 수 있다. 방송 제어 영역(410)은 재생, 일시 정지, 음성 조절, 화면 최대화 등의 화면 제어, 재생 제어 등을 수행하기 위한 영역이다. 다양한 실시예에서, 호응도를 전달하기 위한 선택 버튼이 더 포함될 수도 있으며, 본 발명의 일 실시예에서의 오버레이 표시를 위한 선택 버튼이 더 포함될 수 있다. 오버레이 표시를 위한 선택 버튼이 선택되면, 복수의 오버레이 타입이 선택 가능하게 표시될 수 있다. 복수의 오버레이 타입의 표시에 대해서는 도 8a, 도 8b 및 도 9를 참조하여 후술한다.
수신한 영상에서 일부 영역이 추출된다(S310). 일부 영역은 방송 영상에서 시청자들의 흥미와 집중을 유발했던 구간, 방송 내용의 흐름데이터 및 방송 영상의 하이라이트 구간을 판별하기 위해 검출해야 하는 문자를 포함할 수 있다. 예를 들어, 도 4a 내지 4b에서 구현되는 게임의 경우, 생존자 수가 표시되는 영역을 추출하면, 생존자 수가 얼마 남지 않은 시점은 게임 우승이 가까워지는 시점으로 시청자들의 흥미와 관심을 유발하는 구간 및 방송 영상의 하이라이트 구간이 될 수 있다. 이에 제한되지 않고, 일부 영역은 스포츠 경기 중계 방송의 경기 점수가 표시되는 영역, 배틀 게임 방송의 게임 스코어가 표시되는 영역 등이 포함될 수 있다. 다양한 실시예에서, 추출할 수 있는 항목은 문자를 인식하기 위한 영역만이 아니라, 오디오도 포함될 수 있다. 예를 들어, 방송 영상에서 추출한 오디오를 소리 예측 모델에 입력하면, 방송 창작자의 감정 음성이 추출되는 시점이 예측될 수 있다.
다음으로, 추출한 영역에 표시된 문자가 인식된다(S320). 문자 인식 방식으로 OCR기능이 이용될 수 있으며, OCR 기능은 문자를 인식하여 텍스트 데이터로 치환하는 기능이며, 기계학습된 문자 인식 모델 등 제한되지 않은 방식이 사용될 수 있다. 예를 들어, 도 4a에서 구현되는 게임의 경우, 인식되는 문자는 게임 캐릭터의 킬 수, 생존자 수 등이 될 수 있다. 이에 제한되지 않고, 인식되는 문자는 스포츠 경기 중계 방송의 경기 점수, 배틀 게임 방송의 게임 스코어 등이 더 포함될 수 있다.
추출한 영역에서 인식한 문자가 검출된다(S330). 검출된 문자는 시청자들의 흥미와 집중을 유발했던 구간, 방송 영상의 하이라이트 구간 등을 판별하는데 사용될 수 있다.
다음으로 검출한 문자가 조건에 해당되는지가 결정된다(S340). 예를 들어, 도 4a 내지 4b에서 구현되는 게임의 경우, 1명만 살아남아 우승하는 생존게임에서 생존자 수를 나타내는 일부 영역(420)을 추출한 후 인식한 문자가 숫자이고, 미리 결정된 키워드와 일치하는 경우, 조건에 해당되는 것으로 결정한다. 이에 제한되지 않고, 검출된 문자의 조건은 미리 지정된 키워드와 일치하는 경우, 문자가 미리 결정된 시점보다 더 빠르게 변동되는 경우 등이 포함될 수 있다. 또한, 예를 들어, 검출한 문자가 미리 지정된 다수의 킬을 의미하는 키워드와 일치하는 경우가, 방송 영상의 하이라이트 구간으로서, 조건에 해당되는 것으로 결정될 수 있다.
문자가 조건에 해당될 경우의 시점이 결정된다(S350). 검출된 문자가 조건에 해당될 경우의 영상 시점을 결정한다. 결정된 시점은 방송 영상의 하이라이트 구간으로 표시되는 시점이 될 수 있다. 이에 제한되지 않고, 본 발명의 다양한 실시예에서, 문자가 조건에 해당될 경우의 시점은 결정된 시점으로부터 미리 지정된 시간만큼 보다 이전 시점인 것을 더 포함할 수 있다.
결정된 시점을 타임라인에 표시할 오버레이가 생성된다(S360). 오버레이는 하나 이상의 타입으로 그래프, 도형, 빗금 등이 포함될 수 있다. 또한, 오버레이는 시간 탐색 영역에 근접하게 배치될 수 있고, 이에 제한되지 않고, 오버레이는 반투명으로 표시될 수 있다.
시청자 디바이스(200)에 영상과 오버레이가 함께 제공된다(S370). 도 4b를 참조하면, 제공되는 오버레이는 방송 영상에서 시청자들의 흥미도가 높은 구간 및 방송 영상의 하이라이트 구간 등의 정보로 제공될 수 있다. 이에 제한되지 않고, 오버레이는 방송 영상을 시청하지 않아도 방송 영상 내 게임의 흐름을 파악할 수 있는 정보로 제공될 수 있다. 또한, 오버레이는 방송 영상에 중첩되어 표시될 수 있으며, 방송 영상에 중첩되어 반투명으로 표시될 수 있다는 것을 더 포함할 수 있다. 시청자 디바이스(200)에 영상과 함께 제공되는 오버레이는 방송 영상에서 시청자들의 관심도가 높은 구간, 방송 영상의 하이라이트 구간 및 시청자가 시청하길 원하는 시점을 예측한 구간 등의 정보로 제공되는 효과가 될 수 있다.
도 5a 및 5b는 본 발명의 다른 실시예에 따른 영상 제공 방법을 설명하기 위한 개략도들이다.
도 5a 및 5b는 게임 플레이어들이 서로 경쟁하는 배틀 게임의 영상을 예시적으로 나타낸 것이다. 시청자들의 흥미와 집중을 유발했던 구간 및 방송 영상의 하이라이트 구간을 판별하기 위한 조건은 게임 내에서 다수의 킬을 의미하는 키워드가 나타난 경우일 수 있다. 도 5a를 참조하면, 키워드가 나타나는 영역이 추출(520)되고, 추출한 영역(520)으로부터 인식한 문자가 검출된다. 도 5b를 참조하면, 검출된 문자는 미리 지정된 키워드와 일치하는 경우, 영상의 해당 시점은 하이라이트 구간으로 결정된다. 이에, 하이라이트 구간을 표시하기 위한 오버레이(540)가 생성되고, 방송 영상에 중첩되어 출력될 수 있다. 본 발명의 일 실시예에서의 오버레이는 영상의 타임라인에 표시되며, 오버레이 형태는 하나이상의 타입으로 표시될 수 있다. 다수의 킬을 의미하는 키워드가 나타나는 구간은 시청자들의 흥미와 집중을 유발했던 구간 및 방송 영상의 하이라이트 구간 등이 될 수 있고, 시청자 디바이스(200)에 방송 영상의 타임라인에 표시되는 오버레이로 해당 구간에 대한 정보가 제공되는 효과가 될 수 있다.
도 6a 내지 도 6d는 본 발명의 또 다른 실시예에 따른 영상 제공 방법을 설명하기 위한 개략도들이다.
도 6a 내지 도 6d 는 생존 게임을 수행하는 방송 창작자의 방송 영상 화면을 예시로 든 것이다. 도 6a를 참조하면, 방송 영상 화면(630)에 플레이어가 획득한 킬의 수, 생존자 수가 표시된다. 이에 제한되지 않고, 방송 영상 화면(630)은 플레이어의 캐릭터 모습, 게임 내 무기의 정보 등이 포함될 수 있다. 플레이어가 획득한 킬의 수가 나타나는 영역(620)이 추출되고, 추출된 영역(620)으로부터 인식한 문자가 검출된다. 이때, 검출된 문자의 해당 시점을 결정하고, 저장할 수 있다. 방송 영상 화면(630)에 플레이어의 킬수는 5, 영상의 해당 시점도 방송 제어 영역(610)에 표시될 수 있으며, 방송 영상의 3시간 55분 26초 시점인 것을 알 수 있다.
도 6b를 참조하면, 추출되는 플레이어가 획득한 킬의 수가 나타나는 영역(620)은 킬의 수가 6, 해당 시점은 방송의 3시간 56분 28초 시점인 것을 알 수 있다.
도 6c를 참조하면, 추출되는 플레이어가 획득한 킬의 수가 나타나는 영역(620)은 킬의 수가 7, 해당 시점은 방송의 3시간 59분 30초 시점인 것을 알 수 있다.
도 6d를 참조하면, 도 6a 내지 도 6c에서 추출된 플레이어가 획득한 킬의 수가 조건에 해당되는지를 확인하고, 조건에 해당될 경우, 화면에 표시되는 오버레이가 생성된다. 저장된 시점들은 방송 영상 화면(630)에 오버레이로 표시될 수 있다. 이때, 조건은 미리 결정된 시간보다 추출된 영역에서 인식된 문자가 더 빠르게 변동되는 경우이다. 킬의 수가 빠르게 변동되는 시점은 게임 내 하이라이트 구간이 될 수 있고, 시청자들에게 방송 영상의 하이라이트 구간에 대한 정보가 제공되는 효과가 될 수 있다.
도 7a 내지 7d는 본 발명의 다양한 실시예에 따른 영상 제공 방법을 설명하기 위한 개략도들이다.
도 7a 내지 7d는 방송 흐름 데이터를 제공하는 방법을 생존게임을 수행하는 방송 영상 화면(730)을 예시로 든 것이다. 도 7a를 참조하면, 게임 화면에 게임 내 플레이어들 중 생존해있는 생존자 수가 표시될 수 있다. 또한, 방송 영상 화면(730)에는 영상의 시점이 표시되는 방송 제어 영역(710)등이 더 포함될 수 있다. 게임 내 생존자 수가 표시된 영역(720)이 추출될 수 있고, 생존자 수는 4인 것을 알 수 있다. 생존자 수가 4인 시점이 3시간 55분 26초 인 것을 방송 제어 영역(710)에 표시된 것으로 알 수 있고, 이를 해당 시점으로 결정할 수 있다.
도 7b를 참조하면, 추출되는 생존자 수가 나타나는 영역(720)은 생존자 수가 3, 해당 시점은 방송의 3시간 56분 28초 시점인 것을 알 수 있고, 이를 해당 시점으로 결정할 수 있다.
도 7c를 참조하면, 추출되는 생존자 수가 나타나는 영역(720)은 생존자 수가 2, 해당 시점은 방송의 3시간 59분 30초 시점인 것을 알 수 있고, 이를 해당 시점으로 결정할 수 있다.
도 7d를 참조하면, 도 7a 내지 도 7c에서 추출된 게임 내 플레이어들의 생존자 수, 해당시점을 영상 타임라인에 표시하기 위한 오버레이를 생성한다. 생성된 오버레이는 방송 영상 화면(730)에 표시될 수 있다. 이에 제한되지 않고, 오버레이는 방송 영상 화면(730)에 시계열적으로 표시되는 그래프로 생성될 수 있다. 생존자 수가 방송 영상 화면(730)에 오버레이로 표시되는 것은 영상을 시청하지 않아도, 게임 방송의 흐름을 파악할 수 있는 효과가 제공될 수 있다.
도 8a 및 8b은 본 발명의 다양한 실시예에 따른 영상 제공 방법을 설명하기 위한 개략도들이다.
도 8a 및 8b은 오버레이 타입의 표시에 대해 설명하기 위한 예시도이다.
도 8a를 참조하면, 방송 영상 화면(830)에서 방송 제어 영역(810)은 재생, 일시 정지, 음성 조절, 화면 최대화 등의 화면 제어, 재생 제어 등을 수행하기 위한 버튼이 포함되며, 오버레이 표시를 위한 선택 버튼이 더 포함될 수 있다.
방송 제어 영역(810)에 오버레이 표시를 위한 선택 버튼이 선택되면, 오버레이 표시 목록(820)이 방송 영상 화면(830)에 표시된다. 오버레이 표시 목록(820)에는 시청자들의 흥미와 집중을 유발했던 구간 및 방송 영상의 하이라이트 구간, 방송 흐름 데이터 및 시청자 호응도 데이터 등에 관한 정보가 제공될 수 있고, 이에 제한되지 않고, 유저 수, 호응도, 방송기여도 등에 관한 정보가 제공되는 것이 더 포함될 수 있다. 또한, 오버레이 표시 목록(820)창에는 오버레이 표시 목록(820) 창을 종료할 수 있는 버튼이 더 포함될 수 있다.
도 8b를 참조하면, 오버레이 표시 목록(820)에서 유저수 그래프가 표시되는 버튼을 선택하면, 그래프 타입의 오버레이가 방송 영상 화면(830)에 표시될 수 있다. 이에 제한되지 않고, 선택한 버튼에 따라, 하나 이상의 다양한 타입의 오버레이가 방송 영상 화면(830)의 오버레이 표시 영역(840)에 표시될 수 있다. 또한, 오버레이 표시 영역에(840)에 표시되는 오버레이는 하나 이상의 개수로 표시되는 것이 더 포함될 수 있다. 오버레이의 표시 개수에 대해서는 도 9를 참조하여 후술한다. 오버레이 표시 목록(820)은 방송 영상을 시청하지 않고도 시청자들의 흥미와 집중을 유발했던 구간 및 방송 영상의 하이라이트 구간, 방송 흐름 데이터 및 시청자 호응도 데이터 등에 관한 정보로 구성될 수 있다. 이에 따라, 오버레이 표시 목록(820)은 방송 영상을 시청하지 않고도 시청자들의 흥미와 집중을 유발했던 구간 및 방송 영상의 하이라이트 구간 등에 대한 정보가 제공되는 효과가 될 수 있다.
도 9는 본 발명의 다양한 실시예에 따른 영상 제공 방법을 설명하기 위한 개략도이다.
도 9는 오버레이 타입의 표시에 대해 설명하기 위한 예시도이다.
방송 영상 화면(930)의 방송 제어 영역(910)에서 오버레이 표시를 위한 선택 버튼을 클릭하면, 방송 영상 화면(930)에 오버레이 표시목록(920)이 표시된다. 표시된 오버레이 표시목록(920)에서 선택된 둘 이상의 오버레이 타입은 오버레이 표시 영역(940)에 중복되어 표시될 수 있다. 중복되어 표시되는 오버레이는 방송 영상 화면(930)에 중첩되어 반투명으로 표시될 수 있다. 이에 제한되지 않고, 중복되어 표시되는 오버레이의 타입은 일치할 수도 일치하지 않을 수 있다는 것을 포함할 수 있다. 중복되어 표시되는 오버레이는 유저 수, 호응도, 방송기여도 및 시청자들의 흥미와 집중을 유발했던 구간 등에 관한 하나 이상의 정보가 제공될 수 있고, 하나 이상의 정보가 동시에 제공되는 효과가 있을 수 있다.
도 10a 내지 10c는 본 발명의 다양한 실시예에 따른 영상 제공 방법을 설명하기 위한 개략도들이다.
도 10a를 참조하면, 방송 영상 내 방송 창작자의 음성(1020)이 추출된다. 이에 제한되지 않고, 추출되는 음성은 방송 영상 내 방송 창작자의 음성을 제외한 다른 모든 것이 될 수 있다. 방송 제어 영역(1010)에서 영상의 해당 시점이 7분 33초 인 것을 알 수 있다.
도 10b를 참조하면, 추출된 방송 창작자의 음성(1020)은 소리 예측 모델에 입력된다. 소리 예측 모델은 입력된 음성에서 감정 음성이 있는 시점을 예측할 수 있다. 방송 제어 영역(1010)에 표시된 시점인 7분 33초가 예측될 수 있다. 예측된 시점은 해당 시점으로 결정될 수 있다.
도 10c를 참조하면, 소리 예측 모델에서 예측된 시점을 표시하기 위한 하나 이상의 타입의 오버레이가 생성된다. 생성된 오버레이는 예측된 해당 시점에 표시될 수 있다. 이에 제한되지 않고, 방송 제어 영역(1010)에 오버레이 표시 목록을 선택하기 위한 버튼을 선택한 후, 표시되는 오버레이 표시목록에서 감정 음성이 있는 시점에 대한 정보가 제공될 수 있다. 또한, 방송 영상에 표시된 오버레이는 방송 영상을 시청하지 않고도 방송 창작자의 감정 음성이 있는 시점에 대한 정보를 제공받을 수 있다. 도 10c를 참조하면, 방송 영상에서 방송 창작자의 웃음소리 음성(1020)이 추출된다. 추출된 방송 창작자의 웃음소리 음성(1020)은 소리 예측 모델에 입력되고, 해당 시점이 예측된다. 예측된 시점은 시점을 표시하기 위해 생성된 오버레이(1040)로 영상의 방송 제어 영역(1010)에 근접하게 표시된다. 표시된 오버레이는 방송 영상을 보지 않고도 방송 창작자의 감정 음성이 나타난 구간, 시청자들의 재미도가 높은 구간 등에 대한 정보가 제공되는 효과가 있을 수 있다.
100 : 영상 제공 장치
110 : 통신부
120 : 입력부
130 : 저장부
140 : 프로세서
200 : 시청자 디바이스
210 : 통신부
220 : 입력부
230 : 표시부
240 : 저장부
250 : 프로세서
300 : 방송 창작자 디바이스
410 : 방송 제어 영역
420 : 추출 영역
430 : 방송 영상 화면
440 : 오버레이 표시 영역
510 : 방송 제어 영역
520 : 추출 영역
530 : 방송 영상 화면
540 : 오버레이 표시 영역
610 : 방송 제어 영역
620 : 추출 영역
630 : 방송 영상 화면
640 : 오버레이 표시 영역
710 : 방송 제어 영역
720 : 추출 영역
730 : 방송 영상 화면
740 : 오버레이 표시 영역
810 : 방송 제어 영역
820 : 오버레이 표시 목록
830 : 방송 영상 화면
840 : 오버레이 표시 영역
910 : 방송 제어 영역
920 : 오버레이 표시 목록
930 : 방송 영상 화면
940 : 오버레이 표시 영역
1010 : 방송 제어 영역
1020 : 추출 영역
1030 : 방송 영상 화면
1040 : 오버레이 표시 영역

Claims (12)

  1. 게임 방송 영상의 일부 영역을 추출하는 단계;
    상기 게임 방송 영상이 생존 게임에 해당하는 경우 추출된 상기 일부 영역에서 생존자의 수를 나타내는 숫자를 인식하여 검출하는 단계;
    검출된 상기 숫자가 변동되는 시간이 미리 결정된 시간보다 짧은 시점을 결정하는 단계;
    결정된 상기 시점이 타임라인에 표시되는 오버레이를 생성하는 단계; 및
    시청자 디바이스에 상기 게임 방송 영상과 생성된 상기 오버레이를 함께 제공하는 단계를 포함하고,
    상기 오버레이는, 상기 게임 방송 영상에 중첩되어 반투명으로 표시되는, 영상 제공 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 일부 영역과 상이한 추가 영역을 추출하는 단계;
    상기 추가 영역에서 표시된 추가 문자를 인식하고 검출하는 단계;
    상기 검출된 추가 문자가 조건에 해당되는지를 결정하는 단계; 및
    상기 추가 문자가 조건에 해당되는 경우의 추가 시점을 결정하는 단계를 더 포함하고, 상기 오버레이를 생성하는 단계는 상기 시점과 상기 추가시점이 상기 타임라인에 표시되는 오버레이를 생성하는 단계를 포함하는, 영상 제공 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 시점이 결정되면, 상기 오버레이는 결정된 상기 시점으로부터 미리 지정된 시간만큼 보다 이전 시점을 실제 시점으로 표시하는, 영상 제공 방법.
  6. 제1항에 있어서,
    상기 오버레이를 생성하는 단계는;
    상기 숫자를 시계열적으로 표시하는 그래프를 오버레이로 생성하는 단계를 포함하는, 영상 제공 방법.
  7. 제1항에 있어서,
    상기 시청자 디바이스에 상기 게임 방송 영상과 생성된 상기 오버레이를 함께 제공하는 단계는,
    상기 시청자 디바이스에 적어도 하나의 오버레이 타입을 선택적으로 제공하는 단계;
    상기 오버레이 타입에 대한 선택이 수신되는 경우, 선택된 상기 오버레이 타입과 연관된 데이터를 기초로 추가 오버레이로 생성하는 단계;
    상기 추가 오버레이를 상기 게임 방송 영상과 함께 제공하는 단계를 더 포함하는, 영상 제공 방법.
  8. 제7항에 있어서,
    상기 추가 오버레이는 상기 오버레이와 중복되어 표시되는, 영상 제공 방법.
  9. 제7항에 있어서,
    상기 오버레이 타입은 유저 수, 호응도, 방송기여도 및 그 중 적어도 하나의 그래프 타입인, 영상 제공 방법.
  10. 제7항에 있어서,
    상기 오버레이 타입은, 방송 창작자의 감정 음성이 식별된 시점이 타임라인에 표시되는 오버레이 타입이고,
    상기 방송 창작자의 감정 음성의 식별은, 상기 감정 음성이 나오는 시점을 예측하도록 구성된 소리 예측 모델에, 상기 게임 방송 영상의 오디오를 입력하여, 상기 감정 음성이 있는 시점을 예측함으로써 수행되는, 영상 제공 방법.
  11. 제1항에 있어서,
    상기 게임 방송 영상의 일부 영역을 추출하는 단계 전에, 상기 게임 방송 영상에 대한 분석을 통해 관심이 있는 상기 일부 영역을 결정하는 단계를 더 포함하는, 영상 제공 방법.
  12. 게임 방송 영상을 수신하도록 구성된 통신부; 및
    상기 통신부와 동작가능하도록 연결된 프로세서를 포함하고,
    상기 프로세서는, 상기 게임 방송 영상의 일부 영역을 추출하고,
    상기 게임 방송 영상이 생존 게임에 해당하는 경우 추출된 상기 일부 영역에서 생존자의 수를 나타내는 숫자를 인식하여 검출하고,
    검출된 상기 숫자가 변동되는 시간이 미리 결정된 시간보다 짧은 시점을 결정하고,
    결정된 상기 시점이 타임라인에 표시되는 오버레이를 생성하고,
    시청자 디바이스에 상기 게임 방송 영상과 생성된 상기 오버레이를 함께 제공하도록 구성되고,
    상기 오버레이는, 상기 게임 방송 영상에 중첩되어 반투명으로 표시되는, 영상 제공 장치.
KR1020180131221A 2018-10-30 2018-10-30 영상 제공 방법 및 이를 이용한 영상 제공 장치 KR102219250B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180131221A KR102219250B1 (ko) 2018-10-30 2018-10-30 영상 제공 방법 및 이를 이용한 영상 제공 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180131221A KR102219250B1 (ko) 2018-10-30 2018-10-30 영상 제공 방법 및 이를 이용한 영상 제공 장치

Publications (2)

Publication Number Publication Date
KR20200048772A KR20200048772A (ko) 2020-05-08
KR102219250B1 true KR102219250B1 (ko) 2021-02-24

Family

ID=70677003

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180131221A KR102219250B1 (ko) 2018-10-30 2018-10-30 영상 제공 방법 및 이를 이용한 영상 제공 장치

Country Status (1)

Country Link
KR (1) KR102219250B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230149597A (ko) 2022-04-20 2023-10-27 주식회사 지엠디소프트 시각 지도를 이용하여 대용량 동영상 증거물에 대하여 복구 대상 영역을 검색하는 디지털 포렌식 장치 및 그 동작 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102460595B1 (ko) 2022-08-18 2022-10-28 주식회사 리플에이아이 게임 방송에서의 실시간 채팅 서비스 제공 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005352420A (ja) * 2004-06-14 2005-12-22 Nippon Telegr & Teleph Corp <Ntt> 要約コンテンツ生成装置、生成方法及びそのプログラム
KR101867082B1 (ko) * 2017-08-23 2018-06-12 서울과학기술대학교 산학협력단 하이라이트 영상 생성 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101442355B1 (ko) * 2012-12-31 2014-09-19 한국과학기술원 미디어 요약데이터를 생성하는 방법 및 장치
KR102217186B1 (ko) * 2014-04-11 2021-02-19 삼성전자주식회사 요약 컨텐츠 서비스를 위한 방송 수신 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005352420A (ja) * 2004-06-14 2005-12-22 Nippon Telegr & Teleph Corp <Ntt> 要約コンテンツ生成装置、生成方法及びそのプログラム
KR101867082B1 (ko) * 2017-08-23 2018-06-12 서울과학기술대학교 산학협력단 하이라이트 영상 생성 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230149597A (ko) 2022-04-20 2023-10-27 주식회사 지엠디소프트 시각 지도를 이용하여 대용량 동영상 증거물에 대하여 복구 대상 영역을 검색하는 디지털 포렌식 장치 및 그 동작 방법

Also Published As

Publication number Publication date
KR20200048772A (ko) 2020-05-08

Similar Documents

Publication Publication Date Title
US20230401220A1 (en) Aiding discovery of program content by providing deeplinks into most interesting moments via social media
US20220150572A1 (en) Live video streaming services
US20190373322A1 (en) Interactive Video Content Delivery
US20180152767A1 (en) Providing related objects during playback of video data
JP2021525031A (ja) 埋め込まれた情報カード位置特定およびコンテンツ抽出のためのビデオ処理
US9946438B2 (en) Maximum value displayed content feature
US20080082922A1 (en) System for providing secondary content based on primary broadcast
CN104081783A (zh) 用于将社交消息与内容时间轴同步的方法和系统
KR20100029080A (ko) 일시적 전자 프로그램 안내
US20160182955A1 (en) Methods and systems for recommending media assets
CN112740713A (zh) 用于提供多媒体内容中的关键时刻的方法及其电子设备
CN102227695A (zh) 基于学习的用户偏好的视听用户接口
WO2019236581A1 (en) Systems and methods for operating an output device
CN111294606B (zh) 直播处理方法、装置、直播客户端及介质
KR102219250B1 (ko) 영상 제공 방법 및 이를 이용한 영상 제공 장치
CN109829064A (zh) 媒体资源分享及播放方法和装置、存储介质及电子装置
CN106921876B (zh) 利用多维度数据提供高级用户剖析和实时商务选择
CN113301421A (zh) 直播片段展示方法和装置、存储介质及电子设备
CN112052315A (zh) 一种信息的处理方法和装置
CN106113057A (zh) 基于机器人的音视频宣传方法和系统
CN112073738B (zh) 一种信息的处理方法和装置
JP2016025570A (ja) 情報処理装置、情報処理方法およびプログラム
CN115689642A (zh) 媒体内容推荐方法、装置、电子设备和存储介质
US20210089770A1 (en) Platform for generating interactive experiences at sports venues
JP2015185912A (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant