KR102107059B1 - 기계학습 기반의 콘서트 중계 영상 추천 방법 및 장치 - Google Patents

기계학습 기반의 콘서트 중계 영상 추천 방법 및 장치 Download PDF

Info

Publication number
KR102107059B1
KR102107059B1 KR1020180169004A KR20180169004A KR102107059B1 KR 102107059 B1 KR102107059 B1 KR 102107059B1 KR 1020180169004 A KR1020180169004 A KR 1020180169004A KR 20180169004 A KR20180169004 A KR 20180169004A KR 102107059 B1 KR102107059 B1 KR 102107059B1
Authority
KR
South Korea
Prior art keywords
concert
image data
machine learning
information
video
Prior art date
Application number
KR1020180169004A
Other languages
English (en)
Inventor
조용범
이기승
Original Assignee
건국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 건국대학교 산학협력단 filed Critical 건국대학교 산학협력단
Priority to KR1020180169004A priority Critical patent/KR102107059B1/ko
Application granted granted Critical
Publication of KR102107059B1 publication Critical patent/KR102107059B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

기계학습 기반의 콘서트 중계 영상 추천 방법에 관한 것이며, 기계학습 기반의 콘서트 중계 영상 추천 방법은 복수의 영상 카메라에 의해 촬영된 복수의 영상 데이터를 수신하는 단계, 수신된 상기 복수의 영상 데이터에 대하여, 미리 설정된 콘서트 특성 정보에 관한 특징 값을 산출하는 1차 기계학습을 수행하는 단계, 상기 1차 기계학습의 결과를 이용하여 상기 복수의 영상 데이터 중 어느 하나를 사용자 선호 콘서트 영상 데이터로서 추출하기 위한 2차 기계학습을 수행하는 단계 및 상기 추출된 사용자 선호 콘서트 영상 데이터를 추천하는 단계를 포함할 수 있다.

Description

기계학습 기반의 콘서트 중계 영상 추천 방법 및 장치{METHOD AND DEVICE FOR RECOMMENDING CONCERT RELAY VIDEO BASED ON MACHINE LEARNING}
본원은 기계학습 기반의 콘서트 중계 영상 추천 방법 및 장치에 관한 것이다.
입체 영상(3D 영상)이란 깊이 및 공간에 대한 형상 정보를 동시에 제공하는 3차원 영상을 의미한다. 스테레오 영상의 경우, 좌우 눈에 각각 다른 시점의 영상을 제공하는 반면에, 입체 영상은 관찰자가 보는 시점을 달리할 때마다 다른 방향에서 본 것과 같은 영상을 제공한다. 따라서, 입체 영상을 생성하기 위해서는 여러 시점(view)에서 촬영한 영상들이 필요하다.
일반적으로 다시점 영상 코딩(Multi-View HEVC(high efficiency video coding)) 과정에 따르면, 실제의 장면을 두 개 이상의 카메라를 이용하여 캡쳐하여 MVV(Multi-View Video) 시퀀스를 인코딩한 후, 비트스트림을 수신기 측을 통해 MV-HEVC로 전송한 후 디코딩 과정을 거치면 3D 영상을 디스플레이 할 수 있다.
이러한 과정에서, 입체 영상을 생성하기 위해 여러 시점에서 찍은 영상들은 그 데이터량이 방대하다. 따라서, 입체 영상의 구현을 위한 네트워크 인프라, 지상파 대역폭 등을 고려하면 MPEG-2, H.264/AVC 등과 같은 단일시점 비디오 압축(Single-View Video Coding) 또는 종래의 MVV 압축에 최적화된 부호화 장치를 사용하여 압축하더라도 구현상에 많은 제약이 있다.
MV-HEVC는 HEVC와 달리 복수의 시퀀스의 정보를 가지고 있으므로 시간축의 모션 추정(Motion Estimation, ME)만 필요한 것이 아니라 공간축의 모션 추정이 필수적이다. 시공간축의 모션 추정이 압축 부호화의 효율에 영향을 미치므로, 연구/개발을 통해 프레임 간의 예측 방법의 최적연구를 통해 코딩의 효율을 높이고 모션 추정, DCT 등의 많은 연산량을 요구하는 연산작업들에 대한 병렬화를 통해 시스템의 Throughput 을 높이는 연구가 필수적이다.
또한, 종래에는 실제의 장면을 두 개 이상의 복수의 카메라로 촬영하고 촬영된 영상 데이터를 확보할 수 있음에도 불구하고 네트워크 인프라, 방송 대역폭 등의 제약으로 인해 사용자 단말은 방송국에서 일방적으로 제공하는 카메라 영상만을 수신하여 출력하는 정도에 그쳤다. 따라서, 사용자는 채널 선택의 다양성은 보장받을 수 있었으나 동일 채널 내에서 촬영 카메라 영상의 선택권은 보장받을 수 없었다.
또한, 라이브 streaming 방송에서는 시청자는 영상 중 하나의 영상을 선택 하여 볼 수 있다. 하지만, TV 등 라이브 방송은 대부분 상황에서 시청자는 여러 개의 영상 중에서 원하는 영상을 선택하는 과정에서 제일 적합한 영상을 놓칠 수 있다. 특히 가수들의 공연 영상처럼 내용의 흐름이 빠른 영상은 드라마 같은 정적인 영상에 비해 중요한 순간을 놓칠 수 있다.
본원의 배경이 되는 기술은 한국등록특허공보 제10-1158491(등록일: 2012.06.14)호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 기계학습 기반으로 시청자가 직접 영상을 선택하지 않아도 일반적인 시청자가 원하는 영상을 자동으로 추천할 수 있는 콘서트 영상 추천 방법 및 장치를 제공하려는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 기계학습 기반의 콘서트 중계 영상 추천 방법은, 복수의 영상 카메라에 의해 촬영된 복수의 영상 데이터를 수신하는 단계, 수신된 상기 복수의 영상 데이터에 대하여, 미리 설정된 콘서트 특성 정보에 관한 특징값을 산출하는 1차 기계학습을 수행하는 단계, 상기 1차 기계학습의 결과를 이용하여 상기 복수의 영상 데이터 중 어느 하나를 사용자 선호 콘서트 영상 데이터로서 추출하기 위한 2차 기계학습을 수행하는 단계 및 상기 추출된 사용자 선호 콘서트 영상 데이터를 추천하는 단계를 포함할 수 있다.
본원의 일 실시예에 따르면, 상기 1차 기계학습을 수행하는 단계는, 상기 미리 설정된 콘서트 특성 정보를 입력으로 하여 학습 된 학습 모듈을 이용하여 상기 복수의 영상 데이터에서 상기 콘서트 영상 데이터의 특징 값을 산출할 수 있다.
본원의 일 실시예에 따르면, 기계학습 기반의 콘서트 중계 영상 추천 방법은, 상기 추천된 사용자 선호 콘서트 영상 데이터에 관한 사용자 피드백을 수신하는 단계를 더 포함하고, 상기 2차 기계학습을 수행하는 단계는, 상기 사용자 피드백을 반영하여 사용자 선호 콘서트 영상 데이터를 추출할 수 있다.
본원의 일 실시예에 따르면, 기계학습 기반의 콘서트 중계 영상 추천 방법은, 사용자 정보를 수집하는 단계를 더 포함하되, 상기 2차 기계학습을 수행하는 단계는, 상기 수집된 상기 사용자 정보와 상기 1차 기계학습의 결과를 입력으로 하여 사용자 선호 콘서트 영상 데이터로서 추출하기 위한 2차 기계학습을 수행할 수 있다.
본원의 일 실시예에 따르면, 상기 2차 기계학습은 SVM(Support Vector Machine)알고리즘을 이용할 수 있다.
본원의 일 실시예에 따르면, 상기 미리 설정된 콘서트 특성 정보는, 가수의 선호도 관련 정보, 특정 파트의 노래를 부르고 있는 가수의 정보, 공연 시 가수의 움직임 관련 정보, 검색 순위 관련 정보, 노래 가사 실수 관련 정보 및 춤 실수 관련 정보를 포함할 수 있다.
본원의 일 실시예에 따르면, 기계학습 기반의 콘서트 중계 영상 추천 장치는, 복수의 영상 카메라에 의해 촬영된 복수의 영상 데이터를 수신하는 영상 데이터 수신부, 수신된 상기 복수의 영상 데이터에 대하여, 미리 설정된 콘서트 특성 정보에 관한 특징 값을 산출하는 1차 기계학습을 수행하는 제 1 기계학습부, 상기 1차 기계학습의 결과를 이용하여 상기 복수의 영상 데이터 중 어느 하나를 사용자 선호 콘서트 영상 데이터로서 추출하기 위한 2차 기계학습을 수행하는 제 2 기계학습부 및 상기 추출된 사용자 선호 콘서트 영상 데이터를 추천하는 선호 영상 추천부를 포함할 수 있다.
본원의 일 실시예에 따르면, 상기 제 1 기계학습부는, 상기 미리 설정된 콘서트 특성 정보를 입력으로 하여 학습된 학습 모듈을 이용하여 상기 복수의 영상 데이터에서 상기 콘서트 영상 데이터의 특징 값을 산출할 수 있다.
본원의 일 실시예에 따르면, 기계학습 기반의 콘서트 중계 영상 추천 장치는, 상기 추천된 사용자 선호 콘서트 영상 데이터에 관한 사용자 피드백을 수신하는 피드백 수신부를 더 포함하고, 상기 제 2 기계학습부는, 상기 사용자 피드백을 반영하여 사용자 선호 콘서트 영상 데이터를 추출할 수 있다.
본원의 일 실시예에 따르면, 기계학습 기반의 콘서트 중계 영상 추천 장치는, 사용자 정보를 수집하는 사용자 정보 수집부를 더 포함하되, 상기 제 2 기계학습부는, 상기 수집된 상기 사용자 정보와 상기 1차 기계학습의 결과를 입력으로 하여 사용자 선호 콘서트 영상 데이터로서 추출하기 위한 2차 기계학습을 수행할 수 있다.
본원의 일 실시예에 따르면, 콘서트 중계 영상 추천 시스템은 복수의 영상 카메라로부터 복수의 영상 데이터를 수신하고, 수신된 상기 복수의 영상 데이터를 전송하는 영상 인코딩 장치 및 상기 영상 인코딩 장치로부터 부호화된 영상 데이터를 수신하고, 수신된 상기 복수의 영상 데이터에 대하여, 미리 설정된 콘서트 특성 정보에 관한 특징 값을 산출하는 1차 기계학습을 수행하고, 상기 1차 기계학습의 결과를 이용하여 상기 복수의 영상 데이터 중 어느 하나를 사용자 선호 콘서트 영상 데이터로서 추출하기 위한 2차 기계학습을 수행하여, 상기 추출된 사용자 선호 콘서트 영상 데이터를 추천하는 콘서트 중계 영상 추천 장치를 포함할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 기계학습을 이용하여 사용자가 가장 원할 것으로 예상되는 장면을 보여줌으로써, 사용자가 여러 개의 영상 중 본인이 시청하고 싶은 영상을 직접 선택하는 과정에서 발생하는 장면 놓침 등의 문제를 해결할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 콘서트 영상을 주요 콘텐츠로 삼아 복수의 특징을 특정 값을 선정하고 해당 특징을 이용한 기계학습을 통해 사용자가 가장 원할 것으로 예상되는 콘서트 장면을 추천할 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 콘서트 중계 영상 추천 시스템의 개략적인 도면이다.
도 2는 본원의 일 실시예에 따른 콘서트 중계 영상 추천 장치의 복수의 영상 카메라에 의해 촬영된 복수의 영상 데이터를 설명하기 위한 도면이다.
도 3은 본원의 일 실시예에 따른 콘서트 중계 영상 추천 장치의 1차 기계학습 수행의 결과를 설명하기 위한 도면이다.
도 4는 본원의 일 실시예에 따른 콘서트 중계 영상 추천 장치의 개략적인 블록도이다.
도 5는 본원의 일 실시예에 따른 기계학습 기반의 콘서트 중계 영상 추천 방법에 대한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
기존의 MV-HEVC 환경에서는 사용자가 여러 개의 영상 중 본인이 시청하고 싶은 영상을 직접 선택해야 해서, 선택을 위한 별도의 인터페이스나, 선택과정에서 발생하는 장면 놓침 등의 문제가 발생할 수 있었으나, 본원은 기계학습에 기반하여 사용자가 가장 원할 것으로 예상되는 장면을 보여줌으로써, 영상 놓침 등의 문제를 해결할 수 있다.
도 1은 본원의 일 실시예에 따른 콘서트 중계 영상 추천 시스템의 개략적인 도면이다.
도 1을 참조하면, 콘서트 중계 영상 추천 시스템(1000)은 콘서트 중계 영상 추천 장치(100), 영상 인코딩 장치(200), 사용자 단말(300), 복수의 영상 카메라(400)를 포함할 수 있다. 또한, 도 1에는 도시하지 않았으나 콘서트 중계 영상 추천 시스템(1000)은, 예를 들어, 방송 서버 및 장치, 방송국에서 전파하는 방송 신호를 수신하는 장치 등을 더 포함할 수 있다. 또한, 콘서트 중계 영상 추천 시스템(1000)의 구성 중 일부는 하나의 장치 또는 서버에 구비될 수 있다. 예를 들어, 콘서트 중계 영상 추천 장치(100) 및 사용자 단말(300)은 하나의 장치 내에 포함될 수 있다.
콘서트 중계 영상 추천 장치(100)는 콘서트, 공연장, 무대 등의 광범위의 장소에서 다수의 각 영역 또는 인물 등을 촬영하여 획득된 복수의 영상 데이터를 활용하여 사용자 선호 콘서트 영상 데이터(500)를 추천할 수 있다. 콘서트 중계 영상 추천 장치(100)는 기계학습을 이용하여 사용자 선호 콘서트 영상 데이터(500)를 추천할 수 있다.
본원의 일 실시예에 따르면, 콘서트 중계 영상 추천 장치(100)는 사용자 단말(300)과 연결되는 셋톱박스(Set Top Box)에 포함될 수 있다. 셋톱박스는 디지털 위성방송용 수신장비를 의미하며, 쌍방향 멀티미디어 통신을 위한 가정용 통신 단말기로 TV와 네트워크를 연결해주는 역할을 한다.
또한, 콘서트 중계 영상 추천 장치(100)는 영상 인코딩 장치(200)로부터 부호화된 영상 데이터를 수신할 수 있다. 영상 인코딩 장치(200)는 복수의 영상 카메라(400)에 의해 촬영된 복수의 영상의 영상 데이터에 관한 비트 스트림(bit stream)을 콘서트 중계 영상 추천 장치(100)로 전송할 수 있다. 영상 인코딩 장치(200)는 복수의 영상 카메라(400)로부터 수신한 복수의 영상의 영상 데이터를 비트 스트림 형태로 변환할 수 있다. 복수의 영상 데이터는 적어도 하나의 비트 스트림(bit-stream)으로 압축되고, 네트워크를 통해 콘서트 중계 영상 추천 장치(100)는 압축된 비트 스트림(bit-stream)을 수신할 수 있다. 콘서트 중계 영상 추천 장치(100)는 영상 인코딩 장치(200)로부터 부호화하여 압축된 복수의 영상 중 일부 또는 전부의 영상 데이터를 복호화하여 출력할 수 있다.
영상 인코딩 장치(200)는 복수의 영상 카메라(400) 각각으로부터 각각 촬영된 복수의 영상 데이터를 수신할 수 있다. 영상 인코딩 장치(200)는 복수의 영상 카메라(400)로부터 영상 데이터의 특성, 줌-인/줌-아웃(zoom-in/zoom-out)의 정도, 영상 카메라의 시점(view), 카메라의 위치 등이 서로 상이한 복수의 영상 데이터를 수신할 수 있다. 예를 들어, 영상 데이터의 특성은 해상도, 색상, 배경(background)의 유사도, 픽셀의 수, 영상 프레임의 수 등을 포함할 수 있다.
복수의 카메라(400)는 복수의 위치에서 영상을 촬영하는 영상 카메라 일 수 있다. 예시적으로, 복수의 영상 카메라(400)는 콘서트, 공연장, 무대 등의 광범위의 장소에서 다수의 각 영역 또는 인물 등을 촬영하는 영상 카메라 일 수 있다. 일 예로, 복수의 카메라(400)의 배치는 1차원 평행, 2차원 평행, 1차원 배열 등이 사용될 수 있고, 소정의 간격의 위치에서 영상을 촬영하는 영상 카메라일 수 있다. 영상 카메라는 양안식 카메라, 수평 리그를 사용한 카메라, 직교 리그를 사용한 카메라 등 영상 촬영이 가능한 카메라를 포함할 수 있다. 예시적으로, 도 1을 참조하면, 복수의 카메라(400)는 제 1 카메라 내지 제 20 카메라(1 내지 20)를 포함할 수 있다. 콘서트 중계 영상 추천 장치(100)는 제 1 카메라 내지 제 20 카메라(1 내지 20) 각각에서 촬영된 복수의 영상 데이터(1' 내지 20')를 영상 인코딩 장치(200)를 통해 수신할 수 있다.
영상 인코딩 장치(200)는 복수의 영상 카메라(400)로부터 수신한 영상 데이터를 부호화할 수 있다. 또한, 영상 인코딩 장치(200)는 수신한 영상 데이터의 특성, 영상 카메라의 시점, 줌-인/줌-아웃(zoom-in/zoom-out)의 정도, 카메라의 위치 등에 따라 수신한 영상 데이터의 부호화 방법을 결정할 수 있다.
예시적으로 도 1을 참조하면, 복수의 영상 카메라(400)는 제 1 카메라 내지 제 20 카메라(1 내지 20)를 포함할 수 있다. 복수의 영상 카메라(400) 각각은 현재 콘서트가 진행중인 공연장 내에 일정 간격을 두고 배치될 수 있다. 복수의 영상 카메라(400)는 서로 다른 영역에 구비되어 현재 콘서트가 진행중인 공연장 내의 상황을 촬영할 수 있다. 콘서트 중계 영상 추천 장치(100)는 제 1 카메라 내지 제 20 카메라(1 내지 20) 각각으로부터 촬영된 제 1 영상 데이터 내지 제 20 영상 데이터(1' 내지 20')를 수신할 수 있다.
도 2는 본원의 일 실시예에 따른 콘서트 중계 영상 추천 장치의 복수의 영상 카메라에 의해 촬영된 복수의 영상 데이터를 설명하기 위한 도면이다.
예시적으로 도 2를 참조하면, 도 2의 (a)에 도시된 제 1 영상 데이터(1')는 제 1 카메라로부터 촬영된 영상 데이터 일 수 있다. 또한, 도 2의 (b)에 도시된 제 2 영상 데이터(2')는 제 2 카메라로부터 촬영된 영상 데이터 일 수 있다. 또한, 도 2의 (c)에 도시된 제 3 영상 데이터(3')는 제 3 카메라로부터 촬영된 영상 데이터 일 수 있다. 또한, 도 2의 (d)에 도시된 제 4 영상 데이터(5')는 제 4 카메라로부터 촬영된 영상 데이터 일 수 있다. 제 1 카메라는 공연장의 제 1 영역에 위치하고 있으며, 제 1 영역에 위치한 가수를 촬영하여 제 1 영상 데이터(1')를 획득할 수 있다. 또한, 제 2 카메라는 공연장의 제 2 영역에 위치하고 있으며, 제 2 영역에 위치한 가수를 촬영하여 제 2 영상 데이터(2')를 획득할 수 있다. 또한, 제 3 카메라는 공연장의 제 3 영역에 위치하고 있으며, 제 3 영역에 위치한 가수를 촬영하여 제 3 영상 데이터(3')를 획득할 수 있다. 또한, 제 4 카메라는 공연장의 제 4 영역에 위치하고 있으며, 관객석을 촬영하여 제 4 영상 데이터(4')를 획득할 수 있다.
본원의 일 실시예에 따르면, 콘서트 중계 영상 추천 장치(100)는 수신된 복수의 영상 데이터에 대하여, 미리 설정된 콘서트 특성 정보에 관한 특징 값을 산출하는 1차 기계학습을 수행할 수 있다. 1차 기계학습은 인공신경망 알고리즘을 이용할 수 있다. 또한, 인공신경망은 딥 러닝 신경망일 수 있으나, 이에만 한정되는 것은 아니며, 기 개발되었거나 향후 개발되는 다양한 신경망 체계를 적용할 수 있다.
이하에서 설명되는 영상 데이터 분석에는, 영상 인식, 영상 분석, 객체 추적을 하기 위한 알고리즘이 사용될 수 있으며, 이때 사용되는 알고리즘에는 음성 인식이나 이미지 인식에서 주로 사용되는 신경망의 한 종류인 합성곱신경망(Convolutional Neural Networks)이 이용될 수 있으나, 이에 한정되는 것은 아니며 다양한 실시예기 존재할 수 있다.
본원의 일 실시예에 따르면, 콘서트 중계 영상 추천 장치(100)는 미리 설정된 콘서트 특성 정보를 입력으로 하여 학습된 학습 모듈을 이용하여 복수의 영상 데이터에서 상기 콘서트 영상 데이터의 특징 값을 산출할 수 있다. 달리 말해, 콘서트 중계 영상 추천 장치(100)는 미리 설정된 콘서트 특성 정보 (제1 콘서트 특성 정보 내지 제 6 콘서트 특성 정보)를 포함하는 것으로 분류된 다량의 영상 데이터를 입력으로 하여 학습된 학습 모듈을 구축하여, 복수의 카메라(400)에서 촬영된 복수의 영상 데이터에서 콘서트 영상 데이터의 특징 값을 산출할 수 있다. 많은 양의 미리 설정된 콘서트 특성 정보가 획득될수록 학습 모듈의 정확도는 높아질 수 있다.
콘서트 중계 영상 추천 장치(100)는 미리 설정된 콘서트 특성 정보가 포함된 영상 데이터에 대하여 특징 값을 1로 산출하고, 미리 설정된 콘서트 특성 정보가 포함되지 않은 영상 데이터에는 특징 값을 0으로 산출할 수 있다. 본원의 일 실시예에서는 설명의 편의를 위해 특징값을 1 또는 0으로 구분하여 산출하였으나 앞서 설명된 방식으로 한정되는 것은 아니다. 미리 설정된 콘서트 특성 정보의 포함 정도, 유사도 등에 따라 특징값은 수치 값으로 표현될 수 있다.
콘서트 특성 정보는 콘서트에서 주요하다고 판단하여 선정된 복수의 특징을 포함할 수 있다. 일예로, 콘서트 특성 정보는 사용자가 임의로 선정할 수 있다. 또한, 콘서트 특성 정보는, 콘서트에서 주요 사건(예를 들어, 가사, 춤 실수 등)마다 방송으로 송출되는 특징을 빅데이터 분석을 통해 추출할 수 있다. 콘서트 특성 정보는 제 1 콘서트 특성 정보 내지 제 6 콘서트 특성 정보를 포함할 수 있다. 이하에서 설명되는 콘서트 특성 정보는 6가지로 예시하였으나, 이에 한정되는 것은 아니며, 다양한 실시예가 존재할 수 있다.
본원의 일 실시예에 따르면, 콘서트 특성 정보는, 가수의 선호도 관련 정보(제 1 콘서트 특성 정보), 특정 파트의 노래를 부르고 있는 가수의 정보(제 2 콘서트 특성 정보), 공연 시 가수의 움직임 관련 정보(제 3 콘서트 특성 정보), 검색 순위 관련 정보(제 4 콘서트 특성 정보), 노래 가사 실수 관련 정보(제 5 콘서트 특성 정보) 및 춤 실수 관련 정보(제 6 콘서트 특성 정보)를 포함할 수 있다.
본원의 일 실시예에 따르면, 학습 모듈은 가수의 선호도 관련 정보(제 1 콘서트 특성 정보)에 포함된 SNS(Instagram, Facebook, twitter 등)에서 인기가 많은 가수에 관한 정보를 이용하여 학습 될 수 있다. 학습 모듈은 다각도에서 획득된 복수의 가수의 얼굴정보를 입력으로 하여 학습 될 수 있다. 예를 들어, 가수의 선호도 관련 정보는, 인스타그램(Instagram) 팔로워 수에 가수의 선호도 관련 정보에 기반하여 학습 될 수 있다. 또한, 학습 모듈은 가수 별로 획득된 SNS에 게시된 게시글의 좋아요 수와 관련된 정보를 이용하여 학습 될 수 있다. 학습 모듈은 온라인에 게시된 특정 가수의 SNS 관련 게시글을 수집하여, 가수의 선호도 관련 정보를 입력으로 하여 학습 될 수 있다. 또한, 학습 모듈은 미리 설정된 기준 시간(예를 들어, 7일 이내)에 획득되는 가수의 선호도 관련 정보를 입력으로 하여 학습될 수 있다.
콘서트 중계 영상 추천 장치(100)는 가수의 선호도 관련 정보(제 1 콘서트 특성 정보)와 관련된 다양한 정보를 입력으로 학습된 학습 모듈을 이용하여, 수신된 복수의 영상 데이터에서 가수의 선호도 관련 정보(제 1 콘서트 특성 정보)와 관련된 특징 값을 산출할 수 있다.
예를 들어, 콘서트 중계 영상 추천 장치(100)는 수신된 복수의 영상 데이터에서 영상 분석을 통해 영상에 포함된 객체(사람)의 얼굴 분석을 실시하고, 선호도가 미리 설정된 값 이상인 가수가 포함된 영상 데이터의 특징값을 1로 산출할 수 있다. 달리 말해, 콘서트 중계 영상 추천 장치(100)는 제 1 영상 데이터에 제 1 가수가 포함되어 있고, 제 2 영상 데이터에 제 2 가수가 포함되어 있으나, 가수의 선호도 관련 정보에서 제 1 가수에 대한 선호도가 높은 경우, 제 1 영상 데이터의 특징 값을 1로 산출할 수 있다.
또한, 학습 모듈은 특정 파트의 노래를 부르고 있는 가수의 정보(제 2 콘서트 특성 정보)를 입력으로 하여 학습될 수 있다. 학습 모듈은, 노래마다 배정된 가수의 파트 정보를 입력으로 하여 학습될 수 있다. 예를 들어, 학습모듈 그룹인 가수의 경우, 제 1 파트는 제1 가수가 부르고, 제 2 파트는 제 2 가수가 부르도록 배정된 정보를 이용하여 학습될 수 있다. 학습 모듈은 콘서트 영상, 노래를 부른 가수의 영상, 온라인에서 획득 가능한 가수의 이미지 등을 이용하여 학습될 수 있다.
콘서트 중계 영상 추천 장치(100)는 특정 파트의 노래를 부르고 있는 가수의 정보(제 2 콘서트 특성 정보)와 관련된 다양한 정보를 입력으로 학습된 학습 모듈을 이용하여, 수신된 복수의 영상 데이터에서 특정 파트의 노래를 부르고 있는 가수의 정보(제 2 콘서트 특성 정보)와 관련된 특징 값을 산출할 수 있다.
예를 들어, 콘서트 중계 영상 추천 장치(100)는 수신된 복수의 영상 데이터에서 영상 분석을 통해 영상에 포함된 객체(사람)의 얼굴 분석 및 음성 분석을 통해, 제 1 영상에서 제 1 파트에 제 1 가수가 노래를 부를 경우, 제 1 가수가 포함된 제 1 영상 데이터의 특징 값을 1로 산출할 수 있다. 반면, 콘서트 중계 영상 추천 장치(100)는 제 2 영상에서 제 1 파트에 제 2 가수가 노래를 부를 경우, 제 2 가수가 포함된 제 2 영상 데이터의 특징 값을 0으로 산출할 수 있다.
또한, 학습 모듈은 공연 시 가수의 움직임 관련 정보(제 3 콘서트 특성 정보)를 입력으로 학습될 수 있다. 학습 모듈은 공연 시 관중석으로 움직이는 가수의 정보를 이용하여 학습될 수 있다. 학습 모듈은 가수가 관객과 손을 맞닿는 영상 등의 정보를 이용하여 학습될 수 있다. 학습 모듈은 관객석과 가수가 미리 설정된 영역 이내(예를 들어, 10cm)에 위치하고 있는 영상 정보를 이용하여 학습될 수 있다.
콘서트 중계 영상 추천 장치(100)는 공연 시 가수의 움직임 관련 정보(제 3 콘서트 특성 정보)와 관련된 다양한 정보를 입력으로 학습된 학습 모듈을 이용하여, 수신된 복수의 영상 데이터에서 공연 시 가수의 움직임 관련 정보(제 3 콘서트 특성 정보)와 관련된 특징 값을 산출할 수 있다.
예를 들어, 콘서트 중계 영상 추천 장치(100)는 수신된 복수의 영상 데이터 중 제 1 가수가 공연 중인 무대에서 벗어나 관객석으로 향하여 관객과 손을 맞잡는 행동 등의 정보가 포함된 제 1 영상 데이터의 특징 값을 1로 산출할 수 있다. 또한, 콘서트 중계 영상 추천 장치(100)는 수신된 복수의 영상 중 제 1 가수가 관객석에서 미리 설정된 영역 이내에 위치하고 있는 제 1 영상 데이터의 특징 값을 1로 산출할 수 있다.
또한, 학습 모듈은 검색 순위 관련 정보(제 4 콘서트 특성 정보)에 포함된 온라인 상에서 검색 순위가 높은 가수에 관한 정보를 이용하여 학습될 수 있다. 학습 모듈은 다각도에서 획득된 복수의 가수의 얼굴정보를 입력으로 하여 학습될 수 있다. 학습 모듈은 미리 설정된 시간(예를 들어, 하루)에 실시간으로 획득되는 검색 순위 관련 정보를 이용하여 학습될 수 있다.
콘서트 중계 영상 추천 장치(100)는 검색 순위 관련 정보(제 4 콘서트 특성 정보)와 관련된 다양한 정보를 입력으로 학습된 학습 모듈을 이용하여, 수신된 복수의 영상 데이터에서 검색 순위 관련 정보(제 4 콘서트 특성 정보)와 관련된 특징 값을 산출할 수 있다.
예를 들어, 콘서트 중계 영상 추천 장치(100)는 수신된 복수의 영상 중 제 1 영상 데이터에는 제 1 가수가 포함되고, 제 2 영상 데이터에는 제 2 가수가 포함되고, 제3 영상 데이터에는 제 3 가수가 포함된 것으로 분석할 수 있다. 이때, 제 1 가수 내지 제 3 가수의 검색 순위 관련 정보에서 제 1 가수가 온라인 검색 순위가 가장 높은 것으로 학습된 경우, 콘서트 중계 영상 추천 장치(100)는 제 1 영상 데이터의 특징 값을 1로 산출할 수 있다.
또한, 학습 모듈은 노래 가사 실수 관련 정보(제 5 콘서트 특성 정보)를 입력으로 하여 학습될 수 있다. 학습 모듈은 실수하지 않은 노래 가사 정보에 관한 정보를 학습할 수 있다. 또한, 학습 모듈은 제 1 노래와 관련하여 제 1 가수가 부른 영상을 모두 학습할 수 있다.
예를 들어, 콘서트 중계 영상 추천 장치(100)는 수신된 복수의 영상 중 제 1 영상에 제 1 가수가 가사를 실수한 노래 가사 실수 관련 정보(제 5 콘서트 특성 정보)가 포함된 경우, 제 1 영상 데이터의 특징 값을 1로 산출할 수 있다.
또한, 학습 모듈은 춤 실수 관련 정보(제 6 콘서트 특성 정보)를 입력으로 하여 학습될 수 있다. 학습 모듈은 가수가 춤을 실수하지 않은 영상에 관련된 정보를 입력으로 하여 학습될 수 있다. 또한, 학습 모듈은 제 1 노래와 관련하여 제 1 가수가 춤을 춘 영상을 모두 학습될 수 있다.
콘서트 중계 영상 추천 장치(100)는 춤 실수 관련 정보(제 6 콘서트 특성 정보)와 관련된 다양한 정보를 입력으로 학습된 학습 모듈을 이용하여, 수신된 복수의 영상 데이터에서 춤 실수 관련 정보(제 6 콘서트 특성 정보)와 관련된 특징 값을 산출할 수 있다.
예를 들어, 콘서트 중계 영상 추천 장치(100)는 수신된 복수의 영상 중 제 1 영상에 제 1 가수가 춤 실수 관련 정보(제 6 콘서트 특성 정보)가 포함된 경우, 제 1 영상 데이터의 특징 값을 1로 산출할 수 있다.
도 3은 본원의 일 실시예에 따른 콘서트 중계 영상 추천 장치의 1차 기계학습 수행의 결과를 설명하기 위한 도면이다.
도 3을 통해 콘서트 중계 영상 추천 장치(100)에서 수신된 복수의 영상 데이터에 대하여, 미리 설정된 콘서트 특성 정보에 관한 특징 값을 산출하는 1차 기계학습 수행 과정을 설명하고자 한다.
예시적으로, 도 3을 참조하면, 콘서트 중계 영상 추천 장치(100)는 제 1 카메라 내지 제 20 카메라(1 내지 20) 각각으로부터 촬영된 제 1 영상 데이터 내지 제 20 영상 데이터(1' 내지 20')에 대하여, 미리 설정된 콘서트 특성 정보(제1 콘서트 특성 정보 내지 제 6 콘서트 특성 정보)에 관한 1차 기계학습을 수행하여 특징값을 산출할 수 있다. 예를 들어, 콘서트 중계 영상 추천 장치(100)는 도 2에 도시된 제 1 영상 데이터 내지 제 4 영상 데이터에 대하여, 앞서 설명된 제 1 콘서트 특성 정보 내지 제 6 콘서트 특성 정보에 관한 특징 값을 산출하는 1차 기계학습을 수행할 수 있다.
예를 들어, 콘서트 중계 영상 추천 장치(100)는 도 2의 (a)에 도시된 제 1 영상 데이터(1')에 대하여, 미리 설정된 콘서트 특성 정보(제1 콘서트 특성 정보 내지 제 6 콘서트 특성 정보)에 관한 특징 값을 산출할 수 있다. 콘서트 중계 영상 추천 장치(100)는 미리 설정된 콘서트 특성 정보(제1 콘서트 특성 정보 내지 제 6 콘서트 특성 정보)에 관한 특징이 포함된 경우에는 특징 값을 1로 산출하고, 미리 설정된 콘서트 특성 정보(제1 콘서트 특성 정보 내지 제 6 콘서트 특성 정보)에 관한 특징이 포함되지 않는 경우, 특징 값을 0으로 산출할 수 있다.
도 2 및 도 3에 도시된 a와 같이, 콘서트 중계 영상 추천 장치(100)는 제 1 카메라(1)에서 촬영된 제 1 영상 데이터(1')에 대하여, 가수의 선호도 관련 정보(제 1 콘서트 특성 정보), 특정 파트의 노래를 부르고 있는 가수의 정보(제 2 콘서트 특성 정보) 및 검색 순위 관련 정보(제 4 콘서트 특성 정보)에 대한 특징 값을 1로 산출할 수 있다. 반면, 콘서트 중계 영상 추천 장치(100)는 공연 시 가수의 움직임 관련 정보(제 3 콘서트 특성 정보), 노래 가사 실수 관련 정보(제 5 콘서트 특성 정보) 및 춤 실수 관련 정보(제 6 콘서트 특성 정보)의 특징 값을 0으로 산출할 수 있다.
또한, 도 2 및 도 3에 도시된 b를 참조하면, 콘서트 중계 영상 추천 장치(100)는 제 2 카메라(2)에서 촬영된 제 2 영상 데이터(2')에 대하여 가수의 선호도 관련 정보(제 1 콘서트 특성 정보), 특정 파트의 노래를 부르고 있는 가수의 정보(제 2 콘서트 특성 정보) 및 검색 순위 관련 정보(제 4 콘서트 특성 정보)에 대한 특징 값을 1로 산출할 수 있다. 반면, 콘서트 중계 영상 추천 장치(100)는 공연 시 가수의 움직임 관련 정보(제 3 콘서트 특성 정보), 노래 가사 실수 관련 정보(제 5 콘서트 특성 정보) 및 춤 실수 관련 정보(제 6 콘서트 특성 정보)의 특징 값을 0으로 산출할 수 있다.
또한, 도 2 및 도 3에 도시된 c와 같이, 콘서트 중계 영상 추천 장치(100)는 제 3 카메라(3)에서 촬영된 제 3 영상 데이터(3')에 대하여, 가수의 선호도 관련 정보(제 1 콘서트 특성 정보), 특정 파트의 노래를 부르고 있는 가수의 정보(제 2 콘서트 특성 정보), 검색 순위 관련 정보(제 4 콘서트 특성 정보) 및 노래 가사 실수 관련 정보(제 5 콘서트 특성 정보)에 대한 특징 값을 1로 산출할 수 있다. 반면, 콘서트 중계 영상 추천 장치(100)는 공연 시 가수의 움직임 관련 정보(제 3 콘서트 특성 정보) 및 춤 실수 관련 정보(제 6 콘서트 특성 정보)의 특징 값을 0으로 산출할 수 있다.
또한, 도 2 및 도 3에 도시된 d와 같이, 콘서트 중계 영상 추천 장치(100)는 제 4 카메라(4)에서 촬영된 제 4 영상 데이터(4')에 대하여, 콘서트 특성 정보(제 1 콘서트 특성 정보 내지 제 6 콘서트 특성 정보)의 특징 값을 0으로 산출할 수 있다. 일예로, 제 3 영상 데이터(3')에서는 제 1 영상 데이터(1') 및 제 2 영상 데이터(2')에서 획득되지 않은 노래 가사 실수 관련 정보(제 5 콘서트 특성 정보)를 포함하는 특징값이 산출되었다. 반면, 제 4 영상 데이터(4')는 관객석을 촬영하여 획득된 데이터로서, 공연(가수)와 관련된 영상 정보를 포함하고 있지 않기 때문에, 미리 설정된 콘서트 특성 정보에 관한 특징 값이 산출되지 않은 것일 수 있다.
본원의 일 실시예에 따르면, 콘서트 중계 영상 추천 장치(100)는 1차 기계학습의 결과를 이용하여 복수의 영상 데이터 중 어느 하나를 사용자 선호 콘서트 영상 데이터(500)로서 추출하기 위한 2차 기계학습을 수행할 수 있다. 1차 기계학습의 결과는 미리 설정된 콘서트 특성 정보에 관한 특징값이 산출된 결과일 수 있다. 본원의 일 실시예에 따르면, 콘서트 중계 영상 추천 장치(100)는 입력된 복수의 영상 데이터 각각에 포함된 콘서트 특성 정보를 입력으로 하는 2차 기계학습을 통해 복수의 영상 데이터 중 어느 하나를 사용자 선호 콘서트 영상 데이터로서 결정할 수 있다. 콘서트 중계 영상 추천 장치(100)는 입력된 복수의 영상 데이터 각각에 포함된 콘서트 특성 정보를 입력으로 하는 블랙박스 기반의 2차 기계학습을 통해 복수의 영상 데이터 중 어느 하나를 사용자 선호 콘서트 영상 데이터로서 결정할 수 있다. 2차 기계학습은 SVM(Support Vector Machine)알고리즘을 이용할 수 있다. SVM(Support Vector Machine)알고리즘은, 기계 학습의 분야 중 하나로 패턴 인식, 자료 분석을 위한 지도 학습 모델이며, 주로 분류와 회귀 분석을 위해 사용하는 알고리즘일 수 있다.
콘서트 중계 영상 추천 장치(100)는 도 3에 도시된 바와 같은 1차 기계학습의 결과를 이용하여 복수의 영상 데이터(1' 내지 20') 중 어느 하나를 사용자 선호 콘서트 영상 데이터(500)로 추출하기 위한 2차 기계학습을 수행할 수 있다. 달리 말해, 콘서트 중계 영상 추천 장치(100)는 1차 기계학습의 결과를 이용하여 2차 기계학습으로 각각의 라벨을 달아주어 훈련을 진행할 수 있다.
콘서트 중계 영상 추천 장치(100)는 2차 기계학습의 결과로 추출된 사용자 선호 콘서트 영상 데이터(500)를 추천할 수 있다. 사용자 선호 콘서트 영상 데이터(500)는 특정 상황에서 사용자가 가장 원할 것으로 예상하여 추출된 2차 기계학습의 결과일 수 있다.
콘서트 중계 영상 추천 장치(100)는 2차 기계학습의 결과로 추출된 사용자 선호 콘서트 영상 데이터(500)를 사용자 단말(300)로 제공할 수 있다. 사용자 단말(300)은 콘서트 중계 영상 추천 장치(100)로부터 송신된 사용자 선호 콘서트 영상 데이터를 수신하고, 디스플레이에 표시(출력)할 수 있다.
본원의 일 실시예에 따르면, 콘서트 중계 영상 추천 장치(100)는 추천된 사용자 선호 콘서트 영상 데이터(500)에 관한 사용자 피드백을 수신할 수 있다. 사용자 피드백은, 사용자 단말(300)로 사용자 선호 콘서트 영상 데이터(500)를 제공한 후, 사용자 단말(300)로부터 수신된 해당 영상의 유지 여부, 유지시간 등에 관한 피드백일 수 있다. 예를 들어, 콘서트 중계 영상 추천 장치(100)는 추천된 사용자 선호 콘서트 영상 데이터(500)를 사용자 단말(300)로 제공하였으나, 사용자 단말(300)에서 사용자 선호 콘서트 영상 데이터(500)가 아닌 다른 콘서트 영상 데이터를 시청하고자 하는 입력 정보를 수신할 수 있다.
일예로, 도 2를 참조하면, 콘서트 중계 영상 추천 장치(100)는 사용자 선호 콘서트 영상 데이터를 제 1 영상 데이터(1')로 추천하였으나, 사용자는 제 2 영상 데이터(2')를 시청하고자 하는 입력 정보를 수신할 수 있다. 또한, 콘서트 중계 영상 추천 장치(100)는 추천된 사용자 선호 콘서트 영상 데이터(500)를 사용자 단말(300)로 제공하였으나, 사용자 단말(300)에서 미리 설정된 시간(예를 들어, 5초) 이전에 사용자 선호 콘서트 영상 데이터(500)가 아닌 다른 콘서트 영상 데이터를 시청하고자 하는 입력 정보를 수신할 수 있다. 콘서트 중계 영상 추천 장치(100)는 앞서 설명된 사용자 피드백을 수신한 경우, 사용자는 추천된 사용자 선호 콘서트 영상 데이터를 선호하지 않은 것으로 판단할 수 있다. 이때, 콘서트 중계 영상 추천 장치(100)는 사용자 피드백을 반영하여 2차 기계학습을 수행하고, 사용자 선호 콘서트 영상 데이터를 재 추출할 수 있다.
본원의 일 실시예에 따르면, 콘서트 중계 영상 추천 장치(100)는 사용자 정보를 수집할 수 있다. 사용자 정보는, 성별, 연령, 나이, 국가 등을 포함하는 정보일 수 있다. 콘서트 중계 영상 추천 장치(100)는 보다 정확한 사용자 선호 콘서트 영상 데이터를 제공하기 위해, 수집된 사용자 정보와 1차 기계학습의 결과를 입력으로 하여 2차 기계학습을 수행하고 사용자 선호 콘서트 영상 데이터를 추출할 수 있다. 콘서트 중계 영상 추천 장치(100)는 사용자 정보와 1차 기계학습의 결과를 입력으로 하여 사용자 선호 콘서트 영상 데이터를 추출함으로써, 사용자 개개인에 정확한 사용자 선호 콘서트 영상 데이터를 제공할 수 있다.
본원의 일 실시예에 따르면, 콘서트 중계 영상 추천 장치(100)는 영상 인코딩 장치(200)에서 수신된 부호화된 영상 데이터 모두를 복호화하고, 사용자 선호 콘서트 영상 데이터로 추출된 영상 데이터만 사용자 단말로 전송할 수 있다. 또한, 콘서트 중계 영상 추천 장치(100)는 사용자 선호 콘서트 영상 데이터로서 추출된 영상 데이터만을 복호화할 수 있다.
도 4는 본원의 일 실시예에 따른 콘서트 중계 영상 추천 장치의 개략적인 블록도이다.
도 4를 참조하면, 콘서트 중계 영상 추천 장치(100)는 영상 데이터 수신부(110), 제 1 기계학습부(120), 제 2 기계학습부(130), 선호 영상 추천부(140), 피드백 수신부(150) 및 사용자 정보 수집부(160)를 포함할 수 있다.
본원의 일 실시예에 따르면, 영상 데이터 수신부(110)는 복수의 영상 카메라(400)에 의해 촬영된 복수의 영상 데이터를 수신할 수 있다. 복수의 영상 카메라(400)에서 촬영된 복수의 영상 데이터를 수신할 수 있다. 영상 데이터 수신부(110)는 복수의 영상 카메라(400) 각각에서 촬영된 복수의 영상 데이터를 수신할 수 있다. 복수의 영상 데이터 영상 데이터의 특성, 영상 카메라의 시점, 위치 등이 서로 상이한 영상 데이터일 수 있다. 일예로, 영상 데이터 수신부(110)는 영상 인코딩 장치(200)에서 부호화된 복수의 영상 데이터를 수신할 수 있다.
또한, 영상 데이터 수신부(110)는 복수의 영상 카메라(400)에 의해 촬영된 복수의 영상의 영상 데이터 관한 비트 스트림(bit stream)을 수신할 수 있다. 일예로, 영상 데이터 수신부(110)는 복수의 영상 카메라(400)에 의해 촬영된 복수의 영상의 영상 데이터에 관한 비트 스트림(bit stream)을 다시점 영상 정보의 인코딩 장치(미도시)로부터 수신할 수 있다. 영상 인코딩 장치(200)는 복수의 영상 카메라(400)로부터 수신한 복수의 영상의 영상 데이터를 비트 스트림 형태로 변환할 수 있다. 복수의 영상은 각기 다른 위치에 구비된 복수의 카메라(400)로부터 획득된 영상일 수 있다. 달리 말해, 복수의 영상은 하나의 객체를 촬영하고 있지만, 서로 다른 위치에 구비되어 촬영된 영상일 수 있다. 즉, 복수의 영상은 동일한 시점에 동일한 객체를 촬영한 영상일 수 있다.
비트 스트림은 부호화기의 제약 조건을 만족하는 부호화 유형에 따라 저장된다. MPEG은 비트 스트림의 제약 조건으로서 구문(syntax, 이하 'syntax'라 칭함) 및 의미(semantics, 이하 'semantics'라 칭함)를 요구한다. 구문(syntax)은 데이터의 구조나 형식 및 길이를 나타내며, 데이터가 어떤 순서로 표현되는지를 나타낸다. 즉, syntax는 부호화(encoding)/복호화(decoding) 작업을 위한 문법을 맞추기 위한 것으로, 비트 스트림에 포함된 각 요소들(elements)의 순서와 각 요소의 길이, 데이터 형식 등을 정의한다. 의미(Semantics)는 데이터를 구성하는 각 비트가 의미하는 뜻을 나타낸다. 즉, 의미(Semantics)는 비트 스트림 내의 각 요소들의 의미가 무엇인지를 나타낸다. 따라서, 부호화기의 부호화 조건 또는 적용된 표준(또는 코덱)에 따라 다양한 형태의 비트 스트림이 생성될 수 있다. 일반적으로 각 표준(예를 들어 MPEG-1, MPEG-2, MPEG-4, MPEG-4 AVC 등)은 각각 상이한 비트 스트림 구문(syntax)을 가진다. 따라서, 각 표준이나 부호화 조건에 따라 부호화된 비트 스트림은 각각 다른 형식(즉, syntax 및 semantics)을 가진다고 할 수 있으며, 해당 비트 스트림의 복호화를 위해서는 부호화기에 대응되는 복호화기가 사용되어야 한다.
제 1 기계학습부(120)는 수신된 복수의 영상 데이터에 대하여, 미리 설정된 콘서트 특성 정보에 관한 특징 값을 산출하는 1차 기계학습을 수행할 수 있다. 제 1 기계학습부(120)는 미리 설정된 콘서트 특성 정보를 입력으로 하여 학습된 학습 모듈을 이용하여 수신된 복수의 영상 데이터에서 콘서트 영상 데이터의 특징 값을 산출할 수 있다. 학습 모듈은, 수신된 복수의 영상 데이터를 통해서도 지속적으로 학습될 수 있다. 학습 모듈은, 인공신경망을 이용하여 학습될 수 있다.
본원의 일 실시예에 따르면, 미리 설정된 콘서트 특성 정보는, 콘서트 특성 정보는, 가수의 선호도 관련 정보(제 1 콘서트 특성 정보), 특정 파트의 노래를 부르고 있는 가수의 정보(제 2 콘서트 특성 정보), 공연 시 가수의 움직임 관련 정보(제 3 콘서트 특성 정보), 검색 순위 관련 정보(제 4 콘서트 특성 정보), 노래 가사 실수 관련 정보(제 5 콘서트 특성 정보) 및 춤 실수 관련 정보(제 6 콘서트 특성 정보)를 포함할 수 있다.
달리 말해, 학습 모듈은 복수의 특성 정보를 포함하고 있는 제 1 콘서트 특성 정보 내지 제 6 콘서트 특성 정보를 입력으로 하는 학습을 통해 구축될 수 있다. 제 1 기계학습부(120)는 복수의 영상 데이터를 학습 모듈의 입력으로 하여 콘서트 영상 데이터의 특징 값을 산출할 수 있다.
미리 설정된 콘서트 특성 정보는 앞서 설명된 콘서트 특성 정보와 동일한 것으로, 이하 생략된 내용이라고 하더라도, 동일하게 적용될 수 있다.
제 1 기계학습부(120)는 가수의 선호도 관련 정보(제 1 콘서트 특성 정보)와 관련하여 콘서트 공연을 포함하는 복수의 영상 데이터에서 선호도가 높은 선수가 포함된 영상 데이터를 이용하여 가수의 선호도 관련 장면에 관하여 학습한다. 이후, 이러한 학습 결과를 바탕으로, 수신된 복수의 영상 데이터에서 가수의 선호도 관련 정보와 관련된 특징 값을 산출할 수 있다. 제 1 기계학습부(120)는 제 1 영상에 가수의 선호도 관련 정보(제 1 콘서트 특성 정보)가 포함된 경우, 제 1 영상 데이터의 특징 값을 1로 산출할 수 있다. 반면, 제 1 기계학습부(120)는 제 1 영상에 가수의 선호도 관련 정보(제 1 콘서트 특성 정보)가 포함되지 않는 경우, 제 1 영상 데이터의 특징 값을 0으로 산출할 수 있다.
제 1 기계학습부(120)는 특정 파트의 노래를 부르고 있는 가수의 정보(제 2 콘서트 특성 정보)와 관련하여 콘서트 공연을 포함하는 복수의 영상 데이터에서 특정 파트의 노래를 부르는 가수가 포함된 영상 데이터를 이용하여 특정 파트의 노래를 부르고 있는 가수의 정보를 포함하는 장면에 관하여 학습한다. 이후, 이러한 학습 결과를 바탕으로, 수신된 복수의 영상 데이터에서 특정 파트의 노래를 부르고 있는 가수의 정보와 관련된 특징 값을 산출할 수 있다. 제 1 기계학습부(120)는 제 1 영상에 특정 파트의 노래를 부르고 있는 가수의 정보(제 2 콘서트 특성 정보)가 포함된 경우, 제 1 영상 데이터의 특징 값을 1로 산출할 수 있다. 반면, 제 1 기계학습부(120)는 제 1 영상에 특정 파트의 노래를 부르고 있는 가수의 정보(제 2 콘서트 특성 정보)가 포함되지 않는 경우, 제 1 영상 데이터의 특징 값을 0으로 산출할 수 있다.
제 1 기계학습부(120)는 공연 시 가수의 움직임 관련 정보(제 3 콘서트 특성 정보)와 관련하여 콘서트 공연을 포함하는 복수의 영상 데이터에서 특정 파트의 노래를 부르는 가수가 포함된 영상 데이터를 이용하여 가수의 움직임과 관련된 정보를 포함하는 장면에 관하여 학습한다. 이후, 이러한 학습 결과를 바탕으로, 수신된 복수의 영상 데이터에서 관객석으로 움직이는 가수의 관련 정보와 관련된 특징 값을 산출할 수 있다. 제 1 기계학습부(120)는 제 1 영상에 가수의 움직임 관련 정보(제 3 콘서트 특성 정보)가 포함된 경우, 제 1 영상 데이터의 특징 값을 1로 산출할 수 있다. 반면, 제 1 기계학습부(120)는 제 1 영상에 가수의 움직임 관련 정보(제 3 콘서트 특성 정보)가 포함되지 않는 경우, 제 1 영상 데이터의 특징 값을 0으로 산출할 수 있다.
제 1 기계학습부(120)는 검색 순위 관련 정보(제 4 콘서트 특성 정보)와 관련하여 콘서트 공연을 포함하는 복수의 영상 데이터에서 노래하고 있는 가수가 포함된 영상 데이터를 이용하여 검색 순위 정보에서 상위권에 위치한 가수를 포함하는 장면에 관하여 학습한다. 이후, 이러한 학습 결과를 바탕으로, 수신된 복수의 영상 데이터에서 검색 순위 관련 정보와 관련된 특징 값을 산출할 수 있다. 제 1 기계학습부(120)는 제 1 영상에 검색 순위 관련 정보(제 4 콘서트 특성 정보)가 포함된 경우, 제 1 영상 데이터의 특징 값을 1로 산출할 수 있다. 반면, 제 1 기계학습부(120)는 제 1 영상에 공연 검색 순위 관련 정보(제 4 콘서트 특성 정보)가 포함되지 않는 경우, 제 1 영상 데이터의 특징 값을 0으로 산출할 수 있다.
제 1 기계학습부(120)는 노래 가사 실수 관련 정보(제 5 콘서트 특성 정보)와 관련하여 콘서트 공연을 포함하는 복수의 영상 데이터에서 노래하고 있는 가수가 포함된 영상 데이터를 이용하여 노래 가사를 실수한 가수를 포함하는 장면에 관하여 학습한다. 이후, 이러한 학습 결과를 바탕으로, 수신된 복수의 영상 데이터에서 노래 가사 실수 관련 정보와 관련된 특징 값을 산출할 수 있다. 제 1 기계학습부(120)는 제 1 영상에 노래 가사 실수 관련 정보(제 5 콘서트 특성 정보)가 포함된 경우, 제 1 영상 데이터의 특징 값을 1로 산출할 수 있다. 반면, 제 1 기계학습부(120)는 제 1 영상에 공연 노래 가사 실수 관련 정보(제 5 콘서트 특성 정보)가 포함되지 않는 경우, 제 1 영상 데이터의 특징 값을 0으로 산출할 수 있다.
제 1 기계학습부(120)는 춤 실수 관련 정보(제 6 콘서트 특성 정보)와 관련하여 콘서트 공연을 포함하는 복수의 영상 데이터에서 춤을 추고 있는 가수가 포함된 영상 데이터를 이용하여 춤을 실수한 가수를 포함하는 장면에 관하여 학습한다. 이후, 이러한 학습 결과를 바탕으로, 수신된 복수의 영상 데이터에서 춤 실수 관련 정보와 관련된 특징 값을 산출할 수 있다. 제 1 기계학습부(120)는 제 1 영상에 춤 실수 관련 정보(제 6 콘서트 특성 정보)가 포함된 경우, 제 1 영상 데이터의 특징 값을 1로 산출할 수 있다. 반면, 제 1 기계학습부(120)는 제 1 영상에 춤 실수 관련 정보(제 6 콘서트 특성 정보)가 포함되지 않는 경우, 제 1 영상 데이터의 특징 값을 0으로 산출할 수 있다.
본원의 일 실시예에 따르면, 제 1 기계학습부(120)는 인공신경망을 이용하여 학습할 수 있다. 예시적으로, 인공신경망은 딥 러닝 신경망일 수 있으나, 이에만 한정되는 것은 아니며, 기 개발되었거나 향후 개발되는 다양한 신경망 체계를 적용할 수 있다.
제 2 기계학습부(130)는 1차 기계학습의 결과를 이용하여 복수의 영상 데이터 중 어느 하나를 사용자 선호 콘서트 영상 데이터(500)로서 추출하기 위한 2차 기계학습을 수행할 수 있다. 2차 기계학습은 SVM(Support Vector Machine)알고리즘을 이용할 수 있다. 사용자 선호 콘서트 영상 데이터(500)는 사용자가 가장 원할 것으로 예상하여 추출된 2차 기계학습의 결과일 수 있다.
선호 영상 추천부(140)는 추출된 사용자 선호 콘서트 영상 데이터를 추천할 수 있다. 선호 영상 추천부(140)는 추출된 사용자 선호 콘서트 영상 데이터(500)를 사용자 단말(300)로 제공할 수 있다. 사용자 단말(300)은 제공된 사용자 선호 콘서트 영상 데이터(500)를 디스플레이를 통해 출력할 수 있다.
예시적으로, 사용자 단말(300)은 네트워크를 통해 콘서트 중계 영상 추천 장치 (100)와 연동되는 디바이스로서, 예를 들면, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC, 웨어러블 디바이스 등과 PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말기 같은 모든 종류의 무선 통신 장치 및 데스크탑 컴퓨터, 스마트 TV와 같은 고정용 단말기일 수도 있다.
피드백 수신부(150)는 추천된 사용자 선호 콘서트 영상 데이터에 관한 사용자 피드백을 수신할 수 있다. 피드백 수신부(150)는 추천된 사용자 선호 콘서트 영상 데이터에 관한 사용자 피드백을 사용자 단말(300)로부터 제공받을 수 있다. 피드백 수신부(150)는 사용자 단말(300)로 제공된 사용자 선호 콘서트 영상 데이터에 의해 출력되는 영상이 미리 설정된 시간 이내에 다른 영상으로 변경된 경우, 사용자가 해당 영상을 선호하지 않는 것으로 판단할 수 있다. 제 2 기계학습부(130)는 피드백 수신부(150)가 추천된 사용자 선호 콘서트 영상 데이터 이외의 복수의 영상 데이터 중 적어도 어느 하나에 대한 사용자 선택 입력을 수신한 경우, 해당 정보를 피드백으로 반영하여 2차 기계학습을 수행하여 사용자 선호 콘서트 영상 데이터를 재 추출할 수 있다.
예시적으로 도 2를 참조하면, 공연이 진행중인 상황에서 특정 파트에 관련된 가수가 노래를 하는 경우와 관련한 영상을 제공할 때, 2차 기계학습부(130)는 제 1 영상 데이터(1')를 사용자 선호 콘서트 영상 데이터로서 추출하여 사용자 단말(300)로 제 1 영상 데이터(1')를 추천할 수 있다. 이때, 피드백 수신부(150)가 사용자 단말(300)로부터 제 1 영상 데이터(1')가 아닌 제 3 영상 데이터(3') 시청하고자 하는 입력을 수신한 경우, 2차 기계학습부(130)는 해당 입력 정보를 사용자 피드백 정보로 반영하여 2차 기계학습을 재수 행할 수 있다. 2차 기계학습부(130)는 피드백 수신부(150)에서 수신한 사용자 피드백을 반영하여 2차 기계학습을 수행함으로써, 사용자가 특정 상황에서 어떤 영상을 더 선호하는지를 파악할 수 있다.
사용자 정보 수집부(160)는 사용자 정보를 수집할 수 있다. 사용자 정보는 연령, 나이, 성별, 국가, 선호 가수(그룹), 선호 음악, 선호 음악 장르 등을 포함하는 정보일 수 있다. 사용자 정보 수집부(160)는 사용자 단말(300)로부터 사용자 정보를 수신할 수 있다.
본원의 일 실시예에 따르면, 사용자 정보 수집부(160)는 사용자 단말(300)로 사용자 정보 획득 메뉴를 제공할 수 있다. 예를 들어, 사용자 정보 수집부(160)가 제공하는 애플리케이션 프로그램을 사용자 단말(300)이 다운로드하여 설치하고, 설치된 애플리케이션을 통해 사용자 정보 획득 메뉴가 제공될 수 있다. 사용자 정보 수집부(160)는 사용자 단말(300)과 데이터, 콘텐츠, 각종 통신 신호를 네트워크를 통해 송수신할 수 있다.
2차 기계학습부(130)는 사용자 정보 수집부(160)로 수집된 사용자 정보와 1차 기계학습의 결과를 입력으로 하여 2차 기계학습을 수행할 수 있다. 2차 기계학습부(130)는 1차 기계학습의 결과만을 이용하여 수행된 2차 기계학습의 결과보다, 수집된 사용자 정보와 1차 기계학습의 결과를 입력으로 하여 2차 기계학습을 수행함으로써 보다 정확한 사용자 선호 콘서트 영상 데이터를 추출할 수 있다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.
도 5는 본원의 일 실시예에 따른 기계학습 기반의 콘서트 중계 영상 추천 방법에 대한 동작 흐름도이다.
도 5에 도시된 기계학습 기반의 콘서트 중계 영상 추천 방법은 앞서 설명된 기계학습 기반의 콘서트 중계 영상 추천 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 기계학습 기반의 콘서트 중계 영상 추천 장치(100)에 대하여 설명된 내용은 기계학습 기반의 콘서트 중계 영상 추천 방법에 대한 설명에도 동일하게 적용될 수 있다.
단계 S501에서, 콘서트 중계 영상 추천 장치(100)는 복수의 영상 카메라에 의해 촬영된 복수의 영상 데이터를 수신할 수 있다.
단계 S502에서, 콘서트 중계 영상 추천 장치(100)는 수신된 복수의 영상 데이터에 대하여, 미리 설정된 콘서트 특성 정보에 관한 특징 값을 산출하는 1차 기계학습을 수행할 수 있다.
단계 S503에서, 콘서트 중계 영상 추천 장치(100)는 1차 기계학습의 결과를 이용하여 복수의 영상 데이터 중 어느 하나를 사용자 선호 콘서트 영상 데이터로서 추출하기 위한 2차 기계학습을 수행할 수 있다.
단계 S504에서, 콘서트 중계 영상 추천 장치(100)는 추출된 사용자 선호 콘서트 영상 데이터를 추천할 수 있다.
상술한 설명에서, 단계 S501 내지 S504은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본원의 일 실시 예에 따른 기계학습 기반의 콘서트 중계 영상 추천 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 기계학습 기반의 콘서트 중계 영상 추천 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
100: 콘서트 중계 영상 추천 장치
110: 영상 데이터 수신부
120: 제 1 기계학습부
130: 제 2 기계학습부
140: 선호 영상 추천부
150: 피드백 수신부
160: 사용자 정보 수신부
200: 영상 인코딩 장치
300: 사용자 단말
400: 복수의 카메라

Claims (8)

  1. 기계학습 기반의 콘서트 중계 영상 추천 방법에 있어서,
    콘서트가 진행중인 장소에 배치된 복수의 영상 카메라에 의해 촬영된 복수의 영상 데이터를 수신하는 단계;
    수신된 상기 복수의 영상 데이터에 대하여, 미리 설정된 콘서트 특성 정보에 관한 특징 값을 산출하는 1차 기계학습을 수행하는 단계;
    사용자 정보를 수집하는 단계;
    수집된 상기 사용자 정보 및 상기 1차 기계학습의 결과를 이용하여 상기 복수의 영상 데이터 중 어느 하나를 사용자 선호 콘서트 영상 데이터로서 추출하기 위한 2차 기계학습을 수행하는 단계; 및
    상기 추출된 사용자 선호 콘서트 영상 데이터를 추천하는 단계;
    를 포함하고,
    상기 1차 기계학습을 수행하는 단계는,
    미리 설정된 콘서트 특성 정보가 포함되어 있는 복수의 영상 데이터를 기반으로 학습된 학습 모듈에 수신된 상기 복수의 영상 데이터를 적용하여 콘서트 특성 정보의 포함 유무를 판단하기 위한 특징 값을 산출하는 1차 기계 학습을 수행하고,
    상기 2차 기계학습을 수행하는 단계는,
    수집된 상기 사용자 정보 및 상기 복수의 영상 데이터 각각에 포함된 콘서트 특성 정보를 입력으로 하는 2차 기계학습을 수행하고, 상기 2차 기계학습을 통해 복수의 영상 데이터 중 어느 하나를 사용자 선호 콘서트 영상 데이터로서 추출하고,
    상기 미리 설정된 콘서트 특성 정보는,
    가수의 선호도 관련 정보, 특정 파트의 노래를 부르고 있는 가수의 정보, 공연 시 가수의 움직임 관련 정보, 검색 순위 관련 정보, 노래 가사 실수 관련 정보 및 춤 실수 관련 정보를 포함하는 것인, 콘서트 중계 영상 추천 방법.
  2. 제 1 항에 있어서,
    상기 1차 기계학습을 수행하는 단계는,
    상기 미리 설정된 콘서트 특성 정보를 입력으로 하여 학습된 학습 모듈을 이용하여 상기 복수의 영상 데이터에서 상기 콘서트 영상 데이터의 특징 값을 산출하는 것인, 콘서트 중계 영상 추천 방법.
  3. 제 1 항에 있어서,
    상기 추천된 사용자 선호 콘서트 영상 데이터에 관한 사용자 피드백을 수신하는 단계,
    를 더 포함하고,
    상기 2차 기계학습을 수행하는 단계는, 상기 사용자 피드백을 반영하여 사용자 선호 콘서트 영상 데이터를 추출하는 것인, 콘서트 중계 영상 추천 방법.
  4. 삭제
  5. 삭제
  6. 기계학습 기반의 콘서트 중계 영상 추천 장치에 있어서,
    콘서트가 진행중인 장소에 배치된 복수의 영상 카메라에 의해 촬영된 복수의 영상 데이터를 수신하는 영상 데이터 수신부;
    수신된 상기 복수의 영상 데이터에 대하여, 미리 설정된 콘서트 특성 정보에 관한 특징 값을 산출하는 1차 기계학습을 수행하는 제 1 기계학습부;
    사용자 정보를 수집하는 사용자 정보 수집부;
    상기 1차 기계학습의 결과를 이용하여 상기 복수의 영상 데이터 중 어느 하나를 사용자 선호 콘서트 영상 데이터로서 추출하기 위한 2차 기계학습을 수행하는 제 2 기계학습부; 및
    상기 추출된 사용자 선호 콘서트 영상 데이터를 추천하는 선호 영상 추천부;
    를 포함하고,
    상기 제 1 기계학습부는,
    미리 설정된 콘서트 특성 정보가 포함되어 있는 복수의 영상 데이터를 기반으로 학습된 학습 모듈에 수신된 상기 복수의 영상 데이터를 적용하여 콘서트 특성 정보의 포함 유무를 판단하기 위한 특징 값을 산출하는 1차 기계 학습을 수행하고,
    상기 제 2 기계학습부는,
    수집된 상기 사용자 정보 및 상기 복수의 영상 데이터 각각에 포함된 콘서트 특성 정보를 입력으로 하는 2차 기계학습을 수행하고, 상기 2차 기계학습을 통해 복수의 영상 데이터 중 어느 하나를 사용자 선호 콘서트 영상 데이터로서 추출하고, 상기 미리 설정된 콘서트 특성 정보는,
    가수의 선호도 관련 정보, 특정 파트의 노래를 부르고 있는 가수의 정보, 공연 시 가수의 움직임 관련 정보, 검색 순위 관련 정보, 노래 가사 실수 관련 정보 및 춤 실수 관련 정보를 포함하는 것인, 콘서트 중계 영상 추천 장치.
  7. 콘서트가 진행중인 장소에 배치된 복수의 영상 카메라로부터 복수의 영상 데이터를 수신하고, 수신된 상기 복수의 영상 데이터를 전송하는 영상 인코딩 장치; 및
    상기 영상 인코딩 장치로부터 부호화된 영상 데이터를 수신하고, 수신된 상기 복수의 영상 데이터에 대하여, 미리 설정된 콘서트 특성 정보에 관한 특징 값을 산출하는 1차 기계학습을 수행하고, 사용자 정보를 수집하고, 수집된 사용자 정보 및 상기 1차 기계학습의 결과를 이용하여 상기 복수의 영상 데이터 중 어느 하나를 사용자 선호 콘서트 영상 데이터로서 추출하기 위한 2차 기계학습을 수행하여, 상기 추출된 사용자 선호 콘서트 영상 데이터를 추천하는 콘서트 중계 영상 추천 장치,
    를 포함하되,
    상기 콘서트 중계 영상 추천 장치는
    미리 설정된 콘서트 특성 정보가 포함되어 있는 복수의 영상 데이터를 기반으로 학습된 학습 모듈에 수신된 상기 복수의 영상 데이터를 적용하여 콘서트 특성 정보의 포함 유무를 판단하기 위한 특징 값을 산출하는 1차 기계 학습을 수행하고, 수집된 상기 사용자 정보 및 상기 복수의 영상 데이터 각각에 포함된 콘서트 특성 정보를 입력으로 하는 2차 기계학습을 수행하고, 상기 2차 기계학습을 통해 복수의 영상 데이터 중 어느 하나를 사용자 선호 콘서트 영상 데이터로서 추출하고,
    상기 미리 설정된 콘서트 특성 정보는,
    가수의 선호도 관련 정보, 특정 파트의 노래를 부르고 있는 가수의 정보, 공연 시 가수의 움직임 관련 정보, 검색 순위 관련 정보, 노래 가사 실수 관련 정보 및 춤 실수 관련 정보를 포함하는 것인, 콘서트 중계 영상 추천 시스템.
  8. 제 1 항 내지 제 3 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020180169004A 2018-12-26 2018-12-26 기계학습 기반의 콘서트 중계 영상 추천 방법 및 장치 KR102107059B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180169004A KR102107059B1 (ko) 2018-12-26 2018-12-26 기계학습 기반의 콘서트 중계 영상 추천 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180169004A KR102107059B1 (ko) 2018-12-26 2018-12-26 기계학습 기반의 콘서트 중계 영상 추천 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102107059B1 true KR102107059B1 (ko) 2020-05-06

Family

ID=70737502

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180169004A KR102107059B1 (ko) 2018-12-26 2018-12-26 기계학습 기반의 콘서트 중계 영상 추천 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102107059B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102348756B1 (ko) * 2021-09-16 2022-01-07 (주)라이브베리 라이브 공연 영상에 대한 중계 서비스 제공 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004054960A (ja) * 2002-07-19 2004-02-19 Samsung Electronics Co Ltd 映像視覚情報を結合してリアルタイムで複数の顔を検出して追跡する顔検出・追跡システム及びその方法
US20170142480A1 (en) * 2015-11-17 2017-05-18 Rovi Guides, Inc. Methods and systems for selecting a preferred viewpoint for media assets

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004054960A (ja) * 2002-07-19 2004-02-19 Samsung Electronics Co Ltd 映像視覚情報を結合してリアルタイムで複数の顔を検出して追跡する顔検出・追跡システム及びその方法
US20170142480A1 (en) * 2015-11-17 2017-05-18 Rovi Guides, Inc. Methods and systems for selecting a preferred viewpoint for media assets

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102348756B1 (ko) * 2021-09-16 2022-01-07 (주)라이브베리 라이브 공연 영상에 대한 중계 서비스 제공 시스템

Similar Documents

Publication Publication Date Title
KR102107055B1 (ko) 기계학습 기반의 스포츠 중계 영상 추천 방법 및 장치
CN107534789B (zh) 影像同步装置及影像同步方法
US20230269392A1 (en) DMVR and BDOF Based Inter Prediction Method and Apparatus Thereof
US11416546B2 (en) Content type detection in videos using multiple classifiers
CN101982979B (zh) 立体适配方法和立体适配装置
CN101778257B (zh) 用于数字视频点播中的视频摘要片断的生成方法
WO2012039404A1 (ja) 映像ビットストリームの伝送システム
KR102246305B1 (ko) 증강 미디어 서비스 제공 방법, 장치 및 시스템
US11140451B2 (en) Representation of content based on content-level features
US20200388068A1 (en) System and apparatus for user controlled virtual camera for volumetric video
Ruan et al. Networked vr: State of the art, solutions, and challenges
US20130133000A1 (en) Video Interaction System
CN101002471A (zh) 对图像编码的方法和设备及对图像数据解码的方法和设备
KR101769353B1 (ko) 증강 방송 스트림 송출 장치 및 방법, 및 증강 방송 서비스 제공 장치 및 방법
Laghari et al. The state of art and review on video streaming
KR102107059B1 (ko) 기계학습 기반의 콘서트 중계 영상 추천 방법 및 장치
CN111263183A (zh) 唱歌状态识别方法及装置
US20200213631A1 (en) Transmission system for multi-channel image, control method therefor, and multi-channel image playback method and apparatus
US11564013B2 (en) Content recommendation generation using content based on bi-directional prediction
CN111433725A (zh) 用于基于用户位置的交互360视频回放的系统和方法
Hu et al. Mobile edge assisted live streaming system for omnidirectional video
CN107707830A (zh) 基于单向通信的全景视频播放拍照系统
CN110198457B (zh) 视频播放方法及其设备、系统、存储介质、终端、服务器
KR101933696B1 (ko) Ai 영상학습 플랫폼 기반 vod 서비스 시스템
Ozcinar et al. Delivery of omnidirectional video using saliency prediction and optimal bitrate allocation

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant