KR102550528B1 - 고화질 카메라를 이용한 분할영상 선택 시스템 및 그 방법 - Google Patents

고화질 카메라를 이용한 분할영상 선택 시스템 및 그 방법 Download PDF

Info

Publication number
KR102550528B1
KR102550528B1 KR1020180098484A KR20180098484A KR102550528B1 KR 102550528 B1 KR102550528 B1 KR 102550528B1 KR 1020180098484 A KR1020180098484 A KR 1020180098484A KR 20180098484 A KR20180098484 A KR 20180098484A KR 102550528 B1 KR102550528 B1 KR 102550528B1
Authority
KR
South Korea
Prior art keywords
busking
definition camera
image
split
performance
Prior art date
Application number
KR1020180098484A
Other languages
English (en)
Other versions
KR20200022640A (ko
Inventor
남궁요
Original Assignee
주식회사 라이브콘티넨트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 라이브콘티넨트 filed Critical 주식회사 라이브콘티넨트
Priority to KR1020180098484A priority Critical patent/KR102550528B1/ko
Publication of KR20200022640A publication Critical patent/KR20200022640A/ko
Application granted granted Critical
Publication of KR102550528B1 publication Critical patent/KR102550528B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Marketing (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 고화질 카메라로 촬영된 버스킹(Busking) 공연에 대한 단일의 풀 영상을 복수의 분할영상으로 분할하여 빅데이터의 확률 기반으로 플레이 영상을 선택하는 고화질 카메라를 이용한 분할영상 선택 시스템 및 그 방법에 관한 것으로, 복수의 분할영상 중 음악 흐름, 버스킹 조명, 버스킹 공간 및 버스킹 배경 등을 고려하여 매 순간 최적의 플레이 영상을 선택하여 하이라이트 영상을 송출할 수 있다.

Description

고화질 카메라를 이용한 분할영상 선택 시스템 및 그 방법{SYSTEM FOR SELECTING SEGMENTATION VIDEO USING HIGH DEFINITION CAMERA AND THE METHOD THEREOF}
본 발명은 고화질 카메라를 이용한 분할영상 선택 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 고화질 카메라로 촬영된 버스킹(Busking) 공연에 대한 단일의 풀 영상을 복수의 분할영상으로 분할하여 빅데이터의 확률 기반으로 플레이 영상을 선택하는 시스템에 관한 것이다.
최근 버스커(busker: 거리 공연자) 문화의 발달에 따라, 버스커들이 다양한 장르의 음악을 다양한 레퍼토리를 통해 거리에서 공연을 하고 있다. 또한, 스마트 기기의 보급으로 인해, 스마트 기기의 사용자는 이동 중에도 다양한 정보를 획득할 수 있는 환경이 마련되었다.
현재 스마트 기기를 이용하여 버스커에 대한 정보를 획득할 수 있는 시스템은 제공되고 있지 않다. 따라서, 버스커의 입장에서는 공연의 홍보를 위해, 관객의 입장에서는 공연정보를 획득하기 위해 버스커에 대한 정보를 제공할 수 있는 시스템이 요구된다.
선행 발명인 한국등록특허 제10-1271590호는 스마트 실시간 공연 시스템 및 그 방법에 관한 것이다. 선행 발명은 복수의 공연 참가 후보자가 촬영한 데모 영상을 입력받아 영상 DB에 저장하고, 제3자의 사용자 단말기로 상기 데모 영상 또는 공연 영상을 제공하는 영상 관리부와, 상기 제3자로부터 입력된 상기 데모 영상에 대한 선호도 정보를 이용하여 상기 복수의 공연 참가 후보자에 대한 선호도를 평가하는 선호도 평가부와, 상기 선호도 평가 정보가 가장 높은 공연 참가 후보자를 공연 참가자로 결정하는 공연 참가자 결정부와, 상기 제3자로부터 입력된 상기 공연 참가자의 공연 평가 정보를 이용하여 상기 공연 참가자에 대한 공연 점수를 계산하는 공연 점수 연산부를 포함하는 스마트 실시간 공연 시스템을 개시한다.
다만, 선행 발명은, 서비스 이용자에게 데모 영상을 제공하고, 선호도 정보를 이용하여 공연을 구성하는 방법을 제시하고 있으나, 거리에서 다양한 공연을 하는 버스커들을 대상으로 선행 발명을 적용하는 것에는 한계가 있다.
나아가, 기존의 공연방송 영상을 제작하기 위해서는 단체 버스커 각각의 인물 별 촬영 카메라와, 스위처 장비 및 오디오/ 비디오 장비 등이 필요하므로, 필수 장비에 따른 비용 증가 및 인력 증가의 한계가 존재하였다.
본 발명의 목적은 단일의 고화질 카메라를 이용하여 복수의 카메라 효과를 연출함으로써, 버스킹 공연에 대한 전체 화면 또는 클로즈업 화면을 제공할 수 있는 시스템을 제공하고자 한다.
또한, 본 발명의 목적은 복수의 분할영상 중 버스킹 환경에 적합한 최적의 영상을 선택하여 송출함으로써, 공연방송 제작의 비용 및 품질 이슈를 해결할 수 있는 기술을 제공하고자 한다.
또한, 본 발명의 목적은 복수의 분할영상 중 음악 흐름, 버스킹 조명, 버스킹 공간 및 버스킹 배경 등을 고려하여 매 순간 최적의 플레이 영상을 선택하여 하이라이트 영상을 송출할 수 있는 기술을 제공하고자 한다.
본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템은 고화질 카메라를 이용하여 촬영된 버스킹(Busking) 공연에 대한 단일의 풀 영상을 수신하는 영상 수신부, 상기 풀 영상의 화면에 대한 객체 인식 과정을 통해 상기 풀 영상을 복수의 분할영상으로 분할하는 화면 분할부 및 상기 복수의 분할영상 중 버스킹 환경에 따른 빅데이터의 확률 기반으로 플레이 영상을 선택하는 선택부를 포함한다.
상기 영상 수신부는 단일의 상기 고화질 카메라로부터 촬영된 상기 버스킹 영상에 대한 상기 단일의 풀 영상을 수신할 수 있다.
상기 화면 분할부는 상기 버스킹 공연에 참여하는 사람 및 상기 버스킹 공연에 사용되는 악기의 객체를 추출하고, 추출된 객체 수에 따라 상기 복수의 분할영상으로 분할할 수 있다.
상기 화면 분할부는 추출된 사람 또는 악기의 중첩 시, 중첩된 객체를 포함하는 상기 복수의 분할영상으로 분할할 수 있다.
상기 선택부는 음악마다 학습된 상기 빅데이터를 이용하여 샘플링되는 상기 복수의 분할영상 중 상기 플레이 영상을 선택할 수 있다.
상기 선택부는 상기 분할영상으로부터 음악 흐름, 버스킹 조명, 버스킹 공간 및 버스킹 배경 중 적어도 어느 하나 이상의 상기 버스킹 환경에 대한 샘플링을 추출하고, 추출 결과와 상기 빅데이터를 비교하여 상기 복수의 분할영상을 일반 영상 또는 이슈 영상으로 분류할 수 있다.
상기 선택부는 상기 버스킹 환경에 대해 상기 추출된 샘플링에 머신러닝(Machine Learning) 기법을 적용하여 상기 복수의 분할영상 각각에 대한 확률 값을 산출할 수 있다.
상기 선택부는 상기 확률 값에 멀티트랙 센싱, 사운드 분석 및 BPM 인식 중 적어도 어느 하나 이상의 사운드 특징을 조합하여 상기 플레이 영상을 선택할 수 있다.
본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템은 참여자의 의견에 기반하여 상기 플레이 영상의 선택, 및 상기 복수의 분할영상 중 확률 기반의 상기 플레이 영상의 선택을 제어하는 제어부를 더 포함할 수 있다.
본 발명의 실시예에 따른 고화질 카메라를 이용하여 버스킹(Busking) 공연에 대한 분할영상을 선택하는 시스템의 동작 방법에 있어서, 상기 고화질 카메라를 이용하여 촬영된 상기 버스킹 공연에 대한 단일의 풀 영상을 수신하는 단계, 상기 풀 영상의 화면에 대한 객체 인식 과정을 통해 상기 풀 영상을 복수의 분할영상으로 분할하는 단계 및 상기 복수의 분할영상 중 버스킹 환경에 따른 빅데이터의 확률 기반으로 플레이 영상을 선택하는 단계를 포함한다.
상기 복수의 분할영상으로 분할하는 단계는 상기 버스킹 공연에 참여하는 사람 및 상기 버스킹 공연에 사용되는 악기의 객체를 추출하고, 추출된 객체 수에 따라 상기 복수의 분할영상으로 분할할 수 있다.
상기 플레이 영상을 선택하는 단계는 음악마다 학습된 상기 빅데이터를 이용하여 샘플링되는 상기 복수의 분할영상 중 상기 플레이 영상을 선택할 수 있다.
상기 플레이 영상을 선택하는 단계는 상기 분할영상으로부터 음악 흐름, 버스킹 조명, 버스킹 공간 및 버스킹 배경 중 적어도 어느 하나 이상의 상기 버스킹 환경에 대한 샘플링을 추출하고, 추출 결과와 상기 빅데이터를 비교하여 상기 복수의 분할영상을 일반 영상 또는 이슈 영상으로 분류하는 단계, 상기 버스킹 환경에 대해 상기 추출된 샘플링에 머신러닝(Machine Learning) 기법을 적용하여 상기 복수의 분할영상 각각에 대한 확률 값을 산출하는 단계 및 상기 확률 값에 멀티트랙 센싱, 사운드 분석 및 BPM 인식 중 적어도 어느 하나 이상의 사운드 특징을 조합하여 상기 플레이 영상을 선택하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 단일의 고화질 카메라를 이용하여 복수의 카메라 효과를 연출함으로써, 버스킹 공연에 대한 전체 화면 또는 클로즈업 화면을 제공할 수 있다.
또한, 본 발명의 실시예에 따르면, 복수의 분할영상 중 버스킹 환경에 적합한 최적의 영상을 선택하여 송출함으로써, 공연방송 제작의 비용 및 품질 이슈를 해결할 수 있다.
또한, 본 발명의 실시예에 따르면, 복수의 분할영상 중 음악 흐름, 버스킹 조명, 버스킹 공간 및 버스킹 배경 등을 고려하여 매 순간 최적의 플레이 영상을 선택하여 하이라이트 영상을 송출할 수 있다.
도 1은 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템의 구성을 블록도로 도시한 것이다.
도 2는 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템의 구성도를 도시한 것이다.
도 3은 본 발명의 실시예에 따른 분할영상의 개념 예를 도시한 것이다.
도 4는 본 발명의 실시예에 따른 객체 인식 과정의 예를 도시한 것이다.
도 5는 본 발명의 실시예에 따른 이슈 영상 및 일반 영상을 분류하는 예를 도시한 것이다.
도 6은 본 발명의 실시예에 따른 플레이 영상을 선택하는 예를 도시한 것이다.
도 7은 본 발명의 실시예에 따른 플레이 영상의 선택을 위한 테이블의 예를 도시한 것이다.
도 8은 본 발명의 실시예에 따른 플레이 영상의 송출 예를 도시한 것이다.
도 9는 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 방법의 흐름도를 도시한 것이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명은 단 한대의 카메라로 버스킹 공연을 촬영하고, 촬영된 단일의 풀 영상(Full video)에 대한 여러 장면을 분할하여 가장 중요한 하이라이트 장면을 라이브 방송으로 송출함으로써, 공연방송 제작의 불편사항과 비용 및 품질 이슈를 해결하기 위한 시스템을 제안한다.
본 발명의 실시예들은 단일의 고화질 카메라를 이용하여 촬영한 버스킹 공연에 대한 단일의 풀 영상을 이용하여 객체 인식 과정을 통해 복수의 분할영상으로 분할하고, 버스킹 환경에 따른 빅데이터의 확률 기반으로 플레이 영상을 선택하여 송출할 수 있는 기술에 관한 것으로, 단일의 고화질 카메라를 통해 복수의 카메라 효과를 제공함으로써, 저예산으로 양질의 영상을 제공하여 공연 제작자, 버스커(또는 공연자, 연주자, 가수 등) 및 참여자(버스킹 공연을 관람하는 관람자 또는 영상 시청자) 간의 수익을 창출할 수 있는 기술을 제공하고자 한다.
이러한 본 발명의 실시예들에 따른 고화질 카메라를 이용한 분할영상 선택 시스템 및 그 방법에 대해 도 1 내지 도 9를 참조하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템의 구성을 블록도로 도시한 것이다.
도 1을 참조하면, 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템(100)은 고화질 카메라로 촬영된 버스킹(Busking) 공연에 대한 단일의 풀 영상을 복수의 분할영상으로 분할하여 빅데이터의 확률 기반으로 플레이 영상을 선택한다.
이에 따른, 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템(100)은 영상 수신부(110), 화면 분할부(120) 및 선택부(130)를 포함한다.
영상 수신부(110)는 고화질 카메라를 이용하여 촬영된 버스킹(Busking) 공연에 대한 단일의 풀 영상을 수신한다.
예를 들면, 버스커(busker: 거리 공연자)가 거리 공연을 하는 경우, 공연 제작자는 단일의 고화질 카메라를 이용하여 버스킹 공연을 촬영하고, 영상 수신부(110)는 공연 제작자로부터 버스킹 공연에 대한 단일의 풀 영상을 수신할 수 있다.
실시예에 따라서, 공연 제작자는 버스킹 공연에 대한 풀 영상을 촬영하는 인물로, 스태프(staff), 버스커 또는 관람자일 수 있으며, 고화질 카메라로부터 촬영된 풀 영상을 소지하는 모바일 디바이스 내 설치된 호스트 어플리케이션을 통해 전송할 수 있다. 이 때, 상기 고화질 카메라는 UHD(Ultra-HD) 4320P/4K의 카메라일 수 있으며, 영상 수신부(110)는 고화질 카메라로부터 촬영된 단일의 4K 풀 영상을 수신할 수 있다.
화면 분할부(120)는 풀 영상의 화면에 대한 객체 인식 과정을 통해 풀 영상을 복수의 분할영상으로 분할한다.
화면 분할부(120)는 영상 수신부(110)로부터 수신된 단일의 4320P/4K 풀 영상을 4개의 1080P 영상으로 분할할 수 있으나, 여기서 분할하는 영상의 개수는 4개로 한정하지 않음은 당연하다.
예를 들면, 화면 분할부(120)는 안면(얼굴) 또는 사물 인식 알고리즘을 이용하여 풀 영상 중 화면(순간 프레임)에서의 버스킹 공연에 참여하는 사람 및 버스킹 공연에 사용되는 악기의 객체를 추출하고, 추출된 사람 또는 악기의 객체 수에 따라 복수의 분할영상으로 분할할 수 있다.
실시예에 따라서, 버스킹 공연에서 악기만 연주하는 사람, 노래하는 사람, 악기와 노래를 함께하는 사람이 존재하는 경우, 화면 분할부(120)는 사람과 악기의 각 객체를 우선적으로 추출하며, 악기를 연주하는 사람과, 노래하는 사람, 그리고 악기와 노래를 함께하는 사람을 따로 분류하여 각각에 대한 분할영상으로 분할할 수 있다.
다른 실시예에 따라서, 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템(100)의 화면 분할부(120)는 풀 영상에서 객체를 인식하는 과정에서, 중첩되는 사람과 악기 또는 마이크를 추출할 수도 있다. 예를 들면, 참여자 A, B, C와 악기 D, E 및 마이크 F가 추출되는 경우, 참여자 A, 악기 E, 마이크 F가 중첩되고, 참여자 B, C가 중첩되는 경우, 본 발명은 참여자 A, 악기 E, 마이크 F를 하나의 영상으로 분할하고, 참여자 B, C를 하나의 영상으로 분할하며, 악기 D를 하나의 영상으로 분할하여 복수의 분할영상을 분할할 수 있다. 즉, 화면 분할부(120)는 객체의 중첩이 발생하는 경우, 중첩되는 객체를 하나의 그룹으로 판단하여 영상을 분할하는 것을 기본으로 한다.
다만, 버스킹 공연에서 관람자가 노래를 따라 부르거나, 박수를 치는 행위를 할 수 있으므로, 본 발명의 실시예에 따른 화면 분할부(120)는 악기 및 마이크 등과 같이 버스커임이 분명한 객체를 우선적으로 추출할 수 있다. 또한, 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템(100)은 선택 입력되는 버스커의 인원에 대응하는 사람 또는 악기의 객체를 추출할 수도 있다.
이 때, 화면 분할부(120)에서 사용되는 인식 알고리즘(recognition algorithm)은 기존 기술에서 안면, 사물 또는 음성을 인식하기 위해 사용되는 알고리즘을 사용하는 것이므로, 상세한 설명은 생략한다. 또한, 화면 분할부(120)는 풀 영상의 화면에서 사람 또는 악기를 추출하기 위한 알고리즘 외에, 머신러닝(Machine learning) 기법 또는 인공지능(AI) 기술을 적용할 수 있으므로, 알고리즘에 한정되지 않는다.
선택부(130)는 복수의 분할영상 중 버스킹 환경에 따른 빅데이터의 확률 기반으로 플레이 영상을 선택한다.
예를 들면, 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템(100)은 음악마다 학습된 빅데이터를 저장하여 유지할 수 있으며, 외부의 저장 장치 또는 외부의 서버로부터 빅데이터를 다운로드 또는 업데이트할 수 있다. 이 때, 빅데이터는 음악 전곡에 대한 음원이 학습된 데이터이며, 노래 또는 악기 별로 분류되어 데이터화된 것일 수 있다.
이에 따른, 선택부(130)는 빅데이터를 기반으로, 화면 분할부(120)에서 분할된 복수의 분할영상 각각에 대해 샘플링된 데이터로부터 플레이 영상을 선택할 수 있다.
예를 들면, 선택부(130)는 복수의 분할영상 각각에 대한 샘플링과 빅데이터를 비교하여 음악 흐름에 따른 클라이맥스(climax) 또는 하이라이트의 플레이 영상을 선택하거나, 기타, 드럼 또는 바이올린 등의 악기 중심으로 판단되는 경우, 해당 악기를 연주하는 사람을 나타내는 플레이 영상을 선택할 수 있다. 또한, 선택부(130)는 핀 조명과 같은 버스킹 조명이 가리키는 사람 또는 악기의 객체를 나타내는 플레이 영상을 선택하거나, 실내 또는 실외 등의 버스킹 공간을 나타내는 플레이 영상을 선택할 수 있으며, 코엑스, 홍대, 건대 또는 한강 등의 버스킹 배경을 나타내는 플레이 영상을 선택할 수 있다.
이러한 선택부(130)의 선택은 음악 전곡이 포함된 빅데이터를 기반으로 수행되는 것이나, 관리자(또는 사용자)의 기 설정된 선택 입력 또는 참여자의 선택에 따른 것일 수도 있다.
또 다른 예로, 선택부(130)는 분할영상으로부터 음악 흐름, 버스킹 조명, 버스킹 공간 및 버스킹 배경 중 적어도 어느 하나 이상의 버스킹 환경에 대한 샘플링을 추출하고, 추출 결과와 빅데이터를 비교하여 복수의 분할영상을 일반 영상 또는 이슈 영상으로 분류할 수 있다. 이후, 선택부(130)는 버스킹 환경에 대해 추출된 샘플링에 머신러닝(Machine Learning) 기법을 적용하여 복수의 분할영상 각각에 대한 확률 값을 산출하고, 확률 값에 멀티트랙 센싱, 사운드 분석 및 BPM 인식 중 적어도 어느 하나 이상의 사운드 특징을 조합하여 플레이 영상을 선택할 수 있다.
실시예에 따르면, 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템(100)은 음악 전곡에서 복수의 참여자들이 선호하는 음악 흐름 및 악기 등과, 강조되는 버스킹 조명, 버스킹 공간 및 버스킹 배경에 대한 정보를 빅데이터에 저장하여 유지할 수 있으며, 선택부(130)는 상기 정보를 기반으로 복수의 분할영상 각각에 대한 샘플링과 빅데이터를 비교하여 일반 영상과 이슈 영상을 분류할 수 있다. 이후, 선택부(130)는 이슈 영상을 중심으로 머신러닝 기법을 적용하여 이슈 영상 각각에 대한 확률 값을 산출할 수 있으며, 확률 값에 악기 및 음악 흐름 중심의 멀티트랙 센싱, 사운드 분석 및 BPM 인식 중 적어도 어느 하나 이상의 사운드 특징을 조합하여 최상위 확률 값을 나타내는 영상을 플레이 영상으로 선택할 수 있다.
즉, 선택부(130)는 음악 흐름, 버스킹 조명, 버스킹 공간 및 버스킹 배경 중 적어도 어느 하나 이상의 버스킹 환경에 기초하여 복수의 분할영상 중 버스킹 공연의 클라이맥스(climax) 또는 하이라이트에 따른 플레이 영상을 선택하는 것을 특징으로 한다.
이 때, 실시예에 따라서, 상기 버스킹 환경은 버스킹 공연의 레퍼토리, 공연 장소, 공연 장소의 위도, 경도, 주소, 소음 정도, 전기지원 여부, 실내 공연인지 실외 공연인지 여부, 시간 정보 및 공연 순서 중 적어도 어느 하나의 정보를 더 포함할 수도 있다.
또한, 도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템(100)은 참여자의 의견에 기반하여 플레이 영상의 선택, 및 복수의 분할영상 중 확률 기반의 플레이 영상의 선택을 제어하는 제어부(140)를 더 포함할 수 있다.
예를 들면, 제어부(140)는 복수의 분할영상 각각에 대한 클라이맥스(climax) 또는 하이라이트를 기반으로, 초, 분 단위의 시간마다 선택되는 플레이 영상을 구동할 수 있으며, 참여자가 소지하는 모바일 디바이스로부터 수신되는 참여자의 선택 입력에 기반하여 플레이 영상을 선택 및 표현할 수도 있다.
또한, 제어부(140)는 영상 수신부(110)로부터 수신되는 풀 영상에 대한 화질, 크기, 및 종류에 기반하여 스트림(stream) 과정을 제어할 수 있으며, 참여자의 선택 입력 또는 업데이트되는 빅데이터에 기반하여 화면 분할부(120)를 제어할 수도 있다. 즉, 제어부(140)는 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템(100)의 구성요소들의 구동, 수행, 표현 등의 동작을 전반적으로 제어할 수 있다.
또한, 제어부(140)는 공연 제작자 또는 버스커로부터 버스커의 정보를 요청하고, 응답에 따른 정보를 이용하여 화면 분할 또는 플레이 영상 선택에 활용할 수도 있다. 실시예에 따라서, 상기 버스커의 정보는 버스커의 팀 이름, 팀원 목록, 팀원의 성별, 공연 카테고리, 장르, 앨범 정보, 추천인, 팀원 별 포지션, 총 팀원 수, 소개 페이지의 유알엘(Uniform Resource Locater; URL), 페이스북의 URL, 트위터의 URL, 팬 커뮤니티의 URL, 활동 국가, 활동 도시 및 태그(Tag) 중 적어도 어느 하나를 포함할 수 있다.
도 2는 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템의 구성도를 도시한 것이다.
도 2를 참조하면, 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템(200)은 호스트 어플리케이션(220)으로부터 수신(b)되는 풀 영상을 영상 제작 프로세스(230)을 이용하여 분할하고, 분할영상 중 플레이 영상을 선택한다.
보다 상세하게는, 기본적으로 공연 제작자(210)는 단일의 고화질 카메라인 4K 카메라와 모바일 디바이스를 소지하며, 단일의 고화질 카메라를 이용하여 버스킹 공연에 대한 영상을 촬영(a)하고, 모바일 디바이스 내 설치된 호스트 어플리케이션(예를 들면, 버스킹플레이(BuskingPlay), 220)에 촬영한 풀 영상을 업로드할 수 있다.
이에 따른, 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템(200)은 호스트 어플리케이션(220)에 업로드된 풀 영상을 수신(b)하고, 영상 제작 프로세스(230)을 이용하여 풀 영상을 복수의 분할영상으로 분할하며, 분할된 복수의 분할영상 중 플레이 영상을 선택하여 참여자 어플리케이션(250)으로 송출(d)할 수 있다. 여기서, 영상 제작 프로세스(230)는 도 1에 도시된 본 발명의 실시예에 따른 화면 분할부(120) 및 선택부(130)를 포함한 것일 수 있다.
이 때, 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템(200)은 영상 제작 프로세스(230)에 디바이스 프로토콜, 머신러닝 기법 및 스트리밍 서버기술 등의 알고리즘(240)을 구동 및 표현(c)함으로써, 풀 영상을 복수의 분할영상으로 분할하고, 분할영상 중 플레이 영상을 선택할 수 있다.
여기서, 호스트 어플리케이션(220) 및 참여자 어플리케이션(250)은 공연 제작자(210) 및 참여자가 소지하는 모바일 디바이스에 설치된 어플리케이션(Application)이며, 모바일 디바이스는 PC(personal computer), 노트북 컴퓨터(laptop computer), 스마트폰(smart phone), 태블릿(tablet), 웨어러블 컴퓨터(wearable computer) 등의 공연 제작자, 버스커 및 참여자가 소지하고 있는 단말 장치로, 웹/모바일 사이트 또는 전용 어플리케이션의 제어 하에 서비스 화면 구성, 데이터 입력, 데이터 송수신, 데이터 저장 등 서비스 전반의 동작을 수행할 수 있다. 또한, 모바일 디바이스는 모바일 디바이스 내에 다운로드되어 설치된 어플리케이션(Application)을 일컫을 수 있다.
또한, 영상 제작 프로세스(230)은 기술응용 소프트웨어(Software; SW)이며, 풀 영상을 복수의 분할영상으로 분류하는 장면영역 자동설정 기능과, 복수의 분할영상 각각에 대한 샘플링에 기초하여 클라이맥스(climax) 또는 하이라이트를 추출하는 하이라이트 장면 선정 기능, 및 선택된 플레이 영상을 복수의 참여자가 참여자 어플리케이션(250)을 통해 접속한 채팅방에 업로드하여 제공하는 온에어 기능을 구동 및 표현(c)할 수 있다.
도 3은 본 발명의 실시예에 따른 분할영상의 개념 예를 도시한 것이다.
도 3을 참조하면, 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템은 단일의 고화질 카메라(310)을 이용하여 버스킹 공연을 촬영하고, 단일의 풀 영상을 복수의 분할영상으로 분할한다.
이 때, 단일의 고화질 카메라(310)는 UHD(Ultra-HD) 4320P/4K의 카메라이며, 버스킹 공연에 대한 단일의 4K 풀 영상을 촬영할 수 있다.
본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템은 단일의 고화질 카메라(310)로부터 단일의 4K 풀 영상의 입력스트림을 수신할 수 있다. 이 때, 수신된 4320P/4K의 풀 영상은 4개의 1080P의 FULL HD 화면이 조합된 형태이며, 도 3에 도시된 바와 같이, 4개의 분할영상으로 분할될 수 있다. 다만, 분할영상의 개수, 형태 및 크기는 이에 한정되지 않는다.
도 4는 본 발명의 실시예에 따른 객체 인식 과정의 예를 도시한 것이다.
도 4를 참조하면, 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템은 고화질 카메라로부터 수신된 풀 영상을 복수의 분할영상으로 분할하기 위한 객체 인식 과정을 적용한다.
예를 들면, 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템은 고화질 카메라로부터 도 4(a)와 같은 풀 영상을 수신하고, 풀 영상 중 화면(순간 프레임)에 객체 인식 과정을 통해 도 4(b)에 도시된 바와 같은 버스킹 공연에 참여하는 사람을 추출(빨간 네모)할 수 있다.
이 때, 객체 인식 과정은 인식 알고리즘(recognition algorithm)으로, 빅데이터 및 머신러닝 기법을 이용하여 안면(얼굴), 사물 또는 음성을 인식하는 것으로, 기존 기술에서 사용되는 과정이므로 본 발명에서는 과정에 대한 상세한 설명은 생략한다. 다만, 본 발명은 전술한 객체 인식 과정 외에 화면에서 안면, 사물 또는 음성을 인식하는 OpenCV(Open Source Computer Vision) 등의 라이브러리를 적용할 수도 있으므로, 한정하지 않는다.
나아가, 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템은 도 4(b)에 도시된 바와 같이 버스킹 공연에 참여하는 사람(안면) 인식 외에 버스킹 공연에 사용되는 악기, 마이크 등의 객체를 더 추출할 수도 있다.
예를 들면, 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템은 풀 영상에서 객체를 인식하는 과정에서, 중첩되는 사람과 악기 또는 마이크를 추출할 수 있다. 실시예에 따라서, 참여자 A, B, C와 악기 D, E 및 마이크 F가 추출되고, 참여자 A, 악기 E, 마이크 F가 중첩되고, 참여자 B, C가 중첩되는 경우, 본 발명은 참여자 A, 악기 E, 마이크 F를 하나의 영상으로 분할하고, 참여자 B, C를 하나의 영상으로 분할하며, 악기 D를 하나의 영상으로 분할하여 복수의 분할영상을 분할할 수 있다. 즉, 본 발명은 객체의 중첩이 발생하는 경우, 중첩되는 객체를 하나의 그룹으로 판단하여 영상을 분할하는 것을 기본으로 한다.
도 5는 본 발명의 실시예에 따른 이슈 영상 및 일반 영상을 분류하는 예를 도시한 것이다.
본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템은 도 3 및 도 4에 도시된 바와 같이 고화질 카메라로부터 수신된 풀 영상에서 객체 인식 과정을 통해 추출된 객체에 따라 복수의 분할영상으로 분할하며, 분할영상을 이슈 장면(541) 또는 일반 장면(542)으로 분류할 수 있다.
도 5를 참조하면, 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템은 복수의 분할영상(510) 각각을 샘플링하며, 분류기(520)에서 빅데이터(530)를 이용하여 샘플링된 분할영상(510)을 이슈 장면(541)과 일반 장면(542)을 분류할 수 있다.
분류기(520)는 샘플링된 분할영상(510)으로부터 음악 흐름, 버스킹 조명, 버스킹 공간 및 버스킹 배경 중 적어도 하나 이상의 버스킹 환경을 추출하고, 추출 결과와 빅데이터(530)를 비교하여 분할영상(510)을 이슈 영상(또는 이슈 장면, 541)과 일반 영상(또는 일반 장면, 542)으로 분류할 수 있다.
이 때, 빅데이터(530)는 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템에 저장되어 유지되는 것일 수 있으며, 외부의 저장 장치 또는 외부의 서버로부터 다운로드 또는 업데이트되는 정보일 수 있다. 또한, 빅데이터(530)는 음악 전곡에 대한 음원이 학습된 데이터이며, 노래 또는 악기 별로 분류되어 데이터화된 것일 수 있다.
예를 들면, 빅데이터(530)는 음악 전곡 각각에 대해 복수의 참여자들이 선호하는 음악 흐름 및 악기의 클라이맥스(climax) 또는 하이라이트에 대한 정보와, 강조되는 버스킹 조명, 버스킹 공간 및 버스킹 배경에 대한 정보를 저장하여 유지할 수 있으며, 외부의 저장 장치 또는 외부의 서버로부터 실시간 업데이트할 수 있다. 이에 따라서, 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템은 빅데이터(530)를 기반으로 샘플링된 분할영상(510) 각각에 대한 강조, 클라이맥스(climax) 또는 하이라이트되는 부분을 추출하여 이슈 영상(541)으로 분류할 수 있다. 또한, 음악 흐름에서의 강조, 클라이맥스(climax) 또는 하이라이트되는 부분 외의 음악 흐름(또는 연주)은 일반 영상(542)으로 분류할 수 있다.
즉, 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템은 한 곡의 음악을 연주하는 버스킹 공연에서 강조, 클라이맥스(climax) 또는 하이라이트 부분에 따라 복수의 이슈 영상(541) 및 복수의 일반 영상(542)을 분류할 수 있으며, 분류된 이슈 영상(541) 및 일반 영상(542)은 초 또는 분의 시간마다 변경, 수정 및 분류될 수 있다.
도 6은 본 발명의 실시예에 따른 플레이 영상을 선택하는 예를 도시한 것이다.
도 6을 참조하면, 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템은 복수의 분할영상(610)에 대해 샘플링(620)을 수행하며, 머신러닝(Machine Learning) 기법을 적용하여 샘플링된 분할영상(620)에 대한 확률 값을 산출할 수 있다. 이후, 본 발명은 확률 값에 악기 및 음악 흐름 중심의 멀티트랙 센싱, 사운드 분석 및 BPM 인식 중 적어도 어느 하나 이상의 사운드 특징(630)을 조합하여 최상위 확률 값을 나타내는 영상을 플레이 영상(640)으로 선택할 수 있다.
예를 들면, 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템은 빅데이터를 기반으로 샘플링된 분할영상(620)에 머신러닝 기법을 적용하여 음악 흐름, 버스킹 조명, 버스킹 공간 및 버스킹 배경 중 적어도 하나 이상의 버스킹 환경에 따른 확률 값을 수치화할 수 있다. 이후, 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템은 샘플링된 분할영상(620)에 대해 산출된 확률 값에 버스킹 공연에서 사용되는 악기(예를 들면, 기타, 드럼, 피아노, 바이올린 등) 각각의 멀티트랙 센싱, 사운드 분석 및 BPM의 사운드 특징(630)을 조합하여 최종 스트림의 플레이 영상(640)을 선택할 수 있다.
다만, 실시예에 따라서, 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템은 사운드 특징(630)을 제외하고, 샘플링된 분할영상(620)에 대해 산출된 확률 값만을 이용하여 최종 스트림의 플레이 영상(640)을 선택할 수도 있다.
또한, 실시예에 따라서, 도 6에서의 복수의 분할영상(610, 620)은 도 5에서 분류된 이슈 장면(541)일 수 있으며, 이슈 장면 중 확률 값 또는 사운드 특징(630)을 조합하여 최상위 확률 값을 나타내는 플레이 영상(640)을 선택할 수 있다.
도 7은 본 발명의 실시예에 따른 플레이 영상의 선택을 위한 테이블의 예를 도시한 것이고, 도 8은 본 발명의 실시예에 따른 플레이 영상의 송출 예를 도시한 것이다.
도 8을 참조하면, 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템은 고화질 카메라로부터 촬영된 풀 영상에 대해 복수의 객체(A, B, C)를 추출하고, 추출된 객체에 따른 복수의 분할영상을 분할하며, 분할영상 중 최상위 확률 값을 나타내는 플레이 영상(C)을 선택하여 온에어(On-Air)할 수 있다.
본 발명은 복수의 분할영상 중 플레이 영상을 선택하기 위해, 도 7에 도시된 바와 같은 테이블을 사용할 수 있다.
도 7을 참조하면, 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템은 복수의 분할영상 각각(분할영상 A, B, C)에 대한 버스킹 환경의 각 변수 별 점수를 합산하여 최종 플레이 영상을 선택할 수 있다.
예를 들면, 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템은 음악 흐름, 화면 품질/버스킹 조명, 버스킹 공간, 버스킹 배경 및 빅데이터 각각의 변수(710)들을 테이블로 구성하고, 자동분할을 통해 고화질 카메라로부터 수신된 풀 영상에 대한 객체를 추출하여 복수의 분할영상(A, B, C)으로 분할하며, 복수의 분할영상 각각에 따른 변수(710) 별로 실시간 점수를 산출하고, 산출된 결과의 총점(확률 값)에 기반하여 최종 플레이 영상(분할영상 C)을 선택할 수 있다.
여기서, 상기 확률 값은 본 발명의 실시예에 따른 빅데이터를 기반으로 샘플링된 복수의 분할영상으로부터 산출될 수 있으며, 상기 플레이 영상은 확률 값, 악기 및 음악 흐름 중심의 멀티트랙 센싱, 사운드 분석 및 BPM 인식 중 적어도 어느 하나 이상의 사운드 특징, 또는 참여자들의 의견 및 피드백에 의해 선택될 수 있다.
또한, 도 8에 도시된 바와 같이, 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템은 확률 기반 및 자동선택에 따라 선택된 플레이 영상(C)을 어플리케이션을 통해 실시간 채팅방에 송출할 수 있으며, 채팅방에 참여한 복수의 참여자들로부터 송출되는 플레이 영상에 대한 의견 및 피드백을 수신할 수 있다. 이에 따라서, 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 시스템은 복수의 참여자들의 의견 및 피드백에 따라 플레이 영상을 재 선택할 수 있으며, 플레이 영상의 확대, 반복 또는 리플레이(Replay)를 표현할 수도 있다.
도 9는 본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 방법의 흐름도를 도시한 것이다.
도 9에 도시된 분할영상 선택 방법은 도 1에 도시된 본 발명의 실시예에 따른 고화질 카메라를 이용하여 버스킹(Busking) 공연에 대한 분할영상을 선택하는 시스템에 의해 수행된다.
본 발명의 실시예에 따른 고화질 카메라를 이용한 분할영상 선택 방법은 단계 910에서, 고화질 카메라를 이용하여 촬영된 버스킹 공연에 대한 단일의 풀 영상을 수신한다.
예를 들면, 버스커(busker: 거리 공연자)가 거리 공연을 하는 경우, 공연 제작자는 단일의 고화질 카메라를 이용하여 버스킹 공연을 촬영하고, 단계 910은 공연 제작자로부터 버스킹 공연에 대한 단일의 풀 영상을 수신할 수 있다. 이 때, 상기 고화질 카메라는 UHD(Ultra-HD) 4320P/4K의 카메라일 수 있으며, 단계 910은 고화질 카메라로부터 촬영된 단일의 4K 풀 영상을 수신할 수 있다.
단계 920에서, 풀 영상의 화면에 대한 객체 인식 과정을 통해 풀 영상을 복수의 분할영상으로 분할한다.
예를 들면, 단계 920은 안면(얼굴) 또는 사물 인식 알고리즘을 이용하여 풀 영상 중 화면(순간 프레임)에서의 버스킹 공연에 참여하는 사람 및 버스킹 공연에 사용되는 악기의 객체를 추출하고, 추출된 객체 수에 따라 복수의 분할영상으로 분할하는 단계일 수 있다.
실시예에 따라서, 버스킹 공연에서 악기만 연주하는 사람, 노래하는 사람, 악기와 노래를 함께하는 사람이 존재하는 경우, 단계 920은 사람과 악기의 각 객체를 우선적으로 추출하며, 악기를 연주하는 사람과, 노래하는 사람, 그리고 악기와 노래를 함께하는 사람을 따로 분류하여 각각에 대한 분할영상으로 분할할 수 있다.
단계 930에서 복수의 분할영상 중 버스킹 환경에 따른 빅데이터의 확률 기반으로 플레이 영상을 선택한다.
단계 930은 음악마다 학습된 빅데이터를 이용하여 샘플링되는 복수의 분할영상 중 플레이 영상을 선택하는 단계일 수 있다.
단계 930은 분할영상으로부터 음악 흐름, 버스킹 조명, 버스킹 공간 및 버스킹 배경 중 적어도 어느 하나 이상의 버스킹 환경에 대한 샘플링을 추출하고, 추출 결과와 빅데이터를 비교하여 복수의 분할영상을 일반 영상 또는 이슈 영상으로 분류하는 단계(미도시), 버스킹 환경에 대해 추출된 샘플링에 머신러닝(Machine Learning) 기법을 적용하여 복수의 분할영상 각각에 대한 확률 값을 산출하는 단계(미도시), 및 확률 값에 멀티트랙 센싱, 사운드 분석 및 BPM 인식 중 적어도 어느 하나 이상의 사운드 특징을 조합하여 플레이 영상을 선택하는 단계(미도시)를 포함할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100, 200: 고화질 카메라를 이용한 분할영상 선택 시스템
210: 공연 제작자
220: 호스트 어플리케이션
230: 영상 제작 프로세스
240: 알고리즘
250: 참여자 어플리케이션
310: 고화질 카메라
510, 620: 샘플링된 분할영상
610: 분할된 분할영상
630: 사운드 특징
640: 플레이 영상
710: 분석 변수

Claims (14)

  1. 고화질 카메라를 이용하여 촬영된 버스킹(Busking) 공연에 대한 단일의 풀 영상을 수신하는 영상 수신부;
    상기 풀 영상의 화면에 대한 객체 인식 과정을 통해 상기 풀 영상을 복수의 분할영상으로 분할하는 화면 분할부; 및
    상기 복수의 분할영상 중 버스킹 환경에 따른 빅데이터의 확률 기반으로 플레이 영상을 선택하는 선택부
    를 포함하고,
    상기 화면 분할부는
    상기 버스킹 공연에 참여하는 사람 및 상기 버스킹 공연에 사용되는 악기의 객체를 추출하고, 추출된 객체 수에 따라 상기 복수의 분할영상으로 분할하는 고화질 카메라를 이용한 분할영상 선택 시스템.
  2. 제1항에 있어서,
    상기 영상 수신부는
    단일의 상기 고화질 카메라로부터 촬영된 상기 버스킹 공연에 대한 상기 단일의 풀 영상을 수신하는 고화질 카메라를 이용한 분할영상 선택 시스템.
  3. 삭제
  4. 제1항에 있어서,
    상기 화면 분할부는
    추출된 사람 또는 악기의 중첩 시, 중첩된 객체를 포함하는 상기 복수의 분할영상으로 분할하는 고화질 카메라를 이용한 분할영상 선택 시스템.
  5. 고화질 카메라를 이용하여 촬영된 버스킹(Busking) 공연에 대한 단일의 풀 영상을 수신하는 영상 수신부;
    상기 풀 영상의 화면에 대한 객체 인식 과정을 통해 상기 풀 영상을 복수의 분할영상으로 분할하는 화면 분할부; 및
    상기 복수의 분할영상 중 버스킹 환경에 따른 빅데이터의 확률 기반으로 플레이 영상을 선택하는 선택부
    를 포함하고,
    상기 선택부는
    음악마다 학습된 상기 빅데이터를 이용하여 샘플링되는 상기 복수의 분할영상 중 상기 플레이 영상을 선택하는 고화질 카메라를 이용한 분할영상 선택 시스템.
  6. 제5항에 있어서,
    상기 선택부는
    상기 분할영상으로부터 음악 흐름, 버스킹 조명, 버스킹 공간 및 버스킹 배경 중 적어도 어느 하나 이상의 상기 버스킹 환경에 대한 샘플링을 추출하고, 추출 결과와 상기 빅데이터를 비교하여 상기 복수의 분할영상을 일반 영상 또는 이슈 영상으로 분류하는 고화질 카메라를 이용한 분할영상 선택 시스템.
  7. 제6항에 있어서,
    상기 선택부는
    상기 버스킹 환경에 대해 상기 추출된 샘플링에 머신러닝(Machine Learning) 기법을 적용하여 상기 복수의 분할영상 각각에 대한 확률 값을 산출하는 고화질 카메라를 이용한 분할영상 선택 시스템.
  8. 제7항에 있어서,
    상기 선택부는
    상기 확률 값에 멀티트랙 센싱, 사운드 분석 및 BPM 인식 중 적어도 어느 하나 이상의 사운드 특징을 조합하여 상기 플레이 영상을 선택하는 고화질 카메라를 이용한 분할영상 선택 시스템.
  9. 제1항에 있어서,
    참여자의 의견에 기반하여 상기 플레이 영상의 선택, 및 상기 복수의 분할영상 중 확률 기반의 상기 플레이 영상의 선택을 제어하는 제어부
    를 더 포함하는 고화질 카메라를 이용한 분할영상 선택 시스템.
  10. 고화질 카메라를 이용하여 버스킹(Busking) 공연에 대한 분할영상을 선택하는 시스템의 동작 방법에 있어서,
    상기 고화질 카메라를 이용하여 촬영된 상기 버스킹 공연에 대한 단일의 풀 영상을 수신하는 단계;
    상기 풀 영상의 화면에 대한 객체 인식 과정을 통해 상기 풀 영상을 복수의 분할영상으로 분할하는 단계; 및
    상기 복수의 분할영상 중 버스킹 환경에 따른 빅데이터의 확률 기반으로 플레이 영상을 선택하는 단계
    를 포함하고,
    상기 복수의 분할영상으로 분할하는 단계는
    상기 버스킹 공연에 참여하는 사람 및 상기 버스킹 공연에 사용되는 악기의 객체를 추출하고, 추출된 객체 수에 따라 상기 복수의 분할영상으로 분할하는 고화질 카메라를 이용한 분할영상 선택 방법.
  11. 삭제
  12. 고화질 카메라를 이용하여 버스킹(Busking) 공연에 대한 분할영상을 선택하는 시스템의 동작 방법에 있어서,
    상기 고화질 카메라를 이용하여 촬영된 상기 버스킹 공연에 대한 단일의 풀 영상을 수신하는 단계;
    상기 풀 영상의 화면에 대한 객체 인식 과정을 통해 상기 풀 영상을 복수의 분할영상으로 분할하는 단계; 및
    상기 복수의 분할영상 중 버스킹 환경에 따른 빅데이터의 확률 기반으로 플레이 영상을 선택하는 단계
    를 포함하고,
    상기 플레이 영상을 선택하는 단계는
    음악마다 학습된 상기 빅데이터를 이용하여 샘플링되는 상기 복수의 분할영상 중 상기 플레이 영상을 선택하는 고화질 카메라를 이용한 분할영상 선택 방법.
  13. 제12항에 있어서,
    상기 플레이 영상을 선택하는 단계는
    상기 분할영상으로부터 음악 흐름, 버스킹 조명, 버스킹 공간 및 버스킹 배경 중 적어도 어느 하나 이상의 상기 버스킹 환경에 대한 샘플링을 추출하고, 추출 결과와 상기 빅데이터를 비교하여 상기 복수의 분할영상을 일반 영상 또는 이슈 영상으로 분류하는 단계;
    상기 버스킹 환경에 대해 상기 추출된 샘플링에 머신러닝(Machine Learning) 기법을 적용하여 상기 복수의 분할영상 각각에 대한 확률 값을 산출하는 단계; 및
    상기 확률 값에 멀티트랙 센싱, 사운드 분석 및 BPM 인식 중 적어도 어느 하나 이상의 사운드 특징을 조합하여 상기 플레이 영상을 선택하는 단계
    를 포함하는 고화질 카메라를 이용한 분할영상 선택 방법.
  14. 제10항, 제12항 및 제13항 중 어느 한 항의 방법을 수행하기 위하여 컴퓨터로 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.
KR1020180098484A 2018-08-23 2018-08-23 고화질 카메라를 이용한 분할영상 선택 시스템 및 그 방법 KR102550528B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180098484A KR102550528B1 (ko) 2018-08-23 2018-08-23 고화질 카메라를 이용한 분할영상 선택 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180098484A KR102550528B1 (ko) 2018-08-23 2018-08-23 고화질 카메라를 이용한 분할영상 선택 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20200022640A KR20200022640A (ko) 2020-03-04
KR102550528B1 true KR102550528B1 (ko) 2023-07-04

Family

ID=69783233

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180098484A KR102550528B1 (ko) 2018-08-23 2018-08-23 고화질 카메라를 이용한 분할영상 선택 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102550528B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102424150B1 (ko) * 2021-11-29 2022-07-22 주식회사 콘텐츠민주주의 동영상 자동 제작 시스템
KR20240030921A (ko) 2022-08-30 2024-03-07 비스킷타운 주식회사 사용자 중심의 멀티뷰 제공 시스템 및 그 방법
KR102646048B1 (ko) * 2023-08-29 2024-03-12 주식회사 메가라이브 머신러닝 기반 가로세로 영상 변환 및 송출 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101491760B1 (ko) * 2013-07-10 2015-02-11 성균관대학교산학협력단 무대 가상 현실 제공 장치 및 방법
KR102443214B1 (ko) * 2016-01-08 2022-09-15 삼성전자 주식회사 영상처리장치 및 그 제어방법
KR101937018B1 (ko) * 2016-03-24 2019-01-09 울산대학교 산학협력단 딥러닝을 이용한 혈관내 초음파 영상에서의 혈관내외경 자동 분할 방법 및 장치

Also Published As

Publication number Publication date
KR20200022640A (ko) 2020-03-04

Similar Documents

Publication Publication Date Title
US11862198B2 (en) Synthesizing a presentation from multiple media clips
US9940970B2 (en) Video remixing system
KR102290419B1 (ko) 디지털 컨텐츠의 시각적 내용 분석을 통해 포토 스토리를 생성하는 방법 및 장치
JP5533861B2 (ja) 表示制御装置、表示制御方法、及び、プログラム
US7956900B2 (en) Video delivery device, video delivery method, video delivery program and recording medium
US20170201793A1 (en) TV Content Segmentation, Categorization and Identification and Time-Aligned Applications
KR102550528B1 (ko) 고화질 카메라를 이용한 분할영상 선택 시스템 및 그 방법
US9659595B2 (en) Video remixing system
JP2011223287A (ja) 情報処理装置、情報処理方法、及び、プログラム
JP2013126233A (ja) 映像処理装置、方法及びプログラム
KR20210038537A (ko) 정보 처리 장치 및 방법, 그리고 프로그램
Bano et al. ViComp: composition of user-generated videos
CN116886837A (zh) 云导播系统及其导播切换方法和装置、终端设备
TWI497959B (zh) Scene extraction and playback system, method and its recording media
US20160127807A1 (en) Dynamically determined audiovisual content guidebook
Cremer et al. Machine-assisted editing of user-generated content
US20240080566A1 (en) System and method for camera handling in live environments
Duan et al. Meetor: A Human-Centered Automatic Video Editing System for Meeting Recordings
Mate et al. Automatic multi-camera remix from single video
KR20230166284A (ko) 영상 편집 장치에서 인공지능을 이용하여 영상 스트림 데이터를 자동으로 선택하는 장치 및 방법
DTO et al. Deliverable D6.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant