KR102657002B1 - 공연 영상 컨텐츠의 생성 방법 및 이를 수행하기 위한 장치 - Google Patents

공연 영상 컨텐츠의 생성 방법 및 이를 수행하기 위한 장치 Download PDF

Info

Publication number
KR102657002B1
KR102657002B1 KR1020220170209A KR20220170209A KR102657002B1 KR 102657002 B1 KR102657002 B1 KR 102657002B1 KR 1020220170209 A KR1020220170209 A KR 1020220170209A KR 20220170209 A KR20220170209 A KR 20220170209A KR 102657002 B1 KR102657002 B1 KR 102657002B1
Authority
KR
South Korea
Prior art keywords
character
performance video
real
audience
input
Prior art date
Application number
KR1020220170209A
Other languages
English (en)
Inventor
김범준
정정호
이재진
허정수
Original Assignee
주식회사 테아트룸
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 테아트룸 filed Critical 주식회사 테아트룸
Priority to KR1020220170209A priority Critical patent/KR102657002B1/ko
Application granted granted Critical
Publication of KR102657002B1 publication Critical patent/KR102657002B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 출원의 일 실시예에 따른 실시간 공연 영상 컨텐츠의 생성 방법은, 관객과 매칭된 캐릭터 정보를 획득하는 단계; 실시간 공연 영상을 획득하는 단계; 상기 캐릭터 정보에 기반하여 실시간 공연 영상 상의 미리 설정된 영역에 캐릭터 그래픽을 디스플레이하는 단계; 상기 캐릭터 정보에 대응되는 관객 단말로부터 공연에 대한 액션을 지시하는 액션 입력을 획득하는 단계; 및 상기 액션 입력에 기반하여 상기 캐릭터 그래픽에 대응되는 액션 그래픽을 디스플레이하는 단계;를 포함한다.

Description

공연 영상 컨텐츠의 생성 방법 및 이를 수행하기 위한 장치{A METHOD FOR GENERATING A PERFORMANCE VIDEO CONTENT AND AN APPARATUS FOR PERFORMING THE SAME}
본 출원은 공연 영상 컨텐츠의 생성 방법 및 이를 수행하기 위한 전자 장치에 관한 것이다. 구체적으로 본 출원은 아티스트와 관객이 인터랙티브(interactive)하게 교감할 수 있는 공연 영상 컨텐츠를 실시간으로 생성하는 방법 및 이를 수행하기 위한 전자 장치에 관한 것이다. 나아가 본 출원은 공연 원본 영상과 관객의 캐릭터 로그 정보에 기반하여 공연 영상 컨텐츠를 생성하는 방법 및 이를 수행하기 위한 장치에 관한 것이다.
COVID-19로 인하여 오프라인 공연에 제약이 생김에 따라 온라인 공연이 주목을 받고 있다. 온라인 공연은 아티스트와 관객이 각자의 공간에서 공연을 진행할 수 있어 오프라인 공연 대비 물리적 제약이 낮으며, 별도의 비용 없이도 온라인 청취에 최적화된 라이브 영상을 확보할 수 있다는 장점을 가진다. 이에 온라인 공연은 공연 분야에서 대중적인 문화로 자리매김하고 있다.
다만 종래의 온라인 공연은 오프라인 공연을 그대로 촬영해서 단순히 동영상을 스트리밍 하는 방식으로 제공되어 공연의 핵심인 현장감을 구현하지 못하며, 아티스트와 관객 간의 감정 교류가 어렵다는 한계가 존재하였다.
이에 아티스트와 관객이 인터랙티브(interactive)하게 교감하고 현장감을 제공할 수 있는 새로운 기술의 개발이 요구되는 실정이다.
본 발명이 해결하고자 하는 일 과제는, 아티스트와 관객이 인터랙티브(interactive)하게 교감하고 현장감을 제공할 수 있는 공연 영상 컨텐츠의 생성 방법 및 이를 수행하는 전자 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 출원의 일 실시예에 따른 실시간 공연 영상 컨텐츠의 생성 방법은, 관객과 매칭된 캐릭터 정보를 획득하는 단계; 실시간 공연 영상을 획득하는 단계; 상기 캐릭터 정보에 기반하여 실시간 공연 영상 상의 미리 설정된 영역에 캐릭터 그래픽을 디스플레이하는 단계; 상기 캐릭터 정보에 대응되는 관객 단말로부터 공연에 대한 액션을 지시하는 액션 입력을 획득하는 단계; 및 상기 액션 입력에 기반하여 상기 캐릭터 그래픽에 대응되는 액션 그래픽을 디스플레이하는 단계;를 포함할 수 있다.
본 출원의 일 실시예에 따른 전자 장치는, 실시간 공연 영상을 수신하는 송수신부; 및 상기 실시간 공연 영상에 캐릭터 그래픽을 디스플레이하고, 상기 캐릭터 그래픽이 디스플레이된 실시간 공연 영상 컨텐츠를 송신하도록 구성된 프로세서;를 포함하되, 상기 프로세서는, 관객과 매칭된 캐릭터 정보를 획득하고, 실시간 공연 영상을 획득하고, 상기 캐릭터 정보에 기반하여 실시간 공연 영상 상의 미리 설정된 영역에 캐릭터 그래픽을 디스플레이하고, 상기 캐릭터 정보에 대응되는 관객 단말로부터 공연에 대한 액션을 지시하는 액션 입력을 획득하고, 상기 액션 입력에 기반하여 상기 캐릭터 그래픽에 대응되는 액션 그래픽을 디스플레이하도록 구성될 수 있다.
본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 출원의 일 실시예에 따른 공연 영상 컨텐츠의 생성 방법 및 이를 수행하기 위한 전자 장치에 의하면, 관객과 아티스트는 관객을 아바타한 캐릭터와 공연에 대한 반응(또는 액션)을 통하여 온라인 실시간 공연 상에서 서로 인터랙티브(interacitve)하게 교감할 수 있다. 이를 통하여, 기존 온라인 공연 상에서 부족한 현장감이 제공되어 온라인 공연의 질을 상당히 증대시키는 유리한 효과가 제공될 수 있다.
본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 출원의 일 실시예에 따른 공연 영상 콘텐츠 생성 시스템의 개략도이다.
도 2는 본 출원의 일 실시예에 따른 전자 장치의 일 동작을 설명하기 위한 도면이다.
도 3은 본 출원의 일 실시예에 따른 관객의 캐릭터 정보를 획득하는 양상을 설명하기 위한 도면이다.
도 4는 본 출원의 일 실시예에 따른 캐릭터 그래픽을 디스플레이하는 양상을 설명하기 위한 도면이다.
도 5은 본 출원의 일 실시예에 따른 액션 그래픽을 디스플레이하는 양상을 설명하기 위한 도면이다.
도 6은 본 출원의 일 실시예에 따른 전자 장치의 일 동작을 설명하기 위한 도면이다.
도 7는 본 출원의 일 실시예에 따른 실시간 공연 영상 컨텐츠의 생성 방법을 도시한 순서도이다.
도 8은 본 출원의 일 실시예에 따른 공연 영상 콘텐츠를 생성하는 방법을 도시한 순서도이다.
본 출원의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 출원은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명하며, 이에 대한 중복되는 설명은 생략하기로 한다.
본 출원과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 출원의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 이하의 실시예에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.
도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타낸 것으로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
어떤 실시예가 달리 구현 가능한 경우에 특정한 프로세스의 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 프로세스가 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다.
이하의 실시예에서, 구성 요소 등이 연결되었다고 할 때, 구성 요소들이 직접적으로 연결된 경우뿐만 아니라 구성요소들 중간에 구성 요소들이 개재되어 간접적으로 연결된 경우도 포함한다.
예컨대, 본 명세서에서 구성 요소 등이 전기적으로 연결되었다고 할 때, 구성 요소 등이 직접 전기적으로 연결된 경우뿐만 아니라, 그 중간에 구성 요소 등이 개재되어 간접적으로 전기적 연결된 경우도 포함한다.
본 출원의 일 실시예에 따른 실시간 공연 영상 컨텐츠의 생성 방법은, 관객과 매칭된 캐릭터 정보를 획득하는 단계; 실시간 공연 영상을 획득하는 단계; 상기 캐릭터 정보에 기반하여 실시간 공연 영상 상의 미리 설정된 영역에 캐릭터 그래픽을 디스플레이하는 단계; 상기 캐릭터 정보에 대응되는 관객 단말로부터 공연에 대한 액션을 지시하는 액션 입력을 획득하는 단계; 및 상기 액션 입력에 기반하여 상기 캐릭터 그래픽에 대응되는 액션 그래픽을 디스플레이하는 단계를 포함할 수 있다.
본 출원의 일 실시예에 따르면, 상기 액션 입력을 획득하는 단계는, 상기 관객 단말로부터 제1 시점에는 관객의 제1 액션 입력을 획득하고, 제2 시점에는 관객의 제2 액션 입력을 획득하는 단계를 더 포함하되, 상기 액션 그래픽을 디스플레이하는 단계는, 상기 제1 시점의 공연 영상 상에 상기 제1 액션 입력에 대응되는 제1 그래픽을 디스플레이하고, 상기 제2 시점의 공연 영상 상에 상기 제2 액션 입력에 대응되는 제2 그래픽을 디스플레이하는 단계를 더 포함할 수 있다.
본 출원의 일 실시예에 따르면, 상기 액션 입력을 획득하는 단계는, 상기 관객 단말로부터 캐릭터의 이동을 지시하는 제1 이동 입력을 획득하는 단계를 더 포함하되, 상기 미리 설정된 영역 상에 캐릭터 그래픽을 디스플레이하는 단계는, 상기 제1 이동 입력에 기반하여 상기 미리 설정된 영역 내에서 캐릭터를 이동시켜 상기 캐릭터 그래픽을 디스플레이하는 단계를 더 포함할 수 있다.
본 출원의 일 실시예에 따르면, 상기 미리 설정된 영역은, 제1 영역과 상기 제1 영역과는 이격된 제2 영역을 포함할 수 있다.
본 출원의 일 실시예에 따르면, 상기 관객의 액션 입력을 획득하는 단계는, 상기 관객 단말로부터 캐릭터를 상기 제1 영역에서 상기 제2 영역으로의 이동을 지시하는 제2 이동 입력을 획득하는 단계를 더 포함하고, 상기 미리 설정된 영역 상에 캐릭터를 디스플레이하는 단계는, 상기 제2 이동 입력에 기반하여 상기 미리 설정된 영역의 제1 영역 상에 디스플레이된 캐릭터 그래픽을 상기 미리 설정된 영역의 제2 영역 상에 디스플레이하는 단계를 더 포함할 수 있다.
본 출원의 일 실시예에 따르면, 상기 캐릭터 정보를 획득하는 단계는, 관객 단말로부터, 캐릭터의 유형을 선택하는 제1 입력을 획득하는 단계; 관객 단말로부터, 캐릭터의 의상을 선택하는 제2 입력, 캐릭터의 악세서리를 선택하는 제3 입력, 및 캐릭터의 의상 또는 악세서리의 색상을 선택하는 제4 입력 중 적어도 하나를 획득하는 단계; 및 상기 제1 입력과 상기 제2 입력 내지 상기 제4 입력 중 적어도 하나에 기반하여 상기 캐릭터 정보를 생성하는 단계를 더 포함할 수 있다.
본 출원의 일 실시예에 따르면, 상기 실시간 공연 영상 컨텐츠의 생성 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.
본 출원의 일 실시예에 따른 전자 장치는, 실시간 공연 영상을 수신하는 송수신부; 및 상기 실시간 공연 영상에 캐릭터 그래픽을 디스플레이하고, 상기 캐릭터 그래픽이 디스플레이된 실시간 공연 영상 컨텐츠를 송신하도록 구성된 프로세서;를 포함하되, 상기 프로세서는, 관객과 매칭된 캐릭터 정보를 획득하고, 실시간 공연 영상을 획득하고, 상기 캐릭터 정보에 기반하여 실시간 공연 영상 상의 미리 설정된 영역에 캐릭터 그래픽을 디스플레이하고, 상기 캐릭터 정보에 대응되는 관객 단말로부터 공연에 대한 액션을 지시하는 액션 입력을 획득하고, 상기 액션 입력에 기반하여 상기 캐릭터 그래픽에 대응되는 액션 그래픽을 디스플레이하도록 구성될 수 있다.
이하에서는 도 1 내지 도 8을 참고하여 본 출원의 일 실시예에 따른 공연 영상 콘텐츠 생성 시스템 및/또는 공연 영상 컨텐츠의 생성 방법에 관하여 설명한다.
도 1은 본 출원의 일 실시예에 따른 공연 영상 콘텐츠 생성 시스템(10)의 개략도이다.
본 출원의 일 실시예에 따른 공연 영상 콘텐츠 생성 시스템(10)은 적어도 하나의 관객 단말(예컨대, 제1 관객 단말(110), 제2 관객 단말(120), 및/또는 제N 관객 단말(130)), 아티스트 단말(200), 카메라(300), 및 전자 장치(1000, 또는 서버, 이하 전자 장치로 지칭)를 포함할 수 있다.
적어도 하나의 관객 단말(110, 120, 130)은 임의의 출력부(예컨대, 디스플레이 형태)를 통하여 실시간 공연 영상을 관객에게 제공할 수 있다. 이때, 적어도 하나의 관객 단말(110, 120, 130)은 임의의 입력부(예컨대, 마우스, 터치 패드, 키보드 등)를 통하여 관객에 대응되는 캐릭터를 생성하기 위한 입력을 획득하고, 캐릭터를 생성하기 위한 입력에 기반하여 관객과 매칭된 캐릭터를 생성할 수 있다. 나아가 적어도 하나의 관객 단말(110, 120, 130)은 임의의 입력부(예컨대, 마우스, 터치 패드, 키보드 등)를 통하여 실시간 공연에 대한 관객의 반응이나 액션을 지시하는 액션 입력을 획득할 수 있다. 나아가 적어도 하나의 관객 단말(110, 120, 130)은 생성된 캐릭터 정보 및 관객의 액션 입력을 후술할 전자 장치(1000)로 송신하거나, 캐릭터 정보 및 관객의 액션 입력에 기반하여 대응되는 그래픽을 실시간 공연 영상 상에 디스플레이하는 동작을 수행할 수 있다.
아티스트 단말(200)은 관객과 매칭된 캐릭터 그래픽이 디스플레이된 실시간 공연 영상을 획득하고, 임의의 출력부(예컨대, 디스플레이 형태)를 통하여 캐릭터 그래픽 및/또는 액션 그래픽이 디스플레이된 공연 영상을 실시간으로 공연 중인 아티스트에게 제공할 수 있다.
카메라(300)는 아티스트의 공연을 촬영한 공연 영상을 후술할 전자 장치(1000) 및/또는 관객 단말(110, 120, 130)로 송신할 수 있다.
본 출원의 일 실시예에 따른 전자 장치(1000)는 실시간 공연 영상 상에 미리 설정된 영역에 관객별로 커스텀마이징된 캐릭터 그래픽을 디스플레이할 수 있다. 나아가 전자 장치(1000)는 관객 단말(110, 120, 130)로부터 관객의 공연에 대한 반응이나 액션을 나타내는 액션 입력을 획득하고, 액션 입력에 대응된 액션 그래픽을 공연 영상에 디스플레이하도록 구현될 수 있다. 나아가 전자 장치(1000)는 캐릭터 그래픽 및/또는 액션 그래픽이 디스플레이된 공연 영상을 적어도 하나의 관객 단말(110, 120, 130) 및/또는 아티스트 단말(200)로 송신할 수 있다.
한편 본 출원의 일 실시예에 따른 전자 장치(1000)는 공연 원본 영상과 캐릭터 로그 정보를 획득하고, 캐릭터 로그 정보에 기반하여 공연 원본 영상에 그래픽을 디스플레이하여 공연 영상 콘텐츠(예컨대, 다시 보기 영상)를 생성하는 동작을 수행할 수 있다.
본 출원의 일 실시예에 따른 전자 장치(1000)는 송수신부(1100), 메모리(1200), 및 프로세서(1300)를 포함할 수 있다.
전자 장치(1000)의 송수신부(1100)는 임의의 외부 기기와 통신을 수행할 수 있다. 예컨대, 전자 장치(1000)는, 송수신부(1100)를 통해, 적어도 하나의 관객 단말(110, 120, 130)로부터 관객의 캐릭터 정보 또는 관객의 캐릭터를 생성하기 위한 입력을 획득할 수 있다. 예컨대, 전자 장치(1000)는, 송수신부(1100)를 통해, 카메라(300)로부터 아티스트의 공연과 관련된 공연 영상을 수신할 수 있다. 예컨대, 전자 장치(1000)는, 송수신부(1100)를 통해, 적어도 하나의 관객 단말(110, 120, 130)로부터, 관객의 공연에 대한 반응이나 액션을 지시하는 액션 입력 및/또는 캐릭터의 이동을 지시하는 이동 입력을 포함한 임의의 관객 입력을 수신할 수 있다. 예컨대, 전자 장치(1000)는, 송수신부(1100)를 통해, 그래픽(예컨대, 캐릭터 그래픽 및/또는 액션 그래픽)이 디스플레이된 공연 영상을 관객 단말(110, 120, 130) 및/또는 아티스트 단말(200)을 포함한 임의의 외부 장치(또는 외부 서버)로 송신할 수 있다.
전자 장치(1000)는, 송수신부(1100)를 통해, 네트워크에 접속하여 각종 데이터를 송수신할 수 있다. 송수신부(1100)는 크게 유선 타입과 무선 타입을 포함할 수 있다. 유선 타입과 무선 타입은 각각의 장단점을 가지므로, 경우에 따라서 전자 장치(1000)에는 유선 타입과 무선 타입이 동시에 마련될 수도 있다. 여기서, 무선 타입의 경우에는 주로 와이파이(Wi-Fi) 같은 WLAN(Wireless Local Area Network) 계열의 통신 방식을 이용할 수 있다. 또는, 무선 타입의 경우에는 셀룰러 통신, 예컨대, LTE, 5G 계열의 통신 방식을 이용할 수 있다. 다만, 무선 통신 프로토콜이 상술한 예시에 제한되는 것은 아니며, 임의의 적절한 무선 타입의 통신 방식을 이용하는 것도 가능하다. 유선 타입의 경우에는 LAN(Local Area Network)이나 USB(Universal Serial Bus) 통신이 대표적인 예이며 그 외의 다른 방식도 가능하다.
전자 장치(1000)의 메모리(1200)는 각종 정보를 저장할 수 있다. 메모리(1200)에는 각종 데이터가 임시적으로 또는 반영구적으로 저장될 수 있다. 메모리의 예로는 하드 디스크(HDD: Hard Disk Drive), SSD(Solid State Drive), 플래쉬 메모리(flash memory), 롬(ROM: Read-Only Memory), 램(RAM: Random Access Memory) 등이 있을 수 있다. 메모리(1200)는 전자 장치(1000)에 내장되는 형태나 탈부착 가능한 형태로 제공될 수 있다. 메모리(1200)에는 전자 장치(1000)를 구동하기 위한 운용 프로그램(OS: Operating System)이나 전자 장치(1000)의 각 구성을 동작시키기 위한 프로그램을 비롯해 전자 장치(1000)의 동작에 필요한 각종 데이터가 저장될 수 있다.
프로세서(1300)는 전자 장치(1000)의 전반적인 동작을 제어할 수 있다. 예컨대, 프로세서(1300)는 후술할 관객과 매칭된 캐릭터를 생성하는 동작, 실시간 공연 영상을 획득하는 동작, 실시간 공연 영상 상의 미리 설정된 영역에 캐릭터 그래픽을 디스플레이하는 동작, 관객 단말로부터 획득된 액션 입력에 기반하여 캐릭터의 액션에 대응되는 액션 그래픽을 디스플레이하는 동작, 및/또는 공연 영상과 캐릭터 로그 정보에 기반하여 공연 영상 콘텐츠를 생성하는 동작 등을 포함하여 전자 장치(1000)의 전반적인 동작을 제어할 수 있다. 구체적으로 프로세서(1300)는 메모리(1200)로부터 전자 장치(1000)의 전반적인 동작을 위한 프로그램을 로딩하여 실행할 수 있다. 프로세서(1300)는 하드웨어나 소프트웨어 또는 이들의 조합에 따라 AP(Application Processor), CPU(Central Processing Unit), MCU(Microcontroller Unit)나 이와 유사한 장치로 구현될 수 있다. 이때, 하드웨어적으로는 전기적 신호를 처리하여 제어 기능을 수행하는 전자 회로 형태로 제공될 수 있으며, 소프트웨어적으로는 하드웨어적 회로를 구동시키는 프로그램이나 코드 형태로 제공될 수 있다.
이하에서는 도 2 내지 도 8을 참고하여 본 출원의 일 실시예에 따른 전자 장치(1000)의 동작을 보다 구체적으로 서술하기로 한다.
본 출원의 일 실시예에 따른 전자 장치(1000)는 공연 영상 콘텐츠를 생성할 수 있다. 예컨대, 전자 장치(1000)는 실시간 공연 영상을 스트리밍하되, 실시간 공연 영상 상에 관객을 나타내는 캐릭터 그래픽 및/또는 관객의 공연에 대한 반응 또는 액션을 나타내는 액션 그래픽을 포함한 그래픽 요소가 디스플레이된 공연 영상 콘텐츠를 실시간으로 생성하여, 관객 단말(110, 120, 130) 및/또는 아티스트 단말(200)로 송신할 수 있다. 예컨대, 전자 장치(1000)는 공연 원본 영상 및/또는 캐릭터 로그 정보에 기반하여 공연 다시 보기와 관련된 공연 영상 콘텐츠를 생성하고, 생성된 공연 영상 콘텐츠를 관객 단말(110, 120, 130)로 송신할 수 있다.
도 2는 본 출원의 일 실시예에 따른 전자 장치(1000)의 일 동작을 설명하기 위한 도면이다. 한편 도 2에서는 해당 동작이 전자 장치(1000)에서 수행되는 것으로 설명하였으나, 관객 단말(110, 120, 130) 상에서 도 2에 도시된 동작들을 수행하도록 구현될 수 있다. 이하에서는 도 2에 도시된 동작들이 전자 장치(1000)에서 수행되는 것으로 설명하나, 이는 설명의 편의를 위한 것일 뿐이며, 이에 제한적으로 해석되어서는 아니된다.
본 출원의 일 실시예에 따른 전자 장치(1000)는 관객과 매칭된 캐릭터를 생성할 수 있다. 예컨대, 전자 장치(1000)는 관객 단말(110, 120, 130)로부터 캐릭터의 유형, 캐릭터의 의상, 캐릭터의 액세서리, 및/또는 캐릭터의 의상 또는 액세서리의 색상을 선택하는 입력을 수신하고, 수신된 입력에 기반하여 관객별로 커스터마이징된 캐릭터를 생성하도록 구현될 수 있다.
도 3은 본 출원의 일 실시예에 따른 관객의 캐릭터 정보를 획득하는 양상을 설명하기 위한 도면이다.
적어도 하나의 관객 단말(110, 120, 130)은 캐릭터를 생성하기 위한 인터페이스를 관객에게 제공할 수 있다.
이때 관객은 관객 단말(110, 120, 130)의 임의의 입력부(예컨대, 마우스, 키보드, 터치 패드 등을 포함한 임의의 형태의 입력부)를 통하여 캐릭터를 생성하기 위한 입력을 관객 단말(110, 120, 130)에 입력할 수 있다.
일 예로, 관객은 인터페이스의 제1 영역(도 3의 A1)을 통하여 캐릭터의 유형, 캐릭터의 의상의 유형, 및/또는 캐릭터의 악세서리의 유형을 선택하는 입력을 관객 단말(110, 120, 130)에 입력할 수 있다. 예컨대, 관객 단말(110, 120, 130)은 인터페이스의 제1 영역(A1)을 통하여 캐릭터의 의상의 유형(예컨대, 후드티, 셔츠, 맨투맨, 스웨터, 조끼, 잠옷, 트레이닝복, 멜빵바지, 민소매)을 선택하는 관객의 입력을 획득할 수 있다.
일 예로, 관객은 인터페이스의 제2 영역(도 3의 A2)을 통하여 캐릭터의 의상의 색상 또는 캐릭터의 악세서리의 색상을 선택하는 입력을 관객 단말(110, 120, 130)에 입력할 수 있다. 예컨대, 관객 단말(110, 120, 130)은 인터페이스의 제2 영역(A2)을 통하여 캐릭터의 의상의 색상(예컨대, 흰색)을 선택하는 관객의 입력을 획득할 수 있다.
본 출원의 일 실시예에 따른 전자 장치(1000)는 관객 단말(110, 120, 130)로부터 캐릭터의 유형을 선택하는 입력, 캐릭터의 의상의 유형 또는 캐릭터의 악세서리의 유형을 선택하는 입력, 및/또는 캐릭터의 의상 또는 악세서리의 색상을 선택하는 입력을 획득하고, 획득된 입력에 기반하여 캐릭터를 생성하고, 생성된 캐릭터를 관객 단말(110, 120, 130)를 포함하여 외부 장치(또는 외부 서버)로 송신할 수 있다. 한편, 관객 단말(110, 120, 130)은 인터페이스의 제3 영역(도 3의 A3)을 통하여 관객의 입력에 따라 생성된 캐릭터를 출력할 수 있다. 도 2 및 도 3에서는 전자 장치(1000)가 캐릭터를 생성하는 것으로 설명하였다. 다만 이는 예시에 불과하며, 관객 단말(110, 120, 130)을 통하여 캐릭터를 생성하고, 전자 장치(1000)는 관객 단말(110, 120, 130)로부터 생성된 캐릭터 정보를 획득하도록 구현될 수 있을 것이다.
나아가 본 출원의 일 실시예에 따른 전자 장치(1000)는, 송수신부(1100)를 통하여, 카메라(300)로부터 실시간 공연 영상을 획득할 수 있다.
나아가 본 출원의 일 실시예예 따른 전자 장치(1000)는 실시간 공연 영상 상의 미리 설정된 영역에 캐릭터 정보에 대응되는 캐릭터 그래픽을 디스플레이할 수 있다.
도 4는 본 출원의 일 실시예에 따른 캐릭터 그래픽을 디스플레이하는 양상을 설명하기 위한 도면이다.
구체적으로 전자 장치(1000)는 실시간 공연 영상의 미리 설정된 영역에 대한 정보를 획득할 수 있다. 예컨대, 전자 장치(1000)는 실시간 공연 영상의 미리 설정된 영역(예컨대, 구조물(예, 테이블, 악기, 악보 거치대 등)에 대응되는 영역)에 대한 정보를 획득할 수 있다. 나아가 전자 장치(1000)는 관객에 매칭되며 생성된 캐릭터 정보에 대응되는 캐릭터 그래픽을 실시간 공연 영상의 미리 설정된 영역에 디스플레이하도록 구현될 수 있다. 한편 미리 설정된 영역은 제1 영역 및 제1 영역과 이격된 제2 영역을 포함하여 복수의 영역들을 포함할 수 있다. 이때 전자 장치(1000)는 디스플레이된 캐릭터 그래픽이 각 영역을 차지하는 비율에 근거하여 캐릭터 그래픽이 디스플레이될 영역을 결정하도록 구현될 수 있다. 예컨대, 디스플레이된 캐릭터 그래픽들이 제1 영역을 차지하는 비율이 미리 설정된 비율값보다 작은 경우에는, 전자 장치(1000)는 캐릭터 그래픽을 제1 영역에 디스플레이하도록 결정할 수 있다. 예컨대, 디스플레이된 캐릭터 그래픽들이 제1 영역을 차지하는 비율이 미리 설정된 비율값보다 같거나 큰 경우에는, 전자 장치(1000)는 캐릭터 그래픽을 제2 영역에 디스플레이하도록 결정할 수 있다.
본 출원의 일 실시예에 따른 전자 장치(1000)는 관객 단말(110, 120, 130)과 미리 정의된 메시지 포맷을 공유하도록 구성될 수 있다. 이때, 관객 단말(110, 120, 130)은 관객과 매칭된 캐릭터의 이동 및/또는 액션을 지시하는 입력을 획득하고, 캐릭터의 이동 및/또는 액션을 지시하는 메시지를 미리 정의된 포맷으로 생성하고, 관객 단말(110, 120, 130) 브라우저의 WebSocket을 통해, 캐릭터의 이동 및/또는 액션을 지시하는 메시지를 전자 장치(1000)로 송신하도록 구성될 수 있다. 이때, 전자 장치(1000)는 WebSocket을 통해 수신한 메시지를 파싱(parsing) 기법을 통해 해석할 수 있다. 나아가 전자 장치(1000)는 메시지 해석 결과에 근거하여 관객과 매칭된 캐릭터를 이동시켜 캐릭터 그래픽을 공연 영상 상에 디스플레이하거나, 관객과 매칭된 캐릭터의 액션에 대응되는 액션 그래픽을 공연 영상 상에 디스플레이할 수 있다. 나아가 전자 장치(1000)는 캐릭터 그래픽 및/또는 액션 그래픽이 디스플레이된 공연 영상을 관객 단말(110, 120, 130)에 스트리밍하도록 구성될 수 있다.
한편, 관객 단말(110, 120, 130)의 입력에 따라 생성된 캐릭터의 모델(예컨대, 캐릭터 그래픽)은 GL 트랜스미션 포맷(GL Transmission Format, glTF™)으로 전자 장치(1000) 또는 관객 단말(110, 120, 130)의 외부 네트워크에 미리 저장될 수 있다. 이때 저장된 캐릭터 모델은, 관객 단말(110, 120, 130) 및/또는 전자 장치(1000)으로부터 캐릭터 그래픽에 대한 요청이 수신되면, CDN(Content Delivery Network)을 통해 HTTP 프로토콜로 전자 장치(1000) 및/또는 관객 단말(110, 120, 130)로 송신될 수 있다. 나아가 전자 장치(1000) 및/또는 관객 단말(110, 120, 130)은 캐릭터 모델을 변형하고, 변형된 캐릭터 모델을 웹 그래픽 라이브러리(Web Graphics Library, WebGL™)을 통해 렌더링하도록 구현될 수 있다. 이때, 캐릭터 모델의 렌더링 과정은 Frame rate 조절, Device pixel ratio 조절, 쉐이딩 프로세스 최적화, 라이트 베이킹, 및/또는 모델 스켈레톤 복잡도 최적화와 관련된 기법을 통해 최적화될 수 있으며, 전자 장치(1000)는 최적화된 캐릭터 그래픽을 실시간 공연 영상 상에 디스플레이하도록 구현될 수 있다.
나아가 본 출원의 일 실시예에 따른 전자 장치(1000)는 관객 단말(110, 120, 130)로부터 관객의 공연에 대한 반응이나 액션을 지시하는 액션 입력 및/또는 캐릭터의 이동을 지시하는 이동 입력을 획득할 수 있다. 이때, 전자 장치(1000)는 액션 입력에 근거하여 캐릭터의 액션에 대응되는 액션 그래픽을 디스플레이할 수 있다. 또는 전자 장치(1000)는 이동 입력에 근거하여 공연 영상의 제1 영역 상에 디스플레이된 캐릭터 그래픽을 제2 영역으로 이동시켜 제2 영역 상에 캐릭터 그래픽을 디스플레이하거나 이동 입력에 근거하여 캐릭터 그래픽을 공연 영상의 미리 설정된 영역 내에서 이동시켜 디스플레이하도록 구현될 수 있다.
도 5은 본 출원의 일 실시예에 따른 액션 그래픽을 디스플레이하는 양상을 설명하기 위한 도면이다.
일 예로, 전자 장치(1000)는, 관객 단말(110, 120, 130)을 통하여, 관객의 공연에 대한 반응 또는 액션을 입력하기 위한 인터페이스(예컨대, 도 5의 B1)를 관객에게 제공할 수 있다. 관객 단말(110, 120, 130)은, 임의의 입력부(예컨대, 마우스, 키보드, 터치패드의 형태)를 통하여, 관객의 공연에 대한 액션을 나타내는 액션 입력을 획득하여 전자 장치(1000)로 전달할 수 있다. 이때, 전자 장치(1000)는 관객 단말(110, 120, 130)로부터 액션 입력을 획득하고, 액션 입력에 대응되는 액션 그래픽을 관객 단말에 대응되는 캐릭터 그래픽과 연계시켜 실시간 공연 영상에 디스플레이할 수 있다. 예컨대, 전자 장치(1000)는 관객 단말(110, 120, 130)로부터 제1 시점에 제1 액션 입력(예컨대, 하트 입력)을 획득한 경우에는, 제1 액션 입력에 대응된 제1 액션 그래픽(예컨대, 하트 그래픽)을 캐릭터 그래픽의 인접 영역에 디스플레이할 수 있다. 예컨대, 전자 장치(1000)는 관객 단말(110, 120, 130)로부터 제2 시점에 제2 액션 입력(예컨대, 박수 입력)을 획득한 경우, 제2 액션 입력에 대응된 제2 액션 그래픽(예컨대, 박수 그래픽)을 캐릭터 그래픽의 인접 영역에 디스플레이할 수 있다. 다만 전술한 액션 그래픽은 예시에 불과하며, 임의의 적절한 형태의 액션 그래픽이 공연 영상에 디스플레이되도록 구현될 수 있을 것이다.
일 예로, 전자 장치(1000)는 관객 단말(110, 120, 130)을 통하여, 캐릭터의 이동을 지시하기 위한 인터페이스(예컨대, 도 5의 B2, B3)를 관객에게 제공할 수 있다. 구체적으로 관객 단말(110, 120, 130)은, 임의의 입력부(예컨대, 마우스, 키보드, 터치패드의 형태)를 통하여, 관객의 캐릭터의 이동을 지시하는 이동 입력을 획득하여 전자 장치(1000)로 전달할 수 있다. 예컨대, 전자 장치(1000)는 관객 단말(110, 120, 130)로부터 캐릭터의 이동을 지시하는 제1 이동 입력(예컨대, 도 5의 B3 관련 입력)을 획득한 경우, 제1 이동 입력에 기반하여 관객 단말에 대응된 캐릭터를 미리 설정된 영역 내에서 이동시켜 캐릭터 그래픽을 디스플레이하도록 구현될 수 있다. 예컨대, 전자 장치(1000)는 관객 단말(110, 120, 130)로부터 캐릭터를 제1 영역에서 제1 영역과 이격된 제2 영역으로의 이동을 지시하는 제2 이동 입력(예컨대, 도 5의 B2 관련 입력)을 획득한 경우, 제2 이동 입력에 기반하여 미리 설정된 영역의 제1 영역 상에 디스플레이된 관객 단말에 대응된 캐릭터 그래픽을 미리 설정된 영역의 제2 영역 상에 디스플레이하도록 구현될 수 있다.
한편 도 2에서는 도시하지는 않았지만, 본 출원의 일 실시예에 따른 전자 장치(1000)는 캐릭터 그래픽 및/또는 액션 그래픽이 디스플레이된 공연 영상 콘텐츠를, 관객 단말(110, 120, 130) 및/또는 아티스트 단말(200)로 송신할 수 있다. 본 출원의 일 실시예에 따른 전자 장치(1000)에 의하면, 관객과 아티스트는 관객을 아바타한 캐릭터와 공연에 대한 반응(또는 액션)을 통하여 온라인 실시간 공연 상에서 서로 인터랙티브(interacitve)하게 교감할 수 있다. 이를 통하여, 기존 온라인 공연 상에서 부족었던 현장감을 제공하여 온라인 공연의 질을 상당히 증대시킬 수 있다.
한편 도 2 내지 도 5에서는 전자 장치(1000)가 캐릭터 그래픽이 디스플레이된 실시간 공연 영상 컨텐츠를 생성하고, 생성된 실시간 공연 영상 컨텐츠를 관객 단말(110, 120, 130)에 송신하는 것으로 설명하였다. 다만 이는 예시에 불과하며, 각 관객 단말(110, 120, 130)이 WebRTC를 통하여 실시간 공연 영상을 획득하고, WebSocket을 통하여 캐릭터에 대한 액션 입력 및/또는 이동 입력을 획득하고, 관객 단말(110, 120, 130)의 백그라운드에서 액션 입력 및/또는 이동 입력에 근거하여 캐릭터 그래픽을 실시간 공연 영상 상에 디스플레이하여 실시간 공연 영상 콘텐츠를 생성하고, 생성된 실시간 공연 영상 콘텐츠를 관객 단말(110, 120. 130)의 출력부를 통해 출력하도록 구성될 수 있을 것이다.
도 6은 본 출원의 일 실시예에 따른 전자 장치(1000)의 일 동작을 설명하기 위한 도면이다.
본 출원의 일 실시예에 따른 전자 장치(1000)는 카메라(300)를 통하여 촬영된 공연 원본 영상을 획득할 수 있다. 예컨대, 전자 장치(1000)는, 공연이 시작된 시점과 공연이 종료된 시점 사이에 적어도 일부분에 대응되는 공연 원본 영상을 획득할 수 있다.
나아가 본 출원의 일 실시예에 따른 전자 장치(1000)는 관객 별 캐릭터 로그 정보를 획득할 수 있다. 여기서, 캐릭터 로그 정보는 관객의 ID 정보, 시간 정보, 좌표 정보, 캐릭터 정보, 및/또는 액션 정보를 포함하여 캐릭터와 관련된 임의의 데이터를 포괄하는 의미일 수 있다.
나아가 본 출원의 일 실시예에 따른 전자 장치(1000)는 공연 원본 영상과 캐릭터 로그 정보에 근거하여 공연 영상 콘텐츠를 생성할 수 있다.
구체적으로 공연 원본 영상, 공연 원본 영상에 대응되는 캐릭터 로그 정보, 및/또는 전자 장치(1000)와 관객 단말(110, 120, 130) 간의 메시지(예컨대, 캐릭터의 이동 또는 액션을 지시하는 메시지)는 실시간 공연이 종료된 후, 임의의 데이터베이스에 저장될 수 있다.
이때, 전자 장치(1000)는, 자동화된 봇(bot)을 이용해, 캐릭터가 디스플레이된 공연 영상(즉, 실시간 공연 스트리밍 영상)을 캡처하고, 공연 영상의 시간 정보를 획득할 수 있다. 이때, 전자 장치(1000)는 캡처한 스크린샷에 대응되는 공연 원본 영상의 프레임(Frame)을 연산하고, 연산된 프레임과 실시간 공연 영상의 시간 정보를 이용하여 공연 원본 영상의 시작 시점 정보를 연산할 수 있다. 나아가 전자 장치(1000)는 연산된 공연 원본 영상의 시작 시점 정보와 캐릭터 로그 정보의 시간 정보를 이용하여 공연 원본 영상 상의 캐릭터 로그 정보의 이동 로그, 및/또는 액션 로그에 따른 캐릭터 그래픽을 시뮬레이션하여, 공연 영상 콘텐츠를 생성할 수 있다. 구체적으로 전자 장치(1000)는 공연 원본 영상을 재생하되, 공연 원본 영상의 시작 시점 정보와 캐릭터 로그 정보의 시간 정보를 이용하여 공연 원본 영상의 시작 시점에 대응되는 캐릭터 로그를 획득하고, 해당 시점에 대응되는 캐릭터 로그를 시계열적으로 공연 원본 영상에 시뮬레이션하여 공연 영상 콘텐츠를 생성할 수 있다.
나아가 본 출원의 일 실시예에 따른 전자 장치(1000)는 공연 영상 콘텐츠를 제1 구간과 제2 구간으로 태깅하는 동작을 수행할 수 있다.
일 예로, 전자 장치(1000)는 운영자의 태깅 입력에 기반하여 공연 영상 콘텐츠를 제1 곡에 대한 공연 구간에 대응되는 제1 구간과 제2 곡에 대한 공연 구간에 대응되는 제2 구간으로 태깅할 수 있다. 일 예로, 전자 장치(1000)는 음향 세팅 정보(또는 음향 파형 정보)에 기반하여 제1 곡에 대한 공연 구간에 대응되는 제1 구간과 제2 곡에 대한 공연 구간에 대응되는 제2 구간을 태깅할 수 있다. 예컨대, 제1 곡에 대한 공연과 제2 곡에 대한 공연에 사용되는 악기의 종류와 음향 세팅이 상이할 수 있다. 이때, 전자 장치(1000)는 제1 곡에 대응되는 공연의 제1 음향 세팅 정보(또는 제1 음향 파형 정보)와 제2 곡에 대응되는 공연의 제2 음향 세팅 정보(또는 제2 음향 파형 정보)를 획득하고, 제1 음향 세팅 정보와 제2 음향 세팅 정보를 비교하여, 비교 결과에 기반하여 제1 곡에 대한 공연 구간에 대응되는 제1 구간과 제2 곡에 대한 공연 구간에 대응되는 제2 구간을 태깅할 수 있다. 예컨대, 전자 장치(1000)는 공연 구간과 공연 이외 구간(예컨대, 멘트 구간)의 음향 세팅이 상이할 수 있다. 구체적으로 공연 구간에서는 악기들의 세팅이 활성화되나, 공연 이외 구간에서는 악기들의 세팅이 뮤트되며 멘트 인풋을 위한 마이크가 활성화될 수 있다. 이때, 전자 장치(1000)는 공연 구간의 음향 세팅 정보와 공연 이외 구간의 음향 세팅 정보를 이용하여 공연 영상 콘텐츠의 공연 구간과 공연 이외 구간을 태깅할 수 있다.
이하에서는 도 7을 참고하여 본 출원의 일 실시예에 따른 실시간 공연 영상 컨텐츠의 생성 방법에 대하여 보다 구체적으로 설명하기로 한다. 실시간 공연 영상 컨텐츠의 생성 방법을 설명함에 있어서, 도 2 내지 도 5과 관련하여 설명한 중복되는 실시예는 생략될 수 있다. 다만, 이는 설명의 편의를 위한 것일 뿐이며, 이에 제한적으로 해석되어서는 아니된다.
도 7는 본 출원의 일 실시예에 따른 실시간 공연 영상 컨텐츠의 생성 방법을 도시한 순서도이다.
본 출원의 일 실시예에 따른 실시간 공연 영상 컨텐츠의 생성 방법은, 관객과 매칭된 캐릭터 정보를 획득하는 단계(S1100), 실시간 공연 영상을 획득하는 단계(S1200), 실시간 공연 영상의 미리 설정된 영역 상에 캐릭터 그래픽을 디스플레이하는 단계(S1300), 관객 단말로부터 관객의 액션 입력을 획득하는 단계(S1400), 및 캐릭터의 액션에 대응되는 액션 그래픽을 디스플레이하는 단계(S1500)를 포함할 수 있다.
관객과 매칭된 캐릭터 정보를 획득하는 단계(S1100)에서, 전자 장치(1000)는 관객과 매칭된 캐릭터와 관련된 임의의 정보를 획득할 수 있다. 일 예로, 전자 장치(1000)는 관객 단말(110, 120, 130)로부터 캐릭터의 유형, 캐릭터의 의상, 캐릭터의 액세서리, 및/또는 캐릭터의 의상 또는 액세서리의 색상을 선택하는 입력을 수신하고, 수신된 입력에 기반하여 관객별로 커스터마이징된 캐릭터를 생성하도록 구현될 수 있다. 예컨대, 전자 장치(1000)는 관객 단말(110, 120, 130)로부터 캐릭터의 유형을 선택하는 제1 입력을 획득하고, 관객 단말(110, 120, 130)로부터, 캐릭터의 의상을 선택하는 제2 입력, 캐릭터의 악세서리를 선택하는 제3 입력, 및 캐릭터의 의상 또는 악세서리의 색상을 선택하는 제4 입력 중 적어도 하나를 획득하고, 제1 입력, 및 제2 입력 내지 제4 입력 중 적어도 하나에 기반하여 캐릭터 정보를 생성할 수 있다. 한편 전술한 바에 따르면, 전자 장치(1000)에서 캐릭터 정보를 생성하는 것으로 설명하였다. 다만 이는 예시에 불과하며, 전자 장치(1000)는 관객 단말(110, 120, 130)를 통하여 생성된 캐릭터 정보를 획득하도록 구현될 수 있다.
실시간 공연 영상을 획득하는 단계(S1200)에서, 전자 장치(1000)는, 송수신부(1100)를 통하여, 카메라(200)로부터 실시간 공연 영상을 획득할 수 있다.
실시간 공연 영상의 미리 설정된 영역 상에 캐릭터 그래픽을 디스플레이하는 단계(S1300)에서, 전자 장치(1000)는 실시간 공연 영상 상의 미리 설정된 영역에 캐릭터 정보에 대응되는 캐릭터 그래픽을 디스플레이할 수 있다. 구체적으로 전자 장치(1000)는 실시간 공연 영상의 미리 설정된 영역에 대한 정보를 획득할 수 있다. 예컨대, 전자 장치(1000)는 실시간 공연 영상의 미리 설정된 영역(예컨대, 구조물(예, 테이블, 악기, 악보 거치대 등)에 대응되는 영역)에 대한 정보를 획득할 수 있다. 나아가 전자 장치(1000)는 관객에 매칭되며 생성된 캐릭터 정보에 대응되는 캐릭터 그래픽을 실시간 공연 영상의 미리 설정된 영역에 디스플레이하도록 구현될 수 있다.
관객 단말로부터 관객의 액션 입력을 획득하는 단계(S1400)에서, 전자 장치(1000)는 관객 단말(110, 120, 130)로부터 관객의 공연에 대한 반응이나 액션을 지시하는 액션 입력을 획득할 수 있다.
한편 도 7에서는 도시하지 않았으나, 관객 단말로부터 관객의 액션 입력을 획득하는 단계(S1400)에서, 전자 장치(1000)는 관객 단말(110, 120, 130)로부터 캐릭터의 이동을 지시하는 이동 입력을 획득할 수 있다. 예컨대, 전자 장치(1000)는 관객 단말(110, 120, 130)에 대응된 캐릭터를 미리 설정된 영역 내에서의 이동을 지시하는 제1 이동 입력을 획득할 수 있다. 예컨대, 전자 장치(1000)는 캐릭터를 제1 영역에서 제1 영역과 이격된 제2 영역으로의 이동을 지시하는 제2 이동 입력을 획득할 수 있다.
캐릭터의 액션에 대응되는 액션 그래픽을 디스플레이하는 단계(S1500)에서, 전자 장치(1000)는, 액션 입력에 근거하여 캐릭터의 액션에 대응되는 액션 그래픽을 디스플레이할 수 있다. 구체적으로 전자 장치(1000)는 S1400 단계를 통하여 획득된 액션 입력에 근거하여 액션 입력에 대응되는 액션 그래픽을 관객 단말에 대응되는 캐릭터 그래픽과 연계시켜 실시간 공연 영상에 디스플레이할 수 있다. 예컨대, 전자 장치(1000)는 관객 단말(110, 120, 130)로부터 제1 시점에 제1 액션 입력(예컨대, 하트 입력)을 획득한 경우에는, 제1 액션 입력에 대응된 제1 액션 그래픽(예컨대, 하트 그래픽)을 캐릭터 그래픽의 인접 영역에 디스플레이할 수 있다. 예컨대, 전자 장치(1000)는 관객 단말(110, 120, 130)로부터 제2 시점에 제2 액션 입력(예컨대, 박수 입력)을 획득한 경우, 제2 액션 입력에 대응된 제2 액션 그래픽(예컨대, 박수 그래픽)을 캐릭터 그래픽의 인접 영역에 디스플레이할 수 있다. 다만 전술한 액션 그래픽은 예시에 불과하며, 임의의 적절한 형태의 액션 그래픽이 공연 영상에 디스플레이되도록 구현될 수 있을 것이다. 한편 액션 입력에 대응되는 액션 그래픽은, 별도의 데이터베이스 또는 전자 장치(1000) 내에 미리 저장되어 있을 수 있다.
한편 도 7에서는 도시하지는 않았지만, 캐릭터의 액션에 대응되는 액션 그래픽을 디스플레이하는 단계(S1500)에서, 전자 장치(1000)는, 제1 이동 입력에 근거하여 캐릭터 그래픽을 공연 영상의 미리 설정된 영역 내에서 이동시켜 디스플레이하도록 구현될 수 있다. 또는 전자 장치(1000)는 제2 이동 입력에 근거하여 공연 영상의 제1 영역 상에 디스플레이된 캐릭터 그래픽을 제2 영역으로 이동시켜 제2 영역 상에 캐릭터 그래픽을 디스플레이할 수 있다.
이하에서는 도 8을 참고하여 본 출원의 일 실시예에 따른 공연 영상 콘텐츠의 생성 방법에 대하여 보다 구체적으로 설명하기로 한다. 공연 영상 콘텐츠의 생성 방법을 설명함에 있어서, 도 6과 관련하여 설명한 중복되는 실시예는 생략될 수 있다. 다만, 이는 설명의 편의를 위한 것일 뿐이며, 이에 제한적으로 해석되어서는 아니된다.
도 8은 본 출원의 일 실시예에 따른 공연 영상 콘텐츠를 생성하는 방법을 도시한 순서도이다.
본 출원의 일 실시예에 따른 공연 영상 콘텐츠의 생성 방법은, 카메라를 통하여 촬영된 공연 원본 영상을 획득하는 단계(S2100), 관객의 캐릭터 로그 정보를 획득하는 단계(S2200), 및 캐릭터 로그 정보와 공연 원본 영상에 근거하여 캐릭터 로그 정보와 공연 원본 영상에 근거하여 그래픽이 디스플레이된 공연 영상 콘텐츠를 생성하는 단계(S2300)를 포함할 수 있다.
카메라를 통하여 촬영된 공연 원본 영상을 획득하는 단계(S2100)에서, 전자 장치(1000)는 카메라(300)를 통하여 촬영된 공연 원본 영상을 획득할 수 있다. 예컨대, 전자 장치(1000)는, 공연이 시작된 시점과 공연이 종료된 시점 사이에 적어도 일부에 대응되는 공연 원본 영상을 획득할 수 있다.
관객의 캐릭터 로그 정보를 획득하는 단계(S2200)에서, 전자 장치(1000)는 관객 별 캐릭터 로그 정보를 획득할 수 있다. 여기서, 캐릭터 로그 정보는 관객의 ID 정보, 시간 정보, 좌표 정보, 캐릭터 정보, 및/또는 액션 정보를 포함하여 캐릭터와 관련된 임의의 데이터를 포괄하는 의미일 수 있다.
나아가 전자 장치(1000)는 캐릭터 로그 정보와 공연 원본 영상에 근거하여 그래픽이 디스플레이된 공연 영상 콘텐츠를 생성할 수 있다. (S2300)
구체적으로 전자 장치(1000)는, 자동화된 봇(bot)을 이용해, 캐릭터가 디스플레이된 공연 영상(즉, 실시간 공연 스트리밍 영상)을 캡처하고, 공연 영상의 시간 정보를 획득할 수 있다. 이때, 전자 장치(1000)는 캡처한 스크린샷에 대응되는 공연 원본 영상의 프레임(Frame)을 연산하고, 연산된 프레임과 실시간 공연 영상의 시간 정보를 이용하여 공연 원본 영상의 시작 시점 정보를 연산할 수 있다. 나아가 전자 장치(1000)는 연산된 공연 원본 영상의 시작 시점 정보와 캐릭터 로그 정보의 시간 정보를 이용하여 공연 원본 영상 상의 캐릭터 로그 정보의 이동 로그, 및/또는 액션 로그에 따른 캐릭터 그래픽을 시뮬레이션하여, 공연 영상 콘텐츠를 생성할 수 있다.
나아가 전자 장치(1000)는 공연 영상 콘텐츠를 제1 곡에 대한 공연 구간에 대응되는 제1 구간과 제2 곡에 대한 공연 구간에 대응되는 제2 구간으로 태깅하여 공연 영상 콘텐츠를 생성할 수 있다. 나아가 전자 장치(1000)는 공연 영상 콘텐츠를 공연 구간과 공연 이외 구간으로 태깅하여 공연 영상 콘텐츠를 생성할 수 있다. 일 예로, 전자 장치(1000)는 음향 세팅 정보(또는 음향 파형 정보)에 근거하여 공연 원본 영상을 태깅하는 동작을 수행하도록 구성될 수 있다.
출원의 일 실시예에 따른 공연 영상 콘텐츠의 생성 방법 및 이를 수행하기 위한 전자 장치에 의하면, 관객과 아티스트는 관객을 아바타한 캐릭터와 공연에 대한 반응(또는 액션)을 통하여 온라인 실시간 공연 상에서 서로 인터랙티브(interacitve)하게 교감할 수 있다. 이를 통하여, 기존 온라인 공연 상에서 부족한 현장감이 제공되어 온라인 공연의 질을 상당히 증대시키는 유리한 효과가 제공될 수 있다.
이상에서 실시 형태들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시 형태에 포함되며, 반드시 하나의 실시 형태에만 한정되는 것은 아니다. 나아가, 각 실시 형태에서 예시된 특징, 구조, 효과 등은 실시 형태들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시 형태들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시 형태를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 형태의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 즉, 실시 형태에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
1000: 전자 장치

Claims (10)

  1. 관객 단말이, 캐릭터가 디스플레이된 실시간 공연 영상 컨텐츠를 생성하는 방법에 있어서,
    관객과 매칭된 캐릭터 정보를 획득하는 단계;
    실시간 공연 영상을 획득하는 단계;
    상기 관객 단말의 백그라운드에서 재생 중인 상기 실시간 공연 영상에 상기 캐릭터 정보에 기반하여 상기 실시간 공연 영상 상의 미리 설정된 영역에 캐릭터 그래픽을 디스플레이하는 단계;
    상기 캐릭터 정보에 대응되는 상기 관객 단말로부터 공연에 대한 액션을 지시하는 액션 입력을 획득하는 단계;
    상기 액션 입력에 기반하여 상기 캐릭터 그래픽에 대응되는 액션 그래픽을 디스플레이하는 단계; 및
    상기 실시간 공연이 종료된 후, 상기 실시간 공연의 다시 보기 영상 컨텐츠를 디스플레이하는 단계를 포함하되,
    상기 다시 보기 영상 컨텐츠는,
    공연 원본 영상 및 캐릭터 로그 정보를 획득하는 것,
    자동화된 봇을 이용하여 상기 실시간 공연 영상이 캡처되고, 상기 실시간 공연 영상의 시간 정보가 획득되는 것,
    캡처한 스크린샷에 대응되는 공연 원본 영상의 프레임이 연산되는 것,
    상기 연산된 프레임과 상기 실시간 공연 영상의 시간 정보를 이용하여 상기 공연 원본 영상의 시작 시점 정보가 연산되는 것, 및
    상기 캐릭터 로그 정보의 시간 정보와 상기 공연 원본 영상의 시작 시점 정보를 이용하여 상기 캐릭터 그래픽을 상기 공연 원본 영상 상에 시뮬레이션하는 것에 근거하여 생성되는,
    실시간 공연 영상 컨텐츠의 생성 방법.
  2. 제1 항에 있어서,
    상기 액션 입력을 획득하는 단계는,
    상기 관객 단말로부터 제1 시점에는 관객의 제1 액션 입력을 획득하고, 제2 시점에는 관객의 제2 액션 입력을 획득하는 단계를 더 포함하되,
    상기 액션 그래픽을 디스플레이하는 단계는,
    상기 제1 시점의 공연 영상 상에 상기 제1 액션 입력에 대응되는 제1 그래픽을 디스플레이하고, 상기 제2 시점의 공연 영상 상에 상기 제2 액션 입력에 대응되는 제2 그래픽을 디스플레이하는 단계를 더 포함하는,
    실시간 공연 영상 컨텐츠의 생성 방법.
  3. 제1 항에 있어서,
    상기 액션 입력을 획득하는 단계는,
    상기 관객 단말로부터 캐릭터의 이동을 지시하는 제1 이동 입력을 획득하는 단계를 더 포함하되,
    상기 미리 설정된 영역 상에 캐릭터 그래픽을 디스플레이하는 단계는,
    상기 제1 이동 입력에 기반하여 상기 미리 설정된 영역 내에서 캐릭터를 이동시켜 상기 캐릭터 그래픽을 디스플레이하는 단계를 더 포함하는,
    실시간 공연 영상 컨텐츠의 생성 방법.
  4. 제1 항에 있어서,
    상기 미리 설정된 영역은,
    제1 영역과 상기 제1 영역과는 이격된 제2 영역을 포함하는,
    실시간 공연 영상 컨텐츠의 생성 방법.
  5. 제4 항에 있어서,
    상기 액션 입력을 획득하는 단계는,
    상기 관객 단말로부터 캐릭터를 상기 제1 영역에서 상기 제2 영역으로의 이동을 지시하는 제2 이동 입력을 획득하는 단계를 더 포함하고,
    상기 미리 설정된 영역 상에 캐릭터를 디스플레이하는 단계는,
    상기 제2 이동 입력에 기반하여 상기 미리 설정된 영역의 제1 영역 상에 디스플레이된 캐릭터 그래픽을 상기 미리 설정된 영역의 제2 영역 상에 디스플레이하는 단계를 더 포함하는,
    실시간 공연 영상 컨텐츠의 생성 방법.
  6. 제1 항에 있어서,
    상기 캐릭터 정보를 획득하는 단계는,
    상기 관객 단말로부터, 캐릭터의 유형을 선택하는 제1 입력을 획득하는 단계;
    상기 관객 단말로부터, 캐릭터의 의상을 선택하는 제2 입력, 캐릭터의 악세서리를 선택하는 제3 입력, 및 캐릭터의 의상 또는 악세서리의 색상을 선택하는 제4 입력 중 적어도 하나를 획득하는 단계; 및
    상기 제1 입력과 상기 제2 입력 내지 상기 제4 입력 중 적어도 하나에 기반하여 상기 캐릭터 정보를 생성하는 단계를 더 포함하는,
    실시간 공연 영상 컨텐츠의 생성 방법.
  7. 제1 항에 있어서,
    상기 캐릭터 정보를 획득하는 단계는,
    상기 캐릭터 그래픽을 변형하는 단계; 및
    상기 변형된 캐릭터 그래픽을 WebGL(Web Graphics Library)을 통해 렌더링하는 단계를 더 포함하되,
    상기 렌더링은 Frame rate 조절, Device pixel ratio 조절, 쉐이딩 프로세스 최적화, 라이트 베이킹, 및 모델 스켈레톤 복잡도 최적화 중 적어도 하나를 포함하는,
    실시간 공연 영상 컨텐츠의 생성 방법.
  8. 삭제
  9. 컴퓨터에 제1 항 내지 제7 항 중 어느 하나의 항에 따른 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  10. 관객 단말에 있어서,
    실시간 공연 영상을 수신하는 송수신부; 및
    상기 실시간 공연 영상에 캐릭터 그래픽을 디스플레이하도록 구성된 프로세서;를 포함하되,
    상기 프로세서는,
    관객과 매칭된 캐릭터 정보를 획득하고,
    상기 실시간 공연 영상을 획득하고,
    상기 관객 단말의 백그라운드에서 재생 중인 상기 실시간 공연 영상에 상기 캐릭터 정보에 기반하여 상기 실시간 공연 영상 상의 미리 설정된 영역에 캐릭터 그래픽을 디스플레이하고,
    상기 캐릭터 정보에 대응되는 상기 관객 단말로부터 공연에 대한 액션을 지시하는 액션 입력을 획득하고,
    상기 액션 입력에 기반하여 상기 캐릭터 그래픽에 대응되는 액션 그래픽을 디스플레이하고,
    상기 실시간 공연이 종료된 후, 상기 실시간 공연의 다시 보기 영상 컨텐츠를 디스플레이하도록 구성되며,
    상기 다시 보기 영상 컨텐츠는,
    공연 원본 영상 및 캐릭터 로그 정보를 획득하는 것,
    자동화된 봇을 이용하여 상기 실시간 공연 영상이 캡처되고, 상기 실시간 공연 영상의 시간 정보가 획득되는 것,
    캡처한 스크린샷에 대응되는 공연 원본 영상의 프레임이 연산되는 것,
    상기 연산된 프레임과 상기 실시간 공연 영상의 시간 정보를 이용하여 상기 공연 원본 영상의 시작 시점 정보가 연산되는 것, 및
    상기 캐릭터 로그 정보의 시간 정보와 상기 공연 원본 영상의 시작 시점 정보를 이용하여 상기 캐릭터 그래픽을 상기 공연 원본 영상 상에 시뮬레이션하는 것에 근거하여 생성되는,
    관객 단말.
KR1020220170209A 2022-12-08 2022-12-08 공연 영상 컨텐츠의 생성 방법 및 이를 수행하기 위한 장치 KR102657002B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220170209A KR102657002B1 (ko) 2022-12-08 2022-12-08 공연 영상 컨텐츠의 생성 방법 및 이를 수행하기 위한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220170209A KR102657002B1 (ko) 2022-12-08 2022-12-08 공연 영상 컨텐츠의 생성 방법 및 이를 수행하기 위한 장치

Publications (1)

Publication Number Publication Date
KR102657002B1 true KR102657002B1 (ko) 2024-04-15

Family

ID=90715623

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220170209A KR102657002B1 (ko) 2022-12-08 2022-12-08 공연 영상 컨텐츠의 생성 방법 및 이를 수행하기 위한 장치

Country Status (1)

Country Link
KR (1) KR102657002B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150105058A (ko) * 2014-03-07 2015-09-16 이모션웨이브 주식회사 온라인을 이용한 혼합현실형 가상 공연 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150105058A (ko) * 2014-03-07 2015-09-16 이모션웨이브 주식회사 온라인을 이용한 혼합현실형 가상 공연 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
방문영, 비대면 시대 공연산업의 XR 활용 동향.MONTHLY SOFTWARE ORIENTED SOCIETY No.74, August. 2020. 1부.* *

Similar Documents

Publication Publication Date Title
US11450350B2 (en) Video recording method and apparatus, video playing method and apparatus, device, and storage medium
US10419510B2 (en) Selective capture with rapid sharing of user or mixed reality actions and states using interactive virtual streaming
CN111294663B (zh) 弹幕处理方法、装置、电子设备及计算机可读存储介质
CN103530096B (zh) 远程控制方法、远程控制设备和显示设备
TWI732240B (zh) 視頻檔案的生成方法、裝置及儲存媒體
CN107770626A (zh) 视频素材的处理方法、视频合成方法、装置及存储介质
JP6064381B2 (ja) 情報共有システム
CN105637472B (zh) 具有广义屏幕描述的屏幕内容共享系统的框架
CN108696489B (zh) 媒体信息的播放方法和装置
JP5780259B2 (ja) 情報処理装置、情報処理方法、プログラム
EP3024223B1 (en) Videoconference terminal, secondary-stream data accessing method, and computer storage medium
CN105933720A (zh) 直播视频发布的通知方法和装置
WO2019227429A1 (zh) 多媒体内容生成方法、装置和设备/终端/服务器
EP4161067A1 (en) A method, an apparatus and a computer program product for video encoding and video decoding
CN109391848A (zh) 一种互动广告系统
KR20160069663A (ko) 교육용 콘텐츠 제작 시스템, 제작방법, 및 그에 사용되는 서비스 서버, 저작자 단말, 클라이언트 단말
KR101594861B1 (ko) 애니메이션 협업 제작 서비스를 제공하는 웹서버 및 그방법
US11165842B2 (en) Selective capture with rapid sharing of user or mixed reality actions and states using interactive virtual streaming
KR102657002B1 (ko) 공연 영상 컨텐츠의 생성 방법 및 이를 수행하기 위한 장치
JP2023506364A (ja) メッセージングプラットフォーム上のオーディオメッセージングインターフェース
WO2017026170A1 (ja) クライアント機器、サーバ機器、表示処理方法、及び、データ配信方法
KR102599521B1 (ko) 공연 영상 컨텐츠의 생성 방법 및 이를 수행하기 위한 서버
JP2013037447A (ja) アニメーション再生システム、サーバ装置、端末装置、再生方法、情報処理方法及びプログラム
JP2013232904A (ja) 画像処理装置、画像処理プログラム及び画像処理方法
CN111045674A (zh) 一种播放器的交互方法和装置

Legal Events

Date Code Title Description
GRNT Written decision to grant