KR20230037329A - 이벤트 맞춤형 오디오 콘텐츠를 렌더링하기 위한 컴퓨터 시스템 및 그의 방법 - Google Patents

이벤트 맞춤형 오디오 콘텐츠를 렌더링하기 위한 컴퓨터 시스템 및 그의 방법 Download PDF

Info

Publication number
KR20230037329A
KR20230037329A KR1020210120507A KR20210120507A KR20230037329A KR 20230037329 A KR20230037329 A KR 20230037329A KR 1020210120507 A KR1020210120507 A KR 1020210120507A KR 20210120507 A KR20210120507 A KR 20210120507A KR 20230037329 A KR20230037329 A KR 20230037329A
Authority
KR
South Korea
Prior art keywords
event
audio
events
computer system
rendering information
Prior art date
Application number
KR1020210120507A
Other languages
English (en)
Inventor
김정식
김대황
김동환
이태규
서정훈
오지원
Original Assignee
네이버 주식회사
가우디오랩 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버 주식회사, 가우디오랩 주식회사 filed Critical 네이버 주식회사
Priority to KR1020210120507A priority Critical patent/KR20230037329A/ko
Priority to JP2022128606A priority patent/JP7429266B2/ja
Priority to US17/939,306 priority patent/US20230072261A1/en
Publication of KR20230037329A publication Critical patent/KR20230037329A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4852—End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/607—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for more than one sound signal, e.g. stereo, multilanguages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Business, Economics & Management (AREA)
  • Stereophonic System (AREA)
  • Tourism & Hospitality (AREA)
  • User Interface Of Digital Computer (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)

Abstract

다양한 실시예들은 이벤트 맞춤형 오디오 콘텐츠를 렌더링하기 위한 컴퓨터 시스템 및 그의 방법을 제공한다. 다양한 실시예들에 따르면, 컴퓨터 시스템은, 복수의 이벤트들에 대한 이벤트 리스트, 상기 이벤트들의 각각에 매칭되는 오디오 렌더링 정보에 대한 오디오 리스트, 및 현재 이벤트 상태에 대한 이벤트 상태 정보를 수신하고, 상기 현재 이벤트 상태에 기반하여, 상기 이벤트들 중 하나에 매칭되는 오디오 렌더링 정보에 따라, 현재 오디오 콘텐츠를 출력하도록 구성될 수 있다.

Description

이벤트 맞춤형 오디오 콘텐츠를 렌더링하기 위한 컴퓨터 시스템 및 그의 방법{COMPUTER SYSTEM FOR RENDERING EVENT-CUSTOMIZED AUDIOD CONTENT, AND METHOD THEREOF}
다양한 실시예들은 이벤트 맞춤형 오디오 콘텐츠를 렌더링하기 위한 컴퓨터 시스템 및 그의 방법에 관한 것이다.
일반적으로, 콘텐츠 제작 환경은 다양한 뷰들로 이루어지는 시각적 콘텐츠에 대해, 고정된 음장으로 구성된 오디오 콘텐츠를 제공한다. 예를 들면, 콘텐츠 제작 환경은 특정 현장에 대해 풀샷, 클로즈업샷 등의 다양한 비디오 장면들을 연결하여 시각적 콘텐츠를 제작하면서, 해당 현장에서의 오디오 신호들을 미리 정해진 구성으로 고정된 음장으로 믹싱하여 오디오 콘텐츠를 제작한다. 이로 인해, 사용자는 시각적 콘텐츠와 오디오 콘텐츠를 재생함에 따라, 다양한 뷰들을 보면서, 오디오 콘텐츠를 기반으로 하는 미리 정해진 구성의 고정된 사운드를 들을 뿐이다. 따라서, 사용자의 시각적 콘텐츠에 대한 몰입감이 낮다.
다양한 실시예들은, 사용자의 시각적 콘텐츠에 대한 몰입감을 향상시킬 수 있는 컴퓨터 시스템 및 그의 방법을 제공한다.
다양한 실시예들은, 이벤트 맞춤형 오디오 콘텐츠를 렌더링하기 위한 컴퓨터 시스템 및 그의 방법을 제공한다.
다양한 실시예들에 따른 컴퓨터 시스템에 의한 방법은, 복수의 이벤트들에 대한 이벤트 리스트, 상기 이벤트들의 각각에 매칭되는 오디오 렌더링 정보에 대한 오디오 리스트, 및 현재 이벤트 상태에 대한 이벤트 상태 정보를 수신하는 단계, 및 상기 현재 이벤트 상태에 기반하여, 상기 이벤트들 중 하나에 매칭되는 오디오 렌더링 정보에 따라, 현재 오디오 콘텐츠를 출력하는 단계를 포함할 수 있다.
다양한 실시예들에 따른 비-일시적인 컴퓨터 판독 가능한 기록 매체에 저장되는 컴퓨터 프로그램은, 상기 방법을 상기 컴퓨터 시스템에 실행시키기 위한 것일 수 있다.
다양한 실시예들에 따른 비-일시적인 컴퓨터 판독 가능한 기록 매체에는, 상기 방법을 상기 컴퓨터 시스템에 실행시키기 위한 프로그램이 기록되어 있을 수 있다.
다양한 실시예들에 따른 컴퓨터 시스템은, 메모리, 통신 모듈, 및 상기 메모리 및 상기 통신 모듈과 각각 연결되고, 상기 메모리에 저장된 적어도 하나의 명령을 실행하도록 구성된 프로세서를 포함하고, 상기 프로세서는, 복수의 이벤트들에 대한 이벤트 리스트, 상기 이벤트들의 각각에 매칭되는 오디오 렌더링 정보에 대한 오디오 리스트, 및 현재 이벤트 상태에 대한 이벤트 상태 정보를 수신하고, 상기 현재 이벤트 상태에 기반하여, 상기 이벤트들 중 하나에 매칭되는 오디오 렌더링 정보에 따라, 현재 오디오 콘텐츠를 출력하도록 구성될 수 있다.
다양한 실시예들에 따르면, 컴퓨터 시스템은 이벤트 맞춤형 오디오 콘텐츠를 렌더링할 수 있다. 이를 위해, 콘텐츠의 상이한 이벤트들에 상이한 오디오 렌더링 정보가 매칭될 수 있다. 그리고, 컴퓨터 시스템은 이벤트들 중 하나에 매칭되는 오디오 렌더링 정보에 따라 오디오 콘텐츠를 렌더링할 수 있다. 이 때, 컴퓨터 시스템은 현재 중계되는 이벤트에 매칭되는 오디오 렌더링 정보에 따라 현재 오디오 콘텐츠를 공간적으로 처리함으로써, 사용자를 위해 현장감을 실현할 수 있다. 이로써, 사용자는 중계되는 이벤트와 그에 맞게 렌더링된 오디오 콘텐츠를 이용함에 따라, 그 현장에 있는 것과 같은 현장감을 느낄 수 있을 것이다. 즉, 컴퓨터 시스템은 사용자의 시각적 콘텐츠에 대한 몰입감을 향상시킬 수 있다.
도 1은 다양한 실시예들에 따른 컴퓨터 시스템의 동작 환경을 도시하는 블록도이다.
도 2는 다양한 실시예들에 따른 컴퓨터 시스템의 동작 환경을 설명하기 위한 예시도이다.
도 3, 도 4a 및 도 4b는 일 실시예에 따른 컴퓨터 시스템의 동작 특징을 설명하기 위한 예시도들이다.
도 5는 일 실시예에 따른 컴퓨터 시스템과 연관되는 제작 환경을 도시하는 블록도이다.
도 6, 도 7a, 도 7b, 도 8a 및 도 8b는 일 실시예에 따른 컴퓨터 시스템과 연관되는 제작 환경의 동작 특징을 설명하기 위한 예시도들이다.
도 9a, 도 9b, 도 9c, 도 9d, 도 9e, 도 9f, 도 9g 및 도 9h는 일 실시예에 따른 컴퓨터 시스템의 사용자 인터페이스를 설명하기 위한 예시도들이다.
도 10은 다양한 실시예들에 따른 컴퓨터 시스템의 내부 구성을 도시하는 블록도이다.
도 11은 다양한 실시예들에 따른 컴퓨터 시스템의 동작 절차를 도시하는 순서도이다.
도 12는 도 11의 현재 오디오 콘텐츠를 출력하는 단계의 세부 절차를 도시하는 순서도이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 설명된다.
도 1은 다양한 실시예들에 따른 컴퓨터 시스템(100)의 동작 환경을 도시하는 블록도이다. 도 2는 다양한 실시예들에 따른 컴퓨터 시스템(100)의 동작 환경을 설명하기 위한 예시도이다.
도 1을 참조하면, 컴퓨터 시스템(100)은 제작 환경(110) 및 사용자(120)와 통신할 수 있다. 컴퓨터 시스템(100)은 동일한 네트워크를 통하여 제작 환경(110) 및 사용자(120)와 통신할 수 있다. 또는, 컴퓨터 시스템(100)은 상이한 네트워크들을 통하여 제작 환경(110) 및 사용자(120)와 통신할 수 있다. 여기서, 사용자(120)는 사용자의 전자 장치와 혼용될 수 있다. 예를 들면, 전자 장치는 스마트폰(smart phone), 휴대폰, 내비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(personal digital assistants), PMP(portable multimedia player), 태블릿 PC, 게임 콘솔(game console), 웨어러블 디바이스(wearable device), IoT(internet of things) 디바이스, 가전 기기, 의료 기기, 로봇(robot), 또는 헤드 마운트 디스플레이(head mounted display; HMD) 장치 중 적어도 하나를 포함할 수 있다.
제작 환경(110)은 멀티미디어 콘텐츠를 제작할 수 있다. 어떤 실시예들에서, 제작 환경(110)은 적어도 하나의 전자 기기로 이루어질 수 있다. 멀티미디어 콘텐츠는 시각적 콘텐츠 및 시각적 콘텐츠와 동기화되는 오디오 콘텐츠를 포함할 수 있다. 예를 들면, 시각적 콘텐츠는 비디오 콘텐츠, 가상현실(virtual reality; VR) 콘텐츠, 증강현실(augmented reality; AR) 콘텐츠, 또는 확장현실(extended reality; XR) 콘텐츠 중 적어도 하나를 포함할 수 있다. 예를 들면, 제작 환경(110)은, 도 2에 도시된 바와 같이 실제 현장에서 멀티미디어 신호들을 수집하고, 이를 기반으로 멀티미디어 콘텐츠를 제작할 수 있다. 시각적 콘텐츠는 특정 현장에 대한 복수의 이벤트들, 예컨대 시각적 이벤트들 또는 촉각적 이벤트들 중 적어도 하나로 이루어질 수 있다. 여기서, 이벤트들은 동일한 현장에 대한 상이한 뷰들을 각각 나타낼 수 있다. 바꿔 말하면, 동일한 현장에 대해, 다수의 이벤트들이 동시에 생성될 수 있다. 시각적 이벤트들의 타입들로는, 예컨대 비디오 장면, 조명, 불꽃, 포그(fog), 또는 다중 언택트 화면 중 적어도 하나가 있을 수 있다.
이를 통해, 멀티미디어 콘텐츠가 사용자(120)를 위해 제공될 수 있다. 이 때, 멀티미디어 콘텐츠는 실시간으로 스트리밍될 수 있으며, 사용자(120)가 원하는 시간에 제공될 수도 있다(VOD). 일 실시예에 따르면, 시각적 콘텐츠의 이벤트들 중 적어도 하나가 중계되며, 중계되는 이벤트는 이벤트들 사이에서 전환될 수 있다. 다른 실시예에 따르면, 사용자(120)의 선택에 응답하여, 시각적 콘텐츠의 이벤트들 중 하나가 중계될 수 있다.
따라서, 컴퓨터 시스템(100)은 사용자(120)를 위해, 오디오 콘텐츠를 렌더링할 수 있다. 이 때, 이벤트들의 각각에 대해, 상이한 오디오 렌더링 정보가 매칭될 수 있다. 오디오 렌더링 정보는 해당 이벤트와 연관된 공간적 오디오 속성을 나타내며, 프리셋 형태로 구성될 수 있다. 어떤 실시예들에서, 이벤트들의 각각은, 해당 이벤트에 대해 오디오 콘텐츠를 재생하기 위한 오디오 매칭 이벤트, 또는 해당 이벤트에 대해 오디오 콘텐츠가 재생하지 않기 위한 설정된 비(non)-오디오 매칭 이벤트로 설정될 수 있다. 컴퓨터 시스템(100)은 이벤트들 중 하나에 매칭되는 오디오 렌더링 정보에 따라 오디오 콘텐츠를 렌더링할 수 있다. 이 때, 컴퓨터 시스템(100)은 현재 중계되는 이벤트에 매칭되는 오디오 렌더링 정보에 따라 현재 오디오 콘텐츠를 공간적으로 처리함으로써, 사용자(120)를 위해 현장감을 실현할 수 있다. 이로써, 사용자(120)는 중계되는 이벤트와 그에 맞게 렌더링된 오디오 콘텐츠를 이용함에 따라, 그 현장에 있는 것과 같은 현장감을 느낄 수 있을 것이다. 일 예로, 사용자(120)는, 도 2에 도시된 바와 같이 스마트폰을 통해 2차원적으로, 중계되는 이벤트를 보면서 그에 맞는 사운드를 경험할 수 있을 것이다. 다른 예로, 사용자(120)는, 도 2에 도시된 바와 같이 헤드 마운트 디스플레이 장치를 통해 3차원적으로, 중계되는 이벤트를 보면서 그에 맞는 사운드를 경험할 수 있을 것이다.
이하에서는, 이벤트들이 방송 프로그램 현장에서 상이한 뷰들로 촬영되는 비디오 장면들인 일 실시예를 중심으로, 컴퓨터 시스템(100) 및 그의 방법이 설명될 것이나, 이는 설명의 편의를 위하여 예시적으로 설명되는 것일 뿐, 이에 제한되지 않는다. 즉 다양한 타입들의 이벤트들에 대해, 컴퓨터 시스템(100) 및 그의 방법이 적용될 수 있을 것이다.
도 3, 도 4a 및 도 4b는 일 실시예에 따른 컴퓨터 시스템(100)의 동작 특징을 설명하기 위한 예시도들이다.
도 3을 참조하면, 컴퓨터 시스템(100)는 이벤트들에 따라, 오디오 콘텐츠를 상이하게 렌더링할 수 있다. 일 실시예에 따르면, 이벤트들은 방송 프로그램 현장에서 상이한 뷰들로 촬영되는 비디오 장면들일 수 있다. 예를 들면, 각 비디오 장면은, 도 3의 (a)에 도시된 바와 같은 풀샷(full shot), 도 3의 (b) 또는 (c)에 도시된 바와 같은 클로즈업샷(close-up shot)(인물샷으로도 지칭될 수 있음), 또는 도 3의 (d)에 도시된 바와 같은 분할 화면 중 어느 하나일 수 있다. 여기서, AA, BB, CC, 및 DD는 인물들을 각각 나타낼 수 있다. 도 3의 (a)와 같은 풀샷에 대해, 컴퓨터 시스템(100)은, 사용자(120)가 해당 방송 프로그램 현장의 한 구석에서 듣는 것과 같이 사운드를 경험할 수 있도록, 오디오 콘텐츠를 렌더링할 수 있다. 도 3의 (b) 또는 (c)에 도시된 바와 같은 특정 인물의 클로즈업샷에 대해, 컴퓨터 시스템(100)은, 사용자(120)가 해당 인물의 바로 앞에서 듣는 것과 같이 사운드를 경험할 수 있도록, 오디오 콘텐츠를 렌더링할 수 있다. 여기서, 컴퓨터 시스템(100)은 해당 인물과 주변 인물 간의 위치 관계가 표현되도록, 오디오 콘텐츠를 렌더링할 수 있다. 도 3의 (d)에 도시된 바와 같은 복수의 인물들의 클로즈업샷들로 구성되는 분할 화면에 대해, 컴퓨터 시스템(100)은, 분할 화면 내에서 클로즈업샷들의 위치들에 따라 인물들이 개별적으로 파악되도록, 오디오 콘텐츠를 렌더링할 수 있다.
일 실시예에 따르면, 시각적 콘텐츠의 이벤트들 중 적어도 하나가 중계되며, 중계되는 이벤트는 이벤트들 사이에서 전환될 수 있다. 이러한 경우, 컴퓨터 시스템(100)은 중계되는 이벤트를 자동으로 검출하여, 중계되는 이벤트에 맞게 오디오 콘텐츠를 렌더링할 수 있다. 예를 들면, 일반 스트리밍 서비스에서, 도 4a에 도시된 바와 같이, 중계되는 비디오 장면이 풀샷, 특정 인물, 예컨대 BB의 클로즈업샷, 및 분할 화면 순서로 전환되며, 이에 대응하여 컴퓨터 시스템(100)이 오디오 콘텐츠를 렌더링할 수 있다. 이를 통해, 사용자(120)는, 풀샷에 대해 해당 방송 프로그램 현장의 한 구석에서 듣는 것과 같이 사운드를 경험하고, 클로즈업샷에 대해 해당 인물의 바로 앞에서 듣는 것과 같이 사운드를 경험하며, 분할 화면에 대해 분할 화면 내에서 클로즈업샷들의 위치들에 따라 인물들이 개별적으로 파악되도록 사운드를 경험할 수 있을 것이다.
다른 실시예에 따르면, 사용자(120)의 선택에 응답하여, 시각적 콘텐츠의 이벤트들 중 하나가 중계될 수 있다. 이러한 경우, 컴퓨터 시스템(100)은 중계되는 이벤트에 맞게 오디오 콘텐츠를 렌더링할 수 있다. 예를 들면, 멀티뷰 스트리밍 서비스에서, 도 4b에 도시된 바와 같이, 중계 가능한 비디오 장면들이 사용자(120)를 위해 제공될 수 있다. 이 때, 사용자(120)의 선택에 응답하여, 풀샷, 클로즈업샷, 또는 분할 화면 중 하나가 중계되며, 이에 대응하여 컴퓨터 시스템(100)이 오디오 콘텐츠를 렌더링할 수 있다. 또는, 컴퓨터 시스템(100)이 풀샷, 클로즈업샷, 또는 분할 화면 중 적어도 하나에 각각 대응하여, 오디오 콘텐츠를 각각 렌더링하며, 렌더링된 모든 오디오 콘텐츠를 동시에 송출할 수 있다. 그리고, 사용자(120)의 선택에 응답하여, 풀샷, 클로즈업샷, 또는 분할 화면 중 하나가 재생되면서, 그에 대응하여 렌더링된 오디오 콘텐츠가 제공될 수 있다. 이를 통해, 사용자(120)는 중계되는 비디오 장면을 보면서 그에 맞는 사운드를 경험할 수 있을 것이다.
도 5는 일 실시예에 따른 컴퓨터 시스템(100)과 연관되는 제작 환경(110)을 도시하는 블록도이다. 도 6, 도 7a, 도 7b, 도 8a 및 도 8b는 일 실시예에 따른 컴퓨터 시스템(100)과 연관되는 제작 환경(110)의 동작 특징을 설명하기 위한 예시도들이다.
도 5를 참조하면, 제작 환경(110)은 하나 이상의 영상 소스(511, 515)들을 포함하며, 컴퓨터 시스템(100)은 영상 소스(511, 515)들 중 적어도 일부와 연결될 수 있다. 예를 들면, 영상 소스(511, 515)들은 영상 스튜디오(511) 또는 영상 믹서(515) 중 적어도 하나를 포함할 수 있다. 여기서, 영상 스튜디오(511)와 영상 믹서(515)는 캡처 보드(513)를 사이에 두고, 연결될 수 있다. 그리고, 영상 소스(511, 515)들에서 제작되는 시각적 콘텐츠가 송출 프로그램(519)을 통해, 사용자(120)에게 제공될 수 있다.
영상 스튜디오(511)는 시각적 콘텐츠를 제작하기 위한 전자 기기일 수 있다. 예를 들면, 영상 스위처(Video Switcher)와 같은 하드웨어 또는 OBS(Open Broadcast Software)와 같은 소프트웨어일 수 있다. 이러한 영상 스튜디오(511)는 복수의 카메라들과 개별적으로 연결되고, 카메라들을 통해 촬영되는 영상들을 기반으로, 이벤트들을 각각 생성할 수 있다. 예를 들면, 영상 스튜디오(511)는 다섯 개의 카메라들을 통해 촬영되는 영상들로부터 다섯 개의 비디오 장면들(#1 내지 #5)을 생성할 수 있다.
그리고, 제작자의 선택에 의해, 영상 스튜디오(511)는 이벤트들 중에서 중계되는 이벤트를 결정할 수 있다. 일 예로, 영상 스튜디오(511)는 하나의 비디오 장면(#1)을 중계 화면으로 결정하고, 다른 비디오 장면(#2)을 후속의 중계 화면으로 결정할 수 있다. 이를 통해, 영상 스튜디오(511)는 탤리(tally) 정보를 생성할 수 있다. 탤리 정보는 중계되는 이벤트를 식별하기 위한 정보이며, 일 예로, 중계 화면으로 선택된 비디오 장면을 식별하는 데 이용될 수 있다. 탤리 정보는 현재 중계되는 비디오 이벤트 (프로그램)와 다음에 중계될 비디오 이벤트 (프리뷰) 형태로 구성될 수 있다.
영상 믹서(515)는 영상 스튜디오(511)와 함께, 시각적 콘텐츠를 제작하기 위한 전자 기기일 수 있다. 이러한 영상 믹서(515)도 카메라들을 통해 촬영되는 영상들과 영상 믹서(515)에서 지원하는 비디오/이미지 입력, 비디오 효과를 기반으로, 이벤트들을 각각 생성할 수 있다. 예를 들면, 영상 믹서(515)는 영상 편집 소프트웨어를 구비하며, 이를 이용하여 적어도 하나의 이벤트를 생성할 수 있다. 이 때, 영상 믹서(515)는 캡처 보드(513)를 통해, 카메라들을 통해 촬영되는 영상들과 영상 스튜디오(511)로부터의 중계 화면을 수신할 수 있다. 그리고, 영상 믹서(515)는 캡처 보드(513)에서 수신된 영상들 중 적어도 두 개를 조합하거나, 촬영되는 영상들 중 적어도 하나와 임의의 이미지를 조합하여, 적어도 하나의 이벤트를 생성할 수 있다. 도 6을 참조하여 예를 들면, 영상 믹서(515)는 영상 스튜디오(511)에서 결정되는 중계 화면으로부터 하나의 비디오 장면(#1)을 생성하고, 카메라들을 통해 촬영되는 영상들 중 일부로부터 네 개의 비디오 장면들(#2 내지 #5)을 생성하고, 촬영되는 영상들 중 적어도 두 개로 구성되는 분할 화면으로부터 하나의 비디오 장면(#6)을 생성하고, 촬영되는 영상들 중 적어도 하나에 오버레이하기 위한 임의의 개수의 이미지로부터 해당 개수의 비디오 장면들(#7 내지 #9)을 생성할 수 있다.
그리고, 영상 믹서(515)는 영상 스튜디오(511)에서 결정된 중계되는 이벤트를 변경할 수 있다. 예를 들면, 영상 믹서(515)는 영상 스튜디오(511)에서 결정된 중계 화면을 영상 믹서(515)에서 생성된 분할 화면으로 변경할 수 있다. 일 실시예에 따르면, 영상 믹서(515)는 컷 방식으로, 중계되는 이벤트를 변경할 수 있다. 예를 들면, 영상 믹서(515)는, 도 7a에 도시된 바와 같이 중계 화면으로 전환하고(잘라내기(컷(cut)), 디졸브, 패턴 와이프 등), 해당 중계 화면을 대신하여 분할 화면을 삽입할 수 있다. 이러한 경우에, 도 7b에 도시된 바와 같이, 영상 스튜디오(511)에서 결정된 중계 화면은 중계되지 않을 것이다. 다른 실시예에 따르면, 영상 믹서(515)는 오버레이 방식으로, 중계되는 이벤트를 변경할 수 있다. 예를 들면, 영상 믹서(515)는, 도 8a 및 도 8b에 도시된 바와 같이 중계 화면의 상위 레이어(Layer 1)에 분할 화면을 오버레이할 수 있다. 이러한 경우에, 도 8b에 도시된 바와 같이, 영상 스튜디오(511)에서 결정된 중계 화면에, 분할 화면을 덮어서 중계될 것이다. 이를 통해, 영상 믹서(515)는 탤리 정보를 생성할 수 있다. 탤리 정보는 중계되는 이벤트를 식별하기 위한 정보이며, 일 예로, 어떤 영상이 중계 화면으로 선택되었는지 식별하는 데 이용될 수 있다. 아울러, 영상 믹서(515)가 오버레이 방식을 이용하는 경우, 영상 믹서(515)는 레이어 정보도 생성할 수 있다. 레이어 정보는 각 비디오 이벤트에 대하여 오버레이 이벤트가 존재하는 레이어가 있는 지의 여부를 식별하기 위한 정보이며, 일 예로 중계 화면에 분할 화면이 상위 레이어(Layer 1)에 오버레이되어 있는 지의 여부를 식별하는 데 이용될 수 있다.
한편, 제작 환경(110)은 오디오 콘솔(517)을 더 포함하며, 컴퓨터 시스템(100)은 오디오 콘솔(517)과 연결될 수 있다. 오디오 콘솔(517)은 오디오 콘텐츠를 제작하기 위한 전자 기기일 수 있다. 오디오 콘솔(517)은 어떤 현장에서의 복수의 객체들의 각각에 직접적으로 부착되거나 인접하여 설치되는 복수의 마이크로폰들과 개별적으로 연결되고, 마이크로폰들을 통해 획득되는 오디오 신호들을 기반으로, 오디오 콘텐츠를 제작할 수 있다. 그리고, 컴퓨터 시스템(100)은 오디오 콘텐츠를 송출 프로그램(519)을 통해, 사용자(120)에게 제공할 수 있다. 이 때, 컴퓨터 시스템(100)은 송출 프로그램(519)을 통해 사용자(120)에게 중계되는 이벤트에 대응하여, 오디오 콘텐츠를 렌더링할 수 있다.
도 9a, 도 9b, 도 9c, 도 9d, 도 9e, 도 9f, 도 9g 및 도 9h는 일 실시예에 따른 컴퓨터 시스템(100)의 사용자 인터페이스를 설명하기 위한 예시도들이다.
도 9a, 도 9b, 도 9c, 도 9d, 도 9e, 도 9f, 도 9g 및 도 9h를 참조하면, 컴퓨터 시스템(100)은 사용자 인터페이스를 통해, 적어도 하나의 이벤트 소스와의 연결을 수립할 수 있다. 예를 들면, 컴퓨터 시스템(100)은 두 개의 이벤트 소스들, 예컨대 영상 스튜디오(511) 및 영상 믹서(515)와 연결될 수 있다. 이를 위해, 컴퓨터 시스템(100)은 설정 화면을 표시할 수 있다. 예를 들면, 설정 화면에는, 이벤트 소스들의 각각에 대해 할당되는 소스 영역들, 및 이벤트 소스들 사이의 연결성을 활용하기 위한 연결 영역을 포함할 수 있다. 그리고, 컴퓨터 시스템(100)은 설정 화면을 이용하여, 이벤트 소스들과의 연결을 수립할 수 있다.
구체적으로, 창작자에 의해, 도 9a에 도시된 바와 같이 설정 화면에서 하나의 소스 영역에 하나의 이벤트 소스, 예컨대 영상 스튜디오(511)의 주소 정보가 입력되면, 컴퓨터 시스템(100)은 해당 이벤트 소스와의 연결을 수립할 수 있다. 이 후, 컴퓨터 시스템(100)은 해당 이벤트 소스에서 생성되는 이벤트들에 대한 이벤트 리스트를 확인하고, 도 9b에 도시된 바와 같이 설정 화면에 이벤트 리스트를 표시할 수 있다. 예를 들면, 이벤트 리스트는 영상 믹서(515)의 비디오 입력 리스트가 될 수 있다. 그리고, 창작자에 의해, 도 9c에 도시된 바와 같이 이벤트들의 각각에 대응하여 오디오 렌더링 정보, 예컨대 프리셋이 입력되면, 컴퓨터 시스템(100)은 이벤트들의 각각에 대응하여 입력된 오디오 렌더링 정보를 매칭시킬 수 있다. 이를 통해, 이벤트 리스트에 대응하여, 오디오 렌더링 정보에 대한 오디오 리스트가 매칭될 수 있다. 이 때, 컴퓨터 시스템(100)은 해당 이벤트 소스로부터의 탤리 정보에 기반하여, 이벤트 리스트에서 중계되는 이벤트를 표현할 수 있다. 예를 들면, 영상 믹서(515)의 비디오 입력 1에는 풀샷, 입력 2에는 AA가 입력될 때, 도 9c의 Preset 1에는 해당 방송 프로그램 현장의 한 구석에서 듣는 것과 같은 오디오 렌더링 정보를 매칭하고, Preset 2에는 AA의 바로 앞에서 듣는 것과 같은 오디오 렌더링 정보를 매칭함으로써, 영상 믹서(515)의 전환 효과에 따른 오디오 렌더링 전환이 자동으로 이뤄질 수 있다.
다음으로, 창작자에 의해, 도 9d에 도시된 바와 같이 설정 화면에서 다른 소스 영역에 다른 이벤트 소스, 예컨대 영상 믹서(515)의 주소 정보가 입력되면, 컴퓨터 시스템(100)은 해당 이벤트 소스와의 연결을 수립할 수 있다. 이 후, 컴퓨터 시스템(100)은 해당 이벤트 소스에서 생성되는 이벤트들에 대한 이벤트 리스트를 확인하고, 도 9e에 도시된 바와 같이 설정 화면에 이벤트 리스트를 표시할 수 있다. 그리고, 도 9f 및 도 9g에 도시된 바와 같이, 컴퓨터 시스템(100)은 각 이벤트들에 대응하여 입력된 오디오 렌더링 정보를 매칭시킬 수 있다.
이 때, 연결 영역을 통한 창작자의 요청에 따라, 컴퓨터 시스템(100)은 이벤트 소스들 사이의 연결성을 활용하여, 도 9f에 도시된 바와 같이, 예컨대 연결 스튜디오(511)의 출력과 영상 믹서(515)의 연결 관계를 설정할 수 있다. 도 9f는 왼쪽 이벤트 소스의 출력이 오른쪽 이벤트 소스의 Input 1로 연결되는 것을 설정할 수 있다. 따라서 중계되는 이벤트에 따라 어떤 프리셋을 선택해야하는지 연결성을 기준으로 판단할 수 있다. 예를 들면, 오른쪽 이벤트 소스의 Input 1이 발생한 경우 이는 왼쪽 이벤트 소스의 출력이 송출되고 있는 것이므로 왼쪽 이벤트 소스 중 발생한 이벤트 (Input 1)에 대응되는 오디오 렌더링 정보로 처리할 수 있다. 예를 들어, 영상 믹서(515)가 영상 스튜디오(511)에 연결되는 경우, 연결 영역을 통한 창작자의 요청에 의해, 컴퓨터 시스템(100)은 영상 스튜디오(511)로부터의 중계 화면에 대응하여 오디오 렌더링 정보를 자동으로 매칭시킬 수 있다. 이 후, 창작자에 의해, 도 9g에 도시된 바와 같이 이벤트들의 각각에 대응하여 오디오 렌더링 정보, 예컨대 프리셋이 입력되면, 컴퓨터 시스템(100)은 이벤트들의 각각에 대응하여 입력된 오디오 렌더링 정보를 매칭시킬 수 있다. 이를 통해, 이벤트 리스트에 대응하여, 오디오 렌더링 정보에 대한 오디오 리스트가 매칭될 수 있다. 그리고, 컴퓨터 시스템(100)은, 도 9g 또는 도 9h에 도시된 바와 같이 해당 이벤트 소스로부터의 탤리 정보 및 레이어 정보에 기반하여, 이벤트 리스트에서 중계되는 이벤트를 표현할 수 있다.
도 10은 다양한 실시예들에 따른 컴퓨터 시스템(100)의 내부 구성을 도시하는 블록도이다.
도 10을 참조하면, 컴퓨터 시스템(100)은 연결 단자(1010), 통신 모듈(1020), 입력 모듈(1030), 표시 모듈(1040), 오디오 모듈(1050), 메모리(1060), 또는 프로세서(1070) 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 컴퓨터 시스템(100)의 구성 요소들 중 적어도 어느 하나가 생략될 수 있으며, 적어도 하나의 다른 구성 요소가 추가될 수 있다. 어떤 실시예들에서, 컴퓨터 시스템(100)의 구성 요소들 중 적어도 어느 두 개가 하나의 통합된 회로로 구현될 수 있다. 어떤 실시예들에서, 컴퓨터 시스템(100)의 구성 요소들은 단일 장치로 구현되거나, 복수의 장치들에 분산되어 구현될 수 있다.
연결 단자(1010)는 컴퓨터 시스템(100)에서 외부 장치와 물리적으로 연결될 수 있다. 이를 위해, 연결 단자(1010)는 적어도 하나의 커넥터를 포함할 수 있다. 예를 들면, 커넥터는 HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터 중 적어도 어느 하나를 포함할 수 있다.
통신 모듈(1020)은 컴퓨터 시스템(100)에서 외부 장치와 통신을 수행할 수 있다. 통신 모듈(1020)은 컴퓨터 시스템(100)과 외부 장치 간 통신 채널을 수립하고, 통신 채널을 통해 외부 장치와 통신을 수행할 수 있다. 예를 들면, 외부 장치는 제작 환경(110)의 전자 기기 또는 사용자(120) 중 적어도 하나를 포함할 수 있다. 통신 모듈(1020)은 유선 통신 모듈 또는 무선 통신 모듈 중 적어도 하나를 포함할 수 있다. 유선 통신 모듈은 연결 단자(1010)를 통해 외부 장치와 유선으로 연결되어, 외부 장치와 유선으로 통신할 수 있다. 무선 통신 모듈은 근거리 통신 모듈 또는 원거리 통신 모듈 중 적어도 어느 하나를 포함할 수 있다. 근거리 통신 모듈은 외부 장치와 근거리 통신 방식으로 통신할 수 있다. 예를 들면, 근거리 통신 방식은, 블루투스(Bluetooth), 와이파이 다이렉트(WiFi direct), 또는 적외선 통신(IrDA; infrared data association) 중 적어도 어느 하나를 포함할 수 있다. 원거리 통신 모듈은 외부 장치와 원거리 통신 방식으로 통신할 수 있다. 여기서, 원거리 통신 모듈은 네트워크를 통해 외부 장치와 통신할 수 있다. 예를 들면, 네트워크는 셀룰러 네트워크, 인터넷, 또는 LAN(local area network)이나 WAN(wide area network)과 같은 컴퓨터 네트워크 중 적어도 어느 하나를 포함할 수 있다.
입력 모듈(1030)은 컴퓨터 시스템(100)의 적어도 하나의 구성 요소에 사용될 신호를 입력할 수 있다. 입력 모듈(1030)은, 창작자가 컴퓨터 시스템(100)에 직접적으로 신호를 입력하도록 구성되는 입력 장치, 주변 환경을 감지하여 신호를 발생하도록 구성되는 센서 장치, 또는 영상을 촬영하여, 영상 데이터를 생성하도록 구성되는 카메라 모듈 중 적어도 어느 하나를 포함할 수 있다. 예를 들면, 입력 장치는 마이크로폰(microphone), 마우스(mouse), 또는 키보드(keyboard) 중 적어도 어느 하나를 포함할 수 있다. 어떤 실시예에서, 센서 장치는 터치를 감지하도록 설정된 터치 회로(touch circuitry) 또는 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로 중 적어도 어느 하나를 포함할 수 있다.
표시 모듈(1040)은 정보를 시각적으로 표시할 수 있다. 예를 들면, 표시 모듈(1040)은 디스플레이, 홀로그램 장치, 또는 프로젝터 중 적어도 어느 하나를 포함할 수 있다. 일 예로, 표시 모듈(1040)은 입력 모듈(1030)의 터치 회로 또는 센서 회로 중 적어도 어느 하나와 조립되어, 터치 스크린으로 구현될 수 있다.
오디오 모듈(1050)은 정보를 청각적으로 재생할 수 있다. 예를 들면, 오디오 모듈(1050)은 스피커, 리시버, 이어폰 또는 헤드폰, 오디오 인터페이스, IP 기반의 오디오 네트워크 시스템 중 적어도 어느 하나를 포함할 수 있다.
메모리(1060)는 컴퓨터 시스템(100)의 적어도 하나의 구성 요소에 의해 사용되는 다양한 데이터를 저장할 수 있다. 예를 들면, 메모리(1060)는 휘발성 메모리 또는 비휘발성 메모리 중 적어도 어느 하나를 포함할 수 있다. 데이터는 적어도 하나의 프로그램 및 이와 관련된 입력 데이터 또는 출력 데이터를 포함할 수 있다. 프로그램은 메모리(1060)에 적어도 하나의 명령을 포함하는 소프트웨어로서 저장될 수 있다. 메모리(1060)는 오디오 파일들과 그에 대한 메타 데이터를 생성하기 위한 제작 툴을 저장할 수 있다.
프로세서(1070)는 메모리(1060)의 프로그램을 실행하여, 컴퓨터 시스템(100)의 적어도 하나의 구성 요소를 제어할 수 있다. 이를 통해, 프로세서(1070)는 데이터 처리 또는 연산을 수행할 수 있다. 이 때 프로세서(1070)는 메모리(1060)에 저장된 명령을 실행할 수 있다.
다양한 실시예들에 따르면, 프로세서(1070)는 이벤트 리스트, 오디오 리스트, 및 현재 이벤트 상태에 대한 이벤트 상태 정보를 수신할 수 있다. 이벤트 리스트는 특정 현장에 대한 복수의 이벤트들로 이루어질 수 있다. 여기서, 이벤트들은 동일한 현장에 대한 상이한 뷰들을 각각 나타낼 수 있다. 바꿔 말하면, 동일한 현장에 대해, 다수의 이벤트들이 동시에 생성될 수 있다. 이벤트들의 타입들로는, 예컨대 비디오 장면, 조명, 불꽃, 포그, 또는 다중 언택트 화면 중 적어도 하나가 있을 수 있다. 오디오 리스트는 이벤트들의 각각에 매칭되는 오디오 렌더링 정보로 이루어질 수 있다. 오디오 렌더링 정보는 해당 이벤트와 연관된 공간적 오디오 속성을 나타내며, 프리셋 형태로 구성될 수 있다. 어떤 실시예들에서, 이벤트들의 각각은, 해당 이벤트에 대해 오디오 콘텐츠를 재생하기 위한 오디오 매칭 이벤트, 또는 해당 이벤트에 대해 오디오 콘텐츠가 재생하지 않기 위한 설정된 비(non)-오디오 매칭 이벤트로 설정될 수 있다. 현재 이벤트 상태는 현재 중계되는 이벤트의 상태를 나타낼 수 있다. 예를 들면, 이벤트 상태 정보는 탤리 정보 또는 레이어 정보 중 적어도 하나를 포함할 수 있다.
다양한 실시예들에 따르면, 프로세서(1070)는 현재 이벤트 상태에 기반하여, 이벤트들 중 하나에 매칭되는 오디오 렌더링 정보에 따라, 현재 오디오 콘텐츠를 출력할 수 있다. 이 때, 프로세서(1070)는 제작 환경(110)으로부터 현재 오디오 콘텐츠를 수신하고, 이를 렌더링할 수 있다. 현재 이벤트 상태가 이벤트들 중 하나와 관련되면, 프로세서(1070)는 현재 이벤트에 매칭되는 오디오 렌더링 정보에 따라, 현재 오디오 콘텐츠를 출력할 수 있다. 한편, 현재 이벤트가 이벤트들 중 적어도 두 개와 관련되면, 프로세서(1070)는 미리 정해진 우선 순위에 기반하여, 관련된 이벤트들 중 하나에 매칭되는 오디오 렌더링 정보에 따라, 현재 오디오 콘텐츠를 출력할 수 있다. 이 때, 우선 순위는 관련된 이벤트들의 각각에 대한 오디오 매칭 여부, 레이어 위치, 또는 이벤트 소스 중 적어도 하나에 따라 정해질 수 있다.
일 실시예에 따르면, 프로세서(1070)는 관련된 이벤트들 중에서 오디오 매칭 이벤트를 기반으로, 오디오 렌더링 정보를 결정할 수 있다. 다른 실시예에 따르면, 프로세서(1070)는 레이어 정보에 기반하여, 관련된 이벤트들 중에서 상위 레이어의 이벤트에 매칭되는 오디오 렌더링 정보를 결정할 수 있다. 또 다른 실시예에 따르면, 컴퓨터 시스템(100)에 복수의 이벤트 소스들이 연결된 경우, 프로세서(1070)는 이벤트 소스들 사이의 연결 관계에 기반하여, 이벤트 소스들 중 하나를 결정할 수 있다. 이 때, 프로세서(1070)는 미리 정해진 우선 순위에 기반하여, 또는 디폴트(default)로, 이벤트 소스들 중 하나를 결정할 수 있다. 이 후, 프로세서(1070)는 결정된 이벤트 소스로부터의 이벤트에 매칭되는 오디오 렌더링 정보를 결정할 수 있다.
도 11은 다양한 실시예들에 따른 컴퓨터 시스템(100)의 동작 절차를 도시하는 순서도이다.
도 11을 참조하면, 컴퓨터 시스템(100)은 1110 단계에서, 이벤트 리스트, 오디오 리스트, 및 현재 이벤트 상태에 대한 이벤트 상태 정보를 수신할 수 있다. 이 때, 프로세서(1070)는 통신 모듈(1020)을 통해, 적어도 하나의 이벤트 소스로부터 이벤트 리스트를 미리 수신할 수 있다. 그리고, 프로세서(1070)는 통신 모듈(1020) 또는 입력 모듈(1030)을 통해, 창작자로부터 오디오 리스트를 미리 수신할 수 있다. 또한, 프로세서(1070)는 통신 모듈(1020)을 통해, 이벤트 소스로부터 실시간으로 현재 이벤트 상태를 수신할 수 있다.
이벤트 리스트는 특정 현장에 대한 복수의 이벤트들로 이루어질 수 있다. 여기서, 이벤트들은 동일한 현장에 대한 상이한 뷰들을 각각 나타낼 수 있다. 바꿔 말하면, 동일한 현장에 대해, 다수의 이벤트들이 동시에 생성될 수 있다. 이벤트들의 타입들로는, 예컨대 비디오 장면, 조명, 불꽃, 포그, 또는 다중 언택트 화면 중 적어도 하나가 있을 수 있다. 오디오 리스트는 이벤트들의 각각에 매칭되는 오디오 렌더링 정보로 이루어질 수 있다. 오디오 렌더링 정보는 해당 이벤트와 연관된 공간적 오디오 속성을 나타내며, 프리셋 형태로 구성될 수 있다. 어떤 실시예들에서, 이벤트들의 각각은, 해당 이벤트에 대해 오디오 콘텐츠를 재생하기 위한 오디오 매칭 이벤트, 또는 해당 이벤트에 대해 오디오 콘텐츠가 재생하지 않기 위한 설정된 비(non)-오디오 매칭 이벤트로 설정될 수 있다. 예를 들면, 프로세서(1070)는 도 9a, 도 9b, 도 9c, 도 9d, 도 9e, 도 9f, 도 9g 및 도 9h에 도시된 바와 같은 사용자 인터페이스를 통해, 이벤트 소스들과 연결을 수립하고, 이벤트들의 각각에 오디오 렌더링 정보를 매칭시킬 수 있다. 현재 이벤트 상태는 현재 중계되는 이벤트의 상태를 나타낼 수 있다. 예를 들면, 이벤트 상태 정보는 탤리 정보 또는 레이어 정보 중 적어도 하나를 포함할 수 있다.
다음으로, 컴퓨터 시스템(100)은 1120 단계에서 현재 이벤트 상태에 기반하여, 이벤트들 중 하나에 매칭되는 오디오 렌더링 정보에 따라, 현재 오디오 콘텐츠를 출력할 수 있다. 이 때, 프로세서(1070)는 통신 모듈(1020)을 통해, 제작 환경(110)으로부터 현재 오디오 콘텐츠를 수신하고, 이를 렌더링할 수 있다. 현재 이벤트 상태가 이벤트들 중 하나와 관련되면, 프로세서(1070)는 현재 이벤트에 매칭되는 오디오 렌더링 정보에 따라, 현재 오디오 콘텐츠를 출력할 수 있다. 한편, 현재 이벤트가 이벤트들 중 적어도 두 개와 관련되면, 프로세서(1070)는 미리 정해진 우선 순위에 기반하여, 관련된 이벤트들 중 하나에 매칭되는 오디오 렌더링 정보에 따라, 현재 오디오 콘텐츠를 출력할 수 있다. 이에 대해, 도 12를 참조하여, 보다 상세하게 후술할 것이다.
도 12는 도 11의 현재 오디오 콘텐츠를 출력하는 단계(1120 단계)의 세부 절차를 도시하는 순서도이다.
도 12를 참조하면, 컴퓨터 시스템(100)은 1221 단계에서 현재 이벤트 상태를 확인할 수 있다. 이 때, 프로세서(1070)는 적어도 하나의 이벤트 소스로부터 수신되는 이벤트 상태 정보를 분석하여, 현재 이벤트 상태를 확인할 수 있다. 여기서, 컴퓨터 시스템(100)에 복수의 이벤트 소스들이 연결된 경우, 프로세서(1070)는 이벤트 소스들의 각각으로부터 수신되는 이벤트 상태 정보를 함께 분석하여, 현재 이벤트 상태를 확인할 수 있다. 이를 통해, 컴퓨터 시스템(100)은 1123 단계에서 현재 이벤트 상태가 복수의 이벤트들과 관련되는 지의 여부를 판단할 수 있다.
이 때, 프로세서(1070)는 현재 중계되는 이벤트를 식별할 수 있다. 예를 들면, 컴퓨터 시스템(100)이 영상 스튜디오(511)에 연결된 경우, 프로세서(1070)는 영상 스튜디오(511)로부터의 탤리 정보를 이용하여, 영상 스튜디오(511)에서 생성되는 이벤트들 중에서 현재 중계되는 이벤트를 식별할 수 있다. 그리고, 프로세서(1070)는 현재 중계되는 이벤트의 변경 여부를 확인할 수 있다. 예를 들면, 컴퓨터 시스템(100)이 영상 믹서(515)에도 연결된 경우, 프로세서(1070)는 영상 믹서(515)로부터의 탤리 정보 또는 레이어 정보 중 적어도 하나를 이용하여, 현재 중계되는 이벤트의 변경 여부를 확인할 수 있다. 일 예로, 프로세서(1070)는 영상 믹서(515)로부터의 탤리 정보를 이용하여, 현재 중계되는 이벤트를 대신하여, 영상 믹서(515)에서 생성되는 다른 이벤트, 예컨대 분할 화면 또는 이미지가 삽입되어 있는 지의 여부를 확인할 수 있다. 다른 예로, 프로세서(1070)는 영상 믹서(515)로부터의 탤리 정보 및 레이어 정보를 이용하여, 현재 중계되는 이벤트에 영상 믹서(515)에서 생성되는 다른 이벤트, 예컨대 분할 화면 또는 이미지가 오버레이되어 있는 지의 여부를 확인할 수 있다.
1123 단계에서 현재 이벤트 상태가 하나의 이벤트와 관련이 있는 것으로 판단되면, 컴퓨터 시스템(100)은 1125 단계에서 현재 이벤트에 매칭되는 오디오 렌더링 정보를 결정할 수 있다. 현재 이벤트가 현재 중계되는 이벤트인 경우, 프로세서(1070)는 중계되는 이벤트에 매칭되는 오디오 렌더링 정보를 결정할 수 있다. 또는, 현재 이벤트가 현재 중계되는 이벤트를 대신하여 삽입된 다른 이벤트인 경우, 프로세서(1070)는 다른 이벤트에 매칭되는 오디오 렌더링 정보를 결정할 수 있다.
한편, 1123 단계에서 현재 이벤트 상태가 복수의 이벤트들과 관련이 있는 것으로 판단되면, 컴퓨터 시스템(100)은 1127 단계에서 미리 정해진 우선 순위에 따라, 관련된 이벤트들 중 하나에 매칭되는 오디오 렌더링 정보를 결정할 수 있다. 일 실시예에 따르면, 프로세서(1070)는 관련된 이벤트들 중에서 오디오 매칭 이벤트를 기반으로, 오디오 렌더링 정보를 결정할 수 있다. 다른 실시예에 따르면, 프로세서(1070)는 레이어 정보에 기반하여, 관련된 이벤트들 중에서 상위 레이어의 이벤트에 매칭되는 오디오 렌더링 정보를 결정할 수 있다. 또 다른 실시예에 따르면, 컴퓨터 시스템(100)에 복수의 이벤트 소스들이 연결된 경우, 프로세서(1070)는 이벤트 소스들 사이의 연결 관계에 기반하여, 이벤트 소스들 중 하나를 결정할 수 있다. 이 때, 프로세서(1070)는 미리 정해진 우선 순위에 기반하여, 또는 디폴트로, 이벤트 소스들 중 하나를 결정할 수 있다. 이 후, 프로세서(1070)는 결정된 이벤트 소스로부터의 이벤트에 매칭되는 오디오 렌더링 정보를 결정할 수 있다.
이를 통해, 컴퓨터 시스템(100)은 1129 단계에서 결정된 오디오 렌더링 정보에 따라, 현재 오디오 콘텐츠를 출력할 수 있다. 즉, 프로세서(1070)는 결정된 오디오 렌더링 정보에 따라, 현재 오디오 콘텐츠를 렌더링하고, 이로써 사용자(120)에게 렌더링된 오디오 콘텐츠를 제공할 수 있다. 일 실시예에 따르면, 이벤트들은 방송 프로그램 현장에서 상이한 뷰들로 촬영되는 비디오 장면들일 수 있다. 도 3의 (a)와 같은 풀샷에 대해, 프로세서(1070)는, 사용자(120)가 해당 방송 프로그램 현장의 한 구석에서 듣는 것과 같이 사운드를 경험할 수 있도록, 오디오 콘텐츠를 렌더링할 수 있다. 도 3의 (b) 또는 (c)에 도시된 바와 같은 특정 인물의 클로즈업샷에 대해, 프로세서(1070)는, 사용자(120)가 해당 인물의 바로 앞에서 듣는 것과 같이 사운드를 경험할 수 있도록, 오디오 콘텐츠를 렌더링할 수 있다. 여기서, 컴퓨터 시스템(100)은 해당 인물과 주변 인물 간의 위치 관계가 표현되도록, 오디오 콘텐츠를 렌더링할 수 있다. 도 3의 (d)에 도시된 바와 같은 복수의 인물들의 클로즈업샷들로 구성되는 분할 화면에 대해, 프로세서(1070)는, 분할 화면 내에서 클로즈업샷들의 위치들에 따라 인물들이 개별적으로 파악되도록, 오디오 콘텐츠를 렌더링할 수 있다. 다른 실시예들에 따르면, 이벤트들은 조명 또는 불꽃일 수 있으며, 이러한 경우, 프로세서(1070)는 조명 또는 불꽃의 색상에 매칭되는 오디오 렌더링 정보에 따라, 현재 오디오 콘텐츠를 렌더링할 수 있다.
다양한 실시예들에 따르면, 컴퓨터 시스템(100)은 이벤트 맞춤형 오디오 콘텐츠를 렌더링할 수 있다. 이를 위해, 시각적 콘텐츠의 상이한 이벤트들에 상이한 오디오 렌더링 정보가 매칭될 수 있다. 그리고, 컴퓨터 시스템(100)은 이벤트들 중 하나에 매칭되는 오디오 렌더링 정보에 따라 오디오 콘텐츠를 렌더링할 수 있다. 이 때, 컴퓨터 시스템(100)은 현재 중계되는 이벤트에 매칭되는 오디오 렌더링 정보에 따라 현재 오디오 콘텐츠를 공간적으로 처리함으로써, 사용자(120)를 위해 현장감을 실현할 수 있다. 이로써, 사용자(120)는 중계되는 이벤트와 그에 맞게 렌더링된 오디오 콘텐츠를 이용함에 따라, 그 현장에 있는 것과 같은 현장감을 느낄 수 있을 것이다. 즉, 컴퓨터 시스템(100)은 사용자(120)의 시각적 콘텐츠에 대한 몰입감을 향상시킬 수 있다.
다양한 실시예들에 따른 컴퓨터 시스템(100)에 의한 방법은, 복수의 이벤트들에 대한 이벤트 리스트, 이벤트들의 각각에 매칭되는 오디오 렌더링 정보에 대한 오디오 리스트, 및 현재 이벤트 상태에 대한 이벤트 상태 정보를 수신하는 단계(1110 단계), 및 현재 이벤트 상태에 기반하여, 이벤트들 중 하나에 매칭되는 오디오 렌더링 정보에 따라, 현재 오디오 콘텐츠를 출력하는 단계(1120 단계)를 포함할 수 있다.
다양한 실시예들에 따르면, 현재 오디오 콘텐츠를 출력하는 단계(1120 단계)는, 현재 이벤트 상태가 이벤트들 중 적어도 두 개와 관련되면(1123 단계), 미리 정해진 우선 순위에 기반하여, 관련된 이벤트들 중 하나에 매칭되는 오디오 렌더링 정보를 결정하는 단계(1127 단계), 및 결정된 오디오 렌더링 정보에 따라 현재 오디오 콘텐츠를 출력하는 단계(1129 단계)를 포함할 수 있다.
다양한 실시예들에 따르면, 이벤트들의 각각은, 오디오 매칭 이벤트 또는 비-오디오 매칭 이벤트일 수 있다.
다양한 실시예들에 따르면, 관련된 이벤트들 중 하나에 매칭되는 오디오 렌더링 정보를 결정하는 단계(1227 단계)는, 관련된 이벤트들 중에서 오디오 매칭 이벤트를 기반으로, 관련된 이벤트들 중 하나에 매칭되는 오디오 렌더링 정보를 결정하는 단계를 포함할 수 있다.
다양한 실시예들에 따르면, 이벤트 상태 정보는, 관련된 이벤트들의 레이어 정보를 포함할 수 있다.
다양한 실시예들에 따르면, 관련된 이벤트들 중 하나에 매칭되는 오디오 렌더링 정보를 결정하는 단계(1227 단계)는, 레이어 정보에 기반하여, 관련된 이벤트들 중에서 상위 레이어의 이벤트에 매칭되는 오디오 렌더링 정보를 결정하는 단계를 포함할 수 있다.
다양한 실시예들에 따르면, 이벤트 상태 정보는, 이벤트들 중 적어도 하나를 지시하는 탤리 정보를 포함할 수 있다.
다양한 실시예들에 따르면, 현재 오디오 콘텐츠를 출력하는 단계(1120 단계)는, 복수의 이벤트 소스들이 연결되어 있으면, 이벤트 소스들 사이의 연결 관계에 기반하여, 이벤트 소스들 중 하나를 결정하는 단계, 및 결정된 이벤트 소스로부터의 이벤트에 매칭되는 오디오 렌더링 정보에 따라, 현재 오디오 콘텐츠를 출력하는 단계를 포함할 수 있다.
다양한 실시예들에 따르면, 이벤트 소스들 중 하나를 결정하는 단계는, 미리 정해진 우선 순위에 기반하여, 이벤트 소스들 중 하나를 결정하는 단계, 또는 이벤트 소스들 중 하나를 디폴트로 결정하는 단계를 포함할 수 있다.
다양한 실시예들에 따르면, 이벤트들은, 비디오 장면, 조명, 불꽃, 포그, 또는 다중 언택트 화면 중 적어도 하나를 포함할 수 있다.
다양한 실시예들에 따르면, 이벤트들의 각각에 매칭되는 오디오 렌더링 정보는, 해당 이벤트와 연관되어, 출력하기 위한 오디오 콘텐츠를 공간적으로 처리하는 데 이용되는 공간적 오디오 속성을 나타낼 수 있다.
다양한 실시예들에 따른 컴퓨터 시스템(100)은, 메모리(1060), 통신 모듈(1020), 및 메모리(1060) 및 통신 모듈(1020)과 각각 연결되고, 메모리(1060)에 저장된 적어도 하나의 명령을 실행하도록 구성된 프로세서(1070)를 포함할 수 있다.
다양한 실시예들에 따르면, 프로세서(1070)는, 복수의 이벤트들에 대한 이벤트 리스트, 이벤트들의 각각에 매칭되는 오디오 렌더링 정보에 대한 오디오 리스트, 및 현재 이벤트 상태에 대한 이벤트 상태 정보를 수신하고, 현재 이벤트 상태에 기반하여, 이벤트들 중 하나에 매칭되는 오디오 렌더링 정보에 따라, 현재 오디오 콘텐츠를 출력하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(1070)는, 현재 이벤트 상태가 이벤트들 중 적어도 두 개와 관련되면, 미리 정해진 우선 순위에 기반하여, 관련된 이벤트들 중 하나에 매칭되는 오디오 렌더링 정보를 결정하고, 결정된 오디오 렌더링 정보에 따라 현재 오디오 콘텐츠를 출력하도록 구성될 수 있다.
다양한 실시예들에 따르면, 이벤트들의 각각은, 오디오 매칭 이벤트 또는 비-오디오 매칭 이벤트일 수 있다.
다양한 실시예들에 따르면, 프로세서(1070)는, 관련된 이벤트들 중에서 오디오 매칭 이벤트를 기반으로, 관련된 이벤트들 중 하나에 매칭되는 오디오 렌더링 정보를 결정하도록 구성될 수 있다.
다양한 실시예들에 따르면, 이벤트 상태 정보는, 관련된 이벤트들의 레이어 정보를 포함할 수 있다.
다양한 실시예들에 따르면, 프로세서(1070)는, 레이어 정보에 기반하여, 관련된 이벤트들 중에서 상위 레이어의 이벤트에 매칭되는 오디오 렌더링 정보를 결정하도록 구성될 수 있다.
다양한 실시예들에 따르면, 이벤트 상태 정보는, 이벤트들 중 적어도 하나를 지시하는 탤리 정보를 포함할 수 있다.
다양한 실시예들에 따르면, 프로세서(1070)는, 복수의 이벤트 소스들이 연결되어 있으면, 이벤트 소스들 사이의 연결 관계에 기반하여, 이벤트 소스들 중 하나를 결정하고, 결정된 이벤트 소스로부터의 이벤트에 매칭되는 오디오 렌더링 정보에 따라, 현재 오디오 콘텐츠를 출력하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(1070)는, 미리 정해진 우선 순위에 기반하여, 이벤트 소스들 중 하나를 결정하거나, 이벤트 소스들 중 하나를 디폴트로 결정하도록 구성될 수 있다.
다양한 실시예들에 따르면, 이벤트들은, 비디오 장면, 조명, 불꽃, 포그, 또는 다중 언택트 화면 중 적어도 하나를 포함할 수 있다.
다양한 실시예들에 따르면, 이벤트들의 각각에 매칭되는 오디오 렌더링 정보는, 해당 이벤트와 연관되어, 출력하기 위한 오디오 콘텐츠를 공간적으로 처리하는 데 이용되는 공간적 오디오 속성을 나타낼 수 있다.
이상에서 설명된 장치는 하드웨어 구성 요소, 소프트웨어 구성 요소, 및/또는 하드웨어 구성 요소 및 소프트웨어 구성 요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성 요소는, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성 요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
다양한 실시예들에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이 때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 그리고, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성 요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성 요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성 요소를 다른 구성 요소와 구분하기 위해 사용될 뿐 해당 구성 요소들을 한정하지 않는다. 어떤(예: 제 1) 구성 요소가 다른(예: 제 2) 구성 요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성 요소가 상기 다른 구성 요소에 직접적으로 연결되거나, 다른 구성 요소(예: 제 3 구성 요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
다양한 실시예들에 따르면, 기술한 구성 요소들의 각각의 구성 요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성 요소들 중 하나 이상의 구성 요소들 또는 단계들이 생략되거나, 또는 하나 이상의 다른 구성 요소들 또는 단계들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성 요소들(예: 모듈 또는 프로그램)은 하나의 구성 요소로 통합될 수 있다. 이런 경우, 통합된 구성 요소는 복수의 구성 요소들 각각의 구성 요소의 하나 이상의 기능들을 통합 이전에 복수의 구성 요소들 중 해당 구성 요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 단계들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 단계들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 단계들이 추가될 수 있다.

Claims (20)

  1. 컴퓨터 시스템에 의한 방법에 있어서,
    복수의 이벤트들에 대한 이벤트 리스트, 상기 이벤트들의 각각에 매칭되는 오디오 렌더링 정보에 대한 오디오 리스트, 및 현재 이벤트 상태에 대한 이벤트 상태 정보를 수신하는 단계; 및
    상기 현재 이벤트 상태에 기반하여, 상기 이벤트들 중 하나에 매칭되는 오디오 렌더링 정보에 따라, 현재 오디오 콘텐츠를 출력하는 단계
    를 포함하는,
    방법.
  2. 제 1 항에 있어서,
    상기 현재 오디오 콘텐츠를 출력하는 단계는,
    상기 현재 이벤트 상태가 상기 이벤트들 중 적어도 두 개와 관련되면, 미리 정해진 우선 순위에 기반하여, 상기 관련된 이벤트들 중 하나에 매칭되는 오디오 렌더링 정보를 결정하는 단계; 및
    상기 결정된 오디오 렌더링 정보에 따라 상기 현재 오디오 콘텐츠를 출력하는 단계
    를 포함하는,
    방법.
  3. 제 2 항에 있어서,
    상기 이벤트들의 각각은,
    오디오 매칭 이벤트 또는 비-오디오 매칭 이벤트이고,
    상기 관련된 이벤트들 중 하나에 매칭되는 오디오 렌더링 정보를 결정하는 단계는,
    상기 관련된 이벤트들 중에서 상기 오디오 매칭 이벤트를 기반으로, 상기 관련된 이벤트들 중 하나에 매칭되는 오디오 렌더링 정보를 결정하는 단계
    를 포함하는,
    방법.
  4. 제 2 항에 있어서,
    상기 이벤트 상태 정보는,
    상기 관련된 이벤트들의 레이어 정보를 포함하고,
    상기 관련된 이벤트들 중 하나에 매칭되는 오디오 렌더링 정보를 결정하는 단계는,
    상기 레이어 정보에 기반하여, 상기 관련된 이벤트들 중에서 상위 레이어의 이벤트에 매칭되는 오디오 렌더링 정보를 결정하는 단계
    를 포함하는,
    방법.
  5. 제 1 항에 있어서,
    상기 이벤트 상태 정보는,
    상기 이벤트들 중 적어도 하나를 지시하는 탤리(tally) 정보를 포함하는,
    방법.
  6. 제 1 항에 있어서,
    상기 현재 오디오 콘텐츠를 출력하는 단계는,
    복수의 이벤트 소스들이 연결되어 있으면, 상기 이벤트 소스들 사이의 연결 관계에 기반하여, 상기 이벤트 소스들 중 하나를 결정하는 단계; 및
    상기 결정된 이벤트 소스로부터의 이벤트에 매칭되는 오디오 렌더링 정보에 따라, 상기 현재 오디오 콘텐츠를 출력하는 단계
    를 포함하는,
    방법.
  7. 제 6 항에 있어서,
    상기 이벤트 소스들 중 하나를 결정하는 단계는,
    미리 정해진 우선 순위에 기반하여, 상기 이벤트 소스들 중 하나를 결정하는 단계; 또는
    상기 이벤트 소스들 중 하나를 디폴트로 결정하는 단계
    를 포함하는,
    방법.
  8. 제 1 항에 있어서,
    상기 이벤트들은,
    비디오 장면, 조명, 불꽃, 포그(fog), 또는 다중 언택트 화면 중 적어도 하나를 포함하는,
    방법.
  9. 제 1 항에 있어서,
    상기 이벤트들의 각각에 매칭되는 오디오 렌더링 정보는,
    해당 이벤트와 연관되어, 출력하기 위한 오디오 콘텐츠를 공간적으로 처리하는 데 이용되는 공간적 오디오 속성을 나타내는,
    방법.
  10. 제 1 항 내지 제 9 항 중 어느 한 항의 방법을 상기 컴퓨터 시스템에 실행시키기 위해 비-일시적인 컴퓨터 판독 가능한 기록 매체에 저장되는 컴퓨터 프로그램.
  11. 제 1 항 내지 제 9 항 중 어느 한 항의 방법을 상기 컴퓨터 시스템에 실행시키기 위한 프로그램이 기록되어 있는 비-일시적인 컴퓨터 판독 가능한 기록 매체.
  12. 컴퓨터 시스템에 있어서,
    메모리;
    통신 모듈; 및
    상기 메모리 및 상기 통신 모듈과 각각 연결되고, 상기 메모리에 저장된 적어도 하나의 명령을 실행하도록 구성된 프로세서를 포함하고,
    상기 프로세서는,
    복수의 이벤트들에 대한 이벤트 리스트, 상기 이벤트들의 각각에 매칭되는 오디오 렌더링 정보에 대한 오디오 리스트, 및 현재 이벤트 상태에 대한 이벤트 상태 정보를 수신하고,
    상기 현재 이벤트 상태에 기반하여, 상기 이벤트들 중 하나에 매칭되는 오디오 렌더링 정보에 따라, 현재 오디오 콘텐츠를 출력하도록 구성되는,
    컴퓨터 시스템.
  13. 제 12 항에 있어서,
    상기 프로세서는,
    상기 현재 이벤트 상태가 상기 이벤트들 중 적어도 두 개와 관련되면, 미리 정해진 우선 순위에 기반하여, 상기 관련된 이벤트들 중 하나에 매칭되는 오디오 렌더링 정보를 결정하고,
    상기 결정된 오디오 렌더링 정보에 따라 상기 현재 오디오 콘텐츠를 출력하도록 구성되는,
    컴퓨터 시스템.
  14. 제 13 항에 있어서,
    상기 이벤트들의 각각은,
    오디오 매칭 이벤트 또는 비-오디오 매칭 이벤트이고,
    상기 프로세서는,
    상기 관련된 이벤트들 중에서 상기 오디오 매칭 이벤트를 기반으로, 상기 관련된 이벤트들 중 하나에 매칭되는 오디오 렌더링 정보를 결정하도록 구성되는,
    컴퓨터 시스템.
  15. 제 13 항에 있어서,
    상기 이벤트 상태 정보는,
    상기 관련된 이벤트들의 레이어 정보를 포함하고,
    상기 프로세서는,
    상기 레이어 정보에 기반하여, 상기 관련된 이벤트들 중에서 상위 레이어의 이벤트에 매칭되는 오디오 렌더링 정보를 결정하도록 구성되는,
    컴퓨터 시스템.
  16. 제 12 항에 있어서,
    상기 이벤트 상태 정보는,
    상기 이벤트들 중 적어도 하나를 지시하는 탤리 정보를 포함하는,
    컴퓨터 시스템.
  17. 제 12 항에 있어서,
    상기 프로세서는,
    복수의 이벤트 소스들이 연결되어 있으면, 상기 이벤트 소스들 사이의 연결 관계에 기반하여, 상기 이벤트 소스들 중 하나를 결정하고,
    상기 결정된 이벤트 소스로부터의 이벤트에 매칭되는 오디오 렌더링 정보에 따라, 상기 현재 오디오 콘텐츠를 출력하도록 구성되는,
    컴퓨터 시스템.
  18. 제 17 항에 있어서,
    상기 프로세서는,
    미리 정해진 우선 순위에 기반하여, 상기 이벤트 소스들 중 하나를 결정하거나,
    상기 이벤트 소스들 중 하나를 디폴트로 결정하도록 구성되는,
    컴퓨터 시스템.
  19. 제 12 항에 있어서,
    상기 이벤트들은,
    비디오 장면, 조명, 불꽃, 포그, 또는 다중 언택트 화면 중 적어도 하나를 포함하는,
    컴퓨터 시스템.
  20. 제 12 항에 있어서,
    상기 이벤트들의 각각에 매칭되는 오디오 렌더링 정보는,
    해당 이벤트와 연관되어, 출력하기 위한 오디오 콘텐츠를 공간적으로 처리하는 데 이용되는 공간적 오디오 속성을 나타내는,
    컴퓨터 시스템.
KR1020210120507A 2021-09-09 2021-09-09 이벤트 맞춤형 오디오 콘텐츠를 렌더링하기 위한 컴퓨터 시스템 및 그의 방법 KR20230037329A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210120507A KR20230037329A (ko) 2021-09-09 2021-09-09 이벤트 맞춤형 오디오 콘텐츠를 렌더링하기 위한 컴퓨터 시스템 및 그의 방법
JP2022128606A JP7429266B2 (ja) 2021-09-09 2022-08-12 イベントカスタム型のオーディオコンテンツをレンダリングするためのコンピュータシステムおよび方法
US17/939,306 US20230072261A1 (en) 2021-09-09 2022-09-07 Computer system for rendering event-customized audio content, and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210120507A KR20230037329A (ko) 2021-09-09 2021-09-09 이벤트 맞춤형 오디오 콘텐츠를 렌더링하기 위한 컴퓨터 시스템 및 그의 방법

Publications (1)

Publication Number Publication Date
KR20230037329A true KR20230037329A (ko) 2023-03-16

Family

ID=85385456

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210120507A KR20230037329A (ko) 2021-09-09 2021-09-09 이벤트 맞춤형 오디오 콘텐츠를 렌더링하기 위한 컴퓨터 시스템 및 그의 방법

Country Status (3)

Country Link
US (1) US20230072261A1 (ko)
JP (1) JP7429266B2 (ko)
KR (1) KR20230037329A (ko)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3687942B2 (ja) * 1996-11-15 2005-08-24 株式会社日立国際電気 画像編集方法及び画像編集装置
US7006154B2 (en) 2001-02-21 2006-02-28 Edmond Louis Dudkowski Portable system for live television signal editing
JP4533118B2 (ja) 2004-12-10 2010-09-01 キヤノン株式会社 ネットワークカメラ及びネットワークカメラの音声再生方法
CN101313364B (zh) 2005-11-21 2011-12-21 皇家飞利浦电子股份有限公司 使用数字图像的元数据和内容特征来找到相关音频伴奏的系统和方法
US20090006965A1 (en) 2007-06-26 2009-01-01 Bodin William K Assisting A User In Editing A Motion Picture With Audio Recast Of A Legacy Web Page
TWI736542B (zh) 2015-08-06 2021-08-21 日商新力股份有限公司 資訊處理裝置、資料配訊伺服器及資訊處理方法、以及非暫時性電腦可讀取之記錄媒體
JP2019087973A (ja) 2017-11-10 2019-06-06 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP7314929B2 (ja) 2018-03-29 2023-07-26 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
JP7429266B2 (ja) 2024-02-07
US20230072261A1 (en) 2023-03-09
JP2023039914A (ja) 2023-03-22

Similar Documents

Publication Publication Date Title
US11055057B2 (en) Apparatus and associated methods in the field of virtual reality
US11343633B2 (en) Environmental condition based spatial audio presentation
US10798518B2 (en) Apparatus and associated methods
EP3236345A1 (en) An apparatus and associated methods
KR102500694B1 (ko) 사용자 맞춤형 현장감 실현을 위한 오디오 콘텐츠를 제작하는 컴퓨터 시스템 및 그의 방법
US20110304735A1 (en) Method for Producing a Live Interactive Visual Immersion Entertainment Show
JP7536735B2 (ja) ユーザカスタム型臨場感を実現するためのオーディオコンテンツを製作するコンピュータシステムおよびその方法
JP7536733B2 (ja) オーディオと関連してユーザカスタム型臨場感を実現するためのコンピュータシステムおよびその方法
TW201928945A (zh) 音訊場景處理技術
KR102561371B1 (ko) 디스플레이장치와, 기록매체
KR20200035696A (ko) 가상현실 영상 편집 시스템 및 방법
KR20210056414A (ko) 혼합 현실 환경들에서 오디오-가능 접속된 디바이스들을 제어하기 위한 시스템
KR20230037329A (ko) 이벤트 맞춤형 오디오 콘텐츠를 렌더링하기 위한 컴퓨터 시스템 및 그의 방법
EP3321795B1 (en) A method and associated apparatuses
US10200606B2 (en) Image processing apparatus and control method of the same
JP2013187841A (ja) 電子機器及び出力制御方法並びにプログラム
KR101745658B1 (ko) Cps기반 온라인 가상 방송 시스템의 무대 구현 및 실제 방송 무대를 제어하는 시스템 및 방법
US20180167755A1 (en) Distributed Audio Mixing
KR20190081163A (ko) 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법 및 이를 위한 어플리케이션
KR20190079993A (ko) 입체 음향 컨텐츠 저작 방법 및 이를 위한 어플리케이션
TWI787799B (zh) 影音處理方法及其影音處理裝置
KR20190081160A (ko) 입체 음향 컨텐츠 저작 툴을 이용한 광고 제공 방법 및 이를 위한 어플리케이션
KR20190082055A (ko) 입체 음향 컨텐츠 저작 툴을 이용한 광고 제공 방법 및 이를 위한 어플리케이션
KR20190082056A (ko) 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법 및 이를 위한 어플리케이션
CN115866326A (zh) 全景视频的音频处理方法及装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal