KR20230001135A - 사용자 맞춤형 현장감 실현을 위한 오디오 콘텐츠를 처리하는 컴퓨터 시스템 및 그의 방법 - Google Patents

사용자 맞춤형 현장감 실현을 위한 오디오 콘텐츠를 처리하는 컴퓨터 시스템 및 그의 방법 Download PDF

Info

Publication number
KR20230001135A
KR20230001135A KR1020210083681A KR20210083681A KR20230001135A KR 20230001135 A KR20230001135 A KR 20230001135A KR 1020210083681 A KR1020210083681 A KR 1020210083681A KR 20210083681 A KR20210083681 A KR 20210083681A KR 20230001135 A KR20230001135 A KR 20230001135A
Authority
KR
South Korea
Prior art keywords
content
format
electronic device
computer system
processor
Prior art date
Application number
KR1020210083681A
Other languages
English (en)
Inventor
김정식
김대황
김동환
이태규
서정훈
서현수
Original Assignee
네이버 주식회사
가우디오랩 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버 주식회사, 가우디오랩 주식회사 filed Critical 네이버 주식회사
Priority to KR1020210083681A priority Critical patent/KR20230001135A/ko
Priority to US17/809,337 priority patent/US20220417693A1/en
Priority to JP2022103609A priority patent/JP2023008889A/ja
Publication of KR20230001135A publication Critical patent/KR20230001135A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording
    • G11B2020/10592—Audio or video recording specifically adapted for recording or reproducing multichannel signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Abstract

다양한 실시예들은 사용자 맞춤형 현장감 실현을 위한 오디오 콘텐츠를 처리하는 컴퓨터 시스템 및 그의 방법에 관한 것으로, 복수의 객체들에 대한 공간적 특징들을 포함하는 메타 데이터를 포함하는 콘텐츠를 수신하고, 콘텐츠의 제작 환경에 따라 설정되는 포맷을 전자 장치에서의 재생 환경에 따른 포맷으로 변환하고, 전자 장치로 변환된 포맷의 콘텐츠를 전송하도록 구성될 수 있다. 다양한 실시예들에 따르면, 컴퓨터 시스템이 다양한 제작 환경들에서 제작되는 콘텐츠와 다양한 재생 환경들을 지원할 수 있다.

Description

사용자 맞춤형 현장감 실현을 위한 오디오 콘텐츠를 처리하는 컴퓨터 시스템 및 그의 방법{COMPUTER SYSTEM FOR PROCESSING AUDIO CONTENT TO REALIZE CUSTOMIZED BEING-THERE AND METHOD THEREOF}
다양한 실시예들은 사용자 맞춤형 현장감 실현을 위한 오디오 콘텐츠를 처리하는 컴퓨터 시스템 및 그의 방법에 관한 것이다.
일반적으로, 콘텐츠 제공 서버가 사용자를 위해, 완성된 형태의 오디오 콘텐츠를 제공한다. 이 때, 완성된 형태의 오디오 콘텐츠는 복수의 오디오 신호들이 믹싱되어 구현되며, 예컨대 스테레오 형태의 오디오 콘텐츠를 나타낸다. 이를 통해, 사용자의 전자 장치가 완성된 형태의 오디오 콘텐츠를 수신하고, 이를 재생할 뿐이다. 즉, 사용자는 완성된 형태의 오디오 콘텐츠에 기반하여, 정해진 구성의 음향을 들을 뿐이다.
다양한 실시예들은, 다양한 제작 환경들에서 제작되는 콘텐츠와 다양한 재생 환경들을 지원하는 컴퓨터 시스템 및 그의 방법을 제공한다.
다양한 실시예들은, 다양한 제작 환경들에서 제작되는 콘텐츠에 대해, 다양한 재생 환경들에서 사용자 맞춤형 현장감을 실현할 수 있는 컴퓨터 시스템 및 그의 방법을 제공한다.
다양한 실시예들에 따른 컴퓨터 시스템에 의한 방법은, 복수의 객체들에 대한 공간적 특징들을 포함하는 메타 데이터를 포함하는 콘텐츠를 수신하는 단계, 전자 장치에서의 상기 콘텐츠의 재생 환경에 따라, 상기 콘텐츠의 포맷을 변환하는 단계, 및 상기 전자 장치로 상기 변환된 포맷의 상기 콘텐츠를 전송하는 단계를 포함할 수 있다.
다양한 실시예들에 따른 비-일시적인 컴퓨터 판독 가능한 기록 매체에 저장되는 컴퓨터 프로그램은, 상기 방법을 상기 컴퓨터 시스템에 실행시키기 위한 것일 수 있다.
다양한 실시예들에 따른 비-일시적인 컴퓨터 판독 가능한 기록 매체에는, 상기 방법을 상기 컴퓨터 시스템에 실행시키기 위한 프로그램이 기록되어 있을 수 있다.
다양한 실시예들에 따른 컴퓨터 시스템은, 메모리, 통신 모듈, 및 상기 메모리 및 상기 통신 모듈과 각각 연결되고, 상기 메모리에 저장된 적어도 하나의 명령을 실행하도록 구성된 프로세서를 포함하고, 상기 프로세서는, 상기 통신 모듈을 통해, 복수의 객체들에 대한 공간적 특징들을 포함하는 메타 데이터를 포함하는 콘텐츠를 수신하고, 전자 장치에서의 상기 콘텐츠의 재생 환경에 따라, 상기 콘텐츠의 포맷을 변환하고, 상기 통신 모듈을 통해, 상기 전자 장치로 상기 변환된 포맷의 상기 콘텐츠를 전송하도록 구성될 수 있다.
다양한 실시예들에 따르면, 컴퓨터 시스템이 다양한 제작 환경들에서 제작되는 콘텐츠와 다양한 재생 환경들을 지원할 수 있다. 즉, 컴퓨터 시스템은 콘텐츠를 재생 환경에 부합하는 포맷으로 전자 장치에 제공할 수 있다. 이를 위해, 컴퓨터 시스템은 제작 환경에서 설정되는 콘텐츠의 포맷을 재생 환경에 부합하도록 변환할 수 있다. 따라서, 컴퓨터 시스템은 다양한 제작 환경들에서 제작되는 콘텐츠에 대해, 다양한 재생 환경들에서 사용자 맞춤형 현장감을 실현할 수 있다. 이 때, 컴퓨터 시스템은 플레인 콘텐츠뿐 아니라 이머시브 콘텐츠도 처리할 수 있다. 다시 말해, 컴퓨터 시스템은 다양한 재생 환경들에서 이머시브 콘텐츠에 따른 사용자 맞춤형 현장감이 실현되도록 할 수 있다.
도 1은 다양한 실시예들에 따른 콘텐츠 제공 시스템을 도시하는 블록도이다.
도 2는 도 1의 컴퓨터 시스템 및 전자 장치의 상세 구성을 도시하는 블록도이다.
도 3은 도 1의 컴퓨터 시스템의 기능을 설명하기 위한 예시도이다.
도 4는 다양한 실시예들에 따른 콘텐츠 제공 시스템에서의 신호 흐름을 도시하는 흐름도이다.
도 5는 다양한 실시예들에 따른 서버의 내부 구성을 도시하는 블록도이다.
도 6, 도 7, 도 8, 도 9a, 도 9b, 도 10a, 및 도 10b는 서버의 기능을 설명을 설명하기 위한 예시도들이다.
도 11은 다양한 실시예들에 따른 서버의 동작 절차를 도시하는 순서도이다.
도 12는 다양한 실시예들에 따른 전자 장치의 내부 구성을 도시하는 블록도이다.
도 13은 다양한 실시예들에 따른 전자 장치의 동작 절차를 도시하는 순서도이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 설명된다.
이하에서, 객체(object)라는 용어는 오디오 신호를 발생시키는 기기 또는 사람을 나타낼 수 있다. 예를 들면, 객체는 악기, 악기 연주자, 보컬리스트(vocalist), 대화자(talker), 반주나 음향 효과 등을 발생시키는 스피커, 또는 배경음(ambience)을 발생시키는 배경 중 하나를 포함할 수 있다. 그리고, 오디오 파일(audio file)이라는 용어는 각 객체에서 발생되는 오디오 신호에 대한 오디오 데이터를 나타낼 수 있다.
이하에서, 메타 데이터라는 용어는 적어도 하나의 오디오 파일과 관련된 오디오 장면의 속성을 설명하기 위한 정보를 나타낼 수 있다. 이 때, 오디오 장면은 적어도 하나의 객체로 구성되며, 메타 데이터는 객체에 대한 적어도 하나의 공간적 특징을 포함할 수 있다. 예를 들면, 메타 데이터는 적어도 하나의 객체에 대한 위치 정보, 적어도 두 개의 객체들의 위치 조합을 나타내는 그룹 정보, 또는 적어도 하나의 객체가 배치될 수 있는 현장(venue)에 대한 환경 정보 중 적어도 하나를 포함할 수 있다. 그리고, 현장은, 예컨대 스튜디오(studio), 콘서트 홀(concert hall), 길거리(street), 스타디움(stadium) 등을 포함할 수 있다.
도 1은 다양한 실시예들에 따른 콘텐츠 제공 시스템(100)을 도시하는 블록도이다.
도 1을 참조하면, 다양한 실시예들에 따른 콘텐츠 제공 시스템(100)은 컴퓨터 시스템(110) 및 전자 장치(150)를 포함할 수 있다.
컴퓨터 시스템(110)은 사용자를 위해 콘텐츠를 제공할 수 있다. 이 때, 콘텐츠는 오디오 콘텐츠, 비디오 콘텐츠, 가상현실(virtual reality; VR) 콘텐츠, 증강현실(augmented reality; AR) 콘텐츠, 확장현실(extended reality; XR) 콘텐츠 등 다양한 형태의 콘텐츠들이 될 수 있다. 그리고, 콘텐츠는 플레인(plain) 콘텐츠 또는 이머시브(immersive) 콘텐츠 중 적어도 하나를 포함할 수 있다. 플레인 콘텐츠는 완성된 형태의 콘텐츠인 데 반해, 이머시브 콘텐츠는 사용자 맞춤 콘텐츠일 수 있다. 이하에서, 오디오 콘텐츠를 예를 들어 설명한다.
플레인 오디오 콘텐츠는, 복수의 객체들에 의해 발생되는 오디오 신호들이 믹싱되어 스테레오 형태로 구현될 수 있다. 한편, 이머시브 오디오 콘텐츠는 복수의 객체들에 의해 발생되는 오디오 신호들에 대한 오디오 파일들 및 그에 대한 메타 데이터로 이루어질 수 있다. 이 때, 이머시브 오디오 콘텐츠 내에서, 오디오 파일들과 그에 대한 메타 데이터는 개별적으로 존재할 수 있다.
전자 장치(150)는 컴퓨터 시스템(110)으로부터 제공되는 콘텐츠를 재생할 수 있다. 이 때, 콘텐츠는 오디오 콘텐츠, 비디오 콘텐츠, 가상현실(VR) 콘텐츠, 증강현실(AR) 콘텐츠, 확장현실(XR) 콘텐츠 등 다양한 형태의 콘텐츠들이 될 수 있다. 그리고, 콘텐츠는 플레인(plain) 콘텐츠 또는 이머시브(immersive) 콘텐츠 중 적어도 하나를 포함할 수 있다.
컴퓨터 시스템(110)으로부터 이머시브 오디오 콘텐츠가 수신되면, 전자 장치(150)는 이머시브 오디오 콘텐츠로부터 오디오 파일들 및 그에 대한 메타 데이터를 각각 획득할 수 있다. 그리고, 전자 장치(150)는 메타 데이터를 기반으로, 오디오 파일들을 재생할 수 있다. 이를 통해, 전자 장치(150)는 이머시브 오디오 콘텐츠를 기반으로, 오디오와 관련하여 사용자 맞춤형 현장감을 실현할 수 있다. 따라서, 사용자는, 적어도 하나의 객체가 배치되는 현장에서, 해당 객체가 발생시키는 오디오 신호를 직접 듣는 것과 같은, 현장감을 느낄 수 있을 것이다.
도 2는 도 1의 컴퓨터 시스템(110) 및 전자 장치(150)의 상세 구성을 도시하는 블록도이다. 도 3은 도 1의 컴퓨터 시스템(110)의 기능을 설명하기 위한 예시도이다.
도 2를 참조하면, 다양한 실시예들에 따른 컴퓨터 시스템(110)은 전자 기기(제작 스튜디오로도 지칭될 수 있음)(210) 또는 서버(230) 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 컴퓨터 시스템(110)의 구성 요소들 중 적어도 하나가 생략될 수 있으며, 적어도 하나의 다른 구성 요소가 추가될 수 있다. 어떤 실시예들에서, 컴퓨터 시스템(110)의 구성 요소들 중 적어도 두 개가 하나로 통합되어 구현될 수 있다. 일 실시예에 따르면, 전자 기기(210)와 서버(220)는 하나로 통합되어, 구현될 수 있다. 예를 들면, 전자 기기(210)는 오디오 콘솔, 단테(dante)와 같은 오디오 인터페이스 등의 다양한 하드웨어를 구비하는 기기로서, 스마트폰, 휴대폰, 내비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA, PMP, 태블릿 PC, 게임 콘솔, 웨어러블 디바이스, IoT 디바이스, 가전 기기, 의료 기기, 또는 로봇 중 적어도 하나를 포함할 수 있다.
전자 기기(210)는 콘텐츠를 제작할 수 있다. 이 때, 전자 기기(210)의 유형에 따라, 콘텐츠의 제작 환경이 정의될 수 있다. 그리고, 콘텐츠의 제작 환경에 따라, 콘텐츠의 포맷이 설정될 수 있다. 즉, 전자 기기(210)는 미리 정해진 포맷의 콘텐츠를 제작할 수 있다. 콘텐츠의 포맷은, 이머시브 콘텐츠에 대한 제 1 포맷이나 제 2 포맷, 또는 플레인 콘텐츠에 대한 제 3 포맷을 중 적어도 하나를 포함할 수 있다. 제 1 포맷은, 메타 데이터를 기반으로, 객체들과 관련된 오디오 신호들을 렌더링하여 재생하기 위한 포맷을 나타낼 수 있다. 예를 들면, 제 1 포맷은 GA7 포맷을 포함하고, GA7 포맷은 바이너리 형태로 표현될 수 있다. 제 2 포맷은 메타 데이터를 기반으로, 객체들과 관련된 오디오 신호들을 복수의 오디오 출력 디바이스들을 통해 재생하기 위한 포맷을 나타내며, 멀티 채널 포맷이라고도 지칭될 수 있다. 예를 들면, 제 2 포맷은 ADM(audio definition model) 포맷을 포함하고, ADM 포맷은 XML(extensible markup language) 형태로 표현될 수 있다. 여기서, ADM 포맷은 5.1, 7.1, 돌비 애트모스(dolby atmos)와 같은 객체 지향 오디오 기술들에서 지원되고 있다. 즉, 제 1 포맷의 오디오 콘텐츠는 제 1 포맷에 따라 메타 데이터를 포함하고, 제 2 포맷의 오디오 콘텐츠는 제 2 포맷에 따라 메타 데이터를 포함할 수 있다.
어떤 실시예들에서, 전자 기기(210)는, 도 3에 도시된 바와 같이, 제 1 포맷의 콘텐츠, 제 2 포맷의 콘텐츠, 또는 제 3 포맷의 콘텐츠 중 적어도 하나를 제작할 수 있다. 이하에서, 오디오 콘텐츠를 예를 들어 설명한다.
제 3 포맷의 오디오 콘텐츠, 즉 플레인 오디오 콘텐츠는, 복수의 객체들에 의해 발생되는 오디오 신호들이 믹싱되어 스테레오 형태로 구현될 수 있다. 예를 들면, 전자 기기(210)는 현장에서 오디오 신호들이 믹싱된 오디오 신호를 획득하고, 이를 기반으로 플레인 오디오 콘텐츠를 생성할 수 있다. 한편, 제 1 포맷의 오디오 콘텐츠, 즉 이머시브 오디오 콘텐츠는 현장에서 복수의 객체들에 의해 발생되는 오디오 신호들에 대한 오디오 파일들 및 그에 대한 메타 데이터로 이루어질 수 있다. 이 때, 이머시브 오디오 콘텐츠 내에서, 오디오 파일들과 그에 대한 메타 데이터는 개별적으로 존재할 수 있다. 예를 들면, 전자 기기(210)는 복수의 객체들에 대한 오디오 파일들을 각각 획득하고, 이를 기반으로 이머시브 오디오 콘텐츠를 생성할 수 있다.
다양한 실시예들에 따르면, 전자 장치(150)의 재생 환경이 정의될 수 있다. 이 때, 전자 장치(150)의 유형에 따라, 전자 장치(150)의 재생 환경이 결정될 수 있다. 그리고, 전자 장치(150)는 자체 재생 환경에 따라, 콘텐츠를 재생할 수 있다.
구체적으로, 전자 장치(150)는 이머시브 콘텐츠의 재생이 가능한 제 1 전자 장치(251)나 제 2 전자 장치(253), 또는 플레인 콘텐츠의 재생이 가능한 제 3 전자 장치(255) 중 적어도 하나를 포함할 수 있다. 제 1 전자 장치(251)는 제 1 포맷의 콘텐츠를 재생하기 위한 것으로, 메타 데이터를 기반으로, 객체들과 관련된 오디오 신호들을 렌더링하여 재생할 수 있다. 예를 들면, 제 1 전자 장치(251)는 스마트폰(smart phone), 휴대폰, 내비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(personal digital assistants), PMP(portable multimedia player), 태블릿 PC, 게임 콘솔(game console), 웨어러블 디바이스(wearable device), IoT(internet of things) 디바이스, 가전 기기, 의료 기기, 또는 로봇(robot) 중 적어도 하나를 포함할 수 있다. 제 2 전자 장치(253)는 제 2 포맷의 콘텐츠를 재생하기 위한 것으로, 메타 데이터를 기반으로, 객체들과 관련된 오디오 신호들을 복수의 오디오 출력 디바이스들을 통해 재생할 수 있다. 예를 들면, 제 2 전자 장치(253)는 AVR(audio video receiver), 사운드바(soundbar), 또는 홈시어터(home cinema) 중 적어도 하나를 포함할 수 있다. 제 3 전자 장치(255)는 제 3 포맷의 콘텐츠를 재생하기 위한 것으로, 수신되는 플레인 콘텐츠를 재생할 수 있다.
서버(230)는 콘텐츠를 전자 장치(150)에 전송할 수 있다. 이 때, 서버(230)는 콘텐츠의 재생 환경에 따라, 콘텐츠를 전송할 수 있다. 구체적으로, 서버(230)는 콘텐츠의 제작 환경과 재생 환경의 부합 여부에 따라, 콘텐츠를 처리할 수 있다.
일 실시예에 따르면, 콘텐츠의 제작 환경과 재생 환경이 부합하지 않는 경우, 서버(230)는 콘텐츠의 타입을 변환할 수 있다. 이 때, 서버(230)는 전자 장치(150)에서의 콘텐츠의 재생 환경에 부합하도록, 콘텐츠의 타입을 변환할 수 있다. 일 예로, 제 2 포맷의 콘텐츠를 제 1 전자 장치(251)에서 재생되도록 하기 위해, 서버(230)는 전자 기기(210)로부터 수신되는 제 2 포맷의 콘텐츠를 제 1 포맷의 콘텐츠로 변환할 수 있다. 이를 통해, 서버(230)는 제 1 포맷의 콘텐츠를 제 1 전자 장치(251)로 전송할 수 있다. 다른 예로, 제 1 포맷의 콘텐츠를 제 2 전자 장치(253)에서 재생되도록 하기 위해, 서버(230)는 전자 기기(210)로부터 수신되는 제 1 포맷의 콘텐츠를 제 2 포맷의 콘텐츠로 변환할 수 있다. 이를 통해, 서버(230)는 제 2 포맷의 콘텐츠를 제 2 전자 장치(253)로 전송할 수 있다.
다른 실시예에 따르면, 콘텐츠의 제작 환경과 재생 환경이 부합하는 경우, 서버(230)는 콘텐츠의 포맷을 변환하지 않고, 유지할 수 있다. 일 예로, 제 1 포맷의 콘텐츠를 제 1 전자 장치(251)에서 재생되도록 하기 위해, 서버(230)는 전자 기기(210)로부터 수신되는 제 1 포맷의 콘텐츠를 제 1 전자 장치(251)로 전달할 수 있다. 다른 예로, 제 2 포맷의 콘텐츠를 제 2 전자 장치(253)에서 재생되도록 하기 위해, 서버(230)는 전자 기기(210)로부터 수신되는 제 2 포맷의 콘텐츠를 제 2 전자 장치(253)로 전달할 수 있다. 또 다른 예로, 제 3 포맷의 콘텐츠를 제 3 전자 장치(255)에서 재생되도록 하기 위해, 서버(230)는 전자 기기(210)로부터 수신되는 제 3 포맷의 콘텐츠를 제 3 전자 장치(255)로 전달할 수 있다.
도 4는 다양한 실시예들에 따른 콘텐츠 제공 시스템(100)에서의 신호 흐름을 도시하는 흐름도이다.
도 4를 참조하면, 전자 기기(210)는 410 단계에서 제작 환경에 따라, 콘텐츠를 제작할 수 있다. 이 때, 전자 기기(210)의 유형에 따라, 콘텐츠의 제작 환경이 정의될 수 있다. 그리고, 콘텐츠의 제작 환경에 따라, 콘텐츠의 포맷이 설정될 수 있다. 콘텐츠의 포맷은, 제 1 포맷, 제 2 포맷, 또는 제 3 포맷을 중 하나로 설정될 수 있다. 제 1 포맷의 콘텐츠는 이머시브 콘텐츠로서, 제 1 포맷에 따라 메타 데이터를 포함할 수 있다. 제 2 포맷의 콘텐츠는 이머시브 콘텐츠로서, 제 2 포맷에 따라 메타 데이터를 포함할 수 있다. 제 3 포맷의 콘텐츠는 플레인 콘텐츠일 수 있다. 전자 기기(210)는 제 1 포맷의 콘텐츠, 제 2 포맷의 콘텐츠 또는 제 3 포맷의 콘텐츠 중 적어도 하나를 제작할 수 있다. 이 후, 전자 기기(210)는 420 단계에서 서버(230)에 콘텐츠를 전송할 수 있다. 이를 통해, 서버(230)가 420 단계에서 전자 기기(210)로부터 콘텐츠를 수신할 수 있다.
다음으로, 서버(230)는 430 단계에서 수신되는 콘텐츠의 제작 환경과 재생 환경의 부합 여부를 판단할 수 있다. 즉, 서버(230)는 콘텐츠에 대해, 제작 환경이 재생 환경에 부합하는 지의 여부를 판단할 수 있다. 이 때, 서버(230)는 콘텐츠의 포맷을 기반으로, 제작 환경이 재생 환경에 부합하는 지의 여부를 판단할 수 있다. 이는, 콘텐츠의 포맷이 제작 환경에 따라, 설정되어 있기 때문이다.
430 단계에서 콘텐츠의 제작 환경과 재생 환경이 부합하지 않는 것으로 판단되면, 서버(230)는 440 단계에서 재생 환경에 따라, 콘텐츠의 포맷을 변환할 수 있다. 즉, 서버(230)는 전자 장치(150)에서의 콘텐츠의 재생 환경에 부합하도록, 콘텐츠의 타입을 변환할 수 있다. 이 후, 서버(230)는 450 단계에서 변환된 포맷의 콘텐츠를 전자 장치(150)에 전송할 수 있다. 일 예로, 제 2 포맷의 콘텐츠를 제 1 전자 장치(251)에서 재생되도록 하기 위해, 서버(230)는 전자 기기(210)로부터 수신되는 제 2 포맷의 콘텐츠를 제 1 포맷의 콘텐츠로 변환할 수 있다. 이를 통해, 서버(230)는 제 1 포맷의 콘텐츠를 제 1 전자 장치(251)로 전송할 수 있다. 다른 예로, 제 1 포맷의 콘텐츠를 제 2 전자 장치(253)에서 재생되도록 하기 위해, 서버(230)는 전자 기기(210)로부터 수신되는 제 1 포맷의 콘텐츠를 제 2 포맷의 콘텐츠로 변환할 수 있다. 이를 통해, 서버(230)는 제 2 포맷의 콘텐츠를 제 2 전자 장치(253)로 전송할 수 있다.
한편, 430 단계에서 콘텐츠의 제작 환경과 재생 환경이 부합하는 것으로 판단되면, 서버(230)는 450 단계에서 설정된 포맷의 콘텐츠를 전자 장치(150)에 전송할 수 있다. 즉, 서버(230)는 콘텐츠의 포맷을 변환하지 않고 유지하면서, 콘텐츠를 전자 장치(150)에 전송할 수 있다. 일 예로, 제 1 포맷의 콘텐츠를 제 1 전자 장치(251)에서 재생되도록 하기 위해, 서버(230)는 전자 기기(210)로부터 수신되는 제 1 포맷의 콘텐츠를 제 1 전자 장치(251)로 전달할 수 있다. 다른 예로, 제 2 포맷의 콘텐츠를 제 2 전자 장치(253)에서 재생되도록 하기 위해, 서버(230)는 전자 기기(210)로부터 수신되는 제 2 포맷의 콘텐츠를 제 2 전자 장치(253)로 전달할 수 있다. 또 다른 예로, 제 3 포맷의 콘텐츠를 제 3 전자 장치(255)에서 재생되도록 하기 위해, 서버(230)는 전자 기기(210)로부터 수신되는 제 3 포맷의 콘텐츠를 제 3 전자 장치(255)로 전달할 수 있다.
이를 통해, 전자 장치(150)는 460 단계에서 재생 환경에 따라, 수신되는 콘텐츠를 재생할 수 있다. 이 때, 전자 장치(150)는 제 1 전자 장치(251), 제 2 전자 장치(253), 또는 제 3 전자 장치(255) 중 적어도 하나를 포함할 수 있다. 제 1 전자 장치(251)는 제 1 포맷의 콘텐츠를 수신하여, 재생할 수 있다. 여기서, 제 1 전자 장치(251)는 메타 데이터를 기반으로, 객체들과 관련된 오디오 신호들을 렌더링하여 재생할 수 있다. 제 2 전자 장치(253)는 제 2 포맷의 콘텐츠를 수신하여, 재생할 수 있다. 여기서, 제 2 전자 장치(253)는 메타 데이터를 기반으로, 객체들과 관련된 오디오 신호들을 복수의 오디오 출력 디바이스들을 통해 재생할 수 있다. 제 3 전자 장치(255)는 제 3 포맷의 콘텐츠를 수신하여, 재생할 수 있다. 여기서, 제 3 전자 장치는, 수신되는 플레인 콘텐츠를 재생할 수 있다.
도 5는 다양한 실시예들에 따른 서버(230)의 내부 구성을 도시하는 블록도이다. 도 6, 도 7, 도 8, 도 9a, 도 9b, 도 10a, 및 도 10b는 서버(230)의 기능을 설명을 설명하기 위한 예시도들이다.
도 5를 참조하면, 다양한 실시예들에 따른 서버(230)는 통신 모듈(510), 메모리(520), 또는 프로세서(530) 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 서버(230)의 구성 요소들 중 적어도 어느 하나가 생략될 수 있으며, 적어도 하나의 다른 구성 요소가 추가될 수 있다. 어떤 실시예들에서, 서버(230)의 구성 요소들 중 적어도 어느 두 개가 하나의 통합된 회로로 구현될 수 있다.
통신 모듈(510)은 서버(230)에서 외부 장치와 통신을 수행할 수 있다. 통신 모듈(510)은 서버(230)와 외부 장치 간 통신 채널을 수립하고, 통신 채널을 통해 외부 장치와 통신을 수행할 수 있다. 예를 들면, 외부 장치는 전자 기기(210) 또는 전자 장치(150) 중 적어도 하나를 포함할 수 있다. 통신 모듈(510)은 유선 통신 모듈 또는 무선 통신 모듈 중 적어도 하나를 포함할 수 있다. 유선 통신 모듈은 외부 장치와 유선으로 연결되어, 유선으로 통신할 수 있다. 무선 통신 모듈은 근거리 통신 모듈 또는 원거리 통신 모듈 중 적어도 어느 하나를 포함할 수 있다. 근거리 통신 모듈은 외부 장치와 근거리 통신 방식으로 통신할 수 있다. 예를 들면, 근거리 통신 방식은, 블루투스(Bluetooth), 와이파이 다이렉트(WiFi direct), 또는 적외선 통신(IrDA; infrared data association) 중 적어도 어느 하나를 포함할 수 있다. 원거리 통신 모듈은 외부 장치와 원거리 통신 방식으로 통신할 수 있다. 여기서, 원거리 통신 모듈은 네트워크를 통해 외부 장치와 통신할 수 있다. 예를 들면, 네트워크는 셀룰러 네트워크, 인터넷, 또는 LAN(local area network)이나 WAN(wide area network)과 같은 컴퓨터 네트워크 중 적어도 어느 하나를 포함할 수 있다. 어떤 실시예들에서, 통신 모듈(510)은 HLS(HTTP live streaming) 프로토콜 또는 DASH(dynamic adaptive streaming over HTTP) 중 적어도 하나를 지원할 수 있다.
메모리(520)는 서버(230)의 적어도 하나의 구성 요소에 의해 사용되는 다양한 데이터를 저장할 수 있다. 예를 들면, 메모리(520)는 휘발성 메모리 또는 비휘발성 메모리 중 적어도 어느 하나를 포함할 수 있다. 데이터는 적어도 하나의 프로그램 및 이와 관련된 입력 데이터 또는 출력 데이터를 포함할 수 있다. 프로그램은 메모리(520)에 적어도 하나의 명령을 포함하는 소프트웨어로서 저장될 수 있다.
프로세서(530)는 메모리(520)의 프로그램을 실행하여, 서버(230)의 적어도 하나의 구성 요소를 제어할 수 있다. 이를 통해, 프로세서(530)는 데이터 처리 또는 연산을 수행할 수 있다. 이 때, 프로세서(530)는 메모리(520)에 저장된 명령을 실행할 수 있다. 프로세서(530)는 콘텐츠를 전자 장치(150)에 전송할 수 있다. 이 때, 프로세서(530)는 콘텐츠의 재생 환경에 따라, 콘텐츠를 전송할 수 있다. 구체적으로, 프로세서(530)는 콘텐츠의 제작 환경과 재생 환경의 부합 여부에 따라, 콘텐츠를 처리할 수 있다. 일 실시예에 따르면, 콘텐츠의 제작 환경과 재생 환경이 부합하지 않는 경우, 서버(230)는 콘텐츠의 타입을 변환할 수 있다. 이 때, 서버(230)는 전자 장치(150)에서의 콘텐츠의 재생 환경에 부합하도록, 콘텐츠의 타입을 변환할 수 있다. 다른 실시예에 따르면, 콘텐츠의 제작 환경과 재생 환경이 부합하는 경우, 서버(230)는 콘텐츠의 포맷을 변환하지 않고, 유지할 수 있다.
구체적으로, 콘텐츠의 포맷은, 제 1 포맷, 제 2 포맷, 또는 제 3 포맷을 중 하나로 설정될 수 있다. 제 1 포맷의 콘텐츠는 이머시브 콘텐츠로서, 제 1 포맷은 메타 데이터를 기반으로, 객체들과 관련된 오디오 신호들을 렌더링하여 재생하기 위한 포맷을 나타낼 수 있다. 예를 들면, 제 1 포맷은 GA7 포맷을 포함하고, GA7 포맷은 바이너리 형태로 표현될 수 있다. 제 2 포맷의 콘텐츠는 이머시브 콘텐츠로서, 제 2 포맷은 메타 데이터를 기반으로, 객체들과 관련된 오디오 신호들을 복수의 오디오 출력 디바이스들을 통해 재생하기 위한 포맷을 나타내며, 멀티 채널 포맷이라고도 지칭될 수 있다. 예를 들면, 제 2 포맷은 ADM 포맷을 포함하고, ADM 포맷은 XML 형태로 표현될 수 있다. 여기서, ADM 포맷은 5.1, 7.1, 돌비 애트모스와 같은 기술들에서 지원되고 있다. 즉, 제 1 포맷의 오디오 콘텐츠는 제 1 포맷에 따라 메타 데이터를 포함하고, 제 2 포맷의 오디오 콘텐츠는 제 2 포맷에 따라 메타 데이터를 포함할 수 있다. 제 3 포맷의 콘텐츠는 플레인 콘텐츠일 수 있다.
다양한 실시예들에 따르면, 프로세서(530)는 제 1 변환 모듈(531), 제 1 인코더(533), 제 2 변환 모듈(535), 또는 제 2 인코더(537) 중 적어도 하나를 포함할 수 있다.
제 1 변환 모듈(531)은 제 2 포맷의 콘텐츠를 제 1 포맷의 콘텐츠로 변환할 수 있다. 여기서, 제 1 변환 모듈(531)은 컨버터(converter)로 지칭될 수도 있다. 제 2 포맷의 콘텐츠를 제 1 전자 장치(251)에서 재생되도록 하기 위해, 제 1 변환 모듈(531)은 통신 모듈(510)을 통해 전자 기기(210)로부터 수신되는 제 2 포맷의 콘텐츠를 제 1 포맷의 콘텐츠로 변환할 수 있다. 예를 들면, 제 1 변환 모듈(531)은 ADM 포맷의 콘텐츠를 GA7 포맷의 콘텐츠로 변환할 수 있다. 일 실시예에 따르면, 제 1 변환 모듈(531)은 제 2 포맷의 콘텐츠에서 메타 데이터를 검출하고, 검출된 메타 데이터를 제 1 포맷으로 변환함으로써, 제 1 포맷의 콘텐츠를 생성할 수 있다. 예를 들면, 제 1 변환 모듈(531)은 검출된 메타 데이터를 도 6에 도시된 바와 같은 구조의 바이너리 형태로 표현되는 메타 데이터로 변환하고, 변환된 메타 데이터를 이용하여, 제 1 포맷의 콘텐츠를 도 7에 도시된 바와 같은 PCM 입력(input) 구조로 생성할 수 있다. 도 6에 따르면, 메타 데이터는 각 객체의 위치, 각 객체와 관련되는 오디오 효과, 또는 현장과 관련되는 오디오 효과 중 적어도 하나에 대해 나타낼 수 있다. 도 7에 따르면, PCM 입력 구조는 고급 오디오 부호화(advanced audio coding; AAC) 규격을 지원하고, 복수의 채널들로 이루어지며, 채널들 중 하나가 변환된 메타 데이터를 위해 마련될 수 있다.
제 1 인코더(533)는 제 1 포맷의 콘텐츠를 인코딩할 수 있다. 예를 들면, 제 1 인코더(533)는 GA7 포맷의 콘텐츠를 인코딩할 수 있다. 일 실시예에 따르면, 제 1 인코더(533)는 제 1 변환 모듈(531)로부터 출력되는 제 1 포맷의 콘텐츠를 인코딩할 수 있다. 다른 실시예에 따르면, 제 1 인코더(533)는 통신 모듈(510)를 통해 전자 기기(210)로부터 수신되는 제 1 포맷의 콘텐츠를 인코딩할 수 있다. 예를 들면, 제 1 인코더(533)는 AAC 인코더로 지칭될 수도 있다. 제 1 인코더(533)는 제 1 포맷의 콘텐츠를 도 7에 도시된 바와 같은 PCM 입력 구조에서 도 8에 도시된 바와 같은 AAC 비트스트림 구조로 인코딩할 수 있다. 여기서, 제 1 포맷의 콘텐츠의 메타 데이터는 AAC 비트스트림 내 DSE(data stream element)에 주입될 수 있다. 이를 통해, 프로세서(530)는 통신 모듈(510)을 통해, 제 1 포맷의 콘텐츠를 전자 장치(150)에 전송할 수 있다. 이 때, 프로세서(530)는 제 1 포맷의 콘텐츠를 제 1 전자 장치(251)로 전송할 수 있다. 이에 따라, 제 1 전자 장치(251)는 제 1 포맷의 콘텐츠를 재생할 수 있다.
제 2 변환 모듈(535)은 제 1 포맷의 콘텐츠를 제 2 포맷의 콘텐츠로 변환할 수 있다. 여기서, 제 2 변환 모듈(535)은 다운믹서(downmixer)로 지칭될 수도 있다. 제 1 포맷의 콘텐츠를 제 2 전자 장치(253)에서 재생되도록 하기 위해, 제 2 변환 모듈(535)은 통신 모듈(510)을 통해 전자 기기(210)로부터 수신되는 제 1 포맷의 콘텐츠를 제 2 포맷의 콘텐츠로 변환할 수 있다. 예를 들면, 제 2 변환 모듈(535)은 GA7 포맷의 콘텐츠를 멀티 채널 포맷의 콘텐츠로 변환할 수 있다. 일 실시예에 따르면, 제 2 변환 모듈(535)은 재생 환경의 오디오 출력 디바이스들에 대한 레이아웃을 기반으로, 제 1 포맷의 콘텐츠를 제 2 포맷의 콘텐츠로 변환할 수 있다. 이를 통해, 프로세서(530)는 통신 모듈(510)을 통해, 제 2 포맷의 콘텐츠를 전자 장치(150)에 전송할 수 있다. 이 때, 프로세서(530)는 제 2 포맷의 콘텐츠를 제 2 전자 장치(253)로 전송할 수 있다.
일 예로, 제 2 변환 모듈(535)은 도 7에 도시된 바와 같은 PCM 입력 구조의 콘텐츠로부터, 도 9a에 도시된 바와 같은 5.1 구조의 콘텐츠를 생성할 수 있다. 이를 통해, 프로세서(530)는 도 9a에 도시된 바와 같은 5.1 구조의 콘텐츠를 제 2 전자 장치(253)의 제어 모듈(C)에 전송할 수 있다. 이에 따라, 제 2 전자 장치(253)의 제어 모듈(C)는 도 9b에 도시된 바와 같이, 오디오 출력 디바이스들(FL, FR, FC, LFE, SL, SR)을 이용하여, 5.1 구조의 콘텐츠를 재생할 수 있다. 다른 예로, 제 2 변환 모듈(535)은 도 7에 도시된 바와 같은 PCM 입력 구조의 콘텐츠로부터, 도 10a에 도시된 바와 같은 7.1 구조의 콘텐츠를 생성할 수 있다. 이를 통해, 프로세서(530)는 도 10a에 도시된 바와 같은 7.1 구조의 콘텐츠를 제 2 전자 장치(253)의 제어 모듈(C)에 전송할 수 있다. 이에 따라, 제 2 전자 장치(253)는 도 10b에 도시된 바와 같이, 오디오 출력 디바이스들(FL, FR, FC, LFE, SL, SR, SBL, SBR)을 이용하여, 7.1 구조의 콘텐츠를 재생할 수 있다.
제 2 인코더(537)는 제 3 포맷의 콘텐츠를 인코딩할 수 있다. 즉, 제 2 인코더(537)는 플레인 콘텐츠를 인코딩할 수 있다. 이 때, 제 2 인코더(537)는 통신 모듈(510)을 통해 전자 기기(210)로부터 수신되는 제 3 포맷의 콘텐츠를 인코딩할 수 있다. 이를 통해, 프로세서(530)는 통신 모듈(510)을 통해, 제 3 포맷의 콘텐츠를 전자 장치(150)에 전송할 수 있다. 이 때, 프로세서(530)는 제 3 포맷의 콘텐츠를 제 3 전자 장치(255)로 전송할 수 있다. 이에 따라, 제 3 전자 장치(255)는 제 3 포맷의 콘텐츠를 재생할 수 있다.
도 11은 다양한 실시예들에 따른 서버(230)의 동작 절차를 도시하는 순서도이다.
도 11을 참조하면, 서버(230)는 1110 단계에서 콘텐츠를 수신할 수 있다. 프로세서(530)는 통신 모듈(510)을 통해, 전자 기기(210)로부터 콘텐츠를 수신할 수 있다. 이 때, 전자 기기(210)의 유형에 따라, 콘텐츠의 제작 환경이 결정될 수 있다. 그리고, 콘텐츠의 제작 환경에 따라, 콘텐츠의 포맷이 설정될 수 있다. 콘텐츠의 포맷은, 제 1 포맷, 제 2 포맷, 또는 제 3 포맷을 중 하나로 설정될 수 있다. 제 1 포맷의 콘텐츠는 이머시브 콘텐츠로서, 제 1 포맷에 따라 메타 데이터를 포함할 수 있다. 제 2 포맷의 콘텐츠는 이머시브 콘텐츠로서, 제 2 포맷에 따라 메타 데이터를 포함할 수 있다. 제 3 포맷의 콘텐츠는 플레인 콘텐츠일 수 있다.
서버(230)는 1120 단계에서 콘텐츠에 대해, 제작 환경이 재생 환경에 부합하는 지의 여부를 판단할 수 있다. 프로세서(530)는 콘텐츠의 포맷을 기반으로, 제작 환경이 재생 환경에 부합하는 지의 여부를 판단할 수 있다. 이는, 콘텐츠의 포맷이 제작 환경에 따라, 설정되어 있기 때문이다.
1120 단계에서 콘텐츠의 제작 환경이 재생 환경에 부합하지 않는 것으로 판단되면, 서버(230)는 1130 단계에서 재생 환경에 따라, 콘텐츠의 포맷을 변환할 수 있다. 프로세서(530)는 전자 장치(150)에서의 콘텐츠의 재생 환경에 부합하도록, 콘텐츠의 타입을 변환할 수 있다. 일 실시예에 따르면, 제 1 전자 장치(251)에서 재생되도록 하기 위해, 제 1 변환 모듈(531)은 제 2 포맷의 콘텐츠를 제 1 포맷의 콘텐츠로 변환할 수 있다. 예를 들면, 제 1 변환 모듈(531)은 ADM 포맷의 콘텐츠를 GA7 포맷의 콘텐츠로 변환할 수 있다. 이 때, 제 1 변환 모듈(531)은 제 2 포맷의 콘텐츠에서 메타 데이터를 검출하고, 검출된 메타 데이터를 제 1 포맷으로 변환함으로써, 제 1 포맷의 콘텐츠를 생성할 수 있다. 다른 실시예에 따르면, 제 2 전자 장치(253)에서 재생되도록 하기 위해, 제 2 변환 모듈(535)은 제 1 포맷의 콘텐츠를 제 2 포맷의 콘텐츠로 변환할 수 있다. 예를 들면, 제 2 변환 모듈(535)은 GA7 포맷의 콘텐츠를 멀티 채널 포맷의 콘텐츠로 변환할 수 있다. 이 때, 제 2 변환 모듈(535)은 재생 환경의 오디오 출력 디바이스들에 대한 레이아웃을 기반으로, 제 1 포맷의 콘텐츠를 제 2 포맷의 콘텐츠로 변환할 수 있다.
다음으로, 서버(230)는 1140 단계에서 전자 장치(150)로 변환된 포맷의 콘텐츠를 전송할 수 있다. 프로세서(530)는 통신 모듈(510)을 통해, 전자 장치(150)로 변환된 포맷의 콘텐츠를 전송할 수 있다. 일 실시예에 따르면, 프로세서(530)는 제 1 포맷의 콘텐츠를 제 1 전자 장치(251)로 전송할 수 있다. 이 때, 제 1 인코더(533)가 제 1 변환 모듈(531)로부터 출력되는 제 1 포맷의 콘텐츠를 인코딩할 수 있다. 예를 들면, 제 1 인코더(533)는 GA7 포맷의 콘텐츠를 인코딩할 수 있다. 이 후, 프로세서(530)는 제 1 포맷의 콘텐츠를 제 1 전자 장치(251)로 전송할 수 있다. 이에 따라, 제 1 전자 장치(251)는 제 1 포맷의 콘텐츠를 재생할 수 있다. 다른 실시예에 따르면, 프로세서(530)는 제 2 포맷의 콘텐츠를 제 2 전자 장치(253)로 전송할 수 있다. 이에 따라, 제 2 전자 장치(253)는 제 2 포맷의 콘텐츠를 재생할 수 있다. 예를 들면, 프로세서(530)는 멀티 채널 포맷의 콘텐츠를 도 9b 또는 도 10b에 도시된 바와 같은 제 2 전자 장치(253)의 제어 모듈(C)에 전송할 수 있다. 이에 따라, 제 2 전자 장치(253)의 제어 모듈(C)은 오디오 출력 디바이스들(FL, FR, FC, LFE, SL, SR; FL, FR, FC, LFE, SL, SR, SBL, SBR)을 이용하여, 멀티 채널 포맷의 콘텐츠를 재생할 수 있다.
한편, 1120 단계에서 콘텐츠의 제작 환경이 재생 환경에 부합하는 것으로 판단되면, 서버(230)는 1150 단계에서 전자 장치(150)로 설정된 포맷의 콘텐츠를 전송할 수 있다. 프로세서(530)는 콘텐츠의 포맷을 변환하지 않고 유지하면서, 통신 모듈(510)을 통해, 콘텐츠를 전자 장치(150)에 전송할 수 있다. 일 실시예에 따르면, 프로세서(530)는 제 1 포맷의 콘텐츠를 제 1 전자 장치(251)로 전달할 수 있다. 이 때, 제 1 인코더(533)는 통신 모듈(510)를 통해 수신되는 제 1 포맷의 콘텐츠를 인코딩할 수 있다. 예를 들면, 제 1 인코더(533)는 GA7 포맷의 콘텐츠를 인코딩할 수 있다. 이 후, 프로세서(530)는 제 1 포맷의 콘텐츠를 제 1 전자 장치(251)로 전송할 수 있다. 다른 실시예에 따르면, 프로세서(530)는 제 2 포맷의 콘텐츠를 제 2 전자 장치(253)로 전달할 수 있다. 이에 따라, 제 2 전자 장치(253)는 제 2 포맷의 콘텐츠를 재생할 수 있다. 또 다른 실시예에 따르면, 프로세서(530)는 제 3 포맷의 콘텐츠를 제 3 전자 장치(255)로 전달할 수 있다. 이 때, 제 2 인코더(537)가 통신 모듈(510)을 통해 수신되는 제 3 포맷의 콘텐츠를 인코딩할 수 있다. 이 후, 프로세서(530)는 제 3 포맷의 콘텐츠를 제 3 전자 장치(255)로 전송할 수 있다. 이에 따라, 제 3 전자 장치(255)는 제 3 포맷의 콘텐츠를 재생할 수 있다.
도 12는 다양한 실시예들에 따른 전자 장치(150)의 내부 구성을 도시하는 블록도이다.
도 12를 참조하면, 다양한 실시예들에 따른 전자 장치(150)는 연결 단자(1210), 통신 모듈(1220), 입력 모듈(1230), 표시 모듈(1240), 오디오 모듈(1250), 메모리(1260) 또는 프로세서(1270) 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 전자 장치(150)의 구성 요소들 중 적어도 어느 하나가 생략될 수 있으며, 적어도 하나의 다른 구성 요소가 추가될 수 있다. 어떤 실시예들에서, 전자 장치(150)의 구성 요소들 중 적어도 어느 두 개가 하나의 통합된 회로로 구현될 수 있다.
연결 단자(1210)는 전자 장치(150)에서 외부 장치와 물리적으로 연결될 수 있다. 예를 들면, 외부 장치는 다른 전자 장치를 포함할 수 있다. 이를 위해, 연결 단자(1210)는 적어도 하나의 커넥터를 포함할 수 있다. 예를 들면, 커넥터는 HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터 중 적어도 어느 하나를 포함할 수 있다.
통신 모듈(1220)은 전자 장치(150)에서 외부 장치와 통신을 수행할 수 있다. 통신 모듈(1220)은 전자 장치(150)와 외부 장치 간 통신 채널을 수립하고, 통신 채널을 통해 외부 장치와 통신을 수행할 수 있다. 예를 들면, 외부 장치는 컴퓨터 시스템(110), 특히 서버(230)를 포함할 수 있다. 통신 모듈(1220)은 유선 통신 모듈 또는 무선 통신 모듈 중 적어도 하나를 포함할 수 있다. 유선 통신 모듈은 연결 단자(1210)를 통해 외부 장치와 유선으로 연결되어, 유선으로 통신할 수 있다. 무선 통신 모듈은 근거리 통신 모듈 또는 원거리 통신 모듈 중 적어도 어느 하나를 포함할 수 있다. 근거리 통신 모듈은 외부 장치와 근거리 통신 방식으로 통신할 수 있다. 예를 들면, 근거리 통신 방식은, 블루투스, 와이파이 다이렉트, 또는 적외선 통신 중 적어도 어느 하나를 포함할 수 있다. 원거리 통신 모듈은 외부 장치와 원거리 통신 방식으로 통신할 수 있다. 여기서, 원거리 통신 모듈은 네트워크를 통해 외부 장치와 통신할 수 있다. 예를 들면, 네트워크는 셀룰러 네트워크, 인터넷, 또는 LAN이나 WAN과 같은 컴퓨터 네트워크 중 적어도 어느 하나를 포함할 수 있다.
입력 모듈(1230)은 전자 장치(150)의 적어도 하나의 구성 요소에 사용될 신호를 입력할 수 있다. 입력 모듈(1230)은, 사용자가 전자 장치(150)에 직접적으로 신호를 입력하도록 구성되는 입력 장치, 주변 환경을 감지하여 신호를 발생하도록 구성되는 센서 장치, 또는 영상을 촬영하여, 영상 데이터를 생성하도록 구성되는 카메라 모듈 중 적어도 어느 하나를 포함할 수 있다. 예를 들면, 입력 장치는 마이크로폰(microphone), 마우스(mouse), 또는 키보드(keyboard) 중 적어도 어느 하나를 포함할 수 있다. 어떤 실시예에서, 센서 장치는 헤드 트래킹(head tracking) 센서, 헤드 마운트 디스플레이(head-mounted display; HMD) 컨트롤러, 터치를 감지하도록 설정된 터치 회로(touch circuitry) 또는 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로 중 적어도 어느 하나를 포함할 수 있다.
표시 모듈(1240)은 정보를 시각적으로 표시할 수 있다. 예를 들면, 표시 모듈(1240)은 디스플레이, 헤드 마운트 디스플레이(HMD), 홀로그램 장치, 또는 프로젝터 중 적어도 어느 하나를 포함할 수 있다. 일 예로, 표시 모듈(1240)은 입력 모듈(1230)의 터치 회로 또는 센서 회로 중 적어도 어느 하나와 조립되어, 터치 스크린으로 구현될 수 있다.
오디오 모듈(1250)은 정보를 청각적으로 재생할 수 있다. 이 때, 오디오 모듈(1250)은 적어도 하나의 오디오 출력 디바이스를 포함할 수 있다. 예를 들면, 오디오 출력 디바이스는 스피커, 리시버, 이어폰 또는 헤드폰 중 적어도 어느 하나를 포함할 수 있다.
메모리(1260)는 전자 장치(150)의 적어도 하나의 구성 요소에 의해 사용되는 다양한 데이터를 저장할 수 있다. 예를 들면, 메모리(1260)는 휘발성 메모리 또는 비휘발성 메모리 중 적어도 어느 하나를 포함할 수 있다. 데이터는 적어도 하나의 프로그램 및 이와 관련된 입력 데이터 또는 출력 데이터를 포함할 수 있다. 프로그램은 메모리(1260)에 적어도 하나의 명령을 포함하는 소프트웨어로서 저장될 수 있으며, 예컨대 운영 체제, 미들 웨어, 또는 어플리케이션 중 적어도 어느 하나를 포함할 수 있다.
프로세서(1270)는 메모리(1260)의 프로그램을 실행하여, 전자 장치(150)의 적어도 하나의 구성 요소를 제어할 수 있다. 이를 통해, 프로세서(1270)는 데이터 처리 또는 연산을 수행할 수 있다. 이 때, 프로세서(1270)는 메모리(1260)에 저장된 명령을 실행할 수 있다. 프로세서(1270)는 서버(230)로부터 제공되는 콘텐츠를 재생할 수 있다. 프로세서(1270)는 표시 모듈(1240)을 통해, 비디오 콘텐츠를 재생할 수 있고, 오디오 모듈(1250)을 통해, 플레인 오디오 콘텐츠 또는 이머시브 오디오 콘텐츠 중 적어도 하나를 재생할 수 있다. 프로세서(1270)는 전자 장치(150)의 재생 환경에 따라, 콘텐츠를 재생할 수 있다. 이 때, 전자 장치(150)의 유형에 따라, 전자 장치(150)의 재생 환경이 결정될 수 있다.
일 실시예에 따르면, 전자 장치(150)가 제 1 전자 장치(251)인 경우, 프로세서(1270)는 통신 모듈(1220)을 통해, 서버(230)로부터 제 1 포맷의 콘텐츠를 수신하고, 이로써 제 1 포맷의 콘텐츠를 재생할 수 있다. 이 때, 제 1 포맷의 콘텐츠는 제 1 포맷의 콘텐츠는 이머시브 콘텐츠로서, 제 1 포맷에 따라 메타 데이터를 포함할 수 있다. 이러한 경우, 프로세서(1270)는 디코더(1275)를 포함할 수 있다. 디코더(1275)는 제 1 포맷의 콘텐츠를 디코딩할 수 있다. 즉, 서버(230)로부터 수신되는 제 1 포맷의 콘텐츠는 서버(230)의 제 1 인코더(533)에 의해 인코딩되어 있으므로, 디코더(1275)가 제 1 포맷의 콘텐츠를 디코딩할 수 있다. 그리고, 프로세서(1270)는 메타 데이터를 기반으로, 객체들과 관련된 오디오 신호들을 렌더링하여 재생할 수 있다. 이를 위해, 프로세서(1270)는 렌더러(renderer)를 더 포함할 수 있다. 이를 통해, 프로세서(1270)는 메타 데이터에서의 객체들의 공간적 특징들을 기반으로, 오디오 오디오 신호들을 렌더링할 수 있다. 이로써, 프로세서(1270)는 사용자 맞춤형 현장감을 실현할 수 있고, 제 1 전자 장치(251)의 사용자는 사용자 맞춤형 현장감을 느낄 수 있을 것이다.
일 예로, 메모리(1260)에는, 복수의 프리셋(preset)들이 저장될 수 있다. 이러한 경우, 프로세서(1270)는 제 1 포맷의 콘텐츠 내 메타 데이터를 프리셋으로서 메모리(1260)에 저장할 수 있다. 그리고, 사용자에 의해 프리셋들 중 하나가 선택되면, 프로세서(1270)는 선택된 프리셋의 메타 데이터를 기반으로, 객체들과 관련된 오디오 신호들을 렌더링하여 재생할 수 있다.
다른 실시예에 따르면, 전자 장치(150)가 제 2 전자 장치(253)인 경우, 프로세서(1270)는 통신 모듈(1220)을 통해, 서버(230)로부터 제 2 포맷의 콘텐츠를 수신하고, 이로써 제 2 포맷의 콘텐츠를 재생할 수 있다. 이 때, 제 2 포맷의 콘텐츠는 이머시브 콘텐츠로서, 제 1 포맷에 따라 메타 데이터를 포함할 수 있다. 이러한 경우, 프로세서(1270)는 메타 데이터를 기반으로, 객체들과 관련된 오디오 신호들을 복수의 오디오 출력 디바이스들을 통해 재생할 수 있다. 여기서, 제 2 전자 장치(253)에는 오디오 출력 디바이스들에 대한 레이아웃이 설정되어 있으며, 프로세서(1270)는 설정된 레이아웃에 따라 오디오 출력 디바이스들을 제어하여, 오디오 신호들을 재생할 수 있다. 이로써, 제 2 전자 장치(253)는 오디오 출력 디바이스들로부터 각각 출력되는 신호들의 조합으로부터, 사용자 맞춤형 현장감을 느낄 수 있을 것이다.
또 다른 실시예에 따르면, 전자 장치(150)가 제 3 전자 장치(255)인 경우, 프로세서(1270)는 통신 모듈(1220)을 통해, 서버(230)로부터 제 3 포맷의 콘텐츠를 수신하고, 이로써 제 3 포맷의 콘텐츠를 재생할 수 있다. 이 때, 제 3 포맷의 콘텐츠는 플레인 콘텐츠일 수 있다. 이러한 경우, 프로세서(1270)는 디코더(1275)를 포함할 수 있다. 디코더(1275)는 제 3 포맷의 콘텐츠를 디코딩할 수 있다. 즉, 서버(230)로부터 수신되는 제 3 포맷의 콘텐츠는 서버(230)의 제 2 인코더(537)에 의해 인코딩되어 있으므로, 디코더(1275)가 제 3 포맷의 콘텐츠를 디코딩할 수 있다. 그리고, 프로세서(1270)는 오디오 출력 디바이스를 통해 플레인 콘텐츠를 재생할 수 있다.
도 13은 다양한 실시예들에 따른 전자 장치(150)의 동작 절차를 도시하는 순서도이다.
도 13을 참조하면, 전자 장치(150)는 1310 단계에서 콘텐츠를 수신할 수 있다. 프로세서(1270)는 통신 모듈(1220)을 통해, 서버(230)로부터 콘텐츠를 수신할 수 있다. 이 때, 전자 장치(150)의 유형 또는 전자 장치(150)의 재생 환경에 부합하는 콘텐츠가 수신될 수 있다. 다음으로, 전자 장치(150)는 1320 단계에서 재생 환경에 따라, 콘텐츠를 재생할 수 있다.
일 실시예에 따르면, 전자 장치(150)가 제 1 전자 장치(251)인 경우, 프로세서(1270)는 제 1 포맷의 콘텐츠를 재생할 수 있다. 이 때, 제 1 포맷의 콘텐츠는 제 1 포맷의 콘텐츠는 이머시브 콘텐츠로서, 제 1 포맷에 따라 메타 데이터를 포함할 수 있다. 프로세서(1270)는 메타 데이터를 기반으로, 객체들과 관련된 오디오 신호들을 렌더링하여 재생할 수 있다. 이를 통해, 프로세서(1270)는 메타 데이터에서의 객체들의 공간적 특징들을 기반으로, 오디오 오디오 신호들을 렌더링할 수 있다. 이로써, 프로세서(1270)는 사용자 맞춤형 현장감을 실현할 수 있고, 제 1 전자 장치(251)의 사용자는 사용자 맞춤형 현장감을 느낄 수 있을 것이다.
일 예로, 메모리(1260)에는, 복수의 프리셋들이 저장될 수 있다. 이러한 경우, 프로세서(1270)는 제 1 포맷의 콘텐츠 내 메타 데이터를 프리셋으로서 메모리(1260)에 저장할 수 있다. 그리고, 사용자에 의해 프리셋들 중 하나가 선택되면, 프로세서(1270)는 선택된 프리셋의 메타 데이터를 기반으로, 객체들과 관련된 오디오 신호들을 렌더링하여 재생할 수 있다.
다른 실시예에 따르면, 전자 장치(150)가 제 2 전자 장치(253)인 경우, 프로세서(1270)는 제 2 포맷의 콘텐츠를 재생할 수 있다. 이 때, 제 2 포맷의 콘텐츠는 이머시브 콘텐츠로서, 제 1 포맷에 따라 메타 데이터를 포함할 수 있다. 이러한 경우, 프로세서(1270)는 메타 데이터를 기반으로, 객체들과 관련된 오디오 신호들을 복수의 오디오 출력 디바이스들을 통해 재생할 수 있다. 이로써, 제 2 전자 장치(253)는 오디오 출력 디바이스들로부터 각각 출력되는 신호들의 조합으로부터, 사용자 맞춤형 현장감을 느낄 수 있을 것이다.
또 다른 실시예에 따르면, 전자 장치(150)가 제 3 전자 장치(255)인 경우, 프로세서(1270)는 제 3 포맷의 콘텐츠를 재생할 수 있다. 이 때, 제 3 포맷의 콘텐츠는 플레인 콘텐츠일 수 있다. 그리고, 프로세서(1270)는 오디오 출력 디바이스를 통해 플레인 콘텐츠를 재생할 수 있다.
다양한 실시예들에 따르면, 컴퓨터 시스템(110)이 다양한 제작 환경들에서 제작되는 콘텐츠와 다양한 재생 환경들을 지원할 수 있다. 즉, 컴퓨터 시스템(110)은 콘텐츠를 재생 환경에 부합하는 포맷으로 전자 장치(150)에 제공할 수 있다. 이를 위해, 컴퓨터 시스템(110), 구체적으로 서버(230)는 제작 환경에서 설정되는 콘텐츠의 포맷을 재생 환경에 부합하도록 변환할 수 있다. 따라서, 컴퓨터 시스템(110)은 다양한 제작 환경들에서 제작되는 콘텐츠에 대해, 다양한 재생 환경들에서 사용자 맞춤형 현장감을 실현할 수 있다. 이 때, 컴퓨터 시스템(110)은 플레인 콘텐츠뿐 아니라 이머시브 콘텐츠도 처리할 수 있다. 다시 말해, 컴퓨터 시스템(110)은 다양한 재생 환경들에서 이머시브 콘텐츠에 따른 사용자 맞춤형 현장감이 실현되도록 할 수 있다.
다양한 실시예들에 따른 컴퓨터 시스템(110)에 의한 방법은, 복수의 객체들에 대한 공간적 특징들을 포함하는 메타 데이터를 포함하는 콘텐츠를 수신하는 단계(1110 단계), 전자 장치(150)에서의 콘텐츠의 재생 환경에 따라, 콘텐츠의 포맷을 변환하는 단계(1130 단계), 및 전자 장치(150)로 변환된 포맷의 콘텐츠를 전송하는 단계(1140 단계)를 포함할 수 있다.
다양한 실시예들에 따르면, 콘텐츠의 포맷은, 콘텐츠의 제작 환경에 따라, 설정될 수 있다.
다양한 실시예들에 따르면, 콘텐츠의 포맷은, 메타 데이터를 기반으로, 객체들과 관련된 오디오 신호들을 렌더링하여 재생하기 위한 제 1 포맷, 또는 메타 데이터를 기반으로, 객체들과 관련된 오디오 신호들을 복수의 오디오 출력 디바이스들을 통해 재생하기 위한 제 2 포맷 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 콘텐츠의 포맷을 변환하는 단계(1130 단계)는, 제 2 포맷의 콘텐츠를 제 1 포맷의 콘텐츠로 변환하는 단계를 포함할 수 있다.
예를 들면, 제 1 포맷의 콘텐츠로 변환하는 단계는, 제 2 포맷의 콘텐츠에서 메타 데이터를 검출하는 단계, 및 메타 데이터를 제 1 포맷으로 변환하는 단계를 포함할 수 있다.
다른 실시예에 따르면, 콘텐츠의 포맷을 변환하는 단계(1130 단계)는, 제 1 포맷의 콘텐츠를 제 2 포맷의 콘텐츠로 변환하는 단계를 포함할 수 있다.
예를 들면, 제 2 포맷의 콘텐츠로 변환하는 단계는, 재생 환경의 오디오 출력 디바이스들에 대한 레이아웃을 기반으로, 제 1 포맷의 콘텐츠를 제 2 포맷의 콘텐츠로 변환하는 단계를 포함할 수 있다.
다양한 실시예들에 따르면, 컴퓨터 시스템(110)에 의한 방법은, 콘텐츠에 대해 제작 환경과 재생 환경이 부합하는 경우, 콘텐츠의 포맷을 유지하면서, 전자 장치(150)로 콘텐츠를 전송하는 단계(1150 단계)를 더 포함할 수 있다.
다양한 실시예들에 따르면, 컴퓨터 시스템(110)에 의한 방법은, 복수의 오디오 신호들로 완성된 콘텐츠를 수신하는 단계, 및 전자 장치(150)로 완성된 콘텐츠를 전송하는 단계를 더 포함할 수 있다.
다양한 실시예들에 따른 컴퓨터 시스템(110)은, 메모리(520), 통신 모듈(510), 및 메모리(520) 및 통신 모듈(510)과 각각 연결되고, 메모리(520)에 저장된 적어도 하나의 명령을 실행하도록 구성된 프로세서(530)를 포함할 수 있다.
다양한 실시예들에 따르면, 프로세서(530)는, 통신 모듈(510)을 통해, 복수의 객체들에 대한 공간적 특징들을 포함하는 메타 데이터를 포함하는 콘텐츠를 수신하고, 전자 장치(150)에서의 콘텐츠의 재생 환경에 따라, 콘텐츠의 포맷을 변환하고, 통신 모듈(510)을 통해, 전자 장치(150)로 변환된 포맷의 콘텐츠를 전송하도록 구성될 수 있다.
다양한 실시예들에 따르면, 콘텐츠의 포맷은, 콘텐츠의 제작 환경에 따라, 설정될 수 있다.
다양한 실시예들에 따르면, 콘텐츠의 포맷은, 메타 데이터를 기반으로, 객체들과 관련된 오디오 신호들을 렌더링하여 재생하기 위한 제 1 포맷, 또는 메타 데이터를 기반으로, 객체들과 관련된 오디오 신호들을 복수의 오디오 출력 디바이스들을 통해 재생하기 위한 제 2 포맷 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 프로세서(530)는, 제 2 포맷의 콘텐츠를 제 1 포맷의 콘텐츠로 변환하도록 구성되는 제 1 변환 모듈(531)을 포함할 수 있다.
예를 들면, 제 1 변환 모듈(531)은, 제 2 포맷의 콘텐츠에서 메타 데이터를 검출하고, 메타 데이터를 제 1 포맷으로 변환하도록 구성될 수 있다.
다른 실시예에 따르면, 프로세서(530)는, 제 1 포맷의 콘텐츠를 제 2 포맷의 콘텐츠로 변환하도록 구성되는 제 2 변환 모듈(535)을 포함할 수 있다.
예를 들면, 제 2 변환 모듈(535)은, 재생 환경의 오디오 출력 디바이스들에 대한 레이아웃을 기반으로, 제 1 포맷의 콘텐츠를 제 2 포맷의 콘텐츠로 변환하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(530)는, 콘텐츠에 대해 제작 환경과 재생 환경이 부합하는 경우, 콘텐츠의 포맷을 유지하면서, 통신 모듈(510)을 통해, 전자 장치(150)로 콘텐츠를 전송하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(530)는, 통신 모듈(510)을 통해, 복수의 오디오 신호들로 완성된 콘텐츠를 수신하고, 통신 모듈(510)을 통해, 전자 장치(150)로 완성된 콘텐츠를 전송하도록 구성될 수 있다.
이상에서 설명된 장치는 하드웨어 구성 요소, 소프트웨어 구성 요소, 및/또는 하드웨어 구성 요소 및 소프트웨어 구성 요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성 요소는, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성 요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
다양한 실시예들에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이 때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 그리고, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성 요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성 요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성 요소를 다른 구성 요소와 구분하기 위해 사용될 뿐 해당 구성 요소들을 한정하지 않는다. 어떤(예: 제 1) 구성 요소가 다른(예: 제 2) 구성 요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성 요소가 상기 다른 구성 요소에 직접적으로 연결되거나, 다른 구성 요소(예: 제 3 구성 요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
다양한 실시예들에 따르면, 기술한 구성 요소들의 각각의 구성 요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성 요소들 중 하나 이상의 구성 요소들 또는 단계들이 생략되거나, 또는 하나 이상의 다른 구성 요소들 또는 단계들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성 요소들(예: 모듈 또는 프로그램)은 하나의 구성 요소로 통합될 수 있다. 이런 경우, 통합된 구성 요소는 복수의 구성 요소들 각각의 구성 요소의 하나 이상의 기능들을 통합 이전에 복수의 구성 요소들 중 해당 구성 요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 단계들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 단계들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 단계들이 추가될 수 있다.

Claims (20)

  1. 컴퓨터 시스템에 의한 방법에 있어서,
    복수의 객체들에 대한 공간적 특징들을 포함하는 메타 데이터를 포함하는 콘텐츠를 수신하는 단계;
    전자 장치에서의 상기 콘텐츠의 재생 환경에 따라, 상기 콘텐츠의 포맷을 변환하는 단계; 및
    상기 전자 장치로 상기 변환된 포맷의 상기 콘텐츠를 전송하는 단계
    를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 콘텐츠의 포맷은,
    상기 콘텐츠의 제작 환경에 따라, 설정되는,
    방법.
  3. 제 1 항에 있어서,
    상기 콘텐츠의 포맷은,
    상기 메타 데이터를 기반으로, 상기 객체들과 관련된 오디오 신호들을 렌더링하여 재생하기 위한 제 1 포맷, 또는
    상기 메타 데이터를 기반으로, 상기 객체들과 관련된 오디오 신호들을 복수의 오디오 출력 디바이스들을 통해 재생하기 위한 제 2 포맷
    중 적어도 하나를 포함하는,
    방법.
  4. 제 3 항에 있어서,
    상기 콘텐츠의 포맷을 변환하는 단계는,
    상기 제 2 포맷의 콘텐츠를 상기 제 1 포맷의 콘텐츠로 변환하는 단계
    를 포함하는,
    방법.
  5. 제 4 항에 있어서,
    상기 제 1 포맷의 콘텐츠로 변환하는 단계는,
    상기 제 2 포맷의 콘텐츠에서 상기 메타 데이터를 검출하는 단계; 및
    상기 메타 데이터를 상기 제 1 포맷으로 변환하는 단계
    를 포함하는,
    방법.
  6. 제 3 항에 있어서,
    상기 콘텐츠의 포맷을 변환하는 단계는,
    상기 제 1 포맷의 콘텐츠를 상기 제 2 포맷의 콘텐츠로 변환하는 단계
    를 포함하는,
    방법.
  7. 제 6 항에 있어서,
    상기 제 2 포맷의 콘텐츠로 변환하는 단계는,
    상기 재생 환경의 상기 오디오 출력 디바이스들에 대한 레이아웃을 기반으로, 상기 제 1 포맷의 콘텐츠를 상기 제 2 포맷의 콘텐츠로 변환하는 단계
    를 포함하는,
    방법.
  8. 제 2 항에 있어서,
    상기 콘텐츠에 대해 상기 제작 환경과 상기 재생 환경이 부합하는 경우, 상기 콘텐츠의 포맷을 유지하면서, 상기 전자 장치로 상기 콘텐츠를 전송하는 단계
    를 더 포함하는,
    방법.
  9. 제 1 항에 있어서,
    복수의 오디오 신호들로 완성된 콘텐츠를 수신하는 단계; 및
    전자 장치로 상기 완성된 콘텐츠를 전송하는 단계
    를 더 포함하는,
    방법.
  10. 제 1 항 내지 제 9 항 중 어느 한 항의 방법을 상기 컴퓨터 시스템에 실행시키기 위해 비-일시적인 컴퓨터 판독 가능한 기록 매체에 저장되는 컴퓨터 프로그램.
  11. 제 1 항 내지 제 9 항 중 어느 한 항의 방법을 상기 컴퓨터 시스템에 실행시키기 위한 프로그램이 기록되어 있는 비-일시적인 컴퓨터 판독 가능한 기록 매체.
  12. 컴퓨터 시스템에 있어서,
    메모리;
    통신 모듈; 및
    상기 메모리 및 상기 통신 모듈과 각각 연결되고, 상기 메모리에 저장된 적어도 하나의 명령을 실행하도록 구성된 프로세서를 포함하고,
    상기 프로세서는,
    상기 통신 모듈을 통해, 복수의 객체들에 대한 공간적 특징들을 포함하는 메타 데이터를 포함하는 콘텐츠를 수신하고,
    전자 장치에서의 상기 콘텐츠의 재생 환경에 따라, 상기 콘텐츠의 포맷을 변환하고,
    상기 통신 모듈을 통해, 상기 전자 장치로 상기 변환된 포맷의 상기 콘텐츠를 전송하도록
    구성되는,
    컴퓨터 시스템.
  13. 제 12 항에 있어서,
    상기 콘텐츠의 포맷은,
    상기 콘텐츠의 제작 환경에 따라, 설정되는,
    컴퓨터 시스템.
  14. 제 12 항에 있어서,
    상기 콘텐츠의 포맷은,
    상기 메타 데이터를 기반으로, 상기 객체들과 관련된 오디오 신호들을 렌더링하여 재생하기 위한 제 1 포맷, 또는
    상기 메타 데이터를 기반으로, 상기 객체들과 관련된 오디오 신호들을 복수의 오디오 출력 디바이스들을 통해 재생하기 위한 제 2 포맷
    중 적어도 하나를 포함하는,
    컴퓨터 시스템.
  15. 제 14 항에 있어서,
    상기 프로세서는,
    상기 제 2 포맷의 콘텐츠를 상기 제 1 포맷의 콘텐츠로 변환하도록 구성되는 제 1 변환 모듈
    을 포함하는,
    컴퓨터 시스템.
  16. 제 15 항에 있어서,
    상기 제 1 변환 모듈은,
    상기 제 2 포맷의 콘텐츠에서 상기 메타 데이터를 검출하고,
    상기 메타 데이터를 상기 제 1 포맷으로 변환하도록
    구성되는,
    컴퓨터 시스템.
  17. 제 14 항에 있어서,
    상기 프로세서는,
    상기 제 1 포맷의 콘텐츠를 상기 제 2 포맷의 콘텐츠로 변환하도록 구성되는 제 2 변환 모듈
    을 포함하는,
    컴퓨터 시스템.
  18. 제 17 항에 있어서,
    상기 제 2 변환 모듈은,
    상기 재생 환경의 상기 오디오 출력 디바이스들에 대한 레이아웃을 기반으로, 상기 제 1 포맷의 콘텐츠를 상기 제 2 포맷의 콘텐츠로 변환하도록
    구성되는,
    컴퓨터 시스템.
  19. 제 13 항에 있어서,
    상기 프로세서는,
    상기 콘텐츠에 대해 상기 제작 환경과 상기 재생 환경이 부합하는 경우, 상기 콘텐츠의 포맷을 유지하면서, 상기 통신 모듈을 통해, 상기 전자 장치로 상기 콘텐츠를 전송하도록
    구성되는,
    컴퓨터 시스템.
  20. 제 12 항에 있어서,
    상기 프로세서는,
    상기 통신 모듈을 통해, 복수의 오디오 신호들로 완성된 콘텐츠를 수신하고,
    상기 통신 모듈을 통해, 전자 장치로 상기 완성된 콘텐츠를 전송하도록
    구성되는,
    컴퓨터 시스템.
KR1020210083681A 2021-06-28 2021-06-28 사용자 맞춤형 현장감 실현을 위한 오디오 콘텐츠를 처리하는 컴퓨터 시스템 및 그의 방법 KR20230001135A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210083681A KR20230001135A (ko) 2021-06-28 2021-06-28 사용자 맞춤형 현장감 실현을 위한 오디오 콘텐츠를 처리하는 컴퓨터 시스템 및 그의 방법
US17/809,337 US20220417693A1 (en) 2021-06-28 2022-06-28 Computer system for processing audio content and method thereof
JP2022103609A JP2023008889A (ja) 2021-06-28 2022-06-28 ユーザカスタム型の臨場感を実現するためのオーディオコンテンツを処理するコンピュータシステムおよびその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210083681A KR20230001135A (ko) 2021-06-28 2021-06-28 사용자 맞춤형 현장감 실현을 위한 오디오 콘텐츠를 처리하는 컴퓨터 시스템 및 그의 방법

Publications (1)

Publication Number Publication Date
KR20230001135A true KR20230001135A (ko) 2023-01-04

Family

ID=84541692

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210083681A KR20230001135A (ko) 2021-06-28 2021-06-28 사용자 맞춤형 현장감 실현을 위한 오디오 콘텐츠를 처리하는 컴퓨터 시스템 및 그의 방법

Country Status (3)

Country Link
US (1) US20220417693A1 (ko)
JP (1) JP2023008889A (ko)
KR (1) KR20230001135A (ko)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1552723A4 (en) * 2002-10-15 2010-02-17 Korea Electronics Telecomm APPARATUS AND METHOD FOR ADAPTING AUDIO SIGNAL TO THE PREFERENCE OF A USER
WO2014021588A1 (ko) * 2012-07-31 2014-02-06 인텔렉추얼디스커버리 주식회사 오디오 신호 처리 방법 및 장치
US9805725B2 (en) * 2012-12-21 2017-10-31 Dolby Laboratories Licensing Corporation Object clustering for rendering object-based audio content based on perceptual criteria
JP6192813B2 (ja) * 2013-05-24 2017-09-06 ドルビー・インターナショナル・アーベー オーディオ・オブジェクトを含むオーディオ・シーンの効率的な符号化
EP2830334A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel audio decoder, multi-channel audio encoder, methods, computer program and encoded audio representation using a decorrelation of rendered audio signals
WO2015080967A1 (en) * 2013-11-28 2015-06-04 Dolby Laboratories Licensing Corporation Position-based gain adjustment of object-based audio and ring-based channel audio
WO2015177224A1 (en) * 2014-05-21 2015-11-26 Dolby International Ab Configuring playback of audio via a home audio playback system
US9934790B2 (en) * 2015-07-31 2018-04-03 Apple Inc. Encoded audio metadata-based equalization

Also Published As

Publication number Publication date
US20220417693A1 (en) 2022-12-29
JP2023008889A (ja) 2023-01-19

Similar Documents

Publication Publication Date Title
JP6676801B2 (ja) マルチチャンネル音声コンテンツを表すビットストリームを生成する方法、およびデバイス
US11962993B2 (en) Grouping and transport of audio objects
KR102505249B1 (ko) 사용자 맞춤형 현장감 실현을 위한 오디오 콘텐츠를 전송하는 컴퓨터 시스템 및 그의 방법
US20170098452A1 (en) Method and system for audio processing of dialog, music, effect and height objects
US20230370803A1 (en) Spatial Audio Augmentation
US11930348B2 (en) Computer system for realizing customized being-there in association with audio and method thereof
US11930349B2 (en) Computer system for producing audio content for realizing customized being-there and method thereof
US10667074B2 (en) Game streaming with spatial audio
JP7288760B2 (ja) インタラクティブなオーディオメタデータの操作
TW202105164A (zh) 用於低頻率效應之音訊呈現
US11729574B2 (en) Spatial audio augmentation and reproduction
KR20230001135A (ko) 사용자 맞춤형 현장감 실현을 위한 오디오 콘텐츠를 처리하는 컴퓨터 시스템 및 그의 방법