KR102648151B1 - 동적 렌더링 디바이스 메타데이터 정보에 근거한 오디오 향상 시스템 - Google Patents

동적 렌더링 디바이스 메타데이터 정보에 근거한 오디오 향상 시스템 Download PDF

Info

Publication number
KR102648151B1
KR102648151B1 KR1020227020078A KR20227020078A KR102648151B1 KR 102648151 B1 KR102648151 B1 KR 102648151B1 KR 1020227020078 A KR1020227020078 A KR 1020227020078A KR 20227020078 A KR20227020078 A KR 20227020078A KR 102648151 B1 KR102648151 B1 KR 102648151B1
Authority
KR
South Korea
Prior art keywords
audio
rendering system
enhancement
system information
audio signal
Prior art date
Application number
KR1020227020078A
Other languages
English (en)
Other versions
KR20220101153A (ko
Inventor
재커리 셀데스
요셉 안토니 3세 마리글리오
폴 리커
다니엘 엘워시 로스
라파엘 알베르토 멜가르
추안 쉬에
Original Assignee
붐클라우드 360 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 붐클라우드 360 인코포레이티드 filed Critical 붐클라우드 360 인코포레이티드
Publication of KR20220101153A publication Critical patent/KR20220101153A/ko
Application granted granted Critical
Publication of KR102648151B1 publication Critical patent/KR102648151B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/05—Detection of connection of loudspeakers or headphones to amplifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)
  • Stereophonic System (AREA)

Abstract

디바이스는 오디오 렌더링 시스템의 속성에 기초하여 향상된 오디오를 렌더링한다. 예를 들어, 오디오 렌더링 시스템에 최적화된 오디오 향상을 결정하기 위해 디바이스와 연관된 오디오 렌더링 시스템의 오디오 렌더링 시스템 정보가 사용된다. 디바이스(예컨대, 모바일 폰)의 OS는 오디오 렌더링 시스템 정보를 결정하기 위한 질의를 받는다. 오디오 렌더링 시스템 정보는 예컨대 렌더링 시스템 정보와 오디오 향상 간의 연관성을 저장하는 데이터베이스에 질의함으로써 오디오 향상을 결정하는 데 사용된다. 오디오 향상은 예를 들어 하나 이상의 유형의 오디오 처리(예컨대, 부대역 공간 처리, 크로스토크 처리 등) 및 오디오 처리를 위한 특정 파라미터를 포함할 수 있다. 오디오 향상은 오디오 신호에 적용되어 향상된 오디오 신호를 생성하고 이것이 오디오 렌더링 시스템에 제공된다.

Description

동적 렌더링 디바이스 메타데이터 정보에 근거한 오디오 향상 시스템
관련 출원에 대한 상호참조
본 출원은 2019년 11월 15일자로 출원된 미국 가출원 번호 제62/936,327호 및 2020년 6월 15일자로 출원된 미국 출원 번호 제16/902,044호의 이익을 주장하는데, 이들은 그 전체가 참조에 의해 통합된다.
기술분야
본 개시물은 일반적으로 오디오 향상(audio enhancement)에 관한 것으로, 보다 구체적으로는 디바이스 메타데이터 정보에 근거한 오디오 향상에 관한 것이다.
오디오 렌더링 시스템(예컨대, 스피커 또는 헤드폰)은 다양한 역량 및 제한을 갖는 서로 다른 특성을 포함할 수 있다. 예를 들어, 상이한 모바일 디바이스(예컨대, 스마트폰)는 상이한 수의 스피커를 포함할 수 있다. 스피커는 스피커의 품질이나 크기에 의존하는 서로 다른 주파수 응답을 포함할 수 있다. 스피커는 디바이스 상의 상이한 위치에 있거나 상이한 방향으로 배향될 수 있다. 다른 예로, 스피커는 함께 제조된 SoC(System-on-Chip)에 의해 제한된 역량을 가질 수 있다. 사용자들은 오디오 렌더링 시스템의 속성에 따라 의도하지 않거나 바람직하지 않은 방식을 포함하여 상이한 방식으로 오디오 콘텐츠를 경험할 수 있다. 이와 같이, 오디오 렌더링 시스템의 차이를 보상하기 위해 오디오 콘텐츠를 조정할 수 있는 것이 바람직하다.
실시예는 디바이스 메타데이터를 사용하는 오디오 향상에 관한 것이다. 본 명세서에 설명된 오디오 향상 시스템은 오디오 향상을 적용함으로써 향상된 오디오 신호를 렌더링할 수 있는데, 오디오 향상은 오디오 신호를 출력하도록 구성된 디바이스 또는 오디오 렌더링 시스템에 특정적(specific)이다. 오디오 향상 시스템은 디바이스-특정 향상을 결정하기 위해 디바이스의 운영 체제(OS)에 질의함으로써 향상된 오디오 신호의 디바이스-특정 렌더링을 제공할 수 있다. 일부 실시예에서, 오디오 향상 시스템은 디바이스 상에 위치한다. 다른 실시예에서, 오디오 향상 시스템은 네트워크를 통해 디바이스(예컨대, 클라이언트 디바이스)에 접속된 서버에 위치한다.
일부 실시예에서, 오디오 향상 시스템은 디바이스의 OS에 질의함으로써 디바이스와 연관된 오디오 렌더링 시스템의 렌더링 시스템 정보를 결정한다. 예를 들어, 오디오 향상 시스템은 모바일 디바이스의 제조업체 및 현재 방향을 판정하기 위해 모바일 디바이스(예컨대, 모바일 폰)의 OS에 질의한다. 오디오 향상 시스템은 렌더링 시스템 정보에 기초하여 오디오 신호(예컨대, 향상 이전에 디바이스와 연관된 오디오 렌더링 시스템에 의해 출력된 신호)에 대한 오디오 향상을 결정할 수 있다. 예를 들어, 오디오 향상 시스템은 오디오 신호의 부대역 처리(subband processing)를 포함하는 오디오 향상을 결정하는데, 부대역 처리의 특정 속성은 모바일 디바이스의 특정 제조업체 및 현재 방향에 매핑된다. 오디오 향상 시스템은 오디오 향상을 오디오 신호에 적용하여 향상된 오디오 신호를 생성할 수 있다. 예를 들어, 오디오 향상 시스템은 향상 전에 모바일 디바이스가 출력하도록 구성되었던 오디오 신호에 부대역 처리를 적용한다. 오디오 향상 시스템은 향상된 오디오 신호를 오디오 렌더링 시스템에 제공할 수 있다. 예를 들어, 오디오 향상 시스템이 모바일 디바이스 상에 위치하면, 향상된 신호는 버스 또는 모바일 디바이스의 다른 통신 채널을 통해 오디오 렌더링 시스템으로 전송될 수 있다. 다른 예에서, 오디오 향상 시스템은, 모바일 디바이스에 대해 원격 서버에 위치하는 경우, 모바일 디바이스와 연관된 오디오 렌더링 시스템(예컨대, 모바일 디바이스와 통합된 스피커, 또는 모바일 디바이스에 통신 가능하게 결합된 하나 이상의 주변 무선 또는 유선 스피커)을 통해 재생되도록 무선 네트워크(예컨대, 셀룰러 통신 네트워크, 인터넷 등)를 통해 모바일 디바이스에 향상된 신호를 전송한다.
일부 실시예는 디바이스를 포함한다. 디바이스는 오디오 신호를 향상시키도록 구성된 오디오 렌더링 시스템 및 회로를 포함한다. 특히, 회로는 디바이스와 연관된 오디오 렌더링 시스템의 렌더링 시스템 정보를 결정하고, 렌더링 시스템 정보에 기초하여 오디오 신호에 대한 오디오 향상을 결정하고, 오디오 향상을 오디오 신호에 적용하여 향상된 오디오 신호를 생성하고, 향상된 오디오 신호를 오디오 렌더링 시스템에 제공하도록 구성된다.
일부 실시예는 명령어를 저장하는 비일시적 컴퓨터 판독가능 매체를 포함하는데, 명령어는, 하나 이상의 프로세서에 의해 실행될 때, 디바이스의 운영 체제에 질의함으로써 디바이스와 연관된 오디오 렌더링 시스템의 렌더링 시스템 정보를 결정하고, 렌더링 시스템 정보에 기초하여 오디오 신호에 대한 오디오 향상을 결정하고, 오디오 향상을 오디오 신호에 적용하여 향상된 오디오 신호를 생성하고, 향상된 오디오 신호를 오디오 렌더링 시스템에 제공하도록 하나 이상의 프로세서를 구성한다.
개시된 실시예는 상세한 설명, 첨부된 청구범위, 및 첨부 도면으로부터 보다 쉽게 명백해질 다른 이점 및 특징을 갖는다. 도면에 대한 간략한 소개는 아래와 같다.
도 1은 적어도 하나의 실시예에 따른, 오디오 향상 시스템이 동작하는 통신 환경을 도시하는 네트워크도이다.
도 2는 적어도 하나의 실시예에 따른, 도 1의 오디오 향상 시스템의 블록도이다.
도 3은 적어도 하나의 실시예에 따른, 향상된 오디오 신호를 제공하기 위한 프로세스의 흐름도이다.
도 4는 적어도 하나의 실시예에 따른, 디바이스의 내장 오디오 렌더링 시스템을 통해 향상된 오디오 신호를 제공할 때 렌더링 시스템 정보를 결정하기 위한 프로세스의 흐름도이다.
도 5는 적어도 하나의 실시예에 따른, 무선 접속을 통해 디바이스에 통신 가능하게 결합된 오디오 렌더링 시스템을 통해 향상된 오디오 신호를 제공할 때 렌더링 시스템 정보를 결정하기 위한 프로세스의 흐름도이다.
도 6은 적어도 하나의 실시예에 따른, 유선 접속을 통해 오디오 렌더링 시스템에 통신 가능하게 결합된 디바이스를 통해 향상된 오디오 신호를 제공할 때 렌더링 시스템 정보를 결정하기 위한 프로세스의 흐름도이다.
도 7은 적어도 하나의 실시예에 따른 컴퓨터의 블록도이다.
도면 및 다음 설명은 단지 예시를 위한 바람직한 실시예에 관한 것이다. 다음의 논의로부터, 청구된 것의 원리를 벗어나지 않으면서 채용될 수 있는 실행 가능한 대안으로서 본 명세서에 개시된 구조 및 방법의 대안적인 실시예가 쉽게 인식될 것이라는 점에 유의해야 한다.
이제, 첨부 도면에 그 예가 도시되어 있는 몇몇 실시예를 상세히 참조할 것이다. 실현 가능하다면 어디에서나 유사하거나 동일한 참조 번호가 도면에 사용되어 유사하거나 동일한 기능을 나타낼 수 있음에 유의한다. 도면은 단지 예시의 목적으로 개시된 시스템(또는 방법)의 실시예를 도시한다. 당업자는 본 명세서에 기재된 원리로부터 벗어남이 없이 본 명세서에 예시된 구조 및 방법의 대안적인 실시예가 채용될 수 있음을 다음의 설명으로부터 용이하게 인식할 것이다.
예시적 오디오 향상 시스템 아키텍처
도 1은 오디오 향상 시스템(150)이 동작하는 통신 환경(100)을 도시하는 네트워크도이다. 통신 환경(100)은 네트워크(110), 디바이스(120, 130, 140, 141), 및 오디오 향상 시스템(150)을 포함한다. 대안적인 구성에서는 상이한 및/또는 추가 구성요소가 통신 환경(100)에 포함될 수 있다. 예를 들어, 임의의 디바이스(120, 130 또는 140)에 관한 오디오 렌더링 데이터를 검색하기 위해, 비록 도시되지는 않았지만, 원격 데이터베이스가 네트워크(110)를 통해 오디오 향상 시스템(150)에 의해 액세스될 수 있다. 일부 실시예에서, 오디오 렌더링 데이터를 검색하기 위한 데이터베이스는 (예컨대, 도 2에 도시된 바와 같이) 오디오 향상 시스템(150)의 일부일 수 있다.
네트워크(110)는 적어도 하나의 디바이스(예컨대, 디바이스(120), 디바이스(130), 및 디바이스(140)) 및 오디오 향상 시스템(150)과 통신 가능하게 결합된다. 네트워크(110)는 인터넷, 케이블 네트워크, 모바일 폰 네트워크, 광섬유 네트워크, 또는 임의의 적절한 유형의 통신 네트워크를 포함하는 하나 이상의 네트워크일 수 있다.
오디오 향상 시스템(150)은, 도 1에서는 디바이스(120, 130, 140)와 분리된 것으로 도시되어 있지만(예컨대, 디바이스에 결합된 원격 서버에 위치함), 디바이스(120, 130, 140), 또는 오디오를 렌더링할 수 있는 임의의 적절한 디바이스에 통합될 수 있다. 예를 들어, 디바이스(120)는 본 명세서에 설명된 오디오 향상 시스템(150)에 의해 수행되는 바와 같이 오디오를 처리하고 향상시키는 로컬 오디오 향상 시스템(151)을 사용하여 애플리케이션을 실행할 수 있다. 소프트웨어 모듈(예컨대, 운영 체제 질의 모듈(200)) 및 데이터베이스(예컨대, 데이터베이스(210))와 같은 오디오 향상 시스템(150)의 구성요소 중 일부 또는 전부는 디바이스에 통합될 수 있다.
디바이스(120, 130, 140)는 각각 모바일 폰, 무선 스피커 및 스마트 텔레비전이다. 디바이스는 모바일 폰, 블루투스(Bluetooth) 스피커(블루투스는 Bluetooth Special Interest Group의 상표임)와 같은 무선 스피커, 스마트 워치, 웨어러블 디바이스, 가상 현실 또는 증강 현실 디바이스, 스마트 안경, 유선 또는 무선 헤드폰, 유선 또는 무선 스피커, 스마트 텔레비전(TV), 랩톱 컴퓨터, 태블릿 컴퓨터, 개인용 컴퓨터, 비디오 게임 콘솔, 또는 오디오 콘텐츠를 렌더링하기 위한 오디오 렌더링 시스템을 포함하는 임의의 적절한 전자 디바이스를 포함할 수 있다.
디바이스(120, 130, 140)의 각각은 오디오 렌더링 시스템과 연관될 수 있다. 오디오 렌더링 시스템은 디바이스 내에 위치하거나 주변에서 디바이스에 접속될 수 있다. 예를 들어, 모바일 폰은 스피커를 포함하는 내장 오디오 렌더링 시스템을 갖는다. 일부 실시예에서, 오디오 렌더링 시스템은 다른 디바이스에 대한 주변 디바이스일 수 있다. 예를 들어, 태블릿 컴퓨터는, 예컨대, 오디오 신호를 블루투스 스피커로 전송하기 위한 블루투스 A2DP(Advanced Audio Distribution Profile) 표준을 사용함으로써, 블루투스 스피커를 포함하는 오디오 렌더링 시스템과 통신할 수 있다. 디바이스는 접속을 용이하게 하는 외부 네트워크 라우팅 장비 없이 별도의 오디오 렌더링 시스템에 결합될 수 있다. 예를 들어, 모바일 폰인 디바이스(120)는, Wi-Fi 라우터(Wi-Fi는 Wi-Fi Alliance의 상표임)와 같은 네트워크(110)에 포함된 네트워크 라우팅 장비 없이도, 내장 블루투스 통신 시스템을 사용하여 무선 스피커인 디바이스(130)와 통신할 수 있다. 이 예에서, 디바이스(130)는 디바이스(120)와 연관된 오디오 렌더링 시스템으로서 사용되며, 디바이스(120)의 본래의 오디오 렌더링 시스템은 비활성화된다. 다른 예에서, 스마트 TV 플랫폼인 디바이스(140)는 디바이스(141)에 대한 접속을 지원할 수 있다(예컨대, 아날로그 오디오 잭, 유선 USB 접속, 또는 블루투스를 통한 유선 또는 무선 헤드폰을 지원함). 이 예에서, 디바이스(141)는 디바이스(140)와 연관된 오디오 렌더링 시스템으로서 사용되며, 디바이스(140)의 본래의 오디오 렌더링 시스템은 비활성화된다.
일부 실시예에서, 디바이스와 연관된 오디오 렌더링 시스템은 렌더링 시스템 정보에 의해 특징지어진다. 렌더링 시스템 정보는, 오디오 렌더링 시스템을 포함하는 디바이스의 고유 디바이스 식별자, 오디오 렌더링 시스템을 포함하는 디바이스의 모델 식별자 또는 제품 식별자, 사용자에 대한 디바이스 또는 오디오 렌더링 시스템의 위치 또는 방향, 오디오 렌더링 시스템을 포함하는 디바이스의 디바이스 종류, 오디오 렌더링 시스템으로 전송되는 오디오 신호의 통신 경로, 디바이스에 의해 사용되는 오디오 코덱, 또는 이들의 임의의 적절한 조합과 같은, 오디오 렌더링 시스템의 음향 속성을 나타내는 다양한 유형의 데이터를 포함할 수 있다.
고유 디바이스 식별자는 특정 디바이스를 식별하는 식별자이다. 고유 디바이스 식별자는 디바이스 일련 번호, IMEI(International Mobile Equipment Identity) 번호 또는 (예컨대, 블루투스 스피커 디바이스에 대한) 블루투스 주소를 포함할 수 있다. 모델 식별자 또는 제품 식별자는 특정 제품을 정의한다. 모델 식별자 또는 제품 식별자는 SKU(Stock Keeping Unit) 번호, MID(manufacturer ID), 또는 제품명 또는 모델명일 수 있다. 사용자에 대한 디바이스 또는 오디오 렌더링 시스템의 위치 또는 방향은 사용자가 디바이스(예컨대, 통합된 스피커를 가짐) 또는 오디오 렌더링 시스템을 배치한 방식을 정의한다. 예를 들어, 디바이스(예컨대, 스마트폰 또는 태블릿)는 사용자가 디바이스를 어떻게 잡고 있는지에 따라 세로 또는 가로 모드로 동작할 수 있으며, 어떤 스피커가 좌측 스피커로 동작하고 어떤 스피커가 우측 스피커로 동작할지를 변경할 수 있다. 다른 예에서, 통화 중의 모바일 폰의 방향은 어떤 스피커(들)가 오디오 콘텐츠를 렌더링하는 데 사용되고 있는지를 나타낼 수 있다. 오디오 렌더링 시스템의 디바이스 종류는 모바일 폰, 태블릿, 개인용 컴퓨터, 자동차, 스피커, 헤드폰, 웨어러블, 시청각(A/V) 수신기, TV, 사운드 바, 또는 오디오를 출력할 수 있는 디바이스에 대한 임의의 다른 적절한 범주와 같은 디바이스 범주를 정의한다. 오디오 신호의 통신 경로는 오디오 콘텐츠가 오디오 렌더링 시스템으로 전송되는 방식을 정의한다. 통신 경로는 디바이스와 통합된 스피커 또는 주변 디바이스의 스피커를 포함할 수 있다. 통신 경로는, 모바일 폰 또는 태블릿 상의 내장 스피커를 통한 경로, 블루투스 A2DP를 통한 무선 통신(예컨대, 무선 스트리밍), 미러링된 화면들 사이의 Wi-Fi 지원 디스플레이와 같은 Wi-Fi를 통한 무선 통신, 모바일 폰에 접속된 유선 헤드폰과 같은 아날로그 케이블 접속을 통한 통신, HDMI(high-definition multimedia interface)를 통한 통신(HDMI는 HDMI Licensing Administrator, Inc.의 상표임), 또는 모바일 폰에 접속된 다른 케이블 접속 유형을 통한 통신을 포함할 수 있다. 오디오 코덱은 오디오 콘텐츠를 인코딩하거나 디코딩하는 디바이스에 의해 사용되는 프로그램을 정의하며, 이 정보는 제조업체 또는 디바이스에 대한 다른 정보를 나타낼 수 있다.
오디오 향상 시스템(150)은 디바이스(120, 130, 140)로부터 오디오 렌더링 시스템에 대한 렌더링 시스템 정보를 수신할 수 있다. 일부 실시예에서, 오디오 향상 시스템(150)은 수신된 렌더링 시스템 정보를 사용하여 오디오 신호에 대한 오디오 향상을 결정하고, 오디오 향상을 오디오 신호에 적용하여 향상된 오디오 신호를 생성하고, 향상된 오디오 신호를 디바이스(120, 130 또는 140)와 연관된 오디오 렌더링 시스템에 제공한다. 오디오 향상 시스템(150)은 본 명세서에서 논의된 다양한 동작을 수행하는 소프트웨어 모듈을 실행하도록 구성된 처리 회로를 포함할 수 있다. 일부 실시예에서, 오디오 향상 시스템(150)은 오디오 렌더링 시스템에 특정적인 오디오 향상을 결정하기 위한 적어도 하나의 데이터베이스(예컨대, 렌더링 시스템 정보를 규정된 오디오 향상에 매핑하는 데이터베이스)를 유지한다. 일부 실시예에서, 오디오 향상을 결정하기 위한 데이터베이스는, 네트워크(예컨대, 네트워크(110))를 통해 액세스될 수 있고 오디오 향상 시스템(150)에 의해 국부적으로 저장되지 않는 온라인 데이터베이스일 수 있다. 오디오 향상 시스템(150)은 도 2의 설명에서 추가로 설명된다.
오디오 향상 시스템
도 2는 도 1의 오디오 향상 시스템(150)의 블록도이다. 오디오 향상 시스템(150)은 운영 체제 질의 모듈(200), 오디오 향상기(220), 및 향상된 신호 통신기(230)와 같은 복수의 소프트웨어 모듈을 포함한다. 오디오 향상 시스템(150)은 오디오 향상 구성에 대한 렌더링 시스템 정보들 간의 연관성을 저장하는 오디오 향상 데이터베이스(210)를 더 포함한다.
운영 체제 질의 모듈(200)은 디바이스의 OS에 질의함으로써 디바이스와 연관된 오디오 렌더링 시스템의 렌더링 시스템 정보를 결정하도록 구성된다. 디바이스의 운영 체제는 디바이스 및 디바이스와 연관된 오디오 렌더링 시스템을 동작시키고, 따라서 운영 체제는 본 명세서에서 논의되는 하나 이상의 유형의 렌더링 시스템 정보에 대해 알고 있을 수 있다. 운영 체제 질의 모듈(200)은 디바이스의 OS에 질의하고, 이어서 OS는 렌더링 시스템 정보를 검색하고 렌더링 시스템 정보를 운영 체제 질의 모듈(200)에 제공한다. 운영 체제 질의 모듈(200)은 렌더링 시스템 정보를 오디오 향상기(220)에 출력할 수 있다. 일부 실시예에서, 운영 체제 질의 모듈(200)은 상이한 유형의 렌더링 시스템 정보를 질의하기 위한 소프트웨어 서브모듈을 포함할 수 있다. 일 예에서, 운영 체제 질의 모듈(200)은 스마트 TV 플랫폼이 HDMI를 통해 통신 가능하게 결합된 TV 모니터에 대한 EDID(extended display identification data)에 대해 스마트 TV 플랫폼의 OS에 질의한다. 본 명세서에서 언급될 때, "스마트 TV 플랫폼"은, 표준 TV 세트의 구성요소에 통신 가능하게 결합될 때 미디어의 저장, 재생 또는 보기를 용이하게 하도록 구성된 마이크로콘솔(예컨대, 셋톱 박스, 디지털 미디어 플레이어, 또는 스트리밍 박스)을 지칭한다. 다른 예에서, 운영 체제 질의 모듈(200)은, 안드로이드(Android) OS의 BluetoothClassDevice 종류(안드로이드는 Google LLC의 상표임) API(application programming interface)를 사용하여, 모바일 폰에 통신 가능하게 결합된 블루투스 스피커의 디바이스 종류 정보에 대해 모바일 폰의 OS에 질의한다.
예를 들어, 운영 체제 질의 모듈(200)은 디바이스의 고유 디바이스 식별자 또는 오디오 렌더링 시스템의 임의의 적절한 고유 식별자를 판정하기 위해 디바이스의 OS에 질의한다. 예를 들어, 운영 체제 질의 모듈(200)은 모바일 폰의 고유 15자리 IMEI 번호를 판정하기 위해 모바일 폰의 OS에 질의한다. 다른 예에서, 운영 체제 질의 모듈(200)은 스피커의 블루투스 스피커 주소를 판정하기 위해 블루투스 스피커와 통신 가능하게 결합된 모바일 폰의 OS에 질의한다. 다른 예에서, 운영 체제 질의 모듈(200)은 차량의 스피커에 대한 고유 디바이스 식별자를 판정하기 위해 차량의 오디오 렌더링 시스템과 통신 가능하게 결합된 모바일 폰의 OS에 질의한다.
운영 체제 질의 모듈(200)은 디바이스에서 오디오 신호의 통신 경로를 판정하기 위해 디바이스의 OS에 질의한다. 예를 들어, 운영 체제 질의 모듈(200)은 모바일 폰의 OS에 질의하여 오디오가 대체 통신 경로인 헤드폰 잭을 통해 접속된 헤드폰을 통해 라우팅되는 것이 아니라 모바일 폰의 내장 스피커를 통해 라우팅된다고 판정한다. 다른 예에서, 운영 체제 질의 모듈(200)은 한 쌍의 블루투스 스피커와 통신 가능하게 결합된 모바일 폰의 OS에 질의하여 오디오가 블루투스 A2DP를 통해 블루투스 스피커로 통신된다고 판정한다. 추가적인 예로서, 운영 체제 질의 모듈(200)은 차량의 오디오 시스템과 통신 가능하게 결합된 모바일 폰의 OS에 질의하여 오디오가 모바일 폰과 차량의 오디오 시스템 사이의 접속(예컨대, USB(universal serial bus) 유선 접속 또는 블루투스 무선 접속)을 통해 통신된다고 판정한다.
운영 체제 질의 모듈(200)은 디바이스의 사용 사례 정보를 판정하기 위해 디바이스의 OS에 질의한다. 본 명세서에서 언급될 때, "사용 사례 정보"는 활성 통신 경로에 관한 메타데이터로서, 메타데이터는 오디오 신호와 연관된 애플리케이션을 나타낸다. 예를 들어, 사용 사례 정보는 특정 통신 경로를 통한 오디오 신호가 전화 통화, 음악 재생, 비디오 재생, 게임, 또는 디바이스로부터의 오디오 출력과 동시에 디바이스에 의해 실행되는 임의의 다른 적절한 애플리케이션을 위한 것임을 나타낼 수 있다. 또한, 사용 사례 정보는 오디오 신호가 사용되는 애플리케이션의 오디오 역량(예컨대, 2ch 또는 5.1 서라운드 사운드)을 나타낼 수 있다.
운영 체제 질의 모듈(200)은 디바이스의 SKU와 같은 모델 식별자 또는 제품 식별자를 판정하기 위해 디바이스의 OS에 질의한다. 예를 들어, 운영 체제 질의 모듈(200)은 모바일 폰의 OS에 질의하여 모바일 폰의 SKU 번호가 6323532임을 판정한다. 일부 실시예에서, 운영 체제 질의 모듈(200)은 추가적으로 또는 대안적으로, MID 또는 제품 명과 같은, SKU 번호 이외의 다른 모델 또는 제품 식별자에 대해 디바이스에 질의한다. 예를 들어, 운영 체제 질의 모듈(200)은 블루투스 스피커의 제품명을 판정하기 위해 한 쌍의 블루투스 스피커와 통신 가능하게 결합된 모바일 폰의 운영 체제에 질의할 수 있다. 추가적인 예로서, 운영 체제 질의 모듈(200)은 차량의 오디오 장비의 MID를 판정하기 위해 차량의 오디오 시스템과 통신 가능하게 결합된 모바일 폰의 OS에 질의한다.
운영 체제 질의 모듈(200)은 디바이스 또는 오디오 렌더링 시스템(예컨대, 디바이스와 분리된 경우)의 위치 또는 방향을 식별하기 위해 디바이스의 OS에 질의한다. 예를 들어, 운영 체제 질의 모듈(200)은 모바일 폰의 OS에 질의하여 모바일 폰이 가로 방향(예컨대, 디바이스가 너비가 아닌 길이를 따라 놓여 있음) 또는 세로 방향으로 90도 배향되어 있다고 판정한다. 일부 실시예에서, 디바이스는 디바이스의 위치 또는 방향에 대한 사용자의 위치를 결정하는 데 사용될 수 있는 센서(예컨대, 카메라)를 더 포함할 수 있다.
운영 체제 질의 모듈(200)은 디바이스가 속하는 종류(예컨대, 모바일 폰, 태블릿, 퍼스널 컴퓨터, 자동차 등)를 판정하기 위해 디바이스의 OS에 질의한다. 예를 들어, 운영 체제 질의 모듈(200)은 모바일 폰의 OS에 질의하여 모바일 폰이 모바일 폰류에 속한다고 판정한다. 다른 예에서, 운영 체제 질의 모듈(200)은 블루투스 디바이스와 통신 가능하게 결합된 모바일 폰의 OS에 질의하여 디바이스가 스피커 디바이스류(예컨대, 헤드폰, 자동차 등이 아닌 확성기)에 속한다고 판정한다. 추가적인 예로서, 운영 체제 질의 모듈(200)은 차량의 오디오 렌더링 시스템과 통신 가능하게 결합된 모바일 폰의 OS에 질의하여 오디오 렌더링 시스템이 자동차 디바이스류에 속한다고 판정한다.
운영 체제 질의 모듈(200)은 디바이스가 사용하는 오디오 코덱을 판정하기 위해 디바이스의 OS에 질의한다. 오디오 코덱은 디바이스의 제조업체를 나타내거나 디바이스를 식별할 수 있다. 예를 들어, 운영 체제 질의 모듈(200)은 모바일 폰의 OS에 질의하여, 지원된 코덱이 Qualcomm AptX 코덱과 같은 특정 독점 오디오 코덱을 포함하기 때문에 모바일 폰의 제조업체가 제1 제조업체라고 판정한다. 다른 예에서, 운영 체제 질의 모듈(200)은 한 쌍의 블루투스 스피커와 통신 가능하게 결합된 모바일 폰의 OS에 질의하여, 지원된 코덱이 소니 LDAC 코덱과 같은 특정 독점 오디오 코덱을 포함하기 때문에 스피커가 제2 제조업체에 의해 제조된 것으로 판정한다. 추가적인 예로서, 운영 체제 질의 모듈(200)은 차량의 오디오 렌더링 시스템과 통신 가능하게 결합된 모바일 폰의 OS에 질의하여, 지원된 코덱이 특정 독점 오디오 코덱 및 AAC 코덱의 두 가지 버전이기 때문에 오디오 렌더링 시스템이 제3 제조업체에 의해 제조된 것으로 판정한다.
오디오 향상 데이터베이스(210)는 오디오 렌더링 시스템 정보와 오디오 향상 사이의 연관성을 저장한다. 예를 들어, 오디오 향상 데이터베이스(210)는 각각의 오디오 향상 또는 최적화에 대한 고유 디바이스 식별자 목록의 매핑을 포함한다. 본 명세서에서 언급될 때, 오디오 향상 또는 최적화는 오디오 렌더링 시스템의 기능을 향상시키는 임의의 수정을 포함한다. 예를 들어, 오디오 향상 데이터베이스(210)는 각각의 미리 결정된 오디오 향상에 대한 모바일 폰의 IMEI 번호 및/또는 블루투스 스피커 주소의 매핑을 포함한다. 추가 예로서, 오디오 향상 데이터베이스(210)는 (예컨대, 엔진에 의해 생성되는 지속적인 윙윙거리는 잡음에 대해) 잡음 제거와 같은 미리 결정된 오디오 향상에 대한 차량의 오디오 렌더링 시스템에 대한 일련 번호-제조업체 페어링의 매핑을 포함한다. 이 추가 예에서, 오디오 향상기(220)는 오디오 렌더링 시스템의 고유 디바이스 식별자에 기초하여 디바이스 유형 또는 제조업체명을 결정할 수 있고, 디바이스 유형 또는 제조업체명을 사용하여 데이터베이스(예컨대, 오디오 향상 데이터베이스(210))로부터 일련 번호-제조업체 페어링을 사용하여 매핑된 오디오 향상을 검색할 수 있다.
이러한 매핑을 통해, 오디오 향상 시스템(150)은 다수의 디바이스에 걸쳐 사용자-지정 오디오 향상 선호도를 전파할 수 있다. 예를 들어, 오디오 향상 시스템(150)은 특정 모바일 폰에 대해 사용자에 의해 지정된 향상을 기록하고, 사용자가 셀룰러 폰 캐리어를 변경하거나 새로운 폰을 획득한 후에 이러한 오디오 향상을 이전할 수 있다. 다른 예에서, 사용자는 동일한 모델의 2개의 다른 블루투스 헤드폰에 대한 오디오 향상을 맞춤화할 수 있으며, 오디오 향상 시스템(150)은 각 헤드폰이 자신의 맞춤화된 매핑을 유지하게 할 수 있다.
오디오 향상 데이터베이스(210)는 각각의 오디오 향상에 대한 통신 경로 목록의 매핑을 포함한다. 오디오 향상은, 부대역 공간 처리, 크로스토크 처리(예컨대, 크로스토크 제거 또는 크로스토크 시뮬레이션), 크로스토크 처리로 인한 아티팩트에 대한 크로스토크 보상, 좌측 스피커와 우측 스피커 사이의 비대칭 조정을 위한 b-체인 처리와 같은, 오디오 신호의 공간 속성의 향상을 포함할 수 있다. 오디오 향상은, 이퀄라이제이션, 단일 및 다중 대역 역학 처리(즉, 압축, 확장 등), 심리음향 베이스 향상, 및 다른 형태의 선형 및 비선형 오디오 신호 처리 기술과 같은, 오디오 신호의 다른 형태의 향상을 포함될 수 있다. 부대역 공간 처리는 오디오 신호의 측면 부대역 성분 및 중간 부대역 성분을 필터링하는 것을 포함할 수 있다. 각 중간 및 측면 부대역 성분에 대한 필터의 속성(예컨대, 이득, 시간 지연, 주파수 응답 등을 적용하는 것)은 오디오 렌더링 시스템 정보에 따라 달라질 수 있다. 크로스토크 제거는 확성기를 포함한 오디오 렌더링 시스템에 사용되어 크로스토크 효과를 제거할 수 있다. 크로스토크 시뮬레이션은 헤드폰을 포함한 오디오 렌더링 시스템에 사용되어 확성기 청취 경험을 시뮬레이션하기 위한 크로스토크 효과를 추가할 수 있다. 크로스토크 처리를 제공하는 오디오 향상은 오디오 렌더링 시스템 정보에 기초하여 좌측 또는 우측 채널에 적용되는 상이한 이득, 시간 지연 및 주파수 응답을 포함할 수 있다. 크로스토크 보상은 크로스토크 처리로 인한 스펙트럼 결함을 보상하므로, (예컨대, 좌측, 우측, 중간 또는 측면 채널에 적용되는) 필터의 주파수 응답은 렌더링 시스템 정보 및 렌더링 시스템 정보에 기초하여 적용되는 크로스토크 처리의 차이에 따라 달라진다. B-체인 처리는 스피커에 제공된 하나 이상의 채널에 필터, 시간 지연 또는 이득 중 하나 이상을 적용함으로써 좌측 스피커와 우측 스피커 사이의 (예컨대, 주파수 응답, 청취자와의 거리, 출력 방향 등의 측면에서의) 비대칭을 조정한다. B-체인 처리에 사용되는 필터, 시간 지연 또는 이득은 오디오 렌더링 시스템 정보에 따라 다를 수 있다. 다른 유형의 오디오 향상은 제한 또는 압축, 오디오 홀로그래피 등을 포함할 수 있다. 또한, 렌더링 시스템 정보에 기초하여 다수의 유형의 오디오 향상의 조합이 사용될 수 있다. 사용된 오디오 향상의 유형 및 오디오 향상의 속성은 오디오 렌더링 시스템 정보에 따라 다를 수 있다.
오디오 향상 데이터베이스(210)는 각각의 미리 결정된 오디오 향상에 대한 모바일 폰의 내장 스피커, 블루투스 A2DP, 및/또는 케이블 접속(예컨대, USB 케이블)을 통해 전달되는 오디오의 매핑을 포함한다.
오디오 향상 데이터베이스(210)는 각각의 오디오 향상에 대한 디바이스 모델 또는 제품 식별자(예컨대, SKU 번호)의 목록의 매핑을 포함한다. 예를 들어, 오디오 향상 데이터베이스(210)는 미리 결정된 오디오 향상에 대한 모바일 폰 모델의 모바일 폰 제조업체의 제조 식별자의 매핑을 포함한다. 다른 예에서, 오디오 향상 데이터베이스(210)는 미리 결정된 오디오 향상에 대한 한 쌍의 블루투스 스피커의 제품명의 매핑을 포함한다. 추가적인 예로서, 오디오 향상 데이터베이스(210)는 미리 결정된 오디오 향상에 대한 차량 오디오 장비의 MID의 매핑을 포함한다.
오디오 향상 데이터베이스(210)는 각각의 오디오 향상에 대한 디바이스 방향 또는 위치 목록의 매핑을 포함한다. 예를 들어, 오디오 향상 데이터베이스(210)는 미리 결정된 오디오 향상에 대한 0도 방향의 매핑을 포함한다.
오디오 향상 데이터베이스(210)는 매핑된 오디오 향상에 대해 디바이스가 범주화될 수 있는 종류 목록의 매핑을 포함한다. 예를 들어, 오디오 향상 데이터베이스(210)는 각각의 미리 결정된 오디오 향상에 대한 모바일 폰류, 모바일 태블릿류, 스피커류, 헤드폰류, TV류, 랩톱 PC류 및/또는 자동차류의 매핑을 포함한다.
오디오 향상 데이터베이스(210)는 각각의 오디오 향상에 대한 오디오 코덱 목록의 매핑을 포함한다. 예를 들어, 오디오 향상 데이터베이스(210)는 제1 제조업체에 대한 지원된 독점 오디오 코덱 및 SBC 코덱의 매핑을 포함한다. 다른 예에서, 오디오 향상 데이터베이스(210)는 제2 제조업체에 대한 지원되는 AAC 및 SBC 코덱의 매핑을 포함한다. 추가적인 예로서, 오디오 향상 데이터베이스(210)는 제3 제조업체에 대한 지원되는 독점 오디오 코덱 및 AAC 코덱의 매핑을 포함한다. 다른 예에서, 디바이스에 의해 사용되는 오디오 코덱은 특정 디바이스, 디바이스 유형, 제조업체 또는 일부 다른 오디오 렌더링 시스템 정보를 결정하는 데 사용될 수 있으며, 이들은 다음에 오디오 향상을 판정하기 위해 오디오 향상 데이터베이스(210)에 질의하는 데 사용된다.
오디오 향상기(220)는 각 디바이스의 오디오 렌더링 시스템(예컨대, 내장 스피커 또는 주변 스피커)에 기초하여 디바이스-특정 오디오 향상을 적응적으로 적용한다. 일부 실시예에서, 오디오 향상기(220)는 운영 체제 질의 모듈(200)에 의해 결정된 렌더링 시스템 정보를 수신하고, 오디오 향상 데이터베이스(210)에 질의함으로써 오디오 향상을 결정한다. 오디오 향상기(220)는 또한, OS로부터 수신된 오디오 렌더링 시스템 정보를 사용하여 다른 유형의 오디오 렌더링 시스템 정보를 결정하고, 결정된 오디오 렌더링 시스템 정보를 사용하여 향상 데이터베이스(210)에 질의하도록 구성된다. 예를 들어, 오디오 향상기(220)는 "모바일 폰"의 디바이스 종류 및 "가로"로 90도의 방향을 수신하고, 오디오 향상 데이터베이스(210)의 매핑된 오디오 향상으로부터 오디오 향상을 결정한다. 일부 실시예에서, 오디오 향상기(220)는 운영 체제 질의 모듈(200)로부터 결정된 매핑된 오디오 향상 설정을 수신한다. 예를 들어, 오디오 향상기(220)는 "모바일 폰"류 및 "가로" 방향에 대한 오디오 향상 구성을 수신한다. 일부 실시예에서, 적용된 오디오 향상은 오디오 향상을 결정하기 위해 다수의 유형의 렌더링 시스템 정보를 조합한다. 예를 들어, 90도 방향으로 비대칭 배치된 확성기가 있는 모바일 폰의 오디오 향상은 90도 방향으로 대칭적으로 배치된 확성기가 있는 모바일 폰의 오디오 향상과 다르다. 일부 실시예에서, 오디오 향상기(220)는 디바이스로부터 향상되지 않은 출력 신호(예컨대, 디바이스가 오디오 향상 없이 오디오 렌더링 시스템을 통해 출력했을 신호)를 수신하고, 수신된 신호에 디바이스-특정 오디오 향상을 적용한다. 예를 들어, 디바이스(130)가 향상되지 않은 출력 신호를 출력하는 대신에 디바이스(120) 상의 오디오 향상 시스템(151)에 의해 전송된 향상된 오디오 신호를 출력하도록, 오디오 향상기(220)는 디바이스(120)로부터 오디오 신호를 수신한다. 오디오 향상기(220)는 향상 구성 모듈(221) 및 디지털 신호 프로세서(222)와 같은 서브모듈을 포함한다.
향상 구성 모듈(221)은 운영 체제 질의 모듈(200)로부터 수신된 렌더링 시스템 정보에 기초하여 디바이스-특정 오디오 향상을 결정한다. 일부 실시예에서, 향상 구성 모듈(221)은 일반 매핑 및 일반 매핑과 연관된 맞춤화된 매핑 모두를 결정한다. 일반 매핑은 일반 디바이스 종류 또는 SKU 매핑일 수 있으며, 이들 각각은 다른 데이터(예컨대, 디바이스 방향)에 기초하여 추가적인 맞춤화된 매핑을 지정할 수 있다. 추가적인 맞춤화는 오디오 향상 데이터베이스(210) 내에 각각의 매핑(예컨대, 일반 매핑)과 연관된 서브매핑으로서 저장될 수 있다. 추가적으로 또는 대안적으로, 추가적인 맞춤화는 (예컨대, 질의된 오디오 렌더링 시스템 정보의 if-then 분석에 기초하여) 절차적으로 도출될 수 있다. 예를 들어, 운영 체제 질의 모듈(200)은 스피커의 SKU를 검색하기 위해 블루투스 스피커에 무선으로 결합된 모바일 폰에 질의한다. 그런 다음, 오디오 향상기(220)는 검색된 SKU 정보에 대한 적절한 매핑을 결정할 수 있다. 운영 체제 질의 모듈(200)은 사용 사례 정보에 대한 모바일 폰 상의 현재 활성 통신 경로에 관한 메타데이터 속성에 대해 모바일 폰에 추가로 질의할 수 있고, 오디오 향상기(220)는 검색된 사용 사례 정보에 기초하여 맞춤형 매핑을 추가로 결정할 수 있다.
일부 실시예에서, 향상 구성 모듈(221)은 다수의 매핑된 오디오 향상을 결정하고, (단 하나의 매핑된 오디오 향상으로부터 이용 가능한 해상도에 비해) 식별 정보의 더 큰 해상도를 고려하는 조합된 오디오 향상을 결정한다. 예를 들어, 향상 구성 모듈(221)은 스피커의 해당 모델에 특정적인 크로스토크 제거를 위한 오디오 향상에 대응하는 한 쌍의 블루투스 스피커의 고유 디바이스 식별자에 대한 제1 오디오 향상을 결정하고, 현재 사용 사례 정보(예컨대, 오디오 신호가 게임에 의해 생성되었음을 나타내는 메타데이터)에 적절한 제2 오디오 향상을 결정한다. 2가지 유형의 오디오 향상을 결정하는 것에 응답하여, 향상 구성 모듈(221)은 제1 및 제2 오디오 향상을 포함하는 조합된 오디오 향상을 결정한다. 조합된 오디오 향상은 다수의 렌더링 시스템 정보 데이터 포인트(예컨대, 스피커 모델 및 사용 사례 정보 모두)를 포함하는 식별 정보의 해상도를 고려한다. 향상 구성 모듈(211)은 다수의 오디오 향상을 적용할 순서를 결정할 수 있다. 일부 실시예에서, 오디오 향상은 병렬로, 직렬로, 또는 이들의 적절한 조합으로 조합될 수 있다. 예를 들어, 2ch 사운드 시스템을 통해 출력되는 것으로 판정된 2ch 오디오 신호의 경우, 향상 구성 모듈(221)은, 먼저 원시 2ch 오디오 신호로부터 스테레오 신호의 중간(즉, 비공간) 성분의 대역 통과 버전으로부터 생성된 제3 채널을 추출하는 처리를 적용하고, 그런 다음 원시 스테레오 신호에는 크로스토크 제거 및 심리음향 베이스 향상을 직렬로 적용하고 제3 채널에는 (예컨대, 개선된 대화/음성 명료성을 가능하게 하기 위해) 이퀄라이제이션 및 압축을 병렬로 적용하며, 마지막으로 향상된 제3 채널을 향상된 원시 스테레오 신호에 다시 믹싱할 수 있다.
디지털 신호 프로세서(222)는 향상 구성 모듈(221)에 의해 결정된 오디오 향상을 오디오 신호에 적용한다. 가용성, 식별 정보의 해상도, 및/또는 오디오 렌더링 사용 사례에 따라, 디지털 신호 프로세서(222)는 오디오 신호의 오디오 최적화에 다양한 상이한 절차적 접근 방식을 적용할 수 있다.
향상된 신호 통신기(230)는 오디오 향상기(220)에 의해 출력된 향상된 오디오 신호를 수신하고, 이를 오디오 신호를 출력하도록 구성된 디바이스(들)로 전송한다. 예를 들어, 향상된 신호 통신기(230)는 디바이스가 내장 스피커를 포함하는 통신 경로를 갖는 모바일 폰이라는 운영 체제 질의 모듈(200)에 의한 판정에 기초하여 향상되었던 향상된 신호를 오디오 향상기(220)로부터 수신한다. 향상된 신호 통신기(230)는 향상된 신호를 모바일 폰으로 전송하여 내장 스피커로부터 출력하게 할 수 있다. 다른 예에서, 향상된 신호 통신기(230)는 디바이스가 블루투스 스피커의 오디오 렌더링 시스템에 통신 가능하게 결합된 모바일 폰이라는 운영 체제 질의 모듈(200)에 의한 판정에 기초하여 향상되었던 향상된 신호를 오디오 향상기(220)로부터 수신한다. 향상된 신호 통신기(230)는 향상된 신호를 모바일 폰으로 전송하여 스피커로 또한 전송되게 할 수 있다. 추가적인 예로서, 향상된 신호 통신기(230)는 디바이스가 이동 중인 차량의 스피커(스피커에 의해 재생되는 오디오의 소스인 모바일 폰에 통신 가능하게 결합됨)라는 운영 체제 질의 모듈(200)에 의한 판정에 기초하여 향상되었던 향상된 신호를 오디오 향상기(220)로부터 수신한다. 그런 다음, 향상된 신호 통신기(230)는 향상된 신호를 모바일 폰으로 전송하여 (예컨대, 유선 USB 접속을 통해) 차량의 스피커로 또한 전송되게 할 수 있다. 오디오 향상 시스템(151)이 디바이스(120)의 일부인 경우와 같은 일부 실시예에서, 향상된 신호 통신기(230)는 생략될 수 있다.
오디오 향상 시스템(150)의 클라이언트-서버 구성에서, 오디오 향상 시스템(150)의 다양한 구성요소는 디바이스 상에 위치할 수 있다. 예를 들어, 운영 체제 질의 모듈(200)은 (예컨대, 오디오 향상 시스템(151)에 포함된) 디바이스 상에 위치할 수 있고, 디바이스는 서버 상의 오디오 향상 시스템(150)에 오디오 시스템 렌더링 정보를 제공할 수 있다. 서버 상의 오디오 향상 시스템(150)은 오디오 시스템 렌더링 정보에 기초하여 오디오 향상을 결정할 수 있고, 오디오 향상을 디바이스에 제공할 수 있다. 디바이스는 오디오 향상을 사용하여 향상된 오디오 신호를 생성할 수 있다. 이 예에서, 오디오 향상기(220) 및 운영 체제 질의 모듈(200)은 디바이스 상에 위치한다.
오디오 향상 시스템 동작을 위한 프로세스
도 3은 향상된 오디오 신호를 제공하기 위한 프로세스(300)의 흐름도이다. 일부 실시예에서, 오디오 향상 시스템(150)은 프로세스(300)의 단계들을 병렬로 수행하거나, 상이한 순서로 수행하거나, 서로 다른 단계들을 수행한다. 예를 들어, 도시되지는 않았지만, 오디오 향상 시스템(150)은 프로세스(300)의 추가 단계로서 오디오 향상을 적용할 오디오 신호를 수신할 수 있다. 다른 예에서, 프로세스(300)는 오디오 향상을 결정하는 단계(310)를 반복할 수 있고 결정된 오디오 향상을 조합하는 추가 단계를 포함할 수 있는데, 여기서는 조합된 향상이 오디오 신호에 적용될 것이다(315).
오디오 향상 시스템(150)은 디바이스와 연관된 오디오 렌더링 시스템의 렌더링 시스템 정보를 결정한다(305). 일부 실시예에서, 운영 체제 질의 모듈(200)은 렌더링 시스템 정보에 대해 오디오 렌더링 시스템에 결합된 디바이스의 운영 체제에 질의한다. 예를 들어, 운영 체제 질의 모듈(200)은 디바이스의 모델명, 오디오 신호의 통신 경로, 폰의 물리적 방향 또는 위치, 및/또는 디바이스의 종류(예컨대, 모바일 폰, 태블릿 등)와 같은 렌더링 시스템 정보를 검색하기 위해 디바이스(120)의 OS에 질의한다. 질의는 성공적일 수도 있고 아닐 수도 있다. 예를 들어, 운영 체제 질의 모듈(200)이 디바이스의 방향, 모델 명, 통신 경로 및 디바이스 종류를 수신하는 경우, 오디오 향상 시스템(150)은 이 렌더링 시스템 정보의 일부 또는 전부를 사용하여 디바이스(120)의 현재 상태에 가장 적절한 오디오 향상을 결정할 수 있다. 대안적으로, 운영 체제 질의 모듈(200)이 디바이스의 방향을 수신하지 않는 경우, 오디오 향상 시스템(150)은 디바이스 방향을 고려하지 않으면서, 모델 명, 통신 경로 및 디바이스 종류와 같은 수신된 정보를 사용하여 오디오 향상을 결정할 수 있다.
오디오 향상 시스템(150)은 렌더링 시스템 정보에 기초하여 오디오 신호에 대한 오디오 향상을 결정한다(310). 일부 실시예에서, 오디오 향상기(220)는 운영 체제 질의 모듈(200)에 의해 305에서 결정된 사용 가능한 정보에 대해 적절한 오디오 향상을 결정한다. 예를 들어, 향상 구성 모듈(221)은 사용 가능한 렌더링 시스템 정보의 조합에 적절한 오디오 향상을 결정하기 위해 오디오 향상 데이터베이스(210)에 질의한다. 일 예에서, 렌더링 시스템 정보는 모델명, 내장 스피커를 통해 라우팅되는 오디오를 포함하는 통신 경로, 모바일 폰 디바이스 종류, 90도 방향을 포함할 수 있다. 이 정보는 향상 구성 모듈(221)로 하여금 폰의 상이한 영역에 위치한 폰의 2개의 스피커를 활용하는 것을 포함하는 오디오 향상을 결정하게 할 수 있다. 예를 들어, 스피커들의 서로에 대한 위치를 포함하는 결정된 방향은 서라운드 사운드 스피커를 최적으로 시뮬레이션하기 위해 오디오 신호에 적용할 특정 크로스토크 제거 설정을 결정하는 오디오 향상을 허용한다. 사용 가능한 렌더링 시스템 정보가 디바이스 방향을 포함하지 않는 경우, 나머지 렌더링 시스템 정보 성분이 향상 구성 모듈(221)로 하여금 표준 또는 가장 가능성이 높은 스피커 방향에 기초하여 오디오 향상을 결정하게 할 수 있다.
일부 실시예에서, 오디오 향상 시스템(150)은 렌더링 시스템 정보의 계층구조에 의존할 수 있는데, 여기서 오디오 향상 시스템(150)은 처음에 우선 순위가 더 높은 렌더링 시스템 정보에 대해 OS에 질의한다. OS가 오디오 향상 시스템(150)에 유효한 렌더링 시스템 정보를 반환하고 렌더링 시스템 정보에 대한 연관된 오디오 향상이 존재하는 경우, 그 오디오 향상이 사용을 위해 선택된다. OS가 유효한 렌더링 시스템 정보를 제공하지 않거나 수신된 렌더링 시스템 정보에 대한 연관된 오디오 향상이 없는 경우, 오디오 향상 시스템(150)은 더 낮은 우선순위의 렌더링 시스템 정보에 대해 OS에 계속 질의를 시도할 수 있다. 예를 들어, 디바이스가 알려지면 특정 오디오 렌더링 시스템이 결정될 수 있지만 동일한 종류의 디바이스들이 유사하지만 상이한 오디오 렌더링 시스템을 포함할 수 있기 때문에, 고유 디바이스 식별자는 디바이스 종류보다 더 높은 우선순위 유형의 렌더링 시스템 정보일 수 있다.
오디오 향상 시스템(150)은 오디오 향상을 오디오 신호에 적용하여 향상된 오디오 신호를 생성한다(315). 일부 실시예에서, 디지털 신호 프로세서(222)는 결정된(310) 오디오 향상을 사용하여 오디오 신호를 변환한다. 예를 들어, 디지털 신호 처리기(222)는 오디오 신호 대역폭을 부대역으로 분할하고 각 주파수 부대역에서 공간 및/또는 비공간 성분 에너지를 독립적으로 조정할 수 있다.
오디오 향상 시스템(150)은 향상된 오디오 신호를 오디오 렌더링 시스템에 제공한다(320). 일부 실시예에서, 향상된 신호 통신기(230)는 디지털 신호 프로세서(222)에 의해 생성된 향상된 오디오 신호를, 향상된 오디오 신호를 출력하도록 구성된 오디오 렌더링 시스템에 전송한다. 향상된 신호 통신기(230), 디지털 신호 프로세서(222) 및 오디오 렌더링 시스템의 각각은 하나의 디바이스 상에 위치할 수 있다. 다른 예에서, 향상된 신호 통신기(230) 및 디지털 신호 프로세서(222)는 하나의 디바이스 상에 있고, 오디오 렌더링 시스템은 그 디바이스에 접속된 주변 디바이스이다. 다른 예에서, 향상된 신호 통신기(230)는 향상 오디오 신호를 네트워크(110)를 통해 디바이스(110)에 전송하여, 디바이스(110)와 연관된 오디오 렌더링 시스템을 통해 출력되게 한다.
도 4는 모바일 디바이스의 내장 오디오 렌더링 시스템을 통해 향상된 오디오 신호를 제공할 때 렌더링 시스템 정보를 결정하기 위한 프로세스(400)의 흐름도이다. 일부 실시예에서, 오디오 향상 시스템(150)은 프로세스(400)의 단계들을 병렬로 수행하거나, 상이한 순서로 수행하거나, 서로 다른 단계들을 수행한다. 예를 들어, 디바이스의 OS에의 각각의 질의 후에, 오디오 향상을 결정하는 단계로 진행하기에 충분한 정보가 있는지 판정하는 단계가 수행될 수 있다. 일부 실시예에서, 디바이스의 OS에의 질의는 프로세스(400)에 도시된 순서로 수행될 필요는 없다. 예를 들어, 오디오 향상 시스템(150)은 디바이스의 활성 통신 경로에 대해 질의하는 단계(405) 전에 디바이스의 모델 식별자에 대해 질의할 수 있다(415).
오디오 향상 시스템(150)은 디바이스의 활성 통신 경로에 대해 디바이스의 OS에 질의한다(405). 예를 들어, 오디오 향상 시스템(150)은 모바일 폰의 현재 활성 통신 경로에 대해 모바일 폰인 디바이스(110)의 OS에 질의한다. 운영 체제 질의 모듈(200)은 안드로이드 OS의 AudioDeviceInfo 종류 API를 사용하여 활성 통신 경로를 결정한다. 통신 경로를 결정하는 것에 이어서, 질의 모듈(200)은 이 경로를 통신 경로 대 최적화 또는 향상 매핑에 대한 내부 데이터베이스(예컨대, 오디오 향상 데이터베이스(210)) 또는 온라인 데이터베이스 내의 경로 목록과 비교할 수 있다. 경로-최적화 매핑은 특정 OS가 있는 디바이스 상의 통신 경로에 특정적인 신호 향상을 적용하기 위한 명령어를 포함할 수 있다. 이러한 매핑이 데이터베이스에서 발견되면, 오디오 향상 시스템(150)은 매핑된 오디오 향상을 직접 사용하거나(예컨대, 결정 단계(310)로 진행함), 추가 정보에 대해 계속 질의하여 더 많은 양의 렌더링 시스템 정보를 고려하는 오디오 향상을 결정할 수 있다(예컨대, 질의 단계(410)로 진행함).
오디오 향상 시스템(150)은 디바이스의 고유 디바이스 식별자에 대해 디바이스의 OS에 질의한다(410). 예를 들어, 오디오 향상 시스템(150)은 고유 디바이스 식별자에 대해 디바이스(110)의 OS에 질의한다. 운영 체제 질의 모듈(200)은 모바일 폰의 일련 번호를 질의하고, 검색된 일련 번호를 고유 디바이스 식별자 대 최적화 또는 향상 매핑의 내부 데이터베이스(예컨대, 오디오 향상 데이터베이스(210)) 또는 온라인 데이터베이스와 비교할 수 있다. 일부 실시예에서, 데이터베이스로부터의 후속 검색을 위해 이전 질의가 고려될 수 있다. 예를 들어, 오디오 향상 데이터베이스(210)는 모바일 폰의 일련 번호와 활성 통신 경로의 조합에 대한 오디오 향상 매핑을 포함할 수 있다.
오디오 향상 시스템(150)은 질의(405 및 410)된 렌더링 시스템 정보에 기초하여 오디오 신호에 대한 오디오 향상을 결정하는 단계(310)로 진행하기에 충분한 정보가 있는지를 판정한다. 일부 실시예에서, 오디오 향상 시스템(150)은 디바이스의 OS에의 질의들 사이에 정보 충분성 검사(information sufficiency checks)를 도입함으로써 불필요한 처리 지연 또는 자원 소비를 방지한다. 예를 들어, 향상 구성 모듈(221)은 오디오 향상을 결정하기 위해 이용 가능한 렌더링 시스템 정보가 충분한지 여부를 판정하여, 더 적은 지연 및 더 적은 전력 소모로 향상된 오디오 신호를 제공한다. 이러한 방식으로, 사용자는 많은 지연 없이 향상된 오디오 신호를 들을 수 있고, 오디오 향상 시스템(150)이 배터리 급전형 디바이스에 존재하는 경우 다음 재충전까지의 디바이스 수명을 최대화할 수 있다. 질의(410) 동안 일련 번호가 검색 가능하지 않은 경우, 프로세스(400)는 디바이스의 모델 식별자에 대해 디바이스의 OS에 질의하는 단계(415)로 진행할 수 있다. 그렇지 않으면, 오디오 향상 시스템(150)은 질의된 일련 번호 및 오디오 경로가 오디오 향상을 결정하는 단계(310)로 진행하기에 충분하다고 판정한다.
오디오 향상 시스템(150)은 디바이스의 모델 식별자에 대해 디바이스의 OS에 질의한다(415). 예를 들어, 오디오 향상 시스템(150)은 모델 식별자에 대해 디바이스(110)의 OS에 질의한다. 운영 체제 질의 모듈(200)은 모바일 폰의 모델 식별자에 대해 질의하고, 검색된 모델 식별자를 모델 식별자 대 최적화 또는 향상 매핑의 내부 데이터베이스(예컨대, 오디오 향상 데이터베이스(210)) 또는 온라인 데이터베이스와 비교할 수 있다. 일부 실시예에서, 데이터베이스로부터의 후속 검색을 위해 이전 질의가 고려될 수 있다. 예를 들어, 오디오 향상 데이터베이스(210)는 모바일 폰의 모델 식별자와 활성 통신 경로의 조합에 대한 오디오 향상 매핑을 포함할 수 있다.
오디오 향상 시스템(150)은 디바이스의 방향에 대해 디바이스의 OS에 질의한다(420). 예를 들어, 오디오 향상 시스템(150)은 디바이스(110)의 방향에 대해 디바이스(110)의 OS에 질의한다. 운영 체제 질의 모듈(200)은 모바일 폰의 방향에 대해 질의하고, 검색된 방향을 방향 대 최적화 또는 향상 매핑의 내부 데이터베이스(예컨대, 오디오 향상 데이터베이스(210)) 또는 온라인 데이터베이스와 비교할 수 있다. 일부 실시예에서, 데이터베이스로부터의 후속 검색을 위해 이전 질의가 고려될 수 있다. 예를 들어, 오디오 향상 데이터베이스(210)는 모바일 폰의 방향, 모델 식별자 및 활성 통신 경로의 조합에 대한 오디오 향상 매핑을 포함할 수 있다. 프로세스(400)는 해당 조합에 대한 오디오 향상 매핑을 사용하여 오디오 향상을 결정하는 단계(310)로 진행할 수 있다.
도 5는 무선 접속을 통해 디바이스에 통신 가능하게 결합된 오디오 렌더링 시스템을 통해 향상된 오디오 신호를 제공할 때 렌더링 시스템 정보를 결정하기 위한 프로세스(500)의 흐름도이다. 일부 실시예에서, 오디오 향상 시스템(150)은 프로세스(500)의 단계들을 동시에 수행하거나, 상이한 순서로 수행하거나, 서로 다른 단계들을 수행한다.
오디오 향상 시스템(150)은 소스 디바이스가 싱크 디바이스의 오디오 렌더링 시스템에 접속된다고 판정한다(505). 디바이스는 "싱크" 디바이스의 오디오 렌더링 시스템에 결합된 "소스" 디바이스일 수 있다. 예를 들어, 소스 디바이스인 모바일 폰은 블루투스 A2DP를 통해 싱크 디바이스인 블루투스 스피커를 통해 오디오를 출력하는 데 사용된다. 오디오 향상 시스템(150)은 OS API를 사용하여 소스 디바이스(예컨대, 디바이스(120))가 블루투스 A2DP를 통해 외부 싱크 디바이스(예컨대, 디바이스(130))에 접속되어 그에 오디오 신호를 전달한다고 결정할 수 있다.
오디오 향상 시스템(150)은 정보에 대해 소스 디바이스의 OS에 질의한다(510). 질의(510)는 싱크 디바이스의 제조업체, SoC SKU 또는 모델명에 대한 소스 디바이스의 OS에의 질의(511)를 포함할 수 있다. 예를 들어, 운영 체제 질의 모듈(200)은 BlueZ hcitool과 같은 도구를 사용하여 디바이스(130)의 제조업체에 대해 디바이스(120)의 OS에 질의한다. 도시되지는 않았지만, 오디오 향상 시스템(150)은 질의(511) 후에, 렌더링 시스템 정보가 오디오 향상을 결정하기에 충분한지 여부를 판정하는 검사를 수행할 수 있다. 예를 들어, 블루투스 스피커(130)의 제조업체에 따라, 오디오 향상 시스템(150)은 특정 제조업체에 의해 제공되는 SoC를 사용하는 블루투스 싱크 디바이스를 향상시킬 수 있다. 질의(510)는 대안적으로 또는 추가적으로 싱크 디바이스에 의해 지원되는 블루투스 코덱에 대한 소스 디바이스의 OS에의 질의(512)를 포함할 수 있다. 예를 들어, 제조업체 코덱 질의 모듈은 지원되는 코덱(들)을 결정하기 위해 디바이스(120)의 OS에 질의한다. 도 5에 도시되지는 않았지만, 지원되는 코덱에 따라 프로세스(500)는 오디오 향상을 결정하는 단계(310)로 바로 진행할 수 있다. 예를 들어, 향상 구성 모듈(221)은 특정 코덱이 지원되는 경우 향상을 적용하는 것으로 판정할 수 있다. 질의(510)는 대안적으로 또는 추가적으로 싱크 디바이스 모델 식별자에 대한 소스 디바이스의 OS에의 질의(513)를 포함할 수 있다. 예를 들어, 운영 체제 질의 모듈(200)은 디바이스(130)의 모델 식별자를 결정하기 위해 디바이스(120)의 OS에 질의한다. 싱크 디바이스에 대한 모델 식별자가 오디오 향상 데이터베이스(210)에서 발견되면, 오디오 향상 시스템(150)은 정의된 바와 같이 오디오 향상을 구성(예컨대, 결정(310))하도록 진행할 수 있다.
오디오 향상 시스템(150)은 질의(510)된 렌더링 시스템 정보에 기초하여 오디오 신호에 대한 오디오 향상을 결정하는 단계(310)로 진행하기에 충분한 정보가 있는지 여부를 판정한다. 예를 들어, 질의(510) 동안 블루투스 코덱이 검색가능하지 않은 경우, 프로세스(500)는 싱크 디바이스의 종류 정보에 대해 소스 디바이스의 OS에 질의하는 단계(515)로 진행할 수 있다. 그렇지 않으면, 오디오 향상 시스템(150)은 질의된 제조업체명, 코덱, 및/또는 싱크 디바이스 모델 식별자가 오디오 향상을 결정하는 단계(310)로 진행하기에 충분하다고 판정한다.
오디오 향상 시스템(150)은 싱크 디바이스의 디바이스 종류 정보에 대해 소스 디바이스의 OS에 질의한다(515). 일부 실시예에서, 운영 체제 질의 모듈(200)은 디바이스(130)의 디바이스 정보에 대해 디바이스(120)의 OS에 질의한다. 예를 들어, 운영 체제 질의 모듈(200)은 디바이스(130)가 스피커류에 속함을 나타내는 렌더링 시스템 정보를 결정할 수 있다. 디바이스 종류 정보가 오디오 향상 데이터베이스(210)에서 발견되면, 오디오 향상 시스템(150)은 정의된 바와 같이 오디오 향상을 구성(예컨대, 결정(310))할 수 있다.
도 6은 유선 접속을 통해 오디오 렌더링 시스템에 통신 가능하게 결합된 디바이스를 통해 향상된 오디오 신호를 제공할 때 렌더링 시스템 정보를 결정하기 위한 프로세스(600)의 흐름도이다. 디바이스(140)는 HDMI 접속을 통해 오디오 렌더링 시스템에 통신 가능하게 결합된 스마트 TV 플랫폼일 수 있다. 예를 들어, 디바이스(140)는 내장 스피커를 갖는 TV 모니터 또는 사운드 바에 결합된 스마트 TV 플랫폼일 수 있다. 유선 접속을 통해 결합된 디바이스의 다른 예에서, 디바이스(120)는 USB-C 접속 또는 임의의 다른 디지털 접속을 통해(예컨대, 라이트닝 커넥터를 사용함) 헤드폰에 통신 가능하게 결합된 모바일 폰이다. 일부 실시예에서, 오디오 향상 시스템(150)은 프로세스(600)의 단계들을 병렬로 수행하거나, 상이한 순서로 수행하거나, 서로 다른 단계들을 수행한다.
오디오 향상 시스템(150)은 디바이스의 활성 통신 경로에 대해 디바이스의 OS에 질의한다(605). 예를 들어, 운영 체제 질의 모듈(200)은 디바이스(140)의 활성 통신 경로를 결정하기 위해 API를 사용하여 디바이스(140)의 OS에 질의한다(예컨대, 안드로이드 OS의 AudioDeviceInfo 종류 API를 사용하여 스마트 TV 플랫폼에 질의함). 일부 실시예에서, 활성 통신 경로는 HDMI 접속을 통할 수 있다. 오디오 향상 시스템(150)은 오디오 향상 데이터베이스(210)에서 대응하는 오디오 향상에 대한 HDMI 경로의 매핑을 찾을 수 있다. 예를 들어, 오디오 향상 데이터베이스(210)는 특정 TV 모델 또는 제조업체와 연관된 HDMI 오디오 통신 경로에 대한 오디오 향상에 관한 명령어에 의한 매핑을 포함한다. 프로세스(600)에 도시되어 있지는 않지만, 오디오 향상 데이터베이스(210)에서 통신 경로 정보가 발견되면, 오디오 향상 시스템(150)은 디바이스에 결합된 외부 디바이스가 존재한다고 판정하는 단계(610)로 진행하지 않으면서 활성 통신 경로에 기초하여 오디오 향상을 결정하는 단계(310)로 바로 진행할 수 있다.
오디오 향상 시스템(150)은 오디오 렌더링 시스템이 디바이스에 통신 가능하게 결합된 외부 디바이스와 연관되어 있다고 판정한다(610). 일부 실시예에서, 질의(605)의 결과에 기초하여, 오디오 향상 시스템(150)은 외부 디바이스와 연관된 오디오 렌더링 시스템이 디바이스로부터 외부 디바이스로 전송된 오디오를 출력하고 있다고 판정한다. 예를 들어, 질의(605)가 HDMI 접속을 통해 오디오가 라우팅되고 있음을 나타내면, 오디오 향상 시스템(150)은 디바이스(140)가 오디오 렌더링 시스템을 통해 오디오를 출력하고 있는 외부 디바이스(예컨대, 내장 스피커가 있는 TV 모니터)와 통신 가능하게 결합된다고 판정할 수 있다.
오디오 향상 시스템(150)은 외부 디바이스의 제조업체 또는 SoC 정보에 대해 디바이스에 질의한다(615). 예를 들어, 운영 체제 질의 모듈(200)은 스마트 TV 플랫폼에서 안드로이드 OS의 AudioDeviceClass를 사용하여 외부 디바이스의 EDID 정보로부터 제조업체 ID를 결정할 수 있다. 오디오 향상 시스템(150)이 외부 디바이스에 대한 충분한 정보를 가지고 있다면, 오디오 신호에 대한 오디오 향상을 결정하는 단계(310)로 진행한다. 그렇지 않으면, 오디오 향상 시스템(150)은 외부 디바이스의 모델 식별자와 같은 외부 디바이스에 대한 추가 정보를 결정한다(620).
오디오 향상 시스템(150)은 외부 디바이스의 모델 식별자를 결정한다(620). 일부 실시예에서, 운영 체제 질의 모듈(200)은 외부 디바이스와 연관되는 것으로 판정된 디바이스에 외부 디바이스의 모델 식별자에 대해 질의한다. 예를 들어, 운영 체제 질의 모듈(200)은, 스마트 TV 플랫폼인 디바이스(140)의 운영 체제에, HDMI 케이블을 통해 스마트 TV 플랫폼에 접속된 TV 모니터의 모델 식별자에 대해 질의할 수 있다. 운영 체제 질의 모듈(200)은 HDMI 접속을 통해 이용 가능한 EDID 정보를 사용하여 TV 모니터의 모델 식별자 및 오디오 렌더링 시스템에 대한 정보를 결정할 수 있다. 프로세스(600)는 렌더링 시스템 정보(예컨대, 외부 디바이스의 모델 식별자)에 기초하여 오디오 향상을 결정하는 단계(310)로 진행할 수 있다.
예시적 컴퓨터
도 7은 일부 실시예에 따른 컴퓨터(700)의 블록도이다. 컴퓨터(700)는 오디오 처리 시스템(150)과 같은 오디오 처리 시스템을 구현하는 회로의 예이다. 칩셋(704)에 결합된 적어도 하나의 프로세서(702)가 도시되어 있다. 칩셋(704)은 메모리 제어기 허브(720) 및 입력/출력(I/O) 제어기 허브(722)를 포함한다. 메모리(706) 및 그래픽 어댑터(712)가 메모리 제어기 허브(720)에 결합되고, 디스플레이 디바이스(718)가 그래픽 어댑터(712)에 결합된다. 저장 디바이스(708), 키보드(710), 포인팅 디바이스(714), 및 네트워크 어댑터(716)가 I/O 제어기 허브(722)에 결합된다. 컴퓨터(700)는 다양한 유형의 입력 또는 출력 디바이스를 포함할 수 있다. 컴퓨터(700)의 다른 실시예는 상이한 아키텍처를 갖는다. 예를 들어, 일부 실시예에서 메모리(706)는 프로세서(702)에 직접 결합된다.
저장 디바이스(708)는, 하드 드라이브, CD-ROM(Compact Disk Read-Only Memory), DVD, 또는 솔리드 스테이트 메모리 디바이스와 같은 하나 이상의 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 메모리(706)는 프로세서(702)에 의해 사용되는 프로그램 코드(하나 이상의 명령어로 구성됨) 및 데이터를 보유한다. 프로그램 코드는 도 1 내지 도 5를 참조하여 설명된 처리 양태에 대응할 수 있다.
포인팅 디바이스(714)는 컴퓨터(700)에 데이터를 입력하기 위해 키보드(710)와 함께 사용된다. 그래픽 어댑터(712)는 디스플레이 디바이스(718) 상에 이미지 및 기타 정보를 표시한다. 일부 실시예에서, 디스플레이 디바이스(718)는 사용자 입력 및 선택을 수신하기 위한 터치 스크린 기능을 포함한다. 네트워크 어댑터(716)는 컴퓨터(700)를 네트워크에 결합시킨다. 컴퓨터(700)의 일부 실시예는 도 7에 도시된 것과 상이한 및/또는 다른 구성요소를 갖는다.
일부 실시예여서, 오디오 처리 시스템(100 또는 200)과 같은 오디오 처리 시스템을 구현하는 회로는 ASIC(application-specific integrated circuit), FPGA(field-programmable gate array), 또는 다른 유형의 컴퓨팅 회로를 포함할 수 있다.
추가 고려사항
개시된 구성의 예시적 이점 및 장점은, 디바이스 및 관련 오디오 렌더링 시스템에 맞춰 조정되는 향상된 오디오 시스템 뿐만 아니라 사용 사례 정보(예컨대, 오디오 신호가 게임이 아닌 음악 재생에 사용됨을 나타냄)와 같은 디바이스 OS에 의해 이용 가능하게 되는 다른 관련 정보로 인한 동적 오디오 향상을 포함한다. 향상된 오디오 시스템은 디바이스에 통합되거나(예컨대, 소프트웨어 개발 키트를 사용함) 요청 시 액세스할 수 있도록 원격 서버에 저장될 수 있다. 이러한 방식으로, 디바이스는 오디오 렌더링 시스템 또는 오디오 렌더링 구성에 특정되는 오디오 향상 시스템의 유지 관리에 저장 또는 처리 리소스를 할애할 필요가 없다. 일부 실시예에서, 향상된 오디오 시스템은 이용 가능한 디바이스-특정 렌더링 정보의 다양한 레벨에 걸쳐 효과적인 오디오 향상이 적용될 수 있도록 렌더링 시스템 정보에 대한 다양한 레벨의 질의를 가능하게 한다.
본 명세서 전반에 걸쳐, 복수의 인스턴스가 단일 인스턴스로서 설명된 구성요소, 동작 또는 구조를 구현할 수 있다. 하나 이상의 방법의 개별 동작은 별도의 동작으로 도시되고 설명되지만, 개별 동작들 중 하나 이상은 동시에 수행될 수 있으며, 동작은 설명된 순서대로 수행될 필요는 없다. 예시적인 구성에서 별도의 구성요소들로서 제시된 구조 및 기능은 결합된 구조 또는 구성요소로 구현될 수 있다. 유사하게, 단일 구성요소로서 제시된 구조 및 기능은 별도의 구성요소들로 구현될 수 있다. 이들 및 다른 변형, 수정, 추가 및 개선은 본원의 주제 범위에 속한다.
본 명세서에서 특정 실시예는 로직 또는 다수의 구성요소, 모듈, 또는 메커니즘을 포함하는 것으로 설명된다. 모듈은 소프트웨어 모듈(예컨대, 머신 판독가능 매체 또는 전송 신호에 구현된 코드) 또는 하드웨어 모듈을 구성할 수 있다. 하드웨어 모듈은 특정 동작을 수행할 수 있는 유형의 유닛이며 특정 방식으로 구성되거나 배열될 수 있다. 예시적인 실시예에서, 하나 이상의 컴퓨터 시스템(예컨대, 독립형 클라이언트 또는 서버 컴퓨터 시스템) 또는 컴퓨터 시스템의 하나 이상의 하드웨어 모듈(예컨대, 프로세서 또는 프로세서 그룹)은 소프트웨어(예컨대, 애플리케이션 또는 애플리케이션 부분)에 의해 본 명세서에 설명된 특정 동작을 수행하도록 동작하는 하드웨어 모듈로서 구성될 수 있다.
본 명세서에 설명된 예시적인 방법의 다양한 동작은 관련 동작을 수행하도록 일시적으로 구성되거나(예컨대, 소프트웨어에 의해) 영구적으로 구성된 하나 이상의 프로세서에 의해 적어도 부분적으로 수행될 수 있다. 일시적으로 구성되든 영구적으로 구성되든 이러한 프로세서는 하나 이상의 동작 또는 기능을 수행하도록 동작하는 프로세서-구현 모듈을 구성할 수 있다. 일부 예시적 실시예에서, 본 명세서에서 언급된 모듈은 프로세서-구현 모듈을 포함할 수 있다.
유사하게, 본 명세서에 설명된 방법은 적어도 부분적으로 프로세서로 구현될 수 있다. 예를 들어, 방법의 동작들 중 적어도 일부는 하나 이상의 프로세서 또는 프로세서-구현 하드웨어 모듈에 의해 수행될 수 있다. 특정 동작의 성능은 단일 머신 내에 상주할 뿐만 아니라 다수의 머신에 걸쳐 배포되는 하나 이상의 프로세서에 분산될 수 있다. 일부 예시적 실시예에서 프로세서 또는 프로세서들은 단일 위치(예컨대, 가정 환경 내에, 사무실 환경 내에 또는 서버 팜으로서)에 위치할 수 있는 반면, 다른 실시예에서 프로세서는 다수의 위치에 걸쳐 분산될 수 있다.
달리 구체적으로 언급되지 않는 한, "처리하는", "컴퓨팅하는", "계산하는", "결정하는", "제시하는", "표시하는" 등과 같은 단어를 사용하는 본 명세서에서의 논의는, 하나 이상의 메모리(예컨대, 휘발성 메모리, 비휘발성 메모리 또는 이들의 조합), 레지스터, 또는 정보를 수신, 저장, 전송 또는 표시하는 다른 머신 구성요소 내에서 물리적(예컨대, 전자적, 자기적 또는 광학적) 양으로 표현되는 데이터를 조작 또는 변환하는 머신(예컨대, 컴퓨터)의 동작 또는 프로세스를 지칭할 수 있다.
본 명세서에서 사용될 때, "일 실시예" 또는 "실시예"에 대한 임의의 언급은 실시예와 관련하여 설명된 특정 요소, 특징, 구조 또는 특성이 적어도 하나의 실시예에 포함되는 것을 의미한다. 명세서의 다양한 위치에서 "일 실시예에서"라는 문구의 출현은 반드시 모두 동일한 실시예를 지칭하는 것은 아니다.
일부 실시예는 "결합된" 및 "접속된"이라는 표현을 이들의 파생어와 함께 사용하여 설명될 수 있다. 이러한 용어는 서로 동의어로 의도된 것이 아님을 이해해야 한다. 예를 들어, 일부 실시예는 2개 이상의 요소가 서로 직접 물리적 또는 전기적 접촉 상태에 있음을 나타내기 위해 "접속된"이라는 용어를 사용하여 설명될 수 있다. 다른 예에서, 일부 실시예는 2개 이상의 요소가 직접 물리적 또는 전기적 접촉 상태에 있음을 나타내기 위해 "결합된"이라는 용어를 사용하여 설명될 수 있다. 그러나, "결합된"이라는 용어는 둘 이상의 요소가 서로 직접 접촉하지 않지만 여전히 서로 협력하거나 상호 작용하는 것을 의미할 수도 있다. 실시예는 이러한 맥락에서 제한되지 않는다.
본 명세서에 사용될 때, "포함한다(comprises)", "포함하는(comprising)", "포함한다(includes)", "포함하는(including)", "갖는다", "갖는" 또는 이들의 임의의 다른 변형은 비배타적인 포함을 커버하도록 의도된다. 예를 들어, 요소의 목록을 포함하는 프로세스, 방법, 물품 또는 장치는 반드시 그러한 요소만으로 제한되지 않으며, 명시적으로 나열되지 않거나 이러한 프로세스, 방법, 물품 또는 장치에 고유하지 않은 다른 요소를 포함할 수 있다. 또한, 달리 명시적으로 언급되지 않는 한, "또는"은 배타적 또는이 아닌 포괄적 또는을 나타낸다. 예를 들어, 조건 A 또는 B는 다음 중 어느 하나에 의해 충족된다: A는 참이고(또는 존재하고) B는 거짓임(또는 존재하지 않음), A는 거짓이고(또는 존재하지 않고) B는 참임(또는 존재함), A와 B는 모두 참임(또는 존재함).
또한, "a" 또는 "an"의 사용은 본 명세서의 실시예의 요소 및 구성요소를 설명하기 위해 사용된다. 이것은 단지 편의를 위해 그리고 본 발명의 일반적인 의미를 제공하기 위해 수행된다. 이 설명은 하나 또는 적어도 하나를 포함하는 것으로 읽혀져야 하며, 달리 의미하는 것이 분명하지 않는 한 단수는 복수도 포함한다.
이 설명의 어떤 부분은 정보에 대한 동작의 알고리즘 및 기호 표현의 관점에서 실시예를 설명한다. 이러한 알고리즘 설명 및 표현은 데이터 처리 기술 분야의 기술자가 자신의 작업 내용을 해당 기술 분야의 다른 사람에게 효과적으로 전달하는 데 일반적으로 사용된다. 이러한 동작은 기능적으로, 계산적으로 또는 논리적으로 설명되지만, 컴퓨터 프로그램 또는 등가의 전기 회로, 마이크로코드 등에 의해 구현되는 것으로 이해된다. 또한 일반성을 잃지 않으면서 이러한 동작 배열을 모듈로 지칭하는 것이 때로는 편리하다는 것이 입증되었다. 설명된 동작 및 관련 모듈은 소프트웨어, 펌웨어, 하드웨어 또는 이들의 임의의 조합으로 구현될 수 있다.
본 명세서에 설명된 단계, 동작 또는 프로세스 중 임의의 것은 하나 이상의 하드웨어 또는 소프트웨어 모듈에 의해 단독으로 또는 다른 디바이스와 함께 사용하여 수행되거나 구현될 수 있다. 일 실시예에서, 소프트웨어 모듈은, 설명된 단계, 동작, 또는 프로세스 중 임의의 것 또는 전부를 수행하기 위해 컴퓨터 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능 매체를 포함하는 컴퓨터 프로그램 제품에 의해 구현된다.
실시예는 또한 본 명세서의 동작을 수행하기 위한 장치에 관한 것일 수 있다. 이 장치는 필요한 목적을 위해 특별히 구성될 수 있고/있거나, 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨팅 디바이스를 포함할 수 있다. 이러한 컴퓨터 프로그램은 컴퓨터 시스템 버스에 결합될 수 있는 비일시적 유형의(tangible) 컴퓨터 판독가능 저장 매체, 또는 전자 명령어를 저장하기에 적합한 임의의 타입의 매체에 저장될 수 있다. 또한, 명세서에서 언급된 임의의 컴퓨팅 시스템은 단일 프로세서를 포함할 수 있거나, 증가된 컴퓨팅 능력을 위해 다중 프로세서 설계를 사용하는 아키텍처일 수 있다.
실시예는 또한 본 명세서에 설명된 컴퓨팅 프로세스에 의해 산출되는 제품에 관한 것일 수 있다. 이러한 제품은 컴퓨팅 프로세스로부터 생성된 정보를 포함할 수 있는데, 여기서 정보는 비일시적 유형의 컴퓨터 판독가능 저장 매체에 저장되며, 컴퓨터 프로그램 제품 또는 본 명세서에 설명된 다른 데이터 조합의 임의의 실시예를 포함할 수 있다.
본 개시물을 읽을 때, 당업자는 본 명세서에 개시된 원리를 통해 디바이스-특정 메타데이터를 사용하는 오디오 향상을 위한 프로세스 및 시스템에 대한 또 다른 대안적인 구조적 및 기능적 설계를 이해할 것이다. 따라서, 특정 실시예 및 애플리케이션이 예시되고 설명되었지만, 개시된 실시예는 본 명세서에 개시된 정확한 구성 및 구성요소에 제한되지 않는다는 것을 이해해야 한다. 첨부된 청구범위에 정의된 사상 및 범위를 벗어나지 않으면서 본 명세서에 개시된 방법 및 장치의 배열, 동작 및 세부사항에서 당업자에게 자명할 다양한 수정, 변경 및 변형이 이루어질 수 있다.
마지막으로, 명세서에 사용된 언어는 주로 가독성 및 교육 목적으로 선택되었으며, 특허권을 기술하거나 제한하기 위해 선택된 것이 아닐 수 있다. 따라서, 특허권의 범위는 이러한 상세한 설명이 아니라 이에 기초하여 출원에 대해 발행되는 임의의 청구항에 의해 제한되는 것으로 의도된다. 따라서, 실시예의 개시는 다음의 청구범위에 제시되는 특허권의 범위를 제한하는 것이 아닌 예시하기 위한 것이다.

Claims (45)

  1. 오디오 신호를 향상시키는 방법으로서,
    디바이스의 회로에 의해,
    상기 디바이스의 운영 체제에 질의함으로써 상기 디바이스와 연관된 오디오 렌더링 시스템의 렌더링 시스템 정보를 결정하는 단계 - 상기 렌더링 시스템 정보는 상기 오디오 신호의 통신 경로를 나타내는 데이터를 포함함 - 와,
    상기 오디오 신호의 상기 통신 경로를 나타내는 상기 데이터를 사용하여 데이터베이스에 질의하는 단계와,
    상기 데이터베이스에의 질의 응답으로, 오디오 향상을 수신하는 단계 - 상기 오디오 향상은 상기 데이터베이스 내의 상기 오디오 신호의 상기 통신 경로를 나타내는 상기 데이터에 매핑됨 - 와,
    상기 오디오 향상을 상기 오디오 신호에 적용하여 향상된 오디오 신호를 생성하는 단계와,
    상기 향상된 오디오 신호를 상기 오디오 렌더링 시스템에 제공하는 단계를 포함하는
    방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 데이터베이스는 상기 디바이스 내에 있는,
    방법.
  4. 제1항에 있어서,
    상기 데이터베이스는 네트워크를 통해 상기 디바이스에 접속된 원격 시스템 내에 있는,
    방법.
  5. 제1항에 있어서,
    상기 렌더링 시스템 정보는 고유 디바이스 식별자를 포함하는,
    방법.
  6. 제1항에 있어서,
    상기 렌더링 시스템 정보는 모델 식별자 또는 제품 식별자 중 적어도 하나를 포함하는,
    방법.
  7. 제1항에 있어서,
    상기 렌더링 시스템 정보는 상기 디바이스의 위치 또는 방향 중 적어도 하나를 포함하는,
    방법.
  8. 제1항에 있어서,
    상기 렌더링 시스템 정보는 디바이스 종류(device class)를 포함하는,
    방법.
  9. 삭제
  10. 제1항에 있어서,
    상기 렌더링 시스템 정보는 상기 디바이스에 의해 사용되는 오디오 코덱을 포함하는,
    방법.
  11. 제1항에 있어서,
    상기 렌더링 시스템 정보는 상기 오디오 신호와 연관된 애플리케이션을 나타내는 메타데이터를 포함하는,
    방법.
  12. 제1항에 있어서,
    상기 렌더링 시스템 정보는 제조업체 정보를 포함하는,
    방법.
  13. 제1항에 있어서,
    상기 오디오 향상은 상기 오디오 신호의 측면 부대역 성분 및 중간 부대역 성분을 필터링하는 것을 포함하는,
    방법.
  14. 제1항에 있어서,
    상기 오디오 향상은 크로스토크 처리를 포함하는,
    방법.
  15. 제1항에 있어서,
    상기 오디오 향상은 필터, 시간 지연, 또는 이득 중 적어도 하나를 적용함으로써 상기 렌더링 시스템의 좌측 스피커와 우측 스피커 사이의 비대칭을 조정하는 것을 포함하는,
    방법.
  16. 디바이스로서,
    오디오 렌더링 시스템과,
    회로를 포함하되, 상기 회로는,
    상기 디바이스의 운영 체제에 질의함으로써 상기 디바이스와 연관된 오디오 렌더링 시스템의 렌더링 시스템 정보를 결정하고 - 상기 렌더링 시스템 정보는 오디오 신호의 통신 경로를 나타내는 데이터를 포함함 -,
    상기 오디오 신호의 상기 통신 경로를 나타내는 상기 데이터를 사용하여 데이터베이스에 질의하고,
    상기 데이터베이스에의 질의 응답으로, 오디오 향상을 수신하고 - 상기 오디오 향상은 상기 데이터베이스 내의 상기 오디오 신호의 상기 통신 경로를 나타내는 상기 데이터에 매핑됨 -,
    상기 오디오 향상을 상기 오디오 신호에 적용하여 향상된 오디오 신호를 생성하고,
    상기 향상된 오디오 신호를 상기 오디오 렌더링 시스템에 제공하도록 구성되는,
    디바이스.
  17. 삭제
  18. 제16항에 있어서,
    상기 데이터베이스는 상기 디바이스 내에 있는,
    디바이스.
  19. 제16항에 있어서,
    상기 데이터베이스는 네트워크를 통해 상기 디바이스에 접속된 원격 시스템 내에 있는,
    디바이스.
  20. 제16항에 있어서,
    상기 렌더링 시스템 정보는 고유 디바이스 식별자를 포함하는,
    디바이스.
  21. 제16항에 있어서,
    상기 렌더링 시스템 정보는 모델 식별자 또는 제품 식별자 중 적어도 하나를 포함하는,
    디바이스.
  22. 제16항에 있어서,
    상기 렌더링 시스템 정보는 상기 디바이스의 위치 또는 방향 중 적어도 하나를 포함하는,
    디바이스.
  23. 제16항에 있어서,
    상기 렌더링 시스템 정보는 디바이스 종류를 포함하는,
    디바이스.
  24. 삭제
  25. 제16항에 있어서,
    상기 렌더링 시스템 정보는 상기 디바이스에 의해 사용되는 오디오 코덱을 포함하는,
    디바이스.
  26. 제16항에 있어서,
    상기 렌더링 시스템 정보는 상기 오디오 신호와 연관된 애플리케이션을 나타내는 메타데이터를 포함하는,
    디바이스.
  27. 제16항에 있어서,
    상기 렌더링 시스템 정보는 제조업체 정보를 포함하는,
    디바이스.
  28. 제16항에 있어서,
    상기 오디오 향상은 상기 오디오 신호의 측면 부대역 성분 및 중간 부대역 성분을 필터링하는 것을 포함하는,
    디바이스.
  29. 제16항에 있어서,
    상기 오디오 향상은 크로스토크 처리를 포함하는,
    디바이스.
  30. 제16항에 있어서,
    상기 오디오 향상은 필터, 시간 지연, 또는 이득 중 적어도 하나를 적용함으로써 상기 렌더링 시스템의 좌측 스피커와 우측 스피커 사이의 비대칭을 조정하는 것을 포함하는,
    디바이스.
  31. 명령어를 저장하는 비일시적 컴퓨터 판독가능 매체로서,
    상기 명령어는 하나 이상의 프로세서에 의해 실행될 때,
    디바이스의 운영 체제에 질의함으로써 상기 디바이스와 연관된 오디오 렌더링 시스템의 렌더링 시스템 정보를 결정하고 - 상기 렌더링 시스템 정보는 오디오 신호의 통신 경로를 나타내는 데이터를 포함함 -,
    상기 오디오 신호의 상기 통신 경로를 나타내는 상기 데이터를 사용하여 데이터베이스에 질의하고,
    상기 데이터베이스에의 질의 응답으로, 오디오 향상을 수신하고 - 상기 오디오 향상은 상기 데이터베이스 내의 상기 오디오 신호의 상기 통신 경로를 나타내는 상기 데이터에 매핑됨 -,
    상기 오디오 향상을 상기 오디오 신호에 적용하여 향상된 오디오 신호를 생성하고,
    상기 향상된 오디오 신호를 상기 오디오 렌더링 시스템에 제공하도록
    상기 하나 이상의 프로세서를 구성하는,
    비일시적 컴퓨터 판독가능 매체.
  32. 삭제
  33. 제31항에 있어서,
    상기 데이터베이스는 상기 디바이스 내에 있는,
    비일시적 컴퓨터 판독가능 매체.
  34. 제31항에 있어서,
    상기 데이터베이스는 네트워크를 통해 상기 디바이스에 접속된 원격 시스템 내에 있는,
    비일시적 컴퓨터 판독가능 매체.
  35. 제31항에 있어서,
    상기 렌더링 시스템 정보는 고유 디바이스 식별자를 포함하는,
    비일시적 컴퓨터 판독가능 매체.
  36. 제31항에 있어서,
    상기 렌더링 시스템 정보는 모델 식별자 또는 제품 식별자 중 적어도 하나를 포함하는,
    비일시적 컴퓨터 판독가능 매체.
  37. 제31항에 있어서,
    상기 렌더링 시스템 정보는 상기 디바이스의 위치 또는 방향 중 적어도 하나를 포함하는,
    비일시적 컴퓨터 판독가능 매체.
  38. 제31항에 있어서,
    상기 렌더링 시스템 정보는 디바이스 종류를 포함하는,
    비일시적 컴퓨터 판독가능 매체.
  39. 삭제
  40. 제31항에 있어서,
    상기 렌더링 시스템 정보는 상기 디바이스에 의해 사용되는 오디오 코덱을 포함하는,
    비일시적 컴퓨터 판독가능 매체.
  41. 제31항에 있어서,
    상기 렌더링 시스템 정보는 상기 오디오 신호와 연관된 애플리케이션을 나타내는 메타데이터를 포함하는,
    비일시적 컴퓨터 판독가능 매체.
  42. 제31항에 있어서,
    상기 렌더링 시스템 정보는 제조업체 정보를 포함하는,
    비일시적 컴퓨터 판독가능 매체.
  43. 제31항에 있어서,
    상기 오디오 향상은 상기 오디오 신호의 측면 부대역 성분 및 중간 부대역 성분을 필터링하는 것을 포함하는,
    비일시적 컴퓨터 판독가능 매체.
  44. 제31항에 있어서,
    상기 오디오 향상은 크로스토크 처리를 포함하는,
    비일시적 컴퓨터 판독가능 매체.
  45. 제31항에 있어서,
    상기 오디오 향상은 필터, 시간 지연, 또는 이득 중 적어도 하나를 적용함으로써 상기 렌더링 시스템의 좌측 스피커와 우측 스피커 사이의 비대칭을 조정하는 것을 포함하는,
    비일시적 컴퓨터 판독가능 매체.
KR1020227020078A 2019-11-15 2020-09-30 동적 렌더링 디바이스 메타데이터 정보에 근거한 오디오 향상 시스템 KR102648151B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962936327P 2019-11-15 2019-11-15
US62/936,327 2019-11-15
US16/902,044 US11533560B2 (en) 2019-11-15 2020-06-15 Dynamic rendering device metadata-informed audio enhancement system
US16/902,044 2020-06-15
PCT/US2020/053660 WO2021096606A1 (en) 2019-11-15 2020-09-30 Dynamic rendering device metadata-informed audio enhancement system

Publications (2)

Publication Number Publication Date
KR20220101153A KR20220101153A (ko) 2022-07-19
KR102648151B1 true KR102648151B1 (ko) 2024-03-14

Family

ID=75909807

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227020078A KR102648151B1 (ko) 2019-11-15 2020-09-30 동적 렌더링 디바이스 메타데이터 정보에 근거한 오디오 향상 시스템

Country Status (7)

Country Link
US (3) US11533560B2 (ko)
EP (1) EP4059235A4 (ko)
JP (1) JP2023503826A (ko)
KR (1) KR102648151B1 (ko)
CN (1) CN115023958A (ko)
TW (2) TWI828241B (ko)
WO (1) WO2021096606A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113905308B (zh) * 2021-08-05 2023-06-06 钰太芯微电子科技（上海）有限公司 在线修调的mems麦克风及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170208411A1 (en) * 2016-01-18 2017-07-20 Boomcloud 360, Inc. Subband spatial and crosstalk cancellation for audio reproduction

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004236192A (ja) * 2003-01-31 2004-08-19 Toshiba Corp 音響機器制御方法、情報機器及び音響機器制御システム
JP4115855B2 (ja) * 2003-02-21 2008-07-09 アルパイン株式会社 音響パラメータ設定装置
US8422693B1 (en) * 2003-09-29 2013-04-16 Hrl Laboratories, Llc Geo-coded spatialized audio in vehicles
JP4368210B2 (ja) * 2004-01-28 2009-11-18 ソニー株式会社 送受信システム、送信装置およびスピーカ搭載機器
TWI475896B (zh) 2008-09-25 2015-03-01 Dolby Lab Licensing Corp 單音相容性及揚聲器相容性之立體聲濾波器
UA101542C2 (ru) 2008-12-15 2013-04-10 Долби Лабораторис Лайсензин Корпорейшн Виртуализатор окружающего звука с динамическим сжатием диапазона и способ
TWI444989B (zh) 2010-01-22 2014-07-11 Dolby Lab Licensing Corp 針對改良多通道上混使用多通道解相關之技術
CN103329571B (zh) 2011-01-04 2016-08-10 Dts有限责任公司 沉浸式音频呈现系统
AU2012279349B2 (en) 2011-07-01 2016-02-18 Dolby Laboratories Licensing Corporation System and tools for enhanced 3D audio authoring and rendering
TW202339510A (zh) 2011-07-01 2023-10-01 美商杜比實驗室特許公司 用於適應性音頻信號的產生、譯碼與呈現之系統與方法
US9294158B2 (en) * 2012-08-07 2016-03-22 Broadcom Corporation Broadcast audio service
US9826328B2 (en) * 2012-08-31 2017-11-21 Dolby Laboratories Licensing Corporation System for rendering and playback of object based audio in various listening environments
US9124966B2 (en) * 2012-11-28 2015-09-01 Qualcomm Incorporated Image generation for collaborative sound systems
WO2014108084A1 (en) * 2013-01-09 2014-07-17 Ace Communications Limited A system for fitting audio signals for in-use ear
US9191742B1 (en) * 2013-01-29 2015-11-17 Rawles Llc Enhancing audio at a network-accessible computing platform
US9300266B2 (en) * 2013-02-12 2016-03-29 Qualcomm Incorporated Speaker equalization for mobile devices
US20140328485A1 (en) 2013-05-06 2014-11-06 Nvidia Corporation Systems and methods for stereoisation and enhancement of live event audio
TWM487509U (zh) 2013-06-19 2014-10-01 杜比實驗室特許公司 音訊處理設備及電子裝置
WO2015017914A1 (en) * 2013-08-05 2015-02-12 Audilent Technologies Inc. Media production and distribution system for custom spatialized audio
US9411942B2 (en) * 2013-08-30 2016-08-09 D&M Holdings, Inc. Network device, system and method for rendering an interactive multimedia playlist
US9697522B2 (en) * 2013-11-01 2017-07-04 Plantronics, Inc. Interactive device registration, setup and use
GB201406574D0 (en) * 2014-04-11 2014-05-28 Microsoft Corp Audio Signal Processing
JP6312564B2 (ja) * 2014-09-05 2018-04-18 ヤフー株式会社 情報処理装置、制御方法および制御プログラム
EP3068143A1 (en) * 2015-03-10 2016-09-14 Nxp B.V. Transmitter and receiver audio devices and associated methods
US9654891B2 (en) * 2015-09-15 2017-05-16 D&M Holdings, Inc. System and method for determining proximity of a controller to a media rendering device
US9877137B2 (en) 2015-10-06 2018-01-23 Disney Enterprises, Inc. Systems and methods for playing a venue-specific object-based audio
KR20180132032A (ko) 2015-10-28 2018-12-11 디티에스, 인코포레이티드 객체 기반 오디오 신호 균형화
NZ750171A (en) * 2016-01-18 2022-04-29 Boomcloud 360 Inc Subband spatial and crosstalk cancellation for audio reproduction
US9967689B1 (en) * 2016-09-29 2018-05-08 Sonos, Inc. Conditional content enhancement
US20180098151A1 (en) * 2016-10-03 2018-04-05 Blackfire Research Corporation Enhanced multichannel audio interception and redirection for multimedia devices
WO2018190880A1 (en) * 2017-04-14 2018-10-18 Hewlett-Packard Development Company, L.P. Crosstalk cancellation for stereo speakers of mobile devices
US20180357038A1 (en) * 2017-06-09 2018-12-13 Qualcomm Incorporated Audio metadata modification at rendering device
US10038419B1 (en) * 2017-07-06 2018-07-31 Bose Corporation Last mile equalization
US20190327559A1 (en) * 2018-04-19 2019-10-24 Robert E. Smith Multi-listener bluetooth (bt) audio system
CN109218528B (zh) * 2018-09-04 2021-03-02 Oppo广东移动通信有限公司 音效处理方法、装置以及电子设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170208411A1 (en) * 2016-01-18 2017-07-20 Boomcloud 360, Inc. Subband spatial and crosstalk cancellation for audio reproduction

Also Published As

Publication number Publication date
TW202244901A (zh) 2022-11-16
JP2023503826A (ja) 2023-02-01
TWI828241B (zh) 2024-01-01
US20210152935A1 (en) 2021-05-20
US20230067260A1 (en) 2023-03-02
US20240098412A1 (en) 2024-03-21
CN115023958A (zh) 2022-09-06
US11533560B2 (en) 2022-12-20
EP4059235A4 (en) 2023-12-06
TW202127432A (zh) 2021-07-16
EP4059235A1 (en) 2022-09-21
KR20220101153A (ko) 2022-07-19
TWI774090B (zh) 2022-08-11
WO2021096606A1 (en) 2021-05-20
US11863950B2 (en) 2024-01-02

Similar Documents

Publication Publication Date Title
US11134353B2 (en) Customized audio processing based on user-specific and hardware-specific audio information
US11611843B2 (en) Dynamic positional audio
KR101251626B1 (ko) 스마트 기기를 이용한 음향기기의 특성에 대한 보상 서비스 제공 방법
CN104255042A (zh) 用于提供由声换能器再现的音频信号的装置、系统、方法以及计算机程序
US10158960B1 (en) Dynamic multi-speaker optimization
US20240098412A1 (en) Dynamic rendering device metadata-informed audio enhancement system
US10846045B2 (en) Content based dynamic audio settings
US20140248036A1 (en) Method, Apparatus, And Computer Program Product For Including Device Playback Preferences In Multimedia Metadata
US11937065B2 (en) Adjustment of parameter settings for extended reality experiences
KR102409376B1 (ko) 디스플레이 장치 및 그 제어 방법
KR101977329B1 (ko) 음성 신호 출력 제어 방법 및 장치
US11736889B2 (en) Personalized and integrated virtual studio
TW202414389A (zh) 增強音頻信號之方法及裝置及相關的非暫時性電腦可讀媒體
CN108605196B (zh) 用于输出音频信号的系统和关联方法以及调整设备
KR20230054308A (ko) 복수의 오디오 기기를 이용하여 다채널 오디오를 출력하는 단말기 및 그 방법
CN116048452A (zh) 音效控制方法、装置、耳机、终端、存储介质和程序产品
CN115884034A (zh) 一种车辆重低音均衡控制方法及装置
KR20180015333A (ko) 헤드폰 또는 이어폰 음상정위를 위한 좌우출력 자동조절 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant