KR20230069029A - 음성 신호의 다수의 포인트 소스들로의 분할 - Google Patents

음성 신호의 다수의 포인트 소스들로의 분할 Download PDF

Info

Publication number
KR20230069029A
KR20230069029A KR1020220149434A KR20220149434A KR20230069029A KR 20230069029 A KR20230069029 A KR 20230069029A KR 1020220149434 A KR1020220149434 A KR 1020220149434A KR 20220149434 A KR20220149434 A KR 20220149434A KR 20230069029 A KR20230069029 A KR 20230069029A
Authority
KR
South Korea
Prior art keywords
band
sub
signal
sound
frequency band
Prior art date
Application number
KR1020220149434A
Other languages
English (en)
Inventor
크리스토퍼 티. 유뱅크
카멜리아 지. 부트로스
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20230069029A publication Critical patent/KR20230069029A/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/307Frequency adjustment, e.g. tone control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/033Headphones for stereophonic communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/07Generation or adaptation of the Low Frequency Effect [LFE] channel, e.g. distribution or signal processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11Application of ambisonics in stereophonic audio systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • H04S7/304For headphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

데이터 객체의 사운드를 재생하기 위한 방법에서, 데이터 객체의 음성 신호는 제1 부대역 신호 및 제2 부대역 신호로 분할되고, 2-웨이 스피커 시스템에 의해 스피커 드라이버 신호들이 생성되어 객체의 사운드를 생성하고, 여기서 제1 부대역 신호는 트위터 또는 고주파수 드라이버를 구동하고 제2 부대역 신호는 우퍼 또는 저주파수 드라이버를 구동한다. 다른 태양에서, 제1 부대역 신호 및 제2 부대역 신호는 상이한 위치들에 있는 가상 소스들로서 공간화된다. 다른 태양들이 또한 설명되고 청구된다.

Description

음성 신호의 다수의 포인트 소스들로의 분할{Splitting a Voice Signal into Multiple Point Sources}
본 개시내용의 일 태양은 사운드의 공간화(spatializing)에 관한 것이다. 다른 태양들이 또한 설명되고 청구된다.
공간 오디오 렌더링(사운드 공간화)은 오디오 신호(예컨대, 마이크로폰 신호 또는 다른 기록된 또는 합성된 오디오 콘텐츠)를 전자적으로 프로세싱하여 청취자가 보다 사실적으로 인식하는 사운드를 생성하는 멀티-채널 스피커 드라이버 신호들을 생성하는 것으로 설명될 수 있다.
예를 들어, (화자의) 음성 신호를 전자적으로 프로세싱하여, 예를 들어, 모든 방향들로부터 똑바로 또는 동일하게 대신에, 청취자의 우측 또는 좌측에 있는 주어진 위치로부터 나오는 것으로 청취자가 인식하는 (사람의 음성의) 가상 포인트 소스를 생성할 수 있다.
그러한 사운드는, 스테레오 라우드스피커들, 서라운드-사운드 라우드스피커들, 스피커 어레이들, 또는 헤드폰들과 같은 멀티-채널 스피커 셋업을 구동하고 있는 공간 오디오 렌더링 알고리즘에 의해 생성된다.
본 개시내용의 일 태양은 보다 사실적인 청취 경험을 산출할 수 있는 데이터 객체의 사운드를 재생하기 위한 컴퓨터 구현 방법이다. 데이터 객체의 사운드를 나타내는 오디오 신호는 사운드 엔진에 의해 수신된다. 객체는 디스플레이될 시각적 요소, 예컨대, 아바타와 같은 시뮬레이션된 현실 객체를 포함한다. 사운드 엔진은 오디오 신호를 제1 부대역 및 제2 부대역을 포함하는 2개 이상의 부대역 오디오 신호들로 분할한다. 제1 부대역은 시각적 요소 내의 제1 위치에 할당될 수 있고, 제2 부대역은 제1 위치로부터 이격된 시각적 요소 내의 제2 위치에 할당될 수 있다. 부대역 신호들을 사용하여 다수의 스피커 드라이버 신호들이 생성되어, 객체의 사운드를 생성한다.
일 태양에서, 이는 부대역 오디오 신호들을 프로세싱하는 것, 예컨대, 각각의 부대역 신호를 개별적으로 공간화하는 것에 의해 수행되므로, 제1 부대역의 사운드는 제2 부대역의 사운드와는 상이한 위치에서 나온다. 따라서, 음성 신호를 예로 들면, (가상의 입의) 단일의 가상 포인트 소스로부터의 음성 신호는 2개의 가상의 포인트 소스들, 즉 하나는 입에 그리고 다른 하나는 가슴에 각각 할당된 2개의 주파수 도메인 또는 부대역 성분들로 분할된다.
입 부대역은 몸통 부대역보다 더 높은 주파수 범위에 있을 수 있다. 스피커 드라이버 신호들은 청취자가 착용하는 헤드셋을 구동하기 위한 바이노럴 좌우 헤드폰 드라이버 신호들일 수 있거나, 또는 그들은 스테레오 또는 서라운드 사운드 라우드스피커 시스템을 위한 라우드스피커 드라이버 신호들일 수 있다.
다른 태양에서, 스피커 드라이버 신호들은 2-웨이(way) 스피커 시스템의 트위터 및 우퍼를 각각 구동하기 위해 의도된 고주파수 및 저주파수 신호들일 수 있다.
다른 태양에서, 부대역들을 정의하는 하나 이상의 컷오프 주파수들은 룸(room)의 음향 특성, 예컨대, 볼륨 또는 크기에 기초하여 설정된다. 룸의 볼륨은 사운드의 방향성에 대비하여 사운드가 룸 주위로 확산되는 주파수를 결정하는데 사용될 수 있다. 따라서, 낮은 부대역과 높은 부대역 사이의 경계를 표시하는 컷오프 주파수는 룸의 크기에 따라 변할 수 있다.
룸은 가상 룸일 수 있고, 객체의 시각적 요소는 가상 룸에 있는 한편, 둘 모두가 디스플레이 상에 제시된다. 청취자는 디스플레이를 보고 있고 헤드셋(이를 통해 객체의 사운드가 재생되고 있음)을 착용하고 있을 수 있다. 대안으로, 룸은 재생된 사운드의 청취자가 위치되어 있는 실제 룸일 수 있고, 청취자는 (증강 현실 환경에서와 같이) 헤드셋을 착용하고 있으면서 객체가 제시되고 있는 광학 헤드 마운트 디스플레이를 통해 보고 있다.
상기의 발명의 내용은 본 개시내용의 모든 태양들의 완전한 목록을 포함하지는 않는다. 본 개시내용이 상기에서 요약된 다양한 태양들의 모든 적합한 조합들로부터 실시될 수 있는 모든 시스템들 및 방법들뿐만 아니라, 하기의 발명을 실시하기 위한 구체적인 내용에서 개시되고 청구범위 섹션에서 특히 지적되는 것들을 포함한다는 것이 고려된다. 이러한 조합들은 이상의 발명의 내용에서 구체적으로 언급되지 않은 특정의 장점들을 가질 수 있다.
본 개시내용의 여러 태양들은 첨부 도면의 도면에서 제한으로서가 아니라 예로서 예시되며, 첨부 도면에서 유사한 참조 번호는 유사한 요소를 나타낸다. 본 개시내용에서 "어느(an)" 또는 "하나의(one)" 태양에 대한 참조는 반드시 동일한 태양에 대한 것은 아니며, 이는 적어도 하나를 의미한다는 것에 유의해야 한다. 또한, 간결함 및 도면의 총 수를 감소시키기 위해, 주어진 도면은 본 개시내용의 하나 초과의 태양의 특징부를 예시하는데 사용될 수 있으며, 도면의 모든 요소가 주어진 태양에 대해 요구되지는 않을 수 있다.
도 1은 데이터 객체의 시각적 요소와 연관된 입력 오디오 신호를 적어도 2개의 가상 사운드 소스들로 분할하고 각각의 소스를 별개로 공간화하는 오디오 시스템의 블록도이다.
도 2는 입력 음성 신호를 분할하고 저주파수 스피커 드라이버와 고주파수 스피커 드라이버를 통해 음성을 재생하는 오디오 시스템의 블록도이다.
도 3은 별개의 포인트 소스들에 대해 음성 신호를 적어도 2개의 부대역들로 분할함으로써, 데이터 객체의 음성을 재생하기 위한 방법의 흐름도이다.
본 개시내용의 몇몇 측면들이 이제 첨부 도면들을 참조하여 설명된다. 설명된 부분들의 형상들, 상대적인 위치들 및 다른 태양들이 명시적으로 정의되지 않을 때마다, 본 발명의 범주는 단지 예시의 목적을 위해 의도되는 도시된 부분들로만 제한되지는 않는다. 또한, 수많은 세부사항들이 기재되지만, 본 개시내용의 일부 태양들이 이들 세부사항들 없이 실시될 수 있다는 것이 이해된다. 다른 예들에서, 본 설명의 이해를 모호하게 하지 않기 위해, 잘 알려진 회로들, 구조들, 및 기술들은 상세히 나타내어져 있지 않다.
본 개시내용의 일 태양은, 데이터 객체의 시각적 요소와 연관된 입력 오디오 신호를 적어도 2개의 가상 사운드 소스들로 분할하고 각각의 소스를 별개로 공간화하는 오디오 시스템의 블록도인 도 1이다. 여기서, 시스템은 데이터 객체의 사운드를 공간화하기 위해, 시스템의 데이터 프로세서에 의해 수행되는 방법 동작들(컴퓨터 구현 방법)로 설명된다. 데이터 프로세서는 소프트웨어(기계 판독가능 메모리에 저장된 명령어), 예컨대 애플리케이션 개발 소프트웨어 또는 애플리케이션 개발 소프트웨어를 사용하여 작성되고 있는 시뮬레이션된 현실 애플리케이션에 의해 구성될 수 있다.
입력 오디오 신호(예컨대, 모노럴 신호)는 시뮬레이션된 현실 애플리케이션 프로그램에서와 같이, 시각적 요소(2)에 의해 나타내어지는 데이터 객체의 사운드와 연관되거나 이를 나타낸다. 데이터 객체의 시각적 요소(2)는 비디오 엔진(미도시)에 의해 렌더링된 후에 디스플레이(3)에 나타난다. 시각적 요소(2)는 (예를 들어, 2D 디스플레이 상에 묘사되는) 그래픽 객체 영역일 수 있거나, 또는 그것은 데이터 객체의 (예를 들어, 3D 디스플레이 상에 묘사되는) 그래픽 객체 볼륨일 수 있다.
데이터 객체는, 예를 들어, 사람일 수 있고, 시각적 요소(2)는 머리 및 몸통을 갖는 것으로 도 1에 도시된 사람의 아바타이다. 오디오 신호는 데이터 객체의 사운드를 나타내며, 이는 사람의 예에서는 사람의 음성이다.
오디오 시스템은 다음과 같이, 단일의 입력 오디오 신호를 2개 이상의 가상 사운드 소스들 또는 포인트 소스들로서 렌더링한다. 스플리터(4)는 오디오 신호를 제1 부대역(부대역 A) 및 제2 부대역(부대역 B)을 포함하는 2개 이상의 부대역 오디오 신호들(입력 오디오 신호의 성분들)로 분할한다. 스플리터는, 예를 들어 필터 뱅크로서 구현될 수 있다. 부대역 A는 부대역 B보다 인간 가청 범위의 더 높은 주파수 범위에 있을 수 있다. 예로서, 저주파수 대역(부대역 B)은 50 ㎐ 내지 200 ㎐ 내에 있을 수 있다. 다른 예에서, 저주파수 대역은 100 ㎐ 내지 300 ㎐ 내에 있다. 고주파수 대역은 이들 범위들 위에 있을 수 있다.
부대역 A는 시각적 요소의 영역 또는 볼륨 내에 있는 시각적 요소 내의 제1 위치에 할당되는 반면, 제2 부대역은 제1 위치로부터 이격된(그러나, 시각적 요소의 영역 또는 볼륨 내에 또한 있음) 시각적 요소 내의 제2 위치에 할당된다. 도면에서 볼 수 있는 바와 같이, 부대역 A는 사람의 또는 아바타의 머리 또는 입에 위치된 가상 사운드 소스 A 또는 포인트 소스로서 공간화되는 반면, 부대역 B는 사람의 또는 아바타의 몸통에 위치한 가상 사운드 소스 B로서 공간화된다. 시스템은, 부대역 A의 사운드가 부대역 B의 사운드와는 상이한 위치에서 나오도록, 2개의 부대역 오디오 신호들 및 그들의 각자의 가상 소스 위치들을 포함하는 그들의 연관된 메타데이터를 프로세싱함으로써, 데이터 객체의 사운드를 생성하기 위해 청취 디바이스를 구동하는 멀티-채널 스피커 드라이버 신호들(2개 이상의 스피커 드라이버 신호들)의 세트를 생성한다. 여기서, 가상 사운드 소스의 위치는, 예를 들어 가상 청취 포지션에서 보는 바와 같은 방위각 방향 또는 각도, 및 고도 방향 또는 각도에 상당할 수 있다는 것에 주목한다.
도 1의 예에서, 부대역들 A, B는 별개로 공간화되는데, 이는 동일한 가상 청취 포지션이지만 상이한 가상 소스 위치들, 및 상이한 오디오 신호들을 입력들로서 수신하는 2개의 공간화기(spatializer) 블록들(A, B)로 도시된다. 공간화기들(A, B)의 출력들은 결합기(7)(합산 기호로 도시됨)에 의해 하나 이상의 다른 공간화기들(C …)의 출력들과 결합되므로, 멀티-채널 스피커 신호들은 다른 가상 사운드 소스들(C …)을 가질 수 있는 사운드 장면을 포함한다. 도시된 예에서, 멀티-채널 스피커 신호들은 헤드셋의 왼쪽 스피커와 오른쪽 스피커를 구동하는 바이노럴 신호들이지만, 다른 버전에서는 청취 디바이스가 상이할 수 있는데, 예컨대, 한 쌍의 라우드 스피커들, 5.1 서라운드 사운드 라우드스피커 배열일 수 있다.
도 1은 또한, 스플리터(4)가 룸의 음향 특성에 의해 제어되는 본 개시내용의 다른 태양을 예시하는 데 사용된다. 룸은, 데이터 객체(그의 시각적 요소 2)가 디스플레이(3) 상에 제시되고 있는 가상 룸일 수 있다. 대안으로, 룸은 공간화된 사운드의 청취자가 위치되어 있는 실제 룸일 수 있다. 그 경우, 청취 디바이스는 청취자가 착용하고 있는 헤드셋일 수 있고, 청취자는 데이터 객체의 시각적 요소(2)가 디스플레이(3)에 제시되어 증강 현실 환경에서와 같이 실제 룸을 오버레이하고 있는 동안, 광학 헤드 마운트 디스플레이(또한 청취자가 착용함)를 통해 실제 룸을 볼 수 있다. 둘 모두의 경우들에서, 프로세서는 룸의 음향 특성에 기초하여 부대역 오디오 신호들의 하나 이상의 컷오프 주파수들을 설정할 수 있다. 룸의 음향 특성은, 예를 들어, 룸 크기 또는 볼륨(예를 들어, 대형 대 소형), 잔향 시간, 흡음 특성들, 및 룸 임펄스 응답 중 임의의 하나 이상의 함수일 수 있다.
이제 도 2를 참조하면, 이는 오디오 신호가 음성 신호인 예시적인 컴퓨터 시스템의 블록도이다. 음성 신호는 오디오 신호 - 그의 내용이 주로 또는 대부분 사람의 스피치임 - 이며, 예를 들어 대화의 일부일 수 있는 녹음이다. 이와 같이, 음성 신호는 음악이나 효과들을 포함하지 않는다. 음성 신호는, 예를 들어 시뮬레이션된 현실 애플리케이션 프로그램에서와 같은 데이터 객체의 아바타인 시각적 요소(2)와 연관된다. 이 시스템에서, 도 1의 것에서와 같이, 데이터 프로세서는 음성 신호를 적어도 2개의 성분들, 예컨대 제1 부대역 A 내의 제1 부대역 신호 및 제2 부대역 B 내의 제2 부대역 신호로 분할하는 스플리터(4)로서 수행하도록 구성된다.
이어서, 그것은 다수의 스피커 드라이버 신호들, 이 경우에서는 트위터 신호(보다 작은 스피커 심볼로 표현되는 트위터 구동용), 및 우퍼 신호(보다 큰 스피커 심볼로 표현되는 우퍼 구동용)를 생성한다. 트위터 및 우퍼는 2-웨이 스피커 시스템을 형성한다(예컨대, 청취 디바이스의 동일한 하우징에 통합됨). 따라서, 2개의 부대역들을 별개로 공간화하는 공간화기로서 수행하기보다는, 도 2의 프로세서는 제1 부대역 A 내의 사운드가 청취 디바이스의 트위터에서 나오게 하고, 제2 부대역 B 내의 사운드가 청취 디바이스의 우퍼로부터 나오게 한다.
제1 부대역 A는 고주파수 대역이고, 제2 부대역 B는 저주파수 대역이며, 여기서 고주파수 대역은 저주파수 대역 위에 있다. 이러한 주파수 대역들의 예들은 도 1의 설명과 관련하여 위에서 주어진 바와 같다. 또한, 도 2는 스플리터(4)가 룸의 음향 특성에 의해 제어되는 도 1과 관련하여 전술된 특징부의 추가에 의해 수정될 수 있다.
도 3은 별개의 포인트 소스들에 대해 음성 신호를 적어도 2개의 부대역들로 분할함으로써, 데이터 객체의 음성을 재생하기 위한 방법의 흐름도이다. 방법은 제조 물품, 및 특히 기계 판독가능 저장 매체(메모리)에 저장된 명령어들로 구성된 데이터 프로세서에 의해 수행될 수 있다. 방법은 데이터 객체의 음성 신호를 수신하는 것(동작 9) 및 음성 신호를 제1 부대역 내의 제1 부대역 신호 및 제2 부대역 내의 제2 부대역 신호로 분할하는 것(동작 11)으로 시작한다. 일 태양에서, 프로세서는 또한, 제1 부대역 신호를 데이터 객체의 시각적 요소의 제1 위치에 할당하고(동작 13), 제2 부대역 신호를 시각적 요소의 제2 위치에 할당한다(동작 15). 이는 다수의 스피커 드라이버 신호들을 생성하여 단일 장면에서 데이터 객체의 사운드를 재생한다(동작 17). 일 예에서, 공간화 프로세스는 스피커 드라이버 신호들을 생성하여, 제1 부대역 신호의 사운드가 제1 가상 위치로부터 나오고 제2 부대역 신호의 사운드가 제1 위치와는 상이한 제2 가상 위치로부터 나오도록 한다.
다른 예에서, 데이터 객체의 사운드를 공간화하기보다는, 제1 부대역 신호의 사운드는 2-웨이 또는 다중-웨이 스피커 시스템의 고주파수 스피커 드라이버, 예컨대 트위터에 의해 생성되는 한편, 제2 부대역 신호의 사운드는 2-웨이 또는 다중-웨이 스피커 시스템의 저주파수 스피커 드라이버, 예컨대 우퍼에 의해 생성된다. 이러한 스피커 드라이버들은 랩톱 컴퓨터, 태블릿 컴퓨터, 또는 헤드 마운트 디바이스와 같은 청취 디바이스의 동일한 하우징에 통합될 수 있다. 이들 예들에서, 청취 디바이스들은 또한 그 내부에 (통합되거나 장착된) 디스플레이(3)를 갖는다.
본 개시내용의 또 다른 태양은, 주파수-의존 지향성 또는 주파수-및-이득 의존 지향성인 부대역 A 오디오 신호(예를 들어, 이 경우에 아바타의 입인 소스로부터 나오는 것으로 렌더링되는 고주파수 대역)에 대해 수행되고 있는 신호 프로세싱의 체인에 오디오 프로세싱 효과를 추가하는 것이다. 도 1에서, 이러한 프로세싱 효과는 공간화기 A 블록의 일부일 수 있다. 이러한 추가는, 청취자가 소스 주위를 이동함에 따라, 예컨대 아바타가 말할 때 청취자가 아바타 뒤에 있을 때와 아바타 앞에 있을 때, 음성의 이퀄라이제이션에 영향을 미칠 것이다. 주파수-의존 지향성 효과를 고주파수 대역 프로세싱에 추가하는 것은 소정의 음소들, 특히 음성 마찰음들("f", "th", "sh", "'s")이 보다 사실적으로 렌더링되는 결과를 가져올 수 있다. 이득-의존 지향성을 고주파수 대역 프로세싱에 추가하는 것은, 예컨대 더 큰 볼륨들에서 스피치를 더 지향적이게 만드는 것에 의해, 상이한 레벨들의 스피치 생성이 보다 사실적으로 렌더링되는 결과를 가져올 수 있다.
소정의 태양들이 설명되고 첨부 도면에 도시되었지만, 그러한 태양들은 광범위한 발명을 제한하는 것이 아니라 단지 예시하는 것이며, 다양한 다른 변형들이 당업자에게 떠오를 수 있기 때문에 본 발명이 도시되고 설명된 특정 구성들 및 배열들로 제한되지 않는다는 것이 이해될 것이다. 따라서, 본 설명은 한정하는 것이 아니라 예시적인 것으로 간주되어야 한다.

Claims (21)

  1. 디스플레이 상에 디스플레이되고 있는 시각적 요소와 연관되는 사운드를 공간화하도록 구성된 데이터 프로세서를 포함하는 오디오 시스템으로서, 상기 프로세서는,
    제1 부대역 내의 제1 부대역 신호 및 제2 부대역 내의 제2 부대역 신호를 포함하는 복수의 부대역 오디오 신호들로 오디오 신호를 분할하도록; 그리고
    상기 제1 부대역 신호가 상기 시각적 요소의 제1 위치로부터 나오도록 공간화되고 상기 제2 부대역 신호가 상기 제1 위치와는 상이한 상기 시각적 요소의 제2 위치로부터 나오도록 공간화되도록 상기 제1 부대역 오디오 신호 및 제2 부대역 오디오 신호를 프로세싱함으로써 복수의 스피커 드라이버 신호들을 생성하도록 구성되는, 시스템.
  2. 제1항에 있어서, 상기 스피커 드라이버 신호들을 생성하기 위해, 상기 프로세서는 상기 제1 부대역 신호를 제1 가상 위치에 있는 제1 가상 사운드 소스로서, 그리고 상기 제2 부대역 신호를 상기 제1 가상 위치와는 상이한 제2 가상 위치에 있는 제2 가상 사운드 소스로서 공간화하는, 시스템.
  3. 제2항에 있어서, 상기 오디오 신호는 음성 신호이고, 상기 시각적 요소는 아바타인, 시스템.
  4. 제3항에 있어서, 상기 아바타 내의 상기 제1 위치는 머리 또는 입에 있고, 상기 아바타 내의 상기 제2 위치는 몸통에 있는, 시스템.
  5. 제4항에 있어서, 상기 제1 부대역은 고주파수 대역이고, 상기 제2 부대역은 저주파수 대역이고, 상기 고주파수 대역은 상기 저주파수 대역 위에 있는, 시스템.
  6. 제1항에 있어서, 상기 오디오 신호는 음성 신호이고, 상기 시각적 요소는 시뮬레이션된 현실 애플리케이션에서 데이터 객체와 연관된 아바타인, 시스템.
  7. 제6항에 있어서, 상기 아바타 내의 상기 제1 위치는 머리 또는 입에 있고, 상기 아바타 내의 상기 제2 위치는 몸통에 있는, 시스템.
  8. 제7항에 있어서, 상기 제1 부대역은 고주파수 대역이고, 상기 제2 부대역은 저주파수 대역이고, 상기 고주파수 대역은 상기 저주파수 대역 위에 있는, 시스템.
  9. 제8항에 있어서, 상기 프로세서는 상기 제1 부대역에 대해 주파수-의존 지향성 프로세싱을 수행하도록 구성되는, 시스템.
  10. 제8항에 있어서, 상기 프로세서는 상기 제1 부대역에 대해 이득-의존 지향성 프로세싱을 수행하도록 구성되는, 시스템.
  11. 제1항에 있어서, 상기 프로세서는,
    상기 시각적 요소가 디스플레이 상에 제시되는 가상 룸(room)의 음향 특성, 또는 상기 공간화된 사운드의 청취자가 위치되는 실제 룸의 음향 특성을 수신하도록; 그리고
    상기 음향 특성에 기초하여 상기 복수의 부대역 오디오 신호들의 하나 이상의 컷오프 주파수들을 설정하도록 구성되는, 시스템.
  12. 제11항에 있어서, 상기 음향 특성은 룸 크기 또는 룸 볼륨을 포함하는, 시스템.
  13. 데이터 객체의 사운드를 재생하기 위한 방법으로서,
    데이터 객체의 음성 신호를 제1 부대역 내의 제1 부대역 신호 및 제2 부대역 내의 제2 부대역 신호로 분할하는 단계; 및
    2-웨이(way) 스피커 시스템에 의해 상기 객체의 사운드를 생성하기 위해, 상기 제1 부대역 신호를 상기 2-웨이 스피커 시스템을 위한 트위터 또는 고주파수 드라이버 신호로, 그리고 상기 제2 부대역 신호를 상기 2-웨이 스피커 시스템을 위한 우퍼 또는 저주파수 드라이버 신호로 프로세싱함으로써 복수의 스피커 드라이버 신호들을 생성하는 단계를 포함하는, 방법.
  14. 제13항에 있어서, 상기 데이터 객체는 시뮬레이션된 현실 애플리케이션 프로그램 내의 시각적 요소와 연관되고, 상기 시각적 요소는 아바타인, 방법.
  15. 제13항에 있어서, 상기 제1 부대역은 고주파수 대역이고, 상기 제2 부대역은 저주파수 대역이고, 상기 고주파수 대역은 상기 저주파수 대역 위에 있는, 방법.
  16. 명령어들이 저장된 기계 판독가능 저장 매체를 포함하는 제조 물품으로서, 상기 명령어들은
    음성 신호를 제1 부대역 내의 제1 부대역 신호 및 제2 부대역 내의 제2 부대역 신호로 분할하도록; 그리고
    상기 음성 신호의 사운드를 재생하기 위해 복수의 스피커 드라이버 신호들을 생성하도록 프로세서를 구성하고, 상기 제1 부대역 신호의 사운드는 제1 스피커 드라이버에 의해 생성되고 상기 제2 부대역 신호의 사운드는 제2 스피커 드라이버에 의해 생성되는, 제조 물품.
  17. 제16항에 있어서, 상기 제1 스피커 드라이버는 트위터에 있고, 상기 제2 스피커 드라이버는 우퍼인, 제조 물품.
  18. 제17항에 있어서, 상기 음성 신호는 디스플레이 상에 디스플레이되고 있는 아바타의 것인, 제조 물품.
  19. 제18항에 있어서, 상기 제1 부대역은 고주파수 대역이고, 상기 제2 부대역은 저주파수 대역이고, 상기 고주파수 대역은 상기 저주파수 대역 위에 있는, 제조 물품.
  20. 제18항에 있어서,
    상기 아바타가 상기 디스플레이 상에 제시되는 가상 룸의 음향 특성, 또는 상기 재생된 사운드의 청취자가 위치되는 실제 룸의 음향 특성을 수신하도록; 그리고
    상기 음향 특성에 기초하여 상기 제1 부대역 및 상기 제2 부대역의 하나 이상의 컷오프 주파수들을 설정하도록 상기 프로세서를 구성하는 명령어들을 추가로 포함하는, 제조 물품.
  21. 제20항에 있어서, 상기 음향 특성은 룸 크기 또는 룸 볼륨을 포함하는, 제조 물품.
KR1020220149434A 2021-11-11 2022-11-10 음성 신호의 다수의 포인트 소스들로의 분할 KR20230069029A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163278265P 2021-11-11 2021-11-11
US63/278,265 2021-11-11
US17/962,935 US20230143473A1 (en) 2021-11-11 2022-10-10 Splitting a Voice Signal into Multiple Point Sources
US17/962,935 2022-10-10

Publications (1)

Publication Number Publication Date
KR20230069029A true KR20230069029A (ko) 2023-05-18

Family

ID=84818445

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220149434A KR20230069029A (ko) 2021-11-11 2022-11-10 음성 신호의 다수의 포인트 소스들로의 분할

Country Status (5)

Country Link
US (1) US20230143473A1 (ko)
KR (1) KR20230069029A (ko)
CN (1) CN116112861A (ko)
DE (1) DE102022211769A1 (ko)
GB (1) GB2613933A (ko)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019121864A1 (en) * 2017-12-19 2019-06-27 Koninklijke Kpn N.V. Enhanced audiovisual multiuser communication
KR20210148238A (ko) * 2019-04-02 2021-12-07 에스와이엔지, 인크. 공간적 오디오 렌더링을 위한 시스템들 및 방법들

Also Published As

Publication number Publication date
GB2613933A (en) 2023-06-21
US20230143473A1 (en) 2023-05-11
GB202215289D0 (en) 2022-11-30
DE102022211769A1 (de) 2023-05-11
CN116112861A (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
JP5323210B2 (ja) 音響再生装置および音響再生方法
JP4938015B2 (ja) 3次元音声を生成する方法及び装置
US9769589B2 (en) Method of improving externalization of virtual surround sound
TWI686794B (zh) 以保真立體音響格式所編碼聲訊訊號為l個揚聲器在已知位置之解碼方法和裝置以及電腦可讀式儲存媒體
US10779083B2 (en) Soundbar having single interchangeable mounting surface and multi-directional audio output
US7978860B2 (en) Playback apparatus and playback method
US8442244B1 (en) Surround sound system
JP2009141972A (ja) 擬似立体音響出力をモノラル入力から合成する装置および方法
JP6246922B2 (ja) 音響信号処理方法
JP5363567B2 (ja) 音響再生装置
CN113170271A (zh) 用于处理立体声信号的方法和装置
US20170272889A1 (en) Sound reproduction system
WO2022004421A1 (ja) 情報処理装置、出力制御方法、およびプログラム
US10440495B2 (en) Virtual localization of sound
KR100873639B1 (ko) 헤드폰에서 출력되는 음상을 외재화하는 장치 및 방법.
JP6236503B1 (ja) 音響装置、表示装置、およびテレビジョン受像機
US20230143473A1 (en) Splitting a Voice Signal into Multiple Point Sources
CN109923877A (zh) 对立体声音频信号进行加权的装置和方法
WO2017211448A1 (en) Method for generating a two-channel signal from a single-channel signal of a sound source
US11470435B2 (en) Method and device for processing audio signals using 2-channel stereo speaker
US11373662B2 (en) Audio system height channel up-mixing
KR101964702B1 (ko) 교차배치를 통한 음상정위 개선 시스템 및 방법
TWI262738B (en) Expansion method of multi-channel panoramic audio effect
Tan Binaural recording methods with analysis on inter-aural time, level, and phase differences
WO2024081957A1 (en) Binaural externalization processing

Legal Events

Date Code Title Description
E902 Notification of reason for refusal