KR20160026652A - 사운드 신호 처리 방법 및 장치 - Google Patents

사운드 신호 처리 방법 및 장치 Download PDF

Info

Publication number
KR20160026652A
KR20160026652A KR1020150075144A KR20150075144A KR20160026652A KR 20160026652 A KR20160026652 A KR 20160026652A KR 1020150075144 A KR1020150075144 A KR 1020150075144A KR 20150075144 A KR20150075144 A KR 20150075144A KR 20160026652 A KR20160026652 A KR 20160026652A
Authority
KR
South Korea
Prior art keywords
signal
microphone
sound
mobile terminal
rti
Prior art date
Application number
KR1020150075144A
Other languages
English (en)
Other versions
KR101724514B1 (ko
Inventor
징둥 천
하이팅 리
더밍 장
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20160026652A publication Critical patent/KR20160026652A/ko
Application granted granted Critical
Publication of KR101724514B1 publication Critical patent/KR101724514B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/308—Electronic adaptation dependent on speaker or headphone connection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/405—Non-uniform arrays of transducers or a plurality of uniform arrays with different transducer spacing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2203/00—Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
    • H04R2203/12—Beamforming aspects for stereophonic sound reproduction with loudspeaker arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems

Abstract

본 발명의 실시예는 오디오 신호 처리 분야와 관련된 사운드 신호 처리 방법 및 장치를 개시하며, 단말기를 둘러싸는 3차원 사운드 필드(three-dimensional sound field) 내의 신호를 수집하고 처리할 수 있다. 본 발명의 방법은, 이동 단말기(mobile terminal)가 3차원 사운드 필드로부터 사운드 신호를 획득하는 단계, 상기 획득된 사운드 신호에 따라, 상기 이동 단말기에 대한 음원의 방향을 획득하는 단계, 및 상기 이동 단말기에 대한 음원의 방향과 상기 획득된 사운드 신호에 따라, 공간 오디오 신호(spatial audio signal)를 획득하는 단계를 포함하고, 적어도 3개의 마이크로폰이 이동 단말기에 배치되어 있고, 하나의 마이크로폰이 적어도 한 방향에서의 사운드 신호를 수신하도록 구성되어 있고, 상기 공간 오디오 신호는 상기 3차원 사운드 필드를 시뮬레이션하는데 이용된다. 본 발명은 단말기를 둘러싸는 3차원 사운드 필드 내의 신호를 수집하고 처리하는 프로세스에 적용될 수 있다.

Description

사운드 신호 처리 방법 및 장치{SOUND SIGNAL PROCESSING METHOD AND APPARATUS}
본 발명은 오디오 신호 처리 분야에 관련된 것으로서, 구체적으로, 사운드 신호 처리 방법 및 장치에 관한 것이다.
전자 정보 기술이 발달함에 따라, 3차원 사운드 필드(three-dimensional sound field) 수집 및 처리는 지속적으로 향상되고 있다. 이동 단말기(mobile terminal)는 3차원 사운드 필드 수집 및 처리 시스템 내의 일반적인 장치이다. 종래 기술에서, 이동 단말기에 의해 3차원 사운드 필드 수집 및 처리를 실행하기 위한 구체적인 방법은 다음과 같다.
2차원 사운드 필드 수집을 위한 빔포밍(beam forming) 기술은 이동 단말기에 적용되고, 0도 방향과 180도 방향에서 하트 모양(heart-shaped)의 지향성(directivity)을 가지는 빔은 빔포밍 기술을 이용하여 생성된다. 이 기술은 3차원 사운드 필드 수집에 적용되고, 상이한 방향의 빔은 빔포밍 기술을 이용하여 얻어지고, 빔은 사운드 필드 수집 시스템 5.1과 사운드 채널 내의 중앙 사운드 채널, 왼쪽 전방 사운드 채널, 오른쪽 전방 사운드 채널, 왼쪽 후방 서라운드(surround) 채널, 및 오른쪽 후방 서라운드 채널을 시뮬레이션하는데 사용된다.
현재, 2차원 사운드 필드 수집을 위한 빔포밍 기술을 이용하여 이동 단말기에 시뮬레이션되는 3차원 사운드 필드에 대해, 2차원 사운드 필드 수집을 위한 빔포밍 기술이 사용되고, 0도 방향과 180도 방향에서의 하트 모양의 지향성을 가지는 빔이 생성되기 때문에, 시뮬레이션된 3차원 사운드 필드의 실제 플레이백 효과(playback effect)에서 왼쪽과 오른쪽 방향 사이의 차이가 전방과 후방 방향 사이의 차이보다 분명하게 되는 현상이 있어서, 시뮬레이션된 3차원 사운드 필드는 2차원 사운드 필드의 특징을 가지고 있음에도 시뮬레이션된 3차원 사운드 필드의 질이 비교적 좋지 않았다.
본 발명의 실시예는, 단말기를 둘러싸는 3차원 사운드 필드 내의 신호를 수집하고 처리할 수 있는, 사운드 신호 처리 방법 및 장치를 제공한다.
전술한 목적을 달성하기 위해, 본 발명의 실시예는 다음과 같은 기술적 해결책을 사용한다.
제1 측면에 따르면, 본 발명의 일 실시예는 사운드 신호 처리 방법을 제공한다. 상기 사운드 신호 처리 방법은,
이동 단말기(mobile terminal)가 3차원 사운드 필드(three-dimensional sound field)로부터 사운드 신호를 획득하는 단계; 상기 획득된 사운드 신호에 따라, 상기 이동 단말기에 대한 음원의 방향을 획득하는 단계; 및
상기 이동 단말기에 대한 음원의 방향과 상기 획득된 사운드 신호에 따라, 공간 오디오 신호(spatial audio signal)를 획득하는 단계
를 포함하고,
적어도 3개의 마이크로폰이 이동 단말기에 배치되어 있고, 하나의 마이크로폰이 적어도 한 방향에서의 사운드 신호를 수신하도록 구성되어 있고, 상기 공간 오디오 신호는 상기 3차원 사운드 필드를 시뮬레이션하는데 이용된다.
제1 측면과 관련하여, 제1 측면의 제1 가능 구현 방법에서, 상기 획득된 사운드 신호에 따라 상기 이동 단말기에 대한 음원의 방향을 획득하는 단계는,
상기 이동 단말기의 마이크로폰에 의해 수신된 한 방향에서의 사운드 신호와 다른 방향에서의 사운드 신호 사이의 도착의 시간 차이를 획득하는 단계; 및
상기 획득된 도착의 시간 차이와 상기 이동 단말기의 마이크로폰의 위치에 따라, 상기 이동 단말기에 대한 음원의 방향을 획득하는 단계
를 포함하고,
상기 이동 단말기의 마이크로폰은 적어도 4개 방향에서 사운드 신호를 수신하도록 구성되어 있다.
제1 측면의 제1 가능 구현 방법과 관련하여, 제1 측면의 제2 가능 구현 방법에서, 상기 이동 단말기의 마이크로폰에 의해 수신된 한 방향에서의 사운드 신호와 다른 방향에서의 사운드 신호 사이의 도착 시간 차이를 획득하는 단계는,
Figure pat00001
에 따라, 제m 마이크로폰에 의해 수신된 사운드 신호와 제1 마이크로폰에 의해 수신된 사운드 신호 사이의 도착의 시간 차이
Figure pat00002
를 획득하는 단계
를 포함하고,
p는 다수의 지연 샘플링 포인트(quantity of delay sampling point)를 나타내고,
Figure pat00003
은 상기 제1 마이크로폰에 의해 수신된 사운드 신호를 나타내고,
Figure pat00004
은 상기 제m 마이크로폰에 의해 수신된 사운드 신호를 나타내고,
Figure pat00005
이며, 여기서,
Figure pat00006
는
Figure pat00007
과
Figure pat00008
사이의 상관 스펙트럼(correlated spectrum)을 나타내고,
Figure pat00009
는 모든 방향에서 수신되는 사운드 신호가 위치하는 주파수 도메인의 가중치 함수를 나타낸다.
제1 측면의 제2 가능 구현 방법과 관련하여, 제1 측면의 제3 가능 구현 방법에서, 상기 획득된 도착의 시간 차이와 상기 이동 단말기의 마이크로폰의 위치에 따라, 상기 이동 단말기에 대한 음원의 방향을 획득하는 단계는,
Figure pat00010
에 따라 제2 마이크로폰에 의해 수신된 사운드 신호의 방향
Figure pat00011
을 추정하고,
Figure pat00012
에 따라 제3 마이크로폰에 의해 수신된 사운드 신호의 방향
Figure pat00013
을 추정하고,
Figure pat00014
에 따라 제4 마이크로폰에 의해 수신된 사운드 신호의 방향
Figure pat00015
을 추정하는 단계; 및
Figure pat00016
에 따라 상기 이동 단말기에 대한 음원의 방향
Figure pat00017
을 획득하는 단계
를 포함하고,
상기 제1 마이크로폰과 상기 제4 마이크로폰은 동일한 측(side)에 위치되어 있고, 상기 제1 마이크로폰과 상기 제2 마이크로폰은 동일한 측에 위치되어 있으며, c는 사운드 속도를 나타내고, d는 상기 제1 마이크로폰의 중앙점(central point)과 상기 제4 마이크로폰의 중앙점 사이의 거리를 나타내고, d는 상기 제2 마이크로폰의 중앙점과 상기 제3 마이크로폰의 중앙점 사이의 거리와 동일하고, h는 상기 제1 마이크로폰의 중앙점과 상기 제2 마이크로폰의 중앙점 사이의 거리를 나타내고, h는 상기 제3 마이크로폰의 중앙점과 상기 제4 마이크로폰의 중앙점 사이의 거리와 동일하고,
Figure pat00018
는 상기 제1 마이크로폰과 상기 제4 마이크로폰이 위치되어 있는 각도의 일측과 상기 이동 단말기의 대각선 사이의 끼인 각을 나타낸다.
제1 측면의 제2 가능 구현 방법과 관련하여, 제1 측면의 제4 가능 구현 방법에서, 상기 획득된 도착의 시간 차이와 상기 이동 단말기의 마이크로폰의 위치에 따라, 상기 이동 단말기에 대한 음원의 방향을 획득하는 단계는,
Figure pat00019
에 따라, 상기 이동 단말기에 대한 음원의 방향
Figure pat00020
을 획득하는 단계
를 포함하고,
제1 마이크로폰과 제2 마이크로폰은 상기 이동 단말기의 한 면의 대칭축에 위치되어 있으며, 상기 한 면에서의 2개의 평행한 모서리에 떨어져서 위치되어 있고, 제3 마이크로폰과 제4 마이크로폰은 상기 이동 단말기의 다른 면의 대칭축에 위치되어 있으며, 상기 다른 표면 상의 2개의 평행한 모서리에 떨어져서 위치되어 있고, c는 사운드 속도를 나타내고,
Figure pat00021
은 제1 마이크로폰에 대응하는 좌표를 나타내고,
Figure pat00022
은 제2 마이크로폰에 대응하는 좌표를 나타내고,
Figure pat00023
은 제2 마이크로폰에 대응하는 좌표를 나타내고,
Figure pat00024
은 제4 마이크로폰에 대응하는 좌표를 나타낸다.
제1 측면 또는 제1 측면의 제1 내지 제4 가능 구현 방법 중 어느 하나에 따른 사운드 신호 처리방법과 관련하여, 제1 측면의 제5 가능 구현 방법에서, 상기 공간 오디오 신호는 적어도 왼쪽 방향에서의 신호, 오른쪽 방향에서의 신호, 중앙 방향에서의 신호, 왼쪽 후방(rear) 서라운드 신호(surround signal), 및 오른쪽 후방 서라운드 신호를 포함하고,
상기 이동 단말기에 대한 음원의 방향과 상기 획득된 사운드 신호에 따라 공간 오디오 신호를 획득하는 단계는,
상기 이동 단말기에 대한 음원의 방향을 이용하여 게인 조정 파라미터(gain adjusting parameters)를 생성하는 단계;
상기 사운드 신호에 따라 상기 공간 오디오 신호 내의 모든 방향의 신호의 초기값을 획득하는 단계; 및
상기 게인 조정 파라미터와 상기 공간 오디오 신호 내의 모든 방향의 신호의 초기값에 따라, 상기 왼쪽 방향에서의 신호, 상기 오른쪽 방향에서의 신호, 상기 중앙 방향에서의 신호, 상기 왼쪽 후방 서라운드 신호, 및 상기 오른쪽 후방 서라운드 신호를 생성하는 단계
를 포함하고,
상기 게인 조정 파라미터는, 상기 왼쪽 방향에서의 신호, 상기 오른쪽 방향에서의 신호, 및 상기 중앙 방향에서의 신호에 대응하는 제1 타입의 게인 조정 파라미터
Figure pat00025
, 상기 왼쪽 후방 서라운드 신호 및 상기 오른쪽 후방 서라운드 신호에 대응하는 제1 타입의 게인 조정 파라미터
Figure pat00026
, 상기 왼쪽 방향에서의 신호 및 상기 왼쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터
Figure pat00027
, 및 상기 오른쪽 방향에서의 신호 및 상기 오른쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터
Figure pat00028
을 포함하고, 추가로, 상기 이동 단말기에 대한 음원의 방향에 대해,
Figure pat00029
일 때
Figure pat00030
,
Figure pat00031
일 때
Figure pat00032
,
Figure pat00033
일 때
Figure pat00034
,
Figure pat00035
일 때
Figure pat00036
이다.
제1 측면의 제5 가능 구현 방법과 관련하여, 제1 측면의 제6 가능 구현 방법에서, 상기 공간 오디오 신호는 2-채널 신호(two-channel signal)를 더 포함하고,
상기 사운드 신호 처리 방법은, 상기 2-채널 신호를 생성하기 위해, 상기 왼쪽 방향에서의 신호, 상기 오른쪽 방향에서의 신호, 상기 중앙 방향에서의 신호, 상기 왼쪽 후방 서라운드 신호, 및 상기 오른쪽 후방 서라운드 신호를 다운믹스(downmix)하는 단계를 더 포함한다.
제1 측면의 제5 가능 구현 방법과 관련하여, 제1 측면의 제7 가능 구현 방법에서, 상기 이동 단말기에 대한 음원의 방향을 이용하여 게인 조정 파라미터를 생성하는 단계는,
Figure pat00037
에 따라 상기 왼쪽 방향에서의신호, 상기 오른쪽 방향에서의 신호, 및 상기 중앙 방향에서의 신호에 대응하는 제1 타입의 게인 조정 파라미터
Figure pat00038
를 생성하는 단계;
Figure pat00039
에 따라 상기 왼쪽 후방 서라운드 신호 및 상기 오른쪽 후방 서라운드 신호에 대응하는 제1 타입의 게인 조정 파라미터
Figure pat00040
를 생성하는 단계;
Figure pat00041
에 따라 상기 왼쪽 방향에서의 신호 및 상기 왼쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터
Figure pat00042
을 생성하는 단계; 및
Figure pat00043
에 따라 상기 오른쪽 방향에서의 신호, 및 상기 오른쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터
Figure pat00044
을 생성하는 단계
를 포함하고,
Figure pat00045
,
Figure pat00046
Figure pat00047
및
Figure pat00048
는 0보다 큰 상수이고,
Figure pat00049
,
Figure pat00050
,
Figure pat00051
,
Figure pat00052
,
Figure pat00053
, 및
Figure pat00054
이고,
Figure pat00055
,
Figure pat00056
Figure pat00057
및
Figure pat00058
는 0보다 큰 상수이고,
Figure pat00059
,
Figure pat00060
,
Figure pat00061
,
Figure pat00062
, 및
Figure pat00063
이다.
제1 측면의 제7 가능 구현 방법과 관련하여, 제1 측면의 제8 가능 구현 방법에서, 상기 게인 조정 파라미터와 상기 공간 오디오 신호 내의 모든 방향의 신호의 초기값에 따라 상기 공간 오디오 신호 내의 모든 방향의 신호를 생성하는 단계는,
Figure pat00064
에 따라, 상기 왼쪽 방향에서의 신호
Figure pat00065
, 상기 오른쪽 방향에서의 신호
Figure pat00066
, 상기 중앙 방향에서의 신호
Figure pat00067
, 상기 왼쪽 후방 서라운드 신호
Figure pat00068
, 및 상기 오른쪽 후방 서라운드 신호
Figure pat00069
을 획득하는 단계
를 포함하고,
Figure pat00070
는 상기 왼쪽 방향에서의 신호의 초기값을 나타내고,
Figure pat00071
는 상기 중앙 방향에서의 신호의 초기값을 나타내고,
Figure pat00072
는 상기 오른쪽 방향에서의 신호의 초기값을 나타내고,
Figure pat00073
는 상기 왼쪽 후방 서라운드 신호의 초기값을 나타내고,
Figure pat00074
는 상기 오른쪽 후방 서라운드 신호의 초기값을 나타내고, n은 샘플링 포인트 번호(sampling point number)를 나타낸다.
제1 측면의 제7 가능 구현 방법과 관련하여, 제1 측면의 제9 가능 구현 방법에서, 상기 사운드 신호에 따라 상기 공간 오디오 신호 내의 모든 방향의 신호의 초기값을 획득하는 단계는,
하트 모양(heart-shaped)의 지향성(directivity)을 가지는 빔
Figure pat00075
,
Figure pat00076
,
Figure pat00077
, 및
Figure pat00078
을 획득하는 단계
를 포함하고,
Figure pat00079
의 최대 지향성은
Figure pat00080
내에 있으며,
Figure pat00081
의 최대 지향성은
Figure pat00082
내에 있으며,
Figure pat00083
의 최대 지향성은
Figure pat00084
내에 있으며,
Figure pat00085
의 최대 지향성은
Figure pat00086
내에 있고,
상기 왼쪽 방향에서의 신호의 초기값
Figure pat00087
=
Figure pat00088
, 상기 중앙 방향에서의 신호의 초기값
Figure pat00089
, 상기 중앙 방향에서의 신호의 초기값
Figure pat00090
=
Figure pat00091
, 상기 왼쪽 후방 서라운드 신호의 초기값
Figure pat00092
=
Figure pat00093
, 및 상기 오른쪽 후방 서라운드 신호의 초기값
Figure pat00094
=
Figure pat00095
이고,
Figure pat00096
는 상기 왼쪽 방향에서의 신호의 초기값을 나타내고,
Figure pat00097
는 상기 중앙 방향에서의 신호의 초기값을 나타내고,
Figure pat00098
는 상기 오른쪽 방향에서의 신호의 초기값을 나타내고,
Figure pat00099
는 상기 왼쪽 후방 서라운드 신호의 초기값을,
Figure pat00100
는 상기 오른쪽 후방 서라운드 신호의 초기값을 나타내고, n은 샘플링 포인트 번호를 나타낸다.
제1 측면의 제9 가능 구현 방법과 관련하여, 제1 측면의 제10 가능 구현 방법에서, 상기 하트 모양의 지향성을 가지는 빔
Figure pat00101
,
Figure pat00102
,
Figure pat00103
, 및
Figure pat00104
을 획득하는 단계는,
상기 제1 내지 제4 마이크로폰에 의해 수신된 사운드 신호를 이용하여 하트 모양의 지향성을 가지는 빔
Figure pat00105
을 획득하는 단계; 및
Figure pat00106
에 따라 하트 모양의 지향성을 가지는 상기 빔
Figure pat00107
,
Figure pat00108
,
Figure pat00109
, 및
Figure pat00110
을 획득하는 단계
를 포함하고,
Figure pat00111
의 최대 지향성의 포인트는 제i 마이크로폰과 제j 마이크로폰 사이의 연결선으로부터 상기 제i 마이크로폰을 가리키는 방향에 있으며,
Figure pat00112
의 지향성의 제로 포인트는 상기 제i 마이크로폰과 상기 제j 마이크로폰 사이의 연결선으로부터 상기 제j 마이크로폰을 가리키는 방향에 있으며, i 및 j는 1, 2, 3, 또는 4이다.
제1 측면의 제7 가능 구현 방법과 관련하여, 제1 측면의 제11 가능 구현 방법에서, 상기 게인 조정 파라미터와 상기 공간 오디오 신호 내의 모든 방향의 신호의 초기값에 따른 상기 공간 오디오 신호 내의 모든 방향의 신호를 생성하는 단계는,
Figure pat00113
에 따라 상기 왼쪽 방향에서의 신호
Figure pat00114
을 획득하는 단계;
Figure pat00115
에 따라 상기 중앙 방향에서의 신호
Figure pat00116
을 획득하는 단계;
Figure pat00117
에 따라 상기 오른쪽 방향에서의 신호 을 획득하는 단계;
Figure pat00119
에 따라 상기 왼쪽 후방 서라운드 신호
Figure pat00120
을 획득하는 단계; 및
Figure pat00121
에 따라 상기 오른쪽 후방 서라운드 신호
Figure pat00122
을 획득하는 단계
를 포함하고,
Figure pat00123
는 상기 왼쪽 방향에서의 신호의 초기값을 나타내고,
Figure pat00124
는 상기 중앙 방향에서의 신호의 초기값을 나타내고,
Figure pat00125
는 상기 오른쪽 방향에서의 신호의 초기값을 나타내고,
Figure pat00126
는 상기 왼쪽 후방 서라운드 신호의 초기값을 나타내고,
Figure pat00127
는 상기 오른쪽 후방 서라운드 신호의 초기값을 나타내고, n은 샘플링 포인트 번호를 나타낸다.
제2 측면에 따르면, 본 발명은 사운드 신호 처리 장치를 제공한다. 이 사운드 신호 처리 장치는,
3차원 사운드 필드(three-dimensional sound field)로부터 사운드 신호를 획득하도록 구성되어 있는 제1 획득 모듈;
상기 획득된 사운드 신호에 따라, 상기 이동 단말기에 대한 음원의 방향을 획득하도록 구성되어 있는 제2 획득 모듈; 및
상기 이동 단말기에 대한 음원의 방향과 상기 획득된 사운드 신호에 따라 공간 오디오 신호(spatial audio signal)를 획득하도록 구성되어 있는 제1 처리 모듈
을 포함하고,
적어도 3개의 마이크로폰이 이동 단말기에 배치되어 있고, 하나의 마이크로폰이 적어도 한 방향에서 사운드 신호를 수신하도록 구성되어 있고, 상기 공간 오디오 신호는 상기 3차원 사운드 필드를 시뮬레이션하는데 이용된다.
제2 측면과 관련하여, 제2 측면의 제1 가능 구현 방법에서, 상기 제2 획득 모듈은,
상기 이동 단말기의 마이크로폰에 의해 수신된 하나의 방향에서의 사운드 신호와 다른 방향에서의 사운드 신호 사이의 도착의 시간 차이를 획득하도록 구성되어 있는 제1 획득 유닛; 및
상기 획득된 도착의 시간 차이와 상기 이동 단말기의 마이크로폰의 위치에 따라, 상기 이동 단말기에 대한 음원의 방향을 획득하도록 구성되어 있는 제2 획득 유닛
을 포함하고,
상기 이동 단말기의 마이크로폰은 적어도 4개 방향에서 사운드 신호를 수신하도록 구성되어 있다.
제2 측면의 제1 가능 구현 방법과 관련하여, 제2 측면의 제2 가능 구현 방법에서,
Figure pat00128
에 따라, 제m 마이크로폰에 의해 수신된 사운드 신호와 제1 마이크로폰에 의해 수신된 사운드 신호 사이의 도착의 시간 차이
Figure pat00129
를 획득하도록 구성되어 있는 제1 획득 서브유닛을 포함하고,
p는 다수의 지연 샘플링 포인트(quantity of delay sampling point)를 나타내고,
Figure pat00130
은 상기 제1 마이크로폰에 의해 수신된 사운드 신호를 나타내고,
Figure pat00131
은 상기 제m 마이크로폰에 의해 수신된 사운드 신호를 나타내고,
Figure pat00132
에서,
Figure pat00133
는
Figure pat00134
과
Figure pat00135
사이의 상관 스펙트럼(correlated spectrum)을 나타내고,
Figure pat00136
는 모든 방향에서 수신되는 사운드 신호가 위치하는 주파수 도메인의 가중치 함수를 나타낸다.
제2 측면의 제2 가능 구현 방법과 관련하여, 제2 측면의 제3 가능 구현 방법에서, 상기 제2 획득 유닛은,
Figure pat00137
에 따라 제2 마이크로폰에 의해 수신된 사운드 신호의 방향
Figure pat00138
을 추정하고,
Figure pat00139
에 따라 제3 마이크로폰에 의해 수신된 사운드 신호의 방향
Figure pat00140
을 추정하고,
Figure pat00141
에 따라 제4 마이크로폰에 의해 수신된 사운드 신호의 방향
Figure pat00142
을 추정하도록 구성되어 있는 제2 획득 서브 유닛; 및
Figure pat00143
에 따라 상기 이동 단말기에 대한 음원의 방향
Figure pat00144
을 획득하도록 구성되어 있는 제3 획득 서브 유닛
을 포함하고,
상기 제1 마이크로폰과 상기 제4 마이크로폰은 동일한 측(side)에 위치되어 있고, 상기 제1 마이크로폰과 상기 제2 마이크로폰은 동일한 측에 위치되어 있으며, c는 사운드 속도를 나타내고, d는 상기 제1 마이크로폰의 중앙점(central point)과 상기 제4 마이크로폰의 중앙점 사이의 거리를 나타내고, d는 상기 제2 마이크로폰의 중앙점과 상기 제3 마이크로폰의 중앙점 사이의 거리와 동일하고, h는 상기 제1 마이크로폰의 중앙점과 상기 제2 마이크로폰의 중앙점 사이의 거리를 나타내고, h는 상기 제3 마이크로폰의 중앙점과 상기 제4 마이크로폰의 중앙점 사이의 거리와 동일하고,
Figure pat00145
는 상기 제1 마이크로폰과 상기 제4 마이크로폰이 위치되어 있는 각도의 일측과 상기 이동 단말기의 대각선 사이의 끼인 각을 나타낸다.
제2 측면의 제2 가능 구현 방법과 관련하여, 제2 측면의 제4 가능 구현 방법에서, 상기 제2 획득 유닛은,
Figure pat00146
에 따라, 상기 이동 단말기에 대한 음원의 방향
Figure pat00147
을 획득하도록 구성되어 있는 제4 획득 서브 유닛
를 포함하고,
제1 마이크로폰과 제2 마이크로폰은 상기 이동 단말기의 한 면의 대칭축에 위치되어 있으며, 상기 한 면에서의 2개의 평행한 모서리에 떨어져서 위치되어 있고, 제3 마이크로폰과 제4 마이크로폰은 상기 이동 단말기의 다른 면의 대칭축에 위치되어 있으며, 상기 다른 표면 상의 2개의 평행한 모서리에 떨어져서 위치되어 있고, c는 사운드 속도를 나타내고,
Figure pat00148
은 제1 마이크로폰에 대응하는 좌표를 나타내고,
Figure pat00149
은 제2 마이크로폰에 대응하는 좌표를 나타내고,
Figure pat00150
은 제2 마이크로폰에 대응하는 좌표를 나타내고,
Figure pat00151
은 제4 마이크로폰에 대응하는 좌표를 나타낸다.
제2 측면 또는 제2 측면의 제1 내지 제4 가능 구현 방법 중 어느 하나에 따른 사운드 신호 처리장치와 관련하여, 상기 공간 오디오 신호는 적어도 왼쪽 방향에서의 신호, 오른쪽 방향에서의 신호, 중앙 방향에서의 신호, 왼쪽 후방(rear) 서라운드 신호(surround signal), 및 오른쪽 후방 서라운드 신호를 포함하고,
상기 제1 처리 모듈은,
상기 이동 단말기에 대한 음원의 방향을 이용하여 게인 조정 파라미터(gain adjusting parameters)를 생성하도록 구성되어 있는 제1 처리 유닛;
상기 사운드 신호에 따라 상기 공간 오디오 신호 내의 모든 방향의 신호의 초기값을 획득하도록 구성되어 있는 제2 처리 유닛; 및
상기 게인 조정 파라미터와 상기 공간 오디오 신호 내의 모든 방향의 신호의 초기값에 따라, 상기 왼쪽 방향에서의 신호, 상기 오른쪽 방향에서의 신호, 상기 중앙 방향에서의 신호, 상기 왼쪽 후방 서라운드 신호, 및 상기 오른쪽 후방 서라운드 신호를 생성하도록 구성되어 있는 제3 처리 유닛
을 포함하고,
상기 게인 조정 파라미터는, 상기 왼쪽 방향에서의 신호, 상기 오른쪽 방향에서의 신호, 및 상기 중앙 방향에서의 신호에 대응하는 제1 타입의 게인 조정 파라미터
Figure pat00152
, 상기 왼쪽 후방 서라운드 신호 및 상기 오른쪽 후방 서라운드 신호에 대응하는 제1 타입의 게인 조정 파라미터
Figure pat00153
, 상기 왼쪽 방향에서의 신호 및 상기 왼쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터
Figure pat00154
, 및 상기 오른쪽 방향에서의 신호 및 상기 오른쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터
Figure pat00155
을 포함하고, 추가로, 상기 이동 단말기에 대한 음원의 방향에 대해,
Figure pat00156
일 때
Figure pat00157
,
Figure pat00158
일 때
Figure pat00159
,
Figure pat00160
일 때
Figure pat00161
,
Figure pat00162
일 때
Figure pat00163
이다.
제2 측면의 제4 가능 구현 방법과 관련하여, 제2 측면의 제6 가능 구현 방법에서, 상기 공간 오디오 신호는 2-채널 신호(two-channel signal)를 더 포함하고,
상기 사운드 신호 처리 장치는, 상기 2-채널 신호를 생성하기 위해, 상기 왼쪽 방향에서의 신호, 상기 오른쪽 방향에서의 신호, 상기 중앙 방향에서의 신호, 상기 왼쪽 후방 서라운드 신호, 및 상기 오른쪽 후방 서라운드 신호를 다운믹스(downmix)하도록 구성되어 있는 제4 처리 유닛을 더 포함한다.
본 발명의 실시예에서 제공되는 사운드 신호 처리 방법 및 장치에 따르면, 사운드 신호는 이동 단말기를 둘러싸는 3차원 사운드 필드로부터 획득될 수 있으며, 이동 단말기에 대한 모든 음원의 방향이 획득되며, 3차원 사운드 필드를 시뮬레이션하는데 이용되는 공간 오디오 신호가 이동 단말기에 대한 음원의 방향과 사운드 신호를 이용하여 생성된다. 본 발명에서 제공되는 기술적 해결책에서, 3차원 사운드 필드를 시뮬레이션하는데 이용되는 사운드 신호는 이동 단말기의 구성을 이용하여 수집되거나 처리될 수 있다. 추가로, 모든 방향에서 수신된 음원의, 이동 단말기에 대한, 방향은 분석의 방법에 의해 얻어진다. 그 후, 3차원 사운드 필드의 효과는 모든 방향에서 수신된 음원의, 이동 단말기에 대한, 방향에 따라 시뮬레이션된다. 종래 기술의 기술적 해결책에서는, 3차원 사운드 필드는 오직 2가지 방향, 즉 0도와 180도에서의 빔만 이용하여 시뮬레이션된다. 반면, 본 발명에서는, 모든 방향에서 수신된 음원의, 이동 단말기에 대한, 방향이 획득되고, 음원은 2가지 방향, 즉 0도와 180도에 한정되지 않는다. 그러므로, 왼쪽과 오른쪽 방향 사이의 차이는 시뮬레이션된 3차원 사운드 필드 내의 전방과 후방 방향 사이의 차이보다 명백한 현상이 완화될 수 있고, 이에 따라 시뮬레이션된 3차원 사운드 필드의 질이 향상된다.
본 발명의 실시예의 기술적 해결책을 보다 명확히 설명하기 위해, 이하에 실시예를 설명하기 위한 첨부된 도면을 간략하게 소개한다. 명백하게, 이하의 설명에서의 첨부된 도면은 단지 본 발명의 임의의 실시예를 도시하는 것이며, 통상의 기술자는 특별한 창조적 노력 없이 이러한 첨부된 도면으로부터 다른 도면을 이끌어낼 수 있다.
도 1은 본 발명의 실시예에 따른 사운드 신호 처리 방법의 흐름도이다.
도 1a, 도 1b, 도 1c, 도 1d, 및 도 1e는, 본 발명의 실시예에 따른 사운드 신호 처리의 응용 시나리오(application scenario)의 개략적인 구조도이다.
도 2는 본 발명의 실시예에 따른 다른 사운드 신호 처리 방법의 흐름도이다.
도 2a는 본 발명의 실시예에 따른 사운드 신호 처리 방법의 구체적인 실행 방법의 흐름도이다.
도 2b는 본 발명의 실시예에 따른 다른 사운드 신호 처리 방법의 구체적인 실행 방법의 흐름도이다.
도 2c는 본 발명의 실시예에 따른 사운드 신호 처리 방법의 응용 시나리오의 개략적인 구조도이다.
도 2d는 본 발명의 실시예에 따른 다른 사운드 신호 처리 방법의 응용 시나리오의 개략적인 구조도이다.
도 2e는 본 발명의 실시예에 따른 또 다른 사운드 신호 처리 방법의 응용 시나리오의 개략적인 구조도이다.
도 3은 본 발명의 실시예에 따른 사운드 신호 처리 방법의 흐름도이다.
도 3a는 본 발명의 실시예에 따른 다른 사운드 신호 처리 방법의 흐름도이다.
도 4는 본 발명의 실시예에 따른 사운드 신호 처리 장치의 개략적인 구조도이다.
도 4a, 도 4b, 도 4c, 도 4d, 도 4e, 도 4f, 도 4g, 도 4h, 도 4i, 및 도 4j는, 본 발명의 실시예에 따른 사운드 신호 처리 장치의 특정 구조의 개략적인 도면이다.
도 5는 본 발명의 실시예에 따른 사운드 신호 처리 엔티티(entity)의 개략적인 구조도이다.
이하는 본 발명의 실시예의 첨부된 도면을 참조하여 본 발명의 실시예의 기술적 해결책을 명확하고 완전하게 설명한다. 명백하게, 설명되는 실시예는 단지 본 발명의 일부 실시예일 뿐이며, 본 발명의 모든 실시예는 아니다. 통상의 기술자가 창조적 노력 없이 본 발명의 실시예에 기초하여 얻을 수 있는 모든 다른 실시예는 본 발명의 보호 범위에 속할 것이다.
본 발명의 일 실시예는 사운드 신호 처리 방법을 제공하며, 도 1에 도시된 바와 같이, 이 방법은 다음의 단계를 포함한다:
단계 101: 이동 단말기(mobile terminal)가, 적어도 3개의 마이크로폰이 이동 단말기에 배치되어 있는, 3차원 사운드 필드(three-dimensional sound field)로부터 사운드 신호를 획득한다.
하나의 마이크로폰은 적어도 한 방향에서 사운드 신호를 수신하도록 구성되어 있다.
본 발명의 이 실시예는 이동 단말기에 적용될 수 있으며, 마이크로폰은 이동 단말기에 배치되어 있고, 이 마이크로폰은 3차원 사운드 필드를 측정하고, 3차원 사운드 필드로부터 사운드 신호를 획득하고, 개선 프로세싱(enhancement processing)을 위해 사운드 신호를 이동 단말기의 프로세서에 전송하도록 구성되어 있으며, 또한, 저장을 위한 이동 단말기 내의 기억 장치의 개선 전과 후에 사운드 신호를 전송할 수 있다. 구체적으로, 이동 단말기에 배치되어 있는 마이크로폰은 전방향성 마이크로폰일 수 있고, 또는 특정 지향성을 가지는 마이크로폰일 수 있다. 예를 들면, MEMS(Micro-Electro-Mechanical System) 마이크로폰 또는 ECM(Electret Condenser Microphone) 마이크로폰은 이동 단말기에 배치될 수 있다.
이 실시예에서, 이동 단말기의 마이크로폰을 배치하기 위한 여러 가지 방법이 있을 수 있다. 상이한 배치 방법에서, 이동 단말기의 마이크로폰의 수와 위치는 한정되지 않는다. 이 실시예에서, 4개의 마이크로폰과 3개의 마이크로폰의 경우는 설명을 위한 예시로써 사용된다. 예를 들면, 도 1a에 도시된 바와 같이, 이동 단말기 상에서 4개의 마이크로폰이 이동 단말기의 4개의 모서리에 각각 배치될 수 있다. 선택적으로, 도 1b에 도시된 바와 같이, 4개의 마이크로폰은 이동 단말기의 4개의 측면에 각각 배치될 수도 있다. 선택적으로, 도 1c에 도시된 바와 같이, 하나의 마이크로폰은 이동 단말기의 하부 측면, 전방 수화부분(earpiece) 근처, 후방 카메라 근처, 및 후방 하부 측면에 각각 배치될 수도 있다. 다른 예시를 들면, 단순히 3개의 마이크로폰이 이동 단말기에 배치될 수 있다. 도 1d에 도시된 바와 같이, 2개의 마이크로폰은 이동 단말기의 하부 측면에 배치되어 있고, 하나의 마이크로폰은 전방 수화부분 근처에 배치되어 있을 수 있다. 선택적으로, 도 1e에 도시된 바와 같이, 하나의 마이크로폰은 이동 단말기의 하부 측면, 전방 수화부분 근처, 및 후방 카메라 근처에 각각 배치될 수 있다.
단계 102: 획득된 사운드 신호에 따라, 이동 단말기에 대한 음원의 방향을 획득한다.
이동 단말기는 마이크로폰을 이용하여 방출된 음원을 추정하고, 이동 단말기에 대한 음원의 방향을 얻는다. 이 실시예에서는, 예를 들면, 최대-출력-전력-기반(maximum-output-power-based) 조절 가능한 빔포밍 기술 또는 도착의 시간 차이 기반(time-difference-of-arrival-based) 포지셔닝 기술(positioning technology), 또는 고해상도-스펙트럼-추정-기반(high-resolution-spectrum-estimation-based) 포지셔닝 기술에 기초하는 것과 같은, 음원을 추정하기 위한 여러 가지 방법이 있을 수 있다.
또한, 음원의 위치를 추정할 때, 이동 단말기는 수신된 음원에 개선 프로세싱을 추가로 실행할 수 있다. 예를 들면, 이동 단말기는, 빔포밍, 공간 예측, 또는 청각 시나리오 분석과 같은 기술적 방법을 사용하여 모든 방향에서 개선된 음원을 얻을 수 있다. 예를 들면, 빔포밍의 방법에 의해 음원을 개선시키는 이동 단말기에 의해 사용되는 구체적인 방법은, 지연-및-합(delay-and-sum) 빔포밍 또는 필터링-및-합(filtering-and-sum) 빔포밍과 같은 고정 빔포밍 기술, 또는 MVDR(minimum variance distortionless response) 원칙에 기초한 적응적(adaptive) 빔포밍 알고리즘, 선형 제한 최소 분산(linear constraint minimum variance) 빔포밍, 또는 사이드로브 취소 알고리즘(sidelobe cancellation algorithm), 또는 상이한 빔포밍 기술을 포함할 수 있다. 공간 예측의 방법에 의해 음원을 개선시키는 이동 단말기에 의해 사용되는 구체적인 방법은, 일부 방향에서 수집되리라 예상되는 공간 사운드 신호를 미리 설정하는 단계, 및 그 후, 출력된 개선된 사운드 신호의 노이즈가 최소가 되게 하고 예상 에러가 0에 도달하도록, 미리 조작한 최적의 필터 그룹과 공간 예측 기술을 이용하여, 이동 단말기의 사운드 수신기에 의해 수신된 모든 방향의 사운드 신호를 일부 방향에서 출력되리라 예상되는 미리 설정된 신호로 전환하는 단계를 포함한다. 이 실시예에서, 청각 시나리오 분석 기술은 구체적으로 블라인드 음원 분리 알고리즘(blind source separation algorithm)일 수 있다.
적어도 2개의 방향에서 빔 지향성을 가지는 사운드 신호는 개선의 방법에 의해 획득된다. 예를 들어, 하나의 마이크로폰에 의해 수신된 사운드 신호에 대해 개선 처리의 방법에 의해 획득된 하나의 방향에서 빔 지향성을 가지는 사운드 신호는, 이동 단말기에 대한 전방, 후방, 왼쪽, 및 오른쪽과 같은 상이한 방향에서 음원으로부터 전송된 모든 방향에서의 사운드 신호로 구분될 수 있다. 예를 들면, 이동 단말기가 수신된 사운드 신호에 개선 프로세싱을 실행한 후, 4개의 방향에서의 개선된 사운드 신호는 각각 왼쪽 전방, 오른쪽 전방, 왼쪽 후방, 및 오른쪽 후방 빔 지향성을 가지며 생성되거나, 4개의 방향에서의 개선된 사운드 신호는 각각 전방, 후방, 왼쪽, 및 오른쪽 빔 지향성을 가지며 생성된다. 이 실시예에서, 복수의 방향에서 상이한 지향성을 가지는 사운드 신호는, 특정 필요에 따라 하나의 특정 방향에서의 사운드 신호로 합쳐질 수도 있고, 개선 프로세싱의 방법에 의해 획득된 빔 지향성을 가지는 사운드 신호의 빔 형상은 하트 모양의 지향성일 수 있거나, 슈퍼-하트 모양(super-heart-shaped) 또는 다른 모양일 수 있다.
단계 103: 이동 단말기에 대한 음원의 방향과 획득된 사운드 신호에 따라, 공간 오디오 신호를 획득한다.
공간 오디오 신호는 3차원 사운드 필드를 시뮬레이션하는데 이용된다. 3차원 사운드 필드는 이동 단말기를 둘러싸는 특정 범위 내의 사운드 필드로 이해될 수 있다. 음원은 3차원 사운드 필드 내의 임의의 방향으로부터 음원을 전송할 수 있고, 사운드 신호는 이동 단말기에 의해 수신된다.
예를 들면, 이동 단말기는, 이동 단말기에 대한 음원의 방향과 모든 방향 내에서 수신된 사운드 신호를 이용하여, 5.1 사운드 채널 플레이백 시스템의 시뮬레이션된 사운드 필드에 사용되는 공간 오디오 신호를 생성한다. 이동 단말기는 모든 방향 내의 개선된 사운드 신호를, 5.1 사운드 채널 플레이백 시스템의 스뮬레이션된 사운드 필드를 형성하는데 이용되는 공간 오디오 신호를 위해 필요한, 총 6개 방향 내의 사운드 신호로 매핑할 수 있고, 뿐만 아니라, 이동 단말기에 대한 음원의 방향을 이용하여, 5.1 사운드 채널 플레이백 시스템의 스뮬레이션된 사운드 필드를 형성하는데 이용되는 공간 오디오 신호를 위해 필요한, 6개 방향 내의 음원의 각각의 각도(degree of separation)를 향상시킨다. 예를 들면, 이동 단말기는, 이동 단말기에 대한 음원의 방향에 따라, 5.1 사운드 채널 플레이백 시스템의 스뮬레이션된 사운드 필드에 이용되는 공간 오디오 신호를 위해 필요한 사운드 신호의 각 방향의 게인 조정 파라미터(gain adjusting parameter)를 계산할 수 있고, 이 게인 조정 파라미터를 이용하여, 5.1 사운드 채널 플레이백 시스템의 스뮬레이션된 사운드 필드에 이용되는 공간 오디오 신호를 위해 필요한 사운드 신호를 조정할 수 있다. 공간 오디오 신호는 적어도 왼쪽 방향에서의 신호, 오른쪽 방향에서의 신호, 중앙 방향에서의 신호, 왼쪽 후방(rear) 서라운드 신호(surround signal), 및 오른쪽 후방 서라운드 신호를 포함한다.
이동 단말기에 의해 수신되는 모든 방향 내의 사운드 신호와 5.1 사운드 채널 플레이백 시스템의 시뮬레이션된 사운드 필드에 이용되는 공간 오디오 신호에 필요한 6개 방향 내의 사운드 신호 사이의 다중 관계가 있을 수 있다. 예를 들면, 이동 단말기에 의해 수신된 사운드 신호는 개선되고, 왼쪽 전방, 왼쪽 후방, 오른쪽 전방, 및 오른쪽 후방 각각에 해당하는, 4개 방향 내의 사운드 신호가 출력된다. 왼쪽 전방 방향 내의 사운드 신호는 5.1 사운드 채널 플레이백 시스템의 시뮬레이션된 사운드 필드에 이용되는 공간 오디오 신호에 필요한 왼쪽 방향 내의 사운드 신호에 매핑되고, 오른쪽 전방 방향의 사운드 신호는 5.1 사운드 채널 플레이백 시스템의 시뮬레이션된 사운드 필드에 이용되는 공간 오디오 신호에 필요한 오른쪽 방향 내의 사운드 신호에 매핑된다. 평균 신호는 왼쪽 전방 방향 내의 사운드 신호와 오른쪽 전방 방향 내의 사운드 신호 사이에서 선택되며, 평균 신호는 5.1 사운드 채널 플레이백 시스템의 시뮬레이션된 사운드 필드에 이용되는 공간 오디오 신호에 필요한 중앙 방향 내의 신호에 매핑된다. 왼쪽 후방 방향 내의 사운드 신호는 5.1 사운드 채널 플레이백 시스템의 시뮬레이션된 사운드 필드에 이용되는 공간 오디오 신호에 필요한 왼쪽 후방 서라운드 사운드 신호에 매핑되고, 오른쪽 후방 방향 내의 사운드 신호는 5.1 사운드 채널 플레이백 시스템의 시뮬레이션된 사운드 필드에 이용되는 공간 오디오 신호에 필요한 오른쪽 후방 서라운드 사운드 신호에 매핑된다. 평균 값은 왼쪽 전방 방향, 왼쪽 후방 방향, 오른쪽 전방 방향, 및 오른쪽 후방 방향 내의 사운드 신호 중에 선택되며, 150 Hz 저역 필터 프로세싱(low-pass filtering processing)은 5.1 사운드 채널 플레이백 시스템의 시뮬레이션된 사운드 필드에 이용되는 공간 오디오 신호에 필요한 초저음역 신호(super bass signal)를 획득하기 위해 평균 값에 실행된다.
다른 실시예에서, 이동 단말기에 의해 수신된 사운드 신호가 개선되고, 전방, 후방, 왼쪽 및 오른쪽인 4개 방향 내의 사운드 신호 각각이 출력된다. 왼쪽 방향과 전방 방향 내의 사운드 신호의 평균 신호는 5.1 사운드 채널 플레이백 시스템의 시뮬레이션된 사운드 필드에 이용되는 공간 오디오 신호에 필요한 왼쪽 방향 내의 사운드 신호에 매핑된다. 오른쪽 방향과 전방 방향 내의 사운드 신호의 평균 신호는 5.1 사운드 채널 플레이백 시스템의 시뮬레이션된 사운드 필드에 이용되는 공간 오디오 신호에 필요한 오른쪽 방향 내의 사운드 신호에 매핑된다. 전방 방향 내의 사운드 신호는 5.1 사운드 채널 플레이백 시스템의 시뮬레이션된 사운드 필드에 이용되는 공간 오디오 신호에 필요한 중앙 방향 내의 사운드 신호에 매핑된다. 왼쪽 방향과 후방 방향 내의 사운드 신호의 평균 신호는 5.1 사운드 채널 플레이백 시스템의 시뮬레이션된 사운드 필드에 이용되는 공간 오디오 신호에 필요한 왼쪽 후방 서라운드 사운드 신호에 매핑된다. 오른쪽 방향과 후방 방향 내의 사운드 신호의 평균 신호는 5.1 사운드 채널 플레이백 시스템의 시뮬레이션된 사운드 필드에 이용되는 공간 오디오 신호에 필요한 오른쪽 후방 서라운드 사운드 신호에 매핑된다. 평균 값은 전방 방향, 후방 방향, 왼쪽 방향, 및 오른쪽 방향 내의 사운드 신호 중 선택되고, 150 Hz 저역 필터 프로세싱은 5.1 사운드 채널 플레이백 시스템의 시뮬레이션된 사운드 필드에 이용되는 공간 오디오 신호에 필요한 초저음역 신호를 획득하기 위해 평균 값에 실행된다.
본 발명의 이 실시예에서 제공된 사운드 신호 처리 방법에 따르면, 사운드 신호는 이동 단말기의 3차원 사운드 필드로부터 획득될 수 있다. 이동 단말기에 대한 모든 음원의 방향이 획득되고, 그 후 3차원 사운드 필드를 시뮬레이션하는데 이용되는 공간 오디오 신호가 이동 단말기에 대한 음원의 방향과 사운드 신호를 이용하여 획득된다. 본 발명에서 제공된 기술적 해결책에서, 3차원 사운드 필드를 시뮬레이션하는데 이용되는 사운드 신호는 이동 단말기의 구성 요소를 이용하여 수집되고 처리될 수 있다. 또한, 모든 방향에서 수신된 음원의, 이동 단말기에 대한, 방향은 분석의 방법에 의해 획득되고, 그 후 3차원 사운드 필드의 효과가 모든 방향에서 수신된 음원의, 이동 단말기에 대한, 방향에 따라 개선된다. 종래 기술의 기술적 해결책에서는, 3차원 사운드 필드는 오직 빔을 이용해서만 시뮬레이션되었다. 반면, 본 발명에서는, 모든 방향에서 수신된 음원의, 이동 단말기에 대한, 방향이 획득되고, 나아가 게인 조정이 방향에 대한 정보를 이용하여 빔포밍에 실행된다. 따라서, 왼쪽과 오른쪽 방향 사이의 차이가 시뮬레이션된 3차원 사운드 필드 내의 전방과 후방 방향 사이의 차이보다 더 두드러지게 되는 현상을 완화할 수 있으며, 이에 따라 시뮬레이션되는 3차원 사운드 필드의 질이 향상된다.
이 실시예에서, 이동 단말기에 대한 음원의 방향을 획득하기 위해 이동 단말기에 의해 이용되는 다양한 방법이 있을 수 있다. 예를 들면, 이동 단말기의 공간 좌표와 음원으로써 기능하는 이동 단말기는 포지셔닝 기술을 이용하여 획득될 수 있고, 이동 단말기에 대한 음원의 방향은 이동 단말기의 공간 좌표와 음원으로써 기능하는 이동 단말기에 따라 결정될 수 있다. 그러나, 이동 단말기를 포지셔닝하는 프로세스는 네트워크 대역폭을 차지하기 위해 필요하고, 포지셔닝 프로세스는 일정 지연을 가진다. 이 실시예에서, 이동 단말기는, 복수의 방향 내에 있으며 이동 단말기에 대한, 음원의 방향을 획득하기 위해 필요하고, 이동 단말기에 대한 음원의 방향은 도착의 시간 차이 기반(time-difference-of-arrival-based) 포지셔닝 기술을 이용하여 획득될 수 있다. 그러므로, 도 2에 도시된 바와 같이, 단계 102의 구체적인 구현 방법은 다음을 포함할 수 있다.
단계 1021: 이동 단말기의 마이크로폰에 의해 수신된 한 방향에서의 사운드 신호와 다른 방향에서의 사운드 신호 사이의 도착의 시간 차이를 획득한다.
이동 단말기의 마이크로폰은 적어도 4개 방향 내의 사운드 신호를 수신하도록 구성되어 있다.
구체적으로, 제m 마이크로폰에 의해 수신된 사운드 신호와 제1 마이크로폰에 의해 수신된 사운드 신호 사이의 도착의 시간 차이
Figure pat00164
는
Figure pat00165
에 따라 획득된다. 여기서, p는 다수의 지연 샘플링 포인트(quantity of delay sampling point)를 나타내고,
Figure pat00166
은 제1 마이크로폰에 의해 수신된 사운드 신호를 나타내고,
Figure pat00167
은 상기 제m 마이크로폰에 의해 수신된 사운드 신호를 나타내고,
Figure pat00168
에서,
Figure pat00169
는
Figure pat00170
과
Figure pat00171
사이의 상관 스펙트럼(correlated spectrum)을 나타내고,
Figure pat00172
는 모든 방향에서 수신되는 사운드 신호가 위치하는 주파수 도메인의 가중치 함수를 나타낸다.
단계 1022: 획득된 도착의 시간 차이와 이동 단말기의 마이크로폰의 위치에 따라, 이동 단말기에 대한 음원의 방향을 획득한다.
이동 단말기의 마이크로폰을 배치하는 방법 간의 차이에 따라, 이동 단말기에 대한 음원의 방향을 획득하기 위해 이동 단말기에 의해 이용되는 다양한 구체적인 방법이 있을 수 있다.
예를 들면, 이동 단말기 상에서, 제1 마이크로폰과 제4 마이크로폰은 동일한 측(side)에 위치되어 있고, 제1 마이크로폰과 제2 마이크로폰은 동일한 측에 위치되어 있으며, c는 사운드 속도를 나타내고, d는 제1 마이크로폰의 중앙점(central point)과 제4 마이크로폰의 중앙점 사이의 거리를 나타내고, d는 제2 마이크로폰의 중앙점과 제3 마이크로폰의 중앙점 사이의 거리와 동일하고, h는 제1 마이크로폰의 중앙점과 제2 마이크로폰의 중앙점 사이의 거리를 나타내고, h는 제3 마이크로폰의 중앙점과 제4 마이크로폰의 중앙점 사이의 거리와 동일하고,
Figure pat00173
는 제1 마이크로폰과 제4 마이크로폰이 위치되어 있는 각도의 일측과 이동 단말기의 대각선 사이의 끼인 각을 나타낸다.
도 2a에 도시된 바와 같이, 단계 1022는 단계 10221 내지 단계 10222로써 구체적으로 구현될 수 있다.
단계 10221:
Figure pat00174
에 따라 제2 마이크로폰에 의해 수신된 사운드 신호의 방향
Figure pat00175
을 추정하고,
Figure pat00176
에 따라 제3 마이크로폰에 의해 수신된 사운드 신호의 방향
Figure pat00177
을 추정하고,
Figure pat00178
에 따라 제4 마이크로폰에 의해 수신된 사운드 신호의 방향
Figure pat00179
을 추정한다.
방향
Figure pat00180
,
Figure pat00181
, 및
Figure pat00182
는,
Figure pat00183
,
Figure pat00184
, 및
Figure pat00185
에 따라 획득된 값으로 추정된다. 단계 10222에서
Figure pat00186
을 이용하여 샘플링된 데이터 샘플을 평균하여 얻어진 값이 정확한 값이다.
단계 10222:
Figure pat00187
에 따라 이동 단말기에 대한 음원의 방향
Figure pat00188
을 획득한다.
다른 예시를 들면, 다른 이동 단말기 상에, 제1 마이크로폰과 제2 마이크로폰은 이동 단말기의 한 면의 대칭축에 위치되어 있으며, 한 면에서의 2개의 평행한 모서리에 떨어져서 위치되어 있고, 제3 마이크로폰과 제4 마이크로폰은 이동 단말기의 다른 면의 대칭축에 위치되어 있으며, 다른 표면 상의 2개의 평행한 모서리에 떨어져서 위치되어 있고, c는 사운드 속도를 나타내고,
Figure pat00189
은 제1 마이크로폰에 대응하는 좌표를 나타내고,
Figure pat00190
은 제2 마이크로폰에 대응하는 좌표를 나타내고,
Figure pat00191
은 제2 마이크로폰에 대응하는 좌표를 나타내고,
Figure pat00192
은 제4 마이크로폰에 대응하는 좌표를 나타낸다.
도 2b에 도시된 바와 같이, 단계 1022는 단계 10223로써 구체적으로 구현될 수 있다.
단계 10223:
Figure pat00193
에 따라, 이동 단말기에 대한 음원의 방향
Figure pat00194
을 획득한다.
예를 들면, 이 실시예에서, 도 2c에 도시된 바와 같이, 이동 단말기의 마이크로폰에 놓이는 방법은 이동 단말기 상의 4 각에 각각 놓여질 수 있고, 이동 단말기의 4개의 마이크로폰은 3차원 사운드 필드의 사운드 신호를 획득하는 것을 맡고 있다. 그 후, 음원의 위치는 획득된 사운드 신호을 이용하여 추정되고, 게인 프로세싱은 획득된 사운드 신호에 실행된다.
예를 들면, 도 2c에 도시된 바와 같이, 3차원 사운드 필드는 이동 단말기에 놓여진 4개의 마이크로폰을 이용하여 측정되고, 획득된 사운드 신호는
Figure pat00195
,
Figure pat00196
,
Figure pat00197
, 및
Figure pat00198
로 각각 표시된다. 먼저, 한 마이크로폰은 기준 마이크로폰으로 선택되고, 다른 마이크로폰에 의해 획득된 신호와 이 마이크로폰에 의해 획득된 신호 사이의 도착의 시간 차이가 계산된다. 여기서, 제1 마이크로폰은 기준 마이크로폰으로 선택되고, 일반화된 상관 관계 알고리즘(generalized cross-correlation algorithm)을 이용하여, 시간 차이
Figure pat00199
이 다음과 같이 계산된다. 여기서, m = 2, 3, 4는 제2 마이크로폰, 제3 마이크로폰, 및 제4 마이크로폰과 제1 마이크로폰 사이의 도착을 나타낸다.
Figure pat00200
여기서,
Figure pat00201
이며,
Figure pat00202
는 이상 시간 퓨리에 변환(discrete-time Fourier transform)을 나타내고,
Figure pat00203
는
Figure pat00204
과
Figure pat00205
사이의 연관 스펙트럼(correlated spectrum)이다.
Figure pat00206
이고,
Figure pat00207
는 한 주파수 도메인의 가중치 함수이다.
Figure pat00208
는 복소수를 나타낸다.
그 후, 음원과 이동 단말기 사이의 입사각, 즉 이동 단말기에 대한 음원의 방향
Figure pat00209
는 도착의 시간 차이, 이동 단말기의 마이크로폰의 놓여진 위치, 및 마이크로폰의 위치 사이의 관계에 따라 계산된다. 구체적은 계산 프로세스는 다음과 같다.
Figure pat00210
Figure pat00211
Figure pat00212
Figure pat00213
여기서, c는 사운드 속도를 나타내고, 일반적으로는 340 m/s이다. d는 제1 마이크로폰과 제4 마이크로폰 사이의 거리를 나타내며, 제2 마이크로폰과 제3 마이크로폰 사이의 거리와 동일하다. h는 제1 마이크로폰과 제2 마이크로폰 사이의 거리를 나타내며, 제3 마이크로폰과 제4 마이크로폰 사이의 거리와 동일하다.
다른 예시를 들면, 이 실시예에서는, 도 2d에 도시된 바와 같이, 이동 단말기 상에 마이크로폰을 놓는 방법은 이동 단말기의 하부 측면, 전방 수화부분 근처, 후방 카메라 근처, 및 후방 하부 측면 상에 각각 하나의 마이크로폰을 놓는 것일 수 있고, 각 마이크로폰은 3차원 사운드 필드의 사운드 신호를 획득하는 것을 맡고 있다. 그 후, 음원의 위치는 획득된 사운드 신호를 이용하여 추정되고, 게인 프로세싱은 획득된 사운드 신호에 실행된다.
예를 들면, 도 2d 및 도 2e에 도시된 바와 같이, 3차원 사운드 필드는 이동 단말기에 놓여진 4개의 마이크로폰을 이용하여 측정되고, 획득된 사운드 신호는
Figure pat00214
,
Figure pat00215
,
Figure pat00216
, 및
Figure pat00217
로 각각 표시된다. 먼저, 한 마이크로폰은 기준 마이크로폰으로 선택되고, 다른 마이크로폰에 의해 획득된 신호와 이 마이크로폰에 의해 획득된 신호 사이의 도착의 시간 차이가 계산된다. 여기서, 제1 마이크로폰은 기준 마이크로폰으로 선택되고, 일반화된 상관 관계 알고리즘(generalized cross-correlation algorithm)을 이용하여, 시간 차이
Figure pat00218
이 다음과 같이 계산된다. 여기서, m = 2, 3, 4는 제2 마이크로폰, 제3 마이크로폰, 및 제4 마이크로폰과 제1 마이크로폰 사이의 도착을 나타낸다.
Figure pat00219
여기서,
Figure pat00220
이며,
Figure pat00221
는 이상 시간 퓨리에 변환(discrete-time Fourier transform)을 나타내고,
Figure pat00222
는
Figure pat00223
과
Figure pat00224
사이의 연관 스펙트럼(correlated spectrum)이다.
Figure pat00225
이고,
Figure pat00226
는 한 주파수 도메인의 가중치 함수이다.
Figure pat00227
는 복소수를 나타낸다.
그 후, 음원과 이동 단말기 사이의 입사각, 즉 이동 단말기에 대한 음원의 방향
Figure pat00228
는 도착의 시간 차이, 이동 단말기의 마이크로폰의 놓여진 위치, 및 마이크로폰의 위치 사이의 관계에 따라 계산된다. 도 2e에서, 제1 마이크로폰에 대응하는 좌표는
Figure pat00229
, 제2 마이크로폰에 대응하는 좌표는
Figure pat00230
, 제3 마이크로폰에 대응하는 좌표는
Figure pat00231
, 제4 마이크로폰에 대응하는 좌표는
Figure pat00232
인 것으로 가정한다. 구체적으로, 이동 단말기에 대한 음원의 방향
Figure pat00233
와 도착의 시간 차이 사이의 관계는 다음과 같다.
Figure pat00234
여기서, c는 사운드 속도를 나타내고, 일반적으로는 340 m/s이다.
더욱이, 이 실시예에서, 이동 단말기에 대한 음원의 방향이 획득된 후, 각 사운드 채널 내의 신호의 게임 조정 파라미터는 이동 단말기에 대한 음원의 획득된 방향에 따라 추가로 계산되어야 한다. 따라서, 도 3에 도시된 바와 같이, 단계 103은 단계 1031로 구체적으로 구현될 수 있다.
단계 1031: 이동 단말기에 대한 음원의 방향을 이용하여 게인 조정 파라미터를 생성한다.
게인 조정 파라미터는, 왼쪽 방향에서의 신호, 오른쪽 방향에서의 신호, 및 중앙 방향에서의 신호에 대응하는 제1 타입의 게인 조정 파라미터
Figure pat00235
, 왼쪽 후방 서라운드 신호 및 오른쪽 후방 서라운드 신호에 대응하는 제1 타입의 게인 조정 파라미터
Figure pat00236
, 왼쪽 방향에서의 신호 및 왼쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터
Figure pat00237
, 및 오른쪽 방향에서의 신호 및 오른쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터
Figure pat00238
을 포함하고, 또한, 이동 단말기에 대한 음원의 방향에 대해,
Figure pat00239
일 때
Figure pat00240
,
Figure pat00241
일 때
Figure pat00242
,
Figure pat00243
일 때
Figure pat00244
,
Figure pat00245
일 때
Figure pat00246
이다.
단계 1031은 구체적으로 단계 1031a, 단계 1031b, 단계 1031c, 및 단계 1031d를 포함한다.
단계 1031a:
Figure pat00247
에 따라 왼쪽 방향에서의신호, 오른쪽 방향에서의 신호, 및 중앙 방향에서의 신호에 대응하는 제1 타입의 게인 조정 파라미터
Figure pat00248
를 생성한다.
단계 1031b:
Figure pat00249
에 따라 왼쪽 후방 서라운드 신호 및 오른쪽 후방 서라운드 신호에 대응하는 제1 타입의 게인 조정 파라미터
Figure pat00250
를 생성한다.
여기서,
Figure pat00251
,
Figure pat00252
Figure pat00253
및
Figure pat00254
는 0보다 큰 상수이고,
Figure pat00255
,
Figure pat00256
,
Figure pat00257
,
Figure pat00258
,
Figure pat00259
, 및
Figure pat00260
이다.
단계 1031c:
Figure pat00261
에 따라 왼쪽 방향에서의 신호 및 왼쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터
Figure pat00262
을 생성한다.
단계 1031d:
Figure pat00263
에 따라 오른쪽 방향에서의 신호, 및 오른쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터
Figure pat00264
을 생성한다.
여기서,
Figure pat00265
,
Figure pat00266
Figure pat00267
및
Figure pat00268
는 0보다 큰 상수이고,
Figure pat00269
,
Figure pat00270
,
Figure pat00271
,
Figure pat00272
, 및
Figure pat00273
이다.
본 발명의 이 실시예에서, 이동 단말기에 대한 음원의 방향에 대한 정보는 음원의 위치에 대한 추청에 따라 획득되고, 각 사운드 채널 내의 신호의 게인 조정 파라미터가 계산된다. 그 후, 마지막 5.1 채널 서라운드 사운드 출력 신호가 각 사운드 채널의 신호를 대응하는 게인 조정 파라미터로 곱해 얻는다. 일반적으로, 조정(adjustment)은 5.1 사운드 채널 신호의 왼쪽 방향, 중앙 방향, 오른쪽 방향, 왼쪽 후방 서라운드 방향 및 오른쪽 후방 서라운드 방향 내의 게인에 실행되어야 한다. 명백하게, 조정은 왼쪽 방향, 오른쪽 방향, 왼쪽 후방 서라운드 방향, 및 오른쪽 후방 서라운드 방향에서의 게인에만 실행될 수도 있다.
단계 1032: 사운드 신호에 따라 공간 오디오 신호 내의 모든 방향에서의 신호의 초기 값을 획득한다.
Figure pat00274
은 왼쪽 방향에서의 신호의 초기값을 나타내고,
Figure pat00275
은 오른쪽 방향에서의 신호의 초기값을 나타내고,
Figure pat00276
은 중앙 방향에서의 신호의 초기값을 나타내고,
Figure pat00277
은 왼쪽 후방 서라운드의 신호의 초기값을 나타내고,
Figure pat00278
은 오른쪽 후방 서라운드의 신호의 초기값을 나타낸다.
나아가, 뿐만 아니라, 사운드 신호에 따라 공간 오디오 신호 내의 모든 방향에서의 신호의 초기 값을 획득하는 단계는 하트 모양의 지향성을 가지는 빔을 획득하여 실행되는 계산을 필요로 한다. 하트 모양의 지향성을 가지는 빔은 제1 마이크로폰 내지 제4 마이크로폰에 의해 수신된 사운드 신호에 빔포밍 알고리즘(beamforming algorithm)을 이용하여 획득될 수 있다. 단계 1032는 다음과 같은 단계로 구체적으로 구현될 수 있다.
단계 1032b1: 제1 내지 제4 마이크로폰에 의해 수신된 사운드 신호를 이용하여 하트 모양의 지향성을 가지는 빔
Figure pat00279
을 획득한다. 여기서,
Figure pat00280
의 최대 지향성의 포인트는 제i 마이크로폰과 제j 마이크로폰 사이의 연결선으로부터 제i 마이크로폰을 가리키는 방향에 있으며,
Figure pat00281
의 지향성의 제로 포인트는 제i 마이크로폰과 제j 마이크로폰 사이의 연결선으로부터 제j 마이크로폰을 가리키는 방향에 있으며, i 및 j는 1, 2, 3, 또는 4이다.
단계 1032b2:
Figure pat00282
에 따라 하트 모양의 지향성을 가지는 빔
Figure pat00283
,
Figure pat00284
,
Figure pat00285
, 및
Figure pat00286
을 획득한다.
하트 모양의 지향성을 가지는 빔
Figure pat00287
,
Figure pat00288
,
Figure pat00289
, 및
Figure pat00290
이 획득되고,
Figure pat00291
의 최대 지향성은
Figure pat00292
내에 있으며,
Figure pat00293
의 최대 지향성은
Figure pat00294
내에 있으며,
Figure pat00295
의 최대 지향성은
Figure pat00296
내에 있으며,
Figure pat00297
의 최대 지향성은
Figure pat00298
내에 있다.
왼쪽 방향에서의 신호의 초기값
Figure pat00299
=
Figure pat00300
, 중앙 방향에서의 신호의 초기값
Figure pat00301
, 중앙 방향에서의 신호의 초기값
Figure pat00302
=
Figure pat00303
, 왼쪽 후방 서라운드 신호의 초기값
Figure pat00304
=
Figure pat00305
, 및 오른쪽 후방 서라운드 신호의 초기값
Figure pat00306
=
Figure pat00307
이고,
Figure pat00308
는 왼쪽 방향에서의 신호의 초기값을 나타내고,
Figure pat00309
는 중앙 방향에서의 신호의 초기값을 나타내고,
Figure pat00310
는 오른쪽 방향에서의 신호의 초기값을 나타내고,
Figure pat00311
는 왼쪽 후방 서라운드 신호의 초기값을,
Figure pat00312
는 오른쪽 후방 서라운드 신호의 초기값을 나타내고, n은 샘플링 포인트 번호를 나타낸다.
예를 들면, 도 2c에 도시된 어플리케이션 시나리오에서, 음원의 위치가 추정됨과 동시에, 개선 프로세싱이 이동 단말기에 놓여진 마이크로폰에 의해 수집된 여러 방향 내의 오리지널 사운드 신호(original sound signal)에 더 실행되어야 한다. 차이 빔포밍 방법(difference beamforming method)은 여기서 이용된다. 제1차 차이 빔포밍 알고리즘(first-order difference beamforming algorithm)에 따르면, 대각선 상에 있는 제1 마이크로폰과 제3 마이크로폰의 오리지널 입력 신호(original input signal)를 이용하여 생성되는 2개 방향 내의 하트 모양의 지향성을 가지는 빔은
Figure pat00313
및
Figure pat00314
로 표시된다. 또한, 대각선 상에 있는 제2 마이크로폰과 제4 마이크로폰의 오리지널 입력 신호를 이용하여 생성된 2개 방향 내의 하트 모양의 지향성을 가지는 빔은
Figure pat00315
및
Figure pat00316
로 표시된다. 여기서,
Figure pat00317
,
Figure pat00318
,
Figure pat00319
, 및
Figure pat00320
은 개선 프로세싱 이후에 획득되는 여러 방향 내의 신호이다.
다른 예를 들면, 도 2d 및 도 2e에 도시된 어플리케이션 시나리오에서, 음원의 위치가 추정됨과 동시에, 개선 프로세싱이 이동 단말기에 놓여진 마이크로폰에 의해 수집된 멀티 채널(multi-channel) 오리지널 사운드 신호에 추가로 실행되어야 한다. 차이 빔포밍 방법은 여기서 이용된다. 구체적으로, 제1차 차이 빔포밍 알고리즘에 따르면, 제1 마이크로폰과 제4 마이크로폰의 오리지널 입력 신호를 이용하여 생성되는 2개 방향 내에서 하트 모양의 지향성을 가지는 빔은
Figure pat00321
및
Figure pat00322
로 표시되며,
Figure pat00323
의 최대 지향성의 포인트는 제1 마이크로폰으로 향하는 방향에 있고,
Figure pat00324
의 지향성의 제로 포인트는 제4 마이크로폰으로 향하는 방향에 있고,
Figure pat00325
의 최대 지향성의 포인트는 제4 마이크로폰으로 향하는 방향에 있고,
Figure pat00326
의 지향성의 제로 포인트는 제1 마이크로폰으로 향하는 방향에 있다. 제2 마이크로폰과 제3 마이크로폰의 오리지널 입력 신호를 이용하여 생성되는 2개 방향 내의 하트 모양의 지향성을 가지는 빔은
Figure pat00327
및
Figure pat00328
로 표시되며,
Figure pat00329
의 최대 지향성의 포인트는 제2 마이크로폰으로 향하는 방향에 있고,
Figure pat00330
의 지향성의 제로 포인트는 제3 마이크로폰으로 향하는 방향에 있고,
Figure pat00331
의 최대 지향성의 포인트는 제3 마이크로폰으로 향하는 방향에 있고,
Figure pat00332
의 지향성의 제로 포인트는 제2 마이크로폰으로 향하는 방향에 있다. 제1 마이크로폰과 제2 마이크로폰의 오리지널 입력 신호를 이용하여 생성되는 2개 방향 내의 하트 모양의 지향성을 가지는 빔은
Figure pat00333
및
Figure pat00334
로 표시되며,
Figure pat00335
의 최대 지향성의 포인트는 제1 마이크로폰으로 향하는 방향에 있고,
Figure pat00336
의 지향성의 제로 포인트는 제2 마이크로폰으로 향하는 방향에 있고,
Figure pat00337
의 최대 지향성의 포인트는 제2 마이크로폰으로 향하는 방향에 있고,
Figure pat00338
의 지향성의 제로 포인트는 제1 마이크로폰으로 향하는 방향에 있다. 제3 마이크로폰과 제4 마이크로폰의 오리지널 입력 신호를 이용하여 생성되는 2개 방향 내의 하트 모양의 지향성을 가지는 빔은
Figure pat00339
및
Figure pat00340
로 표시되며,
Figure pat00341
의 최대 지향성의 포인트는 제3 마이크로폰으로 향하는 방향에 있고,
Figure pat00342
의 지향성의 제로 포인트는 제4 마이크로폰으로 향하는 방향에 있고,
Figure pat00343
의 최대 지향성의 포인트는 제4 마이크로폰으로 향하는 방향에 있고,
Figure pat00344
의 지향성의 제로 포인트는 제3 마이크로폰으로 향하는 방향에 있다. 개선 프로세싱 이후에 획득된 멀티 채널 내의 신호가
Figure pat00345
,
Figure pat00346
,
Figure pat00347
, 및
Figure pat00348
로 표시된다고 가정하면, 빔 사이의 관계는 다음과 같다.
Figure pat00349
이 실시예에서, 하트 모양의 지향성을 가지는 빔은 차이 빔포밍 방법을 이용하여 획득되고, 공간 오디오 신호 내의 모든 방향에서의 신호의 초기 값은 하트 모양의 지향성을 가지는 빔을 이용하여 획득될 수 있으므로, 공간 오디오 신호 내의 모든 방향에서의 신호는 뒤이어 계산될 수 있다. 따라서, 단계 1032의 구현이 완료된 후에, 이하의 단계가 더 포함된다.
단계 1033: 게인 조정 파라미터와 공간 오디오 신호 내의 모든 방향에서의 신호의 초기값에 따라 공간 오디오 신호 내의 모든 방향에서의 신호를 생성한다.
단계 1033은 단계 1033a로써 구체적으로 구현될 수 있다.
단계 1033a:
Figure pat00350
에 따라, 왼쪽 방향에서의 신호
Figure pat00351
, 중앙 방향에서의 신호
Figure pat00352
, 오른쪽 방향에서의 신호
Figure pat00353
, 왼쪽 후방 서라운드 신호
Figure pat00354
, 오른쪽 후방 서라운드 신호
Figure pat00355
을 획득한다. 여기서,
Figure pat00356
는 왼쪽 방향에서의 신호의 초기값을 나타내고,
Figure pat00357
는 중앙 방향에서의 신호의 초기값을 나타내고,
Figure pat00358
는 오른쪽 방향에서의 신호의 초기값을 나타내고,
Figure pat00359
는 왼쪽 후방 서라운드 신호의 초기값을 나타내고,
Figure pat00360
는 오른쪽 후방 서라운드 신호의 초기값을 나타내고, n은 샘플링 포인트 번호를 나타낸다.
예를 들면, 도 2c에 도시된 어플리케이션 시나리오에서, 음원의 방향의 추정의 결과, 멀티 채널 내의 개선된 신호, 및 플레이백 시스템의 타입에 따라, 대응하는 방법이, 최종 공간 오디오 출력 신호를 획득하기 위한 공간 오디오 신호의 복원을 실행하기 위해, 선택된다.
플레이백 시스템이 5.1 채널 서라운드 사운드 시스템이라면, 4개 방향 내의 개선된 출력 신호는 플레이백을 위해 5.1 채널 서라운드 사운드 시스템에 의해 필요한 6개 방향 내의 신호에 매핑되어야 한다. 또한, 공간 사운드 필드 개선 조정(enhancement adjustment)이, 음원의 위치의 추정의 결과에 따라, 매핑 후에 얻어진 6개 방향 내의 신호에 실행됨으로써, 최종 출력 신호가 획득된다. 구체적으로,
Figure pat00361
은 5.1 사운드 채널 신호 내의 왼쪽 방향 내의 신호로 직접 이용될 수 있고,
Figure pat00362
은 5.1 사운드 채널 신호 내의 오른쪽 방향 내의 신호로 직접 이용될 수 있고,
Figure pat00363
와
Figure pat00364
의 평균은 중앙 방향 내의 신호로써 선택될 수 있다.
Figure pat00365
은 5.1 사운드 채널 신호 내의 왼쪽 후방 서라운드 신호로 직접 이용될 수 있고,
Figure pat00366
은 5.1 사운드 채널 신호 내의 오른쪽 후방 서라운드 신호로 직접 이용될 수 있고, 4개 방향 내의
Figure pat00367
,
Figure pat00368
,
Figure pat00369
, 및
Figure pat00370
의 평균 값이 선택될 수 있으며, 그 후 150Hz 저역 필터 프로세싱이 5.1 사운드 채널 신호 내의 초저음역 신호를 획득하기 위해 평균 값에 실행된다.
각 방향 내의 신호의 게인 조정 파라미터는, 이동 단말기에 대한 음원의 방향이며 음원의 위치의 추정의 방법에 의해 얻어진, 방향
Figure pat00371
에 따라 계산된다. 최종 5.1 채널 서라운드 사운드 출력 신호는 각 사운드 채널의 신호를 대응하는 게인 조정 파라미터로 곱하여 얻어진다. 최종 5.1 채널 서라운드 사운드 출력 신호에서, 왼쪽 방향 내의 신호는
Figure pat00372
로 표시되며, 중앙 방향 내의 신호는
Figure pat00373
로 표시되며, 오른쪽 방향 내의 신호는
Figure pat00374
로 표시되며, 왼쪽 후방 서라운드 신호는
Figure pat00375
로 표시되며, 오른쪽 후방 서라운드 신호는
Figure pat00376
로 표시된다.
Figure pat00377
플레이백 시스템이 스테레오 스피커(stereo speaker)라면, 제2 타입의 게인 조정 파라미터는, 이동 단말기에 대한 음원의 방향이며 음원의 위치의 추정의 방법에 의해 얻어진, 방향
Figure pat00378
에 따라 계산될 수 있다. 최종 5.1 채널 서라운드 사운드 출력 신호에서, 왼쪽 방향 내의 신호는
Figure pat00379
로 표시되며, 중앙 방향 내의 신호는
Figure pat00380
로 표시되며, 오른쪽 방향 내의 신호는
Figure pat00381
로 표시되며, 왼쪽 후방 서라운드 신호는
Figure pat00382
로 표시되며, 오른쪽 후방 서라운드 신호는
Figure pat00383
로 표시된다.
Figure pat00384
공간 사운드 필드 개선 조정 후에 얻어진, 즉, 왼쪽 방향에서의 신호
Figure pat00385
, 오른쪽 방향에서의 신호
Figure pat00386
, 중앙 방향에서의 신호
Figure pat00387
, 왼쪽 후방 서라운드 신호
Figure pat00388
, 및 오른쪽 후방 서라운드 신호
Figure pat00389
와 같은, 출력 신호는 출력을 위해, 단계 1034를 실행하여, 2-채널 신호로 다운믹스될 수 있다.
다른 예를 들면, 도 2d 및 도 2e에 도시된 어플리케이션 시나리오에서, 음원의 방향의 추정의 결과, 멀티 채널 내의 개선된 신호, 및 플레이백 시스템의 타입에 따라, 대응하는 방법이, 최종 공간 오디오 출력 신호를 획득하기 위한 공간 오디오 신호의 복원을 실행하기 위해, 선택된다.
플레이백 시스템이 5.1 채널 서라운드 사운드 시스템이라면, 4개 방향 내의 개선된 출력 신호는 플레이백을 위해 5.1 채널 서라운드 사운드 시스템에 의해 필요한 6개 방향 내의 신호에 매핑되어야 한다. 또한, 공간 사운드 필드 개선 조정(enhancement adjustment)이, 음원의 위치의 추정의 결과에 따라, 매핑 후에 얻어진 6개 방향 내의 신호에 실행됨으로써, 최종 출력 신호가 획득된다. 구체적으로,
Figure pat00390
은 5.1 사운드 채널 신호 내의 왼쪽 방향 내의 신호로 직접 이용될 수 있고,
Figure pat00391
은 5.1 사운드 채널 신호 내의 오른쪽 방향 내의 신호로 직접 이용될 수 있고,
Figure pat00392
와
Figure pat00393
의 평균은 중앙 방향 내의 신호로써 선택될 수 있다.
Figure pat00394
은 5.1 사운드 채널 신호 내의 왼쪽 후방 서라운드 신호로 직접 이용될 수 있고,
Figure pat00395
은 5.1 사운드 채널 신호 내의 오른쪽 후방 서라운드 신호로 직접 이용될 수 있고, 4개 방향 내의
Figure pat00396
,
Figure pat00397
,
Figure pat00398
, 및
Figure pat00399
의 평균 값이 선택될 수 있으며, 그 후 150Hz 저역 필터 프로세싱이 5.1 사운드 채널 신호 내의 초저음역 신호를 획득하기 위해 평균 값에 실행된다.
각 방향 내의 신호의 게인 조정 파라미터는, 이동 단말기에 대한 음원의 방향이며 음원의 위치의 추정의 방법에 의해 얻어진, 방향
Figure pat00400
에 따라 계산된다. 최종 5.1 채널 서라운드 사운드 출력 신호는 각 사운드 채널의 신호를 대응하는 게인 조정 파라미터로 곱하여 얻어진다. 최종 5.1 채널 서라운드 사운드 출력 신호에서, 왼쪽 방향 내의 신호는
Figure pat00401
로 표시되며, 중앙 방향 내의 신호는
Figure pat00402
로 표시되며, 오른쪽 방향 내의 신호는
Figure pat00403
로 표시되며, 왼쪽 후방 서라운드 신호는
Figure pat00404
로 표시되며, 오른쪽 후방 서라운드 신호는
Figure pat00405
로 표시된다.
Figure pat00406
플레이백 시스템이 스테레오 스피커(stereo speaker)라면, 제2 타입의 게인 조정 파라미터는, 이동 단말기에 대한 음원의 방향이며 음원의 위치의 추정의 방법에 의해 얻어진, 방향
Figure pat00407
에 따라 계산될 수 있다. 최종 5.1 채널 서라운드 사운드 출력 신호에서, 왼쪽 방향 내의 신호는
Figure pat00408
로 표시되며, 중앙 방향 내의 신호는
Figure pat00409
로 표시되며, 오른쪽 방향 내의 신호는
Figure pat00410
로 표시되며, 왼쪽 후방 서라운드 신호는
Figure pat00411
로 표시되며, 오른쪽 후방 서라운드 신호는
Figure pat00412
로 표시된다.
Figure pat00413
그 후, 공간 사운드 필드 개선 조정 후에 얻어진, 즉, 왼쪽 방향에서의 신호
Figure pat00414
, 오른쪽 방향에서의 신호
Figure pat00415
, 중앙 방향에서의 신호
Figure pat00416
, 왼쪽 후방 서라운드 신호
Figure pat00417
, 및 오른쪽 후방 서라운드 신호
Figure pat00418
와 같은, 출력 신호는 출력을 위해, 단계 1034를 실행하여, 2-채널 신호로 다운믹스될 수 있다.
하트 모양의 지향성을 가지는 빔
Figure pat00419
,
Figure pat00420
,
Figure pat00421
, 및
Figure pat00422
의 어플리케이션 시나리오에서, 하트 모양의 지향성을 가지는 빔
Figure pat00423
,
Figure pat00424
,
Figure pat00425
, 및
Figure pat00426
이 단계 1032b1 내지 단계 1032b2에 따라 얻어진 후에, 단계 1033이 구현될 수 있다.
단계 1033b1:
Figure pat00427
에 따라 왼쪽 방향에서의 신호
Figure pat00428
을 획득한다.
단계 1033b2:
Figure pat00429
에 따라 중앙 방향에서의 신호
Figure pat00430
을 획득한다.
단계 1033b3:
Figure pat00431
에 따라 오른쪽 방향에서의 신호
Figure pat00432
을 획득한다.
단계 1033b4:
Figure pat00433
에 따라 왼쪽 후방 서라운드 신호
Figure pat00434
을 획득한다.
단계 1033b5:
Figure pat00435
에 따라 오른쪽 후방 서라운드 신호
Figure pat00436
을 획득한다.
Figure pat00437
는 왼쪽 방향에서의 신호의 초기값을 나타내고,
Figure pat00438
는 중앙 방향에서의 신호의 초기값을 나타내고,
Figure pat00439
는 오른쪽 방향에서의 신호의 초기값을 나타내고,
Figure pat00440
는 왼쪽 후방 서라운드 신호의 초기값을 나타내고,
Figure pat00441
는 오른쪽 후방 서라운드 신호의 초기값을 나타내고, n은 샘플링 포인트 번호를 나타낸다.
본 발명의 이 실시예에서 제공된 사운드 신호 처리 방법에 따르면, 사운드 신호는 이동 단말기의 3차원 사운드 필드로부터 획득될 수 있다. 이동 단말기에 대한 모든 음원의 방향이 획득되고, 그 후 3차원 사운드 필드를 시뮬레이션하는데 이용되는 공간 오디오 신호가 이동 단말기에 대한 음원의 방향과 사운드 신호를 이용하여 획득된다. 본 발명에서 제공된 기술적 해결책에서, 3차원 사운드 필드를 시뮬레이션하는데 이용되는 사운드 신호는 이동 단말기의 구성 요소를 이용하여 수집되고 처리될 수 있다. 또한, 모든 방향에서 수신된 음원의, 이동 단말기에 대한, 방향은 분석의 방법에 의해 획득되고, 그 후 3차원 사운드 필드의 효과가 모든 방향에서 수신된 음원의, 이동 단말기에 대한, 방향에 따라 개선된다. 종래 기술의 기술적 해결책에서는, 3차원 사운드 필드는 오직 빔을 이용해서만 시뮬레이션되었다. 반면, 본 발명에서는, 모든 방향에서 수신된 음원의, 이동 단말기에 대한, 방향이 획득되고, 나아가 게인 조정이 방향에 대한 정보를 이용하여 빔포밍에 실행된다. 따라서, 왼쪽과 오른쪽 방향 사이의 차이가 시뮬레이션된 3차원 사운드 필드 내의 전방과 후방 방향 사이의 차이보다 더 두드러지게 되는 현상을 완화할 수 있으며, 이에 따라 시뮬레이션되는 3차원 사운드 필드의 질이 향상된다.
나아가, 이 실시예에서, 공간 오디오 신호는 2-채널 신호를 더 포함하며, 이동 단말기에 대한 음원의 방향이 획득된 후, 왼쪽 방향 내의 신호, 오른쪽 방향 내의 신호, 중앙 방향 내의 신호, 왼쪽 후방 서라운드 신호, 및 오른쪽 후방 서라운드 신호가 2-채널 신호를 생성하기 위해 추가로 다운믹스되어야 한다. 따라서, 도 3a에 도시된 바와 같이, 단계 103은 단계 1034로 구체적으로 구현될 수 있다.
단계 1034: 2-채널 신호를 생성하기 위해, 왼쪽 방향에서의 신호, 오른쪽 방향에서의 신호, 중앙 방향에서의 신호, 왼쪽 후방 서라운드 신호, 및 오른쪽 후방 서라운드 신호를 다운믹스한다.
예를 들면, 플레이백 시스템이 이어폰인 경우, N 방향 내의 개선된 출력 신호는 5.1 채널 서라운드 사운드 시스템에 플레이백을 위한, 왼쪽 방향, 중앙 방향, 오른쪽 방향, 왼쪽 후방 서라운드 방향, 및 오른쪽 후방 서라운드 방향 내의 신호에 매핑되어야 하고, 또한, 공간 사운드 필드 개선 조정이 음원의 위치의 추정의 결과에 따라 매핑이 상술한 방법에 따라 실행된 후에 획득된 5 방향 내의 신호에 실행되므로, 공간 사운드 필드 개선 조정 후의 출력 신호가 얻어진다. 이어폰 플레이백 시스템에 대해, 공간 사운드 필드 개선 조정 후에 획득된 출력 신호는 2-채널 신호로 다운믹스되어야 한다. 하나의 선택적 다운믹스 방법은 국제 통신 전기 연합(International Telecommunication Union) 표준의 5.1 채널 서라운드 사운드를 2-채널 신호로 다운믹스하는 방법이다. 또 다른 방법은 다운믹스 전에 컨볼루션(convolution)이 왼쪽 방향, 오른쪽 방향, 왼쪽 후방 서라운드 방향, 및 오른쪽 후방 서라운드 방향 내의 신호와 대응하는 각도의 헤드 전달함수(head transfer function)에 개별적으로 실행되도록 하여야 하며, 그 후 다운믹스가 실행되므로, 신호 다운믹스 후에 전방, 후방, 왼쪽, 및 오른쪽 방향 내의 공간 분리(spatial separation)의 정도가 향상될 수 있다.
본 발명의 이 실시예에서 제공된 사운드 신호 처리 방법에 따르면, 사운드 신호는 이동 단말기의 3차원 사운드 필드로부터 획득될 수 있다. 이동 단말기에 대한 모든 음원의 방향이 획득되고, 그 후 3차원 사운드 필드를 시뮬레이션하는데 이용되는 공간 오디오 신호가 이동 단말기에 대한 음원의 방향과 사운드 신호를 이용하여 획득된다. 본 발명에서 제공된 기술적 해결책에서, 3차원 사운드 필드를 시뮬레이션하는데 이용되는 사운드 신호는 이동 단말기의 구성 요소를 이용하여 수집되고 처리될 수 있다. 또한, 모든 방향에서 수신된 음원의, 이동 단말기에 대한, 방향은 분석의 방법에 의해 획득되고, 그 후 3차원 사운드 필드의 효과가 모든 방향에서 수신된 음원의, 이동 단말기에 대한, 방향에 따라 개선된다. 종래 기술의 기술적 해결책에서는, 3차원 사운드 필드는 오직 빔을 이용해서만 시뮬레이션되었다. 반면, 본 발명에서는, 모든 방향에서 수신된 음원의, 이동 단말기에 대한, 방향이 획득되고, 나아가 게인 조정이 방향에 대한 정보를 이용하여 빔포밍에 실행된다. 따라서, 왼쪽과 오른쪽 방향 사이의 차이가 시뮬레이션된 3차원 사운드 필드 내의 전방과 후방 방향 사이의 차이보다 더 두드러지게 되는 현상을 완화할 수 있으며, 이에 따라 시뮬레이션되는 3차원 사운드 필드의 질이 향상된다.
본 발명의 실시예는 사운드 신호 처리 장치(40)의 구조를 제공하며, 도 4에 도시된 바와 같이 사운드 신호 처리 장치(40)는 다음의 구성을 포함한다.
적어도 3개의 마이크로폰이 이동 단말기에 배치되어 있고, 하나의 마이크로폰이 적어도 한 방향에서 사운드 신호를 수신하도록 구성되어 있는, 3차원 사운드 필드(three-dimensional sound field)로부터 사운드 신호를 획득하도록 구성되어 있는 제1 획득 모듈(41);
획득된 사운드 신호에 따라, 이동 단말기에 대한 음원의 방향을 획득하도록 구성되어 있는 제2 획득 모듈(42); 및
이동 단말기에 대한 음원의 방향과 획득된 사운드 신호에 따라 공간 오디오 신호(spatial audio signal)를 획득하도록 구성되어 있는 제1 처리 모듈(43).
공간 오디오 신호는 3차원 사운드 필드를 시뮬레이션하는데 이용된다.
도 4a에 도시된 바와 같이, 제2 획득 모듈(42)은 다음의 구성을 포함한다.
적어도 4개 방향에서 사운드 신호를 수신하도록 구성되어 있는, 이동 단말기의 마이크로폰에 의해 수신된 하나의 방향에서의 사운드 신호와 다른 방향에서의 사운드 신호 사이의 도착의 시간 차이를 획득하도록 구성되어 있는 제1 획득 유닛(421); 및
획득된 도착의 시간 차이와 이동 단말기의 마이크로폰의 위치에 따라, 이동 단말기에 대한 음원의 방향을 획득하도록 구성되어 있는 제2 획득 유닛(422).
도 4b에 도시된 바와 같이, 제1 획득 유닛(421)은 다음의 구성을 포함한다.
Figure pat00442
에 따라, 제m 마이크로폰에 의해 수신된 사운드 신호와 제1 마이크로폰에 의해 수신된 사운드 신호 사이의 도착의 시간 차이
Figure pat00443
를 획득하도록 구성되어 있는 제1 획득 서브 유닛(4211),
여기서, p는 다수의 지연 샘플링 포인트(quantity of delay sampling point)를 나타내고,
Figure pat00444
은 제1 마이크로폰에 의해 수신된 사운드 신호를 나타내고,
Figure pat00445
은 제m 마이크로폰에 의해 수신된 사운드 신호를 나타내고,
Figure pat00446
에서,
Figure pat00447
는
Figure pat00448
과
Figure pat00449
사이의 상관 스펙트럼(correlated spectrum)을 나타내고,
Figure pat00450
는 모든 방향에서 수신되는 사운드 신호가 위치하는 주파수 도메인의 가중치 함수를 나타낸다.
도 4c에 도시된 바와 같이, 제2 획득 유닛(422)은 다음의 구성을 포함한다.
Figure pat00451
에 따라 제2 마이크로폰에 의해 수신된 사운드 신호의 방향
Figure pat00452
을 추정하고,
Figure pat00453
에 따라 제3 마이크로폰에 의해 수신된 사운드 신호의 방향
Figure pat00454
을 추정하고,
Figure pat00455
에 따라 제4 마이크로폰에 의해 수신된 사운드 신호의 방향
Figure pat00456
을 추정하도록 구성되어 있는 제2 획득 서브 유닛(4221); 및
Figure pat00457
에 따라 이동 단말기에 대한 음원의 방향
Figure pat00458
을 획득하도록 구성되어 있는 제3 획득 서브 유닛(4222).
여기서, 제1 마이크로폰과 제4 마이크로폰은 동일한 측(side)에 위치되어 있고, 제1 마이크로폰과 제2 마이크로폰은 동일한 측에 위치되어 있으며, c는 사운드 속도를 나타내고, d는 제1 마이크로폰의 중앙점(central point)과 제4 마이크로폰의 중앙점 사이의 거리를 나타내고, d는 제2 마이크로폰의 중앙점과 제3 마이크로폰의 중앙점 사이의 거리와 동일하고, h는 제1 마이크로폰의 중앙점과 제2 마이크로폰의 중앙점 사이의 거리를 나타내고, h는 제3 마이크로폰의 중앙점과 제4 마이크로폰의 중앙점 사이의 거리와 동일하고,
Figure pat00459
는 제1 마이크로폰과 제4 마이크로폰이 위치되어 있는 각도의 일측과 이동 단말기의 대각선 사이의 끼인 각을 나타낸다.
도 4d에 도시된 바와 같이, 이동 단말기에 대한 음원의 방향이 획득된 후에, 제2 획득 유닛(422)은 다음의 구성을 더 포함한다.
Figure pat00460
에 따라, 이동 단말기에 대한 음원의 방향
Figure pat00461
을 획득하도록 구성되어 있는 제4 획득 서브 유닛(4223).
여기서, 제1 마이크로폰과 제2 마이크로폰은 이동 단말기의 한 면의 대칭축에 위치되어 있으며, 한 면에서의 2개의 평행한 모서리에 떨어져서 위치되어 있고, 제3 마이크로폰과 제4 마이크로폰은 이동 단말기의 다른 면의 대칭축에 위치되어 있으며, 다른 표면 상의 2개의 평행한 모서리에 떨어져서 위치되어 있고, c는 사운드 속도를 나타내고,
Figure pat00462
은 제1 마이크로폰에 대응하는 좌표를 나타내고,
Figure pat00463
은 제2 마이크로폰에 대응하는 좌표를 나타내고,
Figure pat00464
은 제2 마이크로폰에 대응하는 좌표를 나타내고,
Figure pat00465
은 제4 마이크로폰에 대응하는 좌표를 나타낸다.
나아가, 공간 오디오 신호는 적어도 왼쪽 방향에서의 신호, 오른쪽 방향에서의 신호, 중앙 방향에서의 신호, 왼쪽 후방(rear) 서라운드 신호(surround signal), 및 오른쪽 후방 서라운드 신호를 포함한다.
도 4e에 도시된 바와 같이, 제1 처리 모듈(43)은 다음의 구성을 포함한다.
이동 단말기에 대한 음원의 방향을 이용하여 게인 조정 파라미터(gain adjusting parameters)를 생성하도록 구성되어 있는 제1 처리 유닛(431);
사운드 신호에 따라 공간 오디오 신호에서의 모든 방향의 신호의 초기값을 획득하도록 구성되어 있는 제2 처리 유닛(432); 및
게인 조정 파라미터와 공간 오디오 신호에서의 모든 방향의 신호의 초기값에 따라, 왼쪽 방향에서의 신호, 오른쪽 방향에서의 신호, 중앙 방향에서의 신호, 왼쪽 후방 서라운드 신호, 및 오른쪽 후방 서라운드 신호를 생성하도록 구성되어 있는 제3 처리 유닛(433).
여기서, 게인 조정 파라미터는, 왼쪽 방향에서의 신호, 오른쪽 방향에서의 신호, 및 중앙 방향에서의 신호에 대응하는 제1 타입의 게인 조정 파라미터
Figure pat00466
, 왼쪽 후방 서라운드 신호 및 오른쪽 후방 서라운드 신호에 대응하는 제1 타입의 게인 조정 파라미터
Figure pat00467
, 왼쪽 방향에서의 신호 및 왼쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터
Figure pat00468
, 및 오른쪽 방향에서의 신호 및 오른쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터
Figure pat00469
을 포함하고, 또한, 이동 단말기에 대한 음원의 방향에 대해,
Figure pat00470
일 때
Figure pat00471
,
Figure pat00472
일 때
Figure pat00473
,
Figure pat00474
일 때
Figure pat00475
,
Figure pat00476
일 때
Figure pat00477
이다.
나아가, 공간 오디오 신호는 2-채널 신호를 더 포함하며, 도 4f에 도시된 바와 같이, 장치(40)는 다음의 구성을 더 포함한다.
2-채널 신호를 생성하기 위해, 왼쪽 방향에서의 신호, 오른쪽 방향에서의 신호, 중앙 방향에서의 신호, 왼쪽 후방 서라운드 신호, 및 오른쪽 후방 서라운드 신호를 다운믹스(downmix)하도록 구성되어 있는 제4 처리 유닛(434).
선택적으로, 전술한 구현 방법에 따라, 도 4g에 도시된 바와 같이, 제1 처리 유닛(431)은 이하의 구성을 더 포함할 수 있다.
Figure pat00478
에 따라 왼쪽 방향에서의신호, 오른쪽 방향에서의 신호, 및 중앙 방향에서의 신호에 대응하는 제1 타입의 게인 조정 파라미터
Figure pat00479
를 생성하도록 구성되어 있는 제1 처리 서브 유닛(4311);
Figure pat00480
에 따라 왼쪽 후방 서라운드 신호 및 오른쪽 후방 서라운드 신호에 대응하는 제1 타입의 게인 조정 파라미터
Figure pat00481
를 생성하도록 구성되어 있는 제2 처리 서브 유닛(4312);
Figure pat00482
에 따라 왼쪽 방향에서의 신호 및 왼쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터
Figure pat00483
을 생성하도록 구성되어 있는 제3 처리 서브 유닛(4313); 및
Figure pat00484
에 따라 오른쪽 방향에서의 신호, 및 오른쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터
Figure pat00485
을 생성하도록 구성되어 있는 제4 처리 서브 유닛(4314).
여기서,
Figure pat00486
,
Figure pat00487
Figure pat00488
및
Figure pat00489
는 0보다 큰 상수이고,
Figure pat00490
,
Figure pat00491
,
Figure pat00492
,
Figure pat00493
,
Figure pat00494
, 및
Figure pat00495
이고,
Figure pat00496
,
Figure pat00497
Figure pat00498
및
Figure pat00499
는 0보다 큰 상수이고,
Figure pat00500
,
Figure pat00501
,
Figure pat00502
,
Figure pat00503
, 및
Figure pat00504
이다.
공간 오디오 신호 내의 모든 방향 내의 신호는 제3 처리 유닛(433)에 따라 생성되며, 도 4h에 도시된 바와 같이, 제3 처리 유닛(433)은 다음의 구성을 포함한다.
Figure pat00505
에 따라, 왼쪽 방향에서의 신호
Figure pat00506
, 오른쪽 방향에서의 신호
Figure pat00507
, 중앙 방향에서의 신호
Figure pat00508
, 왼쪽 후방 서라운드 신호
Figure pat00509
, 및 오른쪽 후방 서라운드 신호
Figure pat00510
을 획득하도록 구성되어 있는 제5 처리 서브 유닛(4331).
여기서,
Figure pat00511
는 왼쪽 방향에서의 신호의 초기값을 나타내고,
Figure pat00512
는 중앙 방향에서의 신호의 초기값을 나타내고,
Figure pat00513
는 오른쪽 방향에서의 신호의 초기값을 나타내고,
Figure pat00514
는 왼쪽 후방 서라운드 신호의 초기값을 나타내고,
Figure pat00515
는 오른쪽 후방 서라운드 신호의 초기값을 나타내고, n은 샘플링 포인트 번호를 나타낸다.
도 4i에 도시된 바와 같이, 제2 처리 유닛(432)은 다음의 구성을 포함한다.
하트 모양(heart-shaped)의 지향성(directivity)을 가지는 빔
Figure pat00516
,
Figure pat00517
,
Figure pat00518
, 및
Figure pat00519
을 획득하도록 구성되어 있는 제6 처리 서브 유닛(4321).
여기서,
Figure pat00520
의 최대 지향성은
Figure pat00521
내에 있으며,
Figure pat00522
의 최대 지향성은
Figure pat00523
내에 있으며,
Figure pat00524
의 최대 지향성은
Figure pat00525
내에 있으며,
Figure pat00526
의 최대 지향성은
Figure pat00527
내에 있다.
왼쪽 방향에서의 신호의 초기값
Figure pat00528
=
Figure pat00529
, 중앙 방향에서의 신호의 초기값
Figure pat00530
, 중앙 방향에서의 신호의 초기값
Figure pat00531
=
Figure pat00532
, 왼쪽 후방 서라운드 신호의 초기값
Figure pat00533
=
Figure pat00534
, 및 오른쪽 후방 서라운드 신호의 초기값
Figure pat00535
=
Figure pat00536
이고,
Figure pat00537
는 왼쪽 방향에서의 신호의 초기값을 나타내고,
Figure pat00538
는 중앙 방향에서의 신호의 초기값을 나타내고,
Figure pat00539
는 오른쪽 방향에서의 신호의 초기값을 나타내고,
Figure pat00540
는 왼쪽 후방 서라운드 신호의 초기값을,
Figure pat00541
는 오른쪽 후방 서라운드 신호의 초기값을 나타내고, n은 샘플링 포인트 번호를 나타낸다.
제6 처리 서브 유닛(4321)은 구체적으로 제1 내지 제4 마이크로폰에 의해 수신된 사운드 신호를 이용하여 하트 모양의 지향성을 가지는 빔
Figure pat00542
을 획득하고,
Figure pat00543
에 따라 하트 모양의 지향성을 가지는 빔
Figure pat00544
,
Figure pat00545
,
Figure pat00546
, 및
Figure pat00547
을 획득하도록 구성되어 있다.
여기서,
Figure pat00548
의 최대 지향성의 포인트는 제i 마이크로폰과 제j 마이크로폰 사이의 연결선으로부터 제i 마이크로폰을 가리키는 방향에 있으며,
Figure pat00549
의 지향성의 제로 포인트는 제i 마이크로폰과 제j 마이크로폰 사이의 연결선으로부터 제j 마이크로폰을 가리키는 방향에 있으며, i 및 j는 1, 2, 3, 또는 4이다.
도 4j에 도시된 바와 같이, 제3 처리 유닛(433)은 다음의 구성을 더 포함한다.
Figure pat00550
에 따라 왼쪽 방향에서의 신호
Figure pat00551
을 획득하도록 구성되어 있는 제7 처리 서브 유닛(4332);
Figure pat00552
에 따라 중앙 방향에서의 신호
Figure pat00553
을 획득하도록 구성되어 있는 제8 처리 서브 유닛(4333);
Figure pat00554
에 따라 오른쪽 방향에서의 신호
Figure pat00555
을 획득하도록 구성되어 있는 제9 처리 서브 유닛(4334);
Figure pat00556
에 따라 왼쪽 후방 서라운드 신호
Figure pat00557
을 획득하도록 구성되어 있는 제10 처리 서브 유닛(4335); 및
Figure pat00558
에 따라 오른쪽 후방 서라운드 신호
Figure pat00559
을 획득하도록 구성되어 있는 제11 처리 서브 유닛(4336).
여기서,
Figure pat00560
는 왼쪽 방향에서의 신호의 초기값을 나타내고,
Figure pat00561
는 중앙 방향에서의 신호의 초기값을 나타내고,
Figure pat00562
는 오른쪽 방향에서의 신호의 초기값을 나타내고,
Figure pat00563
는 왼쪽 후방 서라운드 신호의 초기값을 나타내고,
Figure pat00564
는 오른쪽 후방 서라운드 신호의 초기값을 나타내고, n은 샘플링 포인트 번호를 나타낸다.
본 발명의 이 실시예에서 제공된 사운드 신호 처리 방법에 따르면, 사운드 신호는 이동 단말기의 3차원 사운드 필드로부터 획득될 수 있다. 이동 단말기에 대한 모든 음원의 방향이 획득되고, 그 후 3차원 사운드 필드를 시뮬레이션하는데 이용되는 공간 오디오 신호가 이동 단말기에 대한 음원의 방향과 사운드 신호를 이용하여 획득된다. 본 발명에서 제공된 기술적 해결책에서, 3차원 사운드 필드를 시뮬레이션하는데 이용되는 사운드 신호는 이동 단말기의 구성 요소를 이용하여 수집되고 처리될 수 있다. 또한, 모든 방향에서 수신된 음원의, 이동 단말기에 대한, 방향은 분석의 방법에 의해 획득되고, 그 후 3차원 사운드 필드의 효과가 모든 방향에서 수신된 음원의, 이동 단말기에 대한, 방향에 따라 개선된다. 종래 기술의 기술적 해결책에서는, 3차원 사운드 필드는 오직 빔을 이용해서만 시뮬레이션되었다. 반면, 본 발명에서는, 모든 방향에서 수신된 음원의, 이동 단말기에 대한, 방향이 획득되고, 나아가 게인 조정이 방향에 대한 정보를 이용하여 빔포밍에 실행된다. 따라서, 왼쪽과 오른쪽 방향 사이의 차이가 시뮬레이션된 3차원 사운드 필드 내의 전방과 후방 방향 사이의 차이보다 더 두드러지게 되는 현상을 완화할 수 있으며, 이에 따라 시뮬레이션되는 3차원 사운드 필드의 질이 향상된다.
본 발명의 일 실시예는 사운드 신호 처리 장치(50)의 구성을 추가로 제공한다. 도 5에 도시된 바와 같이, 사운드 신호 처리 장치(50)는, CPU와 같은 적어도 하나의 프로세서(501), 적어도 하나의 네트워크 포드(502) 또는 다른 사용자 포트(503), 메모리(504), 및 적어도 하나의 통신 버스(505)를 포함한다. 통신 버스(505)는 구성 요소 사이의 연결 및 통신을 구현하도록 구성되어 있다. 선택적으로, 사용자 포트(503)는 디스플레이, 키보드, 또는 (마우스, 트랙볼(trackball), 또는 터치 판넬 또는 터치 디스플레이 스크린과 같은) 클릭 장치를 더 포함한다. 메모리(504)는 고속 RAM 메모리를 포함할 수 있으며, 예를 들면 적어도 하나의 디스크 메모리와 같은, 비휘발성 메모리(non-valatile memory)를 더 포함할 수 있다. 메모리(504)는 전술한 프로세서(501)로부터 멀리 떨어져서 위치되는 적어도 하나의 저장 장치를 선택적으로 포함할 수 있다.
일부 구현 방법에서, 메모리(504)는 이하의 구성 요소, 실행 가능한 모듈 또는 데이터 구조, 또는 그것의 서브 세트 또는 그것의 확장 세트(extension set)를 저장한다:
다양한 시스템 프로그램을 포함하며, 다양한 기본 서비스를 구현하고 하드웨어 기반 과제(hardware-based task)를 처리하도록 구성되어 있는 운영 체제(5041), 및 다양한 어플리케이션 프로그램을 포함하며 다양한 어플리케이션 서비스를 구현하도록 구성되어 있는 어플리케이션 프로그램(5042).
프로세서(501)는,
적어도 3개의 마이크로폰이 이동 단말기에 배치되어 있고, 하나의 마이크로폰이 적어도 한 방향에서의 사운드 신호를 수신하도록 구성되어 있는, 3차원 사운드 필드로부터 사운드 신호를 획득하도록 구성되어 있으며,
획득된 사운드 신호에 따라, 이동 단말기에 대한 음원의 방향을 획득하도록 구성되어 있으며,
이동 단말기에 대한 음원의 방향과 획득된 사운드 신호에 따라, 공간 오디오 신호(spatial audio signal)를 획득하도록 구성되어 있다.
공간 오디오 신호는 3차원 사운드 필드를 시뮬레이션하는데 이용된다.
프로세서(501)는, 적어도 4개 방향에서 사운드 신호를 수신하도록 구성되어 있는, 이동 단말기의 마이크로폰에 의해 수신된 한 방향에서의 사운드 신호와 다른 방향에서의 사운드 신호 사이의 도착의 시간 차이를 획득하고,
획득된 도착의 시간 차이와 이동 단말기의 마이크로폰의 위치에 따라, 이동 단말기에 대한 음원의 방향을 획득하도록 더 구성되어 있다.
프로세서(501)는 구체적으로,
Figure pat00565
에 따라, 제m 마이크로폰에 의해 수신된 사운드 신호와 제1 마이크로폰에 의해 수신된 사운드 신호 사이의 도착의 시간 차이
Figure pat00566
를 획득하도록 구성되어 있으며,
여기서, p는 다수의 지연 샘플링 포인트(quantity of delay sampling point)를 나타내고,
Figure pat00567
은 제1 마이크로폰에 의해 수신된 사운드 신호를 나타내고,
Figure pat00568
은 제m 마이크로폰에 의해 수신된 사운드 신호를 나타내고,
Figure pat00569
에서,
Figure pat00570
는
Figure pat00571
과
Figure pat00572
사이의 상관 스펙트럼(correlated spectrum)을 나타내고,
Figure pat00573
는 모든 방향에서 수신되는 사운드 신호가 위치하는 주파수 도메인의 가중치 함수를 나타낸다.
획득된 도착의 시간 차이와 이동 단말기의 마이크로폰의 위치에 따라, 이동 단말기에 대한 음원의 방향을 획득하는 것은 다음의 구성을 포함한다:
Figure pat00574
에 따라 제2 마이크로폰에 의해 수신된 사운드 신호의 방향
Figure pat00575
을 추정하고,
Figure pat00576
에 따라 제3 마이크로폰에 의해 수신된 사운드 신호의 방향
Figure pat00577
을 추정하고,
Figure pat00578
에 따라 제4 마이크로폰에 의해 수신된 사운드 신호의 방향
Figure pat00579
을 추정하는 것; 및
Figure pat00580
에 따라 이동 단말기에 대한 음원의 방향
Figure pat00581
을 획득하는 것.
제1 마이크로폰과 제4 마이크로폰은 동일한 측(side)에 위치되어 있고, 제1 마이크로폰과 제2 마이크로폰은 동일한 측에 위치되어 있으며, c는 사운드 속도를 나타내고, d는 제1 마이크로폰의 중앙점(central point)과 제4 마이크로폰의 중앙점 사이의 거리를 나타내고, d는 제2 마이크로폰의 중앙점과 제3 마이크로폰의 중앙점 사이의 거리와 동일하고, h는 제1 마이크로폰의 중앙점과 제2 마이크로폰의 중앙점 사이의 거리를 나타내고, h는 제3 마이크로폰의 중앙점과 제4 마이크로폰의 중앙점 사이의 거리와 동일하고,
Figure pat00582
는 제1 마이크로폰과 제4 마이크로폰이 위치되어 있는 각도의 일측과 이동 단말기의 대각선 사이의 끼인 각을 나타낸다.
프로세서(501)는 구체적으로,
Figure pat00583
에 따라, 이동 단말기에 대한 음원의 방향
Figure pat00584
을 획득하도록 구성되어 있으며,
여기서, 제1 마이크로폰과 제2 마이크로폰은 이동 단말기의 한 면의 대칭축에 위치되어 있으며, 한 면에서의 2개의 평행한 모서리에 떨어져서 위치되어 있고, 제3 마이크로폰과 제4 마이크로폰은 이동 단말기의 다른 면의 대칭축에 위치되어 있으며, 다른 표면 상의 2개의 평행한 모서리에 떨어져서 위치되어 있고, c는 사운드 속도를 나타내고,
Figure pat00585
은 제1 마이크로폰에 대응하는 좌표를 나타내고,
Figure pat00586
은 제2 마이크로폰에 대응하는 좌표를 나타내고,
Figure pat00587
은 제2 마이크로폰에 대응하는 좌표를 나타내고,
Figure pat00588
은 제4 마이크로폰에 대응하는 좌표를 나타낸다.
공간 오디오 신호는 적어도 왼쪽 방향에서의 신호, 오른쪽 방향에서의 신호, 중앙 방향에서의 신호, 왼쪽 후방(rear) 서라운드 신호(surround signal), 및 오른쪽 후방 서라운드 신호를 포함한다.
구체적으로, 프로세서(501)이 이동 단말기에 대한 음원의 방향과 획득된 사운드 신호에 따라 공간 오디오 신호를 획득하는 것은 다음을 포함한다.
이동 단말기에 대한 음원의 방향을 이용하여 게인 조정 파라미터(gain adjusting parameters)를 생성하는 것;
사운드 신호에 따라 공간 오디오 신호에서의 모든 방향의 신호의 초기값을 획득하는 것; 및
게인 조정 파라미터와 공간 오디오 신호에서의 모든 방향의 신호의 초기값에 따라, 왼쪽 방향에서의 신호, 오른쪽 방향에서의 신호, 중앙 방향에서의 신호, 왼쪽 후방 서라운드 신호, 및 오른쪽 후방 서라운드 신호를 생성하는 것.
여기서, 게인 조정 파라미터는, 왼쪽 방향에서의 신호, 오른쪽 방향에서의 신호, 및 중앙 방향에서의 신호에 대응하는 제1 타입의 게인 조정 파라미터
Figure pat00589
, 왼쪽 후방 서라운드 신호 및 오른쪽 후방 서라운드 신호에 대응하는 제1 타입의 게인 조정 파라미터 , 왼쪽 방향에서의 신호 및 왼쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터
Figure pat00591
, 및 오른쪽 방향에서의 신호 및 오른쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터
Figure pat00592
을 포함하고, 또한, 이동 단말기에 대한 음원의 방향에 대해,
Figure pat00593
일 때
Figure pat00594
,
Figure pat00595
일 때
Figure pat00596
,
Figure pat00597
일 때
Figure pat00598
,
Figure pat00599
일 때
Figure pat00600
이다.
장치(50)에서, 공간 오디오 신호는 2-채널 신호를 더 포함하며,
프로세서(501)는, 2-채널 신호를 생성하기 위해, 왼쪽 방향에서의 신호, 오른쪽 방향에서의 신호, 중앙 방향에서의 신호, 왼쪽 후방 서라운드 신호, 및 오른쪽 후방 서라운드 신호를 다운믹스하도록 구성되어 있다.
선택적으로, 전술한 구현 방법의 기초로, 프로세서(501)는 추가로,
Figure pat00601
에 따라 왼쪽 방향에서의신호, 오른쪽 방향에서의 신호, 및 중앙 방향에서의 신호에 대응하는 제1 타입의 게인 조정 파라미터
Figure pat00602
를 생성하고,
Figure pat00603
에 따라 왼쪽 후방 서라운드 신호 및 오른쪽 후방 서라운드 신호에 대응하는 제1 타입의 게인 조정 파라미터
Figure pat00604
를 생성하고,
Figure pat00605
에 따라 왼쪽 방향에서의 신호 및 왼쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터
Figure pat00606
을 생성하고,
Figure pat00607
에 따라 오른쪽 방향에서의 신호, 및 오른쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터
Figure pat00608
을 생성하도록 구성되어 있다.
여기서,
Figure pat00609
,
Figure pat00610
Figure pat00611
및
Figure pat00612
는 0보다 큰 상수이고,
Figure pat00613
,
Figure pat00614
,
Figure pat00615
,
Figure pat00616
,
Figure pat00617
, 및
Figure pat00618
이고,
Figure pat00619
,
Figure pat00620
Figure pat00621
및
Figure pat00622
는 0보다 큰 상수이고,
Figure pat00623
,
Figure pat00624
,
Figure pat00625
,
Figure pat00626
, 및
Figure pat00627
이다.
프로세서(501)는,
Figure pat00628
에 따라, 왼쪽 방향에서의 신호
Figure pat00629
, 오른쪽 방향에서의 신호
Figure pat00630
, 중앙 방향에서의 신호
Figure pat00631
, 왼쪽 후방 서라운드 신호
Figure pat00632
, 및 오른쪽 후방 서라운드 신호
Figure pat00633
을 획득하도록 추가로 구성되어 있다.
여기서,
Figure pat00634
는 왼쪽 방향에서의 신호의 초기값을 나타내고,
Figure pat00635
는 중앙 방향에서의 신호의 초기값을 나타내고,
Figure pat00636
는 오른쪽 방향에서의 신호의 초기값을 나타내고,
Figure pat00637
는 왼쪽 후방 서라운드 신호의 초기값을 나타내고,
Figure pat00638
는 오른쪽 후방 서라운드 신호의 초기값을 나타내고, n은 샘플링 포인트 번호를 나타낸다.
프로세서(501)는 하트 모양(heart-shaped)의 지향성(directivity)을 가지는 빔
Figure pat00639
,
Figure pat00640
,
Figure pat00641
, 및
Figure pat00642
을 획득하도록 구성되어 있으며,
Figure pat00643
의 최대 지향성은
Figure pat00644
내에 있으며,
Figure pat00645
의 최대 지향성은
Figure pat00646
내에 있으며,
Figure pat00647
의 최대 지향성은
Figure pat00648
내에 있으며,
Figure pat00649
의 최대 지향성은
Figure pat00650
내에 있다.
여기서, 왼쪽 방향에서의 신호의 초기값
Figure pat00651
=
Figure pat00652
, 중앙 방향에서의 신호의 초기값
Figure pat00653
, 중앙 방향에서의 신호의 초기값
Figure pat00654
=
Figure pat00655
, 왼쪽 후방 서라운드 신호의 초기값
Figure pat00656
=
Figure pat00657
, 및 오른쪽 후방 서라운드 신호의 초기값
Figure pat00658
=
Figure pat00659
이고,
Figure pat00660
는 왼쪽 방향에서의 신호의 초기값을 나타내고,
Figure pat00661
는 중앙 방향에서의 신호의 초기값을 나타내고,
Figure pat00662
는 오른쪽 방향에서의 신호의 초기값을 나타내고,
Figure pat00663
는 왼쪽 후방 서라운드 신호의 초기값을,
Figure pat00664
는 오른쪽 후방 서라운드 신호의 초기값을 나타내고, n은 샘플링 포인트 번호를 나타낸다.
나아가, 하트 모양의 지향성을 가지는 빔
Figure pat00665
,
Figure pat00666
,
Figure pat00667
, 및
Figure pat00668
을 획득하는 것은 다음을 포함한다.
제1 내지 제4 마이크로폰에 의해 수신된 사운드 신호를 이용하여 하트 모양의 지향성을 가지는 빔
Figure pat00669
을 획득하는 것; 및
Figure pat00670
에 따라 하트 모양의 지향성을 가지는 빔
Figure pat00671
,
Figure pat00672
,
Figure pat00673
, 및
Figure pat00674
을 획득하는 것.
여기서,
Figure pat00675
의 최대 지향성의 포인트는 제i 마이크로폰과 제j 마이크로폰 사이의 연결선으로부터 제i 마이크로폰을 가리키는 방향에 있으며,
Figure pat00676
의 지향성의 제로 포인트는 제i 마이크로폰과 제j 마이크로폰 사이의 연결선으로부터 제j 마이크로폰을 가리키는 방향에 있으며, i 및 j는 1, 2, 3, 또는 4이다.
프로세서(501)는, 구체적으로,
Figure pat00677
에 따라 왼쪽 방향에서의 신호
Figure pat00678
을 획득하고,
Figure pat00679
에 따라 중앙 방향에서의 신호
Figure pat00680
을 획득하고,
Figure pat00681
에 따라 오른쪽 방향에서의 신호
Figure pat00682
을 획득하고,
에 따라 왼쪽 후방 서라운드 신호
Figure pat00684
을 획득하고,
Figure pat00685
에 따라 오른쪽 후방 서라운드 신호
Figure pat00686
을 획득하도록 구성되어 있으며,
Figure pat00687
는 왼쪽 방향에서의 신호의 초기값을 나타내고,
Figure pat00688
는 중앙 방향에서의 신호의 초기값을 나타내고,
Figure pat00689
는 오른쪽 방향에서의 신호의 초기값을 나타내고,
Figure pat00690
는 왼쪽 후방 서라운드 신호의 초기값을 나타내고,
Figure pat00691
는 오른쪽 후방 서라운드 신호의 초기값을 나타내고, n은 샘플링 포인트 번호를 나타낸다.
본 발명의 이 실시예에서 제공된 사운드 신호 처리 방법에 따르면, 사운드 신호는 이동 단말기의 3차원 사운드 필드로부터 획득될 수 있다. 이동 단말기에 대한 모든 음원의 방향이 획득되고, 그 후 3차원 사운드 필드를 시뮬레이션하는데 이용되는 공간 오디오 신호가 이동 단말기에 대한 음원의 방향과 사운드 신호를 이용하여 획득된다. 본 발명에서 제공된 기술적 해결책에서, 3차원 사운드 필드를 시뮬레이션하는데 이용되는 사운드 신호는 이동 단말기의 구성 요소를 이용하여 수집되고 처리될 수 있다. 또한, 모든 방향에서 수신된 음원의, 이동 단말기에 대한, 방향은 분석의 방법에 의해 획득되고, 그 후 3차원 사운드 필드의 효과가 모든 방향에서 수신된 음원의, 이동 단말기에 대한, 방향에 따라 개선된다. 종래 기술의 기술적 해결책에서는, 3차원 사운드 필드는 오직 빔을 이용해서만 시뮬레이션되었다. 반면, 본 발명에서는, 모든 방향에서 수신된 음원의, 이동 단말기에 대한에 대한에 대한 나아가 게인 조정이 방향에 대한 정보를 이용하여 빔포밍에 실행된다. 따라서, 왼쪽과 오른쪽 방향 사이의 차이가 시뮬레이션된 3차원 사운드 필드 내의 전방과 후방 방향 사이의 차이보다 더 두드러지게 되는 현상을 완화할 수 있으며, 이에 따라 시뮬레이션되는 3차원 사운드 필드의 질이 향상된다.
이 명세서에서의 실시예는 실시예에서의 동일 또는 유사한 부분에 대해 점진적인 방법(progressive manner)으로 설명되어 있고, 이러한 실시예를 참조할 수 있다. 각 실시예는 다른 실시예로부터의 차이에 중점을 두었다. 특히, 장치 실시예는 기본적으로 방법 실시예와 유사하므로, 관련된 부분에 대해서는 간략하게 설명되었고, 방법 실시예에서의 부분적인 설명이 참조될 수 있다.
통상의 기술자는 실시예에서의 방법의 모든 또는 일부의 프로세스가 관련 하드웨어를 명령하는 컴퓨터 프로그램에 의해 구현될 수 있다는 것을 이해할 것이다. 프로그램은 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 프로그램이 실행될 때, 실시예에서의 방법의 프로세스가 실행된다. 전술한 저장 매체는, 마그네틱 디스크, 광 디스크, 리드-온리-메모리(read-only memory; ROM), 랜덤 액세스 메모리(random access memory; RAM), 또는 이와 유사한 것을 포함할 수 있다.
전술한 설명은 단지 본 발명의 특정 실시예이며, 본 발명의 보호 범위를 제한하고자 하는 의도는 아니다. 임의의 변형 또는 대체는 본 발명이 개시한 기술 분야 내의 통상의 기술자가 본 발명의 보호 범위 내에 속하게 된다는 것을 쉽게 알 수 있다. 따라서, 본 발명의 보호 범위는 청구 범위의 보호 범위의 대상이 될 것이다.

Claims (15)

  1. 사운드 신호 처리 방법에 있어서,
    이동 단말기(mobile terminal)가 3차원 사운드 필드(three-dimensional sound field)로부터 사운드 신호를 획득하는 단계;
    상기 획득된 사운드 신호에 따라, 상기 이동 단말기에 대한 음원의 방향을 획득하는 단계; 및
    상기 이동 단말기에 대한 음원의 방향과 상기 획득된 사운드 신호에 따라, 공간 오디오 신호(spatial audio signal)를 획득하는 단계
    를 포함하고,
    적어도 3개의 마이크로폰이 이동 단말기에 배치되어 있고, 하나의 마이크로폰이 적어도 한 방향에서의 사운드 신호를 수신하도록 구성되어 있고, 상기 공간 오디오 신호는 상기 3차원 사운드 필드를 시뮬레이션하는데 이용되는,
    사운드 신호 처리 방법.
  2. 제1항에 있어서,
    상기 이동 단말기에 대한 음원의 방향과 상기 획득된 사운드 신호에 따라 공간 오디오 신호를 획득하는 단계는,
    상기 이동 단말기의 마이크로폰에 의해 수신된 한 방향에서의 사운드 신호와 다른 방향에서의 사운드 신호 사이의 도착의 시간 차이를 획득하는 단계; 및
    상기 획득된 도착의 시간 차이와 상기 이동 단말기의 마이크로폰의 위치에 따라, 상기 이동 단말기에 대한 음원의 방향을 획득하는 단계
    를 포함하고,
    상기 이동 단말기의 마이크로폰은 적어도 4개 방향에서 사운드 신호를 수신하도록 구성되어 있는,
    사운드 신호 처리 방법.
  3. 제2항에 있어서,
    상기 이동 단말기의 마이크로폰에 의해 수신된 한 방향에서의 사운드 신호와 다른 방향에서의 사운드 신호 사이의 도착의 시간 차이를 획득하는 단계는,
    Figure pat00692
    에 따라, 제m 마이크로폰에 의해 수신된 사운드 신호와 제1 마이크로폰에 의해 수신된 사운드 신호 사이의 도착의 시간 차이
    Figure pat00693
    를 획득하는 단계
    를 포함하고,
    p는 다수의 지연 샘플링 포인트(quantity of delay quantity of delay sampling point)를 나타내고,
    Figure pat00694
    은 상기 제1 마이크로폰에 의해 수신된 사운드 신호를 나타내고,
    Figure pat00695
    은 상기 제m 마이크로폰에 의해 수신된 사운드 신호를 나타내고,
    Figure pat00696
    이며, 여기서,
    Figure pat00697
    는
    Figure pat00698
    과
    Figure pat00699
    사이의 상관 스펙트럼(correlated spectrum)을 나타내고,
    Figure pat00700
    는 모든 방향에서 수신되는 사운드 신호가 위치하는 주파수 도메인의 가중치 함수를 나타내는,
    사운드 신호 처리 방법.
  4. 제3항에 있어서,
    상기 획득된 도착의 시간 차이와 상기 이동 단말기의 마이크로폰의 위치에 따라, 상기 이동 단말기에 대한 음원의 방향을 획득하는 단계는,
    Figure pat00701
    에 따라 제2 마이크로폰에 의해 수신된 사운드 신호의 방향
    Figure pat00702
    을 추정하고,
    Figure pat00703
    에 따라 제3 마이크로폰에 의해 수신된 사운드 신호의 방향
    Figure pat00704
    을 추정하고,
    Figure pat00705
    에 따라 제4 마이크로폰에 의해 수신된 사운드 신호의 방향
    Figure pat00706
    을 추정하는 단계; 및
    Figure pat00707
    에 따라 상기 이동 단말기에 대한 음원의 방향
    Figure pat00708
    을 획득하는 단계
    를 포함하고,
    상기 제1 마이크로폰과 상기 제4 마이크로폰은 동일한 측(side)에 위치되어 있고, 상기 제1 마이크로폰과 상기 제2 마이크로폰은 동일한 측에 위치되어 있으며, c는 사운드 속도를 나타내고, d는 상기 제1 마이크로폰의 중앙점(central point)과 상기 제4 마이크로폰의 중앙점 사이의 거리를 나타내고, d는 상기 제2 마이크로폰의 중앙점과 상기 제3 마이크로폰의 중앙점 사이의 거리와 동일하고, h는 상기 제1 마이크로폰의 중앙점과 상기 제2 마이크로폰의 중앙점 사이의 거리를 나타내고, h는 상기 제3 마이크로폰의 중앙점과 상기 제4 마이크로폰의 중앙점 사이의 거리와 동일하고,
    Figure pat00709
    는 상기 제1 마이크로폰과 상기 제4 마이크로폰이 위치되어 있는 각도의 일측과 상기 이동 단말기의 대각선 사이의 끼인 각을 나타내는,
    사운드 신호 처리 방법.
  5. 제3항에 있어서,
    상기 획득된 도착의 시간 차이와 상기 이동 단말기의 마이크로폰의 위치에 따라, 상기 이동 단말기에 대한 음원의 방향을 획득하는 단계는,
    Figure pat00710
    에 따라, 상기 이동 단말기에 대한 음원의 방향
    Figure pat00711
    을 획득하는 단계
    를 포함하고,
    상기 제1 마이크로폰과 제2 마이크로폰은 상기 이동 단말기의 한 면의 대칭축에 위치되어 있으며, 상기 한 면에서의 2개의 평행한 모서리에 떨어져서 위치되어 있고, 제3 마이크로폰과 제4 마이크로폰은 상기 이동 단말기의 다른 면의 대칭축에 위치되어 있으며, 상기 다른 면에서의 2개의 평행한 모서리에 떨어져서 위치되어 있고, c는 사운드 속도를 나타내고,
    Figure pat00712
    은 상기 제1 마이크로폰에 대응하는 좌표를 나타내고,
    Figure pat00713
    은 상기 제2 마이크로폰에 대응하는 좌표를 나타내고,
    Figure pat00714
    은 상기 제2 마이크로폰에 대응하는 좌표를 나타내고,
    Figure pat00715
    은 상기 제4 마이크로폰에 대응하는 좌표를 나타내는,
    사운드 신호 처리 방법.
  6. 제1항에 있어서,
    상기 공간 오디오 신호는 적어도 왼쪽 방향에서의 신호, 오른쪽 방향에서의 신호, 중앙 방향에서의 신호, 왼쪽 후방(rear) 서라운드 신호(surround signal), 및 오른쪽 후방 서라운드 신호를 포함하고,
    상기 이동 단말기에 대한 음원의 방향과 상기 획득된 사운드 신호에 따라 공간 오디오 신호를 획득하는 단계는,
    상기 이동 단말기에 대한 음원의 방향을 이용하여 게인 조정 파라미터(gain adjusting parameters)를 생성하는 단계;
    상기 사운드 신호에 따라 상기 공간 오디오 신호에서의 모든 방향의 신호의 초기값을 획득하는 단계; 및
    상기 게인 조정 파라미터와 상기 공간 오디오 신호에서의 모든 방향의 신호의 초기값에 따라, 상기 왼쪽 방향에서의 신호, 상기 오른쪽 방향에서의 신호, 상기 중앙 방향에서의 신호, 상기 왼쪽 후방 서라운드 신호, 및 상기 오른쪽 후방 서라운드 신호를 생성하는 단계
    를 포함하고,
    상기 게인 조정 파라미터는, 상기 왼쪽 방향에서의 신호, 상기 오른쪽 방향에서의 신호, 및 상기 중앙 방향에서의 신호에 대응하는 제1 타입의 게인 조정 파라미터
    Figure pat00716
    , 상기 왼쪽 후방 서라운드 신호 및 상기 오른쪽 후방 서라운드 신호에 대응하는 제1 타입의 게인 조정 파라미터
    Figure pat00717
    , 상기 왼쪽 방향에서의 신호 및 상기 왼쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터
    Figure pat00718
    , 및 상기 오른쪽 방향에서의 신호 및 상기 오른쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터
    Figure pat00719
    을 포함하고, 또한, 상기 이동 단말기에 대한 음원의 방향에 대해,
    Figure pat00720
    일 때
    Figure pat00721
    ,
    Figure pat00722
    일 때
    Figure pat00723
    ,
    Figure pat00724
    일 때
    Figure pat00725
    ,
    Figure pat00726
    일 때
    Figure pat00727
    인,
    사운드 신호 처리 방법.
  7. 제6항에 있어서,
    상기 공간 오디오 신호는 2-채널 신호(two-channel signal)를 더 포함하고,
    상기 사운드 신호 처리 방법은, 상기 2-채널 신호를 생성하기 위해, 상기 왼쪽 방향에서의 신호, 상기 오른쪽 방향에서의 신호, 상기 중앙 방향에서의 신호, 상기 왼쪽 후방 서라운드 신호, 및 상기 오른쪽 후방 서라운드 신호를 다운믹스(downmix)하는 단계를 더 포함하는,
    사운드 신호 처리 방법.
  8. 제6항에 있어서,
    상기 이동 단말기에 대한 음원의 방향을 이용하여 게인 조정 파라미터를 생성하는 단계는,
    Figure pat00728
    에 따라 상기 왼쪽 방향에서의 신호, 상기 오른쪽 방향에서의 신호, 및 상기 중앙 방향에서의 신호에 대응하는 제1 타입의 게인 조정 파라미터
    Figure pat00729
    를 생성하는 단계;
    Figure pat00730
    에 따라 상기 왼쪽 후방 서라운드 신호 및 상기 오른쪽 후방 서라운드 신호에 대응하는 제1 타입의 게인 조정 파라미터
    Figure pat00731
    를 생성하는 단계;
    Figure pat00732
    에 따라 상기 왼쪽 방향에서의 신호 및 상기 왼쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터
    Figure pat00733
    을 생성하는 단계; 및
    Figure pat00734
    에 따라 상기 오른쪽 방향에서의 신호, 및 상기 오른쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터
    Figure pat00735
    을 생성하는 단계
    를 포함하고,
    Figure pat00736
    ,
    Figure pat00737
    Figure pat00738
    및
    Figure pat00739
    는 0보다 큰 상수이고,
    Figure pat00740
    ,
    Figure pat00741
    ,
    Figure pat00742
    ,
    Figure pat00743
    ,
    Figure pat00744
    , 및
    Figure pat00745
    이고,
    Figure pat00746
    ,
    Figure pat00747
    Figure pat00748
    및
    Figure pat00749
    는 0보다 큰 상수이고,
    Figure pat00750
    ,
    Figure pat00751
    ,
    Figure pat00752
    ,
    Figure pat00753
    , 및
    Figure pat00754
    인,
    사운드 신호 처리 방법.
  9. 제8항에 있어서,
    상기 게인 조정 파라미터와 상기 공간 오디오 신호에서의 모든 방향의 신호의 초기값에 따라 상기 공간 오디오 신호에서의 모든 방향의 신호를 생성하는 단계는,
    Figure pat00755
    에 따라, 상기 왼쪽 방향에서의 신호
    Figure pat00756
    , 상기 오른쪽 방향에서의 신호
    Figure pat00757
    , 상기 중앙 방향에서의 신호
    Figure pat00758
    , 상기 왼쪽 후방 서라운드 신호
    Figure pat00759
    , 및 상기 오른쪽 후방 서라운드 신호
    Figure pat00760
    을 획득하는 단계
    를 포함하고,
    Figure pat00761
    는 상기 왼쪽 방향에서의 신호의 초기값을 나타내고,
    Figure pat00762
    는 상기 중앙 방향에서의 신호의 초기값을 나타내고,
    Figure pat00763
    는 상기 오른쪽 방향에서의 신호의 초기값을 나타내고,
    Figure pat00764
    는 상기 왼쪽 후방 서라운드 신호의 초기값을 나타내고,
    Figure pat00765
    는 상기 오른쪽 후방 서라운드 신호의 초기값을 나타내고, n은 샘플링 포인트 번호(sampling point number)를 나타내는,
    사운드 신호 처리 방법.
  10. 제8항에 있어서,
    상기 사운드 신호에 따라 상기 공간 오디오 신호에서의 모든 방향의 신호의 초기값을 획득하는 단계는,
    하트 모양(heart-shaped)의 지향성(directivity)을 가지는 빔
    Figure pat00766
    ,
    Figure pat00767
    ,
    Figure pat00768
    , 및
    Figure pat00769
    을 획득하는 단계
    를 포함하고,
    Figure pat00770
    의 최대 지향성은
    Figure pat00771
    내에 있으며,
    Figure pat00772
    의 최대 지향성은
    Figure pat00773
    내에 있으며,
    Figure pat00774
    의 최대 지향성은
    Figure pat00775
    내에 있으며,
    Figure pat00776
    의 최대 지향성은
    Figure pat00777
    내에 있고,
    상기 왼쪽 방향에서의 신호의 초기값
    Figure pat00778
    =
    Figure pat00779
    , 상기 중앙 방향에서의 신호의 초기값
    Figure pat00780
    , 상기 중앙 방향에서의 신호의 초기값
    Figure pat00781
    =
    Figure pat00782
    , 상기 왼쪽 후방 서라운드 신호의 초기값
    Figure pat00783
    =
    Figure pat00784
    , 및 상기 오른쪽 후방 서라운드 신호의 초기값
    Figure pat00785
    =
    Figure pat00786
    이고,
    Figure pat00787
    는 상기 왼쪽 방향에서의 신호의 초기값을 나타내고,
    Figure pat00788
    는 상기 중앙 방향에서의 신호의 초기값을 나타내고,
    Figure pat00789
    는 상기 오른쪽 방향에서의 신호의 초기값을 나타내고,
    Figure pat00790
    는 상기 왼쪽 후방 서라운드 신호의 초기값을,
    Figure pat00791
    는 상기 오른쪽 후방 서라운드 신호의 초기값을 나타내고, n은 샘플링 포인트 번호(sampling point number)를 나타내는,
    사운드 신호 처리 방법.
  11. 제10항에 있어서,
    상기 하트 모양의 지향성을 가지는 빔
    Figure pat00792
    ,
    Figure pat00793
    ,
    Figure pat00794
    , 및
    Figure pat00795
    을 획득하는 단계는,
    상기 제1 내지 제4 마이크로폰에 의해 수신된 사운드 신호를 이용하여 하트 모양의 지향성을 가지는 빔
    Figure pat00796
    을 획득하는 단계; 및
    Figure pat00797
    에 따라 하트 모양의 지향성을 가지는 상기 빔
    Figure pat00798
    ,
    Figure pat00799
    ,
    Figure pat00800
    , 및
    Figure pat00801
    을 획득하는 단계
    를 포함하고,
    Figure pat00802
    의 최대 지향성의 포인트는 제i 마이크로폰과 제j 마이크로폰 사이의 연결선으로부터 상기 제i 마이크로폰을 가리키는 방향에 있으며,
    Figure pat00803
    의 지향성의 제로 포인트는 상기 제i 마이크로폰과 상기 제j 마이크로폰 사이의 연결선으로부터 상기 제j 마이크로폰을 가리키는 방향에 있으며, i 및 j는 1, 2, 3, 또는 4인,
    사운드 신호 처리 방법.
  12. 제8항에 있어서,
    상기 게인 조정 파라미터와 상기 공간 오디오 신호에서의 모든 방향의 신호의 초기값에 따른 상기 공간 오디오 신호에서의 모든 방향의 신호를 생성하는 단계는,
    Figure pat00804
    에 따라 상기 왼쪽 방향에서의 신호
    Figure pat00805
    을 획득하는 단계;
    Figure pat00806
    에 따라 상기 중앙 방향에서의 신호
    Figure pat00807
    을 획득하는 단계;
    Figure pat00808
    에 따라 상기 오른쪽 방향에서의 신호
    Figure pat00809
    을 획득하는 단계;
    Figure pat00810
    에 따라 상기 왼쪽 후방 서라운드 신호
    Figure pat00811
    을 획득하는 단계; 및
    Figure pat00812
    에 따라 상기 오른쪽 후방 서라운드 신호
    Figure pat00813
    을 획득하는 단계
    를 포함하고,
    Figure pat00814
    는 상기 왼쪽 방향에서의 신호의 초기값을 나타내고,
    Figure pat00815
    는 상기 중앙 방향에서의 신호의 초기값을 나타내고,
    Figure pat00816
    는 상기 오른쪽 방향에서의 신호의 초기값을 나타내고,
    Figure pat00817
    는 상기 왼쪽 후방 서라운드 신호의 초기값을 나타내고,
    Figure pat00818
    는 상기 오른쪽 후방 서라운드 신호의 초기값을 나타내고, n은 샘플링 포인트 번호(sampling point number)를 나타내는,
    사운드 신호 처리 방법.
  13. 사운드 신호 처리 장치에 있어서,
    3차원 사운드 필드(three-dimensional sound field)로부터 사운드 신호를 획득하도록 구성되어 있는 제1 획득 모듈;
    상기 획득된 사운드 신호에 따라, 상기 이동 단말기에 대한 음원의 방향을 획득하도록 구성되어 있는 제2 획득 모듈; 및
    상기 이동 단말기에 대한 음원의 방향과 상기 획득된 사운드 신호에 따라 공간 오디오 신호(spatial audio signal)를 획득하도록 구성되어 있는 제1 처리 모듈
    을 포함하고,
    적어도 3개의 마이크로폰이 이동 단말기에 배치되어 있고, 하나의 마이크로폰이 적어도 한 방향에서 사운드 신호를 수신하도록 구성되어 있고, 상기 공간 오디오 신호는 상기 3차원 사운드 필드를 시뮬레이션하는데 이용되는,
    사운드 신호 처리 장치.
  14. 제13항에 있어서,
    상기 제2 획득 모듈은,
    상기 이동 단말기의 마이크로폰에 의해 수신된 하나의 방향에서의 사운드 신호와 다른 방향에서의 사운드 신호 사이의 도착의 시간 차이를 획득하도록 구성되어 있는 제1 획득 유닛; 및
    상기 획득된 도착의 시간 차이와 상기 이동 단말기의 마이크로폰의 위치에 따라, 상기 이동 단말기에 대한 음원의 방향을 획득하도록 구성되어 있는 제2 획득 유닛
    을 포함하고,
    상기 이동 단말기의 마이크로폰은 적어도 4개 방향에서 사운드 신호를 수신하도록 구성되어 있는,
    사운드 신호 처리 장치.
  15. 제14항에 있어서,
    상기 제1 획득 유닛은,
    Figure pat00819
    에 따라, 제m 마이크로폰에 의해 수신된 사운드 신호와 제1 마이크로폰에 의해 수신된 사운드 신호 사이의 도착의 시간 차이
    Figure pat00820
    를 획득하도록 구성되어 있는 제1 획득 서브 유닛을 포함하고,
    p는 다수의 지연 샘플링 포인트(quantity of delay sampling point)를 나타내고,
    Figure pat00821
    은 상기 제1 마이크로폰에 의해 수신된 사운드 신호를 나타내고,
    Figure pat00822
    은 상기 제m 마이크로폰에 의해 수신된 사운드 신호를 나타내고,
    Figure pat00823
    에서,
    Figure pat00824
    는
    Figure pat00825
    과
    Figure pat00826
    사이의 상관 스펙트럼(correlated spectrum)을 나타내고,
    Figure pat00827
    는 모든 방향에서 수신되는 사운드 신호가 위치하는 주파수 도메인의 가중치 함수를 나타내는,
    사운드 신호 처리 장치.
KR1020150075144A 2014-08-29 2015-05-28 사운드 신호 처리 방법 및 장치 KR101724514B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201410439142.8 2014-08-29
CN201410439142.8A CN105451151B (zh) 2014-08-29 2014-08-29 一种处理声音信号的方法及装置

Publications (2)

Publication Number Publication Date
KR20160026652A true KR20160026652A (ko) 2016-03-09
KR101724514B1 KR101724514B1 (ko) 2017-04-07

Family

ID=53434189

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150075144A KR101724514B1 (ko) 2014-08-29 2015-05-28 사운드 신호 처리 방법 및 장치

Country Status (5)

Country Link
US (1) US9439019B2 (ko)
EP (1) EP2991382B1 (ko)
JP (1) JP2016052117A (ko)
KR (1) KR101724514B1 (ko)
CN (1) CN105451151B (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170236547A1 (en) * 2015-03-04 2017-08-17 Sowhat Studio Di Michele Baggio Portable recorder
US9583113B2 (en) * 2015-03-31 2017-02-28 Lenovo (Singapore) Pte. Ltd. Audio compression using vector field normalization
BR112017002758B1 (pt) * 2015-06-17 2022-12-20 Sony Corporation Dispositivo e método de transmissão, e, dispositivo e método de recepção
TWI577194B (zh) * 2015-10-22 2017-04-01 山衛科技股份有限公司 環境音源辨識系統及其環境音源辨識之方法
CN105407443B (zh) * 2015-10-29 2018-02-13 小米科技有限责任公司 录音方法及装置
US11722821B2 (en) * 2016-02-19 2023-08-08 Dolby Laboratories Licensing Corporation Sound capture for mobile devices
CN105548955A (zh) * 2016-03-04 2016-05-04 上海易景信息科技有限公司 一种快速室内声源定向装置及方法
US10477304B2 (en) 2016-06-15 2019-11-12 Mh Acoustics, Llc Spatial encoding directional microphone array
WO2017218399A1 (en) * 2016-06-15 2017-12-21 Mh Acoustics, Llc Spatial encoding directional microphone array
US10451719B2 (en) * 2016-06-22 2019-10-22 Loose Cannon Systems, Inc. System and method to indicate relative location of nodes in a group
US10880638B2 (en) * 2016-07-05 2020-12-29 Sony Corporation Sound field forming apparatus and method
CN106448693B (zh) * 2016-09-05 2019-11-29 华为技术有限公司 一种语音信号处理方法及装置
US10034083B2 (en) * 2016-09-21 2018-07-24 International Business Machines Corporation Crowdsourcing sound captures to determine sound origins and to predict events
JP6173649B1 (ja) * 2016-11-22 2017-08-02 三菱電機株式会社 劣化個所推定装置、劣化個所推定システム及び劣化個所推定方法
CN106782584B (zh) * 2016-12-28 2023-11-07 北京地平线信息技术有限公司 音频信号处理设备、方法和电子设备
US10334360B2 (en) * 2017-06-12 2019-06-25 Revolabs, Inc Method for accurately calculating the direction of arrival of sound at a microphone array
CN109218920B (zh) * 2017-06-30 2020-09-18 华为技术有限公司 一种信号处理方法、装置及终端
US10656268B2 (en) * 2017-07-27 2020-05-19 On Semiconductor Connectivity Solutions, Inc. Acoustic spatial diagnostics for smart home management
US9866308B1 (en) * 2017-07-27 2018-01-09 Quantenna Communications, Inc. Composite WiFi and acoustic spatial diagnostics for smart home management
US10310082B2 (en) * 2017-07-27 2019-06-04 Quantenna Communications, Inc. Acoustic spatial diagnostics for smart home management
CN108269582B (zh) * 2018-01-24 2021-06-01 厦门美图之家科技有限公司 一种基于双麦克风阵列的定向拾音方法及计算设备
GB2572368A (en) 2018-03-27 2019-10-02 Nokia Technologies Oy Spatial audio capture
CN108769874B (zh) * 2018-06-13 2020-10-20 广州国音科技有限公司 一种实时分离音频的方法和装置
CN111383655B (zh) * 2018-12-29 2023-08-04 嘉楠明芯(北京)科技有限公司 一种波束形成方法、装置及计算机可读存储介质
CN109769181B (zh) * 2019-01-28 2020-08-25 努比亚技术有限公司 一种扬声器出音孔、终端及扬声器出音孔控制方法
CN110103867A (zh) * 2019-05-09 2019-08-09 贵安新区新特电动汽车工业有限公司 声音强度调整方法及装置
CN110225445A (zh) * 2019-05-22 2019-09-10 上海德衡数据科技有限公司 一种处理声音信号实现三维声场听觉效果的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007235334A (ja) * 2006-02-28 2007-09-13 Victor Co Of Japan Ltd オーディオ装置及び指向音生成方法
US20080037796A1 (en) * 2006-08-08 2008-02-14 Creative Technology Ltd 3d audio renderer
US20130272097A1 (en) * 2012-04-13 2013-10-17 Qualcomm Incorporated Systems, methods, and apparatus for estimating direction of arrival
US20130317830A1 (en) * 2012-05-24 2013-11-28 Qualcomm Incorporated Three-dimensional sound compression and over-the-air transmission during a call
JP2014501064A (ja) * 2010-10-25 2014-01-16 クゥアルコム・インコーポレイテッド マルチマイクロフォンを用いた３次元サウンド獲得及び再生

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPO099696A0 (en) * 1996-07-12 1996-08-08 Lake Dsp Pty Limited Methods and apparatus for processing spatialised audio
TWM273904U (en) 2004-08-19 2005-08-21 Inventec Appliances Corp Mobile phone with stereo recording functions
JP4379505B2 (ja) * 2007-08-23 2009-12-09 株式会社カシオ日立モバイルコミュニケーションズ 携帯端末装置
JP5397131B2 (ja) * 2009-09-29 2014-01-22 沖電気工業株式会社 音源方向推定装置及びプログラム
WO2013186593A1 (en) * 2012-06-14 2013-12-19 Nokia Corporation Audio capture apparatus
CN102707262A (zh) * 2012-06-20 2012-10-03 太仓博天网络科技有限公司 一种基于麦克风阵列的声源定位系统
CN202818484U (zh) 2012-08-21 2013-03-20 徐丙川 会议通信装置和系统
CN103634561A (zh) 2012-08-21 2014-03-12 徐丙川 会议通信装置和系统
WO2014090277A1 (en) * 2012-12-10 2014-06-19 Nokia Corporation Spatial audio apparatus
CN103064061B (zh) * 2013-01-05 2014-06-11 河北工业大学 三维空间声源定位方法
CN103778657B (zh) * 2014-02-28 2017-01-25 中山大学 一种基于空间剖分的声线束追踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007235334A (ja) * 2006-02-28 2007-09-13 Victor Co Of Japan Ltd オーディオ装置及び指向音生成方法
US20080037796A1 (en) * 2006-08-08 2008-02-14 Creative Technology Ltd 3d audio renderer
JP2014501064A (ja) * 2010-10-25 2014-01-16 クゥアルコム・インコーポレイテッド マルチマイクロフォンを用いた３次元サウンド獲得及び再生
US20130272097A1 (en) * 2012-04-13 2013-10-17 Qualcomm Incorporated Systems, methods, and apparatus for estimating direction of arrival
US20130317830A1 (en) * 2012-05-24 2013-11-28 Qualcomm Incorporated Three-dimensional sound compression and over-the-air transmission during a call

Also Published As

Publication number Publication date
US9439019B2 (en) 2016-09-06
EP2991382A1 (en) 2016-03-02
JP2016052117A (ja) 2016-04-11
CN105451151B (zh) 2018-09-21
CN105451151A (zh) 2016-03-30
US20160066117A1 (en) 2016-03-03
KR101724514B1 (ko) 2017-04-07
EP2991382B1 (en) 2017-04-19

Similar Documents

Publication Publication Date Title
KR101724514B1 (ko) 사운드 신호 처리 방법 및 장치
US10397722B2 (en) Distributed audio capture and mixing
US9641929B2 (en) Audio signal processing method and apparatus and differential beamforming method and apparatus
JP5814476B2 (ja) 空間パワー密度に基づくマイクロフォン位置決め装置および方法
KR101415026B1 (ko) 마이크로폰 어레이를 이용한 다채널 사운드 획득 방법 및장치
RU2663343C2 (ru) Система, устройство и способ для совместимого воспроизведения акустической сцены на основе адаптивных функций
EP2647222B1 (en) Sound acquisition via the extraction of geometrical information from direction of arrival estimates
US9838646B2 (en) Attenuation of loudspeaker in microphone array
US20120288114A1 (en) Audio camera using microphone arrays for real time capture of audio images and method for jointly processing the audio images with video images
CN109804559A (zh) 空间音频系统中的增益控制
Oreinos et al. Objective analysis of ambisonics for hearing aid applications: Effect of listener's head, room reverberation, and directional microphones
Ziegelwanger et al. Modeling the direction-continuous time-of-arrival in head-related transfer functions
EP3409025A1 (en) System and apparatus for tracking moving audio sources
KR102008745B1 (ko) 이동 디바이스들을 위한 서라운드 사운드 레코딩
EP3643079A1 (en) Determination of targeted spatial audio parameters and associated spatial audio playback
KR101678305B1 (ko) 텔레프레즌스를 위한 하이브리드형 3d 마이크로폰 어레이 시스템 및 동작 방법
JP2018170617A (ja) 収音装置、プログラム及び方法
JP2018074437A (ja) 信号処理装置、信号処理システム、信号処理方法およびプログラム
CN116709110A (zh) 麦克风阵列、声速估计方法、拾音方法及相关装置、设备
Cha et al. Development of an integrated smart sensor system for sound synthesis and reproduction in telepresence

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant