KR20170009650A - 오디오 신호 처리 방법 및 장치 - Google Patents

오디오 신호 처리 방법 및 장치 Download PDF

Info

Publication number
KR20170009650A
KR20170009650A KR1020150101988A KR20150101988A KR20170009650A KR 20170009650 A KR20170009650 A KR 20170009650A KR 1020150101988 A KR1020150101988 A KR 1020150101988A KR 20150101988 A KR20150101988 A KR 20150101988A KR 20170009650 A KR20170009650 A KR 20170009650A
Authority
KR
South Korea
Prior art keywords
synchronization
audio signal
error
signal
audio
Prior art date
Application number
KR1020150101988A
Other languages
English (en)
Other versions
KR102393798B1 (ko
Inventor
천병근
김한기
박해광
송영석
오은미
임동현
조재연
손준호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150101988A priority Critical patent/KR102393798B1/ko
Priority to US15/212,831 priority patent/US9942684B2/en
Publication of KR20170009650A publication Critical patent/KR20170009650A/ko
Application granted granted Critical
Publication of KR102393798B1 publication Critical patent/KR102393798B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10009—Improvement or modification of read or write signals
    • G11B20/10222—Improvement or modification of read or write signals clock-related aspects, e.g. phase or frequency adjustment or bit synchronisation
    • G11B20/10231—Improvement or modification of read or write signals clock-related aspects, e.g. phase or frequency adjustment or bit synchronisation wherein an asynchronous, free-running clock is used; Interpolation of sampled signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/007—Monitoring arrangements; Testing arrangements for public address systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
    • H04R2205/024—Positioning of loudspeaker enclosures for spatial sound reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/003—Digital PA systems using, e.g. LAN or internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/005—Audio distribution systems for home, i.e. multi-room use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Stereophonic System (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Television Receiver Circuits (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

오디오 신호를 처리하는 방법 및 장치가 제공된다. 오디오 신호를 처리하는 방법은, 제1 오디오 신호를 출력하는 단계; 상기 제1 오디오 신호 및 다른 오디오 신호 처리 장치에서 출력되는 제2 오디오 신호를 입력 받는 단계; 상기 제1 오디오 신호와 상기 제2 오디오 신호로부터 각각 제1 동기화 신호 및 제2 동기화 신호를 감지하는 단계; 상기 제1 동기화 신호와 상기 제2 동기화 신호의 입력 시간 차이를 계산하여 제1 동기 오차를 검출하는 단계; 및 상기 제1 동기 오차를 기반으로 동기화를 수행하는 단계를 포함한다.

Description

오디오 신호 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING AUDIO SIGNAL}
본 발명은 오디오 신호 처리 방법 및 장치에 관한 것이다.
멀티미디어 기술 및 데이터 프로세싱 기술이 발전함에 따라, 멀티미디어 장치는 오디오 파일을 실시간으로 다운로드하며 재생할 수 있게 되었다. 나아가, 여러 개의 멀티미디어 장치, 즉, 오디오 시스템(스피커), TV, Mobile 기기 등을 네트워크로 연결하여 오디오 신호 주고 받을 수 있게 되었으나, 멀티미디어 장치가 시간적으로 서로 동기화 되지 않아 서로 다른 재생 타이밍 또는 재생길이 등의 문제가 발생하고 있다.
이에 따라 네트워크 간 동기화를 가능케 하는 IEEE 1588 표준 시간 전송 프로토콜인 Precision Time Protocol(PTP) 제정되고, 실시간 멀티미디어 데이터의 전송을 지원하는 RTP(Real Time Protocol)와 같이 다수의 멀티미디어 장치간 오디오 출력을 동기화 하기 위한 연구가 진행되고 있다.
하지만, 실제 미디어 장치에서의 오디오 프로세싱을 위한 스케쥴링, 멀티미디어 장치 간 RTP의 구현방식 차이 등에 의해 오디오 출력의 동기화 문제를 해결하는데 어려움이 있어 이를 해결하기 위한 기술이 요구되고 있다.
나아가, 네트워크 연결에 의해 멀티미디어 장치 간 최적의 음향 조합을 실현함에 있어, 여러기기의 그룹모드 재생, 멀티룸 재생 또는 멀티채널 재생 등의 사용 목적에 적합하도록, 동기화를 기반으로 각 기기의 역할에 맞는 음향 신호의 재생 기술 및 각 주변 환경을 고려한 적절한 오디오 신호 처리 기술이 요구된다.
본 발명의 일 실시예는 멀티미디어 장치 간 오디오 출력을 동기화 시키고 주변 환경을 고려한 적절한 오디오 신호 처리를 통해 최적의 음질을 제공할 수 있다.
본 발명의 일 실시예에 따른 오디오 신호 처리 방법은, 제1 오디오 신호를 출력하는 단계; 상기 제1 오디오 신호 및 다른 오디오 신호 처리 장치에서 출력되는 제2 오디오 신호를 입력 받는 단계; 상기 제1 오디오 신호와 상기 제2 오디오 신호로부터 각각 제1 동기화 신호 및 제2 동기화 신호를 감지하는 단계; 상기 제1 동기화 신호와 상기 제2 동기화 신호의 입력 시간 차이를 계산하여 제1 동기 오차를 검출하는 단계; 및 상기 제1 동기 오차를 기반으로 동기화를 수행하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 오디오 신호 처리 방법은, 상기 다른 오디오 신호 처리 장치에서 상기 제1 동기화 신호와 상기 제2 동기화 신호의 입력 시간 차이를 계산하여 검출한 제2 동기 오차를 상기 다른 오디오 신호 처리 장치로부터 수신하는 단계를 더 포함하고, 상기 제1 동기 오차를 기반으로 동기화를 수행하는 단계는, 상기 제1 동기 오차와 상기 제2 동기 오차를 기반으로 시스템 지연 오차를 계산하는 단계; 상기 시스템 지연 오차에 기반하여 동기화를 수행하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 제1 동기 오차와 상기 제2 동기 오차를 기반으로 시스템 지연 오차를 계산하는 단계는, 상기 제1 동기 오차와 상기 제2 동기 오차의 차이값을 계산하는 단계; 및 상기 차이값의 반값(half value)을 시스템 지연 오차로 계산하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 오디오 신호 처리 방법은, 또다른 오디오 신호 처리 장치에서 출력되는 제3 오디오 신호를 입력 받는 단계; 상기 제3 오디오 신호로부터 제3 동기화 신호를 감지하는 단계; 상기 제1 동기화 신호와 상기 제3 동기화 신호의 입력 시간 차이를 계산하여 제3 동기 오차를 검출하는 단계; 및 상기 제3 동기 오차를 상기 또다른 오디오 신호 처리 장치로 전송하는 단계를 더 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 또다른 오디오 신호 처리 장치는 상기 제3 동기 오차를 기반으로 동기화를 수행할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 제1 동기화 신호와 상기 제2 동기화 신호는, 오디오 신호 중 L 신호와 R 신호가 설정된 기준값 이상으로 동일한 영역을 이용할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 제1 동기화 신호와 상기 제2 동기화 신호는, 설정된 시점에 오디오 신호에 삽입되는 가청 또는 비가청 신호일 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 제1 동기화 신호와 상기 제2 동기화 신호는, 설정된 시점에 오디오 신호에 삽입되는 워터마크일 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 제1 동기 오차를 기반으로 동기화를 수행하는 단계는, 제1 동기 오차를 모니터링 하는 단계; 및 상기 제1 동기 오차가 설정된 값 이상인 경우, 점진적으로 동기화를 수행하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 제1 동기 오차가 설정된 값 이상인 경우, 점진적으로 동기화를 수행하는 단계는, 음량이 낮은 구간일수록 빠르게 동기화를 수행하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 제1 동기 오차를 기반으로 동기화를 수행하는 단계는, 오디오 클록 속도(audio clock rate)를 조절하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 제1 동기 오차를 기반으로 동기화를 수행하는 단계는, 인터폴래이션(interpolation) 또는 데시매이션(decimation)을 통해 오디오 샘플링 레이트(audio sampling rate)를 조절하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 오디오 신호 처리 방법은, 상기 시스템 지연 오차와 상기 제1 동기 오차 또는 상기 시스템 지연 오차와 상기 제2 동기 오차를 이용하여 상기 다른 오디오 신호 처리 장치와의 거리에 따른 거리 지연 오차를 계산하는 단계 및 상기 거리 지연 오차를 기반으로 상기 다른 오디오 신호 처리 장치의 위치 정보를 획득하는 단계를 더 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 위치 정보는 상기 다른 오디오 신호 처리 장치와의 거리 및 각도 중 적어도 하나를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 오디오 신호 처리 방법은, 상기 다른 오디오 신호 처리 장치와의 위치 정보 따라 레이아웃을 확인하는 단계; 및 상기 레이아웃에 따라 음향 제공 방법을 설정하는 단계를 더 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 레이아웃에 따라 음향 제공 방법을 설정하는 단계는, 채널 배정 및 음향 성분 중 적어도 하나 이상을 설정하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 다른 오디오 신호 처리 장치와의 위치 정보 따라 레이아웃을 확인하는 단계는, 청취자의 위치 및 상기 다른 오디오 신호 처리 장치와의 거리에 따라 상기 청취자와 상기 다른 오디오 신호 처리 장치 사이의 영역인 근거리 영역, 상기 청취자와 동일한 거리를 갖는 청취 영역 및 상기 청취자의 위치보다 먼 원거리 영역을 구별하는 단계; 및 상기 근거리 영역, 상기 청취 영역 및 상기 원거리 영역 중 어떤 영역에 위치하는지 여부를 확인하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 레이아웃에 따라 음향 제공 방법을 설정하는 단계는, 상기 근거리 영역에 위치하는 경우, 저역 신호 강조하도록 설정하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 레이아웃에 따라 음향 제공 방법을 설정하는 단계는, 상기 청취 영역에 위치하는 경우, 오디오의 크기를 줄이고 해상력을 높이도록 설정하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 다른 오디오 신호 처리 장치와의 위치 정보 따라 레이아웃을 확인하는 단계는, 청취자의 위치를 기준으로 상기 다른 오디오 신호 처리 장치의 좌측 영역, 우측 영역 및 중앙 영역을 구별하는 단계; 및 상기 좌측 영역, 상기 우측 영역 및 상기 중앙 영역 중 어떤 영역에 위치하는지 여부를 확인하는 단계를 더 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 레이아웃에 따라 음향 제공 방법을 설정하는 단계는, 상기 근거리 영역에 위치하는 경우, 상기 좌측 영역, 상기 우측 영역 및 상기 중앙 영역 중 어떤 영역에 위치하는지에 따라 Front L 신호, Front R 신호 또는 Center 신호를 출력하도록 설정하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 레이아웃에 따라 음향 제공 방법을 설정하는 단계는, 상기 청취 영역 또는 상기 원거리 영역에 위치하는 경우, 상기 좌측 영역, 상기 우측 영역 및 상기 중앙 영역 중 어떤 영역에 위치하는지에 따라 surround L 신호, surround R 신호 또는 Center 신호를 출력하도록 설정할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 다른 오디오 신호 처리 장치는 동영상을 함께 재생하는 장치일 수 있다.
본 발명의 일 실시예에 따른 오디오 신호 처리 장치는, 제1 오디오 신호를 출력하는 스피커부; 상기 제1 오디오 신호 및 다른 오디오 신호 처리 장치에서 출력되는 제2 오디오 신호를 입력 받는 마이크부; 상기 제1 오디오 신호와 상기 제2 오디오 신호로부터 각각 제1 동기화 신호 및 제2 동기화 신호를 감지하고, 상기 제1 동기화 신호와 상기 제2 동기화 신호의 입력 시간 차이를 계산하여 제1 동기 오차를 검출하며, 상기 제1 동기 오차를 기반으로 동기화를 수행하는 제어부를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 오디오 신호 처리 장치는, 상기 다른 오디오 신호 처리 장치에서 상기 제1 동기화 신호와 상기 제2 동기화 신호의 입력 시간 차이를 계산하여 검출한 제2 동기 오차를 상기 다른 오디오 신호 처리 장치로부터 수신하는 통신부를 더 포함하고, 상기 제어부는, 상기 제1 동기 오차를 기반으로 동기화를 수행 시, 상기 제1 동기 오차와 상기 제2 동기 오차를 기반으로 시스템 지연 오차를 계산하고, 상기 시스템 지연 오차에 기반하여 동기화를 수행할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 제어부는, 상기 제1 동기 오차와 상기 제2 동기 오차를 기반으로 시스템 지연 오차를 계산 시, 상기 제1 동기 오차와 상기 제2 동기 오차의 차이값을 계산하고, 상기 차이값의 반값(half value)을 시스템 지연 오차로 계산할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 마이크부는, 또다른 오디오 신호 처리 장치에서 출력되는 제3 오디오 신호를 입력 받고, 상기 제어부는, 상기 제3 오디오 신호로부터 제3 동기화 신호를 감지하고, 상기 제1 동기화 신호와 상기 제3 동기화 신호의 입력 시간 차이를 계산하여 제3 동기 오차를 검출하며, 상기 통신부는, 상기 제3 동기 오차를 상기 또다른 오디오 신호 처리 장치로 전송할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 또다른 오디오 신호 처리 장치는 상기 제3 동기 오차를 기반으로 동기화를 수행할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 제1 동기화 신호와 상기 제2 동기화 신호는, 오디오 신호 중 L 신호와 R 신호가 설정된 기준값 이상으로 동일한 영역을 이용할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 제1 동기화 신호와 상기 제2 동기화 신호는, 설정된 시점에 오디오 신호에 삽입되는 가청 또는 비가청 신호일 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 제1 동기화 신호와 상기 제2 동기화 신호는, 설정된 시점에 오디오 신호에 삽입되는 워터마크일 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 제어부는, 상기 제1 동기 오차를 기반으로 동기화를 수행 시, 제1 동기 오차를 모니터링 하고, 상기 제1 동기 오차가 설정된 값 이상인 경우 점진적으로 동기화를 수행할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 제어부는, 상기 제1 동기 오차가 설정된 값 이상인 경우 점진적으로 동기화를 수행 시, 음량이 낮은 구간일수록 빠르게 동기화를 수행할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 제어부는, 상기 제1 동기 오차를 기반으로 동기화를 수행 시, 오디오 클록 속도(audio clock rate)를 조절할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 제어부는, 상기 제1 동기 오차를 기반으로 동기화를 수행 시, 인터폴래이션(interpolation) 또는 데시매이션(decimation)을 통해 오디오 샘플링 레이트(audio sampling rate)를 조절할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 제어부는, 상기 시스템 지연 오차와 상기 제1 동기 오차 또는 상기 시스템 지연 오차와 상기 제2 동기 오차를 이용하여 상기 다른 오디오 신호 처리 장치와의 거리에 따른 거리 지연 오차를 계산하고, 상기 거리 지연 오차를 기반으로 상기 다른 오디오 신호 처리 장치의 위치 정보를 획득할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 위치 정보는 상기 다른 오디오 신호 처리 장치와의 거리 및 각도 중 적어도 하나를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 제어부는, 상기 다른 오디오 신호 처리 장치와의 위치 정보 따라 레이아웃을 확인하고, 상기 레이아웃에 따라 음향 제공 방법을 설정할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 제어부는, 상기 레이아웃에 따라 음향 제공 방법을 설정시, 채널 배정 및 음향 성분 중 적어도 하나 이상을 설정할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 제어부는, 상기 다른 오디오 신호 처리 장치와의 위치 정보 따라 레이아웃을 확인 시, 청취자의 위치 및 상기 다른 오디오 신호 처리 장치와의 거리에 따라 상기 청취자와 상기 다른 오디오 신호 처리 장치 사이의 영역인 근거리 영역, 상기 청취자와 동일한 거리를 갖는 청취 영역 및 상기 청취자의 위치보다 먼 원거리 영역을 구별하고, 상기 근거리 영역, 상기 청취 영역 및 상기 원거리 영역 중 어떤 영역에 위치하는지 여부를 확인할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 제어부는, 상기 레이아웃에 따라 음향 제공 방법을 설정 시, 상기 근거리 영역에 위치하는 경우, 저역 신호 강조하도록 설정할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 제어부는, 상기 레이아웃에 따라 음향 제공 방법을 설정 시, 상기 청취 영역에 위치하는 경우, 오디오의 크기를 줄이고 해상력을 높이도록 설정할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 제어부는, 상기 다른 오디오 신호 처리 장치와의 위치 정보 따라 레이아웃을 확인 시, 청취자의 위치를 기준으로 상기 다른 오디오 신호 처리 장치의 좌측 영역, 우측 영역 및 중앙 영역을 구별하고, 상기 좌측 영역, 상기 우측 영역 및 상기 중앙 영역 중 어떤 영역에 위치하는지 여부를 확인할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 제어부는, 상기 레이아웃에 따라 음향 제공 방법을 설정 시, 상기 근거리 영역에 위치하는 경우, 상기 좌측 영역, 상기 우측 영역 및 상기 중앙 영역 중 어떤 영역에 위치하는지에 따라 Front L 신호 또는 Front R 신호, Center 신호를 출력하도록 설정할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 제어부는, 상기 레이아웃에 따라 음향 제공 방법을 설정 시, 상기 청취 영역 또는 상기 원거리 영역에 위치하는 경우, 상기 좌측 영역, 상기 우측 영역 및 상기 중앙 영역 중 어떤 영역에 위치하는지에 따라 surround L 신호, surround R 신호 또는 Center 신호를 출력하도록 설정할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 다른 오디오 신호 처리 장치는 동영상을 함께 재생하는 장치일 수 있다.
도 1은 무선 네트워크를 통해 연결된 오디오 시스템을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 오디오 신호 처리 방법을 나타내는 순서도이다.
도 3은 본 발명의 일 실시예에 따른 오디오 신호 처리 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 다른 실시예에 따른 오디오 신호 처리 방법을 나타내는 순서도이다.
도 5는 본 발명의 다른 실시예에 따른 오디오 신호 처리 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 또다른 실시예에 따른 동기화 방법을 나타내는 순서도이다.
도 7은 본 발명의 또다른 실시예에 따른 동기화 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 동기화 신호를 설명하기 위한 도면이다.
도 9는 본 발명의 다른 실시예에 따른 동기화 신호를 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따라 위치 정보를 획득하는 과정을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 음향 제공 방법을 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따라 레이아웃에 따른 음향 제공 방법을 설명하기 위한 도면이다.
도 13은 본 발명의 다른 실시예에 따라 레이아웃에 따른 음향 제공 방법을 설명하기 위한 도면이다.
도 14는 본 발명의 또다른 실시예에 따라 레이아웃에 따른 음향 제공 방법을 설명하기 위한 도면이다.
도 15는 본 발명의 일 실시예에 따른 오디오 신호 처리 장치의 블록도이다.
도 16은 본 발명의 또다른 실시예에 따른 오디오 신호 처리 장치의 블록도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서, 오디오 신호 처리 장치는, 오디오 신호를 처리할 수 있는 모든 장치를 포함할 수 있다. 특히, 오디오 신호 처리 장치는, 오디오 신호를 처리하여 출력하는 장치를 포함할 수 있다. 이 경우, 오디오 신호 처리 장치는 타 장치로부터 수신한 오디오 신호를 처리하여 출력할 수도 있고, 스스로 오디오 신호를 생성하여 출력할 수도 있다.
또한, 본 명세서에서, 시스템 지연 오차는, 오디오 출력 장치가 오디오를 출력함에 있어서 오디오 시스템 그 자체로 인하여 오디오 신호의 출력이 지연되어 발생하는 오차를 의미한다. 이러한 시스템 지연 오차는 네트워크 환경에 의해 오디오 신호 전달 과정에서 발생하는 지연 및 오디오 출력 장치의 신호 처리 과정에 발생하는 지연 등을 포함할 수 있다.
또한, 본 명세서에서, 거리 지연 오차는, 오디오 출력 장치에서 출력된 오디오 신호가 다른 장치에 도달될 때까지 걸리는 시간에 따라 발생되는 오차를 의미한다. 이는 오디오 신호의 전달 속도에 기인한 것으로 거리가 멀수록 거리 지연 오차는 커지게 된다.
도 1은 무선 네트워크를 통해 연결된 오디오 시스템을 나타내는 도면이다.
도 1을 참조하면, TV(110), 스피커(120, 130, 140, 160) 및 사용자(170)가 휴대하는 휴대 단말기(150) 등 복수의 오디오 신호 처리 장치로 오디오 시스템이 구성되어 있다. 도 1에서 이러한 오디오 시스템은 무선 네트워크를 통해 연결된다. 이러한 오디오 시스템은 TV(110), 스피커(120, 130, 140, 160) 및 휴대 단말기(150) 등에 한정되지 않고 다양한 종류의 오디오 신호 처리 장치로 구성될 수 있다. 또한, 스피커(120, 130, 140, 160) 역시, 하나의 종류가 아닌 서로 다른 종류의 스피커들이 사용될 수도 있다.
도 1에서 오디오 시스템을 구성하는 각 오디오 신호 처리 장치들은 네트워크 연결에 의해 장치 간 서로 연계하여 오디오 신호를 재생하는 동시 재생(Collaborative Audio Play)이 가능하다. 이러한 동시 재생을 구현 시에는 각 오디오 신호 처리 장치들 간에 동기화가 이루어져야 균형있는 오디오 신호를 출력할 수 있고, 사용자(170)에게 고음질 음향을 제공할 수 있다.
하지만, 각 오디오 신호 처리 장치들은 서로 다른 신호 처리 특성을 가질 수 있고, 주변 환경, 특히 네트워크 환경이 서로 달라 시스템 지연 오차가 발생할 가능성이 높다. 예를 들어, 멀티 미디어 기능을 가지는 휴대 단말기(150)는 처리하고 있는 어플리케이션 수에 따라 오디오 신호 처리 속도가 달라질 수 있고, 스피커(120, 130, 140, 160)는 음원을 제공하는 TV(110)와의 거리 및 장애물 유무에 따라 네트워크를 통한 오디오 신호 수신 속도가 달라질 수 있다.
또한, 각 오디오 신호 처리 장치의 배열에 따라 거리 지연 오차 역시 발생할 수 있다. 예를 들어, 사용자(170)와 멀리 떨어진 스피커(120, 130, 140, 160)에서 출력되는 오디오 신호가 사용자(170)에게 도달하는 시간과 사용자(170)와 근접한 휴대 단말기(150)에서 출력되는 오디오 신호가 사용자(170)에게 도달하는 시간은 서로 다를 수 있다.
따라서, 최적의 고음질 음향을 제공하기 위해서는 각 오디오 신호 처리 장치들의 특성과 주변 환경을 고려한 신호 처리가 필요하다.
본 발명의 일 실시예에서는 이러한 다양한 종류의 오디오 신호 처리 장치들 간에 적절한 동기화를 위한 오디오 신호 처리 방법 및 장치를 제공한다.
도 2는 본 발명의 일 실시예에 따른 오디오 신호 처리 방법을 나타내는 순서도이다.
도 2를 참조하면, 먼저, 오디오 신호 처리 장치는, 210 단계에서, 제1 오디오 신호를 출력한다. 본 발명의 일 실시예에 따르면, 제1 오디오 신호는 다른 오디오 신호 처리 장치와의 동기화를 위한 제1 동기화 신호를 포함할 수 있다.
그 후, 220 단계에서, 출력된 제1 오디오 신호 및 다른 오디오 신호 처리 장치에서 출력되는 제2 오디오 신호를 입력 받는다. 제2 오디오 신호는 제1 오디오 신호와 마찬가지로 동기화를 위한 제1 동기화 신호를 포함할 수 있다. 본 발명의 일 실시예에 따른 오디오 신호 처리 방법은, 오디오 신호 처리 장치들의 특성과 주변 환경 등의 영향을 모두 받은 후, 실제로 오디오 신호 처리 장치로 입력 되는 오디오 신호를 기반으로 신호 처리를 수행하게 된다.
다음으로, 230 단계에서, 제1 오디오 신호와 제2 오디오 신호로부터 각각 제1 동기화 신호 및 제2 동기화 신호를 감지한다. 본 발명의 일 실시예에 따르면, 제1 동기화 신호 및 제2 동기화 신호는 오디오 신호 중 중심 특성이 강한 특정 영역, 즉, 오디오 신호 중 L 신호와 R 신호가 설정된 기준값 이상으로 동일한 영역을 이용할 수 있다. 또한, 제1 동기화 신호와 제2 동기화 신호는 설정된 시점에 오디오 신호에 삽입되는 가청 또는 비가청 신호일 수 있다. 나아가, 제1 동기화 신호와 제2 동기화 신호는 설정된 시점에 오디오 신호에 삽입되는 워터마크일 수도 있다. 본 발명의 일 실시예에 따르면, 전체 오디오 신호가 아닌 동기화를 위한 별도의 동기화 신호를 이용함으로써 보다 정확한 지연 오차를 계산할 수 있고, 동기화를 위한 신호 처리 과정에서도 처리 용량을 줄일 수 있다.
그 후, 240 단계에서, 제1 동기화 신호와 제2 동기화 신호의 입력 시간 차이를 계산하여 제1 동기 오차를 검출한다. 각 오디오 신호 처리 장치는 동일한 시간에 동일한 동기화 신호를 출력하도록 제어된다. 하지만, 오디오 신호 처리 장치들의 특성, 주변 환경 및 거리에 따라 시스템 지연 오차 및 거리 지연 오차가 발생할 수 있다. 제1 동기 오차에는 시스템 지연 오차 및 거리 지연 오차가 포함될 수 있다. 본 발명의 일 실시예에서는 제1 동기화 신호가 입력 되는 시간과 제2 동기화 신호가 입력 되는 시간의 차이를 계산하여 시스템 지연 오차 및 거리 지연 오차를 검출할 수 있다. 제1 동기 오차를 검출하는 과정은 아래에서 도 3와 함께 상세히 설명하도록 한다.
마지막으로, 250 단계에서, 제1 동기 오차를 기반으로 동기화를 수행한다. 본 발명의 일 실시예에 따르면, 제1 동기 오차를 기반으로 오디오 신호를 조절하여 동기화를 수행할 수 있다. 이 경우, 제1 동기 오차를 모니터링 하고, 제1 동기 오차가 설정된 값 이상으로 증가하는 경우, 점진적으로 동기화를 수행할 수 있다. 또한, 음량이 낮은 구간일수록 빠르게 동기화를 수행할 수 있다. 동기화 과정에서 오디오 신호를 조절 시, 오디오 신호의 변화 정도가 크면 청취자는 불편함을 느낄 수 있다. 따라서, 일반적인 구간에서는 점진적으로 동기화를 수행하고, 청취자가 상대적으로 듣기 어려운 음량이 낮은 구간에서 빠르게 동기화를 수행하여 청취자의 불편함을 최소화할 수 있다.
나아가, 본 발명의 일 실시예에 따르면, 오디오 클록 속도(audio clock rate)를 조절하거나 인터폴래이션(interpolation) 또는 데시매이션(decimation)을 통해 오디오 샘플링 레이트(audio sampling rate)를 조절하여 동기화를 수행할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 오디오와 함께 동영상을 같이 출력하는 오디오 처리 장치가 있는 경우, 해당 오디오 처리 장치가 재생하는 동영상을 기준으로 동기화를 수행할 수 있다. 즉, 동영상과 오디오가 일치하는 Lip-Sync Time 을 기준으로 동기화를 수행할 수 있다. 이 경우, 청취자는 보다 자연스러운 동영상 감상이 가능하다.
위에서 설명한 것과 같이 본 발명의 일 실시예에 따르면, 오디오 신호 처리 장치들의 특성과 주변 환경 등의 영향을 모두 받은 후 실제로 입력 되는 오디오 신호를 기반으로 신호 처리를 수행하게 된다. 따라서, 오디오 신호 처리 장치들의 특성, 주변 환경 및 거리에 따라 발생하는 시스템 지연 오차 및 거리 지연 오차를 고려한 신호 처리가 가능하다. 도 3을 참조하여 본 발명의 실시예를 보다 구체적으로 설명한다.
도 3은 본 발명의 일 실시예에 따른 오디오 신호 처리 방법을 설명하기 위한 도면이다.
도 3에서 오디오 시스템은 스피커(310)와 TV(320)로 구성된다. 본 발명의 일 실시예에 따르면, 스피커(310)는 TV(320)로부터 무선 네트워크를 통해 오디오 신호를 수신하여 출력할 수 있다.
스피커(310)와 TV(320)는 동시 재생을 구현하기 위하여 동일한 시점 S(t)(330)에 동일한 오디오 신호를 출력하도록 설정된다. 여기서, S(t)(330)는 물리적 시간 t에서 장치 자신의 시간을 나타낸다. 장치 자신의 시간은 해당 장치의 Local Clock이 아닌, 오디오 신호의 Sample Index에 의해서 판단되는 시간일 수 있다. 스피커(310)와 TV(320)는 동일한 S(t)를 가지는 것이 이상적이나, 구현 과정에서 여러가지 이유로 오차가 발생할 수 있고, 이에 따라 서로 다른 S(t)를 가질 수도 있다. 도 3에서는 스피커(310)와 TV(320)는 서로 다른 S(t)를 갖는 것을 가정하고 설명한다. 스피커(310)의 시간은 S1(t)(330), TV(320)의 시간은 S2(t)(340)로 나타낸다.
스피커(310)와 TV(320)가 t 시점에 동일한 오디오 신호를 출력하도록 설정된 경우, 스피커(310)와 TV(320) 각각은 S1(t)(330) 및 S2(t)(340) 시점에서 오디오 신호를 출력하기 위하여 오디오 신호를 처리하게 된다. 하지만, 스피커(310)와 TV(320)는 오디오 신호 처리 속도가 다를 수 있고, 스피커(310)가 네트워크를 통해 TV(320)로부터 오디오 신호를 수신하는 과정에서 지연이 발생할 수 있어 동일한 오디오 신호를 출력하는 시점이 달라질 수 있다. 즉, 서로 다른 시스템 지연 오차로 인하여 오디오 신호 출력 시점이 달라질 수 있다. 따라서, 실제 오디오 신호가 출력되는 시점은 S(t) 에 시스템 지연 오차를 더한 시점이 된다. 실제 오디오 신호가 출력되는 시점을 O(t) 라 하고, 시스템 지연 오차를 ΔDs 라 하면 수학식 (1)과 같이 표현할 수 있다.
O(t) = S(t) + ΔDs 수학식 (1)
따라서, 스피커(310)에서 실제 오디오 신호가 출력되는 시점을 O1(t)(350) 라 하고, 스피커(310)의 시스템 지연 오차를 ΔDs1 이라 하면, O1(t) = S(t) + ΔDs1 라 할 수 있다. 또한, TV(320)에서 실제 오디오 신호가 출력되는 시점을 O2(t)(360) 라 하고, TV(320)의 시스템 지연 오차를 ΔDs2 이라 하면, O2(t) = S(t) + ΔDs2 라 할 수 있다.
나아가, TV(320)에서 출력된 오디오 신호가 스피커(310)에 도달하기까지 걸리는 시간에 따라 거리 지연 오차 ΔDd 가 발생한다. 거리 지연 오차를 반영하여 TV(320)에서 출력된 오디오 신호가 스피커(310)에 도달한 시점을 I1(t)(370)라 할 수 있다.
이 경우, 스피커(310)에서 출력한 오디오 신호를 다시 스피커(310)에서 입력 받은 시간과 TV(320)에서 출력한 오디오 신호를 스피커(310)에서 입력 받은 시간의 차이를 계산하면 동기 오차를 계산할 수 있다. 즉, 다음과 같이 수학식 (2)를 통해 동기 오차를 K를 검출할 수 있다.
I1(t)-O1(t) = K 수학식 (2)
본 발명의 일 실시예에 따르면, 수학식 (2)를 통해 검출한 동기 오차를 기반으로 오디오 신호 출력을 조절하여 동기화를 수행할 수 있다. 도 3에 도시한 것과 같이 오디오와 함께 동영상을 같이 출력하는 TV(320)와 같은 오디오 처리 장치가 있는 경우, 동영상과 오디오가 일치하는 Lip-Sync Time 을 기준으로 동기화를 수행하면 청취자는 보다 자연스러운 동영상 감상이 가능하다. 이 경우, 스피커(310)의 오디오 신호 출력을 조절하여 동기화를 수행할 수 있다. 다만, 이에 한정되지 않고 TV(320)에서 동기화 오차를 계산하여 스피커(310) 와의 동기화를 수행하는 것도 가능하다.
이러한 동기화 과정을 수행함에 있어서, 스피커(310)와 TV(320)는 오디오 신호에 동기화 신호를 포함시켜 출력할 수 있다. 전체 오디오 신호가 아닌 동기화를 위한 별도의 동기화 신호를 이용함으로써 보다 정확한 지연 오차를 계산할 수 있고, 동기화를 위한 신호 처리 과정에서도 처리 용량을 줄일 수 있다.
위에서 설명한 것과 같이 본 발명의 일 실시예에 따르면, 오디오 신호 처리 장치들의 특성과 주변 환경 등의 영향을 모두 받은 후 실제로 입력 되는 오디오 신호를 기반으로 신호 처리를 수행하게 된다. 따라서, 오디오 신호 처리 장치들의 특성, 주변 환경 및 거리에 따라 발생하는 시스템 지연 오차 및 거리 지연 오차를 고려한 신호 처리가 가능하다.
도 2 및 도 3에서 도시하는 실시예에서는 특정 오디오 신호 처리 장치를 기준으로 동기화를 수행하는 상대적 동기화를 위한 오디오 신호 처리 방법을 설명하였다. 아래에서는 각 오디오 신호 처리 장치의 출력 자체를 동일한 시간에 이루어질 수 있도록 절대적인 오디오 신호 출력 시간을 동기화 할 수 있는 오디오 신호 처리 방법에 대해서 설명한다.
도 4는 본 발명의 다른 실시예에 따른 오디오 신호 처리 방법을 나타내는 순서도이다.
도 4를 참조하면, 먼저, 오디오 신호 처리 장치는, 410 단계에서, 제1 오디오 신호를 출력한다. 본 발명의 일 실시예에 따르면, 제1 오디오 신호는 다른 오디오 신호 처리 장치와의 동기화를 위한 제1 동기화 신호를 포함할 수 있다.
그 후, 420 단계에서, 출력된 제1 오디오 신호 및 다른 오디오 신호 처리 장치에서 출력되는 제2 오디오 신호를 입력 받는다. 제2 오디오 신호는 제1 오디오 신호와 마찬가지로 동기화를 위한 제1 동기화 신호를 포함할 수 있다. 본 발명의 일 실시예에 따른 오디오 신호 처리 방법은, 오디오 신호 처리 장치들의 특성과 주변 환경 등의 영향을 모두 받은 후 실제로 오디오 신호 처리 장치로 입력 되는 오디오 신호를 기반으로 신호 처리를 수행하게 된다.
다음으로, 430 단계에서, 제1 오디오 신호와 제2 오디오 신호로부터 각각 제1 동기화 신호 및 제2 동기화 신호를 감지한다. 본 발명의 일 실시예에 따르면, 제1 동기화 신호 및 제2 동기화 신호는 오디오 신호 중 중심 특성이 강한 특정 영역, 즉, 오디오 신호 중 L 신호와 R 신호가 설정된 기준값 이상으로 동일한 영역을 이용할 수 있다. 또한, 제1 동기화 신호와 제2 동기화 신호는 설정된 시점에 오디오 신호에 삽입되는 가청 또는 비가청 신호일 수 있다. 나아가, 제1 동기화 신호와 제2 동기화 신호는 설정된 시점에 오디오 신호에 삽입되는 워터마크일 수도 있다. 본 발명의 일 실시예에 따르면, 전체 오디오 신호가 아닌 동기화를 위한 별도의 동기화 신호를 이용함으로써 보다 정확한 지연 오차를 계산할 수 있고, 동기화를 위한 신호 처리 과정에서도 처리 용량을 줄일 수 있다.
그 후, 440 단계에서, 제1 동기화 신호와 제2 동기화 신호의 입력 시간 차이를 계산하여 제1 동기 오차를 검출한다. 각 오디오 신호 처리 장치는 동일한 시간에 동일한 동기화 신호를 출력하도록 제어된다. 하지만, 오디오 신호 처리 장치들의 특성, 주변 환경 및 거리에 따라 시스템 지연 오차 및 거리 지연 오차가 발생할 수 있다. 제1 동기 오차에는 시스템 지연 오차 및 거리 지연 오차가 포함될 수 있다. 본 발명의 일 실시예에서는 제1 동기화 신호가 입력 되는 시간과 제2 동기화 신호가 입력 되는 시간의 차이를 계산하여 시스템 지연 오차 및 거리 지연 오차를 검출할 수 있다.
다음으로, 450 단계에서, 다른 오디오 신호 처리 장치에서 제1 동기화 신호와 제2 동기화 신호의 입력 시간 차이를 계산하여 검출한 제2 동기 오차를 해당 오디오 신호 처리 장치로부터 수신한다. 본 실시예에서는 특정 시간을 기준으로 동기화를 수행하는 절대적 동기화를 수행하기 위하여 다른 장치에서 계산한 제2 동기 오차를 수신할 수 있다. 다른 오디오 신호 장치로부터 제2 동기 오차를 수신하는 과정은 오디오 신호 처리 과정 중 어느 단계에서도 수행될 수 있으며, 반드시 제1 동기 오차를 계산한 이후에 수행되어야 하는 것은 아니다.
그 후, 460 단계에서, 제1 동기 오차와 제2 동기 오차를 기반으로 시스템 지연 오차를 계산한다. 본 발명의 일 실시예에 따르면, 제1 동기 오차와 제2 동기 오차의 차이값을 계산하고, 해당 차이값의 반값(half value)을 시스템 지연 오차로 계산할 수 있다. 시스템 지연 오차를 계산하는 과정은 아래에서 도 5와 함께 상세히 설명하도록 한다.
마지막으로, 460 단계에서, 시스템 지연 오차에 기반하여 오디오 동기화를 수행한다. 본 발명의 일 실시예에 따르면, 시스템 지연 오차에 기반으로 오디오 신호를 조절하여 동기화를 수행할 수 있다. 이 경우, 특정 시간을 기준으로 동기화를 수행하는 것이 가능하다. 도 2 및 도 3에서 도시하는 실시예에서는 특정 오디오 신호 처리 장치에서 상대방 오디오 신호 처리 장치를 기준으로 동기화를 수행함에 따라, 특정 오디오 신호 처리 장치에서 상대방 오디오 신호 처리 장치와의 관계에서만 동기화가 이루어진다. 이와 비교하여 도 4 및 도 5에서 도시하는 실시예에서는 각 오디오 신호 처리 장치의 출력 자체를 동일한 시간에 이루어질 수 있도록 동기화하여, 특정 오디오 신호 처리 장치와의 관계에서 상대적인 동기화가 아닌 절대적인 오디오 신호 출력 시간을 동기화 할 수 있다.
본 발명의 일 실시예에 따르면, 시스템 지연 오차를 모니터링 하고, 시스템 지연 오차가 설정된 값 이상으로 증가하는 경우, 점진적으로 동기화를 수행할 수 있다. 또한, 음량이 낮은 구간일수록 빠르게 동기화를 수행할 수 있다. 동기화 과정에서 오디오 신호를 조절 시, 오디오 신호의 변화 정도가 크면 청취자는 불편함을 느낄 수 있다. 따라서, 일반적인 구간에서는 점진적으로 동기화를 수행하고, 청취자가 상대적으로 듣기 어려운 음량이 낮은 구간에서 빠르게 동기화를 수행하여 청취자의 불편함을 최소화할 수 있다.
나아가, 본 발명의 일 실시예에 따르면, 오디오 클록 속도(audio clock rate)를 조절하거나 인터폴래이션(interpolation) 또는 데시매이션(decimation)을 통해 오디오 샘플링 레이트(audio sampling rate)를 조절하여 동기화를 수행할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 오디오와 함께 동영상을 같이 출력하는 오디오 처리 장치가 있는 경우, 해당 오디오 처리 장치가 재생하는 동영상을 기준으로 동기화를 수행할 수 있다. 즉, 동영상과 오디오가 일치하는 Lip-Sync Time 을 기준으로 동기화를 수행할 수 있다. 이 경우, 청취자는 보다 자연스러운 동영상 감상이 가능하다.
위에서 설명한 것과 같이 본 발명의 일 실시예에 따르면, 오디오 신호 처리 장치들의 특성과 주변 환경 등의 영향을 모두 받은 후 실제로 입력 되는 오디오 신호를 기반으로 신호 처리를 수행하게 된다. 따라서, 오디오 신호 처리 장치들의 특성, 주변 환경 및 거리에 따라 발생하는 시스템 지연 오차 및 거리 지연 오차를 고려한 신호 처리가 가능하다. 또한, 특정 시간을 기준으로 동기화를 수행하는 것이 가능하다. 도 5을 참조하여 본 발명의 실시예를 보다 구체적으로 설명한다.
도 5는 본 발명의 다른 실시예에 따른 오디오 신호 처리 방법을 설명하기 위한 도면이다.
도 5에서는 도 3과 달리 두 개의 스피커(510, 520)로 구성된 오디오 시스템을 예로 들어 설명한다. 본 발명의 일 실시예에 따르면, 각 스피커(510, 520)는 음원 제공 장치(미도시)로부터 무선 네트워크를 통해 오디오 신호를 수신하여 출력할 수 있다.
제1 스피커(510)와 제2 스피커(520)는 동시 재생을 구현하기 위하여 동일한 시점 S(t)에 동일한 오디오 신호를 출력하도록 설정된다. 여기서, S(t) 는 물리적 시간 t에서 장치 자신의 시간을 나타낸다. 장치 자신의 시간은 해당 장치의 Local Clock이 아닌, 오디오 신호의 Sample Index에 의해서 판단되는 시간일 수 있다. 이 경우, 제1 스피커(510)와 제2 스피커(520)는 동일한 S(t)를 가지는 것이 이상적이나, 구현 과정에서 여러가지 이유로 오차가 발생할 수 있고, 이에 따라 서로 다른 S(t)를 가질 수도 있다. 도 5에서는 제1 스피커(510)와 제2 스피커(520)는 서로 다른 S(t)를 갖는 것을 가정하고 설명한다. 제1 스피커(510)의 시간은 S1(t)(530), 제2 스피커(520)의 시간은 S2(t)(540)로 나타낸다.
제1 스피커(510)와 제2 스피커(520)가 t 시점에 동일한 오디오 신호를 출력하도록 설정된 경우, 제1 스피커(510)와 제2 스피커(520) 각각은 S1(t)(530) 및 S2(t)(540) 시점에서 오디오 신호를 출력하기 위하여 오디오 신호를 처리하게 된다. 동일한 시점에서 오디오를 출력하도록 설정되었지만, 각 스피커의 시간이 다르게 설정되어 있어 출력 시점부터 오차가 발생한다. 나아가, 제1 스피커(510)와 제2 스피커(520)는 오디오 신호 처리 속도가 다르고, 네트워크를 통해 음원 제공 장치로부터 오디오 신호를 수신하는 과정에서 오디오 신호를 수신하는 속도가 달라 동일한 오디오 신호를 출력하는 시점이 달라질 수 있다. 즉, 서로 다른 시스템 지연 오차로 인하여 오디오 신호 출력 시점이 달라질 수 있다.
위에서 설명한 바와 같이 실제 오디오 신호가 출력되는 시점은 S(t)에 시스템 지연 오차를 더한 시점이 된다. 따라서, 실제 오디오 신호가 출력되는 시점을 O(t) 라 하고, 시스템 지연 오차를 ΔDs 라 하면 수학식 (1)과 같이 표현할 수 있다.
O(t) = S(t) + ΔDs 수학식 (1)
위 식에 따르면, 제1 스피커(510)에서 실제 오디오 신호가 출력되는 시점을 O1(t)(550) 라 하고, 제1 스피커(510)의 시스템 지연 오차를 ΔDs1 이라 하면, O1(t) = S1(t) + ΔDs1 라 할 수 있다. 또한, 제2 스피커(520)에서 실제 오디오 신호가 출력되는 시점을 O2(t)(560) 라 하고, 제2 스피커(520)의 시스템 지연 오차를 ΔDs2 이라 하면, O2(t) = S2(t) + ΔDs2 라 할 수 있다.
나아가, 제1 스피커(510)에서 출력한 제1 오디오 신호가 제2 스피커(520)에 도달하기까지 걸리는 시간에 따라 거리 지연 오차 ΔDd 가 발생한다. 제2 스피커(520)에서 출력한 제2 오디오 신호 역시 제1 스피커(510)에 도달하기까지 걸리는 시간에 따라 ΔDd 가 발생한다. 제1 스피커(510)와 제2 스피커(520) 간의 상대 거리는 동일한 바, 거리 지연 오차는 동일하다.
거리 지연 오차 ΔDd 를 반영하여 제1 스피커(510)에서 출력한 제1 오디오 신호가 제2 스피커(520)에 도달한 시점을 I1(t)(570)라 하고, 제2 스피커(520)에서 출력한 제2 오디오 신호가 제1 스피커(510)에 도달한 시점을 I2(t)(580)라 하면, 다음과 같은 관계를 얻을 수 있다.
I1(t) = S2(t) + ΔDs2 + ΔDd = 02(t) + ΔDd 수학식 (3)
I2(t) = S1(t) + ΔDs1 + ΔDd = 01(t) + ΔDd 수학식 (4)
위에서 설명한 것과 같이 거리 지연 오차는 동일한 바, 제1 스피커(510)에서 실제 오디오 신호가 출력되는 시점 O1(t)(550)와 제2 스피커(520)에서 실제 오디오 신호가 출력되는 시점 O2(t)(560)와의 차이 또는 제1 스피커(510)에서 출력한 제1 오디오 신호가 제2 스피커(520)에 도달한 시점 I1(t)(570)와 제2 스피커(520)에서 출력한 제2 오디오 신호가 제1 스피커(510)에 도달한 시점 I2(t)(580)의 차이가 동기 오차 K 가 된다.
물리적 시간 t 일때, 두 개의 스피커(510, 520)에 대한 시간 S1(t)와 S2(t)는 동일하게 약속된 시간이므로, 동기 오차 K 는 제1 스피커(510)와 제2 스피커(520) 간의 시스템 지연 오차인 것을 수학식 (5)를 통해 확인할 수 있다.
K = I1(t) - I2(t) = (S2(t) + ΔDs2 + ΔDd) - (S1(t) + ΔDs1 + ΔDd) = ΔDs2 - ΔDs1 수학식 (5)
한 쪽 스피커에서 제1 스피커(510)에서 실제 오디오 신호가 출력되는 시점 O1(t)(550)와 제2 스피커(520)에서 실제 오디오 신호가 출력되는 시점 O2(t)(560)와의 차이 또는 제1 스피커(510)에서 출력한 제1 오디오 신호가 제2 스피커(520)에 도달한 시점 I1(t)(570)와 제2 스피커(520)에서 출력한 제2 오디오 신호가 제1 스피커(510)에 도달한 시점 I2(t)(580)의 차이를 직접 알 수는 없는 바, 다음 수학식 (6), (7)을 통해 동기 오차 K 를 구할 수 있다.
(I1(t) - S2(t)) - (I2(t) - S1(t)) = 2K 수학식 (6)
K = (I1(t) - S2(t)) - (I2(t) - S1(t)) / 2 수학식 (7)
제1 스피커(510)에서 자신이 출력한 제1 오디오 신호 및 제2 스피커(520)에서 출력되는 제2 오디오 신호를 입력 받는 시간의 차이인 제1 동기 오차라 하고, 제2 스피커(520)에서 자신이 출력한 제2 오디오 신호 및 제1 스피커(510)에서 출력되는 제1 오디오 신호를 입력 받는 시간의 차이인 제2 동기 오차라 할 수 있다. 이 경우, 제1 동기 오차와 제2 동기 오차의 차이값을 계산하고, 해당 차이값의 반값(half value)이 동기 오차, 즉, 제1 스피커(510)와 제2 스피커(520) 간의 시스템 지연 오차가 된다.
본 발명의 일 실시예에 따르면, 이와 같이 검출한 시스템 지연 오차를 기반으로 오디오 신호 출력을 조절하여 동기화를 수행할 수 있다. 이 경우, 특정 시간을 기준으로 동기화를 수행하는 것이 가능하다. 도 2 및 도 3에서 도시하는 실시예에서는 특정 오디오 신호 처리 장치에서 상대방 오디오 신호 처리 장치를 기준으로 동기화를 수행함에 따라, 특정 오디오 신호 처리 장치에서 상대방 오디오 신호 처리 장치와의 관계에서만 동기화가 이루어진다. 이와 비교하여 도 4 및 도 5에서 도시하는 실시예에서는 각 오디오 신호 처리 장치의 출력 자체를 동일한 시간에 이루어질 수 있도록 동기화하여, 특정 오디오 신호 처리 장치와의 관계에서 상대적인 동기화가 아닌 절대적인 출력 시간을 동기화 할 수 있다.
이러한 동기화 과정을 수행함에 있어서, 제1 스피커(510)와 제2 스피커(520) 는 오디오 신호에 동기화 신호를 포함시켜 출력할 수 있다. 전체 오디오 신호가 아닌 동기화를 위한 별도의 동기화 신호를 이용함으로써 보다 정확한 지연 오차를 계산할 수 있고, 동기화를 위한 신호 처리 과정에서도 처리 용량을 줄일 수 있다.
위에서 설명한 것과 같이 본 발명의 일 실시예에 따르면, 오디오 신호 처리 장치들의 특성과 주변 환경 등의 영향을 모두 받은 후 실제로 입력 되는 오디오 신호를 기반으로 신호 처리를 수행하게 된다. 따라서, 오디오 신호 처리 장치들의 특성, 주변 환경 및 거리에 따라 발생하는 시스템 지연 오차 및 거리 지연 오차를 고려한 신호 처리가 가능하다. 또한, 각 오디오 신호 처리 장치의 출력 자체를 동일한 시간에 이루어질 수 있도록 절대적인 오디오 신호 출력 시간을 동기화 할 수 있다.
아래에서는 3개 이상의 오디오 신호 처리 장치에 대한 동기화를 수행하기 위한 오디오 신호 처리 방법에 대해서 설명한다.
도 6은 본 발명의 또다른 실시예에 따른 오디오 신호 처리 방법을 나타내는 순서도이다.
도 6에서는 앞에서 설명한 내용과 반복되는 내용은 생략하도록 한다.
도 6을 참조하면, 610 단계에서, 또다른 오디오 신호 처리 장치에서 출력되는 제3 오디오 신호를 입력 받는다. 본 실시예에서는 3 개 이상의 오디오 신호 처리 장치에 대한 동기화를 수행하기 위하여 제3 오디오 신호를 입력 받을 수 있다. 본 발명의 일 실시예에 따르면 2 개의 오디오 신호 처리 장치가 먼저 동기화된 이후에 제3 오디오 신호를 수신하는 경우, 순차적으로 동기화가 수행될 수 있다. 다만, 다른 오디오 신호 장치로부터 제3 오디오 신호를 수신하는 과정은 오디오 신호 처리 과정 중 어느 단계에서도 수행될 수 있으며, 반드시 2 개의 오디오 신호 처리 장치가 먼저 동기화된 이후에 수행되어야 하는 것은 아니다. 복수 개의 오디오 신호를 수신하여 한꺼번에 동기화를 수행하는 것도 가능하다.
그 후, 620 단계에서 입력 받은 제3 오디오 신호로부터 제3 동기화 신호를 감지하고, 630 단계로 진행하여 제1 동기화 신호와 제3 동기화 신호의 입력 시간 차이를 계산하여 제3 동기 오차를 검출한다. 제3 동기 오차를 검출하는 과정은 제1 동기 오차를 검출하는 과정과 동일하다. 즉, 제1 동기화 신호가 입력 되는 시간과 제3 동기화 신호가 입력 되는 시간의 차이를 계산하여 제3 동기 오차를 검출할 수 있다.
다음으로 640 단계로 진행하여 제3 동기 오차를 또다른 오디오 신호 처리 장치로 전송한다. 본 발명의 일 실시예에 따르면, 제3 동기 오차를 수신한 또다른 오디오 신호 처리 장치는 제3 동기 오차를 기반으로 동기화를 수행할 수 있다. 610 단계 이전에 다른 오디오 신호 처리 장치와 동기화가 이루어진 경우에 그와 별도로 또다른 오디오 신호 처리 장치와 동기화를 수행하게 되면 전체적인 동기화가 흐트러지게 된다. 따라서, 이미 다른 오디오 신호 처리 장치와 동기화가 이루어진 경우라면, 또다른 오디오 신호 처리 장치가 현재 동기화 된 오디오 신호에 맞추어 동기화할 수 있도록 하는 것이 바람직하다.
610 단계 이전에 다른 오디오 신호 처리 장치와 동기화가 이루어진 경우라면, 한꺼번에 동기화를 수행할 수도 있고, 순차적으로 동기화를 수행하는 것도 가능하다.
도 7에서 오디오와 함께 동영상을 같이 출력하는 오디오 처리 장치가 있는 경우를 도시하고 있다.
도 7은 본 발명의 일 실시예에 따른 오디오 신호 처리 방법을 설명하기 위한 도면이다.
도 7을 참조하면, 오디오 시스템은 TV(710), 휴대 단말기(710’) 및 복수 개의 스피커(720, 730, 740, 750, ...)를 포함한다. 이와 같이 복수 개의 오디오 신호 처리 장치를 동기화하는 경우, 기준 시점이 필요하다. 본 발명의 일 실시예에 따르면, 상대적 동기화의 경우, 특정 오디오 신호 처리 장치의 오디오 신호 출력 시점을 기준 시점으로 설정할 수 있다. 또한 절대적 동기화의 경우, 특정 오디오 신호 처리 장치의 오디오 신호 출력 시점을 기준 시점으로 설정할 수도 있고, 특정 시점을 기준 시점을 설정할 수도 있다.
복수 개의 오디오 출력 장치를 포함하는 오디오 시스템의 오디오 신호 처리 방법에 있어서, 모든 오디오 출력 장치를 한꺼번에 동기화 하는 것도 가능하고, 순차적으로 동기화 하는 것도 가능하다. 특히, 새로운 장치가 하나씩 추가되는 경우, 순차적 동기화가 필요하다.
순차적 동기화의 경우, 휴대 단말기(710’)를 기준이 되는 오디오 신호 처리 장치라 하면, 휴대 단말기(710’)의 오디오 출력 시점 0(t)가 기준 시점이 될 수 있다. TV(710)의 출력 수신 시점을 I1(t)라 하면, 휴대 단말기(710’)와 TV(710) 간 동기 오차는 K1 이 된다. 오디오 시스템은 동기 오차 K1 에 기반하여 TV(710)의 오디오 신호 출력을 휴대 단말기(710’)의 오디오 신호 출력 시점 0(t)로 조절할 수 있다. 그 후, 스피커(720)의 출력 수신 시점 I2(t)에 따라 휴대 단말기(710’)와 스피커(720) 간 동기 오차 K2 를 계산하고, 이를 기반으로 스피커(720)의 오디오 신호 출력을 휴대 단말기(710’)의 오디오 신호 출력 시점 0(t)로 조절할 수 있다. 이와 같이 각 오디오 신호 처리 장치를 기준 오디오 신호 처리 장치의 오디오 신호 출력에 맞추어 동기화 할 수 있다. 여기서는 상대적 동기화를 수행하는 것으로 설명하였지만, 이에 한정되지 않고 특정 시점을 기준으로 순차적으로 오디오 신호 처리 장치를 동기화 하는 것도 가능하다.
복수 개의 오디오 신호 처리 장치를 한꺼번에 동기화하는 경우, 각 오디오 신호 처리 장치의 동기화 신호를 모두 입력 받은 후, 모든 동기화 신호에 대하여 동기 오차를 계산하여 특정 시점을 기준으로 한꺼번에 동기화를 수행할 수 있다. 휴대 단말기(710’)의 오디오 출력 시점 0(t)을 기준 시점으로 설정하는 경우, TV(710) 및 복수 개의 스피커(720, 730, 740, 750, ...)에 대한 동기화 신호를 수신하여 동기 오차를 계산할 수 있다. 이렇게 계산한 동기 오차(K1, K2, K3, K4, ...)에 따라 TV(710) 및 복수 개의 스피커(720, 730, 740, 750, ...)의 오디오 출력 시점을 휴대 단말기(710’)의 오디오 출력 시점 0(t)에 맞추어 동기화를 수행할 수 있다. 이 경우, 모든 오디오 신호 처리 장치가 동일한 시점에 동일한 오디오 신호를 출력할 수 있다. 여기서는 절대적 동기화를 수행하는 것으로 설명하였지만, 이에 한정되지 않고 특정 오디오 신호 처리 장치를 기준으로 한꺼번에 오디오 신호 처리 장치를 동기화 하는 것도 가능하다.
나아가, 도 7에서 TV(710) 및 휴대 단말기(710’)는 오디오 신호와 동영상을 함께 출력하는 장치이다. 또한, 본 발명의 일 실시예에 따르면, 오디오와 함께 동영상을 같이 출력하는 오디오 처리 장치가 있는 경우, 해당 오디오 처리 장치가 재생하는 동영상을 기준으로 동기화를 수행할 수 있다. 즉, 동영상과 오디오가 일치하는 Lip-Sync Time 을 기준으로 동기화를 수행할 수 있다. 이 경우, 청취자는 보다 자연스러운 동영상 감상이 가능하다.
도 8은 본 발명의 일 실시예에 따른 동기화 신호를 설명하기 위한 도면이다.
도 8을 참조하면, 동기화 신호(810, 820, 830)은 설정된 시점에 오디오 신호에 삽입될 수 있다. 본 발명의 일 실시예에 따르면, 동기화 신호(810, 820, 830)는 가청 또는 비가청 신호일 수 있다. 동기화 신호로 가청 신호를 사용하는 경우, 청취자가 동기화가 수행됨을 알 수 있으나, 오디오 신호 청취에 방해가 될 수 있다. 비가청 신호는 사람이 들을 수 없는 영역의 오디오 신호를 출력함으로써 오디오 신호 청취에 방해없이 동기화 신호로써 역할을 수행할 수 있다. 또한, 동기화 신호(810, 820, 830)는 워터마크 형태로 오디오 신호에 삽입될 수 있다. 워터마크란 텍스트, 이미지, 비디오, 오디오 등의 원본 데이터에 특정 정보를 식별할 수 있도록 삽입되는 비트 패턴을 의미한다. 본 발명의 일 실시예에 따르면, 워터마크 역시 오디오 신호 출력에 따라 가청 또는 비가청 형태로 발현될 수 있다.
나아가, 동기화 신호는 오디오 신호 출력 전(810)에 삽입될 수도 있고, 오디오 신호 출력 간(810)에 삽입될 수도 있다. 즉, 동기화 신호는 오디오 신호와 함께 출력될 수도 있지만, 동기화 신호 그 자체만 출력하는 것도 가능하다. 동기화 신호가 오디오 신호 출력 전(810)에 출력되는 경우, 오디오 신호 출력 전에 오디오 신호 처리 장치 간에 동기화가 이루어질 수 있어 동기화된 상태에서 오디오 신호를 청취할 수 있다.
본 발명의 일 실시예에 따르면, 전체 오디오 신호가 아닌 동기화를 위한 별도의 동기화 신호를 이용함으로써 보다 정확한 지연 오차를 계산할 수 있고, 동기화를 위한 신호 처리 과정에서도 처리 용량을 줄일 수 있다.
도 9는 본 발명의 다른 실시예에 따른 동기화 신호를 설명하기 위한 도면이다.
2 채널 이상의 오디오 시스템을 사용하는 경우, 오디오 신호 중 좌측 성분을 갖는 L 신호와 우측 성분을 갖는 R 신호가 존재한다. L 신호와 R 신호는 서로 다른 성분을 포함하고 있어 다르게 출력되는 것이 보통이나, 일정한 영역에서 동일한 성분을 가지고 출력되는 경우가 있다. 즉, 스테레오(stereo)가 아닌 모노(mono) 신호의 형태를 가지는 경우, 중심 특성이 강하다고 표현할 수 있고, 이러한 영역을 동기화 신호로 이용할 수 있다. 본 발명의 일 실시예에 따르면, 동기화 신호는 오디오 신호 중 중심 특성이 강한 특정 영역, 즉, 오디오 신호 중 L 신호와 R 신호가 설정된 기준값 이상으로 동일한 영역을 이용할 수 있다.
보다 구체적으로 L 신호와 R 신호가 설정된 기준값 이상으로 동일한 오디오 신호가 한 개의 세트로 구성되는 2 개의 스피커 (L/R)에서 출력되는 경우, 중심 특성이 강한 특정 영역에서 L 신호와 R 신호의 평균 오차를 동기 오차로 설정할 수 있다.
이와 같이 오디오 신호 중 중심 특성이 강한 특정 영역을 동기화 신호로 이용하는 경우, 별도의 동기화 신호를 생성하고 검출하는 과정이 필요없어 다양한 기기에 별도의 처리없이 바로 적용 가능하다.
도 10은 본 발명의 일 실시예에 따라 위치 정보를 획득하는 과정을 설명하기 위한 도면이다.
도 10에는 TV(1010), 스피커(1020) 및 스피커(1030)로 구성된 오디오 시스템이 개시되어 있다. 본 발명의 일 실시예에 따르면, 이러한 오디오 시스템에서 시스템 지연 오차와 제1 동기 오차 또는 제2 동기 오차를 이용하여 다른 오디오 신호 처리 장치와의 거리에 따른 거리 지연 오차를 계산하고, 거리 지연 오차를 기반으로 다른 오디오 신호 처리 장치의 위치 정보를 획득할 수 있다.
보다 구체적으로, 도 4 및 도 5에서 도시하는 본 발명의 일 실시예, 즉, 절대적 동기화를 수행하는 본 발명의 일 실시예에 따르면, 시스템 지연 오차 K를 계산할 수 있다. 도 5를 참조하면 이렇게 계산한 시스템 지연 오차 K 를 이용하여, 다음 수학식 (8), (9)를 통해 거리 지연 오차 ΔDd 를 계산할 수 있다.
O1(t) + K + ΔDd = I2(t) 수학식 (8)
ΔDd = I2(t) - O1(t) - K 수학식 (9)
ΔDd 는 제2 스피커(520)에서 출력된 오디오 신호가 제1 스피커(510)에 도달하기까지 걸리는 시간인 바, ΔDd 에 소리의 속도인 약 340 m/s 를 곱하면 제1 스피커(510)와 제2 스피커(520) 간의 거리를 계산할 수 있다.
이러한 과정을 도 10의 오디오 시스템에 적용하면, TV(1010)와 스피커(1020) 간의 시스템 지연 오차를 계산하고 이를 바탕으로 TV(1010)와 스피커(1020) 간의 거리 d 를 계산할 수 있다.
나아가, 스피커(1020)외에 다른 오디오 신호 처리 장치, 즉, 스피커(1030)가 존재하는 경우, TV(1010), 스피커(1020) 및 스피커(1030) 각각에 대해서 서로 간의 시스템 지연 오차를 계산할 수 있고, 이를 바탕으로 TV(1010)와 스피커(1020), 스피커(1020)와 스피커(1030) 및 스피커(1030)와 TV(1010) 간의 거리를 각각 계산할 수 있다. 이 경우, 3 개의 오디오 신호 처리 장치 간의 거리 관계를 통해 TV(1010), 스피커(1020) 및 스피커(1030)의 각도 관계를 계산할 수 있다.
결과적으로 TV(1010), 스피커(1020) 및 스피커(1030) 간에 거리 관계 및 각도 관계를 계산할 수 있다. 다만, 거리 및 각도를 계산하는 과정은 이에 한정되지 않고 다양한 방법을 활용하여 계산될 수 있다.
도 11은 본 발명의 일 실시예에 따른 음향 제공 방법을 설명하기 위한 도면이다.
도 11은 무선 네트워크를 통해 연결된 오디오 시스템을 나타내는 도면이다.
도 1을 참조하면, TV(1110), 스피커(1120, 1130, 1140, 1160) 및 사용자(1170)가 휴대하는 휴대 단말기(1150) 등 복수의 오디오 신호 처리 장치로 오디오 시스템이 구성되어 있다. 이러한 오디오 시스템에서 동시 재생(Collaborative Audio Play)이 이루어지는 경우, 각 오디오 신호 처리 장치 간 의 최적의 음향적 조합을 위하여 오디오 신호 처리 장치의 개수(2개 이상), 각 오디오 신호 처리 장치 간 거리, 각 오디오 신호 처리 장치의 위치(벽과의 거리, 밀폐 공간 등), 오디오 신호 처리 장치의 오디오 재생 능력, 출력 시키고자 하는 오디오 신호의 레벨(Target Signal Level) 및 사용자와의 거리에 따라 다양한 재생 환경을 구축할 수 있다.
아래에서는 최적의 동시 재생이 가능한 환경을 구축하기 위한 방법을 설명한다.
도 12는 본 발명의 일 실시예에 따라 레이아웃에 따른 음향 제공 방법을 설명하기 위한 도면이다.
도 12를 참조하면, TV와 스피커의 레이아웃에 따라 각 스피커에서 서로 다른 음향 성분을 출력하도록 오디오 시스템을 구축할 수 있다. 본 발명의 일 실시예에 따르면, 오디오 신호 처리 장치는 다른 오디오 신호 처리 장치와의 위치 정보 따라 레이아웃을 확인하고, 레이아웃에 따라 음향 제공 방법을 다르게 설정할 수 있다. 이 경우, 음향 제공 방법을 설정 시, 채널 배정 및 음향 성분 중 적어도 하나 이상을 설정할 수 있다.
보다 구체적으로 살펴보면, 도 12에서 TV가 Center 신호를 출력하고, 스피커들이 나머지 신호를 출력할 수 있다. 예를 들어, 도 12(a)에서는 TV가 Center 신호를 출력하고, 2 개의 스피커가 TV 좌우에 위치하여 각각 L 신호와 R 신호를 출력할 수 있다. 도 12(b)에서는 TV가 Center 신호를 출력하고, 3 개의 스피커가 TV 우측에 하나, 청취자의 좌우에 하나씩 위치하여 각각 저역 성분, surround L 신호와 surround R 신호를 출력할 수 있다. 또한, 도 12(c)에서는 4 개의 스피커가 TV 좌우에 하나씩, 청취자의 좌우에 하나씩 위치한다. TV가 Center 신호를 출력하고, TV 좌우에 위치하는 스피커는 각각 L 신호와 R 신호를 출력할 수 있고, 청취자의 좌우에 위치하는 스피커는 surround L 신호와 surround R 신호를 저역 신호와 함께 출력할 수 있다. 나아가, 도 12(d)에서는 도 12(c)에서 별도의 스피커가 추가되어 저역 신호를 출력할 수 있다.
나아가, 각 스피커와 청취자의 거리를 고려하여, 거리에 따른 지연, 오디오 신호 레벨 매칭을 통해 localization 현상을 극복할 수도 있다.
이와 같이 오디오 신호 처리 장치의 위치정보를 바탕으로 레이아웃을 확인하여 레이아웃에 따라 음향 제공 방법을 다양하게 설정할 수 있다.
도 13은 본 발명의 다른 실시예에 따라 레이아웃에 따른 음향 제공 방법을 설명하기 위한 도면이다.
도 13을 참조하면, TV(1310)와 청취자(1370)와의 거리에 따라 스피커(1320, 1330)가 위치하는 영역을 다음과 같이 근거리 영역(1340), 청취 영역(1350) 및 원거리 영역(1360)으로 구분할 수 있다. 근거리 영역(1340)은 TV(1310)와 청취자(1370) 사이의 영역이고, 청취 영역(1350)은 청취자(1370)가 동일한 거리를 갖는 영역이며, 원거리 영역은 청취자(1370)보다 먼 거리의 영역으로 설정할 수 있다. 본 발명의 일 실시예에 따르면, 위치 정보를 바탕으로 오디오 신호 처리 장치가 어떤 영역에 위치하는지 여부를 확인하고, 위치하는 영역에 따라 음향 제공 방법이 달라질 수 있다.
본 발명의 일 실시예에 따르면, 스피커(1320)가 근거리 영역(1340)에 위치하는 경우, 저역 신호 강조하도록 설정할 수 있다. 이는 청취자(1370)에게 풍부한 저역 신호를 제공하고, 넓은 음역대의 오디오 신호를 제공하도록 설정하는 것이다. 또한, 스피커(1320)가 청취 영역(1350)에 위치하는 경우, 오디오의 크기를 줄이고 해상력을 높이도록 설정할 수 있다. 이는 오디오 신호로 인한 주변 방해를 최소화 하면서 청취자(1370)가 오디오 신호를 또렷하게 청취할 수 있도록 설정하는 것이다. 이 경우, TV(1310) 의 스피커는 off 시키는 것도 가능하다.
도 14는 본 발명의 또다른 실시예에 따라 레이아웃에 따른 음향 제공 방법을 설명하기 위한 도면이다.
도 14는 도 13과 마찬가지로 스피커(1410, 1420)가 위치하는 영역을 근거리 영역(1340), 청취 영역(1350) 및 원거리 영역(1360)으로 구분할 수 있다. 다만, 도 13과 달리 2 개의 스피커가 존재한다. 일반적으로 2 개의 스피커가 존재하는 경우, 청취자(1370)를 기준으로 좌우에 배치될 수 있다. 본 발명의 일 실시예에 따르면, 위치 정보를 바탕으로 오디오 신호 처리 장치가 좌측 영역에 위치하는지, 아니면 우측 영역에 위치하는지 여부를 확인하고, 위치하는 영역에 따라 음향 제공 방법이 달라질 수 있다. TV(1310)와 청취자(1370) 간의 거리뿐 아니라 스피커의 좌우 배치에 따라 음향 설정이 달라질 수 있는 것이다.
본 발명의 일 실시예에 따르면, 2 개의 스피커(1410)가 근거리 영역(1340)에 위치하는 경우, 스피커가 청취자(1370)의 좌측 영역 및 우측 영역 중 어떤 영역에 위치하는지에 따라 Front L 신호 또는 Front R 신호를 출력하도록 설정할 수 있으며 경우에 따라 TV 스피커를 Center 스피커로 설정하여 L/R/Center 채절 설정도 가능하다. 이때 단순히 각 스피커간 채널 설정뿐만 아니라 각 스피커의 위치 및 채널 특성을 고려한 신호처리를 통하여 음성을 더욱 명료하게 하거나 넓은 음장감을 제공할 수도 있다. 또한, 2 개의 스피커(1420)가 청취 영역(1350) 또는 원거리 영역(1360)에 위치하는 경우, 스피커가 청취자(1370)의 좌측 영역 및 우측 영역 중 어떤 영역에 위치하는지에 따라 surround L 신호 또는 surround R 신호를 출력하도록 설정할 수 있다. 이때도 단순 surround 채널 설정뿐만 아니라 surround 채널로 할당된 스피커의 재생 여력 분석등을 통하여 추가로 저역신호를 재생하여 별도의 Woofer채널 스피커 없이도 전체 사운드의 저역을 강화 할 수 있다. 그리고 근거리 영역 및 청취영역 모두에 스피커가 배치될 경우에는 위의 각 영역별 실시 예의 조합을 통해 최적의 음향을 제공해 줄 수 있다.
위에서 살펴본 바와 같이, 본 발명의 일 실시예에 따르면 청취자와 스피커 간의 거리, 스피커의 좌우 배치 등 다양한 레이아웃에 따라 다양한 음향 제공 방법을 설정할 수 있다.
나아가, 컨텐츠 분석 및 주변 환경 분석 결과에 따른 음향 제공 방법을 설정하는 것도 가능하다. 본 발명의 일 실시예에 따르면, 컨텐츠에 따라 특정 음역 대역을 강화하거나 해상력을 높이는 등의 설정이 가능하다. 예를 들어, 컨텐츠가 락 음악인 경우, 저역 신호를 강화하여 풍부한 저음을 제공하고, 컨텐츠가 뉴스인 경우 해상력을 높여 음성이 또렷하게 들리도록 설정할 수도 있다. 또한, 벽과의 관계에서 오디오 신호 처리 장치의 레이아웃을 알 수 있는 경우, 벽에 의해 영향을 받는 정도를 고려하여 오디오 신호 출력을 조절하는 것도 가능하다.
도 15는 본 발명의 일 실시예에 따른 오디오 신호 처리 장치의 블록도이다.
본 발명의 일 실시예에 따른 오디오 신호 처리 장치는, 마이크부(1510), 스피커부(1520), 통신부(1530) 및 제어부(1540)를 포함할 수 있다.
마이크부(1510)는 오디오 신호를 입력 받는 역할을 수행한다. 본 발명의 일 실시예에 따른 마이크부(1510)는 스피커부(1520)에서 출력되는 제1 오디오 신호 및 다른 오디오 신호 처리 장치에서 출력되는 제2 오디오 신호를 입력 받을 수 있다. 또한, 마이크부(1510)는 또다른 오디오 신호 처리 장치에서 출력되는 제3 오디오 신호를 입력 받을 수 있다.
스피커부(1520)는 오디오 신호를 출력하는 역할을 수행한다. 본 발명의 일 실시예에 따른 스피커부(1520)는 제1 오디오 신호를 출력할 수 있다. 제1 오디오 신호는 동기화를 위한 제1 동기화 신호를 포함할 수 있다.
통신부(1530)는 외부 장치와 통신하는 역할을 수행한다. 도 15에서는 오디오 신호 처리 장치가 통신부(1530)을 포함하는 것으로 설명하였지만, 경우에 따라서는 오디오 신호 처리 장치가 통신부(1540)를 포함하지 않을 수도 있다. 본 발명의 일 실시예에 따른 통신부(1530)는 다른 오디오 신호 처리 장치에서 제1 동기화 신호와 제2 동기화 신호의 입력 시간 차이를 계산하여 검출한 제2 동기 오차를 다른 오디오 신호 처리 장치로부터 수신할 수 있다. 또한, 통신부(1540)는 또다른 오디오 신호 처리 장치에서 출력되는 제3 오디오 신호에서 감지된 제3 동기화 신호와 제1 동기화 신호를 기반으로 계산된 제3 동기 오차를 또다른 오디오 신호 처리 장치로 전송할 수 있다. 이 경우, 또다른 오디오 신호 처리 장치는 제3 동기 오차를 기반으로 동기화를 수행할 수 있다.
제어부(1540)는 오디오 신호 처리 장치 전체의 동작을 제어하며, 마이크부(1510), 스피커부(1520)와 통신부(1530)를 제어함으로써 오디오 신호를 처리할 수 있도록 한다.
본 발명의 일 실시예에 따른 제어부(1540)는 제1 오디오 신호와 제2 오디오 신호로부터 각각 제1 동기화 신호 및 제2 동기화 신호를 감지하고, 제1 동기화 신호와 제2 동기화 신호의 입력 시간 차이를 계산하여 제1 동기 오차를 검출하며, 제1 동기 오차를 기반으로 동기화를 수행할 수 있다. 즉, 제어부(1540)는 특정 오디오 신호 처리 장치를 기준으로 동기화를 수행하는 상대적 동기화를 수행할 수 있다. 이때, 제1 동기화 신호와 제2 동기화 신호는, 오디오 신호 중 L 신호와 R 신호가 설정된 기준값 이상으로 동일한 영역을 이용할 수 있다. 또한, 제1 동기화 신호와 제2 동기화 신호는, 설정된 시점에 오디오 신호에 삽입되는 가청 또는 비가청 신호일 수 있다. 또한, 제1 동기화 신호와 제2 동기화 신호는, 설정된 시점에 오디오 신호에 삽입되는 워터마크일 수 있다.
또한, 제어부(1540)는 제1 동기 오차를 기반으로 동기화를 수행 시, 제1 동기 오차와 통신부(1530)를 통해 수신한 제2 동기 오차를 기반으로 시스템 지연 오차를 계산하고, 시스템 지연 오차에 기반하여 동기화를 수행할 수 있다. 즉 제어부(1540)는 각 오디오 신호 처리 장치의 출력 자체를 동일한 시간에 이루어질 수 있도록 절대적인 오디오 신호 출력 시간을 동기화 할 수 있다.
제어부(1540)는, 제1 동기 오차와 제2 동기 오차를 기반으로 시스템 지연 오차를 계산 시, 제1 동기 오차와 제2 동기 오차의 차이값을 계산하고, 차이값의 반값(half value)을 시스템 지연 오차로 계산할 수 있다.
또한, 제어부(1540)는, 제3 오디오 신호로부터 제3 동기화 신호를 감지하고, 제1 동기화 신호와 제3 동기화 신호의 입력 시간 차이를 계산하여 제3 동기 오차를 검출할 수 있다.
또한, 본 발명의 일 실시예에 따른 제어부(1540)는, 제1 동기 오차를 기반으로 동기화를 수행 시, 제1 동기 오차를 모니터링 하고, 제1 동기 오차가 설정된 값 이상인 경우 점진적으로 동기화를 수행할 수 있다.
또한, 제어부(1540)는, 제1 동기 오차가 설정된 값 이상인 경우 점진적으로 동기화를 수행 시, 음량이 낮은 구간일수록 빠르게 동기화를 수행할 수 있다.
또한, 제어부(1540)는, 제1 동기 오차를 기반으로 동기화를 수행 시, 오디오 클록 속도(audio clock rate)를 조절할 수 있다.
또한, 제어부(1540)는, 제1 동기 오차를 기반으로 동기화를 수행 시, 인터폴래이션(interpolation) 또는 데시매이션(decimation)을 통해 오디오 샘플링 레이트(audio sampling rate)를 조절할 수 있다.
또한, 제어부(1540)는, 시스템 지연 오차와 제1 동기 오차 또는 시스템 지연 오차와 제2 동기 오차를 이용하여 다른 오디오 신호 처리 장치와의 거리에 따른 거리 지연 오차를 계산하고, 거리 지연 오차를 기반으로 다른 오디오 신호 처리 장치의 위치 정보를 획득할 수 있다. 본 발명의 일 실시예에 따른 위치 정보는 다른 오디오 신호 처리 장치와의 거리 및 각도 중 적어도 하나를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 제어부(1540)는, 다른 오디오 신호 처리 장치와의 위치 정보 따라 레이아웃을 확인하고, 레이아웃에 따라 음향 제공 방법을 설정할 수 있다. 이 경우, 오디오 신호 처리 장치는 동영상을 함께 재생하는 장치일 수 있다.
또한, 제어부(1540)는, 레이아웃에 따라 음향 제공 방법을 설정시, 채널 배정 및 음향 성분 중 적어도 하나 이상을 설정할 수 있다.
또한, 제어부(1540)는, 다른 오디오 신호 처리 장치와의 위치 정보 따라 레이아웃을 확인 시, 청취자의 위치 및 다른 오디오 신호 처리 장치와의 거리에 따라 청취자와 다른 오디오 신호 처리 장치 사이의 영역인 근거리 영역, 청취자와 동일한 거리를 갖는 청취 영역 및 청취자의 위치보다 먼 원거리 영역을 구별하고, 근거리 영역, 청취 영역 및 원거리 영역 중 어떤 영역에 위치하는지 여부를 확인할 수 있다.
또한, 제어부(1540)는, 레이아웃에 따라 음향 제공 방법을 설정 시, 근거리 영역에 위치하는 경우, 저역 신호 강조하도록 설정할 수 있다.
또한, 제어부(1540)는, 레이아웃에 따라 음향 제공 방법을 설정 시, 청취 영역에 위치하는 경우, 오디오의 크기를 줄이고 해상력을 높이도록 설정할 수 있다.
또한, 제어부(1540)는, 다른 오디오 신호 처리 장치와의 위치 정보 따라 레이아웃을 확인 시, 청취자의 위치를 기준으로 다른 오디오 신호 처리 장치의 좌측 영역 및 우측 영역을 구별하고, 좌측 영역 및 우측 영역 중 어떤 영역에 위치하는지 여부를 확인할 수 있다.
또한, 제어부(1540)는, 레이아웃에 따라 음향 제공 방법을 설정 시, 근거리 영역에 위치하는 경우, 좌측 영역 및 우측 영역 중 어떤 영역에 위치하는지에 따라 Front L 신호 또는 Front R 신호를 출력하도록 설정할 수 있다.
또한, 제어부(1540)는, 레이아웃에 따라 음향 제공 방법을 설정 시, 청취 영역 또는 원거리 영역에 위치하는 경우, 좌측 영역 및 우측 영역 중 어떤 영역에 위치하는지에 따라 surround L 신호 또는 surround R 신호를 출력하도록 설정할 수 있다.
한편, 본 발명의 일 실시예에 따른 오디오 신호 처리 장치는, 오디오 신호 처리를 위하여 추가적인 구성요소를 더 포함할 수도 있다. 예를 들어, 오디오 신호 처리 장치는, 오디오 신호 저장을 위한 저장부를 포함할 수 있다.
도 16은 본 발명의 다른 실시예에 따른 오디오 신호 처리 장치의 블록도이다.
신호 흐름에 따라 본 발명의 다른 실시예에 따른 오디오 신호 처리 장치를 설명하면, 오디오 신호 처리 장치가 마이크(1605)를 통해 오디오 신호를 입력 받는다. 오디오 ADC 모듈(1610)은 오디오 신호를 디지털 신호로 변환하고, 오디오 Recording 모듈(1615)에서 입력 받은 오디오 신호를 녹음한다. 재동기화 모듈(1620)은 입력 받은 오디오 신호를 바탕으로 출력할 오디오를 조절하도록 버퍼(1660)를 제어한다. 버퍼(1660)는 오디오 처리 모듈(1645)로부터 수신한 오디오 신호에 대하여 시스템 스케쥴러(1650), 로컬 타이머(1655) 및 재동기화 모듈(1620)의 제어를 통해 출력 시점을 결정하고, 적절한 시점에 오디오 DAC 모듈(1665)로 전달한다. 오디오 DAC 모듈(1665)은 오디오 신호를 아날로그 신호로 변환하고, 오디오 AMP 모듈(1670)은 이를 증폭하여 스피커(1655)에서 오디오 신호를 출력한다. 이 과정에서, 동기화 신호 생성 모듈(1640)에서 생성한 동기화 신호를 오디오 신호에 포함시켜 출력할 수 있다.
또한, 다른 실시예에 따른 오디오 신호 처리 장치는 주변 환경 및 레이아웃에 따라 오디오 신호를 처리할 수 있다. 레이아웃 추정 모듈(1625)은 재동기화 모듈(1620)에서 계산한 동기 오차 또는 시스템 지연 오차를 이용하여 다른 오디오 신호 처리 장치의 레이아웃을 추정하고, 렌더링 모듈(1635)은 이렇게 추정된 레이아웃을 고려한 신호를 생성하도록 오디오 처리 모듈(1645)을 제어할 수 있다. 렌더링 모듈(1635)은 컨텐츠 분석 및 환경 추천 모듈(1630)에서 컨텐츠 및 주변 환경에 대한 정보를 전달받아 컨텐츠 및 주변 환경을 고려한 신호를 생성하도록 오디오 처리 모듈(1645)을 제어할 수도 있다.
한편, 상술한 본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (47)

  1. 제1 오디오 신호를 출력하는 단계;
    상기 제1 오디오 신호 및 다른 오디오 신호 처리 장치에서 출력되는 제2 오디오 신호를 입력 받는 단계;
    상기 제1 오디오 신호와 상기 제2 오디오 신호로부터 각각 제1 동기화 신호 및 제2 동기화 신호를 감지하는 단계;
    상기 제1 동기화 신호와 상기 제2 동기화 신호의 입력 시간 차이를 계산하여 제1 동기 오차를 검출하는 단계; 및
    상기 제1 동기 오차를 기반으로 동기화를 수행하는 단계를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  2. 제1항에 있어서,
    상기 다른 오디오 신호 처리 장치에서 상기 제1 동기화 신호와 상기 제2 동기화 신호의 입력 시간 차이를 계산하여 검출한 제2 동기 오차를 상기 다른 오디오 신호 처리 장치로부터 수신하는 단계를 더 포함하고,
    상기 제1 동기 오차를 기반으로 동기화를 수행하는 단계는,
    상기 제1 동기 오차와 상기 제2 동기 오차를 기반으로 시스템 지연 오차를 계산하는 단계;
    상기 시스템 지연 오차에 기반하여 오디오 동기화를 수행하는 단계를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  3. 제2항에 있어서,
    상기 제1 동기 오차와 상기 제2 동기 오차를 기반으로 시스템 지연 오차를 계산하는 단계는,
    상기 제1 동기 오차와 상기 제2 동기 오차의 차이값을 계산하는 단계; 및
    상기 차이값의 반값(half value)을 시스템 지연 오차로 계산하는 단계를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  4. 제2항에 있어서,
    또다른 오디오 신호 처리 장치에서 출력되는 제3 오디오 신호를 입력 받는 단계;
    상기 제3 오디오 신호로부터 제3 동기화 신호를 감지하는 단계;
    상기 제1 동기화 신호와 상기 제3 동기화 신호의 입력 시간 차이를 계산하여 제3 동기 오차를 검출하는 단계; 및
    상기 제3 동기 오차를 상기 또다른 오디오 신호 처리 장치로 전송하는 단계를 더 포함하는 오디오 신호 처리 방법.
  5. 제4항에 있어서,
    상기 또다른 오디오 신호 처리 장치는
    상기 제3 동기 오차를 기반으로 동기화를 수행하는 것을 특징으로 하는 오디오 신호 처리 방법.
  6. 제1항에 있어서,
    상기 제1 동기화 신호와 상기 제2 동기화 신호는,
    오디오 신호 중 L 신호와 R 신호가 설정된 기준값 이상으로 동일한 영역을 이용하는 것을 특징으로 하는 오디오 신호 처리 방법.
  7. 제1항에 있어서,
    상기 제1 동기화 신호와 상기 제2 동기화 신호는,
    설정된 시점에 오디오 신호에 삽입되는 가청 또는 비가청 신호인 것을 특징으로 하는 오디오 신호 처리 방법.
  8. 제1항에 있어서,
    상기 제1 동기화 신호와 상기 제2 동기화 신호는,
    설정된 시점에 오디오 신호에 삽입되는 워터마크인 것을 특징으로 하는 오디오 신호 처리 방법.
  9. 제1항에 있어서,
    상기 제1 동기 오차를 기반으로 동기화를 수행하는 단계는,
    제1 동기 오차를 모니터링 하는 단계; 및
    상기 제1 동기 오차가 설정된 값 이상인 경우, 점진적으로 동기화를 수행하는 단계를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  10. 제7항에 있어서,
    상기 제1 동기 오차가 설정된 값 이상인 경우, 점진적으로 동기화를 수행하는 단계는,
    음량이 낮은 구간일수록 빠르게 동기화를 수행하는 단계를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  11. 제1항에 있어서,
    상기 제1 동기 오차를 기반으로 동기화를 수행하는 단계는,
    오디오 클록 속도(audio clock rate)를 조절하는 단계를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  12. 제1항에 있어서,
    상기 제1 동기 오차를 기반으로 동기화를 수행하는 단계는,
    인터폴래이션(interpolation) 또는 데시매이션(decimation)을 통해 오디오 샘플링 레이트(audio sampling rate)를 조절하는 단계를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  13. 제2항에 있어서,
    상기 시스템 지연 오차와 상기 제1 동기 오차 또는 상기 시스템 지연 오차와 상기 제2 동기 오차를 이용하여 상기 다른 오디오 신호 처리 장치와의 거리에 따른 거리 지연 오차를 계산하는 단계 및
    상기 거리 지연 오차를 기반으로 상기 다른 오디오 신호 처리 장치의 위치 정보를 획득하는 단계를 더 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  14. 제13항에 있어서,
    상기 위치 정보는,
    상기 다른 오디오 신호 처리 장치와의 거리 및 각도 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  15. 제13항에 있어서,
    상기 다른 오디오 신호 처리 장치와의 위치 정보 따라 레이아웃을 확인하는 단계; 및
    상기 레이아웃에 따라 음향 제공 방법을 설정하는 단계를 더 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  16. 제15항에 있어서,
    상기 레이아웃에 따라 음향 제공 방법을 설정하는 단계는,
    채널 배정 및 음향 성분 중 적어도 하나 이상을 설정하는 단계를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  17. 제16항에 있어서,
    상기 다른 오디오 신호 처리 장치와의 위치 정보 따라 레이아웃을 확인하는 단계는,
    청취자의 위치 및 상기 다른 오디오 신호 처리 장치와의 거리에 따라 상기 청취자와 상기 다른 오디오 신호 처리 장치 사이의 영역인 근거리 영역, 상기 청취자와 동일한 거리를 갖는 청취 영역 및 상기 청취자의 위치보다 먼 원거리 영역을 구별하는 단계; 및
    상기 근거리 영역, 상기 청취 영역 및 상기 원거리 영역 중 어떤 영역에 위치하는지 여부를 확인하는 단계를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  18. 제17항에 있어서,
    상기 레이아웃에 따라 음향 제공 방법을 설정하는 단계는,
    상기 근거리 영역에 위치하는 경우, 저역 신호 강조하도록 설정하는 단계를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  19. 제17항에 있어서,
    상기 레이아웃에 따라 음향 제공 방법을 설정하는 단계는,
    상기 청취 영역에 위치하는 경우, 오디오의 크기를 줄이고 해상력을 높이도록 설정하는 단계를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  20. 제17항에 있어서,
    상기 다른 오디오 신호 처리 장치와의 위치 정보 따라 레이아웃을 확인하는 단계는,
    청취자의 위치를 기준으로 상기 다른 오디오 신호 처리 장치의 좌측 영역, 우측 영역 및 중앙 영역을 구별하는 단계; 및
    상기 좌측 영역, 상기 우측 영역 및 상기 중앙 영역 중 어떤 영역에 위치하는지 여부를 확인하는 단계를 더 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  21. 제20항에 있어서,
    상기 레이아웃에 따라 음향 제공 방법을 설정하는 단계는,
    상기 근거리 영역에 위치하는 경우, 상기 좌측 영역, 상기 우측 영역 및 상기 중앙 영역 중 어떤 영역에 위치하는지에 따라 Front L 신호, Front R 신호 또는 Center 신호를 출력하도록 설정하는 단계를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  22. 제20항에 있어서,
    상기 레이아웃에 따라 음향 제공 방법을 설정하는 단계는,
    상기 청취 영역 또는 상기 원거리 영역에 위치하는 경우, 상기 좌측 영역, 상기 우측 영역 및 상기 중앙 영역 중 어떤 영역에 위치하는지에 따라 surround L 신호, surround R 신호 또는 Center 신호를 출력하도록 설정하는 단계를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  23. 제15항에 있어서,
    상기 다른 오디오 신호 처리 장치는 동영상을 함께 재생하는 장치인 것을 특징으로 하는 오디오 신호 처리 방법.
  24. 제1 오디오 신호를 출력하는 스피커부;
    상기 제1 오디오 신호 및 다른 오디오 신호 처리 장치에서 출력되는 제2 오디오 신호를 입력 받는 마이크부;
    상기 제1 오디오 신호와 상기 제2 오디오 신호로부터 각각 제1 동기화 신호 및 제2 동기화 신호를 감지하고, 상기 제1 동기화 신호와 상기 제2 동기화 신호의 입력 시간 차이를 계산하여 제1 동기 오차를 검출하며, 상기 제1 동기 오차를 기반으로 동기화를 수행하는 제어부를 포함하는 것을 특징으로 하는 오디오 신호 처리 장치.
  25. 제24항에 있어서,
    상기 다른 오디오 신호 처리 장치에서 상기 제1 동기화 신호와 상기 제2 동기화 신호의 입력 시간 차이를 계산하여 검출한 제2 동기 오차를 상기 다른 오디오 신호 처리 장치로부터 수신하는 통신부를 더 포함하고,
    상기 제어부는,
    상기 제1 동기 오차를 기반으로 동기화를 수행 시,
    상기 제1 동기 오차와 상기 제2 동기 오차를 기반으로 시스템 지연 오차를 계산하고, 상기 시스템 지연 오차에 기반하여 동기화를 수행하는 것을 특징으로 하는 오디오 신호 처리 장치.
  26. 제25항에 있어서,
    상기 제어부는,
    상기 제1 동기 오차와 상기 제2 동기 오차를 기반으로 시스템 지연 오차를 계산 시,
    상기 제1 동기 오차와 상기 제2 동기 오차의 차이값을 계산하고, 상기 차이값의 반값(half value)을 시스템 지연 오차로 계산하는 것을 특징으로 하는 오디오 신호 처리 장치.
  27. 제25항에 있어서,
    상기 마이크부는,
    또다른 오디오 신호 처리 장치에서 출력되는 제3 오디오 신호를 입력받고,
    상기 제어부는,
    상기 제3 오디오 신호로부터 제3 동기화 신호를 감지하고, 상기 제1 동기화 신호와 상기 제3 동기화 신호의 입력 시간 차이를 계산하여 제3 동기 오차를 검출하며,
    상기 통신부는,
    상기 제3 동기 오차를 상기 또다른 오디오 신호 처리 장치로 전송하는 것을 특징으로 하는 오디오 신호 처리 장치.
  28. 제27항에 있어서,
    상기 또다른 오디오 신호 처리 장치는
    상기 제3 동기 오차를 기반으로 동기화를 수행하는 것을 특징으로 하는 오디오 신호 처리 장치.
  29. 제24항에 있어서,
    상기 제1 동기화 신호와 상기 제2 동기화 신호는,
    오디오 신호 중 L 신호와 R 신호가 설정된 기준값 이상으로 동일한 영역을 이용하는 것을 특징으로 하는 오디오 신호 처리 장치.
  30. 제24항에 있어서,
    상기 제1 동기화 신호와 상기 제2 동기화 신호는,
    설정된 시점에 오디오 신호에 삽입되는 가청 또는 비가청 신호인 것을 특징으로 하는 오디오 신호 처리 장치.
  31. 제24항에 있어서,
    상기 제1 동기화 신호와 상기 제2 동기화 신호는,
    설정된 시점에 오디오 신호에 삽입되는 워터마크인 것을 특징으로 하는 오디오 신호 처리 장치.
  32. 제24항에 있어서,
    상기 제어부는,
    상기 제1 동기 오차를 기반으로 동기화를 수행 시,
    제1 동기 오차를 모니터링 하고, 상기 제1 동기 오차가 설정된 값 이상인 경우 점진적으로 동기화를 수행하는 것을 특징으로 하는 오디오 신호 처리 장치.
  33. 제30항에 있어서,
    상기 제어부는,
    상기 제1 동기 오차가 설정된 값 이상인 경우 점진적으로 동기화를 수행 시,
    음량이 낮은 구간일수록 빠르게 동기화를 수행하는 것을 특징으로 하는 오디오 신호 처리 장치.
  34. 제24항에 있어서,
    상기 제어부는,
    상기 제1 동기 오차를 기반으로 동기화를 수행 시,
    오디오 클록 속도(audio clock rate)를 조절하는 것을 특징으로 하는 오디오 신호 처리 장치.
  35. 제24항에 있어서,
    상기 제어부는,
    상기 제1 동기 오차를 기반으로 동기화를 수행 시,
    인터폴래이션(interpolation) 또는 데시매이션(decimation)을 통해 오디오 샘플링 레이트(audio sampling rate)를 조절하는 것을 특징으로 하는 오디오 신호 처리 장치.
  36. 제25항에 있어서,
    상기 제어부는,
    상기 시스템 지연 오차와 상기 제1 동기 오차 또는 상기 시스템 지연 오차와 상기 제2 동기 오차를 이용하여 상기 다른 오디오 신호 처리 장치와의 거리에 따른 거리 지연 오차를 계산하고, 상기 거리 지연 오차를 기반으로 상기 다른 오디오 신호 처리 장치의 위치 정보를 획득하는 것을 특징으로 하는 오디오 신호 처리 장치.
  37. 제36항에 있어서,
    상기 위치 정보는
    상기 다른 오디오 신호 처리 장치와의 거리 및 각도 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 오디오 신호 처리 장치.
  38. 제36항에 있어서,
    상기 제어부는,
    상기 다른 오디오 신호 처리 장치와의 위치 정보 따라 레이아웃을 확인하고, 상기 레이아웃에 따라 음향 제공 방법을 설정하는 것을 특징으로 하는 오디오 신호 처리 장치.
  39. 제38항에 있어서,
    상기 제어부는,
    상기 레이아웃에 따라 음향 제공 방법을 설정 시,
    채널 배정 및 음향 성분 중 적어도 하나 이상을 설정하는 것을 특징으로 하는 오디오 신호 처리 장치.
  40. 제39항에 있어서,
    상기 제어부는,
    상기 다른 오디오 신호 처리 장치와의 위치 정보 따라 레이아웃을 확인 시,
    청취자의 위치 및 상기 다른 오디오 신호 처리 장치와의 거리에 따라 상기 청취자와 상기 다른 오디오 신호 처리 장치 사이의 영역인 근거리 영역, 상기 청취자와 동일한 거리를 갖는 청취 영역 및 상기 청취자의 위치보다 먼 원거리 영역을 구별하고, 상기 근거리 영역, 상기 청취 영역 및 상기 원거리 영역 중 어떤 영역에 위치하는지 여부를 확인하는 것을 특징으로 하는 오디오 신호 처리 장치.
  41. 제40항에 있어서,
    상기 제어부는,
    상기 레이아웃에 따라 음향 제공 방법을 설정 시,
    상기 근거리 영역에 위치하는 경우, 저역 신호 강조하도록 설정하는 것을 특징으로 하는 오디오 신호 처리 장치.
  42. 제40항에 있어서,
    상기 제어부는,
    상기 레이아웃에 따라 음향 제공 방법을 설정 시,
    상기 청취 영역에 위치하는 경우, 오디오의 크기를 줄이고 해상력을 높이도록 설정하는 것을 특징으로 하는 오디오 신호 처리 장치.
  43. 제40항에 있어서,
    상기 제어부는,
    상기 다른 오디오 신호 처리 장치와의 위치 정보 따라 레이아웃을 확인 시,
    청취자의 위치를 기준으로 상기 다른 오디오 신호 처리 장치의 좌측 영역, 우측 영역 및 중앙 영역을 구별하고, 상기 좌측 영역, 상기 우측 영역 및 상기 중앙 영역 중 어떤 영역에 위치하는지 여부를 확인하는 것을 특징으로 하는 오디오 신호 처리 장치.
  44. 제43항에 있어서,
    상기 제어부는,
    상기 레이아웃에 따라 음향 제공 방법을 설정 시,
    상기 근거리 영역에 위치하는 경우, 상기 좌측 영역, 상기 우측 영역 및 상기 중앙 영역 중 어떤 영역에 위치하는지에 따라 Front L 신호, Front R 신호 또는 Center 신호를 출력하도록 설정하는 것을 특징으로 하는 오디오 신호 처리 장치.
  45. 제43항에 있어서,
    상기 제어부는,
    상기 레이아웃에 따라 음향 제공 방법을 설정 시,
    상기 청취 영역 또는 상기 원거리 영역에 위치하는 경우, 상기 좌측 영역, 상기 우측 영역 및 상기 중앙 영역 중 어떤 영역에 위치하는지에 따라 surround L 신호, surround R 신호 또는 Center 신호를 출력하도록 설정하는 것을 특징으로 하는 오디오 신호 처리 장치.
  46. 제38항에 있어서,
    상기 다른 오디오 신호 처리 장치는 동영상을 함께 재생하는 장치인 것을 특징으로 하는 오디오 신호 처리 장치.
  47. 제 1 항 내지 제21 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 비일시적 기록매체.
KR1020150101988A 2015-07-17 2015-07-17 오디오 신호 처리 방법 및 장치 KR102393798B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150101988A KR102393798B1 (ko) 2015-07-17 2015-07-17 오디오 신호 처리 방법 및 장치
US15/212,831 US9942684B2 (en) 2015-07-17 2016-07-18 Audio signal processing method and audio signal processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150101988A KR102393798B1 (ko) 2015-07-17 2015-07-17 오디오 신호 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170009650A true KR20170009650A (ko) 2017-01-25
KR102393798B1 KR102393798B1 (ko) 2022-05-04

Family

ID=57776041

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150101988A KR102393798B1 (ko) 2015-07-17 2015-07-17 오디오 신호 처리 방법 및 장치

Country Status (2)

Country Link
US (1) US9942684B2 (ko)
KR (1) KR102393798B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019156389A1 (ko) * 2018-02-06 2019-08-15 삼성전자주식회사 디스플레이 장치 및 이를 포함하는 오디오 시스템
KR20200034329A (ko) 2018-09-21 2020-03-31 주식회사 룩시드랩스 시간 동기화를 위한 방법 및 장치
WO2020209632A1 (ko) * 2019-04-10 2020-10-15 전현주 데이터 그룹재생 장치 및 그 시스템과 방법
WO2020256184A1 (ko) * 2019-06-20 2020-12-24 엘지전자 주식회사 디스플레이 장치

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170034263A1 (en) * 2015-07-30 2017-02-02 Amp Me Inc. Synchronized Playback of Streamed Audio Content by Multiple Internet-Capable Portable Devices
US10353424B2 (en) 2016-07-01 2019-07-16 Imagination Technologies Limited Clock synchronisation
CN106878792A (zh) * 2017-03-14 2017-06-20 上海兆芯集成电路有限公司 影音串流的音频同步方法
US10242680B2 (en) 2017-06-02 2019-03-26 The Nielsen Company (Us), Llc Methods and apparatus to inspect characteristics of multichannel audio
TW201931863A (zh) * 2018-01-12 2019-08-01 圓剛科技股份有限公司 多媒體訊號的同步設備及其同步方法
JP6999232B2 (ja) * 2018-03-18 2022-01-18 アルパイン株式会社 音響特性測定装置および方法
US10992336B2 (en) * 2018-09-18 2021-04-27 Roku, Inc. Identifying audio characteristics of a room using a spread code
US10931909B2 (en) 2018-09-18 2021-02-23 Roku, Inc. Wireless audio synchronization using a spread code
US10958301B2 (en) * 2018-09-18 2021-03-23 Roku, Inc. Audio synchronization of a dumb speaker and a smart speaker using a spread code
KR102527842B1 (ko) 2018-10-12 2023-05-03 삼성전자주식회사 전자 장치 및 그 제어 방법
US11361773B2 (en) * 2019-08-28 2022-06-14 Roku, Inc. Using non-audio data embedded in an audio signal

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020136414A1 (en) * 2001-03-21 2002-09-26 Jordan Richard J. System and method for automatically adjusting the sound and visual parameters of a home theatre system
US6728584B1 (en) * 1998-09-02 2004-04-27 Ati Technologies Synchronization and mixing of multiple streams at different sampling rates
JP2011008136A (ja) * 2009-06-29 2011-01-13 Kddi Corp 同期再生装置、同期再生方法および同期再生プログラム
KR20120128148A (ko) * 2010-02-26 2012-11-26 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 워터마크 신호 제공 및 워터마크 임베딩
KR101391751B1 (ko) * 2013-01-03 2014-05-07 삼성전자 주식회사 디스플레이장치 및 그 사운드 제어방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100490403B1 (ko) 2002-05-04 2005-05-17 삼성전자주식회사 오디오 스트림의 버퍼링 제어 방법 및 그 장치
US8234395B2 (en) 2003-07-28 2012-07-31 Sonos, Inc. System and method for synchronizing operations among a plurality of independently clocked digital data processing devices
US7668243B2 (en) 2004-05-18 2010-02-23 Texas Instruments Incorporated Audio and video clock synchronization in a wireless network
GB0426448D0 (en) * 2004-12-02 2005-01-05 Koninkl Philips Electronics Nv Position sensing using loudspeakers as microphones
JP2007060253A (ja) 2005-08-24 2007-03-08 Sharp Corp スピーカ配置の判定システム
JP4928967B2 (ja) 2007-02-02 2012-05-09 パイオニア株式会社 音響装置、その方法、そのプログラム及びその記録媒体
US9031268B2 (en) 2011-05-09 2015-05-12 Dts, Inc. Room characterization and correction for multi-channel audio
JP6105861B2 (ja) 2012-05-25 2017-03-29 キヤノン株式会社 音響処理装置および音響処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6728584B1 (en) * 1998-09-02 2004-04-27 Ati Technologies Synchronization and mixing of multiple streams at different sampling rates
US20020136414A1 (en) * 2001-03-21 2002-09-26 Jordan Richard J. System and method for automatically adjusting the sound and visual parameters of a home theatre system
JP2011008136A (ja) * 2009-06-29 2011-01-13 Kddi Corp 同期再生装置、同期再生方法および同期再生プログラム
KR20120128148A (ko) * 2010-02-26 2012-11-26 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 워터마크 신호 제공 및 워터마크 임베딩
KR101391751B1 (ko) * 2013-01-03 2014-05-07 삼성전자 주식회사 디스플레이장치 및 그 사운드 제어방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019156389A1 (ko) * 2018-02-06 2019-08-15 삼성전자주식회사 디스플레이 장치 및 이를 포함하는 오디오 시스템
KR20200034329A (ko) 2018-09-21 2020-03-31 주식회사 룩시드랩스 시간 동기화를 위한 방법 및 장치
WO2020209632A1 (ko) * 2019-04-10 2020-10-15 전현주 데이터 그룹재생 장치 및 그 시스템과 방법
US11450347B2 (en) 2019-04-10 2022-09-20 Musicmob Co., Ltd. Data group playback device and system and method for same
WO2020256184A1 (ko) * 2019-06-20 2020-12-24 엘지전자 주식회사 디스플레이 장치
US11887588B2 (en) 2019-06-20 2024-01-30 Lg Electronics Inc. Display device

Also Published As

Publication number Publication date
US20170019748A1 (en) 2017-01-19
KR102393798B1 (ko) 2022-05-04
US9942684B2 (en) 2018-04-10

Similar Documents

Publication Publication Date Title
KR102393798B1 (ko) 오디오 신호 처리 방법 및 장치
KR102114226B1 (ko) 구성가능한 구역을 구비한 오디오 시스템
US7123731B2 (en) System and method for optimization of three-dimensional audio
RU2653136C2 (ru) Оборудование для записи и воспроизведения звуковых сигналов
AU2016293470B2 (en) Synchronising an audio signal
AU2001239516A1 (en) System and method for optimization of three-dimensional audio
US9900692B2 (en) System and method for playback in a speaker system
KR102580502B1 (ko) 전자장치 및 그 제어방법
KR20140146491A (ko) 오디오 시스템, 오디오 장치 및 오디오 장치의 채널 맵핑 방법
CN112637732A (zh) 显示装置以及音频信号的播放方法
US10523171B2 (en) Method for dynamic sound equalization
JP2022548400A (ja) ハイブリッド式近距離／遠距離場スピーカー仮想化
US11140484B2 (en) Terminal, audio cooperative reproduction system, and content display apparatus
KR20170039520A (ko) 오디오 출력 장치 및 오디오 출력 장치의 제어 방법
US20190182557A1 (en) Method of presenting media
KR101946471B1 (ko) 비디오와 오디오를 동기화 하는 장치 및 방법
JP2007180662A (ja) 映像音声再生装置、方法およびプログラム
KR200319770Y1 (ko) 다채널 헤드폰 시스템
JP2016208285A (ja) 音声無線伝送システム、およびソース機器
WO2016139392A1 (en) An apparatus and method to assist the synchronisation of audio or video signals from multiple sources
JP2010157954A (ja) オーディオ再生装置
KR20160079339A (ko) 음향 서비스 제공 방법 및 시스템, 그리고 음향 전송 장치
JP2016208166A (ja) 信号処理装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right