KR102609084B1 - 전자장치, 그 제어방법 및 기록매체 - Google Patents

전자장치, 그 제어방법 및 기록매체 Download PDF

Info

Publication number
KR102609084B1
KR102609084B1 KR1020180097715A KR20180097715A KR102609084B1 KR 102609084 B1 KR102609084 B1 KR 102609084B1 KR 1020180097715 A KR1020180097715 A KR 1020180097715A KR 20180097715 A KR20180097715 A KR 20180097715A KR 102609084 B1 KR102609084 B1 KR 102609084B1
Authority
KR
South Korea
Prior art keywords
sound
speakers
signal
correction
electronic device
Prior art date
Application number
KR1020180097715A
Other languages
English (en)
Other versions
KR20200021854A (ko
Inventor
위호석
김민
코닌 미하일
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180097715A priority Critical patent/KR102609084B1/ko
Priority to PCT/KR2019/010637 priority patent/WO2020040541A1/ko
Priority to US17/270,208 priority patent/US11589180B2/en
Publication of KR20200021854A publication Critical patent/KR20200021854A/ko
Application granted granted Critical
Publication of KR102609084B1 publication Critical patent/KR102609084B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/607—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for more than one sound signal, e.g. stereo, multilanguages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems

Abstract

본 발명은 전자장치, 그 제어방법 및 기록매체에 관한 것으로서, 전자장치는, 음향신호를 처리하는 신호처리부; 및 처리된 음향신호에 기초하여 음향을 출력하는 스피커의 위치정보를 획득하고, 획득된 스피커의 위치정보에 기초하여, 음향신호의 음상이 미리 정해진 기준 공간음향특성을 가지도록 제1보정을 수행하고, 제1보정이 수행된 음향신호의 음상이 목표 공간음향특성을 가지도록 제2보정을 수행하는 프로세서를 포함한다. 이에 따라, 스피커 설치 시 공간적인 제약을 받지 않으며, 보정된 음향신호에 의해 음장확장의 효과를 실현할 수 있게 된다.

Description

전자장치, 그 제어방법 및 기록매체{ELECTRONIC APPARATUS, METHOD FOR CONTROLLING THEREOF AND RECORDING MEDIA THEREOF}
본 발명은 전자장치, 그 제어방법 및 기록매체에 관한 것으로서, 보다 상세하게는 음향신호를 처리하는 전자장치, 그 제어방법 및 기록매체에 관한 것이다.
텔레비전(TV)으로부터 출력되는 TV 음향과 같은 오디오의 출력 기능을 갖는 전자장치는, 방송이나 멀티미디어 컨텐츠 등의 다양한 음향신호를 출력한다.
전자장치의 오디오 출력은, 다양하게 구현될 수 있겠으나, 음향신호가 출력 가능한 스테레오 스피커를 포함하는 오디오 시스템으로 구현되는 경우가 많다. 또한, 최근에는 사운드 바(sound bar)와 같은 소형화/일체화된 형태의 장치도 사용이 확산되는 추세이다.
상기와 같이 음향신호를 출력하는 전자장치는 스피커 자체의 크기, 설치공간 크기나 구조 등의 조건에 따른 제약을 받는다.
이러한 설치 제약은, TV가 점차 슬림화 및 화면의 대형화를 추구하는 경향이 지속됨에 따라 더 많아질 수 있다. 또한, 전자장치의 설치 이후, 출력되는 음향신호가 본래 의도되었던 음장효과를 제공하지 못하는 경우가 종종 발생한다.
본 발명은, 상기한 문제점을 해결하고자 하는 것으로, 공간적인 제약조건 없이 음향신호를 출력하는 스피커를 설치할 수 있도록 하는 전자장치, 그 제어방법 및 기록매체를 제공하는 것이다.
또한, 본 발명은, 스피커를 통해 출력되는 음향신호를 통해 확장된 음장 효과를 실현할 수 있도록 하는 전자장치, 그 제어방법 및 기록매체를 제공하는 것이다.
본 발명 일 실시예에 따른 전자장치는, 음향신호를 처리하는 신호처리부; 및 처리된 음향신호에 기초하여 음향을 출력하는 스피커의 위치정보를 획득하고, 획득된 스피커의 위치정보에 기초하여, 음향신호의 음상이 미리 정해진 기준 공간음향특성을 가지도록 제1보정을 수행하고, 제1보정이 수행된 음향신호의 음상이 목표 공간음향특성을 가지도록 제2보정을 수행하는 프로세서를 포함한다. 이에 의하여, 스피커의 설치위치에 대한 제약없이 음장효과가 향상된 음질의 음향을 재생할 수 있다.
프로세서는, 데이터베이스로부터 획득된 스피커의 위치정보에 대응하는 두부전달함수를 선택하고, 선택된 두부전달함수를 이용하여 음향신호의 각 채널의 간섭을 상쇄하는 크로스토크 제거필터를 도출하고, 도출된 크로스토크 제거필터를 이용하여 음향신호를 제1보정할 수 있다. 프로세서는, 도출된 크로스토크 제거필터와 음향신호를 컨볼루션하여 제1보정을 수행할 수 있다. 이에, 출력 채널 간의 간섭을 상쇄하기 위한 크로스토크 제거필터를 제1보정에 활용하여, 음향신호를 기준점으로 용이하게 정위시킬 수 있다.
선택된 두부전달함수는, 스피커로부터 출력된 음파가 청취자의 양쪽 귀에 대응하는 측정점에 도달하는 직접경로의 두부전달함수 및 크로스토크경로의 두부전달함수를 포함한다. 이에, 사람의 양쪽 귀를 통해 음파가 수신되는 느낌을 주도록 음향신호를 처리할 수 있다.
기준 공간음향특성을 가지는 음향신호는, 청취자 두내의 기준점으로 음상이 정위될 수 있다. 이에, 음향신호의 음상이 두내의 기준점에 정위됨으로써 스피커의 설치위치에 따라 음장 효과가 악화 또는 약화되는 문제가 발생하지 않는다.
프로세서는, 데이터베이스로부터 미리 설정된 목표점에 대응하는 두부전달함수를 선택하고, 선택된 두부전달함수를 제1보정이 수행된 음향신호와 컨볼루션하여 제2보정을 수행할 수 있다. 이에, 청취자는 원하는 가상위치 즉, 목표점에서 음향이 출력/재생되고 있다고 느끼게 되어, 사용자에게 청각적인 편안함을 제공한다.
목표 공간음향특성을 가지는 음향신호는, 청취자 두외의 목표점으로 음상이 확장될 수 있다. 제2보정이 수행된 음향신호는, 음상이 목표 공간음향특성을 가지도록 음장확장되어 미리 설정된 목표점에 대응하는 가상음원 위치에 정위될 수 있다. 이에, 최적 청취영역인 스윗 스팟이 희망하는 위치에 생성되는 음장확장의 효과를 실현할 수 있게 된다.
청취자의 움직임을 감지하는 감지부를 더 포함하며, 프로세서는, 감지부의 감지결과에 기초하여 청취자의 위치를 식별하고, 식별된 청취자의 위치에 대한 상대적인 위치를 나타내는 스피커의 위치정보를 재획득하고, 재획득된 스피커의 위치정보에 기초하여, 음향신호에 대해 제1보정 및 제2보정을 수행할 수 있다. 이에, 청취자는 자신의 위치이동 즉, 움직임과 관계없이 계속해서 원하는 가상위치에서 음원이 재생되고 있는 것으로 느낄 수 있게 된다.
스피커는 음향신호의 채널개수에 대응하여 복수로 마련되고, 복수로 마련된 스피커는 설치공간에서 청취자에 대해 거리 또는 각도가 비정형적으로 배치될 수 있다. 이에, 공간상에서 출력채널에 따른 복수의 스피커에 대한 설치 자유도가 증가한다.
한편, 본 발명 일 실시예에 따른 전자장치의 제어방법은, 음향신호에 대응하는 음향을 출력하는 스피커의 위치정보를 획득하는 단계; 획득된 스피커의 위치정보에 기초하여, 음향신호의 음상이 미리 정해진 기준 공간음향특성을 가지도록 제1보정을 수행하는 단계; 및 제1보정이 수행된 음향신호의 음상이 목표 공간음향특성을 가지도록 제2보정을 수행하는 단계를 포함한다. 이에 의하여, 스피커의 설치위치에 대한 제약없이 음장효과가 향상된 음질의 음향을 재생할 수 있다.
제1보정을 수행하는 단계는, 획득된 스피커의 위치정보에 대응하는 두부전달함수를 데이터베이스로부터 선택하는 단계; 택된 두부전달함수를 이용하여 음향신호의 각 채널의 간섭을 상쇄하는 크로스토크 제거필터를 도출하는 단계; 및 도출된 크로스토크 제거필터를 이용하여 음향신호를 제1보정하는 단계를 포함할 수 있다. 음향신호를 제1보정하는 단계는, 도출된 크로스토크 제거필터와 음향신호를 컨볼루션하여 제1보정을 수행하는 단계를 포함할 수 있다. 이에, 출력 채널 간의 간섭을 상쇄하기 위한 크로스토크 제거필터를 제1보정에 활용하여, 음향신호를 기준점으로 용이하게 정위시킬 수 있다.
선택된 두부전달함수는, 스피커로부터 출력된 음파가 청취자의 양쪽 귀에 대응하는 측정점에 도달하는 직접경로의 두부전달함수 및 크로스토크경로의 두부전달함수를 포함할 수 있다. 이에, 청취자의 왼쪽 귀와 오른쪽 귀 각각에서 독립적으로 음파가 수신되는 느낌을 주도록 음향신호를 처리할 수 있다.
기준 공간음향특성을 가지는 음향신호는, 청취자 두내의 기준점으로 음상이 정위될 수 있다. 이에, 음향신호의 음상이 두내의 기준점에 정위됨으로써 스피커의 설치위치에 따라 음장 효과가 악화 또는 약화되는 문제가 발생하지 않는다.
제2보정을 수행하는 단계는, 데이터베이스로부터 미리 설정된 목표점에 대응하는 두부전달함수를 선택하는 단계; 및 선택된 두부전달함수를 제1보정이 수행된 음향신호와 컨볼루션하여 제2보정을 수행하는 단계를 포함할 수 있다. 이에, 청취자는 원하는 가상위치 즉, 목표점에서 음향이 출력/재생되고 있다고 느끼게 되어, 사용자에게 청각적으로 자연스런 음상정위감 및 음장을 제공한다.
목표 공간음향특성을 가지는 음향신호는, 청취자 두외의 목표점으로 음상이 확장될 수 있다. 제2보정이 수행된 음향신호는, 음상이 목표 공간음향특성을 가지도록 음장확장되어 미리 설정된 목표점에 대응하는 가상음원 위치에 정위될 수 있다. 이에, 최적 청취영역인 스윗 스팟이 확대되는 음장확장의 효과를 실현할 수 있게 된다.
청취자의 움직임을 감지하는 감지부의 감지결과에 기초하여 청취자의 위치를 식별하는 단계; 식별된 청취자의 위치에 대한 상대적인 위치를 나타내는 스피커의 위치정보를 재획득하는 단계; 재획득된 스피커의 위치정보에 기초하여, 음향신호에 대해 제1보정 및 제2보정을 수행하는 단계를 더 포함할 수 있다. 이에, 청취자는 자신의 위치이동 즉, 움직임과 관계없이 계속해서 원하는 가상위치에서 음원이 재생되고 있는 것으로 느낄 수 있게 된다.
한편, 본 발명 일 실시예에 따른 전자장치의 프로세서에 의해 실행 가능한 방법의 프로그램이 기록된, 컴퓨터에 의해 독취가능한 비휘발성의 기록매체에서, 방법은, 음향신호에 대응하는 음향을 출력하는 스피커의 위치정보를 획득하는 단계; 획득된 스피커의 위치정보에 기초하여, 음향신호의 음상이 미리 정해진 기준 공간음향특성을 가지도록 제1보정을 수행하는 단계; 및 제1보정이 수행된 음향신호의 음상이 목표 공간음향특성을 가지도록 제2보정을 수행하는 단계를 포함한다. 이에 의하여, 스피커의 설치위치에 대한 제약없이 음장효과가 향상된 음질의 음향을 재생할 수 있다.
상기한 바와 같은 본 발명의 전자장치, 그 제어방법 및 기록매체에 따르면, 음파를 출력하는 복수의 스피커가 상호 비정형적으로 배치되게 설치된 경우라도, 제1보정에 의해 좌우 채널의 음향신호의 음상이 원점 즉, 두내의 기준점에 정위되도록 함으로써, 스피커 설치 시 공간적인 제약을 받지 않는 효과가 있다.
또한, 본 발명의 전자장치, 그 제어방법 및 기록매체에 따르면, 제2보정에 의해 청취자가 원하는 가상위치에서 음향이 재생되고 있다고 느끼도록 해줌으로써, 사용자에게 청각적인 편안함을 제공하면서도 음장확장의 효과를 실현할 수 있게 된다.
또한, 본 발명의 전자장치, 그 제어방법 및 기록매체에 따르면, 사용자단말 또는 전자장치에서 사용자 및 스피커의 위치를 자동으로 검출하고, 그 검출결과에 따른 사용자와 좌우채널 스피커 간의 상대적 공간위치에 기초하여 제1보정 및 제2보정을 수행함으로써, TV와 같은 가상위치에서 음향이 재생되고 있는 것과 같은 음장효과를 실현할 수 있게 된다.
도 1 내지 도 3은 본 발명 실시예에 의한 전자장치의 예들을 도시한 것이다.
도 4는 본 발명 일 실시예에 따른 전자장치의 구성을 도시한 블록도이다.
도 5와 도 6은 본 발명 일 실시예에 따라 스피커가 설치 가능한 위치를 설명하기 위한 도면이다.
도 7은 본 발명 일 실시예에 따라 두부전달함수를 측정하는 방식을 설명하기 위한 도면이고, 도 8은 도 7의 방식에 의해 구축된 두부전달함수 데이터베이스의 일례를 도시한 도면이다.
도 9는 본 발명 일 실시예에 따른 전자장치의 제어방법을 도시한 흐름도이다.
도 10 내지 도 13은 본 발명 실시예에 따른 전자장치에서 스피커의 위치정보를 획득하는 방법을 설명하기 위한 도면이다.
도 14는 본 발명 일 실시예에 따른 전자장치에서 보정이 수행된 음향신호가 출력되는 예를 도시한 도면이다.
도 15는 본 발명 다른 실시예에 따른 전자장치에서 보정이 수행된 음향신호가 출력되는 예를 도시한 도면이다.
도 16은 본 발명 다른 실시예에 따른 전자장치의 제어방법을 도시한 흐름도이고, 도 17과 도 18은 도 16의 실시예에 따른 전자장치에서 보정이 수행된 음향신호가 출력되는 예를 도시한 도면이다.
이하에서는 첨부 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 도면에서 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 구성요소를 지칭하며, 도면에서 각 구성요소의 크기는 설명의 명료성과 편의를 위해 과장되어 있을 수 있다. 다만, 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 이하의 실시예에 설명된 구성 또는 작용으로만 한정되지는 않는다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
본 발명의 실시예에서, 제1, 제2 등과 같이 서수를 포함하는 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 발명의 실시예에서, '구성되다', '포함하다', '가지다' 등의 용어는 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 또한, 본 발명의 실시예에서, '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있으며, 적어도 하나의 모듈로 일체화되어 구현될 수 있다. 또한, 본 발명의 실시예에서, 복수의 요소 중 적어도 하나(at least one)는, 복수의 요소 전부뿐만 아니라, 복수의 요소 중 나머지를 배제한 각 하나 혹은 이들의 조합 모두를 지칭한다.
도 1 내지 도 3은 본 발명 실시예에 의한 전자장치의 예들을 도시한 것이다.
본 발명 일 실시예에 따른 전자장치(1)는 음향신호(오디오신호 또는 오디오컨텐츠 라고도 한다)를 사용자에게 제공한다. 전자장치(1)는 본체(101)와, 음향을 출력 가능한 하나 이상의 라우드 스피커(loudspeaker)(이하, 스피커 라고도 한다)(102, 103)로 구성된 스피커 모듈을 포함하는 스피커장치로 구현될 수 있다. 본체(101)에는 전자장치(1)가 동작을 수행하도록 하는 구성들이 마련되며, 그 형태, 설치 위치 및 개수는 도 1에 도시된 바에 한정되지 않는다.
스피커장치로 구현된 전자장치(1)는 통신부(도 4의 120)를 통해 외부의 신호공급원(2)(예를 들어, 텔레비전 등)으로부터 입력 음향신호를 수신하고, 이를 처리하여 출력 음향신호를 생성할 수 있다. 처리된 음향신호에 대응하는 음향은 스피커(102, 103)를 통해 출력된다.
본 발명에서 신호공급원(2)은 도 1에 도시된 텔레비전에 한정되지 않으며, 전자장치(1)는, 예를 들면 셋탑박스(STB), A/V 리시버, DVD나 블루레이 등의 광디스크 재생장치, 모바일장치 등 다양한 소스로부터 입력 음향신호를 공급받을 수 있다.
일 실시예에서 전자장치(1)에서 생성되는 출력 음향신호는 복수의 채널신호(예를 들어, 왼쪽 채널신호와 오른쪽 채널신호)로 구성되어, 각각의 스피커(102, 103)가 복수의 채널신호 중 대응되는 신호의 음향을 출력할 수 있다. 예를 들면, 도 1에 도시된 바와 같이, 전자장치(1)는 신호공급원(2)인 TV의 양측면에 마련된 스테레오 채널 오디오 시스템으로 구현되어, 왼쪽 스피커장치(101)는 왼쪽 채널신호(Left-ch, L)의 음향을 출력하고, 오른쪽 스피커장치(102)는 오른쪽 채널신호(Right-ch, R)의 음향을 출력할 수 있다.
도 1은 본 발명 전자장치(1)가 구현 가능한 하나의 실시예를 예로 들어 도시한 것으로, 스피커 모듈을 구성하는 스피커(102, 103)의 형태 및/또는 개수는 다양하게 구현될 수 있다. 즉, 전자장치(1)는, 3, 5, 7, 9, 또는 그 이상의 채널로 이루어진 음향신호를 처리하여 출력 가능하며, 예를 들어, 중앙 채널신호(C), 왼쪽 채널신호(L), 오른쪽 채널신호(R), 왼쪽 서라운드 채널신호(Ls) 및 오른쪽 서라운드 채널 신호(Rs)로 이루어진 5 채널의 오디오신호 즉, 음향을 스피커를 통해 출력할 수 있다.
또한, 전자장치(1)와 신호공급원(2)의 연결은 유선에 한정되지 않으며, 전자장치(1)는 다양한 방식의 유선 또는 무선 접속(예를 들어, 블루투스, 와이파이, 또는 와이파이 다이렉트 등)에 의해 입력 음향신호를 수신 가능할 것이다.
여기서, 본 발명 실시예에 따른 전자장치(1)는 신호공급원(2)뿐 아니라, 스피커(102, 103)와도 분리된 독립적인 장치로 구현될 수 있다. 이 경우, 전자장치(1)는 처리된 음향신호를 스피커(102, 103)로 전송한다. 스피커(102, 103)는 전자장치(1)로부터 처리된 음향신호를 수신하며, 그 수신된 음향신호에 기초한 음향을 출력할 수 있다.
도 2에 도시된 바와 같이, 본 발명 다른 실시예에서 전자장치(1)는 신호공급원(2)인 TV의 하부에 설치되는 사운드 바(sound bar) 형태의 스피커장치(105)로 구현될 수 있다. 사운드 바로 구현된 스피커장치(105)는 신호공급원(2)으로부터 입력 음향신호를 수신하고, 이를 처리하여 생성된 음향신호를 자체적으로 구비하는 음향출력부 즉, 스피커를 통해 출력할 수 있다.
본 발명의 또 다른 실시예로서 전자장치(10)는, 도 3에 도시된 바와 같이, 텔레비전(TV)과 같은 디스플레이장치로 구현될 수 있다. 전자장치(10)가 디스플레이장치로 구현된 경우, 전자장치(10)는 자체적으로 구비하는 음향출력부 또는 전자장치(10)와 연결된 스피커 모듈을 통해 음향신호를 출력할 수 있다.
상기와 같이, 전자장치가 TV(2)의 하부에 설치된 사운드 바 형태의 스피커 장치(105) 또는 TV 자체(10)인 실시예에서, 전자장치(105, 10)는 사용자(3) 즉, 청취자 또는 시청자가 마주보는 정면 위치에 설치되지 않고, 도 3과 같이, 사용자에 대해 비정형적으로 설치 또는 배치될 수 있다.
한편, 본 발명의 또 다른 실시예로서 전자장치는 랩탑(laptop), 태블릿(tablet), 모바일 폰, 멀티미디어 재생기, 전자액자, 디지털광고판, LFD, 셋탑박스, MP3 플레이어, DVD 플레이어, BD 플레이어, 라디오장치, A/V 리시버, 헤드폰, 헤드셋, 차량용 오디오장치 등 음향신호를 처리하여, 자체적으로 또는 연결된 스피커를 통해 출력 가능한 다양한 장치로 구현될 수 있다.
본 발명 실시예에 따른 전자장치(1,10)는 입력 음향신호를 처리하여 출력 음향신호를 생성한다. 출력 음향신호는 적어도 둘 이상의 채널신호(예를 들어, 왼쪽 채널신호와 오른쪽 채널신호)를 포함할 수 있다.
일 실시예에서 전자장치(1, 10)는 출력 음향신호를 보다 현장감 있게 재현하기 위해 그 음상(sound image)을 가변한다. 음상은 전자장치(1, 10)로부터 출력되는 오디오신호가 가상으로 맺히는 위치를 의미하며, 사람이 소리를 통해 느낄 수 있는 음원의 존재감 및 위치를 나타낼 수 있다.
본 발명 실시예에 따른 전자장치(1, 10)에서는, 음향신호의 음상을 특정 가상 위치에 정위시키는 보정을 수행함으로써, 사용자에게 보다 자연스러운 확장된 음장(sound stage 또는 sound field) 효과를 실현한다.
구체적으로, 전자장치(1, 10)는 입력 음향신호에 대해 음상이 미리 정해진 기준 공간음향특성을 가지도록 하는 제1보정을 수행하고, 제1보정이 수행된 음향신호에 대해 음상이 목표 공간음향특성을 가지도록 제2보정을 수행함으로써, 출력 음향신호를 생성할 수 있다. 여기서, 출력 음향신호는 입체 음향(stereophonic sound)으로 사용자(청취자)에게 제공될 수 있다.
이하에서는, 본 발명의 일 실시예에 따른 전자장치의 보다 구체적인 구성에 관해 설명한다.
도 4는 본 발명 일 실시예에 따른 전자장치의 구성을 도시한 블록도이다.
도 4에 도시된 바와 같이, 본 발명 일 실시예의 전자장치(1)는 신호출력부(110), 통신부(120), 신호입력부(130), 감지부(140), 신호처리부(150), 저장부(160) 및 프로세서(170)를 포함한다.
다만, 도 4에 도시된 본 발명의 일 실시예에 의한 전자장치(1)의 구성은 하나의 예시일 뿐이며, 다른 실시예에 의한 전자장치는 도 4에 도시된 구성 외에 다른 구성으로도 구현될 수 있다. 즉, 본 발명의 전자장치는 도 3에 도시된 구성 외 다른 구성이 추가되거나, 혹은 도 3에 도시된 구성 중 적어도 하나가 배제되어 구현될 수도 있다. 예를 들어, 도 4에 도시된 감지부(140)는 경우에 따라 전자장치(1)에서 배제 가능하다.
신호출력부(110)는 예를 들어, 가청주파수인 20Hz 내지 20KHz 대역의 음향신호를 출력하게 마련된다.
일 실시예에서 신호출력부(110)는 하나 이상의 스피커를 포함한다. 스피커는 음향신호의 채널개수에 대응하여 복수로 마련될 수 있으며, 예를 들어 도 1과 같은 왼쪽 스피커(L)(102) 및 오른쪽 스피커(R)(103)로 구성될 수 있다.
다른 실시예에서, 신호출력부(110)는 스피커(102, 103)로 출력 음향신호가 전송되도록 하는 인터페이스를 포함할 수 있다. 인터페이스는 예를 들면, AES3 또는 S/PDIF 등의 규격에 따른 적어도 하나 이상의 커넥터 또는 단자를 포함한다. 여기서, 스피커(102, 103)는 전자장치(1)에 포함되거나, 또는 전자장치(1)와 분리된 독립적인 장치일 수 있다.
또 다른 실시예에서, 스피커(102, 103)는 전자장치(1)로부터 유선 또는 무선 통신에 의해 출력 음향신호를 수신할 수 있다. 이 경우, 전자장치(1)는 후술하는 통신부(120)를 통해 스피커(102, 103)로 음향신호를 전송할 수 있다. 여기서, 스피커(102, 103)는 전자장치(1)와 분리된 독립적인 장치가 된다.
본 발명 실시예에 따른 스피커(102, 103)는 신호공급원(2)의 위치, 설치 공간의 크기 등을 고려하여 다양한 위치에 설치될 수 있다. 즉, 본 발명에서는 청취자(3)가 최적의 음장효과를 누릴 수 있는 최적 청취영역인 스윗 스팟(sweet spot)을 제공할 수 있는 스피커(102, 103)의 설치범위가 설정 가능하다.
일 실시예에서, 좌우 스피커(102, 103)는 설치공간에서 청취자(3)의 양쪽 귀에 대해 거리 또는 각도가 상호 비정형적 또는 비대칭적으로 위치 또는 배치(flexible located)되게 설치된다. 또한, 본 발명의 전자장치(1)는 좌우 스피커(102, 103)는 서로 다른 종류의 스피커인 경우를 포함한다.
도 5와 도 6은 본 발명 일 실시예에 따라 스피커가 설치 가능한 위치를 설명하기 위한 도면이다.
본 발명 실시예에 따른 전자장치(1)에서, 처리된 음향신호에 기초한 음향을 출력하는 라우드 스피커(102, 103)는, 도 5 및 도 6에 도시된 설치가능영역(502, 503) 내의 임의의 위치에 설치되는 것을 일례로 한다.
설치가능영역(502, 503)은, 전자장치(1)의 설치공간을 잔향/반향이 심하지 않은 전형적인 시청공간으로 가정했을 때, 음원 즉, 스피커(102, 103)로부터 출력되는 음파의 평균음압이 90 dB 이상이 되는 영역으로 결정된다. 즉, 설치가능영역(502, 503)의 상기와 같은 특정 설치공간(시청공간)에서 평균음압을 측정한 실험치에 의해 결정될 수 있다.
예를 들어, 신호공급원(2)인 TV가 설치되는 공간의 크기가 5(W)Х3(H)Х7(D) [m]이고, TV의 화면 크기가 19~100 [inch]인 경우, 청취자(3)와 음원인 스피커(102, 103) 간의 거리가 2.3 [m]인 위치에서 측정되는 평균음압은 90dB 이상이 확보 가능하므로, 설치가능영역(502, 503)에 포함된다. 다만, 상기한 TV 설치공간의 크기는 일례로서, 본 발명에서는 설치공간의 크기에 대한 조건 또는 제약은 거의 발생하지 않는다.
도 5와 도 6은 상기와 같은 방식에 의해 결정된 스피커(102, 103)의 설치가능영역(502, 503)의 일례를 도시한 것으로, 청취자(3)의 전방 설치 가능한 최대반경은 2.5 [m], 후방 설치 가능한 최대반경 1.5 [m]일 수 있다. 또한, 설치가능 최소반경은 청취자(3)의 머리중심위치로부터 0.6 [m]로서, 청취자(3)로부터 설치가능 최소반경 내의 영역(504)은 설치가능영역에서 제외될 수 있다. 즉, 도 6에 도시된 바와 같이, 스피커(102, 103)는 청취자(3)의 좌우에서 전방측으로 0.6~2.5 [m], 후방측으로 0.6~1.5 [m]의 범위에 설치 가능하다.
도 5에 도시된 일례에서는, 왼쪽 설치가능영역(501)과 오른쪽 설치가능영역(502)이 청취자(3)의 전방 소정 위치에서 1.2 [m] 이격되며, 청취자(3)의 후방에서는 70°+70° 만큼 이격될 수 있다.
상기한 도 5 및 도 6에서 설명한 바와 같이 결정되는 스피커102, 103)의 설치가능영역(502, 503)은, 본 발명의 전자장치(1)에서 수행되는 음향신호 처리에 따라 스피커(102, 103)를 통해 출력되는 음향에 대해 음상정위감의 보정이 가능한 공간영역의 범위에 대응한다.
통신부(120)는 신호공급원(2)을 포함한 다양한 외부장치와 통신을 수행한다.
전자장치(1)는 통신부(120)를 통해 입력 음향신호를 수신하며, 입력 음향신호는 텔레비전(TV)을 포함하는 다양한 외부의 신호공급원(2)으로부터 수신될 수 있다. 신호공급원(2)은 TV와 연결 가능한 셋탑박스, DVD나 블루레이와 같은 광디스크 재생장치 등의 영상처리기기, 스마트폰, 태블릿 등과 같은 모바일기기를 포함하며, 통신부(120)는 인터넷을 통하여 외부의 서버로부터 음향신호를 수신할 수도 있다.
통신부(120)는 신호공급원(2)을 포함하는 외부장치에 대응하는 다양한 통신 방식에 의해 구현된다.
통신부(120)는 다양한 종류의 통신 프로토콜에 대응하는 무선 통신모듈(S/W module, chip 등)을 포함하는 통신회로(communication circuitry)로서 구현될 수 있다.
일 실시예에서 통신부(120)는 무선랜유닛을 포함한다. 무선랜유닛은 프로세서(170)의 제어에 따라 AP(access point)를 통해 무선으로 외부장치와 연결될 수 있다. 무선랜유닛은 와이파이(Wi-Fi) 통신모듈을 포함한다.
일 실시예에서 통신부(120) 는 AP 없이 무선으로 전자장치(1)와 외부장치 사이에 다이렉트로 통신을 지원하는 근거리 통신모듈을 포함한다. 근거리 통신모듈은 와이파이 다이렉트(Wi-Fi Direct), 블루투스(bluetooth), 블루투스 저에너지(bluetooth low energy), RF(radio frequency) 통신, 적외선통신(IrDA, infrared data association), 지그비(Zigbee), UWB(Ultra Wideband), NFC(Near Field Communication) 중 적어도 하나를 포함할 수 있다. 전자장치(1)가 외부장치(200)와 다이렉트로 통신을 수행하는 경우, 저장부(160)에는 통신 대상 기기인 외부장치에 대한 식별정보(예를 들어, MAC address 또는 IP address)가 저장될 수 있다.
본 발명 실시예에 따른 전자장치(1)에서, 통신부(120)는 성능에 따라 무선랜유닛과 근거리 통신모듈 중 적어도 하나에 의해 외부장치와 무선 통신을 수행하도록 마련된다.
일 실시예에서 통신부(120)는 이더넷(Ethernet) 등과 같은 유선통신모듈을 포함할 수 있다. 다른 실시예에서 통신부(120)는 LTE와 같은 이동통신, 자기장을 포함하는 EM 통신, 가시광통신 등의 다양한 통신방식에 의한 통신모듈을 더 포함할 수 있다.
일 실시예에서 통신부(120)는 HDMI(High Definition Multimedia Interface), HDMI-CFC(Consumer Electronics Control), USB, 컴포넌트(Component) 등의 규격에 따른 신호/데이터를 송/수신하는 접속부를 포함할 수 있다. 여기서, 통신부(120)는 이들 각각의 규격에 대응하는 적어도 하나 이상의 커넥터 또는 단자를 포함한다.
일 실시예에서 통신부(120)는 신호공급원(2)으로부터 2 채널 이상의 음향신호를 수신한다. 즉, 통신부(120)를 통해 수신되는 음향신호는 왼쪽 채널신호(L)와 오른쪽 채널신호(R)와 같은 복수의 채널(Discrete Stereo channel) 로 구성된 스테레오 신호이거나, 또는 그 이상의 채널신호로 구성된 멀티채널 오디오신호를 포함할 수 있다.
신호입력부(130)는 소정 위치에 설치된 스피커(102, 103)로부터 출력되는 음파를 입력 받는다. 신호입력부(130)는 음파 즉, 음향신호를 획득할 수 있는 마이크로폰(microphone)을 포함한다.
신호입력부(130)를 통해 입력된 음파는 신호변환부에 의해 전기적인 신호로 변환된다. 일 실시예에서 신호변환부는 아날로그 음파를 디지털 신호로 변환하는 AD 변환부를 포함한다. 또한, 일 실시예에서 신호변환부는 후술하는 신호처리부(150)에 포함될 수 있다.
일 실시예에서 복수의 스피커(102, 103)로부터 출력되는 좌우 채널 각각에 대응하는 음파는, 소정 시간 차이를 두고 신호입력부(130)를 통해 입력될 수 있다. 상기의 시간 차이를 나타내는 정보는 후술하는 스피커(102, 103)의 위치정보 획득 또는 이를 이용한 데이터베이스 구축 등에 활용될 수 있다.
다른 실시예에서, 신호입력부(130)는 전자장치(1)에 포함되는 구성이 아닌, 별도의 장치로서 구현될 수 있다. 음파수신이 가능한 하드웨어(예를 들면, 마이크로 폰)가 구비된 스마트폰을 포함하는 모바일장치는 신호입력부(130)가 마련된 별도의 장치의 일례이다.
감지부(140)는 청취자(3)의 움직임을 감지한다.
일 실시예에서, 감지부(140)는 청취자(3)가 이동하는 위치(머리 위치)를 실시간으로 또는 일정한 시간 간격으로 추적하여, 청취자(3)의 위치정보를 획득할 수 있다.
감지부(140)는 예를 들면, 사람의 움직임을 감지할 수 있는 적외선 카메라, 열화상 카메라 등으로 구현될 수 있다.
감지부(140)가 청취자(3)의 위치정보를 획득하는 방법은 상술한 예에 한정되지 않으며, 다른 예로서 청취자(3)가 소지 가능한 단말장치, 예를 들면 휴대폰, 리모컨 등에 마련된 적외선 카메라, 동작인식센서 또는 위치센서에 기초하거나, 또는 청취자(3)가 착용한 악세서리 또는 웨어러블 장치의 센서를 이용하여 청취자(3)의 위치정보를 획득할 수도 있을 것이다. 감지부(140)는 청취자가 소지 또는 착용한 단말장치의 센서 신호를 검출할 수 있다.
신호처리부(150)는 음향신호를 처리한다. 신호처리부(120)에서 처리된 음향신호는 스피커(102, 103)를 통해 출력됨으로써 사용자에게 음향 컨텐츠가 제공된다.
신호처리부(150)는 디지털 신호 프로세서(DSP)와 같은 마이크로 프로세서로 구현될 수 있다.
일 실시예에서 신호처리부(150)는 전자장치(1)에 내장되는 인쇄회로기판(PCB) 상에 실장되는 메인 SoC에 포함되는 형태로서 구현 가능하며, 메인 SoC는 후술하는 프로세서(170)를 구현하는 일례인 CPU를 더 포함할 수 있다.
저장부(160)는 전자장치(1)의 다양한 데이터를 저장하도록 구성된다. 저장부(160)는 전자장치(1)에 공급되는 전원이 차단되더라도 데이터들이 남아있어야 하며, 변동사항을 반영할 수 있도록 쓰기 가능한 비휘발성 메모리(writable ROM)로 구비될 수 있다. 즉, 저장부(160)는 플래쉬 메모리(flash memory), EPROM 또는 EEPROM 중 어느 하나로 구비될 수 있다. 저장부(160)는 전자장치(1)의 읽기 또는 쓰기 속도가 비휘발성 메모리에 비해 빠른 DRAM 또는 SRAM과 같은 휘발성 메모리(volatile memory)를 더 구비할 수 있다.
저장부(160)에 저장되는 데이터는, 예를 들면 전자장치(1)의 구동을 위한 운영체제를 비롯하여, 이 운영체제 상에서 실행 가능한 다양한 소프트웨어, 프로그램, 어플리케이션, 부가데이터 등을 포함한다.
본 발명 일 실시예에 따른 전자장치(1)에서, 저장부(160)에는 음원의 위치정보 별로 획득되는 음향신호에 대한 정보가 저장된 데이터베이스(database, DB)(161)가 마련된다.
상기와 같은 음향신호에 대한 정보는 두부전달함수(또는 머리전달함수)(Head related transfer function, HRTF)(이하, 전달함수 라고도 한다)인 것을 일례로 한다.
두부전달함수(HRTF)는 자유음장 상에서 음원과 청취자의 외이(外耳) 입구까지 경로 간에서 발생하는 공간정보 및 주파수정보 간의 관계를 나타내는 전달함수의 일종으로, 인간이 청각적으로 음상을 느끼기 위해 필요하게 되는 물리값으로서 활용될 수 있다.
일 실시예에서, 데이터베이스(161)는 청취자의 머리를 원점으로 하여 형성 가능한 극좌표계 상이 존재하는 여러 점, 즉 원점으로부터의 거리가 고정된 위치의 점들에서 측정한 두부전달함수의 데이터뿐 아니라, 원점으로부터의 거리 조건에 베리에이션(variation)을 부여하여 측정된 두부전달함수의 데이터들에 의해 구축될 수 있다. 즉, 데이터베이스(161)는 여러 종류의 반경거리를 갖는 극좌표계 기반 HRTF 데이터를 갖는 HRTF DB가 될 수 있다.
도 7은 본 발명 일 실시예에 따라 두부전달함수를 측정하는 방식을 설명하기 위한 도면이고, 도 8은 도 7의 방식에 의해 구축된 두부전달함수 데이터베이스의 일례를 도시한 도면이다.
음원 위치 별 두부전달함수를 측정하여 HRTF DB를 구축하는 방식의 일례는 다음과 같다.
구체적으로, 도 1 또는 도 2에 도시된 바와 같은 좌우채널의 스피커(102, 103)가 설치 가능한 공간에서, 도 7에 도시된 바와 같이, 청취자(리스너)(3)의 양쪽 귀의 대응되는 각 위치(측정점)(302, 303)에 일종의 테스트 신호인 측정용 음파(전기음향신호)가 수신 가능한 2개의 마이크로 폰(왼쪽 마이크로 폰과 오른쪽 마이크로 폰)이 설치된다.
그리고, 측정점(302, 303)인 마이크로 폰의 위치를 원점으로 하여, 두부전달함수를 측정하고자 하는 좌표값에 대응되는 위치에, 측정용 음파를 발생시키는 음원의 예로서 스피커(102, 103)가 설치된다. 여기서, 설치되는 스피커(102, 103)는 모노 채널 라우드 스피커인 것을 것을 일례로 한다. 일 실시예에서 스피커(102, 103)는 도 5 및 도 6에서 설명한 설치가능영역(502, 503) 내에 설치될 수 있다.
이 상태에서, 스피커(102, 103)에 의해 측정용 음파를 재생하고, 측정점(302, 303)에 설치된 2개의 마이크로 폰에서 그 재생된 음파에 대응하는 임펄스 응답(impulse response)를 획득(픽업)한다. 상기와 같이 픽업되는 임펄스 응답이 두부전달함수를 나타내는 신호가 된다.
일 실시예에서, 도 7에 도시된 바와 같이, 2개의 마이크로 폰은 각 스피커(102, 103)로부터 직접경로(directional path)에 대응하는 두부전달함수(HLL, HRR)와 크로스토크 경로(crosstalk path)에 대응하는 두부전달함수(HLR, HRL)를 각각 획득한다.
구체적으로, 음원의 좌표값에 대응되는 위치가 청취자(3)의 왼쪽 귀에 대응하는 측정점(302)에 설치된 왼쪽 마이크로폰에 가까운 스피커(102)로부터 출력된 음파의 경우, 왼쪽 마이크로폰을 통해 측정된 전달함수 신호가 직접경로의 두부전달함수(HLL)가 되고, 상대적으로 거리가 먼 오른쪽 마이크로폰을 통해 측정된 전달함수 신호가 크로스토크 경로의 두부전달함수(HLR)가 된다.
이렇게 왼쪽 및 오른쪽 마이크로폰을 통해 각각 측정된 전달함수 신호의 한 쌍(pair)(HLL, HLR)가 오디오 시스템의 왼쪽 채널에 해당하는 스피커(102)의 HRTF 데이터로서 데이터베이스(161)에 기록된다.
같은 방식으로, 음원의 좌표값에 대응되는 위치가 청취자(3)의 오른쪽 귀에 대응하는 측정점(303)에 설치된 오른쪽 마이크로폰에 가까운 스피커(103)로부터 출력된 음파의 경우, 오른쪽 마이크로폰을 통해 측정된 전달함수 신호가 직접경로의 두부전달함수(HRR)가 되고, 상대적으로 거리가 먼 왼쪽 마이크로폰을 통해 측정된 전달함수 신호가 크로스토크 경로의 두부전달함수(HRL)가 된다.
이렇게 왼쪽 및 오른쪽 마이크로폰을 통해 각각 측정된 전달함수 신호의 한 쌍(pair)(HRR, HRL)가 오디오 시스템의 오른쪽 채널에 해당하는 스피커(103)의 HRTF 데이터로서 데이터베이스(161)에 기록된다.
그리고, 상기와 같이 왼쪽 및 오른쪽 마이크로폰을 통해 획득된 HRTF 데이터를 조합하여, 소정 스피커(102, 103)의 위치에 대응하는 두부전달함수 HLL, HLR, HRR, HRL를 모두 획득할 수 있다.
사람은 소리를 청취하는 귀가 왼쪽과 오른쪽에 각각 하나씩 존재하기 때문에 소리가 도래하는 위치/방향을 자각할 수 있다. 상기와 같이 획득된 두부전달함수는 공간 상에서 음원이 왼쪽 또는 오른쪽 중 어느 쪽에 존재하는지 여부에 따른 각 음원들 간의 상대적인 위치관계에 대한 정보를 포함하게 된다. 그러므로, 본 발명에서는 상기와 같이 획득되는 두부전달함수 HLL, HLR, HRR, HRL를 이용함으로써, 실제 사람의 양쪽 귀를 통해 음파가 수신되는 느낌을 주도록 음향신호를 처리할 수 있게 된다.
본 발명 실시예에 따른 전자장치(1)에서는, 상기와 같은 방식으로 스피커(102, 103)의 위치를 다양하게 변경하면서 측정점(302, 303)에 설치된 왼쪽 및 오른쪽 마이크로폰을 통해 두부전달함수(HLL, HLR, HRR, HRL)를 획득함으로써, 음원 위치 별 두부전달함수에 대한 데이터베이스(161)가 구축된다. 여기서, 스피커(102, 103)의 위치는 도 5의 설치가능영역(502, 503)의 내에서 가변될 수 있다.
상기와 같이 구축된 HRTF 데이터베이스(161)의 일례는 도 8에 도시된 바와 같다.
다른 실시예에서, 도 8과 같은 HRTF 데이터베이스는 통신부(120)를 통해 유선 또는 무선 네트워크에 의해 접속 가능한 서버 등의 외부장치에 마련될 수 있다. 이 경우, 전자장치(1)는 통신부(120)를 통해 데이터베이스가 마련된 외부장치로부터 필요한 정보 즉, HRTF 데이터를 제공받을 수 있다.
프로세서(170)는 전자장치(1)의 제반 구성들이 동작하기 위한 제어를 수행한다. 프로세서(170)는 이러한 제어 동작을 수행할 수 있도록 하는 제어프로그램(혹은 인스트럭션)을 실행한다. 프로세서(170)는 제어프로그램이 설치된 비휘발성의 메모리로부터 제어프로그램의 적어도 일부를 휘발성의 메모리로 로드하고, 로드된 제어프로그램을 실행하는 적어도 하나의 범용 프로세서를 포함하며, 예를 들면 CPU(Central Processing Unit) 또는 AP(application processor)로 구현될 수 있다.
프로세서는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 프로세서는 복수의 프로세서, 예를 들어, 메인 프로세서(main processor) 및 슬립 모드(sleep mode, 예를 들어, 대기 전원만 공급되고 컨텐츠 제공장치로서 동작하지 않는)에서 동작하는 서브 프로세서(sub processor)를 포함할 수 있다. 또한, 프로세서, 롬 및 램은 내부 버스(bus)를 통해 상호 연결되며, 롬과 램은 저장부(160)에 포함된다.
본 발명에서 프로세서(170)를 구현하는 일례인 프로세서는 전자장치(1)에 내장되는 PCB 상에 실장되는 메인 SoC(Main SoC)에 포함되는 형태로서 구현 가능하다. 일 실시예에서 메인 SoC는 전술한 신호처리부(150)를 더 포함할 수 있다.
제어프로그램은, BIOS, 디바이스드라이버, 운영체계, 펌웨어, 플랫폼 및 응용프로그램(어플리케이션) 중 적어도 하나의 형태로 구현되는 프로그램(들)을 포함할 수 있다. 일 실시예로서, 응용프로그램은, 전자장치(1)의 제조 시에 전자장치(1)에 미리 설치 또는 저장되거나, 혹은 추후 사용 시에 외부로부터 응용프로그램의 데이터를 수신하여 수신된 데이터에 기초하여 전자장치(1)에 설치될 수 있다. 응용 프로그램의 데이터는, 예컨대, 어플리케이션 마켓과 같은 외부 서버로부터 전자장치(1)로 다운로드될 수도 있다. 이와 같은 외부 서버는, 본 발명의 컴퓨터프로그램제품의 일례이나, 이에 한정되는 것은 아니다.
일 실시예로서, 프로세서(170)의 동작은 전자장치(1)와 별도로 마련되는 컴퓨터프로그램제품(미도시)에 저장된 컴퓨터프로그램으로 구현될 수도 있다. 이 경우, 컴퓨터프로그램제품은 컴퓨터프로그램에 해당하는 인스트럭션이 저장된 메모리와, 프로세서를 포함한다. 인스트럭션은, 프로세서에 의해 실행되면, 음향신호에 기초하여 음향을 출력하는 스피커의 위치정보를 획득하고, 획득된 스피커의 위치정보에 기초하여 음향신호의 음상이 미리 정해진 기준 공간음향특성을 가지도록 제1보정을 수행하고, 제1보정이 수행된 음향신호의 음상이 목표 공간음향특성을 가지도록 제2 보정을 수행하는 것을 포함한다.
이에 따라, 전자장치(1)의 프로세서(170)는 별도의 컴퓨터프로그램제품에 저장된 컴퓨터프로그램을 다운로드 및 실행하여, 상기와 같은 인스트럭션의 동작을 수행할 수 있다.
한편, 본 발명 다른 실시예에서 전자장치는, 도 3에서 설명한 바와 같이, 텔레비전과 같은 디스플레이장치로 구현될 수 있다.
다른 실시예에 따른 전자장치(10)의 구성은, 신호출력부, 통신부, 신호입력부, 감지부, 신호처리부, 저장부 및 프로세서 외에, 영상신호를 처리하는 영상처리부와, 영상을 표시하는 디스플레이부를 더 포함하는 점에서 일 실시예의 전자장치(1)와 차이가 있다.
영상처리부는 영상에 대한 프로세스를 수행하여 생성 또는 결합한 신호를 디스플레이부에 출력함으로써, 디스플레이부에 영상신호에 대응하는 영상이 표시되게 한다. 영상처리부는 영상신호를 전자장치(10)의 영상 포맷에 대응하도록 디코드하는 디코더(decoder), 영상신호를 디스플레이의 출력규격에 맞도록 조절하는 스케일러(scaler)를 포함한다. 본 실시예의 디코더는 예를 들어, MPEG (Moving Picture Experts Group) 디코더로 구현될 수 있다. 여기서, 본 발명의 영상처리부가 수행하는 영상처리 프로세스의 종류는 한정되지 않는다.
디스플레이부의 구현 방식은 한정되지 않으며, 예를 들면 액정(liquid crystal), 플라즈마(plasma), 발광 다이오드(light-emitting diode), 유기발광 다이오드(organic light-emitting diode), 면전도 전자총(surface-conduction electron-emitter), 탄소 나노 튜브(carbon nano-tube), 나노 크리스탈(nano-crystal) 등의 다양한 디스플레이 방식으로 구현될 수 있다. 디스플레이부는 그 구현 방식에 따라서 부가적인 구성(예를 들면, 구동부)을 추가적으로 포함할 수 있다.
전자장치(10)는 방송국(미도시)으로부터 송출되는 RF(radio frequency) 신호를 무선으로 수신하거나, 컴포지트(composite) 비디오, 컴포넌트(component) 비디오, 슈퍼 비디오(super video), SCART, HDMI(high definition multimedia interface) 규격 등에 의한 영상신호를 유선으로 수신할 수 있다. 전자장치(10)가 TV 인 경우, 전자장치(10)는 방송신호를 채널 별로 튜닝하기 위한 튜너를 더 포함할 수 있다.
그러므로, 다른 실시예의 전자장치(10)에서 일 실시예의 전자장치(1)와 동일한 동작을 수행하는 구성요소에 대해서는 동일한 명칭을 사용하며, 중복 설명을 피하기 위하여 이 부분에 대해서는 자세한 설명을 생략하기로 한다.
도 9는 본 발명 일 실시예에 따른 전자장치의 제어방법을 도시한 흐름도이다.
도 9에 도시된 바와 같이, 전자장치(1)는 스피커(102, 103)의 위치정보를 획득한다(601). 여기서, 스피커(102, 103)의 위치는 청취자(3)의 위치에 대한 상대적인 위치로서, 위치정보는 청취자(3)의 머리위치를 원점으로 하는 데카르트 좌표계를 갖는 3차원 공간을 설정하여 획득될 수 있다.
도 10 내지 도 13은 본 발명 실시예에 따른 전자장치에서 스피커의 위치정보를 획득하는 방법을 설명하기 위한 도면이다.
일 실시예에서, 전자장치(1)는 외부 카메라와 같은 광학기기를 이용하여 왼쪽 및 오른쪽 채널의 음향신호를 출력하는 스피커(102, 103)의 위치정보를 획득한다. 여기서, 외부 카메라는, 도 10에 도시된 바와 같이, 스마트폰(4)과 같은 외부장치에 마련될 수 있으며, 스마트폰(4)에는 카메라를 통해 획득된 촬상 데이터에 기초하여 근사적 공간위치정보산출이 가능한 알고리즘(예를 들면, 화상인식 알고리즘 및 공간거리/각도 계산 알고리즘)을 수행하는 어플리케이션(소프트웨어)이 설치된다.
구체적으로, 도 10을 참조하면, 청취자(3)는 신호공급원(2) 즉, TV를 마주하고 있는 상태에서, 스마트폰(4)의 카메라를 통해 촬상된 TV와 스피커(102, 103)의 위치관계가 파악 가능한 화상 데이터를 획득한다.
스마트폰(4)은 설치된 알고리즘을 이용하여 화상데이터 및 스피커(102, 103)의 외관 크기(가로 및 세로길이) 및 이들 간의 비율을 나타내는 데이터를 대조함으로써, 스피커(102, 103)의 위치정보 즉, 청취자(3)로부터의 거리위치([m])를 측정할 수 있다.
여기서, 위치정보는, 상기와 같이 측정된 거리위치 외에, 왼쪽 및 오른쪽 스피커(102, 103)에 대한 각도위치([°])를 더 포함한다.
도 10에 도시된 바와 같이, 각도정보는 청취자(3)의 머리에 대한 양 스피커(102, 103)의 방향(direction) 및 방향각(direction angle) 정보를 이용하여 획득될 수 있다. 방향 및 방향각은 소정 기준축(reference axis)에 대한 스피커(102, 103)의 위치에 대응한다. 일 실시예에서, 기준축은 청취자(3)로부터 신호공급원(1)의 위치에 대응하여 설정될 수 있다.
상기와 같이 기준축이 설정되면, 그에 대해 왼쪽 및 오른쪽 스피커(102, 103)에 각각 대응하는 수평 방향 및 방향각(horizontal distance and distance angle)과 수직 방향 및 방향각(vertical distance and distance angle)을 각각 추정(estimation)하며, 그 추정결과에 기초하여 스피커(102, 103)의 각도위치가 특정될 수 있다.
상기와 같은 일 실시예는 스마트폰(4) 또는 TV와 같은 디스플레이장치(2)의 카메라를 통해 획득한 화상 데이터에 대해, PC 등의 별도 장치를 이용하여 스피커(102, 103)의 위치정보(거치위치 및 각도위치)를 특정하도록 구현될 수도 있다.
위와 같이, 일 실시예에 따라 특정된 스피커(102, 103)의 위치정보는 통신부(120)를 통해 전자장치(1)로 제공됨으로써, 전자장치(1)가 위치정보를 획득하게 된다.
다른 실시예에서, 청취자(3)는, 도 11에 도시된 바와 같이, 물리적인 거리층량도구(예를 들면, 줄자 등)를 사용하여 스피커(102, 103)의 위치정보를 직접 계측하고, 그 계측된 공간위치정보를 수치 데이터로서 전자장치(1)에 수동 입력할 수 있다. 이를 위해, 전자장치(1)에는 자체적으로 사용자입력부가 마련되거나, 통신부(120)를 통해 리모컨, 키보드 등의 입력장치가 연결될 수 있다. 여기서, 입력장치는 데이터 입력 기능을 갖는 단말장치를 포함한다.
또 다른 실시예에서, 전자장치(1)는 휴대폰 또는 스마트폰과 같은 외부 전자장치를 이용하여 스피커 위치를 획득할 수 있다. 여기서, 스피커(102, 103)의 위치정보는 왼쪽 및 오른쪽 채널에 각기 대응하는 좌우 스피커(102, 103) 간 출력 지연의 측정 등에 의해 획득될 수 있다.
구체적으로, 전자장치(1)의 프로세서(170)는 좌우 스피커(102, 103)에 의해 소정 측정용 신호, 예를 들면, 정현 스위프(sine sweep) 신호가 출력되도록 제어하고, 별도 구비된 마이크로 폰을 좌우 스피커(102, 103)로부터 출력된 음파를 입력받는다. 여기서, 마이크로 폰은, 도 12에 도시된 바와 같이, 스마트폰(4)과 같은 외부 전자장치에 마련될 수 있으며, 왼쪽 스피커(102)로부터 출력된 왼쪽 채널 음파와 오른쪽 스피커(103)로부터 출력된 오른쪽 채널 음파가 각각 입력된다. 스마트폰(4)에는 마이크로 폰을 통해 입력된 음파의 측정이 가능한 알고리즘을 수행할 수 있는 어플리케이션(소프트웨어)가 설치된다.
스마트폰(4)에서 마이크로 폰을 통해 수신되는 왼쪽 채널 음파와 오른쪽 채널 음파 각각은, 도 13에 도시된 바와 같은, 재생 지연속도(latency)에 따른 출력신호 지연시간 즉, 전파시간(time of flight, TOF)가 반영된 측정결과로서 기록된다.
스마트폰(4)은 상기와 같이 기록된 좌우 스피커(102, 103)로부터의 출력신호 간의 시간 차에 대응하는 지연특성을 산출할 수 있으며, 이 산출된 지연특성에 의해 스피커(102, 103)의 위치정보를 획득할 수 있다.
또는, 전자장치(1)의 프로세서(170)가, 스마트폰(4)으로부터 통신부(120)를 통해 좌우 스피커(102, 103)에 대응하는 양 채널에 대한 음파의 측정결과를 제공받아, 두 채널 간의 시간 차에 대응하는 지연특성을 산출할 수 있다. 프로세서(170)는 산출된 지연특성에 기초하여 스피커(102, 103)의 위치정보를 획득할 수 있다.
일 실시예에서, 이 산출된 시간 차 즉, 지연특성은 후술하는 크로스토크 제거필터의 도출에 이용될 수도 있다.
본 발명 일 실시예에 따르면, 상기와 같은 다양한 방식 또는 그 조합에 의해, 사용자(3) 및 스피커(102, 103)의 위치를 자동으로 검출할 수 있다.
구체적으로, 휴대폰 또는 스마트폰(4)과 같은 외부 전자장치(사용자단말)에서 좌우 스피커(102, 103)의 출력신호 간 지연특성을 측정함으로써 스피커(102, 103) 위치정보가 파악될 수 있다. 여기서, 획득된 스피커(102, 103)의 위치정보는 사용자(3) 위치에 대한 상대적인 위치를 나타낼 수 있으며, 사용자 위치는 외부장치, 예를 들면 TV와 같은 디스플레이장치(2) 또는 휴대폰과 같은 사용자단말(4)에 마련된 카메라(적외선 카메라 포함)를 이용하여 획득된 데이터에 의해 파악 가능하다.
본 발명에서 스피커(102, 103) 또는 사용자(3)의 위치정보를 획득하는 방법은 상기한 실시예들에 한정되지 않으며, 전자장치(1) 또는 외부장치에 의한 다양한 위치추적 방식이 이용될 수 있을 것이다.
도 9에 도시된 바와 같이, 전자장치(1)는 단계 601에서 획득된 스피커(102, 103)의 위치정보에 기초하여, 음향신호의 음상이 미리 정해진 기준 공감음향특성을 가지도록 하는 제1보정을 수행한다(603). 여기서, 보정 대상이 되는 음향신호 X = [YL, YR](input audio signal)는 TV와 같은 신호공급원(2)으로부터 스피커(102, 103)로 제공되는 것을 일례로 하며, 이 경우 음향신호는 TV에서 디스플레이되는 영상컨텐츠에 대응될 수 있다.
구체적으로, 프로세서(170)는, 도 7 및 도 8에서 설명한 바와 같은 방식으로 구축된 데이터베이스(161)로부터, 단계 701에서 획득된 스피커(102, 103)의 위치정보에 대응하는 두부전달함수(HLL, HLR, HRR, HRL)를 선택하여 읽는다.
여기서, 프로세서(170)가 읽는 두부전달함수는, 도 8에서 도시된 바와 같이, 왼쪽 채널에 대응하는 스피커(102)로부터 왼쪽 마이크로 폰(302)으로 입력되는 직접경로의 HRTF HLL (712) 및 오른쪽 마이크로 폰(303)으로 입력되는 크로스토크 경로의 HRTF HLR (712)의 한 쌍으로 구성된 HRTF 데이터(710)와, 오른쪽 채널에 대응하는 스피커(103)로부터 오른쪽 마이크로 폰(303)으로 입력되는 직접경로의 HRTF HRR (721) 및 왼쪽 마이크로폰(302)으로 입력되는 크로스토크 경로의 HRTF HRL (722)의 한 쌍으로 구성된 HRTF 데이터(720)를 포함한다.
프로세서(170)는, 아래의 수학식 1에 따라, 상기와 같이 스피커(102, 103)의 위치정보에 대응하여 선택된 두부전달함수(HLL, HLR, HRR, HRL)(711, 712, 721, 722)를 이용하여 크로스토크 제거필터(cross talk canceller function matrix) C = H-1 를 연산하고, 그 연산된 값에 대한 의사역행렬(Pseudo-inverse matrix)을 구하여 C = H-1
Figure 112022110313816-pat00001
H+ 를 도출한다.
크로스토크 제거는 좌우 채널의 전기음향신호를 외부 스피커를 통해 재생하는 경우, 각 재생 채널에서 방사되는 음파 간 간섭을 상쇄시키는 목적으로 수행되는 것이다.
본 발명에서는 음향신호 X = [YL, YR]의 처리에 상기와 같이 연산되는 크로스토크 제거필더를 이용함으로써, 청취자(3)가 좌우 채널 간 음파간섭이 없는 이상적인 스테레오 청취조건인 바이노럴(binaural) 청취조건을 근사적으로 실현할 수 있게 된다.
상기한 수학식 1에서 H- 1 로부터 H+ 를 도출하기 위한 의사역행렬을 산출하는 방법으로서는, 일례로 무어-펜로즈(Moore-Penrose) 역행렬 산출법이 이용될 수 있다.
일 실시예에서, 크로스토크 제거필터의 도출에는 좌우 스피커(102, 103) 간의 출력신호 지역시간 정보(time-latency data)가 더 이용될 수 있다.
그리고, 프로세서(170)는 수학식 1에 의해 연산된 크로스토크 제거필터 C = H-1
Figure 112018082962516-pat00004
H+를 이용하여, 아래의 수학식 2에 의해 입력 음향신호 X = [YL, YR] 에 대한 제1보정을 수행하게 된다.
구체적으로, 프로세서(170)는 좌우채널의 음향신호 X = [YL, YR]를, 상기의 수학식 1에 의해 도출된, 크로스토크 제거필터 H+ 와 컨볼루션(convolution)하는 제1보정을 수행한다.
여기서, 수학식 2에 의해 제1보정이 수행된 음향신호 f[n]은 그 음상이 미리 정해진 기준 공간음향특성을 가지게 된다. 기준 공간음향특성은 음상이 청취자(3)의 머리 내부 즉, 두내(頭內)의 기준점(기준지점)에 정위되는 것을 의미하며, 기준 공간음향특성을 가지는 음향신호는 공간청각 상으로 청취자(3)의 머리에 해당하는 원점 위치에 평활화된다(equalized).
본 발명에서는 상기와 같이 음향신호에 대해 수행되는 제1보정을 공간적 평활화 또는 두내정위화 라고도 한다.
그에 따라, 좌우 스피커(102, 103)가 상호 비정형적으로 위치(배치)되게 설치된 경우라도, 상기와 같은 제1보정에 의해 좌우 채널의 음향신호의 음상이 원점 즉, 두내의 기준점에 정위됨으로써 스피커의 설치위치에 따라 음장 효과가 악화 또는 약화되는 문제가 발생하지 않는다.
프로세서(170)는, 단계 603에서 제1보정이 수행된 음향신호 f[n]에 대해, 아래의 수학식 3에 의해 그 음상이 목표 공간음향특성을 가지도록 제2보정을 수행한다(605).
where, f[n] : H+ ㆍX as spatially equalized audio signals,
gN[n] : HRTF as virtual Left- / Right-ch. spatial characteristic signals.
구체적으로, 프로세서(170)는 데이터베이스(161)로부부터 미리 설정된 목표점(목표지점)에 대응하는 가상음원 위치에 대응하는 두부전달함수 gN[n]를 선택하여 읽는다. 선택된 두부전달함수 gN[n]은 기설정된 가상공간 음향특성을 갖는다.
여기서, 선택된 두부전달함수 gN[n]에 대응하는 목표점 즉, 가상음원 위치는 청취자(3)가 음향이 출력되기를 원하는 가상의 좌우 스피커 위치로서, 예를 들면 음향신호를 제공하는 신호공급원(2)인 TV의 위치가 될 수 있다. 가상음원 위치는 비정형적으로 설치된 스피커의 실제 위치와는 상이하며, 복수인 경우 청취자(3)의 양쪽 귀에 대해 거리 및 방향이 상호 대칭되게 정형적으로 위치되는 것이 바람직하다.
본 발명에서 목표점 즉, 가상음원 위치는 한정되지 않으며, 디폴트로 미리 설정되거나 또는 음향 컨텐츠의 특성이나 사용자 즉, 청취자(3)의 취향 등에 의해 다양한 공간위치로 설정될 수 있다. 다른 예로서 가상음원 위치는 TV의 위치와 상이한 청취자(3)의 정면의 소정 위치가 될 수 있다. 즉, 도 2 및 도 3의 실시예에서 설명한 바와 같이, 전자장치(100, 10)가 TV 아래에 설치된 사운드 바 형태의 스피커 장치 또는 TV의 내장 스피커로서, 청취자(3)에 대해 비정형적으로 설치된 경우, TV의 위치가 아닌 청취자(3) 정면의 소정 가상음원 위치로부터 음향이 재생되는 것이 청취자(3)에게 보다 자연스럽게 느껴질 수 있을 것이다.
사용자가 가상음원 위치를 선택하는 방식은 한정되지 않으며, 일례로서 사용자가 전자장치(1)에 자체적으로 구비된 사용자입력부 또는 통신부(120)를 통해 연결된 입력장치 등을 이용하여 목표점의 공간위치를 나타내는 값(좌표값 등)을 직접 입력 또는 선택할 수 있다.
상기와 같이 선택된 두부전달함수 gN[n]는 가상음원 위치에서 음향이 재생되도록 하는 치환용 두부전달함수로서, 다양한 음원 위치 별 두부전달함수를 측정하여 구축된 본 발명의 HRTF 데이터베이스(161)로부터 제2보정을 수행하기 위해 선택된다.
이렇게 선택된 가상음원 위치에 대응하는 두부전달함수 gN[n]는, 도 8 및 도 9에서 설명한 바와 같이, 음파를 수신하는 2개의 마이크로폰 각각에 대한 직접경로 및 토크경로에 대응하여 입력되는 HLL, HLR, HRR, HRL 로 구성될 것이다.
그리고, 프로세서(170)는 선택된 가상음원위치의 두부전달함수 gN[n]을, 수학식 2에 의해 제1보정된 음향신호 f[n]와 컨볼루션 즉, 합성하는 제2보정을 수행한다.
여기서, 수학식 3에 의해 제2보정이 수행된 음향신호 (합성 음향신호)는 그 음상이 목표 공간음향특성을 가지게 된다. 목표 공간음향특성은 음상이 미리 설정됨 목표점에 대응하는 가상위치(예를 들면 TV의 위치)에 정위되는 것을 의미하며, 목표 공간음향특성을 가지는 음향신호는, 제1보정에 의해 두내정위된 음향신호를 그 음상이 청취자(3)의 머리 바깥쪽 즉, 두외(頭外)로 음장확장이 이루어진다.
본 발명에서는 상기와 같이 음향신호에 대해 수행되는 제2보정을 두외정위화 또는 음장확장 이라고도 한다.
그에 따라, 좌우채널의 스피커가 비정형적으로 설치된 경우라도, 청취자(3)가 원하는 가상위치에서 음향이 출력/재생되고 있다고 느끼도록 해줌으로써, 사용자에게 청각적인 편안함을 제공하면서도 최적 청취영역인 소위 스윗 스팟이 확대되는 음장확장의 효과를 실현할 수 있게 된다. 여기서, 가상위치의 일례는 신호공급원(2)인 TV의 위치가 된다.
그리고, 단계 603 및 605에 의해 제1보정 및 제2보정이 수행된 음향신호가 스피커(102, 103)에 의해 출력된다(607).
도 14는 본 발명 일 실시예에 따른 전자장치에서 보정이 수행된 음향신호가 출력되는 예를 도시한 도면이다.
도 14에 도시된 바와 같이, 신호공급원(2)인 TV의 음향을 출력하는 좌우채널 스피커(102, 103)가 비정형적으로 배치된 설치환경에서, 음향신호가 스피커(102, 103)를 통해 출력된다.
스피커(102, 103)에서 출력되는 음향신호, 도 9에서의 제1보정(두내정위화) 및 제2보정(두외정위화)가 수행된 것으로서, 사용자 즉, 청취자(3)는, 도 14에 도시된 바와 같이, 스피커(102, 103) 의 물리공간적 위치와 무관하게, 음향신호가 기설정된 가상위치(신호공급원(2)인 TV의 위치)에서 재생되는 느낌을 가지게 된다.
상기와 같은 본 발명 일 실시예에서는, 좌우채널의 음향신호가 출력되는 경우의 보정에 대해 설명하였으나, 본 발명은 이에 한정되지 않는다. 즉, 본 발명 다른 실시예에 따른 전자장치는, 실제 설치된 스피커의 개수와 무관하게 3, 5, 7, 9, 또는 그 이상의 채널로 이루어진 음향신호를 보상 처리하여 출력할 수 있다.
도 15는 본 발명 다른 실시예에 따른 전자장치에서 보정이 수행된 음향신호가 출력되는 예를 도시한 도면이다.
다른 실시예의 전자장치(1)는 신호공급원(2)으로부터 7개의 채널로 이루어진 음향신호를 제공받아, 도 15에 도시된 바와 같이, 7개의 가상위치(801, 802, 803, 804, 805, 806, 807)에 음상이 위치되도록 보상된 음향신호가 스피커(102, 103)를 통해 출력되도록 제어함으로써, 가상 서라운드 음장을 구성할 수 있다.
구체적으로, 프로세서(170)는 데이터베이스(161)로부터 스피커(101, 102)의 위치에 대응하는 두부전달함수를 읽고, 그 읽은 두부전달함수를 이용하여 크로스토크 제거필터를 도출한다.
프로세서(170)는, 입력 음향신호를 크로스토크 제거필터와 컨볼루션하는 제1보정을 수행한다.
그리고, 프로세서(170)는 데이터베이스(161)로부터 7개의 가상위치(801, 802, 803, 804, 805, 806, 807)에 대응하는 두부전달함수(치환용 두부전달함수)를 읽고, 제1보정이 수행된 음향신호를 치환용 두부전달함수와 컨볼루션하는 제2보정을 수행한다.
상기와 같이, 제1보정 및 제2보정이 수행된 7채널의 음향신호는, 도 15에 도시된 바와 같이, 청취자(3)에 의해 7개의 가상위치(801, 802, 803, 804, 805, 806, 807)에서 재생되는 서라운드 음장확장 효과를 실현할 수 있게 된다.
한편, 본 발명 다른 실시예에 따르면, 전자장치(1, 10)는 청취자(3)의 위치에 대응하여 음향신호에 대한 제1보정 및 제2보정을 수행하도록 제어할 수 있다.
도 16은 본 발명 다른 실시예에 따른 전자장치의 제어방법을 도시한 흐름도이고, 도 17과 도 18은 도 16의 실시예에 따른 전자장치에서 보정이 수행된 음향신호가 출력되는 예를 도시한 도면이다.
도 16에 도시된 바와 같이, 전자장치(1)는 스피커(102, 103)의 위치정보를 획득한다(1601). 여기서, 스피커(102, 103)의 위치는 청취자(3)의 위치에 대한 상대적인 위치로서, 위치정보는, 도 9의 일 실시예에서 설명한 바와 같이, 청취자(3)의 머리위치를 원점으로 하는 데카르트 좌표계를 갖는 3차원 공간을 설정하고, 도 10 내지 도 13에서 설명한 것을 포함한 다양한 위치추적방식을 이용하여 획득될 수 있다.
전자장치(1)의 프로세서(170)는 단계 1601에서 획득된 스피커(102, 103)의 위치정보에 기초하여, 음향신호의 음상이 미리 정해진 기준 공감음향특성을 가지도록 하는 제1보정을 수행한다(1603). 단계 1603에서 수행되는 제1보정은, 도 9의 일 실시예의 단계 603에서 설명한 방식에 의해 이루어지므로, 이와 관련한 구체적인 설명은 생략하기로 한다.
프로세서(170)는 단계 1603에서 제1보정이 수행된 음향신호의 음상이 목표 공간음향특성을 가지도록 제2보정을 수행한다(1605). 단계 1605에서 수행되는 제2보정은, 도 9의 일 실시예의 단계 605에서 설명한 방식에 의해 이루어지므로, 이와 관련한 구체적인 설명은 생략하기로 한다.
그리고, 단계 1603 및 1605에서 제1보정 및 제2보정이 수행된 음향신호가 스피커(102, 103)에 의해 출력된다(1607).
상기와 같이 보정된 음향신호가 스피커(102, 103)에서 출력되는 상태에서, 다른 실시예의 전자장치(1)는 청취자(3)의 움직임을 감지할 수 있다(1609). 여기서, 프로세서(170)는, 도 4에서 설명한 바 있는 감지부(140)에 의해, 청취자(3)의 위치를 실시간 또는 소정 시간 간격으로 추적함으로써, 청취자(3)의 움직임을 감지할 수 있다.
프로세서(170)는 단계 1609에서 감지된 움직임에 따른 청취자(3)의 위치를 식별한다(1611). 청취자(3)의 위치를 식별하는 방식은 한정되지 않으며, 일례로서, 도 17에 도시된 바와 같이, 청취자(3)가 착용 또는 소지 가능한 단말장치(5)(예를 들면, HMD(head mounted divice)와 같은 웨어러블 장치)에 마련된 동작인식센서 또는 위치센서 등으로부터 출력되는 센서신호를 감지부(140)에 의해 검출함으로써 식별 가능하다.
프로세서(170)는, 청취자(3)의 위치를 식별하고, 그 식별된 위치에 대응하도록 도 17과 같이 청취자(3)의 3차원 공간상의 좌표값(x, y, z)을 변경할 수 있다.
단계 1611에서 청취자(3)의 위치가 식별되면, 프로세서(170)는 그 식별된 위치에 대한 상대적인 스피커(102, 103)의 위치를 재획득한다(1601).
그리고, 단계 1601에서 재획득된 스피커(102, 103)의 위치정보에 기초하여 음향신호에 대해 단계 1603의 제1보정과 단계 1605의 제2보정을 순차적으로 수행하고, 그 수행에 따라 보정된 음향신호가 스피커(102, 103)을 통해 출력된다.
그에 따라, 도 18에 도시된 바와 같이, 청취자(3)의 움직임에 따라 그 위치가 계속적으로 변경되어도, 변경된 위치에 따라 두내정위화 및 두외정외화의 수행에 따른 보정된 음향신호가 출력되므로, 청취자(3)는 자신의 위치이동 즉, 움직임과 관계없이 계속해서 원하는 가상위치에서 음원이 재생되고 있는 것으로 느낄 수 있게 된다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시될 수 있다.
1, 10 : 전자장치 2 : 신호공급원
110 : 신호출력부 120 : 통신부
130 : 신호입력부 140 : 감지부
150 : 신호처리부 160 : 저장부
160 : 데이터베이스 170 : 프로세서

Claims (20)

  1. 전자장치에 있어서,
    제1채널신호의 음향을 출력하는 제1스피커와 제2채널신호의 음향을 출력하는 제2스피커를 포함하는 복수의 스피커를 통해 출력되는 음향신호를 처리하는 신호처리부; 및
    외부장치로부터 수신된 데이터에 기초하여, 상기 복수의 스피커의 거리위치 및 각도위치를 포함하는 위치정보를 획득하고,
    상기 획득된 복수의 스피커의 위치정보에 기초하여, 상기 음향신호의 음상이 미리 정해진 기준 공간음향특성을 가지도록 제1보정을 수행하고,
    상기 제1보정이 수행된 음향신호의 음상이 목표 공간음향특성을 가지도록 제2보정을 수행하는 프로세서를 포함하며,
    상기 프로세서는,
    상기 외부장치의 카메라를 통해 촬상된 화상 데이터와, 상기 제1스피커 및 제2스피커 각각의 가로길이와 세로길이 및 상기 가로길이와 세로길이 간의 비율을 나타내는 데이터에 기초하여, 상기 제1스피커 및 제2스피커의 거리위치 및 각도위치를 식별하며,
    상기 각도위치는, 청취자에 대한 상기 제1스피커 및 제2스피커의 방향 및 방향각에 대응하여 식별되며, 기설정된 기준축에 대한 상기 제1스피커 및 제2스피커 각각에 대응하는 수평 방향각 또는 수직 방향각을 포함하는 전자장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    데이터베이스로부터 상기 획득된 복수의 스피커의 위치정보에 대응하는 두부전달함수를 선택하고,
    상기 선택된 두부전달함수를 이용하여 상기 음향신호의 각 채널의 간섭을 상쇄하는 크로스토크 제거필터를 도출하고,
    상기 도출된 크로스토크 제거필터를 이용하여 상기 음향신호를 제1보정하는 전자장치.
  3. 제2항에 있어서,
    상기 선택된 두부전달함수는,
    상기 복수의 스피커로부터 출력된 음파가 청취자의 양쪽 귀에 대응하는 측정점에 도달하는 직접경로의 두부전달함수 및 크로스토크경로의 두부전달함수를 포함하는 전자장치.
  4. 제2항에 있어서,
    상기 프로세서는,
    상기 도출된 크로스토크 제거필터와 상기 음향신호를 컨볼루션하여 상기 제1보정을 수행하는 전자장치.
  5. 제1항에 있어서,
    상기 기준 공간음향특성을 가지는 음향신호는, 청취자 두내의 기준점으로 상기 음상이 정위되는 전자장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    데이터베이스로부터 미리 설정된 목표점에 대응하는 두부전달함수를 선택하고,
    상기 선택된 두부전달함수를 상기 제1보정이 수행된 음향신호와 컨볼루션하여 상기 제2보정을 수행하는 전자장치.
  7. 제1항에 있어서,
    상기 목표 공간음향특성을 가지는 음향신호는, 청취자 두외의 목표점으로 상기 음상이 확장되는 전자장치.
  8. 제1항에 있어서,
    상기 제2보정이 수행된 음향신호는, 음상이 상기 목표 공간음향특성을 가지도록 음장확장되어 미리 설정된 목표점에 대응하는 가상음원 위치에 정위되는 전자장치.
  9. ◈청구항 9은(는) 설정등록료 납부시 포기되었습니다.◈
    제1항 내지 제8항 중 어느 한 항에 있어서,
    청취자의 움직임을 감지하는 감지부를 더 포함하며,
    상기 프로세서는,
    상기 감지부의 감지결과에 기초하여 상기 청취자의 위치를 식별하고,
    상기 식별된 청취자의 위치에 대한 상대적인 위치를 나타내는 상기 복수의 스피커의 위치정보를 재획득하고,
    상기 재획득된 복수의 스피커의 위치정보에 기초하여, 상기 음향신호에 대해 상기 제1보정 및 제2보정을 수행하는 전자장치.
  10. ◈청구항 10은(는) 설정등록료 납부시 포기되었습니다.◈
    제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 제1채널신호의 음향을 출력하는 제1스피커 및 상기 제2채널신호의 음향을 출력하는 제2스피커는 설치공간에서 청취자에 대해 거리 또는 각도가 상호 비정형적으로 배치되게 설치되며,
    상기 제2보정이 수행된 음향신호의 상기 제1채널신호의 가상음원 위치 및 상기 제2채널신호의 가상음원 위치는 상기 청취자에 대해 거리 및 방향이 상호 대칭되게 정형적으로 배치되는 전자장치.
  11. 전자장치의 제어방법에 있어서,
    외부장치로부터 수신된 데이터에 기초하여, 제1채널신호의 음향을 출력하는 제1스피커와 제2채널신호의 음향을 출력하는 제2스피커를 포함하는 복수의 스피커의 거리위치 및 각도위치를 포함하는 위치정보를 획득하는 단계;
    상기 획득된 복수의 스피커의 위치정보에 기초하여, 상기 복수의 스피커를 통해 출력되는 음향신호의 음상이 미리 정해진 기준 공간음향특성을 가지도록 제1보정을 수행하는 단계; 및
    상기 제1보정이 수행된 음향신호의 음상이 목표 공간음향특성을 가지도록 제2보정을 수행하는 단계를 포함하며,
    상기 위치정보를 획득하는 단계는,
    상기 외부장치의 카메라를 통해 촬상된 화상 데이터와, 상기 제1스피커 및 제2스피커 각각의 가로길이와 세로길이 및 상기 가로길이와 세로길이 간의 비율을 나타내는 데이터에 기초하여, 상기 제1스피커 및 제2스피커의 거리위치 및 각도위치를 식별하는 단계를 포함하며,
    상기 각도위치는, 청취자에 대한 상기 제1스피커 및 제2스피커의 방향 및 방향각에 대응하여 식별되며, 기설정된 기준축에 대한 상기 제1스피커 및 제2스피커 각각에 대응하는 수평 방향각 또는 수직 방향각을 포함하는 전자장치의 제어방법.
  12. ◈청구항 12은(는) 설정등록료 납부시 포기되었습니다.◈
    제11항에 있어서,
    상기 제1보정을 수행하는 단계는,
    상기 획득된 복수의 스피커의 위치정보에 대응하는 두부전달함수를 데이터베이스로부터 선택하는 단계;
    상기 선택된 두부전달함수를 이용하여 상기 음향신호의 각 채널의 간섭을 상쇄하는 크로스토크 제거필터를 도출하는 단계; 및
    상기 도출된 크로스토크 제거필터를 이용하여 상기 음향신호를 제1보정하는 단계를 포함하는 전자장치의 제어방법.
  13. ◈청구항 13은(는) 설정등록료 납부시 포기되었습니다.◈
    제12항에 있어서,
    상기 선택된 두부전달함수는,
    상기 복수의 스피커로부터 출력된 음파가 청취자의 양쪽 귀에 대응하는 측정점에 도달하는 직접경로의 두부전달함수 및 크로스토크경로의 두부전달함수를 포함하는 전자장치의 제어방법.
  14. ◈청구항 14은(는) 설정등록료 납부시 포기되었습니다.◈
    제12항에 있어서,
    상기 음향신호를 제1보정하는 단계는,
    상기 도출된 크로스토크 제거필터와 상기 음향신호를 컨볼루션하여 상기 제1보정을 수행하는 단계를 포함하는 전자장치의 제어방법.
  15. ◈청구항 15은(는) 설정등록료 납부시 포기되었습니다.◈
    제11항에 있어서,
    상기 기준 공간음향특성을 가지는 음향신호는, 청취자 두내의 기준점으로 상기 음상이 정위되는 전자장치의 제어방법.
  16. ◈청구항 16은(는) 설정등록료 납부시 포기되었습니다.◈
    제11항에 있어서,
    상기 제2보정을 수행하는 단계는,
    데이터베이스로부터 미리 설정된 목표점에 대응하는 두부전달함수를 선택하는 단계; 및
    상기 선택된 두부전달함수를 상기 제1보정이 수행된 음향신호와 컨볼루션하여 상기 제2보정을 수행하는 단계를 포함하는 전자장치의 제어방법.
  17. ◈청구항 17은(는) 설정등록료 납부시 포기되었습니다.◈
    제11항에 있어서,
    상기 목표 공간음향특성을 가지는 음향신호는, 청취자 두외의 목표점으로 상기 음상이 확장되는 전자장치의 제어방법.
  18. ◈청구항 18은(는) 설정등록료 납부시 포기되었습니다.◈
    제11항에 있어서,
    상기 제2보정이 수행된 음향신호는, 음상이 상기 목표 공간음향특성을 가지도록 음장확장되어 미리 설정된 목표점에 대응하는 가상음원 위치에 정위되는 전자장치의 제어방법.
  19. ◈청구항 19은(는) 설정등록료 납부시 포기되었습니다.◈
    제11항 내지 제18항 중 어느 한 항에 있어서,
    청취자의 움직임을 감지하는 감지부의 감지결과에 기초하여 상기 청취자의 위치를 식별하는 단계;
    상기 식별된 청취자의 위치에 대한 상대적인 위치를 나타내는 상기 복수의 스피커의 위치정보를 재획득하는 단계; 및
    상기 재획득된 복수의 스피커의 위치정보에 기초하여, 상기 음향신호에 대해 상기 제1보정 및 제2보정을 수행하는 단계를 더 포함하는 전자장치의 제어방법.
  20. 전자장치의 프로세서에 의해 실행 가능한 방법의 프로그램이 기록된, 컴퓨터에 의해 독취가능한 비휘발성의 기록매체에 있어서,
    상기 방법은,
    외부장치로부터 수신된 데이터에 기초하여, 제1채널신호의 음향을 출력하는 제1스피커와 제2채널신호의 음향을 출력하는 제2스피커를 포함하는 복수의 스피커의 거리위치 및 각도위치를 포함하는 위치정보를 획득하는 단계;
    상기 획득된 복수의 스피커의 위치정보에 기초하여, 상기 복수의 스피커를 통해 출력되는 음향신호의 음상이 미리 정해진 기준 공간음향특성을 가지도록 제1보정을 수행하는 단계; 및
    상기 제1보정이 수행된 음향신호의 음상이 목표 공간음향특성을 가지도록 제2보정을 수행하는 단계를 포함하며,
    상기 위치정보를 획득하는 단계는,
    상기 외부장치의 카메라를 통해 촬상된 화상 데이터와, 상기 제1스피커 및 제2스피커 각각의 가로길이와 세로길이 및 상기 가로길이와 세로길이 간의 비율을 나타내는 데이터에 기초하여, 상기 제1스피커 및 제2스피커의 거리위치 및 각도위치를 식별하는 단계를 포함하며,
    상기 각도위치는, 청취자에 대한 상기 제1스피커 및 제2스피커의 방향 및 방향각에 대응하여 식별되며, 기설정된 기준축에 대한 상기 제1스피커 및 제2스피커 각각에 대응하는 수평 방향각 또는 수직 방향각을 포함하는 기록매체.
KR1020180097715A 2018-08-21 2018-08-21 전자장치, 그 제어방법 및 기록매체 KR102609084B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180097715A KR102609084B1 (ko) 2018-08-21 2018-08-21 전자장치, 그 제어방법 및 기록매체
PCT/KR2019/010637 WO2020040541A1 (ko) 2018-08-21 2019-08-21 전자장치, 그 제어방법 및 기록매체
US17/270,208 US11589180B2 (en) 2018-08-21 2019-08-21 Electronic apparatus, control method thereof, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180097715A KR102609084B1 (ko) 2018-08-21 2018-08-21 전자장치, 그 제어방법 및 기록매체

Publications (2)

Publication Number Publication Date
KR20200021854A KR20200021854A (ko) 2020-03-02
KR102609084B1 true KR102609084B1 (ko) 2023-12-06

Family

ID=69592955

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180097715A KR102609084B1 (ko) 2018-08-21 2018-08-21 전자장치, 그 제어방법 및 기록매체

Country Status (3)

Country Link
US (1) US11589180B2 (ko)
KR (1) KR102609084B1 (ko)
WO (1) WO2020040541A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220303707A1 (en) * 2020-08-21 2022-09-22 Lg Electronics Inc. Terminal and method for outputting multi-channel audio by using plurality of audio devices

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003061195A (ja) * 2001-08-20 2003-02-28 Sony Corp 音声信号再生装置
US20050286727A1 (en) * 2004-06-25 2005-12-29 Victor Company Of Japan, Ltd. Apparatus for expanding sound image upward
JP2018022981A (ja) * 2016-08-02 2018-02-08 シャープ株式会社 音声再生装置、音声再生装置の制御方法、制御プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPP271598A0 (en) 1998-03-31 1998-04-23 Lake Dsp Pty Limited Headtracked processing for headtracked playback of audio signals
JP4737804B2 (ja) * 2000-07-25 2011-08-03 ソニー株式会社 音声信号処理装置及び信号処理装置
KR20090129727A (ko) * 2008-06-13 2009-12-17 대전보건대학 산학협력단 이퀄라이저가 구비된 3차원 가상스피커 시스템 및 그제어방법, 그 제어방법을 구현한 프로그램을 기록한기록매체
CN111295896B (zh) * 2017-10-30 2021-05-18 杜比实验室特许公司 在扬声器的任意集合上的基于对象的音频的虚拟渲染
WO2019198314A1 (ja) * 2018-04-10 2019-10-17 ソニー株式会社 音響処理装置、音響処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003061195A (ja) * 2001-08-20 2003-02-28 Sony Corp 音声信号再生装置
US20050286727A1 (en) * 2004-06-25 2005-12-29 Victor Company Of Japan, Ltd. Apparatus for expanding sound image upward
JP2018022981A (ja) * 2016-08-02 2018-02-08 シャープ株式会社 音声再生装置、音声再生装置の制御方法、制御プログラム

Also Published As

Publication number Publication date
WO2020040541A1 (ko) 2020-02-27
US11589180B2 (en) 2023-02-21
US20210337340A1 (en) 2021-10-28
KR20200021854A (ko) 2020-03-02

Similar Documents

Publication Publication Date Title
US20220116723A1 (en) Filter selection for delivering spatial audio
EP3619921B1 (en) Audio processor, system, method and computer program for audio rendering
WO2018149275A1 (zh) 调整音箱输出的音频的方法和装置
US8855340B2 (en) Apparatus for reproducting wave field using loudspeaker array and the method thereof
JP5992409B2 (ja) 音再生のためのシステム及び方法
US20130058503A1 (en) Audio processing apparatus, audio processing method, and audio output apparatus
US9609418B2 (en) Signal processing circuit
US20220394409A1 (en) Listening optimization for cross-talk cancelled audio
JP5582668B2 (ja) 配向に応じた音響ドライバ動作
WO2014032709A1 (en) Audio rendering system
US10524053B1 (en) Dynamically adapting sound based on background sound
KR102062260B1 (ko) 귀 개방형 헤드폰을 이용한 다채널 사운드 구현 장치 및 그 방법
KR20150041974A (ko) 오디오 시스템 및 오디오 출력 방법, 그리고 스피커 장치
JP2013535894A5 (ko)
US10708691B2 (en) Dynamic equalization in a directional speaker array
US20180302711A1 (en) Speaker Position Detection System, Speaker Position Detection Device, and Speaker Position Detection Method
CN109983785B (zh) 电子装置及其控制方法
US20190394603A1 (en) Dynamic Cross-Talk Cancellation
EP3376781B1 (en) Speaker location identifying system, speaker location identifying device, and speaker location identifying method
KR102609084B1 (ko) 전자장치, 그 제어방법 및 기록매체
US10531221B1 (en) Automatic room filling
CN112740326A (zh) 用于控制带限音频对象的装置、方法和计算机程序
US20190394570A1 (en) Volume Normalization
US20230011591A1 (en) System and method for virtual sound effect with invisible loudspeaker(s)
JP2023092962A (ja) オーディオ信号出力方法、オーディオ信号出力装置及びオーディオシステム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right