KR20180060793A - 전자장치 및 그 제어방법 - Google Patents

전자장치 및 그 제어방법 Download PDF

Info

Publication number
KR20180060793A
KR20180060793A KR1020160160693A KR20160160693A KR20180060793A KR 20180060793 A KR20180060793 A KR 20180060793A KR 1020160160693 A KR1020160160693 A KR 1020160160693A KR 20160160693 A KR20160160693 A KR 20160160693A KR 20180060793 A KR20180060793 A KR 20180060793A
Authority
KR
South Korea
Prior art keywords
audio
audio component
component
output
sound image
Prior art date
Application number
KR1020160160693A
Other languages
English (en)
Other versions
KR102580502B1 (ko
Inventor
정현주
손상모
고병섭
아난트 바이잘
정현식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160160693A priority Critical patent/KR102580502B1/ko
Priority to JP2019528683A priority patent/JP2019537380A/ja
Priority to EP17875855.3A priority patent/EP3494712A1/en
Priority to CN201780070695.2A priority patent/CN109983785B/zh
Priority to PCT/KR2017/011429 priority patent/WO2018101600A1/en
Priority to US15/806,820 priority patent/US20180152787A1/en
Publication of KR20180060793A publication Critical patent/KR20180060793A/ko
Application granted granted Critical
Publication of KR102580502B1 publication Critical patent/KR102580502B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
    • H04R2205/024—Positioning of loudspeaker enclosures for spatial sound reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/09—Electronic reduction of distortion of stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

전자장치가 개시된다. 전자장치는 오디오처리부 및 제어부를 포함한다. 오디오처리부는 적어도 둘 이상의 채널을 포함하는 입력오디오를 처리하여 출력오디오를 생성한다. 제어부는 입력오디오를 서로 다른 음상을 갖는 제1오디오성분 및 제2오디오성분으로 분리하고, 제2오디오성분의 음상을 소정의 위치로 변경시키며, 제1오디오성분과 음상이 소정의 위치로 변경된 제2오디오성분을 이용하여 출력오디오를 생성하도록 오디오처리부를 제어한다. 이에 의하면, 보다 넓은 음상의 오디오가 왜곡 없이 제공되어, 오디오의 자연스러운 현장감이 재현된다.

Description

전자장치 및 그 제어방법{ELECTRONIC APPARATUS AND THE CONTROL METHOD THEREOF}
본 발명은 전자장치 및 그 제어방법에 관한 것으로서, 보다 구체적으로는, 보다 넓은 음상의 오디오를 오디오왜곡 없이 제공할 수 있는 전자장치 및 그 제어방법에 관한 것이다.
TV, 오디오장치 등과 같은 전자장치는, 방송이나 멀티미디어 컨텐츠의 오디오를 출력한다. 전자장치의 오디오 출력은, 다양하게 구현될 수 있겠으나, 입력 오디오 신호를 출력하기 위한 스테레오 스피커 등으로 구현되는 경우가 많다. 하지만, 일반 가정용 TV의 경우 좌/우 스피커 채널의 간격이 TV의 크기나 화면의 폭에 제한이 되기 때문에 표준 스테레오 청취 환경보다 좁은 청취각도로 재생이 된다. 따라서, 전방의 스테레오 음상이 매우 좁게 형성이 되어 스테레오 오디오 신호임에도 불구하고, 모노 사운드와 같이 들리는 문제가 있다.
이런 문제점을 해결하기 위해 수신된 멀티채널의 오디오에 머리 전달 함수(head related transfer function, 이하 'HRTF'라고도 함)를 이용하여 음상을 넓히는 스테레오 향상 시스템이 US 7,801,317 B2에 개시되어 있다.
종래 기술에 따르면, 2채널 스테레오 음원 중 음상이 중앙에 위치하는 경우에도 HRTF 가 적용되어 불필요한 음색왜곡이 발생한다. 또한, 종래 기술의 경우 가상의 스피커를 2채널로 제한하여 자연스러운 현장감 재현에 제한이 있다. 나아가, 종래 기술의 경우 주파수대역에 따라 복수의 스피커가 좌우로 배열되는 경우, 발생하는 경로차를 고려하지 않는 문제가 있다.
본 발명은 상술한 문제점을 해결하기 위한 것으로서, 보다 넓은 음상의 오디오를 왜곡 없이 제공할 수 있는 전자장치 및 그 제어방법이 제공된다.
본 발명의 상기 목적은 전자장치에 있어서, 입력오디오를 처리하여 출력오디오를 생성하는 오디오처리부; 및 상기 입력오디오를 서로 다른 음상을 갖는 제1오디오성분 및 제2오디오성분으로 분리하고, 상기 제2오디오성분의 음상을 소정의 위치로 변경시키고, 상기 제1오디오성분과 상기 음상이 소정의 위치로 변경된 상기 제2오디오성분을 이용하여 상기 출력오디오를 생성하도록 상기 오디오처리부를 제어하는 제어부를 포함하는 전자장치에 의해 달성된다. 이로 인하여 넓은 음상의 오디오가 왜곡 없이 제공된다.
상기 제1오디오성분의 음상은 중앙이고, 상기 제2오디오성분의 상기 음상은 상기 중앙을 제외한 배경에 위치함으로써, 음상이 중앙인 제1오디오성분에 대해서, 음상을 변경하기 위한 처리 수행을 생략함으로써 출력오디오에 왜곡이 개선된다.
상기 제어부는 상기 제2오디오성분을 복수개로 분리함으로써, 보다 넓은 음상의 오디오가 제공된다.
상기 생성된 출력오디오를 출력하는 스피커를 포함함으로써, 생성한 오디오를 출력하는 구성이 소개된다.
상기 스피커의 위치에 기초하여 상기 제2오디오성분의 상기 음상을 상기 소정의 위치로 변경하도록 상기 오디오처리부를 제어함으로써, 오디오가 실제로 출력되는 위치를 고려하여 음상의 변경이 보다 정확하게 수행된다.
상기 제어부는 상기 음상이 상기 소정의 위치로 변경된 상기 제2오디오성분에 대해서 상기 스피커를 통해 출력되는 상기 출력오디오의 크로스토크를 캔슬하기 위한 처리를 수행하도록 상기 오디오처리부를 제어함으로써, 출력오디오의 각 채널간 간섭이 개선된다.
상기 스피커는 상기 입력오디오의 주파수대역에 기초하여 복수개가 서로 소정의거리 만큼 이격하여 배치되며, 상기 제어부는 상기 소정의 거리 및 상기 각 스피커가 배치된 위치에 기초하여 상기 제2오디오성분의 상기 음상을 소정의 위치로 변경하도록 상기 오디오처리부를 제어함으로써, 복수의 스피커의 위치를 각각 고려하여 보다 정확하게 오디오의 음상을 변경한다.
본 발명의 상기 목적은 전자장치의 제어방법에 있어서, 입력오디오를 처리하여 출력오디오를 생성하는 단계; 상기 입력오디오를 서로 다른 음상을 갖는 제1오디오성분 및 제2오디오성분으로 분리하는 단계; 상기 제2오디오성분의 음상을 소정의 위치로 변경시키는 단계; 및 상기 제1오디오성분과 상기 음상이 소정의 위치로 변경된 상기 제2오디오성분을 이용하여 상기 출력오디오를 생성하는 단계를 포함하는 전자장치의 제어방법에 의해 달성된다. 이로 인하여 넓은 음상의 오디오가 왜곡 없이 제공된다.
상기 제1오디오성분의 음상은 중앙이고, 상기 제2오디오성분의 상기 음상은 상기 중앙을 제외한 배경에 위치함으로써, 음상이 중앙인 제1오디오성분에 대해서, 음상을 변경하기 위한 처리 수행을 생략함으로써 출력오디오에 왜곡이 개선된다.
상기 분리하는 단계는, 상기 제2오디오성분을 복수개로 분리하는 단계를 포함함으로써, 보다 넓은 음상의 오디오가 제공된다.
스피커를 통해 상기 생성된 출력오디오를 출력하는 단계를 포함함으로써, 생성한 오디오를 출력하는 구성이 소개된다.
상기 음상을 소정의 위치로 변경하는 단계는, 상기 스피커의 위치에 기초하여 상기 제2오디오성분의 상기 음상을 상기 소정의 위치로 변경하는 단계를 포함함으로써, 오디오가 실제로 출력되는 위치를 고려하여 음상의 변경이 보다 정확하게 수행된다.
상기 음상이 상기 소정의 위치로 변경된 상기 제2오디오성분에 대해서 상기 스피커를 통해 출력되는 상기 출력오디오의 크로스토크를 캔슬하기 위한 처리를 수행하는 단계를 포함함으로써, 출력오디오의 각 채널간 간섭이 개선된다.
상기 음상을 소정의 위치로 변경하는 단계는, 상기 스피커를 상기 입력오디오의 주파수대역에 기초하여 복수개가 서로 소정의 거리만큼 이격되도록 배치하는 단계; 및 상기 소정의 거리 및 상기 각 스피커가 배치된 위치에 기초하여 상기 제2오디오성분의 상기 음상을 소정의 위치로 변경하는 단계를 포함함으로써, 복수의 스피커의 위치를 각각 고려하여 보다 정확하게 오디오의 음상을 변경한다.
상기한 바와 같이, 본 발명에 의하면, 보다 넓은 음상의 오디오가 왜곡 없이 제공되어, 오디오의 자연스러운 현장감이 재현된다.
도 1은 본 발명의 일 실시예에 따른 전자장치를 도시한다.
도 2는 본 발명의 일 실시예에 따른 전자장치의 블록도를 도시한다.
도 3은 본 발명의 일 실시예에 따른 오디오처리부의 블록도를 도시한다.
도 4은 본 발명의 일 실시예에 따른 신호분리부의 블록도를 도시한다.
도 5는 본 발명의 일 실시예에 따른 바이노럴 합성부의 블록도를 도시한다.
도 6는 본 발명의 일 실시예에 따라 가상스피커에 의해 넓어진 음상을 도시한다.
도 7은 본 발명의 일 실시예에 따른 크로스토크 캔슬부의 블록도를 도시한다.
도 8은 본 발명의 다른 일 실시예에 따른 제2오디오성분을 복수개로 분리하는 신호분리부의 블록도를 도시한다.
도 9는 본 발명의 다른 일 실시예에 따른 복수개로 분리된 제2오디오성분에 대응하는 바이노럴합성부를 도시한다.
도 10은 본 발명의 다른 일 실시예에 따라 복수개로 분리된 가상스피커를 도시한다.
도 11은 본 발명의 다른 일 실시예에 따라 가로 방향으로 서로 이격된 복수의 스피커가 마련된 전자장치의 예를 도시한다.
도 12는 본 발명의 다른 일 실시예에 따라 복수의 스피커에 대응하도록 마련되는 오디오처리부를 도시한다.
도 13은 본 발명의 일 실시예에 따른 제어흐름도를 도시한다.
도 14는 본 발명의 일 실시예의 적용 여부에 따라 출력오디오의 왜곡현상 개선여부를 도시한다.
도 15는 본 발명의 일 실시예의 적용 여부에 따라 테스트신호가 사이드에서 센터로 패닝될 때, 출력오디오의 왜곡현상 개선여부를 도시한다.
도 16은 본 발명의 다른 일 실시예에 따른 전자장치의 블록도이다.
도 17은 본 발명의 일 실시예에 따른 전자장치의 동작을 도시한다.
도 18은 본 발명의 일 실시예에 따라 도 17에서 결정된 음원의 각도와 가상스피커의 개수가 조절되는 예를 도시한다.
도 19는 본 발명의 다른 일 실시예에 따른 전자장치의 블록도를 도시한다.
이하에서는 첨부도면을 참조하여 본 발명에 따른 실시예들에 관해 상세히 설명한다. 이하 실시예들의 설명에서는 첨부된 도면들에 기재된 사항들을 참조하는 바, 각 도면에서 제시된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 구성요소를 나타낸다.
만일, 실시예에서 제1구성요소, 제2구성요소 등과 같이 서수를 포함하는 용어가 있다면, 이러한 용어는 다양한 구성요소들을 설명하기 위해 사용되는 것이며, 용어는 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용되는 바, 이들 구성요소는 용어에 의해 그 의미가 한정되지 않는다. 실시예에서 사용하는 용어는 해당 실시예를 설명하기 위해 적용되는 것으로서, 본 발명의 사상을 한정하지 않는다.
이하 실시예들에 의해 설명되는 본 발명의 사상은 컨텐츠의 오디오를 출력하는 전자장치에 적용될 수 있다. 본 발명이 적용되는 전자장치의 구현 예시로서, 오디오의 출력과 함께 컨텐츠의 영상을 표시하는 디스플레이장치를 일례로 설명하나, 본 발명이 이에 한정되는 것은 아니며, 오디오장치, A/V장치 등 오디오를 출력할 수 있는 다른 다양한 전자장치에도 적용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 전자장치를 도시한다. 전자장치(1)는 오디오를 포함하는 컨텐츠를 사용자에게 제공한다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전자장치(1)는 하나의 실시예로서, TV와 같은 디스플레이장치로서 구현될 수 있다. 본 발명의 다른 일 실시예로서, 전자장치(1)는 태블릿, 모바일 폰, 멀티미디어 재생기, 전자액자, 디지털광고판, LFD, 셋탑박스, MP3플레이어, DVD플레이어, BD플레이어, 라디오장치, A/V리시버, 스피커장치, 차량용 오디오장치 등 오디오를 출력할 수 있는 다양한 전자장치로 구현될 수 있다.
전자장치(1)는 외부로부터 수신되는 컨텐츠신호를 처리하여 컨텐츠를 제공한다. 컨텐츠신호는 방송국으로부터 전송되는 방송신호, 네트워크를 통해 전송되는 데이터 패킷 신호 또는 전자장치(1)에 접속된 멀티미디어 기기로부터 전송되는 신호일 수 있다. 또는 컨텐츠는, 전자장치(1)에 저장된 데이터로부터 생성될 수도 있다.
컨텐츠는 오디오(100, 101)를 포함한다. 추가적인 실시예로서, 컨텐츠는, 오디오(100, 101) 외에 영상 혹은 기타 정보를 더 포함할 수 있다. 전자장치(1)는 자체적으로 구비하는 오디오출력부(도 2의 203 참조)에 연결된 스피커를 통해 오디오(100, 101)를 출력한다. 다른 실시예로서, 전자장치(1)는 오디오출력부(203)를 통해 연결된 헤드셋을 통해 오디오(100, 101)를 출력할 수 있다.
본 발명의 일 실시예에 따른 전자장치(1)는 오디오출력부(203) 또는 스피커로부터 출력되는 오디오(100, 101)를 보다 현장감있게 재현하기 위해 음상을 변경한다. 음상은 전자장치(1)로부터 출력되는 오디오(100, 101)가 가상으로 맺히는 위치를 의미한다. 음상의 변경을 위해 소정의 위치에서 측정한 측정값과 전자장치(1)의 스피커에 기초하여 산출된 HRTF를 이용한다.
전자장치(1)는 오디오(100, 101)의 음상을 왜곡 없이 원하는 위치로 변경하기 위해 입력된 오디오신호로부터 서로 다른 음상을 갖는 제1오디오성분과 제2오디오성분을 분리한다. 제1오디오성분은 음상이 중앙이고, 제2오디오성분은 음상이 중앙을 제외한 배경일 수 있다. 제1오디오성분은 음상이 중앙에 있어 HRTF를 적용할 경우, 불필요한 왜곡이 발생할 수 있다. 전자장치(1)는 현장감을 살아있게 하기 위해 입력오디오에서 분리된 제2오디오성분의 음상을 변경하고, 음상이 변경된 제2오디오성분과 음상이 유지되는 제1오디오성분을 합성하여 출력오디오를 생성한다.
이하에서는, 본 발명의 일 실시예에 따른 전자장치(1)의 보다 구체적인 구성에 관해 설명한다.
도 2는 본 발명의 일 실시예에 따른 전자장치의 블록도를 도시한다. 전자장치(1)는 신호처리부(202) 및 제어부(205)를 포함한다. 전자장치(1)는 신호수신부(200), 입력수신부(207), 디스플레이부(206), 오디오출력부(203), 저장부(209) 및 통신부를 중 적어도 하나를 더 포함할 수 있다. 도 2에 도시된 본 발명의 일 실시예에 의한 전자장치(1)의 구성은 하나의 예시일 뿐이며, 본 발명의 일실시예에 의한 전자장치(1)는 도 2에 도시된 구성 외에 다른 구성으로도 구현될 수 있다. 즉, 본 발명의 일실시예에 의한 전자장치(1)는 도 2에 도시된 구성 외에 다른 구성으로도 구현될 수 있다. 즉, 본 발명의 일실시예에 의한 전자장치(1)는 도 2에 도시된 구성 외에 다른 구성으로도 구현될 수 있다. 즉, 본 발명의 일실시예에 의한 전자장치(1)는 도 2에 도시된 구성 외 다른 구성이 추가되거나, 혹은 도 2에 도시된 구성 중 어느 하나가 배제되어 구현될 수도 있다.
신호수신부(200)는 외부로부터 영상 및 오디오를 포함하는 컨텐츠신호를 수신한다. 컨텐츠신호는 전송스트림의 형태로 수신될 수 있다. 일 실시예로서, 신호수신부(200)는 복수의 채널 중 사용자에 의해 선택된 어느 하나의 채널의 방송신호를 컨텐츠신호로서 수신할 수 있다. 신호수신부(200)는 셋탑박스, DVD, PC 등과 같은 영상처리기기, 스마트폰과 같은 모바일기기 또는 인터넷을 통하여 서버로부터 영상신호를 수신할 수도 있다. 신호수신부(200)가 수신하는 오디오는 좌채널과 우채널을 포함하는 스테레오신호, 복수의 채널을 포함하는 멀티채널 오디오를 포함할 수 있다.
디스플레이부(206)는 신호처리부(202)에 의해 처리되는 영상신호에 기초하여 영상을 표시한다. 디스플레이부(206)의 구현 방식은 한정되지 않으며, 예를 들면 액정(liquid crystal), 플라즈마(plasma), 발광 다이오드(light-emitting diode), 유기발광 다이오드(organic light-emitting diode), 면전도 전자총(surface-conduction electron-emitter), 탄소 나노 튜브(carbon nano-tube), 나노 크리스탈(nano-crystal) 등의 다양한 디스플레이 방식으로 구현될 수 있다.
디스플레이부(206)는, 액정 방식인 경우에, 액정 디스플레이 패널과 액정 디스플레이 패널에 광을 공급하는 백라이트유닛과, 액정 디스플레이 패널을 구동시키는 패널구동기판 등을 포함한다. 디스플레이부(206)는, 백라이트유닛없이, 자발광 소자인 OLED 패널로 구현될 수도 있다.
신호처리부(202)는 신호수신부(200)를 통해 수신되는 컨텐츠신호를 처리하여 영상 및 오디오를 디스플레이부(206) 및 오디오출력부(203)를 통해 출력한다. 신호처리부(202)는 영상처리를 수행하는 영상처리부(204)와 음성처리를 수행하는 오디오처리부(201)를 포함한다.
영상처리부(204)는 신호수신부(200)를 통해 수신되는 전송스트림으로부터 추출되는 영상신호에 대해 영상처리 프로세스를 수행하고 이러한 프로세스가 수행된 영상신호를 디스플레이부(206)에 출력함으로써 디스플레이부(206)에 영상이 표시되게 한다. 영상처리부(204)가 수행하는 영상처리 프로세스는, 예를 들면 입력되는 전송스트림을 영상신호, 오디오신호, 부가데이터의 각 하위 스트림으로 구분하는 디멀티플렉싱(demultiplexing), 인터레이스(interlace) 방식의 영상신호를 프로그레시브(progressive) 방식으로 변환하는 디인터레이싱(de-interlacing), 영상신호의 해상도를 변경하는 스케일링(scaling), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 강화(detail enhancement), 프레임 리프레시 레이트(frame refresh rate) 변환 등을 포함할 수 있다.
오디오처리부(201)는 오디오신호에 대해 다양한 프로세스를 수행한다. 신호수신부(200)에 전송스트림이 수신되면, 오디오처리부(201)는 전송스트림으로부터 추출되는 오디오신호에 오디오 프로세스를 수행하고, 오디오 프로세스가 수행된 오디오신호를 오디오출력부(203)를 통해 출력함으로써 사용자에게 오디오를 제공한다.
본 발명의 일 실시예로서, 오디오처리부(201)는 입력오디오를 음상이 중앙인 제1오디오성분과 음상이 중앙을 제외한 배경인 제2오디오성분으로 분리한다. 오디오처리부(201)는 제2오디오성분의 음상을 변경하고, 크로스토크를 캔슬한 뒤 제1오디오성분과 합성하여 출력오디오를 생성하여 오디오출력부(203)로 전달한다. 오디오처리부(201)의 상세한 구성과 동작에 대해서는 후술한다.
오디오출력부(203)는 오디오처리부(201)로부터 제공되는 오디오를 출력한다. 오디오출력부(203)는, 예컨대, 가청주파수인 20Hz 내지 20KHz 대역의 오디오를 출력하게 마련된다. 오디오출력부(203)는 처리 가능한 오디오 채널 및 출력 주파수를 고려하여 디스플레이부(206)의 다양한 위치에 설치될 수 있으며, 예를 들면 디스플레이부(206)의 좌우 모서리에 설치될 수 있다. 오디오출력부(203)는 출력하는 오디오의 주파수대역에 따라 서브우퍼(sub-woofer), 미드우퍼(mid-woofer), 미드레인지(mid-range) 스피커, 트위터(tweeter) 스피커 중 적어도 하나를 포함할 수 있다.
입력수신부(207)는 사용자입력을 수신하여 제어부(205)로 전달한다. 입력수신부(207)는 사용자입력의 방식에 따라서 다양한 형태로 구현될 수 있는바, 예를 들면 전자장치(1)의 외측에 설치된 메뉴버튼, 리모트 컨트롤러로부터 수신되는 사용자입력의 리모컨신호를 수신하는 리모컨신호수신부, 디스플레이부(206)에 마련되어 사용자의 터치입력을 수신하는 터치입력수신부, 사용자의 제스처입력을 감지하는 카메라, 사용자의 음성입력을 인식하는 마이크, 외부장치와 통신하여 외부장치로부터 사용자입력을 수신하는 통신부 등으로 구현될 수 있다.
저장부(209)는 전자장치(1)의 다양한 데이터를 저장하도록 구성된다. 저장부(209)는 전자장치(1)에 공급되는 전원이 차단되더라도 데이터들이 남아있어야 하며, 변동사항을 반영할 수 있도록 쓰기 가능한 비휘발성 메모리(writable ROM)로 구비될 수 있다. 즉, 저장부(209)는 플래쉬 메모리(flash memory), EPROM 또는 EEPROM 중 어느 하나로 구비될 수 있다. 저장부(209)는 전자장치(1)의 읽기 또는 쓰기 속도가 비휘발성 메모리에 비해 빠른 DRAM 또는 SRAM과 같은 휘발성 메모리(volatile memory)를 더 구비할 수 있다.
통신부는 외부장치와 통신하도록 구성된다. 통신부는 전자장치(1)의 구현 방식 등에 따라서 다양한 방식으로 구현된다. 예를 들면, 통신부는 유선통신을 위한 접속부를 포함하며, 접속부는 HDMI(high definition multimedia interface), HDMI-CEC(consumer electronics control), USB, 컴포넌트(component) 등의 규격에 따른 신호/데이터를 송/수신할 수 있으며, 이들 각각의 규격에 대응하는 적어도 하나 이상의 커넥터 또는 단자를 포함한다. 통신부는 유선 LAN(local area network)을 통해 복수의 서버들과 유선 통신을 수행할 수 있다.
통신부는 유선 접속을 위한 커넥터 또는 단자를 포함하는 접속부 이외에도 전자장치(1)의 설계 방식에 따라서 다양한 구성을 포함할 수 있다. 다양한 구성의 예시로는, 외부 장치와 무선 통신을 수행하기 위해 RF(radio frequency)신호를 송수신하는 RF회로를 포함할 수 있으며, Wi-fi, 블루투스, 지그비(Zigbee), UWM(Ultra-Wide Band), Wireless USB, NFC(Near Field Communication) 중 하나 이상의 통신을 수행하도록 구성될 수 있다.
제어부(205)는 전자장치(1)의 제반 구성들이 동작하기 위한 제어를 수행한다. 제어부(205)는 이러한 제어 동작을 수행할 수 있도록 하는 제어프로그램과, 제어프로그램이 설치되는 비휘발성의 메모리, 설치된 제어프로그램의 적어도 일부가 로드되는 휘발성의 메모리 및 로드된 제어프로그램을 실행하는 적어도 하나의 마이크로프로세서 혹은 CPU(central processing unit)를 포함할 수 있다. 제어프로그램은, BIOS, 디바이스드라이버, 운영체계, 펌웨어, 플랫폼 및 응용프로그램(어플리케이션) 중 적어도 하나의 형태로 구현되는 프로그램(들)을 포함할 수 있다. 하나의 실시예로서, 응용프로그램은, 전자장치(1)의 제조 시에 전자장치(1)에 미리 설치 또는 저장되거나, 혹은 추후 사용 시에 외부로부터 응용프로그램의 데이터를 수신하여 수신된 데이터에 기초하여 전자장치(1)에 설치될 수 있다. 응용프로그램의 데이터는, 예컨대, 어플리케이션 마켓과 같은 외부 서버로부터 전자장치(1)로 다운로드될 수도 있다.
제어부(205)는 하나의 실시예로서, 입력오디오 중 음상이 중앙을 제외한 배경에 위치하는 제2오디오성분의 음상을 변경하고, 음상이 변경된 제2오디오성분과 제1오디오성분을 합성하여 출력오디오를 생성하도록 오디오처리부(201)를 제어한다.
제어부(205)는 음상이 변경된 제2오디오성분에 대해서, 스피커를 통해 출력되는 출력오디오의 크로스토크를 캔슬하기 위한 처리를 수행하도록 오디오처리부(201)를 제어한다.
추가적인 실시예로서, 제어부(205)는 통신부를 통해 외부 장치에 출력오디오를 전달하는 경우, 외부 장치가 헤드셋인지 외부 스피커인지 여부에 기초하여 크로스토크 캔슬을 선택적으로 수행하지 않을 수 있다.
이하, 도면을 참조하여 본 발명에 따른 오디오처리부(201)의 상세한 구성과 기능에 대해서 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 오디오처리부의 블록도를 도시한다. 오디오처리부(201)는 입력오디오에 오디오 프로세스를 처리하여 음상이 변경되고 크로스토크가 캔슬된 출력오디오를 생성한다. 이를 위해, 오디오처리부(201)는 신호분리부(300), 바이노럴 합성부(301), 크로스토크 캔슬부(303) 및 믹스부(305)를 포함한다.
도 4은 본 발명의 일 실시예에 따른 신호분리부의 블록도를 도시한다. 신호분리부(300)는 입력오디오로부터 제1오디오성분(Center)과 두 채널의 제2오디오성분(Amb L, Amb R)을 분리한다. 음상이 중앙에 위치한 제1오디오성분(Center)은, 예컨대, 영화나 드라마와 같은 컨텐츠에서 오디오 중 배우의 대사나 나레이션과 같은 오디오성분일 수 있다. 음상이 중앙을 제외한 배경에 위치한 제2오디오성분(Amb L, Amb R)은 배경음악, 주변환경소리와 같은 오디오성분일 수 있다. 음상이 중앙에 위치한 경우, 음상을 변경하거나, 크로스토크를 캔슬할 필요가 없으므로, 오디오처리부(201)는 음상이 중앙에 위치한 제1오디오성분(Center)을 입력오디오에서 분리하여 이후 프로세스를 바이패스시킨다.
신호분리부(300)는 도메인 변환부(400), 상관계수 산출부(401), 중심성분추출부(403) 및 차감부(405)를 포함한다.
도메인 변환부(400)는 제1채널과 제2채널을 포함하는 오디오신호를 입력 받아 도메인을 변환한다. 도메인 변환부(400)는 FFT(Fast Fourier Transform) 등의 알고리즘을 이용하여 스테레오 신호에 대하여 주파수 도메인으로 변환을 수행한다.
상관계수 산출부(401)는 도메인 변환부(400)에 의해 주파수 도메인으로 변환된 오디오 신호를 이용하여 상관계수를 산출한다. 상관계수 산출부(401)는 오디오신호에 포함된 두 채널 사이의 일관성(coherence)을 나타내는 제1계수와 두 채널 사이의 유사성(similarity)을 나타내는 제2계수를 구하고, 제1계수와 제2계수를 이용하여 상관 계수를 구한다. 상관계수는 산출된 상관계수를 중심성분추출부(403)로 보낸다.
중심성분추출부(403)는 상관 계수 및 오디오 신호를 이용하여 오디오 신호로부터 제1오디오성분(Center)을 추출한다. 중심성분추출부(403)는 오디오 신호의 산술 평균을 구하고 여기에 상관 계수를 곱하여 제1오디오성분(Center)을 생성한다.
차감부(405)는 오디오신호와 제1오디오성분(Center)의 차를 구한다. 차감부(405)는 좌측 성분을 갖는 제1오디오채널(CH 1)에서 제1오디오성분(Center)을 차감하여 좌 배경오디오신호(Amb L)를 구하고, 우측 성분을 갖는 제2오디오신호(Amb R)에서 제1오디오성분(Center)을 차감하여 우 배경오신호(Amb R)를 생성한다.
도면과 상술된 설명에서는 오디오신호가 2채널의 신호인 경우만 설명하고 있으나, 본 발명의 사상이 이에 한정되는 것은 아니며, 입력신호가 5.1채널 또는 그 이상의 멀티채널 오디오신호인 경우에도 본 발명이 적용될 수 있다. 입력오디오가 제1오디오성분(Center)과 제2오디오성분(Amb L, Amb R)으로 분리되어 입력되는 경우, 신호분리부(300)는 수신된 입력오디오에 신호분리를 수행하지 않고, 제1오디오성분(center)을 제외한 제2오디오성분(Amb L, Amb R)을 바이노럴 합성부(301) 및 크로스토크 캔슬부(303)로 전달한다.
입력오디오가 좌, 우, 중앙채널을 포함하는 경우, 전방음상을 자연스럽게 생성하기 위해 중앙채널에 제1오디오성분의 일부와 제2오디오성분의 일부가 포함될 수 있다. 이 경우, 중앙채널과 좌/우 채널을 포함한 채널을 신호분리부(300)에 입력하여 제1오디오성분(center)과 제2오디오성분(Amb L, Amb R)으로 분리할 수 있다. 도 5는 본 발명의 일 실시예에 따른 1쌍의 스테레오 채널을 포함하는 제2오디오성분(Amb L, Amb R)에 바이노럴 합성을 수행하는 바이노럴 합성부의 블록도를 도시한다. 바이노럴 합성부(301)는 신호분리부(300)에서 분리된 또는 이미 분리되어 입력된 제1오디오성분(Center)과 제2오디오성분(Amb L, Amb R) 중 제2오디오성분(Amb L, Amb R)을 입력 받아 가상의 스피커 위치로 음상을 변경하기 위한 오디오처리를 수행한다. 바이노럴 합성부(301)는 HRTF전달함수(500)와 HRTF가 적용된 오디오성분을 합성하는 합성부(501)를 포함한다. 음원과 고막사이의 음향학적 전달함수를 HRTF라고 한다. 이러한 HRTF는 두 귀간의 시간차와 두 귀간의 레벨차, 귓바퀴의 형상을 포함하여 소리가 전달되어온 공간의 특성을 나타내는 정보가 담겨있다. 특히 HRTF는 위와 아래의 음상정위에 결정적인 영향을 미치는 귓바퀴에 대한 정보를 포함하며, 그 귓바퀴에 대한 모델링이 쉽지 않아 측정을 통해 얻어질 수 있다. HRTF정보는 MIT Media Lab에서 측정한 KEMAR(Knowles Electronics Mannequin for Acoustic Research) 더미헤드에 대한 데이터를 이용할 수 있다. HRTF의 측정방법은 정현파 가진방법, 백색잡음 가진방법, 그리고 MLS(maximum length sequence)를 이용한 충격응답 측정방법 등이 있다. 정현파 가진방법은 자유 음장 상태에서(예를 들면, 무향실 안에서) 측정 위치의 음압을 일정하게 유지되도록 스피커 정현파 입력 신호를 제어한 후 두형더미를 설치하고 기록된 신호로 스피커를 가진할 때 귀에서의 오디오응답을 기록하는 방법으로 HRTF를 측정한다. 백색잡음 가진방법은 잡음 발생기를 이용하여 발생한 백색잡음에 대한 오디오응답을 측정하여 주파수응답함수를 구하는 방법으로 HRTF를 측정한다. MLS를 이용한 방법은 MLS신호를 발생시키고 발생된 신호를 라우드스피커의 입력단에 연결하여 가진하고 입력신호와 두형더미의 오디오응답과의 상호상관함수를 측정하여 충격응답함수를 구하는 방법으로 HRTF를 측정한다. 따라서, 이러한 특성을 모델링하여 재생하면 실제 스피커의 위치가 그 위치에 있지 않더라도 마치 의도한 특정 위치에서 재생이 되는 것과 같이 청취자가 느낄 수 있다. 2채널 HRTF의 경우, 예컨대, 30도 간격으로 좌/우로 벌어진 표준 스테레오 스피커로부터 측정된 측정값과 전자장치(1)에 마련된 스피커들의 위치를 기반으로 산출된 HRTF 전달함수(500)를 활용하나, 이에 한정되지 않는다. 바이노럴 합성부(301)는 입력오디오로부터 분리된 제2오디오성분(Amb L, Amb R)에 HLL, HLR, HRL, HRR의 전달함수(500)를 컨볼루션(convolution)시킨다. 바이노럴 합성부(301)는 각 채널의 제2오디오성분에 HRTF 전달함수(500)를 적용한다. 보다 구체적으로, 바이노럴 합성부(301)는 제2오디오성분(Amb L, Amb R) 중 좌측 배경오디오(Amb L)에 HLL과 HRL을 적용하고, 우측 배경오디오(Amb R)에 HRR과 HLR을 적용한다. 이어서, 합성부(501)에서 HLL과 HLR이 적용된 오디오를 합성하여 좌측 바이노럴 합성된 오디오(BL)를 생성하고, HRR과 HRL이 적용된 오디오를 합성하여 우측 바이노럴 합성된 오디오(BR)를 생성한다. 이에 따라, 사용자는 가상의 음원이 마치 실제 스피커와 다른 곳에 위치한 것과 같은 느낌을 받을 수 있다. 각 전달함수(500)가 적용된 오디오는 합성부(501)에서 합성되어 출력된다.
도 6는 본 발명의 일 실시예에 따라 제2오디오성분에 HRTF필터를 적용하는 바이노럴 합성 처리에 따라 형성된 가상스피커와 청취자의 관계를 도시한다. HRTF전달함수(500)의 적용으로 청취차는 가상스피커(600, 601)가 각각 30도 간격으로 벌어진 곳에서 오디오를 청취하는 느낌을 받는다.
도 7은 본 발명의 일 실시예에 따른 크로스토크 캔슬부의 블록도를 도시한다. 크로스토크 캔슬부(303)는 바이노럴 합성부(301)에서 출력된 바이노럴 합성 오디오(BL, BR)에 출력오디오에서 발생할 수 있는 크로스토크를 캔슬하기 위한 처리를 수행한다. 크로스토크란 한 채널의 오디오(예를 들어 L)가 청취자의 같은 방향 귀(왼쪽)로 전달 되는 경우 다른 쪽 오디오(R)와 섞여 청취를 방해하는 것으로, 크로스토크 캔슬부(303)는 바이노럴 합성 오디오(BL, BR)에 크로스토크 계수(700)를 적용하여 크로스토크를 캔슬한다. 크로스토크 계수(700)는 HRTF전달함수(500)의 역행렬을 통해 결정될 수 있다. 왼쪽(오른쪽) 스피커에서 출력되는 일 채널의 오디오는 청취자의 오른쪽 귀(또는 왼쪽 귀)에서 들리지 않게 된다. 크로스토크 캔슬이 수행된 제2오디오성분(CL, CR)은 믹스부(305)로 전달된다.
믹스부(305)는 크로스토크 캔슬이 완료된 제2오디오성분(CL, CR)과 제1오디오성분을 합성하여 출력오디오(yL, yR)를 생성한다.
다른 일 실시예에 따르면, 전자장치(1)가 출력오디오신호를 통신부를 통해 헤드셋 등 크로스토크가 발생하지 않는 외부 오디오출력장치에 전달하는 경우, 제어부(205)는 크로스토크 캔슬 처리를 생략하고, 음상이 변경된 제2오디오성분과 음상이 유지되는 제1오디오성분을 합성하여 출력오디오를 생성한다.
지금까지, 신호분리부(300)에서, 분리된 제2오디오성분이 좌 배경오디오(Amb L)와 우 배경오디오(Amb R) 두 개로 분리되는 경우만을 설명했다. 하지만, 본 발명의 사상이 이에 한정되지 않는다. 본 발명의 다른 일 실시예에 따른 신호분리부(300)는 보다 자연스러운 오디오의 재현을 위해, 제2오디오성분을 보다 세분화하여 분리하거나, 보다 세분화된 제2오디오성분을 포함하는 입력오디오가 외부로부터 입력될 수도 있다. 이하, 도면을 참조하여 구체적으로 설명한다.
도 8은 본 발명의 다른 일 실시예에 따른 제2오디오성분을 복수개로 분리하는 신호분리부 블록도를 도시한다. 신호분리부(300)는 입력오디오로부터 좌/우 패닝 각도에 따라 3개 이상의 복수개의 신호로 분리하기 위해 패닝 인덱스 추출부(800)와 제1 및 제2배경오디오 분리부(801, 803)를 더 포함한다. 제2오디오성분이 복수개로 세분화되어 입력된 경우, 신호분리부(300)는 제2오디오성분을 세분화하는 동작을 수행하지 않거나, 제2오디오성분을 추가로 세분화할 수도 있다.
패닝 인덱스 추출부(800)는 상관계수 산출부(401)에서 산출된 상관계수로부터 패닝 인덱스를 추출한다. 보다 구체적으로, 패닝 인덱스 추출부(800)는 수신된 입력오디오(L, R)의 각 채널간 비율에 기초하여 오디오의 음원이 패닝된 정도를 산출하고, 산출된 정도에 기초하여 패닝 인덱스를 추출할 수 있다. 다른 일 실시예에 따르면, 방송신호 등 신호수신부(200)를 통해 수신되는 컨텐츠 신호가 오디오의 패닝 인덱스 정보를 포함할 수 있다.
제1 및 제2배경오디오 분리부(801, 803)는 추출된 패닝 인덱스를 이용하여 패닝 정도에 따라 제2오디오성분을 보다 세분화하여 분리한다. 분리되는 복수의 좌 배경오디오(AmbL1~AmbLN)와 복수의 우 배경오디오(AmbR1~AmbRN) 각각은 추출된 패닝 인덱스에 대응하는 레벨을 갖는다.
도 9는 2N개의 채널에 HRTF전달함수(900)를 적용하기 위한 바이노럴 합성부(301)의 상세블록도를 도시한다. 바이노럴 합성부(301)는 신호분리부(300)에서 보다 많은 위치에서 측정된 HRTF를 이용하여 전달함수(900)를 설계하고 복수개로 분리된 제2오디오성분(Amb L1~AmbLN, Amb R1~AmbRN)에 적용한다. 예컨대, 중심을 기준으로 가장 가까이에 모여있는 가상 스피커에 대한 전달함수는 H1로 정의하고, 가장 멀리 떨어져 있는 가상 스피커에 대한 전달함수는 HN으로 정의한다. 합성부(901, 903)는 전달함수(900)를 통과한 각 오디오성분을 합성하여 좌 바이노럴 합성 오디오(BL)와 우 바이노럴 합성 오디오(BR)를 생성한다.
도 10을 참조하면, 본 발명의 다른 일 실시예에 따라 복수개로 분리된 제2오디오성분에 복수의 HRTF전달함수를 적용하는 바이노럴 합성 처리에 따라 형성된 복수개의 가상 스피커(1000, 1001, 1003)와 청취자의 관계를 도시한다. 전자장치(1)는 보다 많은 숫자의 가상 스피커(1000, 1001, 1003)를 통해 보다 자연스러운 오디오를 재현할 수 있게 된다.
도 11은 본 발명의 다른 일 실시예에 따른 전자장치의 예를 도시하며, 도 12는 복수의 스피커에 대응하도록 마련되는 오디오처리부를 도시한다. 오디오출력부(203)는 출력하는 오디오의 주파수대역에 따라 복수의 주파수대역에 대응하는 복수의 스피커(1100, 1101, 1103)를 포함할 수 있다. 복수의 스피커(1100, 1101, 1103)가 상/하 수직으로 배열되는 경우, 출력오디오의 경로차이가 크게 발생하지 않아 스피커 별로 HRTF가 크게 차이가 나지 않는다. 그러나, 전자장치(1)의 공간상의 제약 등으로 인해 각 스피커(1100, 1101, 1103)가 좌/우 수평으로 배치되어 있는 경우, 각 스피커(1100, 1101, 1103)로부터 사용자에 이르는 출력오디오의 경로차가 발생한다. 이를 해소하기 위해 본 발명의 다른 일 실시예에 따른 오디오처리부(201)는 주파수대역별로 제1오디오성분과 제2오디오성분을 분리하는 신호분리부(300)와 주파수대역별로 분리된 제2오디오성분에 바이노럴 합성과 크로스토크 캔슬을 수행하기 위한 복수의 바이노럴 합성부(301), 복수의 크로스토크 캔슬부(303) 및 복수의 믹스부(305)를 포함한다.
복수의 바이노럴 합성부(301)와 복수의 크로스토크 캔슬부(303)는 각각 복수의 스피커(1100, 1101, 1103)간 이격된 거리 및 각 스피커(1100, 1101, 1103)가 배치된 위치와 적어도 하나 이상의 위치에서 측정된 HRTF계수와 크로스토크 필터 계수를 입력오디오로부터 분리된 제2오디오성분에 적용한다.
도 13은 본 발명의 일 실시예에 따른 제어흐름도를 도시한다.
먼저, 동작 S1300에서, 제어부(205)는 입력오디오를 처리하여 출력오디오를 생성하도록 오디오처리부(201)를 제어한다. 이어서, 동작 S1301에서, 제어부(205)는 입력오디오를 제1오디오성분 및 제2오디오성분으로 분리하도록 오디오처리부(201)를 제어한다. 그 후, 제어부(205)는 제2오디오성분의 음상을 소정의 위치로 변경하도록 오디오처리부(201)를 제어한다. 마지막으로, 제어부(205)는 제1오디오성분과 음상이 변경된 제2오디오성분을 이용하여 출력오디오를 생성하도록 오디오처리부(201)를 제어한다.
도 14는 본 발명의 일 실시예의 적용 여부에 따라 출력오디오의 왜곡현상 개선여부를 도시한다. 전자장치(1)는 출력오디오의 왜곡현상을 감지하기 위해 테스트신호를 생성하고, 오디오처리를 수행한 후 출력할 수 있다. 전자장치(1)는 외부로부터 테스트신호를 입력 받을 수도 있다. 테스트신호는 적어도 둘 이상의 채널을 갖는 입력오디오를 포함한다. 오디오처리부(201)는 수신된 테스트신호를 처리하여 오디오출력부(203)에 제공한다. 오디오출력부(203)는 좌우스피커(1400, 1401) 통해 오디오를 출력한다. 사용자의 귀 또는 인체형 더미에 위치하는 감지부(1403)를 통해 출력오디오의 왜곡여부를 감지할 수 있다. 제1오디오성분(center)은 음상이 중앙에 있어, 바이노럴 합성과 크로스토크 캔슬링이 적용될 경우, 왜곡이 발생한다.
부호 1405는, 오디오성분의 분리 없이 입력오디오에 바이노럴 합성과 크로스토크 캔슬링을 적용된 상태에서 감지된 출력오디오의 주파수 특성이다. 제1오디오성분(center)에 바이노럴 합성과 크로스토크 캔슬링이 적용되어, 출력오디오성분의 특정 주파수에서 왜곡(1411)이 발생한다. 부호 1407은, 입력오디오에서 제1오디오성분(Center)과 제2오디오성분(Amb L, Amb R)을 분리하고, 분리된 제2오디오성분(Amb L, Amb R)에만 바이노럴 합성과 크로스토크 캔슬링이 적용된 상태에서 감지된 출력오디오의 주파수 특성이다. 제1오디오성분(center)이 분리되어 바이노럴 합성과 크로스토크 캔슬링이 미적용 되었으므로, 출력오디오성분의 특정 주파수에서 왜곡이 개선(1413) 된다.
도 15는 본 발명의 일 실시예의 적용 여부에 따라 테스트신호가 사이드에서 센터로 패닝될 때, 출력오디오의 왜곡현상 개선여부를 도시한다. 전자장치(1)는 출력오디오의 왜곡현상을 감지하기 위해 테스트신호를 생성하고, 오디오처리를 수행한 후 출력할 수 있다. 전자장치(1)는 외부로부터 테스트신호를 입력 받을 수도 있다. 테스트신호는 적어도 둘 이상의 채널을 갖는 입력오디오를 포함한다. 오디오처리부(201)는 수신된 테스트신호를 처리하여 오디오출력부(203)에 제공한다. 오디오출력부(203)는 좌우스피커(1500, 1501) 통해 오디오를 출력한다. 사용자의 귀 또는 인체형 더미에 위치하는 감지부(1503)를 통해 출력오디오의 왜곡여부를 감지할 수 있다. 테스트신호(1505)는 좌우채널을 포함하는 상관 백색 잡음(Correlated white noise)일수도 있다. 테스트신호(1505)는 시간이 지남에 따라 좌채널(L, 1511)과 우채널(R, 1513)의 레벨이 조절되어, 좌측으로 패닝된 상태에서 점차 센터로 패닝된다. 최종적으로는 좌채널(1511)과 우채널(1513)에서 동일한 레벨의 신호가 재생되어 센터로 음상이 정위된다. 제1오디오성분(center)은 음상이 중앙에 있어, 바이노럴 합성과 크로스토크 캔슬링이 적용될 경우, 왜곡이 발생한다.
부호 1507은, 오디오성분의 분리 없이 입력오디오에 바이노럴 합성과 크로스토크 캔슬링을 적용된 상태에서 감지된 출력오디오의 주파수 특성이다. 테스트 신호가 센터로 패닝 되어 감에 따라, 바이노럴 합성과 크로스토크 캔슬링이 적용된 제1오디오성분(center)의 비중이 출력오디오에서 점점 높아진다. 테스트 신호가 센터와 근접할 때, 출력오디오성분의 특정 주파수에서 왜곡(1515)이 발생한다. 부호 1509는, 입력오디오에서 제1오디오성분(Center)과 제2오디오성분(Amb L, Amb R)을 분리하고, 분리된 제2오디오성분(Amb L, Amb R)에만 바이노럴 합성과 크로스토크 캔슬링이 적용된 상태에서 감지된 출력오디오의 주파수 특성이다. 제1오디오성분(center)이 분리되어 바이노럴 합성과 크로스토크 캔슬링이 미적용 되었으므로, 테스트 신호가 센터로 패닝 되어도 특정 주파수에서 왜곡이 개선(1517) 된다.도 16은 본 발명의 다른 일 실시예에 따른 전자장치의 블록도이다. 다른 일 실시예에 따른 전자장치(1)에서 출력된 출력오디오는 스피커(17)뿐 아니라, 헤드셋(16)을 통해 출력될 수 있다. 출력오디오가 헤드셋(16)을 통해 출력되는 경우, 한 채널의 오디오(L)가 다른 쪽 오디오(R)와 섞여 청취자의 청취를 방해하지 않으므로, 크로스토크 캔슬링이 수행될 필요가 없다. 제어부(205)는 출력오디오가 헤드셋(16)을 통해 출력되는지 스피커(17)를 통해 출력되는지에 따라 크로스토크 캔슬부(1600)가 바이노럴 합성된 제2오디오성분(BL, BR)에 크로스토크 캔슬링을 선택적으로 수행하도록 제어한다. 크로스토크 캔슬부(1600)는 제어부(205)의 제어에 따라 크로스토크 캔슬링이 수행된 제2오디오성분(CL, CR) 또는 크로스토크 캔슬링이 수행되지 않은 제2오디오성분(BL, BR)을 믹스부()로 출력한다. 믹스부(1601)는 크로스토크 캔슬링이 수행된 제2오디오성분(CL, CR) 또는 크로스토크 캔슬링이 수행되지 않은 제2오디오성분(BL, BR)에 제1오디오성분(Center)을 혼합하여 헤드셋(16)에 제공될 헤드셋출력오디오(HL, HR)을 생성하거나, 스피커(17)로 제공될 스피커출력오디오(SL, SR)을 생성하여 출력한다.
도 17은 본 발명의 일 실시예에 따른 전자장치의 동작을 도시한다. 전자장치(1)는 음원의 패닝된 정도 등에 따라 가상스피커의 개수와 음원의 각도를 조절할 수 있다. 예컨대, 전자장치(1)는 입력오디오가 오케스트라, 운동경기장 등 현장감이 중요한 특성이 있거나, 음원의 각도가 다양하여 음상이 넓을 필요가 있으면, 가상스피커의 개수를 증가시킨다. 반대로, 입력오디오가 배우의 대사 등 음상이 중앙에 위치하는 등 제1오디오성분(center)의 비중이 높은 경우, 가상스피커의 개수를 감소시킨다. 부호 1700은 입력오디오의 음원의 패닝된 각도에 따라 가상스피커의 개수를 결정하고 사용자에게 안내하는 예가 도시된다.
다른 일예로서, 전자장치(1)는 사용자의 선택에 따라 가상스피커의 개수와 음원의 각도를 결정할 수 있다. 부호 1701은 사용자가 가상스피커의 개수와 음원의 각도를 결정할 수 있도록 하는 항목을 포함하는 UI의 예를 도시한다.
도 18은 본 발명의 일 실시예에 따라 도 17에서 결정된 음원의 각도와 가상스피커의 개수가 조절되는 예를 도시한다. 부호 1800은 결정된 음원의 각도에 따라 가상스피커의 위치가 조절되는 예를 도시한다. 가상스피커는 바이노럴 합성부(301)에서 HRTF함수의 적용에 의해 생성되며, 복수의 HRTF필터 중 결정된 음원의 각도에 대응하는 HRTF필터를 입력오디오데 적용함으로써 가상스피커의 위치를 조절할 수 있다.
부호 1801은 가상스피커의 개수가 조절되는 예를 도시한다. 가상스피커의 개수를 조절하기 위해 신호분리부(300)는 결정된 개수에 대응하도록 제2오디오성분(Amb L1~AmbLN, Amb R1~AmbRN)을 분리한다. 이어서, 바이노럴 합성부(301)가 분리된 제2오디오성분(Amb L1~AmbLN, Amb R1~AmbRN)에 결정된 음원의 각도에 대응하는 HRTF필터를 적용함으로써 가상스피커의 개수가 조절된다.
도 19는 본 발명의 다른 일 실시예에 따른 전자장치의 블록도를 도시한다. 전술한 바와 같이, 입력오디오는 좌채널과 우채널의 2채널을 포함할 수 있다. 입력오디오가 2채널인 경우, 제1신호분리부(1900)에서 제1오디오성분(Center)과 제2오디오성분(Amb L, Amb R)으로 분리된다.
입력오디오는 좌채널, 우채널, 중앙채널을 포함하는 3개 이상의 채널을 포함할 수 있다. 입력오디오가 3개 이상의 채널을 포함하는 경우에도, 중앙채널이 제2오디오성분(Amb L, Amb R)의 일부를 포함하면, 입력오디오는 제2신호분리부(1901)에서 분리된다. 예컨대, 입력오디오가 3채널인 경우, 좌채널과 중앙채널의 상관계수를 산출하고, 우채널과 중앙채널의 상관계수를 산출한 후, 상관계수들을 이용하여 음상이 중앙에 위치한 제1오디오성분(Center)과 음상이 주변에 위치하는 제2오디오성분(Amb L, Amb R)으로 분리한다. 오디오의 분리는 입력오디오가 3채널 이상인 경우에도 적용될 수 있다. 제2오디오성분(Amb L, Amb R)은 바이노럴 합성부(1903)와 크로스토크 캔슬부(1905)를 거쳐 믹스부(1907)에서 제1오디오성분(Center)과 합성되어 출력된다.
1 - 전자장치
200 - 신호수신부
202 - 신호처리부
203 - 오디오출력부
205 - 제어부
206 - 디스플레이부
207 - 입력수신부
209 - 저장부

Claims (14)

  1. 전자장치에 있어서,
    적어도 둘 이상의 채널을 포함하는 입력오디오를 처리하여 출력오디오를 생성하는 오디오처리부; 및
    상기 입력오디오를 서로 다른 음상을 갖는 제1오디오성분 및 제2오디오성분으로 분리하고, 상기 제2오디오성분의 음상을 소정의 위치로 변경시키고, 상기 제1오디오성분과 상기 음상이 소정의 위치로 변경된 상기 제2오디오성분을 이용하여 상기 출력오디오를 생성하도록 상기 오디오처리부를 제어하는 제어부를 포함하는 전자장치.
  2. 제 1항에 있어서,
    상기 제1오디오성분의 음상은 중앙이고, 상기 제2오디오성분의 상기 음상은 상기 중앙을 제외한 배경에 위치하는 것을 특징으로 하는 전자장치.
  3. 제 1항에 있어서,
    상기 제어부는 상기 제2오디오성분을 복수개로 분리하도록 상기 오디오처리부를 제어하는 전자장치.
  4. 제 1항에 있어서,
    상기 생성된 출력오디오를 출력하는 스피커를 포함하는 전자장치.
  5. 제 4항에 있어서,
    상기 제어부는 상기 스피커의 위치에 기초하여 상기 제2오디오성분의 상기 음상을 상기 소정의 위치로 변경하도록 상기 오디오처리부를 제어하는 전자장치.
  6. 제 4항에 있어서,
    상기 제어부는 상기 음상이 상기 소정의 위치로 변경된 상기 제2오디오성분에 대해서 상기 스피커를 통해 출력되는 상기 출력오디오의 크로스토크를 캔슬하기 위한 처리를 수행하도록 상기 오디오처리부를 제어하는 전자장치.
  7. 제 4항에 있어서,
    상기 스피커는 상기 입력오디오의 주파수 대역에 기초하여 복수개가 서로 소정의거리 만큼 이격하여 배치되며,
    상기 제어부는 상기 소정의 거리 및 상기 각 스피커가 배치된 위치에 기초하여 상기 제2오디오성분의 상기 음상을 소정의 위치로 변경하도록 상기 오디오처리부를 제어하는 전자장치.
  8. 전자장치의 제어방법에 있어서,
    적어도 둘 이상의 채널을 포함하는 입력오디오를 처리하여 출력오디오를 생성하는 단계;
    상기 입력오디오를 서로 다른 음상을 갖는 제1오디오성분 및 제2오디오성분으로 분리하는 단계;
    상기 제2오디오성분의 음상을 소정의 위치로 변경시키는 단계; 및
    상기 제1오디오성분과 상기 음상이 소정의 위치로 변경된 상기 제2오디오성분을 이용하여 상기 출력오디오를 생성하는 단계를 포함하는 전자장치의 제어방법.
  9. 제 8항에 있어서,
    상기 제1오디오성분의 음상은 중앙이고, 상기 제2오디오성분의 상기 음상은 상기 중앙을 제외한 배경에 위치하는 것을 특징으로 하는 전자장치의 제어방법.
  10. 제 8항에 있어서,
    상기 분리하는 단계는,
    상기 제2오디오성분을 복수개로 분리하는 단계를 포함하는 전자장치의 제어방법.
  11. 제 8항에 있어서,
    스피커를 통해 상기 생성된 출력오디오를 출력하는 단계를 포함하는 전자장치의 제어방법.
  12. 제 11항에 있어서,
    상기 음상을 소정의 위치로 변경하는 단계는,
    상기 스피커의 위치에 기초하여 상기 제2오디오성분의 상기 음상을 상기 소정의 위치로 변경하는 단계를 포함하는 전자장치의 제어방법.
  13. 제 11항에 있어서,
    상기 음상이 상기 소정의 위치로 변경된 상기 제2오디오성분에 대해서 상기 스피커를 통해 출력되는 상기 출력오디오의 크로스토크를 캔슬하기 위한 처리를 수행하는 단계를 포함하는 전자장치의 제어방법.
  14. 제 11항에 있어서,
    상기 음상을 소정의 위치로 변경하는 단계는,
    상기 스피커를 상기 입력오디오의 주파수대역에 기초하여 복수개가 서로 소정의거리 만큼 이격되도록 배치하는 단계; 및
    상기 소정의 거리 및 상기 각 스피커가 배치된 위치에 기초하여 상기 제2오디오성분의 상기 음상을 소정의 위치로 변경하는 단계를 포함하는 전자장치의 제어방법.
KR1020160160693A 2016-11-29 2016-11-29 전자장치 및 그 제어방법 KR102580502B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020160160693A KR102580502B1 (ko) 2016-11-29 2016-11-29 전자장치 및 그 제어방법
JP2019528683A JP2019537380A (ja) 2016-11-29 2017-10-17 電子装置及びその制御方法
EP17875855.3A EP3494712A1 (en) 2016-11-29 2017-10-17 Electronic apparatus and control method thereof
CN201780070695.2A CN109983785B (zh) 2016-11-29 2017-10-17 电子装置及其控制方法
PCT/KR2017/011429 WO2018101600A1 (en) 2016-11-29 2017-10-17 Electronic apparatus and control method thereof
US15/806,820 US20180152787A1 (en) 2016-11-29 2017-11-08 Electronic apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160160693A KR102580502B1 (ko) 2016-11-29 2016-11-29 전자장치 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20180060793A true KR20180060793A (ko) 2018-06-07
KR102580502B1 KR102580502B1 (ko) 2023-09-21

Family

ID=62190609

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160160693A KR102580502B1 (ko) 2016-11-29 2016-11-29 전자장치 및 그 제어방법

Country Status (6)

Country Link
US (1) US20180152787A1 (ko)
EP (1) EP3494712A1 (ko)
JP (1) JP2019537380A (ko)
KR (1) KR102580502B1 (ko)
CN (1) CN109983785B (ko)
WO (1) WO2018101600A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10771896B2 (en) * 2017-04-14 2020-09-08 Hewlett-Packard Development Company, L.P. Crosstalk cancellation for speaker-based spatial rendering
US10764704B2 (en) 2018-03-22 2020-09-01 Boomcloud 360, Inc. Multi-channel subband spatial processing for loudspeakers
GB2579348A (en) * 2018-11-16 2020-06-24 Nokia Technologies Oy Audio processing
GB2584630A (en) * 2019-05-29 2020-12-16 Nokia Technologies Oy Audio processing
CN117859348A (zh) * 2021-09-10 2024-04-09 哈曼国际工业有限公司 多通道音频处理方法、系统和立体声装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016054098A1 (en) * 2014-09-30 2016-04-07 Nunntawi Dynamics Llc Method for creating a virtual acoustic stereo system with an undistorted acoustic center

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002330500A (ja) * 2001-04-27 2002-11-15 Pioneer Electronic Corp 自動音場補正装置及びそのためのコンピュータプログラム
JP2004007039A (ja) * 2002-05-30 2004-01-08 Canon Inc マルチスピーカを有するテレビシステム
KR100677119B1 (ko) 2004-06-04 2007-02-02 삼성전자주식회사 와이드 스테레오 재생 방법 및 그 장치
KR100641454B1 (ko) * 2005-07-13 2006-11-01 엘지전자 주식회사 오디오 시스템의 크로스토크 제거 장치
EP2154911A1 (en) * 2008-08-13 2010-02-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An apparatus for determining a spatial output multi-channel audio signal
KR20100062773A (ko) * 2008-12-02 2010-06-10 한국전자통신연구원 오디오 컨텐츠 재생 장치
JP5964311B2 (ja) 2010-10-20 2016-08-03 ディーティーエス・エルエルシーＤｔｓ Ｌｌｃ ステレオイメージ拡張システム
KR20140128564A (ko) * 2013-04-27 2014-11-06 인텔렉추얼디스커버리 주식회사 음상 정위를 위한 오디오 시스템 및 방법
CN105917674B (zh) * 2013-10-30 2019-11-22 华为技术有限公司 用于处理音频信号的方法和移动装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016054098A1 (en) * 2014-09-30 2016-04-07 Nunntawi Dynamics Llc Method for creating a virtual acoustic stereo system with an undistorted acoustic center

Also Published As

Publication number Publication date
WO2018101600A1 (en) 2018-06-07
EP3494712A4 (en) 2019-06-12
KR102580502B1 (ko) 2023-09-21
CN109983785B (zh) 2021-10-29
JP2019537380A (ja) 2019-12-19
US20180152787A1 (en) 2018-05-31
CN109983785A (zh) 2019-07-05
EP3494712A1 (en) 2019-06-12

Similar Documents

Publication Publication Date Title
US11178503B2 (en) System for rendering and playback of object based audio in various listening environments
CN101370108B (zh) 图像显示装置和方法
US11902762B2 (en) Orientation-aware surround sound playback
KR102580502B1 (ko) 전자장치 및 그 제어방법
EP2891335B1 (en) Reflected and direct rendering of upmixed content to individually addressable drivers
US9609418B2 (en) Signal processing circuit
CN110049428B (zh) 用于实现多声道环绕立体声播放的方法、播放设备及系统
KR20100081300A (ko) 오디오 신호의 디코딩 방법 및 장치
US20170086005A1 (en) System and method for processing audio signal
CN113424556B (zh) 声音再现/模拟系统和用于模拟声音再现的方法
CN102550048B (zh) 一种用于处理音频信号的方法和装置
JP2006033847A (ja) 最適な仮想音源を提供する音響再生装置及び音響再生方法
JP2009260458A (ja) 音響再生装置、および、これを含む映像音声視聴システム
KR102468799B1 (ko) 전자장치, 그 제어방법 및 그 컴퓨터프로그램제품
KR20140090469A (ko) 영상표시장치의 동작 방법
Floros et al. Spatial enhancement for immersive stereo audio applications
EP4383757A1 (en) Adaptive loudspeaker and listener positioning compensation
EP4369740A1 (en) Adaptive sound image width enhancement
EP4369739A2 (en) Adaptive sound scene rotation
US11546715B2 (en) Systems and methods for generating video-adapted surround-sound
CN115802272A (zh) 用于实现串扰消除的扬声器驱动器布置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right