KR101919508B1 - 가상 공간에서의 사운드 신호 생성을 통한 입체음향 공급방법 및 장치 - Google Patents

가상 공간에서의 사운드 신호 생성을 통한 입체음향 공급방법 및 장치 Download PDF

Info

Publication number
KR101919508B1
KR101919508B1 KR1020180007135A KR20180007135A KR101919508B1 KR 101919508 B1 KR101919508 B1 KR 101919508B1 KR 1020180007135 A KR1020180007135 A KR 1020180007135A KR 20180007135 A KR20180007135 A KR 20180007135A KR 101919508 B1 KR101919508 B1 KR 101919508B1
Authority
KR
South Korea
Prior art keywords
sound source
frequency
virtual
frequency band
band
Prior art date
Application number
KR1020180007135A
Other languages
English (en)
Inventor
하수호
Original Assignee
주식회사 킨트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 킨트 filed Critical 주식회사 킨트
Priority to KR1020180007135A priority Critical patent/KR101919508B1/ko
Application granted granted Critical
Publication of KR101919508B1 publication Critical patent/KR101919508B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

본 발명은 음원의 주파수 에너지를 분석하는 주파수 에너지 분석기, 상기 주파수 에너지 분석기에서 분석된 각 주파수 대역별 주파수 에너지를 비교하여 음원 카테고리를 결정하는 음원 카테고리 결정기, 음원 카테고리의 악기 배치 정보에 대응하여 가상공간 내에서의 가상음원 배치를 설정하는 가상음원 배치기, 업믹싱 및 다운믹싱하여 가상음원을 생성하는 가상음원 생성기 및 가상공간 내에서 설정된 가상음원과 청취자의 위치 관계에 따라 각 가상음원을 이퀄라이징하는 이퀄라이저를 포함하는, 가상 공간에서의 사운드 신호 생성을 통한 입체음향 공급 장치를 제공한다.

Description

가상 공간에서의 사운드 신호 생성을 통한 입체음향 공급방법 및 장치 {Method and apparatus for supplying stereophonic sound through sound signal generation in virtual space}
본 발명은 가상 공간에서의 사운드 신호 생성을 통한 입체음향 공급방법 및 장치에 관한 것이다.
음원은 실내 공간의 특성에 따라 동일한 음원(예: 관악기, 피아노, 가야금 소리)일지라도 음악당이나 콘서트 홀에서 들을 때와 극장이나 강당에서 들을 때 청취자는 다른 음향을 경험한다. 실내 공간은 크기, 구조, 천장의 재질과 무대의 반사벽에 의해 직접음, 초기 반사음, 잔향시간, 잔향음이 다르기 때문에, 청취자는 천장이나 벽으로부터 반사가 계속되어 울리는 잔향음에 의해 실제 음향 효과가 다르게 느껴진다.
기존의 오디오 기술은 모노(Mono) 및 스테레오(Stereo), DVD-Video, DVD-Audio에 5.1 채널을 사용한다. 앞서 말한 음원의 공간감을 나타내기 위해 5.1채널 사운드 시스템이 많이 이용되고 있다. 5.1 채널 사운드 시스템은 5채널 서라운드 멀티채널 사운드 시스템을 말하며, 보편적으로 극장 및 홈 시어터(home theater) 시스템에 사용되고, 5개의 전 대역(full bandwidth) 채널과 1개의 저주파 채널(0.1채널)을 사용한다. 현재 5.1 채널 사운드 시스템은 디지털 방송과 음악의 표준 서라운드 사운드 오디오 구성 요소이다. 5.1 채널 시스템은 (front) left, center, (front) right, surround left, surround right, (sub) woofer 채널로 구분되는 스피커 채널과 구성을 사용한다.
특히 3DTV 출시와 함께 3차원 영화와 같이 실제 현장감과 몰입감을 제공하는 3차원 입체 영상과 부합되는 3차원 입체음향 기술이 필요하게 되었다. 최근 오디오 시스템은 3차원 공간에서 음의 고저가 느껴질 때 즉, 음장(sound field)이 3차원 공간을 표현하는 3차원 오디오 기술이 개발되고 있다.
그러나, 3D 사운드(3D Sound)를 구현하기 위해 2개 이상의 많은 스피커가 필요하며, 5.1채널 서라운드 멀티채널 사운드 시스템은 음원을 재생하는 실제 스피커가 청취자와 떨어진 실제 공간안에 배치되어 음악을 재생하게 되므로, 청취자가 이어폰이나 헤드폰을 착용한 상태로 들을 때의 상황과는 상이하다. 머리 전달함수(HRTF, Head Related Transfer Function)를 이용하는 바이노럴 3차원 오디오를 제외하고는 아직까지 가상 공간에서 음의 고저감, 거리감, 공간감이 제대로 구현되지 못하고 있다.
따라서 스테레오 음원을 가지고 이어폰이나 헤드폰을 착용한 상태로 들을 때 실제 스피커에서 제공하는 공간감이 아닌 가상의 공간감을 제공하기 위한 3차원 오디오 기술 개발의 필요성이 있다.
2채널 스테레오(stereo) 컨텐츠를 이용하여 본래의 오디오 신호가 가지고 있는 공간정보의 왜곡을 최소화하면서 확장된 멀티채널 포맷으로의 보다 실감나는 입체 음향 효과와 풍부한 음장감을 제공하기 위한 기술이 필요하다.
본 공개에 따른 실시예는 확장된 사운드들을 음악 카테고리별로 그리고 가상음원이 배치되는 위치별로 재배치가 가능하게 하여 사실감을 극대화 시킬 수 있다. 즉, 음원의 종류가 오케스트라, 재즈, 팝 등의 각기 다른 카테고리로 존재할 수 있는데, 각 카테고리마다 연주자의 위치(즉, 악기의 위치), 악기의 종류 등에 따라 분류하고 그룹화할 수 있다. 각 악기 또는 그룹화된 악기 그룹은 서로 다른 주파수 형태와 주파수 범위를 가지며 이러한 주파수 범위 및 형태를 변화시켜 가상공간 내에서 더 나은 공간감을 갖는 사운드를 만들어낼 수 있다.
기존의 업믹스 또는 다운믹스 기술들은 좌-우 스테레오 신호의 특성을 파악하여 전-후-좌-우의 위치별 신호값을 구한 후 스테레오 신호를 서라운드 사운드 신호로 확장시키는 방식을 택하였다. 그러나, 본 발명은 스테레오 신호로부터 프라이머리(Primary) 성분과 앰비언트(Ambiant) 성분으로 분할한 후 가상공간에 배치하고 각각의 사운드 주파수 변화와 가상음원의 배치 및 이동을 통하여 보다 다양하고 효과적인 사운드 효과를 공급할 수 있다.
본 공개에 따른 실시예는 과제의 해결수단으로 음원의 주파수 에너지를 분석하는 주파수 에너지 분석기; 상기 주파수 에너지 분석기에서 분석된 각 주파수 대역별 주파수 에너지를 비교하여 음원 카테고리를 결정하는 음원 카테고리 결정기; 음원 카테고리의 악기 배치 정보에 대응하여 가상공간 내에서의 가상음원 배치를 설정하는 가상음원 배치기; 음원의 입력 스테레오 신호를 프라이머리(Primary) 성분과 앰비언트(ambient) 성분으로 업믹스하는 업믹서 및 프라이머리 성분과 앰비언트 성분을 다운믹스하여 가상음원을 생성하는 다운믹서를 포함하는 가상음원 생성기; 및 가상공간 내에서 설정된 가상음원과 청취자의 위치 관계에 따라 각 가상음원을 이퀄라이징하는 이퀄라이저;를 포함하는, 가상 공간에서의 사운드 신호 생성을 통한 입체음향 공급 장치를 제공한다.
본 공개에 따른 실시예는 업믹스 된 서라운드 사운드 신호들을 가상 공간 내의 배치를 이용하여 의 이동을 가능하게 하여 음원의 자연스러운 효과 변화가 가능하다. 또한 본 공개에 따른 실시예는 프라이머리 성분과 앰비언트 성분으로 사운드 신호를 분리 후 상기 성분들을 자유롭게 조절이 가능하여 효과적인 입체음향을 제공할 수 있다.
본 공개에 따른 실시예는 음원의 주파수 에너지를 분석하고 각 주파수 대역별 주파수 에너지를 비교하여 음원 카테고리를 결정함으로써 각 음원의 특성을 세부적으로 파악하고, 이렇게 파악된 각 음원의 카테고리에 따라 음원이 재생되야 하는 조건을 도출한다. 이후 각 음원이 실제 공간에서 연주될 때 설정된 각 악기의 위치 정보를 가상 음원 생성에 이용하므로 별도의 복잡한 수학적 계산을 단순화하여 가상음원을 생성할 수 있다.
또한 업믹스된 성분들 별로 주파수적 특성변화를 통해 공간감 있는 사운드를 제공할 수 있고, 하나 또는 두 개의 스피커(이어폰)로 공간감을 만들어낼 수 있다는 점에서 스피커의 크기나 개수가 제한되는 모바일기기, PC, 사운드바 , 포터블스피커 등 다양한 기기들에 적용되어 사운드 효과를 상승시킬 수 있다.
도 1은 스테레오 채널 신호를 5채널 신호로 업믹스하는 단계를 나타내는 모식도이다.
도 2는 가상 공간 내의 사운드 배치 가능 위치를 예시적으로 나타내는 도면이다.
도 3은 본 공개의 일 실시예에 따른 가상 공간에서의 사운드 신호 생성을 통한 입체음향 공급 장치의 구성을 나타낸다.
도 4는 음악 장르별 주파수 분포 스펙트럼을 나타내는 도면이다.
도 5는 재즈 음악의 주파수 별 에너지 분포 비율을 나타내는 도면이다.
도 6은 오케스트라의 표준적인 악기 배치 정보를 나타내는 도면이다.
도 7은 재즈의 표준적인 악기 배치 정보를 나타내는 도면이다.
도 8은 하나의 실시예에 따라 처리된 가상음원들을 청취자가 바이노럴(binaural) 조건에서 들을 때의 주파수 그래프를 나타내는 도면이다.
도 9는 본 공개의 일 실시예에 따른 가상 공간에서의 사운드 신호 생성을 통한 입체음향 공급 방법의 순서를 나타낸다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 용이하게 이해할 수 있도록 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
도 1은 스테레오 채널 신호를 5채널 신호로 업믹스하는 단계를 예시적으로 나타내는 모식도이다. 신호의 업믹스는 신호를 더 많은 채널로 나누는 것을 말하며, 도 1의 실시예에서 입력 스테레오 신호 중 왼쪽 채널 신호 및 입력 스테레오 신호 중 오른쪽 채널 신호가 프라이머리(Primary) 성분과 앰비언트(Ambient) 성분으로 분해된다. 프라이머리 성분은 사운드의 기준이 되는 주 성분(main component)으로 주로 다채널 신호 중 Center 성분으로 정의된다. 앰비언트 성분은 사운드의 공간감이나 방향성을 나타내기 위한 주변 성분으로 사운드의 배경 정보 등을 포함한다. 도 1의 실시예에서는 프라이머리 앰비언트 분해를 위해 PCA(principal component analysis) 방식을 이용하고 있으며 프라이머리 성분은 MVBNAP(multiple-wise vector base nonnegative amplitude panning)을 이용하여 중앙(Center) 신호로 추출된다. 앰비언트 성분들은 역상관(De-correlation) 및 저역통과 필터 등을 이용하여 좌측 서라운드 (Left Surround) 채널 신호, 좌 (Left) 채널 신호, 우 (Right) 채널 신호, 우측 서라운드 (Left Surround) 채널 신호, 및 우퍼(Woofer) 채널 신호로 업믹스될 수 있다. 그러나 이러한 업믹스 방식은 하나의 예시일 뿐이며 다채널(multi-channel)의 채널 신호를 분류해내기 위한 다양한 업믹스 방법이 사용될 수 있다.
도 2는 가상 공간 내의 사운드 배치 가능 위치를 예시적으로 나타내는 도면이다. 청취자(listener)가 중앙에 있다고 가정할 때, 중앙, 좌, 우, 좌측 써라운드, 우측 써라운드 채널 신호가 배치되는 위치는 각각 C, L, R, LS, RS의 기호로 표시되었다. 중앙 좌측 후방(Left Back), 우측 후방(Right Back) 채널 신호의 위치는 LS 및 RS의 기호로 표시되었다. LH(Left Height), RH(Right Height), CH(Ceiling Height) 채널 신호는 좌측 상단, 우측 상단 및 후방 상단(천정, ceiling)에 위치될 수 있다.
도 1에서는 5.1채널을 기준으로 한 업믹스가 예시되었으나 업믹스된 채널 신호의 조합에 의해 가상공간 내의 새로운 위치에서 채널 신호가 생성될 수 있다. 예를 들어, LFEL 채널 신호 및 LFER 채널 신호는 다음과 같은 공식에 의해 각 채널 신호의 조합으로부터 얻어질 수 있다: (a 및 c는 가중치를 나타내는 변수임)
Figure 112018006703289-pat00001
Figure 112018006703289-pat00002
LFEL 채널 신호 및 LFER 채널 신호는 도 2에서 표시된 가상공간 내의 위치에서 각각 LFE1 및 LFE2의 사운드 위치에 대응될 수 있다. 상기 공식에서 TBC는 Top Back Center 채널 신호이며 도 2의 CH의 사운드 위치에 대응될 수 있다.
도 3은 본 공개의 일 실시예에 따른 가상 공간에서의 사운드 신호 생성을 통한 입체음향 공급 장치(100)를 나타낸다. 본 공개의 일 실시예에 따른 입체음향 공급 장치는 음원의 주파수 에너지를 분석하는 주파수 에너지 분석기(10)를 포함할 수 있다. 여기서 상기 주파수 에너지 분석기는 음원의 주파수에서 가청주파수 내의 주파수 대역을 나누어 분석하며, 가청주파수 내의 주파수 대역 내에서 데드존(dead-zone) 및 주파수 에너지가 존재하는 주파수 대역을 구분한다. 데드존은 주파수가 존재하지 않거나 주파수가 극히 적게 존재하는 영역을 말한다. 데드존을 다른 주파수 대역과 구분하는 것은 주파수 대역의 에너지를 비교할 때 데드존의 경우 주파수 에너지를 의미있게 비교하기가 어렵기 때문이다. 다른 대역의 주파수 에너지와 구별가능할 정도의 주파수 에너지를 갖는 주파수 대역들 사이에서 주파수 에너지 분석을 하는 것이 바람직하다.
본 공개의 일 실시예에 따른 입체음향 공급 장치는 음원 카테고리 결정기(20)를 포함하며, 음원 카테고리 결정기는 상기 주파수 에너지 분석기에서 분석된 각 주파수 대역별 주파수 에너지를 비교하여 음원 카테고리를 결정한다. 음원 카테고리란 음악의 종류를 의미하며 예시적으로 크게는 클래식, 재즈, 락, 팝(pop) 등으로 나눌 수 있고 세부적으로는 클래식 중에서도 교향곡, 협주곡, 소나타, 발라드 등으로 나누어질 수 있다.
음악의 종류에 따라 그것이 연주되는 악기의 종류와 배치가 다르기 때문이며, 그러한 악기의 종류와 배치에 기반하여 가상공간에서 각 음원의 특징을 잘 살릴 수 있도록 음원 카테고리 결정기가 음악의 종류를 결정하게 된다.
본 공개의 일 실시예에 따른 입체음향 공급 장치는 음원 카테고리의 악기 배치 정보에 대응하여 가상공간 내에서의 가상음원 배치를 설정하는 가상음원 배치기(40)를 포함한다. 음악의 종류에 따라 악기와 종류와 배치가 다르므로 가상음원 배치기는 결정된 음원 카테고리의 악기 배치 정보를 이용하여 가상공간 내에서 어떠한 악기가 어떠한 위치에 배치되어야 하는지를 결정한다. 음원 카테고리의 악기 배치 정보는 해당 음원이 실제 연주될 때 스테이지 상에서의 일반적인 악기 배치 정보로 구성될 수 있다. 예를 들어, 음원 카테고리가 재즈인 경우 재즈가 실제 연주될 때의 표준적인 악기 배치 정보가 이용된다. 악기 배치 정보는 메모리(60)에 저장되어 있거나 외부 서버 또는 단말로부터 전송받을 수 있다.
본 공개의 일 실시예에 따른 입체음향 공급 장치는 가상음원 생성기(30)를 포함하며, 가상음원 생성기는 음원의 입력 스테레오 신호를 프라이머리(Primary) 성분과 앰비언트(ambient) 성분으로 업믹스하는 업믹서(32) 및 프라이머리 성분과 앰비언트 성분을 다운믹스하여 가상음원을 생성하는 다운믹서(34)를 포함한다. 본 발명에서 업믹싱 및 다운믹싱은 다양한 방식들이 이용될 수 있으며, 본 발명은 어떠한 종류의 업믹싱 및 다운믹싱을 이용할 것인지에 대해 집중하는 것이 아니라 업믹싱된 채널 신호를 다운믹싱할 때 어떠한 주파수 대역을 강조하고 가공해야 하는지 그리고 주파수 대역 강조의 조건이 어떻게 결정되는지에 집중한다.
본 공개의 일 실시예에 따른 입체음향 공급 장치는 가상공간 내에서 설정된 가상음원과 청취자의 위치 관계에 따라 각 가상음원을 이퀄라이징하는 이퀄라이저(50)를 포함한다. 가상음원 생성기가 음원 카테고리의 종류 및 음원 카테고리의 가상공간 내 배치정보를 이용하여 가상음원을 생성하는 데 반해, 이퀄라이저는 청취자와 가상음원 발생기(가상스피커) 사이의 관계에서 가상음원을 조정(adjusting)하는 것에 집중한다. 가상음원은 실제 스피커에서 발생되기 위한 사운드가 아니라 청취자가 이어폰이나 헤드셋으로 음악을 들을 때 가상공간 안에서 공간감을 느낄 수 있도록 처리된 것이므로, 본 발명의 이퀄라이저는 설정된 가상공간 내에서 청취자와 가상음원이 얼마나 떨어져 있는지에 대한 정보를 이용한다.
도 4는 음악 장르별 주파수 분포 스펙트럼을 나타내는 도면이며, 도 5는 재즈 음악의 주파수 별 에너지 분포 비율을 예시적으로 나타내는 도면이다.
본 공개에 따른 가상음원 공급 장치는 주파수 에너지 분포를 분석하여 음악의 카테고리를 파악한다. 음악의 장르와 카테고리는 서로 비슷한 의미로 이해될 수 있으나, 음악의 장르는 클래식, 재즈, 팝 등의 큰 범주를 나타내고 음악 카테고리는 이를 더 세분하여 클래식 음악 중에서도 서로 다른 악기가 사용되고 다른 분위기를 내는 세부 종류의 클래식이 있을 수 있으므로, 음악 카테고리라는 용어는 이러한 세부 장르를 포함하여 음악 종류를 지칭하기 위해 이용된다.
도 4에서 확인할 수 있듯이, 각 음악 장르는 각기 고유한 형태의 주파수 분포 스펙트럼을 가지며 각 음악 장르 내에서도 주파수 분포 스펙트럼은 조금씩 다를 수 있다. 도 4에서 (A) 내지 (E)는 같은 음악 장르 안에서도 서로 조금씩 다른 주파수 분포 스펙트럼을 가질 수 있음을 나타낸다.
도 5는 재즈의 주파수 별 에너지 분포 비율을 나타내는데, 주파수 분포 스펙트럼은 초저주파, 초저음, 저음, 중저음, 중음, 중고음, 고음의 7개 대역(a7b)으로 나누어 분석되었다. 본 공개에 따른 실시예에서, 가청주파수 대역(audible frequency band)을 중심으로 한정하여 에너지 비율이 분석될 수 있다. 일반적인 가청주파수 대역은 16 ~ 20kHz 또는 20 ~ 20kHz 의 주파수 대역을 지칭한다. 다만 본 공개에 초저주파 대역의 주파수 패턴을 분석하는 것이 음원 카테고리 결정을 위한 주파수 에너지 분석에 도움이 될 수 있으므로 가청주파수 대역의 에너지를 분석할 때 초저주파 대역도 주파수 에너지 분석에 포함될 수 있다.
주파수의 크기와 주파수 에너지는 비례하므로 주파수 에너지의 비율로 어떠한 주파수가 집중적으로 존재하는지를 파악할 수 있으며, 대역별 주파수 에너지의 비율에 기초하여 음악 카테고리를 구별해낼 수 있다. 주파수 영역에서 신호의 에너지는 에너지 스펙트럼 밀도도 나타내어질 수 있고 에너지 스펙트럼 밀도란 신호 에너지의 주파수 영역 상의 밀도 분포이다. 즉, 신호의 단위 대역폭 당 에너지(Joule/Hz)를 의미한다. 주파수 전달함수가 H(f)인 경우 출력 신호의 에너지는 다음과 같이 표현될 수 있고, 여기서 φ x (f)는 에너지 스펙트럼 밀도로 정의된다.
Figure 112018006703289-pat00003
본 발명의 주파수 에너지 분석기는 상기 가청주파수 내의 주파수 대역 중 가장 높은 주파수 에너지를 갖는 대역을 제 1 기준 주파수 대역으로 설정하고, 제 1 기준 주파수 대역과 인접한 주파수 대역의 에너지 비율을 비교한다. 이후 음원 카테고리 결정기는 상기 제 1 기준 주파수 대역과 인접 주파수 대역의 에너지 비율 비교 결과에 대응하는 제 1 음원 카테고리 후보를 결정할 수 있다.
예를 들어 도 5를 참조하면, 먼저 초저주파 및 초저음은 주파수 에너지가 극히 낮거나 주파수 에너지가 존재하지 않는 데드존(dead-zone)으로 간주될 수 있다. 본 실시예는 계산적 효율을 추구하기 위해 일정값 이하의 주파수 에너지를 갖는 주파수 대역은 데드존으로 간주하며, 데드존의 주파수 에너지는 0으로 정의한다. 도 5의 재즈 음악의 주파수 대역은 저음, 중저음, 중음, 중고음, 고음 순으로 26, 47, 16, 8, 2의 주파수 에너지 비율을 가진다. 가장 높은 주파수 에너지를 갖는 대역은 중저음 대역이므로 중저음 대역을 제 1 기준 주파수 대역으로 설정하고 인접한 주파수 대역인 저음 주파수 대역 및 중음 주파수 대역과 비교한다. 즉, 중저음 대역 : 저음 대역의 에너지 비율은 47:26이며, 중저음 대역 : 중음 대역의 에너지 비율은 47:16이다. 음악 카테고리 결정기는 이렇게 분석된 에너지 비율 정보와 기존에 미리 설정되거나 입력되어 있는 각 음악 카테고리의 표준 주파수 에너지 비율 정보를 비교하여 제 1 음원 카테고리 후보(예를 들어, 클래식, 재즈, 또는 팝)를 결정할 수 있다. 가장 유사한 에너지 비율을 갖는 음악 카테고리가 제 1 음원 카테고리 후보로 결정될 수 있다. 또는 일정 범위 내에서 유사한 에너지 비율을 갖는 음악 카테고리가 제 1 음원 카테고리 후보로 결정될 수도 있다.
각 음악 카테고리는 미리 정해진 주파수 에너지 분포 비율을 각각 가지고 있으므로, 주파수 에너지 분석기는 음원의 주파수 에너지를 분석하고 음원 카테고리 결정기는 주파수 에너지 분석 결과에 기초하여 기존 음원 정보와 비교하여 현재 분석되는 음원의 카테고리를 결정한다. 본 발명의 주파수 에너지 분석기가 전체 대역폭에 걸쳐 에너지 비율을 비교하는 것보다 가청 주파수에서 높은 주파수 에너지를 갖는 주파수들을 중심으로 분석한다면 음원 카테고리 결정을 위한 계산적인 효율을 증가시킬 수 있으며 장치의 계산 속도를 증가시킬 수 있다.
추가적인 실시예에서, 상기 음원 카테고리 결정기가 상기 주파수 에너지 비율 비교 결과에 대응하는 제 1 음원 카테고리 후보가 복수인 경우, 상기 주파수 에너지 분석기가 두 번째로 높은 주파수 에너지를 갖는 대역을 제 2 기준 주파수 대역으로 설정하고, 제 2 기준 주파수 대역과 인접한 주파수 대역의 에너지 비율을 비교할 수 있다.
도 5를 참조할 때, 만약 제 1 음원 카테고리 후보가 클래식, 재즈, 또는 팝 중 어느 하나인 경우, 주파수 에너지 분석기는 두 번째로 높은 주파수 에너지를 갖는 저음 대역을 제 2 기준 주파수 대역으로 설정하고, 제 2 기준 주파수 대역과 인접한 초저음 대역 사이의 에너지 비율(26:0) 및 제 2 기준 주파수 대역과 인접한 중저음 대역과의 에너지 비율(26:47)을 비교할 수 있다. 이후 상기 음원 카테고리 결정기는 상기 제 2 기준 주파수 대역과 인접 주파수 대역의 에너지 비율 비교 결과에 대응하는 제 2 음원 카테고리 후보(예를 들어, 클래식, 재즈)를 결정할 수 있다.
추가적인 실시예에서, 상기 제 2 음원 카테고리 후보가 복수인 경우, 주파수 에너지 분석기는 제 1 기준 주파수 대역 및 제 2 기준 주파수 대역 이외의 다음 차례로 높은 주파수 에너지 대역을 추가 기준 주파수 대역으로 설정하고, 추가 기준 주파수 대역과 인접한 주파수 대역의 에너지 비율을 비교할 수 있다.
도 5를 참조하면, 세 번째로 높은 기준 주파수 대역인 중음 대역이 추가 기준 주파수 대역으로 설정될 수 있고, 중음 대역과 인접한 대역인 중저음 대역 및 중고음 대역과 주파수 에너지를 비교할 수 있다. 음원 카테고리 결정기는 상기 추가 기준 주파수 대역과 인접 주파수 대역의 에너지 비율 비교 결과에 대응하는 음원 카테고리 후보(예를 들어, 재즈)를 결정할 수 있다. 이러한 과정은 음원 카테고리 후보가 단일 후보가 될 때까지 계속해서 반복될 수 있다. 즉, 주파수 에너지 분석기는 음원 카테고리 후보가 단일 후보가 될 때까지 추가 기준 주파수를 더 설정하고, 추가 기준 주파수 대역과 인접 주파수 대역의 에너지 비율 비교를 반복할 수 있다.
주파수 에너지 분석의 추가적인 실시예가 고려될 수 있다. 분석하는 주파수 대역에 데드존이 많은 경우, 또는 주파수 에너지 비율이 대역별로 비슷한 값을 가지고 있는 경우 주파수 에너지 분석을 통한 음원 카테고리 결정이 어려울 수 있다. 이러한 경우 주파수 에너지 분석기는 인접 대역에 데드존이 없는 대역을 기준 주파수 대역으로 우선 설정할 수 있고, 또는 높은 주파수 에너지 비율을 갖는 주파수 대역 중에서 인접 대역과의 에너지 비율 차이가 일정 값 이상인 대역을 기준 주파수 대역으로 우선 설정할 수 있다.
가상음원 생성기는 결정된 음원 카테고리에 이용되는 악기들을 설정하며, 상기 악기들을 악기의 종류에 따라 제 1 그룹화하고, 그룹화된 악기들이 갖는 고유의 주파수 범위를 추출하며, 제 1 그룹화된 악기들의 추출된 고유의 주파수 범위에서 가장 많이 중복되는 주파수 범위를 결정한다. 다시말해, 결정된 음원 카테고리의 음악을 연주하는데 이용되는 악기의 종류에 따라 제 1 그룹화가 이루어지며, 제 1 그룹화에서 악기들의 배치 정보가 직접적으로 이용되지는 않는다.
예를 들어, 입체음향 공급 장치에 입력된 음원의 카테고리가 재즈로 결정되었다면 가상음원 생성기는 악기 배치 정보를 이용하여 재즈에 이용되는 악기들(예를 들어, 피아노, 드럼, 기타, 퍼커션, 트럼펫, 트롬본, 색소폰, 보컬)을 설정하며, 이 악기들을 제 1 그룹화한다. 각 악기는 고유의 스펙트럼 분포를 가지고 있고, 이것이 각 악기의 특징 있는 음색을 나타내게 된다. 표 1은 악기의 주파수 범위를 나타내는 도면이다. 만약 음원 카테고리가 피아노와 색소폰만을 사용하는 재즈로 결정되었다면, 피아노와 색소폰의 중복 주파수 범위는 약 55 Hz 내지 1000 Hz 가 된다.
아래 표 1은 재즈 악기의 주파수 대역폭을 나타낸다.
Instrument Lower Limit Upper Limit
Piano 28 Hz 4196 Hz
Acoustic Guitar 82 Hz 988 Hz
Bass 41 Hz 294 Hz
Drum Snare 100 Hz 200 Hz
Kick 30 Hz 147 Hz
Cymbals 300 Hz 587 Hz
hi-hat 300 Hz 3000 Hz
Saxophone (All) 55 Hz 1K Hz
Vocals (All) 87 1175
이후 가상음원 생성기는 상기 가장 많이 중복되는 주파수 범위를 다른 주파수 범위보다 더 증폭하여 제 1 가상음원을 생성하는데, 피아노와 색소폰을 이용하는 재즈의 경우 약 55 Hz 내지 1000 Hz 의 주파수 범위가 다른 주파수 범위보다 더 증폭되어 악기들의 중복 주파수 범위의 사운드가 더 강조된다. 악기 또는 악기 그룹의 주파수 증폭을 통한 주파수 대역 강조는 악기의 고유 주파수 대역이 속하는 주파수 대역과 전체 가청 주파수 대역 사이의 에너지 비율에 기초하여 처리될 수 있다. 예를 들어 도 5를 참조할 때, A라는 악기의 고유 주파수 대역이 저음 대역에 속하는 경우 저음 대역의 주파수 에너지 비율은 0.26이므로, A 악기와 관련된 가상음원의 주파수 증폭도는 (1+a*0.26)로 정의될 수 있다. (여기서 a는 증폭도를 조정하는 변수이다.)
가상음원 배치기는 결정된 음원 카테고리와 매칭되는 악기 배치 정보를 이용하여, 각 악기가 배치되는 위치에 따라 악기들을 제 2 그룹화하고, 제 2 그룹화된 악기들의 가상공간 내 사운드 배치를 결정한다. 예를 들어, 음원 카테고리가 오케스트라로 결정되는 경우 실제 오케스트라가 연주되는 스테이지의 (표준적인) 악기 배치 정보가 이용된다. 도 6은 오케스트라의 표준적인 악기 배치 정보를 나타내는 도면이다. 도 6을 참고할 때, 가상공간 내에서 청취자로부터 먼 왼쪽 앞 부분(DLF, Distant Left Front)에 배치되는 가상음원은 악기 배치 정보에서 피아노 그룹과 매칭될 수 있다. 또, 청취자와 가까운 왼쪽 앞 부분(CLF, Close Left Front)에 배치되는 가상음원은 바이올린 그룹과 매칭될 수 있다.
추가적인 예로, 재즈가 실제 연주되는 스테이지에서 주로 보컬이 중심에 서있고, 중음역대의 악기들이 그 주변을 채우며, 모서리 부분에 드럼이 위치한다. 도 7은 재즈의 표준적인 악기 배치 정보를 나타낸다. 도 7을 참조할 때, 보컬 그룹의 위치는 도 2의 L 위치와 매칭되고 색소폰 그룹의 위치는 도 2의 RS 위치와 매칭된다. 따라서 가상공간에서 L 위치에 배치되는 가상음원은 보컬의 주파수 대역폭인 87 Hz 내지 1175 Hz가 강조 처리되고, RS 위치에 배치되는 가상음원은 색소폰의 대역폭인 55 Hz 내지 1K Hz가 강조 처리된다.
아래 표 2는 오케스트라 악기의 주파수 대역폭을 나타낸다.
Instrument Lower Limit Approx. Upper Limit
Violin G3(196.0 Hz) E7(2637.0 Hz)
Viola C3(130.8 Hz) C6(1046.5 Hz)
Cello C2(65.4 Hz) E5(659.3 Hz)
Double Bass E1(41.2 Hz) B3(246.9 Hz)
Flute C4 (261.6 Hz) C7(2093.0 Hz)
Oboe Bb3(233 Hz) F6(1396.9 Hz)
English Horn Eb3(155.6 Hz) Bb5(932.3 Hz)
Clarinet(Bb) D3(146.8 Hz) Bb6(1864.7 Hz)
Bass Clarinet(Bb) D2(73.4 Hz) F5(698.5 Hz)
Bassoon Bb1(58.3 Hz) Bb5(932.3Hz)
Contrabassoon Bb0(29.1Hz) Eb3(155.6 Hz)
Horn(double, F &Bb) B1(61.7 Hz) F5(698.5 Hz)
Trumpet (Bb) E3(164.8 Hz) Bb5(932.3Hz)
Trombone(tenor) E2(82.4 Hz) Bb4(466.2 Hz)
Trombone(bass) B1(61.7 Hz) Bb4(466.2 Hz)
Timpani F2(87.3 Hz) F4(349.2 Hz)
Harp B0(30.9 Hz) G#7(3322.4 Hz)
가상음원 생성기는 제 2 그룹화된 악기들이 갖는 평균 주파수 범위를 계산하며, 여기서 상기 평균 주파수 범위는 악기 각각이 갖는 상한 주파수(upper limit frequency)의 평균 및 하한 주파수(lower limit frequency)의 평균으로부터 얻어질 수 있다. 상기 가상음원 생성기는 상기 각 제 2 그룹화된 악기들의 평균 주파수 범위를 다른 주파수 범위보다 더 증폭하여 제 2 가상음원을 생성할 수 있다.
여러개의 제 2 그룹화된 그룹이 가상공간 내에서 존재할 수 있으며, 가상공간 내에서 악기들은 배치되는 위치에 따라 어느 하나의 그룹에 속하게 된다. 제 2 그룹화는 결정된 음원 카테고리의 음원이 실제 스테이지 상에서 연주될 때의 표준적인 배치 정보를 이용하여 가상음원의 실제적인 공간감을 갖도록 근사화(approximation)하는 과정이다. 비록 음원이 5.1 채널과 같은 다수의 실제 스피커를 통해 소리가 나는 것은 아니지만, 이러한 과정은 가상음원의 조합으로 음원이 실제 스테이지에서 연주되는 상황을 최대한 근접하게 시뮬레이션하여 청취자에게 전달하기 위한 것이다.
위 예에서 플류트, 클라리넷, 바순, 오보에는 가상공간 내에서 스테이지의 중간에 위치되므로 하나의 그룹으로 제 2 그룹화될 수 있으며 이 악기들의 하한 주파수 평균은 (261.6 + 146.8 + 58.3 + 233) / 4 = 174.925 Hz 이며 상한 주파수는 (2093.0 + 1864.7 + 932.3 + 1396.9) / 4 = 1571.725 Hz가 된다. 따라서 플류트, 클라리넷, 바순, 오보에 그룹은 약 174.925 내지 1571.725 Hz 사이의 주파수가 강조되었을 때 악기의 존재감과 공간감을 잘 느낄 수 있게 된다. 이후, 가상음원 생성기가 음원으로부터 플류트, 클라리넷, 바순, 오보에가 위치된 가상의 스테이지 중간에서 사운드를 발생시키는 가상음원을 생성할 때 174.925 내지 1571.725 Hz 사이의 주파수를 증폭시키게 된다. 업믹서와 다운믹서의 관점에서 볼 때, 이러한 주파수 강조는 업믹스된 채널 신호들을 다운믹서가 다운믹스할 때 일어날 수 있다.
상기 가상음원 생성기가 제 2 가상음원을 생성함에 있어, 상기 가상음원 생성기는 가상 공간내에서 제 2 그룹화된 악기 그룹의 위치와 가장 가까운 위치로 업믹스되는 앰비언트 성분을 더 증폭한 후, 상기 증폭된 앰비언트 성분을 프라이머리 성분과 다운믹스하여 제 2 가상음원을 생성할 수 있다. 즉, 다운믹서가 채널 신호들을 다운믹싱하기 전에 다운믹싱에 이용되는 앰비언트 성분에만 주파수 강조 처리를 할 수 있다.
도 2와 도 7을 참조하여 이를 더 자세히 설명한다. 도 7의 재즈의 악기 배치 정보에서 드럼은 도 2의 가상공간 내의 사운드 배치에서 L 위치와 가장 가깝다. 도 7의 피아노는 도 2의 가상공간 내의 LS 위치와 가장 가깝다. 따라서 드럼과 관련된 제 2 가상음원을 가상공간 내에서 생성할 때, 드럼과 관련된 제 2 가상음원은 도 2의 가상공간 내에서 L 위치에 대응되게 배치함과 동시에, 앰비언트 신호인 L 채널 신호에서 드럼의 고유 주파수 범위를 증폭하여 증폭된 L 채널 신호를 프라이머리 신호와 다운믹싱하여 가상음원을 생성하는 것이다. 이와 마찬가지로, 도 7의 피아노와 관련된 제 2 가상음원은 도 2의 가상공간에서 LS 위치에 대응되게 배치되며, 앰비언트 성분인 LS 채널 신호에서 피아노의 고유 주파수 범위를 증폭하여 증폭된 LS 채널 신호를 프라이머리 성분과 다운믹싱하여 가상음원을 생성한다. 이 때 주파수 강조 처리는 위에서 설명된 예처럼 악기 그룹의 상한 주파수 및 하한 주파수를 이용하여 증폭하는 방법을 취할 수 있다.
이퀄라이저는 상기 악기 배치 정보를 이용하여 가상공간 내에서 청취자와 제 2 가상음원 사이의 위치 관계를 파악하며, 청취자와 제 2 가상 음원 사이의 거리에 따라 상기 제 2 가상음원과 관련된 악기들의 평균 주파수 범위를 더 증폭할 수 있다.
가상음원 생성기가 악기 배치 정보를 이용하여 가상공간(가상 스테이지)에서의 가상음원의 배치에 집중하였다면, 이와 달리 이퀄라이저는 바이노럴로(양쪽귀로) 사운드를 듣게 되는 청취자와 생성된 가상음원 사이의 관계에 집중한다. 원칙적으로, 음원에서 발생하는 소리의 세기는 거리(r)가 멀어질수록 거리의 제곱에 반비례하여 작게 들리게 된다. 따라서 이퀄라이저는 설정된 가상공간 내에서 청취자와 가상음원 사이의 상대적 거리를 이용하여 이퀄라이징을 할 수 있다. 즉, 도 2의 가상공간에서 청취자로부터 가상공간의 끝까지의 거리가 D이고, 가상 음원이 배치되는 위치와 청취자 사이의 거리가 r이라고 가정해보자. 이퀄라이저는
Figure 112018006703289-pat00004
에 비례하는 증폭도(amplifying degree)로 해당 위치의 가상음원과 관련된 악기들의 평균 주파수 범위를 더 증폭할 수 있다.
위 과정을 정리하면, 음원의 주파수 에너지 분석에 기초하여 음원의 음악 장르(음원 카테고리)가 결정되며, 분석된 음악 장르에 이용되는 악기들의 고유 주파수 범위를 이용하여 음원의 특정 주파수 범위가 강조된다. 이후 음원의 카테고리가 갖는 표준적인 악기 배치와 가상음원의 배치가 매칭되고, 특정 악기 그룹의 위치와 대응되는 위치의 가상음원은 특정 악기 그룹의 주파수 범위가 강조 처리된다. 그리고 각 가상음원과 청취자와의 가상공간 내의 상대적 거리에 기초하여, 각 가상음원이 이퀄라이징된다.
결국, 본 공개에 따른 실시예는 음악 종류, 악기 종류, 실제 스테이지 상에서의 특정 음악을 연주할 때의 표준적인 배치 정보를 이용하여 가상 공간에서 사운드 신호를 생성하고 가공하게 된다. 이렇게 생성된 사운드 신호는 각 가상음원의 조합에 의해 생성됨에도 불구하고 그 음악이 실제 청취자 앞에서 연주되는 상황을 최대한 근접하게 모델링하여 청취자에게 들려줄 수 있다.
도 8은 본 공개의 하나의 실시예에 따라 처리된 가상음원들을 청취자가 바이노럴(binaural) 조건에서 들을 때의 주파수를 나타내는 도면이다. 청취자가 왼쪽 채널 및 오른쪽 채널로 가공된 음원을 들을 때, 가상공간 내 각 위치의 가상음원이 갖는 주파수 형태는 도 8에서 표현된 서로 다른 형태의 주파수 그래프와 같이 서로 다르게 가공될 수 있고 청취자는 공간감을 느낄 수 있다. 5.1 채널 또는 7.1 채널을 현실 공간에서 구현하기 위해서는 복수의 실제 스피커가 필요하지만, 본 공개의 실시예들은 이어폰이나 헤드셋으로 제한된 바이노럴 조건에서 가상의 공간감을 극대화하기 위한 방법을 제공한다.
도 9는 본 공개의 일 실시예에 따른 가상 공간에서의 사운드 신호 생성을 통한 입체음향 공급 방법을 나타낸다. 하나의 실시예에 따른 가상 공간에서의 사운드 신호 생성을 통한 입체음향 공급 방법은 주파수 에너지 분석 단계(S10), 음원 카테고리 결정 단계(S20), 제1가상음원 생성 단계(S30), 가상음원 배치 단계(S40), 제2가상음원 생성 단계(S50), 이퀄라이징 단계(S60)를 포함할 수 있다. 도 9에서 음원 카테고리 결정 단계, 제1가상음원 생성 단계, 가상음원 배치 단계, 제2가상음원 생성 단계가 순서대로 배치되다. 그러나 이는 하나의 실시예일 뿐이며, 제1가상음원 생성 이후 바로 제1가상음원에 대한 이퀄라이징이 가능할수도 있으며, 제1가상음원 생성 및 제2가상음원 생성 이후에 가상음원 배치 단계가 실행되는 실시예도 가능하다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (16)

  1. 음원의 주파수 에너지를 분석하는 주파수 에너지 분석기 - 여기서 상기 주파수 에너지 분석기는 음원의 주파수에서 가청주파수 내의 주파수 대역을 나누어 분석하며, 가청주파수 내의 주파수 대역 내에서 데드존(dead-zone) 및 주파수 에너지가 존재하는 주파수 대역을 구분함 -;
    상기 주파수 에너지 분석기에서 분석된 각 주파수 대역별 주파수 에너지를 비교하여 음원 카테고리를 결정하는 음원 카테고리 결정기;
    음원 카테고리의 악기 배치 정보에 대응하여 가상공간 내에서의 가상음원 배치를 설정하는 가상음원 배치기;
    음원의 입력 스테레오 신호를 프라이머리(Primary) 성분과 하나 이상의 앰비언트(ambient) 성분으로 업믹스하는 업믹서 및 프라이머리 성분과 앰비언트 성분을 다운믹스하여 가상음원을 생성하는 다운믹서를 포함하는 가상음원 생성기; 및
    가상공간 내에서 설정된 가상음원과 청취자의 위치 관계에 따라 각 가상음원을 이퀄라이징하는 이퀄라이저;를 포함하며,

    가상음원 생성기는
    결정된 음원 카테고리의 악기 배치 정보를 이용하여 상기 음원을 재생하는데 관련되는 악기 정보를 설정하며, 상기 음원을 재생하는데 관련되는 악기들을 악기의 종류에 따라 제 1 그룹화하고, 그룹화된 악기들이 갖는 고유의 주파수 범위를 추출하며, 제 1 그룹화된 악기들의 추출된 고유의 주파수 범위에서 가장 많이 중복되는 주파수 범위를 결정하고,

    가상음원 생성기는 상기 가장 많이 중복되는 주파수 범위를 다른 주파수 범위보다 더 증폭하여 제 1 가상음원을 생성하며,

    상기 주파수 에너지 분석기가 주파수 대역을 나누어 분석하는 데 있어,
    인접 대역에 데드존이 없는 대역을 기준 주파수 대역으로 우선 설정하거나, 높은 주파수 에너지 비율을 갖는 주파수 대역 중에서 인접 대역과의 에너지 비율 차이가 일정 값 이상인 대역을 기준 주파수 대역으로 우선 설정하며,

    이퀄라이저는
    Figure 112018074686778-pat00014
    에 비례하는 증폭도(amplifying degree)로 각 위치의 가상음원을 재생하는데 관련된 악기들의 평균 주파수 범위를 더 증폭하며, 여기서 D는 가상공간에서 청취자로부터 가상공간의 끝까지의 거리이고, r은 가상 음원이 배치되는 위치와 청취자 사이의 거리인 것을 특징으로 하는,
    가상 공간에서의 사운드 신호 생성을 통한 입체음향 공급 장치.
  2. 제1항에 있어서,
    상기 주파수 에너지 분석기가 상기 가청주파수 내의 주파수 대역 중 가장 높은 주파수 에너지를 갖는 대역을 제 1 기준 주파수 대역으로 설정하고, 제 1 기준 주파수 대역과 인접한 주파수 대역의 에너지 비율을 비교하며,

    상기 음원 카테고리 결정기는 상기 제 1 기준 주파수 대역과 인접 주파수 대역의 에너지 비율 비교 결과에 대응하는 제 1 음원 카테고리 후보를 추출하는 것을 특징으로 하는,
    가상 공간에서의 사운드 신호 생성을 통한 입체음향 공급 장치.
  3. 제2항에 있어서,
    제 1 기준 주파수 대역과 인접 주파수 대역의 에너지 비율 비교 결과에 대응하는 제 1 음원 카테고리 후보가 복수인 경우, 상기 음원 카테고리 결정기는 상기 주파수 에너지 분석기가 두 번째로 높은 주파수 에너지를 갖는 대역을 제 2 기준 주파수 대역으로 설정하고, 제 2 기준 주파수 대역과 인접한 주파수 대역의 에너지 비율을 비교하며,

    상기 음원 카테고리 결정기는 상기 제 2 기준 주파수 대역과 인접 주파수 대역의 에너지 비율 비교 결과에 대응하는 제 2 음원 카테고리 후보를 결정하는 것을 특징으로 하는,
    가상 공간에서의 사운드 신호 생성을 통한 입체음향 공급 장치.
  4. 제3항에 있어서,
    상기 제 2 음원 카테고리 후보가 복수인 경우, 제 1 기준 주파수 대역 및 제 2 기준 주파수 대역 이외의 다음 차례로 높은 주파수 에너지 대역을 추가 기준 주파수 대역으로 설정하고, 추가 기준 주파수 대역과 인접한 주파수 대역의 에너지 비율을 비교하며,
    상기 음원 카테고리 결정기는 상기 추가 기준 주파수 대역과 인접 주파수 대역의 에너지 비율 비교 결과에 대응하는 음원 카테고리 후보를 추출하며,

    상기 주파수 에너지 분석기는 음원 카테고리 후보가 단일 후보가 될 때까지 추가 기준 주파수를 더 설정하고, 추가 기준 주파수 대역과 인접 주파수 대역의 에너지 비율 비교를 반복하는 것을 특징으로 하는,
    가상 공간에서의 사운드 신호 생성을 통한 입체음향 공급 장치.
  5. 삭제
  6. 제1항에 있어서,
    가상음원 배치기는, 결정된 음원 카테고리와 매칭되는 악기 배치 정보를 이용하여, 각 악기가 배치되는 위치에 따라 악기들을 제 2 그룹화하고, 제 2 그룹화된 악기들의 악기 배치와 대응되는 가상공간 내의 가상음원 배치를 결정하며,

    가상음원 생성기는 제 2 그룹화된 악기들이 갖는 평균 주파수 범위를 계산하며,
    여기서 상기 평균 주파수 범위는 악기 각각이 갖는 상한 주파수(upper limit frequency)의 평균 및 하한 주파수(lower limit frequency)의 평균으로부터 얻어지며,
    상기 가상음원 생성기는 상기 각 제 2 그룹화된 악기들의 평균 주파수 범위를 다른 주파수 범위보다 더 증폭하여 제 2 가상음원을 생성하는 것을 특징으로 하는,
    가상 공간에서의 사운드 신호 생성을 통한 입체음향 공급 장치.
  7. 제6항에 있어서,
    상기 가상음원 생성기가 제 2 가상음원을 생성함에 있어, 상기 가상음원 생성기는 가상공간 내에서 제 2 그룹화된 악기 그룹의 위치와 가장 가까운 위치로 업믹스되는 앰비언트 성분을 더 증폭한 후, 상기 증폭된 앰비언트 성분을 프라이머리 성분과 다운믹스하여 제 2 가상음원을 생성하는 것을 특징으로 하는,
    가상 공간에서의 사운드 신호 생성을 통한 입체음향 공급 장치.
  8. 제6항에 있어서,
    상기 이퀄라이저는 상기 악기 배치 정보를 이용하여, 청취자와 제 2 가상음원 사이의 거리에 따라 상기 제 2 가상음원과 관련된 악기들의 평균 주파수 범위를 더 증폭하는 것을 특징으로 하는, 가상공간에서의 사운드 신호 생성을 통한 입체음향 공급장치.
  9. 주파수 에너지 분석기가 음원의 주파수 에너지를 분석하는 단계 - 여기서 상기 주파수 에너지 분석기는 음원의 주파수에서 가청주파수 내의 주파수 대역을 나누어 분석하며, 가청주파수 내의 주파수 대역 내에서 데드존(dead-zone) 및 주파수 에너지가 존재하는 주파수 대역을 구분함 -;
    음원 카테고리 결정기가 상기 주파수 에너지 분석기에서 분석된 각 주파수 대역별 주파수 에너지를 비교하여 음원 카테고리를 결정하는 단계;
    가상음원 배치기가 음원 카테고리의 악기 배치 정보에 대응하여 가상공간 내에서의 가상음원 배치를 설정하는 단계;
    가상음원 생성기가 음원의 입력 스테레오 신호를 프라이머리(Primary) 성분과 하나 이상의 앰비언트(ambient) 성분으로 업믹싱하고 프라이머리 성분과 앰비언트 성분을 다운믹싱하여 가상음원을 생성하는 단계; 및
    이퀄라이저가 가상공간 내에서 설정된 가상음원과 청취자의 위치 관계에 따라 각 가상음원을 이퀄라이징하는 단계;를 포함하며,

    가상음원 생성기가 결정된 음원 카테고리의 악기 배치 정보를 이용하여 상기 음원을 재생하는데 관련되는 악기 정보를 설정하며, 상기 음원을 재생하는데 관련되는 악기들을 악기의 종류에 따라 제 1 그룹화하고, 그룹화된 악기들이 갖는 고유의 주파수 범위를 추출하며, 제 1 그룹화된 악기들의 추출된 고유의 주파수 범위에서 가장 많이 중복되는 주파수 범위를 결정하는 단계; 및

    가상음원 생성기가 상기 가장 많이 중복되는 주파수 범위를 다른 주파수 범위보다 더 증폭하여 제 1 가상음원을 생성하는 단계;를 더 포함하고,

    상기 주파수 에너지 분석기가 주파수 대역을 나누어 분석하는 데 있어,
    인접 대역에 데드존이 없는 대역을 기준 주파수 대역으로 우선 설정하거나, 높은 주파수 에너지 비율을 갖는 주파수 대역 중에서 인접 대역과의 에너지 비율 차이가 일정 값 이상인 대역을 기준 주파수 대역으로 우선 설정하며,

    이퀄라이저는
    Figure 112018074686778-pat00015
    에 비례하는 증폭도(amplifying degree)로 각 위치의 가상음원을 재생하는데 관련된 악기들의 평균 주파수 범위를 더 증폭하며, 여기서 D는 가상공간에서 청취자로부터 가상공간의 끝까지의 거리이고, r은 가상 음원이 배치되는 위치와 청취자 사이의 거리인 것을 특징으로 하는,
    가상 공간에서의 사운드 신호 생성을 통한 입체음향 공급 방법.
  10. 제9항에 있어서,
    상기 주파수 에너지 분석기가 상기 가청주파수 내의 주파수 대역 중 가장 높은 주파수 에너지를 갖는 대역을 제 1 기준 주파수 대역으로 설정하고, 제 1 기준 주파수 대역과 인접한 주파수 대역의 에너지 비율을 비교하는 단계; 및

    상기 음원 카테고리 결정기가 상기 제 1 기준 주파수 대역과 인접 주파수 대역의 에너지 비율 비교 결과에 대응하는 제 1 음원 카테고리 후보를 추출하는 단계;를 더 포함하는,
    가상 공간에서의 사운드 신호 생성을 통한 입체음향 공급 방법.
  11. 제10항에 있어서,
    제 1 기준 주파수 대역과 인접 주파수 대역의 에너지 비율 비교 결과에 대응하는 제 1 음원 카테고리 후보가 복수인 경우, 상기 음원 카테고리 결정기는 상기 주파수 에너지 분석기가 두 번째로 높은 주파수 에너지를 갖는 대역을 제 2 기준 주파수 대역으로 설정하고, 제 2 기준 주파수 대역과 인접한 주파수 대역의 에너지 비율을 비교하는 단계; 및

    상기 음원 카테고리 결정기가 상기 제 2 기준 주파수 대역과 인접 주파수 대역의 에너지 비율 비교 결과에 대응하는 제 2 음원 카테고리 후보를 결정하는 단계;를 더 포함하는,
    가상 공간에서의 사운드 신호 생성을 통한 입체음향 공급 방법.
  12. 제11항에 있어서,
    상기 제 2 음원 카테고리 후보가 복수인 경우, 상기 주파수 에너지 분석기가 제 1 기준 주파수 대역 및 제 2 기준 주파수 대역 이외의 다음 차례로 높은 주파수 에너지 대역을 추가 기준 주파수 대역으로 설정하고, 추가 기준 주파수 대역과 인접한 주파수 대역의 에너지 비율을 비교하는 단계; 및
    상기 음원 카테고리 결정기가 상기 추가 기준 주파수 대역과 인접 주파수 대역의 에너지 비율 비교 결과에 대응하는 음원 카테고리 후보를 추출하는 단계;를 더 포함하며,

    주파수 에너지 분석기가 음원 카테고리 후보가 단일 후보가 될 때까지 추가 기준 주파수를 더 설정하고, 추가 기준 주파수 대역과 인접 주파수 대역의 에너지 비율 비교를 반복하는 것을 특징으로 하는,
    가상 공간에서의 사운드 신호 생성을 통한 입체음향 공급 방법.
  13. 삭제
  14. 제9항에 있어서,
    가상음원 배치기가, 결정된 음원 카테고리와 매칭되는 악기 배치 정보를 이용하여, 각 악기가 배치되는 위치에 따라 악기들을 제 2 그룹화하고, 제 2 그룹화된 악기들의 악기 배치와 대응되는 가상공간 내의 가상음원 배치를 결정하는 단계; 및

    가상음원 생성기가 제 2 그룹화된 악기들이 갖는 평균 주파수 범위를 계산하며,
    여기서 상기 평균 주파수 범위는 악기 각각이 갖는 상한 주파수(upper limit frequency)의 평균 및 하한 주파수(lower limit frequency)의 평균으로부터 얻어지며,
    상기 가상음원 생성기는 상기 각 제 2 그룹화된 악기들의 평균 주파수 범위를 다른 주파수 범위보다 더 증폭하여 제 2 가상음원을 생성하는 단계;를 더 포함하는,
    가상 공간에서의 사운드 신호 생성을 통한 입체음향 공급 방법.
  15. 제14항에 있어서,
    상기 가상음원 생성기가 제 2 가상음원을 생성하는 단계는, 상기 가상음원 생성기가 가상공간 내에서 제 2 그룹화된 악기 그룹의 위치와 가장 가까운 위치로 업믹스되는 앰비언트 성분을 더 증폭한 후, 상기 증폭된 앰비언트 성분을 프라이머리 성분과 다운믹스하여 제 2 가상음원을 생성하는 단계;를 더 포함하는,
    가상 공간에서의 사운드 신호 생성을 통한 입체음향 공급 방법.
  16. 제14항에 있어서,
    상기 이퀄라이저가 상기 악기 배치 정보를 이용하여, 청취자와 제 2 가상음원 사이의 거리에 따라 상기 제 2 가상음원과 관련된 악기들의 평균 주파수 범위를 더 증폭하는 단계;를 더 포함하는, 가상공간에서의 사운드 신호 생성을 통한 입체음향 공급 방법.
KR1020180007135A 2018-01-19 2018-01-19 가상 공간에서의 사운드 신호 생성을 통한 입체음향 공급방법 및 장치 KR101919508B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180007135A KR101919508B1 (ko) 2018-01-19 2018-01-19 가상 공간에서의 사운드 신호 생성을 통한 입체음향 공급방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180007135A KR101919508B1 (ko) 2018-01-19 2018-01-19 가상 공간에서의 사운드 신호 생성을 통한 입체음향 공급방법 및 장치

Publications (1)

Publication Number Publication Date
KR101919508B1 true KR101919508B1 (ko) 2018-11-16

Family

ID=64565215

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180007135A KR101919508B1 (ko) 2018-01-19 2018-01-19 가상 공간에서의 사운드 신호 생성을 통한 입체음향 공급방법 및 장치

Country Status (1)

Country Link
KR (1) KR101919508B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111405456A (zh) * 2020-03-11 2020-07-10 费迪曼逊多媒体科技（上海）有限公司 一种网格化3d声场采样方法及系统
JP2020136746A (ja) * 2019-02-14 2020-08-31 紀文 近藤 音響出力装置および方法
WO2020256176A1 (ko) * 2019-06-18 2020-12-24 엘지전자 주식회사 사운드맵을 이용한 사운드 출력이 가능한 로봇의 음악 재생방법 및 사운드맵 업데이트방법
WO2022154252A1 (ko) * 2021-01-18 2022-07-21 삼성전자 주식회사 오디오 재생 방법 및 이를 포함하는 전자 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011158674A (ja) * 2010-01-29 2011-08-18 Roland Corp ユーザインターフェイス装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011158674A (ja) * 2010-01-29 2011-08-18 Roland Corp ユーザインターフェイス装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020136746A (ja) * 2019-02-14 2020-08-31 紀文 近藤 音響出力装置および方法
WO2020256176A1 (ko) * 2019-06-18 2020-12-24 엘지전자 주식회사 사운드맵을 이용한 사운드 출력이 가능한 로봇의 음악 재생방법 및 사운드맵 업데이트방법
CN111405456A (zh) * 2020-03-11 2020-07-10 费迪曼逊多媒体科技（上海）有限公司 一种网格化3d声场采样方法及系统
CN111405456B (zh) * 2020-03-11 2021-08-13 费迪曼逊多媒体科技（上海）有限公司 一种网格化3d声场采样方法及系统
WO2022154252A1 (ko) * 2021-01-18 2022-07-21 삼성전자 주식회사 오디오 재생 방법 및 이를 포함하는 전자 장치

Similar Documents

Publication Publication Date Title
US7289633B2 (en) System and method for integral transference of acoustical events
Guastavino et al. Perceptual evaluation of multi-dimensional spatial audio reproduction
KR101919508B1 (ko) 가상 공간에서의 사운드 신호 생성을 통한 입체음향 공급방법 및 장치
US9372251B2 (en) System for spatial extraction of audio signals
JP5147727B2 (ja) 信号デコーディング方法及び装置
Martellotta Subjective study of preferred listening conditions in Italian Catholic churches
WO2011100802A1 (en) Hearing apparatus and method of modifying or improving hearing
Ziemer Psychoacoustic music sound field synthesis: creating spaciousness for composition, performance, acoustics and perception
Thery et al. Anechoic audio and 3D-video content database of small ensemble performances for virtual concerts
WO2022014326A1 (ja) 信号処理装置および方法、並びにプログラム
US6925426B1 (en) Process for high fidelity sound recording and reproduction of musical sound
Gomes et al. Anechoic multi-channel recordings of individual string quartet musicians
Terrell et al. An offline, automatic mixing method for live music, incorporating multiple sources, loudspeakers, and room effects
Floros et al. Spatial enhancement for immersive stereo audio applications
Grazioli et al. Preliminary evaluation of a sound system employing a cancelling auralizer for producing virtual rooms in a modern recording studio
Arthi et al. Multi-loudspeaker rendering of musical ensemble: Role of timbre in source width perception
US9247339B2 (en) Loudspeaker design
Howie Capturing orchestral music for three-dimensional audio playback
AU2013200578B2 (en) Apparatus and method for generating audio output signals using object based metadata
Ueno et al. Perceptual optimization of stereo width shrinkage method in headphone reproduction
Keyes et al. Design and Evaluation of a Spectral Phase Rotation Algorithm for Upmixing to 3D Audio
Christensen et al. Audio effects for multi-source auralisations
Ueno et al. Comparison of subjective characteristics between binaural rendering and stereo width control method
Rindel et al. Auralisation of a symphony orchestra with ODEON, the chain from musical instruments to the eardrums
KR20230057307A (ko) 비대칭 스피커 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant