KR102160248B1 - 다채널 음향 신호의 정위 방법 및 장치 - Google Patents

다채널 음향 신호의 정위 방법 및 장치 Download PDF

Info

Publication number
KR102160248B1
KR102160248B1 KR1020130001218A KR20130001218A KR102160248B1 KR 102160248 B1 KR102160248 B1 KR 102160248B1 KR 1020130001218 A KR1020130001218 A KR 1020130001218A KR 20130001218 A KR20130001218 A KR 20130001218A KR 102160248 B1 KR102160248 B1 KR 102160248B1
Authority
KR
South Korea
Prior art keywords
hrtf
input channel
output
sound signal
signal
Prior art date
Application number
KR1020130001218A
Other languages
English (en)
Other versions
KR20130080819A (ko
Inventor
이윤재
박영진
조현
김선민
김영태
Original Assignee
삼성전자주식회사
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 한국과학기술원 filed Critical 삼성전자주식회사
Publication of KR20130080819A publication Critical patent/KR20130080819A/ko
Application granted granted Critical
Publication of KR102160248B1 publication Critical patent/KR102160248B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07—Synergistic effects of band splitting and sub-band processing

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

입력 음향 신호를 소정 고도에 대응하는 제 1 필터에 적용하여, 고도감이 적용된 다채널 음향 신호를 생성하는 단계; 실제 스피커의 공간적인 위치로부터 청취자의 귀까지의 경로 정보를 나타내는 HRTF(head related transfer function)의 변화에 따른, 다이나믹 큐(dynamic cue)의 주파수 범위를 결정하는 단계; 및 다채널 음향 신호 중 적어도 하나의 채널 음향 신호를 제 2 필터에 적용하는 단계를 포함하되, 제 2 필터가 적용된 다채널 음향 신호가 출력되는 경우, 제 2 필터가 적용된 다채널 음향 신호로부터 다이나믹 큐의 주파수 범위에 해당하는 신호가 다이나믹 큐의 제거 또는 감소를 위해 변경되는 것을 특징으로 하는 본 발명의 일 실시예에 따른 다채널 음향 신호의 정위 방법이 개시된다.

Description

다채널 음향 신호의 정위 방법 및 장치{APPARATUS AND METHOD FOR LOCALIZING MULTICHANNEL SOUND SIGNAL}
본 발명은 다채널 음향 신호의 정위 방법 및 장치에 관한 것이다. 보다 구체적으로, 본 발명은 다채널 음향 신호에 고도감을 적용하는 다채널 음향 신호의 정위 방법 및 장치에 관한 것이다.
최근 멀티미디어 기술의 발전에 있어서, 고품질의 AV 영상 획득 및 재생 기술에 대한 연구가 활발히 진행되고 있다. 특히, 3D 입체 영상 기술의 발전으로 인해 그에 걸맞은 입체 음향 기술 또한 주목을 받고 있다.
입체 음향 기술 중에서 음상의 정위(localizing) 기술은 보다 현실감 있는 오디오 재생 효과를 위하여 실제 스피커가 위치해 있지 않은 곳에 가상의 음상을 정위시켜 주는 기술이다.
이는 크게 수평면과 수직면 음상 정위 기술로 분류될 수 있는데 수평면 음상 정위에 비해 수직면 음상 정위의 성능은 좋지 못하며, 그 발전 정도도 미비한 편이다. 따라서, 청취자에게 현실감 있는 음향을 제공할 수 있는 효과적인 수직면 음상 정위 기술이 요구된다.
본 발명의 일 실시예에 따른 다채널 음향 신호의 정위 방법 및 장치는 청취자가 음향 신호로부터 현실감 있는 고도감을 느낄 수 있게 하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 다채널 음향 신호의 정위 방법은,
입력 음향 신호를 소정 고도에 대응하는 제 1 필터에 적용하여, 고도감이 적용된 다채널 음향 신호를 생성하는 단계; 실제 스피커의 공간적인 위치로부터 청취자의 귀까지의 경로 정보를 나타내는 HRTF(head related transfer function)의 변화에 따른, 다이나믹 큐(dynamic cue)의 주파수 범위를 결정하는 단계; 및 상기 다채널 음향 신호 중 적어도 하나의 채널 음향 신호를 제 2 필터에 적용하는 단계를 포함하되, 상기 제 2 필터가 적용된 다채널 음향 신호가 출력되는 경우, 상기 제 2 필터가 적용된 다채널 음향 신호로부터 상기 다이나믹 큐의 주파수 범위에 해당하는 신호가 상기 다이나믹 큐의 제거 또는 감소를 위해 변경될 수 있다.
상기 다채널 음향 신호를 생성하는 단계는, 입력 모노 음향 신호에 상기 제 1 필터를 적용하는 단계; 및 상기 제 1 필터가 적용된 입력 모노 음향 신호를 복제하여 상기 고도감이 적용된 다채널 음향 신호를 생성하는 단계를 포함할 수 있다.
상기 제 1 필터는, 제 2 HRTF / 제 1 HRTF 이며, 상기 제 2 HRTF는 상기 소정 고도에 위치한 가상 스피커의 공간적인 위치로부터 상기 청취자의 귀까지의 경로 정보를 나타내는 HRTF를 포함하며, 상기 제 1 HRTF는 실제 스피커의 공간적인 위치로부터 상기 청취자의 귀까지의 경로 정보를 나타내는 HRTF를 포함할 수 있다.
상기 다이나믹 큐의 주파수 범위를 결정하는 단계는, 주파수 영역의 HRTF에서, 상기 청취자의 귀의 위치 변화 또는 상기 청취자의 변경에 대응하여 변화되는 영역의 주파수 범위를 상기 다이나믹 큐의 주파수 범위로 결정하는 단계를 포함할 수 있다.
상기 다채널 음향 신호는, 스테레오 음향 신호를 포함하고, 상기 제 2 필터는, 상기 다이나믹 큐의 주파수 범위에 포함되는 신호의 페이즈를 반전시키는 페이즈 반전 필터(phase inverse filter)를 포함하되, 상기 다채널 음향 신호 중 적어도 하나의 채널 음향 신호를 상기 제 2 필터에 적용하는 단계는, 상기 스테레오 음향 신호 중 어느 하나의 음향 신호를 상기 페이즈 반전 필터(phase inverse filter)에 적용하는 단계를 포함할 수 있다.
상기 제 2 필터는, 상기 다이나믹 큐의 주파수 범위에 포함되는 신호의 진폭을 조절하는 진폭 조절 필터를 포함할 수 있다.
상기 다채널 음향 신호는, 스테레오 음향 신호를 포함하고, 상기 제 2 필터는, 상기 다이나믹 큐의 주파수 범위에 포함되는 신호를 지연시키는 지연 필터(delay filter)를 포함하되, 상기 다채널 음향 신호 중 적어도 하나의 채널 음향 신호를 상기 제 2 필터에 적용하는 단계는, 상기 다채널 음향 신호 중 어느 하나의 채널 음향 신호를 상기 지연 필터에 적용하는 단계를 포함할 수 있다.
상기 다채널 음향 신호의 정위 방법은, 상기 소정 고도에 위치한 가상 스피커를 포함하는 수평면상의 소정 위치에 상기 가상 스피커가 위치하도록, 상기 다채널 음향 신호의 각각의 채널 음향 신호의 진폭을 조절하는 단계를 더 포함할 수 있다.
상기 다채널 음향 신호의 정위 방법을 실행하기 위한 컴퓨터 프로그램이 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다.
본 발명의 다른 실시예에 따른 다채널 음향 신호의 정위 장치는,
입력 음향 신호를 소정 고도에 대응하는 제 1 필터에 적용하여, 고도감이 적용된 다채널 음향 신호를 생성하는 다채널 음향 신호 생성부; 실제 스피커의 공간적인 위치로부터 청취자의 귀까지의 경로 정보를 나타내는 HRTF(head related transfer function)의 변화에 따른, 다이나믹 큐(dynamic cue)의 주파수 범위를 결정하는 주파수 범위 결정부; 및 상기 다채널 음향 신호 중 적어도 하나의 채널 음향 신호를 제 2 필터에 적용하는 제 2 필터링부를 포함하되, 상기 제 2 필터가 적용된 다채널 음향 신호가 출력되는 경우, 상기 제 2 필터가 적용된 다채널 음향 신호로부터 상기 다이나믹 큐의 주파수 범위에 해당하는 신호가 상기 다이나믹 큐의 제거 또는 감소를 위해 변경될 수 있다.
상기 다채널 음향 신호 생성부는, 입력 모노 음향 신호에 상기 제 1 필터를 적용하는 제 1 필터링부; 및 상기 제 1 필터가 적용된 입력 모노 음향 신호를 복제하여 상기 고도감이 적용된 다채널 음향 신호를 생성하는 신호 복제부를 포함할 수 있다.
상기 제 1 필터는, 제 2 HRTF / 제 1 HRTF 이며, 상기 제 2 HRTF는 상기 소정 고도에 위치한 가상 스피커의 공간적인 위치로부터 상기 청취자의 귀까지의 경로 정보를 나타내는 HRTF를 포함하며, 상기 제 1 HRTF는 실제 스피커의 공간적인 위치로부터 상기 청취자의 귀까지의 경로 정보를 나타내는 HRTF를 포함할 수 있다.
상기 주파수 범위 결정부는, 주파수 영역의 HRTF에서, 상기 청취자의 귀의 위치 변화 또는 상기 청취자의 변경에 대응하여 변화되는 영역의 주파수 범위를 상기 다이나믹 큐의 주파수 범위로 결정할 수 있다.
상기 다채널 음향 신호는, 스테레오 음향 신호를 포함하고, 상기 제 2 필터는, 상기 다이나믹 큐의 주파수 범위에 포함되는 신호의 페이즈를 반전시키는 페이즈 반전 필터(phase inverse filter)를 포함하되, 상기 제 2 필터링부는, 상기 스테레오 음향 신호 중 어느 하나의 음향 신호를 상기 페이즈 반전 필터(phase inverse filter)에 적용할 수 있다.
상기 제 2 필터는, 상기 다이나믹 큐의 주파수 범위에 포함되는 신호의 진폭을 조절하는 진폭 조절 필터를 포함할 수 있다.
상기 다채널 음향 신호는, 스테레오 음향 신호를 포함하고, 상기 제 2 필터는, 상기 다이나믹 큐의 주파수 범위에 포함되는 신호를 지연시키는 지연 필터(delay filter)를 포함하되, 상기 제 2 필터링부는, 상기 다채널 음향 신호 중 어느 하나의 채널 음향 신호를 상기 지연 필터에 적용할 수 있다.
상기 다채널 음향 신호의 정위 장치는, 상기 소정 고도에 위치한 가상 스피커를 포함하는 수평면상의 소정 위치에 상기 가상 스피커가 위치하도록, 상기 다채널 음향 신호의 각각의 채널 음향 신호의 진폭을 조절하는 진폭 조절부를 더 포함할 수 있다.
도 1은 종래 다채널 음향 신호의 정위 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 다채널 음향 신호의 정위 장치의 구성을 도시하는 블럭도이다.
도 3은 본 발명의 다른 실시예에 따른 다채널 음향 신호의 정위 장치의 구성을 도시하는 블럭도이다.
도 4는 본 발명의 일 실시예에 따른 다채널 음향 신호의 정위 장치에 있어서, 제 1 필터를 설명하기 위한 도면이다.
도 5는 다이나믹 큐의 주파수 범위를 설명하기 위한 도면이다.
도 6은 본 발명의 다른 실시예에 따른 다채널 음향 신호의 정위 방법의 순서를 도시하는 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 실시예에서 사용되는 '부'라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '부'는 어떤 역할들을 수행한다. 그렇지만 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부'들로 결합되거나 추가적인 구성요소들과 '부'들로 더 분리될 수 있다.
도 1은 종래 다채널 음향 신호의 정위 방법을 설명하기 위한 도면이다.
먼저, HRTF 필터(head related transfer function filter)(10)는 입력 신호에 대해 소정 고도의 고도감을 적용한다. HRTF 필터(10)는 출력 음향 신호가 실제 스피커가 아닌 소정 고도에 위치한 가상 스피커에서 출력이 되는 것으로 청취자가 느끼게 할 수 있다.
다음으로, 신호 복제부(20)는 입력 신호를 복제하여 다채널의 음향 신호를 생성하고, 게인값 조절부(30)는 각 채널별 음향 신호에 소정의 게인값을 적용하여 출력한다.
입력 신호에 적용되는 HRTF 필터(10)에 포함되는 HRTF(head related transfer function)는 실제 스피커와 청취자의 귀까지의 경로 정보를 나타내는 일반화된 HRTF이므로, 종래 다채널 음향 신호의 정위 방법은 청취자의 귀의 위치 변화나 청취자의 변경에 따라 변화되는 HRTF를 고려하지 않아 청취자가 느끼는 고도감을 저하시킨다는 문제점이 있다.
도 2는 본 발명의 일 실시예에 따른 다채널 음향 신호의 정위 장치(200)의 구성을 도시하는 블럭도이다.
도 2를 참조하면, 도 2에 도시된 다채널 음향 신호의 정위 장치(200)는 다채널 음향 신호 생성부(210), 주파수 범위 결정부(230) 및 제 2 필터링부(250)를 포함할 수 있다. 다채널 음향 신호 생성부(210), 주파수 범위 결정부(230) 및 제 2 필터링부(250)는 마이크로 프로세서로 구성될 수 있다.
먼저, 입력 음향 신호(205)는 다채널 음향 신호 생성부(210)로 입력된다. 입력 음향 신호(205)는 모노 음향 신호 또는 다채널 음향 신호를 포함할 수 있다. 입력 음향 신호(205)는 메모리부(미도시)에 저장된 신호일 수 있고, 외부 장치로부터 전송된 신호일 수도 있다.
다채널 음향 신호 생성부(210)는 입력 음향 신호(205)를 소정 고도에 대응하는 제 1 필터에 적용하여, 고도감이 적용된 다채널 음향 신호를 생성할 수 있다. 구체적으로, 제 1 필터는 HRTF 필터를 포함할 수 있다.
HRTF는 음원의 공간적인 위치로부터 사용자의 양 귀까지의 경로 정보, 즉 주파수 전달 특성을 포함한다. HRTF는 두 귀에 도달하는 신호의 레벨 차이(ILD,Inter-aural Level Difference) 및 두 귀에 도달하는 신호의 시간 차이(ITD, Inter-aural Time Difference) 등의 단순한 경로 차이뿐만 아니라, 머리 표면에서의 회절, 귓바퀴에 의한 반사 등 복잡한 경로 상의 특성이 음의 도래 방향에 따라 변화하는 현상을 이용하여 청취자가 입체 음향을 인식할 수 있게 한다. 공간상의 각 방향에서 HRTF는 유일한 특성을 갖기 때문에 이를 이용하면 입체 음향을 생성할 수 있다.
다음의 수학식 1은 다채널 음향 신호 생성부(210)가 입력 음향 신호(205)에 적용하는 제 1 필터의 예이다.
[수학식 1]
제 2 HRTF / 제 1 HRTF
도 4는 본 발명의 일 실시예에 따른 다채널 음향 신호의 정위 장치(200)에 있어서, 제 1 필터를 설명하기 위한 도면으로서, 제 2 HRTF는 소정 고도(θ)에 위치한 가상 스피커(450)의 공간적인 위치로부터 청취자(410)의 귀까지의 경로 정보를 나타내는 HRTF(H2)을 포함하며, 제 1 HRTF은 실제 스피커(430)의 공간적인 위치로부터 청취자(410)의 귀까지의 경로 정보를 나타내는 HRTF(H1)를 포함한다. 상기 제 1 HRTF와 제 2 HRTF는 모두 주파수 영역의 변환 함수(transfer function)에 해당하며, 상기 수학식 1을 시간 영역으로 변환하면 컨볼루션 연산이 필요할 것이다. 한편, 가상 스피커는 고도감이 적용된 음향 신호를 출력하고 있는 것으로 느껴지는 가상의 스피커를 의미한다.
청취자(410)가 청취하는 출력 음향 신호(295)는 실제 스피커(430)를 통해서 출력되므로, 가상 스피커(450)에서 출력 음향 신호(295)가 출력되는 것으로 인식시키기 위해, 소정의 고도(θ)에 대응하는 제 2 HTRF를 수평면(또는 실제 스피커의 고도)에 대응하는 제 1 HRTF으로 나누는 것이다.
소정의 고도에 대응하는 최적의 HRTF는 사람마다 상이하다. 따라서, 청취자마다 개별적으로 HRTF를 계산하여 적용하는 것이 바람직하지만 이는 현실적으로 불가능하다. 따라서, 비슷한 특성(예를 들면, 나이, 키 등과 같은 신체적 특성 또는 선호하는 주파수 대역, 선호하는 음악 등과 같은 성향적 특성)을 갖는 사용자 집단내의 일부 사용자에 대하여 HRTF를 계산한 후 대표값(예를 들면, 평균치)을 해당 집단내의 모든 사용자에게 적용할 HRTF로 결정할 수 있다. 즉, 상기 수학식 1에 기재된 제 2 HTRF와 제 1 HTRF는 소정의 고도에 대응하는 일반화된 HTRF들이다.
다채널 음향 신호 생성부(210)는 가상 음원을 정위시키고자 하는 위치(즉, 고도각)에 따라 적절한 제 2 HRTF를 선정할 수 있다. 다채널 음향 신호 생성부(210)는 가상 음원의 위치와 HRTF 간의 맵핑 정보를 이용하여 가상 음원에 대응하는 제 2 HRTF를 선택할 수 있다. 가상 음원의 위치 정보는 어플리케이션과 같은 모듈(소프트웨어 또는 하드웨어)을 통하여 수신되거나, 사용자로부터 입력될 수 있다.
주파수 범위 결정부(230)는 실제 스피커의 공간적인 위치로부터 청취자의 귀까지의 경로 정보를 나타내는 HRTF의 변화에 따른, 다이나믹 큐(dynamic cue)의 주파수 범위를 결정한다.
전술한 바와 같이, 제 1 필터에 포함되는 제 1 HRTF와 제 2 HRTF는 일반화된 HRTF이므로, 청취자가 머리를 움직이거나 이동을 하여 귀의 위치가 변화되는 경우, 또는 청취자가 다른 청취자로 변경되는 경우에는 실제 스피커의 공간상의 위치로부터 청취자의 귀까지의 경로 정보도 변화하므로, 결국, 청취자는 귀의 위치의 변화 등에 의한 다이나믹 큐에 의해 출력 음향 신호(295)의 고도감을 느끼기 어렵게 된다. 큐는 청취자에게 출력 음향 신호(295)의 고도감을 느끼게 하는 단서 등(예를 들어, 청취자가 고도감 인지를 위해 사용한다고 알려진 귀 고막에 도달하는 음압의 스펙트럼 피크와 노치(notch))을 의미하여, 이 단서가 변화되면 청취자는 출력 음향 신호(295)의 고도감을 느낄 수 없는 것이다.
도 5는 다이나믹 큐의 주파수 범위를 설명하기 위한 도면이다.
도 5(a)는 실제 스피커의 공간상의 위치로부터 청취자의 귀까지의 경로 정보를 나타내는 일반화된 제 1 HRTF의 크기(M)를 주파수(f) 영역에서 도시하는 그래프이고, 도 5(b)는 청취자의 귀의 위치 변화 등에 의해 변화된 실제 스피커의 공간상의 위치로부터 청취자의 귀까지의 HRTF의 크기(M)를 주파수(f) 영역에서 도시하는 그래프이다.
도 5(a) 및 도 5(b)를 참조하면, 청취자의 귀의 위치 변화 등에 의해, 주파수 영역의 HRTF 중, L 구간에서 HRTF 신호의 크기(M)가 변한 것을 확인할 수 있다. 즉, 청취자는 L 구간에서의 HRTF의 변화에 의해, 출력 음향 신호(295)의 고도감을 느끼지 못할 수 있다.
상기 L 구간은 다양한 방법으로 결정될 수 있다. 예를 들어, 제 1 고도에서의 HRTF와 제 1 고도에 매우 근접한 다수의 제 2 고도의 HRTF를 서로 비교하여 L 구간을 결정할 수 있고, 제 1 고도에서의 HRTF와 청취자의 귀의 위치에 대응하는 HRTF를 서로 비교하여 L 구간을 결정할 수도 있다.
제 2 필터링부(250)는 제 1 필터가 적용된 다채널 음향 신호 중 적어도 하나의 채널 음향 신호를 제 2 필터에 적용할 수 있다. 도 2에는 도시되지 않았지만, 다채널 음향 신호의 정위 장치(200)는 제 2 필터가 적용된 다채널 음향 신호를 출력하는 출력부를 더 포함할 수 있다.
제 2 필터가 적용된 다채널 음향 신호가 출력되는 경우, 제 2 필터가 적용된 다채널 음향 신호로부터 다이나믹 큐의 주파수 범위에 해당하는 신호가 다이나믹 큐의 제거 또는 감소를 위해 변경될 수 있다. 다채널 음향 신호에서 다이나믹 큐의 제거 또는 감소를 위해 다이나믹 큐의 주파수 범위에 해당하는 신호가 변경되면, 청취자의 귀의 위치가 변화되더라도 청취자는 현실감 있는 고도감을 느낄 수 있게 된다.
예를 들어, 다이나믹 큐의 주파수 범위가 800-1000Hz, 1500-2000Hz라 하면, 다채널 음향 신호에 포함된 각 채널별 음향 신호가 스피커를 통해 출력되는 경우, 각 채널별 음향 신호 내 800-1000Hz, 1500-2000Hz의 주파수 범위에 포함되는 신호가 다이나믹 큐 제거를 위해 변경될 수 있다.
제 2 필터는 다이나믹 큐의 주파수 범위에 포함되는 신호의 페이즈를 반전시키는 페이즈 반전 필터(phase inverse filter), 다이나믹 큐의 주파수 범위에 포함되는 신호의 진폭을 감소시키는 진폭 조절 필터 및 다이나믹 큐의 주파수 범위에 포함되는 신호를 지연시키는 지연 필터(delay filter) 중 적어도 하나를 포함할 수 있다.
제 2 필터가 페이즈 반전 필터이고, 다채널 음향 신호가 스테레오 음향 신호인 경우, 제 2 필터링부(250)는 스테레오 음향 신호 중 좌 신호 또는 우 신호를 페이즈 반전 필터에 적용하여 좌 신호 또는 우 신호 내 800-1000Hz, 1500-2000Hz 주파수 범위에 포함되는 신호의 페이즈를 반전시킬 수 있다. 좌 신호 내 800-1000Hz, 1500-2000Hz 주파수 범위에 포함되는 신호의 페이즈가 반전된 경우, 좌 신호와 우 신호가 2 채널 스피커를 통해 출력되면, 좌 신호와 우 신호 내 800-1000Hz, 1500-2000Hz 주파수 범위에 포함된 신호는 청취자의 위치에서 서로 상쇄가 되어 다이나믹 큐가 제거된다.
또한, 제 2 필터가 진폭 조절 필터인 경우, 제 2 필터링부(250)는 다채널 음향 신호의 각 채널 음향 신호에 대하여, 다이나믹 큐의 주파수 범위에 포함된 신호의 진폭을 변화시켜 다이나믹 큐를 제거 또는 감소할 수도 있다. 예를 들어, 스테레오 음향 신호의 좌 신호와 우 신호 내 800-1000Hz, 1500-2000Hz에 포함된 신호의 진폭을 주파수 밴드(frequency band)별로 세분화한 후, 세분화된 주파수 밴드별 신호의 진폭을 좌 신호와 우 신호에 대해 서로 상이하게 조절하여 다이나믹 큐를 감소시킬 수 있다. 또는, 다채널 음향 신호의 각 채널별 음향 신호 내 800-1000Hz, 1500-2000Hz에 포함된 신호의 진폭을 0에 가깝도록 조절하여 다이나믹 큐를 감소시킬 수도 있다.
또한, 제 2 필터가 지연 필터이고, 다채널 음향 신호가 스테레오 음향 신호인 경우, 제 2 필터링부(250)는 스테레오 음향 신호 중 좌 신호 또는 우 신호를 지연 필터에 적용할 수 있다. 예를 들어, 우 신호 내 800-1000Hz, 1500-2000Hz 주파수 범위에 포함된 신호의 위상과 위상 차이가 180°가 되도록 좌 신호 내 800-1000Hz, 1500-2000Hz 주파수 범위에 포함된 신호를 지연시켜 다이나믹 큐를 제거할 수도 있다.
한편, 다채널 음향 신호가 2 채널 이상의 신호(예를 들어, 5.1 채널 또는 7.1 채널)인 경우에는, 페이즈 반전 필터, 진폭 조절 필터 및 지연 필터 중 적어도 하나의 필터를 사용하여 다이나믹 큐를 제거 또는 감소할 수 있으며, 다이나믹 큐의 제거 또는 감소 방법은 당업자에게 자명한 범위 내에서 다양하게 수행될 수 있다.
도 3은 본 발명의 다른 실시예에 따른 다채널 음향 신호의 정위 장치(300)의 구성을 도시하는 블럭도이다.
도 3을 참조하면, 도 3에 도시된 다채널 음향 신호의 정위 장치(300)는 다채널 음향 신호 생성부(310), 주파수 범위 결정부(330), 제 2 필터링부(350) 및 진폭 조절부(370)를 포함할 수 있다. 주파수 범위 결정부(330) 및 제 2 필터링부(350)에 대해서는 도 2를 참조하여 전술하였으므로, 상세한 설명을 생략한다.
다채널 음향 신호 생성부(310)는 제 1 필터링부(305) 및 신호 복제부(307)를 포함할 수 있다. 제 1 필터링부(305)는 입력 음향 신호(305)에 대해 제 1 필터를 적용한다. 제 1 필터는 HRTF 필터를 포함할 수 있다. 신호 복제부(307)는 제 1 필터가 적용된 입력 음향 신호(305)를 복제하여 다채널 음향 신호를 생성한다. 도 3은 제 1 필터링부(305)가 신호 복제부(307) 전단에 위치하는 것으로 도시하고 있지만, 제 1 필터링부(305)가 신호 복제부(307) 후단에 위치하여, 신호 복제부(307)에 의해 생성된 다채널 음향 신호에 제 1 필터를 적용하는 것도 가능하다.
신호 복제부(307)는 입력 음향 신호(305)가 모노 신호인 경우, 모노 음향 신호를 복제하여 스테레오 음향 신호, 5.1채널 음향 신호 또는 7.1 채널 음향 신호 등의 다채널 음향 신호를 생성할 수 있다.
진폭 조절부(370)는 소정 고도에 위치한 가상 스피커를 포함하는 수평면상의 소정 위치에 가상 스피커가 위치하도록, 다채널 음향 신호의 각각의 채널 음향 신호의 진폭을 조절한다. 소정 고도에 정위시킨 다채널 음향 신호를 소정 고도의 수평면상의 소정 방향에 정위시키고자 하는 경우, 진폭 조절부(370)는 채널별 음향 신호에 적절한 게인값을 적용하여 채널별 음향 신호의 진폭을 조절함으로써, 다채널 음향 신호를 수평면상에 정위시킬 수 있다. 즉, 이에 의해, 청취자는 스피커로부터 출력되는 출력 음향 신호(395)로부터 고도감 뿐만 아니라 방향감도 함께 느낄 수 있게 된다.
도 6은 본 발명의 다른 실시예에 따른 다채널 음향 신호의 정위 방법의 순서를 도시하는 순서도이다. 도 6을 참조하면, 본 발명의 다른 실시예에 따른 다채널 음향 신호의 정위 방법은 도 2에 도시된 다채널 음향 신호의 정위 장치(200)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도 도 2에 도시된 다채널 음향 신호의 정위 장치(200)에 관하여 이상에서 기술된 내용은 도 6의 다채널 음향 신호의 정위 방법에도 적용됨을 알 수 있다.
먼저, S610 단계에서, 다채널 음향 신호의 정위 장치(200)는, 입력 음향 신호를 소정 고도에 대응하는 제 1 필터에 적용하여, 고도감이 적용된 다채널 음향 신호를 생성한다. 입력 음향 신호는 모노 음향 신호 또는 스테레오 음향 신호를 포함할 수 있고, 다채널 음향 신호는 입력 음향 신호보다 채널이 많은 신호일 수 있다.
S620 단계에서, 다채널 음향 신호의 정위 장치(200)는, 실제 스피커의 공간적인 위치로부터 청취자의 귀까지의 경로 정보를 나타내는 HRTF의 변화에 따른, 다이나믹 큐의 주파수 범위를 결정한다. HRTF의 변화에 따른 다이나믹 큐에 의해 스피커로부터 출력되는 음향 신호로부터 청취자가 느끼는 고도감이 저하된다.
S630 단계에서, 다채널 음향 신호의 정위 장치(200)는 다채널 음향 신호 중 적어도 하나의 채널 음향 신호를 제 2 필터에 적용한다. 제 2 필터가 적용된 다채널 음향 신호가 스피커를 통해 출력되는 경우, 제 2 필터가 적용된 다채널 음향 신호로부터 상기 다이나믹 큐의 주파수 범위에 해당하는 신호가 상기 다이나믹 큐의 제거 또는 감소를 위해 변경된다. 즉, 제 2 필터에 의해 다채널 음향 신호의 다이나믹 큐가 제거되어 청취자에게 현실감 있는 고도감을 제공할 수 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
200, 300: 다채널 음향 신호의 정위 장치
210, 310: 다채널 음향 신호 생성부
230, 330: 주파수 범위 결정부
250, 350: 제 2 필터링부
305: 제 1 필터링부
307: 신호 복제부
370: 진폭 조절부

Claims (17)

  1. 입력 채널 구성 및 적어도 하나의 높이 입력 채널 신호를 포함하는 입력 채널 오디오 신호를 수신하는 단계;
    상기 입력 채널 구성 및 출력 채널 구성에 기초하여 게인을 획득하는 단계;
    수평면에 위치하는 복수의 출력 스피커들을 나타내는 상기 출력 채널 구성을 이용하여 고도감을 제공하기 위하여, 상기 입력 채널 구성에 기초하여 제1 HRTF(head related transfer function)를 획득하는 단계;
    소정 위치에서의 입력 채널 오디오 신호가 상기 소정 위치와 다른 위치에 있는 두 개 이상의 스피커들을 통하여 출력되도록 하는 데 사용되는 제2 HRTF를 상기 입력 채널 구성, 상기 출력 채널 구성 및 다이나믹 큐(dynamic cue)의 주파수 범위에 기초하여 획득하는 단계; 및
    상기 출력 채널 구성을 이용하여 고도감을 제공하기 위하여, 상기 게인, 상기 제1 HRTF 및 상기 제2 HRTF에 기초하여 상기 입력 채널 오디오 신호를 고도 렌더링 하는 단계를 포함하고,
    상기 제2 HRTF는 상기 주파수 범위를 나누는 복수의 주파수 밴드들을 위한 필터 계수를 포함하는, 오디오 신호 출력 방법.
  2. 제1 항에 있어서, 상기 다이나믹 큐는 스피커와 청취자 간 방위를 나타내는, 오디오 신호 출력 방법.
  3. 제1 항에 있어서, 상기 제2 HRTF는 소정의 고도에 위치한 입력 채널 신호와 출력 채널 신호의 공간적인 위치에 기초하여 결정되는, 오디오 신호 출력 방법.
  4. 제1 항에 있어서, 상기 적어도 하나의 높이 입력 채널 신호는 각각 적어도 두 개의 출력 채널 오디오 신호들로 출력되는, 오디오 신호 출력 방법.
  5. 제1 항에 있어서, 상기 제2 HRTF는 수평면 상에 위치한 입력 채널 신호와 출력 채널 신호의 공간적 위치에 기초하여 결정되는, 오디오 신호 출력 방법.
  6. 입력 채널 구성 및 적어도 하나의 높이 입력 채널 신호를 포함하는 입력 채널 오디오 신호를 수신하는 수신부; 및
    상기 입력 채널 구성 및 출력 채널 구성에 기초한 게인을 획득하고, 수평면에 위치하는 복수의 출력 스피커들을 나타내는 상기 출력 채널 구성을 이용하여 고도감을 제공하기 위하여 상기 입력 채널 구성에 기초한 제1 HRTF(head related transfer function)를 획득하고, 소정 위치에서의 입력 채널 오디오 신호가 상기 소정 위치와 다른 위치에 있는 두 개 이상의 스피커들을 통하여 출력되도록 하는 데 사용되는 제2 HRTF를 상기 입력 채널 구성, 상기 출력 채널 구성 및 다이나믹 큐(dynamic cue)의 주파수 범위에 기초하여 획득하고, 상기 출력 채널 구성을 이용하여 고도감을 제공하기 위하여, 상기 게인, 상기 제1 HRTF 및 상기 제2 HRTF에 기초하여 상기 입력 채널 오디오 신호를 고도 렌더링 하는 고도 렌더러;를 포함하고,
    상기 제2 HRTF는 상기 주파수 범위를 나누는 복수의 주파수 밴드들을 위한 필터 계수를 포함하는, 오디오 신호 출력 장치.
  7. 제6 항에 있어서, 상기 다이나믹 큐는 스피커와 청취자 간 방위를 나타내는, 오디오 신호 출력 장치.
  8. 제6 항에 있어서, 상기 제2 HRTF는 동일한 평면 상에 위치한 입력 채널 신호와 출력 채널 신호의 공간적인 위치에 기초하여 결정되는, 오디오 신호 출력 장치.
  9. 제8 항에 있어서, 상기 동일한 평면은 수평면인, 오디오 신호 출력 장치.
  10. 제6 항에 있어서, 상기 적어도 하나의 높이 입력 채널 신호는 각각 적어도 두 개의 출력 채널 오디오 신호들로 출력되는, 오디오 신호 출력 장치.
  11. 입력 채널 구성 및 적어도 하나의 높이 입력 채널 신호를 포함하는 입력 채널 오디오 신호를 수신하는 단계;
    상기 입력 채널 구성 및 출력 채널 구성에 기초하여 게인을 획득하는 단계;
    수평면에 위치하는 복수의 출력 스피커들을 나타내는 상기 출력 채널 구성을 이용하여 고도감을 제공하기 위하여, 상기 입력 채널 구성에 기초하여 제1 HRTF(head related transfer function)를 획득하는 단계;
    소정 위치에서의 입력 채널 오디오 신호가 상기 소정 위치와 다른 위치에 있는 두 개 이상의 스피커들을 통하여 출력되도록 하는 데 사용되는 제2 HRTF를 상기 입력 채널 구성, 상기 출력 채널 구성 및 다이나믹 큐(dynamic cue)의 주파수 범위에 기초하여 획득하는 단계; 및
    상기 출력 채널 구성을 이용하여 고도감을 제공하기 위하여, 상기 게인, 상기 제1 HRTF 및 상기 제2 HRTF에 기초하여 상기 입력 채널 오디오 신호를 고도 렌더링 하는 단계를 포함하고,
    상기 제2 HRTF는 상기 주파수 범위를 나누는 복수의 주파수 밴드들을 위한 필터 계수를 포함하는, 오디오 신호 출력 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
KR1020130001218A 2012-01-05 2013-01-04 다채널 음향 신호의 정위 방법 및 장치 KR102160248B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261583309P 2012-01-05 2012-01-05
US61/583,309 2012-01-05

Publications (2)

Publication Number Publication Date
KR20130080819A KR20130080819A (ko) 2013-07-15
KR102160248B1 true KR102160248B1 (ko) 2020-09-25

Family

ID=48745287

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130001218A KR102160248B1 (ko) 2012-01-05 2013-01-04 다채널 음향 신호의 정위 방법 및 장치

Country Status (4)

Country Link
US (1) US11445317B2 (ko)
EP (1) EP2802161A4 (ko)
KR (1) KR102160248B1 (ko)
WO (1) WO2013103256A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3131313B1 (en) * 2014-04-11 2024-05-29 Samsung Electronics Co., Ltd. Method and apparatus for rendering sound signal, and computer-readable recording medium
RU2656986C1 (ru) 2014-06-26 2018-06-07 Самсунг Электроникс Ко., Лтд. Способ и устройство для рендеринга акустического сигнала и машиночитаемый носитель записи
US9609436B2 (en) 2015-05-22 2017-03-28 Microsoft Technology Licensing, Llc Systems and methods for audio creation and delivery
WO2017063688A1 (en) * 2015-10-14 2017-04-20 Huawei Technologies Co., Ltd. Method and device for generating an elevated sound impression
CN108476370B (zh) * 2015-10-26 2022-01-25 弗劳恩霍夫应用研究促进协会 用于生成实现仰角渲染的滤波后的音频信号的装置和方法
US9591427B1 (en) * 2016-02-20 2017-03-07 Philip Scott Lyren Capturing audio impulse responses of a person with a smartphone
US20170325043A1 (en) 2016-05-06 2017-11-09 Jean-Marc Jot Immersive audio reproduction systems
US10979844B2 (en) 2017-03-08 2021-04-13 Dts, Inc. Distributed audio virtualization systems
WO2019066348A1 (ko) * 2017-09-28 2019-04-04 가우디오디오랩 주식회사 오디오 신호 처리 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050053249A1 (en) * 2003-09-05 2005-03-10 Stmicroelectronics Asia Pacific Pte., Ltd. Apparatus and method for rendering audio information to virtualize speakers in an audio system
US20080253577A1 (en) * 2007-04-13 2008-10-16 Apple Inc. Multi-channel sound panner
JP2010258497A (ja) * 2009-04-21 2010-11-11 Sony Corp 音響処理装置、音像定位処理方法および音像定位処理プログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307941B1 (en) * 1997-07-15 2001-10-23 Desper Products, Inc. System and method for localization of virtual sound
KR19990041134A (ko) * 1997-11-21 1999-06-15 윤종용 머리 관련 전달 함수를 이용한 3차원 사운드 시스템 및 3차원 사운드 구현 방법
DE69924896T2 (de) * 1998-01-23 2005-09-29 Onkyo Corp., Neyagawa Vorrichtung und Verfahren zur Schallbildlokalisierung
GB2351213B (en) 1999-05-29 2003-08-27 Central Research Lab Ltd A method of modifying one or more original head related transfer functions
US7231054B1 (en) * 1999-09-24 2007-06-12 Creative Technology Ltd Method and apparatus for three-dimensional audio display
KR100677119B1 (ko) 2004-06-04 2007-02-02 삼성전자주식회사 와이드 스테레오 재생 방법 및 그 장치
CN101065990A (zh) * 2004-09-16 2007-10-31 松下电器产业株式会社 声像定位装置
EP1761110A1 (en) 2005-09-02 2007-03-07 Ecole Polytechnique Fédérale de Lausanne Method to generate multi-channel audio signals from stereo signals
CA2621175C (en) * 2005-09-13 2015-12-22 Srs Labs, Inc. Systems and methods for audio processing
JP4821250B2 (ja) * 2005-10-11 2011-11-24 ヤマハ株式会社 音像定位装置
KR100739798B1 (ko) * 2005-12-22 2007-07-13 삼성전자주식회사 청취 위치를 고려한 2채널 입체음향 재생 방법 및 장치
WO2008043858A1 (en) * 2006-10-13 2008-04-17 Galaxy Studios Nv A method and encoder for combining digital data sets, a decoding method and decoder for such combined digital data sets and a record carrier for storing such combined digital data set
KR100971700B1 (ko) * 2007-11-07 2010-07-22 한국전자통신연구원 공간큐 기반의 바이노럴 스테레오 합성 장치 및 그 방법과,그를 이용한 바이노럴 스테레오 복호화 장치
TWI496479B (zh) * 2008-09-03 2015-08-11 Dolby Lab Licensing Corp 增進多聲道之再生
EP2175670A1 (en) 2008-10-07 2010-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Binaural rendering of a multi-channel audio signal
KR101496760B1 (ko) * 2008-12-29 2015-02-27 삼성전자주식회사 서라운드 사운드 가상화 방법 및 장치
KR101673232B1 (ko) * 2010-03-11 2016-11-07 삼성전자주식회사 수직 방향 가상 채널을 생성하는 장치 및 그 방법
KR20120004909A (ko) 2010-07-07 2012-01-13 삼성전자주식회사 입체 음향 재생 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050053249A1 (en) * 2003-09-05 2005-03-10 Stmicroelectronics Asia Pacific Pte., Ltd. Apparatus and method for rendering audio information to virtualize speakers in an audio system
US20080253577A1 (en) * 2007-04-13 2008-10-16 Apple Inc. Multi-channel sound panner
JP2010258497A (ja) * 2009-04-21 2010-11-11 Sony Corp 音響処理装置、音像定位処理方法および音像定位処理プログラム

Also Published As

Publication number Publication date
US11445317B2 (en) 2022-09-13
EP2802161A4 (en) 2015-12-23
KR20130080819A (ko) 2013-07-15
EP2802161A1 (en) 2014-11-12
WO2013103256A1 (ko) 2013-07-11
US20140334626A1 (en) 2014-11-13

Similar Documents

Publication Publication Date Title
KR102160248B1 (ko) 다채널 음향 신호의 정위 방법 및 장치
KR102160254B1 (ko) 액티브다운 믹스 방식을 이용한 입체 음향 재생 방법 및 장치
JP5323210B2 (ja) 音響再生装置および音響再生方法
US9749767B2 (en) Method and apparatus for reproducing stereophonic sound
KR101368859B1 (ko) 개인 청각 특성을 고려한 2채널 입체 음향 재생 방법 및장치
KR20230019809A (ko) 입체 음향 재생 방법 및 장치
KR100739798B1 (ko) 청취 위치를 고려한 2채널 입체음향 재생 방법 및 장치
TWI489887B (zh) 用於喇叭或耳機播放之虛擬音訊處理技術
KR101627647B1 (ko) 바이노럴 렌더링을 위한 오디오 신호 처리 장치 및 방법
CA2943670C (en) Method and apparatus for rendering acoustic signal, and computer-readable recording medium
KR100636252B1 (ko) 공간 스테레오 사운드 생성 방법 및 장치
US7889870B2 (en) Method and apparatus to simulate 2-channel virtualized sound for multi-channel sound
KR102302672B1 (ko) 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
KR20100063092A (ko) 오디오 신호의 디코딩 방법 및 장치
JP5314129B2 (ja) 音響再生装置及び音響再生方法
JP2018201224A (ja) オーディオ信号レンダリング方法及び装置
KR102357293B1 (ko) 입체 음향 재생 방법 및 장치
JP5787128B2 (ja) 音響システム、音響信号処理装置および方法、並びに、プログラム
US11470435B2 (en) Method and device for processing audio signals using 2-channel stereo speaker
KR102217832B1 (ko) 액티브다운 믹스 방식을 이용한 입체 음향 재생 방법 및 장치
JP7332745B2 (ja) 音声処理方法及び音声処理装置
KR20210020961A (ko) 액티브다운 믹스 방식을 이용한 입체 음향 재생 방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant