KR101677502B1 - 원격 사용자 간의 입체 음향 전달 방법 - Google Patents

원격 사용자 간의 입체 음향 전달 방법 Download PDF

Info

Publication number
KR101677502B1
KR101677502B1 KR1020150148773A KR20150148773A KR101677502B1 KR 101677502 B1 KR101677502 B1 KR 101677502B1 KR 1020150148773 A KR1020150148773 A KR 1020150148773A KR 20150148773 A KR20150148773 A KR 20150148773A KR 101677502 B1 KR101677502 B1 KR 101677502B1
Authority
KR
South Korea
Prior art keywords
user
voice
sound
sound field
party
Prior art date
Application number
KR1020150148773A
Other languages
English (en)
Inventor
전진용
장형석
임란 무하마드
임한솔
서종각
남상훈
맹주현
유범재
Original Assignee
한양대학교 산학협력단
재단법인 실감교류인체감응솔루션연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단, 재단법인 실감교류인체감응솔루션연구단 filed Critical 한양대학교 산학협력단
Priority to KR1020150148773A priority Critical patent/KR101677502B1/ko
Application granted granted Critical
Publication of KR101677502B1 publication Critical patent/KR101677502B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/01—Input selection or mixing for amplifiers or loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23—Direction finding using a sum-delay beam-former

Landscapes

  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 원격 사용자 간의 입체 음향 전달 방법에 관한 것이다.
본 발명의 제1 실시예에 따른 원격 사용자 간의 입체 음향 전달 방법은, 원격 사용자 A와 사용자 B가 위치하는 각각의 장소 A, B에 대한 음장(장소의 음향 특성) A, B를 각각 추출하여 각자의 메모리에 저장하는 단계; 사용자 A측 또는 B측으로부터 각자의 메모리에 저장된 상기 음장 A 또는 음장 B를 상대방에게 전송하는 단계; 사용자 A측 및 B측으로부터 각자의 음성 A 및 음성 B를 네트워크를 통한 대화를 통해 각각 상대방에게 전송하는 단계; 및 사용자 A측과 사용자 B측에서 각각 자신의 음성과 전송받은 상대방의 음성을 양측이 서로 동일한 음장 A 또는 음장 B를 거쳐 각자의 스피커를 통해 출력하는 단계를 포함하며, 사용자 A 및 사용자 B의 양측의 스피커에서 사용자 A 및 사용자 B의 음성이 양측이 동일한 음장 A 또는 음장 B를 거쳐 출력되게 함으로써 사용자 A와 사용자 B가 각각 자신과 상대방의 음성을 서로 동일한 장소에서 듣는 효과를 받게 하여 사용자 A와 사용자 B가 동일한 공간에서 대화를 하고 있다고 인식되도록 한다.
이와 같은 본 발명에 의하면, 원격의 공간에서 복수의 사용자가 대화할 경우 공간감과 방향성을 지원함으로써 각각의 사용자가 하나의 공간에서 함께 대화하는 것과 같은 공존감을 느낄 수 있다.

Description

원격 사용자 간의 입체 음향 전달 방법{Method for transferring stereophonic sound between users far away from each other}
본 발명은 입체 음향 전달 방법에 관한 것으로서, 더 상세하게는 원격의 공간에서 복수의 사용자가 대화할 경우 각각의 사용자가 하나의 공간에서 함께 대화하는 것과 같은 공존감을 느낄 수 있도록 하는 원격 사용자 간의 입체 음향 전달 방법에 관한 것이다.
일반적으로, 네트워크로 연결되어 있는 서로 다른 두 곳 이상의 위치에서 복수의 사용자가 대화를 하는 경우, 각각의 위치에 설치된 마이크로 입력된 각 장소의 음향이 상대방에게 전달된다. 이때, 이와 같은 음향은 마이크가 배치되어 있는 환경에 영향을 받는다. 예를 들면, 동굴 안에서 이야기 하는 경우에는 음향이 울리게 되는 것처럼 사무실, 콘서트 홀 등과 같이 이야기 하는 곳의 물리적인 구조에 따라 음향은 다르게 나타난다. 이러한 경우에는 각 사용자는 자신들이 속해 있는 공간에서 발생한 음성을 전달하게 된다. 즉, 도 1에 도시된 바와 같이, 사용자 A는 사용자 B가 있는 장소 B에서 발생한 음성 B를 듣게 됨과 동시에 장소 A에서 발생한 음성 A를 통해 자신의 목소리를 듣게 된다. 동일한 원리로 사용자 B는 사용자 A가 있는 장소 A에서 발생한 음성 A를 듣게 됨과 동시에 장소 B에서 발생한 음성 B를 통해 자신의 목소리를 듣게 된다. 이와 같이 사용자 A와 사용자 B는 서로 다른 환경에서 생성된 음성을 듣게 됨으로써, 동일한 공간에서 함께 있는 공존감을 느끼지 못하게 된다.
한편, 한국 공개특허 제10-2013-0109615호에는 기준 마이크를 포함하는 다수의 마이크로부터 획득된 다채널 음성 신호를 수신하고, 그 수신된 다채널 음성 신호에 근거하여 음원의 방향을 추정하며, 다채널 음성 신호 중에서 선택된 적어도 하나의 음성 신호와 음원의 방향에 따라 결정된 다수의 HRTF(Head Related Transfer Function) 값에 근거하여 다수의 가상 음원을 생성하고, 다수의 가상 음원을 평균하여 가상 입체 음향을 생성하는 가상 입체 음향 생성 방법이 개시되어 있다.
이상과 같은 종래 가상 입체 음향 생성 방법은 다채널 음성 신호 중 적어도 하나의 음성 신호와 음원 방향에 따라 결정된 다수의 HRTF 값을 합성하여 다수의 가상 음원을 생성하고, 다수의 가상 음원에 근거하여 가상 입체 음향을 생성하므로, 사용자마다 느끼는 현실감과 방향성에 대한 오차를 줄일 수 있다. 그러나, 이러한 가상 입체 음향 생성 방식에서도 서로 다른 두 곳의 사용자 A, B가 네트워크를 통해 대화를 하는 경우, 마찬가지로 서로 다른 환경에서 생성된 음성을 듣게 되며, 따라서 동일한 공간에서 함께 있는 공존감을 역시 느끼지 못하게 된다.
한국 공개특허 제10-2013-0109615호(2013.10.08. 공개) 한국 등록특허 제10-1109038호(2012.01.31. 공고)
본 발명은 상기와 같은 사항을 감안하여 창출된 것으로서, 원격의 공간에서 복수의 사용자가 대화할 경우 공간감과 방향성을 지원함으로써 각각의 사용자가 하나의 공간에서 함께 대화하는 것과 같은 공존감을 느낄 수 있도록 하는 원격 사용자 간의 입체 음향 전달 방법을 제공함에 그 목적이 있다.
상기의 목적을 달성하기 위하여 본 발명의 제1 실시예에 따른 원격 사용자 간의 입체 음향 전달 방법은, 원격 사용자 간의 입체 음향 전달 방법으로서, a) 상기 원격 사용자 A와 사용자 B가 위치하는 각각의 장소 A, B에 대한 음장(장소의 음향 특성) A, B를 각각 추출하여 각자의 메모리에 저장하는 단계; b) 상기 사용자 A측 또는 B측으로부터 각자의 메모리에 저장된 상기 음장 A 또는 음장 B를 상대방에게 전송하는 단계; c) 상기 사용자 A측 및 B측으로부터 각자의 음성 A 및 음성 B를 네트워크를 통한 대화를 통해 각각 상대방에게 전송하는 단계; 및 d) 상기 사용자 A측과 사용자 B측에서 각각 자신의 음성과 전송받은 상대방의 음성을 양측이 서로 동일한 음장 A 또는 음장 B를 거쳐 각자의 스피커를 통해 출력하는 단계를 포함하며,
상기 사용자 A 및 사용자 B의 양측의 스피커에서 사용자 A 및 사용자 B의 음성이 양측이 동일한 음장 A 또는 음장 B를 거쳐 출력되게 함으로써 사용자 A와 사용자 B가 각각 자신과 상대방의 음성을 서로 동일한 장소에서 듣는 효과를 받게 하여 사용자 A와 사용자 B가 동일한 공간에서 대화를 하고 있다고 인식되도록 하는 점에 그 특징이 있다.
여기서, 상기 단계 a)에서 장소 A, B에 대한 각 음장(장소의 음향 특성) A, B의 추출은 특수한 음향을 발생시켜 마이크를 통해 들어오는 응답 음향을 음향분석기를 통해 분석하여 공간의 형상에 따른 음향의 반향 특성을 구함으로써 이루어질 수 있다.
또한, 상기 단계 d)에서 상기 사용자 A측과 사용자 B측에서 각각 자신의 음성과 전송받은 상대방의 음성을 양측이 서로 동일한 음장 A 또는 음장 B를 거쳐 각자의 스피커를 통해 출력하는 과정에 있어서, 전송받은 상대방의 음성에 대응되는 마이크의 위치 정보와 음향의 크기를 분석함으로써 상대방의 음성 방향에 대한 각도를 계산하는 단계를 더 포함할 수 있다.
또한, 상기 음성 방향에 대한 각도를 계산한 후, 출력 음향에 방향성 필터를 적용함으로써 원격의 상대방 사용자의 대화하는 위치를 추정하는 단계를 더 포함할 수 있다.
이때, 3인 이상의 원격 사용자들이 네트워크를 통해 대화할 경우, 상기 음성 방향에 대한 각도를 계산한 후, 출력 음향에 방향성 필터를 적용하기 전에 음성 방향의 각도를 사용자가 배치된 위치에 따라 변환해주는 단계를 더 포함할 수 있다.
또한, 상기의 목적을 달성하기 위하여 본 발명의 제2 실시예에 따른 원격 사용자 간의 입체 음향 전달 방법은, 원격 사용자 간의 입체 음향 전달 방법으로서, a) 상기 원격 사용자 A와 사용자 B가 위치하는 각각의 장소 A, B에 대한 음장 A, B가 아닌, 적어도 하나의 가상의 장소 C에 대한 음장 C를 생성하여 메모리에 저장하는 단계; b) 상기 사용자 A측 및 B측으로부터 각자의 음성 A 및 음성 B를 네트워크를 통한 대화를 통해 각각 상대방에게 전송하는 단계; 및 c) 상기 사용자 A측과 사용자 B측에서 각각 자신의 음성과 상대방의 음성을 양측이 서로 동일한 상기 음장 C를 거쳐 각자의 스피커를 통해 출력하는 단계를 포함하며,
상기 사용자 A 및 사용자 B의 양측의 스피커에서 사용자 A 및 사용자 B의 음성이 양측이 동일한 음장 C를 거쳐 출력되게 함으로써 사용자 A와 사용자 B가 각각 자신과 상대방의 음성을 서로 동일한 장소에서 듣는 효과를 받게 하여 사용자 A와 사용자 B가 동일한 공간에서 대화를 하고 있다고 인식되도록 하는 점에 그 특징이 있다.
여기서, 상기 단계 c)에서 상기 사용자 A측과 사용자 B측에서 각각 자신의 음성과 전송받은 상대방의 음성을 양측이 서로 동일한 상기 음장 C를 거쳐 각자의 스피커를 통해 출력하는 과정에 있어서, 전송받은 상대방의 음성에 대응되는 마이크의 위치 정보와 음향의 크기를 분석함으로써 상대방의 음성 방향에 대한 각도를 계산하는 단계를 더 포함할 수 있다.
또한, 상기 음성 방향에 대한 각도를 계산한 후, 출력 음향에 방향성 필터를 적용함으로써 원격의 상대방 사용자의 대화하는 위치를 추정하는 단계를 더 포함할 수 있다.
이때, 3인 이상의 원격 사용자들이 네트워크를 통해 대화할 경우, 상기 음성 방향에 대한 각도를 계산한 후, 출력 음향에 방향성 필터를 적용하기 전에 음성 방향의 각도를 사용자가 배치된 위치에 따라 변환해주는 단계를 더 포함할 수 있다.
이와 같은 본 발명에 의하면, 원격의 공간에서 복수의 사용자가 대화할 경우 공간감과 방향성을 지원함으로써 각각의 사용자가 하나의 공간에서 함께 대화하는 것과 같은 공존감을 느낄 수 있다.
도 1은 서로 다른 장소에 위치하는 사용자 A, B가 서로 다른 환경에서 생성된 음성을 각각 듣게 되는 상황을 도식적으로 설명하는 도면이다.
도 2는 본 발명의 제1 실시예에 따른 원격 사용자 간의 입체 음향 전달 방법의 실행 과정을 나타낸 흐름도이다.
도 3은 본 발명의 제1 실시예에 따라 서로 다른 장소 A, B에 원격 위치하는 사용자 A, B 간에 음장 A를 통해 입체 음향을 전달하는 메커니즘을 나타낸 도면이다.
도 4는 본 발명에 따른 방법에 있어서, 음성 방향 각도 계산 후, 방향성 필터를 적용하여 원격 사용자의 대화하는 위치를 추정하는 과정을 나타낸 도면이다.
도 5는 본 발명에 따른 방법에 있어서, 3인 이상의 원격 사용자들이 대화할 경우, 음성 방향의 각도를 사용자의 배치 위치에 따라 변환해주는 과정을 나타낸 도면이다.
도 6은 본 발명의 제2 실시예에 따른 원격 사용자 간의 입체 음향 전달 방법의 실행 과정을 나타낸 흐름도이다.
도 7은 본 발명의 제2 실시예에 따라 서로 다른 장소 A, B에 원격 위치하는 사용자 A, B 간에 음장 C를 통해 입체 음향을 전달하는 메커니즘을 나타낸 도면이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되지 말아야 하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
이하 첨부된 도면을 참조하여 본 발명의 실시 예를 상세히 설명한다.
도 2는 본 발명의 제1 실시예에 따른 원격 사용자 간의 입체 음향 전달 방법의 실행 과정을 나타낸 흐름도이고, 도 3은 본 발명의 제1 실시예에 따라 서로 다른 장소 A, B에 각각 원격 위치하는 사용자 A, B 간에 음장 A를 통해 입체 음향을 전달하는 메커니즘을 나타낸 도면이다.
도 2 및 도 3을 참조하면, 본 발명의 제1 실시예에 따른 원격 사용자 간의 입체 음향 전달 방법은, 서로 다른 장소 A, B에 각각 위치하는 원격 사용자 A, B 간의 입체 음향 전달 방법으로서, 우선 원격 사용자 A와 사용자 B가 위치하는 각각의 장소 A, B에 대한 음장(장소의 음향 특성) A, B를 각각 추출하여 각자의 메모리에 저장한다(단계 S201). 여기서, 장소 A, B에 대한 각 음장(장소의 음향 특성) A, B의 추출은 특수한 음향을 발생시켜 마이크를 통해 들어오는 응답 음향을 음향분석기를 통해 분석하여 공간의 형상에 따른 음향의 반향 특성을 구함으로써 이루어질 수 있다.
이와 관련하여 부연 설명해 보면, 특정한 장소의 음향 특성을 추출하기 위한 하나의 방법으로서 특수한 음향(예를 들면, 특정 기계음 또는 박수)을 발생시키면 마이크를 통하여 응답 음향이 들어오게 온다. 이 응답 음향을 음향분석기 등에 의해 분석하면 공간의 모양(형상)에 따른 음향의 반향 등의 특성을 구할 수가 있으며, 이러한 음향 공간 특성을 음장이라고 할 수 있다. 이와 같이 추출한 음향 공간 특성(즉, 음장)을 바로 사용할 수도 있고, 다수개의 음장 데이터를 만들어 놓고 특수한 음향을 발생시켜 나오는 응답 특성과 가장 비슷한 음장 데이터를 매칭시켜 사용할 수도 있다.
이렇게 하여 각각의 장소 A, B에 대한 음장 A, B의 추출이 완료되면, 상기 사용자 A측 또는 B측으로부터 각자의 메모리에 저장된 상기 음장 A 또는 음장 B를 상대방에게 전송한다(단계 S202). 여기서, 이와 같이 음장 A, B를 상대방에게 전송함에 있어서, 음장 A, B를 양측에서 동시에 전송(즉, 사용자 A는 음장 A를, 사용자 B는 음장 B를 동시에 전송)할 수도 있고, 일정 시간 차를 두고 전송할 수도 있다. 또한, 어느 일측(예컨대, 사용자 A)의 음장(음장 A)이 상대방에게 전송되면, 그 음장(음장 A)을 수신한 상대방(예컨대, 사용자 B)에서는 자신 측에서 생성된 음장(음장 B)을 상대방(사용자 A)에게 전송하지 않을 수도 있다.
음장 A 또는 음장 B의 상대방으로의 전송이 완료되면, 사용자 A측 및 B측으로부터 각자의 음성 A 및 음성 B를 네트워크를 통한 대화를 통해 각각 상대방에게 전송한다(단계 S203).
그런 후, 사용자 A측과 사용자 B측에서 각각 자신의 음성과 전송받은 상대방의 음성을 양측이 서로 동일한 음장 A 또는 음장 B를 거쳐 각자의 스피커를 통해 출력한다(단계 S204). 그러면, 사용자 A와 사용자 B는 각각 자신의 음성과 상대방의 음성을 서로 동일한 음장 A 또는 음장 B를 거친 음향으로 듣게 된다. 도 3은 사용자 A와 사용자 B 간에 공통으로 사용되는 음장으로서, 음장 A가 적용된 예를 보여주는 것으로서, 도 3에 도시된 바와 같이, 사용자 A는 자신의 음성 A와 상대방인 사용자 B의 음성 B를 공통의 음장 A를 통해 듣게 되고, 마찬가지로 사용자 B는 자신의 음성 B와 상대방인 사용자 A의 음성 A를 공통의 음장 A를 통해 듣게 된다. 여기서, 사용자 A가 사용자 B의 음성 B를 음장 A를 통해 듣게 된다는 것에 대해 부연 설명해 보기로 한다.
음장이라고 하는 것은 음성을 나타내는 일종의 필터라고 할 수 있다. 전술한 바와 같이 음장은 예를 들면, 콘서트홀, 사무실, 동굴과 같은 공간의 특성을 지니고 있다. 음성을 나타내는 음향 데이터를 음장이라는 필터를 거치게 되면, 그 결과로 얻어지는 음향 데이터는 음장이 나타내는 공간의 특성을 지니게 되어 음장이 표현하고 있는 공간에서 음향이 발생한 것과 같은 효과가 나타나게 된다. 사용자 A는 사용자 B의 음성 B를 음장 A를 통해 바로 이와 같은 효과를 느끼면서 듣게 되는 것이다.
이상과 같이 본 발명의 원격 사용자 간의 입체 음향 전달 방법은 상기 사용자 A 및 사용자 B의 양측의 스피커에서 사용자 A 및 사용자 B의 음성이 양측이 동일한 음장 A 또는 음장 B를 거쳐 출력되게 함으로써, 사용자 A와 사용자 B는 각각 자신과 상대방의 음성을 서로 동일한 장소에서 듣는 효과를 받게 되며, 이에 따라 사용자 A와 사용자 B는 동일한 공간에서 대화를 하고 있는 것으로 각각 인식하게 된다.
여기서, 상기 단계 S204에서 상기 사용자 A측과 사용자 B측에서 각각 자신의 음성과 전송받은 상대방의 음성을 양측이 서로 동일한 음장 A 또는 음장 B를 거쳐 각자의 스피커를 통해 출력하는 과정에 있어서, 전송받은 상대방의 음성에 대응되는 마이크의 위치 정보와 음향의 크기를 분석함으로써, 도 4에 도시된 바와 같이, 상대방의 음성 방향에 대한 각도를 계산하는 단계를 더 포함할 수 있다.
또한, 도 4에 도시된 바와 같이, 상기 음성 방향에 대한 각도를 계산한 후, 출력 음향에 방향성 필터를 적용함으로써 원격의 상대방 사용자의 대화하는 위치를 추정하는 단계를 더 포함할 수 있다. 여기서, 이상과 같은 음성 방향에 대한 각도 계산 및 방향성 필터 적용과 관련하여 부연 설명을 해보기로 한다.
사용자 A와 사용자 B가 네트워크를 통해 대화할 때, 네트워크로부터 전달된 음성은 마이크의 위치 정보와 음향의 크기를 분석함으로써 원격 사용자(예컨대, 사용자 A)의 방향을 측정할 수 있게 된다. 또한, 도 4와 같이 출력 음향에 방향성 필터를 적용함으로써 음향을 듣는 사용자는 원격의 사용자가 대화하는 위치를 추정할 수 있게 된다. 예를 들면, 여러 개의 마이크가 여러 방향으로 배치되어 있는 경우, 2개 이상의 마이크를 통하여 음향이 발생하는 음원을 알아낼 수 있다. 예컨대, 마이크가 왼쪽, 오른쪽에만 있을 경우에는 왼쪽으로 들어오는 소리의 크기와 오른쪽으로 들어오는 소리의 크기를 통하여 음향이 발생하는 방향을 추측할 수 있다. 이러한 마이크들의 개수와 마이크들의 방향에 따라 사용자가 대화하는 위치를 추정할 수 있다.
이상과 같이 사용자의 방향(각도)이 결정되면, 사용자의 방향성을 표현할 수 있는 방향성 필터에 사용자의 방향을 적용하고, 실제 음원 데이터를 각도 특성이 적용된 필터에 통과시키면, 출력 음향은 방향성이 적용된 음향 데이터를 갖게 되며, 이 음향을 듣는 사용자는 특정한 방향에서 발생한 음향으로 인식하게 된다.
한편, 3인 이상의 원격 사용자들이 네트워크를 통해 대화할 경우, 상기 음성 방향에 대한 각도를 계산한 후, 출력 음향에 방향성 필터를 적용하기 전에, 도 5에 도시된 바와 같이, 음성 방향의 각도를 사용자가 배치된 위치에 따라 변환해주는 단계를 더 포함할 수 있다. 이와 관련하여 부연 설명해 보기로 한다.
원격 사용자의 위치 추정을 통한 데이터는 주로 1:1의 상황에서 사용자의 방향을 측정하고 적용하는 단계로 되어 있다. 따라서, 3명 이상의 원격 사용자들이 동시에 적용되었을 경우에는 정확한 방향성을 전달할 수 없게 된다. 이를 해결하기 위해서는 사용자들이 하나의 공간에 포함되어 있는 경우 가상으로 사용자들의 위치를 배치해야 한다. 그리고, 이와 같이 배치하는 경우에는 분석된 음향(음성) 데이터를 방향성 필터를 적용하기 전에 음성 방향의 각도를 사용자가 배치된 위치에 따라 변환해 주어야 한다.
즉, 도 5에 도시된 바와 같이, 사용자들의 위치는 월드(world) 좌표계와 그 좌표계를 표현하는 매트릭스 MW와, 각각의 사용자(user) 좌표계와 그 좌표계를 표현하는 MU를 이용하여 공간에 배치된다. 원격의 사용자 B에 도착되는 사용자 A의 음성은 마이크를 중심으로 하나의 방향성을 갖게 되며, 이러한 방향성을 공간 배치에 부합되게 적용하기 위해서는 마이크를 기준으로 하는 사용자 좌표계에서 만들어진 각도를 월드 좌표계에 적용시켜 변경한 후, 방향성 필터를 적용해야 가상 공간의 방향성을 정확하게 전달할 수 있게 되는 것이다.
여기서, 월드 좌표계는 컴퓨터 그래픽에서 응용 프로그램이 이용되는 장치로서, 독립적인 좌표계이다. 이는 실제 그래픽으로 묘사하고자 하는 물체의 크기를 나타내는 좌표계로 응용 프로그램이 임의로 선택할 수 있다. 또한, 사용자 좌표계는 도형 처리에 있어서 사용자가 정의하는 좌표이며, 장치와는 무관계한 좌표계로 표현된다. 이상과 같은 월드 좌표계와 사용자 좌표계는 컴퓨터 그래픽 분야 등에서 널리 사용되는 좌표계로서 이에 대한 상세한 설명은 생략한다.
도 6은 본 발명의 제2 실시예에 따른 원격 사용자 간의 입체 음향 전달 방법의 실행 과정을 나타낸 흐름도이고, 도 7은 본 발명의 제2 실시예에 따라 서로 다른 장소 A, B에 각각 원격 위치하는 사용자 A, B 간에 음장 C를 통해 입체 음향을 전달하는 메커니즘을 나타낸 도면이다.
이 제2 실시예는 위에서 설명한 본 발명의 제1 실시예에서의 입체 음향 전달 메커니즘과 기본적으로 그 원리는 동일하다. 다만, 제1 실시예의 경우는 사용자 A, B가 위치하는 그 실제 장소의 음장을 생성하여 적용하는 반면에, 이 제2 실시예의 경우는 사용자 A, B가 위치하는 실제 장소와는 관련없는 가상의 제3의 장소에서 생성한 음장을 적용한다는 점에서 차이가 있다.
도 6 및 도 7을 참조하면, 본 발명의 제2 실시예에 따른 원격 사용자 간의 입체 음향 전달 방법은, 원격 사용자 A, B 간의 입체 음향 전달 방법으로서, 원격 사용자 A와 사용자 B가 위치하는 각각의 장소 A, B에 대한 음장 A, B가 아닌, 적어도 하나의 가상의 장소 C에 대한 음장 C를 생성하여 메모리에 저장한다(단계 S601).
그런 후, 상기 사용자 A측 및 B측으로부터 각자의 음성 A 및 음성 B를 네트워크를 통한 대화를 통해 각각 상대방에게 전송한다(단계 S602).
그런 다음, 상기 사용자 A측과 사용자 B측에서 각각 자신의 음성과 상대방의 음성을 양측이 서로 동일한 상기 음장 C를 거쳐 각자의 스피커를 통해 출력한다(단계 S603).
이와 같은 본 발명의 제2 실시예에 따른 원격 사용자 간의 입체 음향 전달 방법은 상기 사용자 A 및 사용자 B의 양측의 스피커에서 사용자 A 및 사용자 B의 음성이 양측이 동일한 음장 C를 거쳐 출력되게 함으로써, 사용자 A와 사용자 B는 각각 자신과 상대방의 음성을 서로 동일한 장소(가상의 장소)에서 듣는 효과를 받게 되며, 이에 따라 사용자 A와 사용자 B는 동일한 공간에서 대화를 하고 있다고 인식하게 된다.
여기서, 상기 단계 S603에서 상기 사용자 A측과 사용자 B측에서 각각 자신의 음성과 전송받은 상대방의 음성을 양측이 서로 동일한 상기 음장 C를 거쳐 각자의 스피커를 통해 출력하는 과정에 있어서, 전술한 제1 실시예의 경우와 마찬가지로 전송받은 상대방의 음성에 대응되는 마이크의 위치 정보와 음향의 크기를 분석함으로써 상대방의 음성 방향에 대한 각도를 계산하는 단계를 더 포함할 수 있다.
또한, 제1 실시예의 경우와 마찬가지로 상기 음성 방향에 대한 각도를 계산한 후, 출력 음향에 방향성 필터를 적용함으로써 원격의 상대방 사용자의 대화하는 위치를 추정하는 단계를 더 포함할 수 있다.
또한, 제1 실시예의 경우와 마찬가지로 3인 이상의 원격 사용자들이 네트워크를 통해 대화할 경우, 상기 음성 방향에 대한 각도를 계산한 후, 출력 음향에 방향성 필터를 적용하기 전에 음성 방향의 각도를 사용자가 배치된 위치에 따라 변환해주는 단계를 더 포함할 수 있다.
이상의 설명에서와 같이, 본 발명에 따른 원격 사용자 간의 입체 음향 전달 방법은 원격의 공간에서 복수의 사용자가 대화할 경우 공간감과 방향성을 함께 지원함으로써 각각의 사용자가 하나의 공간에서 함께 대화하는 것과 같은 공존감을 느낄 수 있는 장점이 있다.
이상, 바람직한 실시 예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (9)

  1. 원격 사용자 간의 입체 음향 전달 방법으로서,
    a) 상기 원격 사용자 A와 사용자 B가 위치하는 각각의 장소 A, B에 대한 음장(장소의 음향 특성) A, B를 각각 추출하여 각자의 메모리에 저장하는 단계;
    b) 상기 사용자 A측 또는 B측으로부터 각자의 메모리에 저장된 상기 음장 A 또는 음장 B를 상대방에게 전송하는 단계;
    c) 상기 사용자 A측 및 B측으로부터 각자의 음성 A 및 음성 B를 네트워크를 통한 대화를 통해 각각 상대방에게 전송하는 단계; 및
    d) 상기 사용자 A측과 사용자 B측에서 각각 자신의 음성과 전송받은 상대방의 음성을 양측이 서로 동일한 음장 A 또는 음장 B를 거쳐 각자의 스피커를 통해 출력하는 단계를 포함하며,
    상기 사용자 A 및 사용자 B의 양측의 스피커에서 사용자 A 및 사용자 B의 음성이 양측이 동일한 음장 A 또는 음장 B를 거쳐 출력되게 함으로써 사용자 A와 사용자 B가 각각 자신과 상대방의 음성을 서로 동일한 장소에서 듣는 효과를 받게 하여 사용자 A와 사용자 B가 동일한 공간에서 대화를 하고 있다고 인식되도록 하고,
    상기 단계 d)에서 상기 사용자 A측과 사용자 B측에서 각각 자신의 음성과 전송받은 상대방의 음성을 양측이 서로 동일한 음장 A 또는 음장 B를 거쳐 각자의 스피커를 통해 출력하는 과정에 있어서, 전송받은 상대방의 음성에 대응되는 마이크의 위치 정보와 음향의 크기를 분석함으로써 상대방의 음성 방향에 대한 각도를 계산하며,
    상기 음성 방향에 대한 각도를 계산한 후, 출력 음향에 방향성 필터를 적용함으로써 원격의 상대방 사용자의 대화하는 위치를 추정하는 것을 특징으로 하는 원격 사용자 간의 입체 음향 전달 방법.
  2. 제1항에 있어서,
    상기 단계 a)에서 장소 A, B에 대한 각 음장(장소의 음향 특성) A, B의 추출은 특수한 음향을 발생시켜 마이크를 통해 들어오는 응답 음향을 음향분석기를 통해 분석하여 공간의 형상에 따른 음향의 반향 특성을 구함으로써 이루어지는 것을 특징으로 하는 원격 사용자 간의 입체 음향 전달 방법.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    3인 이상의 원격 사용자들이 네트워크를 통해 대화할 경우, 상기 음성 방향에 대한 각도를 계산한 후, 출력 음향에 방향성 필터를 적용하기 전에 음성 방향의 각도를 사용자가 배치된 위치에 따라 변환해주는 단계를 더 포함하는 것을 특징으로 하는 원격 사용자 간의 입체 음향 전달 방법.
  6. 원격 사용자 간의 입체 음향 전달 방법으로서,
    a) 상기 원격 사용자 A와 사용자 B가 위치하는 각각의 장소 A, B에 대한 음장 A, B가 아닌, 적어도 하나의 가상의 장소 C에 대한 음장 C를 생성하여 메모리에 저장하는 단계;
    b) 상기 사용자 A측 및 B측으로부터 각자의 음성 A 및 음성 B를 네트워크를 통한 대화를 통해 각각 상대방에게 전송하는 단계; 및
    c) 상기 사용자 A측과 사용자 B측에서 각각 자신의 음성과 상대방의 음성을 양측이 서로 동일한 상기 음장 C를 거쳐 각자의 스피커를 통해 출력하는 단계를 포함하며,
    상기 사용자 A 및 사용자 B의 양측의 스피커에서 사용자 A 및 사용자 B의 음성이 양측이 동일한 음장 C를 거쳐 출력되게 함으로써 사용자 A와 사용자 B가 각각 자신과 상대방의 음성을 서로 동일한 장소에서 듣는 효과를 받게 하여 사용자 A와 사용자 B가 동일한 공간에서 대화를 하고 있다고 인식되도록 하고,
    상기 단계 c)에서 상기 사용자 A측과 사용자 B측에서 각각 자신의 음성과 전송받은 상대방의 음성을 양측이 서로 동일한 상기 음장 C를 거쳐 각자의 스피커를 통해 출력하는 과정에 있어서, 전송받은 상대방의 음성에 대응되는 마이크의 위치 정보와 음향의 크기를 분석함으로써 상대방의 음성 방향에 대한 각도를 계산하며,
    상기 음성 방향에 대한 각도를 계산한 후, 출력 음향에 방향성 필터를 적용함으로써 원격의 상대방 사용자의 대화하는 위치를 추정하는 것을 특징으로 하는 원격 사용자 간의 입체 음향 전달 방법.
  7. 삭제
  8. 삭제
  9. 제6항에 있어서,
    3인 이상의 원격 사용자들이 네트워크를 통해 대화할 경우, 상기 음성 방향에 대한 각도를 계산한 후, 출력 음향에 방향성 필터를 적용하기 전에 음성 방향의 각도를 사용자가 배치된 위치에 따라 변환해주는 단계를 더 포함하는 것을 특징으로 하는 원격 사용자 간의 입체 음향 전달 방법.
KR1020150148773A 2015-10-26 2015-10-26 원격 사용자 간의 입체 음향 전달 방법 KR101677502B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150148773A KR101677502B1 (ko) 2015-10-26 2015-10-26 원격 사용자 간의 입체 음향 전달 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150148773A KR101677502B1 (ko) 2015-10-26 2015-10-26 원격 사용자 간의 입체 음향 전달 방법

Publications (1)

Publication Number Publication Date
KR101677502B1 true KR101677502B1 (ko) 2016-11-18

Family

ID=57537676

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150148773A KR101677502B1 (ko) 2015-10-26 2015-10-26 원격 사용자 간의 입체 음향 전달 방법

Country Status (1)

Country Link
KR (1) KR101677502B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06335096A (ja) * 1993-05-21 1994-12-02 Sony Corp 音場再生装置
JPH09261351A (ja) * 1996-03-22 1997-10-03 Nippon Telegr & Teleph Corp <Ntt> 音声電話会議装置
JP2002191098A (ja) * 2000-12-22 2002-07-05 Yamaha Corp 収音再生方法およびその装置
JP2008227773A (ja) * 2007-03-09 2008-09-25 Advanced Telecommunication Research Institute International 音響空間共有装置
KR101109038B1 (ko) 2010-12-31 2012-01-31 한국과학기술원 다채널 스피커와 헤드 트랙커를 이용한 3차원 입체 음향 재생 시스템 및 방법
KR20130109615A (ko) 2012-03-28 2013-10-08 삼성전자주식회사 가상 입체 음향 생성 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06335096A (ja) * 1993-05-21 1994-12-02 Sony Corp 音場再生装置
JPH09261351A (ja) * 1996-03-22 1997-10-03 Nippon Telegr & Teleph Corp <Ntt> 音声電話会議装置
JP2002191098A (ja) * 2000-12-22 2002-07-05 Yamaha Corp 収音再生方法およびその装置
JP2008227773A (ja) * 2007-03-09 2008-09-25 Advanced Telecommunication Research Institute International 音響空間共有装置
KR101109038B1 (ko) 2010-12-31 2012-01-31 한국과학기술원 다채널 스피커와 헤드 트랙커를 이용한 3차원 입체 음향 재생 시스템 및 방법
KR20130109615A (ko) 2012-03-28 2013-10-08 삼성전자주식회사 가상 입체 음향 생성 방법 및 장치

Similar Documents

Publication Publication Date Title
US11991315B2 (en) Audio conferencing using a distributed array of smartphones
US11770666B2 (en) Method of rendering one or more captured audio soundfields to a listener
JP6149818B2 (ja) 収音再生システム、収音再生装置、収音再生方法、収音再生プログラム、収音システム及び再生システム
CN107852563B (zh) 双耳音频再现
US8073125B2 (en) Spatial audio conferencing
US8670583B2 (en) Hearing aid system
JP6086923B2 (ja) 幾何学配置に基づく空間オーディオ符号化ストリームを統合する装置および方法
US20150189455A1 (en) Transformation of multiple sound fields to generate a transformed reproduced sound field including modified reproductions of the multiple sound fields
US20110026745A1 (en) Distributed signal processing of immersive three-dimensional sound for audio conferences
US9769585B1 (en) Positioning surround sound for virtual acoustic presence
EP3313099A1 (en) Apparatus and method for processing 3d audio signal based on hrtf, and highly realistic multimedia playing system using the same
KR20110099750A (ko) 스피치 캡처링 및 스피치 렌더링
US8155358B2 (en) Method of simultaneously establishing the call connection among multi-users using virtual sound field and computer-readable recording medium for implementing the same
GB2572368A (en) Spatial audio capture
JP2020088516A (ja) テレビ会議システム
EP2222092A1 (en) Speaker array apparatus and signal processing method
US6707918B1 (en) Formulation of complex room impulse responses from 3-D audio information
JP2006279492A (ja) 電話会議システム
KR101677502B1 (ko) 원격 사용자 간의 입체 음향 전달 방법
JPH05168097A (ja) 頭外音像定位ステレオ受聴器受聴方法
CN111201784B (zh) 通信系统、用于通信的方法和视频会议系统
KR101111734B1 (ko) 복수 개의 음원을 구분하여 음향을 출력하는 방법 및 장치
CN116057928A (zh) 信息处理装置、信息处理终端、信息处理方法和程序
JP6972858B2 (ja) 音響処理装置、プログラム及び方法
JP2588793B2 (ja) 会議通話装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant