KR101232216B1 - 양방향 동시대화 방법 및 양방향 동시대화가 가능한 화상회의시스템 - Google Patents

양방향 동시대화 방법 및 양방향 동시대화가 가능한 화상회의시스템 Download PDF

Info

Publication number
KR101232216B1
KR101232216B1 KR1020100124639A KR20100124639A KR101232216B1 KR 101232216 B1 KR101232216 B1 KR 101232216B1 KR 1020100124639 A KR1020100124639 A KR 1020100124639A KR 20100124639 A KR20100124639 A KR 20100124639A KR 101232216 B1 KR101232216 B1 KR 101232216B1
Authority
KR
South Korea
Prior art keywords
signal
voice
talker
synthesized
speaker
Prior art date
Application number
KR1020100124639A
Other languages
English (en)
Other versions
KR20120063607A (ko
Inventor
이동우
이훈노
김대현
서정화
Original Assignee
주식회사 나무가
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 나무가 filed Critical 주식회사 나무가
Priority to KR1020100124639A priority Critical patent/KR101232216B1/ko
Publication of KR20120063607A publication Critical patent/KR20120063607A/ko
Application granted granted Critical
Publication of KR101232216B1 publication Critical patent/KR101232216B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G06F17/142—Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/326—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Multimedia (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Discrete Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Otolaryngology (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 일방 당사자 및 타방 당사자가 동시에 대화를 할 수 있는 양방향 동시대화가 가능한 양방향 동시대화 방법을 개시(introduce)한다. 상기 양방향 동시대화 방법은, 타방 대화자에게 일방 대화자의 음성신호를 전달하고자 할 때, 스피커로부터 출력되는 타방 대화자의 음성이 포함된 스피커출력신호가 상기 일방 대화자의 음성신호와 더불어 타방 대화자에게 전달되는 것을 방지하는 것으로서, 브로드사이드(broadside) 방식으로 배열된 복수 개의 마이크들 및 엔드파이어(end-fire) 방식으로 배열된 복수 개의 마이크들을 이용하여, 일방 대화자의 음성신호 및 상기 스피커출력신호를 수집하여 합성신호 및 피드백 신호를 생성하는 음성 & 스피커출력신호 수집단계 및 상기 피드백신호를 이용하여 상기 합성신호에 포함된 상기 스피커출력신호를 제거하여 송신신호를 생성하는 타방 대화자 음성신호 제거단계를 구비한다.

Description

양방향 동시대화 방법 및 양방향 동시대화가 가능한 화상회의시스템{Method for bidirectional talk and the image conference system using the method}
본 발명은 화상회의시스템에 관한 것으로, 특히 일방 당사자 및 타방 당사자가 동시에 대화를 할 수 있는 양방향 동시대화가 가능한 화상회의시스템에 관한 것이다.
기존의 화상회의시스템의 경우, 영상을 처리하는 카메라가 화상회의시스템의 중간에 위치하고, 카메라 양쪽에 마이크가 일렬로 배치되는 것이 일반적이었다. 이렇게 배치하는 이유는 정면이나 90°이내의 측면에서의 음성신호는 최대한 수용하고, 뒤쪽에서 입력되는 음성신호의 수용은 최소화함으로써 외부 잡음을 줄이고자 하는데 있다.
화상회의시스템의 영상신호 처리부로 TV가 사용되는 것이 일반적인데, 화상회의의 상대방의 소리가 출력되는 스피커는 TV의 전면 패널에 설치되어 있다. 즉, 스피커가 TV의 하단 또는 좌우측면에 설치된다.
화상회의시스템에 있어서, 일방 당사자 측에 설치된 마이크로폰(microphone, 이하 마이크)으로 입력되는 신호는 일방 당사자의 음성신호뿐만 아니라 스피커로부터 출력된 타방 당사자가 전송한 음성신호도 입력된다. 이 경우 상기 두 음성신호가 합쳐진 상태로 타방 당사자에게 전달된다면, 타방 당사자는 일방 당사자가 하고자 하는 말의 뜻을 알 수 없게 되는 문제점이 있다.
본 발명이 해결하고자 하는 기술적 과제는, 일방 당사자가 타방 당사자에게 음성신호를 전달할 때, 일방 당사자의 마이크로 입력된 타방 당사자의 음성신호를 제거하는 양방향 동시대화 방법을 제공하는 것에 있다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 일방 당사자가 타방 당사자에게 음성신호를 전달할 때, 일방 당사자의 마이크로 입력된 타방 당사자의 음성신호를 제거하는 양방향 동시대화가 가능한 화상회의시스템을 제공하는 것에 있다.
상기 기술적 과제를 이루기 위한 본 발명에 따른 양방향 동시대화 방법은, 타방 대화자에게 일방 대화자의 음성신호를 전달하고자 할 때, 스피커로부터 출력되는 타방 대화자의 음성이 포함된 스피커출력신호가 상기 일방 대화자의 음성신호와 더불어 타방 대화자에게 전달되는 것을 방지하는 것으로서, 브로드사이드(broadside) 방식으로 배열된 복수 개의 마이크 및 엔드파이어(end-fire) 방식으로 배열된 복수 개의 마이크를 이용하여, 일방 대화자의 음성신호 및 상기 스피커출력신호를 수집하여 합성신호 및 피드백 신호를 생성하는 음성 & 스피커출력신호 수집단계 및 상기 피드백신호를 이용하여 상기 합성신호에 포함된 상기 스피커출력신호를 제거하여 송신신호를 생성하는 타방 대화자 음성신호 제거단계를 구비한다.
상기 다른 기술적 과제를 이루기 위한 본 발명에 따른 양방향 동시대화가 가능한 화상회의시스템은, 신호수집부 및 신호처리부를 구비한다.
상기 신호수집부는 일방 대화자의 음성신호 및 타방 대화자의 음성신호가 포함된 스피커출력신호를 수집하여 합성신호 및 피드백신호를 생성하는 복수 개의 마이크를 구비한다. 상기 신호처리부는 상기 합성신호에서 상기 피드백신호를 제거하여 송신신호를 생성한다. 상기 합성신호는 상기 일방 대화자의 음성신호 및 상기 타방 대화자의 음성신호가 포함된 스피커출력신호가 합쳐진 신호이고, 상기 피드백신호는 상기 타방 대화자의 음성신호가 포함된 스피커출력신호이다.
본 발명에 따르면, 복수개의 마이크를 TV의 좌우, 상하로 브로드사이드(broadside) 방식 및 엔드파이어(end-fire) 방식으로 배치함으로써, 정면 및 측면의 화자의 음성을 수신하는데 용이하고, 스피커 신호를 파악할 수 있기 때문에 특정 방향에서 들어오는 소리에 대한 제거 작업이 가능하여 원하지 않는 주변 잡음의 영향을 최소화함으로써, TV를 이용한 원활한 화상회의시스템을 구축할 수 있다.
도 1은 본 발명에 따른 양방향 동시대화가 가능한 화상회의시스템의 블록 다이어그램이다.
도 2는 복수 개의 마이크로폰 어레이가 하나의 음원과의 거리에 차이가 나는 경우에 대하여 설명한다.
도 3은 종래의 화상회의시스템에 사용되는 TV에 배열된 마이크로폰 어레이의 실시 예를 나타낸다.
도 4는 본 발명에 따른 양방향 동시 대화가 가능한 화상회의시스템의 TV에 구현된 마이크로폰 어레이의 일실시 예를 나타낸다.
도 5 내지 도 8은 본 발명에 따른 양방향 동시 대화가 가능한 화상회의시스템의 TV에 구현된 마이크로폰 어레이의 다른 일실시 예를 나타낸다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 예시적인 실시 예를 설명하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
본 발명의 핵심 아이디어는 양방향 대화 시, 일방 대화자의 음성신호와 스피커로부터 출력되는 상대방의 음성신호가 동시에 상대방에게 전달되는 것을 방지하기 위하여,
마이크를 배열할 때 브로드사이드(broadside) 방식 및 엔드파이어(end-fire) 방식을 동시에 사용 하며,
브로드사이드(broadside) 방식으로 배열된 마이크들로 입력되는 신호로부터는 일방 대화자의 음성신호 및 스피커로부터 출력되는 상대방의 음성신호의 합성신호를 추출하고, 엔드파이어(end-fire) 방식으로 배열된 마이크들에 입력되는 신호로부터는 스피커로부터 출력되는 상대방의 음성신호인 피드백신호를 추출하며,
시간영역의 신호인 상기 합성신호 및 상기 피드백신호를 주파수 영역의 신호로 변환시킨 후,
주파수 영역에서 상기 피드백신호를 이용하여 상기 합성신호에 포함된 상대방의 음성신호를 제거하여 송신신호를 생성하고,
생성된 주파수 영역의 송신신호를 시간 영역의 음성신호로 변환하여 상대방에게 전달하는 것이다.
도 1은 본 발명에 따른 양방향 동시대화가 가능한 화상회의시스템의 블록 다이어그램이다.
도 1을 참조하면, 양방향 동시대화가 가능한 화상회의시스템(100)은, 신호수집부(110), 빔포밍 계산부(120), 신호변환부(130), 신호처리부(140) 및 역신호변환부(150)를 구비한다.
신호수집부(110)는 일방 대화자의 음성신호(음성) 및 타방 대화자의 음성신호가 포함된 스피커출력신호(스피커)를 수집하며, 제1 신호수집그룹(111) 및 제2 신호수집그룹(112)을 구비한다.
제1 신호수집그룹(111) 및 제2 신호수집그룹(112)은 일방 대화자의 음성신호 및 타방 대화자의 음성신호가 포함된 스피커출력신호를 동시에 수신하는 마이크를 구비한다. 제1 신호수집그룹(111) 및 제2 신호수집그룹(112)에 포함되는 마이크의 개수는 적어도 2개가 된다.
제1 신호수집그룹(111) 및 제2 신호수집그룹(112) 중 하나는 브로드사이드(broadside) 어레이(broadside array)방식으로 그리고 다른 하나는 엔드파이어(end-fire) 어레이(endfire array)방식으로 정렬된다.
빔포밍 계산부(120)는 제1 신호수집그룹(111) 및 제2 신호수집그룹(112)에 포함된 적어도 2개의 마이크로부터 수신되는 일정한 시간 차이가 나는 신호들에 대하여 처리하는 기능을 수행하며, 제1 빔포밍 계산기(121) 및 제2 빔포밍 계산기(122)를 구비한다.
제1 빔포밍 계산기(121)는 마이크들의 위치에 따른 신호의 도착지연시간을 계산하여 합성신호를 생성한다. 여기서 합성신호는 일방 대화자의 음성신호 및 스피커로부터 출력되는 상대방의 음성신호를 모두 포함한다.
제2 빔포밍 계산기(122)는 마이크들의 위치에 따른 신호의 도착지연시간을 계산하여 피드백신호를 생성한다. 여기서 피드백신호는 스피커로부터 출력되는 상대방의 음성신호이다.
신호변환부(130)는 빔포밍 계산부(120)로부터 출력되는 시간 도메인(time domain) 신호를 주파수 도메인(frequency domain) 신호로 각각 변환하는 기능을 수행하며, 제1 신호변환기(131) 및 제2 신호변환기(132)를 구비한다.
제1 신호변환기(131)는 빔포밍 계산부(120)로부터 출력되는 합성신호에 대하여 고속 푸리에 변환(Fast Fourier Transform, FFT)을 수행하며, 제2 신호변환기(132)는 빔포밍 계산부(120)로부터 출력되는 피드백신호에 대하여 고속 푸리에 변환을 수행한다.
신호처리부(140)는 주파수 변환된 합성신호에서 주파수 변환된 피드백신호를 제거하여, 일방 대화자의 음성신호만을 선별한다.
역신호변환부(150)는 신호처리부(140)로부터 출력되는 신호는 주파수 도메인 신호이므로 이를 전송하기 위하여 시간 도메인 신호로 변환하여 음성신호를 생성한다. 주파수 영역의 신호를 시간영역의 신호로 변환하려면, 주파수 영역의 신호에 대하여 역 고속 푸리에 변환(Inverse Fast Fourier Transform)을 수행하면 된다.
도 1에 도시된 본 발명에 따른 양방향 동시대화가 가능한 화상회의시스템(100)의 동작은 아래와 같이 설명할 수 있다.
음성신호가 마이크로 입력되면(110) 각각의 마이크의 위치에 따른 입력신호의 지연시간을 계산하여 음성신호 및 스피커신호가 포함된 합성신호와 스피커신호만 포함된 피드백신호를 생성하고(120), 시간 도메인 신호인 합성신호와 피드백신호를 주파수 도메인 신호로 변환하여 이를 스펙트럼으로 분류한 후(130), 합성신호에 포함된 스펙트럼 중 피드백신호와 동일한 스펙트럼을 제거하여 송신신호를 생성한다(140). 주파수 영역의 신호인 송신신호는 시간 영역의 신호(음성신호)로 변환한 후 전송한다(150).
화상회의를 위해 마이크를 설치하는 방식으로, 브로드사이드(broadside) 어레이 방식과 엔드파이어(end-fire) 어레이 방식이 있는데, 일반적인 TV 화상회의시스템의 경우 브로드사이드(broadside) 방식만을 사용한다. 브로드사이드(broadside) 어레이 방식은 입력신호가 마이크로폰 어레이가 배열된 방향의 수직방향에 위치하도록 하는 배열방식이고, 엔드파이어(end-fire) 어레이 방식은 마이크로폰 어레이의 연장선상에 입력신호가 위치하도록 배열하는 방식이다.
본 발명의 화상회의시스템을 구성하는 TV에는 아래와 같은 방식으로 구현시킬 수 있다.
화상회의시스템에 사용되는 TV의 스피커는, TV 패널의 하부에 설치하는 것으로 가정하면, TV의 전면에 대화자가 있는 경우, TV 패널의 상부에 브로드사이드(broadside) 어레이 방식으로 마이크를 정렬하고 TV 패널의 하부 또는 측면에 엔드파이어(end-fire) 어레이 방식으로 마이크를 정렬한다.
스피커의 위치가 측면에 있는 경우 또는 상부에 있는 경우, 엔드파이어(end-fire) 배열의 마이크를 스피커 방향으로 배치함으로써 본 발명을 구현할 수 있다.
도 2는 복수 개의 마이크로폰 어레이가 하나의 음원과의 거리에 차이가 나는 경우에 대하여 설명한다.
도 2를 참조하면, 복수 개의 마이크로폰 들 사이의 거리는 d로 표시되어 있고, 음성신호가 복수 개의 마이크로폰에 입사되는 각도는 θ 그리고 음성신호가 복수 개의 마이크로폰에 도착하는데 따른 지연거리를 x로 가정하였다.
지연거리(x)는 수학식 1과 같이 표시할 수 있다.
Figure 112010080719572-pat00001
수학식 1로부터 지연시간(τ)을 구하면 수학식 2와 같이 표시할 수 있다.
Figure 112010080719572-pat00002
여기서 c는 음속(sound velocity)이다. 수학식 2를 확장하면 n(n은 자연수)번째 마이크의 지연시간을 계산하면 수학식 3과 같다.
Figure 112010080719572-pat00003
일정한 지연시간을 갖고
Figure 112010080719572-pat00004
번째 마이크에 입력되는 수신 음성 신호를
Figure 112010080719572-pat00005
라 하고, 각각의 마이크의 음성 신호를 합한 출력신호를
Figure 112010080719572-pat00006
라 했을 때,
Figure 112010080719572-pat00007
는 수학식 4와 같이 표현할 수 있다.
Figure 112010080719572-pat00008
M은 어레이에 설치된 마이크의 개수를 나타내며, 음성신호가 0˚ 및 90˚ 사이에서 들어오는 소리를 검출한다고 가정한다.
Figure 112010080719572-pat00009
를 주파수 영역으로 변환한 식(
Figure 112010080719572-pat00010
)은 수학식 5와 같이 표시할 수 있다.
Figure 112010080719572-pat00011
이하의 수학식 6을 이용하면 신호처리부(140)로부터 출력되는 주파수 도메인 신호를 시간 도메인 신호로 변환하여 음성신호를 생성할 수 있다.
Figure 112010080719572-pat00012
한편, 신호처리부(140)에서는 파워 차감법에 의한 계산이 이루어지며, 파워 차감법에 대해 간략히 소개하도록 한다.
파워 차감법은 음성향상 방법 중 가장 단순한 형태를 가지고 있다. 음성신호
Figure 112010080719572-pat00013
에 상관관계를 가지지 않는 잡음
Figure 112010080719572-pat00014
가 더해졌을 때, 잡음 섞인 신호
Figure 112010080719572-pat00015
는 시간 t를 기준으로 다음과 같이 표현할 수 있다.
Figure 112010080719572-pat00016
신호를 시간 공간에서 분석하기에는 신호가 가지고 있는 정보가 부족할 뿐만 아니라, 신호의 각 샘플 사이에 상관관계가 존재하여 신호처리에 적절하지 않다.
그렇기 때문에, 상관관계가 적은 새로운 다른 공간으로 신호를 분해하여 처리해야 할 필요가 있다. 이를 위해서 전통적으로 Fourier 분석 방법이 가장 많이 활용되었다. 또한 일반적으로 음성과 실제 환경에서의 잡음은 비정적인 특성을 가지기 때문에, 정적이라고 가정할 수 있는 짧은 시간영역으로 나누어서 처리하는 STFT 분석방법이 주로 활용된다. 그리고, 시간 영역을 나누기 위한 여러 윈도우 함수들 중 Hamming 윈도우가 음성 신호처리 분야에 주로 활용되고 있다.
Figure 112010080719572-pat00017
,
Figure 112010080719572-pat00018
,
Figure 112010080719572-pat00019
가 각각
Figure 112010080719572-pat00020
,
Figure 112010080719572-pat00021
,
Figure 112010080719572-pat00022
의 STFT 계수를 나타내고,
Figure 112010080719572-pat00023
는 주파수 인덱스를 나타낼 때, STFT 분해한 후 잡음 섞인 신호의 스펙트럼
Figure 112010080719572-pat00024
는 다음과 같이 표현할 수 있다.
Figure 112010080719572-pat00025
Figure 112010080719572-pat00026
여기서
Figure 112010080719572-pat00027
와
Figure 112010080719572-pat00028
는 각각
Figure 112010080719572-pat00029
와
Figure 112010080719572-pat00030
의 켤레 복소수를 나타내며, 잡음 섞인 신호로부터 음성신호의 파워
Figure 112010080719572-pat00031
를 찾는 과정은 다음과 같다.
Figure 112010080719572-pat00032
위에서 실제 측정 신호인
Figure 112010080719572-pat00033
에서 값을 얻을 수 있는
Figure 112010080719572-pat00034
와 달리,
Figure 112010080719572-pat00035
와
Figure 112010080719572-pat00036
는 직접 값을 얻을 수 없으므로 조화평균(ensemble average,
Figure 112010080719572-pat00037
)을 이용하여 확률적으로 값을 추정하여 사용한다. 그리고, 음성과 잡음은 서로 상관관계가 없다고 가정했으므로,
Figure 112010080719572-pat00038
과
Figure 112010080719572-pat00039
를 추정 값인
Figure 112010080719572-pat00040
과
Figure 112010080719572-pat00041
로 다시 표현하여, 아래와 같이 파워 차감법을 정리할 수 있다.
Figure 112010080719572-pat00042
여기서, α는 측정된 잡음 섞인 신호로부터 추정된 잡음을 제거하여 양을 조졸하는 과차감 인자(over-substraction factor)의 역할을 수행한다. 과차감 인자의 값이 1인 경우 일반적인 파워 차감법이며, 1보다 클 경우 음성신호의 손상이나 왜곡을 감수하면서 잡음을 많이 제거해 주기 위한 과차감법이다. 따라서 향상된 음성신호 스펙트럼에 위상정보를 추가하고 ISTFT(Inverse STFT)를 적용하면, 추정된 신호
Figure 112010080719572-pat00043
는 다음과 같이 표현할 수 있다.
Figure 112010080719572-pat00044
도 3은 종래의 화상회의시스템에 사용되는 TV에 배열된 마이크로폰 어레이의 실시 예를 나타낸다.
도 3을 참조하면, 종래의 경우 TV의 상단에 브로드사이드(broadside) 방식으로 마이크가 배열되어 있다. 이러한 방식으로 구성된 경우, 스피커(하단)에서 출력되는 타방 당사자의 소리도 일방 당사자의 음성신호와 함께 마이크로 입력되는 문제점이 있다.
도 4는 본 발명에 따른 양방향 동시 대화가 가능한 화상회의시스템의 TV에 구현된 마이크로폰 어레이의 일실시 예를 나타낸다.
도 4를 참조하면, 양방향 동시 대화가 가능한 화상회의시스템의 TV의 전면에는 3개의 마이크(M1, M2, M3)가 ㄱ(기역)자 형태로 배열되어 있다. 2개의 마이크(M1, M2)로 입력된 신호의 스펙트럼(H1)과 2개의 마이크(M2, M3)로 입력된 신호의 스펙트럼(V1)의 공통된 스펙트럼 값을 제거하면 스피커로부터 출력되는 신호를 제거할 수 있다.
도 5 내지 도 8은 본 발명에 따른 양방향 동시 대화가 가능한 화상회의시스템의 TV에 구현된 마이크로폰 어레이의 다른 일실시 예를 나타낸다.
도 5를 참조하면, 양방향 동시 대화가 가능한 화상회의시스템의 경우, 3개의 마이크(M1, M2, M3)가 TV의 전면의 양쪽 상단 모서리에 그리고 하단 중앙부에 각각 배치되어 있다.
도 6 및 도 7의 경우는 3개의 마이크(M1, M2, M3)가 TV의 전면의 양쪽 상단 모서리에 그리고 우측 하단부 및 좌측 하단부에 각각 배치되어 있다.
한편, 도 8을 참조하면, 양방향 동시 대화가 가능한 화상회의시스템의 경우, 4개의 마이크(M1, M2, M3)가 TV의 전면의 양쪽 상단 모서리에 그리고 양쪽 하단 모서리에 각각 배치되어 있다.
도 8은 도 6 및 도 7의 실시예를 통합한 구성으로, 도면의 이해를 돕기 위해 하단에 위치된 마이크를 각각 M3, M4로 구분하여 표기하였으며, M4의 역할은 M3의 역할과 동일하다.
도 5 내지 도 8에 도시된 3개의 마이크(M1, M2, M3) 또는 4개의 마이크(M1, M2, M3, M4)의 작동 원리는 도 4의 경우와 동일하므로 설명은 생략하도록 한다.
이상에서는 본 발명에 대한 기술사상을 첨부 도면과 함께 서술하였지만 이는 본 발명의 바람직한 실시 예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 이라면 누구나 본 발명의 기술적 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방 가능함은 명백한 사실이다.
110: 신호수집부 120: 빔포밍 계산부
130: 신호변환부 140: 신호처리부
150: 역신호변환부

Claims (10)

  1. 타방 대화자에게 일방 대화자의 음성신호를 전달하고자 할 때, 스피커로부터 출력되는 타방 대화자의 음성이 포함된 스피커출력신호가 상기 일방 대화자의 음성신호와 더불어 타방 대화자에게 전달되는 것을 방지하는 것으로서,
    브로드사이드(broadside) 방식으로 배열된 복수 개의 마이크 및 엔드파이어(end-fire) 방식으로 배열된 복수 개의 마이크를 이용하여, 일방 대화자의 음성신호 및 상기 스피커출력신호를 수집하여 합성신호 및 피드백 신호를 생성하는 음성 & 스피커출력신호 수집단계; 및
    상기 피드백신호를 이용하여 상기 합성신호에 포함된 상기 스피커출력신호를 제거하여 송신신호를 생성하는 타방 대화자 음성신호 제거단계;를 구비하며,
    상기 음성 & 스피커출력신호 수집단계는,
    브로드사이드(broadside) 방식 및 엔드파이어(end-fire) 방식으로 각각 배열된 복수 개의 마이크의 위치에 따른 신호의 도착지연시간을 계산하여 상기 합성신호 및 상기 피드백신호를 생성하고,
    상기 합성신호는 상기 일방 대화자의 음성신호 상기 스피커출력신호를 모두 포함하고 있으며,
    상기 피드백신호는 상기 스피커출력신호 만을 포함하고 있는 양방향 동시 대화 방법.
  2. 삭제
  3. 제1항에 있어서, 상기 타방 대화자 음성신호 제거단계는,
    상기 합성신호 및 상기 피드백신호를 주파수영역의 신호로 변형하는 신호변형단계; 및
    상기 주파수 변형된 합성신호에서 상기 주파수 변형된 피드백신호와 공통되는 신호를 제거하여 상기 송신신호를 생성하는 스피커출력신호 제거단계를 구비하는 양방향 동시 대화 방법.
  4. 제3항에 있어서, 상기 신호변형단계는,
    상기 합성신호 및 상기 피드백신호에 고속 푸리에 변환(Fast Fourier Transform)을 수행하여 상기 합성신호 및 상기 피드백신호를 주파수영역의 신호로 변형하는 양방향 동시 대화 방법.
  5. 제3항에 있어서, 상기 송신신호는,
    역 고속 푸리에 변환(Inverse Fast Fourier Transform)을 수행하여 시간영역의 신호로 변환되어 타방 대화자에게 전달되는 양방향 동시 대화 방법.
  6. 일방 대화자의 음성신호 및 타방 대화자의 음성신호가 포함된 스피커출력신호를 수집하여 합성신호 및 피드백신호를 생성하는 복수 개의 마이크를 구비하는 신호수집부; 및
    상기 합성신호에서 상기 피드백신호를 제거하여 송신신호를 생성하는 신호처리부를 구비하고,
    상기 합성신호는 상기 일방 대화자의 음성신호 및 상기 타방 대화자의 음성신호가 포함된 스피커출력신호가 합쳐진 신호이고, 상기 피드백신호는 상기 타방 대화자의 음성신호가 포함된 스피커출력신호이며,
    상기 신호수집부는,
    일방 대화자의 음성신호 및 타방 대화자의 음성신호가 포함된 스피커출력신호를 동시에 수신하는 마이크를 구비하는 제1 신호수집그룹; 및
    일방 대화자의 음성신호 및 타방 대화자의 음성신호가 포함된 스피커출력신호를 동시에 수신하는 마이크를 구비하는 제2 신호수집그룹을 구비하며,
    상기 제1 신호수집그룹은 브로드사이드 방식 및 엔드파이어 방식 중 어느 하나의 방식으로 마이크를 배열하고, 상기 제2 신호수집그룹은 나머지 하나의 방식으로 마이크를 배열한 양방향 동시 대화가 가능한 화상회의시스템.
  7. 삭제
  8. 제6항에 있어서, 신호처리부는,
    상기 신호수집부로부터 출력되는 신호들을 마이크들의 위치에 따른 신호의 도착지연시간을 계산하여 상기 합성신호 및 상기 피드백신호를 생성하는 빔포밍 계산부; 및
    상기 합성신호 및 상기 피드백신호를 주파수영역의 신호로 변환하는 신호변환부를 구비하는 양방향 동시 대화가 가능한 화상회의시스템.
  9. 제8항에 있어서, 상기 빔포밍 계산부는
    상기 제1 신호수집그룹을 구성하는 마이크들의 위치에 따른 신호의 도착지연시간을 계산하여 상기 합성신호를 생성하는 제1 빔포밍 계산기; 및
    상기 제2 신호수집그룹을 구성하는 마이크들의 위치에 따란 신호의 도착지연시간을 계산하여 상기 피드백신호를 생성하는 제2 빔포밍 계산기를 구비하는 양방향 동시 대화가 가능한 화상회의시스템.
  10. 제9항에 있어서, 상기 신호변환부는,
    상기 합성신호에 고속 푸리에 변환을 수행하는 제1 신호변환기; 및
    상기 피드백신호에 고속 푸리에 변환을 수행하는 제2 신호변환기를 구비하는 양방향 동시 대화가 가능한 화상회의시스템.
KR1020100124639A 2010-12-08 2010-12-08 양방향 동시대화 방법 및 양방향 동시대화가 가능한 화상회의시스템 KR101232216B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100124639A KR101232216B1 (ko) 2010-12-08 2010-12-08 양방향 동시대화 방법 및 양방향 동시대화가 가능한 화상회의시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100124639A KR101232216B1 (ko) 2010-12-08 2010-12-08 양방향 동시대화 방법 및 양방향 동시대화가 가능한 화상회의시스템

Publications (2)

Publication Number Publication Date
KR20120063607A KR20120063607A (ko) 2012-06-18
KR101232216B1 true KR101232216B1 (ko) 2013-02-12

Family

ID=46683984

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100124639A KR101232216B1 (ko) 2010-12-08 2010-12-08 양방향 동시대화 방법 및 양방향 동시대화가 가능한 화상회의시스템

Country Status (1)

Country Link
KR (1) KR101232216B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101990370B1 (ko) 2014-11-26 2019-06-18 한화테크윈 주식회사 카메라 시스템 및 카메라 시스템 동작 방법
KR102613040B1 (ko) * 2019-08-01 2023-12-11 엘지전자 주식회사 영상 통화 방법 및 이를 구현하는 로봇

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010001751A (ko) * 1999-06-08 2001-01-05 윤종용 핸즈프리 셋과 연결된 무선 단말기에서 하울링을 제거하기 위한장치
KR20080087939A (ko) * 2007-03-28 2008-10-02 경상대학교산학협력단 마이크 어레이를 이용한 방향성 음원 필터링 시스템 및 그방법
JP2008263280A (ja) 2007-04-10 2008-10-30 Iwatsu Electric Co Ltd ハウリング防止装置
KR20100066916A (ko) * 2008-12-10 2010-06-18 한국전자통신연구원 음성과 잡음 신호 분리 방법 및 그 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010001751A (ko) * 1999-06-08 2001-01-05 윤종용 핸즈프리 셋과 연결된 무선 단말기에서 하울링을 제거하기 위한장치
KR20080087939A (ko) * 2007-03-28 2008-10-02 경상대학교산학협력단 마이크 어레이를 이용한 방향성 음원 필터링 시스템 및 그방법
JP2008263280A (ja) 2007-04-10 2008-10-30 Iwatsu Electric Co Ltd ハウリング防止装置
KR20100066916A (ko) * 2008-12-10 2010-06-18 한국전자통신연구원 음성과 잡음 신호 분리 방법 및 그 장치

Also Published As

Publication number Publication date
KR20120063607A (ko) 2012-06-18

Similar Documents

Publication Publication Date Title
US11240598B2 (en) Band-limited beamforming microphone array with acoustic echo cancellation
CN101061743B (zh) 音频信号增强的方法和设备
EP2393463B1 (en) Multiple microphone based directional sound filter
US9226070B2 (en) Directional sound source filtering apparatus using microphone array and control method thereof
KR101456866B1 (ko) 혼합 사운드로부터 목표 음원 신호를 추출하는 방법 및장치
US8711219B2 (en) Signal processor and signal processing method
US9418678B2 (en) Sound processing device, sound processing method, and program
JP5772151B2 (ja) 音源分離装置、プログラム及び方法
CN1947171A (zh) 自适应波束形成器、旁瓣抑制器、自动语音通信设备
CN110012331B (zh) 一种红外触发的远场双麦远场语音识别方法
CN110322892B (zh) 一种基于麦克风阵列的语音拾取系统和方法
JP2008236077A (ja) 目的音抽出装置，目的音抽出プログラム
WO2016056683A1 (ko) 전자 장치 및 이의 잔향 제거 방법
KR101182017B1 (ko) 휴대 단말기에서 복수의 마이크들로 입력된 신호들의잡음을 제거하는 방법 및 장치
KR101232216B1 (ko) 양방향 동시대화 방법 및 양방향 동시대화가 가능한 화상회의시스템
JP5235725B2 (ja) 発話向き推定装置、方法及びプログラム
CN109920442B (zh) 一种麦克风阵列语音增强的方法和系统
JP2010103617A (ja) 発話向き推定装置、方法及びプログラム
JP5235723B2 (ja) 発話向き推定装置、方法及びプログラム
JP5235722B2 (ja) 発話向き推定装置、方法及びプログラム
JP2002062900A (ja) 収音装置及び受信装置
CN209880151U (zh) 一种麦克风阵列语音增强装置
CN112530411B (zh) 一种实时分角色转录方法、设备和系统
JP5235724B2 (ja) 発話正面・横向き推定装置、方法及びプログラム
TW201212659A (en) System, method and apparatus with environment noise cancellation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151209

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161205

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180205

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190207

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200205

Year of fee payment: 8