KR100758707B1 - 로봇 환경에서 음원 추적 시스템 및 방법 - Google Patents

로봇 환경에서 음원 추적 시스템 및 방법 Download PDF

Info

Publication number
KR100758707B1
KR100758707B1 KR1020060039741A KR20060039741A KR100758707B1 KR 100758707 B1 KR100758707 B1 KR 100758707B1 KR 1020060039741 A KR1020060039741 A KR 1020060039741A KR 20060039741 A KR20060039741 A KR 20060039741A KR 100758707 B1 KR100758707 B1 KR 100758707B1
Authority
KR
South Korea
Prior art keywords
sound source
robot
microphones
time difference
calculating
Prior art date
Application number
KR1020060039741A
Other languages
English (en)
Other versions
KR20070061056A (ko
Inventor
지수영
조영조
이지연
한민수
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20070061056A publication Critical patent/KR20070061056A/ko
Application granted granted Critical
Publication of KR100758707B1 publication Critical patent/KR100758707B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802Systems for determining direction or deviation from predetermined direction
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/003Controls for manipulators by means of an audio-responsive input
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/86Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves with means for eliminating undesired waves, e.g. disturbing noises
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0294Trajectory determination or predictive filtering, e.g. target tracking or Kalman filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

본 발명은 로봇의 도움이 필요한 사람이나 개체 근처로 이동하여 주위 상황을 판단하고 적절한 대응조치를 취하기 위해 로봇으로 하여금 음원이 발생한 곳으로 이동하도록 음원 발원지의 위치 인식 및 추적을 위한 로봇 환경에서 음원 추적 시스템 및 방법에 관한 것으로서, 입력되는 음원에 대해 로봇 본체 잡음을 감소시킨 후 신호의 강도를 계산하여 강도가 큰 순서대로 두 개의 마이크로폰을 결정하고, 그 결정된 채널 사이에서 음원이 발생된 것으로 결정한 다음, 그 채널에 대해서만 시간차를 계산하여 음원의 방향 및 거리를 계산함으로써 모든 마이크로폰에 대해 시간차를 계산하는 기존의 방법보다 실행시간을 단축하며, 로봇은 음원이 발생한 위치로 이동하는 동시에 로봇의 실행시간을 고려하여 실시간으로 음원 위치를 지속적으로 확인하고 갱신하여 시스템의 신뢰도를 높이는 효과가 있다.
음원 추적, 로봇 제어, 칼만 필터, 로봇 마이크로폰, 로봇 실행시간, 시간차 추출

Description

로봇 환경에서 음원 추적 시스템 및 방법 {SOUND LOCALIZATION APPARATUS FOR ROBOT ENVIRONMENT AND METHOD THERE OF}
도 1은 본 발명에 따른 음원 추적 시스템의 전체 구성도,
도 2는 마이크로폰들 중에서 신호 강도를 통해 결정된 신호 발생 채널을 나타낸 도,
도 3은 본 발명에서 사용하고 있는 로봇의 마이크로폰 배열을 나타낸 도,
도 4는 방위각 계산을 위한 도 3의 마이크로폰의 배열을 대략화하여 나타낸 도,
도 5는 본 발명의 음원 추적 시스템을 이용한 음원 추적 과정을 나타낸 흐름도,
도 6은 본 발명의 음원 추적 시스템을 적용하여 실제 로봇이 음원이 발생한 곳으로 이동하는 모습을 나타낸 도이다.
<도면의 주요 부분에 대한 부호의 설명>
100 : 음원 입력부 200 : 잡음 제거부
210 : 칼만 필터 300 : 음원 디텍터부
400 : 음원 방향 인식부 410 : 음원 에너지 강도 추출부
420 : 시간차 계산부 500 : 방위각 검출부
600 : 로봇 제어부 #m.1, #m.2, #m.3, #m.4 : 마이크로폰
본 발명은 로봇의 움직임을 제어하기 위한 음원 추적 시스템 및 방법에 관한 것으로, 더욱 상세하게는 로봇에 부착된 마이크로폰으로부터 획득한 입력 음원으로부터 로봇 본체의 잡음을 제거하고 음원의 강도와 시간차를 계산하여 음원의 방향을 지속적으로 확인하고 갱신하여 신뢰성을 높이는 음원 추적 시스템 및 방법에 관한 것이다.
종래, 음원 추적은 정숙한 환경에서, 근거리에서, 두개의 마이크로폰을 사용하는 시스템으로 로봇 제어 목적으로 연구되어 왔었다. 최근 실험용 또는 장난감 로봇에 탑재하여, 사용자의 호출음성이나 박수소리를 입력받아 인식함으로써 도움이 필요한 사람이나 개체 근처로 이동하여 주위 상황을 판단하고 적절한 대응조치를 취하게 하는 연구가 진행되고 있다.
음원 추적 시스템은 잡음이 없거나 비교적 조용한 실험실 환경에서 좋은 성능을 나타낸다. 그러나 실제 현장에서 사용할 경우에는 여러 가지 잡음 요인들에 의하여 시스템 성능이 현저히 저하된다. 이 음원 추적 시스템을 로봇에 탑재할 경우, 가장 문제가 되는 것이 본체의 잡음이다.
또한, 자연스러운 로봇과 인간의 상호작용을 목적으로 한 음원 추적은 2개 이상의 마이크로폰을, 로봇의 가장 음원 감지가 잘되는 위치를 선정하여 배치하고, 각 마이크로폰이 감지하는 음원의 강도 및 위상차, 시간차 등을 분석하여 음원의 방향 및 거리를 계산한다. 즉 로봇에 마이크로폰을 부착시키고 사용자의 호출 음성이나 박수소리를 입력받아 인식함으로써 카메라나 키보드와 같은 입력 시스템 대용으로 활용할 수 있도록 하여 자동 인터페이스 기능 구현을 위한 연구를 수행하여 왔다. 그러나 실제 사용자 환경에서는 로봇이 음원을 듣고 방향을 설정하고 그 위치로 움직이기 위해서는 로봇의 실행시간을 고려해야하지만 그것의 대처방안이 없는 실정이다.
따라서, 본 발명의 목적은 상기한 종래 기술의 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 음원을 추적하는 실행시간을 감소시키기 위한 로봇 환경에서 음원 추적 시스템 및 방법을 제공하는 것이다.
한편, 본 발명의 다른 목적은 로봇의 몸체 둘레에 가장 음원 감지가 잘되는 네 개 마이크로폰들의 위치를 선정하고, 각 마이크로폰이 감지하는 음원의 강도 및 시간차를 분석하는 한편 로봇 본체 잡음을 감소시킨 후 음원의 방향을 계산하고, 음원의 위치가 인지되면 로봇은 그 위치로 이동하는 동시에 실시간으로 음원 위치를 지속적으로 확인하고 갱신하여 시스템의 신뢰도를 높일 수 있는 음원 추적 시스템 및 방법을 제공하는 것이다.
한편, 본 발명의 또 다른 목적은 신호의 강도를 이용하여 강도가 큰 순서대로 두 개의 마이크로폰을 결정하고, 그 결정된 채널 사이에서 음원이 발생되었다고 가정하여 이 채널에 대해서만 시간차를 계산하는 로봇의 실행시간을 고려한 음원 추적 방법으로, 사용자가 서비스를 제공받기 위해 특정 위치나 시스템으로 다가가는 것이 아니라 서비스를 제공해 줄 수 있는 로봇을 다가오게 하여 사용자가 원하는 서비스를 가능하게 하는 음원 추적 시스템 및 방법을 제공하는 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 로봇 환경에서 음원 추적 시스템은, 로봇에 부착된 마이크로폰으로부터 음원을 입력받아서 음원의 강도와 시간차를 계산하고 인식하여 로봇을 음원이 발생한 방향으로 이동하는 시스템으로, 추적의 대상이 되는 음원을 획득하여 전달하는 음원 입력부, 상기 입력 음원으로부터 칼만 필터를 이용하여 로봇 본체의 잡음을 감소시키는 잡음 제거부, 잡음이 감소된 음원으로부터 음원의 시작점과 끝점을 검출하는 음원 디텍터부, 음원의 에너지와 시간차를 추출하여 음원 추적 파라미터를 구성하여 음원의 방향을 인식하는 방향 인식부, 상기 인식된 방향에서 방위각을 구하는 방위각 검출부 및 로봇을 음원이 발생한 방향으로 바라보도록 로봇의 움직임을 제어하는 로봇 제어부를 포함하는 것을 특징으로 한다.
한편, 본 발명의 로봇 환경에서 음원 추적 시스템에 의한 음원 추적 방법은, 다수 개의 마이크로폰으로 입력되는 음원에 대해 잡음을 제거하는 단계, 상기 잡음이 제거된 입력 음원에 대해 에너지를 계산하는 단계, 상기 계산된 에너지를 이용하여 상기 다수 개의 마이크로폰의 신호 강도를 계산하는 단계, 상기 계산된 신호 강도가 큰 순서대로, 두 개의 마이크로폰을 선택하는 단계, 상기 선택된 두 개의 마이크로폰 사이의 시간차를 계산하는 단계, 상기 음원의 에너지와 시간차로 음원 추적 파라미터를 구성하여 음원의 방향을 인식하는 단계 및 상기 인식된 방향에서 방위각을 구하여 상기 로봇을 음원이 발생한 방향으로 바라보도록 로봇의 움직임을 제어하는 단계를 포함하는 것을 특징으로 한다.
즉, 본 발명의 로봇 환경에서의 음원 추적 방법은 신호의 강도를 이용하여 강도가 큰 순서대로 두 개의 마이크로폰을 결정하고, 그 결정된 채널 사이에서 음원이 발생 되었다고 가정한다. 그 다음, 그 채널에 대해서만 시간차를 계산한다. 그러므로 본원발명의 음원 추적 방법은 모든 마이크로폰에 대해 시간차를 계산하는 기존의 방법보다 실행시간 면에서 빠른 방법이다.
이하, 본 발명의 로봇 환경에서의 음원 추적 시스템 및 그 방법에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명에 따른 로봇 환경에서의 음원 추적 시스템의 전체 구성을 나타낸 것이다. 도 1에 도시된 바와 같이, 본 발명의 실시 예에 따른 음원 추적 시스템은 음원 입력부(100), 잡음 제거부(200), 음원 디텍터부(300), 음원 방향 인식부(400), 방위각 검출부(500) 및 로봇 제어부(600)로 이루어지며, 잡음 제거부(200)는 칼만 필터(210)를 포함하고, 음원 방향 인식부(400)는 음원 강도 추출부(410)와 시간차 계산부(420)를 포함하여 구성된다.
상세하게는, 음원 입력부(100)는 로봇에 부착된 다수 개의 마이크로폰을 통하여, 음원 추적 대상이 되는 사용자의 음원을 실시간으로 획득하여 잡음 제거부(200)로 전달한다.
본 발명에서 사용하는 로봇의 경우, 모터, CPU, 팬, 초음파 기기들이 로봇의 뒤쪽에 위치하기 때문에 로봇의 뒤쪽에 위치하는 마이크로폰의 잡음 레벨이 로봇 앞쪽에 위치하는 마이크로폰보다 더 크다. 따라서, 다수 개의 마이크로폰들은 로봇에 장착된 모터, CPU, 팬, 초음파 기기의 위치에 따라 서로 다른 잡음 레벨을 가지므로, 잡음 제거부(200)는 음원 입력부(100)에서 실시간으로 다수 개의 마이크로폰을 통해 획득되어 전달된 음원에 대해 칼만 필터(210)를 적용하여 잡음을 제거하는 역할을 한다.
칼만 필터(KALMAN FILTER)는 장애물에 의해 약간의 수신장애가 발생할 경우의 약한 신호에도 좋은 결과를 검출해 낸다. 또한, 이 필터는 신호와 잡음의 분리도가 우수하여 순간적인 위치의 점프(JUMP) 현상을 방지할 수도 있으며, 정확한 위치, 속도 및 시간을 안정적으로 검출하는데 이용되고 있다.
음원 디텍터부(300)는 잡음 제거부(200)에서 잡음이 감소된 음원으로부터 음원의 시작점과 끝점을 검출한다. 음원 디텍터부(300)의 정확한 시작점의 검출 결과는 신호 분석, 합성, 코딩 등과 같은 신호 처리에서 매우 중요하다. 특히 본 발명에서 신호의 시작점과 끝점을 정확하게 추출하는 것은 시간차 계산의 성능에 큰 영향을 미친다. 따라서 실시간으로 신호의 시작점과 끝점을 감지하기 위해서 구간 에너지를 이용하고, 이 신호의 발생 구간을 추출하기 위한 임계치(threshold)는 반복적인 음원 추적 과정을 통해 최적화된 값이다.
여기서 임계치를 구하기 위한 음원 추정 과정을 설명하면, 주위 환경(예를 들면, 조용한 환경, 잡음이 있는 환경 등)에 따른 여러 상황에서 미리 녹음된 여러 개의 신호를 가지고 각각 신호에 대하여 임계치를 구한 다음 평균한 값, 즉, 임계 치를 계산한다. 결국, 임계치는 구간에너지의 평균값으로 미리 세팅된 값이며, 따라서 본 발명의 음원 디텍터부(300)는 실시간으로 들어오는 음성 신호에 대해 프레임별로 구간에너지를 계산하여 임계치보다 크면 신호의 시작점이라고 인지하고, 그 후에 구간에너지 값이 임계치보다 작으면 신호의 끝점이라고 인지한다.
음원 방향 인식부(400)는 음원의 에너지와 시간차를 추출하여 음원 추적 파라미터를 구성하여 음원의 방향을 인식하기 위해 음원 강도 추출부(410)와 시간차 계산부(420)를 포함한다. 음원 강도 추출부(410)에서는 구간 에너지 정보를 이용하여 신호의 강도를 계산하여, 다수 개의 마이크로폰 중에서 큰 강도를 가지는 순서대로 2개의 마이크로폰을 결정한 다음, 결정한 2개의 마이크로폰 사이의 채널에서 신호가 발생되었다고 판단한다.
상세하게는, 구간에너지는 신호의 각각 프레임(frame)에서 각 샘플의 진폭(amplitude) 값을 제곱하여 그 프레임의 전체 샘플 수로 나누는 것으로, 구간에너지 값은 그 신호의 강도를 나타낸다. 따라서 음원 강도 추출부(410)에서는 발생한 음원의 구간 설정을 수학식 1의 단구간 에너지를 이용하고, 네 개의 마이크로폰 중에서, 강도가 가장 큰 순서대로 두 개의 마이크로폰을 선택한다. 그리고 그 두 개의 마이크로폰 사이의 구간에서만 음원이 발생 되었다고 판단하고 음원 발생 구간(채널)을 결정한다.
Figure 112006031219040-pat00001
문턱값: 10 × log10(En)
En은 단구간에너지를 나타내며, x는 진폭(amplitude)값을 나타내며, N은 샘플수를 나타낸다.
시간차 계산부(420)는 음원 강도 추출부(410)에서 결정된 마이크로폰 사이의 채널에서 시간차를 계산한다. 두 개의 마이크로폰 사이의 시간차는 정규화된 상호 상관 방법(the normalized cross-correlation method)에 의해 계산된다.
방위각 검출부(500)에서는 시간차 계산부(420)에서 결정된 시간차를 가지고 마이크로폰 간의 각도를 결정한다. 마이크로폰 사이의 거리와 각도는 각각 마이크로폰의 좌표를 이용하여 기본적인 삼각함수 방법에 의해 계산된다. 상세한 설명은 하기의 도 3 및 도 4와 관련하여 설명한다.
로봇 제어부(600)에서는 Common Robot Interface Framework(CRIF)에서 제공하는 라이브러리를 이용하여 로봇의 움직임을 제어한다. CRIF는 로봇 플랫폼 개발에 있어서 로봇의 구조를 효율적으로 구현하기 위한 프레임워크(Framework)를 제공하는 것을 목적으로 하는 라이브러리 파일이다.
도 2는 마이크로폰들 중에서 신호 강도를 통해 결정된 신호 발생 채널을 나타내는 것으로, 도 2와 같이 음원 강도 추출부(410)에서는 구간 에너지 정보를 이용하여 신호의 강도를 계산하여, 4개의 마이크로폰(#m.1, #m.2, #m.3, #m.4) 중에서 큰 강도를 가지는 순서대로 마이크로폰 #m.1과 #m.4번을 결정하면, 마이크로폰 #m.1번과 #m.4번 사이의 채널에서만 신호가 발생 된 것으로 판단한다.
그 다음 단계에서, 시간차 계산부(420)에서는 신호가 발생 된 것으로 결정된 채널만을 고려하여 두 마이크로폰 사이의 시간차(
Figure 112006031219040-pat00002
)를 수학식 (2)와 같이 정규화된 상호 상관 방법(normalized cross correlation method)을 이용하여 계산한다. 그러면, -1 ~ 1 사이의 상호 상관(cross-correlation) 계수가 생성되고, 그 계수 중에서 가장 최대값을 갖는 값의 샘플값이 두 개의 마이크로폰 사이의 시간차이다. 이때 모든 마이크로폰의 게인이 같다라고 가정한다.
Figure 112006031219040-pat00003
Figure 112006031219040-pat00004
k는 0, 1, ..., 2l-1이며, d는 -10,000 ~ 10,000의 범위를 나타내는 값이고, x1(k)와 x2(k)는 신호 강도에 의해 결정된 두 개의 마이크로폰으로 들어오는 신호를 나타낸다.
따라서 시간차 계산부(420)에서 결정된 마이크로폰 #m.1번과 #m.4번 사이의 채널에서만 두 마이크로폰 사이의 시간차를 계산함으로써 모든 채널에서 시간차를 계산하는 기존의 연구에 비하여 로봇 환경에서의 실행 측면에서 실행시간의 감소 효과를 얻을 수 있다.
도 3은 본 발명에서 사용하고 있는 로봇을 위에서 바라본 마이크로폰들의 배 열을 나타내는 것으로, dn(n=1, 2, 3, 4)은 마이크로폰 사이의 거리이고, αn(n=1, 2, 3, 4)은 마이크로폰 간의 각도를 나타내며, x(mm)로 표시된 부분이 로봇의 앞쪽이고, 그 반대쪽이 로봇의 뒷부분이다. 마이크로폰 사이의 거리(dn(n=1, 2, 3, 4))와 각도(αn(n=1, 2, 3, 4))는 각각 마이크로폰의 좌표를 기본적인 삼각함수 공식에 응용하여 계산된다.
도 4는 방위각 계산을 위한 도 3의 마이크로폰들의 배열을 대략화하여 나타낸 것으로, 마이크로폰 #m.1과 #m.2 사이의 방위각 계산의 예를 보이고 있다. 방위각 검출부(500)에서 상기 인식된 방향의 방위각 계산을 할 때, 신호의 발생거리가 마이크로폰 사이의 거리보다 훨씬 크므로 마이크로폰으로 들어오는 신호는 평행하게 들어온다고 가정하고 도 4와 같이 마이크로폰들의 배열을 대략화한다.
도 4와 같이 대략화된 마이크로폰들의 배열에서, 삼각함수 공식을 활용하면 마이크로폰 #m.1과 #m.2 사이의 방위각은 식 (3)과 같이 계산된다. 결국, 식 (3)을 응용하여 모든 채널 구간에 대해 방위각을 구한다. 마지막으로, 최종적인 방위각은 신호가 발생된 현재의 채널 위치에 따라 결정된다.
Figure 112006031219040-pat00005
수학식 3에서 υs는 22°의 실험실 방안 온도에서의 소리의 속도로 345 m/s를 가리키고, Ssampling rate는 샘플링 비율, 즉, 16000 Hz를 가리키며, a는 15.62㎝, b는 29.2㎝, d2는 29.99㎝, θ는 방위각, △t는 지연시간을 나타내며,
Figure 112006031219040-pat00006
는 a와 b사이의 각도를 나타낸다.
따라서, 수학식 (3)에 의해 구해진 결과에 따라, 도 3의 마이크로폰들의 배열에서 마이크로폰 #m.1과 #m.2은 0도에서 77.53도의 범위에서 결정되고, 마이크로폰 #m.2과 #m.3은 77.53도에서 130.2도의 범위에서, 마이크로폰 #m.3과 #m.4은 130.2도에서 206.9도의 범위에서, 마이크로폰 #m.4과 #m.1은 206.9도에서 360.0의 범위에서 결정된다. 결국, 위의 방법으로 보상된 방위각이 최종 값으로 결정된다.
도 5는 본 발명의 음원 추적 시스템을 이용한 음원 추적 과정을 나타낸 흐름도이다. 먼저, 본 발명에 따른 음원 추적 시스템의 음원 입력부(100)에서 로봇에 부착된 다수 개의 마이크로폰을 통하여, 음원 추적 대상이 되는 사용자의 음원을 실시간으로 획득하여(S601) 잡음 제거부(200)로 전달하면, 잡음 제거부(200)는 마이크로폰이 로봇에 장착된 모터, CPU, 팬, 초음파 기기의 위치에 따라 서로 다른 잡음 레벨을 가지므로 전달된 음원에 대해 칼만 필터(210)를 적용하여 잡음을 제거한다(S602).
음원 디텍터부(300)는 잡음 제거부(200)에서 잡음이 감소되어 실시간으로 들어오는 음성 신호에 대해 프레임별로 구간에너지를 계산하여 임계치보다 크면 신호의 시작점이라고 인지하고, 그 후에 구간에너지 값이 임계치보다 작으면 신호의 끝점이라고 인지하여 음원의 시작점과 끝점을 검출하고, 음원 강도 추출부(410)에서 구간 에너지 정보로 신호의 강도를 계산하여 다수 개의 마이크로폰 중에서 큰 강도를 가지는 순서대로 2개의 마이크로폰을 결정한 다음, 결정한 2개의 마이크로폰 사이의 채널에서 신호가 발생된 것으로 판단한다. 그런 다음 시간차 계산부(420)에서 는 신호가 발생 된 것으로 결정된 채널만을 고려하여 구해진 시작점과 끝점을 이용하여 두 마이크로폰 사이의 시간차를 계산한다. 음원 방향 인식부(400)는 음원 강도 추출부(410)에서 구해진 음원의 에너지와 시간차 계산부(420)에서 구해진 시간차를 이용하여 음원의 방향을 인식하고, 방위각 검출부(500)는 인식된 방향에서 방위각을 구하고, 로봇 제어부(600)는 구해진 방위각에 따라 로봇을 음원이 발생한 방향으로 바라보도록 로봇의 움직임을 제어한다.
도 6은 실제 로봇이 음원이 발생한 곳으로 이동하는 모습을 나타낸 것으로, 로봇 제어부(500)가 Common Robot Interface Framework(CRIF)에서 제공하는 라이브러리 파일을 이용한 로봇의 움직임 제어에 의해 로봇이 음원이 발생한 곳으로 움직이는 것을 나타낸다.
이상에서 몇 가지 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것이 아니고 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다.
상술한 바와 같이, 본 발명의 음원 추적 시스템 및 방법은, 실시간으로 입력되는 음원을 대상으로 잡음을 감소시키고, 음원 추적의 실행시간을 고려하면서 현재 음원이 발생하는 방향을 지속으로 추적함으로써, 그 음원이 발생한 방향으로 로봇의 움직임을 제어할 수 있다.
또한, 본 발명에서는 기존의 연구보다 더 정확한 시간차의 계산과 정확도를 높이기 위해 칼만 필터를 사용하여 로봇 본체의 잡음을 제거하고, 또한 모든 마이 크로폰 간의 시간차를 계산하지 않기 위해, 마이크로폰으로 들어오는 입력 음원의 강도를 계산하여, 강도가 큰 두 개의 마이크로폰을 선택하고, 그 채널에서만 시간차를 계산하여 음원 추적의 실행시간을 고려함으로써, 로봇은 음원의 위치를 지속적으로 확인하고 갱신할 수 있고, 시스템의 신뢰도를 높이는 효과를 얻을 수 있다.

Claims (6)

  1. 음원을 획득하여 전달하는 음원 입력부;
    상기 입력된 음원의 잡음을 칼만 필터를 이용하여 감소시키는 잡음 제거부;
    상기 잡음이 감소된 입력 음원에서 음원의 시작부분과 끝부분을 검출하는 음원 디텍터부;
    단구간 에너지 정보를 이용하여 신호의 강도를 계산하여 다수 개의 마이크로폰 중에서 큰 강도를 가지는 순서대로 2개의 마이크로폰을 결정하는 음원 강도 추출부와 채널의 시간차를 계산하는 시간차 계산부를 구성하여, 상기 잡음이 감소된 입력 음원에서 음원의 에너지와 정규화된 상호 상관 방법(normalized cross correlation method)에 의한 시간차를 추출하여 입력 음원의 방향을 인식하는 음원 방향 인식부;
    상기 인식된 방향의 방위각을 구하는 방위각 검출부; 및
    로봇을 음원이 발생한 방향으로 바라보도록 로봇의 움직임을 제어하는 로봇 제어부
    를 포함하여 구성된 것을 특징으로 하는 로봇 환경에서 음원 추적 시스템.
  2. 삭제
  3. 삭제
  4. 실시간으로 상기 다수 개의 마이크로폰으로 입력되는 각각의 음원에 대해서 칼만 필터를 사용하여 로봇 본체 잡음을 제거하는 단계:
    상기 잡음이 제거된 입력 음원에 대해 에너지를 계산하는 단계;
    상기 계산된 에너지를 이용하여 상기 다수 개의 마이크로폰의 신호 강도를 계산하는 단계;
    상기 계산된 신호 강도가 큰 순서대로, 두 개의 마이크로폰을 선택하는 단계;
    상기 선택된 두 개의 마이크로폰 사이의 채널만을 고려하여 두 개의 마이크로폰 사이의 시간차를 정규화된 상호 상관 방법(normalized cross correlation method)을 이용하여 계산하는 단계;
    상기 음원의 에너지와 시간차로 음원 추적 파라미터를 구성하여 음원의 방향을 인식하는 단계; 및
    상기 인식된 방향에서 방위각을 구하여 상기 로봇을 음원이 발생한 방향으로 바라보도록 로봇의 움직임을 제어하는 단계
    를 포함하는 것을 특징으로 하는 로봇 환경에서 음원 추적 방법.
  5. 삭제
  6. 삭제
KR1020060039741A 2005-12-08 2006-05-03 로봇 환경에서 음원 추적 시스템 및 방법 KR100758707B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20050119727 2005-12-08
KR1020050119727 2005-12-08

Publications (2)

Publication Number Publication Date
KR20070061056A KR20070061056A (ko) 2007-06-13
KR100758707B1 true KR100758707B1 (ko) 2007-09-14

Family

ID=38356992

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060039741A KR100758707B1 (ko) 2005-12-08 2006-05-03 로봇 환경에서 음원 추적 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR100758707B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010098546A2 (ko) * 2009-02-27 2010-09-02 고려대학교 산학협력단 오디오 및 비디오 정보를 이용한 시공간 음성 구간 검출 방법 및 장치
KR101002028B1 (ko) 2008-09-04 2010-12-16 고려대학교 산학협력단 마이크로폰 및 시공간 정보를 이용한 음원 구간 탐지 시스템, 그 방법 및 이를 기록한 기록매체

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100926132B1 (ko) * 2007-08-10 2009-11-11 한국전자통신연구원 로봇 환경에서의 음원 방향 결정 시스템 및 방법
KR100901483B1 (ko) * 2007-08-13 2009-06-08 한국전자통신연구원 네트워크 기반의 로봇용 음성 처리 방법 및 시스템
KR100943224B1 (ko) * 2007-10-16 2010-02-18 한국전자통신연구원 음원 추적이 가능한 지능형 로봇 및 방법
KR100911870B1 (ko) * 2009-02-11 2009-08-11 김성완 음원 추적 장치 및 그 방법
KR101064976B1 (ko) * 2009-04-06 2011-09-15 한국과학기술원 음원위치추정시스템 및 이를 구비한 음원에 반응하는 로봇
KR101228749B1 (ko) * 2011-08-24 2013-01-31 한국과학기술원 가청 주파수를 이용한 위치 감지 시스템, 방법 및 이를 이용한 기록 매체
KR101388587B1 (ko) * 2012-06-04 2014-04-24 주식회사 글로베인 오디오 신호 제어 장치 및 방법
KR101447137B1 (ko) * 2014-04-28 2014-10-07 주식회사 시스피아 음향센서를 이용한 cctv용 음원추적장치
KR101643751B1 (ko) * 2014-11-26 2016-07-28 김기형 객체 추종 기능을 구비한 로봇
KR101966718B1 (ko) * 2018-12-07 2019-04-08 이필규 소리센서를 이용한 사용자추종장치 및 사용자추종방법
US11565426B2 (en) 2019-07-19 2023-01-31 Lg Electronics Inc. Movable robot and method for tracking position of speaker by movable robot
CN112230654A (zh) * 2020-09-28 2021-01-15 深兰科技(上海)有限公司 机器人及其召唤方法和装置
CN115171640A (zh) * 2022-06-28 2022-10-11 科大讯飞股份有限公司 降噪机器人、电器降噪系统和主动降噪方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001215989A (ja) * 2000-01-31 2001-08-10 Japan Science & Technology Corp ロボット聴覚システム
KR20010083059A (ko) * 1999-04-20 2001-08-31 김인광 음원의 방향을 검출하여 음원의 위치로 이동하기 위한로봇 및 그 동작방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010083059A (ko) * 1999-04-20 2001-08-31 김인광 음원의 방향을 검출하여 음원의 위치로 이동하기 위한로봇 및 그 동작방법
JP2001215989A (ja) * 2000-01-31 2001-08-10 Japan Science & Technology Corp ロボット聴覚システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101002028B1 (ko) 2008-09-04 2010-12-16 고려대학교 산학협력단 마이크로폰 및 시공간 정보를 이용한 음원 구간 탐지 시스템, 그 방법 및 이를 기록한 기록매체
WO2010098546A2 (ko) * 2009-02-27 2010-09-02 고려대학교 산학협력단 오디오 및 비디오 정보를 이용한 시공간 음성 구간 검출 방법 및 장치
WO2010098546A3 (ko) * 2009-02-27 2010-10-21 고려대학교 산학협력단 오디오 및 비디오 정보를 이용한 시공간 음성 구간 검출 방법 및 장치

Also Published As

Publication number Publication date
KR20070061056A (ko) 2007-06-13

Similar Documents

Publication Publication Date Title
KR100758707B1 (ko) 로봇 환경에서 음원 추적 시스템 및 방법
JP4204541B2 (ja) 対話型ロボット、対話型ロボットの音声認識方法および対話型ロボットの音声認識プログラム
US7536029B2 (en) Apparatus and method performing audio-video sensor fusion for object localization, tracking, and separation
KR101761315B1 (ko) 이동체 및 그 제어방법
US9432769B1 (en) Method and system for beam selection in microphone array beamformers
KR100754384B1 (ko) 잡음에 강인한 화자위치 추정방법 및 장치와 이를 이용한카메라 제어시스템
EP1643769B1 (en) Apparatus and method performing audio-video sensor fusion for object localization, tracking and separation
JP6240995B2 (ja) 移動体、音響源マップ作成システムおよび音響源マップ作成方法
KR100763901B1 (ko) 이동체 제어 장치 및 방법
EP3566461B1 (en) Method and apparatus for audio capture using beamforming
US20020181723A1 (en) Robot and controlling method of the same
WO2017000775A1 (zh) 一种机器人语音寻向转动系统及方法
US11264017B2 (en) Robust speaker localization in presence of strong noise interference systems and methods
KR100822880B1 (ko) 지능형 로봇 환경에서 오디오-비디오 기반 음원추적을 통한화자 인식 시스템 및 방법
JP2010121975A (ja) 音源定位装置
KR100943224B1 (ko) 음원 추적이 가능한 지능형 로봇 및 방법
KR20080070196A (ko) 음원위치-지연시간차 상관관계 역 추정에 의한 음원 방향검지 시스템 및 방법
Fan et al. Acoustic collision detection and localization for robot manipulators
JP5660362B2 (ja) 音源定位装置及びコンピュータプログラム
Martinson et al. Auditory evidence grids
KR100926132B1 (ko) 로봇 환경에서의 음원 방향 결정 시스템 및 방법
Sekiguchi et al. Online simultaneous localization and mapping of multiple sound sources and asynchronous microphone arrays
Sewtz et al. Robust MUSIC-based sound source localization in reverberant and echoic environments
JP2022511271A (ja) 音響信号を用いて手の動きを追跡することによる装置の制御
Li et al. A linear phase unwrapping method for binaural sound source localization on a robot

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20100901

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee