KR20090038697A - 음원 추적이 가능한 지능형 로봇 및 방법 - Google Patents

음원 추적이 가능한 지능형 로봇 및 방법 Download PDF

Info

Publication number
KR20090038697A
KR20090038697A KR1020070104131A KR20070104131A KR20090038697A KR 20090038697 A KR20090038697 A KR 20090038697A KR 1020070104131 A KR1020070104131 A KR 1020070104131A KR 20070104131 A KR20070104131 A KR 20070104131A KR 20090038697 A KR20090038697 A KR 20090038697A
Authority
KR
South Korea
Prior art keywords
sound source
tracking
robot
intelligent robot
delay time
Prior art date
Application number
KR1020070104131A
Other languages
English (en)
Other versions
KR100943224B1 (ko
Inventor
곽근창
배경숙
이재연
김혜진
박범철
윤호섭
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020070104131A priority Critical patent/KR100943224B1/ko
Publication of KR20090038697A publication Critical patent/KR20090038697A/ko
Application granted granted Critical
Publication of KR100943224B1 publication Critical patent/KR100943224B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/027—Electromagnetic sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 다채널 음원보드와 마이크가 장착된 지능형 로봇에서 주파수영역 특성을 이용하여 마이크 간의 지연시간 값과 이들로부터 위치 추적각도를 구하는 방법에 관한 것으로, 음원 추적이 가능한 지능형 로봇은 다채널 음원보드와 마이크를 통해 음성을 취득하는 음성데이터 취득부, 각 마이크로 취득된 음성으로부터 주파수 영역에서의 GCC(Generalized Cross-Correlation)-PHAT(Phase Transform) 기반 음원추적 방법을 이용해 지연시간 값을 구하는 지연시간 처리부, 마이크 간의 지연시간으로부터 후보되는 여러 추적 각도들을 계산하고 이들로부터 신뢰성 있는 추적각도를 추정하는 추적각도 처리부, 추적각도로부터 호출자를 향해 로봇이 회전하는 로봇 구동부를 포함한다. 즉, 본 발명에서는 음원추적장치의 성능척도로써 카메라의 FOV(Field Of View)범위에 의한 추적성공률과 이들의 평균추적오차를 이용하며, 잡음환경이나 반향을 가지는 환경과 근거리 및 원거리(5m 이내)에서 높은 음원추적 성능을 보인다.
지능형 로봇, 음원추적, GCC-PHAT, FOV , 추적성공률

Description

음원 추적이 가능한 지능형 로봇 및 방법{AN INTELLIGENT ROBOT FOR LOCALIZING SOUND SOURCE BY FREQUENCY-DOMAIN CHARACTERISTICS AND METHOD THEREOF}
본 발명은 지능형 로봇에서 임의의 위치에서 발생한 음원의 방향을 추적하는 방법에 관한 것으로, 특히, 다채널 음원보드와 마이크가 장착된 지능형 로봇에서 주파수영역 특성을 이용하여 마이크간의 지연시간 값과 이들로부터 위치 추적각도를 구하도록 함으로써, 호출자가 어떤 방향(각도)에서 로봇을 호출했는지를 정확히 인지할 수 있도록 하는 음원 추적이 가능한 지능형 로봇 및 이를 이용한 음원 추적 방법에 관한 것이다.
본 발명은 정보통신부의 IT신성장동력핵심기술개발 사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호 : 2005-S-033-03, 과제명 : URC를 위한 내장형 컴포넌트 기술개발 및 표준화].
현재까지, 로봇 환경에서 음원추적기술은 2개의 마이크부터 여러 개의 마이 크를 이용하고 있으며, 특히 2개의 경우에는 휴머노이드 로봇에서 많이 사용되고 있다. 그러나 2개의 마이크를 이용할 경우 로봇의 모든 방향에서 음원추적이 가능하지 않고 0∼180도 사이에서만 음원 추적이 가능하다. 즉, 로봇의 앞과 뒤를 구별할 수 없는 단점과 함께 0도와 180도 부근에서는 특성상 많은 오류를 포함하고 있다.
한편, 2차원적인 방향뿐만 아니라 고도를 고려한 3차원의 음원추적에 관한 연구도 많이 진행되고 있다. 하지만, 지능형 서비스 로봇에서는 일반적으로 3차원보다는 2차원적인 정보를 이용한다. 또한, 음원으로써 박수소리, 로봇호칭 등이 일반적으로 사용되고 있으며, 인간 친화적인 음원으로 로봇호칭과 같은 음성에 좀 더 많이 사용되고 있다.
지능형 로봇에서 모든 방향의 음원을 추적하기 위해서는 적어도 3개 이상의 마이크가 필요하며, 이런 경우 마이크 간 지연시간으로부터 신뢰성 있는 음원추적 각도를 구하는 방법이 필요하다. 강도 기반에 의한 음원추적의 경우 강도가 큰 두 개의 신호로부터 얻어진 지연시간을 가지고 음원추적 각도를 계산하는 방법이 있지만, 이는 음원보드와 마이크의 정확한 이득(gain)을 맞추기가 어려운 단점을 가지고 있다. 또한, 마이크 간 지연시간 값의 양수 혹은 음수 정보로부터 경험적인 방법에 의해 마이크 간 구간을 선택한 후 선택된 구간으로부터 추적 각도를 구하는 방법이 있으나, 이 또한, 경험적인 방법에 의한 것이기 때문에 신뢰성 있는 추적각도를 구하기가 어려운 문제점을 가지고 있다.
따라서 본 발명은 종래 지능형 로봇에서 음원의 방향을 추적하는데 있어 발생하는 문제점을 해결하기 위해 안출된 것으로, 본 발명의 제 1목적은, 경험적인 구간선택방법이 아닌 구간 선택방법 없이 마이크 간 지연시간 값들로부터 직접적으로 신뢰성 있는 추적각도를 추정하는데 있다. 이를 위해 마이크 간 지연시간 값들로부터 후보되는 여러 개의 추적각도를 구할 수 있는데, 이들 각도 중에서 제일 유사한 두 개의 각도를 구하고 평균을 취함으로써 추적각도를 추정하는 방법이 사용되어진다. 또한 본 발명의 제2 목적은, 일반적으로 시간영역에서의 시간지연방법이 사용하지만, 로봇환경에 적합한 주파수 영역에서의 일반화된 상호상관관계(GCC: Generalized Cross-Correlation)기반의 음원추적을 제공하는데 있다. 좀 더 구체적으로 잡음환경과 반향에 강인한 GCC-PHAT (Phase Transform)방법이 사용되어진다.
상술한 본 발명은 음원 추적이 가능한 지능형 로봇으로서, 로봇이 위치한 일정 영역내 임의의 방향으로부터 음성신호 발생 시 다채널 마이크간 음성신호의 시간지연 값을 계산하여 상기 음성신호가 발생한 음원의 방향 각도를 추적하는 음원 추적부와, 상기 음원 추적부로부터 추적된 각도로 상기 로봇의 방향을 회전시키는 로봇 구동부와, 상기 음원 추적부를 통해 계산된 상기 음원의 방향 각도를 상기 로봇 구동부로 인가하여 상기 로봇이 상기 음원의 방향으로 회전하도록 제어하는 로 봇 제어부를 포함한다.
이때, 상기 음원 추적부는, 상기 다채널 마이크와 음원보드를 통해 상기 음원으로부터 발생되는 음성신호를 취득하는 음성 데이터 취득부와, 상기 취득된 음성신호에 대해 주파수 영역에서의 상호 상관관계를 기반으로 상기 다채널 마이크간 음성신호의 지연시간 값을 계산하는 지연시간 계산부와, 상기 마이크간 음성신호 지연시간 값을 이용하여 기하학적 방법에 근거하여 상기 음원의 방향 각도를 추정하는 추적각도 처리부를 포함하는 것을 특징으로 한다.
또한 본 발명은 지능형 로봇에서 음원을 추적하는 방법으로서, (a)다채널 마이크와 음원 보드를 통해 임의의 방향 음원으로부터 발생된 음성신호를 수신하는 단계와, (b)상기 다채널 마이크로 수신된 음성신호들에 대한 주파수 영역에서의 상호상관관계를 기반으로 각 음성신호의 지연시간을 산출하는 단계와, (c)상기 음성신호들간 지연시간 정보를 이용하여 상기 음원의 방향 각도를 산출하는 단계와, (d)상기 음원의 방향 각도로 향하도록 로봇을 회전시키는 단계를 포함하는 것을 특징으로 한다.
본 발명에서는 지능형 로봇에서 음원추적을 수행하기 위해 3개의 마이크와 음원보드를 통해 로봇의 모든 방향에서 음원추적이 가능하도록 구현함으로써, 높은 추적성공률을 얻을 수 있는 이점이 있다. 또한, 주파수영역에서 GCC-PHAT방법을 이용함으로써 로봇환경에 강인한 음원추적을 수행할 수 있을 뿐만 아니라, 기존의 경 험적인 구간선택 방법 없이 직접적으로 신뢰성 있는 추적각도를 추정함으로써 높은 추적각도의 정확성을 취득할 수가 있으며, 근거리뿐만 아니라 원거리(5m이내)에서 로봇을 호출함으로써 로봇과 자연스럽게 상호작용을 수행할 수 있도록 하는 이점이 있다.
이하, 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명의 구체적인 핵심 기술요지를 살펴보면, 지능형 로봇에서 음원추적을 수행하기 위해 3개의 마이크와 음원보드를 통해 로봇의 모든 방향에서 음원추적이 가능하도록 구현하며, 주파수영역에서 GCC-PHAT방법을 이용함으로써 로봇환경에 강인한 음원추적을 수행할 수 있을 뿐만 아니라, 기존의 경험적인 구간선택 방법 없이 직접적으로 신뢰성 있는 추적각도를 추정하는 기술을 통해 본 발명에서 이루고자 하는 바를 쉽게 달성할 수 있다.
도 1은 본 발명의 실시 예에 따른 음원 추적이 가능한 지능형 로봇의 블록 구성을 도시한 것으로, 본 발명의 지능형 로봇(100)은 로봇이 위치한 일정 범위의 영역내 임의의 방향으로부터 발생된 음원을 추적하는 음원 추적부(102)와, 로봇 제어부(104)의 제어에 따라 음원 추적부(102)로부터 추적된 음원 방향으로 로봇의 방향을 회전시키는 로봇 구동부(106)를 포함한다.
이하 위 도 1을 참조하여 지능형 로봇의 음원 추적을 위한 각 구성 요소의 동작을 상세히 설명하기로 한다.
먼저, 음원 추적부(102)는 음성 데이터 취득부(108)와, 지연시간 계산부(110), 추적각도 처리부(112)를 포함한다. 음성 데이터 취득부(108)는 다채널(3채널) 마이크와 음원보드를 통해 각 채널별 얻어지는 음성을 취득한다. 지연시간 계산부(110)는 상기 음성데이터 취득부(108)로부터 취득되는 음성신호로부터 주파수 영역에서의 GCC-PHAT 기반 음원추적 방법을 이용해 각 마이크별 음성신호의 지연시간 값을 계산한다. 추적각도 처리부(112)는 지연시간 계산부(110)를 통해 계산된 마이크 간의 지연시간으로부터 음원의 방향으로 예상되는 여러 개의 후보 추적 각도들을 계산하고 이들로부터 가장 신뢰성 있는 추적각도를 추정한다.
로봇 제어부(104)는 추적각도 처리부(112)로부터 추정된 결과적인 추적각도를 로봇을 호출한 호출자에 의해서 음원이 발생한 방향으로 판단하고, 로봇 구동부(106)를 제어하여 음원의 방향으로 로봇이 회전하도록 하여 호출자의 호출에 대해 로봇이 반응하도록 제어하게 된다. 로봇 구동부(106)는 로봇 제어부(104)의 제어에 따라 구동되어 추적각도 처리부(112)로부터 추정된 결과적인 추적각도로 로봇 바퀴 회전 중심축으로부터 로봇(100)을 회전시켜 로봇이 호출자가 위치한 방향을 향하도록 한다.
도 2는 본 발명의 실시 예에 따라 지능형 로봇에서 음원을 추적하는 동작 제어 흐름을 도시한 것이다. 이하 위 도 1 및 도 2를 참조하여 본 발명의 실시 예를 상세히 설명하기로 한다.
먼저, 지능형 로봇이 위치한 일정 범위의 영역 내에서 임의의 방향으로부터 예를 들어 호출자가 상기 로봇(100)을 호출하는 등의 원인으로 인해 음성신호가 발생하는 경우, 음원 추적부(102)내 음성 데이터 취득부(108)는 음원보드와 마이크로부터 각 채널별 음성신호를 취득한 후(S200), 상기 취득된 각 채널별 음성신호들에 대해 끝점 검출 알고리즘(Endpoint detection)을 이용하여 상기 시작점 및 끝점을 검출하여 음성을 검출한다(S202). 즉, 일반적으로 로봇호칭은 음성이 사용되기 때문에 검출된 음성신호가 적어도 0.5초 이상 유지되는 음성신호만을 받아들이고, 그 이하의 음성신호는 잡음으로 간주함으로써, 호출자의 음성신호를 검출하는 것이다.
위와 같이 음성 데이터 취득부(108)로부터 음성이 검출되는 경우 지연시간 계산부(110)는 음성 데이터 취득부(108)내 3개의 마이크로부터 얻어진 음성신호 각각에 대해 푸리에 변환(fourier transform)을 수행시킨 후(S204), 1번과 2번 마이크, 2번과 3번 마이크, 1번과 3번 마이크 간 일반화된 상호 상관관계(generalized cross-correlation : GCC)를 이용하여 피크점(peak point)을 찾아 지연시간 값을 구한다(S206). 이때 지연시간 값이 양수인 경우에는 기준 마이크보다 먼저 신호가 도달한 것이고, 음수인 경우에는 기준 마이크가 먼저 신호가 도달함을 의미한다.
이어, 추적각도 처리부(112)는, 지연시간 계산부(110)로부터 계산된 상기 마이크 간 지연시간 값들을 이용하여 기존의 경험적인 구간선택 방법 없이 직접적으로 기하학적인 방법에 근거하여 후보 되는 여러 개의 추적각도를 얻어낸 후(S208), 이들 후보 추적각도들 중 음원의 방향에 가장 근사한 것으로 계산되는 두 개의 추적 각도를 구하고 이들의 평균을 취함으로써 결과적인 추적각도를 추정한다(S210).
이어, 위와 같이 추적각도 처리부(112)로부터 음원의 방향이 추적되는 경우, 로봇 구동부(106)는 로봇 제어부(104)의 제어에 따라 추적각도 처리부(112)로부터 추정된 결과적인 추적각도로 로봇 바퀴 회전 중심축에 각도를 조정하고(S212), 상기 조정된 각도로부터 로봇 바퀴 회전 중심축을 회전시켜 로봇(100)이 호출자가 위치한 방향을 향하도록 한다(S214).
이하, 상기 도 2에서 음성신호간 지연시간 및 지연시간으로부터 추적각도를 산출하는 방법에 대해 해당 수학식을 이용하여 보다 상세히 살펴보기로 한다.
하기의 [수학식1]은 두 개의 마이크에서 얻어진 음성신호
Figure 112007074022758-PAT00001
과
Figure 112007074022758-PAT00002
사이의 일반화된 상호 상관관계(Rx1x2(n))를 나타낸다.
Figure 112007074022758-PAT00003
는 주파수 가중치 함수로써
Figure 112007074022758-PAT00004
의 역수이며 이 가중치 함수를 PHAT(Phase Transform)이라고 한다.
Figure 112007074022758-PAT00005
여기서,
Figure 112007074022758-PAT00006
: 음성신호(
Figure 112007074022758-PAT00007
)의 주파수 영역값이며,
Figure 112007074022758-PAT00008
: 음성신호(
Figure 112007074022758-PAT00009
)의 주파수 영역의 공액복소수값이다.
이때 상기 PHAT은 시간지연을 추정함에 있어서 각 주파수의 상대적인 중요성을 결정하는 주파수에 종속된 가중치 된 함수이며, 하기의 [수학식 2]와 같이 표현되어진다.
Figure 112007074022758-PAT00010
이에 따라 지연 시간(τ)은 하기의 [수학식 3]과 같이 피크점을 갖는 값을 이용해 구해진다.
Figure 112007074022758-PAT00011
이어, 위와 같이 GCC-PHAT 방법에 의해 지연시간이 구해지면, 이 지연시간값을 이용하여 음원의 방향에 대한 추적각도를 구하게 된다. 추적각도는 위 GCC-PHAT 방법에 의해 얻어진 지연시간 값으로부터 예비각도를 계산하여 구해지게 된다.
즉, 음원의 방향이 로봇에 구비되는 3개의 마이크에 대해 도 3에서와 같이 위치되는 것으로 가정하는 경우, 상기 지연시간 값(τ)을 이용한 음원의 예비각도는 아래의 [수학식 4]에서와 같이 계산된다.
Figure 112007074022758-PAT00012
여기서
Figure 112007074022758-PAT00013
는 마이크간의 거리,
Figure 112007074022758-PAT00014
는 음속도이며,
Figure 112007074022758-PAT00015
는 채널 1과 채널2간의 지연시간이다.
위와 같이 얻어진 예비각도로부터 계산된 6개의 후보 추적각도들은 아래의 [수학식 5]에서와 같이 계산되어질 수 있다.
Figure 112007074022758-PAT00016
Figure 112007074022758-PAT00017
위와 같이 음원 방향에 대한 6개의 후보 추적각도가 구해진 경우, 음원의 방향으로 추정되는 최종적인 추적 각도는 이들 6개각도 중 가장 적은 오차를 보이는 두 개의 각도를 얻어 평균값을 계산하게 된다. 이렇게 함으로써 잘못 추적된 각도 값을 얻을지라도 신뢰할 수 있는 추적각도를 얻을 수 있게 된다.
한편 상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있다. 따라서 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.
도 1은 본 발명의 실시 예에 따른 음원 추적이 가능한 지능형 로봇의 블록 구성도,
도 2는 본 발명의 실시 예에 따른 지능형 로봇에서 음원을 추적하는 동작 제어 흐름도,
도 3은 본 발명의 실시 예에 따른 3개의 마이크를 가지는 지능형 로봇에서 음원의 추적각도를 산출하는 개념도.
<도면의 주요 부호에 대한 간략한 설명>
108 : 음성데이터 취득부 110 : 지연시간 계산부
112 : 추적각도 처리부 106 : 로봇 구동부

Claims (17)

  1. (a)임의의 방향 음원으로부터 발생된 음성신호를 다채널 마이크와 음원 보드를 통해 수신하는 단계와,
    (b)상기 다채널 마이크로 수신된 음성신호들에 대한 주파수 영역에서의 상호상관관계를 기반으로 각 음성신호의 지연시간을 산출하는 단계와,
    (c)상기 음성신호들간 지연시간 정보를 이용하여 상기 음원의 방향 각도를 산출하는 단계와,
    (d)상기 음원의 방향 각도로 향하도록 로봇을 회전시키는 단계
    를 포함하는 지능형 로봇에서 음원 추적 방법.
  2. 제 1 항에 있어서,
    상기 (a)단계는,
    (a1)다채널 마이크와 음원 보드를 통해 오디오 신호를 취득하는 단계와,
    (a2)상기 취득된 오디오 신호로부터 호출자에 의한 음성신호를 검출하는 단계,
    를 포함하는 것을 특징으로 하는 지능형 로봇에서 음원 추적 방법.
  3. 제 2 항에 있어서,
    상기 (a2)단계에서, 상기 오디오 신호 중, 일정 기준시간이상 지속되는 오디오 신호만을 호출자의 음성신호로 검출하는 것을 특징으로 하는 지능형 로봇에서 음원 추적 방법.
  4. 제 1 항에 있어서,
    상기 (b)단계는,
    (b1)상기 다채널 마이크로부터 얻어진 각 음성신호에 대해 각각 푸리에 변환을 수행하여 주파수 가중치 함수 값을 구하는 단계와,
    (b2)상기 음성신호들간 가중치 함수값을 이용하여 상기 음성신호들간 상호 상관값을 계산하는 단계와,
    (b3)상기 계산된 상관값의 피크점을 찾아 상기 음성신호들간 상호 지연시간을 산출하는 단계
    를 포함하는 것을 특징으로 하는 지능형 로봇에서 음원 추적 방법.
  5. 제 4항에 있어서,
    상기 가중치 함수 값(
    Figure 112007074022758-PAT00018
    )는,
    상기 마이크로부터 얻어진 두 개의 음성신호(
    Figure 112007074022758-PAT00019
    ,
    Figure 112007074022758-PAT00020
    )로부터
    아래의 수학식에서와 같이
    [수학식]
    Figure 112007074022758-PAT00021
    Figure 112007074022758-PAT00022
    : 음성신호(
    Figure 112007074022758-PAT00023
    )의 주파수 영역값
    Figure 112007074022758-PAT00024
    : 음성신호(
    Figure 112007074022758-PAT00025
    )의 주파수 영역의 공액복소수값
    산출되는 것을 특징으로 하는 지능형 로봇에서 음원 추적 방법.
  6. 제 5 항에 있어서,
    상기 두 음성신호간 상호 상관값(Rx1x2(n))은,
    아래의 수학식에서와 같이
    [수학식]
    Figure 112007074022758-PAT00026
    Figure 112007074022758-PAT00027
    : 가중치 함수
    Figure 112007074022758-PAT00028
    : 음성신호(
    Figure 112007074022758-PAT00029
    )의 주파수 영역값
    Figure 112007074022758-PAT00030
    : 음성신호(
    Figure 112007074022758-PAT00031
    )의 주파수 영역의 공액복소수값
    산출되는 것을 특징으로 하는 지능형 로봇에서 음원 추적 방법.
  7. 제 6 항에 있어서,
    상기 두 음성신호간 지연시간(τ)은,
    아래의 수학식에서와 같이
    [수학식]
    Figure 112007074022758-PAT00032
    Rx1x2(n) : 두 음성신호(
    Figure 112007074022758-PAT00033
    ,
    Figure 112007074022758-PAT00034
    )의 상호 상관값
    산출되는 것을 특징으로 하는 지능형 로봇에서 음원 추적 방법.
  8. 제 1 항에 있어서,
    상기 (c)단계는,
    (c1)상기 음성신호들의 지연시간으로부터 음원의 방향으로 추정되는 다수의 추적 각도를 계산하는 단계와,
    (c2)상기 다수의 추적 각도들로부터 가장 근사한 두 개의 추적각도를 선택하는 단계와,
    (c3)상기 두 개의 추적각도의 평균을 구해 상기 음원에 대한 각도로 계산하는 단계
    를 포함하는 것을 특징으로 하는 지능형 로봇에서 음원 추적 방법.
  9. 제 8 항에 있어서,
    상기 (c1)단계는,
    상기 마이크가 3개인 경우, 상기 지연시간(τ)을 이용하여 각 마이크를 연결하는 세 개의 직선과 상기 음원의 방향이 형성하는 예비각도(α,β,γ)를 구한 후, 상기 예비각도로부터 상기 음원이 로봇과 이루는 다수의 추적각도를 산출하는 것임을 특징으로 하는 지능형 로봇에서 음원 추적 방법.
  10. 제 9 항에 있어서,
    상기 예비각도(α,β,γ)는,
    아래의 수학식에서와 같이
    [수학식]
    Figure 112007074022758-PAT00035
    Figure 112007074022758-PAT00036
    는 마이크간의 거리,
    Figure 112007074022758-PAT00037
    는 음속도,
    Figure 112007074022758-PAT00038
    는 마이크 1과 마이크 2간의 지연시간
    산출되는 것을 특징으로 하는 지능형 로봇에서 음원 추적 방법.
  11. 제 1 항에 있어서,
    상기 (d)단계는,
    (d1)상기 음원의 방향 각도로 로봇 바퀴 회전 중심축에 각도를 조정하는 단계와,
    (d2)상기 조정된 각도로부터 로봇 바퀴 회전 중심축을 회전시켜 로봇이 음원의 발생한 방향을 향하도록 하는 단계
    를 포함하는 것을 특징으로 하는 지능형 로봇에서 음원 추적 방법.
  12. 로봇이 위치한 일정 영역내 임의의 방향으로부터 음성신호 발생 시 다채널 마이크간 음성신호의 시간지연 값을 계산하여 상기 음성신호가 발생한 음원의 방향 각도를 추적하는 음원 추적부와,
    상기 음원 추적부로부터 추적된 각도로 상기 로봇의 방향을 회전시키는 로봇 구동부와,
    상기 음원 추적부를 통해 계산된 상기 음원의 방향 각도를 상기 로봇 구동부로 인가하여 상기 로봇이 상기 음원의 방향으로 회전하도록 제어하는 로봇 제어부
    를 포함하는 음원추적이 가능한 지능형 로봇.
  13. 제 12 항에 있어서,
    상기 음원 추적부는,
    상기 다채널 마이크와 음원보드를 통해 상기 음원으로부터 발생되는 음성신 호를 취득하는 음성 데이터 취득부와,
    상기 취득된 음성신호에 대해 주파수 영역에서의 상호 상관관계를 기반으로 상기 다채널 마이크간 음성신호의 지연시간 값을 계산하는 지연시간 계산부와,
    상기 마이크간 음성신호 지연시간 값을 이용하여 기하학적 방법에 근거하여 상기 음원의 방향 각도를 추정하는 추적각도 처리부
    를 포함하는 것을 특징으로 하는 음원추적이 가능한 지능형 로봇.
  14. 제 13 항에 있어서,
    상기 음성 데이터 취득부는,
    상기 다채널 마이크와 음원보드로부터 수신되는 오디오 신호 중 일정 기준시간 이상 지속되는 오디오 신호를 호출자의 음성신호로 검출하는 것을 특징으로 하는 음원추적이 가능한 지능형 로봇.
  15. 제 13 항에 있어서,
    상기 지연시간 계산부는,
    상기 다채널 마이크로부터 얻어진 각 음성신호에 대해 각각 푸리에 변환을 수행하여 가중치 함수 값을 구한 후, 이를 이용하여 상기 음성신호들간 상호 상관값을 계산하여 음성신호들간 지연시간을 계산하는 것을 특징으로 하는 음원추적이 가능한 지능형 로봇.
  16. 제 13 항에 있어서,
    상기 추적각도 처리부는,
    상기 음성신호들의 지연시간으로부터 음원의 방향으로 추정되는 다수의 추적각도를 계산하여 상기 음원의 방향과 가장 근사한 두 개의 추적각도를 선택한 후, 상기 두 개의 추적각도의 평균을 구해 상기 음원의 방향 각도를 산출하는 것을 특징으로 하는 음원추적이 가능한 지능형 로봇.
  17. 제 16 항에 있어서,
    상기 추적각도 처리부는,
    상기 마이크가 3개인 경우, 음성신호간 지연시간(τ)을 이용하여 각 마이크를 연결하는 세 개의 직선과 상기 음원의 방향이 형성하는 예비각도(α,β,γ)를 구한 후, 상기 예비각도로부터 상기 음원이 로봇과 이루는 다수의 추적각도를 산출하는 것을 특징으로 하는 음원추적이 가능한 지능형 로봇.
KR1020070104131A 2007-10-16 2007-10-16 음원 추적이 가능한 지능형 로봇 및 방법 KR100943224B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070104131A KR100943224B1 (ko) 2007-10-16 2007-10-16 음원 추적이 가능한 지능형 로봇 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070104131A KR100943224B1 (ko) 2007-10-16 2007-10-16 음원 추적이 가능한 지능형 로봇 및 방법

Publications (2)

Publication Number Publication Date
KR20090038697A true KR20090038697A (ko) 2009-04-21
KR100943224B1 KR100943224B1 (ko) 2010-02-18

Family

ID=40762799

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070104131A KR100943224B1 (ko) 2007-10-16 2007-10-16 음원 추적이 가능한 지능형 로봇 및 방법

Country Status (1)

Country Link
KR (1) KR100943224B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101115366B1 (ko) * 2011-01-12 2012-02-15 한국과학기술원 음원 방향 검지 방법, 음원 방향 검지 장치 및 음향 청취 방법
US8270632B2 (en) 2010-03-15 2012-09-18 Korea Institute Of Science And Technology Sound source localization system and method
KR101354960B1 (ko) * 2012-04-26 2014-01-23 한국과학기술원 영역 개념을 이용한 음파 입사 방향 추정 방법
KR20140121168A (ko) * 2013-04-05 2014-10-15 고려대학교 산학협력단 방향성 음향 신호 처리 장치
CN105681939A (zh) * 2014-11-18 2016-06-15 中兴通讯股份有限公司 一种终端拾音控制方法、终端及终端拾音控制系统
KR20180086046A (ko) * 2017-01-20 2018-07-30 한화에어로스페이스 주식회사 감시 시스템 및 그 동작 방법
CN110867178A (zh) * 2018-08-28 2020-03-06 中国科学院声学研究所 一种多通道远场语音识别方法
KR20210003491A (ko) * 2019-07-02 2021-01-12 엘지전자 주식회사 로봇 및 그의 구동 방법
US20220132263A1 (en) * 2019-01-28 2022-04-28 Young Eon Kim Method and apparatus for recognizing sound source

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100390379B1 (ko) * 2000-07-28 2003-07-07 김인광 자동 방향 검출 장치 및 그 방법
JP4210897B2 (ja) 2002-03-18 2009-01-21 ソニー株式会社 音源方向判断装置及び音源方向判断方法
JP2004257877A (ja) 2003-02-26 2004-09-16 Seiko Epson Corp 音源検出方法、音源検出装置及びロボット
KR100758707B1 (ko) * 2005-12-08 2007-09-14 한국전자통신연구원 로봇 환경에서 음원 추적 시스템 및 방법

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8270632B2 (en) 2010-03-15 2012-09-18 Korea Institute Of Science And Technology Sound source localization system and method
KR101115366B1 (ko) * 2011-01-12 2012-02-15 한국과학기술원 음원 방향 검지 방법, 음원 방향 검지 장치 및 음향 청취 방법
KR101354960B1 (ko) * 2012-04-26 2014-01-23 한국과학기술원 영역 개념을 이용한 음파 입사 방향 추정 방법
KR20140121168A (ko) * 2013-04-05 2014-10-15 고려대학교 산학협력단 방향성 음향 신호 처리 장치
CN105681939A (zh) * 2014-11-18 2016-06-15 中兴通讯股份有限公司 一种终端拾音控制方法、终端及终端拾音控制系统
KR20180086046A (ko) * 2017-01-20 2018-07-30 한화에어로스페이스 주식회사 감시 시스템 및 그 동작 방법
CN110867178A (zh) * 2018-08-28 2020-03-06 中国科学院声学研究所 一种多通道远场语音识别方法
CN110867178B (zh) * 2018-08-28 2022-01-21 中国科学院声学研究所 一种多通道远场语音识别方法
US20220132263A1 (en) * 2019-01-28 2022-04-28 Young Eon Kim Method and apparatus for recognizing sound source
US12015908B2 (en) * 2019-01-28 2024-06-18 Young Eon Kim Method and apparatus for recognizing sound source
KR20210003491A (ko) * 2019-07-02 2021-01-12 엘지전자 주식회사 로봇 및 그의 구동 방법

Also Published As

Publication number Publication date
KR100943224B1 (ko) 2010-02-18

Similar Documents

Publication Publication Date Title
KR100943224B1 (ko) 음원 추적이 가능한 지능형 로봇 및 방법
US8290178B2 (en) Sound source characteristic determining device
US7536029B2 (en) Apparatus and method performing audio-video sensor fusion for object localization, tracking, and separation
Hu et al. Simultaneous localization of a mobile robot and multiple sound sources using a microphone array
US8731715B2 (en) Mobile device and method and computer-readable medium controlling same for using with sound localization
EP1643769B1 (en) Apparatus and method performing audio-video sensor fusion for object localization, tracking and separation
KR100877914B1 (ko) 음원위치-지연시간차 상관관계 역 추정에 의한 음원 방향검지 시스템 및 방법
KR20060086231A (ko) 이동체 제어 장치 및 방법
KR20070061056A (ko) 로봇 환경에서 음원 추적 시스템 및 방법
KR100822880B1 (ko) 지능형 로봇 환경에서 오디오-비디오 기반 음원추적을 통한화자 인식 시스템 및 방법
JP2006194700A (ja) 音源方向推定システム、音源方向推定方法及び音源方向推定プログラム
Ince et al. Assessment of general applicability of ego noise estimation
Barfuss et al. HRTF-based robust least-squares frequency-invariant beamforming
CN107396244B (zh) 一种基于麦克风阵列的声源定位系统及方法
KR101172355B1 (ko) 가변 구조형 마이크로폰 어레이를 이용한 음원 방향 검지 장치 및 방법
KR101172354B1 (ko) 회전형 마이크로폰 어레이를 이용한 음원 방향 검지 장치 및 방법
EP2362238B1 (en) Estimating the distance from a sensor to a sound source
JP5660362B2 (ja) 音源定位装置及びコンピュータプログラム
JP5692006B2 (ja) 音源推定装置、方法、プログラム、及び移動体
Berglund et al. Sound source localisation through active audition
KR20110060183A (ko) 로봇 플랫폼에 의해 발생한 반사파 제거 신호처리 장치 및 방법
KR20130046779A (ko) 음원 방향 추정장치 및 방법
Brutti et al. Speaker localization based on oriented global coherence field
EP1531339A3 (de) Verfahren zum passiven Bestimmen von Zieldaten
KR101837845B1 (ko) 수중 표적 정보 획득 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130205

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140123

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150115

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160202

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170209

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180201

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190211

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20200210

Year of fee payment: 11