KR20110057661A - 이동체 및 그 제어방법 - Google Patents

이동체 및 그 제어방법 Download PDF

Info

Publication number
KR20110057661A
KR20110057661A KR1020090114150A KR20090114150A KR20110057661A KR 20110057661 A KR20110057661 A KR 20110057661A KR 1020090114150 A KR1020090114150 A KR 1020090114150A KR 20090114150 A KR20090114150 A KR 20090114150A KR 20110057661 A KR20110057661 A KR 20110057661A
Authority
KR
South Korea
Prior art keywords
sound source
sound
moving object
moving
angle
Prior art date
Application number
KR1020090114150A
Other languages
English (en)
Other versions
KR101761315B1 (ko
Inventor
고원준
김용재
한우섭
박기철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090114150A priority Critical patent/KR101761315B1/ko
Priority to US12/954,236 priority patent/US8731715B2/en
Publication of KR20110057661A publication Critical patent/KR20110057661A/ko
Application granted granted Critical
Publication of KR101761315B1 publication Critical patent/KR101761315B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8083—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

음원방향추정기술로 음원과의 거리를 계산하여 이동하는 이동체 및 그 제어방법이 개시된다. 이동체는 음원의 호출음이 발생하면 이동체에서 음원을 향한 방향의 수직 방향으로 기준거리만큼 이동하고, 기준거리를 이동한 후 음원에 재호출음을 요구하는 음성을 출력하며, 음원에서 재호출음이 발생하면 이동체가 위치하는 방향각을 확인하고, 기준거리와 이동체가 위치하는 방향각에 따라 음원과의 거리를 계산하여 음원 근처로 이동할 수 있다.

Description

이동체 및 그 제어방법{MOBILE DEVICE AND CONTROL METHOD THEREOF}
주행정보를 생성하여 이동하는 이동체 및 그 제어방법에 관한 것이다.
일반적으로 이동 가능한 로봇은 산업용에서 완구용에 이르기까지 많은 분야에서 이용되고 있다. 이러한 로봇에 장착된 검출장치 중의 하나로써, 음원의 방향을 검출하기 위한 음원방향 검출장치가 있다. 음원방향 검출장치는 로봇에 장착된 수신기를 통해 음향신호가 출력되는 순서를 이용하여 음원의 방향을 검출하며, 이러한 음원에서 출력되는 소리는 비젼보다 데이터량이 적고, 단조로운 데이터 형태를 가지는 단점이 있으나, 조명이 없는 곳이나 장애물이 있어 시야를 벗어나 보이지 않는 곳 등의 환경에서도 유용하다는 점에서, 소리는 비젼이 인식하지 못하는 것들을 보완해줄 수 있는 중요한 정보이다.
한편, 로봇에 마이크로폰을 부착시키고 사용자의 호출 음성이나 박수소리를 입력받아 인식함으로서 카메라나 키보드와 같은 입력 시스템 대용으로 활용할 수 있도록 하는 자동 인터페이스 기능 구현을 위한 연구가 수행되고 있으며, 로봇 스스로가 소비자의 목소리를 포함하는 음원에 반응하여 그 위치를 정확히 찾아가는 기술에 대한 관심이 높아지고 있는 실정이다.
음원의 출력에 따라 음원 방향을 계산하는 음원방향추정기술을 사용하여 이동체와 음원과의 거리를 계산하고, 계산된 거리 정보에 따라 음원 근처로 이동하는 이동체 및 그 제어방법을 제공한다.
전술한 과제를 해결하기 위한 본 발명의 일실시예에 의한 이동체의 제어방법은 음원의 호출음이 발생하면 이동체에서 상기 음원을 향한 방향의 수직 방향으로 기준거리만큼 이동하고, 상기 음원에 재호출음을 요구하는 음성을 출력하며, 상기 이동체가 위치하는 방향각을 확인하고, 상기 기준거리와 상기 이동체가 위치하는 방향각에 따라 상기 음원과의 거리를 계산하여 이동하는 것이 바람직하다.
상기 음원의 호출음이 발생하면 상기 이동체에서 상기 음원을 향한 방향의 수직 방향으로 기준거리를 이동하는 것은, 상기 호출음에 따라 상기 이동체의 전방 방향과 상기 이동체에서 상기 음원을 향한 방향 사이의 각도를 확인하고, 상기 음원을 향한 방향에 수직이 되는 각도와 상기 이동체에서 상기 음원을 향한 방향 사이의 각도에 따라 상기 이동체를 회전시켜 상기 기준거리를 이동하는 것이 바람직하다.
상기 이동체에서 상기 음원을 향한 방향의 수직 방향으로 기준거리를 이동하는 것은, 상기 이동체에서 상기 음원을 향한 방향의 오른쪽으로 수직한 방향으로 상기 기준거리를 이동하는 것이 바람직하다.
상기 이동체에서 상기 음원을 향한 방향의 수직 방향으로 기준거리를 이동하는 것은, 상기 이동체에서 상기 음원을 향한 방향의 왼쪽으로 수직한 방향으로 상기 기준거리를 이동하는 것이 바람직하다.
상기 기준거리와 상기 이동체가 위치하는 방향각에 따라 상기 음원과의 거리는 다음 식에 의해 계산되는 것이 바람직하다.
R = L/cos(180-θ)
여기서, R은 이동체와 음원과의 거리이며, L은 기준거리이며, θ는 이동체가 음원에 대해 위치하는 방향각이다.
상기 기준거리와 상기 이동체가 위치하는 방향각에 따라 상기 음원과의 거리를 계산하면, 상기 이동체는 상기 음원의 방향 및 상기 거리에 대한 정보를 주행 정보로 하여 상기 음원으로 이동하는 것이 바람직하다.
상기 음원의 호출음은 상기 이동체에 미리 저장된 일정 패턴의 소리인 것이 바람직하다.
상기 기준거리는 상기 이동체의 주변 상황에 따라 변화 가능하며, 상기 기준거리가 변화하면 상기 변화된 기준거리와 상기 이동체가 위치하는 방향각에 따라 상기 음원과의 거리를 계산하는 것이 바람직하다.
그리고, 본 발명의 일실시예에 의한 이동체는 호출음에 따라 음원을 기준으로 이동체가 위치한 방향각을 추정하는 방향추정부;와 상기 추정된 방향각을 이용하여 주행 방향을 결정하는 주행방향결정부;와 상기 이동체를 상기 주행 방향으로 기준거리만큼 이동시키는 주행구동부;와 상기 음원의 재호출음을 요구하는 음성을 출력하는 음성출력부; 및 상기 재호출음에 따라 상기 음원을 기준으로 상기 이동체가 위치한 방향각이 추정되면 상기 기준거리와 상기 이동체가 위치한 방향각에 따라 상기 음원과 상기 이동체와의 거리를 계산하는 음원위치계산부;를 포함하는 것이 바람직하다.
상기 방향추정부는 상기 음원에서 발생하는 호출음 또는 재호출음에 따라 상기 음원을 기준으로 상기 이동체가 위치한 방향각을 추정하는 것이 바람직하다.
상기 음원을 기준으로 상기 이동체가 위치한 방향은, 상기 이동체의 정면방향과 상기 이동체에서 상기 음원을 향한 방향 사이의 각도인 것이 바람직하다.
상기 주행방향결정부는 상기 호출음이 발생하면 상기 이동체에서 상기 음원을 향한 방향의 수직 방향으로 상기 주행 방향을 결정하는 것이 바람직하다.
상기 주행방향결정부는 상기 재호출음이 발생하면 상기 이동체에서 상기 음원을 향한 방향으로 상기 주행 방향을 결정하는 것이 바람직하다.
상기 주행구동부는 상기 음원과 상기 이동체와의 거리가 계산되면 상기 이동체를 상기 음원으로 주행시키는 것이 바람직하다.
상기 음성출력부는 상기 이동체가 상기 기준거리만큼 이동하면 상기 음원의 재호출음을 요구하는 음성을 출력하는 것이 바람직하다.
상기 음원위치계산부는 상기 재호출음에 따라 추정된 상기 이동체가 위치한 방향각과 상기 기준거리에 따라 다음 식에 의해 상기 음원과 이동체와의 거리를 계산하는 것이 바람직하다.
R = L/cos(180-θ)
여기서, R은 이동체와 음원과의 거리이며, L은 기준거리이며, θ는 이동체가 음원에 대해 위치하는 방향이다.
상술한 본 발명의 일측면에 의하면 거리를 측정하기 위한 별다른 센서 없이 음원의 출력에 따라 추정된 이동체의 방향각에 대한 정보를 이용하여 음원과 이동체와의 거리를 계산할 수 있다.
이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다.
도 1은 본 발명의 일실시예에 의한 이동체의 제어 블록도이다.
도 2a 내지 도 2c는 다중 마이크의 구조를 나타내는 도면으로서, 도 2a는 이동체의 외관을 나타내고, 도 2b는 도 2a에 도시된 이동체의 외부에 부착될 수 있는 다중 마이크의 구조의 일례를 나타내는 도면이고, 도 2c는 도 2a에 도시된 이동체의 외부에 부착될 수 있는 다중 마이크의 구조의 다른 예를 나타내는 도면이다.
도 1에 도시한 바와 같이, 이동체(100)는 소리검출부(10), 방향추정부(20), 주행방향결정부(30), 음원위치계산부(40), 제어부(50), 주행구동부(60) 및 음성출력부(70)를 포함한다.
소리검출부(10)는 외부에서 입력되는 신호의 잡음을 제거하고, 잡음이 제거된 신호에서 소정 레벨의 신호 성분을 검출하며, 검출된 신호가 소정 패턴의 소리인가 검사한다. 소리검출부(10)는 외부에서 입력되는 신호가 소정 패턴의 소리인 것으로 확인되면 그 신호를 방향추정부(20)에 전송한다.
방향추정부(20)는 음원(200)을 기준으로 이동체(100)가 위치한 방향각을 추정한다. 방향추정부(20)는 음원(200)으로부터 발생되는 소리에 응답하여 이동체(100)의 방향각을 추정할 수 있다. 방향추정부(20)는 음원(200)에서 발생한 소리를 도 2에 도시한 다중 마이크를 통해 입력받는다. 한편, 도 5a를 참조하면, 이동체(100)가 제1위치(P1)에 위치할 때 음원(200)을 기준으로 이동체(100)가 위치한 방향각이란 이동체(100)의 정면방향(111a)과 이동체(100)가 음원(200)을 바라보는 방향(110a) 사이의 각도가 될 수 있다. 이동체(100)의 정면방향(111a)과 이동체(100)가 음원(200)을 바라보는 방향(110a) 사이의 각도는 θ1, θ2 두 개의 각도가 있는데, 이동체(100)는 정면 방향을 기준으로 반시계 방향으로 회전할 때의 각도(θ1)를 이동체(100)가 위치한 방향각으로 정의할 수 있으며, 이동체(100)의 정면 방향을 기준으로 시계 방향으로 회전할 때의 각도(θ2)를 이동체(100)가 위치한 방향각으로 정의할 수도 있다. 이하, 이동체(100)의 정면 방향을 기준으로 반시계 방향으로 회전할 때의 각도(θ1)를 이동체(100)가 위치한 방향각으로 가정하여 설명하기로 한다.
방향추정부(20)는 이동체(100)의 정면방향(111a)과 이동체(100)에서 음원(200)을 향한 방향(110a) 사이의 각도(θ1)가 -180<θ1<180 를 만족하는 각도이면 그 각도를 이동체(100)가 위치한 방향각으로 추정한다. 방향추정부(20)는 이동체(100)의 정면방향(111a)과 이동체(100)가 음원(200)을 바라보는 방향(110a) 사이의 각도(θ1)가 -180<θ1<180 를 만족하지 않는 각도이면 각도(θ1)에 ㅁ360 연산을 수행하여 -180<θ1<180를 만족하는 각도로 수정한다. 즉, 추정된 각도(θ1)가 180도 보다 큰 경우에는 (추정된 각도(θ1) - 360)연산을 수행하고, 추정된 각도(θ1)가 -180도 보다 작은 경우에는 (추정된 각도(θ1)+360)연산을 수행하여 추정되는 각도를 -180<θ1<180 범위 내로 속하게 한다. 도 5a를 참조하면, 제1위치(P1)에서 이동체(100)가 위치한 방향각은 θ1가 된다. θ1(예를 들면, 330도)은 -180<θ<180 사이의 범위에 속하지 않고 180도보다 크므로 (330-360=-30)연산을 수행함으로서 -180<θ(=-30)<180 사이의 범위에 속하게 한다. 이 때, 음원(200)을 기준으로 이동체(100)가 위치한 방향각은 -30도로 추정된다.
주행방향결정부(30)는 방향추정부(20)에서 추정된 방향각을 이용하여 주행 방향을 결정한다. 도 5a를 참조하면, 주행방향결정부(30)는 방향추정부(20)에서 추정된 이동체(100)의 방향각(θ1)에 따라 음원(200)이 위치한 방향(110a)을 확인하고, 음원(200)의 위치 방향에 수직한 방향(112a)을 이동체(100)가 이동할 첫번째 방향으로 결정한다.
주행방향결정부(30)는 음원(200)이 위치한 방향에 수직한 방향으로 이동체(100)가 이동한 후, 후술하는 방법으로 음원(200)과 이동체(100)의 거리가 계산되면 음원(200)을 향하여 이동체(100)가 이동하도록 그 방향을 결정한다. 주행방향결정부(30)는 도 5a에 도시한 바와 같이, 음원(200)이 위치한 방향에 대해 오른쪽으로 수직한 방향으로 이동체(100)의 주행 방향을 결정하거나 도 5b에 도시한 바와 같이, 음원(200)의 위치 방향에 대해 왼쪽으로 수직한 방향으로 이동체(100)의 주행 방향을 결정할 수 있다. 한편, 주행방향결정부(30)가 음원(200)의 위치 방향에 대해 오른쪽으로 수직한 방향으로 이동할 것인지 왼쪽으로 수직한 방향으로 이동할 것인지 여부는 설계자에 의해 미리 설계될 수 있으며, 이동체(100)의 주위 환경(예를 들면, 장애물 발견)에 따라 제어부(50)에서 정할 수 있도록 설계하는 것도 가능하다.
음원위치계산부(40)는 음원(200)과 이동체(100) 사이의 거리를 계산한다. 도 5a를 참조하면, 이동체(100)가 제1위치(P1)에서 제2위치(P2)로 일정 거리(L : 이하 "기준 거리"라 함)를 이동하고, 기준거리를 이동한 상태에서 방향추정부(20)는 음원(200)을 기준으로 이동체(100)가 위치한 방향각(θ3)을 추정한다. 음원위치계산부(40)는 기준거리(L)와, 기준거리(L)를 이동한 상태에서 추정한 이동체(100)가 위치한 방향각(θ3)을 이용하여 다음 수학식1과 같이 음원(200)과의 거리(R)를 계산한다.
수학식 1
R = L/cos(180-θ3)
제어부(50)는 주행방향결정부(30)에서 결정된 주행방향에 따라 이동체(100)가 음원(200) 방향으로 이동하도록 주행구동부(60)를 제어한다. 제어부(50)는 음원위치계산부(40)에서 전송되는 음원(200)과의 거리 정보에 따라 주행구동부(60)를 제어하여 음원(200) 근처로 이동체(100)를 이동시킨다. 도 5a를 참조하면, 제어부(50)는 제2위치(P2)에서 계산된 이동체(100)와 음원(200)과의 거리(R)에 대한 정보와 음원(200)이 위치한 방향(113a) 정보에 따라 음원(200) 방향으로 이동체(100)가 이동하도록 제어한다. 한편, 제어부(50)는 주행구동부(60)를 제어하여 이동체(100)를 R보다 짧은 거리만큼 음원(200) 방향으로 이동시켜 충돌없이 음원(200) 근처에 이동체(100)가 멈추도록 제어한다.
제어부(50)는 이동체(100)가 도 5a의 제2위치(P2)에 도달하면 음성출력부(70)를 구동시켜 음원(200)의 재호출을 요청한다. 제2위치(P2)에서 음원(200)의 소리가 출력되면, 주행방향결정부(30)는 제2위치(P2)에서 음원(200)의 소리에 따라 이동체(100)가 음원(200)에 대해 위치한 방향을 추정할 수 있다.
주행구동부(60)는 제어부(50)의 제어에 따라 구동바퀴 등을 구동시켜 이동체(100)를 이동시킨다.
음성출력부(70)는 도 5a의 제2위치(P2)에 도달하면 음성을 출력하여 음원(200)의 소리가 출력되도록 유도한다. 예를 들어, 음성출력부(70)는 "박수를 쳐주세요" 또는 "저를 불러주세요" 등의 음성을 출력하여 음원(200)에 소리를 출력할 것을 요청한다.
도 3은 본 발명의 일실시예에 의한 소리검출부의 블록도이다.
도 3에 도시한 바와 같이, 소리검출부(10)는 잡음을 제거하는 잡음제거부(12)와, 잡음이 제거된 신호에서 소정 레벨의 신호 성분을 검출하는 성분추출부(14)와, 성분추출부(14)에서 검출된 신호가 소정 패턴의 소리인가 검사하는 소리인식부(16)를 포함한다.
잡음제거부(12)는 발생된 소리를 입력받고, 입력받은 소리에서 잡음을 제거하며, 잡음이 제거된 결과를 성분추출부(14)로 출력한다. 잡음제거부(12)는 단위 채널(1-channel)음성 향상기(SE : Speech Enhancement)로 구현될 수 있다.
성분추출부(14)는 잡음제거부(12)로부터 입력한 잡음이 제거된 결과에서 소 정 레벨 이상의 신호 성분을 추출하고, 추출된 신호 성분을 소리인식부(16)로 출력한다. 성분추출부(14)는 일종의 음성 구간 검출기(VAD : Voice Activity Dectector)로 구현될 수 있다.
소리인식부(16)는 성분추출부(14)에서 추출된 신호 성분이 소정의 소리인가를 검사하고, 검사된 결과를 소리 검출 신호로 출력한다.
도 4는 본 발명의 일실시예에 의한 방향추정부의 블록도이다.
도 4에 도시한 바와 같이, 방향추정부(20)는 소리추정부(21), 실수변환부(22), 소리예측부(23), 소리오차생성부(24), 상태벡터보정부(25), 시간지연부(26) 및 상태벡터예측부(27)를 포함한다.
실수변환부(22)는 입력단자를 통해 입력된 복소수(complex value) 형태의 다 채널 소리를 실수로 변환하고, 변환된 실수를 소리오차생성부(24)로 출력한다. 여기서, 다채널 소리란 도 2에 도시한 다중 마이크를 통해 입력되는 소리를 의미한다.
소리추정부(21)는 입력단자를 통해 입력한 복소수 형태의 다채널 소리와 상태벡터예측부(27)로부터 입력한 예측된 상태 벡터를 이용하여 소리를 추정하고, 추정된 소리를 소리예측부(23)로 출력한다. 예컨데, 소리추정부(21)는 소리를 다음 수학식 2와 같이 추정할 수 있다.
수학식 2
Figure 112009072261517-PAT00001
여기서,
Figure 112009072261517-PAT00002
는 소리추정부(21)에서 추정된 소리를 나타내고, Zarray(kT)는 입력단자를 통해 입력되는 복소수 형태의 다 채널 소리를 나타내고, T는 샘플링 시간을 나타내며, A(θ(t))는 다음 수학식과 같다.
수학식 3
Figure 112009072261517-PAT00003
여기서, a는 스티어링 벡터(steering vector)로서, 도 2c의 다중 마이크 형태, 장 필드 협 대역(Far-Field Narrowband)의 소리 신호에 대해서 a(θ(t))는 다음 수학식과 같이 표현된다.
수학식 4
Figure 112009072261517-PAT00004
여기서, d는 인접 마이크들간의 간격을 나타내고, λ는 음원(200)의 파장을 나타내고, p는 다중 마이크에 포함된 마이크의 개수를 나타내며, 도 2(c)의 경우 p=8이 된다.
소리예측부(23)는 소리추정부(21)에서 추정된 소리와 상태벡터예측부(27)에서 예측된 상태 벡터를 이용하여 소리를 예측하고, 예측된 소리를 소리오차생성부(24)로 출력한다. 예컨데, 소리예측부(23)는 다음 수학식과 같이 소리를 예측한다.
수학식 5
Figure 112009072261517-PAT00005
여기서,
Figure 112009072261517-PAT00006
는 소리예측부(23)에서 예측된 소리로서, 시점(k-1)에서 z(k)를 예측한 상태를 나타내고, z(k)는 다음 수학식과 같이 표현될 수 있다.
수학식 6
Figure 112009072261517-PAT00007
여기서, s(t)는 음원에서 발생된 소리를 의미하고, Real{i}는 i의 실수를 나타내고, Image{i}는 i의 허수를 나타내며, n(t)는 측정 잡음으로서 다음 수학식과 같이 표현될 수 있다.
수학식 7
Figure 112009072261517-PAT00008
전술한 수학식 5에서
Figure 112009072261517-PAT00009
는 상태벡터예측부(27)에서 예측된 상태 벡터로서 시점(k-1)에서 x'(k)의 상태를 나타내고, x'(k)는 다음 수학식과 같이 표현될 수 있다.
수학식 8
Figure 112009072261517-PAT00010
여기서 F' 및 G'는 다음 수학식과 같다.
수학식 9
Figure 112009072261517-PAT00011
수학식 10
Figure 112009072261517-PAT00012
소리오차생성부(24)는 실수변환부(22)에서 변환된 결과로부터 소리예측부(23)에서 예측된 소리를 감산하고, 감산된 결과를 소리 오차값으로서 상태벡터보정부(25)로 출력한다.
상태벡터보정부(25)는 상태벡터예측부(27)로부터 입력한 이동체의 예측된 상태 벡터를 소리오차생성부(24)로부터 입력한 소리 오차값과 소리추정부(21)로부터 입력한 추정된 소리(
Figure 112009072261517-PAT00013
)를 이용하여 보정하고, 보정된 결과에서 추정된 방향을 출력단자를 통해 출력하는 한편, 보정된 결과를 시간지연부(26)로 출력한다. 예컨데, 상태벡터보정부(25)는 예측된 상태 벡터를 다음 수학식과 같이 보 정한다.
수학식 11
Figure 112009072261517-PAT00014
여기서, x'(k|k)는 상태벡터보정부(25)에서 보정된 상태 벡터를 나타내고,
Figure 112009072261517-PAT00015
는 소리오차생성부(24)에서 생성된 소리 오차값을 나타내고, K'(k)는 칼만 이득으로서 다음 수학식과 같다.
수학식 12
Figure 112009072261517-PAT00016
여기서,
Figure 112009072261517-PAT00017
는 다음 수학식과 같다.
수학식 13
Figure 112009072261517-PAT00018
여기서,Q'는 공정 잡음 공분산 행렬로서 다음 수학식 14와 같이 표현될 수 있고, P'(k|k)는 15와 같이 표현될 수 있다.
수학식 14
Figure 112009072261517-PAT00019
수학식 15
Figure 112009072261517-PAT00020
전술한, 수학식 12에서,
Figure 112009072261517-PAT00021
는 다음 수학식 16과 같다.
수학식 16
Figure 112009072261517-PAT00022
여기서, p는 다중 마이크가 도 2(c)에 도시한 바와 같이 일렬로 구현된 경우에 마이크의 개수를 나타낸다. 이 때, S(1,b)(1≤b≤p)는 다음 수학식 17과 같이 표시되고, C(1,b)는 다음 수학식 18과 같이 표시된다.
수학식 17
Figure 112009072261517-PAT00023
수학식 18
Figure 112009072261517-PAT00024
전술한 수학식 15에서 R'e(k)는 수학식 19와 같이 표현될 수 있다.
수학식 19
Figure 112009072261517-PAT00025
여기서, R'는 측정 잡음 공분산 행렬로 다음 수학식과 같이 표현될 수 있다.
수학식 20
Figure 112009072261517-PAT00026
전술한 수학식 11에서
Figure 112009072261517-PAT00027
는 다음 수학식과 같이 표현될 수 있다.
수학식 21
Figure 112009072261517-PAT00028
시간지연부(26)는 상태벡터보정부(25)에서 보정된 결과를 지연하고, 지연된 결과를 상태벡터예측부(27)로 출력한다. 상태벡터예측부(27)는 시간지연부(26)에서 지연된 결과를 이용하여 상태 벡터를 예측하고, 예측된 상태 벡터를 소리추정부(21), 소리예측부(23) 및 상태벡터보정부(25)로 각각 출력한다.
도 5a 및 5b는 본 발명의 일실시예에 의한 이동체와 음원과의 관계를 예시적으로 나타낸 도면이다.
방향추정부(20)는 음원(200)의 호출음이 발생하면 제1위치(P1)에서 음원(200)에 대해 이동체(100)가 위치한 방향각을 추정(θ1 또는 -θ2)한다. 주행방향결정부(30)는 방향추정부(20)에 의해 이동체(100)가 음원(200)에 대해 위치한 방향각이 추정되면 음원(200)의 방향에 대해 수직한 방향으로 이동하도록 주행 방향을 결정한다. 이 때, 도 5a에 도시한 바와 같이, 이동체(100)가 음원(200)에 대해 오른쪽의 수직한 방향(112a)으로 이동하도록 주행 방향을 결정할 수 있으며, 도 5b에 도시한 바와 같이, 이동체(100)가 음원(200)에 대해 왼쪽의 수직한 방향(112b)으로 이동하도록 주행 방향을 결정할 수도 있다. 음성출력부(70)는 이동체(100)가 제2위치(P2)로 이동하면 음성을 출력하여 음원(200)에 재호출음을 요구한다. 방향추정부(20)는 제2위치(P2)에서 음원(200)의 재호출음이 발생하면, 이동체(100)의 음원(200)에 대한 위치를 재추정하고, 음원위치계산부(40)는 이동체(100)와 음원(200)과의 거리를 수학식 1에 의해 계산한다.
수학식 1
R = L/cos(180-θ3)
여기서, L은 이동체(100)가 음원(200)의 방향에 수직한 방향으로 이동한 기준거리로서 이동체(100)에 미리 저장되어 있는 거리이고, R은 이동체(100)와 음 원(200)과의 거리이며, θ3는 이동체(100)가 기준거리(L)를 이동한 후 음원(200)에 대해 추정된 방향각이다.
한편, 도 5a에서 이동체(100)가 음원(200)에 대해 추정된 방향각 θ3의 값은 약 120도이고, 도 5b에서 이동체(100)가 음원(200)에 대해 추정된 방향각 θ3의 값은 약 -120도로서 부호가 다른 값이 나오게 된다. 하지만, 코사인 함수는 우함수로서 cos(180-120) = cos(180+120) = 1/2와 같이 동일한 값이 나오므로 이동체(100)가 음원(200)에 대해 오른쪽의 수직한 방향(112a)으로 이동하는 경우와 이동체(100)가 음원(200)에 대해 왼쪽의 수직한 방향(112b)으로 이동하는 경우에 모두 수학식 1에 의해 음원(200)과 이동체(100)와의 거리가 구해질 수 있다. 한편, 이동체(100)는 음원(200)에서 소정 패턴의 소리(예를 들면, 박수 소리 또는 호출음)가 검출되면 음원(200)의 방향에 수직한 방향으로 기준거리(L)을 이동하는데, 기준거리(L)는 주변 상황에 따라 변화될 수 있다. 즉, 이동체(100)가 이동하는 방향에 장애물 등이 있는 경우에 기준거리(L)는 짧아질 수 있으며, 짧아진 기준거리(L)는 주행 정보에 포함되어 상술한 수학식 1에 대입되어 거리(R)를 산출하는데 사용된다.
도 6은 본 발명의 일실시예에 의한 이동체의 제어흐름도이다.
도 6에 도시한 바와 같이, 이동체(100)는 음원(200)의 호출이 있는지 확인한다. 음원(200)의 호출은 이동체(100)에 미리 저장된 소정의 패턴의 소리가 출력되는지 확인하는 것으로, "박수 치는 소리" 또는 "특정 호출음"등 여러 가지 패턴의 소리가 이동체(100)에 미리 저장될 수 있다.(s10)
다음으로, 방향추정부(20)는 음원(200)의 호출이 있는 것으로 확인되면 이동 체(100)가 위치한 방향각을 추정한다. 이동체(100)가 위치한 방향각이란 이동체(100)의 정면방향과 이동체(100)가 음원(200)을 바라보는 방향 사이의 각도가 될 수 있다.(s20)
다음으로, 주행방향결정부(30)는 방향추정부(20)에서 추정된 이동체(100)의 방향각에 따라 음원(200)이 위치한 방향을 확인하고, 음원(200)이 위치한 방향에 수직한 방향을 이동체(100)가 이동할 방향으로 결정한다. 주행구동부(60)는 이동체(100)에서 음원(200)을 향한 방향에 수직한 방향으로 이동체(100)를 기준거리만큼 이동시킨다.(s30)
다음으로, 음성출력부(70)는 음원(200)의 재호출음을 요구하는 음성을 출력한다. 예를 들어, "박수를 쳐주세요" 또는 "다시 한번 호출해주세요" 등의 음성을 출력하여 음원(200)의 재호출음을 유도한다.(s40)
다음으로, 방향추정부(20)는 음원(200)에서 재호출음이 발생하면 음원(200)에 대해 이동체가 위치한 방향각을 재추정한다.(s50,s60)
다음으로, 음원위치계산부(40)는 재추정된 이동체가 위치한 방향각과 기준거리를 이용하여 음원(200)과 이동체(100)와의 거리를 삼각측량법에 의해 계산한다.(s70)
다음으로, 제어부(50)는 음원(200)과 이동체(100)와의 거리 정보 및 음원(200)의 방향 정보에 따라 주행구동부(60)를 제어하여 이동체(100)를 음원(200)으로 이동시킨다. 제어부(50)는 이동체(100)와 음원(200)과의 거리인 R보다 짧은 거리를 이동하도록 주행구동부(60)를 제어한다.(s80)
도 1은 본 발명의 일실시예에 의한 이동체의 제어 블록도
도 2a는 본 발명의 일실시예에 의한 이동체의 외관을 나타낸 외관도
도 2b는 도 2a에 도시된 이동체의 외부에 부착될 수 있는 다중 마이크의 구조의 일례를 나타내는 도면
도 2c는 도 2a에 도시된 이동체의 외부에 부착될 수 있는 다중 마이크의 구조의 다른 예를 나타내는 도면
도 3은 본 발명의 일실시예에 의한 소리검출부의 블록도
도 4는 본 발명의 일실시예에 의한 방향추정부의 블록도
도 5a 및 5b는 본 발명의 일실시예에 의한 이동체와 음원과의 관계를 예시적으로 나타낸 도면
도 6은 본 발명의 일실시예에 의한 이동체의 제어흐름도
*도면의 주요부분에 대한 부호 설명*
20 : 방향추정부 30 : 주행방향결정부
40 : 음원위치계산부 60 : 주행구동부
70 : 음성출력부

Claims (16)

  1. 음원의 호출음이 발생하면 이동체에서 상기 음원을 향한 방향의 수직 방향으로 기준거리만큼 이동하고,
    상기 음원에 재호출음을 요구하는 음성을 출력하며,
    상기 이동체가 위치하는 방향각을 확인하고, 상기 기준거리와 상기 이동체가 위치하는 방향각에 따라 상기 음원과의 거리를 계산하여 상기 음원으로 이동하는 이동체의 제어방법.
  2. 제 1 항에 있어서,
    상기 음원의 호출음이 발생하면 상기 이동체에서 상기 음원을 향한 방향의 수직 방향으로 기준거리를 이동하는 것은,
    상기 호출음에 따라 상기 이동체의 전방 방향과 상기 이동체에서 상기 음원을 향한 방향 사이의 각도를 확인하고,
    상기 음원을 향한 방향에 수직이 되는 각도와 상기 이동체에서 상기 음원을 향한 방향 사이의 각도에 따라 상기 이동체를 회전시켜 상기 기준거리를 이동하는 것인 이동체의 제어방법.
  3. 제 1 항에 있어서,
    상기 이동체에서 상기 음원을 향한 방향의 수직 방향으로 기준거리를 이동하 는 것은,
    상기 이동체에서 상기 음원을 향한 방향의 오른쪽으로 수직한 방향으로 상기 기준거리를 이동하는 것인 이동체의 제어방법.
  4. 제 1 항에 있어서,
    상기 이동체에서 상기 음원을 향한 방향의 수직 방향으로 기준거리를 이동하는 것은,
    상기 이동체에서 상기 음원을 향한 방향의 왼쪽으로 수직한 방향으로 상기 기준거리를 이동하는 것인 이동체의 제어방법.
  5. 제 1 항에 있어서,
    상기 기준거리와 상기 이동체가 위치하는 방향각에 따라 상기 음원과의 거리는 다음 식에 의해 계산되는 것인 이동체의 제어방법.
    R = L/cos(180-θ)
    여기서, R은 이동체와 음원과의 거리이며, L은 기준거리이며, θ는 이동체가 음원에 대해 위치하는 방향각이다.
  6. 제 1 항에 있어서,
    상기 기준거리와 상기 이동체가 위치하는 방향각에 따라 상기 음원과의 거리를 계산하면,
    상기 이동체는 상기 음원의 방향 및 상기 거리에 대한 정보를 주행 정보로 하여 상기 음원으로 이동하는 이동체의 제어방법.
  7. 제 1 항에 있어서,
    상기 음원의 호출음은 상기 이동체에 미리 저장된 일정 패턴의 소리인 것인 이동체의 제어방법.
  8. 제 1 항에 있어서,
    상기 기준거리는 상기 이동체의 주변 상황에 따라 변화 가능하며,
    상기 기준거리가 변화하면 상기 변화된 기준거리와 상기 이동체가 위치하는 방향각에 따라 상기 음원과의 거리를 계산하는 이동체의 제어방법.
  9. 호출음에 따라 음원을 기준으로 이동체가 위치한 방향각을 추정하는 방향추정부;
    상기 추정된 방향각을 이용하여 주행 방향을 결정하는 주행방향결정부;
    상기 이동체를 상기 주행 방향으로 기준거리만큼 이동시키는 주행구동부;
    상기 음원의 재호출음을 요구하는 음성을 출력하는 음성출력부; 및
    상기 재호출음에 따라 상기 음원을 기준으로 상기 이동체가 위치한 방향각이 추정되면 상기 기준거리와 상기 이동체가 위치한 방향각에 따라 상기 음원과 상기 이동체와의 거리를 계산하는 음원위치계산부;를 포함하는 이동체.
  10. 제 9 항에 있어서,
    상기 방향추정부는 상기 음원에서 발생하는 호출음 또는 재호출음에 따라 상기 음원을 기준으로 상기 이동체가 위치한 방향각을 추정하는 이동체.
  11. 제 9 항에 있어서,
    상기 음원을 기준으로 상기 이동체가 위치한 방향은,
    상기 이동체의 정면방향과 상기 이동체에서 상기 음원을 향한 방향 사이의 각도인 것인 이동체.
  12. 제 9 항에 있어서,
    상기 주행방향결정부는 상기 호출음이 발생하면 상기 이동체에서 상기 음원을 향한 방향의 수직 방향으로 상기 주행 방향을 결정하는 이동체.
  13. 제 9 항에 있어서,
    상기 주행방향결정부는 상기 재호출음이 발생하면 상기 이동체에서 상기 음원을 향한 방향으로 상기 주행 방향을 결정하는 이동체.
  14. 제 9 항에 있어서,
    상기 주행구동부는 상기 음원과 상기 이동체와의 거리가 계산되면 상기 이동 체를 상기 음원으로 주행시키는 이동체.
  15. 제 9 항에 있어서,
    상기 음성출력부는 상기 이동체가 상기 기준거리만큼 이동하면 상기 음원의 재호출음을 요구하는 음성을 출력하는 것인 이동체.
  16. 제 9 항에 있어서,
    상기 음원위치계산부는 상기 재호출음에 따라 추정된 상기 이동체가 위치한 방향각과 상기 기준거리에 따라 다음 식에 의해 상기 음원과 이동체와의 거리를 계산하는 것인 이동체.
    R = L/cos(180-θ)
    여기서, R은 이동체와 음원과의 거리이며, L은 기준거리이며, θ는 이동체가 음원에 대해 위치하는 방향이다.
KR1020090114150A 2009-11-24 2009-11-24 이동체 및 그 제어방법 KR101761315B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090114150A KR101761315B1 (ko) 2009-11-24 2009-11-24 이동체 및 그 제어방법
US12/954,236 US8731715B2 (en) 2009-11-24 2010-11-24 Mobile device and method and computer-readable medium controlling same for using with sound localization

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090114150A KR101761315B1 (ko) 2009-11-24 2009-11-24 이동체 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20110057661A true KR20110057661A (ko) 2011-06-01
KR101761315B1 KR101761315B1 (ko) 2017-07-25

Family

ID=44062735

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090114150A KR101761315B1 (ko) 2009-11-24 2009-11-24 이동체 및 그 제어방법

Country Status (2)

Country Link
US (1) US8731715B2 (ko)
KR (1) KR101761315B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013105806A1 (ko) * 2012-01-13 2013-07-18 한국과학기술연구원 위치 변경된 음원 방향 검지 센서의 채널간 시간지연지도 생성 시스템 및 방법
WO2013105805A1 (ko) * 2012-01-13 2013-07-18 한국과학기술연구원 음원 방향 검지 센서의 채널간 시간지연지도 보정 시스템 및 방법
KR20150022550A (ko) * 2013-08-23 2015-03-04 엘지전자 주식회사 로봇 청소기 및 그 동작방법
CN108733083A (zh) * 2018-03-21 2018-11-02 北京猎户星空科技有限公司 机器人转动的控制方法、装置、机器人及存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180249056A1 (en) * 2015-08-18 2018-08-30 Lg Electronics Inc. Mobile terminal and method for controlling same
KR20180037543A (ko) * 2016-10-04 2018-04-12 삼성전자주식회사 음성 인식 전자 장치
CN107271961A (zh) * 2017-06-02 2017-10-20 深圳市优必选科技有限公司 一种机器人及其测距方法、机器人充电系统
US11607810B2 (en) 2018-09-13 2023-03-21 The Charles Stark Draper Laboratory, Inc. Adaptor for food-safe, bin-compatible, washable, tool-changer utensils
US11146522B1 (en) 2018-09-24 2021-10-12 Amazon Technologies, Inc. Communication with user location
US11218802B1 (en) * 2018-09-25 2022-01-04 Amazon Technologies, Inc. Beamformer rotation
DE102019205205B3 (de) * 2019-04-11 2020-09-03 BSH Hausgeräte GmbH Interaktionseinrichtung
CN110534105B (zh) * 2019-07-24 2021-10-15 珠海格力电器股份有限公司 一种语音控制方法及装置
CN110827818B (zh) * 2019-11-20 2024-04-09 腾讯科技（深圳）有限公司 一种智能语音设备的控制方法、装置、设备及存储介质
CN114510010A (zh) * 2020-10-26 2022-05-17 苏州科瓴精密机械科技有限公司 机器人自动充电方法、系统，机器人及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6789043B1 (en) * 1998-09-23 2004-09-07 The Johns Hopkins University Magnetic sensor system for fast-response, high resolution, high accuracy, three-dimensional position measurements
KR100586893B1 (ko) * 2004-06-28 2006-06-08 삼성전자주식회사 시변 잡음 환경에서의 화자 위치 추정 시스템 및 방법
WO2007041295A2 (en) * 2005-09-30 2007-04-12 Irobot Corporation Companion robot for personal interaction

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013105806A1 (ko) * 2012-01-13 2013-07-18 한국과학기술연구원 위치 변경된 음원 방향 검지 센서의 채널간 시간지연지도 생성 시스템 및 방법
WO2013105805A1 (ko) * 2012-01-13 2013-07-18 한국과학기술연구원 음원 방향 검지 센서의 채널간 시간지연지도 보정 시스템 및 방법
KR20150022550A (ko) * 2013-08-23 2015-03-04 엘지전자 주식회사 로봇 청소기 및 그 동작방법
CN108733083A (zh) * 2018-03-21 2018-11-02 北京猎户星空科技有限公司 机器人转动的控制方法、装置、机器人及存储介质

Also Published As

Publication number Publication date
US8731715B2 (en) 2014-05-20
US20110125504A1 (en) 2011-05-26
KR101761315B1 (ko) 2017-07-25

Similar Documents

Publication Publication Date Title
KR20110057661A (ko) 이동체 및 그 제어방법
KR100763901B1 (ko) 이동체 제어 장치 및 방법
KR100758707B1 (ko) 로봇 환경에서 음원 추적 시스템 및 방법
JP4812302B2 (ja) 音源方向推定システム、音源方向推定方法及び音源方向推定プログラム
US8290178B2 (en) Sound source characteristic determining device
JP4204541B2 (ja) 対話型ロボット、対話型ロボットの音声認識方法および対話型ロボットの音声認識プログラム
US20170140771A1 (en) Information processing apparatus, information processing method, and computer program product
JP2018049143A (ja) 音声取得システムおよび音声取得方法
KR20030077797A (ko) 직교 원형 마이크 어레이 시스템 및 이를 이용한 음원의3차원 방향을 검출하는 방법
CN110140359B (zh) 使用波束形成的音频捕获
JP6467736B2 (ja) 音源位置推定装置、音源位置推定方法および音源位置推定プログラム
JP2007089058A (ja) マイクアレイ制御装置
JP4825552B2 (ja) 音声認識装置、周波数スペクトル取得装置および音声認識方法
KR100877914B1 (ko) 음원위치-지연시간차 상관관계 역 추정에 의한 음원 방향검지 시스템 및 방법
KR100943224B1 (ko) 음원 추적이 가능한 지능형 로봇 및 방법
Ince et al. Assessment of general applicability of ego noise estimation
JP2008236077A (ja) 目的音抽出装置，目的音抽出プログラム
JP5660362B2 (ja) 音源定位装置及びコンピュータプログラム
JP5045938B2 (ja) 音源方向検出方法、装置及びプログラム
JP3862685B2 (ja) 音源方向推定装置、信号の時間遅延推定装置及びコンピュータプログラム
KR20090016205A (ko) 로봇 환경에서의 음원 방향 결정 시스템 및 방법
JP2018034221A (ja) ロボットシステム
JP2012149906A (ja) 音源位置推定装置、音源位置推定方法および音源位置推定プログラム
KR20200066891A (ko) 2차원 마이크 어레이를 이용한 3차원 음원 위치 검출 장치 및 방법
EP3182734B1 (en) Method for using a mobile device equipped with at least two microphones for determining the direction of loudspeakers in a setup of a surround sound system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant