KR20100035214A - 이동 영상처리 기반의 음원 위치추정 시스템 및 그 방법 - Google Patents

이동 영상처리 기반의 음원 위치추정 시스템 및 그 방법 Download PDF

Info

Publication number
KR20100035214A
KR20100035214A KR1020080094437A KR20080094437A KR20100035214A KR 20100035214 A KR20100035214 A KR 20100035214A KR 1020080094437 A KR1020080094437 A KR 1020080094437A KR 20080094437 A KR20080094437 A KR 20080094437A KR 20100035214 A KR20100035214 A KR 20100035214A
Authority
KR
South Korea
Prior art keywords
sound source
main body
generation position
right microphone
source generation
Prior art date
Application number
KR1020080094437A
Other languages
English (en)
Inventor
안준배
김준민
김형호
Original Assignee
주식회사 쏠리테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 쏠리테크 filed Critical 주식회사 쏠리테크
Priority to KR1020080094437A priority Critical patent/KR20100035214A/ko
Publication of KR20100035214A publication Critical patent/KR20100035214A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8083—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

본 발명은 이동 영상처리 기반의 음원 위치추정 시스템 및 그 방법에 관한 것으로서, 복수개의 좌ㆍ우측 마이크를 통해 입력받은 좌ㆍ우측 마이크 음원으로부터 도출한 상관값에 따라 음원발생 위치와의 거리를 측정하고, 상관값의 최대값들 간의 시간차에 따라 좌ㆍ우측 마이크 음원 양자 중에 가까운 음원을 도출함과 아울러 좌ㆍ우측 마이크 음원의 신호 세기를 도출하여 음원발생 위치를 추정하고, 추정한 음원발생 위치의 X축 좌표, Y축 좌표 및 Z축 좌표를 보정 및 촬영하는 본체, 및 정보통신망을 통해 본체로부터 전송받은 촬영된 음원발생 위치의 영상을 출력하는 사용자단말기를 포함한다.
상기와 같은 본 발명에 따르면, 밀폐된 공간에 위치한 로봇이 수신한 좌ㆍ우측 마이크 음원의 신호도달 시간차와 세기에 따라 음원발생 위치를 추정함과 아울러 X, Y 및 Z축 좌표를 보정함으로써, 음원발생 위치를 정확하게 추정하는 효과가 있으며, 촬영된 음원발생 위치 영상을 외부에 위치한 사용자에게 전송함으로써, 위험 발생시 사용자의 즉각적인 대처를 지원하는 효과도 있다.
마이크, 음원, 상관값, 시간차, 신호 세기, 음원발생 위치, 좌표보정, 촬영

Description

이동 영상처리 기반의 음원 위치추정 시스템 및 그 방법{SYSTEM FOR ESTIMATING SOUND SOURCE POSITION BASED ON MOBILE IMAGE PROCESSING AND METHOD THEREFOR}
본 발명은 이동 영상처리 기반의 음원 위치추정 시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는 밀폐된 공간에 위치한 로봇이 수신한 음파도달의 시간차 및 세기를 이용하여 음원의 위치를 추정하고, 위험 발생시 외부에 위치한 사용자에게 위험 발생의 위치 영상을 제공하는 이동 영상처리 기반의 음원 위치추정 시스템 및 그 방법을 제공하는 기술에 관한 것이다.
근래에 원격의 사용자가 인터넷, 혹은 휴대폰을 이용하여 가정 내의 환경을 살피고자 하는 욕구에 따라 다양한 보안장비가 개발되고 있으며, 도 1 에 도시된 바와 같이 사용가가 로봇이 수집한 보안정보들을 외부에서 확인하도록 구성된다.
이러한 보안장비들은, 가정 내에서 어린 아이의 안전, 혹은 애완동물들을 살피고 혹시 발생할 수 있는 외부의 침입을 미연에 방지하고자 하는 목적에 따라 음원의 위치를 추정하는 알고리즘 탑재가 필수적이다.
기존 음원 위치추정 방법은, 두 개의 마이크를 사용하여 한곳의 음원에서 로 봇의 마이크로 신호가 전파될 때, 오로지 두 신호의 도착 시각의 차이만을 알 수 있다. 따라서, 음파의 속도를 알고 있다고 가정할 경우, 신호의 경로차 만을 알 수 있게 된다.
이를 수학적으로 표현하면, 로봇의 마이크가 위치한 곳을 두 개의 초점으로 하고 두 초점에서 거리의 차가 일정한곳을 도시하면 도 2 와 같이 나타낼 수 있는데, 도 2 는 수학적으로 쌍곡선의 정의와 일치한다.
즉, (-c, 0)과 (c, 0)을 초점으로 하는 쌍곡선을 그리게 됨에 따라 두 개의 마이크만을 이용하는 경우, 음원의 위치를 한 지점으로 고정할 수 없는 문제점이 발생한다.
또한, 도 2 를 참조하여 초점과 (x, y)점과의 거리의 차가 일정하다고 상정하여 수식을 세우면 아래의 [수학식 1]과 같다.
[수학식 1]
Figure 112008067620171-PAT00001
여기서, 거리의 차는 2a의 값을 갖으며, 이를 바탕으로 c=8일 때의 그래프를 그리면 도 3 과 같은 그래프를 얻을 수 있다.
본 발명은 상기와 같은 문제점을 해소하고자 안출된 것으로서, 밀폐된 공간에 위치한 로봇이 수신한 좌ㆍ우측 마이크 음원의 신호도달 시간차와 세기에 따라 음원발생 위치를 추정함과 아울러 X, Y 및 Z축 좌표를 보정함으로써, 음원발생 위치를 정확하게 추정할 수 있다.
또한, 촬영된 음원발생 위치 영상을 외부에 위치한 사용자에게 전송함으로써, 위험 발생시 사용자의 즉각적인 대처를 지원한다.
이러한 기술적 과제를 달성하기 위한 본 발명에 따른 이동 영상처리 기반의 음원 위치추정 시스템은, 복수개의 좌ㆍ우측 마이크를 통해 입력받은 좌ㆍ우측 마이크 음원으로부터 도출한 상관값에 따라 음원발생 위치와의 거리를 측정하고, 상관값의 최대값들 간의 시간차에 따라 좌ㆍ우측 마이크 음원 양자 중에 가까운 음원을 도출함과 아울러 좌ㆍ우측 마이크 음원의 신호 세기를 도출하여 음원발생 위치를 추정하고, 추정한 음원발생 위치의 X축 좌표, Y축 좌표 및 Z축 좌표를 보정 및 촬영하는 본체, 및 정보통신망을 통해 본체로부터 전송받은 촬영된 음원발생 위치의 영상을 출력하는 사용자단말기를 포함한다.
또한, 본체는, 좌ㆍ우측 마이크 음원간의 시간차가 기설정된 값보다 작을 경우, 음원이 Y축과 인접하도록 Y축 좌표를 수정하고, 좌ㆍ우측 마이크 음원간의 시간차가 기설정된 값보다 클 경우, 음원이 X축과 인접하도록 X축 좌표를 수정하여 추정된 음원발생 위치의 X축 좌표 및 Y축 좌표를 보정하는 음원위치 보정모듈과, 촬영기기가 추정된 음원발생 위치를 지향하도록 윈도윙시키고, 추정된 음원발생 위치의 Z축 좌표를 보정함과 동시에 얼굴인식 및 이동체를 검출하여 보정된 음원발생 위치를 촬영하는 이미지 센싱모듈, 및 정보통신망을 통해 촬영된 음원발생 위치 영상을 사용자단말기로 전송하는 통신모듈을 포함한다.
또한, 본체는, 음원위치 보정모듈, 이미지 센싱모듈 및 통신모듈을 제어함과 아울러 디스플레이부를 통해 촬영된 음원발생 위치 영상을 출력하고, 촬영된 음원발생 위치 영상을 저장소에 저장하며, 추정된 음원발생 위치의 X축 좌표, Y축 좌표 및 Z축 좌표 보정에 따른 좌표이송정보를 생성하는 제어모듈을 더 포함한다.
그리고, 본체는, 좌표이송정보에 따라 구동되는 바퀴를 통해 이동하는 이송모듈을 더 포함한다.
한편, 상술한 시스템을 기반으로 하는 이동 영상처리 기반의 음원 위치추정 방법은, 본체가 좌ㆍ우측 마이크 음원을 입력받아 디지털로 변환하는 (a) 단계와, 본체가 좌ㆍ우측 마이크 음원으로부터 도출한 상관값에 따라 음원발생 위치와의 거리를 측정하고, 상관값의 최대값들 간의 시간차에 따라 좌ㆍ우측 마이크 음원 양자 중에 가까운 음원을 추정함과 아울러 좌ㆍ우측 마이크 음원의 신호 세기를 도출하여 음원발생 위치를 추정하는 (b) 단계와, 본체가 좌ㆍ우측 마이크 음원간의 시간차와 기설정된 값을 비교하는 (c) 단계와, (c) 단계의 비교결과, 좌ㆍ우측 마이크 음원간의 시간차가 기설정된 값보다 작을 경우, 본체가 좌ㆍ우측 마이크 음원이 Y축과 인접하도록 추정된 음원발생 위치의 Y축 좌표를 보정하는 (d) 단계와, 본체가 촬영기기를 추정된 음원발생 위치로 지향하도록 윈도윙시키고, 추정된 음원발생 위치의 Z축 좌표를 보정함과 동시에 얼굴인식 및 이동체를 검출하여 보정된 음원발생 위치를 촬영하는 (e) 단계, 본체가 정보통신망을 통해 촬영된 음원발생 위치 영상을 사용자단말기로 전송하는 (f) 단계를 포함한다.
또한, (c) 단계의 비교결과, 좌ㆍ우측 마이크 음원간의 시간차가 기설정된 값보다 클 경우, 본체가 좌ㆍ우측 마이크 음원이 X축과 인접하도록 추정된 음원발생 위치의 X축 좌표를 보정하는 (g) 단계를 더 포함한다.
그리고, (f) 단계 이후, 본체가 촬영된 음원발생 위치의 이미지들을 디스플레이부를 통해 출력함과 아울러 저장소에 저장하며, 추정된 음원발생 위치의 X축 좌표, Y축 좌표 및 Z축 좌표 보정에 따른 좌표이송정보를 생성하는 (h) 단계, 및 본체가 좌표이송정보에 따라 바퀴를 구동시켜 이동하는 (i) 단계를 더 포함한다.
상기와 같은 본 발명에 따르면, 밀폐된 공간에 위치한 로봇이 수신한 좌ㆍ우측 마이크 음원의 신호도달 시간차와 세기에 따라 음원발생 위치를 추정함과 아울러 X, Y 및 Z축 좌표를 보정함으로써, 음원발생 위치를 정확하게 추정하는 효과가 있다
또한, 촬영된 음원발생 위치 영상을 외부에 위치한 사용자에게 전송함으로써, 위험 발생시 사용자의 즉각적인 대처를 지원하는 효과가 있다.
본 발명의 구체적인 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설 명으로 더욱 명백해질 것이다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다. 또한, 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.
본 발명에 따른 본 발명에 따른 이동 영상처리 기반의 음원 위치추정 시스템(S)은 도 4 에 도시된 바와 같이, 본체(100) 및 사용자 단말기(200)를 포함하여 구성된다.
본체(100)는 좌측 및 우측에 구비된 복수개의 마이크(110)를 통해 입력받은 음원(이하, '좌ㆍ우측 마이크 음원')으로부터 도출한 상관값에 따라 음원발생 위치와의 거리를 측정하고, 상관값의 최대값들 간의 시간차에 따라 좌ㆍ우측 마이크 음원 양자 중에 가까운 음원을 도출함과 아울러 좌ㆍ우측 마이크 음원의 신호 세기를 도출하여 음원발생 위치를 추정하고, 추정한 음원발생 위치의 X축 좌표, Y축 좌표 및 Z축 좌표를 보정하는바, 마이크(110), A/D컨버터(120), 음원위치 연산모듈(130), 음원위치 보정모듈(140), 이미지 센싱모듈(150), 통신모듈(160), 제어모듈(170) 및 이송모듈(180)을 포함하여 구성된다.
구체적으로 마이크(110)는 본체(100)의 좌측 및 우측에 구비되어 외부로부터 좌ㆍ우측 마이크 음원을 입력받고, A/D컨버터(120)는 좌ㆍ우측 마이크 음원을 디지털로 변환한다.
또한, 음원위치 연산모듈(130)은 디지털로 변환된 좌ㆍ우측 마이크 음원으로부터 도출한 상관값에 따라 음원발생 위치와의 거리를 측정하고, 상관값의 최대값들 간의 비 즉, 시간차에 따라 좌ㆍ우측 마이크 음원 양자 중에 가까운 음원을 추정함과 아울러 좌ㆍ우측 마이크 음원의 신호 세기를 도출하여 음원발생 위치를 추정한다.
도 5 내지 도 7 을 참조하여 상기 음원발생 위치를 추정을 세부적으로 살피면 다음과 같다.
먼저, 좌ㆍ우측 마이크 음원의 신호 세기와 거리와의 관계는 도 5 에 도시된 바와 같이, P의 세기를 갖는 음원은 한 점에서 발생하여 전방향으로 퍼져나가게 된다. 이때, 에너지 보존 법칙에 따라 음원을 에두르는 구에서 받아들이는 신호의 세기는 음원 한 점에서 발산하는 에너지의 양과 같다.
따라서, 거리
Figure 112008067620171-PAT00002
에서의 신호세기는
Figure 112008067620171-PAT00003
로,
Figure 112008067620171-PAT00004
에서의 신호세기는
Figure 112008067620171-PAT00005
라고 할 수 있다. 도 5 에서 알 수 있듯이
Figure 112008067620171-PAT00006
임을 이용하면 아래의 [수학식 2]를 도출할 수 있으며, 정리하면 최종적으로
Figure 112008067620171-PAT00007
라는 상관관계를 얻을 수 있다.
[수학식 2]
Figure 112008067620171-PAT00008
또한, 도 6 을 참조하여 상기 [수학식 2]의 도출을 세부적으로 살피면, 초점 의 위치는 (-c, 0), (c, 0)이며, 초점 사이의 거리가 A, 음원과 좌측 초점 사이의 거리가 B, 음원과 우측 초점 사이의 거리가 C인 것으로 상정하여 좌측 초점과 우측 초점 사이의 세기 비율을
Figure 112008067620171-PAT00009
로 정의할 수 있다.
또한, 좌측 초점과 우측 초점 사이의 세기 비율을 수식으로 유도하면 아래와 같은 [수학식 3]을 도출할 수 있으며, 도출결과 음원과 좌측 초점 사이의 거리의 B와 음원과 우측 초점 사이의 거리 C의 비율에 따라 원이 형성됨을 확인 할 수 있으며, 이를 바탕으로 c=8 일 때의 그래프는 도 7 과 같다.
[수학식 3]
Figure 112008067620171-PAT00010
도 7 에 도시된 바와 같이 쌍곡선과 원의 교차지점을 음원발생 위치로 추정하며, 상기 [수학식 3]과 도 7 의 그래프의 합성을 통해 아래의 [수학식 4]와 같은 최종 음원 발생 위치를 추정하게 된다.
[수학식 4]
Figure 112008067620171-PAT00011
상기 [수학식 4]에서의 초점 위치는 (-c, 0), (c, 0)이며, 초점 사이의 거리 가 A, 음원과 좌측 초점 사이의 거리가 B, 음원과 우측 초점 사이의 거리가 C이다. 또한, a는 원점과 쌍곡선 꼭지점 사이의 거리를 의미하고, b는 원점과 초점 사이의 거리에서 원점과 쌍곡선 꼭지점 사이의 거리 차를 의미하며, c는 원점과 초점 사이의 거리를 의미하고, Vs는 음속(약 340m/s)을 의미한다.
상기 [수학식 4]를 이용하면 (x, y)의 위치를 비교적 정확하게 추정할 수 있으나, 좌측 마이크 및 우측 마이크 양자로부터 음원을 입력받는 구조임에 따라 음원의 위치를 추정할 때, (x, y), (x, -y)를 구분할 수 없어 음원의 위치가 두 개로 추정되게 된다.
즉, 첨부도면 도 8 에 도시된 바와 같이, 1 사분면 및 4 사분면의 두 점이 음원의 위치가 됨에 따라 Y축 부근의 음원은 성능에 열화가 발생하게 되고, Z축 방향으로의 음원은 추정할 수 없는 문제점이 발생한다.
한편, 음원위치 보정모듈(140)은 좌ㆍ우측 마이크 음원간의 시간차가 기설정된 값보다 작을 경우, 음원이 Y축과 인접하도록 Y축 좌표를 수정하고, 좌ㆍ우측 마이크 음원간의 시간차가 기설정된 값보다 클 경우, 음원이 X축과 인접하도록 X축 좌표를 수정하여 추정된 음원발생 위치의 X축 좌표 및 Y축 좌표를 보정한다.
도 9 를 참조하여 상기 좌ㆍ우측 마이크 음원의 신호 세기에 따른 보정을 세부적으로 살피면 다음과 같다. 음원의 위치에 따라 마이크에 수신되는 신호의 경로차가 달라지는데, 음원과 마이크를 직선으로 연결하면 도 9 와 같다. 이때, 음원과 마이크가 이루는 각을
Figure 112008067620171-PAT00012
라고 하면,
Figure 112008067620171-PAT00013
는 음원이 Y축 상에 있을 때 상대적으로 큰 값을 갖게 된다.
또한, 주황색 선은 동일한 삼각형 내에서 같은 길이를 갖으며, a를 빗면으로 하는 직삼각형을 청색 선을 이용하여 작도할 수 있는데 이때, 에러의 크기는 도 9 에 도시된 바와 같다. 이러한 에러는
Figure 112008067620171-PAT00014
의 크기가 클수록 커지게 됨을 알 수 있다.
한편, 이미지 센싱모듈(150)은 도 10 에 도시된 바와 같이, 접속된 촬영기기(10)가 추정된 음원발생 위치를 지향하도록 윈도윙(windowing)시키고, 추정된 음원발생 위치의 Z축 좌표를 보정함과 동시에 얼굴인식 및 이동체를 검출하여 보정된 음원발생 위치를 촬영하며, 통신모듈(160)은 정보통신망을 통해 촬영된 음원발생 위치 영상을 사용자단말기(200)로 전송한다.
또한, 제어모듈(170)은 상술한 구성요소들인 마이크(110), A/D컨버터(120), 음원위치 연산모듈(130), 음원위치 보정모듈(140), 이미지 센싱모듈(150) 및 통신모듈(160)을 제어하고, 디스플레이부(171)를 통해 촬영된 음원발생 위치의 영상들을 출력함과 아울러 저장소(172)에 저장하며, 추정된 음원발생 위치의 X축 좌표, Y축 좌표 및 Z축 좌표 보정에 따른 좌표이송정보를 생성한다.
그리고, 이송모듈(180)은 바퀴(181)를 구동시켜 제어모듈(170)로부터 인가받은 좌표이송정보에 따라 이동한다.
사용자단말기(200)는, 본체(100)로부터 전송받은 촬영된 음원발생 위치의 영상을 출력하여 사용자에게 제공한다.
이하, 상술한 시스템을 기반으로 하는 이동 영상처리 기반의 음원 위치추정 방법에 관하여 도 11 및 도 12 를 참조하여 설명하면 다음과 같다.
먼저, 본체(100)의 마이크(110)가 외부로부터 좌ㆍ우측 마이크 음원을 입력받고, A/D컨버터(120)가 좌ㆍ우측 마이크 음원을 디지털로 변환한다(S10).
이어서, 본체(100)의 음원위치 연산모듈(130)이 좌ㆍ우측 마이크 음원으로부터 도출한 상관값에 따라 음원발생 위치와의 거리를 측정하고, 상관값의 최대값들 간의 시간차에 따라 좌ㆍ우측 마이크 음원 양자 중에 가까운 음원을 추정함과 아울러 좌ㆍ우측 마이크 음원의 신호 세기를 도출하여 음원발생 위치를 추정한다(S20).
뒤미처, 본체(100)의 음원위치 보정모듈(140)은 좌ㆍ우측 마이크 음원간의 시간차와 기설정된 값을 비교한다(S30).
제 S30 단계의 비교결과, 좌ㆍ우측 마이크 음원간의 시간차가 기설정된 값보다 작을 경우, 좌ㆍ우측 마이크 음원이 Y축과 인접하도록 Y축 좌표를 수정하여 추정된 음원발생 위치의 Y축 좌표를 보정한다(S31).
반면에, 좌ㆍ우측 마이크 음원간의 시간차가 기설정된 값보다 클 경우, 좌ㆍ우측 마이크 음원이 X축과 인접하도록 X축 좌표를 수정하여 추정된 음원발생 위치의 X축 좌표를 보정한다(S32).
뒤미처, 본체(100)의 이미지 센싱모듈(150)은 접속된 촬영기기(10)가 추정된 음원발생 위치를 지향하도록 윈도윙시키고, 추정된 음원발생 위치의 Z축 좌표를 보정함과 동시에 얼굴인식 및 이동체를 검출하여 보정된 음원발생 위치를 촬영한다(S40).
이어서, 본체(100)의 통신모듈(160)은 정보통신망을 통해 촬영된 음원발생 위치 영상을 사용자단말기(200)로 전송한다(S50).
또한, 도 12 에 도시된 바와 같이 제 S50 단계 이후, 본체(100)의 제어모듈(170)은 디스플레이부(171)를 통해 촬영된 음원발생 위치의 이미지들을 출력함과 아울러 저장소(172)에 저장하며, 추정된 음원발생 위치의 X축 좌표, Y축 좌표 및 Z축 좌표 보정에 따른 좌표이송정보를 생성한다(S60).
그리고, 본체(100)의 이송모듈(180)은 바퀴(181)를 구동시켜 제어모듈(170)로부터 인가받은 좌표이송정보에 따라 이동한다(S70).
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
도 1 은 종래의 원격 보안장비의 구성을 나타낸 도면.
도 2 는 종래의 원격 보안장비에 따른 두 초점에서 거리의 차가 일정한곳을 쌍곡선의 정의로 나타낸 도면.
도 3 은 도 2 에 따라 두 초점간의 거리차가 2a의 값을 갖으며, c=8일 때의 그래프를 도시한 도면.
도 4 는 본 발명에 따른 이동 영상처리 기반의 음원 위치추정 시스템의 구성을 나타낸 도면.
도 5 는 본 발명에 따른 좌ㆍ우측 마이크 음원의 신호 세기와 거리와의 관계를 나타낸 도면.
도 6 은 본 발명에 따른 [수학식 2]의 도출을 세부적으로 나타낸 도면.
도 7 은 본 발명에 따른 좌ㆍ우측 마이크 음원을 쌍곡선으로 나타낸 도면.
도 8 은 본 발명에 따른 좌ㆍ우측 마이크 음원이 두 개로 추정되는 것을 나타내는 도면.
도 9 는 본 발명에 따른 좌ㆍ우측 마이크 음원의 신호 세기에 따른 보정을 세부적으로 나타낸 도면.
도 10 은 본 발명에 따라 추정된 음원발생 위치의 Z축 좌표를 보정하는 예를 나타낸 도면.
도 11 은 본 발명에 따른 이동 영상처리 기반의 음원 위치추정 방법을 도시한 순서도.
도 12 본 발명에 따른 이동 영상처리 기반의 음원 위치추정 방법의 제 S50 단계 이후를 도시한 순서도.
** 도면의 주요 부분에 대한 부호의 설명 **
S: 이동 영상처리 기반의 음원 위치추정 시스템
100: 본체 110: 마이크
120: A/D컨버터 130: 음원위치 연산모듈
140: 음원위치 보정모듈 150: 이미지 센싱모듈
160: 통신모듈 170: 제어모듈
171: 디스플레이부 172: 저장소
180: 이송모듈 200: 사용자단말기
10: 촬영기기

Claims (7)

  1. 이동 영상처리 기반의 음원 위치추정 시스템에 있어서,
    복수개의 좌ㆍ우측 마이크를 통해 입력받은 좌ㆍ우측 마이크 음원으로부터 도출한 상관값에 따라 음원발생 위치와의 거리를 측정하고, 상기 상관값의 최대값들 간의 시간차에 따라 상기 좌ㆍ우측 마이크 음원 양자 중에 가까운 음원을 도출함과 아울러 상기 좌ㆍ우측 마이크 음원의 신호 세기를 도출하여 음원발생 위치를 추정하고, 추정한 음원발생 위치의 X축 좌표, Y축 좌표 및 Z축 좌표를 보정 및 촬영하는 본체; 및
    정보통신망을 통해 상기 본체로부터 전송받은 촬영된 음원발생 위치의 영상을 출력하는 사용자단말기; 를 포함하는 것을 특징으로 하는 이동 영상처리 기반의 음원 위치추정 시스템.
  2. 제 1 항에 있어서,
    상기 본체는,
    상기 좌ㆍ우측 마이크 음원간의 시간차가 기설정된 값보다 작을 경우, 음원이 Y축과 인접하도록 Y축 좌표를 수정하고, 좌ㆍ우측 마이크 음원간의 시간차가 기설정된 값보다 클 경우, 음원이 X축과 인접하도록 X축 좌표를 수정하여 추정된 음원발생 위치의 X축 좌표 및 Y축 좌표를 보정하는 음원위치 보정모듈;
    촬영기기가 상기 추정된 음원발생 위치를 지향하도록 윈도윙시키고, 상기 추정된 음원발생 위치의 Z축 좌표를 보정함과 동시에 얼굴인식 및 이동체를 검출하여 보정된 음원발생 위치를 촬영하는 이미지 센싱모듈; 및
    상기 정보통신망을 통해 촬영된 음원발생 위치 영상을 상기 사용자단말기로 전송하는 통신모듈; 을 포함하는 것을 특징으로 하는 이동 영상처리 기반의 음원 위치추정 시스템.
  3. 제 2 항에 있어서,
    상기 본체는,
    상기 음원위치 보정모듈, 이미지 센싱모듈 및 통신모듈을 제어함과 아울러 디스플레이부를 통해 상기 촬영된 음원발생 위치 영상을 출력하고, 상기 촬영된 음원발생 위치 영상을 저장소에 저장하며, 상기 추정된 음원발생 위치의 X축 좌표, Y축 좌표 및 Z축 좌표 보정에 따른 좌표이송정보를 생성하는 제어모듈; 을 더 포함하는 것을 특징으로 하는 이동 영상처리 기반의 음원 위치추정 시스템.
  4. 제 2 항에 있어서,
    상기 본체는,
    상기 좌표이송정보에 따라 구동되는 바퀴를 통해 이동하는 이송모듈; 을 더 포함하는 것을 특징으로 하는 이동 영상처리 기반의 음원 위치추정 시스템.
  5. 이동 영상처리 기반의 음원 위치추정 방법에 있어서,
    (a) 본체가 좌ㆍ우측 마이크 음원을 입력받아 디지털로 변환하는 단계;
    (b) 본체가 상기 좌ㆍ우측 마이크 음원으로부터 도출한 상관값에 따라 음원발생 위치와의 거리를 측정하고, 상기 상관값의 최대값들 간의 시간차에 따라 좌ㆍ우측 마이크 음원 양자 중에 가까운 음원을 추정함과 아울러 상기 좌ㆍ우측 마이크 음원의 신호 세기를 도출하여 음원발생 위치를 추정하는 단계;
    (c) 본체가 상기 좌ㆍ우측 마이크 음원간의 시간차와 기설정된 값을 비교하는 단계;
    (d) 상기 (c) 단계의 비교결과, 상기 좌ㆍ우측 마이크 음원간의 시간차가 기설정된 값보다 작을 경우, 본체가 상기 좌ㆍ우측 마이크 음원이 Y축과 인접하도록 상기 추정된 음원발생 위치의 Y축 좌표를 보정하는 단계;
    (e) 본체가 촬영기기를 상기 추정된 음원발생 위치로 지향하도록 윈도윙시키고, 상기 추정된 음원발생 위치의 Z축 좌표를 보정함과 동시에 얼굴인식 및 이동체를 검출하여 보정된 음원발생 위치를 촬영하는 단계; 및
    (f) 본체가 정보통신망을 통해 상기 촬영된 음원발생 위치 영상을 사용자단말기로 전송하는 단계; 를 포함하는 것을 특징으로 하는 이동 영상처리 기반의 음원 위치추정 방법.
  6. 제 5 항에 있어서,
    (g) 상기 (c) 단계의 비교결과, 상기 좌ㆍ우측 마이크 음원간의 시간차가 기설정된 값보다 클 경우, 본체가 상기 좌ㆍ우측 마이크 음원이 X축과 인접하도록 상기 추정된 음원발생 위치의 X축 좌표를 보정하는 단계; 를 더 포함하는 것을 특징으로 하는 이동 영상처리 기반의 음원 위치추정 방법.
  7. 제 5 항에 있어서,
    상기 (f) 단계 이후,
    (h) 본체가 상기 촬영된 음원발생 위치의 이미지들을 디스플레이부를 통해 출력함과 아울러 저장소에 저장하며, 상기 추정된 음원발생 위치의 X축 좌표, Y축 좌표 및 Z축 좌표 보정에 따른 좌표이송정보를 생성하는 단계; 및
    (i) 본체가 상기 좌표이송정보에 따라 바퀴를 구동시켜 이동하는 단계; 를 더 포함하는 것을 특징으로 하는 이동 영상처리 기반의 음원 위치추정 방법.
KR1020080094437A 2008-09-26 2008-09-26 이동 영상처리 기반의 음원 위치추정 시스템 및 그 방법 KR20100035214A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080094437A KR20100035214A (ko) 2008-09-26 2008-09-26 이동 영상처리 기반의 음원 위치추정 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080094437A KR20100035214A (ko) 2008-09-26 2008-09-26 이동 영상처리 기반의 음원 위치추정 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20100035214A true KR20100035214A (ko) 2010-04-05

Family

ID=42213123

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080094437A KR20100035214A (ko) 2008-09-26 2008-09-26 이동 영상처리 기반의 음원 위치추정 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR20100035214A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013117964A1 (en) * 2012-02-09 2013-08-15 Nokia Corporation Estimating distances between devices
US11510001B2 (en) 2020-02-10 2022-11-22 Samsung Electronics Co., Ltd. Electronic device and method for voice recording in electronic device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013117964A1 (en) * 2012-02-09 2013-08-15 Nokia Corporation Estimating distances between devices
US11510001B2 (en) 2020-02-10 2022-11-22 Samsung Electronics Co., Ltd. Electronic device and method for voice recording in electronic device

Similar Documents

Publication Publication Date Title
US10506164B2 (en) Depth information obtaining method and apparatus, and image acquisition device
CN106679651B (zh) 声源定位方法、装置和电子设备
JP5961945B2 (ja) 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
US20150022636A1 (en) Method and system for voice capture using face detection in noisy environments
US10154363B2 (en) Electronic apparatus and sound output control method
US10788317B2 (en) Apparatuses and devices for camera depth mapping
JP6394005B2 (ja) 投影画像補正装置、投影する原画像を補正する方法およびプログラム
US20120121126A1 (en) Method and apparatus for estimating face position in 3 dimensions
CN105611167B (zh) 一种对焦平面调整方法及电子设备
US20170162195A1 (en) Information processing apparatus, information processing method, and recording medium
US11234074B2 (en) Sound pickup device, sound pickup system, sound pickup method, program, and calibration method
US10205928B2 (en) Image processing apparatus that estimates distance information, method of controlling the same, and storage medium
US20210099796A1 (en) Signal processing device and signal processing method
CN204302650U (zh) 一种可自动校正几何失真的投影机
WO2019171984A1 (ja) 信号処理装置、信号処理方法、及び、プログラム
WO2016103621A1 (ja) ３次元情報復元装置、３次元情報復元システム、及び３次元情報復元方法
JP2011058854A (ja) 携帯端末
JP2017090420A (ja) ３次元情報復元装置及び３次元情報復元方法
KR20100035214A (ko) 이동 영상처리 기반의 음원 위치추정 시스템 및 그 방법
JPWO2018143360A1 (ja) 相対位置検出システム及び画像表示システム
JP2007214753A (ja) 制御方法及び制御装置
US11006035B2 (en) Imaging system, imaging device, and imaging method
KR101239671B1 (ko) 렌즈에 의한 왜곡 영상 보정방법 및 그 장치
CN106791425B (zh) 一种提示用户最佳成像距离的提示系统及方法、手机
TW201935032A (zh) 電子裝置以及定位方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application