KR101752586B1 - 객체 모니터링 장치 및 그 방법 - Google Patents

객체 모니터링 장치 및 그 방법 Download PDF

Info

Publication number
KR101752586B1
KR101752586B1 KR1020160006038A KR20160006038A KR101752586B1 KR 101752586 B1 KR101752586 B1 KR 101752586B1 KR 1020160006038 A KR1020160006038 A KR 1020160006038A KR 20160006038 A KR20160006038 A KR 20160006038A KR 101752586 B1 KR101752586 B1 KR 101752586B1
Authority
KR
South Korea
Prior art keywords
measurement
distance
target object
distance information
detection module
Prior art date
Application number
KR1020160006038A
Other languages
English (en)
Inventor
변재영
강희선
김범훈
배해진
김대호
Original Assignee
조선대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조선대학교산학협력단 filed Critical 조선대학교산학협력단
Priority to KR1020160006038A priority Critical patent/KR101752586B1/ko
Application granted granted Critical
Publication of KR101752586B1 publication Critical patent/KR101752586B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G06K9/00624—
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation

Abstract

본 발명은 객체 모니터링 장치 및 그 방법에 관한 것으로, 제어모듈을 통해 영상획득모듈에서 획득된 영상을 이용하여 후보객체 및 이에 대한 거리정보를 추출하고, 객체감지모듈에서 감지된 대상객체 및 이에 대한 거리정보를 산출하며, 상기 산출된 대상객체의 거리정보에 기반하여 탐색된 측정영역에 따라 상기 추출된 후보객체의 거리정보 및 상기 산출된 대상객체의 거리정보 중 적어도 하나의 정보를 이용하여 즉, 영상과 함께 거리정보를 동시에 이용하여 최종객체를 선정하고, 이를 바탕으로 대상객체의 검출 및 추적을 함으로써, 조명 및 환경 등과 같은 외부 요소에 강인한 특성을 가지고, 대상객체의 검출 및 추적을 정밀하게 할 수 있을 뿐만 아니라 비금속성 배경 요소 및 장애물에 의해 대상객체가 가려진 경우에도 대상객체의 검출 및 추적을 지속적으로 할 수 있는 효과가 있다.

Description

객체 모니터링 장치 및 그 방법{APPARATUS AND METHOD FOR MONITORING OBJECT}
본 발명은 모니터링 장치에 관한 것으로, 더욱 상세하게는 객체 모니터링 장치 및 그 방법에 관한 것이다.
최근 안전과 보안의식이 향상됨에 따라 영상을 이용한 모니터링 장치가 대두되고 있다. 실생활에서의 대표적인 영상을 이용한 모니터링 장치에는 CCTV(Close Circuit Television) 영상을 이용한 모니터링 장치와 자동차 블랙박스 영상을 이용한 모니터링 장치 등이 있다.
특히, CCTV 영상을 이용한 모니터링 장치는 보안 분야, 감시 분야 및 교통관리 분야 등 다양한 분야에서 많이 사용되고 있다. 그러나, 이러한 CCTV 영상을 이용한 모니터링 장치는 단순 모니터링 기능만을 가지고 있기 때문에, 보안, 감시 및 관리 등에 취약하다는 문제점이 있다.
이에, 상술한 문제점을 해결하기 위해, 최근에는 영상 처리, 영상 인식 등 영상 기반의 보안시스템 기술이 각광받고 있으며, 특히 영상을 이용하여 움직이는 객체 즉, 이동체를 검출하고 추적하는 연구가 많이 진행되고 있다.
그럼에도 불구하고, 카메라를 이용하여 획득된 영상으로부터 이동체의 검출 및 추적하는 방식은 카메라와 이동체 사이에 아무런 장애물이 없는 상황을 전제로 하기 때문에, 아무리 좋은 성능의 특징정보 추출과 분류기를 거친다 하여도, 이동체가 다른 배경요소 즉, 장애물에 의해 이동체의 일부 또는 전체가 가려진 경우에 이동체의 검출 및 추적이 불가능하다는 문제점이 있다.
그리고, 상술한 상황을 거친 후, 이동체가 카메라로부터 획득된 영상에 재등장 하는 경우, 카메라를 이용하여 획득된 영상으로부터 이동체의 검출 및 추적하는 방식은 재등장한 이동체가 이전에 추적하고 있던 기존의 이동체인지, 아니면 다른 이동체인지 판단할 수 없다는 문제점이 있다.
그리고, 카메라를 이용하여 획득된 영상으로부터 이동체의 검출 및 추적하는 방식은 관찰 환경에서의 빛의 정도, 배경 색, 이동체의 움직임 및 자세와 같은 상태 변화에 의한 영향을 많이 받기 때문에, 이동체의 검출 및 추적을 정밀하게 할 수 없다는 문제점이 있다.
즉, 카메라를 이용하여 획득된 영상으로부터 이동체의 검출 및 추적하는 방식은 카메라로부터 획득된 영상에서 이동체에 대한 다양한 특징정보를 추출할 수 있지만, 반면 조명 및 환경 등과 같은 외부 요소에 의한 영향을 많이 받기 때문에, 이동체의 검출 및 추적을 정밀하게 할 수 없다는 문제점이 있다.
따라서, 조명 및 환경 등과 같은 외부 요소에 강인한 특성을 가지고, 이동체의 검출 및 추적을 정밀하게 할 수 있을 뿐만 아니라 비금속성 배경 요소 및 장애물에 의해 이동체가 가려진 경우에도 이동체의 검출 및 추적을 지속적으로 할 수 있는 모니터링 장치에 대한 개발이 필요한 실정이다.
국내특허등록번호 제10-1224017호
본 발명은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 조명 및 환경 등과 같은 외부 요소에 강인한 특성을 가지고, 대상객체의 검출 및 추적을 정밀하게 할 수 있을 뿐만 아니라 비금속성 배경 요소 및 장애물에 의해 대상객체가 가려진 경우에도 대상객체의 검출 및 추적을 지속적으로 할 수 있는 객체 모니터링 장치 및 그 방법을 제공하는데 있다.
전술한 목적을 달성하기 위하여 본 발명의 제1 측면은, 특정 공간의 영상을 획득하는 영상획득모듈; 특정 공간에 위치하는 대상객체를 감지하는 객체감지모듈; 및 상기 영상획득모듈로부터 획득된 영상을 제공받아 기 설정된 복수의 측정범위를 갖는 측정영역들을 매핑함과 아울러 기 설정된 영상분석 알고리즘을 통해 후보객체 및 이에 대한 거리정보를 추출하고, 상기 객체감지모듈로부터 감지된 대상객체 및 이에 대한 거리정보를 산출하여 산출된 대상객체의 거리정보가 포함되는 측정영역들을 탐색하며, 상기 탐색된 측정영역에 따라 상기 추출된 후보객체의 거리정보 및 상기 산출된 대상객체의 거리정보 중 적어도 하나의 정보를 이용하여 최종객체를 선정하는 제어모듈을 포함하는 객체 모니터링 장치를 제공하는 것이다.
여기서, 상기 영상획득모듈은 적어도 하나의 비전 카메라(vision camera)를 포함하고, 상기 객체감지모듈은 적어도 하나의 임펄스 라디오 초광대역(impulse radio-ultra wide band, IR-UWB) 레이더를 포함하는 것이 바람직하다.
바람직하게, 상기 임펄스 라디오 초광대역(IR-UWB) 레이더는, 특정 공간 내에 임펄스 신호를 주기적으로 방사하는 송신기 및 대상객체로부터 반사된 임펄스 신호를 수신하는 수신기를 포함하되, 상기 비전 카메라는, 상기 송신기와 수신기 사이에 배치되도록 구비될 수 있다.
바람직하게, 상기 기 설정된 복수의 측정범위를 갖는 측정영역들은, 상기 객체감지모듈에 의한 대상객체까지의 거리 측정범위에 따라 각각의 측정영역으로 구분될 수 있다.
바람직하게, 상기 기 설정된 복수의 측정범위를 갖는 측정영역들은, 상기 객체감지모듈에 의한 대상객체까지의 거리 측정오차범위에 따라 각각의 측정영역으로 구분될 수 있다.
바람직하게, 상기 기 설정된 복수의 측정범위를 갖는 측정영역들은, 상기 객체감지모듈로부터 일정거리 이격된 거리까지의 거리 측정범위를 갖는 제 1 측정영역; 상기 제 1 측정영역으로부터 일정거리 이격된 거리까지의 거리 측정범위를 갖는 제 2 측정영역; 및 상기 제 1 측정영역 및 제 2 측정영역 이외의 모든 거리 측정범위를 갖는 제 3 측정영역을 포함할 수 있다.
바람직하게, 상기 제어모듈은, 상기 영상획득모듈로부터 획득된 영상을 제공받아 상기 제 1 측정영역 내지 제 3 측정영역을 매핑함과 아울러 기 설정된 영상분석 알고리즘을 통해 후보객체 및 이에 대한 거리정보를 추출하고, 상기 객체감지모듈로부터 감지된 대상객체 및 이에 대한 거리정보를 산출하여 산출된 대상객체의 거리정보가 포함되는 측정영역들을 탐색하며, 탐색결과 상기 제 1 측정영역으로 탐색된 경우, 상기 제 1 측정영역에서 추출된 후보객체의 거리정보와 상기 산출된 대상객체의 거리정보를 비교분석하여 상기 산출된 대상객체의 거리와 일치하는 모든 후보객체를 최종객체로 선정할 수 있다.
바람직하게, 상기 제어모듈은, 상기 영상획득모듈로부터 획득된 영상을 제공받아 상기 제 1 측정영역 내지 제 3 측정영역을 매핑함과 아울러 기 설정된 영상분석 알고리즘을 통해 후보객체 및 이에 대한 거리정보를 추출하고, 상기 객체감지모듈로부터 감지된 대상객체 및 이에 대한 거리정보를 산출하여 산출된 대상객체의 거리정보가 포함되는 측정영역들을 탐색하며, 탐색결과 상기 제 2 측정영역으로 탐색된 경우, 상기 제 2 측정영역에서 추출된 후보객체와 상기 산출된 대상객체 모두를 최종객체로 선정할 수 있다.
바람직하게, 상기 제어모듈은, 상기 영상획득모듈로부터 획득된 영상을 제공받아 상기 제 1 측정영역 내지 제 3 측정영역을 매핑함과 아울러 기 설정된 영상분석 알고리즘을 통해 후보객체 및 이에 대한 거리정보를 추출하고, 상기 객체감지모듈로부터 감지된 대상객체 및 이에 대한 거리정보를 산출하여 산출된 대상객체의 거리정보가 포함되는 측정영역들을 탐색하며, 탐색결과 상기 제 3 측정영역으로 탐색된 경우, 상기 제 3 측정영역에서 추출된 후보객체를 최종객체로 선정할 수 있다.
바람직하게, 상기 기 설정된 영상분석 알고리즘은, 차영상(difference image) 기법 또는 평균이동(meanshift) 기법 등을 기반으로 하는 컴퓨터 비전(computer vision) 기술로 이루어질 수 있다.
본 발명의 제2 측면은, 영상획득모듈, 객체감지모듈 및 제어모듈을 포함하는 장치를 이용하여 객체를 모니터링 하는 방법으로서, (a) 상기 영상획득모듈을 통해 특정 공간의 영상을 획득하는 단계; (b) 상기 객체감지모듈을 통해 특정 공간에 위치하는 대상객체를 감지하는 단계; 및 (c) 상기 제어모듈을 통해 상기 단계(a)에서 획득된 영상을 제공받아 기 설정된 복수의 측정범위를 갖는 측정영역들을 매핑함과 아울러 기 설정된 영상분석 알고리즘을 통해 후보객체 및 이에 대한 거리정보를 추출하고, 상기 단계(b)에서 감지된 대상객체 및 이에 대한 거리정보를 산출하여 산출된 대상객체의 거리정보가 포함되는 측정영역들을 탐색하며, 상기 탐색된 측정영역에 따라 상기 추출된 후보객체의 거리정보 및 상기 산출된 대상객체의 거리정보 중 적어도 하나의 정보를 이용하여 최종객체를 선정하는 단계를 포함하는 객체 모니터링 방법을 제공하는 것이다.
여기서, 상기 단계(a)에서, 상기 영상획득모듈은 적어도 하나의 비전 카메라(vision camera)를 포함하고, 상기 단계(b)에서, 상기 객체감지모듈은 적어도 하나의 임펄스 라디오 초광대역(impulse radio-ultra wide band, IR-UWB) 레이더를 포함하는 것이 바람직하다.
바람직하게, 상기 임펄스 라디오 초광대역(IR-UWB) 레이더는, 특정 공간 내에 임펄스 신호를 주기적으로 방사하는 송신기 및 대상객체로부터 반사된 임펄스 신호를 수신하는 수신기를 포함하되, 상기 비전 카메라는, 상기 송신기와 수신기 사이에 배치되도록 구비될 수 있다.
바람직하게, 상기 단계(c)에서, 상기 기 설정된 복수의 측정범위를 갖는 측정영역들은, 상기 객체감지모듈에 의한 대상객체까지의 거리 측정범위에 따라 각각의 측정영역으로 구분될 수 있다.
바람직하게, 상기 단계(c)에서, 상기 기 설정된 복수의 측정범위를 갖는 측정영역들은, 상기 객체감지모듈에 의한 대상객체까지의 거리 측정오차범위에 따라 각각의 측정영역으로 구분될 수 있다.
바람직하게, 상기 단계(c)에서, 상기 기 설정된 복수의 측정범위를 갖는 측정영역들은, 상기 객체감지모듈로부터 일정거리 이격된 거리까지의 거리 측정범위를 갖는 제 1 측정영역; 상기 제 1 측정영역으로부터 일정거리 이격된 거리까지의 거리 측정범위를 갖는 제 2 측정영역; 및 상기 제 1 측정영역 및 제 2 측정영역 이외의 모든 거리 측정범위를 갖는 제 3 측정영역을 포함할 수 있다.
바람직하게, 상기 단계(c)에서, 상기 제어모듈은, 상기 단계(a)에서 획득된 영상을 제공받아 상기 제 1 측정영역 내지 제 3 측정영역을 매핑함과 아울러 기 설정된 영상분석 알고리즘을 통해 후보객체 및 이에 대한 거리정보를 추출하고, 상기 단계(b)에서 감지된 대상객체 및 이에 대한 거리정보를 산출하여 산출된 대상객체의 거리정보가 포함되는 측정영역들을 탐색하며, 탐색결과 상기 제 1 측정영역으로 탐색된 경우, 상기 제 1 측정영역에서 추출된 후보객체의 거리정보와 상기 산출된 대상객체의 거리정보를 비교분석하여 상기 산출된 대상객체의 거리와 일치하는 모든 후보객체를 최종객체로 선정할 수 있다.
바람직하게, 상기 단계(c)에서, 상기 제어모듈은, 상기 단계(a)에서 획득된 영상을 제공받아 상기 제 1 측정영역 내지 제 3 측정영역을 매핑함과 아울러 기 설정된 영상분석 알고리즘을 통해 후보객체 및 이에 대한 거리정보를 추출하고, 상기 단계(b)에서 감지된 대상객체 및 이에 대한 거리정보를 산출하여 산출된 대상객체의 거리정보가 포함되는 측정영역들을 탐색하며, 탐색결과 상기 제 2 측정영역으로 탐색된 경우, 상기 제 2 측정영역에서 추출된 후보객체와 상기 산출된 대상객체 모두를 최종객체로 선정할 수 있다.
바람직하게, 상기 단계(c)에서, 상기 제어모듈은, 상기 단계(a)에서 획득된 영상을 제공받아 상기 제 1 측정영역 내지 제 3 측정영역을 매핑함과 아울러 기 설정된 영상분석 알고리즘을 통해 후보객체 및 이에 대한 거리정보를 추출하고, 상기 단계(b)에서 감지된 대상객체 및 이에 대한 거리정보를 산출하여 산출된 대상객체의 거리정보가 포함되는 측정영역들을 탐색하며, 탐색결과 상기 제 3 측정영역으로 탐색된 경우, 탐색결과 상기 제 3 측정영역으로 탐색된 경우, 상기 제 3 측정영역에서 추출된 후보객체를 최종객체로 선정할 수 있다.
바람직하게, 상기 단계(c)에서, 기 설정된 영상분석 알고리즘은, 차영상(difference image) 기법 또는 평균이동(meanshift) 기법 등을 기반으로 하는 컴퓨터 비전(computer vision) 기술로 이루어질 수 있다.
본 발명의 제3 측면은, 상술한 객체 모니터링 방법을 실행시키기 위한 프로그램을 기록한 기록매체를 제공하는 것이다.
본 발명에 따른 객체 모니터링 방법은 컴퓨터로 판독할 수 있는 기록매체에 컴퓨터로 판독할 수 있는 코드로 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체에는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
예컨대, 컴퓨터가 읽을 수 있는 기록매체로는 롬(ROM), 램(RAM), 시디-롬(CD-ROM), 자기 테이프, 하드디스크, 플로피 디스크, 이동식 저장장치, 비휘발성 메모리(Flash Memory), 광 데이터 저장장치 등이 있다.
이상에서 설명한 바와 같은 본 발명의 객체 모니터링 장치 및 그 방법에 따르면, 제어모듈을 통해 영상획득모듈에서 획득된 영상을 이용하여 후보객체 및 이에 대한 거리정보를 추출하고, 객체감지모듈에서 감지된 대상객체 및 이에 대한 거리정보를 산출하며, 상기 산출된 대상객체의 거리정보에 기반하여 탐색된 측정영역에 따라 상기 추출된 후보객체의 거리정보 및 상기 산출된 대상객체의 거리정보 중 적어도 하나의 정보를 이용하여 즉, 영상과 함께 거리정보를 동시에 이용하여 최종객체를 선정하고, 이를 바탕으로 대상객체의 검출 및 추적을 함으로써, 조명 및 환경 등과 같은 외부 요소에 강인한 특성을 가지고, 대상객체의 검출 및 추적을 정밀하게 할 수 있을 뿐만 아니라 비금속성 배경 요소 및 장애물에 의해 대상객체가 가려진 경우에도 대상객체의 검출 및 추적을 지속적으로 할 수 있는 이점이 있다.
또한, 본 발명에 따르면, 제어모듈을 통해 영상획득모듈에서 획득된 영상에 맵핑된 측정영역별로 최종객체를 선정하고, 이를 바탕으로 대상객체의 검출 및 추적을 함으로써, 조명 및 환경 등과 같은 외부 요소에 강인한 특성을 가지고, 대상객체의 검출 및 추적을 정밀하게 할 수 있을 뿐만 아니라 비금속성 배경 요소 및 장애물에 의해 대상객체가 가려진 경우에도 대상객체의 검출 및 추적을 지속적으로 할 수 있는 이점이 있다.
또한, 본 발명에 따르면, 비전 카메라와 임펄스 라디오 초광대역(IR-UWB) 레이더의 상호 보안을 통해 최종객체를 선정하고, 이를 바탕으로 대상객체의 검출 및 추적을 함으로써, 조명 및 환경 등과 같은 외부 요소에 강인한 특성을 가지고, 대상객체의 검출 및 추적을 정밀하게 할 수 있을 뿐만 아니라 비금속성 배경 요소 및 장애물에 의해 대상객체가 가려진 경우에도 대상객체의 검출 및 추적을 지속적으로 할 수 있는 이점이 있다.
도 1은 본 발명의 일 실시예에 따른 객체 모니터링 장치를 설명하기 위한 전체적인 블록 구성도이다.
도 2a는 본 발명의 일 실시예에 적용된 임펄스 라디오 초광대역(R-UWB) 레이더의 안테나 빔 각도에 의한 측정영역을 설명하기 위한 도면이다.
도 2b는 본 발명의 일 실시예에 적용된 비전 카메라로부터 획득된 영상에 매핑된 측정영역들을 설명하기 위한 도면이다.
도 2c는 최종객체를 선정하기 위한 본 발명의 일 실시예에 적용된 프로그램을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 적용된 임펄스 라디오 초광대역(R-UWB) 레이더와 비전 카메라를 이용하여 실내 공간에 위치하는 이동체 추적을 설명하기 위한 도면이다.
도 4a는 본 발명의 일 실시에에 적용된 임펄스 라디오 초광대역(R-UWB) 레이더를 통해 실시간으로 추적된 이동체 및 이에 대한 거리 결과를 나타낸 그래프이다.
도 4b는 본 발명의 일 실시예에 적용된 비전 카메라를 이용하여 추적된 이동체 및 이에 대한 거리 결과를 나타낸 사진이다.
도 4c는 본 발명의 일 실시예에 적용된 비전 카메라 및 임펄스 라디오 초광대역(R-UWB) 레이더를 이용하여 추적된 이동체 및 이에 대한 거리 결과를 나타낸 사진이다.
도 5는 본 발명의 일 실시예에 따른 객체 모니터링 방법을 설명하기 위한 순서도이다.
도 6a는 본 발명의 일 실시예에 적용된 제 1 측정영역에서 최종객체를 선정하는 방법을 구체적으로 설명하기 위한 순서도이다.
도 6b는 본 발명의 일 실시예에 적용된 제 2 측정영역에서 최종객체를 선정하는 방법을 구체적으로 설명하기 위한 순서도이다.
도 6c는 본 발명의 일 실시예에 적용된 제 3 측정영역에서 최종객체를 선정하는 방법을 구체적으로 설명하기 위한 순서도이다.
이하, 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 발명의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
또한, 본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하에서는, 첨부된 도면을 참조하여 본 발명의 일 실시예에 따른 객체 모니터링 장치를 설명한다.
도 1은 본 발명의 일 실시예에 따른 객체 모니터링 장치를 설명하기 위한 전체적인 블록 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 객체 모니터링 장치(100)는 크게, 영상획득모듈(110), 객체감지모듈(120) 및 제어모듈(150) 등을 포함하여 이루어질 수 있다.
영상획득모듈(110)은 특정 공간을 촬영하여 특정 공간에 대한 영상(이하, 영상이라 지칭함)을 획득할 수 있다. 또한, 영상획득모듈(110)은 상기 획득된 영상을 후술할 제어모듈(150)로 전송할 수 있다.
일 예에서, 영상획득모듈(110)은 실시간으로, 특정 공간을 촬영하여 특정 공간에 대한 영상을 획득할 수 있고, 상기 획득된 영상을 후술할 제어모듈(150)로 전송할 수 있다.
다른 예에서, 영상획득모듈(110)은 주기적으로, 특정 공간을 촬영하여 특정 공간에 대한 영상을 획득할 수 있고, 상기 획득된 영상을 후술할 제어모듈(150)로 전송할 수 있다.
다른 예에서, 영상획득모듈(110)은 임의의 시간에, 특정 공간을 촬영하여 특정 공간에 대한 영상을 획득할 수 있고, 상기 획득된 영상을 후술할 제어모듈(150)로 전송할 수 있다.
여기서, 특정 공간은 상하/전후/좌우 3방향으로 퍼져 있는 곳을 의미할 수 있다. 예컨대, 특정 공간은 모든 실내 공간 및/또는 모든 실외 공간을 포함할 수 있다.
여기서, 상기 영상은 영상획득모듈(110)을 통해 촬영된 특정 공간의 영상(image)으로서, 픽처(picture) 또는 프레임(frame) 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
또한, 영상획득모듈(110)은 적어도 하나의 일반적인 카메라를 포함할 수 있지만, 이에 한정되는 것은 아니고 영상을 획득할 수 있고, 획득된 영상을 전송할 수 있다면 어떠한 장치라도 포함할 수 있다.
예컨대, 영상획득모듈(110)은 적어도 하나의 비전 카메라(vision camera)(111)를 포함할 수 있다. 또한, 영상획득모듈(110)은 싱글 비전 카메라 및 스테레오(stereo) 비전 카메라 중 적어도 하나의 비전 카메라를 포함할 수 있다.
여기서, 비전 카메라(111)는 디지털 카메라나 휴대폰에 쓰이는 일반적인 카메라와는 달리, 각종 조립 장비, 테스트 장비, 반도체 조립 장비, 로봇 장비 및 감시 장비 등과 같이 객체 인식을 주목적으로 하는 카메라를 의미할 수 있다.
그리고, 영상획득모듈(110)은 IP카메라, CCTV, 전방향 카메라, 레이저 스캐너, 휴대 단말기, PTZ(Pan Tilt Zoom) 카메라, 열화상 카메라, 적외선 센서 및 열감지 센서 중 적어도 하나를 포함할 수도 있다.
특히, 상기 휴대 단말기는 카메라가 포함되어 영상 획득이 가능하고, 획득된 영상을 서버 또는 타 단말기에 전송 가능한 단말기로서, 개인정보 단말기(PDA: Personal Digital Assistant), 스마트 폰(Smart Phone) 또는 3G 단말기 등을 포함할 수 있다.
객체감지모듈(120)은 특정 공간에 위치하는 대상객체를 감지할 수 있다. 즉, 객체감지모듈(120)은 특정 공간에 위치하는 대상객체를 감지하여 대상객체 감지신호를 획득할 수 있다. 또한, 객체감지모듈(120)은 상기 획득된 대상객체 감지신호를 후술할 제어모듈(150)로 전송할 수 있다.
일 예에서, 객체감지모듈(120)은 실시간으로, 특정 공간에 위치하는 대상객체를 감지하여 대상객체 감지신호를 획득할 수 있고, 상기 획득된 대상객체 감지신호를 제어모듈(150)로 전송할 수 있다.
다른 예에서, 객체감지모듈(120)은 주기적으로, 특정 공간에 위치하는 대상객체를 감지하여 대상객체 감지신호를 획득할 수 있고, 상기 획득된 대상객체 감지신호를 제어모듈(150)로 전송할 수 있다.
다른 예에서, 객체감지모듈(120)은 임의의 시간에, 특정 공간에 위치하는 대상객체를 감지하여 대상객체 감지신호를 획득할 수 있고, 상기 획득된 대상객체 감지신호를 제어모듈(150)로 전송할 수 있다.
여기서, 상기 대상객체는 객체감지모듈(120)에 의해 감지될 수 있는 특정 공간에 위치하는 실제 객체 즉, 실제 사물로서, 상태(state) 또는 행동(behavior) 을 가지는 모든 사물을 포함할 수 있다. 여기서, 상기 사물은 움직이는 사물 및/또는 움직이지 않는 사물을 포함할 수 있다. 그리고, 상기 사물은 물체 및/또는 사람을 포함할 수 있다.
한편, 객체감지모듈(120)은 특정 공간에 위치하는 대상객체로부터 반사된 전파에 기반하여 대상객체 감지신호를 획득할 수 있고, 상기 획득된 대상객체 감지신호를 제어모듈(150)로 전송할 수 있다.
일 예에서, 객체감지모듈(120)은 송신기(Tx) 및 수신기(Rx)를 포함할 수 있다. 즉, 객체감지모듈(120)은 해당 모듈에 구비된 송신기(Tx)를 통해 전파를 방사할 수 있고, 해당 모듈에 구비된 수신기(Rx)를 통해 대상객체로부터 반사된 전파를 수신하여 대상객체 감지신호를 획득할 수 있고, 상기 획득된 대상객체 감지신호를 제어모듈(150)로 전송할 수 있다.
다른 예에서, 객체감지모듈(120)은 수신기(Rx)를 포함할 수 있고, 송신기(Tx)는 별도로 구비될 수 있다. 즉, 별도로 구비된 송신기(Tx)를 통해 전파가 방사될 수 있으며, 방사된 전파는 대상객체에 의해 반사될 수 있다. 이에, 객체감지모듈(120)은 해당 모듈에 구비된 수신기(Rx)를 통해 대상객체로부터 반사된 전파를 수신하여 대상객체 감지신호를 획득할 수 있고, 상기 획득된 대상객체 감지신호를 제어모듈(150)로 전송할 수 있다.
여기서, 송신기(Tx)는 적어도 하나의 송신 안테나를 포함할 수 있고, 수신기(Rx)는 적어도 하나의 수신 안테나를 포함할 수 있다.
또한, 객체감지모듈(120)은 적어도 하나의 일반적인 레이더를 포함할 수 있지만, 이에 한정되는 것은 아니고 대상객체를 감지할 수 있다면 어떠한 장치라도 포함할 수 있다.
예컨대, 객체감지모듈(120)은 적어도 하나의 임펄스 라디오 초광대역(impulse radio-ultra wide band, IR-UWB) 레이더(121) 포함할 수 있다. 여기서, 초광대역(UWB)은 상용화를 허용하며 중심 주파수의 20% 이상의 점유 대역폭을 가지거나 500MHz 이상의 대역폭을 갖는 무선전송 기술로 정의될 수 있다. 그리고, 임펄스 라디오 초광대역(IR-UWB)은 수 나노초(nano second) 이하의 시간 폭을 갖는 임펄스 신호를 사용하는 무선 기술로 정의될 수 있다.
이러한 임펄스 라디오 초광대역(IR-UWB) 레이더(121)는 매우 짧은 주기를 갖는 임펄스 신호를 방사하여, 수 센티미터 정도의 정밀도를 갖는 거리 측정이 가능할 수 있다. 즉, 상기 임펄스 라디오 초광대역(IR-UWB) 레이더(121)는 물체 투과성 및 측정 정밀도가 높아 대상객체의 위치 추적에 용이한 특성을 가지고 있다.
그리고, 임펄스 라디오 초광대역(IR-UWB) 레이더(121)는 특정 공간 내에 임펄스 신호를 주기적으로 방사하는 송신기(Tx) 및 대상객체로부터 반사된 임펄스 신호를 수신하는 수신기(Rx)를 포함할 수 있지만, 이에 한정되는 것은 아니고 수신기(Rx)만을 포함할 수도 있다. 여기서, 상기 송신기(Tx)는 적어도 하나의 송신 안테나를 포함할 수 있고, 상기 수신기는 적어도 하나의 수신 안테나를 포함할 수 있다.
그리고, 임펄스 라디오 초광대역(IR-UWB) 레이더(121)는 매우 짧은 주기를 갖는 임펄스 신호를 방사하여 수 센티미터 정도의 정밀도를 갖는 대상객체에 대한 거리 측정이 가능할 수 있다.
그리고, 임펄스 라디오 초광대역(IR-UWB) 레이더(121)의 송신기(Tx)와 수신기(Rx) 사이에는 상술한 영상획득모듈(110)(일 예로, 비전 카메라(111) 등)이 배치되도록 구비될 수 있다.
또한, 객체감지모듈(120)은 적외선 센서모듈, 초음파 센서모듈 및 RF(radio frequency) 센서모듈, WLAN 모듈, 블루투스(bluetooth) 모듈, RFID 모듈 및 CSS(chirp spread spectrum) 모듈 중 적어도 하나의 모듈을 포함할 수도 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 객체 모니터링 장치는, 비전 카메라와 임펄스 라디오 초광대역(IR-UWB) 레이더의 상호 보안을 통해 최종객체를 선정하고, 이를 바탕으로 대상객체의 검출 및 추적을 함으로써, 조명 및 환경 등과 같은 외부 요소에 강인한 특성을 가지고, 대상객체의 검출 및 추적을 정밀하게 할 수 있을 뿐만 아니라 비금속성 배경 요소 및 장애물에 의해 대상객체가 가려진 경우에도 대상객체의 검출 및 추적을 지속적으로 할 수 있다.
한편, 여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (Application Specific Integrated Circuits), DSPs (Digital Signal Processors), DSPDs (Digital Dignal Processing Devices), PLDs (Programmable Logic Devices), FPGAs (Field Programmable Gate Arrays), 프로세서(Processors), 제어기(Controllers), 마이크로 컨트롤러(Micro-Controllers), 마이크로 프로세서(Microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어모듈(150) 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 애플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 후술할 저장모듈(140)에 저장되고, 제어모듈(150)에 의해 실행될 수 있다.
이러한 제어모듈(150)은 객체 모니터링 장치(100)의 각 구성요소들의 동작을 제어할 수 있다. 예컨대, 제어모듈(150)은 상술한 영상획득모듈(110) 및 객체감지모듈(120)과 연결되어 이들의 동작을 제어할 수 있다.
즉, 제어모듈(150)은 영상획득모듈(110)과 연결될 수 있다. 또한, 제어모듈(150)은 영상획득모듈(110)로부터 획득된 영상을 제공받을 수 있다. 또한, 제어모듈(150)은 상기 획득된 영상과 기 설정된 복수의 측정범위를 갖는 측정영역들을 매핑할 수 있다.
일 예에서, 상기 기 설정된 복수의 측정범위를 갖는 측정영역들은 객체감지모듈(120)에 의한 대상객체까지의 거리 측정범위에 따라 각각의 측정영역으로 구분될 수 있다.
다른 예에서, 상기 기 설정된 복수의 측정범위를 갖는 측정영역들은 객체감지모듈(120)에 의한 대상객체까지의 거리 측정오차범위에 따라 각각의 측정영역으로 구분될 수 있다.
다른 예에서, 상기 기 설정된 복수의 측정범위를 갖는 측정영역들은 세 개의 측정영역 즉, 제 1 측정영역 내지 제 3 측정영역으로 구분될 수 있지만, 이에 한정되는 것은 아니고 두 개의 측정범위를 갖는 측정영역 또는 네 개 이상의 측정범위를 갖는 측정영역으로도 구분될 수 있다. 뿐만 아니라, 기 설정된 측정영역은 한 개의 측정범위를 갖는 측정영역으로도 구비될 수 있다.
여기서, 상기 제 1 측정영역 내지 제 3 측정영역은 객체감지모듈(120)(일 예로, IR-UWB 레이더(121) 등)에 의한 대상객체의 감지가능여부 즉, 관찰가능여부 및 대상객체에 대한 거리측정 정밀도 즉, 위치추적 정밀도에 따라 구분될 수 있다.
즉, 상기 제 1 측정영역은 객체감지모듈(120)에 의해 대상객체의 관찰이 가능하고, 정확한 위치추적이 가능한 측정영역으로서, 안정적 객체감지모듈(120) 관찰영역으로 지칭될 수 있다.
그리고, 상기 제 2 측정영역은 객체감지모듈(120)에 의해 대상객체의 관찰이 가능하지만, 정확한 위치추적이 불가능한 측정영역으로서, 객체감지모듈(120) 관찰가능영역으로 지칭될 수 있다.
그리고, 상기 제 3 측정영역은 상기 제 1 측정영역 및 제 2 측정영역 이외의 모든 측정영역으로서, 객체감지모듈(120) 관찰불가능영역으로 지칭될 수 있다.
한편, 상기 제 1 측정영역 내지 제 3 측정영역은 객체감지모듈(120)에 의한 대상객체까지의 거리 측정범위에 따라 구분될 수 있다.
즉, 상기 제 1 측정영역은 객체감지모듈(120)로부터 제 1 일정거리 이격된 거리까지의 거리 측정범위를 갖는 측정영역일 수 있다. 예컨대, 제 1 일정거리는 6m일 수 있다. 즉, 상기 제 1 측정영역은 객체감지모듈(120)로부터 6m 이하의 거리를 갖는 측정영역일 수 있다.
그리고, 상기 제 2 측정영역은 상기 제 1 측정영역으로부터 제 2 일정거리 이격된 거리까지의 거리 측정범위를 갖는 측정영역일 수 있다. 예컨대, 상기 제 2 일정거리는 4m일 수 있다. 즉, 상기 제 2 측정영역은 객체감지모듈(120)로부터 6m 초과 내지 10m 이하의 거리를 갖는 측정영역일 수 있다.
그리고, 상기 제 3 측정영역은 상기 제 1 측정영역 및 제 2 측정영역 이외의 모든 거리 측정범위를 갖는 측정영역일 수 있다. 예컨대, 상기 제 3 측정영역은 객체감지모듈(120)로부터 10m 초과의 거리를 갖는 측정영역일 수 있다.
여기서, 상기 제 1 측정영역에서의 제 1 일정거리 및 제 2 측정영역에서의 제 2 일정거리는 상술한 수치에 한정되지 않고, 변형실시 가능하다.
한편, 상기 제 1 측정영역 내지 제 3 측정영역은 객체감지모듈(120)에 의한 대상객체까지의 거리 측정오차범위에 따라 구분될 수 있다.
즉, 상기 제 1 측정영역은 객체감지모듈(120)로부터 대상객체까지의 거리 측정오차가 제 3 일정거리를 갖는 측정영역일 수 있다. 예컨대, 상기 제 3 일정거리는 0m 이상 1m 이하일 수 있다. 즉, 상기 제 1 측정영역은 객체감지모듈(120)로부터 대상객체까지의 거리 측정오차가 1m 이하의 거리를 갖는 측정영역일 수 있다.
그리고, 상기 제 2 측정영역은 객체감지모듈(120)로부터 대상객체까지의 거리 측정오차가 제 4 일정거리를 갖는 측정영역일 수 있다. 예컨대, 상기 제 4 일정거리는 1m 초과 2m 이하일 수 있다. 즉, 상기 제 2 측정영역은 객체감지모듈(120)로부터 대상객체까지의 거리 측정오차가 1m 초과 2m 이하의 거리를 갖는 측정영역일 수 있다.
그리고, 상기 제 3 측정영역은 상기 제 1 측정영역 및 제 2 측정영역 이외의 모든 거리 측정오차범위를 갖는 측정영역일 수 있다. 예컨대, 상기 제 3 측정영역은 객체감지모듈(120)로부터 대상객체까지의 거리 측정오차가 2m 초과의 거리를 갖는 측정영역일 수 있다.
여기서, 상기 제 1 측정영역에서의 제 3 일정거리 및 제 2 측정영역에서의 제 4 일정거리는 상술한 수치에 한정되지 않고, 변형실시 가능하다.
또한, 제어모듈(150)은 기 설정된 영상분석 알고리즘을 통해 상기 획득된 영상에서 후보객체 및 이에 대한 거리정보를 추출할 수 있다.
여기서, 상기 기 설정된 영상분석 알고리즘은 컴퓨터 비전(computer vision) 기술로 이루어 질 수 있다. 이러한 컴퓨터 비전 기술은 영상획득모듈(110)에서 획득된 영상으로부터 후보객체 및 이에 대한 2차원 또는 3차원 정보(일 예로, 후보객체의 종류정보, 크기정보, 방향위치정보, 시각적인정보 또는 거리정보 등)를 획득 즉, 추출할 수 있는 기술일 수 있다.
특히, 컴퓨터 비전 기술은 차영상(difference image) 기법, 움직임을 분석하는 기법, 평균이동(meanshift) 기법, 로컬 바이너리 패턴(local binary pattern) 기법, Haar-Like feature 기법, HOG(histogram of oriented gradient) 기법 및 스테레오(stereo) 기법 중 적어도 하나의 기법을 포함할 수 있지만, 이에 한정되는 것은 아니고 영상획득모듈(110)에서 획득된 영상으로부터 후보객체 및 이에 대한 2차원 또는 3차원 정보를 추출할 수 있다면 어떠한 기법이라도 포함할 수 있다.
여기서, 상기 후보객체는 영상획득모듈(110)에서 획득된 영상에서 추출된 영상(또는, 정보)으로서, 상기 획득된 영상에서 배경을 제거하여 대상객체가 있는 객체영역 영상만을 의미할 수 있다.
또한, 제어모듈(150)은 객체감지모듈(120)과 연결될 수 있다. 또한, 제어모듈(150)은 객체감지모듈(120)로부터 대상객체 감지신호를 제공받을 수 있다. 또한, 제어모듈(150)은 제공받은 대상객체 감지신호에 기반하여 감지된 대상객체 및 이에 대한 거리정보를 산출할 수 있다.
여기서, 상기 감지된 대상객체 및 이에 대한 거리정보는 AoA(angle of arrival) 기법, ToA(time of arrival) 기법, TDOA(Ttme difference of arrival) 기법, RSS(received signal strength) 기법, ToF(time of flight) 기법 및 SDS-TWR(symmetrical double sided two way ranging) 기법 중 적어도 하나의 기법을 이용하여 산출될 수 있다.
예컨대, 객체감지모듈(120)이 송신기(Tx) 및 수신기(Rx)가 구비된 임펄스 라디오 초광대역(IR-UWB) 레이더(121)를 포함하는 경우, 제어모듈(150)은 상기 송신기(Tx)를 통해 방사된 주기적 임펄스 신호가 대상객체에 반사되어 수신기(Rx)에 수신된 시간 차이(time of arrival, ToA)를 연산(또는, 계산)하여 감지된 대상객체 및 이에 대한 거리정보를 산출할 수 있다.
또한, 제어모듈(150)은 상기 산출된 대상객체의 거리정보를 이용하여 상기 산출된 대상객체의 거리정보가 포함되는(또는, 속하는) 측정영역을 탐색할 수 있다.
또한, 제어모듈(150)은 상기 탐색된 측정영역에 따라 상기 추출된 후보객체의 거리정보 및 상기 산출된 대상객체의 거리정보 중 적어도 하나의 정보를 이용하여 최종객체를 선정할 수 있다. 여기서, 상기 최종객체는 최종적으로 모니터링되는 대상객체를 의미할 수 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 객체 모니터링 장치는, 제어모듈을 통해 영상획득모듈에서 획득된 영상을 이용하여 후보객체 및 이에 대한 거리정보를 추출하고, 객체감지모듈에서 감지된 대상객체 및 이에 대한 거리정보를 산출하며, 상기 산출된 대상객체의 거리정보에 기반하여 탐색된 측정영역에 따라 상기 추출된 후보객체의 거리정보 및 상기 산출된 대상객체의 거리정보 중 적어도 하나의 정보를 이용하여 즉, 영상과 함께 거리정보를 동시에 이용하여 최종객체를 선정하고, 이를 바탕으로 대상객체의 검출 및 추적을 함으로써, 조명 및 환경 등과 같은 외부 요소에 강인한 특성을 가지고, 대상객체의 검출 및 추적을 정밀하게 할 수 있을 뿐만 아니라 비금속성 배경 요소 및 장애물에 의해 대상객체가 가려진 경우에도 대상객체의 검출 및 추적을 지속적으로 할 수 있다.
아래에서는 도 1을 참조하여 상기 기 설정된 복수의 측정범위를 갖는 측정영역들이 제 1 측정영역 내지 제 3 측정영역으로 구분되는 경우, 상기 최종객체를 선정하는 방법을 설명한다.
일 예에서, 제어모듈(150)은 영상획득모듈(110)로부터 획득된 영상을 제공받아 상기 제 1 측정영역 내지 제 3 측정영역을 매핑함과 아울러 기 설정된 영상분석 알고리즘을 통해 후보객체 및 이에 대한 거리정보를 추출할 수 있다.
그리고, 제어모듈(150)은 객체감지모듈(120)로부터 감지된 대상객체 및 이에 대한 거리정보를 산출하여 산출된 대상객체의 거리정보가 포함되는 측정영역들을 탐색할 수 있다.
그리고, 제어모듈(150)은 탐색결과 상기 제 1 측정영역으로 탐색된 경우, 상기 제 1 측정영역에서 추출된 후보객체의 거리정보와 상기 산출된 대상객체의 거리정보를 비교분석하여 상기 산출된 대상객체의 거리와 일치하는 모든 후보객체를 최종객체로 선정할 수 있다.
다른 예에서, 제어모듈(150)은 영상획득모듈(110)로부터 획득된 영상을 제공받아 상기 제 1 측정영역 내지 제 3 측정영역을 매핑함과 아울러 기 설정된 영상분석 알고리즘을 통해 후보객체 및 이에 대한 거리정보를 추출할 수 있다.
그리고, 제어모듈(150)은 객체감지모듈(120)로부터 감지된 대상객체 및 이에 대한 거리정보를 산출하여 산출된 대상객체의 거리정보가 포함되는 측정영역들을 탐색할 수 있다.
그리고, 제어모듈(150)은 탐색결과 상기 제 2 측정영역으로 탐색된 경우, 상기 제 2 측정영역에서 추출된 후보객체와 상기 산출된 대상객체 모두를 최종객체로 선정할 수 있다.
다른 예에서, 제어모듈(150)은 영상획득모듈(110)로부터 획득된 영상을 제공받아 상기 제 1 측정영역 내지 제 3 측정영역을 매핑함과 아울러 기 설정된 영상분석 알고리즘을 통해 후보객체 및 이에 대한 거리정보를 추출할 수 있다.
그리고, 제어모듈(150)은 객체감지모듈(120)로부터 감지된 대상객체 및 이에 대한 거리정보를 산출하여 산출된 대상객체의 거리정보가 포함되는 측정영역들을 탐색할 수 있다.
그리고, 제어모듈(150)은 탐색결과 상기 제 3 측정영역으로 탐색된 경우, 상기 제 3 측정영역에서 추출된 후보객체를 최종객체로 선정할 수 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 객체 모니터링 장치는, 제어모듈을 통해 영상획득모듈에서 획득된 영상에 맵핑된 측정영역별로 최종객체를 선정하고, 이를 바탕으로 대상객체의 검출 및 추적을 함으로써, 조명 및 환경 등과 같은 외부 요소에 강인한 특성을 가지고, 대상객체의 검출 및 추적을 정밀하게 할 수 있을 뿐만 아니라 비금속성 배경 요소 및 장애물에 의해 대상객체가 가려진 경우에도 대상객체의 검출 및 추적을 지속적으로 할 수 있다.
추가적으로, 본 발명의 일 실시예에 따른 객체 모니터링 장치(100)는 디스플레이모듈(130)을 더 포함하여 이루어질 수 있다.
디스플레이모듈(130)은 제어모듈(150)과 연결되어, 제어모듈(150)에 의해 동작이 제어될 수 있다. 또한, 디스플레이모듈(130)은 제어모듈(150)과 데이터 및 정보를 송수신할 수 있다. 또한, 디스플레이모듈(130)은 제어모듈(150)로부터 제공받은 데이터 및 정보를 표시할 수 있다.
예컨대, 디스플레이모듈(130)은 영상획득모듈(110)로부터 획득된 영상, 상기 최종객체에 대한 표시, 상기 탐색된 측정영역에 따라 상기 최종객체에 해당하는 상기 추출된 후보객체의 거리정보 및 상기 산출된 대상객체의 거리정보 등을 제어모듈(150)로부터 제공받아 디스플레이 화면에 표시할 수 있다.
일 예에서, 제어모듈(150)을 통해 상기 산출된 대상객체의 거리정보가 제 1 측정영역에 포함되는 것으로 탐색된 경우, 제어모듈(150)은 영상획득모듈(110)로부터 획득된 영상, 상기 제 1 영역 상에서 검출된 최종객체에 대한 표시 및 상기 검출된 최종객체에 해당하는 상기 산출된 대상객체의 거리정보 등이 디스플레이 화면에 표시되도록 디스플레이모듈(130)을 제어할 수 있다.
다른 예에서, 제어모듈(150)을 통해 상기 산출된 대상객체의 거리정보가 제 2 측정영역에 포함되는 것으로 탐색된 경우, 제어모듈(150)은 영상획득모듈(110)로부터 획득된 영상, 상기 제 2 영역 상에서 검출된 최종객체에 대한 표시 및 상기 검출된 최종객체에 해당하는 상기 추출된 후보객체의 거리정보 및 상기 산출된 대상객체의 거리정보 등이 디스플레이 화면에 표시되도록 디스플레이모듈(130)을 제어할 수 있다.
다른 예에서, 제어모듈(150)을 통해 상기 산출된 대상객체의 거리정보가 제 3 측정영역에 포함되는 것으로 탐색된 경우, 제어모듈(150)은 영상획득모듈(110)로부터 획득된 영상, 상기 제 3 영역 상에서 검출된 최종객체에 대한 표시 및 상기 검출된 최종객체에 해당하는 상기 추출된 후보객체의 거리정보 등이 디스플레이 화면에 표시되도록 디스플레이모듈(130)을 제어할 수 있다.
또한, 디스플레이모듈(130)은 액정 디스플레이(Liquid Crystal Display, LCD), 발광 다이오드 디스플레이(Light Emitting Diode, LED), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display, TFT LCD), 유기 발광 다이오드(Organic Light Emitting Diode, OLED), 플렉시블 디스플레이(Flexible Display), 플라스마 디스플레이 패널 (PDP), 표면 얼터네이트 라이팅(ALiS), 디지털 광원 처리(DLP), 실리콘 액정(LCoS), 표면 전도형 전자 방출 소자 디스플레이(SED), 전계 방출 디스플레이(FED), 레이저 TV(양자 점 레이저, 액정 레이저), 광유전성 액체 디스플레이(FLD), 간섭계 변조기 디스플레이(iMoD), 두꺼운 필름 유전체 전기(TDEL), 양자 점 디스플레이(QD-LED), 텔레스코픽 픽셀 디스플레이(TPD), 유기 발광 트랜지스터(OLET), 레이저 형광 디스플레이(LPD), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있지만, 이에 한정되는 것은 아니고 제어모듈(150)로부터 제공받은 데이터 및 정보를 표시할 수 있는 장치라면, 어떠한 장치라도 포함할 수 있다.
추가적으로, 본 발명의 일 실시예에 따른 객체 모니터링 장치(100)는 저장모듈(140)을 더 포함하여 이루어질 수 있다.
저장모듈(140)은 제어모듈(150)과 연결되어, 제어모듈(150)에 의해 동작이 제어될 수 있다. 또한, 저장모듈(140)은 제어모듈(150)과 데이터 및 정보를 송수신할 수 있다. 또한, 저장모듈(140)은 제어모듈(150)로부터 제공받은 데이터 및 정보를 저장할 수 있다.
예컨대, 저장모듈(140)은 영상획득모듈(110)로부터 획득된 영상, 기 설정된 복수의 측정범위를 갖는 측정영역들, 제 1 일정거리 내지 제 4 일정거리, 영상분석 알고리즘, 후보객체 및 이에 대한 거리정보, 대상객체 및 이에 대한 거리정보 및 최종객체 등을 제어모듈(150)로부터 제공받아 저장할 수 있다.
또한, 이러한 저장모듈(140)은 플래시 메모리 타입(Flash Memory Type), 하드디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예컨대, SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
도 2a 내지 도 2c는 본 발명의 일 실시예에 따른 객체 모니터링 장치를 통해 최종객체를 선정하는 방법을 설명하기 위한 도면들이다. 도 2a는 본 발명의 일 실시예에 적용된 임펄스 라디오 초광대역(R-UWB) 레이더의 안테나 빔 각도에 의한 측정영역을 설명하기 위한 도면이고, 도 2b는 본 발명의 일 실시예에 적용된 비전 카메라로부터 획득된 영상에 매핑된 측정영역들을 설명하기 위한 도면이며, 도 2c는 최종객체를 선정하기 위한 본 발명의 일 실시예에 적용된 프로그램을 나타낸 도면이다.
도 2a를 참조하면, 왼쪽 그림은 임펄스 라디오 초광대역(R-UWB) 레이더(121)와 카메라를 나타낸다. 특히, 임펄스 라디오 초광대역(R-UWB) 레이더(121)는 송신 안테나를 포함하는 송신기(Tx) 및 수신 안테나를 포함하는 수신기(Rx)를 포함하여 이루어질 수 있다. 또한, 카메라는 비전 카메라(111)로 이루어질 수 있다.
그리고, 중간 그림은 임펄스 라디오 초광대역(R-UWB) 레이더(121)의 안테나 빔 각도에 의해 제한되는 측정영역을 나타낸다. 그리고, 오른쪽 사진은 비전 카메라(111)로부터 획득된 특정 공간의 영상을 나타낸다.
도 2b를 참조하면, 임펄스 라디오 초광대역(R-UWB) 레이더(121)에 의한 복수의 거리 측정범위(일 예로, 1차원적인 거리 측정범위)를 갖는 측정영역은 안테나 빔 각도에 따라 비전 카메라(111)로부터 획득된 특정 공간의 영상에 맵핑(또는, 투영)될 수 있다.
한편, 제 1 측정영역(영역1) 내지 제 3 측정영역(영역3)은 임펄스 라디오 초광대역(R-UWB) 레이더(121)에 의한 대상객체까지의 거리 측정범위에 따라 구분될 수 있다.
여기서, 제 1 측정영역(영역1)은 임펄스 라디오 초광대역(R-UWB) 레이더(121)에 의해 대상객체의 관찰이 가능하고, 정확한 위치추적이 가능한 안정적 레이더 관찰영역으로서, 임펄스 라디오 초광대역(R-UWB) 레이더(121)로부터 6m 이하의 거리를 갖는 측정영역일 수 있다.
그리고, 제 2 측정영역(영역2)은 임펄스 라디오 초광대역(R-UWB) 레이더(121)에 의해 대상객체의 관찰이 가능하지만, 정확한 위치추적이 불가능한 레이더 관찰가능영역으로서, 임펄스 라디오 초광대역(R-UWB) 레이더(121)로부터 6m 초과 내지 10m 이하의 거리를 갖는 측정영역일 수 있다.
그리고, 제 3 측정영역(영역3)은 제 1 측정영역(영역1) 및 제 2 측정영역(영역2) 이외의 레이더 관찰불가능영역으로서, 임펄스 라디오 초광대역(R-UWB) 레이더(121)로부터 10m 초과의 거리를 갖는 측정영역일 수 있다.
도 2c를 참조하면, CV_function은 컴퓨터 비전에 의한 후보객체 검출 함수를 나타낸다. 일 예에서, CV_function은 비전 카메라(111)로부터 획득된 이전영상과 현재영상의 차이를 계산하여 후보객체를 검출하는 경우, 두 영상 화소들의 절대 차이(absolute difference)를 구하는 함수에 해당될 수 있다. 다른 예에서, CV_function은 평균이동(meanshift) 알고리즘을 이용하여 후보객체를 검출하는 경우, 검출대상이 되는 윈도우(window)영역 화소들의 절대 차이를 구하는 함수에 해당될 수 있다.
도 2a 내지 도 2c를 참조하면, 제 1 측정영역(영역1)에서는 대상객체의 위치를 임펄스 라디오 초광대역(R-UWB) 레이더(121)에 기반하여 산출된 대상객체의 거리정보(Dtarget)와 컴퓨터 비전 기술을 이용하여 추적할 수 있다.
먼저, 특정 공간 내에 대상객체의 존재유무를 임펄스 라디오 초광대역(R-UWB) 레이더(121)를 통해 감지할 수 있다. 그리고, 대상객체가 감지된 경우 컴퓨터 비전 기술 중 객체검출 알고리즘을 이용하여 비전 카메라(111)로부터 획득된 영상으로부터 후보객체들 및 이에 대한 거리정보를 추출할 수 있다.
이러한 후보객체들은 임펄스 라디오 초광대역(R-UWB) 레이더(121)에 기반하여 산출된 대상객체의 거리정보(Dtarget)에 따라 보정될 수 있다. 즉, 임펄스 라디오 초광대역(R-UWB) 레이더(121)에 기반하여 산출된 대상객체의 거리정보(Dtarget)와 일치되지 않는 후보객체들은 영상정보에 의한 최종객체 선정 오류로 판단하여 제외되고, 제외되지 않는 모든 후보객체들은 최종객체로 선정될 수 있다. 그리고, 선정된 최종객체를 통해 대상객체의 위치 및 이동을 추적할 수 있다.
제 2 측정영역(영역2)에서는 임펄스 라디오 초광대역(R-UWB) 레이더(121)를 통해 대상객체의 존재유무를 감지할 수 있으나, 정확하지 않는 대상객체의 거리정보(Dtarget)를 가지고 있으므로, 특정 공간 내에 대상객체의 존재유무를 임펄스 라디오 초광대역(R-UWB) 레이더(121)를 통해 감지하고, 대상객체가 감지된 경우 컴퓨터 비전 기술 중 객체검출 알고리즘을 이용하여 비전 카메라(111)로부터 획득된 영상에서 후보객체들 및 이에 대한 거리정보를 추출할 수 있다.
그리고, 임펄스 라디오 초광대역(R-UWB) 레이더(121)에 기반하여 산출된 대상객체의 거리정보(Dtarget)와 일치되지 않는 후보객체들은 영상정보에 의한 최종객체 선정 오류로 판단하지 않고, 비전 카메라(111)로부터 획득된 영상에서 추출된 후보객체들과 임펄스 라디오 초광대역(R-UWB) 레이더(121)에 기반하여 산출된 대상객체 모두를 최종객체로 선정할 수 있다. 그리고, 선정된 최종객체를 통해 대상객체의 위치 및 이동을 추적할 수 있다.
제 3 측정영역(영역3)에서는 컴퓨터 비전 기술 중 객체검출 알고리즘을 이용하여 비전 카메라(111)로부터 획득된 영상에서 추출된 후보객체들 모두를 최종객체로 선정할 수 있다. 그리고, 선정된 최종객체를 통해 대상객체의 위치 및 이동을 추적할 수 있다.
도 3은 본 발명의 일 실시예에 적용된 임펄스 라디오 초광대역(R-UWB) 레이더와 비전 카메라를 이용하여 실내 공간에 위치하는 이동체 추적을 설명하기 위한 도면이다.
도 3을 참조하면, 실내 공간에는 각종 기구, 가구 및 내벽 등 여러 장애물(obstacle)들이 존재할 수 있다. 그리고, 실내 공간 내에 위치하는 이동체(target)는 여러 장애물들 사이를 이동하게 된다.
이러한 이동체(trget)의 이동 경로는 실내 공간에 존재하는 장애물(obstacle)들로 인해 비전 카메라(111)만을 이용하여 획득하기에 많은 어려움이 따르며, 이로 인한 이동체(trget)의 위치 감지 및 추적 실패가 빈번히 발생할 수 있다.
따라서, 본 발명의 일 실시예에 따른 객체 모니터링 장치(100)는 실내 공간에 존재하는 장애물(obstacle)들에 의해 이동체(target)가 가려져 비전 카메라(111)에 의한 추적이 불가능 해질 경우, 임펄스 라디오 초광대역(IR-UWB) 레이더(121)의 물체 투과성을 이용하여 이동체(target)의 위치를 지속적으로 감지 및 추적할 수 있다.
도 4a 내지 도 4c는 본 발명의 일 실시에에 따른 객체 모니터링 장치를 통해 추적된 이동체의 추적 결과를 나타낸 사진들이다. 도 4a는 본 발명의 일 실시에에 적용된 임펄스 라디오 초광대역(IR-UWB) 레이더를 통해 실시간으로 추적된 이동체 및 이에 대한 거리 결과를 나타낸 그래프이고, 도 4b는 본 발명의 일 실시예에 적용된 비전 카메라를 이용하여 추적된 이동체 및 이에 대한 거리 결과를 나타낸 사진이고, 도 4c는 본 발명의 일 실시예에 적용된 비전 카메라 및 임펄스 라디오 초광대역(IR-UWB) 레이더를 이용하여 추적된 이동체 및 이에 대한 거리 결과를 나타낸 사진이다.
도 4a를 참조하면, 본 발명의 일 실시에에 적용된 임펄스 라디오 초광대역(IR-UWB) 레이더(121)를 통해 이동체를 감지할 수 있고, 감지된 이동체에 대한 거리를 실시간으로 추적할 수 있음을 알 수 있다.
도 4b를 참조하면, 본 발명의 일 실시예에 적용된 비전 카메라(111)를 이용하여 검출된 이동체는 연두색 사각형으로 표시되고 있으며, 검출된 이동체에 대한 거리는 약 5m임을 알 수 있다.
도 4c를 참조하면, 장애물에 의해 이동체가 가려진 경우, 본 발명의 일 실시예에 적용된 비전 카메라(111) 및 임펄스 라디오 초광대역(IR-UWB) 레이더(121)를 이용하여 이동체를 검출할 수 있으며, 검출된 이동체에 대한 거리는 오른쪽 빨간색 막대에 표시된 것 같이 약 5m임을 알 수 알 수 있다.
즉, 장애물에 가려진 이동체가 비전 카메라(111)로부터 획득된 영상에서 인식되지 못하는 경우에도, 본 발명의 일 실시예에 적용된 임펄스 라디오 초광대역(IR-UWB) 레이더(121)는 지속적으로 이동체를 감지하고 하고 있으며, 또한 감지된 이동체에 대한 거리는 디스플레이 화면을 통해 실시간으로 표시될 수 있다. 이처럼 기존의 CCTV에서 장애물에 의해 이동체를 감지하지 못하는 경우에도, 본 발명의 일 실시예에 적용된 임펄스 라디오 초광대역(IR-UWB) 레이더(121)를 이용한다면 이동체의 지속적인 감지가 가능할 수 있다.
이하에서는, 첨부된 도면(도 5 및 도 6a 내지 도 6c)을 참조하여 본 발명의 일 실시예에 따른 객체 모니터링 방법에 대해 설명한다. 특히, 도 1, 도 2a 내지 도 2c, 도 3 및 도4a 내지 도 4c를 참조하여 상술한 본 발명의 일 실시예에 따른 객체 모니터링 장치와 중복되는 부분은 설명의 간명성을 위하여 이하에서 생략한다.
도 5는 본 발명의 일 실시예에 따른 객체 모니터링 방법을 설명하기 위한 순서도이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 객체 모니터링 방법은 영상획득모듈(110), 객체감지모듈(120) 및 제어모듈(150)을 포함하는 장치를 이용하여 객체를 모니터링 하는 방법일 수 있다.
먼저, 영상획득모듈(110)을 통해 특정 공간의 영상을 획득할 수 있다(S100). 여기서, 영상획득모듈(110)은 적어도 하나의 비전 카메라(vision camera)(111)를 포함할 수 있다.
상기 단계 S100 이후, 객체감지모듈(120)을 통해 특정 공간에 위치하는 대상객체를 감지할 수 있다(S200). 여기서, 객체감지모듈(120)은 적어도 하나의 임펄스 라디오 초광대역(impulse radio-ultra wide band, IR-UWB) 레이더(121)를 포함할 수 있다.
특히, 상기 임펄스 라디오 초광대역(IR-UWB) 레이더(121)는 특정 공간 내에 임펄스 신호를 주기적으로 방사하는 송신기(Tx) 및 대상객체로부터 반사된 임펄스 신호를 수신하는 수신기(Rx)를 포함할 수 있다. 또한, 상기 임펄스 라디오 초광대역(IR-UWB) 레이더(121)의 송신기(Tx)와 수신기(Rx) 사이에는 상술한 영상획득모듈(110)(일 예로, 비전 카메라(111) 등)이 배치되도록 구비될 수 있다.
여기서, 상기 단계 S200에서, 상기 대상객체는 객체감지모듈(120)에 의해 감지될 수 있는 특정 공간에 위치하는 실제 객체 즉, 실제 사물로서, 상태(state) 또는 행동(behavior) 을 가지는 모든 사물을 포함할 수 있다.
상기 단계 S200 이후, 제어모듈(150)을 통해 상기 단계 S100에서 획득된 영상을 제공받아 기 설정된 복수의 측정범위를 갖는 측정영역들을 매핑함과 아울러 기 설정된 영상분석 알고리즘을 통해 후보객체 및 이에 대한 거리정보를 추출하고, 상기 단계 S200에서 감지된 대상객체 및 이에 대한 거리정보를 산출하여 산출된 대상객체의 거리정보가 포함되는 측정영역들을 탐색하며, 상기 탐색된 측정영역에 따라 상기 추출된 후보객체의 거리정보 및 상기 산출된 대상객체의 거리정보 중 적어도 하나의 정보를 이용하여 최종객체를 선정할 수 있다(S300).
일 예에서, 상기 단계 S300에서, 상기 기 설정된 복수의 측정범위를 갖는 측정영역들은 객체감지모듈(120)에 의한 대상객체까지의 거리 측정범위에 따라 각각의 측정영역으로 구분될 수 있다.
다른 예에서, 상기 단계 S300에서, 상기 기 설정된 복수의 측정범위를 갖는 측정영역들은 객체감지모듈(120)에 의한 대상객체까지의 거리 측정오차범위에 따라 각각의 측정영역으로 구분될 수 있다.
다른 예에서, 상기 단계 S300에서, 상기 기 설정된 복수의 측정범위를 갖는 측정영역들은 세 개의 측정영역 즉, 제 1 측정영역 내지 제 3 측정영역으로 구분될 수 있지만, 이에 한정되는 것은 아니고 두 개의 측정범위를 갖는 측정영역 또는 네 개 이상의 측정범위를 갖는 측정영역으로도 구분될 수 있다. 뿐만 아니라, 기 설정된 측정영역은 한 개의 측정범위를 갖는 측정영역으로도 구비될 수 있다.
여기서, 상기 제 1 측정영역 내지 제 3 측정영역은 객체감지모듈(120)(일 예로, IR-UWB 레이더(121) 등)에 의한 대상객체의 감지가능여부 즉, 관찰가능여부 및 대상객체에 대한 거리측정 정밀도 즉, 위치추적 정밀도에 따라 구분될 수 있다.
즉, 상기 제 1 측정영역은 객체감지모듈(120)에 의해 대상객체의 관찰이 가능하고, 정확한 위치추적이 가능한 측정영역으로서, 안정적 객체감지모듈(120) 관찰영역으로 지칭될 수 있다.
그리고, 상기 제 2 측정영역은 객체감지모듈(120)에 의해 대상객체의 관찰이 가능하지만, 정확한 위치추적이 불가능한 측정영역으로서, 객체감지모듈(120) 관찰가능영역으로 지칭될 수 있다.
그리고, 상기 제 3 측정영역은 상기 제 1 측정영역 및 제 2 측정영역 이외의 모든 측정영역으로서, 객체감지모듈(120) 관찰불가능영역으로 지칭될 수 있다.
또한, 상기 제 1 측정영역 내지 제 3 측정영역은 객체감지모듈(120)에 의한 대상객체까지의 거리 측정범위에 따라 구분될 수 있다.
즉, 상기 제 1 측정영역은 객체감지모듈(120)로부터 제 1 일정거리 이격된 거리까지의 거리 측정범위를 갖는 측정영역일 수 있다. 예컨대, 제 1 일정거리는 6m일 수 있다. 즉, 상기 제 1 측정영역은 객체감지모듈(120)로부터 6m 이하의 거리를 갖는 측정영역일 수 있다.
그리고, 상기 제 2 측정영역은 상기 제 1 측정영역으로부터 제 2 일정거리 이격된 거리까지의 거리 측정범위를 갖는 측정영역일 수 있다. 예컨대, 상기 제 2 일정거리는 4m일 수 있다. 즉, 상기 제 2 측정영역은 객체감지모듈(120)로부터 6m 초과 내지 10m 이하의 거리를 갖는 측정영역일 수 있다.
그리고, 상기 제 3 측정영역은 상기 제 1 측정영역 및 제 2 측정영역 이외의 모든 거리 측정범위를 갖는 측정영역일 수 있다. 예컨대, 상기 제 3 측정영역은 객체감지모듈(120)로부터 10m 초과의 거리를 갖는 측정영역일 수 있다.
여기서, 상기 제 1 측정영역에서의 제 1 일정거리 및 제 2 측정영역에서의 제 2 일정거리는 상술한 수치에 한정되지 않고, 변형실시 가능하다.
또한, 상기 제 1 측정영역 내지 제 3 측정영역은 객체감지모듈(120)에 의한 대상객체까지의 거리 측정오차범위에 따라 구분될 수 있다.
즉, 상기 제 1 측정영역은 객체감지모듈(120)로부터 대상객체까지의 거리 측정오차가 제 3 일정거리를 갖는 측정영역일 수 있다. 예컨대, 상기 제 3 일정거리는 0m 이상 1m 이하일 수 있다. 즉, 상기 제 1 측정영역은 객체감지모듈(120)로부터 대상객체까지의 거리 측정오차가 1m 이하의 거리를 갖는 측정영역일 수 있다.
그리고, 상기 제 2 측정영역은 객체감지모듈(120)로부터 대상객체까지의 거리 측정오차가 제 4 일정거리를 갖는 측정영역일 수 있다. 예컨대, 상기 제 4 일정거리는 1m 초과 2m 이하일 수 있다. 즉, 상기 제 2 측정영역은 객체감지모듈(120)로부터 대상객체까지의 거리 측정오차가 1m 초과 2m 이하의 거리를 갖는 측정영역일 수 있다.
그리고, 상기 제 3 측정영역은 상기 제 1 측정영역 및 제 2 측정영역 이외의 모든 거리 측정오차범위를 갖는 측정영역일 수 있다. 예컨대, 상기 제 3 측정영역은 객체감지모듈(120)로부터 대상객체까지의 거리 측정오차가 2m 초과의 거리를 갖는 측정영역일 수 있다.
여기서, 상기 제 1 측정영역에서의 제 3 일정거리 및 제 2 측정영역에서의 제 4 일정거리는 상술한 수치에 한정되지 않고, 변형실시 가능하다.
한편, 상기 단계 S300에서, 상기 기 설정된 영상분석 알고리즘은 컴퓨터 비전(computer vision) 기술로 이루어 질 수 있다. 이러한 컴퓨터 비전 기술은 영상획득모듈(110)에서 획득된 영상으로부터 후보객체 및 이에 대한 2차원 또는 3차원 정보(일 예로, 후보객체의 종류정보, 크기정보, 방향위치정보, 시각적인정보 또는 거리정보 등)를 획득 즉, 추출할 수 있는 기술일 수 있다.
특히, 상기 단계 S300에서, 컴퓨터 비전 기술은 차영상(difference image) 기법, 움직임을 분석하는 기법, 평균이동(meanshift) 기법, 로컬 바이너리 패턴(local binary pattern) 기법, Haar-Like feature 기법, HOG(histogram of oriented gradient) 기법 및 스테레오(stereo) 기법 중 적어도 하나의 기법을 포함할 수 있지만, 이에 한정되는 것은 아니고 영상획득모듈(110)에서 획득된 영상으로부터 후보객체 및 이에 대한 2차원 또는 3차원 정보를 추출할 수 있다면 어떠한 기법이라도 포함할 수 있다.
한편, 상기 단계 S300에서, 상기 후보객체는 영상획득모듈(110)에서 획득된 영상에서 추출된 영상(또는, 정보)으로서, 상기 획득된 영상에서 배경을 제거하여 대상객체가 있는 객체영역 영상만을 의미할 수 있다.
한편, 상기 단계 S300에서, 상기 감지된 대상객체 및 이에 대한 거리정보는 AoA(angle of arrival) 기법, ToA(time of arrival) 기법, TDOA(Ttme difference of arrival) 기법, RSS(received signal strength) 기법, ToF(time of flight) 기법 및 SDS-TWR(symmetrical double sided two way ranging) 기법 중 적어도 하나의 기법을 이용하여 산출될 수 있다.
예컨대, 객체감지모듈(120)이 송신기(Tx) 및 수신기(Rx)가 구비된 임펄스 라디오 초광대역(IR-UWB) 레이더(121)를 포함하는 경우, 상기 단계 S300에서, 제어모듈(150)은 상기 송신기(Tx)를 통해 방사된 주기적 임펄스 신호가 대상객체에 반사되어 수신기(Rx)에 수신된 시간 차이(time of arrival, ToA)를 연산(또는, 계산)하여 감지된 대상객체 및 이에 대한 거리정보를 산출할 수 있다.
한편, 상기 단계 S300에서, 상기 최종객체는 최종적으로 모니터링되는 대상객체를 의미할 수 있다.
상기 단계 S300 이후, 디스플레이모듈(130)을 통해 상기 단계 S100에서 획득된 영상, 상기 단계 S300에서 선정된 최종객체에 대한 표시, 상기 탐색된 측정영역에 따라 상기 단계 S300에서 선정된 최종객체에 해당하는 상기 추출된 후보객체의 거리정보 및 상기 산출된 대상객체의 거리정보 등을 디스플레이 화면에 표시할 수 있다.
도 6a 내지 도 6c는 본 발명의 일 실시예에 적용된 최종객체를 선정하는 방법을 구체적으로 설명하기 위한 순서도이다.
도 6a는 본 발명의 일 실시예에 적용된 제 1 측정영역에서 최종객체를 선정하는 방법을 구체적으로 설명하기 위한 순서도이다.
도 6a를 참조하면, 먼저 제어모듈(150)을 통해 상기 단계 S100에서 획득된 영상을 제공받아 제 1 측정영역 내지 제 3 측정영역을 매핑함과 아울러 기 설정된 영상분석 알고리즘을 통해 후보객체 및 이에 대한 거리정보 추출할 수 있다(S311).
상기 단계 S311 이후, 제어모듈(150)을 통해 상기 단계 S200에서 감지된 대상객체 및 이에 대한 거리정보를 산출하여 산출된 대상객체의 거리정보가 포함되는 측정영역들 탐색할 수 있다(S313).
상기 단계 S313 이후, 제어모듈(150)을 통해, 탐색결과 상기 제 1 측정영역으로 탐색된 경우, 상기 단계 S311로부터 추출된 제 1 측정영역에서의 후보객체의 거리정보와 상기 단계 S313에서 산출된 대상객체의 거리정보를 비교분석하여 상기 산출된 대상객체의 거리와 일치하는 모든 후보객체를 최종객체로 선정할 수 있다(S315).
상기 단계 S315 이후, 디스플레이모듈(130)을 통해 상기 단계 S100에서 획득된 영상, 상기 단계 S315에서 선정된 최종객체에 대한 표시, 상기 단계 S315에서 선정된 최종객체에 해당하는 상기 단계 S313에서 산출된 대상객체의 거리정보 등을 디스플레이 화면에 표시할 수 있다.
도 6b는 본 발명의 일 실시예에 적용된 제 2 측정영역에서 최종객체를 선정하는 방법을 구체적으로 설명하기 위한 순서도이다.
도 6b를 참조하면, 먼저 제어모듈(150)을 통해 상기 단계 S100에서 획득된 영상을 제공받아 제 1 측정영역 내지 제 3 측정영역을 매핑함과 아울러 기 설정된 영상분석 알고리즘을 통해 후보객체 및 이에 대한 거리정보 추출할 수 있다(S321).
상기 단계 S321 이후, 제어모듈(150)을 통해 상기 단계 S200에서 감지된 대상객체 및 이에 대한 거리정보를 산출하여 산출된 대상객체의 거리정보가 포함되는 측정영역들 탐색할 수 있다(S323).
상기 단계 S323 이후, 제어모듈(150)을 통해, 탐색결과 상기 제 2 측정영역으로 탐색된 경우, 상기 단계 S321로부터 추출된 제 2 측정영역에서의 후보객체와 상기 단계 S323에서 산출된 대상객체 모두를 최종객체로 선정할 수 있다(S325).
상기 단계 S325 이후, 디스플레이모듈(130)을 통해 상기 단계 S100에서 획득된 영상, 상기 단계 S325에서 선정된 최종객체에 대한 표시, 상기 단계 S325에서 선정된 최종객체에 해당하는 상기 단계 S321에서 추출된 후보객체의 거리정보 및 상기 단계 S323에서 산출된 대상객체의 거리정보 등을 디스플레이 화면에 표시할 수 있다.
도 6c는 본 발명의 일 실시예에 적용된 제 3 측정영역에서 최종객체를 선정하는 방법을 구체적으로 설명하기 위한 순서도이다.
도 6c를 참조하면, 먼저 제어모듈(150)을 통해 상기 단계 S100에서 획득된 영상을 제공받아 제 1 측정영역 내지 제 3 측정영역을 매핑함과 아울러 기 설정된 영상분석 알고리즘을 통해 후보객체 및 이에 대한 거리정보 추출할 수 있다(S331).
상기 단계 S331 이후, 제어모듈(150)을 통해 상기 단계 S200에서 감지된 대상객체 및 이에 대한 거리정보를 산출하여 산출된 대상객체의 거리정보가 포함되는 측정영역들 탐색할 수 있다(S333).
상기 단계 S333 이후, 제어모듈(150)을 통해, 탐색결과 상기 제 3 측정영역으로 탐색된 경우, 상기 단계 S331로부터 추출된 제 3 측정영역에서의 후보객체를 최종객체로 선정할 수 있다(S335).
상기 단계 S335 이후, 디스플레이모듈(130)을 통해 상기 단계 S100에서 획득된 영상, 상기 단계 S335에서 선정된 최종객체에 대한 표시, 상기 단계 S335에서 선정된 최종객체에 해당하는 상기 단계 S321에서 추출된 후보객체의 거리정보 등을 디스플레이 화면에 표시할 수 있다.
한편, 본 발명의 일 실시예에 따른 객체 모니터링 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
예컨대, 컴퓨터가 읽을 수 있는 기록매체로는 롬(ROM), 램(RAM), 시디-롬(CD-ROM), 자기 테이프, 하드디스크, 플로피디스크, 이동식 저장장치, 비휘발성 메모리(Flash Memory), 광 데이터 저장장치 등이 있다.
또한, 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
전술한 본 발명에 따른 객체 모니터링 장치 및 그 방법에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.
100: 객체 모니터링 장치 110: 영상획득모듈
111: 비전 카메라 120: 객체감지모듈
121: IR-UWB 레이더 130: 디스플레이모듈
140: 저장모듈 150: 제어모듈

Claims (21)

  1. 특정 공간의 영상을 획득하는 영상획득모듈;
    특정 공간에 위치하는 대상객체를 감지하는 객체감지모듈; 및
    상기 영상획득모듈로부터 획득된 영상을 제공받아 기 설정된 복수의 측정범위를 갖는 측정영역들을 매핑함과 아울러 기 설정된 영상분석 알고리즘을 통해 후보객체 및 이에 대한 거리정보를 추출하고, 상기 객체감지모듈로부터 감지된 대상객체 및 이에 대한 거리정보를 산출하여 산출된 대상객체의 거리정보가 포함되는 측정영역들을 탐색하며, 상기 탐색된 측정영역에 따라 상기 추출된 후보객체의 거리정보 및 상기 산출된 대상객체의 거리정보 중 적어도 하나의 정보를 이용하여 최종객체를 선정하는 제어모듈을 포함하되,
    상기 기 설정된 복수의 측정범위를 갖는 측정영역들은, 상기 객체감지모듈에 의한 대상객체까지의 거리 측정범위 또는 거리 측정오차범위에 따라 각각의 측정영역으로 구분되되, 상기 객체감지모듈에 의해 대상객체의 관찰이 가능함과 아울러 정확한 위치추적이 가능한 안정적 객체감지모듈 관찰영역으로 상기 객체감지모듈로부터 일정거리 이격된 거리까지의 거리 측정범위 또는 거리 측정오차범위를 갖는 제1 측정영역과, 상기 객체감지모듈에 의해 대상객체의 관찰이 가능하지만 정확한 위치추적이 불가능한 객체감지모듈 관찰가능영역으로 상기 제1 측정영역으로부터 일정거리 이격된 거리까지의 거리 측정범위 또는 거리 측정오차범위를 갖는 제2 측정영역과, 상기 객체감지모듈에 의해 대상객체의 관찰이 불가능한 객체감지모듈 관찰불가능영역으로 상기 제1 및 제2 측정영역 이외의 모든 거리 측정범위 또는 거리 측정오차범위를 갖는 제3 측정영역을 포함하며,
    상기 제어모듈은, 상기 영상획득모듈로부터 획득된 영상을 제공받아 상기 제1 내지 제3 측정영역을 매핑함과 아울러 기 설정된 영상분석 알고리즘을 통해 후보객체 및 이에 대한 거리정보를 추출하고, 상기 객체감지모듈로부터 감지된 대상객체 및 이에 대한 거리정보를 산출하여 산출된 대상객체의 거리정보가 포함되는 측정영역들을 탐색하며, 탐색결과 상기 제1 측정영역으로 탐색된 경우, 상기 제1 측정영역에서 추출된 후보객체의 거리정보와 상기 산출된 대상객체의 거리정보를 비교분석하여 상기 산출된 대상객체의 거리와 일치하는 모든 후보객체를 최종객체로 선정하고, 탐색결과 상기 제2 측정영역으로 탐색된 경우, 상기 제2 측정영역에서 추출된 후보객체와 상기 산출된 대상객체 모두를 최종객체로 선정하며, 탐색결과 상기 제3 측정영역으로 탐색된 경우, 상기 제3 측정영역에서 추출된 후보객체를 최종객체로 선정하는 것을 특징으로 하는 객체 모니터링 장치.
  2. 제 1 항에 있어서,
    상기 영상획득모듈은 적어도 하나의 비전 카메라(vision camera)를 포함하고, 상기 객체감지모듈은 적어도 하나의 임펄스 라디오 초광대역(impulse radio-ultra wide band, IR-UWB) 레이더를 포함하는 것을 특징으로 하는 객체 모니터링 장치.
  3. 제 2 항에 있어서,
    상기 임펄스 라디오 초광대역(IR-UWB) 레이더는, 특정 공간 내에 임펄스 신호를 주기적으로 방사하는 송신기 및 대상객체로부터 반사된 임펄스 신호를 수신하는 수신기를 포함하되,
    상기 비전 카메라는, 상기 송신기와 수신기 사이에 배치되도록 구비되는 것을 특징으로 하는 객체 모니터링 장치.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 제 1 항에 있어서,
    상기 기 설정된 영상분석 알고리즘은, 차영상(difference image) 기법 또는 평균이동(meanshift) 기법을 기반으로 하는 컴퓨터 비전(computer vision) 기술로 이루어지는 것을 특징으로 하는 객체 모니터링 장치.
  11. 영상획득모듈, 객체감지모듈 및 제어모듈을 포함하는 장치를 이용하여 객체를 모니터링 하는 방법으로서,
    (a) 상기 영상획득모듈을 통해 특정 공간의 영상을 획득하는 단계;
    (b) 상기 객체감지모듈을 통해 특정 공간에 위치하는 대상객체를 감지하는 단계; 및
    (c) 상기 제어모듈을 통해 상기 단계(a)에서 획득된 영상을 제공받아 기 설정된 복수의 측정범위를 갖는 측정영역들을 매핑함과 아울러 기 설정된 영상분석 알고리즘을 통해 후보객체 및 이에 대한 거리정보를 추출하고, 상기 단계(b)에서 감지된 대상객체 및 이에 대한 거리정보를 산출하여 산출된 대상객체의 거리정보가 포함되는 측정영역들을 탐색하며, 상기 탐색된 측정영역에 따라 상기 추출된 후보객체의 거리정보 및 상기 산출된 대상객체의 거리정보 중 적어도 하나의 정보를 이용하여 최종객체를 선정하는 단계를 포함하되,
    상기 단계(c)에서, 상기 기 설정된 복수의 측정범위를 갖는 측정영역들은, 상기 객체감지모듈에 의한 대상객체까지의 거리 측정범위 또는 거리 측정오차범위에 따라 각각의 측정영역으로 구분되되, 상기 객체감지모듈에 의해 대상객체의 관찰이 가능함과 아울러 정확한 위치추적이 가능한 안정적 객체감지모듈 관찰영역으로 상기 객체감지모듈로부터 일정거리 이격된 거리까지의 거리 측정범위 또는 거리 측정오차범위를 갖는 제1 측정영역과, 상기 객체감지모듈에 의해 대상객체의 관찰이 가능하지만 정확한 위치추적이 불가능한 객체감지모듈 관찰가능영역으로 상기 제1 측정영역으로부터 일정거리 이격된 거리까지의 거리 측정범위 또는 거리 측정오차범위를 갖는 제2 측정영역과, 상기 객체감지모듈에 의해 대상객체의 관찰이 불가능한 객체감지모듈 관찰불가능영역으로 상기 제1 및 제2 측정영역 이외의 모든 거리 측정범위 또는 거리 측정오차범위를 갖는 제3 측정영역을 포함하며,
    상기 단계(c)에서, 상기 제어모듈은, 상기 영상획득모듈로부터 획득된 영상을 제공받아 상기 제1 내지 제3 측정영역을 매핑함과 아울러 기 설정된 영상분석 알고리즘을 통해 후보객체 및 이에 대한 거리정보를 추출하고, 상기 객체감지모듈로부터 감지된 대상객체 및 이에 대한 거리정보를 산출하여 산출된 대상객체의 거리정보가 포함되는 측정영역들을 탐색하며, 탐색결과 상기 제1 측정영역으로 탐색된 경우, 상기 제1 측정영역에서 추출된 후보객체의 거리정보와 상기 산출된 대상객체의 거리정보를 비교분석하여 상기 산출된 대상객체의 거리와 일치하는 모든 후보객체를 최종객체로 선정하고, 탐색결과 상기 제2 측정영역으로 탐색된 경우, 상기 제2 측정영역에서 추출된 후보객체와 상기 산출된 대상객체 모두를 최종객체로 선정하며, 탐색결과 상기 제3 측정영역으로 탐색된 경우, 상기 제3 측정영역에서 추출된 후보객체를 최종객체로 선정하는 것을 특징으로 하는 객체 모니터링 방법.
  12. 제 11 항에 있어서,
    상기 단계(a)에서, 상기 영상획득모듈은 적어도 하나의 비전 카메라(vision camera)를 포함하고, 상기 단계(b)에서, 상기 객체감지모듈은 적어도 하나의 임펄스 라디오 초광대역(impulse radio-ultra wide band, IR-UWB) 레이더를 포함하는 것을 특징으로 하는 객체 모니터링 방법.
  13. 제 12 항에 있어서,
    상기 임펄스 라디오 초광대역(IR-UWB) 레이더는, 특정 공간 내에 임펄스 신호를 주기적으로 방사하는 송신기 및 대상객체로부터 반사된 임펄스 신호를 수신하는 수신기를 포함하되,
    상기 비전 카메라는, 상기 송신기와 수신기 사이에 배치되도록 구비되는 것을 특징으로 하는 객체 모니터링 방법.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 제 11 항에 있어서,
    상기 단계(c)에서, 기 설정된 영상분석 알고리즘은, 차영상(difference image) 기법 또는 평균이동(meanshift) 기법을 기반으로 하는 컴퓨터 비전(computer vision) 기술로 이루어지는 것을 특징으로 하는 객체 모니터링 방법.
  21. 제 11 항 내지 제 13 항, 또는 제 20 항 중 어느 한 항의 방법을 컴퓨터로 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020160006038A 2016-01-18 2016-01-18 객체 모니터링 장치 및 그 방법 KR101752586B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160006038A KR101752586B1 (ko) 2016-01-18 2016-01-18 객체 모니터링 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160006038A KR101752586B1 (ko) 2016-01-18 2016-01-18 객체 모니터링 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101752586B1 true KR101752586B1 (ko) 2017-06-30

Family

ID=59279516

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160006038A KR101752586B1 (ko) 2016-01-18 2016-01-18 객체 모니터링 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101752586B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210069245A (ko) * 2019-12-03 2021-06-11 한국도로공사 접근 장애물 감지 기능의 모션 시뮬레이터와 감지 범위 매핑 방법
KR102589150B1 (ko) * 2022-12-12 2023-10-16 유티정보 주식회사 누적 차영상을 이용한 원거리 객체 검지 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100962612B1 (ko) * 2009-12-29 2010-06-11 (주)인포스텍 실시간 거리 측정을 이용한 추적 감시 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100962612B1 (ko) * 2009-12-29 2010-06-11 (주)인포스텍 실시간 거리 측정을 이용한 추적 감시 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210069245A (ko) * 2019-12-03 2021-06-11 한국도로공사 접근 장애물 감지 기능의 모션 시뮬레이터와 감지 범위 매핑 방법
KR102274198B1 (ko) 2019-12-03 2021-07-08 한국도로공사 접근 장애물 감지 기능의 모션 시뮬레이터와 감지 범위 매핑 방법
KR102589150B1 (ko) * 2022-12-12 2023-10-16 유티정보 주식회사 누적 차영상을 이용한 원거리 객체 검지 시스템

Similar Documents

Publication Publication Date Title
US20200284913A1 (en) Driver visualization and semantic monitoring of a vehicle using lidar data
US9785857B2 (en) Hybrid multi-camera based positioning
US9483839B1 (en) Occlusion-robust visual object fingerprinting using fusion of multiple sub-region signatures
US7852217B2 (en) Object detecting device, object detecting method and object detecting computer program
US11893317B2 (en) Method and apparatus for associating digital content with wireless transmission nodes in a wireless communication area
CN105358937A (zh) 用于测绘仪器的定位方法和所述测绘仪器
WO2005125209A1 (en) Method and system for surveillance of vessels
US11418980B2 (en) Arrangement for, and method of, analyzing wireless local area network (WLAN) field coverage in a venue
NO336454B1 (no) Anordning, system og fremgangsmåte for identifisering av objekter i et digitalt bilde, samt transponderanordning
WO2006030444A2 (en) Imaging based identification and positioning system
Llorca et al. Recognizing individuals in groups in outdoor environments combining stereo vision, RFID and BLE
KR101752586B1 (ko) 객체 모니터링 장치 및 그 방법
WO2019153855A1 (zh) 一种360度环绕方位及位置感知物件信息获取系统及其应用
Duan et al. Enabling RFID-based tracking for multi-objects with visual aids: A calibration-free solution
EP3005238B1 (en) Method and system for coordinating between image sensors
US20230360247A1 (en) A system, a detection system for detecting a foreign object on a runway and a method of the system
KR101579275B1 (ko) 위험객체 위치추적을 통한 실시간 모니터링을 이용한 방범보안 시스템
KR20150008295A (ko) 사용자 기기의 측위방법
Prabhakara et al. Exploring mmWave Radar and Camera Fusion for High-Resolution and Long-Range Depth Imaging
US10907960B1 (en) Calibration system for combined depth and texture sensor
Naggar et al. A low cost indoor positioning system using computer vision
FR3049144B1 (fr) Agencement pour, et procede d'analyse d'une couverture de champ de reseau local sans fil (wlan) dans un lieu
KR101550563B1 (ko) 조명등 및 이미지 센서를 이용한 위치 측위 방법 및 장치
Murali et al. Localizing Assets in an Indoor Environment Using Sensor Fusion
CN116009107B (zh) 一种被动式人体检测方法、装置、设备及介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant