KR102445971B1 - 레이더와 카메라를 이용한 영상 감시 방법 및 시스템 - Google Patents

레이더와 카메라를 이용한 영상 감시 방법 및 시스템 Download PDF

Info

Publication number
KR102445971B1
KR102445971B1 KR1020210053287A KR20210053287A KR102445971B1 KR 102445971 B1 KR102445971 B1 KR 102445971B1 KR 1020210053287 A KR1020210053287 A KR 1020210053287A KR 20210053287 A KR20210053287 A KR 20210053287A KR 102445971 B1 KR102445971 B1 KR 102445971B1
Authority
KR
South Korea
Prior art keywords
controller
motion vectors
objects
radar
image frames
Prior art date
Application number
KR1020210053287A
Other languages
English (en)
Inventor
김면군
Original Assignee
주식회사 파로스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 파로스 filed Critical 주식회사 파로스
Priority to KR1020210053287A priority Critical patent/KR102445971B1/ko
Application granted granted Critical
Publication of KR102445971B1 publication Critical patent/KR102445971B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

레이더와 카메라를 이용한 영상 감시 방법이 개시된다, 상기 레이더와 카메라를 이용한 영상 감시 방법은 레이더 센서, 카메라 모듈, 및 컨트롤러를 포함한다. 상기 레이더와 카메라를 이용한 영상 감시 방법은 상기 컨트롤러는 상기 카메라 모듈로부터 서로 다른 시간에서 촬영된 영상 프레임들을 수신하는 단계, 상기 컨트롤러는 상기 영상 프레임들에서 복수의 모션 벡터들을 생성하는 단계, 상기 컨트롤러는 상기 생성된 복수의 모션 벡터들을 이용하여 상기 영상 프레임들에서 복수의 객체들을 식별하는 단계, 상기 컨트롤러는 상기 식별된 복수의 객체들을 이용하여 상기 복수의 모션 벡터들 중에서 대표 모션 벡터들을 선택하는 단계, 상기 컨트롤러는 상기 선택된 대표 모션 벡터들의 크기들과 방향들을 계산하는 단계, 상기 컨트롤러는 상기 레이더 센서로부터 생성된 레이더 데이터에서 인식된 상기 복수의 객체들의 도플러 속도들과 방향들을 추출하는 단계, 상기 컨트롤러는 상기 계산된 대표 모션 벡터들의 크기들과 상기 도플러 속도들을 비교하고, 상기 계산된 대표 모션 벡터들의 방향들과 상기 레이더 데이터에서 인식된 상기 복수의 객체들의 방향들을 비교하는 단계, 상기 컨트롤러는 상기 비교에 따라 상기 영상 프레임들에서 식별된 상기 복수의 객체들과 상기 레이더 데이터에서 인식된 복수의 객체들을 매칭하는 단계, 상기 컨트롤러는 상기 식별된 복수의 객체들 중 어느 하나 객체의 에너지를 계산하는 단계, 상기 컨트롤러는 상기 계산된 에너지가 임의의 문턱값보다 큰지 결정하는 단계, 및 상기 계산된 에너지가 상기 임의의 문턱값보다 클 때, 상기 컨트롤러는 메시지를 서버로 전송하는 단계를 포함한다.

Description

레이더와 카메라를 이용한 영상 감시 방법 및 시스템 {Video surveillance method and system using radar and camera}
본 발명의 개념에 따른 실시 예는 레이더와 카메라를 이용한 영상 감시 방법 및 시스템에 관한 것으로, 특히, 카메라와 함께 레이더를 이용하여 주변을 감시할 수 있는 레이더와 카메라를 이용한 영상 감시 방법 및 시스템에 관한 것이다.
CCTV와 같은 카메라를 이용하여 주변을 감시하는 방법이 사용되어 왔다. 보안 요원이 이상 상황이나 긴급 상황을 알아내기 위해서는 카메라에 의해 촬영된 영상을 계속 모니터링을 하고 있어야 한다. 하지만 보안 요원이 계속해서 카메라에 의해 촬영된 영상을 계속 모니터링하는 것은 쉽지 않다. 또한, 카메라에 의해 촬영된 영상에서 감시 대상이 많을 경우, 보안 요원이 많은 감시 대상을 일일이 모니터링하는 것은 어렵다. 또한, 카메라의 해상도가 좋지 않거나, 날씨가 좋지 않은 경우, 카메라에 의해 촬영된 영상에서 감시 대상을 식별하는 것은 용이하지 않다.
한국 등록특허공보 제10-1854461호(2018.04.26.)
본 발명이 이루고자 하는 기술적인 과제는 카메라만을 이용하여 주변을 감시할 때의 단점들을 보완하기 위해 카메라와 레이더를 같이 이용하여 주변을 감시할 수 있는 레이더와 카메라를 이용한 영상 감시 방법 및 시스템을 제공하는데 있다.
본 발명의 일실시 예에 따른 레이더 센서, 카메라 모듈, 및 컨트롤러를 포함하는 영상 감시 시스템의 레이더와 카메라를 이용한 영상 감시 방법은 상기 컨트롤러는 상기 카메라 모듈로부터 서로 다른 시간에서 촬영된 영상 프레임들을 수신하는 단계, 상기 컨트롤러는 상기 영상 프레임들에서 복수의 모션 벡터들을 생성하는 단계, 상기 컨트롤러는 상기 생성된 복수의 모션 벡터들을 이용하여 상기 영상 프레임들에서 복수의 객체들을 식별하는 단계, 상기 컨트롤러는 상기 식별된 복수의 객체들을 이용하여 상기 복수의 모션 벡터들 중에서 대표 모션 벡터들을 선택하는 단계, 상기 컨트롤러는 상기 선택된 대표 모션 벡터들의 크기들을 계산하는 단계, 상기 컨트롤러는 상기 레이더 센서로부터 생성된 레이더 데이터에서 인식된 상기 복수의 객체들의 도플러 속도들과 방향들을 추출하는 단계, 상기 컨트롤러는 상기 계산된 대표 모션 벡터들의 크기들과 상기 도플러 속도들을 비교하고, 상기 계산된 대표 모션 벡터들의 방향들과 상기 레이더 데이터에서 인식된 상기 복수의 객체들의 방향들을 비교하는 단계, 및 상기 컨트롤러는 상기 비교에 따라 상기 영상 프레임들에서 식별된 상기 복수의 객체들과 상기 레이더 데이터에서 인식된 복수의 객체들을 매칭하는 단계를 포함한다.
상기 레이더와 카메라를 이용한 영상 감시 방법은 상기 컨트롤러는 상기 식별된 복수의 객체들 중 어느 하나 객체의 에너지를 계산하는 단계, 상기 컨트롤러는 상기 계산된 에너지가 임의의 문턱값보다 큰지 결정하는 단계, 및 상기 계산된 에너지가 상기 임의의 문턱값보다 클 때, 상기 컨트롤러는 메시지를 서버로 전송하는 단계를 포함한다.
상기 컨트롤러는 상기 식별된 복수의 객체들 중 어느 하나객체의 에너지를 계산하는 단계는 상기 컨트롤러는 상기 어느 하나 객체와 대응되는 상기 레이더 데이터에서 인식된 객체의 도플러 속도를 식별하는 단계, 및 상기 컨트롤러는 상기 식별된 도플러 속도를 미리 설정된 도플러 속도로 나누어 상기 어느 하나 객체의 움직임 변화율을 계산하는 단계를 포함한다.
상기 컨트롤러는 상기 식별된 복수의 객체들 중 어느 하나 객체의 에너지를 계산하는 단계는 상기 컨트롤러는 상기 영상 프레임들 중 어느 하나의 영상 프레임에서 상기 어느 하나 객체의 픽셀 값들을 카운트하여 상기 어느 하나 객체의 사이즈를 계산하는 단계, 상기 컨트롤러는 상기 어느 하나 객체의 사이즈와 평균 객체 사이즈의 차이 값을 계산하는 단계, 상기 컨트롤러는 상기 어느 하나 객체의 사이즈와 상기 평균 객체 사이즈의 차이 값을 상기 평균 객체 사이즈로 나누어 상기 어느 하나 객체의 크기 적합도를 계산하는 단계, 및 상기 컨트롤러는 상기 어느 하나 객체의 움직임 변화율과 상기 어느 하나 객체의 크기 적합도의 합을 상기 어느 하나 객체의 에너지로 계산하는 단계를 포함한다.
본 발명의 실시 예에 따른 레이더와 카메라를 이용한 영상 감시 시스템은 카메라를 포함한다.
상기 카메라는 레이더 신호를 전송하여 레이더 데이터를 생성하는 레이더 센서, 서로 다른 시간에서 촬영하여 영상 프레임들을 생성하는 카메라 모듈, 상기 영상 프레임들을 수신하고, 상기 영상 프레임들에서 복수의 모션 벡터들을 생성하며, 상기 생성된 복수의 모션 벡터들을 이용하여 상기 영상 프레임들에서 복수의 객체들을 식별하며, 상기 식별된 복수의 객체들을 이용하여 상기 복수의 모션 벡터들 중에서 대표 모션 벡터들을 선택하며, 상기 선택된 대표 모션 벡터들의 크기들과 방향들을 계산하며, 상기 레이더 센서로부터 생성된 레이더 데이터에서 인식된 상기 복수의 객체들의 도플러 속도들과 방향들을 추출하며, 상기 계산된 대표 모션 벡터들의 크기들과 상기 도플러 속도들을 비교하며, 상기 계산된 대표 모션 벡터들의 방향들과 상기 레이더 데이터에서 인식된 상기 복수의 객체들의 방향들을 비교하며, 상기 비교에 따라 상기 영상 프레임들에서 식별된 상기 복수의 객체들과 상기 레이더 데이터에서 인식된 복수의 객체들을 매칭하는 컨트롤러를 포함한다.
본 발명의 실시 예에 따른 레이더와 카메라를 이용한 영상 감시 방법 및 시스템은 레이더를 이용하여 감시 대상을 식별하고, 감시 대상의 이상 상황이 예측될 때, 이를 관리자에게 통지함으로써 효율적으로 영상을 감시할 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 레이더와 카메라를 이용한 영상 감시 시스템의 블록도를 나타낸다.
도 2는 도 1에 도시된 컨트롤러에 의해 수행되는 대표 모션 벡터들의 선택 동작을 설명하기 위한 영상 프레임들의 이미지들을 나타낸다.
도 3은 도 1에 도시된 컨트롤러에 의해 수행되는 도플러 속도들과 방향들을 추출하는 동작을 설명하기 위한 레이더 데이터를 나타낸다.
도 4는 도 1에 도시된 컨트롤러의 동작을 설명하기 위한 흐름도를 나타낸다.
본 명세서에 개시된 본 발명의 개념에 따른 실시예에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예는 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시예에 한정되지 않는다.
본 발명의 개념에 따른 실시예는 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예를 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시예를 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위에서 벗어나지 않은 채, 제1 구성 요소는 제2 구성 요소로 명명될 수 있고 유사하게 제2 구성 요소는 제1 구성 요소로도 명명될 수 있다.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접 연결되어 있거나 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 같은 의미를 나타낸다. 일반적으로 사용되는 사전에 정의된 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 실시 예에 따른 레이더와 카메라를 이용한 영상 감시 시스템의 블록도를 나타낸다.
도 1을 참고하면, 레이더와 카메라를 이용한 영상 감시 시스템(100)은 공원, 공장, 병원, 및 항만 등 다양한 장소들에서 사람과 같은 객체들을 감식하기 위해 이용되는 시스템을 의미한다. 상기 레이더와 상기 카메라는 레이더 센서(11)와 카메라 모듈(13)을 의미한다. 영상 감시 시스템(100)은 카메라(10)를 포함한다.
카메라(10)는 건물(9)의 외부에 설치될 수 있다. 실시 예에 따라 카메라(10)는 도로, 또는 다른 외부의 환경에 설치될 수 있다. 카메라(10)는 레이더 센서(11), 카메라 모듈(13), 및 컨트롤러(15)를 포함한다. 레이더 센서(11), 카메라 모듈(13), 및 컨트롤러(15)는 하나의 장치로 구현된다. 실시 예에 따라 레이더 센서(11), 카메라 모듈(13), 및 컨트롤러(15)는 서로 다른 장치들에서 구현될 수 있다. 또한, 레이더 센서(11)와 카메라 모듈(13)은 하나의 장치로 구현되지만, 컨트롤러(15)는 다른 장치로 구현될 수 있다. 컨트롤러(15)는 레이더 센서(11)와 카메라 모듈(13)을 제어하기 위해 이용된다. 컨트롤러(15)는 프로세서(미도시)를 포함할 수 있다. 컨트롤러(15)의 동작은 명령들에 의해 동작되며, 상기 명령들은 상기 프로세서에 의해 실행된다.
카메라 모듈(13)은 주변을 촬영한다. 즉, 카메라 모듈(13)은 서로 다른 시간에서 촬영된 영상 프레임들(VFS)을 생성한다. 컨트롤러(15)는 카메라 모듈(13)에서 생성된 영상 프레임들(VFS)을 수신한다. 컨트롤러(15)는 레이더 센서(11)에 의해 생성된 레이더 데이터(RD)를 수신한다. 컨트롤러(15)는 카메라 모듈(13)로부터 수신된 영상 프레임들(VFS)과 레이더 센서(11)로부터 수신된 레이더 레이더(RD)를 수신하고, 영상 프레임들(VFS)과 레이더 데이터(RD)를 서로 매칭시키기 위한 동작들을 수행한다.
도 2는 도 1에 도시된 컨트롤러에 의해 수행되는 대표 모션 벡터들의 선택 동작을 설명하기 위한 영상 프레임들의 이미지들을 나타낸다.
도 1과 도 2를 참고하면, 컨트롤러(15)는 영상 프레임들(FR1과 FR2)에서 복수의 모션 벡터들(MVS1~MVS3)을 생성한다. 제1영상 프레임(FR1)이 제1시간(t0)에서 촬영된 영상 프레임일 때, 제2영상 프레임(FR2)은 제1시간(t0)보다는 시간이 지난 제2시간(t1)에서 촬영된 영상 프레임이다. 영상 프레임들(FR1과 FR2)은 마이크로블록들(MB)로 나뉜다.
컨트롤러(15)는 서로 다른 시간에서 생성된 2개의 영상 프레임들(FR1과 FR2)을 비교하여 복수의 모션 백터들(MVS1~MVS3)을 생성한다. 컨트롤러(15)는 복수의 모션 벡터들(MVS1~MVS3)을 이용하여 영상 프레임들(FR1과 FR2)에서 복수의 객체들(21, 23, 및 25)을 식별한다. 복수의 객체들(21, 23, 및 25)이란 도 2에 도시된 3명의 사람들을 의미한다. 복수의 모션 벡터들(MVS1~MVS3)을 이용하여 영상 프레임들(FR1과 FR2)에서 복수의 객체들(21, 23, 및 25)을 식별한다함은 모션 벡터들(MVS1~MVS3)의 방향들을 분석하여 복수의 객체들(21, 23, 및 25)을 검출함을 의미한다. 예컨대, 제1영상 프레임(FR1)에서 제1객체(21)는 제1영상 프레임(FR1)에서는 왼쪽 상단에 위치하나, 제2영상 프레임(FR2)에서는 왼쪽 하단에 위치한다. 즉, 제1객체(21)는 제1영상 프레임(FR1)의 상단에서 제2영상 프레임(FR2)의 하단으로 이동하였다. 컨트롤러(15)는 모션 벡터들(MVS1)의 방향들을 분석하여 모션 벡터들(MVS1)은 제1객체(21)의 모션 벡터들(MVS1)로 식별한다. 즉, 컨트롤러(15)는 모션 벡터들(MVS1)의 방향들을 분석하여 제1객체(21)를 식별한다. 제1영상 프레임(FR1)에서 제2객체(23)는 제1영상 프레임(FR1)에서는 중앙의 하단에 위치하나, 제2영상 프레임(FR2)에서는 중앙의 하단에서 약간 올라간 부분에 위치한다. 즉, 제2객체(23)는 제1영상 프레임(FR1)의 중앙의 하단에서 제2영상 프레임(FR2)의 중앙에서 약간 올라간 부분으로 이동하였다. 컨트롤러(15)는 모션 벡터들(MVS2)의 방향들을 분석하여 모션 벡터들(MVS2)은 제2객체(23)의 모션 벡터들(MVS2)로 식별한다. 즉, 컨트롤러(15)는 모션 벡터들(MVS2)의 방향들을 분석하여 제2객체(23)를 식별한다. 제1영상 프레임(FR1)에서 제3객체(25)는 제1영상 프레임(FR1)에서는 가장 오른쪽의 하단에 위치하나, 제2영상 프레임(FR2)에서는 가장 오른쪽의 상단에 위치한다. 즉, 제3객체(25)는 제1영상 프레임(FR1)의 가장 오른쪽 하단에서 제2영상 프레임(FR2)에서 가장 오른쪽 상단으로 이동하였다. 컨트롤러(15)는 모션 벡터들(MVS3)의 방향들을 분석하여 모션 벡터들(MVS3)은 제3객체(25)의 모션 벡터들(MVS3)로 식별한다. 즉, 컨트롤러(15)는 모션 벡터들(MVS3)의 방향들을 분석하여 제3객체(25)를 식별한다.
실시 예에 따라 컨트롤러(15)는 복수의 모션 벡터들(MVS1~MVS3)뿐만 아니라 영상 프레임들(FR1과 FR2)을 분석하여 복수의 객체들(21, 23, 및 25)을 식별할 수도 있다. 컨트롤러(15)는 영상 프레임들(FR1과 FR2)을 대조하여 차이가 발생하는 픽셀 부분들을 이용하여 객체들(21, 23, 및 25)을 식별할 수 있다.
컨트롤러(15)는 모션 벡터들(MVS1~MVS3)의 방향들을 분석하여 모션 벡터들(MVS1~MVS3)을 모션 벡터들(MVS1), 모션 벡터들(MVS2), 및 모션 벡터들(MVS3)로 분류한다. 모션 벡터들(MVS1)과, 모션 벡터들(MVS2)의 구별은 모션 벡터들(MSV1, MVS2)의 방향들이 서로 반대 방향이므로 쉽다. 하지만, 모션 벡터들(MVS2, MVS3)의 구별은 모션 벡터들(MVS2, MVS3)의 방향들이 서로 같은 방향이므로 구별이 어렵다. 이때, 컨트롤러(15)는 제1영상 프레임(FR1)와 제2영상 프레임(FR2)의 픽셀 차이를 이용할 수 있다. 제1영상 프레임(FR1)과 제2영상 프레임(FR2)에서 객체들(21, 23, 25)은 객체들(21, 23, 25)의 이동으로 인해 서로 다른 픽셀값들을 가지기 때문이다.
컨트롤러(15)는 식별된 복수의 객체들(21, 23, 및 25)을 이용하여 복수의 모션 벡터들(MVS1, MVS2, 또는 MVS3) 중에서 대표 모션 벡터들(SMV1, SMV2, 또는 SMV3)을 선택한다. 상기 식별된 복수의 객체들(21, 23, 및 25)을 이용한다함은 복수의 객체들(21, 23, 및 25)이 식별되어 복수의 모션 벡터들(MVS1, MVS2, 또는 MVS3)이 명확하게 3개로 나누어짐을 의미한다. 실시 예에 따라 컨트롤러(15)는 복수의 모션 벡터들(MVS1, MVS2, 또는 MVS3) 중에서 대표 모션 벡터들(SMV1, SMV2, 또는 SMV3)을 선택할 수 있다. 컨트롤러(15)는 복수의 모션 벡터들(MVS1, MVS2, 또는 MVS3) 중에서 임의의 하나의 모션 벡터 각각을 대표 모션 벡터들(SMV1, SMV2, 또는 SMV3)로 선택할 수 있다. 예컨대, 컨트롤러(15)는 복수의 모션 벡터들(MVS1) 중에서 임의의 하나의 모션 벡터를 선택하여 대표 모션 벡터(SMV1)로 설정할 수 있다.
실시 예에 따라 컨트롤러(15)는 복수의 모션 벡터들(MVS1, MVS2, 또는 MVS3) 중에서 가장 크기가 큰 모션 벡터 각각을 대표 모션 벡터들(SMV1, SMV2, 또는 SMV3)로 선택할 수 있다. 예컨대, 컨트롤러(15)는 복수의 모션 벡터들(MVS1) 중에서 가장 크기가 큰 모션 벡터를 선택하여 대표 모션 벡터(SMV1)로 설정할 수 있다. 컨트롤러(15)는 복수의 모션 벡터들(MVS1)의 크기를 먼저 계산할 수 있다. 도 2에서 복수의 모션 벡터들(MVS1, MVS2, 또는 MVS3) 각각은 서로 같은 크기로 도시되었으나, 실시 예에 따라 복수의 모션 벡터들(MVS1, MVS2, 또는 MVS3)의 크기는 다양할 수 있다.
컨트롤러(15)는 선택된 대표 모션 벡터들(SMV1, SMV2, 및 SMV3)의 크기들과 방향들을 계산한다. 컨트롤러(15)는 선택된 대표 모션 벡터(SMV1)의 크기를 계산하고, 아래쪽으로 향하는 방향을 식별한다. 컨트롤러(15)는 선택된 대표 모션 벡터(SMV2)의 크기를 계산하고, 위쪽으로 향하는 방향을 식별한다. 컨트롤러(15)는 선택된 대표 모션 벡터(SMV3)의 크기를 계산하고, 위쪽으로 향하는 방향을 식별한다.
도 3은 도 1에 도시된 컨트롤러에 의해 수행되는 도플러 속도들과 방향들을 추출하는 동작을 설명하기 위한 레이더 데이터를 나타낸다. 도 3에서 레이더 데이터는 그래프에서 점들로 표현된다.
도 1과 도 3을 참고하면, 레이더 센서(11)는 레이더 신호를 전송하여 레이더 데이터(RD)를 생성한다. 레이더 센서(11)에 의해 생성된 레이더 데이터(RD)는 컨트롤러(15)로 전송된다.
도 3에서 도시된 레이더 데이터(RD)에서 화살표가 표시된 점들은 움직이는 객체들(31, 33, 및 35)을 의미한다. 레이더 데이터(RD)에서 점들은 레이더 센서(11)에서 전송된 레이더 신호에 의해 반사된 객체를 의미한다. 상기 점들은 움직이는 객체, 또는 움직이지 않은 객체일 수 있다. 상기 움직이는 객체들(31, 33, 및 35)은 점들에 화살표가 표시된다. 예컨대, 도 3에서 3개의 화살표들이 표시된 점들이 있다. 3개의 화살표들이 표시된 점들은 움직이는 객체들(31, 33, 및 35)을 의미한다. 도 3에서 움직이는 객체들(31, 33, 및 35)은 도 2에 도시된 영상 프레임들(FR1과 FR2)에서 객체들(21, 23, 및 25)과 서로 대응된다. 도 3에서 화살표들의 크기는 모두 비슷하게 도시되었지만, 화살표들의 크기는 다를 수 있다. 도플러 속도들(DV1, DV2, 및 DV3)과 화살표들의 크기는 서로 비례한다. 즉, 도플러 속도들(DV1, DV2, 및 DV3)이 클수록 화살표들의 크기도 크다.
컨트롤러(15)는 3개의 화살표들을 통해 움직이는 객체들(31, 33, 및 35)의 도플러 속도들(DV1, DV2, 및 DV3)과 방향들을 추출할 수 있다. 예컨대, 컨트롤러(15)는 화살표가 표시된 움직이는 객체(31)의 도플러 속도(DV1)와 방향을 추출할 수 있다. 상기 방향은 y축을 기준으로 90도이다. 유사하게, 컨트롤러(15)는 화살표가 표시된 움직이는 객(33)체의 도플러 속도(DV2)와 방향을 추출할 수 있다. 상기 방향은 y축을 기준으로 40도에서 60도 사이이다.
도 1 내지 도 3을 참고하면, 컨트롤러(15)는 계산된 대표 모션 벡터들(SMV1, SMV2, 및 SMV3)의 크기들과, 도플러 속도들(DV1, DV2, 및 DV3)을 비교한다. 컨트롤러(15)는 대표 모션 벡터들(SMV1, SMV2, 및 SMV3)의 크기들을 큰 순서대로 정렬하고, 도플러 속도들(DV1, DV2, 및 DV3)도 큰 순서대로 정렬한다. 컨트롤러(15)는 정렬된 대표 모션 벡터들(SMV1, SMV2, 및 SMV3)과, 정렬된 도플러 속도들(DV1, DV2, 및 DV3)을 서로 매칭한다. 예컨대, 대표 모션 벡터(SMV1)는 도플러 속도(DV1)와 매칭될 수 있다. 이때, 대표 모션 벡터들(SMV1, SMV2, 및 SMV3) 중 대표 모션 벡터(SMV1)가 가장 크고, 도플러 속도들(DV1, DV2, 및 DV3) 중 도플러 속도(DV1)가 가장 크다. 대표 모션 벡터(SMV2)는 도플러 속도(DV2)와 매칭될 수 있고, 대표 모션 벡터(SMV3)는 도플러 속도(DV3)와 매칭될 수 있다. 대표 모션 벡터들(SMV1, SMV2, 및 SMV3) 중 대표 모션 벡터(SMV2)가 그 다음으로 크고, 도플러 속도들(DV1, DV2, 및 DV3) 중 도플러 속도(DV2)가 그 다음으로 크다.
컨트롤러(15)는 도 2에 복수의 모션 벡터들(MVS1, MVS2, 또는 MVS3)이 도시된 프레임(DFR)과 도 3에 도시된 레이더 데이터(RD)를 오버랩한다.
컨트롤러(15)는 객체들(21, 23, 및 25)의 대표 모션 벡터들(SMV1, SMV2, 및 SMV3)의 방향들과, 레이더 데이터(RD)에서 인식된 복수의 객체들(31, 33, 및 35)의 방향들을 비교한다. 예컨대, 도 2에 도시된 객체(21)의 대표 모션 벡터(SMV1)는 아래 방향을 향한다. 도 3에 도시된 레이더 데이터(RD)에서 객체(31)의 방향도 아래 방향을 향한다. 객체(31)를 (x, y) 좌표로 표시할 때, 객체(31)는 (39, 45)로 표시될 수 있다. 도 2에 도시된 객체(21)의 대표 모션 벡터(SMV1)과 레이더 데이터(RD)에서 (39, 45)에 위치한 객체(31)의 방향은 같은 방향이므로, 컨트롤러(15)는 도 2에 도시된 객체(21)의 대표 모션 벡터(SMV1)와 레이더 데이터(RD)에서 (39, 45)에 위치한 객체(31)의 방향을 매칭한다. 도 2에 도시된 객체(23)의 대표 모션 벡터(SMV2)는 오른쪽 위쪽 방향을 향한다. 도 3에 도시된 레이더 데이터(RD)에서 (15, 21)에 위치한 객체(33)의 방향도 오른쪽 위쪽 방향을 향한다. 도 2에 도시된 객체(23)의 대표 모션 벡터(SMV2)와 레이더 데이터(RD)에서 (15, 21)에 위치한 객체(33)의 방향은 같은 방향이므로, 컨트롤러(15)는 도 2에 도시된 객체(23)의 대표 모션 벡터(SMV2)와 레이더 데이터(RD)에서 (15, 21)에 위치한 객체(33)의 방향을 매칭한다. 도 2에 도시된 객체(25)의 대표 모션 벡터(SMV3)와 레이더 데이터(RD)에서 (8, -42)에 위치한 객체(35)의 방향은 같은 방향이므로, 컨트롤러(15)는 도 2에 도시된 객체(25)의 대표 모션 벡터(SMV3)와 레이더 데이터(RD)에서 (8, -42)에 위치한 객체(35)의 방향을 매칭한다.
컨트롤러(15)는 상기 비교에 따라 영상 프레임들(도 2에서 FR1, 또는 FR2)에서 식별된 복수의 객체들(21, 23, 및 25)과 레이더 데이터(RD)에서 인식된 복수의 객체들(31, 33, 및 35)을 매칭한다.
구체적으로, 대표 모션 벡터(SMV1)와 도플러 속도(DV1)가 매칭되고, 객체(21)의 대표 모션 벡터(SMV1)와 레이더 데이터(RD)에서 (39, 45)에 위치한 객체(31)의 방향이 매칭될 때, 컨트롤러(15)는 도 2에 도시된 객체(21)와 도 3에 도시된 객체(31)를 매칭한다. 즉, 컨트롤러(15)는 도 2에 도시된 객체(21)와 도 3에 도시된 객체(31)는 같은 객체로 인식한다. 대표 모션 벡터(SMV2)와 도플러 속도(DV2)가 매칭되고, 객체(23)의 대표 모션 벡터(SMV2)와 레이더 데이터(RD)에서 (15, 21)에 위치한 객체(33)의 방향이 매칭될 때, 컨트롤러(15)는 도 2에 도시된 객체(23)와 도 3에 도시된 객체(33)를 매칭한다. 즉, 컨트롤러(15)는 도 2에 도시된 객체(23)와 도 3에 도시된 객체(33)는 같은 객체로 인식한다. 대표 모션 벡터(SMV3)와 도플러 속도(DV3)가 매칭되고, 객체(25)의 대표 모션 벡터(SMV3)와 레이더 데이터(RD)에서 (8, -42)에 위치한 객체(35)의 방향이 매칭될 때, 컨트롤러(15)는 도 2에 도시된 객체(25)와 도 3에 도시된 객체(35)를 매칭한다. 즉, 컨트롤러(15)는 도 2에 도시된 객체(25)와 도 3에 도시된 객체(35)는 같은 객체로 인식한다.
컨트롤러(15)는 상기 생성된 복수의 모션 벡터들(MVS1~MVS3)을 이용하여 영상 프레임들(FR1과 FR2)에서 식별된 복수의 객체들(예컨대, 21, 23, 및 25) 중 어느 하나 객체(예컨대, 21, 23, 또는 25)의 에너지를 계산한다. 상기 에너지는 다음과 같이 계산된다.
컨트롤러(15)는 상기 어느 하나 객체(예컨대, 21)와 대응되는 레이더 데이터(RD)에서 인식된 객체(예컨대, 31)의 도플러 속도를 식별한다.
컨트롤러(15)는 상기 식별된 도플러 속도를 미리 설정된 도플러 속도로 나누어 상기 어느 하나 객체(21)의 움직임 변화율을 계산한다. 상기 미리 설정된 도플러 속도는 임의의 사람들의 일반적인 움직임에 따른 평균 도플러 속도일 수 있다. 상기 어느 하나 객체(21)의 움직임 변화율은 0에서 1 사이의 값을 가진다.
상기 어느 하나 객체(21)의 움직임 변화율이 상기 에너지로 계산될 수 있다. 즉, 상기 어느 하나 객체(21)의 움직임 변화율은 상기 에너지이다.
실시 예에 따라 컨트롤러(15)는 상기 움직임 변화율뿐만 아니라, 크기 적합도를 고려하여 상기 에너지를 계산할 수 있다. 상기 크기 적합도는 아래와 같이 계산된다.
컨트롤러(15)는 영상 프레임들(FR1, FR2) 중 어느 하나의 영상 프레임(FR1, 또는 F2)에서 상기 어느 하나 객체(예컨대, 21)의 픽셀 값들을 카운트하여 상기 어느 하나 객체(21)의 사이즈를 계산한다.
컨트롤러(15)는 상기 어느 하나 객체(21)의 사이즈와 평균 객체 사이즈의 차이 값을 계산한다. 상기 차이 값은 절대값이다. 상기 평균 객체 사이즈는 일반적인 성인의 사이즈를 의미한다. 만약, 상기 어느 하나 객체(21)가 사람이라면, 상기 어느 하나 객체(21)의 사이즈와 상기 평균 객체 사이즈의 차이 값은 작은 값을 가질 것이다. 반면, 상기 어느 하나 객체(21)가 사람이 아니라 비둘기, 고양이와 같은 동물이라면, 상기 어느 하나 객체(21)의 사이즈와 상기 평균 객체 사이즈의 차이 값은 큰 값을 가질 것이다.
컨트롤러(15)는 상기 어느 하나 객체(21)의 사이즈와 상기 평균 객체 사이즈의 차이 값을 상기 평균 객체 사이즈로 나누어 상기 어느 하나 객체(21)의 크기 적합도를 계산한다. 상기 어느 하나 객체(21)의 크기 적합도는 0에서 1 사이의 값을 가진다.
컨트롤러(15)는 상기 어느 하나 객체(21)의 움직임 변화율과 상기 어느 하나 객체(21)의 크기 적합도의 합을 상기 어느 하나 객체(21)의 에너지로 계산한다. 이때, 상기 에너지는 아래의 수학식으로 표현될 수 있다.
[수학식 1]
EN = α * MCR + β * IOSP
상기 EN은 에너지를, 상기 α와 상기 β는 계수를, 상기 MCR은 움직임 변화율을, 상기 IOSP는 크기 적합도를 나타낸다. 에너지(EN)는 0에서 1 사이의 값을 가지며, 계수(α, β), 움직임 변화율(MCR), 또는 크기 적합도(IOSP)는 0에서 1 사이의 값을 가진다. 계수(α, β)는 움직임 변화율(MCR)과 크기 적합도(IOSP)의 중요성에 따라 임의적으로 결정될 수 있다.
실시 예에 따라, 컨트롤러(15)는 상기 어느 하나 객체(21)의 사이즈 비율을 고려하여 에너지를 계산할 수 있다. 상기 사이즈 비율을 계산하는 방법은 아래와 같다.
컨트롤러(15)는 상기 계산된 객체(21)의 사이즈를 카메라 모듈(13)의 해상도로 나누어 상기 어느 하나 객체(21)의 사이즈 비율을 계산한다. 상기 어느 하나 객체(21)의 사이즈 비율을 계산하는 이유는 카메라 모듈(13)의 해상도에 따라 실제 객체(21)의 사이즈가 왜곡될 수 있기 때문이다. 예컨대, 카메라 모듈(13)의 해상도가 낮을 때, 실제 객체(21)의 크기보다 객체의 사이즈가 크게 계산될 수 있다. 상기 계산된 객체(21)의 사이즈 비율의 값은 0에서 1 사이의 값을 가진다.
컨트롤러(15)는 상기 어느 하나 객체(21)의 움직임 변화율, 상기 어느 하나 객체(21)의 크기 적합도, 및 상기 어느 하나 객체(21)의 사이즈 비율의 합을 상기 어느 하나 객체(21)의 에너지로 계산한다. 이때, 상기 에너지는 아래의 수학식으로 표현될 수 있다.
[수학식 2]
EN = α * MCR + β * IOSP+γ*OSR
상기 EN은 에너지를, 상기 α, 상기 β, 및 상기 γ는 계수를, 상기 MCR은 움직임 변화율을, 상기 IOSP는 크기 적합도를, 상기 OSR은 사이즈 비율을 나타낸다. 에너지(EN)는 0에서 1 사이의 값을 가지며, 계수(α, β, γ), 움직임 변화율(MCR), 크기 적합도(IOSP), 또는 사이즈 비율(OSR)은 0에서 1 사이의 값을 가진다.
상기 계산된 에너지가 상기 임의의 문턱값보다 클 때, 컨트롤러(15)는 상기 어느 하나 객체(21)는 사람과 같은 관심 있는 객체라고 판단한다. 상기 계산된 에너지가 상기 임의의 문턱값보다 클 때, 컨트롤러(15)는 메시지를 서버(20)로 전송한다. 상기 메시지는 관리자(23)에게 주의를 가지고 디스플레이(41)에 표시된 영상 프레임들(FR1, FR2)을 보라는 메시지이다. 상기 메시지는 서버(20)로 전송되며, 디스플레이(41)에 표시된다. 따라서 관리자(43)는 주의를 가지고 디스플레이(41)에 표시된 영상 프레임들(FR1, FR2)에 포함된 관심 있는 객체(예컨대, 21)에 대해 보다 효율적으로 감시를 할 수 있다.
상기 계산된 에너지가 상기 임의의 문턱값보다 작을 때, 컨트롤러(15)는 사람과 같은 관심 있는 객체가 아니라고 판단한다. 상기 사람과 같은 관심 있는 객체가 아닐 때, 상기 객체는 새, 또는 고양이와 같은 동물일 수 있다. 상기 계산된 에너지가 상기 임의의 문턱값보다 작을 때, 컨트롤러(15)는 메시지를 서버(20)로 전송하지 않는다.
도 4는 도 1에 도시된 컨트롤러의 동작을 설명하기 위한 흐름도를 나타낸다.
도 1 내지 도 4를 참고하면, 컨트롤러(15)는 카메라 모듈(13)로부터 서로 다른 시간에서 촬영된 영상 프레임들(VFS)을 수신한다(S10).
컨트롤러(15)는 영상 프레임들(FR1, FR2)에서 복수의 모션 벡터들(MVS1, MVS2, 및 MVS3)을 생성한다(S20).
컨트롤러(15)는 상기 생성된 복수의 모션 벡터들(MVS1, MVS2, 및 MVS3)을 이용하여 상기 영상 프레임들(FR1, FR2)에서 복수의 객체들(21, 23, 및 25)을 식별한다(S30).
컨트롤러(15)는 상기 식별된 복수의 객체들(21, 23, 및 25)을 이용하여 복수의 모션 벡터들(MVS1, MVS2, 및 MVS3) 중에서 대표 모션 벡터들(예컨대, SMV1, SMV2, 및 SMV3)을 선택한다(S40).
컨트롤러(15)는 상기 선택된 대표 모션 벡터들(SMV1, SMV2, 및 SMV3)의 크기들과 방향들을 계산한다(S50).
컨트롤러(15)는 레이더 센서(11)로부터 생성된 레이더 데이터(RD)에서 인식된 상기 복수의 객체들(31, 33, 및 35)의 도플러 속도들(DV1, DV2, 및 DV3)과 방향들을 추출한다(S60).
컨트롤러(15)는 상기 계산된 대표 모션 벡터들(SMV1, SMV2, 및 SMV3)의 크기들과 상기 도플러 속도들(DV1, DV2, 및 DV3)을 비교하고, 상기 계산된 대표 모션 벡터들(SMV1, SMV2, 및 SMV3)의 방향들과 상기 레이더 데이터(RD)에서 인식된 상기 복수의 객체들(31, 33, 및 35)의 방향들을 비교한다(S70).
컨트롤러(15)는 상기 비교에 따라 영상 프레임들(FR1, FR2)에서 식별된 복수의 객체들(21, 23, 및 25)과 레이더 데이터(RD)에서 인식된 복수의 객체들(31, 33, 및 35)을 매칭한다(S80).
이처럼 본 발명은 기재된 실시예에 한정되는 것이 아니고, 본 발명의 사상및 범위를 벗어나지 않고 다양하게 수정 및 변형할 수 있음은 이 기술의 분야에서 통상의 지식을 가진 자에게 자명하다. 따라서 그러한 수정예 또는 변형예들은 본 발명의 청구범위에 속한다고 하여야 할 것이다.
100: 영상 감시 시스템;
10: 카메라;
11: 레이더 센서;
13: 카메라 모듈;
15: 컨트롤러;
20: 서버;
41: 디스플레이

Claims (5)

  1. 레이더 센서, 카메라 모듈, 및 컨트롤러를 포함하는 영상 감시 시스템의 레이더와 카메라를 이용한 영상 감시 방법에 있어서,
    상기 컨트롤러는 상기 카메라 모듈로부터 서로 다른 시간에서 촬영된 영상 프레임들을 수신하는 단계;
    상기 컨트롤러는 상기 영상 프레임들에서 복수의 모션 벡터들을 생성하는 단계;
    상기 컨트롤러는 상기 생성된 복수의 모션 벡터들을 이용하여 상기 영상 프레임들에서 복수의 객체들을 식별하는 단계;
    상기 컨트롤러는 상기 식별된 복수의 객체들을 이용하여 상기 복수의 모션 벡터들 중에서 대표 모션 벡터들을 선택하는 단계;
    상기 컨트롤러는 상기 선택된 대표 모션 벡터들의 크기들과 방향들을 계산하는 단계;
    상기 컨트롤러는 상기 레이더 센서로부터 생성된 레이더 데이터에서 인식된 상기 복수의 객체들의 도플러 속도들과 방향들을 추출하는 단계;
    상기 컨트롤러는 상기 계산된 대표 모션 벡터들의 크기들과 상기 도플러 속도들을 비교하고, 상기 계산된 대표 모션 벡터들의 방향들과 상기 레이더 데이터에서 인식된 상기 복수의 객체들의 방향들을 비교하는 단계;
    상기 컨트롤러는 상기 비교에 따라 상기 영상 프레임들에서 식별된 상기 복수의 객체들과 상기 레이더 데이터에서 인식된 복수의 객체들을 매칭하는 단계;
    상기 컨트롤러는 상기 식별된 복수의 객체들 중 어느 하나 객체의 에너지를 계산하는 단계;
    상기 컨트롤러는 상기 계산된 에너지가 임의의 문턱값보다 큰지 결정하는 단계; 및
    상기 계산된 에너지가 상기 임의의 문턱값보다 클 때, 상기 컨트롤러는 메시지를 서버로 전송하는 단계를 포함하는 레이더와 카메라를 이용한 영상 감시 방법.
  2. 삭제
  3. 제1항에 있어서, 상기 컨트롤러는 상기 식별된 복수의 객체들 중 어느 하나객체의 에너지를 계산하는 단계는,
    상기 컨트롤러는 상기 어느 하나 객체와 대응되는 상기 레이더 데이터에서 인식된 객체의 도플러 속도를 식별하는 단계; 및
    상기 컨트롤러는 상기 식별된 도플러 속도를 미리 설정된 도플러 속도로 나누어 상기 어느 하나 객체의 움직임 변화율을 계산하는 단계를 포함하는 레이더와 카메라를 이용한 영상 감시 방법.
  4. 제3항에 있어서, 상기 컨트롤러는 상기 식별된 복수의 객체들 중 어느 하나 객체의 에너지를 계산하는 단계는,
    상기 컨트롤러는 상기 영상 프레임들 중 어느 하나의 영상 프레임에서 상기 어느 하나 객체의 픽셀 값들을 카운트하여 상기 어느 하나 객체의 사이즈를 계산하는 단계;
    상기 컨트롤러는 상기 어느 하나 객체의 사이즈와 평균 객체 사이즈의 차이 값을 계산하는 단계;
    상기 컨트롤러는 상기 어느 하나 객체의 사이즈와 상기 평균 객체 사이즈의 차이 값을 상기 평균 객체 사이즈로 나누어 상기 어느 하나 객체의 크기 적합도를 계산하는 단계; 및
    상기 컨트롤러는 상기 어느 하나 객체의 움직임 변화율과 상기 어느 하나 객체의 크기 적합도의 합을 상기 어느 하나 객체의 에너지로 계산하는 단계를 포함하는 레이더와 카메라를 이용한 영상 감시 방법.
  5. 카메라를 포함하며,
    상기 카메라는,
    레이더 신호를 전송하여 레이더 데이터를 생성하는 레이더 센서;
    서로 다른 시간에서 촬영하여 영상 프레임들을 생성하는 카메라 모듈;
    상기 영상 프레임들을 수신하고, 상기 영상 프레임들에서 복수의 모션 벡터들을 생성하며, 상기 생성된 복수의 모션 벡터들을 이용하여 상기 영상 프레임들에서 복수의 객체들을 식별하며, 상기 식별된 복수의 객체들을 이용하여 상기 복수의 모션 벡터들 중에서 대표 모션 벡터들을 선택하며, 상기 선택된 대표 모션 벡터들의 크기들과 방향들을 계산하며, 상기 레이더 센서로부터 생성된 레이더 데이터에서 인식된 상기 복수의 객체들의 도플러 속도들과 방향들을 추출하며, 상기 계산된 대표 모션 벡터들의 크기들과 상기 도플러 속도들을 비교하며, 상기 계산된 대표 모션 벡터들의 방향들과 상기 레이더 데이터에서 인식된 상기 복수의 객체들의 방향들을 비교하며, 상기 비교에 따라 상기 영상 프레임들에서 식별된 상기 복수의 객체들과 상기 레이더 데이터에서 인식된 복수의 객체들을 매칭하며, 상기 식별된 복수의 객체들 중 어느 하나 객체의 에너지를 계산하며, 상기 계산된 에너지가 임의의 문턱값보다 큰지 결정하며, 상기 계산된 에너지가 상기 임의의 문턱값보다 클 때, 메시지를 서버로 전송하는 컨트롤러를 포함하는 레이더와 카메라를 이용한 영상 감시 시스템.
KR1020210053287A 2021-04-23 2021-04-23 레이더와 카메라를 이용한 영상 감시 방법 및 시스템 KR102445971B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210053287A KR102445971B1 (ko) 2021-04-23 2021-04-23 레이더와 카메라를 이용한 영상 감시 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210053287A KR102445971B1 (ko) 2021-04-23 2021-04-23 레이더와 카메라를 이용한 영상 감시 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR102445971B1 true KR102445971B1 (ko) 2022-09-22

Family

ID=83445760

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210053287A KR102445971B1 (ko) 2021-04-23 2021-04-23 레이더와 카메라를 이용한 영상 감시 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102445971B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101758576B1 (ko) * 2016-11-21 2017-07-17 인하대학교 산학협력단 물체 탐지를 위한 레이더 카메라 복합 검지 장치 및 방법
KR101854461B1 (ko) 2016-10-12 2018-05-03 전자부품연구원 카메라 시스템 및 이의 객체 인식 방법
KR20180045745A (ko) * 2016-10-26 2018-05-04 삼성에스디에스 주식회사 이동체에서의 객체 검출 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101854461B1 (ko) 2016-10-12 2018-05-03 전자부품연구원 카메라 시스템 및 이의 객체 인식 방법
KR20180045745A (ko) * 2016-10-26 2018-05-04 삼성에스디에스 주식회사 이동체에서의 객체 검출 장치 및 방법
KR101758576B1 (ko) * 2016-11-21 2017-07-17 인하대학교 산학협력단 물체 탐지를 위한 레이더 카메라 복합 검지 장치 및 방법

Similar Documents

Publication Publication Date Title
US9274204B2 (en) Camera tracing and surveillance system and method for security using thermal image coordinate
US10084972B2 (en) Monitoring methods and devices
JP5390322B2 (ja) 画像処理装置、及び画像処理方法
KR102195706B1 (ko) 침입 탐지방법 및 그 장치
US20160098603A1 (en) Depth camera based detection of human subjects
US20080144961A1 (en) Method and Image Evaluation Unit for Scene Analysis
CN102074095A (zh) 幼儿行为监控系统及方法
US11776274B2 (en) Information processing apparatus, control method, and program
US9727791B2 (en) Person detection system, method, and non-transitory computer readable medium
US10719717B2 (en) Scan face of video feed
KR20090086898A (ko) 비디오 카메라를 사용한 연기 검출
WO2021082112A1 (zh) 神经网络训练、骨骼图构建、异常行为监控方法和系统
CN107122743B (zh) 安防监控方法、装置和电子设备
JP2019160310A (ja) 顕著なイベントに焦点を当てたオンデマンドビジュアル分析
US20220351515A1 (en) Method for perceiving event tagging-based situation and system for same
JP2020145511A (ja) カメラ装置、人物検出方法および人物検出システム
Hermina et al. A Novel Approach to Detect Social Distancing Among People in College Campus
KR102046591B1 (ko) 영상 감시 시스템 및 영상 감시방법
JP2020106970A (ja) 人検出装置および人検出方法
KR102445971B1 (ko) 레이더와 카메라를 이용한 영상 감시 방법 및 시스템
JP7235049B2 (ja) 評価装置、評価方法、及びコンピュータプログラム
CN111144260A (zh) 一种翻越闸机的检测方法、装置及系统
KR102502300B1 (ko) 레이더와 카메라 융합 방법 및 시스템
KR20240036367A (ko) 레이더와 카메라를 이용한 영상 감시 방법 및 시스템
KR102270858B1 (ko) 객체 추적을 위한 cctv 카메라 시스템