KR102152319B1 - 3d 공간상에서 객체의 위치와 크기를 계산하는 방법 및 이를 이용한 영상관제시스템 - Google Patents

3d 공간상에서 객체의 위치와 크기를 계산하는 방법 및 이를 이용한 영상관제시스템 Download PDF

Info

Publication number
KR102152319B1
KR102152319B1 KR1020190097060A KR20190097060A KR102152319B1 KR 102152319 B1 KR102152319 B1 KR 102152319B1 KR 1020190097060 A KR1020190097060 A KR 1020190097060A KR 20190097060 A KR20190097060 A KR 20190097060A KR 102152319 B1 KR102152319 B1 KR 102152319B1
Authority
KR
South Korea
Prior art keywords
image
information
unit
space
size
Prior art date
Application number
KR1020190097060A
Other languages
English (en)
Inventor
강태훈
Original Assignee
주식회사 벡터시스
강태훈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 벡터시스, 강태훈 filed Critical 주식회사 벡터시스
Priority to KR1020190097060A priority Critical patent/KR102152319B1/ko
Application granted granted Critical
Publication of KR102152319B1 publication Critical patent/KR102152319B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

관찰자의 관찰시점이 변화되더라도 왜곡 현상이 발생하지 않도록 객체영상을 3D 도면에 매핑하기 위해 3D 공간상에서 객체의 위치와 크기를 계산하는 방법 및 이를 이용한 영상관제시스템이 개시된다. 이를 위하여 한 개 이상의 영상 촬영부가 감시영역을 촬영하여 영상정보를 생성하는 영상정보 수집단계와, 객체 추출부가 상기 영상정보로부터 움직이는 객체가 없는 백그라운드 영상을 추출하여 영상 저장부에 저장하는 배경화면 생성단계와, 상기 객체 추출부가 영상인식 프로그램을 통해 상기 영상정보를 실시간으로 분석하여 움직이는 객체가 포함된 직사각형의 객체영상을 추출하고, 상기 객체영상의 각 꼭지점에 대한 좌표정보를 추출하며, 상기 객체영상 및 좌표정보를 영상 저장부에 저장하는 객체영상 생성단계, 및 상기 객체 추출부가 상기 좌표정보 및 영상 저장부에 저장된 3D 도면을 분석하여 객체영상에 대한 3D 도형의 좌표 및 크기가 포함된 도형정보를 생성하는 도형정보 생성단계를 포함하는 3D 공간상에서 객체의 위치와 크기를 계산할 수 있는 방법을 제공한다. 본 발명에 의하면, 각 감시영역을 촬영한 영상을 3D 도면의 영상과 함께 확인하므로 객체가 위치한 공간의 공간 인지도를 극대화할 수 있다.

Description

3D 공간상에서 객체의 위치와 크기를 계산하는 방법 및 이를 이용한 영상관제시스템{METHOD OF CALCULATING POSITION AND SIZE OF OBJECT IN 3D SPACE AND VIDEO SURVEILLANCE SYSTEM USING THE SAME}
본 발명은 건축물에 진입한 객체에 대해 3D 공간상에서 그 위치와 크기를 계산하는 방법 및 이를 이용한 영상관제시스템에 관한 것으로, 보다 상세하게는 건축물 내부의 공간 인지도를 극대화할 수 있도록 각각의 감시 카메라로부터 수집된 여러 개의 영상을 건축물의 실내에 대한 3D 도면을 통해 입체적으로 출력하기 위해 3D 공간상에서 객체의 위치와 크기를 계산하는 방법 및 이를 이용한 영상관제시스템에 관한 것이다.
일반적으로 회사 및 연구소 등의 자산을 보호하기 위한 기술보안 등을 위해 특정 작업장 등과 같은 정해진 공간 영역에 다양한 종류의 보안 시스템들이 설치되고 있고, 작업장 등에 출입하는 개인의 움직임을 확인하는 다양한 방식이 사용되고 있다.
예를 들면, 보안 시스템의 한 종류인 영상관제시스템은 각각의 감시 카메라가 담당하는 지역 또는 부분을 독립적으로 촬영하여 동영상을 수집하고, 이러한 여러 개의 동영상을 도 1에 도시된 바와 같이 바둑판 형태로 배치된 여러 개의 모니터를 통해 출력하고 있다.
이와 같이, 종래의 영상관제시스템은 감시영역 중 보안에 꼭 필요한 공간에만 설치되는 감시 카메라 등의 영상획득장치에 의해 촬영되는 공간에 대한 영상을 표시 및 저장할 뿐이어서, 촬영되는 영상이 공간에서 어떠한 속성이나 어떠한 부분에 속하는지 여부, 촬영되는 공간과 인접된 위치에 감시 카메라가 설치된 공간이 어디인지의 여부 등을 파악하기 어려워서 직관적인 보안 상황 인지가 불가능하기 때문에 침해사고의 조기 경보 및 정확하고 신속한 대응을 수행하기에는 부족하다.
이러한 문제를 해결하기 위해서는 관리자가 감시 카메라의 식별정보와 감시 카메라의 식별정보에 의해 각 감시 카메라가 전체 방범 영역에서 어떤 위치의 공간을 촬영하고 있는지를 직접 기억해야만 한다.
따라서 종래의 영상관제시스템의 관리자는 감시 카메라별로 어떤 위치인지를 촬영하고 있는지 암기하여야 하거나 각 감시 카메라를 통해 촬영되는 공간이 전체 방범 영역에서 어느 영역인지를 해당 공간의 객체들과 함께 기억하여야 하므로 번거롭고, 긴급 상황 시 임의의 감시 카메라에 의해 촬영되는 영상의 해당 공간, 즉 영역이 빠르게 떠오르지 않아 대처가 늦어질 수 있는 문제점이 있었다.
또한, 종래의 영상관제시스템은 침입자가 감시영역(view area)을 벗어날 경우에는 침입자가 어느 곳에 있는지를 확인하는데 한계가 있다. 다시 말해, 침입자가 감시 카메라가 촬영하는 감시영역을 벗어나게 되면 더 이상의 추적이 불가능하고, 이후 움직임의 이동방향과 경로에 대해서는 추적하지 못한다.
이에 따라, 감시 카메라에 의해 침입자가 발견되어 보안 업체에 연락이 취해지더라도 출동하는 시간동안 이미 침입자는 도주할 가능성이 크고 보안업체가 출동하는 위치도 감시 카메라의 위치를 중심으로 출동할 수밖에 없어 실제 침입자의 위치와는 큰 차이가 생길 수밖에 없다. 그렇기 때문에 침입자의 검거나 체포가 어렵다는 단점이 있다.
대한민국 등록특허 제10-0968024호(2010.07.07 공고) 대한민국 등록특허 제10-1248054호(2013.03.26 공고) 대한민국 공개특허 제10-2017-0140954호(2017.12.22 공개) 대한민국 등록특허 제10-0964726호(2010.06.21 공고)
따라서, 본 발명의 제1 목적은 관찰자의 관찰시점이 변화되더라도 왜곡 현상이 발생하지 않도록 객체영상을 3D 도면에 매핑하기 위해 3D 공간상에서 객체의 위치와 크기를 계산하는 방법을 제공하는데 있다.
또한, 본 발명의 제2 목적은 복수 곳의 감시영역이 촬영된 영상을 건축물의 실내에 대한 3D 영상에 실시간으로 매핑(mapping)하여 감시영역에 진입한 객체의 위치를 쉽게 구분할 수 있고, 이러한 객체의 위치 확인을 통해 객체의 움직임을 쉽게 파악할 수 있는 영상관제시스템을 제공하는데 있다.
상술한 본 발명의 제1 목적을 달성하기 위하여, 본 발명의 일 실시예에서는 한 개 이상의 영상 촬영부가 감시영역을 촬영하여 영상정보를 생성하는 영상정보 수집단계와, 객체 추출부가 상기 영상정보로부터 움직이는 객체가 없는 백그라운드 영상을 추출하여 영상 저장부에 저장하는 배경화면 생성단계와, 상기 객체 추출부가 영상인식 프로그램을 통해 상기 영상정보를 실시간으로 분석하여 움직이는 객체가 포함된 직사각형의 객체영상을 추출하고, 상기 객체영상의 각 꼭지점에 대한 좌표정보를 추출하며, 상기 객체영상 및 좌표정보를 영상 저장부에 저장하는 객체영상 생성단계, 및 상기 객체 추출부가 상기 좌표정보 및 영상 저장부에 저장된 3D 도면을 분석하여 객체영상에 대한 3D 도형의 좌표 및 크기가 포함된 도형정보를 생성하는 도형정보 생성단계를 포함하는 3D 공간상에서 객체의 위치와 크기를 계산할 수 있는 방법을 제공한다.
또한, 본 발명의 제2 목적을 달성하기 위하여, 본 발명의 일 실시예에서는 미리 지정된 감시영역을 촬영하여 영상정보를 획득하는 한 개 이상의 영상 촬영부와, 상기 영상 촬영부에 연결되어 영상 촬영부로부터 전송된 영상정보 중 움직이는 객체가 없는 백그라운드 영상을 저장하며, 영상 촬영부가 설치된 건축물의 3D 도면을 저장하는 영상 저장부와, 상기 영상 촬영부로부터 제공된 영상정보를 영상인식 프로그램으로 분석하여 움직이는 객체에 대한 객체영상을 추출하고, 상기 객체영상의 각 꼭지점에 대한 좌표정보를 추출하며, 상기 좌표정보 및 상기 영상 저장부에 저장된 3D 도면을 분석하여 객체영상에 대한 3D 도형의 좌표 및 크기가 포함된 도형정보를 생성하는 객체 추출부와, 상기 3D 도면에 백그라운드 영상을 매핑하고, 상기 도형정보를 실시간으로 분석하여 3D 도면상에서 객체의 위치에 3D 도형이 나타나도록 3D 도형을 3D 도면에 겹쳐주며, 상기 3D 도형에 객체영상을 매핑하는 영상 합성부, 및 3D 도형과 백그라운드 영상이 매핑된 3D 도면을 출력하는 영상 출력부를 포함하는 3D 공간상에서 객체의 위치와 크기를 계산하는 방법을 이용한 영상관제시스템을 제공한다.
본 발명에 의하면, 각 감시영역을 촬영하는 영상 촬영부를 통신 네트워크로 연결하고 이를 통해 수집된 영상으로부터 영상인식 기능을 사용하여 움직이는 객체의 영상을 추출하고, 이 추출된 영상을 섬네일(thumbnail) 형태로 표시하므로, 각 감시영역을 한 화면에서 파악할 수 있고 침입자의 검색을 빠르게 수행할 수 있다.
또한, 본 발명은 감시영역에 진입한 객체의 영상을 3D 도면의 영상과 함께 확인하므로 공간 인지도를 극대화할 수 있다.
아울러, 본 발명은 객체의 영상을 3D 도면상의 벽면과 바닥면에 매핑하는 대신 3D 도형에 매핑하므로, 객체가 그림자처럼 길게 늘어지는 왜곡 현상이 발생되지 않는다.
게다가, 본 발명은 감시영역의 영상으로부터 추출된 객체의 영상을 3D 도면 상에 표시된 3D 도형에 매핑하기 때문에 이동하는 객체의 위치 및 크기를 3D 공간상에서 확인할 수 있다.
그리고 본 발명은 특정 감시영역의 영상을 확대하거나 축소해 확인할 수 있으며, 관찰자의 시점을 상하좌우로 조정하여 원하는 시점으로 객체를 확인할 수 있다.
도 1은 감시 카메라로 수집된 영상정보를 출력하는 종래의 모니터링 화면을 나타내는 정면도이다.
도 2는 본 발명의 일 실시예에 따른 영상관제시스템을 설명하기 위한 구성도이다.
도 3은 감시영역의 촬영 영상으로부터 백그라운드 영상을 생성하는 과정을 설명하는 사진이다.
도 4는 감시영역의 촬영 영상으로부터 추출된 객체영상을 나타내는 사진이다.
도 5는 3D 도면에 매핑된 백그라운드 영상을 나타내는 사진이다.
도 6은 3D 도면에 촬영 영상을 매핑한 화면을 관찰 시점별로 나타내는 사진이다.
도 7은 3D 도면과 겹쳐진 3D 도형에 객체영상을 매핑한 화면을 관찰 시점별로 나타내는 사진이다.
도 8은 본 발명에 따른 3D 공간상에서 객체의 위치와 크기를 계산하는 방법을 나타내는 순서도이다.
도 9는 본 발명의 영상 매핑방법의 알고리즘을 설명하기 위한 참고도이다.
이하, 첨부도면을 참조하여 본 발명의 바람직한 실시예들에 의한 3D 공간상에서 객체의 위치와 크기를 계산하는 방법을 이용한 영상관제시스템(이하, '영상관제시스템'이라 약칭함)을 상세하게 설명한다.
도 2는 본 발명의 일 실시예에 따른 영상관제시스템을 설명하기 위한 구성도이다.
도 2를 참조하면, 본 발명에 따른 영상관제시스템은 건축물 내부의 감시영역에 대한 영상정보를 획득하는 한 개 이상의 영상 촬영부(100)와, 각 영상 촬영부(100)로부터 제공된 백그라운드 영상을 저장하는 영상 저장부(200)와, 상기 영상정보를 분석하여 움직이는 객체에 대한 객체영상을 추출하고 상기 객체영상과 3D 도면을 분석하여 도형정보를 생성하는 객체 추출부(300)와, 상기 건축물의 3D 도면에 각 백그라운드 영상과 각 객체영상이 매핑된 관제영상을 생성하는 영상 합성부(400), 상기 관제영상을 한 화면으로 출력하는 영상 출력부(500)를 포함한다.
이러한 영상 촬영부(100), 영상 저장부(200), 객체 추출부(300), 영상 합성부(400), 영상 출력부(500)는 각각 별도의 장치로 독립적으로 구성되거나, 또는 하나 이상의 장치나 기기에 통합된 형태로 구현될 수 있다. 예를 들어, 객체 추출부(300) 및 영상 합성부(400)의 기능은 하나의 처리장치에서 처리될 수 있다. 또한, 상기 영상 촬영부(100) 내지 영상 출력부(0500) 전체가 하나의 장치 예를 들어, 디스플레이 장치가 부착된 블랙박스나 스마트폰 등의 단일의 장치에 내장되도록 설치될 수도 있다. 그리고 영상 저장부(200), 객체 추출부(300), 영상 합성부(400), 및 영상 출력부(500)는 서로 유선 또는 근거리 무선통신으로 연결될 수도 있다.
필요에 따라, 영상 촬영부(100)를 ①로, 영상 저장부(200)를 ②로, 객체 추출부(300)를 ③으로, 영상 합성부(400)를 ④로, 영상 출력부(500)를 ⑤로 지칭하는 경우, ①+② 또는 ①+②+③ 또는 ①+②+③+④는 CCTV 카메라나 IP 카메라에 모든 장치의 기능이 내장형 형태로 탑재될 수 있다. 그리고 ②+③ 또는 ②+③+④는 하나의 PC 또는 서버에 모든 장치의 기능이 내장형 형태로 탑재될 수 있다.
이하, 도면을 참조하여 각 구성요소별로 보다 구체적으로 설명한다.
도 2를 참조하면, 본 발명에 따른 영상관제시스템은 한 개 이상의 영상 촬영부(100)를 포함한다.
상기 영상 촬영부(100)는 감시하고자 하는 공간에 설치되어 미리 지정된 영역을 촬영하고 영상정보를 획득하는 것으로, 영상정보의 출처를 확인할 수 있도록 식별기호가 부여된 영상정보를 생성하는 것이 바람직하다.
또한, 영상 촬영부(100)는 생성된 영상정보를 유무선통신 네트워크(이하, '통신 네트워크'라고 약칭함)를 통해 영상 저장부(200), 객체 추출부(300), 영상 출력부(500) 중 어느 한 곳 이상으로 전송한다.
이러한 영상 촬영부(100)는 감시영역을 촬영할 수 있다면 어떠한 카메라를 사용하더라도 무방하다. 예를 들면, 영상 촬영부(100)로는 CCTV 카메라나, 각자 IP 주소를 가지고 있는 IP 카메라, 또는 스마트폰 등을 사용할 수 있다.
특정 양태로서, 본 발명에 따른 영상 촬영부(100)는 객체를 연속적으로 추적하며 촬영하기 위해 팬/틸트(pan/tilt) 모듈 및 줌(zoom) 모듈이 내장된 PTZ(Pan Tilt Zoom) 카메라를 사용하며, 바람직하게는 스피드 돔 카메라를 사용하는 것이 좋다. 이때, 영상 촬영부(100)는 PTZ 좌표값을 이용할 수 있다. 여기서, PTZ 좌표값이란 팬, 틸트, 및 줌의 3가지 요소에 의한 좌표값을 의미한다.
이러한 팬 좌표값은 가로축으로 좌우 회전하기 위한 좌표이며, 일반적으로 0 내지 360°의 좌표값을 갖는다. 그리고 틸트 좌표값은 세로축으로 전후 회전하기 위한 좌표이며, 일반적으로 0 내지 360°의 좌표값을 갖는다. 마지막으로, 줌 좌표값은 객체를 광학적으로 확대하여 촬영하기 위한 것으로, 영상 촬영부(100)의 성능에 따라 수십 배까지 확대가 가능하다.
또한, 줌 좌표값은 화면을 일정한 크기로 등분하여 사전에 각 부분별로 줌 배율을 설정해 놓아 영상 촬영부(100)의 촬영방향으로부터 제일 멀리 떨어져있는 부분에 객체가 포착되는 경우 카메라의 줌을 최대로 확대시키고, 영상 촬영부(100)와 가까운 부분에 객체가 포착되는 경우에는 카메라의 줌을 축소시킨다. 이때, 영상 촬영부(100)가 설치되는 장소 및 상황에 따라 사전에 설정한 줌 배율이 변경될 수도 있다.
한편, 영상 촬영부(100)는 객체가 차량인 경우 차량의 번호판이 인식될 수 있도록 차량의 확대영상을 촬영하며, 객체가 사람인 경우 사람의 얼굴이 인식될 수 있도록 사람의 확대영상을 촬영할 수 있다.
도 2를 참조하면, 본 발명에 따른 영상관제시스템은 영상 저장부(200)를 포함한다.
상기 영상 저장부(200)는 통신 네트워크를 통해 각 영상 촬영부(100)에 연결된 것으로, 영상 촬영부(100)로부터 전송된 영상정보를 저장하며, 영상 촬영부(100)가 설치된 건축물의 3D 도면이 저장된다. 이때, 3D 도면은 관리자가 건축물의 내부를 확인할 수 있도록 천정이 생략된 형태로 형성될 수 있으며, 건축물의 층별로 구분되어 저장될 수 있다.
이러한 영상 저장부(200)로는 DVR(Digital Video Recorder)나 NVR(Network Video Recorder) 기반의 서버를 사용하거나, 대용량 HDD(Hard Disk Drive)가 장착된 PC(Personal Computer)를 사용하거나, 또는 스마트폰이나 카메라에 장착된 MICRO SD를 사용할 수 있다.
이외에도, 영상 저장부(200)로는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 어느 하나의 저장매체를 사용할 수도 있다.
구체적으로, 영상 저장부(200)는 영상 촬영부(100)로부터 전송된 영상정보가 저장된 영상정보 데이터베이스(DB)와, 영상 촬영부(100)가 설치된 공간의 도면이 저장된 도면 데이터베이스(DB)와, 촬영시간과 객체의 종류가 부가된 객체영상이 저장되는 객체영상 데이터베이스(DB), 및 객체영상별 도형정보가 저장되는 도형정보 데이터베이스를 포함하여 구성된다. 여기서, 영상정보 DB에는 객체가 진입하기 전의 영상인 백그라운드 영상이 저장되며, 도면 DB에는 건축물의 3D 도면이 저장된다. 그리고 객체영상 DB는 객체영상을 확대 영상으로 저장할 수 있다. 이러한 영상 저장부(200)를 구성하는 DB는 사용자가 DBMS(DataBase Management System)를 통해서 데이터에 대한 핸들링을 부탁하고, 상기 DBMS가 물리적인 파일의 내용을 핸들링 하는 것으로, 파일 베이스 형태와 DB 베이스 형태를 모두 포함한다. 이때, 파일 베이스는 데이터적 논리성을 배제한 순수한 파일만으로 구성되어진 데이터베이스를 의미한다.
상기 백그라운드 영상은 객체 추출부(300)가 영상 촬영부(100)로부터 전송된 영상정보로부터 움직이는 객체 등이 없는 백그라운드 영상을 추출하여 생성하거나, 객체 추출부(300)가 영상 촬영부(100)로부터 전송된 영상정보로부터 객체영상을 삭제하여 생성하거나, 또는 영상 촬영부(100)로부터 전송된 영상 중 관리자에 의해 선택된 영상으로 생성할 수 있다.
제1 실시 양태로서, 건축물의 3D 도면은 사전에 제작되어 영상 저장부(200)의 도면 DB에 저장될 수 있다.
제2 실시 양태로서, 관리자가 뎁스(depth) 카메라와 영상 저장부(200)에 내장된 3D 도면제작 프로그램을 사용하여 영상 촬영부(100)가 설치된 공간의 3D 도면을 생성한 후 도면 DB에 저장할 수 있다. 이를 위해, 본 발명에 따른 영상관제시스템은 영상 저장부(200)에 연결된 뎁스 카메라(미도시)를 더 포함할 수 있다.
이러한 뎁스 카메라는 RGB 컬러값과 뎁스값을 영상 저장부의 3D 도면제작 프로그램에 제공하며, 상기 3D 도면제작 프로그램이 RGB 컬러값과 뎁스값을 기반으로 3D 도면을 실시간으로 생성한다. 그리고 실시간으로 생성된 도면은 영상 저장부(200)에 저장될 수도 있지만, 영상관제시스템에 구비된 메모리에만 로드(load)하여 사용할 수도 있다.
필요에 따라, 뎁스 카메라를 통해 생성된 데이터는 곧바로 3D 도면제작 프로그램에 제공되어 3D 도면제작에 사용되거나, 3ds Max, Maya, Google Sketch 등의 3D 그래픽툴을 이용하여 폴리곤(polygon) 데이터로 변환된 후 3D 도면제작 프로그램에 제공되어 3D 도면제작에 사용될 수 있다.
한편, 영상 저장부(200)는 영상 촬영부(100)의 동작을 조정하는 조정정보가 저장된 조정정보 데이터베이스(DB)를 더 포함하여 구성될 수 있다. 이러한 조정정보 DB는 영상 촬영부(100)가 영상정보를 획득하는 감시영역의 좌표값에 따라 영상 촬영부(100)의 회전각도 및 주밍비율이 설정된 클로즈업 정보가 저장되고, 상기 감시영역이 분획되어 설정된 좌표값 정보가 저장된다. 여기서, 주밍비율은 객체의 종류에 따라 조절될 수 있다. 예컨대, 사람과 자동차는 크기가 서로 다르기 때문에 주밍비율이 자동차를 기준으로 설정된 경우, 객체가 사람으로 인식되면 영상 촬영부(100)의 줌이 축소되도록 조절된다.
도 2를 참조하면, 본 발명에 따른 영상관제시스템은 객체 추출부(300)를 포함한다.
상기 객체 추출부(300)는 각 영상 촬영부(100)로부터 제공된 영상정보를 영상인식 프로그램으로 분석하여 움직이는 객체의 객체영상을 추출하는 것으로, 상기 객체영상의 각 꼭지점에 대한 좌표정보를 추출하고, 상기 좌표정보 및 영상 저장부에 저장된 3D 도면을 분석하여 객체영상에 대한 3D 도형의 좌표 및 크기가 포함된 도형정보를 생성하며, 상기 도형정보를 영상 저장부(200)의 도형정보 DB에 저장한다. 이를 위해, 객체 추출부(300)는 영상 저장부(200)에 통신 네트워크를 통해 연결된다.
또한, 객체 추출부(300)는 촬영시간과 객체의 종류가 부가된 객체영상을 객체영상 DB에 저장할 수 있다.
상기 객체 추출부(300)는 자체 구비된 메모리에 설치된 영상인식 프로그램을 사용할 수도 있고, 영상 저장부(200)에 설치된 영상인식 프로그램을 사용할 수도 있다.
필요에 따라, 객체 추출부(300)는 관리자의 선택에 따라 영상 저장부(200)에 저장된 영상정보를 영상인식 프로그램으로 분석하여 움직이는 객체의 객체영상을 직사각형으로 추출하도록 구성될 수 있다.
도 4는 감시영역의 촬영 영상으로부터 추출된 객체영상을 나타내는 사진이다. 도 4를 참조하면, 객체 추출부(300)는 객체의 외곽선 내의 이미지로 구성된 객체영상을 추출할 수 있다. 이와 같이, 외곽선 내의 이미지가 포함된 객체영상을 추출하면 추후 안면인식 기능을 사용해 신원조회 또는 특정인에 대한 출입통제 기능을 제공할 수 있다. 이때, 객체의 외곽선은 객체의 테두리 부분이거나 객체를 감싸는 사각형으로 형성될 수 있다. 보다 구체적으로, 객체가 사람인 경우 객체 추출부(300)는 영상정보로부터 객체의 전신이 포함되고 발이 바닥면에 닿아 있도록 객체의 외곽선을 직사각형으로 추출한다.
또한, 객체 추출부(300)는 객체영상에서 객체를 감싸는 사각형의 가로 및 세로의 크기를 분석하여 사각형의 가로 길이와 세로 길이가 포함된 객체 크기정보를 생성하고, 상기 객체 크기정보를 객체영상에 부가할 수 있다.
아울러, 객체영상에서 객체를 감싸는 사각형 중 객체를 제외한 부분은 검정색, 흰색 등의 무채색으로 구성될 수 있다. 이와 같이, 객체를 감싸는 사각형이 무채색이면 움직임이 포착된 영역의 픽셀(pixel)만 컬러 값이 존재하므로, 픽셀들의 R, G, B 각각에 대한 분포도를 분석할 수 있다.
다시 말해, 관리자가 선택한 컬러 값과 비교하여 객체영상에 포함된 물체가 지정된 오차 범위 이내인 경우에 객체로 판단하고, 이의 종류를 구분한다.
보다 구체적으로, 객체 추출부(300)는 영상인식 프로그램을 통해 영상정보로부터 추출된 객체영상의 종류를 사람, 자동차, 오토바이, 자전거, 동물 중 어느 하나로 구분할 수 있다. 그리고 객체 추출부(300)는 객체 종류가 지정된 객체 종류정보를 객체영상에 부가할 수 있다. 또한, 객체 추출부(300)는 종류 구분의 정확도가 향상되도록 딥러닝(deep learning) 기술을 접목하여 객체의 종류를 구분할 수도 있다.
아울러, 객체 추출부(300)는 객체 종류나 좌표, 또는 촬영시간 따라 객체영상이 분류된 객체영상 리스트를 생성하고, 상기 객체영상 리스트를 영상 저장부(200)에 저장할 수 있다. 이는, 관리자가 직접 감시영역의 영상정보를 시청하지 않더라도 확인하고자 하는 객체를 종류별로 선택할 수 있도록 하기 위함이다.
이러한 객체 추출부(300)로는 영상인식 프로그램이 설치된 서버를 사용하거나, 영상인식 프로그램이 설치된 PC를 사용할 수 있다.
특정 양태로서, 본 발명에 따른 객체 추출부(300)는 영상 촬영부(100)로부터 수신된 영상정보를 분석하고, 감시영역에 진입한 객체를 검출하여 타겟으로 지정한다. 그리고 객체 추출부(300)는 타겟으로 지정된 객체의 실시간 좌표값을 분석하며, 상기 좌표값에 대등된 클로즈업 정보를 영상 저장부(200)로부터 추출한다.
보다 구체적으로, 객체 추출부(300)는 영상정보를 분석하여 외부에서 감시영역에 들어온 객체가 있는지를 탐지한다. 그리고 객체 추출부(300)는 감시영역으로 들어온 객체를 타겟으로 지정하여 추적하고, 상기 객체의 특징을 추출하여 버퍼(buffer)나 레지스터(register)에 임시로 저장하며, 영상정보를 통해 상기 객체의 좌표값을 분석한다.
필요에 따라, 객체 추출부(300)는 영상정보를 분석하여 객체가 감시 대상에 해당하는지를 판단한다. 예컨대, 타겟으로 지정된 객체가 갑자기 회전을 하거나 다른 물체에 의해 가려졌다가 다시 나타날 경우, 기존 객체와 동일하거나 유사한 좌표값에 위치한 임의의 제1 물체와 미리 추출한 객체의 특징을 비교하여, 추적하고 있는 제1 물체가 감시 대상의 객체에 해당하는지를 판단한다. 만약, 상기 제1 물체가 감시 대상으로 지정된 객체와 다른 것으로 판단되면, 기존 객체가 위치했던 좌표에 2번째로 가까운 제2 물체를 탐지하여, 제2 물체가 감시 대상의 객체에 해당하는지를 판단한다.
아울러, 객체 추출부(300)는 객체의 움직임을 추적한다. 이러한 객체는 이동할 수 있기 때문에, 객체 추출부(300)는 객체의 위치 이동을 추적하여 객체의 좌표값을 실시간으로 분석한다.
또한, 객체 추출부(300)는 객체가 감시영역을 벗어나거나 객체가 설정된 시간동안 이동하지 않고 정지되어 있으면, 상기 객체에 대한 클로즈업 정보의 추출을 종료한 후, 영상정보를 통해 새로 검출된 객체의 클로즈업 정보를 영상 저장부(200)로부터 추출한다. 이때, 객체 추출부(300)는 영상 촬영부(100)가 초기 위치로 회동과정 중에 생성한 영상정보를 분석하여 감시영역으로 진입한 객체 중 영상정보를 통해 최초로 검출된 객체를 확대영상을 생성하는 새로운 타겟으로 지정한다.
이와 같이 타겟으로 지정된 객체에 대한 클로즈업 정보의 추출이 종료되면, 객체 추출부(300)는 영상 촬영부(100)가 기준 감시영역을 촬영할 수 있도록 영상 촬영부(100)의 회동신호를 생성하여 영상 촬영부(100)로 제공한다.
그리고 후술하는 사용자 인터페이스를 통해 확대영상의 촬영 시간이 입력되면, 객체 추출부(300)는 객체에 대한 확대영상을 설정된 시간동안 촬영한 후 초기 위치로 회동하도록 영상 촬영부(100)를 제어하는 회동신호를 생성하여 영상 촬영부(100)로 제공한다.
한편, 객체 추출부(300)는 영상정보를 이용하여 객체와 주변사물을 구별하기 위해 객체인식 데이터테이블 및 주변사물 데이터테이블을 포함할 수 있다.
상기 객체인식 데이터테이블은 객체를 구분할 수 있도록 하기 위해 객체의 형상감지, 생체인식, 좌표인식에 대한 설정데이터가 각각 저장되어 구성된다. 이때, 상기 형상감지에 대한 설정데이터는 움직임이 발생하는 대상인 자동차나 오토바이 형상을 복합적인 도형의 형태, 특히, 차량의 번호판 등을 인식하도록 하기 위한 설정데이터이다. 또한, 생체인식에 대한 설정데이터는 인체, 특히 인체의 얼굴의 특징을 기준으로 눈, 코, 입 등을 인식하도록 하기 위한 설정데이터이다.
상기 주변사물 데이터테이블은 객체 추출부(300)에서 주변사물을 구분할 수 있도록 하기 위해 주변사물의 지리정보, 형상감지, 좌표인식에 대한 설정데이터가 각각 저장되어 구성된다. 이때, 상기 주변사물의 지리정보에 대한 설정데이터는 미리 설정된 지역의 지형, 지물 등에 대한 설정데이터이며, 형상감지에 대한 설정데이터는 전술한 객체인식 데이터테이블의 형상감지에 대한 설정데이터와 대응된다.
특히, 공통적으로 인식되어야 하는 좌표인식에 대한 설정데이터는 영상 촬영부(100)에 의해 생성된 영상정보를 통해 가상의 공간좌표 또는 지리정보와 연동하여 지역의 좌표 등에 의해 객체와 주변사물의 지점 특히 이동 위치를 파악할 수 있도록 한다.
또한, 객체 추출부(300)는 감시영역으로 진입한 객체의 좌표값에 따라 객체의 확대영상을 촬영할 수 있도록 상기 좌표값에 따라 미리 지정된 클로즈업 정보를 추출한다. 여기서, 클로즈업 정보는 좌표값에 따라 영상 촬영부(100)의 팬과 틸즈 및 줌이 미리 설정된 값으로 제어되도록 지정된 제어신호이다.
아울러, 객체 추출부(300)는 영상정보를 분석하여 객체의 종류를 지정하고, 객체의 종류에 따라 영상 촬영부(100)의 줌인 위치가 달라지도록 클로즈업 정보를 변경할 수 있다. 예컨대, 객체의 외형이 사람으로 분석되면 객체 추출부(300)는 사람의 전신모습에서 얼굴이 클로즈업으로 줌인 되도록 클로즈업 정보를 변경한다. 그리고 영상정보를 통해 객체의 외형이 차량으로 분석되면 객체 추출부(300)는 차량의 번호판에 대한 확대영상을 촬영할 수 있도록 클로즈업 정보를 변경한다.
이와 같이, 객체 추출부(300)는 추후 객체를 추적하는데 가장 적합한 요소(얼굴, 번호판)를 대상으로 확대영상이 촬영되도록 클로즈업 정보를 수정할 수 있다.
필요에 따라, 객체 추출부(300)는 영상정보를 분석하여 객체가 감시영역을 벗어난 것으로 판독되면, 해당 객체의 종류가 미리 지정된 종류에 해당되지 않는 경우 객체의 영상정보를 삭제할 수 있다. 이는, 동물 등 보안 확인에 불필요한 객체가 감시영역에 진입한 경우에 이 객체에 대한 영상정보를 삭제함으로써, 영상 저장부(200)에 저장되는 영상정보의 용량을 최소화시키기 위함이다.
또한, 객체 추출부(300)는 타겟으로 지정된 제1 객체의 클로즈업 정보를 추출하는 도중에 감시영역에 진입한 제2 객체의 존재가 검출되더라도 제1 객체가 감시영역을 벗어날 때 까지 제1 객체의 클로즈업 정보를 추출하도록 구성될 수 있다.
그리고 객체 추출부(300)는 감시영역 내에 위치한 객체 중 타겟으로 지정된 객체 이외의 객체에 대한 타겟 변경신호가 사용자 인터페이스를 통해 입력되면, 타겟으로 지정된 객체의 클로즈업 정보 추출을 정지하고, 타겟 변경신호가 입력된 새로운 객체의 클로즈업 정보를 추출한다. 이를 통해, 영상 촬영부(100)는 타겟으로 지정되었던 객체의 확대영상에 대한 영상정보를 생성하다가, 새로운 객체의 확대영상에 대한 영상정보를 생성하게 된다. 이와 같이, 확대영상을 촬영하는 객체는 사용자 인터페이스를 통해 관리자에 의해 선택될 수 있다.
한편, 객체 추출부(300)는 객체영상의 좌표정보와 3D 도면을 분석하여 객체영상에 대한 3D 도형의 좌표와 크기가 포함된 도형정보를 생성한다.
본 발명에 따른 영상관제시스템은 객체 검색부를 더 포함할 수 있다.
상기 객체 검색부는 사용자 인터페이스를 통해 관리자로부터 검색하고자 하는 객체의 크기나 종류가 입력되면 영상 저장부(200)의 객체영상 DB를 검색하는 것으로, 매핑된 객체가 포함된 객체영상을 추출하고 이의 객체 리스트를 생성한다.
또한, 객체 검색부는 객체 리스트에 포함된 객체 중 특정 객체에 대한 선택신호가 사용자 인터페이스를 통해 입력되면, 해당 객체의 움직임을 시간 순서에 따라 3D 도면상에서 출력한다.
이와 같이, 객체 검색부는 객체의 크기와 종류를 이용하여 검색을 원하는 물체를 검색할 수 있다.
본 발명에 따른 영상관제시스템은 사용자 인터페이스(미도시)를 더 포함할 수 있다.
상기 사용자 인터페이스는 영상 출력부(500)로 출력된 영상 내에 존재하는 객체를 선택받아 객체의 선택신호를 생성하는 것으로, 마우스나 키보드 또는 터치패드 등이 사용될 수 있다.
여기서, 객체의 선택은 동선을 확인하고자 하는 객체를 관리자로부터 지정받는 것으로, 사용자 인터페이스를 통해 관리자로부터 설정 받을 수 있다. 구체적으로, 상기 영상 출력부(500)가 영상정보를 영상으로 출력하면, 관리자는 사용자 인터페이스를 통해 감시하고자 하는 대상을 선택하거나, 검색하고자 하는 객체의 크기나 종류를 입력한다. 또한, 사용자 인터페이스는 생성된 객체의 선택신호를 통신 네트워크를 통해 연결된 객체 검색부나 영상 합성부(400)로 제공할 수 있다.
아울러, 사용자 인터페이스는 임의의 제1 객체가 감시영역을 벗어나기 전에 제1 객체 대신 감시영역에 위치한 제2 객체를 감시할 수 있도록 제2 객체의 타겟 변경신호를 관리자로부터 입력받아 객체 추출부(300)로 제공할 수 있다
또한, 사용자 인터페이스는 영상 출력부(500)를 통해 출력되는 3D 도면의 특정 지점을 확대하거나 축소하여 볼 수 있도록 지점 선택신호 및 화면크기 조정신호를 입력받아 상기 영상 합성부(400)로 제공할 수 있다.
도 2를 참조하면, 본 발명에 따른 영상관제시스템은 영상 합성부(400)를 포함한다.
상기 영상 합성부(400)는 한 화면에서 각 감시영역에 진입한 객체를 확인할 수 있도록 3D 도면에 한 개의 백그라운드 영상과 한 개 이상의 객체영상이 투영되도록 3D 도면과 백그라운드 영상 및 객체영상을 매핑하는 것으로, 3D 도면에 백그라운드 영상을 매핑하고, 상기 3D 도면상에서 객체의 위치에 3D 도형이 나타나도록 3D 도형을 3D 도면에 겹쳐주며, 상기 3D 도형에 객체영상을 매핑한다.
도 5는 3D 도면에 매핑된 백그라운드 영상을 나타내는 사진이다.
구체적으로, 영상 합성부(400)는 도 5와 같이 영상정보 DB에 저장된 백그라운드 영상을 도면 DB에 저장된 3D 도면에 매핑한다.
그리고 영상 합성부(400)는 도형정보에 포함된 3D 도형의 크기로 3D 도형을 생성하며, 3D 도면상에서 객체의 위치에 3D 도형이 나타나도록 3D 도면상에서 객체의 실제 위치에 3D 도형을 매핑한다. 이때, 3D 도형이 객체의 크기에 따라 조정된 크기를 갖도록 형성되는 경우에는 객체영상이 3D 도형의 전체에 표시되도록 형성될 수 있다.
또한, 영상 합성부(400)는 상기 3D 도형을 통해 객체영상이 표시되도록 객체영상을 3D 도형에 매핑한다.
도 6은 3D 도면에 촬영 영상을 매핑한 화면을 관찰 시점별로 나타내는 사진이며, 도 7은 3D 도면과 겹쳐진 3D 도형에 객체영상을 매핑한 화면을 관찰 시점별로 나타내는 사진이다.
도 6에 도시된 바와 같이, 3D 도면의 바닥면이나 벽면에 영상 촬영부(100)로부터 수집된 촬영 영상을 그대로 매핑하면, 관찰시점이 영상 촬영부(100)의 촬영시점과 달라지면 도 6과 같이 객체영상이 길게 늘어지는 왜곡 현상이 발생된다.
이에 반해 본 발명은 3D 도면의 바닥면이나 벽면에 객체영상을 매핑하지 않고, 객체영상이 매핑된 3D 도형을 3D 도면에 매핑하므로, 관찰시점이 영상 촬영부(100)의 시점과 달라지더라도 객체영상이 길게 늘어지는 왜곡 현상이 발생되지 않는다.
상기 영상 합성부(400)는 영상 저장부(200)에 저장된 영상정보를 사용하는 경우, 영상 저장부(200)로부터 추출된 객체영상의 좌표 및 촬영시간을 분석하여 영상 저장부(200)에 저장된 3D 도면에 객체의 움직임을 표시한다. 보다 구체적으로, 영상 합성부(400)는 도형정보에 포함된 좌표정보 및 촬영시간을 분석하여 시간의 흐름에 따라 객체영상이 매핑된 3D 도형의 이동 이미지를 생성하고, 상기 이동 이미지를 3D 도면에 병합하며, 이동 이미지가 표시된 3D 도면을 영상 출력부(500)를 통해 출력한다.
이러한 객체 추출부(300)로는 영상인식 프로그램이 설치된 서버를 사용하거나, 영상인식 프로그램이 설치된 PC를 사용할 수 있다.
이와 같이, 영상 합성부(400)는 복수 개의 감시영역을 갖는 건축물에 대한 3D 도면이 한 화면에 표시되도록 섬네일(Thumbnail) 형태로 구성하므로, 침입자 검색을 빠르게 수행할 수 있다. 또한, 영상 합성부(400)는 관리자가 특정 객체를 선택하면 특정 객체의 대한 2D 영상을 3D 도형을 통해 입체적으로 나타낸다.
도 2를 참조하면, 본 발명에 따른 영상관제시스템은 영상 출력부(500)를 포함한다.
상기 영상 출력부(500)는 영상 합성부(400)를 통해 3D 도형과 백그라운드 영상이 매핑된 3D 도면을 출력하는 것으로, 이를 위해 영상 합성부(400)와 통신 네트워크를 통해 연결된다.
필요에 따라, 영상 출력부(500)는 관리자의 요청에 따라 선택된 객체의 영상을 3D 도면을 통해 확대된 영상으로 출력할 수도 있다. 다시 말해, 3D 도면은 복수개의 감시영역을 갖는 건축물의 한 층을 전체적으로 나타내지만, 관리자가 임의의 제1 객체를 선택한 경우, 상기 제1 객체의 이동 경로에 위치한 감시영역의 백그라운드 영상과 제1 객체의 객체영상이 매핑된 3D 도형의 영상을 확대하여 출력할 수 있다.
이러한 영상 출력부(500)는 단일 모니터, 다중 모니터, 가상현실 디바이스, 증강현실 디바이스 중 어느 하나를 사용할 수 있다.
본 발명에 따른 영상관제시스템은 제어부를 더 포함할 수 있다.
상기 제어부는 객체 추출부(300)로부터 추출된 클로즈업 정보에 따라 영상 촬영부(100)의 동작을 제어하며, 영상 촬영부(100)로부터 영상정보를 수신받아 영상 저장부(200)에 저장하는 것으로, 영상 촬영부(100)와 영상 저장부(200)와 객체 추출부(300)와 영상 출력부(500)와 영상 합성부(400) 및 사용자 인터페이스에 연결된다.
보다 구체적으로, 상기 제어부는 객체 추출부(300)로부터 제공된 클로즈업 정보를 기반으로 제어신호를 생성하고, 상기 제어신호를 통신 네트워크를 통해 영상 촬영부(100)로 제공하여 감시영역 내부에서 이동하는 객체에 대한 확대영상을 촬영하도록 영상 촬영부(100)를 제어한다. 그리고 제어부는 영상 촬영부(100)로부터 타겟으로 지정된 객체의 영상정보가 전송되면, 이를 영상 저장부(200)에 저장한다.
또한, 제어부는 사용자 인터페이스를 통해 타겟 변경신호가 입력되면 이를 객체 추출부(300)로 제공하고, 객체의 선택신호가 입력되면 이를 영상 합성부(400)로 제공한다.
아울러, 제어부는 객체 추출부(300)로부터 회동신호가 전송되면 영상 촬영부(100)가 초기 위치로 회동되도록 영상 촬영부(100)를 제어한다.
본 발명에 따른 영상관제시스템은 머리 추적장치를 더 포함할 수 있다.
상기 머리 추적(head tracking)장치는 관리자의 머리에 착용되어 관리자의 머리 중심을 3차원 좌표계의 원점에 두고, 관리자 머리의 전후좌우상하 움직임을 추적하여 움직임 신호를 생성하는 것으로, 상기 움직임 신호를 제어부로 제공한다.
이때, 제어부는 머리 추적장치로부터 수신된 움직임 신호에 따라 백그라운드 영상과 3D 도형이 매핑된 3D 도면에서 관찰자의 시점이 조절되도록 영상 출력부(500)를 통해 출력되는 3D 도면상의 시점을 조절한다.
도 8은 본 발명에 따른 3D 공간상에서 객체의 위치와 크기를 계산하는 방법을 나타내는 순서도이다.
도 8을 참조하면, 본 발명에 따른 3D 공간상에서 객체의 위치와 크기를 계산하는 방법은 감시영역에 대한 영상정보를 생성하는 영상정보 수집단계(S100)와, 상기 영상정보로부터 움직이는 객체가 없는 백그라운드 영상을 추출하는 배경화면 생성단계(S200)와, 상기 영상정보를 실시간으로 분석하여 움직이는 객체에 대한 객체영상을 추출하고 상기 객체영상의 좌표정보를 추출하는 객체영상 생성단계(S300), 및 상기 좌표정보와 3D 도면을 분석하여 객체영상에 대한 3D 도형의 좌표와 크기가 포함된 도형정보를 생성하는 도형정보 생성단계(S400)를 포함한다.
상기 영상정보 수집단계(S100)에서는 영상 촬영부(100)가 감시영역을 촬영하여 영상정보를 생성한다.
필요에 따라, 상기 영상정보 수집단계(S100) 이전에는 3D 도면 생성단계가 더 포함될 수 있다. 이러한 3D 도면 생성단계는 뎁스 카메라가 영상 촬영부가 설치된 건축물을 촬영해 상기 건축물의 3D 도면을 생성한 후 상기 3D 도면을 영상 저장부에 저장하는 단계이다.
상기 배경화면 생성단계(S200)에서는 객체 추출부(300)가 상기 영상정보로부터 움직이는 객체가 없는 백그라운드 영상을 추출하여 영상 저장부(200)에 저장한다.
상기 객체영상 생성단계(S300)에서는 객체 추출부(300)가 영상인식 프로그램을 통해 상기 영상정보를 실시간으로 분석하여 움직이는 객체에 대한 객체영상을 추출하며, 상기 객체영상의 각 꼭지점에 대한 좌표정보를 추출하며, 상기 객체영상과 좌표정보를 영상 저장부(200)에 저장한다. 이때, 객체영상은 촬영시간이 부가된 상태로 영상 저장부(200)에 저장될 수 있다. 그리고 좌표정보는 좌측 하단 꼭지점의 좌표정보와 우측 상단 꼭지점의 좌표정보를 포함할 수 있다.
상기 도형정보 생성단계(S400)에서는 객체 추출부(300)가 상기 좌표정보 및 영상 저장부에 저장된 3D 도면을 분석하여 객체영상에 대한 3D 도형의 좌표 및 크기가 포함된 도형정보를 생성한다. 이때, 객체 추출부(300)는 도형정보는 영상 저장부(200)에 저장할 수 있다.
보다 구체적으로, 3D 절대공간상의 좌표를 2D 윈도우상의 좌표로 변환(transform)하는 일반적인 과정은 다음과 같다.
1단계로, 가상의 카메라를 설정하여 절대공간상의 좌표를 카메라 공간의 좌표로 변환(view transform)한다.
2단계로, 카메라 공간의 좌표를 클립 공간(clip space)의 좌표로 변환(projection transform)한다.
3단계로, 클립 공간의 좌표를 윈도우 공간의 좌표로 변환(window-viewport transform)한다.
이때, 윈도우 공간은 2D 공간이지만, 3단계에서 계산된 좌표는 (x, y, z)의 3D 좌표이다.
그리고 변환에는 주로 view transform 행렬(Matrix)과 projection transform 행렬을 곱하여 하나의 행렬을 사용하지만, 각 변환에 별도의 행렬을 사용하거나, 행렬을 사용하지 않고 벡터의 내적을 사용할 수도 있다.
필요에 따라, 본 발명은 도형정보 생성단계(S400) 이후에 1차 매핑단계(S500)와, 2차 매핑단계(S600), 및 3차 매핑단계(S700)를 더 포함할 수 있다.
상기 1차 매핑단계(S500)는 영상 합성부(400)가 3D 도면에 백그라운드 영상을 매핑하는 단계로, 한 화면에서 각 감시영역에 진입한 객체를 확인할 수 있도록 3D 도면에 한 개 이상의 백그라운드 영상을 매핑한다.
보다 구체적으로, CCTV 카메라 등 영상 촬영부(100)에 의해 생성된 백그라운드 영상을 3D 도면에 매핑하기 위해서는 영상 촬영부(100)를 상기 1단계의 가상의 카메라로 설정하고, 아래의 순서대로 변환한다. 이때, 영상 촬영부(100)의 위치와 방향을 이용하여 가상의 카메라를 설정한다.
예를 들면, 3D 도면을 이루는 각 정점(vertex)의 절대공간 상의 좌표를 영상 촬영부(100) 공간의 좌표로 변환한다. 이어서, 영상 촬영부(100)의 좌표를 클립 공간(clip space)의 좌표로 변환한다. 그 다음, 클립 공간의 좌표를 영상 촬영부(100)의 영상 이미지의 좌표로 변환한다. 마지막으로, 영상 촬영부(100)의 영상 이미지에서 상기 좌표의 픽셀을 샘플링한다.
상기 2차 매핑단계(S600)는 영상 합성부(400)가 도형정보에 포함된 3D 도형의 크기로 3D 도형을 생성하며, 상기 3D 도면상에서 도형정보에 포함된 3D 도형의 좌표에 3D 도형이 나타나도록 3D 도형의 좌표값에 따라 상기 3D 도형을 3D 도면에 겹쳐주는 단계이다.
이러한 2차 매핑단계(S600)는 영상 합성부(400)가 영상 저장부(200)로부터 추출된 3D 도형의 좌표와 객체영상의 촬영시간을 분석하여 영상 저장부(200)에 저장된 3D 도면에 객체의 움직임을 3D 도형으로 표시한다.
상기 3차 매핑단계(S700)는 영상 합성부(400)가 3D 도면에 객체영상을 매핑하는 단계로, 객체영상이 3D 도형의 전체에 표시되도록 3D 도면에 객체영상을 매핑한다.
결과적으로, 본 발명에 따른 방법은 시간의 흐름에 따라 객체영상이 매핑된 3D 도형의 이동 이미지를 생성하고, 상기 이동 이미지를 3D 도면에 병합하며, 이동 이미지가 표시된 3D 도면을 영상 출력부(500)를 통해 출력한다.
한편, 본 발명에 따른 3D 공간상에서 객체의 위치와 크기를 계산하는 방법을 적용하기 위해서는 건축물의 3D 도면을 확보하고, 영상 촬영부(100)의 위치와 방향에 대한 정보를 영상 저장부(200)에 저장하며, 객체의 전신이 촬영된 영상정보를 생성하고, 객체의 발이 바닥면에 닿아 있어야 한다.
도 9는 본 발명의 영상 매핑방법의 알고리즘을 설명하기 위한 참고도이다.
도 9를 참조하면, 추출된 객체영상에 대하여 2D 윈도우 공간에서의 좌측 하단 모서리를 P로 지칭하고, 2D 윈도우 공간에서의 우측 상단 모서리를 S라고 지칭한다. 그리고 영상 출력부에 렌더링 되는 3D 공간을 뷰 프러스텀(view frustum)이라고 하는데, 도 9의 아래 그림은 이 공간을 2D로 표현한 것이다. 그런데 최종적으로 렌더링 된 이미지는 원거리 클리핑 평면(far clipping plane)과 근접 클리핑 평면(near clipping plane)에 투영된 것이므로, P와 S는 모두 이 평면상에 존재한다. 이때, 근접 클리핑 평면의 깊이 값을 d1 이라고 한다.
그리고 윈도우 공간의 좌표 P와 S는 클립 공간의 좌표로 변환 가능하고, 이는 다시 카메라 공간의 좌표로 변환 가능하며, 이는 다시 절대 공간상의 좌표로 변환 가능한데, 위치벡터 P와 S는 근접 클리핑 평면상에 존재하므로 3D 위치벡터 P(px1, py1, d1) 및 S(sx1, sy1, d1)를 구할 수 있다.
그리고, 아래의 과정을 통해 3D 공간상의 위치벡터 P'와 S'를 구할 수 있다.
1) 관찰 시점의 위치벡터 C에서 출발하여 근접 클리핑 평면상의 위치벡터 P(px1, py1, d1)를 지나는 반직선(ray)과 3D 도면을 구성하는 면(polygon)들과의 교점을 구한다.
2) 여러 개의 교점이 나올 수 있으며, 관찰 시점 C로부터 가장 가까운 것을 선택하여 P'(px2, py2, d2)로 설정한다.
3) S'는 P'와 동일한 XY평면상에 존재하는 점이기 때문에 다음과 같이 삼각형 비례에 의하여 위치벡터 S'(sx2, sy2, d2)를 구할 수 있다.
Figure 112019081636817-pat00001
Figure 112019081636817-pat00002
4) 이동 물체의 영상을 맵핑할 기본 도형의 위치 벡터를 P'로 할 때, 그 크기는 다음과 같다.
Figure 112019081636817-pat00003
이상에서 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100 : 영상 촬영부 200 : 영상 저장부
300 : 객체 추출부 400 : 영상 합성부
500 : 영상 출력부

Claims (10)

  1. 한 개 이상의 영상 촬영부가 건축물 내부의 감시영역을 촬영하여 영상정보를 생성하는 영상정보 수집단계;
    객체 추출부가 상기 영상정보로부터 움직이는 객체가 없는 백그라운드 영상을 추출하여 영상 저장부에 저장하는 배경화면 생성단계;
    상기 객체 추출부가 영상인식 프로그램을 통해 상기 영상정보를 실시간으로 분석하여 움직이는 객체가 포함된 직사각형의 객체영상을 추출하고, 상기 객체영상의 각 꼭지점에 대한 좌표정보를 추출하며, 상기 객체영상 및 좌표정보를 영상 저장부에 저장하는 객체영상 생성단계;
    상기 객체 추출부가 상기 좌표정보 및 영상 저장부에 저장되고 복수개의 감시영역을 갖는 건축물의 3D 도면을 분석하여 객체영상에 대한 3D 도형의 좌표 및 크기가 포함된 도형정보를 생성하는 도형정보 생성단계;
    영상 합성부가 상기 3D 도면에 백그라운드 영상을 매핑하는 1차 매핑단계;
    관찰시점이 달라지더라도 객체영상이 길게 늘어지는 왜곡 현상의 발생을 방지하기 위해 상기 영상 합성부가 상기 3D 도면상에서 객체의 위치 및 크기로 상기 3D 도형이 나타나도록 상기 도형정보에 따라 3D 도형을 3D 도면에 겹쳐주는 2차 매핑단계; 및
    상기 영상 합성부가 상기 3D 도형에 객체영상을 매핑하는 3차 매핑단계를 포함하는 3D 공간상에서 객체의 위치와 크기를 계산할 수 있는 방법.
  2. 삭제
  3. 제1 항에 있어서, 상기 영상정보 수집단계 이전에
    뎁스 카메라가 영상 촬영부가 설치된 건축물을 촬영해 상기 건축물의 3D 도면을 생성한 후 상기 3D 도면을 영상 저장부에 저장하는 3D 도면 생성단계를 더 포함하는 것을 특징으로 하는 3D 공간상에서 객체의 위치와 크기를 계산할 수 있는 방법.
  4. 미리 지정된 건축물 내부의 감시영역을 촬영하여 영상정보를 획득하는 한 개 이상의 영상 촬영부;
    상기 영상 촬영부에 연결되어 영상 촬영부로부터 전송된 영상정보 중 움직이는 객체가 없는 백그라운드 영상을 저장하며, 영상 촬영부가 설치되고 복수개의 감시영역을 갖는 건축물의 3D 도면을 저장하는 영상 저장부;
    상기 영상 촬영부로부터 제공된 영상정보를 영상인식 프로그램으로 분석하여 움직이는 객체에 대한 객체영상을 추출하고, 상기 객체영상의 각 꼭지점에 대한 좌표정보를 추출하며, 상기 좌표정보 및 상기 영상 저장부에 저장된 3D 도면을 분석하여 객체영상에 대한 3D 도형의 좌표 및 크기가 포함된 도형정보를 생성하는 객체 추출부;
    관찰시점이 달라지더라도 객체영상이 길게 늘어지는 왜곡 현상의 발생을 방지하기 위해 상기 3D 도면에 백그라운드 영상을 매핑하고, 상기 도형정보를 실시간으로 분석하여 3D 도면상에서 객체의 위치에 3D 도형이 나타나도록 3D 도형을 3D 도면에 겹쳐주며, 상기 3D 도형에 객체영상을 매핑하는 영상 합성부; 및
    3D 도형과 백그라운드 영상이 매핑된 3D 도면을 출력하는 영상 출력부를 포함하는 3D 공간상에서 객체의 위치와 크기를 계산하는 방법을 이용한 영상관제시스템.
  5. 제4 항에 있어서, 상기 3D 도형은
    원기둥, 사각기둥, 육각기둥, 사각평면으로 이루어진 군으로부터 선택된 어느 하나로 형성된 것을 특징으로 하는 3D 공간상에서 객체의 위치와 크기를 계산하는 방법을 이용한 영상관제시스템.
  6. 제4 항에 있어서, 상기 객체 추출부는
    객체가 사람인 경우, 상기 영상정보로부터 객체의 전신이 포함되고 발이 바닥면에 닿아 있도록 객체의 외곽선을 직사각형으로 추출하고, 상기 외곽선을 기준으로 외곽선 내부의 영상을 객체영상으로 추출하는 것을 특징으로 하는 3D 공간상에서 객체의 위치와 크기를 계산하는 방법을 이용한 영상관제시스템.
  7. 제4 항에 있어서, 상기 객체 추출부는
    촬영시간이 부가된 객체영상을 영상 저장부에 저장하는 것을 특징으로 하는 3D 공간상에서 객체의 위치와 크기를 계산하는 방법을 이용한 영상관제시스템.
  8. 제4 항에 있어서, 상기 객체 추출부는
    사람, 자동차, 오토바이, 자전거, 동물 중 어느 하나로 지정된 객체의 종류가 부가된 객체영상을 생성하여 영상 저장부에 저장하는 것을 특징으로 하는 3D 공간상에서 객체의 위치와 크기를 계산하는 방법을 이용한 영상관제시스템.
  9. 제4 항에 있어서,
    상기 영상 출력부를 통해 출력되는 3D 도면의 특정 지점을 확대하거나 축소하여 볼 수 있도록 지점 선택신호 및 화면크기 조정신호를 입력받아 상기 영상 합성부로 제공하는 사용자 인터페이스를 더 포함하는 것을 특징으로 하는 3D 공간상에서 객체의 위치와 크기를 계산하는 방법을 이용한 영상관제시스템.
  10. 제4 항에 있어서, 상기 영상 저장부는
    상기 영상 촬영부로부터 전송된 영상정보가 저장되는 영상정보 데이터베이스와, 영상 촬영부가 설치된 건축물의 3D 도면을 저장하는 도면 데이터베이스와, 촬영시간과 객체의 종류가 부가된 객체영상이 저장되는 객체영상 데이터베이스, 및 객체영상별 도형정보가 저장되는 도형정보 데이터베이스를 포함하여 구성된 것을 특징으로 하는 3D 공간상에서 객체의 위치와 크기를 계산하는 방법을 이용한 영상관제시스템.
KR1020190097060A 2019-08-09 2019-08-09 3d 공간상에서 객체의 위치와 크기를 계산하는 방법 및 이를 이용한 영상관제시스템 KR102152319B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190097060A KR102152319B1 (ko) 2019-08-09 2019-08-09 3d 공간상에서 객체의 위치와 크기를 계산하는 방법 및 이를 이용한 영상관제시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190097060A KR102152319B1 (ko) 2019-08-09 2019-08-09 3d 공간상에서 객체의 위치와 크기를 계산하는 방법 및 이를 이용한 영상관제시스템

Publications (1)

Publication Number Publication Date
KR102152319B1 true KR102152319B1 (ko) 2020-09-04

Family

ID=72470805

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190097060A KR102152319B1 (ko) 2019-08-09 2019-08-09 3d 공간상에서 객체의 위치와 크기를 계산하는 방법 및 이를 이용한 영상관제시스템

Country Status (1)

Country Link
KR (1) KR102152319B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197754A (zh) * 2023-10-19 2023-12-08 航天正通汇智(北京)科技股份有限公司 一种基于超清宽幅视频的安全监测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040053257A (ko) * 2001-11-02 2004-06-23 사르노프 코포레이션 몰입형 감시를 제공하기 위한 방법 및 장치
KR100964726B1 (ko) 2008-07-14 2010-06-21 한국산업기술대학교산학협력단 영상 카메라 시스템에서 이동 물체 특성을 이용한 이동물체 추적 방법
KR100968024B1 (ko) 2008-06-20 2010-07-07 중앙대학교 산학협력단 감시 시스템 네트워크를 이용한 객체의 이동 경로 추적방법 및 시스템
KR101248054B1 (ko) 2011-05-04 2013-03-26 삼성테크윈 주식회사 물체의 이동 경로를 추적하는 물체 추적 시스템 및 그 방법
KR20130067842A (ko) * 2011-12-14 2013-06-25 한국전자통신연구원 영상 기반의 객체 정보 검출 방법
JP2016115214A (ja) * 2014-12-16 2016-06-23 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
KR20170140954A (ko) 2016-06-14 2017-12-22 금오공과대학교 산학협력단 감시 카메라 장치 및 감시 카메라 시스템

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040053257A (ko) * 2001-11-02 2004-06-23 사르노프 코포레이션 몰입형 감시를 제공하기 위한 방법 및 장치
KR100968024B1 (ko) 2008-06-20 2010-07-07 중앙대학교 산학협력단 감시 시스템 네트워크를 이용한 객체의 이동 경로 추적방법 및 시스템
KR100964726B1 (ko) 2008-07-14 2010-06-21 한국산업기술대학교산학협력단 영상 카메라 시스템에서 이동 물체 특성을 이용한 이동물체 추적 방법
KR101248054B1 (ko) 2011-05-04 2013-03-26 삼성테크윈 주식회사 물체의 이동 경로를 추적하는 물체 추적 시스템 및 그 방법
KR20130067842A (ko) * 2011-12-14 2013-06-25 한국전자통신연구원 영상 기반의 객체 정보 검출 방법
JP2016115214A (ja) * 2014-12-16 2016-06-23 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
KR20170140954A (ko) 2016-06-14 2017-12-22 금오공과대학교 산학협력단 감시 카메라 장치 및 감시 카메라 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197754A (zh) * 2023-10-19 2023-12-08 航天正通汇智(北京)科技股份有限公司 一种基于超清宽幅视频的安全监测方法
CN117197754B (zh) * 2023-10-19 2024-04-30 航天正通汇智(北京)科技股份有限公司 一种基于超清宽幅视频的安全监测方法

Similar Documents

Publication Publication Date Title
KR102152318B1 (ko) 객체의 이동경로를 추적할 수 있는 추적시스템
JP6055823B2 (ja) 監視カメラ制御装置及び映像監視システム
US7522186B2 (en) Method and apparatus for providing immersive surveillance
KR101530255B1 (ko) 객체 자동 추적 장치가 구비된 cctv 시스템
US20150178571A1 (en) Methods, devices and systems for detecting objects in a video
JP6403687B2 (ja) 監視システム
CN107710280B (zh) 对象可视化方法
JP2011505610A (ja) 画像センサデータに距離センサデータをマッピングする方法及び装置
KR101781358B1 (ko) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법
CN111046725B (zh) 一种基于监控视频的人脸识别和点云融合的空间定位方法
US9576335B2 (en) Method, device, and computer program for reducing the resolution of an input image
KR101645959B1 (ko) 복수의 오버헤드 카메라와 사이트 맵에 기반한 객체 추적 장치 및 그 방법
KR20140090022A (ko) 3차원 전자지도상에 촬영영상을 표시하는 방법 및 장치
KR101073432B1 (ko) 3차원 공간정보를 통합한 도시 관리 시스템 구축장치 및 방법
KR102152319B1 (ko) 3d 공간상에서 객체의 위치와 크기를 계산하는 방법 및 이를 이용한 영상관제시스템
CN112073640B (zh) 全景信息采集位姿获取方法及装置、系统
JPH11339139A (ja) 監視装置
JP4446114B2 (ja) 画像撮影装置
KR101036107B1 (ko) 고유식별 정보를 이용한 증강 현실 구현시스템
KR102474697B1 (ko) 촬상 장치 및 영상 처리 방법
WO2022022809A1 (en) Masking device
JP2017028688A (ja) 画像管理装置、画像管理方法及びプログラム
CN112862976B (zh) 一种数据处理方法、装置及电子设备
WO2023276480A1 (ja) 撮影システム、撮影方法及びプログラム
JP5960470B2 (ja) 画像監視装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant