KR102046043B1 - 영상의 3차원 정보를 이용한 감시 장치 및 시스템, 그리고 이를 이용한 방법 - Google Patents

영상의 3차원 정보를 이용한 감시 장치 및 시스템, 그리고 이를 이용한 방법 Download PDF

Info

Publication number
KR102046043B1
KR102046043B1 KR1020130099097A KR20130099097A KR102046043B1 KR 102046043 B1 KR102046043 B1 KR 102046043B1 KR 1020130099097 A KR1020130099097 A KR 1020130099097A KR 20130099097 A KR20130099097 A KR 20130099097A KR 102046043 B1 KR102046043 B1 KR 102046043B1
Authority
KR
South Korea
Prior art keywords
information
image
ptz camera
dimensional
unit
Prior art date
Application number
KR1020130099097A
Other languages
English (en)
Other versions
KR20150021752A (ko
Inventor
김창수
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020130099097A priority Critical patent/KR102046043B1/ko
Priority to US14/029,074 priority patent/US9898829B2/en
Priority to CN201310426387.2A priority patent/CN103686131B/zh
Publication of KR20150021752A publication Critical patent/KR20150021752A/ko
Application granted granted Critical
Publication of KR102046043B1 publication Critical patent/KR102046043B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

영상의 3차원 정보를 이용한 감시 장치 및 시스템, 그리고 이를 이용한 방법이 제공된다. 본 발명의 일 실시예에 따른 영상의 3차원 정보를 이용한 감시 장치는, PTZ 카메라에 의해 촬상된 2D 영상을 획득하는 영상 획득부; 상기 PTZ 카메라의 팬/틸트(Pan/Tilt) 각을 기초로 객체의 2차원 좌표 정보를 추출하며, 상기 PTZ 카메라의 줌(Zoom) 배율을 기초로 상기 PTZ 카메라와 상기 객체 사이의 거리 정보를 추출하는 정보 추출부; 상기 영상 획득부에 의해 획득되는 2D 영상의 현재 프레임과 이전 프레임을 비교하여 상기 2차원 좌표 정보와 상기 거리 정보의 변화량을 연산하는 연산부; 및 상기 2차원 좌표 정보 및 거리 정보의 변화량을 기초로 상기 PTZ 카메라를 제어하여 상기 객체의 위치를 추적하는 위치 추적부를 포함한다.

Description

영상의 3차원 정보를 이용한 감시 장치 및 시스템, 그리고 이를 이용한 방법{Monitoring apparatus and system using 3 dimensional information of images, and method thereof}
본 발명은 영상의 3차원 정보를 이용한 감시 장치 및 시스템, 그리고 이를 이용한 방법에 대한 것으로, 더욱 상세하게는 PTZ(Pan Tilt Zoom) 카메라를 이용하여 팬/틸트(Pan/Tilt) 각에 따른 객체의 2차원 좌표와 줌(Zoom) 배율에 따른 객체와 카메라 사이의 거리 정보인 영상의 3차원 정보를 취득하고, 객체의 이동에 따른상기 3차원 정보의 변화량을 계산하여 움직이는 피사체를 지속적으로 감시하면서 추적할 수 있는 영상의 3차원 정보를 이용한 감시 장치 및 시스템, 그리고 이를 이용한 방법에 대한 것이다.
입체 영상인 3D 화면을 취득하기 위한 일반적인 방법은 좌우 영상을 캡처하는데 카메라 2대가 필요하며, 그 각도 차에 따른 각각의 2장의 다른 영상을 합성하여 최종적인 3D 화면을 완성한다.
그리고, 움직이는 사물(e.g., 시청자)을 추적함에 있어서 2D 화면에서 영상 변화량을 계산하여 피 추적체의 위치를 파악하여 그 위치로 PTZ 카메라의 초점을 이동한다. 예를 들어, 촬영된 영상 프레임을 수신하고 수신한 영상 프레임을 이용하여 시청자의 위치를 탐지하고, 탐지한 시청자의 위치 및 이전에 탐지한 시청자의 위치들 중 적어도 하나를 이용하여 시청자의 이동 속도를 산출한다. 그리고, 탐지한 시청자의 위치 및 산출한 이동 속도를 이용하여 사전에 설정된 시간이 경과한 때의 시청자 위치를 추정하고, 추정한 시청자 위치를 기초로 입체영상 변화량을 산출한다. 그런 후에, 산출된 입체영상 변화량을 기초로 입체영상을 디스플레이한다.
위와 같이 종래의 기술은 입체영상 디스플레이를 가지고 있는 환경에서 시청자의 위치 등을 산출하여 그 영상을 디스플레이 하는데 이용하는데 초점을 두고 있고, 입체 영상을 위한 카메라 2대를 운영함에 있어서 PTZ(Pan Tilt Zoom) 기능이 없기 때문에, 보다 자유로운 입체 영상의 구현이 어려운 점이 있다.
구체적으로, 실용신안등록 20-0350161에는 접근 물체의 움직임을 감지하여 접근을 막는 보안 기능을 제공하는 입체영상보안콘트롤장치가 개시되어 있다. 이하, 도 1을 참조하여 살펴보도록 한다.
도 1은 상기 실용신안등록 20-0350161에 개시된 종래의 입체영상보안콘트롤장치의 구성도이다.
도 1을 참조하면, 입체영상보안콘트롤장치(10)가 통신모듈(70, 80)을 이용하여 보안시설의 여러 장소에 입체영상카메라(90)들과 구동모터(100)가 연결된 보안장치(110)들과 스피커(120)들과 연결하여 자동으로 보안관리하는 구성이 개시되어 있다. 여기에서, 통신모듈(70, 80)의 경우 각 인터페이스가 전용화 되어 있기 때문에 보편적인 인터페이스로 연결할 수 없다는 문제점을 안고 있다. 또한, 전용의 입체영상카메라(90)를 설치해야 하며 전방의 피사체를 지속적으로 추적할 수 있는 PTZ 카메라가 아니기 때문에 넓은 장소에서 전방위 사물을 추적할 수 없는 문제점이 있다.
그리고, 종래의 물체 추적장치의 이론적인 알고리즘은 이전화면과 현재화면의 영상차이를 2D 상태(정지화상)에서 계산하여 움직이는 사물을 찾아내는 방식이다. 예를 들어, 이전 이미지와 현재 이미지의 변화를 검출하여 변화량을 계산하고, 추적대상이 되는 사물의 팬(pan) 좌표 및 틸트(tilt) 좌표를 갱신함으로써, 움직이는 사물을 지속적으로 촬영하게 된다. 이러한 방식은 해당 물체가 다른 사물의 뒷편에 가리게 되거나, 다른 사물과 교차하여 지날 때 놓치는 경우가 아주 많다. 즉, 자동 물체 추적 성공률이 매우 떨어지는 환경에 놓이기 되면 추적 중인 물체를 놓치게 된다.
한국공개특허 10-2011-0050843호
본 발명은 상기 문제점을 해결하기 위한 것으로, PTZ(Pan Tilt Zoom) 카메라의 PTZ 기능을 모두 활용하여 피사체의 거리/높이 정보를 환산하여 영상의 3차원 정보를 획득하고, 상기 3차원 정보를 기초로 움직이는 피사체의 좌표를 보다 정확히 습득할 수 있으며, 이를 이용하여 보다 정확하게 움직이는 물체를 감시 추적할 수 있는영상의 3차원 정보를 이용한 감시 장치 및 시스템, 그리고 이를 이용한 방법을 제공하는 것이다.
또한, 네트워크로 연동된 PTZ(Pan Tilt Zoom) 카메라를 이용하여 3D 영상을 취득하고, 다른 카메라와 네트워크를 통해 공유하면서 움직이는 피사체를 전방위 감시하면서 추적할 수 있는 영상의 3차원 정보를 이용한 감시 장치 및 시스템, 그리고 이를 이용한 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위한 본 발명의 일 실시예에 따른 영상의 3차원 정보를 이용한 감시 장치는, PTZ 카메라에 의해 촬상된 2D 영상을 획득하는 영상 획득부; 상기 PTZ 카메라의 팬/틸트(Pan/Tilt) 각을 기초로 객체의 2차원 좌표 정보를 추출하며, 상기 PTZ 카메라의 줌(Zoom) 배율을 기초로 상기 PTZ 카메라와 상기 객체 사이의 거리 정보를 추출하는 정보 추출부; 상기 영상 획득부에 의해 획득되는 2D 영상의 현재 프레임과 이전 프레임을 비교하여 상기 2차원 좌표 정보와 상기 거리 정보의 변화량을 연산하는 연산부; 및 상기 2차원 좌표 정보 및 거리 정보의 변화량을 기초로 상기 PTZ 카메라를 제어하여 상기 객체의 위치를 추적하는 위치 추적부를 포함한다.
상기 과제를 달성하기 위한 본 발명의 일 실시예에 따른 영상의 3차원 정보를 이용한 감시 시스템은, 복수의 PTZ 카메라를 연동시켜 영상의 3차원 정보를 획득하여 객체를 추적하는 영상의 3차원 정보를 이용한 감시 시스템에 있어서, 상기 각각의 PTZ 카메라는, 네트워크를 통해 다른 PTZ 카메라와 연결되는 인터페이스부; 객체를 촬상하는 촬상부; 상기 촬상부에 의해 촬상된 2D 영상을 상기 네트워크를 통해 전송된 다른 PTZ 카메라의 2D 영상과 합성하여 3D 영상으로 변환하는 영상 변환부; 상기 PTZ 카메라의 팬/틸트(Pan/Tilt) 각을 기초로 객체의 2차원 좌표 정보를 추출하며, 상기 3D 영상으로부터 객체의 높이 정보를 추출하는 정보 추출부; 상기 3D 영상의 현재 프레임과 이전 프레임을 비교하여 상기 2차원 좌표 정보와 상기 높이 정보의 변화량을 연산하는 연산부; 및 상기 2차원 좌표 정보 및 높이 정보의 변화량을 기초로 상기 PTZ 카메라를 제어하여 상기 객체의 위치를 추적하는 위치 추적부를 포함한다.
상기 과제를 달성하기 위한 본 발명의 일 실시예에 따른 영상의 3차원 정보를 이용한 감시 방법은, PTZ 카메라로 촬영하여 2D 영상을 획득하는 단계; 상기 PTZ 카메라의 팬/틸트(Pan/Tilt) 각을 기초로 객체의 2차원 좌표 정보를 추출하며, 상기 PTZ 카메라의 줌(Zoom) 배율을 기초로 상기 PTZ 카메라와 상기 객체 사이의 거리 정보를 추출하는 단계; 상기 2D 영상의 현재 프레임과 이전 프레임을 비교하여 상기 2차원 좌표 정보와 상기 거리 정보의 변화량을 연산하는 단계; 상기 2차원 좌표 정보 및 거리 정보의 변화량을 기초로 상기 PTZ 카메라를 제어하는 단계; 및 상기 객체의 위치를 추적하는 단계를 포함한다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명에 따르면, 별도의 이동형 고가 3D 카메라를 설치하지 않고, 고정형 PTZ 카메라를 이용함으로서 비용을 절감할 수 있다.
또한, 범죄식별의 증거자료 활용 시 기존 2D 화면에서 놓칠 수 있는 거리정보 및 겹침 물체를 식별하여 복수개의 물체로 구분해 낼 수 있으며, 자동추적 장치기능이 있는 PTZ 카메라에서는 이 방법으로 끊김 없이 성공률이 높은 사물추적이 가능하다.
그리고, IP(Internet Protocol)을 사용하는 복수개의 네트워크 PTZ 카메라를 이용하여 입체 영상을 취득하여 기존의 물체 추적장치의 성능을 획기적으로 개선시킬 수 있다.
그리고, 복수개의 영상입력 장치를 이용하여 취득한 입체 영상에서 계산되는 사물의 높이정보까지 가산하여 물체를 식별할 수 있기 때문에 자동 추적장치의 성능을 극대화 할 수 있으며, 연동시키는데 필요한 방식이 IP 를 활용하기 때문에 전용의 통신모듈을 구축할 필요가 없다는 장점이 있다.
변경된 입체 영상에서 사물을 추적하길 원할 경우에는 해당 사물의 높낮이 정보를 가지게 되기 때문에, 기존의 2D 방식의 화면 변화량 측정방법을 토대로 한 자동 사물 추적장치보다 탁월한 성능을 발휘할 수 있다.
도 1은 종래의 입체영상보안콘트롤장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 영상의 3차원 정보를 이용한 감시 장치의 구성도이다.
도 3은 PTZ 카메라의 초점거리에 따른 PTZ 카메라와 객체 사이의 거리 관계를 도시한 도면이다.
도 4은 본 발명의 일 실시예에 따른 영상의 3차원 정보를 이용한 감시 시스템의 구성도이다.
도 5는 본 발명의 일 실시예에 따른 영상의 3차원 정보를 이용한 감시 방법의 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 본 발명에 대하여 첨부된 도면에 따라 보다 상세히 설명한다.
도 2는 본 발명의 일 실시예에 따른 영상의 3차원 정보를 이용한 감시 장치의 구성도이다. 또한, 도 3은 PTZ 카메라의 초점거리에 따른 PTZ 카메라와 객체 사이의 거리 관계를 도시한 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 영상의 3차원 정보를 이용한 감시 장치(200)는, PTZ 카메라(100)로부터 획득할 수 있는 팬/틸트(Pan/Tilt) 각 및 줌(Zoom) 배율을 기초로 객체의 3차원 정보를 추출하고, 상기 3차원 정보의 변화량을 이용하여 움직이는 객체를 추적하는 역할을 한다. 또한, 본 발명의 일 실시예에 따른 영상의 3차원 정보를 이용한 감시 장치(200)는, 복수의 PTZ 카메라(100)로부터 촬상된 영상을 획득하여 이를 가공하여 3차원 입체 영상으로 변환하고, 상기 3차원 입체 영상을 이용하여 움직이는 객체를 추적하는 역할을 한다. 그리고, 영상의 3차원 정보를 이용한 감시 장치(200)가 획득한 정보, 데이터 및 영상의 3차원 정보를 이용한 감시 장치(200)에서 처리된 정보, 데이터는 데이터 베이스(300)에 저장된다. 여기에서, 3차원 정보는 객체의 위치를 입체 공간으로 나타낼 수 있는 세 가지의 인자를 의미한다.
영상의 3차원 정보를 이용한 감시 장치(200)는, 영상 획득부(220), 정보 추출부(240), 연산부(250) 및 위치 추적부(260)를 포함한다. 그리고, 정보 추출부(240)인터페이스부(210) 및 영상 변환부(230)를 더 포함할 수 있다.
인터페이스부(210)는 복수의 PTZ 카메라(100)를 연동시키는 역할을 한다. 여기에서, 인터페이스부(210)는 네트워크를 이용하여 복수의 PTZ 카메라(100)를 연동시키며, 구체적으로 IP(Internet Protocol)을 이용하여 복수의 PTZ 카메라(100)를 연동시킬 수 있다. 이에 따라, 별도의 전용 통신모듈이나 방식이 필요하지 않아, 종래기술의 전용화 설계로 인한 시스템 내부의 연동만을 국한해서 설계되어 유연한 인터페이스 설계가 어려우며 확장성이 떨어진다는 단점을 극복할 수 있다.
특히, 복수의 PTZ 카메라(100)는 특정 위치에 고정되어 배치된다. 즉, PTZ 카메라(100)는 복수개(100-1, 100-2, ... , 100-n)가 서로 바라보는 상태로 설치됨으로서 사각지대를 최소화 할 수 있으며, 단순히 현재 영상과 이전 영상의 변화량을 계산하여 해당 위치를 찾는 방식보다 정확도를 훨씬 높일 수 있는 장점이 있다. 이때, PTZ 카메라(100)로부터 팬 각도(Pan angle), 틸트 각도(Tilt angle), 줌 배율(Zoom scale), 초점 거리(focus length) 등의 데이터를 인터페이스부(210)를 통해 획득할 수 있다. 일반적으로 PTZ 카메라(100)의 경우, 촬영된 영상을 저장한다. 그러므로, 저장 공간으로 일정 주기로 들어오는 프레임에 이 프레임의 카메라 파라미터(즉, 팬 각도, 틸트 각도, 줌 배율, 및 초점 거리 등)를 함께 저장할 수도 있다.
영상 획득부(220)는 인터페이스부(210)를 통해 적어도 하나의 PTZ 카메라(100)에 의해 촬상된 2D 영상을 획득한다. 또한, 영상 획득부(220)는 인터페이스부(210)를 통해 2D 영상과 함께, 상기 2D 영상에 관련된 PTZ 카메라(100)의 파라미터 값들을 획득할 수 있다. PTZ 카메라(100)의 경우, 줌인/아웃 및 팬/틸트 운동을 하게 되므로, 카메라의 3차원 움직임에 해당하는 카메라 파라미터를 얻을 수 있다. 특히, 특정 장소에 고정되어 상하/좌우(Pan/Tilt)의 동작이 가능한 감시용의 PTZ 카메라(100)는 카메라 파라미터를 실시간으로 알 수 있어 더욱 효과적이다. 그리고, PTZ 카메라(100)는 고정된 위치에서 영상을 획득하게 되어, 영상의 입력(화면 전환 등)이 불규칙적으로 들어오지 않는 장점이 있다. 획득된 영상은 데이터 전송이 용이하도록 영상을 압축한 압축 포맷 형태로 변환할 수 있다. 압축 포맷 형태의 이미지 데이터는 MPEG(Moving Picture Experts Group)-1 또는 MPEG-4 등의 다양한 포맷을 가질 수 있다. 영상 획득부(220)에 의해 획득된 2D 영상은 영상 변환부(230) 및/또는 정보 추출부(240)로 전송된다. 이때, 영상 변환부(230)에는 복수의 PTZ 카메라(100)에 의해 촬상된 각각의 2D 영상이 전송된다. 또한, 정보 추출부(240)에는 PTZ 카메라(100)에 의해 촬상된 2D 영상과 함께, PTZ 카메라(100)의 팬 각도(Pan angle), 틸트 각도(Tilt angle), 줌 배율(Zoom scale) 등의 카메라 파라미터가 전송될 수 있다. 일례로, 카메라 파라미터는 팬 각도(Pan angle), 틸트 각도(Tilt angle), 줌 배율(Zoom scale), 초점 거리(focus length)를 한 세트(set)로 할 수 있다. 여기에서, 카메라 파라미터는 PTZ 카메라(100)의 3차원 움직임, 줌-인/줌-아웃(Zoom-In/Zoom-Out), 팬(Pan), 틸트(Tilt)와 같은 3차원 움직임에 의해 획득된다.
영상 변환부(230)는 영상 획득부(220)에 의해 획득된 각각의 2D 영상 중에서 적어도 두 개의 영상을 합성하여 3D 영상으로 변환한다. 예를 들어, 두 개의 영상을 합성하는 경우, 각각의 카메라에 의한 2D 영상에서의 피사체의 평면 좌표 정보, 즉 2차원 좌표 정보를 획득할 수 있고, 각 카메라 사이의 거리를 획득할 수 있다. 이를 이용하여 IP 를 통해 상호교환된 2D 영상정보는 입체 영상인, 3D 영상으로 변경될 수 있다.
특히, 특정 장소에 고정되어 상하/좌우(Pan/Tilt)의 동작이 가능한 감시용 PTZ 카메라(100)는 전술한 카메라 파라미터를 실시간으로 알 수 있어 더욱 효과적이다. 그리고, PTZ 카메라(100)는 고정된 위치에서 영상을 획득하게 되어, 영상의 입력(화면 전환 등)이 불규칙적으로 들어오지 않는 장점이 있다. PTZ 카메라(100)의 3차원 움직임, 줌-인/줌-아웃(Zoom-In/Zoom-Out), 팬(Pan), 틸트(Tilt)와 같은 3차원 움직임에 의해 팬 각도(Pan angle), 틸트 각도(Tilt angle), 줌 배율(Zoom scale), 초점 거리(focus length) 등의 카메라 파라미터를 획득하게 된다. 이러한 3차원 움직임에 의해 영상의 3차원 정보를 얻을 수 있다. 그리고, 카메라의 움직임 각도(Pan/ Tilt angle)와 줌 배율과 초점 거리를 이용하여 두 2D 영상을 합성한 3D 영상을 얻을 수 있다.
정보 추출부(240)는 2D 영상으로부터 객체의 위치 정보인 2차원 좌표 정보를 추출하며, PTZ 카메라(100)와 객체 사이의 거리 정보를 추출하고, 3D 영상으로부터 객체의 높이 정보를 추출한다. 여기에서, 2차원 좌표 정보와 거리 정보는 각 PTZ 카메라(100)로부터 획득하는 2D 영상의 프레임 및 카메라 파라미터(팬/틸트/줌 파리미터 등)를 기초로 추출할 수 있다. 구체적으로, 정보 추출부(240)는 PTZ 카메라(100)의 팬/틸트(Pan/Tilt) 각을 기초로 객체의 2차원 좌표 정보를 추출할 수 있고, PTZ 카메라(100)의 줌(Zoom) 배율을 기초로 거리 정보를 추출할 수 있다. 그리고, 정보 추출부(240)는 적어도 두 개의 2D 영상을 합성하여 획득한 3D 영상에서 객체의 높이 정보를 추출할 수 있다. 이러한 2차원 좌표 정보와 거리 정보가 영상의 3차원 정보를 구성하거나, 또는 2차원 좌표 정보와 높이 정보가 영상의 3차원 정보를 구성하게 된다. 이러한 객체의 3차원 정보(이하, 2차원 좌표 정보와 거리 정보를 포함하는 제1 3차원 정보, 2차원 좌표 정보와 높이 정보를 포함하는 제2 3차원 정보)는 데이터 베이스(300)에 저장된다. 이를 통해, 이전화면과 현재화면의 영상차이를 2D 상태(정지화상)에서 계산하여 움직이는 사물을 찾아내는 방식에서 해당 객체가 다른 사물의 뒷편에 가리게 되거나, 다른 사물과 교차하여 지날 때 놓치는 경우를 방지할 수 있다. 이때, 외부의 데이터 베이스(300)에 객체의 3차원 정보를 저장하기 전에 영상의 3차원 정보를 이용한 감시 장치(200)의 임시 버퍼(미도시)에 담아 두어 객체의 위치 추적을 위한 정보로 바로 활용할 수도 있다.
또한, 상술한 바와 같이, 정보 추출부(240)는 영상 내 객체와 PTZ 카메라(100) 사이의 거리 정보를 줌(Zoom) 배율을 기초로 추출할 수 있는데, 이렇게 거리 정보 추출이 가능한 이유는 PTZ 카메라(100)의 특성상 줌(Zoom) 기능과 줌 배율에 따른 초점위치 파악이 가능하기 때문이다. 즉, 정보 추출부(240)는 줌 배율(Zoom scale)에 따른 초점 거리(focus length)를 기초로 객체와 PTZ 카메라(100) 사이의 거리 정보가 추출된다. 이러한 경우, 입체 영상카메라를 사용하지 않고, PTZ 카메라(100)와 피사체 사이의 거리 정보를 화면에 표시하거나 그 정보를 가공하여 객체를 끝까지 놓치지 않고 추적할 수 있다.
구체적으로, 도 3을 참조하면, PTZ 카메라(100)로 객체를 촬영할 경우, 피사체(즉, 촬영 대상이 되는 객체)와 PTZ 카메라(100) 렌즈 사이의 거리를 외부거리(Distance of Outside)를 Do, PTZ 카메라(100) 렌즈와 PTZ 카메라(100) 이미지 센서 사이의 거리를 내부거리(Distance of Inside)를 Di, 초점 거리를 f라 하면, 다음의 수학식 1의 관계가 성립한다. 여기에서, PTZ 카메라(100) 렌즈 사이의 거리를 나타내는 외부거리(Distance of Outside) Do가 거리 정보가 된다.
Figure 112013075934815-pat00001
이때, 내부거리 Di는 PTZ 카메라(100)에서 고정된 값이고, 초점 거리 f는 PTZ 카메라(100)의 줌 배율에 따라 결정되는 값이므로, 외부거리 Do는 다음의 수학식 2에 의해 구할 수 있다.
Figure 112013075934815-pat00002
그러므로, 정보 추출부(240)는 적어도 팬 각도(pan angle), 틸트 각도(tilt angle), 줌 배율(zoom scale), 및 초점 거리(focus length)를 포함하는 카메라 파라미터를 2D 영상과 함께 영상 획득부(220)로부터 받아, 팬/틸트(Pan/Tilt) 각에 의해 얻어지는 2차원 좌표 정보와 줌(Zoom) 배율에 의해 결정되는 초점 거리(focus length)에 의해 얻어지는 거리 정보를 추출한다. 또한, 정보 추출부(240)는 팬/틸트(Pan/Tilt) 각에 의해 얻어지는 2차원 좌표 정보와 함께, 복수의 PTZ 카메라(100)에서 촬상되어 영상 획득부(220)에 의해 획득된 복수의 2D 영상을 영상 변환부(230)에서 합성한 3D 영상으로부터 높이 정보를 추출한다.
연산부(250)는 영상 획득부(220)에 의해 획득되는 2D 영상의 현재 프레임과 이전 프레임을 비교하여, 2차원 좌표 정보와 거리 정보의 변화량을 연산한다. 즉, 연산부(250)는 영상 획득부(220)에 의해 획득되는 2D 영상의 현재 프레임과 이전 프레임에서 각각 얻을 수 있는 영상의 제1 3차원 정보(2차원 좌표 정보 및 거리 정보)를 비교하여 제1 3차원 정보의 변화량(즉, 2차원 좌표 정보 및 거리 정보의 변화량)을 계산할 수 있다.
또한, 연산부(250)는 3D 영상의 현재 프레임과 이전 프레임을 비교하여 2차원 좌표 정보와 높이 정보의 변화량을 연산한다. 즉, 연산부(250)는 영상 변환부(230)에 의해 획득되는 3D 영상의 현재 프레임과 이전 프레임에서 각각 얻을 수 있는 영상의 제2 3차원 정보(2차원 좌표 정보 및 높이 정보)를 비교하여 제2 3차원 정보의 변화량(즉, 2차원 좌표 정보 및 높이 정보의 변화량)을 계산할 수 있다.위치 추적부(260)는 2차원 좌표 정보 및 거리 정보의 변화량(제1 3차원 정보의 변화량)을 기초로 PTZ 카메라(100)를 제어하여 객체의 위치를 추적할 수 있다. 즉, 2차원 좌표 정보 및 거리 정보의 변화량에 따라 PTZ 카메라(100)의 움직임 각도(Pan/ Tilt angle)와 줌 배율을 갱신하여 객체를 지속적으로 촬영할 수 있다. 그리하여, 줌 배율에 따라 초점 거리가 갱신되더라도 거리 정보가 자동적으로 업데이트되어 객체의 추적 정확도가 향상된다.
또한, 위치 추적부(260)는 객체의 2차원 좌표 정보 및 높이 정보의 변화량을 기초로 PTZ 카메라(100)를 제어하여 객체의 위치를 추적할 수 있다. 적어도 2대의 연동형 PTZ 카메라(100)를 이용하여 입체 영상을 취득함으로서 영상 변화량을 계산하는 방식에 사물의 높이 정보를 함께 취득할 수 있기 때문에 보다 정확한 물체 추적이 가능하게 된다. 이때, 서로 바라보는 상태의 연동형 PTZ 카메라(100)를 설치함으로서 사각지대를 최소화 할 수 있으며, 취득한 입체 영상으로 이전 영상의 변화량을 계산하여 해당 위치를 찾는 방식보다 정확도를 훨씬 높일 수 있는 장점이 있다. 즉, 복수개의 영상입력 장치를 이용하여 취득한 입체 영상에서 계산되는 사물의 높이 정보까지 가산하여 물체를 식별할 수 있기 때문에 자동 추적장치의 성능을 극대화 할 수 있다.
전술한 영상의 3차원 정보를 이용한 감시 장치(200)는 PTZ 카메라(100)와 물리적으로 분리되어 별도의 모듈로 구성된다. 물론, 영상의 3차원 정보를 이용한 감시 장치(200)의 각 구성요소가 PTZ 카메라(100) 내부에 구성될 수도 있음은 당업자에게 자명하다 할 것이다. 이하, 카메라 내부에서 3D 영상을 이용한 감시 프로세스가 실행되는 실시예를 살펴 보도록 한다.
도 4는 본 발명의 일 실시예에 따른 영상의 3차원 정보를 이용한 감시 시스템의 구성도이다.
도 4를 참조하면, 영상의 3차원 정보를 이용한 감시 시스템(50)은 복수의 PTZ 카메라(500)를 연동시켜 영상의 3차원 정보를 획득하여 객체를 추적한다. 여기에서, 각각의 PTZ 카메라(500)는 네트워크(55)를 통해 다른 PTZ 카메라(500)와 정보 및 데이터를 송수신하게 된다. 전술한 바와 같이, 네트워크(55)는 IP(Internet Protocol)을 이용할 수 있다. 즉, PTZ 카메라(500)는 IP 네트워크 카메라일 수 있다.
각각의 PTZ 카메라(500)는 인터페이스부(510), 촬상부(520), 영상 변환부(530), 정보 추출부(540), 연산부(550) 및 위치 추적부(560)를 포함한다. 그리고, 각각의 PTZ 카메라(500)는 정보 추출부(540)저장부(570)를 더 포함할 수 있다.
인터페이스부(510)는 네트워크(55)를 통해 각 PTZ 카메라(500)를 다른 PTZ 카메라(500)와 연결시키는 역할을 수행한다. 여기에서, 별도의 전용 통신모듈이나 방식이 필요하지 않아, 종래기술의 전용화 설계로 인한 시스템 내부의 연동만을 국한해서 설계되어 유연한 인터페이스 설계가 어려우며 확장성이 떨어진다는 단점을 극복할 수 있음은 전술한 바와 같다.
촬상부(520)는 객체를 촬상하여 2D 영상을 획득한다. 소정 영역을 촬상하여 영상을 획득한다. 여기에서, CCD(Charge Coupled Device) 이미지 센서 또는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서가 촬상 소자로 사용될 수 있다. 특히, 촬상부(520)를 구성하는 카메라 모듈은 야간에 정확한 상황을 감지할 수 있도록 야간 촬영이 가능한 카메라 모듈일 수 있다. 즉, 적외선을 감지하는 적외선 센서를 포함하는 카메라 모듈일 수 있다. 상기 적외선 센서는 근적외선을 감지하는 근적외선 센서인 것이 바람직하나, 이에만 한정되지 아니하며, 원적외선을 감지하는 원적외선 센서일 수도 있음은 물론이다. 그리고, 획득된 영상은 데이터 전송이 용이하도록 영상을 압축한 압축 포맷 형태로 변환할 수 있다. 압축 포맷 형태의 이미지 데이터는 MPEG(Moving Picture Experts Group)-1 또는 MPEG-4 등의 다양한 포맷을 가질 수 있다. 촬상부(520)에 의해 촬영된 영상은 영상 변환부(530)로 전송된다.
영상 변환부(530)는 촬상부(520)에 의해 촬상된 2D 영상을 네트워크(55)를 통해 전송된 다른 PTZ 카메라(500)의 2D 영상과 합성하여 3D 영상으로 변환한다. 그리고, 복수개의 네트워크 PTZ 카메라(500)에서 취득한 2D 영상을 임의의 카메라(500)의 영상 변환부(530)에서 입체영상으로 가공한 후에 피사체의 거리, 높이 정보를 상대방 카메라에 다시 전송할 수도 있다. 이를 통해, 2D 화면의 변화량을 갖고서만 움직이는 객체의 위치추적을 하지 않고 입체영상을 이용함으로써 보다 높은 정확도를 기할 수 있다.
정보 추출부(540)는 PTZ 카메라의 팬/틸트(Pan/Tilt) 각을 기초로 객체의 2차원 좌표 정보를 추출하며, 상기 3D 영상으로부터 객체의 높이 정보를 추출한다. 또한, 정보 추출부(540)는 PTZ 카메라(500) 자체의 줌(zoom) 배율을 기초로 상기 PTZ 카메라(500)와 객체 사이의 거리 정보를 추출한다. 구체적으로, PTZ 카메라의 줌 배율에 따른 초점 거리가 결정되며, 전술한 수학식 2에 의해 PTZ 카메라(500)와 객체 사이의 거리 정보를 추출하게 된다.이러한 정보 추출부(540)의 구체적 기능은 전술한 영상의 3차원 정보를 이용한 감시 장치(200)의 정보 추출부(240)와 동일하므로 생략하도록 한다.
연산부(550)는 3D 영상의 현재 프레임과 이전 프레임을 비교하여 2차원 좌표 정보와 높이 정보의 변화량을 연산한다. 즉, 전술한 제2 3차원 정보의 변화량을 계산할 수 있다. 또한, 연산부(550)는 2D 영상의 현재 프레임과 이전 프레임을 비교하여, 2차원 좌표 정보와 거리 정보의 변화량을 연산한다. 즉, 전술한 제1 3차원 정보의 변화량을 계산할 수 있다. 이러한 연산부(550)의 구체적 기능은 전술한 영상의 3차원 정보를 이용한 감시 장치(200)의 연산부(250)와 동일하므로 생략하도록 한다.위치 추적부(560)는 정보 추출부(540)에 의해 추출되는 객체의 위치 정보, 높이 정보 및 거리 정보 중에서, 객체의 위치 정보와 함께 높이 정보 및 거리 정보 중 하나를 포함한 3차원 정보를 기초로 객체의 위치를 추적한다. 구체적으로, 위치 추적부(560)는 2차원 좌표 정보 및 높이 정보의 변화량(제2 3차원 정보의 변화량)을 기초로 PTZ 카메라(500)를 제어하여 객체의 위치를 추적하거나, 또는 2차원 좌표 정보 및 거리 정보의 변화량(제1 3차원 정보의 변화량)을 기초로 PTZ 카메라(500)를 제어하여 객체의 위치를 추적할 수 있다. 예를 들어, 동일한 공간에 여러 개의 PTZ 카메라(500)가 높이에 상관없이 설치되어 있으면서, 각 카메라(500)가 취득한 정보를 상대방 카메라(500)와 교환하면서 동시에 동일한 피사체를 추적하는 경우, 높이 정보 및 거리 정보 중 적어도 한 정보를 2차원 좌표 정보와 함께 이용하여 피사체인 객체의 위치를 3차원 좌표계에서 정확히 구할 수 있다.
저장부(570)는 정보 추출부(540)에 의해 추출되는 객체의 2차원 좌표 정보, 객체의 높이 정보 및 카메라(500)와 객체 사이의 거리 정보 등을 저장한다. 또한, 저장부(570)는 PTZ 카메라(500)의 3차원 움직임(예를 들어, 줌-인/줌-아웃(Zoom-In/Zoom-Out), 팬(Pan), 틸트(Tilt)와 같은 3차원 움직임)에 의해 팬 각도(Pan angle), 틸트 각도(Tilt angle), 줌 배율(Zoom scale), 초점 거리(focus length) 등의 카메라 파라미터를 저장할 수 있다. 여기에서, 저장부(570)가 PTZ 카메라(500)에 포함되는 구성요소일 수도 있고, 외부의 저장매체에 의해 대체될 수도 있음은 당업자에게 자명하다 할 것이다. 저장부(570)가 외부의 저장매체에 의해 대체되는 경우, 저장부(570)는 PTZ 카메라(500)에서 획득 및 처리되는 여러 정보를 임시 저장하는 버퍼일 수도 있다.
영상의 3차원 정보를 이용한 감시 시스템(50)은 복수의 PTZ 카메라(500)가 네트워크(55)를 통해 서로 연동되므로, 네트워크(55)를 통해, 팬 각도(Pan angle), 틸트 각도(Tilt angle), 줌 배율(Zoom scale), 초점 거리(focus length) 등의 카메라 파라미터와 함께, 영상 변환부(530)에 의해 변환된 3D 영상과 정보 추출부(540)에 의해 추출된 2차원 좌표 정보, 높이 정보 및 거리 정보를 다른 PTZ 카메라(500)로 전송할 수 있다. 구체적으로, 카메라의 초점거리 줌배율을 환산하여 피사체와 카메라와의 거리를 계산하고, 그 정보를 상대방 카메라와 실시간으로 교환하여 피사체를 추적할 수 있으며, 복수개의 네트워크 PTZ 카메라(500)에서 취득한 2D 영상을 특정카메라에서 입체영상으로 가공하여 피사체의 거리, 높이 정보를 상대방 카메라에 다시 전송하여 피사체를 추적할 수 있고, 동일한 공간에 여러 개의 PTZ 카메라(500)가 높낮이에 상관없이 설치되어 있으면서 각 카메라가 취득한 정보를 상대방 카메라와 교환하면서 동시에 동일한 피사체를 추적할 수 있다. 그리하여, 별도의 입체영상 카메라를 사용하지 않기 때문에 비용을 절감하게 되고, 보편적으로 설치되는 PTZ 카메라(500)를 이용하여 구성이 용이하며, IP 인터페이스(510)를 갖는 네트워크 PTZ 카메라(500)로 연결 및 운용이 용이하고, 2D 화면의 변화량을 갖고서만 위치추적을 하지 않고 입체영상을 이용함으로서 보다 높은 정확도를 가지게 된다.
도 5는 본 발명의 일 실시예에 따른 영상의 3차원 정보를 이용한 감시 방법의 순서도이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 영상의 3차원 정보를 이용한 감시 방법은, PTZ 카메라로 촬영하여 2D 영상을 획득하며(S10), 상기 PTZ 카메라의 팬/틸트(Pan/Tilt) 각을 기초로 객체의 2차원 좌표 정보를 추출하며, 상기 PTZ 카메라의 줌(Zoom) 배율을 기초로 상기 PTZ 카메라와 상기 객체 사이의 거리 정보를 추출하고(S20), 상기 2D 영상의 현재 프레임과 이전 프레임을 비교하여 상기 2차원 좌표 정보와 상기 거리 정보의 변화량을 연산한 후(S30), 상기 2차원 좌표 정보 및 거리 정보의 변화량을 기초로 상기 PTZ 카메라를 제어하여(S40), 객체의 위치를 추적한다(S50).
이를 통해, PTZ 카메라를 설치한 다음, PTZ 카메라 자체의 카메라 파라미터를 이용하여 객체의 3차원 정보를 추출한다. 이렇게 추출된 3차원 정보를 기초로 하여, 움직이는 피사체를 지속적으로 추적할 수 있도록 함에 따라 별도의 이동형 고가 3D 카메라를 설치하지 않고, 고정형 PTZ 카메라를 이용하여 비용을 절감할 수 있는 장점이 있다. 또한, 범죄식별의 증거자료 활용 시 기존 2D 화면에서 놓칠 수 있는 거리정보 및 겹침 물체를 식별하여 복수개의 물체로 구분해 낼 수 있으며, 자동추적 장치기능이 있는 PTZ 카메라에서는 이 방법으로 끊김 없이 성공률이 높은 사물추적이 가능할 것으로 기대된다.
한편, 본 발명의 일 실시예에 따른 영상의 3차원 정보를 이용한 감시 방법은 소프트웨어 및 하드웨어에 의해 하나의 모듈로 구현 가능하며, 전술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 롬(ROM), 플로피 디스크, 하드 디스크 등의 자기적 매체, CD, DVD 등의 광학적 매체 및 인터넷을 통한 전송과 같은 캐리어 웨이브와 같은 형태로 구현된다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네크워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: PTZ 카메라
200: 영상의 3차원 정보를 이용한 감시 장치
210: 인터페이스부 220: 영상 획득부
230: 영상 변환부 240: 정보 추출부
250: 연산부 260: 위치 추적부
300: 데이터 베이스
50: 영상의 3차원 정보를 이용한 감시 시스템
55: 네트워크
500: PTZ 카메라
510: 인터페이스부 520: 촬상부
530: 영상 변환부 540: 정보 추출부
550: 연산부 560: 위치 추적부
570: 저장부

Claims (13)

  1. PTZ 카메라에 의해 촬상된 2D 영상 및 상기 2D 영상에 관련된 상기 PTZ 카메라의 3차원 움직임에 대응되는 파라미터 값을 획득하는 영상 획득부;
    상기 파라미터 값을 이용하여 객체의 2차원 좌표 정보 및 상기 PTZ 카메라와 상기 객체 사이의 거리 정보를 추출하는 정보 추출부;
    상기 영상 획득부에 의해 획득되는 2D 영상의 현재 프레임과 이전 프레임 각각에 포함된 상기 파라미터 값을 비교하여 상기 2차원 좌표 정보의 변화량과 상기 거리 정보의 변화량을 연산하는 연산부; 및
    상기 2차원 좌표 정보의 변화량 및 거리 정보의 변화량을 반영하여 상기 PTZ 카메라의 팬(Pan) 각도, 틸트(Tilt) 각도 및 줌(Zoom) 배율을 갱신함으로써, 상기 객체의 위치를 추적하는 위치 추적부를 포함하되,
    상기 파라미터 값은 상기 PTZ 카메라의 팬 각도, 틸트 각도 및 줌 배율을 포함하고,
    상기 정보 추출부는, 상기 파라미터 값 중 팬 각도 및 틸트 각도를 기초로 객체의 2차원 좌표 정보를 추출하고, 줌 배율을 기초로 상기 PTZ 카메라와 상기 객체 사이의 거리 정보를 추출하는, 영상의 3차원 정보를 이용한 감시 장치.
  2. 제 1항에 있어서,
    상기 PTZ 카메라는 복수개가 특정 위치에 고정되어 배치되는, 영상의 3차원 정보를 이용한 감시 장치.
  3. 제 2항에 있어서,
    IP(Internet Protocol)을 이용하여 상기 복수의 PTZ 카메라를 연동시키는 인터페이스부를 더 포함하는, 영상의 3차원 정보를 이용한 감시 장치.
  4. 제 3항에 있어서,
    상기 영상 획득부에 의해 획득된 상기 복수의 PTZ 카메라의 각각에서 촬상된 2D 영상 중에서 적어도 두 개의 영상을 합성하여 3D 영상으로 변환하는 영상 변환부를 더 포함하는, 영상의 3차원 정보를 이용한 감시 장치.
  5. 제 4항에 있어서,
    상기 정보 추출부는 상기 3D 영상으로부터 상기 객체의 높이 정보를 추출하는, 영상의 3차원 정보를 이용한 감시 장치.
  6. 제 5항에 있어서,
    상기 연산부는 상기 3D 영상의 현재 프레임과 이전 프레임을 비교하여 상기 2차원 좌표 정보와 상기 높이 정보의 변화량을 연산하며,
    상기 위치 추적부는 상기 2차원 좌표 정보 및 높이 정보의 변화량을 기초로 상기 복수의 PTZ 카메라를 제어하여 상기 객체의 위치를 추적하는, 영상의 3차원 정보를 이용한 감시 장치.
  7. 제 1항에 있어서,
    상기 정보 추출부는 상기 PTZ 카메라의 줌 배율에 따른 초점 거리를 기초로 상기 거리 정보를 추출하는, 영상의 3차원 정보를 이용한 감시 장치.
  8. 복수의 PTZ 카메라를 연동시켜 영상의 3차원 정보를 획득하여 객체를 추적하는 영상의 3차원 정보를 이용한 감시 시스템에 있어서,
    상기 각각의 PTZ 카메라는,
    네트워크를 통해 다른 PTZ 카메라와 연결되는 인터페이스부;
    객체를 촬상하는 촬상부;
    상기 촬상부에 의해 촬상된 2D 영상을 상기 네트워크를 통해 전송된 다른 PTZ 카메라의 2D 영상과 합성하여 3D 영상으로 변환하는 영상 변환부;
    상기 PTZ 카메라의 팬/틸트(Pan/Tilt) 각을 기초로 객체의 2차원 좌표 정보를 추출하며, 상기 3D 영상으로부터 객체의 높이 정보를 추출하는 정보 추출부;
    상기 3D 영상의 현재 프레임과 이전 프레임 각각에 포함된 파라미터 값을 비교하여 상기 2차원 좌표 정보의 변화량과 상기 높이 정보의 변화량을 연산하는 연산부; 및
    상기 2차원 좌표 정보의 변화량 및 높이 정보의 변화량을 반영하여 상기 PTZ 카메라의 팬(Pan) 각도, 틸트(Tilt) 각도 및 줌(Zoom) 배율을 갱신함으로써 상기 객체의 위치를 추적하는 위치 추적부를 포함하되,
    상기 파라미터 값은, 상기 PTZ 카메라의 3차원 움직임에 대응되는 것으로서, 상기 PTZ 카메라의 팬 각도, 틸트 각도 및 줌 배율을 포함하는, 영상의 3차원 정보를 이용한 감시 시스템.
  9. 제 8항에 있어서,
    상기 정보 추출부는 상기 PTZ 카메라의 줌(zoom) 배율을 기초로 상기 PTZ 카메라와 상기 객체 사이의 거리 정보를 추출하는, 영상의 3차원 정보를 이용한 감시 시스템.
  10. 제 9항에 있어서,
    상기 정보 추출부는 상기 PTZ 카메라의 줌 배율에 따른 초점 거리를 기초로 상기 거리 정보를 추출하는, 영상의 3차원 정보를 이용한 감시 시스템.
  11. 제 9항에 있어서,
    상기 각각의 PTZ 카메라는 상기 2차원 좌표 정보, 높이 정보 및 거리 정보를 저장하는 저장부를 더 포함하는, 영상의 3차원 정보를 이용한 감시 시스템.
  12. 제 9항에 있어서,
    상기 각각의 PTZ 카메라는 상기 네트워크를 통해 상기 영상 변환부에 의해 변환된 3D 영상과 상기 정보 추출부에 의해 추출된 2차원 좌표 정보, 높이 정보 및 거리 정보를 다른 PTZ 카메라로 전송하는, 영상의 3차원 정보를 이용한 감시 시스템.
  13. PTZ 카메라로 촬영하여 2D 영상을 획득하고, 상기 2D 영상에 관련된 상기 PTZ 카메라의 3차원 움직임에 대응되는 파라미터 값을 획득하는 단계;
    상기 파라미터 값을 이용하여 객체의 2차원 좌표 정보 및 상기 PTZ 카메라와 상기 객체 사이의 거리 정보를 추출하는 단계;
    상기 2D 영상의 현재 프레임과 이전 프레임 각각에 포함된 상기 파라미터 값을 비교하여 상기 2차원 좌표 정보의 변화량과 상기 거리 정보의 변화량을 연산하는 단계;
    상기 2차원 좌표 정보의 변화량 및 거리 정보의 변화량을 반영하여 상기 PTZ 카메라의 팬(Pan) 각도, 틸트(Tilt) 각도 및 줌(Zoom) 배율을 갱신함으로써 상기 PTZ 카메라를 제어하는 단계; 및
    상기 객체의 위치를 추적하는 단계를 포함하되,
    상기 파라미터 값은 상기 PTZ 카메라의 팬 각도, 틸트 각도 및 줌 배율을 포함하고,
    상기 객체의 2차원 좌표 정보는 상기 PTZ 카메라의 팬 각도 및 틸트 각도를 기초로 추출되고,
    상기 PTZ 카메라와 상기 객체 사이의 거리 정보는 상기 PTZ 카메라의 줌 배율을 기초로 추출되는, 영상의 3차원 정보를 이용한 감시 방법.
KR1020130099097A 2012-09-18 2013-08-21 영상의 3차원 정보를 이용한 감시 장치 및 시스템, 그리고 이를 이용한 방법 KR102046043B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130099097A KR102046043B1 (ko) 2013-08-21 2013-08-21 영상의 3차원 정보를 이용한 감시 장치 및 시스템, 그리고 이를 이용한 방법
US14/029,074 US9898829B2 (en) 2012-09-18 2013-09-17 Monitoring apparatus and system using 3D information of images and monitoring method using the same
CN201310426387.2A CN103686131B (zh) 2012-09-18 2013-09-18 使用图像的3d信息的监控设备和系统以及监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130099097A KR102046043B1 (ko) 2013-08-21 2013-08-21 영상의 3차원 정보를 이용한 감시 장치 및 시스템, 그리고 이를 이용한 방법

Publications (2)

Publication Number Publication Date
KR20150021752A KR20150021752A (ko) 2015-03-03
KR102046043B1 true KR102046043B1 (ko) 2019-11-18

Family

ID=53019997

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130099097A KR102046043B1 (ko) 2012-09-18 2013-08-21 영상의 3차원 정보를 이용한 감시 장치 및 시스템, 그리고 이를 이용한 방법

Country Status (1)

Country Link
KR (1) KR102046043B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102143227B1 (ko) * 2020-03-30 2020-08-10 서범기 객체의 3차원 형상 정보 생성 방법 및 그 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101071352B1 (ko) * 2009-08-31 2011-10-07 주식회사 이미지넥스트 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법
KR101594048B1 (ko) 2009-11-09 2016-02-15 삼성전자주식회사 카메라들의 협력을 이용하여 3차원 이미지를 생성하는 방법 및 상기 방법을 위한 장치
KR101776702B1 (ko) * 2011-03-25 2017-09-08 한화테크윈 주식회사 3차원 영상을 생성하는 감시 카메라 및 그 방법
KR101290782B1 (ko) * 2011-12-15 2013-07-30 한국산업기술대학교산학협력단 지능적 다중 객체 추적 알고리즘 기반의 다중 ｐｔｚ 카메라 제어 시스템 및 방법

Also Published As

Publication number Publication date
KR20150021752A (ko) 2015-03-03

Similar Documents

Publication Publication Date Title
US9898829B2 (en) Monitoring apparatus and system using 3D information of images and monitoring method using the same
US9509900B2 (en) Camera control method, and camera control device for same
KR101695249B1 (ko) 감시 영상 표시 방법 및 시스템
JP4775474B2 (ja) 撮像装置、撮像制御方法、及びプログラム
JP2006333132A (ja) 撮像装置及び撮像方法、プログラム、プログラム記録媒体並びに撮像システム
CN1937766A (zh) 监视摄像机装置及监视摄像机系统
US8947781B2 (en) Monitoring system for generating 3-dimensional image and method of measuring distance by using the image
KR20120108747A (ko) 3차원 영상을 생성하는 감시 카메라 및 그 방법
CN109636763B (zh) 一种智能复眼监控系统
US20210377432A1 (en) Information processing apparatus, information processing method, program, and interchangeable lens
KR101096157B1 (ko) 듀얼 카메라를 이용한 실시간 감시장치
KR101977635B1 (ko) 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법 및 장치
JP5183152B2 (ja) 画像処理装置
KR101630290B1 (ko) 추적 경로 이미지 생성을 위한 촬영 방법 및 이를 이용한 촬영 장치
KR101718081B1 (ko) 손 제스처 인식용 초광각 카메라 시스템 및 그가 적용된 TVI(Transport Video Interface) 장치
KR101452342B1 (ko) 감시카메라 유닛 및 그 구동방법
JP2013093836A (ja) 撮像装置、画像処理装置およびその方法
KR20140036824A (ko) 3ｄ 영상을 이용한 감시 장치 및 시스템, 그리고 이를 이용한 방법
JPWO2017134770A1 (ja) 映像同期装置
KR102046043B1 (ko) 영상의 3차원 정보를 이용한 감시 장치 및 시스템, 그리고 이를 이용한 방법
KR102009988B1 (ko) 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법 및 그가 적용된 tvi 장치
JP2006261871A (ja) ハンズフリーカメラにおける画像処理装置
WO2011148746A1 (ja) 立体撮像装置および顔検出装置ならびにそれらの動作制御方法
JP2014096761A (ja) 画像処理装置、その制御方法、および制御プログラム
EP3624050B1 (en) Method and module for refocusing at least one plenoptic video

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant