KR101758786B1 - 영상 내에서 특정 지점의 위치를 결정하기 위한 장치 및 그 방법 - Google Patents

영상 내에서 특정 지점의 위치를 결정하기 위한 장치 및 그 방법 Download PDF

Info

Publication number
KR101758786B1
KR101758786B1 KR1020150157955A KR20150157955A KR101758786B1 KR 101758786 B1 KR101758786 B1 KR 101758786B1 KR 1020150157955 A KR1020150157955 A KR 1020150157955A KR 20150157955 A KR20150157955 A KR 20150157955A KR 101758786 B1 KR101758786 B1 KR 101758786B1
Authority
KR
South Korea
Prior art keywords
image
coordinates
stage
positioning
image frame
Prior art date
Application number
KR1020150157955A
Other languages
English (en)
Other versions
KR20170055147A (ko
Inventor
배상원
김종일
전민철
정인상
이도림
Original Assignee
(주)로딕스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)로딕스 filed Critical (주)로딕스
Priority to KR1020150157955A priority Critical patent/KR101758786B1/ko
Publication of KR20170055147A publication Critical patent/KR20170055147A/ko
Application granted granted Critical
Publication of KR101758786B1 publication Critical patent/KR101758786B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명에 의한 영상 내에서 특정 지점의 위치를 결정하기 위한 장치 및 그 방법이 개시된다. 본 발명에 따른 영상 내에서 특정 지점의 위치를 결정하기 위한 장치는 입력 받은 제1 영상 데이터 스트림을 구성하는 다수의 단영상 프레임들 중 구축 영상으로 사용할 적어도 하나의 제1 단영상 프레임을 추출하는 제1 단영상 처리부; 추출된 상기 제1 단영상 프레임에 영상 좌표와 지상 좌표를 부여하여 부여된 상기 영상 좌표와 상기 지상 좌표 사이의 관계를 구하기 위한 위치결정 모델을 생성하는 위치결정 모델 생성부; 추출된 상기 제1 단영상 프레임을 특정한 저장 구조에 따라 구축용 영상으로 저장하여 저장된 상기 구축용 영상을 포함하는 위치결정 데이터를 생성하는 위치결정 데이터 생성부; 위치 결정 요청이 있으면, 입력 받은 제2 영상 데이터 스트림을 구성하는 다수의 단영상 프레임들 중 운영용 영상으로 사용할 제2 단영상 프레임을 추출하는 제2 단영상 처리부; 및 추출된 상기 제2 단영상 프레임 내 특정한 상황이 발생한 지점의 영상 좌표를 상기 생성된 위치결정 모델을 이용하여 지상 좌표로 변환하는 위치결정 처리부를 포함한다.

Description

영상 내에서 특정 지점의 위치를 결정하기 위한 장치 및 그 방법{APPARATUS FOR DETERMINING LOCATION OF SPECIAL POINT IN IMAGE AND METHOD THEREOF}
본 발명은 위치 결정 기법에 관한 것으로서, 특히, 특정 상황이 발생한 영상 내에서 특정 지점에 대한 실제 위치를 결정하기 위한 장치 및 그 방법에 관한 것이다.
오늘날 항공 및 위성 영상을 이용한 사진 측량 기법들이 도입되면서 공중 촬영 영상과 부가정보(수치고도자료, 기준점 등)을 활용하여 영상 내 특정 영상좌표(픽셀)에 해당하는 실제 지상좌표 정보를 계산하거나 역으로 실제 지상좌표에 해당하는 영상좌표를 계산할 수 있게 되었다.
특히, 광학 센서로 촬영된 공중 영상과 부가정보를 이용하여 영상좌표와 실제 지상좌표 사이의 변환 과정을 처리하고 이러한 변환 과정에 필요한 각종 기능을 제공하는 소프트웨어예컨대, ERDAS, Socet GXP, PLW 등을 활용하여 다양한 2차원/3차원 디지털 영상 지도를 제공할 수 있게 됨으로써 이런 종류의 디지털 영상 지도를 기반으로 전 지구 가시화 시스템 예컨대, Google Map, Google Earth, Naver Map, Daum Map 등이 큰 호응을 얻으면서 이와 관련된 연구 및 개발이 크게 발전하였다.
또한, 아날로그 기반의 CCTV 기술은 ICT 기술과 융합하여 디지털화되면서 통신망과 연계될 수 있는 IP Camera 방식으로 진화함으로써 교통 감시, 도시 방범, 산업현장 모니터링 등 다양한 분야에서 그 활용도를 확대하고 있다. 활용의 효율을 향상시키기 위해 다수의 디지털 기반 CCTV를 통합하여 관리할 수 있는 통합 관제 센터가 구축되어 운용되고 있다. CCTV 통합관제 센터의 운용을 위하여 다양한 장소에 설치된 CCTV를 모니터링하는 관제요원들이 배치되어 CCTV 감시구역을 모니터링 하고 있다.
관제 업무의 효과와 효율을 향상하기 위해 CCTV 설치 위치와 감시 구역에 대한 정보를 지도 위에 가시화할 수 있는 GIS 시스템이 CCTV 시스템과 통합되는 형태로 발전되어 운용되고 있으며, CCTV로 녹화된 동영상 파일들은 CCTV 통합관제 센터의 저장 시스템에서 관리된다. 관제 요원들의 육안에 의한 CCTV 모니터링은 모니터링 시간이 경과함에 따라서 태만 및 근무 효율이 떨어지는 현상이 발생하였으며, 이를 방지하기 위하여 영상인식 기술에 의한 상황인지 소프트웨어를 통합하여 운용되는 형태로 발전하였다.
그러나 재난, 사건, 사고 등의 긴급상황 발생 시 통상적인 골든 타임(수 분) 경과 전에 상황이 발생한 위치정보를 식별하고 유관기관(경찰, 소방 등)에 전파하는 상황 대처가 필요하지만, 기존의 관제요원의 육안 및 상황인지 기술에 의한 모니터링 방법과 지도 기능(자체 GIS 또는 외부 지도 서비스)의 결합만으로는 관제 요원에 의한 위치 판단 과정에서 시간 허비 및 판단 착오의 가능성을 완전히 배제하지 못한다.
따라서 이러한 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 입력받은 영상 데이터 스트림으로부터 단영상을 추출하여 추출된 단영상 내에서 특정 상황이 발생한 지점의 영상 좌표를 기 구축된 위치 결정 데이터를 이용하여 실제 지상 좌표로 변환하는 것으로써 영상 내에서 특정 지점의 위치를 결정하기 위한 장치 및 그 방법을 제공하는데 있다.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적들을 달성하기 위하여, 본 발명의 한 관점에 따른 영상 내에서 특정 지점의 위치를 결정하기 위한 장치는 입력 받은 제1 영상 데이터 스트림을 구성하는 다수의 단영상 프레임들 중 구축 영상으로 사용할 적어도 하나의 제1 단영상 프레임을 추출하는 제1 단영상 처리부; 추출된 상기 제1 단영상 프레임에 영상 좌표와 지상 좌표를 부여하여 부여된 상기 영상 좌표와 상기 지상 좌표 사이의 관계를 구하기 위한 위치결정 모델을 생성하는 위치결정 모델 생성부; 추출된 상기 제1 단영상 프레임을 특정한 저장 구조에 따라 구축용 영상으로 저장하여 저장된 상기 구축용 영상을 포함하는 위치결정 데이터를 생성하는 위치결정 데이터 생성부; 위치 결정 요청이 있으면, 입력 받은 제2 영상 데이터 스트림을 구성하는 다수의 단영상 프레임들 중 운영용 영상으로 사용할 제2 단영상 프레임을 추출하는 제2 단영상 처리부; 및 추출된 상기 제2 단영상 프레임 내 특정한 상황이 발생한 지점의 영상 좌표를 상기 생성된 위치결정 모델을 이용하여 지상 좌표로 변환하는 위치결정 처리부를 포함할 수 있다.
바람직하게, 상기 제1 단영상 처리부는 입력 받은 상기 제1 영상 데이터 스트림을 구성하는 다수의 단영상 프레임들 중 특정한 상태의 제1 단영상 프레임을 추출하되, 여기서, 상기 특정한 상태는 P(Pan: CCTV 카메라의 좌우 회전값), T(Tilt: CCTV 카메라의 상하 회전값), Z(Zoom: CCTV 카메라의 줌 확대 축소 값), CCTV 식별자, 시간 중 적어도 하나를 포함하는 것을 특징으로 한다.
바람직하게, 상기 위치결정 모델 생성부는 추출된 상기 제1 단영상 프레임의 영상 좌표와 지상 좌표를 부여하고, 상기 제1 단영상 프레임이 포함하고 있는 피사체의 형태에 따라 영상 영역을 구분하며, 상기 부여된 제1 단영상 프레임의 상기 영상 좌표와 이에 상응하는 지상 좌표 및 상기 구분된 영상 영역을 이용하여 위치 결정에 필요한 상기 위치결정 모델을 생성하는 것을 특징으로 한다.
바람직하게, 상기 위치결정 데이터 생성부는 추출된 상기 제1 단영상 프레임을 특정한 저장 구조에 따라 구축용 영상으로 저장하고, 위치 결정을 위해 필요한 보조 정보를 생성하여 특정한 저장 구조에 따라 저장하며, 저장된 상기 구축용 영상과 상기 보조 정보를 포함하는 상기 위치결정 데이터를 생성하는 것을 특징으로 한다.
바람직하게, 상기 위치결정 처리부는 추출된 상기 제2 단영상 프레임과 기 구축된 제1 단영상 프레임을 이용하여 특정한 대상 영역을 결정하고, 결정된 상기 제1 단영상 프레임의 대상 영역이 포함하고 있는 기준점 영상칩을 상기 제2 단영상 프레임의 영상 좌표에 매칭시키며, 매칭된 상기 기준점 영상칩에 상응하는 지상좌표와 상기 영상 좌표를 이용하여 생성한 위치결정 모델을 통해 상기 제2 단영상 프레임의 영상 좌표에 상응하는 지상 좌표를 산출하는 것을 특징으로 한다.
바람직하게, 상기 위치결정 처리부는 추출된 상기 제2 단영상 프레임과 기 구축된 제1 단영상 프레임의 PTZ(Pan, Tilt, Zoom)와 영상 화소 사이의 변환 관계를 이용하여 중첩되는 특정한 대상 영역을 결정하는 것을 특징으로 한다.
바람직하게, 상기 위치결정 처리부는 추출된 상기 제2 단영상 프레임과 기 구축된 제1 단영상 프레임을 이용하여 특정한 대상 영역을 결정하고, 결정된 상기 제1 단영상 프레임의 대상 영역이 포함하고 있는 기준점 영상칩을 상기 제2 단영상 프레임의 영상 좌표에 매칭시키며, 매칭된 상기 기준점 영상칩에 상응하는 지상좌표와 상기 영상 좌표를 이용하여 생성한 위치결정 모델을 통해 특정 지상 좌표에 상응하는 상기 제2 단영상 프레임의 영상 좌표를 산출하는 것을 특징으로 한다.
본 발명의 다른 한 관점에 따른 영상 내에서 특정 지점의 위치를 결정하기 위한 방법은 입력 받은 제1 영상 데이터 스트림을 구성하는 다수의 단영상 프레임들 중 구축 영상으로 사용할 적어도 하나의 제1 단영상 프레임을 추출하는 제1 단영상 처리단계; 추출된 상기 제1 단영상 프레임에 영상 좌표와 지상 좌표를 부여하여 부여된 상기 영상 좌표와 상기 지상 좌표 사이의 관계를 구하기 위한 위치결정 모델을 생성하는 위치결정 모델 생성단계; 추출된 상기 제1 단영상 프레임을 특정한 저장 구조에 따라 구축용 영상으로 저장하여 저장된 상기 구축용 영상을 포함하는 위치결정 데이터를 생성하는 위치결정 데이터 생성단계; 위치 결정 요청이 있으면, 입력 받은 제2 영상 데이터 스트림을 구성하는 다수의 단영상 프레임들 중 운영용 영상으로 사용할 제2 단영상 프레임을 추출하는 제2 단영상 처리단계; 및 추출된 상기 제2 단영상 프레임 내 특정한 상황이 발생한 지점의 영상 좌표를 상기 생성된 위치결정 모델을 이용하여 지상 좌표로 변환하는 위치결정 처리단계를 포함할 수 있다.
바람직하게, 상기 제1 단영상 처리단계는 입력 받은 상기 제1 영상 데이터 스트림을 구성하는 다수의 단영상 프레임들 중 특정한 상태의 제1 단영상 프레임을 추출하되, 여기서, 상기 특정한 상태는 P(Pan: CCTV 카메라의 좌우 회전값), T(Tilt: CCTV 카메라의 상하 회전값), Z(Zoom: CCTV 카메라의 줌 확대 축소 값), CCTV 식별자, 시간 중 적어도 하나를 포함하는 것을 특징으로 한다.
바람직하게, 상기 위치결정 모델 생성단계는 추출된 상기 제1 단영상 프레임의 영상 좌표와 지상 좌표를 부여하고, 상기 제1 단영상 프레임이 포함하고 있는 피사체의 형태에 따라 영상 영역을 구분하며, 상기 부여된 제1 단영상 프레임의 상기 영상 좌표와 이에 상응하는 지상 좌표 및 상기 구분된 영상 영역을 이용하여 위치 결정에 필요한 상기 위치결정 모델을 생성하는 것을 특징으로 한다.
바람직하게, 상기 위치결정 데이터 생성단계는 추출된 상기 제1 단영상 프레임을 특정한 저장 구조에 따라 구축용 영상으로 저장하고, 위치 결정을 위해 필요한 보조 정보를 생성하여 특정한 저장 구조에 따라 저장하며, 저장된 상기 구축용 영상과 상기 보조 정보를 포함하는 상기 위치결정 데이터를 생성하는 것을 특징으로 한다.
바람직하게, 상기 위치결정 처리단계는 추출된 상기 제2 단영상 프레임과 기 구축된 제1 단영상 프레임을 이용하여 특정한 대상 영역을 결정하고, 결정된 상기 제1 단영상 프레임의 대상 영역이 포함하고 있는 기준점 영상칩을 상기 제2 단영상 프레임의 영상 좌표에 매칭시키며, 매칭된 상기 기준점 영상칩에 상응하는 지상좌표와 상기 영상 좌표를 이용하여 생성한 위치결정 모델을 통해 상기 제2 단영상 프레임의 영상 좌표에 상응하는 지상 좌표를 산출하는 것을 특징으로 한다.
바람직하게, 상기 위치결정 처리단계는 추출된 상기 제2 단영상 프레임과 기 구축된 제1 단영상 프레임의 PTZ(Pan, Tilt, Zoom)와 영상 화소 사이의 변환 관계를 이용하여 중첩되는 특정한 대상 영역을 결정하는 것을 특징으로 한다.
바람직하게, 상기 위치결정 처리단계는 추출된 상기 제2 단영상 프레임과 기 구축된 제1 단영상 프레임을 이용하여 특정한 대상 영역을 결정하고, 결정된 상기 제1 단영상 프레임의 대상 영역이 포함하고 있는 기준점 영상칩을 상기 제2 단영상 프레임의 영상 좌표에 매칭시키며, 매칭된 상기 기준점 영상칩에 상응하는 지상좌표와 상기 영상 좌표를 이용하여 생성한 위치결정 모델을 통해 특정 지상 좌표에 상응하는 상기 제2 단영상 프레임의 영상 좌표를 산출하는 것을 특징으로 한다.
이를 통해, 본 발명은 입력받은 영상 데이터 스트림으로부터 단영상을 추출하여 추출된 단영상 내에서 특정 상황이 발생한 지점의 영상 좌표를 기 구축된 위치 결정 데이터를 이용하여 실제 지상 좌표로 변환하도록 함으로써, 긴급 상황 발생 시 실제 위치 정보를 자동으로 식별할 수 있는 효과가 있다.
또한 본 발명은 긴급 상황 발생 시 실제 위치 정보를 자동으로 식별하는 것이 가능하기 때문에 그 식별된 위치 정보를 유관 기관 예컨대, 경찰서, 소방서 등에서 운영하는 임의의 시스템으로 전송하여 즉각적인 상황 대처가 가능할 수 있는 효과가 있다.
또한 본 발명은 단순히 모니터링에 따른 관제 요원에 의한 위치 판단 과정에서 발생할 수 있는 시간 허비 및 판단 착오의 가능성을 배제할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 위치를 결정하기 위한 장치를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 좌표와 지상 좌표 사이의 관계를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 구축용 영상을 구성하는 개념을 보여주는 도면이다.
도 4a 내지 도 4b는 대상 영역 계산에 사용되는 PTZ와 영상 화소값 사이의 변환 방법을 설명하기 위한 도면이다.
도 5는 기준점 영상칩과 제2 단영상 프레임 간의 매칭점 탐색 방법을 설명하기 위한 도면이다.
도 6은 기준점 영상칩과 영상 간의 매칭점을 판단하기 위한 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 위치결정 데이터를 생성하기 위한 방법을 나타내는 도면이다.
도 8은 본 발명의 일 실시예에 따른 위치를 결정하기 위한 방법을 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따른 위치결정 데이터 구축 과정의 일부를 시뮬레이션한 결과를 나타내는 도면이다.
도 10은 본 발명의 일 실시예에 따른 위치결정 데이터 운용시뮬레이션 결과를 나타내는 도면이다.
도 11은 도 1에 도시된 영상 입력부의 상세한 구성을 나타내는 도면이다.
도 12는 도 1에 도시된 제1 단영상 처리부의 상세한 구성을 나타내는 도면이다.
도 13은 도 1에 도시된 위치결정 모델 생성부의 상세한 구성을 나타내는 도면이다.
도 14는 도 1에 도시된 위치결정 데이터 생성부의 상세한 구성을 나타내는 도면이다.
도 15는 도 1에 도시된 제2 단영상 처리부의 상세한 구성을 나타내는 도면이다.
도 16은 도 1에 도시된 위치 결정 처리부의 상세한 구성을 나타내는 도면이다.
도 17은 도 1에 도시된 정보 변환부의 상세한 구성을 나타내는 도면이다.
이하에서는, 본 발명의 실시예에 따른 영상 내에서 특정 지점의 위치를 결정하기 위한 장치 및 그 방법을 첨부한 도면을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는 데 필요한 부분을 중심으로 상세히 설명한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 불구하고 동일한 참조부호를 부여할 수도 있다. 그러나, 이와 같은 경우라 하더라도 해당 구성 요소가 실시예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시예에서의 각각의 구성 요소에 대한 설명에 기초하여 판단하여야 할 것이다.
특히, 본 발명에서는 입력받은 영상 데이터 스트림으로부터 단영상을 추출하여 추출된 단영상 내에서 특정 상황이 발생한 지점의 영상 좌표를 기 구축된 위치 결정 데이터를 이용하여 실제 지상 좌표로 변환하도록 하는 새로운 방안을 제안한다.
도 1은 본 발명의 일 실시예에 따른 위치를 결정하기 위한 장치를 나타내는 도면이다.
도 1에 도시한 바와 같이, 본 발명에 따른 위치를 결정하기 위한 장치(100)는 영상 입력부(110), 제1 단영상 처리부(120), 위치결정 모델 생성부(130), 위치결정 데이터 생성부(140), 위치결정 데이터 DB(150), 제2 단영상 처리부(160), 위치결정 처리부(170), 정보 변환부(180), 정보 전송부(190)를 포함할 수 있다.
영상 입력부(110)는 다수의 장치로부터 영상 데이터 스트림을 입력 받을 수 있다. 예컨대, 영상 입력부(110)는 유선 또는 무선 네트워크를 통해 다수의 장치에 연동하여 연동하는 다수의 장치로부터 획득된 영상 데이터 스트림을 입력 받게 된다.
이때, 영상 입력부(110)는 다수의 물리적 장비로부터 획득하여 파일 형태로 저장된 영상 데이터 스트림을 입력 받거나 네트워크를 통해 버퍼에 수신하여 입력 받는다.
제1 단영상 처리부(120)는 입력 받은 영상 데이터 스트림을 구성하는 다수의 단영상 프레임들 중 특정한 상황이 발생한 지점의 영상 좌표를 지상 좌표로 변환하고자 하는 제2 단영상 프레임에 대한 위치결정의 기준이 되는 구축 영상으로 사용할 적어도 하나의 제1 단영상 프레임 또는 제1 단영상을 추출할 수 있다. 예컨대, 제1 단영상 처리부(120)는 입력 받은 영상 데이터 스트림을 구성하는 다수의 단영상 프레임들 중 특정한 상태의 제1 단영상 프레임을 추출할 수 있다.
이때, 특정한 상태의 제1 단영상 프레임은 연속된 단영상 프레임 중에서 추출된 단영상 프레임이고 그 추출된 단영상 프레임의 P(Pan: CCTV 카메라의 좌우 회전값), T(Tilt: CCTV 카메라의 상하 회전값), Z(Zoom: CCTV 카메라의 줌 확대 축소 값), CCTV 식별자, 시간 등이 특정한 상태를 의미할 수 있다.
이러한 특정한 상태를 나타내는 데이터는 추출된 제1 단영상 프레임의 저장을 위한 정보와 결합되어, 추출된 제1 단영상 프레임에 대한 메타 데이터로 사용될 수 있다.
위치결정 모델 생성부(130)는 추출된 제1 단영상 프레임에 영상 좌표와 지상 좌표를 부여하여 부여된 영상 좌표와 지상 좌표 사이의 관계를 구하기 위한 위치결정 모델을 생성할 수 있다.
여기서 위치결정 모델 생성은 아래에서 설명할 지상 좌표와 영상 좌표 사이의 변환식의 계수를 결정하는 것을 의미하는데, 이러한 변환식의 계수는 지상 좌표와 영상 좌표에 따라 변경되며 특정한 위치 정확도로 수렴하도록 변경될 수 있다.
이때, 위치결정 모델 생성부(130)는 추출된 제1 단영상 프레임 내 화소에 2차원의 영상 좌표 (u, v)를 부여하고 그 영상 좌표가 부여된 화소 중 일부에 실제로 측정된 지상 좌표 (x, y, z)를 부여할 수 있다. 여기서, 지상 좌표 (x, y, z)는 추출된 제1 단영상 프레임에 포함되어 있는 피사체의 여러 위치를 측량 장비를 이용하여 실제로 측량하거나 기존의 데이터로부터 획득될 수 있다.
또한 위치결정 모델 생성부(130)는 부여된 영상 좌표의 지상 좌표 사이의 관계를 구하기 위하여 영상의 왜곡을 고려하지 않고 내부 및 외부 표정 요소만을 반영하는 DLT(Direct Linear Transformation) 기법을 이용할 수 있다. 예컨대, 위치결정 모델 생성부(130)는 DLT 기법을 이용하여 제1 단영상 프레임 내 영상 좌표를 지상 좌표로 변환하고 DLT 기법을 이용하여 지상 좌표를 영상 좌표로 역 변환할 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 좌표와 지상 좌표 사이의 관계를 설명하기 위한 도면이다.
도 2에 도시한 바와 같이, 먼저이러한 DLT 기법을 이용하여 선형 방정식을 구할 수 있는데, 여기서 지상 좌표는 (x, y, z)의 3차원 좌표로 구성하고 영상 좌표는 (u, v)의 2차원 좌표로 구성하기로 한다.
지상 좌표에서 영상 좌표로의 변환식은 광학 영상 내부 표정 요소의 왜곡을 고려할 경우 비선형 방정식이나 왜곡을 무시할 경우 투영 변환 행렬의 요소를 미지수로 가정하여 11개의 미지수 L1 ~ L11을 갖는 2개 방정식으로 표현할 수 있다.
이때, 11개의 미지수 L1 ~ L11을 갖는 2개 방정식은 다음의 [수학식 1]과 같다.
[수학식 1]
u = (L1x + L2y + L3z + L4)/(L9x + L10y + L11z +1)
v = (L5x + L6y + L7z + L8)/(L9x + L10y + L11z +1)
상기 [수학식 1]에서 각각 다른 6개의 지상 좌표와 영상 좌표에 대응하는 점을 알고 있다면 11개의 미지수L1 ~ L11을 다음의 [수학식 2]와 같이 계산할 수 있다.
[수학식 2]
Figure 112015109753263-pat00001
상기 [수학식 2]에서 미지수L1 ~ L11을 구하기 위해 행렬식을 세우면 다음의 [수학식 3]과 같다.
[수학식 3]
Figure 112015109753263-pat00002
여기서, x1 ~ x6, y1 ~ y6, z1 ~ z6은 측량 장비로 측정한 지상 좌표의 값을 나타내고, u1 ~ u6, v1 ~ v6은 측량 장비로 측정한 지상 좌표 각각에 대응하는 영상 좌표의 값을 나타낸다.
이때, 미지수 L1 ~ L11에 해당하는 값은 다음의 [수학식 4]를 통해 구할 수 있다.
[수학식 4]
L = (ATA)-1ATB
또한 미지수 L1 ~ L11에 해당하는 행렬은 다음의 [수학식 5]를 통해 구할 수 있다.
[수학식 5]
PL = [L1 L2 L3 L4L5 L6 L7 L8 L9 L10L111]
PR = [L1 L2 L3 L4L5 L6 L7 L8 L9 L10L111]
상기 [수학식 5]를 이용하여 영상 좌표 행렬을 다음의 [수학식 6]과 같이 정의할 수 있는데, [수학식 6]을 이용하여 지상 좌표로부터 영상 좌표를 구할 수 있다.
[수학식 6]
RepL = PLL
RepR = PRL
여기서, RepL은 측량 장비로 측정한 6개의 점에 대응하는 첫번째 영상 좌표 행렬을 나타내고, PL은 두번째 영상에 대한 행렬식을 나타내며, RepR은 측량 장비로 측정한 6개의 점에 대응하는 두번째 영상 좌표 행렬을 나타내며, PR은 두번째 영상에 대한 행렬식을 나타낸다.
또한, 위치결정 모델 생성부(130)는 추출된 제1 단영상 프레임이 포함하고 있는 피사체의 형태에 따라 영상 영역 예컨대, 하늘 영역, 구조물 영역, 지표면 영역을 수동 방식 즉, 사용자의 메뉴 또는 키 조작으로 구분할 수 있다.
위치결정 데이터 생성부(140)는 추출된 제1 단영상 프레임을 특정한 저장 구조에 따라 구축용 영상으로 저장하고, 위치 결정을 위해 필요한 보조 정보를 특정한 저장 구조에 따라 저장함으로써, 구축용 영상과 보조 정보를 포함하는 위치결정 데이터를 생성할 수 있다.
예컨대, 구축용 영상과 보조 정보는 카메라 ID(Identifier), PTZ(Pan-Tilt-Zoom) 등을 인덱스 정보로 이용하여 특정한 저장 구조에 따라 파일 시스템에 저장될 수 있다.
이때, 저장되는 데이터는 위치결정 모델, 영상점 파일, 구축용 영상 등일 수 있다.
또한,이중 보조 정보는 영상을 제외한 모든 모든 정보를 의미하는 것으로, 예컨대, 위치결정 모델, 기준점 정보, 영상점 파일 등이 포함될 수 있다.여기서, 기준점 정보는 기준점 파일, 기준점 영상칩을 의미하고, 기준점 파일은 기준점에 대한 지상좌표 정보를 보유하는 파일을 의미하며, 기준점 영상칩은 측량한 기준점이 영상 위에 표시될 때 해당 영상 위치를 중심으로 그 주변을 일정 범위 포함하는 영상을 의미하며, 영상점 파일은 측량한 기준점에 상응하는 상상 내 영상좌표를 저장하고 있는 파일을 의미할 수 있다.
이러한 구축용 영상과 보조 정보는 데이터베이스 시스템으로 구성될 수 있는데, 이에 한정되지 않고 파일 시스템과 데이터베이스 시스템을 혼합한 형태로 구성하여 저장될 수 있다.
위치결정 데이터DB(150)는 구축용 영상과 보조 정보를 특정한 저장 구조로 저장할 수 있다.
도 3은 본 발명의 일 실시예에 따른 구축용 영상을 구성하는 개념을 보여주는 도면이다.
도 3에 도시한 바와 같이, 제1 단영상 프레임 획득 시 특정 값으로 설정된 Z 값 Zstate와 영상획득 장치의 해상도, P 값 PBoundary, T 값 TBoundary에 의해 구축용 영상의 경계가 결정된다.
이때, 구축용 영상은 P와 T값에 의한 영상 경계의 중복도는화소 수치로 정의하며 기본 값으로 0이 설정된다.
제2 단영상 처리부(160)는 사용자의 메뉴 또는 키 조작에 따른 수동 방식 또는 특정 알고리즘에 따른 자동 방식으로 위치 결정 요청이 있으면, 입력 받은 영상 데이터 스트림을 구성하는 다수의 단영상 프레임들 중 특정한 상황이 발생한 지점의 영상 좌표를 지상 좌표로 변환하고자 하는 운영용 영상으로 사용할 제2 단영상 프레임을 추출할 수 있다.예컨대, 제2 단영상 처리부(160)는 입력 받은 영상 데이터 스트림을 구성하는 다수의 단영상 프레임들 중 특정한 상태의 제2 단영상 프레임을 추출할 수 있다.
이때, 특정한 상태의 제2 단영상 프레임은 연속된 단영상 프레임 중에서 추출된 단영상 프레임이고 그 단영상 프레임의 P(Pan: CCTV 카메라의 좌우 회전값), T(Tilt: CCTV 카메라의 상하 회전값), Z(Zoom: CCTV 카메라의 줌 확대 축소 값), CCTV 식별자, 시간, 상황 인지 정보 등이 특정한 상태를 의미할 수 있다.
이러한 특정한 상태를 나타내는 데이터는 추출된 제2 단영상 프레임의 저장을 위한 정보와 결합되어, 추출된 제2 단영상 프레임에 대한 메타 데이터로 사용될 수 있다.
위치결정 처리부(170)는 추출된 제2 단영상 프레임과 이에 상응하는 기 저장된 제1 단영상 프레임에 대해 PTZ와 영상 화소 사이의 변환 관계를 이용하여 대상이 되는 제1 단영상 프레임의 영역 정보 또는 역으로 제2 단영상 프레임의 영역 정보를 산출할 수 있다.
도 4a 내지 도 4b는대상 영역 계산에 사용되는 PTZ와 영상 화소값 사이의 변환 방법을 설명하기 위한 도면이다.
도 4a를 참조하면, 제1 단영상 프레임과 제2 단영상 프레임의 대상이 되는 영역 즉, 대상 영역의 계산에 사용되는 영상 좌표의 PTZ 변환 관계를 보여주고 있다.
예컨대, 카메라PTZ의 범위로서 P는 0°~360°, T는 0°~180°, Z는 0~9999로 구성될 수 있다.
영상좌표의 PTZ 변환을 구체적으로 설명하면 다음과 같다.특정한 시점의 영상에 대한 PTZ는 카메라에서 획득한 p, t, z 값으로 입력하며, 이를 해당 영상의 중앙점으로 가정한다.
이때, 해당 영상의 중앙점은 다음의 [수학식 7]을 통해 산출될 수 있다.
[수학식 7]
영상 중앙점(CenterX) = Width/2
영상 중앙점(CenterY) = Height/2
이때, Pboundary값은촬영 영역을 구성하였을 경우 특정한 영상으로부터 다음 영상까지의 P 값의 변화 크기이다.Tboundary값은 촬영 영역을 구성하였을 경우 특정한 영상으로부터 다음 영상까지의 T 값의 변화 크기이다.
Pboundary와 Tboundary값은 각 카메라의 영상해상도에 따른 Z 값에 의해서 달라질 수 있다.
영상점1픽셀씩 이동할 때 P값, T값의 변화량은 다음[수학식 8]과 같이 구할 수 있다.
PixelByPvalue = (Pboundary - (z * Pboundary/ 9999)) / Width
PixelByTvalue = (Tboundary - (z * Tboundary/ 9999)) / Height
사용자로부터선택된영상점에 해당하는 PTZ값을 계산하기 위해서 중앙점으로부터 영상점 사이의 거리를 구해야 하며, 거리 계산은 다음의 [수학식 9]와 같다.
[수학식 9]
Distance_X = InputX-CenterX
Distance_Y = InputY-CenterY
영상점에 대해 계산하고자 하는 PTZ값에 영상점에서 변화만큼 증가량을 곱하는 것으로써 P값, T값을 구할 수 있는데, 그 계산식은 다음의 [수학식 10]과 같다.
[수학식 10]
CalculP = Distance_X * PixelByPvalue
CalculT = Distance_Y * PixelByTvalue
도 4b를 참조하면, 제1 단영상 프레임과 제2 단영상 프레임의 대상이 되는 영역 즉, 대상 영역의 계산에 사용되는 PTZ의 영상 좌표 변환 관계를 보여주고 있다.
PTZ의 영상좌표 변환을 구체적으로 설명하면 다음과 같다. 사용자가 알고있는 특정 p1, t1, z1값을 사용자가 지정한 영상에서의 영상좌표(CalculX, CalculY)로 계산한다.
이때, 영상의 중앙점에 해당하는 t값과 t1값의 거리는 다음의 [수학식 11]과 같다.
[수학식 11]
Distance_T = t1 - t
P값 계산의 경우, P값이 가질 수 있는 영역은 0° ~ 360°인데 360°에서 +1°을 하였을 때는 361°가 아닌 0°로 한다. 또한 P는 도 3의 'P 계산'에서와 같이 2개 회전각의 P값인 g와 f 사이의 거리를 구할 때 원의 특성상 거리를 두 방향으로 계산할 수 있는데 두 방향 중 거리가 짧은 방향의 값을 구해야 한다.
이때 영상의 중앙점에 해당하는 p값과 p1값의 거리는 다음의 [수학식 12]와 같다.
[수학식 12]
Distance_P = p1 - p
Distance_P< 180
Short_Distance_P = Distance_P- 360
Distance_P< -180
Short_Distance_P = Distance_P + 360
영상에서 P, T의 값이 증감할 때마다 픽셀의 변화량은 다음의 [수학식 13]과 같다.
[수학식 13]
PByPixelvalue = Width / (Pboundary - (z * Pboundary / 9999)
TByPixelvalue = Height / (Tboundary - (z * Tboundary / 9999)
거리에 증가량을 곱하면 영상점이 나오며 이에 따른 영상 좌표는 다음의 [수학식 14]와 같다.
CalculX = CenterX + (Short_Distance_P * PByPixelvalue)
CalculY = CenterY + (Distance_T * TByPixelvalue)
도 5는 기준점 영상칩과 제2 단영상 프레임 간의 매칭점 탐색 방법을 설명하기 위한 도면이다.
도 5에 도시한 바와 같이, 기준점 영상칩과 제2 단영상 프레임 간의 매칭점은 상관계수 매칭을 이용하여 탐색할 수 있다. 여기서, 상관계수 매칭은 대상 영상 전체를 탐색하여 찾으려는 칩 영상과의 유사성이 있는지를 구하는 방식이다.
여기서, 대상 영상이란 영상 전체에 대하여 칩 또는 커널과의유사도를 탐색하게 될 영상을 의미하고, 칩 또는 커널이란 찾고자 하는 대상이 담긴 영상을 의미한다.
이때, 검색 영역은 검색 너비와 검색 높이로 설정될 수 있는데, 다음의 [수학식 15]와 같다.
[수학식 15]
검색 너비 = (대상 영역의 너비 - 칩 너비 + 1) / 2
검색 높이 = (대상 영역의 높이 - 칩 높이 + 1) / 2
이러한 검색 너비와 검색 높이로 설정된 검색 영역은 대상 영상보다 클 수 없다. 예컨대, 대상 영상의 크기는 7x33이 되고 한 검색 영역의 크기는 5x31이 될 수 있다.
또한 칩 크기는 중심 픽셀이 존재하도록 홀수로 설정해야 하는데, 예컨대, 3x3이다.
또한 상관계수 매칭에서 상관계수는 매칭이 잘 되었는지를 판단하기 위한 상대적인 기준이다. 즉, 계산 결과의 최대값이 옵션 값보다 작으면 매칭이 실패하였다고 판단한다.
이러한 상관계수 매칭을 위해서는 NCC(Normalized cross correlation)알고리즘을 이용하는데, NCC 알고리즘은 연속되는 두 데이터 간에 어떤 선형적 관계를 갖고 있는지를 분석하는 것으로 두 데이터 간 관계의 강도를 통한 유사성 척도를 측정하는 방법이다.
이때, 상관계수를 구하기 위한 NCC 알고리즘은 다음의 [수학식 16]과 같이 정의된다.
[수학식 16]
여기서, r(u, v)는 템플릿 이미지와 원 영상 이미지 간의 상관관계를 계산한 상관계수 값을 의미한다. f(x, y)는 원 영상 이미지에서의 (x, y)에 해당하는 화소를 의미하고,
Figure 112015109753263-pat00004
는 템플릿 영역에 해당되는 원 영상 이미지 화소들의 평균을 의미하며, t는 템플릿 이미지를 의미하며,
Figure 112015109753263-pat00005
는 템플릿 이미지 내 화소들의 평균을 의미한다.
상기 [수학식 16]으로부터 계산된 두 이미지 간의 상관도가 높을 경우 상관계수 값은 1에 근접하게 나타나며, 서로 상반되는 경우에는 -1에 근접하게 나타난다.
도 6은 기준점 영상칩과 영상 간의 매칭점을 판단하기 위한 과정을 설명하기 위한 도면이다.
도 6에 도시한 바와 같이, 위치결정 처리부는검색 영역에 대한 상관계수를 계산하여(S601), 그 계산한 결과를 이용하여 상관계수가 가장 큰 화소를 검색할 수 있다(S602).
다음으로, 위치결정 처리부는 검색 영역에 대한 엔트로피를 계산할 수 있다(S603).
다음으로, 위치결정 처리부는검색된 화소의 상관계수 값과 매칭 옵션 내 미리 설정된 제1 임계치를 비교할 수 있다(S604). 즉, 위치결정 처리부는 그 비교한 결과로 검색된 화소의 상관계수가 제1 임계치보다 작을 경우, 매칭이 실패했다고 판단할 수 있다(S605).
이때, 매칭 옵션에는 몇 픽셀의 화소를 계산할 것인지, 화소 간의 관계인 상관계수 및 엔트로피에 대한 기준이 되는 제1 임계치와 제2 임계치가 설정될 수 있다.
반면, 위치결정 처리부는검색된 화소의 상관계수가 제1 임계치보다 클 경우, 계산된 엔트로피 값과 미리 설정된 제2 임계치를 비교할 수 있다(S606). 즉, 위치결정 처리부는검색된 화소의 엔트로피가 제2 임계치보다 작을 경우 매칭이 잘 되었다고 판단할 수 있다(S607).
반면, 위치결정 처리부는검색된 화소의 엔트로피가 제2 임계치보다 클 경우, 상관계수가 그 다음으로 큰 화소를찾아 이를 기반으로 매칭점 판단 과정을 반복 수행할 수 있다(S608).
즉, 위치결정 처리부는 기 검색된 화소를 제외하고 상관계수가 가장 큰 화소를 검색하여 그 검색된 화소를 기반으로 매칭점 판단 과정을 다시 수행하게 된다.
정보 변환부(180)는 특정한 상황이 발생한 영상 즉, 제2 단영상 프레임, 특정한 발생한 위치를 나타내는 위치 정보 즉, 실제 지상 좌표 등을 기 설정된 포맷의 데이터로 변환할 수 있다.
정보 전송부(190)는 기 설정된 포맷의 데이터로 변환이 완료되면, 그 변환된 데이터를 기 설정된 프로토콜에 따라 외부 장치 또는 외부 시스템으로 전송할 수 있다.
도 7은 본 발명의 일 실시예에 따른 위치결정 데이터를 생성하기 위한 방법을 나타내는 도면이다.
도 7에 도시한 바와 같이, 본 발명에 따른 위치를 결정하기 위한 장치(이하, 위치결정 장치라고 한다)는 다수의 외부 시스템으로부터 영상 데이터 스트림을 입력 받을 수 있다(S701).
다음으로, 위치결정 장치는 입력 받은 영상 데이터 스트림으로부터 구축용 영상으로 사용할 적어도 하나의 제1 단영상 프레임을 추출하고(S702) 제1 단영상 프레임의 상태를 포함하는 메타 데이터를 추출하며, 추출된 제1 단영상 프레임과 메타 데이터를 매핑시킬 수 있다.
다음으로, 위치결정 장치는 제1 단영상 프레임의 영상 좌표와 지상 좌표를 부여하고(S703, S704), 제1 단영상 프레임이 포함하고 있는 피사체의 형태에 따라 영상 영역을 구분할 수 있다(S705).
다음으로 위치결정 장치는 이렇게 입력된 정보 즉, 제1 단영상 프레임의 영상 좌표와 지상 좌표 및 영상 영역을 이용하여 위치 결정에 필요한 위치결정 모델을 생성할 수 있다(S706).
다음으로 위치결정 장치는 추출된 제1 단영상 프레임을 구축용 영상으로 저장하고(S707), 이와 함께 위치 결정을 위해 필요한 보조 정보를 생성하여 저장할 수 있다(S708).
다음으로, 위치결정 장치는 구축용 영상과 보조 정보를 포함하는 위치결정 데이터를 생성할 수 있다(S709).
도 8은 본 발명의 일 실시예에 따른 위치를 결정하기 위한 방법을 나타내는 도면이다.
도 8에 도시한 바와 같이, 본 발명에 따른 위치를 결정하기 위한 장치(이하, 위치결정 장치라고 한다)는 다수의 외부 시스템으로부터 영상 데이터 스트림을 입력 받을 수 있다(S801).
다음으로, 위치결정 장치는 위치 결정 요청이 있으면, 입력 받은 영상 데이터 스트림으로부터 운영용 영상으로 사용할 제2 단영상 프레임을 추출하고(S802) 제2 단영상 프레임의 상태를 포함하는 메타 데이터를 추출하며, 추출된 제2 단영상 프레임과 메타 데이터를 매핑시킬 수 있다.
다음으로, 위치결정 장치는 추출된 제2 단영상 프레임과 기 구축된 제1 단영상 프레임을 이용하여 특정한 대상 영역을 결정할 수 있다(S803). 예컨대, 위치결정 장치는 제2 단영상 프레임과 제1 단영상 프레임의 PTZ와 영상 화소 사이의 변환 관계를 이용하여 중첩되는 부분의 특정한 대상 영역을 결정할 수 있다.
다음으로, 위치결정 장치는 결정된 제1 단영상 프레임의 대상 영역이 포함하고 있는 기준점영상칩을 제2 단영상 프레임의 영상 좌표에 매칭시킬 수 있다(S804).
다음으로, 위치결정 장치는 매칭된 기준점 영상칩에 상응하는 지상좌표와 영상 좌표를 이용하여위치결정 모델을 새롭게 생성 즉, 지상 좌표와 영상 좌표 간의 변환식에 사용되는 계수를 변경하고 그 생성된 위치결정 모델을 통해 영상 좌표에 상응하는 지상 좌표를 산출할 수 있다(S805).
또는, 위치결정 장치는 매칭된 기준점 영상칩에 상응하는 지상좌표와 영상 좌표를 이용하여 위치결정 모델을 새롭게 생성 즉, 지상 좌표와 영상 좌표 간의 변환식에 사용되는 계수를 변경하여 그 생성된 위치결정 모델을 통해 특정 지상 좌표에 상응하는 영상 좌표를 산출할 수 있다(S806).
다음으로, 위치결정 장치는 특정한 상황이 인지된 제2 단영상 프레임, 위치 정보 즉, 지상 좌표 및 관련 정보등의 대상 정보를 기 설정된 조건의 데이터로 변환할 수 있다(S807).
다음으로, 위치결정 장치는 변환된 데이터를 기 정의된 프로토콜로 외부 시스템에 전송할 수 있다(S808).
도 9는 본 발명의 일 실시예에 따른 위치결정 데이터 구축 과정의 일부를 시뮬레이션한 결과를 나타내는 도면이다.
도 9에 도시한 바와 같이, 외부시스템으로부터 획득한 영상 데이터 스트림으로부터 제1 단영상 프레임을 추출하고 그 구출된 제1 단영상 프레임 내 영상좌표에 해당하는 지상좌표를 매칭 입력 후 위치결정 모델을 생성한다.
도 10은 본 발명의 일 실시예에 따른 위치결정 데이터 운용시뮬레이션 결과를 나타내는 도면이다.
도 10에 도시한 바와 같이, 외부 시스템으로부터 획득한 영상 데이터 스트림에 대해 위치결정을 요청하면, 위치결정이 요청된 순간의 제2 단영상 프레임을 추출하고 그 추출된 제2 단영상 프레임 내 영상좌표에 해당하는 지상좌표를 결정한다.
도 11은 도 1에 도시된 영상 입력부의 상세한 구성을 나타내는 도면이다.
도 11에 도시한 바와 같이, 본 발명에 따른 영상 입력부(110)는 영상 획득부(111), 네트워크 처리부(112), 제1 입력 처리부(113), 파일 처리부(114), 제2 입력 처리부(115)를 포함할 수 있다.
영상 획득부(111)는 영상 데이터 스트림을 획득할 수 있는 장비로서, 예컨대, CCTV, 카메라 등이 사용될 수 있다. 이러한 영상 획득부는 구축용 영상을 획득하기 위한 장치와 운영용 영상을 획득하기 위한 장치가 동일하거나 별도로 구비될 수 있다.
네트워크 처리부(112)는 유선 또는 무선 네트워크를 통해 다수의 영상 획득부(111)로부터 입력 받은 데이터들로부터 영상 데이터 스트림을 추출할 수 있다.
제1 입력 처리부(113)는 추출된 영상 데이터 스트림을 버퍼에 저장할 수 있다.
파일 처리부(114)는 유선 또는 무선 네트워크를 통해 외부 시스템으로부터 다수의 영상 파일을 입력 받아 입력 받은 영상 파일로부터 영상 데이터 스트림을 추출할 수 있다.
제2 입력 처리부(115)는 추출된 영상 데이터 스트림을 입력 받아 저장할 수 있다.
도 12는 도 1에 도시된 제1 단영상 처리부의 상세한 구성을 나타내는 도면이다.
도 12에 도시한 바와 같이, 본 발명에 따른 제1 단영상 처리부(120)는 제1 단영상 선택부(121), 단영상 처리부(122), 메타데이터 처리부(123), 매핑부(124)를 포함할 수 있다.
제1 단영상 선택부(121)는 사용자의 메뉴 또는 키 조작에 따라 입력 받은 영상 데이터 스트림을 구축용 영상으로 사용하도록 선택 받을 수 있다.
단영상 처리부(122)는 선택 받은 영상 데이터 스트림으로부터 제1 단영상 프레임을 추출하고 그 추출된 제1 단영상 프레임으로부터 영상 ID, 저장 경로, 영상 명 등의 영상 정보를 추출하여 저장할 수 있다.
메타데이터 처리부(123)는 추출된 단영상 프레임의 P, T, Z, CCTV 식별자, 시간 등의 특정한 상태를 의미하는 메타 데이터를 추출하여 저장할 수 있다.
매핑부(124)는 추출된 제1 단영상 프레임에 영상 정보와 메타 데이터를 매핑시킬 수 있다.
도 13은 도 1에 도시된 위치결정 모델 생성부의 상세한 구성을 나타내는 도면이다.
도 13에 도시한 바와 같이, 본 발명에 따른 위치결정 모델 생성부(130)는 데이터 입력부(131), 영상좌표 처리부(132), 지상좌표 처리부(133), 영역정보 생성부(134), 모델 생성부(135)를 포함할 수 있다.
데이터 입력부(131)는 구축용 영상으로 사용할 제1 단영상 프레임을 입력 받을 수 있다.
영상좌표 처리부(132)는 입력 받은 제1 단영상 프레임의 영상 좌표를 부여할 수 있다.
지상좌표 처리부(133)는 입력 받은 제1 단영상 프레임의 지상 좌표를 부여할 수 있다.
영역정보 생성부(134)는 입력 받은 제1 단영상 프레임이 포함하고 있는 피사체의 형태에 따라 영상 영역을 구분할 수 있다.
모델 생성부(135)는 이렇게 구한 제1 단영상 프레임의 영상 좌표와 지상 좌표 및 영상 영역을 이용하여 위치 결정에 필요한 위치결정 모델을 생성할 수 있다.
도 14는 도 1에 도시된 위치결정 데이터 생성부의 상세한 구성을 나타내는 도면이다.
도 14에 도시한 바와 같이, 본 발명에 따른 위치결정 데이터 생성부(140)는 데이터 입력부(141), 구축영상 생성부(142), 보조정보 생성부(143), 데이터 생성부(144)를 포함할 수 있다.
데이터 입력부(141)는 구축용 영상으로 사용할 제1 단영상 프레임을 입력 받을 수 있다.
구축영상 생성부(142)는 추출된 제1 단영상 프레임을 구축용 영상으로 저장할 수 있다.
보조정보 생성부(143)는 위치 결정을 위해 필요한 보조 정보를 생성하여 저장할 수 있다.
데이터 생성부(144)는 제1 단영상과 보조 정보를 포함하는 위치결정 데이터를 생성할 수 있다.
도 15는 도 1에 도시된 제2 단영상 처리부의 상세한 구성을 나타내는 도면이다.
도 15에 도시한 바와 같이, 본 발명에 따른 제2 단영상 처리부(160)는 위치결정 요청부(161), 단영상 처리부(162), 메타데이터 처리부(163), 매핑부(164)를 포함할 수 있다.
위치결정 요청부(161)는 사용자의 메뉴 또는 키 조작에 따라 위치 결정을 요청 받을 수 있다.
단영상 처리부(162)는 입력 받은 영상 데티러스트림으로부터 운영용 영상으로 사용할 제2 단영상 프레임을 추출하고 그 추출된 제2 단영상 프레임으로부터 영상 ID, 저장 경로, 영상 명 등의 영상 정보를 추출할 수 있다.
메타데이터 처리부(163)는 추출된 단영상 프레임의 P, T, Z, CCTV 식별자, 시간, 상황 인지 정보 등의 특정한 상태를 의미하는 메타 데이터를 추출할 수 있다.
매핑부(164)는 추출된 제2 단영상 프레임에 영상 정보와 메타 데이터를 매핑시킬 수 있다.
도 16은도 1에 도시된 위치 결정 처리부의 상세한 구성을 나타내는 도면이다.
도 16에 도시한 바와 같이, 본 발명에 따른 위치 결정 처리부(170)는 대상영역 산출부(171), 매칭부(172), 적용부(173), 영상좌표 산출부(174), 지상좌표 산출부(175)를 포함할 수 있다.
대상영역 산출부(171)는 추출된 제2 단영상 프레임과 기 구축된 제1 단영상 프레임을 이용하여 특정한 대상 영역을 결정할 수 있다.
매칭부(172) 결정된 제1 단영상 프레임의 대상 영역이 포함하고 있는 기준점 영상칩을 제2 단영상 프레임의 영상 좌표에 매칭시킬 수 있다.
적용부(173)는 다음으로, 위치결정 장치는 매칭된 기준점 영상칩에 상응하는 지상좌표와 영상 좌표를 이용하여 위치결정 모델을 생성할 수 있다.
영상좌표 산출부(174)는 위치결정 모델을 통해 영상 좌표에 상응하는 지상 좌표를 산출할 수 있다.
지상좌표 산출부(175)는 위치결정 모델을 통해 지상 좌표에 상응하는 영상 좌표를 산출할 수 있다.
도 17은 도 1에 도시된 정보 변환부의 상세한 구성을 나타내는 도면이다.
도 17에 도시한 바와 같이, 본 발명에 따른 정보 변환부(180)는 조건 처리부(181), 정보 검색부(182), 영상 선택부(183), 변환 처리부(184)를 포함할 수 있다.
조건 처리부(181)는 영상에서 특정한 상황을 식별하기 위한 조건을 저장할 수 있다.
정보 검색부(182)는 저장된 영상 중 특정한 상황이 발생한 영상을 검색할 수 있다.
영상 선택부(183)는 검색된 영상들 중 특정한 상황이 발생한 영상을 선택할 수 있다.
변환 처리부(184)는 특정한 상황이 발생한 영상 즉, 제2 단영상 프레임, 특정한 발생한 위치를 나타내는 위치 정보 즉, 실제 지상 좌표 등을 기 설정된 포맷의 데이터로 변환할 수 있다.
한편, 이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
이상에서 설명한 실시예들은 그 일 예로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110: 영상 입력부
120: 제1 단영상 처리부
130: 위치결정 모델 생성부
140: 위치결정 데이터 생성부
150: 위치결정 데이터 DB
160: 제2 단영상 처리부
170: 위치결정 처리부
180: 정보 변환부
190: 정보 전송부

Claims (14)

  1. 입력 받은 제1 영상 데이터 스트림을 구성하는 다수의 단영상 프레임들 중 구축 영상으로 사용할 적어도 하나의 제1 단영상 프레임을 추출하는 제1 단영상 처리부;
    추출된 상기 제1 단영상 프레임에 영상 좌표와 지상 좌표를 부여하여 부여된 상기 영상 좌표와 상기 지상 좌표 사이의 관계를 구하기 위한 위치결정 모델을 생성하는 위치결정 모델 생성부;
    추출된 상기 제1 단영상 프레임을 특정한 저장 구조에 따라 구축용 영상으로 저장하여 저장된 상기 구축용 영상을 포함하는 위치결정 데이터를 생성하는 위치결정 데이터 생성부;
    위치 결정 요청이 있으면, 입력 받은 제2 영상 데이터 스트림을 구성하는 다수의 단영상 프레임들 중 운영용 영상으로 사용할 제2 단영상 프레임을 추출하는 제2 단영상 처리부; 및
    추출된 상기 제2 단영상 프레임 내 특정한 상황이 발생한 지점의 영상 좌표를 상기 생성된 위치결정 모델을 이용하여 지상 좌표로 변환하는 위치결정 처리부;
    를 포함하되,
    상기 위치결정 모델을 생성한다는 것은 상기 지상 좌표와 상기 영상 좌표 사이의 변환식의 계수를 결정하는 것을 의미하고, 상기 변환식의 계수는 상기 지상 좌표와 상기 영상 좌표에 따라 변경되되 특정한 위치 정확도로 수렴하도록 변경되는 것을 특징으로 하는 영상 내에서 특정 지점의 위치를 결정하기 위한 장치.
  2. 제1 항에 있어서,
    상기 제1 단영상 처리부는,
    입력 받은 상기 제1 영상 데이터 스트림을 구성하는 다수의 단영상 프레임들 중 특정한 상태의 제1 단영상 프레임을 추출하되, 여기서, 상기 특정한 상태는 P(Pan: CCTV 카메라의 좌우 회전값), T(Tilt: CCTV 카메라의 상하 회전값), Z(Zoom: CCTV 카메라의 줌 확대 축소 값), CCTV 식별자, 시간 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 내에서 특정 지점의 위치를 결정하기 위한 장치.
  3. 제1 항에 있어서,
    상기 위치결정 모델 생성부는,
    추출된 상기 제1 단영상 프레임의 영상 좌표와 지상 좌표를 부여하고,
    상기 제1 단영상 프레임이 포함하고 있는 피사체의 형태에 따라 영상 영역을 구분하며,
    상기 부여된 제1 단영상 프레임의 상기 영상 좌표와 이에 상응하는 지상 좌표 및 상기 구분된 영상 영역을 이용하여 위치 결정에 필요한 상기 위치결정 모델을 생성하는 것을 특징으로 하는 영상 내에서 특정 지점의 위치를 결정하기 위한 장치.
  4. 제1 항에 있어서,
    상기 위치결정 데이터 생성부는,
    추출된 상기 제1 단영상 프레임을 특정한 저장 구조에 따라 구축용 영상으로 저장하고,
    위치 결정을 위해 필요한 보조 정보를 생성하여 특정한 저장 구조에 따라 저장하며,
    저장된 상기 구축용 영상과 상기 보조 정보를 포함하는 상기 위치결정 데이터를 생성하는 것을 특징으로 하는 영상 내에서 특정 지점의 위치를 결정하기 위한 장치.
  5. 제1 항에 있어서,
    상기 위치결정 처리부는,
    추출된 상기 제2 단영상 프레임과 기 구축된 제1 단영상 프레임을 이용하여 특정한 대상 영역을 결정하고,
    결정된 상기 제1 단영상 프레임의 대상 영역이 포함하고 있는 기준점 영상칩을 상기 제2 단영상 프레임의 영상 좌표에 매칭시키며,
    매칭된 상기 기준점 영상칩에 상응하는 지상좌표와 상기 영상 좌표를 이용하여 생성된 위치결정 모델을 통해 상기 제2 단영상 프레임의 영상 좌표에 상응하는 지상 좌표를 산출하는 것을 특징으로 하는 영상 내에서 특정 지점의 위치를 결정하기 위한 장치.
  6. 제5 항에 있어서,
    상기 위치결정 처리부는,
    추출된 상기 제2 단영상 프레임과 기 구축된 제1 단영상 프레임의 PTZ(Pan, Tilt, Zoom)와 영상 화소 사이의 변환 관계를 이용하여 중첩되는 특정한 대상 영역을 결정하는 것을 특징으로 하는 영상 내에서 특정 지점의 위치를 결정하기 위한 장치.
  7. 제1 항에 있어서,
    상기 위치결정 처리부는,
    추출된 상기 제2 단영상 프레임과 기 구축된 제1 단영상 프레임을 이용하여 특정한 대상 영역을 결정하고,
    결정된 상기 제1 단영상 프레임의 대상 영역이 포함하고 있는 기준점 영상칩을 상기 제2 단영상 프레임의 영상 좌표에 매칭시키며,
    매칭된 상기 기준점 영상칩에 상응하는 지상좌표와과 상기 영상 좌표를 이용하여 생성된 위치결정 모델을 통해 특정 지상 좌표에 상응하는 상기 제2 단영상 프레임의 영상 좌표를 산출하는 것을 특징으로 하는 영상 내에서 특정 지점의 위치를 결정하기 위한 장치.
  8. 입력 받은 제1 영상 데이터 스트림을 구성하는 다수의 단영상 프레임들 중 구축 영상으로 사용할 적어도 하나의 제1 단영상 프레임을 추출하는 제1 단영상 처리단계;
    추출된 상기 제1 단영상 프레임에 영상 좌표와 지상 좌표를 부여하여 부여된 상기 영상 좌표와 상기 지상 좌표 사이의 관계를 구하기 위한 위치결정 모델을 생성하는 위치결정 모델 생성단계;
    추출된 상기 제1 단영상 프레임을 특정한 저장 구조에 따라 구축용 영상으로 저장하여 저장된 상기 구축용 영상을 포함하는 위치결정 데이터를 생성하는 위치결정 데이터 생성단계;
    위치 결정 요청이 있으면, 입력 받은 제2 영상 데이터 스트림을 구성하는 다수의 단영상 프레임들 중 운영용 영상으로 사용할 제2 단영상 프레임을 추출하는 제2 단영상 처리단계; 및
    추출된 상기 제2 단영상 프레임 내 특정한 상황이 발생한 지점의 영상 좌표를 상기 생성된 위치결정 모델을 이용하여 지상 좌표로 변환하는 위치결정 처리단계;
    를 포함하되,
    상기 위치결정 모델을 생성한다는 것은 상기 지상 좌표와 상기 영상 좌표 사이의 변환식의 계수를 결정하는 것을 의미하고, 상기 변환식의 계수는 상기 지상 좌표와 상기 영상 좌표에 따라 변경되되 특정한 위치 정확도로 수렴하도록 변경되는 것을 특징으로 하는 영상 내에서 특정 지점의 위치를 결정하기 위한 방법.
  9. 제8 항에 있어서,
    상기 제1 단영상 처리단계는,
    입력 받은 상기 제1 영상 데이터 스트림을 구성하는 다수의 단영상 프레임들 중 특정한 상태의 제1 단영상 프레임을 추출하되, 여기서, 상기 특정한 상태는 P(Pan: CCTV 카메라의 좌우 회전값), T(Tilt: CCTV 카메라의 상하 회전값), Z(Zoom: CCTV 카메라의 줌 확대 축소 값), CCTV 식별자, 시간 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 내에서 특정 지점의 위치를 결정하기 위한 방법.
  10. 제8 항에 있어서,
    상기 위치결정 모델 생성단계는,
    추출된 상기 제1 단영상 프레임의 영상 좌표와 지상 좌표를 부여하고,
    상기 제1 단영상 프레임이 포함하고 있는 피사체의 형태에 따라 영상 영역을 구분하며,
    상기 부여된 제1 단영상 프레임의 상기 영상 좌표와 이에 상응하는 지상 좌표 및 상기 구분된 영상 영역을 이용하여 위치 결정에 필요한 상기 위치결정 모델을 생성하는 것을 특징으로 하는 영상 내에서 특정 지점의 위치를 결정하기 위한 방법.
  11. 제8 항에 있어서,
    상기 위치결정 데이터 생성단계는,
    추출된 상기 제1 단영상 프레임을 특정한 저장 구조에 따라 구축용 영상으로 저장하고,
    위치 결정을 위해 필요한 보조 정보를 생성하여 특정한 저장 구조에 따라 저장하며,
    저장된 상기 구축용 영상과 상기 보조 정보를 포함하는 상기 위치결정 데이터를 생성하는 것을 특징으로 하는 영상 내에서 특정 지점의 위치를 결정하기 위한 방법.
  12. 제8 항에 있어서,
    상기 위치결정 처리단계는,
    추출된 상기 제2 단영상 프레임과 기 구축된 제1 단영상 프레임을 이용하여 특정한 대상 영역을 결정하고,
    결정된 상기 제1 단영상 프레임의 대상 영역이 포함하고 있는 기준점 영상칩을 상기 제2 단영상 프레임의 영상 좌표에 매칭시키며,
    매칭된 상기 기준점 영상칩에 상응하는 지상좌표와 상기 영상 좌표를 이용하여 생성된 위치결정 모델을 통해 상기 제2 단영상 프레임의 영상 좌표에 상응하는 지상 좌표를 산출하는 것을 특징으로 하는 영상 내에서 특정 지점의 위치를 결정하기 위한 방법.
  13. 제12 항에 있어서,
    상기 위치결정 처리단계는,
    추출된 상기 제2 단영상 프레임과 기 구축된 제1 단영상 프레임의 PTZ(Pan, Tilt, Zoom)와 영상 화소 사이의 변환 관계를 이용하여 중첩되는 특정한 대상 영역을 결정하는 것을 특징으로 하는 영상 내에서 특정 지점의 위치를 결정하기 위한 방법.
  14. 제8 항에 있어서,
    상기 위치결정 처리단계는,
    추출된 상기 제2 단영상 프레임과 기 구축된 제1 단영상 프레임을 이용하여 특정한 대상 영역을 결정하고,
    결정된 상기 제1 단영상 프레임의 대상 영역이 포함하고 있는 기준점 영상칩을 상기 제2 단영상 프레임의 영상 좌표에 매칭시키며,
    매칭된 상기 기준점 영상칩에 상응하는 지상좌표와 상기 영상 좌표를 이용하여 생성된 위치결정 모델을 통해 특정 지상 좌표에 상응하는 상기 제2 단영상 프레임의 영상 좌표를 산출하는 것을 특징으로 하는 영상 내에서 특정 지점의 위치를 결정하기 위한 방법.
KR1020150157955A 2015-11-11 2015-11-11 영상 내에서 특정 지점의 위치를 결정하기 위한 장치 및 그 방법 KR101758786B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150157955A KR101758786B1 (ko) 2015-11-11 2015-11-11 영상 내에서 특정 지점의 위치를 결정하기 위한 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150157955A KR101758786B1 (ko) 2015-11-11 2015-11-11 영상 내에서 특정 지점의 위치를 결정하기 위한 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20170055147A KR20170055147A (ko) 2017-05-19
KR101758786B1 true KR101758786B1 (ko) 2017-07-17

Family

ID=59049569

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150157955A KR101758786B1 (ko) 2015-11-11 2015-11-11 영상 내에서 특정 지점의 위치를 결정하기 위한 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101758786B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102473804B1 (ko) * 2020-10-16 2022-12-05 이노뎁 주식회사 영상관제 시스템에서 카메라 영상내 관제 지점의 지도 매핑 방법
KR102422292B1 (ko) * 2020-11-03 2022-07-18 김동욱 2차원 영상으로부터 3차원 좌표를 추출하는 방법 및 그 장치
KR102473078B1 (ko) * 2022-04-26 2022-12-02 주식회사 제노시스 복수의 ptz카메라에 의해 촬영되는 감시영역의 위치산출장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000163590A (ja) * 1998-12-01 2000-06-16 Fujitsu Ltd 三次元モデル変換装置及び方法
KR101273416B1 (ko) * 2012-07-25 2013-06-11 주식회사 동운 좌표정보 및 지형정보 합성을 통한 정밀 수치지도 제작 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000163590A (ja) * 1998-12-01 2000-06-16 Fujitsu Ltd 三次元モデル変換装置及び方法
KR101273416B1 (ko) * 2012-07-25 2013-06-11 주식회사 동운 좌표정보 및 지형정보 합성을 통한 정밀 수치지도 제작 시스템

Also Published As

Publication number Publication date
KR20170055147A (ko) 2017-05-19

Similar Documents

Publication Publication Date Title
KR101856488B1 (ko) 3차원 맵핑을 이용하는 객체 추적 방법, 이를 이용한 장치 및 컴퓨터-판독가능 매체
US20210274358A1 (en) Method, apparatus and computer program for performing three dimensional radio model construction
KR101965878B1 (ko) 시각적 피처들을 이용한 이미지들의 자동 연결
US20130335415A1 (en) Converged security management system and method
CN111046725B (zh) 一种基于监控视频的人脸识别和点云融合的空间定位方法
JP2019022205A (ja) センシングデータ処理システムとそのエッジサーバ、伝送トラフィック削減方法およびプログラム
US20150116487A1 (en) Method for Video-Data Indexing Using a Map
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
JP2015061239A (ja) 撮像管理システム、撮像管理装置及びそれらの制御方法、プログラム
US9208555B1 (en) Method for inspection of electrical equipment
KR102327872B1 (ko) 영상기반 추적 객체의 gps 좌표추출장치 및 그 장치의 구동방법
KR101758786B1 (ko) 영상 내에서 특정 지점의 위치를 결정하기 위한 장치 및 그 방법
CN114969221A (zh) 一种更新地图的方法及相关设备
Dabove et al. Close range photogrammetry with tablet technology in post-earthquake scenario: Sant’Agostino church in Amatrice
CN114363161B (zh) 异常设备的定位方法、装置、设备及介质
JP6943183B2 (ja) 位置特定装置、位置特定方法、位置特定プログラムおよびカメラ装置
CN114185073A (zh) 一种位姿显示方法、装置及系统
KR101474521B1 (ko) 영상 데이터베이스 구축 방법 및 장치
KR20110064540A (ko) 건물 텍스처 생성 장치 및 방법
KR101700651B1 (ko) 위치정보 기반의 공유 경로데이터를 이용한 객체 트래킹 장치
KR101686797B1 (ko) 3차원 지형 지물을 고려한 cctv 가시권 분석방법
Hong et al. The use of CCTV in the emergency response: A 3D GIS perspective
KR101209598B1 (ko) 감시 시스템
JP2016115082A (ja) 画像検索システム及び画像検索方法
KR102367782B1 (ko) 객체추적장치 및 그 장치의 구동방법

Legal Events

Date Code Title Description
A201 Request for examination
GRNT Written decision to grant