KR20180125095A - Ptz 촬상장치 기반 변위 측정 시스템 및 방법 - Google Patents

Ptz 촬상장치 기반 변위 측정 시스템 및 방법 Download PDF

Info

Publication number
KR20180125095A
KR20180125095A KR1020170059118A KR20170059118A KR20180125095A KR 20180125095 A KR20180125095 A KR 20180125095A KR 1020170059118 A KR1020170059118 A KR 1020170059118A KR 20170059118 A KR20170059118 A KR 20170059118A KR 20180125095 A KR20180125095 A KR 20180125095A
Authority
KR
South Korea
Prior art keywords
displacement
marker
imaging
detecting
roi
Prior art date
Application number
KR1020170059118A
Other languages
English (en)
Other versions
KR101972582B1 (ko
Inventor
박길흠
정유수
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020170059118A priority Critical patent/KR101972582B1/ko
Publication of KR20180125095A publication Critical patent/KR20180125095A/ko
Application granted granted Critical
Publication of KR101972582B1 publication Critical patent/KR101972582B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B13/00Measuring arrangements characterised by the use of fluids
    • G01B13/24Measuring arrangements characterised by the use of fluids for measuring the deformation in a solid
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06K9/3233
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명에 따르는 PTZ 촬상장치 기반 변위 측정 시스템은, 대상물에 부착되며 평면의 구성요소들을 구비하는 마커들; 패닝 및 틸트, 줌 기능을 가지며 촬상을 이행하여 촬상정보를 생성하는 촬상장치; 및 미리 정해둔 주기마다 상기 촬상장치의 패닝 및 틸트, 줌 기능을 제어하여 상기 마커들 각각에 대해 촬상을 이행하고, 그에 따른 촬상정보를 제공받으며, 상기 촬상정보에서 마커의 구성요소들을 검출하고, 구성요소들로부터 특징점들을 검출하고, 그 특징점들에 대한 변위를 검출하여 상기 대상물의 변위를 검출하는 제어장치;를 구비함을 특징으로 한다.

Description

PTZ 촬상장치 기반 변위 측정 시스템 및 방법{Development for Displacement Measurement System Based on a PTZ Camera and Method thereof}
본 발명은 변위 측정 시스템에 관한 것으로, 더욱 상세하게는 건물의 붕괴 등과 같은 위험을 사전에 측정하기 위해 대상물에 부착된 마커들을 통해 대상물의 저주파(low frequency) 변위를 감시하며, 팬(Pan), 틸트(Tilt) 및 줌(Zoom) 기능을 활용하여 넓은 영역에 설치된 마커들을 감시할 수 있는 PTZ 촬상장치(Pan Tilt Zoom Camera) 기반 변위 측정 시스템 및 방법에 관한 것이다.
변위 측정은 기계, 로봇, 건축 등 다양한 산업에서 요구되는 주요 기술이다. 특히 대형 구조물에 대해 주요 부위의 변위를 측정하는 것은 구조물의 건전도 진단(Structural Health Monitoring; SHM)에 반영되어 외부 교란에 따른 구조물의 응답이 얼마나 적절하게 이루어지는지, 건물의 붕괴 위험이 어느 정도인지 등을 판단하는 중요한 인자로서, 해당 분야에 대한 연구는 활발하게 진행되고 있다.
종래의 접촉식 변위 측정 센서는 대상물의 변위특성에 따라 상용화되기에는 한계가 있다. 즉 대형 다리나 대형 구조물에 대한 변위 측정은, 변위측정장치를 설치하는 것부터 까다로운 일이었으며 측정가능한 변위의 최대치가 제약되었으며, 고정된 레퍼런스 포인트를 설정하기기 까다로운 문제가 있음은 물론이고 고비용이며 수명 또한 짧아 상용화가 어려운 문제가 있다.
이에따라 종래에는 카메라를 이용하여 대상물의 주요 부위에 부착된 마커를 인식하고 그 위치를 측정함으로써, 해당 대상물의 변위를 측정하는 비전 기반 변위 측정 기술을 상용화시키기 위한 연구가 활발히 수행되고 있다.
상기 SHM을 위해 측정되는 변위는 크게 두개로 나눌 수 있으며, 그중 하나는 저주파 또는 초장파(very low frequency)를 가지는 변위로서 이는 대상물의 낙후 및 하중 초과로 인해 발생된다. 다른 하나는 고주파(high frequency)를 가지는 변위를 가지는 변위로서 이는 지진과 강풍 그리고 충격 등의 이유로 발생한다. 이러한 두가지의 변위 모두는 SHM에 있어 중요하게 여겨진다. 특히 저주파를 가지는 변위는 구조물의 붕괴 위험을 사전에 감시하기 위해 사용되며, Stephen el al.(Stephen GA, Brownjohn JMW, Taylor CA. Visual monitoring of the Humber Bridge. Engineering Structures 1993; 15 : 197.208.)은 다리의 붕괴 위험을 사전에 감지하고자 초장파(very low frequency) 움직임을 가지는 변위를 비전으로 측정하는데 성공하였다.
상기한 비전 기반 변위 측정 기술의 사용화에 있어 변위 측정 기술의 정확성은 중요한 사항이므로, 상기 측정 변위의 정확성을 향상시키기 위해 다양한 연구가 수행되고 있다.
이러한 연구 중 하나로, Feng(Dongming Feng, Maria Q.Feng, Ekin Ozer and Yoshio Fukuda. A Vision-Based Sensor for Noncontact Structural Displacement Measurement. Sensors 2015; 15 : 16557-16575.)은 비전 기반 변위 측정에 있어 정확성을 위해 진보된 템플릿 매칭(Template Matching) 방식을 변위 측정에 접목하여 서브픽셀(Subpixel) 단위까지 객체를 검출하여 변위를 측정할 수 있는 방법을 제안하였다.
또한 Sladek(Jerzy Sladek, Ksenia Ostrowskab, Piotr Kohuta, Krzysztof Holaka, Adam G.skab, Tadeusz Uhla. Development of a vision based deflection measurement system and its accuracy assessment. Measurement 2013; 46 : 1237-1249.)은 카메라 렌즈계 왜곡과 스케일 왜곡을 보정하는 기법을 적용하여 변위 측정의 정확성을 향상시키는 방법을 제안하였다.
그리고 Ribeiro(D. Ribeiroa, R. Calcadab, J. Ferreirac, T. Martinsc. Non-contact measurement of the dynamic displacement of railway bridges using an advanced video-based system. Engineering Structures 2014; 75 : 164-180.)는 RANSAC(RAndom SAmple Consensus) 알고리즘을 사용하여 마커에 표기된 라인을 정확히 추정하고 교점을 찾는 방식으로 변위 측정 정확도를 높이는 방법을 제안하였다.
또한 비전 기반 변위 측정 시스템의 저비용과 설치의 용이성을 더욱 강화하기 위해 Fukuda(Maria Q. Feng, Masanobu Shinozuka. Cost-effective vision-based system for monitoring dynamic response of civil engineering structures. Structural Control Health Monitoring 2010; 174 : 918-936.)는 노트북과 캠코더를 일체형으로 독립형(Stand Alone) 비전 기반 변위 측정 시스템을 구축하고 변위 정보를 무선 인터넷으로 송신 받아 관리하는 비용 효율이 높은(Cost-effective) 시스템을 제안하였다.
그 외에 다양한 구조물에 대해 적용 가능한 비전 기반 변위 측정 시스템을 위해 Park, Lee(Jong-Woong Parka, Jong-Jae Leeb, Hyung-Jo Junga. Vision-based displacement measurement method for high-rise building structures using partitioning approach. NDT & E International 2010; 43 : 642-7., Jong-Jae Lee, Hoai-Nam Ho and Jong-Han Lee. A Vision-Based Dynamic Rotational Angle Measurement System for Large Civil Structures. Sensors 2012; 12 : 7326-7336.)는 높은 구조물에 대해 비전기반 변위 측정 기법을 연구하였고, Kim(Kim, S.W.; Kim, N.S. Dynamic characteristics of suspension bridge hanger cables using digital image processing. NDT E Int. 2013, 59, 25~33.)은 다리의 행거 케이블(Hanger Cable)의 장력(Tension)을 추정하는 영상처리 알고리즘을 연구하였다.
상술한 바와 같은 종래의 비전 기반 변위 측정에 관한 연구들은 시야각이 고정된 카메라를 이용했기 때문에 FOV(Field of View)와 공간 해상도 사이의 이율 배반(Trade Off) 관계를 벗어날 수 없었다. 좀 더 설명하면, 측정하고자 하는 마커 개수를 늘리고자 FOV를 넓힐수록 공간 해상도는 떨어지고, 정확도를 높이고자 공간 해상도를 넓힐수록 측정 가능한 마커의 개수와 측정 가능 최대 변위는 줄어들게 된다. 이러한 제약 때문에 종래에는 마커 1~2개를 이용하여 큰 구조물의 변위를 대표하거나 작은 구조물에 대해서만 적용 가능한 문제가 있었다.
이에따라 종래에는 측정 가능한 최대 변위와 변위 감시 범위를 확장할 수 있는 기술의 개발이 절실하게 요망되었다.
대한민국 특허공개 제1020150010076호 대한민국 특허등록 제1016866210000호 대한민국 특허등록 제1006536970000호 대한민국 특허공개 제1020160035374호
본 발명은 건물의 붕괴 등과 같은 위험을 사전에 측정하기 위해 대상물에 부착된 마커들을 통해 대상물의 저주파(low frequency) 변위를 감시하며, 팬(Pan), 틸트(Tilt) 및 줌(Zoom) 기능을 활용하여 넓은 영역에 설치된 마커들을 감시할 수 있는 PTZ 촬상장치(Pan Tilt Zoom Camera) 기반 변위 측정 시스템 및 방법을 제공하는 것을 그 목적으로 한다.
또한 본 발명의 다른 목적은 건물의 붕괴 등과 같은 위험을 사전에 측정하기 위해 대상물에 부착된 마커들을 통해 대상물의 저주파(low frequency) 변위를 감시하며, 팬(Pan), 틸트(Tilt) 및 줌(Zoom) 기능을 통해 마커를 추적하여 감시영역을 확대시킬 수 있는 PTZ 촬상장치(Pan Tilt Zoom Camera) 기반 변위 측정 시스템 및 방법을 제공하는 것이다.
또한 본 발명의 또 다른 목적은 PLZ 촬상장치로부터의 촬상정보 중 마커 영역에 대해 촬상장치와 마커 사이의 평면 관계를 고려하여 미리 설정된 호모그라피 매트릭스를 적용하여 원근 변환을 수행하고, 상기 원근 변환을 통해 원근 왜곡이 제거된 촬상정보에서 템플릿 매칭을 통해 마커 영역을 검출하고, 상기 마커 영역에서 특징점들을 검출하여 변위를 검출하여, 변위 검출의 정확도를 높이는 PTZ 촬상장치 기반 변위 측정 시스템 및 방법을 제공하는 것이다.
또한 본 발명의 또 다른 목적은 특징점 검출시에 RANSAC 타원정합(RANSAC ELLIPSE FITTING)을 이용하여 마커의 구성요소들을 모델링함으로써 서브 픽셀 단위의 특징점의 검출도 가능하게 하여 변위 검출의 정확도를 높이는 PTZ 촬상장치 기반 변위 측정 시스템 및 방법을 제공하는 것이다.
또한 본 발명의 또 다른 목적은 촬상장치로서 PTZ 제어가 가능한 IP 카메라(Internet Protocol Camera)를 사용하여 인터넷이 연결 가능한 어느 PC에서든 영상을 송신받아 대상물의 변위를 감시할 수 있게 하여 변위 측정 시스템에 대한 설치를 용이하게 하는 PTZ 촬상장치 기반 변위 측정 시스템 및 방법을 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따르는 PTZ 촬상장치 기반 변위 측정 시스템은, 대상물에 부착되며 평면의 구성요소들을 구비하는 마커들; 패닝 및 틸트, 줌 기능을 가지며 촬상을 이행하여 촬상정보를 생성하는 촬상장치; 및 미리 정해둔 주기마다 상기 촬상장치의 패닝 및 틸트, 줌 기능을 제어하여 상기 마커들 각각에 대해 촬상을 이행하고, 그에 따른 촬상정보를 제공받으며, 상기 촬상정보에서 마커의 구성요소들을 검출하고, 구성요소들로부터 특징점들을 검출하고, 그 특징점들에 대한 변위를 검출하여 상기 대상물의 변위를 검출하는 제어장치;를 구비함을 특징으로 한다.
본 발명은 건물의 붕괴 등과 같은 위험을 사전에 측정하기 위해 대상물에 부착된 마커들에 대해 저주파(low frequency) 변위를 감시하며, 팬(Pan), 틸트(Tilt) 및 줌(Zoom) 기능을 활용하여 넓은 영역에 설치된 마커들을 감시하며 마커가 이동한 경우에도 관찰할 수 있게 하는 효과를 야기한다.
또한 본 발명은 건물의 붕괴 등과 같은 위험을 사전에 측정하기 위해 대상물에 부착된 마커들을 통해 대상물의 저주파(low frequency) 변위를 감시하며, 팬(Pan), 틸트(Tilt) 및 줌(Zoom) 기능을 통해 마커를 추적하여 감시영역을 확대시킬 수 있게 하는 효과를 야기한다.
또한 본 발명은 PLZ 촬상장치로부터의 촬상정보 중 마커 영역에 대해 촬상장치와 마커 사이의 평면 관계를 고려하여 미리 설정된 호모그라피 매트릭스를 적용하여 원근 변환을 수행하고, 상기 원근 변환을 통해 원근 왜곡이 제거된 촬상정보에서 템플릿 매칭을 통해 마커 영역을 검출하고, 상기 마커 영역에서 특징점들을 검출하여 변위를 검출하여, 변위 검출의 정확도를 높이는 효과를 야기한다.
또한 본 발명은 특징점 검출시에 RANSAC 타원정합(RANSAC ELLIPSE FITTING)을 이용하여 마커의 구성요소들을 모델링함으로써 서브 픽셀 단위의 특징점의 검출도 가능하게 하여 변위 검출의 정확도를 높이는 효과를 야기한다.
또한 본 발명은 촬상장치로서 PTZ 제어가 가능한 IP 카메라(Internet Protocol Camera)를 사용하여 인터넷이 연결 가능한 어느 PC에서든 영상을 송신받아 대상물의 변위를 감시할 수 있게 하여 변위 측정 시스템에 대한 설치를 용이하게 할 수 있는 효과를 야기한다.
도 1은 PTZ 촬상장치 기반 변위 측정 시스템의 구성도.
도 2는 도 1의 마커를 예시한 도면.
도 3은 본 발명의 바람직한 실시예에 따르는 프리셋 데이터 구축 프로세스의 절차도.
도 4는 본 발명의 바람직한 실시예에 따르는 프리셋 데이터를 예시한 도면.
도 5 내지 도 9는 본 발명의 바람직한 실시예에 따라 촬상정보를 처리하는 과정을 예시한 도면.
도 10은 본 발명의 바람직한 실시예에 따르는 변위 측정 프로세스의 절차도.
도 11 및 도 12는 본 발명의 바람직한 실시예에 따라 촬상정보를 처리하는 과정을 예시한 도면.
본 발명은 건물의 붕괴 등과 같은 위험을 사전에 측정하기 위해 대상물에 부착된 마커들에 대해 저주파(low frequency) 변위를 감시하며, 팬(Pan), 틸트(Tilt) 및 줌(Zoom) 기능을 활용하여 넓은 영역에 설치된 마커들을 감시하며 마커가 이동한 경우에도 관찰할 수 있게 한다.
본 발명은 건물의 붕괴 등과 같은 위험을 사전에 측정하기 위해 대상물에 부착된 마커들에 대해 저주파(low frequency) 변위를 감시하며, 팬(Pan), 틸트(Tilt) 및 줌(Zoom) 기능을 통해 마커를 추적하여 감시영역을 확대시킬 수 있다.
또한 본 발명은 PLZ 촬상장치로부터의 촬상정보 중 마커 영역에 대해 촬상장치와 마커 사이의 평면 관계를 고려하여 미리 설정된 호모그라피 매트릭스를 적용하여 원근 변환을 수행하고, 상기 원근 변환을 통해 원근 왜곡이 제거된 촬상정보에서 템플릿 매칭을 통해 마커 영역을 검출하고, 상기 마커 영역에서 특징점들을 검출하여 변위를 검출하여, 변위 검출의 정확도를 높인다.
또한 본 발명은 특징점 검출시에 RANSAC 타원정합(RANSAC ELLIPSE FITTING)을 이용하여 마커의 구성요소들을 모델링함으로써 서브 픽셀 단위의 특징점의 검출도 가능하게 하여 변위 검출의 정확도를 높인다.
또한 본 발명은 촬상장치로서 PTZ 제어가 가능한 IP 카메라(Internet Protocol Camera)를 사용하여 인터넷이 연결 가능한 어느 PC에서든 영상을 송신받아 대상물의 변위를 감시할 수 있게 하여 변위 측정 시스템에 대한 설치를 용이하게 한다.
이러한 본 발명의 바람직한 실시예에 따르는 PTZ 촬상장치 기반 변위 측정 시스템을 도면을 참조하여 상세히 설명한다.
<PTZ 촬상장치 기반 변위 측정 시스템의 구성>
도 1은 본 발명의 바람직한 실시예에 따르는 PTZ 촬상장치 기반 변위 측정 시스템의 구성도이다. 상기 PTZ 카메라 기반 변위 측정 시스템은 제어장치(100)와 촬상장치(102)와 제1 내지 제N마커(1041~104N)로 구성된다.
상기 제어장치(100)는 감시하고자 하는 대상물에 부착된 제1 내지 제N마커(1041~104N)의 PTZ 좌표정보와 템플릿 이미지, 호모그라피 매트릭스로 구성되는 프리셋 데이터를 미리 설정하는 프리셋 데이터 구축 프로세스와, 상기 프리셋 데이터를 이용하여 상기 촬상장치(102)를 통해 상기 제1 내지 제N마커(1041~104N)를 순차적으로 촬상하면서 촬상정보를 획득하고, 그 촬상정보를 이용하여 대상물의 변위를 측정하고, 상기 마커가 촬상면의 중앙부분에 위치되게 촬상할 수 있도록 상기 마커를 추적하여 촬상장치(102)의 PLZ 좌표정보를 갱신하여 상기 대상물의 변동에 따라 제1 내지 제N마커(1041~104N)가 이동한 경우에도 상기 제1 내지 제N마커(1041~104N)를 이용한 대상물의 변위를 측정할 수 있게 하는 변위 측정 프로세스를 수행한다.
상기 촬상장치(102)는 PTZ 제어가 가능한 IP 카메라로서 설치의 용이성을 강화함과 아울러 무선 PTZ 제어 및 촬상정보 송수신을 가능하게 한다. 여기서 상기 P는 팬(PANN), 상기 T는 틸트(TILT), 상기 Z는 줌(ZOOM)을 의미한다.
상기 제1 내지 제N마커(1041~104N)는 다수의 평면 구성요소를 가지는 시트 등으로 형성되며, 상기 구성요소는 다섯개의 적색원으로 구성될 수 있다. 상기 다섯개의 원은 하나를 중심으로 상하좌우에 네개가 배치될 수 있다. 이러한 마커의 구성요소는 촬상장치(102)를 통해 촬상될 때에 다른 객체와는 명확하게 식별될 수 있는 한 다양한 형태를 가질 수 있음은 본 발명에 의해 당업자에게 자명하다.
이러한 제1 내지 제N마커(1041~104N)는 동일하게 형성되므로, 그 중 어느 하나를 도시한 도 2를 참조하여 좀 더 설명하면, 중심에 위치하는 원(1)은 해당 마커에서의 대상물의 변위를 계산하는 데에 사용되고, 가장자리에 위치하는 원들(2,3,4,5)은 호모그라피 매트릭스의 산출을 위해 사용된다.
이제 본 발명의 바람직한 실시예에 따르는 변위 측정 방법을 프리셋 데이터 구축 프로세스와 변위 측정 프로세스로 나누어 설명한다.
<프리셋 데이터 구축 프로세스>
상기 제어장치(100)에 의해 수행되는 프리셋 데이터 구축 프로세스의 절차를 도시한 것이 도 3이다.
상기 제어장치(100)는 상기 프리셋 데이터 구축 프로세스에 따라 제1 내지 제N마커(1041~104N) 각각에 대해 순서대로 PTZ 좌표정보와 템플릿 이미지, 호모그라피 매트릭스를 생성하고 이를 프리셋 데이터로서 저장한다.
이하 제1 내지 제N마커(1041~104N)에 대한 프리셋 데이터 생성과정은 동일하므로, 상기 제1 내지 제N마커(1041~104N) 중 어느 하나인 제i마커에 대한 PTZ 좌표와 템플릿 이미지, 호모그라피 매트릭스를 생성하여 프리셋 데이터 저장영역에 저장하는 것만을 설명한다.
상기 제어장치(100)는 미도시된 사용자 인터페이스를 통한 사용자의 요청에 따라 촬상장치(102)의 팬(Pan), 틸트(Tilt) 및 줌(Zoom)을 제어하여, 촬상장치(102)의 촬상면이 제i마커에 대향되게 위치시킨다. 이때 상기 제어장치(100)는 수동으로 설정된 제i마커에 대응되는 PTZ 제어정보인 PLZ 좌표정보를 상기 프리셋 데이터의 PLZ 좌표정보 저장영역(P,L,Z)에 기록한다. 이후 상기 제어장치(100)는 상기 촬상장치(102)를 통해 제i마커가 위치하는 대상물을 촬상한다(200단계).
상기 제어장치(100)는 상기 촬상장치(102)로부터 촬상정보를 제공받아, 그 촬상정보에서 제i마커가 위치하는 영역인 MBR(Minimum bounding rectangle)을 상기 사용자 인터페이스를 통해 사용자로부터 설정받아, 상기 MBR의 이미지를 제i마커의 템플릿(Template) 이미지(MTi)로서 상기 프리셋 데이터의 템플릿 이미지 저장영역에 기록한다(202단계).
또한 상기 제어장치(100)는 상기 제i마커의 템플릿 이미지에서 마커의 구성요소들인 5개의 원에 대한 중심점들인 특징점을 검출하고, 가장자리에 위치하는 4개의 원의 중심점을 이용하여 원근 변환시에 사용되는 호모그라피 매트릭스를 산출한다. 이후 상기 제어장치(100)는 제i마커에 대한 호모그라피 매트릭스를 상기 프리셋 데이터의 호모그라피 매트릭스 저장영역에 기록한다(204,206단계).
도 4는 본 발명에 따르는 프리셋 데이터를 예시한 것으로, 상기 프리셋 데이터에는 제1 내지 제N마커(1041~104N)에 대한 설정정보들이 저장된다. 즉, i번째 마커를 촬영하기 위한 PTZ 좌표정보는 Pi, Ti, Zi이고, 템플릿 이미지는 MTi, 호모그래피 매트릭스는 Hi이다.
상기한 바와 같이 구성되는 프리셋 데이터 구축 프로세스의 각 과정을 좀 더 상세하게 설명한다.
<PTZ 좌표정보 생성>
먼저 PTZ 좌표정보 생성과정을 좀 더 설명한다.
프리셋 데이터 구축을 위해 PTZ 좌표정보를 생성하는 것은, 제i마커의 변위 측정을 위해 적절한 촬상정보를 획득하기 위한 PTZ 좌표정보를 획득하여 상기 프리셋 데이터에 기록하는 것이다. 이는 수동으로 PTZ를 제어하여 촬상장치의 촬상면에 제i마커를 위치시킨 상태에서의 PTZ 좌표정보를 프리셋 데이터의 Pi, Ti, Zi 기록영역에 각각 기록하는 것이다. 이는 도 5의 (a) 및 (b)는 마커가 설치된 대상물을 촬상할 수 있도록 촬상장치(102)를 PTZ 제어한 상태에서 촬상을 이행하고, 그 결과를 예시한 것이다.
<템플릿 이미지 생성>
그리고 상기 촬상정보로부터 템플릿 이미지를 생성하는 과정을 좀 더 설명한다.
상기한 촬상장치(102)로부터 촬상정보가 제공되면, 제어장치(100)는 상기 촬상정보에서 배경과 구분되는 마커 영역의 MBR(Minimum bounding rectangle)를 수동으로 입력받은 후에, 해당 영역의 이미지를 템플릿 이미지로서, 프리셋 데이터의 템플릿 이미지 기록영역에 기록한다. 상기 템플릿 이미지는 변위 측정 프로세스에서 ROI(Region of interest)를 찾아내는데 이용된다. 도 6의 (a) 및 (b)는 촬상정보에서 획득한 템플릿 이미지들을 예시한 것이다.
<특징점 검출>
그리고 상기 템플릿 이미지로부터 마커의 특징점들을 검출하는 과정을 좀 더 설명한다.
먼저 제어장치(100)는 상기 템플릿 이미지에서 마커의 구성요소인 5개의 원을 검출한다. 이는 촬상정보를 그레이 스케일(grayscale)로 변환한 후, 오츠 알고리즘(Otsu, N. A Threshold Selection Method from Gray-Level Histograms. IEEE Trans. Syst. Man Cybern. 1979,9, 62~61.)을 이용하여 한계값을 결정하여, 그 한계값에 따라 이진화를 수행한다.
도 7의 (a),(b)는 도 6의 (a),(b)에 대해 그레이 스케일로 변환한 경우를 예시한 것이다. 상기 그레이 스케일로 변환한 촬상정보는 어두운 화소값을 가지는 5개의 원 영역과 보다 밝은 값을 가지는 배경으로 구성되며, 해당 이미지들의 히스토그램은 도 7의 (c),(d)와 같이 원영역과 원이 아닌 영역에 해당하는 두가지 분포를 가진다.
특히 상기 이진화에 있어, 임계값을 어떻게 선택하느냐에 따라 5개의 원영역 검출 결과의 성능이 결정되므로 상기 임계값 선택은 매우 중요하다. 이에 본 발명에서는 도 7의 (a),(b)에 대해 그 히스토그램이 도 7의(c),(d)와 같이 쌍봉형임을 감안하여 두 분포의 분산이 가장 커지는 임계값을 선택하는 오츠 알고리즘을 사용한다.
좀더 설명하면, 초기 임계값 T가 설정되면, 상기 T보다 어두운 픽셀들의 비율은 α, 그 픽셀들의 평균 밝기는 μ1, 그 픽셀들의 분산은 σ2 1 이다. 그리고 상기 T보다 밝은 픽셀들의 비율은 β, 그 픽셀들의 평균 밝기는 μ2, 그 픽셀들의 분산은 σ2 2 이다. 이 경우에 제어장치(100)는 오츠 알고리즘을 적용한 수학식 1에 따라 상기 임계값 T가 클래스 사이의 분산을 최대화하는 값을 선택한다.
Figure pat00001
이러한 이진화후에, 제어장치(100)는 상기 이진화된 템플릿 이미지에서 타원들을 모델링한다. 상기 모델링되는 타원들의 중심점은 마커의 특징점들이 된다. 상기 특징점들 중 중심점은 변위를 검출하고, 다른 특징점들의 호모그래피 매트릭스를 산출하는 데에 사용된다.
상기 타원 방정식과 중심점(Cx,Cy)는 수학식 2 및 수학식 3에 따라 검출된다.
Figure pat00002
Figure pat00003
상기 타원 방정식의 계수 a,b,c,d,e,f는 타원 파라미터를 나타내며, 이는 최소 제곱법을 사용하여 산출된다.
특히 본 발명에서는 RANSAC 타원 정합(RANSAC Ellipse Fitting) 알고리즘을 사용하여 타원 파라메터를 적정값으로 결정한다.
도 8은 도 7의 (e),(f)에 나타낸 원의 윤곽지점에 RANSAC 타원 정합을 적용하여 도출한 최적의 타원 모형을 나타낸 것이다.
이를 좀더 설명하면, 상기 오츠 방식에 의해 이진 이미지를 얻은 후에, 8개의 이웃 픽셀에서 하나는 255의 픽셀값을 가지고 적어도 두개 이상의 픽셀의 값이 0인 윤곽을 선택한다. 타원 모델의 중심과 가장자리는 빨간색으로 강조 표시한다. 이에따라 RANSAC 타원 정합에 의해 최적의 타원 모델이 결정된다. 이는 불확실한 가장자리나 보이지 않는 원의 일부 등의 무효한 데이터 포인트들을 제외시켜 타원 모델을 최적화한다.
이와같이 추출된 모든 윤곽선 포인트들을 사용하여 타원 모델을 구성하고, RANSAC 타원 정합 알고리즘을 통해 최적의 계수를 결정한다. 이와 같이 본 발명은 마커에 포함된 원들 각각에 대한 타원 모델을 구성할 수 있다. 이러한 절차를 통해 획득된 다섯개의 원에 대응되는 타원 모델에서 추출한 중심점들이 본 발명에서 사용되는 특징점들이 되며, 이 다섯개의 특징점들은 호모그라피 매트릭스의 계산 및 변위 측정을 위해 사용된다. 이를 위해 최소 y, 최소 x, 최대 y, 최소 y 그리고 마지막 포인트를 1 내지 5번째 특징점으로 기록한다. 상기 1 내지 4번째 특징점들은 호모그라피 매트릭스의 계산을 위해 사용되고, 5번째 특징점은 기준 평면으로 매핑된 상태에서 변위 측정을 위해 사용된다.
여기서, 대상물에 위치하는 마커의 원들은 촬상면에서 타원들로 투영된다. 이에 본 발명은 상기 마커의 원들을 타원들로 모델링하여 특징점들을 추출한다. 이러한 접근은 마커 평면과 투영면 사이의 틸트 관계에 보다 안정적인 특성화를 가능하게 한다. 또한 이러한 접근은 가장자리가 불확실하거나 다른 장애물에 의해 부분적으로 가려진 경우에도 중심점의 위치를 신뢰할 수 있게 함으로써 변위 측정의 신뢰도를 향상시킨다. 즉, 본 발명은 마커를 구성하는 원들의 중심점들만을 특징점으로 사용함으로써 서브 픽셀의 해상도로 변위를 측정할 수 있다.
이와같이 본 발명은 상기 이진화된 템플릿 이미지로부터의 타원들의 윤곽(Contour)에 대해 RANSAC 타원 정합(RANSAC Ellipse Fitting)을 적용한다. 이를 위해 타원 모델 파라미터를 결정하는 최소한의 데이터인 5개의 점을 랜덤으로 선택한다. 상기 5개의 점에 대해 최소자승법을 사용하여 모델 파라미터를 구한다. 이후 모든 데이터에 대해서 타원과 데이터 사이의 거리가 미리 결정해놓은 허용치보다 작은 데이터의 수를 구한다. 상기 허용치안에 들어가는 데이터를 인라이어(inlier)라고 하며, 경계 밖의 데이터를 아웃라이어(outlier)라고 한다. 여기서, 전체 데이터에서 인라이어가 차지하는 비율이 일정 수준(threshold)이상이 되면 인라이어들만 가지고 다시 모델 파라미터를 결정하여 최적의 파라미터를 찾는다. 또한 인라이어의 비율이 일정 수준보다 작으면 다시 랜덤으로 데이터를 선택해 앞의 과정을 반복한다.
이러한 RANSAC 기법은 타원 정합(Ellipse Fitting)을 수행함에 있어 유효하지 않은 데이터를 모델에 포함시키지 않음으로써 최적의 타원 모델을 계산하는 방식으로 원의 일부 영역이 가려짐(closing) 또는 불명확한 엣지(edge)로 인해 그 신뢰성을 잃은 데이터가 포함될 때 강인한 기법이다.
<호모그래피 매트릭스 생성>
이제 호모그래피 매트릭스 생성과정을 좀 더 설명한다.
마커가 부착된 대상물의 평면, 즉 타겟 평면은 촬상면과 평행되게 위치하지 않으므로 촬상정보에는 원근 왜곡이 발생된다. 이에 타겟 평면상의 마커의 변위는 두 평면사이의 위치 관계를 고려하여 원근 왜곡 효과를 보상한 후에 측정되어야 한다.
이에 본 발명에서는 마커의 변위측정의 정확성을 높이기 위해 호모그라피를 적용하여 원근 왜곡을 제거한다. 도 9를 참조하면 상기 호모그라피는 실제 평면인 x-y 평면의 X 포인트를 촬상면에 평행되는 평면 x'-y'에 위치하는 새로이 투영된 X' 포인트로 변환하여 두 평면을 매핑하는 매트릭스를 생성하는 것이다. 즉, x-y 평면의 X1(x1,y1), X2(x2,y2), X3(x3,y3), X4(x4,y4)는 x'-y' 평면의 X1'(x1',y1'), X2'(x2',y2'), X3'(x3',y3'), X4'(x4',y4')에 각각 대응된다. 특히 상기 포인들 X1'(x1',y1'), X2'(x2',y2'), X3'(x3',y3'), X4'(x4',y4')은 중심점 X0'으로부터 R(mm)만큼 떨어진 위치에 위치한다. 상기 거리 R은 네개의 포인트들에 대해 동일하며 그들 사이에는 직각 관계를 가지며 이는 직교 좌표 시스템에 따른다. 그러므로 촬상면과 평행되는 표준 평면은 호모그래피를 통해 밀리미터 단위의 원근 왜곡 보정된 평면으로 정의될 수 있다.
이러한 호모그라피를 위한 선형 변환은 수학식 4에 따른다.
Figure pat00004
상기 수학식 4에서 H는 3*3 행렬이며, 상기 H는 직접 선형 변환(direct linear transformation, DLT) 알고리즘으로 산출될 수 있다.
본 발명은 DLT 알고리즘을 적용하여 마커 평면을 표준 평면으로 매핑하기 위해 최소 4개의 포인트를 요구한다. 그리고 상기 도 9에서 R은 마커의 중심점들 사이의 실제 거리(mm)이다.
상기한 호모그라피는 변환전 이미지에서의 x-y 좌표와 변환후 이미지에서의 x'-y' 좌표에 기초하는 DLT 알고리즘을 사용한 매핑 프로세스를 통해 결정된다. 이로서 MBR의 각 측면에 있는 4개의 꼭지점에서 마커의 4개의 외측 각 사이의 mm단위의 실제 거리를 얻을 수 있다. 따라서 표준 평면은 mm의 거리 단위를 갖게 된다.
이러한 과정을 거쳐 산출된 호모그라피 매트릭스 H는 프리셋 데이터의 호모그라피 매트릭스 기록영역(Hi)에 기록된다.
<변위 측정 프로세스>
이제 상기 제어장치(100)에 의해 수행되는 변위 측정 프로세스의 절차를 도시한 것이 도 10을 참조하여, 대상물에 설치된 제1 내지 제N마커(1041~104N) 각각에 대한 변위를 측정과정을 상세히 설명한다.
상기 제어장치(100)는 대상물에 대한 변위 측정이 요청되면, 마커 식별번호인 i를 0으로 초기화한다(300단계).
이후 상기 제어장치(100)는 상기 마커 식별번호 i가 N보다 작은지를 체크하고(301단계), 상기 마커 식별번호 i가 N보다 작으면 상기 마커 식별번호 i를 1증가한다(304단계).
상기 마커 식별번호 i를 증가한 후에, 상기 제어장치(100)는 프리셋 데이터 중 마커 식별번호 i에 대응되는 제i마커의 PTZ 좌표정보를 독출하여, 촬상장치(102)에 대한 PTZ를 제어한 후에 촬상을 이행하도록 상기 촬상장치(102)를 제어한다(306단계).
상기 촬상장치(102)가 상기 제어장치(100)에 따라 PTZ를 제어한 후에 촬상을 이행함에 따라 생성된 촬상정보를 상기 제어장치(100)에 제공하면, 상기 제어장치(100)는 상기 촬상정보에서 프리셋 데이터 중 제i마커의 템플릿 이미지 MTi에 매칭되는 마커영역인 ROI를 검출한다(310단계).
상기 마커 ROI 검출과정을 좀더 설명한다.
상기 마커 ROI 검출은 기본적으로 촬상정보에 대해 윈도우를 슬라이딩하면서 캡쳐하여 획득한 타겟 이미지와 템플릿 이미지 사이의 CM(the coefficient-map)을 계산하는 방식으로 수행된다. 상기 CM 계산 방식은 제곱차에 대해 방정식인 수학식 5가 적용된다.
Figure pat00005
상기 수학식 5에서 Ii는 제i마커로부터 획득한 마커 이미지이고 (x,y)는 템플릿 이미지의 좌표이다. T는 위치(m,n)에 위치하는 템플릿 이미지이다. 상기 CM 값이 작을수록 현재 슬라딩 윈도우에서의 두 이미지가 유사한 것을 나타낸다. 이에 따라 최소 CM 값을 가지는 픽셀은 템플릿 이미지와 동일한 크기인 직사각형은 왼쪽 위에 위치하며, 이는 마커의 MBR로 사용된다.
이후 상기 제어장치(100)는 상기 검출된 ROI에서 마커 특징점들을 검출하며(310단계), 이러한 마커의 특징점들에 대한 검출과정은 이미 상술되었으므로 그에 대한 설명은 생략한다.
상기 마커의 특징점들이 검출되면, 상기 제어장치(100)는 상기 프리셋 데이터 중 제i마커의 호모그라피 매트릭스 좌표정보 Hi를 독출하고, 상기 호모그라피 매트릭스 좌표정보 Hi에 따라 원근변환(Perspective Transformation)을 수행하여 원근왜곡을 제거한다.
여기서, 도 11의 (a)와 (c)는 원근 왜곡을 제거하기 전의 촬상정보를 예시한 것이고, 도 11의 (b)와 (d)는 각각 도 11의 (a)와 (c)에 대해 원근 왜곡을 제거한 것을 예시한 것이다. 상기 호모그라피 매트릭스 좌표정보 Hi는 그 단위가 실제 단위인 정규 좌표계로써 마커의 움직임이 발생하지 않았다면 마커의 중심이 영상의 중심에 위치하게 된다.
상기한 바와 같은 원근 변환된 촬상정보를 이용하여, 상기 제어장치(100)는 상기 대상물의 변위를 측정한다(314단계).
먼저 표준 평면에서의 마커의 중심점(x',y')를 검출하며, 이는 수학식 6에 따른다.
Figure pat00006
상기 수학식 6에서 h11,h12,..h33 각각은 호모그라피 매트릭스 H의 구성요소들이고, x-y 평면에서의 중심점은 센터 타원의 중심점이다.
현재 상태에서의 변위 측정은 호모그라피 매트릭스에 기초하며, 이전에 촬상된 촬상정보로부터 획득되어 고정된다. 이전 단계에서의 마커 중심인 중심점 X0으로부터 시작되어, 현재 단계에서의 새로운 중심점에 대한 벡터는 변위로 표시된다.
총 변위 측정은 이전에 측정된 x,y 좌표에서 마커의 x,y 좌표로 누적함으로써 수행될 수 있다.
그리고 y 방향과 x 방향의 결정된 변위는 수학식 7 및 8에 따라 결정된다.
Figure pat00007
Figure pat00008
그리고 총 변위는 수학식 9에 따라 결정된다.
Figure pat00009
상기 수학식 9에서 K는 변위측정 횟수를 나타낸다.
부가적으로 수학식 10은 제1마커에 적용한 호모그라피 매트릭스의 예를 예시한 것이다.
Figure pat00010
이와 같이 마커의 특징점에 대한 변위 측정을 토대로 상기 제어장치(100)는 대상물의 변위를 획득하게 된다.
이후 상기 제어장치(100)는 상기 변위의 측정후에, 추출된 ROI 영역이 촬상면의 중앙부분에 위치하도록 PLZ 제어를 이행함과 아울러, PLZ 제어에 따른 PLZ 좌표정보를 현재 모니터링된 i번째 마커에 대한 프리셋 데이터에 기록한다(315단계).
이후 상기 제어장치(100)는 추출된 ROI를 현재 모니터링된 i번째 마커에 대한 템플릿 매칭시에 사용될 템플릿 이미지로서 프리셋 데이터에 기록한다(316단계). 이는 마커 검출의 실패를 방지하고, 마커가 움직여 마커가 투사된 형상이 변화하거나, 조명 변화로 인해 템플릿 매칭 비율이 저하될 수 있기 때문이다.
또한 상기 제어장치(100)는 마커의 표적 평면을 변환하는 데 사용되는 호모그라피 매트릭스를 다시 계산한다. 재계산된 호모그라피 매트릭스는 i번째 마커의 호모그라피 매트릭스로서 프리셋 데이터에 기록한다(318단계).
만일 상기의 301단계에서 제어장치(100)는 모든 마커에 대한 변위 측정이 완료되면, 마커 식별번호를 초기화(i=0)하고 변위측정횟수(K)를 증가한다.
100 : 제어장치
102 : 촬상장치
1041~104N : 제1 내지 제N마커

Claims (17)

  1. PTZ 촬상장치 기반 변위 측정 시스템에 있어서,
    대상물에 부착되며 평면의 구성요소들을 구비하는 마커들;
    패닝 및 틸트, 줌 기능을 가지며 촬상을 이행하여 촬상정보를 생성하는 촬상장치; 및
    미리 정해둔 주기마다 상기 촬상장치의 패닝 및 틸트, 줌 기능을 제어하여 상기 마커들 각각에 대해 촬상을 이행하고, 그에 따른 촬상정보를 제공받으며,
    상기 촬상정보에서 마커의 구성요소들을 검출하고,
    구성요소들로부터 특징점들을 검출하고,
    그 특징점들에 대한 변위를 검출하여 상기 대상물의 변위를 검출하는 제어장치;를 구비함을 특징으로 하는 PTZ 촬상장치 기반 변위 측정 시스템.
  2. PTZ 촬상장치 기반 변위 측정 시스템에 있어서,
    대상물에 부착되며 평면의 구성요소들을 구비하는 마커들;
    패닝 및 틸트, 줌 기능을 가지며 촬상을 이행하여 촬상정보를 생성하는 촬상장치; 및
    미리 정해둔 주기마다 상기 마커들 각각에 대응되게 미리 저장된 PLZ(PANNING, TILT, ZOOM) 좌표정보에 따라 상기 촬상장치의 패닝 및 틸트, 줌 기능을 제어하여 상기 마커들 각각에 대해 촬상을 이행하고, 그에 따른 촬상정보를 제공받으며,
    상기 촬상정보에서 해당 마커의 구성요소들을 검출하고,
    구성요소들로부터 특징점들을 검출하고,
    그 특징점들에 대한 변위를 검출하여 상기 대상물의 변위를 검출하고,
    상기 촬상정보에서 해당 마커의 구성요소가 상기 촬상정보의 중앙부분에 위치하도록 해당 마커에 대응되는 PLZ 좌표정보를 갱신하는 제어장치;를 구비하며,
    상기 PLZ 좌표정보는 상기 촬상장치의 패닝 및 틸트, 줌 기능을 제어하는 정보임을 특징으로 하는 PTZ 촬상장치 기반 변위 측정 시스템.
  3. 제1항 또는 제2항에 있어서,
    상기 제어장치는
    마커들 각각에 대해 촬상을 위한 패닝 및 틸트, 줌 좌표정보와 촬상정보에서 마커가 위치하는 영역의 이미지인 템플릿 이미지와 상기 촬상정보에 대한 원근 변환을 위한 호모그라피 매트릭스를 프리셋 데이터에 기록하고,
    상기 촬상장치를 상기 프리셋 데이터의 패닝 및 틸트, 줌 좌표정보에 따라 제어하여 상기 마커들 각각에 대해 촬상을 이행하고, 그에 따른 촬상정보를 제공받아 상기 템플릿 이미지에 대응되는 ROI를 검출하고, 상기 ROI에서 마커의 구성요소들을 검출하고, 상기 구성요소들을 상기 호모그라피 매트릭스에 따라 원근변환을 이행하고, 원근변환된 ROI에서 상기 구성요소들의 특징점들을 검출하고, 상기 특징점들에 대한 변위를 검출하여 상기 대상물의 변위를 검출함을 특징으로 하는 PTZ 촬상장치 기반 변위 측정 시스템.
  4. 제3항에 있어서,
    상기 마커의 구성요소들은 하나의 원과 상기 원의 상하좌우에 위치하는 네개의 원들이며,
    상기 제어장치는 상기 ROI를 그레이스케일로 변환한 후에 이진화하고,
    미리 설정된 임계값으로 이진화하고,
    상기 이진화된 ROI로부터 상기 원들을 검출하고,
    상기 원들의 중심점들을 상기 특징점들로 검출함을 특징으로 하는 PTZ 촬상장치 기반 변위 측정 시스템.
  5. 제4항에 있어서,
    상기 마커의 구성요소들은 하나의 원과 상기 원의 상하좌우에 위치하는 네개의 원들이며,
    상기 제어장치는 상기 ROI를 그레이스케일로 변환한 후에 이진화하고,
    미리 설정된 임계값으로 이진화하고,
    상기 이진화된 ROI로부터 상기 원들에 대응되는 타원을 모델링하고, 모델링한 타원들의 중심점들을 상기 특징점들로 검출함을 특징으로 하는 PTZ 촬상장치 기반 변위 측정 시스템.
  6. 제3항에 있어서,
    상기 제어장치는
    상기 변위의 검출후에 상기 ROI를 상기 템플릿 이미지로 상기 프리셋 데이터에 기록함을 특징으로 하는 PTZ 촬상장치 기반 변위 측정 시스템.
  7. 제3항에 있어서,
    상기 제어장치는
    상기 변위의 검출후에 상기 ROI에 대한 원근 변환을 위한 호모그라피 매트릭스를 생성하여 상기 프리셋 데이터에 기록함을 특징으로 하는 PTZ 촬상장치 기반 변위 측정 시스템.
  8. 제1항 또는 제2항에 있어서,
    상기 촬상장치는 IP 카메라로서
    상기 제어장치와 네트워크를 통해 통신함을 특징으로 하는 PTZ 촬상장치 기반 변위 측정 시스템.
  9. 제1항 또는 제2항에 있어서,
    상기 제어장치는
    주기마다 검출된 변위를 누적하여 총 변위를 검출함을 특징으로 하는 PTZ 촬상장치 기반 변위 측정 시스템.
  10. PTZ 촬상장치 기반 변위 측정 방법에 있어서,
    제어장치가 미리 정해둔 주기마다 패닝 및 틸트, 줌 기능을 가지며 촬상을 이행하여 촬상정보를 생성하는 촬상장치의 패닝 및 틸트, 줌 기능을 제어하여 대상물에 부착되며 평면의 구성요소들을 구비하는 마커들 각각에 대해 촬상을 이행하고, 그에 따른 촬상정보를 제공받는 제1단계; 및
    상기 제어장치가 상기 촬상정보에서 마커의 구성요소들을 검출하고, 상기 구성요소들로부터 특징점들을 검출하고, 상기 특징점들에 대한 변위를 검출하여 상기 대상물의 변위를 검출하는 제2단계;를 구비함을 특징으로 하는 PTZ 촬상장치 기반 변위 측정 방법.
  11. PTZ 촬상장치 기반 변위 측정 방법에 있어서,
    제어장치가 미리 정해둔 주기마다 패닝 및 틸트, 줌 기능을 가지며 촬상을 이행하여 촬상정보를 생성하는 촬상장치의 패닝 및 틸트, 줌 기능을 제어하여 대상물에 부착되며 평면의 구성요소들을 구비하는 마커들 각각에 대해 촬상을 이행하고, 그에 따른 촬상정보를 제공받는 제1단계; 및
    상기 제어장치가 상기 촬상정보에서 마커의 구성요소들을 검출하고, 상기 구성요소들로부터 특징점들을 검출하고, 상기 특징점들에 대한 변위를 검출하여 상기 대상물의 변위를 검출하고,
    상기 제어장치가, 상기 촬상정보에서 해당 마커의 구성요소가 상기 촬상정보의 중앙부분에 위치하도록 해당 마커에 대응되는 PLZ 좌표정보를 갱신하는 제2단계;를 구비하며,
    상기 PLZ 좌표정보는 상기 촬상장치의 패닝 및 틸트, 줌 기능을 제어하는 정보임을 특징으로 하는 PTZ 촬상장치 기반 변위 측정 방법.
  12. 제10항 또는 제11항에 있어서,
    상기 제어장치가,
    마커들 각각에 대해 촬상을 위한 패닝 및 틸트, 줌 좌표정보와 촬상정보에서 마커가 위치하는 영역의 이미지인 템플릿 이미지와 상기 촬상정보에 대한 원근 변환을 위한 호모그라피 매트릭스를 프리셋 데이터에 기록하는 단계를 더 구비하며,
    상기 제어장치가, 상기 제2단계에서,
    상기 촬상장치를 상기 프리셋 데이터의 패닝 및 틸트, 줌 좌표정보에 따라 제어하여 상기 마커들 각각에 대해 촬상을 이행하고, 그에 따른 촬상정보를 제공받아 상기 템플릿 이미지에 대응되는 ROI를 검출하고, 상기 ROI에서 마커의 구성요소들을 검출하고, 상기 구성요소들을 상기 호모그라피 매트릭스에 따라 원근변환을 이행하고, 원근변환된 ROI에서 상기 구성요소들의 특징점들을 검출하고, 상기 특징점들에 대한 변위를 검출하여 상기 대상물의 변위를 검출함을 특징으로 하는 PTZ 촬상장치 기반 변위 측정 방법.
  13. 제12항에 있어서,
    상기 마커의 구성요소들은 하나의 원과 상기 원의 상하좌우에 위치하는 네개의 원들이며,
    상기 제어장치가,
    상기 ROI를 그레이스케일로 변환한 후에 이진화하고,
    미리 설정된 임계값으로 이진화하고,
    상기 이진화된 ROI로부터 상기 원들을 검출하고,
    상기 원들의 중심점들을 상기 특징점들로 검출함을 특징으로 하는 PTZ 촬상장치 기반 변위 측정 방법.
  14. 제13항에 있어서,
    상기 마커의 구성요소들은 하나의 원과 상기 원의 상하좌우에 위치하는 네개의 원들이며,
    상기 제어장치가,
    상기 ROI를 그레이스케일로 변환한 후에 이진화하고,
    미리 설정된 임계값으로 이진화하고,
    상기 이진화된 ROI로부터 상기 원들에 대응되는 타원을 모델링하고, 모델링한 타원들의 중심점들을 상기 특징점들로 검출함을 특징으로 하는 PTZ 촬상장치 기반 변위 측정 방법.
  15. 제14항에 있어서,
    상기 제어장치가,
    상기 변위의 검출후에 상기 ROI를 상기 템플릿 이미지로 상기 프리셋 데이터에 기록하는 단계;를 더 구비함을 특징으로 하는 PTZ 촬상장치 기반 변위 측정 방법.
  16. 제14항에 있어서,
    상기 제어장치가,
    상기 변위의 검출후에 상기 ROI에 대한 원근 변환을 위한 호모그라피 매트릭스를 생성하여 상기 프리셋 데이터에 기록하는 단계;를 더 구비함을 특징으로 하는 PTZ 촬상장치 기반 변위 측정 방법.
  17. 제9항 또는 제10항에 있어서,
    상기 제어장치가,
    주기마다 검출된 변위를 누적하여 총 변위를 검출하는 단계;를 더 구비함을 특징으로 하는 PTZ 촬상장치 기반 변위 측정 방법.
KR1020170059118A 2017-05-12 2017-05-12 Ptz 촬상장치 기반 변위 측정 시스템 및 방법 KR101972582B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170059118A KR101972582B1 (ko) 2017-05-12 2017-05-12 Ptz 촬상장치 기반 변위 측정 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170059118A KR101972582B1 (ko) 2017-05-12 2017-05-12 Ptz 촬상장치 기반 변위 측정 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20180125095A true KR20180125095A (ko) 2018-11-22
KR101972582B1 KR101972582B1 (ko) 2019-04-29

Family

ID=64557798

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170059118A KR101972582B1 (ko) 2017-05-12 2017-05-12 Ptz 촬상장치 기반 변위 측정 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101972582B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109714527A (zh) * 2018-12-10 2019-05-03 视联动力信息技术股份有限公司 一种在互联网中控制视联网摄像头的方法和装置
KR20210096455A (ko) * 2020-01-28 2021-08-05 주식회사 포스코건설 입체마커의 cctv 영상인식기술을 이용한 건설용 가시설 및 구조물 안정성 모니터링 시스템
CN114440776A (zh) * 2022-01-28 2022-05-06 上海交途科技有限公司 一种基于机器视觉的位移自动测量方法及系统
CN116091488A (zh) * 2023-03-07 2023-05-09 西安航天动力研究所 一种发动机摇摆试验的位移测试方法及位移测试系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030077103A (ko) * 2002-03-25 2003-10-01 (재) 한국건설품질연구원 건설 구조물 영상 감시 장치 및 그 방법과 그를 이용한건설 구조물 감시 시스템
KR100653697B1 (ko) 2005-06-14 2006-12-05 연세대학교 산학협력단 고층건물 변위 설계 방법
KR20150010076A (ko) 2013-07-18 2015-01-28 (주)대우건설 3차원 건물 정보 모델을 이용한 건물의 변위 관리 방법
KR20160035374A (ko) 2014-09-23 2016-03-31 현대건설주식회사 비정형 고층건물의 수직 수평 변위 보정방법
KR101686621B1 (ko) 2015-10-27 2016-12-14 현대건설 주식회사 건물의 비틀림 변형을 고려한 횡변위 평가 및 보정방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030077103A (ko) * 2002-03-25 2003-10-01 (재) 한국건설품질연구원 건설 구조물 영상 감시 장치 및 그 방법과 그를 이용한건설 구조물 감시 시스템
KR100653697B1 (ko) 2005-06-14 2006-12-05 연세대학교 산학협력단 고층건물 변위 설계 방법
KR20150010076A (ko) 2013-07-18 2015-01-28 (주)대우건설 3차원 건물 정보 모델을 이용한 건물의 변위 관리 방법
KR20160035374A (ko) 2014-09-23 2016-03-31 현대건설주식회사 비정형 고층건물의 수직 수평 변위 보정방법
KR101686621B1 (ko) 2015-10-27 2016-12-14 현대건설 주식회사 건물의 비틀림 변형을 고려한 횡변위 평가 및 보정방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109714527A (zh) * 2018-12-10 2019-05-03 视联动力信息技术股份有限公司 一种在互联网中控制视联网摄像头的方法和装置
CN109714527B (zh) * 2018-12-10 2021-06-11 视联动力信息技术股份有限公司 一种在互联网中控制视联网摄像头的方法和装置
KR20210096455A (ko) * 2020-01-28 2021-08-05 주식회사 포스코건설 입체마커의 cctv 영상인식기술을 이용한 건설용 가시설 및 구조물 안정성 모니터링 시스템
CN114440776A (zh) * 2022-01-28 2022-05-06 上海交途科技有限公司 一种基于机器视觉的位移自动测量方法及系统
CN116091488A (zh) * 2023-03-07 2023-05-09 西安航天动力研究所 一种发动机摇摆试验的位移测试方法及位移测试系统

Also Published As

Publication number Publication date
KR101972582B1 (ko) 2019-04-29

Similar Documents

Publication Publication Date Title
KR101972582B1 (ko) Ptz 촬상장치 기반 변위 측정 시스템 및 방법
JP6125188B2 (ja) 映像処理方法及び装置
CN107615334B (zh) 物体识别装置以及物体识别系统
US8134614B2 (en) Image processing apparatus for detecting an image using object recognition
JP7272024B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
JP6444283B2 (ja) 姿勢判定装置
CN107328502B (zh) 一种锚杆托盘载荷可视化数字成像方法
JP7334432B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
WO2022206161A1 (zh) 一种基于特征点识别的块体运动实时检测方法
JP7092615B2 (ja) 影検出装置、影検出方法、影検出プログラム、学習装置、学習方法、及び学習プログラム
JP5839796B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP5183152B2 (ja) 画像処理装置
JP4628860B2 (ja) 画像センサ
JP2008288684A (ja) 人物検出装置及びプログラム
KR100811832B1 (ko) 단일 카메라를 이용한 영상의 실제 크기 측정 방법 및 장치
CN113344906B (zh) 车路协同中相机评估方法、装置、路侧设备和云控平台
EP2791865B1 (en) System and method for estimating target size
JP2011069797A (ja) 変位量測定装置及び変位量測定方法
JP7354767B2 (ja) 物体追跡装置および物体追跡方法
US20220076399A1 (en) Photographing guide device
CN115661453B (zh) 一种基于下视角相机的塔吊吊物检测分割方法及系统
JP7243372B2 (ja) 物体追跡装置および物体追跡方法
JP2006041939A (ja) 監視装置及び監視プログラム
JP2018063675A (ja) 画像処理装置および制御方法
JP2008217330A (ja) 速度推定方法および速度推定プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right