KR100657542B1 - 감시카메라의 왜곡보정을 통한 신장계측 장치,방법, 그방법이 기록된 기록매체 및 기준점 설정장치 - Google Patents

감시카메라의 왜곡보정을 통한 신장계측 장치,방법, 그방법이 기록된 기록매체 및 기준점 설정장치 Download PDF

Info

Publication number
KR100657542B1
KR100657542B1 KR1020050005230A KR20050005230A KR100657542B1 KR 100657542 B1 KR100657542 B1 KR 100657542B1 KR 1020050005230 A KR1020050005230 A KR 1020050005230A KR 20050005230 A KR20050005230 A KR 20050005230A KR 100657542 B1 KR100657542 B1 KR 100657542B1
Authority
KR
South Korea
Prior art keywords
surveillance camera
distortion
coordinates
image
displaying
Prior art date
Application number
KR1020050005230A
Other languages
English (en)
Other versions
KR20060084541A (ko
Inventor
이중
Original Assignee
대한민국
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대한민국 filed Critical 대한민국
Priority to KR1020050005230A priority Critical patent/KR100657542B1/ko
Publication of KR20060084541A publication Critical patent/KR20060084541A/ko
Application granted granted Critical
Publication of KR100657542B1 publication Critical patent/KR100657542B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 기존의 보안 감시 시스템에서 범인을 식별할 수 있는 생체 정보 중 감시 시스템의 성능의 영향을 상대적으로 적게 받는 신장을 계측함으로써 범인을 특정할 수 있는 감시카메라의 왜곡보정을 통한 신장계측 방법에 관한 것이다.
최근 몇 년간 폐쇄회로티브이(CCTV)시스템이 널리 보급되어 범인이나 범죄현장이 영상으로 촬영되는 경우가 많아졌다. 그러나 폐쇄회로 영상의 화질이 열악하거나 주변 조명등의 부적절한 환경으로 인해 실제 범인을 특정할수 있는 정보를 얻기에는 어려운 경우가 많다. 범인의 얼굴은 정확하게 판독하는 것이 불가능한 경우에도 범인의 신장을 정확하게 계측할 수 있다면 범인 추적에 많은 도움이 될 수 있다. 본 발명에서는 폐쇄회로티브이(CCTV)로 촬영된 범인의 신장을 정확하게 계측하는 방법을 제시한다.
신장계측, 직접 선형변환, 비선형 변환, 왜곡, 가상자

Description

감시카메라의 왜곡보정을 통한 신장계측 장치,방법, 그 방법이 기록된 기록매체 및 기준점 설정장치{HEIGHT MEASURING APPARATUS,METHOD THROUGH DISTORTION CALIBRATION OF MONITORING CAMERA, RECORDING MEDIA RECORDED THE METHOD AND REFERENCE POINT SETTING APPARATUS}
도 1은 일반적으로 사진속의 배경(scene)이 이미지화되는 과정을 개략적으로 나타낸 도면이다.
도 2는 투시(투영)화법 영상으로부터 사람의 신장(height)을 계산하는 과정을 나타낸 도면이다.
도 3은 이미지속에서 사람의 신장을 비교한 것을 나타낸 도면이다.
도 4에 실제 사물의 사진의 경우에서 기준 높이와 사람의 신장과의 관계를 나타낸 도면이다.
도 5은 방사방향왜곡을 나타낸 도면이다.
도 6은 편심방향왜곡을 나타낸 도면이다.
도 7은 왜곡을 고려한 영상좌표를 나타낸 도면이다.
도 8은 본 발명에 따른 감시카메라의 왜곡보정을 통한 신장계측 시스템의 개략적인 블록구성도이다.
도 9는 도 8의 상세 블록구성도이다.
도 10은 본 발명의 바람직한 실시예에 따르는 기준점 설정 장치를 도시한 것이다.
도 11a 내지 도 11d는 도 10의 기준점 설정 장치에서 사용된 연결부재들을 나타낸 사시도이다.
도 12는 본 발명에 따른 감시카메라의 왜곡보정을 통한 신장계측 시스템에서의 신장계측과정을 나타낸 흐름도이다.
도 13내지 도 16은 본 발명에 따른 감시카메라에 의해 촬영된 실제 모습을 나타내는 화면과 특정 포인트에 대한 실제좌표값을 나타낸 팝업창이 표시된 프로그램 인터페이스 화면을 나타낸 도면이다.
도 17내지 도 20은 실제 계측대상인 사람을 위치시키고 가상자를 이용하여 신장을 계측하는 과정을 나타낸 도 13내지 도 16과 유사한 도면이다.
<도면의 주요 부분에 대한 부호의 설명>
M: 실제 계측 대상 VR: 가상자
I: 인터페이스 화면
10: 감시카메라 20: 화상처리부
30: 신장계측 모듈 40: 신호입력수단
320: 신장계측 프로그램 저장부
322: 카메라 왜곡계수 연산부
324: 카메라 DLT 연산부
328: 발밑점 왜곡 보정부
329: 가상자 생성부
340: 인터페이스 화면 관리부
본 발명은 감시카메라의 왜곡보정을 통한 신장계측 장치,방법, 그 방법이 기록된 기록매체 및 기준점 설정 장치에 관한 것으로, 보다 상세하게는 기존의 보안 감시 시스템에서 범인을 식별할 수 있는 생체 정보 중 감시 시스템의 성능의 영향을 상대적으로 적게 받는 신장을 계측함으로써 범인을 특정할 수 있는 감시카메라의 왜곡보정을 통한 신장계측 장치,방법, 그 방법이 기록된 기록매체 및 기준점 설정 장치에 관한 것이다.
사회가 발전할수록 공공장소에서의 개인 및 시설물의 안전에 대한 중요성이 대두되고 있다. 특히, 2001년 9월 11일에 미국에서 발생된 9 11 테러 이후 공공장소의 보안 강화를 위하여 세계 각국은 공공안전에 대한 필요성을 절실히 느끼고 있다. 이러한 노력은 감시카메라의 공공장소에 대한 적용을 통해 대형사고나 범죄에 대한 불안감을 최소화할 수 있을 뿐 아니라 정신적 안정감을 증대할 수 있고 사전 예방효과를 기대할 수 있다는 점에서 그 설치율이 매우 활발하게 증가하고 있다. 이러한 감시카메라 설치는 은행, 관공서, 주차장 같은 공공장소뿐만 아니라 버스, 지하철 같은 교통수단으로부터 아파트, 엘리베이터 등과 같은 일상생활 공간에 까지 널리 설치되고 있는 실정이다.
이러한 감시카메라 설치 증가로 인해 범죄현장의 증거물로써 감시카메라의 촬영내용이 빈번하게 제출되고 있고 사건을 해결하는 직접적인 실마리를 제공하는 경우도 상당수에 이른다. 하지만 이러한 감시카메라 대부분이 감시카메라 한대가 넓은 지역을 커버할 뿐 아니라 촬영에 부적합한 조명환경과 대량의 정보를 일정 기간 이상 저장하기 위해 영상을 압축함으로 인해 매우 제한적인 정보만을 제공하는 경우가 대부분이다. 그러므로 범죄자 검거를 위한 인상착의 등과 같은 세밀한 정보를 얻는 경우는 매우 제한적인 문제점이 있었다.
한편 카메라 촬영은 렌즈를 통해 필름에 결상된 영상을 주로 다루는 것이지만, 상기 필름에 결상된 이미지는 사람의 눈의 망막 혹은 화가가 그림을 그리는 캔버스와 대비될 수 있으며, 이와 관련하여 어느정도 거리만큼 떨어져있는 대상물(object)을 정확히 이미지화하는 종래의 여러가지 방법을 이하 서술한다.
도 1은 일반적으로 사진속의 배경(scene)이 이미지화되는 과정을 개략적으로 나타낸 도면이다. 이에 도시한 바와 같이, 무한대의 수직 소멸점(Vertical Vanishing point)을 나타내는 다수개의 수직선들을 볼 수 있고, 특정한(사람의 눈높이에 해당) 소멸점(Vanishing point)에 연결한 소멸선을 볼 수 있다. 실제 배경에서 서로 평행한 다수의 수직 소멸선들이 소멸점이라고 불리는 지점에서 시작하여 사진속의 수렴선(converging lines)을 통해 이미지화 된다(imaged). 이와 같은 내용은 현재 건축 디자인등에서 투시도를 그릴 때 많이 사용되고 있다.
상기한 도 1의 방법은 많은 수학자들과 기하학자들에 의해 발전되어 선형 원근법(linear perspective)으로 사용되었고, 투사(투영)기하학(Projective geometry)의 기초가 되었다.
그려진 형상(painted geometry)의 일치성을 평가하는 간단한 기술이 몇가지 있는데, 소멸점(Vanishing point) 및 소멸라인(Vanishing lines)들은 이미지의 가장 유용한 원근법(perspective) 실체들(entities)이고, 회화 형상(painting's geometry)의 정확성을 평가하는 자연적 방법은 평행선들의 이미지가 회화 상의 한점에서 교차하는지를 체크하는 것이다.
한편, 도 2는 원근법 영상으로부터 사람의 신장(height)을 계산하는 과정을 나타낸 도면이다.
이에 도시한 바와 같이, 수평선상에 소멸점(vanishing point)이 있고, 기준 물체(reference object)인 기둥이 있고, 측정하려는 사람의 영상이 존재하고 있다. 기둥에 대한 사람의 신장을 계산하기 위하여 사람의 신장은 두개의 물체의 상단 및 하단으로부터 소멸라인을 사용하는 영상내에서 기둥의 높이상에 사람의 신장이 투사되었다. 실제사람의 신장은 아래식으로 계산된다.
실제사람의 신장=실제기둥의 높이 x d2/d1,
여기서, d1 및 d2는 상기 기둥 높이 및 상기 기둥에 투영된 사람의 신장으로부터 측정된 것이다.
도 3은 이미지속에서 사람의 신장을 비교한 것을 나타낸 도면이다.
이에 도시한 바와 같이, 도 3에서는, 기준 물체로서 그리스도의 그림을 사용하여 신장을 계산하는 방법을 적용하였다. 일견하여, 도 3에서, 사물의 높이가 원경(background) 및 전경(foreground)에서의 사물들의 신장이 일치하는지 여부는 확 실치 않으나 상기 측정결과는 서로 아주 가까이 있다는 것을 알려주고 있다.
위와 같은 이론적 구조는 오늘날 감시 카메라에 의해 획득한 이미지에서 사물과 사람의 치수 혹은 신장을 측정하는 과학수사 분야에서 중요하게 응용되어 사용되고 있다. 예를 들면 도 4에 도시한 바와 같이, 실제 사물의 사진의 경우에서 기준 높이 (전화박스의 높이)는 미리 알아낼 수 있으므로 그를 통해 사람의 신장을 계산할 수 있다.
그러나, 카메라의 렌즈를 통해 영상을 획득한 경우, 카메라 렌즈의 왜곡으로 인하여 획득된 영상의 좌표가 정확하게 대응되는 실제좌표를 얻을 수 없는 문제점이 있었다.
한편 상기한 바와 같은 종래기술에서는 카메라 렌즈 왜곡에 대해서는 전혀 고려하고 있지 않아 왜곡으로 인한 영향이 어느정도 인지 알 수 없으므로 왜곡이 있는 카메라를 통해 얻은 영상에 대하여 왜곡계수를 구하고 이를 보정하는 과정이 절실히 요구되고 있는 실정이다.
본 발명의 목적은 상기한 바와 같은 종래기술에서 문제점을 개선하기 위해 제안된 것으로서, 기존의 감시시스템의 감시카메라를 통해 획득한 대상물(사람)의 영상에 대하여 카메라의 왜곡계수를 구하고 그 왜곡계수를 통해 보정함으로써 해당 대상물(사람)의 높이(신장)을 정확히 계측하는 감시카메라의 왜곡보정을 통한 신장계측 장치를 제공하는데 있다.
본 발명의 또 다른 목적은 기존의 감시시스템의 감시카메라를 통해 획득한 대상물(사람)의 영상에 대하여 카메라의 왜곡계수를 구하고 그 왜곡계수를 통해 보정함으로써 해당 대상물(사람)의 높이(신장)을 정확히 계측하는 감시카메라의 왜곡보정을 통한 신장계측 방법을 제공하는데 있다.
본 발명의 또 다른 목적은 기존의 감시시스템의 감시카메라를 통해 획득한 대상물(사람)의 영상에 대하여 카메라의 왜곡계수를 구하고 그 왜곡계수를 통해 보정함으로써 해당 대상물(사람)의 높이(신장)을 정확히 계측하는 감시카메라의 왜곡보정을 통한 신장계측 방법이 기록된 기록매체를 제공하는데 있다.
본 발명의 또 다른 목적은 본 발명에 따른 감시카메라의 왜곡보정을 통한 신장계측 장치에서 기준점을 설정하는데 유용하게 적용되는 기준점 설정 장치를 제공하는데 있다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따르면, 감시카메라를 통해 촬영한 대상물의 2차원 영상좌표에 대응하는 3차원 실세계좌표를 표시하기 위한 감시카메라의 왜곡보정을 통한 신장계측 방법에 있어서, 2차원 영상좌표가 3차원 실세계좌표로 투영되는 선형관계를 계산하는 제 1과정; 상기 제 1과정에서 획득한 값들과 미지수로서 카메라 왜곡을 나타내는 다수개의 왜곡계수들을 포함하는 비선형관계를 계산하는 제2과정; 및 상기 제 1과정에서 획득한 해들과 상기 제 2과정에서 획득한 왜곡계수들을 상기 비선형관계에 대입하여 계산함으로써 2차원 영상좌표에 대응하여 왜곡된 3차원 실세계좌표를 보정하는 제 3과정;으로 이루어진 것을 특징으로 하는 감시카메라의 왜곡보정을 통한 신장계측 방법이 제공된다.
바람직하게는, 상기 제 1과정전에 소정의 치수를 가진 하나 이상의 프레임들이 노드부를 형성하는 하나 이상의 좌표 방향을 향하는 연결부재들에 의해 결합된 다각형 입체격자구조의 기준점 설정 장치에 의해 3차원 실세계좌표를 획득하는 과정을 수행하는 것을 특징으로 한다.
또한 바람직하게는, 상기 제 3과정은 감시카메라가 촬영한 영상의 제 1 부분을 선정하는 제 4과정; 상기 제 1과정에서 획득한 해들과 상기 제 2과정에서 획득한 왜곡계수들을 상기 비선형방정식에 대입하여 계산하도록 수행신호를 인가하는 제 5과정; 및 상기 제 5과정후에 상기 대상물의 제 2 부분에 측정 수단을 표시하는 제 6과정;을 포함하여 구성된 것을 특징으로 한다.
또한 바람직하게는, 상기 제 3과정은 감시카메라가 촬영한 영상에서 대상물의 제 1 부분을 선정하는 제 7과정; 및 상기 제 1과정에서 획득한 해들과 상기 제 2과정에서 획득한 왜곡계수들을 상기 비선형방정식에 대입하여 계산하도록 수행신호를 인가하는 제 8과정;으로 구성된 것을 특징으로 한다.
또한 바람직하게는, 상기 제 8과정후에 입력수단의 입력신호에 따라 상기 영상의 제 2 부분에 측정 수단을 표시하는 제 9과정;을 포함하여 구성된 것을 특징으로 한다.
또한 바람직하게는, 상기 제 1부분은 사람의 경우 사람의 발 부분이며 제 1 1부분이 3차원 실세계 좌표가 (X,Y,0)인 점이되고, 제 2 부분은 상기 제 1 부분과 동일한 X,Y좌표를 가지며 Z좌표의 변위가 소정부분에 해당하는 범위까지인 좌표를 상기 비선형관계에 대입하여 계산함으로써 상기 감시카메라에 의해 투영된 영상에서 대상물의 Z=0인 점으로부터 수직하게(X,Y 일정) 형성된 상기 변위만큼의 눈금을 가진 부분인 것을 특징으로 한다.
또한 바람직하게는, 상기 측정 수단은 상기 제 2 부분에 투영되어 사용자의 조작신호에 따라 해당 눈금만큼 한단계씩 가변되며 각 가변되는 부분에 해당되는 실제좌표가 인터페이스 화면에 표시되는 것을 특징으로 한다.
본 발명의 또 다른 측면에 따르면, 감시카메라를 통해 촬영한 대상물의 2차원 영상좌표에 대응하는 3차원 실세계좌표를 표시하기 위한 감시카메라의 왜곡보정을 통한 신장계측 방법에 있어서, 2차원 영상좌표가 3차원 실세계좌표로 투영되는 선형관계를 계산하는 제 1과정; 상기 제 1과정에서 획득한 값들과 미지수로서 카메라 왜곡을 나타내는 다수개의 왜곡계수들을 포함하는 비선형관계를 계산하는 제2과정; 및 상기 제 1과정에서 획득한 해들과 상기 제 2과정에서 획득한 왜곡계수들을 상기 비선형관계에 대입하여 계산함으로써 2차원 영상좌표에 대응하여 왜곡된 3차원 실세계좌표를 보정하는 제 3과정;으로 이루어진 것을 특징으로 하는 감시카메라의 왜곡보정을 통한 신장계측 방법을 수행하기 위한 프로그램이 기록된 기록매체가 제공된다.
본 발명의 또 다른 측면에 따르면, 감시카메라를 통해 촬영한 대상물의 2차원 영상좌표에 대응하는 3차원 실세계좌표를 표시하기 위한 감시카메라의 왜곡보정을 통한 신장계측 방법을 수행하는 기준점 설정 장치에 있어서, 소정의 치수를 가진 하나 이상의 프레임들이 노드부를 형성하는 하나 이상의 좌표 방향을 향하는 연 결부재들에 의해 결합된 다각형 입체격자구조인 것을 특징으로 하는 기준점 설정 장치가 제공된다.
본 발명의 또 다른 측면에 따르면, 감시카메라를 통해 촬영한 대상물의 2차원 영상좌표에 대응하는 3차원 실세계좌표를 표시하기 위한 감시카메라의 왜곡보정을 통한 신장계측 장치에 있어서, 신호를 입력하기 위한 신호입력수단; 상기 감시카메라를 통해 촬영한 대상물에 관한 영상 및 데이터들을 표시하고 기타 각종 기능화면 및 기능버튼들을 표시하기 위한 인터페이스 화면을 관리하는 인터페이스 화면관리부; 2차원 영상좌표에 대응하는 3차원 실세계좌표를 계산하기 위한 프로그램들 및 프로그램의 왜곡보정 결과데이터를 기초로 상기 대상물의 소정위치에 소정치수의 눈금들을 가진 측정 수단을 생성하는 측정수단 생성부가 내장된 신장계측 프로그램 저장부; 상기 신호입력수단에 의해 실행된 프로그램들에 의한 결과데이터를 저장하는 데이터 저장부; 및 상기 장치 전반을 제어하며, 상기 신호입력수단에 의해 선택된 기능수행신호에 따라 상기 신장계측 프로그램의 프로그램들을 구동시키고 상기 데이터 저장부에 저장된 데이터를 독취하여 상기 인터페이스 화면표시부에 표시하며 상기 신호입력수단에 의해 상기 측정수단의 눈금을 이동시킴에 따라 해당 대상물의 보정된 실세계좌표가 가변되어 표시되도록 제어하는 제어부;로 구성된 것을 특징으로 하는 감시카메라의 왜곡보정을 통한 신장계측 장치가 제공된다.
바람직하게는, 상기 신장계측 프로그램 저장부는 상기 신호입력수단에 의해 입력된 대상물의 2차원 영상좌표 및 3차원 실세계좌표를 기초로 선형관계를 계산하는 카메라 직접선형변환 연산부; 상기 직접선형변환 연산부에 의해 계산된 값을 기 초로 상기 감시카메라의 왜곡계수를 구하는 카메라 왜곡계수 연산부; 상기 신호입력수단의 보정선택신호에 따라 상기 선형관계 및 상기 왜곡계수를 기초로 비선형 관계를 계산하는 발밑점 왜곡보정부; 및 상기 발밑점 왜곡보정부의 계산결과를 나타내는 상기 측정수단을 상기 대상물의 소정위치에 표시하기 위한 가상자 생성부를 포함하여 구성된 것을 특징으로 한다.
또한 바람직하게는, 상기 인터페이스 화면관리부는 상기 인터페이스 화면내에서 일부분을 차지하며, 감시카메라를 통해 전송된 영상을 표시하는 투영영상 표시부; 상기 투영영상 표시부에 의해 투영된 화면내에 상기 측정수단을 표시하기 위한 측정수단 표시부; 상기 측정수단 표시부에 대응되는 영상 좌표점들을 표시하는 측정수단 눈금데이터 표시부; 상기 신호입력수단의 조작신호에 따라 다양한 기능버튼들을 선택할 수 있도록 다양한 기능항목들을 팝업창 형태로 표시하며 가상자를 생성하기 위한 가상자 생성항목을 표시하는 팝업창 화면표시부; 상기 신호입력수단의 조작신호에 따라 다양한 기능을 수행하도록 인터페이스 화면 소정위치에 기능 버튼들을 표시하기 위한 기능버튼 표시부; 상기 인터페이스 화면내의 소정위치에 상기 대상물의 실세계좌표를 포함하는 보정데이터를 나타내는 화면을 표시하기 위한 보정데이터 표시부;를 포함하여 구성된 것을 특징으로 한다.
또한 바람직하게는, 상기 측정 수단은 상기 신호입력수단의 조작신호에 따라 해당 눈금만큼 한단계씩 가변되는 것을 특징으로 한다.
본 발명에서는 왜곡이 없는 이상적인 핀홀카메라(모든 물체 점들의 영상은 물체로부터 렌즈의 광학 중심점을 지나는 직선을 영상으로 투영하여 얻게 된다고 가정한 카메라 모델)로부터 유도된 모델을 근간으로 내,외부 왜곡을 고려한 비선형 왜곡 모델을 구현하고자 한다.
본 발명에 따른 왜곡을 고려한 영상좌표를 통한 실좌표 획득 방법을 이하 설명한다.
1. 기지의 3차원 실세계좌표와 2차원 영상좌표를 고려한 선형방정식에서 미지수를 구하여 2차원 영상좌표에 대응하는 3차원 실세계좌표의 대응점의 관계를 알아냄.
직접 선형 변환(Direct Linear Transformation:DLT)
본 발명에서 가장먼저 수행되는 과정으로서, 이는 왜곡을 전혀고려하지 않고 기타 내부변수와 외부변수를 고려하여 만든 선형방정식을 풀이하는 과정이다.
먼저 선형방정식을 만들기 위한 이론을 간략히 설명한다.
실세계좌표는 (X,Y,Z)로 표기되고, 영상좌표는 (U,V)로 표기하기로 한다.
3차원 실세계 좌표에서 2차원 영상 좌표로의 변환식은 카메라 내부변수의 왜곡을 고려하면 비선형 방정식이지만 렌즈의 왜곡이 무시되면 투영변환(perspective transformation)행렬의 요소를 미지수로 가정하는 3 x 4행렬로 선형화 할 수 있다.
즉, 먼저 2차원 영상좌표(U,V)와 대응하는 동차 행렬에 대한 투영변환행렬은 다음과 같이 3 x 4행렬식으로 간략화 시킬 수 있다.
Figure 112005003183442-pat00001
이 행렬들을 실제로 곱하면
Figure 112005003183442-pat00002
와 같이 된다. 여기서 u=Ut와 v=Vt를 이용해서 위 식에 대입하여 연립한 후 아래의 행렬 L를 동차행렬로 보면 3행 4열은 항상 1이 되므로 다음과 같이 11개의 미지수를 갖는 2개의 방정식으로 표현할 수 있다.
Figure 112005003183442-pat00003
따라서, 각각 다른 6개의 실세계 좌표와 영상좌표간 대응점을 알고있다면 11개의 미지수를 갖는 과결정계에 대한 풀이로서 의사 역행렬(pseudo inverse)을 이용하거나 큐알(QR) 인수분해 등을 이용하여 이하의 방정식을 풀 수 있다. 즉 위식을 다른 형태로 전개하면
Figure 112005003183442-pat00004
위 수학식 4에서 미지수 L1 내지 L11의 11개를 구하기 위해서는 아래와 같이 행렬식을 세운 후 실세계좌표(X,Y,Z)와 영상좌표(U,V)를 입력해야 한다. 여기서 실제좌표는 이후 설명하는 기준점 설정장치를 통해 알고 있는 값이고 영상좌표도 알고 있는 값이다. 실제좌표인 A와 영상좌표인 B의 행렬식은 아래와 같다.
Figure 112005003183442-pat00005
Figure 112005003183442-pat00006
상기 수학식을 토대로 이하의 수학식을 풀면 L1 내지 L11값들을 얻을 수 있다.
Figure 112005003183442-pat00007
따라서, 영상의 어느 한점을 마우스에서 클릭하면 그 영상좌표에 대한 실세계좌표값이 표시되도록 할 수 있다.
그러나, 상기 방법을 통해 2차원 좌표에서 3차원 좌표를 구하는 것을 계산속도가 빠르고 구현이 간단하나, 카메라 렌즈의 내부 변수로서의 왜곡이 무시된 선형방정식을 풀이한 것으로서 영상좌표에 대응하는 실제좌표값들에 오차가 많이 발생한다.
2. 과정 1 에서의 얻은 값들과 왜곡을 포함한 카메라 내부변수와 카메라 외부변수를 고려한 비선형방정식을 풀어 임의의 카메라의 왜곡계수를 획득
카메라 보정
카메라 보정(Calibration)은 영상 좌표와 실세계 좌표 점들 사이의 상관관계를 결정하는 과정으로서 정확한 보정이 이루어져야만 영상좌표로부터 정확한 실세계 좌표를 구할 수 있다. 즉, 카메라 보정은 카메라의 내부 매개변수(intrinsic parameter)와 외부 매개변수(extrinsic parameter)를 결정하는 과정이다.
렌즈 왜곡을 고려한 비선형 보정
이상적인 렌즈에서는 핀홀 모델을 사용하여 모든 물체 점들의 영상은 물체로부터 렌즈의 광학 중심점을 지나는 직선을 영상으로 투영하여 얻게 된다. 따라서 렌즈가 이상적이 아니라는 것은 물체의 모든 점이 렌즈의 광학중심점을 통과하지 않는다는 것을 의미한다. 빛이 렌즈의 어느 위치를 통과하느냐에 따라서 영상이 다르게 투영되며, 이를 왜곡(distortion)이라고 한다. 따라서 정확한 3차원 위치를 구하려면 렌즈에 대한 보정(calibration)을 수행하여야 한다.
방사방향왜곡은 개념도 도 5에 나타낸 바와 같이, 아래 주점에 대해 방사적이고 대칭적인 특징을 보이며 아래 식과 같이 표현할 수 있다.
Figure 112005003183442-pat00008
K1,K2,K3는 방사방향 왜곡에 대한 계수이고, r은 아래 식과 같이 표현되는 주점(principal point)에서부터의 방사거리(radial distance)이다.
Figure 112005003183442-pat00009
이때, (U,V)는 임의의 상점에 대한 영상좌표이고, (Up,Vp)는 주점의 영상좌표이다.
편심방향왜곡(Tangential Distortion)은 도 6에 도시한 바와 같이, 일반적으로 방사방향(Radial Distortion) 왜곡보다 작은 양이며 주점에 대해 비대칭이다. X와 Y방향에 대한 편심방향왜곡성분은 아래 식과 같이 표현될 수 있다.
Figure 112005003183442-pat00010
이때, P1,P2,P3는 무한 초점거리에서의 조합렌즈에 대한 편심방향왜곡의 계수이며, 본 발명에서는P1,P2를 고려하였다.
이와 같은 왜곡을 고려하여 보정에 관한 식을 새로 유도하기 위하여, 먼저 왜곡이 전혀 없는 직접선형변환(DLT)를 고려하면 실세계 좌표와 영상좌표사이의 관계는 아래 식과 같은 두개 선형 식으로 나타낼 수 있다. 이하 식은 상기 수학식 3의 다른 표현이다.
Figure 112005003183442-pat00011
이식들은 실세계 물체의 좌표와 렌즈 중심과 동일 평면이라는 공선조건에서 유도된 것이다. 이 식은 11차 행렬로 이미 알고 있는 6개의 실세계 좌표와 나머지 영상좌표만 주어지면 계산이 가능하다. 이와 같이 처리하여 왜곡이 고려된 영상좌표의 형태는 도 7에 개략적으로 도시된다.
즉 실제 카메라 모델과 같이 왜곡을 고려한다면, ΔU와 ΔV로서 보정된 아래 식과 같은 좌표가 적용되어야 한다.
Figure 112005003183442-pat00012
위 식은 좌변과 우변이 동일한 수학식이 아니며 개념을 나타낸 식으로 도 7을 통해 이해될 것이다. 즉 수학식 11에서의 U,V는 이상적인 것이며, 카메라의 왜곡을 고려한 ΔU와 ΔV가 포함되어야 정확한 값이 얻어진다는 뜻이다. 즉, 본 발명에서는 수학식 12와 같이 가정한 이유는, 실제로 이전에 설명한 바와 같이, 수학식 1 내지 7을 통해 실세계좌표의 영상좌표와의 관계를 구하여 미지수를 알아낸 후, 이를 적용하여 영상좌표를 토대로 실세계좌표를 계산하면 맞지 않는다는 것을 알 수 있다. 이것은 카메라 렌즈왜곡을 비롯한 많은 변수들 때문이며, 그 변수들을 포함한 보정치인 ΔU와 ΔV가 포함되어야 한다는 개념이다.
즉, 왜곡을 고려하면 ΔU와 ΔV는 아래 식과 같이 표현된다.
Figure 112005003183442-pat00013
와 같이 된다. 상기 식에서 K1,K2,K3,P1,P2를 구하는 것이 본 발명의 또 다른 목표이다. 이하의 과정은 상기 왜곡계수를 구하기 위한 식을 세우는 과정이다.이상적인 이미지상의 변환좌표(U',V')은 아래 식과 같이 표현된다. 아래첨자 p는 주점의 위치를 나타낸다.
Figure 112005003183442-pat00014
여기서 내부 변수 및 외부변수를 고려한 행렬식을 표현하면 다음과 같다.
Figure 112005003183442-pat00015
도시한 바와 같이, f, g(이하 수학식 16 및 17에서의 F1,F2이다)가 포함되며, 여기서 우리는 이미 알고있는 L1 내지 L11외에 왜곡계수들인 K1,K 2,K3,P1,P2를 구할 수 있다. 상기 식에서 일부 기호중 M은 ...와 마찬가지로 중간 생략표시이다.
한편, 아래식들은 상기 수학식 15에 표기된 계수들의 정의식이다. 즉,
Figure 112005003183442-pat00016
Figure 112005003183442-pat00017
도시된 바와 같이, 결국 왜곡으로 인한 편차가 반영된 방정식 F1 및 F2를 풀이하는 과정이 필요하며, 이 방정식들을 O으로 수렴하도록 만드는 과정(반복 연산과정)을 이하와 같이 수행함으로써 알아내고자 하는 왜곡계수들을 구할 수 있다.
상기 수학식 15에서 계수들의 초기값을 직접선형변환(DLT)으로 유도된 값으로 대치하고 최적값을 계산하기 위하여 각각의 계수들을 편미분한다. 이러한 비선형 방정식을 푸는 방법으로는 Levenberg-Marquardt방법이 주로 쓰이는데 그 식의 형태는 아래와 같이 표현된다.
Figure 112005003183442-pat00018
여기서, λ는 안정화계수로서 보통 0.0001정도이고, I는 단위행렬을 나타내며, δ1은 편차를 나타낸다.
Figure 112005003183442-pat00019
여기서, L16은 왜곡계수중 하나인 P2이다. 즉, L12 부터 L16은 각각, K1,K2,K3,P1,P2를 나타낸다.
Figure 112005003183442-pat00020
Figure 112005003183442-pat00021
Figure 112005003183442-pat00022
여기서 n은 반복숫자이고 L0는 초기치로서 선형방정식에서 계산된 값을 쓰고 L12 부터 L16, 즉, K1,K2,K3,P1 및 P2는 0를 쓴다. λ는 수렴속도를 결정하는 상수로서 작은 값으로 10-5 정도로 설정하면 L(n) 이 다음의 오차함수를 줄이는 방향으로 반복된다.
Figure 112005003183442-pat00023
그리고 매번 반복시 다음의 종료조건을 검사한다.
Figure 112005003183442-pat00024
여기서, ε1,ε2,는 문턱값이다.
한편 본 발명의 실시예에서는 상기 수학식 18 내지 22에서와 유사하지만, 변수를 다르게 하여 사용하였다. 즉,
Figure 112005003183442-pat00025
Figure 112005003183442-pat00026
Figure 112005003183442-pat00027
Figure 112005003183442-pat00028
Figure 112005003183442-pat00029
이후 종료조건식은 상기 수학식 23 및 수학식 24를 수행하는 점은 동일하다.
결과적으로, 상기와 같은 방법으로 카메라 내부변수와 외부변수를 고려한 실제좌표와 영상좌표간의 관계를 행렬식으로 표현하여 풀 수 있고, 본 발명에서 구하고자 하는 카메라 왜곡변수를 구할 수 있다.
3. 선형방정식에서 구한 미지수 및 비선형방정식에서 구한 왜곡계수를 대입하여 왜곡을 보정함
상기 과정 1을 통해 얻은 미지수 및 상기 과정 2을 통해 얻은 왜곡계수들을 수학식 12,13에 대입하여 왜곡을 보정한다. 즉 왜곡 보정단계는 영상좌표 U+ΔU와 V+ΔV를 구하는 단계이다. 이후 이 영상좌표를 통해 역시 왜곡을 고려한 실세계좌표를 획득한다. 즉 영상의 어느 한 점을 마우스로 클릭하면 그 영상좌표에 대한 실세계좌표값이 표시되도록 한다.
이하 설명되는 실시예에서는 상기 왜곡 보정단계에서 발밑점이라고 할 수 있 는 Z=0점을 마우스로 클릭하고 왜곡 보정을 수행하며, 이에 따라 해당 지점에서 수직한 지점에(X,Y 일정) 가상자(이후 설명함)가 생성된다.
따라서, 본 발명에서는 실제좌표와 영상좌표와의 사이에서의 관계를 통해 특정한 값 즉 z값만을 취하여 그 값을 통해 촬영된 영상의 높이(사람의 경우는 신장)을 알 수 있다.
본 발명에 따른 프로그램은 촬영 대상 지역의 기준점들을 설정하고 그 점들을 이용해 렌즈왜곡을 고려한 3차원 실제좌표와 2차원 영상좌표와의 상관관계를 구함으로써 대상물(영상)의 치수 혹은 신장에 대한 정보를 얻을 수 있다. 개발된 프로그램은 일반적으로 디브알(Digital Video Recorder:DVR)시스템에서 사용되는 320 x 240픽셀의 해상도에서 일정수준 이상의 크기로 몸 전체가 촬영되었을 때 기준점들을 충분히 확보할 수 있다는 가정하에 1Cm 내외의 오차를 보이는 것으로 관측되었다.
실시예
사진계측을 이용한 신장계측 방법
상기 설명한 이론에서 기술한 방식으로 카메라 투영 행렬을 구한다면 우리는 신장계측 대상의 발밑의 한 점의 (U1,V1)의 영상좌표와 Z1=0의 가정, 머리 위의 점이 x,y의 좌표가 발밑의 좌표와 같다는 가정하에 다음 식과 같은 4개의 방정식을 풀면 Z2값을 구할 수 있다.
Figure 112005003183442-pat00030
그러나, 상기한 방정식은 단지 Z1=0점과 Z2점을 정확히 지정했을 때만 Z1=0으로부터 Z2점사이의 치수를 알 수 있다. 그러나 사용자가 영상화면에서 대상물의 높일 알고자 할때 발밑점, 즉Z1=0으로부터 정확하게 수직하게 X와 Y가 같은 Z2점(알고자 하는 점)을 선택할 수 없다. 따라서 본 발명에서는 이하 설명하는 바와 같이 가상자를 생성하는 과정을 새로이 고안하였다. 더욱이 이 가상자는 사용자의 선택에 따라 한단계씩 상하로 가변가능한 구조이다(인터페이스 화면에서 투영되는 가상자 설명 참조, 도 13).
따라서 사용자는 상기 기술한 카메라 보정 과정을 통해 구한 L1~L11까지의 11개의 계수와 K1과 같은 왜곡 계수를 구하고, 알고자 하는 감시카메라 영상내의 대상물(예를 들어, 사람 혹은 범인)의 발밑점의 위치를 선택하여 이 선택점이 (U,V)에서 Z 좌표는 0 이라는 가정에서 (X,Y,Z)를 구할 수 있다. 예를 들어 설명하면,
왜곡 보정된 (X,Y,0)로 동일한 X,Y좌표를 갖는 Z좌표의 변위 150~200Cm에 대해 1Cm 간격으로 공간좌표 (X,Y,150)~(X,Y,200)을 대입하여, 보정하고, 사용자의 선택(팝업창에서 가상사 생성버튼을 클릭함)하면 이미지상에 가상자(VR)가 투영된다. 1cm간격으로 50개 간격을 가진 가상자를 생성할 수도 있으며 2cm간격으로 하여 인터페이스 화면에 구현되도록 프로그램상으로 처리할 수도 있다(도 12의 참조부호 VI 참조). 투영된 가상자(VR)로 이미지상의 측정하려는 윤곽선과 가장 부합되는 점을 선택하면 신장계측을 정확하고 간편하게 할 수 있다.
도 8은 본 발명에 따른 감시카메라의 왜곡보정을 통한 신장계측 시스템의 개략적인 블록구성도이다.
이에 도시한 바와 같이, 감시카메라(10)를 통해 촬상된 영상은 화상처리부(20)를 통해 전송되고 전송된 영상데이터는 신장계측모듈(30)을 통해 처리된 결과를 표시장치(도시안됨)를 통해 인터페이스 화면(감시카메라를 통해 투영된 영상을 표시하는 부분과 팝업창 화면 및 가상자를 표시하는 화면을 말함)에 표시한다.
참조부호 40은 신호입력수단(키입력수단 혹은 마우스 장치)을 나타낸 것으로서, 사용자는 이를 통해 상기 인터페이스 화면상에 표시된 가상자의 위치를 변경시킬 수 있고 기타 인터페이스 화면상에 표시된 여러 가지 기능도 선택적으로 수행할 수 있을 것이다.
도 9는 도 8의 상세 블록구성도이다. 이에 도시한 바와 같이, 상기 신장계측 모듈(30)은 감시카메라의 영상표시 및 신장계측과정에 대한 전반적인 처리를 수행하는 제어부(330)와(상기 제어부(330)는 자체적으로 메모리를 포함하는 것으로 가정한다), 특정 프로그래밍언어로 구현된 본 발명에 따른 신장계측 프로그램(알고리 즘)이 저장된 신장계측 프로그램 저장부(320)와, 상기 신장계측 프로그램 저장부(320)와 연계하여 인터페이스 화면(I)을 관리(사용자의 키 설정데이터에 따라 수행된 결과화면을 표시하며 아울러 데이터를 표시하기 위해 상기 제어부(330)로부터 데이터의 수신)하는 인터페이스화면 관리부(340)로 구성된다.
참조부호 322는 렌즈왜곡등 상기 이론에서 제시된 왜곡계수를 계산하는 카메라 왜곡계수 연산부를 나타낸다.
참조부호 324는 상기 설명한 바 있는 이론에서 선형방정식의 해를 구할 수 있도록 수학식들을 표현한 알고리즘이 구현된 카메라 직접 선형변환 연산부를 나타낸다.
참조부호 328은 상기 이론에서 설명한 수학식들을 표현한 알고리즘이 구현된발밑점 왜곡 보정(calibration)부를 나타낸 것으로서, 사용자가 영상의 발밑점을 체크하고 보정 기능버튼(도 13 참조)을 눌러 보정기능을 수행한다.
참조부호 329는 상기 발밑점 왜곡 보정부의 출력신호에 따라 후술하는 투영영상 표시화면(S1)내에 촬영된 대상물의 소정위치에 가상자(VR)를 형성하기 위한 가상자 생성부를 나타낸다.
상기 인터페이스화면 관리부(340)는 인터페이스 화면내에서 일부분을 차지하며, 상기 감시카메라(10)를 통해 전송된 영상을 표시하는 투영영상 표시부(344), 및 상기 투영영상 표시부(344)에 의해 투영된 화면내에 상기 가상자 생성부(329)에 의해 생성된 가상자를 표시하기 위한 가상자 표시부(343), 상기 가상자 표시부(343)에 대응되는 영상 좌표점들을 표시하는 가상자 눈금데이터 표시부(342), 상기 신호입력수단(40)의 조작신호에 따라 다양한 기능버튼들을 선택할 수 있도록 다양한 기능항목들을 팝업창 형태로 표시하는 팝업창 화면표시부(346), 상기 신호입력수단(40)의 조작신호에 따라 다양한 기능을 수행하도록 인터페이스 화면소정위치에 추가,보정,닫기,수정 및 삭제(이에 제한되지 않음) 기능 버튼들을 표시하기 위한 기능버튼 표시부(348), 상기 인터페이스 화면내 소정위치에 상기 발밑점 왜곡보정부에 의한 보정데이터를 나타내는 화면을 표시하기 위한 보정데이터 표시부(349)를 포함한다.
데이터 저장부(350)는 본 발명의 장치를 통한 실행과정에서 발생된 데이터(선형방정식 및 비선형방정식의 계산결과 데이터 및 가상자 생성부에 의한 데이터)를 저장한다.
상기 팝업창 화면 표시부(346)에 표시된 특정기능 버튼(예를 들면 캘리브레이션 버튼)을 사용자가 신호입력수단(40)을 통해 클릭하면 상기 신장계측 프로그램저장부(320)에 저장된 프로그램에 의해 보정이 이루어진다. 이후 보정된 데이터는 데이터저장부(350)로 저장된다.
도 10은 본 발명의 바람직한 실시예에 따르는 기준점 설정 장치를 도시한 것이고, 도 11a 내지 도 11d는 도 10의 기준점 설정 장치에서 사용된 연결부재들을 나타낸 사시도이다. 이에 따르면, 임의의 장소를 감시하고 있는 감시카메라가 있는 현장에 본 발명의 기준섬 설정 장치를 위치시키고 촬영한다.
기준점 설정 장치(50)의 전체적인 형상은 물론 이에 제한되지 않고 다양한 다각형 형태 및 치수로 제작가능하나, 길이 1m(이에 제한되지 않음)인 다수개의 프레임(52)들이 중공부(53)을 가진 중공 파이프 형태의 연결부재들(54-1,54-2,54-3,54-4)의 중공부(53)에 조립되어(끼워맞춤) 이루어진 정사면체 형태로 하는 것이 바람직하다.
참조부호 51은 상기 연결부재들(54-1,54-2,54-3,54-4)의 노드부를 나타낸 것으로서, 각각의 프레임(52)들이 상기 연결부재들(54-1,54-2,54-3,54-4)을 통해 만나는 위치를 나타내는 일종의 접속점이고, 상기 노드부(51)의 좌표는 미리 알 수 있기 때문에, 이렇게 미리 알 수 있는 실제 좌표값을 본 발명에 적용한다.
상기 기준점 설정 장치(50)를 만들기 위해서 필요한 연결부재(54-1,54-2,54-3,54-4)는 4가지 형태이며, 이는 기준점 설정 장치(50)의 입체 형상이 달라지면 그에 따라 다른 형태로도 제작될 수 있을 것이다.
도 12는 본 발명에 따른 감시카메라의 왜곡보정을 통한 신장계측 시스템에서의 신장계측과정을 나타낸 흐름도이다.
이에 도시한 바와 같이, 먼저 감시카메라(10)를 통한 영상이 입력되면(ST-2), 프로젝션 매트릭스(PROJECTION MATRIX)를 추출하는 과정이 진행된다(ST-4, ST-6, ST-8, ST-10 및 ST-12).
상기 프로젝션 매트릭스 추출과정을 구체적으로 설명한다. 먼저, 감시카메라(10)를 통해 투영된 영상에서 추출하고자하는 영상에 기준점들을 설정한다(ST-4).( 실제로 상기 기준점들을 설정하기 위하여, 도 10의 기준점 설정 장치를 이용한다). 이후 기준점 설정 장치를 통해 알 수 있는 실좌표를 입력하고(ST-6), 이후 직접 선형변환(DLT)방법으로 선형관계를 계산한다(ST-8). 상기 단계 ST-8은 상기 카메라 직접선형변환 연산부(324)를 통해 수행된다. 상기 선형관계는 3차원 실좌표와 2차원 공간좌표와의 상관관계를 나타내는 선형방정식을 풀이하여 획득한 미지수들이다. 이후 왜곡요소를 상기 카메라 왜곡계수 연산부(322)를 통해 계산하여 왜곡계수를 구한다(ST-10).
본 발명에서 사용되는 신장계측 프로그램 저장부(320)는 특정 프로그래밍 언어(예를 들면 C 언어, 이에 제한되지 않음)에 의해 구현된 알고리즘으로서 상기 이론에 열거한 수학식들이 표현된 알고리즘이 구현된 소자이다.
한편 상기 단계 ST-14이후에 실제로 상기 투영된 영상내에 존재하는 사람(혹은 범인)(M)의 신장을 계측하는 과정이 수행된다. 즉, 본 발명에 따른 신장계측모듈(30)에 의해 표시장치상에 표시되는 인터페이스 화면에서 선택적으로 대상위치를 선정하고(이때 발밑점 즉 Z=0인 점을 선정함)(ST-12), 왜곡요소를 고려하여 대상위치를 보정한다(ST-14). 보정은 상기 이론에서 설명한 수학식을 표현하는 알고리즘이 구현된 발밑점 왜곡 보정부(328)를 통해 수행된다. 상기 단계 ST-14를 수행한 후, 인터페이스 화면에서 가상자 생성(팝업창으로 표시되도록 할 수 있음, 도시안됨)을 클릭하면 다수개의 눈금간격들을 가진 가상자(VR)가(도 18 참조) 미리 정한 위치에 생성되는데(ST-16), 즉, 상기 가상자(VR)는 사용자가 신호입력수단(40)을 통해 상기 감시카메라(10)가 투영하는 영상을 표시하는 화면내에 위치하는 사람(M)의 머리 주위, 즉 해당 Z=0에서 수직한 부분(X,Y는 일정한) 소정위치까지 투영된다 (실시예에서는 사용자가 쉽게 인식할 수 있도록 붉은 색상으로 표시하였다)(ST-18). 이와 동시에 인터페이스 화면상에는 신장계측 결과가 표시된다(ST-20). 예를 들면, 상기 가상자(VR)가 위치하는 지점에 대한 2차원 영상좌표(U,V)와 3차원 공간좌표(X,Y,Z)가 표시되며 여기에서 Z좌표가 해당 화면내에서 위치한 사람의 신장을 나타낸다. 상기 가상자(VR)의 눈금과 인터페이스 화면상의 좌표항목을 서로 대응관계이다. 즉 사용자가 좌표를(실시예에서는 1부터 일련번호로 나열되어있다) 마우스로 선택하여 클릭하면 상기 가상자(VR)의 소정 치수 눈금에 지시점이 한단계씩 이동된다.
도 13내지 도 16은 본 발명에 따른 감시카메라에 의해 촬영된 실제 모습을 나타내는 화면과 특정 포인트에 대한 실제좌표값을 나타낸 팝업창이 표시된 프로그램 인터페이스 화면을 나타낸 도면이다.
이에 도시한 바와같이, 인터페이스 화면(I)내에는 감시카메라(도시안됨)에 의해 촬영된 현장 모습을 나타내는 투영영상 표시화면(S1)과 U,V값 및 X,Y,Z좌표값을 나타내는 팝업창 화면(S2)이 도시된다. 사용자는 상기 화면(S1)내에서 가상자(VR)를 실제 계측용 자(C)에 비교하여 이동시키면 해당 위치에 대한 값들이 상기 팝업창 화면(S2)에 표시되어 Z값을 읽을 수 있다.
실시예에서, 고정된 감시카메라의 화각에 임의의 위치에 실제 계측용 자(C)를 놓고 320 x 240 pixel의 영상을 취득하였다. 취득한 영상에 대한 캘리브레이션(calibration)을 수행한 이후 실제 영상에 가상자(Virtual Ruler)(VR)(붉은색 눈금 으로 표시됨)를 투영함으로써 계측용 자(C)와 가상자(Virtual Ruler)(VR)와 비교함으로써 가상자(Virtual Ruler)의 정확성을 알아보았다. 상기와 같이 실제 계측용 자(c)를 사용할 수도 있고, 도 10에서 도시한 기준점 설정모델을 좌표로 사용할 수도 있다.
실제 사용하게 되는 인터페이스 화면에 대하여 설명하면, 도 13에 도시한 바와 같이, 가상자 눈금 표시화면(VI)에는 다수개의 가상자 눈금들이 표시되며, 이 눈금들은 실제로 앞에서 설명한 바 있는 것처럼, Z값이 150에서 200cm인 간격을 1cm로 구하였는데, 실제로 눈금 간격을 2cm씩하여 보기 편하도록 하였다. 상기 가상자 눈금표시화면(VI)에는 각각의 눈금에 해당하는 u1,u2... 및 v1,v2,...와 같은 영상좌표값들이 표시된다. 사용자는 커서를 입력장치를 통해 간격을 하나씩 즉 1(u1,v1),2(u2,v2),... 이동시킬 수 있고, 이에 따라 화면(S1)에 있는 가상자(VR)의 눈금 지시점도 한칸씩 이동하게 되므로 원하는 위치에 가상자(VR)의 눈금 지시점의 위치시키고 그 지점에서의 값을 읽을 수 있다. 치수변경시 하이라이트된(highlighted) 상태는 도 17 내지 도 20에서 볼 수 있다.
참조부호 AD는 추가 버튼으로서 화면상에서 영상좌표를 여러군데 마우스로 클릭하여 추가할 수 있다. 이와 같이 하여 보정을 더 효과적으로 할 수 있다.
참조부호 CB는 보정(calibration) 버튼으로서, 사용자가 알고자하는 기준점(발밑기준점)을 클릭한 후 이 버튼을 눌러 보정기능을 수행한다.
참조부호 B-1,B-2,B-3,B-4,B-5는 영상좌표 U,V와 실제좌표 X,Y,Z를 나타낸 보정데이터 표시창이고, 여기서 우리가 관심있는 것은 물론 Z값이다.
참조부호 C-1,C-2 및 C-3는 각각 닫기, 수정, 삭제기능을 수행하기 위한 기능 버튼들을 나타낸다.
도 17내지 도 20은 실제 계측대상인 사람을 위치시키고 가상자를 이용하여 신장을 계측하는 과정을 나타낸 도 13내지 도 16과 유사한 도면이다.
이에 도시한 바와 같이, 화면(S1)에서 계측 대상인 사람(M)의 머리부분에 가상자(VR)를 위치시키면(마우스를 이용하여 이동시킬 수 있을 것임) 프로그램이 작동하여 신장을 우측 팝업창 화면(S2)에 표시하게 된다.
본 발명에서 제안하는 알고리즘을 이용하여 프로그램을 개발하였다. 개발된 프로그램은 감시카메라의 영상을 받아서 사용자가 계측 대상(M)의 발에 기준점을 설정하면 가상자(VR)가 기준점과 동일한 X-Y 좌표를 갖는 Z축 방향으로 나타나게 된다. 하지만 이때 사용자에 따른 오차가 발생할 수 있고 이러한 오차는 계산 결과 약 1.7Cm 정도로 무시할 수 있는 수준의 오차이다.
임의의 위치에 있는 계측용 자(C)에 가상자(VR)를 투영한 결과 1 Pixel이 나타내는 길이가 최대 1.43Cm에서 최소 0.94 Cm 일 때 1Cm 이내의 오차를 보였다. 정지해서 똑바로 서있는 사람을 계측할 경우 약 1Cm의 오차를 보였으며, 사람의 포즈나 걷는 중의 신장의 변화 역시 정확하게 계측하였다.
상기 설명한 바와 같이, 본 발명에서는 한 장의 감시 카메라 영상으로부터 범인의 신장을 계측할 수 있는 알고리즘을 제안하였다. 이 방법은 렌즈의 왜곡변수를 알고 있거나 현장에서 충분한 수의 보정 지점(calibration point)들을 확보할 수 있다면 쉽게 영상에 가상자(VR)를 생성함으로써 범인의 신장을 쉽게 계측할 수 있는 효과가 있다. 1 픽셀(Pixel)이 나타내는 길이가 0.94 Cm 이상 일 때 1Cm 이내의 오차를 보였다.
본 발명은 바람직한 실시예를 중심으로 기술 하였지만, 본 발명은 이에 한정되는 것은 아니며, 후술하는 청구범위를 기초로 다양하게 변형실시 할 수 있음은 물론이다.

Claims (13)

  1. 감시카메라를 통해 촬영한 대상물의 2차원 영상좌표에 대응하는 3차원 실세계좌표를 표시하기 위한 감시카메라의 왜곡보정을 통한 신장계측 방법에 있어서,
    2차원 영상좌표가 3차원 실세계좌표로 투영되는 선형관계를 계산하는 제 1과정;
    상기 제 1과정에서 획득한 값들과 미지수로서 카메라 왜곡을 나타내는 다수개의 왜곡계수들을 포함하는 비선형관계를 계산하는 제2과정; 및
    상기 제 1과정에서 획득한 해들과 상기 제 2과정에서 획득한 왜곡계수들을 상기 비선형관계에 대입하여 계산함으로써 2차원 영상좌표에 대응하여 왜곡된 3차원 실세계좌표를 보정하는 제 3과정;으로 이루어진 것을 특징으로 하는 감시카메라의 왜곡보정을 통한 신장계측 방법.
  2. 제 1 항에 있어서,
    상기 제 1과정전에
    소정의 치수를 가진 하나 이상의 프레임들이 노드부를 형성하는 하나 이상의 좌표 방향을 향하는 연결부재들에 의해 결합된 다각형 입체격자구조의 기준점 설정 장치에 의해 3차원 실세계좌표를 획득하는 과정을 수행하는 것을 특징으로 하는 감시카메라의 왜곡보정을 통한 신장계측 방법.
  3. 제 1 항에 있어서, 상기 제 3과정은
    감시카메라가 촬영한 영상에서 제 1 부분을 선정하는 제 4과정;
    상기 제 1과정에서 획득한 해들과 상기 제 2과정에서 획득한 왜곡계수들을 상기 비선형관계에 대입하여 계산하도록 수행신호를 인가하는 제 5과정; 및
    상기 제 5과정후에 상기 대상물의 제 2 부분에 측정 수단을 표시하는 제 6과정;을 포함하여 구성된 것을 특징으로 하는 감시카메라의 왜곡보정을 통한 신장계측 방법.
  4. 제 1 항에 있어서, 상기 제 3과정은
    감시카메라가 촬영한 영상에서 제 1 부분을 선정하는 제 7과정; 및
    상기 제 1과정에서 획득한 해들과 상기 제 2과정에서 획득한 왜곡계수들을 상기 비선형관계에 대입하여 계산하도록 수행신호를 인가하는 제 8과정;으로 구성된 것을 특징으로 하는 감시카메라의 왜곡보정을 통한 신장계측 방법.
  5. 제 4 항에 있어서,
    상기 제 8과정후에 입력수단을 통한 입력신호에 따라 상기 영상의 제 2 부분에 측정 수단을 표시하는 제 9과정;을 포함하여 구성된 것을 특징으로 하는 감시카메라의 왜곡보정을 통한 신장계측 방법.
  6. 제 3항 또는 제 5 항에 있어서,
    상기 제 1부분 사람의 경우 사람의 발 부분이며 제 1 부분이 3차원 실세계 좌표가 (X,Y,0)인 점이되고,
    제 2 부분은 상기 제 1 부분과 동일한 X,Y좌표를 갖는 Z좌표의 변위가 소정부분에 해당하는 범위까지인 좌표를 상기 비선형관계에 대입하여 계산함으로써 상기 감시카메라에 의해 투영된 영상에서 대상물의 Z=0인 점으로부터 수직하게(X,Y일정) 형성된 상기 변위만큼의 눈금을 가진 부분인 것을 특징으로 하는 감시카메라의 왜곡보정을 통한 신장계측 방법.
  7. 제 3항 또는 제 5 항에 있어서,
    상기 측정 수단은 상기 제 2 부분에 투영되어 사용자의 조작신호에 따라 해당 눈금만큼 한단계씩 가변되며 각 가변된 부분에 해당되는 실제좌표가 인터페이스 화면에 표시되는 것을 특징으로 하는 감시카메라의 왜곡보정을 통한 신장계측 방법.
  8. 감시카메라를 통해 촬영한 대상물의 2차원 영상좌표에 대응하는 3차원 실세계좌표를 표시하기 위한 감시카메라의 왜곡보정을 통한 신장계측 방법에 있어서,
    2차원 영상좌표가 3차원 실세계좌표로 투영되는 선형관계를 계산하는 제 1과정;
    상기 제 1과정에서 획득한 값들과 미지수로서 카메라 왜곡을 나타내는 다수개의 왜곡계수들을 포함하는 비선형관계를 계산하는 제2과정; 및
    상기 제 1과정에서 획득한 해들과 상기 제 2과정에서 획득한 왜곡계수들을 상기 비선형관계에 대입하여 계산함으로써 2차원 영상좌표에 대응하여 왜곡된 3차원 실세계좌표를 보정하는 제 3과정;으로 이루어진 것을 특징으로 하는 감시카메라의 왜곡보정을 통한 신장계측 방법을 수행하기 위한 프로그램이 기록된 기록매체.
  9. 감시카메라를 통해 촬영한 대상물의 2차원 영상좌표에 대응하는 3차원 실세계좌표를 표시하기 위한 감시카메라의 왜곡보정을 통한 신장계측 방법을 수행하는 기준점 설정 장치에 있어서,
    소정의 치수를 가진 하나 이상의 프레임들이 노드부를 형성하는 하나 이상의 좌표 방향을 향하는 연결부재들에 의해 결합된 다각형 입체격자구조인 것을 특징으로 하는 기준점 설정 장치.
  10. 감시카메라를 통해 촬영한 대상물의 2차원 영상좌표에 대응하는 3차원 실세계좌표를 표시하기 위한 감시카메라의 왜곡보정을 통한 신장계측 장치에 있어서,
    신호를 입력하기 위한 신호입력수단;
    상기 감시카메라를 통해 촬영한 대상물에 관한 영상 및 데이터들을 표시하고 기타 각종 기능화면 및 기능버튼들을 표시하기 위한 인터페이스 화면을 관리하는 인터페이스 화면관리부;
    2차원 영상좌표에 대응하는 3차원 실세계좌표를 계산하기 위한 프로그램들 및 프로그램의 왜곡보정 결과데이터를 기초로 상기 대상물의 소정위치에 소정치수의 눈금들을 가진 측정 수단을 생성하는 측정수단 생성부가 내장된 신장계측 프로그램 저장부;
    상기 신호입력수단에 의해 실행된 프로그램들에 의한 결과데이터를 저장하는 데이터 저장부; 및
    상기 장치 전반을 제어하며, 상기 신호입력수단에 의해 선택된 기능수행신호에 따라 상기 신장계측 프로그램의 프로그램들을 구동시키고 상기 데이터 저장부에 저장된 데이터를 독취하여 상기 인터페이스 화면표시부에 표시하며 상기 신호입력수단에 의해 상기 측정수단의 눈금을 이동시킴에 따라 해당 대상물의 보정된 실세계좌표가 가변되어 표시되도록 제어하는 제어부;로 구성된 것을 특징으로 하는 감시카메라의 왜곡보정을 통한 신장계측 장치.
  11. 제 10 항에 있어서,
    상기 신장계측 프로그램 저장부는
    상기 신호입력수단에 의해 입력된 대상물의 2차원 영상좌표 및 3차원 실세계좌표를 기초로 선형관계를 계산하는 카메라 직접선형변환 연산부;
    상기 직접선형변환 연산부에 의해 계산된 값을 기초로 상기 감시카메라의 왜곡계수를 구하는 카메라 왜곡계수 연산부;
    상기 신호입력수단의 보정선택신호에 따라 상기 선형관계 및 상기 왜곡계수 를 기초로 비선형관계를 계산하는 발밑점 왜곡보정부; 및
    상기 발밑점 왜곡보정부의 계산결과를 나타내는 상기 측정수단을 상기 대상물의 소정위치에 표시하기 위한 가상자 생성부를 포함하여 구성된 것을 특징으로 하는 감시카메라의 왜곡보정을 통한 신장계측 장치.
  12. 제 10항에 있어서,
    상기 인터페이스 화면관리부는
    상기 인터페이스 화면내에서 일부분을 차지하며, 감시카메라를 통해 전송된 영상을 표시하는 투영영상 표시부;
    상기 투영영상 표시부에 의해 투영된 화면내에 상기 측정수단을 표시하기 위한 측정수단 표시부;
    상기 측정수단 표시부에 대응되는 영상 좌표점들을 표시하는 측정수단 눈금데이터 표시부;
    상기 신호입력수단의 조작신호에 따라 다양한 기능버튼들을 선택할 수 있도록 다양한 기능항목들을 팝업창 형태로 표시하며 가상자를 생성하기 위한 가상자 생성항목을 표시하는 팝업창 화면표시부;
    상기 신호입력수단의 조작신호에 따라 다양한 기능을 수행하도록 인터페이스 화면 소정위치에 기능 버튼들을 표시하기 위한 기능버튼 표시부;
    상기 인터페이스 화면내의 소정위치에 상기 대상물의 실세계좌표를 포함하는 보정데이터를 나타내는 화면을 표시하기 위한 보정데이터 표시부;를 포함하여 구성 된 것을 특징으로 하는 감시카메라의 왜곡보정을 통한 신장계측 장치.
  13. 제 10 항에 있어서,
    상기 측정 수단은 상기 신호입력수단의 조작신호에 따라 해당 눈금만큼 한단계씩 가변되는 것을 특징으로 하는 감시카메라의 왜곡보정을 통한 신장계측 장치.
KR1020050005230A 2005-01-20 2005-01-20 감시카메라의 왜곡보정을 통한 신장계측 장치,방법, 그방법이 기록된 기록매체 및 기준점 설정장치 KR100657542B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050005230A KR100657542B1 (ko) 2005-01-20 2005-01-20 감시카메라의 왜곡보정을 통한 신장계측 장치,방법, 그방법이 기록된 기록매체 및 기준점 설정장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050005230A KR100657542B1 (ko) 2005-01-20 2005-01-20 감시카메라의 왜곡보정을 통한 신장계측 장치,방법, 그방법이 기록된 기록매체 및 기준점 설정장치

Publications (2)

Publication Number Publication Date
KR20060084541A KR20060084541A (ko) 2006-07-25
KR100657542B1 true KR100657542B1 (ko) 2006-12-15

Family

ID=37174535

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050005230A KR100657542B1 (ko) 2005-01-20 2005-01-20 감시카메라의 왜곡보정을 통한 신장계측 장치,방법, 그방법이 기록된 기록매체 및 기준점 설정장치

Country Status (1)

Country Link
KR (1) KR100657542B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160109246A (ko) * 2015-03-10 2016-09-21 안미림 보험 서비스 통합 장치 및 컴퓨터 프로그램
KR102094121B1 (ko) * 2018-09-21 2020-03-26 (주)블록체인오에스 블록체인 기반 보험 프로세싱 과정에서 발생하는 유입 정보 신뢰도 검증 서비스 제공 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000062782A (ko) * 1999-03-09 2000-10-25 나카무라 요지 비접촉신장계
KR100422370B1 (ko) 2000-12-27 2004-03-18 한국전자통신연구원 3차원 물체 부피계측시스템 및 방법
JP2004126738A (ja) 2002-09-30 2004-04-22 Matsushita Electric Ind Co Ltd ３次元計測を用いた個人認証装置および認証方法
JP2004361222A (ja) 2003-06-04 2004-12-24 Mitsubishi Electric Corp 三次元位置計測システムおよび方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000062782A (ko) * 1999-03-09 2000-10-25 나카무라 요지 비접촉신장계
KR100422370B1 (ko) 2000-12-27 2004-03-18 한국전자통신연구원 3차원 물체 부피계측시스템 및 방법
JP2004126738A (ja) 2002-09-30 2004-04-22 Matsushita Electric Ind Co Ltd ３次元計測を用いた個人認証装置および認証方法
JP2004361222A (ja) 2003-06-04 2004-12-24 Mitsubishi Electric Corp 三次元位置計測システムおよび方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160109246A (ko) * 2015-03-10 2016-09-21 안미림 보험 서비스 통합 장치 및 컴퓨터 프로그램
KR101722908B1 (ko) * 2015-03-10 2017-04-10 안미림 보험 서비스 통합 장치 및 컴퓨터 프로그램
KR102094121B1 (ko) * 2018-09-21 2020-03-26 (주)블록체인오에스 블록체인 기반 보험 프로세싱 과정에서 발생하는 유입 정보 신뢰도 검증 서비스 제공 방법

Also Published As

Publication number Publication date
KR20060084541A (ko) 2006-07-25

Similar Documents

Publication Publication Date Title
US9965870B2 (en) Camera calibration method using a calibration target
TWI554976B (zh) 監控系統及其影像處理方法
CN109816745B (zh) 人体热力图展示方法及相关产品
CN109815843A (zh) 目标检测方法及相关产品
WO2019035155A1 (ja) 画像処理システム、画像処理方法、及びプログラム
JP4929828B2 (ja) 立体性認証方法、立体性認証装置および立体性認証プログラム
US20110187703A1 (en) Method and system for object tracking using appearance model
JP6683307B2 (ja) 多数のカメラを用いた最適の球形映像獲得方法
Iuliani et al. Image splicing detection based on general perspective constraints
JP7092615B2 (ja) 影検出装置、影検出方法、影検出プログラム、学習装置、学習方法、及び学習プログラム
WO2020136523A1 (en) System and method for the recognition of geometric shapes
Santoši et al. Evaluation of synthetically generated patterns for image-based 3D reconstruction of texture-less objects
CN115457176A (zh) 一种图像生成方法、装置、电子设备及存储介质
KR100657542B1 (ko) 감시카메라의 왜곡보정을 통한 신장계측 장치,방법, 그방법이 기록된 기록매체 및 기준점 설정장치
JP2001148012A (ja) 対応点探索方法および装置
JP6875646B2 (ja) 画像処理装置、および、画像処理プログラム
US20080267506A1 (en) Interest point detection
CN109785439A (zh) 人脸素描图像生成方法及相关产品
KR100903629B1 (ko) 공선조건식을 이용한 단영상으로부터 개체의 3차원 정보추출 방법, 이를 수행하는 프로그램을 기록한 기록매체 및공선조건식을 이용한 단영상으로부터 개체의 3차원 정보추출 시스템
CN110288707B (zh) 一种三维动态建模的方法及其系统
JP7304235B2 (ja) 学習済みモデル、学習装置、学習方法、及び学習プログラム
CN117058183A (zh) 一种基于双摄像头的图像处理方法、装置、电子设备及存储介质
CN109816628A (zh) 人脸评价方法及相关产品
JP2005031044A (ja) 三次元誤差測定装置
JP6820489B2 (ja) 画像処理装置、および、画像処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant