KR101530131B1 - 듀얼 카메라를 이용한 영상 감지 방법 및 장치 - Google Patents

듀얼 카메라를 이용한 영상 감지 방법 및 장치 Download PDF

Info

Publication number
KR101530131B1
KR101530131B1 KR1020130149893A KR20130149893A KR101530131B1 KR 101530131 B1 KR101530131 B1 KR 101530131B1 KR 1020130149893 A KR1020130149893 A KR 1020130149893A KR 20130149893 A KR20130149893 A KR 20130149893A KR 101530131 B1 KR101530131 B1 KR 101530131B1
Authority
KR
South Korea
Prior art keywords
camera
target
feature points
panning
fixed
Prior art date
Application number
KR1020130149893A
Other languages
English (en)
Other versions
KR20150064943A (ko
Inventor
조재수
김기석
조혜미
Original Assignee
한국기술교육대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국기술교육대학교 산학협력단 filed Critical 한국기술교육대학교 산학협력단
Priority to KR1020130149893A priority Critical patent/KR101530131B1/ko
Publication of KR20150064943A publication Critical patent/KR20150064943A/ko
Application granted granted Critical
Publication of KR101530131B1 publication Critical patent/KR101530131B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 듀얼 카메라를 이용한 영상 감지 방법 및 장치에 관한 것이다. 본 발명에 따르면, 고정 카메라 및 이동 카메라를 포함하는 듀얼 카메라를 이용한 영상 감지 방법에 있어서, 상기 고정 카메라의 촬상 영상으로부터 추출된 각각의 특징점이 상기 이동 카메라 내에서 촬상되도록 하는 상기 이동 카메라의 팬 또는 틸트 값을 상기 각각의 특징점에 대응하여 저장하는 단계와, 상기 고정 카메라에서 타겟이 감지되면, 상기 각각의 특징점 중 상기 타겟과 인접하여 존재하는 복수의 특징점을 추출하는 단계와, 상기 추출된 복수의 특징점에 대응하여 기 저장된 상기 팬 또는 틸트 값을 이용하여 상기 타겟에 대한 팬 또는 틸트 값을 연산하는 단계, 및 상기 이동 카메라상에서 상기 타겟을 추적하도록, 상기 이동 카메라를 상기 연산된 팬 또는 틸트 값으로 제어하는 단계를 포함하는 듀얼 카메라를 이용한 영상 감지 방법을 제공한다.
상기 듀얼 카메라를 이용한 영상 감지 방법 및 장치에 따르면, 고정 카메라와 이동 카메라 간의 복잡한 좌표 변환 과정을 필요로 하지 않아 시스템의 복잡도를 줄일 수 있으며 카메라의 제어 효율 및 물체의 감시 효율을 높일 수 있다.

Description

듀얼 카메라를 이용한 영상 감지 방법 및 장치{Image sensing method using dual camera and apparatus thereof}
본 발명은 듀얼 카메라를 이용한 영상 감지 방법 및 장치에 관한 것으로서, 보다 상세하게는 고정 카메라와 이동 카메라를 이용하여 이동 물체에 대한 감시 효율을 높일 수 있는 듀얼 카메라를 이용한 영상 감지 방법 및 장치에 관한 것이다.
지능형 영상감시 분야에서 듀얼 카메라를 활용한 감시 시스템의 연구는 다양하게 진행되고 있다. 고정 카메라와 이동 카메라를 동시에 활용할 경우 영역 전체에 대한 감시와 특정 위험 요소에 대한 정밀 감시가 동시에 이뤄질 수 있어 감시 목적에 있어서 매우 효율적이다. 이러한 이유로 최근에는 듀얼 카메라를 이용한 감시 시스템에 대한 연구가 활발히 진행되고 있다.
일반적으로 듀얼 카메라를 이용한 감시 시스템에서는 고정 카메라와 이동 카메라 간의 영상 좌표를 일치시키는 과정을 필요로 한다. 그 예로서 기존에는 호모그래피 행렬을 이용한 좌표 변환을 사용하여 두 카메라 간의 뷰를 일치시킨다.
그런데, 이러한 호모그래피 행렬을 이용한 방식은 카메라가 가지고 있는 렌즈 왜곡이나 물체의 거리에 따른 오차에 정확하게 대응할 수 없다. 렌즈의 왜곡은 다차원 방정식으로 이루어져 있기 때문에 호모그래피의 선형 변환으로는 보정이 불가능하다. 또한 두 카메라 간의 광각의 차이가 큰 경우 뷰를 일치시키는 데에 한계가 따른다. 결론적으로 이러한 기존의 방식은 렌즈의 왜곡이나 카메라 간의 광각 차이 등에 강인하지 못하여 좌표 변환 과정에서 오차가 발생할 수 있으며 물체의 감시 효율을 떨어뜨리는 문제점이 있다.
본 발명의 배경이 되는 기술은 대한민국 공개특허공보 제2009-0044791호(2009.05.07 공개)에 개시되어 있다.
본 발명은 고정 카메라와 이동 카메라 간의 복잡한 좌표 변환 과정을 필요로 하지 않으며 카메라의 제어 효율 및 물체의 감시 효율을 높일 수 있는 듀얼 카메라를 이용한 영상 감지 방법 및 장치를 제공하는데 목적이 있다.
본 발명은, 고정 카메라 및 이동 카메라를 포함하는 듀얼 카메라를 이용한 영상 감지 방법에 있어서, 상기 고정 카메라의 촬상 영상으로부터 추출된 각각의 특징점이 상기 이동 카메라 내에서 촬상되도록 하는 상기 이동 카메라의 팬 또는 틸트 값을 상기 각각의 특징점에 대응하여 저장하는 단계와, 상기 고정 카메라에서 타겟이 감지되면, 상기 각각의 특징점 중 상기 타겟과 인접하여 존재하는 복수의 특징점을 추출하는 단계와, 상기 추출된 복수의 특징점에 대응하여 기 저장된 상기 팬 또는 틸트 값을 이용하여 상기 타겟에 대한 팬 또는 틸트 값을 연산하는 단계, 및 상기 이동 카메라상에서 상기 타겟을 추적하도록, 상기 이동 카메라를 상기 연산된 팬 또는 틸트 값으로 제어하는 단계를 포함하는 듀얼 카메라를 이용한 영상 감지 방법을 제공한다.
여기서, 상기 이동 카메라의 팬 또는 틸트 값을 상기 각각의 특징점에 대응하여 저장하는 단계는, 상기 특징점이 상기 이동 카메라의 화면 중심에 세팅되도록 하는 상기 이동 카메라의 팬 또는 틸트 값을, 상기 각각의 특징점에 대응하여 저장할 수 있다.
또한, 상기 복수의 특징점을 추출하는 단계는, 상기 각각의 특징점을 대상으로 들로네 삼각화 기법을 적용하여, 상기 각각의 특징점 중 상기 타겟이 소속된 삼각형 영역을 구성하는 3개의 특징점을 추출할 수 있다.
또한, 상기 타겟에 대한 팬 또는 틸트 값을 연산하는 단계는, 상기 3개의 특징점에 대응하여 기 저장된 팬 또는 틸트 값을 선형 보간하여 상기 타겟에 대한 팬 또는 틸트 값을 연산할 수 있다.
여기서, 상기 고정 카메라는 복수 개이며, 상호 인접한 고정 카메라 간은 영상의 가장자리 부위에 중복 감시 영역이 존재하며, 상기 이동 카메라의 팬 또는 틸트 값을 저장하는 단계는 상기 복수의 고정 카메라에 대해 수행하며, 상기 듀얼 카메라를 이용한 영상 감지 방법은, 상기 복수의 고정 카메라 별로 기 저장된 팬 또는 틸트 값으로부터 상기 중복 감시 영역을 탐지하는 단계, 및 상기 탐지된 중복 감시 영역을 이용하여, 상기 복수의 고정 카메라의 촬상 영상을 조합하여 파노라마 영상을 생성하는 단계를 더 포함할 수 있다.
그리고, 본 발명은 고정 카메라 및 이동 카메라를 포함하는 듀얼 카메라를 이용한 영상 감지 장치에 있어서, 상기 고정 카메라의 촬상 영상으로부터 추출된 각각의 특징점이 상기 이동 카메라 내에서 촬상되도록 하는 상기 이동 카메라의 팬 또는 틸트 값을 상기 각각의 특징점에 대응하여 저장하는 대응값 저장부와, 상기 고정 카메라에서 타겟이 감지되면, 상기 각각의 특징점 중 상기 타겟과 인접하여 존재하는 복수의 특징점을 추출하는 대상점 추출부와, 상기 추출된 복수의 특징점에 대응하여 기 저장된 상기 팬 또는 틸트 값을 이용하여 상기 타겟에 대한 팬 또는 틸트 값을 연산하는 제어값 연산부, 및 상기 이동 카메라상에서 상기 타겟을 추적하도록, 상기 이동 카메라를 상기 연산된 팬 또는 틸트 값으로 제어하는 카메라 제어부를 포함하는 듀얼 카메라를 이용한 영상 감지 장치를 제공한다.
여기서, 상기 고정 카메라는 복수 개이며, 상호 인접한 고정 카메라 간은 영상의 가장자리 부위에 중복 감시 영역이 존재하며, 상기 이동 카메라의 팬 또는 틸트 값을 저장하는 단계는 상기 복수의 고정 카메라에 대해 수행하며, 상기 듀얼 카메라를 이용한 영상 감지 장치는, 상기 복수의 고정 카메라 별로 기 저장된 팬 또는 틸트 값으로부터 상기 중복 감시 영역을 탐지하는 중첩구간 탐지부, 및 상기 탐지된 중복 감시 영역을 이용하여, 상기 복수의 고정 카메라의 촬상 영상을 조합하여 파노라마 영상을 생성하는 파노라마 생성부를 더 포함할 수 있다.
본 발명에 따른 듀얼 카메라를 이용한 영상 감지 방법 및 장치에 따르면, 고정 카메라와 이동 카메라 간의 복잡한 좌표 변환 과정을 필요로 하지 않아 시스템의 복잡도를 줄일 수 있으며 카메라의 제어 효율 및 물체의 감시 효율을 높일 수 있다.
도 1은 본 발명의 실시예에 따른 듀얼 카메라를 이용한 영상 감지 장치의 구성도이다.
도 2는 도 1을 이용한 영상 감지 방법의 흐름도이다.
도 3은 도 2의 S210 단계를 설명하는 개념도이다.
도 4는 도 2의 S220 내지 S240 단계를 설명하는 개념도이다.
도 5는 본 발명의 실시예에서 다수의 고정 카메라와 한 대의 이동 카메라를 활용한 영상 감지 시스템의 개념도이다.
도 6은 도 5의 예에서 두 고정 카메라 간에 중복 감시 영역이 발생하는 개념도이다.
도 7은 도 6의 경우에 있어 고정 카메라 간의 중복 감시 영역을 탐지하는 방법을 나타내는 개념도이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
본 발명은 고정 카메라 및 이동 카메라를 포함하는 듀얼 카메라를 이용한 영상 감지 방법으로서, 두 카메라 간의 좌표변환 없이 움직이는 카메라 제어가 가능한 팬/틸트/줌 제어 테이블 정보 및 들로네 삼각화 기법을 이용하여 효과적인 움직이는 타겟 추적 방법을 제공한다.
도 1은 본 발명의 실시예에 따른 듀얼 카메라를 이용한 영상 감지 장치의 구성도이고, 도 2는 도 1을 이용한 영상 감지 방법의 흐름도이다. 도 1 및 도 2를 참조하면, 본 발명의 실시예에 따른 듀얼 카메라를 이용한 영상 감지 장치(100)는 대응점 저장부(110), 대상점 추출부(120), 제어값 연산부(130), 카메라 제어부(140), 중첩구간 탐지부(150), 파노라마 생성부(160)를 포함한다.
먼저, 대응점 저장부(110)는 상기 고정 카메라(10)의 촬상 영상으로부터 추출된 각각의 특징점이 상기 이동 카메라(20)의 화면 중심에서 촬상되도록 하는 상기 이동 카메라(20)의 팬 또는 틸트 값을 상기 각각의 특징점에 대응하여 저장한다(S210).
이러한 S210 단계는 상기 특징점이 이동 카메라(20)의 화면 중심에 세팅되게 하는 이동 카메라(20)의 팬 또는 틸트 값을, 상기 각각의 특징점에 대응하여 저장하는 과정이다. 이에 따르면, 고정 카메라(10) 상에서의 각각의 특징점에 대응되는 이동 카메라(20)의 팬 또는 틸트 값을 테이블 정보로 카메라 설치 시 미리 구축할 수 있다.
상기 S210 단계에 관하여 보다 상세히 설명하면 다음과 같다. 도 3은 도 2의 S210 단계를 설명하는 개념도이다.
우선, 도 3의 (a)는 고정 카메라(10)의 촬상 영상에서 추출된 특징점들을 나타낸다. 도 3의 (b)는 고정 카메라(10)에서 추출된 특징점(P1)이 이동 카메라(20)의 화면 중심에 오도록 이동 카메라(20)의 팬 또는 틸트 값([Pan1, tilt1])을 조정한 화면을 나타낸다.
여기서, 특징점이란 촬상 영상 내에 존재하는 물체의 모서리들 또는 그 밖의 다양한 특징점에 해당될 수 있다. 도 3은 설명의 편의를 위해 4개의 특징점(P1, P2, P3, P4)을 예시한다.
상기 S210 단계는, 고정 카메라(10)에서 추출된 특징점에 대하여 이동 카메라(20)의 팬 또는 틸트 값을 조정하여, 해당 특징점이 이동 카메라(20)의 화면 중심에 오도록 맞추고, 해당 특징점에 대응되어 조정된 이동 카메라(20)의 팬 또는 틸트 값을 저장한다. 이러한 과정은 모든 특징점에 대하여 수행하도록 한다.
표 1은 S210 단계에서 고정 카메라(10) 내의 모든 특징점 P1 ...N에 대응되는 이동 카메라(20)의 팬/틸트 값 C1 ...N을 테이블 정보로 구축한 예시이다.
특징점 팬/틸트 값
P1 C1=[Pan1, tilt1]
P2 C2=[Pan2, tilt2]
... ...
PN CN=[PanN, tiltN]
이와 같이, 이동 카메라와 고정 카메라 간의 좌표변환 없이 움직이는 물체를 추적하기 위한 이동 카메라의 제어신호 정보(표1과 같은 테이블)가 구축된 다음, 대상점 추출부(120)는 상기 고정 카메라(10)에서 타겟이 감지되면, 상기 각각의 특징점 중 상기 타겟과 인접하여 존재하는 복수의 특징점을 표 1의 테이블로부터 추출한다(S220). 여기서 해당 특징점에 매핑되어 있는 제어 파라미터도 함께 표 1의 테이블에서 추출할 수 있다.
만약, 타겟 지점이 상기 특징점 중 하나의 지점과 일치하면, 해당 특징점에 대응하는 팬 또는 틸트 값으로 이동 카메라(20)를 제어하여 타겟을 감지하면 된다. 그러나, 타겟 지점이 항상 특징점 상에 존재할 수는 없다. 따라서, 본 실시예에서는 타겟 지점이 특징점과 일치하지 않는 경우에는 주변 특징점들을 이용하여 이동 카메라(20)의 팬 또는 틸트 제어 값을 새롭게 연산하여 제어할 수 있다.
타겟과 인접하여 존재하는 복수의 특징점 추출은 들로네 삼각화 기법(Delaunay triangulation method)을 사용한다. 들로네 삼각화 기법은 평면 위의 점들을 삼각형으로 연결하여 공간을 분할할 때, 이 삼각형의 내각의 최소값이 최대가 되도록 하는 분할이다. 이러한 들로네 삼각분할에 의하면 각각의 삼각형들이 길쭉하고 홀쭉한 삼각형이 아닌 최대한 정삼각형에 가깝도록 분할하게 된다.
본 실시예에서는, 상기 고정 카메라(10)에서 추출된 각각의 특징점을 대상으로 들로네 삼각화 기법을 적용하여, 상기 각각의 특징점 중 상기 타겟이 소속된 삼각형 영역을 구성하는 3개의 특징점을 추출한다.
도 4는 도 2의 S220 내지 S240 단계를 설명하는 개념도이다. 도 4의 (a)는 고정 카메라(10)에서 추출된 특징점 6개에 대하여 들로네 삼각화 기법을 적용한 예이다. 고정카메라(10) 상에서 타겟이 Pt 지점에 위치한 경우, Pt 점이 소속된 삼각형 영역을 구성하는 3개의 특징점은 Pa, Pb, Pc이므로, 이를 대상점으로 추출한다. 이 3개의 특징점 Pa, Pb, Pc에 대응하여 기 저장된 팬 또는 틸트 값을 이용하면, 새로운 움직이는 타겟의 추적을 위한 이동 카메라(20)의 팬 또는 틸트 값을 연산할 수 있다.
즉, 제어값 연산부(130)는 상기 추출된 복수의 특징점(Pa, Pb, Pc)에 대응하여 기 저장된 상기 팬 또는 틸트 값을 이용하여, 상기 타겟에 대한 팬 또는 틸트 값을 연산한다(S230).
구체적으로는, 상기 3개의 특징점(Pa, Pb, Pc)에 대응하여 기 저장된 팬 또는 틸트 값(ex, Ca, Cb, Cc)을 선형 보간하여 상기 타겟에 대한 팬 또는 틸트 값 Ct을 연산한다. 여기서 선형 보간법은 기 공지되어 있으므로 그 구체적인 구성 및 원리는 생략한다.
이후, 카메라 제어부(140)는 상기 이동 카메라(20) 상에서 상기 타겟을 추적할 수 있도록, 상기 이동 카메라(20)를 상기 연산된 팬 또는 틸트 값으로 제어한다(S240). 즉, 도 4의 (b)와 같이 이 연산된 팬 또는 틸트 값 Ct을 이용하여 이동 카메라(20)를 제어함에 따라 이동 카메라(20)의 화면 중심에 타겟이 들어오게 된다.
즉, 본 실시예는 타겟이 되는 점 Pt에 대하여 그 주변의 세 점 Pa, Pb, Pc을 들로네 삼각화 기법을 통하여 구하고, 이 세 점에 대응되는 Ca, Cb, Cc 값을 선형 보간하여 Ct를 구한다. 구해진 Ct 만큼 이동 카메라(20)를 움직이면 타겟이 되는 점이 이동 카메라(20)의 중심에 오게 된다.
이러한 본 실시예에 따른 방법은 기존의 호모그래피 행렬을 이용한 방법과 달리, 두 카메라의 뷰를 일치시키는 과정이 전혀 필요 없으며, 좌표 변환을 수행하지 않고 단순히 실제 카메라 제어 테이블 정보를 사용하기 때문에 카메라의 왜곡에 강인하며 오차를 극복하기에 유리하다.
또한, 기 구축된 테이블 정보를 이용한 방법이므로 팬, 틸트 값을 구하기 위한 복잡한 연산 과정이 필요 없고 시스템을 간소화할 수 있다. 더욱이, 카메라의 자체 오류가 미리 반영되어 테이블 정보가 구축되므로 카메라의 제어 오류에 강인하며 타겟 감지 효율을 향상시킨다.
이상과 같은 본 발명의 실시예는 한 대의 이동 카메라 및 복수의 고정 카메라를 포함하는 감시 시스템에 응용 가능하다. 도 5는 본 발명의 실시예에서 다수의 고정 카메라와 한 대의 이동 카메라를 활용한 영상 감지 시스템의 개념도이다.
도 5를 참조하면, 하나의 이동 카메라(20)가 커버할 수 있는 전체 감시 영역에 대하여, 복수 개(ex, 3개)의 고정 카메라(10a,10b,10c)로 배치되어 있으며, 상호 인접한 고정 카메라 간(10a와 10b 간, 10b와 10c 간)은 영상의 가장자리 부위에 중복 감시 영역이 존재한다. 여기서, 각각의 고정 카메라에 대하여 상기 S210 단계를 개별 수행하면, 고정 카메라마다 표 1과 같은 테이블 정보를 획득할 수 있다.
도 6은 도 5의 예에서 두 고정 카메라 간에 중복 감시 영역이 발생하는 개념도이다. 이와 같이 두 대 이상의 고정 카메라가 동원될 경우, 도 6의 (a)와 같이 상호 겹치는 중복 감시 영역이 존재하게 된다. 여기서, 만약 하나의 타겟이 상기 중복 감시 영역에서 두 카메라에 동시에 잡히게 되면, 도 6의 (b)와 같이, 같은 물체를 각각의 고정 카메라에서 두 번 추적하게 되므로 이동 카메라의 추적 동선이 낭비되는 결과가 발생할 수 있다.
이러한 문제를 해결하기 위해서는 고정 카메라 간의 겹치는 감시 영역을 탐색해야 하며, 이를 위해 본 실시예에서는 파노라마 기법을 이용한다.
본 발명의 실시예에서는 이미 각각의 고정 카메라 별로 표 1과 같은 테이블 정보를 가지고 있기 때문에, 기존과 같은 복잡한 영상 분석을 수행할 필요가 없으며, 기존에 가지고 있는 테이블 정보 내의 팬, 틸팅 정보를 이용하여 상기 중복 감시 영역을 탐색할 수 있다.
이를 위해, 중첩구간 탐지부(150)는 상기 복수의 고정 카메라 별로 기 저장된 팬 또는 틸트 값으로부터 상기 중복 감시 영역을 탐지한다. 또한, 파노라마 생성부(160)는 상기 탐지된 중복 감시 영역을 이용하여, 상기 복수의 고정 카메라의 촬상 영상을 조합하여 파노라마 영상을 생성할 수 있다.
그 상세한 설명은 다음과 같다. 도 7은 도 6의 경우에 있어 고정 카메라 간의 중복 감시 영역을 탐지하는 방법을 나타내는 개념도이다.
도 7의 (a)는 고정 카메라(고정 카메라 1,2)로부터 획득한 촬상 영상의 각 지점(특징점)에 대응하여 미리 구축한 이동 카메라(20)의 팬, 틸팅 값 (pan, tilt)을 간단히 나타낸 것이다. 여기서, 두 카메라에 대하여, (pan, tilt) 값이 상호 동일한 지점 즉, 음영 부분은 상기 중복 감시 영역을 나타낸다. 이 중복 감시 영역이 서로 겹치도록 영상을 조합하면 파노라마 영상을 생성할 수 있다.
도 7의 (b)는 고정 카메라의 촬상 영상에서 특정 픽셀 구간을 중첩 감시 영역으로 표시하는 예이다. 이는 도 7의 (a)의 중첩 감시 영역을 (카메라 식별번호, 영상 내의 x, y 좌표) 형태로 도시한 것으로서, 예를 들어 고정 카메라 1에서의 (0,0) 지점은 고정카메라 2에서의 (1,3) 지점과 중첩하는 것으로 인식할 수 있다.이와 같이 영상 내의 모든 픽셀에 대하여 어떤 고정 카메라의 어떤 위치의 픽셀과 겹치는 지를 표시하여 이동 카메라의 제어를 위한 파노라마 영상을 완성할 수 있다. 또한 이에 따라 두 고정 카메라의 중첩 구간에서의 물체 감시를 위한 팬, 틸트 값은 어느 한 카메라의 테이블 정보만을 이용하여 연산하도록 제어할 수 있으며 이에 따라 추적 동선의 낭비를 방지할 수 있다.
이상과 같은 본 발명에 따른 듀얼 카메라를 이용한 영상 감지 방법 및 장치에 따르면, 고정 카메라의 특징점과 그에 대응하는 이동 카메라의 팬, 틸팅 값을 미리 구축하고 기 구축된 테이블 정보와 들로네 삼각화 기법을 이용하여 기존에 비하여 효율적인 감시 시스템을 구현할 수 있다. 또한, 그 과정에서 고정 카메라와 이동 카메라 간의 복잡한 좌표 변환 과정을 필요로 하지 않아 시스템의 복잡도를 줄일 수 있으며 카메라의 제어 효율 및 물체의 감시 효율을 높일 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
10: 고정 카메라 20: 이동 카메라
100: 듀얼 카메라를 이용한 영상 감지 장치
110: 대응점 저장부 120: 대상점 추출부
130: 제어값 연산부 140: 카메라 제어부
150: 중첩구간 탐지부 160: 파노라마 생성부

Claims (10)

  1. 고정 카메라 및 이동 카메라를 포함하는 듀얼 카메라를 이용한 영상 감지 방법에 있어서,
    상기 고정 카메라의 촬상 영상으로부터 추출된 각각의 특징점이 상기 이동 카메라 내에서 촬상되도록 하는 상기 이동 카메라의 팬 또는 틸트 값을 상기 각각의 특징점에 대응하여 저장하는 단계;
    상기 고정 카메라에서 타겟이 감지되면, 상기 각각의 특징점 중 상기 타겟과 인접하여 존재하는 복수의 특징점을 추출하는 단계;
    상기 추출된 복수의 특징점에 대응하여 기 저장된 상기 팬 또는 틸트 값을 이용하여 상기 타겟에 대한 팬 또는 틸트 값을 연산하는 단계; 및
    상기 이동 카메라상에서 상기 타겟을 추적하도록, 상기 이동 카메라를 상기 연산된 팬 또는 틸트 값으로 제어하는 단계를 포함하며,
    상기 고정 카메라는 복수 개이며, 상호 인접한 고정 카메라 간은 영상의 가장자리 부위에 중복 감시 영역이 존재하며, 상기 이동 카메라의 팬 또는 틸트 값을 저장하는 단계는 상기 복수의 고정 카메라에 대해 수행하며,
    상기 복수의 고정 카메라 별로 기 저장된 팬 또는 틸트 값으로부터 상기 중복 감시 영역을 탐지하는 단계; 및
    상기 탐지된 중복 감시 영역을 이용하여, 상기 복수의 고정 카메라의 촬상 영상을 조합하여 파노라마 영상을 생성하는 단계를 더 포함하는 듀얼 카메라를 이용한 영상 감지 방법.
  2. 청구항 1에 있어서,
    상기 이동 카메라의 팬 또는 틸트 값을 상기 각각의 특징점에 대응하여 저장하는 단계는,
    상기 특징점이 상기 이동 카메라의 화면 중심에 세팅되도록 하는 상기 이동 카메라의 팬 또는 틸트 값을, 상기 각각의 특징점에 대응하여 저장하는 듀얼 카메라를 이용한 영상 감지 방법.
  3. 청구항 1에 있어서,
    상기 복수의 특징점을 추출하는 단계는,
    상기 각각의 특징점을 대상으로 들로네 삼각화 기법을 적용하여, 상기 각각의 특징점 중 상기 타겟이 소속된 삼각형 영역을 구성하는 3개의 특징점을 추출하는 듀얼 카메라를 이용한 영상 감지 방법.
  4. 청구항 3에 있어서,
    상기 타겟에 대한 팬 또는 틸트 값을 연산하는 단계는,
    상기 3개의 특징점에 대응하여 기 저장된 팬 또는 틸트 값을 선형 보간하여 상기 타겟에 대한 팬 또는 틸트 값을 연산하는 듀얼 카메라를 이용한 영상 감지 방법.
  5. 삭제
  6. 고정 카메라 및 이동 카메라를 포함하는 듀얼 카메라를 이용한 영상 감지 장치에 있어서,
    상기 고정 카메라의 촬상 영상으로부터 추출된 각각의 특징점이 상기 이동 카메라 내에서 촬상되도록 하는 상기 이동 카메라의 팬 또는 틸트 값을 상기 각각의 특징점에 대응하여 저장하는 대응값 저장부;
    상기 고정 카메라에서 타겟이 감지되면, 상기 각각의 특징점 중 상기 타겟과 인접하여 존재하는 복수의 특징점을 추출하는 대상점 추출부;
    상기 추출된 복수의 특징점에 대응하여 기 저장된 상기 팬 또는 틸트 값을 이용하여 상기 타겟에 대한 팬 또는 틸트 값을 연산하는 제어값 연산부; 및
    상기 이동 카메라상에서 상기 타겟을 추적하도록, 상기 이동 카메라를 상기 연산된 팬 또는 틸트 값으로 제어하는 카메라 제어부를 포함하며,
    상기 고정 카메라는 복수 개이며, 상호 인접한 고정 카메라 간은 영상의 가장자리 부위에 중복 감시 영역이 존재하며, 상기 이동 카메라의 팬 또는 틸트 값을 저장하는 단계는 상기 복수의 고정 카메라에 대해 수행하며,
    상기 복수의 고정 카메라 별로 기 저장된 팬 또는 틸트 값으로부터 상기 중복 감시 영역을 탐지하는 중첩구간 탐지부; 및
    상기 탐지된 중복 감시 영역을 이용하여, 상기 복수의 고정 카메라의 촬상 영상을 조합하여 파노라마 영상을 생성하는 파노라마 생성부를 더 포함하는 듀얼 카메라를 이용한 영상 감지 장치.
  7. 청구항 6에 있어서,
    상기 대응값 저장부는,
    상기 특징점이 상기 이동 카메라의 화면 중심에 세팅되도록 하는 상기 이동 카메라의 팬 또는 틸트 값을, 상기 각각의 특징점에 대응하여 저장하는 듀얼 카메라를 이용한 영상 감지 장치.
  8. 청구항 6에 있어서,
    상기 대상점 추출부는,
    상기 각각의 특징점을 대상으로 들로네 삼각화 기법을 적용하여, 상기 각각의 특징점 중 상기 타겟이 소속된 삼각형 영역을 구성하는 3개의 특징점을 추출하는 듀얼 카메라를 이용한 영상 감지 장치.
  9. 청구항 8에 있어서,
    상기 제어값 연산부는,
    상기 3개의 특징점에 대응하여 기 저장된 팬 또는 틸트 값을 선형 보간하여 상기 타겟에 대한 팬 또는 틸트 값을 연산하는 듀얼 카메라를 이용한 영상 감지 장치.
  10. 삭제
KR1020130149893A 2013-12-04 2013-12-04 듀얼 카메라를 이용한 영상 감지 방법 및 장치 KR101530131B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130149893A KR101530131B1 (ko) 2013-12-04 2013-12-04 듀얼 카메라를 이용한 영상 감지 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130149893A KR101530131B1 (ko) 2013-12-04 2013-12-04 듀얼 카메라를 이용한 영상 감지 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150064943A KR20150064943A (ko) 2015-06-12
KR101530131B1 true KR101530131B1 (ko) 2015-06-18

Family

ID=53503490

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130149893A KR101530131B1 (ko) 2013-12-04 2013-12-04 듀얼 카메라를 이용한 영상 감지 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101530131B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102655456B1 (ko) 2021-09-09 2024-04-05 백영완 전기설비 수배전함 내의 화재 영상 감지를 위한 지능형 영상 감지 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990074212A (ko) * 1998-03-07 1999-10-05 이종수 파노라마 영상촬영을 위한 다중영상합성장치
KR100888935B1 (ko) * 2008-09-01 2009-03-16 주식회사 일리시스 지능형 영상 감시 시스템에서 두 카메라 간의 연동 방법
KR20130114899A (ko) * 2012-04-10 2013-10-21 한국기술교육대학교 산학협력단 듀얼 카메라를 이용한 화상 감지 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990074212A (ko) * 1998-03-07 1999-10-05 이종수 파노라마 영상촬영을 위한 다중영상합성장치
KR100888935B1 (ko) * 2008-09-01 2009-03-16 주식회사 일리시스 지능형 영상 감시 시스템에서 두 카메라 간의 연동 방법
KR20130114899A (ko) * 2012-04-10 2013-10-21 한국기술교육대학교 산학협력단 듀얼 카메라를 이용한 화상 감지 방법 및 장치

Also Published As

Publication number Publication date
KR20150064943A (ko) 2015-06-12

Similar Documents

Publication Publication Date Title
US10462362B2 (en) Feature based high resolution motion estimation from low resolution images captured using an array source
Senior et al. Acquiring multi-scale images by pan-tilt-zoom control and automatic multi-camera calibration
JP4488804B2 (ja) ステレオ画像の関連付け方法及び３次元データ作成装置
US9414153B2 (en) Directivity control apparatus, directivity control method, storage medium and directivity control system
US7277559B2 (en) Mobile apparatus
JP6842039B2 (ja) カメラ位置姿勢推定装置、方法およびプログラム
KR101347450B1 (ko) 듀얼 카메라를 이용한 화상 감지 방법 및 장치
JP6184271B2 (ja) 撮像管理装置、撮像管理システムの制御方法およびプログラム
US20110128385A1 (en) Multi camera registration for high resolution target capture
CN107094234B (zh) 一种应用于移动摄像终端的拍摄区域遮挡方法和装置
US20160379079A1 (en) System, apparatus, method, and computer readable storage medium for extracting information
CN111462503A (zh) 车辆测速方法、装置及计算机可读存储介质
CN108362205B (zh) 基于条纹投影的空间测距方法
KR101111503B1 (ko) 전방향 피티지 카메라 제어 장치 및 그 방법
EP4220547A1 (en) Method and apparatus for determining heat data of global region, and storage medium
CN116030099B (zh) 一种基于ptz相机的多目标跟踪方法及装置
KR102344227B1 (ko) 동체 검출 장치, 동체 검출 방법, 동체 검출 프로그램
JP2002374521A (ja) 移動体の監視方法および装置
KR101530131B1 (ko) 듀얼 카메라를 이용한 영상 감지 방법 및 장치
CN116342642A (zh) 目标跟踪方法、装置、电子设备及可读存储介质
JP2009077022A (ja) 運転支援システム及び車両
KR101996907B1 (ko) 객체 추적 장치
Banaeyan et al. A novel concept for smart camera image stitching
CN110796596A (zh) 图像拼接方法、成像装置及全景成像系统
Ferone et al. Neural moving object detection by pan-tilt-zoom cameras

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee