KR20140072713A - 이벤트 발생 장치 및 방법 - Google Patents

이벤트 발생 장치 및 방법 Download PDF

Info

Publication number
KR20140072713A
KR20140072713A KR1020120140544A KR20120140544A KR20140072713A KR 20140072713 A KR20140072713 A KR 20140072713A KR 1020120140544 A KR1020120140544 A KR 1020120140544A KR 20120140544 A KR20120140544 A KR 20120140544A KR 20140072713 A KR20140072713 A KR 20140072713A
Authority
KR
South Korea
Prior art keywords
camera
area
estimating
user area
user
Prior art date
Application number
KR1020120140544A
Other languages
English (en)
Other versions
KR101578030B1 (ko
Inventor
장일권
유한주
변문섭
허병호
Original Assignee
삼성테크윈 주식회사
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사, 서울대학교산학협력단 filed Critical 삼성테크윈 주식회사
Priority to KR1020120140544A priority Critical patent/KR101578030B1/ko
Publication of KR20140072713A publication Critical patent/KR20140072713A/ko
Application granted granted Critical
Publication of KR101578030B1 publication Critical patent/KR101578030B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상 감시 장치 및 방법에 관한 것으로, 보다 상세하게는 카메라의 팬/틸트/줌 이동 시에도 설정된 영역을 정확하게 검출하여 설정 영역에 물체 침범 시 정확하게 이벤트를 발생시키는 이벤트 발생 장치 및 방법에 관한 것이다. 이벤트 발생 방법은 제1 카메라에 의해 촬영된 제1 영상의 특징점 및 제2 카메라에 의해 촬영된 제2 영상의 특징점 매칭을 통하여 제1 카메라 대비 제2 카메라의 위치를 추정하는 단계, 제1 및 제2 영상에 대한 특징점의 삼차원 절대 좌표계를 이용하여 지평면을 추정하는 단계, 디스플레이된 제1 또는 제2 영상 중 어느 한 영상에서 사용자에 의해 설정된 사용자 영역에 대한 삼차원 절대 좌표를 계산하는 단계, 사용자 영역의 삼차원 절대 좌표 및 팬/틸트/줌 정보를 통해 제1 카메라 또는 제2 카메라의 팬/틸트/줌 이동 시 사용자 영역의 변환을 검출하는 단계 및 변환된 사용자 영역에 물체가 침범하는 경우 이벤트를 발생하는 단계를 포함하는 것을 특징으로 한다.

Description

이벤트 발생 장치 및 방법{Apparatus and method for generating event}
본 발명은 영상 감시 장치 및 방법에 관한 것으로, 보다 상세하게는 카메라의 팬/틸트/줌 이동 시에도 설정된 영역을 정확하게 검출하여 설정 영역에 물체 침범 시 정확하게 이벤트를 발생시키는 이벤트 발생 장치 및 방법에 관한 것이다.
PTZ(pan, tilt zoom) 카메라는 상하좌우 회전이 가능한 팬/틸트 구동 장치에 전동 줌 렌즈가 장착된 비디오 카메라가 결합되어 있는 구조이며, 외부 제어를 통해 카메라의 회전 및 렌즈의 줌 인(zoom in) 및 줌 아웃(zoom out)이 가능하다. 따라서 고정식 카메라와 비교해 볼 때, 비록 고가이긴 하지만 카메라의 회전을 통해 카메라 주위의 넓은 지역을 감시하고, 줌 렌즈를 통해 원거리/근거리 감시 및 관심 대상을 확대해서 볼 수 있도록 해주는 장점을 가지고 있다.
이벤트 영역 검출은 PTZ 카메라를 이용한 광역 감시 시스템에서, 카메라의 PTZ 위치에 따라 해당 카메라 영상에서 이벤트 영역이 어떻게 존재하는지 찾아내는 기술로, 고정되어 있지 않고 움직임이 가정되는 PTZ 카메라에서의 영역 기반 이벤트 탐지를 위해서 필수적인 기술이다.
종래의 이벤트 영역 검출은 카메라가 미리 기 지정된 PTZ 위치에 도달하였을 경우, 역시 미리 기 지정된 위치에 이벤트 영역을 상정하는 방법을 사용하기 때문에 실제적으로 검출이라기 보다는 저장 및 불러오기의 개념이다. 이러한 기술은 카메라가 지정된 위치로 이동하는 중에는 이벤트를 탐지할 수 없어 감시 공백이 생기는 문제점이 있다.
일본 공개 특허 제2010-193170호
본 발명이 해결하고자 하는 기술적인 과제는 카메라의 팬/틸트/줌 이동 시에도 설정된 영역을 정확하게 검출하여 설정 영역에 물체 침범 시 정확하게 이벤트를 발생시키는 이벤트 발생 장치 및 방법을 제공하는데 있다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 이벤트 발생 방법은 제1 카메라에 의해 촬영된 제1 영상의 특징점 및 제2 카메라에 의해 촬영된 제2 영상의 특징점 매칭을 통하여 상기 제1 카메라 대비 상기 제2 카메라의 위치를 추정하는 단계; 상기 제1 및 제2 영상에 대한 특징점의 삼차원 절대 좌표계를 이용하여 지평면을 추정하는 단계; 디스플레이된 상기 제1 또는 제2 영상 중 어느 한 영상에서 사용자에 의해 설정된 사용자 영역에 대한 삼차원 절대 좌표를 계산하는 단계; 상기 사용자 영역의 삼차원 절대 좌표 및 팬/틸트/줌 정보를 통해 상기 제1 카메라 또는 제2 카메라의 팬/틸트/줌 이동 시 상기 사용자 영역의 변환을 검출하는 단계; 및 상기 변환된 사용자 영역에 물체가 침범하는 경우 이벤트를 발생하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 카메라의 위치를 추정하는 단계는, 상기 제1 영상을 기준으로 상기 제2 영상과 겹치는 부분의 특징점 매칭을 통해 제1 카메라 및 제2 카메라 사이의 호모그래피 매트릭스를 구하는 단계; 및 상기 호모그래피 매트릭스의 해체를 통해 상기 제1 카메라 대비 제2 카메라의 회전정보를 검출하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 지평면을 추정하는 단계는, 특징점의 삼차원 절대 좌표계로부터 MSER을 통해 화면 영역을 분류하는 단계; 상기 분류된 화면 영역 중 화면 절반 아래에서 주된 영역을 선택하여 지평면 영역으로 지정하는 단계; 상기 지평면 영역에 포함된 특징점들을 지평면 특징점으로 지정하는 단계; 및 상기 지평면 특징점들의 삼차원 절대 좌표들을 PCA 방법으로 평면 피팅하여 지평면을 추정하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 삼차원 절대 좌표를 계산하는 단계는, 디스플레이된 상기 제1 또는 제2 영상 중 어느 한 영상에서 설정된 상기 사용자에 영역의 모서리 정보를 수신하는 단계; 상기 지평면에 대한 호모그래피 매트릭스를 이용하여 상기 사용자 영역이 설정되지 않은 다른 영상에서 상기 사용자 영역의 모서리 위치를 추정하는 단계; 및 상기 수신한 모서리 정보 및 상기 추정한 모서리 정보를 지평면에 대한 호모그래피 매트릭스로 매핑한 점으로 삼각법을 적용하여 상기 사용자 영역에 대한 삼차원 절대 좌표를 추정하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 사용자 영역의 변환을 검출하는 단계는, 상기 제1 및 제2 카메라로부터의 팬/틸트/줌 정보, 미리 설정된 줌 스케일 함수, PTZ 이동하는 제1 카메라 또는 제2 카메라의 회전 중심과 카메라 중심과의 거리를 이용하여 PTZ 이동전 제1 카메라 또는 제2 카메라의 위치 대비 현재 제1 카메라 또는 제2 카메라의 위치를 계산하는 단계; 및 상기 계산된 위치를 바탕으로 상기 삼차원 절대 좌표계에 대한 카메라의 투영 영상을 생성하는 단계;를 포함하는 것을 특징으로 한다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 이벤트 발생 방법은 제1 카메라에 의해 촬영된 제1 영상의 특징점 및 제2 카메라에 의해 촬영된 제2 영상의 특징점 매칭을 통하여 상기 제1 카메라 대비 상기 제2 카메라의 위치를 추정하는 위치정보 추정부; 상기 제1 및 제2 영상에 대한 특징점의 삼차원 절대 좌표계를 이용하여 지평면을 추정하는 지평면 추정부; 디스플레이된 상기 제1 또는 제2 영상 중 어느 한 영상에서 사용자에 의해 설정된 사용자 영역에 대한 삼차원 절대 좌표를 계산하는 영역 설정부; 상기 사용자 영역의 삼차원 절대 좌표 및 팬/틸트/줌 정보를 통해 상기 제1 카메라 또는 제2 카메라의 팬/틸트/줌 이동 시 상기 사용자 영역의 변환을 검출하는 영역 검출부; 및 상기 변환된 사용자 영역에 물체가 침범하는 경우 이벤트 발생을 감지하는 이벤트 발생 감지부;를 포함하는 것을 특징으로 한다.
상술한 바와 같이 본 발명에 따르면, 카메라의 팬/틸트/줌 이동 시에도 설정된 영역을 정확하게 검출하여 설정 영역에 물체 침범 시 정확하게 이벤트를 발생시킬 수 있다.
도 1은 본 발명의 일 실시 예에 따른 이벤트 발생 장치의 구성을 보이는 블록도 이다.
도 2는 도 1 중 호모그래피 매트릭스의 해체 과정을 설명하기 위한 도면이다.
도 3은 도 1 중 MSER을 이용한 지평면 검출 결과를 보이는 도면이다.
도 4는 도 1 중 특징점을 이용한 지평면 피팅 결과에 따른 지평면 생성을 보이는 도면이다.
도 5는 도 1 중 카메라의 PTZ 이동시 사용자 영역의 변환을 설명하기 위한 도면이다.
도 6은 도 1 중 카메라의 PTZ 이동시 사용자 영역의 변환을 보이는 도면이다.
도 7은 도 1 중 사용자 영역에서 이벤트 발생을 보이는 도면이다.
도 8은 본 발명의 일 실시 예에 따른 이벤트 발생 방법의 동작을 보이는 흐름도 이다.
이하, 본 발명의 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 이벤트 발생 장치의 구성을 보이는 블록도 이다.
도 1을 참조하면, 이벤트 발생 장치(10)는 제1 카메라(100), 제2 카메라(200), 영상 처리부(300), 위치 정보 추정부(400), 지평면 추정부(500), 영역 설정부(600), 영역 검출부(700) 및 이벤트 발생 감지부(800)를 포함한다.
제1 카메라(100) 및 제2 카메라(200)는, 예컨대 COMS(complementary metal-oxide semiconductor) 모듈 또는 CCD(charge coupled device) 모듈 등을 이용하여 피사체를 촬영하는 좌측 카메라 및 우측 카메라를 의미하는 것으로, 입력되는 제1 및 제2 이미지(또는 동영상)는 렌즈를 통해 COMS 모듈 또는 CCD 모듈로 제공되고, COMS 모듈 또는 CCD 모듈은 렌즈를 통과한 피사체의 광신호를 전기적 신호(촬영 신호)로 변환하여 출력한다.
본 실시 예에서 제1 카메라(100) 및 제2 카메라(200)는 상하좌우 회전이 가능한 팬/틸트 구동 장치에 전동 줌 렌즈가 장착된 PTZ(pan, tilt zoom) 카메라일 수 있다. 또한 제1 카메라(100) 및 제2 카메라(200) 중 어느 한 카메라가 PTZ 카메라 일 수 있다.
영상 처리부(300)는 제1 카메라(100) 및 제2 카메라(200)로부터 출력되는 제1 및 제2 영상 신호에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행한다.
또한, 영상 처리부(300)는 화질 개선을 위한 영상 신호 처리를 하여 생성한 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식을 포함한다.
또한, 영상 처리부(300)에서는 기능적으로 색채 처리, 블러 처리, 에지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 행할 수 있다.
위치 정보 추정부(400)는 제1 카메라(100)에 의해 촬영된 제1 영상의 특징점 및 제2 카메라(200)에 의해 촬영된 제2 영상의 특징점 매칭을 통하여 제1 카메라(100) 대비 제2 카메라(200)의 위치를 추정한다.
여기서, 카메라의 위치란, 어떠한 기준 좌표계 상에서 카메라 중심의 위치, 그리고 카메라가 촬영하는 방향이 어느 정도 틀어졌는지에 대한 회전 정보를 통칭하는 개념이며, 보통 카메라가 바라보는 방향에 대한 회전각은 기준 좌표계의 Z축에서부터 카메라 시야 방향까지의 회전을 의미한다. 본 실시 예에서는 편의상 기준 좌표계를 삼차원 절대 좌표계로 설정하기로 한다.
본 실시 예에서는 삼차원 절대 좌표계의 기준을 제1 카메라(100)로 하기로 한다. 즉, 제1 카메라(100)의 중심 위치를 삼차원 절대 좌표계의 원점(origin)으로 삼고, 제1 카메라(100)가 바라보는 방향을 삼차원 절대 좌표계의 Z축으로 삼았으며, 제1 카메라(100)의 영상 평면의 X, Y축(즉, 수평축과 수직축)을 삼차원 절대 좌표계의 X, Y축으로 삼았다. 또한 본 실시 예에서는 제1 카메라(100)를 기준 카메라로 설정하기로 한다.
위치 정보 추정부(400)의 위치 추정은 제1 카메라(100)를 제외한 제2 카메라(200)가 삼차원 절대 좌표계 상에서 어떠한 위치를 갖고 있는지를 추정하는 것이다. 이를 위해 제2 카메라(200)는 제1 카메라(100)와 겹치는 FOV(field of view)를 갖고 있어야 한다.
위치 정보 추정부(400)는 기준 카메라로서의 제1 카메라(100)가 촬영한 제1와 제2 영상과 카메라(200)가 촬영한 제2 영상이 겹치는 FOV에서 특징점 매칭을 통해 호모그래피 매트릭스(homography matrix)를 구하고, 이 호모그래피 매트릭스의 해체 과정을 통해 제2 카메라(200)의 중심 위치와 시야를 찾아낸다.
본 실시 예에서는 호모그래피 매트릭스를 구하기 위해 예를 들어, SURF(speed up robust features) 알고리즘을 이용한다. SURF 알고리즘은 여러 영상으로부터 크기(scale), 조명(illumination), 시점(viewpoint) 등 환경 변화를 고려하여 환경 변화에 불변하는 특징을 찾는 알고리즘을 나타낸다. SURF 알고리즘은 입력된 영상의 특징 추출, 특징의 기준 방향과 크기 설정 및 서술자 생성의 순서로 이루어지며, SURF 알고리즘과 관련된 내용은 이미 공지 되어 있으므로 상세한 설명은 생략하기로 한다.
다음에, 도 2를 참조하여 호모그래피 매트릭스의 해체 과정을 설명하기로 한다. 도 2를 참조하면, C1은 제1 카메라(100)의 중심 위치이고, C2는 제2 카메라(200)의 중심 위치이다. z1은 제1 카메라(100)의 시야 방향을 나타내며, z2는 제2 카메라(200)의 시야 방향을 나타낸다. R은 z1에서 z2로의 회전을 나타내며, t는 C1에서 C2로의 평행 이동을 의미한다. 호모그래피 매트릭스 해체 과정의 목적은 호모그래피 매트릭스로부터 R과 t를 추출해 내는 것이다. 호모그래피 매트릭스를 H라고 하면 특이값 분해(SVD: singular value decomposition)에 의해 수학식 1과 같은 수식을 구할 수 있다.
Figure pat00001
D, U', V'라는 새로운 행렬을 제안하고 수학식 2와 같이 정의한다.
Figure pat00002
Figure pat00003
수학식 2를 이용하여 R과 t의 후보를 구하면 수학식 3과 같다.
Figure pat00004
수학식 3에서 s는 스케일 팩터이다. 구해진 R과 t의 후보를 이용하여 구할 수 있는 제2 카메라(200)의 위치 후보는 총 4개 이며 이는 다음 수학식 4와 같다.
Figure pat00005
이 중 실제 제2 카메라(200)의 위치에 해당하는 것을 고르기 위해서는 각각의 위치에서 특징점들을 삼각법(triangulation)을 통해 깊이 정보를 구하고, 제1 카메라(100)와 제2 카메라(200)의 깊이(depth)가 모두 양수인지 확인하면 된다.
지평면 추정부(500)는 제1 영상 및 제2 영상에 대한 특징점의 삼차원 절대 좌표계를 이용하여 지평면을 추정한다.
지평면을 찾기 위해서는 지평면에 대한 특징점들을 찾아야 한다. 따라서, 지평면 정보 생성부(500)는 위치 정보 추정부(400)에서 알아낸 특징점들의 삼차원 절대 좌표를 이용하여 MSER(maximally stable extremal regions)을 통해 화면 영역을 분류하고, 그 중 화면 절반 아래에서 가장 주가 되는 영역을 선택하여 지평면 영역으로 지정한다. 지정된 지평면 영역에 포함되는 특징점들을 지평면 특징점으로 지정한다. 이후 지평면 특징점들의 삼차원 절대 좌표들을 예를 들어, PCA(principle component analysis) 방법으로 평면 피팅하여 최종적으로 지평면을 추정한다. 이후 추정된 지평면에 대해서는 호모그래피 매트릭스(HGP)를 생성한다.
본 실시 예에서는 지평면을 찾아내기 위해 우선적으로 MSER을 이용한다. MSER 기법은 극대 영역(extremal region)으로 불리는 구분 영역(distinguished region)을 지정하는 것으로, 여기서 구분 영역은 연속적인 닫힌 영역(Closed region)이다. 구분 영역이 국부적 최소값(local minimum)을 가지면, 상기 구분 영역은 최대로 안정적이 되어, 상기 구분 영역은 MSER(Maximally Stable Extremal Region)으로 될 수 있다. MSER 기법에 대하여는 'J. Matas, O. Chun, M. Urban, T. Pajdla, "Robust Wide Baseline Stereo from Maximally Stable Extremal Regions," British Machine Vision Conference, BMVC 2002'에 자세히 개시되어 있으므로 상세한 설명은 생략하기로 한다. 도 3은 도 1 중 MSER을 이용한 지평면 검출 결과를 보이는 도면이다. 도 3a 내지 도 3f에는 입력 영상에 대한 MSER 결과가 도시되어 있다. 도 3c 및 도 3f와 같이 붉은색으로 표시된 영역은 비교적 정확하게 지평면을 나타내고 있다. 이렇게 추출된 영역을 기반으로 특징점을 분류하고, 분류된 특징점들을 PCA로 평면 피팅하면 원하는 지평면에 대한 결과를 얻을 수 있다.
도 4에는 삼차원 절대 좌표계에 특징점을 위치시키고, 지평면에 해당하는 특징점을 분류하여 해당 특징점에 맞는 평면을 피팅하여 지평면이 생성되었음을 보여주고 있다.
영역 설정부(600)는 디스플레이된 제1 또는 제2 영상 중 어느 한 영상으로부터 사용자를 통해 설정된 사용자 영역을 지정하고, 에 대한 삼차원 절대 좌표를 계산한다. 사용자 영역의 설정은 기본적으로 다각형에 기반하여 지정하도록 한다. 즉, 사용자는 제1 또는 제2 영상 중 어느 한 영상이 디스플레이된 화면 상에 점을 찍어 사용자 영역을 설정할 수 있다.
영역 설정부(600)는 제1 또는 제2 영상 중 어느 한 영상이 디스플레이된 화면 상에 사용자가 입력한 모서리를 사용자 영역으로 지정하고, 지평면 추정부(500)에서 생성한 지평면에 대해서는 호모그래피 매트릭스(HGP)를 이용하여 사용자 영역이 설정되지 않은 다른 영상에서 사용자 영역의 모서리 위치를 추정한다. 이후 모서리 정보 및 모서리 정보를 지평면에 대한 호모그래피 매트릭스로 매핑한 점으로 삼각법을 적용하여 사용자 영역에 대한 삼차원 절대 좌표를 추정한다.
사용자가 제1 카메라(100) 및 제2 카메라(200) 중 어느 한 카메라가 촬영한 영상 화면에 지정한 특징점의 좌표를 x라고 하면, 다른 카메라 화면상에서 해당 점의 위치를 x'는 다음 수학식 5와 같이 표현될 수 있다.
Figure pat00006
본 실시 예에서는 x 및 x'를 이용하여 삼각법을 적용하고 이를 통해 최종적으로 삼차원 절대 좌표 X를 구하며, 이러한 과정은 사용자 영역의 모든 모서리에 적용된다.
영역 검출부(700)는 사용자 영역의 삼차원 절대 좌표 및 팬/틸트/줌 정보를 통해 제1 카메라(100) 또는 제2 카메라(200)의 팬/틸트/줌 이동 시 사용자 영역의 변환을 검출을 검출한다.
영역 검출부(700)는 제1 카메라(100) 및 제2 카메라(200)의 팬/틸트/줌 정보와 미리 설정된 줌 스케일 함수, PTZ 이동하는 제1 카메라(100) 또는 제2 카메라(200)의 회전 중심과 카메라 중심과의 거리를 이용하여 PTZ 이동전 제1 카메라(100) 또는 제2 카메라(200)의 위치 대비 현재 제1 카메라(100) 또는 제2 카메라(200)의 위치를 계산하고, 계산된 위치를 바탕으로 삼차원 절대 좌표계에 대한 카메라의 투영 영상을 생성하여 디스플레이 한다.
삼차원 절대 좌표 상의 임의의 점 XWC가 제1 카메라(100) 또는 제2 카메라(200)의 영상에 투영되는 좌표 Ximg는 다음 수학식 6과 같이 표현될 수 있다.
Figure pat00007
여기서, RWC 및 tWC는 각각 삼차원 절대 좌표계 상에서 카메라 시선과 카메라 중심을 나타내는 행렬과 벡터이다. 여기서, K, R, t는 카메라로부터 들어오는 팬/틸트/줌 정보를 통해 구해지는 것으로, K는 줌 스케일에 따른 스칼라 값이고, R은 카메라 시선의 회전을 나타내는 행렬, t는 카메라 중심의 평행이동을 나타내는 벡터를 의미한다.
도 5는 도 1 중 카메라의 PTZ 이동시 사용자 영역의 변환을 설명하기 위한 도면이다. 도 5a에 개시된 줌 스케일 보간(zoom scale interpolation)이 K를 나타내는 것이고, 도 5b에서 회전(rotation)은 R을 나타내고, 평행이동(translation)은 t를 의미한다.
영역 검출부(700)는 상기 매핑을 모든 사용자 영역 모서리에 대해 수행하여 각각의 카메라에 해당 모서리들의 위치를 디스플레이 하게 된다.
도 6은 도 1 중 카메라의 PTZ 이동시 사용자 영역의 변환을 보이는 도면이다. 도 6을 참조하면, 도 6a는 설정된 사용자 영역(흰색 박스)을 보이고 있다. 도 6b는 제1 카메라(100) 또는 제2 카메라(200)가 우측으로 15도 팬 이동한 상태에서 검출된 사용자 영역을 보이고 있다. 도 6c는 도 6b로부터 제1 카메라(100) 또는 제2 카메라(200)가 우측으로 15도 더 팬 이동한 상태에서 검출된 사용자 영역을 보이고 있다. 도 6d는 도 6c로부터 제1 카메라(100) 또는 제2 카메라(200)가 우측으로 15도 더 팬 이동한 상태에서 검출된 사용자 영역을 보이고 있다. 도 6e는 도 6d로부터 제1 카메라(100) 또는 제2 카메라(200)가 줌 인 한 상태에서 검출된 사용자 영역을 보이고 있다. 도 6f는 도 6e로부터 제1 카메라(100) 또는 제2 카메라(200)가 좌로 15도 팬 이동한 상태에서 검출된 사용자 영역을 보이고 있다.
이벤트 발생 감지부(800)은 변환된 사용자 영역에 물체가 침범하는 경우 이벤트를 발생을 감지한다. 도 7에는 사용자 영역에 움직이는 물체가 침범하여 해당 물체에 알람(반투명 붉은 박스)를 표시하여 이벤트 발생을 알리는 것을 보이고 있다.
이벤트 발생 장치(10)는 PTZ 카메라가 PTZ 이동시, 사용자가 기 지정한 사용자 영역을 정확히 매핑하고 있다. 즉, 감시 영역 내에 사용자가 기 지정한 사용자 영역을, 카메라가 PTZ 이동을 하여도 마치 해당 지면 위에 고정된 것과 같은 효과를 내어, 카메라 PTZ 이동 시에도 움직이는 물체들이 해당 영역을 침범하였는지 여부를 판단할 수 있도록 한다.
도 8은 본 발명의 일 실시 예에 따른 이벤트 발생 방법의 동작을 보이는 흐름도 이다. 이하의 설명에서 도 1 내지 도 8에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
이벤트 발생 장치(10)는 제1 카메라에 의해 촬영된 제1 영상의 특징점 및 제2 카메라에 의해 촬영된 제2 영상의 특징점 매칭을 통하여 제1 카메라 대비 제2 카메라의 위치를 추정하는 단계(S10)를 수행한다. 이벤트 발생 장치(10)는 제1 영상을 기준으로 제2 영상과 겹치는 부분의 특징점 매칭을 통해 제1 카메라 및 제2 카메라 사이의 호모그래피 매트릭스를 구한 후, 호모그래피 매트릭스의 해체를 통해 제1 카메라 대비 제2 카메라의 회전정보를 검출한다.
제1 카메라 대비 제2 카메라의 위치를 추정이 완료되면, 이벤트 발생 장치(10)는 제1 영상 및 제2 영상에 대한 특징점의 삼차원 절대 좌표계를 이용하여 지평면을 추정하는 단계(S20)를 수행한다. 이벤트 발생 장치(10)는 특징점의 삼차원 절대 좌표계로부터 MSER을 통해 화면 영역을 분류하고, 분류된 화면 영역 중 화면 절반 아래에서 주된 영역을 선택하여 지평면 영역으로 지정한다. 이후, 지평면 영역에 포함된 특징점들을 지평면 특징점으로 지정하고, 지평면 특징점들의 삼차원 절대 좌표들을 PCA 방법으로 평면 피팅하여 지평면을 추정한다.
지평면 추정이 완료되면, 이벤트 발생 장치(10)는 디스플레이된 상기 제1 영상 또는 제2 영상 중 어느 한 영상에서 사용자에 의해 설정된 사용자 영역에 대한 삼차원 절대 좌표를 계산하는 단계(S30)를 수행한다. 이벤트 발생 장치(10)는 디스플레이된 제1 또는 제2 영상 중 어느 한 영상에서 설정된 상기 사용자에 영역의 모서리 정보를 수신하고, 지평면에 대한 호모그래피 매트릭스를 이용하여 사용자 영역이 설정되지 않은 다른 영상에서 사용자 영역의 모서리 위치를 추정한다. 이후, 이벤트 발생 장치(10)는 수신한 모서리 정보 및 추정한 모서리 정보를 지평면에 대한 호모그래피 매트릭스로 매핑한 점으로 삼각법을 적용하여 사용자 영역에 대한 삼차원 절대 좌표를 추정한다.
사용자 영역에 대한 삼차원 절대 좌표를 계산이 완료되면, 이벤트 발생 장치(10)는 사용자 영역의 삼차원 절대 좌표 및 팬/틸트/줌 정보를 통해 제1 카메라 또는 제2 카메라의 팬/틸트/줌 이동 시 사용자 영역의 변환을 검출하는 단계(S40)를 수행한다. 이벤트 발생 장치(10)는 제1 및 제2 카메라로부터의 팬/틸트/줌 정보, 미리 설정된 줌 스케일 함수, PTZ 이동하는 제1 카메라 또는 제2 카메라의 회전 중심과 카메라 중심과의 거리를 이용하여 PTZ 이동전 제1 카메라 또는 제2 카메라의 위치 대비 현재 제1 카메라 또는 제2 카메라의 위치를 계산한다. 다음에, 이벤트 발생 장치(10)는 계산된 위치를 바탕으로 삼차원 절대 좌표계에 대한 카메라의 투영 영상을 생성한다.
이후, 이벤트 발생 장치(10)는 변환된 사용자 영역에 물체가 침범하는 경우 이벤트를 발생하는 단계(S50)를 수행한다.
한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
100: 제1 카메라
200: 제2 카메라
300: 영상 처리부
400: 위치 정보 추정부
500: 지평면 정보 생성부
600: 영역 설정부
700: 영역 검출부
800: 이벤트 발생 감지부

Claims (6)

  1. 제1 카메라에 의해 촬영된 제1 영상의 특징점 및 제2 카메라에 의해 촬영된 제2 영상의 특징점 매칭을 통하여 상기 제1 카메라 대비 상기 제2 카메라의 위치를 추정하는 단계;
    상기 제1 및 제2 영상에 대한 특징점의 삼차원 절대 좌표계를 이용하여 지평면을 추정하는 단계;
    디스플레이된 상기 제1 또는 제2 영상 중 어느 한 영상에서 사용자에 의해 설정된 사용자 영역에 대한 삼차원 절대 좌표를 계산하는 단계;
    상기 사용자 영역의 삼차원 절대 좌표 및 팬/틸트/줌 정보를 통해 상기 제1 카메라 또는 제2 카메라의 팬/틸트/줌 이동 시 상기 사용자 영역의 변환을 검출하는 단계; 및
    상기 변환된 사용자 영역에 물체가 침범하는 경우 이벤트를 발생하는 단계;를 포함하는 것을 특징으로 하는 이벤트 발생 방법.
  2. 제 1항에 있어서, 상기 카메라의 위치를 추정하는 단계는,
    상기 제1 영상을 기준으로 상기 제2 영상과 겹치는 부분의 특징점 매칭을 통해 제1 카메라 및 제2 카메라 사이의 호모그래피 매트릭스를 구하는 단계; 및
    상기 호모그래피 매트릭스의 해체를 통해 상기 제1 카메라 대비 제2 카메라의 회전정보를 검출하는 단계;를 포함하는 것을 특징으로 하는 이벤트 발생 방법.
  3. 제 1항에 있어서, 상기 지평면을 추정하는 단계는,
    특징점의 삼차원 절대 좌표계로부터 MSER(maximally stable extremal regions)을 통해 화면 영역을 분류하는 단계;
    상기 분류된 화면 영역 중 화면 절반 아래에서 주된 영역을 선택하여 지평면 영역으로 지정하는 단계;
    상기 지평면 영역에 포함된 특징점들을 지평면 특징점으로 지정하는 단계; 및
    상기 지평면 특징점들의 삼차원 절대 좌표들을 PCA(principle component analysis) 방법으로 평면 피팅하여 지평면을 추정하는 단계;를 포함하는 것을 특징으로 하는 이벤트 발생 방법.
  4. 제 1항에 있어서, 상기 삼차원 절대 좌표를 계산하는 단계는,
    디스플레이된 상기 제1 또는 제2 영상 중 어느 한 영상에서 설정된 상기 사용자에 영역의 모서리 정보를 수신하는 단계;
    상기 지평면에 대한 호모그래피 매트릭스를 이용하여 상기 사용자 영역이 설정되지 않은 다른 영상에서 상기 사용자 영역의 모서리 위치를 추정하는 단계; 및
    상기 수신한 모서리 정보 및 상기 추정한 모서리 정보를 지평면에 대한 호모그래피 매트릭스로 매핑한 점으로 삼각법을 적용하여 상기 사용자 영역에 대한 삼차원 절대 좌표를 추정하는 단계;를 포함하는 것을 특징으로 하는 이벤트 발생 방법.
  5. 제 1항에 있어서, 상기 사용자 영역의 변환을 검출하는 단계는,
    상기 제1 및 제2 카메라로부터의 팬/틸트/줌 정보, 미리 설정된 줌 스케일 함수, PTZ 이동하는 제1 카메라 또는 제2 카메라의 회전 중심과 카메라 중심과의 거리를 이용하여 PTZ 이동전 제1 카메라 또는 제2 카메라의 위치 대비 현재 제1 카메라 또는 제2 카메라의 위치를 계산하는 단계; 및
    상기 계산된 위치를 바탕으로 상기 삼차원 절대 좌표계에 대한 카메라의 투영 영상을 생성하는 단계;를 포함하는 것을 특징으로 하는 이벤트 발생 방법.
  6. 제1 카메라에 의해 촬영된 제1 영상의 특징점 및 제2 카메라에 의해 촬영된 제2 영상의 특징점 매칭을 통하여 상기 제1 카메라 대비 상기 제2 카메라의 위치를 추정하는 위치정보 추정부;
    상기 제1 및 제2 영상에 대한 특징점의 삼차원 절대 좌표계를 이용하여 지평면을 추정하는 지평면 추정부;
    디스플레이된 상기 제1 또는 제2 영상 중 어느 한 영상에서 사용자에 의해 설정된 사용자 영역에 대한 삼차원 절대 좌표를 계산하는 영역 설정부;
    상기 사용자 영역의 삼차원 절대 좌표 및 팬/틸트/줌 정보를 통해 상기 제1 카메라 또는 제2 카메라의 팬/틸트/줌 이동 시 상기 사용자 영역의 변환을 검출하는 영역 검출부; 및
    상기 변환된 사용자 영역에 물체가 침범하는 경우 이벤트 발생을 감지하는 이벤트 발생 감지부;를 포함하는 것을 특징으로 하는 이벤트 발생 장치.
KR1020120140544A 2012-12-05 2012-12-05 이벤트 발생 장치 및 방법 KR101578030B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120140544A KR101578030B1 (ko) 2012-12-05 2012-12-05 이벤트 발생 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120140544A KR101578030B1 (ko) 2012-12-05 2012-12-05 이벤트 발생 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140072713A true KR20140072713A (ko) 2014-06-13
KR101578030B1 KR101578030B1 (ko) 2015-12-18

Family

ID=51126506

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120140544A KR101578030B1 (ko) 2012-12-05 2012-12-05 이벤트 발생 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101578030B1 (ko)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4984575B2 (ja) 2006-03-03 2012-07-25 株式会社明電舎 画像処理による侵入者検知装置
JP4886661B2 (ja) 2007-11-12 2012-02-29 日本放送協会 カメラパラメータ推定装置およびカメラパラメータ推定プログラム

Also Published As

Publication number Publication date
KR101578030B1 (ko) 2015-12-18

Similar Documents

Publication Publication Date Title
US12034906B2 (en) Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
JP4938861B2 (ja) 複雑適応２Ｄ−ｔｏ−３Ｄビデオシーケンス変換
US10339386B2 (en) Unusual event detection in wide-angle video (based on moving object trajectories)
US8508580B2 (en) Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene
JP6184271B2 (ja) 撮像管理装置、撮像管理システムの制御方法およびプログラム
JP4692371B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体、ならびに移動物体検出システム
JP5070213B2 (ja) ネットワーク基盤知能型サービスロボットのビジョン処理装置及びその処理方法並びにこれを用いたシステム
US9600898B2 (en) Method and apparatus for separating foreground image, and computer-readable recording medium
US20120162374A1 (en) Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation
US20210312702A1 (en) Damage detection from multi-view visual data
KR20160062880A (ko) 카메라 및 레이더를 이용한 교통정보 관리시스템
US20110187703A1 (en) Method and system for object tracking using appearance model
WO2011014421A2 (en) Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
EP3629570A2 (en) Image capturing apparatus and image recording method
WO2021146449A1 (en) Visual object history
US11972556B2 (en) Mobile multi-camera multi-view capture
JP6617150B2 (ja) 物体検出方法及び物体検出装置
CN112073640B (zh) 全景信息采集位姿获取方法及装置、系统
KR20140026078A (ko) 객체 추출 장치 및 방법
KR101578030B1 (ko) 이벤트 발생 장치 및 방법
KR101132976B1 (ko) 복수 개의 카메라를 구비한 모바일 기기, 이를 이용한 디스플레이 표시방법
JP2009077022A (ja) 運転支援システム及び車両
KR101718309B1 (ko) 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법
JP2013200840A (ja) 映像処理装置、映像処理方法、映像処理プログラム、及び映像表示装置
JP2016194847A (ja) 画像検出装置、画像検出方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20181126

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191126

Year of fee payment: 5