KR101347450B1 - Image sensing method using dual camera and apparatus thereof - Google Patents
Image sensing method using dual camera and apparatus thereof Download PDFInfo
- Publication number
- KR101347450B1 KR101347450B1 KR1020120037315A KR20120037315A KR101347450B1 KR 101347450 B1 KR101347450 B1 KR 101347450B1 KR 1020120037315 A KR1020120037315 A KR 1020120037315A KR 20120037315 A KR20120037315 A KR 20120037315A KR 101347450 B1 KR101347450 B1 KR 101347450B1
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- mobile camera
- mobile
- image
- coordinates
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
본 발명은 듀얼 카메라를 이용한 화상 감지 방법 및 장치에 관한 것이다. 본 발명에 따르면, 실내에 설치된 고정형 카메라 및 이동형 카메라를 포함하는 듀얼 카메라를 이용한 화상 감지 방법에 있어서, 상기 이동형 카메라의 각도를 제어하면서, 상기 고정형 카메라 및 이동형 카메라의 촬상 화면으로부터 각각의 특징점들을 추출하고, 상기 추출된 특징점들 간의 정합 과정을 통해, 상기 고정형 카메라에 대한 상기 이동형 카메라의 기본 위치를 지정하는 단계와, 상기 고정형 카메라에서 감지된 이동 물체에 대한 영상 좌표를 상기 이동형 카메라의 영상 좌표로 변환하는 단계, 및 상기 변환된 좌표 값을 이용하여 상기 이동형 카메라가 상기 이동 물체를 추적하도록 상기 이동형 카메라의 팬 각도, 틸트 각도 및 줌 배율 중 적어도 하나를 제어하는 단계를 포함하는 듀얼 카메라를 이용한 화상 감지 방법을 제공한다.
상기 듀얼 카메라를 이용한 화상 감지 장치에 따르면, 고정형 카메라와 이동형 카메라의 감시 영역을 서로 매칭시켜서 두 카메라의 기본 위치를 설정한 다음, 고정형 카메라에서 감지된 이동 물체의 좌표 값을 이동형 카메라의 좌표 값으로 변환하여 이동형 카메라가 이동 물체를 계속해서 추적할 수 있도록 하여 이동형 카메라를 효과적으로 제어하며 감시 효율을 높일 수 있는 이점이 있다.The present invention relates to an image sensing method and apparatus using a dual camera. According to the present invention, in the image detection method using a dual camera including a fixed camera and a mobile camera installed indoors, while extracting the respective feature points from the image pickup screen of the fixed camera and the mobile camera, while controlling the angle of the mobile camera And designating a basic position of the mobile camera with respect to the fixed camera through a matching process between the extracted feature points, and converting image coordinates of the moving object detected by the fixed camera into image coordinates of the mobile camera. And converting at least one of a pan angle, a tilt angle, and a zoom ratio of the mobile camera so that the mobile camera tracks the moving object using the converted coordinate values. Provide a detection method.
According to the image sensing apparatus using the dual camera, the basic position of the two cameras is set by matching the surveillance areas of the fixed camera and the mobile camera with each other, and then the coordinate value of the moving object detected by the fixed camera is converted into the coordinate value of the mobile camera. By converting, the mobile camera can keep track of the moving object, thereby effectively controlling the moving camera and increasing surveillance efficiency.
Description
본 발명은 듀얼 카메라를 이용한 화상 감지 방법 및 장치에 관한 것으로서, 보다 상세하게는 고정형 카메라와 이동형 카메라를 이용하여 이동 물체에 대한 감시 효율을 높일 수 있는 듀얼 카메라를 이용한 화상 감지 방법 및 장치에 관한 것이다.The present invention relates to an image sensing method and apparatus using a dual camera, and more particularly, to an image sensing method and apparatus using a dual camera that can increase the monitoring efficiency for moving objects using a fixed camera and a mobile camera. .
지능형 영상감시 분야에서 듀얼 카메라를 활용한 감시 시스템의 연구는 다양하게 진행되고 있다. 한 대의 고정형 카메라만을 이용해서 넓은 영역을 감시하는 경우, 매우 먼 거리에서 감시하게 되어 실제 감시 대상 물체에 대한 변별력이 떨어지는 문제점이 있다. 한 대의 이동형 카메라만을 이용하는 경우, 하나의 물체를 추적하는 동안 다른 영역을 감시할 수 없어 감시 영역이 순간적으로 너무 좁혀지고, 물체 추적에 대한 정확도도 떨어지는 문제점이 있다. 또한, 이동형 카메라만을 이용할 경우에는 움직이는 물체 추적에 대한 추적 알고리즘의 성능이 아직까지 실용적으로 사용할 수준이 되지 못하며, 특히 확대(zooming) 제어가 어렵기 때문에 고정형 카메라만을 이용하는 경우보다 감시 성능이 떨어지는 문제점이 있다.In the field of intelligent video surveillance, research of surveillance systems using dual cameras has been conducted in various ways. In the case of monitoring a large area using only one fixed camera, there is a problem in that it is monitored at a very long distance so that the discriminating power of the actual monitoring object falls. In case of using only one mobile camera, it is impossible to monitor the other area while tracking one object, so that the monitoring area is momentarily too narrow, and the accuracy of object tracking is also poor. In addition, when using only a moving camera, the performance of the tracking algorithm for tracking a moving object has not yet been practically used. In particular, since zooming control is difficult, surveillance performance is lower than that of using only a fixed camera. have.
고정형 카메라와 이동형 카메라를 동시에 활용할 경우 영역 전체에 대한 감시와 특정 위험 요소에 대한 정밀 감시가 동시에 이뤄질 수 있어, 감시 목적에 있어서 매우 효율적인 이점이 있다. 이러한 이유로 최근에는 듀얼 카메라를 이용한 감시 시스템에 대한 연구가 활발히 진행되고 있다.The use of fixed cameras and mobile cameras at the same time can be used to monitor the entire area at the same time and precisely monitor specific risks, which is very efficient for surveillance purposes. For this reason, researches on surveillance systems using dual cameras have been actively conducted in recent years.
이와 관련하여 특허공개 제2010-0132739호에는 듀얼 카메라를 이용한 모니터링 시스템 및 그 방법에 관하여 개시되어 있다. 이는 두 대의 카메라를 이용하여 넓은 영역과 좁은 영역에 대한 동시 모니터링이 가능하도록 한다. In this regard, Korean Patent Publication No. 2010-0132739 discloses a monitoring system using a dual camera and a method thereof. This allows two cameras to simultaneously monitor large and narrow areas.
기존의 시스템의 경우 두 대의 카메라의 감시 영역이 일치하도록 조절하는데에 한계가 따른다. 이는 실질적으로 두 대의 카메라가 똑같은 위치에 있지 않고 이동형 카메라의 제어로는 보정할 수 없는 회전까지 고려하여야 하기 때문이다. 따라서 종래에는 두 대의 카메라의 시점(view)을 서로 일치시키는 데에 한계가 있으며 두 카메라 영상 간의 위치 정합이 효과적으로 이루어질 수 없는 문제점이 있다.In the existing system, there is a limit to adjusting the surveillance area of two cameras to coincide. This is because the two cameras are not substantially in the same position and must take into account rotations that cannot be compensated by the control of the mobile camera. Therefore, in the related art, there is a limitation in matching views of two cameras with each other, and there is a problem in that position registration between two camera images cannot be effectively performed.
본 발명은 고정형 카메라와 이동형 카메라의 감시 영역을 서로 매칭시켜서 두 카메라의 기본 위치를 설정한 다음 고정형 카메라에서 감지된 이동 물체의 좌표 값을 이동형 카메라의 좌표 값으로 변환하여 이동형 카메라가 이동 물체를 계속해서 추적할 수 있도록 하는 듀얼 카메라를 이용한 화상 감지 방법 및 장치를 제공하는데 목적이 있다.The present invention sets the basic position of the two cameras by matching the surveillance areas of the fixed camera and the mobile camera with each other, and then converts the coordinate value of the moving object detected by the fixed camera into the coordinate value of the mobile camera, and the mobile camera continues the moving object. It is an object of the present invention to provide a method and apparatus for detecting an image using a dual camera that can be tracked.
본 발명은, 실내에 설치된 고정형 카메라 및 이동형 카메라를 포함하는 듀얼 카메라를 이용한 화상 감지 방법에 있어서, 상기 이동형 카메라의 각도를 제어하면서, 상기 고정형 카메라 및 이동형 카메라의 촬상 화면으로부터 각각의 특징점들을 추출하고, 상기 추출된 특징점들 간의 정합 과정을 통해, 상기 고정형 카메라에 대한 상기 이동형 카메라의 기본 위치를 지정하는 단계와, 상기 고정형 카메라에서 감지된 이동 물체에 대한 영상 좌표를 상기 이동형 카메라의 영상 좌표로 변환하는 단계, 및 상기 변환된 좌표 값을 이용하여 상기 이동형 카메라가 상기 이동 물체를 추적하도록 상기 이동형 카메라의 팬 각도, 틸트 각도 및 줌 배율 중 적어도 하나를 제어하는 단계를 포함하는 듀얼 카메라를 이용한 화상 감지 방법을 제공한다.The present invention, in the image detection method using a dual camera including a fixed camera and a mobile camera installed in the room, while extracting the respective feature points from the image pickup screen of the fixed camera and the mobile camera, while controlling the angle of the mobile camera Specifying a basic position of the mobile camera with respect to the fixed camera through a matching process between the extracted feature points, and converting image coordinates of the moving object detected by the fixed camera into image coordinates of the mobile camera. And controlling at least one of a pan angle, a tilt angle, and a zoom magnification of the movable camera so that the movable camera tracks the moving object by using the converted coordinate values. Provide a method.
여기서, 상기 이동형 카메라의 기본 위치를 지정하는 단계는, 상기 이동형 카메라의 각도를 제어하면서 상기 고정형 카메라와 이동형 카메라의 촬상 화면으로부터 각각의 특징점들을 추출한 다음 상기 추출된 특징점들 간을 서로 정합시켜서, 특징점 매칭도가 가장 높은 해당 각도로 상기 이동형 카메라의 초기 위치를 지정하는 단계와, 상기 매칭도가 가장 높은 해당 각도에서의 특징점 정합쌍들 사이의 호모그래피 변환 행렬을 연산하는 단계, 및 상기 호모그래피 변환 행렬로부터 상기 고정형 카메라 상의 좌표와 상기 이동형 카메라 상의 좌표 간의 차이값을 계산하고, 상기 차이값이 임계치 미만이 될 때까지 상기 이동형 카메라의 각도를 움직여서 상기 특징점 정합을 재수행한 다음 특징점 정합쌍들 사이의 호모그래피 변환 행렬을 재연산하는 과정을 반복하여 상기 이동형 카메라의 기본 위치를 지정하는 단계를 포함할 수 있다.Here, the step of designating the basic position of the mobile camera, extracting the respective feature points from the image pickup screen of the fixed camera and the mobile camera while controlling the angle of the mobile camera, and then match the extracted feature points with each other, Designating an initial position of the mobile camera at the corresponding angle with the highest matching degree, calculating a homography transformation matrix between feature point matching pairs at the corresponding angle with the highest matching degree, and the homography transformation Compute a difference value between the coordinates on the fixed camera and the coordinates on the mobile camera from a matrix, re-implement the feature point matching by moving the angle of the mobile camera until the difference is less than a threshold, and then between the feature match pairs. Recomputation of the homography transformation matrix A may be repeated, including the step of specifying the default location of the mobile camera.
또한, 상기 이동형 카메라의 초기 위치를 지정하는 단계는, 상기 이동형 카메라의 팬 각도 또는 틸트 각도를 조절하면서, 상기 팬 각도 또는 틸트 각도 별로 추출되는 상기 고정형 카메라의 촬상 영상에 대한 제1 특징점들과 상기 이동형 카메라의 촬상 영상에 대한 제2 특징점들을 서로 정합하는 단계와, 상기 팬 각도 또는 틸트 각도 별로, 상기 서로 정합되는 특징점 쌍들의 개수를 파악하고, 상기 정합되는 특징점 쌍들의 개수가 가장 많이 출력되는 팬 또는 틸트 각도를 선정하는 단계, 및 상기 선정된 팬 또는 틸트 각도로 상기 이동형 카메라를 제어하여 상기 이동형 카메라의 초기 위치를 지정하는 단계를 포함할 수 있다.The specifying of the initial position of the mobile camera may include: first feature points for the captured image of the fixed camera extracted by the pan angle or the tilt angle while adjusting the pan angle or the tilt angle of the mobile camera; Matching the second feature points with respect to the captured image of the mobile camera, and determining the number of pairs of feature points matched with each other by the pan angle or the tilt angle, and outputting the largest number of matched feature point pairs. Or selecting a tilt angle, and controlling the movable camera by the selected pan or tilt angle to designate an initial position of the movable camera.
그리고, 상기 호모그래피 변환 행렬을 연산하는 단계는, 상기 호모그래피 변환 행렬을 아래의 수학식으로 연산할 수 있다.In the calculating of the homography transformation matrix, the homography transformation matrix may be calculated by the following equation.
여기서, Hij는 상기 변환 파라미터, ω는 좌표 간 스케일, i는 1부터 N 사이의 정수, 
또한, 상기 고정형 카메라 상의 좌표와 상기 이동형 카메라 상의 좌표 간의 차이값은, 상기 고정형 카메라의 촬상 화면에서의 중심 좌표와, 상기 호모그래피 변환 행렬에 상기 중심 좌표를 대입하여 획득되는 대응점 좌표 사이의 차이값일 수 있다.The difference value between the coordinate on the fixed camera and the coordinate on the mobile camera is a difference value between a center coordinate on an image captured by the fixed camera and a corresponding point coordinate obtained by substituting the center coordinate in the homography transformation matrix. Can be.
또한, 상기 고정형 카메라에서 감지된 이동 물체에 대한 영상 좌표를 상기 이동형 카메라의 영상 좌표로 변환하는 단계는, 상기 좌표 변환 시 상기 호모그래피 변환 행렬 또는 들로네 삼각화 기법을 사용할 수 있다.The method may further include converting the image coordinates of the moving object detected by the fixed camera into the image coordinates of the mobile camera, using the homography transformation matrix or the Delaunay triangulation technique.
또한, 상기 이동형 카메라의 팬 각도, 틸트 각도 및 줌 배율 중 적어도 하나를 제어하는 단계는, 상기 이동형 카메라의 전체 영상의 가로 크기(w)에 대비한 상기 추적된 이동 물체의 가로 크기(w0)의 비율 값(rw=w0/w), 그리고 상기 이동형 카메라의 전체 영상의 세로 크기(h)에 대비한 상기 추적된 이동 물체의 세로 크기(h0)의 비율 값(rh=h0/h)을 비교한 다음, 그 중 더 작은 비율 값을 현재 이동 물체에 대한 이동형 카메라의 배율(r0)에 곱하여 최종적인 줌 배율 r을 아래의 수학식으로 결정할 수 있다.The controlling of at least one of the pan angle, the tilt angle and the zoom magnification of the mobile camera may include: the horizontal size w 0 of the tracked moving object in relation to the horizontal size w of the entire image of the mobile camera. The ratio value (r w = w 0 / w) of, and the ratio value (r h = h 0 of the vertical size (h 0 ) of the tracked moving object relative to the vertical size (h) of the entire image of the mobile camera. / h) and then multiply the smaller ratio value by the magnification r 0 of the movable camera for the current moving object to determine the final zoom magnification r with the following equation.
여기서, min()은 최소값 연산을 나타낸다.Where min () represents the minimum value operation.
그리고, 본 발명은 실내에 설치된 고정형 카메라 및 이동형 카메라를 포함하는 듀얼 카메라를 이용한 화상 감지 장치에 있어서, 상기 이동형 카메라의 각도를 제어하면서, 상기 고정형 카메라 및 이동형 카메라의 촬상 화면으로부터 각각의 특징점들을 추출하고, 상기 추출된 특징점들 간의 정합 과정을 통해, 상기 고정형 카메라에 대한 상기 이동형 카메라의 기본 위치를 지정하는 감시영역 정합부와, 상기 고정형 카메라에서 감지된 이동 물체에 대한 영상 좌표를 상기 이동형 카메라의 영상 좌표로 변환하는 좌표 변환부, 및 상기 변환된 좌표 값을 이용하여 상기 이동형 카메라가 상기 이동 물체를 추적하도록 상기 이동형 카메라의 팬 각도, 틸트 각도 및 줌 배율 중 적어도 하나를 제어하는 카메라 제어부를 포함하는 듀얼 카메라를 이용한 화상 감지 장치를 제공한다.In addition, the present invention is an image sensing device using a dual camera including a fixed camera and a mobile camera installed in the room, while extracting the respective feature points from the image pickup screen of the fixed camera and the mobile camera, while controlling the angle of the mobile camera And, through the matching process between the extracted feature points, the surveillance region matching unit for designating the basic position of the mobile camera relative to the fixed camera, and the image coordinates of the moving object detected by the fixed camera of the mobile camera And a camera controller for controlling at least one of a pan angle, a tilt angle, and a zoom ratio of the mobile camera so that the mobile camera tracks the moving object by using the converted coordinate value. Image detection with dual camera Provide a device.
여기서, 상기 감시영역 정합부는, 상기 이동형 카메라의 각도를 제어하면서 상기 고정형 카메라와 이동형 카메라의 촬상 화면으로부터 각각의 특징점들을 추출한 다음 상기 추출된 특징점들 간을 서로 정합시켜서, 특징점 매칭도가 가장 높은 해당 각도로 상기 이동형 카메라의 초기 위치를 지정하는 초기위치 지정부와, 상기 매칭도가 가장 높은 해당 각도에서의 특징점 정합쌍들 사이의 호모그래피 변환 행렬을 연산하는 변환행렬 연산부, 및 상기 호모그래피 변환 행렬로부터 상기 고정형 카메라 상의 좌표와 상기 이동형 카메라 상의 좌표 간의 차이값을 계산하고, 상기 차이값이 임계치 미만이 될 때까지 상기 이동형 카메라의 각도를 움직여서 상기 특징점 정합을 재수행한 다음 특징점 정합쌍들 사이의 호모그래피 변환 행렬을 재연산하는 과정을 반복하여 상기 이동형 카메라의 기본 위치를 지정하는 기본위치 지정부를 포함할 수 있다.Here, the surveillance region matching unit extracts the respective feature points from the image pickup screens of the fixed camera and the mobile camera while controlling the angle of the mobile camera, and then matches the extracted feature points with each other, so that the feature point matching is highest. An initial position designation unit for designating an initial position of the mobile camera by an angle, a transformation matrix computing unit for computing a homography transformation matrix between feature point matching pairs at the corresponding angle with the highest matching degree, and the homography transformation matrix Calculates a difference value between the coordinates on the fixed camera and the coordinates on the mobile camera, re-implements the feature point matching by moving the angle of the mobile camera until the difference is less than a threshold, and then homogeneous between feature match pairs. To recompute the graph transformation matrix Repeatedly may include a basic position designator for designating the basic position of the mobile camera.
본 발명에 따른 듀얼 카메라를 이용한 화상 감지 장치에 따르면, 고정형 카메라와 이동형 카메라의 감시 영역을 서로 매칭시켜서 두 카메라의 기본 위치를 설정한 다음, 고정형 카메라에서 감지된 이동 물체의 좌표 값을 이동형 카메라의 좌표 값으로 변환하여 이동형 카메라가 이동 물체를 계속해서 추적할 수 있도록 하여 이동형 카메라를 효과적으로 제어하며 감시 효율을 높일 수 있는 이점이 있다.According to the image sensing apparatus using the dual camera according to the present invention, by setting the basic position of the two cameras by matching the surveillance area of the fixed camera and the mobile camera with each other, the coordinate value of the moving object detected by the fixed camera is By converting to coordinate values, the mobile camera can keep track of the moving object, thereby effectively controlling the moving camera and increasing surveillance efficiency.
도 1은 본 발명의 실시예에 따른 듀얼 카메라를 이용한 화상 감지 장치의 구성도이다.
도 2는 도 1의 감시영역 정합부의 구성도이다.
도 3은 도 1을 이용한 듀얼 카메라를 이용한 화상 감지 방법의 흐름도이다.
도 4는 본 발명의 실시예를 위해 이동형 카메라의 위치를 수동으로 조정하여 이동형 카메라의 뷰가 최대한 고정형 카메라의 뷰와 일치하도록 조작한 모습의 예를 나타낸다.
도 5는 도 3의 S310 단계에서 특징점 정합 결과의 예이다.
도 6은 본 발명의 실시예를 위해 이동형 카메라 영상 내의 특징점들을 들로네 삼각화 한 결과 예를 나타낸다.
도 7은 본 발명의 성능 테스트에 사용된 두 카메라의 설치 모습을 나타낸다.
도 8은 본 발명의 실시예를 위한 실험에 사용된 고정형 카메라의 레퍼런스 영상을 나타낸다.
도 9는 도 8의 레퍼런스 영상에 대한 이동형 카메라의 자동 위치 설정에 따른 중심 이동의 결과이다.
도 10은 본 발명의 실시예에서 좌표 변환의 성능을 알아보기 위해 고정형 카메라에서 선택한 지점들을 나타낸다.
도 11은 본 발명의 실시예에서 좌표 변환의 성능을 알아보기 위해, 두 개의 좌표 변환 알고리즘으로 각각 좌표 변환된 점들을 나타낸다.
도 12는 도 11의 들로네 삼각화를 통한 방법과 호모그래피 행렬을 이용한 방법에 대한 변환 오차를 3차원으로 표현한 것이다.
도 13 및 도 14는 본 발명의 방법을 통해 최종적으로 이동형 카메라에 의해 제어된 결과를 나타낸다.1 is a block diagram of an image sensing device using a dual camera according to an embodiment of the present invention.
FIG. 2 is a configuration diagram of the monitoring area matching unit of FIG. 1.
3 is a flowchart of an image sensing method using a dual camera using FIG. 1.
4 illustrates an example of a state in which the position of the movable camera is manually adjusted for the embodiment of the present invention and the view of the movable camera is manipulated to match the view of the fixed camera as much as possible.
5 is an example of a feature point matching result in step S310 of FIG. 3.
6 illustrates an example of Delaunay triangulation of feature points in a mobile camera image for an embodiment of the present invention.
Figure 7 shows the installation of the two cameras used in the performance test of the present invention.
8 shows a reference image of a fixed camera used in an experiment for an embodiment of the present invention.
9 is a result of the center of movement according to the automatic positioning of the mobile camera with respect to the reference image of FIG.
10 illustrates points selected by the fixed camera in order to find out the performance of the coordinate transformation in the embodiment of the present invention.
FIG. 11 illustrates points coordinated by two coordinate transformation algorithms in order to determine the performance of coordinate transformation in an embodiment of the present invention.
FIG. 12 is a three-dimensional representation of a transformation error between the Delaunay triangulation method of FIG. 11 and the method using a homography matrix.
13 and 14 show the results finally controlled by the mobile camera through the method of the present invention.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention.
도 1은 본 발명의 실시예에 따른 듀얼 카메라를 이용한 화상 감지 장치의 구성도이다. 본 발명은 실내에 설치된 고정형 카메라(10) 및 이동형 카메라(20)를 포함하는 듀얼 카메라를 이용한 화상 감지 장치(100)에 관한 것이다.1 is a block diagram of an image sensing device using a dual camera according to an embodiment of the present invention. The present invention relates to an
두 대의 카메라(10,20)로 감시기능을 높이기 위해서는 먼저 각각의 카메라의 역할 정의가 필요하다. 고정형 카메라(10)는 감시영역의 전체를 관할한다는 의미로 글로벌(Grobal) 카메라로 정의할 수 있으며, 이동형 카메라(20)는 움직이는 물체의 세세한 부분을 감시한다는 의미로 로컬(Local) 카메라로 정의할 수 있다.In order to enhance the surveillance function with the two
고정형 카메라(10)는 일반적인 화상 감시 시스템의 카메라 역할을 수행하면서 입력 영상을 통하여 움직이는 이동 물체 정보(중심좌표(x,y)와 크기정보(s))를 획득하는 역할을 한다. 고정형 카메라(10)에서 획득된 움직이는 물체 정보(G(x,y,s))는 이동형 카메라(20)의 영상 좌표로 변환되며 이동형 카메라(20)에서 움직이는 물체를 계속해서 추적하기 위해 팬 및 틸트 제어를 수행하고, 이동하는 물체의 변별력을 높이기 위해 배율을 높이는 줌(zoom) 제어를 수행하게 된다.The
이동형 카메라(20)의 제어 목적은 최대한 움직이는 물체를 추적하면서, 추적 물체의 변별력을 높이기 위해 최대한 감시화면에 적당한 배율로 확대하여 모니터링하는 것이다. The control purpose of the
이러한 감시 시스템을 위해서는 먼저 두 카메라(10,20)의 영상을 물리적인 방법으로 비슷하게 정합시키기 위한 두 카메라(10,20)의 기본 위치 자동 설정 과정과, 두 카메라(10,20) 간의 영상 좌표를 소프트웨어적인 방법으로 정밀하기 일치시키기 위한 두 카메라(10,20) 간의 영상 좌표 변환 과정, 그리고 이동형 카메라(20)를 팬(Pan)/틸트(Tilt)/줌(Zoom) 제어하는 과정이 요구된다. For such a surveillance system, first of all, the process of automatically setting the basic positions of the two
이를 위해, 상기 화상 감지 장치(100)는 감시영역 정합부(110), 좌표 변환부(120), 카메라 제어부(130)를 포함한다.To this end, the
우선, 상기 감시영역 정합부(110)는 상기 고정형 카메라(10) 및 이동형 카메라(20)의 촬상 화면을 이용하여 상기 고정형 카메라(10) 및 이동형 카메라(20)의 감시 영역을 서로 정합시키는 부분으로서, 두 카메라(10,20) 간의 영상을 비슷하게 맞추기 위하여 이동형 카메라(20)의 기본 위치를 지정한다.First, the surveillance
구체적으로는, 상기 감시영역 정합부(110)는 이동형 카메라(20)의 각도를 제어하면서, 상기 고정형 카메라(10) 및 이동형 카메라(20)의 촬상 화면으로부터 각각의 특징점들을 추출하고, 상기 추출된 특징점들 간의 정합 과정을 통해, 상기 고정형 카메라(10)에 대한 상기 이동형 카메라(20)의 기본 위치를 지정한다. 이를 통해 두 카메라(10,20) 간의 감시 영역에 관한 기본 정합이 가능해진다.Specifically, the surveillance
도 2는 도 1의 감시영역 정합부의 구성도이다. 도 2와 같이, 감시영역 정합부(110)는 초기위치 지정부(111), 변환행렬 연산부(112), 기본위치 지정부(113)를 포함한다.FIG. 2 is a configuration diagram of the monitoring area matching unit of FIG. 1. As illustrated in FIG. 2, the surveillance
상기 초기위치 지정부(111)는 이동형 카메라(20)의 각도를 제어하면서 상기 고정형 카메라(10)와 이동형 카메라(20)의 촬상 화면으로부터 각각의 특징점들을 추출한 다음 상기 추출된 특징점들 간을 서로 정합시켜서, 특징점 매칭도가 가장 높은 해당 각도로 상기 이동형 카메라(20)의 '초기 위치'를 대략적으로 지정하는 부분이다.The initial
상기 변환행렬 연산부(112)는 상기 매칭도가 가장 높은 해당 각도에서의 특징점 정합쌍들 사이의 호모그래피 변환 행렬을 연산하는 부분이다.The transformation
상기 기본위치 지정부(113)는 상기 호모그래피 변환 행렬로부터 상기 고정형 카메라(10) 상의 좌표와 상기 이동형 카메라(20) 상의 좌표 간의 차이값을 계산하고, 상기 차이값이 임계치 미만이 될 때까지 상기 이동형 카메라(20)의 각도를 움직여서 상기 특징점 정합을 재수행한 다음 특징점 정합쌍들 사이의 호모그래피 변환 행렬을 재연산하는 과정을 반복하여, 상기 이동형 카메라(20)의 '기본 위치'를 지정하는 부분이다. The basic
즉, 이러한 이동형 카메라(20)의 기본 위치는 앞서의 초기 위치에 비하여 보다 정밀한 보정을 통해 얻어진 위치를 의미하는 것이다. 이상과 같은 감시영역 정합부(110)는 이동형 카메라(20)를 물리적으로 이동시켜서 두 카메라(10,20) 간의 영상을 비슷하게 맞추기 위한 것으로서, 이에 관한 보다 구체적인 설명은 후술할 것이다.That is, the basic position of the
상기 이동형 카메라(20)의 기본 위치의 지정에 따르면, 두 카메라(10,20) 사이의 중심 위치는 서로 일치하게 되지만, 두 카메라(10,20) 간의 회전 등에 대한 보정은 반영되지 않다. According to the designation of the basic position of the
상기 좌표 변환부(120)는 이를 보정하기 위한 것으로서, 실제로 고정형 카메라(10)에서 감지된 이동 물체에 대한 영상 좌표 값을 이동형 카메라(20)의 영상 좌표 값으로 변환한다. 좌표 변환 알고리즘으로는 호모그래피 변환 행렬을 이용한 파라미터적 방법 또는 들로네 삼각화(Delaunay Triangulation)를 이용한 비파라미터적 방법을 사용할 수 있다. 이러한 좌표 변환 과정은 두 카메라(10,20) 간의 영상 좌표를 소프트웨어적으로 일치시키기 위한 것이다.The coordinate
카메라 제어부(130)는 상기 변환된 좌표 값을 이용하여 상기 이동형 카메라(20)가 상기 이동 물체를 추적하도록, 이동형 카메라(20)의 팬 각도, 틸트 각도 및 줌 배율 중 적어도 하나를 실질적으로 제어한다. 이에 따르면, 고정형 카메라(10)에서 감지된 이동 물체를 이동형 카메라(20)를 통해 실시간 추적할 수 있게 하고 이동 물체를 확대 표시하여 감시 변별력 및 감시 효율을 높이도록 한다.The
이하에서는 본 발명의 실시예에 따른 듀얼 카메라를 이용한 화상 감지 방법에 관하여 상세히 설명한다. 도 3은 도 1을 이용한 듀얼 카메라를 이용한 화상 감지 방법의 흐름도이다.Hereinafter, an image detection method using a dual camera according to an embodiment of the present invention will be described in detail. 3 is a flowchart of an image sensing method using a dual camera using FIG. 1.
우선 감시 영역의 정합이 용이하도록 사전에 두 카메라(10,20)는 미리 최대한 가까운 위치에 설치되도록 한다. 도 4는 본 발명의 실시예를 위해 이동형 카메라를 수동으로 조정하여 이동형 카메라(20)의 뷰가 최대한 고정형 카메라(10)의 뷰와 일치하도록 조작한 모습의 예를 나타낸다. First, the two
도 4의 (a)는 고정형 카메라(10)에 의한 촬상 영역인 레퍼런스 영역을 나타내고, (b)는 그에 대응되는 이동형 카메라(20)의 촬상 영역을 나타낸다. 즉, 도 4와 같이 S210 단계의 실행 전에 두 카메라(10,20)의 뷰가 최대한 같도록 사용자가 이동형 카메라(20)를 임의로 수동 조작해두는 것이 바람직하다.FIG. 4A illustrates a reference region which is an imaging region by the fixed
다음, 감시영역 정합부(110)에서는 고정형 카메라(10) 및 이동형 카메라(20)의 촬상 화면을 이용하여 상기 고정형 카메라(10) 및 이동형 카메라(20)의 감시 영역을 서로 정합시킨다(S310). 이러한 정합 과정은 카메라의 위치를 물리적으로 이동시켜서 두 카메라(10,20)가 최대한 비슷한 뷰를 이루도록 하는 두 카메라의 초기 위치 지정 과정이다.Next, in the surveillance
즉, S310 단계는 상기 이동형 카메라(20)의 각도를 제어하면서, 상기 고정형 카메라(10) 및 이동형 카메라(20)의 촬상 화면으로부터 각각의 특징점들을 추출하고, 상기 추출된 특징점들 간의 정합 과정을 통해, 상기 고정형 카메라(10)에 대한 상기 이동형 카메라의 기본 위치를 지정하는 과정이다.That is, the step S310 extracts the respective feature points from the image capturing screens of the fixed
상기 S310 단계는 이동형 카메라(20)의 초기 위치 지정 과정(S311), 호모그래피 변환 행렬 연산 과정(S312), 그리고 이동형 카메라(20)의 기본 위치 지정 과정(S313)을 포함하는 세 가지 과정으로 세분화될 수 있다. The step S310 is subdivided into three processes including an initial positioning process S311 of the
먼저, 상기 S311 단계를 설명하면 다음과 같다. 초기위치 지정부(111)에서는 상기 이동형 카메라(20)의 팬 각도 또는 틸트 각도를 조절하면서, 상기 팬 각도 또는 틸트 각도 별로 추출되는 상기 고정형 카메라(10)의 촬상 영상에 대한 제1 특징점들과, 상기 이동형 카메라(20)의 촬상 영상에 대한 제2 특징점들을 서로 정합한다(S311a).First, the step S311 will be described. The initial
즉, 앞서와 같이 미리 세팅된 고정형 카메라(10)의 촬상 영상으로부터 복수 개의 제1 특징점을 추출하고, 또한 이동형 카메라(20)의 촬상 영상으로부터 복수 개의 제2 특징점을 추출하되, 이러한 특징점들을 상기 이동형 카메라(20)의 각도 별로 추출한다.That is, a plurality of first feature points are extracted from the captured image of the fixed
상기 특징점이란 촬상 영상 내에 존재하는 물체의 모서리들 또는 그 밖의 다양한 특징점에 해당될 수 있다. 본 실시예에서는 SURF(Speeded Up Robus Features) 특징점 검출 방법을 사용할 수 있는데, 본 발명이 반드시 이에 한정되는 것은 아니다. The feature point may correspond to corners of an object existing in the captured image or various other feature points. In this embodiment, a method of detecting a speeded up robus features (SURF) may be used, but the present invention is not necessarily limited thereto.
도 5는 도 3의 S310 단계에서 특징점 정합 결과의 예이다. 즉, 각 카메라(10,20)에서 제1 특징점들과 제2 특징점들이 검출되면, 상기 제1 특징점들과 제2 특징점들을 정합하는 과정을 거친다. 정합 결과는 도 5와 같이 매칭된 특징점 쌍들을 서로 연결한 라인들을 통해 파악할 수 있다. 따라서 도 5의 (a)는 성공적인 특징점 정합 결과를 나타내고, (b)는 두 촬상 영상의 차이로 인해 특징점 정합이 실패한 경우를 나타낸다. 5 is an example of a feature point matching result in step S310 of FIG. 3. That is, when the first feature points and the second feature points are detected by the
여기서, 특징점의 정합 원리는 기존에 공지된 다양한 방법이 사용될 수 있으며, 그 예로서 특징점 부근의 영상이 가지고 있는 밝기 분포 특성 또는 그래디언트(gradient; 1차 미분영상)의 분포 특성을 이용할 수 있다. 상기 SURF 알고리즘은 특징점의 추출 방법과 특징점의 정합 방법을 모두 포함하는 방식이다.Here, as the matching principle of the feature points, various methods known in the art may be used. For example, the brightness distribution characteristic of the image near the feature point or the distribution characteristic of the gradient (first differential image) may be used. The SURF algorithm includes both a method of extracting feature points and a method of matching feature points.
본 실시예에서 제1 특징점들과 제2 특징점들의 정합 과정은 이동형 카메라(20)의 팬 각도 또는 틸트 각도 별로 수행하며, 이러한 과정을 통해 추후 이동형 카메라(20)의 초기 위치를 결정할 수 있게 된다.In this embodiment, the matching process of the first feature points and the second feature points is performed for each pan angle or tilt angle of the
따라서, 초기위치 지정부(111)는 상기 팬 각도 또는 틸트 각도 별로, 상기 서로 정합되는 특징점 쌍들의 개수를 파악하고, 상기 정합되는 특징점 쌍들의 개수가 가장 많이 출력되는 팬 또는 틸트 각도를 선정한 다음(S311b), 선정된 팬 또는 틸트 각도로 상기 이동형 카메라(20)의 각도를 제어하여 상기 이동형 카메라(20)의 초기 위치를 지정한다(S311c).Therefore, the initial
다시 말해서, 초기위치 지정부(111)는 상기 이동형 카메라(20)의 위치를 바꾸어 가면서 정합 과정을 거쳐, 가장 정합이 잘 이루어지는 이동형 카메라(20)의 위치를 보정을 실시할 초기 위치로 지정한다. 이를 위해, 이동형 카메라(20)의 각도 별로, 제1 특징점들과 제2 특징점들 사이에 서로 매칭되는 특징점 쌍들이 몇 개인지 파악하고, 가장 매칭도가 높은 특징점 쌍들을 출력하는 해당 팬 또는 틸트 각도를 선정하고, 이 선정된 각도로 상기 이동형 카메라(20)의 각도를 제어하여 감시 영역 정합을 시작하기 위한 초기 위치를 결정하게 된다.In other words, the initial
그 예는 다음과 같다. 이동형 카메라(20)의 배율을 낮게 조절하여 대상을 멀리서 바라보도록 한 다음 일정 간격(ex, 30도 간격)으로 팬 각도(또는 틸트 각도)를 조절하면서 각 각도별로 제2 특징점들을 추출한다. 그런 다음, 각 각도별 정합 결과로부터, 초기 위치 설정을 위한 이동형 카메라(20)의 팬 각도 또는 틸트 각도를 결정한다. 즉, 고정형 카메라(10)에 의한 레퍼런스 영상에서의 제1 특징점들과 이동형 카메라(20)에서의 제2 특징점들 사이의 매칭 개수가 가장 많은 경우에 해당되는 이동형 카메라(20)의 특정 각도를 탐색하고, 탐색된 특정 각도로 이동형 카메라(20)의 초기 위치를 지정한다. An example is as follows. The magnification of the
앞서 S311 단계와 같이 정합을 위한 초기 위치가 지정되면, 상기 변환행렬 연산부(112)에서는 보다 정밀한 정합을 위하여 매칭된 특징점 간의 변환 행렬, 즉 호모그래피 행렬을 연산한다(S312). 이는 앞서 매칭도가 가장 높은 해당 각도에서의 특징점 정합쌍들 사이의 호모그래피 변환 행렬을 연산하는 과정이다.When the initial position for matching is specified in step S311, the transformation
상기 호모그래피 변환 행렬은 아래의 수학식 1과 같다.The homography transformation matrix is represented by
여기서, H는 상기 변환 파라미터, ω는 좌표 간 스케일, i는 1부터 N 사이의 정수이다. 상기 좌표 간 스케일이란 각 카메라(10,20)의 초점 거리 등에 의해 결정되는 것으로서 두 카메라(10,20)의 확대나 축소에 따른 크기 차에 대응된다. 
수학식 1의 호모그래피 행렬의 파라미터는 N개의 매칭된 특징점을 활용하여 수학식 2의 방식을 통해 계산할 수 있다.The parameter of the homography matrix of
여기서, 고정형 카메라(10)의 촬상 화면에서의 중심 좌표 C(x,y)와, 수학식 1의 호모그래피 행렬 H에 상기 중심 좌표 C(x,y)를 대입하여 획득되는 대응점 좌표 C'(x,y) 사이의 차이값 즉, ΔC(x,y)가 곧 두 카메라(10,20)의 영상 간의 차이가 된다. 따라서, 해당 차이를 상쇄할 수 있도록 이동형 카메라(20)의 위치를 움직여서 다시 특징점 매칭을 통해 호모그래피 행렬을 구하고 이를 통해 재차 얻어지는 영상 차이만큼 이동형 카메라(20)를 움직이는 과정을 반복하여 정밀한 정합을 수행하게 된다.Here, the center coordinates C (x, y) on the captured screen of the fixed
즉, 상기 기본위치 지정부(113)에서는 상기 호모그래피 변환 행렬로부터 상기 고정형 카메라(10) 상의 좌표와 상기 이동형 카메라(20) 상의 좌표 간의 상기 차이값 C'(x,y)을 계산하고, 상기 차이값이 임계치 미만이 될 때까지 상기 이동형 카메라(20)의 각도를 움직여서 상기 특징점 정합을 재수행한 다음 특징점 정합쌍들 사이의 호모그래피 변환 행렬을 재연산하는 과정을 반복하여, 앞서 '초기 위치'보다 정밀한 상기 이동형 카메라(20)의 '기본 위치'를 지정한다(S313).That is, the basic
상기 차이값이 임계치 미만이 될 때까지 이동형 카메라(20)의 각도를 움직인다는 것은, 현재로부터 과거 특정 시점까지 산출된 총 N개의 차이 값들의 표준편차가 가장 적은 시점에서의 움직임 각도로 이동형 카메라(20)의 기본 위치를 지정한다는 것을 의미할 수 있다. 물론, 본 발명이 반드시 이에 한정되는 것은 아니며 단순 차이값, 표준 편차 등 다양한 요소로부터 각도를 결정할 수 있다.Moving the angle of the
여기서, 고정형 카메라(10)와 이동형 카메라(20)의 영상 간의 차이 ΔC(x,y)에 대응하는 이동형 카메라(20)의 움직임을 구하기 위해서는 카메라 제어부(130)에서 얻어진 팬, 틸트 각도 연산을 이용하여 구한다. 카메라의 팬, 틸트 각도 등의 제어 방식은 기존에 공지되어 있으므로 상세한 설명은 생략한다. 즉, 이러한 S313 단계에서 이동형 카메라(20)를 움직이는 등의 과정을 반복하면서 카메라 간의 평행 이동, 스케일을 상쇄시킬 수 있게 한다.Here, in order to obtain the movement of the
이상과 같은 과정을 통해 이동형 카메라(20)의 뷰가 고정형 카메라(10)와 거의 일치하게 되면 그때부터는 도 9와 같이 일정한 평균을 중심으로 수렴하게 된다. 시간에 대한 제어 입력값 xt가 주어졌을 때, xt가 수렴할 때의 시간 tc는 이전 N개의 입력 동안의 표준 편차가 가장 적을 때로 한다. 이는 수학식 3으로 표현될 수 있고, 수학식 3의 수렴된 값 xc는 수렴 시점으로부터 N 기간 동안의 평균 E으로 수학식 4와 같이 표현할 수 있다.When the view of the
이상과 같이, 이동형 카메라(20)의 위치를 이동해 가면서 이동형 카메라(20)의 위치가 수렴할 때까지 이동형 카메라(20)의 초기 위치를 자동으로 제어하여 두 카메라를 자동 위치시킨다. 즉 고정형 카메라(10)의 영상을 레퍼런스로 하여 이동형 카메라(20)에서의 호모그래피 행렬을 구하고, 그 결과를 토대로 이동형 카메라(20)를 직접 움직이고 고정형 카메라(10)와 중심이 맞도록 이동하는 과정을 반복 수행하면, 두 특징점 쌍의 좌표가 거의 일치하는 방향으로 수렴하게 되어, 고정형 카메라(10)와 이동형 카메라(20)의 중심이 서로 일치하는 결과를 얻을 수 있다. 도 5는 이를 바탕으로 두 영상 간의 성공적인 정합이 이루어진 경우와, 실패한 경우를 나타내고 있다.As described above, the two cameras are automatically positioned by automatically controlling the initial position of the
여기서, 카메라 간의 평행 이동과 스케일 조절은 이동형 카메라(20)의 물리적 이동(팬, 틸트, 줌)으로 상쇄시킬 수 있다. 그런데 회전의 경우에는 입력 영상에 대한 회전 변환으로 보정이 가능한데, 본 발명에서는 영상을 직접 회전시키지 않고 좌표 변환 과정(S320)을 통해 보정하도록 한다.Here, parallel movement and scale adjustment between the cameras may be offset by physical movement (pan, tilt, zoom) of the
고정형 카메라(10)에 대해 감시 대상이 되는 이동 물체가 선정되면, 그 물체에 대한 정보는 고정형 카메라(10)의 영상 좌표계에 속하는 사각형이나 타원, 그리고 그 물체의 중심좌표 R(x,y)로 나타낼 수 있다. 이를 이동형 카메라(20)의 좌표로 옮기는 것이 상기 좌표 변환부(120)에서의 역할이다.When a moving object to be monitored for the fixed
두 카메라(10,20) 간의 좌표는 앞서 감시영역 정합부(110)를 이용한 S310 단계의 동작에 따라 대체로 일치하는 수준에 도달하였다. 그러나, 이는 화면의 중심 위치를 일치시키는 것으로서 평행 이동과 스케일에 따른 보정은 이루어졌고 회전에 대한 보정이 이루어지지 않은 것이다. 또한, 두 카메라(10,20) 간의 위치가 실제로 완전히 동일하지 않기 때문에 물체와 각 카메라 간의 거리에서 오는 오차(disparity)가 존재한다. The coordinates between the two
이를 보정하기 위한 방법으로 호모그래피 행렬을 이용한 파라미터적 방법과, 선형 보간을 이용한 비파라미터적 방법을 사용한다.As a method for correcting this, a parametric method using a homography matrix and a non-parametric method using linear interpolation are used.
호모그래피 행렬을 이용한 방법은 앞서 감시영역 정합 단계(S310;S313)에서 최종적으로 얻어낸 호모그래피 행렬을 이용할 수 있다. 호모그래피 행렬은 정합된 특징점 쌍들을 통해 얻어진 것으로서 평행 이동, 스케일, 회전 정보까지 모두 포함된 것이다. 따라서, 상기 호모그래피 행렬을 그대로 사용하여 좌표 변환을 한다면 두 카메라(10,20) 간의 회전에 따른 좌표 보정까지 수행할 수 있게 된다.The method using the homography matrix may use the homography matrix finally obtained in the surveillance region matching step (S310; S313). The homography matrix is obtained through matched feature point pairs and includes all the translation, scale, and rotation information. Therefore, if coordinate transformation is performed using the homography matrix as it is, coordinate correction according to rotation between two
즉, S313 단계에서 최종 얻어진 호모그래피 행렬의 우변에 고정형 카메라(10) 상의 물체의 좌표 정보 R(x,y)를 대입하면, 그에 대응되는 이동형 카메라(20)의 대응 좌표 R'(x,y)를 얻을 수 있다. 호모그래피 행렬은 회전 및 스케일의 미세한 차이를 보정하는 역할을 하고, 특징점 매칭의 실패와 관련된 노이즈 성분에 대해 강인한 특성을 보인다.That is, when the coordinate information R (x, y) of the object on the fixed
물론, 본 발명에서는 상기 S313 단계를 통해 최종 얻어낸 호모그래피 형렬에 대해 특징점 매칭 내지 호모그래피 행렬 획득의 과정을 한번 또는 수회 더 반복한 것을 상기 S320 단계 시에 적용하여 좌표 변환에 사용할 수 있음은 물론이다.Of course, the present invention can be used for the coordinate transformation by applying the repeated process of feature point matching or homography matrix acquisition once or several times to the homography matrix finally obtained through the step S313. .
상기 S320 단계는 호모그래피 변환 행렬을 이용하는 방법 대신 선형 보간을 이용한 비파라미터적 방법을 사용할 수 있다. 선형 보간을 이용한 비파라미터적 방법이란 특징점 매칭 결과를 그대로 좌표 변환에 활용하는 것이다. In step S320, a nonparametric method using linear interpolation may be used instead of a method using a homography transformation matrix. The nonparametric method using linear interpolation is to use the feature point matching result for coordinate transformation.
예를 들어, 고정형 카메라(10) 영상 내의 임의 제1 특징점 (xi,yi)이 이동형 카메라(20) 영상 내의 제2 특징점 (xi',yi')에 대응되고, 정밀 확대하고자 하는 고정형 카메라(10) 상의 물체 R(x,y)가 상기 제1 특징점 부근에 있을 경우, R(x,y)에 대한 이동형 카메라(20) 상의 좌표는 해당 부근의 특징점의 좌표 이동을 그대로 적용하는 것이다. 또한, 정밀 확대하고자 하는 고정형 카메라(10) 상의 물체의 좌표가 특징점의 좌표와 정확하게 일치하지 않으면서, 상기 물체의 좌표 주변에 여러 특징점들이 분포하는 경우에는, 각각의 특징점들이 서로 다른 좌표 변환을 보여주기 때문에, 추적 대상 물체 주변의 특징점들의 좌표 변환 특성을 모두 취합하여 좌표 변환을 수행할 필요가 있다. 이를 위해서 들로네 삼각화를 이용한 선형 보간을 사용한다.For example, an arbitrary first feature point (x i , y i ) in the fixed
들로네 삼각화란 공간상의 점들을 연결하여 삼각형들의 집합으로 구성하는 삼각화 기법 중 하나로써, 삼각형들의 최소 내각의 크기가 최대가 되도록 삼각형을 구성한다. 하나의 삼각형에 외접하는 외접원 내부에는 다른 점들이 포함되지 않는다. 각각의 고정형 카메라(10)의 특징점에 대해 맵핑되는 이동형 카메라(20)의 특징점들을 들로네 삼각화하여 삼각화된 영역별로 평면 방정식을 구함으로써, 맵핑이 이루어지지 않은 영역에 대해서 어느 정도 체계화된 좌표변환 값을 얻을 수 있게 된다. 도 5는 본 발명의 실시예를 위해 이동형 카메라 영상 내의 특징점들을 들로네 삼각화 한 결과 예를 나타낸다.Delaunay triangulation is a triangulation technique that consists of a set of triangles by connecting points in space, and configures triangles to maximize the size of the minimum internal angle of the triangles. Other points are not included inside the circumscribed circle that circumscribes one triangle. Coordinate transformation to some degree for the unmapped area by obtaining a plane equation for each triangulated area by Delaunay triangulation of the feature points of the
상술한 호모그래피 행렬 또는 들로네 삼각화 방법 모두 영상에서의 특징점을 이용한 좌표 변환 방식이라는 점에서는 유사성이 있다. 이상과 같이, 고정형 카메라(10)에서 검출되는 움직이는 물체의 좌표 정보는 앞서 S320 단계와 같은 호모그래피 행렬 또는 들로네 삼각화 방법을 이용하여 두 카메라 간의 기하학적 차이를 인식하여 이동형 카메라(20)의 좌표 정보로 보정(변환)된다. Both the homography matrix and the Delaunay triangulation method described above have similarities in that they are coordinate transformation methods using feature points in an image. As described above, the coordinate information of the moving object detected by the fixed
상기 S320 단계를 거친 이후에는, 고정형 카메라(10)에서 이동 물체에 대한 추적을 수행하도록 한다. 영상 내에서 이동 물체의 추적은 영상의 배경으로부터 움직이는 물체를 감지할 수 있는 기 공지된 다양한 방법이 사용될 수 있으므로 그 구체적인 설명은 생략한다.After the step S320, the fixed
즉, 카메라 제어부(130)에서는 상기 S3230 단계를 통해 변환된 좌표 값을 이용하여 상기 이동형 카메라(20)가 상기 이동 물체를 추적하도록, 상기 이동형 카메라(20)의 팬 각도, 틸트 각도 및 줌 배율 중 적어도 하나를 제어한다(S330). 이에 따라, 이동형 카메라(20)를 통해 확대된 형태의 이동 물체를 화면의 중앙에서 획득하여 계속해서 추적할 수 있게 된다. 이러한 과정들은 다른 움직이는 물체가 없을 때까지 반복 수행한다.In other words, the
이러한 이동형 카메라(20)의 제어 목적은 최대한 움직이는 물체를 오래도록 추적하면서, 추적하고자 하는 이동 물체의 변별력을 높이기 위하여, 이동 물체가 이동형 카메라(20) 영상의 중심에 오도록 하고, 추적 중인 이동 물체의 크기를 줌(zoom) 신호를 통해 확대하여, 최대한 감시화면에 적당한 배율로 모니터링하면서 변별력 있는 감시 물체를 HDD에 저장하는 것이다.The purpose of the control of the
고정형 카메라(10)의 데이터는 기존 화상감시 시스템처럼 별도의 DB에 동영상으로 저장되고, 이동형 카메라(20)의 데이터는 변별력 있는 장면(ex, 사람의 얼굴, 자동차의 번호판)만 DB에 저장하도록 한다.The data of the fixed
상기 카메라 제어부(130)에서 이동 물체를 추적하기 위해서는 앞서와 같이 좌표 변환 과정을 거친 이동형 카메라(20) 상의 좌표 정보를 참조하게 된다. 여기서, 이동형 카메라(20) 상의 물체의 좌표 값을 참조하여 상기 이동형 카메라(20)의 팬 각도 또는 틸트 각도를 계산하고 이를 통해 이동형 카메라(20)의 각도를 제어하는 방법은 기존에 다양하게 공지되어 있으므로 이에 관한 상세한 설명은 생략한다. In order to track the moving object in the
한편, 상기 S230 단계에서 카메라 제어부(130)는 이동형 카메라(20)의 줌 배율을 조절하여 이동 물체의 변별력을 높이도록 한다. 줌 제어의 경우, 전체 영상의 화면 크기에 비해서 추적 중인 이동 물체의 크기가 차지하는 비율을 통해 적용할 줌 배율을 결정한다.On the other hand, in step S230 the
추적 물체의 가로, 세로의 비율과, 영상의 가로, 세로의 비율이 다르기 때문에, 그 중에서 더 적은 배율을 결정한다. 이것을 식으로 표현하면 수학식 5와 같다.Since the ratio of the horizontal and vertical of the tracking object and the ratio of the horizontal and vertical of the image are different, the smaller magnification is determined among them. If this is expressed as an equation, it is the same as
여기서, rw는 상기 이동형 카메라(20)의 전체 영상의 가로 크기(w)에 대비한 상기 추적된 이동 물체의 가로 크기(w0)의 비율 값으로서 rw=w0/w으로 정의된다. 그리고, rh는 상기 이동형 카메라(20)의 전체 영상의 세로 크기(h)에 대비한 상기 추적된 이동 물체의 세로 크기(h0)의 비율 값으로서 rh=h0/h로 정의한다. 또한, r0는 현재 이동 물체에 대한 이동형 카메라(20)의 배율이다. Here, r w is a ratio value of the horizontal size (w 0 ) of the tracked moving object to the horizontal size (w) of the entire image of the
수학식 5에 따르면, rw와 rh 값 중에서 더 적은 값을 선택하고, 선택된 값을 r0와 곱함으로써 최종적인 줌 배율 r을 결정한다.According to
여기서, rw와 rh 값 중에서 더 적은 배율 값을 선택하는 이유는 더 큰 배율 값의 선택 시에는 해당 줌 배율 적용 시 이동 물체가 이동형 카메라(20)의 촬상 영역에서 벗어날 수 있기 때문이다.Where r w and r h The reason why the smaller magnification value is selected among the values is that when a larger magnification value is selected, the moving object may be out of the imaging area of the
이상의 과정에서는 이동형 카메라(20)의 제어 방법에 관하여 알아보았다. 이하에서는 고정형 카메라(10)의 물체 추적 과정을 나타낸다.In the above process, the control method of the
이동 물체에 대한 테스트를 위해 기존에 알려진 배경 분리 알고리즘을 응용하였다. 이동형 카메라(20)의 영상으로부터 배경 분리 이후, 열림과 닫힘 연산을 이용해 노이즈를 제거하고, 라벨링을 통해 특정 물체 영역을 얻어낸다. 본 발명에서는 기존의 영상 노이즈 제거 개념을 추가하였고, 연산 시간을 단축하기 위한 근사 방법을 새로 제안한다.In order to test moving objects, we apply the background separation algorithm. After the background separation from the image of the
영상 내에서 특정 픽셀 위치 x에 대해, 입력 영상 I(x)에 대한 배경 판정 함수 F(x)는 수학식 6과 같다.For a specific pixel position x in the image, the background determination function F (x) for the input image I (x) is given by
여기서, d(x)는 특정 화소의 배경 변화에 대한 노이즈이며 일정 기간 동안의 분산으로 구한다. 상수 b는 일종의 바이어스로서 영상 노이즈가 가지는 분산이다. m(x)는 일정 기간 동안의 I(x)에 대한 최소값, n(x)는 최대값으로서, 일정 기간 동안의 각 화소 값에 대한 통계로 구한다. I(x)는 x 좌표의 밝기값을 나타낸다.Here, d (x) is noise for the background change of a specific pixel and is obtained by variance over a period of time. The constant b is a kind of bias, which is the variance of image noise. m (x) is a minimum value for I (x) for a certain period, and n (x) is a maximum value, and is obtained by statistics on each pixel value for a certain period. I (x) represents the brightness value of the x coordinate.
매 프레임마다 모든 화소에 대한 m(x)와 n(x)의 통계를 내기 위해서는 정해진 기간 전체의 영상을 모두 저장하고 있어야 하고, 통계에 대한 연산과정이 오래 걸리기 때문에, m(x)와 n(x)는 가중치 합의 방법을 통해 근사적으로 다음 수학식 7과 같이 구한다.In order to output m (x) and n (x) statistics for every pixel every frame, all images must be stored for a certain period of time. Since the calculation process for statistics takes a long time, m (x) and n ( x) is approximated by
여기서 α는 (0, 1)사이의 상수 값으로 배경을 학습하는 속도를 결정한다. average 식에서 좌측의 average는 현재의 신규 값, 우측의 average는 이전의 과거 값을 나타낸다.Where α is a constant value between (0, 1) that determines the speed of learning the background. In the average equation, the average on the left represents the new value and the average on the right represents the previous historical value.
이하에서는 본 발명에 따른 듀얼 카메라를 이용한 화상 감지 방법에 대한 성능 실험 결과에 대하여 설명한다. Hereinafter will be described the performance test results for the image detection method using a dual camera according to the present invention.
도 7은 본 발명의 성능 테스트에 사용된 두 카메라의 설치 모습을 나타낸다. 두 카메라는 20평 내외의 실내 천정 부근에 설치되고 위치적으로 최대한 가까이 배치된다. 좌측의 카메라는 이동형 카메라(20), 우측의 카메라는 고정형 카메라(10)를 나타낸다. 실험을 위해서 이동형 카메라(20)는 AXIS 232D+를 사용하였다. Figure 7 shows the installation of the two cameras used in the performance test of the present invention. The two cameras are installed near the indoor ceiling of about 20 pyeong and are positioned as close as possible to position. The camera on the left represents the
먼저, S310 단계에 따른 두 카메라 간의 자동 설정 알고리즘의 성능 실험을 설명한다.First, the performance experiment of the automatic setup algorithm between the two cameras according to step S310 will be described.
이동형 카메라(20)는 무작위의 위치에서 시작했으며 고정형 카메라(10)는 특징점이 많은 곳과 특징점이 거의 없는 벽면에 대해 각각 큰 배율(렌즈로 조정)을 적용한 두 장면에 대해서 각각 20회 실험했다. The
각 카메라의 입력 영상에 대해서는 카메라 왜곡 보정(internal calibration)을 수행한 뒤 본 발명에서 제시한 방법을 적용했다. 도 8은 본 발명의 실시예를 위한 실험에 사용된 고정형 카메라(10)의 레퍼런스 영상을 나타낸다. 좌측의 (a) 그림은 복잡한 특징의 영상, 즉 특징점이 많은 레퍼런스 영상이고, 우측의 (b) 그림은 특징점이 매우 적은 레피런스 영상을 나탄내다.For the input image of each camera, the method proposed in the present invention was applied after performing an internal calibration. 8 shows a reference image of the fixed
도 9는 도 8의 레퍼런스 영상에 대한 이동형 카메라의 자동 위치 설정에 따른 중심 이동의 결과이다. 실험 결과는 도 9와 아래의 표 1을 참조한다. 9 is a result of the center of movement according to the automatic positioning of the mobile camera with respect to the reference image of FIG. The experimental results refer to FIG. 9 and Table 1 below.
총 매칭된 특징점 수 Average Matching Feature Points /
Total Matched Feature Points
평균 반복 횟수 결과, 특징점이 적은 레퍼런스의 경우 수렴하는데 더 오랜 시간이 걸리는 것으로 나타났다. 실질적인 수렴 지점까지 이동형 카메라(20)가 이동하는 데는 3, 4회로 모두 동일했지만, 매칭되는 특징점의 수가 적은 경우 최소값으로 도달하는데 더 많은 반복이 필요했다. 수학식 3에서의 N값을 5로 설정했기 때문에 최대 4~8번의 반복 사이에 수렴 지점에 도달한 것으로 분석된다. 평균 매칭 특징점 수 부분은, 레퍼런스가 되는 고정형 카메라(10)와 이동형 카메라(20)의 SURF 특징점 매칭에 대해, 매칭된 특징점 개수/고정형 카메라의 총 특징점 개수를 나타낸 것이다. 이는 N 프레임의 수렴 기간에 포함되는 영상만을 통계로 하였다.The average number of iterations showed that the reference with less feature points takes longer to converge. The movement of the
실험 결과 총 40회 모두 성공적인 보정 결과를 보여주었다. 특히 도 8의 (b)와 같이 제한된 특징점을 가지는 환경에서도 이동형 카메라(20)가 수렴하는 좋은 결과를 나타낸 것을 확인할 수 있다.Experimental results showed that all 40 successful calibration results. In particular, it can be seen that the
다음, S320 단계에 따른 좌표 변환에 관한 성능을 설명한다. 두 카메라 좌표변환 알고리즘의 성능 실험을 위해, 고정형 카메라(10)의 좌표를 이동형 카메라(20)의 좌표로 변환한 다음, 그 오차가 어느 정도인지를 파악해 본다. 여기서, 오차(error)란 실제 변환되어야 하는 점(true pixel point;(x,y))과 좌표 변환 알고리즘을 통해 예측된 점(estimated pixel point;
본 실험에서, 실제 변환되어야 하는 점의 좌표는 직접 사람이 육안으로 확인하여 결정하였다. 눈으로 확인된 지점과 알고리즘으로 예측된 지점 간의 오차를 통해, 본 발명에 사용된 좌표 변환 알고리즘의 정확도를 판단할 수 있다. 실험은 전역 카메라의 입력 영상 평면에 대해 임의의 위치 100곳을 선택하여 수행하였다. 실제 매핑되어야 하는 위치는 육안으로 확인하였을 때 고정형 카메라(10)의 영상 좌표와 이동형 카메라(20)의 영상 좌표가 동일한 물체를 표시하는 것으로 보이는 좌표를 직접 선택하였다. In this experiment, the coordinates of the point to be actually converted were determined by human visual confirmation. Through the error between the visually confirmed point and the algorithm predicted point, it is possible to determine the accuracy of the coordinate transformation algorithm used in the present invention. The experiment was performed by selecting 100 arbitrary positions with respect to the input image plane of the global camera. The position to be actually mapped is directly selected by the naked eye when the image coordinates of the fixed
도 10은 본 발명의 실시예에서 좌표 변환의 성능을 알아보기 위해 고정형 카메라에서 선택한 지점들을 나타낸다. 여기서, 파란색 점은 사용자가 눈으로 확인하여 직접 선택한 지점을 나타낸다.10 illustrates points selected by the fixed camera in order to find out the performance of the coordinate transformation in the embodiment of the present invention. In this case, the blue dot indicates a point selected by the user by visual confirmation.
도 11은 본 발명의 실시예에서 좌표 변환의 성능을 알아보기 위해, 두 개의 좌표 변환 알고리즘으로 각각 좌표 변환된 점들을 나타낸다. 여기서, 빨간색 점은 들로네 삼각화 방법에 의한 좌표 변환 점이고, 초록색 점은 호모그래피 행렬 방법에 의한 좌표 변환 점을 나타낸다.11 illustrates points coordinated by two coordinate transformation algorithms in order to determine the performance of coordinate transformation in an embodiment of the present invention. Here, the red point represents the coordinate transformation point by the Delaunay triangulation method, and the green point represents the coordinate transformation point by the homography matrix method.
도 12는 도 11의 들로네 삼각화를 통한 방법과 호모그래피 행렬을 이용한 방법에 대한 변환 오차를 3차원으로 표현한 것이다. 도 12의 (a)는 들로네 삼각화를 이용한 경우의 좌표 변환 오차이고, 도 12의 (b)는 호모그래피 행렬을 이용한 경우의 좌표 변환 오차이다. 그래프 바닥 부분의 X축과 Y축은 각각 맵핑된 점의 X좌표와 Y좌표를 나타내며, Z축은 오차를 의미한다. 즉 바닥 평면이 영상 평면이며 높이는 오차를 나타낸다.FIG. 12 is a three-dimensional representation of a transformation error between the Delaunay triangulation method of FIG. 11 and the method using a homography matrix. FIG. 12A illustrates coordinate transformation errors when Delaunay triangulation is used, and FIG. 12B illustrates coordinate transformation errors when a homography matrix is used. The X and Y axes of the bottom of the graph represent the X and Y coordinates of the mapped points, respectively, and the Z axis represents error. That is, the floor plane is the image plane and the height represents an error.
실험 결과를 보면, 두 가지 방법 모두 실제 맵핑되어야 할 좌표에 근사한 결과를 보였으나, 전체적으로 호모그래피 행렬보다 들로네 삼각화를 사용한 경우에 오차가 더 작게 나타나는 경향을 보인다. 또한 해당 좌표가 영상의 모서리 부분일 경우에는 오차가 상당히 증가하는 것을 관찰할 수 있는데, 이는 두 카메라 간의 영상 차에 따른 영향이 크다. 이러한 오차는 화면 외각 부분이 아니더라도 물체와 카메라 간의 거리가 달라짐에 따라 발생할 수 있다. The experimental results show that the two methods are close to the coordinates that should be mapped, but the error tends to be smaller when using Delaunay triangulation than homography matrix. In addition, when the corresponding coordinate is the edge of the image, it can be observed that the error increases considerably, which is largely influenced by the image difference between the two cameras. Such an error may occur even if the distance between the object and the camera is different even if it is not the outer portion of the screen.
아래의 표 2는 두 가지 좌표변환 방법에 대한 영상의 영역별 성능비교 결과를 정리한 것이다. 여기서, 표 2의 수치는 수학식 8에 나타난 오차를 의미하며, 단위는 pixel이다. Table 2 below summarizes the performance comparison results for each of the two coordinate transformation methods. Here, the numerical value of Table 2 means the error shown in
방법Delaunay triangulation
Way
행렬 방법Homography
Matrix method
안쪽 영역은 영상 전체 면적의 1/2를 차지하는 중심 영역이며, 바깥쪽 영역은 이를 제외한 영역이다. 전체 640×480 크기의 실험 영상의 내부 영역의 크기는 452×339이다. 이 결과에서 알 수 있듯이 들로네 삼각화를 이용한 선형 보간의 경우 특히 안쪽 영역에서 더 좋은 성능을 보이는 것을 알 수 있다. The inner region is the central region that occupies 1/2 of the entire area of the image, and the outer region is the region except for this. The internal area of the entire 640 × 480 test image is 452 × 339. As can be seen from this result, linear interpolation using Delaunay triangulation shows better performance, especially in the inner region.
물론 실제 응용에 있어서는 두 알고리즘 모두 실용적인 수준의 오차를 나타냈다. 따라서 적용시키려는 환경에 따라 두 알고리즘 중에서 적절한 알고리즘을 선택할 수 있다.Of course, in practical applications, both algorithms showed a practical level of error. Therefore, you can select the appropriate one from the two algorithms according to the environment you want to apply.
도 13과 도 14는 본 발명의 방법을 통해 최종적으로 이동형 카메라에 의해 제어된 결과를 나타낸다. 이러한 도 13 및 도 14는 카메라 추적의 예로서, 도 11은 실내 실험이고 도 12는 실외 실험이다. 또한 도 13 및 도 14의 (a)는 고정형 카메라(10)의 촬영 영상을 나타내고, (b)는 이동형 카메라(20)에 의하여 제어된 영상을 나타낸다. 도 13 및 도 14의 (b)로부터 이동 물체가 화면 중앙에 확대되어 표시 및 추적되는 것을 확인할 수 있다. 또한, 고정형 카메라(10)의 영상에 비하여 이동형 카메라(20)의 영상의 경우 물체의 변별력이 매우 높아짐을 확인할 수 있다.13 and 14 show the results finally controlled by the mobile camera through the method of the present invention. 13 and 14 are examples of camera tracking, where FIG. 11 is an indoor experiment and FIG. 12 is an outdoor experiment. 13 and 14 (a) show the captured image of the fixed
이상과 같은 본 발명에 따르면, 고정형 카메라(10)와 이동형 카메라(20)의 감시 영역을 서로 매칭시켜서 두 카메라의 기본 위치를 설정한 다음, 고정형 카메라(10)에서 감지된 이동 물체의 좌표 값을 이동형 카메라(20)의 좌표 값으로 변환하여 이동형 카메라(20)가 이동 물체를 중심으로 계속해서 추적할 수 있도록 하여, 이동형 카메라(20)를 효과적으로 제어할 수 있고 이동 물체의 감시 변별력 및 감시 효율을 높일 수 있는 이점이 있다.According to the present invention as described above, by setting the basic position of the two cameras by matching the monitoring area of the fixed
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.
10: 고정형 카메라 20: 이동형 카메라
100: 듀얼 카메라를 이용한 화상 감지 장치
110: 감시영역 정합부 111: 초기위치 지정부
112: 변환행렬 연산부 113: 기본위치 지정부
120: 좌표 변환부 130: 카메라 제어부10: stationary camera 20: mobile camera
100: image sensing device using a dual camera
110: monitoring area matching section 111: initial position designation section
112: transformation matrix calculation unit 113: basic position designation unit
120: coordinate conversion unit 130: camera control unit
Claims (12)
상기 이동형 카메라의 각도를 제어하면서, 상기 고정형 카메라 및 이동형 카메라의 촬상 화면으로부터 각각의 특징점들을 추출하고, 상기 추출된 특징점들 간의 정합 과정을 통해, 상기 고정형 카메라에 대한 상기 이동형 카메라의 기본 위치를 지정하는 단계;
상기 고정형 카메라에서 감지된 이동 물체에 대한 영상 좌표를 상기 이동형 카메라의 영상 좌표로 변환하는 단계; 및
상기 변환된 좌표 값을 이용하여 상기 이동형 카메라가 상기 이동 물체를 추적하도록 상기 이동형 카메라의 팬 각도, 틸트 각도 및 줌 배율 중 적어도 하나를 제어하는 단계를 포함하며,
상기 줌 배율 제어 시에는, 상기 이동형 카메라의 전체 영상의 가로 크기(w)에 대비한 상기 추적된 이동 물체의 가로 크기(w0)의 비율 값(rw=w0/w), 그리고 상기 이동형 카메라의 전체 영상의 세로 크기(h)에 대비한 상기 추적된 이동 물체의 세로 크기(h0)의 비율 값(rh=h0/h)을 비교한 다음, 그 중 더 작은 비율 값을 현재 이동 물체에 대한 이동형 카메라의 배율(r0)에 곱하여 최종적인 줌 배율 r을 아래의 수학식으로 결정하는 듀얼 카메라를 이용한 화상 감지 방법:
여기서, min()은 최소값 연산을 나타낸다.In the image detection method using a dual camera including a fixed camera and a mobile camera installed in the room,
While controlling the angles of the movable camera, the respective feature points are extracted from the image pickup screens of the fixed camera and the mobile camera, and a basic position of the mobile camera with respect to the fixed camera is designated through a matching process between the extracted feature points. Making;
Converting image coordinates of the moving object detected by the fixed camera into image coordinates of the mobile camera; And
Controlling at least one of a pan angle, a tilt angle and a zoom magnification of the movable camera so that the movable camera tracks the moving object using the converted coordinate values,
In the zoom magnification control, a ratio value (r w = w 0 / w) of the horizontal size (w 0 ) of the tracked moving object to the horizontal size (w) of the entire image of the mobile camera, and the movable type Compare the ratio value (r h = h 0 / h) of the vertical size (h 0 ) of the tracked moving object to the vertical size (h) of the entire image of the camera, and then use the smaller ratio value The image detection method using the dual camera which multiplies the magnification ratio (r 0 ) of the movable camera with respect to the moving object to determine the final zoom magnification r by the following equation:
Where min () represents the minimum value operation.
상기 이동형 카메라의 기본 위치를 지정하는 단계는,
상기 이동형 카메라의 각도를 제어하면서 상기 고정형 카메라와 이동형 카메라의 촬상 화면으로부터 각각의 특징점들을 추출한 다음 상기 추출된 특징점들 간을 서로 정합시켜서, 특징점 매칭도가 가장 높은 해당 각도로 상기 이동형 카메라의 초기 위치를 지정하는 단계;
상기 매칭도가 가장 높은 해당 각도에서의 특징점 정합쌍들 사이의 호모그래피 변환 행렬을 연산하는 단계; 및
상기 호모그래피 변환 행렬로부터 상기 고정형 카메라 상의 좌표와 상기 이동형 카메라 상의 좌표 간의 차이값을 계산하고, 상기 차이값이 임계치 미만이 될 때까지 상기 이동형 카메라의 각도를 움직여서 상기 특징점 정합을 재수행한 다음 특징점 정합쌍들 사이의 호모그래피 변환 행렬을 재연산하는 과정을 반복하여 상기 이동형 카메라의 기본 위치를 지정하는 단계를 포함하는 듀얼 카메라를 이용한 화상 감지 방법.The method according to claim 1,
Specifying a basic position of the mobile camera,
While controlling the angles of the mobile camera, the respective feature points are extracted from the image pickup screens of the fixed camera and the mobile camera, and then the extracted feature points are matched with each other, and the initial position of the mobile camera at the corresponding angle having the highest feature point matching degree. Specifying a;
Calculating a homography transformation matrix between feature point matching pairs at the corresponding angle with the highest matching degree; And
The difference value between the coordinates on the fixed camera and the coordinates on the mobile camera is calculated from the homography transformation matrix, and the feature point registration is performed again by moving the angle of the mobile camera until the difference is less than a threshold value. Repeating the process of recomputing the homography transformation matrix between the pairs to designate the basic position of the mobile camera.
상기 이동형 카메라의 초기 위치를 지정하는 단계는,
상기 이동형 카메라의 팬 각도 또는 틸트 각도를 조절하면서, 상기 팬 각도 또는 틸트 각도 별로 추출되는 상기 고정형 카메라의 촬상 영상에 대한 제1 특징점들과 상기 이동형 카메라의 촬상 영상에 대한 제2 특징점들을 서로 정합하는 단계;
상기 팬 각도 또는 틸트 각도 별로, 상기 서로 정합되는 특징점 쌍들의 개수를 파악하고, 상기 정합되는 특징점 쌍들의 개수가 가장 많이 출력되는 팬 또는 틸트 각도를 선정하는 단계; 및
상기 선정된 팬 또는 틸트 각도로 상기 이동형 카메라를 제어하여 상기 이동형 카메라의 초기 위치를 지정하는 단계를 포함하는 듀얼 카메라를 이용한 화상 감지 방법.The method according to claim 2,
Specifying an initial position of the mobile camera,
While adjusting the pan angle or tilt angle of the mobile camera, the first feature points for the captured image of the fixed camera extracted for each pan angle or tilt angle and the second feature points for the captured image of the mobile camera are matched with each other. step;
Determining the number of feature point pairs matched with each other by the pan angle or tilt angle, and selecting a pan or tilt angle at which the number of matched feature point pairs is output the most; And
And controlling the mobile camera at the selected pan or tilt angle to designate an initial position of the mobile camera.
상기 호모그래피 변환 행렬을 연산하는 단계는,
상기 호모그래피 변환 행렬을 아래의 수학식으로 연산하는 듀얼 카메라를 이용한 화상 감지 방법:
여기서, Hij는 상기 변환 파라미터, ω는 좌표 간 스케일, i는 1부터 N 사이의 정수,
Computing the homography transformation matrix,
An image sensing method using a dual camera that calculates the homography transformation matrix by the following equation:
Where H ij is the conversion parameter, ω is the inter-scale scale, i is an integer from 1 to N,
상기 고정형 카메라 상의 좌표와 상기 이동형 카메라 상의 좌표 간의 차이값은,
상기 고정형 카메라의 촬상 화면에서의 중심 좌표와, 상기 호모그래피 변환 행렬에 상기 중심 좌표를 대입하여 획득되는 대응점 좌표 사이의 차이값인 듀얼 카메라를 이용한 화상 감지 방법.The method of claim 4,
The difference between the coordinates on the fixed camera and the coordinates on the mobile camera is
And a difference value between a center coordinate on an image captured screen of the fixed camera and a corresponding point coordinate obtained by substituting the center coordinates into the homography transformation matrix.
상기 고정형 카메라에서 감지된 이동 물체에 대한 영상 좌표를 상기 이동형 카메라의 영상 좌표로 변환하는 단계는,
상기 좌표 변환 시 상기 호모그래피 변환 행렬 또는 들로네 삼각화 기법을 사용하는 듀얼 카메라를 이용한 화상 감지 방법.The method of claim 4,
Converting the image coordinates for the moving object detected by the fixed camera to the image coordinates of the mobile camera,
And a dual camera using the homography transformation matrix or the Delaunay triangulation technique.
상기 이동형 카메라의 각도를 제어하면서, 상기 고정형 카메라 및 이동형 카메라의 촬상 화면으로부터 각각의 특징점들을 추출하고, 상기 추출된 특징점들 간의 정합 과정을 통해, 상기 고정형 카메라에 대한 상기 이동형 카메라의 기본 위치를 지정하는 감시영역 정합부;
상기 고정형 카메라에서 감지된 이동 물체에 대한 영상 좌표를 상기 이동형 카메라의 영상 좌표로 변환하는 좌표 변환부; 및
상기 변환된 좌표 값을 이용하여 상기 이동형 카메라가 상기 이동 물체를 추적하도록 상기 이동형 카메라의 팬 각도, 틸트 각도 및 줌 배율 중 적어도 하나를 제어하는 카메라 제어부를 포함하며,
상기 카메라 제어부는,
상기 줌 배율 제어 시, 상기 이동형 카메라의 전체 영상의 가로 크기(w)에 대비한 상기 추적된 이동 물체의 가로 크기(w0)의 비율 값(rw=w0/w), 그리고 상기 이동형 카메라의 전체 영상의 세로 크기(h)에 대비한 상기 추적된 이동 물체의 세로 크기(h0)의 비율 값(rh=h0/h)을 비교한 다음, 그 중 더 작은 비율 값을 현재 이동 물체에 대한 이동형 카메라의 배율(r0)에 곱하여 최종적인 줌 배율 r을 아래의 수학식으로 결정하는 듀얼 카메라를 이용한 화상 감지 장치:
여기서, min()은 최소값 연산을 나타낸다.In the image detection device using a dual camera including a fixed camera and a mobile camera installed in the room,
While controlling the angles of the movable camera, the respective feature points are extracted from the image pickup screens of the fixed camera and the mobile camera, and a basic position of the mobile camera with respect to the fixed camera is designated through a matching process between the extracted feature points. Monitoring area matching unit;
A coordinate converter configured to convert image coordinates of the moving object detected by the fixed camera into image coordinates of the mobile camera; And
A camera controller for controlling at least one of a pan angle, a tilt angle, and a zoom ratio of the mobile camera so that the mobile camera tracks the moving object using the converted coordinate values,
The camera control unit,
In the zoom magnification control, a ratio value (r w = w 0 / w) of the horizontal size (w 0 ) of the tracked moving object to the horizontal size (w) of the entire image of the mobile camera, and the mobile camera Compare the ratio value (r h = h 0 / h) of the vertical size (h 0 ) of the tracked moving object to the vertical size (h) of the entire image of, and then move the smaller ratio value among them An image sensing device using a dual camera that multiplies the magnification (r 0 ) of the movable camera with respect to an object to determine the final zoom magnification r by the following equation:
Where min () represents the minimum value operation.
상기 감시영역 정합부는,
상기 이동형 카메라의 각도를 제어하면서 상기 고정형 카메라와 이동형 카메라의 촬상 화면으로부터 각각의 특징점들을 추출한 다음 상기 추출된 특징점들 간을 서로 정합시켜서, 특징점 매칭도가 가장 높은 해당 각도로 상기 이동형 카메라의 초기 위치를 지정하는 초기위치 지정부;
상기 매칭도가 가장 높은 해당 각도에서의 특징점 정합쌍들 사이의 호모그래피 변환 행렬을 연산하는 변환행렬 연산부; 및
상기 호모그래피 변환 행렬로부터 상기 고정형 카메라 상의 좌표와 상기 이동형 카메라 상의 좌표 간의 차이값을 계산하고, 상기 차이값이 임계치 미만이 될 때까지 상기 이동형 카메라의 각도를 움직여서 상기 특징점 정합을 재수행한 다음 특징점 정합쌍들 사이의 호모그래피 변환 행렬을 재연산하는 과정을 반복하여 상기 이동형 카메라의 기본 위치를 지정하는 기본위치 지정부를 포함하는 듀얼 카메라를 이용한 화상 감지 장치.The method according to claim 8,
The monitoring area matching unit,
While controlling the angles of the mobile camera, the respective feature points are extracted from the image pickup screens of the fixed camera and the mobile camera, and then the extracted feature points are matched with each other, and the initial position of the mobile camera at the corresponding angle having the highest feature point matching degree. Initial position designation to specify;
A transformation matrix calculator for calculating a homography transformation matrix between feature point matching pairs at the corresponding angle with the highest matching degree; And
The difference value between the coordinates on the fixed camera and the coordinates on the mobile camera is calculated from the homography transformation matrix, and the feature point registration is performed again by moving the angle of the mobile camera until the difference is less than a threshold value. And a basic position designation unit for designating a basic position of the mobile camera by repeating a process of recomputing a homography transformation matrix between pairs.
상기 변환행렬 연산부는,
상기 호모그래피 변환 행렬을 아래의 수학식으로 연산하는 듀얼 카메라를 이용한 화상 감지 장치:
여기서, Hij는 상기 변환 파라미터, ω는 좌표 간 스케일, i는 1부터 N 사이의 정수,
The transformation matrix operation unit,
An image sensing device using a dual camera that calculates the homography transformation matrix by the following equation:
Where H ij is the conversion parameter, ω is the inter-scale scale, i is an integer from 1 to N,
상기 좌표 변환부는,
상기 좌표 변환 시 상기 호모그래피 변환 행렬 또는 들로네 삼각화 기법을 사용하는 듀얼 카메라를 이용한 화상 감지 장치.The method of claim 10,
Wherein the coordinate conversion unit comprises:
And a dual camera using the homography transformation matrix or the Delaunay triangulation technique.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120037315A KR101347450B1 (en) | 2012-04-10 | 2012-04-10 | Image sensing method using dual camera and apparatus thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120037315A KR101347450B1 (en) | 2012-04-10 | 2012-04-10 | Image sensing method using dual camera and apparatus thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130114899A KR20130114899A (en) | 2013-10-21 |
| KR101347450B1 true KR101347450B1 (en) | 2014-01-09 |
Family
ID=49634702
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120037315A KR101347450B1 (en) | 2012-04-10 | 2012-04-10 | Image sensing method using dual camera and apparatus thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101347450B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10979645B2 (en) | 2018-11-01 | 2021-04-13 | Hanwha Techwin Co., Ltd. | Video capturing device including cameras and video capturing system including the same |
| US11361543B2 (en) | 2019-12-10 | 2022-06-14 | Caterpillar Inc. | System and method for detecting objects |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101530131B1 (en) * | 2013-12-04 | 2015-06-18 | 한국기술교육대학교 산학협력단 | Image sensing method using dual camera and apparatus thereof |
| KR102457265B1 (en) * | 2016-05-25 | 2022-10-20 | 현대모비스 주식회사 | Apparatus for generating top-view image and method thereof |
| KR102315525B1 (en) * | 2017-07-31 | 2021-10-21 | 한화테크윈 주식회사 | Surveillance system and operation method thereof |
| KR101996907B1 (en) * | 2018-07-27 | 2019-07-08 | 비티에스 유한회사 | Apparatus for tracking object |
| KR102188721B1 (en) * | 2020-04-27 | 2020-12-08 | 현대모비스 주식회사 | Apparatus for generating top-view image and method thereof |
| KR102362695B1 (en) * | 2020-07-30 | 2022-02-14 | 주식회사 영국전자 | PTZ Camera Control Method for obtaining precise images in connection with Omnidirectional Panoramic Camera |
| CN114463401A (en) * | 2020-11-09 | 2022-05-10 | Oppo广东移动通信有限公司 | Image processing method, image processing device, storage medium and electronic equipment |
| KR102608447B1 (en) * | 2021-04-08 | 2023-12-01 | 에이원(주) | System for Vehicle Number Recognition Control Using Artificial Intelligence and Method thereof |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005057592A (en) * | 2003-08-06 | 2005-03-03 | Matsushita Electric Ind Co Ltd | Monitor system |
| KR20090044791A (en) * | 2007-11-01 | 2009-05-07 | 삼성테크윈 주식회사 | Surveillance camera system and method for controlling thereof |
-
2012
- 2012-04-10 KR KR1020120037315A patent/KR101347450B1/en not_active IP Right Cessation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005057592A (en) * | 2003-08-06 | 2005-03-03 | Matsushita Electric Ind Co Ltd | Monitor system |
| KR20090044791A (en) * | 2007-11-01 | 2009-05-07 | 삼성테크윈 주식회사 | Surveillance camera system and method for controlling thereof |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10979645B2 (en) | 2018-11-01 | 2021-04-13 | Hanwha Techwin Co., Ltd. | Video capturing device including cameras and video capturing system including the same |
| US11361543B2 (en) | 2019-12-10 | 2022-06-14 | Caterpillar Inc. | System and method for detecting objects |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20130114899A (en) | 2013-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101347450B1 (en) | Image sensing method using dual camera and apparatus thereof | |
| KR101666397B1 (en) | Apparatus and method for capturing object image | |
| EP2895986B1 (en) | Methods, devices and systems for detecting objects in a video | |
| US20150116502A1 (en) | Apparatus and method for dynamically selecting multiple cameras to track target object | |
| CN110910460B (en) | Method and device for acquiring position information and calibration equipment | |
| CN103198488A (en) | PTZ surveillance camera realtime posture rapid estimation method | |
| CN110084842B (en) | Servo secondary alignment method and device for robot holder | |
| WO2017163688A1 (en) | Monitoring system and monitoring method | |
| WO2021035891A1 (en) | Augmented reality technology-based projection method and projection device | |
| CN112714287A (en) | Pan-tilt target conversion control method, device, equipment and storage medium | |
| US10122984B2 (en) | Pan/tilt/zoom camera based video playing method and apparatus | |
| KR101469099B1 (en) | Auto-Camera Calibration Method Based on Human Object Tracking | |
| CN112017210A (en) | Target object tracking method and device | |
| CN109543496B (en) | Image acquisition method and device, electronic equipment and system | |
| KR101983586B1 (en) | Method of stitching depth maps for stereo images | |
| KR101916093B1 (en) | Method for tracking object | |
| CN107633537B (en) | Camera calibration method based on projection | |
| KR20170133666A (en) | Method and apparatus for camera calibration using image analysis | |
| CN111325790A (en) | Target tracking method, device and system | |
| CN112702513B (en) | Double-optical-pan-tilt cooperative control method, device, equipment and storage medium | |
| KR101996907B1 (en) | Apparatus for tracking object | |
| KR20160043484A (en) | Method and Apparatus for Detecting Event by Using Pan-Tilt-Zoom Camera | |
| CN112085799A (en) | Power equipment autonomous registration method and system | |
| Liao et al. | A new calibration method and its application for the cooperation of wide-angle and pan-tilt-zoom cameras | |
| KR20190110369A (en) | Intelligent camera system for automatic tracking of specified subject and image capturing method using the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20160928 Year of fee payment: 4 |
|
| LAPS | Lapse due to unpaid annual fee |