WO2013162198A1 - 감시 장치 및 제어 방법 - Google Patents

감시 장치 및 제어 방법 Download PDF

Info

Publication number
WO2013162198A1
WO2013162198A1 PCT/KR2013/003194 KR2013003194W WO2013162198A1 WO 2013162198 A1 WO2013162198 A1 WO 2013162198A1 KR 2013003194 W KR2013003194 W KR 2013003194W WO 2013162198 A1 WO2013162198 A1 WO 2013162198A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
target object
camera
surveillance camera
person
Prior art date
Application number
PCT/KR2013/003194
Other languages
English (en)
French (fr)
Inventor
김중구
강전구
유재형
김종호
Original Assignee
(주)비전에스티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)비전에스티 filed Critical (주)비전에스티
Publication of WO2013162198A1 publication Critical patent/WO2013162198A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a surveillance apparatus, and more particularly, to a surveillance apparatus using a stereo camera and a surveillance camera module and a control method thereof.
  • the security surveillance apparatus is used to acquire an image of the observation area and analyze the image when necessary by using a camera disposed toward the observation area.
  • the conventional monitoring device has a problem that it is difficult to obtain a clear image as much as the user wants even if the high-cost system to build a high cost.
  • a zoom camera may be used for the security monitoring apparatus.
  • the security surveillance apparatus acquires the entire image of the observation area, in order to obtain a clear image of each person belonging to the observation area, it is necessary to separately obtain the enlarged image of each person in the entire area.
  • the zoom ratio of the zoom camera should be properly controlled in order to obtain an enlarged image including the face part for each person.
  • Patent Application No. 10-2003-0062150 Image Matching Method Using Multiple Image Lines and Its System
  • the present invention has been made in an effort to provide a monitoring apparatus and a control method capable of acquiring an individual image of each person in an observation region and acquiring an image including a face part while acquiring the entire image of the observation region.
  • the present invention provides a surveillance apparatus for obtaining 3D depth information by using a stereo camera, and obtaining a magnified image of a target object by controlling a camera having a pan, tilt, and zoom function using the 3D depth information, and a control method thereof. For the purpose.
  • Embodiment of the monitoring device and the control method according to the present invention for achieving the above technical problem is a surveillance camera to obtain an image by enlarging or reducing the target object using a zoom function, a fan motor operating to rotate the surveillance camera left and right, surveillance It includes a tilt camera and tilt camera that operates to rotate the camera up and down, and calculates and calculates the movement of the target object and 3D position information about the target object using the image obtained from the stereo camera. Using the results to control the pan motor, the tilt motor and the surveillance camera to shoot a target object,
  • Another embodiment of the monitoring apparatus and the control method according to the present invention is a stereo camera that captures the left image and the right image and outputs the 3D depth information, the moving region is detected by one or more of the left image and the right image, and each image and Comprising a calculation module for generating a control signal by calculating the 3D position information with the 3D depth information, a surveillance camera module for photographing the target object by adjusting the position according to the control signal, and a recording medium for storing the data captured by the surveillance camera module Characterized in that the monitoring device characterized in that.
  • Surveillance device and control method obtains the 3D depth information on the area where the movement occurs during the monitoring by using a stereo camera, the upper body including the face of each person by controlling the surveillance camera using the 3D position information and The same magnified image can be obtained.
  • an effective system may be constructed by storing an enlarged image such as an upper body including a face in a storage device.
  • FIG. 1 is an embodiment of a monitoring device according to the present invention.
  • FIG. 2 is a conceptual diagram illustrating a method of controlling an embodiment of a monitoring apparatus according to the present invention.
  • FIG. 3 is a block diagram for explaining each operation of the embodiment of the monitoring apparatus according to the present invention.
  • FIG. 4 is a flowchart of an embodiment of a monitoring control method according to the present invention.
  • FIG. 1 is an embodiment of a monitoring device according to the present invention.
  • the surveillance apparatus includes a stereo camera 110, a calculation module 120, a surveillance camera module 130, and a recording medium 140.
  • the stereo camera 110 includes a left camera and a right camera.
  • the stereo camera 110 acquires a left image and a right image by using both cameras and calculates 3D depth maps of the observation region in real time.
  • the calculation module 120 calculates the position of the person using the image output from the stereo camera 110 and calculates the pan, tilt and zoom values. The calculated value is used as a control signal of the surveillance camera module 130.
  • Surveillance camera module 130 is composed of a pan motor 202, the tilt motor 203 and the monitoring camera 201, in accordance with the control signal of the calculation module pan motor 202, the tilt motor 203 and the monitoring camera ( 201) is controlled.
  • the monitoring camera 201 has a zoom function.
  • the recording medium 140 stores an image obtained by the surveillance camera module 130 and information thereof.
  • the stereo camera 110 includes a left camera photographing the left side of the viewing area and a right camera photographing the right side of the viewing area, from each image photographed by the left camera and the right camera. Calculate 3D depth information.
  • the calculation module 120 calculates 3D position information on the detected target object in the observation area 205 by calculating the distance to the target object in the left, right, up and down directions based on the position of the stereo camera 110.
  • the stereo camera 110 or the surveillance camera module may be installed inside or separately installed.
  • Surveillance camera module 130 is a pan motor 202 and a surveillance camera 201 which operates to rotate the surveillance camera 201 and the surveillance camera 201 having a zoom function to obtain an image by enlarging or reducing the target object. It includes a tilt motor 203 that operates to rotate up and down.
  • a surveillance camera 201 is mounted on the upper part of the fan motor 202, and a pan motor 202 and a surveillance camera 201 are combined on the upper part of the tilt motor 203.
  • the surveillance camera 201 may be mounted on the upper part of the tilt motor 203, and a combination of the tilt motor 203 and the monitoring camera 201 may be mounted on the upper part of the fan motor 202.
  • the surveillance camera 201 and the stereo camera 110 are both configured to face the observation area 205 and are used to recognize people 206, 207, and 208.
  • the recording medium 140 analyzes the acquired upper body image of the person to determine whether the face of the person is detected, and if the face of the person is detected, stores the entire image and the face image, and if the face of the person is not detected. Record the failure to capture the face image.
  • the stereo camera 110 may acquire both images 301 and 302, and output 3D depth information 303 using them.
  • the calculation module 120 monitors the entire image of the observation region 205 by using one of the images 301 or 302 and detects a portion in which the motion occurs in the monitored whole image (304).
  • the calculation module 120 determines whether the person 206, 207, or 208 is present by referring to the 3D depth information 303 or the disparity map corresponding to the detected area (305).
  • the calculation module 120 calculates (306) 3D location information (x, y, z) using the 3D depth information for the area identified by the person 206, 207, and 208 so that the surveillance camera module faces the location.
  • the pan motor 202 and the tilt motor 203 are driven so that the surveillance camera 201 faces the object in the x and y directions. (308)
  • the zoom function is driven as much as the distance z. 201 separately obtains an image of the person 206, 207, and 208 at each location (309).
  • the storage medium 140 performs a face presence process based on the obtained image to obtain an upper body image including a face from the acquired persons 206, 207, and 208 images. Save as video for the case. If not, the image is acquired again.
  • the stereo camera 110 acquires both images of the entire observation region 205.
  • 3D depth information 303 is calculated from both images.
  • the stereo camera 110 outputs an image obtained using both cameras and 3D depth information 303.
  • 3D position information for each point of the image may be calculated using the following equation using the 3D depth information 303.
  • B is the distance between both cameras of the stereo camera 110
  • F is the lens focal length of the stereo camera 110
  • Dp is the disparity value
  • Pz is used in the stereo camera 110 Pixel horizontal size of the sensor
  • W represents the horizontal length of the left image of the stereo camera 110
  • H represents the vertical length of the left image of the stereo camera 110.
  • the right image can be used.
  • the embodiment of the present invention detects a region in which a motion occurs in the entire image extracted by using the left image from the output of the stereo camera 110.
  • the detection of the region in which the motion occurs is obtained by storing the acquired image as a reference image when there is no motion for a predetermined time and using a difference between the stored reference image and the acquired image. The same result can be obtained by using the right image in addition to the left image.
  • the calculation module 120 refers to the 3D depth information 303 of the stereo camera 110 corresponding to the region where the movement occurs, and utilizes the area information of the people 206, 207, and 208 according to the distance.
  • 206, 207, and 208) can improve the accuracy of discrimination. People located at close range and those at far distance have an area difference in the image. If the area information of the person according to the distance is used, the accuracy of recognition of the person 206, 207, or 208 may be increased.
  • the embodiment according to the present invention can more accurately determine the presence or absence of people (206, 207, 208) by examining the distance information obtained through the stereo camera 110 and the area corresponding to the motion area obtained through the motion detection. have.
  • the calculation module 120 calculates 3D location information for each of the people 206, 207, and 208. Calculate When the left and right directions are the x axis, the up and down direction is the y axis, and the distance from the stereo camera 110 to the object is the z axis, the 3D position of the object from the stereo camera 110 is determined.
  • the information Dx, Dy, and Dz is calculated as in Equations 1 to 3 below.
  • Individual 3D location information for persons 206, 207, and 208 existing in the observation area 205 may be obtained using the equations (1) through (3).
  • the surveillance camera 201 may obtain an enlarged image of each person 206, 207, and 208 using 3D location information.
  • Surveillance camera module 130 is driven based on the 3D location information (Dx, Dy, Dz) for each person (206, 207, 208) found using stereo camera 110, each person (206, 207) , 208 may acquire an upper body image of the upper body.
  • Each control for the zoom of the pan motor 202, the tilt motor 203, and the monitoring camera 201 is performed using the following equation.
  • Px is the rotation angle of the fan motor 202 (-90 degrees to 90 degrees)
  • Pmax is the maximum rotation angle of the fan motor (-90 degrees or 90 degrees)
  • Pmin is the minimum rotation angle of the fan motor 202
  • MaxDx is the target The maximum position X value where the object can exist
  • Dx is the position X value of the object calculated by the stereo camera 110.
  • Ty is the rotation angle of the tilt motor 203 (-90 degrees to 90 degrees)
  • Tmax is the maximum rotation angle of the tilt motor (-90 degrees or 90 degrees)
  • Tmin is the minimum rotation angle of the tilt motor 203
  • MaxDy Is the maximum position Y value at which the object may exist
  • Dy is the position Y value of the object calculated by the stereo camera 110.
  • Zmax is the zoom motor maximum magnification value
  • Zmin is the zoom motor minimum magnification value
  • MaxDz is the maximum position Z value at which the object can exist
  • Dz is the position Z value of the object calculated by the stereo camera 110.
  • the surveillance camera module 130 receives the 3D position (Dx, Dy, Dz) information of the target object (or person) from the stereo camera 110 and performs the pan, tilt, and zoom driving using the above formula and finally enlarges the image. Acquire.
  • the surveillance camera module 130 may obtain an enlarged image of the upper body of the person 206, 207, or 208 by using the 3D location information of each person, but the image may not include a face part. Therefore, it is necessary to determine whether a face is included in the acquired image. As a method of determining whether a face exists in the acquired image, various face detection algorithms generally known to date can be used.
  • the acquired image is stored in the recording medium 140. If not detected, it is recorded that the face image is not obtained. Reshooting is performed until a face image is obtained.
  • the stereo camera 110 acquires a left image and a right image of an observation region using both cameras.
  • the stereo camera 110 detects the motion area by using the left image and the right image acquired by both cameras. If there is no motion region as a result of the detection of the stereo camera 110, the process returns to the previous step.
  • the stereo camera 110 reacquires images of the observation area by using both cameras.
  • the 3D depth information acquisition step S430 is executed.
  • the stereo camera 110 calculates and acquires 3D depth information from the left image and the right image obtained by using both cameras.
  • the calculation module 120 compares the area information of the person according to the distance with the left image or the right image to determine whether the person is recognized.
  • the process returns to the stereo image acquisition step S410 and acquires the left image and the right image of the observation area again.
  • the 3D location information calculation step (S450) of the person is executed.
  • the calculation module 120 calculates 3D location information of the person on the observation area by using the left image, the right image, and the 3D depth information.
  • the calculation module 120 calculates values to move the pan, tilt and zoom using 3D position information.
  • the surveillance camera module 130 is directed to the position of the person.
  • the pan, tilt and zoom are moved according to the respective movement values determined in the step of calculating the pan, tilt and zoom so that the direction of the surveillance camera module 130 is directed to the position of the person.
  • an image is obtained by enlarging the person located in the observation area.
  • the enlarged image is transmitted to the recording medium 140, and the surveillance camera module 130 transmits the image obtained by enlarging a person to the recording medium 140.
  • the recording medium 140 analyzes the transmitted image to determine whether a face of a person is detected.
  • the recording medium 140 analyzes the transmitted image to detect a face of a person. When a face of a person is detected, the recording medium stores therein an image of the transmitted face of the person.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

스테레오 카메라는 관측영역 전체를 2D 및 3D 레벨에서 모니터링하고 (2D 레벨 모니터링은 양쪽 카메라를 통한 영상 획득을, 3D 레벨 모니터링은 3D 깊이정보 실시간 계산을 의미한다.) 이를 바탕으로 사람을 찾는다. 찾은 사람에 대하여 스테레오 카메라에서 계산한 3D 깊이정보를 이용하여 감시 카메라 모듈을 제어하여 사람 각각의 얼굴을 포함하는 확대한 영상을 개별 획득한다.

Description

감시 장치 및 제어 방법
본 발명은 감시 장치에 관한 것으로, 더욱 상세하게는 스테레오 카메라와 감시 카메라 모듈을 이용한 감시 장치 및 그의 제어 방법에 관한 것이다.
보안용 감시장치는 관측영역을 향하여 배치된 카메라를 이용하여 관측영역의 영상을 획득하고 필요할 때 영상을 분석하기 위한 용도로 사용된다.
그러나 관측영역은 넓고 카메라의 해상도는 정해져 있어서 관측영역 전체를 세밀하게 감시 하는 것은 매우 어렵다. 관측영역이 넓을수록 더 높은 해상도의 카메라를 필요로 하게 된다. 더 높은 해상도의 카메라는 더 많은 데이터 처리를 요구하므로 고사양의 시스템을 필요로 한다. 결국 고사양의 시스템은 많은 비용을 필요로 하기 때문에 보안용 감시장치를 구축하는데 비용 문제가 발생한다.
더 높은 해상도의 데이터를 확보하기 위해 HD급 카메라를 이용하여도, 관측영역이 넓어지면 사람의 대략적인 모습은 저장이 가능하나 얼굴을 식별할 만큼 선명한 영상은 얻기 어렵다.
관측영역이 더 넓어질수록 이러한 문제점은 더욱 심각해진다. 결국 종래의 감시장치는 많은 비용을 들여 고사양의 시스템으로 구축하더라도 사용자가 원하는 만큼 선명한 영상을 얻기 어려운 문제점이 있었다.
이를 해결하기 위해 보안용 감시장치에 줌카메라가 사용될 수 있다. 이 경우 각 영역별로 확대하여 선명한 영상을 확보할 수 있다. 그러나 줌 구동시 전체 영상을 놓치게 되는 문제점이 있었다.
보안용 감시장치는 관측영역의 전체 영상을 획득하는 중, 관측영역에 속한 각 사람을 개별적으로 선명하게 확대한 영상을 획득하기 위해서는 전체 영역에서 각 사람에 대하여 확대한 영상을 별도로 획득하여야 한다.
또한, 각각의 사람에 대하여 얼굴 부분을 포함하는 확대한 영상을 얻기 위하여 줌카메라의 줌 비율이 적절하게 제어 되어야 한다.
실시간으로 관측영역의 3D 깊이정보를 계산하는 방법은 특허출원번호 제10-2003-0062150호(복수 영상 라인을 이용한 영상 정합 방법 및 그 시스템)을 사용한다.
본 발명이 해결하고자 하는 기술적 과제는 관측영역 전체 영상을 획득하면서도 관측영역에 속한 각 사람의 개별적인 영상을 획득하고, 얼굴 부분을 포함하는 영상까지 획득할 수 있는 감시 장치 및 제어 방법을 제공하는데 있다.
또한, 본 발명은 스테레오 카메라를 이용하여 3D깊이 정보를 구하고, 3D깊이 정보를 이용하여 팬, 틸트 및 줌 기능을 갖는 카메라를 제어하여 목표대상물의 확대 영상을 획득하는 감시장치 및 그의 제어방법을 제공함을 목적으로 한다.
상기 기술적 과제를 이루기 위한 본 발명에 따른 감시 장치 및 제어 방법의 실시예는 줌기능을 이용하여 목표대상물을 확대 또는 축소하여 영상을 얻는 감시카메라, 감시카메라를 좌우로 회전하도록 동작하는 팬 모터, 감시카메라를 상하로 회전하도록 동작하는 틸트 모터 및 감시카메라와 같은 방향을 바라보는 스테레오 카메라를 포함하고, 스테레오 카메라에서 획득된 영상을 이용하여 목표대상물의 움직임과 목표대상물에 대한 3D 위치정보를 계산하고 계산결과를 이용하여 팬 모터와 틸트 모터 및 감시카메라를 제어하여 목표대상물을 촬영하는 것을 특징으로 하고,
본 발명에 따른 감시 장치 및 제어 방법의 또 다른 실시 예는 왼쪽영상과 오른쪽 영상을 촬영하고 3D깊이정보를 출력하는 스테레오 카메라, 왼쪽영상과 오른쪽 영상 중 하나 이상으로 움직임 영역을 검출하고 각각의 영상과 3D깊이정보로 3D위치정보를 계산하여 제어신호를 생성하는 계산모듈, 제어신호에 따라 위치를 조정하여 목표대상물을 촬영하는 감시 카메라 모듈, 감시 카메라 모듈에서 촬영된 데이터를 저장하는 기록매체를 포함하는 것을 특징으로 하는 감시 장치를 특징으로 한다.
본 발명에 따른 감시 장치 및 제어 방법은 스테레오 카메라를 이용하여 감시 중에 움직임이 발생하는 영역에 대하여 3D 깊이정보를 얻고, 3D 위치정보를 이용하여 감시 카메라를 제어함으로써 각 사람의 얼굴을 포함하는 상반신과 같은 확대한 영상을 얻을 수 있다. 또한, 얼굴을 포함하는 상반신과 같이 확대한 영상을 저장 장치에 저장하여 효과적인 시스템이 구축될 수 있다.
도 1은 본 발명에 따른 감시 장치의 일실시예이다.
도 2는 본 발명에 따른 감시 장치의 실시예를 제어하는 방법을 예시한 개념도이다.
도 3은 본 발명에 따른 감시 장치의 실시예의 각 부 동작을 설명하는 블록도이다.
도 4는 본 발명에 따른 감시 제어 방법의 실시예의 순서도이다.
도 1은 본 발명에 따른 감시 장치의 일실시예이다.
본 발명으로 실시되는 감시 장치는 스테레오 카메라(110), 계산모듈(120), 감시 카메라 모듈(130) 및 기록매체(140)를 포함한다.
스테레오 카메라(110)는 좌측카메라 및 우측카메라를 포함한다. 스테레오 카메라(110)는 양쪽 카메라를 이용하여 왼쪽 영상 및 오른쪽 영상을 획득함과 동시에 실시간으로 관측영역의 3D 깊이정보(depth map)를 계산한다.
계산모듈(120)은 스테레오 카메라(110)에서 출력된 영상을 이용하여 사람의 위치를 계산하고 팬, 틸트 및 줌 값을 계산한다. 그 계산된 값은 감시 카메라 모듈(130)의 제어신호로 사용된다.
감시 카메라 모듈(130)은 팬 모터(202), 틸트 모터(203) 및 감시카메라(201)로 구성되며, 계산모듈의 제어신호에 따라 팬 모터(202), 틸트 모터(203) 및 감시카메라(201)가 제어된다. 여기에서 감시카메라(201)는 줌기능을 갖는다.
기록매체(140)는 감시카메라 모듈(130)에서 얻은 영상과 그에 대한 정보를 저장한다.
도1 내지 도3을 참조하면, 스테레오 카메라(110)는 관측영역의 좌측을 촬영하는 좌측 카메라 및 관측영역의 우측을 촬영하는 우측 카메라를 포함하고, 좌측 카메라 및 우측 카메라로 촬영한 각각의 영상으로부터 3D 깊이정보를 계산한다.
계산모듈(120)은 스테레오 카메라(110)의 위치를 기준으로 목표대상물까지의 거리를 좌우방향, 상하방향, 거리를 계산하여 관측영역(205)내의 검출된 목표대상물에 대하여 3D 위치정보를 계산한다. 스테레오 카메라(110) 또는 감시 카메라 모듈의 내부에 설치되거나 별도로 설치될 수 있다.
감시 카메라 모듈(130)은 목표대상물을 확대 또는 축소하여 영상을 얻는 줌기능을 갖는 감시카메라(201)와 감시카메라(201)를 좌우로 회전하도록 동작하는 팬 모터(202) 및 감시카메라(201)를 상하로 회전하도록 동작하는 틸트 모터(203)를 포함한다.
감시카메라 모듈(130)의 일예로, 팬모터(202)의 상부에 감시카메라(201)가 거치되고, 틸트모터(203)의 상부에 팬모터(202)와 감시 카메라(201)가 조합된 세트가 거치될 수 있다. 이와 달리 감시카메라(201)는 틸트 모터(203)의 상부에 거치되고 팬모터(202)의 상부에 틸트모터(203)와 감시카메라(201)가 조합된 세트가 거치될 수 있다.
감시카메라(201)와 스테레오 카메라(110)는 모두 관측영역(205)을 향하도록 구성되며 사람(206, 207, 208) 등을 인식하는데 사용된다.
기록매체(140)는 획득한 사람의 상반신 영상을 분석하여 사람의 얼굴이 검출되었는지 여부를 판별하고, 사람의 얼굴이 검출 되었을 경우 전체 영상 및 얼굴 영상을 저장하며, 사람의 얼굴이 검출되지 못한 경우 얼굴 영상을 확보하지 못한 것을 기록한다.
도3을 참조하여, 본 발명에 따른 감시 장치의 동작을 간략히 살펴본다. 스테레오 카메라(110)는 양쪽 영상(301, 302)을 획득하며, 이들을 이용하여 3D 깊이정보(303)를 출력할 수 있다. 계산모듈(120)은 이 중 한쪽 영상(301 또는 302)을 이용하여 관측영역(205)의 전체 영상을 감시 하고, 모니터링된 전체 영상에서 움직임이 발생하는 부분을 검출한다(304). 계산모듈(120)은 검출된 영역에 대응하는 3D 깊이정보(303, 또는 disparity map)를 참조하여 사람(206, 207, 208) 유무를 판별한다(305). 계산모듈(120)은 사람(206, 207, 208)으로 판별된 영역에 대하여 3D깊이정보를 이용한 3D 위치정보 (x, y, z)를 계산(306)하여 감시 카메라 모듈이 그 위치를 향하도록 팬, 틸트 및 줌값을 계산한다.(307). x, y 방향에 대하여 팬모터(202) 및 틸트 모터(203)는 감시 카메라(201)가 물체를 향하도록 구동된다.(308) 그리고 거리(z)에 해당하는 만큼 줌 기능이 구동되어서 감시카메라(201)는 각 위치의 사람(206, 207, 208)의 영상을 개별적으로 획득한다(309). 저장매체(140)는 획득한 사람(206, 207, 208) 영상에서 얼굴이 포함된 상반신 영상을 얻기 위하여, 얻은 영상을 바탕으로 얼굴 유무 과정을 수행하여 얼굴이 검출된 영상(310)으로 인식된 경우에 대한 영상으로 저장한다. 그렇지 않은 경우는 다시 영상을 획득한다.
상술한 바에서 스테레오 카메라(110)는 관측영역(205) 전체의 양쪽 영상(image)을 획득한다. 동시에 양쪽영상으로부터 3D 깊이정보(303)를 계산한다. 스테레오 카메라(110)는 양쪽 카메라를 이용하여 얻은 영상과 3D 깊이정보(303)를 출력한다.
영상의 각 지점에 대한 3D 위치정보는 3D 깊이정보(303)를 이용하여 아래의 수식으로 계산할 수 있다.
수학식 1
Figure PCTKR2013003194-appb-M000001
수학식 2
Figure PCTKR2013003194-appb-M000002
수학식 3
Figure PCTKR2013003194-appb-M000003
수학식 1 내지 수학식 3에서, B는 스테레오 카메라(110)의 양쪽 카메라 간 거리, F는 스테레오 카메라(110)의 렌즈 초점거리, Dp는 디스패리티 값, Pz는 스테레오 카메라(110)에 사용된 센서의 픽셀 가로 크기, W는 스테레오 카메라(110)의 좌측영상의 가로방향 길이, H는 스테레오 카메라(110)의 좌측영상의 세로방향 길이를 나타낸다. 좌측영상 외에 우측영상을 사용 할 수도 있다.
3D 깊이정보(303)를 계산하기 위해서 반드시 스테레오 카메라(110)를 사용해야 하는 것은 아니다. 다른 방식의 3D 깊이정보(303)를 얻는 측정 장치를 사용하여도 동일한 효과를 얻을 수 있다.
관측영역 전체의 모니터링은 스테레오 카메라(110)의 출력 중 좌측영상과 3D 깊이정보(303)을 이용한다. 본 발명에 따른 실시예는 스테레오 카메라(110)의 출력 중 좌측영상을 이용하여 추출한 전체 영상에서 움직임이 발생한 영역을 검출한다. 움직임이 발생한 영역의 검출은 움직임이 일정 시간 동안 없는 경우에 획득한 영상을 기준 영상으로 저장하고, 저장된 기준 영상과 획득한 영상과의 차이를 이용하여 얻는다. 좌측영상 외에 우측영상을 사용하여도 같은 결과가 얻어질 수 있다.
또한, 계산모듈(120)은 움직임이 발생한 영역에 해당하는 스테레오 카메라(110)의 3D 깊이정보(303)을 참조하고, 거리에 따른 사람(206, 207, 208)의 면적 정보를 활용하여 사람(206, 207, 208) 유무의 판별 정확도를 높일 수 있다. 가까운 거리에서 위치한 사람과 먼 거리에 있는 사람은 영상에서 면적 차이가 난다. 거리에 따른 사람의 면적정보를 활용하면 사람(206, 207, 208) 인식의 정밀도가 높아질 수 있다.
즉, 본 발명에 따른 실시예는 스테레오 카메라(110)를 통해 얻은 거리정보와 움직임 검출을 통하여 얻은 움직임 영역에 해당하는 면적을 검토하여 사람(206, 207, 208)의 유무를 보다 정확하게 판단할 수 있다.
스테레오 카메라(110)를 이용하여 관측영역(205) 내에 존재하는 사람(206, 207, 208)을 찾은 후에 계산모듈(120)은 찾은 사람(206, 207, 208)들 각각에 대한 3D 위치정보를 계산한다. 스테레오 카메라(110)를 기준으로 좌우방향을 x 축으로 하고, 상하방향을 y 축으로 하고, 스테레오 카메라(110)로부터 물체까지의 거리를 z 축으로 하면, 스테레오 카메라(110)로부터 물체의 3D 위치정보 (Dx, Dy, Dz)는 수학식 1 내지 수학식 3과 같이 계산된다.
수학식 1 내지 수학식 3의 식을 이용하여 관측영역(205) 내에 존재하는 사람(206, 207, 208)들에 대한 개별적인 3D 위치정보가 얻어질 수 있다.
감시 카메라(201)는 3D 위치정보를 이용하여 각각의 사람(206, 207, 208)에 대한 확대한 영상을 얻을 수 있다.
감시 카메라 모듈(130)은 스테레오 카메라(110)를 이용하여 찾은 각각의 사람(206, 207, 208)에 대한 3D 위치정보 (Dx, Dy, Dz)를 바탕으로 구동되어서 각각의 사람(206, 207, 208)의 상반신 영상을 획득(309)할 수 있다. 팬모터(202), 틸트모터(203), 및 감시카메라(201)의 줌에 대한 각각의 제어는 다음의 수식을 이용하여 수행한다.
수학식 4
Figure PCTKR2013003194-appb-M000004
여기서 Px는 팬 모터(202)의 회전각도 ( -90도 ~ 90도), Pmax는 팬 모터 최대 회전각도 (-90도 또는 90도), Pmin는 팬 모터(202) 최소 회전각도, MaxDx는 대상물체가 존재할 수 있는 최대 위치 X 값, Dx는 스테레오 카메라(110)로 계산된 대상물체의 위치 X 값이다.
수학식 5
Figure PCTKR2013003194-appb-M000005
여기서 Ty는 틸트 모터(203)의 회전각도 (-90도 ~ 90도), Tmax는 틸트 모터의 최대 회전각도 (-90도 또는 90도), Tmin는 틸트 모터(203)의 최소 회전각도, MaxDy는 대상물체가 존재할 수 있는 최대 위치 Y 값, Dy는 스테레오 카메라(110)로 계산된 대상물체의 위치 Y 값이다.
수학식 6
Figure PCTKR2013003194-appb-M000006
여기서 Zmax는 줌 모터 최대 배율 값, Zmin는 줌 모터 최소 배율 값, MaxDz는 대상물체가 존재할 수 있는 최대 위치 Z 값, Dz는 스테레오 카메라(110)로 계산된 대상물체의 위치 Z값이다.
감시 카메라 모듈(130)은 대상 물체(또는 사람)의 3D 위치(Dx, Dy, Dz) 정보를 스테레오 카메라(110)로부터 받고 위의 수식을 이용하여 팬, 틸트 및 줌 구동을 하여서 최종 확대한 영상을 획득한다.
각각에 대한 3D 위치정보를 활용하여 감시 카메라 모듈(130)은 사람(206, 207, 208)의 상반신을 확대한 영상을 획득할 수 있으나, 영상에 얼굴 부분이 포함되지 않을 수 있다. 따라서 획득한 영상에서 얼굴이 포함되었는지를 판별할 필요가 있다. 획득한 영상에서 얼굴이 존재하는지를 판단하는 방법은 현재까지 일반적으로 많이 알려진 다양한 얼굴 검출 알고리즘을 사용할 수 있다.
획득한 영상에서 얼굴이 검출된 경우는 획득한 영상을 기록매체(140)에 저장한다. 검출되지 못한 경우는 얼굴 영상을 확보하지 못한 것으로 기록된다. 얼굴 영상을 획득할 때 까지 재촬영을 수행한다.
보다 구체적인 실시예의 제어방법을 도4를 참조하여 설명한다.
스테레오 영상 획득 단계(S410)에서 스테레오 카메라(110)는 양쪽 카메라를 이용하여 관측영역의 왼쪽 영상 및 오른쪽 영상을 획득한다.
움직임 영역 검출 판단 단계(S420)에서 스테레오 카메라(110)는 양쪽 카메라로 획득한 왼쪽 영상 및 오른쪽 영상을 이용하여 움직임 영역을 검출한다. 스테레오 카메라(110)의 검출 결과 움직임 영역이 없다면 이전단계로 되돌아간다. 스테레오 카메라(110)는 양쪽 카메라를 이용하여 관측영역의 영상을 다시 획득한다.
움직임 영역 검출 판단 단계(S420)에서 움직임 영역이 검출되면 3D깊이정보 획득 단계(S430)를 실행한다.
3D깊이정보 획득 단계(S430)에서 스테레오 카메라(110)는 양쪽 카메라를 이용하여 획득한 왼쪽 영상 및 오른쪽 영상으로부터 3D깊이정보를 계산하여 획득한다.
사람 인식 판단 단계(S440)에서 계산모듈(120)은 왼쪽 영상 또는 오른쪽 영상과 거리에 따른 사람의 면적정보를 비교하여 사람이 인식되었는지 판단한다.
비교결과 사람이 인식되지 않았다면 스테레오 영상 획득 단계(S410)로 되돌아가서 관측영역의 왼쪽 영상 및 오른쪽 영상을 다시 획득한다.
사람 인식 판단 단계(S440)에서 사람이 인식되면 사람의 3D 위치정보 계산 단계(S450)를 실행한다.
사람의 3D 위치정보 계산 단계(S450)에서 계산모듈(120)은 왼쪽 영상, 오른쪽 영상 및 3D깊이정보를 이용하여 관측영역상에서 사람의 위치한 3D 위치정보를 계산한다.
팬, 틸트 및 줌 값 계산 단계(S460)에서 계산모듈(120)은 3D 위치정보를 이용하여 팬, 틸트 및 줌이 이동할 값을 계산한다.
확대 영상 획득 단계(S470)에서 감시 카메라 모듈(130)은 사람의 위치로 향한다. 이때, 팬, 틸트 및 줌 값 계산 단계(S460)에서 결정된 각각의 이동할 값에 따라 팬, 틸트 및 줌이 이동하여 감시 카메라 모듈(130)의 방향이 사람의 위치로 향하게 된다. 감시 카메라 모듈(130)이 사람의 위치로 향하면, 관측영역에 위치한 사람을 확대하여 영상을 획득한다.
확대 영상을 기록매체(140)로 전송 단계(S480)에서 감시카메라 모듈(130)은 사람을 확대하여 획득한 영상을 기록매체(140)로 전송한다.
얼굴 검출 판단 단계(S490)에서 기록매체(140)는 전송된 영상을 분석하여 사람의 얼굴이 검출되었는지 판단한다.
사람의 얼굴이 검출되지 않았을 경우는 검출에 실패했음을 기록매체(140)에 기록하고 다시 스테레오 영상 획득 단계(S410)로 되돌아간다.
확대 영상을 기록매체(140)에 저장 단계(S500)에서 기록매체(140)는 전송된 영상을 분석하여 사람의 얼굴을 검출한다. 사람의 얼굴이 검출되었을 경우 기록매체는 전송된 사람의 얼굴 영상을 내부에 저장한다.
이상에서는 본 발명에 대한 기술사상을 첨부 도면과 함께 서술하였지만 이는 본 발명의 바람직한 실시 예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 이라면 누구나 본 발명의 기술적 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.

Claims (12)

  1. 줌기능을 이용하여 목표대상물을 확대 또는 축소하여 영상을 얻는 감시카메라;
    상기 감시카메라를 좌우로 회전하도록 동작하는 팬 모터;
    상기 감시카메라를 상하로 회전하도록 동작하는 틸트 모터; 및
    상기 감시카메라와 같은 방향을 바라보는 스테레오 카메라;를 포함하고,
    상기 스테레오 카메라에서 획득된 영상을 이용하여 목표대상물의 움직임과 상기 목표대상물에 대한 3D 위치정보를 계산하고 계산결과를 이용하여 상기 팬 모터와 상기 틸트 모터 및 상기 감시카메라를 제어하여 상기 목표대상물을 촬영하는 것을 특징으로 하는 감시 장치.
  2. 스테레오 카메라의 양쪽 영상 중 어느 한쪽 영상을 이용하여 관측영역 내의 목표대상물의 존재 또는 상기 목표대상물의 움직임을 검출하는 단계;
    상기 목표대상물의 존재 또는 움직임 검출에 대응하여 3D 위치정보를 계산하는 단계;
    상기 3D 위치정보에 따라 팬 모터와 틸트 모터 및 감시카메라의 줌을 조정할 값을 계산하고 제어하는 단계; 및
    상기 목표대상물을 촬영하는 단계를 포함하는 것을 특징으로 하는 감시 제어 방법.
  3. 제 2항에 있어서, 상기 스테레오 카메라에서 검출된 상기 목표대상물의 존재 또는 움직임을 검출하는 단계는,
    저장한 영상과 획득한 영상의 차이를 이용하여 상기 목표대상물의 존재 또는 움직임을 검출하는 단계; 및
    상기 한쪽 영상과 3D 깊이정보와 상기 목표대상물의 면적을 비교하여 상기 획득한 영상 내에 상기 목표대상물이 존재하는지 인식하는 것을 수행하는 단계;를 포함하는 감시 제어 방법.
  4. 제 2항에 있어서, 상기 3D 위치정보를 계산하는 단계는,
    상기 스테레오 카메라를 기준으로 상기 목표대상물에 대한 좌우방향, 상하방향, 거리를 계산하여 상기 3D 위치정보를 계산하는 감시 제어 방법.
  5. 제 2항에 있어서, 상기 3D 위치정보에 따라 상기 팬 모터와 상기 틸트 모터 및 상기 감시카메라의 줌을 조정할 값을 계산하고 제어하는 단계는,
    상기 3D 위치정보를 바탕으로 상기 팬 모터와 상기 틸트 모터 및 상기 감시카메라의 줌을 조정할 값을 계산하고 제어하는 것을 수행하는 감시 제어 방법.
  6. 제 5항에 있어서,
    사람의 상반신 영상을 획득 및 분석하여 상기 사람의 얼굴이 검출되었는지 여부를 판별하는 단계; 및
    상기 사람의 얼굴이 검출되었을 경우 얼굴 영상을 저장하는 단계;를 더 수행하는 감시 제어 방법.
  7. 왼쪽영상과 오른쪽 영상을 촬영하고 3D깊이정보를 출력하는 스테레오 카메라;
    상기 왼쪽영상과 상기 오른쪽 영상 중 하나 이상으로 움직임 영역을 검출하고 상기 각각의 영상과 상기 3D깊이정보로 3D위치정보를 계산하여 제어신호를 생성하는 계산모듈;
    상기 제어신호에 따라 위치를 조정하여 목표대상물을 촬영하는 감시 카메라 모듈;
    상기 감시 카메라 모듈에서 촬영된 데이터를 저장하는 기록매체;를 포함하는 것을 특징으로 하는 감시 장치.
  8. 제 7항에 있어서, 상기 스테레오 카메라는
    상기 왼쪽 영상을 촬영하는 좌측 카메라; 및
    상기 오른쪽 영상을 촬영하는 우측 카메라;를 포함하고,
    상기 왼쪽영상 및 상기 오른쪽 영상을 이용하여 상기 3D 깊이정보를 계산하는 것을 특징으로 하는 감시 장치.
  9. 제 7항에 있어서, 상기 계산모듈은
    상기 스테레오 카메라의 위치를 기준으로 상기 목표대상물까지의 거리를 좌우방향, 상하방향, 거리를 계산하여 검출된 상기 목표대상물에 대하여 3D 위치정보를 계산하는 것을 특징으로 하는 감시 장치.
  10. 제 7항에 있어서, 상기 감시 카메라 모듈은
    목표대상물을 확대 또는 축소하여 영상을 얻는 줌기능을 갖는 감시카메라;
    상기 감시카메라를 좌우로 회전하도록 동작하는 팬 모터; 및
    상기 감시카메라를 상하로 회전하도록 동작하는 틸트 모터;를 포함하는 것을 특징으로 하는 감시 장치.
  11. 제 7항에 있어서, 상기 기록매체는
    상기 감시 카메라모듈에서 획득한 상기 사람의 상반신 영상을 분석하여 상기 사람의 얼굴이 검출되었는지 여부를 판별하고,
    상기 사람의 얼굴이 검출되었을 경우 얼굴 영상을 저장하며,
    상기 사람의 얼굴이 검출되지 못한 경우 얼굴 영상을 확보하지 못한 것을 기록하는 것을 특징으로 하는 감시 장치.
  12. 제 7항에 있어서, 상기 계산모듈은
    상기 스테레오 카메라 또는 상기 감시 카메라 모듈의 내부에 설치되는 것을 특징으로 하는 감시 장치.
PCT/KR2013/003194 2012-04-26 2013-04-16 감시 장치 및 제어 방법 WO2013162198A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0044150 2012-04-26
KR1020120044150A KR20130120914A (ko) 2012-04-26 2012-04-26 스테레오 카메라를 이용한 팬/틸트/줌 카메라 장치 및 제어 방법

Publications (1)

Publication Number Publication Date
WO2013162198A1 true WO2013162198A1 (ko) 2013-10-31

Family

ID=49483436

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/003194 WO2013162198A1 (ko) 2012-04-26 2013-04-16 감시 장치 및 제어 방법

Country Status (2)

Country Link
KR (1) KR20130120914A (ko)
WO (1) WO2013162198A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2919019A1 (en) 2014-04-30 2015-11-05 Replay Technologies Inc. System for and method of generating user-selectable novel views on a viewing device
KR102400007B1 (ko) * 2021-12-17 2022-05-19 주식회사 굿링크 라이다 센서를 포함하는 감시 카메라 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322053A (ja) * 1996-05-24 1997-12-12 Nippon Hoso Kyokai <Nhk> 自動撮影カメラシステムにおける被写体の撮影方法。
JP2002101408A (ja) * 2000-09-22 2002-04-05 Asahi Precision Co Ltd 監視カメラシステム
KR20050089266A (ko) * 2004-03-04 2005-09-08 삼성전자주식회사 스테레오 카메라를 이용한 사람 검출 방법 및 장치
KR100691348B1 (ko) * 2005-12-21 2007-03-12 고정환 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적추적방법 및 그 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322053A (ja) * 1996-05-24 1997-12-12 Nippon Hoso Kyokai <Nhk> 自動撮影カメラシステムにおける被写体の撮影方法。
JP2002101408A (ja) * 2000-09-22 2002-04-05 Asahi Precision Co Ltd 監視カメラシステム
KR20050089266A (ko) * 2004-03-04 2005-09-08 삼성전자주식회사 스테레오 카메라를 이용한 사람 검출 방법 및 장치
KR100691348B1 (ko) * 2005-12-21 2007-03-12 고정환 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적추적방법 및 그 시스템

Also Published As

Publication number Publication date
KR20130120914A (ko) 2013-11-05

Similar Documents

Publication Publication Date Title
JP4568009B2 (ja) カメラ連携による監視装置
WO2011139070A2 (en) Method and apparatus for recognizing location of user
US8170277B2 (en) Automatic tracking apparatus and automatic tracking method
WO2016122069A1 (ko) 타이어 마모도 측정 방법 및 그 장치
JP3800217B2 (ja) 監視システム
WO2012023766A2 (ko) 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법
WO2012124852A1 (ko) 감시구역 상의 객체의 경로를 추적할 수 있는 스테레오 카메라 장치, 그를 이용한 감시시스템 및 방법
WO2021172833A1 (ko) 물체 인식 장치, 물체 인식 방법 및 이를 수행하기 위한 컴퓨터 판독 가능한 기록 매체
CN107343174A (zh) 远距离移动目标防伪人脸虹膜抓拍装置及方法
WO2021091053A1 (ko) 영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법
CN107295308A (zh) 一种基于机房人脸识别及告警的监控装置
CN108734066B (zh) 一种手势图像获取设备及方法
WO2012002601A1 (ko) 3차원 영상 정보를 이용하는 사람 인식 방법 및 장치
WO2016064107A1 (ko) 팬틸트줌 카메라 기반의 영상 재생방법 및 장치
WO2022124518A1 (ko) 홍채인식범위 확장을 위한 홍채 영상 획득시스템
WO2013162198A1 (ko) 감시 장치 및 제어 방법
WO2011043498A1 (ko) 지능형 영상 감시 장치
KR20130043305A (ko) 실내 천장 영상을 이용한 이동 로봇 위치 측정 장치 및 방법
JP4574509B2 (ja) システム用カメラ、監視システム及び監視方法
WO2014035050A1 (ko) 영상 밝기 조절 방법 및 그 장치와, 스테레오 카메라
WO2020027512A1 (ko) 압축영상에 대한 신택스 기반의 ptz 카메라의 객체 추적 제어 방법
WO2023149603A1 (ko) 다수의 카메라를 이용한 열화상 감시 시스템
JP2011087214A (ja) 撮影システム、方法及びプログラム
JP2001116527A (ja) 立体物検出方法及び装置
WO2019151704A1 (ko) 교통 모니터링 카메라를 이용하는 3차원 시정 측정 방법 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13782350

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13782350

Country of ref document: EP

Kind code of ref document: A1