KR20130039844A - 지능형 카메라 장치 및 이를 이용한 지능형 감시방법 - Google Patents

지능형 카메라 장치 및 이를 이용한 지능형 감시방법 Download PDF

Info

Publication number
KR20130039844A
KR20130039844A KR1020110104458A KR20110104458A KR20130039844A KR 20130039844 A KR20130039844 A KR 20130039844A KR 1020110104458 A KR1020110104458 A KR 1020110104458A KR 20110104458 A KR20110104458 A KR 20110104458A KR 20130039844 A KR20130039844 A KR 20130039844A
Authority
KR
South Korea
Prior art keywords
camera
image
photographed
sound source
sound
Prior art date
Application number
KR1020110104458A
Other languages
English (en)
Inventor
안헌모
이찬수
Original Assignee
주식회사 나임코리아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 나임코리아 filed Critical 주식회사 나임코리아
Priority to KR1020110104458A priority Critical patent/KR20130039844A/ko
Publication of KR20130039844A publication Critical patent/KR20130039844A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor

Abstract

본 발명은 방범이나 위험지역을 감시할 수 있는 장치 및 방법에 관한 것으로, 보다 자세하게는 이벤트가 발생했을 때, 이러한 이벤트를 효과적으로 인식하여 감시할 수 있는 지능형 카메라 장치 및 이를 이용한 지능형 감시방법에 관한 것이다.
본 발명은, 주시대상 영역의 영상을 촬영하기 위한 카메라; 제어값에 따라 상기 카메라의 PTZ을 제어하기 위한 카메라 제어부; 주시대상 영역으로부터 발생된 소리를 센싱하기 위한 수단으로, 상기 카메라의 표면을 따라 삼각형 또는 삼각뿔의 형태로 배치된 마이크; 상기 마이크를 통해 센싱된 소리를 통해, 상기 소리의 음원 위치를 인식하여, 상기 카메라가 촬영할 위치를 검출하는 음원 검출부; 상기 카메라를 통해 촬영되는 영상으로부터 인체를 인식하거나, 움직임을 인식하여, 상기 카메라가 촬영할 위치를 검출하는 영상처리부; 및 상기 음원 검출부 및 상기 영상처리부의 검출결과 중 선택된 어느 하나 이상에 따라 상기 제어값을 생성하는 통합제어부;를 포함한다.

Description

지능형 카메라 장치 및 이를 이용한 지능형 감시방법{Intelligent camera appartus and intelligent surveillance metod using the same}
본 발명은 방범이나 위험지역을 감시할 수 있는 장치 및 방법에 관한 것으로, 보다 자세하게는 이벤트가 발생했을 때, 이러한 이벤트를 효과적으로 인식하여 감시할 수 있는 지능형 카메라 장치 및 이를 이용한 지능형 감시방법에 관한 것이다.
최근에 CCTV의 설치가 급격히 증가하고 있으며, 이러한 CCTV를 통하여 보안 감시 기능을 강화하기 위한 다양한 기술 개발이 진행되고 있다.
CCTV에서 음원인식을 이용한 촬영영상 추적 기능을 가지는 PTZ 카메라의 운용에 대한 특허(공개번호 10-2010-0121086) 음원의 위치를 파악하여 이를 이용하여 촬영하는 동영상의 중심을 이동시키는 방법에 대하여 제시하고 있으며 음원의 위치이동 후에 일정한 배수로의 확대 동영상을 촬영하도록 하고 있으나, 효과적인 확대 및 정밀한 위치 선정을 위하여 영상정보에 대한 추가적인 적용이 되고 있지 않다.
종래에는 소리 위치 감지에서 상하와 좌우 위치 변화를 독립적으로 제어하기 위한 방법(특허 등록번호: 10-1041104)이 제시되고 있으나, 음원 이외의 센서를 활용하는 방법은 제시되고 있지 않다. 복수의 센서를 활용하여 감지지역을 검지하고자 하는 방법(특허 등록번호: 10-2011-0026731)이 제시되기는 하였으나, 다중 방향에 대하여 설치된 센서를 바탕으로 최대값을 가지는 센서의 위치로 카메라를 제어하기 위한 기능을 제안하고 있으나, 다른 센서간의 검출된 영역에 대한 보완 및 검증 방법을 제시하고 있지 못하다.
또한 얼굴 검출을 효과적으로 수행하기 위하여 관심영상 영역을 설정하기 위한 방법으로 음원의 위치 추적 기술을 적용한 로봇 시스템에 대한 방법(특허 공개번호: 10-2010-0065646)을 제시하고 있으나 이 시스템의 경우에는 얼굴검출이 주목적으로 음원 위치 이동 후에 빠른 얼굴 검출에 목적이 있어서 감시 카메라에서와 같이 얼굴이 검출될 수 없는 상황 등에서는 적용이 불가능하다.
본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위한 것으로, 음원 추정 기능과 얼굴이나 보행자 검출 기능의 물체 인식 기술 및 움직임 검출 기술을 효과적으로 적용하여, PTZ 기능을 가지는 감시카메라에서 효과적인 위치이동과 소리 이벤트의 검증 및 영상을 기반으로 한 정밀 카메라 PTZ 제어 방법을 통하여 음원에 의한 오동작을 최소화하며, 정밀한 감시 및 추적이 가능하도록 하는데 그 목적이 있다.
상기의 목적을 달성하기 위한 본 발명은 지능형 카메라 장치로서, 주시대상 영역의 영상을 촬영하기 위한 카메라; 제어값에 따라 상기 카메라의 PTZ을 제어하기 위한 카메라 제어부; 주시대상 영역으로부터 발생된 소리를 센싱하기 위한 수단으로, 상기 카메라의 표면을 따라 삼각형 또는 삼각뿔의 형태로 배치된 마이크; 상기 마이크를 통해 센싱된 소리를 통해, 상기 소리의 음원 위치를 인식하여, 상기 카메라가 촬영할 위치를 검출하는 음원 검출부; 상기 카메라를 통해 촬영되는 영상으로부터 인체를 인식하거나, 움직임을 인식하여, 상기 카메라가 촬영할 위치를 검출하는 영상처리부; 및 상기 음원 검출부 및 상기 영상처리부의 검출결과 중 선택된 어느 하나 이상에 따라 상기 제어값을 생성하는 통합제어부;를 포함한다.
또한, 상기 목적을 달성하기 위한 본 발명은, 카메라와 상기 카메라의 표면을 따라 삼각형 또는 삼각뿔의 형태로 배치된 마이크가 포함된 지능형 카메라 장치를 이용한 감시방법으로서, 상기 마이크를 통해 센싱된 소리를 통해, 상기 소리의 음원 위치를 인식하여, 상기 카메라가 촬영할 위치를 검출하는 제1 위치 검출단계; 상기 카메라를 통해 촬영되는 영상으로부터 인체를 인식하거나, 움직임을 인식하여, 상기 카메라가 촬영할 위치를 검출하는 제2 위치 검출단계; 및 상기 제1 위치 검출단계에서 검출된 위치 또는 상기 제2 위치 검출단계에서 검출된 위치 중 선택된 어느 하나 이상에 따라 상기 카메라의 다음 촬영위치를 산출하는 촬영위치 산출단계; 를 포함한다.
본 발명에 의하면, 음원감지 기반의 즉각적인 카메라 이동과 영상을 기반으로 한 이동된 카메라의 위치 검증으로, 하나의 카메라로 사각지대를 없애며, 이벤트에 대한 적각적인 대응을 통하여 잡음 등에 의한 반응에서 즉각적으로 복귀하여 영상감시의 효과를 극대화 할 수 있다.
또한 본 발명에 의하면, 단계별 영상 감지 기능의 단계적 활성화를 통하여, 보다 정밀한 위치 파악과 카메라 제어가 가능하고, 지속적인 추적을 통하여 사건의 추후 경과 등에 대하여 효과적인 감시 가능하다.
도 1은 본 발명의 바람직한 일 실시예에 따른 지능형 카메라 장치의 블록도,
도 2는 얼굴검출 영상과 이를 이용한 PTZ 제어의 예시도,
도 3은 카메라의 FOV와 촬영 영상의 높이를 바탕으로 한 Tilt 제어 값을 얻기 위한 개략도,
도 4는 카메라의 FOV와 촬영 영상의 길이를 바탕으로 한 Pan 제어 값을 얻기 위한 개략도,
도 5는 본 발명의 바람직한 일 실시예에 따른 지능형 감시방법의 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
또한, 본 명세서에서, 일 구성요소가 다른 구성요소로 신호를 "전송한다"로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되어 신호를 전송할 수 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 신호를 전송할 수도 있는 것으로 이해되어야 할 것이다.
도 1은 본 발명의 바람직한 제 1 실시예에 따른 지능형 카메라 장치를 간략히 예시한 블록도이다.
도 1을 참조하면, 지능형 카메라 장치는 카메라(10), 마이크(20), 음원 검출부(100), 영상 처리부(200), 통합 제어부(300) 및 카메라 제어부(400)를 포함한다.
카메라(10)는 주시대상 영역의 영상을 촬영하기 위한 구성으로, 다양한 위치와 각도를 촬영할 수 있도록 팬/틸트/줌(PTZ) 제어가 가능한 것이 바람직하다.
나아가, 야간 상황에서의 원활한 영상 촬영을 위해 적외선 촬영이 가능하거나, 조명이 제공될 수 있는 카메라가 이용되는 것이 더욱 바람직하다.
마이크(20)는 주시대상 영역으로부터 발생된 소리를 센싱하기 위한 수단으로서, 본 발명에서는 보다 효율적인 감시를 위해서 소리를 감지하고, 소리가 발생된 위치를 감시하도록 할 수 있다.
이를 위해서, 마이크(20)는 2차원(2D) 평면상에서 방향을 최적으로 파악할 수 있는 삼각형이나 이의 변형 또는 3차원(3D) 공간상에서 방향을 최적으로 파악할 수 있는 삼각뿔 형태로 배치되는 것이 바람직하며, 이러한 배치는 카메라(10)의 표면을 따라 각 쌍이 최대로 떨어질 수 있는 위치로 설치하는 것이 더욱 바람직하다.
더불어, 마이크(20)는 기존의 일반적인 카메라와 함께 사용할 수 있으며, 사용자의 의도에 따라 설치 위치를 변경할 수 있도록, 카메라(10)로부터 탈부착 가능한 것이 바람직하다.
음원 검출부(100)는 마이크(20)를 통해 센싱된 소리를 통해, 상기 소리의 음원 위치를 인식하여, 카메라(10)가 다음 촬영할 위치를 검출한다.
음원 위치의 인식은 음원으로부터 각 마이크에 도달하는 시간의 차이를 이용하여 음원의 2차원 또는 3차원적으로 이루어진다.
즉, 본 발명을 통해 감시하고자 하는 영역 중 특정 위치에서 소리가 발생하면, 다수개의 마이크(20)로 도달하는 시간차에 따라 소리가 발생한 위치를 파악하여 카메라(10)로 소리가 발생한 위치를 촬영할 수 있도록 그 위치를 검출하는 것이다.
여기서, 음원 검출부(100)는 소정시간 범위 내에서 음원의 위치가 지속적으로 검출될 경우, 검출된 위치들의 방향성을 분석하여 앞으로 이동될 음원의 위치를 예측하여 촬영될 위치를 검출할 수도 있다.
예를 들어, 5분간 차량이 감시영역 안에서 일방향으로 주행을 한다면, 음원 검출부(100)는 차량으로부터 발생된 소리를 통해 차량의 위치를 인식하고, 인식된 위치의 방향성을 통해 차량의 움직임을 예측하여 차량이 촬영될 수 있도록 위치를 검출할 수 있다.
이때, 음원 검출부는, 평상시 상기 주시대상 영역으로부터 발생된 소리(배경음)에 대한 표준데이터를 미리 저장하고 있다가, 현재 마이크를 통해 검출된 소리와 상기 표준데이터와의 차(差)를 이용하여, 현재 카메라가 촬영할 위치를 검출하는 것이 가능하다.
만일, 본 발명이 평상시 주기적인 노이즈에 노출된 상태에 있다면, 노이즈에 의한 오검출이 발생할 수 있으므로, 노이즈를 무시할 수 있도록 이 노이즈만큼의 데이터를 표준데이터로 하여, 그 이상의 값만을 검출할 수 있도록 하는 것이다.
한편, 영상처리부(200)는 카메라(10)를 통해 촬영되는 영상으로부터 인체를 인식하거나 움직임을 인식하여, 카메라(10)가 다음 촬영할 위치를 검출한다.
다시 말해서, 촬영된 영상으로부터 인체가 인식되거나 또는 사물/생물체의 움직임이 인식될 경우, 인식된 대상을 지속적으로 촬영할 수 있도록 그 위치를 검출하는 것이다.
또한, 영상처리부(200)는 카메라(10)를 통해 촬영된 영상으로부터 인체를 인식하기 위한 인체인식 모듈(210) 및 카메라(10)를 통해 촬영된 영상으로부터 움직임을 인식하는 동작인식 모듈(220)을 포함할 수 있는데, 이러한 인체인식 모듈(210)과 동작인식 모듈(220)은 순차적으로 활성화되는 것이 바람직하다.
이와같이, 순차적으로 두 모듈(210,220)을 활성화함으로써, 대기중의 전력 소모를 줄일 수 있는 효과가 발생된다.
인체인식 모듈(210)에서 얼굴이 검출되게 되면, 검출된 영상에서 얼굴의 중심 위치 및 얼굴 크기를 바탕으로 다음 영상에서 신체의 전체가 나오도록 촬영하고자 하는 대상 영상(target image) 영역을 설정하게 되고 이 영역을 통합 제어부로 전달한다. 이를 바탕으로, 통합제어부에서는 현재의 카메라에 대한 PTZ값을 바탕으로 추적을 위하여 새로 제어해야 할 카메라의 PTZ 값을 계산한다.
이때, 얼굴 검출에 따른 대상 영상 영역의 경우에, 도 2에 나타난 것과 같이 영상의 폭과 높이가 각각 Ho, Wo이고 FOV(field of view)의 각이 θ이고, 현재의 줌 레벨을 R이라고 하고, 검출된 얼굴의 중심이 Cd = (Xd, Yd), Bounding box의 크기가 (Wd, Hd)이고, 이를 바탕으로 계산된 대상의 중심과 위치가 Ct = (Xt, Yt)이고 크기가 (Wt, Ht)라고 하자. 먼저 검출된 얼굴 중심과 크기가 주어지면, 이를 바탕으로 얼굴과 사람의 윤곽이 모두 영상의 중심에 보여지도록 검출된 얼굴 중심을 바탕으로 영상 위쪽으로 up_ration * Hd, 영상 아래쪽으로 down_ratio * Hd 로 크기를 정해서 전체 영상의 높이(Ht = (up_ratio * Hd + down_ratio * Hd)) 가 정해지면, 이것의 중심을 찾아서 Yt를 구하고(Yt = (down_ratio-up_ratio)/2 * Hd), Xt는 검출된 얼굴의 X좌표와 동일한 것(Xd)을 적용하여 중심을 구한 다음, 영상의 폭과 높이 비율로부터 Wt = Ht*Wo/Ho에 의하여 새로 검출하고자 하는 대상 영상의 영역을 구할 수 있다.
이렇게 구한 대상영상의 위치는 통합제어부(300)에 전달된다.
이상에서와 같이 검출된 얼굴의 위치와 크기를 바탕으로 구한 대상 영상(target image)의 위치와 크기를 구하고 이를 바탕으로 현재의 카메라 중심에서 이동해야 할 카메라 제어 파라미터(parameter) ΔZ, Δθt, Δθp를 아래에서 제시한 것과 같이 통합제어부에서 구할 수 있다.
얼굴검출과 마찬가지로 보행자 검출 기능을 이용한 신체 전체 검출의 경우나 또는 다른 신체의 일부의 경우에도 이 신체 일부에 대한 검출을 바탕으로 원하는 파악하고자 하는 대상화면을 설정함으로 제어 파라미터를 유사하게 구할 수 있다.
만약 인체인식 모듈(210)에 의한 인체 검출이 되지 않을 경우에는 동작인식 모듈(220)이 활성화되어, 이전 영상과 현재 영상에 대한 차(差)영상을 구하게 된다.
이때, 이전 영상에서 현재 영상의 차 영상을 구하는데 있어서, 이전 영상에서 현재 영상으로 PTZ제어가 발생했다면, 이전 영상에서 PTZ 제어를 위하여 선택되었던 대상 영상과 현재 영상의 차영상을 이용하여 동작을 감지하게 된다.
여기서, 대상 영상에 대한 효과적인 차(差)영상 연산을 위하여 현재 영상을 대상 영상과 동일한 크기로 변화시킨 후 차영상을 통하여 움직임을 감지하게 된다.
차영상에 의하여 움직임 영역을 구한 후, 움직임 영역에 대한 grouping을 통하여 큰 움직임이 일어나는 영역들을 검출하게 되는데, 검출된 움직임 영역 중에 가장 큰 움직임 영역을 찾고, 이를 중심으로 주요한 움직임을 찾게 된다. 여기서 움직임이 일정한 임계값 이하인 경우에는 움직임을 무시하게 된다.
가장 큰 움직임 주변에 비슷한 크기의 움직임 그룹이 있다면, 각 그룹에 중심에 대하여 그룹의 크기를 바탕으로 가중치를 곱한 값에 의하여 무게 중심을 구하여 이것을 움직임의 중심 위치가 되도록 한다. 이렇게 구한 움직임의 중심과 임계값 이상의 움직임이 나타나는 모든 움직임을 포함할 수 있는 대상 영상 영역을 설정하여, 이 영역을 통합제어부(300)에 전달한다.
인체인식 모듈(210)이나 동작인식 모듈(220)에서 검출된 대상 영상 영역을 바탕으로 대상 영상으로 이동하기 위한 카메라의 Pan, Tilt, Zoom을 구하면 다음과 같다.
먼저, 영상의 줌 비율은 현재 영상과 대상영상의 크기의 비에 의하여 구할 수 있다.
즉, 줌비율인 Z_ratio = Wo/Wt = Ho/Ht 이고, 이러한 줌비율을 바탕으로 제어해야 할 줌 이동거리는 현재의 줌 값이 Rz라고 하면 새로 설정해야 할 줌 값은 Z_ratio * Rz 이 되고 따라서 제어해야 할 줌 값 ΔZ = Rz - Z_ratio * Rz = (1 Z_ratio) * Rz 이 새로 제어해야 할 줌 값이 된다. 현재의 줌 level인 Rz가 주어진 경우, 이를 바탕으로 줌 방향의 제어 파라미터는 직접적으로 구할 수 있다.
또한, Pan과 Tilt 변환값도 화면에 대하여 대상 화면 중심이 정확하게 설정될 수 있도록, 새로운 화면의 중심이 대상 화면의 중심이 되어야 한다. 이를 위한 이미지 좌표 상에서 상하방향의 이동량을 ΔH, 좌우방향의 좌표변화를 ΔW, 라고 할때, ΔH = (Yt-Yo), ΔW= (Xt-Xo)에 의하여 구할 수 있다. 여기서 Co = (Xo, Yo)는 이전이미지의 중심을 나타낸다.
주어진 이미지상에서의 좌표 변화 (ΔW , ΔH)를 바탕으로, 카메라 제어를 위한 Pan의 제어값 Δθp와 Tilt의 제어값 Δθt는 카메라에서 FOV가 θ인 경우에 다음과 같이 구할 수 있다. 먼저, 상하방향의 이동량 ΔH를 바탕으로 Tilt의 변화량 Δθt를 구하기 위하여, 도 3와 같이 FOV의 θ값과, 반지름 R, 및 이미지의 폭 Ho의 관계는,
sin (θ/2) = (Ho/2)/R 이며 이를 근사화하면,
따라서, R = Ho/2/sin(θ/2) = Ho/(2 sin (θ/2))
이동각도 Δθt에 대하여, 도 3에서 sin (Δθt/2) = (ΔH/2)/R인 관계를 만족시키며, 이때, 적은 Δθ에 대하여 sin(Δθ) ~= Δθ로 근사화가 가능하며, 이를 위의 식에 적용하면, sin (Δθt/2) ~= Δθt/2 = (ΔH/2)/R 이며,
따라서 Δθt = ΔH/R = ΔH/ Ho/(2sin(θ/2)) = ΔH (2sin(θ/2))/ Ho 의 관계식을 만족한다. 따라서, 수평 이동 거리에 해당하는 이동 각도인 Δθt가 구해지며, 이를 바탕으로 카메라의 Tilt값을 제어할 수 있다.
카메라 Tilt 계산과 마찬가지로 수평방향의 Pan 이동에 대하여,
sin(Δθp/2) ~= Δθp/2 = ΔW/2/R
Δθp = ΔW/R = ΔW (2 sin (θ/2))/Ho
따라서, 우리가 구한 ΔW를 중심으로 조정해야 할 Tilt각도 Δθp를 구할 수 있다.
이렇게 구한 제어 파라미터는 도 5에 표시된 동작 상태에 따라 직접 카메라의 정밀제어를 위하여 사용되거나, 또는 음원감지 시스템에서 전달된 음원의 위치와 비교하게 되고, 음원의 위치가 이전 음원의 위치에서 큰 변화가 없을 경우에는 영상에 의하여 계산된 정밀제어 루틴을 통하여 이벤트 발생 지점에 대한 정밀한 제어를 하고 그렇지 않은 경우에는 새로 발생한 음원을 위치를 포함한 영상이 얻어지도록 제어한다.
이 때, 필요에 따라 음원감지와 영상감지의 각각에 의한 감지 영역에 대하여 가중치를 두고 결합할 수 있다.
만일 음원과 영상 검출이 없을 경우에는 이전에 이벤트 검출이 진행되어 추적하고 있는 상태였다면, 이때는 일시적으로 영상검출이 되지 않은 것으로 판단하여 계속적인 영상추적이 이루어지도록 한다. 또는 이전 상태가 추적 상태가 아니거나, 이벤트가 없는 상태가 지속된다면 정상동작 상태로 판단하여 미리 프로그램된 루틴 또는 지정된 위치에 대한 감지를 수행하게 된다.
통합제어부(300)는 음원 검출부(100) 및 영상처리부(200)의 검출결과 중 선택된 어느 하나 이상에 따라 제어값을 생성한다.
즉, 본 발명의 통합제어부(300)는 필요에 따라 음원 검출부(100)의 검출결과만을 이용하여 카메라를 제어하거나, 영상처리부(200)의 검출결과만을 이용하여 카메라를 제어할 수도 있을 뿐만 아니라, 두 검출결과 모두를 이용하여 카메라를 제어할 수도 있다.
이러한 제어에 의해 본발명은 신속하면서도 정확한 감시가 가능하며, 또한 음원 검출부(100)나 영상처리부(200) 중 하나가 파손되더라도 감시 기능을 지속할 수 있는 효과를 제공한다.
예컨데, 통합제어부(300)는 음원 검출부(100)의 위치 검출 빈도에 따라, 음원 검출부(100)가 검출한 위치만으로 제어값을 생성할 수 있는데, 장시간(예를 들어, 1시간 이상) 소리가 검출되지 않은 상황에서 급작스럽게 소리가 검출될 경우(빈도가 낮을 경우), 통합제어부(300)는 빠른 감시를 위해 영상처리부(200)의 검출결과 없이 음원 검출부(100)의 검출결과만을 이용하여 제어값을 생성할 수 있다.
여기에 더불어, 통합제어부(300)는 최초의 음원감지에 의한 카메라를 이동시킨 후, 영상처리부(200)의 검출결과에 따라 정밀한 카메라 제어가 이루어질 수 있도록 할 수 있다.
또는, 음원 검출부(100)의 검출결과와 영상처리부(200)의 검출결과를 동시에 이용하여 주시대상 영역에서의 감시대상을 정밀하게 파악하도록 하는 것도 가능하다.
이와 다르게, 본 발명은 음원 검출부(100)의 검출결과와 영상처리부(200)의 검출결과가 상충될 경우 가중치를 이용하여 둘 중 하나에 우선을 두어 카메라의 제어가 이루어지도록 할 수도 있다.
예를 들어, 소음이 심한 지역에 있을 경우 영상처리부(200)의 검출결과에 우선을 둘 수도 있고, 반대로 갈대와 같이 지속적인 움직임을 같는 사물이 있을 경우 음원 검출부(100)의 검출결과에 우선을 둘 수도 있다.
이와 같은 통합제어부(300)의 동작은 다음의 표와 같은 원리를 따를 수 있다.
상태 음원감지 영상감지 설명
인체 동작
Case1 O - - 초기 음원감지, 음원위치에 의한 이동
Case2
 O O - 인체잠지동작, 음원위치가 현재 영상범위이면 인체감지기준 제어, 현재 영상범위를 벗어났으면 음원위치 포함 영상을 포착하도록 제어
X O
Case3 O X X 음원 감지가 있었으나, 영상에서 인체 및 움직임이 전혀 감지되지 않은 경우, 일정시간 후 원래 위치로 돌아감
Case4 X O - 인체검출기반 영상추적
Case5 X X O 동작검출기반 영상추적
Case6 X X X 지정된 카메라 동작, 이전 상태가 이벤트 추적상태였다면 추적상태(Case 3 ~ 6) 유지
카메라 제어부(400)는 통합제어부(300)에서 생성된 상기 제어값에 따라 카메라(10)의 PTZ(팬/틸트/줌)을 제어하여, 카메라가 제어값에 따른 위치를 촬영할 수 있도록 한다.
이러한 카메라 제어부(400)는 카메라(10)와 별도로 구성됨에 따라 일반적인 상용 카메라를 본 발명에 적용할 수 있도록 하는 것이 바람직하다.
아래에서는 도 5를 참조하여 상기와 같은 장치를 이용한 본 발명의 감시방법에 관해 설명하도록 한다. 설명에 있어서, 동일한 참조부호는 동일한 기능을 수행하는 동일한 구성을 지칭한다.
본 발명의 바람직한 일실시예에 따른 감시방법은, 카메라(10)와, 카메라의 표면을 따라 삼각형 또는 삼각뿔의 형태로 배치된 마이크(20)가 포함된 지능형 카메라 장치(1000)를 이용한 감시방법으로서,
제일 먼저, 마이크(20)를 통해 센싱된 소리를 통해, 상기 소리의 음원 위치를 인식하여, 카메라(10)가 촬영할 위치를 검출한다(S1).
이때, 상기 S1 단계는, 평상시 상기 주시대상 영역으로부터 발생된 소리에 대한 표준데이터를 미리 저장한 후, 상기 표준데이터와 현재 마이크를 통해 검출된 소리의 차(差)를 이용하여, 현재 카메라가 촬영할 위치를 검출하는 것이바람직하다.
그리고, 카메라(20)를 통해 촬영되는 영상으로부터 인체를 인식하거나, 움직임을 인식하여, 카메라(20)가 촬영할 위치를 검출한다(S2).
여기서, 상기 S2 단계는, 순차적으로 카메라(10)를 통해 촬영된 영상으로부터 인체를 인식하고(S2-1), 카메라(10)를 통해 촬영된 영상으로부터 움직임을 인식(S2-2)하는 것이 바람직하다.
한편, 상기 S2-1 단계는, 상기 인식된 인체의 중심위치 및 크기를 판별하고, 인식된 중심위치 및 크기에 따라 상기 카메라가 촬영할 위치를 검출하는 것이바람직하다.
또한, 상기 S2-2 단계는, 카메라(10)를 통해 연속적으로 촬영된 영상을 이전과 비교하여 그 영상의 차(差)에 따라 상기 움직임을 인식하고, 상기 S2 단계는, 현재 촬영된 영상 중 선택된 부분이 다음 촬영될 영상에서 유사한 크기를 갖도록 카메라(10)가 촬영할 위치를 검출하는 것이 더욱 바람직하다.
그리고, 상기 S2-2 단계는, 카메라(10)를 통해 촬영된 영상으로부터 다수의 움직임이 감지될 경우, 상기 영상에서 움직임을 보이는 영역들을 그룹화(grouping)하고 이를 바탕으로 노이즈를 제거하며, 비슷한 크기의 움직임이 있는 영역에 대하여 가중치를 적용하는 카메라 영상의 중심을 구함으로써 상기 카메라가 촬영할 위치를 검출할 수 있다.
한편, 본 발명은 상기 S1 단계와 상기 S2 단계 이후, 상기 S1 단계에서 검출된 위치 또는 상기 S2 단계에서 검출된 위치 중 선택된 어느 하나 이상에 따라 상기 카메라의 다음 촬영위치를 산출한다(S3).
이때, 상기 S3 단계는, 상기 S1 단계에서 위치를 검출하는 빈도에 따라, 상기 S1 단계에서 검출한 위치만으로 상기 다음 촬영위치를 산출할 수 있다.
또한, 상기 S3 단계는, 카메라(10)에 대한 FOV가 주어진 이후, 상기 FOV를 참고하여 상기 다음 촬영위치를 산출하는 것이 바람직하다.
그리고 나서, 상기 S3 단계에서 산출된 촬영위치에 따라 카메라(10)를 제어한 후 영상을 촬영한다(S4).
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술 사상과 아래에 기재될 특허 청구범위의 균등 범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
10 : 카메라 20 : 마이크
100 : 음원 검출부 200 : 영상처리부
210 : 인체인식모듈 220 : 동작인식 모듈
300 : 통합제어부 400 : 카메라 제어부

Claims (16)

  1. 주시대상 영역의 영상을 촬영하기 위한 카메라;
    주시대상 영역으로부터 발생된 소리를 센싱하기 위한 수단으로, 상기 카메라의 표면을 따라 삼각형 또는 삼각뿔의 형태로 배치된 마이크;
    상기 마이크를 통해 센싱된 소리를 통해, 상기 소리의 음원 위치를 인식하여, 상기 카메라가 촬영할 위치를 검출하는 음원 검출부;
    상기 카메라를 통해 촬영되는 영상으로부터 인체를 인식하거나, 움직임을 인식하여, 상기 카메라가 촬영할 위치를 검출하는 영상처리부; 및
    상기 음원 검출부 및 상기 영상처리부의 검출결과 중 선택된 어느 하나 이상에 따라 상기 제어값을 생성하는 통합제어부;
    상기 제어값에 따라 상기 카메라의 팬/틸트/줌을 제어하기 위한 카메라 제어부;
    를 포함하는 지능형 카메라 장치.
  2. 제 1항에 있어서, 상기 음원 검출부는,
    평상시 상기 주시대상 영역으로부터 발생된 소리에 대한 표준데이터를 미리 저장하며,
    상기 표준데이터와 현재 마이크를 통해 검출된 소리의 차(差)를 이용하여, 현재 카메라가 촬영할 위치를 검출하는 것을 특징으로 하는 지능형 카메라 장치.
  3. 제 1항에 있어서, 통합제어부는,
    상기 음원 검출부의 위치 검출 빈도에 따라, 상기 음원 검출부가 검출한 위치만으로 제어값을 생성하는 것을 특징으로 하는 지능형 카메라 장치.
  4. 제 1항에 있어서, 상기 영상처리부는,
    상기 카메라를 통해 촬영된 영상으로부터 인체를 인식하기 위한 인체인식 모듈; 및
    상기 카메라를 통해 촬영된 영상으로부터 움직임을 인식하는 동작인식 모듈;
    을 포함하며,
    상기 인체인식 모듈 및 상기 동작인식 모듈은 순차적으로 활성화되는 것을 특징으로 하는 지능형 카메라 장치.
  5. 제 4항에 있어서, 상기 인체인식 모듈은,
    상기 인식된 인체의 중심위치 및 크기를 판별하고, 인식된 중심위치 및 크기에 따라 상기 카메라가 촬영할 위치를 검출하는 것을 특징으로 하는 지능형 카메라 장치.
  6. 제 4항에 있어서, 상기 동작인식 모듈은,
    상기 카메라를 통해 연속적으로 촬영된 영상을 이전과 비교하여 그 영상의 차(差)에 따라 상기 움직임을 인식하며,
    상기 영상처리부는,
    현재 촬영된 영상 중 선택된 부분이 다음 촬영될 영상에서 유사한 크기를 갖도록 상기 카메라가 촬영할 위치를 검출하는 것을 특징으로 하는 지능형 카메라 장치.
  7. 제 6항에 있어서, 상기 동작인식 모듈은,
    상기 카메라를 통해 촬영된 영상으로부터 다수의 움직임이 감지될 경우,
    상기 영상에서 움직임을 보이는 영역들을 그룹화(grouping)하고 이를 바탕으로 노이즈를 제거하며, 비슷한 크기의 움직임이 있는 영역에 대하여 가중치를 적용하는 카메라 영상의 중심을 구함으로써 상기 카메라가 촬영할 위치를 검출하는 것을 특징으로 하는 지능형 카메라 장치.
  8. 제 1항에 있어서, 상기 통합제어부는
    카메라에 대한 FOV(field of view)가 주어진 이후, 상기 FOV을 참고하여 상기 카메라의 팬/틸트/줌을 제어하기 위한 제어값을 생성하는 것을 특징으로 하는 지능형 카메라 장치.
  9. 카메라와, 상기 카메라의 표면을 따라 삼각형 또는 삼각뿔의 형태로 배치된 마이크가 포함된 지능형 카메라 장치를 이용한 감시방법으로서,
    상기 마이크를 통해 센싱된 소리를 통해, 상기 소리의 음원 위치를 인식하여, 상기 카메라가 촬영할 위치를 검출하는 제1 위치 검출단계;
    상기 카메라를 통해 촬영되는 영상으로부터 인체를 인식하거나, 움직임을 인식하여, 상기 카메라가 촬영할 위치를 검출하는 제2 위치 검출단계; 및
    상기 제1 위치 검출단계에서 검출된 위치 또는 상기 제2 위치 검출단계에서 검출된 위치 중 선택된 어느 하나 이상에 따라 상기 카메라의 다음 촬영위치를 산출하는 촬영위치 산출단계;
    를 포함하는 지능형 감시방법.
  10. 제 9 항에 있어서, 상기 제1 위치 검출단계는,
    평상시 상기 주시대상 영역으로부터 발생된 소리에 대한 표준데이터를 미리 저장한 후,
    상기 표준데이터와 현재 마이크를 통해 검출된 소리의 차(差)를 이용하여, 현재 카메라가 촬영할 위치를 검출하는 것을 특징으로 하는 지능형 감시방법.
  11. 제 9항에 있어서, 촬영위치 산출단계는,
    상기 제1 위치 검출단계에서 위치를 검출하는 빈도에 따라, 상기 제1 위치 검출단계에서 검출한 위치만으로 상기 다음 촬영위치를 산출하는 것을 특징으로 하는 지능형 감시방법.
  12. 제 9항에 있어서, 상기 제2 위치 검출단계는,
    상기 카메라를 통해 촬영된 영상으로부터 인체를 인식하기 위한 인체인식 단계; 및
    상기 카메라를 통해 촬영된 영상으로부터 움직임을 인식하는 동작인식 단계;
    를 포함하며,
    상기 인체인식 단계 및 상기 동작인식 단계는 순차적으로 수행되는 것을 특징으로 하는 지능형 감시방법.
  13. 제 12항에 있어서, 상기 인체인식 단계는,
    상기 인식된 인체의 중심위치 및 크기를 판별하고, 인식된 중심위치 및 크기에 따라 상기 카메라가 촬영할 위치를 검출하는 것을 특징으로 하는 지능형 감시방법.
  14. 제 12항에 있어서, 상기 동작인식 단계는,
    상기 카메라를 통해 연속적으로 촬영된 영상을 이전과 비교하여 그 영상의 차(差)에 따라 상기 움직임을 인식하며,
    상기 제2 위치 검출단계는,
    현재 촬영된 영상 중 선택된 부분이 다음 촬영될 영상에서 유사한 크기를 갖도록 상기 카메라가 촬영할 위치를 검출하는 것을 특징으로 하는 지능형 감시방법.
  15. 제 14항에 있어서, 상기 동작인식 단계는,
    상기 카메라를 통해 촬영된 영상으로부터 다수의 움직임이 감지될 경우,
    상기 영상에서 움직임을 보이는 영역들을 그룹화(grouping)하고 이를 바탕으로 노이즈를 제거하며, 비슷한 크기의 움직임이 있는 영역에 대하여 가중치를 적용하는 카메라 영상의 중심을 구함으로써 상기 카메라가 촬영할 위치를 검출하는 것을 특징으로 하는 지능형 감시방법.
  16. 제 9항에 있어서, 상기 촬영위치 산출단계는
    카메라에 대한 FOV가 주어진 이후, 상기 FOV를 참고하여 상기 다음 촬영위치를 산출하는 것을 특징으로 하는 지능형 감시방법.
KR1020110104458A 2011-10-13 2011-10-13 지능형 카메라 장치 및 이를 이용한 지능형 감시방법 KR20130039844A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110104458A KR20130039844A (ko) 2011-10-13 2011-10-13 지능형 카메라 장치 및 이를 이용한 지능형 감시방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110104458A KR20130039844A (ko) 2011-10-13 2011-10-13 지능형 카메라 장치 및 이를 이용한 지능형 감시방법

Publications (1)

Publication Number Publication Date
KR20130039844A true KR20130039844A (ko) 2013-04-23

Family

ID=48439867

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110104458A KR20130039844A (ko) 2011-10-13 2011-10-13 지능형 카메라 장치 및 이를 이용한 지능형 감시방법

Country Status (1)

Country Link
KR (1) KR20130039844A (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101434878B1 (ko) * 2014-06-30 2014-09-02 주식회사 하나씨엔에스 감시카메라 시스템
KR20150084237A (ko) 2014-01-13 2015-07-22 한화테크윈 주식회사 스마트로테이션 감시 방법을 이용하는 영상촬영장치에서 후보 감시영역을 자동으로 갱신하는 방법
WO2015174571A1 (ko) * 2014-05-16 2015-11-19 수상에스티(주) 신생아 모니터링 시스템
CN105554443A (zh) * 2015-12-04 2016-05-04 浙江宇视科技有限公司 视频图像中异响来源的定位方法及装置
KR101687296B1 (ko) * 2016-07-07 2016-12-16 에코아이넷 주식회사 음향 및 행동 패턴 인식 기반의 하이브리드 패턴 분석이 가능한 객체 추적 시스템 및 객체 추적 방법
CN108965789A (zh) * 2017-05-17 2018-12-07 杭州海康威视数字技术股份有限公司 一种无人机监测方法及音视频联动装置
CN109375225A (zh) * 2018-11-09 2019-02-22 杭州兆华电子有限公司 一种声学雷达测量系统及其测量方法
US10334150B2 (en) 2014-05-14 2019-06-25 Hanwha Aerospace Co., Ltd. Camera system and method of tracking object using the same
CN116818769A (zh) * 2023-06-19 2023-09-29 苏州市职业大学（苏州开放大学） 一种基于机器视觉的异常检测方法及系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150084237A (ko) 2014-01-13 2015-07-22 한화테크윈 주식회사 스마트로테이션 감시 방법을 이용하는 영상촬영장치에서 후보 감시영역을 자동으로 갱신하는 방법
US10334150B2 (en) 2014-05-14 2019-06-25 Hanwha Aerospace Co., Ltd. Camera system and method of tracking object using the same
WO2015174571A1 (ko) * 2014-05-16 2015-11-19 수상에스티(주) 신생아 모니터링 시스템
KR101434878B1 (ko) * 2014-06-30 2014-09-02 주식회사 하나씨엔에스 감시카메라 시스템
CN105554443A (zh) * 2015-12-04 2016-05-04 浙江宇视科技有限公司 视频图像中异响来源的定位方法及装置
CN105554443B (zh) * 2015-12-04 2018-11-13 浙江宇视科技有限公司 视频图像中异响来源的定位方法及装置
KR101687296B1 (ko) * 2016-07-07 2016-12-16 에코아이넷 주식회사 음향 및 행동 패턴 인식 기반의 하이브리드 패턴 분석이 가능한 객체 추적 시스템 및 객체 추적 방법
CN108965789A (zh) * 2017-05-17 2018-12-07 杭州海康威视数字技术股份有限公司 一种无人机监测方法及音视频联动装置
CN108965789B (zh) * 2017-05-17 2021-03-12 杭州海康威视数字技术股份有限公司 一种无人机监测方法及音视频联动装置
CN109375225A (zh) * 2018-11-09 2019-02-22 杭州兆华电子有限公司 一种声学雷达测量系统及其测量方法
CN109375225B (zh) * 2018-11-09 2024-03-26 杭州兆华电子股份有限公司 一种声学雷达测量系统及其测量方法
CN116818769A (zh) * 2023-06-19 2023-09-29 苏州市职业大学（苏州开放大学） 一种基于机器视觉的异常检测方法及系统
CN116818769B (zh) * 2023-06-19 2024-04-23 苏州市职业大学（苏州开放大学） 一种基于机器视觉的异常检测方法及系统

Similar Documents

Publication Publication Date Title
KR20130039844A (ko) 지능형 카메라 장치 및 이를 이용한 지능형 감시방법
CN101379825B (zh) 自动跟踪设备和自动跟踪方法
JP5688456B2 (ja) 熱画像座標を用いた保安用カメラ追跡監視システム及び方法
JP5418072B2 (ja) 監視制御装置及び監視システム
US7400744B2 (en) Stereo door sensor
US7920718B2 (en) Multi-zone passageway monitoring system and method
JP3800217B2 (ja) 監視システム
JP2016080550A (ja) エリア情報推定装置、エリア情報推定方法、および空気調和装置
JP2003515811A (ja) 映像危機管理カーテン
KR101486308B1 (ko) 이동 객체를 추종하기 위한 이동로봇 제어 장치, 방법 및 이동로봇
US20070296813A1 (en) Intelligent monitoring system and method
KR20170100892A (ko) 위치 추적 장치
KR102093477B1 (ko) 이종 카메라 기반의 위험지역 안전관리 방법 및 장치
JPH09265585A (ja) 監視および威嚇装置
KR100757261B1 (ko) 다중 시야 추적 방법 및 추적 시스템
JP5701657B2 (ja) 異常検知装置
TWI471825B (zh) 天台安全監控系統及方法
KR20140000403A (ko) 스테레오 카메라를 이용한 차량 속도 검출 장치 및 방법
KR20230089493A (ko) 다중카메라 화재감지기
KR20130120914A (ko) 스테레오 카메라를 이용한 팬/틸트/줌 카메라 장치 및 제어 방법
JP5007786B2 (ja) 映像監視装置及び方法
JP4038878B2 (ja) 画像処理を用いた火災検出装置
JP2016118919A (ja) 監視装置、監視方法
JP6606912B2 (ja) 浴室異常検知装置、浴室異常検知方法、及び浴室異常検知プログラム
JP2004069497A (ja) 監視装置および監視方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
E601 Decision to refuse application